JP4240256B2

JP4240256B2 - Electronic camera

Info

Publication number: JP4240256B2
Application number: JP2000006401A
Authority: JP
Inventors: 悟岡本
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2000-01-14
Filing date: 2000-01-14
Publication date: 2009-03-18
Anticipated expiration: 2020-01-14
Also published as: JP2001197511A

Description

【０００１】
【発明の属する技術分野】
本発明は電子カメラに係り、特に撮像画像の色再現性を改善するためのリニアマトリックス変換手段を備えた電子カメラに関する。
【０００２】
【従来の技術】
従来の電子カメラでは固体撮像素子からの出力信号をＲ、Ｇ、Ｂの原色信号に分離して出力しても、色相や色の飽和度などの色再現性の点で必ずしも十分とは言えず、また、輝度信号と比較して空間周波数の帯域幅が狭く、画質の点で満足のいく再生画像が得られないという問題があった。このような信号の色再現性を改善する目的で入力ＲＧＢ信号を変換して補正されたＲＧＢ出力信号を得るために、特開平１１−１９１８９３号に示されているようなリニアマトリックスという回路が用いられている。
【０００３】
また、特開平５−２３６４９２号の公報には、３種の原色信号入力Ｒ_IN、Ｇ_IN、Ｂ_INに対し、３個の差動増幅器を用いるとともに、マイクロコンピュータで設定する３個の補正データを用いて原色出力信号Ｒ_OUT、Ｇ_OUT、Ｂ_OUTを得るカラービデオカメラが示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の特開平１１−１９１８９３号に示されているリニアマトリックス回路は、ビデオカメラの信号処理系のうちの用いられている場所に関する記載が無く、ホワイトバランス等の信号処理の過程で色相の誤調節や画像データに含まれるノイズを増幅してしまう可能性があった。
【０００５】
また、特開平５−２３６４９２号の公報に示されているカラービデオカメラでは、ＣＣＤから出力した画像信号をＣＤＳ回路に伝送して色信号Ｃ１、Ｃ２を取り出し、色分離マトリックス回路にてＲ、Ｇ、Ｂの原色信号とＹ_Hの輝度信号とを生成してゲインコントロール回路に伝送してホワイトバランスを自動調節してからリニアマトリックス回路にて各カラーフィルタの分光透過率に応じた補正係数に基づいてマトリックス演算を行っていた。そのため、リニアマトリックス回路の前段におけるホワイトバランスの自動調節を行う過程で画像データのゲインを上げる際に色相が変化してしまうとともにノイズも一緒に増幅してしまい、色の再現性が悪くノイズが目立つ画像データを生成してしまう可能性があった。なお、色の再現性が悪い画像データに基づいて画像を用紙にプリントする際には、自動または手動操作にてプリント画像の色補正を実施する必要があった。
【０００６】
本発明は、このような事情に鑑みてなされたもので、ホワイトバランス等のＲＧＢのゲイン調節を実施する以前の段階でリニアマトリックス変換による補正を実施することによって、ノイズが少なく色の再現性が良好で混色を生じない画像が得られる電子カメラを提供することを目的としている。
【０００７】
【課題を解決するための手段】
本発明は前記目的を達成するために、撮像素子を用いて被写体像を撮像し、該撮像により取得される複数の原色信号の画像データを出力する撮像手段と、前記撮像手段から出力された原色信号の画像データに対して画像処理を実施して新たな原色信号の画像データを出力する画像処理手段と、を備え、前記画像処理手段は、前記撮像素子の光電変換特性を前記原色信号の画像データに対して補正変換するリニアマトリックス変換手段と、前記リニアマトリックス変換を行った後に原色信号のゲインを調節するホワイトバランス調節手段と、前記リニアマトリックス変換を行った後の原色信号であって、前記ホワイトバランス調節手段によってホワイトバランス調節される前の原色信号を入力し、該原色信号に基づいて自動露出調節を実施するための評価値を算出する評価値算出手段と、を備えたことを特徴としている。
【０００８】
本発明によれば、撮像素子を用いて被写体像を撮像し該撮像により取得される複数の原色信号の画像データを出力する撮像手段と、前記撮像手段から出力された原色信号の画像データに対して画像処理を実施して新たな原色信号の画像データを出力する画像処理手段とを備え、前記画像処理手段は撮像素子の光電変換特性を前記原色信号の画像データに対して補正変換するリニアマトリックス変換手段と、前記リニアマトリックス変換を行った後に原色信号のゲインを調節するホワイトバランス調節手段とを含むので、ノイズが少なく色の再現性が良好な電子カメラを提供することが可能となる。
【０００９】
【発明の実施の形態】
以下添付図面に従って、本発明に係る電子カメラの好ましい実施の形態について詳説する。
【００１０】
図１は、電子カメラの撮像信号の処理を示す流れ図である。
【００１１】
同図によれば、電子カメラ１０の撮像手段は、被写体像１１をＣＣＤ（固体撮像素子）１２に結像するレンズ１４と、ＣＣＤ１２に到達する光量を調節する絞り１６と、結像した被写体像を電荷に変換するための光電変換素子を備えるとともに結像した被写体像の光量に応じた電荷を垂直転送及び水平転送を行って出力するＣＣＤ１２と、ＣＣＤ１２から出力された信号をフィードスルーレベルとデータレベルとに分離するＣＤＳ処理部（相関２重サンプリング処理部）２０と、ＣＣＤ１２のフィルタ配列に対応した点順次のアナログのＲ、Ｇ、Ｂの信号に同時化変換して出力する３線化処理部２２とが設けられている。
【００１２】
また、前記アナログのＲ、Ｇ、Ｂ信号をデジタルデータに変換するＡ／Ｄ変換器２４と、Ｒ、Ｇ、ＢのうちのＲの原色データに対して他のＧ及びＢの原色データのうちの少なくともいずれか一つと演算してＲ’の新たな原色データを求めるとともに、他のＧ及びＢの原色データに対しても同様にＧ’、Ｂ’の新たな原色データを求めるリニアマトリックス変換手段３０と、各色信号から黒レベルの参照データを減算するオプティカルブラック処理手段３２とが設けられている。
【００１３】
リニアマトリックス変換手段３０の後段には、ホワイトバランス等を補正するＲＧＢゲイン調節手段３４と、ガンマ補正を行うγ処理手段３６と、Ｒ’、Ｇ’、Ｂ’の原色データを輝度データＹや色差データＣに変換するＹＣ変換手段３８と、色差データＣのクロマゲインを調節するＡＰＣクロマゲイン調節部４０と、ＹＣ変換された画像データをＪＰＥＧ等の書式に従って指定された割合にデータ量を減少させる圧縮手段４２と、画像データを含む情報を記憶する記録媒体４４に対して情報を読み書きするためのインターフェースである記録Ｉ／Ｆ４６と、画像データを含む情報を他の機器に無線又は有線の通信手段を用いて通信する通信Ｉ／Ｆ４８と、リニアマトリックス変換手段３０の後段にはＲ’、Ｂ’、Ｃ’の画像データからオートフォーカスや自動露出（ＡＥ）を実施する際の評価値を算出するオート評価値算出手段５０とが設けられている。
【００１４】
オート評価値算出手段５０では、全画面のＲＧＢ画像データから輝度データＹを生成して所定の領域毎に分割して各評価値を算出してもよいし、簡易的に全画面の緑色の原色データＧを所定の領域毎に分割して各評価値を算出してもよい。
【００１５】
次に、撮影時においてＣＣＤ１２から得られる撮像信号が記録媒体４４に記録されるまでの流れについて説明する。
【００１６】
図１に示されているように、ＣＣＤ１２上に結像した被写体像は画像信号に光電変換されてＣＤＳ回路２０に出力される。ＣＤＳ回路２０では、画像信号を相関２重サンプリングしてフィードスルーレベルとデータレベルとに分離して出力する。ＣＣＤ１２が単板で構成されている場合には、１つの固体撮像素子（ＣＣＤ１２）の受光面には色分離フィルタが組み込まれている。この色分離フィルタは、例えば赤色、緑色、青色の原色を各々透過する微妙なカラーフィルタ、あるいはシアン、マゼンタ、イエローの補色を各々透過する微妙なカラーフィルタを固体撮像素子の各画素の前面を覆うように所定のパターンで配列されている。したがって、ＣＣＤ１２からは、前記カラーフィルタの配列パターンに従った個別の色信号が１ラインずつ順次出力される。次の３線化処理部２２では、相関２重サンプリングされたＣＣＤ１２のカラーフィルタの配列に従った画像信号をマトリックス演算してＲ、Ｇ、Ｂの各色分離した信号を得る。
【００１７】
また、ＣＣＤ１２が各原色フィルタ毎に複数設けられている場合には、撮像素子の構成に応じて相関２重サンプリングを行って各原色信号を得る。
【００１８】
Ｒ、Ｇ、Ｂの各色信号は、次のＡ／Ｄ変換器２４でＡ／Ｄ変換されてデジタルの画像データとなる。色分離が終了したＲ、Ｇ、Ｂ原色信号は、ＣＣＤ１２に設けられている個々のカラーフィルタの分光透過率に影響された値となっているため、実際の被写体が発している色相や色の飽和度を正しく反映したものとは異なっている。そこで、リニアマトリックス変換手段３０ではＡ／Ｄ変換器から得たＲ、Ｇ、Ｂデータを入力して光電変換素子の光電変換特性に合わせて色相、色、輝度を変換、補正して新たなＲＧＢ原色データを出力する。
【００１９】
以下に、リニアマトリックス変換手段３０でＲ、Ｇ、Ｂの各画像データからＲ’、Ｇ’、Ｂ’の新たな原色データを求める処理の演算式の例を示す。
【００２０】
【数１】

但し、上記ａ〜ｉは定数。
【００２１】
上記の原色補正処理を行った画像データは次のオプティカルブラック処理手段３２にて、原色データから、ＣＣＤ１２が発する暗電流に相当する黒レベルデータを減算する等の演算処理を行って、ゆらぎを含む暗電流分が補正された画像信号を得るようにしている。
【００２２】
次に画像データはＲＧＢゲイン調節手段３４にて、オート評価値算出手段５０で算出した輝度や色相に関する評価値を参照して各原色データのゲインをそれぞれ調節してホワイトバランス調節を行い、γ処理手段３６の非直線増幅手段を用いて階調特性を変換し、ＹＣ変換手段３８にてＲＧＢの原色データから輝度データＹと色差データＣを生成する。
【００２３】
次のＡＰＣクロマゲイン調節部４０にて画像の輪郭補正と色差データの補正を実施するとともに各原色データを増幅して輝度レベル補正を行って、圧縮手段４２にて画像データの記録又は送信用に画像データの容量を減少させる圧縮処理を実施する。圧縮された画像データは記録Ｉ／Ｆ４６を介して記録媒体４４に記録される。また、画像データを他の機器に転送する場合には、圧縮された画像データは通信Ｉ／Ｆ４８を介して無線又は有線の通信手段により他の機器に転送される。
【００２４】
図２にカラーＣＣＤの光電変換特性例と理想撮像特性との関係を示す。
【００２５】
同図には、各原色信号のカラーＣＣＤの光電変換特性Ｒｃ、Ｇｃ、Ｂｃと、各原色信号の理想撮像特性Ｒｎ、Ｇｎ、Ｂｎとが示されている。
【００２６】
同図に示すように、例えばカラーＣＣＤの青色の光電変換特性Ｂｃには波長の長い緑色や赤色の情報も含まれている。同様に他のカラーＣＣＤの光電変換特性Ｒｃ、Ｇｃにも他の色の情報が含まれている。従って、Ｒｃ、Ｇｃ、Ｂｃのみを用いて各原色信号を増幅してホワイトバランスを調節してしまうと、理想撮像特性Ｒｎ、Ｇｎ、Ｂｎとは一致せずに色のバランスが崩れてしまう。ホワイトバランス調節にて、各原色信号に対して常に一定のゲイン補正を行っていて且つ補正誤差が全く無い場合には、このバランスが崩れた状態でリニアマトリックス変換による補正を行っても正しく色補正を行うことが可能であるが、ホワイトバランスに調節誤差があったり被写体の色温度の補正を適宜調節する場合にはリニアマトリックス変換を行うとホワイトバランスのずれが強調されたり被写体像の色が再現されなくなってしまう。
【００２７】
そこで、本発明ではホワイトバランス等のゲイン調節を実施する以前の段階でリニアマトリックス変換を実施することによって、ノイズの増幅を少なくするとともに色の再現性を理想撮像特性Ｒｎ、Ｇｎ、Ｂｎに近い良好な状態に保つことが可能となる。
【００２８】
上記の説明では、リニアマトリックス変換手段３０の後段にオプティカルブラック処理手段３２を設けた実施例で示したが、本発明はこれに限定されるものではなく、リニアマトリックス変換手段３０の前段に設けてもよいし、３線化処理部２２の前段に設けててもよい。この場合、オプティカルブラック処理をＡ／Ｄ変換器２４の前段においてアナログ処理手段にて実施してもよいし、Ａ／Ｄ変換器２４の後段においてデジタル処理手段にて実施してもよい。また、ＡＰＣクロマゲイン調節部４０までの信号処理をアナログ処理で実施してもよい。
【００２９】
図３は電子カメラの撮像信号の処理の他の実施の形態を示す流れ図である。
【００３０】
同図に示されている構成で、前記図１に示されている構成と重複する部分の説明は省略し、異なる部分のみ以下に説明する。
【００３１】
図３によれば、電子カメラ１０のＣＣＤ１２からは緑色と赤色と青色との原色信号がＣＣＤ１２のフィルタ配列に応じて点順次に出力される。ＣＣＤ１２から出力された信号をフィードスルーレベルとデータレベルとに分離するとともに、ＣＣＤ１２のフィルタ配列に応じて出力されるＧｒとＧｂとの２種類の緑色の原色信号を含むＧと、赤色Ｒと青色Ｂの原色信号とに分離して出力するＣＤＳ処理部（相関２重サンプリング処理部）１２０とが設けられている。
【００３２】
また、前記緑色の原色信号Ｇと、赤色Ｒと青色Ｂの原色信号とが含まれるＲ／Ｂ信号とをデジタルデータに変換するＡ／Ｄ変換器１２４と、Ｇ、Ｒ／ＢのデータのうちのＲの原色データに対して緑色のＧｒを用いて演算してＲｍの新たな原色データを算出するとともに、他の青色のＢの原色データに対しても同様にＢｍの新たな原色データを算出するリニアマトリックス変換手段１３０と、各画素別の色データＲｍ、Ｇｒｍ、Ｇｂｍ、Ｂｍから独立して黒レベルの参照データを減算してＲｏ、Ｇｒｏ、Ｇｂｏ、Ｂｏの各画素別の原色データを出力するオプティカルブラック処理手段１３２とが設けられている。
【００３３】
リニアマトリックス変換手段１３０の後段には、全画面の画像データからオートフォーカスや自動露出（ＡＥ）を実施する際の評価値を算出するオート評価値算出手段１５０と、ホワイトバランス等を補正してＣＣＤ１２の画素毎のＲｇ、Ｇｒｇ、Ｇｂｇ、Ｂｇの原色データを出力するＲＧＢゲイン調節手段１３４とが設けられている。
【００３４】
次に、撮影時においてＣＣＤ１２から得られる撮像信号が記録する形態まで変換されてゆく流れについて説明する。
【００３５】
図３に示されているように、ＣＣＤ１２上に結像した被写体像は画像信号に光電変換されてＣＤＳ回路１２０に出力される。ＣＤＳ回路１２０では、画像信号を相関２重サンプリングしてフィードスルーレベルとデータレベルとに分離するとともに、ＧｒとＧｂとを含む緑色の原色信号Ｇと、赤色Ｒ及び青色Ｇとから構成されるＲ／Ｇ信号とを出力する。
【００３６】
Ｒ、Ｇｒ、Ｇｂ、Ｂの各色信号は、次のＡ／Ｄ変換器１２４でＡ／Ｄ変換されてデジタルの画像データとなる。色分離が終了したＲ、Ｇｒ、Ｇｂ、Ｂ原色信号は、ＣＣＤ１２に設けられている個々のカラーフィルタの分光透過率に影響された値となっているため、実際の被写体が発している色相や色の飽和度を正しく反映したものとは異なっている。そこで、リニアマトリックス変換手段１３０ではＡ／Ｄ変換器から得たＲ、Ｇｒ、Ｇｂ、Ｂの原色データを入力して光電変換素子の光電変換特性に合わせて色相、色、輝度を変換、補正して１線化した新たなＲｍ、Ｇｒｍ、Ｂｍ、Ｇｂｍの各原色データを出力する。ここでこのように１線化した点順次の画像データを出力することにより、以降の変換手段を全て１系統の回路で構成することが可能となるので電子カメラ１０の信号処理回路を構成する上で好都合となる。
【００３７】
リニアマトリックス変換手段１３０におけるリニアマトリックス変換式は、式（１）に示した計算式を用いてもよいが、下式に示すような簡略化した演算を行っても十分な効果を得ることが可能である。
【００３８】
【数２】
Ｒｍ＝Ｒ−α×Ｇｒ …（２）
【００３９】
【数３】
Ｇｒｍ＝Ｇｒ …（３）
【００４０】
【数４】
Ｂｍ＝Ｂ−β×Ｇｂ …（４）
【００４１】
【数５】
Ｇｂｍ＝Ｇｍ …（５）
但し、αはＲデータの補正ゲイン値としβはＢデータの補正ゲイン値とし、−０．２５〜＋０．２５程度の値とするとよい。
【００４２】
上記の原色補正処理を行った画像データは次のオプティカルブラック処理手段１３２にて、ＣＣＤ１２から出力される画素に応じた原色画像信号からＣＣＤ１２が発する暗電流に相当する黒レベルデータを減算する等の演算処理を行って、ゆらぎを含む暗電流分が補正されたＲｏ、Ｇｒｏ、Ｂｏ、Ｇｂｏの各原色データを得るようにしている。但し、オプティカルブラック処理手段１３２の前段のリニアマトリックス変換手段１３０にてαとβの係数を用いて原色データを変換した後なので、本オプティカルブラック処理手段１３２では下式に示すような補正を行う必要がある。
【００４３】
【数６】
Ｒｏ＝Ｒｍ−（Ｒｏｆｆ−α×Ｇｒｏｆｆ） …（６）
【００４４】
【数７】
Ｇｒｏ＝Ｇｒｍ−Ｇｒｏｆｆ …（７）
【００４５】
【数８】
Ｂｏ＝Ｂｍ−（Ｂｏｆｆ−β×Ｇｂｏｆｆ） …（８）
【００４６】
【数９】
Ｇｂｏ＝Ｇｂｍ−Ｇｂｏｆｆ …（９）
但し、Ｒｏｆｆ、Ｇｒｏｆｆ、Ｂｏｆｆ、Ｇｂｏｆｆは、Ｒ、Ｇｒ、Ｂ、Ｇｂの黒レベルデータオフセット値で、０〜２５５程度の値とするとよい。
【００４７】
上記の説明では、リニアマトリックス変換手段１３０の後段にオプティカルブラック処理手段１３２を設けた実施例で示したが、本発明はこれに限定されるものではなく、リニアマトリックス変換手段１３０の前段に設けてもよい。但し、電子カメラ１０の画像処理手段の回路構成によっては、オプティカルブラック処理を実施した画像データを格納した後にリニアマトリックス変換をする際に、再び画像データを読み出さねばならず、画像処理に要する時間が長くなるという不具合を生ずる可能性もある。
【００４８】
次にＲＧＢゲイン調節手段１３４にて、オート評価値算出手段１５０で算出した輝度や色相に関する評価値を参照してＣＣＤ１２の画素別に各原色データのゲインをそれぞれ調節してホワイトバランス調節を行い、Ｒｇ、Ｇｒｇ、Ｂｇ、Ｇｂｇの各原色データを出力する。
【００４９】
なお、リニアマトリックス変換手段１３０にてα’とβ’との係数を用いて原色データを変換した後なので本ＲＧＢゲイン調節手段１３４では下式に示すような補正を行う必要がある。
【００５０】
【数１０】
Ｒｇ＝Ｒｏ×Ｒｇａｉｎ×１／（１−α’） …（１０）
【００５１】
【数１１】
Ｇｒｇ＝Ｇｒｏ×Ｇｒｇａｉｎ …（１１）
【００５２】
【数１２】
Ｂｇ＝Ｂｏ×Ｂｇａｉｎ×１／（１−β’） …（１２）
【００５３】
【数１３】
Ｇｂｇ＝Ｇｂｏ×Ｇｂｇａｉｎ …（１３）
但し、Ｒｇａｉｎ、Ｇｒｇａｉｎ、Ｂｇａｉｎ、ＧｂｇａｉｎはＲ、Ｇｒ、Ｂ、Ｇｂデータのホワイトバランス用のゲイン値で、例えば０〜８倍の値を設定するとよい。また、α’＝Ｋα、β’＝Ｌβ（０≦Ｋ、Ｌ）とする。
【００５４】
図３に示した実施例では、ＲＧＢゲイン調節手段１３４にて入力された１２ビットの原色データをゲイン調節手段１３４で演算する際に下位の２ビットを丸めて１０ビットのデータに変換して出力しているが、本発明はこの方法に限定されるものではない。
【００５５】
次のγ処理手段３６では、１０ビットデータを８ビットデータに非直線増幅手段を用いて階調特性を変換し、ＹＣ変換手段３８にてＲＧＢの原色データから輝度データＹと色差データＣを生成する。以降の信号処理は図１に示した方法と同様に実施する。なお、γ処理手段における階調変換は、予め記憶されている変換テーブルを用いて階調変換を行うテーブル変換方式を用いてもよい。
【００５６】
オート系評価値算出手段１５０にて自動露出（ＡＥ）の評価値を算出する際に、リニアマトリックス変換を実施した原色データに基づいて積算値を算出した後に下記に示す演算を行うことによって、積算した結果と信号処理及び記録する各データとの相関が取りやすく、またＡＥ評価値のホワイトバランスが取りやすくなるとともに、ＣＣＤ１２のダイナミックレンジ特性を有効に利用した撮影を行うためのＡＥ値を算出することが可能となる。
【００５７】
なお、利用する画像データはリニアマトリックス変換手段１３０にてα’とβ’との係数を用いて原色データを変換した後なので、本オート系評価値算出手段１５０では必要に応じて下式に示すような補正を行ってもよい。
【００５８】
【数１４】
Ｒ評価値＝Ｒ積算値×１／（１−α’） …（１４）
【００５９】
【数１５】
Ｇ評価値＝Ｇ積算値 …（１５）
【００６０】
【数１６】
Ｂ評価値＝Ｂ積算値×１／（１−β’） …（１６）
但し、α’＝Ｋα、β’＝Ｌβ（０≦Ｋ、Ｌ）とする。
【００６１】
図３に示した例では、オート系評価値算出手段１５０ではオプティカルブラック処理を実施していない画像データを用いて評価値を算出しているが、一般にオプティカルブラック処理による補正量は僅かであることと安定した値であるため、オート系の評価値を算出する際にオプティカルブラック処理は不要である。また、より高精度の評価値を算出する必要がある場合にはオート系評価値算出手段１５０内にオフセット手段を設けてオプティカルブラック処理を実施してもよい。
【００６２】
【発明の効果】
以上説明したように本発明に係る電子カメラによれば、撮像素子を用いて被写体像を撮像し該撮像により取得される複数の原色信号の画像データを出力する撮像手段と、前記撮像手段から出力された原色信号の画像データに対して画像処理を実施して新たな原色信号の画像データを出力する画像処理手段とを備え、前記画像処理手段は撮像素子の光電変換特性を前記原色信号の画像データに対して補正変換するリニアマトリックス変換手段と、前記リニアマトリックス変換を行った後に原色信号のゲインを調節するホワイトバランス調節手段とを含むので、ノイズが少なく色の再現性が良好な電子カメラを提供することが可能となる。
【００６３】
また、上記のように画像データの色の再現性を良好に保つことにより、画像データに基づいて用紙に画像をプリントする際に色の補正を少なくしたり、色の補正が不要にすることが可能となる。
【図面の簡単な説明】
【図１】電子カメラの撮像信号の処理を示す流れ図
【図２】カラーＣＣＤの光電変換特性と理想撮像特性との関係を示す図
【図３】電子カメラの撮像信号の処理の他の実施の形態を示す流れ図
【符号の説明】
１０…電子カメラ、１２…ＣＣＤ（固体撮像素子）、１４…レンズ、１６…絞り、２０…ＣＤＳ処理部、２２…３線化処理部、２４…Ａ／Ｄ変換器、３０…リニアマトリックス変換手段、３２…オプティカルブラック処理手段、３４…ＲＧＢゲイン調節手段、３６…γ処理手段、３８…ＹＣ変換手段、４０…ＡＰＣクロマゲイン調節部、４２…圧縮手段、４４…記録媒体、４６…記録Ｉ／Ｆ、４８…通信Ｉ／Ｆ、５０…オート評価値算出手段、１２０…ＣＤＳ処理部、１２４…Ａ／Ｄ変換器、１３０…リニアマトリックス変換手段、１３２…オプティカルブラック処理手段、１３４…ＲＧＢゲイン調節手段、１３６…γ処理手段、１５０…オート評価値算出手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an electronic camera, and more particularly to an electronic camera including linear matrix conversion means for improving color reproducibility of a captured image.
[0002]
[Prior art]
In conventional electronic cameras, it is not necessarily sufficient in terms of color reproducibility such as hue and color saturation even if the output signal from the solid-state imaging device is separated into R, G, and B primary color signals and output. Also, there is a problem that the spatial frequency bandwidth is narrower than that of the luminance signal, and a reproduced image that is satisfactory in terms of image quality cannot be obtained. In order to obtain a corrected RGB output signal by converting the input RGB signal for the purpose of improving the color reproducibility of such a signal, a circuit called a linear matrix as shown in JP-A-11-191893 is used. It has been.
[0003]
Japanese Patent Application Laid-Open No. 5-236492 uses three differential amplifiers for three kinds of primary color signal inputs R _IN , G _IN , and B _IN and three correction data set by a microcomputer. A color video camera that obtains primary color output signals R _OUT , G _OUT , and B _OUT is shown.
[0004]
[Problems to be solved by the invention]
However, the conventional linear matrix circuit disclosed in Japanese Patent Application Laid-Open No. 11-191893 has no description about the place where it is used in the signal processing system of the video camera, and the hue of the signal is processed in the process of signal processing such as white balance. There was a possibility of amplifying noise included in misadjustment or image data.
[0005]
In the color video camera disclosed in Japanese Patent Laid-Open No. 5-236492, the image signal output from the CCD is transmitted to the CDS circuit to extract the color signals C1 and C2, and R, G are extracted by the color separation matrix circuit. The primary color signal of B and the luminance signal of Y _H are generated and transmitted to the gain control circuit to automatically adjust the white balance, and then based on the correction coefficient corresponding to the spectral transmittance of each color filter in the linear matrix circuit. Matrix operations were performed. Therefore, when the gain of the image data is increased in the process of automatically adjusting the white balance in the previous stage of the linear matrix circuit, the hue changes and the noise is amplified together, and the color reproducibility is poor and the noise is conspicuous. There was a possibility of generating image data. When an image is printed on paper based on image data with poor color reproducibility, it is necessary to perform color correction of the print image automatically or manually.
[0006]
The present invention has been made in view of such circumstances, and by performing correction by linear matrix conversion at a stage prior to performing RGB gain adjustment such as white balance, color reproducibility is reduced with less noise. An object of the present invention is to provide an electronic camera capable of obtaining a good image that does not cause color mixing.
[0007]
[Means for Solving the Problems]
For the present invention to achieve the above object, it captures a subject image using an imaging device, an imaging unit for outputting image data of a plurality of primary color signals obtained by the imaging, output from the imaging means primaries comprising image processing means for outputting the image data of a new primary color signals by carrying out image processing on the signal image data, wherein the image processing means, the photoelectric conversion characteristics of the image pickup element and said primary color signal of the image Linear matrix conversion means for correcting and converting data, white balance adjustment means for adjusting the gain of the primary color signal after the linear matrix conversion, and the primary color signal after the linear matrix conversion, The primary color signal before white balance is adjusted by the white balance adjustment means is input, and automatic exposure adjustment is performed based on the primary color signal. Is characterized by comprising an evaluation value calculation means for calculating an evaluation value of the order, the.
[0008]
According to the present invention, an image pickup unit that picks up a subject image using an image pickup device and outputs image data of a plurality of primary color signals acquired by the image pickup, and image data of the primary color signal output from the image pickup unit Image processing means for performing image processing and outputting image data of a new primary color signal, and the image processing means corrects and converts the photoelectric conversion characteristics of the image sensor with respect to the image data of the primary color signal. Since the conversion means and the white balance adjustment means for adjusting the gain of the primary color signal after performing the linear matrix conversion, it is possible to provide an electronic camera with less noise and good color reproducibility.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of an electronic camera according to the present invention will be described in detail with reference to the accompanying drawings.
[0010]
FIG. 1 is a flowchart showing processing of an image signal of an electronic camera.
[0011]
According to the figure, the image pickup means of the electronic camera 10 includes a lens 14 for forming an object image 11 on a CCD (solid-state image pickup device) 12, a diaphragm 16 for adjusting the amount of light reaching the CCD 12, and an image of the formed object image. A CCD 12 is provided that includes a photoelectric conversion element for converting the charge into a charge and outputs a charge corresponding to the amount of light of the imaged subject image by performing vertical transfer and horizontal transfer, and a signal output from the CCD 12 as a feedthrough level and data. A CDS processing unit (correlated double sampling processing unit) 20 that separates into levels, and a three-line processing for simultaneous conversion and output to point-sequential analog R, G, B signals corresponding to the filter array of the CCD 12 A portion 22 is provided.
[0012]
An A / D converter 24 that converts the analog R, G, and B signals into digital data, and R primary color data of R, G, and B, of other primary color data of G and B Linear matrix conversion means for calculating new primary color data of R ′ by calculating at least one of the above and similarly calculating new primary color data of G ′ and B ′ for the other primary color data of G and B 30 and an optical black processing means 32 for subtracting black level reference data from each color signal.
[0013]
In the subsequent stage of the linear matrix conversion means 30, an RGB gain adjustment means 34 for correcting white balance and the like, a γ processing means 36 for performing gamma correction, primary color data of R ′, G ′, and B ′ as luminance data Y and color difference. YC conversion means 38 for converting to data C, APC chroma gain adjustment section 40 for adjusting the chroma gain of color difference data C, and compression means for reducing the data amount of YC converted image data to a specified ratio according to a format such as JPEG 42, a recording I / F 46 that is an interface for reading and writing information to and from a recording medium 44 that stores information including image data, and information including image data using wireless or wired communication means for other devices The communication I / F 48 and the linear matrix conversion means 30 are connected to the auto-form from the R ′, B ′, and C ′ image data. An auto evaluation value calculating means 50 for calculating an evaluation value in performing scan and automatically exposing (AE) is provided.
[0014]
The auto evaluation value calculation means 50 may generate the luminance data Y from the RGB image data of the entire screen and divide it into predetermined areas to calculate each evaluation value, or simply the green primary color of the entire screen. Each evaluation value may be calculated by dividing the data G into predetermined areas.
[0015]
Next, a flow until an imaging signal obtained from the CCD 12 at the time of shooting is recorded on the recording medium 44 will be described.
[0016]
As shown in FIG. 1, the subject image formed on the CCD 12 is photoelectrically converted into an image signal and output to the CDS circuit 20. The CDS circuit 20 performs correlated double sampling on the image signal, separates it into a feedthrough level and a data level, and outputs it. When the CCD 12 is formed of a single plate, a color separation filter is incorporated in the light receiving surface of one solid-state image sensor (CCD 12). For example, the color separation filter covers a front surface of each pixel of the solid-state imaging device with a fine color filter that transmits primary colors of red, green, and blue, or a fine color filter that transmits complementary colors of cyan, magenta, and yellow, respectively. Are arranged in a predetermined pattern. Therefore, the individual color signals according to the color filter arrangement pattern are sequentially output from the CCD 12 line by line. The next three-line processing unit 22 performs matrix calculation on the image signal in accordance with the array of color filters of the CCD 12 that has been subjected to correlated double sampling, and obtains signals obtained by separating R, G, and B colors.
[0017]
When a plurality of CCDs 12 are provided for each primary color filter, correlated double sampling is performed according to the configuration of the image sensor to obtain each primary color signal.
[0018]
The R, G, and B color signals are A / D converted by the next A / D converter 24 to become digital image data. The R, G, and B primary color signals that have undergone color separation have values that are influenced by the spectral transmittance of the individual color filters provided in the CCD 12, so that the hue or color of the actual subject is emitted. It is different from the one that correctly reflects the degree of saturation. Therefore, the R, G, B data obtained from the A / D converter is input to the linear matrix conversion means 30, and the hue, color, and luminance are converted and corrected in accordance with the photoelectric conversion characteristics of the photoelectric conversion element to obtain a new RGB. Output primary color data.
[0019]
Hereinafter, an example of an arithmetic expression of processing for obtaining new primary color data of R ′, G ′, and B ′ from the R, G, and B image data by the linear matrix conversion unit 30 will be shown.
[0020]
[Expression 1]

Where a to i are constants.
[0021]
The image data subjected to the above primary color correction processing is subjected to arithmetic processing such as subtraction of black level data corresponding to the dark current generated by the CCD 12 from the primary color data in the next optical black processing means 32 to include fluctuations. An image signal with corrected dark current is obtained.
[0022]
Next, the RGB gain adjusting means 34 adjusts the white balance by adjusting the gain of each primary color data with reference to the evaluation values relating to the luminance and hue calculated by the automatic evaluation value calculating means 50, and the γ processing. The gradation characteristics are converted using the non-linear amplification means of the means 36, and the luminance data Y and the color difference data C are generated from the RGB primary color data by the YC conversion means 38.
[0023]
The next APC chroma gain adjustment unit 40 corrects the contour of the image and the color difference data, amplifies each primary color data to correct the luminance level, and the compression unit 42 records the image data for recording or transmission. Perform compression processing to reduce the data volume. The compressed image data is recorded on the recording medium 44 via the recording I / F 46. When transferring image data to another device, the compressed image data is transferred to the other device via a communication I / F 48 by wireless or wired communication means.
[0024]
FIG. 2 shows a relationship between an example of photoelectric conversion characteristics of a color CCD and ideal imaging characteristics.
[0025]
This figure shows photoelectric conversion characteristics Rc, Gc, Bc of the color CCD of each primary color signal and ideal imaging characteristics Rn, Gn, Bn of each primary color signal.
[0026]
As shown in the figure, for example, the blue photoelectric conversion characteristic Bc of the color CCD includes green and red information having a long wavelength. Similarly, photoelectric conversion characteristics Rc and Gc of other color CCDs also contain information on other colors. Accordingly, if each primary color signal is amplified using only Rc, Gc, and Bc to adjust the white balance, the ideal imaging characteristics Rn, Gn, and Bn do not match and the color balance is lost. If white balance adjustment always performs constant gain correction for each primary color signal and there is no correction error, correct color correction even if correction is performed using linear matrix conversion while this balance is lost. However, if there is an adjustment error in the white balance or if the correction of the color temperature of the subject is adjusted as appropriate, linear matrix conversion will enhance the white balance deviation or reproduce the subject image color. It will not be done.
[0027]
Therefore, in the present invention, linear matrix conversion is performed before the gain adjustment such as white balance is performed, so that noise amplification is reduced and color reproducibility is close to ideal imaging characteristics Rn, Gn, and Bn. It is possible to maintain a stable state.
[0028]
In the above description, the optical black processing means 32 is provided in the subsequent stage of the linear matrix conversion means 30, but the present invention is not limited to this, and is provided in the preceding stage of the linear matrix conversion means 30. Alternatively, it may be provided before the three-line processor 22. In this case, the optical black processing may be performed by analog processing means before the A / D converter 24, or may be performed by digital processing means after the A / D converter 24. Further, the signal processing up to the APC chroma gain adjustment unit 40 may be performed by analog processing.
[0029]
FIG. 3 is a flowchart showing another embodiment of processing of an image signal of an electronic camera.
[0030]
In the configuration shown in the figure, the description of the parts overlapping with the configuration shown in FIG. 1 is omitted, and only different parts will be described below.
[0031]
According to FIG. 3, primary color signals of green, red, and blue are output from the CCD 12 of the electronic camera 10 dot-sequentially according to the filter array of the CCD 12. The signal output from the CCD 12 is separated into a feedthrough level and a data level, and G including two kinds of green primary color signals Gr and Gb output according to the filter array of the CCD 12, red R and blue A CDS processing unit (correlated double sampling processing unit) 120 that outputs the B primary color signal separately is provided.
[0032]
An A / D converter 124 for converting the green primary color signal G and an R / B signal including the red R and blue B primary color signals into digital data, and the G and R / B data The R primary color data is calculated using the green Gr to calculate new Rm primary color data, and the new Bm primary color data is similarly calculated for the other blue B primary color data. Linear matrix conversion means 130, and subtracting black level reference data independently from the color data Rm, Grm, Gbm, Bm for each pixel and outputting primary color data for each pixel of Ro, Gro, Gbo, Bo Optical black processing means 132 is provided.
[0033]
In the subsequent stage of the linear matrix conversion unit 130, an auto evaluation value calculation unit 150 that calculates an evaluation value when performing autofocus and automatic exposure (AE) from image data of the entire screen, and a CCD 12 that corrects white balance and the like. RGB gain adjusting means 134 for outputting primary color data of Rg, Grg, Gbg, and Bg for each pixel is provided.
[0034]
Next, a flow in which an imaging signal obtained from the CCD 12 is converted to a recording format at the time of shooting will be described.
[0035]
As shown in FIG. 3, the subject image formed on the CCD 12 is photoelectrically converted into an image signal and output to the CDS circuit 120. In the CDS circuit 120, the image signal is correlated and double-sampled to separate the feedthrough level and the data level, and the green primary color signal G including Gr and Gb, and R composed of red R and blue G are included. / G signal is output.
[0036]
The R, Gr, Gb, and B color signals are A / D converted by the next A / D converter 124 to become digital image data. Since the R, Gr, Gb, and B primary color signals after the color separation are values influenced by the spectral transmittance of each color filter provided in the CCD 12, the hue or the color emitted from the actual subject is It is different from the one that correctly reflects color saturation. Therefore, the linear matrix conversion means 130 inputs R, Gr, Gb, and B primary color data obtained from the A / D converter, and converts and corrects hue, color, and luminance according to the photoelectric conversion characteristics of the photoelectric conversion element. The new primary color data of Rm, Grm, Bm, and Gbm, which are converted into one line, are output. Here, by outputting dot-sequential dot-sequential image data in this way, all subsequent conversion means can be configured by a single system circuit, so that the signal processing circuit of the electronic camera 10 is configured. It will be convenient.
[0037]
As the linear matrix conversion formula in the linear matrix conversion means 130, the calculation formula shown in the formula (1) may be used, but a sufficient effect can be obtained even by performing a simplified calculation as shown in the following formula. It is.
[0038]
[Expression 2]
Rm = R−α × Gr (2)
[0039]
[Equation 3]
Grm = Gr (3)
[0040]
[Expression 4]
Bm = B−β × Gb (4)
[0041]
[Equation 5]
Gbm = Gm (5)
However, α is a correction gain value for R data, β is a correction gain value for B data, and is preferably set to a value of about −0.25 to +0.25.
[0042]
The image data that has undergone the above primary color correction processing is subtracted by the next optical black processing means 132 from black level data corresponding to the dark current generated by the CCD 12 from the primary color image signal corresponding to the pixel output from the CCD 12. An arithmetic process is performed to obtain each primary color data of Ro, Gro, Bo, and Gbo corrected for dark current including fluctuations. However, since the primary color data is converted by using the coefficients of α and β in the linear matrix conversion means 130 in the preceding stage of the optical black processing means 132, the optical black processing means 132 needs to perform correction as shown in the following equation. There is.
[0043]
[Formula 6]
Ro = Rm− (Roff−α × Grot) (6)
[0044]
[Expression 7]
Gro = Grm-Groff (7)
[0045]
[Equation 8]
Bo = Bm− (Boff−β × Gboff) (8)
[0046]
[Equation 9]
Gbo = Gbm−Gboff (9)
However, Roff, Groff, Boff, and Gboff are black level data offset values of R, Gr, B, and Gb, and are preferably set to values of about 0 to 255.
[0047]
In the above description, the optical black processing unit 132 is provided in the subsequent stage of the linear matrix conversion unit 130. However, the present invention is not limited to this, and is provided in the previous stage of the linear matrix conversion unit 130. Also good. However, depending on the circuit configuration of the image processing means of the electronic camera 10, when performing linear matrix conversion after storing the image data subjected to the optical black processing, the image data must be read again, and the time required for the image processing is reduced. There is also a possibility of causing a problem of lengthening.
[0048]
Next, the RGB gain adjusting means 134 adjusts the white balance by adjusting the gain of each primary color data for each pixel of the CCD 12 with reference to the evaluation values related to the luminance and hue calculated by the auto evaluation value calculating means 150, and Rg , Grg, Bg, and Gbg primary color data are output.
[0049]
Since the primary color data is converted by using the coefficients α ′ and β ′ in the linear matrix conversion means 130, the RGB gain adjustment means 134 needs to perform correction as shown in the following equation.
[0050]
[Expression 10]
Rg = Ro × Rgain × 1 / (1-α ′) (10)
[0051]
[Expression 11]
Grg = Gro × Grgain (11)
[0052]
[Expression 12]
Bg = Bo × Bgain × 1 / (1-β ′) (12)
[0053]
[Formula 13]
Gbg = Gbo × Gbgain (13)
However, Rgain, Grgain, Bgain, and Gbgain are gain values for white balance of R, Gr, B, and Gb data, and may be set to values of, for example, 0 to 8 times. Further, α ′ = Kα and β ′ = Lβ (0 ≦ K, L).
[0054]
In the embodiment shown in FIG. 3, when the 12-bit primary color data input by the RGB gain adjusting means 134 is calculated by the gain adjusting means 134, the lower 2 bits are rounded to be converted into 10-bit data and output. However, the present invention is not limited to this method.
[0055]
In the next γ processing means 36, gradation characteristics are converted from 10-bit data to 8-bit data using a non-linear amplification means, and luminance data Y and color difference data C are generated from RGB primary color data by YC conversion means 38. To do. The subsequent signal processing is performed in the same manner as the method shown in FIG. The gradation conversion in the γ processing means may use a table conversion method that performs gradation conversion using a conversion table stored in advance.
[0056]
When calculating the automatic exposure (AE) evaluation value by the automatic system evaluation value calculating means 150, the integrated value is calculated based on the primary color data subjected to the linear matrix conversion, and then the calculation shown below is performed. It is easy to correlate the result with signal processing and each data to be recorded, and it is easy to obtain the white balance of the AE evaluation value, and calculate an AE value for performing photographing using the dynamic range characteristic of the CCD 12 effectively. It becomes possible.
[0057]
Since the image data to be used is after the primary color data is converted by using the coefficients of α ′ and β ′ by the linear matrix conversion means 130, the automatic system evaluation value calculation means 150 shows the following equation as necessary. Such correction may be performed.
[0058]
[Expression 14]
R evaluation value = R integrated value × 1 / (1-α ′) (14)
[0059]
[Expression 15]
G evaluation value = G integrated value (15)
[0060]
[Expression 16]
B evaluation value = B integrated value × 1 / (1−β ′) (16)
However, α ′ = Kα and β ′ = Lβ (0 ≦ K, L).
[0061]
In the example shown in FIG. 3, the auto system evaluation value calculation means 150 calculates the evaluation value using image data that has not been subjected to the optical black processing, but generally the correction amount by the optical black processing is very small. Therefore, the optical black process is unnecessary when calculating the evaluation value of the auto system. Further, when it is necessary to calculate an evaluation value with higher accuracy, an offset means may be provided in the auto system evaluation value calculation means 150 to perform the optical black processing.
[0062]
【The invention's effect】
As described above, according to the electronic camera of the present invention, the imaging device that captures the subject image using the imaging device and outputs the image data of the plurality of primary color signals acquired by the imaging, and the output from the imaging device Image processing means for performing image processing on the image data of the primary color signal and outputting image data of a new primary color signal, wherein the image processing means has a photoelectric conversion characteristic of the image sensor as an image of the primary color signal. Since it includes linear matrix conversion means for correcting and converting data and white balance adjustment means for adjusting the gain of the primary color signal after the linear matrix conversion, an electronic camera with low noise and good color reproducibility It becomes possible to provide.
[0063]
Also, by maintaining good color reproducibility of image data as described above, color correction can be reduced or no color correction is required when printing an image on paper based on image data. It becomes possible.
[Brief description of the drawings]
FIG. 1 is a flowchart showing processing of an imaging signal of an electronic camera. FIG. 2 is a diagram showing a relationship between photoelectric conversion characteristics and ideal imaging characteristics of a color CCD. FIG. Flow chart showing form 【Explanation of symbols】
DESCRIPTION OF SYMBOLS 10 ... Electronic camera, 12 ... CCD (solid-state image sensor), 14 ... Lens, 16 ... Diaphragm, 20 ... CDS processing part, 22 ... Three-line processing part, 24 ... A / D converter, 30 ... Linear matrix conversion means 32 ... Optical black processing means 34 ... RGB gain adjusting means 36 ... γ processing means 38 ... YC converting means 40 ... APC chroma gain adjusting section 42 ... Compressing means 44 ... Recording medium 46 ... Recording I / F 48 ... Communication I / F, 50 ... Auto evaluation value calculation means, 120 ... CDS processing section, 124 ... A / D converter, 130 ... Linear matrix conversion means, 132 ... Optical black processing means, 134 ... RGB gain adjustment means 136: γ processing means, 150: auto evaluation value calculating means

Claims

Imaging means for imaging a subject image using an imaging element and outputting image data of a plurality of primary color signals acquired by the imaging;
Image processing means for performing image processing on image data of the primary color signal output from the imaging means and outputting image data of a new primary color signal;
With
The image processing means includes
And linear matrix conversion means for correcting converting photoelectric conversion characteristic of the image pickup device with respect to the image data of said primary color signals,
White balance adjusting means for adjusting the gain of the primary color signal after performing the linear matrix conversion ;
An evaluation value for inputting the primary color signal after the linear matrix conversion and before the white balance adjustment by the white balance adjustment means, and performing the automatic exposure adjustment based on the primary color signal An evaluation value calculating means for calculating
Electronic camera comprising the.

The evaluation value calculation means integrates the primary color signal for each primary color signal input from the linear matrix conversion means, and calculates an evaluation value by correcting each integrated value with a coefficient of the linear matrix conversion means. The electronic camera according to claim 1.

3. The electronic camera according to claim 1, wherein the white balance adjusting unit adjusts the gain of each primary color signal based on the evaluation value calculated by the evaluation value calculating unit, and performs white balance adjustment.