JP4175587B2

JP4175587B2 - 画像処理装置及びその方法、撮像装置、並びにメモリ媒体

Info

Publication number: JP4175587B2
Application number: JP01754199A
Authority: JP
Inventors: 秀俊和田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-01-26
Filing date: 1999-01-26
Publication date: 2008-11-05
Anticipated expiration: 2019-01-26
Also published as: JP2000217126A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及びその方法、撮像装置、並びにメモリ媒体に係り、特に、画像中の雑音成分を低減する画像処理装置及びその方法、該画像処理装置を含む撮像装置、並びに画像中の雑音成分を低減するためのプログラムを格納したメモリ媒体に関する。
【０００２】
【従来の技術】
映像信号の雑音低減方法として、入力画素信号をフィールド時間（若しくはフレーム時間）だけ遅延させて、この遅延させた画素信号を利用して雑音成分を抽出し、この雑音成分を入力画素信号から減算する方法がある。
【０００３】
図７は、雑音低減回路の一例を示す図である。この雑音低減回路では、輝度信号を入力し、この輝度信号に含まれる雑音成分を低減する。入力輝度信号は、動き成分と雑音成分とを含む。出力信号である輝度信号（雑音低減輝度信号）は、フィールドメモリ７０２により１フィールド時間だけ遅延される。減算器７０１では、この遅延された輝度信号から入力輝度信号を減算する。一般に、映像信号は、時間方向に相関性が高いため、減算器７０１からは、動き成分と、時間方向に相関性の低い雑音成分、即ち、−（動き成分＋雑音成分）に相当する信号が出力される。動き成分と雑音成分に相当する信号は、リミッタ回路７０３に入力され、このリミッタ回路７０３では、動き成分と比較して雑音成分が小さいことを利用して、所定値以上の信号を制限することにより動き成分を除去し、−（雑音成分）に相当する信号を出力する。加算器７０４では、リミッタ回路７０３で抽出された−（雑音成分信号）と入力輝度信号とを加算することにより、雑音成分が低減された輝度信号（雑音低減輝度信号）を出力する。
【０００４】
【発明が解決しようとする課題】
一般に、撮像装置では、各分解色の画素信号に対して、例えば各分解色の比が１：１：１になるようにホワイトバランスの補正処理を施す。この処理では、画素信号を増幅する際の利得が分解色毎に調整される。従って、上記のような雑音低減回路により雑音成分を低減した画素信号に対してホワイトバランスの補正処理を施すと、各分解色についての利得の比に依存して各分解色の間で雑音成分のレベルが異なることになるため、該利得の比に応じて各分解色の間で雑音の低減効果に違いが現れる。
【０００５】
また、一般に、撮像装置では、ＣＣＤ撮像素子から得られる画素信号を処理して輝度信号と色信号とを生成する過程においてガンマ補正処理を行う。ガンマ補正処理は、信号／雑音比（以下、Ｓ／Ｎ比）の小さい低照度部に関しては出力レベルを高くし、Ｓ／Ｎ比の大きい高照度部に関しては出力レベルを抑える。従って、ガンマ補正処理の後に上記のような雑音低減回路により雑音を低減する場合、ガンマ補正により、入力画素信号のレベルに依存して雑音成分のレベルが異なることになるため、入力画素信号のレベルによって雑音の低減効果に違いが現れる。
【０００６】
本発明は、上記の背景に鑑みてなされたものであり、例えば、画像中の雑音成分を効果的に低減するための装置及び方法を提供することを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る画像処理装置は、同期信号による走査方向に複数の色画素が規則的に配列され、当該同期信号に基づいていずれかの色の画素信号を規則的に順次出力する撮像素子と、前記画素信号の色を判別するための画素色判別信号を、前記同期信号に基づいて出力する色判別回路と、雑音低減後信号を１フィールド期間だけ遅延させるフィールドメモリと、前記画素信号と前記フィールドメモリにより遅延された雑音低減後信号との差分を演算する第１の演算回路と、前記第１の演算回路から出力された差分信号から閾値以下の成分を雑音成分として抽出するリミッタ回路と、前記リミッタ回路により抽出された雑音成分に巡回係数を乗じるレベルシフト回路と、前記画素信号から前記乗算後の雑音信号を減じ、前記雑音低減後信号として出力する第２の演算回路と、前記雑音低減後信号に対してホワイトバランス補正を行うホワイトバランス補正手段と、前記雑音低減後信号に対して行ったホワイトバランス補正の内容に応じて前記閾値及び前記巡回係数を決定し、当該決定した閾値及び巡回係数に従って夫々前記リミッタ回路及び前記レベルシフト回路を動作させる制御回路と、を有し、前記制御回路は、前記雑音低減後信号に対して行ったホワイトバランス補正の内容に応じて各色に対応する複数の前記閾値及び前記巡回係数を算出し、当該算出した複数の前記閾値及び前記巡回係数から、前記色判別回路から出力された画素色判別信号に応じた１つの色に対応する閾値及び巡回係数を決定することを特徴とする。
【０００８】
上記の画像処理装置において、例えば、前記制御回路は、前記ホワイトバランス補正手段が各色の画素信号を増幅する際の各色についての利得に応じて、各色の前記閾値及び前記巡回係数を決定することが好ましい。
【０００９】
上記の画像処理装置において、例えば、前記制御回路は、各色についての前記利得の逆数に比例する値を、対応する色の前記閾値及び前記巡回係数として決定することが好ましい。
【００１２】
上記の画像処理装置において、例えば、前記ホワイトバランス補正手段により処理された後の画素信号にガンマ補正処理を施すガンマ補正手段を更に備えることが好ましい。
【００１４】
上記の画像処理装置において、例えば、前記撮像素子は、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の色画素が規則的に配列されており、前記同期信号に基づいて前記Ｒ、Ｇ及びＢに対応した画素信号を規則的に順次出力することが好ましい。
【００１９】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な実施の形態を説明する。
【００２０】
図１は、本発明の好適な実施の形態に係る画像処理装置の概略的な構成を示す図である。この画像処理装置は、例えば、デジタルビデオカメラ等に適用される。
【００２１】
タイミング信号生成回路１０１には、不図示の回路で生成される水平同期信号ＨＤ、垂直同期信号ＶＤ及びメインクロックＣＬＯＣＫが入力される。タイミング信号生成回路１０１は、これらの入力信号に従って、ＣＣＤ撮像素子１０２を駆動するための駆動パルス信号を生成する。
【００２２】
ＣＣＤ撮像素子１０２は、タイミング信号生成回路１０１から供給される駆動パルス信号に従って撮像を行う。ここで、ＣＣＤ撮像素子１０２は、各画素の信号値を加算せずに、全て画素単位で出力する。ＣＣＤ撮像素子１０２から出力される画素信号は、ＣＤＳ回路１０３において、相関二重サンプリングにより、駆動パルス信号に起因する雑音が低減される。ＣＤＳ回路１０３から出力される画素信号は、ＡＧＣ回路１０４において増幅されて、その後、ＡＤ変換回路１０５においてデジタル信号に変換され、雑音低減回路１０６に供給される。
【００２３】
図２は、ＣＣＤ撮像素子１０２の撮像面における色フィルタの配列の一例を示す図である。この配列は、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の３つの分解色の色フィルタで構成されている。この例では、ある走査線では、Ｒ、Ｇ、Ｒ、Ｇ、Ｒ、Ｇ・・・のように色フィルタが配置され、その次の走査線では、Ｇ、Ｂ、Ｇ、Ｂ、Ｇ、Ｂ・・・のように色フィルタが配置されている。全走査線にＧが含まれるのは、人間の眼は緑色に対する感度が高いため、解像度に対する貢献が高いからである。この配列は、線順次市松配列若しくはベイヤー配列と呼ばれる。
【００２４】
このような配列の色フィルタが設けられたＣＣＤ撮像素子１０２からは、ある水平走査では、Ｒ、Ｇ、Ｒ、Ｇ、Ｒ、Ｇ・・・のように、各色フィルタに対応した画素信号が出力され、その次の水平走査では、Ｇ、Ｂ、Ｇ、Ｂ、Ｇ、Ｂ・・・のように、各色フィルタに対応した画素信号が出力される。
【００２５】
画素色判別回路１０７は、ＣＣＤ撮像素子１０２から出力される画素信号が、Ｒ、Ｇ、Ｂのいずれの色フィルタに対応する画素信号であるかを判別する。画素色判別回路１０７には、前述の水平同期信号ＨＤ、垂直同期信号ＶＤ及びメインクロックＣＬＯＣＫが入力される。
【００２６】
図３（ａ）は、画素色判別回路１０７の構成例を示す図である。この例では、画素色判別回路１０７は、２つのＤ型フリップフロップ３０１及び３０２で構成される。
【００２７】
Ｄ型フリップフロップ３０１は、水平同期信号ＨＤをリセット信号（ＲＳＴ）とし、メインクロックＣＬＯＣＫをクロック信号（ＣＫ）とし、反転出力（ＸＱ）を入力信号（Ｄ）とし、出力端子Ｑから水平画素判別信号を出力する。水平画素判別信号は、各水平走査期間の終了でリセットされ、メインクロックＣＬＯＣＫの立上がりに同期して０、１、０、１、０・・・のように反転する信号である。
【００２８】
Ｄ型フリップフロップ３０２は、垂直同期信号ＶＤをリセット信号（ＲＳＴ）とし、水平同期信号ＨＤをクロック信号（ＣＫ）とし、反転出力（ＸＱ）を入力信号（Ｄ）とし、出力端子Ｑから走査線判別信号を出力する。走査線判別信号は、各垂直走査期間の終了でリセットされ、水平同期信号ＨＤの立上がりに同期して０、１、０、１、０・・・のように反転する信号である。
【００２９】
図３に示す画素色判別回路１０７で生成された水平画素判別信号及び走査線判別信号は、雑音低減回路１０６に供給される。図３（ｂ）は、水平画素判別信号及び走査線判別信号と、色フィルタの色との対応関係を示す図である。例えば、走査線判別信号が”０”であり、水平画素判別信号が”０”であれば、当該画素信号は、Ｒの色フィルタに対応する画素信号であることを示す。
【００３０】
雑音低減回路１０６には、画素色判別回路１０７から供給される画素色判別信号（水平画素判別信号及び走査線判別信号）の他、ＡＤ変換回路１０５から供給される画素信号とホワイトバランス制御回路１１０から供給されるホワイトバランス情報信号が入力される。
【００３１】
図４は、雑音低減回路１０６の構成例を示す図である。ＡＤ変換回路１０５から供給される画素信号は、減算器４０１及び加算器４０２に入力される。フィールドメモリ４０６は、雑音低減回路１０６の出力信号である雑音低減画素信号を１フィールド期間（若しくは１フレーム期間）だけ遅延させて減算器４０１に供給する。
【００３２】
減算器４０１では、フィールドメモリ４０６から供給される１フィールド前の画素信号から現在の画素信号を減算する。映像信号は、時間方向に相関性が高いため、減算器４０１の出力は、１フィールド期間の間に動いた部分に関する動き成分信号と、時間方向に相関性の低い雑音成分信号との和、即ち、−（動き成分＋雑音成分）となる。
【００３３】
減算器４０１の出力は、リミッタ回路４０３に供給される。リミッタ回路４０３では、−（動き成分＋雑音成分）から−（動き成分）を抽出してレベルシフト回路４０４に供給する。図５は、リミッタ回路４０３の特性を示す図である。
【００３４】
動き成分信号と雑音成分信号とのレベルを比較すると、動き成分信号のレベルの方が大きい。従って、リミッタ回路４０３において、所定の値に閾値レベルを設定し、０〜閾値レベルの範囲の入力信号を通過させることにより、動き成分のみを除去することができ、リミッタ回路４０３からは、−（雑音成分）に相当する信号が出力される。
【００３５】
レベルシフト回路４０４では、リミッタ回路４０３から供給される雑音成分信号のレベルをシフトする。具体的には、レベルシフト回路４０４では、図５において０〜閾値レベルの範囲における入力と出力との関係を示す直線の傾きを変更するのと等価な処理を実行する。この係数は、巡回係数（レベルシフト値）と呼ばれ、この傾きが１に近づくほど巡回させる雑音成分信号のレベルが大きくなる。レベルシフト回路４０４においてレベルシフトされた雑音成分信号は、−（ｎ×雑音成分）に相当する。
【００３６】
加算器４０２では、レベルシフト回路４０４から供給される−（ｎ×雑音成分）に相当する信号と、ＡＤ変換回路１０５から供給される画素信号とを加算することにより、該画素信号に含まれる雑音成分を低減する。
【００３７】
係数制御回路４０５は、ＣＣＤ撮像素子１０２のＲ、Ｇ、Ｂの色フィルタの色に応じて、即ち、処理対象の画素信号がＲ、Ｇ、Ｂの色フィルタのいずれの色フィルタに対応する画素信号であるかに応じて、リミッタ回路４０３に設定する閾値レベルとレベルシフト回路４０４に設定する巡回係数とを変更する。これにより、係数制御回路４０５は、各色フィルタに対応する画素信号、即ち、Ｒ、Ｇ、Ｂの画素信号に対して施す雑音の低減処理の効果が、全ての色において同等になるようにする。
【００３８】
図６は、係数制御回路４０５の構成例を示す図である。この係数制御回路４０５には、ホワイトバランス制御回路１１０から供給されるホワイトバランス情報信号、画素色判別回路１０７から供給される画素色判別信号（即ち、走査線判別信号及び水平画素判別信号）、並びに、不図示の設定回路から供給される設定閾値レベル及び設定巡回係数が入力される。
【００３９】
ここで、設定閾値レベルとは、リミッタ回路４０３に設定する閾値レベルの基準となるレベルであり、例えば、前記設定回路により不揮発性メモリ等から読み出して提供される。また、設定巡回係数とは、レベルシフト回路４０４に設定する巡回係数の基準となる係数であり、例えば、前記設定回路により不揮発性メモリ等から読み出して提供される。
【００４０】
ホワイトバランス情報信号は、ホワイトバランス回路１０８においてホワイトバランスの補正処理を行った際の各色（Ｒ、Ｇ、Ｂ）についての利得の逆数と、雑音低減回路１０６における雑音低減効果の量を設定するための各色について共通の値であるバイアス値との乗算値ＷＢＲ、ＷＢＧ、ＷＢＢを含む。
【００４１】
乗算器６０３、６０４、６０５では、設定閾値レベルに対して、夫々乗算値ＷＢＲ、ＷＢＧ、ＷＢＢを乗じて、演算結果を夫々Ｒ用閾値レベルＴＲ、Ｇ用閾値レベルＴＧ、Ｂ用閾値レベルＴＢとして出力する。セレクタ６０１は、Ｒ用閾値レベルＴＲ、Ｇ用閾値レベルＴＧ、Ｂ用閾値レベルＴＢのうち画素色判別信号によって指定される色についての閾値レベルを選択してリミッタ回路４０３に供給する。
【００４２】
乗算器６０６、６０７、６０８では、設定巡回係数に対して、夫々乗算値ＷＢＲ、ＷＢＧ、ＷＢＢを乗じて、演算結果を夫々Ｒ用巡回係数ＣＲ、Ｇ用巡回係数ＣＧ、Ｂ用巡回係数ＣＢとして出力する。セレクタ６０２は、巡回係数ＣＲ、Ｇ用巡回係数ＣＧ、Ｂ用巡回係数ＣＢのうち画素色判別信号によって指定される色についての巡回係数を選択してレベルシフト回路４０４に供給する。
【００４３】
例えば、Ｒ用の色フィルタに対応する画素信号に対して、ホワイトバランス回路１０８において、利得＝２倍、バイアス値＝０．５の処理を施したとすると、Ｒに関するホワイトバランス情報信号ＷＢＲは、１／２×０．５＝０．２５を示し、乗算器６０３では、設定閾値レベルに対して０．２５を乗じて出力する。
【００４４】
以上のように、雑音低減回路１０６の後段側のホワイトバランス回路１０８によるホワイトバランス補正の際の各色についての利得の逆数を夫々設定閾値レベルに乗じて各色用の閾値レベルを決定すると共に、該利得の逆数を設定巡回係数に乗じて各色毎の巡回係数を決定することにより、ホワイトバランス補正の後の画素信号において評価される雑音の低減の効果（雑音を除去する際の閾値）を各色の間で同等にすることができる。
【００４５】
雑音低減回路１０６において雑音が低減された画素信号は、ホワイトバランス回路１０８において、ホワイトバランスが補正される。ホワイトバランスが補正された画素信号は、ガンマ回路１１１及び積分回路１０９に供給される。
【００４６】
積分回路１０９では、Ｒ、Ｇ、Ｂの各色フィルタに対応した画素信号を積分することによって各色のレベルの平均値を検出し、その検出結果をホワイトバランス制御回路１１０に供給する。ホワイトバランス制御回路１１０では、各色のレベルの平均値に基づいて、各色のレベルの平均値の比が１：１：１になるように、ホワイトバランス回路１０８を制御する。また、ホワイトバランス制御回路１１０は、前述のように、ホワイトバランス情報信号を雑音低減回路１０６に供給する。
【００４７】
ガンマ回路１１１では、ホワイトバランスが補正された画素信号に対してガンマ補正を施す。マトリクス回路１１２では、ガンマ補正された画素信号を輝度信号及び色信号に変換する。
【００４８】
以上のように、本発明の好適な実施の形態によれば、ホワイトバランス補正の内容に応じて雑音低減回路のパラメータを決定し、雑音低減処理及びホワイトバランス補正の後の画素信号において評価される雑音の低減の効果を各色の間で同等にする。従って、各色について同等に雑音が低減された画像を得ることができる。
【００４９】
また、本発明の好適な実施の形態によれば、ガンマ補正の前に雑音低減処理を実行するため、画素信号のレベルに応じて雑音の低減効果が変動するという問題を解決し、画素信号のレベルの全範囲において一様に雑音を低減することができる。
【００５０】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００５１】
また、上記の実施の形態に係る装置又は方法を構成する構成要素の全体のうち一部の構成要素で構成される装置又は方法も、本件出願に係る発明者が意図した発明である。
【００５２】
また、上記の実施の形態に係る装置の機能は、プログラムコードを記録した記憶媒体をシステム或いは装置に固定的又は一時的に組み込み、そのシステム或いは装置のコンピュータ（又はＣＰＵ若しくはＭＰＵ）が該記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。ここで、該記憶媒体から読み出されたプログラムコード自体或いは該記憶媒体自体が法上の発明を構成する。
【００５３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等が好適であるが、他のデバイスを採用することもできる。
【００５４】
また、コンピュータが記憶媒体から読み出したプログラムコードを実行することにより本発明の特有の機能が実現される場合のみならず、そのプログラムコードによる指示に基づいて、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部又は全部を負担する実施の態様も本発明の技術的範囲に属する。
【００５５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備えられたメモリに書込まれた後に、そのプログラムコードの指示に基づいて、その機能拡張ボードや機能拡張ユニットに備えられたＣＰＵ等が実際の処理の一部又は全部を負担する実施の態様も本発明の技術的範囲に属する。
【００５６】
【発明の効果】
本発明によれば、画像中の雑音成分を効果的に低減することができる。
【図面の簡単な説明】
【図１】本発明の好適な実施の形態に係る画像処理装置の概略的な構成を示す図である。
【図２】ＣＣＤ撮像素子の撮像面における色フィルタの配列の一例を示す図である。
【図３】画素色判別回路の構成例を示す図である。
【図４】雑音低減回路の構成例を示す図である。
【図５】リミッタ回路の特性を示す図である。
【図６】係数制御回路の構成例を示す図である。
【図７】雑音低減回路の一例を示す図である。

Claims

同期信号による走査方向に複数の色画素が規則的に配列され、当該同期信号に基づいていずれかの色の画素信号を規則的に順次出力する撮像素子と、
前記画素信号の色を判別するための画素色判別信号を、前記同期信号に基づいて出力する色判別回路と、
雑音低減後信号を１フィールド期間だけ遅延させるフィールドメモリと、
前記画素信号と前記フィールドメモリにより遅延された雑音低減後信号との差分を演算する第１の演算回路と、
前記第１の演算回路から出力された差分信号から閾値以下の成分を雑音成分として抽出するリミッタ回路と、
前記リミッタ回路により抽出された雑音成分に巡回係数を乗じるレベルシフト回路と、
前記画素信号から前記乗算後の雑音信号を減じ、前記雑音低減後信号として出力する第２の演算回路と、
前記雑音低減後信号に対してホワイトバランス補正を行うホワイトバランス補正手段と、
前記雑音低減後信号に対して行ったホワイトバランス補正の内容に応じて前記閾値及び前記巡回係数を決定し、当該決定した閾値及び巡回係数に従って夫々前記リミッタ回路及び前記レベルシフト回路を動作させる制御回路と、を有し、
前記制御回路は、前記雑音低減後信号に対して行ったホワイトバランス補正の内容に応じて各色に対応する複数の前記閾値及び前記巡回係数を算出し、当該算出した複数の前記閾値及び前記巡回係数から、前記色判別回路から出力された画素色判別信号に応じた１つの色に対応する閾値及び巡回係数を決定することを特徴とする画像処理装置。
前記制御回路は、前記ホワイトバランス補正手段が各色の画素信号を増幅する際の各色についての利得に応じて、各色の前記閾値及び前記巡回係数を決定することを特徴とする請求項１に記載の画像処理装置。
前記制御回路は、各色についての前記利得の逆数に比例する値を、対応する色の前記閾値及び前記巡回係数として決定することを特徴とする請求項２に記載の画像処理装置。
前記ホワイトバランス補正手段により処理された後の画素信号にガンマ補正処理を施すガンマ補正手段を更に備えることを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像処理装置。
前記撮像素子は、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の色画素が規則的に配列されており、前記同期信号に基づいて前記Ｒ、Ｇ及びＢに対応した画素信号を規則的に順次出力することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。