JP4599705B2

JP4599705B2 - Image processing apparatus and method, and program recording medium

Info

Publication number: JP4599705B2
Application number: JP2000344494A
Authority: JP
Inventors: 康昭高橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-11-10
Filing date: 2000-11-10
Publication date: 2010-12-15
Anticipated expiration: 2020-11-10
Also published as: JP2002150282A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理をする画像処理装置及びその方法、並びに画像処理のためのプログラムが記録されているプログラム記録媒体に関し、詳しくは、カラー画像において各色に発生するノイズの除去のためのものであって、そのノイズが各色でランダムで発生している場合に好適な画像処理装置及びその方法、並びにプログラム記憶媒体に関する。
【０００２】
【従来の技術】
画像処理技術の一つとして画像のノイズを除去する技術がある。ノイズ除去の技術としては、空間方向にフィルターをかけて、画像をぼかしてノイズを除去したり、時間方向のデータを利用して、静止部分の足し合わせることによりノイズ除去する手法が提案されている。
【０００３】
【発明が解決しようとする課題】
ところで、空間方向にフィルターをかけて、画像をぼかすことによりノイズを除去する手法については、ノイズは目立たなくなるが、画像はぼけてしまうといった問題が生じてしまう。
【０００４】
また、時間方向のデータを利用して、静止部分の足し合わせによってノイズを除去する手法については、静止画を撮る場合、時間方向にデータを保持するためのメモリが必要になってくる。さらに、動物体の画像についてノイズ除去を行う場合には、足し合わせるための部分を探すための動き検出処理等の複雑な処理が必要になってくる。
【０００５】
そこで、本発明は、上述の実情に鑑みてなされたものであり、複雑な処理等を要することなく、適切に画像のノイズ除去を行うことができる画像処理装置及びその方法並びにプログラム記録媒体を提供することを目的としている。
【０００６】
【課題を解決するための手段】
本発明に係る画像処理装置は、上述の課題を解決するために、複数の色信号によって画素が構成されている画像の処理をする画像処理装置であって、入力画像信号を所定の大きさの画素ブロックにブロック化するブロック化手段と、上記ブロック化手段から出力された画素ブロック内における一の色信号の変化と他の色信号の変化の相関に基づいて、当該画素ブロック内における注目画素の一の色信号について、上記注目画素の同画素位置近傍の他の色信号から疑似色信号を生成する色生成手段と、上記一の色信号と上記色生成手段が生成した疑似色信号とを合成して一の色信号を新たに生成する色合成手段とを備え、上記注目画素の一の色信号の値をＡ _１とし、上記注目画素の他の色信号の値をＡ _２とし、上記画素ブロック内の全画素についての一の色信号の最小値をＡ _１ minとし、一の色信号の最大値と上記最小値Ａ _１ minとの差分をＤＲ _１とし、上記画素ブロック内の全画素についての他の色信号の最小値をＡ _２ minとし、他の色信号の最大値と上記最小値Ａ _２ minとの差分をＤＲ _２とするとき、上記色生成手段は、上記疑似色信号の値Ａ _１２を
Ａ _１２＝（Ａ _２ −Ａ _２ min）×ＤＲ _１／ＤＲ _２＋Ａ _１ min
として生成する。
【０００７】
このような構成を備える画像処理装置は、一の色信号について、当該一の色信号の同画素位置近傍の他の色信号から疑似色信号を色生成手段により生成し、一の色信号と色生成手段が生成した疑似色信号とを合成して一の色信号を色合成手段により新たに生成する。これにより、画像処理装置は、各色信号間に独立して発生するノイズ成分を除去する。
【０００８】
また、本発明に係る画像処理方法は、上述の課題を解決するために、複数の色信号によって画素が構成されている画像の処理をする画像処理方法であって、入力画像信号を所定の大きさの画素ブロックにブロック化するブロック化工程と、上記ブロック化工程により出力された画素ブロック内における一の色信号の変化と他の色信号の変化の相関に基づいて、当該画素ブロック内における注目画素の一の色信号について、上記注目画素の同画素位置近傍の他の色信号から疑似色信号を生成する色生成工程と、上記一の色信号と上記色生成工程にて生成した疑似色信号とを合成して一の色信号を新たに生成する色合成工程とを有し、上記注目画素の一の色信号の値をＡ _１とし、上記注目画素の他の色信号の値をＡ _２とし、上記画素ブロック内の全画素についての一の色信号の最小値をＡ _１ minとし、一の色信号の最大値と上記最小値Ａ _１ minとの差分をＤＲ _１とし、上記画素ブロック内の全画素についての他の色信号の最小値をＡ _２ minとし、他の色信号の最大値と上記最小値Ａ _２ minとの差分をＤＲ _２とするとき、上記色生成工程では、上記疑似色信号の値Ａ _１２を
Ａ _１２＝（Ａ _２ −Ａ _２ min）×ＤＲ _１／ＤＲ _２＋Ａ _１ min
として生成する。これにより、画像処理方法は、各色信号間に独立して発生するノイズ成分を除去する。
【０００９】
また、本発明に係るプログラム記録媒体は、複数の色信号によって画素が構成されている画像の処理をする画像処理装置を実行させるプログラムが記録されたプログラム記録媒体であって、上記画像処理装置に、入力画像信号を所定の大きさの画素ブロックにブロック化するブロック化工程と、上記ブロック化工程により出力された画素ブロック内における一の色信号の変化と他の色信号の変化の相関に基づいて、当該画素ブロック内における注目画素の一の色信号について、上記注目画素の同画素位置近傍の他の色信号から疑似色信号を生成する色生成工程と、上記一の色信号と上記色生成工程にて生成した疑似色信号とを合成して一の色信号を新たに生成する色合成工程とを実行させ、上記注目画素の一の色信号の値をＡ _１とし、上記注目画素の他の色信号の値をＡ _２とし、上記画素ブロック内の全画素についての一の色信号の最小値をＡ _１ minとし、一の色信号の最大値と上記最小値Ａ _１ minとの差分をＤＲ _１とし、上記画素ブロック内の全画素についての他の色信号の最小値をＡ _２ minとし、他の色信号の最大値と上記最小値Ａ _２ minとの差分をＤＲ _２とするとき、上記色生成工程では、上記疑似色信号の値Ａ _１２を
Ａ _１２＝（Ａ _２ −Ａ _２ min）×ＤＲ _１／ＤＲ _２＋Ａ _１ min
として生成させるプログラムが記録されている。このようなプログラム記録媒体に記録されているプログラムにより画像処理を実行する画像処理装置は、各色信号間に独立して発生するノイズ成分を除去する。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。この実施の形態は、本発明を、画像を処理する画像処理装置に適用したものである。画像処理装置については、第１及び第２の実施の形態を挙げて説明する。
【００１１】
先ず、本発明が適用された画像処理装置を説明する前に、画像処理の原理について説明する。画像処理の原理については、以下のようになる。
【００１２】
画像処理は、前提としてカラー画像について行うことを前提としている。具体的には、ＲＧＢの色信号によって画素が構成されている画像についての画像処理である。
【００１３】
そして、画像処理では、そのようなカラー画像の色信号間の相関を利用して、先ず色変換を行っている。さらに、画像処理では、その色変換により得た色信号を本来の色に加えることで、ノイズの除去或いは低減（以下、単に除去という。）を実現している。ここで、カラー画像の各色信号において発生するノイズは、それぞれ相関のないランダムなノイズであることが前提とされている。以下、ノイズ除去のために行う色変換及び色の加算等の処理について、その原理を説明する。
【００１４】
先ず、色変換について説明する。以下、例として、Ｒ（赤色）を変換して、Ｒ（赤色）からＧ（緑色）を生成する場合について説明する。
【００１５】
ここで、画像中の所定の画素ブロックについて先ず考える。例えば、所定の画素ブロックは、図１中（Ａ）又は（Ｂ）に示すように、画像中における３×３の画素ブロックであるとする。そして、このような３×３（３行３列）の画素ブロック内の各画素は、それぞれが色信号として把握されるものであり、すなわち、各画素は、図２中（Ａ）に示すように、Ｒの色信号については、Ｒ_０〜Ｒ_８（Ｒ_ｉ：ｉ＝０〜８の整数）の値をもっており、また、Ｇの色信号については、図２中（Ｂ）に示すように、Ｇ_０〜Ｇ_８（Ｇ_ｉ：ｉ＝０〜８の整数）の値をもっており、また、図２中（Ｃ）に示すように、Ｂの色信号については、Ｂ_０〜Ｂ_８（Ｂ_ｉ：ｉ＝０〜８の整数）の値をもっている。
【００１６】
ここで、そのような画素ブロック内における各色信号の変化について考えてみる。例えば、画素ブロック内における値の最小値をＭＩＮとおき、そのダイナミックレンジＤＲを最大値−ＭＩＮとおいて、（１）式によりＲ_ｉの変換後のｒ_ｉの得て、また、（２）式によりＧ_ｉの変換後のｇ_ｉの値を得て、また、（３）式によりＢ_ｉの変換後のｂ_ｉの値を得る。
【００１７】
ｒ_ｉ＝（Ｒ_ｉ−ＭＩＮＲ）／ＤＲＲ・・・（１）
ｇ_ｉ＝（Ｇ_ｉ−ＭＩＮＧ）／ＤＲＧ・・・（２）
ｂ_ｉ＝（Ｂ_ｉ−ＭＩＮＢ）／ＤＲＢ・・・（３）
ここで、ＭＩＮＲ、ＭＩＮＧ及びＭＩＮＢは、画素ブロック内の画素のＲ、Ｇ、Ｂの色信号それぞれの最小値であり、ＤＲＲ、ＤＲＧ及びＤＲＢは、そのような画素ブロック内の画素のＲ、Ｇ及びＢの色信号についての最小値と最大値との差分として示されるダイナミックレンジＤＲの値である。なお、ダイナミックレンジＤＲが０の場合には、もともとの変化がないので、ｒ_ｉ，ｇ_ｉ及びｂ_ｉは０とする。
【００１８】
このように、（１）式により画素ブロック内の各画素のＲの色信号について変換後のｒ_０〜ｒ_８を得ることができ、また、（２）式により画素ブロック内の各画素のＧの色信号について変換後のｇ_０〜ｇ_８を得ることができ、また、（３）式により画素ブロック内の各画素のＢの色信号について変換後のｂ_０〜ｂ_８を得ることができるが、ｒ_０〜ｒ_８の変化、ｇ_０〜ｇ_８の変化及びｂ_０〜ｂ_８の変化とは、相関は高く、略同じ値になる。
【００１９】
このように相関が高いことを利用すれば、（４）式により、一の色信号について、他の色信号から疑似色信号を得ることができる。ここで、（４）式は、例として、Ｇ（一の色信号）について、Ｒ（他の色信号）に基づいて新たな値Ｇ_Ｒ（疑似色信号）が生成される場合としている。
【００２０】
Ｇ_Ｒ＝（Ｒ_４−ＭＩＮＲ）×ＤＲＧ／ＤＲＲ＋ＭＩＮＧ・・・（４）
この（４）式により算出された値Ｇ_Ｒは、上述したようなＲの画素ブロック内の中心画素を注目画素としたＧの色信号への変換後の値であって、同一位置の画素のＲ_４に基づいて、それに対応される変換後の値とされる。
【００２１】
また、上述の（４）式におけるＭＩＮＲの替わりに、Ｒ_４以外の値であるＲ_０，Ｒ_１，Ｒ_２，Ｒ_３，Ｒ_５，Ｒ_６，Ｒ_７，Ｒ_８を用いることもできる。この場合、値Ｇ_Ｒとして８候補を得ることができるので、それらの平均を、生成した値Ｇ_Ｒとすることもできる。さらに、このような場合には、そのようにして求めた候補のうち、０≦Ｇ_Ｒ≦２５５（画素のデータが８bitで表される場合）以外のものを除いた平均値を求めることもできる。
【００２２】
以上のように、Ｒを変換して、Ｇ_Ｒを生成することができる。そして、説明は省略するが、同様に、Ｂを変換することにより、疑似色信号としてのＧを生成する、すなわち値Ｇ_Ｂを生成することもできる。
【００２３】
次に、色の加算処理について説明する。この色の加算処理では、上述のようにして得た値Ｇ_Ｒ，Ｇ_Ｂを、もとのＧの色信号に加算しており、これにより、ノイズ成分が除去されたものになる。色の加算処理の原理は次のようになる。
【００２４】
先ず、ここで、ＲＧＢについて３板のＣＣＤ（Charge Coupled Device）により撮像されることを前提とする。３板のＣＣＤで撮像した場合には、３板それぞれで得られたＲＧＢの各色信号に発生するノイズ成分にはその色間において相関はない。このような前提の下では、上述のようにして求められるＲ及びＢに基づいて得た値Ｇ_Ｒ及びＧ_ＢをもとのＧの値に加えることにより、ノイズ成分が除去されたものとなる。具体的には、（５）式により、値Ｇ’を得ることで、その値Ｇ’はノイズ成分が除去された色信号になる。
【００２５】
Ｇ’＝ｗ_１×Ｇ＋ｗ_２×Ｇ_Ｒ＋ｗ_３×Ｇ_Ｂ・・・（５）
ここで、ｗ_ｊ（ｊ＝１，２，３）は、各重み係数であり、次の（１）〜（３）に示すいずれかの手法により最適値として決定することができる。
（１）３画素平均とし、重み係数ｗ_ｊを１／３にする。
（２）ＲＧＢそれぞれについてのホワイトバランス等の調整時のゲイン量に応じて重み係数ｗ_ｊを変化させる。すなわち、重み係数ｗ_ｊをゲイン量の関数として決定する。例えば、重み係数ｗ_ｊをＲＧＢのゲイン量の関数とした場合は、上述の（５）式を次の（６）式のように示すことができる。
【００２６】
Ｇ’＝ｗ_１（ΔＧ）×Ｇ＋ｗ_２（ΔＲ）×Ｇ_Ｒ＋ｗ_３（ΔＢ）×Ｇ_Ｂ・・・（６）
（３）クラス分類により重み係数ｗ_ｊを決定する。この場合、ｒ_ｉとｇ_ｉの差やＤＲＲとＤＲＧとの差等の画像ブロックを単位とした特徴量に基づいてクラス分類をして、すなわち画像ブロックのパターン分けをして、予測式を上述の（５）式として、クラス分類を行う。そして、そのようなクラス分類に対応される重み係数ｗ_ｊを学習により決定する。具体的には、学習では、重み係数ｗ_ｊを最小自乗法により求める。これについてはクラス分類適用処理として後で詳述する。
【００２７】
以上のように、（５）式或いは（６）式に示すように、もとの一の色信号とされるＧに他の色信号を変換して得た当該Ｇの色信号の疑似信号のＧ_Ｒ，Ｇ_Ｂを加算することで、ノイズ成分を除去することができるようになる。
【００２８】
また、上述の説明では、Ｇの色信号のノイズ成分を除去する場合について、その色の変換の処理と、色の加算の処理について説明した。Ｒ，Ｂの色信号についても、同様にして、他の色信号を変換して得た色信号を加算することにより、ノイズ成分を除去することができる。すなわち、一の色信号とされるＲ或いはＧの色信号について、他の色信号を変換してＲ或いはＧを生成して、それらの元のＲ或いはＧの色信号に、重み係数を掛け合わせる。これにより、上述した値Ｇ’の色信号と同様に、ノイズ成分が除去されたＲ或いはＧを得ることができるようになる。
【００２９】
以上、本発明を適用した画像処理の原理について説明した。次に、上述したように画像処理が適用された、実施の形態とされる画像処理装置について説明する。ここでは、上述の原理についての説明と同様に、Ｇの色信号のノイズ成分を除去する場合の処理について説明する。
【００３０】
先ず、第１の実施の形態である画像処理装置は、図３に示すように、ブロック化回路１０、ＭＩＮ及びＤＲ検出回路２０、色変換回路３０及び加算回路４０を備えている。
【００３１】
このような画像処理装置の構成において、ブロック化回路１０は、入力画像信号を所定の大きさの画素ブロックにブロック化するブロック化手段を構成し、色変換回路３０は、一の色信号について、当該一の色信号の同画素位置近傍の他の色信号から疑似色信号を生成する色生成手段を構成し、加算回路４０は、一の色信号と色変換回路３０が生成した疑似色信号とを合成して一の色信号を新たに生成する色合成手段を構成する。そして、ＭＩＮ及びＤＲ検出回路２０は、上述のＭＩＮ及びＤＲを生成する。以下、各構成部について具体的に説明する。
【００３２】
ブロック化回路１０は、入力画像信号を所定の大きさの画素ブロックにブロック化する部分である。このブロック化回路１０は、具体的には、図４に示すように、ブロック切り出し部１１及びブロック切り出し部１２を備えている。このような構成は、一の色信号とされるＧの色信号を他の色信号とされるＲの色信号から求める場合に対応している。
【００３３】
Ｒ用のブロック切り出し部１１では、入力信号画像中の、Ｒの色信号について所定の画素ブロックを切り出す。Ｒ用のブロック切り出し部１１は、例えば３×３の画素ブロックとしての切り出しを行う。そして、Ｒ用のブロック切り出し部１１により切り出された画素ブロックは、ＭＩＮ及びＤＲ検出回路２０を構成するＭＩＮＲ及びＤＲＲ検出部２１に出力される。
同様に、Ｇ用のブロック切り出し部１２では、入力画像信号中の、Ｇの色信号について所定の画素ブロックを切り出す。Ｇ用のブロック切り出し部１２は、上述のＲ用のブロック切り出し部１１に合わせて画素ブロックの切り出し、すなわち３×３の画素ブロックとしての切り出しを行う。そして、Ｇ用のブロック切り出し部１２により切り出された画素ブロックは、ＭＩＮ及びＤＲ検出回路２０を構成するＭＩＮＧ及びＤＲＧ検出部２２に出力される。
【００３４】
そして、このようなＲ用のブロック切り出し部１１及びＧ用のブロック切り出し部１２を備えたブロック化回路１０は、次々に入力されてくる画像信号についてブロック化を施す。すなわち、ブロック化回路１０は、図１中（Ａ）から同図中（Ｂ）に示すように、入力画像信号における注目画素の位置を次々に変えながらブロック化を施す。これにより、後段の処理では、このように次々にブロック化して得た画素ブロックについて、中心画素（ｉ＝４の画素）についての色変換等がなされていくようになる。
【００３５】
ＭＩＮＲ及びＤＲＲ検出部２１では、Ｒ用のブロック切り出し部１１から出力されてきた３×３の画素ブロック内におけるＲについての最小値ＭＩＮＲ及びダイナミックレンジＤＲＲを検出する。そして、ＭＩＮＲ及びＤＲＲ検出部２１は、検出した最小値ＭＩＮＲ及びダイナミックレンジＤＲＲを色変換回路３０に出力する。
【００３６】
同様に、ＭＩＮＧ及びＤＲＧ検出部２２では、Ｇ用のブロック切り出し部１２から出力されてきた３×３の画素ブロック内におけるＧについての最小値ＭＩＮＧ及びダイナミックレンジＤＲＧを検出する。そして、ＭＩＮＧ及びＤＲＧ検出部２２は、検出した最小値ＭＩＮＧ及びダイナミックレンジＤＲＧを色変換回路３０に出力する。
【００３７】
色変換回路３０は色変換をする部分である。この色変換部３０は、色変換されたＧを得るための構成として、具体的には図４に示すような演算部３１を備えている。
【００３８】
この演算部３１では、上述の（４）式に示した演算を行い、Ｒの色信号を変換して値Ｇ_Ｒを得る。この演算部３１は、このように上述の（４）式に従って値Ｇ_Ｒを得ることもできるが、これに限定されるものではない。上述したように、値Ｇ_Ｒについては、複数の処理で演算したＧの平均値等を代表値として得ることもできる。図５には、そのような平均値により値を得る場合の一連の処理を示している。ここでは、Ｇ_Ｒを代表値として求める場合を例に挙げて説明する。なお、ここでは、一つおきの画素番号の色信号の値を使用して、平均値を得る場合としている。
【００３９】
先ず、ステップＳ１において初期値を設定する。具体的には、変数ｉ，ｎ，ｓｕｍの初期値としてｉ＝１、ｎ＝０、ｓｕｍ＝０を設定する。そして、ステップＳ２において、（７）式によりｘを算出する。
【００４０】
ｘ＝（Ｒ_４−Ｒ_ｉ）×ＤＲＧ／ＤＲＲ＋Ｇ_ｉ・・・（７）
そして、この（７）式により得た値ｘをステップＳ３において、０≦ｘ≦２５５になるか否かを判別する。ステップＳ５において、求めたｘが０≦ｘ≦２５５である場合には、ステップＳ４に進み、ｘ＜０若しくはｘ＞２５５である場合には、ステップＳ４を超えてさらに先のステップＳ５に進む。ステップＳ４において、
ｎ＝ｎ＋１及びｓｕｍ＝ｓｕｍ＋ｘ
にする。そして、ステップＳ５において、
ｉ＝ｉ＋２
にする。これにより、１つおきの画素位置の値が選択されるようになる。そして、ステップＳ６において、ｉの値がｉ＞７になっているか否かを判別する。ｉ＞７である場合は、画素ブロック内の画素を使用した計算が終了している場合であり、ステップＳ７に進む。一方、ｉ＞７でない場合は、未だ画素ブロック内の画素を使用した計算が終了していない場合であり、ステップＳ２からの処理を再び開始する。
【００４１】
ステップＳ７では、ｎ＞０か否かを判別し、ｎ＞０である場合には、ステップＳ８において、
Ｇ_Ｒ＝ｓｕｍ／ｎ
を得て、一方、ｎ＞０でない場合、すなわちステップＳ２において得たｘの値が全てｘ＜０若しくはｘ＞２５５であった場合には、画素ブロック内のＧの色信号についての最小値ＭＩＮＧを得る。
【００４２】
ここで、全てのｘの値がｘ＜０若しくはｘ＞２５５であった場合にＧの色信号の最小値ＭＩＮＧとすることに限定されるものではなく、他の値を用いることもできる。要は、この場合、Ｇ_Ｒは、計算が破綻しないような値であれば良く、すなわち例えば画素ブロック内のＧ_ｉ（ｉ＝０〜８）の平均値であっても良い。
【００４３】
このような処理により色演算部３１では、Ｒの色信号を変換して値Ｇ_Ｒを得ることができる。色変換回路３０は、このようにＲの色信号を変換して値Ｇ_Ｒを得る色演算部３１を有しており、同様に、Ｂの色信号からＧの色信号のＧ_Ｂを得る色演算部を有している。Ｂの色信号からＧ_Ｂを得る色演算部については説明しないが、上述したＲを変換してＧ_Ｒを得る手順のようにＲに着目して示した手順を、Ｂに着目した手順に置き換えることにより、ＢからＧ_Ｂを得ることができる。
【００４４】
このように、色変換回路３０において、Ｒを変換してＧ_Ｒが得られ、Ｂを変換してＧ_Ｂが得られる。そして、これらの値Ｇ_Ｒ，Ｇ_Ｂは、図３に示すように、加算回路４０に入力される。
【００４５】
加算回路４０では、値Ｇ_Ｒ，Ｇ_Ｂと重み係数とに基づいて値Ｇ’を得る。すなわち、この加算回路４０は、上述の（５）式の演算処理により加算後の値Ｇ’を得る。この（５）式を実現する構成として、色変換回路３０は、図６に示すように、第１乃至第３の乗算部４１，４２，４３及び加算部４４を備えている。
【００４６】
Ｒの色信号を変換する色変換部３１により得られた値Ｇ_Ｒは、第１の乗算部４１にて重み係数ｗ_２が乗算されて、加算部４４に出力される。同様に、Ｂの色信号を変換する色変換部３２により得られた値Ｇ_Ｂは、第３の乗算部４３にて重み係数ｗ_３が乗算されて、加算部４４に出力される。また、第２の乗算部４２には、もとのＧの色信号が入力されており、第２の乗算部４２は、このＧに重み係数ｗ_１を乗算して、加算部４４に出力する。
【００４７】
加算部４４では、第１乃至第３の乗算部４１，４２，４３から重み係数がそれぞれ掛け合わされてきた値を加算する。すなわち、加算部４４によって、上述の（５）式の演算が最終的に実現されている。
【００４８】
ここで、上述の重み係数ｗ_ｊ（ｊ＝１，２，３）は、上述したように、（１）３画素平均とし、重み係数ｗ_ｊを１／３にする、（２）ＲＧＢそれぞれのゲイン量に応じて重み係数ｗ_ｊを変化させる、（３）クラス分類適応処理により重み係数ｗ_ｊを決定する、等とされている。
【００４９】
ここで、（２）により決定された重み係数ｗ_ｊによる演算が実現するための具体的な構成について説明する。また、（３）により決定される重み係数ｗ_ｊによる処理については、後で詳述する。（２）を実現するために、具体的には、図７に示すように構成する。
【００５０】
図７に示すように、３板式のＣＣＤ５１，５２，５３それぞれから出力されたＲＧＢの各色信号は、後段の各Ａ／Ｄ部６１，６２，６３にて、デジタル変換される。そして、Ａ／Ｄ部６１，６２，６３から出力された各色信号は、第１乃至第３のホワイトバランス部７１，７２，７３においてホワイトバランスが調整される。また、第１乃至第３のホワイトバランス部７１，７２，７３におけるゲイン（gain）はそれぞれ、後述する対応される第１乃至第３の各乗算部４１，４２，４３に出力される。
【００５１】
なお、ここで図面上、別個のものとして各ホワイトバランス部７１，７２，７３が書かれているが、１つのホワイトバランス部において、各色信号のホワイトバランス調整ができることはいうまでもない。
【００５２】
第１のホワイトバランス部７１から出力されたＲの色信号及び第２のホワイトバランス部７２から出力されたＧの色信号は、第１の色変換部３１に入力される。第１の色変換部３１は、上述した図４及び図６に示した色変換部３１であり、このＲ及びＧの色信号に基づいて値Ｇ_Ｒを得る。そして、この値Ｇ_Ｒは、第１の乗算部４１に入力される。
【００５３】
第１の乗算部４１では、第１のホワイトバランス部７１のゲインに基づいて、重み係数を決定している。すなわち、重み係数はゲインの関数として決定される。第１の乗算部４１は、ゲインに応じて決定した重み係数ｗ_２（gain）と、第１の色変換部３１からの値Ｇ_Ｒとを乗算して、その乗算値を後段の加算部４４に出力する。
【００５４】
また、第３のホワイトバランス部７３から出力されたＢの色信号及び第２のホワイトバランス部７２から出力されたＧの色信号は、第２の色変換部３２に入力される。第２の色変換部３２は、上述した図６に示した色変換部３２であり、このＢ及びＧに基づいてＧ_Ｂを得る。そして、このＧ_Ｂは、第３の乗算部４３に入力される。
【００５５】
第３の乗算部４３では、第３のホワイトバランス部７３のゲインに基づいて、重み係数を決定しており、すなわち、重み係数はゲインの関数として決定される。第３の乗算部４３は、ゲインに応じて決定した重み係数ｗ_３（gain）と、第２の色変換部３２からのＧ_Ｂとを乗算し、その乗算値を後段の加算部４４に出力する。
【００５６】
また、第２の乗算部４２には、第２のホワイトバランス部７２にてホワイトバランス調整されたＧの色信号が入力されており、第２の乗算部４２は、第２のホワイトバランス部７２のゲインに基づいて決定された重み係数ｗ_１（gain）と、色信号のＧとを乗算して、その乗算値を加算部４４に出力する。
【００５７】
加算部４４では、第１乃至第３の乗算部４１，４２，４３から重み係数がそれぞれ掛け合わされてきた値を加算する。すなわち、加算部４４によって、上述の（６）式の演算が実現される。
【００５８】
図３に示す加算回路４０は、このように（５）式或いは（６）式に基づいて演算を可能としており、そして、その結果として加算後の値Ｇ’を出力している。
【００５９】
そして、３板式のＣＣＤを使用した場合には、各色信号に生じたノイズ成分が独立しており、そのノイズ成分に相関がないことから、上述したような処理を実行する画像処理装置にて各色信号を元の一の色信号に加算することにより、ノイズ成分を除去することができるようになる。
【００６０】
次に第２の実施の形態の画像処理装置について説明する。第２の実施の形態の画像処理装置は、色変換や色の加算については基本的には同じであるが、重み係数を学習（トレーニング）により得ているところで異なっている。
【００６１】
第２の実施の形態の画像処理装置は、図８及び図９に示すように構成されている。図８に示す画像処理装置についての構成は、重み係数を学習するための構成であり、特に、特徴量抽出回路８０、クラス分類回路１０１及び係数演算回路１０４を備えている。また、図９に示す画像処理装置の構成は、図８に示したような構成により学習して取得した重み係数に基づいて、新たな色信号を得る場合の構成であり、特に特徴量抽出回路８０、クラス分類回路１０１、予測係数ＲＯＭ１０２及び予測回路１０３を備えている。
【００６２】
先ず、図９に示す画像処理装置の構成によってなされる重み係数の学習について説明する。
【００６３】
特徴量抽出回路８０は、具体的には、図１０に示すように、特徴量抽出回路８０は、ｒｉ演算部８１、ｇｉ演算部８２、ｂｉ演算部８３、ｒｉ差分演算部８４、ｇｉ差分演算部８５、ｂｉ差分演算部８６及び第１乃至第３の量子化部８７，８８，８９を備えている。
【００６４】
ＭＩＮ及びＤＲ検出回路２０から出力される画素ブロックを構成する各画素のＲＧＢの各色信号Ｒ_ｉ，Ｇ_ｉ，Ｂ_ｉ、最小値ＭＩＮＲ，ＭＩＮＧ，ＭＩＮＢ及びダイナミックレンジＤＲＲ，ＤＲＧ，ＤＲＢが、特徴量抽出回路８０に入力されている。また、色変換回路３０にも同様な値が出力されている。
【００６５】
特徴量抽出回路８０では、このようなＭＩＮ及びＤＲ検出回路２０からの各値に基づいて、ｒｉ演算部８１、ｇｉ演算部８２及びｂｉ演算部８３が、（８）式〜（１０）式により各値ｒ_ｉ，ｇ_ｉ，ｂ_ｉを得る。
【００６６】
ｒ_ｉ＝（Ｒ_ｉ−ＭＩＮＲ）／ＤＲＲ・・・（８）
ｇ_ｉ＝（Ｇ_ｉ−ＭＩＮＧ）／ＤＲＧ・・・（９）
ｂ_ｉ＝（Ｂ_ｉ−ＭＩＮＢ）／ＤＲＢ・・・（１０）
そして、ｒｉ演算部８１、ｇｉ演算部８２及びｂｉ演算部８３のそれぞれ後段にあるｒｉ差分演算部８４、ｇｉ差分演算部８５、ｂｉ差分演算部８６では、そのようにして得られた各値ｒ_ｉ，ｇ_ｉ，ｂ_ｉに基づいて、（１１）式〜（１３）式により、差分値の各総計値を得る。
Σ｜ｒ_ｉ−ｇ_ｉ｜・・・（１１）
Σ｜ｇ_ｉ−ｂ_ｉ｜・・・（１２）
Σ｜ｂ_ｉ−ｒ_ｉ｜・・・（１３）
そして、ｒｉ差分演算部８４にて（１１）式により得た値は、第１の量子化部８７において量子化され、また、ｇｉ差分演算部８５にて（１２）式により得た値は、第２の量子化部８８において量子化され、また、ｂｉ差分演算部８６にて（１３）式により得た値は、第３の量子化部８９において量子化される。
【００６７】
このような構成とされる特徴量抽出回路８０にて特徴量が得られる。この特徴量抽出回路８０からの特徴量は、図８に示すクラス分類回路１０１に入力される。
【００６８】
クラス分類回路１０１では、特徴量に基づいてクラス分類をする。なお、クラス分類の技術としては、特開平10-112844号公報等に開示されている技術が挙げられる。
【００６９】
クラス分類回路１０１では、クラス分類した結果得られたクラスを表すものとしてインデックスを出力する。例えば、インデックスは、複数ビット表示によりデータであって、各ビット或いは数ビット単位として情報を有するものとされている。このインデックスは、係数演算回路１０４に出力される。
【００７０】
係数演算回路１０４では、予測係数が算出される。ここで、予測係数が上述の重み係数であって、学習結果得られたデータになる。具体的には、係数演算回路１０４は、色変換回路３０により得た色変換後の値に基づいて予測係数を得ている。以下に、学習により予測係数を得る場合の一例について説明する。
【００７１】
重み係数の学習では、上述の（５）式に示したように、値Ｇ’は、重み係数ｗ_１〜ｗ_３と、Ｇ，Ｇ_Ｒ，Ｇ_Ｂとの線形１次結合により得られていることを利用する。
【００７２】
学習は、クラス毎に複数のＧ，Ｇ_Ｒ，Ｇ_Ｂに対して行う。同じクラスに対応してノイズ成分のないＧの色信号であるＧ”を用意して、これにより学習を行う。すなわち、複数のＧ_ｋ”（ｋ＝１，２，・・・，ｍ）を教師データとして、Ｇ，Ｇ_Ｒ，Ｇ_Ｂを学習データとして、学習を行う。そして、教師データとされるＧ_ｋ”が上述の（５）式と同様な関係式により得られると推定する。すなわち、Ｇ”は、（１４）式として示すように、各係数ｗ_１〜ｗ_３とＧ_ｋ１，Ｇ_ｋ２，Ｇ_ｋ３との線形１次結合により得られると推定する。
【００７３】
Ｇ_ｋ”＝ｗ_１×Ｇ_ｋ１＋ｗ_２×Ｇ_ｋ２＋ｗ_３×Ｇ_ｋ３・・・（１４）
ここで、Ｇ_ｋ１，Ｇ_ｋ２，Ｇ_ｋ３はそれぞれ、Ｇ，Ｇ_Ｒ，Ｇ_Ｂに対応される値である。また、教師に使用する画素ブロックの個数をｍとするとき、ｍ＞３に場合には、ｗ_１〜ｗ_３は一意に定まらないので、誤差ベクトルｅの要素を（１５）式として定義する。
【００７４】
ｅ_ｋ＝Ｇ”−｛ｗ_１×Ｇ_ｋ１＋ｗ_２×Ｇ_ｋ２＋ｗ_３×Ｇ_ｋ３｝
（ｋ＝１，２，・・・，ｍ）・・・（１５）
そして、（１６）式を最小にする係数を求める。これは、いわゆる最小自乗法による解法に基づくものである。
【００７５】
【数２】

【００７６】
ここで、（１６）式のｗ_ｉによる偏微分係数を、（１７）式のように求める。
【００７７】
【数３】

【００７８】
そして、各ｗ_ｉは、（１７）式が０とされるときに決定されることから、これにより、（１８）式及び（１９）式のような、行列を用いると、（２０）式のようになる。
【００７９】
【数４】

【００８０】
【数５】

【００８１】
【数６】

【００８２】
この（２０）式は、掃き出し法等の一般的な行列解法を用いて、ｗ_ｉについて解けば、最適値としての予測係数、すなわち学習による重み係数を求めることができる。
【００８３】
係数演算回路１０４では、上述したような学習によって、予測係数としての重み係数ｗ_１〜ｗ_３を得ることができる。このようにして得られた重み係数ｗ_１〜ｗ_３は、図９に示す予測係数ＲＯＭ１０２に、クラス分類回路１０１から出力されたインデックスをアドレスとして格納される。これにより、予測係数ＲＯＭ１０２には、クラス分類を示すインデックスに対応されて重み係数のデータセットｗ_１〜ｗ_３が保持されることになる。
【００８４】
そして、実際に値Ｇ’を得る際には、予測係数ＲＯＭ１０２から対応される予測係数としての重み係数ｗ_１〜ｗ_３が出力される。具体的には、次のように、予測係数ＲＯＭ１０２から対応される重み係数ｗ_１〜ｗ_３が出力される。
【００８５】
先ず、特徴量抽出回路８０は、上述した図１０に示すような構成により、（８）式〜（１３）式により、ブロック化回路１０から出力された画素ブロックの特徴量を抽出する。この特徴量抽出回路８０において抽出された画素ブロックの特徴量は、クラス分類回路１０１に出力される。
【００８６】
クラス分類回路１０１では、特徴量をクラス分類して、対応されるインデックスを予測係数ＲＯＭ１０２に出力する。予測係数ＲＯＭ１０２は、クラス分類回路１０１からのインデックスに対応される予測係数とされる重み係数のデータセットｗ_１〜ｗ_３を予測回路１０３に出力する。
【００８７】
ここで、クラス分類回路１０１から出力されるインデックスは、このような実際にＧ’を取得する場面において、このように予測係数ＲＯＭ１０２から特定の重み係数のデータセットｗ_１〜ｗ_３を出力するために使用され、一方、学習の場面においては、予測係数ＲＯＭ１０２に学習によって得られた重み係数のデータセットｗ_１〜ｗ_３のアドレスとして使用されることになる。
【００８８】
予測係数ＲＯＭ１０２からの重み係数ｗ_１〜ｗ_３が入力される予測回路１０３には、色変換回路３０からのもとの色信号ＧとＲ及びＢを変換して得られた値Ｇ_Ｒ，Ｇ_Ｂも入力されている。この色変換回路３０から出力された各値Ｇ，Ｇ_Ｒ，Ｇ_Ｂと、予測係数ＲＯＭ１０２から出力された重み係数のデータセットｗ_１〜ｗ_３とは、同一の画素ブロックに基づくものであり、すなわち、特徴量でみた場合にはその特徴量が同一の画素ブロックに基づくものであり、例えば、予測回路１０３には、これらの値が同一のタイミングによって入力されてくる。
【００８９】
予測回路１０３は、そのように入力された重み係数ｗ_１，ｗ_２，ｗ_３と、色信号Ｇ，Ｇ_Ｒ，Ｇ_Ｂとを線形１次を計算して、すなわち（５）式の計算を行いＧ’を算出する。
【００９０】
以上のようにして、最適な重み係数ｗ_１〜ｗ_３を学習により求めておき、さらにそのようにして学習により得た重み係数ｗ_１〜ｗ_３を用いて、（５）式により値Ｇ’を得ており、これはいわゆるクラス分類適応処理と称されるものである。
この技術については、特開平10-112844号公報等に開示されている技術が挙げられる。のような処理により、画像処理装置は、色信号からノイズ成分を除去することができるようになる。
【００９１】
なお、上述の実施の形態では、特徴量抽出回路８０の具体的構成として図１０に示すような構成を挙げて説明した。しかし、特徴量抽出回路８０はこれに限定されるものではなく、他の構成とすることもできる。例えば、特徴量抽出回路８０を図１１に示すような構成にすることもできる。
【００９２】
この図１１に示すように、特徴量抽出回路８０は、第１乃至第３のダイナミックレンジ演算部９１，９２，９３と、第１乃至第３の量子化部９４，９５，９６とを備えている。
【００９３】
この特徴量抽出回路８０において、第１乃至第３のダイナミックレンジ演算部９１，９２，９３では、（２１）式〜（２３）式により、ダイナミックレンジの差分値を得る。
【００９４】
ＤＲＲ−ＤＲＧ・・・（２１）
ＤＲＧ−ＤＲＢ・・・（２２）
ＤＲＢ−ＤＲＲ・・・（２３）
第１のダイナミックレンジ演算部９１にて（２１）式により得た値は、第１の量子化部９４において量子化され、第２のダイナミックレンジ演算部９２にて（２２）式により得た値は、第２の量子化部９５において量子化され、第３のダイナミックレンジ演算部９３にて（２３）式により得た値は、第３の量子化部９６において量子化される。
【００９５】
この特徴量抽出回路８０にて得られた特徴量は、図８及び図９に示すように、先に説明した場合と同様に、クラス分類回路１０１に出力される。そして、学習時においては、図１０に示すように、この特徴量に基づいてクラス分類回路１０１から出力されたインデックスが、係数演算回路１０４にて得た予測係数を予測係数ＲＯＭ１０２に記憶するためのアドレスとして使用され、一方で、Ｇ’を得る場合には、図９に示すように、この特徴量に基づいてクラス分類回路１０１から出力されたインデックスが、予測係数ＲＯＭ１０２に記憶されている予測係数のデータセットｗ_１〜ｗ_３の読み出しのために使用される。
【００９６】
また、上述の実施の形態では、画素ブロック内の色信号の変化の相関が高いことを利用して、他の色信号から一の色信号を生成する場合について説明したが、例えば、より相関が高い色信号によって一の色信号を生成することもできる。
【００９７】
例えば、上述の（１）式乃至（３）式より得られるｒ_０〜ｒ_８、ｇ_０〜ｇ_８、ｂ_０〜ｂ_８は、Ｒ，Ｇ，Ｂそれぞれの色信号について画素ブロック内における変化を示しており、これらは互いに高い相関を持つ。例えば、（１）式乃至（３）式は、色信号の最小値やダイナミックレンジによって決定されるものであって、図１２に示すように、ＭＩＮＲ及びＤＲＲ検出部１１、ＭＩＮＧ、ＤＲＧ検出部１２及びＭＩＮＢ及びＤＲＢ検出部２３によって得ることができる。
【００９８】
さらに、ここで、（２４）式及び（２５）式を定義する。例えば、この（２３）式及び（２４）式は、図１２に示すように、差分演算部１１１，１１２によって得ることができる。
【００９９】
ＥＧＲ＝Σ｜ｇ_ｉ−ｒ_ｉ｜・・・（２４）
ＥＧＢ＝Σ｜ｇ_ｉ−ｂ_ｉ｜・・・（２５）
このＥＧＲ及びＥＧＢは、相関の大きさを示す指標となるもので、小さい値であるほどＧの色信号と相関がより高く、すなわち、ＥＧＲは、画素ブロック内におけるＧの色信号の変化とＲの色信号の変化との相似性を示し、ＥＧＢは、画素ブロック内におけるＧの色信号の変化とＢの色信号の変化との相似性を示すものとなる。これに基づいて、ＥＧＲとＥＧＢとを比較してより値の小さい方の色信号を用いて、色変換したＧを求める。すなわち、相関の高い方の色信号の値をＣとしたとき、（２６）式により色変換したＧ_Ｃ４を求める。
【０１００】
Ｇ_Ｃ４＝（Ｃ_４−ＭＩＮＣ）×ＤＲＧ／ＤＲＣ＋ＭＩＮＧ・・・（２６）
ここで、Ｃ_４は、相関の高い色信号であって、注目画素とされる画素ブロック内の中心位置の色信号の値であり、また、ＭＩＮＣは、画素ブロック内の画素のＣについての最小値であり、また、ＤＲＣは、画素ブロック内のＣについてのダイナミックレンジになる。
【０１０１】
例えば、このような処理は、図１２に示すように、各差分演算部１１１，１１２から出力されたＥＧＲとＥＧＢとを比較部１１３にて比較して、（２６）式の演算を行う色変換部１１４によって実現される。
【０１０２】
以上のように、より相関の高い方の他の色信号のみを変換して一の色信号を生成することもでき、そして、このように変換して得た色信号を、もとの一の色信号に加えることにより、ノイズ成分が除去された色信号を得ることもできる。
【０１０３】
また、上述のＥＧＲとＥＧＢとが同一の値になるような場合には、２色の平均値として上述の色信号の値Ｃを決定することもできる。
【０１０４】
さらに、上述の（２６）式におけるＭＩＮＣの替わりに、Ｃ_４以外の値であるＣ_０，Ｃ_１，Ｃ_２，Ｃ_３，Ｃ_５，Ｃ_６，Ｃ_７，Ｃ_８を用いることもできる。この場合、Ｃ_Ｒ４として８候補を得て、それらの平均を、生成したＣ_Ｒ４とすることもできる。さらに、このような場合、そのようにして求めた候補のうち、０≦Ｃ_Ｒ４≦２５５（画素のデータが８bitで表される場合）以外のものを除いた平均値を求めることができる。
【０１０５】
また、上述の実施の形態では、画素ブロックが３×３である場合について説明しているが、これに限定されることはなく、他の大きさの画素ブロックにおいて色信号の変換等を行うこともできる。例えば、他の大きさの画素ブロックとしては９×９や５×５等である。
【０１０６】
また、画像処理装置は、例えば、撮像部を備えたいわゆるカメラ一体型記録及び／又は再生装置に搭載されれ、撮像して得た画像信号中のノイズを除去することが挙げられる。しかし、これに限定されるものではなく、撮像装置によって撮像された画像をテープ状記録媒体に対して記録及び／又は再生する記録及び／又は再生装置が、上述したような画像処理装置を搭載し或いは同等の機能を有することもできる。
【０１０７】
【発明の効果】
本発明に係る画像処理装置は、一の色信号について、当該一の色信号の同画素位置近傍の他の色信号から疑似色信号を生成する色生成手段と、一の色信号と色生成手段が生成した疑似色信号とを合成して一の色信号を新たに生成する色合成手段とを備えることにより、一の色信号について、当該一の色信号の同画素位置近傍の他の色信号から疑似色信号を色生成手段により生成し、一の色信号と色生成手段が生成した疑似色信号とを合成して一の色信号を色合成手段により新たに生成することができる。これにより、画像処理装置は、各色信号間に独立して発生するノイズ成分を除去することができる。
【０１０８】
また、本発明に係る画像処理方法は、一の色信号について、当該一の色信号の同画素位置近傍の他の色信号から疑似色信号を生成する色生成工程と、一の色信号と色生成工程にて生成した疑似色信号とを合成して一の色信号を新たに生成する色合成工程とを有することにより、画像処理方法は、各色信号間に独立して発生するノイズ成分を除去することができる。
【０１０９】
また、本発明に係るプログラム記録媒体は、一の色信号について、当該一の色信号の同画素位置近傍の他の色信号から疑似色信号を生成する色生成工程と、一の色信号と色生成工程にて生成した疑似色信号とを合成して一の色信号を新たに生成する色合成工程とを画像処理装置に実行させるプログラムが記録されているおり、このようなプログラム記録媒体に記録されているプログラムにより画像処理を実行する画像処理装置は、各色信号間に独立して発生するノイズ成分を除去することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像処理装置の処理の原理の説明のために使用した図であって、入力画素信号についてのブロック化を示す図である。
【図２】画素ブロックを構成する各画素の各色信号を示す図である。
【図３】本発明の実施の形態の画像処理装置の構成を示すブロック図である。
【図４】上述の画像処理装置の構成であって、ブロック化回路、ＭＩＮ及びＤＲ検出回路、及び色変換回路の具体的な構成を示すブロック図である。
【図５】色変換後の色信号Ｇ_Ｒ４を、画素ブロック内の平均値として求めるときの一連の処理を示すフローチャートである。
【図６】上述の画像処理装置の構成であって、色変換回路及び加算回路の具体的な構成を示すブロック図である。
【図７】上述の画像処理装置の構成であって、３板式のＣＣＤに基づいて行う処理を実現するための構成を示すブロック図である。
【図８】上述の画像処理装置の構成であって、予測係数を学習するための構成を示すブロック図である。
【図９】上述の画像処理装置の構成であって、学習した予測係数を使用して新たな色信号を得るための構成を示すブロック図である。＾
【図１０】特徴量抽出回路の具体的な構成例を示すブロック図である。
【図１１】特徴量抽出回路の他の具体的な構成例を示すブロック図である。
【図１２】相関が高い色信号のみにより、Ｇの色信号を生成する場合の構成を示すブロック図である。
【符号の説明】
１０ブロック化回路、２０ＭＩＮ及びＤＲ検出回路、３０色変換回路、４０加算回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method for image processing, and a program recording medium on which a program for image processing is recorded, and more specifically, to remove noise generated in each color in a color image. The present invention relates to an image processing apparatus and method suitable for the case where the noise is randomly generated in each color, and a program storage medium.
[0002]
[Prior art]
One of image processing techniques is a technique for removing image noise. As a technique for noise removal, there are proposed techniques to remove noise by filtering in the spatial direction and blurring the image to remove noise, or by adding still parts using time direction data .
[0003]
[Problems to be solved by the invention]
By the way, with the method of removing noise by applying a filter in the spatial direction and blurring the image, the noise becomes inconspicuous, but the image is blurred.
[0004]
As for the technique for removing noise by adding still parts using time direction data, a memory for holding data in the time direction is required when taking a still image. Further, when noise removal is performed on an image of a moving object, complicated processing such as motion detection processing for searching for a portion to be added becomes necessary.
[0005]
Accordingly, the present invention has been made in view of the above circumstances, and provides an image processing apparatus and method, and a program recording medium that can appropriately remove noise from an image without requiring complicated processing or the like. The purpose is to do.
[0006]
[Means for Solving the Problems]
  In order to solve the above-described problems, an image processing apparatus according to the present invention providesAn image processing apparatus for processing an image in which a pixel is composed of a plurality of color signals, the blocking means for blocking an input image signal into pixel blocks of a predetermined size, and output from the blocking means Based on the correlation between the change in one color signal and the change in the other color signal in the pixel block, the pixel of interest in the pixel blockAbout one color signalOf the pixel of interestA color generation unit that generates a pseudo color signal from other color signals in the vicinity of the pixel position and the one color signal and the pseudo color signal generated by the color generation unit are combined to newly generate one color signal. Color synthesizing means, The value of one color signal of the pixel of interest is A ₁ And the value of the other color signal of the pixel of interest is A ₂ And the minimum value of one color signal for all the pixels in the pixel block is A ₁ min, the maximum value of one color signal and the minimum value A ₁ DR difference with min ₁ And the minimum value of the other color signals for all the pixels in the pixel block is A ₂ min, the maximum value of the other color signal and the minimum value A ₂ DR difference with min ₂ When the color generation means, the pseudo color signal value A ₁₂ The
  A ₁₂ = (A ₂ -A ₂ min) x DR ₁ / DR ₂ + A ₁ min
Generate as
[0007]
An image processing apparatus having such a configuration generates a pseudo color signal for one color signal from another color signal in the vicinity of the same pixel position of the one color signal by the color generation unit, and the one color signal and color The pseudo color signal generated by the generating means is synthesized and one color signal is newly generated by the color synthesizing means. Thereby, the image processing apparatus removes noise components generated independently between the respective color signals.
[0008]
  In addition, an image processing method according to the present invention is provided to solve the above-described problems.An image processing method for processing an image in which a pixel is composed of a plurality of color signals, wherein the input image signal is blocked into pixel blocks having a predetermined size, and is output by the blocking step. Based on the correlation between the change in one color signal and the change in the other color signal in the pixel block, the pixel of interest in the pixel blockAbout one color signalOf the pixel of interestA color generation process for generating a pseudo color signal from other color signals in the vicinity of the same pixel position, and the one color signal and the pseudo color signal generated in the color generation process are combined to newly generate one color signal. Color synthesis process to be generatedThe value of one color signal of the pixel of interest is A ₁ And the value of the other color signal of the pixel of interest is A ₂ And the minimum value of one color signal for all the pixels in the pixel block is A ₁ min, the maximum value of one color signal and the minimum value A ₁ DR difference with min ₁ And the minimum value of the other color signals for all the pixels in the pixel block is A ₂ min, the maximum value of the other color signal and the minimum value A ₂ DR difference with min ₂ In the color generation step, the pseudo color signal value A ₁₂ The
  A ₁₂ = (A ₂ -A ₂ min) x DR ₁ / DR ₂ + A ₁ min
Generate asThereby, the image processing method removes noise components generated independently between the respective color signals.
[0009]
  Further, the program recording medium according to the present invention is:A program recording medium in which a program for executing an image processing apparatus that processes an image in which pixels are configured by a plurality of color signals is recorded, and an input image signal is input to the image processing apparatus with a pixel having a predetermined size. Based on the correlation between the change of one color signal in the pixel block and the change of the other color signal in the pixel block output by the block forming step, the block forming step of making the block into blocks, the pixel of interest in the pixel blockAbout one color signalOf the pixel of interestA color generation process for generating a pseudo color signal from other color signals in the vicinity of the same pixel position, and the one color signal and the pseudo color signal generated in the color generation process are combined to newly generate one color signal. The color composition process to be generated andTheLet it run, The value of one color signal of the pixel of interest is A ₁ And the value of the other color signal of the pixel of interest is A ₂ And the minimum value of one color signal for all the pixels in the pixel block is A ₁ min, the maximum value of one color signal and the minimum value A ₁ DR difference with min ₁ And the minimum value of the other color signals for all the pixels in the pixel block is A ₂ min, the maximum value of the other color signal and the minimum value A ₂ DR difference with min ₂ In the color generation step, the pseudo color signal value A ₁₂ The
  A ₁₂ = (A ₂ -A ₂ min) x DR ₁ / DR ₂ + A ₁ min
Generate asThe program is recorded. An image processing apparatus that performs image processing using a program recorded on such a program recording medium removes noise components that are independently generated between the respective color signals.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In this embodiment, the present invention is applied to an image processing apparatus that processes an image. The image processing apparatus will be described with reference to the first and second embodiments.
[0011]
First, before describing an image processing apparatus to which the present invention is applied, the principle of image processing will be described. The principle of image processing is as follows.
[0012]
The image processing is premised on color images. Specifically, it is image processing for an image in which pixels are configured by RGB color signals.
[0013]
In the image processing, color conversion is first performed using the correlation between the color signals of the color image. Furthermore, in image processing, noise is removed or reduced (hereinafter simply referred to as removal) by adding a color signal obtained by the color conversion to the original color. Here, it is assumed that noise generated in each color signal of a color image is random noise having no correlation. Hereinafter, the principle of color conversion and color addition performed for noise removal will be described.
[0014]
First, color conversion will be described. Hereinafter, as an example, a case where R (red) is converted to generate G (green) from R (red) will be described.
[0015]
Here, a predetermined pixel block in the image is first considered. For example, it is assumed that the predetermined pixel block is a 3 × 3 pixel block in the image as shown in FIG. 1 (A) or (B). Each pixel in such a 3 × 3 (3 rows × 3 columns) pixel block is grasped as a color signal, that is, each pixel is as shown in FIG. For the R color signal, R₀~ R₈(R_i: I = 0 to 8), and the G color signal is represented by G as shown in FIG.₀~ G₈(G_i: I = 0 to 8), and as shown in (C) of FIG.₀~ B₈(B_i: I = 0 to 8).
[0016]
Here, let us consider the change of each color signal in such a pixel block. For example, assuming that the minimum value in the pixel block is MIN and the dynamic range DR is the maximum value −MIN, R_iR after conversion_iAnd G by the equation (2)_iG after conversion_iAnd the value of B_iB after conversion_iGet the value of.
[0017]
r_i= (R_i-MINR) / DRR (1)
g_i= (G_i-MING) / DRG (2)
b_i= (B_i-MINB) / DRB (3)
Here, MINR, MING, and MINB are the minimum values of the R, G, and B color signals of the pixels in the pixel block, and DRR, DRG, and DRB are the R, G of the pixels in such a pixel block. And the value of the dynamic range DR shown as the difference between the minimum value and the maximum value for the B color signals. If the dynamic range DR is 0, there is no original change, so r_i, G_iAnd b_iIs 0.
[0018]
In this way, after the conversion of the R color signal of each pixel in the pixel block according to the equation (1), r₀~ R₈In addition, g after the conversion is obtained for the G color signal of each pixel in the pixel block according to the equation (2).₀~ G₈And b after conversion for the B color signal of each pixel in the pixel block according to the equation (3).₀~ B₈Can be obtained, but r₀~ R₈Change in g₀~ G₈Change and b₀~ B₈Is highly correlated with the change in value, and is substantially the same value.
[0019]
By utilizing such a high correlation, a pseudo color signal can be obtained from another color signal for one color signal according to the equation (4). Here, for example, the expression (4) represents a new value G for G (one color signal) based on R (other color signal)._RIt is assumed that (pseudo color signal) is generated.
[0020]
G_R= (R₄−MINR) × DRG / DRR + MING (4)
The value G calculated by the equation (4)_RIs a value after conversion into a G color signal with the central pixel in the R pixel block as described above as the target pixel, and R of the pixel at the same position₄Based on the above, it is set as a value after conversion corresponding thereto.
[0021]
Further, instead of MINR in the above equation (4), R₄R is a value other than₀, R₁, R₂, R₃, R₅, R₆, R₇, R₈Can also be used. In this case, the value G_RSince 8 candidates can be obtained as the average of them, the generated value G_RIt can also be. Further, in such a case, among the candidates obtained in this way, 0 ≦ G_RAn average value excluding those other than ≦ 255 (when pixel data is expressed in 8 bits) can also be obtained.
[0022]
As described above, R is converted to G_RCan be generated. Although not described, similarly, by converting B, G as a pseudo color signal is generated, that is, the value G_BCan also be generated.
[0023]
Next, the color addition process will be described. In this color addition processing, the value G obtained as described above is used._R, G_BIs added to the original G color signal, so that the noise component is removed. The principle of the color addition process is as follows.
[0024]
First, it is assumed that RGB images are captured by a three-plate CCD (Charge Coupled Device). When the image is picked up by a three-plate CCD, the noise components generated in the RGB color signals obtained by the three plates have no correlation between the colors. Under such a premise, the value G obtained based on R and B obtained as described above._RAnd G_BIs added to the original value of G to remove the noise component. Specifically, by obtaining the value G ′ by the expression (5), the value G ′ becomes a color signal from which the noise component has been removed.
[0025]
G ’= w₁× G + w₂× G_R+ W₃× G_B  ... (5)
Where w_j(J = 1, 2, 3) is each weighting coefficient, and can be determined as an optimum value by any of the following methods (1) to (3).
(1) Three-pixel average, weight coefficient w_jIs reduced to 1/3.
(2) Weighting factor w according to the amount of gain at the time of adjustment such as white balance for each of RGB_jTo change. That is, the weighting factor w_jIs determined as a function of the amount of gain. For example, weighting factor w_jIs a function of the gain amount of RGB, the above equation (5) can be expressed as the following equation (6).
[0026]
G ’= w₁(ΔG) × G + w₂(ΔR) × G_R+ W₃(ΔB) × G_B  ... (6)
(3) Weight coefficient w by class classification_jTo decide. In this case, r_iAnd g_iClass classification based on image block unit feature quantity such as the difference of DRR and the difference between DRR and DRG, that is, the image block pattern is classified, and the prediction formula is set to the above-mentioned formula (5) as class Perform classification. And the weighting factor w corresponding to such class classification_jIs determined by learning. Specifically, in learning, the weighting factor w_jIs obtained by the method of least squares. This will be described in detail later as a class classification application process.
[0027]
As described above, as shown in the equation (5) or (6), the pseudo signal of the G color signal obtained by converting the other color signal into G that is the original one color signal. G_R, G_BThe noise component can be removed by adding.
[0028]
In the above description, in the case of removing the noise component of the G color signal, the color conversion process and the color addition process have been described. Similarly, with respect to the R and B color signals, the noise component can be removed by adding the color signals obtained by converting the other color signals. That is, for an R or G color signal that is one color signal, other color signals are converted to generate R or G, and the original R or G color signal is multiplied by a weighting factor. . As a result, as with the color signal having the value G ′ described above, R or G from which the noise component has been removed can be obtained.
[0029]
The principle of image processing to which the present invention is applied has been described above. Next, an image processing apparatus according to an embodiment to which image processing is applied as described above will be described. Here, similarly to the above description of the principle, a process for removing a noise component of a G color signal will be described.
[0030]
First, the image processing apparatus according to the first embodiment includes a blocking circuit 10, a MIN / DR detection circuit 20, a color conversion circuit 30, and an addition circuit 40, as shown in FIG.
[0031]
In the configuration of such an image processing device, the blocking circuit 10 constitutes a blocking unit that blocks an input image signal into pixel blocks of a predetermined size, and the color conversion circuit 30 A color generation unit that generates a pseudo color signal from another color signal in the vicinity of the same pixel position of the one color signal is configured, and the adder circuit 40 includes the one color signal and the pseudo color signal generated by the color conversion circuit 30. Are combined to form a color composition means for newly generating one color signal. Then, the MIN and DR detection circuit 20 generates the above MIN and DR. Hereinafter, each component will be specifically described.
[0032]
The blocking circuit 10 is a part that blocks an input image signal into pixel blocks of a predetermined size. Specifically, the blocking circuit 10 includes a block cutout unit 11 and a block cutout unit 12 as shown in FIG. Such a configuration corresponds to a case where the G color signal, which is one color signal, is obtained from the R color signal, which is another color signal.
[0033]
The R block cutout unit 11 cuts out a predetermined pixel block for the R color signal in the input signal image. The R block cutout unit 11 cuts out, for example, as a 3 × 3 pixel block. Then, the pixel block cut out by the R block cutout unit 11 is output to the MINR and DRR detection unit 21 constituting the MIN and DR detection circuit 20.
Similarly, the G block cutout unit 12 cuts out a predetermined pixel block for the G color signal in the input image signal. The G block cutout unit 12 cuts out pixel blocks in accordance with the R block cutout unit 11 described above, that is, cuts out as a 3 × 3 pixel block. Then, the pixel block cut out by the G block cutout unit 12 is output to the MING and DRG detection unit 22 constituting the MIN and DR detection circuit 20.
[0034]
The block forming circuit 10 including the R block cutout unit 11 and the G block cutout unit 12 performs blocking on the image signals input one after another. That is, as shown in FIG. 1A to FIG. 1B, the blocking circuit 10 performs blocking while sequentially changing the position of the pixel of interest in the input image signal. As a result, in the subsequent processing, color conversion or the like is performed on the central pixel (i = 4 pixel) for the pixel block obtained by successively blocking in this way.
[0035]
The MINR and DRR detection unit 21 detects the minimum MINR and dynamic range DRR for R in the 3 × 3 pixel block output from the R block cutout unit 11. Then, the MINR and DRR detection unit 21 outputs the detected minimum value MINR and dynamic range DRR to the color conversion circuit 30.
[0036]
Similarly, the MING and DRG detection unit 22 detects the minimum value MING and dynamic range DRG for G in the 3 × 3 pixel block output from the G block cutout unit 12. Then, the MING and DRG detection unit 22 outputs the detected minimum value MING and dynamic range DRG to the color conversion circuit 30.
[0037]
The color conversion circuit 30 is a part that performs color conversion. Specifically, the color conversion unit 30 includes a calculation unit 31 as shown in FIG. 4 as a configuration for obtaining color-converted G.
[0038]
The calculation unit 31 performs the calculation shown in the above equation (4) to convert the R color signal to obtain the value G_RGet. In this way, the calculation unit 31 calculates the value G according to the above-described equation (4)._RHowever, the present invention is not limited to this. As mentioned above, the value G_RFor, an average value of G calculated by a plurality of processes can be obtained as a representative value. FIG. 5 shows a series of processes for obtaining a value by such an average value. Here, G_RA case where the value is obtained as a representative value is described as an example. Here, it is assumed that the average value is obtained by using the color signal values of every other pixel number.
[0039]
First, an initial value is set in step S1. Specifically, i = 1, n = 0, and sum = 0 are set as initial values of the variables i, n, and sum. In step S2, x is calculated using equation (7).
[0040]
x = (R₄-R_i) × DRG / DRR + G_i  ... (7)
Then, in step S3, it is determined whether or not 0 ≦ x ≦ 255 is satisfied from the value x obtained by the equation (7). In step S5, if the obtained x is 0 ≦ x ≦ 255, the process proceeds to step S4, and if x <0 or x> 255, the process proceeds to step S5 beyond step S4. In step S4,
n = n + 1 and sum = sum + x
To. In step S5,
i = i + 2
To. As a result, every other pixel position value is selected. In step S6, it is determined whether or not the value of i is i> 7. If i> 7, the calculation using the pixels in the pixel block has been completed, and the process proceeds to step S7. On the other hand, if i> 7 is not true, the calculation using the pixels in the pixel block has not been completed yet, and the processing from step S2 is started again.
[0041]
In step S7, it is determined whether n> 0. If n> 0, in step S8,
G_R= Sum / n
On the other hand, if n> 0 is not satisfied, that is, if the values of x obtained in step S2 are all x <0 or x> 255, the minimum value MING for the G color signal in the pixel block Get.
[0042]
Here, when all the x values are x <0 or x> 255, it is not limited to the minimum value MING of the G color signal, and other values may be used. In short, in this case G_RMay be any value that does not cause the calculation to fail, ie, for example, G in the pixel block_iAn average value of (i = 0 to 8) may be used.
[0043]
By such processing, the color calculation unit 31 converts the R color signal to obtain the value G_RCan be obtained. The color conversion circuit 30 converts the R color signal in this way to obtain the value G_RSimilarly, the color calculation unit 31 for obtaining the G color signal G from the B color signal is obtained._BA color calculation unit for obtaining B color signal to G_BThe color calculation unit for obtaining the above will not be described._RBy replacing the procedure shown focusing on R as in the procedure of obtaining B with the procedure focusing on B, B to G_BCan be obtained.
[0044]
Thus, the color conversion circuit 30 converts R to G_RIs obtained, and B is converted to G_BIs obtained. And these values G_R, G_BIs input to the adder circuit 40 as shown in FIG.
[0045]
In the adding circuit 40, the value G_R, G_BAnd the value G ′ is obtained based on the weighting factor. That is, the adder circuit 40 obtains the value G ′ after the addition by the arithmetic processing of the above formula (5). As a configuration for realizing the equation (5), the color conversion circuit 30 includes first to

third multipliers

41, 42, and 43 and an adder 44 as shown in FIG.
[0046]
A value G obtained by the color conversion unit 31 for converting the R color signal._RIs a weighting factor w in the first multiplier 41.₂Is multiplied and output to the adder 44. Similarly, the value G obtained by the color conversion unit 32 that converts the B color signal._BIs a weighting factor w in the third multiplier 43.₃Is multiplied and output to the adder 44. Also, the original G color signal is input to the second multiplier 42, and the second multiplier 42 applies a weight coefficient w to this G.₁And output to the adder 44.
[0047]
The adder 44 adds the values multiplied by the weighting coefficients from the first to

third multipliers

41, 42, and 43, respectively. That is, the calculation of the above formula (5) is finally realized by the adding unit 44.
[0048]
Where the above weighting factor w_jAs described above, (j = 1, 2, 3) is (1) an average of three pixels, and a weighting factor w_j(2) Weighting factor w according to the gain amount of each RGB_j(3) Weighting factor w by class classification adaptive processing_jAnd so on.
[0049]
Here, the weighting factor w determined by (2)_jA specific configuration for realizing the calculation by will be described. Also, the weighting factor w determined by (3)_jThe processing according to will be described in detail later. Specifically, in order to realize (2), the configuration is as shown in FIG.
[0050]
As shown in FIG. 7, the RGB color signals output from the three-

plate CCDs

51, 52, and 53 are digitally converted by the A /

D units

61, 62, and 63 in the subsequent stage. The color balances of the color signals output from the A /

D units

61, 62, and 63 are adjusted in the first to third

white balance units

71, 72, and 73, respectively. The gains in the first to third

white balance units

71, 72, and 73 are output to the corresponding first to

third multiplication units

41, 42, and 43, which will be described later.
[0051]
Here, although the

white balance portions

71, 72, 73 are written as separate parts in the drawing, it goes without saying that the white balance of each color signal can be adjusted in one white balance portion.
[0052]
The R color signal output from the first white balance unit 71 and the G color signal output from the second white balance unit 72 are input to the first color conversion unit 31. The first color conversion unit 31 is the color conversion unit 31 shown in FIG. 4 and FIG. 6 described above, and a value G based on the R and G color signals._RGet. And this value G_RIs input to the first multiplier 41.
[0053]
The first multiplication unit 41 determines the weighting coefficient based on the gain of the first white balance unit 71. That is, the weighting factor is determined as a function of gain. The first multiplication unit 41 uses the weighting factor w determined according to the gain.₂(Gain) and the value G from the first color converter 31_RAnd the multiplication value is output to the adder 44 in the subsequent stage.
[0054]
The B color signal output from the third white balance unit 73 and the G color signal output from the second white balance unit 72 are input to the second color conversion unit 32. The second color conversion unit 32 is the color conversion unit 32 shown in FIG. 6 described above, and based on B and G, G_BGet. And this G_BIs input to the third multiplier 43.
[0055]
The third multiplier 43 determines the weighting factor based on the gain of the third white balance unit 73, that is, the weighting factor is determined as a function of the gain. The third multiplier 43 determines the weighting factor w determined according to the gain.₃(Gain) and G from the second color conversion unit 32_BAnd the multiplication value is output to the adder 44 in the subsequent stage.
[0056]
The second multiplying unit 42 receives the G color signal that has been white balance adjusted by the second white balance unit 72, and the second multiplying unit 42 receives the second white balance unit 72. Weighting factor w determined based on the gain of₁(Gain) and G of the color signal are multiplied and the multiplied value is output to the adder 44.
[0057]
The adder 44 adds the values multiplied by the weighting coefficients from the first to

third multipliers

41, 42, and 43, respectively. That is, the calculation of the above formula (6) is realized by the adding unit 44.
[0058]
The adder circuit 40 shown in FIG. 3 can perform an operation based on the equation (5) or (6) as described above, and outputs the added value G ′ as a result.
[0059]
When a three-plate CCD is used, noise components generated in each color signal are independent, and there is no correlation between the noise components. By adding the signal to the original one color signal, the noise component can be removed.
[0060]
Next, an image processing apparatus according to a second embodiment will be described. The image processing apparatus according to the second embodiment is basically the same in terms of color conversion and color addition, but differs in that the weighting coefficient is obtained by learning (training).
[0061]
The image processing apparatus according to the second embodiment is configured as shown in FIGS. The configuration of the image processing apparatus shown in FIG. 8 is a configuration for learning weight coefficients, and in particular, includes a feature amount extraction circuit 80, a class classification circuit 101, and a coefficient calculation circuit 104. Further, the configuration of the image processing apparatus shown in FIG. 9 is a configuration for obtaining a new color signal based on the weighting coefficient acquired by learning with the configuration shown in FIG. 80, a class classification circuit 101, a prediction coefficient ROM 102, and a prediction circuit 103.
[0062]
First, learning of the weighting coefficient performed by the configuration of the image processing apparatus shown in FIG. 9 will be described.
[0063]
Specifically, as shown in FIG. 10, the feature quantity extraction circuit 80 includes a ri computation section 81, a gi computation section 82, a bi computation section 83, a ri difference computation section 84, and a gi difference computation. Unit 85, bi difference calculation unit 86, and first to

third quantization units

87, 88, 89.
[0064]
RGB color signals R of each pixel constituting the pixel block output from the MIN and DR detection circuit 20_i, G_i, B_i, Minimum values MINR, MING, MINB and dynamic ranges DRR, DRG, DRB are input to the feature quantity extraction circuit 80. A similar value is also output to the color conversion circuit 30.
[0065]
In the feature quantity extraction circuit 80, based on the respective values from the MIN and DR detection circuit 20, the ri operation unit 81, the gi operation unit 82, and the bi operation unit 83 are expressed by Equations (8) to (10). Each value r_i, G_i, B_iGet.
[0066]
r_i= (R_i-MINR) / DRR (8)
g_i= (G_i-MING) / DRG (9)
b_i= (B_i-MINB) / DRB (10)
Then, the ri difference calculation unit 84, the gi difference calculation unit 85, and the bi difference calculation unit 86 in the subsequent stage of the ri calculation unit 81, the gi calculation unit 82, and the bi calculation unit 83, each value r thus obtained._i, G_i, B_iOn the basis of the above, the total values of the difference values are obtained by the equations (11) to (13).
Σ | r_i-G_i| (11)
Σ | g_i-B_i| (12)
Σ | b_i-R_i| (13)
Then, the value obtained by the ri difference calculation unit 84 by the equation (11) is quantized by the first quantization unit 87, and the value obtained by the gi difference calculation unit 85 by the equation (12) is The value quantized by the second quantization unit 88 and obtained by the bi difference calculation unit 86 according to the equation (13) is quantized by the third quantization unit 89.
[0067]
A feature quantity is obtained by the feature quantity extraction circuit 80 configured as described above. The feature quantity from the feature quantity extraction circuit 80 is input to the class classification circuit 101 shown in FIG.
[0068]
The class classification circuit 101 performs class classification based on the feature amount. As the classification technique, there is a technique disclosed in Japanese Patent Laid-Open No. 10-112844.
[0069]
The class classification circuit 101 outputs an index representing the class obtained as a result of class classification. For example, the index is data by multi-bit display, and has information as each bit or several bits. This index is output to the coefficient calculation circuit 104.
[0070]
The coefficient calculation circuit 104 calculates a prediction coefficient. Here, the prediction coefficient is the above-described weighting coefficient, which is data obtained as a learning result. Specifically, the coefficient calculation circuit 104 obtains a prediction coefficient based on the value after color conversion obtained by the color conversion circuit 30. Below, an example in the case of obtaining a prediction coefficient by learning is demonstrated.
[0071]
In learning of the weight coefficient, as shown in the above equation (5), the value G '₁~ W₃And G, G_R, G_BIs obtained by linear linear combination.
[0072]
For learning, multiple G, G for each class_R, G_BTo do. G ″ which is a G color signal having no noise component corresponding to the same class is prepared, and learning is thereby performed._k"(K = 1, 2,..., M) as teacher data, G, G_R, G_BLearning is performed using as learning data. And G to be teacher data_k"" Is obtained by the same relational expression as the above-described expression (5). That is, G "₁~ W₃And G_k1, G_k2, G_k3It is estimated that it is obtained by linear linear combination.
[0073]
G_k"= W₁× G_k1+ W₂× G_k2+ W₃× G_k3 (14)
Where G_k1, G_k2, G_k3Are G and G, respectively._R, G_BIs the value corresponding to. Further, when m is the number of pixel blocks used for the teacher, if m> 3, w₁~ W₃Is not uniquely determined, the element of the error vector e is defined as equation (15).
[0074]
e_k= G "-{w₁× G_k1+ W₂× G_k2+ W₃× G_k3}
(K = 1, 2,..., M) (15)
Then, a coefficient that minimizes the expression (16) is obtained. This is based on a so-called least square method.
[0075]
[Expression 2]

[0076]
Where w in equation (16)_iThe partial differential coefficient is obtained as shown in equation (17).
[0077]
[Equation 3]

[0078]
And each w_iIs determined when equation (17) is set to 0, and therefore, using a matrix such as equations (18) and (19), equation (20) is obtained.
[0079]
[Expression 4]

[0080]
[Equation 5]

[0081]
[Formula 6]

[0082]
This equation (20) is obtained by using a general matrix solving method such as a sweeping method, and w_iCan be obtained as a prediction coefficient as an optimum value, that is, a weighting coefficient by learning.
[0083]
In the coefficient calculation circuit 104, the weighting coefficient w as a prediction coefficient is obtained by learning as described above.₁~ W₃Can be obtained. The weighting factor w obtained in this way₁~ W₃Is stored in the prediction coefficient ROM 102 shown in FIG. 9 using the index output from the class classification circuit 101 as an address. As a result, the prediction coefficient ROM 102 stores the weight coefficient data set w corresponding to the index indicating the class classification.₁~ W₃Will be held.
[0084]
When the value G ′ is actually obtained, the weighting coefficient w as the corresponding prediction coefficient from the prediction coefficient ROM 102 is used.₁~ W₃Is output. Specifically, the weighting coefficient w corresponding from the prediction coefficient ROM 102 is as follows.₁~ W₃Is output.
[0085]
First, the feature quantity extraction circuit 80 extracts the feature quantity of the pixel block output from the blocking circuit 10 by the formulas (8) to (13) with the configuration shown in FIG. 10 described above. The feature amount of the pixel block extracted by the feature amount extraction circuit 80 is output to the class classification circuit 101.
[0086]
The class classification circuit 101 classifies the feature quantity and outputs a corresponding index to the prediction coefficient ROM 102. The prediction coefficient ROM 102 stores a weight coefficient data set w that is a prediction coefficient corresponding to the index from the class classification circuit 101.₁~ W₃Is output to the prediction circuit 103.
[0087]
Here, the index output from the class classification circuit 101 is the data set w of a specific weight coefficient in this way from the prediction coefficient ROM 102 in such a scene where G ′ is actually acquired.₁~ W₃On the other hand, in the learning scene, the weight coefficient data set w obtained by learning is stored in the prediction coefficient ROM 102.₁~ W₃Will be used as the address.
[0088]
Weight coefficient w from prediction coefficient ROM 102₁~ W₃Is input to the prediction circuit 103, the value G obtained by converting the original color signals G and R and B from the color conversion circuit 30._R, G_BIs also entered. Each value G, G output from the color conversion circuit 30_R, G_BAnd a weight coefficient data set w output from the prediction coefficient ROM 102₁~ W₃Is based on the same pixel block, that is, when viewed in terms of feature quantity, the feature quantity is based on the same pixel block. For example, the prediction circuit 103 has the same value. It is input according to timing.
[0089]
The prediction circuit 103 calculates the weighting factor w inputted in this way.₁, W₂, W₃And color signals G and G_R, G_BG ′ is calculated by calculating the linear first order, that is, by calculating the equation (5).
[0090]
As described above, the optimum weighting factor w₁~ W₃Is obtained by learning, and the weighting coefficient w obtained by learning in this way is₁~ W₃Is used to obtain the value G ′ by the equation (5), which is called so-called class classification adaptation processing.
As this technique, a technique disclosed in Japanese Patent Laid-Open No. 10-112844 and the like can be mentioned. Through such processing, the image processing apparatus can remove noise components from the color signal.
[0091]
In the above-described embodiment, the configuration as shown in FIG. 10 has been described as a specific configuration of the feature amount extraction circuit 80. However, the feature quantity extraction circuit 80 is not limited to this, and may have other configurations. For example, the feature quantity extraction circuit 80 can be configured as shown in FIG.
[0092]
As shown in FIG. 11, the feature amount extraction circuit 80 includes first to third dynamic

range calculation units

91, 92, and 93 and first to

third quantization units

94, 95, and 96. Yes.
[0093]
In the feature amount extraction circuit 80, the first to third

dynamic range calculators

91, 92, and 93 obtain the difference value of the dynamic range by the equations (21) to (23).
[0094]
DRR-DRG (21)
DRG-DRB (22)
DRB-DRR (23)
The value obtained by the first dynamic range calculation unit 91 according to the equation (21) is quantized by the first quantization unit 94 and the value obtained by the second dynamic range calculation unit 92 according to the equation (22). Is quantized by the second quantizing unit 95, and the value obtained by the third dynamic range calculating unit 93 according to the equation (23) is quantized by the third quantizing unit 96.
[0095]
As shown in FIGS. 8 and 9, the feature quantity obtained by the feature quantity extraction circuit 80 is output to the class classification circuit 101 as in the case described above. At the time of learning, as shown in FIG. 10, the index output from the class classification circuit 101 based on this feature amount is used to store the prediction coefficient obtained by the coefficient calculation circuit 104 in the prediction coefficient ROM 102. When G ′ is obtained as an address, on the other hand, as shown in FIG. 9, the index output from the class classification circuit 101 based on this feature quantity is a prediction coefficient stored in the prediction coefficient ROM 102. Dataset w₁~ W₃Used for reading.
[0096]
Further, in the above-described embodiment, the case where one color signal is generated from another color signal using the fact that the correlation of the change of the color signal in the pixel block is high has been described. One color signal can be generated by a high color signal.
[0097]
For example, r obtained from the above equations (1) to (3)₀~ R₈, G₀~ G₈, B₀~ B₈Indicates changes in the pixel block for the R, G, and B color signals, which are highly correlated with each other. For example, Equations (1) to (3) are determined by the minimum value and dynamic range of the color signal. As shown in FIG. 12, the MINR / DRR detection unit 11, the MING / DRG detection unit 12 And MINB and DRB detection unit 23.
[0098]
Further, equations (24) and (25) are defined here. For example, the equations (23) and (24) can be obtained by the difference calculation units 111 and 112 as shown in FIG.
[0099]
EGR = Σ | g_i-R_i| (24)
EGB = Σ | g_i-B_i| (25)
The EGR and EGB are indices indicating the magnitude of the correlation, and the smaller the value, the higher the correlation with the G color signal. That is, EGR is the change in the G color signal and R in the pixel block. The EGB represents the similarity between the change in the G color signal and the change in the B color signal in the pixel block. On the basis of this, EGR and EGB are compared, and color-converted G is obtained using the color signal having the smaller value. That is, when the value of the color signal having the higher correlation is C, G is color-converted by the equation (26)._C4Ask for.
[0100]
G_C4= (C₄−MINC) × DRG / DRC + MING (26)
Where C₄Is a color signal having a high correlation, which is the value of the color signal at the center position in the pixel block to be the target pixel, MINC is the minimum value for C of the pixel in the pixel block, and , DRC is the dynamic range for C in the pixel block.
[0101]
For example, as shown in FIG. 12, such processing is performed by color conversion in which EGR and EGB output from the difference calculation units 111 and 112 are compared by the comparison unit 113 and the calculation of Expression (26) is performed. This is realized by the unit 114.
[0102]
As described above, it is possible to generate only one color signal by converting only the other color signal having the higher correlation, and the color signal obtained in this way can be converted into the original one. By adding to the color signal, it is also possible to obtain a color signal from which noise components have been removed.
[0103]
When the above-mentioned EGR and EGB have the same value, the above-described color signal value C can be determined as an average value of two colors.
[0104]
Furthermore, instead of MINC in the above equation (26), C₄C which is a value other than₀, C₁, C₂, C₃, C₅, C₆, C₇, C₈Can also be used. In this case, C_R4As 8 candidates and the average of them is_R4It can also be. Furthermore, in such a case, among the candidates thus obtained, 0 ≦ C_R4An average value excluding those other than ≦ 255 (when pixel data is represented by 8 bits) can be obtained.
[0105]
In the above-described embodiment, the case where the pixel block is 3 × 3 is described. However, the present invention is not limited to this, and color signal conversion or the like is performed in a pixel block of another size. You can also. For example, the pixel blocks having other sizes are 9 × 9, 5 × 5, and the like.
[0106]
The image processing apparatus is mounted on, for example, a so-called camera-integrated recording and / or reproducing apparatus including an imaging unit, and removes noise in an image signal obtained by imaging. However, the present invention is not limited to this, and a recording and / or reproducing apparatus that records and / or reproduces an image captured by an imaging apparatus on a tape-shaped recording medium includes the above-described image processing apparatus. Alternatively, it can have an equivalent function.
[0107]
【The invention's effect】
An image processing apparatus according to the present invention includes, for one color signal, a color generation unit that generates a pseudo color signal from another color signal in the vicinity of the same pixel position of the one color signal, and the one color signal and color generation unit. And a color synthesis unit that newly generates one color signal by combining the pseudo color signal generated by the other color signal with respect to the one pixel signal in the vicinity of the same pixel position of the one color signal. Then, the pseudo color signal is generated by the color generation unit, and the one color signal and the pseudo color signal generated by the color generation unit are combined to newly generate the one color signal by the color combination unit. Thereby, the image processing apparatus can remove noise components generated independently between the respective color signals.
[0108]
The image processing method according to the present invention also includes a color generation step of generating a pseudo color signal from another color signal in the vicinity of the same pixel position of the one color signal, and the one color signal and the color. The image processing method removes noise components generated independently between each color signal by combining the pseudo color signal generated in the generation step and the color synthesis step of newly generating one color signal. can do.
[0109]
In addition, the program recording medium according to the present invention includes a color generation step of generating a pseudo color signal from another color signal in the vicinity of the same pixel position of the one color signal, and the one color signal and the color. A program is recorded that causes the image processing apparatus to execute a color synthesis step of synthesizing the pseudo color signal generated in the generation step and newly generating one color signal, and recorded on such a program recording medium An image processing apparatus that executes image processing using a program that has been installed can remove noise components that are independently generated between the color signals.
[Brief description of the drawings]
FIG. 1 is a diagram used for explaining the principle of processing performed by an image processing apparatus according to an embodiment of the present invention, and is a diagram illustrating blocking of an input pixel signal.
FIG. 2 is a diagram illustrating each color signal of each pixel constituting a pixel block.
FIG. 3 is a block diagram showing a configuration of an image processing apparatus according to the embodiment of the present invention.
FIG. 4 is a block diagram illustrating a specific configuration of the above-described image processing apparatus, that is, a blocking circuit, a MIN / DR detection circuit, and a color conversion circuit.
FIG. 5 shows a color signal G after color conversion._R4Is a flow chart showing a series of processing when calculating as an average value in a pixel block.
FIG. 6 is a block diagram illustrating a specific configuration of a color conversion circuit and an addition circuit in the configuration of the above-described image processing apparatus.
FIG. 7 is a block diagram illustrating a configuration for realizing processing performed based on a three-plate CCD in the configuration of the above-described image processing apparatus.
FIG. 8 is a block diagram showing a configuration for learning a prediction coefficient in the configuration of the above-described image processing apparatus.
FIG. 9 is a block diagram illustrating a configuration for obtaining a new color signal by using a learned prediction coefficient in the configuration of the above-described image processing apparatus. ^
FIG. 10 is a block diagram illustrating a specific configuration example of a feature amount extraction circuit.
FIG. 11 is a block diagram illustrating another specific configuration example of the feature amount extraction circuit;
FIG. 12 is a block diagram illustrating a configuration in a case where a G color signal is generated using only a color signal having a high correlation.
[Explanation of symbols]
10 blocking circuit, 20 MIN and DR detection circuit, 30 color conversion circuit, 40 addition circuit

Claims

An image processing apparatus that processes an image in which pixels are configured by a plurality of color signals,
Blocking means for blocking the input image signal into pixel blocks of a predetermined size;
Based on the correlation between the change in one color signal in the pixel block and the change in the other color signal output from the block forming means, the same pixel of the target pixel is detected for one color signal in the pixel block. Color generation means for generating a pseudo color signal from other color signals in the vicinity of the pixel position;
Color synthesis means for newly generating one color signal by synthesizing the one color signal and the pseudo color signal generated by the color generation means,
The value of one color signal of the pixel of interest and A _1, the value of the other color signals of the target pixel and A _2,
The minimum value of one color signal for all pixels in the pixel block as A ₁ min, and the difference between the maximum value and the minimum value A ₁ min of one color signal DR _1,
When the minimum value of the other color signals for all pixels in the pixel block and A ₂ min, the difference between the maximum value and the minimum value A ₂ min of another color signal DR _2,
The color generation means sets the pseudo color signal value A ₁₂ to A ₁₂ = (A ₂ −A ₂ min) × DR ₁ / DR ₂ + A ₁ min
An image processing device that generates as

The image processing apparatus according to claim 2, wherein a pixel position of the target pixel in the pixel block is a center position in the pixel block.

An image processing apparatus that processes an image in which pixels are configured by a plurality of color signals,
Blocking means for blocking the input image signal into pixel blocks of a predetermined size;
Based on the correlation between the change in one color signal in the pixel block and the change in the other color signal output from the block forming means, the same pixel of the target pixel is detected for one color signal in the pixel block. Color generation means for generating a pseudo color signal from other color signals in the vicinity of the pixel position;
Color combining means for newly generating one color signal by combining the one color signal and the pseudo color signal generated by the color generation means;
Classifying means for classifying the data obtained by blocking by the blocking means for each class, and outputting a class code corresponding to the classification;
Weight coefficient output means for outputting an optimal data sequence of _n weight coefficients W _{1 to} W _n that enables generation of the one color signal with reduced noise corresponding to the input image signal according to the class code; With
The value of the one color signal and A _1, the value of n-1 of the aforementioned other pseudo color signal generated from the color signal and A ₂ to A _n, the weighting factor the weighting coefficient output means outputs When n is W _{1 to} W _n ,
The color synthesizing means outputs the synthesized one new color signal A ₁ ′.

An image processing device that generates as

The weight coefficient output means learns in advance from data obtained by blocking and classifying an image signal including noise and data obtained by blocking a low noise image signal, and the n weight coefficients The image processing apparatus according to claim 3, wherein W _{1 to} W _n are acquired in association with the class code.

A recording means for storing the _n weighting factors W _{1 to} W _n obtained by learning;
The storage means is the respective address above the n weighting factors W ₁ to _W-n is stored corresponding to the class code, by the classification means to generate a color signal from which noise has been reduced The image processing apparatus according to claim 4, wherein the _n weighting factors W _{1 to} W _n are read according to the output class code.

An image processing apparatus that processes an image in which pixels are configured by a plurality of color signals,
Blocking means for blocking the input image signal into pixel blocks of a predetermined size;
Based on the correlation between the change in one color signal in the pixel block and the change in the other color signal output from the block forming means, the same pixel of the target pixel is detected for one color signal in the pixel block. Color generation means for generating a pseudo color signal from other color signals in the vicinity of the pixel position;
Color synthesis means for newly generating one color signal by synthesizing the one color signal and the pseudo color signal generated by the color generation means,
The image processing device, wherein the color generation means generates the pseudo color signal using a color signal having the highest correlation among the one color signal among a plurality of other color signals.

An image processing apparatus that processes an image in which pixels are configured by a plurality of color signals,
Blocking means for blocking the input image signal into pixel blocks of a predetermined size;
Based on the correlation between the change in one color signal in the pixel block and the change in the other color signal output from the block forming means, the same pixel of the target pixel is detected for one color signal in the pixel block. Color generation means for generating a pseudo color signal from other color signals in the vicinity of the pixel position;
Color synthesis means for newly generating one color signal by synthesizing the one color signal and the pseudo color signal generated by the color generation means,
The color generation unit generates the pseudo color signal by using another color signal at another position in the pixel block for the one color signal,
One pseudo color signal generated by the color generation means is an average value of pseudo color signals obtained by using other color signals at other positions of the pixel block.

An image processing method for processing an image in which pixels are constituted by a plurality of color signals,
A blocking step of blocking the input image signal into pixel blocks of a predetermined size;
Based on the correlation between the change in one color signal in the pixel block and the change in the other color signal output in the block forming step, the same pixel of the target pixel is detected for one color signal in the pixel block. A color generation step of generating a pseudo color signal from other color signals in the vicinity of the pixel position;
A color synthesis step of newly generating one color signal by combining the one color signal and the pseudo color signal generated in the color generation step;
The value of one color signal of the pixel of interest and A _1, the value of the other color signals of the target pixel and A _2,
The minimum value of one color signal for all pixels in the pixel block as A ₁ min, and the difference between the maximum value and the minimum value A ₁ min of one color signal DR _1,
When the minimum value of the other color signals for all pixels in the pixel block and A ₂ min, the difference between the maximum value and the minimum value A ₂ min of another color signal DR _2,
In the color generation step, the pseudo color signal value A _{12 is set} to A ₁₂ = (A ₂ −A ₂ min) × DR ₁ / DR ₂ + A ₁ min
Image processing method to generate as.

A program recording medium on which a program for executing an image processing apparatus that processes an image in which pixels are configured by a plurality of color signals is recorded,
In the image processing apparatus,
A blocking step of blocking the input image signal into pixel blocks of a predetermined size;
Based on the correlation between the change in one color signal in the pixel block and the change in the other color signal output in the block forming step, the same pixel of the target pixel is detected for one color signal in the pixel block. A color generation step of generating a pseudo color signal from other color signals in the vicinity of the pixel position;
A color synthesis step of newly generating one color signal by combining the one color signal and the pseudo color signal generated in the color generation step;
The value of one color signal of the pixel of interest and A _1, the value of the other color signals of the target pixel and A _2,
The minimum value of one color signal for all pixels in the pixel block as A ₁ min, and the difference between the maximum value and the minimum value A ₁ min of one color signal DR _1,
When the minimum value of the other color signals for all pixels in the pixel block and A ₂ min, the difference between the maximum value and the minimum value A ₂ min of another color signal DR _2,
In the color generation step, the pseudo color signal value A _{12 is set} to A ₁₂ = (A ₂ −A ₂ min) × DR ₁ / DR ₂ + A ₁ min
A program recording medium on which a program to be generated is recorded.