JP4269366B2 - カメラ信号処理装置及びカメラ信号処理方法 - Google Patents
カメラ信号処理装置及びカメラ信号処理方法 Download PDFInfo
- Publication number
- JP4269366B2 JP4269366B2 JP31516398A JP31516398A JP4269366B2 JP 4269366 B2 JP4269366 B2 JP 4269366B2 JP 31516398 A JP31516398 A JP 31516398A JP 31516398 A JP31516398 A JP 31516398A JP 4269366 B2 JP4269366 B2 JP 4269366B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel data
- value
- input
- circuit
- correlation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、単板式のカメラ装置で生成するカメラ信号の処理を行うカメラ信号処理装置及びカメラ信号処理方法に関し、詳しくは固体撮像素子で生成した撮像信号から輝度信号又は色差信号を生成するときに各画素における補間値の相関を示す相関値を算出するカメラ信号処理装置及びカメラ信号処理方法に関する。
【０００２】
【従来の技術】
従来において、ＣＣＤ(Charge Coupled Device) イメージセンサ（以下、単にＣＣＤと称する。）等の固体撮像素子を用いた単板式のカメラ装置においては、ＣＣＤ上にＲ，Ｇ，Ｂに対応した光を透過させる色フィルタが配設されている。この色フィルタは、Ｒ（レッド）の光を透過させる領域と、Ｇ（グリーン）の光を透過させる領域と、Ｂ（ブルー）の光を透過させる領域とがマトリクス状に形成されており、例えば水平方向においてＧ，Ｒ，Ｇ・・又はＢ，Ｇ，Ｂ・・と配設されている。そして、ＣＣＤには、この色フィルタの各領域を透過した光が入力され、色フィルタのＲ，Ｇ，Ｂの光を透過させる領域に対応した画素から画素データＧ，画素データＲ，画素データＢをそれぞれ生成する。
【０００３】
そして、このカメラ装置においては、ＣＣＤに入力される光に基づいて輝度信号を作成するとともに、色信号を作成している。
【０００４】
このようなカメラ装置におけるＣＣＤは、１つの画素毎にＲ，Ｇ，Ｂを有する色フィルタが配されており、例えば水平方向にＲ，Ｇ，Ｒ，Ｇ，・・・という配列となされている。そして、このカメラ装置においては、各画素に対応して配された色フィルタに対応して色信号を作成している。したがって、このようなＣＣＤでは、Ｒの光を透過させる色フィルタが配されている画素においてはＧ及びＢに対応した画素データＧ，Ｂが生成されないこととなり、Ｇ及びＢに対応した画素データを補間して生成する必要がある。
【０００５】
従来のカメラ装置において、例えばＣＣＤで生成したカメラ信号の輝度信号を処理する際においては、全画素読み出しの場合、ＣＣＤの垂直方向及び水平方向の２画素ずつの４つの画素から生成する輝度信号を相加平均して作成することが知られている。
【０００６】
また、単板式のカメラ装置においては、補間を行って画素データを生成するときに、垂直方向及び水平方向における相関を示す相関値を検出する。この相関値を検出するときには、周囲に配された画素の信号をフィルタを用いて計算することで垂直方向における相関値及び水平方向における相関値を算出する。そして、このカメラ装置においては、相関値を用いて、補間して得た補間画素データに重み付けを行う。
【０００７】
【発明が解決しようとする課題】
ところで、上述したカメラ装置においては、ＣＣＤで生成した画素データが、上述したような手法で相関値を検出すると、垂直方向における相関と水平方向における相関との関係が等しく検出できないことがある。
【０００８】
すなわち、例えばＣＣＤの縦横比や、ＣＣＤから出力されるアナログ信号を検波するときに生ずる歪等により、垂直方向における相関と水平方向における相関との関係が等しく算出できないことがある。
【０００９】
このように、垂直方向における相関と水平方向における相関との関係が等しく算出できないと、垂直方向、水平方向のいずれに相関が強いのかを判断することが困難となる。
【００１０】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、例えばＣＣＤ等に起因する信号の歪を考慮して垂直方向、水平方向の相関の関係を変化させることができるカメラ信号処理装置及びカメラ信号処理方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述の課題を解決する本発明にかかるカメラ信号処理装置は、固体撮像素子が検出する画素データを当該位置及び周囲の画素データに基づいて生成した補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う水平相関値及び垂直相関値を検出する相関検出手段と、相関検出手段で検出した水平相関値と垂直相関値とを正規化して当該水平相関値と垂直相関値との相対値を示す正規化値を生成する正規化手段と、正規化手段で生成した正規化値に所定値の補正値を加算処理する補正手段とを有することを特徴とするものである。
【００１２】
また、本発明にかかるカメラ信号処理方法は、画素データを当該位置及び周囲の画素データに基づいて生成した補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う水平相関値及び垂直相関値を検出し、水平相関値と垂直相関値とを正規化して当該水平相関値と垂直相関値との相対値を示す正規化値を生成し、正規化値に所定値の補正値を加算処理することを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明に係るカメラ信号処理装置及びカメラ信号処理方法の実施の形態について図面を参照しながら説明する。
【００１４】
本発明は、例えば図１に示すように、入力された光に応じて静止画像を生成するカメラ装置１に適用される。
【００１５】
このカメラ装置１は、ＣＣＤ(Charge Coupled Device) イメージャ（以下ＣＣＤと称する。）に被写体を結像するする光学系２と、ＣＣＤ３と、このＣＣＤ３を駆動するタイミングジェネレータ４と、ＣＣＤ３から撮像信号が入力されるサンプル／ホールド回路５と、サンプル／ホールド回路５から撮像信号が入力されゲインを調整するＡＧＣ回路６と、入力された撮像信号をデジタル方式の画像データに変換するＡ／Ｄ変換回路７と、画像データにカメラ信号処理を行うカメラ処理部８と、ＣＣＤ３で生成する撮像信号を検波するＣＣＤ検波部９と、これら各部を制御する制御部１０とから構成されている。
【００１６】
ここで、ＣＣＤ３には、Ｒ（レッド）の光を透過する領域と、Ｇ（グリーン）の光を透過する領域と、Ｂ（ブルー）の光を透過する領域とがマトリクス状に形成された色フィルタが配設されており、各画素毎に当該色フィルタを透過した光が入力される。この色フィルタは、例えば、各色の光を透過する領域が水平方向にＲ，Ｇ，Ｒ，Ｇ・・・又はＧ，Ｂ，Ｇ，Ｂ・・・と配設されている。すなわち、ＣＣＤ３は、各画素毎で各色Ｒ，Ｇ，Ｂに対応した光に基づいて画素データＲ，画素データＧ，画素データＢを生成する。
【００１７】
このＣＣＤ検波部９では、Ａ／Ｄ変換回路７でデジタル方式に変換された画像データが入力される。そして、このＣＣＤ検波部９で検波された画像データは、例えばＡＥ(auto exposure)回路、ＡＦ(auto focus)回路に入力される。そして、例えばＡＥ回路に入力された画像データは、電子シャッタのシャッタスピード又は絞りを調整するために使用され、ＣＣＤ３に入射する光の明るさを自動で切り換える。
【００１８】
カメラ処理部８は、Ａ／Ｄ変換回路７から画像データが入力される欠陥補正回路１１と、欠陥補正回路１１から画像データが入力されるＣＬＰ回路１２と、ＣＬＰ回路１２から画像データが入力されるホワイトバランス回路１３と、ホワイトバランス回路１３から画像データが入力されるγ補正回路１４を備える。
【００１９】
欠陥補正回路１１は、Ａ／Ｄ変換回路７からの画像データに欠陥補正を施す。この欠陥補正回路１１は、欠陥を有するために画素データが生成されない画素の欠陥を補正して、ＣＬＰ回路１２に画像データを出力する。
【００２０】
ＣＬＰ回路１２には、欠陥補正回路１１からの画像データからオプティカルブラックを差し引く。このようにＣＬＰ回路１２では、入力した画像データの黒レベルを補正して、当該画像データをホワイトバランス回路１３に出力する。
【００２１】
ホワイトバランス回路１３には、ＣＬＰ回路１２からの画像データＲ，Ｇ，Ｂに対応した色毎のレベルを調整する。このようにホワイトバランス回路１３は、各色毎にレベルが調整された画像データをγ補正回路１４に出力する。
【００２２】
このγ補正回路１４には、ホワイトバランス回路１３からの画像データにγ補正を施す。そして、このγ補正回路１４は、γ補正を施した画像データを後述する画像データ補間部と相関値検出部とに出力する。
【００２３】
また、この信号処理部８は、図２に示すように、γ補正回路１４から画像データが入力される画像データ補間部１５と、各画素データ間の相関値を検出する相関値検出部１６と、相関値のノイズを除去するノイズ除去部１７と、相関値にオフセットをかけるオフセット回路１８と、相関値を正規化する正規化回路１９と、相関を検出する方向の偏りを補正する偏り補正回路２０と、相関の強調及び低減を行う強調・低減回路２１と、補間した画像データに相関値を用いて重み付けを行う加重加算回路２２と、画像データの輪郭を補正する輪郭補正回路２３と、画像データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換するＹ／Ｃ変換部２４と、色差信号による偽色信号を抑制する色差信号抑制部２５と、出力部２６とを備える。
【００２４】
画像データ補間部１５には、γ補正回路１４から複数の画素データからなる画像データが入力される。この画像データ補間部１５は、各画素毎に各画素データＲ，Ｇ，Ｂの補間を行って、各補間画素データＲ’，Ｇ’，Ｂ’を生成するものである。この画像データ補間部１５は、水平方向に配列した画素に対応した画素データの補間を行う水平方向補間回路１５ａと、垂直方向に配列した画素に対応した画素データの補間を行う垂直方向補間回路１５ｂとからなる。
【００２５】
水平方向補間回路１５ａには、図３に示すようなマトリクス状に配列された各画素に対応する画素データＲ，Ｇ，Ｂが入力される。この水平方向補間回路１５ａは、下記の式１に示すフィルタを用いて水平方向における補間画素データを算出する。なお、図３は、各画素毎に対応した画素データＲ，Ｇ，Ｂを示す図であり、各画素の配置として座標を数字で示した図である。また、この以下の説明においては、水平方向におけるライン毎に０ｈ，１ｈ，２ｈ，３ｈ，４ｈと配されているとして以下の説明を行う。
【００２６】
［１，４，６，４，１］／８ （式１）
すなわち、補間画素データＲ’，Ｇ’，Ｂ’の算出を行うときには、式１に示すフィルタを用いるために、水平方向補間回路１５ａを図４に示すように構成する。
【００２７】
水平方向補間回路１５ａは、水平方向における補間画素データＲ’，Ｇ’，Ｂ’を作成するとき、図４に示すように構成する。この水平方向補間回路１５ａは、γ補正回路１４から画素データが入力される入力部３０と、入力部３０から各画素データが入力される遅延回路３１と、遅延回路３１から水平方向における各画素データが入力され補間画素データを生成するフィルタ回路３２と、フィルタ回路３２を介して補間画素データが入力されるセレクタ回路３３と、セレクタ回路３３からの補間画素データを出力する出力端子３４とからなる。
【００２８】
入力部３０には、γ補正回路１４から水平方向における各画素データが順次入力される。この入力部３０には、１画素データ毎にクロックで順次入力される。
遅延回路３１は、入力部３０で入力した各画素データが入力される遅延回路３１ａ〜３１ｄからなる。この遅延回路３１は、入力された各画素データを上記のクロックと同期して各遅延回路３１ａ〜３１ｄに入力し、フィルタ回路３２に出力する。
【００２９】
フィルタ回路３２は、入力部３０及び遅延回路３１ｄを介して画素データが入力される加算器３２ａと、遅延回路３１ａ及び遅延回路３１ｃを介して画素データが入力される加算器３２ｂと、遅延回路３１ｂを介して画素データが入力される加算器３２ｃと、加算器３２ａ及び加算器３２ｃからの出力が入力される加算器３２ｄとからなる。
【００３０】
加算器３２ａは入力部３０から直接入力される画素データ及び遅延回路３１ｄを介して画素データが入力され、加算器３２ｃは遅延回路３１ｂを介して画素データが入力され、加算器３２ｄは加算器３２ａ及び加算器３２ｃを介して画素データが入力される。また、加算器３２ｂは遅延回路３１ａ及び遅延回路３１ｃを介して画素データが入力される。
【００３１】
すなわち、このフィルタ回路３２は、加算器３２ａ，３２ｃ，３２ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器３２ｂで［１，０，１］／２のフィルタを構成している。
【００３２】
セレクタ回路３３は、加算器３２ｄからの出力及び遅延回路３１ｂを介して画素データが入力されるセレクタ３３ａ、３３ｂと、セレクタ３３ａからの出力及び加算器３２ｂからの出力が入力されるセレクタ３３ｃと、加算器３２ｂ及びセレクタ３３ｂからの出力が入力されるセレクタ３３ｄとを有する。
【００３３】
また、各セレクタ３３ａ〜３３ｄは、制御部１０からの制御信号が入力されて、その動作が制御されている。
【００３４】
出力部３４は、セレクタ３３ｃからの出力を出力する端子３４ａとセレクタ３３ｄからの出力を後述するエッジ処理回路に出力する端子３４ｂとを有する。
【００３５】
このように構成された水平方向補間回路１５ａは、例えば画素データＧ22について、補間画素データＲ22’，Ｂ22’のみならず、補間画素データＧ22’をも算出する。
【００３６】
水平方向補間回路１５ａで、例えば図３中の画素データＧ22についての補間画素データＧ22’を算出するときには、入力部３０で２ｈにおける画素データＧ20，Ｒ21，Ｇ22，Ｒ23，Ｇ24を順次入力する。
【００３７】
次に、入力部３０で入力した画素データＧ20，Ｒ21，Ｇ22，Ｒ23，Ｇ24を遅延回路３１によりフィルタ回路３２に入力する。すなわち、画素データＧ20を加算器３２ａに入力し、画素データＲ21を加算器３２ｂに入力し、画素データＧ22を加算器３２ｃに入力し、画素データＲ23を加算器３２ｂに入力し、画素データＧ24を加算器３２ａに入力する。
【００３８】
次に、フィルタ回路３２で各画素データＧ20，Ｇ22，Ｇ24から、画素データＧ22についての補間画素データＧ22’の演算を行う。すなわち、加算器３２ａでは画素データＧ20と画素データＧ24とを加算処理して加算器３２ｄに出力する。また、加算器３２ｃでは、画素データＧ22を４倍とするとともに２倍としてこれらを加算処理して加算器３２ｄに出力する。そして、加算器３２ｄでは、加算器３２ａと加算器３２ｃとからの出力を入力して、これらを加算処理するとともに１／８の乗算処理を行ってセレクタ回路３３に出力する。また、加算器３２ｂでは、画素データＲ21と画素データＲ23を入力してこれらを加算処理するとともに１／２の乗算処理を行ってセレクタ回路３３に出力する。
【００３９】
このように加算器３２ａ，３２ｃ，３２ｄで加算処理を行うことにより、｛画素データＧ20＋６×画素データＧ22＋画素データＧ24｝／８という演算を行う。一方、加算器３２ｂで加算処理を行うことにより、｛画素データＲ21＋画素データＲ23｝／２という演算を行う。すなわち、このフィルタ回路３２では、加算器３２ｂで［１，０，１］／２というフィルタを構成し、加算器３２ａ，３２ｃ，３２ｄで［１，０，６，０，１］／８というフィルタを構成し、画素データＧ20，Ｇ22，Ｇ24を上述した式１に示すフィルタを通過させる。したがって、このフィルタ回路３２によれば、画素データＲ22，Ｇ22についての補間画素データＲ22’，Ｇ22’を作成する。
【００４０】
次に、セレクタ３３ａ及びセレクタ３３ｂでは、補間画素データＧ22’を入力するとともに、画素データＧ22を入力する。また、セレクタ３３ａ及びセレクタ３３ｂでは、制御部１０から制御信号Ｈ又は制御信号Ｌを入力する。ここで、セレクタ３３ａ及びセレクタ３３ｂでは、制御信号Ｈが入力されたときには、フィルタ回路３２からの補間画素データＧ22’をそのままセレクタ３３ｃ，３３ｄに出力し、制御信号Ｌが入力されたときには、画素データＧ22をセレクタ３３ｃ，３３ｄに出力する。
【００４１】
次に、この制御部１０では、画素データＧ22についての補間画素データＧ22’がフィルタ回路３２で生成されていることから、制御信号Ｌをセレクタ３３ｃ及びセレクタ３３ｄに出力する。このように、セレクタ３３ｃ，３３ｄに制御信号Ｌが入力されると、セレクタ３３ｃでは補間画素データＲ22’を出力し、セレクタ３３ｄでは画素データＧ22又は補間画素データＧ22’を出力する。
【００４２】
一方、制御部１０からセレクタ３３ｃ，セレクタ３３ｄに制御信号Ｈが入力された場合、セレクタ３３ｃはセレクタ３３ａから入力されたデータを出力し、セレクタ３３ｄは加算器３２ｂから入力されたデータを出力する。
【００４３】
すなわち、このセレクタ３３ｄは、例えば画素データＧ22についての補間画素データＧ22’を出力するときにはセレクタ３３ｂからの入力を出力し、図３中の画素データＧ23についての補間画素データＧ23’を出力するときには、加算器３２ｂからの入力を出力するように制御される。そして、セレクタ３３ｃは端子３４ａに画素データＲ又は画素データＢについての補間画素データＲ22’を出力し、セレクタ３３ｄは端子３４ｂに画素データＧについての補間画素データＧ22’を出力する。
【００４４】
このように画素データＧについての補間画素データＧ’を算出するときは、入力した画素データＲ，Ｇのうち、図５に示すような画素データＧのみからなるＣＣＤ３を想定して補間画素データＧ’を算出する。したがって、この水平方向補間回路１５ａでは、画素データＧが存在しない画素について補間画素データＧ’を算出するときには［１，０，１］／２というフィルタを使用して補間画素データＧ’を算出し、画素データＧが存在する画素について補間画素データＧ’を算出するときには［１，０，６，０，１］／８というフィルタを使用して補間画素データＧ’を算出することとなる。したがって、このようなフィルタを用いて補間画素データＧ’を算出する水平方向補間回路１５ａでは、これらのフィルタの周波数特性が図６及び図７に示すようになる。すなわち、この［１，０，６，０，１］／８というフィルタでは図６に示すような周波数特性を示し、［１，０，１］／２というフィルタでは図７に示すような周波数特性を示す。この図６及び図７に示したフィルタの周波数特性によれば、水平方向補間回路１５ａでは、これらのフィルタを用いることで画素データＧが存在する画素における補間画素データＧ’の周波数特性と画素データＧが存在しない補間画素データＧ’の周波数特性との差を小さくすることができる。
【００４５】
したがって、このように各画素データＧについての補間画素データＧ’を算出することにより、図８に示すような補間画像データＧ’を得ることができる。
【００４６】
また、上述した水平方向補間回路１５ａは、２ｈにおいて画素データＧ22についての補間画素データＲ22’を［１，０，１］／２のフィルタを用いて算出したが、上述と同様に１ｈにおいては、画素データＧ11についての補間画素データＢ11’を算出することもできる。
【００４７】
次に、２ｈにおける画素データＧ22についての補間画素データＢ22’を算出するときには、図９に示したフィルタを用いて行う。すなわち、以下の説明では、画素データＢが存在しないラインにおいて、補間画素データＢ’を算出する一例について説明する。
【００４８】
画素データＧ22の補間画像データＢ22’を算出するときには、図９に示すように構成した水平方向補間回路１５ａ’を用いて補間画素データＢ22’を算出する。なお、以下の水平方向補間回路１５ａ’の説明においては、図４に示した水平方向補間回路１５ａと同様の部分については同一の符号を付することでその詳細な説明を省略する。すなわち、この図９に示した水平方向補間回路１５ａ’では、入力部３０を例えば１ｈにおける画素データがＢ10，Ｇ11，Ｂ12，Ｇ13，Ｂ14の順に入力される端子３０ａと、３ｈにおける画素データがＢ30，Ｇ31，Ｂ32，Ｇ33，Ｂ34の順に入力される端子３０ｂとからなるものとしている。そして、この図９に示した水平方向補間回路１５ａ’は、端子３０ａ，３０ｂから画素データが入力される加算器３５を備えている。この加算器３５では、端子３０ａ及び端子３０ｂからの画素データが入力されて、加算処理を行うとともに除算処理を行う。すなわち、この加算器３５では、例えば｛画素データＢ10＋画素データＢ30｝／２という処理を行う。そして、この図９の水平方向補間回路１５ａ’では、図４に示した水平方向補間回路１５ａと同様に遅延回路３１ａ〜３１ｄ，加算器３２，セレクタ回路３３を介して補間画素データＧ’，Ｂ’を出力する。
【００４９】
すなわち、この水平方向補間回路１５ａ’では、先ず、垂直方向において隣接した１ｈ及び３ｈに配列した画素に対応した画素データＢの相加平均で垂直方向を補間することで、図１０に示すように配置された各画素の画素データＢを、図１１に示すように、垂直方向に補間して補間画素データＢ’を算出する。
【００５０】
次に、この垂直方向における画素データＢ及び補間して得た補間画素データＢ’を［１，０，６，０，１］／８のフィルタ、［１，０，１］／２のフィルタを介して画素データＢの水平方向における補間画素データＢ’を算出する。
【００５１】
すなわち、この水平方向補間回路１５ａ’では、水平方向に画素データＢが存在しないラインについての補間画素データＢ22’を以下のように作成する。まず、フィルタ回路３２で１ｈ及び３ｈにおける画素データＢに［１，０，６，０，１］／８からなるフィルタを加算器３２ａ，３２ｃ，３２ｄを通過させることで適用し、１ｈ及び３ｈにおける画素データＧに［１，０，１］／２からなるフィルタを加算器３２ｂを通過させることで適用する。水平方向補間回路１５ａ’は、さらに［１，０，６，０，１］／８からなるフィルタを通過して得た画素データＢの値から［１，０，１］／２からなるフィルタを通過して得た画素データＧの値を減算する減算処理回路と、この減算処理回路からの出力に図４に示した水平方向補間回路１５ａで得た補間画素データＧ22’を加算処理する加算処理回路とを有している。
【００５２】
すなわち、この水平方向補間回路１５ａ’では、［１，０，６，０，１］／８からなるフィルタを通過して得た画素データＢの値から［１，０，１］／２からなるフィルタを通過して得た画素データＧの値を減算処理して、さらに画素データＧ’を加算処理して補間画素データＢ’を加重加算回路２２に出力する。
【００５３】
このように、図９の水平方向補間回路１５ａ’は、２ｈのように、画素データＢが存在しない画素に対応した画素データＧ22においても、図１２に示すように、補間画素データＢ22’を算出することができる。すなわち、この図９の水平方向補間回路１５ａ’によれば、全（すべ）ての画素について補間画素データＢ’を算出することができる。
【００５４】
また、このような水平方向補間回路１５ａ’は、画素データＧ22について補間画素データＢ22’を算出するときには、下記式２及び上述の式１で算出した補間画素データを用いて算出してもよい。
【００５５】
Ｂ22’＝｛（Ｂ12’−Ｇ12’）＋（Ｂ32’−Ｇ32’）｝／２＋Ｇ22’（式２）この式２によれば、補間画素データＢ22’を算出するときには、図４の水平方向補間回路１５ａを用いて算出したＧ12’，Ｇ32’，Ｇ22’と、上述の式１で算出したＢ32’Ｂ12’とを用いて補間画素データＢ22’を算出することができる。
一方、垂直方向補間回路１５ｂは、図１３に示すように構成している。なお、以下に述べる垂直方向補間回路１５ｂの説明においては、上述の水平方向補間回路１５ａと同一部分については同一符号を付することによりその詳細な説明を省略する。
【００５６】
この垂直方向補間回路１５ｂは、図１３に示すように、垂直方向における各画素データＲ，Ｇ，Ｂが順次入力される入力部３０を備えている。この入力部３０は、１ｈにおける画素データが入力される端子３０ａと、３ｈにおける画素データが入力される端子３０ｂと、０ｈにおける画素データが入力される端子３０ｃと、４ｈにおける画素データが入力される端子３０ｄと、２ｈにおける画素データが入力される端子３０ｅとを有する。
【００５７】
また、この垂直方向補間回路１５ｂは、上述した水平方向補間回路１５ａと同様に、フィルタ回路３２と、セレクタ回路３３と、出力部３４とを有している。
この垂直方向補間回路１５ｂでは、各端子３０ａ〜３０ｅに画素データＢ10，Ｂ30，Ｇ00，Ｇ40，Ｇ20が入力されると、端子３０ａ及び端子３０ｂに入力された画素データを加算器３２ｂに出力し、端子３０ｃ及び端子３０ｄに入力された画素データを加算器３２ａに出力し、端子３０ｅに入力された画素データを加算器３２ｃに出力する。そして、垂直方向補間回路１５ｂでは、水平方向補間回路１５ａと同様に、これらの入力された画素データをフィルタ回路３２により上述の式１及び式２に適用して、画素データＲ，Ｇ，Ｂについての補間画素データＲ’，Ｇ’，Ｂ’を得る。
【００５８】
また、この画像データ補間部１５を構成する水平方向補間回路１５ａと垂直方向補間回路１５ｂは、エッジ処理回路１５ｃに接続している。このエッジ処理回路１５ｃは、図１４に示すように、上述のγ補正回路１４からディレイ調整がなされた画素データＧが入力される端子４０ａ〜４０ｃからなる入力部４０と、各端子４０ａ〜４０ｃから画素データＧが入力される遅延回路４１ａ〜４１ｄと、入力された画素データＧを比較する比較部４２と、比較部４２での比較結果について演算処理を施す演算部４３と、演算部４３での演算結果に応じて出力を制御する出力部４４と、出力部４４から画素データを出力する出力端子４５とから構成されている。また、このエッジ処理回路１５ｃは、γ補正回路１４から各画素データＧが入力される。ここで、以下に説明するエッジ処理部１５ｃは、例えば図１５における補間画素データＧ’の値を制御するときの一例について説明する。
【００５９】
入力部４０は、上述した水平方向補間回路１５ａ，垂直方向補間回路１５ｂで補間して得られた図１５における補間画素データＧ’の周囲の画素データＧ1 〜Ｇ4 が入力される。この入力部４０は、例えば２ｈにおける補間画素データについてエッジ処理を行うときには、当該補間画素データＧ’の上方に隣接した１ｈの画素データＧ1 が入力される端子４０ａと、当該補間画素データＧ’の水平方向における両隣の画素データＧ2，Ｇ3が入力される端子４０ｂと、当該補間画素データＧ’の下方に隣接した３ｈの画素データＧ4 が入力される端子４０ｃとを備える。また、各端子４０ａ〜４０ｃは、遅延回路４１ａ〜４１ｄと接続している。なお、画素データＧ1，Ｇ2，Ｇ3，Ｇ4は、ディレイがかけられて各端子４０ａ〜４０ｃに入力される。
【００６０】
遅延回路４１ａ〜４１ｄは、比較部４２及び出力部４４と接続し、入力部４０から出力された画素データＧ1〜Ｇ4を入力する。この遅延回路４１ａ〜４１ｄは、画素データＧ1〜Ｇ4を入力するクロックと同期したクロックで比較部４２及び出力部４４に各画素データＧ1〜Ｇ4を出力する。
【００６１】
比較部４２は、入力部４０で入力された４つの画素データのうち、２つの画素データが入力されるコンパレータ４２ａ〜４２ｆからなる。すなわち、この比較部４２は、画素データＧ1及び画素データＧ2が入力されるコンパレータ４２ａと、画素データＧ1及び画素データＧ3が入力されるコンパレータ４２ｂと、画素データＧ1及び画素データＧ4が入力されるコンパレータ４２ｃと、画素データＧ2 及び画素データＧ3 が入力されるコンパレータ４２ｄと、画素データＧ2 及び画素データＧ4 が入力されるコンパレータ４２ｅと、画素データＧ3 及び画素データＧ4 が入力されるコンパレータ４２ｆとからなる。
【００６２】
また、コンパレータ４２ａは端子Ａで画素データＧ1 、端子Ｂで画素データＧ2 が入力され、コンパレータ４２ｂは端子Ａで画素データＧ1 、端子Ｂで画素データＧ3 が入力され、コンパレータ４２ｃは端子Ａで画素データＧ1 、端子Ｂで画素データＧ4 が入力され、コンパレータ４２ｄは端子Ａで画素データＧ2 、端子Ｂで画素データＧ3 が入力され、コンパレータ４２ｅは端子Ａで画素データＧ2 、端子Ｂで画素データＧ4 が入力され、コンパレータ４２ｆは端子Ａで画素データＧ3 、端子Ｂで画素データＧ4 が入力される。
【００６３】
演算部４３は、比較部４２から比較結果を入力し、この比較結果に基づいて入力部４０で入力された画素データＧ1〜Ｇ4のうち、２位と３位の画像データを選択する。ここで、演算部４３は、複数のセレクタから構成されている。この演算部４３は、例えばコンパレータ４２ａ，コンパレータ４２ｂ，コンパレータ４２ｃからの比較結果が（Ｌ，Ｈ，Ｈ），（Ｈ，Ｌ，Ｈ），（Ｈ，Ｈ，Ｌ）のいずれかである場合、画素データＧ1 を２位として、演算結果を出力部４４に出力する。また、この演算部４３は、例えばコンパレータ４２ａ，コンパレータ４２ｄ，コンパレータ４２ｅからの比較結果が（Ｈ，Ｌ，Ｌ），（Ｈ，Ｌ，Ｈ），（Ｈ，Ｈ，Ｌ）のいずれかである場合、画素データＧ2 を３位として、演算結果を出力部４４に出力する。
【００６４】
出力部４４は、入力部４０及び演算部４３と接続されている。この出力部４４は、入力部４０から各画素データＧ1〜Ｇ4が入力されるとともに、演算部４３から演算結果が入力される。この出力部４４は、２位を示す演算結果に応じて画素データを出力するセレクタ４４ａと、３位を示す演算結果に応じて画素データＧ1〜Ｇ4を出力するセレクタ４４ｂとを有する。また、この出力部４４は、端子４０ａで入力された画素データＧ1 が入力される００端子と、端子４０ｂで入力された画素データＧ2 が入力される１０端子と、端子４０ｂで入力された画素データＧ3 が入力される０１端子と、端子４０ｃで入力された画素データＧ4 が入力される１１端子とを備えている。
【００６５】
出力部４５は、出力部４４及び水平方向補間回路１５ａ，垂直方向補間回路１５ｂと接続されている。この出力部４５は、出力部４４で出力した２位及び３位を示す画素データＧ1〜Ｇ4を水平方向補間回路１５ａ，垂直方向補間回路１５ｂに出力する。
【００６６】
このように構成されたエッジ処理回路１５ｃでエッジ処理を行うときには、図１５に示すように、入力部４０で例えば水平方向補間回路１５ａ，垂直方向補間回路１５ｂで補間して得られた補間画素データＧ’の周囲の画素データＧ1，Ｇ2，Ｇ3，Ｇ4を入力部４０で入力する。ここで、図１５中の各画素データ内の数字は、各画素データＧ1〜Ｇ4の大きさを表している。ここで、入力部４０では、画素データＧ1 を端子４０ａで入力し、画素データＧ2 を端子４０ｂで入力し、画素データＧ3 を端子４０ｂで入力し、画素データＧ4 を端子４０ｃで入力する。そして、これら画素データＧ1〜Ｇ4を各遅延回路４１ａ〜４１ｄを介して各コンパレータ４２ａ〜４２ｆに出力する。
【００６７】
次に、これら各コンパレータ４２ａ〜４２ｆでは、入力された画素データＧ1 〜Ｇ4 の大きさを比較して比較結果を演算部４３に出力する。このとき、各コンパレータ４２ａ〜４２ｆは、端子Ａに入力した画素データが端子Ｂに入力した画素データよりも大きいときは比較結果Ｈを演算部４３に出力し、端子Ａに入力した画素データが端子Ｂに入力した画素データよりも小さいときは比較結果Ｌを演算部４３に出力する。
【００６８】
次に、演算部４３では、各コンパレータ４２ａ〜４２ｆからの比較結果に応じて入力部４０で入力した画素データＧ1〜Ｇ4のうち、２位と３位の画素データＧ1〜Ｇ4を決定して、演算結果を出力部４４に出力する。ここで、セレクタ４４ａで２位を示す演算結果が入力され、セレクタ４４ｂで３位を示す演算結果が入力される。そして、各セレクタ４４ａ，４４ｂは、演算結果に基づいて画素データＧ1，Ｇ2，Ｇ3，Ｇ4のうち、２位及び３位に該当する画素データＧ1〜Ｇ4を選択して出力部４５に出力する。
【００６９】
次に、出力部４５では、これら２位及び３位に該当する画素データＧ1〜Ｇ4を水平方向補間回路１５ａ及び垂直方向補間回路１５ｂに出力する。
【００７０】
次に、水平方向補間回路１５ａ及び垂直方向補間回路１５ｂでは、この２位及び３位に該当する画素データＧ1〜Ｇ4から補間画素データＧ’の大きさが算出されることとなる。
【００７１】
したがって、このようなエッジ処理回路１５ｃによれば、例えば画素データＧ1 の大きさが１００，画素データＧ2の大きさが１００，画素データＧ3の大きさが１００，画素データＧ4 の大きさが０である場合には、２位及び３位の間を示す画素データは、共に１００となるので、補間画素データＧ’の大きさは１００に制限される。したがって、このエッジ処理回路１５ｃによれば、図１５に示した画素データについて垂直方向について補間したときの補間画素データＧ’は（１００＋０）＝５０として算出されるようなことがない。
【００７２】
相関値検出部１６は、上述のγ補正回路１４から画素データが入力される。この相関値検出部１６は、水平方向の相関値を検出する水平方向相関検出回路１６ａと、垂直方向の相関値を検出する垂直方向相関検出回路１６ｂとからなる。
【００７３】
水平方向相関検出回路１６ａは、画素データＧが存在する画素においては下記式３に示すフィルタを用い、画素データＧが存在しない画素においては下記式４に示すフィルタを用いて水平相関値Ｃh を算出する。
【００７４】
【数１】
【００７５】
すなわち、水平相関値Ｃh は、垂直方向において、画素データＧが存在する場合には式３を用いて［１，０，６，０，１］のＬＰＦ、画素データＧが存在しない場合には式４を用いて［１，０，１］のＬＰＦをかけて算出される。また、水平相関値Ｃh は、水平方向において、［−１，０，２，０，−１］のＢＰＦをかけて算出される。
【００７６】
この水平方向相関検出回路１６ａは、図１６に示すように、γ補正回路１４から画素データが端子５０ａ〜５０ｅから入力される入力部５０と、各画素データが入力されて水平相関値Ｃh を生成するフィルタ回路５２と、水平相関値Ｃh が入力されるセレクタ回路５３と、セレクタ回路５３からの水平相関値Ｃh を出力する出力部５４とからなる。
【００７７】
入力部５０は、γ補正回路１４から図３に示した垂直方向に配された各画素データを順次入力する。この入力部５０は、１ｈにおける画素データが入力される端子５０ａと、３ｈにおける画素データが入力される端子５０ｂと、０ｈにおける画素データが入力される端子５０ｃと、４ｈにおける画素データが入力される端子５０ｄと、２ｈにおける画素データが入力される端子５０ｅとを有する。
【００７８】
フィルタ回路５２は、端子５０ａ及び端子５０ｂから画素データが入力される加算器５２ａと、端子５０ｃ及び端子５０ｄから画素データが入力される加算器５２ｂと、端子５０ｅから画素データが入力される加算器５２ｃと、加算器５２ｂ及び加算器５２ｃからの出力が入力される加算器５２ｄとからなる。このフィルタ回路５２は、上述した水平方向補間回路１５ａ及び垂直方向補間回路１５ｂに示したフィルタ回路３３と同様に、加算器５２ｂ，加算器５２ｃ，加算器５２ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器５２ａで［１，０，１］／２のフィルタを構成している。
【００７９】
セレクタ回路５３は、加算器５２ｄからの出力及び端子５０ｅから画素データが入力されるセレクタ５３ａと、加算器５２ａからの出力及びセレクタ５３ａからの出力が入力されるセレクタ５３ｂとを有する。また、各セレクタ５３ａ，５３ｂは、制御部１０からの制御信号を入力して、その動作が制御されている。すなわち、セレクタ５３ａは、制御部１０から制御信号Ｈを入力したとき、加算器５２ｂ，５２ｃ，５２ｄを介して入力された画素データを出力し、制御部１０から制御信号Ｌを入力したとき、端子５０ｅから入力された画素データを出力する。また、セレクタ５３ｂは、制御部１０からの制御信号に応じて加算器５２ａを通過した水平相関値Ｃh を出力するか、セレクタ５３ａを通過した画素データを出力するかが制御される。
【００８０】
なお、この水平方向相関検出回路１６ａでは、相関値を算出する対象となる画素データについてはフィルタ回路５２を通過させずにセレクタ回路５３に入力させても良い。このように、フィルタ回路５２ｂ，５２ｅ，５２ｄを通過させずに画素データＧをそのまま相関値として用いることで画素データＧの帯域の低下を抑制することができるとともに、回路を簡略化することもできる。
【００８１】
このセレクタ５３ｂは、画素データＧが存在する画素では加算器５２ｂ，５２ｃ，５２ｄ或（ある）いは端子５０ｅからの出力を通過させるように制御され、画素データＧが存在しない画素では加算器５２ａからの出力を通過させるように制御される。
【００８２】
出力部５４は、セレクタ５３ｂから入力した水平相関値Ｃh を出力する。この出力部５４は、図示しない水平方向に［−１，０，２，０，−１］のＢＰＦを介してノイズ除去部１７と接続しており、水平相関値Ｃh を当該ノイズ除去部１７に出力する。
【００８３】
垂直方向相関検出回路１６ｂは、画素データＧが存在する画素においては下記式５に示すフィルタを用い、画素データＧが存在しない画素においては下記式６に示すフィルタを用いて垂直相関値Ｃvを算出する。
【００８４】
【数２】
【００８５】
すなわち、垂直相関値Ｃv は、式５及び式６を用いることにより、垂直方向において［−１，０，２，０，−１］のＢＰＦで算出される。また、垂直相関値Ｃv は、画素データＧが存在する場合、水平方向では式５を用いて［１，０，６，０，１］のＬＰＦ、画素データＧが存在しない場合には式６を用いて［１，０，１］のＬＰＦで算出される。
【００８６】
この垂直方向相関検出回路１６ｂは、図１７に示すように、図示を省略した垂直方向に［−１，０，２，０，−１］のＢＰＦを介して画素データが入力される入力部５５と、入力部５５から各画素データが入力される遅延回路５６ａ〜５６ｄと、遅延回路５６ａ〜５６ｄから各画素データが入力されて垂直相関値Ｃv を生成するフィルタ回路５７と、フィルタ回路５７を介して垂直相関値Ｃv が入力されるセレクタ回路５８と、セレクタ回路５８からの垂直相関値Ｃv を出力する出力部５９とからなる。
【００８７】
入力部５５は、γ補正回路１４から、図示を省略した垂直方向に［−１，０，２，０，−１］のＢＰＦを介して順次入力する。入力部５５は、上述した水平方向補間回路１５ａに備えられる遅延回路３１と同様の構成を有する遅延回路５６ａ〜５６ｄに各画素データを出力する。
【００８８】
フィルタ回路５７は、上述の水平方向相関検出回路１６ａに備えられるフィルタ回路５２と同様の構成を有しており、加算器５７ａ，５７ｂ，５７ｃ，５７ｄからなる。このフィルタ回路５２は、上述した水平方向相関検出回路１６ａに示したフィルタ回路５３と同様に、加算器５７ｂ，加算器５７ｃ，加算器５７ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器５７ａで［１，０，１］／２のフィルタを構成している。なお、この垂直方向相関検出回路１６ｂでは、上述の水平方向相関検出回路１６ａと同様に、相関値Ｃv を算出する対象となる画素データについてはフィルタ回路５７ｂ，５７ｃ，５７ｄを通過させずにセレクタ回路５８に入力させても良い。
【００８９】
セレクタ回路５８は、上述の水平方向相関検出回路１６ａに備えられるセレクタ回路５３と同様の構成を有しており、セレクタ５８ａ，５８ｂを有する。また、各セレクタ５８ａ，５８ｂは、制御部１０からの制御信号が入力されて、その動作が制御されている。
【００９０】
このセレクタ５８ｂは、画素データＧが存在する画素では加算器５７ｂ，５７ｃ，５７ｄ或（ある）いは遅延回路５６ｂからの出力を通過させるように制御され、画素データＧが存在しない画素では加算器５７ａからの出力を通過させるように制御される。
【００９１】
出力部５９は、セレクタ５８ｂから入力した垂直相関値Ｃv を出力する。この出力部５９は、ノイズ除去部１７と接続しており、垂直相関値Ｃv を当該ノイズ除去部１７に出力する。
【００９２】
このように構成された相関値検出部１６は、式３〜式６を用いた回路を構成することで、例えば画素データＧのみで相関値Ｃを算出するので、被写体の色の影響を受けるようなことなく水平相関値Ｃh 及び垂直相関値Ｃv を算出することができる。
【００９３】
ノイズ除去部１７は、図２に示すように、上述した水平方向相関検出回路１６ａと接続したノイズ除去回路１７ａと、垂直方向相関検出回路１６ｂと接続したノイズ除去回路１７ｂとからなる。これらノイズ除去回路１７ａとノイズ除去回路１７ｂとは、図１８に示すような同様の構成を有している。
【００９４】
ノイズ除去部１７ａ，１７ｂは、図１８に示すように、相関検出回路１６ａ，１６ｂから相関値Ｃが入力される絶対値化回路６０と、絶対値化された相関値Ｃが入力される減算回路６１と、減算された相関値Ｃが入力されるリミット回路６２とからなる。
【００９５】
絶対値化回路６０は、例えばＥｘ．ＯＲゲート６０ａと加算器６０ｂとからなる。この絶対値化回路６０は、入力した相関値Ｃに対して絶対値化を施し、正の値とする。そして、この絶対値化回路６０は、この絶対値化した相関値Ｃを減算回路６１に出力する。
【００９６】
減算回路６１は、例えば減算器６１ａからなる。この減算器６１ａは、絶対値化回路６０から相関値Ｃが入力される。また、この減算器６１ａは、制御部１０から入力した相関値Ｃから所定の値を減算する減算値を示す制御信号が入力される。そして、この減算器６１ａは、制御信号に応じて相関値Ｃから減算値を減算する。このように減算器６１ａは、減算処理を行うことで、図１９（ａ）中の点線で示すように、相関値Ｃの出力を図１９（ａ）中の実線で示すように減算する。そして、この減算回路６１は、減算した相関値Ｃをリミット回路６２に出力する。
【００９７】
リミット回路６２は、例えばインバータ６２ａとＡＮＤゲート６２ｂとからなる。このリミット回路６２は、減算回路６１で減算されて図１９（ｂ）に示すように出力が負の値となった相関値Ｃを０となるように処理を施す。そして、このリミット回路６２は、このような処理を施した相関値Ｃをオフセット回路１８に出力する。
【００９８】
このようなノイズ除去部１７は、入力した相関値Ｃから減算処理を行うことにより、微小な相関値Ｃを除去するので、微小な値におけるノイズを除去することができる。したがって、このノイズ除去部１７によれば、例えばＢＰＦを通過させて相関値Ｃを算出するために、ＣＣＤ３自体のノイズ等に対して算出された相関値Ｃを除去することができる。また、このノイズ除去部１７によれば、ＣＣＤ３で生成する画素データにノイズ成分が含まれている場合、当該ノイズに対しても相関値Ｃを算出しても、微小な相関値を減算処理する。したがって、ノイズ除去部１７によれば、ノイズの少ない相関値Ｃを用いて補間画素データに重み付けを行わせることができ、出力される画像に偽色信号が発生してしまい、画像が劣化することがない。
【００９９】
オフセット回路１８は、図２に示すように、ノイズ除去回路１７ａから水平相関値Ｃh が入力されるオフセット回路１８ａと、ノイズ除去回路１７ｂから垂直相関値Ｃv が入力されるオフセット回路１８ｂとからなる。これらオフセット回路１８ａとオフセット回路１８ｂとは、図２０に示すような同様の構成を有している。
【０１００】
オフセット回路１８ａ，１８ｂは、図２０に示すように、例えば加算器６５からなる。この加算器６５は、上述のノイズ除去回路１７ａ，１７ｂから相関値Ｃが入力される。また、この加算器６５は、制御部１０から所定の値のオフセット値を示す制御信号が入力される。
【０１０１】
そして、この加算器６５は、ノイズ除去部１７ａ，１７ｂから相関値Ｃが入力されると、制御信号が示すオフセット値を加算する。そして、この加算器６５は、入力した相関値Ｃとオフセット値とを加算処理して正規化回路１９に出力する。すなわち、このオフセット回路１８ａ，１８ｂは、例えばノイズ除去部１７ａ，１７ｂから図２１中の点線で示すような相関値Ｃにオフセット値を加算することで図２１中の実線で示すような相関値Ｃとする。
【０１０２】
このようにオフセット回路１８ａ，１８ｂでは、オフセット値を相関値Ｃに加算処理することにより、入力した相関値Ｃの振幅が０程度であっても、値の大きな相関値Ｃを持たせることができる。このようなオフセット回路１８ａ，１８ｂは、例えば図２２に示すように、上述した相関値検出部１６では相関値Ｃが得られない、例えば１画素毎に色が変化する画像データを構成する画素データである場合、高域の信号や、垂直相関値Ｃv 及び水平相関値Ｃh の振幅が微小な場合も、水平相関値Ｃhと垂直相関値Ｃvとが急激に切り替わることを防止することができる。すなわち、このようなオフセット回路１８ａ，１８ｂによれば、オフセット値を相関値Ｃに加算処理することで、相関値Ｃで重み付けられる補間画素データを相加平均で補間する方向に近づけることができる。したがって、このオフセット回路１８ａ，１８ｂによれば、入力された相関値Ｃの振幅が微小でである場合や隣接する画素で水平相関値Ｃh が１，垂直相関値Ｃv が０である場合でも、垂直相関値Ｃv が０，水平相関値Ｃh が１と切り替わるようなことがない。
【０１０３】
正規化回路１９は、図２に示すように、オフセット回路１８ａ及びオフセット回路１８ｂから水平相関値Ｃh 及び垂直相関値Ｃv が入力される加算器１９ａと、垂直相関値Ｃv 及び加算器１９ａからの出力が入力される除算器１９ｂとからなる。
【０１０４】
このような正規化回路１９は、加算器１９ａで垂直相関値Ｃv と水平相関値Ｃh とを加算処理して加算結果を除算器１９ｂに出力し、除算器１９ｂで垂直相関値Ｃv を加算結果で除算処理する。そして、この正規化回路１９は、下記式７に示す垂直相関値Ｃv を算出する。ここで、水平相関値Ｃh は、垂直相関値Ｃv の相対値として下記式８に示すように表せる。
【０１０５】
【数３】
【０１０６】
偏り補正回路２０は、図２３に示すように、加算器２０ａからなる。この偏り補正回路２０は、正規化回路１９から上記式７で示す垂直相関値ＣV が入力される。加算器２０ａは、制御部１０から補正値αが入力される。この補正値αは、制御部１０により生成され、例えばＣＣＤ３等の設定に応じて−１〜１までの範囲内で調整される。
【０１０７】
そして、この偏り補正回路２０は、垂直相関値ＣV が入力されるとともに、制御部１０から入力した補正値αを入力し、垂直相関値ＣV と補正値αとを加算処理する。このように偏り補正回路２０は、加算処理を行うことで垂直相関値ＣV を下記式９に示すような値とする。
【０１０８】
【数４】
【０１０９】
したがって、この偏り補正回路２０は、例えば図２４で示すように、図２４中の点線で示す垂直相関値Ｃv を入力したとき、補正値αを加算処理することで図２４中の実線で示すように変化させることができる。すなわち、この偏り補正回路２０によれば、垂直相関値Ｃv に補正値αを加算処理することで、垂直相関値Ｃv と水平相関値Ｃh とがＣＣＤ３からの信号の歪等によって同じレベルとはならない場合でも、制御部１０から入力する補正値αを制御することで垂直相関値Ｃv の値を制御して補正することができる。また、この偏り補正回路２０は、例えばＣＣＤの縦横比や、ＣＣＤから出力されるアナログ信号を検波するときに生ずる歪等により、垂直方向における相関と水平方向における相関との関係が等しく算出できなくても、制御部１０からの補正値αを制御することで水平相関値Ｃh と垂直相関値Ｃv とのバランスを制御することができる。
【０１１０】
強調・低減回路２１は、図２５に示すように、偏り補正回路２０から垂直相関値Ｃv が入力される減算器２１ａと、減算処理を施した垂直相関値Ｃv が入力される乗算器２１ｂと、乗算処理を施した垂直相関値Ｃv が入力される加算器２１ｃと、加算処理を施した垂直相関値Ｃv が入力される制限器２１ｄとからなる。
【０１１１】
減算器２１ａは、偏り補正回路２０から０〜１までの値を有する垂直相関値Ｃv を入力し、当該垂直相関値Ｃvに減算処理を行う。この減算器２１ａは、垂直相関値Ｃv から０．５だけ減算処理を行う。乗算器２１ｂは、制御部１０から入力する乗算値を示す制御信号に基づいて垂直相関値Ｃv に乗算処理する。加算器２１ｃは、垂直相関値Ｃv に０．５だけ加算処理を行う。制限器２１ｄは、入力した垂直相関値Ｃv を一定の範囲内で制限する。
【０１１２】
このような強調・低減回路２１は、偏り補正回路２０から垂直相関値Ｃv が入力されると、先ず、減算器２１ａで垂直相関値Ｃv から０．５だけ減算処理を行い、次に、減算処理を施した垂直相関値Ｃv に乗算処理を行う。このとき、制御部１０から入力する乗算値に応じて図２６中の実線で示すような特性の垂直相関値Ｃv の傾きを図２６中の点線又は一点鎖線で示すように変化させる。次に、乗算処理を施した垂直相関値Ｃv に、上述の減算器２１ａで減算した０．５を加算器２１ｃで加算する。次に、加算処理を施した垂直相関値Ｃv が０〜１までの範囲内の値を取るように、制限器２１ｄで規制する。
【０１１３】
このように強調・低減回路２１は、制御部１０からの乗算値を垂直相関値Ｃv に乗算処理を施すことにより、図２６に示すように垂直相関値Ｃv の入出力特性の傾きを変化させる。したがって、この強調・低減回路２１によれば、制御部１０からの乗算値を変化させることにより、垂直相関値Ｃv を変化させることができる。したがって、この強調・低減回路２１によれば、後述する補間画素データに重み付けを行うときに、補間画素データに重み付けを行う相関値の値を変化させて、補間画素データが相関を重視するか、補間画素データが相加平均に近づくように補間するかを制御することができる。また、この強調・低減回路２１によれば、例えばＣＣＤ３に入力される光量が小さいために、ＣＣＤ３からの出力にノイズが多くなり、相関値が正確に算出できなくても、乗算値を変化させることにより相関値を制御することができる。
【０１１４】
加重加算回路２２は、図２に示すように、垂直相関値Ｃv を入力して正規化した水平相関値Ｃh を生成する減算器２２ａと、正規化した水平相関値Ｃh が入力される乗算器２２ｂと、垂直相関値Ｃv が入力される乗算器２２ｃと、垂直方向及び水平方向の補間画素データが入力される加算器２２ｄとからなる。
【０１１５】
このような加重加算回路２２は、強調・低減回路２１から垂直相関値Ｃv を減算器２２ａ及び乗算器２２ｃに入力する。減算器２２ａでは、垂直相関値Ｃv を１から減算処理することで水平相関値Ｃh を生成する。そして、この減算器２２ａでは、水平相関値Ｃhを乗算器２２ｂに出力する。
【０１１６】
乗算器２２ｂは、垂直方向補間回路１５ｂから垂直方向における補間画素データと、減算器２２ａから水平相関値Ｃh とが入力される。乗算器２２ｂは、入力した垂直方向における補間画素データと水平相関値Ｃh とを乗算処理する。このように乗算器２２ｂは、垂直方向における補間画素データに水平相関値Ｃh を乗算することで重み付けを行う。
【０１１７】
乗算器２２ｃは、水平方向補間回路１５ａから水平方向における補間画素データが入力されるとともに垂直相関値Ｃv が入力される。乗算器２２ｃは、入力した水平方向における補間画素データと垂直相関値Ｃvとを乗算処理する。このように乗算器２２ｃは、水平方向における補間画素データに垂直相関値Ｃv を乗算することで重み付けを行う。
【０１１８】
加算器２２ｄでは、乗算器２２ｃで重み付けられた水平方向における補間画素データ及び乗算器２２ｂで重み付けられた垂直方向における補間画素データが入力される。加算器２２ｄは、入力した水平方向における補間画素データと垂直方向における補間画素データとを加算処理する。このように加算器２２ｄは、加算処理を行うことにより、垂直方向及び水平方向の相関値により重み付けられた補間画素データを得る。そして、加算器２２ｄは、当該補間画素データを輪郭補正回路２３に出力する。
【０１１９】
輪郭補正回路２３は、加重加算回路２２の加算器２２ｄと接続している。この輪郭補正回路２３は、加算器２２ｄから補間画素データが入力されるとともに制御部１０から輪郭強調信号が入力される。この輪郭強調信号は、ＣＣＤ３のレスポンス劣化の補償や、鮮明度を強調する信号である。そして、輪郭補正回路２３では、入力した輪郭強調信号と補間画素データとを加算処理して、Ｙ／Ｃ変換部２４に出力する。
【０１２０】
Ｙ／Ｃ変換部２４は、輪郭補正回路２３と接続しており、当該輪郭補正回路２３から補間画素データが入力される。このＹ／Ｃ変換部２４は、入力したＲ，Ｇ，Ｂからなる補間画素データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換する。そして、このＹ／Ｃ変換部２４は、補間画素データを変換して得たＹ／Ｃ信号を色差信号抑制部２５に出力する。
【０１２１】
色差信号抑制部２５は、Ｙ／Ｃ変換部２４と接続しており、当該Ｙ／Ｃ変換部２４からＹ／Ｃ信号が入力される。この色差信号抑制部２５は、図２７に示すように、１ラインが画素データＧ，Ｂからなる画素データの色差Ｂ−Ｇが入力されるＢＧデータ抑制回路２５ａと、１ラインが画素データＧ，Ｒからなる画素データの色差Ｒ−Ｇが入力されるＲＧデータ抑制回路２５ｂとからなる。
【０１２２】
ＢＧデータ抑制回路２５ａは、補間画素データＧ’，Ｂ’の色差Ｂ’−Ｇ’が入力される入力部７０ａ〜７０ｃと、入力部７０ａ〜７０ｃから色差Ｂ’−Ｇ’が入力される絶対値化器７１ａ〜７１ｃと、絶対値化器７１ａ〜７１ｃから絶対値化された色差Ｂ’−Ｇ’が入力されるコンパレータ７２ａ〜７２ｃと、コンパレータ７２ａ〜７２ｃからの比較結果が入力される演算器７３と、演算器７３からの演算結果が入力されるセレクタ７４と、セレクタ７４からの画素データが入力される出力部７５とからなる。
【０１２３】
入力部７０ａは垂直方向にける色差Ｂ’−Ｇ’を入力し、入力部７０ｂは水平方向における色差Ｂ’−Ｇ’を入力し、入力部７０ｃは相関値で重み付けがなされた色差Ｂ’−Ｇ’が入力される。入力部７０ａは入力した色差Ｂ’−Ｇ’を絶対値化器７１ａに出力し、入力部７０ｂは入力した色差Ｂ’−Ｇ’を絶対値化器７１ｂに出力し、入力部７０ｃは入力した色差Ｂ’−Ｇ’を絶対値化器７１ｃに出力する。
【０１２４】
絶対値化器７１ａ〜７１ｃは、例えばＥｘ．ＯＲゲート７６と加算器７７とからなる。この絶対値化器７１ａ〜７１ｃは、入力した色差Ｂ’−Ｇ’に対して絶対値化を施し、正の値とする。絶対値化器７１ａ〜７１ｃは、絶対値化を施した色差Ｂ’−Ｇ’をコンパレータ７２ａ〜７２ｃに出力する。
【０１２５】
コンパレータ７２ａは、絶対値化器７１ａを通過した色差Ｂ’−Ｇ’を端子Ｂで入力するとともに、絶対値化器７１ｃを通過した色差Ｂ’−Ｇ’を端子Ａで入力する。コンパレータ７２ｂは、絶対値化器７１ａを通過した色差Ｂ’−Ｇ’を端子Ａで入力するとともに、絶対値化器７１ｂを通過した色差Ｂ’−Ｇ’を端子Ｂで入力する。コンパレータ７２ｃは、絶対値化器７１ｂを通過した色差Ｂ’−Ｇ’を端子Ａで入力するとともに、絶対値化器７１ｃを通過した色差Ｂ’−Ｇ’を端子Ｂで入力する。これらコンパレータ７２ａ〜７２ｃは、端子Ａ及び端子Ｂで入力した色差Ｂ’−Ｇ’の大きさを比較して端子Ａで入力した色差Ｂ’−Ｇ’が大きいと判断した場合には比較結果Ｈを演算器７３に出力し、端子Ａで入力した色差Ｂ’−Ｇ’が小さいと判断した場合には比較結果Ｌを演算器７３に出力する。
【０１２６】
演算器７３は、コンパレータ７２ａ〜７２ｃから比較結果が入力されるとともに、制御部１０から制御信号が入力される。この演算器７３は、比較結果及び制御信号に基づいて演算結果を生成してセレクタ７４に出力する。
【０１２７】
この演算器７３は、制御信号Ｈを入力したときには演算結果１１を出力し、制御信号Ｌを入力したときには各コンパレータ７２ａ〜７２ｃからの比較結果に基づいて演算結果を生成する。この演算器７３は、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｈ，Ｌ，Ｘ）のときには演算結果００を出力し、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｘ，Ｈ，Ｌ）のときには演算結果０１を出力し、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｌ，Ｘ，Ｈ）のときには演算結果１０を生成してセレクタ７４に出力する。
【０１２８】
セレクタ７４は、演算器７３から演算結果が入力されるとともに、入力部７０ａ〜７０ｃから色差Ｂ’−Ｇ’が入力される。このセレクタ７４は、１１端子及び１０端子で入力部７０ｃで入力した色差Ｂ’−Ｇ’を入力し、０１端子で入力部７０ｂで入力した色差Ｂ’−Ｇ’を入力し、００端子で入力部７０ａで入力した色差Ｂ’−Ｇ’が入力される。また、このセレクタ７４は、演算結果１１が入力されると１１端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果１０が入力されると１０端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果０１が入力されると０１端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果００が入力されると００端子で入力した色差Ｂ’−Ｇ’を出力する。
【０１２９】
ＲＧデータ抑制回路２５ｂは、入力部７０ａ〜７０ｃにおいて色差Ｒ’−Ｇ’を入力し、この色差Ｒ’−Ｇ’を絶対値化器７１、コンパレータ７２、演算器７３、セレクタ７４を経ることで最小の色差Ｒ’−Ｇ’を選択して出力部７５で出力する。
【０１３０】
したがって、このような色差信号抑制部２５によれば、図２８（ａ）に示すように、例えば、垂直方向に配置した画素データＲ，Ｇについての補間画素データＲv，Ｇv、水平方向に配置した画素データＲ，Ｇについての補間画素データＲh，Ｇh、重み付けされた補間画素データＲc，Ｇc の色差のうち最小の補間画素データＲh，Ｇhを選択する。また、この色差信号抑制部２５は、図２８（ｂ）に示すように、比較した補間画素データのうち、最も０に近い補間画素データＲ’−Ｇ’を選択する。
【０１３１】
このような色差信号抑制部２５は、入力部７０ａ〜７０ｃで入力した補間画素データのうち、色差信号の絶対値が最小のものを選択して出力する。したがって、このような色差信号抑制部２５は、相関を求めることができない帯域で相関値で重み付けした補間画素データで画像データを生成したとき、色のエッジ等に偽色がつくことを防止することができる。したがって、この色差信号抑制部２５によれば、相関が見られない周波数帯域であっても、色の折り返し歪を防止することができる。
【０１３２】
出力部７５は、セレクタ７４で出力された補間画素データを出力部２６に出力する。出力部２６は、例えば画素データを記録する記録媒体や、表示装置、外部へ出力する端子等である。
【０１３３】
なお、以上の説明においては、原色コーディングのＣＣＤ３を用いたカメラ装置１で生成するカメラ信号を処理する一例について説明したが、本発明は、図２９（ａ）又は図２９（ｂ）に示すように、画像データに含まれている画素データが示す色のうち、最も多い色が市松状に配置されているコーディングの固体撮像素子であれば、補色のＣＣＤにも適用することができる。
【０１３４】
【発明の効果】
以上詳細に説明したように、本発明に係るカメラ信号処理装置及びカメラ信号処理方法は、少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成し、補間画素データの上記２以上の方向における相関の程度を示す各方向の相関値をそれぞれ検出し、各方向の相関値を正規化して各方向の相関値の相対値を示す正規化値を生成し、正規化値に所定値の補正値を加算処理するので、各方向の相関値がＣＣＤからの信号の歪等によって同じレベルとはならない場合でも、補正値を制御することで相関値を制御して各方向の相関値の関係を補正することができる。また、このカメラ信号処理装置及びカメラ信号処理方法によれば、例えばＣＣＤの縦横比や、ＣＣＤから出力されるアナログ信号を検波するときに生ずる歪等により、各方向における相関との関係が等しく算出できなくても、補正値を制御することで各方向の相関値のバランスを制御することができる。
【図面の簡単な説明】
【図１】カメラ装置の構成の一例を示すブロック図である。
【図２】信号処理回路の構成の一例を示すブロック図である。
【図３】各画素に対応した画素データＲ，Ｇ，Ｂの配置の一例を示す図である。
【図４】垂直方向補間回路の構成の一例を示す図である。
【図５】各画素に対応した画素データＧの配置の一例を示す図である。
【図６】［１，０，６，０，１］のＬＰＦの周波数特性を示す図である。
【図７】［１，０，１］のＬＰＦの周波数特性を示す図である。
【図８】補間処理を行った後に生成される補間画素データＧ’の一例を示す図である。
【図９】水平方向補間回路の構成の一例を示す図である。
【図１０】各画素に対応した画素データＢの配置の一例を示す図である。
【図１１】各画素に対応した画素データＢについて水力方向に相加平均を算出したときの補間画素データＢ’の配置の一例を示す図である。
【図１２】補間処理を行った後に生成される補間画素データＢ’の一例を示す図である。
【図１３】垂直方向補間回路の構成の一例を示す図である。
【図１４】エッジ処理回路の構成の一例を示す図である。
【図１５】エッジ処理回路でエッジ処理を施すときの一例を説明するための図である。
【図１６】水平方向相関検出回路の構成の一例を示す図である。
【図１７】垂直方向相関検出回路の構成の一例を示す図である。
【図１８】ノイズ除去回路の構成の一例を示す図である。
【図１９】ノイズ除去回路で入力した相関値に処理を施すときの一例を示す図であり、（ａ）が相関値に減算処理を施したときの一例を示し、（ｂ）が相関値を負の値でリミットしたときの一例を示す図である。
【図２０】オフセット回路の構成の一例を示す図である。
【図２１】オフセット回路で入力した相関値にオフセット値を加算処理したときの入出力特性の変化の一例を示す図である。
【図２２】隣接する画素データ毎に色が変化する画像データの一例を示す図である。
【図２３】偏り補正回路の構成の一例を示す図である。
【図２４】偏り補正回路で入力した相関値に補正値を加算処理したときの入出力特性の変化の一例を示す図である。
【図２５】強調・低減回路の構成の一例を示す図である。
【図２６】強調・低減回路で入力した相関値に乗算処理を施したときの入出力特性の変化を示す図である。
【図２７】色差信号抑制回路の構成の一例を示す図である。
【図２８】色差信号抑制部で垂直方向に配置した画素データＲ，Ｇについての補間画素データＲv，Ｇv、水平方向に配置した画素データＲ，Ｇについての補間画素データＲh，Ｇh、重み付けされた補間画素データＲc，Ｇcの色差のうち絶対値最小の補間画素データＲh，Ｇhを選択する一例を示す図である。
【図２９】画素データの配置の他の一例を示す図である。
【符号の説明】
１ カメラ装置、１５ 画像データ補間部、１５ａ 水平方向補間回路、１５ｂ 垂直方向補間回路、１６ 相関値検出部、１６ａ 水平方向相関検出回路、１６ｂ 垂直方向相関検出回路、１９ 正規化回路、２０ 偏り補正回路、２２加重加算回路
【発明の属する技術分野】
本発明は、単板式のカメラ装置で生成するカメラ信号の処理を行うカメラ信号処理装置及びカメラ信号処理方法に関し、詳しくは固体撮像素子で生成した撮像信号から輝度信号又は色差信号を生成するときに各画素における補間値の相関を示す相関値を算出するカメラ信号処理装置及びカメラ信号処理方法に関する。
【０００２】
【従来の技術】
従来において、ＣＣＤ(Charge Coupled Device) イメージセンサ（以下、単にＣＣＤと称する。）等の固体撮像素子を用いた単板式のカメラ装置においては、ＣＣＤ上にＲ，Ｇ，Ｂに対応した光を透過させる色フィルタが配設されている。この色フィルタは、Ｒ（レッド）の光を透過させる領域と、Ｇ（グリーン）の光を透過させる領域と、Ｂ（ブルー）の光を透過させる領域とがマトリクス状に形成されており、例えば水平方向においてＧ，Ｒ，Ｇ・・又はＢ，Ｇ，Ｂ・・と配設されている。そして、ＣＣＤには、この色フィルタの各領域を透過した光が入力され、色フィルタのＲ，Ｇ，Ｂの光を透過させる領域に対応した画素から画素データＧ，画素データＲ，画素データＢをそれぞれ生成する。
【０００３】
そして、このカメラ装置においては、ＣＣＤに入力される光に基づいて輝度信号を作成するとともに、色信号を作成している。
【０００４】
このようなカメラ装置におけるＣＣＤは、１つの画素毎にＲ，Ｇ，Ｂを有する色フィルタが配されており、例えば水平方向にＲ，Ｇ，Ｒ，Ｇ，・・・という配列となされている。そして、このカメラ装置においては、各画素に対応して配された色フィルタに対応して色信号を作成している。したがって、このようなＣＣＤでは、Ｒの光を透過させる色フィルタが配されている画素においてはＧ及びＢに対応した画素データＧ，Ｂが生成されないこととなり、Ｇ及びＢに対応した画素データを補間して生成する必要がある。
【０００５】
従来のカメラ装置において、例えばＣＣＤで生成したカメラ信号の輝度信号を処理する際においては、全画素読み出しの場合、ＣＣＤの垂直方向及び水平方向の２画素ずつの４つの画素から生成する輝度信号を相加平均して作成することが知られている。
【０００６】
また、単板式のカメラ装置においては、補間を行って画素データを生成するときに、垂直方向及び水平方向における相関を示す相関値を検出する。この相関値を検出するときには、周囲に配された画素の信号をフィルタを用いて計算することで垂直方向における相関値及び水平方向における相関値を算出する。そして、このカメラ装置においては、相関値を用いて、補間して得た補間画素データに重み付けを行う。
【０００７】
【発明が解決しようとする課題】
ところで、上述したカメラ装置においては、ＣＣＤで生成した画素データが、上述したような手法で相関値を検出すると、垂直方向における相関と水平方向における相関との関係が等しく検出できないことがある。
【０００８】
すなわち、例えばＣＣＤの縦横比や、ＣＣＤから出力されるアナログ信号を検波するときに生ずる歪等により、垂直方向における相関と水平方向における相関との関係が等しく算出できないことがある。
【０００９】
このように、垂直方向における相関と水平方向における相関との関係が等しく算出できないと、垂直方向、水平方向のいずれに相関が強いのかを判断することが困難となる。
【００１０】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、例えばＣＣＤ等に起因する信号の歪を考慮して垂直方向、水平方向の相関の関係を変化させることができるカメラ信号処理装置及びカメラ信号処理方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述の課題を解決する本発明にかかるカメラ信号処理装置は、固体撮像素子が検出する画素データを当該位置及び周囲の画素データに基づいて生成した補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う水平相関値及び垂直相関値を検出する相関検出手段と、相関検出手段で検出した水平相関値と垂直相関値とを正規化して当該水平相関値と垂直相関値との相対値を示す正規化値を生成する正規化手段と、正規化手段で生成した正規化値に所定値の補正値を加算処理する補正手段とを有することを特徴とするものである。
【００１２】
また、本発明にかかるカメラ信号処理方法は、画素データを当該位置及び周囲の画素データに基づいて生成した補間画素データの水平方向及び垂直方向における相関の程度を示し当該補間画素データに重み付けを行う水平相関値及び垂直相関値を検出し、水平相関値と垂直相関値とを正規化して当該水平相関値と垂直相関値との相対値を示す正規化値を生成し、正規化値に所定値の補正値を加算処理することを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明に係るカメラ信号処理装置及びカメラ信号処理方法の実施の形態について図面を参照しながら説明する。
【００１４】
本発明は、例えば図１に示すように、入力された光に応じて静止画像を生成するカメラ装置１に適用される。
【００１５】
このカメラ装置１は、ＣＣＤ(Charge Coupled Device) イメージャ（以下ＣＣＤと称する。）に被写体を結像するする光学系２と、ＣＣＤ３と、このＣＣＤ３を駆動するタイミングジェネレータ４と、ＣＣＤ３から撮像信号が入力されるサンプル／ホールド回路５と、サンプル／ホールド回路５から撮像信号が入力されゲインを調整するＡＧＣ回路６と、入力された撮像信号をデジタル方式の画像データに変換するＡ／Ｄ変換回路７と、画像データにカメラ信号処理を行うカメラ処理部８と、ＣＣＤ３で生成する撮像信号を検波するＣＣＤ検波部９と、これら各部を制御する制御部１０とから構成されている。
【００１６】
ここで、ＣＣＤ３には、Ｒ（レッド）の光を透過する領域と、Ｇ（グリーン）の光を透過する領域と、Ｂ（ブルー）の光を透過する領域とがマトリクス状に形成された色フィルタが配設されており、各画素毎に当該色フィルタを透過した光が入力される。この色フィルタは、例えば、各色の光を透過する領域が水平方向にＲ，Ｇ，Ｒ，Ｇ・・・又はＧ，Ｂ，Ｇ，Ｂ・・・と配設されている。すなわち、ＣＣＤ３は、各画素毎で各色Ｒ，Ｇ，Ｂに対応した光に基づいて画素データＲ，画素データＧ，画素データＢを生成する。
【００１７】
このＣＣＤ検波部９では、Ａ／Ｄ変換回路７でデジタル方式に変換された画像データが入力される。そして、このＣＣＤ検波部９で検波された画像データは、例えばＡＥ(auto exposure)回路、ＡＦ(auto focus)回路に入力される。そして、例えばＡＥ回路に入力された画像データは、電子シャッタのシャッタスピード又は絞りを調整するために使用され、ＣＣＤ３に入射する光の明るさを自動で切り換える。
【００１８】
カメラ処理部８は、Ａ／Ｄ変換回路７から画像データが入力される欠陥補正回路１１と、欠陥補正回路１１から画像データが入力されるＣＬＰ回路１２と、ＣＬＰ回路１２から画像データが入力されるホワイトバランス回路１３と、ホワイトバランス回路１３から画像データが入力されるγ補正回路１４を備える。
【００１９】
欠陥補正回路１１は、Ａ／Ｄ変換回路７からの画像データに欠陥補正を施す。この欠陥補正回路１１は、欠陥を有するために画素データが生成されない画素の欠陥を補正して、ＣＬＰ回路１２に画像データを出力する。
【００２０】
ＣＬＰ回路１２には、欠陥補正回路１１からの画像データからオプティカルブラックを差し引く。このようにＣＬＰ回路１２では、入力した画像データの黒レベルを補正して、当該画像データをホワイトバランス回路１３に出力する。
【００２１】
ホワイトバランス回路１３には、ＣＬＰ回路１２からの画像データＲ，Ｇ，Ｂに対応した色毎のレベルを調整する。このようにホワイトバランス回路１３は、各色毎にレベルが調整された画像データをγ補正回路１４に出力する。
【００２２】
このγ補正回路１４には、ホワイトバランス回路１３からの画像データにγ補正を施す。そして、このγ補正回路１４は、γ補正を施した画像データを後述する画像データ補間部と相関値検出部とに出力する。
【００２３】
また、この信号処理部８は、図２に示すように、γ補正回路１４から画像データが入力される画像データ補間部１５と、各画素データ間の相関値を検出する相関値検出部１６と、相関値のノイズを除去するノイズ除去部１７と、相関値にオフセットをかけるオフセット回路１８と、相関値を正規化する正規化回路１９と、相関を検出する方向の偏りを補正する偏り補正回路２０と、相関の強調及び低減を行う強調・低減回路２１と、補間した画像データに相関値を用いて重み付けを行う加重加算回路２２と、画像データの輪郭を補正する輪郭補正回路２３と、画像データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換するＹ／Ｃ変換部２４と、色差信号による偽色信号を抑制する色差信号抑制部２５と、出力部２６とを備える。
【００２４】
画像データ補間部１５には、γ補正回路１４から複数の画素データからなる画像データが入力される。この画像データ補間部１５は、各画素毎に各画素データＲ，Ｇ，Ｂの補間を行って、各補間画素データＲ’，Ｇ’，Ｂ’を生成するものである。この画像データ補間部１５は、水平方向に配列した画素に対応した画素データの補間を行う水平方向補間回路１５ａと、垂直方向に配列した画素に対応した画素データの補間を行う垂直方向補間回路１５ｂとからなる。
【００２５】
水平方向補間回路１５ａには、図３に示すようなマトリクス状に配列された各画素に対応する画素データＲ，Ｇ，Ｂが入力される。この水平方向補間回路１５ａは、下記の式１に示すフィルタを用いて水平方向における補間画素データを算出する。なお、図３は、各画素毎に対応した画素データＲ，Ｇ，Ｂを示す図であり、各画素の配置として座標を数字で示した図である。また、この以下の説明においては、水平方向におけるライン毎に０ｈ，１ｈ，２ｈ，３ｈ，４ｈと配されているとして以下の説明を行う。
【００２６】
［１，４，６，４，１］／８ （式１）
すなわち、補間画素データＲ’，Ｇ’，Ｂ’の算出を行うときには、式１に示すフィルタを用いるために、水平方向補間回路１５ａを図４に示すように構成する。
【００２７】
水平方向補間回路１５ａは、水平方向における補間画素データＲ’，Ｇ’，Ｂ’を作成するとき、図４に示すように構成する。この水平方向補間回路１５ａは、γ補正回路１４から画素データが入力される入力部３０と、入力部３０から各画素データが入力される遅延回路３１と、遅延回路３１から水平方向における各画素データが入力され補間画素データを生成するフィルタ回路３２と、フィルタ回路３２を介して補間画素データが入力されるセレクタ回路３３と、セレクタ回路３３からの補間画素データを出力する出力端子３４とからなる。
【００２８】
入力部３０には、γ補正回路１４から水平方向における各画素データが順次入力される。この入力部３０には、１画素データ毎にクロックで順次入力される。
遅延回路３１は、入力部３０で入力した各画素データが入力される遅延回路３１ａ〜３１ｄからなる。この遅延回路３１は、入力された各画素データを上記のクロックと同期して各遅延回路３１ａ〜３１ｄに入力し、フィルタ回路３２に出力する。
【００２９】
フィルタ回路３２は、入力部３０及び遅延回路３１ｄを介して画素データが入力される加算器３２ａと、遅延回路３１ａ及び遅延回路３１ｃを介して画素データが入力される加算器３２ｂと、遅延回路３１ｂを介して画素データが入力される加算器３２ｃと、加算器３２ａ及び加算器３２ｃからの出力が入力される加算器３２ｄとからなる。
【００３０】
加算器３２ａは入力部３０から直接入力される画素データ及び遅延回路３１ｄを介して画素データが入力され、加算器３２ｃは遅延回路３１ｂを介して画素データが入力され、加算器３２ｄは加算器３２ａ及び加算器３２ｃを介して画素データが入力される。また、加算器３２ｂは遅延回路３１ａ及び遅延回路３１ｃを介して画素データが入力される。
【００３１】
すなわち、このフィルタ回路３２は、加算器３２ａ，３２ｃ，３２ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器３２ｂで［１，０，１］／２のフィルタを構成している。
【００３２】
セレクタ回路３３は、加算器３２ｄからの出力及び遅延回路３１ｂを介して画素データが入力されるセレクタ３３ａ、３３ｂと、セレクタ３３ａからの出力及び加算器３２ｂからの出力が入力されるセレクタ３３ｃと、加算器３２ｂ及びセレクタ３３ｂからの出力が入力されるセレクタ３３ｄとを有する。
【００３３】
また、各セレクタ３３ａ〜３３ｄは、制御部１０からの制御信号が入力されて、その動作が制御されている。
【００３４】
出力部３４は、セレクタ３３ｃからの出力を出力する端子３４ａとセレクタ３３ｄからの出力を後述するエッジ処理回路に出力する端子３４ｂとを有する。
【００３５】
このように構成された水平方向補間回路１５ａは、例えば画素データＧ22について、補間画素データＲ22’，Ｂ22’のみならず、補間画素データＧ22’をも算出する。
【００３６】
水平方向補間回路１５ａで、例えば図３中の画素データＧ22についての補間画素データＧ22’を算出するときには、入力部３０で２ｈにおける画素データＧ20，Ｒ21，Ｇ22，Ｒ23，Ｇ24を順次入力する。
【００３７】
次に、入力部３０で入力した画素データＧ20，Ｒ21，Ｇ22，Ｒ23，Ｇ24を遅延回路３１によりフィルタ回路３２に入力する。すなわち、画素データＧ20を加算器３２ａに入力し、画素データＲ21を加算器３２ｂに入力し、画素データＧ22を加算器３２ｃに入力し、画素データＲ23を加算器３２ｂに入力し、画素データＧ24を加算器３２ａに入力する。
【００３８】
次に、フィルタ回路３２で各画素データＧ20，Ｇ22，Ｇ24から、画素データＧ22についての補間画素データＧ22’の演算を行う。すなわち、加算器３２ａでは画素データＧ20と画素データＧ24とを加算処理して加算器３２ｄに出力する。また、加算器３２ｃでは、画素データＧ22を４倍とするとともに２倍としてこれらを加算処理して加算器３２ｄに出力する。そして、加算器３２ｄでは、加算器３２ａと加算器３２ｃとからの出力を入力して、これらを加算処理するとともに１／８の乗算処理を行ってセレクタ回路３３に出力する。また、加算器３２ｂでは、画素データＲ21と画素データＲ23を入力してこれらを加算処理するとともに１／２の乗算処理を行ってセレクタ回路３３に出力する。
【００３９】
このように加算器３２ａ，３２ｃ，３２ｄで加算処理を行うことにより、｛画素データＧ20＋６×画素データＧ22＋画素データＧ24｝／８という演算を行う。一方、加算器３２ｂで加算処理を行うことにより、｛画素データＲ21＋画素データＲ23｝／２という演算を行う。すなわち、このフィルタ回路３２では、加算器３２ｂで［１，０，１］／２というフィルタを構成し、加算器３２ａ，３２ｃ，３２ｄで［１，０，６，０，１］／８というフィルタを構成し、画素データＧ20，Ｇ22，Ｇ24を上述した式１に示すフィルタを通過させる。したがって、このフィルタ回路３２によれば、画素データＲ22，Ｇ22についての補間画素データＲ22’，Ｇ22’を作成する。
【００４０】
次に、セレクタ３３ａ及びセレクタ３３ｂでは、補間画素データＧ22’を入力するとともに、画素データＧ22を入力する。また、セレクタ３３ａ及びセレクタ３３ｂでは、制御部１０から制御信号Ｈ又は制御信号Ｌを入力する。ここで、セレクタ３３ａ及びセレクタ３３ｂでは、制御信号Ｈが入力されたときには、フィルタ回路３２からの補間画素データＧ22’をそのままセレクタ３３ｃ，３３ｄに出力し、制御信号Ｌが入力されたときには、画素データＧ22をセレクタ３３ｃ，３３ｄに出力する。
【００４１】
次に、この制御部１０では、画素データＧ22についての補間画素データＧ22’がフィルタ回路３２で生成されていることから、制御信号Ｌをセレクタ３３ｃ及びセレクタ３３ｄに出力する。このように、セレクタ３３ｃ，３３ｄに制御信号Ｌが入力されると、セレクタ３３ｃでは補間画素データＲ22’を出力し、セレクタ３３ｄでは画素データＧ22又は補間画素データＧ22’を出力する。
【００４２】
一方、制御部１０からセレクタ３３ｃ，セレクタ３３ｄに制御信号Ｈが入力された場合、セレクタ３３ｃはセレクタ３３ａから入力されたデータを出力し、セレクタ３３ｄは加算器３２ｂから入力されたデータを出力する。
【００４３】
すなわち、このセレクタ３３ｄは、例えば画素データＧ22についての補間画素データＧ22’を出力するときにはセレクタ３３ｂからの入力を出力し、図３中の画素データＧ23についての補間画素データＧ23’を出力するときには、加算器３２ｂからの入力を出力するように制御される。そして、セレクタ３３ｃは端子３４ａに画素データＲ又は画素データＢについての補間画素データＲ22’を出力し、セレクタ３３ｄは端子３４ｂに画素データＧについての補間画素データＧ22’を出力する。
【００４４】
このように画素データＧについての補間画素データＧ’を算出するときは、入力した画素データＲ，Ｇのうち、図５に示すような画素データＧのみからなるＣＣＤ３を想定して補間画素データＧ’を算出する。したがって、この水平方向補間回路１５ａでは、画素データＧが存在しない画素について補間画素データＧ’を算出するときには［１，０，１］／２というフィルタを使用して補間画素データＧ’を算出し、画素データＧが存在する画素について補間画素データＧ’を算出するときには［１，０，６，０，１］／８というフィルタを使用して補間画素データＧ’を算出することとなる。したがって、このようなフィルタを用いて補間画素データＧ’を算出する水平方向補間回路１５ａでは、これらのフィルタの周波数特性が図６及び図７に示すようになる。すなわち、この［１，０，６，０，１］／８というフィルタでは図６に示すような周波数特性を示し、［１，０，１］／２というフィルタでは図７に示すような周波数特性を示す。この図６及び図７に示したフィルタの周波数特性によれば、水平方向補間回路１５ａでは、これらのフィルタを用いることで画素データＧが存在する画素における補間画素データＧ’の周波数特性と画素データＧが存在しない補間画素データＧ’の周波数特性との差を小さくすることができる。
【００４５】
したがって、このように各画素データＧについての補間画素データＧ’を算出することにより、図８に示すような補間画像データＧ’を得ることができる。
【００４６】
また、上述した水平方向補間回路１５ａは、２ｈにおいて画素データＧ22についての補間画素データＲ22’を［１，０，１］／２のフィルタを用いて算出したが、上述と同様に１ｈにおいては、画素データＧ11についての補間画素データＢ11’を算出することもできる。
【００４７】
次に、２ｈにおける画素データＧ22についての補間画素データＢ22’を算出するときには、図９に示したフィルタを用いて行う。すなわち、以下の説明では、画素データＢが存在しないラインにおいて、補間画素データＢ’を算出する一例について説明する。
【００４８】
画素データＧ22の補間画像データＢ22’を算出するときには、図９に示すように構成した水平方向補間回路１５ａ’を用いて補間画素データＢ22’を算出する。なお、以下の水平方向補間回路１５ａ’の説明においては、図４に示した水平方向補間回路１５ａと同様の部分については同一の符号を付することでその詳細な説明を省略する。すなわち、この図９に示した水平方向補間回路１５ａ’では、入力部３０を例えば１ｈにおける画素データがＢ10，Ｇ11，Ｂ12，Ｇ13，Ｂ14の順に入力される端子３０ａと、３ｈにおける画素データがＢ30，Ｇ31，Ｂ32，Ｇ33，Ｂ34の順に入力される端子３０ｂとからなるものとしている。そして、この図９に示した水平方向補間回路１５ａ’は、端子３０ａ，３０ｂから画素データが入力される加算器３５を備えている。この加算器３５では、端子３０ａ及び端子３０ｂからの画素データが入力されて、加算処理を行うとともに除算処理を行う。すなわち、この加算器３５では、例えば｛画素データＢ10＋画素データＢ30｝／２という処理を行う。そして、この図９の水平方向補間回路１５ａ’では、図４に示した水平方向補間回路１５ａと同様に遅延回路３１ａ〜３１ｄ，加算器３２，セレクタ回路３３を介して補間画素データＧ’，Ｂ’を出力する。
【００４９】
すなわち、この水平方向補間回路１５ａ’では、先ず、垂直方向において隣接した１ｈ及び３ｈに配列した画素に対応した画素データＢの相加平均で垂直方向を補間することで、図１０に示すように配置された各画素の画素データＢを、図１１に示すように、垂直方向に補間して補間画素データＢ’を算出する。
【００５０】
次に、この垂直方向における画素データＢ及び補間して得た補間画素データＢ’を［１，０，６，０，１］／８のフィルタ、［１，０，１］／２のフィルタを介して画素データＢの水平方向における補間画素データＢ’を算出する。
【００５１】
すなわち、この水平方向補間回路１５ａ’では、水平方向に画素データＢが存在しないラインについての補間画素データＢ22’を以下のように作成する。まず、フィルタ回路３２で１ｈ及び３ｈにおける画素データＢに［１，０，６，０，１］／８からなるフィルタを加算器３２ａ，３２ｃ，３２ｄを通過させることで適用し、１ｈ及び３ｈにおける画素データＧに［１，０，１］／２からなるフィルタを加算器３２ｂを通過させることで適用する。水平方向補間回路１５ａ’は、さらに［１，０，６，０，１］／８からなるフィルタを通過して得た画素データＢの値から［１，０，１］／２からなるフィルタを通過して得た画素データＧの値を減算する減算処理回路と、この減算処理回路からの出力に図４に示した水平方向補間回路１５ａで得た補間画素データＧ22’を加算処理する加算処理回路とを有している。
【００５２】
すなわち、この水平方向補間回路１５ａ’では、［１，０，６，０，１］／８からなるフィルタを通過して得た画素データＢの値から［１，０，１］／２からなるフィルタを通過して得た画素データＧの値を減算処理して、さらに画素データＧ’を加算処理して補間画素データＢ’を加重加算回路２２に出力する。
【００５３】
このように、図９の水平方向補間回路１５ａ’は、２ｈのように、画素データＢが存在しない画素に対応した画素データＧ22においても、図１２に示すように、補間画素データＢ22’を算出することができる。すなわち、この図９の水平方向補間回路１５ａ’によれば、全（すべ）ての画素について補間画素データＢ’を算出することができる。
【００５４】
また、このような水平方向補間回路１５ａ’は、画素データＧ22について補間画素データＢ22’を算出するときには、下記式２及び上述の式１で算出した補間画素データを用いて算出してもよい。
【００５５】
Ｂ22’＝｛（Ｂ12’−Ｇ12’）＋（Ｂ32’−Ｇ32’）｝／２＋Ｇ22’（式２）この式２によれば、補間画素データＢ22’を算出するときには、図４の水平方向補間回路１５ａを用いて算出したＧ12’，Ｇ32’，Ｇ22’と、上述の式１で算出したＢ32’Ｂ12’とを用いて補間画素データＢ22’を算出することができる。
一方、垂直方向補間回路１５ｂは、図１３に示すように構成している。なお、以下に述べる垂直方向補間回路１５ｂの説明においては、上述の水平方向補間回路１５ａと同一部分については同一符号を付することによりその詳細な説明を省略する。
【００５６】
この垂直方向補間回路１５ｂは、図１３に示すように、垂直方向における各画素データＲ，Ｇ，Ｂが順次入力される入力部３０を備えている。この入力部３０は、１ｈにおける画素データが入力される端子３０ａと、３ｈにおける画素データが入力される端子３０ｂと、０ｈにおける画素データが入力される端子３０ｃと、４ｈにおける画素データが入力される端子３０ｄと、２ｈにおける画素データが入力される端子３０ｅとを有する。
【００５７】
また、この垂直方向補間回路１５ｂは、上述した水平方向補間回路１５ａと同様に、フィルタ回路３２と、セレクタ回路３３と、出力部３４とを有している。
この垂直方向補間回路１５ｂでは、各端子３０ａ〜３０ｅに画素データＢ10，Ｂ30，Ｇ00，Ｇ40，Ｇ20が入力されると、端子３０ａ及び端子３０ｂに入力された画素データを加算器３２ｂに出力し、端子３０ｃ及び端子３０ｄに入力された画素データを加算器３２ａに出力し、端子３０ｅに入力された画素データを加算器３２ｃに出力する。そして、垂直方向補間回路１５ｂでは、水平方向補間回路１５ａと同様に、これらの入力された画素データをフィルタ回路３２により上述の式１及び式２に適用して、画素データＲ，Ｇ，Ｂについての補間画素データＲ’，Ｇ’，Ｂ’を得る。
【００５８】
また、この画像データ補間部１５を構成する水平方向補間回路１５ａと垂直方向補間回路１５ｂは、エッジ処理回路１５ｃに接続している。このエッジ処理回路１５ｃは、図１４に示すように、上述のγ補正回路１４からディレイ調整がなされた画素データＧが入力される端子４０ａ〜４０ｃからなる入力部４０と、各端子４０ａ〜４０ｃから画素データＧが入力される遅延回路４１ａ〜４１ｄと、入力された画素データＧを比較する比較部４２と、比較部４２での比較結果について演算処理を施す演算部４３と、演算部４３での演算結果に応じて出力を制御する出力部４４と、出力部４４から画素データを出力する出力端子４５とから構成されている。また、このエッジ処理回路１５ｃは、γ補正回路１４から各画素データＧが入力される。ここで、以下に説明するエッジ処理部１５ｃは、例えば図１５における補間画素データＧ’の値を制御するときの一例について説明する。
【００５９】
入力部４０は、上述した水平方向補間回路１５ａ，垂直方向補間回路１５ｂで補間して得られた図１５における補間画素データＧ’の周囲の画素データＧ1 〜Ｇ4 が入力される。この入力部４０は、例えば２ｈにおける補間画素データについてエッジ処理を行うときには、当該補間画素データＧ’の上方に隣接した１ｈの画素データＧ1 が入力される端子４０ａと、当該補間画素データＧ’の水平方向における両隣の画素データＧ2，Ｇ3が入力される端子４０ｂと、当該補間画素データＧ’の下方に隣接した３ｈの画素データＧ4 が入力される端子４０ｃとを備える。また、各端子４０ａ〜４０ｃは、遅延回路４１ａ〜４１ｄと接続している。なお、画素データＧ1，Ｇ2，Ｇ3，Ｇ4は、ディレイがかけられて各端子４０ａ〜４０ｃに入力される。
【００６０】
遅延回路４１ａ〜４１ｄは、比較部４２及び出力部４４と接続し、入力部４０から出力された画素データＧ1〜Ｇ4を入力する。この遅延回路４１ａ〜４１ｄは、画素データＧ1〜Ｇ4を入力するクロックと同期したクロックで比較部４２及び出力部４４に各画素データＧ1〜Ｇ4を出力する。
【００６１】
比較部４２は、入力部４０で入力された４つの画素データのうち、２つの画素データが入力されるコンパレータ４２ａ〜４２ｆからなる。すなわち、この比較部４２は、画素データＧ1及び画素データＧ2が入力されるコンパレータ４２ａと、画素データＧ1及び画素データＧ3が入力されるコンパレータ４２ｂと、画素データＧ1及び画素データＧ4が入力されるコンパレータ４２ｃと、画素データＧ2 及び画素データＧ3 が入力されるコンパレータ４２ｄと、画素データＧ2 及び画素データＧ4 が入力されるコンパレータ４２ｅと、画素データＧ3 及び画素データＧ4 が入力されるコンパレータ４２ｆとからなる。
【００６２】
また、コンパレータ４２ａは端子Ａで画素データＧ1 、端子Ｂで画素データＧ2 が入力され、コンパレータ４２ｂは端子Ａで画素データＧ1 、端子Ｂで画素データＧ3 が入力され、コンパレータ４２ｃは端子Ａで画素データＧ1 、端子Ｂで画素データＧ4 が入力され、コンパレータ４２ｄは端子Ａで画素データＧ2 、端子Ｂで画素データＧ3 が入力され、コンパレータ４２ｅは端子Ａで画素データＧ2 、端子Ｂで画素データＧ4 が入力され、コンパレータ４２ｆは端子Ａで画素データＧ3 、端子Ｂで画素データＧ4 が入力される。
【００６３】
演算部４３は、比較部４２から比較結果を入力し、この比較結果に基づいて入力部４０で入力された画素データＧ1〜Ｇ4のうち、２位と３位の画像データを選択する。ここで、演算部４３は、複数のセレクタから構成されている。この演算部４３は、例えばコンパレータ４２ａ，コンパレータ４２ｂ，コンパレータ４２ｃからの比較結果が（Ｌ，Ｈ，Ｈ），（Ｈ，Ｌ，Ｈ），（Ｈ，Ｈ，Ｌ）のいずれかである場合、画素データＧ1 を２位として、演算結果を出力部４４に出力する。また、この演算部４３は、例えばコンパレータ４２ａ，コンパレータ４２ｄ，コンパレータ４２ｅからの比較結果が（Ｈ，Ｌ，Ｌ），（Ｈ，Ｌ，Ｈ），（Ｈ，Ｈ，Ｌ）のいずれかである場合、画素データＧ2 を３位として、演算結果を出力部４４に出力する。
【００６４】
出力部４４は、入力部４０及び演算部４３と接続されている。この出力部４４は、入力部４０から各画素データＧ1〜Ｇ4が入力されるとともに、演算部４３から演算結果が入力される。この出力部４４は、２位を示す演算結果に応じて画素データを出力するセレクタ４４ａと、３位を示す演算結果に応じて画素データＧ1〜Ｇ4を出力するセレクタ４４ｂとを有する。また、この出力部４４は、端子４０ａで入力された画素データＧ1 が入力される００端子と、端子４０ｂで入力された画素データＧ2 が入力される１０端子と、端子４０ｂで入力された画素データＧ3 が入力される０１端子と、端子４０ｃで入力された画素データＧ4 が入力される１１端子とを備えている。
【００６５】
出力部４５は、出力部４４及び水平方向補間回路１５ａ，垂直方向補間回路１５ｂと接続されている。この出力部４５は、出力部４４で出力した２位及び３位を示す画素データＧ1〜Ｇ4を水平方向補間回路１５ａ，垂直方向補間回路１５ｂに出力する。
【００６６】
このように構成されたエッジ処理回路１５ｃでエッジ処理を行うときには、図１５に示すように、入力部４０で例えば水平方向補間回路１５ａ，垂直方向補間回路１５ｂで補間して得られた補間画素データＧ’の周囲の画素データＧ1，Ｇ2，Ｇ3，Ｇ4を入力部４０で入力する。ここで、図１５中の各画素データ内の数字は、各画素データＧ1〜Ｇ4の大きさを表している。ここで、入力部４０では、画素データＧ1 を端子４０ａで入力し、画素データＧ2 を端子４０ｂで入力し、画素データＧ3 を端子４０ｂで入力し、画素データＧ4 を端子４０ｃで入力する。そして、これら画素データＧ1〜Ｇ4を各遅延回路４１ａ〜４１ｄを介して各コンパレータ４２ａ〜４２ｆに出力する。
【００６７】
次に、これら各コンパレータ４２ａ〜４２ｆでは、入力された画素データＧ1 〜Ｇ4 の大きさを比較して比較結果を演算部４３に出力する。このとき、各コンパレータ４２ａ〜４２ｆは、端子Ａに入力した画素データが端子Ｂに入力した画素データよりも大きいときは比較結果Ｈを演算部４３に出力し、端子Ａに入力した画素データが端子Ｂに入力した画素データよりも小さいときは比較結果Ｌを演算部４３に出力する。
【００６８】
次に、演算部４３では、各コンパレータ４２ａ〜４２ｆからの比較結果に応じて入力部４０で入力した画素データＧ1〜Ｇ4のうち、２位と３位の画素データＧ1〜Ｇ4を決定して、演算結果を出力部４４に出力する。ここで、セレクタ４４ａで２位を示す演算結果が入力され、セレクタ４４ｂで３位を示す演算結果が入力される。そして、各セレクタ４４ａ，４４ｂは、演算結果に基づいて画素データＧ1，Ｇ2，Ｇ3，Ｇ4のうち、２位及び３位に該当する画素データＧ1〜Ｇ4を選択して出力部４５に出力する。
【００６９】
次に、出力部４５では、これら２位及び３位に該当する画素データＧ1〜Ｇ4を水平方向補間回路１５ａ及び垂直方向補間回路１５ｂに出力する。
【００７０】
次に、水平方向補間回路１５ａ及び垂直方向補間回路１５ｂでは、この２位及び３位に該当する画素データＧ1〜Ｇ4から補間画素データＧ’の大きさが算出されることとなる。
【００７１】
したがって、このようなエッジ処理回路１５ｃによれば、例えば画素データＧ1 の大きさが１００，画素データＧ2の大きさが１００，画素データＧ3の大きさが１００，画素データＧ4 の大きさが０である場合には、２位及び３位の間を示す画素データは、共に１００となるので、補間画素データＧ’の大きさは１００に制限される。したがって、このエッジ処理回路１５ｃによれば、図１５に示した画素データについて垂直方向について補間したときの補間画素データＧ’は（１００＋０）＝５０として算出されるようなことがない。
【００７２】
相関値検出部１６は、上述のγ補正回路１４から画素データが入力される。この相関値検出部１６は、水平方向の相関値を検出する水平方向相関検出回路１６ａと、垂直方向の相関値を検出する垂直方向相関検出回路１６ｂとからなる。
【００７３】
水平方向相関検出回路１６ａは、画素データＧが存在する画素においては下記式３に示すフィルタを用い、画素データＧが存在しない画素においては下記式４に示すフィルタを用いて水平相関値Ｃh を算出する。
【００７４】
【数１】
すなわち、水平相関値Ｃh は、垂直方向において、画素データＧが存在する場合には式３を用いて［１，０，６，０，１］のＬＰＦ、画素データＧが存在しない場合には式４を用いて［１，０，１］のＬＰＦをかけて算出される。また、水平相関値Ｃh は、水平方向において、［−１，０，２，０，−１］のＢＰＦをかけて算出される。
【００７６】
この水平方向相関検出回路１６ａは、図１６に示すように、γ補正回路１４から画素データが端子５０ａ〜５０ｅから入力される入力部５０と、各画素データが入力されて水平相関値Ｃh を生成するフィルタ回路５２と、水平相関値Ｃh が入力されるセレクタ回路５３と、セレクタ回路５３からの水平相関値Ｃh を出力する出力部５４とからなる。
【００７７】
入力部５０は、γ補正回路１４から図３に示した垂直方向に配された各画素データを順次入力する。この入力部５０は、１ｈにおける画素データが入力される端子５０ａと、３ｈにおける画素データが入力される端子５０ｂと、０ｈにおける画素データが入力される端子５０ｃと、４ｈにおける画素データが入力される端子５０ｄと、２ｈにおける画素データが入力される端子５０ｅとを有する。
【００７８】
フィルタ回路５２は、端子５０ａ及び端子５０ｂから画素データが入力される加算器５２ａと、端子５０ｃ及び端子５０ｄから画素データが入力される加算器５２ｂと、端子５０ｅから画素データが入力される加算器５２ｃと、加算器５２ｂ及び加算器５２ｃからの出力が入力される加算器５２ｄとからなる。このフィルタ回路５２は、上述した水平方向補間回路１５ａ及び垂直方向補間回路１５ｂに示したフィルタ回路３３と同様に、加算器５２ｂ，加算器５２ｃ，加算器５２ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器５２ａで［１，０，１］／２のフィルタを構成している。
【００７９】
セレクタ回路５３は、加算器５２ｄからの出力及び端子５０ｅから画素データが入力されるセレクタ５３ａと、加算器５２ａからの出力及びセレクタ５３ａからの出力が入力されるセレクタ５３ｂとを有する。また、各セレクタ５３ａ，５３ｂは、制御部１０からの制御信号を入力して、その動作が制御されている。すなわち、セレクタ５３ａは、制御部１０から制御信号Ｈを入力したとき、加算器５２ｂ，５２ｃ，５２ｄを介して入力された画素データを出力し、制御部１０から制御信号Ｌを入力したとき、端子５０ｅから入力された画素データを出力する。また、セレクタ５３ｂは、制御部１０からの制御信号に応じて加算器５２ａを通過した水平相関値Ｃh を出力するか、セレクタ５３ａを通過した画素データを出力するかが制御される。
【００８０】
なお、この水平方向相関検出回路１６ａでは、相関値を算出する対象となる画素データについてはフィルタ回路５２を通過させずにセレクタ回路５３に入力させても良い。このように、フィルタ回路５２ｂ，５２ｅ，５２ｄを通過させずに画素データＧをそのまま相関値として用いることで画素データＧの帯域の低下を抑制することができるとともに、回路を簡略化することもできる。
【００８１】
このセレクタ５３ｂは、画素データＧが存在する画素では加算器５２ｂ，５２ｃ，５２ｄ或（ある）いは端子５０ｅからの出力を通過させるように制御され、画素データＧが存在しない画素では加算器５２ａからの出力を通過させるように制御される。
【００８２】
出力部５４は、セレクタ５３ｂから入力した水平相関値Ｃh を出力する。この出力部５４は、図示しない水平方向に［−１，０，２，０，−１］のＢＰＦを介してノイズ除去部１７と接続しており、水平相関値Ｃh を当該ノイズ除去部１７に出力する。
【００８３】
垂直方向相関検出回路１６ｂは、画素データＧが存在する画素においては下記式５に示すフィルタを用い、画素データＧが存在しない画素においては下記式６に示すフィルタを用いて垂直相関値Ｃvを算出する。
【００８４】
【数２】
すなわち、垂直相関値Ｃv は、式５及び式６を用いることにより、垂直方向において［−１，０，２，０，−１］のＢＰＦで算出される。また、垂直相関値Ｃv は、画素データＧが存在する場合、水平方向では式５を用いて［１，０，６，０，１］のＬＰＦ、画素データＧが存在しない場合には式６を用いて［１，０，１］のＬＰＦで算出される。
【００８６】
この垂直方向相関検出回路１６ｂは、図１７に示すように、図示を省略した垂直方向に［−１，０，２，０，−１］のＢＰＦを介して画素データが入力される入力部５５と、入力部５５から各画素データが入力される遅延回路５６ａ〜５６ｄと、遅延回路５６ａ〜５６ｄから各画素データが入力されて垂直相関値Ｃv を生成するフィルタ回路５７と、フィルタ回路５７を介して垂直相関値Ｃv が入力されるセレクタ回路５８と、セレクタ回路５８からの垂直相関値Ｃv を出力する出力部５９とからなる。
【００８７】
入力部５５は、γ補正回路１４から、図示を省略した垂直方向に［−１，０，２，０，−１］のＢＰＦを介して順次入力する。入力部５５は、上述した水平方向補間回路１５ａに備えられる遅延回路３１と同様の構成を有する遅延回路５６ａ〜５６ｄに各画素データを出力する。
【００８８】
フィルタ回路５７は、上述の水平方向相関検出回路１６ａに備えられるフィルタ回路５２と同様の構成を有しており、加算器５７ａ，５７ｂ，５７ｃ，５７ｄからなる。このフィルタ回路５２は、上述した水平方向相関検出回路１６ａに示したフィルタ回路５３と同様に、加算器５７ｂ，加算器５７ｃ，加算器５７ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器５７ａで［１，０，１］／２のフィルタを構成している。なお、この垂直方向相関検出回路１６ｂでは、上述の水平方向相関検出回路１６ａと同様に、相関値Ｃv を算出する対象となる画素データについてはフィルタ回路５７ｂ，５７ｃ，５７ｄを通過させずにセレクタ回路５８に入力させても良い。
【００８９】
セレクタ回路５８は、上述の水平方向相関検出回路１６ａに備えられるセレクタ回路５３と同様の構成を有しており、セレクタ５８ａ，５８ｂを有する。また、各セレクタ５８ａ，５８ｂは、制御部１０からの制御信号が入力されて、その動作が制御されている。
【００９０】
このセレクタ５８ｂは、画素データＧが存在する画素では加算器５７ｂ，５７ｃ，５７ｄ或（ある）いは遅延回路５６ｂからの出力を通過させるように制御され、画素データＧが存在しない画素では加算器５７ａからの出力を通過させるように制御される。
【００９１】
出力部５９は、セレクタ５８ｂから入力した垂直相関値Ｃv を出力する。この出力部５９は、ノイズ除去部１７と接続しており、垂直相関値Ｃv を当該ノイズ除去部１７に出力する。
【００９２】
このように構成された相関値検出部１６は、式３〜式６を用いた回路を構成することで、例えば画素データＧのみで相関値Ｃを算出するので、被写体の色の影響を受けるようなことなく水平相関値Ｃh 及び垂直相関値Ｃv を算出することができる。
【００９３】
ノイズ除去部１７は、図２に示すように、上述した水平方向相関検出回路１６ａと接続したノイズ除去回路１７ａと、垂直方向相関検出回路１６ｂと接続したノイズ除去回路１７ｂとからなる。これらノイズ除去回路１７ａとノイズ除去回路１７ｂとは、図１８に示すような同様の構成を有している。
【００９４】
ノイズ除去部１７ａ，１７ｂは、図１８に示すように、相関検出回路１６ａ，１６ｂから相関値Ｃが入力される絶対値化回路６０と、絶対値化された相関値Ｃが入力される減算回路６１と、減算された相関値Ｃが入力されるリミット回路６２とからなる。
【００９５】
絶対値化回路６０は、例えばＥｘ．ＯＲゲート６０ａと加算器６０ｂとからなる。この絶対値化回路６０は、入力した相関値Ｃに対して絶対値化を施し、正の値とする。そして、この絶対値化回路６０は、この絶対値化した相関値Ｃを減算回路６１に出力する。
【００９６】
減算回路６１は、例えば減算器６１ａからなる。この減算器６１ａは、絶対値化回路６０から相関値Ｃが入力される。また、この減算器６１ａは、制御部１０から入力した相関値Ｃから所定の値を減算する減算値を示す制御信号が入力される。そして、この減算器６１ａは、制御信号に応じて相関値Ｃから減算値を減算する。このように減算器６１ａは、減算処理を行うことで、図１９（ａ）中の点線で示すように、相関値Ｃの出力を図１９（ａ）中の実線で示すように減算する。そして、この減算回路６１は、減算した相関値Ｃをリミット回路６２に出力する。
【００９７】
リミット回路６２は、例えばインバータ６２ａとＡＮＤゲート６２ｂとからなる。このリミット回路６２は、減算回路６１で減算されて図１９（ｂ）に示すように出力が負の値となった相関値Ｃを０となるように処理を施す。そして、このリミット回路６２は、このような処理を施した相関値Ｃをオフセット回路１８に出力する。
【００９８】
このようなノイズ除去部１７は、入力した相関値Ｃから減算処理を行うことにより、微小な相関値Ｃを除去するので、微小な値におけるノイズを除去することができる。したがって、このノイズ除去部１７によれば、例えばＢＰＦを通過させて相関値Ｃを算出するために、ＣＣＤ３自体のノイズ等に対して算出された相関値Ｃを除去することができる。また、このノイズ除去部１７によれば、ＣＣＤ３で生成する画素データにノイズ成分が含まれている場合、当該ノイズに対しても相関値Ｃを算出しても、微小な相関値を減算処理する。したがって、ノイズ除去部１７によれば、ノイズの少ない相関値Ｃを用いて補間画素データに重み付けを行わせることができ、出力される画像に偽色信号が発生してしまい、画像が劣化することがない。
【００９９】
オフセット回路１８は、図２に示すように、ノイズ除去回路１７ａから水平相関値Ｃh が入力されるオフセット回路１８ａと、ノイズ除去回路１７ｂから垂直相関値Ｃv が入力されるオフセット回路１８ｂとからなる。これらオフセット回路１８ａとオフセット回路１８ｂとは、図２０に示すような同様の構成を有している。
【０１００】
オフセット回路１８ａ，１８ｂは、図２０に示すように、例えば加算器６５からなる。この加算器６５は、上述のノイズ除去回路１７ａ，１７ｂから相関値Ｃが入力される。また、この加算器６５は、制御部１０から所定の値のオフセット値を示す制御信号が入力される。
【０１０１】
そして、この加算器６５は、ノイズ除去部１７ａ，１７ｂから相関値Ｃが入力されると、制御信号が示すオフセット値を加算する。そして、この加算器６５は、入力した相関値Ｃとオフセット値とを加算処理して正規化回路１９に出力する。すなわち、このオフセット回路１８ａ，１８ｂは、例えばノイズ除去部１７ａ，１７ｂから図２１中の点線で示すような相関値Ｃにオフセット値を加算することで図２１中の実線で示すような相関値Ｃとする。
【０１０２】
このようにオフセット回路１８ａ，１８ｂでは、オフセット値を相関値Ｃに加算処理することにより、入力した相関値Ｃの振幅が０程度であっても、値の大きな相関値Ｃを持たせることができる。このようなオフセット回路１８ａ，１８ｂは、例えば図２２に示すように、上述した相関値検出部１６では相関値Ｃが得られない、例えば１画素毎に色が変化する画像データを構成する画素データである場合、高域の信号や、垂直相関値Ｃv 及び水平相関値Ｃh の振幅が微小な場合も、水平相関値Ｃhと垂直相関値Ｃvとが急激に切り替わることを防止することができる。すなわち、このようなオフセット回路１８ａ，１８ｂによれば、オフセット値を相関値Ｃに加算処理することで、相関値Ｃで重み付けられる補間画素データを相加平均で補間する方向に近づけることができる。したがって、このオフセット回路１８ａ，１８ｂによれば、入力された相関値Ｃの振幅が微小でである場合や隣接する画素で水平相関値Ｃh が１，垂直相関値Ｃv が０である場合でも、垂直相関値Ｃv が０，水平相関値Ｃh が１と切り替わるようなことがない。
【０１０３】
正規化回路１９は、図２に示すように、オフセット回路１８ａ及びオフセット回路１８ｂから水平相関値Ｃh 及び垂直相関値Ｃv が入力される加算器１９ａと、垂直相関値Ｃv 及び加算器１９ａからの出力が入力される除算器１９ｂとからなる。
【０１０４】
このような正規化回路１９は、加算器１９ａで垂直相関値Ｃv と水平相関値Ｃh とを加算処理して加算結果を除算器１９ｂに出力し、除算器１９ｂで垂直相関値Ｃv を加算結果で除算処理する。そして、この正規化回路１９は、下記式７に示す垂直相関値Ｃv を算出する。ここで、水平相関値Ｃh は、垂直相関値Ｃv の相対値として下記式８に示すように表せる。
【０１０５】
【数３】
偏り補正回路２０は、図２３に示すように、加算器２０ａからなる。この偏り補正回路２０は、正規化回路１９から上記式７で示す垂直相関値ＣV が入力される。加算器２０ａは、制御部１０から補正値αが入力される。この補正値αは、制御部１０により生成され、例えばＣＣＤ３等の設定に応じて−１〜１までの範囲内で調整される。
【０１０７】
そして、この偏り補正回路２０は、垂直相関値ＣV が入力されるとともに、制御部１０から入力した補正値αを入力し、垂直相関値ＣV と補正値αとを加算処理する。このように偏り補正回路２０は、加算処理を行うことで垂直相関値ＣV を下記式９に示すような値とする。
【０１０８】
【数４】
したがって、この偏り補正回路２０は、例えば図２４で示すように、図２４中の点線で示す垂直相関値Ｃv を入力したとき、補正値αを加算処理することで図２４中の実線で示すように変化させることができる。すなわち、この偏り補正回路２０によれば、垂直相関値Ｃv に補正値αを加算処理することで、垂直相関値Ｃv と水平相関値Ｃh とがＣＣＤ３からの信号の歪等によって同じレベルとはならない場合でも、制御部１０から入力する補正値αを制御することで垂直相関値Ｃv の値を制御して補正することができる。また、この偏り補正回路２０は、例えばＣＣＤの縦横比や、ＣＣＤから出力されるアナログ信号を検波するときに生ずる歪等により、垂直方向における相関と水平方向における相関との関係が等しく算出できなくても、制御部１０からの補正値αを制御することで水平相関値Ｃh と垂直相関値Ｃv とのバランスを制御することができる。
【０１１０】
強調・低減回路２１は、図２５に示すように、偏り補正回路２０から垂直相関値Ｃv が入力される減算器２１ａと、減算処理を施した垂直相関値Ｃv が入力される乗算器２１ｂと、乗算処理を施した垂直相関値Ｃv が入力される加算器２１ｃと、加算処理を施した垂直相関値Ｃv が入力される制限器２１ｄとからなる。
【０１１１】
減算器２１ａは、偏り補正回路２０から０〜１までの値を有する垂直相関値Ｃv を入力し、当該垂直相関値Ｃvに減算処理を行う。この減算器２１ａは、垂直相関値Ｃv から０．５だけ減算処理を行う。乗算器２１ｂは、制御部１０から入力する乗算値を示す制御信号に基づいて垂直相関値Ｃv に乗算処理する。加算器２１ｃは、垂直相関値Ｃv に０．５だけ加算処理を行う。制限器２１ｄは、入力した垂直相関値Ｃv を一定の範囲内で制限する。
【０１１２】
このような強調・低減回路２１は、偏り補正回路２０から垂直相関値Ｃv が入力されると、先ず、減算器２１ａで垂直相関値Ｃv から０．５だけ減算処理を行い、次に、減算処理を施した垂直相関値Ｃv に乗算処理を行う。このとき、制御部１０から入力する乗算値に応じて図２６中の実線で示すような特性の垂直相関値Ｃv の傾きを図２６中の点線又は一点鎖線で示すように変化させる。次に、乗算処理を施した垂直相関値Ｃv に、上述の減算器２１ａで減算した０．５を加算器２１ｃで加算する。次に、加算処理を施した垂直相関値Ｃv が０〜１までの範囲内の値を取るように、制限器２１ｄで規制する。
【０１１３】
このように強調・低減回路２１は、制御部１０からの乗算値を垂直相関値Ｃv に乗算処理を施すことにより、図２６に示すように垂直相関値Ｃv の入出力特性の傾きを変化させる。したがって、この強調・低減回路２１によれば、制御部１０からの乗算値を変化させることにより、垂直相関値Ｃv を変化させることができる。したがって、この強調・低減回路２１によれば、後述する補間画素データに重み付けを行うときに、補間画素データに重み付けを行う相関値の値を変化させて、補間画素データが相関を重視するか、補間画素データが相加平均に近づくように補間するかを制御することができる。また、この強調・低減回路２１によれば、例えばＣＣＤ３に入力される光量が小さいために、ＣＣＤ３からの出力にノイズが多くなり、相関値が正確に算出できなくても、乗算値を変化させることにより相関値を制御することができる。
【０１１４】
加重加算回路２２は、図２に示すように、垂直相関値Ｃv を入力して正規化した水平相関値Ｃh を生成する減算器２２ａと、正規化した水平相関値Ｃh が入力される乗算器２２ｂと、垂直相関値Ｃv が入力される乗算器２２ｃと、垂直方向及び水平方向の補間画素データが入力される加算器２２ｄとからなる。
【０１１５】
このような加重加算回路２２は、強調・低減回路２１から垂直相関値Ｃv を減算器２２ａ及び乗算器２２ｃに入力する。減算器２２ａでは、垂直相関値Ｃv を１から減算処理することで水平相関値Ｃh を生成する。そして、この減算器２２ａでは、水平相関値Ｃhを乗算器２２ｂに出力する。
【０１１６】
乗算器２２ｂは、垂直方向補間回路１５ｂから垂直方向における補間画素データと、減算器２２ａから水平相関値Ｃh とが入力される。乗算器２２ｂは、入力した垂直方向における補間画素データと水平相関値Ｃh とを乗算処理する。このように乗算器２２ｂは、垂直方向における補間画素データに水平相関値Ｃh を乗算することで重み付けを行う。
【０１１７】
乗算器２２ｃは、水平方向補間回路１５ａから水平方向における補間画素データが入力されるとともに垂直相関値Ｃv が入力される。乗算器２２ｃは、入力した水平方向における補間画素データと垂直相関値Ｃvとを乗算処理する。このように乗算器２２ｃは、水平方向における補間画素データに垂直相関値Ｃv を乗算することで重み付けを行う。
【０１１８】
加算器２２ｄでは、乗算器２２ｃで重み付けられた水平方向における補間画素データ及び乗算器２２ｂで重み付けられた垂直方向における補間画素データが入力される。加算器２２ｄは、入力した水平方向における補間画素データと垂直方向における補間画素データとを加算処理する。このように加算器２２ｄは、加算処理を行うことにより、垂直方向及び水平方向の相関値により重み付けられた補間画素データを得る。そして、加算器２２ｄは、当該補間画素データを輪郭補正回路２３に出力する。
【０１１９】
輪郭補正回路２３は、加重加算回路２２の加算器２２ｄと接続している。この輪郭補正回路２３は、加算器２２ｄから補間画素データが入力されるとともに制御部１０から輪郭強調信号が入力される。この輪郭強調信号は、ＣＣＤ３のレスポンス劣化の補償や、鮮明度を強調する信号である。そして、輪郭補正回路２３では、入力した輪郭強調信号と補間画素データとを加算処理して、Ｙ／Ｃ変換部２４に出力する。
【０１２０】
Ｙ／Ｃ変換部２４は、輪郭補正回路２３と接続しており、当該輪郭補正回路２３から補間画素データが入力される。このＹ／Ｃ変換部２４は、入力したＲ，Ｇ，Ｂからなる補間画素データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換する。そして、このＹ／Ｃ変換部２４は、補間画素データを変換して得たＹ／Ｃ信号を色差信号抑制部２５に出力する。
【０１２１】
色差信号抑制部２５は、Ｙ／Ｃ変換部２４と接続しており、当該Ｙ／Ｃ変換部２４からＹ／Ｃ信号が入力される。この色差信号抑制部２５は、図２７に示すように、１ラインが画素データＧ，Ｂからなる画素データの色差Ｂ−Ｇが入力されるＢＧデータ抑制回路２５ａと、１ラインが画素データＧ，Ｒからなる画素データの色差Ｒ−Ｇが入力されるＲＧデータ抑制回路２５ｂとからなる。
【０１２２】
ＢＧデータ抑制回路２５ａは、補間画素データＧ’，Ｂ’の色差Ｂ’−Ｇ’が入力される入力部７０ａ〜７０ｃと、入力部７０ａ〜７０ｃから色差Ｂ’−Ｇ’が入力される絶対値化器７１ａ〜７１ｃと、絶対値化器７１ａ〜７１ｃから絶対値化された色差Ｂ’−Ｇ’が入力されるコンパレータ７２ａ〜７２ｃと、コンパレータ７２ａ〜７２ｃからの比較結果が入力される演算器７３と、演算器７３からの演算結果が入力されるセレクタ７４と、セレクタ７４からの画素データが入力される出力部７５とからなる。
【０１２３】
入力部７０ａは垂直方向にける色差Ｂ’−Ｇ’を入力し、入力部７０ｂは水平方向における色差Ｂ’−Ｇ’を入力し、入力部７０ｃは相関値で重み付けがなされた色差Ｂ’−Ｇ’が入力される。入力部７０ａは入力した色差Ｂ’−Ｇ’を絶対値化器７１ａに出力し、入力部７０ｂは入力した色差Ｂ’−Ｇ’を絶対値化器７１ｂに出力し、入力部７０ｃは入力した色差Ｂ’−Ｇ’を絶対値化器７１ｃに出力する。
【０１２４】
絶対値化器７１ａ〜７１ｃは、例えばＥｘ．ＯＲゲート７６と加算器７７とからなる。この絶対値化器７１ａ〜７１ｃは、入力した色差Ｂ’−Ｇ’に対して絶対値化を施し、正の値とする。絶対値化器７１ａ〜７１ｃは、絶対値化を施した色差Ｂ’−Ｇ’をコンパレータ７２ａ〜７２ｃに出力する。
【０１２５】
コンパレータ７２ａは、絶対値化器７１ａを通過した色差Ｂ’−Ｇ’を端子Ｂで入力するとともに、絶対値化器７１ｃを通過した色差Ｂ’−Ｇ’を端子Ａで入力する。コンパレータ７２ｂは、絶対値化器７１ａを通過した色差Ｂ’−Ｇ’を端子Ａで入力するとともに、絶対値化器７１ｂを通過した色差Ｂ’−Ｇ’を端子Ｂで入力する。コンパレータ７２ｃは、絶対値化器７１ｂを通過した色差Ｂ’−Ｇ’を端子Ａで入力するとともに、絶対値化器７１ｃを通過した色差Ｂ’−Ｇ’を端子Ｂで入力する。これらコンパレータ７２ａ〜７２ｃは、端子Ａ及び端子Ｂで入力した色差Ｂ’−Ｇ’の大きさを比較して端子Ａで入力した色差Ｂ’−Ｇ’が大きいと判断した場合には比較結果Ｈを演算器７３に出力し、端子Ａで入力した色差Ｂ’−Ｇ’が小さいと判断した場合には比較結果Ｌを演算器７３に出力する。
【０１２６】
演算器７３は、コンパレータ７２ａ〜７２ｃから比較結果が入力されるとともに、制御部１０から制御信号が入力される。この演算器７３は、比較結果及び制御信号に基づいて演算結果を生成してセレクタ７４に出力する。
【０１２７】
この演算器７３は、制御信号Ｈを入力したときには演算結果１１を出力し、制御信号Ｌを入力したときには各コンパレータ７２ａ〜７２ｃからの比較結果に基づいて演算結果を生成する。この演算器７３は、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｈ，Ｌ，Ｘ）のときには演算結果００を出力し、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｘ，Ｈ，Ｌ）のときには演算結果０１を出力し、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｌ，Ｘ，Ｈ）のときには演算結果１０を生成してセレクタ７４に出力する。
【０１２８】
セレクタ７４は、演算器７３から演算結果が入力されるとともに、入力部７０ａ〜７０ｃから色差Ｂ’−Ｇ’が入力される。このセレクタ７４は、１１端子及び１０端子で入力部７０ｃで入力した色差Ｂ’−Ｇ’を入力し、０１端子で入力部７０ｂで入力した色差Ｂ’−Ｇ’を入力し、００端子で入力部７０ａで入力した色差Ｂ’−Ｇ’が入力される。また、このセレクタ７４は、演算結果１１が入力されると１１端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果１０が入力されると１０端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果０１が入力されると０１端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果００が入力されると００端子で入力した色差Ｂ’−Ｇ’を出力する。
【０１２９】
ＲＧデータ抑制回路２５ｂは、入力部７０ａ〜７０ｃにおいて色差Ｒ’−Ｇ’を入力し、この色差Ｒ’−Ｇ’を絶対値化器７１、コンパレータ７２、演算器７３、セレクタ７４を経ることで最小の色差Ｒ’−Ｇ’を選択して出力部７５で出力する。
【０１３０】
したがって、このような色差信号抑制部２５によれば、図２８（ａ）に示すように、例えば、垂直方向に配置した画素データＲ，Ｇについての補間画素データＲv，Ｇv、水平方向に配置した画素データＲ，Ｇについての補間画素データＲh，Ｇh、重み付けされた補間画素データＲc，Ｇc の色差のうち最小の補間画素データＲh，Ｇhを選択する。また、この色差信号抑制部２５は、図２８（ｂ）に示すように、比較した補間画素データのうち、最も０に近い補間画素データＲ’−Ｇ’を選択する。
【０１３１】
このような色差信号抑制部２５は、入力部７０ａ〜７０ｃで入力した補間画素データのうち、色差信号の絶対値が最小のものを選択して出力する。したがって、このような色差信号抑制部２５は、相関を求めることができない帯域で相関値で重み付けした補間画素データで画像データを生成したとき、色のエッジ等に偽色がつくことを防止することができる。したがって、この色差信号抑制部２５によれば、相関が見られない周波数帯域であっても、色の折り返し歪を防止することができる。
【０１３２】
出力部７５は、セレクタ７４で出力された補間画素データを出力部２６に出力する。出力部２６は、例えば画素データを記録する記録媒体や、表示装置、外部へ出力する端子等である。
【０１３３】
なお、以上の説明においては、原色コーディングのＣＣＤ３を用いたカメラ装置１で生成するカメラ信号を処理する一例について説明したが、本発明は、図２９（ａ）又は図２９（ｂ）に示すように、画像データに含まれている画素データが示す色のうち、最も多い色が市松状に配置されているコーディングの固体撮像素子であれば、補色のＣＣＤにも適用することができる。
【０１３４】
【発明の効果】
以上詳細に説明したように、本発明に係るカメラ信号処理装置及びカメラ信号処理方法は、少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成し、補間画素データの上記２以上の方向における相関の程度を示す各方向の相関値をそれぞれ検出し、各方向の相関値を正規化して各方向の相関値の相対値を示す正規化値を生成し、正規化値に所定値の補正値を加算処理するので、各方向の相関値がＣＣＤからの信号の歪等によって同じレベルとはならない場合でも、補正値を制御することで相関値を制御して各方向の相関値の関係を補正することができる。また、このカメラ信号処理装置及びカメラ信号処理方法によれば、例えばＣＣＤの縦横比や、ＣＣＤから出力されるアナログ信号を検波するときに生ずる歪等により、各方向における相関との関係が等しく算出できなくても、補正値を制御することで各方向の相関値のバランスを制御することができる。
【図面の簡単な説明】
【図１】カメラ装置の構成の一例を示すブロック図である。
【図２】信号処理回路の構成の一例を示すブロック図である。
【図３】各画素に対応した画素データＲ，Ｇ，Ｂの配置の一例を示す図である。
【図４】垂直方向補間回路の構成の一例を示す図である。
【図５】各画素に対応した画素データＧの配置の一例を示す図である。
【図６】［１，０，６，０，１］のＬＰＦの周波数特性を示す図である。
【図７】［１，０，１］のＬＰＦの周波数特性を示す図である。
【図８】補間処理を行った後に生成される補間画素データＧ’の一例を示す図である。
【図９】水平方向補間回路の構成の一例を示す図である。
【図１０】各画素に対応した画素データＢの配置の一例を示す図である。
【図１１】各画素に対応した画素データＢについて水力方向に相加平均を算出したときの補間画素データＢ’の配置の一例を示す図である。
【図１２】補間処理を行った後に生成される補間画素データＢ’の一例を示す図である。
【図１３】垂直方向補間回路の構成の一例を示す図である。
【図１４】エッジ処理回路の構成の一例を示す図である。
【図１５】エッジ処理回路でエッジ処理を施すときの一例を説明するための図である。
【図１６】水平方向相関検出回路の構成の一例を示す図である。
【図１７】垂直方向相関検出回路の構成の一例を示す図である。
【図１８】ノイズ除去回路の構成の一例を示す図である。
【図１９】ノイズ除去回路で入力した相関値に処理を施すときの一例を示す図であり、（ａ）が相関値に減算処理を施したときの一例を示し、（ｂ）が相関値を負の値でリミットしたときの一例を示す図である。
【図２０】オフセット回路の構成の一例を示す図である。
【図２１】オフセット回路で入力した相関値にオフセット値を加算処理したときの入出力特性の変化の一例を示す図である。
【図２２】隣接する画素データ毎に色が変化する画像データの一例を示す図である。
【図２３】偏り補正回路の構成の一例を示す図である。
【図２４】偏り補正回路で入力した相関値に補正値を加算処理したときの入出力特性の変化の一例を示す図である。
【図２５】強調・低減回路の構成の一例を示す図である。
【図２６】強調・低減回路で入力した相関値に乗算処理を施したときの入出力特性の変化を示す図である。
【図２７】色差信号抑制回路の構成の一例を示す図である。
【図２８】色差信号抑制部で垂直方向に配置した画素データＲ，Ｇについての補間画素データＲv，Ｇv、水平方向に配置した画素データＲ，Ｇについての補間画素データＲh，Ｇh、重み付けされた補間画素データＲc，Ｇcの色差のうち絶対値最小の補間画素データＲh，Ｇhを選択する一例を示す図である。
【図２９】画素データの配置の他の一例を示す図である。
【符号の説明】
１ カメラ装置、１５ 画像データ補間部、１５ａ 水平方向補間回路、１５ｂ 垂直方向補間回路、１６ 相関値検出部、１６ａ 水平方向相関検出回路、１６ｂ 垂直方向相関検出回路、１９ 正規化回路、２０ 偏り補正回路、２２加重加算回路
Claims (6)
- 各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び／又は周囲の画素データに基づいて少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成する補間画素データ生成手段と、
上記補間画素データ生成手段で生成した補間画素データの上記２以上の方向における相関の程度を示す相関値をそれぞれ検出する相関検出手段と、
上記相関検出手段で検出した各方向の相関値を正規化して各方向の相関値の相対値を示す正規化値を生成する正規化手段と、
上記正規化手段で生成した正規化値に所定値の補正値を加算処理する補正手段と、
上記補間画素データ生成手段で生成した各方向の補間画素データに上記補正手段で補正値が加算処理された正規化値で重み付けをして、重み付けられた各補間画素データを加算処理して補間画素データを生成する重み付け手段と、
上記重み付け手段で重み付けられた補間画素データに基づいて画像を生成する画像生成手段とを備えることを特徴とするカメラ信号処理装置。 - 上記補正手段を制御する制御手段を備え、
上記制御手段は、−１〜１の範囲内で補正値を生成し、上記補正手段で補正値と正規化値を加算処理させることを特徴とする請求項１に記載のカメラ信号処理装置。 - 上記補正手段により補正値が加算処理された後の正規化値の値を制限する制限手段を備え、
上記補正値が加算処理された後の正規化値が０〜１の範囲内となるように制限することを特徴とする請求項２に記載のカメラ信号処理装置。 - 各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び／又は周囲の画素データに基づいて少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成し、
上記補間画素データの上記２以上の方向における相関の程度を示す各方向の相関値をそれぞれ検出し、
上記各方向の相関値を正規化して各方向の相関値の相対値を示す正規化値を生成し、
上記正規化値に所定値の補正値を加算処理し、
上記各方向の補間画素データに補正値が加算処理された各方向の相関値で重み付けをして、重み付けられた各方向の補間画素データを加算処理して得た補間画素データを生成し、
上記重み付けられた補間画素データに基づいて画像を生成することを特徴とするカメラ信号処理方法。 - 正規化値と補正値とを加算処理するとき、−１〜１の範囲内で補正値を生成し、当該補正値と上記正規化値を加算処理することを特徴とする請求項４に記載のカメラ信号処理方法。
- 正規化値に補正値を加算処理した後、上記正規化値が０〜１の範囲内となるように制限することを特徴とする請求項４に記載のカメラ信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31516398A JP4269366B2 (ja) | 1997-11-28 | 1998-11-05 | カメラ信号処理装置及びカメラ信号処理方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-329317 | 1997-11-28 | ||
| JP32931797 | 1997-11-28 | ||
| JP31516398A JP4269366B2 (ja) | 1997-11-28 | 1998-11-05 | カメラ信号処理装置及びカメラ信号処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11220742A JPH11220742A (ja) | 1999-08-10 |
| JP4269366B2 true JP4269366B2 (ja) | 2009-05-27 |
Family
ID=26568203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31516398A Expired - Fee Related JP4269366B2 (ja) | 1997-11-28 | 1998-11-05 | カメラ信号処理装置及びカメラ信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4269366B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002064831A (ja) * | 2000-08-15 | 2002-02-28 | Sanyo Electric Co Ltd | 単板式カラーカメラの色分離回路 |
| JP4011861B2 (ja) | 2001-03-29 | 2007-11-21 | キヤノン株式会社 | 信号処理装置及び方法 |
| JP3926363B2 (ja) | 2004-11-04 | 2007-06-06 | 三菱電機株式会社 | 画素信号処理装置及び画素信号処理方法 |
-
1998
- 1998-11-05 JP JP31516398A patent/JP4269366B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11220742A (ja) | 1999-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6611287B1 (en) | Camera signal processing apparatus and camera signal processing method | |
| JP2008289090A (ja) | 撮像信号処理装置 | |
| US20060256217A1 (en) | Luminance signal processing device | |
| JP2008263507A (ja) | 映像処理装置及び映像処理プログラム | |
| WO2017154293A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| JP4320807B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4980132B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4040171B2 (ja) | 信号処理装置 | |
| JPH11313336A (ja) | 信号処理装置および撮像用信号処理方法 | |
| JP4269367B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4269366B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4269369B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP2007194971A (ja) | 画像処理装置および画像処理方法 | |
| JPH11220749A (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4269368B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4269370B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4273546B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4284960B2 (ja) | 画像信号処理装置 | |
| JP3841584B2 (ja) | 撮像装置 | |
| JP2009022044A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2005354585A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP4130885B2 (ja) | 固体撮像装置 | |
| JP4099010B2 (ja) | 信号処理回路 | |
| JP2000102024A (ja) | 画像信号処理装置 | |
| JP2003259206A (ja) | 信号処理装置および方法、記録媒体、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051019 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |