JP4269368B2 - Camera signal processing apparatus and camera signal processing method - Google Patents

Camera signal processing apparatus and camera signal processing method Download PDF

Info

Publication number
JP4269368B2
JP4269368B2 JP31516798A JP31516798A JP4269368B2 JP 4269368 B2 JP4269368 B2 JP 4269368B2 JP 31516798 A JP31516798 A JP 31516798A JP 31516798 A JP31516798 A JP 31516798A JP 4269368 B2 JP4269368 B2 JP 4269368B2
Authority
JP
Japan
Prior art keywords
pixel data
input
circuit
correlation value
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP31516798A
Other languages
Japanese (ja)
Other versions
JPH11220746A (en
Inventor
敏久 山本
健 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP31516798A priority Critical patent/JP4269368B2/en
Publication of JPH11220746A publication Critical patent/JPH11220746A/en
Application granted granted Critical
Publication of JP4269368B2 publication Critical patent/JP4269368B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、単板式のカメラ装置で生成するカメラ信号の処理を行うカメラ信号処理装置及びカメラ信号処理方法に関し、詳しくは固体撮像素子で生成した撮像信号から輝度信号又は色差信号を生成するときに各画素における補間値の相関を示す相関値を算出するカメラ信号処理装置及びカメラ信号処理方法に関する。
【０００２】
【従来の技術】
従来において、ＣＣＤ(Charge Coupled Device) イメージセンサ（以下、単にＣＣＤと称する。）等の固体撮像素子を用いた単板式のカメラ装置においては、ＣＣＤ上にＲ，Ｇ，Ｂに対応した光を透過させる色フィルタが配設されている。この色フィルタは、Ｒ（レッド）の光を透過させる領域と、Ｇ（グリーン）の光を透過させる領域と、Ｂ（ブルー）の光を透過させる領域とがマトリクス状に形成されており、例えば水平方向においてＧ，Ｒ，Ｇ・・又はＢ，Ｇ，Ｂ・・と配設されている。そして、ＣＣＤには、この色フィルタの各領域を透過した光が入力され、色フィルタのＲ，Ｇ，Ｂの光を透過させる領域に対応した画素から画素データＧ，画素データＲ，画素データＢをそれぞれ生成する。
【０００３】
そして、このカメラ装置においては、ＣＣＤに入力される光に基づいて輝度信号を作成するとともに、色信号を作成している。
【０００４】
このようなカメラ装置におけるＣＣＤは、１つの画素毎にＲ，Ｇ，Ｂを有する色フィルタが配されており、例えば水平方向にＲ，Ｇ，Ｒ，Ｇ，・・・という配列となされている。そして、このカメラ装置においては、各画素に対応して配された色フィルタに対応して色信号を作成している。したがって、このようなＣＣＤでは、Ｒの光を透過させる色フィルタが配されている画素においてはＧ及びＢに対応した画素データＧ，Ｂが生成されないこととなり、Ｇ及びＢに対応した画素データを補間して生成する必要がある。
【０００５】
従来のカメラ装置において、例えばＣＣＤで生成したカメラ信号の輝度信号を処理する際においては、全画素読出しの場合、ＣＣＤの垂直方向及び水平方向の２画素ずつの４つの画素から生成する輝度信号を相加平均して作成することが知られている。
【０００６】
また、単板式のカメラ装置においては、補間を行って画素データを生成するときに、垂直方向及び水平方向における相関を示す相関値を検出する。この相関値を検出するときには、周囲に配された画素の信号をフィルタを用いて計算することで垂直方向における相関値及び水平方向における相関値を算出する。そして、このカメラ装置においては、相関値を用いて、補間して得た補間画素データに重み付けを行う。
【０００７】
【発明が解決しようとする課題】
ところで、上述したような手法で相関値を検出すると、例えば垂直方向または水平方向において１画素毎に出力が変化する画像について相関値を得ることができない高域の信号や、相関値の振幅が微小な場合等においては、垂直方向と水平方向における相関値がともに微小であり、水平方向に相関が強いのか、垂直方向に相関が強いのかを判断できないときがある。このような場合には、垂直方向及び水平方向の相関が僅かな画素の変化に対して激しく切り替わることがある。
【０００８】
このように、水平方向及び垂直方向における相関が激しく切り替わると、この相関値で重み付けられた補間画像データが乱れる虞がある。例えば、１画素毎に出力が変化することで縦縞模様を示す画像データについての相関を検出した場合、高域の信号であるために、水平方向及び垂直方向における相関値を得ることができず、縦縞がドット単位で横縞になってしまう虞がある。
【０００９】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、相関が得られない等の理由により相関値が微小な場合であっても、相加平均に近づくように制御することができるカメラ信号処理装置及びカメラ信号処理方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述の課題を解決する本発明にかかるカメラ信号処理装置は、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び／又は周囲の画素データに基づいて少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成する補間画素データ生成手段と、補間画素データ生成手段で生成した補間画素データの２以上の方向における相関の程度を示す相関値をそれぞれ検出する相関検出手段と、相関検出手段で検出した各方向の相関値に所定値を加算処理するオフセット手段と、補間画素データ生成手段で生成した各方向の補間画素データにオフセット手段で加算処理された各方向の相関値で重み付けをして、重みづけられた各補間画素データを加算処理して補間画素データを生成する重み付け手段と、重み付け手段で重みづけられた補間画素データに基づいて画像を生成する画像生成手段とを備えることを特徴とするものである。
【００１１】
また、本発明にかかるカメラ信号処理方法は、各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び／又は周囲の画素データに基づいて少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成し、補間画素データの２以上の方向における相関の程度を示す相関値をそれぞれ検出し、各方向の相関値に所定値を加算処理し、各方向の補間画素データに所定値が加算処理された各方向の相関値で重み付けをして、重みづけられた各方向の補間画素データを加算処理して得た補間画素データを生成し、重みづけられた補間画素データに基づいて画像を生成することを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明に係るカメラ信号処理装置及びカメラ信号処理方法について図面を参照しながら説明する。
【００１３】
本発明に係るカメラ信号処理装置は、図１に示すように、入力された光に応じて例えば静止画像を生成するカメラ装置１に適用できる。
【００１４】
このカメラ装置１は、ＣＣＤ(Charge Coupled Device) イメージャ（以下ＣＣＤと称する。）に被写体を結像するする光学系２と、ＣＣＤ３と、このＣＣＤ３を駆動するタイミングジェネレータ４と、ＣＣＤ３から撮像信号が入力されるサンプル／ホールド回路５と、サンプル／ホールド回路５から撮像信号が入力されゲインを調整するＡＧＣ回路６と、入力された撮像信号をデジタル方式の画像データに変換するＡ／Ｄ変換回路７と、画像データにカメラ信号処理を行うカメラ処理部８と、ＣＣＤ３で生成する撮像信号を検波するＣＣＤ検波部９と、これら各部を制御する制御部１０とから構成されている。
【００１５】
ここで、ＣＣＤ３には、Ｒ（レッド）の光を透過する領域と、Ｇ（グリーン）の光を透過する領域と、Ｂ（ブルー）の光を透過する領域とがマトリクス状に形成された色フィルタが配設されており、各画素毎に当該色フィルタを透過した光が入力される。この色フィルタは、例えば、各色の光を透過する領域が水平方向にＲ，Ｇ，Ｒ，Ｇ・・・又はＧ，Ｂ，Ｇ，Ｂ・・・と配設されている。すなわち、ＣＣＤ３は、各画素毎で各色Ｒ，Ｇ，Ｂに対応した光に基づいて画素データＲ，画素データＧ，画素データＢを生成する。
【００１６】
このＣＣＤ検波部９では、Ａ／Ｄ変換回路７でデジタル方式に変換された画像データが入力される。そして、このＣＣＤ検波部９で検波された画像データは、例えばＡＥ(auto exposure)回路、ＡＦ(auto focus)回路に入力される。そして、例えばＡＥ回路に入力された画像データは、電子シャッタのシャッタスピード又は絞りを調整するために使用され、ＣＣＤ３に入射する光の明るさを自動で切り換える。
【００１７】
カメラ処理部８は、Ａ／Ｄ変換回路７から画像データが入力される欠陥補正回路１１と、欠陥補正回路１１から画像データが入力されるＣＬＰ回路１２と、ＣＬＰ回路１２から画像データが入力されるホワイトバランス回路１３と、ホワイトバランス回路１３から画像データが入力されるγ補正回路１４を備える。
【００１８】
欠陥補正回路１１は、Ａ／Ｄ変換回路７からの画像データに欠陥補正を施す。この欠陥補正回路１１は、欠陥を有するために画素データが生成されない画素の欠陥を補正して、ＣＬＰ回路１２に画像データを出力する。
【００１９】
ＣＬＰ回路１２には、欠陥補正回路１１からの画像データからオプティカルブラックを差し引く。このようにＣＬＰ回路１２では、入力した画像データの黒レベルを補正して、当該画像データをホワイトバランス回路１３に出力する。
【００２０】
ホワイトバランス回路１３には、ＣＬＰ回路１２からの画像データＲ，Ｇ，Ｂに対応した色毎のレベルを調整する。このようにホワイトバランス回路１３は、各色毎にレベルが調整された画像データをγ補正回路１４に出力する。
【００２１】
このγ補正回路１４には、ホワイトバランス回路１３からの画像データにγ補正を施す。そして、このγ補正回路１４は、γ補正を施した画像データを後述する画像データ補間部と相関値検出部とに出力する。
【００２２】
また、この信号処理部８は、図２に示すように、γ補正回路１４から画像データが入力される画像データ補間部１５と、各画素データ間の相関値を検出する相関値検出部１６と、相関値のノイズを除去するノイズ除去部１７と、相関値にオフセットをかけるオフセット回路１８と、相関値を正規化する正規化回路１９と、相関を検出する方向の偏りを補正する偏り補正回路２０と、相関の強調及び低減を行う強調・低減回路２１と、補間した画像データに相関値を用いて重み付けを行う加重加算回路２２と、画像データの輪郭を補正する輪郭補正回路２３と、画像データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換するＹ／Ｃ変換部２４と、色差信号による偽色信号を抑制する色差信号抑制部２５と、出力部２６とを備える。
【００２３】
画像データ補間部１５には、γ補正回路１４から複数の画素データからなる画像データが入力される。この画像データ補間部１５は、各画素毎に各画素データＲ，Ｇ，Ｂの補間を行って、各補間画素データＲ’，Ｇ’，Ｂ’を生成するものである。この画像データ補間部１５は、水平方向に配列した画素に対応した画素データの補間を行う水平方向補間回路１５ａと、垂直方向に配列した画素に対応した画素データの補間を行う垂直方向補間回路１５ｂとからなる。
【００２４】
水平方向補間回路１５ａには、図３に示すようなマトリクス状に配列された各画素に対応する画素データＲ，Ｇ，Ｂが入力される。この水平方向補間回路１５ａは、下記の式１に示すフィルタを用いて水平方向における補間画素データを算出する。なお、図３は、各画素毎に対応した画素データＲ，Ｇ，Ｂを示す図であり、各画素の配置として座標を数字で示した図である。また、この以下の説明においては、水平方向におけるライン毎に０ｈ，１ｈ，２ｈ，３ｈ，４ｈと配されているとして以下の説明を行う。
【００２５】
［１，４，６，４，１］／８ （式１）
すなわち、補間画素データＲ’，Ｇ’，Ｂ’の算出を行うときには、式１に示すフィルタを用いるために、水平方向補間回路１５ａを図４に示すように構成する。
【００２６】
水平方向補間回路１５ａは、水平方向における補間画素データＲ’，Ｇ’，Ｂ’を作成するとき、図４に示すように構成する。この水平方向補間回路１５ａは、γ補正回路１４から画素データが入力される入力部３０と、入力部３０から各画素データが入力される遅延回路３１と、遅延回路３１から水平方向における各画素データが入力され補間画素データを生成するフィルタ回路３２と、フィルタ回路３２を介して補間画素データが入力されるセレクタ回路３３と、セレクタ回路３３からの補間画素データを出力する出力端子３４とからなる。
【００２７】
入力部３０には、γ補正回路１４から水平方向における各画素データが順次入力される。この入力部３０には、１画素データ毎にクロックで順次入力される。遅延回路３１は、入力部３０で入力した各画素データが入力される遅延回路３１ａ〜３１ｄからなる。この遅延回路３１は、入力された各画素データを上記のクロックと同期して各遅延回路３１ａ〜３１ｄに入力し、フィルタ回路３２に出力する。
【００２８】
フィルタ回路３２は、入力部３０及び遅延回路３１ｄを介して画素データが入力される加算器３２ａと、遅延回路３１ａ及び遅延回路３１ｃを介して画素データが入力される加算器３２ｂと、遅延回路３１ｂを介して画素データが入力される加算器３２ｃと、加算器３２ａ及び加算器３２ｃからの出力が入力される加算器３２ｄとからなる。
【００２９】
加算器３２ａは入力部３０から直接入力される画素データ及び遅延回路３１ｄを介して画素データが入力され、加算器３２ｃは遅延回路３１ｂを介して画素データが入力され、加算器３２ｄは加算器３２ａ及び加算器３２ｃを介して画素データが入力される。また、加算器３２ｂは遅延回路３１ａ及び遅延回路３１ｃを介して画素データが入力される。
【００３０】
すなわち、このフィルタ回路３２は、加算器３２ａ，３２ｃ，３２ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器３２ｂで［１，０，１］／２のフィルタを構成している。
【００３１】
セレクタ回路３３は、加算器３２ｄからの出力及び遅延回路３１ｂを介して画素データが入力されるセレクタ３３ａ、３３ｂと、セレクタ３３ａからの出力及び加算器３２ｂからの出力が入力されるセレクタ３３ｃと、加算器３２ｂ及びセレクタ３３ｂからの出力が入力されるセレクタ３３ｄとを有する。
【００３２】
また、各セレクタ３３ａ〜３３ｄは、制御部１０からの制御信号が入力されて、その動作が制御されている。
【００３３】
出力部３４は、セレクタ３３ｃからの出力を出力する端子３４ａとセレクタ３３ｄからの出力を後述するエッジ処理回路に出力する端子３４ｂとを有する。
【００３４】
このように構成された水平方向補間回路１５ａは、例えば画素データＧ22について、補間画素データＲ22’，Ｂ22’のみならず、補間画素データＧ22’をも算出する。
【００３５】
水平方向補間回路１５ａで、例えば図３中の画素データＧ22についての補間画素データＧ22’を算出するときには、入力部３０で２ｈにおける画素データＧ20，Ｒ21，Ｇ22，Ｒ23，Ｇ24を順次入力する。
【００３６】
次に、入力部３０で入力した画素データＧ20，Ｒ21，Ｇ22，Ｒ23，Ｇ24を遅延回路３１によりフィルタ回路３２に入力する。すなわち、画素データＧ20を加算器３２ａに入力し、画素データＲ21を加算器３２ｂに入力し、画素データＧ22を加算器３２ｃに入力し、画素データＲ23を加算器３２ｂに入力し、画素データＧ24を加算器３２ａに入力する。
【００３７】
次に、フィルタ回路３２で各画素データＧ20，Ｇ22，Ｇ24から、画素データＧ22についての補間画素データＧ22’の演算を行う。すなわち、加算器３２ａでは画素データＧ20と画素データＧ24とを加算処理して加算器３２ｄに出力する。また、加算器３２ｃでは、画素データＧ22を４倍とするとともに２倍としてこれらを加算処理して加算器３２ｄに出力する。そして、加算器３２ｄでは、加算器３２ａと加算器３２ｃとからの出力を入力して、これらを加算処理するとともに１／８の乗算処理を行ってセレクタ回路３３に出力する。また、加算器３２ｂでは、画素データＲ21と画素データＲ23を入力してこれらを加算処理するとともに１／２の乗算処理を行ってセレクタ回路３３に出力する。
【００３８】
このように加算器３２ａ，３２ｃ，３２ｄで加算処理を行うことにより、｛画素データＧ20＋６×画素データＧ22＋画素データＧ24｝／８という演算を行う。一方、加算器３２ｂで加算処理を行うことにより、｛画素データＲ21＋画素データＲ23｝／２という演算を行う。すなわち、このフィルタ回路３２では、加算器３２ｂで［１，０，１］／２というフィルタを構成し、加算器３２ａ，３２ｃ，３２ｄで［１，０，６，０，１］／８というフィルタを構成し、画素データＧ20，Ｇ22，Ｇ24を上述した式１に示すフィルタを通過させる。したがって、このフィルタ回路３２によれば、画素データＲ22，Ｇ22についての補間画素データＲ22’，Ｇ22’を作成する。
【００３９】
次に、セレクタ３３ａ及びセレクタ３３ｂでは、補間画素データＧ22’を入力するとともに、画素データＧ22を入力する。また、セレクタ３３ａ及びセレクタ３３ｂでは、制御部１０から制御信号Ｈ又は制御信号Ｌを入力する。ここで、セレクタ３３ａ及びセレクタ３３ｂでは、制御信号Ｈが入力されたときには、フィルタ回路３２からの補間画素データＧ22’をそのままセレクタ３３ｃ，３３ｄに出力し、制御信号Ｌが入力されたときには、画素データＧ22をセレクタ３３ｃ，３３ｄに出力する。
【００４０】
次に、この制御部１０では、画素データＧ22についての補間画素データＧ22’がフィルタ回路３２で生成されていることから、制御信号Ｌをセレクタ３３ｃ及びセレクタ３３ｄに出力する。このように、セレクタ３３ｃ，３３ｄに制御信号Ｌが入力されると、セレクタ３３ｃでは補間画素データＲ22’を出力し、セレクタ３３ｄでは画素データＧ22又は補間画素データＧ22’を出力する。
【００４１】
一方、制御部１０からセレクタ３３ｃ，セレクタ３３ｄに制御信号Ｈが入力された場合、セレクタ３３ｃはセレクタ３３ａから入力されたデータを出力し、セレクタ３３ｄは加算器３２ｂから入力されたデータを出力する。
【００４２】
すなわち、このセレクタ３３ｄは、例えば画素データＧ22についての補間画素データＧ22’を出力するときにはセレクタ３３ｂからの入力を出力し、図３中の画素データＧ23についての補間画素データＧ23’を出力するときには、加算器３２ｂからの入力を出力するように制御される。そして、セレクタ３３ｃは端子３４ａに画素データＲ又は画素データＢについての補間画素データＲ22’を出力し、セレクタ３３ｄは端子３４ｂに画素データＧについての補間画素データＧ22’を出力する。
【００４３】
このように画素データＧについての補間画素データＧ’を算出するときは、入力した画素データＲ，Ｇのうち、図５に示すような画素データＧのみからなるＣＣＤ３を想定して補間画素データＧ’を算出する。したがって、この水平方向補間回路１５ａでは、画素データＧが存在しない画素について補間画素データＧ’を算出するときには［１，０，１］／２というフィルタを使用して補間画素データＧ’を算出し、画素データＧが存在する画素について補間画素データＧ’を算出するときには［１，０，６，０，１］／８というフィルタを使用して補間画素データＧ’を算出することとなる。したがって、このようなフィルタを用いて補間画素データＧ’を算出する水平方向補間回路１５ａでは、これらのフィルタの周波数特性が図６及び図７に示すようになる。すなわち、この［１，０，６，０，１］／８というフィルタでは図６に示すような周波数特性を示し、［１，０，１］／２というフィルタでは図７に示すような周波数特性を示す。この図６及び図７に示したフィルタの周波数特性によれば、水平方向補間回路１５ａでは、これらのフィルタを用いることで画素データＧが存在する画素における補間画素データＧ’の周波数特性と画素データＧが存在しない補間画素データＧ’の周波数特性との差を小さくすることができる。
【００４４】
したがって、このように各画素データＧについての補間画素データＧ’を算出することにより、図８に示すような補間画像データＧ’を得ることができる。
【００４５】
また、上述した水平方向補間回路１５ａは、２ｈにおいて画素データＧ22についての補間画素データＲ22’を［１，０，１］／２のフィルタを用いて算出したが、上述と同様に１ｈにおいては、画素データＧ11についての補間画素データＢ11’を算出することもできる。
【００４６】
次に、２ｈにおける画素データＧ22についての補間画素データＢ22’を算出するときには、図９に示したフィルタを用いて行う。すなわち、以下の説明では、画素データＢが存在しないラインにおいて、補間画素データＢ’を算出する一例について説明する。
【００４７】
画素データＧ22の補間画像データＢ22’を算出するときには、図９に示すように構成した水平方向補間回路１５ａ’を用いて補間画素データＢ22’を算出する。なお、以下の水平方向補間回路１５ａ’の説明においては、図４に示した水平方向補間回路１５ａと同様の部分については同一の符号を付することでその詳細な説明を省略する。すなわち、この図９に示した水平方向補間回路１５ａ’では、入力部３０を例えば１ｈにおける画素データがＢ10，Ｇ11，Ｂ12，Ｇ13，Ｂ14の順に入力される端子３０ａと、３ｈにおける画素データがＢ30，Ｇ31，Ｂ32，Ｇ33，Ｂ34の順に入力される端子３０ｂとからなるものとしている。そして、この図９に示した水平方向補間回路１５ａ’は、端子３０ａ，３０ｂから画素データが入力される加算器３５を備えている。この加算器３５では、端子３０ａ及び端子３０ｂからの画素データが入力されて、加算処理を行うとともに除算処理を行う。すなわち、この加算器３５では、例えば｛画素データＢ10＋画素データＢ30｝／２という処理を行う。そして、この図９の水平方向補間回路１５ａ’では、図４に示した水平方向補間回路１５ａと同様に遅延回路３１ａ〜３１ｄ，加算器３２，セレクタ回路３３を介して補間画素データＧ’，Ｂ’を出力する。
【００４８】
すなわち、この水平方向補間回路１５ａ’では、先ず、垂直方向において隣接した１ｈ及び３ｈに配列した画素に対応した画素データＢの相加平均で垂直方向を補間することで、図１０に示すように配置された各画素の画素データＢを、図１１に示すように、垂直方向に補間して補間画素データＢ’を算出する。
【００４９】
次に、この垂直方向における画素データＢ及び補間して得た補間画素データＢ’を［１，０，６，０，１］／８のフィルタ、［１，０，１］／２のフィルタを介して画素データＢの水平方向における補間画素データＢ’を算出する。
【００５０】
すなわち、この水平方向補間回路１５ａ’では、水平方向に画素データＢが存在しないラインについての補間画素データＢ22’を以下のように作成する。まず、フィルタ回路３２で１ｈ及び３ｈにおける画素データＢに［１，０，６，０，１］／８からなるフィルタを加算器３２ａ，３２ｃ，３２ｄを通過させることで適用し、１ｈ及び３ｈにおける画素データＧに［１，０，１］／２からなるフィルタを加算器３２ｂを通過させることで適用する。水平方向補間回路１５ａ’は、さらに［１，０，６，０，１］／８からなるフィルタを通過して得た画素データＢの値から［１，０，１］／２からなるフィルタを通過して得た画素データＧの値を減算する減算処理回路と、この減算処理回路からの出力に図４に示した水平方向補間回路１５ａで得た補間画素データＧ22’を加算処理する加算処理回路とを有している。
【００５１】
すなわち、この水平方向補間回路１５ａ’では、［１，０，６，０，１］／８からなるフィルタを通過して得た画素データＢの値から［１，０，１］／２からなるフィルタを通過して得た画素データＧの値を減算処理して、さらに画素データＧ’を加算処理して補間画素データＢ’を加重加算回路２２に出力する。
【００５２】
このように、図９の水平方向補間回路１５ａ’は、２ｈのように、画素データＢが存在しない画素に対応した画素データＧ22においても、図１２に示すように、補間画素データＢ22’を算出することができる。すなわち、この図９の水平方向補間回路１５ａ’によれば、全（すべ）ての画素について補間画素データＢ’を算出することができる。
【００５３】
また、このような水平方向補間回路１５ａ’は、画素データＧ22について補間画素データＢ22’を算出するときには、下記式２及び上述の式１で算出した補間画素データを用いて算出してもよい。
【００５４】
Ｂ22’＝｛（Ｂ12’−Ｇ12’）＋（Ｂ32’−Ｇ32’）｝／２＋Ｇ22’（式２）この式２によれば、補間画素データＢ22’を算出するときには、図４の水平方向補間回路１５ａを用いて算出したＧ12’，Ｇ32’，Ｇ22’と、上述の式１で算出したＢ32’Ｂ12’とを用いて補間画素データＢ22’を算出することができる。
一方、垂直方向補間回路１５ｂは、図１３に示すように構成している。なお、以下に述べる垂直方向補間回路１５ｂの説明においては、上述の水平方向補間回路１５ａと同一部分については同一符号を付することによりその詳細な説明を省略する。
【００５５】
この垂直方向補間回路１５ｂは、図１３に示すように、垂直方向における各画素データＲ，Ｇ，Ｂが順次入力される入力部３０を備えている。この入力部３０は、１ｈにおける画素データが入力される端子３０ａと、３ｈにおける画素データが入力される端子３０ｂと、０ｈにおける画素データが入力される端子３０ｃと、４ｈにおける画素データが入力される端子３０ｄと、２ｈにおける画素データが入力される端子３０ｅとを有する。
【００５６】
また、この垂直方向補間回路１５ｂは、上述した水平方向補間回路１５ａと同様に、フィルタ回路３２と、セレクタ回路３３と、出力部３４とを有している。
この垂直方向補間回路１５ｂでは、各端子３０ａ〜３０ｅに画素データＢ10，Ｂ30，Ｇ00，Ｇ40，Ｇ20が入力されると、端子３０ａ及び端子３０ｂに入力された画素データを加算器３２ｂに出力し、端子３０ｃ及び端子３０ｄに入力された画素データを加算器３２ａに出力し、端子３０ｅに入力された画素データを加算器３２ｃに出力する。そして、垂直方向補間回路１５ｂでは、水平方向補間回路１５ａと同様に、これらの入力された画素データをフィルタ回路３２により上述の式１及び式２に適用して、画素データＲ，Ｇ，Ｂについての補間画素データＲ’，Ｇ’，Ｂ’を得る。
【００５７】
また、この画像データ補間部１５を構成する水平方向補間回路１５ａと垂直方向補間回路１５ｂは、エッジ処理回路１５ｃに接続している。このエッジ処理回路１５ｃは、図１４に示すように、上述のγ補正回路１４からディレイ調整がなされた画素データＧが入力される端子４０ａ〜４０ｃからなる入力部４０と、各端子４０ａ〜４０ｃから画素データＧが入力される遅延回路４１ａ〜４１ｄと、入力された画素データＧを比較する比較部４２と、比較部４２での比較結果について演算処理を施す演算部４３と、演算部４３での演算結果に応じて出力を制御する出力部４４と、出力部４４から画素データを出力する出力端子４５とから構成されている。また、このエッジ処理回路１５ｃは、γ補正回路１４から各画素データＧが入力される。ここで、以下に説明するエッジ処理部１５ｃは、例えば図１５における補間画素データＧ’の値を制御するときの一例について説明する。
【００５８】
入力部４０は、上述した水平方向補間回路１５ａ，垂直方向補間回路１５ｂで補間して得られた図１５における補間画素データＧ’の周囲の画素データＧ1 〜Ｇ4 が入力される。この入力部４０は、例えば２ｈにおける補間画素データについてエッジ処理を行うときには、当該補間画素データＧ’の上方に隣接した１ｈの画素データＧ1 が入力される端子４０ａと、当該補間画素データＧ’の水平方向における両隣の画素データＧ2，Ｇ3が入力される端子４０ｂと、当該補間画素データＧ’の下方に隣接した３ｈの画素データＧ4 が入力される端子４０ｃとを備える。また、各端子４０ａ〜４０ｃは、遅延回路４１ａ〜４１ｄと接続している。なお、画素データＧ1，Ｇ2，Ｇ3，Ｇ4は、ディレイがかけられて各端子４０ａ〜４０ｃに入力される。
【００５９】
遅延回路４１ａ〜４１ｄは、比較部４２及び出力部４４と接続し、入力部４０から出力された画素データＧ1〜Ｇ4を入力する。この遅延回路４１ａ〜４１ｄは、画素データＧ1〜Ｇ4を入力するクロックと同期したクロックで比較部４２及び出力部４４に各画素データＧ1〜Ｇ4を出力する。
【００６０】
比較部４２は、入力部４０で入力された４つの画素データのうち、２つの画素データが入力されるコンパレータ４２ａ〜４２ｆからなる。すなわち、この比較部４２は、画素データＧ1及び画素データＧ2が入力されるコンパレータ４２ａと、画素データＧ1及び画素データＧ3が入力されるコンパレータ４２ｂと、画素データＧ1及び画素データＧ4が入力されるコンパレータ４２ｃと、画素データＧ2 及び画素データＧ3 が入力されるコンパレータ４２ｄと、画素データＧ2 及び画素データＧ4 が入力されるコンパレータ４２ｅと、画素データＧ3 及び画素データＧ4 が入力されるコンパレータ４２ｆとからなる。
【００６１】
また、コンパレータ４２ａは端子Ａで画素データＧ1 、端子Ｂで画素データＧ2 が入力され、コンパレータ４２ｂは端子Ａで画素データＧ1 、端子Ｂで画素データＧ3 が入力され、コンパレータ４２ｃは端子Ａで画素データＧ1 、端子Ｂで画素データＧ4 が入力され、コンパレータ４２ｄは端子Ａで画素データＧ2 、端子Ｂで画素データＧ3 が入力され、コンパレータ４２ｅは端子Ａで画素データＧ2 、端子Ｂで画素データＧ4 が入力され、コンパレータ４２ｆは端子Ａで画素データＧ3 、端子Ｂで画素データＧ4 が入力される。
【００６２】
演算部４３は、比較部４２から比較結果を入力し、この比較結果に基づいて入力部４０で入力された画素データＧ1〜Ｇ4のうち、２位と３位の画像データを選択する。ここで、演算部４３は、複数のセレクタから構成されている。この演算部４３は、例えばコンパレータ４２ａ，コンパレータ４２ｂ，コンパレータ４２ｃからの比較結果が（Ｌ，Ｈ，Ｈ），（Ｈ，Ｌ，Ｈ），（Ｈ，Ｈ，Ｌ）のいずれかである場合、画素データＧ1 を２位として、演算結果を出力部４４に出力する。また、この演算部４３は、例えばコンパレータ４２ａ，コンパレータ４２ｄ，コンパレータ４２ｅからの比較結果が（Ｈ，Ｌ，Ｌ），（Ｈ，Ｌ，Ｈ），（Ｈ，Ｈ，Ｌ）のいずれかである場合、画素データＧ2 を３位として、演算結果を出力部４４に出力する。
【００６３】
出力部４４は、入力部４０及び演算部４３と接続されている。この出力部４４は、入力部４０から各画素データＧ1〜Ｇ4が入力されるとともに、演算部４３から演算結果が入力される。この出力部４４は、２位を示す演算結果に応じて画素データを出力するセレクタ４４ａと、３位を示す演算結果に応じて画素データＧ1〜Ｇ4を出力するセレクタ４４ｂとを有する。また、この出力部４４は、端子４０ａで入力された画素データＧ1 が入力される００端子と、端子４０ｂで入力された画素データＧ2 が入力される１０端子と、端子４０ｂで入力された画素データＧ3 が入力される０１端子と、端子４０ｃで入力された画素データＧ4 が入力される１１端子とを備えている。
【００６４】
出力部４５は、出力部４４及び水平方向補間回路１５ａ，垂直方向補間回路１５ｂと接続されている。この出力部４５は、出力部４４で出力した２位及び３位を示す画素データＧ1〜Ｇ4を水平方向補間回路１５ａ，垂直方向補間回路１５ｂに出力する。
【００６５】
このように構成されたエッジ処理回路１５ｃでエッジ処理を行うときには、図１５に示すように、入力部４０で例えば水平方向補間回路１５ａ，垂直方向補間回路１５ｂで補間して得られた補間画素データＧ’の周囲の画素データＧ1，Ｇ2，Ｇ3，Ｇ4を入力部４０で入力する。ここで、図１５中の各画素データ内の数字は、各画素データＧ1〜Ｇ4の大きさを表している。ここで、入力部４０では、画素データＧ1 を端子４０ａで入力し、画素データＧ2 を端子４０ｂで入力し、画素データＧ3 を端子４０ｂで入力し、画素データＧ4 を端子４０ｃで入力する。そして、これら画素データＧ1〜Ｇ4を各遅延回路４１ａ〜４１ｄを介して各コンパレータ４２ａ〜４２ｆに出力する。
【００６６】
次に、これら各コンパレータ４２ａ〜４２ｆでは、入力された画素データＧ1 〜Ｇ4 の大きさを比較して比較結果を演算部４３に出力する。このとき、各コンパレータ４２ａ〜４２ｆは、端子Ａに入力した画素データが端子Ｂに入力した画素データよりも大きいときは比較結果Ｈを演算部４３に出力し、端子Ａに入力した画素データが端子Ｂに入力した画素データよりも小さいときは比較結果Ｌを演算部４３に出力する。
【００６７】
次に、演算部４３では、各コンパレータ４２ａ〜４２ｆからの比較結果に応じて入力部４０で入力した画素データＧ1〜Ｇ4のうち、２位と３位の画素データＧ1〜Ｇ4を決定して、演算結果を出力部４４に出力する。ここで、セレクタ４４ａで２位を示す演算結果が入力され、セレクタ４４ｂで３位を示す演算結果が入力される。そして、各セレクタ４４ａ，４４ｂは、演算結果に基づいて画素データＧ1，Ｇ2，Ｇ3，Ｇ4のうち、２位及び３位に該当する画素データＧ1〜Ｇ4を選択して出力部４５に出力する。
【００６８】
次に、出力部４５では、これら２位及び３位に該当する画素データＧ1〜Ｇ4を水平方向補間回路１５ａ及び垂直方向補間回路１５ｂに出力する。
【００６９】
次に、水平方向補間回路１５ａ及び垂直方向補間回路１５ｂでは、この２位及び３位に該当する画素データＧ1〜Ｇ4から補間画素データＧ’の大きさが算出されることとなる。
【００７０】
したがって、このようなエッジ処理回路１５ｃによれば、例えば画素データＧ1 の大きさが１００，画素データＧ2の大きさが１００，画素データＧ3の大きさが１００，画素データＧ4 の大きさが０である場合には、２位及び３位の間を示す画素データは、共に１００となるので、補間画素データＧ’の大きさは１００に制限される。したがって、このエッジ処理回路１５ｃによれば、図１５に示した画素データについて垂直方向について補間したときの補間画素データＧ’は（１００＋０）＝５０として算出されるようなことがない。
【００７１】
相関値検出部１６は、上述のγ補正回路１４から画素データが入力される。この相関値検出部１６は、水平方向の相関値を検出する水平方向相関検出回路１６ａと、垂直方向の相関値を検出する垂直方向相関検出回路１６ｂとからなる。
【００７２】
水平方向相関検出回路１６ａは、画素データＧが存在する画素においては下記式３に示すフィルタを用い、画素データＧが存在しない画素においては下記式４に示すフィルタを用いて水平相関値Ｃh を算出する。
【００７３】
【数１】

Figure 0004269368
【００７４】
すなわち、水平相関値Ｃh は、垂直方向において、画素データＧが存在する場合には式３を用いて［１，０，６，０，１］のＬＰＦ、画素データＧが存在しない場合には式４を用いて［１，０，１］のＬＰＦをかけて算出される。また、水平相関値Ｃh は、水平方向において、［−１，０，２，０，−１］のＢＰＦをかけて算出される。
【００７５】
この水平方向相関検出回路１６ａは、図１６に示すように、γ補正回路１４から画素データが端子５０ａ〜５０ｅから入力される入力部５０と、各画素データが入力されて水平相関値Ｃh を生成するフィルタ回路５２と、水平相関値Ｃh が入力されるセレクタ回路５３と、セレクタ回路５３からの水平相関値Ｃh を出力する出力部５４とからなる。
【００７６】
入力部５０は、γ補正回路１４から図３に示した垂直方向に配された各画素データを順次入力する。この入力部５０は、１ｈにおける画素データが入力される端子５０ａと、３ｈにおける画素データが入力される端子５０ｂと、０ｈにおける画素データが入力される端子５０ｃと、４ｈにおける画素データが入力される端子５０ｄと、２ｈにおける画素データが入力される端子５０ｅとを有する。
【００７７】
フィルタ回路５２は、端子５０ａ及び端子５０ｂから画素データが入力される加算器５２ａと、端子５０ｃ及び端子５０ｄから画素データが入力される加算器５２ｂと、端子５０ｅから画素データが入力される加算器５２ｃと、加算器５２ｂ及び加算器５２ｃからの出力が入力される加算器５２ｄとからなる。このフィルタ回路５２は、上述した水平方向補間回路１５ａ及び垂直方向補間回路１５ｂに示したフィルタ回路３３と同様に、加算器５２ｂ，加算器５２ｃ，加算器５２ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器５２ａで［１，０，１］／２のフィルタを構成している。
【００７８】
セレクタ回路５３は、加算器５２ｄからの出力及び端子５０ｅから画素データが入力されるセレクタ５３ａと、加算器５２ａからの出力及びセレクタ５３ａからの出力が入力されるセレクタ５３ｂとを有する。また、各セレクタ５３ａ，５３ｂは、制御部１０からの制御信号を入力して、その動作が制御されている。すなわち、セレクタ５３ａは、制御部１０から制御信号Ｈを入力したとき、加算器５２ｂ，５２ｃ，５２ｄを介して入力された画素データを出力し、制御部１０から制御信号Ｌを入力したとき、端子５０ｅから入力された画素データを出力する。また、セレクタ５３ｂは、制御部１０からの制御信号に応じて加算器５２ａを通過した水平相関値Ｃh を出力するか、セレクタ５３ａを通過した画素データを出力するかが制御される。
【００７９】
なお、この水平方向相関検出回路１６ａでは、相関値を算出する対象となる画素データについてはフィルタ回路５２を通過させずにセレクタ回路５３に入力させても良い。このように、フィルタ回路５２ｂ，５２ｅ，５２ｄを通過させずに画素データＧをそのまま相関値として用いることで画素データＧの帯域の低下を抑制することができるとともに、回路を簡略化することもできる。
【００８０】
このセレクタ５３ｂは、画素データＧが存在する画素では加算器５２ｂ，５２ｃ，５２ｄ或（ある）いは端子５０ｅからの出力を通過させるように制御され、画素データＧが存在しない画素では加算器５２ａからの出力を通過させるように制御される。
【００８１】
出力部５４は、セレクタ５３ｂから入力した水平相関値Ｃh を出力する。この出力部５４は、図示しない水平方向に［−１，０，２，０，−１］のＢＰＦを介してノイズ除去部１７と接続しており、水平相関値Ｃh を当該ノイズ除去部１７に出力する。
【００８２】
垂直方向相関検出回路１６ｂは、画素データＧが存在する画素においては下記式５に示すフィルタを用い、画素データＧが存在しない画素においては下記式６に示すフィルタを用いて垂直相関値Ｃvを算出する。
【００８３】
【数２】
Figure 0004269368
【００８４】
すなわち、垂直相関値Ｃv は、式５及び式６を用いることにより、垂直方向において［−１，０，２，０，−１］のＢＰＦで算出される。また、垂直相関値Ｃv は、画素データＧが存在する場合、水平方向では式５を用いて［１，０，６，０，１］のＬＰＦ、画素データＧが存在しない場合には式６を用いて［１，０，１］のＬＰＦで算出される。
【００８５】
この垂直方向相関検出回路１６ｂは、図１７に示すように、図示を省略した垂直方向に［−１，０，２，０，−１］のＢＰＦを介して画素データが入力される入力部５５と、入力部５５から各画素データが入力される遅延回路５６ａ〜５６ｄと、遅延回路５６ａ〜５６ｄから各画素データが入力されて垂直相関値Ｃv を生成するフィルタ回路５７と、フィルタ回路５７を介して垂直相関値Ｃv が入力されるセレクタ回路５８と、セレクタ回路５８からの垂直相関値Ｃv を出力する出力部５９とからなる。
【００８６】
入力部５５は、γ補正回路１４から、図示を省略した垂直方向に［−１，０，２，０，−１］のＢＰＦを介して順次入力する。入力部５５は、上述した水平方向補間回路１５ａに備えられる遅延回路３１と同様の構成を有する遅延回路５６ａ〜５６ｄに各画素データを出力する。
【００８７】
フィルタ回路５７は、上述の水平方向相関検出回路１６ａに備えられるフィルタ回路５２と同様の構成を有しており、加算器５７ａ，５７ｂ，５７ｃ，５７ｄからなる。このフィルタ回路５２は、上述した水平方向相関検出回路１６ａに示したフィルタ回路５３と同様に、加算器５７ｂ，加算器５７ｃ，加算器５７ｄで［１，０，６，０，１］／８のフィルタを構成し、加算器５７ａで［１，０，１］／２のフィルタを構成している。なお、この垂直方向相関検出回路１６ｂでは、上述の水平方向相関検出回路１６ａと同様に、相関値Ｃv を算出する対象となる画素データについてはフィルタ回路５７ｂ，５７ｃ，５７ｄを通過させずにセレクタ回路５８に入力させても良い。
【００８８】
セレクタ回路５８は、上述の水平方向相関検出回路１６ａに備えられるセレクタ回路５３と同様の構成を有しており、セレクタ５８ａ，５８ｂを有する。また、各セレクタ５８ａ，５８ｂは、制御部１０からの制御信号が入力されて、その動作が制御されている。
【００８９】
このセレクタ５８ｂは、画素データＧが存在する画素では加算器５７ｂ，５７ｃ，５７ｄ或（ある）いは遅延回路５６ｂからの出力を通過させるように制御され、画素データＧが存在しない画素では加算器５７ａからの出力を通過させるように制御される。
【００９０】
出力部５９は、セレクタ５８ｂから入力した垂直相関値Ｃv を出力する。この出力部５９は、ノイズ除去部１７と接続しており、垂直相関値Ｃv を当該ノイズ除去部１７に出力する。
【００９１】
このように構成された相関値検出部１６は、式３〜式６を用いた回路を構成することで、例えば画素データＧのみで相関値Ｃを算出するので、被写体の色の影響を受けるようなことなく水平相関値Ｃh 及び垂直相関値Ｃv を算出することができる。
【００９２】
ノイズ除去部１７は、図２に示すように、上述した水平方向相関検出回路１６ａと接続したノイズ除去回路１７ａと、垂直方向相関検出回路１６ｂと接続したノイズ除去回路１７ｂとからなる。これらノイズ除去回路１７ａとノイズ除去回路１７ｂとは、図１８に示すような同様の構成を有している。
【００９３】
ノイズ除去部１７ａ，１７ｂは、図１８に示すように、相関検出回路１６ａ，１６ｂから相関値Ｃが入力される絶対値化回路６０と、絶対値化された相関値Ｃが入力される減算回路６１と、減算された相関値Ｃが入力されるリミット回路６２とからなる。
【００９４】
絶対値化回路６０は、例えばＥｘ．ＯＲゲート６０ａと加算器６０ｂとからなる。この絶対値化回路６０は、入力した相関値Ｃに対して絶対値化を施し、正の値とする。そして、この絶対値化回路６０は、この絶対値化した相関値Ｃを減算回路６１に出力する。
【００９５】
減算回路６１は、例えば減算器６１ａからなる。この減算器６１ａは、絶対値化回路６０から相関値Ｃが入力される。また、この減算器６１ａは、制御部１０から入力した相関値Ｃから所定の値を減算する減算値を示す制御信号が入力される。そして、この減算器６１ａは、制御信号に応じて相関値Ｃから減算値を減算する。このように減算器６１ａは、減算処理を行うことで、図１９（ａ）中の点線で示すように、相関値Ｃの出力を図１９（ａ）中の実線で示すように減算する。そして、この減算回路６１は、減算した相関値Ｃをリミット回路６２に出力する。
【００９６】
リミット回路６２は、例えばインバータ６２ａとＡＮＤゲート６２ｂとからなる。このリミット回路６２は、減算回路６１で減算されて図１９（ｂ）に示すように出力が負の値となった相関値Ｃを０となるように処理を施す。そして、このリミット回路６２は、このような処理を施した相関値Ｃをオフセット回路１８に出力する。
【００９７】
このようなノイズ除去部１７は、入力した相関値Ｃから減算処理を行うことにより、微小な相関値Ｃを除去するので、微小な値におけるノイズを除去することができる。したがって、このノイズ除去部１７によれば、例えばＢＰＦを通過させて相関値Ｃを算出するために、ＣＣＤ３自体のノイズ等に対して算出された相関値Ｃを除去することができる。また、このノイズ除去部１７によれば、ＣＣＤ３で生成する画素データにノイズ成分が含まれている場合、当該ノイズに対しても相関値Ｃを算出しても、微小な相関値を減算処理する。したがって、ノイズ除去部１７によれば、ノイズの少ない相関値Ｃを用いて補間画素データに重み付けを行わせることができ、出力される画像に偽色信号が発生してしまい、画像が劣化することがない。
【００９８】
オフセット回路１８は、図２に示すように、ノイズ除去回路１７ａから水平相関値Ｃh が入力されるオフセット回路１８ａと、ノイズ除去回路１７ｂから垂直相関値Ｃv が入力されるオフセット回路１８ｂとからなる。これらオフセット回路１８ａとオフセット回路１８ｂとは、図２０に示すような同様の構成を有している。
【００９９】
オフセット回路１８ａ，１８ｂは、図２０に示すように、例えば加算器６５からなる。この加算器６５は、上述のノイズ除去回路１７ａ，１７ｂから相関値Ｃが入力される。また、この加算器６５は、制御部１０から所定の値のオフセット値を示す制御信号が入力される。
【０１００】
そして、この加算器６５は、ノイズ除去部１７ａ，１７ｂから相関値Ｃが入力されると、制御信号が示すオフセット値を加算する。そして、この加算器６５は、入力した相関値Ｃとオフセット値とを加算処理して正規化回路１９に出力する。すなわち、このオフセット回路１８ａ，１８ｂは、例えばノイズ除去部１７ａ，１７ｂから図２１中の点線で示すような相関値Ｃにオフセット値を加算することで図２１中の実線で示すような相関値Ｃとする。
【０１０１】
このようにオフセット回路１８ａ，１８ｂでは、オフセット値を相関値Ｃに加算処理することにより、入力した相関値Ｃの振幅が０程度であっても、値の大きな相関値Ｃを持たせることができる。このようなオフセット回路１８ａ，１８ｂは、例えば図２２に示すように、上述した相関値検出部１６では相関値Ｃが得られない、例えば１画素毎に色が変化する画像データを構成する画素データである場合、高域の信号や、垂直相関値Ｃv 及び水平相関値Ｃh の振幅が微小な場合も、水平相関値Ｃhと垂直相関値Ｃvとが急激に切り替わることを防止することができる。すなわち、このようなオフセット回路１８ａ，１８ｂによれば、オフセット値を相関値Ｃに加算処理することで、相関値Ｃで重み付けられる補間画素データを相加平均で補間する方向に近づけることができる。したがって、このオフセット回路１８ａ，１８ｂによれば、入力された相関値Ｃの振幅が微小でである場合や隣接する画素で水平相関値Ｃh が１，垂直相関値Ｃv が０である場合でも、垂直相関値Ｃv が０，水平相関値Ｃh が１と切り替わるようなことがない。
【０１０２】
正規化回路１９は、図２に示すように、オフセット回路１８ａ及びオフセット回路１８ｂから水平相関値Ｃh 及び垂直相関値Ｃv が入力される加算器１９ａと、垂直相関値Ｃv 及び加算器１９ａからの出力が入力される除算器１９ｂとからなる。
【０１０３】
このような正規化回路１９は、加算器１９ａで垂直相関値Ｃv と水平相関値Ｃh とを加算処理して加算結果を除算器１９ｂに出力し、除算器１９ｂで垂直相関値Ｃv を加算結果で除算処理する。そして、この正規化回路１９は、下記式７に示す垂直相関値Ｃv を算出する。ここで、水平相関値Ｃh は、垂直相関値Ｃv の相対値として下記式８に示すように表せる。
【０１０４】
【数３】
Figure 0004269368
【０１０５】
偏り補正回路２０は、図２３に示すように、加算器２０ａからなる。この偏り補正回路２０は、正規化回路１９から上記式７で示す垂直相関値ＣV が入力される。加算器２０ａは、制御部１０から補正値αが入力される。この補正値αは、制御部１０により生成され、例えばＣＣＤ３等の設定に応じて−１〜１までの範囲内で調整される。
【０１０６】
そして、この偏り補正回路２０は、垂直相関値ＣV が入力されるとともに、制御部１０から入力した補正値αを入力し、垂直相関値ＣV と補正値αとを加算処理する。このように偏り補正回路２０は、加算処理を行うことで垂直相関値ＣV を下記式９に示すような値とする。
【０１０７】
【数４】
Figure 0004269368
【０１０８】
したがって、この偏り補正回路２０は、例えば図２４で示すように、図２４中の点線で示す垂直相関値Ｃv を入力したとき、補正値αを加算処理することで図２４中の実線で示すように変化させることができる。すなわち、この偏り補正回路２０によれば、垂直相関値Ｃv に補正値αを加算処理することで、垂直相関値Ｃv と水平相関値Ｃh とがＣＣＤ３からの信号の歪等によって同じレベルとはならない場合でも、制御部１０から入力する補正値αを制御することで垂直相関値Ｃv の値を制御して補正することができる。また、この偏り補正回路２０は、例えばＣＣＤの縦横比や、ＣＣＤから出力されるアナログ信号を検波するときに生ずる歪等により、垂直方向における相関と水平方向における相関との関係が等しく算出できなくても、制御部１０からの補正値αを制御することで水平相関値Ｃh と垂直相関値Ｃv とのバランスを制御することができる。
【０１０９】
強調・低減回路２１は、図２５に示すように、偏り補正回路２０から垂直相関値Ｃv が入力される減算器２１ａと、減算処理を施した垂直相関値Ｃv が入力される乗算器２１ｂと、乗算処理を施した垂直相関値Ｃv が入力される加算器２１ｃと、加算処理を施した垂直相関値Ｃv が入力される制限器２１ｄとからなる。
【０１１０】
減算器２１ａは、偏り補正回路２０から０〜１までの値を有する垂直相関値Ｃv を入力し、当該垂直相関値Ｃvに減算処理を行う。この減算器２１ａは、垂直相関値Ｃv から０．５だけ減算処理を行う。乗算器２１ｂは、制御部１０から入力する乗算値を示す制御信号に基づいて垂直相関値Ｃv に乗算処理する。加算器２１ｃは、垂直相関値Ｃv に０．５だけ加算処理を行う。制限器２１ｄは、入力した垂直相関値Ｃv を一定の範囲内で制限する。
【０１１１】
このような強調・低減回路２１は、偏り補正回路２０から垂直相関値Ｃv が入力されると、先ず、減算器２１ａで垂直相関値Ｃv から０．５だけ減算処理を行い、次に、減算処理を施した垂直相関値Ｃv に乗算処理を行う。このとき、制御部１０から入力する乗算値に応じて図２６中の実線で示すような特性の垂直相関値Ｃv の傾きを図２６中の点線又は一点鎖線で示すように変化させる。次に、乗算処理を施した垂直相関値Ｃv に、上述の減算器２１ａで減算した０．５を加算器２１ｃで加算する。次に、加算処理を施した垂直相関値Ｃv が０〜１までの範囲内の値を取るように、制限器２１ｄで規制する。
【０１１２】
このように強調・低減回路２１は、制御部１０からの乗算値を垂直相関値Ｃv に乗算処理を施すことにより、図２６に示すように垂直相関値Ｃv の入出力特性の傾きを変化させる。したがって、この強調・低減回路２１によれば、制御部１０からの乗算値を変化させることにより、垂直相関値Ｃv を変化させることができる。したがって、この強調・低減回路２１によれば、後述する補間画素データに重み付けを行うときに、補間画素データに重み付けを行う相関値の値を変化させて、補間画素データが相関を重視するか、補間画素データが相加平均に近づくように補間するかを制御することができる。また、この強調・低減回路２１によれば、例えばＣＣＤ３に入力される光量が小さいために、ＣＣＤ３からの出力にノイズが多くなり、相関値が正確に算出できなくても、乗算値を変化させることにより相関値を制御することができる。
【０１１３】
加重加算回路２２は、図２に示すように、垂直相関値Ｃv を入力して正規化した水平相関値Ｃh を生成する減算器２２ａと、正規化した水平相関値Ｃh が入力される乗算器２２ｂと、垂直相関値Ｃv が入力される乗算器２２ｃと、垂直方向及び水平方向の補間画素データが入力される加算器２２ｄとからなる。
【０１１４】
このような加重加算回路２２は、強調・低減回路２１から垂直相関値Ｃv を減算器２２ａ及び乗算器２２ｃに入力する。減算器２２ａでは、垂直相関値Ｃv を１から減算処理することで水平相関値Ｃh を生成する。そして、この減算器２２ａでは、水平相関値Ｃhを乗算器２２ｂに出力する。
【０１１５】
乗算器２２ｂは、垂直方向補間回路１５ｂから垂直方向における補間画素データと、減算器２２ａから水平相関値Ｃh とが入力される。乗算器２２ｂは、入力した垂直方向における補間画素データと水平相関値Ｃh とを乗算処理する。このように乗算器２２ｂは、垂直方向における補間画素データに水平相関値Ｃh を乗算することで重み付けを行う。
【０１１６】
乗算器２２ｃは、水平方向補間回路１５ａから水平方向における補間画素データが入力されるとともに垂直相関値Ｃv が入力される。乗算器２２ｃは、入力した水平方向における補間画素データと垂直相関値Ｃvとを乗算処理する。このように乗算器２２ｃは、水平方向における補間画素データに垂直相関値Ｃv を乗算することで重み付けを行う。
【０１１７】
加算器２２ｄでは、乗算器２２ｃで重み付けられた水平方向における補間画素データ及び乗算器２２ｂで重み付けられた垂直方向における補間画素データが入力される。加算器２２ｄは、入力した水平方向における補間画素データと垂直方向における補間画素データとを加算処理する。このように加算器２２ｄは、加算処理を行うことにより、垂直方向及び水平方向の相関値により重み付けられた補間画素データを得る。そして、加算器２２ｄは、当該補間画素データを輪郭補正回路２３に出力する。
【０１１８】
輪郭補正回路２３は、加重加算回路２２の加算器２２ｄと接続している。この輪郭補正回路２３は、加算器２２ｄから補間画素データが入力されるとともに制御部１０から輪郭強調信号が入力される。この輪郭強調信号は、ＣＣＤ３のレスポンス劣化の補償や、鮮明度を強調する信号である。そして、輪郭補正回路２３では、入力した輪郭強調信号と補間画素データとを加算処理して、Ｙ／Ｃ変換部２４に出力する。
【０１１９】
Ｙ／Ｃ変換部２４は、輪郭補正回路２３と接続しており、当該輪郭補正回路２３から補間画素データが入力される。このＹ／Ｃ変換部２４は、入力したＲ，Ｇ，Ｂからなる補間画素データを輝度信号（Ｙ）と色差信号（Ｃ）とからなるＹ／Ｃ信号に変換する。そして、このＹ／Ｃ変換部２４は、補間画素データを変換して得たＹ／Ｃ信号を色差信号抑制部２５に出力する。
【０１２０】
色差信号抑制部２５は、Ｙ／Ｃ変換部２４と接続しており、当該Ｙ／Ｃ変換部２４からＹ／Ｃ信号が入力される。この色差信号抑制部２５は、図２７に示すように、１ラインが画素データＧ，Ｂからなる画素データの色差Ｂ−Ｇが入力されるＢＧデータ抑制回路２５ａと、１ラインが画素データＧ，Ｒからなる画素データの色差Ｒ−Ｇが入力されるＲＧデータ抑制回路２５ｂとからなる。
【０１２１】
ＢＧデータ抑制回路２５ａは、補間画素データＧ’，Ｂ’の色差Ｂ’−Ｇ’が入力される入力部７０ａ〜７０ｃと、入力部７０ａ〜７０ｃから色差Ｂ’−Ｇ’が入力される絶対値化器７１ａ〜７１ｃと、絶対値化器７１ａ〜７１ｃから絶対値化された色差Ｂ’−Ｇ’が入力されるコンパレータ７２ａ〜７２ｃと、コンパレータ７２ａ〜７２ｃからの比較結果が入力される演算器７３と、演算器７３からの演算結果が入力されるセレクタ７４と、セレクタ７４からの画素データが入力される出力部７５とからなる。
【０１２２】
入力部７０ａは垂直方向にける色差Ｂ’−Ｇ’を入力し、入力部７０ｂは水平方向における色差Ｂ’−Ｇ’を入力し、入力部７０ｃは相関値で重み付けがなされた色差Ｂ’−Ｇ’が入力される。入力部７０ａは入力した色差Ｂ’−Ｇ’を絶対値化器７１ａに出力し、入力部７０ｂは入力した色差Ｂ’−Ｇ’を絶対値化器７１ｂに出力し、入力部７０ｃは入力した色差Ｂ’−Ｇ’を絶対値化器７１ｃに出力する。
【０１２３】
絶対値化器７１ａ〜７１ｃは、例えばＥｘ．ＯＲゲート７６と加算器７７とからなる。この絶対値化器７１ａ〜７１ｃは、入力した色差Ｂ’−Ｇ’に対して絶対値化を施し、正の値とする。絶対値化器７１ａ〜７１ｃは、絶対値化を施した色差Ｂ’−Ｇ’をコンパレータ７２ａ〜７２ｃに出力する。
【０１２４】
コンパレータ７２ａは、絶対値化器７１ａを通過した色差Ｂ’−Ｇ’を端子Ｂで入力するとともに、絶対値化器７１ｃを通過した色差Ｂ’−Ｇ’を端子Ａで入力する。コンパレータ７２ｂは、絶対値化器７１ａを通過した色差Ｂ’−Ｇ’を端子Ａで入力するとともに、絶対値化器７１ｂを通過した色差Ｂ’−Ｇ’を端子Ｂで入力する。コンパレータ７２ｃは、絶対値化器７１ｂを通過した色差Ｂ’−Ｇ’を端子Ａで入力するとともに、絶対値化器７１ｃを通過した色差Ｂ’−Ｇ’を端子Ｂで入力する。これらコンパレータ７２ａ〜７２ｃは、端子Ａ及び端子Ｂで入力した色差Ｂ’−Ｇ’の大きさを比較して端子Ａで入力した色差Ｂ’−Ｇ’が大きいと判断した場合には比較結果Ｈを演算器７３に出力し、端子Ａで入力した色差Ｂ’−Ｇ’が小さいと判断した場合には比較結果Ｌを演算器７３に出力する。
【０１２５】
演算器７３は、コンパレータ７２ａ〜７２ｃから比較結果が入力されるとともに、制御部１０から制御信号が入力される。この演算器７３は、比較結果及び制御信号に基づいて演算結果を生成してセレクタ７４に出力する。
【０１２６】
この演算器７３は、制御信号Ｈを入力したときには演算結果１１を出力し、制御信号Ｌを入力したときには各コンパレータ７２ａ〜７２ｃからの比較結果に基づいて演算結果を生成する。この演算器７３は、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｈ，Ｌ，Ｘ）のときには演算結果００を出力し、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｘ，Ｈ，Ｌ）のときには演算結果０１を出力し、各コンパレータ７２ａ，７２ｂ，７２ｃの比較結果が（Ｌ，Ｘ，Ｈ）のときには演算結果１０を生成してセレクタ７４に出力する。
【０１２７】
セレクタ７４は、演算器７３から演算結果が入力されるとともに、入力部７０ａ〜７０ｃから色差Ｂ’−Ｇ’が入力される。このセレクタ７４は、１１端子及び１０端子で入力部７０ｃで入力した色差Ｂ’−Ｇ’を入力し、０１端子で入力部７０ｂで入力した色差Ｂ’−Ｇ’を入力し、００端子で入力部７０ａで入力した色差Ｂ’−Ｇ’が入力される。また、このセレクタ７４は、演算結果１１が入力されると１１端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果１０が入力されると１０端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果０１が入力されると０１端子で入力した色差Ｂ’−Ｇ’を出力し、演算結果００が入力されると００端子で入力した色差Ｂ’−Ｇ’を出力する。
【０１２８】
ＲＧデータ抑制回路２５ｂは、入力部７０ａ〜７０ｃにおいて色差Ｒ’−Ｇ’を入力し、この色差Ｒ’−Ｇ’を絶対値化器７１、コンパレータ７２、演算器７３、セレクタ７４を経ることで最小の色差Ｒ’−Ｇ’を選択して出力部７５で出力する。
【０１２９】
したがって、このような色差信号抑制部２５によれば、図２８（ａ）に示すように、例えば、垂直方向に配置した画素データＲ，Ｇについての補間画素データＲv，Ｇv、水平方向に配置した画素データＲ，Ｇについての補間画素データＲh，Ｇh、重み付けされた補間画素データＲc，Ｇc の色差のうち最小の補間画素データＲh，Ｇhを選択する。また、この色差信号抑制部２５は、図２８（ｂ）に示すように、比較した補間画素データのうち、最も０に近い補間画素データＲ’−Ｇ’を選択する。
【０１３０】
このような色差信号抑制部２５は、入力部７０ａ〜７０ｃで入力した補間画素データのうち、色差信号の絶対値が最小のものを選択して出力する。したがって、このような色差信号抑制部２５は、相関を求めることができない帯域で相関値で重み付けした補間画素データで画像データを生成したとき、色のエッジ等に偽色がつくことを防止することができる。したがって、この色差信号抑制部２５によれば、相関が見られない周波数帯域であっても、色の折り返し歪を防止することができる。
【０１３１】
出力部７５は、セレクタ７４で出力された補間画素データを出力部２６に出力する。出力部２６は、例えば画素データを記録する記録媒体や、表示装置、外部へ出力する端子等である。
【０１３２】
なお、以上の説明においては、原色コーディングのＣＣＤ３を用いたカメラ装置１で生成するカメラ信号を処理する一例について説明したが、本発明は、図２９（ａ）又は図２９（ｂ）に示すように、画像データに含まれている画素データが示す色のうち、最も多い色が市松状に配置されているコーディングの固体撮像素子であれば、補色のＣＣＤにも適用することができる。
【０１３３】
【発明の効果】
以上詳細に説明したように、本発明に係るカメラ信号処理装置及びカメラ信号処理方法は、少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成し、２以上の方向における相関の程度を示す相関値をそれぞれ検出し、各方向の相関値に所定値を加算処理するので、入力した相関値の振幅が０程度であっても、値の大きな相関値を持たせることができる。このようなカメラ信号処理装置及びカメラ信号処理方法は、相関値が得られない、例えば１画素毎に色が変化する画像データを構成する画素データである場合、広域の信号や、相関値の振幅が微小な場合も、相関値と相関値とが切り替わることを防止することができる。
【図面の簡単な説明】
【図１】カメラ装置の構成の一例を示すブロック図である。
【図２】信号処理回路の構成の一例を示すブロック図である。
【図３】各画素に対応した画素データＲ，Ｇ，Ｂの配置の一例を示す図である。
【図４】垂直方向補間回路の構成の一例を示す図である。
【図５】各画素に対応した画素データＧの配置の一例を示す図である。
【図６】［１，０，６，０，１］のＬＰＦの周波数特性を示す図である。
【図７】［１，０，１］のＬＰＦの周波数特性を示す図である。
【図８】補間処理を行った後に生成される補間画素データＧ’の一例を示す図である。
【図９】水平方向補間回路の構成の一例を示す図である。
【図１０】各画素に対応した画素データＢの配置の一例を示す図である。
【図１１】各画素に対応した画素データＢについて水力方向に相加平均を算出したときの補間画素データＢ’の配置の一例を示す図である。
【図１２】補間処理を行った後に生成される補間画素データＢ’の一例を示す図である。
【図１３】垂直方向補間回路の構成の一例を示す図である。
【図１４】エッジ処理回路の構成の一例を示す図である。
【図１５】エッジ処理回路でエッジ処理を施すときの一例を説明するための図である。
【図１６】水平方向相関検出回路の構成の一例を示す図である。
【図１７】垂直方向相関検出回路の構成の一例を示す図である。
【図１８】ノイズ除去回路の構成の一例を示す図である。
【図１９】ノイズ除去回路で入力した相関値に処理を施すときの一例を示す図であり、（ａ）が相関値に減算処理を施したときの一例を示し、（ｂ）が相関値を負の値でリミットしたときの一例を示す図である。
【図２０】オフセット回路の構成の一例を示す図である。
【図２１】オフセット回路で入力した相関値にオフセット値を加算処理したときの入出力特性の変化の一例を示す図である。
【図２２】隣接する画素データ毎に色が変化する画像データの一例を示す図である。
【図２３】偏り補正回路の構成の一例を示す図である。
【図２４】偏り補正回路で入力した相関値に補正値を加算処理したときの入出力特性の変化の一例を示す図である。
【図２５】強調・低減回路の構成の一例を示す図である。
【図２６】強調・低減回路で入力した相関値に乗算処理を施したときの入出力特性の変化を示す図である。
【図２７】色差信号抑制回路の構成の一例を示す図である。
【図２８】色差信号抑制部で垂直方向に配置した画素データＲ，Ｇについての補間画素データＲv，Ｇv、水平方向に配置した画素データＲ，Ｇについての補間画素データＲh，Ｇh、重み付けされた補間画素データＲc，Ｇcの色差のうち絶対値最小の補間画素データＲh，Ｇhを選択する一例を示す図である。
【図２９】画素データの配置の他の一例を示す図である。
【符号の説明】
１ カメラ装置、１５ 画像データ補間部、１５ａ 水平方向補間回路、１５ｂ 垂直方向補間回路、１６ 相関値検出部、１６ａ 水平方向相関検出回路、１６ｂ 垂直方向相関検出回路、１８ オフセット回路、２２ 加重加算回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera signal processing device and a camera signal processing method for processing a camera signal generated by a single-plate camera device, and more specifically, when a luminance signal or a color difference signal is generated from an imaging signal generated by a solid-state imaging device. The present invention relates to a camera signal processing apparatus and a camera signal processing method for calculating a correlation value indicating a correlation between interpolation values in each pixel.
[0002]
[Prior art]
Conventionally, in a single-plate type camera device using a solid-state imaging device such as a CCD (Charge Coupled Device) image sensor (hereinafter simply referred to as a CCD), light corresponding to R, G, and B is transmitted through the CCD. A color filter is provided. In this color filter, a region that transmits R (red) light, a region that transmits G (green) light, and a region that transmits B (blue) light are formed in a matrix. In the horizontal direction, G, R, G... Or B, G, B. Then, the light that has passed through each area of the color filter is input to the CCD, and pixel data G, pixel data R, and pixel data B are output from the pixels corresponding to the areas that transmit the R, G, and B light of the color filter. Are generated respectively.
[0003]
In this camera device, a luminance signal is generated based on light input to the CCD, and a color signal is generated.
[0004]
A CCD in such a camera device is provided with a color filter having R, G, and B for each pixel, and has an array of R, G, R, G,... In the horizontal direction, for example. . In this camera device, a color signal is generated corresponding to the color filter arranged corresponding to each pixel. Therefore, in such a CCD, pixel data G and B corresponding to G and B are not generated in a pixel provided with a color filter that transmits R light, and pixel data corresponding to G and B is not generated. It is necessary to generate by interpolation.
[0005]
In a conventional camera device, for example, when processing a luminance signal of a camera signal generated by a CCD, in the case of all pixel readout, a luminance signal generated from four pixels of two pixels in the vertical and horizontal directions of the CCD is used. It is known to create an arithmetic average.
[0006]
In the single-plate camera device, when interpolation is performed to generate pixel data, a correlation value indicating a correlation in the vertical direction and the horizontal direction is detected. When this correlation value is detected, the correlation value in the vertical direction and the correlation value in the horizontal direction are calculated by calculating the signals of the pixels arranged in the vicinity using a filter. In this camera apparatus, the interpolated pixel data obtained by interpolation is weighted using the correlation value.
[0007]
[Problems to be solved by the invention]
By the way, when the correlation value is detected by the above-described method, for example, a high-frequency signal in which the correlation value cannot be obtained for an image whose output changes for each pixel in the vertical direction or the horizontal direction, or the amplitude of the correlation value is very small. In such cases, the correlation values in the vertical and horizontal directions are both very small, and it may not be possible to determine whether the correlation is strong in the horizontal direction or strong in the vertical direction. In such a case, the correlation between the vertical direction and the horizontal direction may be switched violently with respect to a slight pixel change.
[0008]
As described above, when the correlation in the horizontal direction and the vertical direction is switched drastically, the interpolation image data weighted by the correlation value may be disturbed. For example, when the correlation is detected for the image data indicating the vertical stripe pattern by changing the output for each pixel, the correlation value in the horizontal direction and the vertical direction cannot be obtained because it is a high-frequency signal, There is a risk that the vertical stripes become horizontal stripes in dot units.
[0009]
Therefore, the present invention has been proposed in view of the above-described circumstances, and even if the correlation value is very small due to reasons such as no correlation being obtained, control is performed so as to approach the arithmetic mean. It is an object of the present invention to provide a camera signal processing apparatus and a camera signal processing method that can be used.
[0010]
[Means for Solving the Problems]
The camera signal processing apparatus according to the present invention that solves the above-described problems is generated based on an imaging signal from a solid-state imaging device that receives imaging light through a color filter having a different spectral sensitivity corresponding to each pixel. Interpolation pixel data generating means for generating interpolation pixel data in each direction by interpolating from at least two directions based on the pixel data at the position and / or surrounding pixel data, and interpolation generated by the interpolation pixel data generation means Correlation detection means for detecting correlation values indicating the degree of correlation in two or more directions of pixel data, offset means for adding a predetermined value to the correlation values detected by the correlation detection means, and interpolation pixel data generation Each interpolated pixel data generated by the means is weighted with the correlation value of each direction added by the offset means, and each weighted interpolated image is displayed. And weighting means for data addition processing to generate an interpolated pixel data and is characterized in that it comprises an image generating device which generates an image based on the interpolated pixel data weighted in weighting means.
[0011]
Further, the camera signal processing method according to the present invention includes pixel data generated based on an imaging signal from a solid-state imaging device on which imaging light is incident through a color filter having a different spectral sensitivity corresponding to each pixel. Interpolated from at least two directions based on position and / or surrounding pixel data to generate interpolated pixel data in each direction, and detect correlation values indicating the degree of correlation in the two or more directions of the interpolated pixel data. Then, a predetermined value is added to the correlation value in each direction, and the interpolated pixel data in each direction is weighted by the correlation value in each direction obtained by adding the predetermined value to the interpolated pixel data in each direction. Interpolation pixel data obtained by performing the addition processing is generated, and an image is generated based on the weighted interpolation pixel data.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a camera signal processing apparatus and a camera signal processing method according to the present invention will be described with reference to the drawings.
[0013]
As shown in FIG. 1, the camera signal processing apparatus according to the present invention can be applied to a camera apparatus 1 that generates, for example, a still image according to input light.
[0014]
The camera apparatus 1 includes an optical system 2 that forms an object on a CCD (Charge Coupled Device) imager (hereinafter referred to as a CCD), a CCD 3, a timing generator 4 that drives the CCD 3, and an imaging signal from the CCD 3. An input sample / hold circuit 5, an AGC circuit 6 that adjusts gain when an imaging signal is input from the sample / hold circuit 5, and an A / D conversion circuit 7 that converts the input imaging signal into digital image data And a camera processing unit 8 that performs camera signal processing on image data, a CCD detection unit 9 that detects an imaging signal generated by the CCD 3, and a control unit 10 that controls these units.
[0015]
Here, the CCD 3 is a color in which a region that transmits R (red) light, a region that transmits G (green) light, and a region that transmits B (blue) light are formed in a matrix. A filter is provided, and light transmitted through the color filter is input for each pixel. In this color filter, for example, regions that transmit light of each color are arranged in the horizontal direction as R, G, R, G... Or G, B, G, B. That is, the CCD 3 generates pixel data R, pixel data G, and pixel data B based on light corresponding to each color R, G, and B for each pixel.
[0016]
In the CCD detection unit 9, image data converted into a digital format by the A / D conversion circuit 7 is input. The image data detected by the CCD detection unit 9 is input to, for example, an AE (auto exposure) circuit and an AF (auto focus) circuit. For example, the image data input to the AE circuit is used to adjust the shutter speed or aperture of the electronic shutter, and automatically switches the brightness of light incident on the CCD 3.
[0017]
The camera processing unit 8 has a defect correction circuit 11 to which image data is input from the A / D conversion circuit 7, a CLP circuit 12 to which image data is input from the defect correction circuit 11, and image data from the CLP circuit 12. A white balance circuit 13 and a γ correction circuit 14 to which image data is input from the white balance circuit 13.
[0018]
The defect correction circuit 11 performs defect correction on the image data from the A / D conversion circuit 7. The defect correction circuit 11 corrects a defect of a pixel for which pixel data is not generated due to a defect, and outputs image data to the CLP circuit 12.
[0019]
The CLP circuit 12 subtracts optical black from the image data from the defect correction circuit 11. As described above, the CLP circuit 12 corrects the black level of the input image data and outputs the image data to the white balance circuit 13.
[0020]
The white balance circuit 13 adjusts the level for each color corresponding to the image data R, G, B from the CLP circuit 12. In this way, the white balance circuit 13 outputs the image data whose level is adjusted for each color to the γ correction circuit 14.
[0021]
The γ correction circuit 14 performs γ correction on the image data from the white balance circuit 13. The γ correction circuit 14 outputs the image data subjected to γ correction to an image data interpolation unit and a correlation value detection unit described later.
[0022]
As shown in FIG. 2, the signal processing unit 8 includes an image data interpolation unit 15 to which image data is input from the γ correction circuit 14, and a correlation value detection unit 16 that detects a correlation value between the pixel data. A noise removing unit 17 for removing noise of the correlation value, an offset circuit 18 for offsetting the correlation value, a normalizing circuit 19 for normalizing the correlation value, and a bias correction circuit for correcting the bias in the direction of detecting the correlation. 20, an enhancement / reduction circuit 21 that enhances and reduces correlation, a weighted addition circuit 22 that weights interpolated image data using a correlation value, a contour correction circuit 23 that corrects the contour of image data, and an image A Y / C conversion unit 24 that converts data into a Y / C signal composed of a luminance signal (Y) and a color difference signal (C), a color difference signal suppression unit 25 that suppresses false color signals due to the color difference signal, and an output unit 26 And with .
[0023]
Image data composed of a plurality of pixel data is input from the γ correction circuit 14 to the image data interpolation unit 15. The image data interpolation unit 15 performs interpolation of the pixel data R, G, and B for each pixel to generate the interpolation pixel data R ′, G ′, and B ′. The image data interpolation unit 15 includes a horizontal direction interpolation circuit 15a that performs interpolation of pixel data corresponding to pixels arranged in the horizontal direction, and a vertical direction interpolation circuit 15b that performs interpolation of pixel data corresponding to pixels arranged in the vertical direction. It consists of.
[0024]
Pixel data R, G, B corresponding to each pixel arranged in a matrix as shown in FIG. 3 is input to the horizontal direction interpolation circuit 15a. The horizontal direction interpolation circuit 15a calculates interpolation pixel data in the horizontal direction by using a filter shown in the following Expression 1. FIG. 3 is a diagram showing pixel data R, G, and B corresponding to each pixel, and is a diagram showing coordinates as numbers as the arrangement of each pixel. In the following description, the following description will be given assuming that 0h, 1h, 2h, 3h, and 4h are arranged for each line in the horizontal direction.
[0025]
[1, 4, 6, 4, 1] / 8 (Formula 1)
That is, when calculating the interpolation pixel data R ′, G ′, B ′, the horizontal direction interpolation circuit 15 a is configured as shown in FIG. 4 in order to use the filter shown in Expression 1.
[0026]
The horizontal direction interpolation circuit 15a is configured as shown in FIG. 4 when creating the interpolated pixel data R ′, G ′, B ′ in the horizontal direction. The horizontal direction interpolation circuit 15a includes an input unit 30 to which pixel data is input from the γ correction circuit 14, a delay circuit 31 to which each pixel data is input from the input unit 30, and each pixel data in the horizontal direction from the delay circuit 31. Is input, and a selector circuit 33 to which interpolation pixel data is input via the filter circuit 32, and an output terminal 34 for outputting the interpolation pixel data from the selector circuit 33.
[0027]
Each pixel data in the horizontal direction is sequentially input from the γ correction circuit 14 to the input unit 30. The input unit 30 is sequentially input with a clock for each pixel data. The delay circuit 31 includes delay circuits 31a to 31d to which each pixel data input from the input unit 30 is input. The delay circuit 31 inputs the input pixel data to the delay circuits 31 a to 31 d in synchronization with the clock and outputs it to the filter circuit 32.
[0028]
The filter circuit 32 includes an adder 32a to which pixel data is input via the input unit 30 and the delay circuit 31d, an adder 32b to which pixel data is input via the delay circuit 31a and the delay circuit 31c, and a delay circuit 31b. And an adder 32c to which pixel data is input via the adder 32a and an adder 32d to which the output from the adder 32c is input.
[0029]
The adder 32a receives pixel data directly input from the input unit 30 and the pixel data via the delay circuit 31d, the adder 32c receives the pixel data via the delay circuit 31b, and the adder 32d receives the adder 32a. The pixel data is input via the adder 32c. The adder 32b receives pixel data via the delay circuit 31a and the delay circuit 31c.
[0030]
That is, in the filter circuit 32, the adders 32a, 32c, and 32d constitute a filter of [1, 0, 6, 0, 1] / 8, and the adder 32b filters [1,0, 1] / 2. Is configured.
[0031]
The selector circuit 33 includes selectors 33a and 33b to which pixel data is input via the output from the adder 32d and the delay circuit 31b, a selector 33c to which the output from the selector 33a and the output from the adder 32b are input, And an adder 32b and a selector 33d to which the output from the selector 33b is input.
[0032]
Each selector 33a to 33d receives a control signal from the control unit 10 and controls its operation.
[0033]
The output unit 34 includes a terminal 34a that outputs an output from the selector 33c and a terminal 34b that outputs an output from the selector 33d to an edge processing circuit described later.
[0034]
The horizontal direction interpolation circuit 15a configured as described above is, for example, the pixel data G twenty two Interpolated pixel data R twenty two ', B twenty two 'Not only interpolation pixel data G twenty two 'Is also calculated.
[0035]
For example, the pixel data G in FIG. twenty two Interpolated pixel data G for twenty two When calculating ', pixel data G in 2h at the input unit 30 20 , R twenty one , G twenty two , R twenty three , G twenty four Are entered sequentially.
[0036]
Next, the pixel data G input by the input unit 30 20 , R twenty one , G twenty two , R twenty three , G twenty four Is input to the filter circuit 32 by the delay circuit 31. That is, pixel data G 20 Is input to the adder 32a and the pixel data R twenty one Is input to the adder 32b and the pixel data G twenty two Is input to the adder 32c and the pixel data R twenty three Is input to the adder 32b and the pixel data G twenty four Is input to the adder 32a.
[0037]
Next, each pixel data G is filtered by the filter circuit 32. 20 , G twenty two , G twenty four To pixel data G twenty two Interpolated pixel data G for twenty two Perform 'operation. That is, in the adder 32a, the pixel data G 20 And pixel data G twenty four Are added and output to the adder 32d. In the adder 32c, the pixel data G twenty two Is multiplied by 4 and doubled, and these are added and output to the adder 32d. The adder 32d receives the outputs from the adder 32a and the adder 32c, adds them, performs 1/8 multiplication, and outputs them to the selector circuit 33. In the adder 32b, the pixel data R twenty one And pixel data R twenty three Are input and added, and 1/2 multiplication is performed and output to the selector circuit 33.
[0038]
Thus, by performing addition processing in the adders 32a, 32c, and 32d, {pixel data G 20 + 6 × pixel data G twenty two + Pixel data G twenty four } / 8 is performed. On the other hand, by performing addition processing in the adder 32b, {pixel data R twenty one + Pixel data R twenty three } / 2 is performed. That is, in the filter circuit 32, the adder 32b constitutes a filter [1, 0, 1] / 2, and the adders 32a, 32c, and 32d constitute a filter [1,0, 6, 0, 1] / 8. And pixel data G 20 , G twenty two , G twenty four Is passed through the filter shown in Equation 1 above. Therefore, according to the filter circuit 32, the pixel data R twenty two , G twenty two Interpolated pixel data R for twenty two ', G twenty two 'Create.
[0039]
Next, in the selector 33a and the selector 33b, the interpolation pixel data G twenty two 'And the pixel data G twenty two Enter. Further, the selector 33 a and the selector 33 b receive the control signal H or the control signal L from the control unit 10. Here, in the selector 33a and the selector 33b, when the control signal H is input, the interpolation pixel data G from the filter circuit 32 is input. twenty two 'Is output to the selectors 33c and 33d as it is, and when the control signal L is input, the pixel data G twenty two Is output to the selectors 33c and 33d.
[0040]
Next, in the control unit 10, the pixel data G twenty two Interpolated pixel data G for twenty two Since 'is generated by the filter circuit 32, the control signal L is output to the selector 33c and the selector 33d. As described above, when the control signal L is input to the selectors 33c and 33d, the selector 33c performs interpolation pixel data R. twenty two 'And the selector 33d outputs the pixel data G twenty two Or interpolation pixel data G twenty two 'Is output.
[0041]
On the other hand, when the control signal H is input from the control unit 10 to the selectors 33c and 33d, the selector 33c outputs the data input from the selector 33a, and the selector 33d outputs the data input from the adder 32b.
[0042]
That is, the selector 33d is connected to, for example, the pixel data G twenty two Interpolated pixel data G for twenty two 'Is output, the input from the selector 33b is output, and the pixel data G in FIG. twenty three Interpolated pixel data G for twenty three When 'is output, the input from the adder 32b is controlled to be output. Then, the selector 33c receives the interpolated pixel data R for the pixel data R or the pixel data B at the terminal 34a. twenty two 'And the selector 33d outputs the interpolated pixel data G for the pixel data G to the terminal 34b. twenty two 'Is output.
[0043]
Thus, when calculating the interpolated pixel data G ′ for the pixel data G, the interpolated pixel data G assuming the CCD 3 consisting only of the pixel data G as shown in FIG. 'Is calculated. Therefore, in the horizontal direction interpolation circuit 15a, when the interpolation pixel data G ′ is calculated for a pixel in which the pixel data G does not exist, the interpolation pixel data G ′ is calculated using a filter of [1, 0, 1] / 2. When calculating the interpolated pixel data G ′ for the pixel in which the pixel data G exists, the interpolated pixel data G ′ is calculated using a filter of [1, 0, 6, 0, 1] / 8. Therefore, in the horizontal direction interpolation circuit 15a that calculates the interpolation pixel data G ′ using such a filter, the frequency characteristics of these filters are as shown in FIGS. That is, the filter of [1, 0, 6, 0, 1] / 8 exhibits frequency characteristics as shown in FIG. 6, and the filter of [1, 0, 1] / 2 shows frequency characteristics as shown in FIG. Indicates. According to the frequency characteristics of the filters shown in FIGS. 6 and 7, in the horizontal direction interpolation circuit 15a, the frequency characteristics and the pixel data of the interpolated pixel data G ′ in the pixel where the pixel data G exists are obtained by using these filters. The difference from the frequency characteristic of the interpolated pixel data G ′ where G does not exist can be reduced.
[0044]
Therefore, by calculating the interpolated pixel data G ′ for each pixel data G in this way, interpolated image data G ′ as shown in FIG. 8 can be obtained.
[0045]
In addition, the horizontal direction interpolation circuit 15a described above performs pixel data G in 2h. twenty two Interpolated pixel data R for twenty two 'Was calculated using a filter of [1, 0, 1] / 2, but in the same manner as described above, in 1h, the pixel data G 11 Interpolated pixel data B for 11 'Can also be calculated.
[0046]
Next, pixel data G in 2h twenty two Interpolated pixel data B for twenty two When 'is calculated, the filter shown in FIG. 9 is used. That is, in the following description, an example in which the interpolation pixel data B ′ is calculated in a line where the pixel data B does not exist will be described.
[0047]
Pixel data G twenty two Interpolated image data B twenty two When 'is calculated, the interpolated pixel data B is obtained using a horizontal direction interpolation circuit 15a' configured as shown in FIG. twenty two 'Is calculated. In the following description of the horizontal direction interpolation circuit 15a ′, the same parts as those in the horizontal direction interpolation circuit 15a shown in FIG. That is, in the horizontal direction interpolation circuit 15a ′ shown in FIG. Ten , G 11 , B 12 , G 13 , B 14 The pixel data at the terminal 30a and 3h input in the order of 30 , G 31 , B 32 , G 33 , B 34 It is assumed that the terminal 30b is input in this order. The horizontal direction interpolation circuit 15a ′ shown in FIG. 9 includes an adder 35 to which pixel data is input from the terminals 30a and 30b. In the adder 35, pixel data from the terminals 30a and 30b are input, and addition processing and division processing are performed. That is, in the adder 35, for example, {pixel data B Ten + Pixel data B 30 } / 2 is performed. In the horizontal direction interpolation circuit 15a ′ in FIG. 9, similarly to the horizontal direction interpolation circuit 15a shown in FIG. 4, the interpolated pixel data G ′ and B are passed through the delay circuits 31a to 31d, the adder 32, and the selector circuit 33. 'Is output.
[0048]
That is, in the horizontal direction interpolation circuit 15a ′, first, the vertical direction is interpolated by the arithmetic mean of the pixel data B corresponding to the pixels arranged in the 1h and 3h adjacent in the vertical direction, as shown in FIG. As shown in FIG. 11, the interpolated pixel data B ′ is calculated by interpolating the pixel data B of each arranged pixel in the vertical direction.
[0049]
Next, the pixel data B in the vertical direction and the interpolated pixel data B ′ obtained by interpolation are converted into a filter of [1, 0, 6, 0, 1] / 8 and a filter of [1, 0, 1] / 2. Then, the interpolated pixel data B ′ in the horizontal direction of the pixel data B is calculated.
[0050]
That is, in the horizontal direction interpolation circuit 15a ′, the interpolation pixel data B for a line in which no pixel data B exists in the horizontal direction. twenty two 'Is created as follows. First, a filter composed of [1, 0, 6, 0, 1] / 8 is applied to the pixel data B in 1h and 3h by the filter circuit 32 by passing it through the adders 32a, 32c, and 32d, and in 1h and 3h. A filter composed of [1, 0, 1] / 2 is applied to the pixel data G by passing it through the adder 32b. The horizontal direction interpolation circuit 15a ′ further adds a filter composed of [1, 0, 1] / 2 from the value of the pixel data B obtained by passing through the filter composed of [1, 0, 6, 0, 1] / 8. A subtraction processing circuit that subtracts the value of the pixel data G obtained by passing through, and the interpolation pixel data G obtained by the horizontal direction interpolation circuit 15a shown in FIG. twenty two And an addition processing circuit for adding '.
[0051]
That is, in the horizontal direction interpolation circuit 15a ′, the value of the pixel data B obtained by passing through the filter consisting of [1, 0, 6, 0, 1] / 8 is [1,0, 1] / 2. The value of the pixel data G obtained by passing through the filter is subtracted, the pixel data G ′ is added, and the interpolated pixel data B ′ is output to the weighted addition circuit 22.
[0052]
In this way, the horizontal direction interpolation circuit 15a ′ in FIG. 9 performs pixel data G corresponding to a pixel for which no pixel data B exists, such as 2h. twenty two In FIG. 12, as shown in FIG. twenty two 'Can be calculated. That is, according to the horizontal direction interpolation circuit 15a ′ of FIG. 9, the interpolation pixel data B ′ can be calculated for all (all) pixels.
[0053]
Further, such a horizontal direction interpolation circuit 15a ′ is provided with the pixel data G twenty two Interpolated pixel data B twenty two When 'is calculated, it may be calculated using the interpolation pixel data calculated by the following formula 2 and the above formula 1.
[0054]
B twenty two '= {(B 12 '-G 12 ') + (B 32 '-G 32 ')} / 2 + G twenty two '(Expression 2) According to Expression 2, the interpolated pixel data B twenty two When calculating ', G calculated using the horizontal direction interpolation circuit 15a of FIG. 12 ', G 32 ', G twenty two 'And B calculated by Equation 1 above 32 'B 12 'And interpolated pixel data B twenty two 'Can be calculated.
On the other hand, the vertical direction interpolation circuit 15b is configured as shown in FIG. In the description of the vertical direction interpolation circuit 15b described below, the same parts as those of the above-described horizontal direction interpolation circuit 15a are denoted by the same reference numerals, and detailed description thereof is omitted.
[0055]
As shown in FIG. 13, the vertical direction interpolation circuit 15b includes an input unit 30 to which pixel data R, G, and B in the vertical direction are sequentially input. The input unit 30 receives a terminal 30a to which pixel data at 1h is input, a terminal 30b to which pixel data at 3h is input, a terminal 30c to which pixel data at 0h is input, and pixel data at 4h. It has a terminal 30d and a terminal 30e to which pixel data in 2h is input.
[0056]
The vertical direction interpolation circuit 15b includes a filter circuit 32, a selector circuit 33, and an output unit 34, similarly to the horizontal direction interpolation circuit 15a described above.
In the vertical direction interpolation circuit 15b, the pixel data B is supplied to the terminals 30a to 30e. Ten , B 30 , G 00 , G 40 , G 20 Is input, the pixel data input to the terminals 30a and 30b is output to the adder 32b, the pixel data input to the terminals 30c and 30d is output to the adder 32a, and is input to the terminal 30e. Pixel data is output to the adder 32c. Then, in the vertical direction interpolation circuit 15b, as in the horizontal direction interpolation circuit 15a, these input pixel data are applied to the above-described equations 1 and 2 by the filter circuit 32, and the pixel data R, G, B are applied. Interpolated pixel data R ′, G ′, and B ′ are obtained.
[0057]
Further, the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b constituting the image data interpolation unit 15 are connected to the edge processing circuit 15c. As shown in FIG. 14, the edge processing circuit 15 c includes an input unit 40 including terminals 40 a to 40 c to which pixel data G that has been subjected to delay adjustment from the γ correction circuit 14 described above, and terminals 40 a to 40 c. The delay circuits 41 a to 41 d to which the pixel data G is input, the comparison unit 42 that compares the input pixel data G, the calculation unit 43 that performs calculation processing on the comparison result of the comparison unit 42, and the calculation unit 43 The output unit 44 controls output according to the calculation result, and an output terminal 45 that outputs pixel data from the output unit 44. The edge processing circuit 15c receives each pixel data G from the γ correction circuit 14. Here, an example in which the edge processing unit 15c described below controls, for example, the value of the interpolated pixel data G ′ in FIG. 15 will be described.
[0058]
The input unit 40 includes pixel data G around the interpolated pixel data G ′ in FIG. 15 obtained by interpolation by the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b described above. 1 ~ G Four Is entered. For example, when the input unit 40 performs edge processing on the interpolation pixel data in 2h, the pixel data G of 1h adjacent above the interpolation pixel data G ′ is used. 1 Is input to the terminal 40a and the pixel data G on both sides in the horizontal direction of the interpolated pixel data G ′. 2 , G Three Is input to the terminal 40b, and the pixel data G of 3h adjacent below the interpolation pixel data G ′. Four Is input to the terminal 40c. The terminals 40a to 40c are connected to delay circuits 41a to 41d. Pixel data G 1 , G 2 , G Three , G Four Are input to the terminals 40a to 40c after being delayed.
[0059]
The delay circuits 41 a to 41 d are connected to the comparison unit 42 and the output unit 44, and the pixel data G output from the input unit 40. 1 ~ G Four Enter. The delay circuits 41a to 41d are connected to the pixel data G 1 ~ G Four Each pixel data G is input to the comparison unit 42 and the output unit 44 with a clock synchronized with a clock for inputting 1 ~ G Four Is output.
[0060]
The comparison unit 42 includes comparators 42a to 42f to which two pixel data among the four pixel data input from the input unit 40 are input. That is, the comparison unit 42 receives the pixel data G 1 And pixel data G 2 Is input to the comparator 42a and the pixel data G 1 And pixel data G Three Is input to the comparator 42b and the pixel data G 1 And pixel data G Four Is input to the comparator 42c and the pixel data G 2 And pixel data G Three 42d and the pixel data G 2 And pixel data G Four Is input to the comparator 42e and the pixel data G Three And pixel data G Four Is input to the comparator 42f.
[0061]
The comparator 42a is connected to the pixel data G at the terminal A. 1 , Pixel data G at terminal B 2 The comparator 42b receives the pixel data G at the terminal A. 1 , Pixel data G at terminal B Three The comparator 42c receives the pixel data G at the terminal A. 1 , Pixel data G at terminal B Four The comparator 42d receives the pixel data G at the terminal A. 2 , Pixel data G at terminal B Three The comparator 42e receives the pixel data G at the terminal A. 2 , Pixel data G at terminal B Four Is input, and the comparator 42f receives the pixel data G at the terminal A. Three , Pixel data G at terminal B Four Is entered.
[0062]
The calculation unit 43 receives the comparison result from the comparison unit 42, and the pixel data G input by the input unit 40 based on the comparison result. 1 ~ G Four Among them, the second and third image data are selected. Here, the calculation unit 43 is composed of a plurality of selectors. For example, when the comparison result from the comparator 42a, the comparator 42b, and the comparator 42c is any one of (L, H, H), (H, L, H), and (H, H, L), Pixel data G 1 Is output to the output unit 44. In addition, in the calculation unit 43, for example, the comparison result from the comparator 42a, the comparator 42d, and the comparator 42e is any one of (H, L, L), (H, L, H), and (H, H, L). Pixel data G 2 Is output to the output unit 44.
[0063]
The output unit 44 is connected to the input unit 40 and the calculation unit 43. The output unit 44 receives each pixel data G from the input unit 40. 1 ~ G Four And a calculation result is input from the calculation unit 43. The output unit 44 includes a selector 44a that outputs pixel data according to the calculation result indicating the second place, and pixel data G according to the calculation result indicating the third place. 1 ~ G Four And a selector 44b for outputting. Further, the output unit 44 receives the pixel data G input at the terminal 40a. 1 Is input at 00 terminal and the pixel data G input at terminal 40b. 2 Is input to the 10 terminals and the pixel data G input from the terminal 40b. Three Is input at the 01 terminal and the pixel data G input at the terminal 40c. Four 11 are input.
[0064]
The output unit 45 is connected to the output unit 44, the horizontal direction interpolation circuit 15a, and the vertical direction interpolation circuit 15b. The output unit 45 outputs pixel data G indicating the second and third positions output from the output unit 44. 1 ~ G Four Are output to the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b.
[0065]
When edge processing is performed by the edge processing circuit 15c configured as described above, as shown in FIG. 15, for example, interpolation pixel data obtained by interpolation by the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b by the input unit 40, for example. Pixel data G around G ′ 1 , G 2 , G Three , G Four Is input by the input unit 40. Here, the numbers in each pixel data in FIG. 1 ~ G Four Represents the size of Here, in the input unit 40, the pixel data G 1 Is input at the terminal 40a, and the pixel data G 2 At the terminal 40b and the pixel data G Three At the terminal 40b and the pixel data G Four Is input at the terminal 40c. These pixel data G 1 ~ G Four Are output to the comparators 42a to 42f via the delay circuits 41a to 41d.
[0066]
Next, in each of these comparators 42a to 42f, the input pixel data G 1 ~ G Four Are compared, and the comparison result is output to the calculation unit 43. At this time, each of the comparators 42a to 42f outputs the comparison result H to the arithmetic unit 43 when the pixel data input to the terminal A is larger than the pixel data input to the terminal B, and the pixel data input to the terminal A is the terminal. When the pixel data is smaller than the pixel data input to B, the comparison result L is output to the calculation unit 43.
[0067]
Next, in the calculation unit 43, the pixel data G input by the input unit 40 in accordance with the comparison results from the comparators 42a to 42f. 1 ~ G Four Among them, the 2nd and 3rd pixel data G 1 ~ G Four And the calculation result is output to the output unit 44. Here, the calculation result indicating the second place is inputted by the selector 44a, and the calculation result showing the third place is inputted by the selector 44b. Each of the selectors 44a and 44b receives the pixel data G based on the calculation result. 1 , G 2 , G Three , G Four Of these, pixel data G corresponding to the second and third positions 1 ~ G Four Is output to the output unit 45.
[0068]
Next, in the output unit 45, the pixel data G corresponding to the second and third positions. 1 ~ G Four Are output to the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b.
[0069]
Next, in the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b, the pixel data G corresponding to the second and third places 1 ~ G Four Therefore, the size of the interpolated pixel data G ′ is calculated.
[0070]
Therefore, according to such an edge processing circuit 15c, for example, the pixel data G 1 The size of the pixel data G 2 The size of the pixel data G Three The size of the pixel data G Four When the magnitude of is 0, both the pixel data indicating the second and third places are 100, and therefore the magnitude of the interpolation pixel data G ′ is limited to 100. Therefore, according to the edge processing circuit 15c, the interpolation pixel data G ′ when the pixel data shown in FIG. 15 is interpolated in the vertical direction is not calculated as (100 + 0) = 50.
[0071]
The correlation value detection unit 16 receives pixel data from the γ correction circuit 14 described above. The correlation value detection unit 16 includes a horizontal direction correlation detection circuit 16a that detects a correlation value in the horizontal direction and a vertical direction correlation detection circuit 16b that detects a correlation value in the vertical direction.
[0072]
The horizontal direction correlation detection circuit 16a uses a filter expressed by the following equation 3 for pixels where the pixel data G exists, and uses a filter expressed by the following equation 4 for pixels where the pixel data G does not exist. h Is calculated.
[0073]
[Expression 1]
Figure 0004269368
[0074]
That is, the horizontal correlation value C h In the vertical direction, when the pixel data G exists, the LPF of [1, 0, 6, 0, 1] is used by using the expression 3, and when the pixel data G does not exist, the expression [4] , 0, 1]. Also, the horizontal correlation value C h Is calculated by multiplying the BPF of [-1, 0, 2, 0, -1] in the horizontal direction.
[0075]
As shown in FIG. 16, the horizontal direction correlation detection circuit 16 a includes an input unit 50 to which pixel data is input from the γ correction circuit 14 from terminals 50 a to 50 e, and a horizontal correlation value C to which each pixel data is input. h And a horizontal correlation value C h Is input to the selector circuit 53 and the horizontal correlation value C from the selector circuit 53. h Is output.
[0076]
The input unit 50 sequentially inputs pixel data arranged in the vertical direction shown in FIG. 3 from the γ correction circuit 14. The input unit 50 receives a terminal 50a to which pixel data at 1h is input, a terminal 50b to which pixel data at 3h is input, a terminal 50c to which pixel data at 0h is input, and pixel data at 4h. A terminal 50d and a terminal 50e to which pixel data in 2h is input.
[0077]
The filter circuit 52 includes an adder 52a to which pixel data is input from the terminals 50a and 50b, an adder 52b to which pixel data is input from the terminals 50c and 50d, and an adder to which pixel data is input from the terminal 50e. 52c and an adder 52b and an adder 52d to which the output from the adder 52c is input. Similar to the filter circuit 33 shown in the horizontal direction interpolation circuit 15a and the vertical direction interpolation circuit 15b described above, the filter circuit 52 uses the adder 52b, the adder 52c, and the adder 52d [1, 0, 6, 0, 1] / 8 filter, and the adder 52a forms a [1, 0, 1] / 2 filter.
[0078]
The selector circuit 53 includes a selector 53a to which pixel data is input from the adder 52d and the terminal 50e, and a selector 53b to which the output from the adder 52a and the output from the selector 53a are input. Each selector 53a, 53b receives a control signal from the control unit 10 and its operation is controlled. That is, the selector 53a outputs the pixel data input via the adders 52b, 52c, and 52d when the control signal H is input from the control unit 10, and the terminal when the control signal L is input from the control unit 10. The pixel data input from 50e is output. Further, the selector 53b receives the horizontal correlation value C that has passed through the adder 52a in accordance with the control signal from the control unit 10. h Or pixel data that has passed through the selector 53a is controlled.
[0079]
In this horizontal direction correlation detection circuit 16a, pixel data for which a correlation value is to be calculated may be input to the selector circuit 53 without passing through the filter circuit 52. In this way, by using the pixel data G as it is as the correlation value without passing through the filter circuits 52b, 52e, and 52d, it is possible to suppress a decrease in the band of the pixel data G and to simplify the circuit. .
[0080]
The selector 53b is controlled so that the output from the adders 52b, 52c, 52d or (or) the terminal 50e is allowed to pass through in the pixel where the pixel data G exists, and the adder 52a in the pixel where the pixel data G does not exist. It is controlled to pass the output from.
[0081]
The output unit 54 receives the horizontal correlation value C input from the selector 53b. h Is output. This output unit 54 is connected to the noise removing unit 17 via a BPF of [-1, 0, 2, 0, -1] in the horizontal direction (not shown), and the horizontal correlation value C h Is output to the noise removing unit 17.
[0082]
The vertical direction correlation detection circuit 16b uses a filter expressed by the following equation 5 for pixels in which pixel data G exists, and uses a filter expressed by the following equation 6 for pixels in which pixel data G does not exist. v Is calculated.
[0083]
[Expression 2]
Figure 0004269368
[0084]
That is, the vertical correlation value C v Is calculated with a BPF of [-1, 0, 2, 0, -1] in the vertical direction by using Equations 5 and 6. The vertical correlation value C v Is the LPF of [1, 0, 6, 0, 1] using the formula 5 in the horizontal direction when the pixel data G is present, and [1,0] using the formula 6 when the pixel data G is not present. , 1].
[0085]
As shown in FIG. 17, the vertical direction correlation detection circuit 16b has an input unit 55 to which pixel data is input via a BPF of [-1, 0, 2, 0, -1] in the vertical direction (not shown). And delay circuits 56a to 56d to which each pixel data is input from the input unit 55, and each pixel data is input from the delay circuits 56a to 56d and the vertical correlation value C v And a vertical correlation value C via the filter circuit 57. v Is input to the selector circuit 58 and the vertical correlation value C from the selector circuit 58. v Is output.
[0086]
The input unit 55 sequentially inputs from the γ correction circuit 14 through a BPF of [−1, 0, 2, 0, −1] in the vertical direction (not shown). The input unit 55 outputs each pixel data to the delay circuits 56a to 56d having the same configuration as the delay circuit 31 provided in the above-described horizontal direction interpolation circuit 15a.
[0087]
The filter circuit 57 has the same configuration as the filter circuit 52 provided in the above-described horizontal direction correlation detection circuit 16a, and includes adders 57a, 57b, 57c, and 57d. In the same way as the filter circuit 53 shown in the horizontal correlation detection circuit 16a described above, the filter circuit 52 has an adder 57b, an adder 57c, and an adder 57d of A filter is configured, and the adder 57a configures a [1,0,1] / 2 filter. In the vertical direction correlation detection circuit 16b, the correlation value C is similar to the horizontal direction correlation detection circuit 16a. v The pixel data that is the target of the calculation may be input to the selector circuit 58 without passing through the filter circuits 57b, 57c, and 57d.
[0088]
The selector circuit 58 has the same configuration as the selector circuit 53 provided in the horizontal direction correlation detection circuit 16a described above, and includes selectors 58a and 58b. Each selector 58a, 58b receives a control signal from the control unit 10 and controls its operation.
[0089]
The selector 58b is controlled so that the output from the adders 57b, 57c, 57d or (or) the delay circuit 56b is allowed to pass through in the pixel where the pixel data G exists, and the adder is used in the pixel where the pixel data G does not exist. The output from 57a is controlled to pass.
[0090]
The output unit 59 receives the vertical correlation value C input from the selector 58b. v Is output. The output unit 59 is connected to the noise removing unit 17 and has a vertical correlation value C v Is output to the noise removing unit 17.
[0091]
Since the correlation value detection unit 16 configured in this way is configured with a circuit using Expressions 3 to 6, for example, the correlation value C is calculated using only the pixel data G, so that it is affected by the color of the subject. Horizontal correlation value C h And the vertical correlation value C v Can be calculated.
[0092]
As shown in FIG. 2, the noise removal unit 17 includes a noise removal circuit 17a connected to the above-described horizontal direction correlation detection circuit 16a and a noise removal circuit 17b connected to the vertical direction correlation detection circuit 16b. The noise removal circuit 17a and the noise removal circuit 17b have the same configuration as shown in FIG.
[0093]
As shown in FIG. 18, the noise removing units 17a and 17b include an absolute value conversion circuit 60 to which the correlation value C is input from the correlation detection circuits 16a and 16b, and a subtraction circuit to which the correlation value C converted to an absolute value is input. 61 and a limit circuit 62 to which the subtracted correlation value C is input.
[0094]
The absolute value circuit 60 is, for example, Ex. It consists of an OR gate 60a and an adder 60b. The absolute value converting circuit 60 converts the input correlation value C into an absolute value to obtain a positive value. Then, the absolute value converting circuit 60 outputs the absolute value of the correlation value C to the subtracting circuit 61.
[0095]
The subtraction circuit 61 includes, for example, a subtracter 61a. The subtractor 61 a receives the correlation value C from the absolute value conversion circuit 60. The subtractor 61 a receives a control signal indicating a subtraction value for subtracting a predetermined value from the correlation value C input from the control unit 10. The subtractor 61a subtracts the subtraction value from the correlation value C according to the control signal. As described above, the subtractor 61a performs the subtraction process to subtract the output of the correlation value C as indicated by the solid line in FIG. 19A, as indicated by the dotted line in FIG. Then, the subtraction circuit 61 outputs the subtracted correlation value C to the limit circuit 62.
[0096]
The limit circuit 62 includes, for example, an inverter 62a and an AND gate 62b. The limit circuit 62 performs processing so that the correlation value C, which is subtracted by the subtraction circuit 61 and has a negative output as shown in FIG. The limit circuit 62 outputs the correlation value C subjected to such processing to the offset circuit 18.
[0097]
Such a noise removal unit 17 removes a minute correlation value C by performing a subtraction process from the input correlation value C, so that noise in the minute value can be removed. Therefore, according to the noise removing unit 17, for example, in order to calculate the correlation value C by passing the BPF, the correlation value C calculated with respect to the noise or the like of the CCD 3 itself can be removed. Further, according to the noise removing unit 17, if the pixel data generated by the CCD 3 includes a noise component, even if the correlation value C is calculated for the noise, the minute correlation value is subtracted. . Therefore, according to the noise removing unit 17, the interpolation pixel data can be weighted using the correlation value C with less noise, and a false color signal is generated in the output image, which deteriorates the image. There is no.
[0098]
As shown in FIG. 2, the offset circuit 18 receives the horizontal correlation value C from the noise removal circuit 17a. h From the offset circuit 18a and the noise removal circuit 17b. v Is input to the offset circuit 18b. These offset circuit 18a and offset circuit 18b have the same configuration as shown in FIG.
[0099]
As shown in FIG. 20, the offset circuits 18 a and 18 b include an adder 65, for example. The adder 65 receives the correlation value C from the noise removal circuits 17a and 17b. The adder 65 receives a control signal indicating a predetermined offset value from the control unit 10.
[0100]
When the correlation value C is input from the noise removing units 17a and 17b, the adder 65 adds the offset value indicated by the control signal. The adder 65 adds the input correlation value C and the offset value and outputs the result to the normalization circuit 19. That is, the offset circuits 18a and 18b add the offset value to the correlation value C as shown by the dotted line in FIG. 21, for example, from the noise removing units 17a and 17b, thereby causing the correlation value C as shown by the solid line in FIG. And
[0101]
As described above, the offset circuits 18a and 18b add the offset value to the correlation value C, so that even if the amplitude of the input correlation value C is about 0, the correlation value C having a large value can be provided. . For example, as shown in FIG. 22, the offset circuits 18a and 18b cannot obtain the correlation value C in the above-described correlation value detection unit 16, for example, pixel data constituting image data whose color changes for each pixel. , The high-frequency signal and the vertical correlation value C v And horizontal correlation value C h The horizontal correlation value C even when the amplitude of h And vertical correlation value C v Can be prevented from switching suddenly. That is, according to such offset circuits 18a and 18b, by adding the offset value to the correlation value C, the interpolation pixel data weighted by the correlation value C can be brought closer to the direction of interpolation by arithmetic mean. Therefore, according to the offset circuits 18a and 18b, when the amplitude of the input correlation value C is very small, or in the adjacent pixels, the horizontal correlation value C h Is 1, vertical correlation value C v Even if is 0, the vertical correlation value C v Is 0, horizontal correlation value C h There is no such thing as switching to 1.
[0102]
As shown in FIG. 2, the normalization circuit 19 generates a horizontal correlation value C from the offset circuit 18a and the offset circuit 18b. h And the vertical correlation value C v Is input, and the vertical correlation value C v And a divider 19b to which the output from the adder 19a is input.
[0103]
Such a normalization circuit 19 has an adder 19a which performs a vertical correlation value C v And horizontal correlation value C h And the addition result is output to the divider 19b, and the divider 19b outputs the vertical correlation value C. v Is divided by the addition result. Then, the normalization circuit 19 generates a vertical correlation value C shown in the following equation (7). v Is calculated. Here, the horizontal correlation value C h Is the vertical correlation value C v Can be expressed as shown in Equation 8 below.
[0104]
[Equation 3]
Figure 0004269368
[0105]
As shown in FIG. 23, the bias correction circuit 20 includes an adder 20a. The bias correction circuit 20 receives the vertical correlation value C expressed by the above equation 7 from the normalization circuit 19. V Is entered. The correction value α is input from the control unit 10 to the adder 20a. The correction value α is generated by the control unit 10 and is adjusted within a range of −1 to 1 according to the setting of the CCD 3 or the like, for example.
[0106]
Then, the bias correction circuit 20 generates a vertical correlation value C V And the correction value α input from the control unit 10 are input, and the vertical correlation value C V And the correction value α are added. In this manner, the bias correction circuit 20 performs the addition process to perform the vertical correlation value C V Is a value as shown in Equation 9 below.
[0107]
[Expression 4]
Figure 0004269368
[0108]
Accordingly, the bias correction circuit 20 is configured so that the vertical correlation value C indicated by the dotted line in FIG. v Can be changed as indicated by the solid line in FIG. 24 by adding the correction value α. That is, according to this bias correction circuit 20, the vertical correlation value C v By adding the correction value α to the vertical correlation value C v And horizontal correlation value C h And the vertical correlation value C by controlling the correction value α input from the control unit 10 even when the signal level is not the same due to the distortion of the signal from the CCD 3 or the like. v Can be controlled and corrected. In addition, the bias correction circuit 20 cannot calculate the correlation between the correlation in the vertical direction and the correlation in the horizontal direction equally due to, for example, the aspect ratio of the CCD or distortion generated when detecting the analog signal output from the CCD. However, the horizontal correlation value C is controlled by controlling the correction value α from the control unit 10. h And vertical correlation value C v And balance can be controlled.
[0109]
As shown in FIG. 25, the enhancement / reduction circuit 21 receives a vertical correlation value C from the bias correction circuit 20. v And a vertical correlation value C subjected to the subtraction process. v And a vertical correlation value C subjected to multiplication processing. v Is input to the adder 21c and the added vertical correlation value C v Is input to the limiter 21d.
[0110]
The subtractor 21a is a vertical correlation value C having values from 0 to 1 from the bias correction circuit 20. v And the vertical correlation value C v Subtract processing. The subtractor 21a is configured to generate a vertical correlation value C v The subtraction process is performed by 0.5. The multiplier 21b generates a vertical correlation value C based on a control signal indicating a multiplication value input from the control unit 10. v Multiply processing. The adder 21c generates a vertical correlation value C v Is added by 0.5. The limiter 21d receives the input vertical correlation value C v Is limited within a certain range.
[0111]
Such an emphasis / reduction circuit 21 receives the vertical correlation value C from the bias correction circuit 20. v Is first input, the subtractor 21a first applies the vertical correlation value C. v Is subtracted by 0.5, and then the subtracted vertical correlation value C v The multiplication process is performed. At this time, the vertical correlation value C having characteristics as shown by the solid line in FIG. 26 according to the multiplication value input from the control unit 10. v Is changed as indicated by the dotted line or the alternate long and short dash line in FIG. Next, the multiplied vertical correlation value C v Then, 0.5 subtracted by the subtractor 21a is added by the adder 21c. Next, the added vertical correlation value C v Is restricted by the limiter 21d so as to take a value in the range of 0 to 1.
[0112]
Thus, the enhancement / reduction circuit 21 converts the multiplication value from the control unit 10 into the vertical correlation value C v Is multiplied by the vertical correlation value C as shown in FIG. v Change the slope of the input / output characteristics. Therefore, according to the emphasis / reduction circuit 21, the vertical correlation value C is obtained by changing the multiplication value from the control unit 10. v Can be changed. Therefore, according to the emphasis / reduction circuit 21, when the interpolation pixel data described later is weighted, whether the interpolation pixel data places importance on the correlation by changing the value of the correlation value that weights the interpolation pixel data, It is possible to control whether the interpolation pixel data is interpolated so as to approach the arithmetic mean. Further, according to the emphasis / reduction circuit 21, for example, since the amount of light input to the CCD 3 is small, the output from the CCD 3 increases in noise, and the multiplication value is changed even if the correlation value cannot be calculated accurately. Thus, the correlation value can be controlled.
[0113]
As shown in FIG. 2, the weighted addition circuit 22 generates a vertical correlation value C v Normalized horizontal correlation value C h And a normalized horizontal correlation value C h And a vertical correlation value C v Is input to the multiplier 22c, and the adder 22d is input to the interpolation pixel data in the vertical and horizontal directions.
[0114]
Such a weighted addition circuit 22 receives the vertical correlation value C from the enhancement / reduction circuit 21. v Is input to the subtracter 22a and the multiplier 22c. In the subtractor 22a, the vertical correlation value C v By subtracting 1 from 1, the horizontal correlation value C h Is generated. In the subtractor 22a, the horizontal correlation value C h Is output to the multiplier 22b.
[0115]
The multiplier 22b receives the interpolated pixel data in the vertical direction from the vertical direction interpolation circuit 15b and the horizontal correlation value C from the subtractor 22a. h Are entered. The multiplier 22b inputs the interpolated pixel data in the vertical direction and the horizontal correlation value C. h And multiply. Thus, the multiplier 22b adds the horizontal correlation value C to the interpolated pixel data in the vertical direction. h Is multiplied by.
[0116]
The multiplier 22c receives the interpolated pixel data in the horizontal direction from the horizontal direction interpolation circuit 15a, and also has a vertical correlation value C. v Is entered. The multiplier 22c inputs the interpolated pixel data in the horizontal direction and the vertical correlation value C. v And multiply. Thus, the multiplier 22c adds the vertical correlation value C to the interpolated pixel data in the horizontal direction. v Is multiplied by.
[0117]
The adder 22d receives the interpolation pixel data in the horizontal direction weighted by the multiplier 22c and the interpolation pixel data in the vertical direction weighted by the multiplier 22b. The adder 22d adds the interpolated pixel data in the horizontal direction and the interpolated pixel data in the vertical direction. In this way, the adder 22d performs the addition process to obtain interpolation pixel data weighted by the correlation values in the vertical direction and the horizontal direction. Then, the adder 22 d outputs the interpolated pixel data to the contour correction circuit 23.
[0118]
The contour correction circuit 23 is connected to the adder 22 d of the weighted addition circuit 22. The contour correction circuit 23 receives the interpolation pixel data from the adder 22 d and the contour enhancement signal from the control unit 10. This contour emphasis signal is a signal that compensates for response deterioration of the CCD 3 and emphasizes the sharpness. The contour correction circuit 23 adds the input contour emphasis signal and the interpolated pixel data and outputs the result to the Y / C converter 24.
[0119]
The Y / C converter 24 is connected to the contour correction circuit 23, and interpolation pixel data is input from the contour correction circuit 23. The Y / C converter 24 converts the input interpolation pixel data composed of R, G, and B into a Y / C signal composed of a luminance signal (Y) and a color difference signal (C). Then, the Y / C conversion unit 24 outputs the Y / C signal obtained by converting the interpolation pixel data to the color difference signal suppression unit 25.
[0120]
The color difference signal suppression unit 25 is connected to the Y / C conversion unit 24, and the Y / C signal is input from the Y / C conversion unit 24. As shown in FIG. 27, the color difference signal suppression unit 25 includes a BG data suppression circuit 25a to which the color difference BG of pixel data in which one line is composed of pixel data G and B, and one line is the pixel data G, An RG data suppression circuit 25b to which a color difference RG of pixel data composed of R is input.
[0121]
The BG data suppression circuit 25a has input units 70a to 70c to which the color difference B'-G 'between the interpolation pixel data G' and B 'is input, and an absolute value to which the color difference B'-G' is input from the input units 70a to 70c. Calculations in which the binarizers 71a to 71c, the comparators 72a to 72c to which the absolute color difference B′-G ′ is input from the absolute binarizers 71a to 71c, and the comparison results from the comparators 72a to 72c are input And a selector 74 to which the calculation result from the calculator 73 is input, and an output unit 75 to which the pixel data from the selector 74 is input.
[0122]
The input unit 70a inputs the color difference B'-G 'in the vertical direction, the input unit 70b inputs the color difference B'-G' in the horizontal direction, and the input unit 70c has the color difference B'- weighted with the correlation value. G ′ is input. The input unit 70a outputs the input color difference B'-G 'to the absolute value converter 71a, the input unit 70b outputs the input color difference B'-G' to the absolute value generator 71b, and the input unit 70c receives the input. The color difference B′−G ′ is output to the absolute value converter 71c.
[0123]
The absolute value converters 71a to 71c are, for example, Ex. It consists of an OR gate 76 and an adder 77. The absolute value converters 71a to 71c perform absolute value conversion on the input color difference B′−G ′ to obtain a positive value. The absolute value generators 71a to 71c output the color difference B′−G ′ subjected to absolute value conversion to the comparators 72a to 72c.
[0124]
The comparator 72a inputs the color difference B′−G ′ that has passed through the absolute value converter 71a at the terminal B and also inputs the color difference B′−G ′ that has passed through the absolute value converter 71c at the terminal A. The comparator 72b inputs the color difference B′−G ′ that has passed through the absolute value converter 71a at the terminal A, and also inputs the color difference B′−G ′ that has passed through the absolute value converter 71b at the terminal B. The comparator 72c inputs the color difference B′−G ′ that has passed through the absolute value converter 71b at the terminal A, and also inputs the color difference B′−G ′ that has passed through the absolute value converter 71c at the terminal B. The comparators 72a to 72c compare the magnitudes of the color differences B′−G ′ input at the terminals A and B and determine that the color difference B′−G ′ input at the terminal A is large. Is output to the calculator 73, and if the color difference B′−G ′ input at the terminal A is determined to be small, the comparison result L is output to the calculator 73.
[0125]
The arithmetic unit 73 receives the comparison result from the comparators 72 a to 72 c and also receives a control signal from the control unit 10. The calculator 73 generates a calculation result based on the comparison result and the control signal and outputs the calculation result to the selector 74.
[0126]
The calculator 73 outputs the calculation result 11 when the control signal H is input, and generates a calculation result based on the comparison results from the comparators 72a to 72c when the control signal L is input. When the comparison results of the comparators 72a, 72b, 72c are (H, L, X), the calculator 73 outputs the calculation result 00, and the comparison results of the comparators 72a, 72b, 72c are (X, H, L). ), The calculation result 01 is output. When the comparison results of the comparators 72a, 72b, 72c are (L, X, H), the calculation result 10 is generated and output to the selector 74.
[0127]
The selector 74 receives the calculation result from the calculator 73 and the color difference B′−G ′ from the input units 70a to 70c. The selector 74 inputs the color difference B′−G ′ input from the input unit 70c at the 11th terminal and the 10th terminal, inputs the color difference B′−G ′ input from the input unit 70b at the 01 terminal, and inputs at the 00 terminal. The color difference B′−G ′ input by the unit 70a is input. The selector 74 outputs the color difference B′−G ′ input at the 11 terminal when the calculation result 11 is input, and outputs the color difference B′−G ′ input at the 10 terminal when the calculation result 10 is input. When the calculation result 01 is input, the color difference B′−G ′ input at the 01 terminal is output. When the calculation result 00 is input, the color difference B′−G ′ input at the 00 terminal is output.
[0128]
The RG data suppression circuit 25 b receives the color difference R′−G ′ in the input units 70 a to 70 c, and passes this color difference R′-G ′ through the absolute value calculator 71, the comparator 72, the calculator 73, and the selector 74. The minimum color difference R′−G ′ is selected and output by the output unit 75.
[0129]
Therefore, according to such a color difference signal suppressing unit 25, as shown in FIG. 28A, for example, interpolation pixel data R for pixel data R and G arranged in the vertical direction. v , G v Interpolated pixel data R for pixel data R and G arranged in the horizontal direction h , G h , Weighted interpolation pixel data R c , G c The smallest interpolated pixel data R of the color difference h , G h Select. Further, as shown in FIG. 28B, the color difference signal suppressing unit 25 selects interpolation pixel data R′-G ′ that is closest to 0 among the compared interpolation pixel data.
[0130]
Such a color difference signal suppressing unit 25 selects and outputs the interpolated pixel data input from the input units 70a to 70c with the smallest absolute value of the color difference signal. Therefore, such a color difference signal suppressing unit 25 prevents false colors from appearing on color edges or the like when image data is generated with interpolated pixel data weighted with a correlation value in a band where correlation cannot be obtained. Can do. Therefore, according to the color difference signal suppression unit 25, it is possible to prevent color aliasing distortion even in a frequency band where no correlation is observed.
[0131]
The output unit 75 outputs the interpolation pixel data output by the selector 74 to the output unit 26. The output unit 26 is, for example, a recording medium for recording pixel data, a display device, a terminal for outputting to the outside, or the like.
[0132]
In the above description, an example of processing a camera signal generated by the camera device 1 using the primary color coding CCD 3 has been described. However, the present invention is as shown in FIG. 29 (a) or FIG. 29 (b). In addition, if the solid-state imaging device of the coding in which the most colors among the colors indicated by the pixel data included in the image data are arranged in a checkered pattern is applicable to a complementary color CCD.
[0133]
【The invention's effect】
As described above in detail, the camera signal processing apparatus and the camera signal processing method according to the present invention interpolate from at least two directions to generate interpolated pixel data in each direction, respectively, and calculate correlations in the two or more directions. Since the correlation value indicating the degree is detected and a predetermined value is added to the correlation value in each direction, even if the amplitude of the input correlation value is about 0, a correlation value having a large value can be provided. Such a camera signal processing apparatus and camera signal processing method cannot obtain a correlation value. For example, in the case of pixel data constituting image data whose color changes for each pixel, a wide-range signal and the amplitude of the correlation value Even when the value is very small, it is possible to prevent the correlation value and the correlation value from being switched.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a configuration of a camera device.
FIG. 2 is a block diagram illustrating an example of a configuration of a signal processing circuit.
FIG. 3 is a diagram illustrating an example of an arrangement of pixel data R, G, and B corresponding to each pixel.
FIG. 4 is a diagram illustrating an example of a configuration of a vertical direction interpolation circuit.
FIG. 5 is a diagram illustrating an example of an arrangement of pixel data G corresponding to each pixel.
FIG. 6 is a diagram illustrating frequency characteristics of LPFs of [1, 0, 6, 0, 1].
FIG. 7 is a diagram showing frequency characteristics of LPFs of [1, 0, 1].
FIG. 8 is a diagram illustrating an example of interpolated pixel data G ′ generated after performing an interpolation process.
FIG. 9 is a diagram illustrating an example of a configuration of a horizontal direction interpolation circuit.
FIG. 10 is a diagram illustrating an example of an arrangement of pixel data B corresponding to each pixel.
FIG. 11 is a diagram illustrating an example of an arrangement of interpolation pixel data B ′ when an arithmetic mean is calculated in the hydraulic direction for pixel data B corresponding to each pixel.
FIG. 12 is a diagram illustrating an example of interpolated pixel data B ′ generated after performing an interpolation process.
FIG. 13 is a diagram illustrating an example of a configuration of a vertical direction interpolation circuit.
FIG. 14 is a diagram illustrating an example of a configuration of an edge processing circuit.
FIG. 15 is a diagram for explaining an example when edge processing is performed by an edge processing circuit;
FIG. 16 is a diagram illustrating an example of a configuration of a horizontal direction correlation detection circuit.
FIG. 17 is a diagram illustrating an example of a configuration of a vertical direction correlation detection circuit.
FIG. 18 is a diagram illustrating an example of a configuration of a noise removal circuit.
FIG. 19 is a diagram illustrating an example when processing is performed on a correlation value input by a noise removal circuit, where (a) illustrates an example when a correlation value is subjected to subtraction processing, and (b) illustrates a correlation value; It is a figure which shows an example when it limits with a negative value.
FIG. 20 is a diagram illustrating an example of a configuration of an offset circuit.
FIG. 21 is a diagram illustrating an example of changes in input / output characteristics when an offset value is added to a correlation value input by an offset circuit.
FIG. 22 is a diagram illustrating an example of image data whose color changes for each adjacent pixel data.
FIG. 23 is a diagram illustrating an example of a configuration of a bias correction circuit.
FIG. 24 is a diagram illustrating an example of a change in input / output characteristics when a correction value is added to a correlation value input by a bias correction circuit.
FIG. 25 is a diagram illustrating an example of a configuration of an enhancement / reduction circuit.
FIG. 26 is a diagram illustrating a change in input / output characteristics when a multiplication process is performed on a correlation value input by an enhancement / reduction circuit.
FIG. 27 is a diagram illustrating an example of a configuration of a color difference signal suppression circuit.
FIG. 28 shows interpolated pixel data R for pixel data R and G arranged in the vertical direction by the color difference signal suppression unit. v , G v Interpolated pixel data R for pixel data R and G arranged in the horizontal direction h , G h , Weighted interpolation pixel data R c , G c Interpolated pixel data R having the smallest absolute value among the color differences of h , G h It is a figure which shows an example which selects.
FIG. 29 is a diagram illustrating another example of the arrangement of pixel data.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Camera apparatus, 15 Image data interpolation part, 15a Horizontal direction interpolation circuit, 15b Vertical direction interpolation circuit, 16 Correlation value detection part, 16a Horizontal direction correlation detection circuit, 16b Vertical direction correlation detection circuit, 18 Offset circuit, 22 Weighted addition circuit

Claims (4)

各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び／又は周囲の画素データに基づいて少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成する補間画素データ生成手段と、
上記補間画素データ生成手段で生成した補間画素データの上記２以上の方向における相関の程度を示す相関値をそれぞれ検出する相関検出手段と、
上記相関検出手段で検出した各方向の相関値に所定値を加算処理するオフセット手段と、
上記補間画素データ生成手段で生成した各方向の補間画素データに上記オフセット手段で加算処理された各方向の相関値で重み付けをして、重みづけられた各補間画素データを加算処理して補間画素データを生成する重み付け手段と、
上記重み付け手段で重みづけられた補間画素データに基づいて画像を生成する画像生成手段と
を備えることを特徴とするカメラ信号処理装置。At least based on the relevant pixel data and / or surrounding pixel data of the pixel data generated based on the imaging signal from the solid-state imaging device on which the imaging light is incident through the color filters having different spectral sensitivities corresponding to each pixel. Interpolation pixel data generating means for generating interpolation pixel data in each direction by interpolating from two or more directions;
Correlation detection means for detecting correlation values indicating the degree of correlation in the two or more directions of the interpolation pixel data generated by the interpolation pixel data generation means;
Offset means for adding a predetermined value to the correlation value in each direction detected by the correlation detection means;
The interpolated pixel data generated by the interpolated pixel data generating means is weighted by the correlation value of the respective directions added by the offset means, and the weighted interpolated pixel data is added and interpolated. A weighting means for generating data;
An image generation means for generating an image based on the interpolation pixel data weighted by the weighting means. 上記所定値を示すオフセット値を生成する制御手段を備え、
上記オフセット手段は、上記制御手段で生成されるオフセット値を各方向の相関値に加算処理すること
を特徴とする請求項１に記載のカメラ信号処理装置。Control means for generating an offset value indicating the predetermined value,
The camera signal processing apparatus according to claim 1, wherein the offset unit adds the offset value generated by the control unit to the correlation value in each direction. 各画素に対応して分光感度が異なる色フィルタを介して撮像光が入射される固体撮像素子からの撮像信号に基づいて生成される画素データの当該位置及び／又は周囲の画素データに基づいて少なくとも２以上の方向から補間して各方向の補間画素データをそれぞれ生成し、
上記補間画素データの上記２以上の方向における相関の程度を示す相関値をそれぞれ検出し、
上記各方向の相関値に所定値を加算処理し、
上記各方向の補間画素データに所定値が加算処理された各方向の相関値で重み付けをして、重みづけられた各方向の補間画素データを加算処理して得た補間画素データを生成し、
上記重みづけられた補間画素データに基づいて画像を生成すること
を特徴とするカメラ信号処理方法。At least based on the relevant pixel data and / or surrounding pixel data of the pixel data generated based on the imaging signal from the solid-state imaging device on which the imaging light is incident through the color filters having different spectral sensitivities corresponding to each pixel. Interpolate from two or more directions to generate interpolated pixel data in each direction,
Detecting a correlation value indicating the degree of correlation in the two or more directions of the interpolated pixel data,
Add a predetermined value to the correlation value in each direction,
Weighting with the correlation value of each direction in which a predetermined value is added to the interpolation pixel data in each direction, and generating interpolation pixel data obtained by adding the weighted interpolation pixel data in each direction,
An image is generated based on the weighted interpolation pixel data. A camera signal processing method, comprising: 上記所定値を示すオフセット値を生成し、
上記オフセット値を各方向の相関値に加算処理すること
を特徴とする請求項３に記載のカメラ信号処理方法。An offset value indicating the predetermined value is generated,
The camera signal processing method according to claim 3 , wherein the offset value is added to a correlation value in each direction.
JP31516798A 1997-11-28 1998-11-05 Camera signal processing apparatus and camera signal processing method Expired - Lifetime JP4269368B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31516798A JP4269368B2 (en) 1997-11-28 1998-11-05 Camera signal processing apparatus and camera signal processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP32932197 1997-11-28
JP9-329321 1997-11-28
JP31516798A JP4269368B2 (en) 1997-11-28 1998-11-05 Camera signal processing apparatus and camera signal processing method

Publications (2)

Publication Number Publication Date
JPH11220746A JPH11220746A (en) 1999-08-10
JP4269368B2 true JP4269368B2 (en) 2009-05-27

Family

ID=26568209

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31516798A Expired - Lifetime JP4269368B2 (en) 1997-11-28 1998-11-05 Camera signal processing apparatus and camera signal processing method

Country Status (1)

Country Link
JP (1) JP4269368B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101327790B1 (en) * 2007-08-24 2013-11-11 삼성전자주식회사 Image interpolation method and apparatus

Also Published As

Publication number Publication date
JPH11220746A (en) 1999-08-10

Similar Documents

Publication Publication Date Title
JP4066484B2 (en) Image processing apparatus, image processing method, and camera
US6611287B1 (en) Camera signal processing apparatus and camera signal processing method
JP2009027619A (en) Video processing device and video processing program
WO2017154293A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP4548390B2 (en) Imaging apparatus and signal processing method
JP2008263507A (en) Video processor and video processing program
US20050220350A1 (en) Image processing apparatus, image processing method, image processing program, and recording medium storing image processing program
JP2005109991A (en) Signal processing method and device, and imaging device
JP4320807B2 (en) Camera signal processing apparatus and camera signal processing method
JPH11313336A (en) Signal processor and photographing signal processing method
JP5091550B2 (en) White balance adjusting device and white balance adjusting method
JP4269367B2 (en) Camera signal processing apparatus and camera signal processing method
JP4428195B2 (en) Imaging apparatus, complementary signal generation method, and program
JP4269366B2 (en) Camera signal processing apparatus and camera signal processing method
JP4269369B2 (en) Camera signal processing apparatus and camera signal processing method
JP4269368B2 (en) Camera signal processing apparatus and camera signal processing method
JPH11220749A (en) Camera signal processor and camera signal processing method
JP4269370B2 (en) Camera signal processing apparatus and camera signal processing method
JP4273546B2 (en) Camera signal processing apparatus and camera signal processing method
JP2005260675A (en) Image processor and program
JP4284960B2 (en) Image signal processing device
JP4178571B2 (en) Image processing apparatus, image processing method, and camera
JP3660504B2 (en) Color solid-state imaging device
JP4130885B2 (en) Solid-state imaging device
JP2000102024A (en) Image signal processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051019

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090203

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4