JP4122082B2 - 信号処理装置およびその処理方法 - Google Patents
信号処理装置およびその処理方法 Download PDFInfo
- Publication number
- JP4122082B2 JP4122082B2 JP00326098A JP326098A JP4122082B2 JP 4122082 B2 JP4122082 B2 JP 4122082B2 JP 00326098 A JP00326098 A JP 00326098A JP 326098 A JP326098 A JP 326098A JP 4122082 B2 JP4122082 B2 JP 4122082B2
- Authority
- JP
- Japan
- Prior art keywords
- correlation
- color filter
- data
- correlation value
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、被写界からの入射光を撮像手段で撮像し、撮像手段の画素から得られる信号に相関処理等の信号処理を施す信号処理装置およびその処理方法に関し、特に、単板式の色フィルタを撮像手段の直前に配して、この撮像手段の画素から得られる信号の補間処理を伴う信号処理に適用して好適なものである。
【０００２】
【従来の技術】
たとえば電子スチルカメラやビデオカメラ等は、被写界からの入射光を撮像部に用いている、たとえば固体撮像デバイスを含む画素セルで光電変換している。特に、この撮像部の直前に単板式の色フィルタが用いられている場合、撮像部は各画素から色フィルタの色に対応して三原色R,G,B のいずれか一つの色の信号しか得られない。そこで、画質の向上を図るため一般的にはたとえば水平方向の相関性を利用して対応していない色の信号を補間して求めている。
【０００３】
単純な補間方法によれば、例えば白と黒の境界に偽色が発生することが知られている。この偽色の改善を図る方法として、たとえばローパスフィルタを適用したり、白黒のエッジ境界の色信号を抑圧する方法等、各種の改善方法が検討されてきている。ローパスフィルタの場合、信号レベルの低下により偽色を抑えるが完全になくすことができず、場合によっては偽色範囲を拡大させてしまう。また、抑圧方法では本来の色信号も抑圧することにより境界付近で色がなくなってしまう虞れがある。このような色偽信号の発生を防止する色分離回路が特開平7-236147号公報に開示されている。この色分離回路は、垂直及び若しくは水平方向の相関関係を考慮して色偽信号の発生を抑えている。
【０００４】
また、このような相関関係を用いて偽りの信号発生を抑えるものに特開平7-298275号公報に開示されたビデオカメラの信号処理回路がある。信号処理回路は、撮像素子出力に基づき水平方向と垂直方向の相関値を検出し、これらの値に基づいて各方向の相関値の混合比率を制御している。これにより、信号処理回路は、たとえば輪郭強調の場合、アパーチャ信号（あるいは輪郭強調信号）を供給して鮮鋭度を高め、本来、輝度変化のない部分に発生する輝度ムラを抑えて画像の高画質化を図っている。
【０００５】
【発明が解決しようとする課題】
ところで、前述した提案では算出した水平方向と垂直方向の相関値を基に相関の強い方向を判別している。しかしながら、判定に誤りを生じてしまう場合があった。この相関判定での誤判定によって色偽信号が発生した。たとえばG ストライプRB市松パターンの色フィルタやベイヤ配列の色フィルタ等を適用した場合、画像には判定を誤ると、前者のパターンでは特にG とR の間に筋が生じることがあり、また、後者のような配列の場合でも色や輝度レベルの境界等に粒状の模様が出たり、直線が点線になる等の現象が現れる。
【０００６】
本発明はこのような従来技術の欠点を解消し、従来の相関判定よりも誤りの発生を抑えて画質を向上させる信号処理装置およびその処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る信号処理装置は、上述の課題を解決するために、分光感度特性の異なる色のフィルタが配置された色フィルタの中で、最も配置数の多い色フィルタを第１の色フィルタとし、この第１の色フィルタに対応した撮像手段の画素から得られる信号を基に信号処理を行って、この撮像手段の第１の色フィルタとそれぞれ色の異なる第２の色フィルタあるいは第３の色フィルタに対応した画素位置での第１の色フィルタに対応した色成分の信号を補間生成する信号処理装置であって、第１の色フィルタに対応した複数の画素から得られる信号を基に第２の色フィルタあるいは第３の色フィルタに対応した画素位置での第１の色フィルタに関する水平および／または垂直方向の相関値をそれぞれ算出し、この算出した相関値を複数用いて、さらに第１の色フィルタの空隙位置での相関値を算出する相関値算出手段と、この相関値算出手段の結果から第１の色フィルタの空隙位置での相関の強い方向を判定する相関判定手段と、この相関判定手段により判定された相関の強い方向に位置する第１の色フィルタに対応した複数の画素から得られる信号に基づいて第１の色フィルタの空隙位置での色成分の信号を補間生成する色補間生成手段とを有することを特徴とする。
【０００８】
ここで、第１の色フィルタは、緑色のフィルタであり、第１の色フィルタは、第１の色フィルタは、垂直方向に一列に配し、かつパターン全体を斜め45°方向に回転して正方格子配置を成すパターンまたは第１の色フィルタの画素位置が垂直方向あるいは水平方向にずらして配置されているパターンであることが望ましい。
【０００９】
相関判定手段は、相関値算出手段から得られた複数の相関値を基に第１の色フィルタの空隙位置における相関の最も強い方向を判定し、この判定により選ばれた方向で前記第１のフィルタの空隙位置に隣接した画素からの信号を選択することが好ましい。この判定により選ばれた信号を用いることにより判定の誤りを防止する。
【００１０】
相関値算出手段は、画素の水平および／または垂直方向についてそれぞれ算出された複数の相関値に重み係数を掛けて各方向の相関値を算出することが好ましく、この算出によって相関の強い方向が強調されることにより確実な判定方向に導くことができるようになる。
【００１１】
相関値算出手段は、複数の画素からの色成分信号に基づいて算出した相関値にフィルタリング処理を複数回繰り返して施すフィルタリング手段を含むことが望ましい。フィルタリング手段を複数回繰り返すことにより、回路規模をそのままにフィルタリングの効果を発揮させることができる。
【００１２】
本発明に係る信号処理装置は、相関値算出手段で複数個の相関値を水平および／または垂直方向に求め、これらの相関値を基にさらに水平および／または垂直方向の相関を求めた結果について相関判定手段で相関判定を行うことにより、相関の強い方向を知ることができ、この結果に基づいて色補間生成手段により第１の色フィルタの空隙位置で第１の色フィルタの色成分を補間している。
【００１３】
また、本発明に係る処理方法は、分光感度特性の異なる色のフィルタが配置された色フィルタの中で最も配置数の多い色フィルタを第１の色フィルタとし、この色フィルタの透過光を撮像手段で撮像した際に、この撮像手段の第１の色フィルタに対応した画素から得られる信号を基に信号処理を行って、この撮像手段の第１の色フィルタとそれぞれ色の異なる第２の色フィルタあるいは第３の色フィルタに対応した画素での第１の色フィルタに対応した色成分の信号を補間生成する信号処理方法であって、第１の色フィルタに対応した複数の画素から得られる信号を基に第２の色フィルタあるいは第３の色フィルタに対応した画素位置での第１の色フィルタに関する水平および／または垂直方向の相関値をそれぞれ複数個算出する相関値算出工程と、この相関値算出工程で得られた相関値を複数個用いて第２の色フィルタあるいは第３の色フィルタの画素位置での相関値を第１の色フィルタの空隙画素位置での評価用相関値として算出する空隙相関値算出工程と、この空隙相関値算出工程の結果から第１の色フィルタの空隙画素位置での相関の強い方向を判定する相関判定工程と、この相関判定工程により判定された相関の強い方向に位置する第１の色フィルタに対応した複数の画素から得られる信号に基づいて第１の色フィルタの空隙画素位置での第１の色フィルタの成分の信号を補間生成する色補間生成工程とを有することを特徴とする。
【００１４】
ここで、相関判定工程は、相関値算出工程から得られた複数の相関値を基に第１の色フィルタの空隙位置における相関の最も強い方向を判定し、この判定により選ばれた方向で第１の色フィルタの空隙位置に隣接した画素からの信号を選択することが好ましい。この工程での判定により、判定の誤りを避けられるようになる。
【００１５】
空隙相関値算出工程は、画素の水平および／または垂直方向についてそれぞれ算出された複数の相関値に重み係数を掛けて各方向の相関値を算出することが望ましい。この工程により各方向の相関値に際立った差が得られるようになり、判定の困難さを解消する。
【００１６】
空隙相関値算出工程は、複数の画素からの色成分信号に基づいて算出した相関値にフィルタリング処理を複数回繰り返して施す工程を含むと有利である。
【００１７】
色補間生成工程は、相関判定工程での水平および垂直方向についてそれぞれ算出した第１の色フィルタの空隙画素位置での相関値の差が所定のレベル以下の場合、その画素位置の周囲に位置する第１の色フィルタの４画素の平均を用いて補間することが好ましい。
【００１８】
本発明に係る処理方法は、相関値算出工程により水平および／または垂直方向の相関値をそれぞれ複数個算出し、空隙相関値算出工程でこの得られた相関値に基づいて第１の色フィルタの空隙画素位置での相関値を各方向について算出する。相関判定工程では相関の強い方向を判定し、色補間生成工程で相関の強い方向の複数の画素から得られる信号に基づいて第２の色フィルタあるいは前記第３の色フィルタに対応した画素位置での色成分の信号を補間生成することにより、誤った判定の頻度を従来よりも少なく抑えることができる。
【００１９】
【発明の実施の形態】
次に添付図面を参照して本発明による信号処理装置およびその処理方法の実施例を詳細に説明する。
【００２０】
本発明の信号処理装置は、本実施例において撮像部の直前に単板式の色フィルタアレイが採用されたディジタルカメラに適用する。本明細書においてディジタルカメラとは、たとえば電子スチルカメラ等のように静止画を撮影しディジタル信号として記録する機能を有する撮影装置である。本実施例は、本発明を電子スチルカメラに適用した際の構成およびその動作について図１〜図５を参照しながら説明する。
【００２１】
電子スチルカメラ10は、図１に示すようにカメラ本体部11と、メモリカード部20とを備え、両者はコネクタ30を介して一体的に接続されている。カメラ本体部11は光学系11a 、色フィルタアレイ11b 、CCD イメ−ジセンサ11c 、前処理部11d 、A/D 変換部11e 、信号処理部12、データ圧縮部11f 、入出力インターフェース部11g 、データ入力部11h 、およびシステム制御部13を含み、メモリカード部20は入出力インターフェース部21およびメモリカード22を含んでいる。
【００２２】
光学系11a は、撮影レンズ110a、絞り（図示せず）等を含んでいる。色フィルタアレイ11b は、前述したように単板式である。この単板式の色フィルタアレイの配置は、たとえば、図５に示すように三原色をR,G,B で表す。電子スチルカメラ10は、一般に色フィルタアレイの配置にベイヤパターンが主に用いられている。このパターンを適用した場合を説明する。この色フィルタアレイ11b がCCD イメ−ジセンサ11c の撮像面の直前に配設されている。
【００２３】
CCD イメ−ジセンサ11c は、色フィルタアレイ11b の要素に対応したCCD イメ−ジセンサ13のセルが画素としてアレイ状に配置されている。このセルに被写界からの入射光が結像した際にこのセルでは入射光を光電変換している。CCD イメ−ジセンサ11c は画素に対応した信号を前処理部11d に出力する。
【００２４】
前処理部11d は、供給される信号を所望のレベルに増幅処理し、さらにガンマ補正やホワイトバランス処理等を施してA/D 変換部11e に出力する。A/D 変化部11e は、この前処理部11d から出力されるアナログ信号をディジタル信号に変換している。
【００２５】
信号処理部12は、図２に示すようにバッファメモリ12a 、データセレクト部12b 、G 相関算出部12c 、G 相関判定部12d 、RGB 補間部12e 、YC変換部12f 、信号調整部12g を含んでいる。信号処理部12は、A/D 変化部11e から供給されるディジタル信号（以下、データという）に補間処理を施す際に、補間処理を最適にする方向の判定処理も行っている。バッファメモリ12a は、A/D 変換部11e から供給されるデータを記憶している。記憶容量は、たとえば複数のラインメモリの容量でもフレームメモリの容量でもよい。バッファメモリ12a は、システム制御部13から供給される制御信号に応じて画素からそのまま得られるデータで、補間により生成されたデータではない。バッファメモリ12a は、記憶したデータを制御信号に応じてYC変換部12f に出力する。
【００２６】
また、データセレクト部12b もA/D 変換部11e から供給されるデータをそのまま入力する。データセレクト部12b は、後段で詳述するように第１の色フィルタの色に対応するG （緑色）の画素データを取り出し、取り出してG 相関算出部12c に出力するとともに、G 相関判定部12d からの判定結果に応じて相関の強い方向のデータを選択してRGB 補間部12e に出力する。
【００２７】
G 相関算出部12c には、たとえば３つの相関値を算出する場合、データセレクト部12b から水平方向および垂直方向の相関値を算出するためそれぞれ４つの異なる画素位置からのデータが必要になる。G 相関算出部12c は、図４に示すように相関値算出部120 および評価用相関値算出部121 を含んでいる。さらに相関値算出部120 および評価用相関値算出部121 は、水平方向と垂直方向のG 相関を評価するようにこれら各方向に水平相関値算出部12H,および垂直相関値算出部12V の構成とみなすこともできる。この構成においても同様の観点から見て評価用相関値算出部121 には水平評価用相関値算出部121H, および垂直評価用相関値算出部121Vが含まれている。
【００２８】
ところで、この水平相関値算出部120Hには、図４に示すように水平差分演算部12DHおよび水平絶対値算出部12AHが含まれている。水平差分演算部12DHは、データセレクタ部12b から供給された４種類のデータを用いて２つのG 画素データの差分をとっている。水平差分演算部12DHには、３つの相関値を減算処理により算出するために３つの加算器DH1, DH2, DH3 が備えられている。加算器DH1, DH2, DH3 は、それぞれ算出した差分データを水平絶対値算出部（ABS:ABSoluteの略）12AHに出力する。水平絶対値算出部12AHは、この差分データが絶対値として出力されるように処理を水平絶対値処理部AH1, AH2, AH3 で行っている。この処理により出力される値が水平方向の相関値である。これまでは単にこの相関値を用いて相関方向を判定すると誤って相関方向を検出してしまうことがあった。本発明ではこのようにして求めた相関値を用いてさらに評価用の相関値を算出して相関方向の判定に誤りが生じ難いようにしている。水平方向の評価用の相関値を算出するため、水平相関値算出部120Hは、算出した３つの相関値をそれぞれ評価用相関値算出部121 の水平評価用相関値算出部121Hに供給している。
【００２９】
同様に、垂直相関値算出部120Vにも４種類のデータが供給される。垂直相関値算出部120Vは、このデータ供給に対応するよう垂直差分演算部12DVに備えた３つの加算器DV1, DV2, DV3 で差分データを算出し、さらに垂直絶対値処理部AV1, AV2, AV3 によって垂直方向の相関値を求めている。この算出した垂直方向の３つの相関値がそれぞれ評価用相関値算出部121 の垂直評価用相関値算出部121Vに供給される。
【００３０】
評価用相関値算出部121 は、供給された相関値を基にG の画素がない対象位置に対する新たな評価用の相関値を算出する。評価用相関値算出部121 は、演算に用いる相関値が示す位置関係に応じて相関値に乗算する重み係数を変えると良好な相関値が得られる。評価用相関値算出部121 は、このような乗算処理を迅速に、かつ複数回の繰り返し等の処理にも対応可能な点を考慮してローパス機能を有するディジタルフィルタを用いている（図示せず）。本実施例のように３つの相関値が供給された場合、重み係数として評価用相関値算出部121 では、対象位置の相関値に対して係数2 、この対象位置（すなわち、空隙画素位置）の両端に位置する相関値には係数1 が乗算される演算が行われ、得られた結果を1/4 にして評価用の相関値を算出している。すなわち、評価用の相関値は、1:2:1 の比で算出した値を平均して表している。ここで、この評価用の相関値算出に伴う演算は水平、垂直ともに同様の重み係数で行われる。具体的な処理については後段で詳述する。
【００３１】
なお、３つの相関値を用いる場合に限定されず、２つの相関値、４つの相関値、５つの相関値等と相関判定するためのデータを作成してもよいが、現実的に２つの相関値ないし３つの相関値を用いた相関判定で十分誤判定を防止できる。２つの相関値を用いた場合、評価用の相関値算出は算出した相関値を加算して平均をとって行うことが好ましい。
【００３２】
このようにして算出された水平方向と垂直方向の評価用相関値がそれぞれG 相関判定部12d に供給される。
【００３３】
G 相関判定部12d は、供給された水平方向と垂直方向の評価用相関値の大きさを比較するとともに、比較結果に応じて補間に適用する画素の方向を判定する。G 相関判定部12d では、一般に相関の強さに関して前述した画素同士の差分によって算出する場合、画素同士のデータが同程度の値のとき相関が強いと言える。この結果、相関の強さを示す差分値は小さい方が強い相関とになる。この関係を考慮して相関を判定すると、G 相関判定部12d は、この評価用の値の小さい方を選択するようにデータセレクト部12b およびRGB 補間部12e のG 補間部120Gに選択制御信号を出力する。このとき、データセレクト部12b はこの選択制御信号に応じた方向のG の画素データをG セレクト部120Sから２つ選んでRGB 補間部12e のG 補間部120Gに供給する。
【００３４】
ただし、垂直、水平の差が見いだせなかった場合、G 相関判定部12d は、対象画素の周囲に配置されているG 画素を４つ用いて補間する。このため、予めデータラインを４本配設するようにデータセレクト部12b を設定しておいてもよい。 RGB 補間部12e は、上述したG 補間部120Gの他にR 補間部120R, B 補間部120Bを含んでいる。R 補間部120R, B 補間部120Bには、データセレクト部12b で図示しなかったがR, B画素からのデータを選択してそれぞれ３本ずつデータが供給されている。このようにして補間したRGB のデータがYC変換部12f に出力される。
【００３５】
YC変換部12f は、RGB 補間部12e からの補間データとバッファメモリ12a から供給されるデータを用いて輝度信号と色差信号を生成している。信号調整部12g は、ローパスフィルタ部121g、輪郭補正部122g、および色差補正部123gを含んでいる。ローパスフィルタ部121gは、YC変換部12f からのデータに対してディジタルフィルタ構成により帯域制限を施して色差補正部123gに色差データ(B-Y), (R-Y)を供給する。また、YC変換部12f からの輝度データY は輪郭補正部122gに供給される。ここで、輝度データY は、輝度データY の信号帯域まで広がりを含める場合ローパスフィルタ部121gを介して輪郭補正部122gに供給するようにしてもよい。輪郭補正部122gは、輝度データY にアパーチャ（輪郭強調）やコアリング等の補正を施している。このように供給されるデータに対して信号調整部12g で補正処理された輝度データと色差データをデータ圧縮部11f に出力している。
【００３６】
データ圧縮部11f は、信号処理部12から供給される輝度データY, 色差データ(B-Y), (R-Y)のビット数を低減する圧縮処理を行っている。データ圧縮方法には、たとえばハフマン符号化や差分PCM 等を用いている。これによりデータ圧縮部11f は、データ量を抑える処理を施して入出力インターフェース部11g に出力する。
【００３７】
システム制御部13は、図示しないが電子スチルカメラ10を制御するシステムコントローラ、タイミング信号発生部、およびアドレス制御部を含んでいる。システムコントローラは、電子スチルカメラ10を制御するためタイミング信号発生部、およびアドレス制御部も制御している。タイミング信号発生部は、電子スチルカメラ10の駆動および動作タイミングを調整する信号等を発生して図１に示すように各部に供給している。また、アドレス制御部は、信号処理部12においてアドレスの関与するバッファメモリ12a に用いて有利である。これらの制御は入出力インターフェース部11g を介してデータ、アドレスを行う。
【００３８】
また、データ入力部11h は、ユーザの操作するモード選択、シャッタ・レリーズボタン（いずれも図示せず）等の設定や押圧指示の情報をシステム制御部13に送っている。
【００３９】
次に前述したように各部が構成されている信号処理部12の動作について図３にのデータセレクタ部12b および図４のG 相関算出部12c のさらなる詳細な構成ならびに図５のCCD イメージセンサ11c から取り出される画素位置の関係を示す配置パターンを必要に応じて参照しながら説明する。ここで、CCD イメージセンサ11c からは図５(a) に示すベイヤ配列の色フィルタアレイ11b を適用しているので、このパターンに対応した信号が得られる。配列の位置は添字m,n で表す。基本的にG 画素の水平方向の相関値は、G 画素データのない画素を横方向に見て隣接する画素を用い、両側に位置する画素の差分の絶対値により求められる。また、G 画素の垂直方向の相関値もG 画素データでない画素から縦方向に見て隣接する画素を用い、それぞれG 画素データのない画素を挟んで上下に位置する画素の差分をとり、この差分の絶対値で算出される。
【００４０】
この関係からベイヤ配列においてG 画素データでない画素（G 空隙画素）、すなわちR, B画素の位置で相関値を算出しなければならない。算出された相関値の位置は、画素を表したと同じ添字番号で表す（図５(b) を参照）。
【００４１】
CCD イメージセンサ11c から得られる信号に基づき３つの相関値を用いてたとえば図５(a) の色フィルタアレイ11b の画素B34 での相関のあるG 画素データの方向を選択する場合を説明する。CCD イメージセンサ11c は、各セルで撮影された信号電荷が垂直転送レジスタ（図示せず）に読み出され水平転送レジスタ（図示せず）から信号を取り出しているので、信号はたとえば図５(a) の場合、添字m=6 のライン位置の画素をn=0 から数値の増加する横方向に順次読み出され、次の読出しでは直上の行、すなわちm=5 のライン位置の画素からのデータが順次読み出される。この場合、読出し方向はm の値の大から小の方へと読み出しが行われていくことになる。このデータをそのままA/D 変換部11e を介してデータセレクト部12a に供給する。データセレクト部12a は、６つの1H遅延回路DL1 〜DL6 と、１画素分のデータ遅延をさせる23個の遅延回路DL7 〜DL29と、G データの選択方向に対応したデータを出力するG セレクト部120Sとを備えている。遅延回路は、D ラッチで構成しても遅延素子で構成してもよい。
【００４２】
〈垂直相関値SV34の算出〉
前述したように図５(a) の画素B34 の位置での相関値算出には、図５(b) に示すように垂直方向に３つの相関値Sv14, Sv34, Sv54が必要である。さらに、これら３つの相関値を算出するには、図５(a) のG 画素データ、すなわち４つのG04, G24, G44, G64が必要である。データセレクト部12a に供給されたデータは、図３に示すように添字m=2,4,6 に対応した遅延出力が得られるように1H遅延回路を設ける。これにより、垂直方向にm=0,2,4,6 のライン位置に対応した遅延出力が得られる。各ラインでそれぞれ４つの遅延回路を経ることにより必要とされる４画素位置の出力を同時に得られるようになる。遅延回路DL10は画素G04 データを出力する。同様に、画素G24, G44, G64 がそれぞれ遅延回路DL14, DL25, DL29から得られる。遅延回路DL10, DL14, DL25, DL29は、各出力を垂直差分演算部12DVに供給する。また、画素G24, G44位置のデータは、空隙位置に隣接した画素データであるからG セレクト部120Sに供給される。
【００４３】
垂直差分演算部12DVは、遅延回路DL10から画素G04 のデータを加算器DV1 に加算入力し、遅延回路DL14から画素G24 のデータを加算器DV1 に減算入力するとともに、加算器DV2 に加算入力する。また、加算器DV2 の他端側には遅延回路DL25から画素G44 のデータが減算入力され、加算器DV3 には加算入力される。最後に、この加算器DV3 の他端側には遅延回路DL29から画素G64 のデータが減算入力される。
【００４４】
これにより、加算器DV1, DV2, DV3 は、それぞれ、差分G04-G24, G24-G44, G44-G64 を算出して垂直絶対値算出部12AVに供給する。垂直絶対値算出部12AVは、垂直絶対値処理部AV1, AV2, AV3 で供給される差分データを絶対値で表す処理を施して画素B14, B34, B54 位置での相関値S14=|G04-G24|, S34=|G24-G44|, S54=|G44-G64| を算出している（垂直方向に関する相関値算出工程）。
【００４５】
相関値Sv14, Sv34, Sv54は、垂直評価用相関値算出部121Vに供給される。垂直評価用相関値算出部121Vは、新たな垂直方向の評価用相関値SV34として相関値Sv14, Sv34, Sv54に対してそれぞれ1:2:1 の重み係数を掛け、さらに４分割して表される式(1)
【００４６】
【数１】
SV34＝(Sv14+2*Sv34+Sv54)/4 ・・・(1)
を導入する。図示しないがディジタルフィルタを用いると、演算に対応する処理を効果的に行うことができる。このようにして垂直方向の評価用相関値SV34を算出してG 相関判定部12d の一端側に供給される（垂直方向の空隙相関値算出工程）。
【００４７】
〈水平相関値SH34の算出〉
図５(a) の画素B34 の位置での相関値算出には、たとえば水平方向において図５(b) に示すように３つの相関値Sh32, Sh34, Sh36が必要である。さらに、これら３つの相関値を算出するには、図５(a) のG 画素データ、すなわち４つのG31, G33, G35, G37が必要である。データセレクト部12a に供給されたデータは、図３に示すように添字n=1,3,5,7 に対応して遅延出力が得られるように遅延回路を設ける。この水平方向の遅延では垂直方向に3Hの遅延後に行われなければならない。さらに、1H遅延回路DL3 からの出力を最大 7段階まで遅延させる必要があることから水平方向の遅延のために遅延回路DL15〜DL21を設ける。m,n は垂直方向と水平方向に対応した遅延段数を表す。このように遅延させることによりm=3, n=1に対応する遅延回路DL15からは、画素G37 からのデータが選択されることになる。同様に、複数の遅延回路を経ることにより、画素G35, G33, G31 がそれぞれ遅延回路DL17, DL19, DL21から得られる。遅延回路DL15, DL17, DL19, DL21は、各出力を水平差分演算部12DHに供給する。また、画素G33, G35からのデータはG セレクト部120Sに供給される。
【００４８】
水平差分演算部12DHは、遅延回路DL21からデータG31 を加算器DH1 に減算入力し、遅延回路DL19から画素G33 のデータを加算器DH1 に加算入力するとともに、加算器DH2 に減算入力する。また、加算器DH2 の他端側には遅延回路DL17から画素G35 のデータが加算入力され、加算器DH3 には減算入力される。最後に、この加算器DH3 の他端側には遅延回路DL15から画素G37 のデータが加算入力される。
【００４９】
これにより、加算器DH1, DH2, DH3 は、それぞれ、差分G33-G31, G35-G33, G3 7-G35 を算出して水平絶対値算出部12AHに供給する。水平絶対値算出部12AHは、水平絶対値処理部AH1, AH2, AH3 で供給される差分データを絶対値で表す処理を施して画素B32, B34, B36 位置での相関値Sh32=|G33-G31|, Sh34=|G35-G33|, Sh36=|G37-G35|を算出している（水平方向に関する相関値算出工程）。
【００５０】
相関値Sh32, Sh34, S h36 は、水平評価用相関値算出部121Hに供給される。水平評価用相関値算出部121Hは、新たな垂直方向の評価用相関値SH34として相関値Sh32, Sh34, S h36 に対してそれぞれ1:2:1 の重み係数を掛け、さらに４分割して表される式(2)
【００５１】
【数２】
SH34＝(Sh32+2*Sh34+S h36 )/4 ・・・(2)
を導入する。図示しないがこの場合もディジタルフィルタを用いると、演算に対応する処理を効果的に行うことができる。このようにして水平方向の評価用相関値SH34を算出してG 相関判定部12d の他端側に供給される（水平方向の空隙相関値算出工程）。
【００５２】
〈G 相関判定〉
G 相関判定部12d は、供給された垂直方向の評価用相関値SV34と水平方向の評価用相関値SH34の大きさを比較する。このとき、相関の強さは、前述したように差分に基づいて相関値を算出しているので、小さい程、相関が強いと判定される。この関係に基づいてたとえば水平方向の相関が強いと判定されると、選択制御信号がデータセレクト部12a のG セレクト部120SにデータG33, G35を選択するように出力されるとともに、G 補間部120Gにも水平方向の補間を行うように出力する（相関判定工程）。これと逆の判定結果が得られたとき、選択制御信号がデータG24, G44を選択するようにG セレクト部120Sに出力され、かつG 補間部120Gに垂直方向の補間を行うように出力する。
【００５３】
G セレクト部120Sは、供給される選択制御信号に応じて２つのG データをRGB 補間部12e のG 補間部120Gに出力する。
【００５４】
〈色補間処理〉
RGB 補間部12e は、９個の画素を用いて演算する。G 補間部120GはG 相関判定部12d からの選択制御信号に応じて選択された方向に対して補間処理を施す。補間処理をたとえばこれまで用いてきた画素B34 の位置を中心とする周囲の８画素で行う場合を考える。このとき、図５（a)から明らかなように奇数フィールドにおいて９画素中のG 画素は偶数個なので、G 補間部120GはG セレクト部120Sから供給されるG 画素を用いて補間演算を行う。ここで、G 補間部120Gは水平方向に相関があるという選択制御信号を受けていると、補間処理を水平方向だけ行うようにして補間画素GCを算出する。この場合、補間画素GCは
【００５５】
【数３】
GC=(G33+G35)/2=G34 ・・・(3)
という式(3) で表される。ところで、相関値に水平・垂直で差がなかった場合、この周囲の４画素G24, G33, G35, G44の加算平均で算出する。
【００５６】
また、R 補間部120Bは、水平方向のR 補間をRh、垂直方向のR 補間をRVとすると、
【００５７】
【数４】
Rh=(G34*R24)/G24=(G33+G35)(R23+R25)/(4G24) ・・・(4)
【００５８】
【数５】
Rv=(R33*G34)/G33=(R23+R43)(G24+G44)/(4G33) ・・・(5)
という式(4),式(5) により得られる。
【００５９】
B 補間部120Bは、水平方向のB 補間をBh、垂直方向のB 補間をBVとすると、画素B34 を対応させる。このようにしてG 画素の画素数が偶数個のときRGB の各画素について補間を行っている。
【００６０】
また、このRGB 補間部12e において、補間に用いる９画素がたとえば画素G33 を中心とした領域の補間の場合、図５(a) から明らかなようにG 画素はG22, G24, G33, G42, G44 と奇数個ある。この場合、G 補間部120Gは、補間画素GCをG33 に等しいとして扱う。
【００６１】
R 補間部120Bは、水平方向のR 補間をRh、垂直方向のR 補間をRVとすると、
【００６２】
【数６】
Rh=(G33*R24)/G23=(2G33*R24)/(G22+G24) ・・・(6)
【００６３】
【数７】
Rv=(R24+R43)/2 ・・・(7)
という式(6),式(7) により得られる。
【００６４】
一方、B 補間部120Bは、水平方向のB 補間をBh、垂直方向のB 補間をBVとすると、
【００６５】
【数８】
Bh=(B32+B34)/2 ・・・(8)
【００６６】
【数９】
Bv=(G33*B32)/G32=(2G33*B32)/(G22+G42) ・・・(9)
という式(6),式(7) によりそれぞれ得られる。このようにしてG 画素の画素数が奇数個のときRGB の各画素について補間を行っている。
【００６７】
ところで、奇数フィールドと偶数フィールドの関係は画素R と画素B を入れ換えたものとして演算関係の同様に入れ換えることで対処できる。この詳細な関係は、たとえば特開平7-236147号公報に一般的な関係が記載されている。
【００６８】
このRGB 補間部12e は、各画素に対するそれぞれ補間処理をそれぞれ行ってYC変換部12f にRGB のデータを出力する。
【００６９】
YC変換部12f は供給されたRGB の各データと１水平期間（1H）遅延させた各色のデータとに基づいて高域輝度信号YH, 低域輝度信号YLを発生させる。YC変換部12f は、たとえば低域輝度信号YLから高域輝度信号YHを減算したデータを通過帯域を0.7MHzまでとするディジタルローパスフィルタを介してYCを生成する。また、高域輝度信号YHは通過帯域を4.2MHzまでとするディジタルローパスフィルタを介して帯域制限された高域輝度信号YHになる。YC変換部12f においてYCと帯域制限された高域輝度信号YHとを加算して高域および低域の輝度成分を含む輝度信号Y が生成される。
【００７０】
YC変換部12f は供給されたRGB の各データと１水平期間（1H）遅延させた各色のデータとに基づいて色差信号(R-Y), (B-Y)のデータも生成している。これらの生成された各種データは信号調整部12g に供給される。信号調整部12g は供給されたデータに信号処理を施してY データ、(B-Y) データ、(R-Y) データを出力する。
【００７１】
このように信号処理部12は補間処理を行う前に相関の強い方向を的確に、従来に比べて誤判定を抑えて指摘できるので、誤判定した際にこれまで生じていた色偽や境界領域の粒状模様等の発生を抑えることができる。したがって、この処理により、得られる撮像された画像の品質を高く確実に保てるようになる。
【００７２】
なお、縦方向にG をストライプ配設しこのG ストライプを挟んだ両側の位置を縦方向にR, Bを交互に配設してアレイがある。このようなパターンの色フィルタをG ストライプRB市松パターンと呼ぶ。単板式の色フィルタアレイには、G 色に着目すると、G がストライプに配置されたこのG ストライプRB市松パターンの他にG ストライプRB完全市松パターン、G ストライプが２列毎に配置されたストライプパターンや、G ストライプのパターンを斜め45°回転させたG 色の正方格子状の配置パターンとして前述した実施例のベイヤ、インタライン、斜めストライプ等のパターンがある。本発明は前述の実施例のパターンに限定されるものでなく、この配列を考慮してたとえば複数のフレームメモリを用いてG 画素のデータを選択して相関関係を広い範囲にわたるデータによって求めれば相関判定の誤りを抑え、そして補間処理することで良好な画像を得ることができる。
【００７３】
また、前述の実施例では基本的に相関値を単に減算による差分で求めたが空隙位置を挟んで位置するG 画素の平均値の差分を基にして相関を調べてもよい。本発明は、前述の実施例でハードウェアの構成を用いて説明したが、相関値算出およびその相関値による相関方向の判定をソフトウェアにより行ってもよく装置の簡略化も図ることができる。
【００７４】
【発明の効果】
このように本発明に係る信号処理装置およびその処理方法によれば、相関算出手段で複数個の相関値を水平および／または垂直方向に求め、これらの相関値を基にさらに水平および／または垂直方向の相関を求めた結果について相関判定手段で相関判定を行って、この判定結果に基づいて色補間生成手段により第１の色フィルタの空隙位置で第１の色フィルタの色成分の信号を補間することにより、より強く相関している方向を正確に知り得ることができるので、誤判定を従来よりも低く抑えることができる。これにより、画像劣化させる信号の発生が抑えられ、結果として出力される画像を高画質に保つことができる。
【図面の簡単な説明】
【図１】本発明に係る信号処理装置を電子スチルカメラに適用した際の概略的なブロック図である。
【図２】図１に示した信号処理部の概略的な構成を説明するブロック図である。
【図３】図２の信号処理部におけるデータセレクト部の一例を示す構成図である。
【図４】図２の信号処理部において設定したデータセレクトに対応させたG 相関算出部の一例を示す構成図である。
【図５】図１に示した色フィルタアレイにおける各色の配列パターンと得られる相関値算出位置の関係を説明する図である。
【符号の説明】
10 電子スチルカメラ
11a 光学系
11b 色フィルタアレイ
11c CCD イメ−ジセンサ
11d A/D 変換部
12 信号処理部
12a バッファメモリ
12b データセレクト部
12c G 相関値算出部
12d G 相関判定部
12e RGB 補間部
12f YC変換部
12g 信号調整部
120 相関値算出部
121 評価用相関値算出部
【発明の属する技術分野】
本発明は、被写界からの入射光を撮像手段で撮像し、撮像手段の画素から得られる信号に相関処理等の信号処理を施す信号処理装置およびその処理方法に関し、特に、単板式の色フィルタを撮像手段の直前に配して、この撮像手段の画素から得られる信号の補間処理を伴う信号処理に適用して好適なものである。
【０００２】
【従来の技術】
たとえば電子スチルカメラやビデオカメラ等は、被写界からの入射光を撮像部に用いている、たとえば固体撮像デバイスを含む画素セルで光電変換している。特に、この撮像部の直前に単板式の色フィルタが用いられている場合、撮像部は各画素から色フィルタの色に対応して三原色R,G,B のいずれか一つの色の信号しか得られない。そこで、画質の向上を図るため一般的にはたとえば水平方向の相関性を利用して対応していない色の信号を補間して求めている。
【０００３】
単純な補間方法によれば、例えば白と黒の境界に偽色が発生することが知られている。この偽色の改善を図る方法として、たとえばローパスフィルタを適用したり、白黒のエッジ境界の色信号を抑圧する方法等、各種の改善方法が検討されてきている。ローパスフィルタの場合、信号レベルの低下により偽色を抑えるが完全になくすことができず、場合によっては偽色範囲を拡大させてしまう。また、抑圧方法では本来の色信号も抑圧することにより境界付近で色がなくなってしまう虞れがある。このような色偽信号の発生を防止する色分離回路が特開平7-236147号公報に開示されている。この色分離回路は、垂直及び若しくは水平方向の相関関係を考慮して色偽信号の発生を抑えている。
【０００４】
また、このような相関関係を用いて偽りの信号発生を抑えるものに特開平7-298275号公報に開示されたビデオカメラの信号処理回路がある。信号処理回路は、撮像素子出力に基づき水平方向と垂直方向の相関値を検出し、これらの値に基づいて各方向の相関値の混合比率を制御している。これにより、信号処理回路は、たとえば輪郭強調の場合、アパーチャ信号（あるいは輪郭強調信号）を供給して鮮鋭度を高め、本来、輝度変化のない部分に発生する輝度ムラを抑えて画像の高画質化を図っている。
【０００５】
【発明が解決しようとする課題】
ところで、前述した提案では算出した水平方向と垂直方向の相関値を基に相関の強い方向を判別している。しかしながら、判定に誤りを生じてしまう場合があった。この相関判定での誤判定によって色偽信号が発生した。たとえばG ストライプRB市松パターンの色フィルタやベイヤ配列の色フィルタ等を適用した場合、画像には判定を誤ると、前者のパターンでは特にG とR の間に筋が生じることがあり、また、後者のような配列の場合でも色や輝度レベルの境界等に粒状の模様が出たり、直線が点線になる等の現象が現れる。
【０００６】
本発明はこのような従来技術の欠点を解消し、従来の相関判定よりも誤りの発生を抑えて画質を向上させる信号処理装置およびその処理方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る信号処理装置は、上述の課題を解決するために、分光感度特性の異なる色のフィルタが配置された色フィルタの中で、最も配置数の多い色フィルタを第１の色フィルタとし、この第１の色フィルタに対応した撮像手段の画素から得られる信号を基に信号処理を行って、この撮像手段の第１の色フィルタとそれぞれ色の異なる第２の色フィルタあるいは第３の色フィルタに対応した画素位置での第１の色フィルタに対応した色成分の信号を補間生成する信号処理装置であって、第１の色フィルタに対応した複数の画素から得られる信号を基に第２の色フィルタあるいは第３の色フィルタに対応した画素位置での第１の色フィルタに関する水平および／または垂直方向の相関値をそれぞれ算出し、この算出した相関値を複数用いて、さらに第１の色フィルタの空隙位置での相関値を算出する相関値算出手段と、この相関値算出手段の結果から第１の色フィルタの空隙位置での相関の強い方向を判定する相関判定手段と、この相関判定手段により判定された相関の強い方向に位置する第１の色フィルタに対応した複数の画素から得られる信号に基づいて第１の色フィルタの空隙位置での色成分の信号を補間生成する色補間生成手段とを有することを特徴とする。
【０００８】
ここで、第１の色フィルタは、緑色のフィルタであり、第１の色フィルタは、第１の色フィルタは、垂直方向に一列に配し、かつパターン全体を斜め45°方向に回転して正方格子配置を成すパターンまたは第１の色フィルタの画素位置が垂直方向あるいは水平方向にずらして配置されているパターンであることが望ましい。
【０００９】
相関判定手段は、相関値算出手段から得られた複数の相関値を基に第１の色フィルタの空隙位置における相関の最も強い方向を判定し、この判定により選ばれた方向で前記第１のフィルタの空隙位置に隣接した画素からの信号を選択することが好ましい。この判定により選ばれた信号を用いることにより判定の誤りを防止する。
【００１０】
相関値算出手段は、画素の水平および／または垂直方向についてそれぞれ算出された複数の相関値に重み係数を掛けて各方向の相関値を算出することが好ましく、この算出によって相関の強い方向が強調されることにより確実な判定方向に導くことができるようになる。
【００１１】
相関値算出手段は、複数の画素からの色成分信号に基づいて算出した相関値にフィルタリング処理を複数回繰り返して施すフィルタリング手段を含むことが望ましい。フィルタリング手段を複数回繰り返すことにより、回路規模をそのままにフィルタリングの効果を発揮させることができる。
【００１２】
本発明に係る信号処理装置は、相関値算出手段で複数個の相関値を水平および／または垂直方向に求め、これらの相関値を基にさらに水平および／または垂直方向の相関を求めた結果について相関判定手段で相関判定を行うことにより、相関の強い方向を知ることができ、この結果に基づいて色補間生成手段により第１の色フィルタの空隙位置で第１の色フィルタの色成分を補間している。
【００１３】
また、本発明に係る処理方法は、分光感度特性の異なる色のフィルタが配置された色フィルタの中で最も配置数の多い色フィルタを第１の色フィルタとし、この色フィルタの透過光を撮像手段で撮像した際に、この撮像手段の第１の色フィルタに対応した画素から得られる信号を基に信号処理を行って、この撮像手段の第１の色フィルタとそれぞれ色の異なる第２の色フィルタあるいは第３の色フィルタに対応した画素での第１の色フィルタに対応した色成分の信号を補間生成する信号処理方法であって、第１の色フィルタに対応した複数の画素から得られる信号を基に第２の色フィルタあるいは第３の色フィルタに対応した画素位置での第１の色フィルタに関する水平および／または垂直方向の相関値をそれぞれ複数個算出する相関値算出工程と、この相関値算出工程で得られた相関値を複数個用いて第２の色フィルタあるいは第３の色フィルタの画素位置での相関値を第１の色フィルタの空隙画素位置での評価用相関値として算出する空隙相関値算出工程と、この空隙相関値算出工程の結果から第１の色フィルタの空隙画素位置での相関の強い方向を判定する相関判定工程と、この相関判定工程により判定された相関の強い方向に位置する第１の色フィルタに対応した複数の画素から得られる信号に基づいて第１の色フィルタの空隙画素位置での第１の色フィルタの成分の信号を補間生成する色補間生成工程とを有することを特徴とする。
【００１４】
ここで、相関判定工程は、相関値算出工程から得られた複数の相関値を基に第１の色フィルタの空隙位置における相関の最も強い方向を判定し、この判定により選ばれた方向で第１の色フィルタの空隙位置に隣接した画素からの信号を選択することが好ましい。この工程での判定により、判定の誤りを避けられるようになる。
【００１５】
空隙相関値算出工程は、画素の水平および／または垂直方向についてそれぞれ算出された複数の相関値に重み係数を掛けて各方向の相関値を算出することが望ましい。この工程により各方向の相関値に際立った差が得られるようになり、判定の困難さを解消する。
【００１６】
空隙相関値算出工程は、複数の画素からの色成分信号に基づいて算出した相関値にフィルタリング処理を複数回繰り返して施す工程を含むと有利である。
【００１７】
色補間生成工程は、相関判定工程での水平および垂直方向についてそれぞれ算出した第１の色フィルタの空隙画素位置での相関値の差が所定のレベル以下の場合、その画素位置の周囲に位置する第１の色フィルタの４画素の平均を用いて補間することが好ましい。
【００１８】
本発明に係る処理方法は、相関値算出工程により水平および／または垂直方向の相関値をそれぞれ複数個算出し、空隙相関値算出工程でこの得られた相関値に基づいて第１の色フィルタの空隙画素位置での相関値を各方向について算出する。相関判定工程では相関の強い方向を判定し、色補間生成工程で相関の強い方向の複数の画素から得られる信号に基づいて第２の色フィルタあるいは前記第３の色フィルタに対応した画素位置での色成分の信号を補間生成することにより、誤った判定の頻度を従来よりも少なく抑えることができる。
【００１９】
【発明の実施の形態】
次に添付図面を参照して本発明による信号処理装置およびその処理方法の実施例を詳細に説明する。
【００２０】
本発明の信号処理装置は、本実施例において撮像部の直前に単板式の色フィルタアレイが採用されたディジタルカメラに適用する。本明細書においてディジタルカメラとは、たとえば電子スチルカメラ等のように静止画を撮影しディジタル信号として記録する機能を有する撮影装置である。本実施例は、本発明を電子スチルカメラに適用した際の構成およびその動作について図１〜図５を参照しながら説明する。
【００２１】
電子スチルカメラ10は、図１に示すようにカメラ本体部11と、メモリカード部20とを備え、両者はコネクタ30を介して一体的に接続されている。カメラ本体部11は光学系11a 、色フィルタアレイ11b 、CCD イメ−ジセンサ11c 、前処理部11d 、A/D 変換部11e 、信号処理部12、データ圧縮部11f 、入出力インターフェース部11g 、データ入力部11h 、およびシステム制御部13を含み、メモリカード部20は入出力インターフェース部21およびメモリカード22を含んでいる。
【００２２】
光学系11a は、撮影レンズ110a、絞り（図示せず）等を含んでいる。色フィルタアレイ11b は、前述したように単板式である。この単板式の色フィルタアレイの配置は、たとえば、図５に示すように三原色をR,G,B で表す。電子スチルカメラ10は、一般に色フィルタアレイの配置にベイヤパターンが主に用いられている。このパターンを適用した場合を説明する。この色フィルタアレイ11b がCCD イメ−ジセンサ11c の撮像面の直前に配設されている。
【００２３】
CCD イメ−ジセンサ11c は、色フィルタアレイ11b の要素に対応したCCD イメ−ジセンサ13のセルが画素としてアレイ状に配置されている。このセルに被写界からの入射光が結像した際にこのセルでは入射光を光電変換している。CCD イメ−ジセンサ11c は画素に対応した信号を前処理部11d に出力する。
【００２４】
前処理部11d は、供給される信号を所望のレベルに増幅処理し、さらにガンマ補正やホワイトバランス処理等を施してA/D 変換部11e に出力する。A/D 変化部11e は、この前処理部11d から出力されるアナログ信号をディジタル信号に変換している。
【００２５】
信号処理部12は、図２に示すようにバッファメモリ12a 、データセレクト部12b 、G 相関算出部12c 、G 相関判定部12d 、RGB 補間部12e 、YC変換部12f 、信号調整部12g を含んでいる。信号処理部12は、A/D 変化部11e から供給されるディジタル信号（以下、データという）に補間処理を施す際に、補間処理を最適にする方向の判定処理も行っている。バッファメモリ12a は、A/D 変換部11e から供給されるデータを記憶している。記憶容量は、たとえば複数のラインメモリの容量でもフレームメモリの容量でもよい。バッファメモリ12a は、システム制御部13から供給される制御信号に応じて画素からそのまま得られるデータで、補間により生成されたデータではない。バッファメモリ12a は、記憶したデータを制御信号に応じてYC変換部12f に出力する。
【００２６】
また、データセレクト部12b もA/D 変換部11e から供給されるデータをそのまま入力する。データセレクト部12b は、後段で詳述するように第１の色フィルタの色に対応するG （緑色）の画素データを取り出し、取り出してG 相関算出部12c に出力するとともに、G 相関判定部12d からの判定結果に応じて相関の強い方向のデータを選択してRGB 補間部12e に出力する。
【００２７】
G 相関算出部12c には、たとえば３つの相関値を算出する場合、データセレクト部12b から水平方向および垂直方向の相関値を算出するためそれぞれ４つの異なる画素位置からのデータが必要になる。G 相関算出部12c は、図４に示すように相関値算出部120 および評価用相関値算出部121 を含んでいる。さらに相関値算出部120 および評価用相関値算出部121 は、水平方向と垂直方向のG 相関を評価するようにこれら各方向に水平相関値算出部12H,および垂直相関値算出部12V の構成とみなすこともできる。この構成においても同様の観点から見て評価用相関値算出部121 には水平評価用相関値算出部121H, および垂直評価用相関値算出部121Vが含まれている。
【００２８】
ところで、この水平相関値算出部120Hには、図４に示すように水平差分演算部12DHおよび水平絶対値算出部12AHが含まれている。水平差分演算部12DHは、データセレクタ部12b から供給された４種類のデータを用いて２つのG 画素データの差分をとっている。水平差分演算部12DHには、３つの相関値を減算処理により算出するために３つの加算器DH1, DH2, DH3 が備えられている。加算器DH1, DH2, DH3 は、それぞれ算出した差分データを水平絶対値算出部（ABS:ABSoluteの略）12AHに出力する。水平絶対値算出部12AHは、この差分データが絶対値として出力されるように処理を水平絶対値処理部AH1, AH2, AH3 で行っている。この処理により出力される値が水平方向の相関値である。これまでは単にこの相関値を用いて相関方向を判定すると誤って相関方向を検出してしまうことがあった。本発明ではこのようにして求めた相関値を用いてさらに評価用の相関値を算出して相関方向の判定に誤りが生じ難いようにしている。水平方向の評価用の相関値を算出するため、水平相関値算出部120Hは、算出した３つの相関値をそれぞれ評価用相関値算出部121 の水平評価用相関値算出部121Hに供給している。
【００２９】
同様に、垂直相関値算出部120Vにも４種類のデータが供給される。垂直相関値算出部120Vは、このデータ供給に対応するよう垂直差分演算部12DVに備えた３つの加算器DV1, DV2, DV3 で差分データを算出し、さらに垂直絶対値処理部AV1, AV2, AV3 によって垂直方向の相関値を求めている。この算出した垂直方向の３つの相関値がそれぞれ評価用相関値算出部121 の垂直評価用相関値算出部121Vに供給される。
【００３０】
評価用相関値算出部121 は、供給された相関値を基にG の画素がない対象位置に対する新たな評価用の相関値を算出する。評価用相関値算出部121 は、演算に用いる相関値が示す位置関係に応じて相関値に乗算する重み係数を変えると良好な相関値が得られる。評価用相関値算出部121 は、このような乗算処理を迅速に、かつ複数回の繰り返し等の処理にも対応可能な点を考慮してローパス機能を有するディジタルフィルタを用いている（図示せず）。本実施例のように３つの相関値が供給された場合、重み係数として評価用相関値算出部121 では、対象位置の相関値に対して係数2 、この対象位置（すなわち、空隙画素位置）の両端に位置する相関値には係数1 が乗算される演算が行われ、得られた結果を1/4 にして評価用の相関値を算出している。すなわち、評価用の相関値は、1:2:1 の比で算出した値を平均して表している。ここで、この評価用の相関値算出に伴う演算は水平、垂直ともに同様の重み係数で行われる。具体的な処理については後段で詳述する。
【００３１】
なお、３つの相関値を用いる場合に限定されず、２つの相関値、４つの相関値、５つの相関値等と相関判定するためのデータを作成してもよいが、現実的に２つの相関値ないし３つの相関値を用いた相関判定で十分誤判定を防止できる。２つの相関値を用いた場合、評価用の相関値算出は算出した相関値を加算して平均をとって行うことが好ましい。
【００３２】
このようにして算出された水平方向と垂直方向の評価用相関値がそれぞれG 相関判定部12d に供給される。
【００３３】
G 相関判定部12d は、供給された水平方向と垂直方向の評価用相関値の大きさを比較するとともに、比較結果に応じて補間に適用する画素の方向を判定する。G 相関判定部12d では、一般に相関の強さに関して前述した画素同士の差分によって算出する場合、画素同士のデータが同程度の値のとき相関が強いと言える。この結果、相関の強さを示す差分値は小さい方が強い相関とになる。この関係を考慮して相関を判定すると、G 相関判定部12d は、この評価用の値の小さい方を選択するようにデータセレクト部12b およびRGB 補間部12e のG 補間部120Gに選択制御信号を出力する。このとき、データセレクト部12b はこの選択制御信号に応じた方向のG の画素データをG セレクト部120Sから２つ選んでRGB 補間部12e のG 補間部120Gに供給する。
【００３４】
ただし、垂直、水平の差が見いだせなかった場合、G 相関判定部12d は、対象画素の周囲に配置されているG 画素を４つ用いて補間する。このため、予めデータラインを４本配設するようにデータセレクト部12b を設定しておいてもよい。 RGB 補間部12e は、上述したG 補間部120Gの他にR 補間部120R, B 補間部120Bを含んでいる。R 補間部120R, B 補間部120Bには、データセレクト部12b で図示しなかったがR, B画素からのデータを選択してそれぞれ３本ずつデータが供給されている。このようにして補間したRGB のデータがYC変換部12f に出力される。
【００３５】
YC変換部12f は、RGB 補間部12e からの補間データとバッファメモリ12a から供給されるデータを用いて輝度信号と色差信号を生成している。信号調整部12g は、ローパスフィルタ部121g、輪郭補正部122g、および色差補正部123gを含んでいる。ローパスフィルタ部121gは、YC変換部12f からのデータに対してディジタルフィルタ構成により帯域制限を施して色差補正部123gに色差データ(B-Y), (R-Y)を供給する。また、YC変換部12f からの輝度データY は輪郭補正部122gに供給される。ここで、輝度データY は、輝度データY の信号帯域まで広がりを含める場合ローパスフィルタ部121gを介して輪郭補正部122gに供給するようにしてもよい。輪郭補正部122gは、輝度データY にアパーチャ（輪郭強調）やコアリング等の補正を施している。このように供給されるデータに対して信号調整部12g で補正処理された輝度データと色差データをデータ圧縮部11f に出力している。
【００３６】
データ圧縮部11f は、信号処理部12から供給される輝度データY, 色差データ(B-Y), (R-Y)のビット数を低減する圧縮処理を行っている。データ圧縮方法には、たとえばハフマン符号化や差分PCM 等を用いている。これによりデータ圧縮部11f は、データ量を抑える処理を施して入出力インターフェース部11g に出力する。
【００３７】
システム制御部13は、図示しないが電子スチルカメラ10を制御するシステムコントローラ、タイミング信号発生部、およびアドレス制御部を含んでいる。システムコントローラは、電子スチルカメラ10を制御するためタイミング信号発生部、およびアドレス制御部も制御している。タイミング信号発生部は、電子スチルカメラ10の駆動および動作タイミングを調整する信号等を発生して図１に示すように各部に供給している。また、アドレス制御部は、信号処理部12においてアドレスの関与するバッファメモリ12a に用いて有利である。これらの制御は入出力インターフェース部11g を介してデータ、アドレスを行う。
【００３８】
また、データ入力部11h は、ユーザの操作するモード選択、シャッタ・レリーズボタン（いずれも図示せず）等の設定や押圧指示の情報をシステム制御部13に送っている。
【００３９】
次に前述したように各部が構成されている信号処理部12の動作について図３にのデータセレクタ部12b および図４のG 相関算出部12c のさらなる詳細な構成ならびに図５のCCD イメージセンサ11c から取り出される画素位置の関係を示す配置パターンを必要に応じて参照しながら説明する。ここで、CCD イメージセンサ11c からは図５(a) に示すベイヤ配列の色フィルタアレイ11b を適用しているので、このパターンに対応した信号が得られる。配列の位置は添字m,n で表す。基本的にG 画素の水平方向の相関値は、G 画素データのない画素を横方向に見て隣接する画素を用い、両側に位置する画素の差分の絶対値により求められる。また、G 画素の垂直方向の相関値もG 画素データでない画素から縦方向に見て隣接する画素を用い、それぞれG 画素データのない画素を挟んで上下に位置する画素の差分をとり、この差分の絶対値で算出される。
【００４０】
この関係からベイヤ配列においてG 画素データでない画素（G 空隙画素）、すなわちR, B画素の位置で相関値を算出しなければならない。算出された相関値の位置は、画素を表したと同じ添字番号で表す（図５(b) を参照）。
【００４１】
CCD イメージセンサ11c から得られる信号に基づき３つの相関値を用いてたとえば図５(a) の色フィルタアレイ11b の画素B34 での相関のあるG 画素データの方向を選択する場合を説明する。CCD イメージセンサ11c は、各セルで撮影された信号電荷が垂直転送レジスタ（図示せず）に読み出され水平転送レジスタ（図示せず）から信号を取り出しているので、信号はたとえば図５(a) の場合、添字m=6 のライン位置の画素をn=0 から数値の増加する横方向に順次読み出され、次の読出しでは直上の行、すなわちm=5 のライン位置の画素からのデータが順次読み出される。この場合、読出し方向はm の値の大から小の方へと読み出しが行われていくことになる。このデータをそのままA/D 変換部11e を介してデータセレクト部12a に供給する。データセレクト部12a は、６つの1H遅延回路DL1 〜DL6 と、１画素分のデータ遅延をさせる23個の遅延回路DL7 〜DL29と、G データの選択方向に対応したデータを出力するG セレクト部120Sとを備えている。遅延回路は、D ラッチで構成しても遅延素子で構成してもよい。
【００４２】
〈垂直相関値SV34の算出〉
前述したように図５(a) の画素B34 の位置での相関値算出には、図５(b) に示すように垂直方向に３つの相関値Sv14, Sv34, Sv54が必要である。さらに、これら３つの相関値を算出するには、図５(a) のG 画素データ、すなわち４つのG04, G24, G44, G64が必要である。データセレクト部12a に供給されたデータは、図３に示すように添字m=2,4,6 に対応した遅延出力が得られるように1H遅延回路を設ける。これにより、垂直方向にm=0,2,4,6 のライン位置に対応した遅延出力が得られる。各ラインでそれぞれ４つの遅延回路を経ることにより必要とされる４画素位置の出力を同時に得られるようになる。遅延回路DL10は画素G04 データを出力する。同様に、画素G24, G44, G64 がそれぞれ遅延回路DL14, DL25, DL29から得られる。遅延回路DL10, DL14, DL25, DL29は、各出力を垂直差分演算部12DVに供給する。また、画素G24, G44位置のデータは、空隙位置に隣接した画素データであるからG セレクト部120Sに供給される。
【００４３】
垂直差分演算部12DVは、遅延回路DL10から画素G04 のデータを加算器DV1 に加算入力し、遅延回路DL14から画素G24 のデータを加算器DV1 に減算入力するとともに、加算器DV2 に加算入力する。また、加算器DV2 の他端側には遅延回路DL25から画素G44 のデータが減算入力され、加算器DV3 には加算入力される。最後に、この加算器DV3 の他端側には遅延回路DL29から画素G64 のデータが減算入力される。
【００４４】
これにより、加算器DV1, DV2, DV3 は、それぞれ、差分G04-G24, G24-G44, G44-G64 を算出して垂直絶対値算出部12AVに供給する。垂直絶対値算出部12AVは、垂直絶対値処理部AV1, AV2, AV3 で供給される差分データを絶対値で表す処理を施して画素B14, B34, B54 位置での相関値S14=|G04-G24|, S34=|G24-G44|, S54=|G44-G64| を算出している（垂直方向に関する相関値算出工程）。
【００４５】
相関値Sv14, Sv34, Sv54は、垂直評価用相関値算出部121Vに供給される。垂直評価用相関値算出部121Vは、新たな垂直方向の評価用相関値SV34として相関値Sv14, Sv34, Sv54に対してそれぞれ1:2:1 の重み係数を掛け、さらに４分割して表される式(1)
【００４６】
【数１】
SV34＝(Sv14+2*Sv34+Sv54)/4 ・・・(1)
を導入する。図示しないがディジタルフィルタを用いると、演算に対応する処理を効果的に行うことができる。このようにして垂直方向の評価用相関値SV34を算出してG 相関判定部12d の一端側に供給される（垂直方向の空隙相関値算出工程）。
【００４７】
〈水平相関値SH34の算出〉
図５(a) の画素B34 の位置での相関値算出には、たとえば水平方向において図５(b) に示すように３つの相関値Sh32, Sh34, Sh36が必要である。さらに、これら３つの相関値を算出するには、図５(a) のG 画素データ、すなわち４つのG31, G33, G35, G37が必要である。データセレクト部12a に供給されたデータは、図３に示すように添字n=1,3,5,7 に対応して遅延出力が得られるように遅延回路を設ける。この水平方向の遅延では垂直方向に3Hの遅延後に行われなければならない。さらに、1H遅延回路DL3 からの出力を最大 7段階まで遅延させる必要があることから水平方向の遅延のために遅延回路DL15〜DL21を設ける。m,n は垂直方向と水平方向に対応した遅延段数を表す。このように遅延させることによりm=3, n=1に対応する遅延回路DL15からは、画素G37 からのデータが選択されることになる。同様に、複数の遅延回路を経ることにより、画素G35, G33, G31 がそれぞれ遅延回路DL17, DL19, DL21から得られる。遅延回路DL15, DL17, DL19, DL21は、各出力を水平差分演算部12DHに供給する。また、画素G33, G35からのデータはG セレクト部120Sに供給される。
【００４８】
水平差分演算部12DHは、遅延回路DL21からデータG31 を加算器DH1 に減算入力し、遅延回路DL19から画素G33 のデータを加算器DH1 に加算入力するとともに、加算器DH2 に減算入力する。また、加算器DH2 の他端側には遅延回路DL17から画素G35 のデータが加算入力され、加算器DH3 には減算入力される。最後に、この加算器DH3 の他端側には遅延回路DL15から画素G37 のデータが加算入力される。
【００４９】
これにより、加算器DH1, DH2, DH3 は、それぞれ、差分G33-G31, G35-G33, G3 7-G35 を算出して水平絶対値算出部12AHに供給する。水平絶対値算出部12AHは、水平絶対値処理部AH1, AH2, AH3 で供給される差分データを絶対値で表す処理を施して画素B32, B34, B36 位置での相関値Sh32=|G33-G31|, Sh34=|G35-G33|, Sh36=|G37-G35|を算出している（水平方向に関する相関値算出工程）。
【００５０】
相関値Sh32, Sh34, S h36 は、水平評価用相関値算出部121Hに供給される。水平評価用相関値算出部121Hは、新たな垂直方向の評価用相関値SH34として相関値Sh32, Sh34, S h36 に対してそれぞれ1:2:1 の重み係数を掛け、さらに４分割して表される式(2)
【００５１】
【数２】
SH34＝(Sh32+2*Sh34+S h36 )/4 ・・・(2)
を導入する。図示しないがこの場合もディジタルフィルタを用いると、演算に対応する処理を効果的に行うことができる。このようにして水平方向の評価用相関値SH34を算出してG 相関判定部12d の他端側に供給される（水平方向の空隙相関値算出工程）。
【００５２】
〈G 相関判定〉
G 相関判定部12d は、供給された垂直方向の評価用相関値SV34と水平方向の評価用相関値SH34の大きさを比較する。このとき、相関の強さは、前述したように差分に基づいて相関値を算出しているので、小さい程、相関が強いと判定される。この関係に基づいてたとえば水平方向の相関が強いと判定されると、選択制御信号がデータセレクト部12a のG セレクト部120SにデータG33, G35を選択するように出力されるとともに、G 補間部120Gにも水平方向の補間を行うように出力する（相関判定工程）。これと逆の判定結果が得られたとき、選択制御信号がデータG24, G44を選択するようにG セレクト部120Sに出力され、かつG 補間部120Gに垂直方向の補間を行うように出力する。
【００５３】
G セレクト部120Sは、供給される選択制御信号に応じて２つのG データをRGB 補間部12e のG 補間部120Gに出力する。
【００５４】
〈色補間処理〉
RGB 補間部12e は、９個の画素を用いて演算する。G 補間部120GはG 相関判定部12d からの選択制御信号に応じて選択された方向に対して補間処理を施す。補間処理をたとえばこれまで用いてきた画素B34 の位置を中心とする周囲の８画素で行う場合を考える。このとき、図５（a)から明らかなように奇数フィールドにおいて９画素中のG 画素は偶数個なので、G 補間部120GはG セレクト部120Sから供給されるG 画素を用いて補間演算を行う。ここで、G 補間部120Gは水平方向に相関があるという選択制御信号を受けていると、補間処理を水平方向だけ行うようにして補間画素GCを算出する。この場合、補間画素GCは
【００５５】
【数３】
GC=(G33+G35)/2=G34 ・・・(3)
という式(3) で表される。ところで、相関値に水平・垂直で差がなかった場合、この周囲の４画素G24, G33, G35, G44の加算平均で算出する。
【００５６】
また、R 補間部120Bは、水平方向のR 補間をRh、垂直方向のR 補間をRVとすると、
【００５７】
【数４】
Rh=(G34*R24)/G24=(G33+G35)(R23+R25)/(4G24) ・・・(4)
【００５８】
【数５】
Rv=(R33*G34)/G33=(R23+R43)(G24+G44)/(4G33) ・・・(5)
という式(4),式(5) により得られる。
【００５９】
B 補間部120Bは、水平方向のB 補間をBh、垂直方向のB 補間をBVとすると、画素B34 を対応させる。このようにしてG 画素の画素数が偶数個のときRGB の各画素について補間を行っている。
【００６０】
また、このRGB 補間部12e において、補間に用いる９画素がたとえば画素G33 を中心とした領域の補間の場合、図５(a) から明らかなようにG 画素はG22, G24, G33, G42, G44 と奇数個ある。この場合、G 補間部120Gは、補間画素GCをG33 に等しいとして扱う。
【００６１】
R 補間部120Bは、水平方向のR 補間をRh、垂直方向のR 補間をRVとすると、
【００６２】
【数６】
Rh=(G33*R24)/G23=(2G33*R24)/(G22+G24) ・・・(6)
【００６３】
【数７】
Rv=(R24+R43)/2 ・・・(7)
という式(6),式(7) により得られる。
【００６４】
一方、B 補間部120Bは、水平方向のB 補間をBh、垂直方向のB 補間をBVとすると、
【００６５】
【数８】
Bh=(B32+B34)/2 ・・・(8)
【００６６】
【数９】
Bv=(G33*B32)/G32=(2G33*B32)/(G22+G42) ・・・(9)
という式(6),式(7) によりそれぞれ得られる。このようにしてG 画素の画素数が奇数個のときRGB の各画素について補間を行っている。
【００６７】
ところで、奇数フィールドと偶数フィールドの関係は画素R と画素B を入れ換えたものとして演算関係の同様に入れ換えることで対処できる。この詳細な関係は、たとえば特開平7-236147号公報に一般的な関係が記載されている。
【００６８】
このRGB 補間部12e は、各画素に対するそれぞれ補間処理をそれぞれ行ってYC変換部12f にRGB のデータを出力する。
【００６９】
YC変換部12f は供給されたRGB の各データと１水平期間（1H）遅延させた各色のデータとに基づいて高域輝度信号YH, 低域輝度信号YLを発生させる。YC変換部12f は、たとえば低域輝度信号YLから高域輝度信号YHを減算したデータを通過帯域を0.7MHzまでとするディジタルローパスフィルタを介してYCを生成する。また、高域輝度信号YHは通過帯域を4.2MHzまでとするディジタルローパスフィルタを介して帯域制限された高域輝度信号YHになる。YC変換部12f においてYCと帯域制限された高域輝度信号YHとを加算して高域および低域の輝度成分を含む輝度信号Y が生成される。
【００７０】
YC変換部12f は供給されたRGB の各データと１水平期間（1H）遅延させた各色のデータとに基づいて色差信号(R-Y), (B-Y)のデータも生成している。これらの生成された各種データは信号調整部12g に供給される。信号調整部12g は供給されたデータに信号処理を施してY データ、(B-Y) データ、(R-Y) データを出力する。
【００７１】
このように信号処理部12は補間処理を行う前に相関の強い方向を的確に、従来に比べて誤判定を抑えて指摘できるので、誤判定した際にこれまで生じていた色偽や境界領域の粒状模様等の発生を抑えることができる。したがって、この処理により、得られる撮像された画像の品質を高く確実に保てるようになる。
【００７２】
なお、縦方向にG をストライプ配設しこのG ストライプを挟んだ両側の位置を縦方向にR, Bを交互に配設してアレイがある。このようなパターンの色フィルタをG ストライプRB市松パターンと呼ぶ。単板式の色フィルタアレイには、G 色に着目すると、G がストライプに配置されたこのG ストライプRB市松パターンの他にG ストライプRB完全市松パターン、G ストライプが２列毎に配置されたストライプパターンや、G ストライプのパターンを斜め45°回転させたG 色の正方格子状の配置パターンとして前述した実施例のベイヤ、インタライン、斜めストライプ等のパターンがある。本発明は前述の実施例のパターンに限定されるものでなく、この配列を考慮してたとえば複数のフレームメモリを用いてG 画素のデータを選択して相関関係を広い範囲にわたるデータによって求めれば相関判定の誤りを抑え、そして補間処理することで良好な画像を得ることができる。
【００７３】
また、前述の実施例では基本的に相関値を単に減算による差分で求めたが空隙位置を挟んで位置するG 画素の平均値の差分を基にして相関を調べてもよい。本発明は、前述の実施例でハードウェアの構成を用いて説明したが、相関値算出およびその相関値による相関方向の判定をソフトウェアにより行ってもよく装置の簡略化も図ることができる。
【００７４】
【発明の効果】
このように本発明に係る信号処理装置およびその処理方法によれば、相関算出手段で複数個の相関値を水平および／または垂直方向に求め、これらの相関値を基にさらに水平および／または垂直方向の相関を求めた結果について相関判定手段で相関判定を行って、この判定結果に基づいて色補間生成手段により第１の色フィルタの空隙位置で第１の色フィルタの色成分の信号を補間することにより、より強く相関している方向を正確に知り得ることができるので、誤判定を従来よりも低く抑えることができる。これにより、画像劣化させる信号の発生が抑えられ、結果として出力される画像を高画質に保つことができる。
【図面の簡単な説明】
【図１】本発明に係る信号処理装置を電子スチルカメラに適用した際の概略的なブロック図である。
【図２】図１に示した信号処理部の概略的な構成を説明するブロック図である。
【図３】図２の信号処理部におけるデータセレクト部の一例を示す構成図である。
【図４】図２の信号処理部において設定したデータセレクトに対応させたG 相関算出部の一例を示す構成図である。
【図５】図１に示した色フィルタアレイにおける各色の配列パターンと得られる相関値算出位置の関係を説明する図である。
【符号の説明】
10 電子スチルカメラ
11a 光学系
11b 色フィルタアレイ
11c CCD イメ−ジセンサ
11d A/D 変換部
12 信号処理部
12a バッファメモリ
12b データセレクト部
12c G 相関値算出部
12d G 相関判定部
12e RGB 補間部
12f YC変換部
12g 信号調整部
120 相関値算出部
121 評価用相関値算出部
Claims (10)
- 分光感度特性の異なる色のフィルタが配置された色フィルタの中で、最も配置数の多い色フィルタを第１の色フィルタとし、該第１の色フィルタに対応した撮像手段の画素から得られる信号を基に信号処理を行って、該撮像手段の第１の色フィルタとそれぞれ色の異なる第２の色フィルタあるいは第３の色フィルタに対応した画素位置での第１の色フィルタに対応した色成分の信号を補間生成する信号処理装置であって、該装置は、
第１ないし第３の色フィルタのそれぞれに対応した色成分のデータを出力させ、さらに第１の色フィルタに対応した複数個の色成分のデータをタイミング調整して、取り出すデータ選択手段と、
第１の色フィルタに対応した複数の画素から得られるデータを基に第２の色フィルタあるいは第３の色フィルタに対応した画素位置での第１の色フィルタに関する水平および／または垂直方向の相関値をそれぞれ算出し、該算出した相関値を複数用いて、さらに第１の色フィルタの空隙位置での相関値を算出する相関値算出手段と、
該相関値算出手段の結果から第１の色フィルタの空隙位置での相関の強い方向を判定する相関判定手段と、
該相関判定手段により判定された相関の強い方向に位置する第１の色フィルタに対応した複数の画素から得られる信号に基づいて第１の色フィルタの空隙位置での色成分のデータを補間生成する色補間生成手段とを含み、
前記相関値算出手段は、前記データ選択手段から相関を求める対象画素に対して周囲の水平方向に配置された同色の色成分のデータを基にして、複数の差分データを算出し、算出した差分データの絶対値それぞれを水平方向の相関値として算出する第１の相関値算出手段と、
前記対象画素に対して周囲の垂直方向に配置された同色の色成分のデータを基にして、複数の差分データを算出し、算出した差分データの絶対値それぞれを垂直方向の相関値として算出する第２の相関値算出手段とを含み、
前記相関判定手段は、前記水平および垂直方向の相関値の大きさを比較して、比較した相関値の小さい方を相関の強い方向として選び、選んだ方向を選択する制御信号を生成する判定手段を含み、
第１および第２の相関値算出手段は、前記データ選択手段からタイミング調整された２つのデータを入力し、入力した２つのデータの差を出力する差分値出力手段と、
得られたデータの差に対して絶対値を生成する絶対値出力手段と、
供給される絶対値を相関値と設定し、該相関値を基に評価用の相関値を生成する評価手段とをそれぞれ含み、
前記差分値出力手段および絶対値出力手段は、前記データ選択手段から供給される複数個より１つ少ない個数が配されることを特徴とする信号処理装置。 - 請求項１に記載の信号処理装置において、第１の色フィルタは、緑色のフィルタであり、
第１の色フィルタは、垂直方向に一列に配し、かつ水平方向に所望の間隔毎に配置した正方格子状パターン、該パターン全体を斜め45°方向に回転して正方格子配置を成すパターンまたは前記第１の色フィルタの画素位置が垂直方向あるいは水平方向にずらして配置されているパターンであることを特徴とする信号処理装置。 - 請求項１に記載の信号処理装置において、前記相関判定手段は、前記相関値算出手段から得られた複数の相関値を基に第１の色フィルタの空隙位置における相関の最も強い方向を判定し、該判定により選ばれた方向で第１のフィルタの空隙位置に隣接した画素からの信号を選択することを特徴とする信号処理装置。
- 請求項１または３に記載の信号処理装置において、前記相関値算出手段は、画素の水平および／または垂直方向についてそれぞれ算出された複数の相関値に重み係数を掛けて各方向の相関値を算出することを特徴とする信号処理装置。
- 請求項１に記載の信号処理装置において、前記相関値算出手段は、前記複数の画素からの色成分信号に基づいて算出した相関値にフィルタリング処理を複数回繰り返して施すフィルタリング手段を含むことを特徴とする信号処理装置。
- 分光感度特性の異なる色のフィルタが配置された色フィルタの中で最も配置数の多い色フィルタを第１の色フィルタとし、該色フィルタの透過光を撮像手段で撮像した際に、該撮像手段の第１の色フィルタに対応した画素から得られる信号を基に信号処理を行って、該撮像手段の第１の色フィルタとそれぞれ色の異なる第２の色フィルタあるいは第３の色フィルタに対応した画素での第１の色フィルタに対応した色成分の信号を補間生成する信号処理方法であって、該方法は、
第１ないし第３の色フィルタのそれぞれに対応した色成分のデータを出力させ、さらに第１の色フィルタに対応した複数個の色成分のデータをタイミング調整して、取り出す第１の工程と、
第１の色フィルタに対応した複数の画素から得られる信号を基に第２の色フィルタあるいは第３の色フィルタに対応した画素位置での第１の色フィルタに関する水平および／または垂直方向の相関値をそれぞれ複数個算出する第２の工程と、
該相関値算出工程で得られた相関値を複数個用いて第２の色フィルタあるいは前記第３の色フィルタの画素位置での相関値を第１の色フィルタの空隙画素位置での評価用相関値として算出する第３の工程と、
第３の工程の結果から第１の色フィルタの空隙画素位置での相関の強い方向を判定する第４の工程と、
第４の工程により判定された相関の強い方向に位置する第１の色フィルタに対応した複数の画素から得られる信号に基づいて第１の色フィルタの空隙画素位置での第１の色フィルタの成分の信号を補間生成する第５の工程とを含み、
第２の工程は、相関を求める対象画素に対して周囲の水平方向に配置された同色の色成分のデータを基にして、複数の差分データを算出し、算出した差分データの絶対値それぞれを水平方向の相関値として算出する第６の工程と、
前記対象画素に対して周囲の垂直方向に配置された同色の色成分のデータを基にして、複数の差分データを算出し、算出した差分データの絶対値それぞれを垂直方向の相関値として算出する第７の工程とを含み、
第４の工程は、前記水平および垂直方向の相関値の大きさを比較して、比較した相関値の小さい方を相関の強い方向として選び、選んだ方向を選択する制御信号を生成する第８の工程を含み、
第６および第７の工程は、第１の工程での前記データの選択からタイミング調整された２つのデータを入力し、入力した２つのデータの差を算出する第９の工程と、
得られたデータの差に対して絶対値を生成する第10の工程と、
供給される絶対値を相関値と設定し、該相関値を基に評価用の相関値を生成する第11の工程とをそれぞれ含み、
第９の工程は、第１の工程で供給される複数個より１つ少ない個数のデータを入力し、
第11の工程は、前記水平と垂直方向の評価において３つ以上の相関値を用いて相関のある方向を求めることを特徴とする信号処理方法。 - 請求項６に記載の処理方法において、第４の工程は、第２の工程から得られた複数の相関値を基に第１の色フィルタの空隙位置における相関の最も強い方向を判定し、該判定により選ばれた方向で第１のフィルタの空隙位置に隣接した画素からの信号を選択することを特徴とする信号処理方法。
- 請求項６または７に記載の処理方法において、第３の工程は、第２の工程で得られた相関値に重み係数を掛けて算出することを特徴とする信号処理方法。
- 請求項６に記載の信号処理方法において、第３の工程は、前記複数の画素からの色成分信号に基づいて算出した相関値にフィルタリング処理を複数回繰り返して施す工程を含むことを特徴とする信号処理方法。
- 請求項６に記載の信号処理方法において、第５の工程は、第４の工程での水平および垂直方向についてそれぞれ算出した第１の色フィルタの空隙画素位置での相関値の差が所定のレベル以下の場合、その画素位置の周囲に位置する第１の色フィルタの４画素の平均を用いて補間することを特徴とする信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00326098A JP4122082B2 (ja) | 1998-01-09 | 1998-01-09 | 信号処理装置およびその処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP00326098A JP4122082B2 (ja) | 1998-01-09 | 1998-01-09 | 信号処理装置およびその処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11205808A JPH11205808A (ja) | 1999-07-30 |
| JP4122082B2 true JP4122082B2 (ja) | 2008-07-23 |
Family
ID=11552510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00326098A Expired - Fee Related JP4122082B2 (ja) | 1998-01-09 | 1998-01-09 | 信号処理装置およびその処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4122082B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005159957A (ja) | 2003-11-28 | 2005-06-16 | Mega Chips Corp | 色補間方法 |
| JP3960965B2 (ja) * | 2003-12-08 | 2007-08-15 | オリンパス株式会社 | 画像補間装置及び画像補間方法 |
| JP4811664B2 (ja) * | 2004-10-19 | 2011-11-09 | 株式会社メガチップス | 画像処理方法及び画像処理装置 |
| KR101327790B1 (ko) * | 2007-08-24 | 2013-11-11 | 삼성전자주식회사 | 영상 보간 방법 및 장치 |
-
1998
- 1998-01-09 JP JP00326098A patent/JP4122082B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11205808A (ja) | 1999-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4054184B2 (ja) | 欠陥画素補正装置 | |
| JP4465002B2 (ja) | ノイズ低減システム、ノイズ低減プログラム及び撮像システム。 | |
| JP4066484B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
| JP4683994B2 (ja) | 画像処理装置、画像処理方法、電子カメラ、スキャナ | |
| JP5574615B2 (ja) | 画像処理装置、その制御方法、及びプログラム | |
| JP5672776B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US8515210B2 (en) | Image processing method and image processing device | |
| US7065246B2 (en) | Image processing apparatus | |
| JP2004153823A (ja) | 局部線形回帰法を用いた画像処理システム | |
| JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR20090087811A (ko) | 촬상 장치, 화상 처리 장치, 화상 처리 방법, 화상 처리방법의 프로그램 및 화상 처리 방법의 프로그램을 기록한기록 매체 | |
| US8320714B2 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
| CN103202022A (zh) | 图像处理设备及其控制方法 | |
| US8798398B2 (en) | Image processing apparatus | |
| US7489822B2 (en) | Image processing apparatus and method for detecting a direction of an edge in the vicinity of a pixel of interest and generating all color signals for each pixel by interpolation using color signals of a pixel of interest and its neighbor pixels, and a recording medium having a program recorded thereon for causing the apparatus to perform the method | |
| JP4104495B2 (ja) | データ処理装置、画像処理装置およびカメラ | |
| JP4305071B2 (ja) | 信号補正方法 | |
| WO1994018801A1 (en) | Color wide dynamic range camera using a charge coupled device with mosaic filter | |
| JP4272443B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4934991B2 (ja) | 撮像信号処理装置及び方法並びに撮像装置 | |
| US20100215267A1 (en) | Method and Apparatus for Spatial Noise Adaptive Filtering for Digital Image and Video Capture Systems | |
| JP4122082B2 (ja) | 信号処理装置およびその処理方法 | |
| JP3633561B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
| KR101327790B1 (ko) | 영상 보간 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040809 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040809 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061031 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080501 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120509 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |