JP4086572B2

JP4086572B2 - 映像信号処理装置

Info

Publication number: JP4086572B2
Application number: JP2002216868A
Authority: JP
Inventors: 太郎樋爪; 俊幸佐野
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-07-25
Filing date: 2002-07-25
Publication date: 2008-05-14
Anticipated expiration: 2022-07-25
Also published as: JP2004064227A

Description

【０００１】
【発明の属する技術分野】
本発明は、補色フィルタを用いた撮像素子を備え、マトリクス演算によって原色信号を算出する映像信号処理装置に関する。
【０００２】
【従来の技術】
撮像素子を一つだけ用いるカメラについて考える。撮像素子は光の強弱を電荷量に変換するデバイスなので、そのままでは光の波長情報、つまり色情報を得ることができない。カラー撮像を行うためには、光学手段を利用して、色情報を得られるようにしなければならない。
【０００３】
カラー撮像装置（カメラ）としては、撮像素子１個でカラー情報が得られる単板式と、３個でカラー情報が得られる三板式に大別できる。さらに、単板式の一つに、オンチップ色フィルタアレイを用いる方法がある。これは、ＣＣＤ等のデバイスの表面に、画素に対応して原色系や補色系の色フィルタアレイを設けることによって、カラー情報を得ることができる。
【０００４】
単板式カメラは三板式と比較して、全体構成を小型かつ低価格にまとめることができる。例えば、監視分野では、感度の面で有利な補色フィルタを用いて、小型・低価格である単板カラーカメラを構成することが多い。
【０００５】
補色フィルタの代表的配列として、フィールド色差順次方式が挙げられる。この方式では撮像素子デバイスがＣＣＤである場合、出力信号の高周波成分が色差信号、直流成分が輝度信号となるため、簡単なローパスフィルタ（以下ＬＰＦ）で輝度信号と色信号を分離できる。回路量の面で有利なこともあり、ほとんどの単板式カメラで採用されている。
【０００６】
フィールド色差順次配列補色フィルタを用いた現行のカメラ信号処理には、信号処理方式と色フィルタの分光感度特性に起因する、解像度と色再現性についての課題が存在した。
【０００７】
従来、補色フィルタ撮像素子を使用したカラー撮像装置として、以下に示すような方式があった。補色フィルタ撮像素子の出力信号より原色信号Ｒ、Ｇ及びＢを取り出すには、その前提として、ある色信号と別の色信号とを加算したり、あるいは減算したりする必要がある。
【０００８】
補色フィルタの場合、奇数走査ラインのカラーフィルタが横方向に配列したイェローＹｅ、シアンＣｙ部と、このイェローＹｅ、シアンＣｙ部に並列にその下側に配列されたマゼンタＭｇ、グリーンＧ部とからなる４画素の繰り返しパターンにより構成され、奇数走査ラインのカラーフィルタが横方向に配列したイェローＹｅ、シアンＣｙ部と、このイェローＹｅ、シアンＣｙ部と並列にその下側に配列されたグリーンＧ、マゼンタＭｇ部とからなる４画素の繰り返しパターンにより構成されているときは、下記の式１により輝度信号Ｙと色差信号Ｃｒ、Ｃｂを得ることができる。
【０００９】
【数１】

【００１０】
Ｙ、Ｃｒ、Ｃｂから、例えば下記に示す式２を用いて原色信号である赤、緑及び青色信号Ｒ、Ｇ及びＢを得る。
【００１１】
【数２】

【００１２】
上記方法については、例えば特開平０７−４６６０７号公報に記載されたものが知られている。特開平０７−４６６０７号公報には、補色コーディングＣＣＤ撮像素子を使用した撮像装置についての記述がなされている。
【００１３】
補色信号を入力として用いる撮像装置で、原色信号である赤色信号Ｒ、緑色信号Ｇ及び青色信号Ｂを演算により生成するものとする。
【００１４】
ＲＧＢの原色信号を得る原色分離手段と、ＲＧＢから色差信号Ｒ−Ｙ及びＢ−Ｙを得るようにした色差マトリックス回路とを有するカラー撮像装置において、原色分離手段と色差マトリックス回路との間の少なくとも赤色信号系又は青色信号系に負成分を除去する負成分除去手段を設けて、補色コーディングによるカラーフィルタの分光感度特性に起因して色再現が劣化する不都合に対して改良を施しているものである。
【００１５】
このとき、ＲＧＢ原色分離後の赤色信号Ｒ、青色信号Ｂの負成分を除去しているので、シアンＣｙの飽和度が他の色に比べて大きくなることを防止でき、またイェローＹｅ以外の色の飽和度が小さくなるのを防止でき、色再現の劣化を改善できるように構成されている。
【００１６】
【発明が解決しようとする課題】
従来の映像信号処理装置では、ある程度の大きさの画像（例えば２水平ｘ２垂直で構成される画像データ）から色フィルタに対応する色データを抽出し、色データ各々に対して係数を掛け、足し合わせるという手法すなわち、抽出された色データを入力とし、これに対する原色３種出力を得るマトリクス演算にて原色データを算出する。このマトリクス演算は、抽出された色データを取る元となった画像についてのフィルタ、多くの場合ＬＰＦとして働く。しかしながら、マトリクス演算によって原色データを算出する過程で、画像の高周波成分が失われるため、画像の鮮鋭感がなくなり、画質が劣化するといった問題があった。
【００１７】
本発明は、前記従来の問題を解決するもので、補色フィルタを用いた撮像素子で撮像して得られたデジタル画像データからマトリクス演算で原色信号を算出する過程で、原色信号算出に用いるマトリクス演算係数をラインごとに適切な値を切り替えることによって、垂直方向の高域周波数成分を保存し、鮮鋭感のある画像を得ることのできる映像信号処理装置を提供することを目的とする。
【００１８】
【発明の実施の形態】
本発明の請求項１に記載の映像信号処理装置は、複数の色成分から構成される画像信号を得る撮像手段と、前記画像信号から補色フィルタに対応する複数種の色信号を第１および第２のラインに分けて交互に抽出する色信号抽出手段と、原色信号算出に用いる係数の前記第１あるいは第２のラインのいずれか一方の利得が０になるように前記係数を前記ライン毎に切り替えて設定する係数設定手段と、前記色信号抽出手段で抽出された各色信号から原色信号を算出する原色信号算出手段と、前記原色信号を用いて輝度信号を算出し処理する輝度信号処理手段と、前記原色信号を用いて色信号を処理する色信号処理手段とを備えた構成を有している。
【００１９】
この構成により、補色フィルタを用いた撮像素子で撮像して得られた画像データからマトリクス演算で原色信号を算出する過程で、原色信号算出に用いるマトリクス演算係数をラインごとに適切な値を切り替えることによって、垂直方向の高域周波数成分を保存し、鮮鋭感のある画像を得ることができる。
【００２０】
また本発明の請求項２に記載の映像信号処理装置は、前記色信号抽出手段は、３水平×３垂直またはそれ以上の画像信号から色信号を抽出する構成を有している。
【００２１】
この構成により、マトリクス演算によって算出した原色信号各々に必要な、水平方向の低域通過フィルタリング処理を、原色信号算出手段に内包させることができるため、比較的少ない処理量で、垂直方向の高周波成分を保存し、鮮鋭感のある画像を得ることができる。
【００２２】
また本発明の請求項３に記載の映像信号処理装置は、前記原色信号抽出手段で用いる係数に輝度信号生成のための原色信号比率が内包される構成を有している。
【００２３】
この構成により、輝度生成は原色信号の加算のみによって算出できるため、比較的少ない処理量で、垂直方向の高周波成分を保存し、鮮鋭感のある画像を得ることができる。
【００２４】
また本発明の請求項４に記載の映像信号処理装置は、前記色信号処理手段内に、入力される原色信号の輝度信号生成比率による変動分を補償する信号レベル補償手段を備える構成を有している。
【００２５】
この構成により、輝度信号生成比率に起因して発生する、青成分の分解能が不足又は緑成分の分解能過剰を抑制できるため、必要最小限のビット幅でデータを持てばよく、比較的少ない回路量で垂直方向の高周波成分を保存し、鮮鋭感のある画像を得ることができる。
【００２６】
また本発明の請求項５に記載の映像信号処理装置は、対象とする画像によって原色データ生成に必要な係数を調整する係数調整手段を備え、前記係数調整手段で調整した係数を前記係数設定手段に与える構成を有している。
【００２７】
この構成により、対象画像に即した色再現性を実現しながら、かつ垂直方向の高周波成分を保存し、鮮鋭感のある画像を得ることができる。
【００２８】
また本発明の請求項６に記載の映像信号処理装置は、原色信号から得られる輝度信号とは異なる輝度信号を算出する輝度信号算出手段を備え、前記輝度信号算出手段で算出された輝度信号を前記輝度信号処理手段に与える構成を有している。
【００２９】
この構成により、色再現性と、良好な水平輝度周波数応答特性を両立でき、かつ垂直方向の高周波成分を保存し、鮮鋭感のある画像を得ることができる。
【００３０】
また本発明の請求項７に記載の発明は、補色フィルタを用いた撮像素子で撮像して得られた画像信号から補色フィルタに対応する複数種の色信号を第１および第２のラインに分けて交互に抽出し、原色信号算出に用いる係数の前記第１あるいは第２のラインのいずれか一方の利得が０になるように前記係数をライン毎に切り替えて設定し、前記色信号から原色信号を算出し、算出した原色信号を用いて輝度信号を算出して処理し、算出した原色信号を用いて色信号を処理する。
【００３１】
この方法により、補色フィルタを用いた撮像素子で撮像して得られたデジタル画像データの処理において、色フィルタの分光特性を調整して原色信号を算出する過程で、原色信号算出に用いるマトリクス演算係数をラインごとに適切な値を切り替えるため、垂直方向の高域周波数成分を保存し、鮮鋭感のある画像を得ることができる。
【００３２】
また本発明の請求項８に記載の発明は、コンピュータ読み取り可能な記録媒体であり、撮像して得られた画像信号から補色フィルタに対応する複数種の色信号を第１および第２のラインに分けて交互に抽出するステップと、原色信号算出に用いる係数の前記第１あるいは第２のラインのいずれか一方の利得が０になるように前記係数をライン毎に切り替えて設定するステップと、前記原色信号を算出するステップと、算出した原色信号を用いて輝度信号を算出して処理するステップと、算出した原色信号を用いて色信号を処理するステップとを含む映像信号処理プログラムを記録したコンピュータ読み取り可能な媒体に記憶される。この記憶媒体に記録された映像信号処理プログラムをＭＰＵ、ＤＳＰ等のコンピュータで読み取って実行することにより映像信号処理装置の機能を実現することができる。
【００３３】
また本発明の請求項９に記載の発明は、コンピュータ上で映像信号処理を実行させるプログラムであり、撮像して得られた画像信号から補色フィルタに対応する複数種の色信号を第１および第２のラインに分けて交互に抽出するステップと、原色信号算出に用いる係数の前記第１あるいは第２のラインのいずれか一方の利得が０になるように前記係数をライン毎に切り替えて設定するステップと、前記色信号から原色信号を算出するステップと、算出した原色信号を用いて輝度信号を算出して処理するステップと、算出した原色信号を用いて色信号を処理するステップとを含んでなるプログラムである。このプログラムをＭＰＵ、ＤＳＰ等のコンピュータで実行することにより映像信号処理装置の機能を実現することができる。
【００３４】
【本発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３５】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る映像信号処理装置の構成を示すブロック図である。図１において映像信号処理装置は、ＣＣＤやＣＭＯＳ等で構成され画像信号を得る撮像手段１０と、撮像手段１０から出力される画像信号から色フィルタに対応する色信号を抽出する色信号抽出手段１１と、抽出された色信号から原色信号を計算する原色信号算出手段１２と、原色信号算出に用いる係数を設定する係数設定手段１３と、原色信号から輝度信号を計算したり、算出した輝度信号に対し、オフセットやゲインの調整、ガンマ変換、鮮鋭化処理等を行う輝度信号処理手段１４と、原色信号に対し、オフセットやゲインの調整、ガンマ変換、ホワイトバランス処理等を行う色信号処理手段１５とから構成されている。
【００３６】
以上のように構成された本発明の第１の実施の形態に係る映像信号処理装置の動作を説明する。図１において、まず、撮像手段１０を用いて画像信号を得る。撮像手段１０からの画像信号データはフィールド読み出しされるものとする。撮像手段１０には、カラー情報を得るために色フィルタが装着されている。以下、撮像手段１０に装着される色フィルタは補色フィールド色差順次方式を採るものとする。色フィルタの構成例を示すと、図８に示すような配列を採るものである。画像信号データは、Ａ１、Ａ２、Ａ３の順に縦方向２画素混合か、又はＢ１、Ｂ２の順に縦方向２画素混合して読み出される。
【００３７】
このとき色信号抽出手段１１に入力される画像信号データは、
Ｃｙａｎ（シアン）＋Ｍａｇｅｎｔａ（マゼンタ）（以下ＣＭ）、
Ｙｅｌｌｏｗ（イェロー）＋Ｇｒｅｅｎ（グリーン）（以下ＹＧ）、
Ｃｙａｎ（シアン）＋Ｇｒｅｅｎ（グリーン） (以下ＣＧ)、
Ｙｅｌｌｏｗ（イェロー）＋Ｍａｇｅｎｔａ（マゼンタ）（以下ＹＭ）
である。これら４種が、座標によって、互い違いに出力される。
【００３８】
色信号抽出手段１１では、画像信号から色フィルタに対応する色信号を抽出する。基本的に一座標からは、色フィルタの構成に従う一種類の信号（補色フィールド色差順次方式ならば、ＣＭ、ＹＧ、ＣＧ、ＹＭの何れか）しか得られないが、近隣の画像信号からの補間処理によって、各座標においてすべての種類のデータ（補色フィールド色差順次方式であれば、ＣＭ、ＹＧ、ＣＧ、ＹＭの４種すべて）が得られる。このとき補間処理には画像情報として最低２水平×３垂直（水平をＨ、垂直をＶと略記する）が必要である。すなわち、
ＣＭ00 ＹＧ01
ＣＧ10 ＹＭ11
ＣＭ20 ＹＧ21
なる２Ｈ×３Ｖから、以下の式３に示すように
【数３】

とする補間処理を行うことで４種類のデータを得る。
【００３９】
原色信号算出手段１２は色信号抽出手段１１で抽出された色データから原色データを算出する。演算は３×４のマトリクス演算である。原色信号をＲ、Ｇ、Ｂ、抽出された色データをＣＭ、ＹＧ、ＣＧ、ＹＭ、マトリクス係数をk00〜k23とするとき、原色信号を算出するマトリクス演算式は以下の式４となる。
【００４０】
【数４】

【００４１】
係数設定手段１３は、原色信号を算出するマトリクス演算に使用する係数を設定する。係数設定手段１３から原色信号算出手段１２に出力されるマトリクス係数の算出方法を以下に示す式５ないし式１１を用いて説明する。
【００４２】
ＣＭ、ＹＧ、ＣＧ、ＹＭの４種の色データは混色の原理に従って、以下に示す式５のようにＲ、Ｇ、Ｂに分解できる。
【００４３】
【数５】

【００４４】
輝度信号算出に水平方向ＬＰＦ：（１＋Ｚ^-1）を用いる（ここで、Ｚ^-1は単位遅延素子を表している）。これにより何れの位置においても以下に示す式６により輝度信号Ｙが得られる。
【００４５】
【数６】

【００４６】
次に色差信号ＣＲ、ＣＢを算出する。色差信号ＣＲ、ＣＢは信号出力の隣同志を減算することによって次の式７から得られる。
【００４７】
【数７】

【００４８】
次に、ＲＧＢを算出する。ＲＧＢ算出には低域輝度信号Ｙと色差信号ＣＲ、ＣＢおよび原色分離係数Kr、Kg、Kbを用いる。すると式８のように表せる。
【００４９】
【数８】

【００５０】
原色分離係数Kr、Kg、Kbが全て１ならば、式９に示す関係が成り立つ。ここで、Ｙの生成方法によって、原色生成マトリクス係数を２種類作成する。それを式１０に示す。
【００５１】
【数９】

【数１０】

【００５２】
マトリクス演算として標記すれば、以下の式１１のようになる。
【００５３】
【数１１】

【００５４】
以上、ラインによってＹの生成方式を変えることによって、ラインごとに異なる原色生成マトリクス係数を得る。
【００５５】
以上に示したようなマトリクス演算によって、原色信号ＲＧＢを得る。ラインナンバーによる係数の切り替えには、ライン数そのものの偶奇によって判定しても良いし、水平同期信号などの水平レート信号によって反転するような信号を作成して、この信号のハイ・ローに従って判定しても良い。図９において、図９（ａ）本発明に係る係数切り替えを行った場合、図９（ｂ）切り替えそのものを行わずに式２で示した係数のみを使用した場合、図９（ｃ）間違った切り替えを行った場合の、垂直輝度変動画像に対する処理結果を示すもので、図９（ａ）以外は、鮮鋭感のない画像となってしまうことがわかる。なお、図９（ｄ）は、グレイレベルがパターンで分かるようにしたものであり、図９（ａ）〜図９（ｃ）に示された処理結果に反映されている。
【００５６】
さて、赤生成係数に注目した場合、画像データに対して、マトリクス演算を行うときの、マトリクス係数のライン毎の和を計算すると、以下のようになる。
ＣＭＹＧ ← −１＋１＝０
ＣＧＹＭ ← −３＋５＝２
ＣＭＹＧ ← −１＋１＝０
又は
ＣＧＹＭ ← ４ − ４＝０
ＣＭＹＧ ← ０＋２＝２
ＣＧＹＭ ← ４ − ４＝０
【００５７】
係数の和は利得として考えることができる。上記係数の全体の利得は２であるが、注目ライン以外での利得は常に０であるため、垂直方向としてはＬＰＦとして作用しない。これが、式２の場合、ライン毎に以下に示すような利得が得られる。
ＣＭＹＧ ← ０＋１＝１
ＣＧＹＭ ← −１．５＋２．５＝１
ＣＭＹＧ ← ０＋１＝１
となる。垂直方向のＬＰＦを形成していることがわかる。
【００５８】
色再現を調整するために、原色生成マトリクス係数を調整する場合にも、係数のライン毎の和を０にするような調整を行うことによって、Ｖ方向になまりが発生しないようにすることができる。緑生成係数において、６００ｎｍ以上の感度を落とすようなマトリクス係数の変更例を以下の式１２に示す。このとき得られる分光感度特性の変化を図１０に示す。
【００５９】
【数１２】

【００６０】
マトリクス演算によって得られたＲＧＢ原色信号は、輝度信号処理手段１４と色信号処理手段１５に入力される。輝度信号処理手段１４では、原色信号から輝度信号を算出し、算出した輝度信号に対し、オフセットやゲインの調整、ガンマ変換、鮮鋭化処理等を行う。色信号処理手段１５では、色信号に対し、オフセットやゲインの調整、ガンマ変換、ホワイトバランス処理等を行う。
【００６１】
このような本発明の第１の実施の形態に係る映像信号処理装置によれば、従来の映像信号処理装置に比べて、補色フィルタを用いた撮像素子で撮像して得られたデジタル画像データからマトリクス演算で原色信号を算出する過程で、原色信号算出に用いるマトリクス演算係数をラインごとに適切な値を切り替えることによって、垂直方向の高域周波数成分を保存し、鮮鋭感のある画像を得ることができる。
【００６２】
（第２の実施の形態）
次に本発明の第２の実施の形態に係る映像信号処理装置を説明する。図２は第２の実施の形態に係る映像信号処理装置に必要な色信号抽出手段２０が行う色信号抽出処理を説明するための図である。図２に示す色信号抽出手段２０において、色信号抽出パターン２１、２２、２３、２４は、３Ｈ×３Ｖ画像データから色フィルタに対応する色信号を抽出する過程を示したものである。
【００６３】
次に本発明の第２の実施の形態に係る映像信号処理装置の動作について説明する。上記第１の実施の形態で説明したように、カラー情報を得るために色フィルタが装着された撮像手段を用いて画像信号を得る。撮像手段から得られる画像信号から色フィルタに対応する色信号を抽出する過程で、元となる画像データの大きさを２Ｈ×３Ｖとした。このとき、マトリクス係数の水平方向の利得を考える。赤生成係数に注目した場合、画像データに対して、マトリクス演算を行うときの、マトリクス係数の行毎の和を計算すると、以下のようになる。

【００６４】
このようにマトリクス係数の行毎の和を計算した場合には、行毎に利得が変化するため好ましくない。利得の変動で発生する信号レベル変動を解消するために、例えばＲＧＢ生成後にＬＰＦ：（１＋Ｚ^-1）を作用させる必要が生じる。
【００６５】
そこで、補色データ切り出しの元画像の大きさを３Ｈ×３Ｖ以上にすることを考える。３Ｈ×３Ｖにした場合の補色データ切り出しの様子を図２に示す。図２は、３Ｈ×３Ｖ画像データの構成によって、４種類に別けられることを示している。またＨ方向は幾つでも良いし、Ｖ方向は奇数であれば幾つでも良い。奇数で構成すれば、本来存在する画素との位相を合わせることができるため好ましい。
【００６６】
このように本発明の第２の実施の形態に係る映像信号処理装置は、原色信号算出手段の前段の色信号抽出手段において、補色データ切り出しの元画像の大きさを３Ｈ×３Ｖ以上にする構成を採ることによって、マトリクス演算によって算出した原色信号各々に必要な、水平方向の低域通過フィルタリング処理を、原色信号算出手段に内包させることができるため、比較的少ない処理量で、垂直方向の高周波成分を保存し、鮮鋭感のある画像を得ることができる。
【００６７】
（第３の実施の形態）
次に本発明の第３の実施の形態に係る映像信号処理装置を説明する。図３は本実施の形態に係る映像信号処理装置に必要な係数設定手段３０の構成を示すブロック図である。図３において係数設定手段３０は、補色データから原色データを生成するために必要なマトリクス係数を設定する原色生成比率設定手段３１と、原色データから輝度信号を生成するために必要な輝度信号生成比率を設定する輝度生成比率設定手段３２とから構成されている。
【００６８】
次に本発明の第３の実施の形態に係る映像信号処理装置の動作について説明する。原色生成比率設定手段３１で設定されるマトリクス係数は上記第１の実施の形態で説明した方法で算出する。すなわち、式１３は式１０に示したと同様で、
【数１３】

【００６９】
さて、上記式１３によって得られる原色信号ＲＧＢから輝度信号Ｙを算出するには、以下に示す式１４に基づく計算を行わなければならない。
【００７０】
【数１４】

【００７１】
すなわち計算は乗算３回と加算２回を行うことになる。しかし、原色算出のためのマトリクス係数と、輝度生成係数をまとめることによって、輝度算出に必要な乗算３回を省略できる。輝度生成係数をまとめた場合のマトリクス係数を以下の式１５に示す。
【００７２】
【数１５】

【００７３】
なお、輝度生成係数は厳密に上記式１４に従う必要はない。例えば、R:G:B=30:60:10と簡略化することによって、すべてのマトリクス係数を５bit（２の補数）で表すことができるようになる。
【００７４】
R:G:B=3:6:1とした場合のマトリクス係数を以下の式１６に示す。
【００７５】
【数１６】

【００７６】
このよう本発明の第３の実施の形態に係る映像信号処理装置は、原色算出のためのマトリクス係数と、輝度生成係数をまとめる構成を採ることによって、輝度生成は原色信号の加算のみによって算出できるため、比較的少ない処理量で、垂直方向の高周波成分を保存し、鮮鋭感のある画像を得ることができる。
【００７７】
（第４の実施の形態）
次に本発明の第４の実施の形態に係る映像信号処理装置を説明する。図４は本実施の形態に係る映像信号処理装置に必要な信号レベル補償手段付き色信号処理手段４０の構成を示すブロック図である。図４において信号レベル補償手段付き色信号処理手段４０は、原色信号の相対レベル差を補償する信号レベル補償手段４１と、ホワイトバランスやガンマ変換などを行う色信号処理手段４２とから構成されている。
【００７８】
次に本発明の第４の実施の形態に係る映像信号処理装置の動作について説明する。上記第３の実施の形態で説明した方法で、原色算出のためのマトリクス係数と、輝度生成係数をまとめるようにして、輝度生成比率をマトリクス係数に統合した場合、色信号処理系に入力される原色信号の比率は、対象画像が無彩色である場合おおよそR:G:B＝3:6:1になっている。
【００７９】
しかし各原色信号の絶対値は大きな差があるので、各色信号の分解能を考えると問題が生じることになる。例えば色信号が１０bitで十分な分解能を得られると仮定した場合、R:G:B=3:6:1なので、Ｂが１０bitの分解能を持つ必要がある。このときＲは２bit余計に、Ｇは３bit余計に必要になってしまう。Ｇが１０bitで表されているならば、Ｂは８bit以下の分解能となってしまい、分解能不足による画質劣化を招いてしまう。よって、色信号はおおよそR:G:B=1:1:1であることが望ましい。
【００８０】
そこで、輝度生成比率に起因するＲＧＢの絶対値の違いをビットシフトで補償する。例を挙げるならば、Ｒについては２倍（１ビットシフト）、Ｂについては４倍（２ビットシフト）する。これによって、R:G:B=3:6:1は、R:G:B = 6:6:4 となる。当然、Ｂについて８倍（３ビットシフト）して、R:G:B=6:6:8としても良い。簡単な演算（ビットシフト）で画質劣化を招かないおおよその原色信号の比率、すなわちR:G:B≒1:1:1を得ることができる。
【００８１】
ここで、このビットシフトに当たる演算をマトリクス係数に統合しても良い。上記ビットシフトを統合したマトリクス係数を以下の式１７に示す。
【００８２】
【数１７】

【００８３】
上記式１７のマトリクス演算で得られた原色信号のうち、Ｒについては、１/２（１ビットシフト）、Ｂについては１/４（２ビットシフト）してから加算することによって、輝度信号Ｙが得られる。
【００８４】
このような本発明の第４の実施の形態に係る映像信号処理装置によれば、従来の映像信号処理装置に比べて、輝度信号生成比率に起因して発生する、青成分の分解能が不足又は緑成分の分解能過剰を抑制できるため、必要最小限のビット幅でデータを持てばよく、比較的少ない回路量で垂直方向の高周波成分を保存し、鮮鋭感のある画像を得ることができる。
【００８５】
（第５の実施の形態）
次に本発明の第５の実施の形態に係る映像信号処理装置を説明する。図５は本実施の形態に係る映像信号処理装置の構成を示すブロック図である。図５において映像信号処理装置は、図１に示した撮像手段１０と、色信号抽出手段１１以外に、抽出された色信号から原色信号を計算する原色信号算出手段５２と、原色信号算出に用いる係数を設定する係数設定手段５３と、算出された原色信号から輝度信号を計算したり、算出した輝度信号をガンマ変換したり、鮮鋭化処理等を行う輝度信号処理手段５４と、算出された原色信号をガンマ変換したり、ホワイトバランス処理等を行う色信号処理手段５５と、輝度信号処理手段５４及び色信号処理手段５５から得られた画像データを用いてマトリクス係数の調整を行う係数調整手段５６とを備えて構成される。
【００８６】
次に、本発明の第５の実施の形態に係る映像信号処理装置の動作について説明する。上記第１の実施の形態で説明した方法で取得した補色画像データから、原色信号算出手段５２で原色データを算出する。原色信号算出手段５２で使用するマトリクス係数は係数設定手段５３から得る。
【００８７】
原色信号算出手段５２におけるマトリクス演算によって得られたＲＧＢ原色信号は、輝度信号処理手段５４と色信号処理手段５５に入力される。輝度信号処理手段５４では、原色信号から輝度信号を算出し、算出した輝度信号のガンマ変換や、鮮鋭化処理等を行う。色信号処理手段５５では、色信号のガンマ変換や、ホワイトバランス処理等を行う。
【００８８】
さて、人間の目の感度特性を表したものとして、CIE（国際照明委員会）が定めた標準比視感度が知られている。標準比視感度は錐体群によるのもので、５５５ｎｍ付近にピークを持つ。ここで、暗所視すなわち桿体群によるものは、短波長側にシフトし、５０７ｎｍ付近にピークを持つようになる。このため薄暗くなると赤い色をした物体は見えにくくなる。
【００８９】
そこで、被写体の状況によって、ＲＧＢ分光感度特性を調整できるようにする。輝度信号処理手段５４から得られる輝度信号や、色信号処理手段５５から得られる色信号のレベルによって、Ｇ分光感度特性のピークをずらすようにマトリクス係数を調整する。マトリクス係数の調整は係数調整手段５６が行う。調整手法としては、輝度信号レベルや色信号レベルが、ある閾値以下になった場合に、マトリクス係数の一部または全てを切り替えても良いし、輝度信号レベルや色信号レベルに比例してマトリクス係数の一部または全てを変化させても良い。このようなマトリクス係数の調整によるＲＧＢ分光感度特性の調整によって、人間の眼の感覚に近い撮像信号を得ることができる。
【００９０】
また逆に、人間の眼が不得手な部分を補うようにしても良い。すなわち、輝度信号レベルや色信号レベルが低く（暗く）なった場合にＲ感度を上げるようなマトリクス係数の調整を行うことによって、暗所でも赤い色の物体が見えやすい（相対輝度が高い）撮像信号を得ることができる。
【００９１】
輝度信号処理手段５４では、原色信号から輝度信号を算出し、算出した輝度信号に対し、オフセットやゲインの調整、ガンマ変換、鮮鋭化処理等を行う。色信号処理手段５５では、色信号に対し、オフセットやゲインの調整、ガンマ変換、ホワイトバランス処理等を行う。
【００９２】
このような本発明の第５の実施の形態に係る映像信号処理装置によれば、従来の映像信号処理装置に比べて、対象画像に即した色再現性を実現しながら、かつ垂直方向の高周波成分を保存し、鮮鋭感のある画像を得ることができる。
【００９３】
（第６の実施の形態）
次に本発明の第６の実施の形態に係る映像信号処理装置を説明する。図６は本実施の形態に係る映像信号処理装置の構成を示すブロック図である。図６において映像信号処理装置は、画像信号を得る撮像手段６０と、撮像手段６０から出力される画像データから色フィルタに対応する色信号を抽出する色信号抽出手段６１と、抽出された色信号から原色信号を計算する原色信号算出手段６２と、原色信号算出に用いる係数を設定する係数設定手段６３と、算出された原色信号から輝度信号を計算したり、算出した輝度信号をガンマ変換したり、鮮鋭化処理等を行う輝度信号処理手段６４と、算出された原色信号をガンマ変換したり、ホワイトバランス処理等を行う色信号処理手段６５と、撮像手段６０から得られた補色画像データから輝度信号を算出する輝度信号算出手段６６とから構成されている。
【００９４】
次に、本発明の第６の実施の形態に係る映像信号処理装置の動作について説明する。上記第１の実施の形態で説明したのと同様の方法で、撮像手段６０で画像データを取得し、色信号抽出手段６１で色データを抽出し、原色信号算出手段６２で原色データを算出する。原色信号算出手段６２で使用するマトリクス係数は係数設定手段６３から得る。
【００９５】
原色信号算出手段６２におけるマトリクス演算によって得られたＲＧＢ原色信号は、輝度信号処理手段６４と色信号処理手段６５に入力される。輝度信号処理手段６４では、算出された原色信号から輝度信号を算出し、算出した輝度信号のガンマ変換や、鮮鋭化処理等を行う。色信号処理手段６５では、色信号のガンマ変換や、ホワイトバランス処理等を行う。
【００９６】
さて輝度信号処理手段６４における輝度信号処理としては、（１）オフセットやゲインの調整、（２）ガンマ変換、（３）鮮鋭化、などが含まれる。そのうち、（３）鮮鋭化処理では、輝度信号の２次微分を算出し、これを元の輝度信号から引くことによって、信号レベルが変化した箇所を強調（映像信号の高周波成分を強調）することができ、これによって、映像を鮮鋭化することができる。
【００９７】
ここで、鮮鋭化処理に入力される輝度信号として、マトリクス演算によって得られた原色信号から算出される輝度信号だけを用いるべきではない。マトリクス演算を水平方向に見た場合、おおよそ（１＋Ｚ^-1）²相当のＬＰＦとして作用するため、原色信号算出手段６２におけるマトリクス演算によって得られる原色信号から算出される輝度信号も（１＋Ｚ^-1）²相当のＬＰＦを作用させたものとしなければならない。つまり、鮮鋭化処理で強調されるべき高周波成分が、すでに相当抑圧されていることになる。ノイズとの兼ね合いから、あまりに強調の度合いを大きくするわけにもいかない。
【００９８】
そこで、輝度信号算出手段６６で、高周波成分を残した輝度信号を生成し、これを輝度の高周波成分として輝度信号処理手段６４における鮮鋭化処理の入力として用いる。高周波成分を残した輝度信号の生成方法としては、例えば色信号帯域を通過させるようなバンドパスフィルタ（ＢＰＦ）を構成して、ＢＰＦ出力を原信号から引くようにすればよい。ＢＰＦをディジタルフィルタで構成する場合、ディジタルフィルタを構成するために以下の式１８を挙げることができる。
【００９９】
【数１８】

【０１００】
サンプリングレート14.3181ＭＨｚ、色キャリア周波数7.16MHz時に、上記ＢＰＦで得られる周波数応答特性と、原信号からＢＰＦ出力を引くことによって得られる、高周波成分を残した輝度信号の周波数応答特性を図１１に示す。
【０１０１】
このようにして得られた高周波成分を残した輝度信号を輝度信号処理手段６４の鮮鋭化処理に用いる。原色信号から算出した輝度信号と適当な比率で混合してもよい。低周波部分は原色信号から得られた輝度信号を、高周波部分は高周波成分を残した輝度信号を用いるようにして、輝度信号を再構成してもよい。色信号処理手段６５では、色信号に対し、オフセットやゲインの調整、ガンマ変換、ホワイトバランス処理等を行う。
【０１０２】
このような本発明の第６の実施の形態に係る映像信号処理装置によれば、従来の映像信号処理装置に比べて、色再現性と、良好な水平輝度周波数応答特性を両立でき、かつ垂直方向の高周波成分を保存し、鮮鋭感のある画像を得ることができる。
【０１０３】
（第７の実施の形態）
図７は第７の実施の形態に係る映像信号処理方法を説明するためのフローチャートである。図７において、まず撮像手段やメモリなどから画像データを読み出す（ステップ７０：画像データ読出し処理）。次に縦方向座標によってデータ抽出処理方法を切り替える（ステップ７１：ラインナンバー判定処理）（図８を例にとるならば、縦方向座標値の偶奇で判定すればよい）。さらに横方向座標によってデータ抽出処理方法を切り替える（ステップ７２、７３：画素ナンバー判定処理）（図８を例にとるならば、横方向座標値の偶奇で判定すればよい）。
【０１０４】
次いで画像データから色データを抽出する（ステップ７４〜７７：色データ抽出処理）。さらに抽出した色データから原色データを算出する（ステップ７８：マトリクス演算処理）。その際、設定されたマトリクス係数を用いてマトリクス演算を行う（ステップ７９：マトリクス係数処理）。次いで、算出した原色信号をもとに輝度信号を生成し、生成した輝度信号についてオフセットやゲインを調整したり、ガンマ変換をしたり、鮮鋭化を行ったりする（ステップ８０：輝度信号処理）。また算出した原色信号をもとに色信号に対してオフセットやゲインを調整したり、ガンマ変換をしたり、ホワイトバランス処理等を行う（ステップ８１：色信号処理）。こうして一連の映像信号処理の動作を終了する。
【０１０５】
このような本発明の第７の実施の形態に係る映像信号処理方法によれば、従来の映像信号処理方法に比べて、補色フィルタを用いた撮像素子で撮像して得られたデジタル画像データからマトリクス演算で原色信号を算出する過程で、原色信号算出に用いるマトリクス演算係数をラインごとに適切な値を切り替えることによって、垂直方向の高域周波数成分を保存し、鮮鋭感のある画像を得ることができる。
【０１０６】
なお、コンピュータ上で上記映像信号処理を実行させるため、磁気ディスク、光磁気ディスク、ＲＯＭ等の記録媒体に上記処理ステップをプログラムとして記録して利用することができる。よって、この記録媒体をコンピュータで読み取ってＭＰＵ、ＤＳＰ等で実行することにより映像信号処理装置として機能させることができる。
【０１０７】
【発明の効果】
以上説明したように本発明は、補色フィルタを用いた撮像素子で撮像して得られたデジタル画像データからマトリクス演算で原色信号を算出する過程で、原色信号算出に用いるマトリクス演算係数をラインごとに適切な値を切り替えることによって、垂直方向の高域周波数成分を保存し、鮮鋭感のある画像を得ることができるという効果を有する。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る映像信号処理装置の構成を示すブロック図
【図２】本発明の第２の実施の形態に係る映像信号処理装置において、３水平×３垂直またはそれ以上の画像データから色フィルタに対応する色信号を抽出する色信号抽出手段の構成を示すブロック図
【図３】本発明の第３の実施の形態に係る映像信号処理装置において、輝度信号生成のための原色信号比を内包する係数を設定する係数設定手段の構成を示すブロック図
【図４】本発明の第４の実施の形態に係る映像信号処理装置において、入力される原色信号の輝度信号生成比率による変動分を補償する色信号処理手段の構成を示すブロック図
【図５】本発明の第５の実施の形態に係る映像信号処理装置において、対象とする画像によって原色データ生成に必要な係数値を調整する係数調整手段を含む映像処理装置の構成を示すブロック図
【図６】本発明の第６の実施の形態に係る映像信号処理装置の構成を示すブロック図
【図７】本発明の第７の実施の形態に係る映像信号処理方法を説明するためのフローチャート
【図８】フィールド色差順次配列補色フィルタアレイの例を示す図
【図９】マトリクスパラメタ切り替え効果確認用映像信号処理結果画像を示す図
【図１０】原色信号分光感度特性を示す図
【図１１】色キャリア帯域通過フィルタ周波数応答特性と、高周波成分保存輝度信号周波数応答特性を示す図
【符号の説明】
１０撮像手段
１１色信号抽出手段
１２原色信号算出手段
１３係数設定手段
１４輝度信号処理手段
１５色信号処理手段
２０色信号抽出手段
２１色信号抽出パターン（Ａ）
２２色信号抽出パターン（Ｂ）
２３色信号抽出パターン（Ｃ）
２４色信号抽出パターン（Ｄ）
３０係数設定手段
３１輝度生成比率設定手段
３２原色生成比率設定手段
４０信号レベル補償手段付き色信号処理手段
４１信号レベル補償手段
４２色信号処理手段
５２原色信号算出手段
５３係数設定手段
５４輝度信号処理手段
５５色信号処理手段
５６係数調整手段
６０撮像手段
６１色信号抽出手段
６２原色信号算出手段
６３係数設定手段
６４輝度信号処理手段
６５色信号処理手段
６６輝度信号算出手段
７０画像データ読出し処理
７１ラインナンバー判定処理
７２、７３画素ナンバー判定処理
７４色データ抽出（Ａ）
７５色データ抽出（Ｂ）
７６色データ抽出（Ｃ）
７７色データ抽出（Ｄ）
７８マトリクス演算
７９マトリクス係数設定
８０輝度信号処理
８１色信号処理

Claims

複数の色成分から構成される画像信号を得る撮像手段と、
前記画像信号から補色フィルタに対応する複数種の色信号を第１および第２のラインに分けて交互に抽出する色信号抽出手段と、
原色信号算出に用いる係数の前記第１あるいは第２のラインのいずれか一方の利得が０になるように前記係数を前記ライン毎に切り替えて設定する係数設定手段と、
前記色信号抽出手段で抽出された各色信号から原色信号を算出する原色信号算出手段と、
前記原色信号を用いて輝度信号を算出し処理する輝度信号処理手段と、
前記原色信号を用いて色信号を処理する色信号処理手段と
を備えたことを特徴とする映像信号処理装置。
前記色信号抽出手段は、３水平×３垂直またはそれ以上の画像信号から色信号を抽出することを特徴とする請求項１に記載の映像信号処理装置。
前記原色信号抽出手段で用いる係数に輝度信号生成のための原色信号比率が内包されていることを特徴とする請求項１又は請求項２に記載の映像信号処理装置。
前記色信号処理手段内に、入力される原色信号の輝度信号生成比率による変動分を補償する信号レベル補償手段を備えることを特徴とする請求項１から請求項３のいずれかに記載の映像信号処理装置。
対象とする画像によって原色データ生成に必要な係数を調整する係数調整手段を備え、前記係数調整手段で調整した係数を前記係数設定手段に与えることを特徴とする請求項１から請求項４のいずれかに記載の映像信号処理装置。
原色信号から得られる輝度信号とは異なる輝度信号を算出する輝度信号算出手段を備え、前記輝度信号算出手段で算出された輝度信号を前記輝度信号処理手段に与えることを特徴とする請求項１から請求項５のいずれかに記載の映像信号処理装置。
補色フィルタを用いた撮像素子で撮像して得られた画像信号から補色フィルタに対応する複数種の色信号を第１および第２のラインに分けて交互に抽出し、
原色信号算出に用いる係数の前記第１あるいは第２のラインのいずれか一方の利得が０になるように前記係数をライン毎に切り替えて設定し、
前記色信号から原色信号を算出し、
算出した原色信号を用いて輝度信号を算出して処理し、算出した原色信号を用いて色信号を処理することを特徴とする映像信号処理方法。
撮像して得られた画像信号から補色フィルタに対応する複数種の色信号を第１および第２のラインに分けて交互に抽出するステップと、
原色信号算出に用いる係数の前記第１あるいは第２のラインのいずれか一方の利得が０になるように前記係数をライン毎に切り替えて設定するステップと、
前記原色信号を算出するステップと、
算出した原色信号を用いて輝度信号を算出して処理するステップと、
算出した原色信号を用いて色信号を処理するステップと
を含む映像信号処理プログラムを記録したコンピュータ読み取り可能な媒体。
撮像して得られた画像信号から補色フィルタに対応する複数種の色信号を第１および第２のラインに分けて交互に抽出するステップと、
原色信号算出に用いる係数の前記第１あるいは第２のラインのいずれか一方の利得が０になるように前記係数をライン毎に切り替えて設定するステップと、
前記色信号から原色信号を算出するステップと、
算出した原色信号を用いて輝度信号を算出して処理するステップと、
算出した原色信号を用いて色信号を処理するステップと
を含んでなるコンピュータ上で映像信号処理を実行させるためのプログラム。