JP3902525B2 - 画像信号処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像信号処理装置に関し、特にたとえばビデオカメラに適用され、複数色の色情報が１色ずつ各画素に割り当てられた画像信号に信号処理を施す画像信号処理装置に関する。
【０００２】
【従来技術】
従来のこの種のビデオカメラの一例が、特許文献１に開示されている。この従来技術によれば、シャッタボタンが操作される前は、ＣＣＤイメージャが間引き読み出し方式で駆動され、ＣＣＤイメージャから読み出された低解像度の生画像信号がＹＵＶ形式の画像信号に変換され、そして変換された画像信号に基づくリアルタイム動画像がモニタに表示される。シャッタボタンが操作されると、ＣＣＤイメージャが全画素読み出し方式で駆動され、ＣＣＤイメージャから読み出された高解像度の生画像信号がＹＵＶ形式の画像信号に変換され、そして変換された画像信号が圧縮状態で記録媒体に記録される。
【０００３】
【特許文献１】
特開２００１−２３１００３号公報
【０００４】
【発明が解決しようとする課題】
従来技術では、ＣＣＤイメージャから出力される生画像信号における色情報の分布状態は、シャッタボタンの操作前後で常に同じである。つまり、シャッタボタンの操作前に読み出される低解像度の生画像信号、およびシャッタボタンの操作後に読み出される高解像度の生画像信号のいずれにおいても、Ｃｙ，Ｙｅ，…のラインとＭｇ，Ｇ，…のラインとが交互に含まれる。このため、シャッタボタンの操作に関係なく、共通の信号処理によって生画像信号をＹＵＶ形式の画像信号に変換することができる。しかし、このことは、生画像信号に含まれる色情報の分布態様がシャッタボタンの操作前後で変化する場合に、信号処理（特に色分離処理）を実行できないことを意味する。
【０００５】
それゆえに、この発明の主たる目的は、複数通りの色分布態様を有する画像信号に色分離処理を施すことができる、画像信号処理装置を提供することである。
【０００６】
【課題を解決するための手段】
この発明は、Ｋ個のラインメモリを備え、複数色の色情報が第１態様で１色ずつ各画素に割り当てられた第１画像信号と複数色の色情報が第２態様で１色ずつ各画素に割り当てられた第２画像信号とに信号処理を施す画像信号処理装置であって、Ｋ個のラインメモリを形成するＬ個のラインメモリを用いて第１画像信号の色分布を第１態様から第２態様に変換する変換手段、変換手段によって色分布が変換された第１画像信号にＫ個のラインメモリを形成するＭ（＝Ｋ−Ｌ）個のラインメモリを用いて色分離を施す第１色分離手段、および第２画像信号にＫ個のラインメモリを用いて色分離を施す第２色分離手段を備える、画像信号処理装置である。
【０００７】
【作用】
複数色の色情報が第１態様で１色ずつ各画素に割り当てられた第１画像信号については、まず変換手段が、Ｋ個のラインメモリを形成するＬ個のラインメモリを用いて色分布を第１態様から第２態様に変換する。色分布が変換された第１画像信号は、Ｋ個のラインメモリを形成するＭ（＝Ｋ−Ｌ）個のラインメモリを用いて、第１色分離手段によって色分離を施される。一方、複数色の色情報が第２態様で１色ずつ各画素に割り当てられた第２画像信号については、Ｋ個のラインメモリを用いて、第２色分離手段によって色分離を施される。
【０００８】
つまり、第１画像信号に信号処理を施すときは、一部のラインメモリが色分布態様の変換に用いられ、残りのラインメモリが色分離に用いられる。一方、第２画像信号に信号処理を施すときは、全てのラインメモリが色分離に用いられる。色分離に振り分けられるラインメモリの数が第１画像信号と第２画像信号とで異なるため、色分離の性能に差が生じるものの、色分布態様が異なる画像信号に対する色分離処理が可能となる。
【０００９】
好ましくは、第１態様は複数色の色情報がＮ（＜Ｌ）ラインにわたって分布する態様であり、第２態様は複数色の色情報がＬラインにわたって分布する態様である。かかる場合に、Ｌ個のラインメモリを用いることによって色分布を第１態様から第２態様に変換することができる。
【００１０】
第１色分離手段は、好ましくは、Ｌ個のラインメモリから読み出された第１画像信号に基づいて、各画素が複数色の色情報を持つ補間画像信号を１ラインずつ生成する。
【００１１】
一方、第２色分離手段は、Ｋ個のラインメモリから読み出された第２画像信号に基づいて各画素が前記複数色の色情報を有する複数ラインの補間画像信号を同時に生成し、生成された複数ラインの補間画像信号に基づいてノイズが除去された１ラインの補間画像信号を生成する。
【００１２】
第１画像信号は、好ましくは第２画像信号よりも低解像度である。低解像度の画像信号に高画質は要求されない点に着目し、Ｋ個よりも少ないＭ個のラインメモリが第１画像信号の色分離に用いられる。さらに好ましくは、第１画像信号は動画像信号であり、第２画像信号は静止画像信号である。動画像を形成する各フレームの静止画像には高画質は要求されない点に着目したものである。
【００１３】
【発明の効果】
この発明によれば、第２画像信号については、Ｋ個のラインメモリのうち、Ｌ個のラインメモリを色分布態様の変換に用いるようにしたため、色分離の性能に差が生じるものの、色分布態様が異なる画像信号に対する色分離処理が可能となる。
【００１４】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１５】
【実施例】
図１を参照して、この実施例のディジタルカメラ１０は、インターライン転送方式のＣＣＤイメージャ１４を含む。ＣＣＤイメージャ１４の受光面は、色フィルタ１４ａによって覆われ、被写体の光学像は、光学レンズ１２および色フィルタ１４ａを経てＣＣＤイメージャ１４の受光面に照射される。
【００１６】
図２を参照して、色フィルタ１４ａは、赤色の色要素（Ｒ要素），緑色の色要素（Ｇ要素）および青色の色要素（Ｂ要素）がモザイク状に配置された原色フィルタである。垂直方向には、Ｒ要素およびＧ要素が水平方向に交互に配置されたＲＧラインと、Ｇ要素およびＢ要素が水平方向に交互に配置されたＧＢラインとが、交互に配置される。かかる色要素はＣＣＤイメージャ１４の受光面に形成された受光素子つまり画素に１対１で対応し、各々の受光素子で光電変換によって生成される電荷つまり画素信号は、Ｒ，ＧまたはＢの色情報を有する。
【００１７】
電源が投入されると、ＣＰＵ３８は、被写体のリアルタイム動画像（スルー画像）をＬＣＤモニタ３４に表示すべく、露光および間引き読み出しの繰り返しをＴＧ（Timing Generator）１６に命令する。ＴＧ１６は、垂直同期信号に応答してイメージセンサ１４に露光を施し、当該露光によって複数の受光素子で生成された電荷を間引き方式で読み出す。間引き読み出しでは、図５（Ａ）に斜線で示す画素が読み出しの対象となり、かかる画素で生成された電荷が図５（Ｂ）〜図５（Ｆ）に示す要領でＣＣＤイメージャ１４から出力される。
【００１８】
図５（Ａ）を参照して、ＲＧライン→ＧＢライン→ＲＧラインの順で垂直方向に連続する３ラインつまりベルトＢ１では、２つのＲＧラインが読み出しラインとなり、ＧＢライン→ＲＧライン→ＧＢラインの順で垂直方向に連続する３ラインつまりベルトＢ２では、２つのＧＢラインが読み出しラインとなる。
【００１９】
ベルトＢ１およびＢ２の各々を垂直３ライン×水平２画素のマトリクスＭＴの集合と考えると、まずベルトＢ１の偶数番目のマトリクスＭＴで生成された電荷が、図５（Ｂ）に示すタイミングで読み出され、同じ色情報を持つ電荷どうしで混合される。混合された電荷は図５（Ｃ）に示すように水平方向に転送され、ベルトＢ１の奇数番目のマトリクスＭＴから読み出された電荷と図５（Ｄ）に示すタイミングで混合される。こうして、同じ色情報を持つ４画素分の電荷が１つにまとめられる。
【００２０】
ベルトＢ２の偶数番目のマトリクスＭＴで生成された電荷は、図５（Ｄ）に示すタイミングで読み出され、同じ色情報を持つ電荷どうしで混合される。混合された電荷は図５（Ｅ）に示すように水平方向に転送され、ベルトＢ２の奇数番目のマトリクスＭＴから読み出された電荷と図５（Ｆ）に示すタイミングで混合される。このため、ベルトＢ２についても、同じ色情報を持つ４画素分の電荷が１つにまとめられる。
【００２１】
画素信号の読み出し／転送が上述の要領で実行されることで、解像度が低減された低解像度生画像信号がＣＣＤイメージャ１４から出力される。イメージセンサ１４から出力された低解像度生画像信号は、ＣＤＳ／ＡＧＣ回路１８によってノイズ除去およびレベル調整を施され、Ａ／Ｄ変換器２０によってディジタルデータ（低解像度生画像データ）に変換される。スルー画像をモニタ３４に表示するとき、ＣＰＵ３８は、スイッチＳＷ１を端子Ｓ１と接続する。したがって、Ａ／Ｄ変換器２０から出力された低解像度生画像データは、スイッチＳＷ１を介して信号処理回路２２に与えられ、スルー画像表示に対応する信号処理によって低解像度ＹＵＶデータに変換される。信号処理回路２２から出力された低解像度ＹＵＶデータは、ズーム回路２４による縮小ズーム処理を経てバッファコントロール回路２６に与えられる。
【００２２】
図４を参照して、バッファコントロール回路２６は、データを一時的に格納するバッファ２６２ａ〜２６２ｆが個別に割り当てられたコントローラ２６１ａ〜２６１ｆを有する。ＳＤＲＡＭ３０へのデータ書き込みはコントローラ２６１ａ〜２６１ｃによって行われ、ＳＤＲＡＭ３０からのデータ読み出しはコントローラ２６１ｄ〜２６１ｆによって行われる。
【００２３】
図１に示すズーム回路２４から出力された低解像度ＹＵＶデータは、コントローラ２６１ａおよびバッファ２６２ａを介してＳＤＲＡＭコントロール回路２８に与えられる。ＳＤＲＡＭ３０は図３に示す要領でマッピングされており、ＳＤＲＡＭコントロール回路２８は、与えられた低解像度ＹＵＶデータを表示画像エリア３０ａに書き込む。
【００２４】
表示画像エリア３０ａに格納された低解像度ＹＵＶデータは、ＳＤＲＡＭコントロール回路２８によって読み出され、コントローラ２６１ｅおよびバッファ２６２ｅを経てビデオエンコーダ３２に出力される。ビデオエンコーダ３２では低解像度ＹＵＶデータがコンポジット画像信号に変換され、変換されたコンポジット画像信号がＬＣＤモニタ３４に与えられる。この結果、スルー画像がモニタ画面に表示される。
【００２５】
シャッタボタン４２が操作されると、ＣＰＵ３８は、被写体像を記録媒体４０に記録すべく、１回の露光および１回の全画素読み出しをＴＧ１６に命令する。ＴＧ１６は、まずＣＣＤイメージャ１４に本露光を施し、これによって生成された電荷をインタレーススキャン方式で読み出す。このときは、図６（Ａ）に示すように全ての画素が読み出しの対象となる。奇数フィールドでは図６（Ｂ）に示すようにＲＧラインの電荷が出力され、偶数フィールドでは図６（Ｃ）に示すようにＧＢラインの電荷が出力される。
【００２６】
こうしてイメージセンサ１４から出力された１フレームの高解像度生画像信号は、ＣＤＳ／ＡＧＣ回路１８を通過し、Ａ／Ｄ変換器２０において高解像度生画像データに変換される。変換された高解像度生画像データは、バッファコントロール回路２６に直接入力され、コントローラ２６１ｂおよびバッファ２６２ｂを介してＳＤＲＡＭコントロール回路２８に与えられる。高解像度生画像データは、ＳＤＲＡＭコントロール回路２８によって図３に示す生画像エリア３０ｂに書き込まれる。
【００２７】
なお、シャッタボタン４２が操作されてから１フレームの高解像度生画像データが生画像エリア３０ｂに取り込まれる間、ビデオエンコーダ３２はオフされ、モニタ３４には黒画像が表示される。
【００２８】
生画像エリア３０ｂに格納された高解像度生画像データは、ＳＤＲＡＭコントロール回路２８によって読み出される。奇数フィールドの生画像データおよび偶数フィールドの高解像度生画像データは１ラインずつ交互に読み出され、これによってインタレーススキャンデータがプログレッシブスキャンデータに変換される。変換された高解像度生画像データは、コントローラ２６１ｆおよびバッファ２６２ｆを介して図１に示す端子Ｓ２に出力される。
【００２９】
シャッタボタン４２が操作されると、スイッチＳＷ１が端子Ｓ２と接続される。コントローラ２６１ｆから出力された高解像度生画像データは、スイッチＳＷ１を介して信号処理回路２２に与えられる。信号処理回路２２は、与えられた高解像度生画像データに画像記録に対応する信号処理を施し、これによって高解像度ＹＵＶデータが生成される。生成された高解像度ＹＵＶデータはズーム回路２４に与えられ、縮小ズーム処理によって表示用の低解像度ＹＵＶデータに変換される。
【００３０】
変換された低解像度ＹＵＶデータは、図４に示すコントローラ２６１ａおよびバッファ２６２ａを介してＳＤＲＡＭコントロール回路２８に与えられ、ＳＤＲＡＭコントロール回路２８によってＳＤＲＡＭ３０の表示画像エリア３０ａに書き込まれる。表示画像エリア３０ａに格納された低解像度ＹＵＶデータは、スルー画像出力時と同様の処理によってビデオエンコーダ３２に与えられる。この結果、被写体のフリーズ画像がモニタ３４に表示される。
【００３１】
フリーズ画像に対応する低解像度ＹＵＶデータの表示画像エリア３０ａへの書き込みが完了すると、生画像エリア３０ｂに格納された高解像度生画像データがＳＤＲＡＭコントロール回路２８によって再度読み出される。このときも、奇数フィールドの高解像度生画像データと偶数フィールドの高解像度生画像データとが１ライン毎に交互に読み出される。読み出された高解像度生画像データは、上述と同じ要領で信号処理回路２２に与えられ、高解像度ＹＵＶデータに変換される。
【００３２】
ズーム回路２４の水平ズーム倍率および垂直ズーム倍率は、フリーズ画像に対応する低解像度ＹＵＶデータが得られた後に初期化される。このため、高解像度ＹＵＶデータは、ズーム処理を施されることなくズーム回路２４から出力される。
【００３３】
出力された高解像度ＹＵＶデータは、図４に示すコントローラ２６１ａおよびバッファ２６２ａを通してＳＤＲＡＭコントロール回路２８に与えられ、ＳＤＲＡＭコントロール回路２８によって図３に示すＪＰＥＧワークエリア３０ｃに書き込まれる。ＪＰＥＧワークエリア３０ｃに格納された高解像度ＹＵＶデータは、その後ＳＤＲＡＭコントロール回路２８によって読み出され、図４に示すコントローラ２６１ｄおよびバッファ２６２ｄを介してＪＰＥＧコーデック３６に与えられる。ＪＰＥＧコーデック３６は、与えられた高解像度ＹＵＶデータにＪＰＥＧ圧縮を施してＪＰＥＧデータが生成する。生成されたＪＰＥＧデータは、図４に示すコントローラ２６１ｃおよびバッファ２６２ｃを介してＳＤＲＡＭコントロール回路２８に与えられ、ＳＤＲＡＭコントロール回路２８によって図３に示す圧縮画像エリア３０ｄに書き込まれる。
【００３４】
ＪＰＥＧデータが圧縮画像エリア３０ｄに確保された後、ＣＰＵ３８は、ＳＤＲＡＭコントロール回路２８を通してＳＤＲＡＭ３０にアクセスし、ＪＰＥＧデータを圧縮画像エリア３０ｄから読み出す。ＣＰＵ３８はさらに、読み出されたＪＰＥＧデータを含む画像ファイルを作成し、作成した画像ファイルを記録媒体４０に記録する。
【００３５】
信号処理回路２２は、図７に示すように構成される。スルー画像の出力のためにスイッチＳＷ１から低解像度生画像データが与えられるとき、スイッチＳＷ２は端子Ｓ４と接続され、スイッチＳＷ３は端子Ｓ５と接続される。これによって、ライン分離回路２２ａが有効化され、色分離回路２２ｄに含まれる補間回路２２３ｄおよび２２５ｄとメディアンフィルタ２２６ｄとが無効化される。また、５つのラインメモリ２２１ｂ〜２２５ｂのうち、２つのラインメモリ２２１ｂおよび２２２ｂがライン分離回路２２ａに割り当てられ、３つのラインメモリ２２３ｂ〜２２５ｂが色分離回路２２ｄに割り当てられる。
【００３６】
図８（Ａ）を参照して、ＣＣＤイメージャ１４の水平画素数および垂直画素数をＨｐｘおよびＶｐｘとすると、スルー画像出力時にＣＣＤイメージャ１４から出力される低解像度生画像信号の水平画素数Ｈ１ｍおよび垂直画素数Ｖ１ｍは、ＨｐｘおよびＶｐｘ／６となる。また、この低解像度生画像信号を形成する各ラインでは、画素信号の色情報はＲ，Ｇ，Ｇ，Ｂ，Ｒ，Ｇ，Ｇ，Ｂ，…の順で変化する。したがって、スイッチＳＷ１から入力される画素データの色情報もまた、Ｒ，Ｇ，Ｇ，Ｂ，Ｒ，Ｇ，Ｇ，Ｂ，…の順で変化する。
【００３７】
ライン分離回路２２ａは、スイッチＳＷ１から画素データを２画素ずつ２つに分離し、分離された一方の画素データをラインメモリ２２１ｂに書き込むとともに、分離された他方の画素データをラインメモリ２２２ｂに書き込む。ラインメモリ２２１ｂに書き込まれた画素データの色情報はＲ，Ｇ，Ｒ，Ｇ，…の順で変化し、ラインメモリ２２２ｂに書き込まれた画素データの色情報はＧ，Ｂ，Ｇ，Ｂ，…の順で変化する。ライン分離回路２２ａはその後、ラインメモリ２２１ｂおよび２２２ｂから順に画素データを読み出す。この結果、ライン分離回路２２ａからは、図８（Ｂ）に示すように画素データの配置が変換された低解像度生画像データが出力される。
【００３８】
図８（Ｂ）によれば、変換後の水平画素数Ｈ２ｍは変換前の水平画素数Ｈ１ｍの１／２となり、変換後の垂直画素数Ｖ２ｍは変換前の垂直画素数Ｖ１ｍの２倍となる。また、奇数ラインの画素データの色情報はＲ，Ｇ，Ｒ，Ｇ，…の順で変化し、偶数ラインの画素データの色情報はＧ，Ｂ，Ｇ，Ｂ，…の順で変化する。
【００３９】
なお、ラインメモリ２２１ｂ〜２２５ｂはいずれも、水平画素数Ｈ１ｍに相当する画素データを格納できる容量を有する。このため、図８（Ｂ）に示すＨ２ｍ×Ｖ２ｍの低解像度生画像データのうち、奇数番目の２ライン分の画素データがラインメモリ２２１ｂに格納され、偶数番目の２ラインの画素データがラインメモリ２２２ｂに格納される。
【００４０】
ライン分離回路２２ａから出力された低解像度生画像データは、スイッチＳＷ２を介して、色分離回路２２ｄに含まれるラインメモリコントロール回路２２１ｄに与えられる。ラインメモリコントロール回路２２１ｄは、ラインメモリ２２３ｂ〜２２５ｂを利用して、４ライン分の低解像度生画像データを２次元レジスタアレイ２２２ｄに同時に入力する。具体的には、注目する４ラインのうち１ライン目〜３ライン目の生画像データをラインメモリ２２３ｂ〜２２５ｂに書き込み、４ライン目の生画像データが２次元レジスタアレイ２２２ｄに入力されるタイミングで１ライン目〜３ライン目の生画像データをラインメモリ２２３ｂ〜２２５ｂから２次元レジスタアレイ２２２ｄに入力する。
【００４１】
２次元レジスタアレイ２２２ｄは、こうして入力された生画像データを水平４画素×垂直４ライン単位で補間回路２２４ｄに与える。補間回路２２４ｄは、与えられた生画像データに補間処理を施して、各画素がＲ，ＧおよびＢの全ての色情報を有する補間画像データを１ラインずつ生成する。スイッチＳＷ３は端子Ｓ５と接続されているため、生成された各ラインの補間画像データは、メディアンフィルタ２２６ｄを経由することなく白バランス調整回路２２ｅに出力される。
【００４２】
なお、２次元レジスタアレイ２２２ｄに同時に入力される４ラインの生画像データは１ラインずつに更新され、補間回路２２４ｄに与えられる水平４画素×垂直４ラインの生画像データは水平方向において１画素ずつ更新される。
【００４３】
白バランス調整回路２２ｅでは色分離回路２２ｄから入力された補間画像データに白バランス調整が施され、続くＹＵＶ変換回路２２ｆでは色バランスが調整された補間画像データにＹＵＶ変換が施される。この結果、図８（Ｃ）に示すように水平画素数がＨ３ｍで垂直画素数がＶ３ｍの低解像度ＹＵＶデータが、ＹＵＶ変換回路２２ｆから出力される。低解像度ＹＵＶデータの水平画素数Ｈ３ｍおよび垂直画素数Ｖ３ｍは、ライン分離を施された低解像度生画像データの水平画素数Ｈ２ｍおよび垂直画素数Ｖ２ｍにほぼ等しい。
【００４４】
画像記録のためにスイッチＳＷ１から高解像度生画像データが与えられるとき、スイッチＳＷ２は端子Ｓ３と接続され、スイッチＳＷ３は端子Ｓ６と接続される。これによって、ライン分離回路２２ａが無効化され、補間回路２２３ｄおよび２２５ｄとメディアンフィルタ２２６ｄとが有効化される。また、５つのラインメモリ２２１ｂ〜２２５ｂの全てが、ラインメモリコントロール回路２２１ｄに割り当てられる。
【００４５】
図９（Ａ）を参照して、画像記録時にＳＤＲＡＭ３０の生画像エリア３０ｂから読み出される高解像度生画像データの水平画素数Ｈ１ｎおよび垂直画素数Ｖ１ｎは、ＣＣＤイメージャ１４の水平画素数Ｈｐｘおよび垂直画素数Ｖｐｘに等しい。また、生画像エリア３０ｂから高解像度生画像データを読み出すときにスキャン態様がインタレーススキャン態様からプログレッシブスキャン態様に変換されるため、奇数ラインの画素データの色情報はＲ，Ｇ，Ｒ，Ｇ，…の順で変化し、偶数ラインの画素データの色情報はＧ，Ｂ，Ｇ，Ｂ，…の順で変化する。
【００４６】
ラインメモリコントロール回路２２１ｄは、ラインメモリ２２１ｂ〜２２５ｂを利用して、６ライン分の高解像度生画像データを２次元レジスタアレイ２２２ｄに同時に入力する。つまり、注目する６ラインのうち１ライン目〜５ライン目の生画像データをラインメモリ２２１ｂ〜２２５ｂに書き込み、６ライン目の生画像データが２次元レジスタアレイ２２１ｄに入力されるタイミングで１ライン目〜５ライン目の生画像データをラインメモリ２２１ｂ〜２２５ｂから２次元レジスタアレイ２２２ｄに入力する。
【００４７】
２次元レジスタアレイ２２２ｄは、同時に入力された６ラインの生画像データのうち、１ライン目〜４ライン目の生画像データを水平４画素×垂直４ラインずつ補間回路２２３ｄに与え、２ライン目〜５ライン目の生画像データを水平４画素×垂直４ラインずつ補間回路２２４ｄに与え、そして３ライン目〜６ライン目の生画像データを水平４画素×垂直４ラインずつ補間回路２２５ｄに与える。
【００４８】
補間回路２２３ｄ〜２２５ｄはそれぞれ、補間処理によって補間画像データを１ラインずつ作成する。作成された合計３ラインの補間画像データは、メディアンフィルタ２２６ｄに与えられる。メディアンフィルタ２２６ｄでは、同時に出力された３ラインの補間画像データにメディアンフィルタ処理が施され、これによってノイズが除去された１ラインの補間画像データが生成される。生成された補間画像データは、スイッチＳＷ３を介して白バランス調整回路２２ｅに出力される。
【００４９】
なお、画像記録時も、２次元レジスタアレイ２２２ｄに同時に入力される６ラインの生画像データは１ラインずつに更新され、補間回路２２３ｄ〜２２５ｄにそれぞれ与えられる水平４画素×垂直４ラインの生画像データは水平方向において１画素ずつ更新される。
【００５０】
白バランス調整回路２２ｅでは色分離回路２２ｄから入力された補間画像データに白バランス調整が施され、ＹＵＶ変換回路２２ｆでは色バランスが調整された補間画像データにＹＵＶ変換が施される。この結果、図９（Ｂ）に示すように水平画素数がＨ２ｎで垂直画素数がＶ２ｎの高解像度ＹＵＶデータが、ＹＵＶ変換回路２２ｆから出力される。高解像度ＹＵＶデータの水平画素数Ｈ２ｎおよび垂直画素数Ｖ２ｎは、スイッチＳＷ１から入力された高解像度生画像データの水平画素数Ｈ１ｎおよび垂直画素数Ｖ１ｎにほぼ等しい。
【００５１】
以上の説明から分かるように、低解像度生画像データについては、各ラインの画素にＲ，Ｇ，Ｇ，Ｂ，…の順で色情報が分布する。一方、高解像度生画像データについては、奇数ラインの画素にＲ，Ｇ，Ｒ，Ｇ，…の順で色情報が分布し、偶数ラインの画素にＧ，Ｂ，Ｇ，Ｂ，…の順で色情報が分布する。つまり、低解像度生画像データでは１（＝Ｎ）ラインに全ての色情報が分布し、高解像度生画像データでは２（＝Ｌ）ラインに全ての色情報が分布する。
【００５２】
低解像度生画像データに基づいて補間画像データを生成するときは、まずライン分離回路２２ａが、５（＝Ｋ）個のラインメモリ２２１ｂ〜２２５ｂのうち２（＝Ｌ）個のラインメモリ２２１ｂおよび２２２ｂを用いて、色分布態様を変換する。変換の結果、奇数ラインの画素にはＲ，Ｇ，Ｒ，Ｇ，…の順で色情報が分布し、偶数ラインの画素にはＧ，Ｂ，Ｇ，Ｂ，…の順で色情報が分布する。かかる低解像度生画像データ対する色分離は、３（＝Ｍ）個のラインメモリ２２３ｂ〜２２５ｂを用いて行われる。一方、高解像度生画像データに基づいて補間画像データを生成するときは、色分布の変換が行われることはない。このため、ラインメモリ２２１ｂ〜２２５ｂの全てを用いて色分離が実行される。
【００５３】
つまり、低解像度生画像データに信号処理を施すときは、一部のラインメモリが色分布態様の変換に用いられ、残りのラインメモリが色分離に用いられる。一方、低解像度生画像データに信号処理を施すときは、全てのラインメモリが色分離に用いられる。色分離に振り分けられるラインメモリの数が低解像度生画像データと高解像度生画像データとで異なるため、色分離の性能に差が生じるものの、色分布態様が異なる画像信号に対する色分離処理が可能となる。
【００５４】
なお、この実施例では、原色ベイヤ配列の色フィルタを用いているが、これに代えてＹｅ，Ｃｙ，ＭｇおよびＧの色要素がモザイク状に配置された補色フィルタを用いるようにしてもよい。
【００５５】
また、この実施例では、同じイメージセンサの駆動方式がスルー画像出力時と画像記録時とで異なり、それゆえに低解像度画像データと高解像度画像データとで色情報の分布態様が異なっている。しかし、駆動方式が異なる２つのイメージセンサを共通の信号処理を実行する２つのディジタルカメラにそれぞれ実装した場合は、色分布態様の相違がカメラ間で発生する。この発明によれば、かかる場合でも、信号処理が適切に実行される。つまり、この発明が実現された信号処理回路（ＡＳＩＣ）は、タイプの異なる複数のイメージセンサに適用することができる。
【図面の簡単な説明】
【図１】この発明の一実施例を示すブロック図である。
【図２】図１実施例に適用される色フィルタの一例を示す図解図である。
【図３】図１実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】図１実施例に適用されるバッファコントロール回路の一例を示すブロック図である。
【図５】間引き読み出しを行うときのＣＣＤイメージャの動作の一部を示すタイミング図である。
【図６】全画素読み出しを行うときのＣＣＤイメージャの動作の一部を示す図解図である。
【図７】図１実施例に適用される信号処理回路の構成の一例を示すブロック図である。
【図８】スルー画像表示処理を行うときの図１実施例の動作の一部を示す図解図である。
【図９】記録処理を行うときの図１実施例の動作の一部を示す図解図である。
【符号の説明】
１０…ディジタルカメラ
１４…イメージセンサ
２２…信号処理回路
２４…ズーム回路
２６…バッファコントロール回路
３２…ビデオエンコーダ
３６…ＪＰＥＧコーデック
３８…ＣＰＵ
４２…シャッタボタン

Claims (6)

1. Ｋ個のラインメモリを備え、複数色の色情報が第１態様で１色ずつ各画素に割り当てられた第１画像信号と前記複数色の色情報が第２態様で１色ずつ各画素に割り当てられた第２画像信号とに信号処理を施す画像信号処理装置であって、
   前記Ｋ個のラインメモリを形成するＬ個のラインメモリを用いて前記第１画像信号の色分布を前記第１態様から前記第２態様に変換する変換手段、
   前記変換手段によって色分布が変換された第１画像信号に前記Ｋ個のラインメモリを形成するＭ（＝Ｋ−Ｌ）個のラインメモリを用いて色分離を施す第１色分離手段、および
   前記第２画像信号に前記Ｋ個のラインメモリを用いて色分離を施す第２色分離手段を備える、画像信号処理装置。
2. 前記第１態様は前記複数色の色情報がＮ（＜Ｌ）ラインにわたって分布する態様であり、
   前記第２態様は前記複数色の色情報がＬラインにわたって分布する態様である、請求項１記載の画像信号処理装置。
3. 前記第１色分離手段は、前記Ｌ個のラインメモリから読み出された第１画像信号に基づいて各画素が複数色の色情報を持つ補間画像信号を１ラインずつ生成する第１補間手段を含む、請求項１または２記載の画像信号処理装置。
4. 前記第２色分離手段は、前記Ｋ個のラインメモリから読み出された第２画像信号に基づいて各画素が前記複数色の色情報を有する複数ラインの補間画像信号を同時に生成する第２補間手段、および前記第２補間手段によって生成された複数ラインの補間画像信号に基づいてノイズが除去された１ラインの補間画像信号を生成するノイズ除去手段を含む、請求項１ないし３のいずれかに記載の画像信号処理装置。
5. 前記第１画像信号は前記第２画像信号よりも低解像度である、請求項１ないし４のいずれかに記載の画像信号処理装置。
6. 前記第１画像信号は動画像信号であり、前記第２画像信号は静止画像信号である、請求項５記載の画像信号処理装置。

Images