JP4348789B2 - 撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関し、特に、補色モザイクカラーコーディングＣＣＤを用いたビデオカメラに適用される撮像装置に関するものである。
【０００２】
【従来の技術】
ＣＣＤイメージセンサ等の固体撮像素子を１枚用いてカラー画像を撮像するような、例えば単板式のＣＣＤカラーカメラシステム等においては、撮像素子であるＣＣＤイメージセンサ上に画素毎に異なる色のフィルタ、いわゆるカラーコーディングフィルタを設けることが必要とされる。
【０００３】
図８は、このようなカラーコーディングフィルタの一例として、補色モザイクカラーコーディングフィルタの色配列構造の具体例を示しており、図中のＣy はシアン（青緑）、Ｙe はイエロー（黄色）、Ｇはグリーン（緑）、Ｍg はマゼンタ（赤紫）をそれぞれ表し、各ラインＮ０、Ｎ１、・・・のｉ番（０≦ｉ）のラインＮｉの第ｊ画素（０≦ｊ）の色ＸをＸｉｊと表している。例えばＧ１２は、ラインＮ１の第２画素の色Ｇ（グリーン）を表している。この図８の例では、横（水平）方向が例えばＣy,Ｙe,Ｃy,Ｙe,・・・のように２画素周期で繰り返しており、縦（垂直）方向で例えばＣy,Ｇ ,Ｃy,Ｍg,・・・のように４画素周期（４ライン周期）で繰り返している。すなわち、水平の繰り返し周期が２画素、垂直の繰り返し周期が４ラインとなっている。
【０００４】
図９は、このような補色モザイクカラーコーディングフィルタのＣＣＤイメージセンサ１０２を用いた撮像装置であるビデオカメラ装置のカメラ信号処理システムの一例を示すブロック図である。
【０００５】
この図９において、カメラ部のレンズやメカニカルシャッタ等より成る光学系１０１を介して撮像素子であるＣＣＤイメージセンサ１０２により撮像され、光電変換されて得られた撮像信号は、ＣＤＳ（相関２重サンプリング）回路、ＧＣＡ（利得制御アンプ）、Ａ／Ｄ（アナログ／ディジタル）変換器等から成るフロントエンド回路１０３を介して、遅延回路１２０に送られる。ＣＣＤイメージセンサ１０２には、タイミング発生回路１０６からの読出パルス信号が供給され、フロントエンド回路１０３には、タイミング発生回路１０６からのサンプリングパルス、Ａ／Ｄ変換駆動パルス等が供給される。タイミング発生回路１０６にはシステム制御回路１０７からの制御信号が供給され、遅延回路１２０にもシステム制御回路１０７からの制御信号が供給される。遅延回路１２０からの出力信号は、前処理回路１３０を介して、Ｙ（輝度）プロセス回路１４０及びＣ（クロマ）プロセス回路１６０にそれぞれ送られる。これらのＹプロセス回路１４０及びＣプロセス回路１６０にも、システム制御回路１０７からの制御信号が供給される。
【０００６】
この図９のシステムにおいては、インターレーススキャンＣＣＤのフィールド読み出しを行っており、図１０に示すように、ＣＣＤ上で垂直方向２ラインの隣接する各画素データをそれぞれ加算して、図１１に示すような信号として読み出している。これは、２ライン混合読み出しとも称される。このように、一のフィールドで各２ラインＮ０＋Ｎ１、Ｎ２＋Ｎ３、・・・が混合加算されて読み出されると、次のフィールドではＮ１＋Ｎ２、Ｎ３＋Ｎ４、・・・が混合加算されて読み出される。
【０００７】
【発明が解決しようとする課題】
ところで、図９のＹプロセス回路１４０を含む輝度信号処理の一つとして、垂直方向の輪郭強調処理が含まれており、この垂直方向の輪郭強調処理に関連する部分の構成を抜き出して図１２に示す。この図１２において、遅延回路１２０では、２つの１Ｈ（１水平期間、１ライン）遅延素子１２１，１２２を用い、遅延なし信号[HH0D]、１Ｈ遅延信号[HH1D]、２Ｈ遅延信号[HH2D]を取り出して、前処理回路１３０に送っている。前処理回路１３０では、上記信号[HH0D]、[HH2D]を加算器１３１で加算し、１／２乗算器１３２で１／２にして、Ｙプロセス回路１４０に送っている。上記１Ｈ遅延信号[HH1D]は、処理対象の信号としてそのままＹプロセス回路１４０に送っている。
【０００８】
Ｙプロセス回路１４０では、上記１Ｈ遅延信号[HH1D]が輝度信号の本線系処理回路１４１と、垂直輪郭強調回路１４４とに送られる。本線系処理回路１４１では、Ｈ（水平）方向輪郭強調やγ補正等の処理が施され、垂直輪郭強調回路１４４からの出力信号が加算器１４２で加算されるようになっている。垂直輪郭強調回路１４４では、減算器１４５により、上記１Ｈ遅延信号[HH1D]から、上記１／２乗算器１３２からの([HH0D]+[HH2D])/2 の信号が減算され、水平ローパスフィルタ１４６を介し、アンプ１４７を介して取り出され、上記本線系処理回路１４１の加算器１４２に送られる。
【０００９】
このような垂直方向の輪郭強調においては、垂直輪郭強調回路１４４から出力される垂直方向輪郭強調信号[VAPC]は、
[VAPC] = [HH1D]-([HH0D]+[HH2D])/2 ・・・（１）
となる。ここで、ＣＣＤイメージセンサ１０２からの信号は、上述したように２ライン加算された信号であるから、上記（１）式をＣＣＤイメージセンサ１０２上での画素レート単位で表現すると、上記図１０、図１１のラインＮ０〜Ｎ５を対象とするとき、

となる。これは、輪郭強調フィルタ演算のタップ係数として、
（-１,-１,２,２,-１,-１） ・・・（３）
とすることに相当し、垂直方向サンプリング周波数ｆsvの１／４より低い空間周波数成分を中心に輪郭強調していることになる。
【００１０】
したがって、従来のフィールド読み出し方式によるカメラ信号処理システムでは、輪郭強調の中心周波数は、ＣＣＤ垂直方向画素レートに相当する周波数ｆsvの１／４、すなわち (1/4)ｆsvより低い空間周波数であり、その分鮮明度が落ちることになる。
【００１１】
本発明は、上述の問題点に鑑みてなされたものであって、垂直方向の輪郭強調で(1/4)ｆsvより高い空間周波数成分も強調可能な撮像装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述の課題を解決するために、本発明は、カラーコーディングフィルタを有する撮像素子と、上記撮像素子の各ラインからの出力に基づいて、垂直方向の輪郭強調を行う垂直方向輪郭強調手段とを有し、上記垂直方向輪郭強調手段は、上記撮像素子の垂直方向４ラインの演算により垂直方向の画素レートに対応する周波数ｆsvの１／４より高い空間周波数成分を中心に輪郭強調する第１の垂直方向輪郭強調回路と、上記撮像素子の垂直方向で隣接する２ラインを加算して得られる信号に基づき垂直方向の輪郭強調を行う第２の垂直方向輪郭強調回路とを有して成る。
【００１３】
ここで、上記カラーコーディングフィルタは、補色モザイクカラーコーディングフィルタであることが挙げられる。この補色モザイクカラーコーディングフィルタとしては、Ｃy,Ｙe が交互に繰り返される第１のラインと、Ｇ,Ｍgが交互に繰り返される第２のラインと、Ｃy,Ｙe が交互に繰り返される第３のラインと、Ｍg,Ｇが交互に繰り返される第４のラインとから成る水平２画素×垂直４ラインを繰り返しの単位とするフィルタであることが挙げられる。
【００１５】
【発明の実施の形態】
以下、本発明に係る撮像装置の実施の形態について、図面を参照しながら説明する。図１は、本発明に係る撮像装置の実施の形態となるビデオカメラ装置のシステムの構成の一例を示すブロック図である。また、図２は、本実施の形態の要部となる垂直方向の輪郭強調に関連する部分の構成を抜き出して示すブロック図である。
【００１６】
図１において、カメラ部の光学系１１は、レンズやメカニカルシャッタ等より成り、この光学系１１を介した光学像は、撮像素子であるＣＣＤイメージセンサ１２により撮像され、光電変換される。このＣＣＤイメージセンサ１２は、全画素読み出しが可能となっており、具体的には、インターレーススキャンＣＣＤのフレーム読み出しにより全画素を読み出している。このインターレーススキャンされてフレーム読み出しされる２フィールドの信号は、上記光学系１１のメカニカルシャッタにより、同一時刻に露光された画像となっている。
【００１７】
ＣＣＤイメージセンサ１２から得られた撮像信号は、フロントエンド回路１３に供給される。このフロントエンド回路１３は、ＣＣＤで光電変換され蓄積された各画素毎の電荷を検出するためのＣＤＳ（相関２重サンプリング）回路、ＧＣＡ（利得制御アンプ）、Ａ／Ｄ（アナログ／ディジタル）変換器等から成るものであり、このフロントエンド回路１３からの出力信号は、メモリ制御回路１４を介して遅延回路２０に送られる。メモリ制御回路１４にはメモリ１５が接続されている。このメモリ１５は、ＣＣＤイメージセンサ１２から上記フレーム読み出しされた信号を、ＣＣＤ上の空間配列データに並び替えるためのものである。
【００１８】
ＣＣＤイメージセンサ１２には、タイミング発生回路１６からの読出パルス信号が供給され、フロントエンド回路１３には、タイミング発生回路１６からのサンプリングパルス、Ａ／Ｄ変換駆動パルス等が供給される。タイミング発生回路１６にはシステム制御回路１７からの制御信号が供給され、遅延回路１２０にもシステム制御回路１７からの制御信号が供給される。
【００１９】
ここで、ＣＣＤイメージセンサ１２からの上記フレーム読み出し動作、及びメモリ１５での上記並び替え動作について、図３〜図５を参照しながら説明する。図３は、ＣＣＤイメージセンサ１２上でのフレーム読み出しのイメージを示す図であり、全てのラインＮ０、Ｎ１、・・・の個々の画素が全て読み出されるが、１ライン置きにインターレーススキャンされることで、ＣＣＤ出力信号は、図４に示すように、偶数ラインＮ０、Ｎ２、・・・の第１のフィールドＦ１と、奇数ラインＮ１、Ｎ３、・・・の第２のフィールドＦ２とに分けられて（２つのフィールドの信号として）読み出されたものとなる。メモリ制御回路１４は、これらの２つのフィールドＦ１、Ｆ２の信号をメモリ１５に対して書込／読出制御することにより、図５に示すようなＣＣＤ上の空間配列順序に並び替えて出力する。すなわち、メモリ制御回路１４からの出力信号（図５）は、ＣＣＤ上のライン順（Ｎ０、Ｎ１、・・・の順）に従ったフレーム画像信号となっている。
【００２０】
再び図１に戻って、遅延回路２０からの出力信号は、前処理回路３０を介して、Ｙ（輝度）プロセス回路４０及びＣ（クロマ）プロセス回路６０にそれぞれ送られる。これらのＹプロセス回路４０及びＣプロセス回路６０にも、システム制御回路１７からの制御信号が供給される。
【００２１】
次に、図２は、本実施の形態の要部となる垂直方向の輪郭強調に関連する部分の構成を抜き出して示すものである。この図２において、遅延回路２０では、５つの１Ｈ（１水平期間、１ライン）遅延素子２１〜２５を用い、遅延なしの信号[H0D] と、１Ｈ遅延信号[H1D] 〜５Ｈ遅延信号[H5D] とを取り出して、前処理回路３０に送っている。前処理回路３０では、上記信号[H0D]〜[H5D]について、信号[H0D]、[H1D]を加算器３１で加算し、信号[H2D]、[H3D]を加算器３２で加算し、信号[H4D]、[H5D]を加算器３３で加算し、加算器３１からの出力と加算器３３からの出力とを加算器３４で加算して１／２乗算器３５で１／２にし、この乗算器３５からの出力信号 ([H0D]+[H1D]+[H4D]+[H5D])/２ と、上記加算器３２からの出力信号([H2D]+[H3D]) とをＹプロセス回路４０に送っている。なお、加算器３２からの出力信号([H2D]+[H3D]) が、現在の処理対象信号となる。
【００２２】
Ｙプロセス回路４０では、上記加算器３２からの信号([H2D]+[H3D]) が、輝度信号の本線系処理回路４１と、第１の垂直輪郭強調回路４４とに送られ、上記１／２乗算器３５からの出力信号 ([H0D]+[H1D]+[H4D]+[H5D])/２ が、第１の垂直輪郭強調回路４４に送られる。また、上記各遅延素子２１〜２４からの１Ｈ遅延信号[H1D] 〜４Ｈ遅延信号[H4D] が、第２の垂直輪郭強調回路５０に送られ、この第２の垂直輪郭強調回路５０からの出力と、第１の垂直輪郭強調回路４４からの出力とが加算器５４で加算され、本線系処理回路４１に送られる。本線系処理回路４１では、Ｈ（水平）方向輪郭強調やγ補正等の処理が施され、加算器５４からの出力信号が加算器４２で加算されるようになっている。
【００２３】
第１の垂直輪郭強調回路４４では、減算器４５により、上記加算器３２の出力信号([H2D]+[H3D]) から、上記１／２乗算器３５の出力信号 ([H0D]+[H1D]+[H4D]+[H5D])/２ が減算され、水平ローパスフィルタ４６を介し、アンプ４７を介して取り出され、加算器５４に送られる。この第１の垂直輪郭強調回路４４は、上述した図１２の垂直輪郭強調回路１４４と同じものである。
【００２４】
第２の垂直輪郭強調回路５０では、減算器５１により、上記各遅延素子２１〜２４からの信号[H1D] 〜[H4D] が加算、減算されて、-[H1D]+[H2D]+[H3D]-[H4D]が求められ、この減算器５１からの出力が、水平ローパスフィルタ５２を介し、アンプ５３を介して取り出され、加算器５４に送られる。すなわち、第２の垂直輪郭強調回路５０の上記減算器５１は、タップ係数が、
（−１,１,１,−１）
のフィルタ演算を行うフィルタに相当し、このフィルタ演算
-１*[H1D]+１*[H2D]+１*[H3D]-１*[H4D]
により、垂直方向の輪郭強調を行う。この減算器５１からの信号は、上記補色モザイクカラーコーディングの感度差による水平方向のサンプリング周波数ｆshの１／２の変調成分を持っているため、水平ローパスフィルタ５２により上記周波数(1/2)ｆsh の変調成分を取り除き、アンプ５３にてレベル調整を行った後、加算器５４に送っている。
【００２５】
このような構成による垂直方向の輪郭強調において、第１の垂直輪郭強調回路４４から出力される垂直方向の輪郭強調信号は、上述した従来の垂直方向輪郭強調信号[VAPC]に相当し、その周波数特性は、図６のようになる。この図６の輪郭強調の周波数特性の中心周波数は、ＣＣＤ垂直方向画素レートのサンプリング周波数ｆsvの１／４より低い空間周波数となっている。これに対して、第２の垂直輪郭強調回路５０から出力される垂直方向の輪郭強調信号[ｎVAPC]の周波数特性は、図７のようになる。この図７の輪郭強調の周波数特性の中心周波数は、ＣＣＤ垂直方向画素レートのサンプリング周波数ｆsvの１／４より高い空間周波数となっている。
【００２６】
従って、従来の垂直方向輪郭強調では、ＣＣＤ画素レートの垂直方向サンプリング周波数ｆsvに対し、(1/4)ｆsv 以下の空間周波数を中心に輪郭強調するのみであったのに対して、本発明の実施の形態によれば、上記第２の垂直方向輪郭強調を行うことにより、(1/4)ｆsv を超える高域の空間周波数帯域を輪郭強調することが可能となり、垂直方向の詳細な画像を作成することが可能である。
【００２７】
なお、本発明は、上述した実施の形態のみに限定されるものではなく、例えば上記実施の形態では、ビデオカメラ装置への適用例を説明したが、この他の撮像装置への適用も可能であり、上記実施の形態では、インターレーススキャンＣＣＤを用いたフレーム読出方式の信号処理について説明したが、他にも補色モザイクカラーコーディングＣＣＤの各ライン独立にデータを読み出すことが可能なシステムに適用可能である。また、補色モザイクカラーコーディングの画素配列は、上記実施の形態に限定されず、他の配列であってもよく、また、３原色のカラーコーディングフィルタを用いる場合にも本発明を適用できる。この他、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００２８】
【発明の効果】
本発明に係る撮像装置によれば、カラーコーディングフィルタを有する撮像素子と、上記撮像素子の各ラインからの出力に基づいて、垂直方向の画素レートに対応する周波数ｆsvの１／４より高い空間周波数成分を輪郭強調する機能を有する垂直方向輪郭強調手段とを有することにより、高域の空間周波数成分の輪郭強調が行える。
【００２９】
また、上記カラーコーディングフィルタとして、Ｃy,Ｙe が交互に繰り返される第１のラインと、Ｇ,Ｍgが交互に繰り返される第２のラインと、Ｃy,Ｙe が交互に繰り返される第３のラインと、Ｍg,Ｇが交互に繰り返される第４のラインとから成る水平２画素×垂直４ラインを繰り返しの単位とする補色モザイクカラーコーディングフィルタを用いることにより、ＣＣＤの画素レートの垂直方向サンプリング周波数ｆsvに対して(1/4)ｆsv よりも高域の空間周波数成分を輪郭強調することができ、鮮明度の高い高画質の出力画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態が適用されるビデオカメラ装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態の要部となる垂直方向輪郭強調に関連する部分の構成を抜き出して示すブロック図である。
【図３】ＣＣＤイメージセンサ上でのフレーム読み出しのイメージを示す図である。
【図４】ＣＣＤイメージセンサをインターレーススキャンして全画素を２つのフィールド信号にて読み出すときのＣＣＤ出力信号を示す図である。
【図５】図４のＣＣＤ出力信号に対してＣＣＤイメージセンサ上の画素配列に従った並び替えを行った後の信号を示す図である。
【図６】従来の垂直方向輪郭強調の周波数特性を示す図である。
【図７】本発明の実施の形態の要部による垂直方向輪郭強調の周波数特性を示す図である。
【図８】ＣＣＤイメージセンサ上の補色モザイクカラーコーディングフィルタの一例を示す図である。
【図９】従来のビデオカメラ装置のカメラ信号処理システムの一例を示すブロック図である。
【図１０】ＣＣＤイメージセンサの２ライン混合読み出しを説明するための図である。
【図１１】ＣＣＤイメージセンサの２ライン混合読み出しにより得られたＣＣＤ出力信号を示す図である。
【図１２】従来の垂直方向輪郭強調に関連する部分の構成を抜き出して示すブロック図である。
【符号の説明】
１２ ＣＣＤイメージセンサ、 １３ フロントエンド回路、 １４ メモリ制御回路、 １５ メモリ、 ２０ 遅延回路、 ２１〜２５ １Ｈ遅延素子、３０ 前処理回路、 ３１〜３４ 加算器、 ４０ Ｙプロセス回路、 ４１本線系処理回路、 ４２，５４ 加算器、 ４４ 第１の垂直輪郭強調回路、４５，５１ 減算器、 ４６，５２ 水平ＬＰＦ、 ５０ 第２の垂直輪郭強調回路

Claims (4)

1. カラーコーディングフィルタを有する撮像素子と、
   上記撮像素子の各ラインからの出力に基づいて、垂直方向の輪郭強調を行う垂直方向輪郭強調手段とを有し、
   上記垂直方向輪郭強調手段は、上記撮像素子の垂直方向４ラインの演算により垂直方向の画素レートに対応する周波数ｆsvの１／４より高い空間周波数成分を中心に輪郭強調する第１の垂直方向輪郭強調回路と、上記撮像素子の垂直方向で隣接する２ラインを加算して得られる信号に基づき垂直方向の輪郭強調を行う第２の垂直方向輪郭強調回路とを有して成る撮像装置。
2. 上記カラーコーディングフィルタは、補色モザイクカラーコーディングフィルタである請求項１記載の撮像装置。
3. 上記補色モザイクカラーコーディングフィルタは、Ｃy（シアン），Ｙe（イエロー）が交互に繰り返される第１のラインと、Ｇ（グリーン），Ｍg（マゼンタ）が交互に繰り返される第２のラインと、Ｃy，Ｙeが交互に繰り返される第３のラインと、Ｍg，Ｇが交互に繰り返される第４のラインとから成る水平２画素×垂直４ラインを繰り返しの単位とするフィルタである請求項２記載の撮像装置。
4. 上記撮像素子は、奇数ラインと偶数ラインとが個別にスキャンされてフレーム読み出しされる請求項１記載の撮像装置。

Images