JP3017311B2 - カラー撮像装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、２次元的に複数個の受
光素子（画素）が配置された撮像素子を備えたカラー撮
像装置に関し、特に解像度がよく、モワレが少なくＳ／
Ｎ比の良い画像を出力できるカラー撮像装置に関するも
のである。

【０００２】

【従来の技術】図１９，図２０，図２１は従来より知ら
れているカラー固体撮像素子の色フィルタの配列構成の
例を示す図である。図１９は赤色光透過フィルタＲ，緑
色光透過フィルタＧ，青色光透過フィルタＢが垂直にス
トライプ状に並んだいわゆるストライプフィルタと呼ば
れる構成である。これに対し、図２０，図２１はいわゆ
るモザイクフィルタと呼ばれる構成で、図２０では緑色
光透過フィルタＧが垂直にストライプ状になっており、
赤色光透過フィルタＲおよび青色光透過フィルタＢがそ
れぞれ２行おき２列に水平方向にＧフィルタの間に配置
され、また、図２１ではマゼンタ光透過フィルタＭｇ，
緑色光透過フィルタＧｒ，シアン光透過フィルタＣｙ，
黄色光透過フィルタＹｅが水平方向に２画素，垂直方向
に４画素の８個の色フィルタを１単位とし、図に示す順
序で配置されている。

【０００３】しかしながら、これらの色フィルタ配列を
持つ撮像素子には次のような問題がある。すなわち、図
１９に示す構成の色フィルタを設けた撮像素子では、サ
ンプリング周波数の１／３の周波数に色信号キャリアが
発生するため、ナイキスト周波数であるサンプリング周
波数の１／２の周波数までを解像できず解像度が劣る。

【０００４】図２０に示す構造の色フィルタを設けた撮
像素子は、垂直方向にバンドの異なるＲフィルタとＢフ
ィルタが並んでいるため、垂直方向に色モワレが発生し
やすく、特に有彩色画像が見苦しいシーンが出てくる。

【０００５】図２１に示す構成の色フィルタを設けた撮
像素子は、バンドの広い補色フィルタで構成されている
ため、図２０に示す構成の色フィルタを設けた撮像素子
より色モワレは出にくいが、画素の出力信号間の差信号
で色信号を形成するため、色信号のＳ／Ｎ比が悪く、さ
らに、出力信号を量子化しディジタル処理を行う際に、
色信号の量子化誤差が大きくなり好ましくない。

【０００６】さらに、図２０，図２１に示す構成の色フ
ィルタを設けた撮像素子ともサンプリングが周波数の１
／２の周波数に色信号キャリアが発生するため、ナイキ
スト周波数であるサンプリング周波数の１／２の周波数
までを解像することができない。

【０００７】これに対し、米国特許明細書第３９７１０
６５号に開示されている、いわゆるベイヤー配列と呼ば
れる色フィルタ配列を有する撮像素子がある。これは図
２２に示すように、撮像素子の水平方向のピッチをＰ
_H ，垂直方向のピッチをＰ_V とすると、緑色光透過フィ
ルタＧは、水平方向のピッチ２Ｐ_H ，垂直方向のピッチ
Ｐ_V で水平方向にＰ_H だけオフセットされたオフセット
サンプリング構造で配置され、赤色光透過フィルタＲお
よび青色光透過フィルタＢは水平方向のピッチ２Ｐ_H ，
垂直方向のピッチ２Ｐ_V の矩形格子状サンプリング構造
で配置されているものである。このようなベイヤー配列
を有する撮像素子を用いると、モワレが少なく、かつ、
Ｓ／Ｎ比の良い良好な画像が得られることが知られてい
る。

【０００８】

【発明が解決しようとする課題】しかしながら、このベ
イヤー配列を有する撮像素子を用いても以下に示す問題
が発生する。すなわち、図２３（ａ），（ｂ）はそれぞ
れ図２２に示す色フィルタの撮像素子で発生する信号キ
ャリアの位置を２次元周波数平面（ｆ_H ，ｆ_V ）上に表
わしたときの第１象限の特性図である。

【０００９】ここで、図２３（ａ）に示す周波数平面上
の特性図は、図２２の撮像素子の各画素からの出力信号
をそのままスイッチングして切り換えることにより輝度
信号を形成しており、図２３（ｂ）に示す周波数平面上
の特性図は、図２２の撮像素子のＧフィルタが配置され
た画素からの信号のみを用いて輝度信号を形成してい
る。

【００１０】いずれの場合も周波数空間上、（１／２Ｐ
_H ，０）および（０，１／２Ｐ_V ）に色信号のキャリア
が発生していることがわかる。すなわち、ベイヤー配列
を有する撮像素子の場合もサンプリング周波数の１／２
の周波数に色信号キャリアが発生するため、ナイキスト
周波数であるサンプリング周波数の１／２の周波数まで
を解像することができない。

【００１１】さらに、各画素からの出力信号をスイッチ
ングして切り換えたり、Ｇフィルタが配置された画素か
らの信号のみを用いる単純合成の輝度信号では、正しい
分光特性を持つ輝度信号が得られず、したがって出力画
像の色再現性等に悪影響を及ぼす。このため、輝度信号
の低域成分だけを正しい分光特性を持つ輝度信号に置き
換える処理が従来より行われているが、この正しい分光
特性を持つ輝度信号を形成するための回路規模が大幅に
増加する。

【００１２】本発明はこのような問題に鑑みてなされた
もので、簡易な手法で分光特性の補正された輝度信号を
得ることができ、解像度が良く、モワレが少なく、Ｓ／
Ｎ比の良好な画像を得ることのできるカラー撮像装置を
提供することを目的とするものである。

【００１３】

【課題を解決するための手段】本発明では、前記目的を
達成するため、カラー撮像装置を次の（１），（２）の
とおりに構成する。

【００１４】（１）被写体像を輝度情報と色情報を有す
る電気信号に変換するカラー撮像装置であって、つぎの
ａ，ｂ，ｃ，ｄ，ｅの構成要素を備えたカラー撮像装
置。 ａ．画素が水平方向のピッチＰ_H ，垂直方向のピッチＰ
_V の矩形格子状に配置された撮像素子。 ｂ．前記画素に対応して設けられた、水平方向のピッチ
２Ｐ_H ，垂直方向のピッチＰ_V で水平方向にＰ_H だけオ
フセットされたオフセットサンプリング構造を有する第
１の色フィルタと、水平方向のピッチ２Ｐ_H ，垂直方向
のピッチ２Ｐ_Vの矩形格子状サンプリング構造を有する
第２の色フィルタおよび第３の色フィルタとを有する色
フィルタアレイ。 ｃ．入射した光線を該撮像素子の走査方向に対し時計回
りまたは反時計回りにθの角度をなす方向で距離Ｄだけ
離れた２本の光線に分離する光学部材を有し、撮像光学
系に設けた光学的ローパスフィルタであって、 ０．８Ｐ_H Ｐ_V ／｜Ｐ_Hsinθ＋Ｐ_Vcosθ｜≦Ｄ≦ １．２Ｐ_H Ｐ_V ／｜Ｐ_Hsinθ＋Ｐ_Vcosθ｜ 但し ０≦θ≦π／２ の条件をみたす光学的ローパスフィルタ。 ｄ．前記第１の色フィルタ，第２の色フィルタ，第３の
色フィルタに対応する画素から出力された第１の色信
号，第２の色信号，第３の色信号にもとづいて、第１の
色信号のうち第２の色信号の画素と同じ列または同じ行
の画素による信号のみを同時化し、第２の色信号との差
をとった第１の差信号と、第１の色信号のうち第３の色
信号の画素と同じ列または同じ行の画素による信号のみ
を同時化し、第３の色信号との差をとった第２の差信号
とから前記色情報を形成する色情報形成手段。 ｅ．前記第１の差信号と前記第２の差信号とをそれぞれ
定数倍し、これを前記第１の色信号，第２の色信号，第
３の色信号のうちの少なくとも１つ以上の信号を合成し
て得られた信号に加算することで前記輝度情報を形成す
る輝度情報形成手段。

【００１５】（２）被写体像を輝度情報と色情報を有す
る電気信号に変換するカラー撮像装置であって、つぎの
ａ，ｂ，ｃ，ｄ，ｅの構成要素を備えたカラー撮像装
置。 ａ．画素が水平方向のピッチＰ_H ，垂直方向のピッチＰ
_V の矩形格子状に配置された撮像素子。 ｂ．前記画素に対応して設けられた、水平方向のピッチ
２Ｐ_H ，垂直方向のピッチＰ_V で水平方向にＰ_H だけオ
フセットされたオフセットサンプリング構造を有する第
１の色フィルタと、水平方向のピッチ２Ｐ_H ，垂直方向
のピッチ２Ｐ_Vの矩形格子状サンプリング構造を有する
第２の色フィルタおよび第３の色フィルタとを有する色
フィルタアレイ。 ｃ．入射した光線を該撮像素子の走査方向に対し時計回
りまたは反時計回りにθの角度をなす方向で距離Ｄだけ
離れた２本の光線に分離する光学部材を有し、撮像光学
系に設けた光学的ローパスフィルタであって、 ０．８Ｐ_H Ｐ_V ／｜Ｐ_Hsinθ＋Ｐ_Vcosθ｜≦Ｄ≦ １．２Ｐ_H Ｐ_V ／｜Ｐ_Hsinθ＋Ｐ_Vcosθ｜ 但し ０≦θ≦π／２ の条件をみたす光学的ローパスフィルタ。 ｄ．前記第１の色フィルタ，第２の色フィルタ，第３の
色フィルタに対応する画素から出力された第１の色信
号，第２の色信号，第３の色信号にもとづいて、第１の
色信号のうち第２の色信号の画素と同じ列の画素による
信号のみを同時化し、第２の色信号との差をとった第１
の差信号と、第１の色信号のうち第３の色信号の画素と
同じ列の画素による信号のみを同時化し、第３の色信号
との差をとった第２の差信号とから前記色情報を形成す
る第１の色信号形成手段、並びに第１の色信号のうち第
２の色信号の画素と同じ行の画素による信号のみを同時
化し、第２の色信号との差をとった第３の差信号と、第
１の色信号のうち第３の色信号の画素と同じ行の画素に
よる信号のみを同時化し、第３の色信号との差をとった
第４の差信号とから前記色情報を形成する第２の色情報
形成手段を有し、被写体像における前記走査方向または
これに直交する方向の周波数成分に応じて該第１の色情
報形成手段と該第２の色情報形成手段とを切り換える色
情報形成手段。 ｅ．前記第１の差信号または第３の差信号と前記第２の
差信号または第４の差信号とをそれぞれ定数倍し、これ
を前記第１の色信号，第２の色信号，第３の色信号のう
ちの少なくとも１つ以上の信号を合成して得られた信号
に加算することで前記輝度情報を形成する輝度情報形成
手段。

【００１６】

【作用】前記（１）の構成により、２次元周波数空間上
の（１／２Ｐ_H ，０）また（０，１／２Ｐ_V ）にある白
黒の被写体についての色差信号のキャリアが消滅し、
（±１／２Ｐ_H ，±１／２Ｐ_V ）にある色差信号のキャ
リアが抑制される。前記（２）の構成により、２次元周
波数空間上の（１／２Ｐ_H ，０）および（０，１／２Ｐ
_V ）にある白黒の被写体についての色差信号のキャリア
が消滅し、（±１／２Ｐ_H ，±１／２Ｐ_V ）にある色差
信号のキャリアが抑制される。

【００１７】また、前記（１），（２）の構成によれ
ば、合成して得た輝度情報に、各差信号を定数倍した信
号が加算され、輝度情報の分光特性が補正される。

【００１８】

【実施例】以下本発明を実施例により詳しく説明する。
図１は本発明の第１実施例である“カラー撮像装置”の
ブロック図である。撮像素子（センサ）１０１には図２
２に示すベイヤー配列のＲ，Ｇ，Ｂフィルタ（フィルタ
アレイ）が設けられている。撮像素子１０１から１画素
ごとに読み出された画像信号は色分離部１０２により
Ｒ，Ｇ，Ｂ信号に分離された後、ホワイトバランス部１
１１でＲ，Ｇ，Ｂ信号のゲインがホワイトバランスセン
サ（ＡＷＢ）１２０より得られた色温度情報をもとにホ
ワイトバランス調整され、次にγ変換部１１２でγ変換
され、その後Ａ／Ｄ（アナログ−ディジタル）変換器１
０３でＡ／Ｄ変換される。

【００１９】輝度信号はスイッチ回路（ＳＷＹ）１２６
によりスイッチングされることにより読み出し順に並べ
られ、広域成分を含む輝度信号Ｙ_S として読み出され
る。この輝度信号Ｙ_S は、後述する第１の差信号Ｒ（γ
乗）−Ｇ₁ （γ乗），第２の差信号Ｂ（γ乗）−Ｇ₂
（γ乗）の定数倍を加算した信号と加算器１１７で加算
され、Ｄ／Ａ（ディジタル−アナログ）変換器１１８で
Ｄ／Ａ変換され出力される。

【００２０】一方、Ａ／Ｄ変換器１０３の出力のうちＧ
（γ乗）信号は、スイッチ（ＳＷ）１２８により図２に
示すような位置にあるＧ₁ （γ乗）信号とＧ₂ （γ乗）
信号に分離される。これはスイッチ１２８を例えば１水
平走査期間ごとに切り換えることで可能である。このよ
うに分離されたＧ₁ （γ乗）信号，Ｇ₂ （γ乗）信号は
Ｒ（γ乗）信号，Ｂ（γ乗）信号とともに補間フィルタ
１０６，１０７，１０８，１０９に入力され、各々同時
化された信号Ｒ（γ乗），Ｇ₁ （γ乗），Ｇ₂（γ
乗），Ｂ（γ乗）となる。なお、補間フィルタ１０６〜
１０９では補間による同時化のみならず、２次元ローパ
スフィルタリング，エッジ強調等の線形処理も行われ
る。これらの処理は線形処理のため、後で述べる加算処
理やマトリクス処理等の処理と順序を入れかえても良
い。

【００２１】同時化されたＲ（γ乗）信号，Ｇ₁ （γ
乗）信号は加算器１２９で第１の差信号Ｒ（γ乗）−Ｇ
₁ （γ乗）となり、Ｂ（γ乗）信号とＧ₂ （γ乗）信号
は加算器１３０で第２の差信号Ｂ（γ乗）−Ｇ₂ （γ
乗）となり、これらが色差信号マトリクス処理部１１３
に入力される。

【００２２】

【数１】

【００２３】という変換が行われ、色差信号Ｒ−Ｙ，Ｂ
−Ｙが生成される。

【００２４】ここで、周波数空間上（１／２Ｐ_H ，０）
にある白黒の被写体が撮像素子１０１により採取される
とする。この被写体は周期２Ｐ_H の縦縞であり、このよ
うな被写体に対してはＲ（γ乗）＝Ｇ₁ （γ乗），Ｂ
（γ乗）＝Ｇ₂ （γ乗）となるため、加算器１２９，１
３０より出力されるＲ（γ乗）−Ｇ₁ （γ乗）信号，Ｂ
（γ乗）−Ｇ₂ （γ乗）信号はいずれも零となる。ゆえ
に、色差マトリクス処理部１１３から出力される色差信
号Ｒ−Ｙ，Ｂ−Ｙも零となり出力されない。このこと
は、周波数（１／２Ｐ_H ，０）での色差信号のキャリア
が消滅することを意味している。別の解釈をすれば、周
波数（１／２Ｐ_H ，０）上でのＲ（γ乗）信号のキャリ
アとＧ₁ （γ乗）信号のキャリアは同位相であり、Ｂ
（γ乗）信号のキャリアとＧ₂ （γ乗）信号のキャリア
は同位相であり、したがって、これらの差信号Ｒ（γ
乗）−Ｇ₁ （γ乗），Ｂ（γ乗）−Ｇ₂ （γ乗）のこの
周波数でのキャリアを消滅させることができるため、色
差信号のキャリアが発生しないのである。同様の理由
で、ｆ_V 軸に対称な（−１／２Ｐ_H ，０）にも色差信号
のキャリアは発生しない。これらの色差信号はひき続く
Ｄ／Ａ変換器１１４，１１５でＤ／Ａ変換され出力され
る。

【００２５】さらに第１の差信号Ｒ（γ乗）−Ｇ₁ （γ
乗），第２の差信号Ｂ（γ乗）−Ｇ₂ （γ乗）は定係数
乗算器１３２，１３３により定数倍され、加算器１３４
で加算され、輝度信号Ｙ_S に加算器１１７で加算され、
分光特性の補正された輝度信号Ｙを得ることができる。

【００２６】この原理を以下に説明する。撮像素子１０
１の各画素からの出力信号を単純合成し、得られた輝度
信号をＹ_S とする。輝度信号Ｙ_S は本実施例では各画素
からの出力信号をスイッチ回路１２６によりスイッチン
グされることにより得られるものであるが、色分離され
た色信号のうちの１つ、例えばＧ信号をそのまま用いた
ものであってもよい。これに対し、分光特性が視感度と
等しくなるよう補正された輝度信号をＹ_L とする。輝度
信号Ｙ_L は同時化された各色信号の線形結合より形成す
ることができる。

【００２７】

【数２】

【００２８】と表わすことができる。ＮＴＳＣ方式の場
合、 δ＝０．３０，α＋β＝０．５９，ε＝０．１１ ……（２） である。輝度信号Ｙ_L は輝度信号Ｙ_S に比べて低帯域で
ある。輝度信号Ｙ_S のうち、Ｙ_L と同じ帯域を持つ輝度
信号をＹ_SLとする。

【００２９】このとき、輝度信号ＹはＹ_S の低域部分Ｙ
_SLを正しい分光特性を持つ輝度信号Ｙ_L に置き換えるこ
とにより、補正される。すなわち、 Ｙ＝（Ｙ_S −Ｙ_SL）＋Ｙ_L ＝Ｙ_L ＋（Ｙ_L −Ｙ_SL） ……（３） ここで輝度信号Ｙ_SLは各色信号の線形結合で表わすこと
ができる。これを

【００３０】

【数３】

【００３１】とする。このとき（３）式の右辺のカッコ
の中は次のもとなる。すなわち、

【００３２】

【数４】

【００３３】 ここで δ−ｓ＝ｔ−α ならば ｓ＋ｔ＝α＋δ δ＋α＋β＋ε＝ｓ＋ｔ＋ｕ＋ｗ（＝１）だから β＋ε＝ｕ＋ｗ したがって ε−ｗ＝ｕ−β ここで Ｃ₁ ＝δ−ｓ＝ｔ−α ……（５） Ｃ₂ ＝ε−ｗ＝ｕ−β ……（６） とおくと、

【００３４】

【数５】

【００３５】これを（３）式に代入して

【００３６】

【数６】

【００３７】となる。したがって輝度信号Ｙの分光特性
の補正は単純合成により得られた輝度信号Ｙ_S に第１，
第２の差信号Ｒ（γ乗）−Ｇ₁（γ乗），Ｒ（γ乗）−
Ｇ₂ （γ乗）の定数倍を加算することにより行うことが
できる。

【００３８】輝度信号Ｙ_S がスイッチ回路１２６により
スイッチングがされることにより得られるものであると
き、（４）式のｓ，ｔ，ｕ，ｗは ｓ＝ｔ＝ｕ＝ｗ＝０．２５ ……（８） となるから、（２），（５），（６）式より α＝０．２０，β＝０．３９， Ｃ₁ ＝０．０５，Ｃ₂ ＝−０．１４ ……（９） が得られる。

【００３９】また、輝度信号Ｙ_S がＧ信号をそのまま用
いたものであるとき、（４）式のｓ，ｔ，ｕ，ｗは ｓ＝ｗ＝０，ｔ＝ｕ＝０．５ ……（１０） となるから、（２），（５），（６）式より α＝０．２０，β＝０．３９ Ｃ₁ ＝０．３０，Ｃ₂ ＝０．１１ ……（１１） が得られる。

【００４０】このようにして分光特性の補正された輝度
信号Ｙは、Ｄ／Ａ変換器１１８でＤ／Ａ変換され出力さ
れる。なお、一般に色差信号Ｒ−Ｙ，Ｂ−Ｙ、輝度の低
域成分Ｙ_L は輝度信号Ｙに比べ充分帯域が狭いため、補
間し同時化されたＲ（γ乗），Ｇ₁ （γ乗），Ｇ₂ （γ
乗），Ｂ（γ乗）信号の加算器１２９，１３０、色差マ
トリクス処理部１１３、輝度信号生成回路１１７等での
処理は間引きなどを行って輝度信号Ｙの処理より遅いク
ロックで行ってもよい。

【００４１】次に図１に示す光学的ローパスフィルタを
説明する。図３は本実施例における光学的ローパスフィ
ルタ１の構成を示すものである。同図において、光学的
ローパスフィルタ３００は、入射した光線を走査方向に
対し反時計回りにθ₁ の角度方向に距離Ｄ₁ だけ離れた
２本の光線に分割する光学部材３０１と、入射した光線
を走査方向に対し時計回りにθ₂ の方向に距離Ｄ₂だけ
離れた２本の光線に分割する光学部材３０２より構成さ
れる。光学部材３０１は、光学軸の像面と平行な面への
投影が、走査方向に反時計回りにθ₁ の角度をなす複屈
折板３０３より構成され、光学部材３０２は、直線偏光
を円偏光に変換する１／４波長板３０４と、光学軸の像
面と平行な面への投影が、走査方向に時計回りにθ₂ の
角度をなす複屈折板３０５とで構成されており、いずれ
も以下の条件を満足している。 Ｄ₁ およびＤ₂ の値が不等式（２），（３）の下限を越
えると、折り返し歪が増大し、また上限を越えると解像
度が低下し、いずれの場合も一般には好ましくない。ま
た、用途が限定され、特定の方向を持つ周波数成分しか
問題にならない場合には、光学部材３０１と３０２のい
ずれか一方のみを用いてもよく、このとき光学部材３０
２を構成する１／４波長板３０４は必ずしも必要ではな
く、複屈折板３０５のみで構成してもよい。図４にこの
光学的ローパスフィルタ３００の空間周波数特性を示
す。同図では、

【００４２】

【数７】

【００４３】の場合を示す。このとき、点線で示すよう
に、空間周波数平面（ｆ_H ，ｆ_V ）上、（±１／２Ｐ
_H ，±１／２Ｐ_V ）にある色差信号のキャリアはすべて
トラップされ、また、（０，±１／２Ｐ_V ）にある色差
信号のキャリアも充分抑制され、折り返し歪の少ない良
好な画像を得ることができる。また、θ₁ ＝θ₂ ＝π／
４のとき、光学的ローパスフィルタ１は、図５の５００
のように構成してもよい。すなわち、走査方向に対し反
時計回りにπ／４の角度に、その光学軸の像面と平行な
面への投影を持つ複屈折板５０３と、走査方向に対し時
計回りにπ／４の角度に、その光学軸の像面と平行な面
への投影を持つ複屈折板５０４より構成される光学部材
５０１および走査方向と同じ方向に、その光学軸の像面
と平行な面への投影を持つ複屈折板５０５より構成され
る光学部材５０２より光学的ローパスフィルタ５００が
構成される。複屈折板５０３，５０４，５０５の分離距
離はそれぞれ

【００４４】

【数８】

【００４５】である。このように構成すると、複屈折板
の偏光作用により、第１の光学部材５０１は入射した光
線を距離Ｄ₁ だけ離れた２本の光線に分離し、その方向
は走査方向に対し時計回りにπ／２の方向となり、結局
図３に示した光学的ローパスフィルタをθ₁ ＝θ₂ ＝π
／４にした場合と同じ空間周波数特性を持つ。

【００４６】さらに光学的ローパスフィルタ１は図６に
示す構成をとってもよい。すなわち、走査方向に対し反
時計回りにπ／４の方向に光線を分離する複屈折板より
成る光学部材６０１と、走査方向に対し反時計回りにπ
／２の方向に光線を分離する複屈折板より成る光学部材
６０２と、走査方向に対し時計回りにπ／４の方向に光
線を分離する複屈折板より成る光学部材６０３とで構成
される。光学部材６０１，６０２，６０３の光線分離幅
をそれぞれＤ₁ ，Ｄ₂ ，Ｄ₃ とし、

【００４７】

【数９】

【００４８】とすると、光学的ローパスフィルタ６００
の空間周波数特性は、図７に示すものとなる。すなわ
ち、空間周波数平面（ｆ_H ，ｆ_V）上、（±１／２Ｐ
_H ，±１／２Ｐ_V ）および（０，±１／２Ｐ_V ）にある
色差信号のキャリアはすべてトラップされ、折り返し歪
を良好に抑制することができる。

【００４９】以上説明したように、本実施例では、ベイ
ヤー配列の色フィルタを用いているので、モワレが少な
く、Ｓ／Ｎ比が良好であり、また、ベイヤー配列にあっ
た光学的ローパスフィルタ及び信号処理手段を用いてい
るので解像度がよい。また、簡易な手法で分光特性の補
正された輝度情報が得られる。

【００５０】次に本発明の第２実施例について説明す
る。撮像素子１０１は第１実施例と同様図２２に示す色
フィルタを設けたものであり、全体構成も図１に示すと
同様のものである。ただ、Ａ／Ｄ変換器１０３より出力
されたＧ（γ乗）信号はスイッチ１２８により、図８に
示す位置にあるＧ₁（γ乗）信号とＧ₂ （γ乗）信号に
分離される。ここで周波数空間上（０．１／２Ｐ_V ）に
ある白黒の被写体が撮像素子１０１により採取されたと
する。この被写体は周期２Ｐ_V の横縞であり、このよう
な被写体に対しては、加算器１２９，１３０より出力さ
れるＲ（γ乗）−Ｇ₁ （γ乗）信号，Ｂ（γ乗）−Ｇ₂
（γ乗）信号はいずれも零となる。ゆえに色差マトリク
ス処理部１１３から出力される色差信号Ｒ−Ｙ，Ｂ−Ｙ
も零となり出力されない。このことは、周波数（０，１
／２Ｐ_V ）での色差信号のキャリアが消滅することを意
味している。別の解釈をすれば、周波数（０．１／２Ｐ
_V ）上でのＲ（γ乗）信号のキャリアとＧ₁ （γ乗）信
号のキャリアは同位相であり、Ｂ（γ乗）信号のキャリ
アとＧ₂ （γ乗）信号のキャリアは同位相であり、した
がってこれらの差信号Ｒ（γ乗）−Ｇ₁ （γ乗），Ｂ
（γ乗）−Ｇ₂ （γ乗）のこの周波数でのキャリアを消
滅させることができるため、色差信号のキャリアが発生
しないのである。同様の理由でｆ_H 軸に対称な（０，−
１／２Ｐ_V ）にも色差信号のキャリアは発生しない。な
お、図１に示した処理ブロック図より得られる出力信号
をアナログ記録する場合、Ｄ／Ａ変換器１１８，１１
４，１１５は必要であるが、何らかの磁気媒体，光磁気
媒体，Ｅ² ＰＲＯＭ（electically erasable PROM ）等
にディジタル記録する場合は入れなくてもよい。この撮
像装置に、前述の図３あるいは図５に示す光学的ローパ
スフィルタを用いたときの空間周波数特性を図９に示
す。このとき、空間周波数平面（ｆ_H ，ｆ_V ）上（±１
／２Ｐ_H ，±１／２Ｐ_V ）にある色差信号のキャリアは
すべてトラップされ、また、（±１／２Ｐ_H ，０）にあ
る色差信号のキャリアも充分抑制され、折り返し歪の少
ない良好な画像を得ることができる。

【００５１】さらに光学的ローパスフィルタは図１０に
示す構成をとってもよい。すなわち、走査方向に対し反
時計回りにπ／４の方向に光線を分離する複屈折板より
成る光学部材１５１と、走査方向に平行に光線を分離す
る複屈折板より成る光学部材１５２と、走査方向に対し
時計回りにπ／４の方向に光線を分離する複屈折板より
成る光学部材１５３とで構成される。光学部材１５１，
１５２，１５３の光線分離幅をそれぞれＤ₁ ，Ｄ₂ ，Ｄ
₃ とし、

【００５２】

【数１０】

【００５３】とすると、光学的ローパスフィルタ１５０
の空間周波数特性は図１１に示すものとなる。すなわ
ち、空間周波数平面（ｆ_H ，ｆ_V）上（±１／２Ｐ_H ，
±１／２Ｐ_V ）および（０，±１／２Ｐ_V ）にある色差
信号のキャリアはすべてトラップされ、折り返し歪を良
好に抑制することができる。輝度情報は第１実施例と同
様にして形成する。

【００５４】次に本発明の第３実施例について説明す
る。図１２は本実施例の“カラー撮像装置”のブロック
図である。被写体からの光は図示しない結像光学系によ
り光学的ローパスフィルタ１を介し撮像素子（センサ）
１０１に入射する。光学的ローパスフィルタ１は図３ま
たは図５または図６の構成をとり、前述のごとく良好に
折り返し歪を抑制している。撮像素子（センサ）１０１
には図２２に示すベイヤー配列のＲ，Ｇ，Ｂフィルタが
設けられている。撮像素子１０１から１画素ごとに読み
出された画像信号は、色分離部１０２によりＲ，Ｇ，Ｂ
信号に分離された後、ホワイトバランス部１１１でＲ，
Ｇ，Ｂ信号のゲインをホワイトバランスセンサ１２０よ
り得られた色温度情報をもとにホワイトバランス調整さ
れ、次にγ変換部１１２でγ変換され、その後Ａ／Ｄ変
換器１０３でＡ／Ｄ変換される。輝度信号は、Ｇ（γ
乗）信号を補間フィルタ２０５によりオフセットサンプ
リング構造を２次元的に補間し、加算器１１７で後述の
第１の差信号，第２の差信号により分光特性を補正し、
Ｄ／Ａ変換器１１８でＤ／Ａ変換され出力される。なお
補間フィルタ２０５では補間による同時化のみならず２
次元ローパスフィルタリング，エッジ強調等の処理も行
われる。一方Ａ／Ｄ変換器１０３の出力のうちＧ（γ
乗）は、スイッチ（ＳＷ）１２８により図２に示すよう
な位置にあるＧ₁ （γ乗）信号とＧ₂ （γ乗）に分離さ
れる。これはスイッチ１２８を例えば１水平走査期間ご
とに切り換えることで可能である。このように分離され
たＧ₁ （γ乗）信号，Ｇ₂ （γ乗）信号は、Ｒ（γ乗）
信号，Ｂ（γ乗）信号とともに補間フィルタ２０６，２
０７，２０８，２０９に入力され、各々同時化された信
号Ｒ（γ乗），Ｇ₁ （γ乗），Ｇ₂ （γ乗），Ｂ（γ
乗）となる。なお、補間フィルタ２０６〜２０９では補
間による同時化のみならず、２次元ローパスフィルタリ
ング，エッジ強調等の線形処理も行われる。これらの処
理は線形な処理のため、後で述べる加算処理等の処理と
順序を入れかえてもよい。同時化されたＲ（γ乗），Ｇ
₁ （γ乗）信号は加算器１２９で第１の差信号Ｒ（γ
乗）−Ｇ₁ （γ乗）となり、Ｂ（γ乗）信号とＧ₂ （γ
乗）信号は加算器１３０で第２の差信号Ｂ（γ乗）−Ｇ
₂ （γ乗）となり、第１，２の実施例と同様、色差信号
マトリクス処理部１１３により色差信号Ｒ−Ｙ，Ｂ−Ｙ
が生成される。

【００５５】ここで周波数空間上（１／２Ｐ_H ，０）に
ある白黒の被写体が撮像素子１０１により採取されたと
する。この被写体は周期２Ｐ_Hの縦縞であり、このよう
な被写体に対しては、加算器１２９，１３０より出力さ
れるＲ（γ乗）−Ｇ₁ （γ乗）信号，Ｂ（γ乗）−Ｇ₂
（γ乗）信号はいずれも零となる。ゆえに色差信号Ｒ−
Ｙ，Ｂ−Ｙも零となり出力されない。このことは、周波
数（１／２Ｐ_H ，０）での色差信号のキャリアが消滅す
ることを意味している。別の解釈をすれば、周波数（１
／２Ｐ_H ，０）上でのＲ（γ乗）信号のキャリアとＧ₁
（γ乗）信号のキャリアは同位相であり、Ｂ（γ乗）信
号のキャリアとＧ₂ （γ乗）信号のキャリアは同位相で
あり、したがってこれらの差信号Ｒ（γ乗）−Ｇ₁ （γ
乗），Ｂ（γ乗）−Ｇ₂ （γ乗）のこの周波数でのキャ
リアを消滅させることができるため、色差信号のキャリ
アが発生しないのである。これらの色差信号はひき続く
Ｄ／Ａ変換器１１４，１１５でＤ／Ａ変換され出力され
る。同様の理由でｆ_V 軸に対称な（−１／２Ｐ_H，０）
にも色差信号のキャリアは発生しない。なお、一般に色
差信号Ｒ−Ｙ，Ｂ−Ｙは輝度信号Ｙに比べ充分帯域がせ
まいため補間し同時化されたＲ（γ乗），Ｇ₁ （γ
乗），Ｇ₂ （γ乗），Ｂ（γ乗）信号の加算器１２９，
１３０等での処理は、間引きなどを行って輝度信号Ｙの
処理より遅いクロックで行ってもよい。本実施例では、
第１実施例および第２実施例と異なり、空間周波数平面
（ｆ_H ，ｆ_V ）上で（±１／２Ｐ_H，±１／２Ｐ_V ）の
位置に色差信号ではなく輝度信号のキャリアが発生する
が、図３，図５および図６に示す光学的ローパスフィル
タ３００，５００および６００は、その周波数特性が図
４，図７の点線に示すようになっていてこれらの点をト
ラップしており、折り返し歪を良好に抑制している。輝
度情報は、前述の原理説明における、Ｙ_S にＧ信号をそ
のまま用いる例により形成する。

【００５６】次に本発明の第４実施例について説明す
る。撮像素子１０１は第３実施例と同様図２２に示す色
フィルタを設けたものであり、全体構成も図１２に示す
と同様のものである。ただ、Ａ／Ｄ変換器１０３より出
力されたＧ（γ乗）信号は、スイッチ１２８により図８
に示すような位置にあるＧ₁ （γ乗）とＧ₂ （γ乗）信
号に分離される。

【００５７】ここで周波数空間上（０，１／２Ｐ_V ）に
ある白黒の被写体が撮像素子１０１により採取されたと
する。この被写体は周期２Ｐ_Vの横縞であり、このよう
な被写体に対しては、加算器１２９，１３０より出力さ
れるＲ（γ乗）−Ｇ₁ （γ乗）信号，Ｂ（γ乗）−Ｇ₂
（γ乗）信号はいずれも零となる。ゆえに色差信号Ｒ−
Ｙ，Ｂ−Ｙも零となり出力されない。このことは、周波
数（０，１／２Ｐ_V ）での色差信号のキャリアが消滅す
ることを意味している。別の解釈をすれば、周波数
（０，１／２Ｐ_V ）上でのＲ（γ乗）信号のキャリアと
Ｇ₁ （γ乗）信号のキャリアは同位相であり、Ｂ（γ
乗）信号のキャリアとＧ₂ （γ乗）信号のキャリアは同
位相であり、したがってこれらの差信号Ｒ（γ乗）−Ｇ
₁ （γ乗），Ｂ（γ乗）−Ｇ₂ （γ乗）のこの周波数で
のキャリアを消滅させることができるため、色差信号の
キャリアが発生しないのである。なお、図１２に示す処
理ブロック図より得られる出力信号をアナログ記録する
場合、Ｄ／Ａ変換器１１８，１１４，１１５は必要であ
るが、何らかの磁気媒体，光磁気媒体，Ｅ² ＰＲＯＭ等
にディジタル記録する場合は入れなくてもよい。光学的
ローパスフィルタ１としては、図３または図５または図
１０に示すものが用いられ、空間周波数特性が、図９，
図１１に示されるがごとく良好に折り返し歪を抑制して
いる。輝度信号は第３実施例と同様にして形成される。

【００５８】更に、色差信号形成を次のように行っても
よい。すなわち、図１５に示すように、Ｇ（γ乗）信号
のスイッチ１２８による分離を、被写体の輝度信号に応
じて、図２に示すタイミングおよび図８に示すタイミン
グの間で切り換えてもよい。この例を第５実施例として
説明する。図２のタイミング，図８のタイミングのいず
れを選ぶかは後述する判定回路１３１で行われる。同様
に図１６に示すようにＧ（γ乗）信号のスイッチ１２８
による分離を、被写体の輝度信号に応じて図２に示すタ
イミミングおよび図８に示すタイミングの間で切り換え
てもよい。これを第６実施例として説明する。いずれの
タイミングを選ぶかは、後述する判定回路２０４で判定
される。次に判定回路１３１（図１５，図１６参照）の
構成，動作について説明する。図１７はこの判定回路の
構成例を示す図である。ここではスイッチ回路１２６
（図１５参照）または補間フィルタ２０５（図１６参
照）より出力される輝度信号に水平方向のバンドパスフ
ィルタ３１をかけ、水平方向の高周波成分を抽出する。
これが比較回路３２に入力され、あるスレッショルドレ
ベル（ｒｅｆ）と比較される。そしてスレッショルドレ
ベル（ｒｅｆ）より大きく水平方向の高周波成分が大き
いと判定された場合には、水平方向の色差信号のキャリ
アを消滅させる図２のタイミングが選択され、そうでな
い場合は垂直方向の色差信号のキャリアを消滅させる図
８のタイミングが選択される。

【００５９】また、判定回路１３１は図１８に示す構成
をとってもよい。すなわち、スイッチ回路１２６または
補間フィルタ２０５より出力される輝度信号に垂直方向
のバンドパスフィルタ６１をかけ、垂直方向の高周波成
分を抽出する。これが比較回路６２に入力され、あるス
レッショルドレベル（ｒｅｆ）と比較される。そして、
スレッショルドレベル（ｒｅｆ）より大きく垂直方向の
高周波成分が大きいと判定された場合には、垂直方向の
色差信号のキャリアを消滅させる図８のタイミングが選
択され、そうでない場合は水平方向の色差信号のキャリ
アを消滅させる図２のタイミングが選択される。このよ
うに、第５実施例，第６実施例では被写体の水平方向ま
た垂直方向の周波数成分に応じて、消滅させるキャリア
を変更できるため、より折り返し歪の少ない良好な画像
を得ることができる。なお、光学的ローパスフィルタ１
は図３，図５，図６および図１０の構成をとれば、いず
れも良好に折り返し歪を抑制することができる。

【００６０】なお、撮像素子のカラーフィルタは必ずし
もＲ，Ｇ，Ｂフィルタでなくてもよく、図１３に示すよ
うに第１，２，３の色フィルタがＹ（輝度信号の分光特
性に近いフィルタ），Ｒ，Ｂであるベイヤー配列や、図
１４に示すように第１，２，３の色フィルタがＷ（白
色），Ｒ，Ｂであるベイヤー配列などでもよく、第１の
色信号を図２または図８に示すごとく分離し、第１の差
信号および第２の差信号を形成したとき、色差信号Ｒ−
Ｙ，Ｂ−Ｙが前記“数１”に示すがごとく第１，第２の
差信号からマトリクスにより線形演算で求められるもの
であれば何であってもよい（マトリクスの係数は“数
１”と同じである必要はない）。

【００６１】

【発明の効果】以上説明したように、本発明によれば、
撮像素子にベイヤー配列のフィルタアレイを設け、適切
に信号処理をほどこすことにより、簡単な手法で分光特
性の補正のできた輝度情報を得ることができ、解像度が
よく、モワレが少なく、Ｓ／Ｎ比の良好な画像を得るこ
とができるカラー撮像装置を提供できる。

【図面の簡単な説明】

【図１】 第１実施例のブロック図

【図２】 第１実施例の説明図

【図３】 第１実施例で用いる光学的ローパスフィルタ
の構成図

【図４】 図３に示す光学的ローパスフィルタの説明図

【図５】 第１実施例の変形で用いる光学的ローパスフ
ィルタの構成図

【図６】 第１実施例の変形で用いる光学的ローパスフ
ィルタの構成図

【図７】 図６に示す光学的ローパスフィルタの説明図

【図８】 第２実施例の説明図

【図９】 図３，図５に示す光学的ローパスフィルタの
説明図

【図１０】 第２実施例の変形で用いる光学的ローパス
フィルタの構成図

【図１１】 図１０に示す光学的ローパスフィルタの説
明図

【図１２】 第３実施例のブロック図

【図１３】 ベイヤー配列の例を示す図

【図１４】 ベイヤー配列の例を示す図

【図１５】 第５実施例のブロック図

【図１６】 第６実施例のブロック図

【図１７】 判定回路の構成例を示す図

【図１８】 判定回路の構成例を示す図

【図１９】 色フィルタの配列例を示す図

【図２０】 色フィルタの配列例を示す図

【図２１】 色フィルタの配列例を示す図

【図２２】 ベイヤー配列の例を示す図

【図２３】 図２２の色フィルタによる信号キャリアの
位置を示す図

【符号の説明】

１ 光学的ローパスフィルタ １０１ 撮像素子 １０６〜１０９ 補間フィルタ １２８ スイッチ １２９，１３０ 加算器 １３２，１３３ 定係数乗算器 １１７，１３４ 加算器

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 被写体像を輝度情報と色情報を有する電
   気信号に変換するカラー撮像装置であって、つぎのａ，
   ｂ，ｃ，ｄ，ｅの構成要素を備えたことを特徴とするカ
   ラー撮像装置。 ａ．画素が水平方向のピッチＰ_H ，垂直方向のピッチＰ
   _V の矩形格子状に配置された撮像素子。 ｂ．前記画素に対応して設けられた、水平方向のピッチ
   ２Ｐ_H ，垂直方向のピッチＰ_V で水平方向にＰ_H だけオ
   フセットされたオフセットサンプリング構造を有する第
   １の色フィルタと、水平方向のピッチ２Ｐ_H ，垂直方向
   のピッチ２Ｐ_Vの矩形格子状サンプリング構造を有する
   第２の色フィルタおよび第３の色フィルタとを有する色
   フィルタアレイ。 ｃ．入射した光線を該撮像素子の走査方向に対し時計回
   りまたは反時計回りにθの角度をなす方向で距離Ｄだけ
   離れた２本の光線に分離する光学部材を有し、撮像光学
   系に設けた光学的ローパスフィルタであって、 ０．８Ｐ_H Ｐ_V ／｜Ｐ_Hsinθ＋Ｐ_Vcosθ｜≦Ｄ≦ １．２Ｐ_H Ｐ_V ／｜Ｐ_Hsinθ＋Ｐ_Vcosθ｜ 但し ０≦θ≦π／２ の条件をみたす光学的ローパスフィルタ。 ｄ．前記第１の色フィルタ，第２の色フィルタ，第３の
   色フィルタに対応する画素から出力された第１の色信
   号，第２の色信号，第３の色信号にもとづいて、第１の
   色信号のうち第２の色信号の画素と同じ列または同じ行
   の画素による信号のみを同時化し、第２の色信号との差
   をとった第１の差信号と、第１の色信号のうち第３の色
   信号の画素と同じ列または同じ行の画素による信号のみ
   を同時化し、第３の色信号との差をとった第２の差信号
   とから前記色情報を形成する色情報形成手段。 ｅ．前記第１の差信号と前記第２の差信号とをそれぞれ
   定数倍し、これを前記第１の色信号，第２の色信号，第
   ３の色信号のうちの少なくとも１つ以上の信号を合成し
   て得られた信号に加算することで前記輝度情報を形成す
   る輝度情報形成手段。
2. 【請求項２】 被写体像を輝度情報と色情報を有する電
   気信号に変換するカラー撮像装置であって、つぎのａ，
   ｂ，ｃ，ｄ，ｅの構成要素を備えたことを特徴とするカ
   ラー撮像装置。 ａ．画素が水平方向のピッチＰ_H ，垂直方向のピッチＰ
   _V の矩形格子状に配置された撮像素子。 ｂ．前記画素に対応して設けられた、水平方向のピッチ
   ２Ｐ_H ，垂直方向のピッチＰ_V で水平方向にＰ_H だけオ
   フセットされたオフセットサンプリング構造を有する第
   １の色フィルタと、水平方向のピッチ２Ｐ_H ，垂直方向
   のピッチ２Ｐ_Vの矩形格子状サンプリング構造を有する
   第２の色フィルタおよび第３の色フィルタとを有する色
   フィルタアレイ。 ｃ．入射した光線を該撮像素子の走査方向に対し時計回
   りまたは反時計回りにθの角度をなす方向で距離Ｄだけ
   離れた２本の光線に分離する光学部材を有し、撮像光学
   系に設けた光学的ローパスフィルタであって、 ０．８Ｐ_H Ｐ_V ／｜Ｐ_Hsinθ＋Ｐ_Vcosθ｜≦Ｄ≦ １．２Ｐ_H Ｐ_V ／｜Ｐ_Hsinθ＋Ｐ_Vcosθ｜ 但し ０≦θ≦π／２ の条件をみたす光学的ローパスフィルタ。 ｄ．前記第１の色フィルタ，第２の色フィルタ，第３の
   色フィルタに対応する画素から出力された第１の色信
   号，第２の色信号，第３の色信号にもとづいて、第１の
   色信号のうち第２の色信号の画素と同じ列の画素による
   信号のみを同時化し、第２の色信号との差をとった第１
   の差信号と、第１の色信号のうち第３の色信号の画素と
   同じ列の画素による信号のみを同時化し、第３の色信号
   との差をとった第２の差信号とから前記色情報を形成す
   る第１の色信号形成手段、並びに第１の色信号のうち第
   ２の色信号の画素と同じ行の画素による信号のみを同時
   化し、第２の色信号との差をとった第３の差信号と、第
   １の色信号のうち第３の色信号の画素と同じ行の画素に
   よる信号のみを同時化し、第３の色信号との差をとった
   第４の差信号とから前記色情報を形成する第２の色情報
   形成手段を有し、被写体像における前記走査方向または
   これに直交する方向の周波数成分に応じて該第１の色情
   報形成手段と該第２の色情報形成手段とを切り換える色
   情報形成手段。 ｅ．前記第１の差信号または第３の差信号と前記第２の
   差信号または第４の差信号とをそれぞれ定数倍し、これ
   を前記第１の色信号，第２の色信号，第３の色信号のう
   ちの少なくとも１つ以上の信号を合成して得られた信号
   に加算することで前記輝度情報を形成する輝度情報形成
   手段。