JPH10174114A

JPH10174114A - カラー画像撮像法及び装置

Info

Publication number: JPH10174114A
Application number: JP8335711A
Authority: JP
Inventors: Setsukou Chin; 浙宏陳
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 1996-12-16
Filing date: 1996-12-16
Publication date: 1998-06-26

Abstract

(57)【要約】【課題】複数色のカラ−フィルタ−アレ−を有
する撮像素子を用いて被写体のカラ−画像を撮像する
時、出力信号に信号処理として補間処理を施してＲ、
Ｇ、Ｂの画像信号を作成すると偽色が発生するという問
題がある。本発明はこの偽色の低減を目的にする。【解決手段】被写体の同一点よりのふたつの色信号
よりクロミナンス信号を求め、このクロミナンス信号を
基に補間処理を行う。又、このために適した色分解手段
を用いた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＣＣＤイメージセ
ンサなどの固体撮像素子を用いて被写体のカラー撮像を
行うカラー撮像装置に関し、特には色再現性にすぐれた
カラ−画像撮像法並びに装置に関するものである

【０００２】

【発従来の技術】複数色の色フィルタ要素からなる色フ
ィルタアレイを用いてカラー画像を得る方式はビデオカ
メラやスチルカメラに広く用いられている。この様な撮
像装置には、現在一般的には、固体撮像素子が用いられ
ており、装置の大きさ、画質、コスト等の点から、単板
式、２板式、３板式、多板式が実用化されている。単板
方式では２次元に配列された光電変換部は撮像系の３原
色のうちのいずれかの色のフィルタ−を有して画素を形
成し、被写体の色情報は撮像面上の異なる複数個の画素
よりの信号から得られる。すなわち複数個の画素よりの
信号を基にしてカラー画像の１画素が構成される。２板
方式では色分解プリズムと２枚の撮像素子を用いて、１
枚は輝度信号例えばＧ画像用、もう１枚は色信号例えば
Ｒ、Ｂ画像用になっており、色信号用撮像素子では単板
方式と同様複数の画素でカラー画像の１画素が構成され
る。３板方式若しくは多板式でも、より高解像度を求め
るために、色信号用として１枚のみとし、残り複数枚の
撮像素子を輝度信号用として使用する場合には、単板式
と同様に複数の画素でカラ−画素の１画素画構成され
る。

【０００３】

【発明が解決しようとする課題】上述したように従来方
式では、図７に示すように、各画素はそれぞれ空間的に
被写体の異なった部分に対応している。従って複数個の
画素からカラー画像の１画素を構成するに当たって、す
べて被写体の異なる部分からの色情報を用いて補間処理
を行っていた。しかし、補間処理を行ってカラー画像を
構成する際に、色偽信号が発生しやすいという欠点があ
った。この様な偽色を低減するために、例えば、USP 4,
642,678においては単純な色信号の補間ではなく、色信
号より求められるクロミナンス信号により補間を行って
いるが、クロミナンス信号を求める際に使用する色信号
は被写体上の異なる位置よりの色信号であるために、輝
度や色相が大きく変化するような所においてはその効果
は十分では無かった。特に、携帯に適したディジタルス
チルカメラ等の場合には、単板式が多く、かつ、出力信
号が動画ではなく、静止画像として使用される為に、こ
の様な偽色は深刻な問題となり、カラ−プリントされた
時には見るに耐えない画質の低下を招くこともしばしば
である。本発明はこの様な問題に鑑みてなされたもので
あり、単板式、２板式の撮像装置を用いて撮像しても、
色再現性にすぐれた画像を得ることを目的にしている。

【０００４】

【課題を解決するための手段】本発明ではこの欠点を解
決するために、光学結像系により形成された光学像を複
数色よりなる色フィルタ−アレイを有する固体撮像素子
に入射し、各画素より得られる信号を信号処理してカラ
−画像信号を得るカラ−画像撮像法において、入射する
光学像を、該固体撮像素子の撮像面上で、該固体撮像素
子の画素の並びの方向に、色により異なる一定の距離だ
けずらされた色分解画像に変換するようにし、又、信号
処理として、被写体の同一位置からのふたつの色信号よ
りクロミナンス信号を、少なくとも２ヶ所の位置に対し
てもとめ、該クロミナンス信号を基にして、該２ヶ所と
は異なる位置の色信号を補間により求めることとし、又
更に、カラ−画像撮像装置の３原色をＲ、Ｇ、Ｂとし、
前記色分解された画像の色による一定のずれ量を色分解
画像中のＲ部とＧ部及びＧ部とＢ部の距離として表した
時、前記ずれ量が該撮像素子の画素ピッチに等しくなる
ようにした。又、その方法を実現する手段を備えた装置
を使用する事とした。

【０００５】

【発明の実施形態】図１に本願発明の色分解法及び手段
を示す。複数色よりなる色フィルタを有するカラー固体
撮像素子の前に、透明平板を結像光学系の光軸に対して
傾斜を有してに置き、被写体からの光線をＲＧＢ色順に
一方向にずらせた形で色分解し、隣接する画素に入射す
る。これにより、撮像素子の画素の並びの方向に色によ
り異なる一定の距離だけずらされた色分解画像画素が得
られる。

【０００６】

【実施例１】図１に示す様に、屈折率ｎの透明平板１１
を光軸に対し斜めに置き、Ｒ、Ｇ、Ｂ３色の屈折光線間
隔が丁度画素ピッチになるよう透明平板１１の角度θ厚
さｔを調整して設置する。計算例：ずれ量ｈは以下の式で表現出来る。ｈ＝ｔ・sinθ・（１−ｆ（θ））（１）ここに、ｆ（θ）＝cosθ／√(n²−sin²θ)である。平
板ガラス材質ＳＦ２の光学定数を（ニューポート社カタ
ログによる） Color λ(nm) ｎ −−−−−−−−−−−−−−−−− R 643.8 1.643 G 546.1 1.652 B 486.0 1.661 として、入射角θ＝１５°の時の各色のずれ量の差、即
ち、Ｒ部とＧ部の距離、Ｇ部とＢ部の距離を計算すると h_B−h_G= h_G−h_R＝ 0.95×10^-3×ｔとなる。画素ピッチ
ｐ＝６．８μｍの場合、平板の厚さを単板方式ではｔ＝
6.8／0.95×10^-3＝7.16 mm とすれば、分解画像中での
３原色の距離を画素ピッチに等しく出来る。この場合、
Ｒ部とＧ部、Ｇ部とＢ部の距離が等しくなるように、好
ましい屈折率の分散特性を有するガラスを用いる。多板
方式ではＲＢ２色のみを隣接画素に分離すればよいの
で、用いる平行平板のガラスの厚さはその半分の3.58mm
にすればよい。これにより、撮像素子の画素ピッチにあ
った色分解調整が行える。

【０００７】

【実施例２】図２に示す。屈折率ｎのプリズム２個を間
隔を設けて向かい合わせるように置き、ＲＧＢ３色の屈
折光線間隔が丁度画素ピッチになるようプリズム１２の
角度θ及び間隔ｄを調整して設置する。簡単のために入
射光に対して垂直に設置してあるが、角度を付けて設置
してもよく、要はＲＧＢ３色の光線を間隔ｐに分けれ

【０００８】ばよい。計算原理は

【実施例１】と同じであり、ずれ量hは以下の様な式に
より計算される。ｈ＝d・sinθ・（ｇ（θ）−１）（２）ここに、ｇ（θ）＝cosθ／√(n^-2−sin²θ)である。こ
の式を用いて、θとｄを選定する事によりＲ部とＧ部及
びＧ部とＢ部の距離が画素ピッチに合った色分解像が得
られる。

【０００９】

【実施例３】図３には、音響光学偏向器１３による色分
解画像の形成法を示した。駆動信号Ｖと間隔ｄを調整す
ることにより色分解画像が得られ、その色によるずれ量
も所

【００１０】定の値に設定される。計算原理は

【実施例１】と同じであり、計算の詳細は省略する。次
に以下において、本発明の方式によるクロミナンス信
号：Ｃ＝Ｒ／Ｇを用いた補間色信号処理方法を示す。

【００１１】

【実施例４】図４にストライプ状色フィルタを持つ撮像
素子を示す。図の外周枠に沿った数字は撮像素子の画素
の位置を示す座標であり、画素位置の表示としては、画
素（ｉ，ｊ）を用い、ｉは水平方向（図中では横軸方
向）の座標、ｊは垂直方向（図中では縦軸方向）の座標
を表すものとする。この配列を有する撮像素子に対し
て、画像を水平方向に（図中では横軸の方向に）色によ
りずらせた色分解像をそれぞれ素子のＲＧＢ箇所に結像
される。この時、被写体上の点の色信号は次の様にして
得られる。例えば、２列目のＧフィルタを有する画素に
Ｇ色の像が結像される被写体上の点を考えてみると、こ
の点のＲ色の信号は１列目のＲフィルタを有する画素よ
り、Ｂ色の信号は３列目のＢフィルタを有する画素より
出力される。同様に、５列目のＧフィルタを有する画素
にＧ色の像が結像される被写体上の点を考えてみると、
この点のＲ色の信号は４列目のＲフィルタを有する画素
より、Ｂ色の信号は６列目のＢフィルタを有する画素よ
り出力される。すなわち１列目のＲ信号は２列目のＧ信
号位置のＲ、同じく３列目のＢ信号は２列目のＧ信号位
置のＢとなる。この様にして得られる各画素よりの色信
号の表示は、Ｇ信号に関しては、Ｇフィルタを有する画
素の座標を添え字として、ＲとＢに関しては、その点の
被写体上での点が持つＧ色の画素の座標を添え字とし
て、例えば、Ｇ₂₁のように行う。従って、Ｇ₂₁とＲ₂₁は
画素位置は異なるが、添え字が同じであるので、被写体
上の同一点よりの色信号を表す。図４中、（ａ）はスト
ライプ配列色フィルタアレイ、（ｂ）はＧ成分の画像位
置、（ｃ）、（ｄ）はそれぞれＲ、Ｂ成分の実効画像位
置を示す。

【００１２】本発明の信号処理のひとつの実施例は、輝
度信号に関してはリニア補間を用い、色信号の補間には
クロミナンス信号を用いて行うものである。従って、輝度信号Ｇのリニア補間：Ｇ₃₁′＝（２＊Ｇ₂₁＋Ｇ₅₁）／３Ｇ₄₁′＝（Ｇ₂₁＋２＊Ｇ₅₁）／３色信号のクロミナンスを用いた補間：（例えばＲ）クロミナンス：Ｃ＝Ｒ／ＧＲ₃₁′＝Ｇ₃₁′＊（２＊（Ｒ₂₁／Ｇ₂₁）＋Ｒ₅₁／Ｇ₅₁）
／３Ｒ₄₁′＝Ｇ₄₁′＊（（Ｒ₂₁／Ｇ₂₁）＋２＊Ｒ₅₁／Ｇ₅₁）
／３括弧内の各クロミナンスＣは被写体同一位置からの色信
号となる。ＢについてもＲと同様に計算される。尚、プ
ライムは補間データを表す。この様な補間法を用いた撮
像素子によりテストチャートを撮影し、ＣＲＴ画面及び
カラ−プリントに出力したところ、偽色の目立たない、
綺麗な画像が得られた。

【００１３】

【実施例５】図５に示すカラ−フィルタは、輝度信号の
解像度を色信号のそれよりも重視したいわゆるベイヤ配
列を示したものである。図の外周枠に沿った数字は撮像
素子の画素の位置を示す座標であり、画素位置の表示と
しては、画素（ｉ，ｊ）を用い、ｉは水平方向（図中で
は横軸方向）の座標、ｊは垂直方向（図中では縦軸方
向）の座標を表すものとする。この配列を有する撮像素
子に対して、画像を水平方向に（図中では横軸の方向
に）色によりずらせた色分解像をそれぞれ素子のＲＧＢ
箇所に結像される。この時、被写体上の点の色信号は次
の様にして得られる。例えば、Ｇフィルタを有する画素
（０、０）にＧ色の像が結像される被写体上の点を考え
てみると、この点のＲ色の信号はＲフィルタを有する画
素（−１、０）より得られる。同様に、Ｇフィルタを有
する画素（１、１）にＧ色の像が結像される被写体上の
点を考えてみると、この点のＢ色の信号はＢフィルタを
有する画素（２、１）より得られる。この様にして得ら
れる各画素よりの色信号の表示は、Ｇ信号に関しては、
Ｇフィルタを有する画素の座標を添え字として、ＲとＢ
に関しては、その点の被写体上での点が持つＧ色の画素
の座標を添え字として、例えば、Ｇ₀₀のように行う。従
って、Ｇ₀₀とＲ₀₀は画素位置は異なるが、添え字が同じ
であるので、被写体上の同一点よりの色信号を表す。同
図中、（ａ）はベイヤ配列そのものであり、（ｂ）はＧ
成分の画像位置、（ｃ）、（ｄ）はそれぞれＲ、Ｂ成分
の実効画像位置を示す。

【００１４】本発明の方式による別の信号処理の実施例
を以下に示す。図５（ｃ）に示す様に、例えば、Ｒ信号
の補間を考える場合には補間すべき画素の位置条件に２
通りある。ひとつは、補間処理を施すべき画素に水平、
垂直方向に隣接する画素が測定色信号を有しない場合、
例えば、同（ａ）の画素（０、１）に対するＲ信号の補
間処理の場合と、もうひとつは、垂直又は水平方向に隣
接する画素が測定色信号をを有する場合、例えば、同図
の画素（１、１）に対するＲ信号の補間処理の場合であ
る。本実施例では、隣接する画素が測定色信号を有する
場合には、リニア補間を行い、そうでない場合には近傍
画素の色信号よりクロミナンス信号を算出し、これに基
づいて補間し、処理の複雑さを避けながら、信号の劣化
を防止するものである。クロミナンス補間図５（ｃ）よりの信号に対し、 R′₁₁＝（G₁₁／４）X F（R,G）ここに、F（R,G）＝（R₀₀／G₀₀）＋（R₂₂／G₂₂）＋（R
₀₂／Ｇ₀₂）＋（R₂₀／G₂₀）とする。括弧内の各クロミナ
ンス信号は被写体上の同一位置からの色信号より計算さ
れている。但し、プライム記号は補間データを表す。Ｂ
についてもＲと同様に計算される。ＲＧＢ３色それぞれリニア補間。図５（ｂ）よりの信号に対し、Ｇ′₂₁＝（Ｇ₁₁+Ｇ₃₁+Ｇ₂₀+Ｇ₂₂）／４Ｒ′₂₁＝（Ｒ₂₀＋Ｒ₂₂）／２Ｂ′₂₁＝（Ｂ₁₁＋Ｂ₃₁）／２とし、他の画素に関しても同様である。各画素位置に置いてカラー合成を行う。この様な補間
法を用いた撮像素子によりテストチャートを撮影し、Ｃ
ＲＴ画面及びカラ−プリントに出力したところ、偽色の
目立たない、綺麗な画像が得られた。

【００１５】

【実施例６】さらに別の信号処理実施例を示す。図５よ
りの信号に対し、Ｇ信号はリニア補間、ＲＢについて全
数クロミナンス補間する。 G′₂₁＝（Ｇ₁₁+Ｇ₃₁+Ｇ₂₀+Ｇ₂₂）／４ R′₂₁＝（Ｇ′₂₁／２）×（（Ｒ₂₀／Ｇ₂₀）＋（Ｒ₂₂／
Ｇ₂₂）） G′₁₂＝（Ｇ₁₁+Ｇ₁₃+Ｇ₀₂+Ｇ₂₂）／４ R′₁₂＝（Ｇ′₁₂／２）×（（Ｒ₀₂／Ｇ₀₂）＋（Ｒ₂₂／
Ｇ₂₂））括弧内の各クロミナンス信号は被写体の同一位置からの
色信号となる。但し、プライム記号は補間データを表
す。ＢについてはＲと同じ様に計算される。この様な補
間法を用いた撮像素子によりテストチャートを撮影し、
ＣＲＴ画面及びカラ−プリントに出力したところ、偽色
の目立たない、綺麗な画像が得られた。

【００１６】尚、この様な信号処理を行う手段として
は、例えば、ＤＳＰ（ディジタルシグナルプロセッサ）
が有る。

【００１７】

【発明の効果】以上に説明したように、計算式はどうで
あろうと、被写体の同一空間位置からの色情報を用いてクロミナ
ンスＣを計算し、その値を基にして補間し、そして被写体の同一空間位置からの色情報を用いてカラー画
像を合成すると、偽色の少ないカラー画像が可能とな
る。

【００１８】更に、ＧストライプＲＢ市松配列、原色色
差配列、６角形格子配列の各種色フィルタ配列等に対し
ても画像分解能を支配する輝度信号Ｇ画像の解像力を保
ちつつ、ＲＢ各色はそれぞれ空間的にＧ画像と一致して
いるので、つまりＲＧＢ３色の内最低２色は必ず被写体
の同一空間位置からの情報となり、従来の方式に比べて
画像処理後のカラー画像の偽色発生が軽減される。

【００１９】以上の内容は補色タイプの色フィルタアレ
イに対しても勿論同じ効果があるのはいうまでもない。
尚、図６は本願発明にもとずく撮像装置を用いたＤＳＣ
の実施例である。図では各部分は物理的につながってい
るが、撮像部と処理部が分割されて、磁気テープやディ
スクなどの記録メディアによって転送することも可能で
ある。例えば撮像部からの信号を直接記録メディアに記
録しておき、後に処理部に転送して処理を行う。同様に
処理された画像信号は後に表示するためにいったん記録
しておくことも可能である。信号処理の実行はディジタ
ルコンピュータや、プログラミングされたマイクロプロ
セッサ、専用のハードウェアを用いる。

【図面の簡単な説明】

【図１】本発明における色分解法及びその手段である透
明平板を示す。

【図２】本発明における色分解法及びその手段であるプ
リズムを示す。

【図３】本発明における色分解法及びその手段である音
響光学素子を示す。

【図４】本発明に用いるストライプ状のカラ−フィルタ
を示す。

【図５】本発明に用いるベイヤ配列のカラ−フィルタを
示す。

【図６】本発明を実施した場合の機器の関係を示すブロ
ック図である。

【図７】従来法での被写体上の物点と撮像素子上での色
分解像の関係を示す。

【符号の説明】

１１・・・・透明平行平板１２・・・・透明プリズム１３・・・・音響光学素子

Claims

【特許請求の範囲】

【請求項１】光学結像系により形成された光学像を
複数色よりなる色フィルタ−アレイを有する固体撮像素
子に入射し、各画素より得られる信号を信号処理してカ
ラ−画像信号を得るカラ−画像撮像法であって、入射する光学像を、該固体撮像素子の撮像面上で、該固
体撮像素子の画素の並びの方向に、色により異なる一定
の距離だけずらされた色分解画像に変換する過程を有す
るカラ−画像撮像法。
【請求項２】請求項１の信号処理が、被写体の同一
位置からのふたつの色信号よりクロミナンス信号を、少
なくとも２ヶ所の位置に対してもとめ、該クロミナンス
信号を基にして、該２ヶ所とは異なる位置の色信号を補
間により求めることを含む請求項１のカラ−画像撮像
法。
【請求項３】前記固体撮像素子がＲ、Ｇ、Ｂの３色
よりなる色フィルタ−アレイを有し、前記色分解画像中
のＲ部とＧ部の距離とＧ部とＢ部の距離が等しく、且
つ、この距離が該固体撮像素子の画素ピッチに等しいこ
とを特徴とする請求項１乃至請求項２のカラ−画像撮像
法
【請求項４】前記固体撮像素子がＲ、Ｂの２色より
なる色フィルタ−アレイを有し、前記色分解画像中のＲ
部とＢ部の距離が該固体撮像素子の画素ピッチに等しい
ことを特徴とする請求項１乃至請求項２のカラ−画像撮
像法
【請求項５】複数色よりなる色フィルタ−アレイを
有する固体撮像素子に光学像を入射するための光学結像
手段、該固体撮像素子の各画素より得られる信号を処理
する信号処理手段を有するカラ−画像撮像装置であっ
て、該固体撮像素子に入射する光学像を、該固体撮像素子の
撮像面上で、該固体撮像素子の画素の並びの方向に、色
により異なる一定の距離だけずらされた色分解画像に変
換する色分解手段を有するカラ−画像撮像装置。
【請求項６】被写体の同一位置からのふたつの色信
号を基にしたクロミナンス信号を、少なくとも２ヶ所の
位置に対して求め、該クロミナンス信号を基にして、該
２ヶ所とは異なる位置の色信号を補間により求める信号
処理手段を有する請求項４のカラ−画像撮像装置。
【請求項７】前記固体撮像素子がＲ、Ｇ、Ｂの３色
よりなる色フィルタ−アレイを有し、前記色分解画像中
のＲ部とＧ部の距離とＧ部とＢ部の距離が等しく、且
つ、この距離が該固体撮像素子の画素ピッチと等しくな
るようになされた請求項５乃至請求項６のカラ−画像撮
像装置
【請求項８】前記固体撮像素子がＲ、Ｂの２色より
なる色フィルタ−アレイを有し、前記色分解画像中のＲ
部とＢ部の距離が該固体撮像素子の画素ピッチに等しく
なるようになされた請求項５乃至請求項６のカラ−画像
撮像装置