JP4796871B2

JP4796871B2 - 撮像装置

Info

Publication number: JP4796871B2
Application number: JP2006059945A
Authority: JP
Inventors: 和田　　哲
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-03-06
Filing date: 2006-03-06
Publication date: 2011-10-19
Anticipated expiration: 2026-03-06
Also published as: US20070206104A1; JP2007243334A; US7663679B2

Description

本発明は、多数の光電変換素子を含む固体撮像素子と、多数の光電変換素子から得られる信号から輝度信号と色差信号で表現されるカラー画像データを生成するカラー画像データ生成手段とを有する撮像装置に関する。

従来、輝度成分を検出する光電変換素子と、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の各色成分を検出する光電変換素子とを含む多数の光電変換素子を有した固体撮像素子が提案されている（特許文献１参照）。

図３は、特許文献１記載の固体撮像素子の平面模式図である。図３に示す固体撮像素子１ｂは多数の光電変換素子を縦横に二次元状に規則的に配列したものであり、図３では縦４×横４の計１６個分の光電変換素子を図示している。図３において、四角形のブロックが光電変換素子を表しており、各ブロックの中に記した記号が、その光電変換素子で検出される光の成分を表している。記号「Ｙ」は、光の輝度成分を表し、「Ｒ」は光の赤色成分を表し、「Ｇ」は光の緑色成分を表し、「Ｂ」は光の青色成分を表している。以下、記号Ｙが記された光電変換素子を光電変換素子Ｙ、記号Ｒが記された光電変換素子を光電変換素子Ｒ、記号Ｇが記された光電変換素子を光電変換素子Ｇ、記号Ｂが記された光電変換素子を光電変換素子Ｂともいう。

図３に示す固体撮像素子は、縦横に配列された同一特性の多数の光電変換素子の各々の受光面上に、Ｙフィルタ、Ｒの光を透過するＲカラーフィルタ、Ｇの光を透過するＧカラーフィルタ、及びＢの光を透過するＢカラーフィルタのいずれかが設けられた構成である。Ｙフィルタは、縦横に配列された個々の光電変換素子のうち、市松状の配置位置となっている光電変換素子の受光面上に設けられ、Ｒ，Ｇ，Ｂカラーフィルタは、残りの市松状の配置位置となっている光電変換素子の受光面上に設けられる。

即ち、図３に示す固体撮像素子１では、偶数行の光電変換素子の個々の受光面上に「Ｙ，Ｇ，Ｙ，Ｇ，…」とフィルタが並び、奇数行の光電変換素子の個々の受光面上には、「Ｒ，Ｙ，Ｂ，Ｙ，Ｒ，…」と並ぶ行と、「Ｂ，Ｙ，Ｒ，Ｙ，Ｂ，…」と並ぶ行とが交互に配置される。

Ｙフィルタは、輝度情報と相関のある分光特性を持ったフィルタすなわち輝度フィルタといえるものであり、ＮＤフィルタや、透明フィルタ、白色フィルタ、グレーのフィルタ等が該当するが、光電変換素子の受光面上に何も設けずに光が直接受光面に入射する構成も、輝度フィルタを設けたということができる。

このような固体撮像素子によれば、光の輝度成分と色成分とを区別して検出することができるため、色情報に左右されない輝度解像度及び輝度成分の分光特性に左右されない色再現を得ることが可能となる。

この固体撮像素子から得られる信号を基に、輝度信号と色差信号で表現されるカラー画像データを生成する場合を考える。
この場合、固体撮像素子を搭載する撮像装置において、まず、生成すべきカラー画像データの各画素位置に、生成すべきカラー画像データの各画素位置に必要な信号（輝度信号ｙ、色信号ｒ、ｇ、ｂの４つの信号）のうち、各画素位置に対応する光電変換素子から得られない色信号及び輝度信号を補間する信号補間処理を行う。例えば、図３の光電変換素子Ｙに対応する画素位置には、その光電変換素子Ｙの周囲の光電変換素子から得られる信号によって色信号ｒ，ｇ，ｂを補間し、図３の光電変換素子Ｒに対応する画素位置には、その光電変換素子Ｒの周囲の光電変換素子から得られる信号によって色信号ｙ，ｇ，ｂを補間し、図３の光電変換素子Ｇに対応する画素位置には、その光電変換素子Ｇの周囲の光電変換素子から得られる信号によって色信号ｙ，ｒ，ｂを補間し、図３の光電変換素子Ｂに対応する画素位置には、その光電変換素子Ｂの周囲の光電変換素子から得られる信号によって色信号ｙ，ｒ，ｇを補間する。

この信号補間処理後の状態を図４に示す。図４において、四角形のブロックは画素位置を表しており、各ブロックの中に記した記号は、その画素位置に補間された信号成分を表している。記号「ｙ」は、輝度信号を表し、「ｒ」は赤色信号を表し、「ｇ」は緑色信号を表し、「ｂ」は青色信号を表している。図４に示すように、各画素位置には、輝度信号ｙと、色信号ｒ，ｇ，ｂとが存在することになる。そして、撮像装置では、各画素位置において、そこにある輝度信号ｙと色信号ｒ及び色信号ｂとから色差信号Ｃｒ，Ｃｂを生成し、これにより、輝度信号ｙと色差信号Ｃｒ，Ｃｂで表現されるカラー画像データを生成することができる。

特開２００３−３１８３７５号公報

上述した固体撮像素子では、輝度信号として、輝度信号ｙの他に、各画素位置に補間された色信号ｒ，ｇ，ｂから生成した輝度信号ｙｒｇｂを用いることも可能である。上記輝度フィルタの分光特性が色信号ｒと色信号ｇと色信号ｂとの合成式で表されるようなきっちりとした分光特性となるように制御されていれば、輝度信号ｙの色再現性と輝度信号ｙｒｇｂの色再現性に差は生じないため、輝度信号ｙを用いた場合でも、色再現性の良好な画像を生成することができる。しかし、輝度フィルタの分光特性がきっちり制御できない場合には、輝度信号ｙの色再現性が、輝度信号ｙｒｇｂの色再現性よりも劣化してしまうため、輝度信号ｙを用いた場合には色再現性の良好な画像を生成することが難しい。一方で、輝度信号ｙｒｇｂを用いて画像を再現すれば、色再現性は良好となるが、この場合は輝度信号ｙを用いて画像を再現する場合に比べて解像感が低下する。

本発明は、上記事情にかんがみてなされたものであり、色再現性及び解像感の高い画像を生成することが可能な撮像装置を提供することを目的とする。

本発明の撮像装置は、多数の光電変換素子を含む固体撮像素子と、前記多数の光電変換素子から得られる信号から第一の輝度信号と色差信号で表現されるカラー画像データを生成するカラー画像データ生成手段とを有する撮像装置であって、前記多数の光電変換素子は、それぞれ異なる色信号を得るための少なくとも３種類の光電変換素子と、前記少なくとも３種類の光電変換素子の各々に隣接して設けられた第二の輝度信号を得るための光電変換素子とを含み、前記カラー画像データ生成手段は、生成すべき前記カラー画像データの各画素位置に、生成すべき前記カラー画像データの各画素位置に必要な信号のうち、各画素位置に対応する前記光電変換素子から得られない前記色信号及び前記第二の輝度信号を補間する信号補間手段と、前記信号補間された前記各画素位置について、前記各画素位置に補間された前記少なくとも３つの色信号から第三の輝度信号を生成する第三の輝度信号生成手段と、前記各画素位置について、前記各画素位置にある前記第二の輝度信号から抽出された高周波成分と前記第三の輝度信号から抽出された低周波成分を合成して前記第一の輝度信号を生成する第一の輝度信号生成手段とを含む。

本発明によれば、色再現性及び解像感の高い画像を生成することが可能な撮像装置を提供することができる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示すブロック図である。
図１に示すデジタルカメラ１００は、撮像部１と、アナログ信号処理部２と、Ａ／Ｄ変換部３と、駆動部４と、デジタル信号処理部６と、圧縮／伸張処理部７と、表示部８と、システム制御部９と、内部メモリ１０と、メディアインタフェース１１と、記録メディア１２と、操作部１３とを備える。デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、及びメディアインタフェース１１は、システムバス１４に接続されている。

撮像部１は、撮影レンズ１ａを含む光学系と、ＣＣＤ型やＣＭＯＳ型の固体撮像素子１ｂとによって被写体を撮像するものであり、アナログの撮像信号を出力する。固体撮像素子１ｂの構成は、図３に示した従来の構成と全く同じであるため、以下では図３を援用して説明する。アナログ信号処理部２は、撮像部１で得られた撮像信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部３は、アナログ信号処理部２で処理後のアナログ信号をデジタル信号に変換する。

駆動部４は、デジタルカメラ１００が撮影モード（被写体を撮影して撮影画像データの記録が可能なモード）に設定されると、システム制御部９から供給される駆動パルスによって、固体撮像素子１ｂ、アナログ信号処理部２、及びＡ／Ｄ変換部３を駆動する。

デジタル信号処理部６は、Ａ／Ｄ変換部３からのデジタル信号に対して、操作部１３によって設定された動作モードに応じたデジタル信号処理を行って撮影画像データを生成する。デジタル信号処理部６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、輝度信号ｙ’と色差信号Ｃｒ’，Ｃｂ’とで表現されるＹＣ画像データを生成するＹＣ画像データ生成処理等が含まれる。デジタル信号処理部６は、例えばデジタルシグナルプロセッサ（ＤＳＰ）で構成される。

圧縮／伸張処理部７は、デジタル信号処理部６で生成されたＹＣ画像データに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施す。

表示部８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経た撮影画像データに基づく画像を表示する。記録メディア１２に記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影モード時のスルー画像、撮像装置の各種状態、操作に関する情報の表示等も可能である。

システム制御部９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ１００全体の統括制御を行う。

内部メモリ１０は、例えばＤＲＡＭであり、デジタル信号処理部６やシステム制御部９のワークメモリとして利用される他、記録メディア１２に記録される撮影画像データを一時的に記憶するバッファメモリや表示部８への表示用画像データのバッファメモリとしても利用される。メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行うものである。

操作部１３は、撮像装置使用時の各種操作を行うものであり、撮影指示を行うためのレリーズボタン（図示せず）を含む。

図２は、図１に示すデジタル信号処理部６のＹＣ画像データ生成処理を行うブロックの概略構成を示す図である。
ＹＣ画像データ生成処理を行うＹＣ画像データ生成部６０は、信号補間部６１と、輝度信号ｙｒｇｂ生成部６２と、輝度信号合成部６３と、色差信号生成部６４とを備える。

信号補間部６１は、生成すべきカラー画像データの各画素位置に、生成すべきカラー画像データの各画素位置に必要な信号（輝度信号ｙ、色信号ｒ、ｇ、ｂの４つの信号）のうち、各画素位置に対応する光電変換素子から得られない色信号及び輝度信号を補間する信号補間処理を行う。例えば、図３の光電変換素子Ｙに対応する画素位置には、その光電変換素子Ｙの周囲の光電変換素子から得られる信号によって色信号ｒ，ｇ，ｂを補間し、図３の光電変換素子Ｒに対応する画素位置には、その光電変換素子Ｒの周囲の光電変換素子から得られる信号によって色信号ｙ，ｇ，ｂを補間し、図３の光電変換素子Ｇに対応する画素位置には、その光電変換素子Ｇの周囲の光電変換素子から得られる信号によって色信号ｙ，ｒ，ｂを補間し、図３の光電変換素子Ｂに対応する画素位置には、その光電変換素子Ｂの周囲の光電変換素子から得られる信号によって色信号ｙ，ｒ，ｇを補間する。この信号補間処理後の状態は図４と同じである。

輝度信号ｙｒｇｂ生成部６２は、各画素位置について、信号補間部６１で各画素位置に補間された色信号ｒ，ｇ，ｂから輝度信号ｙｒｇｂを生成する。輝度信号ｙｒｇｂの生成は、公知の演算式により、ｒ信号とｇ信号とｂ信号を重み付け加算することで求める。

輝度信号合成部６３は、各画素位置について、輝度信号ｙと輝度信号ｙｒｇｂとを合成して、輝度信号ｙ’を生成する。より具体的には、輝度信号ｙの高周波成分と、輝度信号ｙｒｇｂの低周波成分とを合成して輝度信号ｙ’を生成する。

輝度信号ｙ’を生成するための式の例を以下に列挙する。以下の式において、ＬＰＦ（信号）は、（）内の信号にローパスフィルタ処理を行って得られる値であり、ＨＰＦ（信号）は、（）内の信号にハイパスフィルタ処理を行って得られる値である。
（１）ｙ’＝ＬＰＦ（ｙｒｇｂ）＋（ｙ−ＬＰＦ（ｙ））
（２）ｙ’＝ＬＰＦ（ｙｒｇｂ−ｙ）＋ｙ
（３）ｙ’＝ＨＰＦ（ｙ）＋（ｙｒｇｂ−ＨＰＦ（ｙｒｇｂ））
（４）ｙ’＝ＨＰＦ（ｙ−ｙｒｇｂ）＋ｙｒｇｂ

色差信号生成部６４は、各画素位置について、各画素位置に生成した輝度信号ｙ’と各画素位置に補間した色信号ｒ，ｂとから、色差信号Ｃｒ’，Ｃｂ’を生成する。

輝度信号ｙは、輝度成分を検出する光電変換素子Ｙから得られたものであり、光電変換素子Ｙは多数の光電変換素子のうちの半分を占める。このため、輝度信号ｙの周波数特性（解像感）は輝度信号ｙｒｇｂよりも良好となるが、輝度信号ｙの色再現性は輝度信号ｙｒｇｂよりも落ちる。一方、輝度信号ｙｒｇｂは、各色成分を検出する光電変換素子Ｒ，Ｇ，Ｂから得られたものである。このため、輝度信号ｙｒｇｂの色再現性は輝度信号ｙよりも良好となるが、輝度信号ｙｒｇｂの周波数特性は輝度信号ｙよりも落ちる。つまり、輝度信号ｙも輝度信号ｙｒｇｂもそれぞれ一長一短の特性を持っている。

本実施形態で説明したデジタルカメラでは、デジタル信号処理部６が、輝度信号ｙの高周波成分と、輝度信号ｙｒｇｂの低周波成分とを合成して輝度信号ｙ’を生成する。つまり、解像に影響する高周波成分は周波数特性の良好な輝度信号ｙを用い、色再現性に影響する低周波成分は輝度信号ｙｒｇｂを用いることにより、輝度信号ｙの利点と輝度信号ｙｒｇｂとの利点を兼ね備えた輝度信号ｙ’を得ることができる。この結果、輝度フィルタの分光特性が制御できない場合であっても、良好な色特性と周波数特性を両立したカラー画像データを生成することが可能となる。

尚、輝度信号ｙの高周波成分と、輝度信号ｙｒｇｂの低周波成分のそれぞれの周波数成分の範囲は、得ようとする画質に応じて最適に決定すれば良い。解像感のよい画像を得たければ、輝度信号ｙの高周波成分の範囲を広めにすれば良いし、色再現性のよい画像を得たければ、輝度信号ｙｒｇｂの低周波成分の範囲を広めにすれば良い。このような範囲の設定は、撮影時に設定された画質に応じてデジタル信号処理部６が行うようにすれば良い。

又、以上の説明では、全ての光電変換素子から信号を読み出して、最大解像度の画像データを生成する場合を例にしたが、光電変換素子Ｒ，Ｇ，Ｂからの信号のみを用いて画像データを生成する場合でも、同様の処理を行うことが可能である。

又、以上の説明では、固体撮像素子１ｂに含まれる多数の光電変換素子が、ＲＧＢの３つの異なる色成分を検出する光電変換素子を含むものとしたが、これらの色成分はＲＧＢの原色系に限らず、補色系の色やその他の色であっても良い。又、色成分の数についても、３つに限らず、４つ以上であっても良い。

又、以上の説明では、輝度信号を得るための光電変換素子Ｙと、色信号を得るための光電変換素子Ｒ，Ｇ，Ｂとがそれぞれ市松状に配列されて、全ての光電変換素子で正方配列となっているが、光電変換素子の配列はこれに限らない。多数の光電変換素子が、それぞれ異なる色信号を得るための少なくとも３種類の光電変換素子と、少なくとも３種類の光電変換素子の各々に隣接して設けられた輝度信号を得るための光電変換素子とを含む構成であれば、上述した効果を得ることができる。

以上の説明において、輝度信号ｙ’は、特許請求の範囲の第一の輝度信号に相当し、輝度信号ｙは、特許請求の範囲の第二の輝度信号に相当し、輝度信号ｙｒｇｂは、特許請求の範囲の第三の輝度信号に相当し、輝度信号ｙｒｇｂ生成部６２は、特許請求の範囲の第三の輝度信号生成手段に相当し、輝度信号合成部６３は、特許請求の範囲の第一の輝度信号生成手段に相当する。

本実施形態を説明するための撮像装置の一例であるデジタルカメラの概略構成を示すブロック図図１に示すデジタル信号処理部のＹＣ画像データ生成処理を行うブロックの概略構成を示す図従来の固体撮像素子の平面模式図従来の固体撮像素子から得られる信号の補間処理後の状態を示す図

符号の説明

１ｂ固体撮像素子
６デジタル信号処理部
６０ＹＣ画像データ生成部
６１信号補間部
６２輝度信号ｙｒｇｂ生成部
６３輝度信号合成部
６４色差信号生成部

Claims

多数の光電変換素子を含む固体撮像素子と、前記多数の光電変換素子から得られる信号から第一の輝度信号と色差信号で表現されるカラー画像データを生成するカラー画像データ生成手段とを有する撮像装置であって、
前記多数の光電変換素子は、それぞれ異なる色信号を得るための少なくとも３種類の光電変換素子と、前記少なくとも３種類の光電変換素子の各々に隣接して設けられた第二の輝度信号を得るための光電変換素子とを含み、
前記カラー画像データ生成手段は、
生成すべき前記カラー画像データの各画素位置に、生成すべき前記カラー画像データの各画素位置に必要な信号のうち、各画素位置に対応する前記光電変換素子から得られない前記色信号及び前記第二の輝度信号を補間する信号補間手段と、
前記信号補間された前記各画素位置について、前記各画素位置に補間された前記少なくとも３つの色信号から第三の輝度信号を生成する第三の輝度信号生成手段と、
前記各画素位置について、前記各画素位置にある前記第二の輝度信号から抽出された高周波成分と前記第三の輝度信号から抽出された低周波成分を合成して前記第一の輝度信号を生成する第一の輝度信号生成手段とを含む撮像装置。