JP4324404B2 - 固体撮像装置及びデジタルカメラ - Google Patents
固体撮像装置及びデジタルカメラ Download PDFInfo
- Publication number
- JP4324404B2 JP4324404B2 JP2003117136A JP2003117136A JP4324404B2 JP 4324404 B2 JP4324404 B2 JP 4324404B2 JP 2003117136 A JP2003117136 A JP 2003117136A JP 2003117136 A JP2003117136 A JP 2003117136A JP 4324404 B2 JP4324404 B2 JP 4324404B2
- Authority
- JP
- Japan
- Prior art keywords
- light source
- solid
- color
- imaging device
- state imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の属する技術分野】
本発明は固体撮像装置及びデジタルカメラに係り、特に、複数種類の光源下にある被写体を撮像したときのホワイトバランスを良好にとり色かぶりの少ない画像を得ることができる固体撮像装置及びデジタルカメラに関する。
【0002】
【従来の技術】
デジタルスチルカメラ(携帯電話機に搭載されているものを含む。)やデジタルビデオカメラ等のデジタルカメラでは、CCDやCMOSイメージセンサ等の固体撮像素子によって被写体を撮像し、得られた画像データのホワイトバランスを、被写体の照明光源種類に応じて補正し、出力している。
【0003】
光源としては、太陽光(D65光源,D75光源など),普通型白色蛍光灯(F6光源),3波長型蛍光灯(F10光源,F11光源,F12光源その他),フラッシュライトなど代表的な種々の光源が予め想定されており、デジタルカメラが自動的にホワイトバランス補正を行う場合、撮像画像データを解析して光源種類を識別し、この光源種類に応じた補正値を使用する様になっている。
【0004】
しかし、撮影を行う場合、1種類の光源によってのみ被写体が照明される場合の他、複数種類の光源によって被写体が照明されるシーンを撮影する場合がある。例えば、蛍光灯で照明されている室内に窓から太陽光が射し込んでいる状態で、室内シーンを撮影する場合などである。
【0005】
複数種類の光源によって照明されている被写体を撮像して得た画像データをホワイトバランス補正する場合、従来は、メインとなる1種類の光源種類だけを判別し、画像全体をその光源種類に基づいて補正していた。このため、画像中のメインの被写体から外れた画像部分つまり他の種類の光源による照明が強い部分の画像が色かぶりを起こして黄色味や緑色味の強い画像になり、色の再現性(特にグレーや肌色の再現性)が低下するという問題があった。
【0006】
そこで、例えば、特開平8―340542号公報(特許文献1)の段落番号〔0026〕に記載された従来技術では、F6光源で照明されている室内でメインの被写体をフラッシュを焚いて撮影したとき、フラッシュ発光前に固体撮像素子から得られた画像データとフラッシュ発光後に固体撮像素子から得られた画像データとから、撮像画像の画像領域毎にフラッシュ光の影響量を求め、この影響量に応じて画像領域毎のホワイトバランス補正量を決め、画像全体でホワイトバランスのとれた画像を生成することを提案している。
【0007】
【特許文献1】
特開平8―340542号公報(段落番号〔0026〕)
【0008】
【発明が解決しようとする課題】
しかしながら、上述した特許文献1の従来技術は、フラッシュ発光を行った場合のホワイトバランスだけを対象としており、フラッシュ発光前の画像データとフラッシュ発光後の画像データの2枚の画像データを用いなければならない構成となっている。
【0009】
このため、この特許文献1の技術は、フラッシュ光以外の複数種類の光源下にある被写体を撮像した場合のホワイトバランス補正に適用することはできない。何故ならば、室内を蛍光灯で照明している室の窓から太陽光が射し込んでいる状態で室内シーンを撮影した場合、1枚の画像データが得られるだけであり、太陽光照射前の画像データと太陽光照射後の画像データの2枚の画像データを得ることができないからである。
【0010】
本発明の目的は、蛍光灯による照明と他の光源による照明とが混合したときの撮影画像のホワイトバランス補正を良好に行い、色かぶりが少なく色再現性の高い固体撮像装置及びデジタルカメラを提供することにある。
【0011】
【課題を解決するための手段】
上記目的を達成する本発明の固体撮像装置は、被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、該固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備える固体撮像装置において、特定光源の放射エネルギと他光源の放射エネルギとの間に所定値以上の差違が生じる波長域の光を検出する複数のセンサを前記固体撮像素子の前記画素のいずれかの代わりに該固体撮像素子の表面に均等に分散して且つ夫々の検出波長のピーク感度波長が100nm以内にある2種類の前記センサを隣接して設けると共に、該2種類の前記センサの検出信号を用いて前記特定光源の照明光と前記他光源の照明光との混合比を求める混合比推定手段と、前記ホワイトバランス補正を行うゲイン量を前記混合比に応じて算出するゲイン量算出手段とを前記信号処理手段に設けたことを特徴とする。
【0012】
この構成により、被写体が複数種類の光源によって照明されている場合でも色かぶりが抑制され色再現性の優れた画像データを得ることができる。
【0013】
本発明の固体撮像装置は、前記混合比及び前記ゲイン量を前記画素毎に求めることを特徴とする。この構成により、画素単位に色再現性が向上する。
【0014】
本発明の固体撮像装置の信号処理手段は、前記撮像画像データから求めた色差信号に対して色差マトリクスを乗算して色調補正する手段と、該色差マトリクスの係数を前記混合比に応じて補正する色差マトリクス補正手段とを備えることを特徴とする。この構成により、自動的に光源種類やその混合比に応じたホワイトバランス補正、色差マトリクス補正が可能となる。
【0015】
本発明の固体撮像装置の信号処理手段は、前記撮像画像データから光源種類を判別する光源種別判定手段を備えることを特徴とする。この構成により、自動的に光源種類やその混合比に応じたホワイトバランス補正、色差マトリクス補正が可能となる。
【0016】
本発明の固体撮像装置は、前記センサを設けた位置の撮像画像データは周囲の前記画素の撮像画像データを補間演算して求めることを特徴とする。
【0017】
本発明のデジタルカメラは、被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、該固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備えるデジタルカメラにおいて、特定光源の放射エネルギと他光源の放射エネルギとの間に所定値以上の差違が生じる波長域の光を検出する複数のセンサを前記固体撮像素子の前記画素のいずれかの代わりに該固体撮像素子の表面に均等に分散して且つ夫々の検出波長のピーク感度波長が100nm以内にある2種類の前記センサを隣接して設けると共に、該2種類の前記センサの検出信号を用いて前記特定光源の照明光と前記他光源の照明光との混合比を求める混合比推定手段と、前記ホワイトバランス補正を行うゲイン量を前記混合比に応じて算出するゲイン量算出手段とを前記信号処理手段に設けたことを特徴とする。
【0018】
この構成により、被写体が複数種類の光源によって照明されている場合でも色かぶりが抑制され色再現性の優れた画像データを得ることができる。
【0019】
本発明のデジタルカメラは、上記のいずれかに記載の固体撮像装置を搭載したことを特徴とする。この構成によっても、被写体が複数種類の光源によって照明されている場合でも色かぶりが抑制され色再現性の優れた画像データを得ることができる。
【0020】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【0021】
(第1の実施形態)
図1は、本発明の第1の実施形態に係るデジタルスチルカメラの構成図である。このデジタルスチルカメラは、撮影レンズ10と、固体撮像素子11と、この両者の間に設けられた絞り12と、赤外線カットフィルタ13と、光学ローパスフィルタ14とを備える。デジタルスチルカメラの全体を制御するCPU15は、フラッシュ用の発光部16及び受光部17を制御し、また、レンズ駆動部18を制御して撮影レンズ10の位置をフォーカス位置に調整し、絞り駆動部19を介し絞り12の開口量を制御して露光量が適正露光量となるように調整する。
【0022】
また、CPU15は、撮像素子駆動部20を介して固体撮像素子11を駆動し、撮影レンズ10を通して撮像した被写体画像を色信号として出力させる。また、CPU15には、操作部21を通してユーザの指示信号が入力され、CPU15はこの指示に従って各種制御を行う。固体撮像素子11は、ハニカム画素配置のCCDやベイヤー方式のCCD、あるいはCMOSセンサであるが、本実施形態では、ハニカム画素配置のCCD(図3参照)を用いる。
【0023】
デジタルスチルカメラの電気制御系は、固体撮像素子11の出力に接続されたアナログ信号処理部22と、このアナログ信号処理部22から出力された色信号をデジタル信号に変換するA/D変換回路23とを備え、これらはCPU15によって制御される。
【0024】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ24に接続されたメモリ制御部25と、詳細は後述するデジタル信号処理部26と、撮像画像をJPEG画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部27と、固体撮像素子11から出力されデジタルデータに変換された画像データを色信号毎に積算し各積算値をデジタル信号処理部26に出力する積算部28と、着脱自在の記録媒体29が接続される外部メモリ制御部30と、カメラ背面等に搭載された液晶表示部31が接続される表示制御部32とを備え、これらは、制御バス33及びデータバス34によって相互に接続され、CPU15からの指令によって制御される。
【0025】
図1に示すデジタル信号処理部26や、アナログ信号処理部22,A/D変換回路23等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子11と同一半導体基板上にLSI製造技術を用いて製造し、1つの固体撮像装置とするのがよい。
【0026】
図2は、各種光源の相対放射エネルギ分布を照度を揃えて比較したグラフである。光源としては、D55(太陽光),D75(太陽光),A(タングステン光),F6(普通型白色蛍光灯),3波長型昼白色蛍光灯,F12(3波長型電球色蛍光灯)の6種類を図示している。
【0027】
この図2を見ると、以下のような波長の光を検出するセンサを設けることで、3波長型昼白色蛍光灯やF12光源を、その他の光源(太陽光,A光源,F6光源)から高精度に識別できることが分かる。
【0028】
例えば、3波長型螢光灯の放射ピークがある610nm付近、或いは545nm付近を検出するセンサを設ける。別の例としては、蛍光灯の放射エネルギが小さい640nm以上の光を検出するセンサを設けたり、3波長型蛍光灯の放射エネルギが小さく且つ普通型蛍光灯(F6)の放射エネルギが高い570nm〜580nm付近の光を検出するセンサを設ける。その他、520nm付近など、前述した各種光源の放射分布を照度一定の条件にて比較した場合に、3波長型蛍光灯光が他の光源光と異なる波長であればどこであっても有効である。
【0029】
センサを2種類設ける場合、各センサの検出波長がなるべく近いことが好ましい。具体的には、夫々のピーク感度波長が100nm以内にあることが望ましい。例えば、波長545nmを検出するセンサと、波長610nmを検出するセンサを設ける。この場合のピーク感度とはカメラ感度でのピークを意味する。2種類のセンサのピーク感度波長が近いほど、被写体の色相に依存せずに、光源混合比を精度良く推定することができるからである。
【0030】
これらのセンサは、CCDやCMOSと別個にカメラに設けることもできるし、また、CCDやCMOSなどの固体撮像素子に一体に組み込んで設けることもできる。
【0031】
図3は、図1に示す固体撮像素子11の一部表面を示す模式図である。この固体撮像素子は、所謂、ハニカム画素配置と呼ばれ、多数の緑の色フィルタを持つフォトダイオードが縦横に所定間隔で配置され、その各行,各列の各フォトダイオードに対して、1/2ピッチづつずらした位置に、青(B)と赤(R)の各色フィルタを持つフォトダイオードが交互に配置される構造となっている。
【0032】
図示する例では、「R」「G」「B」と記載された8角形の枠が夫々赤(R),緑(G),青(B)の色フィルタを示し、対応するフォトダイオードは、その下側(紙面の下側)に配置される。より正確には、8角形の枠がフォトダイオードの形を表し、赤,緑,青の色フィルタは、8角形の枠より大きなサイズ(例えば8角形や4角形)で設けられる。
【0033】
光が各色フィルタを通して入射することで各フォトダイオードに蓄積された信号電荷は、矢印aに示す様に各フォトダイオードの脇に形成されている垂直転送路60に読み出され、この信号電荷は、矢印bに示す様に垂直転送路60に沿って転送されて水平転送路61に至り、今度は矢印cに示す様に水平転送路61に沿って転送され、固体撮像素子から読み出される。各画素(フォトダイオード)から読み出される信号電荷量は、各フォトダイオードの受光光量に応じた値となる。
【0034】
固体撮像素子11の各フォトダイオードの表面には色フィルタが重ねて設けられるが、このR,G,Bの色フィルタは、例えば顔料や染料を用いて製造される。この製造時に、本実施形態では、1000画素程度に1つの割合で且つ固体撮像素子11の表面に均等に分散するように、図3に示す様に、例えばGの色フィルタの代わりに波長580nm付近の光を透過する色フィルタ(S580)を設け、例えばRの色フィルタの代わりに波長640nm以上の光を透過する色フィルタ(SLR)を設ける。S580とSLRとは、隣接したペアとして設けるのがよい。
【0035】
画素S580や画素SLRの蓄積電荷は、画素Gや画素Rから信号電荷を読み出すときに一緒に読み出され、光源種別や混合比を求めるときに使用される。画素S580,SLR位置のR,G,B信号成分は、周りの画素R,G,Bの各信号電荷を補間演算して求めることになる。
【0036】
図4は、上述した各色フィルタ(R,G,B,S580,SLR)を設けた固体撮像素子11を搭載したデジタルスチルカメラ(赤外線カットフィルタ13やカメラレンズ10等を組み合わせた後)の分光感度を示すグラフである。
【0037】
各色フィルタR,G,Bは夫々赤色,緑色,青色に相当する波長の光を透過し、それ以外の波長の光をカットする様になっている。例えば、青色フィルタBは、波長約460nm付近に透過光のピークを持ち、波長約400nm以下の光と波長約510nm以上の光をカットする様に製造される。
【0038】
また、緑色フィルタGは、波長約480nm以下の光と波長約600nm以上の光をカットし、両者間の光を透過する波形となっている。更に、赤色フィルタRは、波長580nm以下の光をカットし、波長580nm以上の光を透過する。波長660nm以上の光は、赤外線カットフィルタ13によってカットされる。
【0039】
尚、本実施形態で用いることができるR,G,Bの各色フィルタの分光特性に関する上記の記載は、厳密なものではない。例えば、Rの「580nm以下の光をカットし」とは、例えば550nmから610nmにかけてのなだらかなカットであってもよく、あるいは、青色光波長域に洩れがあっても良い。これはGやBの色フィルタについても同様である。
【0040】
本実施形態における色フィルタS580は、図2に示す様に、普通型蛍光灯(F6光源)の放射エネルギが高く、3波長型蛍光灯(特に、3波長型昼白色蛍光灯,F12光源)の放射エネルギが低い波長570nm〜580nmの光を透過する様に製造され、色フィルタSLRは、蛍光灯(F6,3波長型昼白色蛍光灯,F12光源)の放射エネルギが小さい波長640nm以上の光を透過する様に製造される。
【0041】
図5は、図1に示すデジタル信号処理部26の詳細構成図である。このデジタル信号処理部26は、ハードウェア回路で構成しても、デジタルシグナルプロセッサ上で動作するソフトウェアにて構成することも可能である。
【0042】
図示する例のデジタル信号処理部26は、A/D変換回路23から出力されるR,G,Bの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路41と、オフセット補正回路41の出力信号を取り込んでホワイトバランス調整を後述のホワイトバランスゲイン量算出回路53で算出されたゲイン値を用いて行うゲイン補正回路42と、ゲイン補正回路42から出力される信号に対して所定のγ値を用いガンマ補正を行うガンマ補正回路43とを備える。
【0043】
A/D変換回路23から出力される色信号は、R,G,Bの3色でなる画像信号であり、オフセット補正回路41は、これらの画像信号を取り込んでオフセット処理を行い、次のゲイン補正回路42は、取り込んだ画像信号R,G,Bに対して夫々ホワイトバランス補正処理を施す。
【0044】
デジタル信号処理部26は更に、ガンマ補正回路43から出力されるR,G,Bの画像信号を補間演算して各画素位置におけるRGB3色の信号成分を求めるRGB補間演算部44と、RGB補間演算後のRGB信号から輝度信号Yと色差信号Cr,Cbとを求めるRGB/YC変換回路45と、輝度信号Yと色差信号Cr,Cbからノイズを低減するノイズフィルタ46と、ノイズ低減後の輝度信号Yに対して輪郭補正を行う輪郭補正回路47と、ノイズ低減後の色差信号Cr,Cbに対して色差マトリクス(C―MTX)を乗算して色調補正を行う色差マトリクス回路48とを備える。
【0045】
更に、デジタル信号処理26は、積算部28から出力される信号R,G,B,S580,SLR毎の積算値ΣR,ΣG,ΣB,ΣS580,ΣSLRを取り込んで光源種別を判定する光源種別判定回路51と、画素S580と画素SLRの検出信号及び赤色信号Rとを取り込んで光源混合比を推定する光源混合比推定回路52と、ホワイトバランスゲイン量算出回路53とを備える。
【0046】
ホワイトバランスゲイン量算出回路53は、光源種別判定回路51と、光源混合比推定回路52の出力信号を受け、被写体照明光源が1種類の場合にはその光源種類に応じたホワイトバランスのゲイン量をゲイン補正回路42に出力し、被写体照明光源が特定光源と他光源との混合であった場合には夫々の光源種類の光源混合比に応じたホワイトバランスゲイン量を算出し、ゲイン補正回路42に出力する。
【0047】
色差マトリクス回路48には、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路51が求めた光源種別に応じて使用する色差マトリクスを切り替え、この切り替え後の色差マトリクス〔C―MTX〕を、入力してくる色差信号Cr,Cbに、次の数1に示す様に乗算し、色調補正された色差信号Cr’,Cb’を出力する。
【0048】
【数1】
【0049】
この色差マトリクス回路48は、光源種別判定回路51と、光源混合比推定回路52の出力信号を受け、光源種類が複数種類ある場合には、光源種類毎の照明光混合比に応じて、色差マトリクスの係数を次の様に補正する。
【0050】
今、光源L1の照明光が100%のときの色差マトリクス〔C1―MTX〕と、光源L2の照明光が100%のときの色差マトリクス〔C2―MTX〕の係数が夫々次の数2で、
【0051】
【数2】
と表される。
【0052】
そして、光源L1と光源L2の混合比がm:(1−m)のとき、色差マトリクス回路48で使用する色差マトリクスの係数a,b,c,dを、
a=m×a1+(1−m)×a2
b=m×b1+(1−m)×b2
c=m×c1+(1−m)×c2
d=m×d1+(1−m)×d2
として求める。
【0053】
あるいは、上式以外の任意の式やルックアップテーブルによってC1―MTXからC2―MTXへmに依存して連続的に変化させることもできる。
【0054】
尚、光源L1,L2に対応する夫々の色差マトリクスは、ホワイトバランスの補正込みで最適な値に決めたものを使用するのがよい。特に、肌色の色相が良好で、かつ光源種にかかわらず同じであるように決めるのが好ましい。同時に、一般色の再現性も、基準光源で撮影した時の状態になるべく近づけて決めるのが良い。
【0055】
積算部28は、固体撮像素子11で撮像した一画面を例えば8×8=64の領域に分割し、各分割領域における信号電荷のΣR,ΣG,ΣBの値を積算して出力するため、光源種別判定回路51は各積算値ΣR,ΣG,ΣBを取り込んで、ΣR/ΣGのデータとΣB/ΣGのデータの組を求め、これら64組のデータをR/G軸とB/G軸で張る二次元空間にプロットし、その分布の形状から撮影光源種を検出する。
【0056】
この分布の形状が、ある種類の光源による分布の形状と、別の種類の光源による分布の形状の両方にまたがる分布を示す場合、光源種類が2つあると判断し、光源種類を判別する。また、ユーザが、図1に示す操作部21から光源種別を入力した場合には、その光源種別を使用する。
【0057】
以下、光源混合比推定回路52で行う混合比推定処理について説明する。同一照度にて光源L1,光源L2の放射エネルギを比較すると、波長570nmから580nmの波長域と、波長640nm以上の波長域で、いずれも光源L1の方が低い。そこで、センサ用の画素S580,SLRの各検出信号を「S580」,「SLR」とし、画素Rからの出力値を「R」と表したとき、
【0058】
【数3】
X=(S580+k×SLR)/R
なる比Xの値を算出する。
【0059】
この比の値Xは、どんな色の被写体であっても、光源L1が3波長型蛍光灯であり光源L2が太陽光ないしA光源であるとすると、光源Llの比率l00%から光源L2の比率100%に向かって単調に増大する。しかも、Xの絶対値は、光源Llと光源L2の混合比率が同じとき被写体の色(自然色)に関わらずかなり近い値となる。即ち、自然色が被写体である限り、光源の混合比を良い精度で推定できる。
【0060】
この現象は、次のように説明できる。Rの分光感度は、図4から分かるように、S580やSLRを含む形になっている。このため、(S580+k×SLR)をRで割った値Xは、赤色波長域において580nm付近の入射光の割合Aと640nm以上の入射光の割合Bの合計を意味している。蛍光灯光の比率が多いほど、AもBも小さな値となるが,その絶対値は、被写体の色に依存して様々である。
【0061】
しかし、自然色の分光反射率特性は、狭い波長域(およそ100nm程度の範囲)においては、概略、平坦になるか、右上がりになるか、右下がりになるかの3通りしかないので、AとBを合計し、Rで除すれば、どんな色の場合でも近い値になる。
【0062】
比Xの値を用い、本実施形態では、次の数4により、混合比mの値を算出する。
【0063】
【数4】
m=k1X2+k2X+k3
【0064】
ここで、k1,k2,k3は夫々係数であり、各係数k1,k2,k3は、光源L1,L2の色温度で表した式で求める。これらの式は、予めカメラに記憶させておく。あるいは、予め計算した値をテーブルデータとして記憶させておく。
【0065】
次に、具体例について述べる。今、F12光源と太陽光D65との混合光源下で被写体を撮影したとする。この場合には、
m=−0.0794X2+0.786X−0.494
X=(S580+1.564×SLR)/R
但し、m>1の時は、m=1とし、
m<1の時は、m=0とし、
R=0の時は、m=0とする。
と計算する。ここで、m=1は、D65が100%を意味する。
【0066】
上記の場合、R,S580,SLRの値は、固体撮像素子11の出力値に、D65用のホワイトバランス(WB)係数(これはディフォルト値としてカメラに予め設定されている。)を掛けた値である。
【0067】
図6は、この具体例における補正効果を示す図であり、図6(a)に補正前の状態、図6(b)にホワイトバランス補正及び色差マトリクス補正後の状態を示す。図6(a)の各○印はD65光源下での各色の測色点を示し、各○印付近から延びる線は、D65光源にF12光源の照明光を混ぜていったときの再現色の軌跡を示している。
【0068】
補正前の図6(a)では、ほとんど全ての色で、再現色の軌跡が縦軸の上方向すなわちb*方向に延びている。この方向は黄色方向を示し、F12光源の照明光が太陽光(D65光源)に混じると、全ての色が黄色に色かぶりしてしまうことを示している。
【0069】
これに対し、推定混合比mを用いてホワイトバランス補正及び色差マトリクス補正を行うと、図6(b)に示す様に、特にグレイや肌色において、F12光源の照明光が太陽光(D65光源)に混じっても、黄色の色かぶりが抑制されることが分かる。
【0070】
この様な推定混合比mを用いた補正効果は、図示は省略するが、3波長型蛍光灯(F12,F11,F10光源や昼光色等の各種光源)と、太陽光(D75,D65,D50)やフラッシュライトとの組み合わせでも、同様に得られる。
【0071】
図7はF12光源とA光源とを混合した場合の補正効果を示す図であり、図7(a)は補正前、図7(b)は補正後を示す図である。推定混合比mは、
m=0.0383X2+0.356−0.258
(m=1はA光源が100%)
で求め、Xは、上記と同様に、係数k=1.564としている。
【0072】
図7(a)の各○印はA光源下での各色の測色点を示し、各○印付近から延びる線は、A光源にF12光源の照明光を混ぜていったときの再現色の軌跡を示している。
【0073】
補正前の図7(a)では、かなりの色で、再現色の軌跡が北西方向に延び、緑色に色かぶりしてしまっている。これに対し、推定混合比mを用いてホワイトバランス補正及び色差マトリクス補正を行うと、図7(b)に示す様に、特にグレイにおいて、F12光源の照明光がA光源に混じっても、緑色の色かぶりが抑制されることが分かる。
【0074】
図8は、F6光源とD65光源(太陽光)とが混合した場合における補正効果を示す図である。推定混合比mは
m=0.177X2+1.115X−1.068
(m=1はD65が100%)
で求め、比Xの値は、
X=(SLR+0.499G)/R
但し、 m>1の時は、m=1とし、
m<0の時は、m=0とし、
R=0の時は、m=1とする。
で求めている。
【0075】
図8(a)の各○印はD65光源下での各色の測色点を示し、各○印付近から延びる線は、D65光源にF6光源の照明光を混ぜていったときの再現色の軌跡を示している。
【0076】
補正前の図8(a)では、ほとんど全ての色で、再現色の軌跡が縦軸の上方向すなわちb*方向に延び、殆ど全ての色が黄色に色かぶりしてしまっている。これに対し、推定混合比mを用いてホワイトバランス補正及び色差マトリクス補正を行うと、図8(b)に示す様に、殆ど全ての色において、D65光源の照明光がF6光源が混じっても、黄色の色かぶりが抑制されることが分かる。
【0077】
(第2の実施形態)
次に、本発明の第2の実施形態に係るデジタルスチルカメラについて説明する。尚、この第2の実施形態は、本願請求項記載の発明には含まれない。本実施形態に係るデジタルスチルカメラの構成は、第1の実施形態における図1と同じであり、デジタル信号処理部26の構成も図5と同様である。
【0078】
上述した第1の実施形態では、580nm付近の波長域の光を検出するセンサS580と、640nm以上の波長域の光を検出するセンサSLRとを固体撮像素子11に設けているため、これらのセンサ位置においては画素抜けが生じ、このため、センサ位置における色信号成分は周りの画素の色信号成分を用いて補間演算する必要が生じる。
【0079】
そこで、本実施形態のデジタルスチルカメラに搭載する固体撮像素子11では、画素抜けが生じないように、R,G,Bの分光感度を工夫し、実質的にセンサを設けたのと同等の効果を得ることができる様にしている。
【0080】
図9は、本実施形態に係る固体撮像素子11の表面を示す一部模式図である。本実施形態では、赤色Rを検出する画素の分光感度として、R1,R2の二種類を設けている。図10は、本実施形態に係る分光感度(カメラの分光感度)を示すグラフである。分光感度R1と分光感度R2とを、
R1−R2=S580+SLR
となるように設計している。見方を変えると、分光感度R2は、ピークが3波長型蛍光灯の放射ピーク610nm近傍となるようにしている。
【0081】
尚、この実施形態では、R1,R2を設けているが、G1,G2を設けたり、B1,B2を設けることで、波長520nmやその他の波長域の光を検出できるようにすることも可能である。
【0082】
本実施形態では、R1,R2,G,Bの色信号が検出されるため、これらの色信号を用い、画素抜け無く、画像データを生成することが可能になると共に、S580やSLRのセンサ検出信号も同時に得られる。R1,R2からRの色信号を求める方法は種々あり、単にR1とR2の色信号を加算平均するだけでもよい。
【0083】
以下、本実施形態で、3波長型蛍光灯の照明光と太陽光(色温度5000K(D50)から7500K(D75))とが混合した場合の補正について説明する。
【0084】
本実施形態では、混合比mを、
m=−28.84X2+63.81X−33.97
(m=1はD65が100%)
として求め、
X=R1/R2
但し、m>1の時は、m=1とし、
m<1の時は、m=0とし、
R2=0の時は、m=0とする。
としている。
【0085】
図11は、F12光源とD65光源(太陽光)とが混合した場合における補正効果を示す図であり、図11(a)の各○印はD65光源下での各色の測色点を示し、各○印付近から延びる線は、D65光源にF12光源の照明光を混ぜていったときの再現色の軌跡を示している。
【0086】
図12は、F12光源とD75光源(太陽光)とが混合した場合における補正効果を示す図であり、図12(a)の各○印はD75光源下での各色の測色点を示し、各○印付近から延びる線は、D75光源にF12光源の照明光を混ぜていったときの再現色の軌跡を示している。
【0087】
図13は、F12光源とD50光源(太陽光)とが混合した場合における補正効果を示す図であり、図13(a)の各○印はD50光源下での各色の測色点を示し、各○印付近から延びる線は、D50光源にF12光源の照明光を混ぜていったときの再現色の軌跡を示している。
【0088】
いずれの場合にも、補正前には殆ど全ての色で再現色の軌跡が縦軸の上方向すなわちb*方向に延び、F12光源が混じることで殆ど全ての色が黄色に色かぶりしてしまっているが、推定混合比mを用いてホワイトバランス補正及び色差マトリクス補正を行うことで、殆ど全ての色において、黄色の色かぶりが抑制されることが分かる。
【0089】
上記の混合比推定式は、グレーを被写体としたときのF12光源とD65光源の混合比を精度良く推定する式であり、F12光源以外の3波長型蛍光灯の場合は、夫々、別の混合比推定式を用いれば、高精度のグレー補正が可能となる。しかし、このF12光源用の混合比推定式を他の3波長型蛍光灯の場合に適用しても、十分な補正効果が得られる。F12光源以外の3波長型蛍光灯は、D65光源に対してより色味(色温度)が近いので、ホワイトバランスの補正量が小さく、その分だけ、誤差も小さくなるためと考えられる。
【0090】
図14は、3波長型昼光色蛍光灯とA光源とが混合した場合における本実施形態の補正効果を示す図であり、図15は、3波長型蛍光灯のうちF10光源とA光源とが混合した場合の補正効果を示す図であり、図16は、同様にF12光源とA光源とが混合した場合の補正効果を示す図である。
【0091】
3波長型蛍光灯とA光源とが混合した場合における混合比mは、
m=38.37X2−64.5X+26.96
(m=1はA光源が100%)
X=R1/R2
但し、m>1の時は、m=1とし、
m<1の時は、m=0とし、
R2=0の時は、m=1とする。
として求める。
【0092】
各図14(b),図15(b),図16(b)に示される通り、3波長型蛍光灯とA光源とが混合した場合、上記の混合比推定式で求めた混合比mを用いてホワイトバランスや色差マトリクスを補正することで、グレーや肌色の色かぶりが抑制されることが分かる。
【0093】
尚、上述した3波長型蛍光灯とA光源とが混合した場合における混合比推定式は、3波長型昼光色蛍光灯とA光源とが混合したときにグレーを高精度に補正する式である。昼光色以外の3波長型蛍光灯(F10,F11,F12光源)の場合には、夫々、別の式を用いれば、完璧なグレー補正ができるが、上記の混合比推定式をそのまま使用しても十分な補正効果が得られる。昼光色以外の3波長型蛍光灯はA光源により色味(色温度)が近いため、その分だけ誤差が小さくなるためと考えられる。
【0094】
尚、光源混合比に応じたホワイトバランスや色差マトリクスの補正量は、画素毎に求めるのが良いが、第1実施形態の様にセンサを固体撮像素子表面に離散的に均等配置した場合には各センサ配置箇所を中心とした所定領域毎にこれらの補正量を求め、所定領域内の画素に対しては同一補正量を用いることでもよい。
【0095】
あるいは、離散的に配置された補正量のうち、近隣の補正量からの内挿にて画素毎の補正量を決めても良い。画素毎の補正量に含まれるノイズを減らす目的で、周辺画素の補正量との平均値をその画素の補正量とすることもできる。
【0096】
上述した実施形態ではデジタルスチルカメラを例にしたが、動画撮影用のデジタルビデオカメラ等の他のデジタルカメラ一般に本発明を適用可能である。
【0097】
【発明の効果】
本発明によれば、蛍光灯と他の光源とが混合した状態で撮影した画像のホワイトバランス補正を良好に行うことができ、更に色かぶりが少なく色再現性が高い撮像画像を得ることができる。また、この効果により、カメラに付属させるフラッシュ装置の発光パワーを必要最小限にとどめることができる。即ち、フラッシュ光量が小さいと、アベイラブルライトの光量が相対的に上がることになり色カブリが顕著となるが、本発明の効果によりその色カブリを補正できる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係るデジタルスチルカメラの構成図である。
【図2】各種撮影光源の分光放射分布を示すグラフである。
【図3】図1に示す固体撮像素子の表面模式図である。
【図4】図1に示すデジタルスチルカメラの分光感度を示すグラフである。
【図5】図1に示すデジタル信号処理部の詳細構成図である。
【図6】(a)D65光源にF12光源を混合していった場合における再現色の軌跡を示す図である。
(b)第1の実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。
【図7】(a)A光源にF12光源を混合していった場合における再現色の軌跡を示す図である。
(b)第1の実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。
【図8】(a)D65光源にF6光源を混合していった場合における再現色の軌跡を示す図である。
(b)第1の実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。
【図9】本発明の第2の実施形態に係る固体撮像素子の表面模式図である。
【図10】本発明の第2の実施形態に係るデジタルカメラの分光感度を示すグラフである。
【図11】(a)D65光源にF12光源を混合していった場合における再現色の軌跡を示す図である。
(b)第2の実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。
【図12】(a)D75光源にF12光源を混合していった場合における再現色の軌跡を示す図である。
(b)第2の実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。
【図13】(a)D50光源にF12光源を混合していった場合における再現色の軌跡を示す図である。
(b)第2の実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。
【図14】(a)A光源に3波長型昼光色蛍光灯を混合していった場合における再現色の軌跡を示す図である。
(b)第2の実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。
【図15】(a)A光源にF10光源を混合していった場合における再現色の軌跡を示す図である。
(b)第2の実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。
【図16】(a)A光源にF12光源を混合していった場合における再現色の軌跡を示す図である。
(b)第2の実施形態における推定混合比を用いて補正した後の再現色の軌跡を示す図である。
【符号の説明】
10 撮影レンズ
11 固体撮像素子
15 CPU
26 デジタル信号処理部
28 積算部
48 色差マトリクス回路
51 光源種別判定回路
52 光源混合比推定回路
53 ホワイトバランスゲイン量算出回路
Claims (7)
- 被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、該固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備える固体撮像装置において、特定光源の放射エネルギと他光源の放射エネルギとの間に所定値以上の差違が生じる波長域の光を検出する複数のセンサを前記固体撮像素子の前記画素のいずれかの代わりに該固体撮像素子の表面に均等に分散して且つ夫々の検出波長のピーク感度波長が100nm以内にある2種類の前記センサを隣接して設けると共に、該2種類の前記センサの検出信号を用いて前記特定光源の照明光と前記他光源の照明光との混合比を求める混合比推定手段と、前記ホワイトバランス補正を行うゲイン量を前記混合比に応じて算出するゲイン量算出手段とを前記信号処理手段に設けたことを特徴とする固体撮像装置。
- 前記混合比及び前記ゲイン量を前記画素毎に求めることを特徴とする請求項1に記載の固体撮像装置。
- 前記信号処理手段は前記撮像画像データから求めた色差信号に対して色差マトリクスを乗算して色調補正する手段と、該色差マトリクスの係数を前記混合比に応じて補正する色差マトリクス補正手段とを備えることを特徴とする請求項1または請求項2に記載の固体撮像装置。
- 前記信号処理手段は、前記撮像画像データから光源種類を判別する光源種別判定手段を備えることを特徴とする請求項1乃至請求項3のいずれかに記載の固体撮像装置。
- 前記センサを設けた位置の撮像画像データは周囲の前記画素の撮像画像データを補間演算して求めることを特徴とする請求項1乃至請求項4のいずれかに記載の固体撮像装置。
- 被写体からの入射光を複数の色信号に分けて撮像する複数の画素を有する固体撮像素子と、該固体撮像素子から出力される撮像画像データに対して光源種類に対応したゲイン量でホワイトバランス補正を行う信号処理手段とを備えるデジタルカメラにおいて、特定光源の放射エネルギと他光源の放射エネルギとの間に所定値以上の差違が生じる波長域の光を検出する複数のセンサを前記固体撮像素子の前記画素のいずれかの代わりに該固体撮像素子の表面に均等に分散して且つ夫々の検出波長のピーク感度波長が100nm以内にある2種類の前記センサを隣接して設けると共に、該2種類の前記センサの検出信号を用いて前記特定光源の照明光と前記他光源の照明光との混合比を求める混合比推定手段と、前記ホワイトバランス補正を行うゲイン量を前記混合比に応じて算出するゲイン量算出手段とを前記信号処理手段に設けたことを特徴とするデジタルカメラ。
- 請求項1乃至請求項5のいずれかに記載の固体撮像装置を搭載したことを特徴とするデジタルカメラ。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003117136A JP4324404B2 (ja) | 2003-04-22 | 2003-04-22 | 固体撮像装置及びデジタルカメラ |
US10/828,309 US7683951B2 (en) | 2003-04-22 | 2004-04-21 | Solid-state imaging apparatus and digital camera for white balance correction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003117136A JP4324404B2 (ja) | 2003-04-22 | 2003-04-22 | 固体撮像装置及びデジタルカメラ |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008215246A Division JP4724735B2 (ja) | 2008-08-25 | 2008-08-25 | 固体撮像装置及びデジタルカメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004328140A JP2004328140A (ja) | 2004-11-18 |
JP4324404B2 true JP4324404B2 (ja) | 2009-09-02 |
Family
ID=33447075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003117136A Expired - Fee Related JP4324404B2 (ja) | 2003-04-22 | 2003-04-22 | 固体撮像装置及びデジタルカメラ |
Country Status (2)
Country | Link |
---|---|
US (1) | US7683951B2 (ja) |
JP (1) | JP4324404B2 (ja) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3950715B2 (ja) * | 2002-03-05 | 2007-08-01 | 富士フイルム株式会社 | 固体撮像素子およびこれを用いた撮像装置 |
JP2006173769A (ja) * | 2004-12-13 | 2006-06-29 | Olympus Corp | 画像表示装置 |
JP4955235B2 (ja) * | 2005-07-29 | 2012-06-20 | イーストマン コダック カンパニー | デジタルカメラおよびゲイン算出方法 |
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
WO2008088892A2 (en) * | 2007-01-19 | 2008-07-24 | Pixtronix, Inc. | Sensor-based feedback for display apparatus |
JP4479845B2 (ja) * | 2008-09-30 | 2010-06-09 | カシオ計算機株式会社 | 画像補正装置、画像補正方法、画像補正プログラム |
DE102010041569B4 (de) * | 2010-09-28 | 2017-04-06 | Leica Geosystems Ag | Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem |
JP5911241B2 (ja) * | 2011-09-07 | 2016-04-27 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5804857B2 (ja) * | 2011-09-07 | 2015-11-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5804856B2 (ja) | 2011-09-07 | 2015-11-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
FR2985856A1 (fr) * | 2012-01-17 | 2013-07-19 | St Microelectronics Grenoble 2 | Capteur d'image comprenant des pixels a bande spectrale etroite pour analyse colorimetrique |
US8836814B2 (en) * | 2012-01-18 | 2014-09-16 | Nokia Corporation | Method and apparatus for ambient light spectrum detection in digital photography |
US8948545B2 (en) * | 2012-02-28 | 2015-02-03 | Lytro, Inc. | Compensating for sensor saturation and microlens modulation during light-field image processing |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
US9183812B2 (en) | 2013-01-29 | 2015-11-10 | Pixtronix, Inc. | Ambient light aware display apparatus |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
JP6063093B2 (ja) * | 2014-03-31 | 2017-01-18 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
US9635332B2 (en) | 2014-09-08 | 2017-04-25 | Lytro, Inc. | Saturated pixel recovery in light-field images |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4833525A (en) * | 1985-03-29 | 1989-05-23 | Canon Kabushiki Kaisha | High speed color balance adjusting device capable of compensating for a flickering light source |
US4918519A (en) * | 1987-04-23 | 1990-04-17 | Canon Kabushiki Kaisha | Color image sensing apparatus having color balance adjustment |
US5617139A (en) * | 1987-09-10 | 1997-04-01 | Canon Kabushiki Kaisha | Image pickup apparatus |
JPH07143513A (ja) * | 1993-11-16 | 1995-06-02 | Matsushita Electric Ind Co Ltd | カラー撮像装置 |
JP3569352B2 (ja) | 1994-05-31 | 2004-09-22 | ペンタックス株式会社 | ホワイトバランス調整装置 |
JP3540485B2 (ja) | 1995-04-13 | 2004-07-07 | 株式会社リコー | 電子スチルカメラ |
JPH11113005A (ja) | 1997-09-30 | 1999-04-23 | Sony Corp | 撮像装置 |
JP2000102025A (ja) | 1998-09-25 | 2000-04-07 | Minolta Co Ltd | デジタルカメラ |
JP4228432B2 (ja) | 1998-10-07 | 2009-02-25 | ソニー株式会社 | 撮像装置および撮像方法 |
JP3849834B2 (ja) * | 1999-02-02 | 2006-11-22 | 富士写真フイルム株式会社 | オートホワイトバランス制御方法 |
JP2000307940A (ja) | 1999-04-19 | 2000-11-02 | Olympus Optical Co Ltd | 撮像装置 |
JP2000311243A (ja) * | 1999-04-28 | 2000-11-07 | Sony Corp | 画像色補正方法及び装置 |
US6515275B1 (en) | 2000-04-24 | 2003-02-04 | Hewlett-Packard Company | Method and apparatus for determining the illumination type in a scene |
JP4064038B2 (ja) * | 2000-06-09 | 2008-03-19 | 富士フイルム株式会社 | 固体撮像素子を用いた画像取得装置および画像取得方法並びにその方法を実行するためのプログラムを記録した記録媒体 |
JP2002135802A (ja) | 2000-10-19 | 2002-05-10 | Canon Inc | 信号処理装置、撮像装置、信号処理方法および記憶媒体 |
JP2002374539A (ja) | 2001-06-15 | 2002-12-26 | Olympus Optical Co Ltd | ホワイトバランス補正可能なカメラ |
JP2003169341A (ja) * | 2001-09-19 | 2003-06-13 | Fuji Film Microdevices Co Ltd | カラー画像撮像装置 |
US7463287B2 (en) * | 2002-07-29 | 2008-12-09 | Fujifilm Corporation | Solid-state image pick-up device and image pick-up apparatus capable of distinguishing a photographing light source type |
US7742088B2 (en) * | 2002-11-19 | 2010-06-22 | Fujifilm Corporation | Image sensor and digital camera |
JP4049257B2 (ja) * | 2002-12-02 | 2008-02-20 | 富士フイルム株式会社 | 固体撮像装置及びデジタルカメラ |
JP4644423B2 (ja) * | 2003-09-30 | 2011-03-02 | 富士フイルム株式会社 | カラー固体撮像素子及びこのカラー固体撮像素子を用いた固体撮像装置並びにデジタルカメラ |
-
2003
- 2003-04-22 JP JP2003117136A patent/JP4324404B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-21 US US10/828,309 patent/US7683951B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7683951B2 (en) | 2010-03-23 |
JP2004328140A (ja) | 2004-11-18 |
US20040233298A1 (en) | 2004-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4324404B2 (ja) | 固体撮像装置及びデジタルカメラ | |
US11641521B2 (en) | Image sensor and electronic apparatus | |
JP4004943B2 (ja) | 画像合成方法および撮像装置 | |
JP6186900B2 (ja) | 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール | |
US8564688B2 (en) | Methods, systems and apparatuses for white balance calibration | |
US20070076103A1 (en) | Image pickup apparatus and image processing method | |
US9036046B2 (en) | Image processing apparatus and method with white balance correction | |
US8810681B2 (en) | Image processing apparatus and image processing method | |
US7463287B2 (en) | Solid-state image pick-up device and image pick-up apparatus capable of distinguishing a photographing light source type | |
JP4049257B2 (ja) | 固体撮像装置及びデジタルカメラ | |
JP2005033609A (ja) | 固体撮像装置及びデジタルカメラ | |
JP2005027033A (ja) | カラー撮像装置 | |
JP3958700B2 (ja) | デジタルカメラ | |
JP4303922B2 (ja) | 固体撮像素子および撮像装置 | |
JP4724735B2 (ja) | 固体撮像装置及びデジタルカメラ | |
JP4015492B2 (ja) | 画像合成方法および撮像装置 | |
JP4681792B2 (ja) | デジタルカメラ | |
JP5791454B2 (ja) | 撮像装置、及びその制御方法 | |
JP3880276B2 (ja) | 撮像装置 | |
JP2006042168A (ja) | 撮像装置及びホワイトバランス制御値算出方法 | |
JP4710319B2 (ja) | 撮像装置及びそのプログラム | |
JP2003309857A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060303 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061124 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071108 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071115 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080625 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090423 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090520 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090608 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |