JP5917160B2 - 撮像装置、画像処理装置、画像処理方法およびプログラム - Google Patents

撮像装置、画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP5917160B2
JP5917160B2 JP2012007003A JP2012007003A JP5917160B2 JP 5917160 B2 JP5917160 B2 JP 5917160B2 JP 2012007003 A JP2012007003 A JP 2012007003A JP 2012007003 A JP2012007003 A JP 2012007003A JP 5917160 B2 JP5917160 B2 JP 5917160B2
Authority
JP
Japan
Prior art keywords
signal
color
output
imaging
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012007003A
Other languages
English (en)
Other versions
JP2013150051A (ja
Inventor
槙子 齋藤
槙子 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012007003A priority Critical patent/JP5917160B2/ja
Publication of JP2013150051A publication Critical patent/JP2013150051A/ja
Application granted granted Critical
Publication of JP5917160B2 publication Critical patent/JP5917160B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、CCDやCMOSイメージセンサー等の撮像素子を用いた撮像装置に関し、特に、当該撮像装置から出力される撮像信号を処理する画像処理装置、及び画像処理方法に関する。
現在、固体メモリ素子を有するメモリカードを記録媒体として、CCD、CMOS等の固体撮像素子を用いて撮像した静止画像や動画像を、記録及び再生するデジタルカメラ等の撮像装置が、広く市販されている。
固体撮像素子は、基本的に、照射された光を、マトリクス状に配された各単位画素内の光電変換手段としてのフォトダイオード(PD)によって信号電荷に変換及び蓄積し、後段の回路へ転送する構成になっている。
撮像装置において、被写体の像を高輝度から低輝度まで精度よく取り込むためには、固体撮像素子によって入射光を電気信号に変換し出力する際、入射光量に応じて出力される信号量が、入射光量に正確に比例している(リニアリティが良い)ことが望ましい。また、そのためには、PDに蓄積された信号電荷が、後段の回路へと完全に転送される必要がある。
転送効率を高め、完全電荷転送を実現するためには、固体撮像素子の電荷転送路を、理想的に均一な構造にする必要がある。しかし、実際には、結晶の欠陥や汚染、製造時に生じる各部のサイズ及び濃度等の僅かな誤差によって、転送路上にポテンシャルポケット等が発生するため、数個レベルの電子が捕獲されることによって電荷の転送残りが生じ、転送効率が悪化してしまう。
尚、捕獲される電荷の量は有限であるため、PDから転送される電荷が少ない場合ほど、電荷の捕獲によって転送効率が悪化する度合いは大きいと言える。
すなわち、ある一定レベルの電荷が捕獲されるとき、十分な量の光が入射した場合には、捕獲される電荷量に対し十分な量の電荷が転送されるため、入射光と出力信号との比例関係が概ね保たれ、所望のレベルの信号が出力される。しかし、入射光量が少ない時には、捕獲される電荷量に対する転送される電荷量の割合が小さくなるため、出力される信号は所望のレベルに比べて低いものになってしまう。そのため、入射光量が多い時と少ない時とでは、入射光と出力信号との比例関係が崩れてしまうことになる(リニアリティが悪い)。
ある一定量の光が入射したときに出力される信号が、所定の信号レベルとなるようなゲインを設定できる感度ごとに求め、感度に応じたゲインを、撮像信号に対し一律にかけることで、出力信号のレベルを補正する補正方法が一般的に行われている。しかし、この方法では、入射光量よってその度合いが変化する、不完全転送によるリニアリティの悪化を補正することはできない。
上記のような不完全転送に対し、信号処理によってその影響を低減するための手段として、画像信号に対し、一律のオフセット信号を加算することで、不完全転送による信号レベルの不足を補償する補正手段が提案されている(例えば、特許文献1を参照)。
特許第04678824号公報
近年、デジタルカメラ等の撮像装置に使用する固体撮像素子は高画素化が進んでいる。したがって、撮像面の面積は変わらないにもかかわらず、画素数が増加する分、一画素あたりの面積は小さくなってきており、それに伴い、一画素あたりで取り込める電荷量は必然的に少なくなっている。
これに対応して、低輝度環境での撮影で、露光量が少ない状態でも適正な露出の画像を撮影できる撮像装置の高感度化が進んでいる。即ち、画素部の後段に増幅部を設け、少ない電荷量であっても増幅により画像信号を適正レベルにしている。低感度から高感度までの感度設定が可能な撮像装置の場合、高感度設定時には、低感度設定時の同等の露出撮影時に比べ、撮像素子の露光量が感度比分少なくなる。例えば、同等の露出で撮影を行う場合、ISO51200相当の感度設定では、ISO100相当の感度設定に比べ、露光量は1/512少なくなり、その分、各PDに蓄積される電荷量も少なくなってしまう。
さらに、撮像素子には、単位画素ごとに、色分離のためのカラーフィルタが配設されている。カラーフィルタの色(波長)によって、入射光量に対する透過光量の割合は異なるため、露光量が同一の画素同士であっても、被写体光源色および各々の画素に割り当てられたカラーフィルタの色に応じて、PDに到達する光の量は異なってしまう。
また、カラーフィルタを透過して画素面に入射する光の光量が同一の場合であっても、PDに入射する光の波長によって光電変換率に差があるため、カラーフィルタの各色(RGB等)を透過する光の波長に応じて、PDに蓄積される電荷の量に差が出る。
前述したとおり、PDから転送する電荷が少ない場合ほど、不完全電荷転送による影響度は大きくなる。特に、画素数の多い固体撮像素子を用いた撮像装置を高感度設定で低輝度被写体を撮影した場合、電荷転送残りの影響が顕著に表れ、各色の色比が、十分な露光量が得られた場合に比べて大きく異なってしまう。
このような色比の悪化によって撮像装置の色再現が悪くなり、撮像装置で取得した画像の画質を低下させてしまう。
特許文献1に記載の従来技術では、すべての画素から得た光信号に対して一律のオフセット信号を加算するといった手段が提案されている。しかし、このような補正を行ったとしても、露光量に依存して生じる色比の変化を好適に補正することはできず、撮影した画像の色再現が悪い画像となってしまう。また、一律のオフセット信号を加算するため、低輝度部分、特に、光信号がなく画像信号が完全に黒レベルとなる部分においてもオフセット分の浮きが生じてしまい、黒レベルが再現できない問題がある。
本発明は上記問題点を鑑みてなされたものであり、不完全転送による色再現性の悪化、特に高感度設定での撮影でも色再現性の悪化の低減を可能とする補正手段を提供することを目的とする。
上記目的を達成するために、本発明によれば、撮影感度を設定する感度設定手段と感度設定手段で設定された撮影感度で光電変換を行って被写体の撮像信号を出力する撮像手段とを備える撮像装置は、感度設定手段が設定する各撮影感度について、異なる露光量に対応して撮像手段から出力された撮像信号に含まれる異なる色の出力信号を用いて生成された色ごとの色比補正係数を記憶手段に記憶し、記憶手段に記憶された色比補正係数を用いて撮像手段から出力された撮像信号を補正する補正手段と、被写体の撮影において感度設定手段によって設定された撮影感度に対応した色比補正係数を記憶手段から取得し、補正手段を制御して、撮像手段から出力された被写体の撮像信号に含まれる異なる色の出力信号を、取得された色比補正係数のうち、対応する色の色比補正係数を用いて補正する制御手段とを備える。
波長の異なる光信号を、色ごとに電気信号に変換し、出力する、光電変換手段を備えた固体撮像素子と、
複数の感度設定を切り替える感度設定手段と、
前記固体撮像素子から出力された出力信号を補正する補正手段と、
を備えた撮像システムにおいて、
前記感度設定手段によって設定可能である前記複数の感度ごとに、前記固体撮像素子からの出力信号を、複数の露出で取得し、
前記複数の露出で取得した出力信号から得た、色ごとの出力信号に基づいて、前記色ごとの出力信号の比を補正するための、色別の補正係数を、感度ごとに求めて記憶しておき、
前記感度設定手段によって設定された感度に応じて、前記色別の補正係数を使用して、前記固体撮像素子から出力された出力信号を補正する
ことを特徴とする。
本発明によれば、不完全転送などによる色再現性の悪化、特に高感度撮影での色再現性の悪化を低減することを可能とする画像処理装置を提供することができる。
本発明の実施形態に係わる撮像装置の構成例を示すブロック図 本発明の実施形態に係わる固体撮像素子の構成例を示す等価回路図 図2に示す固体撮像素子の制御パルスの一例を示すタイミングチャートを示す図 図2に示す固体撮像素子の電荷転送路の断面を表す模式図 本発明の実施形態に係わる固体撮像素子の入力−出力特性の一例を示す図 図5に示した各感度の出力について、緑(G)画素の出力に対する赤(R)画素、青(B)画素の出力の関係を示す図 図5に示した各感度の出力について、緑(G)画素の出力に対する赤(R)画素、青(B)画素の出力の関係を示す図 図5に示した各感度の出力について、緑(G)画素の出力に対する赤(R)画素、青(B)画素の出力の関係を示す図 本発明の第1の実施例に係わる撮像信号の補正を図6A、6Bに示す信号に適用したときの信号出力を示す図 本発明の第1の実施例に係わる撮像信号の補正を図6A、6Bに示す信号に適用したときの信号出力を示す図 本発明の第1の実施例に係わる撮像信号の補正を図6A、6Bに示す信号に適用したときの信号出力を示す図 本発明の第1の実施例に係わる撮像信号の補正を詳細に説明するための信号出力の模式図 本発明の第1の実施例に係わる色比補正処理のフローチャートを示す図 本発明の第2の実施例に係わる信号補正による出力信号を示す図 本発明の第2の実施例に係わる色比補正処理の変形例のフローチャートを示す図 本発明の第2の実施例に係わる色比補正処理の変形例のフローチャートを示す図 本発明の第3の実施例に係わる信号補正による出力信号を示す図 本発明の第3の実施例に係わる色比補正処理のフローチャートを示す図 本発明の実施形態に係わる固体撮像素子のカラーフィルタの配置例を示す模式図
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。本実施形態は、本発明を、固体撮像素子を用いて撮像信号を取得することが可能な撮像装置に適用した例である。
まず、本実施形態に係わる撮像装置及び固体撮像素子の構成例について説明する。次いで、本撮像装置に本件発明を適用したときの各実施例について設説明する。
<撮像装置の概略構成>
図1は、本発明の実施形態における、撮像システムとしての撮像装置の構成例を示すブロック図である。
1は、レンズや絞りなどの光学部材からなる、固体撮像素子3に被写体からの光束を導くための光学系である。
2は、後述の固体撮像素子の露光時間を制御するために、固体撮像素子の遮光を行う、メカニカルシャッタである。
3は、照射された光を電気信号に変換して出力する、固体撮像素子である。本発明の実施の形態における、固体撮像素子については、詳細は後述する。
4は、固体撮像素子3から出力された電気信号(アナログ信号である撮像信号)をデジタル画像信号に変換する、A/D変換器である。
5は、固体撮像素子3を動作させるために、駆動回路6に対して必要な信号を発生するタイミング信号発生回路である。
6は、光学系1、メカニカルシャッタ2及び固体撮像素子3の駆動回路である。
7は、固体撮像素子3から出力された撮像信号に必要な各種補正等の信号処理を行う、信号処理回路である。本実施例では、本発明に係わる信号補正を行なう補正手段として機能する。
8は、信号処理された画像データを記憶する画像メモリである。
9は、撮像装置から取り外し可能であり、画像データを記憶する、画像記録媒体である。
10は、信号処理された画像データを画像記録媒体9に記録する記録回路である。
11は、信号処理された画像データなどを表示する表示装置である。
12は、表示装置11に画像などを表示する表示回路である。
13は、撮像装置全体を制御するシステム制御部である。
14は、記憶手段としての不揮発性メモリ(ROM)である。不揮発性メモリ14には、システム制御部13で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、画像信号の各種補正に用いるデータを記憶しておく。
15は、揮発性メモリ(RAM)である。揮発性メモリ15には、不揮発性メモリ14に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部13が撮像装置を制御する際にロードして使用する。
16は、撮像装置の電源オン/オフ状態を制御するスイッチSw0である。
17は、撮像装置が撮影動作を行うための、各種撮影準備動作の開始を指示するスイッチSw1である。
18は、撮像装置の撮影動作開始を指示するスイッチSw2である。
19は、撮像装置の撮影感度の設定を指示する、感度設定手段としての感度設定部である。
尚、前述の撮像装置の構成は、あくまでも本発明を実施するために必要な構成の一例である。本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
<撮像装置の撮像動作の一例>
撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部13の動作開始時には、不揮発性メモリ14から、感度設定部19の設定に応じて、必要なプログラム、制御データ及び補正データが、揮発性メモリ15に転送され、記憶される。これらのプログラムやデータは、システム制御部13が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータが不揮発性メモリ14から揮発性メモリ15に転送され、或いは、システム制御部13が直接に不揮発性メモリ14内のデータを読み出して使用する。
先ず、システム制御部13からの制御信号により、光学系1の絞りやレンズが駆動され、適切な明るさに設定された被写体像が撮像面に結像する。
続いて、固体撮像素子3が駆動され、撮影動作が行われる。固体撮像素子3は、システム制御部13により制御されるタイミング信号発生回路5が発生する動作パルスを元にした駆動パルスで駆動され、被写体像を光電変換して、蓄積された電荷量に応じた電気信号を出力する。この間に、メカニカルシャッタ2が開閉することによって、固体撮像素子3の露光時間が制御される。固体撮像素子3は、所望の蓄積時間の間、発生した電荷の蓄積を行い、蓄積された電荷量に応じた電気信号をアナログ信号として出力するよう制御される。
固体撮像素子3から出力されたアナログ信号は、システム制御部13により制御されたタイミング信号発生回路5が発生する動作パルスにより、A/D変換器4でデジタル信号に変換される。
次に、信号処理回路7において、デジタル信号に対して、後述の感度補正や色比補正を含む各種の補正、色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等が行われる。信号処理回路7内の画像メモリ8は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。
信号処理回路7で信号処理された画像データや画像メモリ8に記憶されている画像データは、記憶回路10により画像記憶媒体9に適したデータ(例えば、階層構造を持つファイルシステムデータ)に変換されて画像記憶媒体9に記憶される。また、A/D変換器4でデジタル画像信号に変換された画像データは、信号処理回路7で解像度変換処理を施された後、表示回路12において画像表示装置11に適した信号に変換され、画像表示装置11に表示される。記憶回路10は、システム制御部13からの要求に応じて、画像記憶媒体9の種類や空き容量等の情報をシステム制御部13に出力する。
≪固体撮像素子の構成≫
図2は、図1の固体撮像素子3の一例としてのCMOSイメージセンサの等価回路図である。
単位画素200は、入射光を電荷に変換し、発生した信号電荷を蓄積する光電変換手段としてのフォトダイオード(PD)、蓄積された信号電荷量に応じて増幅信号出力を出力する増幅手段としての増幅MOSトランジスタ(MAmp)を含む。また、信号電荷を受け増幅用MOSトランジスタのゲート電極に接続するフローティングディフュージョン部(FD)、PDに蓄積した信号電荷をFD部に転送する転送手段としての転送MOSトランジスタ(MTx)を含む。さらに、FD部をリセットするリセット手段としてのリセットMOSトランジスタ(MRes)、信号を出力する画素を選択する選択手段としての選択MOSトランジスタ(MSel)を含。以上のように単位画素は構成されている。増幅MOS MAMPのドレインおよびリセットMOS MResのドレインには金属配線を介して電源が接続され、電源電位が供給される。
マトリクス状に配された複数の画素のうち、同一列に配された画素群に対し、選択された画素の増幅信号を出力するための共通の出力線Vが設けられている。また、同一行に配された複数の画素に対し、MTx、MRes、MSelの各々のゲート電極に制御パルスPTx、PRes、PSelを印加するための、制御線ΦTx、ΦRes、ΦSelが設けられている。制御線ΦTx、ΦRes、ΦSelは、垂直走査回路VSRに接続されている。
出力線Vは、定電流源Iに接続されると共に、クランプ容量C0を介して演算増幅器VAmpの反転入力端子に接続される。
演算増幅器VAmpの非反転入力端子はクランプ電圧VC0R(VREF)に接続される。演算増幅器VAmpの反転入力端子と出力端子の間にはコンデンサCh、Clが接続されており、感度設定部19において設定された感度に対応して、MGainのゲートに信号電圧が供給されることで、演算増幅器におけるゲインが制御される。例えば、感度設定部19において低感度に設定された時にはMGainをオン状態に制御して、コンデンサClを接続することで、第1のゲインで信号の読み出しを行う。また、高感度に設定された時にはMGainをオフ状態に制御して、コンデンサChのみを使用することで、第1のゲインより高い、第2のゲインで信号の読み出しを行う。尚、図2には2つのコンデンサを記載しているが、少なくとも2つ以上の複数のコンデンサを設け、それぞれを制御パルスで制御することで、より細かにゲイン設定を行えるようにしてもよい。
演算増幅器VAmpの出力端子は、ノイズ信号転送スイッチMTnを介してノイズ信号(撮像信号の基準信号)を一時保持するための容量CTnに、また、光信号転送スイッチMTsを介して光信号(撮像信号)を一時保持するための容量CTsに、接続される。ノイズ信号保持容量CTnと光信号保持容量CTsの逆側の端子は接地されている。ノイズ信号転送スイッチMTnとノイズ信号保持容量CTnとの接続点は、水平転送スイッチMHnを介して、光信号とノイズ信号の差分信号を出力する差動回路DAmpに接続される。また、光信号転送スイッチMTsと光信号保持容量CTsとの接続点は、水平転送スイッチMHsを介して、差動回路DAmpに接続される。
各列のノイズ信号転送スイッチMTnのゲートは、ノイズ信号転送パルスPTnを印加するための制御線φTnに、それぞれ共通に接続される。また、各列の光信号転送スイッチMTsのゲートは、光信号転送パルスPTsを印加するための制御線φTsに、それぞれ共通に接続される。
水平転送スイッチMHn、MHsは、水平走査回路HSRから供給される列選択パルスPHによって制御される。
次に、図2に示した固体撮像素子の動作を、図10を用いて簡単に説明する。
図3には、図2に示した固体撮像素子を動作させる各制御パルスのタイミングチャートを示す。
信号の読み出しは、0行目から開始し、1行目、2行目、3行目…と順に行う。該当行の信号の読み出し動作が終了した後に次の行の読み出し動作に移る。
以下、図2に示した撮像素子のn行目の読み出し動作を説明する。
時刻T0でPSelがローレベルになると、直前に読出しを行った行、ここで言うn-1行目の選択MOS MSelがオフとなり、n−1行目の画素の選択が解除される。
同時に、PC0Rがハイレベルとなり、各列のクランプ容量C0のリセットが開始される。また、PTsとPTnがハイレベルとなり、各列のノイズ信号保持容量CTnと、光信号保持容量CTsとのリセットが開始される。
時刻T1で不図示の行送りパルスPVが垂直走査回路に入力されると、読出しを行う選択行の行送りが行われる。ここでは、選択行がn−1行目からn行目の画素行へ送られる。
時刻T2でPResがローレベルとなると、FDのリセットが解除され、FDの基準電位が決定される。
時刻T3で、行送りパルスPVがハイレベルとなり、また、PSe1がハイレベルとなり、選択MOS MSe1がオンとなってn行目の画素が選択される。
時刻T4でPTsとPTnがローレベルとなり、光信号保持容量CTsと、ノイズ信号保持容量CTnとのリセットが終了し、CTs、及びCTnの基準電位が決定される。
時刻T5でPC0Rがローレベルとなり、C0容量に基準電位VC0Rが保持される。
時刻T6でPTnがハイレベルとなり、FDの電位が、ノイズ信号保持容量CTnに出力される。
時刻T7でPTnがローレベルとなり、この時点でのFDの電位が、ノイズ信号(撮像信号の基準信号)としてノイズ信号保持容量CTnに保持される。
時刻T8でPTsがハイレベルとなり、FDの電位が、ノイズ信号保持容量CTsに出力される。
時刻T9でPTsがハイレベルの間に、PTxがハイレベルとなり、転送MOS M1がオンとなって、PDに蓄積されていた電荷がFDへと転送される。
時刻T10でPTxがローレベルとなり、転送MOS M1がオフされて、電荷のFDへの転送が終了する。
時刻T11でPTsがローレベルとなり、この時点でのFDの電位が、光信号(撮像信号)として光信号保持容量CTsに保持される。
時刻T12でPResがハイレベルとなって、FDのリセットが開始される。
時刻T13で不図示の列送りパルスPHの入力が開始されると、読出し領域の先頭列から末尾の列まで、列転送パルスが順にΦHに入力される。したがって、光信号保持容量CTsと、ノイズ信号保持容量CTnとに保持された信号は、1列ごとに順番に差動回路DAmpに送られ、光信号とノイズ信号の差分増幅信号が、画像信号として撮像素子の出力端子から出力される。撮像素子に例えば図14に示すカラーフィルタが配設されているときは、R,G,Bの各色成分信号がカラーフィルタの色配列に応じて順次出力される。
以上が、n行目の画素行の信号読み出し動作であり、n行目の画素信号の読み出しが終了した後は、n+1行目の読み出し動作に移る。n行目以外の画素行の読み出しについても、n行目と同様の読み出し動作を繰り返し、各行の信号読み出しが終了したら、次の行の読み出しに移る。
≪画素構造≫
次に、単位画素あたりのPD、MTx、FD部の部分の断面構造を、図4に示す。同図において401はN型の半導体基板、402はP型のウェル、403はウェル402中に形成されたN型の半導体領域であり、ウェル402と領域403とでフォトダイオードPDが形成され、領域1103に信号電荷が蓄積される。
404はウェル402中に形成され、FD部となるN型の半導体領域、405はMTxのゲート電極であり、領域403、領域404はそれぞれMTxのソース領域、ドレイン領域である。406は領域404と接続する配線であり、MAmpのゲートと接続している。領域403に蓄積される信号電荷は転送動作時にはFD部であるN型の半導体領域404にすべて転送され、転送直後の領域403が完全に空乏化するよう、領域403におけるN型の不純物濃度は設定されている。よって、PDにおける信号電荷の蓄積開始は信号電荷転送直後となり、また、信号電荷の蓄積終了時は、再びその画素が属する行が選択されてPDの領域403に蓄積された信号電荷が領域404に転送される時となる。
≪不完全転送≫
転送効率を高め、完全電荷転送を実現するためには、固体撮像素子の電荷転送路を、理想的に均一な構造にする必要がある。しかし、実際には、結晶の欠陥や汚染、製造時に生じる各部のサイズ及び不純物濃度等の僅かな誤差によって、転送路上にポテンシャルポケット等が発生し、これに数個レベルの電子が捕獲されて電荷の転送残りが生じ、転送効率が悪化してしまう。
捕獲される電荷の量は有限であるため、PDから転送される電荷が少ない場合ほど、不完全電荷転送による影響度は大きくなる。
すなわち、ある一定レベルの電荷が転送路において捕獲されるとき、十分な量の光が入射した場合には、捕獲される電荷量に対し十分な量の電荷が転送されるため、入射光と出力信号との比例関係が概ね保たれ、所望のレベルの信号が出力される。即ち、転送路における電荷捕獲による信号レベルの割合が小さい。しかし、入射光量が少ない時には、捕獲される電荷量に対して、転送される電荷量の割合が小さくなるため、出力される信号は所望のレベルに比べて低いものになってしまう。そのため、入射光量が多い時と少ない時とでは、入射光と出力信号との同じ比例関係が保たれないことになる。(リニアリティが悪い。)
したがって、少ない露光量で撮影し、蓄積される電荷が少ない分を回路ゲイン等の後段のゲインで補う高感度設定時は、十分な露光量が得られる低感度設定時に比べて、電荷転送残りによる画像信号への影響が大きい。
さらに、前述の通り、撮像素子には、単位画素ごとに色分離のためのカラーフィルタが配設されており、カラーフィルタの色によって、入射光量に対する透過光量の割合は異なる。このため、露光量が同一の画素同士であっても、被写体光源色および各々の画素に割り当てられたカラーフィルタに応じて、PDに到達する光の量は異なってしまう。
また、PDは、入射する光の波長によって光電変換率に差があるため、カラーフィルタの各色(RGB等)を透過する光の波長に応じて、PDに蓄積される電荷の量に差が出る。
したがって、各画素に設けられたカラーフィルタの色ごとに、電荷転送残りによる画像信号への影響度が異なることになる。また、色ごとに電荷転送残りによる画像信号への影響度が異なることで、露光量に応じて、得られる画像信号の各色成分信号の色比が異なってしまい、画像の色再現性が低下してしまう。この問題についても、少ない露光量で撮影し、蓄積される電荷が少ない分を回路ゲイン等の後段のゲインで補う高感度設定時の方が、十分な露光量が得られる低感度設定時に比べて、電荷転送残りによる画像信号への影響が大きいと言える。
上記問題について図5、図6A−6Bを参照して具体的に説明する。
図5は固体撮像素子における入力−出力特性の一例を表した対数グラフである。
図5(A)は、低感度設定(例えば、ISO100)時の入力−出力特性を表し、図5(B)は、高感度設定(例えば、ISO51200)時の入力−出力特性を表す。また、理想的な入力−出力特性を、各々のグラフに、理論値として示した。
尚、ここでは、適正露光時には、G出力がISOによらず一律の値となるようなゲインを、全色の信号に乗じてある。具体的には、例えば、適露光時のG出力が一律の値付近(ここでは1000カウント付近)となるよう、感度設定に応じて、固体撮像素子内部のコンデンサCh、Clを制御している。
それに加えて、各設定感度で、適露光時のG出力が一律の値(ここでは1000カウント)となるよう、G信号に対する感度補正を行っている。この補正では、感度ごとにあらかじめ調整されたゲインのうち、設定された感度に応じてゲインを固体撮像素子外部の信号処理回路でG信号にかけている。
また、高感度設定時の適正露光時におけるR、B出力が、それぞれ低感度設定時の適正露光時におけるR、B出力と等しくなるようなゲインを、R、B各色の信号に乗じることで、R、B信号に対する感度補正を行っている。具体的には、ISO51200時の、適正露出におけるR出力、B出力が、ISO100時の適正露出におけるR出力、B出力と等しくなる様、色(R、B)ごとにあらかじめ調整されたゲインを、固体撮像素子外部の信号処理回路でかけるようにしている。
したがって、高感度設定時における入力−出力の関係(図5(B)参照)は、感度補正によって合わせこまれた適正露光付近の露光条件において理論値の直線に交差している。
図5においては、入力に対する出力のプロットが理論値の直線に近いほどリニアリティ特性が良く、理論値の直線から離れるほどリニアリティ特性が悪いことを示している。また、理論値の直線より下がるほど、出力低下が大きいことを示している。
十分な露光量が得られる低感度設定においては、図5(A)に示すように、出力の低下は見られず、ほぼ理論値通りの直線を描いている。ところが、露光量が少ない高感度設定においては、図5(B)に示すように、低輝度(低露出)側ほど出力が下がっていく様子が見られる。
図5の例では、G画素の電荷量が最も多く、R、B画素の電荷量はそれより少ない。
先に説明したとおり、電荷量の少ない部分では電荷の不完全転送分の影響がより大きくなるため、電荷が少ない色の画素ほど、入力に対する出力の低下が大きくなってしまう。
したがって、G画素に比べ、電荷量の少ないR、B画素の出力の低下が大きくなっている。
図6(A)、6(B)、6(C)は、図5(A)、図5(B)に示した各感度の出力について、緑(G)画素の出力に対する赤(R)画素、青(B)画素の出力の関係を対数目盛りでプロットしたものである。図6(A)には適正露光−2段から+1段にわたるプロットを示し、図6(B)には適正露光−2段から適正露光、図6(C)には適正露光から+1段を拡大して示した。ここでも、G出力に対する理想的なR、B出力を、各々のグラフに、理論値として示した。ここでは、G出力に対するR、B出力のプロットが理論値の直線より下がるほど、R、B画素のG画素に対する出力比(すなわち、色比R/G、B/G)が低下していることを示している。
低感度設定時においては、図5(A)に示した通り、入力―出力の関係が各色とも保たれていることから、図6(A)−6(C)に示すように、G出力に対するR、B出力は、ほぼ理論値通りの関係となっている。一方、高感度設定時においては、図5(B)に示した通り、露出が下がるにつれ、電荷量の少ないR、B画素の出力がG出力に比べ大きく低下していく。このことから、図6(A)−6(C)に示すように、露出が下がることによりG出力が適正露光時の出力レベル(G=1000カウント)から低下するほど、G画素に対するR、B画素の出力比(R/G、B/G)が減少することとなる。
本実施例では、図6(A)−6(C)に示した高感度設定時のG画素出力に対する他色の画素の出力の関係を例に、各画素の出力の色毎の補正方法と、その補正に用いる補正値の導出方法について述べる。
本実施例では、各画素出力の簡易な補正方法として、ゲイン及びオフセットの補正係数を用いて色比R/G、B/Gを目標値に合わせこむ、色比補正を行うこととする。
具体的には、撮像装置が使用されるシチュエーションに近い代表的な光源下(例えば自然光に近い分光分布を持つ白色光源下、等)で取得した画像から、感度設定部19で設定される感度ごとに、画素の色ごとにゲイン及びオフセットからなる色比補正係数を求める。この色比補正係数を、撮像装置の不揮発性メモリ(ROM)14にあらかじめ記憶させておき、感度設定部19で撮像装置に設定された感度に応じた補正係数を、信号処理回路7における画像信号の補正に用いるものとする。
ここで、画像を生成する際に、輝度成分に最も大きく寄与する色が割り当てられた画素については、色比補正は行わない(つまり、ゲインを1倍、オフセットを0に固定する)ものとする。例に挙げた、RGBフィルタで構成された固体撮像素子においては、G画素である。また、他の例として、RGBWの4色フィルタを用いた固体撮像素子ではW画素がこれにあたる。これは、輝度成分に大きく寄与する色の出力信号にオフセット成分を上乗せしてしまうと、
黒レベル=基準レベル
とならずに、
黒レベル=基準レベル+オフセット
となってしまい、黒レベル付近の輝度の再現性が低下してしまう、すなわち、黒い部分が黒く写らず、暗部が浮いた画像となってしまう問題があるためである。したがって、本輝度成分に最も大きく寄与する色である、本実施例におけるG出力については、色比補正は行わずに、その他の色(R、B出力)についてのみ色比補正を行うこととする。
詳細な補正の手順については、補正係数の導出方法を述べたのちに説明する。
以下に、B出力を例に、信号の補正に用いる、補正係数の導出方法について述べる。
図7(A)−7(C)のグラフでは、横軸にG画素出力(対数)、縦軸にB画素出力(対数)をとり、高感度設定時のG画素出力に対する、補正前のB画素出力(白点)、及び、本実施例に記載の補正を行った後のB画素出力(黒点)をプロットした。また、理想的なG出力−B出力の関係を、理論値として示した。図7(A)には適正露光−2段から+1段にわたるプロットを示し、図7(B)には適正露光−2段から適正露光、図7(C)には適正露光から+1段を拡大して示した。また、図4を、模式的に強調した様子を、図1に示した。
図7(A)−7(C)及び図8からは、補正前のG出力−B出力の関係が、適正露光時の出力レベル(G=1000カウント)から離れるに従い、理論値から乖離していくことが読み取れる。
ここで、xは該当ISOにおける露出とし、適をx=0[段]とする。露出xの時のG出力をG(x)、B出力をB(x)と表すこととする。
例えば、図8では、補正前(細実線(1))の適正露光時のG(0)に対するB(0)は理論値の直線(2)上にあるのに対し、適+1段時のG(+1)に対するB(+1)は理論値より大きい方向に乖離している。また、適−1段時のG(−1)に対するB(−1)は理論値より小さい方向に乖離し、適−2段時のG(−2)に対するB(−2)は更に小さい方向に乖離している。
言い換えれば、適正露光時にはGとBの色比が適正に保たれているのに対し、露光量が多い時にはB信号の割合が高くなることで色ずれを起こし、露光量が少ない時にはB信号の割合が低くなることで色ずれを起こしている。
本実施例に示す補正の目的は、G出力がある値G(x)をとった時のB出力B(x)を、簡易な補正処理で、理論値B´(x)に近づけることである。
ここで、G出力がG(x)の時のB(x)に対し、所定のゲインpをかけ、更にオフセットqを加算することで、理論値B´(x)となるような色比補正係数p、qを求める。
まず、所定の複数露出における画像を取得する。例として、ここでは、画像の見た目として目立ちやすい領域である、適正露出−2段から+1段までを1段刻みで取得している。
次に、取得したx[段]の画像から、所定の画素領域(例えば、固体撮像素子の撮像領域の中央部付近に配置された、複数の画素)のB画素の出力の平均値B(x)を求める。
以上のように求めた補正前のB出力の平均値(B(−2)~B(+1))を、G出力の一次関数として近似する。
B(x)=a*G(x)+c ・・・ (1)
このときの近似式(1)を、図7(A)−7(C)に細実線で示した。
理論値のプロットの傾き、すなわち、目標とする色比B/G=dとしたとき、理論値は
B´(x)=d*G(x) ・・・ (2)
で表すことができる。
式(1)、(2)から、
B´(x)=pB(x)+q ・・・ (3)
が成り立つようなゲインp、オフセットqを求めると、
d*G(x) =p*(a*G(x) +c)+q
d*G(x) =p*a*G(x) +p*c+q
ここで、p*c+q=0 としたとき
d=p*a より、p=d/a
q= -c*d/a
となって、目標とする色比d(=B/G)、近似式(1)の傾きaと切片cから、近似線が理論値に近づくように補正するための補正係数である、ゲインp=d/a及びオフセットq= -c*d/aの値を求めることができる。
以上、B信号の補正に用いる補正係数の導出方法を述べた。その他の色(ここではR信号)についても同様の方法で補正係数を導出すればよい。
以上のようにして求めた各感度に対応した色比補正係数であるゲインp、オフセットqを用いて、次のような手順でB、R画素の撮像信号を補正する。
図9は、本実施例に係わる補正処理のフローチャートを示す図である。以下、本フローチャートを用いて本実施例に係わる補正処理を説明する。
ステップS901で、N番目の画素を選択し、当該画素の信号レベルS(n)を取得し、ステップS902へ進む。
ステップS902で、画素アドレス等に基づいて、選択した画素がG画素であるかどうかを判定する。G画素であると判定されたらステップS903に進み、それ以外(R画素またはB画素)と判定されたらステップS904に進む。
G画素に対しては色比補正を行わないので、ステップS903で、色比補正係数として、所定の補正係数p=1、q=0を代入し、ステップS907へ進む。
ステップS904で、画素アドレス等に基づいて、選択した画素がR画素であるか、B画素であるかを判定する。R画素と判定されたらステップS905に進み、B画素と判定されたらステップS906に進む。
ステップS905では、R信号の色比補正係数として、p=pr、q=qrを代入し、ステップS907へ進む。ここで用いられる補正係数は、感度設定部19で撮像装置に設定されている感度に応じて不揮発性メモリ14から読み出される。B信号についても同様である。
ステップS906では、B信号の色比補正係数として、p=pb、q=qbを代入し、ステップS907へ進む。
ステップS907で、先のステップで代入された色比補正係数p、qを用いて、選択した画素の信号S(n)を補正し、補正結果S’(n)を得る。その後ステップS908へ進む。
ステップS908では、選択した画素が最終画素であるかどうかを判定する。最終画素であったら処理を終了し、最終画素でない場合には、ステップS909へと進む。
ステップS909で、N=N+1とし、ステップS901へ戻って上記の処理を続行する。
色比補正係数p、qは、G出力がG(x)の時のB(x)に対してゲインpをかけ、更にオフセットqを加算することで理論値B´(x)となるように求めた係数である。
したがって、補正処理では、実際のB出力に対して、上記の式(3)に示すように、ゲインpをかけた上でオフセットqを加算するという手順で行う。
このような手順で補正した、高感度設定時のB信号を、図7(A)−7(C)に黒点でプロットした。また、簡易的に強調して、図1に太実線(3)で示した。
例えば、補正前(図7(A)−(C)の白点、図8の細実線(1))には理論値より大きい方向に乖離していた、適+1段時のG(+1)に対するB(+1)は、ほぼ理論値の近似線に乗るまでに補正されている。また、理論値より小さい方向に乖離していた適−1段時のG(−1)に対するB(−1)、及び、適−2段時のG(−2)に対するB(−2)についても、ほぼ理論値の近似線に乗るまでに補正されている。
以上、図8、図7(A)−7(C)に示したように、補正前のB信号と比較して、補正後のB信号が、理論値に近い値となっていることがわかる。したがって、B信号に対する補正が好適に行われ、適正露出時のみでなく、適正付近の露出において、所望の色比B/Gが得られたことがわかる。
以上、B信号の補正手順を述べた。その他の色(ここではR信号)についても、同様の方法で補正を行えばよい。
以上の通り、本実施例に示した補正係数の演算方法によって感度設定ごとに求めた補正係数を使用し、本実施例に示した補正方法で固体撮像素子から読み出した信号を補正することで画像信号の色比を好適に補正し、画像の色再現性を向上させることができる。
すなわち、不完全転送による色再現性の悪化、特に高感度での色再現性の悪化を低減することができる補正手段を提供することが可能となる。
実施例1では、撮像装置に設定される感度毎にもとめた色別の補正係数を、信号レベルに因らずに一律に使用した。このとき、高感度設定時においても、適露光付近の色再現性を向上させることができた。
ここで、固体撮像素子に殆ど光が入射せず、極端に暗い画像を撮影する場合について考える。
実施例1に記載の方法で求めたR信号についての補正係数を、ゲインp_rおよびオフセットq_rとし、B信号についての補正係数をゲインp_bおよびオフセットq_bとする。
例えば、光がまったく入射せず、固体撮像素子が黒レベル相当の信号(0カウント)を出力するとき、本来であれば、R、G、Bのすべてが黒レベル相当の信号(0カウント)となるはずである。しかし、実施例1に述べた色比補正によって、Rの信号には一律のオフセットq_r、またBの信号にも一律のオフセットq_bが加算される。このため、色比補正後の撮像信号は、黒レベル相当の信号よりも、R成分がオフセットq_rだけ、またB成分がオフセットq_bだけ増加した信号となってしまう。
すなわち、適正付近の露光量において色比を好適に補正できる色比補正係数をそのまま露光量が少ない場合に用いると、補正過剰となって、かえって色比のバランスを崩してしまう。その結果、画像の暗部の色比が、明部に対して異なってしまう。
実施例1に記載の補正方法では、G信号に補正をかけず、オフセット成分を持たないようにしたことで、暗部ほど輝度成分が少なくなるようにした。その結果、G信号にも他色と共通のオフセットを乗せていた従来の補正に比べて暗部の信号の浮きがなくなるため、暗部の色比が明部と異なっていたとしても、画像が極端に色づいて見えるほどの影響はない。とはいえ、暗部の色再現性についても劣化させない様な色比補正を行えれば、より色再現性の良い画像を得ることができ、好ましい。
本実施例では、上記暗部での色再現性を補償するための処理を第1の実施例の色比補正処理に追加し、適正露光量付近において色比を好適に補正しながら、暗部の色再現性の劣化を避けることを可能とする。
具体的には、実施例1の色比補正処理に加えて、暗部を識別するためにR、B画素各々の出力信号のレベルを判定する出力信号判定手段備え、暗部と判定したときに第1の実施例の色比補正方法を他の方法に切り替えて暗部の色再現性を補償している。
従って、本実施例において実行される第1の実施例の色比補正処理で用いる補正係数p、qの求め方は、実施例1に述べたものと変わらないので、説明を省略する。
以下、図10、図11(A)、11(B)を参照して、本発明の第2の実施例による、色比補正判定を用いた補正方法を説明する。
図10は、実施例1において例示した固体撮像素子の高感度設定時の入出力特性を、更に低い露出領域までプロットしたものである。
ここでは、同一露出のRとG、BとGのプロットの間隔(出力差)が、適正露光時のRとGのプロットの間隔D2、BとGのプロットの間隔D1とそれぞれ等しければ、適露光時と同じ色比の信号が得られることを示している。
色比補正前のR信号、B信号を図10に細実線で結んだ白点で示した。また、実施例1に述べた色比補正を適用した結果を、図10に太破線で結んだ黒点で示した。
色比補正前のR信号、B信号に対し、実施例1に述べた色比補正を適用することによって、所定以上の露出、特に、色比補正係数の導出に用いた条件以上の露出(ここでは適−2段以上)では、色比が好適に補正される。
しかしながら、所定未満の露出、特に、色比補正係数の導出に用いた条件に満たない露出(ここでは適−2段未満)においては、色比補正が過剰となり、露出が低くなるに従い、色比のバランスが崩れていっている。
そこでこの崩れを補償するために第1の実施例の色比補正処理を変形して、次のような補正処理を追加する。即ち、色比補正前のR信号、B信号が所定レベルよりも高い時には、実施例1に述べた補正方法で色比補正を行い、色比補正前のR信号、B信号が所定レベルよりも低い時には、色比補正自体を行わないか、あるいは、色比補正係数を変更する。この点は、図9と図11(A)、11(B)とを比べることでも容易に理解できる。なお、色比補正を行わないことと、色比補正係数をp=1、q=0に変更することとは、等価である。
具体的には、実施例1にて述べた色比補正係数の導出時に取得した、各感度における最も露出の低い画像のR信号レベル、B信号レベルの平均値を、それぞれその感度における補正判定値Rj、Bjとする。この補正判定値を、撮像装置の不揮発性メモリ(ROM)14にあらかじめ記憶させておき、撮像装置の感度設定に応じた補正判定値と色比補正前の各画素信号とを比較して補正判定を行い、判定結果に基づいて、該当画素の補正をどのように行うかを決定する。なお、補正判定値の設定は上記の方法に限らず、他の方法で設定して不揮発性メモリ14に記憶させてもよい。
例えば、図11(A)、11(B)に例示したようなフローチャートに従って、補正判定、及び、色比補正の処理を行えばよい。
図11(A)は、色比補正前のR信号、B信号がそれぞれ補正判定値Rj、Bjより低い場合に色比補正係数を変更する補正処理のフローチャートを示す。図11(B)は、色比補正前のR信号、B信号がそれぞれ補正判定値Rj、Bjより低い場合に色比補正を行なわない補正処理のフローチャートを示す。なお、同図において、図9と同じステップは同じ符号を付して示す。
まず、図11(A)に示す色比補正処理について説明する。
ステップS901で、N番目の画素を選択し、当該画素の信号レベルS(n)を取得し、ステップS902へ進む。
ステップS902で、画素アドレス等に基づいて、選択した画素がG画素であるかどうかを判定する。G画素であると判定されたらステップS903に進み、それ以外(R画素またはB画素)と判定されたらステップS904に進む。
G画素に対しては色比補正を行わないので、ステップS903で、色比補正係数として、p=1、q=0を代入し、ステップS907へ進む。
ステップS904では、画素アドレス等に基づいて、選択した画素がR画素であるかB画素であるかを判定する。R画素と判定されたらステップS1101に進み、B画素と判定されたらステップS1102に進む。
ステップS1101で、選択したR画素の信号レベルS(n)が、補正判定値Rj以上かどうかを判定する。Rj以上であると判定されたら、ステップS905へ進み、Rj未満であると判定されたら、ステップS1103へ進む。
ステップS905で、色比補正係数として、p=p_r、q=q_rを代入し、ステップS907へ進む。
R信号がRj未満の時は色比補正を行わないので、ステップS1103で、色比補正係数として、p=1、q=0を代入し、ステップS907へ進む。即ち、色比補正係数を変更する。
ステップS1102で、選択したB画素の信号レベルS(n)が、補正判定値Bj以上かどうかを判定する。Bj以上であると判定されたら、ステップS906へ進み、Bj未満であると判定されたら、ステップS1104へ進む。
ステップS906で、色比補正係数として、p=p_b、q=q_bを代入し、ステップS907へ進む。
B信号がBj未満の時は色比補正を行わないので、ステップS1104で、色比補正係数として、p=1、q=0を代入し、ステップS011へ進む。
ステップS907で、先のステップで代入された色比補正係数p、qを用いて、選択した画素の信号S(n)を補正し、補正結果S’(n)を得る。その後ステップS908へ進む。
ステップS908で、選択した画素が最終画素であるかどうかを判定する。最終画素であったら処理を終了し、最終画素でない場合には、ステップS909へと進む。
ステップS909で、N=N+1とし、ステップS901へ戻って上記処理を続行する。
次に、図11(B)の色比補正処理を説明する。
ステップS901で、N番目の画素を選択して該当画素の信号レベルS(n)を取得し、ステップS902へ進む。
ステップS902で、画素アドレス等に基づいて、選択した画素がG画素であるかどうかを判定する。G画素であると判定されたらステップS1103に進み、それ以外(R画素またはB画素)と判定されたらステップS904に進む。
ステップS904で、画素アドレス等に基づいて、選択した画素がR画素であるかB画素であるかを判定する。R画素と判定されたらステップS1101に進み、B画素と判定されたらステップS1102に進む。
ステップS1101で、選択したR画素の信号レベルS(n)が補正判定値Rj以上かどうかを判定する。Rj以上であると判定されたらステップS905へ進み、Rj未満であると判定されたらステップS1103へ進む。
ステップS905で、色比補正係数として、p=p_r、q=q_rを代入し、ステップS1105へ進む。
ステップS1102では、選択したB画素の信号レベルS(n)が、補正判定値Bj以上かどうかを判定する。Bj以上であると判定されたらステップS906へ進み、Bj未満であると判定されたらステップS1103へ進む。
ステップS906で、色比補正係数として、p=p_b、q=q_bを代入し、ステップS1105へ進む。
G信号、Rj未満のR信号、及びBj未満のB信号に対しては、色比補正を行わないので、ステップS904では、取得した信号レベルS(n)に対して演算処理を加えずに補正後の信号S’(n)とし、ステップS908へ進む。
ステップS1105で、先のステップで代入された色比補正係数p、qを用いて、選択した画素の信号S(n)を補正して補正結果S’(n)を得る。その後ステップS908へ進む。
ステップS908で、選択した画素が最終画素であるかどうかを判定する。最終画素であったら処理を終了し、最終画素でない場合には、ステップS909へと進む。
ステップS909で、N=N+1とし、ステップS901へ戻って上記処理を続行する。
以上のように、補正判定値との比較の結果、信号レベルがRjよりも高いと判定されたR画素及び信号レベルがBjよりも高いと判定されたB画素については、信号処理回路7において、実施例1で求めた色比補正係数を使用して色比補正を行う。他方、比較の結果、信号レベルがRjよりも低いと判定されたR画素及び信号レベルがBjよりも低いと判定されたB画素については、色比補正係数としてp=1、q=0を代入した上で補正処理の演算を行うか、あるいは色比補正を行わないようにする。
以上のフローチャートに従って補正の切り替えを行った結果を、図10の色比補正(判定有)後の結果として、太実線で結んだ黒点で示した。実施例1の色比補正(判定無)後の結果と比較すると、R、B信号がオフセットを持たないように変化している。したがって、例えば露出が適−4段のとき、本実施例による補正後のGとRとの間隔D6は、実施例1による補正後のGとRとの間隔D4のように大きく変化することなく、より適正露出時のGとRとの間隔D2に近い結果となっている。また、本実施例による補正後のGとBとの間隔D5は、実施例1による補正後のGとBとの間隔D3のように大きく変化することなく、より適正露出時のGとBとの間隔D1に近い結果となっている。
尚、適正露光量−2段以上では、色比補正(判定無)後の結果と等しい補正結果が得られている。
以上、本実施例に示した色比補正判定を用いた補正方法で固体撮像素子から読み出した信号を補正することで、暗部の画像信号の色比を過剰補正によって悪化させることなく、所定の露光量以上の色比を好適に補正し、画像の色再現性を向上させることが可能となる。
実施例1では、撮像装置に設定する感度毎に求めた色別の色比補正係数を、信号レベルに因らずに一律に使用した。このとき、高感度設定時においても、適露光付近の色再現性を向上させることができた。
また、実施例2は、極端に暗い画像を撮影する場合、実施例1の方法で求めた色比補正係数をそのまま用いると、補正過剰となってかえって色比のバランスを崩してしまうことを補償する処理を追加した。これにより、画像の暗部の色比が、明部に対して異なってしまうことを是正した。
ところで、人間の視細胞の特性として、暗部の色味は明部に対して視認しにくい。したがって、画像についても、暗部では色成分を減衰させ輝度成分の情報は残すといったような処理を行えば、見た目に近い画像を生成することができる。したがって、本実施例では、適正露光量付近において色比を好適に補正しながら(第1の実施例)、暗部では実施例2で追加された処理を変形して、輝度成分を残しつつ色成分を減衰させるための補正を行なう。
本実施例においも、適正露光量付近の補正で用いる補正係数p、qの求め方は、実施例1に述べたものと変わらないので、説明を省略する。
本実施例は、実施例2と同様に、暗部を識別するためのR、B画素各々の出力信号のレベルを判定する出力信号判定手段を備え、その判定結果に応じて実施例2の補正方法の切り替えを変形した補正方法の切り替え処理を行う。
即ち、本実施例での補正方法の切り替え処理は、次の2点に特徴がある。一つは、出力の判定には、選択画素の周辺に配された別色の画素の信号を用いることである。他の一つは、判定の結果、色比補正を行わないと判定された画素については、さらに、判定の内容に応じて該当画素の信号をそのまま用いるか、該当画素の信号を所定レベルの信号に置き換えるかを選択することである。
以下、図12、図13を参照して、本発明の第3の実施例に係わる色比補正処理について説明する。
図12は、図10と同様に、実施例1において例示した固体撮像素子の高感度設定時の入出力特性を、更に低い露出範囲までプロットしたグラフである。
色比補正前のR信号、B信号を図12に細実線で結んだ白点で示した。また、実施例1に述べた色比補正を適用した結果を、太破線で結んだ黒点で示した。
色比補正前のR信号、B信号に対し、実施例1に述べた色比補正を適用することによって、所定以上の露出、特に、色比補正係数の導出に用いた条件以上の露出(ここでは適−2段以上)では色比が好適に補正される。
しかしながら、所定未満の露出、特に、色比補正係数の導出に用いた条件に満たない露出(ここでは適−2段未満)においては、色比補正の結果補正過剰となり、露出が低くなるに従い色比のバランスが崩れていっている。
このような信号に対し、適正付近の露光量において色比を好適に補正しながら、暗部では輝度成分を残しつつ色成分を減衰させるために、図13に示すフローチャートに従った色比補正処理を行えばよい。
以下、図13に示すフローチャートに従って、本実施例に係わる色比補正処理を説明する。なお、同図において、図9および図10(A),10(B)と同じステップには同じ符号を付して示す。
ステップS901では、N番目の画素を選択して該当画素の信号レベルS(n)を取得し、ステップS1301へ進む。
ステップS1301で、N番目の画素の周辺に配された、第1の周辺画素群の信号レベルS(n)_1を取得し、ステップS1302へ進む。第1の周辺画素群とは、着目画素とは異なる、単一色の画素からなる画素群である。例えば、図14に示すように、R、G、Bの各色の画素がベイヤ配列された固体撮像素子においては、着目画素に対して、上下左右方向に隣接した位置関係にある4つの画素を選択するものとする。また、選択した複数の画素の信号を加算平均し、第1の周辺画素群の信号レベルS(n)_1とする。
ステップS1302で、N番目の画素の周辺に配された第2の周辺画素群の信号レベルS(n)_2を取得し、ステップS204へ進む。第2の周辺画素群とは、着目画素及び第1の画素群とは異なる単一色の画素からなる画素群である。例えば、図14に示すように、R、G、Bの各色の画素がベイヤ配列された固体撮像素子においては、着目画素に対して、ななめ方向に隣接した4つの画素を選択するものとする。また、選択した複数の画素の信号を加算平均し、第2の周辺画素群の信号レベルS(n)_2とする。
ステップS902で、画素アドレス等に基づいて、選択した画素がG画素であるかどうかを判定する。G画素であると判定されたら色比補正は不要であると判断し、ステップS1103に進む。それ以外(R画素またはB画素)と判定されたらステップS1303に進む。
ステップS1303で、N番目の画素の信号レベルS(n)が第1の周辺画素群の信号レベルS(n)_1以上であるかどうかを判定する。ここで、ステップS902の判定により、S(n)はRまたはBの信号であることがわかっているので、図14に示すように第1の周辺画素群は必ずG画素となって、S(n)_1はN番目の画素近傍のG信号レベルを表すこととなる。S(n)がS(n)_1以上である、すなわち、着目画素の信号が近傍のG信号以上であると判定されたら、着目画素は近傍のG信号に対して十分な割合の出力を持っているものとし、色比補正は不要であると判断してステップS1103へ進む。S(n)がS(n)_1未満であると判定されたら、ステップS904へ進む。
ステップS904で、画素アドレス等に基づいて、N番目の画素がR画素であるかB画素であるかを判定する。R画素と判定されたらステップS1304に進み、B画素と判定されたらステップS1305に進む。
ステップS1304では、N番目の画素がR画素であるとの判定に従い、N番目の画素に対する色比補正係数として、p=p_r、q=q_rを代入する。また、第2の周辺画素群はB画素であるから、第2の周辺画素群に対する色比補正係数として、p2=p_b、q2=q_bを代入する。その後、ステップS907へ進む。
ステップS1305では、N番目の画素がB画素との判定に従い、N番目の画素に対する色比補正係数として、p=p_b、q=q_bを代入する。また、残る第2の周辺画素群はR画素であるから、第2の周辺画素群に対する色比補正係数として、p2=p_r、q2=q_rを代入する。その後、ステップS907へ進む。
ステップS907で、先のステップで代入された色比補正係数p、qを用いて、N番目の画素の信号S(n)を補正して補正結果S′(n)を得る。その後ステップS1306へ進む。
ステップS1306で、N番目の画素信号の補正結果S′(n)が、近傍のG画素信号であるS(n)_1以上かどうかを判定する。S(n)_1以上であると判定されたら、ステップS1310へ進み、S(n)_1未満であると判定されたら、ステップS1307へ進む。
ステップS1307で、第2の周辺画素群の信号S(n)_2が、第1の周辺画素群の信号レベルS(n)_1以上であるかどうかを判定する。S(n)_1は、N番目の画素近傍のG信号レベルである。S(n)_2がS(n)_1以上である、すなわち、第2の周辺画素群の信号が、近傍のG信号以上であると判定されたら、色比補正が補正過剰であると判定し、ステップS1310へ進む。S(n)がS(n)_1未満であると判定されたら、ステップS1308へ進む。
ステップS1308で、先のステップで代入された色比補正係数p_2、q_2を用いて第2の周辺画素群の信号S(n)_2を補正し、補正結果S′(n)_2を得る。その後ステップS1309へ進む。
ステップS1309で、第2の周辺画素群の画素信号の補正結果S′(n)_2が、近傍のG画素信号であるS(n)_1以上かどうかを判定する。S(n)_1以上であると判定されたら色比補正が補正過剰であると判定し、ステップS1310へ進む。S(n)_1未満であると判定されたら色比補正が適切であると判定し、ステップS1311へ進む。
ステップS1311では、N番目の画素の信号を色比補正した信号S′(n)を補正後の信号として出力し、ステップS908へ進む。
ステップS1310では、N番目の画素の信号を色比補正した信号S′(n)を、所定レベル、ここでは黒レベルに相当する0カウントに置き換える。置き換えられた信号を補正後の信号として出力し、ステップS908へ進む。
ステップS1310では、色比補正していないN番目の画素の信号S(n)をそのまま出力し、ステップS908へ進む。
ステップS908で、選択した画素が最終画素であるかどうかを判定する。最終画素であったら処理を終了し、最終画素でない場合には、ステップS909へと進む。
ステップS909で、N=N+1とし、ステップS901へ戻って上記の処理を続行する。
以上のように、近傍のG信号との比較の結果、色比補正前の信号レベルがG信号よりも高いと判定されたR画素及びB画素については、G画素と同等以上の信号レベルを持っているため色比補正を不要と判定し、色比補正を行わない。
また、G画素を除く着目画素及び着目画素近傍の別色の画素が色比補正前の双方の信号が近傍のG信号未満であって、かつ、双方を色比補正すると一方でも近傍のG信号を超えるときには、色比補正が過剰であると判定する。そして、この時は、着目画素の出力を所定レベル(例えば、黒レベル相当の信号レベル)に置き換えるようにする。それ以外の場合は、実施例1で求めた色比補正係数を使用して、色比補正を行うようにする。
以上のフローチャートに従って補正の切り替えを行った結果を、図13の色比補正(判定有)後の結果として、図12に太実線で結んだ黒点で示した。実施例1の色比補正(判定無)後の結果と比較すると、B信号がG信号を超えようとするところで、B信号とR信号が黒レベルを表す0カウントに置き換わっている。一方、露出が低い場合でもG信号はそのまま保持されている。即ち、明部では実施例1相当の色比補正が適用され、一方、暗部では色成分を減衰させ、輝度成分の情報は残す、といった処理となっている。これにより、明部の色比が好適に補正され、かつ、暗部は色付きがなく輝度成分のみ感じられる、人間の見た目に近い画像を生成することが可能となる。
また、上述した実施形態において図9、11A、11Bおよび13示した各処理は、各処理の機能を実現する為のプログラムをメモリ14から読み出してシステム制御部13もCPUが実行することによりその機能を実現させるものである。
尚、上述した構成に限定されるものではなく、図9、11A、11Bおよび13に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述のメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の読み出しのみが可能な記録媒体、RAM以外の揮発性メモリ、またはこれらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。
また、図9、11A、11Bおよび13に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」には、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ(RAM)のような記録媒体も含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (11)

  1. 撮影感度を設定する感度設定手段と、
    前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段と、
    前記感度設定手段設定可能な撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶する記憶手段と、
    前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正手段と、を備え、
    前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
    前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって決定される値であることを特徴とする撮像装置。
  2. 前記補正手段は、前記撮像手段から出力された撮像信号に含まれる前記定色の出力信号を、その出力レベルに因らずに前記色比補正係数を用いて補正し、前記所定色と異なる他色の出力信号を、その出力レベルに因らずに前記色比補正係数とは別に定められた所定の補正係数を用いて補正することを特徴とする請求項1に記載の撮像装置。
  3. 前記補正手段は、前記撮像手段から出力された撮像信号に含まれる前記定色の出力信号の出力レベルを判定し、当該出力レベルが所定のレベルより低い場合は、記色比補正係数を用いる補正を行わずに、他の補正方法により補正することを特徴とする請求項に記載の撮像装置。
  4. 記他の補正方法は、前記色比補正係数とは別に定められた所定の補正係数を用いる補正であることを特徴とする請求項3に記載の撮像装置。
  5. 前記所定のレベルは、前記所定色の出力信号の画素に対して所定の位置関係にある周辺画素の出力信号から設定される値であり、前記他の補正方法は、前記対応する色の色比補正係数を用いて補正された所定色の出力信号のレベルに応じて異なる所定の信号のいずれかを補正された出力信号として出力する補正であることを特徴とする請求項3に記載の撮像装置。
  6. 前記所定の位置関係にある周辺画素は、前記所定色の出力信号の画素に隣接し、前記他の色の出力信号を出力する画素であり、前記他の補正方法において出力される異なる所定の信号は、前記対応する色の色比補正係数を用いて補正された前記所定色の出力信号および黒レベルに対応する出力信号であり、前記補正手段は、前記対応する色の色比補正係数を用いて補正された前記所定色の出力信号のレベルが前記所定のレベルを超えたときに前記黒レベルに対応する出力信号を補正信号として出力することを特徴とする請求項5に記載の撮像装置。
  7. 記色比補正係数とは別に定められた補正係数は、ゲインが1でオフセットが0であることを特徴とする請求項2乃至6のいずれか一項に記載の撮像装置。
  8. 前記所定色と異なる他色の出力信号は、前記撮像信号の輝度成分に最も寄与する色の出力信号であることを特徴とする請求項1乃至7のいずれか一項に記載の撮像装置。
  9. 撮影感度を設定する感度設定手段と、前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段とを備える撮像装置から出力される前記撮像信号を処理する画像処理装置であり、
    前記感度設定手段設定可能な各撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶する記憶手段と、
    前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正手段と、を備え
    前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
    前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって形成される値であることを特徴とする画像処理装置。
  10. 撮影感度を設定する感度設定手段と、前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段とを備える撮像装置から出力される前記撮像信号を処理する画像処理方法であり、
    前記感度設定手段設定可能な撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶手段に記憶する記憶ステップと、
    前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正ステップと、を備え
    前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
    前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって決定される値であることを特徴とする画像処理方法。
  11. コンピュータを、
    撮影感度を設定する感度設定手段と、前記感度設定手段で設定された撮影感度で撮影して撮像信号を出力する撮像手段とを備える撮像装置の制御方法において、
    前記感度設定手段設定可能な各撮影感度のそれぞれについて、前記撮像信号に含まれる各色の出力信号を補正するための色比補正係数を色ごとに記憶する記憶手段、
    前記記憶手段に記憶された色比補正係数を用いて前記撮像手段から出力された撮像信号を補正する補正手段、として機能させ
    前記色比補正係数は、ゲイン補正値とオフセット補正値とから構成され、
    前記ゲイン補正値と前記オフセット補正値とは、複数の異なる露光量に対応して前記撮像手段から出力された撮像信号に含まれる所定色の出力信号の前記所定色と異なる他色の出力信号に対する比を一次関数に近似することによって決定される値である、プログラム。
JP2012007003A 2012-01-17 2012-01-17 撮像装置、画像処理装置、画像処理方法およびプログラム Active JP5917160B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012007003A JP5917160B2 (ja) 2012-01-17 2012-01-17 撮像装置、画像処理装置、画像処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012007003A JP5917160B2 (ja) 2012-01-17 2012-01-17 撮像装置、画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2013150051A JP2013150051A (ja) 2013-08-01
JP5917160B2 true JP5917160B2 (ja) 2016-05-11

Family

ID=49047172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012007003A Active JP5917160B2 (ja) 2012-01-17 2012-01-17 撮像装置、画像処理装置、画像処理方法およびプログラム

Country Status (1)

Country Link
JP (1) JP5917160B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785439B2 (en) 2017-12-15 2020-09-22 Canon Kabushiki Kaisha Image sensor comprising detection error correction using correction coefficient based on count values from plural pixels

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6425448B2 (ja) * 2014-07-31 2018-11-21 キヤノン株式会社 光電変換装置、および、撮像システム
JP6907060B2 (ja) * 2017-07-21 2021-07-21 キヤノン株式会社 撮像素子および撮像装置
JP7039262B2 (ja) * 2017-11-20 2022-03-22 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2896007B2 (ja) * 1992-02-28 1999-05-31 三洋電機株式会社 ディジタルカメラ信号処理回路
JP4678824B2 (ja) * 2004-11-30 2011-04-27 キヤノン株式会社 撮像装置、画像処理装置、及び画像処理方法
JP4514138B2 (ja) * 2005-02-21 2010-07-28 株式会社リコー 固体撮像素子の駆動方法およびデジタルカメラ
JP2007036353A (ja) * 2005-07-22 2007-02-08 Fujifilm Holdings Corp 撮像装置
JP2007049533A (ja) * 2005-08-11 2007-02-22 Sharp Corp 撮像装置および電子情報機器
JP2007274226A (ja) * 2006-03-30 2007-10-18 Sony Corp 画像処理装置および方法、情報処理装置および方法、プログラム、並びに記録媒体
JP5008123B2 (ja) * 2006-10-26 2012-08-22 株式会社日立国際電気 テレビジョンカメラ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785439B2 (en) 2017-12-15 2020-09-22 Canon Kabushiki Kaisha Image sensor comprising detection error correction using correction coefficient based on count values from plural pixels
US11089256B2 (en) 2017-12-15 2021-08-10 Canon Kabushiki Kaisha Image sensor with correction of detection error

Also Published As

Publication number Publication date
JP2013150051A (ja) 2013-08-01

Similar Documents

Publication Publication Date Title
KR100617781B1 (ko) 이미지 센서의 화질 개선장치 및 방법
CN111432099B (zh) 图像传感器、处理系统及方法、电子设备和存储介质
US9287316B2 (en) Systems and methods for mitigating image sensor pixel value clipping
WO2021208593A1 (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
US8169518B2 (en) Image pickup apparatus and signal processing method
US8456546B2 (en) Solid-state imaging device, signal processing device and signal processing method for solid-state imaging device, and imaging apparatus
US7952621B2 (en) Imaging apparatus having temperature sensor within image sensor wherin apparatus outputs an image whose quality does not degrade if temperature increases within image sensor
WO2021212763A1 (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
US20100309340A1 (en) Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
US20230239589A1 (en) Solid state image sensor and electronic equipment
US7645978B2 (en) Image sensing apparatus and image sensing method using image sensor having two or more different photoelectric conversion characteristics
US20180338096A1 (en) Image processing appartatus
JPWO2006049098A1 (ja) イメージセンサ
JP6346479B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2004260699A (ja) 撮像装置、撮像方法、及びプログラム
JP2008271123A (ja) 撮像装置
US20030184673A1 (en) Automatic exposure control for digital imaging
JP5917160B2 (ja) 撮像装置、画像処理装置、画像処理方法およびプログラム
JP2016167773A (ja) 撮像装置及び撮像装置の処理方法
US20230247308A1 (en) Image processing method, camera assembly and mobile terminal
US10623674B2 (en) Image processing device, image processing method and computer readable recording medium
CN108432239B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
JP2009177436A (ja) 固体撮像装置、信号処理装置、および電子情報機器
JP6564239B2 (ja) 高ダイナミックレンジ撮像装置及び撮像方法
JP2015177257A (ja) 固体撮像装置

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160406

R151 Written notification of patent or utility model registration

Ref document number: 5917160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151