JP3697172B2 - 信号処理装置及び信号処理方法並びに撮像装置 - Google Patents
信号処理装置及び信号処理方法並びに撮像装置 Download PDFInfo
- Publication number
- JP3697172B2 JP3697172B2 JP2001097032A JP2001097032A JP3697172B2 JP 3697172 B2 JP3697172 B2 JP 3697172B2 JP 2001097032 A JP2001097032 A JP 2001097032A JP 2001097032 A JP2001097032 A JP 2001097032A JP 3697172 B2 JP3697172 B2 JP 3697172B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- output
- image signal
- dummy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 49
- 238000003672 processing method Methods 0.000 title description 6
- 238000000034 method Methods 0.000 claims description 35
- 230000003287 optical effect Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 238000001444 catalytic combustion detection Methods 0.000 description 32
- 238000006243 chemical reaction Methods 0.000 description 28
- 230000000875 corresponding effect Effects 0.000 description 24
- 230000015654 memory Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
- H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【発明の属する技術分野】
本発明は、信号処理装置及び信号処理方法並びに撮像装置に関し、特に、画像信号を処理する信号処理装置及び信号処理方法並びにこれらを適用した撮像装置に関する。
【0002】
【従来の技術】
図1は、一般的なデジタルカメラの構成を示す図である。撮影者がカメラ操作スイッチ101(例えば、メインスイッチ及びレリーズスイッチで構成される)を操作すると、全体制御回路100がそれを検出し、その他の各回路ブロックへの電源供給を開始する。
【0003】
画角内の被写体像は、主撮影光学系102及び103を通して撮像素子104上に結像し、撮像素子104により電気信号に変換される。撮像素子104から出力される電気信号は、CDS/AGC回路105を介して、A/D変換回路106に供給され、ここで画素毎に順にデジタル信号に変換される。ドライバ回路107は、全体の駆動タイミングを決定するタイミングジェネレータ108から提供される信号に基づいて、撮像素子104における電荷の蓄積、水平及び垂直方向の電荷転送等を制御する。また、CDS/AGC回路105、並びにA/D変換回路106は、タイミングジェネレータ108で生成されるタイミングに従って動作する。
【0004】
A/D変換回路106から出力される画像信号は、全体制御CPU100によって制御されるセレクタ109を介してメモリコントローラ115に供給され、フレームメモリ116に書き込まれる。フレームメモリ116に書き込まれた画像信号は、メモリコントローラ115により読み出されて、セレクタ109を介してカメラDSP部110に転送される。カメラDSP部110では、フレームメモリ116から供給される画像信号に基づいてRGBの各色信号を生成する。
【0005】
通常、撮影前の状態では、カメラDSP部110の処理結果をビデオメモリ111に定期的(フレーム毎)に転送しモニタ表示部112に撮像画像を表示することにより、モニタ表示部112を電子ファインダとして機能させる。
【0006】
一方、撮影者がカメラ操作スイッチ101を操作することにより、撮影が指示された場合は、全体制御CPU100による制御に従って、1フレーム分の画像信号がフレームメモリ116から読み出され、カメラDSP部110により画像処理がなされた後、その結果が一旦ワークメモリ113に書き込まれる。ワークメモリ113に書き込まれた画像信号は、圧縮・伸張部114において所定の圧縮フォーマットで圧縮され、その結果は外部不揮発性メモリ117(例えば、フラッシュメモリ等)に保存される。
【0007】
撮影済みの画像を観察する場合には、外部不揮発性メモリ117に圧縮して保存された画像信号が圧縮・伸張部114において伸長され、その結果がビデオメモリ111に転送され、モニタ表示部112により表示される。
【0008】
この様に、一般的なデジタルカメラでは、撮像素子104から出力される信号は、ほぼリアルタイムで処理されてメモリないしはモニタ表示部に出力される。
【0009】
上記の様なデジタルカメラにおいて連写撮影等の能力を向上させるため、例えば10駒/秒程度の連写能力を実現するためには、撮像素子からの読み出し速度を上げたり、フレームメモリ等への画像信号の書き込み速度を上げたりするなど、撮像素子を含めたシステム的な改善が必要である。
【0010】
以下、デジタルカメラの連写撮影等の能力を向上させるための技術について説明する。図2は、水平CCDを2分割した2出力タイプのCCD撮像素子のデバイス構造を概略的に示す図である。
【0011】
図2に示す撮像素子では、フォトダイオード部9で発生した画素毎の電荷を所定のタイミングで一斉に垂直CCD部10へ転送し、次のタイミングでライン毎に垂直CCD10の電荷を左右の水平CCD7及び8に転送する。水平CCD7は、転送クロック毎にその電荷を左側のアンプ5へ向かって転送し、水平CCD8は、転送クロック毎にその電荷を右側のアンプ6へ向かって転送する。したがって、この撮像素子では、撮像された画像信号は、画面の中央を境にして左右の2つの領域に分割されて読み出される。
【0012】
図3は、図2に示すタイプの撮像素子から出力される信号を処理する信号処理回路のブロック図である。CCD11で撮像された画像信号は、左右別々に2つのCDS/AGC回路14及び15並びに2つのAD変換回路16及び17においてCDS/AGC処理され、デジタル信号に変換された後、フレームメモリ20及び23に格納される。
【0013】
ここで、撮像素子11とCDS/AGC回路14及び15とはAC結合されており、撮像素子11からCDS/AGC回路14及び15に画像信号が入力される際に直流成分が除去される。そこで、直流成分を再生するために、クランプ回路18及び19において、撮像素子11の左右の領域でそれぞれ撮像された画像信号は、それぞれの領域のOB(オプティカルブラック)画素部の画素値に従ってクランプ処理される。すなわち、撮像素子11の左右の領域でそれぞれ撮像された画像信号は、それぞれのOB画素部の画素値が所定のレベルになるように全体のレベルが調節される。
【0014】
撮像素子11のOB画素部は、有効画素部の左右両端にそれぞれ位置しており、両者の画素値は、暗電流のシェーディングなどに起因して若干レベルが異なっている。したがって、画面を左右の2つの領域に分けて、左右の領域の画像信号を別々にOB画素部の画素値に基づいてクランプ処理することで直流レベルを再生すると、画面の左右でオフセット差を生じ、両OB画素部の画素値のレベル差分だけ直流レベルが異なった画像が得られる。
【0015】
このように左右別々に処理された画像信号は、画像合成回路16で合成され、カラー処理部25で色補間処理やガンマ変換処理などのカラー処理が施されて1枚の画像の画像信号とされる。
【0016】
【発明が解決しようとする課題】
以上の様に、撮像素子に複数の出力端子を設けて該複数の出力端子から同時に画像信号を読み出す技術は、今後のデジタルカメラをより銀塩カメラ(一眼レフタイプの銀塩カメラでは、既に8駒/秒程度のスペックの製品が実現されている)の能力に近づけ、或いはそれを越えさせる上で必須の技術である。
【0017】
しかしながら、撮像素子に複数の出力端子を備える技術は、スピードの観点では有利になるものの、出力レベルのマッチング性という観点では、1出力しかないものに比べて明らかに不利になってしまう。
【0018】
従来、CDS/AGC回路部に画像信号を供給する際に除去される直流成分を再生するために、CDS/AGC回路部やカメラDSPにおいて、オプティカルブラック(OB)レベルに基づいて撮像素子の領域ごとにクランプ処理をしていた。しかしながら、この方法では、クランプレベルを決定するためのOBレベルと有効画素部の黒レベルとの間に段差がある場合や、暗電流シェーディングに起因して撮像素子の複数の出力端子からそれぞれ出力されるOBレベルが異なる場合において、撮像素子の複数の領域(の出力)の間のオフセット差を完全に除去することができずに、複数の領域の境界が合成後の画像に現れることがあるという問題があった。
【0019】
したがって、撮像素子の複数の出力端子から出力される画像信号間のオフセット差を除去することが重要な課題となっている。
【0020】
本発明は、上記の背景に鑑みてなされたものであり、撮像素子の複数の領域に各々対応する複数の出力端子から出力される複数の画像信号間のオフセット差を低減し、領域間の境界が自然で良好な画像を得るための技術を提供することを目的とする。
【0021】
【課題を解決するための手段】
本発明の第1の側面は、画像信号を処理する信号処理装置に係り、a)1つの画面を構成する複数の撮像領域と、該複数の撮像領域に各々対応する複数の出力端子とを有し、該複数の出力端子の各々から、対応する撮像領域での撮像に係る画像信号と該対応する撮像領域についてのダミー画像信号とを出力する撮像素子と、b)前記複数の出力端子から出力される複数の画像信号の間のオフセット差を前記複数の出力端子から出力される複数のダミー画像信号に基づいて低減する処理部とを備える。ここで、前記複数のダミー画像信号としては、前記撮像素子の光電変換部に依存しない信号が採用される。
【0022】
本発明の好適な実施の形態によれば、前記処理部は、前記複数の出力端子から出力される複数の画像信号の各々に対して前記複数のダミー画像信号のうち対応するダミー画像信号に基づいてクランプ処理を施す複数のダミークランプ処理部を有することが好ましい。
【0023】
また、本発明の好適な実施の形態によれば、前記撮像素子は、前記光電変換部で生成された信号を垂直方向に転送する複数の垂直転送部と、前記複数の垂直転送部のうち各々対応する撮像領域に属する垂直転送部によって転送された信号を含む信号を転送する複数の水平転送部とを有し、前記複数の水平転送部は前記複数の出力端子に各々対応して設けられており、前記複数のダミー画像信号は前記複数の水平転送部によって転送される信号のうち前記複数の垂直転送部によって転送される信号以外の信号であることが好ましい。
【0024】
或いは、前記撮像素子は、前記光電変換部で生成された信号を垂直方向に転送する複数の垂直転送部と、前記複数の垂直転送部のうち各々対応する撮像領域に属する垂直転送部によって転送された信号を含む信号を転送する複数の水平転送部とを有し、前記複数の水平転送部は前記複数の出力端子に各々対応して設けられており、前記複数の水平転送部は、各々、対応する撮像領域に属する垂直転送部によって転送された信号を転送する第1転送部と、対応する前記出力端子と前記第1転送部との間に設けられた第2転送部とを有し、前記複数のダミー画像信号は前記複数の水平転送部が転送を開始する前に前記第2転送部に蓄積されていた信号であることが好ましい。
【0025】
或いは、前記撮像素子は、前記光電変換部で生成された信号を垂直方向に転送する複数の垂直転送部と、前記複数の垂直転送部のうち各々対応する撮像領域に属する垂直転送部によって転送された信号を含む信号を転送する複数の水平転送部とを有し、前記複数の水平転送部は、前記複数の出力端子に各々対応して設けられており、前記複数のダミー画像信号は、前記複数の水平転送部が前記複数の垂直転送部から転送された信号を転送し終えた後に転送する信号であることが好ましい。
【0026】
また、本発明の好適な実施の形態によれば、前記処理部によって処理された複数の画像信号に対して、前記撮像素子から提供されるオプティカルブラックレベルに基づいて、共通のクランプ処理を施すオプティカル・ブラック・クランプ処理部を更に備えることが好ましい。更に、この信号処理装置は、前記オプティカル・ブラック・クランプ処理部によって処理された複数の画像信号を合成して1つの画像の画像信号を生成する画像合成部を更に備えることが好ましい。
【0027】
本発明の第2の側面は、画像信号を処理する信号処理装置に係り、1つの画面を構成する複数の撮像領域と、該複数の撮像領域に各々対応する複数の出力端子とを有し、該複数の出力端子の各々から、対応する撮像領域での撮像に係る画像信号と該対応する撮像領域についてのダミー画像信号とを出力する撮像素子の該複数の出力端子から出力される複数の画像信号の間のオフセット差を低減する。具体的には、この信号処理回路は、該複数の出力端子から出力される複数のダミー画像信号に基づいて低減する処理部を備える。ここで、該複数のダミー画像信号は、該撮像素子の光電変換部に依存しない信号である。
【0028】
本発明の第3の側面は、画像信号を処理する信号処理装置に係り、水平方向及び垂直方向に配列された複数の光電変換部を含む1つの画面を構成する複数の撮像領域と、前記複数の光電変換部からの信号を転送する複数の垂直転送部と、前記複数の撮像領域に各々対応して設けられたそれぞれが複数の転送段を含む複数の水平転送部と、前記複数の水平転送部に各々対応して設けられた複数の水平転送部と、前記複数の出力端子から出力される複数の画像信号の間のオフセット差を前記複数の出力端子から出力されるダミー画像信号に基づいて低減する処理部とを有する。ここで、前記ダミー画像信号としては、前記複数の水平転送部で空転送をすることによって得られる信号が採用される。
【0029】
本発明の好適な実施の形態によれば、前記複数の水平転送部の各々は、垂直方向に前記複数の垂直転送部からの信号が転送される第1の転送段と、前記第1の転送段以外の第2の転送段とを含むことが好ましい。ここで、前記ダミー画像信号としては、前記第1の転送段に前記垂直転送部から信号が転送された後に、前記水平転送部を駆動させ、空転送によって得られる信号が採用される。
【0030】
また、本発明の好適な実施の形態によれば、この信号処理装置は、前記複数の出力端子からの信号に対して、共通の撮像領域に含まれるオプティカルブラック部のオプティカルブラックレベルに基づいて、クランプ処理を施すオプティカル・ブラック・クランプ処理部を更に有することが好ましい。
【0031】
本発明の第4の側面は、撮像装置に係り、上記の第1乃至第3の側面に係る信号処理装置を備えることを特徴とする。
【0032】
本発明の第5の側面は、画像信号を処理する信号処理方法に係り、1つの画面を構成する複数の撮像領域と、該複数の撮像領域に各々対応する複数の出力端子とを有し、該複数の出力端子の各々から、対応する撮像領域での撮像に係る画像信号と該対応する撮像領域についてのダミー画像信号とを出力する撮像素子の該複数の出力端子から出力される複数の画像信号の間のオフセット差を低減する。具体的には、この方法は、該複数の出力端子から出力される複数のダミー画像信号に基づいて低減する工程を含む。ここで、該複数のダミー画像信号は、該撮像素子の光電変換部に依存しない信号である。
【0033】
本発明の第6の側面は、信号処理装置における信号処理方法に係り、該信号処理装置は、水平方向及び垂直方向に配列された複数の光電変換部を含む1つの画面を構成する複数の撮像領域と、前記複数の光電変換部からの信号を転送する複数の垂直転送部と、前記複数の撮像領域に各々対応して設けられたそれぞれが複数の転送段を含む複数の水平転送部と、前記複数の水平転送部に各々対応して設けられた複数の水平転送部とを有する。この信号処理方法は、前記複数の出力端子から出力される複数の画像信号の間のオフセット差を前記複数の出力端子から出力される、前記複数の水平転送部で空転送をすることによって得られる、ダミー画像信号に基づいて低減することを特徴とする。
【0034】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な実施の形態を説明する。
【0035】
[第1の実施の形態]
図4は、本発明の好適な実施の形態に係る信号処理回路を含む撮像装置(例えば、デジタルカメラ)のハードウェア構成を概略的に示すブロック図である。この実施の形態では、1画面を複数の領域に分割して該複数の領域の画像信号を並列に出力する撮像素子として、1画面を2つの領域に分割して該2つの領域の画像信号を並列に出力するCCD29を採用している。CCD29は、2つの領域に各々対応する2つの出力(出力端子、出力信号)CH1及びCH2を有する。より具体的には、CCD29は、ドライバ30によって駆動されて、所定の周波数で動作し、図2に示すように画面全体を縦に2分割する形式で左右別々に画像信号を出力する。
【0036】
被写体は、不図示の主光学系でCCD29の撮像面に結像され、該撮像面内に二次元的に配列された複数のフォトダイオード(光電変換部)9で光電変換された後、VCCD(垂直転送用のCCD)10を通って、左右2つのHCCD(水平転送用のCCD)7及び8まで縦(垂直)方向に転送され、さらにHCCD7及び8で横(水平)方向(左方向及び右方向)に転送されて出力アンプ部5及び6を通して出力される。
【0037】
図2に示すCCD29では、HCCD7及び8は、VCCD10(或いは、フォトダイオード部9)の横方向の画素数に相当する段数の他に余分の段数を有する。より具体的には、この実施の形態では、CCD29は、VCCD10から直接に電荷(画像信号)が転送されるHCCD7v及び8vと出力アンプ5及び6との間に余分の段数のHCCD7d及び8dを有する。HCCD8及び9では、この余分のHCCD7d及び8dの段数分だけ信号が空送りされる。すなわち、このCCD29では、VCCDからHCCDに電荷が転送された後、HCCDを駆動することによって、余分のHCCD7d及び8dの段数分だけ、フォトダイオード9に依存しないダミーの画素レベル(転送動作を開始する前に蓄積されていた電荷(信号)のレベル)が出力される。
【0038】
図4に戻って、TG/SSG回路31は、垂直同期信号VD及び水平同期信号HDを出力するタイミング発生回路であり、垂直同期信号VD及び水平同期信号HDは、ドライバ30、CDS/AGC32及び33、A/D変換回路34及び35に供給される。
【0039】
CCD29の画面の右半面及び左半面についての出力画像信号は、図5に示すように、横1ライン分の出力として、有効画素部(左有効画素部及び右有効画素部)の出力、OB画素部(左OB画素部及び右OB画素部)の出力、及びダミー画素部(左ダミー画素部及び右ダミー画素部)の出力を含んでいる。左ダミー画素部及び右ダミー画素部は、それぞれ前述の余分のHCCD7d及び8dに相当する。CCD29のアンプ5からは、左ダミー画素部、左OB画素部、左有効画素部の順番に信号が出力される。また、アンプ6からは、右ダミー画素部、右OB画素部、右効画素部の順番に信号が出力される。
【0040】
CCD29の右半面の画像出力は、CH1端子からCDS/AGC回路33に供給される。CH1端子は、CDS/AGC回路33とAC結合されているので、信号の直流成分が除去される。CDS/AGC回路33では、CDS回路により、CCD29から供給された右半面の信号に対して相関2重サンプリング等を施してCCD29の出力信号に含まれるリセットノイズ等を除去すると共に、AGC回路により、所定の信号レベルまで出力信号を増幅する。このAGC回路で増幅された信号をA/D変換回路35に供給し、ここでデジタル信号に変換してAD−CH1信号が得られる。
【0041】
同様に、CCD29の左半面の画像出力は、CH2端子からCDS/AGC回路32に供給され、この際に直流成分が除去される。CDS/AGC回路32では、CDS回路により、CCD29から供給された左半面の画像信号に対して相関2重サンプリング等を施してCCD29の出力信号に含まれるリセットノイズ等を除去すると共に、AGC回路により、所定の信号レベルまで出力信号を増幅する。このAGC回路で増幅された信号をA/D変換回路34に供給し、ここでデジタル信号に変換してAD−CH2信号が得られる。
【0042】
次に、AD−CH1信号は、ダミークランプ回路37に供給される。ダミークランプ回路37は、ライン毎に順次出力される右ダミー画素部の所定画素数分の信号値の平均値を算出し、続いて出力される右半面の1ライン分の画像信号の各画素値から該平均値を減算する。すなわち、ダミークランプ回路37は、右ダミー画素部の信号レベル(ダミー画素レベル)を所定の値(ここでは、ゼロ)に補正するように、1ライン全体のレベルをシフトさせるクランプ処理を行う。ここで、クランプ処理は、各ラインの画像信号の各画素値から当該ラインについての右ダミー画素部の信号値の平均値を減算するのではなく、例えば、複数ラインの右ダミー画素部の信号値の平均値を減算してもよいし、例えば、1又は複数ラインの右ダミー画素部の信号値の中間値(メディアン)を減算してもよいし、他の方法によってもよい。
【0043】
また、CDS/AGC回路33又はAD変換回路35にクランプ処理回路を内蔵し、内蔵のクランプ処理回路のみでダミー画素部に基づいてクランプ処理をしてもよい。
【0044】
クランプ処理を全ラインに対して実行することにより、アナログ回路部で生じる縦(垂直)方向のシェーディングをキャンセルするとともに、全ラインにおいてダミー画素レベルを一定に保つように右半面についての画像信号のレベルを補正することができる。
【0045】
同様に、AD−CH2信号は、ダミークランプ回路36に供給される。ダミークランプ回路36は、ライン毎に順次出力される左ダミー画素部の所定画素数分の信号値の平均値を算出し、続いて出力される左半面の1ライン分の画像信号の各画素値から該平均値を減算する。すなわち、ダミークランプ回路36は、左ダミー画素部の信号レベル(ダミー画素レベル)を右半面のダミー画素レベルと等しい値に補正するように、1ライン全体のレベルをシフトさせるクランプ処理を行う。ここで、クランプ処理は、各ラインの画像信号の各画素値から当該ラインについての左ダミー画素部の信号値の平均値を減算するのではなく、例えば、複数ラインの右ダミー画素部の信号値の平均値を減算してもよいし、例えば、1又は複数ラインの右ダミー画素部の信号値の中間値(メディアン)を減算してもよいし、他の方法によってもよい。
【0046】
また、CDS/AGC回路32又はAD変換回路34にクランプ処理回路を内蔵し、内臓のクランプ処理回路のみでダミー画素部に基づいてクランプ処理をしてもよい。
【0047】
クランプ処理を全ラインに対して実行することにより、アナログ回路部で生じる縦(垂直)方向のシェーディングをキャンセルするとともに、全ラインにおいてダミー画素レベルを一定に保つように左半面についての画像信号のレベルを補正することができる。
【0048】
以上のように、この実施の形態によれば、OB画素部の画素値に基づいて左右の領域に対して別々にクランプ処理をするのではなく、左右のダミー画素部の画素値に基づいて左右の領域に対して別々にクランプ処理をするので、例えば、左右の領域のOB画素部の暗電流が異なっていても、それに影響を受けることなく、左右の領域の画像信号の間のオフセット差を取り除くことができる。
【0049】
次に、ダミークランプ回路36及び37で処理された画像信号は、それぞれゲイン調整回路38及び39に供給される。ゲイン調整回路38及び39は、CCD29のアンプ5及び6、CDS/AGC回路部32及び33、AD変換回路34及び35で発生した左右の領域の画像信号間のゲイン差を補正するように、ダミークランプ回路36及び37からそれぞれ出力される画像信号に対して、全体処理CPUから提供されるゲイン補正値を乗算することにより、左右の領域の画像信号間のゲイン差を取り除く。このゲイン補正値は、予め工場における調整の際等に書き込まれた調整値に基づいて決定されてもよいし、出荷後のキャリブレーションによって得られる値に基づいて決定されてもよい。
【0050】
このようにしてダミークランプ処理及びゲイン補正処理を行うことで、CCD29の左右の領域の画像信号は、両者のオフセット差及びゲイン差が除去され、画像合成回路46で合成されたときに両領域間の境界がわからないような信号となる。しかしながら、このまま出力したのでは、黒レベルが所定の値に調整できておらず、黒浮きしたり黒沈みしたりした出力画像となってしまう。
【0051】
そこで、ゲイン補正された両信号をそれぞれOBクランプ回路40及び41に供給し、OB画素部の画素値に基づいてクランプ処理を行う。ここで、図5に示すように、OB画素部は、左右の領域のそれぞれについて設けられているが、左右のOB画素部の画素値に基づいて左右の画像信号に対して別々にOBクランプ処理を実行すると、折角取り除いた両領域間のオフセット差が再び生じてしまう。
【0052】
この問題に鑑み、この実施の形態では、左右どちらか一方のOB画素部の画素値に基づいて左右の画像信号に対して共通の値でクランプ処理をすることにより直流成分を再生する。例えば、左半面の出力信号に含まれるOB画素部の所定画素数の画素値の平均値を算出し、OBクランプ回路40において左半面の1ライン分の画像信号の各画素値から該平均値を減算すると同時に、該平均値をOBクランプ回路41にも提供し、右半面の1ライン分の画像信号の各画素値からも該平均値を減算するという如きである。これを全ラインについて実行する。
【0053】
次に、メモリコントローラ43及び44を介してフレームメモリ42及び45にそれぞれ画像信号を書き込み、その後、画像合成回路46により両画像信号を合成して1枚の画像の画像信号を生成し、次段のカラー処理回路47で所定のカラー処理(例えば、色補間処理やガンマ変換等)を行う。
【0054】
[第2の実施の形態]
以下、本発明の第2の実施の形態を説明する。複数の出力端子を有する撮像素子29が図2に示すようなCCDである場合、HCCD7(8)においてHCCD7(8)の段数分を越えて信号の転送を続けると、図6に示すように、左(右)ダミー画素部、左(右)OB画素部、並びに、左(右)有効画素部が出力された後に、さらにHCCD7(8)のみの信号成分を含んだ左(右)ダミー画素部が出力される。この左(右)ダミー画素部を左(右)後ダミー画素部、最初に出力される左(右)ダミー画素部を左(右)前ダミー画素部と呼ぶことにする。
【0055】
左(右)前ダミー画素部と左(右)後ダミー画素部とは、フォトダイオード9に依存しないHCCD7(8)のみの信号成分を含んだ信号なので、本来同じレベルとなる筈であるが、CCD29のアンプ5(6)、CDS/AGC回路3(4)、AD変換回路5(6)などにおいて、外乱などによりアナログ的に信号が変動するようなことがある場合には同じレベルとならない。この場合、左(右)後ダミー画素部は、有効画素部の左右領域の境界部分が出力された直後に出力され、その出力時刻が有効画素部の左右境界部分の出力時刻と近いので、前ダミー画素部よりもアナログ回路における信号のレベル変動の影響を受けにくく、有効画素部、特に有効画素部の中でも左右境界部分との相関性が高い。
【0056】
そこで、第1の実施の形態と同様に、CCD29の左領域及び右領域の出力信号を別々にCDS/AGC回路及びAD変換回路に入力してデジタル信号AD−CH1及びAD−CH2を得た後、図4に示すダミークランプ回路37及び36において、後ダミー画素部の信号値に基づいてクランプ処理を実行する。この場合も、第1の実施の形態と同様に、ライン毎に順次出力される左及び右後ダミー画素部の所定画素数分の信号値の平均値をそれぞれ算出し、続いて出力される左右半面の1ライン分の画像信号の各画素値から該平均値を減算し、左及び右後ダミー画素部の信号レベルを所定の値にするように1ライン全体のレベルをシフトするクランプ処理をそれぞれ行う。このクランプ処理は、各ラインの画像信号の各画素値から当該ラインについての左及び右ダミー画素部の信号値の平均値を減算するのではなく、例えば、複数ラインの左及び右ダミー画素部の信号値の平均値をそれぞれ減算してもよいし、例えば、1又は複数ラインの左及び右ダミー画素部の信号値の中間値(メディアン)を減算してもよいし、他の方法によってもよい。
【0057】
また、CDS/AGC回路32(33)又はAD変換回路34(35)にクランプ処理回路を内蔵し、内臓のクランプ処理回路のみで左(右)後ダミー画素部に基づいてクランプ処理してもよい。
【0058】
これを全ラインについて実行することにより、アナログ回路部で生じる縦方向のシェーディングをキャンセルするとともに、ダミー画素レベルを一定に保つように左右半面の画像レベルをそれぞれ補正することができる。
【0059】
さらに、第1の実施の形態と同様に、ゲイン補正回路38及び39において、左右出力のゲイン差を補正した後、OBクランプ回路40及び41において同一の値でクランプ処理をすることにより直流成分を再生し、画像合成回路46において左右の画像信号を1つの画像の画像信号に合成し、カラー処理を行う。
【0060】
このように後ダミー画素部の信号値に基づいてクランプ処理を実行することによって、CCD出力アンプ、CDS/AGC回路及びAD変換回路などにおいてアナログ的に信号が変動することがあっても、左右の領域の画像信号間のオフセット差を良好に除去することができる。
【0061】
上記の実施の形態では、撮像素子の一例としてCCDを挙げたが、本発明は、他の形式の撮像素子、例えばCMOS等の撮像素子にも適用することができる。
【0062】
また、上記の実施の形態におけるソフトウェアの全部又は一部は、ハードウェハで置き換えられてもよいし、上記の実施の形態におけるハードウェアの全部又は一部は、ソフトウェアで置き換えられてもよい。
【0063】
また、上記の実施の形態に係る装置及び方法は、全体でも一部でも発明を構成し得る。
【0064】
また、上記の実施の形態における装置及びその構成要素は、他の装置の一部として、或いは他の装置と結合して実施されてもよい。
【0065】
また、本発明は、例えば、ビデオムービーカメラ、ビデオスチルカメラ、レンズ交換式カメラ、一眼レフカメラ、レンズシャッターカメラ、監視カメラ等の種々の撮像装置、更には、それらを含む装置にも適用され得る。
【0066】
また、上記の実施の形態の機能は、所定のソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)をシステムあるいは装置に提供することによっても達成され得る。ここで、コンピュータが記憶媒体に格納されたプログラムコードを実行することによっても、そのプログラムコードの指示に基づいてコンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を実行することによっても、上記の実施の形態の機能を実現することができる。また、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後に、そのプログラムコードの指示に基づいて、その機能拡張カードや機能拡張ユニットに搭載されたCPUなどが実際の処理の一部または全部を実行することによっても、上記の実施の形態の機能が実現され得るる。
【0067】
【発明の効果】
本発明によれば、撮像素子の複数の領域に各々対応する複数の出力端子から出力される複数の画像信号間のオフセット差を低減することができ、領域間の境界が自然で良好な画像を得ることができる。
【図面の簡単な説明】
【図1】一般的なデジタルカメラの構成を示す図である。
【図2】1画面を複数の領域に分割して該複数の領域の画像信号を並列に出力する撮像素子の一例を示す図である。
【図3】図2に示すタイプの撮像素子から出力される信号を処理する従来の信号処理回路のブロック図である。
【図4】本発明の好適な実施の形態に係る信号処理回路を含む撮像装置(例えば、デジタルカメラ)のハードウェア構成を概略的に示すブロック図である。
【図5】本発明の第1の実施の形態に係る撮像素子の出力信号の具体例を示す図である。
【図6】本発明の第2の実施の形態に係る撮像素子の出力信号の具体例を示す図である。
Claims (6)
- 画像信号を処理する信号処理装置であって、
1つの画面を構成する複数の撮像領域と、前記複数の撮像領域で発生した画像信号を転送するCCDと、前記複数の撮像領域に各々対応し、前記CCDから前記画像信号を出力する複数の出力端子とを有する撮像素子と、
前記撮像素子を駆動して、前記複数の出力端子の各々からダミー画像信号と前記画像信号とを出力させる駆動手段と、
撮像動作によって得られた前記画像信号を前記撮像素子から読み出すための動作中に得られる、前記複数の出力端子の各々からの前記ダミー画像信号に基づいて前記画像信号を補正することにより、前記複数の出力端子から出力される複数の前記画像信号の間のオフセット差を低減する第1の処理部と、
前記複数の出力端子から出力された撮像動作によって得られた前記画像信号を、前記撮像動作を行うよりも前に予め決定されているゲイン補正値に基づいて補正することにより、前記複数の出力端子から出力される複数の前記画像信号の間のゲイン差を低減する第2の処理部とを備え、
ここで、前記第1の処理部によるオフセット補正及び前記第2の処理部によるゲイン補正がなされた、前記複数の出力端子から出力された複数の前記画像信号は合成され、
前記ダミー画像信号は、前記CCDを空転送することにより得られる信号であることを特徴とする信号処理装置。 - 前記第1の処理部は、前記複数の出力端子から出力される複数の画像信号
の各々に対して前記複数のダミー画像信号のうち対応するダミー画像信号に基づいてクランプ処理を施す複数のダミークランプ処理部を有することを特徴とする請求項1に記載の信号処理装置。 - 前記第1の処理部は、補正される画像信号よりも前に前記出力端子から出力されたダミー画像信号に基づいて前記画像信号を補正することを特徴とする請求項1又は2に記載の信号処理装置。
- 前記第1の処理部は、補正される画像信号よりも後に前記出力端子から出力されたダミー画像信号に基づいて前記画像信号を補正することを特徴とする請求項1又は2に記載の信号処理装置。
- 前記複数の撮像領域のうちの1つの撮像領域に含まれるオプティカルブラック部のオプティカルブラックレベルに基づいて、前記複数の出力端子から出力された画像信号を補正するオプティカルブラック処理部を更に備えることを特徴とする請求項1乃至4のいずれか1項に記載の信号処理装置。
- 前記オプティカルブラック処理部によって処理された複数の画像信号を合成して1つの画像の画像信号を生成する画像合成部を更に備えることを特徴とする請求項5に記載の信号処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001097032A JP3697172B2 (ja) | 2001-03-29 | 2001-03-29 | 信号処理装置及び信号処理方法並びに撮像装置 |
US10/105,743 US7050098B2 (en) | 2001-03-29 | 2002-03-25 | Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame |
EP02007148A EP1246453A3 (en) | 2001-03-29 | 2002-03-28 | Signal processing apparatus and method, and image sensing apparatus |
CN021087156A CN1217533C (zh) | 2001-03-29 | 2002-03-29 | 信号处理设备及方法,与图象感测设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001097032A JP3697172B2 (ja) | 2001-03-29 | 2001-03-29 | 信号処理装置及び信号処理方法並びに撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002300477A JP2002300477A (ja) | 2002-10-11 |
JP3697172B2 true JP3697172B2 (ja) | 2005-09-21 |
Family
ID=18950869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001097032A Expired - Fee Related JP3697172B2 (ja) | 2001-03-29 | 2001-03-29 | 信号処理装置及び信号処理方法並びに撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3697172B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8310568B2 (en) | 2008-02-14 | 2012-11-13 | Sony Corporation | Clamp control method, clamp correction device, image sensor, and electronic apparatus |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7245318B2 (en) * | 2001-11-09 | 2007-07-17 | Canon Kabushiki Kaisha | Imaging apparatus that corrects an imbalance in output levels of image data |
KR100574891B1 (ko) | 2003-01-13 | 2006-04-27 | 매그나칩 반도체 유한회사 | 클램프 회로를 갖는 이미지센서 |
JP2004266363A (ja) * | 2003-02-18 | 2004-09-24 | Sony Corp | 撮像装置及び撮像装置の駆動方法 |
JP3991011B2 (ja) | 2003-06-20 | 2007-10-17 | キヤノン株式会社 | 画像信号処理装置 |
JP4549040B2 (ja) * | 2003-08-19 | 2010-09-22 | キヤノン株式会社 | 撮像装置 |
JP4144517B2 (ja) | 2003-12-05 | 2008-09-03 | ソニー株式会社 | 固体撮像装置、撮像方法 |
JP4636895B2 (ja) | 2005-02-07 | 2011-02-23 | 三洋電機株式会社 | 電子カメラ |
JP4548163B2 (ja) * | 2005-03-17 | 2010-09-22 | 日本ビクター株式会社 | 撮像装置 |
JP5043448B2 (ja) * | 2006-03-10 | 2012-10-10 | キヤノン株式会社 | 放射線撮像装置及び放射線撮像システム |
JP2007300368A (ja) * | 2006-04-28 | 2007-11-15 | Fujifilm Corp | 固体撮像装置 |
JP4434250B2 (ja) * | 2007-09-21 | 2010-03-17 | ソニー株式会社 | 画像信号処理回路、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
JP2009094675A (ja) * | 2007-10-05 | 2009-04-30 | Sony Corp | 撮像装置、画像信号処理回路、および画像信号処理方法、並びにコンピュータ・プログラム |
CN109040629A (zh) | 2017-06-09 | 2018-12-18 | 松下知识产权经营株式会社 | 摄像装置及照相机系统 |
-
2001
- 2001-03-29 JP JP2001097032A patent/JP3697172B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8310568B2 (en) | 2008-02-14 | 2012-11-13 | Sony Corporation | Clamp control method, clamp correction device, image sensor, and electronic apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2002300477A (ja) | 2002-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7050098B2 (en) | Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame | |
KR101229600B1 (ko) | 촬상 장치, 손떨림 보정 방법 및 기록 매체 | |
JP3980782B2 (ja) | 撮像制御装置および撮像制御方法 | |
JP3697172B2 (ja) | 信号処理装置及び信号処理方法並びに撮像装置 | |
US7245318B2 (en) | Imaging apparatus that corrects an imbalance in output levels of image data | |
JP4024581B2 (ja) | 撮像装置 | |
JP2014154982A (ja) | 撮像装置およびその制御方法 | |
JP4763469B2 (ja) | 固体撮像装置および画像入力装置、ならびにその画像補正方法 | |
JP2007300368A (ja) | 固体撮像装置 | |
JP2000244823A (ja) | 撮像素子の欠陥画素補正装置 | |
JP3619077B2 (ja) | 撮像装置、撮像装置の制御方法及び記憶媒体 | |
JP2005236662A (ja) | 撮像方法、撮像装置及び撮像システム | |
JP2000224487A (ja) | 撮像装置および撮像方法 | |
JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
JP2002335454A (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP2005176115A (ja) | 撮像装置 | |
JP3673669B2 (ja) | 撮像装置及びその制御方法及び記憶媒体 | |
JP4732795B2 (ja) | 固体撮像装置および画像補正方法 | |
JP2005277618A (ja) | 撮像装置、シェーディング補正装置、及びシェーディング補正方法 | |
JPH11298911A (ja) | 撮像回路および撮像装置 | |
JPH06189200A (ja) | 固体撮像装置 | |
JP4573367B2 (ja) | 画像撮影装置 | |
JP4656621B2 (ja) | 信号処理装置及び方法、及び撮像装置 | |
JP4723347B2 (ja) | 固体撮像装置 | |
JP3961975B2 (ja) | 信号処理装置及びデジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040319 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040723 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050610 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050701 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080708 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |