JP7828163B2 - 光電変換装置、画像処理方法、撮像システム、移動体、及び機器 - Google Patents

光電変換装置、画像処理方法、撮像システム、移動体、及び機器

Info

Publication number
JP7828163B2
JP7828163B2 JP2021198679A JP2021198679A JP7828163B2 JP 7828163 B2 JP7828163 B2 JP 7828163B2 JP 2021198679 A JP2021198679 A JP 2021198679A JP 2021198679 A JP2021198679 A JP 2021198679A JP 7828163 B2 JP7828163 B2 JP 7828163B2
Authority
JP
Japan
Prior art keywords
photoelectric conversion
conversion device
unit
correction
correction component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021198679A
Other languages
English (en)
Other versions
JP2023084483A5 (ja
JP2023084483A (ja
Inventor
純平 芦田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021198679A priority Critical patent/JP7828163B2/ja
Priority to US18/057,870 priority patent/US12262155B2/en
Publication of JP2023084483A publication Critical patent/JP2023084483A/ja
Publication of JP2023084483A5 publication Critical patent/JP2023084483A5/ja
Application granted granted Critical
Publication of JP7828163B2 publication Critical patent/JP7828163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、光電変換装置、画像処理方法、撮像システム、移動体、及び機器に関する。
近年、デジタルスチルカメラ、ビデオカメラ、あるいは携帯電話等に搭載される光電変換装置の開発が行われている。例えば、光電変換装置として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが広く知られている。
ＣＭＯＳセンサにおいて、行方向及び列方向にマトリクス状に複数の画素が配置された画素のある行が選択され、選択された行の全画素の画素信号が同時に読み出される。ＣＭＯＳセンサでは、読み出された画像信号にオフセットが含まれることが知られている。特許文献１、特許文献２には、オプティカルブラック（以下、「ＯＢ」と称する）領域の画素信号を用いて、有効画素の画素信号のオフセットを補正する回路が記載されている。しかしながら、近年のＣＭＯＳセンサの高画質化などに伴い、行数及び垂直信号線の数が増大しており、特許文献１、２に記載された構成において高精度な補正処理を行うことは困難である。
特開２００９－００５３２９号公報 特開２０１３－１０６１８６号公報
本発明は、高精度な補正処理を実行可能な光電変換装置、画像処理方法、光電変換システム、移動体、及び機器を提供することを目的とする。
本明細書の一開示における光電変換装置は、行列状に配置された複数の画素を含む画素部と、第１の領域における前記画素を第１の方法で駆動し、第２の領域における前記画素を第２の方法で駆動する駆動部と、前記第１の領域及び前記第２の領域から読み出された画素値に基づき補正値を演算する演算部と、前記補正値に基づき、入射光に応じた画素値のオフセットを補正する補正部とを備え、前記演算部は、前記第１の領域から読み出された第１の画素値に基づき複数の第１の補正成分のそれぞれの初期値を算出し、前記第２の領域から読み出された第２の画素値及び所定の第２の補正成分に基づき、前記複数の第１の補正成分のそれぞれを更新し、更新された前記第１の補正成分及び前記第２の補正成分を用いて前記補正値を算出する。
本明細書の他の開示における画像処理方法は、画像データの第１の領域における第１のデータに基づき第１の補正成分を算出するステップと、前記画像データの第２の領域における第２のデータと前記第１の補正成分を用いて第２の補正成分を算出するステップと、前記第２のデータと前記第２の補正成分を用いて第１の補正成分を更新するステップと、更新された前記第１の補正成分と前記第２の補正値を用いて、前記第２のデータを補正するステップとを含む。
本発明によれば、高精度な補正処理を実行可能な光電変換装置、画像処理方法、光電変換システムを提供することができる。
第１実施形態に係る光電変換装置のブロック図である。 第１実施形態に係る画素の等価回路図である。 第１実施形態に係る画素部を示す図である。 第１実施形態に係る画素部を示す図である。 第１実施形態に係る駆動部による画素部の駆動を示す図である。 第１実施形態に係る駆動部による画素部の駆動を示す図である。 第１実施形態に係る駆動部による画素部の駆動を示す図である。 第１実施形態に係る演算部における信号処理部のブロック図である。 第１実施形態に係るＯＢクランプ演算部のブロック図である。 第１実施形態に係る第１処理部及び第２処理部のブロック図である。 第１実施形態に係る第１処理部及び第２処理部のブロック図である。 第１実施形態に係る第１処理部及び第２処理部のブロック図である。 第１実施形態に係る第１処理部及び第２処理部のブロック図である。 第２実施形態に係る光電変換システムの構成例を示す図である。 第２実施形態に係る補正演算のフローチャートである。 第２実施形態に係る曲線近似の例を示す図である。 第３実施形態に係る撮像システムの概略構成を示すブロック図である。 第４実施形態に係る撮像システム及び移動体の構成例を示す図である。 第５実施形態に係る機器の概略構成を示すブロック図である。
以下、図面を用いて本発明に係る実施形態を説明する。なお、上述した各実施形態は、矛盾が生じない限り任意に組み合わせることができる。また、以下に述べる各実施形態では、光電変換装置の一例として、撮像装置を中心に説明する。ただし、各実施形態は、撮像装置に限られるものではなく、光電変換装置の他の例にも適用可能である。例えば、測距装置（焦点検出やＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）を用いた距離測定等の装置）、測光装置（入射光量の測定等の装置）などがある。
［第１実施形態］
（全体構成）
図１を参照して、本実施形態に係る光電変換装置１０の回路構成について説明する。光電変換装置１０は、例えばＣＭＯＳイメージセンサであって、画素部１１、駆動部１２、読み出し部１４、信号処理部１５、タイミングジェネレータ（ＴＧ）１６を有する。
画素部１１は２次元アレイ状に配列された複数の画素１１０を備え、それぞれの画素１１０は受光量に応じた信号電荷を生成及び蓄積する光電変換部を備える。なお、本明細書において、行方向とは図面における水平方向を示し、列方向とは図面において垂直方向を示すものとする。画素１１０上にはマイクロレンズ、カラーフィルタが配置され得る。カラーフィルタは例えば赤（Ｒ）、青（Ｂ）、緑（Ｇｒ、Ｇｂ）の原色フィルタであって、ベイヤー配列に従って各画素１１０に設けられている。一部の画素１１０はＯＢ画素（オプティカル・ブラック画素）として遮光されている。また、画素部１１には、垂直信号線ＶＬに接続されていないＮＵＬＬ画素が設けられ得る。さらに、画素部１１は、焦点検出用の画素信号を出力する焦点検出画素が配された測距行と、画像を生成するための画素信号を出力する撮像画素が配された複数の撮像行とを含み得る。垂直信号線ＶＬは画素１１０の列毎に設けられ、同一列の複数の画素１１０は共通の垂直信号線ＶＬに画素信号を出力する。画素部１１は、垂直信号線ＶＬに接続されていないＮＵＬＬ画素を含み得る。図示されていないが、垂直信号線ＶＬのそれぞれには定電流回路が接続され、定電流回路は画素１１０の負荷回路として機能する。
駆動部１２は、シフトレジスタ、ゲート回路、バッファ回路などから構成され、垂直同期信号、水平同期信号、クロック信号などに基づき制御信号を画素１１０に出力し、行毎に画素１１０を駆動する。本実施形態において、駆動部１２は、画素部１１を１水平走査期間に４行ずつ順番に選択する垂直走査を実行可能である。選択された４行の画素１１０は、垂直信号線ＶＬを介して読み出し部１４によって読み出される。以後の説明において、同時に読み出し可能な４行分の垂直信号線ＶＬを垂直信号線ＶＬ１～ＶＬ４と称する。１水平走査期間（以下、「１Ｈ」と称することがある）毎に、垂直信号線ＶＬ１～ＶＬ４から画素信号が読み出され、ＯＢ補正値の算出処理が実行される。
読み出し部１４は、垂直信号線ＶＬを介して画素１１０から画素信号を読み出し可能であって、増幅回路、ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）回路、列メモリ、水平走査回路などを含む。読み出し部１４は、複数行、例えば４行の垂直信号線ＶＬから同時に画素信号を読み出し、デジタルのデータ（画素値）として出力可能である。
信号処理部１５は読み出し部から出力された画素データにおいて、ＯＢクランプ、デジタルゲイン、デジタル相関二重サンプリング、デジタルオフセット、リニアリティ補正などのデジタル信号処理を行う。本実施形態において、信号処理部１５は、１水平走査期間に４行分の画素信号に対してＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理、ＯＢクランプなどのデジタル信号処理を実行可能である。また、信号処理部１５はＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）方式のシリアル出力回路を備え、信号処理されたデジタル信号を高速、低消費電力にて光電変換装置の外部へと出力する。
（画素部）
図２は本実施形態に係る画素１１０の構成例を示す図である。複数の画素１１０は図１に示した通り、複数の行及び複数の列に渡って行列状に配されている。画素１１０は、例えば、光電変換部１１１、転送トランジスタ１１２、フローティングディフュージョン（ＦＤ）１１３、増幅トランジスタ１１４、選択トランジスタ１１５、リセットトランジスタ１１６を含み得る。
光電変換部１１１は例えばフォトダイオードから構成され、光電変換部１１１のアノードは接地ノード（ＧＮＤ）に接続され、カソードは転送トランジスタ１１２のソースに接続されている。転送トランジスタ１１２のドレインは、リセットトランジスタ１１６のソース、増幅トランジスタ１１４のゲートに接続されている。転送トランジスタ１１２のドレイン、リセットトランジスタ１１６のソース、増幅トランジスタ１１４のゲートの接続ノードは、いわゆるフローティングディフュージョン（ＦＤ）１１３である。ＦＤ１１３は容量成分を含み、電荷保持部及び電荷電圧変換部として機能する。リセットトランジスタ１１６のドレイン、増幅トランジスタ１１４のドレインは、電源ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタ１１４のソースは、選択トランジスタ１１５のドレインに接続されている。選択トランジスタ１１５のソースは、垂直信号線ＶＬに接続されている。なお、トランジスタのソースとドレインの呼称は、トランジスタの導電型、用途等に応じて異なることがあり、ソースとドレインとは逆に称されることもある。
各行の行選択線は、転送トランジスタ１１２のゲートに接続された信号線、リセットトランジスタ１１６のゲートに接続された信号線、選択トランジスタ１１５のゲートに接続された信号線を含む。転送トランジスタ１１２のゲートに接続された信号線には、駆動部１２から制御信号ＰＴＸが供給される。リセットトランジスタ１１６のゲートに接続された信号線には、駆動部１２から制御信号ＰＲＥＳが供給される。選択トランジスタ１１５のゲートに接続された信号線には、駆動部１２から制御信号ＰＳＥＬが供給される。各トランジスタがＮ型トランジスタで構成される場合、トランジスタはハイレベルの制御信号によってオンとなり、ローレベルの制御信号によってオフとなる。
画素部１１に光が入射すると、各画素１１０の光電変換部１１１は、入射光を光量に応じた電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。転送トランジスタ１１２はオンとなることにより、光電変換部１１１の電荷をＦＤ１１３に転送する。ＦＤ１１３は、光電変換部１１１から転送された電荷を保持する。光電変換部１１１から転送された電荷はＦＤ１１３の容量成分によって電圧に変換される。
増幅トランジスタ１１４のドレインには電圧ＶＤＤが供給され、ソースには選択トランジスタ１１５を介して電流源１１８からバイアス電流が供給される。増幅トランジスタ１１４はゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成する。これにより増幅トランジスタ１１４は、ＦＤ１１３の電圧に基づく信号を、選択トランジスタ１１５を介して垂直信号線ＶＬに出力する。リセットトランジスタ１１６は、オンとなることによりＦＤ１１３を電圧ＶＤＤに応じた電圧にリセットする。
画素１１０の転送トランジスタ１１２、リセットトランジスタ１１６、選択トランジスタ１１５は、駆動部１２から供給される制御信号ＰＴＸ，ＰＲＥＳ，ＰＳＥＬにより、行単位で制御される。画素１１０の通常読み出しについて説明する。蓄積期間（後述するシャッター走査から読み出し走査までの間）以外は、画素１１０はリセットされる。シャッター走査において、リセットトランジスタ１１６によるリセットが解除されると、光電変換部１１１は電荷の蓄積を開始する。次に、所定の蓄積時間後、読み出し走査が行われる。読み出し走査において、当該行が選択され、ＦＤ１１３のリセットレベルの画素信号（Ｎ信号）が読み出される。その後、光電変換部１１１の電荷をＦＤ１１３に転送して、電荷に基づく画素信号（Ｓ信号）が読み出される。その後、光電変換部１１１及びＦＤ１１３はリセットされる。信号処理部１５でＳ信号とＮ信号との差を計算（ＣＤＳ処理）する事により、光電変換部１１１に蓄積された電荷に基づく画素信号が得られる。
図３Ａ、図３Ｂは本実施形態に係る画素部を示す図である。図３Ａに示される画素部１１は開口領域１１ａ、ＯＢ領域１１ｂ、１１ｃを備え、図３Ｂに示される画素部１１は開口領域１１ａ、ＯＢ領域１１ｂ、１１ｃ、１１ｄを備えている。開口領域１１ａは遮光されていない画素１１０を含み、入射光に応じた画素信号を出力可能である。ＯＢ領域１１ｂ、１１ｃ、１１ｄは、遮光された画素１１０、または垂直信号線ＶＬに接続されていないＮＵＬＬ画素を含み、オフセット補正などのために用いられる。図３Ａ、図３Ｂにおいて、ＯＢ領域１１ｂは開口領域１１ａの上の行に配置され、ＯＢ領域１１ｃは開口領域１１ａの左の列に位置している。また、図３Ｂにおいて、ＯＢ領域１１ｄは開口領域１１ａの下の行に位置している。なお、ＯＢ領域の位置は図３Ａ、図３Ｂに限定されず、開口領域１１ａの右の列に設けられてもよい。
後述するように、本実施形態における光電変換装置は、複数行の画素１１０を複数回連続して読み出す巡回読み出しと、巡回読み出し以外の通常読み出しとを実行可能である。巡回読み出しは、例えば図３Ａに示されるように、ＯＢ領域１１ｂの２分割された上側の行において実行されてもよく、図３Ｂに示されるように開口領域１１ａの下に設けられたＯＢ領域１１ｄにおいて実行されてもよい。いずれの場合においても、典型的には巡回読み出しの後に通常読み出しが実行され得る。
（駆動部）
本実施形態における駆動部１２はシャッター駆動及びＯＢ値算出などのために画素部１１において様々な駆動を実現可能である。
図４Ａ、図４Ｂ、図４Ｃは本実施形態に係る駆動部１２による画素部１１の駆動を示す図である。図中、横軸は時間、縦軸は画素装置の行方向（垂直方向）を示している。ハッチングが付された矩形はシャッター走査を表し、白い矩形は読み出し走査を表している。読み出し走査における矩形内の数字は垂直信号線ＶＬ１～ＶＬ４に対応している。
図４Ａは本実施形態に係る駆動部１２による画素部１１の駆動を示す図であって、シャッター駆動を示している。時刻ｔ１０１において、駆動部１２は第１行～第４行の制御信号ＰＴＸ、ＰＲＥＳをハイレベルとすることによりシャッター走査を行い、画素１１０の光電変換部１１１、ＦＤ１１３の電荷を電圧ＶＤＤにリセットする。続いて、駆動部１２は第１行～第４行の制御信号ＰＴＸ、ＰＲＥＳをハイレベルからローレベルとし、光電変換部１１１は入射光に応じた電荷の蓄積を開始する。時刻ｔ１０２において、駆動部１２は第５行～第８行の制御信号ＰＴＸ、ＰＲＥＳをハイレベルとし、画素１１０の光電変換部１１１、ＦＤ１１３の電荷を電圧ＶＤＤにリセットする。続いて、駆動部１２は制御信号ＰＴＸ、ＰＲＥＳをハイレベルからローレベルとし、光電変換部１１１は入射光に応じた電荷の蓄積を開始する。同様に、時刻ｔ１０３以後において、駆動部１２は４行毎にシャッター走査を行う。
シャッター走査から所定の蓄積時間（露光時間）後の時刻ｔ１１１～ｔ１１２において、駆動部１２は第１行～第４行の読み出し走査を行う。すなわち、駆動部１２は第１行から第４行の制御信号ＰＳＥＬをハイレベルとし、選択トランジスタ１１５をオンにする。これにより、画素１１０からリセット時のＮ信号が垂直信号線ＶＬ１～ＶＬ４に出力される。続いて、駆動部１２は第１行～第４行の制御信号ＰＴＸをハイレベルとし、転送トランジスタ１１２をオンとする。これにより、光電変換部１１１に蓄積された電荷がＦＤ１１３に転送される。ＦＤ１１３の電圧は転送された電荷に応じて低下し、Ｓ信号が増幅トランジスタ１１４のソースから選択トランジスタ１１５を介して垂直信号線ＶＬ１～ＶＬ４にそれぞれ出力される。すなわち、第１行～第４行の画素１１０の画素信号が同時に垂直信号線ＶＬ１～ＶＬ４を介して読み出される。
時刻ｔ１１２～ｔ１１３において、駆動部１２は第５行～第８行の制御信号ＰＳＥＬをハイレベルにした後に制御信号ＰＴＸをハイレベルとする。これにより、第５行～第８行の画素１１０から画素信号が順に垂直信号線ＶＬ１～ＶＬ４に出力される。このようにして、画素部１１において、４行毎に読み出し走査が行われる。読み出し走査の矩形内の数字は垂直信号線ＶＬ１～ＶＬ４に対応している。すなわち、第１行、第５行、第９行、・・・、第（４×Ｎ－３）行の画素１１０は垂直信号線ＶＬ１を介して読み出され、第２行、第６行、第１０、・・・、第（４×Ｎ－２）行の画素１１０は垂直信号線ＶＬ２を介して読み出される。また、第３行、第７行、第１１行、・・・、第（４×Ｎ－１）行の画素１１０は垂直信号線ＶＬ３を介して読み出され、第４行、第８行、第１２行、・・・、第（４×Ｎ）行の画素１１０は垂直信号線ＶＬ４を介して読み出される。
なお、駆動部１２は通常読み出しの駆動だけでなく様々な駆動を行ってもよく、例えば、ＮＵＬＬ画素の読み出しを行ってもよい。また、駆動部１２は、Ｎ信号を読み出した後に転送トランジスタがオフの状態でＳ信号を読み出すＮ－Ｎ読み出しの駆動を行ってもよい。さらに、駆動部１２は、所定の領域を繰り返し読み出す巡回読み出しの駆動を行い得る。
図４Ｂは本実施形態に係る駆動部１２による画素部１１の駆動を示す図であって、巡回読み出しの駆動を示している。図３Ａ、図３Ｂに示されるように、巡回読み出しはＯＢ領域１１ｂまたはＯＢ領域１１ｄにおいて行われ得る。
時刻ｔ２０１～ｔ２０２において、駆動部１２は第１行～第４行の選択トランジスタ１１５、転送トランジスタ１１２を順にオンとし、画素１１０からＮ信号及びＳ信号の画素信号を垂直信号線ＶＬ１～ＶＬ４に出力させる。同様に、時刻ｔ２０２～ｔ２０３において、駆動部１２は第５行～第８行の画素１１０から画素信号を垂直信号線ＶＬ１～ＶＬ４に出力させ、時刻ｔ２０３～ｔ２０４において、駆動部１２は第９行～第１２行の画素１１０から画素信号を垂直信号線ＶＬ１～ＶＬ４に出力させる。時刻ｔ２０４～２０５において、駆動部１２は再び第１行～第４行の画素１１０から画素信号を垂直信号線ＶＬ１～ＶＬ４に出力させ、時刻ｔ２０５～ｔ２０６において、駆動部１２は第５行～第８行の画素１１０から画素信号を垂直信号線ＶＬ１～ＶＬ４に出力させる。以下、同様に、第１行～第１２行の画素１１０において、４行毎に読み出し走査が繰り返し行われる。
上述の巡回読み出しにおいては、必ずしもシャッター走査は行われなくてもよく、この場合、読み出し走査の周期が蓄積時間に相当する。なお、読み出し走査と読み出し走査の間にシャッター走査が行われてもよいが、読み出し走査の周期が蓄積時間の上限になる。このように蓄積時間の制約はあるが、巡回読み出しは、小さな領域から短い時間に多くののデータを取得することが可能である。
図４Ｃは本実施形態に係る駆動部１２による画素部１１の駆動を示す図であって、巡回読み出し後に通常読み出しを行う駆動を示している。
以後の本実施形態の説明においては、ＯＢ領域１１ｂの一部が巡回読み出しされた後に、通常読み出しがなされるものとする。通常読み出しは、ＯＢ領域１１ｂにおいて巡回読み出しがなされなかった残りの領域、ＯＢ領域１１ｃ、開口領域１１ａなどにおいて実行され得る。なお、図３Ａに示すように、ＯＢ領域１１ｂの上側の領域が巡回読み出しに割り当てられ、ＯＢ領域１１ｂの下側の領域が通常読み出しに割り当てられても良い。また、図３Ｂに示すように、開口領域１１ａの下に位置するＯＢ領域１１ｄが巡回読み出しに割り当てられ、開口領域１１ａの上に位置するＯＢ領域１１ｂが通常読み出しに割り当てられても良い。開口領域１１ａにおいて巡回読み出しがなされる場合には、Ｎ－Ｎ読み出しがなされることが好ましい。いずれの場合であっても、巡回読み出しの後に通常読み出しが行われ得る。
以下の説明においては、巡回読み出しは、例えばＯＢ領域１１ｂのうちの１２行において行われるものとする。３水平走査期間分の読み出しが８回繰り返され、２４水平走査期間分の巡回読み出しデータが得られる。なお、巡回読み出しされたデータは事前データまたは基準データと称されることもあり、通常読み出しされたデータは本データと称されることもある。
巡回読み出し期間Ｔ１において、ＯＢ領域１１ｂのうちの１２行における４行毎の巡回読み出しが行われる。すなわち、時刻ｔ３０１～ｔ３０２において、駆動部１２は第１行～第４行の読み出し走査を行い、画素１１０からＮ信号及びＳ信号の画素信号を垂直信号線ＶＬ１～ＶＬ４に出力させる。同様に、駆動部１２は第５行～第８行の読み出し走査（時刻ｔ３０２～ｔ３０３）、第９行～第１２行の読み出し走査（時刻ｔ３０３～ｔ３０４）、第１行～第４行の読み出し走査（時刻ｔ３０４～ｔ３０５）を行う。さらに、時刻ｔ３０５～ｔ３０６において、駆動部１２は第５行～第８行の読み出し走査を行うとともに、開口領域１１ａの第１３行～第１６行におけるシャッター走査を行う。以下、同様に巡回読み出しに続いて、シャッター走査が行われる。巡回読み出し時における画素信号は後述する第１補正成分の初期値として用いられる。
巡回読み出し期間Ｔ１後の通常読み出し期間Ｔ２において、ＯＢ領域１１ｂにおいて巡回読み出しがなされなかった残りの領域、ＯＢ領域１１ｃ、開口領域１１ａにおける４行毎の通常読み出しが行われる。時刻ｔ３１０～ｔ３１１において、駆動部１２は第１３行～第１６行の画素１１０からＮ信号及びＳ信号の画素信号を垂直信号線ＶＬ１～ＶＬ４に出力させる。同様に、時刻ｔ３１１～ｔ３１２において、駆動部１２は第１７行～第２０行の画素１１０から画素信号を垂直信号線ＶＬ１～ＶＬ４に出力させる。期間Ｔ２０（時刻ｔ３１０～ｔ３１２）における画素信号は、後述するように、信号処理部１５のフィルタ部の初期値として用いられる。時刻ｔ３１２以後の期間Ｔ２１において、信号処理部１５は、通常読み出し時における画素信号を用いて、垂直位置に依存する第２補正成分を求める。また、信号処理部１５は、画素信号及び第２補正成分を用いて第１補正成分を順次、更新し続ける。詳細については後述する。
（信号処理部）
図５は本実施形態に係る信号処理部１５のブロック図である。信号処理部１５はベイヤー配列された色画素１１０の色ごとの演算部１５Ｒ、１５Ｂ、１５Ｇｒ、１５Ｇｂを含む。すなわち、信号処理部１５は、Ｒ画素１１０の信号を処理する演算部１５Ｒと、Ｂ画素１１０の信号を処理する演算部１５Ｂと、Ｇｒ画素１１０の信号を処理する演算部１５Ｇｒと、Ｇｂ画素１１０の信号を処理する演算部１５Ｇｂとを備える。演算部１５Ｒは、垂直信号線ＶＬ１、ＶＬ３を介して読み出されるＲ画素１１０の信号を処理し、演算部１５Ｂは、垂直信号線ＶＬ２、ＶＬ４を介して読み出されるＢ画素１１０の信号を処理する。また、演算部１５Ｇｒは垂直信号線ＶＬ１、ＶＬ３を介して読み出されるＧｒ画素１１０の信号を処理し、演算部１５Ｇｂは垂直信号線ＶＬ２、ＶＬ４を介して読み出されるＧｂ画素１１０の信号を処理する。
演算部１５Ｒは、ＣＤＳ演算部１５１Ｒ、１５２Ｒ、メモリ部１５３Ｒ、ＯＢクランプ演算部１５０Ｒ、データ出力部１５４Ｒを含む。ＣＤＳ演算部１５１Ｒ、１５２Ｒは読み出し部１４内の列メモリから、垂直信号線ＶＬ１を介して読み出されたＳ信号及びＮ信号の差分を演算し、メモリ部１５３Ｒへ出力する。すなわち、ＣＤＳ演算部１５１ＲはＲ画素１１０から垂直信号線ＶＬ１を介して読み出されたＳ信号Ｒ＿ＶＬ１ＳとＮ信号Ｒ＿ＶＬ１Ｎとの差分を演算する。同様に、ＣＤＳ演算部１５２ＲはＲ画素１１０から垂直信号線ＶＬ３を介して読み出されたＳ信号Ｒ＿ＶＬ３ＳとＮ信号Ｒ＿ＶＬ３Ｎとの差分を演算する。
メモリ部１５３Ｒは、垂直信号線ＶＬ１、ＶＬ３を介して読み出されたＲ画素１１０の２行分（１水平走査期間）のデータを保持可能である。メモリ部１５３Ｒは、１／２水平走査期間ごとに、垂直信号線ＶＬ１のデータと垂直信号線ＶＬ３のデータとを交互にＯＢクランプ演算部１５０Ｒへ出力する。このとき、メモリ部１５３Ｒは、各データが読み出された垂直信号線ＶＬを示す識別子（垂直信号線識別子）をデータに付加する。ＯＢクランプ演算部１５０Ｒは、主にＯＢ領域１１ｂのデータを用いてＯＢ値を算出し、開口領域１１ａのデータからＯＢ値を減算することにより、ＯＢクランプ機能（ＯＢ値補正機能）を実現する。ＯＢ値には暗電流、回路依存の成分などが含まれており、ＯＢ値は垂直信号線ＶＬごとに異なる値、すなわち垂直線差を含んでいる。このため、ＯＢクランプ演算部１５０Ｒは、垂直信号線ＶＬ１のＯＢ値と垂直信号線ＶＬ３のＯＢ値をそれぞれ別に算出している。ＯＢクランプ演算部１５０Ｒは、ＯＢクランプされたデータをデータ出力部１５４Ｒに出力する。データ出力部１５４Ｒは入力されたデータを所定のフォーマットに変換し、装置外へ出力する。
他の演算部１５Ｂ、１５Ｇｒ、１５Ｇｂも演算部１５Ｒと同様に構成されている。すなわち、演算部１５Ｂは垂直信号線ＶＬ２、ＶＬ４から読み出されたＢ画素１１０のデータのＣＤＳ処理、ＯＢクランプを実行可能である。また、演算部Ｇｒは垂直信号線ＶＬ１、ＶＬ３から読み出されたＧｒ画素１１０のデータのＣＤＳ処理、ＯＢクランプを実行し、演算部１５Ｇｂは垂直信号線ＶＬ２、ＶＬ４から読み出されたＧｂ画素１１０のデータのＣＤＳ処理、ＯＢクランプを実行可能である。このようにして、演算部１５Ｒ、１５Ｂ、１５Ｇｒ、１５Ｇｂは色画素１１０の色ごとのＯＢ補正値の算出、ＯＢクランプを実行することができる。
（ＯＢクランプ演算部）
図６は演算部１５ＲにおけるＯＢクランプ演算部１５０Ｒのブロック図である。他のＯＢクランプ演算部１５０Ｂ、１５０Ｇｒ、１５０Ｇｂも同様に構成されているため、以下、ＯＢクランプ演算部１５０Ｒについて説明する。図６に示されるように、ＯＢクランプ演算部１５０Ｒは、キズ補正部１５０１、平均部１５０２、第１処理部１５０３、第２処理部１５０４、減算部１５０５、制御部１５０６を含む。ＯＢクランプ演算部１５０Ｒに入力されたデータにおいてＯＢ値算出が行われる場合には、当該データはキズ補正部１５０１へ入力される。また、ＯＢクランプ演算部１５０Ｒに入力されたデータにおいてＯＢクランプが行われる場合には、当該データは減算部１５０５へ入力される。
キズ補正部１５０１は、所定の値、あるいは第２処理部１５０４によって算出されたＯＢ値を基準値として、キズ補正処理を行う。具体的には、キズ補正部１５０１は、基準値に所定の演算を実行することによりＯＢ値の正常範囲を求め、正常範囲外のデータをキズデータとして判定する。キズデータと判定されたデータは、基準値に置き替えられ、若しくは削除される。これにより、正常範囲外のデータがＯＢ値算出に影響するのを回避することができる。
平均部１５０２は、１／２水平走査期間、すなわち垂直信号線ＶＬごとの１水平走査期間にわたってデータの積算値をデータ数で除算し、平均値を算出する。第１処理部１５０３は、平均部１５０２によって算出された平均値、及び第２処理部１５０４によって算出された第２補正成分を用いて、垂直信号線ＶＬごとに第１補正成分を算出する。第２処理部１５０４は、平均部１５０２によって算出された平均値、及び第１処理部１５０３によって算出された第１補正成分を用いて、第２補正成分を算出する。また、第２処理部１５０４は、第１補正成分と第２補正成分とからＯＢ値を算出し、減算部１５０５及びキズ補正部１５０１へＯＢ値を出力する。
減算部１５０５は、入力されたデータからＯＢ値を減算し、ＯＢクランプを行う。制御部１５０６は、ＯＢクランプ演算部１５０Ｒ全体の動作を制御する。例えば、制御部１５０６は、入力されたデータがＯＢ値算出の対象となる領域のデータであるか否かを判定する。さらに、制御部１５０６は、第１処理部１５０３及び第２処理部１５０４の動作モードの切り替えなどを制御する。
図７Ａ、図７Ｂ、図７Ｃ、図７Ｄは本実施形態に係る第１処理部１５０３、第２処理部１５０４のブロック図である。図７Ａは第１処理部１５０３、第２処理部１５０４の全体構成を示し、図７Ｂ、図７Ｃ、図Ｄにおいて、実線で示されたブロックは動作状態であることを表し、破線で示されたブロックは非動作状態であることを表している。
第１処理部１５０３は、減算部１５３０、フィルタ部１５３１、フィルタ部１５３２、平均値算出部１５３３、マルチプレクサ１５３４、１５３５を備える。マルチプレクサ１５３４、１５３５は複数のスイッチ回路を備え、信号処理部１５の動作状態に応じてそれぞれのスイッチ回路を切り替える。第１処理部１５０３は、図６の平均部１５０２から出力された平均値Ｒ１、Ｒ３において所定の信号処理を行い、垂直信号線ＶＬに依存する第１補正成分Ｖａを算出する。第２処理部１５０４は、減算部１５４０、フィルタ部１５４１、加算部１５４２を備え、第１補正成分Ｖａを用いて、垂直位置に応じた第２補正成分Ｖｂを更新する。加算部１５４２は、第１補正成分Ｖａと第２補正成分Ｖｂとの加算値をＯＢ値として出力する。
上述の構成において、同等の機能が奏される限り、各部はハードウェア構成を共有しても良い。例えば、フィルタ部１５３１、１５３２は交互に動作するため、フィルタ部１５３１、１５３２は共通の回路によって構成されても良い。
図７Ｂは、本実施形態に係る第１処理部１５０３、第２処理部１５０４のブロック図であって、図４Ｃの巡回読み出し期間Ｔ１（時刻ｔ３０１～ｔ３１０）における動作状態を示している。フィルタ部１５３１は、図６の平均部１５０２からの平均値のデータＲ１の積算値を水平走査期間数で除算した平均値Ｖａ１を算出する。すなわち、フィルタ部１５３１は同期間における垂直信号線ＶＬ１のデータＲ１の平均値Ｖａ１を算出する。同様に、フィルタ部１５３２は同期間における垂直信号線ＶＬ３のデータＲ３の平均値Ｖａ３を算出する。このようにして、フィルタ部１５３１、１５３２は巡回読み出しされたデータＲ１、Ｒ３に基づき、垂直信号線ＶＬごとの平均値Ｖａ１、Ｖａ３を算出する。さらに、平均値算出部１５３３は、平均値Ｖａ１および平均値Ｖａ３の平均値Ｖａ０を算出する。平均値Ｖａ０は、巡回読み出し期間の全垂直信号線ＶＬのデータの平均値を表している。算出された平均値Ｖａ１、Ｖａ３、Ｖａ０は後述する第１補正成分の初期値として、垂直信号線識別子に応じて分類され、フィルタ部１５３１、フィルタ部１５３２、平均値算出部１５３３に保持される。巡回読み出しの終了時（時刻ｔ３１０）において、フィルタ部１５３１、１５３２、平均値算出部１５３３に保持されている第１補正成分Ｖａ１、Ｖａ３、Ｖａ０はそれぞれ以下の式で表される。
上述の式１～式３において、「Ｒ１，ｋ」、「Ｒ３，ｋ」は、第ｋ水平走査期間における垂直信号線ＶＬ１、ＶＬ３の巡回読み出し時のデータＲ１、Ｒ３を示している。「Ｎ１」は巡回読み出しの水平走査期間数を示し、「ｋ」は第１～第Ｎ１のうちの第ｋの水平走査期間を示している。
一般に、垂直線差は蓄積時間には依存しないため、第１補正成分Ｖａ１と第１補正成分Ｖａ３との差は垂直線差に相当する。１水平走査期間毎の巡回読み出し時のデータＲ１、Ｒ３をさらにＮ１の水平走査期間において平均化することにより、データＲ１、Ｒ３に含まれるランダムノイズが低減される。なお、初期値としての第１補正成分Ｖａ１、Ｖａ３、Ｖａ０はそれぞれの対象領域（垂直信号線ＶＬ）の代表値であればよく、例えば中央値などでもよい。
図７Ｃは、本実施形態に係る第１処理部１５０３、第２処理部１５０４のブロック図であって、図４Ｃの通常読み出し期間Ｔ２０（時刻ｔ３１０～ｔ３１２）における動作状態を示している。上述したように、期間Ｔ２０には、通常読み出し期間Ｔ２の最初のいくつかの水平走査期間の通常読み出し時のデータＳ１、Ｓ３が含まれている。期間Ｔ２０におけるデータＳ１、Ｓ３は、フィルタ部１５４１の初期値の算出に用いられる。平均部１５０２によって平均化されたデータＳ１、Ｓ３は第２処理部１５０４に入力される。また、平均値算出部１５３３において算出された第１補正成分Ｖａは第２処理部１５０４へ出力され、減算部１５４０はデータＳ１、Ｓ３と第１補正成分Ｖａとの差分を算出する。フィルタ部１５４１は、当該差分の積算値を水平走査期間数Ｎ２で除算した平均値Ｖｂ０を求める。平均値Ｖｂ０は後述する第２補正成分Ｖｂの初期値として用いられる。通常読み出しの最初の期間Ｔ２０が終わった時点（時刻ｔ３１２）において、フィルタ部１５４１に保持されている第２補正成分Ｖｂ０は式４で表される。
上述の式４において、「Ｎ２」は、期間Ｔ２０における水平走査期間数を表し、「Ｓ１，ｋ」、「Ｓ３，ｋ」は、通常読み出し領域の第ｋ水平走査期間における垂直信号線ＶＬ１、ＶＬ３の通常読み出し時のデータＳ１、Ｓ３を表している。データＳ１、Ｓ３の和から式３によって算出された第１補正成分Ｖａ０を減算することにより、巡回読み出し時のデータＲ１、Ｒ３と通常読み出し時のデータＳ１、Ｓ３のレベル差（ＤＣ差）が低減される。これにより、後述する平滑化処理の連続性を確保し、急激な値の変化を抑えることが可能となる。なお、データＲ１、Ｒ３とデータＳ１、Ｓ３とのレベル差は主に蓄積時間の違いに起因している。
図７Ｄは、本実施形態に係る第１処理部１５０３、第２処理部１５０４のブロック図であって、図４Ｃの通常読み出し期間Ｔ２１（時刻ｔ３１２以後）における動作状態を示している。期間Ｔ２１においては、第Ｎ２水平走査期間以後の通常読み出しが行われる。減算部１５３０は、平均部１５０２から出力されたデータＳ１、Ｓ３と、第２補正成分Ｖｂとの差分に基づき、第１補正成分Ｖａ１、Ｖａ３を順次更新する。算出された差分は、垂直信号線識別子に応じて分類され、フィルタ部１５３１またはフィルタ部１５３２へ入力される。フィルタ部１５３１、１５３２は、入力された差分とフィルタ部１５３１、１５３２に保持された現在までの演算結果とを用いて平滑化処理（ローパスフィルタ処理）を行う。平滑化処理は、例えば以下の１次ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）処理によって実行され得る。
Ｖａ１，Ｎ＝｛Ｖａ１，(Ｎ－１)×Ａ１＋（Ｓ１，Ｎ－Ｖｂ(Ｎ－１)）×（１－Ａ１）｝ （式５）
Ｖａ３，Ｎ＝｛Ｖａ３，(Ｎ－１)×Ａ１＋（Ｓ３，Ｎ－Ｖｂ(Ｎ－１)）×（１－Ａ１）｝ （式６）
上述の式５、式６において、「Ａ１」は、１次ＩＩＲ処理の減衰係数を示し、０＜Ａ１＜１の範囲の値である。また、「Ｖａ１，Ｎ」、「Ｖａ３，Ｎ」は、垂直信号線ＶＬ１、ＶＬ３のそれぞれの第Ｎの水平走査期間において更新された第１補正成分Ｖａを表し、「Ｖｂ（Ｎ－１）」は第（Ｎ－１）の水平走査期間における第２補正成分Ｖｂを表している。すなわち、垂直信号線ＶＬごとの第１補正成分Ｖａは、垂直位置に依存する第２補正成分Ｖｂ及びデータＳを用いて更新される。
なお、減算部１５３０は必須ではなく、入力されたデータ「Ｓ１，Ｎ」、「Ｓ３，Ｎ」がフィルタ部１５３１、１５３２へ入力されてもよい。但し、画像に急峻な垂直シェーディングがある場合には、減算部１５３０が設けられることが好ましい。以下、理由を詳述する。式５、式６の演算結果の更新は１水平走査期間ごとに１回のみ行われる。このため、画像に急峻な垂直シェーディングがある場合、垂直シェーディングを平滑化するには、比較的に大きな減衰係数Ａ１が必要となる。すなわち、急峻な垂直シェーディングに追従するためには、ローパスフィルタのカットオフ周波数を高く設定する必要がある。一方、ノイズの影響を回避するためには、高感度撮影時などにおいて小さい減衰係数Ａ１が望ましい。このため、減衰係数Ａ１は相反する要因間のトレードオフによって定められ得る。減算部１５３０が設けられている場合には、データＳ１、Ｓ３から第２補正成分Ｖｂが減算されるため、急峻な垂直シェーディングの影響は低減され得る。フィルタ部１５４１の演算結果の更新は１水平走査期間に２回行われるため、フィルタ部１５３１、１５３２に比べて急峻な垂直シェーディングへの追従を容易に行うことができる。このように、減算部１５３０は、垂直シェーディングが大きい場合に特に有効である。
減算部１５４０は、入力されたデータＳ１、Ｓ３と第１補正成分Ｖａ１、Ｖａ３とのそれぞれの差分を算出する。第１補正成分Ｖａ１、Ｖａ３は垂直線差を含むため、第１補正成分Ｖａ１、Ｖａ３が減算された差分において、垂直線差は低減され、または含まれない。減算部１５４０による差分はフィルタ部１５４１へ入力される。垂直信号線ＶＬ１のデータＳ１と垂直信号線ＶＬ３のデータＳ３は１／２の水平走査期間ごとにフィルタ部１５４１に交互に入力される。フィルタ部１５４１は、入力された差分と、フィルタ部１５４１に保持された演算結果とを用いて平滑化処理を行う。平滑化処理は、例えば以下の１次ＩＩＲ処理によって実施され得る。
ＶｂＮ＝｛ＶｂＮ－（１／２） ×Ａ２＋（Ｓｉ，Ｎ－Ｖａｉ，Ｎ）×（１－Ａ２）｝ （式７）
上述の式７において、「ｉ」は垂直信号線の識別番号を示している。「Ａ２」は、１次ＩＩＲ処理の減衰係数を示し、０＜Ａ２＜１の範囲の値である。「ＶｂＮ」は第Ｎ水平走査期間の第２補正成分を表している。第２補正成分ＶｂＮは、垂直位置に応じて異なり得るが、垂直信号線ＶＬ１、ＶＬ３に共通の値である。式７において、垂直信号線ＶＬ１のデータＳ１に対しては、フィルタ部１５３１の演算結果である第１補正成分Ｖａ１が参照され、垂直信号線ＶＬ３のデータＳ３に対しては、フィルタ部１５３２の演算結果である第１補正成分Ｖａ３が参照される。第２補正成分Ｖｂは、垂直信号線ＶＬに依存せず垂直信号線ＶＬ１、ＶＬ３に共通である。このため、垂直信号線ＶＬ１のデータＳ１から求められた第２補正成分Ｖｂが垂直信号線ＶＬ３の第２補正成分Ｖｂに対して参照され、垂直信号線ＶＬ３のデータＳ３から求められた第２補正成分Ｖｂが垂直信号線ＶＬ１の第２補正成分Ｖｂに参照され得る。式７における「ＶｂＮ－（１／２） 」は、１／２の水平走査期間前の第２補正成分Ｖｂから次の第２補正成分Ｖｂが求められることを表している。垂直方向のシェーディングが存在していたとしても、フィルタ部１５３２は、垂直シェーディングに追従しながらノイズを低減した第２補正成分Ｖｂを出力することができる。
加算部１５４２は、それぞれ更新された第１補正成分Ｖａ及び第２補正成分Ｖｂを加算し、加算値をＯＢ値（オフセット値）として出力する。ＯＢクランプ演算部１５０の減算部１５０５は開口領域１１ａにおける画素データからＯＢ値を減算することにより、垂直線差、及び垂直方向のシェーディングなどを低減したＯＢ値補正を実現することが可能となる。
以上述べたように、本実施形態における光電変換装置は、ＯＢ値を第１補正成分と第２補正成分とに分解し、第２補正成分を用いて第１補正成分を順次、更新している。まず、巡回読み出し時のデータＲから垂直線差を含む複数の第１補正成分Ｖａが求められる。複数の垂直信号線ＶＬのそれぞれの第１補正成分Ｖａは、複数の第１補正成分に共通の第２補正成分、及び通常読み出し時のデータＳを用いて順次、更新される。このため、本実施形態によれば、多くのＯＢ領域を設けることなく、高精度のＯＢ補正を実現することが可能となる。
特に、本実施形態における光電変換装置は、通常読み出し時のデータＳから第１補正成分Ｖａを減算し、垂直信号線ＶＬに依存しない第２補正成分Ｖｂを求めている。このため、第２補正成分Ｖｂを算出する際に垂直信号線ＶＬごとに分離して補正値を求める必要がなく、少ないデータ及びＯＢ領域で高精度のＯＢ補正が可能となる。
また、第１補正成分Ｖａの初期値は、巡回読み出しによってより少ない領域のデータＲから算出され得る。ノイズ量に応じて巡回読み出しの繰り返し数を設定することにより、小さい領域から高精度に垂直線差を求めることができる。
ここで、本実施形態の効果について他の構成と比較しながら説明する。一般に、ＯＢ値は、水平位置に依存する成分、垂直位置に依存する成分、位置に依存しない成分を含む。本実施形態におけるＯＢクランプは、垂直位置依存の成分と位置非依存の成分との補正を対象とし、水平位置非依存の成分については別の構成によって補正されてもよい。垂直位置に依存する成分及び位置に依存しない成分は、それぞれ垂直信号線ＶＬに依存する成分とそれ以外の暗電流などの成分とを含む。ここで、垂直位置に依存する成分のうち、垂直信号線に依存する成分は小さいものと仮定する。
ＯＢ補正の他の方法としては、行ごとのデータを求め、垂直信号線ごとに独立に垂直方向のデータを平滑化することにより、ＯＢ値を求めることが考えられる。この方法においては、ランダムノイズを低減するために垂直信号線の数に応じて大きなＯＢ領域が必要になる。また、サンプリング間隔が広がり、垂直シェーディングへの追従が困難になる。
一方、本実施形態においては、上述したように、ＯＢ値は第１補正成分Ｖａと第２補正成分Ｖｂとに分解され、第２補正成分Ｖｂを用いて第１補正成分Ｖａが順次、更新される。このため、第２補正成分Ｖｂを算出する際に垂直信号線ＶＬごとに分離して補正値を求める必要がなく、また、垂直信号線ＶＬの数に応じた多くのＯＢ領域を設ける必要もない。また、通常読み出し時のデータＳにおいて、第１補正成分Ｖａは順次、更新されるため、第１補正成分Ｖａは垂直シェーディングに追従することができる。従って、本実施形態によれば、多くのＯＢ領域を要することなく、高精度にＯＢ値を求めることが可能となる。
なお、上述の説明において、垂直信号線ＶＬの数を４として説明したが、垂直信号線ＶＬの数は２以上の任意の数であり得る。また、第１補正成分Ｖａは、垂直信号線ＶＬごとに分類（算出）されているが、他の回路要素のグループ毎に分類されてもよい。例えば、フローティングディフュージョンが複数の画素で共有されている場合、フローティングディフュージョンに電荷を転送する画素の順序に応じて、ＯＢ値に差が生じ得る。この場合、フローティングディフュージョンＦＤを使う画素の順序に応じて、第１補正成分Ｖａが分類されても良い。また、画素が複数の光電変換部を備える測距用の画素である場合、画素の駆動方法に応じて第１補正成分Ｖａが分類されてもよい。例えば、Ａ像、Ｂ像、Ａ＋Ｂ像のそれぞれの読み出し方法ごとに、第１補正成分Ｖａが分類されても良い。さらに、Ａ像が間欠的に読み出される場合、Ａ像を読み出す行か否かに応じて第１補正成分Ｖａが分類されても良い。また、複数の分類が組み合わされても良い。分類の数が多いほど、高精度にＯＢ値を求める効果が高まる。
さらに、フィルタ部１５３１、１５３２、１５４１は１次ＩＩＲとして説明したが、２次ＩＩＲなど他のＩＩＲ、またはＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）などでも良い。
また、巡回読み出しにおいて、さらにＮ－Ｎ読み出し、ＮＵＬＬ読み出しが組み合わされても良い。もしくは、通常読み出しにおいて垂直走査が間引きされ、すべての行が読み出されてない場合、読み出されない行がＯＢ値の算出のために用いられても良い。なお、ＯＢ値の算出に用いられる画素１１０が開口領域１１ａに含まれる場合、Ｎ－Ｎ読み出しが望ましい。このように様々な読み出し方法を用いて、垂直線差などのＯＢ値を求めることができる。
巡回読み出しの巡回数（水平走査期間数Ｎ１）は任意に設定され得る。巡回数は多いほど、第１補正成分Ｖａの初期値に含まれるノイズが低減される。一方、消費電力、フレームレートの観点からは、巡回数は少ないことが好ましい。巡回数は複数の要因におけるトレードオフによって定められ得る。例えば、垂直走査のモード、ＩＳＯ感度、温度などに応じて、巡回数が動的に変更されてもよい。
第１補正成分Ｖａの分類のために垂直信号線識別子が用いられたが、垂直信号線識別子は１／２の水平走査期間ごとに切り替わる。このため、垂直信号線識別子は必須ではなく、水平走査のタイミングから垂直信号線が判別されても良い。
［第２実施形態］
続いて、本実施形態における光電変換システムを説明する。第１実施形態では、光電変換装置内においてＯＢクランプ演算が行われていたが、本実施形態では光電変換装置外でＯＢクランプ演算が行われ得る。
図８は、本実施形態における光電変換システムの構成例を示す。光電変換システムは、光電変換装置１０、演算装置８０を含む。演算装置８０は、通信線２０を介して光電変換装置１０からデータを受け取り、コンピュータプログラムを実行することにより所定の補正演算を実行可能である。通信線２０は有線、無線を問わず、また、公衆無線通信、近距離無線通信であってもよい。演算装置８０は、第１実施形態におけるＯＢクランプ演算部１５０の機能を実行可能であって、ＯＢクランプ演算部１５０に入力されるデータを受信する。演算装置８０は、巡回読み出しデータ及び通常読み出しデータを含む１フレームのデータを演算装置８０内のメモリに格納し、演算処理においてメモリに格納されたデータを繰り返し参照することができる。なお、演算装置８０はスタンドアロンのパーソナルコンピュータであっても良く、エッジ端末、あるいはクラウド上のサーバなどでも良い。
図９は本実施形態における演算装置８０の動作を表すフローチャートである。ステップＳ１０１において、演算装置８０は、メモリに格納された１フレームのデータの第１領域から垂直信号線ごとに第１補正成分Ｖａを算出する。ここで、第１領域はＯＢ領域１１ｂなどに対応するデータ領域であり得る。演算装置８０は、巡回読み出し時のデータＲを垂直信号線ＶＬごとに分類し、分類されたデータＲのそれぞれの平均値を算出する。平均値の算出方法は第１実施形態の式１及び式２と同様である。ここで算出された平均値は第１補正成分Ｖａの初期値として用いられる。
ステップＳ１０２において、演算装置８０は１フレームのデータの補正値算出領域である第２領域において、行ごとに平均値Ｓを算出する。なお、ステップＳ１０１とステップＳ１０２のそれぞれの処理は独立しているため、ステップＳ１０２の処理がステップＳ１０１の処理に先立って実行されてもよい。
ステップＳ１０３において、演算装置８０はステップＳ１０２で算出された平均値Ｓから垂直信号線ＶＬの第１補正成分Ｖａを減算した差分を算出する。
ステップＳ１０４において、演算装置８０はステップＳ１０３で算出された差分値を垂直方向に曲線近似する。図１０は本実施形態に係る曲線近似の例を示す図である。図１０において、横軸は差分を示し、縦軸は垂直位置（画像のＹ座標）を示している。各点は、行ごとの差分に対応し、実線は差分を関数近似した曲線を示している。このように、曲線近似によって垂直方向のシェーディング成分に対応した補正値を得ることができる。曲線は例えばＹ座標に対する多項式によって近似されても良く、あるいはスプライン曲線などの任意の関数によって近似されても良い。このようにして求められた曲線は、垂直位置Ｎによって異なる値を有する第２補正成分Ｖｂとなる。
ステップＳ１０５において、演算装置８０はステップＳ１０２で算出された各行の平均値Ｓから、ステップＳ１０４における第２補正成分Ｖｂを減算した差分を算出する。
ステップＳ１０６において、演算装置８０はステップＳ１０５における差分に対して、ステップＳ１０４と同様に曲線近似を行う。曲線は垂直信号線ＶＬごとに求められる。演算装置８０は得られた曲線を第１補正成分Ｖａとして更新する。
ステップＳ１０７において、演算装置８０は更新が収束しているか判断する。すなわち、演算装置８０は、ステップＳ１０４、Ｓ１０６における更新処理において、更新前の第１補正成分Ｖａ及び第２補正成分Ｖｂと更新後の第１補正成分Ｖａ及び第２補正成分Ｖｂとの差分をそれぞれ算出し、差分が所定値以下であるか否かを判断する。更新が収束していない場合、すなわち差分が所定値を超えている場合（ステップＳ１０７でＮＯ）、演算装置８０はステップＳ１０３～Ｓ１０７の処理を繰り返す。更新が収束している場合、すなわち差分が所定値以下である場合（ステップＳ１０７でＹＥＳ）、演算装置８０はステップＳ１０８の処理を実行する。演算装置８０は、差分が収束するまで、ステップＳ１０３～ステップＳ１０７の処理を繰り返し、第１補正成分Ｖａ及び第２補正成分Ｖｂを更新し続ける。これにより、第１補正成分Ｖａ及び第２補正成分Ｖｂの誤差が低減される。
ステップＳ１０８においては、演算装置８０はステップＳ１０４における第２補正成分Ｖｂ及びステップＳ１０６における第１補正成分Ｖａを加算したＯＢ値を算出する。演算装置８０は開口領域１１ａにおける画素データからＯＢ値を減算し、高精度のＯＢ補正を実行することが可能となる。
以上により、演算装置８０における補正演算が行われる。本実施形態においては、データが繰り返し参照されるため、比較的に大きなメモリが必要になるが、高精度な補正が可能となる。
なお、本実施形態では、垂直方向のシェーディングに対応するため、垂直方向の曲線を求めたが、水平方向のシェーディングを含めて対応するため、垂直方向、水平方向、画素値の３次元空間において曲面近似がなされても良い。
［第３実施形態］
本実施形態における撮像システムを説明する。図１１は、本実施形態に係る撮像システムの概略構成を示すブロック図である。図１１に例示した撮像システム２００は、撮像装置２０１、被写体の光学像を撮像装置２０１に結像させるレンズ２０２、レンズ２０２を通過する光量を可変にするための絞り２０４、レンズ２０２の保護のためのバリア２０６を有する。レンズ２０２、絞り２０４は、撮像装置２０１に光を集光する光学系である。撮像装置２０１は、第１または第２実施形態で説明した光電変換装置１０であって、レンズ２０２により結像された光学像を画像データに変換する。
撮像システム２００は、また、撮像装置２０１より出力される出力信号の処理を行う信号処理部２０８を有する。信号処理部２０８は、撮像装置２０１が出力するデジタル信号から画像データの生成を行う。また、信号処理部２０８は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置２０１は、信号処理部２０８で処理されるデジタル信号を生成するＡＤ変換部を備え得る。ＡＤ変換部は、撮像装置２０１の光電変換部が形成された半導体層（半導体基板）に形成されていてもよいし、撮像装置２０１の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部２０８が撮像装置２０１と同一の半導体基板に形成されていてもよい。
撮像システム２００は、更に、画像データを一時的に記憶するためのメモリ部２１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）２１２を有する。更に撮像システム２００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体２１４、記録媒体２１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）２１６を有する。なお、記録媒体２１４は、撮像システム２００に内蔵されていてもよく、着脱可能であってもよい。
更に撮像システム２００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部２１８、撮像装置２０１と信号処理部２０８に各種タイミング信号を出力するタイミング発生部２２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム２００は少なくとも撮像装置２０１と、撮像装置２０１から出力された出力信号を処理する信号処理部２０８とを有すればよい。
撮像装置２０１は、撮像信号を信号処理部２０８に出力する。信号処理部２０８は、撮像装置２０１から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部２０８は、撮像信号を用いて、画像を生成する。
このように、本実施形態によれば、第１乃至第５実施形態による光電変換装置１０を適用した撮像システムを実現することができる。
［第４実施形態］
本実施形態における撮像システム及び移動体について説明する。図１２は、本実施形態に係る撮像システム及び移動体の構成を示す図である。
図１２（ａ）は、車載カメラに関する撮像システムの一例を示したものである。撮像システム３００は、撮像装置３１０を有する。撮像装置３１０は、上記第１乃至第６実施形態のいずれかに記載の光電変換装置１０である。撮像システム３００は、撮像装置３１０により取得された複数の画像データに対し、画像処理を行う画像処理部３１２と、撮像システム３００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部３１４を有する。また、撮像システム３００は、算出された視差に基づいて対象物までの距離を算出する距離取得部３１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部３１８と、を有する。ここで、視差取得部３１４や距離取得部３１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部３１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。
撮像システム３００は車両情報取得装置３２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御手段である制御ＥＣＵ３３０が接続されている。また、撮像システム３００は、衝突判定部３１８での判定結果に基づいて、ドライバーへ警報を発する警報装置３４０とも接続されている。例えば、衝突判定部３１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ３３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置３４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム３００で撮像する。図１２（ｂ）は、車両前方（撮像範囲３５０）を撮像する場合の撮像システムを示す。車両情報取得装置３２０が、撮像システム３００ないしは撮像装置３１０に指示を送る。このような構成により、測距の精度をより向上させることができる。
上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
［第５実施形態］
本実施形態における機器について説明する。図１３は、本実施形態に係る機器の概略構成を示すブロック図である。
図１３は、光電変換装置ＡＰＲを含む機器ＥＱＰを示す模式図である。光電変換装置ＡＰＲは、第１実施形態の光電変換装置１０の機能を備える。光電変換装置ＡＰＲの全部又は一部が、半導体デバイスＩＣである。本例の光電変換装置ＡＰＲは、例えば、イメージセンサやＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）センサ、測光センサ、測距センサとして用いることができる。半導体デバイスＩＣは、光電変換部を含む画素回路ＰＸＣが行列状に配列された画素エリアＰＸを有する。半導体デバイスＩＣは画素エリアＰＸの周囲に周辺エリアＰＲを有することができる。周辺エリアＰＲには画素回路以外の回路を配置することができる。
光電変換装置ＡＰＲは、複数の光電変換部が設けられた第１半導体チップと、周辺回路が設けられた第２半導体チップとを積層した構造（チップ積層構造）を有していてもよい。第２半導体チップにおける周辺回路は、ぞれぞれ、第１半導体チップの画素列に対応した列回路とすることができる。また、第２半導体チップにおける周辺回路は、それぞれ、第１半導体チップの画素あるいは画素ブロックに対応したマトリクス回路とすることもできる。第１半導体チップと第２半導体チップとの接続は、貫通電極（ＴＳＶ）、銅等の導電体の直接接合によるチップ間配線、チップ間のマイクロバンプによる接続、ワイヤボンディングによる接続などを採用することができる。
光電変換装置ＡＰＲは、半導体デバイスＩＣの他に、半導体デバイスＩＣを収容するパッケージＰＫＧを含みうる。パッケージＰＫＧは、半導体デバイスＩＣが固定された基体と、半導体デバイスＩＣに対向するガラス等の蓋体と、基体に設けられた端子と半導体デバイスＩＣに設けられた端子とを接続するボンディングワイヤやバンプ等の接続部材と、を含みうる。
機器ＥＱＰは、光学装置ＯＰＴ、制御装置ＣＴＲＬ、処理装置ＰＲＣＳ、表示装置ＤＳＰＬ、記憶装置ＭＭＲＹ、機械装置ＭＣＨＮのうちの少なくともいずれかを更に備えうる。光学装置ＯＰＴは、光電変換装置としての光電変換装置ＡＰＲに対応するものであり、例えばレンズやシャッター、ミラーである。制御装置ＣＴＲＬは、光電変換装置ＡＰＲを制御するものであり、例えばＡＳＩＣなどの半導体デバイスである。処理装置ＰＲＣＳは、光電変換装置ＡＰＲから出力された信号を処理するものであり、ＡＦＥ（アナログフロントエンド）あるいはＤＦＥ（デジタルフロントエンド）を構成する。処理装置ＰＲＣＳは、ＣＰＵ（中央処理装置）やＡＳＩＣ（特定用途向け集積回路）などの半導体デバイスである。表示装置ＤＳＰＬは、光電変換装置ＡＰＲで得られた情報（画像）を表示する、ＥＬ表示装置や液晶表示装置である。記憶装置ＭＭＲＹは、光電変換装置ＡＰＲで得られた情報（画像）を記憶する、磁気デバイスや半導体デバイスである。記憶装置ＭＭＲＹは、ＳＲＡＭやＤＲＡＭなどの揮発性メモリ、或いは、フラッシュメモリやハードディスクドライブなどの不揮発性メモリである。機械装置ＭＣＨＮは、モーターやエンジン等の可動部あるいは推進部を有する。機器ＥＱＰでは、光電変換装置ＡＰＲから出力された信号を表示装置ＤＳＰＬに表示したり、機器ＥＱＰが備える通信装置（不図示）によって外部に送信したりする。そのために、機器ＥＱＰは、光電変換装置ＡＰＲが有する記憶回路部や演算回路部とは別に、記憶装置ＭＭＲＹや処理装置ＰＲＣＳを更に備えることが好ましい。
図１３に示した機器ＥＱＰは、撮影機能を有する情報端末（例えばスマートフォンやウエアラブル端末）やカメラ（例えばレンズ交換式カメラ、コンパクトカメラ、ビデオカメラ、監視カメラ）などの電子機器でありうる。カメラにおける機械装置ＭＣＨＮはズーミングや合焦、シャッター動作のために光学装置ＯＰＴの部品を駆動することができる。また、機器ＥＱＰは、車両や船舶、飛行体などの輸送機器（移動体）でありうる。また、機器ＥＱＰは、内視鏡やＣＴスキャナーなどの医療機器でありうる。また、機器ＥＱＰは、内視鏡やＣＴスキャナーなどの医療機器でありうる。
輸送機器における機械装置ＭＣＨＮは移動装置として用いられうる。輸送機器としての機器ＥＱＰは、光電変換装置ＡＰＲを輸送するものや、撮影機能により運転（操縦）の補助及び／又は自動化を行うものに好適である。運転（操縦）の補助及び／又は自動化のための処理装置ＰＲＣＳは、光電変換装置ＡＰＲで得られた情報に基づいて移動装置としての機械装置ＭＣＨＮを操作するための処理を行うことができる。
本実施形態による光電変換装置ＡＰＲは、その設計者、製造者、販売者、購入者及び／又は使用者に、高い価値を提供することができる。そのため、光電変換装置ＡＰＲを機器ＥＱＰに搭載すれば、機器ＥＱＰの価値も高めることができる。よって、機器ＥＱＰの製造、販売を行う上で、本実施形態の光電変換装置ＡＰＲの機器ＥＱＰへの搭載を決定することは、機器ＥＱＰの価値を高める上で有利である。
［他の実施形態］
本発明は、上述の実施形態に限らず種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
１０ 光電変換装置
１１ 画素部
１１ａ 開口領域
１１ｂ～１１ｄ ＯＢ領域
１１０ 画素
１２ 駆動部
１４ 読み出し部
１５ 信号処理部
１５１、１５２ ＣＤＳ部
１５３ メモリ
１５０ ＯＢクランプ部
１５０３ 第１処理部
１５０４ 第２処理部

Claims (19)

  1. 行列状に配置された複数の画素を含む画素部と、
    第１の領域における前記画素を第１の方法で駆動し、第２の領域における前記画素を第２の方法で駆動する駆動部と、
    前記第１の領域及び前記第２の領域から読み出された画素値に基づき補正値を演算する演算部と、
    前記補正値に基づき、入射光に応じた画素値のオフセットを補正する補正部とを備え、
    前記演算部は、
    前記第１の領域から読み出された第１の画素値に基づき複数の第１の補正成分のそれぞれの初期値を算出し、
    前記第２の領域から読み出された第２の画素値及び所定の第２の補正成分に基づき、前記複数の第１の補正成分のそれぞれを更新し、
    更新された前記第１の補正成分及び前記第２の補正成分を用いて前記補正値を算出することを特徴とする光電変換装置。
  2. 前記第２の補正成分は、前記第２の画素値と、前記複数の第１の補正成分のうちの１つとから算出されることを特徴とする請求項１に記載の光電変換装置。
  3. 前記第２の補正成分は、前記第２の画素値と前記複数の第１の補正成分のうちの１つとの差分から算出されることを特徴とする請求項１または２に記載の光電変換装置。
  4. 前記複数の第１の補正成分は、複数の前記第１の画素値の代表値であることを特徴とする請求項１乃至３のいずれか１項に記載の光電変換装置。
  5. 前記複数の第１の補正成分は、複数の前記第１の画素値の平均値であることを特徴とする請求項１乃至４のいずれか１項に記載の光電変換装置。
  6. 前記画素部の列に対応して設けられた複数の信号線を備え、
    前記第１の補正成分は、前記信号線ごとに算出され、
    前記第２の補正成分は、前記複数の前記信号線に共通であって、前記画素部の行に応じた値であることを特徴とする請求項１乃至５のいずれか１項に記載の光電変換装置。
  7. 前記画素は複数の色画素を含み、
    前記第１の補正成分は、さらに前記色画素の色ごとに算出されることを特徴とする請求項６に記載の光電変換装置。
  8. 前記画素は第１の光電変換部及び第２の光電変換部を備え、
    前記第１の補正成分は、さらに前記第１の光電変換部及び前記第２の光電変換部のそれぞれの電荷の読み出し方法ごとに算出されることを特徴とする請求項６または７に記載の光電変換装置。
  9. 前記第１の方法及び前記第２の方法は蓄積時間において異なることを特徴とする請求項１に記載の光電変換装置。
  10. 前記第１の方法は、所定の領域を繰り返し読み出す巡回読み出しであることを特徴とする請求項１乃至９のいずれか１項に記載の光電変換装置。
  11. ＩＳＯ感度、温度、前記駆動部による駆動方法の少なくともいずれかによって前記巡回読み出しの回数を変更することを特徴とする請求項１０に記載の光電変換装置。
  12. 前記信号線の識別子が「ｉ」、前記第２の画素値が「Ｓ」、前記第１の補正成分が「Ｖａ」、前記第２の補正成分が「Ｖｂ」でそれぞれ表される場合、
    第ｉの前記信号線の第Ｎの水平走査期間における前記第１の補正成分（Ｖａｉ，Ｎ）は、前記第２の画素値と前記第２の補正成分との差分（Ｓｉ，Ｎ－Ｖｂ(Ｎ－１)）に基づき、水平走査期間ごとに算出されることを特徴とする請求項６に記載の光電変換装置。
  13. ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）処理の係数Ａ１が０＜Ａ１＜１である場合、前記第１の補正成分（Ｖａｉ，Ｎ）は、
    Ｖａｉ，Ｎ＝｛Ｖａｉ，(Ｎ－１)×Ａ１＋（Ｓｉ，Ｎ－Ｖｂ(Ｎ－１)）×（１－Ａ１）｝
    の式に従い算出されることを特徴とする請求項１２に記載の光電変換装置。
  14. 第Ｎの水平走査期間における前記第２の補正成分（ＶｂＮ）は、前記第２の画素値と前記第１の補正成分との差分（Ｓｉ，Ｎ－Ｖａｉ，Ｎ）に基づき算出されることを特徴とする請求項１２または１３に記載の光電変換装置。
  15. ＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）処理の係数Ａ２が０＜Ａ２＜１である場合、前記第２の補正成分（ＶｂＮ）は、
    ＶｂＮ＝｛Ｖｂ Ｎ－（１／２)×Ａ２＋（Ｓｉ，Ｎ－Ｖａｉ，Ｎ）×（１－Ａ２）｝
    の式に従い算出されることを特徴とする請求項１２乃至１４のいずれか１項に記載の光電変換装置。
  16. 前記第１の領域における水平走査期間数が「Ｎ１」、前記第１の画素値が「Ｒ」、第１～第Ｎ１のうちの第ｋの水平走査期間が「ｋ」で表される場合、前記第１の補正成分（Ｖａｉ）の前記初期値は、
    の式に従い算出されることを特徴とする請求項１２乃至１５のいずれか１項に記載の光電変換装置。
  17. 請求項１乃至１６のいずれか１項に記載の光電変換装置と、
    前記光電変換装置から出力される信号を処理する信号処理部と
    を有することを特徴とする撮像システム。
  18. 移動体であって、
    請求項１乃至１６のいずれか１項に記載の光電変換装置と、
    前記光電変換装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。
  19. 請求項１乃至１６のいずれか１項に記載の光電変換装置と、
    前記光電変換装置に対応する光学装置、
    前記光電変換装置を制御する制御装置、
    前記光電変換装置から出力された信号を処理する処理装置、
    前記光電変換装置で得られた情報に基づいて制御される機械装置、
    前記光電変換装置で得られた情報を表示する表示装置、及び、
    前記光電変換装置で得られた情報を記憶する記憶装置、の少なくともいずれかと
    を備えることを特徴とする機器。
JP2021198679A 2021-12-07 2021-12-07 光電変換装置、画像処理方法、撮像システム、移動体、及び機器 Active JP7828163B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021198679A JP7828163B2 (ja) 2021-12-07 2021-12-07 光電変換装置、画像処理方法、撮像システム、移動体、及び機器
US18/057,870 US12262155B2 (en) 2021-12-07 2022-11-22 Photoelectric conversion device, image processing method, imaging system, mobile body, and equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021198679A JP7828163B2 (ja) 2021-12-07 2021-12-07 光電変換装置、画像処理方法、撮像システム、移動体、及び機器

Publications (3)

Publication Number Publication Date
JP2023084483A JP2023084483A (ja) 2023-06-19
JP2023084483A5 JP2023084483A5 (ja) 2024-12-16
JP7828163B2 true JP7828163B2 (ja) 2026-03-11

Family

ID=86607151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021198679A Active JP7828163B2 (ja) 2021-12-07 2021-12-07 光電変換装置、画像処理方法、撮像システム、移動体、及び機器

Country Status (2)

Country Link
US (1) US12262155B2 (ja)
JP (1) JP7828163B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024040915A (ja) 2022-09-13 2024-03-26 キヤノン株式会社 光電変換装置、光電変換システム、機器および移動体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300179A (ja) 2006-04-27 2007-11-15 Fujitsu Ltd 画像処理方法及び画像処理回路
JP2009005329A (ja) 2007-05-21 2009-01-08 Canon Inc 撮像装置及びその処理方法
JP2010068056A (ja) 2008-09-08 2010-03-25 Sony Corp 撮像装置、黒レベルの調整方法およびプログラム
US20190238770A1 (en) 2018-02-01 2019-08-01 Sony Semiconductor Solutions Corporation Hybrid calibration method for row and column noise correction

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013027513A1 (ja) 2011-08-19 2013-02-28 富士フイルム株式会社 撮像装置及びシェーディング補正方法
JP2013106186A (ja) 2011-11-14 2013-05-30 Canon Inc 撮像装置
JP6346479B2 (ja) * 2013-05-16 2018-06-20 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP2015082732A (ja) * 2013-10-22 2015-04-27 株式会社東芝 固体撮像装置
JP6494214B2 (ja) * 2014-08-11 2019-04-03 キヤノン株式会社 固体撮像装置、撮像システム及び固体撮像装置の駆動方法
JP6319140B2 (ja) 2015-03-03 2018-05-09 株式会社Ｊｖｃケンウッド 画像処理装置
US9961255B2 (en) * 2016-02-09 2018-05-01 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof, and storage medium
JP6739404B2 (ja) * 2017-06-29 2020-08-12 ルネサスエレクトロニクス株式会社 撮像素子
JP2020145555A (ja) 2019-03-05 2020-09-10 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US11237270B2 (en) * 2019-06-20 2022-02-01 Cilag Gmbh International Hyperspectral, fluorescence, and laser mapping imaging with fixed pattern noise cancellation
JP7417560B2 (ja) 2021-06-17 2024-01-18 キヤノン株式会社 光電変換装置、光電変換システム、輸送機器および信号処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300179A (ja) 2006-04-27 2007-11-15 Fujitsu Ltd 画像処理方法及び画像処理回路
JP2009005329A (ja) 2007-05-21 2009-01-08 Canon Inc 撮像装置及びその処理方法
JP2010068056A (ja) 2008-09-08 2010-03-25 Sony Corp 撮像装置、黒レベルの調整方法およびプログラム
US20190238770A1 (en) 2018-02-01 2019-08-01 Sony Semiconductor Solutions Corporation Hybrid calibration method for row and column noise correction

Also Published As

Publication number Publication date
JP2023084483A (ja) 2023-06-19
US20230179751A1 (en) 2023-06-08
US12262155B2 (en) 2025-03-25

Similar Documents

Publication Publication Date Title
JP7171649B2 (ja) 撮像装置および撮像システム
US11843880B2 (en) Photoelectric conversion device
JP6664259B2 (ja) 撮像装置、撮像システム、および、移動体
JP7814955B2 (ja) 光電変換装置及びその駆動方法
US12363463B2 (en) Photoelectric conversion device and method of driving photoelectric conversion device
US12108179B2 (en) Photoelectric conversion device and imaging system
JP7828163B2 (ja) 光電変換装置、画像処理方法、撮像システム、移動体、及び機器
JP7680860B2 (ja) 光電変換装置及び撮像システム
US20240284076A1 (en) Photoelectric conversion device, photoelectric conversion system, movable object and equipment
JP7551558B2 (ja) 信号処理装置
JP2024073687A (ja) 光電変換装置及び撮像システム
JP7598399B2 (ja) 信号処理装置及び光電変換装置
US12284453B2 (en) Photoelectric conversion device, imaging system, movable object, equipment, signal processing device and signal processing method
US12483810B2 (en) Photoelectric conversion device, photoelectric conversion system, movable object and equipment
US20250267379A1 (en) Photoelectric conversion device
US20250365522A1 (en) Photoelectric conversion device and photoelectric conversion system
US12369414B2 (en) Photoelectric conversion device
US20250184633A1 (en) Photoelectric conversion device and signal processing device
US20260025602A1 (en) Photoelectric conversion apparatus, imaging apparatus, and equipment
CN117041750A (zh) 光电转换装置、成像系统、移动体、装备、信号处理装置和信号处理方法
JP2025162300A (ja) 光電変換装置、機器
JP2026023659A (ja) 光電変換装置、光電変換システム、機器、光電変換装置の信号処理方法
WO2025126662A1 (ja) 光電変換装置、光電変換システム、移動体及び機器
JP2023042083A (ja) 光電変換装置
JP2025038583A (ja) 光電変換装置、機器、および信号処理方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20251002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260227