JP6762714B2 - 固体撮像装置およびその駆動方法、電子機器 - Google Patents

固体撮像装置およびその駆動方法、電子機器 Download PDF

Info

Publication number
JP6762714B2
JP6762714B2 JP2015256883A JP2015256883A JP6762714B2 JP 6762714 B2 JP6762714 B2 JP 6762714B2 JP 2015256883 A JP2015256883 A JP 2015256883A JP 2015256883 A JP2015256883 A JP 2015256883A JP 6762714 B2 JP6762714 B2 JP 6762714B2
Authority
JP
Japan
Prior art keywords
signal
pixel
interest
composite information
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015256883A
Other languages
English (en)
Other versions
JP2019036762A (ja
Inventor
高根　靖雄
靖雄 高根
Original Assignee
ブリルニクス インク
ブリルニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブリルニクス インク, ブリルニクス インク filed Critical ブリルニクス インク
Priority to JP2015256883A priority Critical patent/JP6762714B2/ja
Priority to PCT/JP2016/088655 priority patent/WO2017115744A1/ja
Priority to CN201680074897.XA priority patent/CN108432239B/zh
Priority to US16/065,847 priority patent/US10666882B2/en
Publication of JP2019036762A publication Critical patent/JP2019036762A/ja
Application granted granted Critical
Publication of JP6762714B2 publication Critical patent/JP6762714B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

本発明は、固体撮像装置およびその駆動方法、電子機器に関するものである。
光を検出して電荷を発生させる光電変換素子を用いた固体撮像装置（イメージセンサ）として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサが実用に供されている。
ＣＭＯＳイメージセンサは、デジタルカメラ、ビデオカメラ、監視カメラ、医療用内視鏡、パーソナルコンピュータ（ＰＣ）、携帯電話等の携帯端末装置(モバイル機器)等の各種電子機器の一部として広く適用されている。
ＣＭＯＳイメージセンサは、画素毎にフォトダイオード（光電変換素子）および浮遊拡散層（ＦＤ：Floating Diffusion、フローティングディフュージョン)を有するＦＤアンプを持ち合わせており、その読み出しは、画素アレイの中のある一行を選択し、それらを同時に列（カラム）方向へと読み出すような列並列出力型が主流である。
ところで、特性向上のため、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）を持つ高画質の固体撮像装置（ＣＭＯＳイメージセンサ）を実現する方法が種々提案されている。
従来、固体撮像装置において、ダイナミックレンジを高める（拡大させる）方法としては、たとえば、イメージセンサの同一の画素から蓄積時間の異なる２種類の信号を読み出し、この２種類の信号を組み合わせて、ダイナミックレンジを拡大させる方法や、高感度の画素でダイナミックレンジの小さい信号と、低感度でダイナミックレンジを拡大した信号を組み合わせてダイナミックレンジを拡大させる方法などが知られている。
たとえば特許文献１には、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術が開示されている。
また、特許文献１には、フローティングディフュージョンの容量を可変とした高ダイナミックレンジ化技術が開示されている。
また、特許文献２には、フォトダイオードＰＤに高感度低照度側の小容量Ｃ１のフローティングディフュージョンと低感度高照度側の大容量Ｃ２のフローティングディフュージョンを接続して、低照度側の出力ＯＵＴ１と高照度側出力ＯＵＴ２をそれぞれ出力することで高ダイナミックレンジ化する技術が開示されている。
これらの信号の合成方法は時間的に見ると、複数のフレームに亘っている方式のものや、１フレーム内で複数種類のダイナミックレンジの異なる信号が出力される方式のもの等がある。
特許第３９８４８１４号 特許第３５９２１０６号
ところで、いずれの方法においても、組み合わせようとする(合成しようとする)複数の信号は、組み合わせ（信号の切り替え）を行う信号値の近傍において、それぞれ入射光量（照度）に対する出力電圧の直線性がほぼ同等に保たれている必要がある。
各々の信号はダイナミックレンジ（Ｄレンジ）を拡大するために光量（照度）に対するゲインが異なるように設計されるため、主としてアナログデジタルコンバータ（ＡＤＣ）でデジタル変換後のデジタル信号処理回路でゲインを補正し、直線性（あるいは傾き）が同じに保たれるようにしている。
しかし、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在するため、ばらつきの中心値のパラメータを基に補正した数値で、各々の信号を切り替えたとしても、そのレベルの近傍においての直線性（リニアリティ）が必ずしも保証されない場合がある。
このように補正精度が低い（ばらついている）場合、スムーズな切り替えが不能となり、その不連続点がノイズとなってしまい、いわゆるトーンジャンプや偽色の発生等の画像劣化の要因になるという不利益がある。
本発明は、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、偽色の発生等の画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能な固体撮像装置およびその駆動方法、電子機器を提供することにある。
本発明の第１の観点は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置であって、前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を有し、前記信号処理部は、一つの注目する画素からの読み出し信号を合成するにあたり、当該読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定する。
本発明の第２の観点は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置の駆動方法であって、前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値とを比較する比較工程と、比較結果に応じて合成に必要となる信号を少なくとも一つ選択する選択工程と、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する生成工程と、を有し、一つの注目する画素からの読み出し信号を合成するにあたり、当該読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定する
本発明の第３の観点の電子機器は、複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置と、前記固体撮像装置に被写体像を結像する光学系と、を有し、前記固体撮像装置は、前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を含み、前記信号処理部は、一つの注目する画素からの読み出し信号を合成するにあたり、当該読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定する。
本発明によれば、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、偽色の発生等の画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することができる。
本発明の第１の実施形態に係る固体撮像装置の信号処理系の全体の構成例を示すブロックである。 ピクセル（画素）配列例としてベイヤー配列を示す図である。 ベイヤー配列における高利得信号と低利得信号の一例を出力コード値を付加して示す図である。 注目するピクセルの周辺画素の合成情報として、ベイヤー配列の最小単位を形成するピクセルの合成情報である高利得信号であるか低利得信号を示す情報を参照する例を説明するための図である。 注目するＢピクセルの周辺ピクセルとして、注目するピクセルと同色の複数のピクセルを採用し、それらの合成情報を参照する例を説明するための図である。 本第１の実施形態に係るピクセルアレイ部における低利得信号と高利得信号を生成可能なピクセル(画素)の構成例を示す図である。 本発明の第１の実施形態に係る信号処理部の構成例を示す図である。 本実施形態に係る読み出し信号の合成情報の決定の第１の方法を説明するための図である。 本実施形態に係る読み出し信号の合成情報の決定の第２の方法を説明するための図である。 本実施形態に係る読み出し信号の合成情報の決定の第３の方法を説明するための図である。 本実施形態に係る読み出し信号の合成情報の決定方法を採用した場合のハイダイナミックレンジ信号の生成過程および結果を示す図である。 本実施形態に係る読み出し信号の合成情報の決定方法を採用しない場合のハイダイナミックレンジ信号の生成過程および結果を示す図である。 高利得信号と低利得信号を合成し、ハイダイナミックレンジ信号とする合成方法を具体的に説明するための図である。 低利得信号と高利得信号を４ステップで段階的にスムーズに合成する場合の、信号レベル、中心閾値、各結合位置（点）、動的に設定される閾値の関係を模式的に示す図である。 本第１の実施形態に係る信号処理部における合成処理の一例を説明するためのフローチャートである。 本発明の第２の実施形態に係る信号処理部の構成例を示す図である。 図１６の乱数発生部の具体的な構成例を示す図である。 高利得信号と中利得信号と低利得信号の３つの信号を、傾きを等しくしつつ合成する処理を説明するための図である。 短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術の一例を示す図である。 フレーム単位でダイナミックレンジを高める例を説明するための図である。 本発明の実施形態に係る固体撮像装置が適用される電子機器の構成の一例を示す図である。
以下、本発明の実施形態を図面に関連付けて説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る固体撮像装置の信号処理系の全体の構成例を示すブロックである。
本実施形態において、固体撮像装置１０は，ピクセル（画素）から読み出された複数(２または３以上)の読み出し信号を合成してダイナミックレンジを拡大可能に構成され、たとえばＣＭＯＳイメージセンサにより構成される。
図１の固体撮像装置１０は、レジスタコントローラ(Register Controller）２０、タイミングコントローラ(Timing Controller)３０、ピクセル(画素)アレイ (Pixel Array)部４０、アナログゲイン(Analog Gain)部５０、アナログデジタルコンバータ(ADC : Analog Digital Converter)部６０、信号処理部としての機能を含むデジタルシグナルプロセッサ(DSP : Digital Signal Processor)部７０、スケーラブル低電圧信号伝送(SLVS : Scalable Low Voltage Signaling)インタフェース部８０、およびクロックジェネレータ(Clock Generator)９０を主構成要素として有している。
固体撮像装置１０において、レジスタコントローラ２０、タイミングコントローラ３０、アナログゲイン部５０、ＡＤＣ部６０、ＤＳＰ７部０、およびＳＬＶＳインタフェース部８０が、信号の授受を行うためのバスＢＳにより接続されている。
また、クロックジェネレータ９０により生成されたシステムクロックＣＬＫが、レジスタコントローラ２０、タイミングコントローラ３０、アナログゲイン部５０、ＡＤＣ部６０、ＤＳＰ部７０、およびＳＬＶＳインタフェース部８０に供給される。
レジスタコントローラ２０は、図示しないＣＰＵ、ＤＳＰ等の外部制御装置と通信し、動作モードの設定や各種制御パラメータが書き込まれる記憶部として機能する。
タイミングコントローラ３０は、各種動作モードに合わせてピクセル（画素）データを読み出す制御パルスＳ３０を生成し、ピクセルアレイ部４０の読み出し制御を行う。
ピクセルアレイ部４０は、フォトダイオード（光電変換素子）と画素内アンプとを含む複数のピクセルがＮ行×Ｍ列の２次元の行列状（マトリクス状）に配列されている。
ピクセルアレイ部４０は、そのピクセル（画素）配列として、たとえば図２に示すようなベイヤー配列が採用される。
図２は、ベイヤー配列の最小単位の一例を示している。
この例では、Ｒ（赤）のピクセルＰＸＬ−Ｒ、Ｇｒ（緑）のピクセルＰＸＬ−Ｇｒ、Ｇｂ（緑）のピクセルＰＸＬ−Ｇｂ、およびＢ（青）のピクセルＰＸＬ−Ｂが、２×２の行列状に配列されて、ベイヤー配列の最小単位ＵＮＴが形成されている。
タイミングコントローラ３０による制御パルスＳ３０に従って、ピクセルアレイ部４０の光電変換素子を含むピクセル群から読み出された読み出し信号は、アナログゲイン部５０で所定のゲインをもって増幅され、ＡＤＣ部６０にてデジタル信号に変換され、 後で詳述するような信号処理部として機能するＤＳＰ部７０に入力される。
なお、ＡＤＣ部６０の出力段には、たとえばカラムメモリ(Column Memory)が配置される。
ＤＳＰ部７０では、入力されたデジタル信号に対して相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）、黒補正、デジタルゲイン等の画像信号処理が施された後、ＳＬＶＳインタフェース部８０において出力型式（図１ではＳＬＶＳ)に適合させて出力される。
本実施形態においては、ピクセルアレイ部４０の光電変換素子を含むピクセル群から読み出された読み出し信号は、図１に示すように、光電変換利得の異なる複数種類(本例では２種類)の高利得信号(HCG : High conversion gain )と低利得信号(LCG : Low conversion gain)の２系統の信号が読み出される。
そして、ＤＳＰ部７０の信号処理部７１０にて２つの信号を合成してダイナミックレンジが拡大されたハイダイナミックレンジ信号を生成する。
なお、読み出し信号が２系統存在するが、後で説明するように、信号の読み出しに関する部分(たとえば信号線)を１系統として時分割で処理することが可能である。
高利得信号ＨＣＧは光電変換素子部からの高利得出力信号であるが、その分低利得信号ＬＣＧに比べて少ない入射光量で飽和する。低利得信号ＬＣＧは低利得出力信号であるため、飽和に達する入射光量に余裕があり、高利得信号ＨＣＧに比較して大きい。
そこで、ＤＳＰ部７０の信号処理部７１０では、低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくするとともに、高利得信号ＨＣＧが飽和する手前すなわち直線性が保たれている領域（非飽和領域）において、この２種類の信号を合成することでダイナミックレンジを高めた信号である合成信号を取得する。
図３は、ベイヤー配列における高利得信号ＨＣＧと低利得信号ＬＣＧの一例を出力コード値を付加して示す図である。
図３（Ａ）が高利得信号ＨＣＧの一例を示し、図３（Ｂ）が低利得信号ＬＣＧの一例を示している。
基本的には、ベイヤー配列の最小単位ＵＮＴを形成する４つのＲピクセルＰＸＬ−Ｒ、ＧピクセルＰＸＬ−Ｇｒ、ＧピクセルＰＸＬ−Ｇｂ、およびＢピクセルＰＸＬ−Ｂは、４つすべてが高利得信号ＨＣＧまたは低利得信号ＬＣＧに関連する出力コード値を示す。
図３（Ａ）に示す高利得信号ＨＣＧの場合、ＲピクセルＰＸＬ−Ｒの出力コード値は「２２００」、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの出力コード値は「２４００」、ＢピクセルＰＸＬ−Ｂの出力コード値は「１６００」を示している。
図３（Ａ）の高利得信号ＨＣＧの例では、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの出力コード値とＢピクセルＰＸＬ−Ｂの出力コード値の比（Ｇ／Ｂ）は１．５である。
一方、図３（Ｂ）に示す低利得信号ＬＣＧの場合、ＲピクセルＰＸＬ−Ｒの出力コード値は「８０」、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの出力コード値は「１００」、ＢピクセルＰＸＬ−Ｂの出力コード値は「５０」を示している。
図３（Ｂ）の低利得信号ＬＣＧの例では、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの出力コード値とＢピクセルＰＸＬ−Ｂの出力コード値の比（Ｇ／Ｂ）は２．０である。
また、高利得信号ＨＣＧと低利得信号ＬＣＧの比（ＨＣＧ／ＬＣＧ）は、ＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂで２４であり、ＢピクセルＰＸＬ−Ｂで３２である。
高利得信号ＨＣＧと低利得信号ＬＣＧの合成処理を行うＤＳＰ部７０の信号処理部７１０は、飽和する前に直線性を有する低利得信号ＬＣＧの傾きを、同じく飽和する前に直線性を有する高利得信号ＨＣＧの傾きと等しくするために、入力される低利得信号ＬＣＧに、ゲイン比Ｋ（＝ＨＣＧ／ＬＣＧ）を掛け合わせる。
図３の例で、ゲイン比Ｋは、たとえば１６に設定される。ただし、ゲイン比は１６に限定されず、４や８等、状況に応じた値に設定される。
図３の例で、低利得信号ＬＣＧに、ゲイン比Ｋ＝１６（＝ＨＣＧ／ＬＣＧ）を掛け合わせると、ＲピクセルＰＸＬ−Ｒの出力コード値は「８０×１６＝１２８０」、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの出力コード値は「１００×１６＝１６００」、ＢピクセルＰＸＬ−Ｂの出力コード値は「５０×１６＝８００」となる。
この高利得信号ＨＣＧと低利得信号ＬＣＧの合成処理を行うＤＳＰ部７０の信号処理部７１０は、基本的に以下に示す特徴的な構成、機能を有する。具体的な合成処理については、後で詳述する。
本実施形態の信号処理部７１０は、複数の読み出し信号（この例では、高利得信号ＨＣＧと低利得信号ＬＣＧ）を合成してダイナミックレンジを拡大可能に構成されている。
信号処理部７１０は、合成すべき複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧの傾きを等しくする。
信号処理部７１０は、複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、複数の読み出し信号のうちの少なくとも一つの読み出し信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）と閾値（Ｊｏｉｎｔ Ｔｈｒｅｓｈ)との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する。
そして、複数の信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）を合成する（組み合わせる）ことでダイナミックレンジを向上させる本実施形態の信号処理部７１０は、組み合わせ処理で発生する、直線性（リニアリティー）の精度の劣化による問題を軽減させるため、特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって発生する偽色を抑制し、画質を向上させるために、以下の特徴的な構成を有している。
信号処理部７１０は、一つの注目するピクセル（画素）からの読み出し信号を合成するにあたり、読み出し信号の合成に関する合成情報を、一つの画素の周辺画素の合成に関する合成情報を参照して決定する。
ここで、読み出し信号の合成に関する合成情報とは、たとえばピクセルから読み出された信号が、高利得信号ＨＣＧであるか低利得信号ＬＣＧであるかを示す情報を含む。
ただし、読み出し信号の合成に関する合成情報は、高利得信号ＨＣＧであるか低利得信号ＬＣＧであるかを示す情報に限定されるものではない。
信号処理部７１０は、注目するピクセル（画素）の周辺画素の合成情報として、所定の色配列（本例ではベイヤー配列）の最小単位ＵＮＴを形成するピクセル（画素）の合成情報（本例では高利得信号ＨＣＧであるか低利得信号ＬＣＧを示す情報）を参照する。
図４は、注目するピクセルの周辺画素の合成情報として、ベイヤー配列の最小単位ＵＮＴを形成するピクセルの合成情報である高利得信号ＨＣＧであるか低利得信号ＬＣＧを示す情報を参照する例を説明するための図である。
図４に示す例では、注目するピクセルは、ベイヤー配列の最小単位ＵＮＴのＢピクセルＰＸＬ−Ｂであり、周辺ピクセルは、ベイヤー配列の最小単位ＵＮＴのＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂである。
図４の例では、読み出し時の注目するＢピクセルＰＸＬ−Ｂの合成情報は高利得信号ＨＣＧであり、周辺ピクセルＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂは低利得信号ＬＣＧである。
この場合、信号処理部７１０は、注目するＢピクセルＰＸＬ−Ｂの周辺ピクセルＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの３ピクセルとも合成情報が低利得信号ＬＣＧであり、最小単位ＵＮＴの４つのピクセルの合成情報は、３対１の割合で低利得信号ＬＣＧであるピクセルが多いことから、注目するＢピクセルＰＸＬ−Ｂの合成情報を高利得信号ＨＣＧの代わりに低利得信号ＬＣＧであると決定（修正）する。
なお、注目するピクセルの周辺ピクセルとしてはベイヤー配列の最小単位ＵＮＴの３つのピクセルに限定されない。
たとえば、信号処理部７１０は、図５に示すように、注目するＢピクセルＰＸＬ２２−Ｂの周辺ピクセルとして、注目するＢピクセルＰＸＬ２２−Ｂと同色のＢピクセルＰＸＬ１１−Ｂ、ＰＸＬ１２−Ｂ、ＰＸＬ１３−Ｂ、ＰＸＬ２１−Ｂ、ＰＸＬ２３−Ｂ、ＰＸＬ３１−Ｂ、ＰＸＬ３２−Ｂ、ＰＸＬ３３−Ｂの８ピクセルを採用し、それらの合成情報を参照する。
すなわち、信号処理部７１０は、注目するＢピクセルＰＸＬ２２−Ｂの合成情報（本例では低利得信号ＬＣＧ）と、注目するＢピクセルＰＸＬ２２−Ｂのフィルタ色と同色の周辺ピクセルＢピクセルＰＸＬ１１−Ｂ、ＰＸＬ１２−Ｂ、ＰＸＬ１３−Ｂ、ＰＸＬ２１−Ｂ、ＰＸＬ２３−Ｂ、ＰＸＬ３１−Ｂ、ＰＸＬ３２−Ｂ、ＰＸＬ３３−Ｂの合成情報（本例では高利得信号ＨＣＧ）とを比較して最適な合成情報の決定方法を選択する。
この場合、信号処理部７１０は、注目するＢピクセルＰＸＬ２２−Ｂの周辺ピクセルＢピクセルＰＸＬ１１−Ｂ、ＰＸＬ１２−Ｂ、ＰＸＬ１３−Ｂ、ＰＸＬ２１−Ｂ、ＰＸＬ２３−Ｂ、ＰＸＬ３１−Ｂ、ＰＸＬ３２−Ｂ、ＰＸＬ３３−Ｂの８ピクセルとも合成情報が高利得信号ＨＣＧであり、注目ピクセルを含む９つのピクセルの合成情報は、８対１の割合で高利得信号ＨＣＧであるピクセルが多いことから、注目するＢピクセルＰＸＬ２２−Ｂの合成情報を低利得信号ＬＣＧの代わりに高利得信号ＨＣＧであると決定（修正）する。
なお、周辺ピクセルとしては、同色に限らず、同色を含めて周辺の１６ピクセルの合成情報を参照する等、種々の態様が可能である。
また、これらの場合、図５の例も含めて、ベイヤー配列に限らず他の配列にも適用することも可能である。
本実施形態において、信号処理部７１０は、読み出し信号の合成情報の決定方法を複数有する。
基本的に、信号処理部７１０は、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、３対１の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧの数が多い場合は、注目するピクセルの合成情報として多い方の合成情報を採用する。
信号処理部７１０は、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、４対０の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧである場合には、注目するピクセルの合成情報は修正せずそのままとする。
信号処理部７１０は、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しい場合は、注目するピクセルの合成情報として採用する合成情報の決定方法は、複数有り、この複数の方法のうちの１つを採用することが可能である。
たとえば、第１の方法では、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しい場合は、注目するピクセルの合成情報を、ＧピクセルＰＸＬ−Ｇｒ、ＰＸＬ−Ｇｂの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる。
たとえば、第２の方法では、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しい場合は、注目するピクセルの合成情報を、周辺同色ピクセルと比較し、周辺同色ピクセルの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる。
たとえば、第３の方法では、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しい場合は、注目するピクセルの合成情報を、周辺１６ピクセルと比較し、周辺１６ピクセルの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる。
たとえば、信号処理部７１０は、周辺ピクセルの合成情報の決定方法の採用数から判断して最適な合成情報の決定方法を選択する機能を持つことが可能である。
また、信号処理部７１０は、注目するピクセルの合成情報と、注目するピクセルのフィルタ色と同色の周辺画素の合成情報とを比較して最適な合成情報の決定方法を選択する機能を持つことが可能である。
信号処理部７１０は、最適な合成情報の決定方法の選択にあたって、各色ピクセル（画素）の、たとえばエッジ部分から生成した輝度信号のレベルを参照する機能を持つことが可能である。
また、信号処理部７１０は、最適な合成情報の決定方法の選択にあたって、算出された色温度情報を参照する機能を持つことが可能である。
信号処理部７１０は、参照するそれぞれのピクセル（画素）からの読み出し信号の時間的変化を基に合成情報の決定方法を決定する機能を持つことが可能である。
また、信号処理部７１０は、１画面内を複数の領域に分割し、その分割領域単位で選択する合成情報の決定方法を制限する機能を持つことが可能である。
そして、本実施形態の信号処理部７１０は、合成処理に適用する閾値を動的に変更可能に構成されている。
信号処理部７１０は、閾値として、あらかじめ設定された基準閾値(中心閾値) Ｊｏｉｎｔ Ｔｈｒｅｓｈ(以下、Ｊ Ｔｒｅｓｈ)と、基準閾値Ｊ Ｔｈｒｅｓｈと所定のステップ値ｓｔｅｐα(αは自然数)とを比較演算（たとえば加算、減算）することで決定した新たな閾値（Ｊ Ｔｈｒｅｓｈ ± ｓｔｅｐα）と、を合成処理に適用する。
なお、あらかじめ設定された基準閾値(中心閾値) Ｊ Ｔｈｒｅｓｈは、たとえば記憶部としてのレジスタ（ＲＥＧ）に書き換え可能に書き込まれる。
信号処理部７１０は、たとえば複数の読み出し信号のうち基準とする読み出し信号（たとえば高利得信号ＨＣＧ）と対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の複数の読み出し信号（高利得信号ＨＣＧおよび低利得信号ＬＣＧ）を重み付け処理する重み付け処理部を有している。
重み付け処理部は、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する。
また、信号処理部７１０の重み付け処理部は、記複数の読み出し信号を加算平均する加算平均処理機能を含んで構成される。
加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。
以下に、低利得信号ＬＣＧと高利得信号ＨＣＧを生成可能なピクセルＰＸＬの構成例を説明した後、ＤＳＰ部７０の信号処理部７１０における構成例および低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理について説明する。
（ピクセルアレイ部４０におけるピクセルＰＸＬの構成例）
図６は、本第１の実施形態に係るピクセルアレイ部４０における低利得信号ＬＣＧと高利得信号ＨＣＧを生成可能なピクセルＰＸＬの構成例を示す図である。
図６のピクセルＰＸＬは、フォトダイオードＰＤ、フォトダイオードＰＤのカソード側に接続される、寄生容量もしくは付加容量によって形成される容量Ｃ１１、並びにフォトダイオードＰＤおよび容量Ｃ１１〜Ｃ１３をリセットするリセットトランジスタＲＳＴ−Ｔｒを有する。
フォトダイオードＰＤは、入射光量に応じた量の信号電荷（ここでは電子）を発生し、蓄積する。
以下、信号電荷は電子であり、各トランジスタがｎ型トランジスタである場合について説明するが、信号電荷がホールであったり、各トランジスタがｐ型トランジスタであっても構わない。
ピクセルＰＸＬは、容量Ｃ１１に接続される転送スイッチとしての転送トランジスタＴＧ１１−Ｔｒ、フォトダイオードＰＤおよび容量Ｃ１１から転送される電荷を蓄積する容量Ｃ１２、選択スイッチとしての選択トランジスタＳＥＬ１１−Ｔｒ、およびゲートが容量Ｃ１２に接続されるソースフォロワトランジスタＳＦ１１−Ｔｒを有する。
また、ピクセルＰＸＬは、容量Ｃ１１に接続される転送スイッチとしての転送トランジスタＴＧ１２−Ｔｒ、フォトダイオードＰＤおよび容量Ｃ１１から転送される電荷を蓄積する容量Ｃ１３、選択スイッチとしての選択トランジスタＳＥＬ１２−Ｔｒ、およびゲートが容量Ｃ１３に接続されるソースフォロワトランジスタＳＦ１２−Ｔｒを有する。
なお、ピクセルＰＸＬのリセットトランジスタＲＳＴ−Ｔｒ、転送トランジスタＴＧ１１−Ｔｒ，ＴＧ１２−Ｔｒ、選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−Ｔｒのゲートには、タイミングコントローラ３０で生成された制御パルスＳ３０がそれぞれ供給されて、オン、オフ制御が行われる。
このように、図６のピクセルＰＸＬは、フォトダイオードＰＤおよび容量Ｃ１１に蓄積された電荷は２系統の出力系ｏｕｔ１，ｏｕｔ２を介して出力されるように構成されている。
図６の例では、出力系ｏｕｔ１に低利得信号ＬＣＧが出力され、出力系ｏｕｔ２に高利得信号ＨＣＧが出力される。
そして、図６の構成においては、たとえば出力系ｏｕｔ１と出力系ｏｕｔ２はワイヤードオアされ、各列(カラム)で２系統の高利得信号ＨＣＧと低利得信号ＬＣＧは共通の信号線（垂直信号線）ＬＳＧＮに時分割で出力される。
次に、図６のピクセルＰＸＬの動作を説明する。
フォトダイオードＰＤ、寄生容量もしくは付加容量によって形成される容量Ｃ１１の電位はリセットトランジスタＲＳＴ−Ｔｒによってリセット電位Ｖｒ(図６の例ではＶＤＤ)にリセットされる。
蓄積期間にフォトダイオードＰＤに光が入射すると、発生した光電荷はフォトダイオードＰＤおよび容量Ｃ１１に蓄積される。
この状態で、転送スイッチとしての転送トランジスタＴＧ１１−Ｔｒもしくは転送スイッチとしての転送トランジスタＴＧ１２−Ｔｒをオンすることで容量Ｃ１２もしくは容量Ｃ１３の電位は発生した光電荷に応じて変化する。
ここで容量Ｃ１２および容量Ｃ１３はそれぞれソースフォロワトランジスタＳＦ１１−Ｔｒ、ＳＦ１２−Ｔｒのゲート電極の寄生容量が支配的である。
選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−Ｔｒは行選択スイッチであり、２次元アレイ状に配列されているピクセルＰＸＬのある行を選択するためのスイッチである。選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−Ｔｒは電源ＶＤＤに接続されている。
出力系ｏｕｔ１と出力系ｏｕｔ２は、信号線ＬＳＧＮを介して図には示していない定電流源に接続されており、ソースフォロワトランジスタＳＦ１１−Ｔｒ、ＳＦ１２−Ｔｒとともに、ソースフォロワアンプを形成している。
選択トランジスタＳＥＬ１１−Ｔｒ，ＳＥＬ１２−ＴｒもソースフォロワトランジスタＳＦ１１−Ｔｒ、ＳＦ１２−Ｔｒと同様に定電流源とでソースフォロワアンプを形成しており、トランジスタＴＧ１１−ＴｒとトランジスタＳＥＬ１１−Ｔｒを選択するか、トランジスタＴＧ１２−ＴｒとトランジスタＳＥＬ１２−Ｔｒを選択することで、いずれかのソースフォロワアンプを選択することができる。
これにより、２系統の高利得信号ＨＣＧと低利得信号ＬＣＧは共通の信号線（垂直信号線）ＬＳＧＮに時分割で出力される。
読み出しの容量Ｃ１２、Ｃ１３を場合によって選べることの利点は，撮影条件によって、ダイナミックレンジ（ＤＲ：Ｄ−ｒａｎｇｅ）を選択できることにある。
（ＤＳＰ部７０における低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理）
次に、ＤＳＰ部７０の信号処理部７１０における構成例および低利得信号ＬＣＧと高利得信号ＨＣＧの具体的な合成処理について説明する。
以下の説明においては、光電変換素子を含むピクセルＰＸＬから読み出される複数の読み出し信号は、少なくとも一組の、低利得信号ＬＣＧと、低利得信号ＬＣＧに比べて少ない入射光量で飽和する高利得信号ＨＣＧと、を含むものとする。
図７は、本発明の第１の実施形態に係る信号処理部の構成例を示す図である。
図７の信号処理部７１０は、合成情報判別部７１１、乗算器７１２，７１３、および重み付け処理部としての機能を有する合成処理部７１４を有する。
合成情報判別部７１１は、高利得信号ＨＣＧと低利得信号ＬＣを合成する（組み合わせる）ことでダイナミックレンジを向上させるに際し、組み合わせ処理で発生する、直線性（リニアリティー）の精度の劣化による問題を軽減させるため、特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって発生する偽色を抑制し、画質を向上させるために、以下の構成を有している。
合成情報判別部７１１は、一つの注目するピクセル（画素）からの読み出し信号を合成するにあたり、読み出し信号の合成に関する合成情報を、一つの画素の周辺画素の合成に関する合成情報を参照して決定する。
合成情報判別部７１１は、注目するピクセル（画素）の周辺画素の合成情報として、たとえばベイヤー配列の最小単位ＵＮＴを形成するピクセル（画素）の合成情報である高利得信号ＨＣＧであるか低利得信号ＬＣＧを示す情報を参照する。
また、合成情報判別部７１１は、注目するピクセルの周辺ピクセルとして、注目するピクセルと同色の８ピクセルを採用し、それらの合成情報を参照する。
なお、周辺ピクセルとしては、前述したように、同色に限らず、同色を含めて周辺の１６ピクセルの合成情報を参照する等、種々の態様が可能である。
本実施形態において、合成情報判別部７１１は、読み出し信号の合成情報の決定方法を複数、たとえば、第１、第２、第３の方法の３つ有する。ここで、第１の方法ＭＴＤ１、第２の方法ＭＴＤ２、および第３の方法ＭＴＤ３について図８〜図１２に関連付けて説明する。
図８は、本実施形態に係る読み出し信号の合成情報の決定の第１の方法を説明するための図である。
図９は、本実施形態に係る読み出し信号の合成情報の決定の第２の方法を説明するための図である。
図１０は、本実施形態に係る読み出し信号の合成情報の決定の第３の方法を説明するための図である。
図１１は、本実施形態に係る読み出し信号の合成情報の決定方法を採用した場合のハイダイナミックレンジ信号の生成過程および結果を示す図である。
図１２は、本実施形態に係る読み出し信号の合成情報の決定方法を採用しない場合のハイダイナミックレンジ信号の生成過程および結果を示す図である。
（第１の方法ＭＴＤ１）
第１の方法ＭＴＤ１においては、図８に示すように、合成情報判別部７１１は、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、４対０の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧであるか否かを判定する（工程ＰＲ１）。
合成情報判別部７１１は、工程ＰＲ１において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、４対０の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧであると判定した場合には、注目するピクセルの合成情報は修正せずそのままとする（工程ＰＲ２）。
合成情報判別部７１１は、工程ＰＲ１において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、４対０の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧでないと判定した場合には、工程ＰＲ３の処理に移行する。
合成情報判別部７１１は、工程ＰＲ３において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、３対１の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧの数が多いか否かを判定する。
合成情報判別部７１１は、工程ＰＲ３において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、３対１の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧの数が多いと判定した場合には、注目するピクセルの合成情報として数の多い方の合成情報を採用する（工程ＰＲ４）。
図１１に示す例では、注目するピクセルは、ベイヤー配列の最小単位ＵＮＴのＢピクセルＰＸＬ−Ｂであり、周辺ピクセルは、ベイヤー配列の最小単位ＵＮＴのＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂである。
図１１の例では、読み出し時の注目するＢピクセルＰＸＬ−Ｂの合成情報は高利得信号ＨＣＧであり、周辺ピクセルＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂは低利得信号ＬＣＧである。
この場合、合成情報判別部７１１は、注目するＢピクセルＰＸＬ−Ｂの周辺ピクセルＲピクセルＰＸＬ−Ｒ、並びに、ＧピクセルＰＸＬ−ＧｒおよびＰＸＬ−Ｇｂの３ピクセルとも合成情報が低利得信号ＬＣＧであり、最小単位ＵＮＴの４つのピクセルの合成情報は、３対１の割合で低利得信号ＬＣＧであるピクセルが多いことから、注目するＢピクセルＰＸＬ−Ｂの合成情報を高利得信号ＨＣＧの代わりに低利得信号ＬＣＧであると決定（修正）する。そのときの、注目するＢピクセルＰＸＬ−Ｂの出力コード値は、ＨＣＧ／ＬＣＧ比を１６とすると８００（５０×１６）となる。
この処理を採用することにより、合成情報判別部７１１は、高利得信号ＨＣＧと低利得信号ＬＣＧを合成する（組み合わせる）ことでダイナミックレンジを向上させるに際し、組み合わせ処理で発生する、直線性（リニアリティー）の精度の劣化による問題を軽減させる。特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって発生する偽色を抑制し、画質を向上させる。
一方、図１２に示すように、この処理を採用しない場合には、高利得信号ＨＣＧと低利得信号ＬＣＧを合成する（組み合わせる）ことでダイナミックレンジを向上させるに際し、組み合わせ処理で直線性（リニアリティー）の精度の劣化による問題が発生する。特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって偽色が発生する。
合成情報判別部７１１は、工程ＰＲ３において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、３対１の割合で低利得信号ＬＣＧまたは高利得信号ＨＣＧの数が存在しないと判定すると、工程ＰＲＲ５の処理に移行する。
合成情報判別部７１１は、工程ＰＲ５において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しいか否かを判定する。
合成情報判別部７１１は、工程ＰＲ５において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しいと判定すると、この第１の方法ＭＴＤ１では、注目するピクセルの合成情報を、ＧピクセルＰＸＬ−Ｇｒ、ＰＸＬ−Ｇｂの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる（工程ＰＲ６）。
合成情報判別部７１１は、工程ＰＲ５において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しくないと判定すると、たとえば工程ＰＲ１の処理に移行する。
（第２の方法ＭＴＤ２）
第２の方法ＭＴＤ２においては、図８および図９に示すように、合成情報判別部７１１の処理は、工程ＰＲ５で肯定的な判定を行った場合の処理が第１の方法ＭＴＤ１と異なる。
合成情報判別部７１１は、工程ＰＲ５において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しいと判定すると、この第２の方法ＭＴＤ２では、注目するピクセルの合成情報を、周辺同色ピクセルと比較し（工程ＰＲ７）、周辺同色ピクセルの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる（工程ＰＲ８）。
（第３の方法ＭＴＤ３）
第３の方法ＭＴＤ３においては、図８および図１０に示すように、合成情報判別部７１１の処理は、工程ＰＲ５で肯定的な判定を行った場合の処理が第１の方法ＭＴＤ１と異なる。
合成情報判別部７１１は、工程ＰＲ５において、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しいと判定すると、この第３の方法ＭＴＤ３では、注目するピクセルの合成情報を、周辺１６ピクセルと比較し（工程ＰＲ９）、周辺１６ピクセルの合成情報（低利得信号ＬＣＧまたは高利得信号ＨＣＧ）に一致させる（工程ＰＲ１０）。
このように、本実施形態の合成情報判別部７１１は、ベイヤー配列の最小単位ＵＮＴの４つのピクセルの合成情報が、２対２の割合で低利得信号ＬＣＧと高利得信号ＨＣＧの数が等しい場合は、注目するピクセルの合成情報として採用する合成情報の決定方法は、複数有り、この複数の方法のうちの１つを採用することが可能である。
本実施形態の合成情報判別部７１１は、前述したように、周辺ピクセルの合成情報の決定方法の採用数から判断して最適な合成情報の決定方法を選択する機能を持つことが可能である。
また、信号処理部７１０は、注目するピクセルの合成情報と、注目するピクセルのフィルタ色と同色の周辺画素の合成情報とを比較して最適な合成情報の決定方法を選択する機能を持つことが可能である。
また、合成情報判別部７１１は、最適な合成情報の決定方法の選択にあたって、各色ピクセル（画素）の、たとえばエッジ部分から生成した輝度信号のレベルを参照する機能を持つことが可能である。
また、合成情報判別部７１１は、最適な合成情報の決定方法の選択にあたって、算出された色温度情報を参照する機能を持つことが可能である。
また、合成情報判別部７１１は、参照するそれぞれのピクセル（画素）からの読み出し信号の時間的変化を基に合成情報の決定方法を決定する機能を持つことが可能である。
また、合成情報判別部７１１は、１画面内を複数の領域に分割し、その分割領域単位で選択する合成情報の決定方法を制限する機能を持つことが可能である。
ここで、図７の説明に戻る。
乗算器７１２は、飽和する前に直線性を有する低利得信号ＬＣＧの傾きを、同じく飽和する前に直線性を有する高利得信号ＨＣＧの傾きと等しくするために、入力される低利得信号ＬＣＧに、ゲイン比Ｋ（＝ＨＣＧ／ＬＣＧ）を掛け合わせ、その結果を合成処理部７１４に供給する。
乗算器７１３は、高利得信号ＨＣＧの傾きを微調整するために、入力される高利得信号ＨＣＧに、ゲイン比１．０を掛け合わせ、その結果を合成処理部７１４に供給する。
なお、乗算器７１２は、微調整のために配置されており、必ずしも必要ではなく、なくてもよい。
合成処理部７１４は、傾きが等しくなるように調整された低利得信号ＬＣＧと高利得信号ＨＣＧを受けて、高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴで、合成処理により低利得信号ＬＣＧと高利得信号ＨＣＧを合成する。
合成処理部７１４は、重み付け処理部として機能し、たとえば複数の低利得信号ＬＣＧと高利得信号ＨＣＧのうち基準とする高利得信号ＨＣＧと対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の高利得信号ＨＣＧおよび低利得信号ＬＣＧを重み付け処理する重み付け処理部としての機能を有している。
合成処理部７１４は、重み付け処理部として、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する機能を有する。
また、合成処理部７１４は、重み付け処理部として、低利得信号ＬＣＧと高利得信号ＨＣＧを加算平均する加算平均処理機能を含んで構成される。
加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。
以上の構成を有する信号処理部７１０は、ピクセルアレイ部４０のマトリクス配列の各列(カラム)に対応して複数配置される。
以上、本実施形態に係る信号処理部７１０の基本的なブロック構成について説明した。
次に、本実施形態に係る信号処理部７１０によって２つの特性の異なる高利得信号ＨＣＧと低利得信号ＬＣＧを合成し、ハイダイナミックレンジ信号とする合成方法をより具体的に図解して説明する。
図１３（Ａ）〜（Ｃ）は、高利得信号ＨＣＧと低利得信号ＬＣＧを合成し、ハイダイナミックレンジ信号とする合成方法を具体的に説明するための図である。
図１３（Ａ）は高利得信号ＨＣＧと低利得信号ＬＣＧの傾きを同じとなるように調整する処理概要を示している。
図１３（Ｂ）は高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴにおいて、合成処理により高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成することを示している。
図１３（Ｃ）は高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成する場合の、中心閾値Ｊ Ｔｈｒｅｓｈ、各結合位置（点）ｊｐ０〜ｊｐ３、動的に設定される閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）、重み付け値の関係を模式的に図解して示している。
図１４は高利得信号ＨＣＧと低利得信号ＬＣＧを４ステップで段階的にスムーズに合成する場合の、信号レベル、中心閾値Ｊ Ｔｈｒｅｓｈ、各結合位置（点）ｊｐ０〜ｊｐ３、動的に設定される閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）、閾値間の領域の関係を模式的に示している。
図１３において、高利得信号ＨＣＧと低利得信号ＬＣＧは前述の２系統の信号に相当する。ここで、図６で示したように高利得信号ＨＣＧと低利得信号ＬＣＧはいずれもデジタル信号である。
前述したように、高利得信号ＨＣＧは光電変換素子部からの高利得出力信号であるが、その分低利得信号ＬＣＧに比べて少ない入射光量で飽和する。低利得信号ＬＣＧは低利得出力信号であるため、飽和に達する入射光量に余裕があり、高利得信号ＨＣＧに比較して大きい。
そこで、ＤＳＰ部７０の信号処理部７１０では、低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくするとともに、高利得信号ＨＣＧが飽和する手前すなわち直線性が保たれている非飽和領域ＡＮＳＡＴでこの２種類の信号を合成することでダイナミックレンジ（ＤＲ）を高めた信号が得られる。
信号処理部７１０の合成処理部７１４は、たとえば高利得信号ＨＣＧを基準として合成処理を行うことが可能である。
合成処理部７１４は、たとえば図１３（Ｃ）および図１４に示すように、非飽和領域ＡＮＳＡＴの中心部位置ＪＣ（Ｊｏｉｎｔ Ｃｅｎｔｅｒ）に、基準閾値を中心閾値Ｊ Ｔｈｒｅｓｈとして設定する。
合成処理部７１４は、たとえば図１３（Ｃ）および図１４に示すように、中心閾値Ｊ Ｔｈｒｅｓｈが設定された中心部位置ＪＣから合成信号を高利得信号ＨＣＧと結合すべき高利得信号最端部側結合位置ｊｐ（ｊｏｉｎｔ ｐｏｉｎｔ）０の間に、高利得信号最端部側結合位置ｊｐ０を含む二つの高利得側結合位置ｊｐ０、ｊｐ１を設定するとともに、中心部位置ＪＣから高利得信号最端部に向かって徐々に大きくなる、設定した高利得側結合位置ｊｐ１、ｊｐ０に対応する高利得側ステップ値（−）ｓｔｅｐ１，（−）ｓｔｅｐ２（ｓｔｅｐ２＞ｓｔｅｐ１）を設定する。
合成処理部７１４は、たとえば図１３（Ｃ）および図１４に示すように、中心閾値Ｊ Ｔｈｒｅｓｈが設定された中心部位置ＪＣから合成信号を低利得信号ＬＣＧと結合すべき低利得信号最端部側結合位置ｊｐ３の間に、低利得信号最端部側結合位置ｊｐ３を含む二つの低利得側結合位置ｊｐ３、ｊｐ２を設定するとともに、中心部位置ＪＣから低利得信号最端部に向かって徐々に大きくなる、設定した低利得側結合位置ｊｐ２、ｊｐ３に対応する低利得側ステップ値ｓｔｅｐ１，ｓｔｅｐ２（ｓｔｅｐ２＞ｓｔｅｐ１）を設定する。
そして、合成処理部７１４は、たとえば図１３（Ｃ）および図１４に示すように、中心閾値Ｊ Ｔｈｒｅｓｈから設定した高利得側ステップ値ｓｔｅｐ２，ｓｔｅｐ１を減算して対応する高利得側結合位置ｊｐ０，ｊｐ１の新たな閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）として設定する。合成処理部７１４は、新たな閾値を適用して高利得側結合位置ｊｐ０，ｊｐ１における閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と高利得信号ＨＣＧとの比較結果に応じて合成処理を行う。
同様に、合成処理部７１４は、たとえば図１３（Ｃ）および図１４に示すように、中心閾値Ｊ Ｔｈｒｅｓｈに設定した低利得側ステップ値ｓｔｅｐ１，ｓｔｅｐ２を加算して対応する低利得側結合位置ｊｐ２，ｊｐ３の新たな閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）として設定する。合成処理部７１４は、新たな閾値を適用して低利得側結合位置ｊｐ２、ｊｐ３における閾値(Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１)、(Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２)と高利得信号ＨＣＧとの比較結果に応じて合成処理を行う。
合成処理部７１４は、合成処理に係る比較処理において、高利得側結合位置ｊｐ０、ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）、（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）、または、低利得側結合位置ｊｐ２、ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）、（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧとの比較により選択された値に挟まれた領域Ａ０１，Ａ１２，Ａ２３の信号レベルにおいては、領域Ａ０１，Ａ１２，Ａ２３に割り当てられた重み付け値ＷＶ０１，ＷＶ１２，ＷＶ２３に従って重み付け平均値ＡＶＷ０１、ＡＶＷ１２，ＡＶＷ２３を算出し、重み付け平均値をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして出力する。
たとえば、高利得側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と隣接の高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）に挟まれた領域Ａ０１においては、低利得信号ＬＣＧに「１」で高利得信号ＨＣＧに「３」の重み付け値（ＬＣＧ：ＨＣＧ＝１：３）ＷＶ０１が割り当てられる。
高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）に挟まれた領域Ａ１２においては、低利得信号ＬＣＧに「１」で高利得信号ＨＣＧに「１」の重み付け値（ＬＣＧ：ＨＣＧ＝１：１）ＷＶ１２が割り当てられる。
低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）に挟まれた領域Ａ２３においては、低利得信号ＬＣＧに「３」で高利得信号ＨＣＧに「１」の重み付け値（ＬＣＧ：ＨＣＧ＝３：１）ＷＶ２３が割り当てられる。
合成処理部７１４は、高利得信号最端部側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）との比較の結果、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より小さい場合は、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する。
合成処理部７１４は、低利得信号最端部側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）との比較の結果、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より大きい場合は、低利得信号ＬＣＧ（ｄａｔａ ｌｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する。
以上、信号処理部７１０における合成処理部７１４の構成および機能について説明した。
ここで、合成処理部における高利得信号ＨＣＧと低利得信号ＬＣＧの具体的な合成処理の一例を説明する。
図１５は、本実施形態に係る信号処理部７１０における合成処理の一例を説明するためのフローチャートである。
今、高利得信号ＨＣＧを基準に合成する場合を考えると、下記のように表現できる。
（数１）
ｄａｔａ_ｈｃｇ = ｄａｔａ_ｈｃｇ_ｉｎ + ｈｃｇ_ｏｆｆｓｅｔ
低利得信号ＬＣＧは、高利得信号ＨＣＧと傾きが同じになるようにデジタル利得を掛けて変換した場合次のように表現できる。
（数２）
ｄａｔａ_ｌｃｇ ＝ (ｄａｔａ_ｌｃｇ_ｉｎ + ｌｃｇ_ｏｆｆｓｅｔ ) × Ｋ
ここで、ＫはＨＣＧ/ＬＣＧのゲイン比を示す。
この２信号を合成するにあたり、次の条件設定に沿って演算を行う。
（数３）
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ - ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄ= ｄａｔａ_ｈｃｇ ；
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ - ｓｔｅｐ１ ） )
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ1 ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＞ （ ｊ_ｔｈｒｅｓｈ + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = ｄａｔａ_ｌｃｇ ;
この合成処理部７１４の合成に係る演算処理について図１５に関連付けて説明する。
合成処理部７１４は、たとえば、まず、高利得信号最端部側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ１１）、高利得信号ＨＣＧのレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より小さいか否かを判定する（工程ＰＲ１２）。
合成処理部７１４は、工程ＰＲ１２において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より小さいと判定すると、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ１３）。
合成処理部７１４は、工程ＰＲ１２において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）より大きいと判定すると、高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ１４）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）より小さいか否かを判定する（工程ＰＲ１５）。
合成処理部７１４は、工程ＰＲ１５において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）より小さいと判定すると、次の処理を行う（工程ＰＲ１６、ＰＲ１７）。
合成処理部７１４は、高利得側結合位置ｊｐ０の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ２）と隣接の高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）に挟まれた領域Ａ０１に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝１：３）ＷＶ０１に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ０１を次式により算出し（工程ＰＲ１６）、重み付け平均値ＡＶＷ０１をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ１７）。
（数４）
ＡＶＷ０１= （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４
合成処理部７１４は、工程ＰＲ１５において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）より大きいと判定すると、低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ１８）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より小さいか否かを判定する（工程ＰＲ１９）。
合成処理部７１４は、工程ＰＲ１９において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より小さいと判定すると、次の処理を行う（工程ＰＲ２０、ＰＲ２１）。
合成処理部７１４は、高利得側結合位置ｊｐ１の閾値（Ｊ Ｔｈｒｅｓｈ−ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）に挟まれた領域Ａ１２に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝１：１）ＷＶ１２に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ１２を次式により算出し（工程ＰＲ２０）、重み付け平均値ＡＶＷ１２をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ２１）。
（数５）
ＡＶＷ１２= （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２
合成処理部７１４は、工程ＰＲ１９において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）より大きいと判定すると、低利得信号最端部側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）と高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）とを比較し（工程ＰＲ２２）、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さいか否かを判定する（工程ＰＲ２３）。
合成処理部７１４は、工程ＰＲ２３において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さいと判定すると、次の処理を行う（工程ＰＲ２４、ＰＲ２５）。
合成処理部７１４は、低利得側結合位置ｊｐ２の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ１）と隣接の低利得側結合位置ｊｐ３の閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）に挟まれた領域Ａ２３に割り当てられた重み付け値（ＬＣＧ：ＨＣＧ＝３：１）ＷＶ２３に従って高利得信号ＨＣＧと低利得信号ＬＣＧの重み付け平均値ＡＶＷ２３を次式により算出し（工程ＰＲ２４）、重み付け平均値ＡＶＷ２３をその領域の合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ２５）。
（数６）
ＡＶＷ２３= （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４
合成処理部７１４は、工程ＰＲ２３において、高利得信号ＨＣＧ（ｄａｔａ ｈｃｇ）のレベルが閾値（Ｊ Ｔｈｒｅｓｈ＋ｓｔｅｐ２）より小さくなく、大きいと判定すると（工程ＰＲ２６）、低利得信号ＬＣＧ（ｄａｔａ ｌｃｇ）を合成信号（合成データ）ｄａｔａ ｄｈｄｒとして適用する（工程ＰＲ２７）。
以上説明したように、本第１の実施形態の固体撮像装置１０の信号処理部７１０は、複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧを合成してダイナミックレンジを拡大可能に構成されている。
信号処理部７１０は、合成すべき複数の読み出し信号、たとえば低利得信号ＬＣＧと高利得信号ＨＣＧの傾きを等しくする。
信号処理部７１０は、複数の読み出し信号の合成をする際に、複数の読み出し信号のうちの少なくとも一つの読み出し信号（高利得信号ＨＣＧ、低利得信号ＬＣＧ）と閾値（Ｊｏｉｎｔ Ｔｈｒｅｓｈ)との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する。
また、信号処理部７１０は、一つの注目するピクセル（画素）からの読み出し信号を合成するにあたり、読み出し信号の合成に関する合成情報を、一つの画素の周辺画素の合成に関する合成情報を参照して決定する。
信号処理部７１０は、たとえば注目するピクセル（画素）の周辺画素の合成情報として、所定の色配列（本例ではベイヤー配列）の最小単位ＵＮＴを形成するピクセル（画素）の合成情報（本例では高利得信号ＨＣＧであるか低利得信号ＬＣＧを示す情報）を参照する。
したがって、本第１の実施形態によれば、複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧを合成する（組み合わせる）ことでダイナミックレンジを向上させるに際し、組み合わせ処理で発生する、直線性（リニアリティー）の精度の劣化による問題を軽減させることが可能となる。特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって発生する偽色を抑制し、画質を向上させることが可能となる。
すなわち、本第１の実施形態によれば、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、偽色の発生等の画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能となる。
また、本第１の実施形態の信号処理部７１０は、閾値を動的に変更可能に構成され、閾値として、あらかじめ設定された基準閾値(中心閾値)Ｊ Ｔｈｒｅｓｈと、基準閾値Ｊ Ｔｈｒｅｓｈと所定のステップ値ｓｔｅｐα(αは自然数)とを比較演算（たとえば加算、減算）することで決定した新たな閾値（Ｊ Ｔｈｒｅｓｈ ± ｓｔｅｐα）と、を合成処理に適用する。
したがって、本第１の実施形態によれば、固体撮像装置の個体単位でのばらつき、あるいは１個体の中でのピクセル（画素）間のばらつき等が存在する場合であっても、組み合わせようとする（合成しようとする）複数の信号のスムーズな切り替えが可能で、不連続点を削減でき、ひいてはノイズを削減でき、ノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。
また、個体ばらつきを吸収することが可能となるため、製品の歩留まりを向上させることが可能となる。
すなわち、本第１の実施形態によれば、個体ばらつき等にかかわりなく組み合わせようとする複数の信号のスムーズな切り替えが可能で、画像劣化を抑止しつつ高ダイナミックレンジ化を実現でき、ひいては高画質化を実現することが可能となる。
また、本第１の実施形態の信号処理部７１０は、たとえば複数の読み出し信号のうち基準とする読み出し信号（たとえば高利得信号ＨＣＧ）と対応する閾値（Ｊ Ｔｈｒｅｓｈ、Ｊ Ｔｈｒｅｓｈ±ｓｔｅｐα）との比較結果に応じて、合成対象の複数の読み出し信号（高利得信号ＨＣＧおよび低利得信号ＬＣＧ）を重み付け処理する重み付け処理部としての機能を含む合成処理部７１４を有している。
重み付け処理部を含む合成処理部７１４は、閾値に挟まれた領域の信号レベルにおいては、この領域に割り当てられた重み付け値に従って重み付け平均値を算出し、重み付け平均値をその領域の合成信号として出力する。
また、重み付け処理部は、記複数の読み出し信号を加算平均する加算平均処理機能を含んで構成される。
加算平均処理機能は、閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする。
したがって、本第１の実施形態によれば、組み合わせようとする（合成しようとする）複数の信号のよりスムーズな切り替えが可能で、不連続点を確実に削減でき、ひいてはノイズを削減でき、さらにノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。
（第２の実施形態）
図１６は、本発明の第２の実施形態に係る信号処理部の構成例を示す図である。
図１７は、図１６の乱数発生部の具体的な構成例を示す図である。
本第２の実施形態に係る図１６の信号処理部７１０Ａが第１の実施形態に係る図１６の信号処理部７１０と異なる点は、乱数発生部７１５が設けられ、合成処理部７１４Ａは、乱数ｒｎｄ(clk)を閾値Ｊ Ｔｈｒｅｓｈと加算あるいは減算して閾値を設定することにある。
ここで、ｃｌｋは、ピクセル（画素）データの転送クロックと同じ周波数であり、乱数はピクセル（画素）単位で変化する。
合成処理部７１４Ａは，たとえば複数の閾値の平均値を基準閾値Ｊ Ｔｈｒｅｓｈに相当する中心閾値として設置可能で、中心閾値は初期の中心閾値Ｊ Ｔｈｒｅｓｈに乱数発生部７１５で発生された乱数ｒｎｄ(clk)を加算することで新たに算出された値を第２の中心閾値（Ｊ Ｔｈｒｅｓｈ＋ｒｎｄ(clk)）とし、第２の中心閾値をもとに合成に必要となる信号の選択処理を行う。
乱数発生部７１５は、たとえば図１７に示すように、排他的論理和ゲートＥＸＯＲ１〜ＥＸＯＲ３を含む線形帰還シフトレジスタＬＦＳＲにより形成される。図１７は１６ビットの場合の一例として示されている。
第２の実施形態の合成処理部７１４Ａで第１の実施形態の数３に対応する２信号を合成するにあたり、次の条件設定に沿って演算を行う。
（数７）
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) - ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄ= ｄａｔａ_ｈｃｇ ；
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) - ｓｔｅｐ１ ） )
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ ×３ + ｄａｔａ_ｌｃｇ ） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ1 ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ ） / ２ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＜ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = （ ｄａｔａ_ｈｃｇ + ｄａｔａ_ｌｃｇ × ３） / ４ ;
ｉｆ （ ｄａｔａ_ｈｃｇ ＞ （ ｊ_ｔｈｒｅｓｈ + ｒｎｄ(clk) + ｓｔｅｐ２ ） ）
ｄａｔａ_ｄｈｄｒ = ｄａｔａ_ｌｃｇ ;
すなわち、この演算処理は、初期の中心閾値Ｊ Ｔｈｒｅｓｈに乱数発生部７１５で発生された乱数ｒｎｄ(clk)を加算することで新たに算出された値が第２の中心閾値（Ｊ Ｔｈｒｅｓｈ＋ｒｎｄ(clk)）として適用される他は、上記数３および図１５の処理と同様の処理が行われる。
したがって、ここでは、詳細な説明は省略する。
本第２の実施形態によれば、上述した第１の実施形態と同様の効果を得ることができる。
すなわち、本第２の実施形態によれば、固体撮像装置の個体単位でのばらつき、あるいは１個体の中での画素間のばらつき等が存在する場合であっても、組み合わせようとする（合成しようとする）複数の信号のスムーズな切り替えが可能で、不連続点を削減でき、ひいてはノイズを削減でき、ノイズの少ない高品質かつ高ダイナミックな画像信号を生成することが可能となる。
また、個体ばらつきを吸収することが可能となるため、製品の歩留まりを向上させることが可能となる。
また、本第２の実施形態によれば、複数の読み出し信号、たとえば高利得信号ＨＣＧと低利得信号ＬＣＧを合成する（組み合わせる）ことでダイナミックレンジを向上させるに際し、組み合わせ処理で発生する、直線性（リニアリティー）の精度の劣化による問題を軽減させることが可能となる。特に、色温度の変化による周辺画素（近傍画素）との相関性の変化によって発生する偽色を抑制し、画質を向上させることが可能となる。
（応用例）
上述した実施形態においては、複数の読み出し信号の例として、２つの高利得信号ＨＣＧと低利得信号ＬＣＧを合成してダイナミックレンジを拡大する場合について説明したが、本発明は，３つあるいは４以上の特性の異なる信号を、傾きを等しくしつつ合成する場合にも適用することが可能である。
図１８は、高利得信号ＨＣＧと中利得信号ＭＣＧと低利得信号ＬＣＧの３つの信号を、傾きを等しくしつつ合成する処理を説明するための図である。
図１８の例は、高利得と低利得の中間の中利得信号ＭＣＧが合成対象に追加されている。
この場合、高利得信号ＨＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴ１において、前述した実施形態の合成処理と同様の処理により中利得信号ＭＣＧと高利得信号ＨＣＧが段階的にスムーズに合成される。このときの傾きを調整するためのゲイン比はＨＣＧ／ＭＣＧである。
非飽和領域ＡＮＳＡＴ１における合成処理では、中利得信号ＭＣＧが前述した実施形態の合成処理の低利得信号と同様の信号として扱われる。
同様に、中利得信号ＭＣＧが飽和する手前であって直線性が保たれている非飽和領域ＡＮＳＡＴ２において、前述した実施形態の合成処理と同様の処理により中利得信号ＭＣＧと低利得信号ＬＣＧが段階的にスムーズに合成される。このときの傾きを調整するためのゲイン比はＭＣＧ／ＬＣＧである。
非飽和領域ＡＮＳＡＴ２における合成処理では、中利得信号ＭＣＧが前述した実施形態の合成処理の高利得信号と同様の信号として扱われる。
この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。
（変形例）
図１９は、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術の一例を示す図である。
上述した実施形態においては、ピクセルＰＸＬの構成自体に、選択トランジスタＳＥＬ−ＴｒおよびソースフォロワトランジスタＳＦ−Ｔｒを２系統設けて、複数の読み出し信号である２つの高利得信号ＨＣＧと低利得信号ＬＣＧを生成するように構成されている場合を例に説明したが、本発明は、このような構成に限定されない。
たとえばピクセルＰＸＬの構成自体に、選択トランジスタＳＥＬ−ＴｒおよびソースフォロワトランジスタＳＦ−Ｔｒを１系統のみ設けて、図１９に示すように、短い露光時間による高照度側に対応した撮像と長い露光時間による低照度に対応した撮像の異なる２回以上の露光時間に分割する高ダイナミックレンジ化技術を採用することも可能である。
ピクセル（画素）の読み出し動作においては、タイミングコントローラ等の制御の下、図１９に示すように、シャッタースキャンＳＳＣＮが行われ、その後、読み出しスキャンＲＳＣＮが行われるが、図１９の例は、シャッタースキャンＳＳＣＮが行われ、その後、読み出しスキャンＲＳＣＮが行われるまでの露光期間Ｔｉｎｔ０，Ｔｉｎｔ１を２つ設け、時間に差を持たせている。
この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。
図２０は、フレーム単位でダイナミックレンジを高める例を説明するための図である。
また、上述した実施形態では、ピクセル単位でダイナミックレンジを高める例を説明したが、本発明は、図２０に示すように、フレーム単位でダイナミックレンジを高める場合にも適用可能である。
この場合も、上述した第１および第２の実施形態と同様の効果を得ることができる。
以上説明した固体撮像装置１０は、デジタルカメラやビデオカメラ、携帯端末、あるいは監視用カメラ、医療用内視鏡用カメラなどの電子機器に、撮像デバイスとして適用することができる。
図２１は、本発明の実施形態に係る固体撮像装置が適用されるカメラシステムを搭載した電子機器の構成の一例を示す図である。
本電子機器１００は、図２１に示すように、本実施形態に係る固体撮像装置１０が適用可能なＣＭＯＳイメージセンサ１１０を有する。
さらに、電子機器１００は、このＣＭＯＳイメージセンサ１１０の画素領域に入射光を導く（被写体像を結像する）光学系（レンズ等）１２０を有する。
電子機器１００は、ＣＭＯＳイメージセンサ１１０の出力信号を処理する信号処理回路(ＰＲＣ)１３０を有する。
信号処理回路１３０は、ＣＭＯＳイメージセンサ１１０の出力信号に対して所定の信号処理を施す。
信号処理回路１３０で処理された画像信号は、液晶ディスプレイ等からなるモニタに動画として映し出し、あるいはプリンタに出力することも可能であり、またメモリカード等の記録媒体に直接記録する等、種々の態様が可能である。
上述したように、ＣＭＯＳイメージセンサ１１０として、前述した固体撮像装置１０を搭載することで、高性能、小型、低コストのカメラシステムを提供することが可能となる。
そして、カメラの設置の要件に実装サイズ、接続可能ケーブル本数、ケーブル長さ、設置高さなどの制約がある用途に使われる、たとえば、監視用カメラ、医療用内視鏡用カメラなどの電子機器を実現することができる。
１０・・・固体撮像装置、２０・・・レジスタコントローラ、３０・・・タイミングコントローラ、４０・・・ピクセル(画素)アレイ部、５０・・・アナログゲイン部、６０・・・アナログデジタルコンバータ(ADC)、７０・・・デジタルシグナルプロセッサ(DSP)、７１０，７１０Ａ・・・信号処理部、７１１・・・合成情報判別部、７１２，７１３・・・乗算器、７１４，７１４Ａ・・・合成処理部、７１５・・・乱数発生部、８０・・・スケーラブル低電圧信号伝送(SLVS)インタフェース部、９０・・・クロックジェネレータ、１００・・・電子機器、１１０・・・ＣＭＯＳイメージセンサ、１２０・・・光学系、１３０・・・信号処理回路（ＰＲＣ）。

Claims (16)

  1. 複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置であって、
    前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を有し、
    前記信号処理部は、
    一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、
    前記注目する画素の周辺画素の合成情報として、所定の色配列の最小単位を形成する画素の合成情報を参照し、
    前記読み出し信号の合成情報の決定方法を複数有し、
    周辺画素の合成情報の決定方法の採用数から判断して最適な合成情報の決定方法を選択する
    固体撮像装置。
  2. 複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置であって、
    前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を有し、
    前記信号処理部は、
    一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、
    前記注目する画素の周辺画素の合成情報として、当該画素と同色の画素の合成情報を参照し、
    前記読み出し信号の合成情報の決定方法を複数有し、
    前記注目する画素の合成情報と、当該注目する画素のフィルタ色と同色の周辺画素の合成情報とを比較して最適な合成情報の決定方法を選択する
    固体撮像装置。
  3. 前記信号処理部は、
    最適な合成情報の決定方法の選択にあたって、各色画素から生成した輝度信号のレベルを参照する
    請求項１または２記載の固体撮像装置。
  4. 前記信号処理部は、
    最適な合成情報の決定方法の選択にあたって、算出された色温度情報を参照する
    請求項１から３のいずれか一に記載の固体撮像装置。
  5. 前記信号処理部は、
    参照するそれぞれの画素からの読み出し信号の時間的変化を基に合成情報の決定方法を決定する
    請求項２または３記載の固体撮像装置。
  6. 前記信号処理部は、
    １画面内を複数の領域に分割し、その分割領域単位で選択する合成情報の決定方法を制限する機能を有する
    請求項１から５のいずれか一に記載の固体撮像装置。
  7. 前記信号処理部を複数有する
    請求項１から６のいずれか一に記載の固体撮像装置。
  8. 前記信号処理部は、
    前記閾値を動的に変更可能である
    請求項１から７のいずれか一に記載の固体撮像装置。
  9. 前記信号処理部は、前記閾値として、
    あらかじめ設定した基準閾値と、
    前記基準閾値と所定のステップ値とを比較演算することで決定した新たな閾値と、を前記合成処理に適用する
    請求項８記載の固体撮像装置。
  10. 前記信号処理部は、
    前記複数の読み出し信号を重み付け処理する重み付け処理部を含み、
    重み付けするための更なる新たな閾値を有し、
    前記重み付け処理部は、
    前記閾値に挟まれた領域の信号レベルにおいては、当該領域に割り当てられた重み付け値に従って重み付け平均値を算出し、当該重み付け平均値を当該領域の合成信号として出力する
    請求項８または９記載の固体撮像装置。
  11. 複数の閾値を有し、
    前記重み付け処理部は、
    前記複数の読み出し信号を加算平均する加算平均処理機能を含み、
    前記加算平均処理機能は、
    前記閾値に挟まれた領域の信号レベルにある各々の信号は、加算平均された値をもって１つの出力とする
    請求項１０記載の固体撮像装置。
  12. 前記信号処理部は、
    乱数発生部を含み、
    複数の閾値の平均値をあらかじめ設定した基準閾値に相当する中心閾値として設置可能で、
    前記中心閾値は初期の中心閾値に前記乱数発生部で発生された乱数を加算することで新たに算出された値を第２の中心閾値とし、当該第２の中心閾値をもとに前記合成に必要となる信号の選択処理を行う
    請求項８から１１のいずれか一に記載の固体撮像装置。
  13. 複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置の駆動方法であって、
    前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値とを比較する比較工程と、
    比較結果に応じて合成に必要となる信号を少なくとも一つ選択する選択工程と、
    合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する生成工程と、を有し、
    一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、当該決定の際に、
    前記注目する画素の周辺画素の合成情報として、所定の色配列の最小単位を形成する画素の合成情報を参照し、
    前記読み出し信号の合成情報の決定方法を複数有し、
    周辺画素の合成情報の決定方法の採用数から判断して最適な合成情報の決定方法を選択する
    固体撮像装置の駆動方法。
  14. 複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置の駆動方法であって、
    前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値とを比較する比較工程と、
    比較結果に応じて合成に必要となる信号を少なくとも一つ選択する選択工程と、
    合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する生成工程と、を有し、
    一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、当該決定の際に、
    前記注目する画素の周辺画素の合成情報として、当該画素と同色の画素の合成情報を参照し、
    前記読み出し信号の合成情報の決定方法を複数有し、
    前記注目する画素の合成情報と、当該注目する画素のフィルタ色と同色の周辺画素の合成情報とを比較して最適な合成情報の決定方法を選択する
    固体撮像装置の駆動方法。
  15. 複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置と、
    前記固体撮像装置に被写体像を結像する光学系と、を有し、
    前記固体撮像装置は、
    前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を含み、
    前記信号処理部は、
    一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、
    前記注目する画素の周辺画素の合成情報として、所定の色配列の最小単位を形成する画素の合成情報を参照し、
    前記読み出し信号の合成情報の決定方法を複数有し、
    周辺画素の合成情報の決定方法の採用数から判断して最適な合成情報の決定方法を選択する
    電子機器。
  16. 複数の読み出し信号を合成してダイナミックレンジを拡大可能な固体撮像装置と、
    前記固体撮像装置に被写体像を結像する光学系と、を有し、
    前記固体撮像装置は、
    前記複数の読み出し信号のうちの注目する読み出し信号の合成をする際に、前記複数の読み出し信号のうちの少なくとも一つの読み出し信号と閾値との比較結果に応じて合成に必要となる信号を少なくとも一つ選択し、合成処理に選択した信号を適用してダイナミックレンジが拡大された合成信号を生成する信号処理部を含み、
    前記信号処理部は、
    一つの注目する画素からの読み出し信号を合成するにあたり、合成すべき複数の読み出し信号の傾きを等しくするための読み出し信号の合成に関する合成情報を、前記一つの注目する画素の周辺画素の合成に関する合成情報を参照して決定し、
    前記注目する画素の周辺画素の合成情報として、当該画素と同色の画素の合成情報を参照し、
    前記読み出し信号の合成情報の決定方法を複数有し、
    前記注目する画素の合成情報と、当該注目する画素のフィルタ色と同色の周辺画素の合成情報とを比較して最適な合成情報の決定方法を選択する
    電子機器。
JP2015256883A 2015-12-28 2015-12-28 固体撮像装置およびその駆動方法、電子機器 Active JP6762714B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015256883A JP6762714B2 (ja) 2015-12-28 2015-12-28 固体撮像装置およびその駆動方法、電子機器
PCT/JP2016/088655 WO2017115744A1 (ja) 2015-12-28 2016-12-26 固体撮像装置、固体撮像装置の駆動方法、および電子機器
CN201680074897.XA CN108432239B (zh) 2015-12-28 2016-12-26 固体摄像装置、固体摄像装置的驱动方法以及电子设备
US16/065,847 US10666882B2 (en) 2015-12-28 2016-12-26 Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015256883A JP6762714B2 (ja) 2015-12-28 2015-12-28 固体撮像装置およびその駆動方法、電子機器

Publications (2)

Publication Number Publication Date
JP2019036762A JP2019036762A (ja) 2019-03-07
JP6762714B2 true JP6762714B2 (ja) 2020-09-30

Family

ID=59225146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015256883A Active JP6762714B2 (ja) 2015-12-28 2015-12-28 固体撮像装置およびその駆動方法、電子機器

Country Status (4)

Country Link
US (1) US10666882B2 (ja)
JP (1) JP6762714B2 (ja)
CN (1) CN108432239B (ja)
WO (1) WO2017115744A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630901B2 (en) 2017-05-23 2020-04-21 Google Llc Systems and methods for selectively activating high dynamic range in a video capture system
DE102021113883A1 (de) 2020-06-04 2021-12-09 Samsung Electronics Co., Ltd. Bildsensor, elektronische vorrichtung, und betriebsverfahren eines bildsensors

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592106B2 (ja) 1998-11-27 2004-11-24 キヤノン株式会社 固体撮像装置およびカメラ
JP3984814B2 (ja) 2001-10-29 2007-10-03 キヤノン株式会社 撮像素子、その撮像素子を用いた放射線撮像装置及びそれを用いた放射線撮像システム
US7728896B2 (en) * 2005-07-12 2010-06-01 Micron Technology, Inc. Dual conversion gain gate and capacitor and HDR combination
US8031963B2 (en) * 2008-04-09 2011-10-04 Eyep Inc. Noise filter
US9756264B2 (en) * 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
JP2012105225A (ja) * 2010-11-12 2012-05-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013021660A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013115470A (ja) * 2011-11-25 2013-06-10 Sony Corp 固体撮像素子の信号処理回路、固体撮像素子の信号処理方法、及び、電子機器
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9593025B2 (en) * 2012-07-13 2017-03-14 Gretchen B. Clark Wastewater evaporator
JP2014030073A (ja) 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP6080503B2 (ja) * 2012-11-06 2017-02-15 キヤノン株式会社 画像処理装置
US9087391B2 (en) * 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
CN104885446B (zh) * 2012-12-28 2018-02-13 富士胶片株式会社 像素校正方法及摄像装置
JP2015185917A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 画像処理装置、画像処理方法、及び撮像装置

Also Published As

Publication number Publication date
US20190014277A1 (en) 2019-01-10
CN108432239A (zh) 2018-08-21
WO2017115744A1 (ja) 2017-07-06
US10666882B2 (en) 2020-05-26
CN108432239B (zh) 2020-09-08
JP2019036762A (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
JP6239975B2 (ja) 固体撮像装置及びそれを用いた撮像システム
JP5085140B2 (ja) 固体撮像装置
US9288399B2 (en) Image processing apparatus, image processing method, and program
US9380236B2 (en) Imaging sensor, imaging apparatus, electronic device, and imaging method
JP5106052B2 (ja) 固体撮像素子、撮像システム、及び固体撮像素子の駆動方法
US10771724B2 (en) Image capturing apparatus
US20080218598A1 (en) Imaging method, imaging apparatus, and driving device
EP2733927A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and program
US20070076269A1 (en) Imaging unit and image sensor
JP6731725B2 (ja) 固体撮像装置およびその駆動方法、電子機器
JP4501350B2 (ja) 固体撮像装置および撮像装置
US9253427B2 (en) Solid-state image pickup apparatus capable of realizing image pickup with wide dynamic range and at high frame rate, control method therefor, and storage medium
US10229475B2 (en) Apparatus, system, and signal processing method for image pickup using resolution data and color data
JP2018033101A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6762714B2 (ja) 固体撮像装置およびその駆動方法、電子機器
JP6733159B2 (ja) 撮像素子、及び撮像装置
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
KR20150098547A (ko) 고체 촬상 장치 및 카메라 시스템
JP6967173B1 (ja) 撮像素子及び撮像装置
JP2020171055A (ja) 撮像素子
JP2009017372A (ja) 撮像装置及びその駆動方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161007

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190731

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190731

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200909

R150 Certificate of patent or registration of utility model

Ref document number: 6762714

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250