JP7601089B2 - イメージセンサおよびカメラ - Google Patents

イメージセンサおよびカメラ Download PDF

Info

Publication number
JP7601089B2
JP7601089B2 JP2022508236A JP2022508236A JP7601089B2 JP 7601089 B2 JP7601089 B2 JP 7601089B2 JP 2022508236 A JP2022508236 A JP 2022508236A JP 2022508236 A JP2022508236 A JP 2022508236A JP 7601089 B2 JP7601089 B2 JP 7601089B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
assigned
anomalous
pixel blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022508236A
Other languages
English (en)
Other versions
JPWO2021187223A1 (ja
Inventor
智裕 西
昌俊 横川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021187223A1 publication Critical patent/JPWO2021187223A1/ja
Application granted granted Critical
Publication of JP7601089B2 publication Critical patent/JP7601089B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、イメージセンサおよびカメラに関する。
イメージセンサの感度を高める方法としてビニングと呼ばれる手法が知られている。ビニングは、隣接する複数の画素をまとめて1つの仮想的な画素として扱う技術である。
特許文献1ないし3には、複数の画素ブロックがベイヤ配列にしたがって配列されたイメージセンサが開示されている。各画素ブロックは、行列状に配列された複数の画素を含む。ビニング時には、同一画素ブロックに属する複数の画素の検出値(画素信号)が加算され、1画素ブロックの総検出値として出力される。そして、各画素ブロックの総検出値に対してデモザイク処理が行われ、画素ブロックごとの色情報(各色の色値に関する情報)が推定される。ビニングを行わない通常モードでは、各画素の検出値に対してデモザイ処理が行われ、画素ごとの色情報が推定される。
特開2010-239337号公報 特開2019-012968号公報 特開2007-235888号公報
上述した従来の画素配列では、画素ブロックのサイズに応じて、色のサンプリング間隔が広くなる。画素ブロックのサイズが大きくなると、デモザイク処理によって各画素の色情報を精度よく推定することが難しくなり、色再現性が低下する可能性がある。
そこで、本開示では、高感度で且つ色再現性の高いイメージセンサおよびカメラを提案する。
本開示によれば、互いに異なる色が割り当てられた複数の画素ブロックを有し、前記複数の画素ブロックはそれぞれ複数の画素を含み、前記複数の画素ブロックのうちの少なくとも1つの画素ブロックに設けられた前記複数の画素には、他の1以上の画素ブロックに割り当てられた1以上の色の光を検出する1以上の特異画素が含まれるイメージセンサおよびカメラが提供される。
カメラの概略図である。 イメージセンサの構成の一例を示す図である。 第1実施形態のイメージセンサの画素アレイ部の構成を示す図である。 第2実施形態のイメージセンサの画素アレイ部の構成を示す図である。 第3実施形態のイメージセンサの画素アレイ部の構成を示す図である。 各画素の露光タイミングを示す図である。 第4実施形態のイメージセンサの画素アレイ部の構成を示す図である。 第5実施形態のイメージセンサの画素アレイ部の構成を示す図である。 色情報の推定方法の一例を示す図である。 第6実施形態のイメージセンサの画素アレイ部の構成を示す図である。 第7実施形態のイメージセンサの画素アレイ部の構成を示す図である。 第8実施形態のイメージセンサの画素アレイ部の構成を示す図である。 画素アレイ部のバリエーションの比較結果を示す図である。 特異画素の配置のバリエーションを示す図である。 特異画素の配置のバリエーションを示す図である。 特異画素の配置のバリエーションを示す図である。 特異画素の配置のバリエーションを示す図である。 特異画素の配置のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。 画素アレイ部の他のバリエーションを示す図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
なお、説明は以下の順序で行われる。
[1.カメラおよびイメージセンサの構成]
[2.第1実施形態のイメージセンサ]
[2-1.画素部の構成]
[2-2.通常モードの動作]
[2-3.ビニングモードの動作]
[2-4.効果]
[3.第2実施形態のイメージセンサ]
[4.第3実施形態のイメージセンサ]
[5.第4実施形態のイメージセンサ]
[6.第5実施形態のイメージセンサ]
[7.第6実施形態のイメージセンサ]
[8.第7実施形態のイメージセンサ]
[9.第8実施形態のイメージセンサ]
[10.特異画素の配置のバリエーション]
[11.画素アレイ部の他のバリエーション]
[1.カメラおよびイメージセンサの構成]
図1は、カメラCAの概略図である。
カメラCAは、レンズLEと、UV/IRカットフィルタUVFと、ローパスフィルタLPFと、イメージセンサISと、を有する。UV/IRカットフィルタUVFは、紫外線および赤外線をカットする。ローパスフィルタLPFは、画像情報として必要な波長の光だけを通して、それ以外の光をカットする。ローパスフィルタLPFは、レンズLEで捉えた像を意図的にぼかすことで、モアレや偽色の発生を抑制する。
イメージセンサISは、レンズLEから入ってきた光を電気信号に変換する。イメージセンサISは、例えば、レンズアレイLAと、カラーフィルタアレイCFAと、センサプレートSPと、を有する。センサプレートSPは、2次元的に配列された複数の光源変換素子(フォトダイオード)PDを有する。光源変換素子PDは、入射光量に応じた電荷量を光電変換して内部に蓄積し、信号として出力する。カラーフィルタアレイCFAは、複数の受光素子PDと1対1に対応して設けられた複数のカラーフィルタCFを有する。レンズアレイLAは、レンズLEから入射した光を複数の受光素子PD上に集光する複数のマイクロレンズMLを有する。
イメージセンサISとしては、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサおよびCCD(Charge-Coupled Device)イメージセンサが用いられる。カラーフィルタアレイCFAとしては、例えば、原色系カラーフィルタアレイおよび補色系カラーフィルタアレイが用いられる。原色系カラーフィルタアレイは、赤、緑および青の3色のカラーフィルタCFを有する。補色系カラーフィルタアレイは、シアン、イエロー、マゼンタおよび緑の4色のカラーフィルタCFを有する。本実施形態では、原色系カラーフィルタアレイを用いたCMOSイメージセンサが用いられる。カメラCAは、車載用など幅広い用途で用いられる。
図2は、イメージセンサISの構成の一例を示す図である。
イメージセンサISは、画素アレイ部PA、垂直駆動部VD、カラム読出し回路部CRC、カラム信号処理部CSP、水平駆動部HD、システム制御部SC及び信号処理部SPを備える。画素アレイ部PA、垂直駆動部VD、カラム読出し回路部CRC、カラム信号処理部CSP、水平駆動部HD、システム制御部SC及び信号処理部SPは、例えば、センサプレートSPに形成されたIC(Integrated Circuit)などの処理回路PRによって実現される。
画素アレイ部PAは、2次元的に配列された複数の画素PXを有する。画素PXは、光電変換素子PDとカラーフィルタCFとを含む。画素アレイ部PAには、水平方向(行方向:図示左右方向)に延びる複数の画素駆動線LDと、垂直方向(列方向:図示上下方向)に延びる複数の垂直画素配線LVと、が格子状に設けられている。画素駆動線LDは、水平方向に延びる画素行ごとに設けられている。垂直画素配線LVは垂直方向に延びる画素列ごとに設けられている。画素駆動線LDの一端は、垂直駆動部VDの各行に対応した出力端に接続されている。
カラム読出し回路部CRCは少なくとも、画素アレイ部PA内の選択行における画素PXに列毎に定電流を供給する回路、カレントミラー回路、読出し対象の画素PXの切替えスイッチなどを含む。カラム読出し回路部CRCは、画素アレイ部PA内の選択画素におけるトランジスタと共に増幅器を構成し、光電荷信号を電圧信号に変換して垂直画素配線LVに出力する。
垂直駆動部VDは、シフトレジスタやアドレスデコーダなどを含む。垂直駆動部VDは、画素アレイ部PAの各画素PXを行単位で駆動する。具体的な構成については図示を省略するが、垂直駆動部VDは、読出し走査系と、掃出し走査系あるいは一括掃出し及び一括転送系とを有する構成となっている。
読出し走査系は、画素PXから画素信号を読み出すために、画素アレイ部PAの画素PXを行単位で順に選択走査する。行駆動(ローリングシャッタ動作)の場合、掃出しについては、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃出し走査が行なわれる。また、グローバル露光(グローバルシャッタ動作)の場合は、一括転送よりもシャッタスピードの時間分先行して一括掃出しが行なわれる。このような掃出しにより、読出し行の画素PXのフォトダイオードPDから不要な電荷が掃出(リセット)される。そして、不要電荷の掃出し(リセット)により、いわゆる電子シャッタ動作が行われる。
ここで、電子シャッタ動作とは、直前までフォトダイオードPDに溜まっていた不要な光電荷を捨てて、新たに露光を開始する(光電荷の蓄積を開始する)動作のことを言う。
読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に入射した光量に対応するものである。行駆動の場合は、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、画素PXにおける光電荷の蓄積時間(露光時間)となる。グローバル露光の場合は、一括掃出しから一括転送までの時間が蓄積時間(露光時間)となる。
垂直駆動部VDによって選択走査された画素行の各画素PXから出力される画素信号は、垂直画素配線LVの各々を通してカラム信号処理部CSPに供給される。カラム信号処理部CSPは、画素アレイ部PAの画素列ごとに、選択行の各画素PXから垂直画素配線LVを通して出力される画素信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。
具体的には、カラム信号処理部CSPは、信号処理として少なくとも、ノイズ除去処理、例えばCDS(Correlated Double Sampling:相関二重サンプリング)処理を行う。このカラム信号処理部CSPによるCDSにより、リセットノイズや増幅トランジスタAMPの閾値ばらつき等の画素固有の固定パターンノイズが除去される。カラム信号処理部CSPには、ノイズ除去処理以外に、例えば、AD変換機能を持たせて、画素信号をデジタル信号として出力するように構成することも可能である。
水平駆動部HDは、シフトレジスタやアドレスデコーダなどを含む。水平駆動部HDは、カラム信号処理部CSPの画素列に対応する単位回路を順番に選択する。この水平駆動部HDによる選択走査により、カラム信号処理部CSPで信号処理された画素信号が順番に信号処理部SPに出力される。
システム制御部SCは、各種のタイミング信号を生成するタイミングジェネレータ等を含む。システム制御部SCは、タイミングジェネレータで生成された各種のタイミング信号を基に、垂直駆動部VD、カラム信号処理部CSP、水平駆動部HDなどの駆動制御を行う。
イメージセンサISはさらに、信号処理部SPと、不図示のデータ格納部とを備えている。信号処理部SPは、少なくとも加算処理機能を有し、カラム信号処理部CSPから出力される画素信号に対して加算処理等の種々の信号処理を行う。データ格納部は、信号処理部SPでの信号処理にあたって、その処理に必要なデータを一時的に格納する。信号処理部SPおよびデータ格納部の処理は、イメージセンサISとは別の基板に設けられる外部信号処理部、例えばDSP(Digital Signal Processor)やソフトウェアによって代替されてもよい。
[2.第1実施形態のイメージセンサ]
[2-1.画素部の構成]
図3は、第1実施形態のイメージセンサIS1の画素アレイ部PA1の構成を示す図である。
イメージセンサIS1は、互いに異なる色が割り当てられた複数の画素ブロックPBを有する。画素ブロックPBは、ビニングの対象となる一群の画素PXを含む画素群である。複数の画素ブロックPBは、それぞれ複数の画素PXを含む。「色が割り当てられた」とは、ビニングモードにおいて1つの仮想画素として扱われる画素ブロックPBの検出値が、割り当てられた色の色値として扱われることを意味する。
複数の画素ブロックPBはそれぞれ、割り当てられた色の光を検出する複数の画素PXを主体として含む。「主体として含む」とは、割り当てられた色の光を検出する画素PXの数が最も多いことを意味する。
複数の画素ブロックPBのうちの少なくとも1つの画素ブロックPBに設けられた複数の画素PXには、1以上の特異画素UPXが含まれる。特異画素UPXは、特異画素UPXが属さない他の1以上の画素ブロックPBに割り当てられた1以上の色の光を検出する画素PXである。
図3の例では、複数の画素ブロックPBは、赤色が割り当てられた赤画素ブロックPB1と、緑色が割り当てられた緑画素ブロックPB2と、青色が割り当てられた青画素ブロックPB3と、を含む。赤画素ブロックPB1、緑画素ブロックPB2および青画素ブロックPB3は、ベイヤ配列の配列パターンにしたがって配列されている。
複数の画素ブロックPBはそれぞれ、例えば、水平方向および垂直方向にN行N列(Nは3以上の整数)で配列されたN個の画素PXを含む。図3の例では、各画素ブロックPBは、3行3列(N=3)で配列された9個の画素PXを含む。
赤画素ブロックPB1は、例えば、1つの特異画素UPX1Aを含む。特異画素UPX1Aは、例えば、赤画素ブロックPB1の中心部に位置する。特異画素UPX1Aは、例えば、青画素ブロックPB3に割り当てられた青色の光を検出する。青画素ブロックPB3は、例えば、1つの特異画素UPX3Aを含む。特異画素UPX3Aは、例えば、青画素ブロックPB3の中心部に位置する。特異画素UPX3Aは、例えば、赤画素ブロックPB1に割り当てられた赤色の光を検出する。緑画素ブロックPB2は、特異画素UPXを含まない。1つの画素ブロックPBに含まれる特異画素UPXの数は2以上でもよい。
[2-2.通常モードの動作]
信号処理部SPは、各画素PXの検出値に対してデモザイ処理を行う。デモザイク処理は、画素PXごとに欠損する色の情報を周囲の画素PXの検出値に基づいて補完する処理である。デモザイク処理は、公知の様々な方法で行うことができる。簡単な方法としては、近くにある同じ色を担当する複数の画素PXの検出値で線形補間する方法がある。機械学習の手法を用いて各画素PXの色情報を推定してもよい。例えば、信号処理部SPは、既知の輝度分布と各画素PXの検出値との関係を機械学習させた分析モデルを用いて、各画素PXの検出値から画素PXごとに各色の色値を推定することができる。
赤画素ブロックPB1には、青色を検出する特異画素UPX1Aが含まれている。青画素ブロックPB3には、赤色を検出する特異画素UPX3Aが含まれている。そのため、赤色と青色のサンプリング間隔が低減される。よって、デモザイク処理によって各画素PXの色情報が精度よく演算される。その結果、通常モードにおいて色再現性度が高まる。
[2-3.ビニングモードの動作]
信号処理部SPは、画素ブロックPBを1つの仮想的な画素(仮想画素)として扱う。信号処理部SPは、複数の画素ブロックPBの検出値を、複数の画素ブロックPBにそれぞれ割り当てられた色の色値として検出し、デモザイク処理を行う。複数の画素PXをまとめて1つの仮想的な画素として扱うため、検出感度が高まる。その結果、暗い環境でもノイズの少ない画像が撮影できる。
例えば、信号処理部SPは、1以上の特異画素UPXを含む同一画素ブロックPB内の複数の画素PXの検出値を加算する。信号処理部SPは、加算して得られた総検出値に対して、下記式(1)のリニアマトリクスを用いて色補正をする。色補正は、特異画素UPXの検出値が他の画素PXの検出値に加算されることによる色ずれを補正する処理である。信号処理部SPは、色補正された総検出値を、画素ブロックPBに割り当てられた色の色値として検出し、デモザイク処理を行う。
Figure 0007601089000001
式(1)において、R,G,Bは、赤画素ブロックPB1、緑画素ブロックPB2および青画素ブロックPB3の総検出値である。R′,G′,B′は、補正後の赤画素ブロックPB1、緑画素ブロックPB2および青画素ブロックPB3の色値である。リニアマトリクスの係数(Rr,Rg,Rb,Gr,Gg,Gb,Br,Bg,Bb)は、カラーフィルタCFの分光透過率と、1画素ブロックPBにおける特異画素領域(特異画素UPXが配置される領域)と非特異画素領域(特異画素UPX以外の複数の画素PXが配置される領域)との面積比と、により決定される。
信号処理部SPは、特異画素UPXに起因した色ずれを抑制するために、特異画素UPXの検出値を他の画素PXの検出値に加算しないこともできる。例えば、信号処理部SPは、1以上の特異画素UPXを除く同一画素ブロックPB内の複数の画素PXの検出値を加算する。信号処理部SPは、加算して得られた総検出値を、画素ブロックPBに割り当てられた色の色値として検出し、デモザイク処理を行う。
[2-4.効果]
イメージセンサIS1は、互いに異なる色が割り当てられた複数の画素ブロックPBを有する。複数の画素ブロックPBはそれぞれ複数の画素PXを含む。複数の画素ブロックPBのうちの少なくとも1つの画素ブロックPBに設けられた複数の画素PXには、1以上の特異画素UPXが含まれる。1以上の特異画素UPXはそれぞれ、他の1以上の画素ブロックPBに割り当てられた1以上の色の光を検出する。カメラCAは、上述したイメージセンサIS1を有する。
この構成によれば、色のサンプリング間隔が低減される。そのため、デモザイク処理によって各画素PXの色情報が精度よく演算される。ビニングを行わない通常モードにおいて色再現性度が高まる。よって、高感度で且つ色再現性の高いイメージセンサIS1およびカメラCAが提供される。
イメージセンサIS1は、例えば、処理回路PRを有する。処理回路PRは、例えば、ビニングモードにおいて、複数の画素ブロックPBの検出値を、複数の画素ブロックPBにそれぞれ割り当てられた色の色値として検出する。
この構成によれば、画素ブロックPBを1つの仮想的な画素として扱うため、検出感度が高まる。その結果、暗い環境でもノイズの少ない画像が撮影される。
処理回路PRは、例えば、ビニングモードにおいて、1以上の特異画素UPXを含む同一画素ブロックPB内の複数の画素PXの検出値を加算する。処理回路PRは、例えば、加算して得られた総検出値に対して色補正をする。処理回路PRは、例えば、色補正された総検出値を、画素ブロックPBに割り当てられた色の色値として検出する。
この構成によれば、ビニングモードにおける色再現性が高まる。
処理回路PRは、例えば、ビニングモードにおいて、1以上の特異画素UPXを除く同一画素ブロックPB内の複数の画素PXの検出値を加算する。処理回路PRは、例えば、加算して得られた総検出値を、画素ブロックPBに割り当てられた色の色値として検出する。
この構成によれば、ビニングモードにおける色再現性が高まる。
複数の画素ブロックPBはそれぞれ、例えば、N行N列(Nは3以上の整数)で配列されたN個の画素PXを含む。
この構成によれば、ビニングモードにおいて高い感度が得られる。
複数の画素ブロックPBは、例えば、赤色が割り当てられた赤画素ブロックPB1と、緑色が割り当てられた緑画素ブロックPB2と、青色が割り当てられた青画素ブロックPB3と、を含む。赤画素ブロックPB1、緑画素ブロックPB2および青画素ブロックPB3は、例えば、ベイヤ配列の配列パターンにしたがって配列されている。
この構成によれば、緑の解像度が高いため、視覚的な解像度が高められる。
[3.第2実施形態のイメージセンサ]
図4は、第2実施形態のイメージセンサIS2の画素アレイ部PA2の構成を示す図である。本実施形態において第1実施形態と異なる点は、特異画素UPXが緑画素ブロックPB2のみに設けられている点である。赤画素ブロックPB1および青画素ブロックPB3は、特異画素UPXを含まない。以下、第1実施形態との相違点を中心に説明を行う。
イメージセンサIS2は、例えば、緑画素ブロックPB2として、第1緑画素ブロックPB2Aと第2緑画素ブロックPB2Bとを有する。第1緑画素ブロックPB2Aは、例えば、1つの特異画素UPX2Aを含む。特異画素UPX2Aは、例えば、第1緑画素ブロックPB2Aの中心部に位置する。特異画素UPX2Aは、例えば、赤画素ブロックPB1に割り当てられた赤色の光を検出する。第2緑画素ブロックPB2Bは、例えば、1つの特異画素UPX2Bを含む。特異画素UPX2Bは、例えば、第2緑画素ブロックPB2Bの中心部に位置する。特異画素UPX2Bは、例えば、青画素ブロックPB3に割り当てられた青色の光を検出する。第1緑画素ブロックPB2Aと第2緑画素ブロックPB2Bは、例えば、水平方向および垂直方向において交互に配置されている。1つの画素ブロックPBに含まれる特異画素UPXの数は2以上でもよい。
本実施形態においても、赤色と青色のサンプリング間隔が低減される。よって、デモザイク処理によって各画素PXの色情報が精度よく演算される。その結果、通常モードにおいて色再現性度が高まる。
[4.第3実施形態のイメージセンサ]
図5は、第3実施形態のイメージセンサIS3の画素アレイ部PA3の構成を示す図である。本実施形態において第1実施形態と異なる点は、特異画素UPXが、複数の画素ブロックPBに割り当てられた複数の色から選択された2以上の色の光を検出する点である。特異画素UPXは、例えば、特異画素UPXが属する画素ブロックPBに割り当てられた色の光と、特異画素UPXが属さない画素ブロックPBに割り当てられた色の光と、を選択的に検出する。以下、第1実施形態との相違点を中心に説明を行う。
赤画素ブロックPB1は、例えば、1つの特異画素UPX1Bを含む。特異画素UPX1Bは、例えば、赤画素ブロックPB1の中心部に位置する。特異画素UPX1Bは、例えば、赤画素ブロックPB1に割り当てられた赤色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。青画素ブロックPB3は、例えば、1つの特異画素UPX3Bを含む。特異画素UPX3Bは、例えば、青画素ブロックPB3の中心部に位置する。特異画素UPX3Bは、例えば、赤画素ブロックPB1に割り当てられた赤色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。緑画素ブロックPB2は、特異画素UPXを含まない。1つの画素ブロックPBに含まれる特異画素UPXの数は2以上でもよい。特異画素UPXに検出される色は2より多くてもよい。
特異画素UPXは、2以上の色の光を検出する。そのため、信号処理部SAは、例えば、特異画素UPXの周囲の画素PXの色情報を用いて、特異画素UPXで検出される2以上の色の色値をそれぞれ推定する。例えば、信号処理部SAは、赤画素ブロックPB1内の特異画素UPX1B以外の画素PXの検出値に基づいて、特異画素UPX1Bで検出されるべき赤の色値を推定する。信号処理部SAは、特異画素UPX1Bの検出値(赤の色値と青の色値とを含む)から、推定された赤の色値を引くことで、特異画素UPX1Bで検出されるべき青の色値を推定する。特異画素UPX3Bで検出されるべき赤の色値と青の色値も同様の方法で推定される。
本実施形態では、1つの特異画素UPXによって2以上の色の光が検出される。そのため、2以上の色のサンプリング間隔が低減される。ビニングモードにおける感度も高まる。また、特異画素UPXは、特異画素UPXが属する画素ブロックPBに割り当てられた色を含む2以上の色の光を検出する。そのため、通常モードにおける色再現性が高い。
特異画素UPXは、2以上の色の光を検出する。そのため、1色の光だけを検出する他の画素PXに比べて画素信号が飽和しやすい。そのため、処理回路PRは、例えば、特異画素UPXの露光時間を他の画素PXの露光時間よりも短くする。
図6は、各画素PXの露光タイミングを示す図である。
画素ブロックPBの中央にある特異画素UPXの露光開始タイミングは、特異画素UPX以外の画素PXの露光開始タイミングよりも遅い。露光終了タイミングは、特異画素UPXと特異画素UPX以外の画素PXとで同じである。そのため、特異画素UPXの露光時間は、特異画素UPX以外の画素PXの露光時間よりも短い。特異画素UPXの露光時間は、例えば、特異画素UPX以外の画素PXの露光時間の半分に設定されている。よって、特異画素UPXの画素信号が飽和することが抑制される。
[5.第4実施形態のイメージセンサ]
図7は、第4実施形態のイメージセンサIS4の画素アレイ部PA4の構成を示す図である。本実施形態において第2実施形態と異なる点は、特異画素UPXが、複数の画素ブロックPBに割り当てられた複数の色から選択された2以上の色の光を検出する点である。特異画素UPXは、例えば、特異画素UPXが属する画素ブロックPBに割り当てられた色の光と、特異画素UPXが属さない画素ブロックPBに割り当てられた色の光と、を選択的に検出する。以下、第2実施形態との相違点を中心に説明を行う。
第1緑画素ブロックPB2Aは、例えば、1つの特異画素UPX2Cを含む。特異画素UPX2Cは、例えば、第1緑画素ブロックPB2Aの中心部に位置する。特異画素UPX2Cは、例えば、赤画素ブロックPB1に割り当てられた赤色の光と、緑画素ブロックPB2に割り当てられた緑色の光と、を検出する。第2緑画素ブロックPB2Bは、例えば、1つの特異画素UPX2Dを含む。特異画素UPX2Dは、例えば、第2緑画素ブロックPB2Bの中心部に位置する。特異画素UPX2Dは、例えば、緑画素ブロックPB2に割り当てられた緑色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。第1緑画素ブロックPB2Aと第2緑画素ブロックPB2Bは、例えば、水平方向および垂直方向において交互に配置されている。1つの画素ブロックPBに含まれる特異画素UPXの数は2以上でもよい。
特異画素UPXは、2以上の色の光を検出する。そのため、信号処理部SAは、例えば、特異画素UPXの周囲の画素PXの色情報を用いて、特異画素UPXで検出される2以上の色の色値をそれぞれ推定する。例えば、信号処理部SAは、第1緑画素ブロックPB2A内の特異画素UPX2C以外の画素PXの検出値に基づいて、特異画素UPX2Cで検出されるべき緑の色値を推定する。信号処理部SAは、特異画素UPX2Cの検出値(赤の色値と緑の色値とを含む)から、推定された緑の色値を引くことで、特異画素UPX2Cで検出されるべき赤の色値を推定する。特異画素UPX2Dで検出されるべき緑の色値と青の色値も同様の方法で推定される。
処理回路PRは、例えば、特異画素UPXの露光時間を他の画素PXの露光時間よりも短くする。これにより、特異画素UPXの画素信号が飽和することが抑制される。
本実施形態でも、1つの特異画素UPXによって2以上の色の光が検出される。そのため、2以上の色のサンプリング間隔が低減される。ビニングモードにおける感度も高まる。また、特異画素UPXは、特異画素UPXが属する画素ブロックPBに割り当てられた色を含む2以上の色の光を検出する。そのため、通常モードにおける色再現性が高い。
[6.第5実施形態のイメージセンサ]
図8は、第5実施形態のイメージセンサIS5の画素アレイ部PA5の構成を示す図である。本実施形態において第1実施形態と異なる点は、特異画素UPXが、赤画素ブロックPB1および青画素ブロックPB3に加えて緑画素ブロックPB2にも設けられている点である。全ての画素ブロックPBに1以上の特異画素UPXが含まれる。緑画素ブロックPB2に設けられた特異画素UPX2Eは、例えば、複数の画素ブロックPBに割り当てられた複数の色から選択された2以上の色の光を検出する。特異画素UPX2Eは、例えば、特異画素UPXが属さない2以上の画素ブロックPBにそれぞれ割り当てられた2以上の色の光を選択的に検出する。以下、第1実施形態との相違点を中心に説明を行う。
緑画素ブロックPB2は、例えば、1つの特異画素UPX2Eを含む。特異画素UPX2Eは、例えば、緑画素ブロックPB2の中心部に位置する。特異画素UPX2Eは、例えば、赤画素ブロックPB1に割り当てられた赤色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。特異画素UPX2Eは、特異画素UPX2Eが属する緑画素ブロックPB2に割り当てられた緑色と補色の関係にあるマゼンタ色の光を検出する。1つの緑画素ブロックPB2に含まれる特異画素UPX2Eの数は2以上でもよい。特異画素UPX2Eに検出される色は2より多くてもよい。
特異画素UPX2Eは、2以上の色の光を検出する。そのため、信号処理部SAは、例えば、特異画素UPX2Eの周囲の画素PXの色情報を用いて、特異画素UPX2Eで検出される2以上の色の色値をそれぞれ推定する。例えば、信号処理部SAは、緑画素ブロックPB2の周囲の赤画素ブロックPB1および青画素ブロックPB3で検出された赤色の画素PXおよび青色の画素PXの検出値に基づいて、特異画素UPX2Eで検出されるべき赤の色値および青の色値を推定する。
信号処理部SAは、例えば、推定された赤の色値と青の色値との和と、検出値(赤の色値と青の色値とを含む)とを比較することで、高い精度で緑画素ブロックPB2内の各画素PXの赤の色値および青の色値を推定することができる。他の画素PXの色情報は、周囲の確度の高い色情報に基づいて推定することができる。
図9は、色情報の推定方法の一例を示す図である。
図9は、白色光が画素アレイ部PA5の一部に入射した状態を示す。白色光は、赤、緑および青の色値がいずれも128の光として計測される。暗い部分の赤、緑および青の色値はいずれもゼロである。このとき、図示“A”で示す特異画素UPX2Eの赤、緑および青の色値は次のようにして推定される。
まず、特異画素UPX2Eの周囲の赤および青の検出値が取得される。図9の例では、特異画素UPX2Eの上の画素PXの赤の色値および青の色値は、いずれも128である。特異画素UPX2Eの左の画素PXの赤の色値および青の色値は、いずれも128である。特異画素UPX2Eの右の画素PXの赤の色値および青の色値は、いずれも0である。特異画素UPX2Eの下の画素PXの赤の色値および青の色値は、いずれも0である。
特異画素UPX2Eの周囲の赤および青の検出値を用いて線形補間を行うと、特異画素UPX2Eの赤および青の色値は、いずれも64と推定される。よって、特異画素UPX2Eの検出値(赤の色値と青の色値との和)は128と推定される。しかし、実際の特異画素UPX2Eの検出値は256(赤の色値128と青の色値128との和)である。赤および青の推定色値は、より大きな値へ修正すべきであることが分かる。よって、信号処理部SPは、例えば、赤の推定色値と青の推定色値との比を維持したまま、赤の推定色値と青の推定色値との和が実際の検出値(赤の色値と青の色値との和)と同じ値となるように、赤の推定色値および青の推定色値を増減させる処理を行う。なお、色値の推定および修正は機械学習の手法を用いて行われてもよい。
処理回路PRは、例えば、特異画素UPX2Eの露光時間を他の画素PXの露光時間よりも短くする。そのため、特異画素UPX2Eの画素信号が飽和することが抑制される。
本実施形態では、全ての画素ブロックPBに1以上の特異画素UPXが含まれる。そのため、複数の画素ブロックPBに割り当てられた全ての色について、サンプリング間隔が低減される。ビニングモードにおける感度も高まる。また、緑画素ブロックPB2に、赤および青の光を検出する特異画素UPX2Eが設けられているため、赤と青の分解能が高まる。また、特異画素UPX2Eは、特異画素UPX2Eが属さない2以上の画素ブロックPBにそれぞれ割り当てられた2以上の色の光を選択的に検出する。そのため、通常モードにおいて、特異画素UPX2Eにおけるこの2以上の色の色値の推定精度が高まる。
[7.第6実施形態のイメージセンサ]
図10は、第6実施形態のイメージセンサIS6の画素アレイ部PA6の構成を示す図である。本実施形態において第5実施形態と異なる点は、赤画素ブロックPB1および青画素ブロックPB3の特異画素UPXが、複数の画素ブロックPBに割り当てられた複数の色から選択された2以上の色の光を検出する点である。赤画素ブロックPB1および青画素ブロックPB3の特異画素UPXは、例えば、特異画素UPXが属さない2以上の画素ブロックPBにそれぞれ割り当てられた2以上の色の光を選択的に検出する。以下、第5実施形態との相違点を中心に説明を行う。
赤画素ブロックPB1は、例えば、1つの特異画素UPX1Cを含む。特異画素UPX1Cは、例えば、赤画素ブロックPB1の中心部に位置する。特異画素UPX1Cは、例えば、緑画素ブロックPB2に割り当てられた緑色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。特異画素UPX1Cは、特異画素UPX1Cが属する赤画素ブロックPB1に割り当てられた赤色と補色の関係にあるシアン色の光を検出する。1つの赤画素ブロックPB1に含まれる特異画素UPX1Cの数は2以上でもよい。特異画素UPX1Cに検出される色は2より多くてもよい。
青画素ブロックPB3は、例えば、1つの特異画素UPX3Cを含む。特異画素UPX3Cは、例えば、青画素ブロックPB3の中心部に位置する。特異画素UPX3Cは、例えば、赤画素ブロックPB1に割り当てられた赤色の光と、緑画素ブロックPB2に割り当てられた緑色の光と、を検出する。特異画素UPX3Cは、特異画素UPX3Cが属する青画素ブロックPB3に割り当てられた青色と補色の関係にある黄色の光を検出する。1つの青画素ブロックPB3に含まれる特異画素UPX3Cの数は2以上でもよい。特異画素UPX3Cに検出される色は2より多くてもよい。
特異画素UPX1Cは、2以上の色の光を検出する。そのため、信号処理部SAは、例えば、特異画素UPX1Cの周囲の画素PXの色情報を用いて、特異画素UPX1Cで検出される2以上の色の色値をそれぞれ推定する。例えば、信号処理部SAは、赤画素ブロックPB1の周囲の緑画素ブロックPB2および青画素ブロックPB3で検出された緑色の画素PXおよび青色の画素PXの検出値に基づいて、特異画素UPX1Cで検出されるべき緑の色値および青の色値を推定する。
信号処理部SAは、例えば、推定された緑の色値と青の色値との和と、検出値(緑の色値と青の色値とを含む)とを比較することで、高い精度で赤画素ブロックPB1内の各画素PXの緑の色値および青の色値を推定することができる。他の画素PXの色情報は、周囲の確度の高い色情報に基づいて推定することができる。
特異画素UPX3Cは、2以上の色の光を検出する。そのため、信号処理部SAは、例えば、特異画素UPX3Cの周囲の画素PXの色情報を用いて、特異画素UPX3Cで検出される2以上の色の色値をそれぞれ推定する。例えば、信号処理部SAは、青画素ブロックPB3の周囲の赤画素ブロックPB1および緑画素ブロックPB2で検出された赤色の画素PXおよび緑色の画素PXの検出値に基づいて、特異画素UPX3Cで検出されるべき赤の色値および緑の色値を推定する。
信号処理部SAは、例えば、推定された赤の色値と緑の色値との和と、検出値(赤の色値と緑の色値とを含む)とを比較することで、高い精度で青画素ブロックPB3内の各画素PXの赤の色値および緑の色値を推定することができる。他の画素PXの色情報は、周囲の確度の高い色情報に基づいて推定することができる。
本実施形態では、第5実施形態の効果に加えて次のような効果が得られる。赤画素ブロックPB1に、緑および青の光を検出する特異画素UPX1Cが設けられているため、緑と青の分解能が高まる。青画素ブロックPB3に、赤および緑の光を検出する特異画素UPX3Cが設けられているため、赤と緑の分解能が高まる。また、特異画素UPX1Cは、特異画素UPX1Cが属さない2以上の画素ブロックPBにそれぞれ割り当てられた2以上の色の光を選択的に検出する。そのため、通常モードにおいて、特異画素UPX1Cにおけるこの2以上の色の色値の推定精度が高まる。特異画素UPX3Cは、特異画素UPX3Cが属さない2以上の画素ブロックPBにそれぞれ割り当てられた2以上の色の光を選択的に検出する。そのため、通常モードにおいて、特異画素UPX3Cにおけるこの2以上の色の色値の推定精度が高まる。
[8.第7実施形態のイメージセンサ]
図11は、第7実施形態のイメージセンサIS7の画素アレイ部PA7の構成を示す図である。本実施形態において第5実施形態と異なる点は、緑画素ブロックPB2に設けられた特異画素UPX2Fが、複数の画素ブロックPBに割り当てられた全ての色の光を検出する点である。以下、第5実施形態との相違点を中心に説明を行う。
緑画素ブロックPB2は、例えば、1つの特異画素UPX2Fを含む。特異画素UPX2Fは、例えば、緑画素ブロックPB2の中心部に位置する。特異画素UPX2Fは、複数の画素ブロックPBに割り当てられた全ての色の光を検出する。特異画素UPX2Fが検出する光は、赤、緑および青の色を含む白色の光である。1つの緑画素ブロックPB2に含まれる特異画素UPX2Fの数は2以上でもよい。
特異画素UPX2Fは、3つの色の光を検出する。そのため、信号処理部SAは、例えば、特異画素UPX2Fの周囲の画素PXの色情報を用いて、特異画素UPX2Fで検出される3つの色の色値をそれぞれ推定する。例えば、信号処理部SAは、緑画素ブロックPB2内の特異画素UPX2F以外の画素PXの検出値に基づいて、特異画素UPX2Fで検出されるべき緑の色値を推定する。信号処理部SAは、特異画素UPX2Fの検出値(赤の色値、緑の色値および青の色値を含む)から、推定された緑の色値を引く。これにより、特異画素UPX2Fにおける赤の色値と青の色値との和の値が推定される。
赤の色値と青の色値との和の値から、赤色の色値と青色の色値とをそれぞれ推定する手法は第5実施形態で示したものと同じである。
本実施形態では、第5実施形態の効果に加えて次のような効果が得られる。特異画素UPX2Fは、複数の画素ブロックPBに割り当てられた全ての色の光を検出する。そのため、ビニングモードにおいて高い感度が得られる。
[9.第8実施形態のイメージセンサ]
図12は、第8実施形態のイメージセンサIS8の画素アレイ部PA8の構成を示す図である。本実施形態において第7実施形態と異なる点は、全ての画素ブロックPBに設けられた特異画素UPXが、複数の画素ブロックPBに割り当てられた全ての色の光を検出する点である。以下、第7実施形態との相違点を中心に説明を行う。
赤画素ブロックPB1は、例えば、1つの特異画素UPX1Dを含む。特異画素UPX1Dは、例えば、赤画素ブロックPB1の中心部に位置する。特異画素UPX1Dは、複数の画素ブロックPBに割り当てられた全ての色の光を検出する。特異画素UPX1Dが検出する光は、赤、緑および青の色を含む白色の光である。1つの赤画素ブロックPB1に含まれる特異画素UPX1Dの数は2以上でもよい。
青画素ブロックPB3は、例えば、1つの特異画素UPX3Dを含む。特異画素UPX3Dは、例えば、青画素ブロックPB3の中心部に位置する。特異画素UPX3Dは、複数の画素ブロックPBに割り当てられた全ての色の光を検出する。特異画素UPX3Dが検出する光は、赤、緑および青の色を含む白色の光である。1つの青画素ブロックPB3に含まれる特異画素UPX3Dの数は2以上でもよい。
信号処理部SAは、例えば、特異画素UPX1Dの周囲の画素PXの色情報を用いて、特異画素UPX1Dで検出される3つの色の色値をそれぞれ推定する。信号処理部SAは、例えば、特異画素UPX3Dの周囲の画素PXの色情報を用いて、特異画素UPX3Dで検出される3つの色の色値をそれぞれ推定する。推定方法は、第7実施形態に示したものと同じである。
本実施形態では、第7実施形態の効果に加えて次のような効果が得られる。全ての画素ブロックPBに設けられた特異画素UPXが、複数の画素ブロックPBに割り当てられた全ての色の光を検出する。そのため、ビニングモードにおいてより高い感度が得られる。
図13は、上述した画素アレイ部PAのバリエーションの比較結果を示す図である。
図13において、「単色」は、特異画素UPXが1つの色の光を選択的に検出する構成を示す。「補色」は、特異画素UPXが、特異画素UPXの属する画素ブロックPB以外の全ての画素ブロックPBに割り当てられた複数の色の光を検出する構成を示す。「オリジナル+一色」は、特異画素UPXが、特異画素UPXが属する画素ブロックPBに割り当てられた色の光、および、特異画素UPXが属さない他の1つの画素ブロックPBに割り当てられた色の光を検出する構成を示す。「ホワイト」は、特異画素UPXが、複数の画素ブロックPBに割り当てられた全ての色の光を検出する構成を示す。
図13の表に記載された数値(1,2,3,4)は各構成の性能の順位を示す。数値が1の構成が最も性能がよい。図13に示すように、赤および青の分解能は、「単色」の構成が最も高い。ビニングモードにおける感度は、「ホワイト」の構成が最も高い。ビニングモードにおける色再現性は、「オリジナル+一色」の構成が最もよい。
[10.特異画素の配置のバリエーション]
図14ないし図18は、特異画素UPXの配置のバリエーションを示す図である。
図14は、画素ブロックPBの中央部に1つの特異画素UPXが配置された例である。3行3列で配置された9つの画素PXの中央部の1つの画素PXが特異画素UPXとなっている。
図15は、画素ブロックPBの中央部に4つの特異画素UPXが互いに隣接して配置された例である。4行4列で配置された16個の画素PXのうち、中央部の2行2列で配置された4つの画素PXが特異画素UPXとなっている。
図16は、画素ブロックPBの中央部に4つの特異画素UPXが、互いに隣接しないように配置された例である。4つの特異画素UPXは、画素ブロックPBの中心に対して回転対称な位置に配置されている。
図14ないし図16の例では、1以上の特異画素UPXが、画素ブロックPBの中心部に位置する。そのため、デモザイク処理によって各画素PXの色情報が精度よく演算される。
図17および図18は、画素ブロックPBが、各行および各列に1以上の特異画素UPXを含む例である。
図17の例では、4行4列で配置された16個の画素PXで構成される画素ブロックPBの最外周部に位置する4つの画素PXが特異画素UPXとなっている。4つの画素UPXは、画素ブロックPBの中心に対して回転対称な位置に配置されている。
図18の例では、5行5列で配置された25個の画素PXで構成される画素ブロックPBの中心部に位置する1つの画素PXおよび最外周部に位置する4つの画素PXが特異画素UPXとなっている。5つの特異画素UPXは、画素ブロックPBの中心に対して回転対称な位置に配置されている。
図17および図18の例では、画素ブロックPBの各行および各列に1以上の特異画素UPXが設けられるため、色のサンプリング間隔が低減される。
図14ないし図18の例では、画素ブロックPBを構成する画素PXの数が9個、16個または25個となっている。しかし、画素ブロックPBを構成する画素PXの数はこれに限られない。
[11.画素アレイ部の他のバリエーション]
図19ないし図26は、画素アレイ部PAの他のバリエーションを示す図である。
図19ないし図21の例は、同一画素ブロックPBに属する複数の特異画素UPXが検出する光の色が全て同じである例である。
例えば、図19のイメージセンサIS9は、第1実施形態の構成に図18の特異画素UPXの配置を適用した例である。図20のイメージセンサIS10は、第3実施形態の構成に図18の特異画素UPXの配置を適用した例である。図21のイメージセンサIS11は、第8実施形態の構成に図18の特異画素UPXの配置を適用した例である。図21の例では、第8実施形態と異なり、緑画素ブロックPB2は特異画素UPXを含まない。
図19ないし図21の例では、画素ブロックPBは、各行および各列に1以上の特異画素UPXを含む。そのため、色のサンプリング間隔が低減される。
図22ないし図26の例は、同一画素ブロックPBに、異なる色の光を検出する複数種類の特異画素UPXが含まれる例である。
例えば、図22のイメージセンサIS12は、図19の例に対して次の点が異なる。すなわち、画素ブロックPBの中央部に位置する1つの特異画素UPXの検出する光の色は、画素ブロックPBの最外周部に位置する他の4つの特異画素UPXの検出する光の色と異なる。
例えば、赤画素ブロックPB1の最外周部に位置する特異画素UPX1Aは、青画素ブロックPB3に割り当てられた青色の光を検出する。赤画素ブロックPB1の中心部に位置する特異画素UPX1Bは、赤画素ブロックPB1に割り当てられた赤色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。青画素ブロックPB3の最外周部に位置する特異画素UPX3Aは、赤画素ブロックPB1に割り当てられた赤色の光を検出する。青画素ブロックPB3の中心部に位置する特異画素UPX3Bは、赤画素ブロックPB1に割り当てられた赤色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。デモザイク処理の方法は、第1実施形態および第3実施形態で説明したものと同じである。
この構成では、図19の例で示した効果に加えて次のような効果が得られる。画素ブロックPBの中心部に位置する特異画素UPXは、2以上の色の光を検出する。そのため、2以上の色のサンプリング間隔が低減される。ビニングモードにおける感度も高まる。また、画素ブロックPBの中心部に位置する特異画素UPXは、特異画素UPXが属する画素ブロックPBに割り当てられた色を含む2以上の色の光を検出する。そのため、通常モードにおける色再現性が高い。
図23のイメージセンサIS13および図24のイメージセンサIS14は、図22の例に対して、画素ブロックPBの中心部に位置する特異画素UPXの検出する光の色が異なる。
例えば、図23の例では、赤画素ブロックPB1の中心部に位置する特異画素UPX1Eは、赤画素ブロックPB1に割り当てられた赤色の光と、緑画素ブロックPB2に割り当てられた緑色の光と、を検出する。青画素ブロックPB3の中心部に位置する特異画素UPX3Eは、緑画素ブロックPB2に割り当てられた緑色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。図24の例では、赤画素ブロックPB1の中心部に位置する特異画素UPX1Dは、複数の画素ブロックPBに割り当てられた全ての色の光を検出する。青画素ブロックPB3の中心部に位置する特異画素UPX3Dは、複数の画素ブロックPBに割り当てられた全ての色の光を検出する。これらの例によっても、図22の例と同様の効果が得られる。
図25のイメージセンサIS15は、図24の例に対して、画素ブロックPBの最外周部に位置する特異画素UPXの検出する光の色が異なる。例えば、赤画素ブロックPB1の最外周部に位置する特異画素UPX1Bは、赤画素ブロックPB1に割り当てられた赤色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。青画素ブロックPB3の最外周部に位置する特異画素UPX3Bは、赤画素ブロックPB1に割り当てられた赤色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。この構成では、画素ブロックPBの中心部に位置する特異画素UPXに加えて、画素ブロックPBの最外周部に位置する特異画素UPXも複数の色の光を検出する。そのため、色のサンプリング間隔が低減される。
図26のイメージセンサIS16は、図25の例に対して、異なる色の光を検出する複数の特異画素UPXが同一画素ブロックPBの最外周部に設けられている点が異なる。
例えば、赤画素ブロックPB1の最外周部には、互いに異なる色の光を検出する特異画素UPX1Aと特異画素UPX1Bとが設けられている。特異画素UPX1Aは、青画素ブロックPB3に割り当てられた青色の光を検出する。特異画素UPX1Bは、赤画素ブロックPB1に割り当てられた赤色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。赤画素ブロックPB1には、赤画素ブロックPB1の中心に対して点対称な位置に2つの特異画素UPX1Aが設けられている。赤画素ブロックPB1には、赤画素ブロックPB1の中心に対して点対称な位置に2つの特異画素UPX1Bが設けられている。
青画素ブロックPB3の最外周部には、互いに異なる色の光を検出する特異画素UPX3Aと特異画素UPX3Bとが設けられている。特異画素UPX3Aは、赤画素ブロックPB1に割り当てられた赤色の光を検出する。特異画素UPX3Bは、赤画素ブロックPB1に割り当てられた赤色の光と、青画素ブロックPB3に割り当てられた青色の光と、を検出する。青画素ブロックPB3には、青画素ブロックPB3の中心に対して点対称な位置に2つの特異画素UPX3Aが設けられている。青画素ブロックPB3には、青画素ブロックPB3の中心に対して点対称な位置に2つの特異画素UPX3Bが設けられている。
この構成でも、色のサンプリング間隔が低減される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
互いに異なる色が割り当てられた複数の画素ブロックを有し、
前記複数の画素ブロックはそれぞれ複数の画素を含み、
前記複数の画素ブロックのうちの少なくとも1つの画素ブロックに設けられた前記複数の画素には、他の1以上の画素ブロックに割り当てられた1以上の色の光を検出する1以上の特異画素が含まれる
イメージセンサ。
(2)
ビニングモードにおいて、前記複数の画素ブロックの検出値を、前記複数の画素ブロックにそれぞれ割り当てられた色の色値として検出する処理回路を有する
上記(1)に記載のイメージセンサ。
(3)
前記処理回路は、前記ビニングモードにおいて、前記1以上の特異画素を含む同一画素ブロック内の前記複数の画素の検出値を加算し、加算して得られた総検出値に対して色補正をし、色補正された総検出値を、前記画素ブロックに割り当てられた色の色値として検出する
上記(2)に記載のイメージセンサ。
(4)
前記処理回路は、前記ビニングモードにおいて、前記1以上の特異画素を除く同一画素ブロック内の複数の画素の検出値を加算し、加算して得られた総検出値を、前記画素ブロックに割り当てられた色の色値として検出する
上記(2)に記載のイメージセンサ。
(5)
前記特異画素は、前記複数の画素ブロックに割り当てられた複数の色から選択された2以上の色の光を検出する
上記(1)ないし(4)のいずれか1つに記載のイメージセンサ。
(6)
前記特異画素は、前記特異画素が属する画素ブロックに割り当てられた色の光と、前記特異画素が属さない1以上の画素ブロックにそれぞれ割り当てられた1以上の色の光と、を選択的に検出する
上記(5)に記載のイメージセンサ。
(7)
前記特異画素は、前記特異画素が属さない2以上の画素ブロックにそれぞれ割り当てられた2以上の色の光を選択的に検出する
上記(5)に記載のイメージセンサ。
(8)
前記特異画素は、前記複数の画素ブロックに割り当てられた全ての色の光を検出する
上記(5)に記載のイメージセンサ。
(9)
前記特異画素の露光時間を他の画素の露光時間よりも短くする処理回路を有する
上記(5)ないし(8)のいずれか1つに記載のイメージセンサ。
(10)
前記複数の画素ブロックは、それぞれN行N列(Nは3以上の整数)で配列されたN個の画素を含む
上記(1)ないし(9)のいずれか1つに記載のイメージセンサ。
(11)
前記1以上の特異画素は、画素ブロックの中心部に位置する
上記(10)に記載のイメージセンサ。
(12)
前記画素ブロックは、各行および各列に1以上の特異画素を含む
上記(10)に記載のイメージセンサ。
(13)
前記複数の画素ブロックは、赤色が割り当てられた赤画素ブロックと、緑色が割り当てられた緑画素ブロックと、青色が割り当てられた青画素ブロックと、を含み、
前記赤画素ブロック、前記緑画素ブロックおよび前記青画素ブロックは、ベイヤ配列の配列パターンにしたがって配列されている
上記(10)ないし(12)のいずれか1つに記載のイメージセンサ。
(14)
上記(1)ないし(13)のいずれか1つに記載のイメージセンサを有するカメラ。
CA カメラ
IS,IS1~IS16 イメージセンサ
PB 画素ブロック
PX 画素
PR 処理回路
UPX,UPX1A~UPX1E,UPX2A~UPX2F,UPX3A~UPX3E 特異画素

Claims (9)

  1. 互いに異なる色が割り当てられた複数の画素ブロックを有し、
    前記複数の画素ブロックはそれぞれ複数の画素を含み、
    前記複数の画素ブロックのうちの少なくとも1つの画素ブロックに設けられた前記複数の画素には、他の1以上の画素ブロックに割り当てられた1以上の色の光を検出する1以上の特異画素が含まれ、
    ビニングモードにおいて、前記複数の画素ブロックの検出値を、前記複数の画素ブロックにそれぞれ割り当てられた色の色値として検出する処理回路を有し、
    前記処理回路は、前記ビニングモードにおいて、前記1以上の特異画素を含む同一画素ブロック内の前記複数の画素の検出値を加算し、加算して得られた総検出値に対して色補正をし、色補正された総検出値を、前記画素ブロックに割り当てられた色の色値として検出する
    メージセンサ。
  2. 互いに異なる色が割り当てられた複数の画素ブロックを有し、
    前記複数の画素ブロックはそれぞれ複数の画素を含み、
    前記複数の画素ブロックのうちの少なくとも1つの画素ブロックに設けられた前記複数の画素には、他の1以上の画素ブロックに割り当てられた1以上の色の光を検出する1以上の特異画素が含まれ、
    ビニングモードにおいて、前記複数の画素ブロックの検出値を、前記複数の画素ブロックにそれぞれ割り当てられた色の色値として検出する処理回路を有し、
    前記処理回路は、前記ビニングモードにおいて、前記1以上の特異画素を除く同一画素ブロック内の複数の画素の検出値を加算し、加算して得られた総検出値を、前記画素ブロックに割り当てられた色の色値として検出する
    メージセンサ。
  3. 互いに異なる色が割り当てられた複数の画素ブロックを有し、
    前記複数の画素ブロックはそれぞれ複数の画素を含み、
    前記複数の画素ブロックのうちの少なくとも1つの画素ブロックに設けられた前記複数の画素には、他の1以上の画素ブロックに割り当てられた1以上の色の光を検出する1以上の特異画素が含まれ、
    前記特異画素は、前記複数の画素ブロックに割り当てられた複数の色から選択された2以上の色の光を検出し、
    前記特異画素は、前記特異画素が属する画素ブロックに割り当てられた色の光と、前記特異画素が属さない1以上の画素ブロックにそれぞれ割り当てられた1以上の色の光と、を選択的に検出する
    メージセンサ。
  4. 互いに異なる色が割り当てられた複数の画素ブロックを有し、
    前記複数の画素ブロックはそれぞれ複数の画素を含み、
    前記複数の画素ブロックのうちの少なくとも1つの画素ブロックに設けられた前記複数の画素には、他の1以上の画素ブロックに割り当てられた1以上の色の光を検出する1以上の特異画素が含まれ、
    前記特異画素は、前記複数の画素ブロックに割り当てられた複数の色から選択された2以上の色の光を検出し、
    前記特異画素は、前記特異画素が属さない2以上の画素ブロックにそれぞれ割り当てられた2以上の色の光を選択的に検出する
    メージセンサ。
  5. 互いに異なる色が割り当てられた複数の画素ブロックを有し、
    前記複数の画素ブロックはそれぞれ複数の画素を含み、
    前記複数の画素ブロックのうちの少なくとも1つの画素ブロックに設けられた前記複数の画素には、他の1以上の画素ブロックに割り当てられた1以上の色の光を検出する1以上の特異画素が含まれ、
    前記特異画素は、前記複数の画素ブロックに割り当てられた複数の色から選択された2以上の色の光を検出し、
    前記特異画素は、前記複数の画素ブロックに割り当てられた全ての色の光を検出する
    メージセンサ。
  6. 互いに異なる色が割り当てられた複数の画素ブロックを有し、
    前記複数の画素ブロックはそれぞれ複数の画素を含み、
    前記複数の画素ブロックのうちの少なくとも1つの画素ブロックに設けられた前記複数の画素には、他の1以上の画素ブロックに割り当てられた1以上の色の光を検出する1以上の特異画素が含まれ、
    前記特異画素は、前記複数の画素ブロックに割り当てられた複数の色から選択された2以上の色の光を検出し、
    前記特異画素の露光時間を他の画素の露光時間よりも短くする処理回路を有する
    メージセンサ。
  7. 互いに異なる色が割り当てられた複数の画素ブロックを有し、
    前記複数の画素ブロックはそれぞれ複数の画素を含み、
    前記複数の画素ブロックのうちの少なくとも1つの画素ブロックに設けられた前記複数の画素には、他の1以上の画素ブロックに割り当てられた1以上の色の光を検出する1以上の特異画素が含まれ、
    前記複数の画素ブロックは、それぞれN行N列(Nは3以上の整数)で配列されたN 個の画素を含み、
    前記1以上の特異画素は、画素ブロックの中心部に位置する
    メージセンサ。
  8. 前記複数の画素ブロックは、赤色が割り当てられた赤画素ブロックと、緑色が割り当てられた緑画素ブロックと、青色が割り当てられた青画素ブロックと、を含み、
    前記赤画素ブロック、前記緑画素ブロックおよび前記青画素ブロックは、ベイヤ配列の配列パターンにしたがって配列されている
    請求項に記載のイメージセンサ。
  9. 請求項1に記載のイメージセンサを有するカメラ。
JP2022508236A 2020-03-17 2021-03-09 イメージセンサおよびカメラ Active JP7601089B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020046792 2020-03-17
JP2020046792 2020-03-17
PCT/JP2021/009181 WO2021187223A1 (ja) 2020-03-17 2021-03-09 イメージセンサおよびカメラ

Publications (2)

Publication Number Publication Date
JPWO2021187223A1 JPWO2021187223A1 (ja) 2021-09-23
JP7601089B2 true JP7601089B2 (ja) 2024-12-17

Family

ID=77771241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022508236A Active JP7601089B2 (ja) 2020-03-17 2021-03-09 イメージセンサおよびカメラ

Country Status (3)

Country Link
US (1) US11974054B2 (ja)
JP (1) JP7601089B2 (ja)
WO (1) WO2021187223A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7487151B2 (ja) * 2021-06-29 2024-05-20 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の製造方法、および電子機器
WO2023100467A1 (ja) * 2021-11-30 2023-06-08 ソニーグループ株式会社 情報処理装置と情報処理方法とプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016213740A (ja) 2015-05-12 2016-12-15 キヤノン株式会社 撮像装置及び撮像システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
JP2007235888A (ja) 2006-03-03 2007-09-13 Fujifilm Corp 単板式カラー固体撮像素子及び撮像装置
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
JP2008160210A (ja) 2006-12-20 2008-07-10 Canon Inc 情報処理方法および撮像装置
JP4805294B2 (ja) 2007-02-27 2011-11-02 フェーズ・ワン・アクティーゼルスカブ デジタル画像の画像解像度を低減するカラービニング
JP5359465B2 (ja) 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
EP2873028A4 (en) * 2012-06-28 2016-05-25 Pelican Imaging Corp SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS
JP6622481B2 (ja) * 2015-04-15 2019-12-18 キヤノン株式会社 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP6514076B2 (ja) 2015-09-11 2019-05-15 株式会社東芝 固体撮像装置
JP2019012968A (ja) 2017-06-30 2019-01-24 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、及び電子機器

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016213740A (ja) 2015-05-12 2016-12-15 キヤノン株式会社 撮像装置及び撮像システム

Also Published As

Publication number Publication date
US20230179878A1 (en) 2023-06-08
US11974054B2 (en) 2024-04-30
JPWO2021187223A1 (ja) 2021-09-23
WO2021187223A1 (ja) 2021-09-23

Similar Documents

Publication Publication Date Title
KR101128540B1 (ko) 촬상 장치
US8208054B2 (en) Solid-state imaging device
US11637975B2 (en) Solid state image sensor and electronic equipment
KR101624748B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
US9560294B2 (en) Systems and methods for pixel-level dark current compensation in image sensors
CN106161890B (zh) 成像装置、成像系统以及信号处理方法
JP4626706B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP4603011B2 (ja) イメージ撮像装置及びその動作方法
JP5852324B2 (ja) 撮像装置及びその制御方法、プログラム
US8018516B2 (en) Solid-state image sensor and signal processing method of same
JP4640507B2 (ja) 固体撮像装置、固体撮像装置の信号処理方法、および撮像装置
JP2011205348A (ja) 固体撮像装置および画像記録装置
US10229475B2 (en) Apparatus, system, and signal processing method for image pickup using resolution data and color data
JP7704139B2 (ja) 情報処理装置、情報処理方法およびプログラム
US8582006B2 (en) Pixel arrangement for extended dynamic range imaging
JP7601089B2 (ja) イメージセンサおよびカメラ
CN118200721A (zh) 包括不同尺寸的微透镜的传感器
JP5607265B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
US7787036B2 (en) Imaging apparatus configured to correct noise
US20080158397A1 (en) Solid-state imaging apparatus and signal processing method
JP2005223133A (ja) 固体撮像装置およびそれを用いた撮像システム
JP2016019232A (ja) 撮像素子及び撮像装置
TWI633790B (zh) Solid-state imaging device and driving method thereof and electronic device
JP4542063B2 (ja) 固体撮像装置およびそれを用いた撮像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241118

R150 Certificate of patent or registration of utility model

Ref document number: 7601089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150