JP6697087B2

JP6697087B2 - 撮像装置

Info

Publication number: JP6697087B2
Application number: JP2018547176A
Authority: JP
Inventors: 宇佐美　裕丈; 裕丈宇佐美
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2016-10-31
Filing date: 2017-09-01
Publication date: 2020-05-20
Anticipated expiration: 2037-09-01
Also published as: WO2018079071A1; JPWO2018079071A1

Description

固体撮像素子を有する撮像装置に関する。

近年、「安全」「安心」に対する意識が高まりホームセキュリティなど監視向け撮像装置の需要が伸びている。撮像装置の性能は、高精細さ、広いダイナミックレンジ、高い感度が重要なファクターとなる。特に、低照度環境下での撮影は、監視向け撮像装置に限らず、家庭用のホームビデオ等で使われる民生用の撮像装置でも頻繁に行われている状況であり、高い感度を有する撮像装置が求められている。これら撮像装置では低照度環境下でも撮影感度を高めるため、撮像素子のシャッータースピードをコントロールして長時間にわたって露光を行う感度アップ手法や、撮像素子内で隣接する複数画素の画素値を仮想的にひとまとめにして読み出すビニング（ビニング処理）と呼ばれる手法が使われている。また撮像素子から読み出した後の映像処理において、隣接画素を混合加算するデジタル画素加算とよばれる手法も併用されている（例えば特許文献１参照）。

ところで、従来の撮像装置における画素混合手法において、ノイズおよび解像度に関しては依然として改善が求められている。一般に、高い撮影感度を得るには、撮像素子で受光する光の量を増やす必要がある。しかし、高精細を追求した撮像装置で採用される多画素の撮像素子は、素子サイズの制約から、１画素あたりの受光エリアが狭く受光光量が限られるため、さらなる高感度化は難しい状況である。このため、最近の撮像装置では撮像素子から読み出した画素値に対し、信号処理において空間的に隣接する画素を混合してゲインを上げるといったデジタル画素加算といった手法（公知手法）が用いられている。

特開２０１３−１１０６４４号公報

しかし、上述の公知手法は、感度をアップしようと加算する画素を増やすとノイズ（量子化ノイズ）も増加し、空間的な解像度が低下するという課題がある。さらに、一般的な撮像装置では、処理をＯＮまたはＯＦＦの２段階で切り替えているため、切り替えの際、不自然な映像ショックが現れるという課題もある。

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

本発明は、固体撮像素子と、前記固体撮像素子の感度をアップするために注目画素の画素値に対して周辺画素の画素値を加算する画素混合部とを備える撮像装置であって、前記画素混合部は、前記注目画素を中心とした点対称の２画素を１セットとして、そのセットと対称となる２画素を追加した合計４画素を１グループとして扱い、前記注目画素の画素値に周辺画素の画素値を加算する場合、同一グループに属する画素の画素値には同一グループの画素値の平均値を用い、かつ、前記注目画素に対して相関の高い画素の画素値を混合する場合には大きな感度を反映させ、相関の低い画素の画素値を混合する場合には小さな感度を反映させて加算する。
また、前記画素混合部は、グループ単位に並列に設けられた複数のサブブロックと、それぞれの前記サブブロックの出力を制御する複数のセレクタと、前記セレクタを制御するゲインコントロール部と、前記複数のサブブロックの出力を加算する加算回路と、を備えてもよい。
また、前記画素混合部は、前記固体撮像素子の内部に設けられてもよい。

本発明によると、混合加算処理に生じるノイズおよび空間解像度の低下を軽減し、さらに処理の切り替え時に発生する映像ショックを緩和する感度アップ手法を提供することができる。

第１の実施形態に係る、３板式撮像装置の機能ブロック図である。第１の実施形態に係る、固体撮像素子の画素混合部のブロック図である。第１の実施形態に係る、サブブロックとその入力となる抽出画素の関係を示した図である。第１の実施形態に係る、ゲインコントロール部が備える変換テーブルの例である。第１の実施形態に係る、比較例の３板式撮像装置のブロック図である。第２の実施形態に係る、単式撮像装置の機能ブロック図である。第２の実施形態に係る、比較例の単式撮像装置の機能ブロック図である。

次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。本実施形態では、注目画素の周辺Ｎ×Ｎエリア内の画素を用いて画素加算処理を行う。その際、感度アップ設定に応じ所定の処理により画素エリアサイズを適応的に切替え、感度アップの程度にあわせ、ノイズの発生を抑制するとともに、空間解像度の低下も軽減する。さらに、注目画素に対し点対称に位置する複数の画素をグループ化し、それぞれのグループの画素平均値を組み合わせ、見かけ上１画素単位で混合加算処理を行い、感度切換え時に発生しうるレベル差による映像ショックを軽減する。

以下、第１の実施形態では３板式撮像装置２０ａについて、第２の実施形態では単板式撮像装置２０ｂについて具体的に説明する。

＜第１の実施形態＞図１は、本実施形態に係る３板式撮像装置２０ａの機能ブロック図である。３板式撮像装置２０ａは、主に、レンズ２０１と、分光フィルタ２０２と、固体撮像素子２０３と、映像処理部２０７と、映像出力部２１１とを備える。

レンズ２０１で集光された被写体像は、分光フィルタ２０２によって赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分に分光され、３つの固体撮像素子２０３に取り込まれる。上述のように、分光フィルタ２０２で分光するため、固体撮像素子２０３には、カラーフィルタアレイ（ＣＦＡ）は設けられていない。

固体撮像素子２０３は、例えば、ＣＣＤイメージセンサやＣＯＭＳイメージセンサ等の半導体イメージセンサである。固体撮像素子２０３は、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分の光のそれぞれに対応した固体撮像素子（Ｒ）２０３Ｒと、固体撮像素子（Ｇ）２０３Ｇと、固体撮像素子（Ｂ）２０３Ｂとを備える。

すなわち、赤（Ｒ）成分の光は、固体撮像素子（Ｒ）２０３Ｒに取り込まれる。緑（Ｇ）成分の光は、固体撮像素子（Ｇ）２０３Ｇに取り込まれる。青（Ｂ）成分の光は、固体撮像素子（Ｂ）２０３Ｂに取り込まれる。なお、固体撮像素子（Ｒ）２０３Ｒ、固体撮像素子（Ｇ）２０３Ｇ、固体撮像素子（Ｂ）２０３Ｂは、同じ構造を有する素子であり、特に区別をしない場合は、単に「固体撮像素子２０３」と称して説明する。

それぞれの固体撮像素子２０３は、ＡＭＰ（アンプ部）２０４と、ＡＤＣ（Ａ／Ｄコンバータ）２０５と、画素混合部１００ａと、ＩＦ部２０６とを備える。

ＡＭＰ２０４は、取得した成分の信号を増倍し、必要であれば上述のビニング処理を実行する。例えば、固体撮像素子（Ｂ）２０３ＢのＡＭＰ２０４は、青（Ｂ）成分の光が各画素で光電変換された信号を電気的に増幅し、それと同時に、隣接するそれら画素の信号（電荷）を加算することでビニング処理を実行する。

ＡＤＣ２０５は増倍された信号を１画素あたり８ビットから１４ビットのデジタル値に変換し、画素値（「画素データ」ともいう）として画素混合部１００ａに出力する。

画素混合部１００ａは、後述する画素混合手法を用いた信号処理を施し、ＩＦ部２０６へ出力する。ＩＦ部２０６は、画素混合部１００ａから出力された画素データに対して、フレーム同期をとるためのユニークなデータ列からなる同期ワードを付加した後に映像処理部２０７へ転送する。

映像処理部２０７は、固体撮像素子２０３と同様に、赤（Ｒ）成分、緑（Ｇ）成分、青（Ｂ）成分の光のそれぞれに対応した映像処理部（Ｒ）２０７Ｒ、映像処理部（Ｇ）２０７Ｇ、映像処理部（Ｂ）２０７Ｂを備える。すなわち、固体撮像素子（Ｒ）２０３Ｒの出力は、映像処理部（Ｒ）２０７Ｒに取り込まれる。固体撮像素子（Ｇ）２０３Ｇの出力は映像処理部（Ｇ）２０７Ｇに取り込まれる。固体撮像素子（Ｂ）２０３Ｂの出力は映像処理部（Ｂ）２０７Ｂに取り込まれる。ここで、映像処理部（Ｒ）２０７Ｒ、映像処理部（Ｇ）２０７Ｇ、映像処理部（Ｂ）２０７Ｂは共通の構造を有しており、以下では、特に区別しない場合は、単に「映像処理部２０７」と称して説明する。

映像処理部２０７は、それぞれ、ＩＦ部２１０と、信号処理部２０９と、画素混合部１００ｂとを備える。

ＩＦ部２１０は、固体撮像素子２０３からの画素データを取得し、画素データに付加された同期ワードを検知し、後段処理の基準となる映像タイミング信号の生成を行う。すなわちＩＦ部２１０によって生成されるタイミング信号で、以降の処理が同期化される。

信号処理部２０９は、ＩＦ部２１０から供給される画素データに対して、傷（画素欠陥）等の補正処理、ダイナミックレンジを確保するためのガンマ補正やニー補正といった映像処理、および視認性を向上するためのノイズリダクションといった信号処理を行う。

これら一通りの処理の後、画素混合部１００ｂは、感度アップをするための画素混合処理を行う。ここでは、固体撮像素子２０３の画素混合部１００ａと同様の処理を行う。上述の固体撮像素子２０３におけるＡＤＣ２０５の出力は、デジタル化された赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの画素データである。つまり固体撮像素子２０３内の画素混合部１００ａは、映像処理部２０７内の画素混合部１００ｂとインタフェースが一致するため、二つの画素混合部１００ａ、１００ｂで同じ画素混合処理を効率よく行うことができる。

３つの映像処理部２０７で処理された各光の画素データは映像出力部２１１で各種標準フォーマットに変換され映像信号として出力される。

つづいて、図２〜４を参照して、画素混合処理について説明する。図２は固体撮像素子２０３の画素混合部１００ａのブロック図である。ここでは最大で７×７画素の混合処理を一例に説明する。なお、映像処理部２０７の画素混合部１００ｂも同様の機能・構成を有するため、説明は省略する。

混合画素部１００ａは、画素データ及び５ビットのゲイン設定パラメータ信号（Ｇａｉｎ＿Ｐａｒａ［４：０］）を入力とし、本ブロック内で混合加算した混合加算画素を出力する。具体的には、画素混合部１００ａは、画素抽出回路３００と、並列サブブロック群３０１と、セレクタ群３０２（３０２＿１〜３０２＿１２）と、混合加算回路３０３と、ゲインコントロール部３０４とを備える。

並列サブブロック群３０１は、並列に設けられた１２個のサブブロックであるサブブロック（１）３０１＿１〜サブブロック（１２）３０１＿１２から構成されている。

セレクタ群３０２は、ＳＥＬ（１）３０２＿１〜ＳＥＬ（１２）３０２＿１２の１２個のセレクタから構成されている。ＳＥＬ（１）３０２＿１〜ＳＥＬ（１２）３０２＿１２は、それぞれ、サブブロック（１）３０１＿１〜サブブロック（１２）３０１＿１２の出力を切り替える。

ゲインコントロール部３０４は、セレクタ群３０２（サブブロック（１）３０１＿１〜サブブロック（１２）３０１＿１２）に対して、それらを制御するための６ビットの制御用信号（Ｇａｉｎ［５：０］）をする。Ｇａｉｎ［５：０］は、Ｇａｉｎ＿Ｐａｒａ［４：０］との対応が予め設定されている。

画素抽出回路３００は、ラインメモリおよび遅延素子を用いて、入力画素データを遅延させ、注目画素（重心画素）Ｐｉｘ＿３３及びその近傍に位置する周辺画素を抽出する。本実施形態では、７×７画素に相当する４９画素が画素抽出回路３００により同時に出力される。

また、画素抽出回路３００が出力する４９画素は、注目画素Ｐｉｘ＿３３との位置関係により、後段にある並列サブブロック群３０１（サブブロック（１）３０１＿１〜サブブロック（１２）３０１＿１２）に４画素ずつ振り分け処理を行う。なお図２に示した構成は原理を説明するための物であり、実際には、等価の演算をより効率よく行う手法（マクレラン変換等）が実装されうる。

図３は、サブブロックとその入力となる抽出画素の関係を示した図である。具体的には、図３（ａ）〜図３（ｌ）は、それぞれ、サブブロック（１）３０１＿１〜サブブロック（１２）３０１＿１２に対応している。

中心画素となる注目画素Ｐｉｘ＿３３に対し、点対称に位置する２画素を１セットとし、さらにそのセットを上下又は左右対称とした４画素を１グループとして、４画素単位の値（すなわち、４画素値の平均をベースとした値）を用いて加算処理を行う。４画素のトータルゲインから、１／４（１画素相当）、２／４（２画素相当）、３／４（３画素相当）のゲインを算出する。

例えば、図３（１）は、サブブロック（１）３０１＿１に入力する４画素を示しており、注目画素Ｐｉｘ＿３３に対し、上下左右に隣接する４画素（Ｐｉｘ＿２３、Ｐｉｘ＿４３、Ｐｉｘ＿３２、Ｐｉｘ＿３４）がサブブロック（１）３０１＿１への入力画素となる。

同様に、図３（２）では、サブブロック（２）３０１＿２に入力する画素が、注目画素（Ｐｉｘ＿３３）に対し対角方向に隣接する４画素（Ｐｉｘ＿２２、Ｐｉｘ＿４４、Ｐｉｘ＿２４、Ｐｉｘ＿４２）である。

このように、サブブロック番号が小さいほど注目画素Ｐｉｘ＿３３からの距離が近く、注目画素Ｐｉｘ＿３３と相関が高いブロックであり、反対に、サブブロック番号が大きくなればなるほど注目画素Ｐｉｘ＿３３からの距離が離れ、相関の低いブロックであることを意味する。

本例では、サブブロックの出力を加算する場合に、サブブロック番号の小さい出力には高い感度（ゲイン）を、サブブロック番号の大きい出力には０又は小さい感度（ゲイン）を設定する。これは、ｓｉｎｃ関数やガウス関数などで表現されるＦＩＲフィルタ係数を近似したものと考えることができる。

また、設定するゲインを得る場合に、サブブロック番号の小さいサブブロックから順に加算する。例えば、９画素加算相当のゲインを得る場合、サブブロック（１）３０１＿１とサブブロック（２）３０１＿２についてはそれぞれの４画素のトータルゲインが、サブブロック（３）３０１＿３については、その４画素のトータルゲインの１／４（１画素相当）が、加算に用いられる。ここで、サブブロック（３）３０１＿３の代わりにサブブロック（４）３０１＿４が用いられることはない。すなわち、感度アップ設定に応じ所定の処理により画素エリアサイズ（混合する画素のエリア）を適応的に切替える際、注目画素に対して相関の高い画素から順に加算していき、切換える画素エリアに優先順位つけて行うことができる。なお、一般には空間的に近いエリアの画素ほど、注目画素に対して高い相関を示すが、撮影対象や撮影時間等によって、空間的な距離と実際の相関が異なる場合も想定できるので、そのような場合は、適宜サブブロックを入れ替えてもよい。空間的な距離が同じであるサブブロック（１）３０１＿１とサブブロック（２）３０１＿２、サブブロック（３）３０１＿３とサブブロック（４）３０１＿４等は、適応型カラープレーン補間法（ＡＣＰＩ）等で用いられる手法と同様に、加算の対象とする順序を適応的に入れ替えることができる。

各サブブロック（サブブロック（１）３０１＿１〜サブブロック（１２）３０１＿１２）は、加算回路３０６と、乗算回路３０７とを備える。加算回路３０６は、入力４画素の加算処理を行う。乗算回路３０７は、加算回路３０６の出力値に対し、１／４、２／４、３／４係数を乗算した演算値を出力する。これら演算値は、各サブブロック（サブブロック（１）３０１＿１〜サブブロック（１２）３０１＿１２）における、１画素、２画素、３画素及び４画素の混合加算値となる。

セレクタ群３０２（ＳＥＬ（１）３０２＿１〜ＳＥＬ（１２）３０２＿１２）は、各サブブロック（サブブロック（１）３０１＿１〜サブブロック（１２）３０１＿１２）における、１画素、２画素、３画素及び４画素相当の混合加算値を選択して出力するものであり、選択されたＳｕｂ＿ｏｕｔ＿１〜Ｓｕｂ＿ｏｕｔ＿１２信号が最終段の混合加算回路３０３に入力される。

次にセレクタ群３０２（ＳＥＬ（１）３０２＿１〜ＳＥＬ（１２）３０２＿１２）を制御する６ビットの制御信号について説明する。６ビットの制御信号（Ｇａｉｎ［５：０］）は、ゲインコントロール部３０４から出力される。

図４は、ゲインコントロール部３０４が備える変換テーブルの例を示す。ゲインコントロール部３０４は、この変換テーブルを元にして、相当する画素混合数を意味する５ビットのゲイン設定パラメータ（Ｇａｉｎ＿Ｐａｒａ［４：０］）をセットすると、一意に６ビットの出力制御信号（Ｇａｉｎ［５：０］）、すなわち設定ゲイン値を出力する。

６ビットうち、ＭＳＢ（Most Significant Bit）側４ビットが適応するサブブロックを、また、ＬＳＢ（Least Significant Bit）側の２ビットが、サブブロックの出力選択に割当てられている。

例えば、混合画素数が０を意味するＧａｉｎ＿Ｐａｒａ［４：０］=０００００ｂを入力すると、図４の変換テーブルに従い出力される６ビットの制御信号（Ｇａｉｎ［５：０］）は、００ｈとなる。この結果、図４においてセレクタ群３０２（ＳＥＬ（１）３０２＿１〜ＳＥＬ（１２）３０２＿１２）は全てＯＦＦとなり期待通りの動作となる。

また、混合する画素数を１０相当とする設定（Ｇａｉｎ＿Ｐａｒａ［４：０］＝０１０１０ｂ）を行った場合には、図４の変換テーブルを通し、Ｇａｉｎ［５：０］=０Ｄｈとなり、サブブロック（１）３０１＿１、サブブロック（２）３０１＿２およびサブブロック（３）３０１＿３が選択され、最終段の混合加算回路３０３では、上記サブブロックに係る１２画素を使って画素の混合処理が行われ、１０画素相当の加算画素として出力される。つまり、画素加算の対象となる画素の数は、４ｎ＋１（ｎは自然数）である。１０〜１３画素相当のゲイン設定では、内部的には、ｎ個のサブブロックと中心画素を合わせた１３画素が混合処理に利用される。

なお、図の変換テーブルでは、サブブロック単位で見た場合に、混合する画素数とゲインの関係は、例えば、対数関数に対応した関係になっている。サブブロック単位としたものは、同一サブブロック内でのステップは４画素値の平均が用いられるため、同一サブブロック内では厳密には対数関数との間に若干のブレが発生するためである。

上記処理により、感度アップ設定に応じ所定の処理により画素エリアサイズを適応的に切替えることができ、感度アップの程度にあわせ、ノイズの発生を抑制するとともに、空間解像度についても低下を軽減することができる。

さらに本提案手法では、該当画素に対し点対称に位置する複数の画素をグループ化し、それぞれのグループの画素平均値を組み合わせ、見かけ上１画素単位で混合加算処理を行うので、感度切換え時に発生しうるレベル差による映像ショックを軽減することができる。

図５は、比較例の３板式撮像装置２００ａのブロック図である。図１で示した３板式撮像装置２０ａと図５の３板式撮像装置２００ａで異なる点は、図１の３板式撮像装置２０ａでは固体撮像素子２０３の画素混合部１００ａが設けられているが、図５では画素混合部が設けられていない点にある。さらに、図５の３板式撮像装置２００ａの画素混合部２０８は、感度アップをするための画素混合処理が行う。この画素混合部２０８では、例えば水平方向に空間的に隣接する２つの画素の画素値を混合加算し、感度を２倍アップしている。このような処理のため、感度アップ設定に応じ所定の処理により画素エリアサイズを適応的に変化させるといったことができない。また、感度切換え時に発生しうるレベル差による映像ショック防止を行うことができない。

なお、画素混合処理を行う構成として、固体撮像素子２０３の画素混合部１００ａ又は映像処理部２０７の画素混合部１００ｂのいずれかのみであってもよい。また、固体撮像素子２０３の画素混合部１００ａは、本実施形態が提案する処理を行い、映像処理部２０７は比較例で示した画素混合部２０８の処理を行う構成としてもよい。また、画素混合部１００ａ、１００ｂで行われる画素混合は、素子内で行われるビニングと協働して行うことができる。単純な例では、ビニング処理モードにより、２×２あるいは４×４のピクセルが光学的にまとめられて１つのピクセルとして生成できる場合、４或いは１６倍のゲインアップは、画素混合部１００ａ等ではなくビニングで行い、それ以外の細かなステップのゲインアップを、画素混合部１００ａ等で行う。対象とする画素混合範囲（７×７、５×５、３×３）を切換えるものとする。その際、それぞれの混合範囲内のサブブロックについては適宜に重みづけをかえ、混合加算を行うものとする。

＜第２の実施形態＞図６は、本実施形態に係る単板式撮像装置２０ｂのブロック図である。本実施形態は、第１の実施形態（３板式撮像装置２０ａ）の画素混合処理を単板式撮像装置２０ｂに適用したものである。同じ機能の構成については同一符号を付して適宜説明を省略する。

単板式撮像装置２０ｂは、レンズ２０１と、撮像素子２１３と、映像処理部２１４と、映像出力部２１１とを備える。

第１の実施形態の３板式撮像装置２０ａが備える分光フィルタ２０２が無い代わりに、オンチップのＣＦＡ２１２を有する撮像素子２１３が使われる。

レンズ２０１で集光した被写体像は、撮像素子２１３内部に形成されたＣＦＡ２１２によって赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色情報となり、ＡＭＰ２０４に送られる。

前述したように第１の実施形態の３板式撮像装置２０ａでは、３つの撮像素子２０３がそれぞれ持つＡＭＰ２０４で、赤（Ｒ）、緑（Ｇ）、青（Ｂ）成分の増幅が行なわれる。なお、単板式撮像装置２０ｂでは、各画素に赤（Ｒ）、緑（Ｇ）、青（Ｂ）それぞれ単一の色情報しか持たないため、色毎に異なるピクセルゲインを適用することで、単一のＡＭＰ２０４で増幅等をすることができる。

ＡＤＣ２０５は、ＡＭＰ２０４から取得した赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色情報をデジタル化した画素データへ変換し、Ｂａｙｅｒ配列の信号を、画素混合部１０１に出力する。

画素混合部１０１は、第１の実施形態の画素混合部１００ａと同様の画像混合処理を各色でそれぞれ行い、ＩＦ部２０６へ出力する。色毎に処理する方法として、図４の変換テーブルを色毎に設けて切り替える方法や、色毎に信号を分離するとともに図２の画素混合部１００ａの構成を色毎に設ける方法がある。ＩＦ部２０６は、画素データに対して、ユニークな同期ワードを付加し映像処理部２１４へ転送する。

映像処理部２１４では、ＩＦ部２１０が、３板式撮像装置２００ａと同様の同期ワード検知を行い、基準となる映像タイミング信号を生成する。但し、この時点では、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各画素データは、前述のＢａｙｅｒ配列となっているため、１画素おきにしか配列されていない。このため、後段のＢａｙｅｒ変換部２１５が、デモザイキング処理を行い、周辺画素の情報をもとに、存在しない赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色情報を補完する。

従って、Ｂａｙｅｒ変換部２１５の以降の処理は、各画素が赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色情報をそれぞれ持ち、それぞれが独立して処理される。すなわち、信号処理部２０９は、赤（Ｒ）の色情報用の信号処理部（Ｒ）２０９Ｒと、緑（Ｇ）の色情報用の信号処理部（Ｇ）２０９Ｇと、青（Ｂ）の色情報用の信号処理部（Ｂ）２０９Ｂを備える。

また、画素混合部１００は、画素混合部（Ｒ）１００Ｒと、画素混合部（Ｇ）１００Ｇと、画素混合部（Ｂ）１００Ｂとを備える。画素混合部（Ｒ）１００Ｒは、信号処理部（Ｒ）２０９Ｒから取得した信号に対して、画素混合処理を施す。画素混合部（Ｇ）１００Ｇは、信号処理部（Ｇ）２０９Ｇから取得した信号に対して、画素混合処理を施す。画素混合部（Ｂ）１００Ｂは、信号処理部（Ｂ）２０９Ｂから取得した信号に対して、画素混合処理を施す。

画素混合部１００の処理後、各色の画素データは、映像出力部２１１で各種標準フォーマットに変換され映像信号として出力される。なお、単板式における画素配列はＢａｙｅｒ方式に限らず、任意の配列が用いられてよい。その場合は、図３に示したようなサブブロック毎の画素抽出は、撮像素子の画素配列における対称性に合致するように設計される必要がある。

ここで図７に比較例の単板式撮像装置２００ｂを示す。この単板式撮像装置２００ｂはで、撮像素子２１３に画素混合機能が設けられていない。また、映像処理部２１４の画素混合部２０８の処理は、第１の実施の形態の比較例の３板式撮像装置２００ａと同様に、例えば、水平方向に空間的に隣接する２つの画素の画素値を混合加算し、感度を２倍アップしている。このような処理のため、感度アップ設定に応じ所定の処理により画素エリアサイズを適応的に変化させるといったことができない。また、感度切換え時に発生しうるレベル差による映像ショック防止を行うことができない。

一方、本実施形態の単板式撮像装置２０ｂでは、感度アップ設定に応じ所定の処理により画素エリアサイズを適応的に切替えることができ、感度アップの程度にあわせ、ノイズの発生を抑制するとともに、空間解像度についても低下を軽減することができる。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形や応用が可能である。例えば、回折収差等の補償に用いる場合、各色の画素混合部１００ａ、１００ｂに対するそれぞれのゲイン設定或いは加算パターンは、必ずしも同じにする必要はない。本実施形態の構成は、感度アップを目的とするものに限らず、十分な照度またはＳＮＲが得られている状況で、空間フィルタとしての意味で作動させることもでき、撮像素子のアパーチャ特性の補償や、色収差の補償、小絞りボケと呼ばれる回折収差の補償等に利用できる。例えば、回折収差等の補償に用いる場合、絞り値に応じて、Ｂ画素に顕著に発生するボケを補償するような特性の加算パターンを設定してもよい。また、超低照度環境下では、視認性に影響が大きいＲ、Ｇ画素データにのみ画素混合を行い、比較的に感度の低いＢ画素データについては、画素混合は行わず、引き換えに無用な解像度低下を抑えるようにしてもよい。逆に、Ｂ画素データのみ画素加算を行ってビット深度を高め、リニアマトリクス演算によるＳＮＲ低下を防ぎつつ色再現性を高めるようにしてもよい。このように本発明の実施形態の構成は、ＳＮＲ−空間解像度スケーラビリティを多様な様態で提供しうる。

本発明は、固体撮像素子を有する撮像装置、監視カメラシステムなどに利用可能である。この出願は、２０１６年１０月３１日に出願された日本出願特願２０１６−２１２８０３を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。

２０ａ３板式撮像装置２０ｂ単板式撮像装置１００、１０１、１００ａ、１００ｂ画素混合部１００Ｒ画素混合部（Ｒ）１００Ｇ画素混合部（Ｇ）１００Ｂ画素混合部（Ｂ）２０１レンズ２０２分光フィルタ２０３、２１３固体撮像素子２０３Ｒ固体撮像素子（Ｒ）２０３Ｇ固体撮像素子（Ｇ）２０３Ｂ固体撮像素子（Ｂ）２０４ＡＭＰ２０５ＡＤＣ２０６、２１０ＩＦ部２０７、２１４映像処理部２０７Ｒ映像処理部（Ｒ）２０７Ｇ映像処理部（Ｇ）２０７Ｂ映像処理部（Ｂ）２０９信号処理部２０９Ｒ信号処理部（Ｒ）２０９Ｇ信号処理部（Ｇ）２０９Ｂ信号処理部（Ｂ）２１１映像出力部２１２ＣＦＡ２１５Ｂａｙｅｒ変換部３００画素抽出回路３０１並列サブブロック群３０１＿１〜３０１＿１２サブブロック（１）〜サブブロック（１２）３０２セレクタ群３０２＿１〜３０２＿１２ＳＥＬ（１）〜ＳＥＬ（１２）３０３混合加算回路３０４ゲインコントロール部３０６加算回路３０７乗算回路

Claims

固体撮像素子と、前記固体撮像素子の感度をアップするために注目画素の画素値に対して周辺画素の画素値を加算する画素混合部とを備える撮像装置であって、
前記画素混合部は、前記注目画素を中心とした点対称の２画素を１セットとして、そのセットと対称となる２画素を追加した合計４画素を１グループとして扱い、前記注目画素の画素値に周辺画素の画素値を加算する場合、同一グループに属する画素の画素値には同一グループの画素値の平均値を用い、かつ、前記注目画素に対して相関の高い画素の画素値を混合する場合には大きな感度を反映させ、相関の低い画素の画素値を混合する場合には小さな感度を反映させて加算し、
前記画素混合部は、グループ単位に並列に設けられた複数のサブブロックと、
それぞれの前記サブブロックの出力を制御する複数のセレクタと、
前記セレクタを制御するゲインコントロール部と、
前記複数のサブブロックの出力を加算する加算回路と、
を備えることを特徴とする撮像装置。
固体撮像素子を備える撮像装置において
撮像した画像の任意の注目画素の画素値に対して周辺画素の画素値を加算する画素混合部を備え、
前記画素混合部は、前記注目画素を中心とした点対称の画素を１セットとして、そのセットと対称となる画素を追加した複数の画素を１グループとして扱い、前記注目画素の画素値に周辺画素の画素値を加算する場合、同一グループに属する画素の画素値には同一グループの画素値の平均値を用い、かつ、前記注目画素に対して相関の高い画素の画素値を混合する場合には大きな感度を反映させ、相関の低い画素の画素値を混合する場合には小さな感度を反映させて加算し、
前記画素混合部は、グループ単位に並列に設けられた複数のサブブロックと、
それぞれの前記サブブロックの出力を制御する複数のセレクタと、
前記セレクタを制御するゲインコントロール部と、
前記複数のサブブロックの出力を加算する加算回路と、
を備えることを特徴とする撮像装置。
前記画素混合部は、前記固体撮像素子の内部に設けられていることを特徴とする請求項１または２に記載の撮像装置。
固体撮像素子と、前記固体撮像素子の感度をアップするために注目画素の画素値に対して周辺画素の画素値を加算する画素混合部とを備える撮像装置の撮像方法において、
前記画素混合部は、グループ単位に並列に設けられた複数のサブブロックと、
それぞれの前記サブブロックの出力を制御する複数のセレクタと、
前記セレクタを制御するゲインコントロール部と、
前記複数のサブブロックの出力を加算する加算回路と、を備え、
さらに、前記注目画素を中心とした点対称の２画素を１セットとして、そのセットと対称となる２画素を追加した合計４画素を１グループとして扱い、前記注目画素の画素値に周辺画素の画素値を加算する場合、同一グループに属する画素の画素値には同一グループの画素値の平均値を用い、かつ、前記注目画素に対して相関の高い画素の画素値を混合する場合には大きな感度を反映させ、相関の低い画素の画素値を混合する場合には小さな感度を反映させて加算する、
ことを特徴とする撮像装置の撮像方法。