JP4951440B2 - 撮像装置及び固体撮像素子の駆動方法 - Google Patents

Description

本発明は、半導体基板表面に二次元アレイ状に形成された複数の画素のうち半数を輝度検出画素とし残り半数を色信号検出画素とした固体撮像素子の駆動方法及びこの固体撮像素子を搭載した撮像装置に関する。

カラー画像を撮像する固体撮像素子は、半導体基板表面に二次元アレイ状に形成した複数画素の各画素上に、例えば赤色（Ｒ），緑色（Ｇ），青色（Ｂ）のうちの一色のカラーフィルタを積層している。この場合、各画素は、入射光のうちの略１／３しか利用しておらず、光検出感度を犠牲にして色情報を検出している。

また、近年のデジタルカメラに搭載される固体撮像素子は、数百万以上の画素を搭載するのが普通になってきており、１画素１画素の容量が小さく、光検出感度が低下してきている。この様な容量の小さい画素にカラーフィルタを積層すると、更に光検出感度が低下してしまう。

そこで、下記特許文献１記載の固体撮像素子では、搭載画素のうちの半数を、カラーフィルタを積層した色信号検出画素とし、残り半数を、カラーフィルタを用いない輝度検出画素とすることで、固体撮像素子の光検出感度を向上させている。

デジタルカメラに用いられる固体撮像素子の搭載画素数が膨大になると、高精細な静止画像を撮像することが可能になる一方で、動画像を撮像するときのフレームレートを高くして滑らかな動きの動画像を撮像することが困難になってしまうという問題がある。

そこで、高フレームレートを実現するため、従来は、画素間引きを行って動画像を撮像したり、画素加算をして動画像データを固体撮像素子から出力させている。

しかしながら、画素間引きや画素加算を行う従来技術が対象としている固体撮像素子は、搭載画素が全て色信号検出画素であり、上述した輝度検出画素を半数搭載した固体撮像素子を対象とするものではない。

特開２００３―３１８３７５号公報

本発明の目的は、複数の輝度検出画素と複数の色検出画素とが混在して設けられた固体撮像素子から高感度な撮像画像データを読み出す新規な固体撮像素子の駆動方法及び撮像装置を提供することにある。

本発明の固体撮像素子の駆動方法は、複数の色検出画素と複数の輝度検出画素とが混在した状態で半導体基板の表面に二次元アレイ状に配列形成され前記色検出画素の検出信号と前記輝度検出画素の検出信号とを別々に読み出す構成を備える固体撮像素子の駆動方法において、前記色検出画素の露光開始から信号読出までの第１時間と前記輝度検出画素の露光開始から信号読出までの第２時間とを別々に制御し、前記固体撮像素子から動画像データを出力させるとき前記色検出画素から撮像画像データを読み出す第１フレームレートと前記輝度検出画素から撮像画像データを読み出す第２フレームレートとを異ならせ、且つ、該第２フレームレートを前記第１フレームレートより高くし、前記輝度検出画素から撮像画像データを複数フレーム連続して読み出した後に前記色検出画素から撮像画像データを１フレーム分読み出すことを特徴とする。

本発明の固体撮像素子の駆動方法は、前記第１時間が前記第２時間より長時間であることを特徴とする。

本発明の固体撮像素子の駆動方法は、前記色検出画素から撮像画像データを読み出すとき前記輝度検出画素からの撮像画像データの読み出しを停止し該輝度検出画素の蓄積データを廃棄することを特徴とする。

本発明の固体撮像素子の駆動方法は、前記色検出画素から撮像画像データを読み出すとき前記輝度検出画素からも撮像画像データの読み出しを行い、且つ、前記色検出画素からの撮像画像データの読み出し及び前記輝度検出画素からの撮像画像データの読み出しを画素間引きして行うことを特徴とする。

本発明の撮像装置は、複数の色検出画素と複数の輝度検出画素とが混在した状態で半導体基板の表面に二次元アレイ状に配列形成され前記色検出画素の検出信号と前記輝度検出画素の検出信号とを別々に読み出す構成を備える固体撮像素子と、上記いずれかに記載の固体撮像素子の駆動方法を実施する撮像素子駆動手段とを備えることを特徴とする。

本発明の撮像装置は、前記色検出画素から読み出した撮像画像データと前記輝度検出画素から読み出した撮像画像データとを合成して被写体のカラー画像を生成する画像処理手段を備えることを特徴とする。

本発明の撮像装置は、前記固体撮像素子に設けられる前記色検出画素の画素数と前記輝度検出画素の画素数とが略同数であることを特徴とする。

本発明の撮像装置は、前記半導体基板上に形成された奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずらして形成され、奇数行及び偶数行の一方の画素行が輝度検出画素で構成され他方の画素行が色検出画素で構成されることを特徴とする。

本発明によれば、複数の輝度検出画素と複数の色検出画素とが混在して設けられた固体撮像素子から高感度且つ高フレームレートで撮像画像データを読み出すことが可能となる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係るデジタルカメラの機能ブロック構成図である。このデジタルカメラは、固体撮像素子２１と、固体撮像素子２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，固体撮像素子２１の駆動制御を行う駆動制御部（タイミングジェネレータを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。

本実施形態のデジタルカメラは更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ガンマ補正処理，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備える。

また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。操作部３３は、シャッタレリーズボタンやメニュー操作ボタンを含み、ユーザは、メニュー選択により、動画像撮影指示／静止画像撮影指示を切り替えることができる。

ユーザが動画像撮影指示／静止画像撮影指示のいずれかを選択したときは、この選択指示を受けたシステム制御部２９が駆動部２４に制御指示を出力し、駆動部２４は、動画像撮影指示／静止画像撮影指示に対応した読出制御信号ＴＧ１，ＴＧ２やＯＦＤ（電子シャッタ）信号，垂直転送パルスφＶ，水平転送パルスφＨ等を用いて、詳細は後述する様に、固体撮像素子２１を駆動する。

図２は、図１に示す固体撮像素子２１の表面模式図である。半導体基板の表面部には、二次元アレイ状に複数の光電変換素子（フォトダイオードＰＤ：以下、画素という。）４１が配列形成されている。

本実施形態の固体撮像素子２１は、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして配置された、所謂ハニカム画素配列となっている。奇数行（または偶数行）の画素２１には、輝度検出用の透明フィルタ（図２では、ホワイトを示す「Ｗ」と標記。）が積層され、偶数行（または奇数行）の画素にはカラーフィルタが積層されている。

カラーフィルタとしては、三原色の赤色（Ｒ），緑色（Ｇ），青色（Ｂ）が用いられており、カラーフィルタの積層画素だけを見たとき、カラーフィルタはベイヤー配列となっている。

各画素列に沿って、各画素から読み出された信号電荷を転送する垂直電荷転送路（ＶＣＣＤ）４２が垂直方向に蛇行して配置され、各垂直電荷転送路４２の転送方向端部に沿って、水平電荷転送路（ＨＣＣＤ）４３が設けられ、水平電荷転送路４３の出力端部に、転送されてきた電荷の電荷量に応じた電圧値信号を撮像画像データとして出力するアンプ４４が設けられている。

尚、「垂直」「水平」という用語を用いているが、これは、半導体基板表面に沿う「一方向」「この一方向に略垂直な方向」という意味にすぎない。

各垂直電荷転送路４２を構成する各垂直転送電極の同一水平位置にある電極は電気的に接続されており、同一パルス電位が印加される構成なっている。図示する例は、固体撮像素子２１を４相駆動する例であり、垂直転送パルスφＶ１〜φＶ４が印加されることで、垂直電荷転送路４２上の信号電荷が水平電荷転送路４３方向に転送される。

また、転送電極Ｖ１に読出パルス電圧ＴＧ１が印加されると、Ｗ画素の蓄積電荷が電極Ｖ１下に形成される電位パケット内に読み出され、転送電極Ｖ３に読出パルス電圧ＴＧ２が印加されると、Ｒ画素，Ｇ画素，Ｂ画素の蓄積電荷が電極Ｖ３下に形成される電位パケット内に読み出される構成になっている。

図３は、図２に示す固体撮像素子２１の画素配置を示す簡略図である。図示する固体撮像素子２１の画素配置は、輝度検出画素（Ｗ画素）が正方格子配列された第１画素群５１と、色信号（Ｒ，Ｇ，Ｂ）検出画素が正方格子配列された第２画素群５２とを、垂直方向，水平方向共に１／２画素ピッチずらして重ね合わせた構成になっている。

この固体撮像素子２１は、入射光の全てが画素に入射する高感度なＷ画素（輝度検出画素）と、カラーフィルタＲＧＢを積層した色信号検出画素とを略同数としているため、色解像度を比較的高水準に保ったまま、高Ｓ／Ｎ化を図ることができるという利点を持つ。また、グレーの信号に対する最高解像度はＷ画素，色信号検出画素の合計の画素数分の解像度となる。

ユーザが静止画像の撮影指示を入力してシャッタボタンを押した場合には、図２の固体撮像素子２１を通常駆動して撮像画像信号を読み出す。即ち、ＯＦＤパルスを印加して電子シャッタ開とし、露光を開始する。そして、シャッタ時間に達したとき、読出電極兼用の垂直転送電極Ｖ１に読出パルスＴＧ１を印加すると共に読出電極兼用の垂直転送電極Ｖ３に読出パルスＴＧ２を印加する。

これにより、Ｗ画素の検出電荷と、ＲＧＢ画素の検出電荷が同時に垂直電荷転送路４２に読み出され、垂直転送パルスφＶ１〜φＶ４に従って検出電荷が水平電荷転送路４３に転送され、次に水平電荷転送路４３に沿って検出電荷が転送され、出力アンプ４４から撮像画像データが電圧値信号として出力される。

或いは、読出パルスＴＧ１を印加してＷ画素の検出電荷を垂直電荷転送路４２に読み出し、これを２転送電極分だけ転送したときに読出パルスＴＧ２を印加すると、ＲＧ画素（またはＧＢ画素）の検出電荷とＷ画素の検出電荷とが同一水平位置に並ぶことになり、これを横一列に保ったまま垂直方向に転送することでも良い。

１画面分の撮像画像データが固体撮像素子２１から出力され、図１の内部メモリ３０に蓄積された後、デジタル信号処理部２６がメモリ３０の蓄積データを用いて画像処理を施し、被写体の静止画像データを生成する。

例えば、図３上段に示す画素５５は、Ｒ画素であるため赤色信号を検出する画素であるが、このＲ画素５５の位置の緑色成分量を画素５５の周りのＧ画素の検出信号から補間演算により算出し、画素５５の位置の青色成分量を画素５５の周りのＢ画素の検出信号から補間演算により算出し、画素５５の位置の輝度成分量を画素５５の周りのＷ画素の検出信号から補間演算により算出する。

同様に、図３上段に示すＷ画素５６の位置の赤色成分量は画素５６の周りのＲ画素の検出信号を補間演算することで求め、緑色成分量は画素５６の周りのＧ画素の検出信号を補間演算することで求め、青色成分量は画素５６の周りのＢ画素の検出信号を補間演算することで求める。

以上の様にして、各画素位置のＲ信号成分，Ｇ信号成分，Ｂ信号成分，輝度信号成分を求め、更に、図２に示す画素位置はハニカム位置すなわち市松位置であるため、残りの市松位置の画素の無い箇所のＲ信号成分，Ｇ信号成分，Ｂ信号成分，輝度信号成分を求め、ＲＧＢ信号をＹ（輝度）Ｃ（色差）変換し且つ輝度信号量を輝度検出画素の検出信号により補正し、静止画像データを得る。必要な場合には更にＪＰＥＧ画像データに変換し、静止画像データを記録メディア３２に記録する。

図４は、図２の固体撮像素子２１から動画像データを読み出すときの概略タイミングチャートである。図３に示す様に、図２の固体撮像素子２１は、Ｗ画素からなる第１群５１と、ＲＧＢ画素からなる第２群５２とに分割できる。図２に示す様に、Ｗ画素の読出電極Ｖ１と、ＲＧＢ画素の読出電極Ｖ３とは物理的位置が異なるため、別個に読み出すことが可能である。

そこで、動画像を読み出す場合には、第１群５１の撮像画像データと、第２群５２の撮像画像データとを別々に読み出す様にする。図４に示す実施形態では、垂直同期信号（Vsync）に合わせて読出パルスＴＧを印加するが、読出パルスＴＧ２を１回印加した後、３回連続して読出パルスＴＧ１を印加し、次に読出パルスＴＧ２を１回印加し、その後、３回連続して読出パルスＴＧ１を印加するという動作を繰り返す。このとき、読出パルスＴＧ２後にＯＦＤパルスを印加して、各画素（フォトダイオード）に残っている残留電荷を基板側に廃棄する。

この固体撮像素子２１の駆動方法によれば、Ｗ画素の信号すなわち高感度なＷ信号は、高フレームレートを保ったまま、固体撮像素子２１から読み出されることになる。低感度なＲＧＢ画素信号は、垂直同期信号４回に一回の割合で、つまり、低フレームレートで出力されることになるが、ＲＧＢ画素の露光時間は、Ｗ画素の露光時間に比べて４倍となるため、高感度な信号を得ることが可能となる。

図１のデジタル信号処理部２６は、固体撮像素子２１から読み出されたＲＧＢ信号を用いてＷ画素位置におけるＲＧＢ信号成分量を計算して保持しておき、続けて固体撮像素子２１から出力されるＷ画素信号に色づけ補正することで動画像データを生成する。固体撮像素子２１からＲＧＢ信号が読み出されたときは、直前に固体撮像素子２１から読み出されたＷ画素信号を用いてＲＧＢ信号の輝度補正を行って、動画像データを生成する。

これにより、本実施形態によれば、高フレームレートを保ち且つ高感度な動画像データを生成することが可能となる。

図５は、本発明の別実施形態に係る固体撮像素子の駆動方法を示す概略タイミングチャートである。この実施形態では、垂直同期信号に同期して、常時、読出パルスＴＧ１が印加されるため、常時、Ｗ画素信号が固体撮像素子２１から読み出される。そして、読出パルスＴＧ２とＯＦＤパルスが、読出パルスＴＧ１の２回に１回の割合で印加されるため、Ｗ画素に対して２倍の露光時間で信号電荷を蓄積したＲＧＢ画素から撮像画像データが読み出される。

本実施形態では、ＷＲＧＢ画素信号が読み出されるフレームと、Ｗ画素信号が読み出されるフレームとが交互に設けられることになる。従って、Ｗ画素だけから信号を読み出すフレームと、ＷＲＧＢ画素から信号を読み出すフレームでの読出信号数を同数とする必要があるため、ＷＲＧＢ画素から信号を読み出す場合には各Ｗ画素，Ｒ画素，Ｇ画素，Ｂ画素の夫々について１／２の画素間引き読出を行う。

ＷＲＧＢ画素信号が固体撮像素子２１から読み出されたとき、このＷＲＧＢ画素信号により１画面分の動画像を生成すると共にＲＧＢ画素信号による色成分補正量を保持しておき、次フレームで固体撮像素子２１から読み出されるＷ画素信号をこの色成分補正量で補正し、次画面の動画像を生成するという動作を繰り返す。本実施形態でも、高フレームレートを保ったまま高感度な動画像データを得ることができる。

上述した実施形態では、固体撮像素子２１の画素配置をハニカム画素配置としているが、画素配置を正方格子状とした固体撮像素子にも本発明を適用可能である。例えば、図６に示す固体撮像素子６１では、各画素４１が正方格子状に配列されており、そのうちの市松位置の画素を輝度検出画素（Ｗ画素）とし、残りの市松位置の画素を色信号検出画素（ＲＧＢ画素）としている。

また、図７に示す固体撮像素子６２では、各画素４１が正方格子状に配列され、各画素列のうち１列置きの画素列をＷ画素列とし、残りの画素列を色画素列としている。

これらの場合、Ｗ画素の読出電極と、水平方向に隣接する色（ＲＧＢ）画素の読出電極とをずらして設ける必要がある。例えば、特許文献１に記載されている様に、１画素当たり垂直転送電極数を少なくとも２枚とし、この２枚のうちの読出電極を、Ｗ画素と、水平方向に隣接する色画素とで異ならせる。これにより、図６，図７の画素配置でも、上述した実施形態を適用可能となる。

尚、上述した実施形態では、動画像の撮像を例に説明したが、静止画像の撮像においても、色信号検出画素の露光時間を輝度検出画素の露光時間より長時間にして１枚の撮像画像を得ることも可能である。

本発明に係る固体撮像素子の駆動方法は、多画素化を図った固体撮像素子から高感度な撮像画像データを読み出すことができるため、デジタルカメラ等に適用すると有用である。

本発明の一実施形態に係るデジタルカメラの機能ブロック構成図である。 図１に示す固体撮像素子の表面模式図である。 図２に示す固体撮像素子の画素配置の説明図である。 図２に示す固体撮像素子から動画像データを読み出すときの駆動方法を示す概略タイミングチャートである。 図２に示す固体撮像素子から動画像データを読み出すときの別実施形態に係る駆動方法を示す概略タイミングチャートである。 画素配列を正方格子配列とした固体撮像素子の別実施形態に係る表面模式図である。 画素配列を正方格子配列とした別実施形態に係る固体撮像素子の表面模式図である。

符号の説明

２１，６１，６２ 固体撮像素子
２４ 撮像素子駆動部
２６ デジタル信号処理部
３３ 操作部
４１ 画素（フォトダイオード）
４２ 垂直電荷転送路（ＶＣＣＤ）
４３ 水平電荷転送路（ＨＣＣＤ）
４４ 出力アンプ
５１ 第１画素群
５２ 第２画素群
Ｗ 輝度信号検出画素
Ｒ 赤色信号検出画素
Ｇ 緑色信号検出画素
Ｂ 青色信号検出画素

Claims (8)

1. 複数の色検出画素と複数の輝度検出画素とが混在した状態で半導体基板の表面に二次元アレイ状に配列形成され前記色検出画素の検出信号と前記輝度検出画素の検出信号とを別々に読み出す構成を備える固体撮像素子の駆動方法において、前記色検出画素の露光開始から信号読出までの第１時間と前記輝度検出画素の露光開始から信号読出までの第２時間とを別々に制御し、前記固体撮像素子から動画像データを出力させるとき前記色検出画素から撮像画像データを読み出す第１フレームレートと前記輝度検出画素から撮像画像データを読み出す第２フレームレートとを異ならせ、且つ、該第２フレームレートを前記第１フレームレートより高くし、前記輝度検出画素から撮像画像データを複数フレーム連続して読み出した後に前記色検出画素から撮像画像データを１フレーム分読み出すことを特徴とする固体撮像素子の駆動方法。
2. 前記第１時間が前記第２時間より長時間であることを特徴とする請求項１に記載の固体撮像素子の駆動方法。
3. 前記色検出画素から撮像画像データを読み出すとき前記輝度検出画素からの撮像画像データの読み出しを停止し該輝度検出画素の蓄積データを廃棄することを特徴とする請求項１又は請求項２に記載の固体撮像素子の駆動方法。
4. 前記色検出画素から撮像画像データを読み出すとき前記輝度検出画素からも撮像画像データの読み出しを行い、且つ、前記色検出画素からの撮像画像データの読み出し及び前記輝度検出画素からの撮像画像データの読み出しを画素間引きして行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載の固体撮像素子の駆動方法。
5. 複数の色検出画素と複数の輝度検出画素とが混在した状態で半導体基板の表面に二次元アレイ状に配列形成され前記色検出画素の検出信号と前記輝度検出画素の検出信号とを別々に読み出す構成を備える固体撮像素子と、請求項１乃至請求項４のいずれか１項に記載の固体撮像素子の駆動方法を実施する撮像素子駆動手段とを備えることを特徴とする撮像装置。
6. 前記色検出画素から読み出した撮像画像データと前記輝度検出画素から読み出した撮像画像データとを合成して被写体のカラー画像を生成する画像処理手段を備えることを特徴とする請求項５に記載の撮像装置。
7. 前記固体撮像素子に設けられる前記色検出画素の画素数と前記輝度検出画素の画素数とが略同数であることを特徴とする請求項５または請求項６に記載の撮像装置。
8. 前記半導体基板上に形成された奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずらして形成され、奇数行及び偶数行の一方の画素行が輝度検出画素で構成され他方の画素行が色検出画素で構成されることを特徴とする請求項７に記載の撮像装置。

Images