JP5175783B2 - 撮像装置及び撮像装置の駆動方法 - Google Patents

Description

本発明は、可視光及び赤外光を検出可能な固体撮像素子を備えた撮像装置とその駆動方法に関する。

固体撮像素子は、高感度化のため赤外感度が用いられる場合がある。また、赤外光は、大気中の分子による散乱の影響を受けにくいため、遠景撮影時に被写体がぼやけてしまう現象を抑制することができる点でも利点がある。一方、カラー画像は、白黒に比べて情報量が多いため、カラー出力と赤外出力を備えた固体撮像素子が求められていた。

このような固体撮像素子としては、例えば、下記特許文献３は、光電変換がなされるセンサ部の上方に各画素のセンサ部に対応して、カラーフィルタとが形成される領域と、赤外光カット膜が形成される領域とを設けている。
特許文献１には、高感度の光電変換素子と、低感度の光電変換素子とを備えた固体撮像素子の構成が記載されている。
特許文献２には、配列された複数のフォトダイオードを備え、複数のフォトダイオードの一部に輝度フィルタを設けた構成を有する固体撮像素子が記載されている。

特開２００７−２５８６８６号公報 特開２００３−３１８３７５号公報 特開２００７−２４２８７８号公報

ところで、赤外画像とカラー画像が合成できれば感度や解像と色情報の両立が期待できる。合成する観点で考えると、上記特許文献３に示す固体撮像素子の構成でカラー画像を撮像する場合には、赤外光を検出する画素は、可視光のみの画像の解像度に寄与しないため、カラー画像の画質が低下することが避けられなかった。
また、白黒センサにカラーフィルタを挿入して撮影する場合、赤外光の露光時間と可視光の露光時間との間に時間差が大きくなり、同時性が低下することに起因して、生成されたカラー画像が不自然になってしまうことがある。

本発明は、上記事情に鑑みてなされたもので、その目的は、可視光と赤外光を受光検出し、良好な同時性を確保しつつ、高画質のカラー画像を生成することができる撮像装置及び撮像装置の駆動方法を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）可視波長と赤外波長に感受性を有する第１の画素部と、可視波長で感受性を有する第２の画素部とが半導体基板表面に行方向及び列方向に配列された固体撮像素子を備えた撮像装置であって、
第１の受光期間とそれに続く第２の受光期間を有し、
前記第１の受光期間で、赤外を含む光を前記撮像素子へ入射させ、前記第２の受光期間で可視光のみを前記撮像素子へ入射させる入射光制御手段と、
前記第１の受光期間で前記第１の画素部により赤外光を含む光を露光し、前記第２の受光期間で前記第１の画素部及び前記第２の画素部により可視光を露光する露光制御手段と、
前記第１の受光期間で露光された前記第１の画素部の赤外光信号と前記第２の受光期間で露光された前記第１の画素部及び前記第２の画素部の可視光信号を読み出すように制御する駆動部と、
前記赤外光信号と前記可視光信号に基いてカラー画像を生成する信号処理部とを備えている撮像装置。
（２）前記露光制御手段は、前記第２の受光期間内で少なくとも前記第２の画素部の信号電荷の掃き出しを行う（１）に記載の撮像装置。
（３）前記第２の受光期間後に遮光を行い、前記赤外光信号及び前記可視光信号を転送するように制御する（１）又は（２）に記載の撮像装置。
（４）前記第１の画素部と前記第２の画素部とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ前記行方向及び前記列方向にずれた位置に配列されている（１）から（３）のいずれか１つに記載の撮像装置。
（５）前記第１の画素部と前記第２の画素部とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている（１）から（３）のいずれか１つに記載の撮像装置。
（６）前記信号電荷の掃き出しを電子シャッタにより実行される（１）から（５）のいずれか１つに記載の撮像装置。
（７）前記第１の露光期間で露光された信号を保持する画素信号保持部を備える（１）から（６）のいずれか１つに記載の撮像装置。
（８）前記第１の画素部及び前記第２の画素部から読み出された信号電荷を前記列方向に転送する垂直転送部を備え、
前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、露光時間中、読み出された前記赤外光信号が前記垂直転送部に保持される（７）のいずれか１つに記載の撮像装置。
（９）前記赤外光信号が、前記垂直転送部で垂直加算された状態で転送される（８）に記載の撮像装置。
（１０）撮像した画像から赤外光信号と可視光信号とを読み出す信号読み出し部と、
前記赤外光信号のＡＣ成分と前記可視光信号の輝度成分とを合成することで画像を生成する合成部と、を備えた画像合成装置。
（１１）前記合成部が、前記赤外光信号のＡＣ成分と前記輝度成分とを合成する際に、該赤外光信号のＡＣ成分と前記輝度成分のＡＣ成分とを比較して極性が異なる場合に、前記赤外光信号のＡＣ成分の極性を反転させて前記輝度成分のＡＣ成分と合成する（１０）に記載の画像合成装置。
（１２）予め取得した赤外光と可視光との焦点位置情報に基いて、入射光制御時に、赤外光と可視光の焦点位置を調整する焦点位置調整手段とを備える（１）から（９）のいずれか１つに記載の撮像装置。
（１３）可視波長と赤外波長に感受性を有する第１の画素部と、可視波長で感受性を有する第２の画素部とが半導体基板表面に行方向及び列方向に配列された固体撮像素子を備えた撮像装置の駆動方法であって、
第１の受光期間とそれに続く第２の受光期間を有し、
前記第１の受光期間で、赤外を含む光を前記撮像素子へ入射させ、前記第２の受光期間で可視光のみを前記撮像素子へ入射させる入射光制御ステップと、
前記第１の受光期間で前記第１の画素部により赤外光を含む光を露光し、前記第２の受光期間で前記第１の画素部及び前記第２の画素部により可視光を露光する露光制御ステップと、
前記第１の受光期間で露光された第１の画素部の赤外光信号と前記第２の受光期間で露光された前記第１の画素部及び前記第２の画素部の可視光信号を読み出すように制御する駆動ステップと、
前記赤外光信号と前記可視光信号に基いてカラー画像を生成する信号処理ステップとを備えている撮像装置の駆動方法。
（１４）前記露光制御ステップは、前記第２の受光期間内で少なくとも前記第２の画素部の信号電荷の掃き出しを行う（１３）に記載の撮像装置の駆動方法。
（１５）前記第２の受光期間後に遮光を行い、前記赤外光信号及び前記可視光信号を転送するように制御する（１３）又は（１４）に記載の撮像装置の駆動方法。
（１６）前記第１の画素部と前記第２の画素部とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ前記行方向及び前記列方向にずれた位置に配列されている（１３）から（１５）のいずれか１つに記載の撮像装置の駆動方法。
（１７）前記第１の画素部と前記第２の画素部とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている（１３）から（１５）のいずれか１つに記載の撮像装置の駆動方法。
（１８）前記信号電荷の掃き出しを電子シャッタにより実行される（１３）から（１７）のいずれか１つに記載の撮像装置の駆動方法。
（１９）前記第１の露光期間で露光された信号を保持する画素信号保持部を備える（１３）から（１８）のいずれか１つに記載の撮像装置の駆動方法。
（２０）前記第１の画素部及び前記第２の画素部から読み出された信号電荷を前記列方向に転送する垂直転送部を備え、
前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、露光時間中、読み出された前記赤外光信号が前記垂直転送部に保持される（１９）のいずれか１つに記載の撮像装置の駆動方法。
（２１）前記赤外光信号が、前記垂直転送部で垂直加算された状態で転送される（２０）に記載の撮像装置の駆動方法。
（２２）予め取得した赤外光と可視光との焦点位置情報に基いて、入射光制御時に、赤外光と可視光の焦点位置を調整する（１３）から（２１）のいずれか１つに記載の撮像装置の駆動方法。

本発明は、第１の画素部で赤外光を検出する露光を実行し、第１の画素部から赤外光信号を読み出した後、信号電荷の掃き出しを行い、その後、第１の画素部と第２の画素部とで同時に可視光の露光を実行することで、連続した露光期間に赤外光信号と、輝度成分と色成分を含む可視光信号を得ることができる。ここで、読み出された赤外光信号は、可視光の露光後に、可視光信号とともに転送されるため、赤外光信号の露光後に、赤外光信号を出力せずに、そのまま可視光信号の露光を開始することができるため、赤外光の露光時間と可視光の露光時間との間の時間間隔を短くすることができる。こうすれば、赤外光信号と可視光信号に基いてカラー画像を生成する際に、両方の信号の同時性が確保されるとともに、輝度成分と色成分とを含む可視光信号に基いてカラー画像を生成することでダイナミックレンジを拡大することができ、高画質のカラー画像を得ることができる。

本発明によれば、可視光と赤外光を受光検出し、良好な同時性を確保しつつ、高画質のカラー画像を生成することができる撮像装置、画像合成装置及び撮像装置の駆動方法を提供できる。

本発明にかかる撮像装置の概略構成を示す図である。 固体撮像素子の構成を説明する平面模式図である。 撮像装置の動作の一例を説明する図である。 撮像装置の動作の別の例を説明する図である。 図４に示す読み出し動作の際の信号電荷の状態を示している。 信号電荷の加算を説明する模式図である。 光電変換部の別の配列構造において、読み出し動作の一例を説明する図である。 光電変換部の別の配列構造において、読み出し動作の他の例を説明する図である。 赤外画像とカラー画像との合成処理の手順を説明する図である。 ＣＭＯＳ型の固体撮像素子の構成を説明する平面模式図である。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる撮像装置の概略構成を示す図である。なお、本実施形態では、撮像装置の一例としてデジタルカメラの構成を用いて説明する。図１の撮像装置１００は、撮像部１０と、アナログ信号処理部１０２と、Ａ／Ｄ変換部１０３と、駆動部１０４と、ストロボ１０５と、デジタル信号処理部１０６と、圧縮／伸張処理部１０７と、表示部１０８と、システム制御部１０９と、内部メモリ１１０と、メディアインタフェース１１１と、記録メディア１１２と、操作部１１３とを備える。デジタル信号処理部１０６、圧縮／伸張処理部１０７、表示部１０８、システム制御部１０９、内部メモリ１１０、及びメディアインタフェース１１１は、システムバス１１４に接続されている。

撮像部１０は、撮影レンズ等の光学系及び後述する固体撮像素子によって被写体の撮影を行うものであり、アナログの撮像信号を出力する。撮像部１０には、固体撮像素子への光の入射の遮断制御を行うメカニカルシャッタも含まれている。アナログ信号処理部１０２は、撮像部１０で得られた撮像信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部１０３は、アナログ信号処理部１０２で処理後のアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部１０３の出力は、いわゆるＲＡＷ画像データとしてデジタル信号処理部１０６に送られる。ＲＡＷ画像データは、撮像部１０からの撮像信号の形式のままデジタル化したデジタル画像データである。

撮影に際しては、駆動部１０４を介して光学系、メカニカルシャッタ、及び固体撮像素子の制御が行われる。固体撮像素子は、操作部１１３の一部であるレリーズボタン（図示せず）の操作による２段レリーズスイッチ（図示せず）のオンを契機として、所定のタイミングで、駆動部１０４に含まれるタイミングジェネレータ（図１ではＴＧと記載）からの駆動信号によって駆動される。駆動部１０４は、システム制御部１０９によって所定の駆動信号を出力する。

デジタル信号処理部１０６は、Ａ／Ｄ変換部３からのデジタル画像データに対して、操作部１１３によって設定された動作モードに応じたデジタル信号処理を行う。デジタル信号処理部１０６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、画像合成処理、同時化処理、及びＹ／Ｃ変換処理等が含まれる。デジタル信号処理部１０６は、例えばＤＳＰで構成される。

圧縮／伸張処理部１０７は、デジタル信号処理部１０６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア１１２から得られた圧縮画像データに対して伸張処理を施す。

表示部１０８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経た画像データに基づく画像を表示する。記録メディア１１２に記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。

内部メモリ１１０は、例えばＤＲＡＭであり、デジタル信号処理部１０６やシステム制御部１０９のワークメモリとして利用される他、記録メディアに１１２に記録される撮影画像データを一時的に記憶するバッファメモリや表示部１０８への表示画像データのバッファメモリとしても利用される。メディアインタフェース１１１は、メモリカード等の記録メディア１１２との間のデータの入出力を行うものである。

システム制御部１０９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ全体の制御を行う。

操作部１１３は、デジタルカメラ使用時の各種操作を行うものであり、レリーズボタン等を含んでいる。

図１に示すデジタルカメラは、撮影感度の設定が変更可能となっている。例えばフィルム感度でいえば、ＩＳＯ感度１００に相当する感度で撮影を行う低感度撮影モードと、ＩＳＯ感度２００、４００、８００に相当する感度で撮影を行う高感度撮影モードとを切換設定可能となっている。図１に示すデジタルカメラでは、例えば、露光時間等の撮像条件を変えることでＩＳＯ感度を変えており、ＩＳＯ感度が低いほど露光時間を長く設定し、ＩＳＯ感度が高いほど露光時間を短く設定している。

図２は、本実施形態の固体撮像素子の構成を説明する平面模式図である。固体撮像素子２０は、半導体基板の受光領域上に複数のフォトダイオード等の光電変換部１１が二次状に配列されている。本実施形態では、各光電変換素子が画像を構成する一画素に相当し、以下、単に画素ともいう。

図２のおいて上下方向を列方向、左右方向を行方向としたとき、光電変換部１１が半導体基板表面に行方向及び列方向に配設され、奇数行の光電変換部と偶数行の光電変換部とが１／２ピッチづつずらして配列（所謂、ハニカム画素配列）されている。なお、本実施形態では、光電変換部１１は、可視波長で感受性を有し、色成分を抽出する光電変換部（第２の画素部）１１ａと、可視波長と赤外波長に感受性を有し、輝度成分を抽出する光電変換部１１ｂとから構成されている。以下の説明では、光電変換部（第１の画素部）１１ａと光電変換部１１ｂとを総称して単に光電変換部１１ともいう。

固体撮像素子２０は、各光電変換部１１から読み出された信号電荷を列方向に転送する複数の垂直転送部１２と、複数の垂直転送部１２のそれぞれからの信号電荷を、行方向に転送する水平転送部１３と、水平転送部１３を経て信号電荷に対応する電圧信号を出力する出力アンプ部１４とが設けられている。

垂直転送部１２は、列方向に配設された複数の光電変換部１１に対応して半導体基板に形成された複数の垂直転送チャネル（図示しない）と、複数の垂直転送チャネルのそれぞれと交差するように形成された（図２において左右方向に延設された）複数の垂直転送電極Ｖ１〜Ｖ８と、各光電変換部１１の信号電荷を垂直転送チャネルに読み出す電荷読み出し領域とを含む。各垂直転送部１２の垂直転送電極Ｖ１〜Ｖ８は、光電変換部１１の各列同士の間に延在し、蛇行形状を有している。垂直転送部１２は、垂直転送電極Ｖ１〜Ｖ８に駆動部１０４から出力される垂直転送パルスによって転送駆動される。

水平転送部１３は、半導体基板に形成された図示しない水平転送チャネルと、この水平転送チャネル上に設けられた水平転送電極とを有し、水平転送電極に駆動部１０４から出力される水平転送パルスφＨ１，φＨ２によって２相駆動される。

出力アンプ部１４は、水平転送部１３の転送方向端部まで転送されてきた信号電荷の電荷量に応じた電圧値信号を画像信号として出力する。

なお、垂直転送部１２や水平転送部１３のように、「垂直」「水平」という語句を用いて説明したが、これは、半導体基板表面に平行な「１方向」「この１方向に対して略直角の方向」の意味である。

固体撮像素子において、カラー画像信号を検出するため、受光領域上に図示しないカラーフィルタが設けられている。

各光電変換部１１ａ上に図示した「Ｒ」「Ｇ」「Ｂ」は、各光電変換部上に積層されたカラーフィルタの色を表しており、「Ｒ」は赤色を示し、「Ｇ」は緑色を示し、「Ｂ」は青色を示している。また、「Ｒ」「Ｇ」「Ｂ」で示す位置の光電変換部１１は色成分を抽出する光電変換部を示している。「Ｗ」で示す位置の光電変換部１１ｂは、輝度成分を抽出する光電変換部を示している。光電変換部１１ｂの上には無色透明のフィルタが設けられた構成、または、何もフィルタが設けられていない構成など、入射光の色成分がフィルタに吸収されることなく全て受光する構成である。

光電変換部１１ａによって検出される光に対応する信号を色信号、又は、各色に対応してＲ信号、Ｇ信号、Ｂ信号と記述する場合もある。また、光電変換部１１ｂによって検出される光に対応する信号を輝度信号という場合もある。

本実施形態では、光電変換部１１が半導体基板表面に行方向及び列方向に配設され、色成分を抽出する光電変換部１１ａと輝度成分を抽出する光電変換部１１ｂとが、同一の配列ピッチで、かつ、互いに、配列ピッチの１／２だけ行方向及び列方向にずれた位置に配列されている。具体的には、光電変換部１１ａは赤色，緑色，青色のベイヤー配列を有し、光電変換部１１ｂは、光電変換部１１ａと同じピッチの正方格子状の配列であり、光電変換部１１ａの配列ピッチの１／２だけ行方向及び列方向にずれた位置に光電変換部１１ｂが配置されている。ここで、奇数行に「Ｒ」「Ｇ」「Ｂ」で示される光電変換部１１ａが配列され、偶数行に「Ｗ」で示される光電変換部１１ｂが配列されている。

ここで、「Ｒ」「Ｇ」「Ｂ」で示される光電変換部１１ａに相等する画素をそれぞれＲ画素、Ｇ画素、Ｂ画素といい、「Ｗ」で示される光電変換部１１ｂに相等する画素をＷ画素ともいう。

本実施形態の固体撮像素子２０では、色成分を抽出する光電変換部１１ａのうち、奇数行の光電変換部１１ａと偶数行の光電変換部１１ａとの色信号がそれぞれ反対側の垂直転送部１２に読み出される。また、輝度成分を抽出する光電変換部１１ｂのうち、奇数行の光電変換部１１ｂと偶数行の光電変換部１１ｂとの輝度信号がそれぞれ反対側の垂直転送部１２に読み出される。光電変換部１１ａの行と、該行の下に並んだ光電変換部１１ｂの行とが対応して並べられており、これら２行の光電変換部１１ａ，１１ｂの信号電荷が同じ垂直転送部１２に読み出され、その下に２行分の光電変換部１１ａ，１１ｂの信号電荷は、反対側の垂直電荷転送部１２に読み出される。つまり、光電変換部１１ａ，１１ｂは２行ごとに垂直転送部１２に信号電荷を読み出す方向が反対となる。

固体撮像素子２０が上記のようにハニカム構造を有する場合には、全画素で読み出しが可能なため、Ｗ画素のみ独立に読み出すことが可能である。

固体撮像素子２０は、駆動部１０４の制御によって、第１の光電変換部１１ｂで赤外光露光を行い、また、第１の光電変換部１１ｂ及び第２の光電変換部１１ａで可視光露光を行うことができる。赤外光露光と可視光露光とを切り替えは、赤外光カットフィルタを物理的な駆動によって制御することができる。赤外光カットフィルタと該赤外光カットフィルタの駆動を制御する機構が入射光制御手段として機能する。赤外光露光時は、第１の光電変換部１１ｂによって赤外光を受光検出し、該第１の光電変換部１１ｂで生成された信号電荷のみを赤外光信号として垂直転送部１２に読み出す。一方、可視光露光時は、赤外光カットフィルタを挿入し、第１の光電変換部１１ｂ及び第２の光電変換部１１ａで受光検出された信号電荷を可視光信号として垂直転送部１２に読み出す。入射光制御手段は、第１の受光期間と、第２の受光期間とで撮像素子へ入射させる光を切り換え制御する。第１の受光期間では、赤外を含む光を撮像素子へ入射させる。第２の受光期間では、可視光のみを撮像素子へ入射させる。

図３は、本実施形態の撮像装置の動作の一例を説明する図である。
本実施形態の固体撮像素子２０は、先ず、電子シャッタを駆動して、赤外光の露光を開始する。露光時間開始から所定時間が経過した後、光電変換部１１ｂにのみ蓄積された信号電荷を赤外光信号として、一旦、垂直転送部１２に読み出す。赤外光信号の読み出し後、電子シャッタを駆動して、光電変換部１１ａ，１１ｂに蓄積された信号電荷を掃き捨てる。電子シャッタの終了をトリガとして、光電変換部１１ａ，１１ｂによる可視光の露光を開始する。可視光の露光時間中は、読み出された赤外光信号を垂直転送部１２で保持する。そして、可視光の露光時間の終了後、光電変換部１１ａから色信号を読み出し、光電変換部１１ｂから輝度信号を読み出す。ここで、第１の受光期間で光電変換部１１ｂにより赤外光を含む光を露光し、第２の受光期間で光電変換部１１ａ及び光電変換部１１ｂにより可視光を露光する。そして、露光時間終了後、遮光状態で垂直転送部１２に保持されている赤外光信号と、輝度信号及び色信号を転送し、出力アンプ部１４から信号処理部１０２に出力する。信号処理部１０２において、赤外光信号と可視光信号に基いてカラー画像を生成する。赤外光信号を垂直転送部１２に保持し、露光終了後に転送することでスミアの発生を抑えることができる。

ここで、入射する赤外光と可視光との切り替えを両者の露光の間の露光制御手段として機能する電子シャッタの動作時に行うことで、過渡的な入射光をカットすることができ、例えば赤外光が可視光として漏れ込むことを防止することができる。

図４は、本実施形態の撮像装置の動作の別の例を説明する図である。
図３の動作と同様に、固体撮像素子２０は、先ず、電子シャッタを駆動して、赤外光の露光を開始する。露光時間開始から所定時間が経過した後、光電変換部１１ｂにのみ蓄積された信号電荷を赤外光信号として、一旦、垂直転送部１２に読み出す。ここで、図４に示す動作では、読み出した赤外光信号の信号電荷を垂直転送部１２で垂直加算する点で、図３の動作と相違する。加算された赤外光信号は、露光時間中、垂直転送部１２で保持される。赤外光信号の読み出し後、光電変換部１１ａ及び光電変換部１１ｂでの露光によって可視光信号を生成する。露光時間終了とともに、光電変換部１１ａから色信号を読み出し、光電変換部１１ｂから輝度信号を読み出す。露光時間終了後、垂直転送部１２に保持されている赤外光信号と、Ｗ画素で検出した輝度信号及びＲＧＢ画素で検出した色信号を転送し、出力アンプ部１４から信号処理部１０２に出力する。

図５は、図４に示す読み出し動作の際の信号電荷の状態を示している。図６は、信号電荷の加算を説明する模式図である。
図５に示すように、垂直転送部１２において、光電変換部１１ｂから読み出された赤外光信号が垂直転送される領域を斜線で示している。ここで、読み出される赤外光信号は、垂直転送部１２において垂直方向に２画素が加算されている。垂直加算としては、例えば、図６に示すように、奇数行のＷ画素から読み出した赤外光信号と、該奇数行の下の偶数行のＷ画素から読み出した赤外光信号とを２画素加算する。なお、図６では、点線で囲まれたＷ画素から読み出された赤外光信号同士が加算されることを表している。こうすれば、図５に示す読み出し動作を行うことで、加算された赤外光信号を８相駆動で転送することが可能となる。８相駆動とすれば、垂直転送電極Ｖ１〜Ｖ８のうち６電極で電荷蓄積が可能であるため、４相駆動において２電極で電荷蓄積をする場合に比べて、３倍の電荷を蓄積することができる。加算により電荷が２倍となっても画素当たりの飽和電荷量を１．５倍に増やすことが可能である。

次に、本発明にかかる撮像装置の他の構成例を図面に基いて説明する。なお、以下に説明する実施形態において、すでに説明した部材などと同等な構成・作用を有する部材等については、図中に同一符号又は相当符号を付すことにより、説明を簡略化或いは省略する。

図７及び図８に示す固体撮像素子では、光電変換部２１ａ，２１ｂが半導体基板表面に行方向及び列方向に配設され、可視光の露光によって色成分を抽出する光電変換部２１ａと輝度成分を抽出する光電変換部２１ｂとが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている。光電変換部２１ａ及び光電変換部２１ｂは、それぞれ、ベイヤー配列を略４５度傾けた状態で格子状に配置されている。

図７に示す固体撮像素子では、光電変換部２１ａで検出された色信号及び光電変換部２１ｂで検出された輝度信号が、ともに同じ垂直転送部２２に読み出される。転送時には、色信号は、列方向に延在する複数の垂直転送電極のうち、列方向にn番目,n+4番目,n+8番目・・・（n=1,2,3…などの任意の整数とする。）に読み出され、輝度信号は、列方向に延在する複数の垂直転送電極のうち、列方向にn+1番目,n+5番目,n+9番目・・・に読み出される。図８に示す光電変換部の配列によれば、赤外光の露光で読み出した赤外光信号や、可視光の露光で読み出した輝度信号及び色信号を４相駆動で垂直転送する。

図８に示す固体撮像素子では、光電変換部２１ａで検出された色信号及び光電変換部２１ｂで検出された輝度信号が、それぞれ反対側の垂直転送部２２に読み出される。図８では、光電変換部２１ａで検出された色信号が図中右側の垂直転送部２２に読み出され、光電変換部２１ｂで検出された輝度信号が図中左側の垂直転送部２２に読み出される。転送時には、色信号は、列方向に延在する複数の垂直転送電極のうち、列方向にn番目,n+4番目,n+8番目・・・に読み出され、輝度信号は、反対側に延在する複数の垂直転送電極のうち、列方向にn+1番目,n+5番目,n+9番目・・・に読み出される。図８に示す光電変換部の配列によれば、赤外光の露光で読み出した赤外光信号や、可視光の露光で読み出した輝度信号及び色信号を４相駆動で垂直転送する。

本実施形態の撮像装置１００は、撮像部１０から出力された赤外光信号のＡＣ成分と可視光信号の輝度成分とを、デジタル信号処理部１０６で合成することで、遠景撮影でカラー画像を撮像した時に被写体がぼやけてしまうことを抑制することができる。例えば、赤外光信号のＡＣ成分を所定の比率でカラー画像に加算することで、カラー画像のみの強調処理を行う場合に比べて、ノイズを増加させることなく、画像を鮮鋭にすることができる。

次に、図９に基いて、カラー画像の輝度の明暗と赤外画像の明暗が逆転している状態において、合成処理を行う手順を説明する。図９（ａ）は、カラー画像の輝度Wmの明暗と赤外画像の輝度Wirの明暗とを、基準となるＡＣ成分（図９（ａ）ではゼロとした）に対する関係を示している。ここで、図９（ａ）上下に対応する輝度Wmと輝度Wirは同じ画素とする。
被写体によって、図９（ａ）カラー画像の輝度の明暗と赤外画像の輝度の明暗が逆転していることに起因して、合成された画像において被写体の輪郭が不自然となることがある。本実施形態では、このような場合に、先ず、赤外光信号のＡＣ成分と前記輝度成分とを合成する際に、該赤外光信号のＡＣ成分と前記輝度成分のＡＣ成分とを比較して極性が異なる場合に、前記赤外光信号のＡＣ成分の極性を反転させる。そして、極性が反転された赤外光信号のＡＣ成分を輝度成分のＡＣ成分と合成する。図９（ｂ）は、極性が反転さ
れた赤外光信号のＡＣ成分を輝度成分のＡＣ成分と合成することで、差分となる輝度△WとＡＣ成分の極性との関係を示している。次に、輝度成分を抽出しないＲＧＢ画素上に、輝度成分を補間するため、差分となる輝度△Wを求めたW画素同士で補間を行い、補間される位置の差分の輝度△Wを算出し、この輝度△Wを、ＲＧＢ画素それぞれで得られた色信号に基いて決定されるY信号と加算する（図９（ｃ））。こうすることで、ＲＧＢ画素及びW画素において、赤外光信号と輝度信号とを合成することができる。

本発明は、輝度成分を抽出する第１の光電変換部１１ｂで赤外光を検出する露光を実行し、第１の光電変換部１１ｂから赤外光信号を読み出した後、信号電荷の掃き出しを行い、その後、第１の光電変換部１１ｂと第２の光電変換部１１aとで同時に可視光の露光を実行することで、連続した露光期間に赤外光信号と、輝度成分と色成分を含む可視光信号を得ることができる。ここで、読み出された赤外光信号は、可視光の露光後に、可視光信号とともに転送されるため、赤外光信号の露光後に、赤外光信号を出力せずに、そのまま可視光信号の露光を開始することができ、赤外光の露光時間と可視光の露光時間との間の時間間隔を短くすることができる。さらに、露光中の転送によるスミアの発生を押させることが可能となる。こうすれば、赤外光信号と可視光信号に基いてカラー画像を生成する際に、両方の信号の同時性が確保されるとともに、輝度成分と色成分とを含む可視光信号に基いてカラー画像を生成することでダイナミックレンジを拡大することができ、高画質のカラー画像を得ることができる。上記赤外光は可視光等の波長を含めることでさらなる高感度化が可能となる。

なお、上記実施形態においては、赤外光信号と可視光信号とを固体撮像素子において撮像することで取得したが、本発明は撮像装置の構成に限定されない。撮像素子を設けず、撮像した画像から赤外光信号と可視光信号とを読み出す信号読み出し部を備えた画像合成装置とすることができる。この画像合成装置は、読み出した赤外光信号からＡＣ成分を抽出し、また、読み出した可視光信号から輝度成分と抽出し、ＡＣ成分と輝度成分とを合成することで画像を生成する合成部とを備えている構成とすることができる。また、合成部が、赤外光信号のＡＣ成分と輝度成分とを合成する際に、該赤外光信号のＡＣ成分と輝度成分のＡＣ成分とを比較して極性が異なる場合には、赤外光信号のＡＣ成分の極性を反転させて輝度成分のＡＣ成分と合成することができる。

なお、本発明は、前述した実施形態に限定されるものではなく、適宜な変形、改良などが可能である。
例えば、入射光の波長により、焦点位置が微妙に異なるが、赤外光と可視光との入射光制御を赤外カットフィルタなどの入射光制御手段によって行う際に、光路長の調整を行うことが可能である。この場合、予め赤外光と可視光とで焦点位置情報をそれぞれ取得し、入射光制御時に、この焦点位置情報に基いて赤外光と可視光の焦点位置を図示しない撮像レンズ駆動部などの焦点位置調整手段によって調整することができる。なお、赤外光と可視光の焦点位置を調整する手段としては、挿入する赤外カットフィルタのガラス厚みによる調整やオートフォーカス機構での調整が可能である。

また、撮像装置は、ＣＭＯＳ型の固体撮像素子を備えた構成とすることができる。図１０は、ＣＭＯＳ型の固体撮像素子の構成を説明する平面模式図である。図１０に示す固体撮像素子は、半導体基板表面に行方向及び列方向に配設された複数の画素部を有し、該画素部が、Ｗ画素（第１の画素部）と、Ｒ，Ｇ，Ｂ画素（第２の画素部）とを含む。

各画素部は、フォトダイオードＰＤと、転送トランジスタＴ１と、リセットトランジスタＴ２と、増幅トランジスタＴ３と、選択トランジスタＴ４とを備えている。フォトダイオードＰＤは、アノードが接地されている。
転送トランジスタＴ１は、フォトダイオードＰＤのカソードとフローティングディフュージョン部ＦＤとの間に接続され、そのゲートに供給される転送パルスＴＳに基づいて、フォトダイオードＰＤで生成された電荷をフローティングディフュージョン部ＦＤに転送する。リセットトランジスタＴ２は、電源とフローティングディフュージョン部ＦＤとの間に接続され、そのゲートに供給されるリセットパルスＲＳＴに基づいて、フローティングディフュージョン部ＦＤの電位を電源電位ＶＣＣにリセットする。

フローティングディフュージョン部ＦＤには、増幅トランジスタＴ３のゲートが接続されている。この増幅トランジスタＴ３は、選択トランジスタＴ４を介して、垂直信号線に接続されている。画素選択信号ＳＥＬに基づいて選択トランジスタＴ４がオンすると、増幅トランジスタＴ３はフローティングディフュージョン部ＦＤの電位を増幅してその電位に応じた電圧を垂直信号線ＶＳＬに出力する。

ＣＭＯＳ型の固体撮像素子では、Ｗ画素のフローティングディフュージョン部ＦＤが画素信号保持部として機能する。Ｗ画素から読み出した赤外信号をフローティングディフュージョン部ＦＤに保持させることができる。

また、信号を加算して画素信号保持部に保持することができる。互いに隣り合うＷ画素同士の間に両方のＷ画素で共有するフローティングディフュージョン部が設けられた構成とする。Ｗ画素とフローティングディフュージョン部ＦＤとの間に設けられた転送トランジスを駆動することで、各Ｗ画素から信号が読み出され、共有のフローティングディフュージョン部で加算され、そのまま保持される。なお、ＣＭＯＳ型の固体撮像素子は、周知の構成を用いてもよい。

撮像時には、第１の受光期間でＷ画素により赤外光を含む光を露光し、第２の受光期間でＷ画素及びＲ，Ｇ，Ｂ画素により可視光を露光する。第２の受光期間後に遮光を行い、ＳＥＬに基づいて選択トランジスタＴ４をオンにし、フローティングディフュージョン部ＦＤに保持している赤外信号を読み出す。赤外信号読み出し後に、リセットトランジスタＲＳＴをオンにし、フローティングディフュージョン部ＦＤがリセットされ、Ｗ画素とＲ，Ｇ，Ｂ画素の電荷をフローティングディフュージョン部ＦＤへ転送し、逐次読み出す。

ＣＭＯＳ型の固体撮像素子の構成においても、露光制御手段によって第１の受光期間でＷ画素により赤外光を含む光を露光し、第２の受光期間でＷ画素及びＲ，Ｇ，Ｂ画素により可視光を露光することができる。ここで、第１の画素部は赤外光を含む露光期間に蓄積された電荷が画素信号保持部に転送されるが、第２の画素部では赤外光を含む露光期間に蓄積された電荷が残っている場合が考えられる。そこで露光制御手段は、第２の受光期間内で少なくとも第２の画素部の信号電荷の掃き出しを行う。

１０ 撮像部
２０ 固体撮像素子
１１ 光電変換部
１１ａ，２１ａ 光電変換部（可視波長で感受性を有する第２の画素部）
１１ｂ，２１ｂ 光電変換部（可視波長と赤外波長に感受性を有する第１の画素部）
１２ 垂直転送部
１３ 水平転送部
１４ 出力アンプ部
１００ 撮像装置

Claims (20)

1. 可視波長と赤外波長に感受性を有する第１の画素部と、可視波長で感受性を有する第２の画素部とが半導体基板表面に行方向及び列方向に配列された固体撮像素子を備えた撮像装置であって、
   第１の受光期間とそれに続く第２の受光期間を有し、
   前記第１の受光期間で、赤外を含む光を前記撮像素子へ入射させ、前記第２の受光期間で可視光のみを前記撮像素子へ入射させる入射光制御手段と、
   前記第１の受光期間で前記第１の画素部により赤外光を含む光を露光し、前記第２の受光期間で前記第１の画素部及び前記第２の画素部により可視光を露光する露光制御手段と、
   前記第１の受光期間で露光された前記第１の画素部の赤外光信号と前記第２の受光期間で露光された前記第１の画素部及び前記第２の画素部の可視光信号を読み出すように制御する駆動部と、
   前記赤外光信号と前記可視光信号に基いてカラー画像を生成する信号処理部とを備えている撮像装置。
2. 前記露光制御手段は、前記第２の受光期間内で少なくとも前記第２の画素部の信号電荷の掃き出しを行う請求項１に記載の撮像装置。
3. 前記第２の受光期間後に遮光を行い、前記赤外光信号及び前記可視光信号を転送するように制御する請求項１又は２に記載の撮像装置。
4. 前記第１の画素部と前記第２の画素部とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ前記行方向及び前記列方向にずれた位置に配列されている請求項１から３のいずれか１つに記載の撮像装置。
5. 前記第１の画素部と前記第２の画素部とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている請求項１から３のいずれか１つに記載の撮像装置。
6. 前記信号電荷の掃き出しを電子シャッタにより実行される請求項１から５のいずれか１つに記載の撮像装置。
7. 前記第１の露光期間で露光された信号を保持する画素信号保持部を備える請求項１から６のいずれか１つに記載の撮像装置。
8. 前記第１の画素部及び前記第２の画素部から読み出された信号電荷を前記列方向に転送する垂直転送部を備え、
   前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、前記画素信号保持部が前記垂直転送部である請求項７に記載の撮像装置。
9. 前記赤外光信号が、前記垂直転送部で垂直加算された状態で転送される請求項８に記載の撮像装置。
10. 予め取得した赤外光と可視光との焦点位置情報に基いて、入射光制御時に、赤外光と可視光の焦点位置を調整する焦点位置調整手段とを備える請求項１から９のいずれか１つに記載の撮像装置。
11. 可視波長と赤外波長に感受性を有する第１の画素部と、可視波長で感受性を有する第２の画素部とが半導体基板表面に行方向及び列方向に配列された固体撮像素子を備えた撮像装置の駆動方法であって、
    第１の受光期間とそれに続く第２の受光期間を有し、
    前記第１の受光期間で、赤外を含む光を前記撮像素子へ入射させ、前記第２の受光期間で可視光のみを前記撮像素子へ入射させる入射光制御ステップと、
    前記第１の受光期間で前記第１の画素部により赤外光を含む光を露光し、前記第２の受光期間で前記第１の画素部及び前記第２の画素部により可視光を露光する露光制御ステップと、
    前記第１の受光期間で露光された第１の画素部の赤外光信号と前記第２の受光期間で露光された前記第１の画素部及び前記第２の画素部の可視光信号を読み出すように制御する駆動ステップと、
    前記赤外光信号と前記可視光信号に基いてカラー画像を生成する信号処理ステップとを備えている撮像装置の駆動方法。
12. 前記露光制御ステップは、前記第２の受光期間内で少なくとも前記第２の画素部の信号電荷の掃き出しを行う請求項１１に記載の撮像装置の駆動方法。
13. 前記第２の受光期間後に遮光を行い、前記赤外光信号及び前記可視光信号を転送するように制御する請求項１１又は１２に記載の撮像装置の駆動方法。
14. 前記第１の画素部と前記第２の画素部とが、同一の配列ピッチで、かつ、互いに配列ピッチの１／２だけ前記行方向及び前記列方向にずれた位置に配列されている請求項１１から１３のいずれか１つに記載の撮像装置の駆動方法。
15. 前記第１の画素部と前記第２の画素部とが、同一の配列ピッチで、かつ、それぞれが正方格子状に２×２周期の配列を斜めにした状態で配列されている請求項１１から１３のいずれか１つに記載の撮像装置の駆動方法。
16. 前記信号電荷の掃き出しを電子シャッタにより実行される請求項１１から１５のいずれか１つに記載の撮像装置の駆動方法。
17. 前記第１の露光期間で露光された信号を保持する画素信号保持部を備える請求項１１から１６のいずれか１つに記載の撮像装置の駆動方法。
18. 前記第１の画素部及び前記第２の画素部から読み出された信号電荷を前記列方向に転送する垂直転送部を備え、
    前記垂直転送部からの信号電荷を、前記行方向に転送する水平転送部とを有し、前記画素信号保持部が前記垂直転送部である請求項１７に記載の撮像装置の駆動方法。
19. 前記赤外光信号が、前記垂直転送部で垂直加算された状態で転送される請求項１８に記載の撮像装置の駆動方法。
20. 予め取得した赤外光と可視光との焦点位置情報に基いて、入射光制御時に、赤外光と可視光の焦点位置を調整する請求項１１から１９のいずれか１つに記載の撮像装置の駆動方法。

Images