WO2012081154A1 - 撮像装置及び画像処理装置 - Google Patents

Abstract

　本発明の実施形態に係る撮像素子は、撮像面に電荷結合素子で構成される電荷結合素子列３０１と、各画素に画素電荷を電気信号に変換する電荷検出アンプ３０２を有する。画素に蓄積した電荷を全画素同時に電荷結合素子３０１に読み出した上で、高解像度の色成分を電荷検出アンプ３０２を経由して水平転送路３１６に出力し、撮像素子外に出力する。その後、電荷結合素子列３０１上で他の低解像度の色成分の垂直方向の画素加算を行い、続いて水平転送路３１６上で水平方向の画素加算後、出力する。この撮像素子から得られた画像を後段の画像処理部に入力し、高解像度・高フレームレートの出力カラー画像を得る。

Description

撮像装置及び画像処理装置

　本発明は、カラー画像を取得する単板式の撮像装置、及び高解像度化を実現する画像処理装置に関する。より具体的には、色成分ごとに解像度及び露出時間が異なる撮像装置と、該撮像装置の出力画像から高解像度・高フレームレートかつ高感度な出力画像を生成する画像処理装置に関する。

　従来、カラー動画像の高解像度化技術の入力画像として、Ｒ、Ｇ、Ｂの各色成分を、それぞれ異なる解像度及び異なる露出時間・フレームレートで撮像する方式が知られている（特許文献１、特許文献２参照）。高解像度かつ高フレームレートの動画像を撮像する際、画素への入射光量が不足することにより、動画像のＳ／Ｎが低下する。特許文献１および特許文献２に開示されている技術では、ある色成分について、低解像度かつ高フレームレートで撮像し、空間的に光量を確保した画像を取得する。一方、他の色成分については、高解像度かつ低フレームレートで撮像し、時間的に光量を確保した画像を取得する。これらの画像（入力画像）から、高解像度かつ高フレームレートの動画像を高解像度化する。

　上記の入力画像は、各色成分を撮像する３板の撮像素子の解像度を互いに異なるものとすることで取得できる。単板撮像素子によって上記の入力画像を取得することも可能である。この場合は、低解像度の色成分画像を、隣接する複数画素の信号加算によって生成する。

　撮像面上で画素信号を加算する機能を有する単板カラー撮像素子が、非特許文献１及び特許文献３に開示されている。非特許文献１は、隣接画素の加算を実現するＣＭＯＳ撮像素子を開示している。垂直方向の画素加算は、列選択パルスの加算を行う水平画素列に対し同一のタイミングで供給することで実現する。

　図３２は、上記従来技術における画素周辺回路の構成の一例を、図３３は駆動タイミングチャートの一例を示す。

　垂直方向に隣接するＲ（レッド）画素及びＢ（ブルー）画素を２画素加算することを例に考える。図３３に示すように、ｎ行目の水平画素列（走査線）上にあるＲ及びＢ画素の読み出し信号（ＴＲＡＮＲＢｎ）と、ｎ＋１行目の走査線上のＲ及びＢ画素の読み出し信号（ＴＲＡＮＲＢｎ＋１）とを、同時にＨレベルにする。すると、それらの画素信号が同時に出力信号線に読み出され、出力信号線上で混合される。その１Ｈ（１水平走査期間）後に、次の２本の走査線（ｎ＋２行目とｎ＋３行目）のＲ及びＢ画素に、読み出し信号が供給され、同様に加算が行われる。水平方向の画素加算は、ビニング回路を設置することで実現する。ＣＭＯＳ撮像素子は、画素に蓄積された信号電荷を電圧などの電気信号に変換した後に撮像素子外に出力する。このため、ＣＭＯＳ撮像素子では信号伝達が速く、読み出しの高速化を図ることができる。

　特許文献３には、撮像面上で画素加算を実現するカラーのＣＣＤ単板撮像素子が提案されている。特許文献３の撮像素子では、垂直方向の画素加算時に、加算を行う画素数おきに、垂直ＣＣＤセルに高い電圧レベルの信号を供給することで深いポテンシャル井戸を形成する。その状態で複数の画素数分の垂直転送を行い、該ポテンシャル井戸に前記画素数分の電荷を蓄積する。複数画素からの電荷を１つの半導体表面におけるポテンシャル井戸内で混合することより、垂直方向の画素加算を実現する。水平方向の画素加算も同様に、深いポテンシャル井戸の形成と、加算を行う画素数分の水平転送を行うことで実現する。ＣＭＯＳ撮像素子における画素加算は、画素の電荷を電気信号に変換した後に行うために、加算される各信号に電荷－電圧変換の際に混入するノイズが重畳される。例えば４画素加算する場合には、４画素分の電荷－電圧変換ノイズが蓄積する。一方でＣＣＤ撮像素子における画素加算は、画素の電荷そのものの加算を行ったのちに電荷－電圧変換を行う。この変換に伴うノイズは何画素加算する場合にも１画素分しか重畳せず、加算後の画素信号のＳ／Ｎの面で有利である。

　特許文献４および非特許文献２は、出力信号線上の信号を水平転送部の電荷結合素子内で加算する技術を開示している。

国際公開第２００９／０１９８２３号 国際公開第２００９／０１９８２４号 特開２００３－１４３６１４号公報 特開昭５６－０４４２７５号公報

Ｔａｋｅｏ　Ａｚｕｍａ，Ｔａｒｏ　Ｉｍａｇａｗａ，Ｓａｎｚｏ　Ｕｇａｗａ，Ｙｕｓｕｋｅ　Ｏｋａｄａ，Ｈｉｒｏｙｏｓｈｉ　Ｋｏｍｏｂｕｃｈｉ，Ｍｏｔｏｎｏｒｉ　Ｉｓｈｉｉ，Ｓｈｉｇｅｔａｋａ　Ｋａｓｕｇａ，Ｙｏｓｈｉｈｉｓａ　Ｋａｔｏ，"Ａ　２．２／３－ｉｎｃｈ　４Ｋ２Ｋ　ＣＭＯＳ　Ｉｍａｇｅ　Ｓｅｎｓｏｒ　Ｂａｓｅｄ　ｏｎ　Ｄｕａｌ　Ｒｅｓｏｌｕｔｉｏｎ　Ａｎｄ　Ｅｘｐｏｓｕｒｅ　Ｔｅｃｈｎｉｑｕｅ，"Ｐｒｏｃｅｅｄｉｎｇｓ　ｉｎ　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｏｌｉｄ－Ｓｔａｔｅ　Ｃｉｒｃｕｉｔ　Ｃｏｎｆｅｒｎｃｅ　２０１０，ｐｐ．４０８－４１０，２０１０． 寺川澄雄，松田祐二，小菌利幸，山田隆博，千田耕司，室園泉，広島義光，堀居賢樹，高村　亨，国井　孝雄，埋込みチャンネルＣＰＤ形固体撮像素子，テレビジョン学会誌　３７（１０），７９５－８０２，１９８３．

　しかしながら、前記従来の構成では、単板カラー撮像素子上のすべての画素から同時に画素信号を読み出すことができない。

　ＣＭＯＳ撮像素子では、画素信号を読み出す水平走査線を順次選択し、出力する。このため、撮像面の上側と下側で露光が終了し画素信号が読み出されるタイミングにずれが生じる。このとき、高速に水平方向に移動する被写体があれば、得られる被写体像は、画面内の上側と下側で撮像画像に捉えられる位置にずれが発生し、歪みを生じる。

　一方、単板カラー撮像素子では異なる色の画素が交互に配列されている。このため、ＣＣＤ撮像素子において画素に接続された電荷結合素子上で加算を行う際、すべての画素を同時に電荷結合素子に読み出すと、電荷結合素子上で前記異なる色の画素の信号が混合されてしまう。特許文献３のＣＣＤ撮像素子においても、この異なる色の画素信号の混合を避けるために、垂直方向の同一の列に配置されたＲ画素とＧ画素の信号について、画素から電荷を電荷結合素子に読み出すタイミングに、色ごとにずれを持たせている。つまり、ＣＣＤ撮像素子を用いた場合は、色ごとに撮像される像にずれを生じる可能性がある。これらの撮像素子においてすべての画素の露出タイミングをそろえるためには、撮像素子外部、例えば撮像装置に設置されるレンズの後方に撮像素子全面への入射光を遮断するシャッタ機構を追加で設置する必要がある。そして、画素の露光を前記シャッタで遮断してから読み出す必要がある。この追加機構によって撮像装置そのもののサイズが大きくなるという課題が生じる。

　本発明は、上記課題を解決する者であり、その主たる目的は、色成分ごとに解像度・フレームレートが異なる撮像を行う際に有効な構成を有する撮像装置を提供することにある。

　また、本発明の他の目的は、上記の撮像装置によって取得された画像を高解像度化する画像処理装置を提供することにある。

　本発明の撮像装置は、固体撮像素子と、前記固体撮像素子を制御する撮像制御部と、前記固体撮像素子によって取得された画像を処理する画像処理部とを備える撮像装置であって、前記固体撮像素子は、第１の色の画素および第２の色の画素を含む複数の画素が第１方向および前記第１方向と交差する第２方向に２次元的に配列された撮像面であって、前記第１方向に延びる画素の列が前記第１の色の画素および前記第２の色の画素を含む撮像面と、各々が前記第１方向に延びる複数の電荷結合素子列であって、各電荷結合素子列が前記第１方向に延びる前記画素の列に接続され、前記画素の列の各画素で生成された電荷をそれぞれ画素単位で受け取り、保持することができる複数の電荷結合素子列と、前記複数の電荷結合素子列の各々に接続された複数の第１電荷検出素子であって、各々が、対応する電荷結合素子列に保持された前記第１の色の画素からの電荷を検出し、電圧信号に変換する複数の第１電荷検出素子と、前記複数の電荷結合素子列の各々に接続された複数の第２電荷検出素子であって、各々が、前記電荷結合素子列に保持された前記第２の色の画素からの電荷を検出し、電圧信号に変換する複数の第２電荷検出素子と、前記第２の方向に延び、一端から画素信号を出力する転送路と、前記第１の方向に延びる複数の出力信号線であって、各々が前記複数の電荷検出素子の少なくとも一部に接続され、前記電荷検出素子が出力した前記電圧信号を前記転送路に伝達する複数の出力信号線とを有し、前記撮像制御部は、前記固体撮像素子から、前記第１の色の画素から構成される第１色画像を第１のフレームレートで読み出し、前記第２の色の画素から構成される第２色画像を前記第１のフレームレートよりも低い第２のフレームレートで読み出す。

　ある実施形態において、前記撮像制御部は、前記複数の画素の各々で生じた電荷を同一のタイミングで前記複数の電荷結合素子列に読み出す機能を有している。

　ある実施形態において、前記撮像制御部は、前記電荷結合素子列に保持された前記第１の色の複数の画素からの電荷を前記電荷結合素子列で混合する機能を有している。

　ある実施形態において、前記撮像制御部は、前記第１色画像および前記第２色画像の両方を読み出すフレームにおいて、各電荷結合素子列に保持された前記第２の色の画素からの電荷を前記電荷結合素子列から除去した後、前記第１の色の複数の画素で生成された電荷を前記電荷結合素子列内で混合する機能を有する。

　ある実施形態において、前記画像処理部は、前記第１のフレームレートで読み出された前記第１色画像と、前記第２のフレームレートで読み出された前記第２色画像とに基づいて、前記第１のフレームレート以上のフレームレートを有し、かつ、前記第２色画像の解像度以上の解像度を有するカラー動画像を生成する。

　ある実施形態において、前記転送路は、前記第２方向に延びる水平電荷結合素子列を含み、前記水平電荷結合素子列は、前記複数の出力信号線に接続され、前記複数の出力信号線上の前記電圧信号に対応する電荷信号を保持しながら水平方向に転送する。

　ある実施形態において、前記転送路は、前記第２方向に延びる水平シフトレジスタを含み、前記水平シフトレジスタは、前記複数の出力信号線に接続され、前記複数の出力信号線上の前記電圧信号を水平方向に転送する。

　ある実施形態において、前記固体撮像素子は、前記複数の出力信号線と前記水平シフトレジスタとの間に配置されたビニング回路を有し、前記ビニング回路は、前記複数の出力信号線の少なくとも２本の出力信号線上の前記電圧信号であって、前記第２方向に配列されている複数の画素からの電荷を示す電圧信号を加算する機能を有している。

　ある実施形態において、前記撮像面における前記複数の画素の各々は、入射光に含まれるレッド、グリーン、およびブルー成分のいずれか１つの強度を検出する。

　ある実施形態において、前記第１の色はレッドおよびブルーであり、前記第２の色はグリーンである。

　ある実施形態において、前記撮像面における前記複数の画素の各々は、入射光に含まれるシアン、マゼンタ、イエロー及びグリーン成分のいずれか１つの強度を検出する。

　本発明の固体撮像素子は、第１の色の画素および第２の色の画素を含む複数の画素が第１方向および前記第１方向と交差する第２方向に２次元的に配列された撮像面であって、前記第１方向に延びる画素の列が前記第１の色の画素および前記第２の色の画素を含む撮像面と、各々が前記第１方向に延びる複数の電荷結合素子列であって、各電荷結合素子列が前記第１方向に延びる前記画素の列に接続され、前記画素の列の各画素で生成された電荷をそれぞれ画素単位で受け取り、保持することができる複数の電荷結合素子列と、前記複数の電荷結合素子列の各々に接続された複数の第１電荷検出素子であって、各々が、対応する電荷結合素子列に保持された前記第１の色の画素からの電荷を検出し、電圧信号に変換する複数の第１電荷検出素子と、前記複数の電荷結合素子列の各々に接続された複数の第２電荷検出素子であって、各々が、前記電荷結合素子列に保持された前記第２の色の画素からの電荷を検出し、電圧信号に変換する複数の第２電荷検出素子と、前記第２の方向に延び、一端から画素信号を出力する転送路と、前記第１の方向に延びる複数の出力信号線であって、各々が前記複数の電荷検出素子の少なくとも一部に接続され、前記電荷検出素子が出力した前記電圧信号を前記転送路に伝達する複数の出力信号線とを備える。

　本発明による固体撮像素子の駆動方法は、請求項１２に記載の固体撮像素子の駆動方法であって、前記複数の画素の各々で生成された電荷を、同一のタイミングで、前記複数の電荷結合素子列の対応する部分に画素単位で移動させる工程と、各電荷結合素子列に画素単位で移動した電荷のうち、前記第２の色の画素から移動してきた電荷を前記第２電荷検出素子で検出する工程と、各電荷結合素子列に画素単位で移動した電荷のうち、前記第１の色の画素から移動してきた電荷を前記第２電荷検出素子内で混合する工程と、各電荷結合素子列内で混合された電荷を前記第１電荷検出素子で検出する工程とを実行する。

　本発明によれば、色成分ごとに解像度・フレームレートが異なる撮像を行うために画素加算を行う場合にも、追加のシャッタ機構なしに撮像面上のすべての画素から同時に画素信号を読み出すことが可能になる。

本発明の撮像装置の構成を示すブロック図 本発明における固体撮像素子の構成例を示す図 本発明における固体撮像素子の他の構成例を示す図 本発明における固体撮像素子の動作を示す図 本発明における固体撮像素子の動作を示す図 本発明における固体撮像素子の動作を示す図 本発明における固体撮像素子の動作を示す図 本発明における固体撮像素子の動作を示す図 本発明における固体撮像素子の動作を示す図 本発明における電荷結合素子のポテンシャル形状を示す図 本発明における電荷結合素子の他のポテンシャル形状を示す図 本発明の第１実施形態に係る撮像装置の構成を示すブロック図 本発明に係る撮像素子の画素配列を示す図 本発明の第１実施形態に係る撮像素子の画素及び周辺回路の構成を示す図 本発明の第１実施形態に係る撮像素子の電荷結合素子列上の各電荷結合素子に与える信号一覧図 本発明の第１実施形態において、ＲＢ画素のみ読み出すフレームの読み出しシーケンス 本発明の第１実施形態において、ＲＧＢ全画素を読み出すフレームの読み出しシーケンス 本発明の第１実施形態において、Ｒ画素の垂直加算を行う際の制御信号波形及び各電荷結合素子位置におけるポテンシャル分布図 本発明の第１実施形態に係る撮像素子の水平転送路上の各電荷結合素子に与える信号一覧図 本発明の第１実施形態において、Ｇ画素の水平転送を行う際の制御信号波形及び各電荷結合素子位置におけるポテンシャル分布図 本発明の第１実施形態において、Ｒ画素の水平加算及び水平転送を行う際の制御信号波形及び各電荷結合素子位置におけるポテンシャル分布図 本発明の第１実施形態に係る読み出し信号の波形を示す図 本発明の第１実施形態に係る画像処理部の構成を示すブロック図 本発明の第３実施形態に係る動き検出動作のイメージ図 本発明に係る撮像素子の効果を示す図 本発明に係る撮像素子の電荷結合素子列上の各電荷結合素子に与える信号の他の構成を示す一覧図 本発明の第２実施形態に係る撮像素子の電荷結合素子列上の各電荷結合素子に与える信号一覧図 本発明の第２実施形態において、Ｒ画素の垂直加算を行う際の制御信号波形及び各電荷結合素子位置におけるポテンシャル分布図 本発明の第２実施形態に係る撮像素子の水平転送路上の各電荷結合素子に与える信号一覧図 本発明の第２実施形態において、Ｒ画素の水平加算及び水平転送を行う際の制御信号波形及び各電荷結合素子位置におけるポテンシャル分布図 本発明の第３実施形態に係る撮像素子の構成を示す図 本発明の第３実施形態に係るビニング回路の一例を示す図 本発明の第４実施形態に係る画像処理部の構成を示すブロック図 本発明の第４実施形態に係るアップコンバータの内部構成を示すブロック図 本発明の第５実施形態において、各フレームの読み出しシーケンス 本発明の第５実施形態に係るアップコンバータの構成を示すブロック図 本発明の第５実施形態に係るベイヤ高解像度化手法の動作説明を行う図 従来技術における撮像素子の画素周辺回路例を示す図 従来技術における撮像素子の駆動パルスの例を示す図

　まず、図１から図５を参照して、本発明の基本的な構成と動作を説明する。

　図１は、本発明の撮像装置の構成を示すブロック図である。図１に例示されるように、本発明の撮像装置は、固体撮像素子１２０と、固体撮像素子１２０を制御する撮像制御部１３０と、固体撮像素子１２０によって取得された画像を処理する画像撮像素子１４０とを備える。

　次に、図２Ａを参照して、固体撮像素子１２０の構成例を説明する。図２Ａに例示される固体撮像素子１２０は、複数の画素が第１方向および第１方向と交差する第２方向に２次元的に配列された撮像面１００を有している。複数の画素は、例えばレッドおよびブルーからなる第１の色の画素１０１と、例えばグリーンからなる第２の色の画素１０２を含む。画素１０１、１０２の各々は、光電変換を行う不図示の光電変換素子（典型的には「フォトダイオード」）を含み、また必要に応じて他のトランジスタ素子などの回路要素を含み得る。画素１０１、１０２の光入射側には、第１の色を透過する第１色フィルタと第２の色を透過する第２色フィルタとがモザイク状に配列されたカラーフィルタアレイが設けられる。カラーフィルタアレイは、典型的には、ベイヤ型配列構成を有しているが、他の配列構成を有していてもよい。

　各画素１０１、１０２では、光電変換により、光の入射に応じた量の電荷が生成される。レンズによって撮像面に形成された像は、撮像面内で入射光量の分布を有する。したがって、各画素１０１、１０２のカラーフィルタに入射する光の量も、撮像面内で２次元的な分布を有する。対応するカラーフィルタを透過して各画素１０１、１０２の光電変換部に入射する光の量も、撮像面内で２次元的な分布を有する。第１の色の画素１０１は、その位置における第１の色フィルタに届いた光のうち、第１の色フィルタを透過して光電変換素子に入射した光の量に応じた電荷を生成し、蓄積する。一方、第２の色の画素１０２は、その位置における第２の色フィルタに届いた光のうち、第２の色フィルタを透過して光電変換素子に入射した光の量に応じた電荷を生成し、蓄積する。一定の像が撮像面に形成されているとき、各画素１０１、１０２で生成される電荷は、電荷蓄積期間が長くなるほど、多くなる。

　第１方向に延びる画素の各列１０３は、第１の色の画素１０１および第２の色の画素１０２を含む。図２Ａの例では、垂直方向に延びる画素の各列１０３において、第１の色の画素１０１および第２の色の画素１０２が交互に配列されている。

　固体撮像素子１２０は、各々が第１方向に延びる複数の電荷結合素子列１０４を有している。電荷結合素子列１０４の構成は、公知のＣＣＤ撮像素子に用いられている垂直電荷結合転送路または水平電荷結合転送路の構成と同様である。各電荷結合素子列１０４は、絶縁膜を介して半導体表面を覆うように配列された多数の電極を有しており、これらの電極に与える電位を制御することにより、電荷を蓄積または転送することが可能である。

　各電荷結合素子列１０４は、隣接する画素の列１０３に接続されている。図２Ａの例に示される電荷結合素子列１０４は、図中の右側に位置する画素の列１０３に接続されているが、本発明は、これに限定されない。各電荷結合素子列１０４は、それに接続された画素の列１０３を構成する画素１０１、１０２が生成した電荷をそれぞれ画素単位で受け取り、保持することができる。

　固体撮像素子１２０は、複数の電荷結合素子列１０４の各々に接続された複数の第１電荷検出素子１０６Ａおよび複数の第２電荷検出素子１０６Ｂを有している。これらの電荷検出素子１０６Ａ、１０６Ｂは、トランジスタ素子から構成されたアンプであり得る。複数の第１電荷検出素子１０６Ａの各々は、対応する電荷結合素子列１０４に保持された第１の色の画素１０１からの電荷を検出し、電圧信号に変換する。同様に、複数の第２電荷検出素子１０６Ｂの各々は、対応する電荷結合素子列１０４に保持された第２の色の画素１０２からの電荷を検出し、電圧信号に変換する。

　固体撮像素子１２０は、第２の方向に延びる転送路１１０と、第１の方向に延びる複数の出力信号線１０８とを有する。複数の出力信号線１０８の各々は、複数の電荷検出素子１０６Ａ、１０６Ｂの少なくとも一部に接続され、電荷検出素子１０６Ａ、１０６Ｂが出力した電圧信号を転送路１１０に伝達する。図２Ａの例では、電荷検出素子１０６Ａ、１０６Ｂは、共通する１つの出力信号線１０８に接続されているが、図２Ｂに示すように、電荷検出素子１０６Ａ、１０６Ｂが、それぞれ、異なる出力信号線１０８Ａ、１０８Ｂに接続されていてもよい。

　図２Ａおよび図２Ｂに示すいずれの例においても、転送路１１０は、出力信号線１０８または出力信号線１０８Ａ、１０８Ｂを介して受け取った電圧信号に対応する画素信号を、その一端から出力する。画像信号は、第１の色の画素からなる画像（第１色画像）、第２の色の画素からなる画像（第２色画像）の形成に用いられる。撮像の各フレームで出力される画素信号により、１フレームの画像が形成される。異なる色の画像を合成することにより、カラーの動画像が形成され得る。

　ある実施形態において、転送路１１０は、第２方向に延びる水平電荷結合素子列を含む。この水平電荷結合素子列は、複数の出力信号線に接続され、複数の出力信号線上の電圧信号に対応する電荷信号を保持しながら水平方向に転送する。また、他の実施形態において、転送路１１０は、第２方向に延びる水平シフトレジスタを含む。この水平シフトレジスタは、複数の出力信号線に接続され、複数の出力信号線上の電圧信号を水平方向に転送する。

　再び図１を参照する。図１の撮像制御部１３０は、固体撮像素子１２０における第１の色の画素から構成される第１色画像を第１のフレームレートで読み出すことができる。また、撮像制御部１３０は、第２の色の画素から構成される第２色画像を第１のフレームレートよりも低い第２のフレームレートで読み出すことができる。こうして読み出された複数の色画像は、画像処理部１４０に入力される。画像処理部１４０は、後述する種々の画像処理を実行することにより、高解像のカラー動画像を生成し、出力する。

　次に、図３Ａから図３Ｆを参照しながら、本発明の撮像装置の動作の一例を説明する。これらの図においては、簡単のため、第１方向に延びる画素の列１０３および電荷結合素子列１０４の１組が記載されている。現実の固体撮像素子１２０では、このような画素の列１０３および電荷結合素子列１０４の多数の組が第２方向に交互に配列されている。

　まず、図３Ａを参照する。画素１０１、１０２に光が入射すると、黒丸で模式的に示す電荷が光電変換によって画素１０１、１０２に生成される。

　次に、図３Ｂに示すように、画素１０１、１０２に生成された電荷を、同一のタイミングで、電荷結合素子列１０４に移動させる。各画素１０１、１０２の電荷は、画素単位で電荷結合素子列１０４に移動し、画素単位で電荷結合素子列１０４に保持される。図３Ｂの例では、１つの画素の列１０３から同一タイミンクで電荷の移動が行われているが、好ましく、撮像面内のすべての画素から、対応する電荷結合素子列１０４に電荷の移動が行われる。通常のＣＣＤ撮像素子であれば、各画素１０１、１０２から電荷結合素子列１０４内に移動した電荷は、次に、第１方向に転送される。しかし、本発明では、そのような転送を行う必要がない。

　次に、図３Ｃおよび３Ｄに示すように、複数の第２電荷検出素子１０６Ｂが、順次、対応する電荷結合素子列１０４に保持された第２の色の画素１０２からの電荷を検出し、電圧信号に変換する。電圧信号は、第２電荷検出素子１０６Ｂに接続された出力信号線１０８に与えられる。複数の第２電荷検出素子１０６Ｂは、接続された電荷結合素子列１０４の保持する第２の色の画素１０２からの電荷を、画素単位で検出する。第１方向に、順次、検出が行われる結果、図３Ｅに示されるように、電荷結合素子列１０４からは第２の色の画素１０２からの電荷がすべて除去され、電荷結合素子列１０４は、第１の色の画素１０１からの電荷のみを保持した状態になる。図３Ｅは、そのような状態を示している。

　その後、図３Ｆに示されるように、第１方向に隣接する２以上の第１の色の画素１０１からの電荷を混合する。この混合は、電荷結合素子列１０４内で行われる。混合の詳細は、後述する。

　図４は、第１の色の画素１０１および第２の色の画素１０２が交互に配列された画素の列１０３と、この画素の列１０３に接続された電荷結合素子列１０４と、電荷結合素子列１０４における半導体の表面ポテンシャルの形状を模式的に示している。図４の（３Ｂ）は、図４に示す表面ポテンシャルが図３Ｂの状態におけるものであることを示している。この状態では、電荷結合素子列１０４中にポテンシャルの井戸が多数形成される。この井戸は、表面ポテンシャルの電位が局所的に高くなり、その井戸の底に電荷（電子）を蓄積する。図４に示すポテンシャルの井戸の底部において、斜線でハッチングされた部分が蓄積された電荷を模式的に示している。現実には、電荷は、半導体表面付近に蓄積される。ポテンシャルの形状は、半導体の内部ではなく表面における電位を示している。

　前述した図３Ｃ、３Ｅ、３Ｆに示す状態では、それぞれ、図５に模式的に示す形状のポテンシャルが電荷結合素子列１０４の半導体表面に形成され、電荷の蓄積状態が変化してゆく。図５における（３Ｃ）（３Ｅ）（３Ｆ）の波形は、それぞれ、図３Ｃ、３Ｅ、３Ｆに示す状態における半導体表面のポテンシャルを示している。図５の（３Ｃ）では、図中の最上部に位置する画素１０２からの電荷が電荷結合素子列１０４から除去されている。図５の（３Ｅ）では、第２の色の画素１０２からの電荷がすべて電荷結合素子列１０４から除去されている。図５の（３Ｆ）では、第１の色の画素として隣接する２つの画素１０１からの電荷か電荷結合素子列１０４内で混合され、蓄積量が加算されている。本明細書では、複数の画素からの電荷を混合することを「画素加算」と称する。

　このように本発明によれば、第１方向に延びる電荷結合素子列１０４を介して画素の電荷を読み出すため、第１方向に配列された複数の画素から電荷を読み出すタイミングを一致させることができる。このため、撮像面の上側と下側とで画素信号が読み出されるタイミングにずれが生じるというＣＭＯＳ撮像素子の前記課題が解決される。

　また、本発明によれば、撮像面内の各画素（フォトダイオード）で生じた電荷を、いったん電荷結合素子列１０４に移動させた後、電荷結合素子列１０４が保持する電荷を電荷検出素子１０６Ａ、１０６Ｂによって検出し、第１方向に延びる出力信号線を介して読み出す。すなわち、電荷結合素子列１０４によって第１方向に電荷を転送しなくとも、第１方向における任意の位置の画素の電荷を読み出すことができる。この点において、本発明は、ＣＭＯＳ撮像素子による画素信号の読み出しと同様の利点を有し、従来のＣＣＤ撮像素子が有している課題を解決することができる。

　更に、本発明によれば、第１方向において隣接する同色の画素からの電荷を電荷結合素子列１０４内で混合し、画素加算を実行することが容易に行える。

　なお、本発明の好ましい実施形態では、第２方向において隣接する同色の画素からの電荷を混合し、画素加算を実行することができる。このような画素加算は、公知のビニング回路を用いて行ってもよいし、また、水平電荷結合素子列を用いて行ってもよい。

　以下、本発明の実施の形態について、図面を参照しながら説明する。

　（実施の形態１）
　図６は、本実施形態に係る撮像装置の構成を示す。

　本実施形態の撮像装置は、撮像部１１と、画像処理部１２と、撮像制御部１３とを備えている。撮像部１１は同一シーンのＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）成分の色成分画像を撮像する。画像処理部１２は撮像部１１の出力画像を処理し、高解像度・高フレームレートのカラー出力画像を生成する。撮像制御部１３は撮像部１１の撮像動作を制御する。

　以下に上記構成の動作について詳細に説明する。

　撮像部１１は、レンズ１１１と、撮像素子１１２とから構成される。レンズ１１１は、被写体の像を撮像素子１１２の像面に結像する。撮像素子１１２は、撮像面上にＲ画素、Ｇ画素、Ｂ画素を有する単板カラー撮像素子であり、同一シーンのカラー画像のＲ成分、Ｇ成分、Ｂ成分について、入射光の強度を電気信号に変換する光電変換機能を有する。本実施形態では、第１の色成分をＲ成分およびＢ成分に設定し、第２の色成分をＧ成分に設定する。

　第１の色成分画像は、短時間露光、高フレームレートの撮像条件で撮像される。本実施形態における高フレームレートとは、例えば３０ｆｐｓ（フレーム毎秒）から６０ｆｐｓ程度までの範囲にある。また、本実施形態における「短時間露光」とは、最長でもフレームレートで決まる１フレームの上限（本実施形態の場合、３０分の１秒から６０分の１秒程度）以下の時間の露光である。

　第２の色成分画像は、長時間露光、低フレームレートの撮像条件で撮像される。本実施形態における「低フレームレート」とは、第１の色成分についてのフレームレートの、数分の１から２０分の１程度である。また、本実施形態における「長時間露光」とは、このフレームレートの値で決まる１フレームの時間を上限とし、かつ、上記の「短時間露光」の時間よりも長い露光である。

　なお、上で述べた短時間露光、長時間露光、高フレームレート、低フレームレートという言葉の意味は相対的なものである。すなわち、カラー画像の第１の色成分についての露光時間は、第２の色成分についての露光時間よりも短く、第１の色成分のフレームレートは第２の色成分のそれよりも高ければよく、上記に例示した数値の範囲に限定するものではない。

　画像処理部１２は、撮像部１１において、高解像度・低フレームレートで撮像された第１の色成分画像、及び低解像度・高フレームレートで撮像された第２の色成分画像から、高解像度・高フレームレートの出力カラー画像を生成する。

　撮像制御部１３は、撮像部１１における撮像素子１１２の動作を制御する。具体的には、撮像素子１１２に対して、第１及び第２の色成分に独立に読み出しタイミングを規定する信号（以下、「読み出し信号」と称する）、画素加算動作を制御する信号、画素信号の垂直及び水平転送を制御する信号を供給する機能を有する。これらの制御信号については、詳細は後述する。

　なお、画像処理部１２は、撮像部１１と同一の筐体内に収納し、撮像と画像処理を一体化した撮像装置として提供されてもよいし、撮像部１１と分離し、撮像部１１から有線あるいは無線で伝達された撮像信号を受け取って撮像部１１と別のハードウェアにて画像処理を行ってもよい。

　図７は、撮像素子１１２の画素配列を示す。図において、符号Ｒは、入射光のＲ（レッド）成分の強度を検出する画素、符号Ｂは、入射光のＢ（ブルー）成分の強度を検出する画素、符号Ｇｒ及びＧｂは、入射光のＧ（グリーン）成分の強度を検出する画素を示す。本実施形態の撮像素子は、Ｒ画素及びＧ画素が水平方向に交互に配置されている行と、Ｇ画素及びＢ画素が水平方向に交互に配置されている行が、垂直方向に交互に配置されている。以下、Ｒ画素と水平方向に交互に配置されているＧ画素をＧｒ画素、Ｂ画素と水平方向に交互に配置されているＧ画素をＧｂ画素と称し、図６中のＧｒ、Ｇｂという表現は、ここで述べたものと同一のものを指す。

　本実施形態では、Ｒ及びＢ画素について、垂直及び水平方向に互いに隣接する２画素を加算する。

　図８は、本実施形態における撮像素子１１２の一部の詳細な構成を示す。図中の符号Ｒ、Ｂ、Ｇｒ、Ｇｂは、それぞれ撮像素子に入射する光のＲ成分、Ｂ成分、Ｇ成分の光電変換を行う画素を示す。

　電荷結合素子列３０１は、各画素について３個ずつの電荷結合素子で構成されており、Ｒ及びＧｂ画素の蓄積した電荷を読み出し、垂直方向の加算を行う。個々の電荷結合素子は、他の電荷結合素子から独立した電位が与えられ得る電極を持つＭＯＳ型キャパシタ構造を有している。

　電荷検出アンプ３０２は、Ｒ及びＧｂ画素に接続された電荷結合素子に格納された該画素電荷を、電圧の形の電気信号に変換する。読み出し信号線３０３は、Ｇｒ及びＧｂ画素の読み出し信号を伝達する。読み出し信号線３０４は、Ｒ及びＢ画素の読み出し信号を伝達する。信号線３０３及び３０４は、電荷検出アンプの出力に対するスイッチのゲートに接続される。これらの信号線にＨレベルの信号を供給することで、電荷検出アンプによって電気信号に変換された画素出力を読み出す。出力信号線３０５及び３０６は、前記方法で読み出されたＲ画素及びＧｂ画素の出力信号を、撮像素子上端に配置された水平転送部に伝達する。

　電荷結合素子列３０７は、電荷結合素子列３０１と同数の電荷結合素子で構成されており、Ｂ及びＧｒ画素の蓄積した電荷を読み出し、垂直方向の加算を行う。電荷検出アンプ３０８は、Ｒ及びＧｂ画素に接続された電荷結合素子に格納された該画素電荷を、電圧の形の電気信号に変換する。出力信号線３０９及び３１０は、前記方法で読み出されたＢ画素及びＧｒ画素の出力信号を、撮像素子上端に配置された水平転送部に伝達する。トランスファーゲート３１１及び３１２は、電荷検出アンプ３０２から出力されたＲ画素及びＧｂ画素の出力信号を水平転送路３１５に供給する。トランスファーゲート３１３及び３１４は、電荷検出アンプ３０８から出力されたＢ画素及びＧｒ画素の出力信号を、再度電荷に変換し、水平転送路３１６に供給する。

　水平転送路３１５は、各画素について３個ずつの電荷結合素子で構成されており、トランスファーゲート３１１及び３１４によって電荷に変換されたＲ及びＧｒ画素の出力を、水平方向に加算及び転送し、撮像素子１１２の外に出力する。水平転送路３１６は、水平転送路３１５と同数の電荷結合素子で構成されており、トランスファーゲート３１２及び３１３によって電荷に変換されたＢ及びＧｂ画素の出力を、水平方向に加算及び転送し、撮像素子１１２の外に出力する。水平出力電荷検出アンプ３１７及び３１８は、水平転送路３１５及び３１６の終端に配置され、それぞれの転送路の終端に到達した電荷を電気信号に変換する。

　なお、ここで読み出し信号線３０３及び３０４には、撮像面上の画素の行ごとに異なる信号が入力される。図８に示されるように、例えば、撮像面の上辺からｎ番目のＲ及びＢ画素の組には、同一の読み出し信号Ｒｒｅａｄｎを供給し、ｎ番目のＧｒ及びＧｂ画素の組には、読み出し信号Ｇｒｅａｄｎを供給する。ｎ＋１番目のＲＢ画素の組にはＲｒｅａｄｎ＋１、ＧｒＧｂ画素の組にはＧｒｅａｄｎ＋１をそれぞれ供給する。

　なお、本実施形態におけるトランスファーゲート３１３及び３１４は、例えば特許文献４に示されるような、公知のものでかまわない。

　なお、図８の例では、垂直画素列が２列分、水平画素列が８行分のみ記載しているが、実際はこれが垂直・水平方向ともに撮像素子の画素数分だけ繰り返して配置されている。

　また、図８において、水平転送路３１５及び３１６は画素配列部の上側に配置して記載しているが、実際の構成はこれに限定されるものではなく、画素アレイの下側に配置してもよい。水平転送路３１５あるいは水平転送路３１６の片方のみ上側に、もう片方を下側に配置する構成でもかまわない。

　図９は、図８における電荷結合素子列３０１及び３０７の各電荷結合素子に供給する信号の一覧を示した図である。同図において、図８に記載の電荷検出アンプ３０２及び３０８、読み出し信号線３０３及び３０４などの記載を省略している。実際は電荷結合素子列３０１及び３０７を構成する各電荷結合素子には、図８の電荷検出アンプ３０２及び３０８と、図９に示される駆動信号の信号線の双方が接続されている。

　図９によると、本実施形態においては、電荷結合素子列３０１の電荷結合素子の駆動にＶ１、Ｖ２、Ｖ３、ＶＲ１、ＶＲ２、ＶＧの６種類の制御信号を用いる。これらの信号のうち、ＶＲ１、ＶＲ２、ＶＧは、画素に蓄積された電荷を電荷結合素子に読み出すのに必要な電圧値（電荷読み出し電圧と称する）と、電荷結合素子列上で電荷の転送を行うのに必要な電圧値（電荷転送電圧と称する）、電荷転送電圧よりもやや高い電圧で電荷を保持するための電圧（電荷保持電圧と称する）、及びＬレベルに相当する電圧（例えば０Ｖ）の４値をとる。一方で、Ｖ１、Ｖ２、Ｖ３は、電荷転送電圧とＬレベルの２値をとる。本実施形態では、電荷読み出し電圧は電荷転送電圧より高い電圧値であり、例えば、電荷読み出し電圧は５Ｖ、電荷転送電圧は２Ｖである。また、電荷保持電圧は電荷読み出し電圧と電荷転送電圧の中間の値をとり、例えば３．５Ｖである。

　本実施形態において、Ｒ画素とＢ画素を同時に読み出し、Ｇｒ画素とＧｂ画素を同時に読み出すことを仮定しているため、Ｂ画素及びＧｒ画素が接続された電荷結合素子列３０７に対しても、電荷結合素子列３０１と同一の駆動信号を供給するものとする。具体的には、電荷結合素子列３０７においてＢ画素が接続されている電荷結合素子には、電荷結合素子列３０１においてＲ画素が接続されている電荷結合素子と同一の駆動信号を供給し、Ｇｒ画素が接続されている電荷結合素子には、電荷結合素子列３０１においてＧｂ画素が接続されている電荷結合素子と同一の駆動信号を供給する。

　本発明において、第１の色成分であるＧ成分は、第２の色成分であるＲ及びＢ画素より低いフレームレートで出力される。すなわち、Ｒ及びＢ画素はすべてのフレームで出力されるが、Ｇ画素は、ＲＢ画素の数フレームに一回、例えば４フレームに一回ずつ読み出される。Ｇ画素が読み出されないフレームにおいては、該画素は電荷の蓄積を継続している。

　図１０は、Ｒ画素及びＢ画素のみ読み出すフレームの、１フレーム分の画素の読み出しの流れを示した図である。Ｇ画素は読み出されないため、Ｇ画素に対する操作は何も行われない。Ｒ及びＢ画素に対しては、まずすべての画素の同時読み出し（以下でグローバルシャッタ動作と称する）を行い、垂直方向の画素加算を行う。ここでいう画素の読み出しとは、電荷結合素子列３０１及び３０７中の各ＲＢ画素に接続された電荷結合素子に前記電荷読み出し電圧の信号（図９におけるＶＲ１及びＶＲ２）を与え、画素に蓄積された電荷を電荷結合素子に移動させることを意味する。その後、第１行目の水平走査線から順に、読み出し信号線３０４にＨレベルの読み出し信号を供給することで電荷検出アンプ３０２あるいは３０８から１行分のＲ及びＢ画素信号を出力させる。その後、トランスファーゲート３１１あるいは３１３を通じて水平転送路３１５あるいは３１６中の電荷結合素子に加算画素電荷を格納したうえで、水平方向の画素加算の後に転送を行う。最後に水平転送路の終端にある水平出力電荷検出アンプ３１７あるいは３１８によって転送された電荷を電気信号に変換し、１行ずつ撮像素子１１２の外に画素信号を出力する。垂直方向及び水平方向の画素加算動作についての詳細は後述する。

　図１１は、Ｒ、Ｇ、Ｂすべての画素を読み出すフレームにおける、１フレーム分の画素読み出しの流れを示した図である。該フレームにおいて、まずＲＧＢすべての画素に対しグローバルシャッタ動作を行う。すなわち、図９における駆動信号ＶＲ１、ＶＲ２、ＶＧすべてに前記電荷読み出し電圧の信号を与える。その後、ＲＢ画素に接続されている電荷結合素子の駆動信号（図９のＶＲ１及びＶＲ２）に電荷読み出し電圧の信号電圧を供給したまま、Ｇｂ及びＧｒ画素のみに対し、第１行目の水平走査線から順に、読み出し信号線３０４にＨレベルの読み出し信号を供給することで電荷検出アンプ３０２あるいは３０８から１行分のＧｒ及びＧｂ画素の信号を出力させる。その後トランスファーゲート３１２あるいは３１４を通じて水平転送路３１５あるいは３１６内の電荷結合素子に画素電荷を格納したうえで、水平方向に転送を行い、終端にある水平出力電荷検出アンプ３１７あるいは３１８によって転送された電荷を電気信号に変換したうえで、１行ずつ撮像素子１１２の外に画素信号を出力する。Ｇｒ及びＧｂ画素の出力が完了すると、続いてＲ及びＢ画素の加算及び出力を行う。Ｒ及びＢ画素の出力は、図１０に記載の方法と同一の方法で行う。

　図１２は、垂直方向のＲ画素及びＢ画素の加算の流れを示した図である。図の上側には、電荷結合素子列３０１及び３０７内の電荷結合素子に供給する信号のうち、画素加算にかかわる部分のタイミングチャートを示しており、図の下側には、それぞれのタイミングに対応する時点での電荷結合素子のポテンシャル分布を示している。同図中には電荷結合素子列３０１上でのＲ画素の加算の例を示しているが、Ｂ画素についても、電荷結合素子列３０７上で同様に加算を行う。図中で符号７０６を付した電圧レベルは、電荷結合素子の前記電荷転送電圧に相当し、符号７０７を付した電圧レベルは、前記電荷保持電圧に相当し、符号７０８を付した電圧レベルは、前記電荷読み出し電圧に相当する。

　以下、図中の各時点における動作について詳細に説明する。まず、符号７０１で示される時点において、Ｒ画素に接続された電荷結合素子に電荷読み出し電圧を印加し、Ｒ画素のグローバルシャッタ動作を行う。このとき信号ＶＲ１及びＶＲ２の振幅は電荷読み出し電圧に一致し、それぞれの電荷結合素子の位置のポテンシャルは、該電荷読み出し電圧に相当する深さを持った井戸を形成する。時点７０２においては、次の時点（符号７０３）での画素加算動作のために、信号ＶＲ１及びＶＲ２の電圧を電荷転送電圧のレベルとし、ポテンシャル井戸を浅くする。続いて、時点７０３において、信号Ｖ１、ＶＲ１、ＶＲ２及びＶＧに電荷転送電圧を供給することで、それぞれ信号が供給された電荷結合素子の位置に一つの広大なポテンシャルの井戸を形成し、時点７０２において信号ＶＲ１及びＶＲ２が供給される電荷結合素子の位置に保持されていた画素電荷をこの広大な井戸で共有する。このときに、ＶＲ１及びＶＲ２の位置に保持されていた画素電荷は、この時点において一つの井戸で共有されることになり、その結果として２画素分の加算された電荷が得られる。その後、時点７０４において、ＶＲ１に電荷保持電圧を供給することで、広大な井戸で保持していた加算画素電荷を一つの電荷結合素子（ＶＲ１の電荷結合素子）に集約する。時点７０５では、信号ＶＲ１が供給される電荷結合素子以外の電荷結合素子にＬレベルの駆動信号を印加することで、画素電荷の加算動作が完了する。

　上記のように加算された画素信号電荷は、対応する位置の電荷検出アンプ３０２によって電気信号に変換され、対応する位置の読み出し信号線３０３にＨレベルの信号が供給された時点で、トランスファーゲート３１１を経由して水平転送路３１５に伝達される。

　なお、図１２において、ＶＲ１及びＶＲ２の電荷結合素子に読み出されたＲ画素の電荷を加算した後に、加算電荷をＶＲ１の電荷結合素子に集約しているが、本実施形態はこの手順に限定されるものではなく、例えば加算後の電荷をＶＲ２の電荷結合素子に集約してもよい。

　続いて、水平方向の画素加算及び水平転送を介した画素信号の出力の仕方について、図１３、図１４及び図１５を参照しながら説明する。

　図１３は、水平転送路３１５及び３１６の詳細な構成を示す図である。同図に示すように、水平転送路３１５内の電荷結合素子には、Ｂ画素の出力信号線（図８における３０９）と、Ｇｂ画素の出力信号線（図８における３０６）が、トランスファーゲート３１２及び３１３を介して水平方向に交互に接続されている。水平転送路３１６の電荷結合素子には、Ｒ画素の出力信号線３０５と、Ｇｒ画素の出力信号線３１０がトランスファーゲート３１１及び３１４を介して交互に接続されている。また、水平転送路３１５及び３１６内の各電荷結合素子は、ＶＨ１、ＶＨ２、ＶＨ３、ＶＨ４、ＶＨＲ１、ＶＨＲ２、ＶＨＧの７系統の駆動信号で制御される。

　出力信号線上の電圧信号は、例えばコンデンサにより電圧－電荷変換を行った後、水平転送路３１５及び３１６内の各電荷結合素子に与えられる。この電圧－電荷変換は、非特許文献２に記載されている。

　図１４は、Ｇ画素の水平転送の流れを示した図である。図１２と同様に、上記の７系統の駆動信号の時間波形と、それぞれの時刻に対応するポテンシャル分布図を示している。Ｇ画素は加算を行わないため、トランスファーゲート３１２あるいは３１３を通して水平転送路上にＧ画素の電荷が移された時点で、転送を開始する。

　図１４に示すように、Ｇ画素は１単位時間（単位時間とは、例えば撮像素子１１２を制御するクロックの周期）で１段ずつ転送を行い、６単位時間ごとにＧ画素の電荷が出力される。また、図中の時点９０２及び９０８のパルスパターン、ポテンシャル分布に示されるとおり、６単位時間周期で同一の状態に戻り、以降同一の状態変化を繰り返す。水平方向に配列されたすべてのＧ画素（Ｇｒ画素及びＧｂ画素）が上記方式で水平転送路３１６及び３１５から出力された時点で、Ｇ画素の水平転送が完了する。

　図１５は、水平方向のＲ及びＢ画素の加算及び水平転送の流れを示した図である。なお、同図には水平転送路３１６上のＲ画素の加算の様子のみ表示しているが、水平転送路３１５上で、Ｂ画素の加算もまったく同様に行われる。

　図１５を参照しながら、水平加算及び水平転送の仕方について説明する。

　図中の符号１００１で示される時点は、信号ＶＨＲ１及びＶＨＲ２を電荷読み出し電圧のレベルとして水平転送路の電荷結合素子上にトランスファーゲート３１１から出力されたＲ画素の電荷を読み出し、その後電荷転送電圧のレベルとすることによって該電荷を保持している状態である。時点１００２では、さらに信号ＶＨ１、ＶＨ２、ＶＨＧを電荷転送電圧のレベルとすることで、ＶＨＲ１、ＶＨＲ２に読み出された電荷を一つにまとめる。その後、時点１００３において、信号ＶＨ１、ＶＨ２、ＶＨＧ及びＶＨＲ１を電荷転送電圧のレベルに保持したまま、信号ＶＨＲ２を電荷保持電圧とし、加算された電荷を信号ＶＨＲ２が供給されている電荷結合素子に集約する。この時点で、水平方向の２画素のＲ画素加算が完了する。

　時点１００４は、時点１００３で加算したＲ画素の電荷を、電荷転送電圧に相当するポテンシャルレベルで保持した状態である。時点１００５からは、水平転送を行う。時点１００５では、信号ＶＨＲ２に加え、信号ＶＨ２、ＶＨ３、ＶＨ４、ＶＨＧも電荷転送電圧のレベルとする。この時点で、もっとも水平転送路３１６の終端、すなわち電荷検出アンプ３１８に近い位置にある画素の電荷は、電荷検出アンプ３１７を通じて撮像素子１１２の外に出力される。時点１００６では、時点１００５の状態から信号ＶＨ４を電荷保持電圧とすることで、時点１００５でＶＨ２、ＶＨＲ２、ＶＨ３、ＶＨ４及びＶＨＧの電荷結合素子で共有していた画素出力電荷をＶＨ４の電荷結合素子に集約する。この時点で、時点１００４で信号ＶＨＲ２を供給する電荷結合素子の位置にあった画素電荷を、信号ＶＨ４を供給する電荷結合素子の位置まで転送できたこととなる。

　時点１００７で集約した電荷を保持するポテンシャルレベルを変換し、その後時点１００８では、ＶＨ３以外のすべての信号を電荷転送電圧のレベルとする。このとき、同図に示されるように、画素の加算電荷は非常に幅の広いポテンシャル井戸で保持される。時点１００９では、時点１００８において広い井戸で保持された電荷を、信号ＶＨＲ２が供給される電荷結合素子のみで保持する。時点１０１０で、ＶＨＲ２が供給される電荷結合素子が保持する画素電荷のポテンシャルレベルを電荷転送電圧に変換する。このとき、各駆動信号の値及びポテンシャル分布は時点１００４のそれらと同一であり、この後は時点１００５から時点１０１０のパターンを繰り返す。水平転送路３１６に読み出されたすべての画素の出力電荷が転送された時点で、水平転送が完了する。

　図１６は、図８における読み出し信号線３０３及び３０４に供給する信号の波形の一例を示す。図１６において、図８と同様、Ｒｒｅａｄｎは撮像面の上辺からｎ番目のＲ及びＢ画素の組に供給される読み出し信号、すなわち読み出し信号線３０４に供給される信号であり、Ｇｒｅａｄｎはｎ番目のＧｒ及びＧｂ画素の組に供給される読み出し信号、すなわち読み出し信号線３０３に供給される信号である。以下同様に、Ｒｒｅａｄｎ＋２、Ｒｒｅａｄｎ＋４、Ｒｒｅａｄｎ＋６は、それぞれｎ＋２番目、ｎ＋４番目、ｎ＋６番目のＲＢ画素の組に供給される読み出し信号であり、Ｇｒｅａｄｎ＋１、Ｇｒｅａｄｎ＋２、Ｇｒｅａｄｎ＋３はそれぞれｎ＋１番目、ｎ＋２番目、ｎ＋３番目のＧｒＧｂ画素の組に供給される読み出し信号である。

　本実施形態では、Ｇ画素の露出時間をＲ及びＢ画素の４倍、すなわちＧ画素の読み出しフレームレートをＲ及びＢ画素の１／４としているため、Ｇｒｅａｄｎは、Ｒｒｅａｄｎが４度供給されるたびに１度ずつ供給される。また、本実施形態においてＲ及びＢ画素は垂直方向に２画素加算されるため、Ｒｒｅａｄの垂直選択信号は２列おきに供給される。

　なお、図１１に示すように、ＲＧＢ全画素を読み出すフレームにおいてはＧ画素を読み出した後にＲＢ画素の加算および読み出しを行うため、図１６においてもＧｒｅａｄｎとＲｒｅａｄｎがそれぞれＨレベルになる時刻に時間差がある。具体的には、ＧｒｅａｄｎがすべてのＧ画素に対して供給され、すべてのＧ画素の信号が読み出された後に、Ｒｒｅａｄｎが順次Ｈレベルとなっていく。また同図において、ＲＢ画素のみを読み出すフレームについては、図１０に準じてＲＢ画素の読み出しをフレームの先頭付近の時刻で行うようにしている。しかしながら、本発明に係る撮像素子の駆動方法はこれに限らず、ＲＢ画素のみを読み出すフレームにおいても、ＲＧＢ全画素読み出すフレームと同様に、ＲＢ画素を各フレームの後半で読み出すような駆動方法でもかまわない。

　次に、画像処理部１２の動作の一例について、図１７を参照しながら説明する。

　図１７によると、本実施形態において、該画像処理部は、第２の色成分画像から動きを検出する動き検出部１２０１と、第１の色成分画像のフレームレートを第２の色成分画像に適合させる処理と、第２の色成分画像の解像度を第１の色成分に適合させる処理を同時に行うアップコンバータ１２０２から構成される。

　動き検出部１２０１は、例えば、ブロックマッチング、勾配法、位相相関法等の既存の公知技術によって、動き（オプティカルフロー）を検出する。動きを自動的に検出する方法の一例について、図１８を参照しながら説明する。

　図１８（ａ）および（ｂ）は、ブロックマッチングによって動き検出を行うときの基準フレームと参照フレームとを示している。動き検出部１１０１は、基準とするフレーム（動きを求めるべく着目しているｔ番目のフレーム）内に、図１８（ａ）に示す窓領域Ａを設定する。そして、窓領域内のパターンと類似するパターンを参照フレーム内で探索する。参照フレームとして、例えば着目フレームの次のフレームが利用されることが多い。

　探索範囲は、図１８（ｂ）に示すように、通常、移動量ゼロの位置Ｂを基準に予め一定の範囲（同図１８（ｂ）中のＣ）が設定される。また、パターンの類似の度合い（程度）は、（数１）に示す残差平方和（ＳＳＤ：Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅ　Ｄｉｆｆｅｒｒｅｎｃｅｓ）や、（数２）に示す残差絶対値和（ＳＡＤ：Ｓｕｍ　ｏｆＡｂｓｏｌｕｔｅｄ　Ｄｉｆｆｅｒｅｎｃｅｓ）を評価値として計算することによって評価する。

　（数１）および（数２）において、Ｉ（ｘ，ｙ，ｔ）は、画像内の位置（ｘ，ｙ）、フレーム番号ｔにおける画素の信号値である。また、ｘ，ｙ∈Ｗは、基準フレームの窓領域内に含まれる画素の座標値を意味する。

　動き検出部１２０１は、探索範囲内で（ｕ，ｖ）を変化させることにより、上記評価値を最小とする（ｕ，ｖ）の組を探索し、これをフレーム間での動きベクトルＶとする。窓領域の設定位置を順次シフトさせることによって、動きを画素毎もしくはブロック毎（例えば８画素×８画素）に求める。

　画像処理部１２０２は、動き検出部１２０１によって例えば（数１）あるいは（数２）により求めた動きを元に、第１の色成分画像を時空間的に分解する。第１の色成分画像ｇ_G、第２の色成分画像をｇ_R及びｇ_Bとしたとき、高解像度化画像ｆは、下記の（数６）を最小化するｆとして求められる。

ここで、ｇ_Gは第１の色成分（本実施形態においてはＧ成分）、ｇ_R、ｇ_Bは第２の色成分（本実施形態においてはＲ及びＢ成分）の動画像の各画素を要素とする縦ベクトル、ｆは高解像度・高フレームレートの高解像度化動画像のＲＧＢすべての成分の各画素を要素とする縦ベクトル、Ｈ_R、Ｈ_B、Ｈ_GはそれぞれｆからＲ画素、Ｂ画素及びＧ画素に対応する画素値の要素を抽出する行列、Ｈ_Tは長時間露光による光の加算をモデル化した行列、Ｈ_Sは画素加算による光の加算をモデル化した行列、λ_sは滑らかさ拘束に対する重み、Ｑ_sは滑らかさ拘束、λ_mは動き拘束に対する重み、Ｑ_mは動き拘束をモデル化した行列を表している。

　以下、（数４）、（数５）、（数６）及び（数７）に、（数３）右辺の各項の詳細な式を示す。

　なお、上記（数４）、（数５）、（数６）及び（数７）において、ｆ（ｘ，ｙ，ｔ）、Ｈ_SＨ_Rｆ（ｘ，ｙ，ｔ）、Ｈ_Rｆ（ｘ，ｙ，ｔ）、Ｈ_TＨ_Gｆ（ｘ，ｙ，ｔ）、Ｈ_Gｆ（ｘ，ｙ，ｔ）、Ｑ_sｆ（ｘ，ｙ，ｔ）、Ｑ_mｆ（ｘ，ｙ，ｔ）は、それぞれ（数３）におけるｆ、Ｈ_SＨ_Rｆ、Ｈ_Rｆ、Ｈ_TＨ_Gｆ、Ｈ_Gｆ、Ｑ_sｆ、Ｑ_mｆの位置（ｘ，ｙ）、フレーム番号ｔに相当する要素である。また、（数４）ではＲ画素に対する計算式のみ記載しているが、Ｂ画素に対しても、（数４）におけるＨ_RをＨ_Bに置き換えることでまったく同様に表現できる。また、（数６）、（数７）において、ｘｍａｘ、ｙｍａｘ、ｔｍａｘはそれぞれｘ方向画素番号、ｙ方向画素番号、フレーム番号の最大値を示す。また、（数７）におけるｕ（ｘ，ｙ，ｔ）及びｖ（ｘ，ｙ，ｔ）は、動き検出部１２０１によって求められた、位置（ｘ，ｙ）及びフレーム番号ｔの画素位置におけるｘ方向及びｙ方向の動きの大きさである。なお、本実施形態において、第２の色成分画像の解像度が第１の色成分画像の１／４であり、第１の色成分画像の露出時間が第２の色成分画像の４倍であるため、（数７）においてはＨ_Rｆの隣接する２×２画素の画素値を加算しており、また（数８）においてはＨ_Gｆの４フレーム分の画素値を加算しているが、本発明に係る撮像装置においては、この値に制限されるものではない。

　アップコンバータ１２０２は、下記（数８）に基づいて（数３）を最小化するｆを得る。

　その結果、アップコンバータ１２０２は、（数９）に示す連立方程式を解くことによってｆを得る。

　（数９）は、共役勾配法や最急降下法等の既存の数値計算法（連立方程式の解法）を用いることによって解くことができる。

　なお、撮像制御部１３は、撮像素子１１内に設置し、撮像素子１１の内部で前記読み出し信号及び前記スイッチの制御信号を発生する構成してもよいし、図６に示すように撮像素子１１の外に配置し、外部より前記読み出し信号及び前記スイッチの制御信号を与える構成にしてもよい。

　なお、本実施形態に係る構成において、画素上にオンチップマイクロレンズを配置し、さらに集光能力を高める構成としてもよい。

　なお、本実施形態において、撮像素子１１２はＲ、Ｇ、Ｂの三原色の色成分を撮像する構成としているが、本発明に係る撮像装置における撮像素子はこの構成に限定するものではなく、例えば三原色の補色成分、すなわち、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、及びＧの色成分を撮像する構成でもよい。この場合は、例えば、図７におけるＲ画素の位置にＹ画素、Ｂ画素の位置にＣ画素、Ｇｒ画素の位置にＭ画素、Ｇｂ画素の位置にＧ画素を配置することで、Ｙ成分及びＣ成分を短い露出時間で、Ｍ成分及びＧ成分を長い露出時間で撮像することが可能となる。

　図１９に、本発明に係る撮像素子を用いることによる効果を示す。いま、同図（ａ）に示されるような、被写体が右方向に移動しているシーンを外部シャッタ機構のないビデオカメラで撮像することを考える。同図（ｂ）に、このシーンを従来のＣＭＯＳ撮像素子を搭載したビデオカメラで撮像した場合の撮像イメージを示す。このＣＭＯＳ撮像素子が画面の上側の水平走査線から順に操作していくとすると、該撮像素子で撮像されるイメージは、画面の上側と下側で画素信号が読み出されるタイミングがずれるために、同図（ｂ）に示されるような画面の下側に行くにつれて右方向にゆがんだ像となる。同図（ｃ）は、同図（ａ）のシーンを従来のＣＣＤ撮像素子で撮像した場合のイメージである。従来のＣＣＤ撮像素子では、Ｒ及びＢ画素の加算を電荷結合素子からなる垂直及び水平転送路上で行い、また一つの転送路を異なる色の画素が共有しているために、すべての画素を同時に読み出すと画素加算動作を行うことができない。そのため、色成分ごとに読み出すタイミングをずらす必要があり、いま例えばＧｒ及びＧｂ画素を読み出した後にＲ及びＢ画素の読み出し及び加算を行うとすれば、同図（ｃ）に示されるように、ＲＢ画像及びＧ画像で画面上に被写体が映りこむ位置にずれが生じる。

　このような動画像を画像処理部１２に入力する場合、上記のように低フレームレートで撮像されたＧ画像の高フレームレート化にＲ及びＢ画像から求めたフレーム間の動きを用いるが、それぞれの色成分画像は互いに異なるシーンを撮像しているため、画像処理部１２は正しく出力カラー画像を高解像度化できなくなる可能性がある。これに対し、同図（ｄ）は本発明に係る撮像装置における撮像素子の出力イメージであり、特定の色成分画像のみ画素加算を行う場合においても、すべての色成分のすべての画素について同時に読み出すことが可能であり、従来技術に見られた被写体の歪みや色間のずれのない撮像動画像を、画像処理部１２に入力することが可能となる。

　本実施形態の構成とすることにより、単板カラー撮像素子において、同色の画素の加算を行う場合にも、追加のシャッタ機構を使用することなくすべての画素についてグローバルシャッタ動作を行うことが可能となり、シャッタ機構を使用する場合に比べ撮像装置を小型化することができる。また撮像素子からは色ごとに解像度・フレームレートが異なる動画像が出力されるが、画像処理装置を備えることにより、本発明に係る撮像装置の出力画像は、第１の色成分の高解像度、かつ第２の色成分の高フレームレートを兼ね備えた、高画質の動画像を出力することができる。

　なお、本実施形態においては、Ｒ画素及びＢ画素を短時間露光、Ｇｒ画素およびＧｂ画素を長時間露光とし、また電荷結合素子上でＲおよびＢ画素を加算する例を示したが、本発明に係る撮像素子は、このような構成に限定されるものではない。すなわち、Ｒ画素あるいはＢ画素を長時間露光としてもかまわないし、Ｇｒ画素あるいはＧｂ画素を短時間露光とし、画素加算を行う形にしてもかまわない。

　さらに、露光時間の長短を色成分ごとに振り分けることも必須でなく、例えばＧｒ画素は短時間露光で、Ｇｂ画素は長時間露光で読み出すことも可能であるし、Ｒ画素とＢ画素の露光時間が互いに異なる構成も実現可能である。

　図２０は長時間露光で撮像を行う画素および短時間露光で撮像を行う画素の割り当てを変えた場合の、各電荷結合素子へ供給する信号の一例を示す。この例では、Ｒ画素のみ短時間露光の撮像および画素加算を行い、Ｇｒ、Ｇｂ、Ｂ画素は長時間露光で撮像を行っている。この構成が図９と異なる点は、Ｂ画素が接続されている電荷結合素子に与える信号を、図９でＧｒあるいはＧｂ画素が接続されている電荷結合素子に与えるものと同一のものとしている点である。図９の構成では、電荷結合素子列３０１あるいは３０７を、短時間露光で撮像を行う画素（Ｒ画素あるいはＢ画素）と長時間露光で撮像を行う画素（Ｇｒ画素あるいはＧｂ画素）が互いに共有しているが、本発明に係る撮像素子はその構成に限定されるものではない。図２０はその一例を示すものであり、本発明に係る撮像素子では、各画素の出力信号は電荷結合素子列３０１あるいは３０７でなく、それぞれに固有の出力信号線（図８における出力信号線３０５、３０６、３０９、３１０）を通して出力されるため、長時間露光で撮像する画素同士が電荷結合素子の電荷結合素子列を共有する場合でも、それらの出力信号が混合することはない。

　また、本発明に係る撮像素子の画素配列は、図７に示す配列に限定されない。例えば、図７に示すＲ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素の代わりに、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、およびＧの色成分について、撮像を行うこともできる。この場合は、例えば、図７におけるＲ画素の位置にＭ画素、Ｂ画素の位置にＣ画素、Ｇｒ画素の位置にＧ画素、Ｇｂ画素の位置にＹ画素が配置され得る。このような配置例を採用することにより、Ｃ画素、Ｍ画素、Ｙ画素及びＧ画素のそれぞれについて、長時間露出及び短時間露出による撮像信号を取得することが可能となる。

　（実施の形態２）
　本実施形態は、撮像面上で加算する画素数を第１実施形態から異なるものとしたときの例を示す。本実施形態では３画素の加算を行う例を取り扱うが、本発明にかかる撮像素子は、駆動方法を変更することにより加算画素数を自由に変更可能である。

　図２１は、本実施形態における電荷結合素子列１４０１及び１４０２の各電荷結合素子に供給する信号の一覧を示した図である。同図においても、第１実施形態において図９に示したものと同様、図８に記載の電荷検出アンプ３０２及び３０８、読み出し信号線３０３及び３０４などの記載を省略している。図２１によると、本実施形態において、電荷結合素子列１４０１の電荷結合素子の駆動には第１実施形態と同様にＶ１、Ｖ２、Ｖ３、ＶＲ１、ＶＲ２、ＶＧの６種類の制御信号を用いるが、それらの信号を供給する電荷結合素子の組み合わせが異なる。これらの信号のうち、ＶＲ１、ＶＲ２、ＶＧは、電荷読み出し電圧、電荷転送電圧、電荷保持電圧、及びＬレベルに相当する電圧（例えば０Ｖ）の４値をとる。信号Ｖ１、Ｖ２、Ｖ３は、電荷転送電圧とＬレベルの２値をとる。また、本実施形態においても、第１実施形態と同様、Ｒ画素とＢ画素を同時に読み出し、Ｇｒ画素とＧｂ画素を同時に読み出すことを仮定しているため、Ｂ画素及びＧｒ画素が接続された電荷結合素子列１４０２に対しても、電荷結合素子列１４０１と同一の駆動信号を供給するものとする。

　本実施形態において、画素のグローバルシャッタ動作は、第１実施形態に記載の方法と同様に行う。すなわち、画素の読み出し及び撮像素子１１２外への出力は、第１実施形態において図１０及び図１１に示した流れで行う。本実施形態では、撮像面上で３画素加算を行う際の画素加算動作について特に詳細に説明する。

　図２２は、垂直方向のＲ画素及びＢ画素の加算の流れを示した図である。図の上側には、第１実施形態における図１２と同様、電荷結合素子列１４０１及び１４０２内の電荷結合素子に供給する信号のうち、画素加算にかかわる部分のタイミングチャートを示しており、図の下側には、それぞれのタイミングに対応する時点での電荷結合素子のポテンシャル分布を示している。同図中にはＲ画素の加算の例を示しているが、Ｂ画素についても、同様に加算を行う。なお、図中で符号１５０５を付した電圧レベルは電荷結合素子の電荷転送電圧に相当し、符号１５０６を付した電圧レベルは電荷保持電圧に相当し、符号１５０７を付した電圧レベルは電荷読み出し電圧に相当する。

　以下、図中の各時点における動作について詳細に説明する。符号１５０１で示される時点は、信号ＶＲ１及びＶＲ２を供給する電荷結合素子に、Ｒ画素から読み出した電荷を電荷転送電圧のレベルで保持している状態である。続いて、時点１５０２において、信号Ｖ１、ＶＲ１、ＶＲ２、ＶＧを電荷転送電圧のレベルとすることで、隣接する３つのＲ画素の電荷を加算する。その後、時点１５０３において、信号ＶＲ１を電荷保持電圧とすることで、加算画素電荷を一つの電荷結合素子（信号ＶＲ１が供給される電荷結合素子）に集約する。時点１５０４では、ＶＲ１以外の駆動信号をＬレベルとすることで、画素電荷の加算動作が完了する。

　本実施形態における画素電荷の水平転送について、Ｇｒ及びＧｂ画素については、第１実施形態とまったく同様にして出力される。本実施形態では、Ｒ及びＢ画素の水平加算及び水平転送の様子について述べる。

　図２３は、水平転送路１６０１及び１６０２の詳細な構成を示す図である。同図に示されるように、水平転送路１６０１内の電荷結合素子にはＲ画素及びＧｒ画素の出力信号線が、トランスファーゲート３１１及び３１４を介して水平方向に交互に接続されている。水平転送路１６０２の電荷結合素子には、Ｂ画素及びＧｂ画素の出力信号線がトランスファーゲート３１２及び３１３を介して交互に接続されている。また、水平転送路１６０１及び１６０２は、第１実施形態における水平転送路３１５及び３１６と同様にＶＨ１、ＶＨ２、ＶＨ３、ＶＨ４、ＶＨＲ１、ＶＨＲ２、ＶＨＧの７系統の駆動信号で制御されるが、それらの信号が供給される電荷結合素子の組み合わせが異なる。

　図２４は、水平方向のＲ及びＢ画素の加算及び水平転送の流れを示した図である。また、同図には水平転送路１６０１上のＲ画素の加算の様子のみ表示しているが、水平転送路１６０２上で、Ｂ画素の加算もまったく同様に行われる。

　図２４中の符号１７０１で示される時点は、トランスファーゲート３１１から出力されたＲ画素の電荷を、電荷転送電圧に対応するポテンシャルで保持している状態である。時点１７０２では、さらに信号ＶＨ１、ＶＨ２及びＶＨＧを電荷転送電圧とし、ＶＨＲ１及びＶＨＲ２が供給される電荷結合素子に読み出された３画素分のＲ画素の電荷を一つにまとめ加算する。その後、時点１７０３において加算された電荷を信号ＶＨＲ２が供給される電荷結合素子に集約する。時点１７０４で電荷を保持するポテンシャルレベルを変換し、時点１７０５から水平転送を行う。時点１７０５では、信号ＶＨ２、ＶＨ３、ＶＨ４、ＶＨＲ２及びＶＨＧを電荷転送電圧のレベルとし、もっとも水平転送路１６０１の終端に近い画素の電荷を電荷検出アンプ３１８を通じて撮像素子１１２の外に出力する。時点１７０６及び１７０７で、加算された電荷を信号ＶＨ４の電荷結合素子に集約する。その後時点１７０８、１７０９、１７１０を経て、加算された電荷は、信号ＶＨ４の電荷結合素子から信号ＶＨＲ２の電荷結合素子まで転送される。この後は時点１７０５から時点１７１０のパターンを繰り返し、水平方向の転送を行う。

　本実施形態に示した構成とすることにより、加算画素数が２画素以外の場合においても、追加のシャッタ機構なしにグローバルシャッタ動作を実現できる。また、加算画素数がいかなる数であっても、図２０に示す４つのステップで加算動作を実現でき、高速な加算動作を実現している。

　（実施の形態３）
　本発明における撮像素子は、Ｒ画素及びＢ画素の信号の加算を電荷結合素子上で行う以外に、電荷検出アンプによって電気信号に変換した状態で行うことも可能である。本実施形態では、画素信号の加算を電気信号の加算という形で実現する場合の例について示す。

　図２５は、本実施形態に係る撮像素子１１２の内部構成を示す図である。該撮像素子は、第１及び第２実施形態に示したものと同様にＲ、Ｂ、Ｇｒ及びＧｂ画素と電荷結合素子列、各画素位置に配置された電荷検出アンプを含み、それに加えてＲ画素及びＢ画素のビニング回路を有する。

　図２５において、読み出し信号線１８０１及び１８０２は、ＲＢ画素及びＧｒＧｂ画素の蓄積した電荷を電荷検出アンプによって電圧値に変換した信号を、出力信号線１８０３～１８１０に出力するタイミングを決める読み出し信号を伝達する。出力信号線１８０３、１８０７はＲ画素、出力信号線１８０４、１８０８はＧｂ画素、出力信号線１８０５、１８０９はＢ画素、出力信号線１８０６、１８１０はＧｒ画素の出力信号をそれぞれ伝達する。電荷結合素子列１８１１、１８１３は電荷結合素子によって構成され、Ｒ画素及びＧｂ画素の蓄積した電荷を保持し、またＲ画素信号の加算を行う。電荷結合素子列１８１２、１８１４はＢ画素及びＧｒ画素の蓄積した電荷を保持し、またＢ画素信号の加算を行う。Ｒ画素及びＢ画素ビニング部１８１５及び１８１６は、電荷検出アンプによって電圧信号とされた画素出力を加算し、水平方向の画素加算を実現する。ＡＤ変換部１８１７は、ビニング部１８１５および１８１６から出力されたＲおよびＢ画素の出力信号、ならびに出力信号線１８０４、１８０５、１８０８および１８０９を通して出力されたＧｒおよびＧｂ画素の出力信号をアナログ－デジタル変換する。さらに、水平シフトレジスタ１８１８は、ＡＤ変換部１８１８においてデジタル信号に変換された各色画素の信号を、撮像素子外に転送する。

　なお、図２５におけるＡＤ変換部１８１７は、Ｒ、Ｇｒ、ＧｂおよびＢ画素用に４系統の回路を含んでいてもよいし、単一の回路で時分割で各色画素のＡＤ変換を行ってもよい。さらに、水平シフトレジスタ１８１８も、各色画素が並列に出力される構成でもよいし、単一のシフトレジスタの転送路によってすべての色成分の画素が出力されてもよい。また、本撮像素子がデジタル信号でなく各画素のアナログ信号を出力する構成でもよく、その場合、ＡＤ変換部１８１７は省略される。この点、第１の実施形態でも同様である。

　本実施形態において、各画素信号の読み出しは、以下の方法で行う。ここでは、ＲＧＢすべての画素を読み出す場合の手順についてのみ説明するが、ＲＢ画素のみ読み出すフレームは、ＲＧＢ全画素読み出すフレームの動作からＧ画素の読み出しの部分を省略することで読み出し動作を実現できる。

　まず、ＲＧＢすべての画素に対しグローバルシャッタ動作、すなわち画素に蓄積された電荷を画素に接続された電荷結合素子に移す動作を行う。続いて、Ｇ画素の信号を先に出力するために、撮像面上の各行について順次読み出し信号線１８０２に読み出しパルスを供給し、電荷検出アンプによって電気信号に変換された各Ｇ画素信号を出力する。Ｇｒ及びＧｂ画素の出力はＡＤ変換部１８１７、あるいはＡＤ変換をしない場合には水平シフトレジスタ１８１８に入力される。すべてのＧ画素の読み出しが完了した後に、Ｒ画素及びＢ画素の出力電荷を例えば第１実施形態における図１２と同様に加算する。Ｒ画素及びＢ画素の加算が完了した後に、順次読み出し信号線１８０１に読み出しパルスを供給し、電荷検出アンプによって電気信号に変換された各ＲＢ画素の信号を出力する。その後、各ＲＢ画素の信号はそれぞれの画素のビニング部１８１５及び１８１６に入力され、水平方向の画素加算が行われた後に、ＡＤ変換部１８１７あるいは水平シフトレジスタ１８１８に入力される。

　本実施形態において、読み出し信号線１８０１および１８０２に供給すべき読み出し信号は、図１６に示す第１実施形態における読み出し信号と同一のものでかまわない。また、水平方向２画素の加算を行うとしたときの、ビニング部１８１５及び１８１６の構成の一例を図２６に示す。水平方向にｍ列目とｍ＋１列目のＲ画素の加算、ｍ＋２列目とｍ＋３列目のＲ画素の加算、以下隣接２列のＲ画素の加算を行うとしたときのＲ画素ビニング部１８１５の構成を図２６に示す。同図において、Ｒｍはｍ列目、Ｒｍ＋１はｍ＋１列目、Ｒｍ＋２はｍ＋２列目、Ｒｍ＋３はｍ＋３列目のＲ画素の画素出力信号である。Ｒｍ及びＲｍ＋１についてはその双方をコンデンサ２００１に充電し、Ｒｍ＋２及びＲｍ＋３についてはその双方をコンデンサ２００２に充電することによって、水平方向の隣接画素の加算を行う。Ｂ画素についても、Ｂ画素ビニング部１８１６において同様に加算を行うことができる。

　本実施形態の構成とすることにより、単板カラー撮像素子において、同色の画素の加算を行う場合にも、追加のシャッタ機構を使用することなくすべての画素についてグローバルシャッタ動作を行うことが可能となり、シャッタ機構を使用する場合に比べ撮像装置を小型化することができる。

　（実施の形態４）
　本発明に係る撮像装置の、撮像素子から得られたＲＧＢ画素信号から高解像度・高フレームレート出力画像を高解像度化する画像処理部について、その高解像度化アルゴリズムは第１実施形態に示したものに限定されない。本実施形態では、他の画像高解像度化アルゴリズムによって撮像装置の出力画像を得る場合の例を示す。

　本実施形態では、画像高解像度化アルゴリズムとして、第１実施形態に記載の方法によりＧ成分画像のみ高解像度化し、その高解像度化Ｇ画像の高周波域成分をＲ及びＢ画像に反映させる手法を取り扱う。このアルゴリズムにおいては、高周波数域以外（中低周波数域の）のＲ、Ｇ、Ｂ画像間の局所的な相関関係に応じて、重畳する高域成分の振幅を制御してもよい。これにより、偽色の発生を抑え、見た目に自然な高解像度化された動画像を得ることができる。また、Ｒ及びＢ画像についても、高解像度・高フレームレート化したＧ画像の高域を重畳して高解像度化するため、より安定した高解像度化が可能となる。

　図２７は、上述の動作を行う画像処理部１２の構成の一例を示す。本実施形態に係る画像処理部の構成要素自体は、第１実施形態に記載のもの（図１７）と同一であり、また、画像処理部内の動き検出部２１０１は、第１実施形態における動き検出部１２０１と同一の動作をする。すなわち、低解像度・高フレームレートのＲ及びＢ画像から、ブロックマッチングなどの方法によりフレーム間の各画素の動きを算出する。本実施形態においては、アップコンバータ２１０２の動作が異なる。

　アップコンバータ２１０２の内部構成の一例を図２８に示す。

　アップコンバータ２１０２は、Ｇ高解像度化部２２０１と、サブサンプリング部２２０２と、Ｇ補間部２２０３と、Ｒ補間部２２０４と、Ｒ用ゲイン制御部２２０５と、Ｂ補間部２２０６と、Ｂ用ゲイン制御部２２０７を備えている。

　Ｇ高解像度化部２２０１は、Ｇ画像の高解像度化処理を行う。この高解像度化処理は、第１実施形態に記載の画像処理法を、Ｇ画像にのみ適用することで実現される。すなわち、高解像度・高フレームレートの出力Ｇ画像をｆＧと表したとき、第１実施形態の（数３）の表記を用いて、最小化すべき評価関数を次のように立式する。

（数１０）におけるＨ_T、ｇ_G、Ｑ_s、Ｑ_m等の標記は、（数３）に記載のものと同一である。Ｇ高解像度化部２２０１において、（数１０）を最小化するｆ_Gの計算を行う。すなわち、第１実施形態と同様に（数１０）をｆ_Gで偏微分し０とおくことで、（数１０）を最小化するｆ_Gを求めるための方程式を（数１１）として得る。

　サブサンプリング部２２０２は、高解像度化したＧ画像がＲ及びＢ画像と同一の画素数となるように、画素を間引く（サブサンプリングする）。

　Ｇ補間部２２０３は、サブサンプリング部２２０２において画素が間引かれたＧ画像を、再びもとの画素数に戻す処理を行う。具体的には、Ｇ補間部２２０３はサブサンプリングによって画素値が失われた画素における画素値を補間によって計算する。補間方法は公知の方法でかまわない。サブサンプリング部２２０２及びＧ補間部２２０３は、Ｇ高解像度化部２２０１から出力されたＧ画像とサブサンプリングおよび補間が行われたＧ画像から、高解像度化されたＧ画像の高周波成分を抽出するために設けている。

　Ｒ補間部２２０４は、Ｒを補間する。

　Ｒ用ゲイン制御部２２０５は、Ｒに重畳するＧの高域成分に対するゲイン係数を計算する。

　Ｂ補間部２２０６は、Ｂを補間する。

　Ｂ用ゲイン制御部２２０７は、Ｂに重畳するＧの高域成分に対するゲイン係数を計算する。

　なお、Ｒ補間部２２０４及びＢ補間部２２０６における補間方法は、それぞれＧ補間部２２０３と同じであってもよいし、異なっていてもよい。補間部２２０３、２２０４及び２２０６で用いられる補間方法は、すべて同一のものでもよいし、互いに異なっていてもよい。

　以下、画像処理部２１０２の動作を説明する。

　Ｇ高解像度化部２２０１は、入力Ｇ画像及び動き検出部２１０１の出力である画素ごとの動きベクトルを用い、（数１１）の方程式を解くことにより高解像度・高フレームレートのＧ画像を高解像度化する。高解像度化結果は、出力画像のＧ成分として出力されるとともに、サブサンプリング部２２０２に入力される。サブサンプリング部２２０２は、入力されたＧ画像を間引く。

　Ｇ補間部２２０３は、サブサンプリング部２２０２において低解像度化されたＧ画像を補間する。Ｇ補間部２２０３で補間されたＧ画像を、Ｇ高解像度化部２２０１の出力から差し引くことによって、Ｇの高周波成分Ｇ_Highを得る。

　一方、Ｒ補間部２２０４は、入力Ｒ画像をＧ画像と同じ画素数になるよう補間拡大する。Ｒ用ゲイン制御部２２０５は、Ｇ補間部２２０３の出力（すなわち、Ｇの中低周波成分）とＲ補間部２２０４の出力との間の局所的な相関係数を計算する。例えば、着目画素（ｘ，ｙ）の近傍３×３画素における相関係数ρを（数１２）を用いて計算できる。

なお、（数１２）において、Ｒ、Ｇはそれぞれ補間拡大によって求められたＲ及びＧ成分の高解像度画像である。

　このようにして計算されたＲとＧの低空間周波数成分における相関係数を、Ｇの高空間周波数成分ＧＨｉｇｈに乗じた後、Ｒ補間部２２０４の出力に加算することにより、Ｒ成分の高解像度化が行なわれる。

　Ｂ成分についてもＲ成分と同様に処理する。すなわち、Ｂ補間部２２０６は、空間加算されたＢ画像を、Ｇ画像と同じ画素数になるよう補間拡大する。Ｂ用ゲイン制御部２２０７は、Ｇ補間部２２０３の出力とＢ補間部２２０６の出力との間での局所的な相関係数を計算する。例えば（数１３）により、着目画素（ｘ，ｙ）の近傍３×３画素における相関係数が計算される。

ここで、Ｂは補間拡大によって求められたＢ成分の高解像度画像である。

　このようにして計算されたＢとＧの低空間周波数成分における相関係数を、Ｇの高空間周波数成分ＧＨｉｇｈに乗じた後、Ｂ補間部２２０６の出力に加算することにより、Ｂ成分の高解像度化が行なわれる。

　本実施形態に記載の構成とすることにより、本発明にかかる撮像装置において異なるアルゴリズムによる画像処理を実現でき、また本実施形態のアルゴリズムは、偽色の発生を抑え、見た目に自然な高解像度化された動画像を得ることができる。また、Ｒ及びＢ画像についても、高解像度・高フレームレート化したＧ画像の高域を重畳して高解像度化するため、より安定した高解像度化が可能となる。さらに、本実施形態においては、（数１１）において解くべき方程式の次元はＧの画素数と一致するため、第１実施形態で（数９）がＲＧＢ全画素について立てられた方程式であるのと比べると次元の数が１／３となっており、演算量の低減を実現している。

　（実施の形態５）
　第１実施形態においては、Ｇ画素は露出時間を長くし、またＲ及びＢ画素は撮像面上で加算を行うことで、入力画像においてより多くの光量を確保する構成としていた。しかし、本発明に係る撮像装置の動作のバリエーションとして、Ｇ画素は低フレームレート・長時間露出で撮像するが、Ｒ及びＢ画素については加算を行わず、すべての画素から読み出した上で高解像度化処理を行い、出力画像を得る方法がある。この場合、ＲＢ画素の加算を行わないために、第１実施形態の動作条件に比べ入力画像全体で確保できる光量は減少するが、画像処理に必要な演算量を低減できる。本実施形態では、Ｒ及びＢ画素の加算を省略した場合の撮像素子の駆動方法ならびに画像処理方法の一例を示す。

　本発明に係る撮像素子において、Ｒ及びＢ画素の加算を省略して撮像することは、第１実施形態における撮像素子駆動シーケンスからＲ及びＢ画素の垂直・水平加算工程を取り除くことで実現できる。該シーケンスは図１０あるいは図１１に示しているが、これらのシーケンスからＲ及びＢ画素の加算工程を除くと、ＲＧＢ全画素を読み出すフレームにおいて、ＲＢ画素の加算のためにＧ画素をあらかじめ出力しておく必要がなくなり、すべての画素を同時に出力することが可能となる。つまり、本実施形態における撮像素子１１２の駆動シーケンスは、図２９（ａ）（ＲＢのみ読み出すフレーム）あるいは同図（ｂ）（ＲＧＢ全画素読み出すフレーム）に示されるシーケンスとなる。

　なお、本実施形態において、各画素の撮像素子１１２外への出力を行う水平転送は、第１実施形態における図８に記載の水平転送路３１５あるいは３１６によって行われてもよいし、第３実施形態に記載の水平転送シフトレジスタによって行われてもかまわない。

　続いて、本実施形態における、画像処理部１２の動作の一例を述べる。本実施形態では、以下のような流れで出力画像を得る。まず、低フレームレート・長時間露出で取得されたＧ成分画像を第３実施形態に記載の（数１１）によって求める。このとき、画面上のすべての画素位置におけるＧ成分画像を求めるのでなく、ベイヤ配列においてＧ画素が配置されている位置の画素値のみ求める。その後、入力ＲＢ画像とこの高解像度化Ｇ画像から、公知のベイヤ高解像度化処理によってフルカラー画像を生成する。

　図３０は本実施形態における画像処理部に含まれるアップコンバータの構成を示しており、同図によると、アップコンバータ２４０１は、Ｇ高解像度化部２４０２と、ベイヤ復元部２４０３で構成される。

　Ｇ高解像度化部２４０２は、第４実施形態における（数１１）に基づき、出力画像のＧ成分画像を高解像度化する。このとき、（数１１）は、画面中のすべての画素位置でなくベイヤ配列上でＧ画素が配置されている位置の画素値のみについて立式する。

　ベイヤ復元部２４０３は、Ｇ高解像度化部２４０２の出力Ｇ画像と、入力ＲＢ画像からベイヤ高解像度化によりフルカラー出力画像を出力する。ベイヤ高解像度化部のアルゴリズムは公知のもの、例えばＡＣＰＩ（Ａｄａｐｔｉｖｅ　Ｃｏｌｏｒ　Ｐｌａｎｅ　Ｉｎｔｅｒｐｏｌａｔｉｏｎ）でかまわない。ここでは、このＡＣＰＩ法について詳細に述べる。

　該ベイヤ高解像度化手法のアルゴリズムについて、図３１を参照しながら説明する。ＡＣＰＩ法の手順は、輝度成分の強いＧの成分の補間値を先に求め、その後求めたＧの成分の補間値を用いてＢまたはＲの補間値を求める。ここで、図中のＲ画素の位置（例えば（３，３）の位置）で算出するＢ及びＧ画素の値をそれぞれＢ’、Ｇ’と表す。Ｇ’（３，３）を算出する計算方法を（数１４)に示す。

（数１４）におけるα及びβは、（数１５）で与えられる。

　同じ位置におけるＢ画素値Ｂ’（３，３)を算出する計算方法を（数１６)に示す。

（数１６）におけるα及びβは、（数１７）で求められる。

　また、ベイヤ配列のＧの画素位置（２，３）におけるＲ及びＢ画素の推定値Ｒ’及びＢ’は、それぞれ（数１８）、（数１９）により算出する。

　なお、本実施形態で用いるベイヤ高解像度化手法は、ここに示したＡＣＰＩ法に限られるものではなく、色相を考慮した方法やメジアンを用いた補間法により、全画素位置のＲＧＢを算出してもかまわない。

　本実施形態の構成とすることにより、解くべき方程式の次元はベイヤ配列上のＧの画素数と一致するため、第４実施形態における（数１１）の次元数のさらに１／２で、第１実施形態における（数９）と比べると次元の数を１／６にまで減らしており、演算量のさらなる低減を実現している。

　なお、本実施形態において、ベイヤ配列上のＧ画素のみを高解像度化し、ベイヤ高解像度化によって出力フルカラー画像を得ているが、本実施形態のＲＢ画素加算を行わない場合の画像処理部の動作はこれに限られるものではなく、例えば、画面上のすべての画素位置についてＧ画素を高解像度化し、またＲ及びＢ画素については補間拡大によって全画素位置の画素値を生成することで、全画素位置におけるＲＧＢ画素値を求める構成としてもかまわない。

　また、画像処理部２４０１を第１実施形態に記載の図１７と同様の構成とし、ベイヤ位置のＧ画素（低フレームレート）及びベイヤ位置のＲＢ画素（高フレームレート・加算なし）を入力として、全画素位置におけるＲＧＢ全色成分画像を出力とする構成としてもかまわない。これらの場合も、Ｇ画素を長時間露出で撮像しているために、ノイズの減少した、高いＳ／Ｎの出力画像を得ることができる。

　本発明の撮像装置は、暗い条件で十分に光量が得られない状況下において、被写体の動きが大きく、撮像面上のシャッタのタイミングが問題となるような場合でも、高解像度撮影や小型画素による撮像に有用である。また、処理部は装置としての実施に限らず、プログラムとしても適用が可能である。

１１・・・撮像部
１１１・・・レンズ
１１２・・・単板撮像素子
１２・・・画像処理部
３０１・・・Ｒ及びＧｂ画素電荷結合素子列
３０７・・・Ｂ及びＧｒ画素電荷結合素子列
３０２、３０８・・・電荷検出アンプ
３０３・・・Ｇ画素読み出し信号線
３０４・・・ＲＢ画素読み出し信号線
３０５・・・Ｒ画素出力信号線
３０６・・・Ｇｂ画素出力信号線
３０９・・・Ｂ画素出力信号線
３１０・・・Ｇｒ画素出力信号線
３１１、３１２、３１３、３１４・・・トランスファーゲート
３１５・・・Ｂ及びＧｂ画素水平転送路
３１６・・・Ｒ及びＧｒ画素水平転送路
３１７、３１８・・・水平転送路の出力電荷検出アンプ
７０６・・・電荷転送電圧
７０７・・・電荷保持電圧
７０８・・・電荷読み出し電圧
１８１５・・・Ｒ画素ビニング回路
１８１６・・・Ｂ画素ビニング回路
１８１７・・・ＡＤ変換部
１８１８・・・水平シフトレジスタ

Claims (13)

1. 　固体撮像素子と、前記固体撮像素子を制御する撮像制御部と、前記固体撮像素子によって取得された画像を処理する画像処理部とを備える撮像装置であって、
   　前記固体撮像素子は、
   　第１の色の画素および第２の色の画素を含む複数の画素が第１方向および前記第１方向と交差する第２方向に２次元的に配列された撮像面であって、前記第１方向に延びる画素の列が前記第１の色の画素および前記第２の色の画素を含む撮像面と、
   　各々が前記第１方向に延びる複数の電荷結合素子列であって、各電荷結合素子列が前記第１方向に延びる前記画素の列に接続され、前記画素の列の各画素で生成された電荷をそれぞれ画素単位で受け取り、保持することができる複数の電荷結合素子列と、
   　前記複数の電荷結合素子列の各々に接続された複数の第１電荷検出素子であって、各々が、対応する電荷結合素子列に保持された前記第１の色の画素からの電荷を検出し、電圧信号に変換する複数の第１電荷検出素子と、
   　前記複数の電荷結合素子列の各々に接続された複数の第２電荷検出素子であって、各々が、前記電荷結合素子列に保持された前記第２の色の画素からの電荷を検出し、電圧信号に変換する複数の第２電荷検出素子と、
   　前記第２の方向に延び、一端から画素信号を出力する転送路と、
   　前記第１の方向に延びる複数の出力信号線であって、各々が前記複数の電荷検出素子の少なくとも一部に接続され、前記電荷検出素子が出力した前記電圧信号を前記転送路に伝達する複数の出力信号線と、
   を有し、
   　前記撮像制御部は、
   　前記固体撮像素子から、前記第１の色の画素から構成される第１色画像を第１のフレームレートで読み出し、前記第２の色の画素から構成される第２色画像を前記第１のフレームレートよりも低い第２のフレームレートで読み出す、撮像装置。
2. 　前記撮像制御部は、前記複数の画素の各々で生じた電荷を同一のタイミングで前記複数の電荷結合素子列に読み出す機能を有している、請求項１に記載の撮像装置。
3. 　前記撮像制御部は、前記電荷結合素子列に保持された前記第１の色の複数の画素からの電荷を前記電荷結合素子列で混合する機能を有している、請求項１または２に記載の撮像装置。
4. 　前記撮像制御部は、前記第１色画像および前記第２色画像の両方を読み出すフレームにおいて、各電荷結合素子列に保持された前記第２の色の画素からの電荷を前記電荷結合素子列から除去した後、前記第１の色の複数の画素で生成された電荷を前記電荷結合素子列内で混合する機能を有する、請求項３に記載の撮像装置。
5. 　前記画像処理部は、
   　前記第１のフレームレートで読み出された前記第１色画像と、前記第２のフレームレートで読み出された前記第２色画像とに基づいて、前記第１のフレームレート以上のフレームレートを有し、かつ、前記第２色画像の解像度以上の解像度を有するカラー動画像を生成する、請求項１から４のいずれかに記載の撮像装置。
6. 　前記転送路は、前記第２方向に延びる水平電荷結合素子列を含み、
   　前記水平電荷結合素子列は、前記複数の出力信号線に接続され、前記複数の出力信号線上の前記電圧信号に対応する電荷信号を保持しながら水平方向に転送する、請求項１から５のいずれかに記載の撮像装置。
7. 　前記転送路は、前記第２方向に延びる水平シフトレジスタを含み、
   　前記水平シフトレジスタは、前記複数の出力信号線に接続され、前記複数の出力信号線上の前記電圧信号を水平方向に転送する、請求項１から５のいずれかに記載の撮像装置。
8. 　前記固体撮像素子は、前記複数の出力信号線と前記水平シフトレジスタとの間に配置されたビニング回路を有し、
   　前記ビニング回路は、前記複数の出力信号線の少なくとも２本の出力信号線上の前記電圧信号であって、前記第２方向に配列されている複数の画素からの電荷を示す電圧信号を加算する機能を有している、請求項７に記載の撮像装置。
9. 　前記撮像面における前記複数の画素の各々は、入射光に含まれるレッド、グリーン、およびブルー成分のいずれか１つの強度を検出する請求項１から８のいずれかに記載の撮像装置。
10. 　前記第１の色はレッドおよびブルーであり、前記第２の色はグリーンである請求項１から９のいずれかに記載の撮像装置。
11. 　前記撮像面における前記複数の画素の各々は、入射光に含まれるシアン、マゼンタ、イエロー及びグリーン成分のいずれか１つの強度を検出する請求項１から８のいずれかに記載の撮像装置。
12. 　第１の色の画素および第２の色の画素を含む複数の画素が第１方向および前記第１方向と交差する第２方向に２次元的に配列された撮像面であって、前記第１方向に延びる画素の列が前記第１の色の画素および前記第２の色の画素を含む撮像面と、
    　各々が前記第１方向に延びる複数の電荷結合素子列であって、各電荷結合素子列が前記第１方向に延びる前記画素の列に接続され、前記画素の列の各画素で生成された電荷をそれぞれ画素単位で受け取り、保持することができる複数の電荷結合素子列と、
    　前記複数の電荷結合素子列の各々に接続された複数の第１電荷検出素子であって、各々が、対応する電荷結合素子列に保持された前記第１の色の画素からの電荷を検出し、電圧信号に変換する複数の第１電荷検出素子と、
    　前記複数の電荷結合素子列の各々に接続された複数の第２電荷検出素子であって、各々が、前記電荷結合素子列に保持された前記第２の色の画素からの電荷を検出し、電圧信号に変換する複数の第２電荷検出素子と、
    　前記第２の方向に延び、一端から画素信号を出力する転送路と、
    　前記第１の方向に延びる複数の出力信号線であって、各々が前記複数の電荷検出素子の少なくとも一部に接続され、前記電荷検出素子が出力した前記電圧信号を前記転送路に伝達する複数の出力信号線と、
    を備える固体撮像素子。
13. 　請求項１２に記載の固体撮像素子の駆動方法であって、
    　前記複数の画素の各々で生成された電荷を、同一のタイミングで、前記複数の電荷結合素子列の対応する部分に画素単位で移動させる工程と、
    　各電荷結合素子列に画素単位で移動した電荷のうち、前記第２の色の画素から移動してきた電荷を前記第２電荷検出素子で検出する工程と、
    　各電荷結合素子列に画素単位で移動した電荷のうち、前記第１の色の画素から移動してきた電荷を前記第２電荷検出素子内で混合する工程と、
    　各電荷結合素子列内で混合された電荷を前記第１電荷検出素子で検出する工程と、
    を実行する固体撮像素子の駆動方法。

Images