JP5343055B2

JP5343055B2 - 撮像装置および撮像方法

Info

Publication number: JP5343055B2
Application number: JP2010204581A
Authority: JP
Inventors: 千秋青山
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-09-13
Filing date: 2010-09-13
Publication date: 2013-11-13
Anticipated expiration: 2030-09-13
Also published as: US20120062778A1; JP2012060597A; US8670057B2

Description

本発明は、撮像装置および撮像方法に関する。

従来、フレームを構成する行ごとに電荷蓄積時間を制御し、フレームごとに露光時間を制御して動画像を撮像する撮像装置が知られている（例えば、特許文献１参照）。また、短い時間内に撮像した多数枚（例えば数千枚）の画像を用いて、撮像した画像に時系列のＦＩＲ（ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）フィルタ（有限インパルス応答フィルタ）を適用する方法が知られている。

特開２００６−１８０１１１号公報

しかしながら、撮像した画像に時系列のＦＩＲフィルタを適用する場合、この画像を撮像した前後の短い時間内に撮像した多数枚の画像が必要であるという問題がある。また、画像に時系列のＦＩＲフィルタを適用するために必要な多数枚の画像を、短い時間内に撮影することができる撮像装置が必要であるという問題がある。また、多数枚の画像を用いて時系列のＦＩＲフィルタを適用するため、処理の負荷が高くなり、この処理を実行可能な高性能な画像処理装置が必要であるという問題がある。

本発明は上述の課題を解決するためになされたものであり、多数枚の画像を用いることなく、時系列のＦＩＲフィルタを適用した画像を撮像することができる撮像装置および撮像方法を提供することを目的とする。

本発明は、受光した光に応じた電荷を出力する光電変換部（例えば、本実施形態における光電変換部２２１１ａ〜２２１１ｄ）と、前記電荷を蓄積する複数の電荷蓄積部（例えば、本実施形態における電荷蓄積部２２１２ａ〜２２１２ｄ）と、前記電荷を廃棄するドレイン電極（例えば、本実施形態におけるドレイン電極２２１６）とを有した画素（例えば、本実施形態における画素２２１）を、複数備えた受光素子（例えば、本実施形態における受光部１１）と、画像に適用する有限インパルス応答フィルタの遅延期間毎に、当該遅延期間の重み係数に対応する割合で、前記光電変換部が出力した電荷を前記電荷蓄積部と前記ドレイン電極とに振り分けるように前記画素を制御し、当該有限インパルス応答フィルタの全遅延期間が経過した後、前記電荷蓄積部が蓄積した電荷を読み出す制御部（例えば、本実施形態における制御部１２）と、前記制御部が読み出した前記電荷に基づいて前記画像を生成する画像処理部（例えば、本実施形態における画像処理部１４）と、を備えたことを特徴とする撮像装置（例えば、本実施形態における撮像装置１）である。

また、本発明の撮像装置において、前記制御部は、前記光電変換部が出力した電荷を、前記画像毎に異なる前記電荷蓄積部に振り分けるように前記画素を制御することを特徴とする。

また、本発明の撮像装置において、前記制御部は、前記光電変換部が出力した電荷を、前記重み係数の値が正の値の場合と負の値の場合とで異なる前記電荷蓄積部に振り分けるように前記画素を制御し、前記画像処理部は、前記重み係数の値が正の値の場合に振り分けられた前記電荷の電荷量から、前記重み係数の値が負の値の場合に振り分けられた前記電荷の電荷量を減算した値に基づいて前記画像を生成することを特徴とする。

また、本発明の撮像装置において、前記受光素子が備える画素は、電圧の印加に応じて、前記光電変換部が出力する電荷を前記ドレイン電極に出力するドレインゲートと、電圧の印加に応じて、前記光電変換部が出力する電荷を前記電荷蓄積部に出力する複数の振り分けゲートとを備え、前記制御部は、前記ドレインゲートと前記振り分けゲートとに電圧を印加することにより、前記光電変換部が出力した電荷を、前記電荷蓄積部と前記ドレイン電極とに振り分けるように制御することを特徴とする。

また、本発明は、撮像装置における撮像方法であって、光電変換部が受光した光に応じた電荷を出力するステップと、電荷蓄積部が前記電荷を蓄積するステップと、ドレイン電極が前記電荷を廃棄するステップと、制御部が、画像に適用する有限インパルス応答フィルタの遅延期間毎に、当該遅延期間の重み係数に対応する割合で、前記光電変換部が出力した電荷を前記電荷蓄積部と前記ドレイン電極とに振り分けるように制御し、当該有限インパルス応答フィルタの全遅延期間が経過した後、前記電荷蓄積部が蓄積した電荷を読み出すステップと、画像処理部が、前記電荷を読み出すステップで読み出した前記電荷に基づいて前記画像を生成するステップと、を有することを特徴とする撮像方法である。

請求項１に記載の発明によれば、画素が有する光電変換部は、受光した光に応じた電荷を出力する。また、画素が有する複数の電荷蓄積部は電荷を蓄積する。また、画素が有するドレイン電極は電荷を廃棄する。また、制御部は、画像に適用する有限インパルス応答フィルタの遅延期間毎に、当該遅延期間の重み係数に対応する割合で、光電変換部が出力した電荷を電荷蓄積部とドレイン電極とに振り分けるように画素を制御し、当該有限インパルス応答フィルタの全遅延期間が経過した後、電荷蓄積部が蓄積した電荷を読み出す。また、画像処理部は、制御部が読み出した電荷に基づいて画像を生成する。

これにより、画像に適用する有限インパルス応答フィルタの遅延期間毎に、当該遅延期間の重み係数に対応する割合で、光電変換部が出力した電荷を電荷蓄積部とドレイン電極とに振り分けるように画素を制御し、電荷蓄積部に振り分けられた電荷に基づいて画像を生成することができるため、多数枚の画像を用いることなく、時系列の有限インパルス応答フィルタを適用した画像を撮像することができる。

また、請求項２に記載の発明によれば、制御部は、光電変換部が出力した電荷を、画像毎に異なる電荷蓄積部に振り分けるように画素を制御する。

これにより、画像毎に異なる電荷蓄積部に電荷を振り分けることができるため、複数の画像を並行して撮像することができる。

また、請求項３に記載の発明によれば、制御部は、光電変換部が出力した電荷を、重み係数の値が正の値の場合と負の値の場合とで異なる電荷蓄積部に振り分けるように画素を制御し、画像処理部は、重み係数の値が正の値の場合に振り分けられた電荷の電荷量から、重み係数の値が負の値の場合に振り分けられた電荷の電荷量を減算した値に基づいて画像を生成する。

これにより、画像に適用する有限インパルス応答フィルタの重み係数の値が、正の値と負の値との両方を含む場合においても、時系列の有限インパルス応答フィルタを適用した画像を撮像することができる。

また、請求項４に記載の発明によれば、画素が有するドレインゲートは、電圧の印加に応じて、光電変換部が出力する電荷をドレイン電極に出力する。また、画素が有する複数の振り分けゲートは、電圧の印加に応じて、光電変換部が出力する電荷を電荷蓄積部に出力する。また、制御部は、ドレインゲートと複数の振り分けゲートとに電圧を印加することにより、光電変換部が出力した電荷を、電荷蓄積部とドレイン電極とに振り分けるように制御する。

これにより、制御部は、ドレインゲートと複数の振り分けゲートとに電圧を印加することで、光電変換部が出力する電荷をドレイン電極と電荷蓄積部とに振り分けることができる。よって、制御部は、高速に、光電変換部が出力する電荷をドレイン電極と電荷蓄積部とに振り分けることができる。

また、請求項５に記載の発明によれば、光電変換部が受光した光に応じた電荷を出力するステップと、電荷蓄積部が電荷を蓄積するステップと、ドレイン電極が電荷を廃棄するステップと、制御部が、画像に適応する有限インパルス応答フィルタの遅延期間毎に、当該遅延期間の重み係数に対応する割合で、光電変換部が出力した電荷を電荷蓄積部とドレイン電極とに振り分けるように制御し、当該有限インパルス応答フィルタの全遅延期間が経過した後、電荷蓄積部が蓄積した電荷を読み出すステップと、画像処理部が、電荷を読み出すステップで読み出した電荷に基づいて画像を生成するステップと、を有する

本発明の一実施形態における撮像装置の構成を示したブロック図である。本実施形態における受光素子が備える画素の構成を示した構成図である。ＦＩＲフィルタの構成を示した概略図である。本実施形態における振り分けゲートとドレインゲートとが電荷を通すタイミングを示したタイミングチャートである。本実施形態における振り分けゲートとドレインゲートとが電荷を通すタイミングを示したタイミングチャートである。本実施形態におけるドレインゲートと、リセットゲートと、振り分けゲートと、電荷蓄積部出力端子との動作タイミングの例を示したタイミングチャートである。本実施形態におけるリセットゲートと、振り分けゲートと、電荷蓄積部出力端子との動作タイミングを示したタイミングチャートである。本実施形態におけるドレインゲートと、リセットゲートと、振り分けゲートと、電荷蓄積部出力端子との動作タイミングの例を示したタイミングチャートである。本実施形態におけるリセットゲートと、振り分けゲートと、電荷蓄積部出力端子との動作タイミングを示したタイミングチャートである。

以下、本発明の一実施形態について説明する。図１は本実施形態における撮像装置の構成を示したブロック図である。図示する例では、撮像装置１は、本体部１０と光学系２０とを備える。本体部１０は、受光部１１と、制御部１２と、露光調整部１３と、画像処理部１４とを備える。光学系２０は、レンズ２１と絞り２２とを備える。なお、光学系２０は、本体部１０に着脱可能な構成となっている。

光学系２０は、受光部１１の撮像面に被写体像を投影する。また、光学系２０は、制御部１２から入力される焦点調節指示に応じてレンズ２１を移動させて、被写体にピントを合わせる。また光学系２０は、露光調整部１３から入力される絞り調節指示に応じて絞り２２を調節する。

受光部１１は、複数の画素が二次元に配列された構造を有し、撮像面に投影された被写体像（受光した光）に応じた電荷を発生させて蓄積する。受光部１１が備える画素の構造については後述する。

制御部１２は、受光部１１の制御を行い、時間軸のＦＩＲ（ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ）フィルタ（有限インパルス応答フィルタ）を実現する。時間軸のＦＩＲフィルタの実現方法については後述する。また、制御部１２は、受光部１１の制御を行い、受光部１１が蓄積した電荷を読み出す。露光調整部１３は、撮影条件に基づいて、絞り２２の絞り具合を特定する。画像処理部１４は、制御部１２が読み出した電荷に基づいて画像を生成する。

次に、受光部１１が備える画素２２１の構成について説明する。図２は、本実施形態における画素２２１の構成を示す構成図である。画素２２１は、４つの光電変換部２２１１ａ〜２２１１ｄと、電荷転送部２２１３と、ドレインゲートＤと、ドレイン電極２２１６と、４つの電荷蓄積部２２１２ａ〜２２１２ｄと、各電荷蓄積部２２１２ａ〜２２１２ｄに電荷を振り分けるための振り分けゲートＴｘａ〜Ｔｘｄと、リセットゲートＲａ〜Ｒｄと、リセット電極２２１５ａ〜２２１５ｄとを備える。

光電変換部２２１１ａ〜２２１１ｄは、電荷転送部２２１３と接続している。また、電荷転送部２２１３はドレインゲートＤを介してドレイン電極２２１６と接続している。また、電荷転送部２２１３は振り分けゲートＴｘａ〜Ｔｘｄを介して電荷蓄積部２２１２ａ〜２２１２ｄと接続している。また、電荷蓄積部２２１２ａ〜２２１２ｄはリセットゲートＲａ〜Ｒｄを介してリセット電極２２１５ａ〜２２１５ｄと接続している。

また、ドレインゲートＤは、ドレインゲート制御端子２２１７を備える。また、ドレイン電極２２１６は、ドレイン電極出力端子２２１８を備える。また、振り分けゲートＴｘａ〜Ｔｘｄは、振り分けゲート制御端子２２１９ａ〜２２１９ｄを備える。また、電荷蓄積部２２１２ａ〜２２１２ｄは、電荷蓄積部出力端子Ｔａ〜Ｔｄを備える。また、リセットゲートＲａ〜Ｒｄは、リセットゲート制御端子２２１４ａ〜２２１４ｄを備える。また、リセット電極２２１５ａ〜２２１５ｄは、リセット電極出力端子２２２０ａ〜２２２０ｄを備える。

光電変換部２２１１ａ〜２２１１ｄは、露光量に応じた電荷を生成し、生成した電荷を電荷転送部２２１３に出力する。電荷転送部２２１３は、光電変換部２２１１ａ〜２２１１ｄから入力された電荷をドレイン電極２２１６または電荷蓄積部２２１２ａ〜２２１２ｄに出力する。制御部１２は、ドレインゲートＤと振り分けゲートＴｘａ〜Ｔｘｄとを制御することで、電荷転送部２２１３が電荷を出力する先を制御することができる。

具体的には、制御部１２は、ドレインゲートＤが電荷を通し（ゲートを開き）、振り分けゲートＴｘａ〜Ｔｘｄが電荷を通さない（ゲートを閉じる）ように、ドレインゲートＤと振り分けゲートＴｘａ〜Ｔｘｄとを制御することで、電荷転送部２２１３がドレイン電極２２１６に電荷を出力するように制御することができる。また、制御部１２は、振り分けゲートＴｘａが電荷を通し、ドレインゲートＤと振り分けゲートＴｘｂ〜Ｔｘｄとが電荷を通さないように、ドレインゲートＤと振り分けゲートＴｘａ〜Ｔｘｄとを制御することで、電荷転送部２２１３が電荷蓄積部２２１２ａに電荷を出力するように制御することができる。また、制御部１２は、振り分けゲートＴｘｂが電荷を通し、ドレインゲートＤと振り分けゲートＴｘａ，Ｔｘｃ，Ｔｘｄとが電荷を通さないように、ドレインゲートＤと振り分けゲートＴｘａ〜Ｔｘｄとを制御することで、電荷転送部２２１３が電荷蓄積部２２１２ｂに電荷を出力するように制御することができる。また、制御部１２は、振り分けゲートＴｘｃが電荷を通し、ドレインゲートＤと振り分けゲートＴｘａ，Ｔｘｂ，Ｔｘｄとが電荷を通さないように、ドレインゲートＤと振り分けゲートＴｘａ〜Ｔｘｄとを制御することで、電荷転送部２２１３が電荷蓄積部２２１２ｃに電荷を出力するように制御することができる。また、制御部１２は、振り分けゲートＴｘｄが電荷を通し、ドレインゲートＤと振り分けゲートＴｘａ〜Ｔｘｃとが電荷を通さないように、ドレインゲートＤと振り分けゲートＴｘａ〜Ｔｘｄとを制御することで、電荷転送部２２１３が電荷蓄積部２２１２ｄに電荷を出力するように制御することができる。

例えば、ドレインゲートＤと振り分けゲートＴｘａ〜Ｔｘｄとは外部から電圧をかけられると電荷を通す（ゲートを開く）構成（電界効果トランジスタ、ＦｉｅｌｄＥｆｆｅｃｔＴｒａｎｓｉｓｔｏｒ、ＦＥＴ）とする。この場合、制御部１２は、ドレインゲート制御端子２２１７を介してドレインゲートＤに電圧をかけることで、ドレインゲートＤが電荷を通すようにドレインゲートＤを制御することができる。同様に、制御部１２は、振り分けゲート制御端子２２１９ａ〜２２１９ｄを介して振り分けゲートＴｘａ〜Ｔｘｄに電圧をかけることで、振り分けゲートＴｘａ〜Ｔｘｄが電荷を通すように振り分けゲートＴｘａ〜Ｔｘｄを制御することができる。

なお、ドレインゲートＤと振り分けゲートＴｘａ〜Ｔｘｄとは、高速にゲートの開閉を行うことができる。そのため、制御部１２は、光電変換部２２１１ａ〜２２１１ｄが出力した電荷を、ドレイン電極２２１６と、電荷蓄積部２２１２ａ〜２２１２ｄとのいずれかに高速に振り分ける制御を行うことができる。

ドレイン電極２２１６は、電荷転送部２２１３から入力された電荷を、ドレイン電極出力端子２２１８を介して制御部１２に出力する。制御部１２は、ドレイン電極２２１６から入力された電荷を外部に出力（廃棄）する。

電荷蓄積部２２１２ａ〜２２１２ｄは、電荷転送部２２１３から入力された電荷を蓄積する。制御部１２は、電荷蓄積部２２１２ａ〜２２１２ｄが蓄積した電荷を、所定のタイミングで電荷蓄積部出力端子Ｔａ〜Ｔｄを介して読み出す。また、電荷蓄積部２２１２ａ〜２２１２ｄは、リセットゲートＲａ〜Ｒｄが電荷を通す（ゲートを開いている）間、蓄積した電荷をリセット電極２２１５ａ〜２２１５ｄに出力する。

例えば、リセットゲートＲａ〜Ｒｄは、ドレインゲートＤや振り分けゲートＴｘａ〜Ｔｘｄと同様の構成であり、外部から電圧をかけられると電荷を通す構成とする。この場合、制御部１２は、リセットゲート制御端子２２１４ａ〜２２１４ｄを介してリセットゲートＲａ〜Ｒｄに電圧をかけることで、リセットゲートＲａ〜Ｒｄを開くように制御することができる。これにより、制御部１２は、電荷蓄積部２２１２ａ〜２２１２ｄが蓄積した電荷を、リセット電極２２１５ａ〜２２１５ｄに出力するように制御することができる。

リセット電極２２１５ａ〜２２１５ｄは、電荷蓄積部２２１２ａ〜２２１２ｄから入力された電荷を、リセット電極出力端子２２２０ａ〜２２２０ｄを介して外部に出力（廃棄）する。

この構成により、制御部１２は、光電変換部２２１１ａ〜２２１１ｄが出力した露光量に応じた電荷を、ドレイン電極Ｄに出力して廃棄するか、電荷蓄積部２２１２ａ〜２２１２ｄのいずれかにに出力して蓄積するかを制御することができる。すなわち、電荷の振り分けを行うことができる。

次に、ＦＩＲ（ＦｉｎｉｔｅＩｍｐｕｌｓｅＲｅｓｐｏｎｓｅ、有限インパルス応答）フィルタについて説明する。図３は、ＦＩＲフィルタの構成を示した概略図である。ＦＩＲフィルタは、入力値ｘに対する出力値ｙを係数ａ_ｉ（重み係数）と次数Ｎとを用いて（１）式で表される。なお、ＦＩＲフィルタの特性に応じて係数ａ_ｉの値が決定する。例えば、係数ａ_ｉの決定方法としては、従来ＦＩＲフィルタの設計に用いられている方法を用いる。

本実施形態では、電荷の振り分けを行うことで、ｚによる遅れ時間ｔ（ＦＩＲフィルタの遅延期間）毎に、光電変換部２２１１ａ〜２２１１ｄが生成した電荷のうち係数ａ_ｉに応じた割合量だけ電荷蓄積部２２１２ａ〜２２１２ｄに蓄積することで、時間軸のＦＩＲフィルタを実現する。

例えば、ａ_ｉが全て正（０＜＝ａ_ｉ＜＝１）または負（−１＜＝ａ_ｉ＜＝０）であれば、ドレインゲートＤと振り分けゲートＴｘａ〜Ｔｘｄとを制御して、ｚによる遅れ時間ｔ毎に、光電変換部２２１１ａ〜２２１１ｄが光電変換によって生成した電荷を係数ａ_ｉに応じた割合量だけ電荷蓄積部２２１２ａ〜２２１２ｄに振り分けることで、ＦＩＲフィルタを近似的に実現することができる。

また、ａ_ｉが正と負の両方の値を取る場合は、ａ_ｉを正の項と負の項とで分け、ａ_ｉが正の項だけを積分する電荷蓄積部２２１２ａ〜２２１２ｄと、ａ_ｉが負の項だけを積分する電荷蓄積部２２１２ａ〜２２１２ｄとに分けて振り分ける。そして、ａ_ｉが正の項だけを積分する電荷蓄積部２２１２ａ〜２２１２ｄが蓄積した電荷の値から、ａ_ｉが負の項だけを積分する電荷蓄積部２２１２ａ〜２２１２ｄが蓄積した電荷の値を減算することで、ａ_ｉが正と負の両方の値を取る場合においてもＦＩＲフィルタを近似的に実現することができる。

なお、撮像装置１が１フレームの画像を取得する時間Ｔに対して、ｚによる遅れ時間ｔの関係が、Ｔ＞ｔＮであれば２振り分けでよいが、Ｔ＜ｔＮ＜２Ｔであればオーバーラップした少なくとも４振り分けが必要になる。なお、オーバーラップは、１フレームの画像を生成するために、複数フレームにおいて振り分けた電荷を用いることをいう。

次に、係数ａ_ｉに応じた割合量（重み係数に対応する割合）だけ、電荷蓄積部２２１２ａ〜２２１２ｄに電荷を蓄積する方法（係数ａ_ｉの実現方法）について説明する。以下２通りの実現方法について説明する。
（係数ａ_ｉの実現方法１）
係数ａ_ｉの実現方法１は、電荷の振り分け回数を変更せず、係数ａ_ｉの大きさに応じて電荷の振り分け時間ｔｘ_ｉを変更する方法である。図４は、振り分け時間ｔｘ_ｉを変更することにより係数ａ_ｉを実現する場合における、振り分けゲートＴｘａとドレインゲートＤとが電荷を通すタイミングを示したタイミングチャートである。なお、ｔはｚによる遅れ時間を示す。また、ｔｘ_ｉは、振り分けゲートＴｘａが電荷を通す時間を示す。

図示する例では、電荷蓄積部２２１２ａに電荷を蓄積する例を示している。この例では、ｚによる遅れ時間ｔの間に、時間ｔｘ_ｉの間だけ振り分けゲートＴｘａが電荷を通しており、それ以外の時間は、ドレインゲートＤが電荷を通している。すなわち、ｚによる遅れ時間ｔの間に、時間ｔｘ_ｉの間だけ、電荷蓄積部２２１２ａに電荷を蓄積し、それ以外の間には、電荷を排出している。

電荷の振り分け回数を変更せず、電荷の振り分け時間ｔｘ_ｉを変更する方法において、係数ａ_ｉと、振り分け時間ｔｘ_ｉとの関係は（２）式で表すことができる。

なお、ｎは、１フレームの画像を生成する際に用いる電荷を振り分けたフレームの数であるオーバーラップ数を示す。例えば、１フレームの画像を生成する際に２フレームの間に振り分けた電荷を用いる場合のオーバーラップ数は「２」である。また、比例定数ｋは、振り分け時間ｔｘ_ｉの最大値と、ｚによる遅れ時間tとの関係に基づいて決定する。具体的には、係数ａ_ｉの絶対値が最大になるａ_ｉをａ_ｍａｘとする。また、常に、ｔｘ_ｉ×ｎはｔ以下であるため、（ｔｘ_ｉ×ｎ）／ｔは１以下である。従って、比例定数ｋ＝｜ａ_ｍａｘ｜とすればよい。

また、係数ａ_ｉの値が正と負の両方の値をとる場合に、係数ａ_ｉの値が正の場合の係数ｋ^＋と係数ａ_ｉの値が負の場合の係数ｋ⁻とを分けて考える。この場合、係数ａ_ｉの値が正の場合の最大値をａ_ｍａｘとした場合、比例定数ｋ^＋＝ａ_ｍａｘとすればよい。同様に、係数ａ_ｉの値が負の場合の最小値をａ_ｍｉｎとした場合、比例定数ｋ⁻＝ａ_ｍｉｎとすればよい。

上述した（２）式の関係に基づいて、係数ａ_ｉの大きさに応じて電荷の振り分け時間ｔｘ_ｉを決定し、時間ｔｘ_ｉの間だけ、電荷蓄積部２２１２ａ〜２２１２ｄに電荷を蓄積し、それ以外の間には、電荷を排出することで、係数ａ_ｉに応じた電荷を電荷蓄積部２２１２ａ〜２２１２ｄに蓄積することができる。

（係数ａ_ｉの実現方法２）
係数ａ_ｉの実現方法２は、一回の電荷振り分けにおいて電荷を蓄積する時間を変更せず、係数ａ_ｉの大きさに応じて電荷の振り分け回数ｍ_ｉを変更する方法である。図５は、振り分け回数ｍ_ｉを変更することにより係数ａ_ｉを実現する場合における、振り分けゲートＴｘａとドレインゲートＤとが電荷を通すタイミングを示したタイミングチャートである。なお、ｔはｚによる遅れ時間を示す。また、ｍ_ｉは、振り分けゲートＴｘａが電荷を振り分ける回数を示す。また、一回の電荷振り分けにおいて電荷を蓄積する時間をｔｆとする。また、一回の電荷振り分けにおいて電荷を排出する時間をｄｔｉとする。なお、ｔｆは、ｔの数十分の１以下であり、十分短い期間である。

図示する例では、電荷蓄積部２２１２ａに電荷を蓄積する例を示している。この例では、ｚによる遅れ時間ｔの間に電荷の振り分けをｍ_ｉ回行っている。すなわち、ｚによる遅れ時間ｔの間に、ｔｆ×ｍ_ｉの間だけ、電荷蓄積部２２１２ａに電荷を蓄積し、それ以外の間には、電荷を排出ししている。

電荷の振り分け時間を変更せず、電荷の振り分け回数ｍ_ｉを変更する方法において、係数ａ_ｉと、振り分け回数ｍ_ｉとの関係は（３）式で表すことができる。また、一回の電荷振り分けにおいて電荷を排出する時間をｄｔｉと、振り分け回数ｍ_ｉとの関係は（４）式で表すことができる。

なお、ｎはオーバーラップしている数を示す。また、比例定数ｋは、振り分け回数ｍ_ｉの最大値と、（ｔｆ／t）との関係に基づいて決定する。具体的には、係数ａ_ｉの絶対値が最大になるａ_ｉをａ_ｍａｘとする。また、常に、ｔｆ×ｍ_ｉ×ｎはｔ以下であるため、（ｔｆ×ｍ_ｉ×ｎ）／ｔは１以下である。従って、比例定数ｋ＝｜ａ_ｍａｘ｜とすればよい。

上述した（３）式および（４）式の関係に基づいて、係数ａ_ｉの大きさに応じて電荷の振り分け回数ｍ_ｉと一回の電荷振り分けにおいて電荷を排出する時間をｄｔｉとを決定し、電荷の振り分け回数ｍ_ｉ×一回の電荷振り分けにおいて電荷を蓄積する時間ｔｆだけ電荷蓄積部２２１２ａ〜２２１２ｄに電荷を振り分けることで、係数ａ_ｉに応じた電荷を電荷蓄積部２２１２ａ〜２２１２ｄに蓄積することができる。

次に、ＦＩＲフィルタの実現方法について説明する。以下、係数ａ_ｉの値が全て正の値をとる場合の例と、係数ａ_ｉの値が正と負の両方の値をとる場合の例について説明する。

（係数ａ_ｉの値が全て正の値をとる場合）
図６は、係数ａ_ｉの値が全て正の値をとる場合における、ドレインゲートＤと、リセットゲートＲａ，Ｒｂ，Ｒｃと、振り分けゲートＴｘａ，Ｔｘｂ，Ｔｘｃと、電荷蓄積部出力端子Ｔａ，Ｔｂ，Ｔｃとの動作タイミングの例を示したタイミングチャートである。なお、図示するタイミングチャートは、フレーム番号「３」の途中までの動作タイミングを示している。

図示する例では、係数ａ_０が０．２５であり、係数ａ_１が０．５であり、係数ａ_２が０．２５であり、係数ａ_３が０．２５であり、比例定数ｋが１／２であり、フレーム期間Ｔが１６ｍｓｅｃであり、ｚによる遅れ時間ｔが８ｍｓｅｃであり、出力時間が８ｍｓｅｃであり、オーバーラップ数ｎが２である。また、図示するタイミングチャートの横軸は時間を示しており、時系列順に区間１から区間１１まで区切られている。また、１区間が示す時間は４ｍｓｅｃである。なお、フレーム期間Ｔには４つの区間が含まれている。

図６（１）は、ドレインゲートＤが電荷を通すタイミングを示している。図６（２）は、リセットゲートＲａが電荷を通すタイミングを示している。図６（３）は、振り分けゲートＴｘａが電荷を通すタイミングを示している。図６（４）は、出力端子Ｔａが電荷を出力するタイミングを示している。図６（５）は、リセットゲートＲｂが電荷を通すタイミングを示している。図６（６）は、振り分けゲートＴｘｂが電荷を通すタイミングを示している。図６（７）は、出力端子Ｔｂが電荷を出力するタイミングを示している。図６（８）は、リセットゲートＲｃが電荷を通すタイミングを示している。図６（９）は、振り分けゲートＴｘｃが電荷を通すタイミングを示している。図６（１０）は、出力端子Ｔｃが電荷を出力するタイミングを示している。

図示する例は、光電変換部２２１１ａ〜２２１１ｄが出力した電荷を、電荷蓄積部２２１２ａと、電荷蓄積部２２１２ｂと、電荷蓄積部２２１２ｃとの３つに振り分けている。そして、電荷蓄積部２２１２ａが蓄積した電荷を用いて１枚のフレーム画像を生成し、電荷蓄積部２２１２ｂが蓄積した電荷を用いて１枚のフレーム画像を生成し、電荷蓄積部２２１２ｃが蓄積した電荷を用いて１枚のフレーム画像を生成している。

以下、電荷蓄積部２２１２ａが蓄積した電荷を用いて、１枚のフレーム画像を生成する手順について説明する。制御部１２は、区間２において、係数ａ_３＝０．２５を実現するために、（２）式により算出されるｔｘ_３＝２ｍｓｅｃの間、電荷蓄積部２２１２ａに電荷を振り分ける。また、制御部１２は、区間４において、係数ａ_２＝０．２５を実現するために、（２）式により算出されるｔｘ_２＝２ｍｓｅｃの間、電荷蓄積部２２１２ａに電荷を振り分ける。また、制御部１２は、区間６において、係数ａ_１＝０．５を実現するために、（２）式により算出されるｔｘ_１＝４ｍｓｅｃの間、電荷蓄積部２２１２ａに電荷を振り分ける。また、制御部１２は、区間８において、係数ａ_０＝０．２５を実現するために、（２）式により算出されるｔｘ_０＝２ｍｓｅｃの間、電荷蓄積部２２１２ａに電荷を振り分ける。そして、制御部１２は、区間２、４、６、８において電荷蓄積部２２１２ａが蓄積した電荷を、区間１０および区間１１で出力端子Ｔａに出力させる。これにより、画像処理部１４は、出力端子Ｔａが出力する電荷に基づいて、１枚のフレーム画像を生成することができる。

電荷蓄積部２２１２ｂ、２２１２ｃについても同様の電荷の振り分けを行い、フレーム画像を生成する。

なお、図示する例では、電荷蓄積部２２１２ａ、電荷蓄積部２２１２ｂ、電荷蓄積部２２１２ｃの順に、蓄積した電荷を出力してフレーム画像を生成している。図７は、図６に示した条件と同様の条件の際における、リセットゲートＲａ，Ｒｂ，Ｒｃと、振り分けゲートＴｘａ，Ｔｘｂ，Ｔｘｃと、電荷蓄積部出力端子Ｔａ，Ｔｂ，Ｔｃとの動作タイミングを示したタイミングチャートである。なお、図示するタイミングチャートは、フレーム番号「１」からフレーム番号「１１」までの動作タイミングを示している。また、図示するタイミングチャートの横軸は時間を示しており、時系列順にフレーム番号「１」からフレーム番号「１１」までのフレームが区切られている。また、フレーム期間Ｔは１６ｍｓｅｃであり、フレーム期間Ｔには４つの区間が含まれている。

図７（１）は、リセットゲートＲａが電荷を通すタイミングを示している。図７（２）は、振り分けゲートＴｘａが電荷を通すタイミングを示している。図７（３）は、出力端子Ｔａが電荷を出力するタイミングを示している。図７（４）は、リセットゲートＲｂが電荷を通すタイミングを示している。図７（５）は、振り分けゲートＴｘｂが電荷を通すタイミングを示している。図７（６）は、出力端子Ｔｂが電荷を出力するタイミングを示している。図７（７）は、リセットゲートＲｃが電荷を通すタイミングを示している。図７（８）は、振り分けゲートＴｘｃが電荷を通すタイミングを示している。図７（９）は、出力端子Ｔｃが電荷を出力するタイミングを示している。

図７（１０）は、各区間において、電荷を振り分ける先の電荷蓄積部２２１２ａ〜２２１２ｃを示している。なお、「ａ」は、電荷を振り分ける先の電荷蓄積部が電荷蓄積部２２１２ａであることを示しており、「ｂ」は、電荷を振り分ける先の電荷蓄積部が電荷蓄積部２２１２ｂであることを示しており、「ｃ」は、電荷を振り分ける先の電荷蓄積部が電荷蓄積部２２１２ｃであることを示している。

図示するように、制御部１２は、フレーム番号「１」の１区間目と３区間目、および、フレーム番号「２」の１区間目と３区間目において電荷蓄積部２２１２ａに電荷を振り分け、フレーム番号「３」の１区間目と２区間目において電荷蓄積部２２１２ａに電荷を出力させる。そして、画像処理部１４は、出力された電荷に基づいたフレーム画像を生成する。また、制御部１２は、フレーム番号「２」の２区間目と４区間目、および、フレーム番号「３」の２区間目と４区間目において電荷蓄積部２２１２ｂに電荷を振り分け、フレーム番号「４」の１区間目と２区間目において電荷蓄積部２２１２ｂに電荷を出力させる。そして、画像処理部１４は、出力された電荷に基づいたフレーム画像を生成する。また、制御部１２は、フレーム番号「３」の１区間目と３区間目、および、フレーム番号「４」の１区間目と３区間目において電荷蓄積部２２１２ｃに電荷を振り分け、フレーム番号「５」の１区間目と２区間目において電荷蓄積部２２１２ｃに電荷を出力させる。そして、画像処理部１４は、出力された電荷に基づいたフレーム画像を生成する。また、制御部１２は、フレーム番号「４」の２区間目と４区間目、および、フレーム番号「５」の２区間目と４区間目において電荷蓄積部２２１２ａに電荷を振り分け、フレーム番号「６」の１区間目と２区間目において電荷蓄積部２２１２ａに電荷を出力させる。そして、画像処理部１４は、出力された電荷に基づいたフレーム画像を生成する。以降のフレーム番号における動作タイミングについては図示するとおりである。

この動作により、撮像装置１は、フレーム期間Ｔ毎に、ＦＩＲフィルタを適用したフレーム画像を生成することができる。

（係数ａ_ｉの値が正と負の両方の値をとる場合）
図８は、係数ａ_ｉの値が正と負の両方の値をとる場合における、ドレインゲートＤと、リセットゲートＲａ，Ｒｂ，Ｒｃ，Ｒｄと、振り分けゲートＴｘａ，Ｔｘｂ，Ｔｘｃ，Ｔｘｄと、電荷蓄積部出力端子Ｔａ，Ｔｂ，Ｔｃ，Ｔｄとの動作タイミングを示したタイミングチャートである。なお、図示するタイミングチャートは、フレーム番号「３」の途中までの動作タイミングを示している。

図示する例では、係数ａ_０が０．２５であり、係数ａ_１が０．５であり、係数ａ_２が−０．２５であり、比例定数ｋが１／２であり、フレーム期間Ｔが１６ｍｓｅｃであり、ｚによる遅れ時間ｔが８ｍｓｅｃであり、出力時間が４ｍｓｅｃであり、オーバーラップ数ｎが２である。また、図示するタイミングチャートの横軸は時間を示しており、時系列順に区間１から区間１１まで区切られている。また、１区間が示す時間は４ｍｓｅｃである。なお、フレーム期間Ｔには４つの区間が含まれている。

図８（１）は、ドレインゲートＤが電荷を通すタイミングを示している。図８（２）は、リセットゲートＲａが電荷を通すタイミングを示している。図８（３）は、振り分けゲートＴｘａが電荷を通すタイミングを示している。図８（４）は、出力端子Ｔａが電荷を出力するタイミングを示している。図８（５）は、リセットゲートＲｂが電荷を通すタイミングを示している。図８（６）は、振り分けゲートＴｘｂが電荷を通すタイミングを示している。図８（７）は、出力端子Ｔｂが電荷を出力するタイミングを示している。図８（８）は、リセットゲートＲｃが電荷を通すタイミングを示している。図８（９）は、振り分けゲートＴｘｃが電荷を通すタイミングを示している。図８（１０）は、出力端子Ｔｃが電荷を出力するタイミングを示している。図８（１１）は、リセットゲートＲｄが電荷を通すタイミングを示している。図８（１２）は、振り分けゲートＴｘｄが電荷を通すタイミングを示している。図８（１３）は、出力端子Ｔｄが電荷を出力するタイミングを示している。

図示する例は、光電変換部２２１１ａ〜２２１１ｄが出力した電荷を、電荷蓄積部２２１２ａと、電荷蓄積部２２１２ｂと、電荷蓄積部２２１２ｃと、電荷蓄積部２２１２ｄとの４つに振り分けている。そして、電荷蓄積部２２１２ａと電荷蓄積部２２１２ｂとが蓄積された電荷を用いて１枚のフレーム画像を生成し、電荷蓄積部２２１２ｃと電荷蓄積部２２１２ｄとが蓄積された電荷を用いて１枚のフレーム画像を生成している。

以下、電荷蓄積部２２１２ａと電荷蓄積部２２１２ｂとが蓄積した電荷を用いて、１枚のフレーム画像を生成する手順について説明する。本実施形態では、正の値の係数ａ_ｉを実現する際には、光電変換部２２１１ａ〜２２１１ｄが出力した電荷を電荷蓄積部２２１２ａに蓄積し、負の値の係数ａ_ｉを実現する際には、光電変換部２２１１ａ〜２２１１ｄが出力した電荷を電荷蓄積部２２１２ｂに蓄積する。そして、電化蓄積部２２１２ａに蓄積した電荷の値から、電荷蓄積部２２１２ｂに蓄積した電荷の値を減算し、一枚のフレーム画像を生成する。

制御部１２は、区間２において、係数ａ_２＝−０．２５を実現するために、（２）式により算出されるｔｘ_２＝２ｍｓｅｃの間、電荷蓄積部２２１２ｂに電荷を振り分ける。また、制御部１２は、区間４において、係数ａ_２＝０．５を実現するために、（２）式により算出されるｔｘ_１＝４ｍｓｅｃの間、電荷蓄積部２２１２ａに電荷を振り分ける。また、制御部１２は、区間６において、係数ａ_０＝０．２５を実現するために、（２）式により算出されるｔｘ_０＝２ｍｓｅｃの間、電荷蓄積部２２１２ａに電荷を振り分ける。そして、制御部１２は、区間２において電荷蓄積部２２１２ｂが蓄積した電荷を、区間１０および区間１１で出力端子Ｔｂに出力させる。また、制御部１２は、区間４、６において電荷蓄積部２２１２ａが蓄積した電荷を、区間１０および区間１１で出力端子Ｔａに出力させる。そして、画像処理部１４は、出力端子Ｔａの出力値から出力端子Ｔｂの出力値を減算した値に基づいて、１枚のフレーム画像を生成する。

電荷蓄積部２２１２ｃ、２２１２ｄについても同様の電荷の振り分けを行い、電荷蓄積部２２１２ｃと電荷蓄積部２２１２ｄとが蓄積した電荷を用いて１枚のフレーム画像を生成する。

なお、図示する例では、電荷蓄積部２２１２ａと電荷蓄積部２２１２ｂとが蓄積した電荷、電荷蓄積部２２１２ｃと電荷蓄積部２２１２ｄとが蓄積した電荷の順に、電荷を出力してフレーム画像を生成している。図９は、図８に示した条件と同様の条件の際における、リセットゲートＲａ，Ｒｂ，Ｒｃ，Ｒｄと、振り分けゲートＴｘａ，Ｔｘｂ，Ｔｘｃ，Ｔｘｄと、電荷蓄積部出力端子Ｔａ，Ｔｂ，Ｔｃ，Ｔｄとの動作タイミングを示したタイミングチャートである。なお、図示するタイミングチャートは、フレーム番号「１」からフレーム番号「１１」までの動作タイミングを示している。また、図示するタイミングチャートの横軸は時間を示しており、時系列順にフレーム番号「１」からフレーム番号「１１」までのフレームが区切られている。また、フレーム期間Ｔは１６ｍｓｅｃであり、フレーム期間Ｔには４つの区間が含まれている。

図９（１）は、リセットゲートＲａが電荷を通すタイミングを示している。図９（２）は、振り分けゲートＴｘａが電荷を通すタイミングを示している。図９（３）は、出力端子Ｔａが電荷を出力するタイミングを示している。図９（４）は、リセットゲートＲｂが電荷を通すタイミングを示している。図９（５）は、振り分けゲートＴｘｂが電荷を通すタイミングを示している。図９（６）は、出力端子Ｔｂが電荷を出力するタイミングを示している。図９（７）は、リセットゲートＲｃが電荷を通すタイミングを示している。図９（８）は、振り分けゲートＴｘｃが電荷を通すタイミングを示している。図９（９）は、出力端子Ｔｃが電荷を出力するタイミングを示している。図９（１０）は、リセットゲートＲｄが電荷を通すタイミングを示している。図９（１１）は、振り分けゲートＴｘｄが電荷を通すタイミングを示している。図９（１２）は、出力端子Ｔｄが電荷を出力するタイミングを示している。

図９（１３）は、各区間において、電荷を振り分ける先の電荷蓄積部２２１２ａ〜２２１２ｄを示している。なお、「ａ」は、電荷を振り分ける先の電荷蓄積部が電荷蓄積部２２１２ａであることを示しており、「ｂ」は、電荷を振り分ける先の電荷蓄積部が電荷蓄積部２２１２ｂであることを示しており、「ｃ」は、電荷を振り分ける先の電荷蓄積部が電荷蓄積部２２１２ｃであることを示しており、「ｄ」は、電荷を振り分ける先の電荷蓄積部が電荷蓄積部２２１２ｄであることを示している。

図示するように、制御部１２は、フレーム番号「１」の１区間目において電荷蓄積部２２１２ｂに電荷を振り分け、フレーム番号「１」の３区間目およびフレーム番号「２」の１区間目において電荷蓄積部２２１２ａに電荷を振り分ける。また、制御部１２は、フレーム番号「２」の３区間目と４区間目において電荷蓄積部２２１２ａ、２２１２ｂに電荷を出力させる。そして、画像処理部１４は、出力された電荷に基づいたフレーム画像を生成する。また、制御部１２は、フレーム番号「２」の２区間目において電荷蓄積部２２１２ｄに電荷を振り分け、フレーム番号「２」の４区間目およびフレーム番号「３」の２区間目において電荷蓄積部２２１２ｃに電荷を振り分ける。また、制御部１２は、フレーム番号「３」の３区間目と４区間目において電荷蓄積部２２１２ｃ、２２１２ｄに電荷を出力させてフレーム画像を生成する。そして、画像処理部１４は、出力された電荷に基づいたフレーム画像を生成する。また、制御部１２は、フレーム番号「３」の１区間目において電荷蓄積部２２１２ｂに電荷を振り分け、フレーム番号「３」の３区間目およびフレーム番号「４」の１区間目において電荷蓄積部２２１２ａに電荷を振り分ける。また、制御部１２は、フレーム番号「４」の３区間目と４区間目において電荷蓄積部２２１２ａ、２２１２ｂに電荷を出力させる。そして、画像処理部１４は、出力された電荷に基づいたフレーム画像を生成する。以降のフレーム番号における動作タイミングについては図示するとおりである。

上述したとおり、本実施形態によれば、画素２２１が有する光電変換部２２１１ａ〜２２１１ｄは、受光した光に応じた電荷を出力する。また、画素２２１が有する複数の電荷蓄積部２２１２ａ〜２２１２ｄは電荷を蓄積する。また、画素２２１が有するドレイン電極２２１６は電荷を廃棄する。また、制御部１２は、画像に適用するＦＩＲフィルタの遅延期間（ｚによる遅れ時間ｔ）毎に、当該遅延期間の係数ａ_ｉに対応する割合で、光電変換部２２１１ａ〜２２１１ｄが出力した電荷を電荷蓄積部２２１２ａ〜２２１２ｄとドレイン電極２２１６とに振り分けるように画素２２１を制御し、当該ＦＩＲフィルタの全ての遅延期間が経過した後、電荷蓄積部２２１２ａ〜２２１２ｄが蓄積した電荷を読み出す。また、画像処理部１４は、制御部１２が読み出した電荷に基づいて画像を生成する。

これにより、本実施形態の撮像装置１は、画像に適用するＦＩＲフィルタの遅延期間毎に、当該遅延期間の重み係数に対応する割合で、光電変換部２２１１ａ〜２２１１ｄが出力した電荷を電荷蓄積部２２１２ａ〜２２１２ｄとドレイン電極２２１６とに振り分けるように画素２２１を制御し、電荷蓄積部２２１２ａ〜２２１２ｄに振り分けられた電荷に基づいて画像を生成することができるため、多数枚の画像を用いることなく、時系列のＦＩＲフィルタを適用した画像を撮像することができる。

また、本実施形態によれば、制御部１２は、光電変換部２２１１ａ〜２２１１ｄが出力した電荷を、画像毎に異なる電荷蓄積部２２１２ａ〜２２１２ｄに振り分けるように画素２２１を制御する。

これにより、本実施形態の撮像装置１は、画像毎に異なる電荷蓄積部２２１２ａ〜２２１２ｄに電荷を振り分けることができるため、複数の画像を並行して撮像することができる。

また、本実施形態によれば、制御部１２は、光電変換部２２１１ａ〜２２１１ｄが出力した電荷を、係数ａ_ｉの値が正の値の場合と負の値の場合とで異なる電荷蓄積部２２１２ａ〜２２１２ｄに振り分けるように画素２２１を制御し、画像処理部１４は、係数ａ_ｉの値が正の値の場合に振り分けられた電荷の電荷量から、係数ａ_ｉの値が負の値の場合に振り分けられた電荷の電荷量を減算した値に基づいて画像を生成する。

これにより、本実施形態の撮像装置１は、画像に適用するＦＩＲフィルタの係数ａ_ｉの値が、正の値と負の値との両方を含む場合においても、時系列のＦＩＲフィルタを適用した画像を撮像することができる。

また、本実施形態によれば、画素２２１が有するドレインゲートＤは、電圧の印加に応じて、光電変換部２２１１ａ〜２２１１ｄが出力する電荷をドレイン電極２２１６に出力する。また、画素２２１が有する複数の振り分けゲートＴｘａ〜Ｔｘｄは、電圧の印加に応じて、光電変換部２２１１ａ〜２２１１ｄが出力する電荷を電荷蓄積部２２１２ａ〜２２１２ｄに出力する。また、制御部１２は、ドレインゲートＤと複数の振り分けゲートＴｘａ〜Ｔｘｄとに電圧を印加することにより、光電変換部２２１１ａ〜２２１１ｄが出力した電荷を、電荷蓄積部２２１２ａ〜２２１２ｄとドレイン電極２２１６とに振り分けるように制御する。

これにより、制御部１２は、ドレインゲートＤと複数の振り分けゲートＴｘａ〜Ｔｘｄとに電圧を印加することで、光電変換部２２１１ａ〜２２１１ｄが出力する電荷をドレイン電極２２１６と電荷蓄積部２２１２ａ〜２２１２ｄとに振り分けることができる。よって、制御部１２は、高速に、光電変換部２２１１ａ〜２２１１ｄが出力する電荷をドレイン電極２２１６と電荷蓄積部２２１２ａ〜２２１２ｄとに振り分けることができる。

なお、上述した実施形態における撮像装置１が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、図面を参照して本発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１・・・撮像装置、１０・・・本体部、１１・・・受光部（受光素子）、１２・・・制御部、１３・・・露光調整部、１４・・・画像処理部、２０・・・光学系、２１・・・レンズ、２２・・・絞り、２２１・・・画素、２２１１ａ〜２２１１ｄ・・・光電変換部、２２１２ａ〜２２１２ｄ・・・電荷蓄積部、２２１３・・・電荷転送部、２２１４ａ〜２２１４ｄ・・・リセットゲート制御端子、２２１５ａ〜２２１５ｄ・・・リセット電極、２２１６・・・ドレイン電極、２２１７・・・ドレインゲート制御端子、２２１８・・・ドレイン電極出力端子、２２１９ａ〜２２１９ｄ・・・振り分けゲート制御端子、２２２０ａ〜２２２０ｄ・・・リセット電極出力端子

Claims

受光した光に応じた電荷を出力する光電変換部と、前記電荷を蓄積する複数の電荷蓄積部と、前記電荷を廃棄するドレイン電極とを有した画素を、複数備えた受光素子と、
画像に適用する有限インパルス応答フィルタの遅延期間毎に、当該遅延期間の重み係数に対応する割合で、前記光電変換部が出力した電荷を前記電荷蓄積部と前記ドレイン電極とに振り分けるように前記画素を制御し、当該有限インパルス応答フィルタの全遅延期間が経過した後、前記電荷蓄積部が蓄積した電荷を読み出す制御部と、
前記制御部が読み出した前記電荷に基づいて前記画像を生成する画像処理部と、
を備えたことを特徴とする撮像装置。
前記制御部は、前記光電変換部が出力した電荷を、前記画像毎に異なる前記電荷蓄積部に振り分けるように前記画素を制御する
ことを特徴とする請求項１に記載の撮像装置。
前記制御部は、前記光電変換部が出力した電荷を、前記重み係数の値が正の値の場合と負の値の場合とで異なる前記電荷蓄積部に振り分けるように前記画素を制御し、
前記画像処理部は、前記重み係数の値が正の値の場合に振り分けられた前記電荷の電荷量から、前記重み係数の値が負の値の場合に振り分けられた前記電荷の電荷量を減算した値に基づいて前記画像を生成する
ことを特徴とする請求項１または請求項２のいずれか一項に記載の撮像装置。
前記受光素子が備える画素は、電圧の印加に応じて、前記光電変換部が出力する電荷を前記ドレイン電極に出力するドレインゲートと、電圧の印加に応じて、前記光電変換部が出力する電荷を前記電荷蓄積部に出力する複数の振り分けゲートとを備え、
前記制御部は、前記ドレインゲートと前記振り分けゲートとに電圧を印加することにより、前記光電変換部が出力した電荷を、前記電荷蓄積部と前記ドレイン電極とに振り分けるように制御する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の撮像装置。
撮像装置における撮像方法であって、
光電変換部が受光した光に応じた電荷を出力するステップと、
電荷蓄積部が前記電荷を蓄積するステップと、
ドレイン電極が前記電荷を廃棄するステップと、
制御部が、画像に適用する有限インパルス応答フィルタの遅延期間毎に、当該遅延期間の重み係数に対応する割合で、前記光電変換部が出力した電荷を前記電荷蓄積部と前記ドレイン電極とに振り分けるように制御し、当該有限インパルス応答フィルタの全遅延期間が経過した後、前記電荷蓄積部が蓄積した電荷を読み出すステップと、
画像処理部が、前記電荷を読み出すステップで読み出した前記電荷に基づいて前記画像を生成するステップと、
を有することを特徴とする撮像方法。