JP4798501B2 - 撮像素子、画像入力装置及び撮像装置 - Google Patents

Description

本発明は、撮像素子、画像入力装置及び撮像装置に関する。

従来、カメラでの撮影時に手ぶれが発生する場合があった。手ぶれとは、カメラのシャッタを切るときに、カメラ自体が動いたりして写真がぶれてしまうことである。これは、撮影者としての人間が生物学的に避けられない微小なゆれを起こすために、どうしても伴ってしまう現象である。手ぶれは、露光時間中のカメラの揺れであるため、屋外の天気がいい日の撮影等のシャッタスピードが高速であるシーンではあまり問題にならない。

しかしながら、夕暮れ時や室内等のシャッタスピードが低下する場合の撮影や、揺れが画像に大きく影響する望遠撮影の場合、手ぶれの影響が画像に現れてしまう。三脚を使う等して、カメラをきちんと固定して、カメラを揺らさずにシャッタを切ることにより回避できるが、携帯電話機等の携帯機器のカメラの場合、液晶画面越しに撮影することから、カメラが固定されず、手ぶれが多く発生する。また、携帯機器のカメラは、Ｆ値が低く、感度が低く、ストロボがない等のため、フィルムカメラより手ぶれが発生しやすくなっている。

上記のような撮影者の手の揺れが原因で発生する「光軸のずれ」を補正するのが、手ぶれ補正である。手ぶれ補正機能は、フィルムカメラでは、高級一眼レフカメラを中心に採用されていたが、近年、デジタルスチルカメラ、デジタルビデオカメラでも、手ぶれ補正機能を搭載した製品が増えている。従来より、手ぶれの影響を抑える方法として、シャッタスピードやＩＳＯ（International Organization for Standardization）感度を調整するだけの露光時間制御方法があり、手ぶれ補正をおこなうものとしては、レンズや撮像素子をスライドさせることで光軸のずれを補正する光学的補正方法と、撮像画像を画像処理により補正する電子的補正方法と、がある。

露光時間制御方法は、シャッタスピードを制限し、高速シャッタ寄りの設定のみを用いることで手ぶれの影響を抑える方法である。露光時間制御方法では、低輝度シーンでは暗くなってしまうため、一般的に、ＩＳＯ感度を上げて対応する。

光学的補正方法は、角速度センサなどによって手ぶれの大きさを検出し、その大きさに合わせてレンズやＣＣＤを物理的に動かして光軸のずれを補正する（例えば、特許文献１参照）。光学的補正方法は、感度アップが不要であるため、それに伴うノイズの増加を防ぐことができるとともに、電子的補正方法と異なり、光軸上のぶれをキャンセルするため、画質劣化することがない。

電子的補正方法として、例えば特開平５−１１０９３１号公報には、角速度センサ等によって手ぶれの大きさを検出し、センサからの読み出し又はメモリ読み出し位置を変えることにより手ぶれ補正する構成がある。また、複数の画像を合成する際に、複数の画像を比較することで、動きベクトルを検出し、手ぶれの発生の有無を判定し、手ぶれ発生があった場合に手ぶれ補正処理を行う構成がある（例えば、特許文献２参照）。また、特開２００４−４８３９０号公報には、動画撮影に際し、動きベクトルを検出し、その検出結果に基づいて予測画像を生成して手ぶれ補正をする構成がある。

また、特開２００４−２６６３２２号公報には、手ぶれ量のデータから、画素データの読み出し位置を決定し、読み出されるべき位置の画素が２つの画素にまたがるような位置に位置する画素である場合に、複数の画素データからその読み出すべき位置に位置する画素の画素データを生成（補間）する構成がある。
特開平６−３０３２６号公報 特開２００３−１３４３８５号公報

しかし、上記露光時間制御方法では、感度アップするため、それに伴うノイズが発生してしまう。また、特許文献１に記載のように、光学的補正方法では、角速度センサ等の手ぶれ検知センサや、レンズ、撮像素子を物理的に動かす部材が必要であるため、装置構成が複雑となり、装置のコンパクト化が困難であった。

また、特許文献２に記載の電子的補正方法では、手ぶれ検知センサを用いることなく、画像から手ぶれ方向及び手ぶれ量を検出できるが、比較のために複数の画像を必要とし、得られた個々の画像が手ぶれした画像の場合や、被写体ぶれにより発生したずれが撮影画像の一部に発生しているとそのずれを検出及び補正できないおそれがあった。

本発明は上記問題に鑑み、手ぶれを検出するセンサ及びレンズ、撮像素子等を物理的に動かす部材を必要とせず、１画像の撮影で、手ぶれや被写体ぶれが発生しても、ぶれのない撮影画像の得られる撮像素子、画像入力装置及び撮像装置を得ることを目的とするものである。

上記課題を解決するために、請求の範囲第１項に記載の発明は、
画素に対応する単位受光部が複数配列された受光部と、
前記単位受光部の各々における露光の変化を検出する露光変化検出部と、
前記露光変化検出部の検出結果に基づいて、前記単位受光部の露光を停止し、当該停止までの露光時間に対応する電荷を蓄積する電荷調整蓄積部と、
前記蓄積された画素ごとの電荷を読み出して画素信号として出力する読み出し部と、
前記露光変化検出部の検出結果に基づいて、前記画素信号を増幅する増幅部と、を備えることを特徴とする撮像素子である。

請求の範囲第２項に記載の発明は、請求の範囲第１項に記載の撮像素子において、前記受光部は、前記単位受光部としての複数の単位光電変換部が配列された光電変換部であり、
前記露光変化検出部は、前記単位光電変換部における設定露光時間内に蓄積した電荷量の微分値を検出する微分器であり、
前記電荷調整蓄積部は、
前記微分器の検出結果に基づいて、前記単位光電変換部に蓄積された電荷を転送する転送部と、
前記転送された電荷を画素ごとに蓄積して出力する蓄積部と、を備えることを特徴とする。

請求の範囲第３項に記載の発明は、請求の範囲第２項に記載の撮像素子において、
前記転送部は、前記微分値が変化しない場合には、前記単位光電変換部で前記設定露光時間に蓄積された電荷を転送し、
前記微分値が変化した場合には、前記単位光電変換部で実露光時間に蓄積された電荷を転送し、前記増幅部は、前記設定露光時間を前記実露光時間で除した値に基づいて前記画素信号を増幅する、ことを特徴とする。

請求の範囲第４項に記載の発明は、
被写体の光を結像する光学系と、
前記光学系により結像された光を変換して前記画素信号から構成される画像信号を出力する請求の範囲第１項〜第３項のいずれか一項に記載の撮像素子と、を備えることを特徴とする撮像装置である。

請求の範囲第５項に記載の発明は、
画素に対応する単位受光部が複数配列された受光部と、
前記単位受光部の各々における露光の変化を検出する露光変化検出部と、
前記露光変化検出部の検出結果に基づいて、前記単位受光部の露光を停止し、当該停止までの露光時間に対応する電荷を蓄積する電荷調整蓄積部と、
前記蓄積された画素ごとの電荷を読み出して画素信号として出力する読み出し部と、
前記露光変化検出部の検出結果に基づいて、前記画素信号を増幅する増幅部と、を備えることを特徴とする画像入力装置である。

請求の範囲第６項に記載の発明は、請求の範囲第５項に記載の画像入力装置において、
前記受光部は、前記単位受光部としての複数の単位光電変換部が配列された光電変換部であり、
前記露光変化検出部は、前記単位光電変換部における設定露光時間内に蓄積した電荷量の微分値を検出する微分器であり、
前記電荷調整蓄積部は、
前記微分器の検出結果に基づいて、前記単位光電変換部に蓄積された電荷を転送する転送部と、
前記転送された電荷を画素ごとに蓄積して出力する蓄積部と、を備えることを特徴とする。

請求の範囲第７項に記載の発明は、請求の範囲第６項に記載の画像入力装置において、
前記転送部は、前記微分値が変化しない場合には、前記単位光電変換部で前記設定露光時間に蓄積された電荷を転送し、
前記微分値が変化した場合には、前記単位光電変換部で実露光時間に蓄積された電荷を転送し、前記増幅部は、前記設定露光時間を前記実露光時間で除した値に基づいて前記画素信号を増幅する、ことを特徴とする。

請求の範囲第８項に記載の発明は、
被写体の光を結像する光学系と、
前記光学系により結像された光を変換して前記画素信号から構成される画像信号を出力する請求の範囲第５項〜第７項のいずれか一項に記載の画像入力装置と、を備えることを特徴とする撮像装置である。

請求の範囲第１項又は第５項に記載の発明によれば、露光変化検出部の検出結果に基づいて各単位受光部の露光を停止し、当該停止までの露光時間に対応する電荷を蓄積し、その蓄積された画素ごとの電荷を読み出して、露光変化検出部の検出結果に基づいて増幅し画素信号として出力するので、手ぶれ又は被写体ぶれが発生しても、ぶれ発生後の単位光電変換部での電荷蓄積の影響を受けず、ぶれの無い状態で得られた蓄積電荷に基づいて増幅された画素信号を得ることができ、手ぶれを検出するセンサ及びレンズ、撮像素子等を物理的に動かす部材を必要とせずに、ぶれのない撮影画像を得ることができるとともに、画像信号のノイズを低減できる。

請求の範囲第２項又は第６項に記載の発明によれば、微分器の検出結果に基づいて各単位光電変換部に蓄積された電荷を転送し、蓄積部に蓄積された画素ごとの電荷を読み出して、微分器の検出結果に基づいて増幅し画素信号として出力するので、手ぶれ又は被写体ぶれが発生しても、ぶれ発生後の単位光電変換部での電荷蓄積の影響を受けず、ぶれの無い状態で得られた蓄積電荷に基づいて増幅された画素信号を得ることができ、手ぶれを検出するセンサ及びレンズ、撮像素子等を物理的に動かす部材を必要とせずに、ぶれのない撮影画像を得ることができるとともに、画像信号のノイズを低減できる。

請求の範囲第３項又は第７項に記載の発明によれば、各単位光電変換部に蓄積された電荷の微分値が変化しない場合には、各単位光電変換部で設定露光時間に蓄積された電荷を転送し、微分値が変化した場合には、単位光電変換部で実露光時間に蓄積された電荷を転送し、増幅部は、設定露光時間を実露光時間で除した値に基づいて画素信号を増幅するので、手ぶれ又は被写体ぶれが発生しても、ぶれの無い状態で得られた蓄積電荷に基づいた適切な画素信号を得ることができ、手ぶれを検出するセンサ及びレンズ、撮像素子等を物理的に動かす部材を必要とせずに、ぶれのない撮影画像を得ることができる。

請求の範囲第４項又は第８項に記載の発明によれば、手ぶれを検出するセンサ及びレンズ、撮像素子等を物理的に動かす部材を必要とせずに、ぶれのない撮影画像を得ることのできる撮像装置を得ることができる。

本発明に係る第１の実施の形態のデジタルスチルカメラ１の内部構成を示す図である。 撮像部２１の内部構成を示すブロック図である。 光電変換部２１１の構成を示す図である。 画素信号取得部２００の内部像成を示すブロック図である。 画素信号取得部２００における各種信号のタイミングチャートを示す。 携帯電話機３００の内部構成を示すブロック図である。

符号の説明

１ デジタルスチルカメラ
２０ 撮像素子
２１ 撮像部
３０ ＡＦＥ
４０ タイミング発生部
２１１ 光電変換部
２１１１ 単位光電変換部
２１１２ 垂直走査線
２１１３ リセット走査線
２１１４ 垂直信号線
２１１５ フォトダイオード
２１１６ アンプ
２１１７ 選択トランジスタ
２１１８ リセットトランジスタ
２１２ 読み出し用垂直シフトレジスタ
２１３ リセット用垂直シフトレジスタ
２１４ 水平シフトレジスタ
２１５ 出力アンプ
２１６ 水平スイッチトランジスタ
２１７ 出力信号線
５０ 制御部
６０ 光学系駆動部
７０ 画像処理部
８０ 画像メモリ
９０ 画像圧縮部
１００ 画像記録部
１１０ 表示部
１２０ 操作部
２００ 画像取得部
２０１ 単位光電変換部
２０２ 微分器
２０３ 転送部
２０４ 蓄積部
２０５ 読み出し部
３００ 携帯電話機
３１０ 制御部
３２０ 操作部
３３０ 表示部
３４０ 無線通信部
３４１ アンテナ
３５０ 撮像ユニット
３６０ 記憶部
３７０ 一時記憶部

以下、添付図を参照して本発明に係る実施の形態を詳細に説明する。ただし、発明の範囲は、説明する例に限定されるものではない。

図１〜図５を参照して、本実施の形態の装置構成を説明する。図１に、本実施の形態のデジタルスチルカメラ１の内部構成を示す。

図１に示すように、撮像装置としてのデジタルスチルカメラ１は、光学系１０と、撮像素子２０と、制御部５０と、光学系駆動部６０と、画像処理部７０と、画像メモリ８０と、画像圧縮部９０と、画像記録部１００と、表示部１１０と、操作部１２０と、を備えて構成される。

光学系１０は、ズームレンズ等のレンズや絞り等を含む光学系であり、被写体からの光が入射され、撮像素子２０の撮像部２１に結像する。撮像素子２０は、撮像部２１と、ＡＦＥ（Analog Front End）３０と、タイミング発生部４０と、を備えて構成される。撮像部２１は、２次元マトリクス状（Ｘ−Ｙ）アドレス読み出し式撮像素子としてのライン露光型（ローリング・シャッタ）のＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子であるものとする。しかし、これに限定されるものではなく、ＣＣＤ（Charge-Coupled Devices）イメージセンサ等の撮像素子であるものとしてもよい。この場合、撮像部２１が撮像素子としてのＣＣＤイメージセンサ等に代わり、ＡＦＥ３０、タイミング発生部４０とは、別の部材としての構成となる。

ＡＦＥ３０は、センサ駆動回路、センサ出力のノイズを軽減させるＣＤＳ（Correlated
Double Sampling：相関二重サンプリング）回路、信号の増幅を行うＡＧＣ（Automatic Gain Control：自動利得制御）回路、Ａ／Ｄ変換回路等から構成され、撮像部２１から出力されたアナログの画像信号に各処理を施してデジタル画像データを出力する。タイミング発生部４０は、制御部５０の制御により、撮像部２１及びＡＦＥ３０における画像信号出力用の各種タイミングをとるためのタイミング信号を出力する。

制御部５０は、デジタルスチルカメラ１の各部を制御する。制御部５０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を含み、ＲＯＭから読み出されてＲＡＭに展開された各種プログラムと、ＣＰＵとの協働で各種処理を実行する。

光学系駆動部６０は、制御部５０の制御により、光学系１０の変倍、フォーカス、絞り等を駆動する。

画像処理部７０は、画像データに各種画像処理を施し、例えば、ＡＦＥ３０から出力されたデジタルの画像データを輝度信号及び色差信号に変換する。

画像メモリ８０は、画像データを読み出し及び書き込み可能に記憶する。画像圧縮部９０は、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式により、輝度信号及び色差信号で表現される画像データを圧縮する。画像記録部１００は、図示しないスロットにセットされた記録メディアに画像データを記録する。記録メディアとしては、例えば、ＳＤ（Secure Digital）メモリカード、メモリスティック、ｘＤピクチャカード等である。

表示部１１０は、カラー液晶パネル、ＥＬ（ElectroLuminescent）ディスプレイ等であり、撮影後の画像データ、撮影前のスルー画像、各種操作画面等を表示する。操作部１２０は、レリーズボタン、各種モード、値を設定するための各種操作キーを含み、ユーザにより操作入力された情報を制御部５０に出力する。

次いで、図２、図３を参照して、撮像素子２０の構成を詳細に説明する。図２に、撮像部２１の構成を示す。図３に、光電変換部２１１の構成を示す。

図２に示すように、撮像部２１は、光電変換部２１１と、読み出し用垂直シフトレジスタ２１２と、リセット用垂直シフトレジスタ２１３と、水平シフトレジスタ２１４と、出力アンプ２１５と、を備える。

読み出し用垂直シフトレジスタ２１２は、光電変換部２１１で光電変換された信号電荷を水平画素列（走査線）毎に読み出すアドレス指定を行う。リセット用垂直シフトレジスタ２１３は、水平画素列（走査線）毎に各画素に蓄積された信号電荷をリセットするためのアドレス指定を行う。水平シフトレジスタ２１４は、光電変換部２１１で光電変換された信号電荷を水平画素列毎に水平転送する。

図３に示すように、光電変換部２１１は、二次元マトリクス状に配列されている複数の単位画素回路としての単位光電変換部２１１１と、読み出し用垂直シフトレジスタ２１２に接続されている複数の垂直走査線２１１２と、リセット用垂直シフトレジスタ２１３に接続されている複数のリセット走査線２１１３と、水平スイッチトランジスタ２１６を介して水平シフトレジスタ２１４及び出力信号線２１７に接続されている垂直信号線２１１４と、を有している。

各単位光電変換部２１１１は、フォトダイオード２１１５と、アンプ２１１６と、垂直走査線２１１２及び垂直信号線２１１４に接続されている選択トランジスタ２１１７と、リセット走査線２１１３に接続されているリセットトランジスタ２１１８等とを備える。

フォトダイオード２１１５で光電変換された信号電荷は、フォトダイオード２１１５の電圧変化に置き換えられ、アンプ２１１６で増幅される。そして、読み出し用垂直シフトレジスタ２１２から垂直走査線２１１２に順次選択パルスが印加されると、選択パルスの印加された垂直走査線２１１２に接続された選択トランジスタ２１１７がＯＮになり、アンプ２１１６で増幅された信号電荷が選択トランジスタ２１１７を介して垂直信号線２１１４に読み出される。そして、水平シフトレジスタ２１４から水平スイッチトランジスタ２１６に順次選択パルスが印加されると、垂直信号線２１１４上の信号電荷が、順次出力信号線２１７に読み出されて出力アンプ２１５で増幅され、その電圧信号が画素信号として出力される。

また、リセット用垂直シフトレジスタ２１３からリセットパルスが各リセット走査線２１１３に印加されると、リセットトランジスタ２１１８がＯＮになり、フォトダイオード２１１５の信号電荷がリセットされる。

タイミング発生部４０は、制御部５０から入力される露光時間指示信号に基づいて、撮像部２１の読み出し用垂直シフトレジスタ２１２、リセット用垂直シフトレジスタ２１３、水平シフトレジスタ２１４を駆動する各種タイミング信号を発生し、撮像部２１に出力する。また、各フレームの画像信号を区別するために用いられる読み出しタイミング信号を制御部５０に出力する。

ここで、デジタルスチルカメラ１における全体的な動作を説明する。被写体撮影では、被写体のモニタリング（スルー画像表示）と、画像撮影実行とが行われる。

モニタリングにおいては、光学系１０を介して得られた被写体の光が、撮像素子２０の撮像部２１に結像される。光学系１０の撮影光軸後方に配置された撮像部２１が、タイミング発生部４０のタイミング信号によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力としてのアナログの画素信号が１画面分出力される。

このアナログの画像信号は、ＡＦＥ３０によりＲＧＢの各原色成分毎に各処理が行われた後にデジタルの画像データに変換される。撮像素子２０から出力されたデジタルの画像データは、画像処理部７０により、画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成されて画像メモリ８０に格納され、定期的にその輝度信号及び色差信号が読み出されて、画像処理部７０によりそのビデオ信号に変換されて、表示部１１０に出力される。

この表示部１１０は、入力されるビデオ信号に基づいて画像表示し、モニタリングにおいては電子ファインダとして機能し、撮像画像をリアルタイムに表示することとなる。この状態で、随時、ユーザの操作部１２０を介する操作入力に基づいて、光学系駆動部６０の駆動により光学系１０のズーミング、フォーカシング、絞り値等が設定される。

このようなモニタリング状態において、静止画撮影を行ないたいタイミングで、ユーザが操作部１２０のレリーズボタンを押下することにより、静止画像データが撮影される。レリーズボタンの押下のタイミングで、画像メモリ８０に格納された１コマの画像データが読み出される。そして、その画像データが画像圧縮部９０により圧縮され、その圧縮された画像データが、画像記録部１００により記録メディアに記録される。

次いで、図４及び図５を参照して、本発明に係る画素信号の露光及び読み出しを説明する。図４に、画素信号取得部２００の構成を示す。図５に、画素信号取得部２００における各種信号のタイミングチャートを示す。

図４に示す画像入力装置としての画素信号取得部２００は、撮像素子２０内で画素ごとに設けられるものとする。画素信号取得部２００は、単位受光部としての単位光電変換部２０１と、露光変化検出部としての微分器２０２と、電荷調整蓄積部としての転送部２０３及び蓄積部２０４と、読み出し増幅部２０５と、を備えて構成される。単位光電変換部２０１は、タイミング発生部４０からのタイミング信号に基づく露光開始信号により、露光を開始し、光量に応じた電荷を生成して蓄積する。単位光電変換部２０１は、実際には、常に光電変換を行っているために、露光開始信号が、単位光電変換部２０１に蓄積された電荷を一旦捨てる信号となる。そして、単位光電変換部２０１は、入力される転送信号に基づいて、蓄積されている電荷量を転送部２０３に出力する。

微分器２０２は、露光開始から所定時間（例えば数ｍｓ）経過後からの、単位光電変換部２０１における光電変換された電荷量を監視し、電荷量の傾き（微分値）に変化があった場合に、微分値変化信号を転送部２０３及び読み出し増幅部２０５に出力する。転送部２０３は、タイミング発生部４０からのタイミング信号に基づく露光終了信号、又は微分器２０２から入力される微分値変化信号に基づいて、転送信号を単位光電変換部２０１に出力して電荷量が入力されて蓄積部２０４に出力する。

蓄積部２０４は、転送部２０３から入力された電荷量を一時的に蓄積する。読み出し増幅部２０５は、タイミング発生部４０からの読み出し信号に基づいて蓄積部２０４に蓄積された電荷量を読み出して増幅せずにあるいは増幅後に画素信号として出力する。各画素信号は、画像単位で画像信号としてＡＦＥ３０に出力される。

ここで、図５を参照して、手ぶれ、被写体ぶれがなかった場合の露光時と、露光中に手ぶれ又は被写体ぶれがあった場合の露光時とにおける画素信号取得部２００の動作を説明する。先に、手ぶれ、被写体ぶれがなかった露光時の場合を説明する。先ず、図５（ｂ）に示す露光開始信号がオンされて、図５（ａ）に示すように、単位光電変換部２０１において露光が開始され電荷蓄積が開始される。時間経過とともに、図５（ｆ）に示すように、単位光電変換部２０１に電荷量が蓄積されていく。図５（ｇ）に示すように、蓄積される電荷量の微分値が変化しないので、微分器２０２からの微分値変化信号は、オフのままである。

そして、図５（ｃ）に示すように、露光終了信号がオンされると、転送部２０３において、図５（ｅ）に示すように、転送信号がオンされ、転送部２０３により単位光電変換部２０１の電荷が蓄積部２０４に転送され、図５（ｈ）に示すように、その電荷量が蓄積部２０４において蓄積される。そして、図５（ｄ）に示すように、読み出し信号がオンされると、読み出し増幅部２０５において、図５（ｉ）に示すように、蓄積部２０４に蓄積された電荷量が読み出されて増幅せずに（１倍に増幅後に）画素信号として出力される。

次いで、露光中に手ぶれ又は被写体ぶれがあった場合を説明する。先ず、図５（ｂ）に示す露光開始信号がオンされて、図５（ａ）に示すように、単位光電変換部２０１において露光が開始され電荷蓄積が開始される。時間経過とともに、図５（ｋ）に示すように、単位光電変換部２０１に電荷量が蓄積されていくが、手ぶれや被写体ぶれが発生することにより単位光電変換部２０１での入射光の光量は急激に変化し、それに伴い電荷量も急激に変化する。この場合には、図５（ｌ）に示すように、微分器２０２で微分値の変化を検知し、微分値変化信号がオンされる。なお、微分器２０２は、露光開始から所定時間（例えば数ｍｓ）は、マスキングされるか、或いは動作しないように構成されており、露光開始時の蓄積電荷量の変化では、微分値変化信号がオンされないようになっている。

微分値変化信号のオンに伴い、転送部２０３において、図５（ｊ）に示すように、転送信号がオンされ、転送部２０３により単位光電変換部２０１の電荷が蓄積部２０４に転送され、図５（ｍ）に示すように、その電荷量が蓄積部２０４において蓄積される。また、微分値変化信号は、読み出し増幅部２０５にも入力される。そして、図５（ｄ）に示すように、読み出し信号がオンされると、読み出し増幅部２０５において、受信された微分値変化信号を用いて、設定露光時間Ｓ／実露光時間Ｒが算出され、図５（ｎ）に示すように、蓄積部２０４に蓄積された電荷量が読み出されて、Ｓ／Ｒ倍に増幅されて画素信号として出力される。つまり、手ぶれ又は被写体ぶれが発生した場合には、ぶれ発生後の単位光電変換部への電荷蓄積を停止し、ぶれの無い状態のときに得られた蓄積電荷量を、設定露光時間Ｓ／実露光時間Ｒ倍し、ぶれが発生しなかった場合の画素信号値となるように増幅されるということである。

以上、本実施の形態によれば、転送部２０３が、微分器２０２で検出する各単位光電変換部２１１の電荷量の微分値が変化しない場合には、各単位光電変換部２０１で設定露光時間に蓄積された電荷を転送し、微分値が変化した場合には、各単位光電変換部２０１で実露光時間に蓄積された電荷を転送し、読み出し増幅部２０５が、蓄積部２０４に蓄積された電荷を読み出し、その電荷に設定露光時間／前記実露光時間をかけて増幅して画像信号として出力するので、手ぶれや被写体ぶれが発生した場合でも、ぶれが発生しなかった場合の画素信号値が得られ、ぶれのない画像を撮影することができ、電荷量の微分値の変化がない画素については十分な露光時間が得られるため、画像信号全体としてノイズを低減できる。

また、本実施の形態では、画素ごとに、単位光電変換部２０１、微分器２０２、転送部２０３、蓄積部２０４、読み出し増幅部２０５を設ける構成としたが、これに限定されるものではない。例えば、光電変換部２１１に対応して、画素ごとに機能する１つずつの微分器、転送部、蓄積部、読み出し増幅部を設ける構成としてもよい。

また、本実施の形態では、撮像素子２０内に画素信号取得部２００を有する構成としたが、これに限定されるものではない。例えば、各単位光電変換部２０１の電荷量の微分値が変化した場合でも、実露光時間及び設定露光時間を記憶する記憶部が設けられれば、読み出し増幅部２０５内の読み出し部を撮像素子２０内に設け、その読み出し部から出力された画素信号を、撮像素子２０外に設けられた増幅部により増幅する画像入力装置の構成としてもよい。

さらに、本実施の形態の各単位光電変換部２０１、微分器２０２、転送部２０３、蓄積部２０４の構成に代えて、複数の画素に対応する複数の単位受光部（単位光電変換部２０１に対応）が配列された受光部（光電変換部２１１に対応）と、前記各単位受光部における露光の変化を検出する露光変化検出部（微分器２０２に対応）と、前記露光変化検出部の検出結果に基づいて、前記各単位受光部の露光を停止し、当該停止までの露光時間に対応する電荷を蓄積する電荷調整蓄積部（転送部２０３及び蓄積部２０４に対応）と、を撮像素子又は画像入力装置内に設ける構成としてもよい。

この構成において、単位受光部が光電変換しなく、電荷調整蓄積部で露光量に応じた光電変換を行うこととしてもよい。また、露光変化検出部は、単位受光部での露光の変化が検出できればよい。つまり、単位受光部での露光の変化を検出したら、（画素ごとに）露光を停止し、露光を停止した画素の露光時間に基づく電荷量を、本来露光されるはずであった露光時間分に増幅補正して画素信号を得る構成であればよい。

この構成によれば、露光変化検出部の検出結果に基づいて前記各単位受光部の露光を停止し、当該停止までの露光時間に対応する電荷を蓄積し、その蓄積された画素ごとの電荷を読み出して、露光変化検出部の検出結果に基づいて増幅し画素信号として出力するので、手ぶれや被写体ぶれが発生した場合でも、ぶれが発生しなかった場合の画素信号値が得られ、ぶれのない画像を撮影することができ、電荷量の微分値の変化がない画素については十分な露光時間が得られるため、画像信号全体としてノイズを低減できる。

なお、上記実施の形態における記述は、本発明に係る好適な撮像素子、画像入力装置及び撮像装置の一例であり、これに限定されるものではない。

例えば、上記各実施の形態において、撮像装置として、デジタルスチルカメラの例を説明したがこれに限定されるものではなく、ビデオカメラや、撮像機能付の携帯電話機、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等の少なくとも撮像機能を有する携帯端末等の機器としてもよい。

また、撮像装置を、上記機器に搭載される撮像ユニットとしてもよい。ここで、図６を参照して、撮像装置としての撮像ユニット３５０を搭載した携帯電話機３００の例を説明する。図６に、携帯電話機３００の内部構成を示す。

図６に示すように、携帯電話機３００は、各部を統括的に制御すると共に各処理に応じたプログラムを実行する制御部（ＣＰＵ）３１０と、番号等をキーにより操作入力するための操作部３２０と、所定のデータの他に撮像した映像等を表示する表示部３３０と、アンテナ３４１を介して外部サーバ等との間の各種情報通信を実現するための無線通信部３４０と、撮像装置としての撮像ユニット３５０と、携帯電話機３００のシステムプログラムや各種処理プログラム等の必要な諸データを記憶している記憶部（ＲＯＭ）３６０と、制御部３１０によって実行される各種処理プログラムやデータ、若しくは処理データ、或いは撮像ユニット３５０により撮像データ等を一時的に格納する作業領域として用いられる一時記憶部（ＲＡＭ）３７０とを備えている。

撮像ユニット３５０は、光学系１０と、撮像素子２０（画像入力部）と、鏡筒と、光学系１０及び撮像素子２０（画像入力部）の駆動機構等と、を備えて構成され、撮像ユニット３５０自体は、制御部や画像処理部を有せず、コネクタ等により制御部、操作部、表示部等に結合されることを前提としたレンズユニットとする。具体的には、撮像ユニット３５０は、例えば、光学系における筐体の物体側端面が携帯電話機３００の背面（表示部３３０のメイン表示部を正面とする）に設けられ、メイン表示部の下方に相当する位置に配設される。また、撮像ユニット３５０の外部接続端子は、携帯電話機３００の制御部３１０と接続され、撮像ユニット３５０により撮像された輝度信号や色差信号等の画像信号が外部接続端子を介して制御部３１０側に出力される。また、撮像ユニット３５０から入力された画像信号は、携帯電話機３００の制御系により、記憶部３６０に記憶されたり、或いは表示部３３０で表示され、さらには、無線通信部３４０を介して映像情報として外部に送信される。

また、撮像装置としての撮像ユニットは、光学系１０と、撮像素子２０（画像入力部）と、鏡筒と、光学系１０及び撮像素子２０（画像入力部）の駆動機構等と、基板上に配置された制御部及び画像処理部等と、を有し、コネクタ等により表示部及び操作部等を有する別体に結合され用いられることを前提とするカメラモジュールとして構成してもよい。

Claims (8)

1. 画素に対応する単位受光部が複数配列された受光部と、
   前記単位受光部の各々における露光の変化を検出する露光変化検出部と、
   前記露光変化検出部の検出結果に基づいて、前記単位受光部の露光を停止し、当該停止までの露光時間に対応する電荷を蓄積する電荷調整蓄積部と、
   前記蓄積された画素ごとの電荷を読み出して画素信号として出力する読み出し部と、
   前記露光変化検出部の検出結果に基づいて、前記画素信号を増幅する増幅部と、を備えることを特徴とする撮像素子。
2. 前記受光部は、前記単位受光部としての複数の単位光電変換部が配列された光電変換部であり、
   前記露光変化検出部は、前記単位光電変換部における設定露光時間内に蓄積した電荷量の微分値を検出する微分器であり、
   前記電荷調整蓄積部は、
   前記微分器の検出結果に基づいて、前記単位光電変換部に蓄積された電荷を転送する転送部と、
   前記転送された電荷を画素ごとに蓄積して出力する蓄積部と、を備えることを特徴とする請求の範囲第１項に記載の撮像素子。
3. 前記転送部は、前記微分値が変化しない場合には、前記単位光電変換部で前記設定露光時間に蓄積された電荷を転送し、
   前記微分値が変化した場合には、前記単位光電変換部で実露光時間に蓄積された電荷を転送し、前記増幅部は、前記設定露光時間を前記実露光時間で除した値に基づいて前記画素信号を増幅する、ことを特徴とする請求の範囲第２項に記載の撮像素子。
4. 被写体の光を結像する光学系と、
   前記光学系により結像された光を変換して前記画素信号から構成される画像信号を出力する請求の範囲第１項〜第３項のいずれか一項に記載の撮像素子と、を備えることを特徴とする撮像装置。
5. 画素に対応する単位受光部が複数配列された受光部と、
   前記単位受光部の各々における露光の変化を検出する露光変化検出部と、
   前記露光変化検出部の検出結果に基づいて、前記単位受光部の露光を停止し、当該停止までの露光時間に対応する電荷を蓄積する電荷調整蓄積部と、
   前記蓄積された画素ごとの電荷を読み出して画素信号として出力する読み出し部と、
   前記露光変化検出部の検出結果に基づいて、前記画素信号を増幅する増幅部と、を備えることを特徴とする画像入力装置。
6. 前記受光部は、前記単位受光部としての複数の単位光電変換部が配列された光電変換部であり、
   前記露光変化検出部は、前記単位光電変換部における設定露光時間内に蓄積した電荷量の微分値を検出する微分器であり、
   前記電荷調整蓄積部は、
   前記微分器の検出結果に基づいて、前記単位光電変換部に蓄積された電荷を転送する転送部と、
   前記転送された電荷を画素ごとに蓄積して出力する蓄積部と、を備えることを特徴とする請求の範囲第５項に記載の画像入力装置。
7. 前記転送部は、前記微分値が変化しない場合には、前記単位光電変換部で前記設定露光時間に蓄積された電荷を転送し、
   前記微分値が変化した場合には、前記単位光電変換部で実露光時間に蓄積された電荷を転送し、前記増幅部は、前記設定露光時間を前記実露光時間で除した値に基づいて前記画素信号を増幅する、ことを特徴とする請求の範囲第６項に記載の画像入力装置。
8. 被写体の光を結像する光学系と、
   前記光学系により結像された光を変換して前記画素信号から構成される画像信号を出力する請求の範囲第５項〜第７項のいずれか一項に記載の画像入力装置と、を備えることを特徴とする撮像装置。