JPWO2013125249A1 - 撮像ユニット、撮像装置および制御プログラム - Google Patents

Abstract

撮像ユニットのダイナミックレンジを広くしたいという要請がある。そこで、リセット後のリセット電位と電荷蓄積後の信号電位とに対応する画素信号を出力する画素部と、画素信号を第１増幅率または第１増幅率とは異なる第２増幅率で増幅するアンプ部と、アンプ部に、リセット電位から信号電位への変動に対応する画素信号を第１増幅率で増幅させた後に、信号電位からリセット電位への変動に対応する画素信号を第２増幅率で増幅させる制御部とを備える撮像ユニットを提供する。

Description

本発明は、撮像ユニット、撮像装置および制御プログラムに関する。

入射光に応じて画素部で生成された画素信号を、垂直信号線ごとに設けられた増幅回路で増幅して読み出すＣＭＯＳ型の撮像ユニットが知られている。（例えば、特許文献１参照）。
特許文献１ 特開２００４−１５７０１号公報

入射光に応じた電荷が、フローティングディフュージョンに蓄積されてから垂直信号線に出力され、増幅回路で増幅した信号が読み出される。フローティングディフュージョンからの電荷を読み出した後にフローティングディフュージョンがリセットされるので、一度、光が入射するのに対して増幅回路の増幅率が１種類に限られる。入射光が強く、フローティングディフュージョンに蓄積された電荷が多い場合に合わせて増幅率を低くすると、入射光の弱い領域から読み出される信号が弱くなる。逆に、入射光が弱い領域に合わせて増幅率を高くすると、入射光が強い領域から読み出される信号が飽和してしまう。このため、撮像ユニットのダイナミックレンジが限られ、より広いダイナミックレンジが望まれていた。

本発明の第１の態様においては、リセット後のリセット電位と電荷蓄積後の信号電位とに対応する画素信号を出力する画素部と、画素信号を第１増幅率または第１増幅率とは異なる第２増幅率で増幅するアンプ部と、アンプ部に、リセット電位から信号電位への変動に対応する画素信号を第１増幅率で増幅させた後に、信号電位からリセット電位への変動に対応する画素信号を第２増幅率で増幅させる制御部とを備える撮像ユニットを提供する。

本発明の第２の態様においては、光電変換部と、光電変換部で発生した電荷をフローティングディフュージョンに転送する転送ゲートと、前記フローティングディフュージョンに蓄積された前記電荷を排除し、前記フローティングディフュージョンの電位を前記信号電位から前記リセット電位にリセットする画素リセットスイッチと、フローティングディフュージョンの電位に基づいて出力される画素信号を増幅するアンプ部とを備える撮像ユニットの制御プログラムであって、転送ゲートをオフにしてリセットスイッチをオンにすることによりフローティングディフュージョンの電位をリセット電位にするステップと、リセットスイッチをオフにして転送ゲートを一定期間オンした後にオフすることによりフローティングディフュージョンの電位を信号電位にして、リセット電位から信号電位への変動に対応する画素信号である第１画素信号を出力させるステップと、アンプ部に、第１画素信号を第１増幅率により増幅させるステップと、再びリセットスイッチをオンにすることによりフローティングディフュージョンの電位をリセット電位にして、信号電位からリセット電位への変動に対応する画素信号である第２画素信号を出力させるステップと、アンプ部に、第２画素信号を第２増幅率により増幅させるステップと、をコンピュータに実行させる制御プログラムを提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明の実施形態に係る撮像装置の構成を説明する図である。 本発明の実施形態に係る撮像ユニットの構成を説明する図である。 撮像ユニットの構成の一部を拡大して説明する図である。 撮像ユニットの１水平期間の動作タイミングを示すタイミングチャートである。 撮像装置の画像処理を説明する図である。 撮像ユニットの構成の他の一例を説明する図である。 撮像装置による画像処理を説明するフロー図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の実施形態に係る撮像装置９００の構成を説明する図である。撮像装置９００は、撮像ユニット９１０、画像処理部９１２、ワークメモリ９１８、表示部９２０、カメラメモリ９２２、バス９２６、カメラシステム制御部９２４、ＡＥセンサ９１６、および、受付部９１４を備える。撮像ユニット９１０、画像処理部９１２、表示部９２０、ワークメモリ９１８、カメラメモリ９２２、および、カメラシステム制御部９２４は、バス９２６に接続され、バス９２６を介して相互に信号を送受信する。

撮像ユニット９１０は、二次元的に複数の光電変換素子が配列された、ＣＭＯＳセンサ等のイメージセンサを備える。撮像ユニット９１０は、制御部７００を備える。撮像ユニット９１０は、カメラシステム制御部９２４により制御されて、被写体像から得られた画素信号を増幅した増幅信号を出力する。カメラシステム制御部９２４および制御部７００は、共同して撮像ユニット９１０の制御部として機能してよい。

画像処理部９１２は、ワークメモリ９１８をワークスペースとして種々の画像処理を施し、画像データを生成する。生成された画像データは、画像処理部９１２により表示信号に変換され、表示部９２０に表示されうる。また、画像データはカメラメモリ９２２に記録されうる。

ＡＥセンサ９１６は、被写体空間に対して複数の測光領域が設定された測光センサであり、それぞれの測光点において被写体像の明るさを検出する。一連の撮影シーケンスは、受付部９１４はユーザの操作を受け付けて、カメラシステム制御部９２４へ操作信号を出力することにより開始される。また、受付部９１４は、ユーザによるＩＳＯ感度の選択を受け付けて、カメラシステム制御部９２４へ送信する。カメラシステム制御部９２４は、受付部９１４は受け付けたＩＳＯ感度に対応する増幅率を、制御部７００へ送信する。

撮影シーケンスに付随するＡＦ、ＡＥ等の各種動作は、カメラシステム制御部９２４に制御されて実行される。例えば、カメラシステム制御部９２４は、ＡＥセンサ９１６の検出信号を解析して、最適なＩＳＯ感度に対応する画素信号の増幅率を制御部７００へ送信する。

図２は、本発明の実施形態に係る撮像ユニット９１０の構成を説明する図である。撮像ユニット９１０は、画素部１１０、負荷電流源２０１、列増幅アンプ部３００、電位保持部４００、読み出し回路５００、垂直走査部６００、制御部７００、ＡＦＥ７１０、および、ＡＤＣ７２０を備える。

撮像ユニット９１０は、画素部１１０に、複数の単位画素１００を備える。複数の単位画素１００はマトリックス状に配置される。それぞれの単位画素１００は、垂直信号線２００および制御線２０２に接続される。制御線２０２は、複数の信号線で構成されて、信号の伝送効率を高めてもよい。同一の行に配置された単位画素１００は共通の制御線２０２に接続される。制御線２０２は垂直走査部６００に接続される。同一の列に配置された単位画素１００は共通の垂直信号線２００に接続される。単位画素１００から垂直信号線２００への画素信号の読み出しを、制御線２０２を介して垂直走査部６００が制御する。

垂直信号線２００は、列増幅アンプ部３００および電位保持部４００を介して、読み出し回路５００に接続される。負荷電流源２０１は、垂直信号線２００に電流を供給する。列増幅アンプ部３００は、単位画素１００から読み出された画素信号を増幅して、増幅された画素信号である増幅信号を電位保持部４００に送る。電位保持部４００は増幅信号を保持して、制御部７００が制御するタイミングで、増幅信号を読み出し回路５００に送る。読み出し回路５００は、増幅信号をＡＦＥ７１０に送る。

ＡＦＥ７１０は、増幅信号のレベルをそろえて、ＡＤＣ７２０に送る。ＡＤＣ７２０はＡＦＥ７１０から受信した信号をデジタル信号に変換して、出力する。ＡＦＥ７１０およびＡＤＣ７２０は、撮像ユニット９１０の他の構成要素と同一の基板上に設けられてよいが、これに限られず、ＡＦＥ７１０およびＡＤＣ７２０は別の基板に設けられ、配線またはバンプにより撮像ユニット９１０の他の構成要素が設けられた基板に電気的に接続されてもよい。垂直走査部６００、列増幅アンプ部３００、電位保持部４００、および、読み出し回路５００は、制御部７００に電気的に接続されて、制御部７００に制御される。

図３は、撮像ユニット９１０の構成の一部を拡大して説明する図である。単位画素１００は、光電変換部１０１、転送ゲート１０２、フローティングディフュージョン１０３、画素リセットスイッチ１０４、画素アンプ１０５、および、選択スイッチ１０６を備える。

光電変換部１０１は、受光する光を電荷に変換して蓄積する。光電変換部１０１は一例としてフォトダイオードである。制御部７００は、転送ゲート１０２に、光電変換部１０１で発生した電荷をフローティングディフュージョン１０３へ転送させる。制御部７００は、フローティングディフュージョン１０３に、転送ゲート１０２を介して転送された電荷を蓄積させる。制御部７００は、フローティングディフュージョン１０３へ接続された画素リセットスイッチ１０４に、フローティングディフュージョンに蓄積された電荷を排除し、フローティングディフュージョン１０３の電位を信号電位からリセット電位にリセットさせる。

画素アンプ１０５は、フローティングディフュージョン１０３に接続され、フローティングディフュージョン１０３の電位を増幅して出力する。選択スイッチ１０６は画素アンプ１０５および垂直信号線２００に接続される。負荷電流源２０１は垂直信号線２００に接続される。

列増幅アンプ部３００は、入力キャパシタ３０１、列増幅アンプリセットスイッチ３０２、第１の帰還キャパシタ選択スイッチ３０４、第１の帰還キャパシタ３０３、第２の帰還キャパシタ選択スイッチ３０６、第２の帰還キャパシタ３０５、および、アンプ３０８を備える。入力キャパシタ３０１は垂直信号線２００に接続される。入力キャパシタ３０１はアンプ３０８の入力端子の一方に接続される。アンプ３０８のもう一方の入力端子には、ＶＲＥＦが接続されて、基準の電位となる。アンプ３０８の帰還ループは、列増幅アンプリセットスイッチ３０２と、第１の帰還キャパシタ選択スイッチ３０４および第１の帰還キャパシタ３０３と、第２の帰還キャパシタ選択スイッチ３０６と第２の帰還キャパシタ３０５とを、並列に備える。第１の帰還キャパシタ選択スイッチ３０４と第１の帰還キャパシタ３０３は直列に接続される。第２の帰還キャパシタ選択スイッチ３０６と第２の帰還キャパシタ３０５は直列に接続される。

電位保持部４００は、リセット電位入力スイッチ４０２、リセット電位保持キャパシタ４０４、信号電位入力スイッチ４０３、信号電位保持キャパシタ４０５、リセット電位出力スイッチ４０６、および、信号電位出力スイッチ４０７を備える。リセット電位入力スイッチ４０２および信号電位入力スイッチ４０３は、列増幅アンプ部３００の出力に、並列に接続される。リセット電位保持キャパシタ４０４はリセット電位入力スイッチ４０２に接続される。リセット電位出力スイッチ４０６はリセット電位保持キャパシタ４０４に接続される。リセット電位出力スイッチ４０６は読み出し回路５００に接続される。信号電位保持キャパシタ４０５は信号電位入力スイッチ４０３に接続される。信号電位出力スイッチ４０７は信号電位保持キャパシタ４０５に接続される。信号電位出力スイッチ４０７は読み出し回路５００に接続される。

図４は、撮像ユニット９１０の１水平期間の動作タイミングを示すタイミングチャートである。図４に示される撮像ユニット９１０の動作は、制御部７００が制御する。第１の期間（ｔ１）に、画素リセットスイッチ１０４および転送ゲート１０２は、所定の時間、オンにされる。すなわち、φ１およびφ２にオン状態の電位にされる。これにより、光電変換部１０１、および、フローティングディフュージョン１０３の電位はリセットされる。このとき、撮像ユニット９１０の全ての光電変換部１０１、および、フローティングディフュージョン１０３の電位は、同時にリセットされてよい。

第２の期間（ｔ２）に、光電変換部１０１は受光する光を電荷に変換して蓄積する。光電変換部１０１の電荷蓄積は、カメラシステム制御部９２４が撮像ユニット９１０へ設定する露光時間により決定される。

第３の期間（ｔ３）に、選択スイッチ１０６はオンにされる。また、画素リセットスイッチ１０４は、所定の時間、オンにされる。すなわち、φ１はオン状態の電位にされ、φ２は所定の時間、オン状態の電位にされる。これにより、フローティングディフュージョン１０３は、リセット後のリセット電位になる。

列増幅アンプ部３００では、第３の期間（ｔ３）に、列増幅アンプリセットスイッチ３０２、および、第２の帰還キャパシタ選択スイッチ３０６は、所定の時間、オンにされる。すなわち、φ４およびφ６はオン状態の電位にされる。また、φ５はオン状態の電位にされて、第１の帰還キャパシタ選択スイッチ３０４はオンにされる。これによって、アンプ３０８の入力端子はリセットされる。

次に、所定の時間の後で、φ４およびφ６はオフ状態の電位にされて、列増幅アンプリセットスイッチ３０２および第２の帰還キャパシタ選択スイッチ３０６はオフにされる。このとき、第２の帰還キャパシタ選択スイッチ３０６はオフにされた後で、列増幅アンプリセットスイッチ３０２はオフにされる。φ５はオン状態の電位のままで、第１の帰還キャパシタ選択スイッチ３０４はオン状態のままである。これによって、列増幅アンプ部３００の増幅率は、入力キャパシタ３０１の容量と第１の帰還キャパシタ３０３の容量との比で定められる第１増幅率に設定される。

第４の期間（ｔ４）に、所定の時間、φ７はオン状態の電圧にされて、リセット電位入力スイッチ４０２はオンにされる。これによって、フローティングディフュージョン１０３の電位がリセットされた状態の、リセット電位に対応した電位がリセット電位保持キャパシタ４０４に蓄積される。

第５の期間（ｔ５）に、φ３は所定の時間オン状態の電位にされて、転送ゲート１０２は所定の時間オンされる。これにより第２の期間（ｔ２）で光電変換部１０１に発生した電子はフローティングディフュージョン１０３へ転送され、フローティングディフュージョン１０３の電位は、リセット電位から、電荷蓄積後の信号電位になる。フローティングディフュージョン１０３の電位の変動が、画素アンプ１０５および選択スイッチ１０６を介して、垂直信号線２００に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素１００から垂直信号線２００に出力される。垂直信号線２００から列増幅アンプ部３００に、リセット電位から信号電位への変動に対応する画素信号が入力される。列増幅アンプ部３００に入力された画素信号は、入力キャパシタ３０１の容量と第１の帰還キャパシタ３０３の容量との比で定まる第１増幅率で増幅される。第１増幅率で増幅された第１増幅信号は、列増幅アンプ部３００から電位保持部４００に出力される。

列増幅アンプ部３００から出力される第１増幅信号の電位は、次式で表されるＶｏｕｔが、列増幅アンプ部３００の電源電圧より小さいときは、Ｖｏｕｔで表される。また、Ｖｏｕｔが列増幅アンプ部３００の電源電圧以上とのときは、列増幅アンプ部３００から出力される第１増幅信号の電位は、列増幅アンプ部３００の電源電圧に等しくなる。

Ｖｏｕｔ＝ＶＲＥＦ＋（フローティングディフュージョン１０３のリセット電位−フローティングディフュージョン１０３の信号電位）×画素アンプ１０５のゲイン×（−入力キャパシタ３０１の容量／第１の帰還キャパシタ３０３の容量）。

一例として、入力キャパシタ３０１の容量を１ｐＦ、第１の帰還キャパシタ３０３の容量を０．１ｐＦ、フローティングディフュージョン１０３のリセット電位を４Ｖ、画素アンプ１０５のゲインを０．８倍、ＶＲＥＦを２．０Ｖ、列増幅アンプ部３００の電源電圧を５Ｖとする。そして、フローティングディフュージョン１０３の電位が、リセット電位の４Ｖから、転送ゲート１０２を所定時間オンさせた後に、信号電位の３Ｖになったとする。このとき、Ｖｏｕｔ＝２．０Ｖ＋（４Ｖ−３Ｖ）×０．８×（−１ｐＦ／０．１ｐＦ）＝１０．０Ｖとなり、列増幅アンプ部３００の電源電圧の５Ｖより大きい。したがって、上記のときに、列増幅アンプ部３００から出力される第１増幅信号の電位は、５Ｖになる。すなわち、この場合の第１増幅信号は飽和信号となっている。

転送ゲート１０２はオフされた後に、信号電位入力スイッチ４０３は所定時間オンされる。これにより、信号電位保持キャパシタ４０５に、入射光に応じて列増幅アンプ部３００から出力された第１増幅信号が保持される。

第６の期間（ｔ６）に、φ９はオン状態の電位にされて、リセット電位出力スイッチ４０６および信号電位出力スイッチ４０７は所定の時間オンされる。これにより、第４の期間（ｔ４）にリセット電位保持キャパシタ４０４に保持されたリセット電位に対応した信号、および、第５の期間（ｔ５）に信号電位保持キャパシタ４０５に保持された信号電位に対応した第１増幅信号は、読み出し回路５００へ送られる。

第７の期間（ｔ７）に、φ４、φ５およびφ６はオン状態の電圧にされて、列増幅アンプリセットスイッチ３０２、第１の帰還キャパシタ選択スイッチ３０４、および、第２の帰還キャパシタ選択スイッチ３０６はオンされる。これにより、アンプ３０８の入力端子はリセットされる。すなわち、フローティングディフュージョン１０３は信号電位の状態を基準にして、列増幅アンプ部３００はリセットされる。なお、本例では第１の帰還キャパシタ選択スイッチ３０４は、第３の期間（ｔ３）からオンのままである。

次に、第１の帰還キャパシタ選択スイッチ３０４はオフされた後に、列増幅アンプリセットスイッチ３０２はオフされる。すなわち、φ５はオフ状態の電位にされてから、φ４はオフ状態の電位にされる。φ６はオン状態の電位のままで、第２の帰還キャパシタ選択スイッチ３０６はオン状態のままである。これによって、列増幅アンプ部３００の増幅率は、入力キャパシタ３０１の容量と第２の帰還キャパシタ３０５の容量との比で定められる第２増幅率に設定される。本例では、第１の帰還キャパシタ選択スイッチ３０４の容量と、第２の帰還キャパシタ３０５の容量が異なるので、第７の期間（ｔ７）に設定される列増幅アンプ部３００の第２増幅率は、第５の期間（ｔ５）に設定される列増幅アンプ部３００の第１増幅率と異なる。

次に、φ７は所定の時間オン状態の電位にされて、リセット電位入力スイッチ４０２は所定の時間オンされる。これにより、リセット電位保持キャパシタ４０４に信号電位に対応した信号が保持される。

第８の期間（ｔ８）に、φ２は所定の時間オン状態の電位にされて、画素リセットスイッチ１０４は所定の期間オンされる。これにより、フローティングディフュージョン１０３の電位はリセットされる。フローティングディフュージョン１０３の電位は、信号電位からリセット電位になる。フローティングディフュージョン１０３の電位の変動が、画素アンプ１０５および選択スイッチ１０６を介して、垂直信号線２００に伝わる。これにより、フローティングディフュージョン１０３の信号電位からリセット電位への変動に対応した画素信号が、列増幅アンプ部３００に入力される。列増幅アンプ部３００に入力された画素信号が、入力キャパシタ３０１の容量と第２の帰還キャパシタ３０５の容量との比で定まる第２増幅率で増幅され、列増幅アンプ部３００から第２増幅信号が出力される。

列増幅アンプ部３００から出力される第２増幅信号の電位は、次式で表されるＶｏｕｔが、列増幅アンプ部３００の電源電圧より小さいときは、Ｖｏｕｔで表される。また、Ｖｏｕｔが列増幅アンプ部３００の電源電圧以上とのときは、列増幅アンプ部３００から出力される第２増幅信号の電位は、列増幅アンプ部３００の電源電圧に等しくなる。

Ｖｏｕｔ＝ＶＲＥＦ＋（転送ゲート１０２を所定時間オンさせた後のフローティングディフュージョン１０３の電位−フローティングディフュージョン１０３のリセット電位）×０．８×（−入力キャパシタ３０１の容量／第２の帰還キャパシタ３０５の容量）。

一例として、入力キャパシタ３０１の容量を１ｐＦ、第２の帰還キャパシタ３０５の容量を１ｐＦ、フローティングディフュージョン１０３のリセット電位を４Ｖ、画素アンプ１０５のゲインを０．８倍、ＶＲＥＦを２．０Ｖ、列増幅アンプ部３００の電源電圧を５Ｖとする。そして、フローティングディフュージョン１０３の電位が、信号電位の３Ｖからリセット電位の３Ｖになったとする。このとき、Ｖｏｕｔ＝２．０Ｖ＋（３Ｖ−４Ｖ）×０．８×（−１ｐＦ／１ｐＦ）＝１．２Ｖとなり、列増幅アンプ部３００の電源電圧の５Ｖより小さい。したがって、上記のときに、列増幅アンプ部３００から出力される第２増幅信号の電位は１．２Ｖとなる。

次に、φ８は所定の時間オン状態の電位にされて、信号電位入力スイッチ４０３は所定の時間オンされる。これにより、信号電位保持キャパシタ４０５にリセット電位に対応した第２増幅信号は保持される。

第９の期間（ｔ９）に、φ９はオン状態の電位にされて、リセット電位出力スイッチ４０６および信号電位出力スイッチ４０７は所定の時間オンされる。これにより、第７の期間（ｔ７）にリセット電位保持キャパシタ４０４に保持された信号電位に対応した信号、および、第８の期間（ｔ８）に信号電位保持キャパシタ４０５に保持されたリセット電位に対応した第２増幅信号が、読み出し回路５００へ送られる。制御部７００は、第３の期間（ｔ３）から第９の期間（ｔ９）までを繰り返して、画素部１１０から画素信号を読み出す。

以上のように、第２の期間（ｔ２）で光電変換部１０１に光が入射されて発生した電荷により、第１増幅信号および第２増幅信号が読み出し回路５００へ読み出される。すなわち、第３の期間（ｔ３）から第６の期間（ｔ６）までに第１増幅信号が読み出し回路５００へ読み出しされる。そして第７の期間（ｔ７）から第９の期間（ｔ９）までに第２増幅信号が読み出し回路５００へ読み出される。第１増幅信号および第２増幅信号は、それぞれリセット電位および信号電位に対応した信号と共に読み出される。したがって、列増幅アンプ部３００のばらつきをキャンセルできる。例えば、第１増幅信号および第２増幅信号と、リセット電位および信号電位との差分を用いる。

本例においては、第１の帰還キャパシタ３０３の容量と、第２の帰還キャパシタ３０５の容量とが異なるので、第１増幅率と第２増幅率とが異なる。すなわち、撮像ユニット９１０は一度露光されることで、第１増幅信号に対応する信号と、第２増幅信号に対応する信号とが撮像ユニット９１０から画像処理部９１２に送られる。画像処理部９１２は、増幅率の異なる、第１増幅信号に対応する信号および第２増幅信号に対応する信号を合成して、ダイナミックレンジが拡大した画像を生成する。

より具体的には、第１増幅率が第２増幅率より大きい。本例では、第１増幅信号が列増幅アンプ部３００の電源電位で飽和していても、第２増幅信号は、第１増幅信号より増幅率が小さいので、飽和していない。また、１回目に第２増幅率より大きい第１増幅率により読み出しを行い、２回目に第１増幅率より小さい第２増幅率により読み出しを行うので、ノイズの影響を小さくできる。すなわち、電位をリセットするときにトランジスタからキャリアがインジェクションされることによってノイズが発生しうる。そこで、第７の期間（ｔ７）におけるリセット動作によって、強度の低い信号がノイズの影響を受けることを防止できる。

図５は、撮像装置９００の画像処理を説明する図である。撮像ユニット９１０を露光して、第２増幅率より大きい第１増幅率により増幅された第１増幅信号から得られる画像９８２では、被写体の明るい部分に白とびが生じる。一方、第１増幅率より小さい第２増幅率により増幅された第２増幅信号から得られる画像９８０では、被写体の暗い部分が露出不足となる。例えば、画像９８０の人物の部分が露光不足となり、人物の部分の一部が黒つぶれする。

画像処理部９１２は、画像９８２および画像９８０から最適な部分を合成して、白とびおよび黒つぶれがなく、かつ、露光不足な部分のない画像９８４を得ることができる。例えば、画像処理部９１２は、第１増幅信号が飽和していないときは第１増幅信号のみを用いて画像を生成してよい。第１増幅信号のみを用いて画像が生成される場合は、画像処理部９１２は第２増幅信号を用いなくてよいし、あるいは、制御部７００は列増幅アンプ部３００に第２増幅信号を生成させなくてもよい。第１増幅信号が飽和しているときは、第２増幅信号を用いることで、画像９８４を合成してよい。また、第２増幅信号の強度が所定のレベルより弱い領域で、第１増幅信号を用いてもよい。これにより、ダイナミックレンジの拡大した画像が得られる。

別の例として、画像処理部９１２は、第１増幅率により増幅された第１増幅信号に対応する信号と、第２増幅率により増幅された第２増幅信号に対応する信号とのそれぞれから、１枚ずつの画像を生成してもよい。すなわち、画像処理部９１２は、画像９８２および画像９８０の２つの画像に対応する画像データを生成して、カメラメモリ９２２に保存してもよい。これにより、一度の露光で、増幅率の異なる二つの画像が得られる。

図６は、撮像ユニット９１０の構成の他の一例を説明する図である。図６に示した撮像ユニット９１０は、判定部２２０を有する点で、図２に示した撮像ユニット９１０と異なる。撮像ユニット９１０は、画素部１１０、負荷電流源２０１、列増幅アンプ部３００、判定部２２０、電位保持部４００、読み出し回路５００、垂直走査部６００、制御部７００、ＡＦＥ７１０、および、ＡＤＣ７２０を備える。

判定部２２０は、制御部７００に制御されて、列増幅アンプ部３００が出力する増幅信号を、所定のレベルの信号と比較する。判定部２２０は例えばコンパレータを含んで構成される。判定部２２０は比較した結果を、列増幅アンプ部３００が出力する増幅信号に関連づける。

本例において判定部２２０は、列増幅アンプ部３００により出力される増幅信号が飽和状態であるかを判定する。例えば、第１増幅率は第２増幅率より大きい場合において、判定部２２０は、第１増幅率により増幅された第１増幅信号が飽和状態であるかを判定して、判定した結果を、第１増幅信号および第２増幅信号の、少なくとも一方に関連づける。一例として、第１増幅信号および第２増幅信号は、それぞれの増幅信号に対応する単位画素１００のアドレス、および、入射光の強さに対応した信号に加えて、第１増幅信号が飽和状態であるか否かを示す状態フラグを有する。第１増幅信号が飽和状態であるか否かを示す状態フラグは、例えば１ビットの信号である。

制御部７００は、第２増幅率より大きい第１増幅率により増幅された第１増幅信号が飽和状態でないと状態フラグが示す場合に、第２増幅信号の読み出しを実行しなくてもよい。これにより、読み出しが高速になる。

図７は、撮像装置９００による画像処理を説明するフロー図である。図７のフロー図は、図６に示した撮像ユニット９１０に対応するフローの一例である。フローは、例えば、撮像ユニット９１０が露光されるのに先立って、リセットされる段階から開始する。ステップＳ９５０で、制御部７００は、転送ゲート１０２をオフにして、画素リセットスイッチ１０４をオンにする。これにより、フローティングディフュージョン１０３の電位はリセットされて、リセット電位になる。その後、撮像ユニット９１０は露光されて、光電変換部１０１に入射した光に応じて電荷が発生する。

ステップＳ９５２で、制御部７００は、画素リセットスイッチ１０４をオフにして、転送ゲート１０２をオンにする。これによりフローティングディフュージョン１０３の電位を電荷蓄積後の信号電位にする。そして、制御部７００は、リセット電位から信号電位への変動に対応する画素信号である第１画素信号を垂直信号線２００へ出力させる。

ステップＳ９５４で、制御部７００は列増幅アンプ部３００に、入力キャパシタ３０１と第１の帰還キャパシタ３０３の容量の比で定まる第１増幅率により第１画素信号を増幅させる。そして、制御部７００は、列増幅アンプ部３００に第１増幅率により増幅された第１画素信号である第１増幅信号を出力させる。

ステップＳ９５６で、制御部７００は、判定部２２０に第１増幅信号が飽和状態であるかを判定させる。判定部２２０は、第１増幅信号が飽和状態であると状態フラグが示す場合には、ステップＳ９５６に進む。判定部２２０は、第１増幅信号が飽和状態でないと状態フラグが示す場合には、ステップＳ９６２に進む。判定部２２０は、上述のように、判定した結果を、第１増幅信号および第２増幅信号の、少なくとも一方に関連づけてもよい。

ステップＳ９５８で、制御部７００は、転送ゲート１０２をオフにして、再び画素リセットスイッチ１０４をオンにする。これにより、制御部７００は、フローティングディフュージョン１０３の電位をリセット電位にして、信号電位からリセット電位への変動に対応する画素信号である第２画素信号を出力させる。

ステップＳ９６０で、制御部７００は、列増幅アンプ部３００に、入力キャパシタ３０１と第２の帰還キャパシタ３０５の容量の比で定まる第２増幅率により第２画素信号を増幅させる。また、制御部７００は、列増幅アンプ部３００に第２増幅信号を出力させる。一例として、第２増幅信号は、ステップＳ９５４で出力された第１増幅信号を置き換えて、撮像ユニット９１０から出力される。

ステップＳ９６２で、画像処理部９１２は、撮像ユニット９１０がバス９２６を介して出力した第１増幅信号および第２増幅信号の一方または双方から、画像を生成する。例えば、画像処理部９１２は、飽和状態でない第１増幅信号が出力された領域に対応する画像データの生成に第１画像信号のみを用いる。また、画像処理部９１２は、第２増幅信号が出力された単位画素１００に対応する領域の画像データの生成には、例えば、第２増幅信号のみを用いる。ただし、第１増幅信号を用いて画像データを生成する領域に隣接して、第２増幅信号を用いて画像データを生成する領域が存在する場合に、増幅率が異なることによって該両領域の境界の近傍領域で不自然な画像にならないように、該境界の近傍で画像処理部９１２は画像データを処理してよい。例えば、画像処理部９１２は該境界から所定の範囲内の第２増幅信号を用いる領域の画像データを明るく補正する。画像処理部９１２は上記の処理に判定部２２０が関連づけた判定結果を用いてよい。

カメラシステム制御部９２４および制御部７００は、一連の処理を終了する。以上の一連の処理は、カメラメモリ９２２に保存されたプログラムが、カメラシステム制御部９２４および制御部７００に実行させることができる。

上記において、ステップＳ９６０で制御部７００が列増幅アンプ部３００に出力させた第２増幅信号が、ステップＳ９５４で出力された第１増幅信号を置き換える例を説明したが、これに限られず、ステップＳ９５４で出力された第１増幅信号およびステップＳ９６０で出力された第２増幅信号の双方が撮像ユニット９１０から出力されてもよい。その場合に、画像処理部９１２は第１増幅信号および第２増幅信号の双方を用いて一つの画像を生成してもよい。

以上の例では、１つの光電変換部１０１はそれぞれフローティングディフュージョン１０３、画素リセットスイッチ１０４、画素アンプ１０５、および、選択スイッチ１０６を一つずつ有する構造（４Ｔｒ画素という）を説明したが、４Ｔｒ画素に限らず、フローティングディフュージョン１０３、画素リセットスイッチ１０４、画素アンプ１０５、選択スイッチ１０６が複数の光電変換部１０１で共有される構造を有する撮像ユニット９１０でも上記と同様に動作できる。また、電位保持部４００がもう一組の電位保持部を備えてもよい。これにより、信号の読み出しにかかる時間を短縮することができる。

また、上記の例では、列増幅アンプ部３００に電位保持部４００が接続された例を説明したが、これに限らず、例えば、列増幅アンプ部３００の後段にＡＤＣ７２０を備える撮像ユニット９１０でも同様に動作できる。その場合は、列増幅アンプ部３００に接続されたＡＤＣ７２０は、列増幅アンプ部３００から受信した信号をデジタル信号に変換して、電位保持部４００に出力する。電位保持部４００は、制御部７００が制御するタイミングでデジタル信号を読み出し回路５００に送る。撮像ユニット９１０は、ＤＦＥ（デジタルフロントエンド）を備え、読み出し回路５００は、ＤＦＥに信号を送る。ＤＦＥは受信した信号のレベルをそろえて、バス９２６に出力する。

また、以上の例では、第１増幅率および第２増幅率が予め定められた増幅率である例を説明したが、これに限られず、第１増幅率および第２増幅率を、複数の増幅率から選択して設定してもよい。たとえば、入力キャパシタ３０１と第１の帰還キャパシタ３０３との比で定まる増幅率、入力キャパシタ３０１と第２の帰還キャパシタ３０５との比で定まる増幅率、および、入力キャパシタ３０１と、並列に接続された第１の帰還キャパシタ３０３および第２の帰還キャパシタ３０５との比で定まる増幅率から、第１増幅率および第２増幅率が選択されてもよい。

また、例えば、列増幅アンプ部３００の帰還ループに、帰還キャパシタ選択スイッチおよび帰還キャパシタを、３組以上並列に備えてもよい。３組以上の帰還キャパシタ選択スイッチおよび帰還キャパシタが単独、または、組み合わせられて、それぞれが異なる増幅率に対応してもよい。該異なる増幅率は、それぞれ異なるＩＳＯ感度に対応してもよい。

制御部７００は、受付部９１４が受け付けたユーザ指定のＩＳＯ感度に対応する増幅率を、第１増幅率または第２増幅率のいずれか一方の増幅率として設定してもよい。また、制御部７００は、第１増幅率または第２増幅率の他の一方を、ＡＥセンサ９１６の検出結果から、カメラシステム制御部９２４が演算したＩＳＯ感度に対応する増幅率として設定してもよい。このとき、ＩＳＯ感度に対応する増幅率は、カメラシステム制御部９２４が演算し、制御部７００に送信してよい。制御部７００は、カメラシステム制御部９２４から送られた増幅率に対応して、列増幅アンプ部３００が備える複数の帰還キャパシタのいずれかを単独、または、複数選択して、第１増幅率または第２増幅率を設定してよい。

別の例として、受付部９１４がユーザによるＩＳＯ感度の選択を２つ受け付け、受付部９１４が受け付けた２つのＩＳＯ感度に対応する増幅率を、それぞれ制御部７００に送信してもよい。この場合も、制御部７００が、第１増幅率および第２増幅率を設定してよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。例えば、撮像装置９００は、撮像ユニット９１０の出力をフィードバックして、明るさを検出する検出部として用いてもよい。また、撮像ユニット撮像装置９００による画像処理は図７の例に限られず、図２または図６に示した撮像ユニット９１０は第１増幅信号および第２増幅信号の双方に基づく信号をそれぞれ出力し、画像処理部９１２は一つまたは二つの画像を生成してもよい。図６に示した撮像ユニット９１０が第１増幅信号および第２増幅信号の双方に基づく信号をそれぞれ出力する場合は、画像処理部９１２は判定部が第１増幅信号および第２増幅信号の、少なくとも一方に関連づけた判定結果を用いて、一つの画像を生成してもよい。

また、以上の例では撮像ユニット９１０がＣＭＯＳセンサを備える場合について説明したが、これに限られず、ＣＣＤセンサを備える撮像ユニット９１０にも本発明が適用できる。ＣＣＤセンサを備える撮像ユニット９１０の場合は、例えば、ＣＣＤのシフトレジスタによって転送された信号電荷が、フローティングディフュージョンアンプを用いて電圧に変換される構成を用いることができる。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。

請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 単位画素、１０１ 光電変換部、１０２ 転送ゲート、１０３ フローティングディフュージョン、１０４ 画素リセットスイッチ、１０５ 画素アンプ、１０６ 選択スイッチ、１１０ 画素部、２００ 垂直信号線、２０１ 負荷電流源、２０２ 制御線、２２０ 判定部、３００ 列増幅アンプ部、３０１ 入力キャパシタ、３０２ 列増幅アンプリセットスイッチ、３０３ 第１の帰還キャパシタ、３０４ 第１の帰還キャパシタ選択スイッチ、３０５ 第２の帰還キャパシタ、３０６ 第２の帰還キャパシタ選択スイッチ、３０８ アンプ、４００ 電位保持部、４０２ リセット電位入力スイッチ、４０３ 信号電位入力スイッチ、４０４ リセット電位保持キャパシタ、４０５ 信号電位保持キャパシタ、４０６ リセット電位出力スイッチ、４０７ 信号電位出力スイッチ、５００ 読み出し回路、６００ 垂直走査部、７００ 制御部、７１０ ＡＦＥ、７２０ ＡＤＣ、９００ 撮像装置、９１０ 撮像ユニット、９１２ 画像処理部、９１４ 受付部、９１６ ＡＥセンサ、９１８ ワークメモリ、９２０ 表示部、９２２ カメラメモリ、９２４ カメラシステム制御部、９２６ バス

Claims (14)

1. リセット後のリセット電位と電荷蓄積後の信号電位とに対応する画素信号を出力する画素部と、
   前記画素信号を第１増幅率または第１増幅率とは異なる第２増幅率で増幅するアンプ部と、
   前記アンプ部に、前記リセット電位から前記信号電位への変動に対応する前記画素信号を前記第１増幅率で増幅させた後に、前記信号電位から前記リセット電位への変動に対応する前記画素信号を前記第２増幅率で増幅させる制御部と
   を備える撮像ユニット。
2. 前記画素部は、
   光電変換部と、
   前記光電変換部で発生した電荷をフローティングディフュージョンに転送する転送ゲートと、
   前記フローティングディフュージョンに蓄積された前記電荷を排除し、前記フローティングディフュージョンの電位を前記信号電位から前記リセット電位にリセットする画素リセットスイッチと、
   を有する請求項１に記載の撮像ユニット。
3. 前記第１増幅率は前記第２増幅率よりも大きい請求項１または２に記載の撮像ユニット。
4. 前記制御部は、前記アンプ部により前記第１増幅率で増幅された前記画素信号が飽和しない場合は、前記第２増幅率による前記画素信号の増幅を実行しない請求項３に記載の撮像ユニット。
5. 前記アンプ部により増幅された前記画素信号が飽和状態であるかを判定する判定部を備え、
   前記制御部は、前記第１増幅率で増幅された前記画素信号および前記第２増幅率で増幅された前記画素信号の少なくとも一方に、前記判定部による判定結果を関連づける請求項１から４のいずれか１項に記載の撮像ユニット。
6. 前記アンプ部は、
   前記第１増幅率を規定する第１回路と、
   前記第１回路と並列に設けられ、前記第２増幅率を規定する第２回路と、
   前記第１回路および前記第２回路と並列に設けられ、前記アンプ部をリセットするリセットスイッチを含むリセット回路と
   を有し、
   前記制御部は、前記リセットスイッチをオンにした状態で前記第１回路または前記第２回路を選択した後に、前記リセットスイッチをオフにする請求項１から５のいずれか１項に記載の撮像ユニット。
7. 前記制御部は、前記転送ゲートをオフにして前記画素リセットスイッチをオンにすることにより前記フローティングディフュージョンの電位を前記リセット電位にした後に、前記画素リセットスイッチをオフにして前記転送ゲートを一定期間オンした後にオフすることにより前記フローティングディフュージョンの電位を前記信号電位にして、前記画素部に、前記リセット電位から前記信号電位への変動に対応する前記画素信号を出力させ、さらに、再び前記画素リセットスイッチをオンにすることにより前記フローティングディフュージョンの電位を前記リセット電位にして、前記画素部に、前記信号電位から前記リセット電位への変動に対応する前記画素信号を出力させる請求項２に記載の撮像ユニット。
8. 請求項１から７のいずれか１項に記載の撮像ユニットと、
   前記アンプ部により増幅された複数の前記画素信号を取得して画像データを生成する画像処理部と
   を備える撮像装置。
9. ユーザによるＩＳＯ感度の選択を受け付ける受付部を備え、
   前記制御部は、前記受付部が受け付けた前記ＩＳＯ感度に対応する増幅率を、前記第１増幅率および前記第２増幅率のいずれか一方の増幅率として設定する請求項８に記載の撮像装置。
10. 被写体の明るさを検出する検出部を備え、
    前記制御部は、前記検出部の検出結果に基づいて設定する増幅率を、前記一方とは異なる他方の増幅率として設定する請求項９に記載の撮像装置。
11. ユーザによるＩＳＯ感度の選択を２つ受け付ける受付部を備え、
    前記制御部は、前記受付部が受け付けた２つの前記ＩＳＯ感度に対応する増幅率を、それぞれ前記第１増幅率および前記第２増幅率の増幅率として設定する請求項８に記載の撮像装置。
12. 前記画像処理部は、前記第１増幅率で増幅された前記画素信号が飽和している場合に、前記第２増幅率で増幅された前記画素信号で置き換えて、１枚の画像に対応する画像データを生成する請求項８から１１のいずれか１項に記載の撮像装置。
13. 前記画像処理部は、前記第１増幅率で増幅された前記画素信号と、前記第２増幅率で増幅された前記画素信号のそれぞれを１枚ずつの画像とする画像データを生成する請求項８から１１のいずれか１項に記載の撮像装置。
14. 光電変換部と、前記光電変換部で発生した電荷をフローティングディフュージョンに転送する転送ゲートと、前記フローティングディフュージョンに蓄積された前記電荷を排除し、前記フローティングディフュージョンの電位を信号電位からリセット電位にリセットする画素リセットスイッチと、前記フローティングディフュージョンの電位に基づいて出力される画素信号を増幅するアンプ部とを備える撮像ユニットの制御プログラムであって、
    前記転送ゲートをオフにして前記リセットスイッチをオンにすることにより前記フローティングディフュージョンの電位を前記リセット電位にするステップと、
    前記リセットスイッチをオフにして前記転送ゲートを一定期間オンした後にオフすることにより前記フローティングディフュージョンの電位を前記信号電位にして、前記リセット電位から前記信号電位への変動に対応する前記画素信号である第１画素信号を出力させるステップと、
    前記アンプ部に、前記第１画素信号を第１増幅率により増幅させるステップと、
    再び前記リセットスイッチをオンにすることにより前記フローティングディフュージョンの電位を前記リセット電位にして、前記信号電位から前記リセット電位への変動に対応する前記画素信号である第２画素信号を出力させるステップと、
    前記アンプ部に、前記第２画素信号を第２増幅率により増幅させるステップと
    をコンピュータに実行させる制御プログラム。

Images