JP5625298B2 - 撮像装置 - Google Patents

Description

本発明は、全画素読み出しおよび間引き読み出しが可能なＣＭＯＳイメージセンサ等を含む撮像装置に関するものである。

近年、高い解像度を持つイメージセンサであっても、低い解像度の良質な画像を撮像することが求められている。
たとえば、デジタルスチルカメラで動画を撮影したり、逆にカムコーダーで静止画を撮像したりするなどの機能が一般的になってきている。

また、これらの電子機器では、多くの場合、映像を確認するためのビューファインダーを備えているが、通常、ビューファインダーの解像度は撮像する画像よりも低い。
さらに一部のデジタルスチルカメラや携帯電話などでは、低解像度の撮像時にフレームレートを向上させ、従来は見ることができなかった高速の動きを撮像する機能を搭載している。

以上のように、一つのイメージセンサで、高解像度で低フレームレートの静止画と、比較的低解像度で高フレームレートの動画の両方に対応することが求められている。

これに対して、全ての画素から信号を読み出す全画素モードと、行や列を飛ばしながら間欠的に読み出す間引きモードに対応するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが提案されている。

このＣＭＯＳイメージセンサにおいては、高解像度の静止画を撮影する際には全画素モードを用い、低解像度の動画や高いフレームレートで撮像する際には間引きモードを用いる。

間引きモードにおける動画の撮像において、画質を向上するＣＭＯＳイメージセンサが特許文献１に記載されている。
この方法では、フレーム毎に読み出す画素を変えることで、サンプリングの位相と周波数を異ならせ、モアレを低減する。

特開２００３‐３３８９３３号公報

しかしながら、この方法では、フレーム毎に異なる画像処理が必要で、演算の負荷が大きく、必要とされるメモリの量も大きいという不利益がある。
さらに、間引きモードでは、偶数行と奇数行とでサンプリングする画素の重心がずれてしまうが、特許文献１ではその点に関しては考慮されておらず、重心を補正する処理が別途必要になるという不利益がある。

本発明は、フレームごとに異なる画像処理が不要で、重心を補正する処理を別途設けることなく重心のズレをなくすことができ、ひいてはＳ／Ｎを向上させ、画質を改善することが可能な撮像装置を提供することにある。

本発明の第１の観点の撮像装置は、複数の画素がマトリクス状に配列された画素部と、上記画素部で発生したアナログ信号を変換処理してフィールドデータとして出力する読み出し回路と、動作モード制御信号に応じて上記画素部のいずれの画素から信号を読み出すかを制御するコントローラーと、上記読み出し回路から出力されるフィールドデータに対して信号処理を行い、フレームデータとして出力する信号処理部と、を有し、上記コントローラーは、上記動作モード制御信号が全画素モードを指定している場合には、全ての画素から順次信号を読み出し、上記動作モード制御信号が間引きモードを指定している場合には、ｍ（ｍは任意の整数）フィールド毎に読み出し位置を変えて、異なった画素から信号を読み出すように制御し、上記信号処理部は、上記動作モード制御信号が全画素モードを指定している場合、単一のフィールドのフィールドデータに対して信号処理を行ってフレームデータとして出力し、上記動作モード制御信号が間引きモードを指定している場合において、各行、列における画素のサンプリングの重心が一定となるように、読み出し位置変えたｍ枚の複数のフィールドデータを加算して１枚のフレームデータを生成する。

本発明によれば、フレームごとに異なる画像処理が不要で、重心を補正する処理を別途設けることなく重心のズレをなくすことができ、ひいてはＳ／Ｎを向上させ、画質を改善することができる。

本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。 本撮像装置の加算処理の概念図である。 第１の実施形態において、Ｈ１／４Ｖ１／４間引きモードでｍ＝２の場合の、各フィールドの読み出しアドレスの一例を示す図である。 図３に示すアドレスの画素から信号を読み出した場合の、フィールドデータ２００の一例を示す図である。 第１の実施形態において、フィールドデータＦＬ_２ｎとＦＬ_２ｎ＋１を加算処理して得られたフレームデータＦＭ_２ｎ＋１のサンプリングの重心を示す図である。 本第１の実施形態に係る撮像装置における、各画素のリセット（電子シャッター）および読み出しタイミングの一例を示す図である。 本発明の第２の実施形態に係る撮像装置の各フィールドの読み出しアドレスの一例を示す図である。 第２の実施形態において、フレームデータＦＭ_２ｎ＋１の画素のアドレスにおけるサンプリングの重心を示す図である。 第２の実施形態における、各画素のリセット（電子シャッター）および読み出しタイミングの一例を示す図である。 第３の実施形態において、Ｈ１／４Ｖ１／４間引きモードにて、２画素を加算処理する場合の例を示す図である。

以下、本発明の実施の形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
１．第１の実施形態（撮像装置の第１の構成および機能）
２．第２の実施形態（撮像装置の第２の構成および機能）
３．第３の実施形態（撮像装置の第３の構成および機能）

＜１．第１実施形態＞
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。

本撮像装置１００は、撮像光学系１１０、画素部としての光電変換部１２０、読み出し回路１３０、サンプリングコントローラー１４０、および信号処理部１５０を有する。
光電変換部１２０、読み出し回路１３０、サンプリングコントローラー１４０、信号処理部１５０は、半導体素子として１チップにまとめても良いし、複数チップに分けても良い。

本撮像装置１００は、少なくとも、全ての画素から信号を読み出す全画素モードと、行や列を飛ばしながら間欠的に読み出す間引きモードに対応する機能を有している。
動作モードは、撮像装置１００の外部から入力される動作モード制御信号３００によって切り替えられる。
本撮像装置１００は、間引きモード時、光電変換部１２０からフィールド毎に異なったデータを取得し、それらを加算処理することでフレームのデータを生成して出力する。

撮像光学系１１０は、レンズ、メカニカルシャッターなどで構成される。

光電変換部１２０は、撮像光学系１１０を介して入射される光を受光して光量に応じた電気信号を発生する。
光電変換部１２０は、たとえばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどにより構成される。
光電変換部１２０は、Ｍ行×Ｎ列のマトリクス状に配置されたＭ×Ｎ個の画素を有する。
この画素は、たとえば入射する光量に応じた電荷を発生するフォトダイオードからなる光電変換素子を有する。
マトリクス状に配置された画素の前面には、分光透過率が異なるカラーフィルターを規則的に配列したカラーフィルタアレイが配置される。
カラーフィルタアレイは、たとえばＲＧＢのカラーフィルターで構成したベイヤー配列（後述する図３や図４等参照）やＣＭＹＧのカラーフィルターからなる補色フィルタを用いることができる。

読み出し回路１３０は、光電変換部１２０で発生したアナログの電気信号を読み取り、ＡＤ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ)変換し、フィールドデータ２００として出力する。

サンプリングコントローラー１４０は、動作モード制御信号３００に従い、Ｍ行×Ｎ列に配置された画素の内、いずれの画素から信号を読み出すかを制御する。
サンプリングコントローラー１４０は、動作モード制御信号３００が全画素モードを指定している場合には、全ての画素から順次信号を読み出す。
それに対して動作モード制御信号３００が間引きモードを指定している場合には、サンプリングコントローラー１４０は、フィールド毎に読み出し位置を変えて、異なった画素から信号を読み出す。
たとえば、Ｍ行の内１／４の行を読み出すＶ１／４間引きモードにて２フィールド毎に読み出し位置を変える場合、サンプリングコントローラー１４０は、次の処理を行う。
すなわち、この場合、サンプリングコントローラー１４０は、フィールド２ａでは４ｘ行からデータを読み出し、フィールド２ａ＋１では４ｘ＋２行から信号を読み出す。
ここで、ａ、ｘは任意の整数である。

光電変換部１２０は、サンプリングコントローラー１４０からの信号に従い、特定の行に配置された画素１２１から、電気信号を読み出し回路１３０に出力する。
読み出し回路１３０は、サンプリングコントローラー１４０からの制御信号ＣＴＬに従い、特定の列から電気信号を読み取り、ＡＤ変換して、フィールドデータ２００として出力する。
もしくは、読み出し回路１３０は、サンプリングコントローラー１４０からの制御信号ＣＴＬに従い、すべての列から電気信号を読み取り、ＡＤ変換して、特定の列の信号のみをフィールドデータ２００として出力しても良い。

信号処理部１５０は、読み出し回路１３０から出力されるフィールドデータ２００に対して信号処理を行い、フレームデータ２１０として外部に出力する。
信号処理部１５０は、加算処理部１５１とメモリ１５２を有し、動作モード制御信号３００によって、複数フィールドのフィールドデータ２００を加算処理して出力するか否かを切り替える。
信号処理部１５０は、動作モード制御信号３００が全画素モードを指定している場合、信号処理部は単一のフィールドのフィールドデータ２００に対してのみ信号処理を行い、フレームデータ２１０として出力する。
これに対して、信号処理部１５０は、動作モード制御信号３００が間引きモードを指定している場合、信号処理部は複数のフィールドのデータを加算処理して、フレームデータ２１０として出力する。

間引きモードでは、信号処理部１５０のメモリ１５２は、読み出し回路１３０から出力されるフィールドデータ２００を一時的に保存する。
さらに間引きモードでは、信号処理部１５０の加算処理部１５１は、メモリ１５２に保存された、もしくは読み出し回路１３０から出力された複数のフィールドデータ２００を加算処理する。

具体的には、加算処理部１５１は、複数フィールドのフィールドデータにおいて、同じ座標に位置するデータの加算（もしくは加算平均）を全ての画素について行う。これによって、複数毎の画像データから１枚の画像データを生成する。
読み出し位置をｍ（ｍは任意の整数）フィールド毎に変える場合、加算処理部１５１はｍ枚のフィールドデータ２００を加算して１枚の画像データを生成する。
このとき、メモリ１５２は少なくともｍ−１枚分のフィールドデータ２００を保存する必要がある。

以上のように本撮像装置１００は、間引きモード時にフィールド毎に読み出し位置を変え、複数フィールドのフィールドデータ２００を加算処理してフレームデータ２１０を生成する。

次に、本第１の実施形態における加算処理について説明する。
本撮像装置１００の加算処理では、ｎフィールドのフィールドデータ２００から、１〜ｎ−（ｍ−１）フレーム分のフレームデータを得ることができる。
この加算処理では、ｎフィールドのフィールドデータ２００から、フレームデータ２１０を何フレーム分得るかは、必要なフレームレート等から自由に決めることができる。

図２（Ａ）および（Ｂ）は、本撮像装置の加算処理の概念図である。
図２（Ａ）および（Ｂ）は、読み出し位置を２フィールド毎に変える（ｍ＝２）場合について示している。

図２（Ａ）は、ｎフィールドのフィールドデータ２００から（ｎ−１）フレーム分のフレームデータ２１０を生成する場合の例を示している。
フレームｎのフレームデータＦＭ_ｎは、フィールドｎのフィールドデータＦＬ_ｎとフィールドｎ−１のフィールドデータＦＬ_ｎ−１を加算処理して生成されている。
同様に、フレームｎ＋１のフレームデータＦＭ_ｎ＋１は、フィールドデータＦＬ_ｎ＋１とＦＬ_ｎを加算処理して生成されている。

図２（Ｂ）は、２ｎフィールドのフィールドデータ２００からｎフレーム分のフレームデータ２１０を生成する場合の例である。
フレームｎのフレームデータＦＭ_ｎは、フィールドデータＦＬ_２ｎとＦＬ_２ｎ＋１を加算処理して生成されている。
同様に、フレームｎ＋１のフレームデータＦＭ_ｎ＋１は、フィールドデータＦＬ_{２（ｎ＋１）}とＦＬ_{２（ｎ＋１）＋１}を加算処理して生成されている。

フィールドｎのフィールドデータＦＬ_ｎとフィールドｎ−１のフィールドデータＦＬ_ｎ−１を加算処理してフレームｎのフレームデータＦＭ_ｎを生成する際、本撮像装置１００は同一のアドレスのデータ同士を加算処理する。
すなわち、フレームデータＦＭ_２ｎのＸ行Ｙ列のデータをＦＭＤ_２ｎ（Ｘ，Ｙ）は、フィールドデータＦＬ_２ｎのＸ行Ｙ列のデータをＦＬＤ_２ｎ（Ｘ，Ｙ）とすると、｛ＦＭＤ_２ｎ（Ｘ，Ｙ）＝ＦＬＤ_２ｎ−１（Ｘ，Ｙ）＋ＦＬＤ_２ｎ（Ｘ，Ｙ）｝となる。

次に、フィールドデータ２００の詳細について説明する。
ここでは、Ｍ行の内１／４の行と、Ｎ列の中の１／４の列を読み出すＨ１／４Ｖ１／４間引きモードにて、２フィールド毎に読み出し位置を変える（ｍ＝２）場合を例に説明する。

図３（Ａ）および（Ｂ）は、第１の実施形態において、Ｈ１／４Ｖ１／４間引きモードでｍ＝２の場合の、各フィールドの読み出しアドレスの一例を示している。
図３（Ａ）は２ｎフィールドの、図３（Ｂ）は２ｎ＋１フィールドの読み出しアドレスをそれぞれ示している。
ここでｎは任意の整数である。

図３（Ａ）および（Ｂ）の例では、２ｎフィールドでは、Ｍ行×Ｎ列に配置された画素の中から、４ｘ２ｊ行および４ｘ（２ｊ＋１）＋１行と、４ｘ２ｉ列および４ｘ（２ｉ＋１）＋１列の交点に位置する画素からの信号を読み出している。
ここで、ｉ，ｊは、４ｘ（２ｊ＋１）＋３＜Ｍ、４ｘ（２ｉ＋１）＋３＜Ｎを満たす任意の整数である。
また、２ｎ＋１フィールドでは、４ｘ２ｊ＋２行および４ｘ（２ｊ＋１）＋１行と、４ｘ２ｉ＋２列および４ｘ（２ｉ＋１）＋１列の交点に位置する画素から信号を読み出している。
以上のように、本撮像装置１００は、間引きモード時、フィールド毎に偶数行２ｊ行および偶数列２ｉ列の画素の読み出し位置を変更する。

図４（Ａ）および（Ｂ）は、図３に示すアドレスの画素から信号を読み出した場合の、フィールドデータ２００の一例である。

図４（Ａ）に示すように、フィールド２ｎのフィールドデータＦＬ_２ｎの偶数行２ｊ行には画素の４ｘ２ｊ行、奇数行２ｊ＋１行には画素の４（２ｊ＋１）＋１行のデータが出力される。
偶数列２ｉ行には画素の４ｘ２ｉ列、奇数列２ｉ＋１列には画素の４（２ｉ＋１）＋１列のデータが出力される。

また、図４（Ｂ）に示すように、フィールド２ｎ＋１のフィールドデータＦＬ_２ｎ＋１の偶数行２ｊ行には画素の４ｘ２ｊ＋２行、奇数行２ｊ＋１行には画素の４（２ｊ＋１）＋１行のデータが出力される。
偶数列２ｉ行には画素の４ｘ２ｉ＋２列、奇数列２ｉ＋１列には画素の４（２ｉ＋１）＋１列のデータが出力される。

このようにして得られたフィールドデータ２００では、単一のフィールドだけでは、偶数行と奇数行、偶数列と奇数列で、空間的な位相がずれてしまう。
たとえば、フィールド２ｎについて見てみると、フィールドデータの偶数行２ｊには画素の４ｘ２ｊ行のデータが出力されているのに対して、奇数行２ｊ＋１には画素の４（２ｊ＋１）＋１行のデータが出力されており、サンプリングの重心が１画素分ずれている。列方向についても同様である。
そのため、全画素モードと同様にフィールドデータの偶数行と奇数行とが等ピッチであることを前提として信号処理を行ってしまうと、処理後の画像にジャギが発生してしまう。

これに対して、本撮像装置１００では、読み出し位置を変えた複数のフィールドデータ２００を足し合わせることで、偶数行と奇数行のサンプリングの重心を等ピッチにする。

図５は、フィールドデータＦＬ_２ｎとＦＬ_２ｎ＋１を加算処理して得られたフレームデータＦＭ_２ｎ＋１のサンプリングの重心を示している。

前述の通り、フィールドデータＦＬ_２ｎの偶数行２ｊ行出力されている画素の行アドレスは４ｘ２ｊであり、フィールドデータＦＬ_２ｎ＋１の偶数行２ｊ行に出力されている画素の行アドレスは４ｘ２ｊ＋２である。
よって、フィールドデータＦＬ_２ｎとＦＬ_２ｎ＋１の偶数行２ｊを足し合わせると、行方向のサンプリングの重心が画素の行アドレスの４ｘ２ｊ＋１になる。
一方、フィールドデータＦＬ_２ｎ、ＦＬ_２ｎ＋１共に奇数行２ｊ＋１行に出力されている画素の行アドレスは４ｘ（２ｊ＋１）＋１であり、加算処理後も重心は変わらない。
以上から、フレームデータＦＭ_２ｎ＋１のｋ行目（ｋは０＜４ｋ＜Ｍを満たす任意の整数）のサンプリングの重心は偶数行、奇数行共に４ｋ＋１になり、行による重心のずれが無くなる。

同様に、フィールドデータＦＬ_２ｎの偶数列２ｉ列に出力されている画素の列アドレスは４ｘ２ｉであり、フィールドデータＦＬ_２ｎ＋１の偶数列２ｉ列に出力されている画素の列アドレスは４ｘ２ｉ＋２である。
よって、フィールドデータＦＬ_２ｎとＦＬ_２ｎ＋１の偶数列２ｉを足し合わせると、列方向のサンプリングの重心は画素の列アドレスの４ｘ２ｉ＋１になる。
一方、フィールドデータＦＬ_２ｎ、ＦＬ_２ｎ＋１共に奇数列２ｉ＋１列に出力されている画素の列アドレスは４ｘ（２ｉ＋１）＋１であり、加算処理後も重心は変わらない。
以上から、フレームデータＦＭ_２ｎ＋１のｌ列目（Ｌは０＜４ｌ＜Ｎを満たす任意の整数）のサンプリングの重心は偶数列、奇数列共に４ｌ＋１になり、列による重心のずれが無くなる。

以上のように、本撮像装置１００は、間引きモード時に、読み出し位置を変えた複数のフィールドデータ２００を加算処理してフレームデータ２１０を生成することで、各行、列における画素のサンプリングの重心を一定にして、ジャギを低減することができる。

なお、各フィールドにおける画素の読み出しアドレスは、ｍ枚のフィールドデータを加算した時に、各行、列の重心が揃う様に選択すればよく、図３から図５の例に限定されるものではない。

また、本撮像装置１００では、複数のフィールドデータ２００を加算処理することで、フレームデータ２１０のＳ／Ｎ比を向上する。
たとえば、画素がフォトダイオードを用いて電気信号を発生しており、読み出し位置を２フィールド毎に変える（ｍ＝２）場合について説明する。
簡単にするためにフィールド２ｎと２ｎ＋１で各画素の出力値が等しくＳ_ＦＤであり、ノイズがＮ_ＦＤであるとする。

一般的に、ある程度の光量がある条件では、フォトダイオードが光電変換する際の光ショットノイズがノイズＮ_ＦＤの支配的な要因となり、Ｎ_ＦＤ≒（Ｓ_ＦＤ）^１／２となる。
ここで加算処理後の信号をＳ_ＦＭ、ノイズをＮ_ＦＭとすると、Ｓ_ＦＭ＝２Ｓ_ＦＤ、Ｎ_ＦＭ＝（（Ｎ_ＦＤ）^２＋（Ｎ_ＦＤ）^２）^１／２＝２^１／２Ｎ_ＦＤ＝（２Ｓ_ＦＤ）^１／２となる。
ここで加算処理前と後とでＳ／Ｎ比を比較すると、加算前のＳ／Ｎ比はＳ_ＦＤ／Ｎ_ＦＤ＝（Ｓ_ＦＤ）^１／２、加算処理後のＳ／Ｎ比はＳ_ＦＭ／Ｎ_ＦＭ＝２Ｓ_ＦＤ／（２Ｓ_ＦＤ）^１／２＝（２Ｓ_ＦＤ）^１／２となり、加算処理後にＳ／Ｎ比が２^１／２倍向上していることがわかる。

図６は、本撮像装置１００における、各画素のリセット（電子シャッター）および読み出しタイミングの一例を示している。
図６は、読み出し位置を２フィールド毎に変える（ｍ＝２）場合について示している。横軸は時間、縦軸は画素の行アドレスを示している。

フィールド２ｎの先頭では画素の行アドレス０からデータが読み出される。同様に、フィールド２ｎ＋１の先頭では画素の行アドレス２からデータが読み出される。
本実施形態では、フィールド２ｎと２ｎ＋１の奇数行２ｉ＋１行で、同じ画素の行アドレス４（ｉ＋１）＋１から信号を読み出している。
そのため、各画素の電気信号をリセットしてから信号を読み出すまでの蓄積時間Ｔｅは、１フィールドの長さであるフィールド期間Ｔｆよりも短い必要がある。

以上のように、本実施形態の撮像装置１００によれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ２００を加算処理してフレームデータ２１０を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでＳ／Ｎ比を向上し、画質を改善することができる。

＜２．第２実施形態＞
本発明の第２の実施形態に係る撮像装置の全体構成は、第１の実施形態と同様、図１の構成を採用することができる。

本撮像装置１００Ａは、少なくとも、全ての画素から信号を読み出す全画素モードと、行や列を飛ばしながら間欠的に読み出す間引きモードに対応し、動作モード制御信号３００によって動作モードを制御することができる点も第１の実施形態と同様である。
本撮像装置１００Ａは、間引きモード時、光電変換部１２０からフィールド毎に異なったデータを取得し、それらを加算処理することでフレームのデータを生成して出力する。
第２の実施形態においても、本撮像装置１００Ａは、複数のフィールドデータ２００を加算処理してフレームデータを生成する。
また、第１の実施形態と同様に、フレームデータを生成する際、本撮像装置１００Ａは、フィールドデータの同一のアドレスのデータ同士を加算処理する。

図７は、本発明の第２の実施形態に係る撮像装置の各フィールドの読み出しアドレスの一例を示している。
図７は、Ｍ行の内１／４の行と、Ｎ列の中の１／４の列を読み出すＨ１／４Ｖ１／４間引きモードにて、２フィールド毎に読み出し位置を変える（ｍ＝２）場合の例を示している。

第２の実施形態に係る撮像装置１００Ａでは、加算する複数のフィールド間で、別のアドレスに位置する画素からデータを読み出す。
図７の例では、フィールド２ｎのフィールドデータＦＤ_２ｎの偶数行２ｊ行に対しては画素の行アドレス４ｘ２ｊから信号を読み出し、奇数行２ｊ＋１行に対しては画素の行アドレス４ｘ２ｊ＋３から信号を読み出している。
一方、フィールド２ｎ＋１のフィールドデータＦＤ２_ｎ＋１の偶数行２ｊ行に対しては画素の行アドレス４ｘ２ｊ＋２から信号を読み出し、奇数行２ｊ＋１行には画素の行アドレス４ｘ（２ｊ＋１）＋３から信号を読み出している。
Ｍ行×Ｎ列に配置された画素の中から、４ｘ２ｊ行および４ｘ２ｊ＋３行と、４ｘ２ｉ列および４ｘ（２ｉ＋１）＋１列の交点に位置する画素からの信号を読み出している。
ここで、ｉ，ｊは、４ｘ（２ｊ＋１）＋３＜Ｍ、４ｘ（２ｉ＋１）＋３＜Ｎを満たす任意の整数である。

また、２ｎ＋１フィールドでは、４ｘ２ｊ＋２行および４ｘ（２ｊ＋１）＋３行と、４ｘ２ｉ＋２列および４ｘ（２ｉ＋１）＋１列の交点に位置する画素から信号を読み出している。
ここで、フィールドデータＦＬ_２ｎの偶数列２ｉ列には画素の４ｘ２ｉ列、奇数列２ｉ＋１列には画素の４（２ｉ＋１）＋１列のデータが出力される。
そして、フィールドデータＦＬ_２ｎ＋１の偶数列２ｉ列には画素の４ｘ２ｉ＋２列、奇数列２ｉ＋１列には画素の４（２ｉ＋１）＋１列のデータが出力される点は、第１の実施形態と同様である。

この結果、フィールド２ｎとフィールド２ｎ＋１では、Ｒ、Ｇ、Ｂ全ての画素で、読み出す画素のアドレスが異なっている。
各画素のアドレスを（画素の列アドレス、画素の行アドレス）と示すことにする。
Ｒ画素について見てみると、フィールド２ｎでは（４ｘ２ｉ、４ｘ２ｊ）の画素を読んでいる。これに対して、フィールド２ｎ＋１では（４ｘ２ｉ＋２、４ｘ２ｊ＋２）の画素を読んでいる。
Ｇ画素では、フィールド２ｎでは（４ｘ２ｉ、４ｘ２ｊ＋３）および（４ｘ（２ｉ＋１）＋１、４ｘ２ｊ）の画素を読んでいる。これに対して、フィールド２ｎ＋１では（４ｘ２ｉ＋２、４ｘ（２ｊ＋１）＋３）および（４ｘ（２ｉ＋１）＋１、４ｘ２ｊ＋２）の画素を読んでいる。
さらにＢ画素では、フィールド２ｎでは（４ｘ（２ｉ＋１）＋１、４ｘ２ｊ＋３）の画素を読んでいる。これに対して、フィールド２ｎ＋１では（４ｘ（２ｉ＋１）＋１、４ｘ（２ｊ＋１）＋３）の画素を読んでいる。

以上のようにして読み出したフィールド２ｎと２ｎ＋１のフィールドデータＦＬ_２ｎとＦＬ_２ｎ＋１を加算処理してフレームデータＦＭ_２ｎ＋１を生成した場合でも、フレームデータＦＭ_２ｎ＋１では各行、列のサンプリングの重心が等ピッチになる。

図８は、フレームデータＦＭ_２ｎ＋１の画素のアドレスにおけるサンプリングの重心を示している。

図８において、偶数行２ｊ行の重心は、フィールド２ｎの画素の行アドレスが４ｘ２ｊ、フィールド２ｎ＋１の画素の行アドレスが４ｘ２ｊ＋２であることから、画素の行アドレスの４ｘ２ｊ＋１になる。
一方、奇数行２ｊ＋１行の重心は、フィールド２ｎの画素の行アドレスが４ｘ２ｊ＋３、フィールド２ｎ＋１の画素の行アドレスが４ｘ（２ｊ＋１）＋３であることから、画素の行アドレスの４ｘ（２ｊ＋１）＋１になる。
以上から、フレームデータＦＭ_２ｎ＋１のｋ行目（ｋは０＜４ｋ＜Ｍを満たす任意の整数）のサンプリングの重心は偶数行、奇数行共に４ｋ＋１になり、行による重心のずれが無くなる。

同様に、フィールドデータＦＬ_２ｎの偶数列２ｉ列に出力されている画素の列アドレスは４ｘ２ｉであり、フィールドデータＦＬ_２ｎ＋１の偶数列２ｉ列に出力されている画素の列アドレスは４ｘ２ｉ＋２である。
よって、フィールドデータＦＬ_２ｎとＦＬ_２ｎ＋１の偶数列２ｉを足し合わせると、列方向のサンプリングの重心は画素の列アドレスの４ｘ２ｉ＋１になる。
一方、フィールドデータＦＬ_２ｎ、ＦＬ_２ｎ＋１共に奇数列２ｉ＋１列に出力されている画素の列アドレスは４ｘ（２ｊ＋１）＋１であり、加算処理後も重心は変わらない。
以上から、フレームデータＦＭ_２ｎ＋１のｌ列目（Ｌは０＜４ｌ＜Ｎを満たす任意の整数）のサンプリングの重心は偶数列、奇数列共に４ｌ＋１になり、列による重心のずれが無くなる。

以上のように、本撮像装置１００は、間引きモード時に、読み出し位置を変えた複数のフィールドデータ２００を加算処理してフレームデータ２１０を生成することで、各行、列における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
なお、各フィールドにおける画素の読み出しアドレスは、ｍ枚のフィールドデータを加算したときに、各行、列の重心が揃う様に選択すればよく、図３から図５の例に限定されるものではない。

また、第２の実施形態においても第１の実施形態と同様、複数のフィールドデータ２００を加算処理しているのでフレームデータ２１０のＳ／Ｎ比を向上することができる。

次に、第２の実施形態における各画素の蓄積時間について説明する。
第２の実施形態では、加算する複数のフィールド間で異なった画素から信号を読み出す。そのため各画素では、複数のフィールドにまたがって信号を蓄積することができる。
たとえば、ｍフィールド毎に読み出し位置を変え、ｍ個のフィールドデータを加算処理して１枚のフレームデータを生成する場合、１つのフィールドの期間とＴｆ、各画素の蓄積時間をＴｅとすると、Ｔｅは０＜Ｔｅ＜ｍ×Ｔｆの範囲に設定することができる。

図９は、第２の実施形態における、各画素のリセット（電子シャッター）および読み出しタイミングの一例を示している。
図９は、読み出し位置を２フィールド毎に変える（ｍ＝２）場合について示している。図９において、横軸は時間、縦軸は画素の行アドレスを示している。

フィールド２ｎの先頭では画素の行アドレス０からデータが読み出される。その後、画素の行アドレス０に位置する画素は、フィールド２ｎ＋２まで読み出されない。
以上から、行アドレス０に位置する画素のリセットは、フィールド２ｎの先頭から、フィールド２ｎ＋２の先頭で行うことができる。
そのため、各画素の電気信号をリセットしてから信号を読み出すまでの蓄積時間Ｔｅは、最大でフィールド期間Ｔｆ×２まで設定することができる。
フィールドＴｆを長くすることでも最大の蓄積時間を伸ばすことはできるが、フレームレートが低下してしまう。

これに対して、以上のように、加算処理を行うフィールド間で完全に異なった画素から信号を読み出すことで、最大の蓄積時間をフィールド期間Ｔｆより長くすることができる。
すなわち、フレームレートを一定に保ったまま、最大の蓄積時間を増やすことができる。

以上のように、第２の実施形態の撮像装置によれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ２００を加算処理してフレームデータ２１０を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでＳ／Ｎ比を向上し、画質を改善することができる。
さらに、加算処理を行うフィールド間で完全に異なった画素から信号を読み出すことで、最大の蓄積時間をフィールド期間Ｔｆより長くすることができる。すなわち、フレームレートを一定に保ったまま、最大の蓄積時間を増やすことができる。

＜３．第３実施形態＞
次に、本発明の第３の実施形態について説明する。
第３の実施形態では、間引きモード時に、フィールドデータの中の同色の複数の画素データを加算して重心を揃え、フレームデータを作成する。
本発明の第３の実施形態に係る撮像装置の全体構成は、第１の実施形態と同様、図１の構成を取ることができる。

第３の実施形態におけるサンプリングコントローラー１４０は、動作モード制御信号３００に従い、Ｍ行×Ｎ列に配置された画素の内、いずれの画素から信号を読み出すかを制御する。
サンプリングコントローラー１４０は、動作モード制御信号３００が全画素モードを指定している場合には、全ての画素から順次信号を読み出す。
これに対して、サンプリングコントローラー１４０は、動作モード制御信号３００が間引きモードを指定している場合には、画素の行または列を間欠的に選択し、一部の画素から信号を読み出す。

光電変換部１２０は、第１の実施形態と同様、サンプリングコントローラー１４０からの信号に従い、特定の行に配置された画素１２１から、電気信号を読み出し回路１３０に出力する。
また、読み出し回路１３０は、第１の実施形態と同様、サンプリングコントローラー１４０からの制御信号ＣＴＬに従い、特定の列から電気信号を読み取り、ＡＤ変換して、フィールドデータ２００として出力する。
もしくは、読み出し回路１３０は、サンプリングコントローラー１４０からの制御信号に従い、すべての列から電気信号を読み取り、ＡＤ変換して、特定の列の信号のみをフィールドデータ２００として出力しても良い。

信号処理部１５０は、読み出し回路１３０から出力されるフィールドデータ２００に対して信号処理を行い、フレームデータ２１０として外部に出力する。
信号処理部１５０は、加算処理部１５１とメモリ１５２を有し、動作モード制御信号３００によって、フィールドデータ２００の中の複数の画素データを加算処理して出力するか否かを切り替える。

次に、第３の実施形態におけるフィールドデータ２００と加算処理の詳細について説明する。
図１０は、第３の実施形態において、Ｈ１／４Ｖ１／４間引きモードにて、２画素を加算処理する場合の例を示している。
ここで、フィールドデータ２００の各画素のアドレスを（画素の列アドレス、画素の行アドレス）示すことにする。

図１０の例で、Ｒ画素について見てみると、（４ｘ２ｉ、４ｘ２ｊ）と（４ｘ２ｉ＋２、４ｘ２ｊ＋２）の画素を読み出している。
信号処理部１５０では、この２つの画素を加算処理し、フレームデータ２１０の（２ｉ、２ｊ）のデータとして出力する。
さらにＧ画素では、（４ｘ２ｉ、４ｘ２ｊ＋３）と（４ｘ２ｉ＋２、４ｘ（２ｊ＋１）＋３）とを加算処理する。そして、フレームデータ２１０の（２ｉ、２ｊ＋１）のデータを、（４ｘ（２ｉ＋１）＋１、４ｘ２ｊ）と（４ｘ（２ｉ＋１）＋１、４ｘ２ｊ＋２）とを加算処理して、フレームデータ２１０の（２ｉ＋１、２ｊ）のデータを出力する。
また、Ｂ画素では、４ｘ（２ｉ＋１）＋１、４ｘ２ｊ＋３）と（４ｘ（２ｉ＋１）＋１、４ｘ（２ｊ＋１）＋３）とを加算して、フレームデータ２１０の（２ｉ＋１、２ｊ＋１）のデータを出力する。

以上のように、複数の画素を加算処理することで、フレームデータの各行、列の、サンプリングの重心を揃えることができる。
たとえば、フレームデータ２１０の（２ｉ、２ｊ）に出力されるＲ画素では、サンプリングの重心は（４ｘ２ｉ＋１、４ｘ２ｊ＋１）になっている。
また、フレームデータ２１０の（２ｉ＋１、２ｊ＋１）に出力されるＢ画素では、（４ｘ２（ｉ＋１）＋１、４ｘ２（ｊ＋１）＋１）になっている。
すなわち、フレームデータのｋ行目（ｋは０＜４ｋ＜Ｍを満たす任意の整数）のサンプリングの重心は偶数行、奇数行共に４ｋ＋１になる。ｌ列目（Ｌは０＜４ｌ＜Ｎを満たす任意の整数）のサンプリングの重心は偶数列、奇数列共に４ｌ＋１になり、行、列による重心のずれが無くなる。

以上のように、本撮像装置１００Ｂは、間引きモード時に、フィールドデータ２００の複数の画素を加算処理してフレームデータ２１０を生成することで、各行、列における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
なお、フィールドデータにおける画素の読み出しアドレスは、複数の画素を加算した時に、各行、列の重心が揃う様に選択すればよく、図１０の例に限定されるものではない。

以上のように、本発明の第３の実施形態では、行毎に加算処理を行うことができる。この様な加算処理は順次１行ずつ行うことができる。そのため、メモリ１５２のサイズは、最低限１行分があれば良い。
また、第３の実施形態においても第１の実施形態と同様、複数の画素データを加算処理してフレームデータ２１０を生成しておりＳ／Ｎ比を向上することができる。
本撮像装置１００Ｂにおける、蓄積時間Ｔｅは、第１の実施形態同様、フィールド期間Ｔｆよりも短い必要がある。

以上のように、第３の実施形態の撮像装置１００Ｂによれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ２００を加算処理してフレームデータ２１０を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでＳ／Ｎ比を向上し、画質を改善することができる。
さらに行毎に順次加算処理を行うことができるので、メモリ１５２に必要とされるサイズが１行分と小さくすることができる。

以上説明したように、第１実施形態、第２実施形態、および第３の実施形態によれば、以下の効果を得ることができる。
本願発明の第１の実施形態における撮像装置によれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ２００を加算処理してフレームデータ２１０を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでＳ／Ｎ比を向上し、画質を改善することができる。

また、本願発明の第２の実施形態の撮像装置によれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ２００を加算処理してフレームデータ２１０を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでＳ／Ｎ比を向上し、画質を改善することができる。
さらに加算処理を行うフィールド間で完全に異なった画素から信号を読み出すことで、最大の蓄積時間をフィールド期間Ｔｆより長くすることができる。
すなわち、フレームレートを一定に保ったまま、最大の蓄積時間を増やすことができる。

さらに、本願発明の第３の実施形態の撮像装置によれば、間引きモード時に、読み出し位置を変えた複数のフィールドデータ２００を加算処理してフレームデータ２１０を生成する。
これにより、各行における画素のサンプリングの重心を一定にして、ジャギを低減することができる。
また、複数フィールドを加算してフレームデータを生成することでＳ／Ｎ比を向上し、画質を改善することができる。
さらに行毎に順次加算処理を行うことができるので、メモリ１５２に必要とされるサイズが１行分と小さくすることができる。

１００，１００Ａ，１００Ｂ・・・撮像装置、１１０・・・撮像光学系、１２０・・・光電変換部、１３０・・・読み出し回路、１４０・・・サンプリングコントローラー、１５０・・・信号処理部、１５１・・・加算処理部、１５２・・・メモリ、２００・・・フィールドデータ、３００・・・動作モード制御信号。

Claims (6)

1. 複数の画素がマトリクス状に配列された画素部と、
   上記画素部で発生したアナログ信号を変換処理してフィールドデータとして出力する読み出し回路と、
   動作モード制御信号に応じて上記画素部のいずれの画素から信号を読み出すかを制御するコントローラーと、
   上記読み出し回路から出力されるフィールドデータに対して信号処理を行い、フレームデータとして出力する信号処理部と、を有し、
   上記コントローラーは、
   上記動作モード制御信号が全画素モードを指定している場合には、全ての画素から順次信号を読み出し、
   上記動作モード制御信号が間引きモードを指定している場合には、ｍ（ｍは任意の整数）フィールド毎に読み出し位置を変えて、異なった画素から信号を読み出すように制御し、
   上記信号処理部は、
   上記動作モード制御信号が全画素モードを指定している場合、単一のフィールドのフィールドデータに対して信号処理を行ってフレームデータとして出力し、
   上記動作モード制御信号が間引きモードを指定している場合において、各行、列における画素のサンプリングの重心が一定となるように、読み出し位置変えたｍ枚の複数のフィールドデータを加算して１枚のフレームデータを生成する
   撮像装置。
2. 上記信号処理部は、
   読み出し位置を変えた複数のフィールドデータを足し合わせることで、偶数行と奇数行のサンプリングの重心を等ピッチにする
   請求項１記載の撮像装置。
3. 上記信号処理部は、
   上記動作モード制御信号が間引きモードを指定している場合、各行、列のサンプリング重心が揃うように、複数のフィールドのデータの加算処理を行う
   請求項１または２記載の撮像装置。
4. 各フィールドにおける画素の読み出しアドレスは、複数枚のフィールドデータを加算したときに、各行、列のサンプリング重心が揃うように選択されている
   請求項１から３のいずれか一に記載の撮像装置。
5. 上記信号処理部は、
   複数フィールドのフィールドデータにおいて、同じ座標に位置するデータの加算もしくは加算平均を全ての画素について行うことによって、複数の画像データから１枚の画像データを生成する
   請求項１から４のいずれか一に記載の撮像装置。
6. 上記コントローラーは、
   上記信号処理部で加算する複数のフィールド間で、別のアドレスに位置する画素からデータを読み出すように制御する
   請求項１から５のいずれか一に記載の撮像装置。

Images