JP6451315B2 - 撮像装置 - Google Patents

Description

本発明は、垂直色分離型の撮像素子を有し、動画撮影に適した撮像装置に関する。

デジタルスチルカメラには、レンズを通して集光された光を受光して電気信号に変える撮像素子が内蔵されている。カメラメーカー各社が主に使用している撮像素子はカラーフィルタを水平方向に規則的に並べた並列色分離型の撮像素子であり、その殆どがベイヤー配列を用いている。

またベイヤー配列型の撮像素子を内蔵するデジタルスチルカメラには、静止画の撮影機能だけでなく動画撮影機能も搭載される傾向にある。

ベイヤー配列型の撮像素子を内蔵し、動画撮影も可能なデジタルスチルカメラに関する技術として特許文献１が挙げられる。この技術は、ベイヤー配列型の撮像素子とその撮像素子の前面に配置されたカラーフィルタを有し、静止画の場合と動画の場合とで画素の信号の読み出し方法を選択できる読み出し手段を有することを特徴とする。静止画撮影の場合は画素を間引かずに画素の信号を読み出し、動画撮影の場合には画素を間引いて読み出しを行う。これにより、静止画の撮影だけでなく動画の撮影にも適した撮像装置を提供することができる、としている。

上記した通りデジタルスチルカメラに搭載される撮像素子はベイヤー配列型のものが主流となっている。しかし、ベイヤー配列型の撮像素子は一画素につき１色のみを読み出すためデータ処理の面では優れているが、色補間処理を行う必要があるため偽色が発生するという課題があった。また、この偽色の発生を防ぐためにカメラ内にローパスフィルタを搭載することによって生じる解像度の低下も問題視されていた。

一方で垂直色分離型の撮像素子が存在し、ベイヤー配列型の撮像素子における問題点が生じないという利点を有している。垂直色分離型の撮像素子として、特許文献２の技術が挙げられる。この技術は垂直方向に３層の感光層が積層された撮像素子であり、光深度の違いによってＲＧＢの３色を識別することを特徴としている。１画素につき３色の色情報を読み出すことができるため、ベイヤー配列型の撮像素子のように色情報を補間する必要がなく偽色も発生しない。偽色が発生しないためローパスフィルタの搭載が不要となり、ベイヤー配列型の撮像素子に比べて画質が飛躍的に向上されるという利点があった。

特開平９−２４７６８９号公報 特表２００２−５１３１４５号公報

しかしながら、上記した垂直色分離型の撮像素子を搭載したデジタルスチルカメラは、読み出す色情報量の違いから、ベイヤー配列型のものと比べるとデータ処理時間が長いという課題があった。動画撮影の場合には、処理するデータ量の増大に対しフレームレートによる処理時間の制約があり、同様のデータ処理方法では処理が追い付かなくなり動画が途中で途切れるといった問題が生じるおそれがある。このため、垂直色分離型撮像素子は動画撮影には不向きであるとされていた。

本発明はこのような状況に鑑みてなされたものであり、垂直色分離型の撮像素子によって得た色情報を間引いて配列パターンの異なるベイヤー配列を複数読み出し、その複数のベイヤー配列から３色の色情報を全て得ることにより、滑らかで偽色発生のない動画の撮影が可能な撮像装置を提供することを目的する。

上記目的を達成するために、本発明を実施の撮像装置は、第１色成分、第２色成分、第３色成分をそれぞれ光電変換可能な垂直色分離型画素が２次元方向に複数配置された撮像部と、前記複数の垂直色分離型画素から前記各色成分をそれぞれ独立して読み出し可能な読み出し制御部と、読み出された前記各色成分から成るＲＡＷフレームから、動画を構成する動画フレームを生成する信号処理部と、前記ＲＡＷフレームを一時的に保存するメモリ部と、を有し、前記読み出し制御部により、前記垂直色分離型画素から読み出される前記各色成分は、同一の前記ＲＡＷフレームにおいては上下左右で異なり、時系列方向に連続する前記ＲＡＷフレームにおいては前後する前記ＲＡＷフレームで異なり、前記信号処理部は、前記メモリ部に保存された連続する所定の枚数の前記ＲＡＷフレームを１サイクルとしたとき、前記１サイクルで得られた前記各色成分から１枚の前記動画フレームを生成することを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、前記ＲＡＷフレームが、前記撮像部において間引き読み出しと画素結合読み出しの少なくとも一方により得られた前記各色成分から成ることを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、前記１サイクルが、３枚又は４枚の連続する前記ＲＡＷフレームから成ることを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、前記第１色成分がＲ成分、前記第２色成分がＧ成分、前記第３色成分がＢ成分であることを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、前記１サイクルの読み出し順序が、読み出された前記各色成分において、Ｒ成分、Ｇ成分、Ｂ成分、Ｇ成分の順番から成るＲＧＢＧ読み出しサイクルであり、前記読み出し制御部は、動画撮影中、前記ＲＧＢＧ読み出しサイクルを繰り返すことを特徴とする。

さらに本発明を実施の撮像装置は、上記発明において、前記１サイクルの読み出し順序が、読み出された前記各色成分において、Ｒ成分、Ｇ成分、Ｂ成分の順番から成るＲＧＢ読み出しサイクルであり、前記読み出し制御部は、動画撮影中、前記ＲＧＢ読み出しサイクルを繰り返すことを特徴とする。

本発明によれば、垂直色分離型の撮像素子を用いた撮像装置において、滑らかで偽色発生のない動画を撮影することができる。

本発明の一実施形態である撮像装置の主要な構成を示したブロック図である。 図１に示した撮像装置に実装される撮像素子の単一画素を単純化した断面図である。 図２に示した単一画素の簡略化した等価回路図である。 静止画撮影における色成分信号の読み出しを説明するタイミングチャートである。 動画撮影における色成分信号の読み出しを説明するタイミングチャートである。 動画撮影における読み出しサイクルの一例を示した概念図である。 ２サイクル目以降のＲＡＷフレーム読み出しを説明するフローチャートである。 動画撮影における色成分信号の読み出しを説明するタイミングチャートの第２の実施例である。 動画撮影における読み出しサイクルの一例を示した概念図の第２の実施例である。 動画撮影における色成分信号の間引き読み出しのパターンの一例である。 動画撮影における色成分信号の間引き読み出しと画素結合の組み合わせパターンの一例である。

以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。

図１に示すブロック図には、本発明の一実施形態である撮像装置の主要な構成が示されている。本図に示す撮像装置１００は、撮影光学系１１０と、撮像素子２００と、読み出し制御部１３０と、信号処理部１５０と、メモリ部１５１と、カメラＣＰＵ１７０と、ユーザインターフェース（Ｉ／Ｆ）１７１と、記録媒体インターフェース（Ｉ／Ｆ）１７２と、画像表示部１９０と、を備えている。

撮影光学系１１０は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、簡単のために１枚のレンズのみ記載している。

撮像素子２００は、撮影光学系１１０により集光された光線を受光して光電変換し、画像データを出力する。本実施形態の撮像素子２００としては、ＣＭＯＳイメージセンサが用いられている。

撮像素子２００の受光面は多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各色成分信号を出力可能な垂直色分離型のイメージセンサである。垂直色分離型のイメージセンサについて詳しくは後述する。

読み出し制御部１３０は、撮像素子２００の駆動タイミングを決定するための信号を出力する。これにより画素毎の水平駆動並びに垂直駆動が制御され、各画素からＲＧＢの各色成分信号が読み出される。この読み出し制御部１３０は、さらに、画素から読み出す色成分についても制御する。

本実施例の撮像素子２００には、画素から読み出した色成分信号を増幅するゲイン可変アンプやゲイン値を補正するためのゲイン補正回路、アナログ画像信号をデジタル変換するＡ／Ｄコンバータが内蔵されている。

撮像素子２００から出力された色成分信号は一旦メモリ部１５１に記録される。メモリ部１５１は、この他にも各種データのバッファとして機能する。

信号処理部１５０は、メモリ部１５１に記録された色成分信号に対して各種の画像処理を施す。ここで施される処理としては、例えば、色成分信号から所定の形式のＲＡＷデータを生成する処理や、ホワイトバランス処理、色再現処理がある。また、ＪＰＥＧ形式やＴＩＦＦ形式の画像データへの現像処理も信号処理部１５０で行われる。

カメラＣＰＵ１７０は、撮像装置１００全体の包括的な制御を行う。また、カメラＣＰＵ１７０は、読み出し制御部１３０の制御を行う。

ユーザインターフェース（Ｉ／Ｆ）１７１は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラＣＰＵ１７０は所定の動作を行う指示を出す。静止画撮影モードと動画撮影モードの切り替えに用いる操作部材も、このＩ／Ｆ１７１に含まれる。

記録媒体インターフェース（Ｉ／Ｆ）１７２は、不図示の記録媒体との間でＲＡＷデータや現像後の画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。

画像表示部１９０は、信号処理部１５０で処理された画像データや、不図示の記録媒体から読み出された画像データ等を表示する。

なお、上述したゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを内蔵していない撮像素子２００を採用する場合には、これらのデバイスを個別に搭載すればよい。

図２は、撮像装置１００に実装される撮像素子２００の単一画素を単純化して示した断面図である。上述したように、本実施形態の撮像素子２００はいわゆる垂直色分離型のイメージセンサであり、各画素には、深さ方向に３つのフォトダイオードが積層して形成されている。

ある画素に光が入射すると、入射光中の青色（Ｂ）成分は最上面に位置するフォトダイオード２１０で光電変換される。同様に、入射光中の緑色（Ｇ）成分は中間深さに位置するフォトダイオード２３０で光電変換され、赤色（Ｒ）成分は最下層に位置するフォトダイオード２５０で光電変換される。これらの、垂直方向の色分離は撮像素子２００の材料として用いるシリコン（Ｓｉ）の特性を利用したものである。

これら３つのフォトダイオードは、Ｓｉ基板の内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、Ｂ成分用フォトダイオード２１０は、約０．２〜０．５μｍの間の深さに形成され、Ｇ成分用フォトダイオード２３０は、約０．５〜１．５μｍの間の深さに形成され、Ｒ成分用フォトダイオード２５０は、約１．５〜３．０μｍの間の深さに形成される。

図３は、図２に示した撮像素子２００における単一画素の簡略化した等価回路図である。本図に示した等価回路を用いることで、撮像素子２００内の各フォトダイオードにおける光電変換により生成された電荷をフォトダイオードの外部に読み出すことができる。

上述したように、撮像素子２００の各画素は、Ｂ成分用フォトダイオード２１０、Ｇ成分用フォトダイオード２３０、及びＲ成分用フォトダイオード２５０を有している。各フォトダイオードのアノードは接地されており、各フォトダイオードのカソードは、３つの色に対するフローティングディフュージョン（ＦＤ）部２０１を備えている。

フォトダイオード２１０、２３０、及び２５０のカソードは、各々の選択トランジスタを介してＦＤ部２０１に接続されている。詳しくは、Ｂ成分選択トランジスタ２１１は、Ｂ成分用フォトダイオード２１０のカソードとＦＤ部２０１との間に接続され、Ｂ成分選択トランジスタ２１１のゲートは、Ｂ成分選択線２１２に接続される。Ｇ成分選択トランジスタ２３１は、Ｇ成分用フォトダイオード２３０のカソードとＦＤ部２０１との間に接続され、Ｇ成分選択トランジスタ２３１のゲートは、Ｇ成分選択線２３２に接続される。Ｒ成分選択トランジスタ２５１は、Ｒ成分用フォトダイオード２５０のカソードとＦＤ部２０１との間に接続され、Ｒ成分選択トランジスタ２５１のゲートは、Ｒ成分選択線２５２に接続される。

ＶＤＤ線２０２とＦＤ部２０１との間には、共通のリセットトランジスタ２０３が接続されている。リセットトランジスタ２０３のゲートは、リセット線２０４に接続される。

ＦＤ部２０１にはソースフォロワトランジスタ２０５のゲートが接続され、そのドレインはＶＤＤ線２０２に接続され、そのソースは行選択トランジスタ２０６のドレインに接続されている。行選択トランジスタ２０６のソースは定電流源２０７に接続され、そのゲートは行選択線２０８に接続されている。

なお、上述した撮像素子２００の等価回路図は一例であり、これに限られるものではない。例えば、本図ではＦＤ部は各フォトダイオードに共通して１つ設けられているが、各フォトダイオードにＦＤ部を別個に設けてもよい。

その場合、各フォトダイオードの選択トランジスタのカソードにそれぞれ個別のＦＤ部が接続され、それらの各ＦＤ部はさらに共通のソースフォロワトランジスタのゲートに接続する。また、各ＦＤ部とＶＤＤ線との間には、それぞれ個別のリセットトランジスタを接続することで構成される。

本発明の撮像装置１００を用いて静止画を撮影する場合において、撮像素子２００内の各画素からの各色成分信号の読み出しについて、図を参照しながら詳しく説明する。図４は、単一画素からＲＧＢ全ての色成分信号を１度だけ読み出す、すなわち、静止画の撮影を説明するためのタイミングチャートの一例である。

静止画撮影モードが選択された撮像装置１００を用いて撮影者が静止画を撮影する場合を考える。撮影者によりレリーズ操作が行われると、撮影光学系１１０を介して被写体光が撮像素子２００に入射して露光される。撮像素子２００内の各フォトダイオードにおいて入射光が光電変換され、電荷の生成及び蓄積が完了すると、まず、行選択線２０８がＨｉｇｈにされ、読み出す行が選択される。それと同時に、リセット線２０４がＨｉｇｈにされ、これによりＦＤ部２０１がリセットされる。

本実施形態では、本図に示すように、Ｒ成分、Ｇ成分、Ｂ成分の順に読み出されるので、まず、Ｒ成分選択線２５２がＨｉｇｈにされ、Ｒ成分用フォトダイオード２５０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｒ成分信号が画素中から読み出される。

続いて、再度リセット線２０４がＨｉｇｈにされ、これによりＦＤ部２０１がリセットされる。次に、Ｇ成分選択線２３２がＨｉｇｈにされ、Ｇ成分用フォトダイオード２３０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｇ成分信号が画素中から読み出される。

続いて、再度リセット線２０４がＨｉｇｈにされ、これによりＦＤ部２０１がリセットされる。次に、Ｂ成分選択線２１２がＨｉｇｈにされ、Ｂ成分用フォトダイオード２１０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｂ成分信号が画素中から読み出される。

以上で、単一画素からＲＧＢ全ての色成分信号の読み出しが完了するので、行選択信号がＬｏｗにされる。なお、各色成分信号の読み出し順序は一例であり、これに限られない。

撮像素子２００内の各画素から読み出された色成分信号は信号処理部１５０によって処理が施され、１枚のＲＡＷフレームとしてメモリ部１５１に保存される。撮像装置１００の設定によっては信号処理部１５０において所定の画像処理が施された後、記録媒体Ｉ／Ｆ１７２を介して不図示の記録媒体に記録される。

次に、本発明の撮像装置１００を用いてカラー動画を撮影する場合において、撮像素子２００内の各画素からの各色成分信号の読み出しについて、図を参照しながら詳しく説明する。図５は、単一画素からカラー動画を生成するためのＲＧＢ各色成分信号の読み出しを説明するためのタイミングチャートの一例である。なお、各色成分信号の読み出し順序は一例であり、これに限られない。

動画撮影モードが選択された撮像装置１００を用いて撮影者がカラー動画を撮影する場合を考える。撮影者によりレリーズ操作が行われると、撮影光学系１１０を介して被写体光が撮像素子２００に入射して露光される。撮像素子２００内の各フォトダイオードにおいて入射光が光電変換され、電荷の生成及び蓄積が完了すると、まず行選択線２０８がＨｉｇｈにされ、読み出す行が選択される。それと同時に、リセット線２０４がＨｉｇｈにされ、これによりＦＤ部２０１がリセットされる。

本実施例では、まず、Ｒ成分選択線２５２がＨｉｇｈにされ、Ｒ成分用フォトダイオード２５０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｒ成分信号が画素中から読み出される。

読み出し完了後、行選択線２０８がＬｏｗにされる。これにより、この単一画素に対応するＲ成分ＲＡＷフレームが生成される。この点が、上述した静止画撮影時のタイミングチャートと異なる。

続いて、再度行選択線２０８及びリセット線２０４がＨｉｇｈにされ、これによりＦＤ部２０１がリセットされる。これにより、読み出されなかったＧ成分信号とＢ成分信号とが廃棄される。また、各フォトダイオードにおいて入射光が光電変換され、電荷の生成及び蓄積が行われる。

次に、Ｇ成分選択線２３２がＨｉｇｈにされ、Ｇ成分用フォトダイオード２３０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｇ成分信号が画素中から読み出される。読み出し完了後、行選択線２０８がＬｏｗにされ、Ｇ成分ＲＡＷフレームが生成される。

続いて、再度行選択線２０８及びリセット線２０４がＨｉｇｈにされ、同様にＦＤ部２０１のリセット（Ｂ成分信号とＲ成分信号の廃棄）、露光及び電荷の蓄積が行われる。

次に、Ｂ成分選択線２１２がＨｉｇｈにされ、Ｂ成分用フォトダイオード２１０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｂ成分信号が画素中から読み出される。読み出し完了後、再度行選択線２０８がＬｏｗにされ、Ｂ成分ＲＡＷフレームが生成される。

続いて、再度行選択線２０８及びリセット線２０４がＨｉｇｈにされ、同様にＦＤ部２０１のリセット（Ｒ成分信号とＧ成分信号の廃棄）、露光及び電荷の蓄積が行われる。

次に、Ｇ成分選択線２３２がＨｉｇｈにされ、Ｇ成分用フォトダイオード２３０に蓄積された電荷がＦＤ部２０１に移動し、さらにＶｏｕｔから出力される。これにより、Ｇ成分信号が画素中から読み出される。読み出し完了後、行選択線２０８がＬｏｗにされ、Ｇ成分ＲＡＷフレームが生成される。

以上で、単一画素からＲＧＢ全ての色成分信号の読み出しが完了するが、本実施形態の動画撮影ではＲ成分、Ｇ成分、Ｂ成分、Ｇ成分の順番で色成分信号を読み出しており、動画撮影が終了するまでこのＲＧＢＧ読み出しサイクルを繰り返す。

図６は、上述したＲＧＢＧ読み出しサイクルにより得られるＲＡＷフレームを、２×２の画素ブロックに限定して示した概念図であり、また、動画フレームの生成方法の一例を示している。

図６は、本発明の撮像素子２００から、縦横に２個ずつの単一画素からなる２×２の画素ブロックを抜き出したものであり、ＲＡＷフレーム読み出し動作を行う度に、次回に読み出すＲＡＷフレームの色成分が変化していく過程を示している。本図では、左から右に進むにつれて時間が経過していくものとする。また、便宜上、画素ブロックから読み出される２つのＧ成分信号を、それぞれＧ１成分信号とＧ２成分信号とに区別することとする。

詳しくは、まず、左端のＲＡＷフレームでは、左上の単一画素からはＲ成分信号が読み出され、右上の単一画素からはＧ１成分信号が読み出され、右下の単一画素からはＢ成分信号が読み出され、左下の単一画素からはＧ２成分信号が読み出されることがわかる。次のＲＡＷフレームでは、左上の単一画素からはＧ１成分信号が読み出され、右上の単一画素からはＢ成分信号が読み出され、右下の単一画素からはＧ２成分信号が読み出され、左下の単一画素からはＲ成分信号が読み出されることがわかる。

各単一画素に注目すると、各ＲＡＷフレームにおいて常に上下左右の単一画素とは異なる色成分信号が読み出されていることがわかる。

以降も同様にして、各ＲＡＷフレームにおいて読み出される色成分信号がＲＧＢＧの順番で変化していき、４フレーム分のＲＡＷフレームの読み出しを終えると１サイクルが終了し、１つ目のＲＡＷフレームの読み出しパターンに戻る。なお、上述したＲＧＢＧ読み出しサイクルの場合、２×２の画素ブロックに注目すると、いわゆるベイヤーパターンが左回転を続けているように見える。この場合のサイクルを詳しく書くとＲＧ１ＢＧ２サイクルとなる。

一方で、読み出しをＲＧ２ＢＧ１サイクルで行った場合、２×２の画素ブロックはベイヤーパターンが右回転を続けているように見える。

上述したＲＧＢＧ読み出しサイクルで４枚の連続するＲＡＷフレームを取得すると、各画素においてＲＧＢ各色成分信号が１回ずつ読み出されることになる。従って、全画素のＲＧＢ各色成分信号が揃うので、信号処理部１５０はこれらの各色成分信号から動画フレームを１枚生成する。すなわち、４枚のＲＡＷフレームから１枚の動画フレームが生成される。

図７は、上述したＲＧＢＧサイクルの読み出しにおいて、２サイクル目以降のＲＡＷフレーム読み出しの流れを説明するためのフローチャートである。

１サイクル目のＲＡＷフレームの読み出し及び１枚目の動画フレームの生成が終了すると、読み出し制御部１３０は、上述したＲＧＢＧサイクルに基づいて、撮像素子２００の各画素から読み出す色成分信号を変更する。（ステップＳ１０１）具体的には、図５に示したタイミングチャートに従って、読み出し制御部１３０は、各画素において次に読み出すべき色成分信号に対応する選択信号線をＨｉｇｈにし、色成分信号の変更及び読み出しを行う。（ステップＳ１０２）

読み出された各色成分信号は保存するためにメモリ部１５１に送られるが、上述したように、すでに１サイクル目の４枚のＲＡＷフレームが読み出されており、各画素においてＲＧＢ各色成分信号は保存済みとなっている。

そこで、今回読み出された各色成分信号は、すでにメモリ部１５１内に保存済みの対応する色成分信号を更新する形で保存が行われる。（ステップＳ１０３）

例えば、図６の５枚目のＲＡＷフレーム（一番右）が読み出されたときを考える。このときに読み出される色成分信号のパターンは１枚目のＲＡＷフレーム（一番左）と同じである。そこで、５枚目の読み出しで得られた各色成分信号によって、メモリ部１５１内に保存されている１枚目の読み出しで得られた各色成分信号を上書きして更新する。

一部の色成分信号の更新が行われ、全画素に対して新たなＲＧＢ各色成分信号が揃うと、これらの信号に基づき、信号処理部１５０は動画フレームを１枚生成する。（ステップＳ１０４）２枚目以降の動画フレームの生成に関しては、１枚のＲＡＷフレーム読み出しに対して１枚の動画フレーム生成が行われることがわかる。

次に、カメラＣＰＵ１７０は動画の撮影が終了したがどうかを判断する。（ステップＳ１０５）動画撮影が終了していない場合、ステップＳ１０１に戻り、ＲＧＢＧ読み出しサイクルに基づいた色成分信号の読み出し、更新及び動画フレームの生成を続ける。

一方、撮影者によりレリーズ操作が行われると、カメラＣＰＵ１７０は動画撮影を終了させる。生成された動画フレームは、撮像装置１００のモードに応じて、いわゆるライブビュー映像として画像表示部１９０に表示されたり、動画ファイルとして記録媒体Ｉ／Ｆ１７２に記録されたりする。

上述した実施例では、動画撮影時の撮像素子２００からの各色成分信号読み出しサイクルとしてＲＧＢＧ読み出しサイクルを説明したが、この他の実施例について、図を参照しながら詳しく説明する。図８は、色成分信号の読み出しサイクルについて、第２の実施例であるＲＧＢ読み出しサイクルを説明するためのタイミングチャートの一例である。なお、各色成分信号の読み出し順序は一例であり、これに限られない。

本実施例のＲＧＢ読み出しサイクルは、上述したＲＧＢＧ読み出しサイクルと比べて４つ目の色成分（図５ではＧ成分信号）の読み出しが省略されたサイクルとなっている。従って、本図のＲ成分信号、Ｇ成分信号、Ｂ成分信号の読み出しについては上述した実施例と同様であるので、説明を省略する。

本実施例において、３つ目のＢ成分信号の読み出しが完了し、対応するＲＡＷフレームが生成されると１サイクルが終了する。そして、動画撮影が終了するまでこのＲＧＢ読み出しサイクルを繰り返す。

図９は、上述したＲＧＢ読み出しサイクルにより得られるＲＡＷフレームを、２×２の画素ブロックに限定して示した概念図であり、また、動画フレームの生成方法の一例を示している。

図９は、本発明の撮像素子２００から、縦横に２個ずつの単一画素からなる２×２の画素ブロックを抜き出したものであり、ＲＡＷフレーム読み出し動作を行う度に、次回に読み出すＲＡＷフレームの色成分が変化していく過程を示している。本図では、左から右に進むにつれて時間が経過していくものとする。

詳しくは、まず、左端のＲＡＷフレームでは、左上の単一画素からはＲ成分信号が読み出され、右上の単一画素からはＧ成分信号が読み出され、右下の単一画素からはＢ成分信号が読み出され、左下の単一画素からはＧ成分信号が読み出されることがわかる。次のＲＡＷフレームでは、左上の単一画素からはＧ成分信号が読み出され、右上の単一画素からはＢ成分信号が読み出され、右下の単一画素からはＲ成分信号が読み出され、左下の単一画素からはＢ成分信号が読み出されることがわかる。次のＲＡＷフレームでは、左上の単一画素からはＢ成分信号が読み出され、右上の単一画素からはＲ成分信号が読み出され、右下の単一画素からはＧ成分信号が読み出され、左下の単一画素からはＲ成分信号が読み出されることがわかる。

３フレーム分のＲＡＷフレームを１サイクルとして、３フレーム目の読み出しが終了すると１つ目のＲＡＷフレームの読み出しパターンに戻る。これ以降も同様にして、各ＲＡＷフレームにおいて読み出される色成分信号がＲＧＢの順番で変化する。

上述したＲＧＢ読み出しサイクルで３枚の連続するＲＡＷフレームを取得すると、各画素においてＲＧＢ各色成分信号が１回ずつ読み出されることになる。従って、全画素のＲＧＢ各色成分信号が揃うので、信号処理部１５０はこれらの各色成分信号から動画フレームを１枚生成する。すなわち、３枚のＲＡＷフレームから１枚の動画フレームが生成される。

上述したＲＧＢ読み出しサイクルの読み出しにおいて、２サイクル目以降のＲＡＷフレーム読み出しの流れについては、図７と同様であるので説明は省略する。

なお、動画撮影モードで得られるＲＡＷフレームは、撮像素子２００内の各画素を全て読み出して得られた各色成分信号で構成してもよいし、撮像素子２００から適宜間引き読み出しを行って得られた各色成分信号で構成してもよい。特に、ライブビュー表示用の動画を生成する場合には画質よりも画像の生成速度が重視されるため、間引き読み出しを採用するのが望ましい。

間引き読み出しに際しては、読み出し後のＲＡＷフレームにおいて、上述したように読み出された色成分信号が上下左右に隣接する単一画素の色成分信号と異なるように読み出せばよい。図１０は、間引き読み出しのパターンの一例であり、撮像素子２００の４×４の画素ブロックにおいて読み出される色成分信号を示している。本図において×印が付された画素が間引かれる画素であり、縦横に１行間隔で間引き読み出しを行うことで処理すべきデータ量を減らし、処理の高速化を図っている。

この一例では、読み出される４画素の色成分信号の配列が、図６又は図９の左端のＲＡＷフレームと同じとなっている。同様に、次のＲＡＷフレーム読み出しに際しては、読み出される4画素の色成分信号の配列が図６又は図９の左端から２番目のＲＡＷフレームと同じとなるように、読み出す色成分信号を切り替える。すなわち、読み出される４画素の色成分信号を読み出し毎に順次サイクルさせることで、間引き読み出しを行う場合でも、上述した本発明を適用することができる。

なお、間引き読み出しのパターンは上記に限られるものではない。所定の画素位置から読み出され、生成されるＲＡＷフレームにおいて２×２の画素ブロックを形成する４画素の色成分信号の配列をサイクルさせることが可能であれば、どのような間引き読み出しパターンにも本発明は適用可能である。

また、間引き読み出しに加えて、画素結合の技術を組み合わせることも可能である。すなわち、間引き読み出しを行う際に、所定の位置関係にある複数の単一画素同士を結合して読み出し、その他の画素については間引くことで、処理するデータ量のさらなる削減や高感度特性の向上が可能となる。

図１１は、上述した間引き読み出しと画素結合とを組み合わせた場合の読み出しパターンの一例である。図１０と同様に、本図において×印が付された画素が間引かれる画素である。色成分信号を読み出す際には、水平方向に隣接する２つの単一画素から同じ色成分信号を画素結合させて４画素として読み出される。

図１０と同様に、読み出される４画素の色成分信号を読み出し毎に順次サイクルさせることで、間引き読み出しと画素結合とを組み合わせた場合でも、上述した本発明を適用することができる。

なお、本図では画素結合を行う画素として水平方向に隣接した２つの単一画素の場合を説明したが、これに限られるものではない。例えば、垂直方向に隣接する３つの単一画素を結合させてもよいし、隣接していなくとも、例えば１画素分間隔を空けた２画素を結合させてもよい。

以上で説明したように、本発明に記載の撮像装置によれば、垂直色分離型の撮像素子を用いて、滑らかで偽色発生のない動画を撮影することが可能となる。

１００：撮像装置、１１０：撮影光学系、１３０：読み出し制御部、１５０：信号処理部、１５１：メモリ部、１７０：カメラＣＰＵ、１７１：ユーザインターフェース（Ｉ／Ｆ）、１７２：記録媒体インターフェース（Ｉ／Ｆ）、１９０：画像表示部、２００：撮像素子、２０１：フローティングディフュージョン（ＦＤ）部、２０２：ＶＤＤ線、２０３：リセットトランジスタ、２０４：リセット線、２０５：ソースフォロワトランジスタ、２０６：行選択トランジスタ、２０７：定電流源、２０８：行選択線、２１０：Ｂ成分用フォトダイオード、２１１：Ｂ成分選択トランジスタ、２１２：Ｂ成分選択線、２３０：Ｇ成分用フォトダイオード、２３１：Ｇ成分選択トランジスタ、２３２：Ｇ成分選択線、２５０：Ｒ成分用フォトダイオード、２５１：Ｒ成分選択トランジスタ、２５２：Ｒ成分選択線

Claims (6)

1. 第１色成分、第２色成分、第３色成分をそれぞれ光電変換可能な垂直色分離型画素が２次元方向に複数配置された撮像部と、
   前記複数の垂直色分離型画素から前記各色成分をそれぞれ独立して読み出し可能な読み出し制御部と、
   読み出された前記各色成分から成るＲＡＷフレームから、動画を構成する動画フレームを生成する信号処理部と、
   前記ＲＡＷフレームを一時的に保存するメモリ部と、
   を有し、
   前記読み出し制御部により、前記垂直色分離型画素から読み出される前記各色成分は、同一の前記ＲＡＷフレームにおいては上下左右で異なり、時系列方向に連続する前記ＲＡＷフレームにおいては前後する前記ＲＡＷフレームで異なり、
   前記信号処理部は、前記メモリ部に保存された連続する所定の枚数の前記ＲＡＷフレームを１サイクルとしたとき、前記１サイクルで得られた前記各色成分から１枚の前記動画フレームを生成することを特徴とする撮像装置。
2. 前記ＲＡＷフレームは、前記撮像部において間引き読み出しと画素結合読み出しの少なくとも一方により得られた前記各色成分から成ることを特徴とする請求項１に記載の撮像装置。
3. 前記１サイクルは、３枚又は４枚の連続する前記ＲＡＷフレームから成ることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１色成分はＲ成分、前記第２色成分はＧ成分、前記第３色成分はＢ成分であることを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
5. 前記１サイクルの読み出し順序は、読み出された前記各色成分において、Ｒ成分、Ｇ成分、Ｂ成分、Ｇ成分の順番から成るＲＧＢＧ読み出しサイクルであり、
   前記読み出し制御部は、動画撮影中、前記ＲＧＢＧ読み出しサイクルを繰り返すことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
6. 前記１サイクルの読み出し順序は、読み出された前記各色成分において、Ｒ成分、Ｇ成分、Ｂ成分の順番から成るＲＧＢ読み出しサイクルであり、
   前記読み出し制御部は、動画撮影中、前記ＲＧＢ読み出しサイクルを繰り返すことを特徴とする請求項１乃至４のいずれかに記載の撮像装置。

Images