JP6294626B2 - 撮像素子、撮像装置、携帯電話機 - Google Patents

Description

本発明は、撮像素子、撮像装置、携帯電話機に関するものである。

従来、画素毎に記憶素子を持ち、連続した蓄積で得られた画像信号を撮像素子の外部へ読み出すことなく、記憶素子に順次格納することにより、高速なフレームレートで撮影をする技術がある。

特許文献１では、画素毎に電荷結合素子で構成される電荷信号蓄積部を持ち、蓄積で得られた電荷を電荷結合素子間で移動させることにより順次格納を行い、読み出すことで高速なフレームレートでの撮影をする技術が開示されている。

特開２００１−３４５４４１号公報

しかしながら、上述の特許文献１に開示された従来技術では、露光されて光電変換により生じた電荷を順次格納するため、静止画と動画といった種類の異なる画像を同時に撮影することができない。また、画素毎に記憶素子を持つために画素の面積が大きくなり、限られた面積で配置できる画素数が少なくなることで画質が低下してしまうといった問題がある。また、画素毎に多くの記憶素子を持つとフォトダイオードの面積が小さくなってしまい、飽和特性等が低下し、画質が劣化してしまう。

本発明は上述した課題に鑑みてなされたものであり、その目的は、画質を維持しながら多彩な撮影を行うことのできる撮像素子および撮像装置を提供することである。

本発明に係わる撮像素子は、第１の半導体基板と第２の半導体基板が互いに積層された撮像素子であって、画素信号を生成する複数の光電変換手段と、前記複数の光電変換手段の各々に対応して配置され、前記画素信号を一時的に保持する複数の信号保持手段と、前記複数の光電変換手段の各々に対応して配置され、前記画素信号を出力する複数の信号出力手段と、前記複数の光電変換手段の各々から前記複数の信号保持手段の各々に前記画素信号を転送する複数の第１の転送手段と、前記複数の信号保持手段の各々から前記複数の信号出力手段の各々に前記画素信号を転送する複数の第２の転送手段とを有し、前記第１の半導体基板に前記複数の光電変換手段および前記複数の信号出力手段を設けるとともに、前記第２の半導体基板に前記複数の信号保持手段を設け、前記複数の信号保持手段の各々は、動画撮影中に静止画を撮影する場合の画素信号を保持することを特徴とする。

本発明によれば、画質を維持しながら多彩な撮影を行うことのできる撮像素子および撮像装置を提供することが可能となる。

本発明の第１の実施形態に係る撮像装置の構成を示す図である。 本発明の第１の実施形態に係る撮像素子の構成を示す図である。 本発明の第１の実施形態における画素セットの構成を示す図である。 撮像素子の構成を示す図である。 撮像素子の読み出し行を示す図である。 本発明の第１の実施形態における撮像素子の動作を示す図である。 本発明の第１の実施形態における撮像素子の動作を示す図である。 本発明の第１の実施形態に係る撮像装置の動作を示すフローチャートである。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第１の実施形態に係る撮像素子の動作を示す図である。 本発明の第２の実施形態における画素セットの構成を示す図である。 本発明の第２の実施形態に係る撮像素子の動作を示す図である。 本発明の第２の実施形態に係る撮像素子の動作を示す図である。 本発明の第２の実施形態に係る撮像装置の動作を示すフローチャートである。 本発明の第２の実施形態に係る撮像素子の動作を示す図である。 本発明の第２の実施形態に係る撮像素子の動作を示す図である。 本発明の第２の実施形態に係る撮像素子の動作を示す図である。 本発明の第３の実施形態の構成を示す図である。

以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示す図である。図１示される撮像装置１００において、撮像素子１０１は、受光される光学像を電気信号（アナログ信号、つまり、画像信号）に変換する。アナログフロントエンド（以下、ＡＦＥと称する）１０３は、撮像素子１０１から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行う。タイミングジェネレータ（以下、ＴＧと称する）１０２は、撮像素子１０１及びＡＦＥ１０３の駆動タイミングを制御する。

ＲＡＭ１０８は、ＡＦＥ１０３でデジタル変換された画像データや、後述する画像処理部１０９で処理された画像データを記憶するための画像データ記憶部の機能と、後述するＣＰＵ１０４が動作を行う際のワークメモリの機能を兼備する。本実施形態では、これらの機能をＲＡＭ１０８を用いて行うようにしているが、アクセス速度が十分に問題ないレベルのメモリであれば、他の種類のメモリを適用することも可能である。

ＲＯＭ１０６は、後述するＣＰＵ１０４が動作を行う際のプログラムを格納する。ここで、本実施形態では、Ｆｌａｓｈ−ＲＯＭを示すが、これは一例であり、アクセス速度が十分に問題ないレベルのメモリであれば、他の種類のメモリを適用することも可能である。

ＣＰＵ１０４は、撮像装置１００を統括的に制御する。画像処理部１０９は、撮影された画像の合成・補正・圧縮等の処理を行う。コネクタ１１２は、不揮発性メモリ、ハードディスク等の外部記録媒体１１３のコネクタ１１６と接続される。インターフェース部１１０は、接続された外部記録媒体１１３のインターフェース１１４と通信を行ない、静止画像データ及び動画像データを外部記録媒体１１３の記録部１１５に記録する。なお、本実施形態では、記録媒体として着脱可能な外部記録媒体を適用しているが、その他にもデータ書き込み可能な不揮発性メモリ、ハードディスク等を内蔵した形態でもよい。

操作部１０５は、ユーザによる静止画・動画撮影スイッチの操作や撮影条件等の設定操作をＣＰＵ１０４に対して行う。表示部１０７は、撮影した静止画像や動画像や、メニュー等の表示を行う。

次に撮像素子１０１の構成を、図２を用いて説明する。図２において、撮像素子の有効画素領域は、垂直方向（列方向）に配置された画素セット２００が水平方向（行方向）に複数配列されることにより形成される。画素セット２００には、垂直走査回路２０５から後述する各種制御信号が出力される制御信号線２０４が接続される。また、画素セット２００には、垂直走査回路２０５から後述する駆動電圧が出力される駆動電圧線２１９が接続される。さらに、画素セット２００は、それぞれ撮像素子内部を縦断して画素列に隣接する垂直出力線２０１に接続される。垂直出力線２０１は、その一端が定電流源２０３に接続され、他端がカラムアンプ（増幅アンプ）２０２に接続される。カラムアンプ２０２の出力は、制御信号ＰＴＳで駆動されるスイッチ２０６を介して保持容量２０８に接続される。保持容量２０８は、水平走査回路２１４から出力される列毎の制御信号ＰＨによって駆動される出力転送スイッチ２１０を介して、水平出力線２１２に接続される。また、カラムアンプ２０２の出力は、制御信号ＰＴＮで駆動されるスイッチ２０７を介して保持容量２０９に接続される。保持容量２０９は、水平走査回路２１４から出力される列毎の制御信号ＰＨによって駆動される出力転送スイッチ２１１を介して、水平出力線２１３に接続される。この水平出力線２１２，２１３には、読み出しアンプ２１５が接続され、水平出力線２１２，２１３の差分出力に所定のゲインを乗じた画素信号が出力される。

次に、図３に示される画素セット２００について説明する。画素セット２００の転送スイッチ４０１のゲートには、制御信号ＰＴＸが入力される。また、転送スイッチ４０１には、フォトダイオード４００と、接続スイッチ４０８を介してＦＤ（フローティングディフュージョン部）４０７が接続される。接続スイッチ４０８には、制御信号ＰＦＤが入力される。リセットスイッチ４０２のゲートには、制御信号ＰＲＥＳが入力され、行選択スイッチ４０５のゲートには、制御信号ＰＳＥＬが入力される。画素アンプ４０６は、ＦＤ４０７に接続される。制御信号ＰＴＸ、ＰＦＤ、ＰＲＥＳ、ＰＳＥＬ、ＰＭＥＭの各々は、図２の制御信号線２０４に出力される制御信号に相当し、行毎に制御される。

メモリ４１０は、フォトダイオード４００で蓄積された電荷を一時的に格納する。メモリ４１０の一端は、接続線４１２とスイッチ４１４を介して転送スイッチ４０１に接続され、他端は、接続線４１３とスイッチ４１５を介してＦＤ４０７に接続される。メモリ４１０は、電荷結合素子で構成され、図２の駆動電圧線２１９に出力される行毎の駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３が印加される。なお、ここでは記憶素子としてのメモリ群４１０を電荷結合素子で構成するものとしているが、これに限定されるものではない。容量等、電荷を保持する構成であれば、記憶素子として適用することができる。

図４に示すように、撮像素子は２枚の半導体基板である基板３００と基板３０１が積層されて接合された構成となっている。図３の破線４０９に含まれる回路素子は、基板３００上に形成される。また、図２に示す画素セット２００以外の回路素子も同様に基板３００上に形成される。一方、破線４１１に含まれるメモリ４１０と不図示の駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３の駆動回路は、基板３０１上に形成される。接続線４１２，４１３はマイクロバンプ等で形成され、基板３００と基板３０１は画素毎に電気的に接続された構成となる。このような構成にすることで、メモリ４１０の面積が大きな場合でもフォトダイオード４００の面積を小さくする必要がなく、飽和特性や解像度等の画質を保持することができる。

また、本実施形態の撮像装置１００は、静止画撮影と動画撮影を行うことが可能である。撮像素子１０１は、例えば図５に示すように、画素セット２００が水平方向に２０画素、垂直方向に１５画素並んだ構成となっている。静止画撮影を行う場合には、図５に示す全画素セットの画像信号を読み出し、静止画像を生成する。動画撮影を行う場合には、行番号０、３、６、９、１２に示す行の画素セットの画像信号をフレーム毎に読み出し（間引き読み出し）、動画像を生成する。即ち、図５の斜線で示される画素セット２００の画像信号は、動画時には読み出されない。図５に示す行番号０、３、６、９、１２の行を第１の行（第１の画素群）とする。また、動画時に間引かれて読み出されない図５の斜線で示される行を第２の行（第２の画素群）とする。なお、画素セット２００の配列や、静止画・動画時の読み出し対象となる画素セットはこの構成に限定されるものではない。

次に、図６Ａ、図６Ｂを用いてメモリ４１０の電荷の移動について説明する。図６Ａに示すように、メモリ４１０には駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３が印加される。時刻Ｔ０では、Ｖ０とＶ１の駆動電圧が印加されている。電圧Ｖ０と電圧Ｖ１が印加された箇所はポテンシャルが下がり、そこに電荷が格納される。次に、時刻Ｔ１では電圧Ｖ２を印加することで、電荷は電圧Ｖ０から電圧Ｖ２が印加される範囲に広がる。その後、時刻Ｔ２で電圧Ｖ０の印加をやめると、電荷は電圧Ｖ１と電圧Ｖ２が印加されるところに格納されることとなり、電極ひとつ分だけ移動したことなる。図６Ｂに示すように、同様の操作を時刻Ｔ３からＴ８まで続けると、メモリ内部で電荷が移動したこととなる。この時刻Ｔ０からＴ８の動作をすることで、フォトダイオード２００で蓄積された電荷のメモリ４１０への格納、またはメモリ４１０からの電荷の読み出しを行う。

次に、本実施形態での撮像装置の動作について説明する。図７は、本実施形態の撮像装置１００の動作を示すフローチャートである。

まず、操作部１０５に含まれる動画撮影スイッチが押下されると動画撮影を開始し、ステップＳ１００へ進む。本実施形態の撮像装置１００は、動画優先モードと静止画優先モードを持つ。動画優先モードは、動画撮影中に静止画撮影スイッチが押下された場合に動画撮影を中断せず、動画撮影と同時に静止画撮影を行う。静止画優先モードは、動画撮影中に静止画撮影スイッチが押下された場合に動画撮影を中断し、静止画撮影を行う。ステップＳ１００では、事前にユーザが操作部１０５と表示部１０７を用いてどちらのモードを選択しているかをＣＰＵ１０３が判断する。ここで動画優先モードが選択されていた場合には、ステップＳ１０１へ進む。

ステップＳ１０１では、動画時に使用する画素セット２００のフォトダイオード４００に蓄積された電荷をメモリ４１０へ転送する。図８は、電荷の蓄積、メモリへの転送、電荷（画像信号）の読み出しを示した図である。リセット動作５００では、全画素セット２００のフォトダイオード４００のリセットを行う。図９Ａにリセット動作を示す。まず、時刻ｔａ０にて全行の制御信号ＰＭＥＭをアクティブにすることにより、スイッチ４１４、４１５がオンとなり、メモリ４１０が転送スイッチ４０１とＦＤ４０７に接続される。次に、時刻ｔａ１にて全行の制御信号ＰＲＥＳと制御信号ＰＦＤがアクティブになることにより、全ての画素セット２００のリセットスイッチ４０２と接続スイッチ４０８がオンとなり、画素アンプ４０６のゲート、つまりＦＤ４０７がリセットされる。次に、時刻ｔａ２〜ｔａ３のタイミングで全行の制御信号ＰＴＸがアクティブになる。ここでは特定行の制御信号のみ示しているが、この期間全ての行の制御信号ＰＴＸがアクティブとなり、全画素セットのフォトダイオード５００の電荷は、転送スイッチ４０１と接続スイッチ４０８を介して画素アンプ４０６のゲートに転送される。その結果、フォトダイオード４００はリセットされる。時刻ｔａ３で制御信号ＰＴＸがネゲートされた時点から蓄積が開始される。その後、時刻ｔａ３にて全行の制御信号ＰＲＥＳをネゲートする。

転送動作５０１では、第１の行のフォトダイオード４００からメモリ４１０への電荷の転送を行う。図９Ｂに電荷の転送動作を示す。時刻ｔｂ０〜ｔｂ１のタイミングで第１の行の制御信号ＰＴＸをアクティブにすることにより転送スイッチ４０１がオンとなり、フォトダイオード４００に蓄積した電荷がメモリ４１０に転送される。この動作で蓄積完了となり、図８に示す期間Ｔａが蓄積期間となる。その後、時刻ｔｂ２〜ｔｂ３のタイミングで、第１の行の駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３を図６Ｂに示す期間Ｔ０〜Ｔ８のタイミングで駆動する。それにより電荷がメモリ４１０へ格納される。これまでの動作で第１の行のメモリ４１０には、同時に露光された電荷が各々の画素で格納されることとなる。

次に、ステップＳ１０２において、メモリ４１０に格納された動画の画像信号を読み出す。図８に示す各行の読み出し動作５０３において、ａ０は、蓄積期間Ｔａで蓄積された電荷（画像信号）の行番号０の行の読み出しを示し、行番号０、３、６、９、１２の行の蓄積期間Ｔａで蓄積された電荷（画像信号）が順次読み出されることを示している。

図９Ｃに１行の読み出し動作を示す。なお、図９Ｃの読み出しをモード１の読み出しとする。時刻ｔｃ０では読み出し対象行の制御信号ＰＳＥＬがアクティブとなり、行選択スイッチ４０５がオンになる。画素アンプ４０６と垂直出力線２０１に接続されている電流源２０３で構成されるソース・フォロア回路が動作状態となる。時刻ｔｃ１に制御信号ＰＲＥＳがアクティブになることによりリセットスイッチ４０２がオンになり、画素アンプ４０６のゲート、つまりＦＤ４０７は初期化される。即ち、垂直出力線２０１には、このリセット直後の信号レベル（いわゆるダークレベル）の信号が出力される。時刻ｔｃ２で制御信号ＰＲＥＳがネゲートされた後、時刻ｔｃ３に制御信号ＰＴＮがアクティブになる。これにより垂直出力線２０１に接続されたカラムアンプ２０２の出力と接続されるスイッチ２０７がオンとなり、保持容量２０９にダークレベル出力が保持される。

この後、時刻ｔｃ４で転送動作を完了した後、時刻ｔｃ５〜ｔｃ６で読み出し対象行の駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３を図６ＢのＴ０〜Ｔ８に示すタイミングで駆動させる。すると、画素アンプ４０６のゲートであるＦＤ４０７にはメモリ４１０に格納されている電荷が転送される。このとき、画素アンプ４０６で構成されるソース・フォロアに転送されてきた信号電荷に見合う分だけリセットレベルから電位が変動し、信号レベルが確定する。次に、時刻ｔｃ７にて、制御信号ＰＴＳをアクティブにする。これにより、垂直出力線２０１に接続されたカラムアンプ２０２の出力と接続されるスイッチ２０６がオンとなり、信号レベルが保持容量２０８に保持される。この後、時刻ｔｃ８で制御信号ＰＴＳをネゲートすると、転送動作が完了する。

これまでの動作で、保持容量２０８，２０９には、読み出し対象行に配置される画素セット２００の信号レベルとダークレベルがそれぞれ保持される。画素からの信号を出力したので、時刻ｔｃ９で制御信号ＰＳＥＬをネゲートする。

時刻ｔｃ１０では、水平走査回路２１４が制御信号ＰＨを出力することで転送スイッチ２１０，２１１を制御し、保持容量２０８，２０９を水平出力線２１２，２１３に接続する動作を行う。制御信号ＰＨ（ｎ）をアクティブにすると、水平出力線２１２，２１３には、それぞれ転送スイッチ２１０，２１１を介してｎ列目の保持容量２０８，２０９が接続される。即ち、このときの読み出しアンプ２１５の入力には、読み出し対象行かつｎ列目に位置する画素で蓄積された信号が読み出される。

その後、ｎ＋１列目、ｎ＋２列目といったように各列の画像信号が全て読み出される。このように時刻ｔｃ１０〜ｔｃ１１の動作で１行分の読み出しが行われる。このようにして図８のフレーム０期間に、順次蓄積期間Ｔａにて蓄積された第１の行の電荷が画像信号として読み出される。読み出された１フレーム分の動画の画像信号は、画像処理部１０９に転送され、画像補正処理や圧縮等が行われ、続くフレームの画像と共に動画として外部記録媒体１１３に記録される。

１フレーム分の読み出しが完了すると、次にステップＳ１０３へ進む。ステップＳ１０３では、静止画撮影スイッチが押下されているか否かを判断する。図８に示すフラグ５０５は、静止画撮影スイッチが押下されたことを示す。静止画撮影スイッチが押下されている場合にはステップＳ１０４へ進む。

ステップＳ１０４では、全画素セット２００のフォトダイオード４００に露光制御により蓄積された電荷をメモリ４１０へ転送する。図９Ｂに示す動作を全ての行について行うことにより、図８の蓄積期間Ｔｂに蓄積された、全画素セット２００のフォトダイオード４００の電荷をメモリ４１０へ転送する。その後、ステップＳ１０５へ進む。

ステップＳ１０５では、図８のフレーム１に示すように、第１の行全行と、第２の行の一部の画像信号を読み出す。ステップＳ１０２と同様に、第１の行の、蓄積期間Ｔｂで蓄積された電荷を順次読み出す。その後続けて、第２の行のうち行番号１、２の行について、図９Ｃに示す動作にて蓄積期間Ｔｂで蓄積された電荷を読み出す。読み出された画像信号は動画を生成するのに使用されると共に、ＲＡＭ１０８へ格納される。その後ステップＳ１０６へ進む。

ステップＳ１０６では、静止画に使用する行が全て読み出されたか否かをＣＰＵ１０３が判定する。ここまでで、静止画に使用する行の蓄積期間Ｔｂに蓄積された電荷は、０、１、２、３、６、９、１２行目のみ読み出されているので、静止画に必要な画像信号はそろっていない。よってステップＳ１０７進む。

ステップＳ１０７では、動画撮影スイッチが押下されているか否かを判断する。押下されていない場合にはステップＳ１０８へ進む。

ステップＳ１０８では、ステップＳ１０２での動作と同様に、動画に使用する行のフォトダイオード４００からメモリ４１０への電荷の転送を行う。この時点では、動画に使用する行のメモリ４１０には蓄積期間Ｔｃにて蓄積された電荷が、静止画に使用する行のメモリ４１０には蓄積期間Ｔｂにて蓄積された電荷が格納される。その後、ステップＳ１０５へ進む。

ステップＳ１０５では、図８のフレーム２に示すように、蓄積期間Ｔｃに蓄積された第１の行の電荷と、蓄積期間Ｔｂに蓄積された第２の行の一部（４、５行目）の電荷を読み出す。読み出された画像信号は、動画を生成するのに使用されると共に、ＲＡＭ１０８へ格納される。

このように、ステップＳ１０５からステップＳ１０８の動作を繰り返すことで、図８のフレーム１からフレーム５に示すように、各蓄積期間で蓄積された第１の行の画像信号の読み出しと、蓄積期間Ｔｂで蓄積した第２の行の一部の画像信号の読み出しを繰り返す。フレーム５での読み出しが終了した時点では、ＲＡＭ１０８には蓄積期間Ｔｂに蓄積された全行の画像信号が格納されることになる。全行の読み出しが終了すると、ＲＡＭ１０８に格納されている蓄積期間Ｔｂで蓄積された画像信号は画像処理部１０９に転送され、画像補正や圧縮等の処理をされて静止画が生成され、外部記録媒体１１３に記録される。各フレームの動画の信号はそれぞれのフレームで処理されて動画として外部記録媒体１１３に記録される。

なお、ここでは静止画で使用する行は２行ずつ読み出す構成としたが、これに限定されるものではない。動画のフレーム内に読み出すことができれば行数は任意である。また、動画のフレームレートが変更されると、読み出す行数を変更するといった構成も可能である。さらに、フレーム内の動画読み出し終了後に静止画を読み出す構成としたが、読み出しのタイミングはこれに限定されるものではない。

ステップＳ１０６にて静止画の画像信号読み出しが終了している場合には、ステップＳ１０３へ進む。ステップＳ１０３にて静止画撮影スイッチが押下されていない場合にはステップＳ１０９へ進み、動画撮影スイッチが押下されているかを判断する。動画撮影スイッチが押下されていない場合には、ステップＳ１０１に戻り、前述した動作で動画の生成・記録がなされる。

ステップＳ１０７にて動画撮影スイッチが押下されていた場合には、ステップＳ１１１に進み、メモリ４１０に格納されており、この時点で読み出されていない静止画で使用する行の画像信号を全て読み出す。図９Ｃに示す動作を読み出されていない第２の行に対して順次行い、全て読みだす。全行の読み出しが終了すると、ＲＡＭ１０８に格納される蓄積期間Ｔｂで蓄積された画像信号は画像処理部１０９に転送され、画像補正や圧縮等の処理をされて静止画が生成され、外部記録媒体１１３に記録される。各フレームの動画の信号は、それぞれのフレームで処理されて動画として外部記録媒体１１３に記録される。その後、撮影終了となる。

ステップＳ１０９にて動画撮影スイッチが押下された場合には、ステップＳ１１０に進む。メモリ４１０に静止画の画像信号が格納されている場合にはＳ１１１へ進み、読み出されていない静止画で使用する行の画像信号を読み出す。メモリ４１０に静止画の画像信号が格納されていない場合には、撮影終了となる。

ステップＳ１００にて静止画優先モードが選択されていた場合には、ステップＳ１１２へ進む。ステップＳ１１２では動画の画像信号の読み出しを行う。ここでの読み出し動作を図１０に示す。リセット動作６０１では、各行におけるフォトダイオード４００のリセットを行う。

図１１Ａに１行のリセット動作を示す。まず、時刻ｔｄ０にて全行の制御信号ＰＭＥＭをネゲートすることにより、スイッチ４１４，４１５がオフとなり、メモリ４１０が転送スイッチ４０１とＦＤ４０７から電気的に切断される。次に、時刻ｔｄ１にて対象行の制御信号ＰＲＥＳと制御信号ＰＦＤがアクティブになることにより、全ての画素セット２００のリセットスイッチ４０２と接続スイッチ４０８がオンとなり、画素アンプ４０６のゲート、つまりＦＤ４０７がリセットされる。次に、時刻ｔｄ２〜ｔｄ３のタイミングで全行の制御信号ＰＴＸがアクティブになる。画素セットのフォトダイオード４００の電荷は、転送スイッチ４０１と接続スイッチ４０８を介して画素アンプ４０６のゲートに転送される。その結果、フォトダイオード４００はリセットされる。時刻ｔｄ３で制御信号ＰＴＸがネゲートされた時点から蓄積が開始される。その後、時刻ｔｄ３にて制御信号ＰＲＥＳをネゲートする。図１０に示すリセット動作６０１のａ０は、行番号０行目のリセットであることを示す。ここでは、行番号０、３、６、９、１２が順次リセットされる。

図１０に示す１行の読み出し動作６０２では、図１１Ｂに示される動作を行う。時刻ｔｅ０では読み出し対象行の制御信号ＰＳＥＬがアクティブとなり、行選択スイッチ４０５がオンになる。画素アンプ４０６と垂直出力線２０１に接続されている電流源２０３で構成されるソース・フォロア回路が動作状態となる。また、制御信号ＰＦＤがアクティブとなってスイッチ４０８がオンになり、転送スイッチ４０１とＦＤ４０７が接続される。時刻ｔｅ１に制御信号ＰＲＥＳがアクティブになることによりリセットスイッチ４０２がオンになり、画素アンプ４０６のゲート、つまりＦＤ４０７は初期化される。即ち、垂直出力線２０１には、このリセット直後の信号レベル（いわゆるダークレベル）の信号が出力される。時刻ｔｅ２で制御信号ＰＲＥＳがネゲートされた後、時刻ｔｅ３に制御信号ＰＴＮがアクティブになる。これにより垂直出力線１０１に接続されたカラムアンプ２０２の出力と接続されるスイッチ２０７がオンとなり、保持容量２０９にダークレベル出力が保持される。

この後、時刻ｔｅ４で転送動作を完了した後、時刻ｔｅ５〜ｔｅ６にて制御信号ＰＴＸをアクティブにする。すると、フォトダイオード４００の電荷が転送される。このとき、画素アンプ４０６で構成されるソース・フォロアに転送されてきた信号電荷に見合う分だけリセットレベルから電位が変動し、信号レベルが確定する。次に、時刻ｔｅ７にて、制御信号ＰＴＳをアクティブにする。これにより、垂直出力線２０１に接続されたカラムアンプ２０２の出力と接続されるスイッチ２０６がオンとなり、信号レベルが保持容量２０８に保持される。この後、時刻ｔｅ８で制御信号ＰＴＳをネゲートすると、転送動作が完了する。これまでの動作で、保持容量２０８，２０９には、読み出し対象行の画素セット４００の信号レベルとダークレベルがそれぞれ保持される。画素からの信号を出力したので、時刻ｔｅ９で制御信号ＰＳＥＬをネゲートする。また、制御信号ＰＦＤをネゲートし、スイッチ４０８がオフとして転送スイッチ４０１とＦＤ４０７を遮断する。

時刻ｔｅ１０では、水平走査回路２１４が制御信号ＰＨを出力することで転送スイッチ２１０，２１１を制御し、保持容量２０８，２０９を水平出力線２１２，２１３に接続する動作を行う。制御信号ＰＨ（ｎ）をアクティブにすると、水平出力線２１２，２１３には、それぞれ転送スイッチ２１０，２１１を介してｎ列目の保持容量２０８，２０９が接続される。即ち、このときの読み出しアンプ２１５の入力には、読み出し対象行かつｎ列目に位置する画素で蓄積された信号が読み出される。その後、ｎ＋１列目、ｎ＋２列目といったように各列の画像信号が全て読み出される。このように時刻ｔｅ１０〜ｔｅ１１の動作で１行分の読み出しが行われる。なお、この図１１Ｂに示す読み出しをモード２の読み出しとする。上述した様に、モード２の読み出しはメモリ４１０を介さない。

図１０に示す１行の読み出し動作６０２において、ａ０は、行番号０行の読み出しであることを示す。各行のリセット動作６０１と読み出し動作６０２の間の時間が、各行の蓄積期間となり、行番号０、３、６、９、１２の行が順次蓄積（順次露光制御）と読み出しを繰り返し、１フレーム分の読み出しが行われる。読み出された１フレーム分の動画像は、画像処理部１０９に転送され、画像補正処理や圧縮等が行われ、続くフレームの画像と共に動画として外部記録媒体１１３に記録される。

ステップＳ１１２で動画の読み出しが終了すると、ステップＳ１１３に進む。ステップＳ１１３では、静止画撮影スイッチが押下されているか否かを判断する。ここでは、図１０のフラグ６０４のタイミングで静止画撮影スイッチが押下されていたものとする。その場合、ステップＳ１１４に進む。

ステップＳ１１４では、静止画用画像信号の読み出しが行われる。まず、図１０のリセット動作６００のタイミングで全行のフォトダイオード４００をリセットする。リセット動作は、図１１Ａに示す動作を全行について行うことにより、フォトダイオード４００をリセットする。リセット後、画像信号の読み出しを開始するまでの期間に、不図示の撮像素子１０１の外部の機構にて撮像素子１０１に照射される光を遮断する。光を遮断されるまでが蓄積期間となる。ここでの蓄積期間をＴｂとする。蓄積が終了すると、各行の画像信号の読み出しを行う。図１０に示す様に、行番号０〜１４の行の画像信号の読み出しを図１１Ｂに示すモード２で行う。画像信号の読み出しが全て終了すると、読み出した画像信号は画像処理部１０９に転送され、画像補正や圧縮等の処理がなされ、静止画として外部記録媒体１１３に記録される。

ステップＳ１１４にて静止画用画像信号の読み出しが終了すると、ステップＳ１１３に戻る。ここで静止画撮影スイッチが押下されていない場合には、ステップＳ１１５に進み、動画撮影スイッチが押下されたか否かを判断する。動画撮影スイッチが押下されていた場合には撮影終了となり、押下されていなかった場合にはステップＳ１１２に戻り動画撮影を続ける。

以上のように、動画優先モードでは、動画の複数フレームに渡って静止画の画像信号を分割して読み出すことで、動画を中断することなく静止画を撮影することができる。

また、静止画優先モードでは、動画を中断して静止画撮影を行うので、静止画の連写を行うことができる。さらに、メモリ４１０を使用しないので、メモリ４１０が配置される基板の電源の一部または全部をオフにすることができ、電力を削減することができる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。第２の実施形態の撮像装置の構成は、第１の実施形態で説明した図１の構成と同様であるため、説明を省略する。本実施形態では、撮像素子１０１の画素セット２００の構成が異なる。

図１２に、本実施形態における撮像素子１０１の画素セット２００の構成を示す。画素セット２００の転送スイッチ７０１のゲートには、制御信号ＰＴＸが入力される。また、転送スイッチ７０１には、フォトダイオード７００と、接続スイッチ７０８を介してＦＤ７０７が接続される。接続スイッチ７０８には、制御信号ＰＦＤが入力される。リセットスイッチ７０２のゲートには、制御信号ＰＲＥＳが入力され、行選択スイッチ７０５のゲートには、制御信号ＰＳＥＬが入力される。画素アンプ７０６は、ＦＤ７０７に接続される。制御信号ＰＴＸ、ＰＦＤ、ＰＲＥＳ，ＰＳＥＬ、ＰＭＥＭの各々は、図２の制御信号線２０４に出力される制御信号に相当し、行毎に制御される。

メモリ群７１０は、フォトダイオード７００で蓄積された電荷を一時的に格納する単位メモリが４個接続された（複数配置された）構成となっている。メモリ群７１０の一端は、接続線７１２とスイッチ７１４を介して転送スイッチ７０１に接続され、他端は、接続線７１３とスイッチ７１５を介してＦＤ７０７に接続される。メモリ群７１０は、電荷結合素子で構成され、単位メモリには、それぞれ図２の駆動電圧線２１９に出力される行毎の駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３が印加される。なお、ここでは記憶素子としてのメモリ群７１０を電荷結合素子で構成するものとしているが、これに限定されるものではない。容量等、複数の電荷を独立に保持する構成であれば、記憶素子として適用することができる。また、単位メモリは４個の構成としたが、これに限定されるものではない。

図４に示すように、撮像素子は２枚の半導体基板である基板３００と基板３０１が接合された構成となっている。図１２の破線７０９に含まれる回路素子は、基板３００上に形成される。また、図１に示す画素セット２００以外の回路素子も同様に基板３００上に形成される。一方、破線７１１に含まれるメモリ群７１０と不図示の駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３の駆動回路は、基板３０１上に形成される。接続線７１２，７１３はマイクロバンプ等で形成され、基板３００と基板３０１は画素毎に電気的に接続された構成となる。このような構成にすることで、メモリ群７１０の面積が大きな場合でもフォトダイオード７００の面積を小さくする必要がなく、飽和特性や解像度等の画質を保持することができる。

本実施形態における撮像素子１０１は、例えば図５に示すように、画素セット２００が水平方向に２０画素、垂直方向に１５画素並んだ構成となっている。静止画撮影を行う場合には、図５に示す全画素セットの画像信号を読み出し、静止画像を生成する。動画撮影を行う場合には、行番号０、３、６、９、１２に示す行の画素セットの画像信号をフレーム毎に読み出し（間引き読み出し）、動画像を生成する。即ち、図５の斜線で示される画素セット２００の画像信号は、動画時には読み出されない。図５に示す行番号０、３、６、９、１２の行を第１の行とする。また、動画時に間引かれて読み出されない図５の斜線で示される行を第２の行とする。なお、画素セット２００の配列や、静止画・動画時の読み出し対象となる画素セットはこれに限定されるものではない。

次に、図１３Ａ、１３Ｂを用いてメモリ群７１０の電荷の移動について説明する。図１３Ａに示すように、単位メモリの各々には駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３が印加される。時刻Ｔ０では、Ｖ０とＶ１の駆動電圧が印加されている。電圧Ｖ０と電圧Ｖ１が印加された箇所はポテンシャルが下がり、そこに電荷が格納される。次に、時刻Ｔ１では電圧Ｖ２を印加することで、電荷は電圧Ｖ０から電圧Ｖ２が印加される範囲に広がる。その後、時刻Ｔ２で電圧Ｖ０の印加をやめると、電荷は電圧Ｖ１と電圧Ｖ２が印加されるところに格納されることとなり、電極ひとつ分だけ移動したことなる。図１３Ｂに示すように、同様の操作を時刻Ｔ３からＴ８まで続けると、単位メモリ一つ分電荷が移動したこととなる。この時刻Ｔ０からＴ８の動作を３回繰り返すことで、フォトダイオード７００で３回蓄積された電荷を独立に単位メモリＭ（１）〜Ｍ（３）に格納することができる。

図１４は、本実施形態における撮像装置１００の動作を示すフローチャートである。図１４を用いて撮像装置１００の動作を説明する。まず、操作部１０５に含まれる動画撮影スイッチが押下されると動画撮影を開始し、ステップＳ２００へ進む。

ステップＳ２００では、第１の行の画素セット２００のフォトダイオード７００に蓄積された電荷をメモリ群７１０へ転送する。図１５は、電荷の蓄積、メモリ群への転送、電荷（画像信号）の読み出しを示した図である。リセット動作８００では、全画素セット２００のフォトダイオード７００のリセットを行う。リセット動作は第１の実施形態で述べた図９Ａの動作と同様である。転送動作８０１では、第１の行のフォトダイオード７００からメモリ群７１０への電荷の転送を行う。

図１６Ａに電荷の転送動作を示す。時刻ｔｆ０〜ｔｆ１のタイミングで第１の行の制御信号ＰＴＸをアクティブにすることにより転送スイッチ７０１がオンとなり、フォトダイオード７００に蓄積した電荷がメモリ群７１０の単位メモリＭ（０）に転送される。この動作で蓄積完了となり、図１５に示す期間Ｔａが蓄積期間となる。その後、時刻ｔｆ２〜ｔｆ３のタイミングで、動画に使用する行について、図１３Ｂに示す期間Ｔ０〜Ｔ８のタイミングで駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３を印加するようにメモリ群７１０を駆動する。それにより、電荷がメモリ群７１０の単位メモリＭ（１）へ格納される。続けて、時刻ｔｆ３〜ｔｆ４、時刻ｔｆ４〜ｔｆ５にて図１３Ｂに示す期間Ｔ０〜Ｔ８のタイミングで駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３を印加するようにメモリ群７１０を駆動することにより、単位メモリＭ（１）に格納されている電荷を単位メモリＭ（２）を介して単位メモリＭ（３）に移動する。これまでの動作で第１の行のメモリ群７１０の単位メモリＭ（３）には、同時に露光された画像信号（電荷）が各々の画素で格納されることとなる。

次に、ステップＳ２０２において、メモリ７１０に格納された動画の画像信号を読み出す。図１５に示す各行の読み出し動作８０３において、ａ０は蓄積期間Ｔａで蓄積された電荷（画像信号）の行番号０の行の読み出しを示し、行番号０、３、６、９、１２の行の蓄積期間Ｔａで蓄積された電荷（画像信号）が順次読み出されることを示している。画像信号の読み出し動作は、第１の実施形態で述べた図９Ｃの動作と同様である。読み出された１フレーム分の動画像は、画像処理部１０９に転送され、画像補正処理や圧縮等が行われ、続くフレームの画像と共に動画として外部記録媒体１１３に記録される。

その後、ステップＳ２０２へ進む。ステップＳ２０２では、静止画撮影スイッチが押下されたか否かをＣＰＵ１０３が判断する。ここでは、図１５に示す様にフレーム０の読み出し中に静止画スイッチが押下されたものとしてフラグ８０５を立て、ステップＳ２０３に進む。

ステップＳ２０３では、第１の行、第２の行の画素セット２００のフォトダイオード７００に蓄積された電荷をメモリ群７１０へ転送する。図１５に示すリセット動作８００にて全行のフォトダイオード７００のリセットを行った後、転送動作８０２にて蓄積期間Ｔｂに蓄積した全行の電荷を転送する。このとき、第１の行については図１６Ａに述べた動作で転送を行い、メモリ群７１０の単位メモリＭ（３）へ電荷を転送する。第２の行については図１６Ｂに示す動作で転送を行う。時刻ｔｈ０〜ｔｈ１のタイミングで第１の行の制御信号ＰＴＸをアクティブにすることにより、蓄積した電荷をメモリ群７１０の単位メモリＭ（０）に転送される。この動作で蓄積完了となり、図１５に示す期間Ｔｂが蓄積期間となる。その後、時刻ｔｈ２〜ｔｈ３のタイミングで、第２の行について、図１３Ｂに示す期間Ｔ０〜Ｔ８のタイミングで駆動電圧Ｖ０，Ｖ１，Ｖ２，Ｖ３を印加するようにメモリ群７１０を駆動する。それにより、電荷がメモリ群７１０の単位メモリＭ（１）へ格納される。これまでの動作で行番号０、３、６、９、１２については単位メモリＭ（３）に蓄積期間Ｔｂに蓄積された電荷が格納され、行番号１、２、４、５、７、８、１０、１１、１３、１４については単位メモリＭ（１）に蓄積期間Ｔｂに蓄積された電荷が格納されることとなる。

その後、ステップＳ２０４では、第２の行の単位メモリＭ（１）〜Ｍ（３）全てに電荷が格納されているかを判断する。ここでは第２の行については単位メモリＭ（２）のみに電荷が格納されていないので、ステップＳ２０１へ戻る。その後、第２の行の単位メモリＭ（１）〜Ｍ（３）の全てに電荷が転送されるまでステップＳ２０１からステップＳ２０４までを繰り返す。第２の行の電荷転送を行うと、Ｍ（１）に格納された電荷はＭ（２）に移動し、Ｍ（１）には新たにフォトダイオード７００からの電荷が格納される。

このように第２の行の電荷転送を繰り返すと、電荷は単位メモリ間を移動する。本実施形態では、電荷を格納できる単位メモリがＭ（１）〜Ｍ（３）の３つなので、図１５に示すように３回の静止画撮影スイッチ押下がされるまで繰り返す。図１５では蓄積期間Ｔｂ、Ｔｄ、Ｔｆの期間に、第２の行の電荷転送を行うこととなる。これにより第２の行の単位メモリＭ（１）には蓄積期間Ｔｆの電荷が、単位メモリＭ（２）は蓄積期間Ｔｄの電荷が、単位メモリＭ（３）には蓄積期間Ｔｂの電荷が格納されることとなる。なお、読み出した第１の行の画像信号は順次画像処理され動画が生成されるが、静止画撮影を行った蓄積期間Ｔｂ、Ｔｄ、Ｔｆの第１の行の画像信号は、後の静止画生成時に使用するので、ＲＡＭ１０８へ格納され、保持される。

ステップＳ２０４にて第２の行の単位メモリＭ（１）〜Ｍ（３）全てに電荷が格納されると、ステップＳ２０５に進み、静止画、動画の読み出しを行う。図１５のフレーム５に示す様に、蓄積期間Ｔｆで蓄積した第１の行の読み出しを図９Ｃに示す動作で行い、その後、蓄積期間Ｔｂで蓄積した第２の行のうち、行番号１、２について読み出す。第２の行の読み出しも図９Ｃに示す動作で行う。

その後、ステップＳ２０６にて単位メモリＭ（１）〜Ｍ（３）に格納される電荷が全て読み出されたか否かを判断する。ここでは全て読み出されていないのでステップＳ２０７へ進む。ステップＳ２０７では動画撮影スイッチが再び押下されたかを判断し、押下されていない場合にはステップＳ２０８へ進む。ステップＳ２０８では第１の行の転送を行い、ステップＳ２０５へ戻る。

こうして、ステップＳ２０５からステップＳ２０８の動作を繰り返すことで、図１５に示す様にフレーム５からフレーム９に渡り蓄積期間Ｔｂで蓄積された第２の行の電荷を読み出す。同様にしてフレーム１０からフレーム１４に渡り蓄積期間Ｔｄで蓄積された第２の行の電荷、フレーム１５からフレーム１９に渡り蓄積期間Ｔｆで蓄積された第２の行の電荷を読み出す。

読み出された第２の行の電荷は、ＲＡＭ１０８へ転送され、保持される。全てのデータが読み出されると、ＲＡＭ１０８へ格納される蓄積期間Ｔｂの第１の行と第２の行のデータは画像処理部にて合成され、画像補正や圧縮等の処理をされて静止画が生成され、外部記録媒体１１３に記録される。蓄積期間Ｔｄ、Ｔｆで撮影された画像についても同様の処理を行う。

ステップＳ２０６で静止画の読み出しが終了した場合にはステップＳ２０２へ進む。ステップＳ２０２にて静止画撮影スイッチが押下されていない場合にはステップＳ２０９へ進み動画撮影スイッチが押下されたか否かを判断する。押下されている場合には撮影終了となる。また、ステップＳ２０９にて動画撮影スイッチが押下されていない場合には、ステップＳ２００へ戻り、上述した処理を行う。

ステップ２０７にて動画撮影スイッチが押下されると、ステップＳ２１０へ進む。ステップＳ２１０では単位メモリに格納され、読み出されていない電荷を全て読み出し、その後撮影終了となる。

以上の動作のように、動画の複数フレーム期間に渡って静止画画像を分割して読み出すことで動画を中断することなく静止画を撮影することができる。このとき、画素毎のメモリを複数持ち、電荷を移動させながら複数のメモリに複数の蓄積期間の電荷を格納し、後に読み出すことで、１枚の静止画画像の読み出しが終了する前に次の撮影をすることができる。これにより、動画を中断することなく静止画の所定の時間間隔での連続撮影（複数回の蓄積制御）を行うことができる。

（第３の実施形態）
図１７は、本発明の第３の実施形態としての携帯電話機１１００の構成を示すブロック図である。本実施形態の携帯電話機１１００は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。

図１７において、通信部１１０１は、ユーザが契約した通信キャリアに従う通信方式により他の電話機との間で音声データや画像データを通信する。音声処理部１１０２は、音声通話時において、マイクロフォン１１０３からの音声データを発信に適した形式に変換して通信部１１０１に送る。また、音声処理部１１０２は、通信部１１０１から送られた通話相手からの音声データを復号し、スピーカ１１０４に送る。撮像部１１０５は、被写体の画像を撮影し、画像データを出力する。画像処理部１１０６は、画像の撮影時においては、撮像部１１０５により撮影された画像データを処理し、記録に適した形式に変換して出力する。また、画像処理部１１０６は、記録された画像の再生時には、再生された画像を処理して表示部１１０７に送る。表示部１１０７は、数インチ程度の液晶表示パネルを備え、制御部１１０９からの指示に応じて各種の画面を表示する。不揮発メモリ１１０８は、アドレス帳の情報や、電子メールのデータ、撮像部１１０５により撮影された画像データ等のデータを記憶する。

制御部１１０９はＣＰＵやメモリ等を有し、不図示のメモリに記憶された制御プログラムに従って電話機１１００の各部を制御する。操作部１１１０は、電源ボタンや番号キー、その他ユーザがデータを入力するための各種の操作キーを備える。カードＩＦ１１１１は、メモリカード１１１２に対して各種のデータを記録再生する。外部ＩＦ１１１３は、不揮発メモリ１１０８やメモリカード１１１２に記憶されたデータを外部機器に送信し、また、外部機器から送信されたデータを受信する。外部ＩＦ１１１３は、ＵＳＢ等の有線の通信方式や、無線通信など、公知の通信方式により通信を行う。

次に、電話機１１００における音声通話機能を説明する。通話相手に対して電話をかける場合、ユーザが操作部１１１０の番号キーを操作して通話相手の番号を入力するか、不揮発メモリ１１０８に記憶されたアドレス帳を表示部１１０７に表示し、通話相手を選択し、発信を指示する。発信が指示されると、制御部１１０９は通信部１１０１に対し、通話相手に発信する。通話相手に着信すると、通信部１１０１は音声処理部１１０２に対して相手の音声データを出力すると共に、ユーザの音声データを相手に送信する。

また、電子メールを送信する場合、ユーザは、操作部１１１０を用いて、メール作成を指示する。メール作成が指示されると、制御部１１０９はメール作成用の画面を表示部１１０７に表示する。ユーザは操作部１１１０を用いて送信先アドレスや本文を入力し、送信を指示する。制御部１１０９はメール送信が指示されると、通信部１１０１に対しアドレスの情報とメール本文のデータを送る。通信部１１０１は、メールのデータを通信に適した形式に変換し、送信先に送る。また、通信部１１０１は、電子メールを受信すると、受信したメールのデータを表示に適した形式に変換し、表示部１１０７に表示する。

次に、電話機１１００における撮影機能について説明する。ユーザが操作部１１１０を操作して撮影モードを設定した後、静止画或いは動画の撮影を指示すると、撮像部１１０５は静止画データ或いは動画データを撮影して画像処理部１１０６に送る。画像処理部１１０６は撮影された静止画データや動画データを処理し、不揮発メモリ１１０８に記憶する。また、画像処理部１１０６は、撮影された静止画データや動画データをカードＩＦ１１１１に送る。カードＩＦ１１１１は静止画や動画データをメモリカード１１１２に記憶する。

また、電話機１１００は、この様に撮影された静止画や動画データを含むファイルを、電子メールの添付ファイルとして送信することができる。具体的には、電子メールを送信する際に、不揮発メモリ１１０８やメモリカード１１１２に記憶された画像ファイルを選択し、添付ファイルとして送信を指示する。

また、電話機１１００は、撮影された静止画や動画データを含むファイルを、外部ＩＦ１１１３によりＰＣや他の電話機等の外部機器に送信することもできる。ユーザは、操作部１１１０を操作して、不揮発メモリ１１０８やメモリカード１１１２に記憶された画像ファイルを選択し、送信を指示する。制御部１１０９は、選択された画像ファイルを不揮発メモリ１１０８或いはメモリカード１１１２から読み出し、外部機器に送信するよう、外部ＩＦ１１１３を制御する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (19)

1. 第１の半導体基板と第２の半導体基板が互いに積層された撮像素子であって、
   画素信号を生成する複数の光電変換手段と、
   前記複数の光電変換手段の各々に対応して配置され、前記画素信号を一時的に保持する複数の信号保持手段と、
   前記複数の光電変換手段の各々に対応して配置され、前記画素信号を出力する複数の信号出力手段と、
   前記複数の光電変換手段の各々から前記複数の信号保持手段の各々に前記画素信号を転送する複数の第１の転送手段と、
   前記複数の信号保持手段の各々から前記複数の信号出力手段の各々に前記画素信号を転送する複数の第２の転送手段とを有し、
   前記第１の半導体基板に前記複数の光電変換手段および前記複数の信号出力手段を設けるとともに、前記第２の半導体基板に前記複数の信号保持手段を設け、
   前記複数の信号保持手段の各々は、動画撮影中に静止画を撮影する場合の画素信号を保持することを特徴とする撮像素子。
2. 前記複数の信号保持手段は、電荷結合素子で構成されることを特徴とする請求項１に記載の撮像素子。
3. 前記複数の信号保持手段の各々は、複数の信号保持領域で構成されることを特徴とする請求項１に記載の撮像素子。
4. 前記第１の半導体基板に前記第１の転送手段と前記第２の転送手段が設けられることを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
5. 前記複数の信号出力手段の各々は、フローティングディフュージョン部および画素アンプを含むことを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 第１の半導体基板と第２の半導体基板が互いに積層され、画素信号を生成する複数の光電変換手段と、前記複数の光電変換手段の各々に対応して配置され、前記画素信号を一時的に保持する複数の信号保持手段と、前記複数の光電変換手段の各々に対応して配置され、前記画素信号を出力する複数の信号出力手段と、前記複数の光電変換手段の各々から前記複数の信号保持手段の各々に前記画素信号を転送する複数の第１の転送手段と、前記複数の信号保持手段の各々から前記複数の信号出力手段の各々に前記画素信号を転送する複数の第２の転送手段とを有し、前記第１の半導体基板に前記複数の光電変換手段および前記複数の信号出力手段を設けるとともに、前記第２の半導体基板に前記複数の信号保持手段を設け、前記複数の信号保持手段の各々は、動画撮影中に静止画を撮影する場合の画素信号を保持する撮像素子と、
   前記撮像素子から出力された画像信号に所定の画像処理を施す画像処理手段と、
   前記撮像素子および前記画像処理手段の動作を制御する制御手段と、
   を有することを特徴とする撮像装置。
7. 前記複数の信号保持手段は、電荷結合素子で構成されることを特徴とする請求項６に記載の撮像装置。
8. 前記複数の信号保持手段の各々は、複数の信号保持領域で構成されることを特徴とする請求項６に記載の撮像装置。
9. 前記第１の半導体基板に前記第１の転送手段と前記第２の転送手段が設けられることを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
10. 第１の画素群の前記複数の信号保持手段に保持された画素信号をフレーム毎に読み出す第１の読み出し手段と、
    前記第１の画素群とは異なる第２の画素群において所定のタイミングで蓄積され、前記第２の画素群の前記複数の信号保持手段に保持された画素信号の一部を読み出す第２の読み出し手段とを有し、
    複数のフレーム期間に渡って読み出された前記第２の画素群の画素信号と、同時に蓄積され、フレーム毎に読み出された前記第１の画素群の画素信号とを合成することにより画像を生成することを特徴とする請求項６乃至９のいずれか１項に記載の撮像装置。
11. 第１の撮影モードと第２の撮影モードとを切り替える切り替え手段をさらに有し、
    前記第１の撮影モードでは、動画については前記第１の読み出し手段により画素信号の読み出しを行い、動画撮影中に静止画撮影を行う場合には動画撮影を中断して、前記第１の読み出し手段により静止画の読み出しを行って画像を生成し、
    前記第２の撮影モードでは、動画については前記第１の読み出し手段により画素信号の読み出しを行い、動画撮影中に静止画撮影を行う場合には前記第２の読み出し手段により静止画の読み出しを行い、複数のフレーム期間に渡って読み出された静止画の画素信号と、同時に蓄積され、フレーム毎に読み出された動画の画素信号とを合成することにより画像を生成することを特徴とする請求項１０に記載の撮像装置。
12. 前記第１の画素群は、全画素が同時に露光制御され、行毎に順次読み出されることを特徴とする請求項１０または１１に記載の撮像装置。
13. 前記第２の画素群は、全画素が同時に露光制御され、行毎に順次読み出されることを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像装置。
14. 前記第１の画素群は、行毎に順次露光制御され、行毎に順次読み出されることを特徴とする請求項１０または１１に記載の撮像装置。
15. 前記第２の撮影モードによる動画の撮影中に静止画の撮影を行う場合には、前記第２の半導体基板の電源の一部または全部をオフにすることを特徴とする請求項１１に記載の撮像装置。
16. 動画のフレーム内で読み出される静止画の画素信号の画素の数は、動画のフレームレートによって変更されることを特徴とする請求項１０乃至１５のいずれか１項に記載の撮像装置。
17. 複数回の蓄積制御により蓄積された第２の画素群の複数の画素信号を、前記複数の信号保持手段に独立に保持するとともに、
    複数フレームに渡って前記複数の信号保持手段に保持される複数の画素信号を独立に読み出し、読み出された各画素信号と、それぞれのフレームで同時に蓄積された前記第１の画素群の画素信号を合成して複数の画像を生成することを特徴とする請求項１０乃至１４のいずれか１項に記載の撮像装置。
18. 連続した静止画撮影の時間間隔は、動画のフレームレートにより変更されることを特徴とする請求項１７に記載の撮像装置。
19. 請求項６乃至１８のいずれか１項に記載の撮像装置と、
    音声通信を行なう音声通信手段と、
    を有することを特徴とする携帯電話機。

Images