以下に、本発明の実施形態について、添付図面を参照して詳細に説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる撮像装置の構成を示す図である。図1示される撮像装置100において、撮像素子101は、受光される光学像を電気信号(アナログ信号、つまり、画像信号)に変換する。アナログフロントエンド(以下、AFEと称する)103は、撮像素子101から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行う。タイミングジェネレータ(以下、TGと称する)102は、撮像素子101及びAFE103の駆動タイミングを制御する。
RAM108は、AFE103でデジタル変換された画像データや、後述する画像処理部109で処理された画像データを記憶するための画像データ記憶部の機能と、後述するCPU104が動作を行う際のワークメモリの機能を兼備する。本実施形態では、これらの機能をRAM108を用いて行うようにしているが、アクセス速度が十分に問題ないレベルのメモリであれば、他の種類のメモリを適用することも可能である。
ROM106は、後述するCPU104が動作を行う際のプログラムを格納する。ここで、本実施形態では、Flash−ROMを示すが、これは一例であり、アクセス速度が十分に問題ないレベルのメモリであれば、他の種類のメモリを適用することも可能である。
CPU104は、撮像装置100を統括的に制御する。画像処理部109は、撮影された画像の合成・補正・圧縮等の処理を行う。コネクタ112は、不揮発性メモリ、ハードディスク等の外部記録媒体113のコネクタ116と接続される。インターフェース部110は、接続された外部記録媒体113のインターフェース114と通信を行ない、静止画像データ及び動画像データを外部記録媒体113の記録部115に記録する。なお、本実施形態では、記録媒体として着脱可能な外部記録媒体を適用しているが、その他にもデータ書き込み可能な不揮発性メモリ、ハードディスク等を内蔵した形態でもよい。
操作部105は、ユーザによる静止画・動画撮影スイッチの操作や撮影条件等の設定操作をCPU104に対して行う。表示部107は、撮影した静止画像や動画像や、メニュー等の表示を行う。
次に撮像素子101の構成を、図2を用いて説明する。図2において、撮像素子の有効画素領域は、垂直方向(列方向)に配置された画素セット200が水平方向(行方向)に複数配列されることにより形成される。画素セット200には、垂直走査回路205から後述する各種制御信号が出力される制御信号線204が接続される。また、画素セット200には、垂直走査回路205から後述する駆動電圧が出力される駆動電圧線219が接続される。さらに、画素セット200は、それぞれ撮像素子内部を縦断して画素列に隣接する垂直出力線201に接続される。垂直出力線201は、その一端が定電流源203に接続され、他端がカラムアンプ(増幅アンプ)202に接続される。カラムアンプ202の出力は、制御信号PTSで駆動されるスイッチ206を介して保持容量208に接続される。保持容量208は、水平走査回路214から出力される列毎の制御信号PHによって駆動される出力転送スイッチ210を介して、水平出力線212に接続される。また、カラムアンプ202の出力は、制御信号PTNで駆動されるスイッチ207を介して保持容量209に接続される。保持容量209は、水平走査回路214から出力される列毎の制御信号PHによって駆動される出力転送スイッチ211を介して、水平出力線213に接続される。この水平出力線212,213には、読み出しアンプ215が接続され、水平出力線212,213の差分出力に所定のゲインを乗じた画素信号が出力される。
次に、図3に示される画素セット200について説明する。画素セット200の転送スイッチ401のゲートには、制御信号PTXが入力される。また、転送スイッチ401には、フォトダイオード400と、接続スイッチ408を介してFD(フローティングディフュージョン部)407が接続される。接続スイッチ408には、制御信号PFDが入力される。リセットスイッチ402のゲートには、制御信号PRESが入力され、行選択スイッチ405のゲートには、制御信号PSELが入力される。画素アンプ406は、FD407に接続される。制御信号PTX、PFD、PRES、PSEL、PMEMの各々は、図2の制御信号線204に出力される制御信号に相当し、行毎に制御される。
メモリ410は、フォトダイオード400で蓄積された電荷を一時的に格納する。メモリ410の一端は、接続線412とスイッチ414を介して転送スイッチ401に接続され、他端は、接続線413とスイッチ415を介してFD407に接続される。メモリ410は、電荷結合素子で構成され、図2の駆動電圧線219に出力される行毎の駆動電圧V0,V1,V2,V3が印加される。なお、ここでは記憶素子としてのメモリ群410を電荷結合素子で構成するものとしているが、これに限定されるものではない。容量等、電荷を保持する構成であれば、記憶素子として適用することができる。
図4に示すように、撮像素子は2枚の半導体基板である基板300と基板301が接合された構成となっている。図3の破線409に含まれる回路素子は、基板300上に形成される。また、図2に示す画素セット200以外の回路素子も同様に基板300上に形成される。一方、破線411に含まれるメモリ410と不図示の駆動電圧V0,V1,V2,V3の駆動回路は、基板301上に形成される。接続線412,413はマイクロバンプ等で形成され、基板300と基板301は画素毎に電気的に接続された構成となる。このような構成にすることで、メモリ410の面積が大きな場合でもフォトダイオード400の面積を小さくする必要がなく、飽和特性や解像度等の画質を保持することができる。
また、本実施形態の撮像装置100は、静止画撮影と動画撮影を行うことが可能である。撮像素子101は、例えば図5に示すように、画素セット200が水平方向に20画素、垂直方向に15画素並んだ構成となっている。静止画撮影を行う場合には、図5に示す全画素セットの画像信号を読み出し、静止画像を生成する。動画撮影を行う場合には、行番号0、3、6、9、12に示す行の画素セットの画像信号をフレーム毎に読み出し(間引き読み出し)、動画像を生成する。即ち、図5の斜線で示される画素セット200の画像信号は、動画時には読み出されない。図5に示す行番号0、3、6、9、12の行を第1の行(第1の画素群)とする。また、動画時に間引かれて読み出されない図5の斜線で示される行を第2の行(第2の画素群)とする。なお、画素セット200の配列や、静止画・動画時の読み出し対象となる画素セットはこの構成に限定されるものではない。
次に、図6A、図6Bを用いてメモリ410の電荷の移動について説明する。図6Aに示すように、メモリ410には駆動電圧V0,V1,V2,V3が印加される。時刻T0では、V0とV1の駆動電圧が印加されている。電圧V0と電圧V1が印加された箇所はポテンシャルが下がり、そこに電荷が格納される。次に、時刻T1では電圧V2を印加することで、電荷は電圧V0から電圧V2が印加される範囲に広がる。その後、時刻T2で電圧V0の印加をやめると、電荷は電圧V1と電圧V2が印加されるところに格納されることとなり、電極ひとつ分だけ移動したことなる。図6Bに示すように、同様の操作を時刻T3からT8まで続けると、メモリ内部で電荷が移動したこととなる。この時刻T0からT8の動作をすることで、フォトダイオード200で蓄積された電荷のメモリ410への格納、またはメモリ410からの電荷の読み出しを行う。
次に、本実施形態での撮像装置の動作について説明する。図7は、本実施形態の撮像装置100の動作を示すフローチャートである。
まず、操作部105に含まれる動画撮影スイッチが押下されると動画撮影を開始し、ステップS100へ進む。本実施形態の撮像装置100は、動画優先モードと静止画優先モードを持つ。動画優先モードは、動画撮影中に静止画撮影スイッチが押下された場合に動画撮影を中断せず、動画撮影と同時に静止画撮影を行う。静止画優先モードは、動画撮影中に静止画撮影スイッチが押下された場合に動画撮影を中断し、静止画撮影を行う。ステップS100では、事前にユーザが操作部105と表示部107を用いてどちらのモードを選択しているかをCPU103が判断する。ここで動画優先モードが選択されていた場合には、ステップS101へ進む。
ステップS101では、動画時に使用する画素セット200のフォトダイオード400に蓄積された電荷をメモリ410へ転送する。図8は、電荷の蓄積、メモリへの転送、電荷(画像信号)の読み出しを示した図である。リセット動作500では、全画素セット200のフォトダイオード400のリセットを行う。図9Aにリセット動作を示す。まず、時刻ta0にて全行の制御信号PMEMをアクティブにすることにより、スイッチ414、415がオンとなり、メモリ410が転送スイッチ401とFD407に接続される。次に、時刻ta1にて全行の制御信号PRESと制御信号PFDがアクティブになることにより、全ての画素セット200のリセットスイッチ402と接続スイッチ408がオンとなり、画素アンプ406のゲート、つまりFD407がリセットされる。次に、時刻ta2〜ta3のタイミングで全行の制御信号PTXがアクティブになる。ここでは特定行の制御信号のみ示しているが、この期間全ての行の制御信号PTXがアクティブとなり、全画素セットのフォトダイオード500の電荷は、転送スイッチ401と接続スイッチ408を介して画素アンプ406のゲートに転送される。その結果、フォトダイオード400はリセットされる。時刻ta3で制御信号PTXがネゲートされた時点から蓄積が開始される。その後、時刻ta3にて全行の制御信号PRESをネゲートする。
転送動作501では、第1の行のフォトダイオード400からメモリ410への電荷の転送を行う。図9Bに電荷の転送動作を示す。時刻tb0〜tb1のタイミングで第1の行の制御信号PTXをアクティブにすることにより転送スイッチ401がオンとなり、フォトダイオード400に蓄積した電荷がメモリ410に転送される。この動作で蓄積完了となり、図8に示す期間Taが蓄積期間となる。その後、時刻tb2〜tb3のタイミングで、第1の行の駆動電圧V0,V1,V2,V3を図6Bに示す期間T0〜T8のタイミングで駆動する。それにより電荷がメモリ410へ格納される。これまでの動作で第1の行のメモリ410には、同時に露光された電荷が各々の画素で格納されることとなる。
次に、ステップS102において、メモリ410に格納された動画の画像信号を読み出す。図8に示す各行の読み出し動作503において、a0は、蓄積期間Taで蓄積された電荷(画像信号)の行番号0の行の読み出しを示し、行番号0、3、6、9、12の行の蓄積期間Taで蓄積された電荷(画像信号)が順次読み出されることを示している。
図9Cに1行の読み出し動作を示す。なお、図9Cの読み出しをモード1の読み出しとする。時刻tc0では読み出し対象行の制御信号PSELがアクティブとなり、行選択スイッチ405がオンになる。画素アンプ406と垂直出力線201に接続されている電流源203で構成されるソース・フォロア回路が動作状態となる。時刻tc1に制御信号PRESがアクティブになることによりリセットスイッチ402がオンになり、画素アンプ406のゲート、つまりFD407は初期化される。即ち、垂直出力線201には、このリセット直後の信号レベル(いわゆるダークレベル)の信号が出力される。時刻tc2で制御信号PRESがネゲートされた後、時刻tc3に制御信号PTNがアクティブになる。これにより垂直出力線201に接続されたカラムアンプ202の出力と接続されるスイッチ207がオンとなり、保持容量209にダークレベル出力が保持される。
この後、時刻tc4で転送動作を完了した後、時刻tc5〜tc6で読み出し対象行の駆動電圧V0,V1,V2,V3を図6BのT0〜T8に示すタイミングで駆動させる。すると、画素アンプ406のゲートであるFD407にはメモリ410に格納されている電荷が転送される。このとき、画素アンプ406で構成されるソース・フォロアに転送されてきた信号電荷に見合う分だけリセットレベルから電位が変動し、信号レベルが確定する。次に、時刻tc7にて、制御信号PTSをアクティブにする。これにより、垂直出力線201に接続されたカラムアンプ202の出力と接続されるスイッチ206がオンとなり、信号レベルが保持容量208に保持される。この後、時刻tc8で制御信号PTSをネゲートすると、転送動作が完了する。
これまでの動作で、保持容量208,209には、読み出し対象行に配置される画素セット200の信号レベルとダークレベルがそれぞれ保持される。画素からの信号を出力したので、時刻tc9で制御信号PSELをネゲートする。
時刻tc10では、水平走査回路214が制御信号PHを出力することで転送スイッチ210,211を制御し、保持容量208,209を水平出力線212,213に接続する動作を行う。制御信号PH(n)をアクティブにすると、水平出力線212,213には、それぞれ転送スイッチ210,211を介してn列目の保持容量208,209が接続される。即ち、このときの読み出しアンプ215の入力には、読み出し対象行かつn列目に位置する画素で蓄積された信号が読み出される。
その後、n+1列目、n+2列目といったように各列の画像信号が全て読み出される。このように時刻tc10〜tc11の動作で1行分の読み出しが行われる。このようにして図8のフレーム0期間に、順次蓄積期間Taにて蓄積された第1の行の電荷が画像信号として読み出される。読み出された1フレーム分の動画の画像信号は、画像処理部109に転送され、画像補正処理や圧縮等が行われ、続くフレームの画像と共に動画として外部記録媒体113に記録される。
1フレーム分の読み出しが完了すると、次にステップS103へ進む。ステップS103では、静止画撮影スイッチが押下されているか否かを判断する。図8に示すフラグ505は、静止画撮影スイッチが押下されたことを示す。静止画撮影スイッチが押下されている場合にはステップS104へ進む。
ステップS104では、全画素セット200のフォトダイオード400に露光制御により蓄積された電荷をメモリ410へ転送する。図9Bに示す動作を全ての行について行うことにより、図8の蓄積期間Tbに蓄積された、全画素セット200のフォトダイオード400の電荷をメモリ410へ転送する。その後、ステップS105へ進む。
ステップS105では、図8のフレーム1に示すように、第1の行全行と、第2の行の一部の画像信号を読み出す。ステップS102と同様に、第1の行の、蓄積期間Tbで蓄積された電荷を順次読み出す。その後続けて、第2の行のうち行番号1、2の行について、図9Cに示す動作にて蓄積期間Tbで蓄積された電荷を読み出す。読み出された画像信号は動画を生成するのに使用されると共に、RAM108へ格納される。その後ステップS106へ進む。
ステップS106では、静止画に使用する行が全て読み出されたか否かをCPU103が判定する。ここまでで、静止画に使用する行の蓄積期間Tbに蓄積された電荷は、0、1、2、3、6、9、12行目のみ読み出されているので、静止画に必要な画像信号はそろっていない。よってステップS107進む。
ステップS107では、動画撮影スイッチが押下されているか否かを判断する。押下されていない場合にはステップS108へ進む。
ステップS108では、ステップS102での動作と同様に、動画に使用する行のフォトダイオード400からメモリ410への電荷の転送を行う。この時点では、動画に使用する行のメモリ410には蓄積期間Tcにて蓄積された電荷が、静止画に使用する行のメモリ410には蓄積期間Tbにて蓄積された電荷が格納される。その後、ステップS105へ進む。
ステップS105では、図8のフレーム2に示すように、蓄積期間Tcに蓄積された第1の行の電荷と、蓄積期間Tbに蓄積された第2の行の一部(4、5行目)の電荷を読み出す。読み出された画像信号は、動画を生成するのに使用されると共に、RAM108へ格納される。
このように、ステップS105からステップS108の動作を繰り返すことで、図8のフレーム1からフレーム5に示すように、各蓄積期間で蓄積された第1の行の画像信号の読み出しと、蓄積期間Tbで蓄積した第2の行の一部の画像信号の読み出しを繰り返す。フレーム5での読み出しが終了した時点では、RAM108には蓄積期間Tbに蓄積された全行の画像信号が格納されることになる。全行の読み出しが終了すると、RAM108に格納されている蓄積期間Tbで蓄積された画像信号は画像処理部109に転送され、画像補正や圧縮等の処理をされて静止画が生成され、外部記録媒体113に記録される。各フレームの動画の信号はそれぞれのフレームで処理されて動画として外部記録媒体113に記録される。
なお、ここでは静止画で使用する行は2行ずつ読み出す構成としたが、これに限定されるものではない。動画のフレーム内に読み出すことができれば行数は任意である。また、動画のフレームレートが変更されると、読み出す行数を変更するといった構成も可能である。さらに、フレーム内の動画読み出し終了後に静止画を読み出す構成としたが、読み出しのタイミングはこれに限定されるものではない。
ステップS106にて静止画の画像信号読み出しが終了している場合には、ステップS103へ進む。ステップS103にて静止画撮影スイッチが押下されていない場合にはステップS109へ進み、動画撮影スイッチが押下されているかを判断する。動画撮影スイッチが押下されていない場合には、ステップS101に戻り、前述した動作で動画の生成・記録がなされる。
ステップS107にて動画撮影スイッチが押下されていた場合には、ステップS111に進み、メモリ410に格納されており、この時点で読み出されていない静止画で使用する行の画像信号を全て読み出す。図9Cに示す動作を読み出されていない第2の行に対して順次行い、全て読みだす。全行の読み出しが終了すると、RAM108に格納される蓄積期間Tbで蓄積された画像信号は画像処理部109に転送され、画像補正や圧縮等の処理をされて静止画が生成され、外部記録媒体113に記録される。各フレームの動画の信号は、それぞれのフレームで処理されて動画として外部記録媒体113に記録される。その後、撮影終了となる。
ステップS109にて動画撮影スイッチが押下された場合には、ステップS110に進む。メモリ410に静止画の画像信号が格納されている場合にはS111へ進み、読み出されていない静止画で使用する行の画像信号を読み出す。メモリ410に静止画の画像信号が格納されていない場合には、撮影終了となる。
ステップS100にて静止画優先モードが選択されていた場合には、ステップS112へ進む。ステップS112では動画の画像信号の読み出しを行う。ここでの読み出し動作を図10に示す。リセット動作601では、各行におけるフォトダイオード400のリセットを行う。
図11Aに1行のリセット動作を示す。まず、時刻td0にて全行の制御信号PMEMをネゲートすることにより、スイッチ414,415がオフとなり、メモリ410が転送スイッチ401とFD407から電気的に切断される。次に、時刻td1にて対象行の制御信号PRESと制御信号PFDがアクティブになることにより、全ての画素セット200のリセットスイッチ402と接続スイッチ408がオンとなり、画素アンプ406のゲート、つまりFD407がリセットされる。次に、時刻td2〜td3のタイミングで全行の制御信号PTXがアクティブになる。画素セットのフォトダイオード400の電荷は、転送スイッチ401と接続スイッチ408を介して画素アンプ406のゲートに転送される。その結果、フォトダイオード400はリセットされる。時刻td3で制御信号PTXがネゲートされた時点から蓄積が開始される。その後、時刻td3にて制御信号PRESをネゲートする。図10に示すリセット動作601のa0は、行番号0行目のリセットであることを示す。ここでは、行番号0、3、6、9、12が順次リセットされる。
図10に示す1行の読み出し動作602では、図11Bに示される動作を行う。時刻te0では読み出し対象行の制御信号PSELがアクティブとなり、行選択スイッチ405がオンになる。画素アンプ406と垂直出力線201に接続されている電流源203で構成されるソース・フォロア回路が動作状態となる。また、制御信号PFDがアクティブとなってスイッチ408がオンになり、転送スイッチ401とFD407が接続される。時刻te1に制御信号PRESがアクティブになることによりリセットスイッチ402がオンになり、画素アンプ406のゲート、つまりFD407は初期化される。即ち、垂直出力線201には、このリセット直後の信号レベル(いわゆるダークレベル)の信号が出力される。時刻te2で制御信号PRESがネゲートされた後、時刻te3に制御信号PTNがアクティブになる。これにより垂直出力線101に接続されたカラムアンプ202の出力と接続されるスイッチ207がオンとなり、保持容量209にダークレベル出力が保持される。
この後、時刻te4で転送動作を完了した後、時刻te5〜te6にて制御信号PTXをアクティブにする。すると、フォトダイオード400の電荷が転送される。このとき、画素アンプ406で構成されるソース・フォロアに転送されてきた信号電荷に見合う分だけリセットレベルから電位が変動し、信号レベルが確定する。次に、時刻te7にて、制御信号PTSをアクティブにする。これにより、垂直出力線201に接続されたカラムアンプ202の出力と接続されるスイッチ206がオンとなり、信号レベルが保持容量208に保持される。この後、時刻te8で制御信号PTSをネゲートすると、転送動作が完了する。これまでの動作で、保持容量208,209には、読み出し対象行の画素セット400の信号レベルとダークレベルがそれぞれ保持される。画素からの信号を出力したので、時刻te9で制御信号PSELをネゲートする。また、制御信号PFDをネゲートし、スイッチ408がオフとして転送スイッチ401とFD407を遮断する。
時刻te10では、水平走査回路214が制御信号PHを出力することで転送スイッチ210,211を制御し、保持容量208,209を水平出力線212,213に接続する動作を行う。制御信号PH(n)をアクティブにすると、水平出力線212,213には、それぞれ転送スイッチ210,211を介してn列目の保持容量208,209が接続される。即ち、このときの読み出しアンプ215の入力には、読み出し対象行かつn列目に位置する画素で蓄積された信号が読み出される。その後、n+1列目、n+2列目といったように各列の画像信号が全て読み出される。このように時刻te10〜te11の動作で1行分の読み出しが行われる。なお、この図11Bに示す読み出しをモード2の読み出しとする。上述した様に、モード2の読み出しはメモリ410を介さない。
図10に示す1行の読み出し動作602において、a0は、行番号0行の読み出しであることを示す。各行のリセット動作601と読み出し動作602の間の時間が、各行の蓄積期間となり、行番号0、3、6、9、12の行が順次蓄積(順次露光制御)と読み出しを繰り返し、1フレーム分の読み出しが行われる。読み出された1フレーム分の動画像は、画像処理部109に転送され、画像補正処理や圧縮等が行われ、続くフレームの画像と共に動画として外部記録媒体113に記録される。
ステップS112で動画の読み出しが終了すると、ステップS113に進む。ステップS113では、静止画撮影スイッチが押下されているか否かを判断する。ここでは、図10のフラグ604のタイミングで静止画撮影スイッチが押下されていたものとする。その場合、ステップS114に進む。
ステップS114では、静止画用画像信号の読み出しが行われる。まず、図10のリセット動作600のタイミングで全行のフォトダイオード400をリセットする。リセット動作は、図11Aに示す動作を全行について行うことにより、フォトダイオード400をリセットする。リセット後、画像信号の読み出しを開始するまでの期間に、不図示の撮像素子101の外部の機構にて撮像素子101に照射される光を遮断する。光を遮断されるまでが蓄積期間となる。ここでの蓄積期間をTbとする。蓄積が終了すると、各行の画像信号の読み出しを行う。図10に示す様に、行番号0〜14の行の画像信号の読み出しを図11Bに示すモード2で行う。画像信号の読み出しが全て終了すると、読み出した画像信号は画像処理部109に転送され、画像補正や圧縮等の処理がなされ、静止画として外部記録媒体113に記録される。
ステップS114にて静止画用画像信号の読み出しが終了すると、ステップS113に戻る。ここで静止画撮影スイッチが押下されていない場合には、ステップS115に進み、動画撮影スイッチが押下されたか否かを判断する。動画撮影スイッチが押下されていた場合には撮影終了となり、押下されていなかった場合にはステップS112に戻り動画撮影を続ける。
以上のように、動画優先モードでは、動画の複数フレームに渡って静止画の画像信号を分割して読み出すことで、動画を中断することなく静止画を撮影することができる。
また、静止画優先モードでは、動画を中断して静止画撮影を行うので、静止画の連写を行うことができる。さらに、メモリ410を使用しないので、メモリ410が配置される基板の電源の一部または全部をオフにすることができ、電力を削減することができる。
(第2の実施形態)
以下、本発明の第2の実施形態について説明する。第2の実施形態の撮像装置の構成は、第1の実施形態で説明した図1の構成と同様であるため、説明を省略する。本実施形態では、撮像素子101の画素セット200の構成が異なる。
図12に、本実施形態における撮像素子101の画素セット200の構成を示す。画素セット200の転送スイッチ701のゲートには、制御信号PTXが入力される。また、転送スイッチ701には、フォトダイオード700と、接続スイッチ708を介してFD707が接続される。接続スイッチ708には、制御信号PFDが入力される。リセットスイッチ702のゲートには、制御信号PRESが入力され、行選択スイッチ705のゲートには、制御信号PSELが入力される。画素アンプ706は、FD707に接続される。制御信号PTX、PFD、PRES,PSEL、PMEMの各々は、図2の制御信号線204に出力される制御信号に相当し、行毎に制御される。
メモリ群710は、フォトダイオード700で蓄積された電荷を一時的に格納する単位メモリが4個接続された(複数配置された)構成となっている。メモリ群710の一端は、接続線712とスイッチ714を介して転送スイッチ701に接続され、他端は、接続線713とスイッチ715を介してFD707に接続される。メモリ群710は、電荷結合素子で構成され、単位メモリには、それぞれ図2の駆動電圧線219に出力される行毎の駆動電圧V0,V1,V2,V3が印加される。なお、ここでは記憶素子としてのメモリ群710を電荷結合素子で構成するものとしているが、これに限定されるものではない。容量等、複数の電荷を独立に保持する構成であれば、記憶素子として適用することができる。また、単位メモリは4個の構成としたが、これに限定されるものではない。
図4に示すように、撮像素子は2枚の半導体基板である基板300と基板301が接合された構成となっている。図12の破線709に含まれる回路素子は、基板300上に形成される。また、図1に示す画素セット200以外の回路素子も同様に基板300上に形成される。一方、破線711に含まれるメモリ群710と不図示の駆動電圧V0,V1,V2,V3の駆動回路は、基板301上に形成される。接続線712,713はマイクロバンプ等で形成され、基板300と基板301は画素毎に電気的に接続された構成となる。このような構成にすることで、メモリ群710の面積が大きな場合でもフォトダイオード700の面積を小さくする必要がなく、飽和特性や解像度等の画質を保持することができる。
本実施形態における撮像素子101は、例えば図5に示すように、画素セット200が水平方向に20画素、垂直方向に15画素並んだ構成となっている。静止画撮影を行う場合には、図5に示す全画素セットの画像信号を読み出し、静止画像を生成する。動画撮影を行う場合には、行番号0、3、6、9、12に示す行の画素セットの画像信号をフレーム毎に読み出し(間引き読み出し)、動画像を生成する。即ち、図5の斜線で示される画素セット200の画像信号は、動画時には読み出されない。図5に示す行番号0、3、6、9、12の行を第1の行とする。また、動画時に間引かれて読み出されない図5の斜線で示される行を第2の行とする。なお、画素セット200の配列や、静止画・動画時の読み出し対象となる画素セットはこれに限定されるものではない。
次に、図13A、13Bを用いてメモリ群710の電荷の移動について説明する。図13Aに示すように、単位メモリの各々には駆動電圧V0,V1,V2,V3が印加される。時刻T0では、V0とV1の駆動電圧が印加されている。電圧V0と電圧V1が印加された箇所はポテンシャルが下がり、そこに電荷が格納される。次に、時刻T1では電圧V2を印加することで、電荷は電圧V0から電圧V2が印加される範囲に広がる。その後、時刻T2で電圧V0の印加をやめると、電荷は電圧V1と電圧V2が印加されるところに格納されることとなり、電極ひとつ分だけ移動したことなる。図13Bに示すように、同様の操作を時刻T3からT8まで続けると、単位メモリ一つ分電荷が移動したこととなる。この時刻T0からT8の動作を3回繰り返すことで、フォトダイオード700で3回蓄積された電荷を独立に単位メモリM(1)〜M(3)に格納することができる。
図14は、本実施形態における撮像装置100の動作を示すフローチャートである。図14を用いて撮像装置100の動作を説明する。まず、操作部105に含まれる動画撮影スイッチが押下されると動画撮影を開始し、ステップS200へ進む。
ステップS200では、第1の行の画素セット200のフォトダイオード700に蓄積された電荷をメモリ群710へ転送する。図15は、電荷の蓄積、メモリ群への転送、電荷(画像信号)の読み出しを示した図である。リセット動作800では、全画素セット200のフォトダイオード700のリセットを行う。リセット動作は第1の実施形態で述べた図9Aの動作と同様である。転送動作801では、第1の行のフォトダイオード700からメモリ群710への電荷の転送を行う。
図16Aに電荷の転送動作を示す。時刻tf0〜tf1のタイミングで第1の行の制御信号PTXをアクティブにすることにより転送スイッチ701がオンとなり、フォトダイオード700に蓄積した電荷がメモリ群710の単位メモリM(0)に転送される。この動作で蓄積完了となり、図15に示す期間Taが蓄積期間となる。その後、時刻tf2〜tf3のタイミングで、動画に使用する行について、図13Bに示す期間T0〜T8のタイミングで駆動電圧V0,V1,V2,V3を印加するようにメモリ群710を駆動する。それにより、電荷がメモリ群710の単位メモリM(1)へ格納される。続けて、時刻tf3〜tf4、時刻tf4〜tf5にて図13Bに示す期間T0〜T8のタイミングで駆動電圧V0,V1,V2,V3を印加するようにメモリ群710を駆動することにより、単位メモリM(1)に格納されている電荷を単位メモリM(2)を介して単位メモリM(3)に移動する。これまでの動作で第1の行のメモリ群710の単位メモリM(3)には、同時に露光された画像信号(電荷)が各々の画素で格納されることとなる。
次に、ステップS202において、メモリ710に格納された動画の画像信号を読み出す。図15に示す各行の読み出し動作803において、a0は蓄積期間Taで蓄積された電荷(画像信号)の行番号0の行の読み出しを示し、行番号0、3、6、9、12の行の蓄積期間Taで蓄積された電荷(画像信号)が順次読み出されることを示している。画像信号の読み出し動作は、第1の実施形態で述べた図9Cの動作と同様である。読み出された1フレーム分の動画像は、画像処理部109に転送され、画像補正処理や圧縮等が行われ、続くフレームの画像と共に動画として外部記録媒体113に記録される。
その後、ステップS202へ進む。ステップS202では、静止画撮影スイッチが押下されたか否かをCPU103が判断する。ここでは、図15に示す様にフレーム0の読み出し中に静止画スイッチが押下されたものとしてフラグ805を立て、ステップS203に進む。
ステップS203では、第1の行、第2の行の画素セット200のフォトダイオード700に蓄積された電荷をメモリ群710へ転送する。図15に示すリセット動作800にて全行のフォトダイオード700のリセットを行った後、転送動作802にて蓄積期間Tbに蓄積した全行の電荷を転送する。このとき、第1の行については図16Aに述べた動作で転送を行い、メモリ群710の単位メモリM(3)へ電荷を転送する。第2の行については図16Bに示す動作で転送を行う。時刻th0〜th1のタイミングで第1の行の制御信号PTXをアクティブにすることにより、蓄積した電荷をメモリ群710の単位メモリM(0)に転送される。この動作で蓄積完了となり、図15に示す期間Tbが蓄積期間となる。その後、時刻th2〜th3のタイミングで、第2の行について、図13Bに示す期間T0〜T8のタイミングで駆動電圧V0,V1,V2,V3を印加するようにメモリ群710を駆動する。それにより、電荷がメモリ群710の単位メモリM(1)へ格納される。これまでの動作で行番号0、3、6、9、12については単位メモリM(3)に蓄積期間Tbに蓄積された電荷が格納され、行番号1、2、4、5、7、8、10、11、13、14については単位メモリM(1)に蓄積期間Tbに蓄積された電荷が格納されることとなる。
その後、ステップS204では、第2の行の単位メモリM(1)〜M(3)全てに電荷が格納されているかを判断する。ここでは第2の行については単位メモリM(2)のみに電荷が格納されていないので、ステップS201へ戻る。その後、第2の行の単位メモリM(1)〜M(3)の全てに電荷が転送されるまでステップS201からステップS204までを繰り返す。第2の行の電荷転送を行うと、M(1)に格納された電荷はM(2)に移動し、M(1)には新たにフォトダイオード700からの電荷が格納される。
このように第2の行の電荷転送を繰り返すと、電荷は単位メモリ間を移動する。本実施形態では、電荷を格納できる単位メモリがM(1)〜M(3)の3つなので、図15に示すように3回の静止画撮影スイッチ押下がされるまで繰り返す。図15では蓄積期間Tb、Td、Tfの期間に、第2の行の電荷転送を行うこととなる。これにより第2の行の単位メモリM(1)には蓄積期間Tfの電荷が、単位メモリM(2)は蓄積期間Tdの電荷が、単位メモリM(3)には蓄積期間Tbの電荷が格納されることとなる。なお、読み出した第1の行の画像信号は順次画像処理され動画が生成されるが、静止画撮影を行った蓄積期間Tb、Td、Tfの第1の行の画像信号は、後の静止画生成時に使用するので、RAM108へ格納され、保持される。
ステップS204にて第2の行の単位メモリM(1)〜M(3)全てに電荷が格納されると、ステップS205に進み、静止画、動画の読み出しを行う。図15のフレーム5に示す様に、蓄積期間Tfで蓄積した第1の行の読み出しを図9Cに示す動作で行い、その後、蓄積期間Tbで蓄積した第2の行のうち、行番号1、2について読み出す。第2の行の読み出しも図9Cに示す動作で行う。
その後、ステップS206にて単位メモリM(1)〜M(3)に格納される電荷が全て読み出されたか否かを判断する。ここでは全て読み出されていないのでステップS207へ進む。ステップS207では動画撮影スイッチが再び押下されたかを判断し、押下されていない場合にはステップS208へ進む。ステップS208では第1の行の転送を行い、ステップS205へ戻る。
こうして、ステップS205からステップS208の動作を繰り返すことで、図15に示す様にフレーム5からフレーム9に渡り蓄積期間Tbで蓄積された第2の行の電荷を読み出す。同様にしてフレーム10からフレーム14に渡り蓄積期間Tdで蓄積された第2の行の電荷、フレーム15からフレーム19に渡り蓄積期間Tfで蓄積された第2の行の電荷を読み出す。
読み出された第2の行の電荷は、RAM108へ転送され、保持される。全てのデータが読み出されると、RAM108へ格納される蓄積期間Tbの第1の行と第2の行のデータは画像処理部にて合成され、画像補正や圧縮等の処理をされて静止画が生成され、外部記録媒体113に記録される。蓄積期間Td、Tfで撮影された画像についても同様の処理を行う。
ステップS206で静止画の読み出しが終了した場合にはステップS202へ進む。ステップS202にて静止画撮影スイッチが押下されていない場合にはステップS209へ進み動画撮影スイッチが押下されたか否かを判断する。押下されている場合には撮影終了となる。また、ステップS209にて動画撮影スイッチが押下されていない場合には、ステップS200へ戻り、上述した処理を行う。
ステップ207にて動画撮影スイッチが押下されると、ステップS210へ進む。ステップS210では単位メモリに格納され、読み出されていない電荷を全て読み出し、その後撮影終了となる。
以上の動作のように、動画の複数フレーム期間に渡って静止画画像を分割して読み出すことで動画を中断することなく静止画を撮影することができる。このとき、画素毎のメモリを複数持ち、電荷を移動させながら複数のメモリに複数の蓄積期間の電荷を格納し、後に読み出すことで、1枚の静止画画像の読み出しが終了する前に次の撮影をすることができる。これにより、動画を中断することなく静止画の所定の時間間隔での連続撮影(複数回の蓄積制御)を行うことができる。
(第3の実施形態)
図17は、本発明の第3の実施形態としての携帯電話機1100の構成を示すブロック図である。本実施形態の携帯電話機1100は、音声通話機能の他、電子メール機能や、インターネット接続機能、画像の撮影、再生機能等を有する。
図17において、通信部1101は、ユーザが契約した通信キャリアに従う通信方式により他の電話機との間で音声データや画像データを通信する。音声処理部1102は、音声通話時において、マイクロフォン1103からの音声データを発信に適した形式に変換して通信部1101に送る。また、音声処理部1102は、通信部1101から送られた通話相手からの音声データを復号し、スピーカ1104に送る。撮像部1105は、被写体の画像を撮影し、画像データを出力する。画像処理部1106は、画像の撮影時においては、撮像部1105により撮影された画像データを処理し、記録に適した形式に変換して出力する。また、画像処理部1106は、記録された画像の再生時には、再生された画像を処理して表示部1107に送る。表示部1107は、数インチ程度の液晶表示パネルを備え、制御部1109からの指示に応じて各種の画面を表示する。不揮発メモリ1108は、アドレス帳の情報や、電子メールのデータ、撮像部1105により撮影された画像データ等のデータを記憶する。
制御部1109はCPUやメモリ等を有し、不図示のメモリに記憶された制御プログラムに従って電話機1100の各部を制御する。操作部1110は、電源ボタンや番号キー、その他ユーザがデータを入力するための各種の操作キーを備える。カードIF1111は、メモリカード1112に対して各種のデータを記録再生する。外部IF1113は、不揮発メモリ1108やメモリカード1112に記憶されたデータを外部機器に送信し、また、外部機器から送信されたデータを受信する。外部IF1113は、USB等の有線の通信方式や、無線通信など、公知の通信方式により通信を行う。
次に、電話機1100における音声通話機能を説明する。通話相手に対して電話をかける場合、ユーザが操作部1110の番号キーを操作して通話相手の番号を入力するか、不揮発メモリ1108に記憶されたアドレス帳を表示部1107に表示し、通話相手を選択し、発信を指示する。発信が指示されると、制御部1109は通信部1101に対し、通話相手に発信する。通話相手に着信すると、通信部1101は音声処理部1102に対して相手の音声データを出力すると共に、ユーザの音声データを相手に送信する。
また、電子メールを送信する場合、ユーザは、操作部1110を用いて、メール作成を指示する。メール作成が指示されると、制御部1109はメール作成用の画面を表示部1107に表示する。ユーザは操作部1110を用いて送信先アドレスや本文を入力し、送信を指示する。制御部1109はメール送信が指示されると、通信部1101に対しアドレスの情報とメール本文のデータを送る。通信部1101は、メールのデータを通信に適した形式に変換し、送信先に送る。また、通信部1101は、電子メールを受信すると、受信したメールのデータを表示に適した形式に変換し、表示部1107に表示する。
次に、電話機1100における撮影機能について説明する。ユーザが操作部1110を操作して撮影モードを設定した後、静止画或いは動画の撮影を指示すると、撮像部1105は静止画データ或いは動画データを撮影して画像処理部1106に送る。画像処理部1106は撮影された静止画データや動画データを処理し、不揮発メモリ1108に記憶する。また、画像処理部1106は、撮影された静止画データや動画データをカードIF1111に送る。カードIF1111は静止画や動画データをメモリカード1112に記憶する。
また、電話機1100は、この様に撮影された静止画や動画データを含むファイルを、電子メールの添付ファイルとして送信することができる。具体的には、電子メールを送信する際に、不揮発メモリ1108やメモリカード1112に記憶された画像ファイルを選択し、添付ファイルとして送信を指示する。
また、電話機1100は、撮影された静止画や動画データを含むファイルを、外部IF1113によりPCや他の電話機等の外部機器に送信することもできる。ユーザは、操作部1110を操作して、不揮発メモリ1108やメモリカード1112に記憶された画像ファイルを選択し、送信を指示する。制御部1109は、選択された画像ファイルを不揮発メモリ1108或いはメモリカード1112から読み出し、外部機器に送信するよう、外部IF1113を制御する。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。