JP4530961B2 - 電子的ぶれ補正装置 - Google Patents

Description

本発明は、固体撮像素子に結像される画像のぶれを電子的に補正する電子的ぶれ補正装置に関する。

固体撮像素子を用いて静止画像や動画像を撮像する撮像装置は、手で把持して撮影するように構成されたものが少なくない。このような撮像装置において、例えば被写体の輝度が低い場合には、シャッタ速度が遅くなるために、手ぶれが発生し易くなることが知られている。また、車載カメラ等においては、走行時の振動により、同様にぶれが発生する可能性があることが知られている。

こうしたぶれを補正するための技術は、従来より種々のものが提案されており、その代表的な例の幾つかについて、以下に説明する。

（１）電子式ぶれ補正（特開平６−４６３１６号公報等）
電子式ぶれ補正では、有効画素領域を、撮像素子を用いて撮像可能な最大の画素領域よりもかなり小さめの領域にしておく。そして、電子式ぶれ補正機能を搭載したデジタルカメラで撮影を行ったときには、撮影された画像は、直ちにメモリカードに記録されるのではなく、まず一時的にバッファメモリに記憶される。デジタルカメラは、時間的間隔を離すことなくすぐに次の画像を撮影する。この２番目に撮影された画像も、１番目に撮影された画像と同様に、直ちにメモリカードに記録されるのではなく、まずバッファメモリに記憶される。このとき、２番目に撮影した画像における被写体の位置が、最初に撮影した画像における被写体の位置とずれてしまった（ぶれてしまった）場合には、デジタルカメラは、１枚目の画像と２枚目の画像とを比較して、被写体が同様の構図で画面の中に納まるように使用するデータ領域をずらし、これを２番目の画像における有効画素領域とする。このような技術を用いることにより、各画像間での被写体の位置がずれることのない（つまり、画像間のぶれが発生することのない）画像データを記録することが可能となる。

（２）光学式ぶれ補正（特開平１０−３３６５１０号公報等）
光学式ぶれ補正では、振動ジャイロがカメラの移動を感知すると、光が届く位置のぶれを打ち消す方向にレンズの一部を動かす方式が主流である。このような技術を用いることにより、カメラが動いてぶれが発生しそうになっても、シャッタが開いた後に最初に撮像素子に届いた光の位置と、シャッタが閉じる寸前に撮像素子に届いた光の位置と、を同一の位置にして、ぶれを防ぐことが可能となる。

（３）センサーシフト式ぶれ補正（特開２００４−５６５８１号公報）
センサーシフト式ぶれ補正は、振動ジャイロがカメラの移動を感知すると、撮像面における光の到達位置のぶれ量だけ撮像素子を移動することにより、ぶれを補正する技術である。この技術は、レンズの一部が移動することがないために、画質の劣化を基本的に伴うことなく、ぶれ補正を行うことができる利点がある。そして、この技術は、レンズ交換式のカメラにおけるカメラ本体側に適用することが可能であるために、ぶれ補正の技術が考慮されていない従来の交換レンズを用いても、ぶれ補正を行うことができる利点がある。

（４）特開２００１−８６３９８号公報
この公報に記載された撮像装置は、ぶれが発生しない露光時間間隔で撮影した複数の画像を、撮像素子から読み出してバッファメモリに記憶しておき、このバッファメモリに記憶された複数の画像の相互の像ぶれ（相互の像位置のずれ）を補正した後に、この補正された各画像を加算することによりぶれのない画像を生成するものとなっている。この技術は、電子的にぶれ補正を行うものであるために、複雑なメカニカル機構が不要になる利点がある。

ところで、特開平８−１４８６６７号公報には、光導電膜積層型の固体撮像素子が記載されている。この技術を用いた光導電膜積層型のＣＣＤは、水平走査および垂直走査を行うＣＣＤ上に、光電変換および変換された電荷の蓄積を行う光導電膜を積層し、さらに、この光導電膜に透明電極を積層したものとなっている。
特開平６−４６３１６号公報 特開平１０−３３６５１０号公報 特開２００４−５６５８１号公報 特開２００１−８６３９８号公報 特開平８−１４８６６７号公報

しかしながら、上述したような電子式ぶれ補正の技術は、複数の画像データを連続してみたときに構図や被写体位置がぶれたりしないようにする技術であって、１枚の画像内においてのみ発生しているぶれを補正する技術とはなっていない。つまり、各１枚毎の画像が例えば露光時間が長いことにより手ぶれしたとしても、その手ぶれを抑制する技術とはなっておらず、静止画におけるぶれ補正にそのまま有効に適用できる技術とはいえない。

一方、上述したような光学式ぶれ補正は、静止画におけるぶれ補正に適用可能であるが、設計が大変に難しく、コストが高いものとなっている。また、ぶれは補正されるものの、例えば色収差が幾らか増大してしまい、厳密に見ると、光学性能の劣化が発生してしまうことになる。さらに、電子式ぶれ補正の技術と異なって、レンズを移動する機構を組み込む必要があるために、該機構を組み込んだデジタルカメラ等は、小型化を図るのが難しくなる。加えて、この技術を例えばレンズ交換式のカメラに適用すると、ぶれ補正機構の少なくとも一部をレンズ側に組み込むことが必要になるために、従来のぶれ補正機能に対応していない交換レンズでは、ぶれ補正を行うことができない。

また、上述したようなセンサーシフト式ぶれ補正は、機構的に撮像素子を駆動するものであるために、該機構を組み込んだデジタルカメラ等の小型化を図るのが難しくなるのは、上述した光学式ぶれ補正の場合と同様である。また、撮像素子が大きい場合には、移動量も大きくなるために、機構が大型化するのは避けられない。そして、撮像素子は、撮影レンズの光軸に対して垂直な撮像平面上でのみ移動することが重要になるが、ガタの発生や、光軸に対する撮像素子の傾き、光軸周りの撮像素子の回転などを防止するのは、困難である。

さらに、上記特開２００１−８６３９８号公報に記載された技術は、１枚の画像データを得るために、撮像素子から複数回の読み出しを行う必要がある。この撮像素子からの読み出しは、撮像素子を構成する画素数が多いほど長い時間を要する。具体的な例を挙げると、６００万画素の撮像素子から３０［ＭＨｚ］の周期で画素信号を読み出す場合には、全画素の信号を１回読み出すだけで２００［ｍｓ］の時間を要することになる。従って、複数回の読み出しを行う場合には、この２００［ｍｓ］の整数倍の時間（もしくはそれ以上の時間）を要することになる。一方、例えば３５ｍｍフィルムカメラにおいては、撮影レンズの焦点距離をｆ［ｍｍ］としたときに、ぶれの発生を概略抑制し得る最長露光時間が１／ｆ［秒］であるということが経験的に知られている。例えば、標準的な５０［ｍｍ］の撮影レンズを用いる場合には、この最長露光時間は２０［ｍｓ］となる。しかし、上記撮像素子から画像信号を１回読み出す時間２００［ｍｓ］でさえも、この最長露光時間２０［ｍｓ］に比べて極めて長くなってしまうために、ましてや複数回の読み出しを行うのは時間的に長くなり過ぎる。こうして、該公報に記載された技術は、例えば、撮像素子の画素数が少なく、かつ、ぶれの発生を概略抑制し得る最長露光時間が長い（例えば、撮影レンズの焦点距離が短い）というような、限られた条件においてのみ実用的であると考えられる。

こうして、メカニカル機構を不要としながら、幅広いシャッタスピードに対応したぶれ補正を可能とする電子的ぶれ補正装置、異なる時刻に得られた複数の画像を高速に加算することができる固体撮像素子が望まれていた。

本発明は上記事情に鑑みてなされたものであり、メカニカル機構を不要としながら、幅広いシャッタスピードに対応したぶれ補正を可能とする電子的ぶれ補正装置を提供することを目的としている。

上記の目的を達成するために、第１の発明による電子的ぶれ補正装置は、マトリクス状に配列された複数の画素を有する固体撮像素子の撮像面に結像される画像のぶれを補正して、ぶれの補正された画像を生成するための電子的ぶれ補正装置であって、上記固体撮像素子の撮像面に像を結像するための撮像光学系と、上記画像のぶれを検出するぶれ検出部と、上記固体撮像素子の露光量を制御する露光量制御部と、上記露光量制御部の制御に基づき上記固体撮像素子により所定の露光量で複数の画像を撮影する撮像部と、上記撮像部により撮影された第１画像を第１方向に沿った画素行単位で記憶するとともに該第１画像を該第１方向に転送する第１転送レジスタと、上記第１画像とは異なる時刻に撮影された第２画像を上記第１方向と直交する第２方向に沿った画素列単位で記憶するとともに該第２画像を該第２方向に転送する第２転送レジスタと、上記第１画像及び上記第２画像をそれぞれ上記第１転送レジスタ及び上記第２転送レジスタ内で相対的にシフトした後に加算して、上記第１転送レジスタ又は上記第２転送レジスタ内に記憶する加算部と、上記加算部により加算された画素の電荷を上記固体撮像素子から読み出す読出部と、を具備し、上記第１転送レジスタと上記第２転送レジスタとを、互いに交差して格子状となるように、かつ互いの交差箇所において転送レジスタを共有するように、形成したものである。

また、第２の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記加算部が、時間的に相前後して撮影された２つの画像の相対的なぶれを補正してから上記２つの画像をアナログ的に加算し、さらにこの加算した画像とその次に撮影した画像との相対的なぶれを補正してからこれら２つの画像をアナログ的に加算するという動作を繰り返し行うように制御するものである。

さらに、第３の発明による電子的ぶれ補正装置は、上記第２の発明による電子的ぶれ補正装置において、上記加算部が、上記撮影された複数の画像の内の最初の画像の撮影における露光開始から最新の画像の撮影における露光終了までの画像のぶれ量と、該複数の画像の内の最初の画像から最新の１つ前の画像までのぶれ補正量の累積加算値と、の差に基いて、最新の画像と既に加算した画像とのぶれを補正して、ぶれを補正したこれら２つの画像をアナログ的に加算するように制御するものである。

第４の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記露光量制御部が、ぶれを許容し得るようなぶれ限界露光時間以下の予め設定された露光時間で所定回数の露光を上記固体撮像素子に行わせるように制御するものである。

第５の発明による電子的ぶれ補正装置は、上記第４の発明による電子的ぶれ補正装置において、上記露光量制御部が、撮像光学系の焦点距離の情報に基いて、上記ぶれ限界露光時間を生成するものである。

第６の発明による電子的ぶれ補正装置は、上記第４の発明による電子的ぶれ補正装置において、上記ぶれ検出部が、露光開始前においてもぶれ量の演算を行うものであり、上記露光量制御部は、露光開始前に上記ぶれ量検出部により演算したぶれ量が許容可能なぶれ量の上限に達するまでの露光時間を演算し、この露光時間に基づいて上記ぶれ限界露光時間を生成するものである。

第７の発明による電子的ぶれ補正装置は、上記第４の発明による電子的ぶれ補正装置において、上記露光量制御部が、露光時に上記ぶれ量演算部により演算したぶれ量が許容可能なぶれ量の上限に達するまでの露光時間を演算し、この露光時間に基づいて上記ぶれ限界露光時間を生成するものである。

第８の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記露光量制御部が、被写体の明るさを取得する測光部と、上記測光部により取得された被写体の明るさに基づき適正露光を得るための第１露光時間を生成する第１露光時間生成部と、第２露光時間を生成する第２露光時間生成部と、上記第２露光時間で連続して予め定められた撮影回数の撮影を行ったときの露光時間の合計が上記第１露光時間に等しくなるように制御する露光時間制御部と、を備えたものである。

第９の発明による電子的ぶれ補正装置は、上記第８の発明による電子的ぶれ補正装置において、上記連続して撮影する予め定められた撮影回数を記憶するメモリをさらに具備し、上記露光時間制御部は、上記第１露光時間を上記撮影回数により割って得られた時間を第２露光時間として生成させるように上記第２露光時間生成部を制御するものである。

第１０の発明による電子的ぶれ補正装置は、上記第９の発明による電子的ぶれ補正装置において、上記第２露光時間生成部により生成された上記第２露光時間が、ぶれを許容可能なレベルに抑制し得る露光時間より長いときは、ぶれが発生する可能性があることを示す警告表示を行う表示部をさらに具備したものである。

第１１の発明による電子的ぶれ補正装置は、上記第８の発明による電子的ぶれ補正装置において、上記連続して撮影する予め定められた撮影回数として選択可能な複数の撮影回数を記憶するメモリをさらに具備し、上記露光時間制御部は、上記メモリに記憶されている撮影回数の中から、上記第１露光時間を上記第２露光時間で割った値以上の該値に最も近い整数を撮影回数として選択し、上記第１露光時間を上記撮影回数により割って得られた時間を上記第２露光時間に代えて新たな第２露光時間として生成させるように上記第２露光時間生成部を制御するものである。

第１２の発明による電子的ぶれ補正装置は、上記第８の発明による電子的ぶれ補正装置において、上記撮像光学系は絞りを有して構成されたものであって、当該電子的ぶれ補正装置は、上記撮像光学系の絞り値を設定する絞り値設定部と、上記連続して撮影する撮影回数を記憶するメモリと、をさらに具備し、上記絞り値設定部は、上記第１露光時間が、上記第２露光時間と、上記メモリに記憶されている撮影回数の内の最大値と、の積である第３露光時間よりも長いときには、該第１露光時間が該第３露光時間以下になるように上記撮像光学系の絞り値を変更するものである。

第１３の発明による電子的ぶれ補正装置は、上記第１２の発明による電子的ぶれ補正装置において、上記絞り値設定部により上記撮像光学系の絞り値を変更するときにはその旨を表示する表示部をさらに具備したものである。

第１４の発明による電子的ぶれ補正装置は、上記第１２の発明による電子的ぶれ補正装置において、上記撮像素子から得られる画像の増幅率を変更することにより実質的にＩＳＯ感度を変更するためのＩＳＯ感度変更部をさらに具備し、上記ＩＳＯ感度変更部は、上記絞り値設定部が変更しようとする絞り値が、上記撮像光学系の絞り値として設定可能な範囲を逸脱しているときには、該設定可能な範囲内に入るようにＩＳＯ感度を変更するものである。

第１５の発明による電子的ぶれ補正装置は、上記第１４の発明による電子的ぶれ補正装置において、上記ＩＳＯ感度変更部が変更しようとするＩＳＯ感度が、設定可能な範囲を逸脱しているときには、ぶれが発生する可能性があることを示す警告表示を行う表示部をさらに具備したものである。

第１６の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記加算部により加算する画像の数が多くなるほど上記固体撮像素子の上記画素に蓄積可能な最大蓄積電荷量が少なくなるように制御する蓄積電荷量制御部をさらに具備したものである。

第１７の発明による電子的ぶれ補正装置は、上記第１６の発明による電子的ぶれ補正装置において、上記固体撮像素子が、半導体基板上に構成された縦型オーバーフロー構造のＣＣＤ固体撮像素子であり、上記蓄積電荷量制御部は、上記半導体基板に印加する逆バイアス電圧の電圧レベルを制御することにより、画素に蓄積された電荷が該半導体基板側に排出され始める最大蓄積電荷量を制御するものである。

第１８の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記加算部により加算された合成画像の中から、上記撮像部によって撮影された全ての画像が共有するとみなされる有効領域の画像を抽出する有効領域抽出部をさらに具備したものである。

第１９の発明による電子的ぶれ補正装置は、上記第１８の発明による電子的ぶれ補正装置において、上記有効領域の画像の、大きさおよび上記合成画像の中での位置は、予め定められたものである。

第２０の発明による電子的ぶれ補正装置は、上記第１８の発明による電子的ぶれ補正装置において、上記露光量制御部が、上記撮像部によって撮影される画像が上記有効領域の画像の一部を欠くと判断するときには、上記撮像部による撮影を終了するように制御するものである。

第２１の発明による電子的ぶれ補正装置は、上記第２０の発明による電子的ぶれ補正装置において、上記有効領域抽出部が、上記撮像部による撮影回数が所定数に達することなく撮影を終了したときには、上記有効領域の合成画像を増幅するものである。

第２２の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記撮像部が、行方向および列方向にマトリクス状に配置された複数の画素を有する光電変換部を有し、上記第１転送レジスタは上記光電変換部の各画素行に隣接して配置され、上記第２転送レジスタは上記光電変換部の各画素列に隣接して配置されたものである。

第２３の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記第１転送レジスタ及び上記第２転送レジスタが、上記固体撮像素子の内部に上記撮像部とは別個に設けられたものである。

第２４の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記第１転送レジスタ及び上記第２転送レジスタの端面に転送されてきた電荷を、上記第１転送レジスタ及び上記第２転送レジスタから排出するための電荷排出部をさらに備えたものである。

第２５の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記固体撮像素子が、撮像面の前面にモザイク状のカラーフィルタを配置した単板式のカラー固体撮像素子であり、上記加算部は上記複数の画像を上記ぶれ検出部により検出されたぶれに基づき該固体撮像素子の内部で上記カラーフィルタの水平方向の最小繰り返し周期および垂直方向の最小繰り返し周期を最小単位として相対的にシフトした後にアナログ的に加算し、ぶれの補正された画像を生成するものである。

本発明の電子的ぶれ補正装置によれば、メカニカル機構を不要としながら、幅広いシャッタスピードに対応したぶれ補正が可能となる。

実施形態を詳細に説明する前に、まず、ぶれを補正するための原理について簡単に説明する。

例えば、被写体を測光して得られた適正露光時間（全露光時間）が１／１５秒であるとする。そして、この１／１５秒の露光時間（シャッタ速度）ではぶれが発生するものとする。これに対して、露光時間（シャッタ速度）が１／１２５秒であるときには、ぶれが発生しないか、もしくは発生するぶれが実質的に無視し得るものとする。このようなケースにおいて、上述した全露光時間１／１５秒を、１／１２５秒の露光時間に時分割して、該時分割露光により８回の撮影を行い、この時分割撮影して得られた８枚の画像を加算することにより１／１５秒の適正露光時間の１枚の画像を得るものである。ただし、上記１／１２５秒で撮影した時分割露光画像を単純に加算したのではぶれは補正されないために、各時分割露光画像のぶれを相互に補正してから加算する。このとき、時分割露光の間隔が長いと、ぶれが発生しない高速の露光時間で連続して撮影することはできない。そこで、以下に説明する実施形態では、固体撮像素子の内部において、高速にぶれを補正するとともに、補正後の画像を加算するようにしている。

具体的には、まず、時分割露光により撮影した画像を撮像素子に設けた第２転送レジスタに記憶し、次の時分割露光で撮影した画像を撮像素子に設けた第１転送レジスタに記憶する。そして、ぶれ検出部により検出したぶれ量に基いて、上記第１転送レジスタと上記第２転送レジスタとの内の一方をＸ方向にシフトするとともに他方をＹ方向にシフトして、その後に上記両画像を加算し、加算後の画像を上記第２転送レジスタに記憶する。続いて、次の時分割露光により撮影した画像を再び第１転送レジスタに記憶し、全体の露光量が適正になるまで上述したような補正と加算とを繰り返して行う。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図２４は本発明の実施形態１を示したものであり、図１はデジタルカメラの主として電気的な構成を示すブロック図である。本実施形態は、デジタルカメラに電子的ぶれ補正装置を適用したものとなっている。

このデジタルカメラは、固体撮像素子（以下では適宜、撮像素子と略称する）１と、相関二重サンプリング回路（ＣＤＳ：Correlated Double Sampling）２と、ゲインコントロールアンプ（ＡＭＰ）３と、Ａ／Ｄ変換器４と、タイミングジェネレータ（ＴＧ）５と、シグナルジェネレータ（ＳＧ）６と、ＣＰＵ７と、情報処理部８と、ＤＲＡＭ９と、圧縮伸張部１０と、記録媒体１１と、液晶表示部１２と、インタフェース部１３と、レンズ駆動系１４と、撮影レンズ１５と、絞り駆動系１６と、絞り１７と、第１レリーズスイッチ１８ａおよび第２レリーズスイッチ１８ｂと、角速度センサ（角速度センサＡ）１９および角速度センサ（角速度センサＢ）２０と、Ａ／Ｄ変換器２１およびＡ／Ｄ変換器２２と、距離検出部２３と、ＣＰＵ７に内蔵されたＥＥＰＲＯＭ２４と、撮影モード設定部２５と、撮影条件設定部２６と、を含んでいる。

撮影レンズ１５は、被写体像を撮像素子１の撮像面へ結像するための撮像光学系である。

絞り１７は、この撮影レンズ１５からの結像光束の通過範囲を規定することにより光量の調整を行うための光学絞りであり、撮像光学系の一部である。

撮像素子１は、絞り１７を介して撮影レンズ１５により結像された被写体像を、光電変換して電気信号として出力するものである。この撮像素子１は、図２等に示すように、画像を光電変換して蓄積するフォトダイオード３２と、このフォトダイオード３２から読み出された電荷を水平方向に転送するための水平転送ＣＣＤ３３と、該フォトダイオード３２から読み出された電荷を垂直方向に転送するための垂直転送ＣＣＤ３４と、を有して構成されている。そして、フォトダイオード３２により光電変換して蓄積された画素電荷は、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４との何れか一方に読み出される。また、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４との何れか他方には、それまでの加算電荷が記憶されている。新たに読み出された画素電荷は、読み出された転送ＣＣＤ内で該転送ＣＣＤ方向のぶれ量を補正するだけ転送される。同様に、それまでの加算電荷は、記憶されている転送ＣＣＤ内で該転送ＣＣＤ方向のぶれ量を補正するだけ転送される。こうしてぶれ量を補正するだけのシフトが行われたら、その後に、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４とが交差する位置において、新たに読み出された画素電荷とそれまでの加算電荷とを加算することにより、相対的なぶれを補正された新たな加算電荷が生成されるようになっている。すなわち、撮像素子１は、画像加算部となっている。このようにして得られた最終的な加算電荷が、ぶれ補正された画像を構成する電荷となる。このような撮像素子１のより詳細な構成や作用については、後で説明する。

ＴＧ５は、この撮像素子１を駆動するための転送パルスを供給するものであり、撮影制御部を構成している。

ＣＤＳ２は、ＴＧ５から供給されるサンプルホールドパルスに従って駆動され、撮像素子１から出力される画像信号に相関二重サンプリング等の処理を行うことによりリセットノイズを除去するものである。

ＳＧ６は、ＣＰＵ７の制御に基づき、同期信号を生成してＴＧ５へ出力するものであり、撮影制御部を構成している。

ゲインコントロールアンプ（ＡＭＰ）３は、ＣＤＳ２から出力されるアナログの信号を増幅するものである。このゲインコントロールアンプ（ＡＭＰ）３の増幅率は、後述するＩＳＯ（International Organization for Standardization）感度Ｓｖに応じた増幅率に設定されるようになっていて、つまりゲインコントロールアンプ（ＡＭＰ）３は、ＩＳＯ感度変更部となっている。

Ａ／Ｄ変換器４は、ＴＧ５から供給される信号に従って、ゲインコントロールアンプ（ＡＭＰ）３から出力されるアナログ信号をデジタル信号に変換するアナログ・デジタル変換部である。

情報処理部８は、Ａ／Ｄ変換器４から出力される画素信号を処理して、画像データを生成するものである。この情報処理部８は、撮像素子１から出力された画像データの中からぶれが適正に補正された画像データを抽出する機能を備えた有効領域抽出部を含んでいる。

ＤＲＡＭ９は、情報処理部８から出力される画像データを一時的に記憶するものであるとともに、記録媒体１１から読み出された圧縮画像データを圧縮伸張部１０により伸張して得られた画像データを一時的に記憶するものとなっている。

圧縮伸張部１０は、ＤＲＡＭ９に記憶されている画像データを圧縮するとともに、記録媒体１１から読み出された圧縮画像データを伸張するものである。

記録媒体１１は、圧縮伸張部１０により圧縮された画像データを記録する記録部であり、例えば不揮発性の記録媒体となっている。

液晶表示部１２は、情報処理部８から出力される画像データ、またはＤＲＡＭ９から出力される伸張された画像データを表示するものである。この液晶表示部１２は、各種の警告表示等を後述するように行う表示部を兼ねたものとなっている。

インタフェース部１３は、モニタやパーソナルコンピュータ等の外部装置とのデータの授受を行うための端子を含むインタフェースである。このインタフェース部１３を介して、情報処理部８またはＤＲＡＭ９から供給される画像データ等を外部装置へ出力することが可能であり、あるいは場合によっては、外部装置から画像データ等を装置内に取り込むことが可能となっている。

レンズ駆動系１４は、距離検出部２３により検出された被写体距離に基づきＣＰＵ７から指令を受けることにより、撮影レンズ１５を合焦位置へ駆動するものである。このような処理は、いわゆるオートフォーカス制御として公知のものである。なお、ここでは距離検出部２３からの出力に基づきオートフォーカス制御を行っているが、ＣＰＵ７が、ＤＲＡＭ９に記憶された１フレーム（１画面）分の画像データの輝度成分にハイパスフィルタなどを用いて高周波成分を抽出し、抽出した高周波成分の累積加算値を算出する等により高周波域側の輪郭成分等に対応したＡＦ評価値を算出し、該ＡＦ評価値に基づいて焦点検出を行うようにしても構わない。

絞り駆動系１６は、ＤＲＡＭ９に記憶された画像データに基づき測光部たるＣＰＵ７が露出演算を行い、該ＣＰＵ７からその結果に基づいた指令を受けることにより、絞り１７を駆動して開口径を変更する絞り制御部である。このような処理は、いわゆるＡＥ（自動露出）制御として公知のものである。

角速度センサ１９は、デジタルカメラを被写体側から見たときの左右の方向における右方向をＸ軸方向としたときに（図１９参照）、このＸ軸方向を回転中心としてデジタルカメラを回転したときの角速度を検出するためのものであり、ぶれ検出部である。

一方、角速度センサ２０は、デジタルカメラの上下方向における上方向をＹ軸方向としたときに（図１９参照）、このＹ軸方向を回転中心としてデジタルカメラを回転したときの角速度を検出するためのものであり、ぶれ検出部である。

Ａ／Ｄ変換器２１は、角速度センサ１９により検出された角速度を表すアナログ信号を、所定の時間間隔（サンプリング間隔）でデジタル信号に変換するものである。

同様に、Ａ／Ｄ変換器２２は、角速度センサ２０により検出された角速度を表すアナログ信号を、所定の時間間隔（サンプリング間隔）でデジタル信号に変換するものである。

ＣＰＵ７は、Ａ／Ｄ変換器２１により変換されたデジタル信号を時間積分する処理を行う。この時間積分されたデジタル信号は、カメラ本体の上記Ｘ軸を回転中心とする回転量に相当する。また、Ｘ軸周りの回転方向が右回りであるか左回りであるかは、角速度センサ１９のアナログ出力信号が正であるかあるいは負であるかにより判別されるようになっている。

同様に、ＣＰＵ７は、Ａ／Ｄ変換器２２により変換されたデジタル信号を時間積分する処理を行う。この時間積分されたデジタル信号は、カメラ本体の上記Ｙ軸を回転中心とする回転量に相当する。また、Ｙ軸周りの回転方向が右回りであるか左回りであるかは、角速度センサ２０のアナログ出力信号が正であるかまたは負であるかにより判別されるようになっている。

第１レリーズスイッチ１８ａは、撮像動作を指示入力するための自動復帰型の２段スイッチでなるレリーズスイッチの１段目である。レリーズスイッチが押し込まれてこの第１レリーズスイッチ１８ａがオンされると、測距動作や測光動作が行われるようになっている。

第２レリーズスイッチ１８ｂは、撮像動作を指示入力するための自動復帰型の２段スイッチでなるレリーズスイッチの２段目である。レリーズスイッチがさらに押し込まれてこの第２レリーズスイッチ１８ｂがオンされると、撮像素子１により撮像動作が行われ、画像データが上述したように生成されて、圧縮された後に記録媒体１１に記録されるようになっている。

距離検出部２３は、被写体までの距離を検出するためのものであり、公知の構成のものを適宜採用することが可能である。

撮影モード設定部２５は、シャッタ優先撮影モード、絞り優先撮影モード、プログラム撮影モードの何れかを選択するためのものである。

撮影条件設定部２６は、シャッタスピード（露光時間）や絞り値、ＩＳＯ感度などの各種の撮影条件を設定するためのものである。

ＣＰＵ７は、露出値Ｅｖと、露出制御を最適に行うためのＴｖ（露光時間のアペックス値）およびＡｖ（絞り値のアペックス値）と、の関係をプログラム線図として記憶するＥＥＰＲＯＭ２４を不揮発性メモリとして内蔵している。このＥＥＰＲＯＭ２４には、デジタルカメラに必要なその他の情報も適宜格納可能となっている。

このＣＰＵ７には、第１レリーズスイッチ１８ａからの信号、第２レリーズスイッチ１８ｂからの信号、Ａ／Ｄ変換器２１を介した角速度センサ１９からの信号、Ａ／Ｄ変換器２２を介した角速度センサ２０からの信号、撮影モード設定部２５からの信号、および撮影条件設定部２６からの信号が入力されるようになっている。そしてＣＰＵ７は、ＴＧ５とＳＧ６とへ指令を出力するようになっている。

さらに、ＣＰＵ７は、情報処理部８、ＤＲＡＭ９、レンズ駆動系１４、絞り駆動系１６、および距離検出部２３と双方向に接続されていて、これらを含むこのデジタルカメラ全体を制御する制御部となっている。

具体的には、ＣＰＵ７は、上述したようなオートフォーカス制御やＡＥ制御を行うとともに、第１レリーズスイッチ１８ａおよび第２レリーズスイッチ１８ｂからの静止画像の取り込みを指示する信号に基づき、撮像素子１の駆動モードの切り換えを行うようになっている。さらに、このＣＰＵ７は、絞り１７の開口を変更する制御や撮像素子１の露光時間制御などを行うようになっている。そして、ＣＰＵ７は、撮影モード設定部２５からの入力に基づきこのデジタルカメラの撮影モードを設定し、撮影条件設定部２６からの入力に基づきデジタルカメラに係る撮影条件を設定するようになっている。加えて、ＣＰＵ７は、角速度センサ１９，２０からの出力に基づき、ぶれ量の演算等も行うようになっている。こうして、ＣＰＵ７は、ぶれ検出部、露光量制御部、絞り制御部、記録部、測光部、露出情報演算部、第１露光時間生成部、第２露光時間生成部、露光時間制御部、ぶれ量演算部、絞り値設定部、蓄積電荷量制御部、撮影制御部を兼ねたものとなっている。

次に、図２〜図５を参照して、撮像素子１の動作について説明する。図２はフォトダイオードに蓄積された電荷を第１の画素電荷として垂直転送ＣＣＤに転送する様子を示す図、図３は第１の画素電荷読み出し後にフォトダイオードに蓄積された電荷を第２の画素電荷として水平転送ＣＣＤに転送しさらに水平方向に転送するとともに、第１の画素電荷を垂直方向に転送する様子を示す図、図４は第１の画素電荷と第２の画素電荷とを加算する様子を示す図、図５は加算された電荷を同一画素内における垂直転送ＣＣＤの電荷保持部に退避する様子を示す図である。

撮像素子１には、被写体からの光線を受けて電荷を発生するフォトダイオード３２が、複数、マトリクス状に配列されていて、マトリクス状に配列されたこれらのフォトダイオード３２が光電変換部を構成している。

さらに、撮像素子１は、光電変換部のフォトダイオード３２の各行に隣接して行方向に配置された水平転送レジスタでありぶれ補正部、加算部たる水平転送ＣＣＤ３３を備えている。この水平転送ＣＣＤ３３は、フォトダイオード３２で発生した電荷を読み出して得られた第１画像を記憶するとともに、この第１画像を水平方向に転送するものである。

また、撮像素子１は、光電変換部のフォトダイオード３２の各列に隣接して列方向に配置された垂直転送レジスタでありぶれ補正部、加算部たる垂直転送ＣＣＤ３４を備えている。この垂直転送ＣＣＤ３４は、第１画像よりも前の時刻に得られた電荷を加算した加算電荷に係る第２画像を記憶するとともに、この第２画像を垂直方向に転送するものである。

そして、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４とが交差する位置に配置された電極部分（図６に示す電極φＶ０，φＨ０）は、後述するように、第１画像と第２画像とをアナログ加算する加算部として機能するようになっている。

なお、ここでは、複数のフォトダイオード３２が、縦方向と、この縦方向に垂直な横方向と、に配列されてマトリクス状をなしている例を示しているが、実質的なマトリクス状をなす配列であればこれに限るものではない。例えば、一方向と、この一方向に斜めに交差する他方向と、に配列されてマトリクス状をなしているものでも構わない。このときには、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４とを、互いに斜めに交差する方向に配置すれば良い。さらに、フォトダイオード３２の形状も正方形や矩形に限るものではなく、平行四辺形や三角形、六角形等の各種の形状であっても構わない。

そして、撮像素子１における１画素３１は、１つのフォトダイオード３２と、このフォトダイオード３２に隣接する水平転送ＣＣＤ３３の部分および垂直転送ＣＣＤ３４の部分と、を含んでいる。なお、この撮像素子１の転送電極の構造については後述することにする。従って、撮像素子１の１画素に含まれる電極についても後述する。また、１画素３１のサイズを、水平方向（横方向）の長さがＬｘ、垂直方向（縦方向）の長さがＬｙであるとする。

このような構成の撮像素子１の作用の概略について説明する。

以下では、撮像素子１の左上角に配置されたフォトダイオードをＰ1,1 と表記し、水平方向右側へ向かってｉ（ｉは１以上の整数）番目、垂直方向下側へ向かってｊ（ｊは１以上の整数）番目の位置に配置されたフォトダイオードをＰi,j と表記することにする。

図２は、最初に光電変換し蓄積されたフォトダイオードＰi,j の電荷（第１の画素電荷）（図中において丸印で示している）を、このフォトダイオードＰi,j に隣接する垂直転送ＣＣＤ３４にシフトした（読み出した）ところを示している。なお、この図２においては、フォトダイオードＰi,j に係る第１の画素電荷のみを図示しているが、他の全てのフォトダイオードにおいて同一の時間だけ光電変換し蓄積された電荷も、同様に垂直転送ＣＣＤ３４に一斉にシフトされることになる。

図３は、第１の画素電荷をシフトした直後から光電変換し蓄積されたフォトダイオードＰi-1,j-1 の電荷（第２の画素電荷）を、このフォトダイオードＰi-1,j-1 に隣接する水平転送ＣＣＤ３３にまずシフトした（読み出した）ことを示している。なお、この図３においても、フォトダイオードＰi-1,j-1 に係る第２の画素電荷のみを図示しているが、他の全てのフォトダイオードにおいて同一の時間だけ光電変換し蓄積された電荷が、同様に水平転送ＣＣＤ３３に一斉にシフトされることになる。ここに、第１の画素電荷蓄積時にフォトダイオードＰi,j に到達していた被写体からの光が、第２の画素電荷蓄積時には手ぶれ等によりフォトダイオードＰi-1,j-1 に到達する位置に移っているものとする。この光の到達位置の変化は、第２の画素電荷の蓄積が終わった時点で初めて判明するために、図２に示した状態においては、第１の画素電荷はまだ転送されず、垂直転送ＣＣＤ３４に保持（記憶）されるのみである。しかし、第２の画素電荷を読み出した後は、角速度センサ１９，２０の出力により光の到達位置の変化が判明するために、同一の被写体光に係る第１の画素電荷と第２の画素電荷との位置関係が分かり、後述する加算を行うために、互いに近接する位置（同一の１画素３１内の位置）への転送が行われる。すなわち、図３には、第２の画素電荷が水平転送ＣＣＤ３３上を紙面右方向に１画素分転送されるとともに、第１の画素電荷が垂直転送ＣＣＤ３４上を紙面上方向に１画素分転送される例が示されている。水平転送ＣＣＤ３３による１画素分以上の画素電荷の転送と、垂直転送ＣＣＤ３４による１画素分以上の画素電荷の転送と、は後述する図６に示すような構成では同時に行うことができない（もちろん、同時に行うことができるように構成しても構わない（例えば、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４とを撮像素子１の厚み方向に異なる位置に独立に設けて、さらに独立に加算部を設けるようにすれば良い。））ために、何れか一方の転送を先に行い、その後に他方の転送を行うことになる。なお、第１の画素電荷の転送と第２の画素電荷の転送とが、全てのフォトダイオードに係る画素電荷について行われるのは上述と同様である。このような水平転送ＣＣＤ３３による転送と垂直転送ＣＣＤ３４による転送とを行うためには、各転送ＣＣＤが交差する位置において水平転送ＣＣＤ３３内の電荷と垂直転送ＣＣＤ３４内の電荷とが干渉することのないように、転送電極の配置を工夫する必要があるが、これについては後で説明する。

図４は、第１の画素電荷と第２の画素電荷とを、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４とが交差する位置にシフトして、該交差位置において加算した様子（加算であることを、図４中において「＋」により示している）を示している。この加算は、全てのフォトダイオードに係る第１の画素電荷と、全てのフォトダイオードに係る第２の加算電荷と、について行われることは勿論である。

これにより、第１の画像（全ての第１の画素電荷で構成される画像）と、この第１の画像の直後に連続して撮影された第２の画像（全ての第２の画素電荷で構成される画像）と、がぶれ量だけシフトされた後に、つまりぶれを補正された後に、合成されたことになる。

なお、３番目以降の時分割画像を新たに読み出した場合には、第１の画像に相当するのは、それまでの時分割画像を加算して得られた加算画像（最初の時分割画像から最新の１つ前の時分割画像までを順次ぶれ補正して加算して得られた画像）となるために、この図４に示すような動作を行うことにより、新たな時分割画像（全ての新たな画素電荷で構成される画像）と、加算画像と、の相対的なぶれ量が補正された後に、合成されることになる。

図５は、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４との交差位置において加算された画素電荷を、同一画素内における例えば垂直転送ＣＣＤ３４の電荷保持部に転送した（退避させた）様子を示している。交差位置は、水平転送と垂直転送との両方に用いられるために、該交差位置に加算電荷を保持したままであると、次に読み出した画素電荷との加算を行うことができない。

そこで、ここでは、加算後の電荷を、一旦、垂直転送ＣＣＤ３４の電荷保持部へ退避させるようにしたものである。これにより、次の画素電荷を水平転送ＣＣＤ３３へ読み出せば、上述と同様に、画素の加算を行うことが可能となる。

なお、ここでは、加算後の電荷を同一画素内における垂直転送ＣＣＤ３４の電荷保持部へ転送した（退避させた）が、これに代えて、同一画素内における水平転送ＣＣＤ３３の電荷保持部へ転送しても（退避させても）構わない。このときには、次の画素電荷は、垂直転送ＣＣＤ３４へ読み出されることになる。また、加算後の画素電荷を退避させるのは、必ずしも同一画素内に限るものではない。

従って、図２〜図５に示したような例に限らず、加算電荷は、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４との何れか一方の記憶部に記憶させれば良く、新たな画素電荷は、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４との何れか他方の記憶部へ読み出して記憶させれば良い。

以上説明したように、
画像の水平転送ＣＣＤへのシフト
→ 相対的なぶれ補正のための電荷転送
→ 電荷の加算
→ 加算した電荷を水平転送ＣＣＤと垂直転送ＣＣＤとが交差する位置から退避する
というシーケンスを繰り返し行うようになっている。ただし、複数の時分割露光の内の最初の時分割露光による時分割画像については、ぶれ量が０、垂直転送ＣＣＤの電荷の加算値が０であるとして、同様のシーケンスを実行すれば足りる。

なお、図２〜図５においては、加算画像に対して新たな時分割画像が左方向に１画素かつ上方向に１画素だけずれている例を示したが、一般的には、ずれ量に応じた適宜の画素数だけ水平方向および垂直方向に移動させることになる。これについては、後で図１３〜図２２等を参照して説明する。

続いて、図６は、固体撮像素子に設けられたフォトダイオードおよび電極の構成を示す図である。

図６に示す各電極は、多結晶シリコンから構成されており、隣接する電極同士は層間絶縁層を介して配置されている。そして、隣接する電極同士は、撮像面に垂直な方向から見たときに、端面同士が一部重なるように配設されている。この図６において、電極の破線で示されている端面は、該電極の端面部分が他方の電極の下部に配置されていることを意味している。

そして、同一の駆動パルスを印加する電極同士は、コンタクト部を介して所定の配線層により相互に接続されている。ただし、この図６においては、電極の配置を明瞭にするために、電極同士の配線については図示を省略している。

上述したように、撮像素子１には、複数の（実質的には、多数の）フォトダイオード（図６中、「ＰＤ」と記載している）３２が、マトリクス状に配列されている。

１つの画素には、１つのフォトダイオード３２と、水平転送ＣＣＤ３３を構成する４つの電極、すなわち、左から右へ向かって順にφＨ１，φＨ２，φＨ３，φＨ０と、垂直転送ＣＣＤ３４を構成する４つの電極、すなわち、上から下へ向かって順にφＶ０，φＶ１，φＶ２，φＶ３と、が含まれている。

なお、φＶ０〜φＶ３，φＨ０〜φＨ３は、後述するように電荷転送用の駆動パルスを示すものであるが、例えば「転送電極φＶ０」なる記載は、「駆動パルスφＶ０を印加する電極」を意味するものとする。

上述した各転送電極の内の、垂直転送電極φＶ２と水平転送電極φＨ２とはフォトダイオード３２の電荷を読み出すための読み出し電極を兼ねたものとなっている。さらに、これらの垂直転送電極φＶ２と水平転送電極φＨ２とは、上述した電荷保持部を構成する電極となっている。すなわち、垂直転送電極φＶ２は、水平転送ＣＣＤ３３を構成する電極φＨ０，φＨ１，φＨ２，φＨ３の何れとも隣接していないために、φＶ１およびφＶ３をＶＬ（例えば、−５［Ｖ］）にした状態で、φＶ２をＶＭ（例えば、０［Ｖ］）にすれば、この垂直転送電極φＶ２下に加算後の電荷を保持したまま、水平転送ＣＣＤ３３による転送を行うことが可能である（垂直転送電極φＶ２下の電荷が、水平転送ＣＣＤ３３により転送される電荷と混合することはない）。同様に、水平転送電極φＨ２は、垂直転送ＣＣＤ３４を構成する電極φＶ０，φＶ１，φＶ２，φＶ３の何れとも隣接していないために、φＨ１およびφＨ３をＶＬにした状態で、φＨ２をＶＭとすれば、この水平転送電極φＨ２下に加算後の電荷を保持したまま、垂直転送ＣＣＤ３４による転送を行うことが可能である（水平転送電極φＨ２下の電荷が、垂直転送ＣＣＤ３４により転送される電荷と混合することはない）。このような電荷の混合を避ける機能を果たすために、撮像素子１は、１画素に対して、垂直方向転送用に４つの電極を配置するとともに、水平転送用に４つの電極を配置した構成としている。

また、垂直転送ＣＣＤ３４と水平転送ＣＣＤ３３とが交差する位置に配置された転送電極は、垂直転送電極φＶ０と水平転送電極φＨ０とを兼用したものとなっている。従って、同一の電極ではあるが、用途等に応じて、適宜、垂直転送電極φＶ０、水平転送電極φＨ０、あるいは転送電極φＶ０，φＨ０などと称することにする。この転送電極φＶ０，φＨ０は、電荷の垂直方向または水平方向への転送に用いられるだけでなく、電極φＨ２と電極φＶ２との何れか一方の電荷保持部に保持されている電荷と、フォトダイオード３２から電極φＨ２と電極φＶ２との何れか他方へ新たに読み出された電荷と、を加算するための上記加算部として機能するようになっている。

なお、垂直転送電極φＶ０，φＶ１，φＶ２，φＶ３を含む垂直転送ＣＣＤ３４を垂直転送レジスタといい、水平転送電極φＨ０，φＨ１，φＨ２，φＨ３を含む水平転送ＣＣＤ３３を水平転送レジスタという。これら垂直転送レジスタと水平転送レジスタとは、共に、上述したように、電荷を保持（記憶）して転送する機能を備えている。

また、本実施形態においては、複数回の撮影による画素の電荷が加算されるために、画素の電荷が転送レジスタの蓄積容量を超えてあふれる可能性がある。以下では、これを防止するための構成について、図７および図８を参照して説明する。図７は撮像素子が縦型オーバーフロー構造であることを説明するための断面図、図８は時分割露光の回数に応じて逆バイアス電圧を変化させオーバーフローが発生する蓄積電荷量を制御する様子を示す図である。

フォトダイオードに強い光が入射すると、フォトダイオードからあふれた電荷が隣のフォトダイオードに流れ込むことがある。このブルーミング現象を防止するために、従来から、様々な工夫が施されている。本実施形態においては、撮像素子１の内部で電荷を加算するために、例え、ｍ（ｍは１以上の整数）回の時分割撮影におけるそれぞれの露光量を、通常撮影における露光量の１／ｍにしたとしても、各時分割画像を加算した画像の電荷は垂直転送ＣＣＤの転送容量をはるかに超えてしまう可能性がある。従って、加算した後の画像の電荷が垂直転送ＣＣＤの転送能力を超えないようにする必要がある。

このために、本実施形態においては、縦型オーバーフロー構造のＣＣＤ固体撮像素子を採用している。これは、図７に示すように、ｎ型基板（例えば、ｎ型シリコン基板）の表面に作られたｐ型拡散領域（ｐウェル：ｐ−ｗｅｌｌ）の中にフォトダイオード（ＰＤ）を構成し、ｐウェルとｎ型基板との間の逆バイアス電圧ＶＳＵＢにより、ｐウェルを完全に空乏化するようにしたものである。

図８に示すように、フォトダイオード（ＰＤ）から垂直転送ＣＣＤまたは水平転送ＣＣＤに読み出すためのゲートは、垂直転送電極φＶ２（または水平転送電極φＨ２）と共通になっている。そして、読み出しゲートの電位φＶＲＧは、転送電極に低電圧（ＶＬ）または中電圧（ＶＭ）が印加されているときには、フォトダイオードの電位φＶＰＤよりも所定電位だけ低くなっている。これに対して、転送電極に高い電圧（ＶＨ）のパルスを印加すると、読み出しゲートの電位φＶＲＧがフォトダイオードの電位φＶＰＤよりも高くなり、フォトダイオード内の信号電荷が垂直転送ＣＣＤまたは水平転送ＣＣＤへ読み出される。

このとき、垂直転送ＣＣＤまたは水平転送ＣＣＤは、転送することが可能な最大の電荷量である取扱い電荷量が限られているために、強い光が入射したときに過剰な電荷を排出する動作が必要になる。この過剰な信号電荷は、転送ＣＣＤ側や他のフォトダイオード側へあふれる前に、縦方向（基板厚み方向）のｎ＋ｐｎの経路を通って基板中に吸収される。すなわち、オーバーフローが行われるｐウェルの電位φＶＯＦＧは、読み出しゲートを兼ねる転送電極の電圧がＶＭ（０［Ｖ］）またはＶＬ（−５［Ｖ］）のときには、読み出しゲート電圧φＶＲＧよりも高くなるように設定されている。これにより、蓄積時に過剰な電荷が垂直転送ＣＣＤまたは水平転送ＣＣＤに漏れるブルーミングの現象を抑制するようになっている。

さらに、本実施形態においては、上記ｐウェルとｎ型基板との間の逆バイアス電圧ＶＳＵＢを、時分割撮影の回数ｍ（後述する図１４のステップＳ２１４において選択する）に応じて通常撮影におけるときに比べて高い電圧（図８に示すような逆バイアス電圧ＶＳＵＢ’）に設定する（つまり、ＶＳＵＢ’はｍに依存する）ことにより、オーバーフローが行われるｐウェルの電位をφＶＯＦＧ’（＞φＶＯＦＧ）として、通常撮影のときにフォトダイオードに蓄積される最大電荷量の１／ｍを超える過剰電荷を基板側に排出するようにしている。このようにすることにより、ｍ回の時分割撮影による画像を加算しても、加算後の総電荷量を垂直転送ＣＣＤまたは水平転送ＣＣＤの取扱い電荷量以内に抑えることができる。

図９は、基板電圧ＶＳＵＢにより変化するフォトダイオード３２の蓄積電荷量の最大値Ｑ（ｍａｘ）を時分割撮影の回数ｍに応じて設定する様子の幾つかの例を示す線図である。この図９においては、横軸に基板電圧ＶＳＵＢを、縦軸にフォトダイオード３２の蓄積電荷量の最大値Ｑ（ｍａｘ）を、それぞれとっている。

本実施形態では、時分割撮影の回数ｍとして、ｍ＝１〜１０の１０通りの値を設定することが可能となっていて（図９には、ｍ＝１，２，４，８の例を示している。このときには、ＶＳＵＢは、図示のようなＶ１，Ｖ２，Ｖ４，Ｖ８の各値となる。）、この時分割撮影の回数として選択可能なｍが、例えばＥＥＰＲＯＭ２４に予め記憶されている。フォトダイオード３２の蓄積電荷量の最大値Ｑ（ｍａｘ）は、ｍ＝１のときを１とすると、ｍが２〜１０の値をとるときには各ｍに対して１／ｍとなる（なお、ｍが１１以上の値を取り得るように設定したときにも、Ｑ（ｍａｘ）が１／ｍとなる規則はそのまま適用可能である。）。また、ｍ＝１は通常の撮影（時分割撮影によらない撮影）の場合のフォトダイオード３２の蓄積電荷量の最大値に対応する。

なお、ｍの最大値を１０にしたのは、あまり大きな値にすると、画像データのＳ／Ｎを高い値に保持するのが困難になるためである。

また、本実施形態の技術は、ぶれ限界露光時間ＴLimit （ここに、ぶれ限界露光時間ＴLimit は、後で詳しく説明するように、ぶれの発生を実質的に無視し得る程度以下となるような露光時間である。）でｍ回の時分割撮影を行って画像を加算するものである。従って、ぶれを抑制し得る最長の露光時間をＴExp0とすると、本実施形態においては、ＴExp0は、ｍ（ｍａｘ）・ＴLimit となる。ここに、ｍ（ｍａｘ）は、ｍの最大値であって、本実施形態においては上述したようにｍ（ｍａｘ）＝１０となる。具体的には、３５ｍｍフィルムカメラに換算した撮影レンズの焦点距離が３００ｍｍである場合には、ぶれ限界露光時間ＴLimit は約１／３００秒のシャッタスピードとなり、ぶれ補正可能な最長露光時間ＴExp0は、およそ１／３０秒となる。

こうして、ｍの値が大きいほど、より長い時間露光に対してぶれ補正を行うことが可能となるが、上述したように、ｍの値をあまり大きくすると画像データのＳ／Ｎが低くなる可能性がある。従って、ｍの値は、制御の安定性と、時分割撮影による画像のＳ／Ｎと、等のバランスを考慮して決めることが望ましい。このような理由から、本実施形態においてはｍの最大値を１０に設定しているが、これに限る必要はない。

図１０は、撮像時における固体撮像素子１の基本的な動作を示すタイミングチャートである。

この図１０において、ＶＳＵＢは、フォトダイオード３２に蓄積された電荷を半導体基板（サブストレート）へ強制排出するための基板印加高電圧パルスである。また、φＶ０〜φＶ３は４相の垂直転送パルス、φＨ０〜φＨ３は４相の水平転送パルスである。

撮影動作を開始すると、所定のタイミングとなる時刻ｔ01から露光（電荷蓄積）開始時刻ｔ02までの間、ＶＳＵＢに高電圧のパルスを印加すると同時に、φＶ０〜φＶ３に高周波の垂直転送パルスを、φＨ０〜φＨ３に高周波の水平転送パルスを、それぞれ印加する。すると、フォトダイオード３２に蓄積されている電荷と、水平転送ＣＣＤ３３に残っている電荷と、垂直転送ＣＣＤ３４に残っている電荷と、が全て排出される。

その後、露光動作開始の信号を受けると、時刻ｔ02のタイミングにおいてＶＳＵＢへの高電圧パルスの印加を停止することにより、受けた光の強度に応じた電荷がフォトダイオード３２に蓄積される。このフォトダイオード３２への電荷の蓄積は、時刻ｔ02から時刻ｔ03までの露光時間ＴExp において継続的に行われる。そして、この露光時間ＴExp をぶれが発生しないような時間間隔に時分割して、各時分割画像をぶれに応じて繰り返し転送し加算することにより、ぶれ補正が行われた露光時間ＴExp の１枚の画像データを得るようになっている。この露光時間ＴExp における撮像素子１の動作については、後でより詳しく説明する。

時刻ｔ03において露光が終了すると、垂直転送ＣＣＤ３４に蓄積されているぶれの補正された画像が、上記垂直転送ＣＣＤ３４と、撮像領域から外部へ出力するための読出部および転送部たる水平転送ＣＣＤ４２（図１２参照）と、を介して、通常の読み出し速度で撮像素子１から読み出される。

図１１は、フォトダイオードから画素電荷を読み出して固体撮像素子内で転送し加算するときに各電極に印加される信号の様子を示すタイミングチャートである。なお、ここでは、図６に示すような構成の撮像素子１により、図２〜図５を参照して説明したような動作を行うときの例について示している。また、電極φＶ０と電極φＨ０とは共通であるために、この図１１においてはまとめて記載している。

今、時刻ｔ１までに、垂直転送ＣＣＤ３４の電荷保持部（電極φＶ２下）には既に加算された電荷が記憶されているものとし、かつ、時刻ｔ１において最新の時分割露光が終了したものとする。ただし、時刻ｔ１が複数の時分割露光の内の最初の時分割露光が終了した時点であるときは、上述したように、垂直転送ＣＣＤ中３４で加算され記憶されている電荷が０であるとすれば、一般化することができる。

時刻ｔ１に所定の露光時間が経過したら、電極φＨ２に読み出し用の高電圧（トランスファーパルス）ＶＨ（１５［Ｖ］）を印加する。このときには、加算電荷を保持する電極φＶ２が中電圧ＶＭ（０［Ｖ］）で、それ以外の電極φＶ０，φＶ１，φＶ３，φＨ１，φＨ３は、全て低電圧ＶＬ（−５［Ｖ］）に設定されている。これにより、フォトダイオード３２に蓄積された電荷が、水平転送ＣＣＤ３３の電極φＨ２下にシフトされる。シフトが行われたら、電極φＨ２への印加電圧は中電圧ＶＭ（０［Ｖ］）になり、読み出された電荷がこの電極φＨ２下において保持（蓄積）される（図３参照）。

電極φＨ２に印加される電圧が高電圧ＶＨ（１５［Ｖ］）から中電圧ＶＭ（０［Ｖ］）に変化すると同時に、フォトダイオード３２では次の撮影のための電荷の蓄積が開始される。すなわち、次の時分割撮影の開始である。

その後、時刻ｔ２を過ぎたタイミングで、電極φＨ３に中電圧ＶＭが印加される。これにより、電極φＨ２下において保持されていた電荷が、一部、電極φＨ３下へ転送され、電極φＨ２および電極φＨ３の両方の電極下のポテンシャル井戸（以下、単に「電極下」という。）に保持される。

次に、時刻ｔ３を過ぎたタイミングで、電極φＨ２が低電圧ＶＬに設定される。これにより、電極φＨ２および電極φＨ３の両方の電極下に保持されていた電荷は、全部、電極φＨ３下へ転送され、この電極φＨ３下に保持される。

電極φＨ２が低電圧ＶＬに設定された直後に、電極φＨ０（電極φＶ０）が中電圧ＶＭに設定される。これにより、電極φＨ３下に保持されていた電荷が、一部、電極φＨ０下へ転送され、電極φＨ３および電極φＨ０の両方の電極下に保持される。

その後、時刻ｔ４を過ぎたタイミングで、電極φＨ３が低電圧ＶＬに設定される。これにより、電極φＨ３および電極φＨ０の両方の電極下に保持されていた電荷は、全部、電極φＨ０下へ転送され、この電極φＨ０下に保持される。

電極φＨ３が低電圧ＶＬに設定された直後に、電極φＨ１が中電圧ＶＭに設定される。これにより、電極φＨ０下に保持されていた電荷が、一部、隣接する画素の電極φＨ１下へ転送され、電極φＨ０および電極φＨ１の両方の電極下に保持される。

時刻ｔ５を過ぎたタイミングで、電極φＨ０が低電圧ＶＬに設定される。これにより、電極φＨ０および電極φＨ１の両方の電極下に保持されていた電荷は、全部、電極φＨ１下へ転送され、この電極φＨ１下に保持される。

電極φＨ０が低電圧ＶＬに設定された直後に、電極φＨ２が中電圧ＶＭに設定される。これにより、電極φＨ１下に保持されていた電荷が、一部、電極φＨ２下へ転送され、電極φＨ１および電極φＨ２の両方の電極下に保持される。

その後、時刻ｔ６を過ぎたタイミングで、電極φＨ１が低電圧ＶＬに設定される。これにより、電極φＨ１および電極φＨ２の両方の電極下に保持されていた電荷は、全部、電極φＨ２下へ転送され、この電極φＨ２下に保持される。

このようにして、水平転送ＣＣＤ３３のある画素の電極φＨ２下に保持されていた電荷が、右に隣接する画素の電極φＨ２下まで、
電極φＨ２下 → 電極φＨ３下 → 電極φＨ０下 → 電極φＨ１下 → 電極φＨ２下
のように転送される。

この隣接する画素の電極φＨ２下の電荷は、時刻ｔ１１を過ぎるタイミングまで引き続き該電極φＨ２下に保持（記憶）される（図３参照）。

なお、ここでは、水平転送ＣＣＤ３３により電荷を１画素分右方向に転送するとき（図３参照）の動作について説明したが、より一般に、ｎ（ｎは１以上の整数）画素分の転送を行うときには、上述したようなφＨ０〜φＨ３の信号をｎ回繰り返して与えれば良い。また、水平転送ＣＣＤ３３により電荷を左方向に転送することも可能である。このときには、上述とは時間反転させた信号を、各電極φＨ０〜φＨ３に与えれば良い。そして、左方向にｎ画素分の転送を行うときには、この時間反転させた信号をｎ回繰り返して各電極φＨ０〜φＨ３に与えることになる。

続いて、時刻ｔ７を過ぎたタイミングで、電極φＶ１が中電圧ＶＭに設定される。これにより、電極φＶ２下に保持されていた加算電荷が、一部、電極φＶ１下へ転送され、電極φＶ２および電極φＶ１の両方の電極下に保持される。

その後、時刻ｔ８を過ぎたタイミングで、電極φＶ２が低電圧ＶＬに設定される。これにより、電極φＶ２および電極φＶ１の両方の電極下に保持されていた電荷は、全部、電極φＶ１下へ転送され、この電極φＶ１下に保持される。

電極φＶ２が低電圧ＶＬに設定された直後に、電極φＶ０（電極φＨ０）が中電圧ＶＭに設定される。これにより、電極φＶ１下に保持されていた電荷が、一部、電極φＶ０下へ転送され、電極φＶ１および電極φＶ０の両方の電極下に保持される。

次に、時刻ｔ９を過ぎたタイミングで、電極φＶ１が低電圧ＶＬに設定される。これにより、電極φＶ１および電極φＶ０の両方の電極下に保持されていた電荷は、全部、電極φＶ０下へ転送され、この電極φＶ０下に保持される。

電極φＶ１が低電圧ＶＬに設定された直後に、電極φＶ３が中電圧ＶＭに設定される。これにより、電極φＶ０下に保持されていた電荷が、一部、電極φＶ３下へ転送され、電極φＶ０および電極φＶ３の両方の電極下に保持される。

時刻ｔ１０を過ぎたタイミングで、電極φＶ０が低電圧ＶＬに設定される。これにより、電極φＶ０および電極φＶ３の両方の電極下に保持されていた電荷は、全部、電極φＶ３下へ転送され、この電極φＶ３下に保持される。

電極φＶ０が低電圧ＶＬに設定された直後に、電極φＶ２が中電圧ＶＭに設定される。これにより、電極φＶ３下に保持されていた電荷が、一部、電極φＶ２下へ転送され、電極φＶ３および電極φＶ２の両方の電極下に保持される。

その後、時刻ｔ１１を過ぎたタイミングで、電極φＶ３が低電圧ＶＬに設定される。これにより、電極φＶ３および電極φＶ２の両方の電極下に保持されていた電荷は、全部、電極φＶ２下へ転送され、この電極φＶ２下に保持される。

このようにして、垂直転送ＣＣＤ３４のある画素の電極φＶ２下に保持されていた電荷が、上に隣接する画素の電極φＶ２下まで、
電極φＶ２下 → 電極φＶ１下 → 電極φＶ０下 → 電極φＶ３下 → 電極φＶ２下
のように転送される。

なお、ここでは、垂直転送ＣＣＤ３４により電荷を１画素分上方向に転送するとき（図３参照）の動作について説明したが、より一般に、ｎ（ｎは１以上の整数）画素分の転送を行うときには、上述したようなφＶ０〜φＶ３の信号をｎ回繰り返して与えれば良い。また、垂直転送ＣＣＤ３４により電荷を下方向に転送することも可能である。このときには、上述とは時間反転させた信号を、各電極φＶ０〜φＶ３に与えれば良い。そして、下方向にｎ画素分の転送を行うときには、この時間反転させた信号をｎ回繰り返して各電極φＶ０〜φＶ３に与えることになる。

時刻ｔ１１を過ぎたタイミングにおいて、電極φＶ３が低電圧ＶＬに設定された直後に、電極φＶ１が中電圧ＶＭに設定される。これにより、電極φＶ２下に保持されていた電荷が、一部、電極φＶ１下へ転送され、電極φＶ２および電極φＶ１の両方の電極下に保持される。

これと同時に、電極φＨ３が中電圧ＶＭに設定される。これにより、電極φＨ２下に保持されていた電荷が、一部、電極φＨ３下へ転送され、電極φＨ２および電極φＨ３の両方の電極下に保持される。

時刻ｔ１２を過ぎたタイミングにおいて、電極φＶ２が低電圧ＶＬに設定される。これにより、電極φＶ２および電極φＶ１の両方の電極下に保持されていた電荷は、全部、電極φＶ１下へ転送され、この電極φＶ１下に保持される。

これと同時に、電極φＨ２が低電圧ＶＬに設定される。これにより、電極φＨ２および電極φＨ３の両方の電極下に保持されていた電荷は、全部、電極φＨ３下へ転送され、この電極φＨ３下に保持される。

電極φＶ２が低電圧ＶＬに設定され、かつ電極φＨ２が低電圧ＶＬに設定された直後に、電極φＶ０，φＨ０が中電圧ＶＭに設定される。これにより、電極φＶ１下に保持されていた電荷が、一部、電極φＶ０，φＨ０下および電極φＨ３下へ転送されるとともに、電極φＨ３下に保持されていた電荷が、一部、電極φＶ０，φＨ０下および電極φＶ１下へ転送される。従って、この時点で、電荷の混合（加算）が生じることになる（図４参照）。

その後、時刻ｔ１３を過ぎたタイミングにおいて、電極φＨ３が低電圧ＶＬに設定される。これにより、電極φＨ３、電極φＶ０，φＨ０、および電極φＶ１の各電極下に保持されていた電荷は、電極φＶ０，φＨ０および電極φＶ１の両電極下にのみ保持される。

続いて、時刻ｔ１４を過ぎたタイミングにおいて、電極φＶ０，φＨ０が低電圧ＶＬに設定される。これにより、電極φＶ０，φＨ０および電極φＶ１の両方の電極下に保持されていた電荷が、全部、電極φＶ１下へ転送され、この電極φＶ１下に保持される。

電極φＶ０，φＨ０が低電圧ＶＬに設定された直後に、電極φＶ２が中電圧ＶＭに設定される。これにより、電極φＶ１下に保持されていた電荷が、一部、電極φＶ２下へ転送され、電極φＶ１および電極φＶ２の両方の電極下に保持される。

時刻ｔ１５を過ぎたタイミングにおいて、電極φＶ１が低電圧に設定される。これにより、電極φＶ１および電極φＶ２の両方の電極下に保持されていた電荷が、全部、電極φＶ２下へ転送され、この電極φＶ２下に保持される（図５参照）。この状態は、時刻ｔ１６においても継続しており、加算電荷が電極φＶ２下に保持されていることが分かる。

このように上記時刻ｔ１２を過ぎたタイミングで加算された電荷を、同一画素内の電極φＶ２下に転送して記憶することにより、この記憶した画像と次回の時分割露光による画像との加算を、同様のシーケンスで行うことができる。こうして、複数回の撮影による画像のぶれを補正しながら加算して、最終的にぶれのない（「ぶれのない」とは、ぶれが実質的に無視し得る程度以下であることを意味している。）露光時間ＴExp の画像を得ることができる。

上述したように、水平転送ＣＣＤ３３に記憶された画像は、水平方向のぶれ量だけ転送されることにより、水平方向の相対的なぶれが補正される。また、垂直転送ＣＣＤ３４に記憶された画像は、垂直方向のぶれ量だけ転送されることにより、垂直方向の相対的なぶれが補正される。このために、水平転送ＣＣＤ３３および垂直転送ＣＣＤ３４の各々の電極下のポテンシャル井戸には、多数回に渡り隣接するポテンシャル井戸から電荷が転送されて来る。従って、水平転送ＣＣＤ３３の両端および垂直転送ＣＣＤ３４の両端に転送されてくる電荷は、行き場を失ってここに蓄積されてしまう。蓄積された電荷は、やがてポテンシャル井戸に蓄積可能なレベルを越えてしまい、隣接するポテンシャル井戸に流れ込んで、画像の劣化を招くことになる。このような課題を解決する一つの手段として、水平転送ＣＣＤ３３の両端および垂直転送ＣＣＤ３４の両端の電極下のポテンシャル井戸の容量を、電荷が飽和することのないような大きな容量にすることが考えられる。しかし、累積される電荷の量は、被写体の輝度やぶれ量に応じて異なるために、全てのケースにおいて電荷が飽和しないようにするためには、相当に大きな容量のポテンシャル井戸を必要とする。

そこで、本実施形態においては、図３２に示すように、水平転送ＣＣＤ３３の端部および垂直転送ＣＣＤ３４の端部の転送電極７１に隣接してｎ＋拡散領域のドレイン７２を設け、転送電極７１下のポテンシャル井戸に転送された電荷をドレイン７２を介して排出するようにしている。ここに、図３２は、水平転送ＣＣＤ３３の端部および垂直転送ＣＣＤ３４の端部に転送された電荷をドレイン７２に排出するようにした構成を示す図である。

なお、垂直転送ＣＣＤ３４の両端の転送電極の内、水平転送ＣＣＤ４２（図１２参照）に面した側については、同様の排出機構を設けることができない。そこで、この水平転送ＣＣＤ４２に面した側については、ぶれ補正を行う間、水平転送ＣＣＤ４２を駆動することにより、垂直転送ＣＣＤ３４から送られて来る電荷を水平転送ＣＣＤ４２の出力部へ排出するようにしている。

図１２は、固体撮像素子全体の構成を模式化して示す図である。なお、実用的な固体撮像素子１は例えば数十万〜数百万画素以上の画素数を備えているが、全部を図示することは不可能であるために、この図１２においては、これよりも画素数を少なくする模式化を行っている。

撮像領域４１は、図２〜図５、あるいは図６に示したような、フォトダイオード３２と、水平転送ＣＣＤ３３と、垂直転送ＣＣＤ３４と、を含む、撮像部、光電変換部である。

上記撮像領域４１の上記垂直転送ＣＣＤ３４が突き当たる水平方向位置には、水平転送ＣＣＤ４２が配設されている。この水平転送ＣＣＤ４２は、撮像領域４１の垂直転送ＣＣＤ３４において加算された画像を、図１０の時刻ｔ03から時刻ｔ04の間に、通常のＣＣＤ撮像素子（つまり、例えば、上述したような水平転送ＣＣＤ３３を備えていないＣＣＤ撮像素子）と同様に、外部へ読み出すためのものである。なお、この水平転送ＣＣＤ４２には、上述した水平転送ＣＣＤ３３とは異なる水平転送パルスφＨ４，φＨ５が印加され、画素電荷の転送を行うようになっている。

上記水平転送ＣＣＤ４２の出力側には、該水平転送ＣＣＤ４２から転送されたアナログ信号を増幅するためのアンプ４３が配設されている。こうして、撮像素子１からは、アンプ４３により増幅された信号が出力されるようになっている。

次に、図１３は、デジタルカメラにより画像を撮像して記録するときの処理を示すフローチャートである。

デジタルカメラの電源が投入される（例えば、電池が交換されるなど）か、または、図示しない動作開始スイッチ（例えば、電源スイッチ）が操作されると、このデジタルカメラの動作がスタートする。

処理を開始すると、所定の初期値設定等を行った後に、まず、撮影者のレリーズ操作によって第１レリーズスイッチ１８ａが閉じた状態になったか否かを判定する（ステップＳ１０１）。

ここで、第１レリーズスイッチ１８ａが閉じていない場合には、Ｊ１０１に分岐して、第１レリーズスイッチ１８ａの検出を同様に繰り返して行う。ただし、実際には、Ｊ１０１とステップＳ１０１との間に、表示を行ったり、その他の図示しないキー入力の状態を検出したりする動作等を行うが、こうした一般的な動作については以下においても適宜説明を省略することにする。

ステップＳ１０１において第１レリーズスイッチ１８ａが閉じたことが検出された場合には、次に、ぶれ限界露光時間ＴLimit を演算する（ステップＳ１０２）。このぶれ限界露光時間ＴLimit は、露光開始からのぶれ量が許容限界のぶれ量に達すると想定される時間である。

ここで、ぶれ限界露光時間ＴLimit について説明する。３５ミリフィルムカメラにおける縦２４ｍｍ×横３６ｍｍ（対角 ４３．２８ｍｍ）のいわゆるライカ版フレーム（別称：ダブルフレーム）カメラに関する長年の経験則として、ミリメートル単位の撮影レンズの焦点距離をｆとしたときに、ぶれ限界露光時間ＴLimit が、ＴLimit ≒１／ｆ（秒）になるということが知られている。本実施形態においては、この経験則を、デジタルカメラの撮像素子の有効撮像エリア内に設定した撮影画枠の大きさを考慮の上、応用することにする。以下の説明においては、単位ｍｍについての記載を適宜省略して、数値のみを表記することにする。

デジタルカメラにおける被写体撮像範囲（撮影画角）は、撮影レンズの焦点距離に反比例し、かつフレームの大きさに比例するために、フレームに対する相対的な像倍率は、焦点距離に比例し、かつフレームの大きさに反比例する。従って、（フレームに対する相対的な）像ぶれもフレームの大きさに反比例する。そこで、上記経験則に対してフレームの大きさ比率に応じた換算係数を乗じて、これを適用すれば良いことになる。この場合、アスペクト比の違いを考慮する必要があるが、本実施形態に係るデジタルカメラにおいては、対角線換算を用いることにする。

撮影画枠の対角長をｄ［ｍｍ］とすると、ＴLimit は次の数式１により表される。
［数１］

なお、この数式１の分母（４３．２８×ｆ／ｄ）は、デジタルカメラの撮影レンズの焦点距離ｆを、同一画角のライカ版フレームのフィルムカメラの撮影レンズの焦点距離に換算した値になっている。

この数式１からも明らかなように、このぶれ限界露光時間ＴLimit は、デジタルカメラの撮影レンズ１５が単焦点距離の撮影レンズである場合は該焦点距離に応じた１つの値のみを適用すれば良いが、撮影レンズ１５がズームレンズである場合には、焦点距離に応じた異なる値を適用する必要がある。

なお、ぶれ限界露光時間ＴLimit は、必ずしも、数式１で与えられる値を用いる必要はなく、要するに、ぶれが実質的に発生することのないような露光時間を用いれば良い。従って、ぶれ限界露光時間ＴLimit は、概略、数式１により与えられる露光時間よりも短い時間であれば構わない。

次に、被写体の明るさを測光する（ステップＳ１０３）。この測光は、撮像素子１から繰り返し出力される画像信号のレベルをモニタして、被写体の明るさを演算するものである。すなわち、撮像素子１から読み出された画像信号は、ＣＤＳ２により処理されゲインコントロールアンプ３により増幅された後にＡ／Ｄ変換器４によりデジタル値に変換され、情報処理部８を経てＤＲＡＭ９に一時的に記憶される。このＤＲＡＭ９に記憶された画像信号の内、画像全体の中の例えば中央部付近の所定領域の画像信号がＣＰＵ７により読み出されて、そのレベルの加算平均値が求められる。そして、ＣＰＵ７は、求めた加算平均値に基づいて被写体の明るさ（Ｂｖ）を計算する。

続いて、ＣＰＵ７は、適正露光を得るために必要なシャッタ速度値（露光時間）ＴExp や絞り１７の絞り値を計算するとともに、計算結果に基づき絞り駆動系１６を介して絞り１７の絞り設定を行うためのサブルーチン（図１４参照）を実行する（ステップＳ１０４）。

ここに、図１４は、ＴExp と絞り値の演算と絞り設定のサブルーチンを示すフローチャートである。

この図１４に示すサブルーチンは、デジタルカメラが制御不能な露出値の場合には警告表示を行い、撮影モードが、シャッタ優先撮影モード、絞り優先撮影モード、プログラム撮影モードの何れに設定されていても、手ぶれ防止を行うようにしたものとなっている。さらに、このサブルーチンは、仮に露光時間が手ぶれが発生する可能性がある露光時間（の閾値）よりも長いときには、予め警告表示をして、手ぶれ防止を優先する撮影モードに自動的に設定し、撮影を行うようにしたものとなっている。

このサブルーチンに移行すると、まず、（Ｂｖ＋Ｓｖ）＞Ｅｖ（ｍａｘ）であるか否かを判定する（ステップＳ２０１）。ここに、Ｂｖ（Brightness value）はアペックス（ＡＰＥＸ（Additive System of Photographic Exposure））方式に基く指数で表わした（以下、「アペックス値としての」という。）被写体の明るさ、Ｓｖ（Sensitive Value）はアペックス値としてのＩＳＯ感度、Ｅｖ（Exposure Value）はアペックス値としての露出値、Ｅｖ（ｍａｘ）はデジタルカメラが制御可能なアペックス値としての露出値の最大値である。また、アペックス値としての露光時間をＴｖ（Time Value）、アペックス値としての絞り値（Ｆナンバー）をＡｖ（Aperture Value）とすると、次の式が成り立つ。
Ｅｖ＝Ｔｖ＋Ａｖ＝Ｂｖ＋Ｓｖ

従って、測光により得られた被写体の明るさ（Ｂｖ）と、撮影条件設定部２６により設定されたＩＳＯ感度（Ｓｖ）と、が分かれば露出値（Ｅｖ）が決定され、ＴｖとＡｖとを演算することができる。図１７は、露出に係る各要素の基準値と、その指数の基準値と、を示す図表である。

このステップＳ２０１において、（Ｂｖ＋Ｓｖ）＞Ｅｖ（ｍａｘ）であると判定された場合には、露出オーバー警告を行う（ステップＳ２０２）。この露出オーバー警告は、例えば液晶表示部１２に警告表示を行ったり、あるいは警告表示とともに図示しないスピーカ等を介して警告音を発音する等により行われる。この警告を行ったら、その後はＪ２０１に移行する。

また、ステップＳ２０１において、Ｂｖ＋Ｓｖ＞Ｅｖ（ｍａｘ）でないと判定された場合には、次に、Ｂｖ＋Ｓｖ＜Ｅｖ（ｍｉｎ）であるか否かを判定する（ステップＳ２０３）。ここに、Ｅｖ（ｍｉｎ）は、デジタルカメラが制御可能なアペックス値としての露出値の最小値である。

このステップＳ２０３において、Ｂｖ＋Ｓｖ＜Ｅｖ（ｍｉｎ）であると判定された場合には、露出アンダー警告を行う（ステップＳ２０４）。この露出アンダー警告も、上述した露出オーバー警告と同様に、液晶表示部１２に警告表示を行ったり、警告表示とともに図示しないスピーカ等を介して警告音を発音したりする等により行われる。この警告を行ったら、その後はＪ２０１に移行する。

また、ステップＳ２０３において、Ｂｖ＋Ｓｖ＜Ｅｖ（ｍｉｎ）でないと判定された場合、または、上述したステップＳ２０２またはステップＳ２０４からＪ２０１に移行した場合には、シャッタ優先撮影モードに設定されているか否かを判定する（ステップＳ２０５）。

ここで、このデジタルカメラがシャッタ優先撮影モードに設定されている場合には、Ａｖ＝Ｂｖ＋Ｓｖ−Ｔｖにより絞り値（Ａｖ）を演算する（ステップＳ２０６）。

一方、ステップＳ２０５においてシャッタ優先撮影モードでないと判定された場合には、このデジタルカメラが絞り優先モードに設定されているか否かを判定する（ステップＳ２０７）。

ここで、絞り優先撮影モードに設定されている場合には、露光時間ＴExp を演算する（ステップＳ２０８）。なお、この露光時間ＴExp はＴｖに対応するものであり、Ｔｖ＝Ｂｖ＋Ｓｖ−Ａｖにより、露光時間のアペックス値Ｔｖを求めて、アペックス値を実際の露光時間ＴExp に換算することにより求める。この処理が終了したら、その後は、Ｊ２０２へ移行する。

また、ステップＳ２０７において、絞り優先撮影モードでないと判定された場合には、つまりプログラム撮影モードであるということになり、図１８に示すようなプログラム線図を参照して露光時間ＴExp を求めるとともに（ステップＳ２０９）、該プログラム線図を参照して絞り値（Ａｖ）を求める（ステップＳ２１０）。

ここに、図１８は、撮影レンズ１５の焦点距離に応じた幾つかの例を示すプログラム線図である。

このプログラム線図は、図１８に示すように、同一の露出値Ｅｖである場合に、撮影レンズ１５の焦点距離が長いほど、露光時間ＴExp が短く、絞り値が小さくなる（絞り開口が大きくなる）ように設計されている。これは、撮影レンズ１５の焦点距離が長いほど、撮像素子１の撮像面上における手ぶれの影響が大きくなるために、露光時間ＴExp を短くすることにより、この手ぶれの発生を抑制するようにしているためである。なお、この図１８には、最大の絞り開口に対応する絞り値（Ｆナンバー）が１．４、最小の絞り開口に対応する絞り値（Ｆナンバー）が１６、最も速いシャッタ速度が１／４０００秒であるデジタルカメラを例に挙げたものである。ただし、レンズの焦点距離ｆについては、３５ｍｍフィルムカメラに換算した数値例を挙げている。

こうして、このステップＳ２１０の処理が終了したら、その後はＪ２０２へ移行する。

ステップＳ２０６，Ｓ２０８，Ｓ２１０の何れかの処理が終了したら、次に、ＴExp ＞ｍ（ｍａｘ）・ＴLimit であるか否かを判定する（ステップＳ２１１）。ここに、ｍは、上述したように時分割露光の回数を表わしており、ｍは１〜１０（ｍは整数値）の何れかのみを取り得るようになっている。このｍは、ＣＰＵ７に内蔵されたメモリ（ＲＯＭ（例えば、上述したＥＥＰＲＯＭ２４））に予め記憶されている。そして、ｍ（ｍａｘ）は、上述したようにｍの最大値であって、本実施形態においては、ｍ（ｍａｘ）＝１０となる。

このステップＳ２１１において、ＴExp ＞ｍ（ｍａｘ）・ＴLimit であると判定された場合には、手ぶれ防止優先表示を行う（ステップＳ２１２）。この手ぶれ防止優先表示は、設定されている撮影モードがどの撮影モードであるかに関わらず、該撮影モードで設定された露光時間（Ｔｖ）や絞り値（Ａｖ）を変更して、手ぶれ防止を優先することを表示してユーザに告知するものとなっている。すなわち、ＴExp ＞ｍ（ｍａｘ）・ＴLimit であるときには、撮影者が設定した露光時間ＴExp を時分割露光の最大回数ｍ（ｍａｘ）で割った値が、ぶれ限界露光時間ＴLimit を超えてしまうために、ぶれ防止を保証することができなくなる。そこで、次のステップＳ２１３において、露光時間を手ぶれを有効に防止可能な限界露光時間ｍ（ｍａｘ）・ＴLimit に固定するとともに、絞り値（Ａｖ）を変更するようにしているために、各撮影モードでの設定値が用いられなくなる（特に、シャッタ優先撮影モードで設定されたシャッタ速度（露光時間）が変更され、あるいは、絞り優先撮影モードで設定された絞り値が変更されてしまう）ことになる。こうして、撮影者自身が設定したシャッタ速度や絞り値が、警告なしに変更される場合のような戸惑いをなくすために、ここで手ぶれ防止優先表示を行って、告知するようにしたものである。

こうして手ぶれ防止優先表示を行った後に、手ぶれ防止優先処理のサブルーチンを実行する（ステップＳ２１３）。

ここで、図１６を参照して、ステップＳ２１３における手ぶれ防止優先処理のサブルーチンの動作について説明する。図１６は、手ぶれ防止優先処理のサブルーチンを示すフローチャートである。

このサブルーチンに移行すると、まず、ｍ（ｍａｘ）・ＴLimit をメモリ〔ＴExp 〕に記憶する（ステップＳ３０１）。ここに、〔〕は、括弧内のデータを記憶するメモリを意味している。

次に、Ａｖ＝Ｂｖ＋Ｓｖ−Ｔｖに基いて、絞り値Ａｖを演算する（ステップＳ３０２）。なお、このステップＳ３０２の演算において用いられるＴｖは、ステップＳ３０１においてメモリ〔ＴExp 〕に記憶したＴExp のアペックス値である。そして演算した絞り値Ａｖをメモリ〔Ａｖ〕に記憶する（ステップＳ３０３）。

続いて、Ａｖ＜Ａｖ（ｍｉｎ）であるか否かを判定する（ステップＳ３０４）。ここに、Ａｖ（ｍｉｎ）は、絞り値のとり得る最小値（絞りを最大に開いたときに対応する）である。

このステップＳ３０４において、Ａｖ＜Ａｖ（ｍｉｎ）であると判定された場合には、上述したステップＳ３０２で演算した絞り値（Ａｖ）は、実際に絞り１７に設定することが不可能な絞り値であるということになるために、Ａｖ（ｍｉｎ）を改めてメモリ〔Ａｖ〕に記憶する（ステップＳ３０５）。

そして、ＩＳＯ感度ＳｖをＴｖ＋Ａｖ−Ｂｖに基づき演算する（ステップＳ３０６）。

このＩＳＯ感度Ｓｖは、ゲインコントロールアンプ３の増幅率に対応している。例えばＩＳＯ感度１００のときの増幅率を１とすると、ＩＳＯ感度２００では増幅率は２となる。そして、増幅率をあまり大きくすると、ノイズが目立つようになるために、実用上は適宜の増幅率が上限として設定されていて、具体例としてはＩＳＯ感度８００（増幅率８）あるいは、ＩＳＯ感度１６００（増幅率１６）などが上限となる。ＩＳＯ感度Ｓｖの値は、実際には、連続的な値ではなく段階的な値にしか設定することができないために、実際に設定可能なＳｖの内、ステップＳ３０６において求めたＳｖに最も近い値を《Ｓｖ》とする。こうして求めた《Ｓｖ》を、メモリ〔Ｓｖ〕に記憶する（ステップＳ３０７）。

次に、上記Ｓｖ，Ｂｖ，Ａｖに対応する露光時間Ｔｖを、Ｔｖ＝Ｓｖ＋Ｂｖ−Ａｖにより求める（ステップＳ３０８）。

続いて、ステップＳ３０８において求めた露光時間のアペックス値Ｔｖを、実際の露光時間ＴExp に変換する（ステップＳ３０９）。

その後、ＴLimit'（＝ＴExp ／ｍ（ｍａｘ））を演算する（ステップＳ３１０）。このＴLimit ’は、上記ステップＳ３０１において求めたＴLimit より大きい場合もあり得るし、小さい場合もあり得る。

そして、ＴLimit'／ＴLimit が２よりも大きいか否かを判定する（ステップＳ３１１）。このＴLimit'／ＴLimit が２よりも大きいと判定された場合は、時分割露光の露光時間がぶれ限界露光時間ＴLimit よりも２倍以上長いことになるために、ぶれが許容レベルを大きく越えるとして、手ぶれ警告を液晶表示部１２により表示する。なお、この手ぶれ警告を表示するときには、さらに、図示しないスピーカ等を介して警告音を発音する等を行うようにしても構わない。

また、ステップＳ３１１において、ＴLimit'／ＴLimit が２以下であると判定された場合には、ＴLimit ’をメモリ〔ＴLimit 〕に記憶する（ステップＳ３１３）。

こうして、上記ステップＳ３０４においてＡｖ＜Ａｖ（ｍｉｎ）でないと判定されたとき、ステップＳ３１２の処理が終了したとき、またはステップＳ３１３の処理が終了したときには、この図１６に示すサブルーチンから図１４に示した処理へリターンする。

図１４の説明に戻って、図１６に示したような手ぶれ防止優先処理のサブルーチンからリターンすると、Ｊ２０３に移行して、後述するような処理を行う。

上記ステップＳ２１１において、ＴExp ＞ｍ（ｍａｘ）・ＴLimit でないと判定された場合には、時分割露光回数ｍを選択する（ステップＳ２１４）。具体的には、ＴExp ／ＴLimit を演算して、これと等しいかまたはこれよりも大きく最も近いｍ（１〜１０の整数値）を選択する。例えば、ＴExp ／ＴLimit の値が２．５である場合には、ｍ＝３に設定し、ＴExp ／ＴLimit の値が４である場合にはｍ＝４に設定する。

次に、メモリ〔ＴLimit 〕にＴExp ／ｍを記憶する（ステップＳ２１５）。このように、ＴExp ／ｍにより新たにＴLimit を演算し、このぶれ限界露光時間ＴLimit に基いて時分割撮影の露光時間を制御することにより、時分割撮影して加算した後の画像の露光量を適正にすることができる。また、上記ステップＳ２１４においてＴExp ／ＴLimit が整数値でない場合に、それよりも大きく最も近いｍ（１〜１０の整数値）を選択したのは、ステップＳ２１５において新たに演算したＴLimit がぶれ限界露光時間よりも大きくならないようにするためである。

ステップＳ２１３において、手ぶれ防止優先処理のサブルーチンからリターンしたとき、またはステップＳ２１５の処理が終了した場合には、絞り駆動系１６を介して絞り１７を駆動し、メモリ〔Ａｖ〕に記憶されている絞り値に対応する絞り開口になるように絞りを設定する（ステップＳ２１６）。

その後は、この図１４に示すサブルーチンから図１３に示した処理にリターンする。

なお、図１４に示した処理では、ステップＳ２１１において、ＴExp ＞ｍ（ｍａｘ）・ＴLimit であると判定されると、ＴExp ≦ｍ（ｍａｘ）・ＴLimit となるようにＡｖ（絞り値）またはＩＳＯ感度を修正するようにしていた。このような手段を用いると、ぶれ防止については十分に満足できるレベルに抑制することができる一方で、撮影者の意図した撮影モードが忠実に反映されないことになる。すなわち、撮影者が例えばシャッタ優先撮影モードを選択して撮影したにもかかわらず、シャッタスピード（露光時間）が意図したシャッタスピードよりも高速になり、作画意図を反映した撮影を行うことができない場合が生ずる可能性がある。

このような点を改善するようにした変形例が、図１５に示すものである。図１５は、ＴExp と絞り値の演算と絞り設定のサブルーチンの他の例を示すフローチャートである。この図１５において、図１４に示す処理と同様である部分には、同一の符号を付して説明を省略する。

上述したステップＳ２１１において、ＴExp ＞ｍ（ｍａｘ）・ＴLimit であると判定されたときには、ぶれ警告表示を液晶表示部１２により行う（ステップＳ２１２’）。このぶれ警告表示は、ぶれが生じる可能性がある旨の注意を喚起する表示である。なお、このぶれ警告表示を行うときには、さらに、図示しないスピーカ等を介して警告音を発音する等を行うようにしても構わない。

次に、ぶれ限界露光時間ＴLimit を記憶するメモリ〔ＴLimit 〕に、ＴExp ／ｍ（ｍａｘ）を記憶する（ステップＳ２１３’）。その後は、Ｊ２０３に移行する。

この図１５に示すような処理を行うことにより、撮影者の意図した撮影モードで撮影を行うことができる。また、ぶれ警告表示をするとともに、最大限ぶれの発生しないような高速のシャッタスピード（つまり、露光時間ＴExp をｍの最大値ｍ（ｍａｘ）で割って得られたシャッタスピード）で撮影を行うことができるために、ぶれも満足できるレベルに抑制されると期待される。

上述した図１４、図１５に示すフローチャートにおいては、ステップＳ２１４で、予めメモリに記憶された複数の時分割撮影回数ｍの中から最適なｍを選択するようにしたが、ｍの値を所定の大きな値（例えばｍ＝１０）の一種類のみとし、ぶれ限界露光時間ＴLimit はＴExp ／ｍに設定するようにしても良い。このようにすることにより、フォトダイオード３２の蓄積電荷量Ｑ（ｍａｘ）の制御をする基板電圧ＶＳＵＢの値を、通常撮影時と時分割撮影時の２種類設定可能にすれば足りるために、撮像素子の特性の管理が容易になり、撮像素子の歩留まり向上に寄与するとともに、構成を簡単にすることができる。

以上、図１４または図１５を参照して説明したように、この実施形態においては、算出された露出値がデジタルカメラによる制御が不能な値である場合には、露出オーバー側であるか露出アンダー側であるかに応じてその旨の警告表示を行うようにしている。さらに、図１４および図１６を参照して説明したように、上述では、デジタルカメラの撮影モードが、シャッタ優先撮影モード、絞り優先撮影モード、プログラム撮影モードの何れに設定されている場合でも、手ぶれ防止を行うようにするとともに、算出された露光時間が手ぶれが発生する可能性を無視し得る上限の露光時間よりも長い（シャッタ速度が低速である）場合には、予め警告表示を行って、手ぶれ防止を優先する撮影モードで撮影することを告知するようにしている。こうして、撮影者に誤解を与えることなく、確実に手ぶれ防止を行うことが可能となっている。

図１３の説明に戻って、上述したようなステップＳ１０４のサブルーチンからリターンしたら、次に、第２レリーズスイッチ１８ｂが閉じているか否かを判定する（ステップＳ１０５）。ここで、第２レリーズスイッチ１８ｂが閉じていない場合には、第１レリーズスイッチ１８ａが閉じている限り、Ｊ１０２へ分岐して、上述したようなステップＳ１０２〜Ｓ１０５の処理を繰り返して行いながら、この第２レリーズスイッチ１８ｂが閉じるのを待機する。

こうして、ステップＳ１０５において、第２レリーズスイッチ１８ｂが閉じていると判定された場合には、ぶれ限界露光時間ＴLimit による露光が実際に行われた回数ｎを記憶するメモリ〔ｎ〕に、初期値「０」を記憶する（ステップＳ１０６）。なお、上述したように、〔〕は、括弧内のデータを記憶するメモリを意味している。従って、〔ｎ〕は、括弧内の変数ｎを記憶するメモリを意味する。

次に、露光を開始する（ステップＳ１０７）。撮像素子１には、露光開始直前から、フォトダイオード３２に蓄積された電荷を半導体基板（サブストレート＝縦形オーバーフロードレインＶＯＦＤ）へ強制排出するための基板印加高電圧パルスＶＳＵＢが図１０に示したように繰り返し印加されており、この高電圧パルスＶＳＵＢの印加が終了し、ＶＳＵＢの値を上記ｍに応じた値（図８に示すＶＳＵＢ’）に設定した時点が、このステップＳ１０７の露光開始の時点となる。

次に、１回分の時分割露光が終了したか否かを判定する（ステップＳ１０８）。ここで、１回分の時分割露光が終了するまでは、Ｊ１０３へ分岐して、時分割露光の終了を待機する。

また、１回分の時分割露光が終了した場合には、後述する露光開始位置からのＸ方向のぶれ量の絶対値｜Ｐｘ−Ｐｘ０｜、または露光開始位置からのＹ方向のぶれ量の絶対値｜Ｐｙ−Ｐｙ０｜が、予め設定した所定の値αよりも大きいか否かを判定する（ステップＳ１１８）。

ここで、何れかが所定の値αよりも大きいと判定された場合には、露光を終了して、フラグＦＬＧに１を設定した後に（ステップＳ１１９）、後述するステップＳ１１２の画像の読み出しの処理へ移行する。これは、ぶれ量が所定以上に大きいときはぶれが正常に補正された画像の有効領域が狭くなるために、時分割撮影を終了して、所定の大きさの有効領域を確保するためである。これについては、後で詳細に説明する。

なお、ステップＳ１１９において設定されるフラグＦＬＧは、撮影を開始するときに予め０に設定されているものであり、ＦＬＧに１を設定することにより、時分割撮影の回数が規定値ｍに達する前に時分割撮影が終了したことを示すようになっている。

また、ステップＳ１１８において、｜Ｐｘ−Ｐｘ０｜と｜Ｐｙ−Ｐｙ０｜との何れもがα以下であると判定された場合には、時分割撮影により得られた画像を合成するサブルーチン「画素値合成」（図２２参照）を実行する（ステップＳ１０９）。

この画素値合成のサブルーチンについて説明する前に、図１９〜図２１を参照して、デジタルカメラにおけるぶれ量の検出について説明する。まず、図１９は、デジタルカメラに設定した座標軸と２つの角速度センサの配置とを示す図である。

この図１９において、ある時刻における、撮影レンズ１５の光軸Ｏに沿った被写体側をＺ軸の正方向、Ｚ軸に垂直な撮像面内におけるデジタルカメラの左右方向の被写体側からデジタルカメラを見て右側をＸ軸の正方向、Ｚ軸とＸ軸との交点を通りＺ軸およびＸ軸に直交するデジタルカメラの上方向をＹ軸の正方向、とするように、Ｘ軸，Ｙ軸，Ｚ軸を設定するものとする。そして、これらＸ軸，Ｙ軸，Ｚ軸周りの回転角を、それぞれθx ，θy ，θz とする。なお、上述したある時刻においては、撮影レンズ１５の光軸ＯとＺ軸とは一致しているが、別の時刻においてぶれが発生している場合には、撮影レンズ１５の光軸Ｏは一般にＺ軸とは一致しない。

このデジタルカメラのカメラ本体５１には、上述したように、角速度センサ１９と角速度センサ２０とが設けられている。

角速度センサ１９は、Ｘ軸回りの回転角θx の単位時間当たりの変化量である角速度を検出するためのものである。

角速度センサ２０は、Ｙ軸回りの回転角θy の単位時間当たりの変化量である角速度を検出するためのものである。

これら２つの角速度センサ１９，２０は、図１９に示すように、デジタルカメラにおける上述したＸ軸，Ｙ軸，Ｚ軸に関連した配置となるように設けられている。

これら２つの角速度センサ１９，２０から各出力される検出信号は、それぞれＡ／Ｄ変換器２１，２２によりデジタルデータに変換されて、ＣＰＵ７に入力される。

このＣＰＵ７は、撮影レンズ１５から、焦点距離ｆに関する情報を取得する（例えば、撮影レンズ１５が電動ズームである場合には、レンズ駆動系１４を介して情報の取得を行い、あるいは、撮影レンズ１５が交換式のレンズ鏡筒である場合には通信接点等を介して情報の取得を行う）。

また、ＣＰＵ７は、距離検出部２３から被写体距離情報を取得する。

これら、焦点距離ｆの情報と、被写体距離情報とは、後述するように、Ｘ方向のぶれ量の演算、およびＹ方向のぶれ量の演算に用いられる。

次に、図２０を参照して、ぶれ量とぶれ補正量との関係について説明する。図２０は、カメラ本体５１が回転角θx だけぶれた場合の、撮像面上における被写体６３の像の移動状態を示す図である。

デジタルカメラがぶれ等によって回転角θx だけ回転したとすると、撮影レンズ１５が、符号１５’に示す位置まで回転して移動するとともに、撮像素子１の撮像面６１も角度θx だけ傾いたＣ−Ｄ面の位置に回転する。

また、ぶれが発生していないときには符号６２に示す中心位置にあった被写体６３の像が、回転角θx のぶれが発生した後には、撮像面Ｃ−Ｄ上の符号６２’に示す位置に移動する。

ここで、撮影レンズ１５の焦点距離をｆ、ぶれが発生していないときの撮影レンズ１５の物空間焦点から被写体６３までの距離をＬ、ぶれが発生していないときの撮影レンズ１５の像空間焦点から像位置までの距離をＬ’、ぶれによる像位置の移動量をΔＹ、とそれぞれすると、図２０に示すような幾何学的位置関係と、次の数式２に示すニュートン（Newton）の結像公式
［数２］

と、を用いることにより、上記移動量ΔＹは、次の数式３に示すように算出される。
［数３］

ここに、βは撮影倍率を示し、ｆ／Ｌである。また、数式３を算出するに当たっては、θx が微小量であるとして、θx の１次のオーダーまでの近似を行っている。

この数式３における値ｆは、上述したように、レンズ情報としてＣＰＵ７に入力される。また、βを算出するために必要な距離Ｌは、図１に示したような距離検出部２３からの情報に基づき算出することができる（または、被写体にピントを合わせたときの撮影レンズ１５の繰り出し量から距離Ｌを求めても良い。）。さらに、数式３における角度θx は、上述したような角速度センサ１９からの出力に基いて、算出することができる。

こうして、数式３に基づいて得られる移動量ΔＹに係る実質的な補正を行うことにより、デジタルカメラにぶれが発生したとしても、撮像素子１から出力される画像信号に係る画像にはぶれの影響が生じないようにすることができる。

なお、上述したように、角度θx は微小量であるために、図２０に示すように撮像面Ｃ−ＤがＸ軸周りにＹ軸に対して角度θx だけ傾いても、撮像面の傾きにより生じる像への影響は、上述した移動量ΔＹ以外には問題になることはない。

また、Ｙ軸回りに回転角θy だけぶれが発生したときの像位置の移動量ΔＸも、上記数式３と同様に、次の数式４に示すように求められる。
［数４］

上述した数式３の両辺を時間で微分することにより、次の数式５が得られる。
［数５］

この数式５において、右辺におけるｄ（θx ）／ｄｔは、Ｘ軸周りの角速度そのものであるために、角速度センサ１９の出力をそのまま用いることが可能である。また、数式５の左辺におけるｄ（ΔＹ）／ｄｔは、ｄ（θx ）／ｄｔの角速度が生じた場合のＹ軸方向の像移動速度Ｖy となる。

同様に、Ｙ軸回りに回転角θy だけぶれが発生したときのＸ軸方向の像位置の移動量ΔＸに関しても、数式４の両辺を時間で微分することにより、次の数式６が得られる。
［数６］

この数式６において、右辺におけるｄ（θy ）／ｄｔは、Ｙ軸周りの角速度そのものであるために、角速度センサ２０の出力をそのまま用いることが可能である。また、数式６の左辺におけるｄ（ΔＸ）／ｄｔは、ｄ（θy ）／ｄｔの角速度が生じた場合のＸ軸方向の像移動速度Ｖx となる。

今、所定時間ΔＴ（なお、このΔＴは、Ａ／Ｄ変換器２１，２２が角速度センサ１９，２０の出力をデジタル信号に変換するサンプリング間隔であって、ぶれ限界露光時間ＴLimit と同じか、またはそれよりも短い時間であることが望ましい。）周期で検出した角速度センサ１９の出力ｄ（θx ）／ｄｔが、ωx1，ωx2，ωx3，…，ωx(n-1)，ωxnであったとすると、ｎ×ΔＴの時間が経過した後のＹ軸方向の像位置の移動量ΔＹは、次の数式７に示すように与えられる。
［数７］

同様に、所定時間ΔＴ毎に（所定時間ΔＴ周期で）検出した角速度センサ２０の出力ｄ（θy ）／ｄｔが、ωy1，ωy2，ωy3，…，ωy(n-1)，ωynであったとすると、ｎ×ΔＴの時間が経過した後のＸ軸方向の像位置の移動量ΔＸは、次の数式８に示すように与えられる。
［数８］

撮像素子１により、ｎ×ΔＴの時間間隔で露光された２つの画像のぶれ量は、数式７および数式８により計算することができる。従って、これらの数式により算出された移動量（ぶれ量）ΔＸ，ΔＹに基いて、２つの画像のぶれを補正するような画素電荷の移動を行ってから加算することにより、ぶれの補正された画像を生成することが可能となる。

図２１は、ＣＰＵ７により移動量ΔＸ，ΔＹ等を算出する処理の流れを示すフローチャートである。この処理は、第２レリーズスイッチ１８ｂが閉じたときから露光が終了するまでの間、図１３等に示した処理とは独立なプロセスとして実行されるようになっている。

すなわち、この処理を開始すると、まず、第２レリーズスイッチ１８ｂが閉じるのを待機する（すなわち、第２レリーズスイッチ１８ｂが閉じるまではＪ４０１へ分岐する）（ステップＳ４０１）。

そして、第２レリーズスイッチ１８ｂが閉じたことが検出された場合には、次に、撮影レンズ１５の焦点距離ｆと、被写体距離Ｌと、を入力する（ステップＳ４０２）。これらの焦点距離ｆと被写体距離Ｌとは、この図２１に示すような処理の中において演算するようにしても良いが、より高速なサイクルでぶれ量を演算するために、別途のプロセッサ等を用いて焦点距離ｆと被写体距離Ｌとを演算し、ＣＰＵ７はこの演算されたデータをステップＳ４０２において入力するようにすると良い。これにより、処理の高速化を図るとともに、リアルタイムへの高い追従性を図ることが可能となる。

次に、ＣＰＵ７は、Ａ／Ｄ変換器２１，２２を各介して角速度センサ１９，２０の出力を読み込むことにより、角速度ωx ，ωy を入力する（ステップＳ４０３）。

そして、入力した角速度ωx ，ωy を、前回検出した値までの累積加算値に加算することにより、今回検出した値までの累積加算値Σωx ，Σωy を演算する（ステップＳ４０４）。

このステップＳ４０４で演算した累積加算値Σωx ，Σωy を上述した数式７，数式８に代入することにより、複数の時分割画像の内の最初の時分割画像の撮影終了時点からの像位置の移動量ΔＹ，ΔＸをそれぞれ算出する（ステップＳ４０５）。

次に、Ｐｘ＝「ΔＸ／Ｌｘ」と、Ｐｙ＝「ΔＹ／Ｌｙ」と、を演算する（ステップＳ４０６）。なお、Ｌｘ，Ｌｙは、図２に示した１画素３１のＸ方向、Ｙ方向のサイズをそれぞれ表し、「」は小数以下を四捨五入した整数値を意味するものとする。従って、Ｐｘ，Ｐｙは、最初の時分割画像の撮影終了時点からの像位置の移動量ΔＸ，ΔＹを画素単位で表したものである。

続いて、上記Ｐｘ，Ｐｙを、各対応するメモリ〔Ｐｘ〕，〔Ｐｙ〕にそれぞれ記憶する（ステップＳ４０７）。上述したように、記号〔〕は、括弧内のデータを記憶するメモリを示している。

その後、露光時間ＴExp の露光が終了しているか否かを判定し（ステップＳ４０８）、露光が終了していない場合にはＪ４０２へ分岐して、ステップＳ４０３から上述と同様の処理を繰り返して行う。

一方、ステップＳ４０８において露光が終了していると判定された場合には、この処理を終了する。

続いて、図２２は、画素値合成のサブルーチンを示すフローチャートである。

図１３のステップＳ１０９においてこの処理が開始されると、まず、ぶれ限界露光時間ＴLimit による露光を行った回数ｎが０であるか否かを判定する（ステップＳ５０１）。

ここで、ｎが０である場合には、垂直転送電極φＶ２にＶＨ（１５Ｖ）のトランスファーパルスを印加することにより、撮像素子１の各画素（より詳しくは、各フォトダイオード３２）の電荷を垂直転送ＣＣＤ３４に読み出す（ステップＳ５０３）。このステップＳ５０３の次に示した点線の矢印は、図１３のＪ１０４に分岐して、フォトダイオード３２に蓄積された電荷の読み出し完了と同時に次の露光が自動的にスタートすることを意味している。

続いて、上記Ｐｙ，Ｐｘをメモリ〔Ｐｙ０〕，〔Ｐｘ０〕にそれぞれ記憶し、これらの値をそれぞれ新たなＰｙ０，Ｐｘ０とする（ステップＳ５０４）。これらＰｙ０，Ｐｘ０は、ＣＰＵ７が角速度ωx ，ωy の入力を開始してから、フォトダイオード３２により最初の露光を開始した直後までの、画素数単位で表したぶれ量Ｐｙ，Ｐｘ（図２１のステップＳ４０７においてメモリ〔Ｐｘ〕，〔Ｐｙ〕にそれぞれ記憶した値）であり、つまり、露光開始時のオフセット量である。

そして、複数回の露光動作における最後の（前回の）時分割露光までの、Ｙ方向のぶれ補正量の累積加算値を記憶するメモリ〔Ｓｙ０〕に０を記憶する（ステップＳ５０５）。

一方、ステップＳ５０１においてｎ＝０でない場合には、水平転送電極φＨ２にＶＨ（１５Ｖ）のトランスファーパルスを印加することにより、撮像素子１の各画素（より詳しくは、各フォトダイオード３２）の電荷を水平転送ＣＣＤ３３に読み出す（ステップＳ５０７）。このステップＳ５０７の次に示した点線の矢印は、図１３のＪ１０４に分岐して、フォトダイオード３２に蓄積された電荷の読み出し完了と同時に次の露光が自動的にスタートすることを意味している。

続いて、ステップＳ５０７で読み出した画像を、−Ｓｘ（＝−（Ｐｘ−Ｐｘ０））の画素数だけ水平（Ｘ）方向へ転送する（図３参照）（ステップＳ５０８）。ここで（Ｐｘ−Ｐｘ０）は最初の露光開始直後からの（つまり、オフセット分を取り除いた）Ｘ方向のぶれ量である。また、転送画素数を示す式にマイナスの記号を付したのは、ぶれと反対方向へ画素電荷を移動することにより、新たな読み出し画素電荷を、それまでの加算された画素電荷側へ接近させるためである（図３等参照）。

さらに、前回までの加算画像を、Ｓｙ（＝（Ｐｙ−Ｐｙ０）−Ｓｙ０）の画素数だけ垂直（Ｙ）方向へ転送する（図３参照）（ステップＳ５０９）。ここで（Ｐｙ−Ｐｙ０）は最初の露光開始直後からの（つまり、オフセット分を取り除いた）Ｙ方向のぶれ量であり、Ｓｙ０は最初の露光開始直後から前回の時分割露光までに行われたＹ方向のぶれ補正量（累積ぶれ補正量）である。従って、このステップＳ５０９においては、最初の露光開始直後からの今回の時分割露光までのＹ方向のぶれ量と、前回の時分割露光までに実際に補正したぶれ量と、の差分をとったものを、今回の時分割露光に係る補正量としていることになる。このような演算を採用することにより、前後に連続する２回の露光動作の内の、前の画像のぶれ量を基準にして後の画像のぶれ量を求めて補正するのに比して、演算誤差が累積するのを防止することができる。上述したように、ステップＳ４０６の演算においては、画素数単位への四捨五入を行っているために、このステップＳ５０９に示したような処理を採用することは有効である。

なお、ここで説明している処理においては、最初の時分割露光に係る画像、そして、この画像に順次加算される加算画像は、原則的に、同一の垂直転送ＣＣＤ３４から移動することがない（水平転送ＣＣＤ３３に移動することがなく、他の垂直転送ＣＣＤ３４に移動することもない）ために、上述したステップＳ５０８においては、ステップＳ５０９で説明したようなＳｙ０に相当する前回分までの累積ぶれ補正量（例えば、Ｓｘ０）を算出する必要がない。

これらステップＳ５０８，Ｓ５０９の処理は、１画素分の整数倍のずれを補正して２つの画像を加算する処理である。しかし、単板式のカラー撮像素子、つまり撮像面の前面にモザイク状のカラーフィルタを配置した撮像素子の場合には、さらに、色信号の混合が発生しないように工夫しなければならない。例えば、ベイヤー配列のカラーフィルタでは、２×２のカラーフィルタを単位とするモザイク状フィルタが繰り返し配列されているために、奇数画素分のぶれを補正して加算すると異なる色の信号が加算されてしまい、正常な色を再現することができなくなる。従って、このような課題を解決するためには、カラーフィルタの水平方向の最小繰り返し周期および垂直方向の最小繰り返し周期（ベイヤー配列の場合はそれぞれ２画素）を最小単位として画像を転送（またはシフト）することにより、ぶれを補正するようにすれば良い。今、ベイヤー配列を例にとると、垂直方向のぶれ補正量を２・「Ｓｙ／２」、水平方向のぶれ補正量を２・「Ｓｘ／２」、とそれぞれすれば良い。ここに、Ｓｘ，Ｓｙは、上述したステップＳ５０８，Ｓ５０９において求めた値である。

次に、垂直転送ＣＣＤ３４に記憶した画像と、水平転送ＣＣＤ３３に記憶した画像と、を転送電極φＨ０（または転送電極φＶ０）下（つまり、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４とが交差する位置）に転送することにより、２つの画像を加算する（ステップＳ５１０）。

続いて、加算した電荷を、同一画素内の電荷保持部である垂直転送電極φＶ２下に転送して記憶する（ステップＳ５１１）。このようにするのは、上述したように、転送電極φＶ０は水平転送電極φＨ０と兼用しているために、加算した電荷が水平転送ＣＣＤ３３内の電荷と干渉することのないようにするためである。

そして、上記転送量Ｓｙと前回の転送量Ｓｙ０とを加算してメモリ〔Ｓｙ０〕に記憶することにより上記加算した値を新たにＳｙ０とする（ステップＳ５１２）。これにより、メモリ〔Ｓｙ０〕には、最後の（前回の）時分割露光までのＹ方向の転送量の累積加算値が記憶されることになる。

このステップＳ５１２、または上述したステップＳ５０５の処理を終えたところで、この画素値合成のサブルーチンから図１３に示したメインルーチンへリターンする。

なお、図２２に示したステップＳ５０３においては、１回目の時分割露光に係る画素の電荷を垂直転送ＣＣＤ３４に読み出すようにしているが、これに代えて、画素の電荷を水平転送ＣＣＤ３３にまず読み出して、その後に、この読み出した電荷を同一画素内の垂直転送ＣＣＤ３４の垂直転送電極φＶ２下へ転送して一時的に記憶するようにしても構わない。このような処理を行うようにしても、２回目の時分割露光以降は、上述したのと同一の動作を行うことができる。従って、図６に示した構成においては、フォトダイオード３２の電荷を読み出し可能な電極としてφＨ２およびφＶ２の２つが設けられていたが、これに限るものではなく、φＨ２またはφＶ２の何れか一方の電極のみがフォトダイオード３２の電荷を読み出し可能な電極となるように構成されていても構わない。

また、図２２に示した例では、２つの画像の内の前回撮影した画像を垂直転送ＣＣＤ３４に記憶し、今回撮影した画像を水平転送ＣＣＤ３３に記憶して相互に所定量ずらすことにより加算して、ぶれの補正された画像を生成するようにしたが、水平転送ＣＣＤ３３と垂直転送ＣＣＤ３４との役割を入れ替えて、２つの画像の内の前回撮影した画像を水平転送ＣＣＤ３３に記憶し、今回撮影した画像を垂直転送ＣＣＤ３４に記憶するようにしても勿論構わない。

図１３の説明に戻って、ステップＳ１０９における画素値合成のサブルーチンからリターンすると、次に、既に行われた時分割撮影の回数ｎを記憶するメモリ〔ｎ〕にｎ＋１を記憶する（ステップＳ１１０）。

そして、既に行われた時分割撮影の回数ｎが、設定された時分割撮影の回数ｍに等しいか否かを判定する（ステップＳ１１１）。

ここで、まだｎ＝ｍになっていない場合には、Ｊ１０３に分岐して、時分割露光の処理と画素値合成の処理とを上述したように繰り返して行う。

また、ステップＳ１１１においてｎ＝ｍであると判定された場合には、垂直転送ＣＣＤ３４内の画像信号を、水平転送ＣＣＤ４２およびアンプ４３（図１２参照）を介して、この撮像素子１の外部へ読み出す（ステップＳ１１２）。

次に、撮像素子１から読み出した画像信号を、ＣＤＳ２により処理し、ゲインコントロールアンプ（ＡＭＰ）３により増幅した後に、Ａ／Ｄ変換器４によりデジタル信号に変換する（ステップＳ１１３）。

続いて、画像信号をデジタル化して得られた画像データに、情報処理部８により所定の信号処理を施す（ステップＳ１１４）。

この情報処理部８は、上述したように、撮像素子１から出力された画像データの中から、ぶれ補正が有効に行われたとみなされる領域の画像を抽出するための有効領域抽出部としての機能も有する。次に、この有効領域抽出部の動作について説明する。

図３３は、時分割画像の位置とぶれを補正した合成画像の位置との関係を示す図である。この図３３を参照して、有効領域抽出部の動作について説明する。

今、ぶれを許容可能な露光時間で画像（以下「時分割画像」とする）Ａを撮影して、図６に示したような垂直転送ＣＣＤ３４に一時的に記憶したとする。

次に、時分割画像Ｂを撮影して、図６に示したような水平転送ＣＣＤ３３に記憶したとする。なお、この図３３における時分割画像Ａ，Ｂの相対的なずれは、画像のぶれを示している。

続いて、時分割画像Ａが、垂直転送ＣＣＤ３４により、時分割画像Ｂと長辺部の端面が重なるように垂直方向に転送される。

さらに、時分割画像Ｂが、水平転送ＣＣＤ３３により、時分割画像Ａと短辺部の端面が重なるように水平方向に転送される。

その後、垂直方向および水平方向に相対的な位置が補正された時分割画像Ａ，Ｂは、合成（加算）されて、垂直転送ＣＣＤ３４に記憶される。以下では、この合成画像を、合成画像Ａ＋Ｂと呼ぶことにする。

次に、時分割画像Ｃが撮影されて、水平転送ＣＣＤ３３に記憶される。そして、上述したような時分割画像Ａ，Ｂのぶれ補正と同様にして、上記合成画像Ａ＋Ｂと時分割画像Ｃとの相対的なぶれが補正された後に合成されて、合成画像Ａ＋Ｂ＋Ｃが生成される。

３枚の時分割撮影により撮影が終了する場合には、この合成画像Ａ＋Ｂ＋Ｃが撮像素子１から出力されることになる。

図３３から明らかなように、上記合成画像Ａ＋Ｂ＋Ｃにおける斜線を施した領域は、時分割画像Ａ，Ｂ，Ｃの内の少なくとも１つの時分割画像のデータが不足している領域である。すなわち、この斜線部は、ぶれが適正に補正されていないと見なすことができる。従って、合成画像Ａ＋Ｂ＋Ｃの中からぶれが適正に補正された有効領域（例えば、符号Ｄに示す領域）の画像を抽出する必要がある。

今、画面の水平（Ｘ）方向のぶれ量Ｓｘの正（０を含む）の最大値をＳｘ（ｍａｘ＋）、負（０を含む）の最大値をＳｘ（ｍａｘ−）とする。また、画面の垂直（Ｙ）方向のぶれ量Ｓｙ０の正（０を含む）の最大値をＳｙ０（ｍａｘ＋）、負（０を含む）の最大値をＳｙ０（ｍａｘ−）とする。このとき、合成画像Ａ＋Ｂ＋Ｃの左端からＳｘ（ｍａｘ＋）（ただし、図３３における画面右方向のぶれを正、画面左方向のぶれを負とする）、右端から−Ｓｘ（ｍａｘ−）、下端からＳｙ０（ｍａｘ＋）（ただし、図３３の画面上方向へのぶれを正、下方向へのぶれを負とする）、上端から−Ｓｙ０（ｍａｘ−）、の領域を除いた領域が、時分割撮影の回数に等しい数の画素が加算された領域（ぶれ補正が正常に行われた領域）になる。図３３に示した具体例においては、例えば合成画像Ｄがぶれが正常に補正された画像となる。

ところで、デジタルカメラを保持して撮影するときのぶれは、各画像を撮影する毎に異なるために、何らかの工夫を凝らさないと、合成画像Ｄの大きさが各画像毎に異なることになってしまう。しかし、これでは得られる画像に統一性がなくなってしまい、その後に画像処理等を行う上で都合が良くない。そこで、この点を解決するために、上述したような各最大値Ｓｘ（ｍａｘ＋），−Ｓｘ（ｍａｘ−），Ｓｙ０（ｍａｘ＋），−Ｓｙ０（ｍａｘ−）が全て等しい値をとると仮定して所定値αに設定し、合成画像Ｄをこの所定値αに基づいて抽出することにする。

すなわち、図３４に示すように、ぶれが正常に補正されたとみなされる領域（有効領域）の合成画像Ｄとして、合成画像Ａ＋Ｂ＋Ｃの中の予め決められた領域を設定するようにする。ここに、図３４は、合成画像と有効領域との関係を示す図である。このような、所定値αに基づく合成画像Ｄの決定を行うことにより、処理が簡単になる利点がある。

しかし、所定値αをあまり大きい値に設定すると、合成画像Ａ＋Ｂ＋Ｃの有効領域が狭くなってしまう。そこで、次に、この有効領域の大きさをどの程度に設定すれば良いかを概算してみる。

視力が１．０である人が、肉眼の２点を識別し得る視角（以下では、２点識別分解能という）はおよそ１分である。そして、画像のぶれの大きさがこの２点識別分解能を越えると、画像を観察する人にはぶれとして認識される。従って、上述したようなぶれ限界露光時間ＴLimit は、画像をモニタや印画紙に拡大して観察したときに、露光時間内における画像のぶれ量が２点識別分解能１分の視角に相当する大きさまたはそれ以下の大きさになるような露光時間ということになる。本実施形態に係るぶれ補正の技術は、この２点識別分解能に相当するぶれを生じるような露光時間で複数回時分割撮影を行い、この時分割撮影により得られた画像同士の相対的なぶれを補正した後に加算するものである。こうして、この技術により補正可能な最大ぶれ量は、時分割撮影回数の最大値をｍ（ｍａｘ）とすると、視角にしてｍ（ｍａｘ）×１分となる。

今、撮影した画像をキャビネサイズ（１６５［ｍｍ］×１２０［ｍｍ］）の印画紙にプリントして、プリントした印画紙を３０ｃｍの距離において観察する場合における、ｍ（ｍａｘ）×１´（記号「´」は分を表す）の視角により観察される印画紙上の長さΔＬは、
ΔＬ＝ｍ（ｍａｘ）×３００×２×３．１４×１´／３６０×６０´［ｍｍ］
のように計算される。

例えば、ｍ（ｍａｘ）を８とすると、ΔＬ＝０．７ｍｍとなる。実際のぶれ限界露光時間内のぶれ量には個人差があることから、幾らかの余裕を見込めば、ΔＬは、印画紙の縦横の各全長に対しておよそ１％（上述したキャビネサイズの例では、１〜２［ｍｍ］程度）とすれば良いことになる。そして、画面の左右上下の端面のこのΔＬにより示される領域は、有効領域抽出部による抽出は行われないことになる。なお、ここではｍ（ｍａｘ）を８とした例について説明したが、より一般的には、時分割撮影回数の最大値ｍ（ｍａｘ）の大きさに応じて有効領域の大きさを決めれば良い。また、図３３，図３４は、分かり易くするためにぶれを極端に誇張して図示しており、有効領域がかなり狭いように見えるが、実際のぶれは極めて小さいために、有効領域を抽出しても、画像のサイズに殆ど影響を与えないことがわかる。

ただし、上述したように予め決められた有効領域Ｄを設定すると、撮影者によっては予想以上のぶれを生じる人もいる可能性があるために、この対策を講じることが望ましい。例えば、ぶれ量が大きいために、予め決められた有効領域Ｄの画像の一部を欠く（有効領域Ｄ内の少なくとも一部において規定の時分割撮影回数が満たされていない）と判定される場合は、その時点で時分割撮影を終了する。そして、規定の時分割撮影回数に満たない程度に応じて合成画像Ｄを増幅する。このとき、もしデジタルカメラがシャッタ優先撮影モードに設定されている場合には、実際の露光時間が、撮影者が設定した露光時間よりも短くなってしまうが、このようなケースは稀であろうし、規定数に満たない時分割撮影の回数もそれ程多くないであろうことから、実際にはほとんど問題になることはないと考えられる。

次に、上述した有効領域抽出部の動作について、図３５を参照して説明する。図３５は、有効領域の画像データを抽出する処理を示すフローチャートである。この図３５に示す処理は、図１３に示すステップＳ１１４において、必要に応じてコールされるサブルーチンとなっている。

情報処理部８の有効領域抽出部は、Ａ／Ｄ変換器４によってデジタル化された画像データ（図３４に示す画像Ａ＋Ｂ＋Ｃに対応）から予め決められた領域（図３４に示す有効領域Ｄ）の画像データを抽出する（ステップＳ１００１）。

次に、ＦＬＧ＝１であるか否かを判定する（ステップＳ１００２）。このフラグＦＬＧは、図１３の説明において既に述べているように、初期設定では「０」であり、時分割撮影の回数が規定値ｍに達しないときに「１」に設定されるものである。

ここで、ＦＬＧ＝１である場合には、情報処理部８の有効領域抽出部は、画像データをｍ／ｍ’倍にデジタル的に増幅する（ステップＳ１００３）。ここにｍ’は、実際の時分割撮影の回数である。

このステップＳ１００３の処理が終了するか、またはステップＳ１００２においてＦＬＧ＝１ではないと判定された場合（つまり、規定のｍ回の時分割撮影が行われた場合）（分岐Ｊ１００１）には、このサブルーチンから、図１３のステップＳ１１４にリターンして、情報処理部８におけるその他の必要な信号処理を行う。

なお、上述した図３５の処理においては、予め決められた有効領域の画像を撮像装置内部で抽出したが、必ずしもこれに限る必要はない。例えば、画像データの付属情報として、上述したようなＳｘ，Ｓｙ０（あるいはさらに、各時分割撮影時のＳｘおよびＳｙ等）を記録媒体１１に記憶しておき、この情報に基づいて、有効領域の画像を抽出する処理を別途のパーソナルコンピュータ等で行っても良い。

図１３のステップＳ１１４の処理が終了したら、次に、信号処理された画像データを、ＤＲＡＭ９に一時的に記憶する（ステップＳ１１５）。

その後、圧縮伸張部１０によりＤＲＡＭ９に記憶された画像データを画像圧縮し（ステップＳ１１６）、圧縮した画像データを記録媒体１１に記録して（ステップＳ１１７）、この処理を終了する。

なお、上述では、図１３のステップＳ１０２において説明したように、ぶれ限界露光時間ＴLimit として、数式１で示したような、撮影レンズの焦点距離ｆから一意的に定まる値を設定していた。しかし、数式１に示される値は、あくまでも経験則により得られた平均的な値である。これに対して、実際に単位時間に発生するぶれ量は、個人差、カメラの大きさ、あるいはカメラの形状等によってばらつくことになる。このようなばらつきに対応可能な技術の例（変形例）について、以下に説明する。

この変形例は、実際のぶれを補正する前にぶれ限界露光時間ＴLimit を実測して、上述したようなばらつきを考慮したより正確なぶれ補正を行うようにするものである。

すなわち、この変形例は、上述した図１３のステップＳ１０２の処理に代えて、ぶれ限界露光時間ＴLimit を実測により求める処理を行うようにしたものである。従って、全体の処理については、ステップＳ１０２を除く図１３の処理が適用されるものとして、説明を省略する。

ここに、ぶれ限界露光時間ＴLimit は、Ｘ方向のぶれ量が所定の許容し得るぶれ量（許容限界ぶれ量）αｘに達するまでの時間ＴLimit （ｘ）と、Ｙ方向のぶれ量が所定の許容限界ぶれ量αｙに達するまでの時間ＴLimit （ｙ）と、の内の長くない方（つまり、等しくない場合には、短い方となる。）の時間として設定されるようになっている。

ここで上記許容限界ぶれ量αｘ，αｙについて説明する。

今、画像を印画紙にプリントして観察する場合を考える。観察者の眼から印画紙までの距離をＫ、印画紙の対角長をＤp とし、画像のぶれ量が上記印画紙の対角線上で距離ΔＤp であったとする。もし、ΔＤp ／Ｋ［ラジアン］が観察者の肉眼の２点識別分解能Δφ以下、すなわち、
［数９］

であれば、ぶれは印画紙を観察している観察者の眼には知覚されない。

ところで、撮像素子の（有効撮像領域の）対角長をＤi 、撮像素子の撮像面上におけるぶれ量（上記ΔＤp に対応する長さ）をΔＤi とすると、印画紙の大きさに対する印画紙上のぶれ量の大きさと、撮像素子の大きさに対する撮像素子上のぶれ量の大きさと、は一致するから、次の数式１０が成り立つ。
［数１０］

従って、この数式１０に示す関係を用いて、数式９からΔＤp を消去すると、次の数式１１が得られる。
［数１１］

この数式１１から明らかなように、撮像素子上における許容ぶれ量となるΔＤi は、撮像素子のサイズ（Ｄi ）や画像の観察条件（Ｄp ，Ｋ）により一義的に決まる値である。この対角方向の許容ぶれ量の例と全く同様にして、撮像素子の撮像面上における、Ｘ方向の画像の許容ぶれ量ΔＸi と、Ｙ方向の画像の許容ぶれ量ΔＹi と、を求めることができる。

今、Ｘ方向の許容ぶれ量ΔＸi とＹ方向の許容ぶれ量ΔＹi とが等しく、ΔＸｉ＝ΔＹｉ＝γであるものとする。

なお、一般には、肉眼の２点識別分解能Δφはおよそ１分とされているが、この値は画像の種類やぶれの態様、さらに個人差によってもばらつくと思われるために、商品の達成目標に応じてΔφを適宜選べば良い。

次に、図２３および図２４を参照して、個人毎のぶれ限界露光時間ＴLimit を測定する変形例について説明する。まず、図２３は、ぶれ量演算の処理を示すフローチャートである。この図２３の説明において、上述した図２１と重複する部分については、詳細な説明を省略する。

なお、この図２３に示す処理は、第１レリーズスイッチ１８ａが閉じたときからＦＬＧ１が１になるまでの間、図１３等に示した処理とは独立なプロセスとして実行されるようになっている。

この処理を開始すると、まず、第１レリーズスイッチ１８ａが閉じるのを待機する（ステップＳ６０１）。

そして、第１レリーズスイッチ１８ａが閉じたこと（第１信号が発生したこと）が検出された場合には、次に、撮影レンズ１５の焦点距離ｆと、被写体距離Ｌと、を入力する（ステップＳ６０２）。これらの焦点距離ｆと被写体距離Ｌとは、この図２３に示すような処理の中において演算するようにしても良いが、上述と同様に、より高速なサイクルでぶれ量を演算するために、別途のプロセッサ等を用いて焦点距離ｆと被写体距離Ｌとを演算し、ＣＰＵ７はこの演算されたデータをステップＳ６０２において入力するようにすると良い。これにより、処理の高速化を図るとともに、リアルタイムへの高い追従性を図ることが可能となる。

続くステップＳ６０３〜Ｓ６０５の処理は、図２１に示したステップＳ４０３〜Ｓ４０５の処理と同様である。

その後、ステップＳ６０５において算出されたΔＸをメモリ〔ΔＸ〕に、ΔＹをメモリ〔ΔＹ〕に、それぞれ記憶する（ステップＳ６０６）。

そして、ＦＬＧ１が１であるか否かを判定する（ステップＳ６０７）。このＦＬＧ１は、図１３に示したような全体の処理が開始されたところで、予め０に初期設定されているものとする。そして、後で図２４を参照して説明するように、ぶれ限界露光時間ＴLimit の測定が終了した時点で、１に設定されるようになっている。

このステップＳ６０７において、ＦＬＧ１が１でない（０である）と判定された場合には、Ｊ６０１へ分岐して、上述したようなぶれ量の演算と累積加算値の演算とを繰り返して行う。

一方、ステップＳ６０７において、ＦＬＧ１が１であると判定された場合には、この処理を終了する。

次に、図２４は、ＴLimit の測定のサブルーチンを示すフローチャートである。この図２４に示すサブルーチンは、図１３のステップＳ１０２のＴLimit の演算の処理に代えて実行されるものとなっている。

この処理を開始すると、まず、ＣＰＵ７に内蔵される図示しないタイマカウンタをリセットする（ステップＳ７０１）。

次に、図２３に示した処理により演算されたΔＸ，ΔＹを、各対応するメモリ〔ΔＸ〕，〔ΔＹ〕から読み取り、読み取ったΔＸ，ΔＹの値を、メモリ〔ΔＸ（ｉｎｉ）〕、〔ΔＹ（ｉｎｉ）〕にそれぞれ新たに記憶する（ステップＳ７０２）。これらΔＸ（ｉｎｉ），ΔＹ（ｉｎｉ）は、ΔＸ，ΔＹの初期値である。

続いて、上記ΔＸ（ｉｎｉ）と新たにメモリから読み出したΔＸとの差の絶対値を求めて、これをメモリ〔ΔΔＸ〕に記憶する。同様にして、上記ΔＹ（ｉｎｉ）と新たにメモリから読み出したΔＹとの差の絶対値を求めて、これをメモリ〔ΔΔＹ〕に記憶する（ステップＳ７０３）。

そして、ΔΔＸ＜γ、かつΔΔＹ＜γであるか否かを判定する（ステップＳ７０４）。ここにγは、上述において数式９〜数式１１等を参照して説明したような、Ｘ方向とＹ方向とが等しいとしたときの許容ぶれ量γである。

ここでΔΔＸ＜γ、かつΔΔＹ＜γである場合には、Ｊ７０１に分岐して、上述したようなステップＳ７０３の処理を繰り返して行う。このような処理を行うことにより、上述したステップＳ７０１においてタイマカウンタをリセットした直後からのＸ方向のぶれ量ΔΔＸとＹ方向のぶれ量ΔΔＹとを求めることができる。

また、ステップＳ７０４において、ΔΔＸとΔΔＹとの少なくとも一方がγ未満でない（少なくとも一方が許容ぶれ量γ以上となった）場合には、メモリ〔ＴLimit 〕にタイマカウンタの情報を記憶する（ステップＳ７０５）。従って、このＴLimit は、ぶれ量が許容限界ぶれ量γに達するまでの時間、すなわちぶれ限界露光時間となる。

その後、メモリ〔ＦＬＧ１〕に１を記憶して（ステップＳ７０６）、この処理から図１３に示したような処理に復帰する。

また、他の変形例として、撮影者が実際に被写体の撮影を行う前に上記手ぶれを許容し得る露光時間ＴLimit を演算するためのテスト撮影を行い、このときの露光時のぶれ量に基づいてぶれ限界露光時間ＴLimit を演算して登録しておき（ＥＥＰＲＯＭ２４等に記憶しておき）、実際の撮影において、ＥＥＰＲＯＭ２４等からこのぶれ限界露光時間ＴLimit を読み出して利用するようにしても良い。また、複数のぶれ限界露光時間ＴLimit を上述したように求めてその平均値を登録するようにしても良い。このようにすると、撮影の都度にぶれ限界露光時間ＴLimit を求める必要がなくなるとともに、より正確なＴLimit を求めることが可能となる。このとき、同一のデジタルカメラ等を複数の撮影者が使用することも考えられるが、ぶれ量は、各撮影者の熟練によっても異なる。そこで、撮影者毎にぶれ量を予め測定して登録し、使用時に撮影者の設定を呼び出して使用するようにすると良い。

加えて、更なる他の変形例として、実際のぶれ補正における露光期間（ＴExp ）内におけるＸ方向のぶれ量とＹ方向のぶれ量との何れか小さくない方（つまり、等しくない場合には、大きい方）のぶれ量ＬBLURを記録しておき、
ＴLimit ＝ＴExp ・γ／ＬBLUR
によりＴLimit を求めるようにしても良い。ただし、γは、上述したような許容ぶれ量である。

上述した撮像素子１は、図６の構成からもわかるように、フォトダイオード３２毎に垂直転送電極と水平転送電極とを有しているために、フォトダイオード３２の占める面積が狭くなって感度が低下することが考えられる。この点を改善するために、撮像素子として、公知の光導電膜積層型の固体撮像素子を用いるようにすると良い。この光導電膜積層型の固体撮像素子は、光電変換機能と走査−読み出し機能とをそれぞれ別の平面で行うことができるようにした三次元構造をもつ固体撮像素子であり、通常のＩＣ技術で走査部だけを集積したシリコン（Ｓｉ）基板上に、均質な光導電膜を積層し、そこで光電変換を行わせるものである。このような構成を採用すれば、フォトダイオードの感度を高めることが可能となる。

このような実施形態１によれば、デジタルカメラにぶれが発生し得るときには、そのぶれ量に応じて露光時間を時分割し、時分割して得られた複数の画像信号に対してぶれを補正し、この補正された各画像信号を撮像素子内部で高速にアナログ加算するようにしたために、ぶれを補正するための複雑なメカニカル機構や撮像素子外部の電気回路等が不要になるとともに、幅広いシャッタスピードに対応可能なぶれを実質的に無視し得る高画質の画像を得ることができる。また、ぶれが補正された合成画像の中から、時分割撮影によって撮影された全ての画像が共有するとみなされる有効領域の画像を抽出するようにしたために、ぶれの補正された高画質の画像を簡単に得ることができる。

このとき、連続して撮影された時分割画像を垂直転送レジスタと水平転送レジスタとに記憶し、その後に、これら垂直転送レジスタと水平転送レジスタとを用いて転送することによりぶれ補正を行うようにしているために、連続して撮影された時分割画像の位置調整を、極めて高速に行うことが可能となる。

そして、垂直転送レジスタおよび水平転送レジスタに、各々、１つの画素に対して４相の駆動パルスが印加される４つの転送電極を設けたために、垂直転送レジスタに記憶された電荷と水平転送レジスタに記憶された電荷とを混交させることなく、転送することが可能となる。

さらに、垂直方向または水平方向における画素電荷をシフトしてぶれ補正するためのぶれ補正量として、最初の時分割露光を開始した直後から今回の時分割露光までのぶれ量から、最初の時分割露光時から前回の時分割露光時までのぶれ補正量（転送量）の累積加算値を減算したものを用いるようにしたために、演算誤差が累積するのを防止して、正確なぶれ補正を行うことが可能となる。

また、被写体が低輝度であるときには、絞り開口の大きさをより大きくするように設定し、ぶれ量が許容限界に達する露光時間での撮像素子の電荷蓄積量をなるべく大きくするようにしたために、ぶれを実質的に無視し得る、かつＳ／Ｎの良好な画像を得ることが可能となる。

このとき、絞り開口の大きさを調整するだけではぶれが発生する可能性がある場合には、さらにＩＳＯ感度も調整するようにしたために、より広い範囲の被写体の明るさに対応してぶれ補正を行うことが可能となる。

そして、本実施形態で説明した技術は、露光時間中に撮像面に入射する被写体光の位置が変化するぶれに対応可能なぶれ補正の技術であるために、特に、静止画撮影におけるぶれ補正に適したものとなる。

加えて、上述した技術は、ぶれ補正を撮像素子において行う技術であるために、この技術をレンズ交換式のデジタルカメラのカメラ本体側に適用すれば、ぶれ補正機能を備えない従来の撮影レンズと組み合わせたときにも、ぶれ補正を行うことができる利点がある。

また、デジタルカメラが制御不能な露出値の場合は警告表示を行い、何れの撮影モードにおいても手ぶれ防止を行うとともに、演算された露光時間が手ぶれが発生する可能性がある露光時間（の閾値）よりも長いときには、予め警告表示をして、手ぶれ防止を優先する撮影モードに設定し撮影を行うようにしたために、撮影者に誤解を与えることなく確実に手ぶれ防止を行うことができる。

また、撮影モードがシャッタ優先撮影モード、絞り優先撮影モードなどの何れであるかによらず、各撮影モードによる露出制御を最大限優先した適正な露光量制御を行ないつつ、撮像素子内部で電子的にぶれを補正することができ、ぶれを実質的に無視し得る画像を得ることが可能となる。

［実施形態２］
図２５から図３１は本発明の実施形態２を示したものである。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。

実施形態１において、図６等を参照して説明したような構成の撮像素子１は、従来のインターライン・フレーム転送型ＣＣＤ撮像素子の撮像部に大幅な変更を加える必要がある。しかし、従来のインターライン・フレーム転送型ＣＣＤ撮像素子は、長年の技術蓄積の成果として、様々な改良が行われて現在の優れた性能を持つに至ったものである。また、従来のインターライン・フレーム転送型ＣＣＤ撮像素子は、垂直転送電極の構成を工夫して画素加算を行うなど、機能面でも様々な改良が行われている。従って、撮像部に大幅な改良を加えることは、新たな技術課題の解決に時間を要する可能性があるとともに、これまでの長年の技術をそのまま継承する妨げにもなり兼ねない。

そこで、本実施形態は、上記したような課題を解決するべく、撮像部については従来型のインターライン・トランスファー型ＣＣＤ撮像素子の構成をそのまま採用して、蓄積部のみを改良したものとなっていて、フレーム・インターライン・トランスファー型の撮像素子を応用した例である。

本実施形態に係るデジタルカメラ全体の構成は、図１に示したものと基本的に同様であり、デジタルカメラ全体の動作についても、図１３に示したものと基本的に同様である。ただし、固体撮像素子１の構成が異なって後で図２５を参照して説明するようになり、それに応じて、図１３に示した処理の内の、ステップＳ１０９における画素値合成の処理の内容が異なっている。従って、本実施形態においては、撮像素子１の構成と、画素値合成の動作とを主として説明し、その他の部分については詳細な説明を適宜省略する。

まず、図２５は、固体撮像素子１全体の構成の概略を示す図である。

この撮像素子１は、図２５に示すように、撮像部４１Ｂと、補正／加算部４０と、水平転送部４２Ｂと、を有している。

撮像部４１Ｂは、撮影レンズ１５により結像された光学像を電気信号に変換する光電変換部である。すなわち、撮像部４１Ｂは、複数の（実質的には、多数の）フォトダイオード（ＰＤ）３２（図２６参照）がマトリクス状に配列されていて、このフォトダイオード３２の各列に隣接して列方向に配置された垂直転送ＣＣＤでなる垂直転送部３５を備えている。この垂直転送部３５は、各フォトダイオード３２で光電変換し蓄積した電荷を、次に述べる補正／加算部４０（＝レジスタ部）へ転送するための電荷転送部であり第１転送部である。

補正／加算部４０は、撮像部４１Ｂに隣接して配設されており、この撮像部４１Ｂから転送される複数の時分割画像の相対的なぶれを補正して、補正した時分割画像同士を加算し、加算した画像を記憶する加算部、ぶれ補正部、レジスタ部となっている。この補正／加算部４０の構成については、後で図２６を参照してより詳細に説明する。

水平転送部４２Ｂは、補正／加算部４０でぶれが補正された画像を撮像素子１の外部へ読み出すための読出部、転送部（第２転送部）である。

この水平転送部４２Ｂから読み出された信号は、アンプ４３によりアナログ増幅されるようになっている。

この図２５に示すような構成から明らかなように、本実施形態の撮像素子１は、フレーム・インターライン・トランスファー方式（ＦＩＴ方式）を応用したものとなっており、撮像部４１Ｂは、後で図２６にも示すように、インターライン・トランスファー方式で構成されている。

次に、図２６は、固体撮像素子１の撮像部４１Ｂと補正／加算部４０との構成を拡大して示す図である。

なお、ＩφＶ０〜ＩφＶ３，ＳφＨ０〜ＳφＨ３，Ｓ１φＶ０〜Ｓ１φＶ３，Ｓ２φＶ０〜Ｓ２φＶ３は、後述するように電荷転送用の駆動パルスを示すものであるが、例えば「転送電極ＩφＶ０」なる記載は、「駆動パルスＩφＶ０を印加する電極」を意味するものとする。

撮像部４１Ｂは、マトリクス状に配列された複数のフォトダイオード（ＰＤ）３２と、これらのフォトダイオード３２により光電変換され蓄積された電荷を補正／加算部４０へ転送するための垂直転送部３５と、を備えている。ここに、垂直転送部３５は、転送パルスを印加するための垂直転送電極ＩφＶ０〜ＩφＶ３を含んで構成されている。

また、撮像部４１Ｂの１画素３１は、１つのフォトダイオード３２と、２つの垂直転送電極と、を含んで構成されている。このとき、１画素３１には２つのタイプがあり、１つめはフォトダイオード３２と垂直転送電極ＩφＶ０，ＩφＶ１を含むもの、２つめはフォトダイオード３２と垂直転送電極ＩφＶ２，ＩφＶ３を含むものである。そして、この１画素３１は、水平方向（Ｘ方向）のサイズがＬｘ、垂直方向（Ｙ方向）のサイズがＬｙであるものとする。

また、補正／加算部４０は、Ｘ方向転送部３３Ｂと、Ｙ方向転送部３４Ｂと、分割画像転送部３６と、を含んで構成されている。

分割画像転送部３６は、フォトダイオード３２で蓄積された電荷を補正／加算部４０へ転送する転送部であり、撮像部４１Ｂの垂直転送部３５と連続するように垂直方向に配列された垂直転送電極Ｓ１φＶ０〜Ｓ１φＶ３を含んで構成されている。これらの垂直転送電極Ｓ１φＶ０〜Ｓ１φＶ３は、撮像部４１Ｂから転送された電荷を補正／加算部４０へ転送するパルスを印加するための電極である。

Ｘ方向転送部３３Ｂは、分割画像転送部３６により転送されてきた電荷を水平方向へ転送する転送部（第１転送レジスタ）であり、上述した分割画像転送部３６と交差するように水平方向に配列された水平転送電極ＳφＨ０〜ＳφＨ３を含んで構成されている。これらの水平転送電極ＳφＨ０〜ＳφＨ３は、上述した垂直転送電極Ｓ１φＶ０〜Ｓ１φＶ３の内の電極Ｓ１φＶ０と電極Ｓ１φＶ２との下に転送された電荷を、デジタルカメラのＸ方向のぶれに応じた量だけ水平方向へ転送する転送パルスを印加するための電極である。

Ｙ方向転送部３４Ｂは、時分割露光による複数の電荷を加算してこの加算した電荷を垂直方向へ転送する転送部（第２転送レジスタ）であり、上述した分割画像転送部３６の垂直方向の各配列に隣接してＸ方向転送部３３Ｂと交差するように垂直方向に配列された垂直転送電極Ｓ２φＶ０〜Ｓ２φＶ３を含んで構成されている。これらの垂直転送電極Ｓ２φＶ０〜Ｓ２φＶ３は、ぶれが補正された複数の時分割画像を加算して得られる画像を記憶するとともに、この加算された画像をデジタルカメラのＹ方向のぶれに応じた量だけ垂直方向へ転送する転送パルスを印加するための電極である。

なお、上述したような各電極の内、電極ＳφＨ２と、電極Ｓ１φＶ０または電極Ｓ１φＶ２と、は共通である。さらに、電極ＳφＨ０と電極Ｓ２φＶ０とは共通である。

また、上述した各電極は、多結晶シリコンから構成されており、隣接する電極同士は層間絶縁層を介して配置されている。そして、隣接する電極同士は、撮像面に垂直な方向から見たときに、端面同士が一部重なるように配設されている。この図２６において、電極の破線で示されている端面は、該電極の端面部分が他方の電極の下部に配置されていることを意味している。

そして、同一の駆動パルスを印加する電極同士は、コンタクト部を介して所定の配線層により相互に接続されている。ただし、この図２６においては、電極の配置を明瞭にするために、電極同士の配線については図示を省略している。

この補正／加算部４０は、撮像部４１Ｂの１画素３１に各対応して、図２６において一点鎖線で囲んだ範囲に示すような１単位のレジスタ３７を、複数備えている（なお、本実施形態の撮像素子１は、後述するように、動画撮影に適したフィールド読み出しを行うことができるとともに、静止画撮影に適した全画素読み出しも行うことができるようになっている。これらの内のフィールド読み出しを行う場合には、補正／加算部４０に設けられた全てのレジスタ３７の内の半分（水平方向の数は同一であるが、垂直方向の数が半分）の数のレジスタ３７を用いることになる。一方、全画素読み出しを行う場合には、補正／加算部４０に設けられた全てのレジスタ３７を用いることになる。）。

このレジスタ３７にも、２つのタイプの電極構成が存在している。

まず、第１のレジスタ３７は、電極ＳφＨ０，ＳφＨ３,ＳφＨ２，ＳφＨ１と、電極Ｓ１φＶ０，Ｓ１φＶ１と、電極Ｓ２φＶ０〜Ｓ２φＶ３と、を含む電極群である。これらの中には、上述したように、共通する電極が２カ所あるために、この第１のレジスタ３７に含まれる電極の数は８である。

また、第２のレジスタ３７は、電極ＳφＨ０，ＳφＨ３,ＳφＨ２，ＳφＨ１と、電極Ｓ１φＶ２，Ｓ１φＶ３と、電極Ｓ２φＶ０〜Ｓ２φＶ３と、を含む電極群である。これらの中にも共通する電極が２カ所あるために、この第２のレジスタ３７に含まれる電極の数も８である。

従って、Ｘ方向転送部３３Ｂを構成する水平転送電極ＳφＨ０〜ＳφＨ３と、Ｙ方向転送部３４Ｂを構成する垂直転送電極Ｓ２φＶ０〜Ｓ２φＶ３とは、第１のレジスタ３７と第２のレジスタ３７との何れにおいても、全ての種類の電極が１つずつ配置されていることになる。これは、ぶれに応じて電荷を転送するときに、水平転送電極ＳφＨ０〜ＳφＨ３下に記憶している電荷と、垂直転送電極Ｓ２φＶ０〜Ｓ２φＶ３下に記憶している電荷とが、相互に干渉しないようにするためである。

一方、分割画像転送部３６を構成する垂直転送電極Ｓ１φＶ０〜Ｓ１φＶ３は、加算する直前の電荷を記憶する機能を備える必要がない（この機能は、Ｘ方向転送部３３ＢとＹ方向転送部３４Ｂとが担っている）ために、１つのレジスタ３７内には２種類の電極しか配置されていない。従って、１つの第１のレジスタ３７と１つの第２のレジスタ３７とを組にしたときに、初めて分割画像転送部３６を構成する全ての種類の垂直転送電極Ｓ１φＶ０〜Ｓ１φＶ３が１つずつ揃うことになる。こうして、可能な範囲内で、電極の構成をなるべく簡単にするようにしている。

そして、Ｘ方向転送部３３Ｂの電極ＳφＨ１および電極ＳφＨ３の面積は、電極ＳφＨ０および電極ＳφＨ２の面積に比べて狭く、Ｙ方向転送部３４Ｂの電極Ｓ２φＶ１および電極Ｓ２φＶ３の面積は、電極Ｓ２φＶ０および電極Ｓ２φＶ２の面積に比べて狭くなっている。こうして、Ｘ方向転送部３３ＢとＹ方向転送部３４Ｂとは、相対的に広い面積の電極と相対的に狭い面積の電極とを交互に配置して構成された４相ＣＣＤとなっている。

このとき、Ｘ方向転送部３３Ｂの電極ＳφＨ１と電極ＳφＨ３とは電荷の転送にのみ用い、電荷の蓄積は電極ＳφＨ０と電極ＳφＨ２との下においてのみ行うようにしている。同様に、Ｙ方向転送部３４Ｂの電極Ｓ２φＶ１と電極Ｓ２φＶ３とは電荷の転送にのみ用い、電荷の蓄積は電極Ｓ２φＶ０と電極Ｓ２φＶ２との下においてのみに行うようにしている。

このような非均等な電極構成を採用することにより、Ｘ方向転送部３３ＢとＹ方向転送部３４Ｂとにおける電荷の蓄積容量を大きくすることが可能となるとともに、補正／加算部４０の面積を狭くして撮像素子の小型化を図ることが可能となる。また、基板面積を小さくすることは、製造時の撮像素子の歩留まりを向上させ、製造コストを下げることにも貢献する。

なお、Ｘ方向転送部３３Ｂの端部およびＹ方向転送部３４Ｂの端部の転送電極下のポテンシャル井戸の電荷があふれるのを防止するために、実施形態１で述べたような、電荷をドレインに排出する機構を設ける（図３２参照）。ただし、水平転送部４２Ｂに面した側については同様の排出機構を設けることができないために、ぶれ補正のための転送動作中に水平転送部４２Ｂに面した側の端部に転送されてきた電荷は、水平転送部４２Ｂを介して該水平転送部４２Ｂの出力部から排出するようにする。

このような構成において、補正／加算部４０から水平転送部４２Ｂへの画素電荷の読み出しは、２種類の経路により行い得るようになっている。すなわち、Ｙ方向転送部３４Ｂと、分割画像転送部３６とは、何れも、水平転送部４２Ｂへ接続されていて、画素電荷を該水平転送部４２Ｂへ転送することが可能となっている。従って、第１の経路は、Ｙ方向転送部３４Ｂを介して水平転送部４２Ｂから撮像素子１の外部へ読み出される経路、第２の経路は、分割画像転送部３６を介して水平転送部４２Ｂから撮像素子１の外部へ読み出される経路である。

第１の経路は、後述するような、時分割撮影され、ぶれ補正され、加算されてＹ方向転送部３４Ｂの垂直転送電極Ｓ２φＶ２下に蓄積された電荷、を転送する際に用いられる。

また、第２の経路は、通常の撮影を行い、その電荷を通常のフレーム・インターライン・トランスファー方式と同様にして分割画像転送部３６を介して転送する際に用いられる。後述するように、演算された露光時間がぶれ限界露光時間ＴLimit よりも短く通常の撮影（１回のみの露光）が行われるときや、動画撮影のためにフィールド読み出しをおこなうときなどには、この第２の経路が用いられる。

そして、既に述べているように、垂直転送電極（Ｓ１φＶ０〜Ｓ１φＶ３）が配置されていて、フォトダイオードＰＤで蓄積された電荷を補正／加算部４０に転送するための転送部を、分割画像転送部３６と呼ぶことにする。また、水平転送電極（ＳφＨ０〜ＳφＨ３）が配置されていて、分割画像転送部３６に蓄積された電荷を水平方向に転送する転送部を、Ｘ方向転送部３３Ｂと呼ぶことにする。さらに、垂直転送電極（Ｓ２φＶ０〜Ｓ２φＶ３）が配置されていて、時分割露光による複数の画像を加算して、この加算した電荷を垂直方向に転送する転送部を、Ｙ方向転送部３４Ｂと呼ぶことにする。

また、電荷を記憶して垂直方向へ転送するための垂直転送電極を含む垂直転送ＣＣＤを垂直転送レジスタと呼ぶ。また、電荷を記憶して水平方向へ転送するための水平転送電極を含む水平転送ＣＣＤを水平転送レジスタと呼ぶ。

次に、図２７は、撮像時における固体撮像素子１の基本的な動作を示すタイミングチャートである。

この図２７において、ＶＳＵＢは、フォトダイオード３２に蓄積された電荷を半導体基板（サブストレート）へ強制排出するための基板印加高電圧パルスである。また、φＶ，φＨは、図２６に示したような全ての転送電極を総称した記載である。

撮影動作を開始すると、所定のタイミングとなる時刻ｔ01から露光（電荷蓄積）開始時刻ｔ02までの間、ＶＳＵＢに高電圧のパルスを印加すると同時に、電極φＶ，φＨに高周波の転送パルスを印加する。すると、フォトダイオード３２に蓄積されている電荷と、各転送ＣＣＤに残っている電荷と、が全て排出される。

その後、露光動作開始の信号を受けると、時刻ｔ02のタイミングにおいてＶＳＵＢへの高電圧パルスの印加を停止することにより、受けた光の強度に応じた電荷がフォトダイオード３２に蓄積される。このフォトダイオード３２への電荷の蓄積は、時刻ｔ02から時刻ｔ03までの露光時間ＴExp において継続的に行われる。そして、この露光時間ＴExp をぶれが発生しないような時間間隔に時分割して、各時分割画像を繰り返しぶれ量に応じて転送し加算することにより、ぶれ補正が行われた露光時間ＴExp の１枚の画像データを得るようになっている。この露光時間ＴExp における撮像素子１の動作については、後で図２８および図２９を参照してより詳しく説明する。

時刻ｔ03において露光が終了すると、補正／加算部４０のＹ方向転送部３４Ｂの垂直転送電極Ｓ２φＶ２の下のポテンシャル（以下では、「ポテンシャル」を省略する。）に蓄積されているぶれの補正された画像が、水平転送部４２Ｂ（図２５参照）を介して、通常の読み出し速度で撮像素子１から読み出される。

次に、図２８は、固体撮像素子１の撮像部４１Ｂにより撮像された画像を補正／加算部４０へ転送する動作を示すタイミングチャートである。

なお、電極に印加される駆動パルスの電圧は、読み出し用のトランスファーパルスとなる高電圧ＶＨ（１５［Ｖ］）、電荷保持用の中電圧ＶＭ（０［Ｖ］）、異なる電極下に保持されている電荷同士の混在を防ぐポテンシャルバリアーを形成するための低電圧ＶＬ（−５［Ｖ］）の３値となっている。ただし、これらの３値の内、高電圧ＶＨが印加されるのは、ゲート電極を兼ねた電極ＩφＶ０，ＩφＶ２のみである。

今、複数回の時分割露光の内の１回の時分割露光が終了したとすると、時刻ｔ_1において電極ＩφＶ０および電極ＩφＶ２に高電圧ＶＨ（１５［Ｖ］）を印加する。このときには、電極ＩφＶ１，ＩφＶ３および電極Ｓ１φＶ０〜Ｓ１φＶ３は、全て低電圧ＶＬ（−５［Ｖ］）に設定されている。これにより、フォトダイオード３２に蓄積された電荷が、垂直転送部３５の電極ＩφＶ０，ＩφＶ２下へそれぞれシフトされる。シフトが行われたら、電極ＩφＶ０，ＩφＶ２への印加電圧は中電圧ＶＭ（０［Ｖ］）になり、読み出された電荷がこの電極φＨ２下において保持（蓄積）される。

電極ＩφＶ０，ＩφＶ２に印加される電圧が高電圧ＶＨ（１５［Ｖ］）から中電圧ＶＭ（０［Ｖ］）に変化すると同時に、フォトダイオード３２では次の撮影のための電荷の蓄積が開始される。すなわち、次の時分割撮影の開始である。

時刻ｔ_2では、電極ＩφＶ１が中電圧ＶＭとなって、電極ＩφＶ０〜ＩφＶ２が中電圧ＶＭであるために、時刻ｔ_1においてフォトダイオード３２からＩφＶ０，ＩφＶ２下にシフトした電荷は、電極ＩφＶ０〜ＩφＶ２下に拡散して混合する。従って、ここでは垂直に連続する２つの画素に係る電荷の混合が行われるが、これは、通常のフレームインターライン転送型ＣＣＤの動作と同様に、フィールド読み出しを行うためである。従って、次のフィールドにおいては、垂直に連続する２つの画素の組み合わせを異ならせて読み出すことになる。

時刻ｔ_3では、電極ＩφＶ０が低電圧ＶＬとなって、電極ＩφＶ１，ＩφＶ２が中電圧ＶＭであるために、時刻ｔ_2で電極ＩφＶ０〜ＩφＶ２下に蓄積されていた電荷は、電極ＩφＶ１，ＩφＶ２下に移動する。

時刻ｔ_4では、電極ＩφＶ３が中電圧ＶＭとなって、電極ＩφＶ１〜ＩφＶ３が中電圧ＶＭであるために、時刻ｔ_3で電極ＩφＶ１，ＩφＶ２下に蓄積された電荷は、電極ＩφＶ１〜ＩφＶ３の電極下に移動する。さらにこのとき、補正／加算部４０の電極Ｓ１φＶ０が中電圧ＶＭとなって、撮像部４１Ｂの最終段の画素に対応する電極ＩφＶ１〜ＩφＶ３下の電荷は、補正／加算部４０の最初の電極Ｓ１φＶ０下にも拡散する。

時刻ｔ_5では、電極ＩφＶ１が低電圧ＶＬとなって、電極ＩφＶ２，ＩφＶ３が中電圧ＶＭであるために、時刻ｔ_4で電極ＩφＶ１〜ＩφＶ３下に蓄積されていた電荷は、電極ＩφＶ２，ＩφＶ３下に移動する。また、撮像部４１Ｂの最終段の画素の電荷は、電極ＩφＶ２，ＩφＶ３および補正／加算部４０の最初の電極Ｓ１φＶ０下に移動する。

時刻ｔ_6では、電極ＩφＶ０が中電圧ＶＭとなって、電極ＩφＶ０，ＩφＶ２，ＩφＶ３が中電圧ＶＭであるために、時刻ｔ_5で電極ＩφＶ２，ＩφＶ３下に蓄積された電荷は、電極ＩφＶ０，ＩφＶ２，ＩφＶ３下に移動する。また、撮像部４１Ｂの最終段の画素の電荷は、電極ＩφＶ２，ＩφＶ３および補正／加算部４０の最初の電極Ｓ１φＶ０下に蓄積されたままである。

時刻ｔ_7では、電極ＩφＶ２が低電圧ＶＬとなって、電極ＩφＶ０，ＩφＶ３が中電圧ＶＭであるために、時刻ｔ_6で電極ＩφＶ０，ＩφＶ２，ＩφＶ３の電極下に蓄積されていた電荷は、電極ＩφＶ０，ＩφＶ３下に移動する。また、撮像部４１Ｂの最終段の画素の電荷は、電極ＩφＶ３および補正／加算部４０の最初の電極Ｓ１φＶ０下に移動する。

時刻ｔ_8では、電極ＩφＶ１が中電圧ＶＭとなって、電極ＩφＶ０，ＩφＶ１，ＩφＶ３が中電圧ＶＭであるために、時刻ｔ_7で電極ＩφＶ０，ＩφＶ３下に蓄積されていた電荷は、電極ＩφＶ０，ＩφＶ１，ＩφＶ３下に移動する。また、撮像部４１Ｂの最終段の画素の電荷は、電極ＩφＶ３および補正／加算部４０の最初の電極Ｓ１φＶ０下に蓄積されたままである。

時刻ｔ_9では、電極ＩφＶ３が低電圧ＶＬとなって、電極ＩφＶ０，ＩφＶ１が中電圧ＶＭであるために、時刻ｔ_8で電極ＩφＶ０，ＩφＶ１，ＩφＶ３下に蓄積されていた電荷は、電極ＩφＶ０，ＩφＶ１下に移動する。さらにこのとき、補正／加算部４０の電極Ｓ１φＶ１が中電圧ＶＭとなって、補正／加算部４０の電極Ｓ１φＶ０，Ｓ１φＶ１が中電圧ＶＭであるために、時刻ｔ_8で電極ＩφＶ３，Ｓ１φＶ０下に蓄積されていた電荷は、電極Ｓ１φＶ０，Ｓ１φＶ１下に移動する。

時刻ｔ_10 では、電極ＩφＶ２が中電圧ＶＭとなって、電極ＩφＶ０〜ＩφＶ２が中電圧ＶＭであるために、時刻ｔ_9で電極ＩφＶ０，ＩφＶ１下に蓄積されていた電荷は、電極ＩφＶ０〜ＩφＶ２下に移動する。さらにこのとき、補正／加算部４０の電極Ｓ１φＶ０が低電圧ＶＬとなり、電極Ｓ１φＶ２が中電圧ＶＭとなって、電極Ｓ１φＶ１，Ｓ１φＶ２が中電圧ＶＭであるために、時刻ｔ_9で電極Ｓ１φＶ０，Ｓ１φＶ１下に蓄積されていた電荷は、電極Ｓ１φＶ１，Ｓ１φＶ２下に移動する。

以上のような動作を繰り返すことにより、補正／加算部４０の電極Ｓ１φＶ０〜Ｓ１φＶ３下（図２６に示した分割画像転送部３６）には、フィールド蓄積モードで転送された電荷が蓄積される。

なお、撮像部４１Ｂから補正／加算部４０への画像転送が終了した時点では、補正／加算部４０においては、電極Ｓ１φＶ０，Ｓ１φＶ２が中電圧ＶＭで、その他の電極Ｓ１φＶ１，Ｓ１φＶ３は低電圧ＶＬとなっている。従って、電荷は、電極Ｓ１φＶ０および電極Ｓ１φＶ２下に蓄積されている。

また、この図２８においては、撮像素子１からフィールド読み出しを行う例について説明したが、本実施形態の撮像素子１は、各電極に印加するパルスを変更することにより、全画素読み出しを行うこともできるようになっている。ここに、全画素読み出しとは、撮像部４１Ｂに設けられた全てのフォトダイオード３２から垂直転送部３５へ画素電荷を一斉に転送し、その後に、上記時刻ｔ_2において説明したような２つの画素に係る電荷の混合（フィールド読み出しに係る電荷の混合）を行うことなく、各画素電荷を補正／加算部４０の分割画像転送部３６へ転送する読み出しのことである。この全画素読み出しを行った場合には、撮像部４１Ｂから補正／加算部４０への画像転送が終了した時点では、補正／加算部４０においては、電極Ｓ１φＶ０および電極Ｓ１φＶ２が中電圧ＶＭで、その他の電極Ｓ１φＶ１，Ｓ１φＶ３は低電圧ＶＬとなる。従って、電荷は、電極Ｓ１φＶ０，Ｓ１φＶ２下に蓄積されることになる。

次に、図２９は、補正／加算部４０において行われるぶれ補正動作と加算動作とを示すタイミングチャートである。

この撮像素子１の補正／加算部４０におけるぶれ補正動作および加算動作の概要は、次のようになっている。すなわち、補正／加算部４０は、Ｙ方向転送部３４Ｂに記憶されている前回までの加算画像を、垂直方向のぶれ量を補正するように、まずＹ方向転送部３４Ｂ内で垂直方向へ転送した後に、撮像部４１Ｂから補正／加算部４０へ転送されてＸ方向転送部３３Ｂに記憶されている最新の画像を、前回の撮像からの水平方向のぶれ量を補正するようにＸ方向転送部３３Ｂ内で水平方向へ転送し、その後に、最新の画像と加算画像とをＹ方向転送部３４Ｂの電極Ｓ２φＶ０〜Ｓ２φＶ２等の下で加算し、記憶するようにしたものとなっている。

なお、この図２９には、加算画像を紙面上方向へ１画素分シフトする例を示している。

時刻ｔ-1では、電極ＳφＨ２および電極Ｓ２φＶ２が中電圧ＶＭとなっていて、補正／加算部４０のＸ方向転送部３３Ｂにおける電極ＳφＨ２（電極Ｓ１φＶ０および電極Ｓ１φＶ２）下には最新の画像が、Ｙ方向転送部３４Ｂにおける電極Ｓ２φＶ２下には加算画像が、それぞれ記憶されている。これらの内の最新の画像に係る電荷は、後の時刻ｔ-9に至るまでは、電極ＳφＨ２下にそのまま保持（記憶）される。

時刻ｔ-2では、電極Ｓ２φＶ１が中電圧ＶＭとなって、電極Ｓ２φＶ１，Ｓ２φＶ２が中電圧ＶＭであるために、時刻ｔ-1で電極Ｓ２φＶ２下に記憶されていた画像（加算画像）は、電極Ｓ２φＶ１，Ｓ２φＶ２下に移動する。

時刻ｔ-3では、電極Ｓ２φＶ０が中電圧ＶＭとなって、電極Ｓ２φＶ０〜Ｓ２φＶ２が中電圧ＶＭであるために、時刻ｔ-2で電極Ｓ２φＶ１と電極Ｓ２φＶ２下に記憶されていた画像（加算画像）は、電極Ｓ２φＶ０〜Ｓ２φＶ２下に移動する。

時刻ｔ-4では、電極Ｓ２φＶ２が低電圧ＶＬとなって、電極Ｓ２φＶ０，Ｓ２φＶ１が中電圧ＶＭであるために、時刻ｔ-3で電極Ｓ２φＶ０〜Ｓ２φＶ２下に記憶されていた画像（加算画像）は、電極Ｓ２φＶ０，Ｓ２φＶ１下に移動する。

時刻ｔ-5では、電極Ｓ２φＶ３が中電圧ＶＭとなって、電極Ｓ２φＶ０，Ｓ２φＶ１，Ｓ２φＶ３が中電圧ＶＭであるために、時刻ｔ-4で電極Ｓ２φＶ０と電極Ｓ２φＶ１下に記憶されていた画像（加算画像）は、電極Ｓ２φＶ０，Ｓ２φＶ１，Ｓ２φＶ３下に移動する。

時刻ｔ-6では、電極Ｓ２φＶ１が低電圧ＶＬとなって、電極Ｓ２φＶ０，Ｓ２φＶ３が中電圧ＶＭであるために、時刻ｔ-5で電極Ｓ２φＶ０，Ｓ２φＶ１，Ｓ２φＶ３下に記憶されていた画像（加算画像）は、電極Ｓ２φＶ０，Ｓ２φＶ３下に移動する。

時刻ｔ-7では、電極Ｓ２φＶ２が中電圧ＶＭとなって、電極Ｓ２φＶ０，Ｓ２φＶ２，Ｓ２φＶ３が中電圧ＶＭであるために、時刻ｔ-6で電極Ｓ２φＶ０，Ｓ２φＶ３下に記憶されていた画像（加算画像）は、電極Ｓ２φＶ０，Ｓ２φＶ２，Ｓ２φＶ３下に移動する。

時刻ｔ-8では、電極Ｓ２φＶ０が低電圧ＶＬとなって、電極Ｓ２φＶ２，Ｓ２φＶ３が中電圧ＶＭであるために、時刻ｔ-7で電極Ｓ２φＶ０，Ｓ２φＶ２，Ｓ２φＶ３下に記憶されていた画像（加算画像）は、電極Ｓ２φＶ２，Ｓ２φＶ３下に移動する。

時刻ｔ-9では、電極Ｓ２φＶ３が低電圧ＶＬとなって、電極Ｓ２φＶ２が中電圧ＶＭであるために、時刻ｔ-8で電極Ｓ２φＶ２，Ｓ２φＶ３下に記憶されていた画像（加算画像）は、電極Ｓ２φＶ２下に移動する。

このような動作を行うことにより、Ｙ方向転送部３４Ｂに記憶されている加算画像が、図２６の紙面上方向へ１画素分シフトされたことになる。なお、複数画素分の移動を行う場合には、同様の動作を画素数分繰り返して行えば良い。そして、この電極Ｓ２φＶ２下の加算画像に係る電荷は、後の時刻ｔ-12 に至るまでは、そのまま保持（記憶）される。

こうして加算画像をＹ方向転送部３４Ｂを介して所定画素分だけ転送したところで、電極Ｓ２φＶ３が低電圧ＶＬになったことと同期して、Ｘ方向転送部３３Ｂの電極ＳφＨ３を中電圧ＶＭにする。

すると、時刻ｔ-10 では、電極ＳφＨ２，ＳφＨ３が中電圧ＶＭであるために、撮像部４１Ｂから補正／加算部４０へ転送され、時刻ｔ-9まで電極ＳφＨ２下に記憶されていた最新の画像は、電極ＳφＨ２，ＳφＨ３下に移動する。

時刻ｔ-11 では、電極ＳφＨ０が中電圧ＶＭとなって、電極ＳφＨ０，ＳφＨ２，ＳφＨ３が中電圧ＶＭであるために、時刻ｔ-10 で電極ＳφＨ２，ＳφＨ３下に記憶されていた画像は、電極ＳφＨ０，ＳφＨ２，ＳφＨ３下に移動する。

時刻ｔ-12 では、電極ＳφＨ２が低電圧ＶＬとなって、電極ＳφＨ０，ＳφＨ３が中電圧ＶＭであるために、時刻ｔ-11 で電極ＳφＨ０，ＳφＨ２，ＳφＨ３下に記憶されていた画像は、電極ＳφＨ０，ＳφＨ３下に移動する。

時刻ｔ-13 では、電極Ｓ２φＶ１が中電圧ＶＭとなって、電極ＳφＨ０（Ｓ２φＶ０），ＳφＨ３，Ｓ２φＶ１，Ｓ２φＶ２が中電圧ＶＭであるために、時刻ｔ-12 で電極ＳφＨ０，ＳφＨ３下に記憶されていた最新の画像に係る電荷と、電極Ｓ２φＶ２下に記憶されていた画像（加算画像）に係る電荷とは、電極ＳφＨ０（Ｓ２φＶ０），ＳφＨ３，Ｓ２φＶ１，Ｓ２φＶ２下に拡散される。従って、この時点で、最新の画像に係る電荷と、加算画像に係る電荷と、の混合が行われる。

時刻ｔ-14 では、電極ＳφＨ３が低電圧ＶＬとなって、電極ＳφＨ０（Ｓ２φＶ０），Ｓ２φＶ１，Ｓ２φＶ２が中電圧ＶＭであるために、時刻ｔ-13 で電極ＳφＨ０（Ｓ２φＶ０），ＳφＨ３，Ｓ２φＶ１，Ｓ２φＶ２下に記憶されていた画像は、電極ＳφＨ０（Ｓ２φＶ０），Ｓ２φＶ１，Ｓ２φＶ２下に移動する。

時刻ｔ-15 では、電極ＳφＨ０（Ｓ２φＶ０）が低電圧ＶＬとなって、電極Ｓ２φＶ１，Ｓ２φＶ２が中電圧ＶＭであるために、時刻ｔ-14 で電極ＳφＨ０（Ｓ２φＶ０），Ｓ２φＶ１，Ｓ２φＶ２下に記憶されていた画像は、電極Ｓ２φＶ１，Ｓ２φＶ２下に移動する。

時刻ｔ-16 では、電極Ｓ２φＶ１が低電圧ＶＬとなって、電極Ｓ２φＶ２が中電圧ＶＭであるために、時刻ｔ-15 で電極Ｓ２φＶ１，Ｓ２φＶ２下に記憶されていた画像は、電極Ｓ２φＶ２下に移動する。

このような動作を行うことにより、最新の画像と、前回までのぶれが補正されて加算された時分割画像（加算画像）とが、加算された状態で、Ｙ方向転送部３４Ｂの電極Ｓ２φＶ２下に記憶される。

なお、新たに加算した画像を時刻ｔ-16 で電極Ｓ２φＶ２下に記憶するようにしたのは、上述したように、次回の時分割画像をＸ方向転送部３３Ｂ（図２６）内で転送する際に、既に加算した画像と最新の画像とが相互に干渉しないようにするためである。

また、上述では、最新の画像をＸ方向転送部３３Ｂの電極ＳφＨ２から、同一レジスタ３７内の電極ＳφＨ０まで転送する動作についてのみ説明したが、同様の動作を繰り返して行うことにより、紙面左方向へ１画素分シフトすることが可能である。

そして、上述では、Ｙ方向のぶれ量が１画素分である例について示したが、より一般のぶれ量の場合には、そのぶれ量に応じた量だけＸ方向およびＹ方向へ上述したように転送すれば良い。このとき、Ｘ方向のぶれが、該Ｘ方向における正方向あるいは負方向の何れであっても、電極に印加するパルスの位相を制御することにより、自由にぶれ補正を行うことができる。これは、Ｙ方向のぶれについても全く同様である。

このような動作を行うことにより、Ｙ方向転送部３４Ｂに記憶されている加算画像が、図２６の紙面上方向へ１画素分シフトされたことになる。なお、複数画素分の移動を行う場合には、同様の動作を画素数分繰り返して行えば良い。そして、この電極Ｓ２φＶ２下の加算画像に係る電荷は、後の時刻ｔ-12 に至るまでは、そのまま保持（記憶）される。

こうして、撮像素子１の補正／加算部４０におけるＸ方向転送部３３ＢおよびＹ方向転送部３４Ｂの電極を、１画素相当分当たり４つ設ける（ただし、交差位置の電極（ＳφＨ０，Ｓ２φＶ０）は共通である）ことにより、ぶれを補正するためにぶれ量に応じた任意の量の転送を行う際に、Ｘ方向転送部３３Ｂ内の新たな画像に係る電荷と、Ｙ方向転送部３４Ｂの加算画像に係る電荷と、が相互に干渉することのないようにしている。

なお、図２８のタイミングチャートを参照して説明したようなフィールド読み出し、つまり垂直転送部３５の中で奇数行の信号電荷と偶数行との信号電荷とを混合する読み出しを行う場合には、図２６に示したＹ方向転送部３４Ｂの１つの電極Ｓ２φＶ２下に記憶される画像データは、撮像部４１Ｂの画素の内、水平方向１×垂直方向２画素（つまり、垂直方向に連続する２画素）分に対応している。

これに対して、上述したような全画素読み出しを行う場合には、図２６に示したＹ方向転送部３４Ｂの１つの電極Ｓ２φＶ２下に記憶される画像データは、撮像部４１Ｂの画素の内、水平方向１×垂直方向１画素（つまり、１画素）分に対応している。

従って、Ｙ方向のぶれ量ΔＹからＹ方向の画素の転送量Ｐｙを求める場合に、フィールド読み出しではＰｙ＝「ΔＹ／（２・Ｌｙ）」となり、全画素読み出しではＰｙ＝「ΔＹ／Ｌｙ」となる。

図３０は、ＣＰＵ７により移動量ΔＸ，ΔＹ等を算出する処理の流れを示すフローチャートであって、このような読み出し方式に応じて、Ｙ方向の画素の転送量Ｐｙを求める場合を示している。この図３０において、図２１と同様である部分については、適宜説明を省略する。

まず、図３０におけるステップＳ８０１〜Ｓ８０５の処理は、図２１におけるステップＳ４０１〜Ｓ４０５の処理と同様である。

そして、ステップＳ８０５の処理を行った後に、撮像素子１からの読み出しがフィールド読み出しに設定されているか否かを判定する（ステップＳ８０６）。

ここで、フィールド読み出しに設定されている場合には、Ｐｘ＝「ΔＸ／Ｌｘ」と、Ｐｙ＝「ΔＹ／（２・Ｌｙ）」と、を演算する（ステップＳ８０７）。

一方、ステップＳ８０６において、フィールド読み出しでないと判定された場合、すなわち、全画素読み出しであると判定された場合には、Ｐｘ＝「ΔＸ／Ｌｘ」と、Ｐｙ＝「ΔＹ／Ｌｙ」と、を演算する（ステップＳ８０８）。

その後のステップＳ８０９，Ｓ８１０の処理は、図２１のステップＳ４０７，Ｓ４０８の処理と同様である。

続いて、図３１は、画素値合成のサブルーチンを示すフローチャートである。この図３１に示す画素値合成のサブルーチンは、上述した実施形態１と同様に、図１３に示した処理におけるステップＳ１０９において実行されるようになっている。

すなわち、図１３のステップＳ１０９においてこの処理が開始されると、まず、撮像部４１Ｂにおいてフォトダイオード３２の電荷を垂直転送部３５へシフトし、さらに補正／加算部４０の分割画像転送部３６へ転送する（ステップＳ９０１）。なお、フォトダイオード３２は、画素電荷を垂直転送部３５へシフトした直後から、次の時分割露光を開始する。

次に、前回撮影した画像を垂直方向（Ｙ方向）へ転送する転送量（上述したように、補正／加算部４０における画素数に換算した転送量）Ｓｙ（＝（Ｐｙ−Ｓｙ０））を演算する（ステップＳ９０２）。ここに、Ｐｙは、最初の露光開始直後からのＹ方向のぶれ量であり、Ｓｙ０は最初の時分割露光を開始した直後から前回の時分割露光までに行われたＹ方向のぶれ補正量（累積ぶれ補正量）である。従って、このステップＳ９０２においては、最初の時分割露光を開始した直後から今回の時分割露光までのＹ方向のぶれ量と、前回の時分割露光までに実際に補正したぶれ量と、の差分をとったものを、今回の時分割露光に係る補正量としていることになる。このような手段を用いることにより、前後に連続する２回の露光動作の内の、前の画像のぶれ量を基準にして後の画像のぶれ量を求めて補正するのに比して、演算誤差が累積するのを防止することができる。上述したように、ステップＳ８０７またはステップＳ８０８の演算においては、画素数単位への四捨五入を行っているために、このステップＳ９０２に示したような処理を採用することは有効である。

続いて、同様に、今回撮影した最新の画像を水平方向（Ｘ方向）へ転送する転送量（上述したように、補正／加算部４０における画素数に換算した転送量）−Ｓｘ（＝−Ｐｘ）を演算する（ステップＳ９０３）。ここでＰｘは上述したように最初の時分割露光を開始した直後から今回の時分割露光までのＸ方向のぶれ量である。また、転送画素数を示す式にマイナスの記号を付したのは、ぶれと反対方向へ画素電荷を移動することにより、新たな読み出し画素電荷を、それまでの加算された画素電荷側へ接近させるためである。

なお、ここで説明している処理においては、加算画像は、Ｙ方向転送部３４Ｂに記憶された後は、原則的に、同一のＹ方向転送部３４Ｂから移動することがない（Ｘ方向転送部３３Ｂ上を移動することがなく、他のＹ方向転送部３４Ｂへ移動することもない）ために、上述したステップＳ９０３においては、ステップＳ９０２で説明したようなＳｙ０に相当する前回分までの累積ぶれ補正量（例えば、Ｓｘ０）を算出する必要がない。

次に、前回までに撮影され加算された画像（相対的なぶれが補正されて加算された画像）を、Ｙ方向転送部３４Ｂを介して、Ｓｙの画素数だけ垂直方向（Ｙ方向）へ転送する（ステップＳ９０４）。

続いて、今回撮影した最新の画像を、Ｘ方向転送部３３Ｂを介して、−Ｓｘの画素数だけ水平方向（Ｘ方向）へ転送する（ステップＳ９０５）。

そして、Ｘ方向転送部３３Ｂに記憶した画像とＹ方向転送部３４Ｂに記憶した画像とを、図２９を参照して説明したように加算する（ステップＳ９０６）。

その後、この加算した画像を、Ｘ方向転送部３３ＢとＹ方向転送部３４Ｂとが交差する位置の電極Ｓ２φＶ０（ＳφＨ０）に最近接する紙面下方の（つまり、同一レジスタ３７内の）電極Ｓ２φＶ２下へ転送する（ステップＳ９０７）。これは、上述したように、Ｘ方向転送電極ＳφＨ０とＹ方向転送電極Ｓ２φＶ０とが兼用されているために、次回の時分割撮影により撮影した画像がＸ方向転送部３３Ｂを転送されるときに、加算画像と干渉しないようにするためである。

次に、上記転送量Ｓｙと前回までの転送量Ｓｙ０とを加算して、メモリ〔Ｓｙ０〕に記憶することにより、この加算した値を新たにＳｙ０とする（ステップＳ９０８）。これにより、メモリ〔Ｓｙ０〕には、最後の（前回の）時分割露光までのＹ方向の転送量の累積加算値が記憶されることになる。

このステップＳ９０８の処理を行ったところで、この図３１に示す画素値合成のサブルーチンから、図１３に示した処理へリターンする。

ところで、撮像素子１が精細な静止画を撮像可能なように多画素化されると、静止画よりも少ない画素数で済む動画撮影においては、高速化や画質の向上を図るために、複数の画素データを加算して読み出す処理が行われることが多い。このような画素加算を例えば撮像部４１Ｂにおいて行った場合（具体例としては、フィールド読み出しにおいて奇数ラインの電荷と偶数ラインの電荷とを加算して読み出す場合）には、加算を行わない場合に比して、ぶれ量の補正が異なることになる。３以上の画素データを加算する場合には、同様に、加算数に応じてぶれ量の補正が異なってきてしまう。さらに、画素加算が行われると、補正／加算部４０において画像データを記憶するために必要なレジスタの数も異なる。このような個々のケースに応じて、時分割撮影と補正／加算部４０における画素値加算との制御を異ならせると、制御が複雑化してしまうことになる。

そこで、制御を簡潔にするためには、例えば、静止画撮影で多用される全画素読み出しの場合にのみ、時分割撮影および補正／加算部４０における画素値加算を行うことにすることが考えられ、このときには、その他の読み出し（例えば、フィールド読み出し等）においては時分割撮影を行わないことになる（ただし、もちろんこれに限るものではない。）。そして、複数回の時分割撮影を行う場合には、Ｘ方向転送部３３Ｂの画像とＹ方向転送部３４Ｂの画像とを加算してＹ方向転送部３４Ｂに蓄積し、最終的にＹ方向転送部３４Ｂに蓄積された加算画像を水平転送部４２Ｂに転送することにする。これに対して、全画素読み出しであっても時分割撮影を行わない場合、あるいはその他の読み出しを行う場合には、垂直転送部３５から分割画像転送部３６へ転送された画像を、そのまま直接水平転送部４２Ｂへ転送するようにする。これにより、静止画ぶれ補正に対応することができ、かつ、従来型の撮像素子と同様の画素加算などの機能を有する、制御が比較的簡単な撮像素子となる。このときにはさらに、Ｘ方向転送部３３Ｂは、時分割画像を２回以上転送する機能を備えれば足りるために（つまり、Ｘ方向転送部３３Ｂには加算後の画素を蓄積する機能は不要であるために）、Ｘ方向転送部３３Ｂにおける電極の面積をかなり狭くすることができる。ここで、撮像素子１全体の面積を狭くすることに着眼すれば、Ｘ方向転送部３３Ｂの縦の幅が短くなるように、該Ｘ方向転送部３３Ｂを構成する各電極の形状や大きさを決定すれば良い。これにより、補正／加算部４０全体の面積を小さくすることが可能となる。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、フレーム・インターライン・トランスファー方式の撮像素子を採用し、撮像素子上に、撮像部と、画像を蓄積してぶれ補正する補正／加算部と、を別個に設けたために、撮像部として、従来型の撮像素子の構成をそのまま適用することができる。従って、フレーム・インターライン・トランスファー方式ＣＣＤイメージセンサーの利点と、長年蓄積されてきた固体撮像素子の製造ノウハウと、をそのまま引き継いで使用することができる。また、固体撮像素子の汎用性を高めることもできる。

なお、上述した技術では、１枚の画像に係る全露光時間を、ぶれ限界露光時間ＴLimit 単位で基本的に等時間間隔となるように時分割して各時分割露光を行うようにしているが、これに限るものではなく、ぶれを許容し得るような部分露光時間であれば、非均一な時間間隔に時分割しても構わない。例えば、角速度センサにより大きな角速度が検出される場合には、部分露光時間をより短くするようにしても構わない。このように、適応的に部分露光時間を変更すると、時分割画像におけるぶれの発生をより精度良く抑制することが可能となる。

また、上述したようなデジタルカメラの技術は、静止画像を撮影する際のぶれ補正に特に適しているが、動画像の１フレームを撮影する際のぶれ補正にも勿論適用することが可能である。従って、このデジタルカメラの技術は、デジタルスチルカメラやアナログスチルカメラに適用し得るだけでなく、デジタルビデオカメラやアナログビデオカメラにも適用することが可能であり、これらに限らず、固体撮像素子を用いて画像を撮影する装置に広く適用することが可能である。

さらに、上述では、２次元の撮像素子を例に挙げて、ぶれ補正を行う技術を説明したが、例えば１次元の撮像素子（ラインセンサ等）を用いるスキャナ（特に、ハンディスキャナなど）、コピー機、ファクシミリ等においても、上述と同様の技術を適用してぶれ補正を行うことが可能である。ただし、このときには、センサの配列方向に沿った転送ＣＣＤが１つあれば足りる。

そして、上述した技術は、略同一時刻に撮像された複数の画像を加算するものであるために、該技術を、ぶれ補正以外の他の用途に応用することも考えられる。例えば、フォトダイオードに蓄積可能な電荷量よりも垂直転送ＣＣＤや水平転送ＣＣＤに蓄積可能な電荷量の方が多い場合には、よりダイナミックレンジの広い画像を生成する技術として用いることも可能となる。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

［付記］
（付記１）
マトリクス状に配列された複数の画素を有する固体撮像素子の撮像面に結像される画像のぶれを補正して、ぶれの補正された画像を生成するための電子的ぶれ補正装置であって、
上記固体撮像素子の撮像面に像を結像するための撮像光学系と、
上記画像のぶれを検出するぶれ検出部と、
上記固体撮像素子の露光量を制御する露光量制御部と、
上記露光量制御部の制御に基づき上記固体撮像素子により所定の露光量で複数の画像を撮像する撮像部と、
上記撮像部により撮影された複数の画像を上記ぶれ検出部により検出されたぶれに基づき該固体撮像素子の内部で相対的にシフトした後にアナログ的に加算し、ぶれの補正された画像を生成する加算部と、
上記加算部により加算された画素の電荷を上記固体撮像素子から読み出す読出部と、
を具備したことを特徴とする電子的ぶれ補正装置。

＜効果＞
時分割で撮像した画像のぶれを補正して撮像素子の内部でアナログ的に加算して出力するために、ぶれを補正するための複雑なメカニカル機構が不要になるとともに、幅広いシャッタスピードに対応可能な精度の高い電子的ぶれ補正装置となる。また、ごく短時間でぶれ補正が可能であるために、特に静止画撮影におけるぶれ補正に適した電子的ぶれ補正装置となる。

（付記２）
上記加算部は、時間的に相前後して撮影された２つの画像の相対的なぶれを補正してから上記２つの画像をアナログ的に加算し、さらにこの加算した画像とその次に撮影した画像との相対的なぶれを補正してからこれら２つの画像をアナログ的に加算するという動作を繰り返し行うように制御するものであることを特徴とする付記１に記載の電子的ぶれ補正装置。

＜効果＞
ぶれ補正と時分割画像の加算処理とを高速に行うことができる。

（付記３）
上記加算部は、上記撮影された複数の画像の内の最初の画像の撮影における露光開始から最新の画像の撮影における露光終了までの画像のぶれ量と、該複数の画像の内の最初の画像から最新の１つ前の画像までのぶれ補正量の累積加算値と、の差に基いて、最新の画像と既に加算した画像とのぶれを補正して、ぶれを補正したこれら２つの画像をアナログ的に加算するように制御するものであることを特徴とする付記２に記載の電子的ぶれ補正装置。

＜効果＞
精度の高いぶれ量の演算を行うことができる。

（付記４）
上記露光量制御部は、ぶれを許容し得るようなぶれ限界露光時間以下の予め設定された露光時間で所定回数の露光を上記固体撮像素子に行わせるように制御するものであることを特徴とする付記１に記載の電子的ぶれ補正装置。

＜効果＞
ぶれを実質的に無視し得る時分割画像を撮影することができる。

（付記５）
上記露光量制御部は、撮像光学系の焦点距離の情報に基いて、上記ぶれ限界露光時間を生成するものであることを特徴とする付記４に記載の電子的ぶれ補正装置。

＜効果＞
撮像光学系の焦点距離の情報に基づいて、経験則によるぶれ限界露光時間を設定することができるために、別途の測定等を要することなく簡単に設定することができる。

（付記６）
上記ぶれ検出部は、露光開始前においてもぶれ量の演算を行うものであり、
上記露光量制御部は、露光開始前に上記ぶれ量検出部により演算したぶれ量が許容可能なぶれ量の上限に達するまでの露光時間を演算し、この露光時間に基づいて上記ぶれ限界露光時間を生成するものであることを特徴とする付記４に記載の電子的ぶれ補正装置。

＜効果＞
撮影者のぶれ特性に応じたぶれ補正を行うことができる。

（付記７）
上記露光量制御部は、露光時に上記ぶれ量演算部により演算したぶれ量が許容可能なぶれ量の上限に達するまでの露光時間を演算し、この露光時間に基づいて上記ぶれ限界露光時間を生成するものであることを特徴とする付記４に記載の電子的ぶれ補正装置。

＜効果＞
撮影者のぶれ特性に応じたぶれ補正を行うことができる。

（付記８）
上記露光量制御部は、
被写体の明るさを取得する測光部と、
上記測光部により取得された被写体の明るさに基づき、適正露光を得るための第１露光時間を生成する第１露光時間生成部と、
第２露光時間を生成する第２露光時間生成部と、
上記第２露光時間で連続して予め定められた撮影回数の撮影を行ったときの露光時間の合計が上記第１露光時間に等しくなるように制御する露光時間制御部と、
を備えたものであることを特徴とする付記１に記載の電子的ぶれ補正装置。

＜効果＞
露光量が適正になるように制御することができる。

（付記９）
上記連続して撮影する予め定められた撮影回数を記憶するメモリをさらに具備し、
上記露光時間制御部は、上記第１露光時間を上記撮影回数により割って得られた時間を第２露光時間として生成させるように上記第２露光時間生成部を制御するものであることを特徴とする付記８に記載の電子的ぶれ補正装置。

＜効果＞
第２露光時間として確実にぶれの発生しない露光時間を設定することができるとともに、複数画像を合成した画像の露光量を適正にすることが可能となる。また、撮影回数が予め定められているために、固体撮像素子の画像信号の飽和電荷量の制御等を容易に行うことが可能となる。

（付記１０）
上記第２露光時間生成部により生成された上記第２露光時間が、ぶれを許容可能なレベルに抑制し得る露光時間より長いときは、ぶれが発生する可能性があることを示す警告表示を行う表示部をさらに具備したことを特徴とする付記９に記載の電子的ぶれ補正装置。

＜効果＞
撮影者は、ぶれが発生する可能性があるのを認識することができる。

（付記１１）
上記連続して撮影する予め定められた撮影回数として選択可能な複数の撮影回数を記憶するメモリをさらに具備し、
上記露光時間制御部は、上記メモリに記憶されている撮影回数の中から、上記第１露光時間を上記第２露光時間で割った値以上の該値に最も近い整数を撮影回数として選択し、上記第１露光時間を上記撮影回数により割って得られた時間を上記第２露光時間に代えて新たな第２露光時間として生成させるように上記第２露光時間生成部を制御するものであることを特徴とする付記８に記載の電子的ぶれ補正装置。

＜効果＞
第２露光時間として確実にぶれの発生しない露光時間を設定することができるとともに、複数画像を合成した画像の露光量を適正にすることが可能となる。

（付記１２）
上記撮像光学系は絞りを有して構成されたものであって、
当該電子的ぶれ補正装置は、
上記撮像光学系の絞り値を設定する絞り値設定部と、
上記連続して撮影する撮影回数を記憶するメモリと、
をさらに具備し、
上記絞り値設定部は、上記第１露光時間が、上記第２露光時間と、上記メモリに記憶されている撮影回数の内の最大値と、の積である第３露光時間よりも長いときには、該第１露光時間が該第３露光時間以下になるように上記撮像光学系の絞り値を変更するものであることを特徴とする付記８に記載の電子的ぶれ補正装置。

＜効果＞
適正露光を得るための第１の露光時間が、撮影回数の上限内で、ぶれを許容可能なレベルに抑制し得る第２露光時間に分割しきれない場合には、絞り値を自動的に制御するようにしたために、例えば、シャッタ優先撮影モード、絞り優先撮影モード、またはプログラム撮影モードなどに連動しない範囲であっても、ぶれ防止をしながら適正な露光制御を行うことができる。

（付記１３）
上記絞り値設定部により上記撮像光学系の絞り値を変更するときには、その旨を表示する表示部をさらに具備したことを特徴とする付記１２に記載の電子的ぶれ補正装置。

＜効果＞
絞り値を変更するときにその旨を表示するようにしたために、撮影者に誤解を与えることがない。

（付記１４）
上記撮像素子から得られる画像の増幅率を変更することにより、実質的にＩＳＯ感度を変更するためのＩＳＯ感度変更部をさらに具備し、
上記ＩＳＯ感度変更部は、上記絞り値設定部が変更しようとする絞り値が、上記撮像光学系の絞り値として設定可能な範囲を逸脱しているときには、該設定可能な範囲内に入るようにＩＳＯ感度を変更するものであることを特徴とする付記１２に記載の電子的ぶれ補正装置。

＜効果＞
露光時間および絞り値が設定可能な限界値であっても、さらにＩＳＯ感度を変更するようにしたために、より広い範囲でぶれを防止しながら、適正な露光制御を行うことができる。

（付記１５）
上記ＩＳＯ感度変更部が変更しようとするＩＳＯ感度が、設定可能な範囲を逸脱しているときには、ぶれが発生する可能性があることを示す警告表示を行う表示部をさらに具備したことを特徴とする付記１４に記載の電子的ぶれ補正装置。

＜効果＞
撮影者は、ぶれが発生する可能性があることを認識することができる。

（付記１６）
上記加算部により加算する画像の数が多くなるほど、上記固体撮像素子の上記画素に蓄積可能な最大蓄積電荷量が少なくなるように制御する蓄積電荷量制御部をさらに具備したことを特徴とする付記１に記載の電子的ぶれ補正装置。

＜効果＞
画素に蓄積する電荷を撮影回数に応じて制御するようにしたために、合成された画像の電荷がレジスタ部で溢れるのを防止することができる。

（付記１７）
上記固体撮像素子は、半導体基板上に構成された縦型オーバーフロー構造のＣＣＤ固体撮像素子であり、
上記蓄積電荷量制御部は、上記半導体基板に印加する逆バイアス電圧の電圧レベルを制御することにより、画素に蓄積された電荷が該半導体基板側に排出され始める最大蓄積電荷量を制御するものであることを特徴とする付記１６に記載の電子的ぶれ補正装置。

＜効果＞
画素に蓄積される電荷量のレベルを正確に制御することができるために、合成画像を蓄積するレジスタにおける電荷の溢れを確実に防止することができる。

（付記１８）
上記加算部により加算された合成画像の中から、上記撮像部によって撮影された全ての画像が共有するとみなされる有効領域の画像を抽出する有効領域抽出部をさらに具備したことを特徴とする付記１に記載の電子的ぶれ補正装置。

＜効果＞
加算部により加算された合成画像の中から、撮像部によって撮影された全ての画像が共有するとみなされる有効領域の画像を抽出するようにしたために、ぶれの補正された高画質の画像を簡単に得ることができる。

（付記１９）
上記有効領域の画像の、大きさおよび上記合成画像の中での位置は、予め定められたものであることを特徴とする付記１８に記載の電子的ぶれ補正装置。

＜効果＞
有効領域の画像の大きさおよび合成画像の中での位置が予め定められているために、簡単な処理で有効領域の画像データを抽出することができる。

（付記２０）
上記露光量制御部は、上記撮像部によって撮影される画像が上記有効領域の画像の一部を欠くと判断するときには、上記撮像部による撮影を終了するように制御するものであることを特徴とする付記１８に記載の電子的ぶれ補正装置。

＜効果＞
有効とみなされる領域が、ぶれが適正に補正されない領域を含まないようにすることができるために、ぶれの補正された高画質の画像を簡単に得ることができる。

（付記２１）
上記有効領域抽出部は、上記撮像部による撮影回数が所定数に達することなく撮影を終了したときには、上記有効領域の合成画像を増幅するものであることを特徴とする付記２０に記載の電子的ぶれ補正装置。

＜効果＞
撮影が露光不足で終了したときには、その分を補う増幅を行うために、適正露光の画像を得ることができる。

（付記２２）
上記加算部は、
上記撮像部により撮像した第１画像を記憶するとともに該第１画像を第１方向に転送する第１転送レジスタと、
上記第１画像とは異なる時刻に撮像した第２画像を記憶するとともに該第２画像を上記第１方向と交差する第２方向に転送する第２転送レジスタと、
を有し、上記第１画像および上記第２画像をそれぞれ上記第１転送レジスタおよび上記第２転送レジスタ内で相対的にシフトした後に加算して、上記第１転送レジスタまたは上記第２転送レジスタ内に記憶するものであることを特徴とする付記１に記載の電子的ぶれ補正装置。

＜効果＞
第１転送レジスタに記憶された画像と第２転送レジスタに記憶された画像とのぶれを高速に補正することが可能となる。

（付記２３）
上記撮像部は、行方向および列方向にマトリクス状に配置された複数の画素を有する光電変換部を備え、
上記第１転送レジスタは、上記光電変換部の各画素行に隣接して配置されたものであり、
上記第２転送レジスタは、上記光電変換部の各画素列に隣接して配置されたものであることを特徴とする付記２２に記載の電子的ぶれ補正装置。

＜効果＞
従来のインターライン・トランスファー方式の固体撮像素子の垂直転送レジスタを、ぶれ補正のための転送レジスタに兼用することができるために、構成が比較的簡単になる利点がある。

（付記２４）
上記第１転送レジスタおよび上記第２転送レジスタは、上記固体撮像素子の内部に上記撮像部とは別個に設けられたものであることを特徴とする付記２２に記載の電子的ぶれ補正装置。

＜効果＞
従来のインターライン・トランスファー方式の撮像部の画素行間にぶれ補正用の転送レジスタを新たに設ける必要がないために、画素（フォトダイオード）の開口率が低下することがない。

（付記２５）
上記第１転送レジスタおよび上記第２転送レジスタの端面に転送されてきた電荷を、上記第１転送レジスタおよび上記第２転送レジスタから排出するための電荷排出部をさらに具備したことを特徴とする付記２２に記載の電子的ぶれ補正装置。

＜効果＞
ぶれ補正に伴う転送レジスタ内の電荷転送により、転送レジスタの端面に電荷が蓄積してオーバーフローしてしまうのを、防止することができる。

（付記２６）
上記固体撮像素子は、撮像面の前面にモザイク状のカラーフィルタを配置した単板式のカラー固体撮像素子であり、
上記加算部は、上記複数の画像を上記ぶれ検出部により検出されたぶれに基づき該固体撮像素子の内部で上記カラーフィルタの水平方向の最小繰り返し周期および垂直方向の最小繰り返し周期を最小単位として相対的にシフトした後にアナログ的に加算し、ぶれの補正された画像を生成するものであることを特徴とする付記１に記載の電子的ぶれ補正装置。

（付記２７）
マトリクス状に配列された複数の画素を有する光電変換部と、
該光電変換部の電荷を読み出して得られた第１画像を記憶するとともに、該第１画像を第１方向に転送する第１転送レジスタと、
上記第１画像の撮像された時刻とは異なる時刻に上記光電変換部の電荷を読み出して得られた第２画像を記憶するとともに、該第２画像を上記第１方向と交差する第２方向に転送する第２転送レジスタと、
上記第１転送レジスタにより所定量転送された上記第１画像と、上記第２転送レジスタにより所定量転送された上記第２画像と、をアナログ的に加算する加算部と、
を具備したことを特徴とする固体撮像素子。

＜効果＞
２つの画像の一方を第１転送レジスタに、他方を第２転送レジスタに、それぞれ記憶して相対的な位置を調整して画像を加算することが可能であるために、画像間のずれ補正を極めて高速に行うことが可能な固体撮像素子となる。

（付記２８）
上記第１転送レジスタは、上記光電変換部の各画素行に隣接して配置されたものであり、
上記第２転送レジスタは、上記光電変換部の各画素列に隣接して配置されたものであることを特徴とする付記２７に記載の固体撮像素子。

＜効果＞
ぶれ補正のための転送レジスタの一方と、従来のインターライン・トランスファーＣＣＤの垂直転送レジスタと、を兼用することができるために、撮像素子全体の大きさを小さくすることができる。

（付記２９）
上記光電変換部により生成した電荷を上記第１転送レジスタおよび上記第２転送レジスタを含むレジスタ部へ転送するための電荷転送部をさらに具備したことを特徴とする付記２７に記載の固体撮像素子。

＜効果＞
ぶれ補正のためのレジスタ部を撮像部とは異なる領域に設けたために、撮像部の設計が容易になるとともに、従来型の撮像部の技術をそのまま継承することが可能となる。そして、フレーム・インターライン・トランスファー型ＣＣＤの特性を有するように構成することで、スミアが少なくなるという利点がある。

（付記３０）
上記レジスタ部に記憶された画像を外部へ読み出すための転送部をさらに具備し、
複数の画像を加算して外部へ読み出すときには上記第２転送レジスタに記憶した画像を上記転送部を介して外部へ読み出し、画像を加算しないで外部へ読み出すときには上記光電変換部から上記電荷転送部を介して転送された画像を上記転送部を介して外部へ読み出すように制御され得ることを特徴とする付記２９に記載の固体撮像素子。

＜効果＞
第１転送レジスタは、時分割画像を転送するものであれば良いために、レジスタの面積を小さくすることができる。

（付記３１）
上記第１転送レジスタおよび上記第２転送レジスタは、各々、画像を構成する最小単位である１つの画素あたり４相の駆動パルスが印加される４つの転送電極を有して構成されたものであることを特徴とする付記２７に記載の固体撮像素子。

＜効果＞
第１転送レジスタと第２転送レジスタとが例えば垂直／水平方向に相互に交差するように配置されているとしても、各転送レジスタに記憶された２つの画像を独立に転送することが可能となる。

（付記３２）
上記第１転送レジスタが有する４つの転送電極の内の１つの転送電極と、上記第２転送レジスタが有する４つの転送電極の内の１つの転送電極と、は同一の電極を兼用したものであり、該第１転送レジスタと該第２転送レジスタとはこの兼用した電極の位置で交差していることを特徴とする付記３１に記載の固体撮像素子。

＜効果＞
第１転送レジスタと第２転送レジスタとの電極の一部を兼用することにより、固体撮像素子の面積を小さくすることができるとともに、画素加算を容易に行うことが可能となる。

（付記３３）
上記転送電極は、相対的に広い面積を有する電極と、相対的に狭い面積を有する電極と、を交互に配置したものであることを特徴とする付記３１に記載の固体撮像素子。

＜効果＞
必要な機能を満たしながら、各転送レジスタの面積を小さくすることができる。

（付記３４）
上記第１転送レジスタは、上記第１画像を上記第２画像に対して相対的に所定量シフトするものであり、
上記第２転送レジスタは、上記第２画像を上記第１画像に対して相対的に所定量シフトするものであって、
上記加算部は、所定量シフトされた後の第１画像と第２画像とを、上記第１転送レジスタまたは上記第２転送レジスタにおいて加算するものであることを特徴とする付記３２に記載の固体撮像素子。

＜効果＞
画素加算を、複雑な制御を要することなく高速に行うことができる。

（付記３５）
当該固体撮像素子は、光導電膜積層型の固体撮像素子であることを特徴とする付記２７に記載の固体撮像素子。

＜効果＞
光電変換を行う例えばフォトダイオードの開口率を大きくすることができる。

（付記３６）
上記第１転送レジスタおよび上記第２転送レジスタの端面に転送されてきた電荷を、上記第１転送レジスタおよび上記第２転送レジスタから外部に排出するための電荷排出部をさらに具備したことを特徴とする付記２７に記載の固体撮像素子。

＜効果＞
ぶれ補正に伴う転送レジスタ内の電荷転送により、転送レジスタの端面に電荷が蓄積してオーバーフローしてしまうのを、防止することができる。

本発明は、固体撮像素子に結像される画像のぶれを電子的に補正する電子的ぶれ補正装置に好適に利用することができる。

本発明の実施形態１におけるデジタルカメラの主として電気的な構成を示すブロック図。 上記実施形態１において、フォトダイオードに蓄積された電荷を第１の画素電荷として垂直転送ＣＣＤに転送する様子を示す図。 上記実施形態１において、第１の画素電荷読み出し後にフォトダイオードに蓄積された電荷を第２の画素電荷として水平転送ＣＣＤに転送しさらに水平方向に転送するとともに、第１の画素電荷を垂直方向に転送する様子を示す図。 上記実施形態１において、第１の画素電荷と第２の画素電荷とを加算する様子を示す図。 上記実施形態１において、加算された電荷を同一画素内における垂直転送ＣＣＤの電荷保持部に退避する様子を示す図。 上記実施形態１における固体撮像素子に設けられたフォトダイオードおよび電極の構成を示す図。 上記実施形態１において、撮像素子が縦型オーバーフロー構造であることを説明するための断面図。 上記実施形態１において、時分割露光の回数に応じて逆バイアス電圧を変化させオーバーフローが発生する蓄積電荷量を制御する様子を示す図。 上記実施形態１において、基板電圧ＶＳＵＢにより変化するフォトダイオードの蓄積電荷量の最大値Ｑ（ｍａｘ）を時分割撮影の回数ｍに応じて設定する様子の幾つかの例を示す線図。 上記実施形態１において、撮像時における固体撮像素子の基本的な動作を示すタイミングチャート。 上記実施形態１において、フォトダイオードから画素電荷を読み出して固体撮像素子内で転送し加算するときに各電極に印加される信号の様子を示すタイミングチャート。 上記実施形態１における固体撮像素子全体の構成を模式化して示す図。 上記実施形態１において、デジタルカメラにより画像を撮像して記録するときの処理を示すフローチャート。 上記実施形態１において、ＴExp と絞り値の演算と絞り設定のサブルーチンを示すフローチャート。 上記実施形態１において、ＴExp と絞り値の演算と絞り設定のサブルーチンの他の例を示すフローチャート。 上記実施形態１において、手ぶれ防止優先処理のサブルーチンを示すフローチャート。 上記実施形態１において、露出に係る各要素の基準値と、その指数の基準値と、を示す図表。 上記実施形態１において、撮影レンズの焦点距離に応じた幾つかの例を示すプログラム線図。 上記実施形態１において、デジタルカメラに設定した座標軸と２つの角速度センサの配置とを示す図。 上記実施形態１において、カメラ本体が回転角θx だけぶれた場合の、撮像面上における被写体の像の移動状態を示す図。 上記実施形態１において、ＣＰＵにより移動量ΔＸ，ΔＹ等を算出する処理の流れを示すフローチャート。 上記実施形態１において、画素値合成のサブルーチンを示すフローチャート。 上記実施形態１において、ぶれ量演算の処理を示すフローチャート。 上記実施形態１において、ＴLimit の測定のサブルーチンを示すフローチャート。 本発明の実施形態２における固体撮像素子全体の構成の概略を示す図。 上記実施形態２において、固体撮像素子の撮像部と補正／加算部との構成を拡大して示す図。 上記実施形態２において、撮像時における固体撮像素子の基本的な動作を示すタイミングチャート。 上記実施形態２において、固体撮像素子の撮像部により撮像された画像を補正／加算部へ転送する動作を示すタイミングチャート。 上記実施形態２において、補正／加算部において行われるぶれ補正動作と加算動作とを示すタイミングチャート。 上記実施形態２において、ＣＰＵにより移動量ΔＸ，ΔＹ等を算出する処理の流れを示すフローチャート。 上記実施形態２において、画素値合成のサブルーチンを示すフローチャート。 上記実施形態１において、水平転送ＣＣＤの端部および垂直転送ＣＣＤの端部に転送された電荷をドレインに排出するようにした構成を示す図。 上記実施形態１において、時分割画像の位置とぶれを補正した合成画像の位置との関係を示す図。 上記実施形態１において、合成画像と有効領域との関係を示す図。 上記実施形態１において、有効領域の画像データを抽出する処理を示すフローチャート。

符号の説明

１…固体撮像素子
２…相関二重サンプリング回路（ＣＤＳ）
３…ゲインコントロールアンプ（ＡＭＰ）（ＩＳＯ感度変更部）
４…Ａ／Ｄ変換器（アナログ・デジタル変換部）
５…タイミングジェネレータ（ＴＧ）
６…シグナルジェネレータ（ＳＧ）
７…ＣＰＵ（ぶれ検出部、露光量制御部、絞り制御部、記録部、測光部、露出情報演算部、第１露光時間生成部、第２露光時間生成部、露光時間制御部、ぶれ量演算部、絞り値設定部、蓄積電荷量制御部）
８…情報処理部（記録部、有効領域抽出部）
９…ＤＲＡＭ
１０…圧縮伸張部
１１…記録媒体（記録部）
１２…液晶表示部（表示部）
１３…インタフェース部
１４…レンズ駆動系
１５…撮影レンズ（撮像光学系）
１６…絞り駆動系（絞り制御部）
１７…絞り（撮像光学系）
１８ａ…第１レリーズスイッチ
１８ｂ…第２レリーズスイッチ
１９，２０…角速度センサ（ぶれ検出部）
２１，２２…Ａ／Ｄ変換器
２３…距離検出部
２４…ＥＥＰＲＯＭ（メモリ）
２５…撮影モード設定部
２６…撮影条件設定部
３１…１画素
３２…フォトダイオード（ＰＤ）
３３…水平転送ＣＣＤ（加算部、ぶれ補正部）
３３Ｂ…Ｘ方向転送部
３４…垂直転送ＣＣＤ（加算部、ぶれ補正部）
３４Ｂ…Ｙ方向転送部
３５…垂直転送部（電荷転送部）
３６…分割画像転送部
３７…レジスタ
４０…補正／加算部（加算部、ぶれ補正部、レジスタ部）
４１…撮像領域（撮像部、光電変換部）
４１Ｂ…撮像部（光電変換部）
４２…水平転送ＣＣＤ（読出部、転送部）
４２Ｂ…水平転送部（読出部、転送部）
４３…アンプ
５１…カメラ本体
６１…撮像面
６３…被写体

Claims (25)

1. マトリクス状に配列された複数の画素を有する固体撮像素子の撮像面に結像される画像のぶれを補正して、ぶれの補正された画像を生成するための電子的ぶれ補正装置であって、
   上記固体撮像素子の撮像面に像を結像するための撮像光学系と、
   上記画像のぶれを検出するぶれ検出部と、
   上記固体撮像素子の露光量を制御する露光量制御部と、
   上記露光量制御部の制御に基づき上記固体撮像素子により所定の露光量で複数の画像を撮影する撮像部と、
   上記撮像部により撮影された第１画像を第１方向に沿った画素行単位で記憶するとともに該第１画像を該第１方向に転送する第１転送レジスタと、
   上記第１画像とは異なる時刻に撮影された第２画像を上記第１方向と直交する第２方向に沿った画素列単位で記憶するとともに該第２画像を該第２方向に転送する第２転送レジスタと、
   上記第１画像及び上記第２画像をそれぞれ上記第１転送レジスタ及び上記第２転送レジスタ内で相対的にシフトした後に加算して、上記第１転送レジスタ又は上記第２転送レジスタ内に記憶する加算部と、
   上記加算部により加算された画素の電荷を上記固体撮像素子から読み出す読出部と、
   を具備し、
   上記第１転送レジスタと上記第２転送レジスタとを、互いに交差して格子状となるように、かつ互いの交差箇所において転送レジスタを共有するように、形成したことを特徴とする電子的ぶれ補正装置。
2. 上記加算部は、時間的に相前後して撮影された２つの画像の相対的なぶれを補正してから上記２つの画像をアナログ的に加算し、さらにこの加算した画像とその次に撮影した画像との相対的なぶれを補正してからこれら２つの画像をアナログ的に加算するという動作を繰り返し行うように制御するものであることを特徴とする請求項１に記載の電子的ぶれ補正装置。
3. 上記加算部は、上記撮影された複数の画像の内の最初の画像の撮影における露光開始から最新の画像の撮影における露光終了までの画像のぶれ量と、該複数の画像の内の最初の画像から最新の１つ前の画像までのぶれ補正量の累積加算値と、の差に基いて、最新の画像と既に加算した画像とのぶれを補正して、ぶれを補正したこれら２つの画像をアナログ的に加算するように制御するものであることを特徴とする請求項２に記載の電子的ぶれ補正装置。
4. 上記露光量制御部は、ぶれを許容し得るようなぶれ限界露光時間以下の予め設定された露光時間で所定回数の露光を上記固体撮像素子に行わせるように制御するものであることを特徴とする請求項１に記載の電子的ぶれ補正装置。
5. 撮像光学系の焦点距離の情報に基いて、上記ぶれ限界露光時間を生成するものであることを特徴とする請求項４に記載の電子的ぶれ補正装置。
6. 上記ぶれ検出部は、露光開始前においてもぶれ量の演算を行うものであり、
   露光開始前に上記ぶれ量検出部により演算したぶれ量が許容可能なぶれ量の上限に達するまでの露光時間を演算し、この露光時間に基づいて上記ぶれ限界露光時間を生成するものであることを特徴とする請求項４に記載の電子的ぶれ補正装置。
7. 上記露光量制御部は、露光時に上記ぶれ量演算部により演算したぶれ量が許容可能なぶれ量の上限に達するまでの露光時間を演算し、この露光時間に基づいて上記ぶれ限界露光時間を生成するものであることを特徴とする請求項４に記載の電子的ぶれ補正装置。
8. 上記露光量制御部は、被写体の明るさを取得する測光部と、上記測光部により取得された被写体の明るさに基づき、適正露光を得るための第１露光時間を生成する第１露光時間生成部と、第２露光時間を生成する第２露光時間生成部と、上記第２露光時間で連続して所定回数の撮影を行ったときの露光時間の合計が上記第１露光時間に等しくなるように制御する露光時間制御部と、
   を備えことを特徴とする請求項１に記載の電子的ぶれ補正装置。
9. 上記連続して撮影する予め定められた撮影回数を記憶するメモリをさらに具備し、
   上記露光時間制御部は、上記第１露光時間を上記撮影回数により割って得られた時間を第２露光時間として生成させるように上記第２露光時間生成部を制御するものであることを特徴とする請求項８に記載の電子的ぶれ補正装置。
10. 上記第２露光時間生成部により生成された上記第２露光時間が、ぶれを許容可能なレベルに抑制し得る露光時間より長いときは、ぶれが発生する可能性があることを示す警告表示を行う表示部をさらに具備したことを特徴とする請求項９に記載の電子的ぶれ補正装置。
11. 上記連続して撮影する撮影回数として選択可能な予め定められた撮影回数を記憶するメモリをさらに具備し、
    上記露光時間制御部は、上記メモリに記憶されている撮影回数の中から、上記第１露光時間を上記第２露光時間で割った値以上の該値に最も近い整数を撮影回数として選択し、上記第１露光時間を上記撮影回数により割って得られた時間を上記第２露光時間に代えて新たな第２露光時間として生成させるように上記第２露光時間生成部を制御するものであることを特徴とする請求項８に記載の電子的ぶれ補正装置。
12. 上記固体撮像素子の撮像面に像を結像するためのものであって、絞りを有する撮像光学系と、
    上記撮像光学系の絞り値を設定する絞り値設定部と、
    上記連続して撮影する撮影回数を記憶するメモリと、
    をさらに具備し、
    上記絞り値設定部は、上記第１露光時間が、上記第２露光時間と、上記メモリに記憶されている撮影回数の内の最大値と、の積である第３露光時間よりも長いときには、該第１露光時間が該第３露光時間以下になるように上記撮像光学系の絞り値を変更するものであることを特徴とする請求項８に記載の電子的ぶれ補正装置。
13. 上記絞り値設定部により上記撮像光学系の絞り値を変更するときには、その旨を表示する表示部をさらに具備したことを特徴とする請求項１２に記載の電子的ぶれ補正装置。
14. 上記撮像素子から得られる画像の増幅率を変更することにより、実質的にＩＳＯ感度を変更するためのＩＳＯ感度変更部をさらに具備し、
    上記ＩＳＯ感度変更部は、上記絞り値設定部が変更しようとする絞り値が、上記撮像光学系の絞り値として設定可能な範囲を逸脱しているときには、該設定可能な範囲内に入るようにＩＳＯ感度を変更するものであることを特徴とする請求項１２に記載の電子的ぶれ補正装置。
15. 上記ＩＳＯ感度変更部が変更しようとするＩＳＯ感度が、設定可能な範囲を逸脱しているときには、ぶれが発生する可能性があることを示す警告表示を行う表示部をさらに具備したことを特徴とする請求項１４に記載の電子的ぶれ補正装置。
16. 上記加算部で加算する画像の数が多くなるほど、上記固体撮像素子の上記画素に蓄積可能な最大蓄積電荷量が少なくなるように制御する蓄積電荷量制御部と、
    をさらに具備したことを特徴とする請求項１に記載の電子的ぶれ補正装置。
17. 上記固体撮像素子は、半導体基板上に構成された縦型オーバーフロー構造のＣＣＤ固体撮像素子であり、
    上記蓄積電荷量制御部は、上記半導体基板に印加する逆バイアス電圧（ＶＳＵＢ）の電圧レベルを制御することにより、画素に蓄積された電荷が該半導体基板側に排出され始める最大蓄積電荷量を制御するものであることを特徴とする請求項１６に記載の電子的ぶれ補正装置。
18. 上記加算部で加算された合成画像の中から、上記撮像部によって撮影されたすべての画像が共有するとみなされる有効領域の画像を抽出する有効領域抽出部をさらに備えたことを特徴とする請求項１に記載の電子的ぶれ補正装置。
19. 上記有効領域の画像の、大きさ及び上記合成画像の中での位置は予め決められていることを特徴とする請求項１８に記載の電子的ぶれ補正装置。
20. 上記撮像部によって撮影される画像が上記有効領域の画像の一部を欠くと判断するとき上記撮像部による撮影を終了することを特徴とする請求項１８に記載の電子的ぶれ補正装置。
21. 上記撮像部による撮影回数が所定数に達しないで撮影を終了したときは、上記有効領域の合成画像を増幅することを特徴とする請求項２０に記載の電子的ぶれ補正装置。
22. 上記撮像部は行方向および列方向にマトリクス状に配置された複数の画素を有する光電変換部を有し、
    上記第１転送レジスタは上記光電変換部の各画素行に隣接して配置され、上記第２転送レジスタは上記光電変換部の各画素列に隣接して配置されていることを特徴とする請求項１に記載の電子的ぶれ補正装置。
23. 上記第１転送レジスタ及び上記第２転送レジスタは、上記固体撮像素子の内部に上記撮像部とは別個に設けられていることを特徴とする請求項１に記載の電子的ぶれ補正装置。
24. 上記第１転送レジスタ及び上記第２転送レジスタの端面に転送されてきた電荷を、上記第１転送レジスタ及び上記第２転送レジスタから排出するための電荷排出部をさらに備えたことを特徴とする請求項１に記載の電子的ぶれ補正装置。
25. 上記固体撮像素子は撮像面の前面にモザイク状のカラーフィルタを配置した単板式のカラー固体撮像素子であり、上記加算部は上記複数の画像を上記ぶれ検出部により検出されたぶれに基づき該固体撮像素子の内部で上記カラーフィルタの水平方向の最小繰り返し周期および垂直方向の最小繰り返し周期を最小単位として相対的にシフトした後にアナログ的に加算し、ぶれの補正された画像を生成することを特徴とする請求項１に記載の電子的ぶれ補正装置。

Images