JP4390274B2 - 撮像装置及び制御方法 - Google Patents

撮像装置及び制御方法 Download PDF

Info

Publication number
JP4390274B2
JP4390274B2 JP2004377241A JP2004377241A JP4390274B2 JP 4390274 B2 JP4390274 B2 JP 4390274B2 JP 2004377241 A JP2004377241 A JP 2004377241A JP 2004377241 A JP2004377241 A JP 2004377241A JP 4390274 B2 JP4390274 B2 JP 4390274B2
Authority
JP
Japan
Prior art keywords
image
images
memory
blur
camera shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004377241A
Other languages
English (en)
Other versions
JP2006186593A (ja
JP2006186593A5 (ja
Inventor
浩史 須田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004377241A priority Critical patent/JP4390274B2/ja
Priority to CNB200510023070XA priority patent/CN100438576C/zh
Priority to US11/320,307 priority patent/US7509039B2/en
Publication of JP2006186593A publication Critical patent/JP2006186593A/ja
Publication of JP2006186593A5 publication Critical patent/JP2006186593A5/ja
Application granted granted Critical
Publication of JP4390274B2 publication Critical patent/JP4390274B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Description

本発明は、動画を撮影可能なビデオカメラやデジタルカメラ等の撮像装置及びその制御方法に関し、特に、画像処理により手ぶれを補正する機能を備えた撮像装置及びその制御方法に関する。
従来より、手ぶれを補正する技術はさまざまな方式が提案されている。手ぶれ補正とは、デジタルビデオカメラ等の撮像機器の、撮影者による手ぶれ情報(揺れ量や揺れの方向等)を、外部センサや画像処理を用いて検出し、その検出結果に基づいて、揺れを打ち消すように光学系の一部を動かしたり、画像の一部を切り出したりして揺れを補正する技術である。
手ぶれ量を検出する一つの方式として外部センサ検出方式があり、振動ジャイロに代表される角速度センサにて、撮像機器の手ぶれを直接測定する方式がある(例えば、特許文献1参照)。また、手ぶれ量を検出する別の方式として画像処理による方式があり、撮影した複数の画像から画面の動きベクトルを検出して手ぶれを検出する方式もある(例えば、特許文献2参照)。
また、手ぶれを補正する方式として、撮影レンズ系の一部を光軸と垂直に動かすことで撮像素子に結像される像を移動させて補正する方法や、可変頂角プリズムを撮影レンズ系の前面に置いて、この可変頂角プリズムの頂角を可動することで撮像素子に結像される像を移動させて補正する方法などの、光学手ぶれ補正方式が知られている(例えば、特許文献1参照)。この光学手ぶれ補正方式は、補正のダイナミックレンジを広くとれるなどの特徴があるが、アクチュエータや光学素子などのメカ部材を必要とするために、コスト的に不利になるという欠点がある。
一方、実際に必要とする画像サイズよりも大きめの撮像素子を用意して、手ぶれ量に応じて撮像素子から得られる画像から手ぶれを補正するように画像の一部切り出すことで補正する電子画像切り出し方法による手ぶれ補正が動画撮影等では有効であり、メカ部材を必要としないことからコスト的にも有利であり、広く普及している(例えば、特許文献2参照)。
ところで、ビデオカメラでは、照明が少ない夜などの撮影でも、ビデオライトやフラッシュを使わずに撮影することが多い。これは、動画撮影では、一瞬しか明るく照らすことができないフラッシュでは役に立たず、また、ビデオライトでは多くの電力を必要とするために、撮影機材が大きく重くなるために、使用しづらい欠点があるからである。したがって、低輝度被写体や低照度被写体でも撮影を可能にするために、通常の動画の一コマの時間(1フレームや1フィールドの時間)よりも露光時間を長くして撮影するスローシャッターモードがある(例えば、特許文献3参照)。
ところが、上述のスローシャッターモードでは、動画のコマ数を減らすことで、長い露光時間を確保するために、動画の動きが不自然になるばかりか、動画の一コマの撮影中に手ぶれが起きる確率が高いために、上述の電子画像切り出し方法による手ぶれ補正では、十分な手ぶれ補正効果が得られないという欠点があった。これは、上述の電子画像切り出し方式が動画のコマとコマの間の動きを画像の切り出し範囲を変えることで補正して手ぶれの無い動画にする機能であるため、動画の一コマのなかで起きた手ぶれは、電子画像切り出し方式では補正できないからである。
この欠点を解決するために、高速な電子シャッターで複数枚の画像を撮影し、ベクトル検出により手ぶれ量を検出して、手ぶれを補正しつつ画像を重ね合わせることで、手ぶれ補正効果を得るとともに、十分な画像信号値を得る提案が成されている(例えば、特許文献4参照)。
特開平06―98246 特開平05―7327 特開平06−90402 特開平11−252445
ところが、上述の従来のスローシャッターでは、長時間露光で撮像素子に電荷を長く蓄積するために、通常の動画に対して撮影コマ数が減少し、動きが滑らかにならないなど、不自然な動画になるという欠点があった。また、上述の従来からの画像重ね合わせの手ぶれ補正の方式は静止画撮影のための提案であり、動画を滑らかに動かす方法について考慮されていない。
本発明は上記問題点を鑑みてなされたものであり、低輝度/低照度の被写体を撮影する場合に、電子画像切り出し方式により手ぶれを補正しながら、滑らかな動きの動画像を低コストに撮影できるようにすることを目的とする。
上記目的を達成するために、撮像手段を有する本発明の撮像装置は、前記撮像手段を露光し、所定周期で画像を読み出す駆動手段と、前記所定周期で読み出された複数の画像の相関に基づいて、前記複数の画像それぞれからその一部を選択することにより画像間のぶれを補正するぶれ補正手段と、前記ぶれ補正手段で画像間のぶれが補正された前記複数の像のそれぞれを1枚の画像として、前記所定周期で逐次出力する第1の制御手段と、前記ぶれ補正手段で画像間のぶれが補正された前記複数の像のうち、前記所定周期で、最新のn(nは2以上の自然数)周期分の画像を加算して1枚の画像を生成し、該生成した画像を前記所定周期で逐次出力する第2の制御手段とを有する。
また、撮像手段を有する撮像装置の本発明の制御方法は、前記撮像手段を露光し、所定周期で画像を読み出す撮像工程と、前記所定周期で読み出された複数の画像の相関に基づいて、前記複数の画像それぞれからその一部を選択することにより画像間のぶれを補正するぶれ補正工程と、前記ぶれ補正工程で画像間のぶれが補正された前記複数の像のそれぞれを1枚の画像として、前記所定周期で逐次出力する第1の出力工程と、前記ぶれ補正工程で画像間のぶれが補正された前記複数の像のうち、前記所定周期で、最新のn(nは2以上の自然数)周期分の画像を加算して1枚の画像を生成し、該生成した画像を前記所定周期で逐次出力する第2の出力工程とを有する。
本発明によれば、低輝度/低照度の被写体を撮影する場合に、電子画像切り出し方式により手ぶれを補正しながら、滑らかな動きの動画像を低コストに撮影できるようにすることができる。
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
図1は、本発明の実施の形態に共通の撮影モード判定アルゴリズムを表すフローチャートである。
ステップS101において撮影モード判別アルゴリズムを開始し、ステップS102では、撮像素子から得られる被写体情報等より撮影する被写体の輝度を測定する。ステップS103では、被写体輝度が所定値以下かどうかの判別を行い、所定値より大きい場合はステップS105へ進み、撮影モードを後述する通常撮影モードに設定する。また、所定値以下の場合はステップS104へ進む。ステップS104では、手ぶれの量が所定値以上かどうかの判別を行い、手ぶれの量が所定値よりも小さい場合はステップS106へ進み、撮影モードを後述する撮像素子蓄積スローシャッターモードに設定する。一方、手ぶれの量が所定値以上の場合はステップS107へ進み、撮影モードを後述するメモリ蓄積スローシャッターモードに設定する。ステップS105、S106、S107で各撮影モードに設定後、ステップS108において撮影モード判別アルゴリズムを終了する。
つまり、上述の判定により、被写体が十分に明るい場合には通常撮影モード、被写体が暗く、撮像装置の揺れが小さい場合には撮像素子蓄積スローシャッターモード、被写体が暗く、撮像装置の揺れが大きい場合にはメモリ蓄積スローシャッターモードが設定される。各モードにおける撮像素子からの画像信号の読み出し及び処理のタイミングは撮像素子や処理回路のタイプ、制御方法等により異なるため、以下、いくつかの例について具体的に説明する。
<第1の実施形態>
まず、本発明の第1の実施形態について説明する。
図2は、本発明の第1の実施形態における撮像装置として、デジタルビデオカメラ(以下、「カメラ」と呼ぶ。)の構成を表すブロック図である。カメラの起動時から、CPU120は、フラッシュメモリ123内のプログラムに従って動作することで、後述の各種動作の制御を行う。
被写体からの光は、レンズ群101を通して撮像素子102上に結像される。撮像素子102上に結像された被写体像は光電変換され、CDS・A/D回路103にて、サンプルホールドされた後にアナログ信号からデジタル信号へと変換される。ラインメモリ104では、CDS・A/D回路103から出力された1ライン分のデジタル信号を一旦蓄積し、蓄積したデジタル信号の内、後述する所定範囲のデジタル信号を画像バス126へ流す。なお、後述する画像メモリ110、カメラ信号処理回路111、画像処理回路112、映像出力回路113は、画像バス126に接続されており、画像バス126を介して画像データをやり取りする。
画像メモリ110は、ラインメモリ104から出力された画像データを1フレーム分一時的に蓄積する。カメラ信号処理部111は、画像メモリ110に蓄積された画像データを標準的な画像データになるように処理する。画像処理部112は、画像の拡大や縮小、画像同士の加算やフレーム変換処理などを行う。また、映像出力部113は、デジタル画像データを一般的なNTSCやPALなどの標準TV信号に変換する。
一方、バスブリッジ121を介して、CPUバス125には、CPU120、フラッシュメモリ123、CPUメモリ124が接続されている。CPU120は全体の制御を行い、フラッシュメモリ123にはCPU120を動作させるためのプログラムや各種パラメータ値が格納されており、CPUメモリ124はCPUを動作させるためのワークメモリとして使用される。
また、角速度センサ105がCPU120に接続されており、角速度センサ105で検出した角速度はCPU120で処理することで、カメラの手ぶれ情報に変換され、撮像素子102やラインメモリ104を制御することで、手ぶれ補正動作を行う。この角速度センサ105はレンズ群101の光軸に対して垂直な2軸を検出することで、撮影に有害な手ぶれを検出する。
図3は、本発明の第1の実施形態における手ぶれ補正動作を説明するための概念図である。CPU120は、角速度センサ105の出力から得られる垂直方向の手ぶれ情報に基づいて、撮像素子102の出力のうち、図3(a)に表すように、直前のフレームで切り出した画像における被写体の位置が、現フレームで切り出した画像においてほぼ同じ位置となるように、撮像素子102からの画像信号の読み出しを制御する。
まず垂直方向について、図3(b)に表すように、垂直位置のV1からV2までの間の画像信号のみを、CDS・A/D103へ出力するように制御する。つまり、垂直方向の手ぶれが補正されるように、V1、V2の読み出し開始/終了位置を、撮像素子102から1枚の画像を読み出すタイミング毎に決定する。CDS・A/D103から出力された1ライン分のデジタル画像信号はラインメモリ104に一旦記憶する。
次に、CPU120は、角速度センサ105の出力から得られる水平方向の手ぶれ情報に基づいて、図3(c)に表すように、ラインメモリ104に記憶された画像信号のうち、水平位置のH1からH2までの間の画像信号のみを、画像バス126へ出力するように制御する。つまり、水平方向の手ぶれが補正されるように、H1、H2の読み出し開始/終了位置を、撮像素子102から1枚の映像を画像を読み出すタイミング毎に決定する。
次に、外部検出センサである角速度センサ105を用いて手ぶれ検出を行い、プログレッシブ動画撮影を行う場合の動作における、図1で説明した通常撮影モード、撮像素子蓄積スローシャッターモード、及びメモリ蓄積スローシャッターモードのそれぞれの信号の流れやタイミングについて、図4を参照して説明する。
図4(a)は、通常撮影モードにおける画像信号の読み出し及び信号処理のタイミングを表した図、図4(b)は、撮像素子蓄積スローシャッターモードにおける画像信号の読み出し及び信号処理のタイミングを表した図、図4(c)は、メモリ蓄積スローシャッターモードにおける画像信号の読み出し及び信号処理のタイミングを表した図である。
(1)通常撮影モード
最初に、図4(a)に示す通常撮影モードの動作について説明する。まず、撮像素子102は、蓄積時間T1の間、被写体からの光を光電変換して電荷を蓄積する。この蓄積時間T1の間に、CPU120は角速度センサ105の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図3を参照して上述したようにして、CPU120は撮像素子102からの読み出しタイミング及びラインメモリ104からの読み出しタイミングを制御して、画像を切り出して読み出すことにより手ぶれ補正を行う。このようにして切り出した1フレーム分の画像信号を画像メモリ110に記憶する。
画像メモリ110に記憶された画像信号は、垂直同期のタイミングで後段のカメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、このときの垂直同期の期間Tvは、撮像素子102の蓄積時間T1に等しい。上述した読み出しから表示出力までの処理を繰り返すことにより、動画の撮影が行われる。
(2)撮像素子蓄積スローシャッターモード
次に、図4(b)に示す撮像素子蓄積スローシャッターモードの動作について説明する。撮像素子蓄積スローシャッターモードは、被写体が暗く、カメラの揺れが小さい場合に設定されるモードである。
撮像素子蓄積スローシャッターモードでは、通常撮影モードの2倍の蓄積時間T2の間、撮像素子102を露光する。この蓄積時間T2の間に、CPU120は角速度センサ105の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図3を参照して上述したようにして、CPU120は撮像素子102からの読み出しタイミング及びラインメモリ104からの読み出しタイミングを制御して、画像を切り出して読み出すことにより手ぶれ補正を行う。このようにして切り出した1フレーム分の画像信号を画像メモリ110に記憶する。
画像メモリ110に記憶された画像信号は、垂直同期のタイミングで後段のカメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。ただし、この場合、図4(b)から分かるように、撮像素子蓄積スローシャッターモードでは撮像素子102の蓄積時間が通常撮影モードの2倍であるために、蓄積時間T1に対応する時間おきに画像が画像メモリ110に記憶されることになる。また、垂直同期の期間Tvが蓄積時間T2の1/2なので、同じ画像を2回繰り返し出力することになり、画像の更新周期が垂直同期の期間Tvの2回に1度になる。さらに、手ぶれ補正の周期も周期Tvの2回に1度になるために、手ぶれ補正の特性が通常撮影モードに比べて劣るが、暗い被写体を撮影する場合に、蓄積時間を通常撮影モードの2倍とすることで撮像素子102に蓄積される電荷量をより多くできるので、ノイズの少ない、より明るい画像を取得することができる。
(3)メモリ蓄積スローシャッターモード
最後に、図4(c)に示すメモリ蓄積スローシャッターモードの動作について説明する。メモリ蓄積スローシャッターモードは、被写体が暗く、撮像装置の揺れが大きい場合に設定されるモードである。
メモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間T1の間、撮像素子102を露光する。この蓄積時間T1の間に、CPU120は角速度センサ105の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図3を参照して上述したようにして、CPU120は撮像素子102からの読み出しタイミング及びラインメモリ104からの読み出しタイミングを制御して、画像を切り出して読み出すことにより手ぶれ補正を行う。このようにして切り出した1フレーム分の画像信号を画像メモリ110に記憶する。
その後、同様にして蓄積時間T1の間、撮像素子102を露光して手ぶれ補正した1フレーム分の画像信号を取得し、画像処理部112において画像メモリ110に記憶されている画像信号に加算する。加算した画像信号は、再び画像メモリ110に記憶される。
画像メモリ110に記憶された画像信号は、垂直同期のタイミングで後段のカメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。この場合、垂直同期の期間Tvは、各フレームの蓄積時間T1と同じである。しかしながら、画像メモリ110に加算画像信号が蓄積されるのは蓄積時間T1の2回に1回なので、同じ画像を2回繰り返し出力することになり、画像の更新周期が垂直同期の期間Tvの2回に1度になるが、暗い被写体を撮影する場合に、より明るい画像を取得することができる。
このように、メモリ蓄積スローシャッターモードでは、撮像素子蓄積スローシャッターモードのように撮像素子102に1度に長時間蓄積するのではなく、蓄積時間T1で読み出した画像信号を2フレーム分加算して撮像信号を生成するので、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなるが、手ぶれ補正を各フレーム毎に行うために、その特性は通常撮影モードと同等になり、カメラの揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。
このように、本第1の実施形態によれば、被写体の明るさ及び撮像装置の揺れの度合いに応じて画像読み出し及び手ぶれ補正の仕方を変えることにより、より高画質な画像を取得することができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第2の実施形態では、外部検出センサである角速度センサ105を用いて手ぶれ検出を行い、インターレース動画撮影を行う場合の動作における、図1で説明した通常撮影モード、撮像素子蓄積スローシャッターモード、及びメモリ蓄積スローシャッターモードのそれぞれの信号の流れやタイミングについて、図5を参照して説明する。なお、本第2の実施形態では、第1の実施形態において説明した図2に示すデジタルビデオカメラを使用し、図3を参照して説明した手ぶれ補正動作を行うものとし、それらの説明は省略する。
(1)通常撮影モード
最初に、図5(a)に示す通常撮影モードの動作について説明する。まず、撮像素子102は、蓄積時間T1の間、被写体からの光を光電変換して電荷を蓄積する。この蓄積時間T1の間に、CPU120は角速度センサ105の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図3を参照して上述したようにして、CPU120は撮像素子102からの読み出しタイミング及びラインメモリ104からの読み出しタイミングを制御して、画像を切り出して1ラインおきに読み出すことにより各フィールド画像の手ぶれ補正を行う。このようにして切り出した1フィールド分の画像信号(例えば、図5(a)の「1奇」)を画像メモリ110に記憶する。以降、直前の蓄積時間T1で蓄積した画像信号を読み出したラインと異なるラインの信号を読み出すことで、1フィールド分の画像信号(例えば、図5(a)の「2偶」、「3奇」、「4偶」等)を画像メモリ110に記憶する。ここで、「奇」は奇数フィールドを、「偶」は偶数フィールドを示している。
画像メモリ110に記憶された1フィールド分の画像信号は、後段のカメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な映像信号に変換された後、垂直同期のタイミングで奇数フィールドと偶数フィールドの画像信号が交互に不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、このときの垂直同期の期間Tvは、撮像素子102の蓄積時間T1に等しい。
(2)撮像素子蓄積スローシャッターモード
次に、図5(b)に示す撮像素子蓄積スローシャッターモードの動作について説明する。
撮像素子蓄積スローシャッターモードでは、通常撮影モードの2倍の蓄積時間T2の間、撮像素子102を露光する。この蓄積時間T2の間に、CPU120は角速度センサ105の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図3を参照して上述したようにして、CPU120は撮像素子102からの読み出しタイミング及びラインメモリ104からの読み出しタイミングを制御して、画像を切り出して1ラインおきに読み出すことにより各フィールド画像の手ぶれ補正を行う。このようにして切り出した1フィールド分の画像信号(例えば、図5(b)の「1奇」)を画像メモリ110に記憶する。以降、同様にして蓄積時間T2毎に画像を切り出し、1フィールド分の画像信号を画像メモリ110に記憶する。なお、図5(b)の例では奇数フィールドのみを読み出す場合を示しているが、偶数フィールドのみを読み出すようにしても構わない。
画像メモリ110に記憶された1フィールド分の画像信号は、後段のカメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な片フィールドの映像信号に変換されるとともに、この片フィールド(図5(b)の例では奇数フィールド)からもう一つのフィールド(図5(b)の例では偶数フィールド)の画像信号を生成され、垂直同期のタイミングで奇数フィールドと偶数フィールドの画像信号が交互に不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、この時の垂直同期の期間Tvは、蓄積時間T2の1/2であるが、片フィールド(図5(b)の例では奇数フィールド)からもう一つのフィールド(図5(b)の例では偶数フィールド)を生成するため、画像の更新周期は垂直同期の期間Tvと等しくなる。
手ぶれ補正の周期は垂直同期の期間Tvの2回に1度になるため、手ぶれ補正の特性が通常撮影モードに比べて劣るが、暗い被写体を撮影する場合に、蓄積時間を通常撮影モードの2倍とすることで撮像素子102に蓄積される電荷量をより多くしたので、ノイズの少ない、より明るい画像を取得することができる。
(3)メモリ蓄積スローシャッターモード
最後に、図5(c)に示すメモリ蓄積スローシャッターモードの動作について説明する。
メモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間T1の間、撮像素子102を露光する。この蓄積時間T1の間に、CPU120は角速度センサ105の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図3を参照して上述したようにして、CPU120は撮像素子102からの読み出しタイミング及びラインメモリ104からの読み出しタイミングを制御して、画像を切り出して1ラインおきに読み出すことにより各フィールド画像の手ぶれ補正を行う。このようにして切り出した1フィールド分の画像信号(例えば、図5(c)の「1奇」)を画像メモリ110に記憶する。なお、図5(c)の例では奇数フィールドのみを読み出す場合を示しているが、偶数フィールドのみを読み出すようにしても構わない。
その後、同様にして蓄積時間T1の間、撮像素子102を露光して手ぶれ補正した1フィールド分の画像信号(例えば、図5(c)の「1奇」)を取得し、画像処理部112において画像メモリ110に記憶されている画像信号に加算する。加算した画像信号(例えば、図5(c)の「1奇+2奇」)は、再び画像メモリ110に記憶される。
以降、同様にして、蓄積時間T1毎に画像を切り出し、1フィールド分の画像信号を画像メモリ110に記憶する動作と、読み出した画像信号を画像メモリ110にすでに記憶してある画像信号に加算してから再び画像メモリ110に記憶する動作とを交互に繰り返す。
なお、図5(c)の例では奇数フィールドのみを読み出す場合を示しているが、偶数フィールドのみを読み出すようにしても構わない。
このようにして、画像メモリ110に記憶された1フィールド分の画像信号は、後段のカメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な片フィールドの映像信号に変換されるとともに、この片フィールド(図5(c)の例では奇数フィールド)の画像信号(例えば、「1奇+2奇、奇」)からもう一つのフィールド(図5(c)の例では偶数フィールド)の画像信号(例えば、「1奇+2奇、偶」)が生成され、垂直同期のタイミングで不図示のディスプレイ等の画像出力装置に出力され、表示される。この場合、垂直同期の期間Tvは、蓄積時間T1と同じであるが、画像メモリ110に加算画像信号が蓄積されるのは垂直同期の期間Tvの2回に1回である。しかし、片フィールド(例えば、奇数フィールド)からもう一つのフィールド(例えば、偶数フィールド)を生成するため、画像の更新周期は垂直同期の期間Tvと等しくなる。
このように、メモリ蓄積スローシャッターモードでは、撮像素子蓄積スローシャッターモードのように撮像素子102で1度に長時間電荷を蓄積するのではなく、蓄積時間T1で読み出した画像信号を2フィールド分加算して撮像信号を生成するので、暗い被写体を撮影する場合に、より明るい画像を取得することができる。この場合、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなるが、手ぶれ補正を各フィールド毎に行うため、その特性は通常撮影モードと同等になり、撮像装置の揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。
本第3の実施形態では、外部検出センサである角速度センサ105を用いて手ぶれ検出を行い、プログレッシブ動画撮影を行う場合の動作における、図1で説明したメモリ蓄積スローシャッターモードの別の動作について、図6を参照して説明する。なお、本第3の実施形態では、第1の実施形態において説明した図2に示すデジタルビデオカメラを使用し、図3を参照して説明した手ぶれ補正動作を行うものとし、それらの説明は省略する。ただし、画像メモリ110は少なくとも2枚のフレーム画像の画像信号を格納するために十分な容量を備えているものとし、ここでは便宜上、第1フレームメモリ110a及び第2フレームメモリ110bと呼ぶ。
(3)メモリ蓄積スローシャッターモード
図6に示すメモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間T1の間、撮像素子102を露光する。この蓄積時間T1の間に、CPU120は角速度センサ105の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図3を参照して上述したようにして、CPU120は撮像素子102からの読み出しタイミング及びラインメモリ104からの読み出しタイミングを制御して、画像を切り出して読み出すことにより手ぶれ補正を行う。このようにして切り出した1フレーム分の画像信号(例えば、図6の「1」)を、第1フレームメモリ110aに記憶する。
次に、同様にして蓄積時間T1の間、撮像素子102を露光して手ぶれ補正した1フレーム分の画像信号(例えば、図6の「2」)を取得し、画像処理部112において第1フレームメモリ110aに記憶されている画像信号(例えば、図6の「1」)を読み出して加算し、加算した画像信号(例えば、図6の「1+2」)を第2フレームメモリ110bに記憶する。この加算処理と並行して、新たに取得した画像信号(例えば、図6の「2」)を第1フレームメモリ110aに記憶する。
このように、第1フレームメモリ110aに記憶された1フレーム前の画像信号に、新たに取得した画像信号を加算して第2フレームメモリ110bに記憶するとともに、新たに取得した画像信号を第1フレームメモリ110aに記憶することにより、第2フレームメモリ110bには、新たに取得した画像信号と、その1フレーム前に取得した画像信号とを加算した画像信号が記憶されることになる。
次に、垂直同期のタイミングで、第2フレームメモリ110bに記憶された画像信号を読み出してカメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な映像信号に変換した後、不図示のディスプレイ等の画像出力装置に出力され、表示される。
本第3の実施形態では、蓄積時間T1毎に第2フレームメモリ110bに新しい加算画像信号が記憶されるため、各垂直同期の期間Tv毎に画像が更新される。なお、蓄積時間T1で読み出した画像信号を2フレーム分加算して撮像信号を生成するので、暗い被写体を撮影する場合に、より明るい画像を取得することができるが、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなる。しかしながら、手ぶれ補正を各フレーム毎に行うために、その特性は通常撮影モードと同等になり、撮像装置の揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。
<第3の実施形態の変形例>
上記第3の実施形態では、画像メモリ110に2枚のフレーム画像を記憶する場合について説明したが、3枚以上のフレーム画像を記憶可能な容量を有する画像メモリ110を用いることにより、3枚以上のフレーム画像を加算することが可能になり、より暗い被写体を撮影する場合にも、通常撮影モードと同等の手ぶれ補正特性を保ったまま、より明るい画像を取得することができる。
(3)メモリ蓄積スローシャッターモード
図7は、プログレッシブ動画撮影を行った際のメモリ蓄積スローシャッターモードの別の動作を示す図で、通常撮影モードの4倍の露光時間分の画像信号を加算する場合の信号の流れ及びタイミングを表した図である。この場合、画像メモリ110は少なくとも4枚のフレーム画像の画像信号を格納するために十分な容量を備えているものとし、ここでは便宜上、第1フレームメモリ110a、第2フレームメモリ110b、第3フレームメモリ110c、第4フレームメモリ110dと呼ぶ。
図7に示すメモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間T1の間、撮像素子102を露光する。この蓄積時間T1の間に、CPU120は角速度センサ105の出力から手ぶれ情報を取得し、手ぶれ情報の平均値を算出する。この算出した値に基づいて、図3を参照して上述したようにして、CPU120は撮像素子102からの読み出しタイミング及びラインメモリ104からの読み出しタイミングを制御して、画像を切り出して読み出すことにより手ぶれ補正を行う。このようにして切り出した1フレーム分の画像信号(例えば、図7の「1」)を第1フレームメモリ110aに記憶する。
次に、同様にして蓄積時間T1の間、撮像素子102を露光して手ぶれ補正した1フレーム分の画像信号(例えば、図7の「2」)を取得し、画像処理部112において第1フレームメモリ110aに記憶されている画像信号(例えば、図7の「1」)を読み出して加算し、加算した画像信号(例えば、図7の「1+2」)を第2フレームメモリ110bに記憶する。この加算処理と並行して、新たに取得した画像信号(例えば、図7の「2」)を第1フレームメモリ110aに記憶する。
更に、同様にして蓄積時間T1の間、撮像素子102を露光して手ぶれ補正した1フレーム分の画像信号(例えば、図7の「3」)を取得し、画像処理部112において第1フレームメモリ110aに記憶されている画像信号(例えば、図7の「2」)を読み出して加算し、加算した画像信号(例えば、図7の「2+3」)を第2フレームメモリ110bに記憶する。また、画像処理部112において第2フレームメモリ110bに記憶されている画像信号(例えば、図7の「1+2」)を読み出して新たに取得した画像信号(例えば、図7の「3」)を加算し、加算した画像信号(例えば、図7の「1+2+3」)を第3フレームメモリ110dに記憶する。これらの加算処理と並行して、新たに取得した画像信号(例えば、図7の「3」)を第1フレームメモリ110aに記憶する。
更に、蓄積時間T1の間、撮像素子102を露光して手ぶれ補正した1フレーム分の画像信号(例えば、図7の「4」)を取得し、同様にして第1〜第3フレームメモリ110a〜110cに記憶された画像信号に加算し、加算した画像信号(例えば、図7の例では「3+4」、「2+3+4」、「1+2+3+4」)を第2〜第4フレームメモリ110b〜110dに記憶するとともに、新たに取得した画像信号(例えば、図7の「4」)を第1フレームメモリ110aに記憶する。
上記制御により、第4フレームメモリ110dには、新たに取得した画像信号と、その3フレーム前までに取得した画像信号すべてを加算した画像信号が記憶されることになる。なお、第4フレームメモリ110dからの画像信号の読み出しから表示までの処理は第3の実施形態と同様であるので、ここでは説明を省略する。
このように、本変形例におけるメモリ蓄積スローシャッターモードでは、蓄積時間T1で読み出した画像信号を4フレーム分加算して撮像信号を生成するので、より暗い被写体を撮影する場合に、明るい画像を取得することができるが、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなる。しかしながら、手ぶれ補正を各フレーム毎に行うために、その特性は通常撮影モードと同等になり、撮像装置の揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。
なお、4フレームに限るものではなく、画像メモリ110の容量に応じて、任意のフレーム数の画像信号を加算可能に制御できることは言うまでも無い。
また、第3の実施形態及びその変形例では、プログレッシブ動画撮影の場合について説明したが、第2の実施形態で説明したインターレース動画撮影にも適用可能であることは言うまでもない。
その場合、蓄積時間T1毎に偶数または奇数フィールドのいずれか一方から信号を読み出すように制御し、画像処理部112において加算した信号に基づいて、1フィールド期間おきにもう一方のフィールドの信号を生成し、この生成した1フィールド分の信号と、画像処理部112から出力された加算信号とを交互に出力するようにする。例えば、図7に示す例では、生成した信号を「’」で表すとすると、「1+2+3+4」、「(2+3+4+5)’」、「3+4+5+6」、「(4+5+6+7)’」といったように出力する。
なお、被写体が暗く、撮像装置の揺れが大きい場合に、メモリ蓄積スローシャッターモードに移行し、上述した第3の実施形態及びその変形例に示す制御を行う場合について説明したが、ユーザーが手動で上述した制御を行うように切り替えるように構成しても良い。
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。
図8は、本発明の第4の実施形態における撮像装置として、デジタルビデオカメラ(以下、「カメラ」と呼ぶ。)の構成を表すブロック図である。なお、第1の実施形態で説明した図2の構成と同様の構成には同じ符号を付し、説明を省略する。図8に示すカメラの構成では、角速度センサ105及びラインメモリ104が無く、画像ベクトル検出部801が加えられ、画像バス126に接続されているところが図2に示す構成と異なる。また、本第4の実施形態では、画像メモリ110は少なくとも3枚のフレーム画像分の画像信号を蓄積可能な容量を有し、ここでは便宜上、第1フレームメモリ110a、第2フレームメモリ110b、及び第3フレームメモリ110cと呼ぶ。なお、第1及び第2のフレームメモリ110a、110bは、それぞれ撮像素子102から読み出した信号を全て記憶可能な容量が必要であるが、第3フレームメモリ110cは、撮像素子102から読み出した信号の内、手ぶれ補正のために切り出して読み出した分の画像信号を記憶可能な容量であればよい。
まず、被写体からの光は、レンズ群101を通して撮像素子102上に結像される。撮像素子102上に結像された被写体像は光電変換され、CDS・A/D回路103にて、サンプルホールドされた後にアナログ信号からデジタル信号へと変換される。こうして得られたデジタル画像信号は、画像バス126へ流され、各フレーム画像の読み出し毎に第1フレームメモリ110a及び第2フレームメモリ110bのいずれかに交互に一時的に蓄積される。
画像ベクトル検出部801は、第1フレームメモリ110a及び第2フレームメモリ110bに一時的に蓄積された、連続的に得られた2つの画像を比較することで画像の動きベクトルを検出し、検出した動きベクトルから撮影に有害な画像の手ぶれ情報を検出する。
本第4の実施形態においても、図3(a)を参照して説明した画像切り出し方法と同様の概念による方法により手ぶれ補正を行うが、角速度センサ105の出力からの手ぶれ情報の代わりに、画像ベクトル検出回路801の出力から得られる水平方向と垂直方向の手ぶれ情報に基づいて手ぶれ補正を行うと共に、画像メモリ110に蓄積された撮像素子102のすべての画素の画像信号の内、V1からV2までの垂直位置及びH1からH2までの水平位置の画像信号のみを読み出すことで、手ぶれを補正する。
次に、画像ベクトル検出部801を用いて手ぶれ検出を行い、プログレッシブ動画撮影を行う場合の動作における、図1で説明した通常撮影モード、撮像素子蓄積スローシャッターモード、及びメモリ蓄積スローシャッターモードのそれぞれの信号の流れやタイミングについて、図9を参照して説明する。
(1)通常撮影モード
最初に、図9(a)に示す通常撮影モードの動作について説明する。まず、撮像素子102は、蓄積時間T1の間、被写体からの光を光電変換して電荷を蓄積し、蓄積時間T1終了後、電荷信号を撮像素子102からCDS・A/D103を介して第1フレームメモリ110a及び第2フレームメモリ110bに交互に読み出す動作を繰り返し行う。画像ベクトル検出回路801は、新たに読み出した画像(例えば、第2フレームメモリ110bに記憶された「2」)と、1フレーム前に読み出した画像(例えば、第1フレームメモリ110aに記憶された「1」)とを比較して動きベクトルを検出し、検出した動きベクトルに基づいて、新たに読み出した画像(上述の例の場合、「2」)の手ぶれ情報を検出する。なお、図9の手ぶれ検出の各パルス横の( )の数字は、手ぶれ情報を検出する画像を示している。
次に、垂直同期のタイミングで、検出した手ぶれ情報に基づいて、第1フレームメモリ110aまたは第2フレームメモリ110bの水平及び垂直方向の読み出し位置を制御して、新たに読み出した画像(例えば、フレームメモリ110bに記憶された「2」)を切り出して読み出すことにより手ぶれ補正を行い、カメラ信号処理部111へと画像信号を送る。
画像信号は、カメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、このときの垂直同期の期間Tvは、撮像素子102の蓄積時間T1に等しい。上述した読み出しから表示出力までの処理を繰り返すことにより、動画の撮影が行われる。
(2)撮像素子蓄積スローシャッターモード
次に、図9(b)に示す撮像素子蓄積スローシャッターモードの動作について説明する。
撮像素子蓄積スローシャッターモードでは、通常撮影モードの2倍の蓄積時間T2の間、撮像素子102を露光して電荷を蓄積し、蓄積時間T2終了後、電荷信号を撮像素子102からCDS・A/D103を介してフレームメモリ110a及びフレームメモリ110bに交互に読み出す動作を繰り返し行う。画像ベクトル検出回路801は、新たに読み出した画像(例えば、第2フレームメモリ110bに記憶された「2」)と、1フレーム前に読み出した画像(例えば、第1フレームメモリ110aに記憶された「1」)とを比較して動きベクトルを検出し、検出した動きベクトルに基づいて、新たに読み出した画像(上述の例の場合、画像「2」)の手ぶれ情報を検出する。
次に、垂直同期のタイミングで、検出した手ぶれ情報に基づいて、第1フレームメモリ110aまたは第2フレームメモリ110bの水平及び垂直方向の読み出し位置を制御して、新たに読み出した画像(例えば、フレームメモリ110bに記憶された「2」)を切り出して読み出すことにより手ぶれ補正を行い、カメラ信号処理部111へと画像信号を送る。
画像信号は、カメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。ただし、この場合、図9(b)から分かるように、撮像素子蓄積スローシャッターモードでは撮像素子102の蓄積時間が通常撮影モードの2倍であるために、蓄積時間T1に対応する時間おきに画像がフレームメモリ110aまたはフレームメモリ110bに記憶されることになる。また、垂直同期の期間Tvが蓄積時間T2の1/2なので、同じ画像を2回繰り返し出力することになり、画像の更新周期が垂直同期の期間Tvの2回に1度になる。さらに、手ぶれ補正の周期も2V周期に一回になるために、手ぶれ補正の特性が通常撮影モードに比べて劣るが、暗い被写体を撮影する場合に、蓄積時間を通常撮影モードの2倍とすることで撮像素子102に蓄積される電荷量をより多くできるので、ノイズの少ない、より明るい画像を取得することができる。
(3)メモリ蓄積スローシャッターモード
最後に、図9(c)に示すメモリ蓄積スローシャッターモードの動作について説明する。
メモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間T1の間、撮像素子102を露光して電荷を蓄積し、蓄積時間T1終了後、電荷信号を撮像素子102からCDS・A/D103を介して第1フレームメモリ110a及び第2フレームメモリ110bに交互に読み出す動作を繰り返し行う。画像ベクトル検出回路801は、新たに読み出し画像(例えば、第2フレームメモリ110bに記憶された「2」)と、1フレーム前に読み出した画像(例えば、第1フレームメモリ110aに記憶された「1」)とを比較して動きベクトルを検出し、動きベクトルに基づいて、新たに読み出した画像(上述の例の場合、「2」)の手ぶれ情報を検出する。
次に、垂直同期のタイミングで、検出した手ぶれ情報に基づいて、第1フレームメモリ110aまたは第2フレームメモリ110bの水平及び垂直方向の読み出し位置を制御して、新たに読み出した画像(例えば、第2フレームメモリ110bに記憶された「2」)を切り出して読み出すことにより手ぶれ補正を行う。
切り出した画像(例えば、第1フレームメモリ110aに記憶された「1’」)は、第3フレームメモリ110cに記憶し、今回切り出した画像信号(例えば、「2’」)と、1フレーム前に切り出した画像信号(例えば、「1’」)とを画像処理部112により加算し、加算した画像信号(例えば、「1’+2’」)を第3フレームメモリ110cに再び記憶する。
第3フレームメモリ110cに記憶された画像信号は、垂直同期のタイミングで後段のカメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な映像信号に変換された後、不図示のディスプレイ等の画像出力装置に出力され、表示される。この場合、垂直同期の期間Tvは、各フレームの蓄積時間T1と同じである。しかしながら、第3フレームメモリ110cに加算画像信号が蓄積されるのは蓄積時間T1の2回に1回なので、同じ画像を2回繰り返し出力することになり、画像の更新周期が垂直同期の期間の2回に1度になるが、暗い被写体を撮影する場合に、より明るい画像を取得することができる。
このように、メモリ蓄積スローシャッターモードでは、撮像素子蓄積スローシャッターモードのように撮像素子102に1度に長時間蓄積するのではなく、蓄積時間T1で読み出した画像信号を2フレーム分加算して撮像信号を生成するので、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなるが、手ぶれ補正を各フレーム毎に行うために、その特性は通常撮影モードと同等になり、カメラの揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。
<第5の実施形態>
次に、本発明の第5の実施形態について説明する。
本第5の実施形態では、画像ベクトル検出部801を用いて手ぶれ検出を行い、インターレース動画撮影を行う場合の動作における、図1で説明した通常撮影モード、撮像素子蓄積スローシャッターモード、及びメモリ蓄積スローシャッターモードのそれぞれの信号の流れやタイミングについて、図10を参照して説明する。なお、本第5の実施形態では、第4の実施形態において説明した図8に示すデジタルビデオカメラを使用し、図3(a)を参照して説明した手ぶれ補正動作を行うものとし、説明を省略する。ただし、本第5の実施形態では、インターレース読み出しのため、画像メモリ110は少なくとも3枚のフィールド画像分の画像信号を蓄積できれば良く、ここでは便宜上、第1〜第3フィールドメモリ210a〜210c(不図示)と呼び、第1〜第3フレームメモリ110a〜110cの代わりに用いるものとする。
(1)通常撮影モード
最初に、図10(a)に示す通常撮影モードの動作について説明する。まず、撮像素子102は、蓄積時間T1の間、被写体からの光を光電変換して電荷を蓄積し、蓄積時間T1終了後、1ラインおきに蓄積した電荷信号を読み出すことにより1フィールド分の電荷信号を撮像素子102からCDS・A/D103を介して第1フィールドメモリ210a及び第2フィールドメモリ210bに交互に読み出す動作を繰り返し行う。以降、直前の蓄積時間T1で蓄積した画像信号を読み出したラインと異なるラインの信号を読み出すことで、1フィールド分の画像信号(例えば、図10(a)の「1奇」、「2偶」、「3奇」、「4偶」等)を第1フィールドメモリ210a及び第2フィールドメモリ210bに交互に記憶する。ここで、「奇」は奇数フィールドを、「偶」は偶数フィールドを示している。
画像ベクトル検出回路801は、新たに読み出したフィールド画像(例えば、第2フィールドメモリ210bに記憶された「2偶」)と、1フィールド前に読み出したフィールド画像(例えば、第1フィールドメモリ210aに記憶された「1奇」)とを比較して動きベクトルを検出し、検出した動きベクトルに基づいて、新たに読み出したフィールド画像(例えば、第2フィールドメモリ210bに記憶された「2偶」)の手ぶれ情報を検出する。次に、垂直同期のタイミングでこの手ぶれ情報に基づいて、フィールドメモリ210aまたはフィールドメモリ210bの水平及び垂直方向の読み出し位置を制御して、新たに読み出した画像(例えば、第2フィールドメモリ210bに記憶された「2偶」)を切り出して読み出すことにより手ぶれ補正を行い、カメラ信号処理部111へと画像信号を送る。
画像信号は、カメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な映像信号に変換された後、奇数フィールドと偶数フィールドの画像信号が交互に不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、このときの垂直同期の期間Tvは、撮像素子102の蓄積時間T1に等しい。
(2)撮像素子蓄積スローシャッターモード
次に、図10(b)に示す撮像素子蓄積スローシャッターモードの動作について説明する。
撮像素子蓄積スローシャッターモードでは、通常撮影モードの2倍の蓄積時間T2の間、撮像素子102を露光して電荷を蓄積し、蓄積時間T2終了後、1ラインおきに蓄積した電荷信号を読み出すことにより1フィールド分の電荷信号(例えば、図10(b)の「1奇」、「2奇」、「3奇」)を撮像素子102からCDS・A/D103を介して第1フィールドメモリ210a及び第2フィールドメモリ210bに交互に読み出す動作を繰り返し行う。なお、図10(b)の例では奇数フィールドのみを読み出す場合を示しているが、偶数フィールドのみを読み出すようにしても構わない。
画像ベクトル検出回路801は、新たに読み出したフィールド画像(例えば、第2フィールドメモリ210bに記憶された「2奇」)と、1フレーム前に読み出したフィールド画像(例えば、第1フィールドメモリ210aに記憶された「1奇」)とを比較して動きベクトルを検出し、検出した動きベクトルに基づいて、新たに読み出したフィールド画像(例えば、第2フィールドメモリ210bに記憶された「2奇」)の手ぶれ情報を検出する。次に、垂直同期のタイミングでこの手ぶれ情報に基づいて、フィールドメモリ210aまたはフィールドメモリ210bの水平及び垂直方向の読み出し位置を制御して、新たに読み出した画像(例えば、第2フィールドメモリ210bに記憶された「2奇」)を切り出して読み出すことにより手ぶれ補正を行い、カメラ信号処理部111へと画像信号を送る。
画像信号は、カメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な片フィールドの映像信号に変換されるとともに、この片フィールド(図10(b)の例では奇数フィールド)の画像信号からもう一つのフィールド(図10(b)の例では偶数フィールド)の画像信号が生成され、垂直同期のタイミングで不図示のディスプレイ等の画像出力装置に出力され、表示される。なお、この時の垂直同期の期間Tvは、蓄積時間T2の1/2であるが、片フィールド(図10(b)の例では奇数フィールド)からもう一つのフィールド(図10(b)の例では偶数フィールド)を生成するため、画像の更新周期は垂直同期の期間Tvと等しくなる。
なお、手ぶれ補正の周期は2垂直周期に1回になるため、手ぶれ補正の特性が通常撮影モードに比べて劣るが、暗い被写体を撮影する場合に、蓄積時間を通常撮影モードの2倍とすることで撮像素子102に蓄積される電荷量をより多くしたので、ノイズの少ない、より明るい画像を取得することができる。
(3)メモリ蓄積スローシャッターモード
最後に、図10(c)に示すメモリ蓄積スローシャッターモードの動作について説明する。
メモリ蓄積スローシャッターモードでは、通常撮影モードと同じ蓄積時間T1の間、撮像素子102を露光して電荷を蓄積し、蓄積時間T1終了後、1ラインおきに蓄積した電荷信号を読み出すことにより1フィールド分の電荷信号(例えば、図10(c)の「1奇」、「2奇」、「3奇」等)を撮像素子102からCDS・A/D103を介して第1フィールドメモリ210a及び第2フィールドメモリ210bに交互に読み出す動作を繰り返し行う。なお、図10(c)の例では奇数フィールドのみを読み出す場合を示しているが、偶数フィールドのみを読み出すようにしても構わない。
その後、画像ベクトル検出回路801は、新たに読み出しフィールド画像(例えば、第2フィールドメモリ210bに記憶された「2奇」)と、1フィールド前に読み出したフィールド画像(例えば、フィールドメモリ210aに記憶された「1奇」)とを比較して動きベクトルを検出し、動きベクトルに基づいて、新たに読み出したフィールド画像(例えば、第2フィールドメモリ210bに記憶された「2奇」)の手ぶれ情報を検出する。次に、垂直同期のタイミングでこの手ぶれ情報に基づいて、第1フィールドメモリ210aまたは第2フィールドメモリ210bの水平及び垂直方向の読み出し位置を制御して、新たに読み出したフィールド画像(例えば、第2フィールドメモリ210bに記憶された「2奇」)を切り出して読み出すことにより手ぶれ補正を行う。
切り出した画像(例えば、第1フィールドメモリ210aに記憶された「1’奇」)は、第3フィールドメモリ210cに記憶し、今回切り出した画像信号(例えば、第2フィールドメモリ210bに記憶された「2’奇」)と、1フィールド前に切り出した画像信号(例えば、第1フィールドメモリ210aに記憶された「1’奇」)とを画像処理部112により加算し、加算した画像信号(例えば、「1’奇+2’奇」)を第3フィールドメモリ210cに再び記憶する。
第3フィールドメモリ210cに記憶された1フィールド分の画像信号は、垂直同期のタイミングで後段のカメラ信号処理部111、画像処理部112、映像出力部113を介して標準的な片フィールドの映像信号に変換されるとともに、この片フィールド(図10(c)の例では奇数フィールド)の画像信号(例えば、「1’奇+2’奇、奇」)からもう一つのフィールド(図10(c)の例では偶数フィールド)の画像信号(例えば、「1’奇+2’奇、偶」)が生成され、不図示のディスプレイ等の画像出力装置に出力され、表示される。この場合、垂直同期の期間Tvは、各フィールドの蓄積時間T1と同じである。なお、第3フィールドメモリ210cに加算画像信号が蓄積されるのは垂直同期の期間Tvの2回に1回だが、片フィールド(例えば、奇数フィールド)からもう一つのフィールド(例えば、偶数フィールド)を生成するため、画像の更新周期は垂直同期の期間Tvと等しくなる。
このように、メモリ蓄積スローシャッターモードでは、撮像素子蓄積スローシャッターモードのように撮像素子102に1度に長時間蓄積するのではなく、蓄積時間T1で読み出した画像信号を2フィールド分加算して撮像信号を生成するので、暗い被写体を撮影する場合に、より明るい画像を取得することができるが、ノイズ量が撮像素子蓄積スローシャッターモードに比べて多くなる。しかしながら、手ぶれ補正を各フィールド毎に行うために、その特性は通常撮影モードと同等になり、撮像装置の揺れが大きい場合であっても手ぶれ補正の効果の高い画像を取得することができる。
<他の実施形態>
なお、本発明は、複数の機器(例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、デジタルビデオカメラ、デジタルスチルカメラ、カメラ付き形態端末など)に適用してもよい。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ROM、RAM、磁気テープ、不揮発性のメモリカード、CD−ROM、CD−R、DVD、光ディスク、光磁気ディスク、MOなどが考えられる。また、LAN(ローカル・エリア・ネットワーク)やWAN(ワイド・エリア・ネットワーク)などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明の実施の形態における撮影モードの判定処理を示すフローチャートである。 本発明の第1乃至第3の実施形態における撮像装置の構成を示すブロック図である。 本発明の実施の形態における手ぶれ補正処理の概念を説明する図である。 本発明の第1の実施形態における画像信号の読み出し及び信号処理のタイミングを説明する図である。 本発明の第2の実施形態における画像信号の読み出し及び信号処理のタイミングを説明する図である。 本発明の第3の実施形態における画像信号の読み出し及び信号処理のタイミングを説明する図である。 本発明の第3の実施形態の変形例における画像信号の読み出し及び信号処理のタイミングを説明する図である。 本発明の第4及び第5の実施形態における撮像装置の構成を示すブロック図である。 本発明の第4の実施形態における画像信号の読み出し及び信号処理のタイミングを説明する図である。 本発明の第5の実施形態における画像信号の読み出し及び信号処理のタイミングを説明する図である。
符号の説明
101 レンズ群
102 撮像素子
103 CDS・A/D回路
104 ラインメモリ
105 角速度センサ
110 画像メモリ
111 カメラ信号処理回路
112 画像処理回路
113 映像出力回路113
120 CPU
121 バスブリッジ
123 フラッシュメモリ
124 CPUメモリ
125 CPUバス
126 画像バス
801 画像ベクトル検出部

Claims (11)

  1. 撮像手段を有する撮像装置であって、
    前記撮像手段を露光し、所定周期で画像を読み出す駆動手段と、
    前記所定周期で読み出された複数の画像の相関に基づいて、前記複数の画像それぞれからその一部を選択することにより画像間のぶれを補正するぶれ補正手段と、
    前記ぶれ補正手段で画像間のぶれが補正された前記複数の像のそれぞれを1枚の画像として、前記所定周期で逐次出力する第1の制御手段と、
    前記ぶれ補正手段で画像間のぶれが補正された前記複数の像のうち、前記所定周期で、最新のn(nは2以上の自然数)周期分の画像を加算して1枚の画像を生成し、該生成した画像を前記所定周期で逐次出力する第2の制御手段と
    を有することを特徴とする撮像装置。
  2. 測光手段と、
    前記第1の制御手段により画像を出力するか、もしくは前記第2の制御手段により画像を出力するかを前記測光手段による測光の結果に応じて切り換える切り換え手段と
    を更に有することを特徴とする請求項1に記載の撮像装置。
  3. 前記第2の制御手段は、前記測光手段による測光の結果に応じて、前記nを決定することを特徴とする請求項2に記載の撮像装置。
  4. 前記駆動手段は、撮像手段からプログレッシブ読み出しを行うことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記駆動手段は、撮像手段からインターレース読み出しを行い、前記第2の制御手段はいずれか一方のフィールドの画像を前記所定周期で読み出すように制御するとともに、前記最新のn(nは2以上の自然数)周期分の画像を加算して得られた、前記所定周期で逐次出力される画像の内、1所定周期おきに得られる像に基づいて他方のフィールドの画像を生成し、当該生成した画像と、前記加算して得られた画像とを前記所定周期で交互に出力するように制御することを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  6. 前記撮像装置のぶれ量を検出するぶれ量検出手段をさらに有し、
    前記ぶれ補正手段は、前記ぶれ量検出手段により検出されたぶれ量に応じて、前記各画像から選択する部分を決定することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
  7. 前記ぶれ量検出手段は、角速度センサであることを特徴とする請求項6に記載の撮像装置。
  8. 前記ぶれ量検出手段は、前記複数の画像間における動きベクトルを検出することでぶれ量を検出することを特徴とする請求項6に記載の撮像装置。
  9. 撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段を露光し、所定周期で画像を読み出す撮像工程と、
    前記所定周期で読み出された複数の画像の相関に基づいて、前記複数の画像それぞれからその一部を選択することにより画像間のぶれを補正するぶれ補正工程と、
    前記ぶれ補正工程で画像間のぶれが補正された前記複数の像のそれぞれを1枚の画像として、前記所定周期で逐次出力する第1の出力工程と、
    前記ぶれ補正工程で画像間のぶれが補正された前記複数の像のうち、前記所定周期で、最新のn(nは2以上の自然数)周期分の画像を加算して1枚の画像を生成し、該生成した画像を前記所定周期で逐次出力する第2の出力工程と
    を有することを特徴とする制御方法。
  10. 情報処理装置に、請求項9に記載の制御方法の各工程を実行させるためのプログラム。
  11. 請求項10に記載のプログラムを格納したことを特徴とする情報処理装置が読み取り可能な記憶媒体。
JP2004377241A 2004-12-27 2004-12-27 撮像装置及び制御方法 Expired - Fee Related JP4390274B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004377241A JP4390274B2 (ja) 2004-12-27 2004-12-27 撮像装置及び制御方法
CNB200510023070XA CN100438576C (zh) 2004-12-27 2005-12-26 摄像装置和控制方法
US11/320,307 US7509039B2 (en) 2004-12-27 2005-12-27 Image sensing apparatus with camera shake correction function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004377241A JP4390274B2 (ja) 2004-12-27 2004-12-27 撮像装置及び制御方法

Publications (3)

Publication Number Publication Date
JP2006186593A JP2006186593A (ja) 2006-07-13
JP2006186593A5 JP2006186593A5 (ja) 2008-02-21
JP4390274B2 true JP4390274B2 (ja) 2009-12-24

Family

ID=36611643

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004377241A Expired - Fee Related JP4390274B2 (ja) 2004-12-27 2004-12-27 撮像装置及び制御方法

Country Status (3)

Country Link
US (1) US7509039B2 (ja)
JP (1) JP4390274B2 (ja)
CN (1) CN100438576C (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136793B2 (ja) * 2003-05-29 2008-08-20 キヤノン株式会社 撮像装置および撮像装置の制御方法
US7714890B2 (en) * 2005-04-26 2010-05-11 Olympus Imaging Corp. Image pickup apparatus and method for controlling pixel reading using a shake determination
US7593040B2 (en) * 2006-01-30 2009-09-22 Omnivision Technologies, Inc. Image anti-shake in digital cameras
JP4483841B2 (ja) 2006-09-06 2010-06-16 カシオ計算機株式会社 撮像装置
TW200926765A (en) * 2007-12-14 2009-06-16 Altek Corp Method for processing an interlaced scanning image
JP4887275B2 (ja) * 2007-12-27 2012-02-29 富士フイルム株式会社 撮像装置及びそのシャッタ駆動モード選択方法
JP4656168B2 (ja) * 2008-03-05 2011-03-23 カシオ計算機株式会社 画像合成装置
WO2009145201A1 (ja) * 2008-05-27 2009-12-03 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
JP5159461B2 (ja) * 2008-06-20 2013-03-06 三洋電機株式会社 画像処理装置、画像処理方法及び撮像装置
JP5548552B2 (ja) * 2010-08-03 2014-07-16 キヤノン株式会社 撮像装置
US9762848B2 (en) * 2013-03-15 2017-09-12 Google Inc. Automatic adjustment of video orientation
JP6341691B2 (ja) * 2014-02-26 2018-06-13 キヤノン株式会社 像振れ補正装置およびその制御方法、光学機器、撮像装置
KR101689665B1 (ko) * 2014-07-04 2016-12-26 삼성전자 주식회사 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치
US9860447B1 (en) * 2014-09-29 2018-01-02 Apple Inc. Calibration of optical image stabilization module with motion sensor using image comparisons
CN107534722B (zh) * 2015-03-31 2019-09-20 华为技术有限公司 一种终端设备和拍照的方法
US9912868B2 (en) * 2015-09-15 2018-03-06 Canon Kabushiki Kaisha Image-blur correction apparatus, tilt correction apparatus, method of controlling image-blur correction apparatus, and method of controlling tilt correction apparatus
WO2017090986A1 (en) * 2015-11-23 2017-06-01 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling electronic apparatus thereof
CN105847686B (zh) * 2016-04-01 2019-10-15 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3200089B2 (ja) * 1991-06-21 2001-08-20 キヤノン株式会社 動きベクトル検出装置及び振れ補正装置
JP3103897B2 (ja) * 1991-03-19 2000-10-30 ソニー株式会社 手振れ補正装置および手振れ補正方法
JP3581374B2 (ja) 1992-09-09 2004-10-27 キヤノン株式会社 撮像装置
JPH0698246A (ja) 1992-09-11 1994-04-08 Canon Inc 振れ補正装置
JPH09261526A (ja) * 1996-03-19 1997-10-03 Olympus Optical Co Ltd 撮像装置
JPH1175106A (ja) * 1997-08-27 1999-03-16 Toshiba Corp 静止画カメラ
JPH11252445A (ja) 1998-02-26 1999-09-17 Sony Corp 撮像装置
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP4094253B2 (ja) * 2001-07-12 2008-06-04 オリンパス株式会社 撮像装置
US20030076408A1 (en) * 2001-10-18 2003-04-24 Nokia Corporation Method and handheld device for obtaining an image of an object by combining a plurality of images
US7379094B2 (en) * 2002-04-18 2008-05-27 Olympus Corporation Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range
US7352390B2 (en) * 2003-10-08 2008-04-01 Hewlett-Packard Development Company, L.P. Digital camera for capturing image data with rapid response between activating a capture trigger and capturing image data
JP4522207B2 (ja) * 2004-09-17 2010-08-11 キヤノン株式会社 カメラシステム、カメラ本体及び交換レンズ

Also Published As

Publication number Publication date
US20060140604A1 (en) 2006-06-29
CN1798263A (zh) 2006-07-05
US7509039B2 (en) 2009-03-24
JP2006186593A (ja) 2006-07-13
CN100438576C (zh) 2008-11-26

Similar Documents

Publication Publication Date Title
JP4434939B2 (ja) 撮像装置及びその制御方法
JP4390274B2 (ja) 撮像装置及び制御方法
US8848097B2 (en) Image processing apparatus, and method, for providing special effect
US8072497B2 (en) Imaging apparatus and recording medium
JP4441919B2 (ja) 撮像装置及びそのプログラム
EP1856909B1 (en) Moving image playback device with camera-shake correction function
JP4473363B2 (ja) 手振れ補正装置およびその補正方法
JP2006317848A (ja) 静止画撮像装置
JP2011135152A (ja) 撮像装置及び撮像方法
JP2009077272A (ja) 撮像装置及びそのプログラム
JP2009194770A (ja) 撮像装置、動画再生装置及びそのプログラム
JP4748375B2 (ja) 撮像装置、画像再生装置及びそのプログラム
JP2006030972A (ja) 撮像装置及び撮像方法
EP3799416B1 (en) Image processing apparatus and method, and image capturing apparatus
JP6360409B2 (ja) 撮像装置、撮像方法
JP5131554B2 (ja) 撮像装置、及びプログラム
JP4781147B2 (ja) 撮像装置及び画像処理方法
JP2007214666A (ja) 動画撮影機能付デジタルカメラ
JP6797566B2 (ja) 撮像装置、撮像装置の制御方法、および、画像処理装置
JP6385114B2 (ja) 撮像装置およびその制御方法
JP2007274731A (ja) 手振れ補正方法
JP2016140057A (ja) 撮像装置
JPH10164412A (ja) ディジタルスチルカメラ
JP2016134892A (ja) 撮像装置
JP2010093492A (ja) 撮像装置および撮像装置用プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071226

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091005

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4390274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees