JP3992352B2

JP3992352B2 - 電子静止画システムにおける手振れ補正装置及び方法

Info

Publication number: JP3992352B2
Application number: JP06587498A
Authority: JP
Inventors: 茂樹石塚
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-03-16
Filing date: 1998-03-16
Publication date: 2007-10-17
Anticipated expiration: 2018-03-16
Also published as: JPH11266392A

Description

【０００１】
【発明の属する技術分野】
本発明は、電子スチルカメラやディジタルスチルカメラに適用して好適な手振れ補正装置及び手振れ補正方法に関する。
【０００２】
【従来の技術】
ビデオカメラ（カメラ一体型のビデオテープレコーダ）の手振れ補正方式のひとつに、電子的な手振れ補正方式がある。この方式は、角速度センサ等による手振れの検出に基づいて縦，横方向の手振れ補正量を算出し、この縦，横方向の補正量の情報を１フィールド期間（ＮＴＳＣ方式では１／６０秒）毎にカメラ内のＣＣＤ駆動回路，カメラ信号処理回路にそれぞれ送ることにより、ＣＣＤ撮像素子の垂直転送ＣＣＤの駆動を制御するとともにカメラ信号処理回路内のラインメモリを制御するようにしたものである。ＣＣＤ撮像素子には、映像信号に対応する有効画角よりも大きな撮像領域を設けており、垂直転送ＣＣＤ及びラインメモリの処理により、撮像領域の中から有効画角の切り出しが行われる。
【０００３】
図４は、この有効画角の切り出しまでの過程の一例を略示したものである。角速度センサによって検出された手振れ量を表す手振れ信号（同図Ａ）が、垂直駆動パルスＶＤ（同図Ｃ）に同期して１フィールド期間毎にサンプリングされ（同図Ｂ）、このサンプリング結果に基づいてＣＣＤ撮像素子の撮像領域２０の中から有効画角２０ａが切り出される（同図Ｄ）。
【０００４】
ところで、ビデオカメラにおける各種の処理方式は、その多くが、フロッピディスク等を記録メディアとする電子スチルカメラや、メモリカード等のディジタル型の記録メディアを用いるディジタルスチルカメラのような、電子的に静止画を撮影するシステム（電子静止画システムと呼ぶことにする）でも採用されている。手振れ補正機能については現在のところ電子静止画システムには搭載されていないが、この機能を電子静止画システムに搭載しようとした場合には、ビデオカメラにおける電子的手振れ補正方式をそのまま採用することがやはりひとつの方法であると考えられる。
【０００５】
【発明が解決しようとする課題】
しかし、こうした従来の電子的手振れ補正方式では、有効画角よりも大きな撮像領域をＣＣＤ撮像素子に設けなければならないので、同じ撮像面積で比較すると、有効画角に等しい撮像領域を有するＣＣＤ撮像素子よりも、実際に映像信号を得るために使用できる画素数が少なくなる。従って、そのことが、撮像面積が一層小型化される傾向のもとで、高画質化に対する障壁となってしまうことは否めない。
【０００６】
本発明は上述の点に鑑みてなされたもので、特に電子静止画システムを対象として、有効画角よりも大きな撮像領域をＣＣＤ撮像素子に設ける必要をなくした電子的手振れ補正方式の手振れ補正装置及び手振れ補正方法を提供しようとするものである。
【０００７】
【課題を解決するための手段】
本発明に係る電子静止画システムにおける手振れ補正装置は、角速度センサの検出出力に基づき手振れ量を検出する手振れ検出手段と、この手振れ検出手段によって検出された手振れ量から手振れ信号を生成する手振れ信号生成手段と、この手振れ信号生成手段により生成される手振れ信号のレベルの中心値を求め、その中心値を補正目標値として設定する目標値設定手段と、この手振れ検出手段によって検出された手振れ量に応じて、撮像素子を露光する開始時刻と終了時刻とを制御する露光制御手段とを備え、この露光制御手段は、手振れ信号のレベルがこの目標値設定手段により設定された補正目標値に一致したタイミングで露光を開始させることを特徴としている。また、本発明に係る電子静止画システムにおける手振れ補正方法は、角速度センサの検出出力に基づき手振れ量を検出する第１ステップと、この第１ステップによって検出した手振れ量から手振れ信号を生成する第２ステップと、この第２ステップにより生成されるこの手振れ信号のレベルの中心値を求め、その中心値を補正目標値として設定する第３ステップと、この第１ステップによって検出した手振れ量に応じて、撮像素子を露光する開始時刻と終了時刻とを制御する第４ステップとを有し、この第４ステップでは、手振れ信号のレベルがこの第３ステップにより設定した補正目標値に一致したタイミングで露光を開始させることを特徴としている。
【０００８】
この手振れ補正装置によって手振れが補正される原理を、図３を参照して説明する。１フィールド期間（ここでは１／６０秒とする）に亘る露光は、１／６０秒よりも十分短い時間Δｔの間隔毎の瞬時の露光の集合とみなすこともできる。この見地からは、図３Ａの手振れ信号に表されるような手振れが発生しているときには、これらの瞬時の露光により、図３Ｃに例示するように、各フィールド期間内にそれぞれ被写体位置の異なる多数の画面が存在することになる。
【０００９】
そこで、図３Ａに例示するように、手振れ検出手段で検出された手振れ量を表す手振れ信号が中心レベルｃにあるタイミングにのみ露光を行うようにすれば、図３Ｃに斜線で示したような被写体位置の安定した画面のみが得られるようになるので、手振れを抑制した静止画を撮影することができる。
【００１０】
本発明に係る手振れ補正装置の露光制御手段は、この例のように、手振れ量に応じた露光の開始時刻と終了時刻との制御を行うものである。同様に、本発明に係る手振れ補正方法の第２ステップでも、この例のように、手振れ量に応じた露光の開始時刻と終了時刻との制御を行う。これにより、従来のビデオカメラにおける電子的手振れ補正方式のようにＣＣＤ撮像素子に有効画角よりも大きな撮像領域を設けなくても手振れが電子的に補正されるようになるので、撮像面積の小型化の傾向のもとで、一層の高画質化が可能になる。
【００１１】
しかも、この露光制御は、ＣＣＤ駆動回路からＣＣＤ撮像素子へのパルスの供給を制御すること（例えば、電子シャッタ機能を搭載した電子静止画システムにおいて、撮像素子を露光するタイミング以外では、電子シャッタ動作のための掃き出しパルスを撮像素子に供給させ続けること等）のみによって実現可能であり、従来のビデオカメラにおける電子的手振れ補正方式のようなカメラ信号処理回路内のラインメモリの制御は不要である。従って、従来の電子的手振れ補正方式よりも一層簡単な処理によって手振れ補正を行えると共に、安価に実現可能である。
【００１２】
ちなみに、こうした露光制御を行うと、露光と次の露光との間の間隔が手振れの状態に応じて一定でなくなるので、ＣＣＤ撮像素子の出力信号に基づいて動画像を得ようとする場合には、動きの不連続な（ぎこちない）画像が得られることもある。しかし、静止画用の露光は一度の露光で完了するので、このように露光の間隔が不規則化しても画質は全く劣化することはない。
【００１３】
尚、露光制御手段は、手振れ量が所定の範囲内にあるタイミングでの手振れ量の変化率に応じて、撮像素子を露光する期間の長さを決定するものであることが好適である。そうした場合には、手振れが速く発生するときには露光期間を短くすること等が可能になるので、手振れを一層よく抑制した静止画を撮影することができるようになる。
【００１４】
【発明の実施の形態】
図１は、本発明を適用したディジタルスチルカメラの回路構成の一部を示すブロック図である。ＣＣＤ駆動回路１では、同期信号発生器１ａが発生する水平駆動パルスＨＤや垂直駆動パルスＶＤに同期して、タイミングジェネレータ１ｂが、ＣＣＤ撮像素子２を駆動するのに必要な各種パルス（フォトダイオードに蓄積された信号電荷を垂直ＣＣＤに転送させるセンサゲートパルスや、垂直ＣＣＤ内で信号電荷を転送させる垂直転送パルスや、垂直ＣＣＤから水平ＣＣＤに信号電荷を転送させる垂直水平変換パルスや、水平ＣＣＤ内で信号電荷を転送させる水平転送パルス等）を生成してＣＣＤ撮像素子２に供給する。
【００１５】
ＣＣＤ撮像素子２からは、水平ＣＣＤに転送された信号電荷が出力部で電気信号に変換されて出力される。この電気信号は、サンプルホールド回路３及びＡ／Ｄ変換器４を経てカメラ信号処理回路５に送られる。カメラ信号処理回路５では、輝度信号処理，色信号処理，輪郭補正処理，画像圧縮処理等をディジタル信号処理として実行することにより、最終的なディジタル画像信号（輝度信号と色信号）を生成する。
【００１６】
この画像信号は、メモリコントローラ６に送られる。メモリコントローラ６は、記録メディアであるメモリカード７への画像信号の書き込みや、メモリカード７からの画像信号の読み出しや、Ｄ／Ａ変換器（図示せず）を経て液晶モニタ（図示せず）への画像信号の供給等を行う。
【００１７】
このスチルカメラには、角速度センサ８（縦方向の手振れを検出するものと横方向の手振れを検出するもの）が設けられている。この角速度センサ８自体は、既存のビデオカメラにおいて電子的手振れ補正を行うために設けられているのと同じもの（例えば圧電素子を用いた振動ジャイロから成るもの）であってよい。角速度センサ８の検出出力は、Ａ／Ｄ変換器９を経て、マイクロコンピュータ１０に送られる。マイクロコンピュータ１０はスチルカメラの各部を制御するものであり、後述する手振れ補正処理もマイクロコンピュータ１０の制御のもとで行われる。
【００１８】
尚、このスチルカメラには電子シャッタ機能が搭載されている。電子シャッタは、周知の通り、図５に例示するように、１フィールド期間内の適宜の時刻ｔまでにＣＣＤ撮像素子のフォトダイオードに蓄積された信号電荷を、掃き出しパルスＸＳＵＢの供給によって全て基板に掃き出した後（あるいは垂直ＣＣＤに読み出して高速に掃き出した後）、当該フィールド期間内の残りの時間内にフォトダイオードに蓄積された信号電荷のみを有効な電荷として垂直ＣＣＤに読み出してＣＣＤ撮像素子から出力するようにしたものである。ＣＣＤ駆動回路１内のタイミングジェネレータ１ｂでは、この電子シャッタ動作のための掃き出しパルスの生成も行われる。
【００１９】
このスチルカメラにおける手振れ補正処理は、この電子シャッタ機能を利用して行われる。そして、既存の電子シャッタ動作では、露光の開始時刻（図５の時刻ｔ）のほうは制御していたが露光の終了時刻は固定であった（図５の垂直駆動パルスＶＤの出力期間内であった）のに対し、このスチルカメラでは、後述するように、露光の開始時刻と終了時刻との双方を制御することによって手振れを補正する。
【００２０】
次に、この手振れ補正処理の一例を説明する。図２は、この手振れ補正処理の実行時の各部の出力等の一例を示すタイミングチャートである。マイクロコンピュータ１０は、角速度センサ８の検出出力に基づき、手振れ量を表す手振れ信号（図２Ａ）を生成する。そして、この手振れ信号のレベルの中心値ｃ（図２Ａ）を求め、この中心レベルｃを補正の目標値として設定する。そしてマイクロコンピュータ１０は、手振れ信号のレベルが目標値ｃに一致するか否かを常に監視し、一致していなければ（即ち手振れが発生していれば）、タイミングジェネレータ１ｂを制御して掃き出しパルスをＣＣＤ撮像素子２に供給し続けさせる。
【００２１】
他方、手振れ信号のレベルが目標値ｃに一致していれば（即ち手振れが発生していなければ）、マイクロコンピュータ１０は、タイミングジェネレータ１ｂを制御して掃き出しパルスの供給を停止させる。そして、この掃き出しパルスの供給の停止後、１フィールド期間よりも十分短い或る期間ΔＴｓ（この期間の長さを決定する基準については後述する）が経過すると、タイミングジェネレータ１ｂを制御して、センサゲートパルス，垂直転送パルス，垂直水平変換パルス及び水平転送パルスを順次ＣＣＤ撮像素子２に供給させた後、再び掃き出しパルスをＣＣＤ撮像素子２に供給させ続ける。
【００２２】
これにより、手振れ信号のレベルが目標値ｃに一致していない間は、電子シャッタ動作によって信号電荷が掃き出され続けるので、ＣＣＤ撮像素子２からはこの間の蓄積電荷に基づく信号は出力されない。他方、手振れ信号のレベルが目標値ｃに一致すると、期間ΔＴｓだけＣＣＤ撮像素子２が露光される（即ちシャッタスピードがΔＴｓとなる）ので、ＣＣＤ撮像素子２からはこの期間ΔＴｓの蓄積電荷に基づく信号が出力されるようになる。
【００２３】
図２の例では、垂直駆動パルスＶＤの或るパルスＶＤ１（図２Ｂ）の出力後時刻ｔｎまで（ＶＤ１の出力時から起算して期間Ｔ０（ｎ））は、手振れ信号のレベルが目標値ｃに一致していないので、掃き出しパルスＸＳＵＢがＣＣＤ撮像素子２に供給され続ける（図２Ｅ）。その結果、ＣＣＤ撮像素子２からはこの間の蓄積電荷に基づく信号は出力されない（図２Ｆ）。
【００２４】
そして、時刻ｔｎに手振れ信号のレベルが目標値ｃに一致しているので、時刻ｔｎから期間ΔＴｓ（ｎ）だけ掃き出しパルスＸＳＵＢの供給が停止され（図２Ｅ）、その後センサゲートパルスＳＧが供給される（図２Ｄ）と共に掃き出しパルスＸＳＵＢの供給が再開されている（図２Ｅ）（同図では、垂直転送パルス，垂直水平変換パルス及び水平転送パルスの図示は省略している）。その結果、この期間ΔＴｓ（ｎ）だけＣＣＤ撮像素子２が露光される（シャッタスピードがΔＴｓ（ｎ）となる）ので、ＣＣＤ撮像素子２からはこの期間ΔＴｓ（ｎ）の蓄積電荷に基づく信号が出力される（図２Ｆ）。
【００２５】
その後、垂直駆動パルスＶＤの次のパルスＶＤ２（図２Ｂ）の出力後時刻ｔｎ＋１まで（ＶＤ２の出力時から起算して期間Ｔ０（ｎ＋１））は、手振れ信号のレベルが目標値ｃに一致していないので、再び掃き出しパルスＸＳＵＢがＣＣＤ撮像素子２に供給され続ける（図２Ｅ）。その結果、ＣＣＤ撮像素子２からはこの間の蓄積電荷に基づく信号は出力されない（図２Ｆ）。
【００２６】
そして、時刻ｔｎ＋１に再び手振れ信号のレベルが目標値ｃに一致しているので、時刻ｔｎ＋１から期間ΔＴｓ（ｎ＋１）だけ掃き出しパルスＸＳＵＢの供給が停止され（図２Ｅ）、その後センサゲートパルスＳＧ等が供給される（図２Ｄ）と共に掃き出しパルスＸＳＵＢの継続的な供給が再開される（図２Ｅ）。その結果、この期間ΔＴｓ（ｎ＋１）だけＣＣＤ撮像素子２が露光される（シャッタスピードがΔＴｓ（ｎ＋１）となる）ので、図には表れていないが、ＣＣＤ撮像素子２からはこの期間ΔＴｓ（ｎ＋１）の蓄積電荷に基づく信号が出力される。
【００２７】
このような手振れ補正処理を行うことにより、ＣＣＤ撮像素子２からは、既に図３Ｃに例示したような被写体位置の安定した画面を表す信号のみが出力されるようになる。そこで、例えば撮影者がこのスチルカメラのシャッタボタンを押した直後の期間ΔＴｓの露光を静止画用の露光とする（図２の例で時刻ｔｎと時刻ｔｎ＋１との間にシャッタボタンを押した場合には、時刻ｔｎ＋１から期間ΔＴｓ（ｎ＋１）の露光を静止画用の露光とする）ことにより、手振れを抑制した静止画を撮影することができる。
【００２８】
尚、マイクロコンピュータ１０における期間ΔＴｓの長さの決定基準は、例えば次の通りである。マイクロコンピュータ１０は、手振れ信号のレベルの変化率（図２Ａの波形の傾き）をも監視しており、手振れ信号のレベルが目標値ｃに一致すると、そのタイミングでの手振れ信号のレベル変化率に反比例した長さの期間を、期間ΔＴｓとして決定する。これにより、期間ΔＴｓの長さが、手振れの発生する速さに反比例して短くなる（図２にも、時刻ｔｎよりも時刻ｔｎ＋１のほうが手振れ信号の波形の傾きが大きいので、期間ΔＴｓ（ｎ）よりも期間ΔＴｓ（ｎ＋１）のほうが短いことが表れている）ので、手振れを一層よく抑制した静止画を撮影することができるようになる。
【００２９】
このように、このスチルカメラでは、電子シャッタ機能を利用して露光の開始時刻と終了時刻との双方を制御することにより、手振れ信号が中心レベルｃにあるタイミングにのみ露光を行うようにしており、これによって手振れが電子的に補正される。従って、従来のビデオカメラにおける電子的手振れ補正方式のようにＣＣＤ撮像素子２に有効画角よりも大きな撮像領域を設ける必要がなくなるので、ＣＣＤ撮像素子２の撮像面積の小型化の傾向のもとで、一層の高画質化が可能になる。
【００３０】
しかも、この露光制御は、マイクロコンピュータ１０がタイミングジェネレータ１ｂからＣＣＤ撮像素子２へのパルスの供給を制御することのみによって実現されている。従って、従来のビデオカメラにおける電子的手振れ補正方式のようにカメラ信号処理回路５内のラインメモリをも制御する必要のあるものよりも、一層簡単な処理によって手振れ補正を行えると共に安価に実現できる。
【００３１】
尚、以上の例では、手振れ信号の中心レベルｃを補正の目標値として設定している。しかし、これに限らず、中心レベルｃ以外のレベルを補正の目標値として設定したり、あるいは或る幅をもったレベル範囲を補正の目標値として設定したりしてもよい。
【００３２】
また、以上の例では、期間ΔＴｓの長さ（シャッタスピード）を、手振れ信号のレベルが目標値に一致したタイミングでの手振れ信号のレベル変化率に反比例した長さに決定している。しかし、これに限らず、他の適宜の決定基準で期間ΔＴｓの長さを決定したり、あるいは期間ΔＴｓの長さを予め一定に決定したりしてもよい。
【００３３】
また、以上の例ではディジタルスチルカメラに本発明を適用しているが、電子スチルカメラにも本発明を適用できることはもちろんである。
また、本発明は、以上の実施例に限らず、本発明の要旨を逸脱することなく、その他様々の構成をとりうることはもちろんである。
【００３４】
【発明の効果】
以上のように、本発明によれば、従来のビデオカメラにおける電子的手振れ補正方式のようにＣＣＤ撮像素子に有効画角よりも大きな撮像領域を設けなくても、電子静止画システムの手振れを電子的に補正することができる。従って、ＣＣＤ撮像素子の撮像面積の小型化の傾向のもとで、電子静止画システムの一層の高画質化を実現できるようになる。
【００３５】
しかも、従来のビデオカメラにおける電子的手振れ補正方式のようなカメラ信号処理回路内のラインメモリの制御が不要なので、一層簡単な処理によって手振れ補正を行えると共に安価に実現できる。
【００３６】
また、露光制御手段を、手振れ量が所定の範囲内にあるときの手振れ量の変化率に応じて、撮像素子を露光する期間を決定するものとした場合には、手振れが速く発生するときには露光期間を短くすること等が可能になるので、手振れを一層よく抑制した静止画を撮影することができるようになる。
【図面の簡単な説明】
【図１】本発明を適用したディジタルスチルカメラの回路構成の一部を示すブロック図である。
【図２】図１の各部の出力等の一例を示すタイミングチャートである。
【図３】本発明による手振れ補正の原理の説明に供する図である。
【図４】従来の電子式手振れ補正方式の説明に供する図である。
【図５】既存の電子シャッタ動作における各信号の一例を示すタイミングチャートである。
【符号の説明】
１ＣＣＤ駆動回路、１ａ同期信号発生器、１ｂタイミングジェネレータ、２ＣＣＤ撮像素子、５カメラ信号処理回路、６メモリコントローラ、７メモリカード、８角速度センサ、１０マイクロコンピュータ

Claims

角速度センサの検出出力に基づき手振れ量を検出する手振れ検出手段と、
前記手振れ検出手段によって検出された手振れ量から手振れ信号を生成する手振れ信号生成手段と、
前記手振れ信号生成手段により生成される前記手振れ信号のレベルの中心値を求め、該中心値を補正目標値として設定する目標値設定手段と、
前記手振れ検出手段によって検出された手振れ量に応じて、撮像素子を露光する開始時刻と終了時刻とを制御する露光制御手段と
を備え、
前記露光制御手段は、前記手振れ信号のレベルが前記目標値設定手段により設定された前記補正目標値に一致したタイミングで露光を開始させることを特徴とする
電子静止画システムにおける手振れ補正装置。
請求項１に記載の手振れ補正装置において、
前記露光制御手段は、前記手振れ信号のレベルが前記補正目標値に一致したタイミングでの前記手振れ信号のレベル変化率に応じて露光期間を制御することを特徴とする電子静止画システムにおける手振れ補正装置。
請求項１または２に記載の手振れ補正装置において、
前記露光制御手段は、電子シャッタ動作のために前記撮像素子に掃き出しパルスを供給する駆動回路を制御して、前記撮像素子を露光するタイミング以外では前記撮像素子に掃き出しパルスを供給させることを特徴とする電子静止画システムにおける手振れ補正装置。
角速度センサの検出出力に基づき手振れ量を検出する第１ステップと、
前記第１ステップによって検出した手振れ量から手振れ信号を生成する第２ステップと、
前記第２ステップにより生成される前記手振れ信号のレベルの中心値を求め、該中心値を補正目標値として設定する第３ステップと、
前記第１ステップによって検出した手振れ量に応じて、撮像素子を露光する開始時刻と終了時刻とを制御する第４ステップと
を有し、
前記第４ステップでは、前記手振れ信号のレベルが前記第３ステップにより設定した前記補正目標値に一致したタイミングで露光を開始させることを特徴とする
電子静止画システムにおける手振れ補正方法。
請求項４に記載の手振れ補正方法において、
前記第４ステップで、前記手振れ信号のレベルが前記補正目標値に一致したタイミングでの前記手振れ信号のレベル変化率に応じて露光期間を制御することを特徴とする電子静止画システムにおける手振れ補正方法。
請求項４または５に記載の手振れ補正方法において、
前記第４ステップで、電子シャッタ動作のために前記撮像素子に掃き出しパルスを供給する駆動回路を制御して、前記撮像素子を露光するタイミング以外では前記撮像素子に掃き出しパルスを供給させることを特徴とする電子静止画システムにおける手振れ補正方法。