JP3919170B2

JP3919170B2 - Imaging device

Info

Publication number: JP3919170B2
Application number: JP2002081880A
Authority: JP
Inventors: 邦久山口
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2002-03-22
Filing date: 2002-03-22
Publication date: 2007-05-23
Anticipated expiration: 2022-03-22
Also published as: JP2003280057A

Description

【０００１】
【発明の属する技術分野】
本発明は撮影装置に係り、より詳細には、撮影光学系によって撮像手段の受光面上に結像された被写体の像を光電変換して電荷とすることによって画像を撮影し、該撮像手段が蓄積した電荷を処理して画像を表す画像データを生成するとともに、例えば、撮影の際の手振れによって生じる受光面上での像振れを補正し、振れによる撮影への影響ができるだけ小さくなるようにした撮影装置に関するものである。
【０００２】
【従来の技術】
従来、この種の撮影装置はビデオカメラやデジタルスチルカメラとして公知であり、例えばデジタルスチルカメラの場合は、撮影光学系によって撮像手段の受光面上に結像された被写体の像を光電変換して電荷とすることによって画像を撮影し、撮像手段が蓄積した電荷を処理して画像を表す画像データを生成するようになっている。このような撮像手段を使用したデジタルスチルカメラでは、シャッタが開かれている露光中、受光面上に結像された被写体の像を光電変換して電荷を蓄積し、この蓄積された電荷を処理して画像データを生成するようになっている関係で、感度に限界があり、銀塩写真のような短いシャッタ時間を実現しにくく、カメラ振れにより撮影によって得られた画像に「像の流れ」のようなボケが生じやすい。
【０００３】
振れ補正は通常、カメラの光軸に直交する固定された２つの軸回りの角速度を検知し、この２つの軸回りのカメラの「振れによる傾き角」を求め、この傾き角に対応する像振れを補正するように、撮影光学系に含まれる補正レンズを変位させたり、光軸の向きを調整したり、撮像手段を移動させたりすることが行われ、補正レンズ等の被駆動系の要素は、２つの軸方向に移動するような機構となっている。
【０００４】
一般には、像振れを補正するための機構として、カメラの光軸に直交する異なる２方向に受光面上での結像位置が移動して生じる像振れをそれぞれ独立に補正する振れ補正手段を備え、マイクロコンピュータ（以下、マイコンという）の中央演算処理装置（ＣＰＵ）が角速度センサなどの振れ検知センサの出力に基づいて２方向の振れ量をそれぞれ検出し、この検出した振れ量に基づいて受光面上での結像位置の変位量を予測し、この予測変位量に基づいて、像振れを解消するように振れ補正手段により被駆動系の要素を２方向に変位させ駆動させることにより、振れ補正を行っている。
【０００５】
【発明が解決しようとする課題】
ところで、像振れを補正するための機構においては、振れ補正手段によって被駆動系の要素を２方向に変位させることにより、カメラの光軸に直交する異なる２方向に受光面上での結像位置を移動させて像振れをそれぞれ独立に補正するようになっている。このため、受光面上での結像位置を移動して補正することができる補正可能範囲が機械的に決まってしまっている。
【０００６】
従って、検出した振れ量に基づいて予測した、像振れを解消するように受光面上で結像位置を変位させるために必要な変位量が補正可能範囲内に入っていれば、像振れを解消することはできるが、この補正可能範囲を越えた変位を伴う補正を行わなければならないような大きな振れが生じた場合には、カメラ振れによる像振れが解消されずに残ってしまうという問題があった。
【０００７】
よって、本発明は、上述した点に鑑み、受光面上で結像位置を変位させて補正できる補正可能範囲を超えた像振れが生じたとき、一度結像位置を補正可能範囲の中央に戻してから、それまでの撮影とは別に残りの撮影を行うことによって、補正可能範囲を超えるような大きな像振れが生じても、像振れを解消した画像データを得ることができるようにした撮影装置を提供することを課題としている。
【０００８】
【課題を解決するための手段】
上記課題を解決するためなされた本願請求項１記載の発明は、撮影光学系と、該撮影光学系によって被写体の像が結像される受光面を有し、該受光面上に結像された前記被写体像を光電変換して蓄積した電荷によって画像を撮影する撮像手段と、該撮像手段が蓄積した電荷を処理して画像を表す画像データを生成する画像データ生成手段と、前記撮影光学系の光軸に直交する２つの軸の回りの角速度を検知する角速度検知手段と、該角速度検知手段により検知された前記２つの軸の回りの角速度に基き、振れによる前記受光面上での結像位置の予測変位量を算出する変位量算出手段と、該変位量算出手段により算出した予測変位量に基づいて、前記受光面上での結像位置を補正可能範囲内で前記２方向に変位させ振れによる受光面上での像振れを補正する振れ補正手段と、露光中に前記変位量算出手段が算出した予測変位量が、前記振れ補正手段による前記補正可能範囲を超えるとき、それまでの露光によって前記撮像手段に蓄積された電荷を移行して保持するとともに露光を一時的に中断し、該露光中断の間に前記受光面上での結像位置を前記振れ補正手段により前記補正可能範囲の中央に変位させてから露光を再開して、残りの露光時間が経過した時点でシャッタを閉じて露光を終了する露光制御手段とを備え、前記画像データ生成手段は、前記露光中断の前後で前記撮像手段にそれぞれ蓄積された電荷を別々に処理して２つの画像を表す画像データを生成し、前記画像データ生成手段が生成する前記２つの画像データを別々に一時的に記憶する一時記憶手段と、該一時記憶手段に記憶した２つの画像データを、前記露光中断の前後の画素位置を一致させた上で足し合わせて合成し、１つの合成画像データを得る画像合成手段とをさらに備えることを特徴とする撮影装置に存する。
【０００９】
上述した請求項１記載の構成によれば、撮像手段が撮影光学系によって受光面上に結像された被写体像を光電変換して蓄積した電荷によって画像を撮影し、画像データ生成手段は撮像手段が蓄積した電荷を処理して画像を表す画像データを生成する。変位量算出手段が、角速度検知手段により検知された撮影光学系の光軸に直交する２つの軸の回りの角速度に基き、振れによる受光面上での結像位置の予測変位量を算出し、振れ補正手段が算出した予測変位量に基づいて、受光面上での結像位置を補正可能範囲内で２方向に変位させ振れによる受光面上での像振れを補正する。そして、露光中に前記変位量算出手段が算出した予測変位量が、振れ補正手段による補正可能範囲を超えるとき、露光制御手段がそれまでの露光によって撮像手段に蓄積された電荷を移行して保持するとともに露光を一時的に中断し、露光中断の間に受光面上での結像位置を振れ補正手段により補正可能範囲の中央に変位させてから露光を再開して、残りの露光時間が経過した時点でシャッタを閉じて露光を終了し、画像データ生成手段が、露光中断の前後で撮像手段にそれぞれ蓄積された電荷を別々に処理して２つの画像を表す画像データを生成するので、１回の撮影で各々が像振れのない２つの画像データが得られ、この２つの画像データを一時記憶手段が別々に一時的に記憶し、この記憶した２つの画像データを画像合成手段が露光中断の前後の画素位置を一致させた上で足し合わせて合成して１つの合成画像データを得るので、２つの画像データの各像は露光不足であるが、２つの画像データを位置合わせした上で足し合わせて得られた１つの合成画像データは、足し合わされた部分で露光が十分で像振れのないものとなっている。
【００１０】
本願請求項２記載の発明は、請求項１記載の撮影装置において、前記撮像手段が、前記受光面上に結像された被写体の像を光電変換して電荷を蓄積する受光部と、前記受光部に沿って遮光されて設けられ、前記露光制御手段の制御によって前記受光部から移行された電荷を一時的に蓄積する転送部とを有し、前記画像データ生成手段は、前記転送部に蓄積されている前記露光中断の前に蓄積された電荷と、前記受光部に蓄積されている前記露光中断の後に蓄積された電荷とを別々に処理して前記２つの画像データを生成することを特徴とする撮影装置に存する。
【００１１】
請求項２記載の構成によれば、撮像手段は、その受光部が受光面上に結像された被写体の像を光電変換して電荷を蓄積し、受光部に沿って遮光されて設けられた転送部が、露光制御手段の制御によって受光部から移行された電荷を一時的に蓄積するようになっており、転送部に蓄積されている露光中断の前に蓄積された電荷と、受光部に蓄積されている露光中断の後に蓄積された電荷とを画像データ生成手段が別々に処理して２つの画像データを生成するので、露光中断中に受光部の電荷を転送部に移送するだけでよく、結像位置を振れ補正手段により補正可能範囲の中央に変位させるために必要な短時間の中断によって、像振れのない２つの画像データが得られる。
【００１２】
本願請求項３記載の発明は、請求項１又は２記載の撮影装置において、前記画像合成手段は、前記合成によって生じる前記２つの画像データの重なり合わない部分を不用情報として捨て去り、重なり部分により合成画像データを生成することを特徴とする撮影装置に存する。
【００１３】
請求項３記載の構成によれば、画像合成手段は１つの合成画像データを得るに当たって、合成によって生じる２つの画像データの重なり合わない部分を不用情報として捨て去り、重なり部分によりデータを生成しているので、合成画像データには像振れ及び露光不足のデータが含まれないようになる。
【００１４】
本願請求項４記載の発明は、請求項３に記載の撮影装置において、前記合成画像データにより画像を再生表示するとき又は印刷するとき、縦横比又は画素数の少なくとも一方が通常画像と同一となるように画像を拡大する画像拡大手段をさらに備えることを特徴とする撮影装置に存する。
【００１５】
請求項４記載の構成によれば、合成画像データにより画像を再生表示するとき又は印刷するとき、画像拡大手段が縦横比又は画素数の少なくとも一方が通常画像と同一となるように画像を拡大するので、合成によって生じる２つの画像データの重なり合わない部分が捨て去られて、縦横比又は画素数が通常画像と異なっていても、拡大によって表示或いは印刷された画像が通常画面と同一にすることができる。
【００１６】
本願請求項５記載の発明は、請求項１乃至４のいずれかに記載の撮影装置において、
前記露光制御手段を選択的に働かせるオン状態と、働かせないオフ状態の一方を選択する選択手段をさらに備えることを特徴とする撮影装置に存する。
【００１７】
請求項５記載の構成によれば、選択手段によって露光制御手段を選択的に働かせたり、働せなくできるので、大きな振れが生じたときも像振れを生じさせないように振れ補正するかどうかを、撮影者の意志で自由に選択できる。
【００１８】
本願請求項６記載の発明は、請求項１乃至５のいずれかに記載の撮影装置において、前記画像合成手段によって得た合成画像データを記録する記録媒体をさらに備えることを特徴とする撮影装置に存する。
【００１９】
請求項６記載の構成によれば、画像合成手段によって得た合成画像データを記録媒体に記録するので、記録媒体に記録された１つの合成画像データは、足し合わされた部分で露光が十分で像振れのないものとなっている。
【００２０】
【発明の実施の形態】
以下、図面に基づいて本発明を説明する。図１は本発明に係る撮影装置の一実施の形態を示す図であって、振れ補正機能付きデジタルスチルカメラの概略構成を模式的に示している。
【００２１】
図１において、振れ補正機能付きデジタルスチルカメラは、カメラ本体に内蔵された撮影光学系１１によって被写体の像を、同じくカメラ本体に内蔵された電荷結合素子（ＣＣＤ）からなる撮像手段１３の受光面１３ａ上に結像させ、受光面１３ａ上に結像された被写体像を光電変換して蓄積した電荷によって画像を撮影し、また撮影の際の手振れによって発生する像振れを補正し、振れによる撮影への影響ができるだけ小さくなるように構成されている。
【００２２】
具体的には、撮影光学系１１は撮像レンズとしてズームレンズ１１Ａおよびフォーカスレンズ１１Ｂを有し、その光軸１１Ｃの延長上には、撮像手段１３との間に、撮像手段１３の受光面１３ａへの光の入射を開閉によって制御するシャッタ１４が配設されている。シャッタ１４が開されているとき、撮影光学系１１を介して撮像手段１３の受光面１３ａ上に被写体像が結像されることによって、被写体像を光電変換した電荷が画素単位で撮像手段１３に蓄積される。撮像手段１３に蓄積された電荷は、画像データ生成回路１６によって画素単位で処理された上で被写体の画像を表す画像データを生成するために利用される。画像データを生成するに当たっては、アナログ値である電荷量からなる画素の色や輝度情報がデジタル値に変換される。このデジタル値に変換された画像データは、カメラ本体に内蔵されたマイクロコンピュータ（マイコン）１５に取り込まれれ、撮影情報として、ＩＣメモリなどの不揮発性のメモリからなる可搬形の記録媒体１８に記録される。
【００２３】
図２は撮像手段１３の構成例を模式的に示し、撮像手段１３は、画素としてフォトダイオード３ａを有する。フォトダイオード３ａは水平方向と垂直方向に所定数づつ配列されている。フォトダイオードの垂直方向の列毎に、電荷結合素子（ＣＣＤ）により形成された転送部としての垂直転送レジスタ３ｂが設けられており、各フォトダイオード３ａは光電変換によって蓄積した電荷（信号）を垂直転送レジスタ３ｂの対応部位に出力することで、垂直転送レジスタ３ｂに移行され、そこからさらに転送されるまで、そこに一時的に保持される。
【００２４】
各垂直転送レジスタ３ｂは、同じくＣＣＤにより形成された水平転送レジスタ３ｃに接続されており、各フォトダイオードが出力した信号を水平転送レジスタの対応部位に順次出力する。また、水平転送レジスタ３ｃの出力は、蓄積された電荷を処理して画像を表す画像データを生成する画像データ生成回路１６に接続され、ここで生成された画像データはマイコン１５に取り込まれる。なお、垂直転送レジスタ３ｂおよび水平転送レジスタ３ｃは遮光されている。フォトダイオードから垂直転送レジスタへの信号の出力、垂直転送レジスタ内での信号の転送、水平転送レジスタ内での信号の転送は、マイコン１５からの制御信号によって制御される。
【００２５】
マイコン１５は、プログラムやデータを格納するメモリとこのメモリに格納したプログラムに従って動作する中央演算処理装置（マイコン）などから構成されている。
【００２６】
デジタルスチルカメラはまた、光軸１１Ｃに対して直交しかつ互いに直交する２つの軸ｘおよびｙのまわりの角速度をそれぞれ検知し、この検知した角速度の大きさに応じた検知信号を出力するｘ軸角速度センサ１７ａｘおよびｙ軸角速度センサ１７ａｙと、各角速度センサの出力する検知信号を所定レベルに増幅するｘ軸センサアンプ１７ｂｘおよびｙ軸センサアンプ１７ｂｙとを有し、これらはカメラ本体に内蔵されている。
【００２７】
ｘ軸角速度センサ１７ａｘおよびｘ軸センサアンプ１７ｂｘは軸ｘのまわりの角速度を検知するｘ軸角速度検知手段１７ｘを、ｙ軸角速度センサ１７ａｙおよびｙ軸センサアンプ１７ｂｙは軸ｙのまわりの角速度を検知するｙ軸角速度検知手段１７ｙをそれぞれ構成し、全体として、撮影光学系の光軸および互いに直交する２方向の振れを検知し、該検知した２方向の振れの大きさに応じた検知信号をそれぞれ出力する振れ検知手段を構成している。
【００２８】
マイコン１５は、ｘ軸角速度検知手段１７ｘおよびｙ軸角速度検知手段１７ｙが出力する検知した角速度に応じた検知信号を所定のサンプリング周期にてデジタル変換してそれぞれ取り込み、この取り込んだ検知信号を積分することによって各軸についてのカメラの「振れによる傾き角」を算出する。続いて、マイコン１５は、この算出した傾き角に基づいて、撮像手段１３の受光面１３ａ上に結像された像の受光面１３ａ上での軸ｘ方向および軸ｙ方向の移動量を所定の計算式によって予測変位量としてそれぞれ求め、この求めた変位量だけ受光面上の結像位置を２方向にそれぞれ変位させる。このことによって、マイコン１５は、検知された２つの軸の回りの角速度に基き、振れによる受光面上での結像位置の予測変位量を算出する変位量算出手段を構成している。
【００２９】
なお、マイコン１５による予測変位量の算出は、各軸について算出した傾き角だけカメラが傾くことによって生じる受光面１３ａ上での像の移動量、すなわち、受光面１３ａ上での結像位置の軸ｘ方向および軸ｙ方向の移動量を算出して求める。
【００３０】
デジタルスチルカメラはまた、算出した軸ｘ方向および軸ｙ方向の予測変位量に基づいて、撮像手段１３の受光面１３ａを軸ｘ方向と軸ｙ方向にそれぞれ独立に移動させ、振れによって受光面１３ａ上を移動した結像位置を元の位置に戻すｘ方向補正アクチュエータ１９ａｘおよびｙ方向補正アクチュエータ１９ａｙと、ｘ方向補正アクチュエータ１９ａｘおよびｙ方向補正アクチュエータ１９ａｙをそれぞれ駆動するｘ方向補正駆動回路１９ｂｘおよびｙ方向補正駆動回路１９ｂｙとを有し、これらはカメラ本体に内蔵されている。
【００３１】
上述したｘ方向補正アクチュエータ１９ａｘおよびｘ方向補正駆動回路１９ｂｘはｘ方向振れ補正手段１９ｘを、ｙ方向補正アクチュエータ１９ａｙおよびｙ方向補正駆動回路１９ｂｙはｙ方向振れ補正手段１９ｙをそれぞれ構成し、算出した振れ補正のための予測変位量に基づいて、ｘ方向振れ補正手段１９ｘおよびｙ方向振れ補正手段１９ｙを動作させて、振れによって受光面１３ａ上で移動した結像位置を元の位置に戻す補正駆動動作を制御するマイコン１５とともに、撮影光学系の光軸および互いに直交する２方向に受光面上の結像位置を独立に変位させる振れ補正手段を構成している。なお、振れ補正手段によって撮像手段１３の受光面１３ａを移動させることができる量には限度があり、これが像振れを補正できる補正可能範囲を決めている。
【００３２】
デジタルスチルカメラはさらに、振れ補正機能の作動、停止を選択する選択手段として、カメラ本体の外側に設けられた振れ補正ボタン２１の操作によってオンオフされる図示しないスイッチを備える他、撮影光学系１１の撮像レンズとしてズームレンズ１１Ａおよびフォーカスレンズ１１Ｂを駆動してズームおよびフォーカスをそれぞれ制御するズーム制御部２３Ａおよびフォーカス制御部２３Ｂを有し、これらはカメラ本体に内蔵されている。
【００３３】
マイコン１５はまた、振れ補正ボタン２１の操作によってオンオフされる図示しないスイッチの信号に基づいて行う振れ補正のための処理の他、カメラ本体の外側に設けられたズーム操作ボタン２５Ａおよびレリーズ操作ボタン２５Ｂの操作に基づいて、ズーム制御部２３Ａやフォーカス制御部２３Ｂを介して、撮影光学系１１のズームレンズ１１Ａおよびフォーカスレンズ１１Ｂをそれぞれズーム駆動およびフォーカス駆動するなどの他の処理も行う。
【００３４】
マイコン１５はさらに、レリーズ操作ボタン２５Ｂの操作に基づいて、シャッタ制御部２３Ｃを介して、シャッタ１４を駆動制御する処理の他、シャッタ１４が開されることによって撮影光学系１１を通じて受光面１３ａ上に結像された被写体像を光電変換して撮像手段１３に蓄積された電荷を画像データ生成回路１６が処理して画像を表す画像データを生成することを制御する制御処理を行う。
【００３５】
さらにまた、マイコン１５は、レリーズ操作ボタン２５Ｂの操作に応じてシャッタ１４が開かれた状態の露光中に算出した予測変位量が、補正可能範囲を超えるとき、それまでの露光によって撮像手段１３の受光部３ａ（図２）に蓄積された電荷を垂直転送部３ｂに移行して保持するとともに、シャッタ１４を閉じて露光を一時的に中断し、この露光中断の間に受光面１３ａ上での結像位置を振れ補正手段１７により補正可能範囲の中央に変位させてからシャッタ１４を開して露光を再開して、残りの露光時間が経過した時点でシャッタを閉じて露光を終了する露光制御処理を行う。なお、露光時間は図示しない露出計によって測定した被写体の明るさによってマイコン１５が決定する。
【００３６】
なお、マイコン１５が上述した露光制御処理を行ったときには、撮像手段１３の垂直転送部３ｂにはシャッタ１４の開から露光中断までに蓄積された電荷が、受光部３ａには露光中断の後シャッタ１４が閉じられるまでに蓄積された電荷がそれぞれ存在し、このようなときには画像データ生成回路１６は、マイコン１５の制御の下で、露光中断の前後で垂直転送部３ｂおよび受光部３ａにそれぞれ蓄積された電荷を別々に処理して２つの画像を表す画像データを生成する。
【００３７】
マイコン１５は、画像データ生成回路１６が生成した２つの画像データを取り込むと、内部のＲＡＭ内に形成した一時記憶手段としての２つのフレームメモリに別々に一時的に記憶させ、この一時記憶した２つの画像データを、前記露光中断の前後の画素位置を一致させた上で足し合わせて合成し、１つの合成画像データを得る画像合成処理を行い、この処理によって得た合成画像データを可搬形の記憶媒体１８に記録させる。
【００３８】
なお、マイコン１５は、上記画素位置の一致を行うに当たって、露光を中断した時点の撮像手段１３の位置と中断中に補正制御範囲の中央に戻した時の既知の位置との差を求め、この差に相当する量だけ位置の異なる画素を、被写体像の同一点の電荷を蓄積している画素と見なし、２つの画像データの同一点のデータ同士、すなわち、電荷同士を足し合わせることで、２つの画像データに基づいて本来の露光時間によって得られる画像データに相当する１つの合成画像データを得る。
【００３９】
マイコン１５は、上記画像合成処理を行うに当たって、合成によって生じる２つの画像データの重なり合わない部分は、露光時間の短い不完全が画像データ部分であるので、不用情報として捨て去り、このことで合成画像データは２つの画像データの重なり部分のみにより生成される。
【００４０】
上述した合成画像データは、不用情報の捨て去りによって、通常の画像データよりも、捨て去った分、縦横比が異なり、また画素数も少なくなっている。そこで、この合成画像データによって、画像を再生表示するとき、或いは、印刷するときには、縦横比又は画素数の少なくとも一方が通常画像と同一となるように画像を拡大する画像拡大処理を行うことで、通常の場合と同じサイズの表示や印刷が得られる。
【００４１】
なお、上述したような露光制御処理は常時行うようになっているのではなく、撮影者が必要と思わないときには働かせないようにできるように、図示しない選択ボタンの操作によって、選択的に働かせるオン状態と、働かせないオフ状態の一方を選択することができることが好ましい。
【００４２】
以上の構成において、振れ補正ボタン２１のオンによって、振れ補正機能が働かされているときの通常の振れ補正では、マイコン１５は、撮像手段１３に対する撮影光学系１１の光軸１１Ｃおよび互いに直交する２つの軸ｘおよび軸ｙまわりに振れが発生すると、ｘ軸角速度センサ１７ａｘ、ｘ軸センサアンプ１７ｂｘからなるｘ軸角速度検知手段１７ｘ、および、ｙ軸角速度センサ１７ａｙ、ｙ軸センサアンプ１７ｂｙからなるｙ軸角速度検知手段１７ｙがそれぞれ発生する角速度に応じた検知信号を第１の所定サンプリング周期にてデジタル変換して取り込む。そして、マイコン１５は、この取り込んだ検知信号に基づいて傾き角を検出し、この傾き角を基に振れ補正のための予測変位量を算出する。
【００４３】
さらに、マイコン１５は、この算出した予測変位量に基づいて、振れ補正手段１９ｘ、１９ｙの補正駆動回路１９ｂｘ、１９ｂｙに対して駆動信号を出力して、補正アクチュエータ１９ａｘ、１９ａｙを駆動させる。駆動された補正アクチュエータ１９ａｘ、１９ａｙは、撮像手段１３を光軸１１Ｃに直交する平面内を移動させて、ｘ軸方向である水平方向およびｙ軸方向である鉛直方向の振れ補正動作を行う。
【００４４】
以上、振れ補正機能付きデジタルスチルカメラの概略を説明したが、その詳細を、マイコン１５が行う処理を示す図３および図４のフローチャートを参照して以下説明する。
【００４５】
マイコン１５は、レリーズ操作ボタン２５Ｂの前後を通じて、角速度検出、傾き角度算出、振れ補正のための予測変位量算出、振れ補正駆動の通常の振れ補正処理を常時行っている。振れ補正動作を行っているマイコン１５は、この間に、レリーズ操作ボタン２５Ｂがオン操作されると、まず撮像手段１３を補正可能範囲の予め定めた中央位置に移動させてから、図示のフローチャートの処理を開始し、図示しない露出計からの信号に基づいて露光時間Ｔｒを算出する（ステップＳ１）とともに、シャッタ１４を開させるシャッタ開信号をシャッタ制御部２３Ｃに対して出力してシャッタ１４を開させ（ステップＳ２）、その後の時間Ｔの時間計測を開始する（ステップＳ３）。シャッタ１４を開した後の時間Ｔが被写体像を受光面１３ａに結像して電荷を蓄積させる上記算出した露光時間を経過した時点で（ステップＳ４がＹのとき）、シャッタ制御部２３Ｃに対してシャッタ閉信号を出力してシャッタ１４を閉させる（ステップＳ５）。
【００４６】
マイコン１５は、レリーズ操作ボタン２５Ｂの前後を通じて、角速度検出、傾き角度算出、振れ補正のための予測変位量算出、振れ補正駆動の通常の振れ補正処理を常時行っている。しかし、上記露光時間が経過しないときに、振れ補正のために算出した予測変位量が補正可能範囲を越えるようなとき（ステップＳ６がＹのとき）、この予測変位量による振れ補正を行っても像振れを解消しきれないと判断し、この時点で露光を終了するようにシャッタ１４を閉じて露光を中断し（ステップＳ７）、それまで振れ補正を行いながら露光し被写体像を光電変換して蓄積した電荷に、像振れによる電荷成分が入り込まないようにする。
【００４７】
そして、マイコン１５は、予め定めた一定時間ｔ（後述する）の計時を開始し、このシャッタ１４を閉じている間に、画像データ生成回路１６に対して制御信号を出力し、画像データ生成回路１６にシャッタ１４を閉じるまでに撮像手段１３の受光部３ａに蓄積した電荷を垂直転送部３ｂに移行させる（ステップＳ９）。また、マイコン１５は、このシャッタ１４を閉じている間に、振れ補正動作によってずれた位置に移動されている撮像手段１３を補正可能範囲の予め定めた中央位置に戻させる戻し補正処理を振れ補正処理において行わせる（ステップＳ１０）。この戻し補正処理は、撮像手段１３を補正可能範囲の中央に戻すというもので、このために戻し量を算出することが必要である。この戻し量算出は、撮像手段１３の位置を常に把握し、シャッタ１０４を閉じて露光を中断した時点での撮像手段１３の位置と既知の戻し位置との差を求めることで可能である。
【００４８】
また、マイコン１５は、上述した戻し補正処理を指示することに前後して、ステップＳ１で算出した露光時間Ｔｒから露光中断までの露光時間Ｔｒ１を差し引いた残りの露光時間Ｔｒ２を算出する（ステップＳ１１）。その後、マイコン１５は、一定時間ｔの経過を待って（ステップＳ１２）、シャッタ制御部２３Ｃに対してシャッタ開信号を出力してシャッタ１４を開させる（ステップＳ１３）とともに、その後の時間Ｔの時間計測を開始する（ステップＳ１４）。シャッタ１４を開した後の時間Ｔが被写体像を受光面１３ａに結像して電荷を蓄積させる上記算出した残りの露光時間Ｔｒ２を経過した時点で（ステップＳ１５がＹのとき）、シャッタ制御部２３Ｃに対してシャッタ閉信号を出力して最終的にシャッタ１４を閉じる（ステップＳ１６）。
【００４９】
上記ステップＳ６又はステップＳ１６においてシャッタ１４を閉じた後に、マイコン１５は画像データ生成回路１６に対して画像データの生成を指示する（ステップＳ１７）が、その内容が大きく異なる。前者の場合は、撮像手段１３の受光部３ａに保持されている電荷を処理して１つの画像を表す画像データを生成させればよい。また、生成された画像データを取り込んで記録媒体１８に記録すればよい。
【００５０】
これに対し、後者の場合には、露光を再開した後も、それ以前と変わらず振れ補正動作を行っており、撮像手段１３の受光面１３ａ上には、振れを補正した被写体像が結像され、被写体像を光電変換した電荷が受光部３ａに蓄積される。従って撮像手段１３には、露光中断までに結像されていた被写体像に対応して蓄積された電荷が垂直転送部３ｂに、露光再開後に結像された被写体像に対応して蓄積された電荷が受光部３ａにそれぞれ保持されていることになるので、マイコン１５は画像データ生成回路１６に対して制御信号を出力し、この撮像手段１３の受光部３ａおよび垂直転送部３ｂにそれぞれ保持されている電荷を別々に処理して２つの画像を表す画像データを生成させる。
【００５１】
露光中断前と中断再開後に撮像手段１３に蓄積された電荷に基づいて２つの画像データが生成される場合には、マイコン１５は、図５に示すようにＲＡＭ内に一時記憶手段として形成した２つのフレームメモリＦＭ１およびＦＭ２に、２つの画像データＤ１およびＤ２を別々に一時的に記憶し、記憶した２つの画像データＤ１およびＤ２を、露光中断の前後の画素位置を一致させた上で足し合わせて合成し、１つの合成画像データを得る画像合成処理を行う。なお、合成画像データを得るに当たっては、図５に斜線を付して示すように、合成によって生じる２つの画像データの重なり合わない部分を不用情報として捨て去り、重なり部分により合成画像データを生成する。画像合成によって得た合成画像データを記録媒体１８に記録する。なお、図５中一点鎖線で示す枠が、補正可能範囲を示している。
【００５２】
上述した本発明の実施形態によれば、撮像手段１３が撮影光学系１１によって受光面１３ａ上に結像された被写体像を光電変換して蓄積した電荷によって画像を撮影し、画像データ生成回路１６が撮像手段１３が蓄積した電荷を処理して画像を表す画像データを生成する。マイコン１５が、角速度検知手段１７ｘ，１７ｙにより検知された撮影光学系１１の光軸に直交する２つの軸の回りの角速度に基き、振れによる受光面１３ａ上での結像位置の予測変位量を算出し、この算出した予測変位量に基づいて、振れ補正手段１９ｘ，１９ｙが受光面１３ａ上での結像位置を補正可能範囲内で２方向に変位させ振れによる受光面１３ａ上での像振れを補正する。
【００５３】
そして、レリーズ操作ボタンの操作によってシャッタ１４が開した露光中にマイコン１５が算出した予測変位量が、振れ補正手段１９ｘ，１９ｙによる補正可能範囲を超えるとき、マイコン１５がそれまでの露光によって撮像手段１３に蓄積された電荷を移行して保持するとともに露光を一時的に中断し、露光中断の間に受光面１３ａ上での結像位置を振れ補正手段１９ｘ，１９ｙにより補正可能範囲の中央に変位させてから露光を再開して、残りの露光時間が経過した時点でシャッタ１４を閉じて露光を終了し、画像データ生成回路１６が、露光中断の前後で撮像手段１３にそれぞれ蓄積された電荷を別々に処理して２つの画像を表す画像データを生成する。したがって、１回の撮影で各々が像振れのない２つの画像データが得られるようになる。
【００５４】
撮像手段１３は、具体的には、その受光部３ａが受光面１３ａ上に結像された被写体の像を光電変換して電荷を蓄積し、受光部３ａに沿って遮光されて設けられた垂直転送部３ｂが、マイコン１５の制御によって受光部３ａから移行された電荷を一時的に蓄積するようになっており、垂直転送部３ｂに蓄積されている露光中断の前に蓄積された電荷と、受光部３ａに蓄積されている露光中断の後に蓄積された電荷とを画像データ生成回路１６が別々に処理して２つの画像データを生成する。したがって、露光中断中に受光部３ａの電荷を垂直転送部３ｂに移送するだけでよく、結像位置を振れ補正手段１９ｘ，１９ｙにより補正可能範囲の中央に変位させるために必要な短時間の中断によって、像振れのない２つの画像データが得られる。
【００５５】
さらに、画像データ生成回路１６が生成する２つの画像データをマイコン１５内のメモリに形成した２つのフレームメモリが別々に一時的に記憶し、この記憶した２つの画像データをマイコン１５が画像合成処理によって、露光中断の前後の画素位置を一致させた上で足し合わせて合成して１つの合成画像データを得、画像合成処理によって得た合成画像データを記録媒体１８に記録する。したがって、２つの画像データの各像は露光不足であるが、２つの画像データを位置合わせした上で足し合わせて得られ、記録媒体１８に記録された１つの合成画像データは、足し合わされた部分で露光が十分で像振れのないものとなっており、大きな振れが生じても像振れのない画像が得られる。
【００５６】
画像合成処理により１つの合成画像データを得るに当たって、合成によって生じる２つの画像データの重なり合わない部分を不用情報として捨て去り、重なり部分によりデータを生成しているので、合成画像データには像振れ及び露光不足のデータが含まれないようになり、通常画像とサイズは異なるが合成画像データによって通常画像と同品質の画像が得られる。
【００５７】
さらに、合成画像データにより得られる画像は縦横比又は画素数が通常画像と異なりサイズが小さいので、再生表示するとき又は印刷するとき、縦横比又は画素数が通常画像と同一となるように画像を拡大することで、通常画像とサイズ的にも同じ像振れのない画像が得られる。ただし、このようにした場合、拡大している分だけ画像が粗くなるが、拡大率がそれ程大きくないときには、品質上も問題ない。
【００５８】
露光制御処理を選択的に働かせたり、働せなくでき、大きな振れが生じたときも像振れを生じさせないように振れ補正するかどうかを、撮影者の意志で自由に選択できるので、撮影者が意識的に像振れを取り込んだ撮影を行いたい時にも対応できるようになっている。
【００５９】
【発明の効果】
以上説明したように、請求項１記載の発明によれば、受光面上で結像位置を変位させて補正できる補正可能範囲を超えた像振れが生じたとき、一度結像位置を補正可能範囲の中央に戻してから、それまでの撮影とは別に残りの撮影を行うことによって、補正可能範囲を超えるような大きな像振れが生じても、１回の撮影で各々が像振れのない２つの画像データの形ではあるが、像振れを解消した画像データが得られ、この２つの画像データを位置合わせした上で足し合わせて得られた１つの合成画像データは、足し合わされた部分で露光が十分で像振れのないものとなっているので、通常の画像と同等に扱うことのできる画像データを得ることができる。
【００６０】
請求項２記載の発明によれば、露光中断中に受光部の電荷を転送部に移送するだけでよく、結像位置を振れ補正手段により補正可能範囲の中央に変位させるために必要な短時間の中断によって、像振れのない２つの画像データが得られるので、通常の撮影と大きく異なる違和感を撮影者に与えることなく実現できる。
【００６１】
請求項３記載の発明によれば、不用情報として捨て去り、重なり部分により合成画像データを生成し、合成画像データには像振れ及び露光不足のデータが含まれないようにしているので、何等の処理を行わなくても、通常の画像と同じに扱える画像データを得ることができる。
【００６２】
請求項４記載の発明によれば、合成によって生じる２つの画像データの重なり合わない部分が捨て去られて、縦横比又は画素数が通常画像と異なっていても、拡大によって表示或いは印刷された画像が通常画面と同一にしているので、通常画像と殆ど区別のつかない画像を得ることができる。
【００６３】
請求項５記載の発明によれば、大きな振れが生じたときも像振れを生じさせないように振れ補正するかどうかを、撮影者の意志で自由に選択できるので、撮影者が意識的に振れの生じた撮影を行うことを損なうことがない。
【００６４】
請求項６記載の発明によれば、記録媒体に記録された１つの合成画像データは、通常の画像と同等に扱うことのできる画像データとなっている。
【図面の簡単な説明】
【図１】本発明による撮影装置の一実施の形態におけるカメラ本体の概略構成を示すブロック図である。
【図２】図１中の撮像手段の構成を模式的に示す図である。
【図３】図１中のマイコンが行う処理の一部を示すフローチャートである。
【図４】図１中のマイコンが行う処理の他の部分を示すフローチャートである。
【図５】図１中のマイコンが行う画像合成処理を説明するための説明図である。
【符号の説明】
１１撮影光学系
１１Ｃ光軸
１３撮像手段
１３ａ受光面
１４シャッタ
１５マイコン（変位量算出手段、露光制御手段、画像合成手段、画像拡大手段）
１６画像データ生成回路（画像データ生成手段）
１７ｘ，１７ｙ振れ検知手段（角速度検知手段）
１８記録媒体
１９ｘ，１９ｙ振れ補正手段
２１振れ補正ボタン
２５Ｂレリーズ操作ボタン
３ａ受光部
３ｂ垂直転送部
ｘ，ｙ軸[0001]
BACKGROUND OF THE INVENTION
The present invention Take More specifically, the image capturing apparatus captures an image by photoelectrically converting an image of a subject formed on the light receiving surface of the imaging unit by the imaging optical system into a charge, and the charge accumulated by the imaging unit. To generate image data representing the image and, for example, correct image blur on the light-receiving surface caused by camera shake during shooting so that the influence of the shake on shooting is minimized. Take The present invention relates to a shadow device.
[0002]
[Prior art]
Conventionally, this kind of photographing apparatus is known as a video camera or a digital still camera. For example, in the case of a digital still camera, a subject optical image formed on a light receiving surface of an imaging means is photoelectrically converted by a photographing optical system. An image is taken by using the charge, and the image data representing the image is generated by processing the charge accumulated by the image pickup means. In a digital still camera using such an imaging means, during exposure with the shutter open, the image of the subject imaged on the light receiving surface is photoelectrically converted to accumulate charges, and the accumulated charges are processed. Since the image data is generated in this way, the sensitivity is limited, and it is difficult to achieve a short shutter time like silver halide photography. Such blur is likely to occur.
[0003]
Shake correction usually detects angular velocities around two fixed axes perpendicular to the optical axis of the camera, determines the "tilt angle due to the shake" of the camera around these two axes, and image shake corresponding to this tilt angle. The correction lens included in the photographing optical system is displaced, the direction of the optical axis is adjusted, the image pickup means is moved, and the elements of the driven system such as the correction lens are The mechanism moves in two axial directions.
[0004]
In general, as a mechanism for correcting image blur, there is provided a shake correction unit that independently corrects image blur caused by moving the imaging position on the light receiving surface in two different directions orthogonal to the optical axis of the camera. A central processing unit (CPU) of a microcomputer (hereinafter referred to as a microcomputer) detects a shake amount in two directions based on an output of a shake detection sensor such as an angular velocity sensor, and a light receiving surface based on the detected shake amount. Prediction of the displacement amount of the image formation position above, and based on this predicted displacement amount, shake correction means that the driven system elements are displaced in two directions and driven by shake correction means so as to eliminate image shake It is carried out.
[0005]
[Problems to be solved by the invention]
By the way, in the mechanism for correcting the image blur, the image forming position on the light receiving surface in two different directions orthogonal to the optical axis of the camera is obtained by displacing the driven system element in two directions by the shake correcting means. The image blur is corrected independently by moving the. For this reason, a correctable range in which the imaging position on the light receiving surface can be moved and corrected is mechanically determined.
[0006]
Therefore, if the amount of displacement required for displacing the imaging position on the light-receiving surface, which is predicted based on the detected amount of shake, is within the correctable range, is eliminated. However, if there is a large shake that must be corrected with a displacement that exceeds this correctable range, there is a problem that image blur due to camera shake remains without being eliminated. It was.
[0007]
Therefore, in view of the above-described points, the present invention returns the imaging position to the center of the correctable range once when an image shake exceeding the correctable range that can be corrected by displacing the imaging position on the light receiving surface occurs. After that, by taking the remaining shots separately from the previous shots, even if a large image blur that exceeds the correctable range occurs, it is possible to obtain image data that eliminates the image blur. Take It is an object to provide a shadow device.
[0008]
[Means for Solving the Problems]
The invention according to claim 1 of the present invention, which has been made to solve the above problems, has a photographing optical system and a light receiving surface on which an image of a subject is formed by the photographing optical system, and is imaged on the light receiving surface. An imaging unit that captures an image with charges accumulated by photoelectrically converting the subject image, an image data generation unit that processes the charges accumulated by the imaging unit to generate image data representing the image, and an imaging optical system Angular velocity detection means for detecting angular velocities around two axes orthogonal to the optical axis, and an imaging position on the light receiving surface due to shake based on the angular velocities around the two axes detected by the angular velocity detection means Based on the predicted displacement amount calculated by the displacement amount calculating means, the image forming position on the light receiving surface is displaced in the two directions within the correctable range based on the predicted displacement amount. Image shake on the light-receiving surface Shake correction means and for correcting the , Dew When the predicted displacement amount calculated by the displacement amount calculating means in light exceeds the correctable range by the shake correcting means, the charge accumulated in the imaging means is transferred and held by exposure so far and exposed. Is temporarily interrupted, the image forming position on the light receiving surface is displaced to the center of the correctable range by the shake correcting means during the exposure interruption, and then the exposure is resumed, and the remaining exposure time Exposure control means that closes the shutter and ends the exposure when it has elapsed And The image data generation means The stage is Generates image data representing two images by separately processing the charges accumulated in the imaging means before and after the exposure interruption. And the temporary storage means for temporarily storing the two image data generated by the image data generation means, and the two image data stored in the temporary storage means for the pixel positions before and after the exposure interruption. An image synthesizing unit that obtains one synthesized image data by adding and synthesizing after matching It is characterized by Shooting It exists in the shadow device.
[0009]
According to the configuration of the first aspect described above, the image capturing unit captures an image with the charge accumulated by photoelectrically converting the subject image formed on the light receiving surface by the imaging optical system, and generates image data. Take the stage The charge accumulated by the image means is processed to generate image data representing the image. The displacement amount calculating means calculates a predicted displacement amount of the imaging position on the light receiving surface due to shake based on the angular velocities around two axes orthogonal to the optical axis of the photographing optical system detected by the angular velocity detecting means, Based on the predicted displacement amount calculated by the shake correction means, the image formation position on the light receiving surface is displaced in two directions within the correctable range to correct the image shake on the light receiving surface due to the shake. When the predicted displacement amount calculated by the displacement amount calculation unit during exposure exceeds the range that can be corrected by the shake correction unit, the exposure control unit transfers and holds the charge accumulated in the imaging unit by the previous exposure. In addition, the exposure is temporarily interrupted, the image forming position on the light receiving surface is shifted to the center of the correctable range by the shake correction means during the exposure interruption, and then the exposure is resumed, and the remaining exposure time has elapsed. At this point, the shutter is closed to complete the exposure, and the image data generating unit separately processes the charges accumulated in the imaging unit before and after the exposure interruption to generate image data representing two images. Two image data with no image blur are obtained each time. The two image data are temporarily stored separately by the temporary storage means, and the stored two image data are added together after the pixel positions before and after the exposure interruption are matched and combined. Therefore, each image of the two image data is underexposed, but the two combined image data obtained by aligning the two image data are added together. The part is well exposed and has no image blur The
[0010]
The invention described in claim 2 of the present application is described in claim 1. Shoot In the shadowing apparatus, the imaging unit is provided with a light receiving unit that photoelectrically converts an image of a subject formed on the light receiving surface to accumulate charges, and is shielded along the light receiving unit, and the exposure control unit A transfer unit that temporarily accumulates the charge transferred from the light receiving unit under the control of the image data, and the image data generation unit includes the charge accumulated before the exposure interruption accumulated in the transfer unit, The two image data are generated by separately processing charges accumulated after the exposure interruption accumulated in the light receiving unit. Shooting It exists in the shadow device.
[0011]
According to the configuration of the second aspect, the imaging unit is provided such that the light receiving unit photoelectrically converts the image of the subject imaged on the light receiving surface, accumulates charges, and is shielded from light along the light receiving unit. The transfer unit temporarily stores the charge transferred from the light receiving unit under the control of the exposure control means. The charge stored before the exposure interruption stored in the transfer unit and the light receiving unit Since the image data generating means separately processes the accumulated charge after the exposure interruption accumulated to generate two image data, it is only necessary to transfer the charge of the light receiving part to the transfer part during the exposure interruption. Two image data having no image blur can be obtained by a short interruption necessary to shift the imaging position to the center of the correctable range by the shake correction means.
[0012]
Invention of Claim 3 of this application is described in Claim 1 or 2 Shoot In the shadow device, The image synthesizing unit discards a non-overlapping portion of the two image data generated by the synthesis as unnecessary information, and generates synthesized image data by the overlapping portion. It is characterized by Shooting It exists in the shadow device.
[0013]
According to the configuration of claim 3, In obtaining one composite image data, the image composition means discards a non-overlapping portion of the two image data generated by the synthesis as unnecessary information and generates data by the overlapping portion. Does not include underexposed data .
[0014]
Invention of Claim 4 of this application is described in Claim 3. Shoot In the shadow device, When the image is reproduced and displayed by the composite image data or printed, it further includes an image enlarging means for enlarging the image so that at least one of the aspect ratio or the number of pixels is the same as that of the normal image It is characterized by Shooting It exists in the shadow device.
[0015]
According to the configuration of claim 4, When the image is reproduced and displayed by the composite image data or printed, the image enlargement means enlarges the image so that at least one of the aspect ratio or the number of pixels is the same as that of the normal image. Even if the non-overlapping part is discarded and the aspect ratio or the number of pixels is different from the normal image, the image displayed or printed by enlargement can be the same as the normal screen .
[0016]
The invention according to claim 5 of the present application claims 1 to 4 Description Shoot In the shadow device,
The image forming apparatus further includes a selection unit that selects one of an on state in which the exposure control unit is selectively operated and an off state in which the exposure control unit is not operated. It is characterized by Shooting It exists in the shadow device.
[0017]
According to the configuration of claim 5, Since the exposure control means can be selectively activated or deactivated by the selection means, it is possible to freely select whether or not to perform shake correction so as not to cause image shake even when a large shake occurs. .
[0018]
Invention of Claim 6 of this application is described in any one of Claim 1 thru | or 5. Shoot In the shadow device, A recording medium for recording the composite image data obtained by the image composition means is further provided. It is characterized by Shooting It exists in the shadow device.
[0019]
According to the structure of Claim 6, Since the synthesized image data obtained by the image synthesizing means is recorded on the recording medium, one synthesized image data recorded on the recording medium is sufficiently exposed at the added portion and has no image blur. .
[0020]
DETAILED DESCRIPTION OF THE INVENTION
The present invention will be described below with reference to the drawings. FIG. 1 is a diagram showing an embodiment of a photographing apparatus according to the present invention, and schematically shows a schematic configuration of a digital still camera with a shake correction function.
[0021]
In FIG. 1, a digital still camera with a shake correction function has a light-receiving surface of an image pickup means 13 composed of a charge coupled device (CCD) built in a camera body, and an image of a subject by a photographing optical system 11 built in the camera body. The image is formed on the light-receiving surface 13a, the image of the subject image formed on the light-receiving surface 13a is photoelectrically converted, and the image is photographed by using the accumulated charge. It is configured so that the influence on is as small as possible.
[0022]
Specifically, the photographic optical system 11 has a zoom lens 11A and a focus lens 11B as imaging lenses, and extends to the light receiving surface 13a of the imaging means 13 between the imaging means 13 and the extension of the optical axis 11C. A shutter 14 for controlling the incidence of light by opening and closing is provided. When the shutter 14 is opened, a subject image is formed on the light receiving surface 13a of the image pickup means 13 via the photographing optical system 11, so that charges obtained by photoelectrically converting the subject image are supplied to the image pickup means 13 in units of pixels. Accumulated. The charge accumulated in the image pickup means 13 is processed for each pixel by the image data generation circuit 16 and then used to generate image data representing the image of the subject. In generating the image data, the color and luminance information of the pixel comprising the charge amount which is an analog value is converted into a digital value. The image data converted into the digital value is taken into a microcomputer 15 built in the camera body, and recorded as photographing information on a portable recording medium 18 composed of a non-volatile memory such as an IC memory. The
[0023]
FIG. 2 schematically shows a configuration example of the imaging unit 13, and the imaging unit 13 includes a photodiode 3a as a pixel. A predetermined number of photodiodes 3a are arranged in the horizontal direction and the vertical direction. Each vertical column of photodiodes is provided with a vertical transfer register 3b as a transfer unit formed by a charge coupled device (CCD), and each photodiode 3a vertically stores charges (signals) accumulated by photoelectric conversion. By outputting to the corresponding part of the transfer register 3b, the transfer is made to the vertical transfer register 3b and temporarily held there until further transfer.
[0024]
Each vertical transfer register 3b is connected to a horizontal transfer register 3c which is also formed of a CCD, and sequentially outputs a signal output from each photodiode to a corresponding portion of the horizontal transfer register. The output of the horizontal transfer register 3c is connected to an image data generation circuit 16 that processes the accumulated charges and generates image data representing an image, and the image data generated here is taken into the microcomputer 15. The vertical transfer register 3b and the horizontal transfer register 3c are shielded from light. Signal output from the photodiode to the vertical transfer register, signal transfer in the vertical transfer register, and signal transfer in the horizontal transfer register are controlled by control signals from the microcomputer 15.
[0025]
The microcomputer 15 includes a memory for storing programs and data, and a central processing unit (microcomputer) that operates according to the programs stored in the memory.
[0026]
The digital still camera also detects the angular velocities around two axes x and y orthogonal to the optical axis 11C and orthogonal to each other, and outputs a detection signal corresponding to the detected angular velocity. An angular velocity sensor 17ax and a y-axis angular velocity sensor 17ay, and an x-axis sensor amplifier 17bx and a y-axis sensor amplifier 17by that amplify detection signals output from the respective angular velocity sensors to a predetermined level, are built in the camera body. .
[0027]
The x-axis angular velocity sensor 17ax and the x-axis sensor amplifier 17bx detect the x-axis angular velocity detection means 17x that detects the angular velocity around the axis x, and the y-axis angular velocity sensor 17ay and the y-axis sensor amplifier 17by detect the angular velocity around the axis y. Each of the y-axis angular velocity detection means 17y is configured to detect, as a whole, an optical axis of the photographing optical system and two directions of vibration that are orthogonal to each other, and outputs a detection signal corresponding to the magnitude of the detected two-way vibration. The shake detection means is configured.
[0028]
The microcomputer 15 digitally converts detection signals corresponding to the detected angular velocities output by the x-axis angular velocity detection means 17x and the y-axis angular velocity detection means 17y at a predetermined sampling period, and integrates the acquired detection signals. Thus, the “tilt angle due to shake” of the camera for each axis is calculated. Subsequently, the microcomputer 15 determines, based on the calculated inclination angle, a movement amount of the image formed on the light receiving surface 13a of the imaging unit 13 in the axis x direction and the axis y direction on the light receiving surface 13a. The predicted displacement amount is obtained by a calculation formula, and the imaging position on the light receiving surface is displaced in two directions by the obtained displacement amount. Thus, the microcomputer 15 constitutes a displacement amount calculating means for calculating a predicted displacement amount of the imaging position on the light receiving surface due to the shake based on the detected angular velocities about the two axes.
[0029]
The calculation of the predicted displacement amount by the microcomputer 15 is the amount of movement of the image on the light receiving surface 13a caused by the tilting of the camera by the inclination angle calculated for each axis, that is, the axis of the imaging position on the light receiving surface 13a. The amount of movement in the x direction and the axis y direction is calculated and obtained.
[0030]
The digital still camera also moves the light receiving surface 13a of the imaging means 13 independently in the axis x direction and the axis y direction based on the calculated predicted displacement amount in the axis x direction and the axis y direction. An x-direction correction actuator 19ax and a y-direction correction actuator 19ay for returning the imaging position moved above to the original position, and an x-direction correction drive circuit 19bx and a y-direction for driving the x-direction correction actuator 19ax and the y-direction correction actuator 19ay, respectively. And a correction drive circuit 19by, which are built in the camera body.
[0031]
The x-direction correction actuator 19ax and the x-direction correction drive circuit 19bx described above constitute the x-direction shake correction means 19x, and the y-direction correction actuator 19ay and the y-direction correction drive circuit 19by constitute the y-direction shake correction means 19y, respectively. Based on the predicted displacement amount for correction, the x-direction shake correction means 19x and the y-direction shake correction means 19y are operated to correct the imaging position moved on the light receiving surface 13a by the shake to the original position. In addition to the microcomputer 15 that controls the image forming apparatus, shake correction means for independently displacing the image forming position on the light receiving surface in two directions orthogonal to the optical axis of the photographing optical system. Note that there is a limit to the amount by which the light receiving surface 13a of the imaging means 13 can be moved by the shake correction means, and this determines the correctable range in which the image shake can be corrected.
[0032]
The digital still camera further includes a switch (not shown) that is turned on and off by an operation of a shake correction button 21 provided on the outside of the camera body as selection means for selecting whether to operate or stop the shake correction function. A zoom control unit 23A and a focus control unit 23B that control the zoom and focus by driving the zoom lens 11A and the focus lens 11B as imaging lenses are included in the camera body.
[0033]
The microcomputer 15 also has a zoom operation button 25A and a release operation button 25B provided outside the camera body, in addition to a process for shake correction performed based on a signal of a switch (not shown) that is turned on / off by the operation of the shake correction button 21. Based on the above operation, other processes such as zoom driving and focus driving of the zoom lens 11A and the focus lens 11B of the photographing optical system 11 are performed via the zoom control unit 23A and the focus control unit 23B, respectively.
[0034]
In addition to the process of driving and controlling the shutter 14 via the shutter control unit 23C based on the operation of the release operation button 25B, the microcomputer 15 opens the light receiving surface 13a through the photographing optical system 11 when the shutter 14 is opened. A control process is performed to control that the image data generation circuit 16 processes the electric charges accumulated in the imaging means 13 by photoelectrically converting the subject image formed on the image and generates image data representing the image.
[0035]
Furthermore, when the predicted displacement amount calculated during the exposure with the shutter 14 opened in response to the operation of the release operation button 25B exceeds the correctable range, the microcomputer 15 performs the exposure of the imaging unit 13 until that time. The charge accumulated in the light receiving portion 3a (FIG. 2) is transferred to and held in the vertical transfer portion 3b, and the shutter 14 is closed to temporarily interrupt the exposure, and the exposure on the light receiving surface 13a is interrupted during the exposure interruption. Exposure control in which the image forming position is displaced to the center of the correctable range by the shake correcting means 17 and then the shutter 14 is opened to resume exposure, and when the remaining exposure time has elapsed, the shutter is closed and the exposure is ended. Process. The microcomputer 15 determines the exposure time according to the brightness of the subject measured by an exposure meter (not shown).
[0036]
When the microcomputer 15 performs the above-described exposure control process, the charge accumulated in the vertical transfer unit 3b of the imaging unit 13 from the opening of the shutter 14 to the exposure interruption is stored in the light receiving unit 3a. In such a case, the image data generation circuit 16 stores the charges in the vertical transfer unit 3b and the light receiving unit 3a before and after the interruption of exposure under the control of the microcomputer 15, respectively. The processed charges are processed separately to generate image data representing two images.
[0037]
When the microcomputer 15 takes in the two pieces of image data generated by the image data generation circuit 16, the microcomputer 15 temporarily stores them separately in two frame memories as temporary storage means formed in the internal RAM. Two image data are added together after matching the pixel positions before and after the exposure interruption, and an image composition process is performed to obtain one composite image data. The composite image data obtained by this process is converted into a portable image data. It is recorded in the storage medium 18.
[0038]
The microcomputer 15 obtains a difference between the position of the image pickup means 13 at the time when the exposure is interrupted and the known position when the pixel position is returned to the center of the correction control range during the interruption when the pixel position is matched. Pixels that are different in position by an amount corresponding to the difference are regarded as pixels that accumulate charges at the same point of the subject image, and the data at the same point of the two image data, that is, the charges are added to each other. One composite image data corresponding to the image data obtained by the original exposure time is obtained based on one image data.
[0039]
In performing the above-described image composition processing, the microcomputer 15 discards the portion where the two image data generated by the composition do not overlap as the image data portion because the incompleteness of the exposure time is short. Data is generated only by the overlapping part of two image data.
[0040]
The composite image data described above has a different aspect ratio and a smaller number of pixels than normal image data due to discarding of unnecessary information. Therefore, when the image is reproduced and displayed with this composite image data or printed, an image enlargement process is performed to enlarge the image so that at least one of the aspect ratio or the number of pixels is the same as the normal image. Display and printing of the same size as usual can be obtained.
[0041]
It should be noted that the exposure control process as described above is not always performed, but is selectively turned on by operating a selection button (not shown) so that the photographer does not work when it is not necessary. It is preferable that one of a state and an off state that does not work can be selected.
[0042]
In the above configuration, in the normal shake correction when the shake correction function is activated by turning on the shake correction button 21, the microcomputer 15 and the optical axis 11 </ b> C of the photographing optical system 11 with respect to the imaging means 13 and 2 orthogonal to each other. When vibration occurs around one axis x and y, the x-axis angular velocity sensor 17ax and the x-axis angular velocity detector 17x including the x-axis sensor amplifier 17bx, and the y-axis including the y-axis angular velocity sensor 17ay and the y-axis sensor amplifier 17by. Detection signals corresponding to the angular velocities generated by the angular velocity detection means 17y are digitally converted and captured at a first predetermined sampling period. Then, the microcomputer 15 detects an inclination angle based on the acquired detection signal, and calculates a predicted displacement amount for shake correction based on the inclination angle.
[0043]
Further, the microcomputer 15 outputs a drive signal to the correction drive circuits 19bx and 19by of the shake correction means 19x and 19y based on the calculated predicted displacement amount to drive the correction actuators 19ax and 19ay. The driven correction actuators 19ax and 19ay move the imaging unit 13 in a plane orthogonal to the optical axis 11C to perform a shake correction operation in the horizontal direction that is the x-axis direction and the vertical direction that is the y-axis direction.
[0044]
The outline of the digital still camera with a shake correction function has been described above, and the details thereof will be described below with reference to the flowcharts of FIGS. 3 and 4 showing the processing performed by the microcomputer 15.
[0045]
The microcomputer 15 always performs normal shake correction processing of angular velocity detection, tilt angle calculation, predicted displacement amount calculation for shake correction, and shake correction drive through before and after the release operation button 25B. In the meantime, when the release operation button 25B is turned on, the microcomputer 15 performing the shake correction operation first moves the imaging unit 13 to a predetermined center position of the correctable range, and then performs the processing of the flowchart shown in the drawing. The exposure time Tr is calculated based on a signal from an exposure meter (not shown) (step S1), and a shutter opening signal for opening the shutter 14 is output to the shutter control unit 23C to open the shutter 14. (Step S2), the time measurement of the time T after that is started (Step S3). When the time T after opening the shutter 14 has passed the calculated exposure time for forming the subject image on the light receiving surface 13a and accumulating charges (when step S4 is Y), the shutter control unit 23C is informed. The shutter close signal is output to close the shutter 14 (step S5).
[0046]
The microcomputer 15 always performs normal shake correction processing of angular velocity detection, tilt angle calculation, predicted displacement amount calculation for shake correction, and shake correction drive through before and after the release operation button 25B. However, when the predicted displacement amount calculated for shake correction exceeds the correctable range when the exposure time has not elapsed (when step S6 is Y), even if shake correction using this predicted displacement amount is performed. It is determined that the image blur cannot be eliminated. At this time, the shutter 14 is closed so as to end the exposure and the exposure is interrupted (step S7). The accumulated charge is prevented from entering a charge component due to image blur.
[0047]
Then, the microcomputer 15 starts counting a predetermined time t (described later), and outputs a control signal to the image data generation circuit 16 while the shutter 14 is closed, and the image data generation circuit The electric charge accumulated in the light receiving unit 3a of the image pickup means 13 until the shutter 14 is closed is transferred to the vertical transfer unit 3b (step S9). Further, the microcomputer 15 performs shake correction by performing a return correction process for returning the imaging means 13 that has been moved to the position shifted by the shake correction operation to a predetermined center position in the correctable range while the shutter 14 is closed. This is performed in the process (step S10). This return correction processing is to return the imaging means 13 to the center of the correctable range, and for this purpose, it is necessary to calculate the return amount. This return amount calculation is possible by always grasping the position of the image pickup means 13 and obtaining the difference between the position of the image pickup means 13 and the known return position when the shutter 104 is closed and the exposure is interrupted.
[0048]
The microcomputer 15 calculates the remaining exposure time Tr2 obtained by subtracting the exposure time Tr1 from the exposure time Tr calculated in Step S1 to the exposure interruption before and after instructing the above-described return correction processing (Step S11). ). Thereafter, the microcomputer 15 waits for the elapse of a predetermined time t (step S12), outputs a shutter open signal to the shutter control unit 23C to open the shutter 14 (step S13), and the subsequent time T Measurement is started (step S14). When the time T after opening the shutter 14 has passed the above calculated remaining exposure time Tr2 for forming an object image on the light receiving surface 13a and accumulating charges (when step S15 is Y), the shutter control unit A shutter close signal is output to 23C, and the shutter 14 is finally closed (step S16).
[0049]
After closing the shutter 14 in step S6 or step S16, the microcomputer 15 instructs the image data generation circuit 16 to generate image data (step S17), but the contents are greatly different. In the former case, the charge held in the light receiving portion 3a of the imaging means 13 may be processed to generate image data representing one image. Further, the generated image data may be captured and recorded on the recording medium 18.
[0050]
On the other hand, in the latter case, after the exposure is resumed, the shake correction operation is performed as before, and a subject image with the shake corrected is formed on the light receiving surface 13a of the imaging means 13. Then, the charge obtained by photoelectrically converting the subject image is accumulated in the light receiving unit 3a. Accordingly, the charge accumulated in the imaging unit 13 corresponding to the subject image formed until the exposure is interrupted is accumulated in the vertical transfer unit 3b in correspondence with the subject image formed after the exposure is resumed. Are respectively held in the light receiving unit 3a, the microcomputer 15 outputs a control signal to the image data generation circuit 16, and is held in the light receiving unit 3a and the vertical transfer unit 3b of the imaging means 13, respectively. The charged charges are processed separately to generate image data representing the two images.
[0051]
When two pieces of image data are generated based on the electric charge accumulated in the image pickup means 13 before and after the exposure interruption, the microcomputer 15 is formed as a temporary storage means in the RAM as shown in FIG. The two image data D1 and D2 are temporarily stored separately in the two frame memories FM1 and FM2, and the stored two image data D1 and D2 are added together after matching the pixel positions before and after the exposure interruption. Are combined to perform image composition processing for obtaining one composite image data. In obtaining the composite image data, as shown by hatching in FIG. 5, the non-overlapping portion of the two image data generated by the synthesis is discarded as unnecessary information, and the composite image data is generated by the overlapping portion. The composite image data obtained by the image composition is recorded on the recording medium 18. In addition, the frame shown with the dashed-dotted line in FIG. 5 has shown the correction | amendable range.
[0052]
According to the above-described embodiment of the present invention, the image capturing unit 13 captures an image with the electric charge obtained by photoelectrically converting the subject image formed on the light receiving surface 13a by the image capturing optical system 11, and the image data generating circuit 16 Processes the charge accumulated by the imaging means 13 to generate image data representing an image. Based on the angular velocities around the two axes orthogonal to the optical axis of the photographic optical system 11 detected by the angular velocity detectors 17x and 17y, the microcomputer 15 calculates the predicted displacement amount of the imaging position on the light receiving surface 13a due to shake. Based on the calculated predicted displacement amount, the shake correction means 19x and 19y shift the image forming position on the light receiving surface 13a in two directions within the correctable range, and the image shake on the light receiving surface 13a due to the shake is calculated. Correct.
[0053]
When the predicted displacement calculated by the microcomputer 15 during the exposure when the shutter 14 is opened by the operation of the release operation button exceeds the correctable range by the shake correcting means 19x and 19y, the microcomputer 15 performs the imaging means by the exposure so far. The charge accumulated in 13 is transferred and held and the exposure is temporarily interrupted, and the image forming position on the light receiving surface 13a is displaced to the center of the correctable range by the shake correcting means 19x and 19y during the exposure interruption. Then, the exposure is resumed. When the remaining exposure time elapses, the shutter 14 is closed to complete the exposure, and the image data generation circuit 16 stores the charges respectively stored in the imaging means 13 before and after the interruption of the exposure. Image data representing two images is generated by separately processing. Therefore, two image data without image blur can be obtained in one shooting.
[0054]
Specifically, the image pickup means 13 has a light receiving portion 3a that photoelectrically converts an object image formed on the light receiving surface 13a to accumulate charges, and is vertically provided so as to be shielded from light along the light receiving portion 3a. The transfer unit 3b is configured to temporarily store the charge transferred from the light receiving unit 3a under the control of the microcomputer 15, and the charge stored before the exposure interruption stored in the vertical transfer unit 3b; The image data generation circuit 16 separately processes the charges accumulated after the exposure interruption accumulated in the light receiving unit 3a to generate two image data. Therefore, it is only necessary to transfer the charge of the light receiving unit 3a to the vertical transfer unit 3b during the exposure interruption, and the short interruption necessary for displacing the imaging position to the center of the correctable range by the shake correction means 19x and 19y. Thus, two image data without image blur can be obtained.
[0055]
Furthermore, the two frame memories formed in the memory in the microcomputer 15 separately store the two image data generated by the image data generation circuit 16 separately, and the microcomputer 15 performs image composition processing on the stored two image data. Thus, the pixel positions before and after the exposure interruption are matched and added together to obtain one synthesized image data, and the synthesized image data obtained by the image synthesizing process is recorded on the recording medium 18. Therefore, each image of the two image data is underexposed, but the two image data are aligned and added to each other, and one composite image data recorded on the recording medium 18 is the added portion. The exposure is sufficient and there is no image blur, and an image without image blur is obtained even if a large blur occurs.
[0056]
In obtaining one composite image data by the image composition processing, the non-overlapping part of the two image data generated by the composition is discarded as unnecessary information, and data is generated by the overlapping part. Underexposure data is not included, and an image having the same quality as the normal image is obtained by the composite image data although the size is different from that of the normal image.
[0057]
Furthermore, since the image obtained from the composite image data has a smaller aspect ratio or number of pixels than a normal image, the image has an aspect ratio or the same number of pixels as that of the normal image when played back or printed. By enlarging, an image having no image blur is obtained in the same size as the normal image. However, in this case, the image becomes coarse by the amount of enlargement, but there is no problem in quality when the enlargement ratio is not so large.
[0058]
The exposure control process can be selectively activated or deactivated, and the photographer can freely select whether or not to perform shake correction so as not to cause image blur even when a large shake occurs. It can also be used when you want to shoot with intentional image blur.
[0059]
【The invention's effect】
As described above, according to the first aspect of the present invention, when an image blur exceeding the correctable range that can be corrected by displacing the imaging position on the light receiving surface occurs, the imaging position is corrected once. By taking the rest of the shooting separately from the previous shooting, even if a large image blur that exceeds the correctable range occurs, each of the two images without image blur in one shooting Although it is in the form of image data, image data with no image blur is obtained. The combined image data obtained by aligning the two image data and adding them is equivalent to a normal image because the added portion is sufficiently exposed and has no image blur. Image data that can be handled .
[0060]
According to the second aspect of the present invention, it is only necessary to transfer the charge of the light receiving unit to the transfer unit during the interruption of exposure, and a short time necessary for displacing the imaging position to the center of the correctable range by the shake correcting means. Since two image data with no image blur are obtained by interrupting the image, it can be realized without giving the photographer a sense of incongruity that is significantly different from normal shooting.
[0061]
According to invention of Claim 3, Discarded as unnecessary information and generated composite image data by overlapping parts, so that the image blur and underexposure data are not included in the composite image data, so even if no processing is performed, the normal image and Image data that can be handled in the same way can be obtained. .
[0062]
According to invention of Claim 4, Even if the non-overlapping part of the two image data generated by the synthesis is discarded and the aspect ratio or the number of pixels is different from the normal image, the image displayed or printed by enlargement is the same as the normal screen. An image that is almost indistinguishable from a normal image can be obtained. .
[0063]
According to invention of Claim 5, The photographer's willingness to select whether or not to perform shake correction so as not to cause image shake even when large shakes occur, may impair the photographer's intentional shooting with shake. Absent .
[0064]
According to the invention of claim 6, One composite image data recorded on the recording medium is image data that can be handled in the same manner as a normal image. .
[Brief description of the drawings]
BRIEF DESCRIPTION OF THE DRAWINGS FIG. Shooting It is a block diagram which shows schematic structure of the camera main body in one Embodiment of a shadow apparatus.
FIG. 2 is a diagram schematically showing a configuration of an imaging unit in FIG.
FIG. 3 is a flowchart showing a part of processing performed by the microcomputer in FIG. 1;
FIG. 4 is a flowchart showing another part of the process performed by the microcomputer in FIG. 1;
FIG. 5 is an explanatory diagram for explaining an image composition process performed by the microcomputer in FIG. 1;
[Explanation of symbols]
11 Shooting optical system
11C optical axis
13 Imaging means
13a Photosensitive surface
14 Shutter
15 Microcomputer (displacement calculation means, exposure control means, image composition means, image enlargement means)
16 Image data generation circuit (image data generation means)
17x, 17y shake detection means (angular velocity detection means)
18 Recording media
19x, 19y shake correction means
21 Shake correction button
25B Release operation button
3a Light receiver
3b Vertical transfer unit
x, y axis

Claims

An imaging optical system and a light receiving surface on which an image of a subject is formed by the imaging optical system, and an image is captured by electric charges accumulated by photoelectrically converting the subject image formed on the light receiving surface Means ,
An image data generation means for generating image data representing an image by processing the charge said image pickup means has accumulated,
Angular velocity detection means for detecting angular velocities about two axes orthogonal to the optical axis of the photographing optical system ;
A displacement amount calculating means based on the angular velocity around the detection by said two axes, calculating the predicted amount of displacement of the imaging position on the light receiving surface by the deflection by the angular rate sensing means,
Based on the predicted displacement amount calculated by the displacement amount calculating means, the image blur correcting the shake correction of the imaging position on the light receiving surface by the vibration is displaced in the two directions within a correctable range on the light receiving surface and means,
When the predicted displacement amount calculated by the displacement amount calculation unit during exposure exceeds the range that can be corrected by the shake correction unit, the charge accumulated in the imaging unit is transferred and held by the previous exposure and exposure is performed. Is temporarily interrupted, the image forming position on the light receiving surface is displaced to the center of the correctable range by the shake correcting means during the exposure interruption, and then the exposure is resumed, and the remaining exposure time and a exposure control means to terminate the exposure by closing the shutter has passed since the beginning,
The image data generating hand stage, the treated separately charges accumulated respectively in the imaging device before and after exposure interruption generates image data representing the two images,
Temporary storage means for temporarily storing the two image data generated by the image data generation means separately;
And further comprising image combining means for combining the two image data stored in the temporary storage means with the pixel positions before and after the exposure interruption matched to obtain one composite image data.
Shadow apparatus shooting you, characterized in that.

In the shadow device shooting according to claim 1,
The imaging unit is provided with a light receiving unit that photoelectrically converts an image of a subject imaged on the light receiving surface to accumulate charges, and is shielded along the light receiving unit, and is controlled by the exposure control unit. A transfer unit that temporarily accumulates the charge transferred from the light receiving unit,
The image data generating means separately processes the charge accumulated before the exposure interruption accumulated in the transfer unit and the charge accumulated after the exposure interruption accumulated in the light receiving unit. you and generating the two image data Te shooting device.

In the shadow device Taking of claim 1 or 2, wherein,
The image synthesizing means, abandoning the non-overlapping part of the two image data generated by the synthesis as unnecessary information, the overlapping portion by the synthetic image data, wherein the to that IMAGING DEVICE generating a.

In the shadow device Taking of claim 3,
When or printing when reproducing and displaying the image by the composite image data, shooting you, wherein at least one of aspect ratio, or number of pixels further includes an image enlarging means for enlarging the image so as to become the same as the normal image Shadow device.

In the shadow device shooting according to any one of claims 1 to 4,
It said exposure control means and on state selectively exerts further shade device Taking you further comprising a selection means for selecting one of the off state without worked.

In the shadow device shooting according to any one of claims 1 to 5,
A recording medium for recording the composite image data obtained by the image composition means is further provided.
Shadow apparatus shooting you, characterized in that.