JP4586291B2 - 電子カメラおよび画像処理システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、電子カメラおよび画像処理システムに関し、特にぶれを補正した画像を生成する電子カメラおよび画像処理システムに関するものである。
【０００２】
【従来の技術】
従来カメラブレ対策として以下のような方法が提案されている。
第１の方法は、カメラの撮影光学系にブレ補正光学系を内蔵し、カメラブレをブレセンサで検出し、検出したカメラブレに応じて撮像中にブレ補正光学系を移動させることにより、カメラブレに伴う画像ブレの発生を防止するものである。
【０００３】
第２の方法は、撮像中のカメラブレをブレセンサで検出して記録しておき、該カメラブレ情報に基づき撮像した画像を画像処理することによりブレ画像を修復するものである。
第３の方法は、連続して複数の画像を撮像し、該複数の画像間の動きをパターンマッチング等の手法で検出し、検出された画像間の動きに基づいて複数の画像を合成してぶれを補正した画像を生成するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら上記従来の第１の方法および第２の方法では、カメラにブレセンサを内蔵する必要があり、カメラの大型化を招くとともに、コストが増大するといった問題があった。
【０００５】
また上記従来の第１の方法では、ブレを補正するためにブレ補正光学系を移動させるための機械的な移動機構が必要であり、カメラの大型化を招くとともに、コストが増大し、バッテリ消耗が激しいといった問題があった。
また上記従来の第１の方法および第２の方法では、ブレをブレセンサで検出しているため、露光中の被写体の動きに起因する被写体ブレは補正できないといった問題があった。
【０００６】
また上記従来の第３の方法では、複数の画像間に発生するカメラブレは補正することができるが、１つの画像の露光中に発生するブレは補正することができないという欠点があった。
また上記従来の第２の方法および第３の方法では、ブレの有無にかかわらず一律的にブレ補正の画像処理を行っているため、ブレがない場合でも画像処理が終了するまで他の処理を行えないという欠点があった。
【０００７】
また上記従来の第２の方法および第３の方法では、ブレ補正の画像処理を一様に行っているため、流し撮りした画像データに対しては本来流れた画像となるべき背景もブレ補正されてしまい不自然な画像データになってしまうという欠点があった。
【０００８】
そこで本発明は、ブレセンサおよびブレ補正光学系を必要とせず、かつ露光中に発生する画像ブレや被写体ブレを必要に応じて効率的に補正できるとともに、流し撮りをした場合でも自然なブレ補正画像データを生成できる電子カメラおよび画像処理システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明による電子カメラでは、被写体像を撮像する撮像手段と、前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、前記露光制御手段と前記撮像手段とにより第１の露光時間で撮像した第１の画像データと、前記第１の露光時間とは異なる第２の露光時間で撮像した第２の画像データとを連続して生成する画像生成手段と、前記第１の画像データと前記第２の画像データとに基づき、前記第１の画像データまたは前記第２の画像データがぶれているかいないかを判別するブレ判別手段と、前記第１の画像データと前記第２の画像データとに基づき、画像処理によりぶれを補正した第３の画像データを生成する画像処理手段とを備えることを特徴とする。
【００１１】
請求項３に記載の発明による電子カメラでは、被写体像を撮像する撮像手段と、前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、前記露光制御手段と前記撮像手段とにより第１の露光時間で撮像した第１の画像データと、前記第１の露光時間より長い第２の露光時間で撮像した第２の画像データとを連続して生成する画像生成手段と、前記第２の画像データを撮像する際の流し撮りの方向を設定する流し撮り方向設定手段と、前記画像生成手段により生成された前記第１の画像データと前記第２の画像データとに基づき、前記第２の画像データに含まれる空間周波数成分を補正することにより第３の画像データを生成する画像処理手段とを備え、前記画像処理手段は、前記流し撮り方向設定手段により設定された流し撮り方向に応じて、前記第２の画像データに含まれる空間周波数成分を補正して第３の画像データを生成する際の画像処理の内容を変更することを特徴とする。
【００１３】
請求項５に記載の発明による電子カメラでは、被写体像を撮像する撮像手段と、前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、前記露光制御手段と前記撮像手段とにより第１の露光時間で撮像した第１の画像データと、前記第１の露光時間より長い第２の露光時間で撮像した第２の画像データとを連続して生成する画像生成手段と、前記第１の画像データと前記第２の画像データとに基づき、前記第２の画像データを撮像した際の流し撮りの方向を検出する流し撮り方向検出手段と、前記画像生成手段により生成された前記第１の画像データと前記第２の画像データとに基づき、前記第２の画像データに含まれる空間周波数成分を補正することにより第３の画像データを生成する画像処理手段とを備え、前記画像処理手段は、前記流し撮り方向検出手段により検出された流し撮り方向に応じて、前記第２の画像データに含まれる空間周波数成分を補正して第３の画像データを生成する際の画像処理の内容を変更することを特徴とする。
【００１７】
請求項９に記載の発明による画像処理システムでは、被写体像を撮像する撮像手段と、前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、前記露光制御手段と前記撮像手段とにより第１の露光時間で撮像した第１の画像データと、前記第１の露光時間より長い第２の露光時間で撮像した第２の画像データとを連続して生成する画像生成手段とを備える電子カメラと、前記電子カメラにより生成された前記第１の画像データと前記第２の画像データとに基づき、前記第２の画像データを撮像した際の流し撮りの方向を検出するとともに、前記第１の画像データと前記第２の画像データとに基づき、前記第２の画像データに含まれる空間周波数成分を流し撮り方向に応じて補正し、第３の画像データを生成する画像処理装置とからなることを特徴とする。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。図１および図２は、本発明を適用した電子カメラ１の実施形態の構成を示す斜視図である。図１は電子カメラ１を前方から見た図であり、電子カメラ１の前面には被写体像を形成する撮影レンズ２、被写体の撮影範囲の確認に用いられるファインダ４、撮影時に被写体を照明する閃光を発する発光部（ストロボ）５、被写体の色を測色する測色素子６、被写体の輝度を測光する測光素子７が設けられている。また電子カメラ１の上面には被写体の撮影時に操作されるシャッタ釦３が設けられている。
【００１９】
図２は電子カメラ１を後方から見た図であり、ファインダ４の接眼部、撮像した画像を表示する表示部（表示ＬＣＤ）８、流し撮り撮影時に流し撮りの方向を設定するための流し撮り方向設定部材４１、ブレ補正を行うか否かを選択するためのブレ補正選択部材４２が設けられている。また電子カメラ１の側面には撮像した画像情報（画像データ）を記録するためのリムーバブルな記憶媒体（メモリカード）を装着するためのメモリカードスロット９が設けられている。
【００２０】
次に、電子カメラ１の内部の電気的構成を、図３に示すブロック図を参照して説明する。
ＣＰＵ１０は、電子カメラ全体の動作を制御する手段であって、ＲＯＭ２６に記憶された制御プログラムに基づき、ＣＰＵ制御バス１１に接続した各部を制御するようになされている。
【００２１】
撮像手段として用いられるＣＣＤ２０は複数の画素を備えており、各画素に結像した光画像を画像信号（電気信号）に光電変換するようになされている。
デジタルシグナルプロセッサ（ＤＳＰ）２１は、ＣＣＤ２０にＣＣＤ水平駆動パルスを供給するとともに、ＣＣＤ駆動回路１９を制御し、ＣＣＤ２０にＣＣＤ垂直駆動パルスを供給させるようになされている。
【００２２】
画像調整部２２は、ＣＰＵ１０に制御され、ＣＣＤ２０が光電変換した画像信号を所定のタイミングでサンプリングし、そのサンプリングした信号を、所定のレベルに増幅するようになされている。
アナログ／デジタル変換回路（ＡＤ変換回路）２３は、画像調整部２２でサンプリングした画像信号を所定のビット数で量子化（デジタル化）し、画像データとしてＤＳＰ２１に供給するようになされている。
【００２３】
ＤＳＰ２１は、バッファメモリ３０およびメモリカード２５に接続されるデータバス２４を制御し、ＡＤ変換回路２３より供給された画像データを画像圧縮してバッファメモリ３０に一旦記憶させた後、バッファメモリ３０に記憶した画像データを読み出し、その画像データを記録手段として用いられるメモリカード２５に記録するようになされている。
【００２４】
ＤＳＰ２１は、バッファメモリ３やメモリカード２５から画像データを読み出し、その画像データを伸張した後、伸張後の画像データをフレームメモリ２７に記憶させ、表示ＬＣＤ８に表示させるようになされている。
ＤＳＰ２１は、メモリカード２５への記録、画像データのバッファメモリ３０への記憶などにおけるデータ入出力のタイミング管理を行うようになされている。
【００２５】
ＤＳＰ２１は、画像処理手段として後述するブレ画像を補正するための画像処理を行う。
バッファメモリ３０は、メモリカード２５に対するデータの入出力の速度と、ＣＰＵ１０やＤＳＰ２１などにおける処理速度の違いを緩和するために利用される。
【００２６】
シャッタ釦３は、撮影指示のためにユーザーにより操作される操作部材であって、非操作状態と半押し状態と全押し状態の３つの操作状態に応じた信号をＣＰＵ１０に出力する。ＣＰＵ１０はシャッタ釦３の操作により撮影指示（全押し）がなされた場合は、ＤＳＰ２１に撮影指示コマンドを送り、上述の撮像動作が実行されるようになされている。
【００２７】
測光素子７は、被写体およびその周囲の光量を測定し、その測定結果を測光回路３４に出力するようになされている。
測光回路３４は、測光素子７より供給された測光結果であるアナログ信号に対して所定の処理を施した後、デジタル信号に変換して測光データとし、その測光データをＣＰＵ１０に出力するようになされている。
【００２８】
測色素子６は、被写体およびその周囲の色温度を測定し、その測定結果を測色回路３３に出力するようになされている。
測色回路３３は、測色素子６より供給された測色結果であるアナログ信号に対して所定の処理を施した後、デジタル信号に変換して測色データとし、その測色データをＣＰＵ３０に出力するようになされている。
【００２９】
タイマ２８は、時計回路を内蔵し、現在の時刻に対応する時間データをＣＰＵ１０に出力するようになされている。
絞り駆動回路１６は、絞り１８の開口径をステップモータ１７により所定の値に設定するようになされている。
【００３０】
絞り１８は、撮影レンズ２とＣＣＤ２０の間に配置され、撮影レンズ２からＣＣＤ２０に入射する光の開口径を変更するようになされている。
シャッタ駆動回路１３、ステップモータ１４、シャッタ１５は露光制御手段として用いられており、シャッタ駆動回路１３は、シャッタ１５をステップモータ１４により動作させ、ＣＣＤ２０の露光時間を制御するようになされている。
【００３１】
シャッタ１５は、撮影レンズ２とＣＣＤ２０の間に配置され、撮影レンズ２からＣＣＤ２０に入射する光の遮断と透過を制御するようになされている。
ＣＰＵ１０は、測光回路３４および測色回路３３を制御し、測光素子７の測光データを受け取るとともに、測色素子６の測色データを受け取るようになされている。
【００３２】
ＣＰＵ１０は、測光データと所定のテーブルを参照して、ＣＣＤ２０により撮像される画像データの輝度値が適正なレベルとなるように、絞り１８の絞り値データとシャッタ１５のシャッタ速度（露光時間）データを決定し、それらのデータを絞り駆動回路およびシャッタ駆動回路に供給するようになされている。
【００３３】
ＣＰＵ１０は、所定のテーブルを参照して、測色回路３３より供給された測色データ（色温度）に対応するホワイトバランス調整値を算出し、そのホワイトバランス調整値を画像調整部２２に供給するようになされている。
ＣＰＵ１０は、測光データに応じて被写体の輝度が所定値以下の場合は、撮影時にストロボ駆動回路３５を制御して、ストロボ５を適宜発光させるようになされている。
【００３４】
ＣＰＵ１０は、タイマ２８より供給される時間データに従って、撮影した日時の情報とファイルネームを画像データのヘッダ情報として、メモリカード２５の撮影画像記録領域に記録するようになされている。
ＣＰＵ１０は、レンズ駆動回路１２を制御し、撮影レンズ２を移動させることにより、オートフォーカス動作を行うようになされている。
【００３５】
ＣＰＵ１０は、焦点距離検出回路４４を介し、撮影レンズ２が設定されている焦点距離のデータを読み出すようになされている。
ＣＰＵ１０は、ファインダ内表示回路３１を制御して、各種動作における設定などをファインダ内表示ＬＣＤ３２に表示させるようになされている。
【００３６】
ＣＰＵ１０は、インタフェース２９を介して、所定の外部装置（図示せず）と所定のデータの授受を行うようになされている。
ＣＰＵ１０は、各種切換スイッチおよび操作釦４０からの信号を受け取り、適宜処理するようになされている。各種切換スイッチおよび操作釦４０には、カメラ動作を近接撮影に最適化した動作モード（マクロモード）に切り換えるために使用者により操作される切換スイッチが含まれる。ＣＰＵ１０は、マクロモードに切り換えられた場合は、レンズ駆動回路１２を制御し、撮影レンズ２を移動させることにより、近接撮影に適した光学系配置となるようになされている。
【００３７】
ＣＰＵ１０は、画像生成手段としてＣＣＤ２０、シャッタ駆動回路１３を制御し、後述するような露光時間の異なる画像を生成させる。
ブレ補正選択部材４２は、ブレ補正を行うか否かを指示するために使用者により操作される操作部材であって、操作状態に応じた信号をＣＰＵ１０に出力する。ＣＰＵ１０は、ブレ補正選択部材４２の操作に応じ、バッファメモリに格納された画像情報（画像データ）に対して後述するブレ補正処理を実行するようになされている。
【００３８】
流し撮り方向設定部材４１は、流し撮りを行う場合の流し撮りの方向を指示するためにユーザーにより操作される操作部材であって、操作状態に応じた信号をＣＰＵ１０に出力する。ＣＰＵ１０は、流し撮り方向設定部材４１の操作に応じ、バッファメモリに格納された画像情報（画像データ）に対して後述するブレ補正処理を実行する際の処理を変更するようになされている。なお流し撮りとは、背景に対して移動する主要被写体を撮影する際に、主要被写体が露光中の移動によりぶれるのを防ぐために、露光中に被写体の動きに合わせてカメラを振りながら撮影する手法である。流し撮り方向設定部材４１の設定状態としては、流し撮りしない、画面の水平方向に流し撮りする、画面の垂直方向に流し撮りするの３つの状態がある。
【００３９】
ストロボモード設定部材４３は、ストロボ５を発光させて撮影を行う場合の動作モード（ストロボモード）を設定するためにユーザーにより操作される操作部材であって、操作状態に応じた信号をＣＰＵ１０に出力する。ストロボモードとしては、ノーマルモードとスローシンクロモードがあり、ノーマルモードでは測光素子７により出力される測光データが所定値より暗い輝度を示す場合にＣＰＵ１０は撮影時に自動的にストロボ５を発光させる。この時シャッタ速度の高速側はシャッタが全開する限度のシャッタ速度（例えば１／６０秒）以下に制限され、また低速側はブレが生じないシャッタ速度（例えば撮影レンズ２の焦点距離をｆ（ｍｍ）とすると１／ｆ、ただし焦点距離は３５ｍｍ銀塩カメラ換算）以上に制限される。
【００４０】
一方スローシンクロモードでは、ストロボ照明をしつつ背景の雰囲気も残して撮影するために、ストロボ撮影時に上記シャッタ速度の低速側の制限を設けないモードである。
図４は電子カメラ１の基本的なシーケンスを示すフローチャートである。なおこのシーケンスは図３のＣＰＵ１０、ＤＳＰ２１等により実行される。またこのシーケンスでは、ブレ補正選択部材４２はブレ補正を行うに設定され、流し撮り方向設定部材４１とストロボモード設定部材４３は撮影者により適宜に設定されている。
【００４１】
電源オンによりシーケンスがスタートし、Ｓ１００ではシャッタ釦３が半押しされたか否かを検出する。半押しがなされない場合はＳ１００を繰り返す。半押しがなされたと判断された場合にはＳ１０１に移行し、測光素子７により被写体の輝度を測光し、測光データに基づき、この被写体をＣＣＤ２０により撮像する際に画像データの輝度レベルが適正となる適正露光量を得るための絞り値と露光時間（シャッタ速度）Ｔが算出される。
【００４２】
Ｓ１０２ではシャッタ釦３が全押しされたか否かを検出する。全押しがなされない場合はＳ１０１〜Ｓ１０２を繰り返す。Ｓ１０２でシャッタ釦３が全押しされたと判断された場合にはＳ１０３に移行し、ステップモータ１７を駆動して絞り１８をＳ１０１で定められた絞り値に制御する。
【００４３】
Ｓ１０４では、マクロモードに設定されているか否かを検出する。マクロモードに設定されている場合は、近接撮影時には通常撮影に比較してブレの影響が大きいため、ブレ補正を行う撮影を実行するためにＳ１０９に進む。マクロモードに設定されていない場合はＳ１０５に進む。
【００４４】
Ｓ１０５では、撮影レンズ２の焦点距離が望遠か否かを検出する。例えば焦点距離が１００ｍｍ以上であれば望遠レンズと判定する。望遠レンズの場合は焦点距離の短いレンズに比較してブレの影響が大きいため、ブレ補正を行う撮影を実行するためにＳ１０９に進む。望遠レンズでない場合はＳ１０６に進む。
【００４５】
Ｓ１０６では、設定Ｓ１０１で設定されたシャッタ速度Ｔが撮影レンズ２の焦点距離に対し十分速い速度であるか否かを検出する。例えば焦点距離をｆとすると、シャッタ速度Ｔが１／ｆより高速な場合に、シャッタ速度Ｔが撮影レンズ２の焦点距離に対し十分速い速度であると判定する。シャッタ速度が低速な場合は、シャッタ速度が高速な場合と比較してブレの影響が大きいため、ブレ補正を行う撮影を実行するためにＳ１０９に進む。シャッタ速度が高速な場合はＳ１０７に進む。
【００４６】
Ｓ１０７では、スローシンクロモードに設定されているか否かを検出する。スローシンクロモードに設定されている場合は、シャッタ速度の低速側の制限がなくなりブレの影響が大きいため、ブレ補正を行う撮影を実行するためにＳ１０９に進む。スローシンクロモードに設定されていない場合はＳ１０８に進み、通常撮影モードへ移行する。なお通常撮影モードの動作は本発明とは関連がないので省略する。
【００４７】
Ｓ１０９においてシャッタ速度を、Ｓ１０１で定められた適正露光量が得られる露光時間Ｔの半分の露光時間Ｔ／２として、ステップモータ１４を駆動しシャッタ１５を動作させ、ＣＣＤ２０に被写体像を露光して撮像させる。この時得られた画像を画像１とする。
【００４８】
ＣＣＤ２０に蓄積された電荷は画像調整部２２、ＡＤ変換回路２３を経てＤＳＰ２１に運ばれる。
Ｓ１１０では画像１が圧縮されるが、ここでは空間周波数の高周波成分の劣化が少ない１／８のＪＰＥＧ圧縮が行われる。そしてＳ１１１ではこの露光量の少ない画像１の再生を禁止するために、再生を禁止するフラグに１が記録される。
このことにより、露出不足の暗い画像１が表示されることを防ぐことができる。
そしてＳ１１２で画像１はバッファメモリ３０に記録される。
【００４９】
Ｓ１１３ではＳ１０９の撮影と同じ絞り値により、適正露光時間Ｔで画像の露光が行われる。この時得られた画像を画像２とする。そしてＳ１１４で、適正露光量で撮像された画像２は表示ＬＣＤ８に表示される。このことにより、暗い画像１ではなく輝度レベルが適正な画像２が表示されるので、使用者は適正な露光量で露光が行われたことを確認できる。
【００５０】
Ｓ１１５において画像２が１／１６にＪＰＥＧ圧縮される。これは画像２は手ブレによって画像の空間周波数の高周波成分が無くなっており、そのために１／１６で圧縮しても画質の劣化が少ないためである。
このように空間周波数の高周波成分を多く含む画像１は低い圧縮率で、高周波成分をあまり含まない画像２は高い圧縮率で圧縮することにより、効率的にバッファメモリを使用することが可能になっている。
【００５１】
Ｓ１１６で画像２はバッファメモリ３０に記録される。
Ｓ１１７では、異なる露光時間により得られた画像１と画像２の空間周波数成分に差があるか否かを検出する。例えばフーリエ変換を施すことにより求めた、画像１と画像２の空間周波数領域におけるＭＴＦ（modulation transfer function）を比較することにより、高周波成分において画像２のＭＴＦが画像１のＭＴＦより所定量低下していれば、ブレにより高周波成分が減少したと判断し、Ｓ１１９以降のブレ画像補正処理を行う。高周波成分において画像２のＭＴＦが画像１のＭＴＦより所定量低下していなければ差がないと判断し、ブレ画像補正処理は不要としてＳ１１８に進む。
【００５２】
Ｓ１１８ではバッファ３０に記録された画像１を消去し、画像２をメモリカード２５に記録する。
Ｓ１１９では、ブレ画像補正処理として画像１と画像２からぶれを補正した画像３を作成する。Ｓ１１９の画像処理の詳細内容については後述の図５と図６および図９のフローチャートで説明する。
【００５３】
Ｓ１２０で画像１と画像２がバッファメモリ３０から消去された後、Ｓ１２１で画像３がメモリカード２５に記録され、カメラの基本シーケンスが終了する。
次に図５と図６のブレ画像を補正処理を行うフローチャート（図４のＳ１１９に対応）を説明する。なお画像１のデータＤ１（ｘ、ｙ）および画像２のデータＤ２（ｘ、ｙ）は、図７に示すようなマトリックスデータであり、ｘの最大値はＸｍａｘ、ｙの最大値はＹｍａｘである。また画像１および画像２は、バッファメモリ３０に記憶されている圧縮されたデータを伸張して空間座標のデータに戻したものである。また画像１および画像２は輝度情報の他に色情報も含まれるが、簡単のため輝度情報であるとして以下の説明を行う。また画像１および画像２は８ビットで量子化されたデータとし、黒レベルが０、白レベルが２５５として以下の説明を行う。
【００５４】
まず図５のＳ２００では各画素の位置を示す座標パラメータｘ、ｙが１に初期化されるとともに、水平方向流し撮りフラグＨ、垂直方向流し撮りフラグＶが０に初期化される。
Ｓ２０１で画像１より８×８個の画素データブロックの画像データＤ１（ｘ、ｙ）〜Ｄ１（ｘ＋７、ｙ＋７）が読み出され、Ｓ２０２で２倍される。これは画像１の露光量が適正値の半分であった為である。なおデータは２５６以上になったとしても、その情報はそのまま保持する。これは白飛びが発生する箇所は、露光時間の短い画像１のデータを参照するためである。
【００５５】
Ｓ２０３では画像１の各画像データが白飛び（２００以上）や黒ツブレ（５０以下）でないかを調べる。白飛びや黒ツブレが無いと判断されたならばＳ２０４へ移行する。白飛びや黒ツブレがあると判断されたならばＳ２０９へ移行する。
Ｓ２０４では画像２より８×８個の画素データブロックの画像データＤ２（ｘ、ｙ）〜Ｄ２（ｘ＋７、ｙ＋７）を読み込む。そしてＳ２０５でＳ２０３と同様に白飛びおよび黒ツブレについてチェックする。
【００５６】
これは画像１と画像２から画像処理を行う場合に白飛びや黒ツブレのある箇所を避けるためである。Ｓ２０５で白飛びや黒ツブレが無いと判断されたならばＳ２０６へ移行する。白飛びや黒ツブレがあると判断されたならばＳ２０９へ移行する。
【００５７】
Ｓ２０６では、図８（ａ）に示すような画像データＤ１（ｘ、ｙ）より縦８画素、横８画素の８×８個の画素データブロックに対して、縦横ともに周期が８画素から２画素までの４種類の空間周波数ｆｘ、ｆｙ（ｆｘ＝１〜４、ｆｙ＝１〜４）について、フーリエ変換等の手法により空間周波数分析を行い、図８（ｂ）に示す如くそれぞれの空間周波数に対する振幅Ａ１（ｆｘ、ｆｙ）および位相Ｐ１（ｆｘ、ｆｙ）を算出する。
【００５８】
Ｓ２０７では画像データＤ２（ｘ、ｙ）の８×８個の画素データブロックに対しＳ２０６と同様に振幅Ａ２（ｆｘ、ｆｙ）と位相Ｐ２（ｆｘ、ｆｙ）を求める。
Ｓ２０８では各周波数毎にＡ１（ｆｘ、ｆｙ）をＡ２（ｆｘ，ｆｙ）で割った比である振幅比ｃＡ（ｆｘ，ｆｙ）および位相Ｐ２（ｆｘ、ｆｙ）とＰ１（ｆｘ、ｆｙ）の差である位相差ｄＰ（ｆｘ、ｆｙ）を求める。
【００５９】
上記Ｓ２０１からＳ２０８の処理を横方向ｘが画像の横方向の画素数の最大値Ｘｍａｘ以上になるまで、また縦方向ｙが画像の縦方向の画素数の最大値Ｙｍａｘ以上になるまで、８×８個の画素データブロックを８画素ずつ順次移動しつつ、Ｓ２０９、Ｓ２１０、Ｓ２１１、Ｓ２１２でループを回して完了する。
【００６０】
このループを完了すると画像データの８×８個の画素データブロック毎に振幅比ｃＡ（ｆｘ，ｆｙ）および位相差ｄＰ（ｆｘ、ｆｙ）が求められていることになる。
一般的にブレた画像においては、種々の空間周波数成分の波がずれて重なりあうために、ブレのない被写体像に比較して空間周波数（特に高周波成分）の振幅が減少するとともに、位相が変化する。すなわちシャッタ速度の速い画像１の方が、シャッタ速度の遅い画像２よりシャープに撮影されているので、空間周波数の領域においては画像１に比較して画像２の周波数成分（とくに高周波成分）が大きくブレの影響を受けている。
【００６１】
従って画像２の空間周波数成分（特に高周波成分）を、振幅比ｃＡ（ｆｘ，ｆｙ）および位相差ｄＰ（ｆｘ、ｆｙ）に基づいて画像１の空間周波数のレベルに補正することにより、ぶれを補正した画像を生成することが可能である。しかしながら画像１は露光時間が短いために、信号対ノイズ比（ＳＮ比）が悪く、ノイズ成分を多く含んでいるため、画像１に基づいて算出された振幅比ｃＡ（ｆｘ，ｆｙ）および位相差ｄＰ（ｆｘ、ｆｙ）も多くのノイズを含んでおり、これに基づいて画像２を補正してもノイズの多い画像となってしまう。
【００６２】
そこで８×８個の画素データの各ブロックに対応して求められた振幅比ｃＡ（ｆｘ，ｆｙ）と位相差ｄＰ（ｆｘ、ｆｙ）を全ブロックにわたり平均することにより、ノイズの影響を除去する。そしてノイズのない振幅比ｃＡ（ｆｘ，ｆｙ）と位相差ｄＰ（ｆｘ、ｆｙ）を用いて画像２を補正することにより、ノイズのないブレが補正された画像を生成する事が可能になる。
【００６３】
Ｓ２１３では、振幅比ｃＡ（ｆｘ，ｆｙ）と位相差ｄＰ（ｆｘ、ｆｙ）を全ブロックにわたりその平均を求め、平均振幅比Ａａｖ（ｆｘ，ｆｙ）、平均位相差Ｐａｖ（ｆｘ、ｆｙ）とし、図６のＳ２１４に進む。
図６のＳ２１４では平均振幅比Ａａｖ（ｆｘ、ｆｙ）の構成要素のうち、ｆｘ＞ｆｙである構成要素の総和をとりＡｘｓｕｍとし、ｆｙ＞ｆｘである構成要素の総和をとりＡｙｓｕｍとする。ここでＡｘｓｕｍ、Ａｙｓｕｍはそれぞれｘ方向、ｙ方向のブレの大きさに対応しており、Ａｘｓｕｍ、Ａｙｓｕｍの値が大きいほどｘ方向、ｙ方向のブレが大きいことを示す。
【００６４】
Ｓ２１５では、Ａｘｓｕｍ＞Ａｙｓｕｍ×４か否かを検出する。すなわちｘ方向（水平方向）のブレがｙ方向（垂直方向）のブレに比較して４倍以上大きい場合はｘ方向にカメラを意図的に振っている（水平方向の流し撮り）ためにｘ方向のブレが増大していると判定し、水平方向流し撮りフラグＨを１とする。
【００６５】
Ｓ２１６では、Ａｙｓｕｍ＞Ａｘｓｕｍ×４か否かを検出する。すなわちｙ方向（垂直方向）のブレがｘ方向（水平方向）のブレに比較して４倍以上大きい場合はｙ方向にカメラを意図的に振っている（垂直方向の流し撮り）ためにｙ方向のブレが増大していると判定し、垂直方向流し撮りフラグＶを１とする。
【００６６】
Ｓ２１７でｘ＝９、ｙ＝９として初期化後、Ｓ２１８においてぶれた画像２の８×８個の画素データブロックの画像データＤ２（ｘ、ｙ）〜Ｄ２（ｘ＋７、ｙ＋７）から４種類の空間周波数ｆｘ、ｆｙ（ｆｘ＝１〜４、ｆｙ＝１〜４）について、それぞれの空間周波数に対する振幅Ａ１（ｆｘ、ｆｙ）および位相Ｐ１（ｆｘ、ｆｙ）を算出する。
【００６７】
Ｓ２１９では、水平方向流し撮りフラグＨが１であれば、画像２の主として垂直方向のブレを補正するために、ｘ方向の周波数成分ｆｘが１（低周波成分）で、ｙ方向の各周波数成分ｆｙが１〜４である周波数成分について、振幅Ａ２（ｆｘ、ｆｙ）をＡａｖ（ｆｘ、ｆｙ）倍した振幅Ａ３（ｆｘ、ｆｙ）、位相Ｐ２（ｆｘ、ｆｙ）をＰａｖ（ｆｘ、ｆｙ）だけ進めた位相Ｐ３（ｆｘ、ｆｙ）を計算する。
【００６８】
Ｓ２２０では、垂直方向流し撮りフラグＶが１であれば、画像２の主として水平方向のブレを補正するために、ｙ方向の周波数成分ｆｙが１（低周波成分）で、ｘ方向の各周波数成分ｆｘが１〜４である周波数成分について、振幅Ａ２（ｆｘ、ｆｙ）をＡａｖ（ｆｘ、ｆｙ）倍した振幅Ａ３（ｆｘ、ｆｙ）、位相Ｐ２（ｆｘ、ｆｙ）をＰａｖ（ｆｘ、ｆｙ）だけ進めた位相Ｐ３（ｆｘ、ｆｙ）を計算する。
【００６９】
Ｓ２２１では、水平方向流し撮りフラグＨが０、垂直方向流し撮りフラグＶが０のままであれば、流し撮りではないとして画像２の水平方向および垂直方向のブレを補正するために、ｙ方向の周波数成分ｆｙ、ｘ方向の各周波数成分ｆｘともに１〜４である周波数成分について、振幅Ａ２（ｆｘ、ｆｙ）をＡａｖ（ｆｘ、ｆｙ）倍した振幅Ａ３（ｆｘ、ｆｙ）、位相Ｐ２（ｆｘ、ｆｙ）をＰａｖ（ｆｘ、ｆｙ）だけ進めた位相Ｐ３（ｆｘ、ｆｙ）を計算する。
【００７０】
Ｓ２２２において振幅Ａ３（ｆｘ、ｆｙ）と位相Ｐ３（ｆｘ、ｆｙ）に基づいて画像３の画像データＤ３（ｘ、ｙ）〜Ｄ３（ｘ＋７、ｙ＋７）を再生する。
上記Ｓ２１８からＳ２２２の処理をｘ＞Ｘｍａｘ−８、ｙ＞Ｙｍａｘ−８になるまで、８×８個の画素データブロックを８画素ずつ順次移動しつつ、Ｓ２２３、Ｓ２２４、Ｓ２２５、Ｓ２２６でループを回して完了する。このループを完了すると、流し撮りを行った場合には流し撮り方向に応じてブレ補正された画像３の画像データＤ３（ｘ、ｙ）（ｘ＝９〜Ｘｍａｘ−８、ｙ＝９〜Ｙｍａｘ―８）が求められ、また流し撮りが行われていない時には方向に依存しないブレ補正が行われた画像３の画像データＤ３（ｘ、ｙ）（ｘ＝９〜Ｘｍａｘ−８、ｙ＝９〜Ｙｍａｘ―８）が求められていることになる。
【００７１】
つぎに画像３の全周辺（幅８画素）のブロックは画像１と画像２とのズレにより、画像１に含まれない背景が画像２に入り込んでいる可能性があるので、正しくブレの再生ができない可能性が高い。そこでＳ２２７においてこの周辺のブロックは画像２より画像３に移す。以上でブレの補正は完了し、終了する。
【００７２】
このように図５と図６に示すブレ画像補正処理では、画像１と画像２を８×８個の画素データブロックに分割し、それらのブロックを８画素ずつずらしながら４×４個の振幅データと位相データを計算し、画像１と画像２の振幅データの比と位相データの差をとるとともに、それらの平均を算出し、画像１と画像２に基づき流し撮り方向を検出し、検出された流し撮り方向に応じて平均振幅比データと平均位相差データにより画像２の振幅データと位相データを補正し、補正された振幅データと位相データからぶれを補正した画像３のデータを再構成するものである。
【００７３】
次に図９を用いて、図５と図６とは異なるブレ画像補正処理のフローチャート（図４のＳ１１９に対応）を説明する。
図９に示すブレ画像補正処理が図５と図６と異なる点は、流し撮り方向の検出方法であり、図９においては流し撮り方向を流し撮り方向設定部材４１の設定状態により検出している点である。
【００７４】
図９の動作は図６のＳ２１４からＳ２１６を、Ｓ３１４からＳ３１６に置き換えることにより達成される。
図９のＳ３１４では、流し撮り方向設定部材４１の設定状態を読み込む。
Ｓ３１５では、設定状態が垂直方向の流し撮りであれば、垂直方向流し撮りフラグＶを１とする。
【００７５】
Ｓ３１６では、設定状態が水平方向の流し撮りであれば、水平方向流し撮りフラグＨを１とする。
（変形形態の説明）本発明は以上説明した実施形態に限定されることなく、種々の変形や変更が可能である。
【００７６】
上記実施形態においては、電子カメラ１においてブレ補正のための画像処理まで行っているが、図１０に示すような画像処理システムを構成し、電子カメラ１で画像１と画像２の撮像までを行い、画像１と画像２を記録したメモリカード２５等を介して、画像１と画像２をパソコン等により構成される画像処理装置５０に取り込み、画像処理装置５０により画像１と画像２に基づき、ぶれを補正した画像３を生成してもよい。この場合図４のフローチャートにおいてＳ１００からＳ１１６までの処理を電子カメラ１が行い、Ｓ１１７からＳ１２１までの処理を画像処理装置５０が行うことになる。このような画像処理システムによれば、演算規模が大きく負担の大きいブレ画像の補正処理部分を電子カメラ１の外部にある処理能力の高い画像処理装置５０に任せることができるので、電子カメラは撮影動作に専念でき、高速連続撮影等の動作が可能になるとともに、画像処理装置５０側でより高度なブレ画像の補正処理を高速に行うことが可能になる。
【００７７】
また上記実施形態においては、第１の画像の取得を第２の画像の取得に先立って行っているが、第２の画像の取得を先に行っても構わない。
また上記実施形態においては、適正露光時間により撮像された第２の画像と適正露光時間の半分の露光時間により撮像された第１の画像を空間周波数領域で解析することによりブレ画像の補正処理を行っているが、第１の画像は第２の画像の露光時間より短い露光時間であれば構わない。しかしながら第１の画像の露光時間は画像ブレを発生させないために、好ましくは第２の画像の露光時間の１／２程度以下であることが望ましい。また第２の画像の露光時間は、必ずしも正確に適正露光時間である必要はなく、ブレによる影響が表れる露光時間であればよい。
【００７８】
また上記実施形態においては、２つの異なる露光時間で撮像された２つの画像を空間周波数領域で解析することによりブレ画像の補正処理を行っているが、異なる露光時間で得られた２つ以上の画像を用い、ブレ画像の補正処理を行っても構わない。このようにすれば、画像ノイズの影響をさらに緩和することが可能になる。
【００７９】
また上記実施形態においては、第１の画像と第２の画像を記録した後、すぐにブレ画像補正処理を行い第３の画像を生成するようになっているが、第１の画像と第２の画像を記録した後、しばらく時間が経過した後でブレ画像補正処理を行い第３の画像を生成するようにしても構わない。このようにすれば、電子カメラにとって負担の大きいブレ画像補正処理を後回しにできるので、画像を高速に連写して記録することが可能になる。例えば使用者による特定の操作に応じて、撮影した画像データに対するブレ画像補正処理を行うようにする。
【００８０】
また上記実施形態においては、露光時間は機械的なシャッタにより制御されていたが、撮像素子に備えられた電子シャッタ機能により露光時間を制御するようにしても構わない。
また上記実施形態においては、第１の画像データと第２の画像データの空間周波数成分を比較することにより画像ブレの有無を判別していたが、単一の画像データの空間周波数成分を用いて、画像ブレの有無を判別することもできる。通常画像データに、手ブレや被写体ブレやピントズレなどが生じると、画像データが平滑化されて高域の空間周波数成分が損なわれる。したがって、空間周波数領域の高周波数成分を所定値と比較することにより、画像ブレの有無を判別してもよい。
【００８１】
あるいは画像データの空間周波数成分を圧縮符号量から画像ブレの有無を判別することも可能である。通常、圧縮符号量が多いほど、空間周波数領域の高周波数成分が多いと判断できる。したがって、圧縮符号量を所定値と比較することにより、画像ブレの有無を判別してもよい。また、このような圧縮符号量の値は、画像圧縮処理の結果から得られるので、特段の処理を付加する必要はない。
【００８２】
あるいは公知の空間周波数フィルタ（例えば、隣接画素間で差分をとるなどのハイパスフィルタ）やコントラスト検出などを用いて、空間周波数成分を簡易的に計算し、画像ブレの有無を判別しても勿論よい。
また上記実施形態においては、異なる露光時間で得られた２つの画像データに基づき、長い露光時間で得られた画像データのほうの空間周波数成分を振幅比データと位相差データにより補正してぶれを補正した画像を生成していたが、ぶれを補正した画像を生成する画像処理はこれに限定されることはない。例えば単純にブレた画像データの高周波成分を増幅することにより、ブレの少ない画像を得ることもできる。
【００８３】
また上記実施形態においては、流し撮りの方向に応じて、流し撮りの方向と垂直方向の空間周波数成分に対してブレ補正処理を行うことにより、より自然な流し撮り画像データを得ているが、画像処理はこの方法に限定されるものではなく、流し撮りの質感を残してブレ補正を行う画像処理であればかまわない。例えば画像データを流し撮りの方向に応じた方向にのみハイパスフィルタリングするような画像処理でもよい。
【００８４】
【発明の効果】
以上説明したように、本発明による電子カメラおよび画像処理システムにおいては、ブレ補正光学系やブレセンサを用いることなくブレ画像を補正できるために、電子カメラや画像処理システムの小型化が可能になるとともに、コストの増大を押さえることができる。
【００８５】
また本発明による電子カメラおよび画像処理システムにおいては、異なる露光時間で得られた２つの画像データに基づき、空間周波数領域でブレ補正を行うので、露光中の画像ブレを補正することができる。
また本発明による電子カメラおよび画像処理システムにおいては、画像データに基づいてブレがあるかないかを判別し、ブレがあると判別された場合のみブレ補正のための画像処理を行うので、画像ブレを必要に応じて効率的に補正できるとともに、ブレがないと判別された場合は、次の動作（例えば撮影動作）に迅速に移行できる。
【００８６】
また本発明による電子カメラおよび画像処理システムにおいては、流し撮り方向に応じてブレ補正の画像処理を最適化しているので、画像処理の結果が自然な流れ画像を生成することができる。
【図面の簡単な説明】
【図１】本発明による電子カメラの実施形態の構成を示す前方からの斜視図である。
【図２】本発明による電子カメラの実施形態の構成を示す後方からの斜視図である。
【図３】本発明による電子カメラの内部の電気的構成を示すブロック図である。
【図４】電子カメラの基本的なシーケンスを示すフローチャートである。
【図５】ブレ画像の補正処理の一例を示すフローチャートである。
【図６】ブレ画像の補正処理の一例を示すフローチャートである。
【図７】画像データの構成を示す図である。
【図８】画像データと振幅データと位相データのブロック構成を示す図である。
【図９】ブレ画像の補正処理の他の例を示すフローチャートである。
【図１０】本発明による画像処理システムの実施形態の構成を示す図である。
【符号の説明】
１ 電子カメラ
２ 撮影レンズ
３ シャッタ釦
８ 表示ＬＣＤ
１０ ＣＰＵ
１３ シャッタ駆動回路
１５ シャッタ
２０ ＣＣＤ
２１ ＤＳＰ
２５ メモリカード
３０ バッファメモリ
４１ 流し撮り方向設定部材
５０ 画像処理装置

Claims (10)

1. 被写体像を撮像する撮像手段と、
   前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、
   前記露光制御手段と前記撮像手段とにより第１の露光時間で撮像した第１の画像データと、前記第１の露光時間とは異なる第２の露光時間で撮像した第２の画像データとを連続して生成する画像生成手段と、
   前記第１の画像データと前記第２の画像データとに基づき、前記第１の画像データまたは前記第２の画像データがぶれているかいないかを判別するブレ判別手段と、
   前記第１の画像データと前記第２の画像データとに基づき、画像処理によりぶれを補正した第３の画像データを生成する画像処理手段と
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、前記画像生成手段は、前記第２の画像データを前記第１の露光時間より長い第２の露光時間で撮像することにより生成することを特徴とする電子カメラ。
3. 被写体像を撮像する撮像手段と、
   前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、
   前記露光制御手段と前記撮像手段とにより第１の露光時間で撮像した第１の画像データと、前記第１の露光時間より長い第２の露光時間で撮像した第２の画像データとを連続して生成する画像生成手段と、
   前記第２の画像データを撮像する際の流し撮りの方向を設定する流し撮り方向設定手段と、
   前記画像生成手段により生成された前記第１の画像データと前記第２の画像データとに基づき、前記第２の画像データに含まれる空間周波数成分を補正することにより第３の画像データを生成する画像処理手段とを備え、
   前記画像処理手段は、前記流し撮り方向設定手段により設定された流し撮り方向に応じて、前記第２の画像データに含まれる空間周波数成分を補正して第３の画像データを生成する際の画像処理の内容を変更することを特徴とする電子カメラ。
4. 請求項３に記載の電子カメラにおいて、
   前記画像処理手段は、前記流し撮り方向設定手段により設定された流し撮り方向が水平方向の場合は、前記第２の画像データに含まれる垂直方向の空間周波数成分を主として補正することにより第３の画像データを生成し、前記流し撮り方向設定手段により設定された流し撮り方向が垂直方向の場合は、前記第２の画像データに含まれる水平方向の空間周波数成分を主として補正することにより第３の画像データを生成することを特徴とする電子カメラ。
5. 被写体像を撮像する撮像手段と、
   前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、
   前記露光制御手段と前記撮像手段とにより第１の露光時間で撮像した第１の画像データと、前記第１の露光時間より長い第２の露光時間で撮像した第２の画像データとを連続して生成する画像生成手段と、
   前記第１の画像データと前記第２の画像データとに基づき、前記第２の画像データを撮像した際の流し撮りの方向を検出する流し撮り方向検出手段と、
   前記画像生成手段により生成された前記第１の画像データと前記第２の画像データとに基づき、前記第２の画像データに含まれる空間周波数成分を補正することにより第３の画像データを生成する画像処理手段とを備え、
   前記画像処理手段は、前記流し撮り方向検出手段により検出された流し撮り方向に応じて、前記第２の画像データに含まれる空間周波数成分を補正して第３の画像データを生成する際の画像処理の内容を変更することを特徴とする電子カメラ。
6. 請求項５に記載の電子カメラにおいて、
   前記画像処理手段は、前記流し撮り方向検出手段により検出された流し撮り方向が水平方向の場合は、前記第２の画像データに含まれる垂直方向の空間周波数成分を主として補正することにより第３の画像データを生成し、前記流し撮り方向検出手段により検出された流し撮り方向が垂直方向の場合は、前記第２の画像データに含まれる水平方向の空間周波数成分を主として補正することにより第３の画像データを生成することを特徴とする電子カメラ。
7. 請求項１〜６のうちのいずれか１項に記載の電子カメラにおいて、
   前記第２の露光時間は画像データの輝度レベルが適正となるような適正露光量を与える露光時間であるとともに、前記第１の露光時間は前記第２の露光時間の１／２程度以下であることを特徴とする電子カメラ。
8. 被写体像を撮像する撮像手段と、
   前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、
   前記露光制御手段と前記撮像手段とにより第１の露光時間で撮像した第１の画像データと、前記第１の露光時間より長い第２の露光時間で撮像した第２の画像データとを連続して生成する画像生成手段とを備える電子カメラと、
   前記電子カメラにより生成された前記第１の画像データと前記第２の画像データとに基づき、前記第２の画像データを撮像した際の流し撮りの方向を検出するとともに、前記第１の画像データと前記第２の画像データとに基づき、前記第２の画像データに含まれる空間周波数成分を流し撮り方向に応じて補正し、第３の画像データを生成する画像処理装置とからなる画像処理システム。
9. 請求項１または請求項２に記載の電子カメラにおいて、
   前記画像処理手段は、前記第２の画像データに含まれる空間周波数成分を補正することによりぶれを補正した第３の画像データを生成することを特徴とする電子カメラ。
10. 請求項１、請求項２、および、請求項９のうちのいずれか１項に記載の電子カメラにおいて、
    さらに、画像データを記録するための記録手段を備え、
    前記ブレ判別手段により前記第２の画像データがぶれていないと判別された場合は、前記画像処理手段はぶれを補正する処理を行わず、前記記録手段は前記第２の画像データを記録し、
    前記ブレ判別手段により前記第２の画像データがぶれていると判別された場合は、前記画像処理はぶれを補正する処理を行い、前記記録手段はぶれを補正した前記第３の画像データを記録することを特徴とする電子カメラ。

Images