JP5298396B2

JP5298396B2 - 電子カメラおよび画像処理システム

Info

Publication number: JP5298396B2
Application number: JP2001056096A
Authority: JP
Inventors: 聡江島
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2001-03-01
Filing date: 2001-03-01
Publication date: 2013-09-25
Anticipated expiration: 2021-03-01
Also published as: JP2002258351A

Description

本発明は、電子カメラおよび画像処理システムに関し、特にブレのない画像を生成する電子カメラおよび画像処理システムに関するものである。

従来カメラブレ対策として以下のような方法が提案されている。
第１の方法は、カメラの撮影光学系にブレ補正光学系を内蔵し、カメラブレをブレセンサで検出し、検出したカメラブレに応じて撮像中にブレ補正光学系を移動させることにより、カメラブレに伴う画像ブレの発生を防止するものである。

第２の方法は、撮像中のカメラブレをブレセンサで検出して記録しておき、該カメラブレ情報に基づき撮像した画像を画像処理することによりブレ画像を修復するものである。
第３の方法は、連続して複数の画像を撮像し、該複数の画像間の動きをパターンマッチング等の手法で検出し、検出された画像間の動きに基づいて複数の画像を合成してブレのない画像を生成するものである。

発明が解決しようとする課題

しかしながら上記従来の第１の方法および第２の方法では、カメラにブレセンサを内蔵する必要があり、カメラの大型化を招くとともに、コストが増大するといった問題があった。

また上記従来の第１の方法では、ブレを補正するためにブレ補正光学系を移動させるための機械的な移動機構が必要であり、カメラの大型化を招くとともに、コストが増大し、バッテリ消耗が激しいといった問題があった。
また上記従来の第１の方法および第２の方法では、ブレをブレセンサで検出しているため、露光中の被写体の動きに起因する被写体ブレは補正できないといった問題があった。

また上記従来の第３の方法では、複数の画像を撮像している間に発生するカメラブレは補正することができるが、撮像時の露光中に発生するブレは補正することができないという欠点があった。
そこで本発明は、ブレセンサおよびブレ補正光学系を必要とせず、かつ露光中に発生する画像ブレや被写体ブレを補正できる電子カメラおよび画像処理システムを提供することを目的とする。

課題を解決するための手段

【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明による電子カメラでは、被写体像を撮像する撮像手段と、前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、前記露光制御手段と前記撮像手段により第１の露光時間で撮像した第１の画像データと、前記第１の露光時間より長い第２の露光時間で撮像した第２の画像データを連続して生成する画像生成手段と、画像データを記録するための記録手段と、前記第１の画像データを第１の圧縮率で画像圧縮して前記記録手段に記録するとともに、前記第２の画像データを前記第１の圧縮率よりも高い第２の圧縮率で画像圧縮して前記記録手段に記録する画像圧縮手段と、前記記録手段に記録されている画像圧縮されたデータを伸張した前記第１の画像データおよび前記第２の画像データに基づき、前記第２の画像データに含まれる空間周波数の少なくとも高周波成分を補正することにより第３の画像データを生成する画像処理手段とを備え、前記画像処理手段は、前記第１の画像データと前記第２の画像データの空間周波数成分の振幅比および位相差に基づき前記第２の画像データの空間周波数成分の振幅および位相を補正することにより第３の画像データを生成することを特徴とする。

請求項２に記載の発明による電子カメラでは、請求項１に記載の電子カメラにおいて、前記第２の露光時間は画像データの輝度レベルが適正となるような適正露光量を与える露光時間であるとともに、前記第１の露光時間は前記第２の露光時間の１／２程度以下であることを特徴とする。

請求項３に記載の発明による電子カメラでは、請求項１に記載の電子カメラにおいて、さらに画像データを表示する表示手段を備え、前記表示手段は前記第２の画像データを表示するとともに、前記第１の画像データの表示を禁止することを特徴とする。

請求項４に記載の発明による電子カメラでは、請求項１に記載の電子カメラにおいて、前記画像処理手段は、前記第１の画像データと前記第２の画像データを所定個数の画素データブロックに分割するとともに、各画素データブロック毎に求められた前記第１の画像データと前記第２の画像データの空間周波数成分の振幅比および位相差を平均することにより前記第１の画像データと前記第２の画像データの空間周波数成分の振幅比および位相差を算出することを特徴とする。

請求項５に記載の発明による電子カメラでは、請求項１に記載の電子カメラにおいて、前記画像処理手段は、前記第３の画像データに所定値以上の輝度データが含まれている場合、前記第３の画像データに対し階調補正処理を行うことを特徴とする。

請求項６に記載の発明による電子カメラでは、請求項１に記載の電子カメラにおいて、前記画像処理手段は、所定の量子化ビットで量子化された前記第３の画像データに所定値以上の輝度データが含まれている場合、前記第３の画像データに対し量子化ビット数を増して量子化処理を行うことを特徴とする。

請求項７に記載の発明による電子カメラでは、請求項１に記載の電子カメラにおいて、撮影時に前記被写体を照明するために発光する閃光発光手段をさらに備え、前記閃光発光手段は、前記画像生成手段により前記第１の画像データと前記第２の画像データが露光される際に、各露光毎に異なる発光量で発光するとともに、各発光毎の発光量は各露光時間の長さに比例した量であることを特徴とする。

請求項８に記載の発明による画像処理システムでは、被写体像を撮像する撮像手段と、前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、前記露光制御手段と前記撮像手段により第１の露光時間で撮像した第１の画像データと、前記第１の露光時間より長い第２の露光時間で撮像した第２の画像データを連続して生成する画像生成手段と、画像データを記録するための記録手段と、前記第１の画像データを第１の圧縮率で画像圧縮して前記記録手段に記録するとともに、前記第２の画像データを前記第１の圧縮率よりも高い第２の圧縮率で画像圧縮して前記記録手段に記録する画像圧縮手段とを備える電子カメラと、前記電子カメラにより生成され、前記記録手段に記録されている画像圧縮されたデータを伸張した前記第１の画像データと前記第２の画像データに基づき、前記第２の画像データに含まれる空間周波数の少なくとも高周波成分を補正し、第３の画像データを生成する画像処理装置とからなり、前記画像処理装置は、前記第１の画像データと前記第２の画像データの空間周波数成分の振幅比および位相差に基づき前記第２の画像データの空間周波数成分の振幅および位相を補正することにより第３の画像データを生成することを特徴とする。

以下、図面を参照して本発明の実施形態について説明する。図１および図２は、本発明を適用した電子カメラ１の実施形態の構成を示す斜視図である。図１は電子カメラ１を前方から見た図であり、電子カメラ１の前面には被写体像を形成する撮影レンズ２、被写体の撮影範囲の確認に用いられるファインダ４、撮影時に被写体を照明する閃光を発する発光部（ストロボ）５、被写体の色を測色する測色素子６、被写体の輝度を測光する測光素子７が設けられている。また電子カメラ１の上面には被写体の撮影時に操作されるシャッタ釦３が設けられている。

図２は電子カメラ１を後方から見た図であり、ファインダ４の接眼部、撮像した画像を表示する表示部（表示ＬＣＤ）８、流し撮り撮影時に流し撮りの方向を設定するための流し撮り方向設定部材４１、ブレ補正を行うか否かを選択するためのブレ補正選択部材４２が設けられている。また電子カメラ１の側面には撮像した画像情報を記録するためのリムーバブルな記憶媒体（メモリカード）を装着するためのメモリカードスロット９が設けられている。

次に、電子カメラ１の内部の電気的構成を、図３に示すブロック図を参照して説明する。
ＣＰＵ１０は、電子カメラ全体の動作を制御する手段であって、ＲＯＭ２６に記憶された制御プログラムに基づき、ＣＰＵ制御バス１１に接続した各部を制御するようになされている。

撮像手段として用いられるＣＣＤ２０は複数の画素を備えており、各画素に結像した光画像を画像信号（電気信号）に光電変換するようになされている。
デジタルシグナルプロセッサ（ＤＳＰ）２１は、ＣＣＤ２０にＣＣＤ水平駆動パルスを供給するとともに、ＣＣＤ駆動回路１９を制御し、ＣＣＤ２０にＣＣＤ垂直駆動パルスを供給させるようになされている。

画像調整部２２は、ＣＰＵ１０に制御され、ＣＣＤ２０が光電変換した画像信号を所定のタイミングでサンプリングし、そのサンプリングした信号を、所定のレベルに増幅するようになされている。
アナログ／デジタル変換回路（ＡＤ変換回路）２３は、画像調整部２２でサンプリングした画像信号を所定のビット数で量子化（デジタル化）し、画像データとしてＤＳＰ２１に供給するようになされている。

ＤＳＰ２１は、バッファメモリ３０およびメモリカード２５に接続されるデータバス２４を制御し、ＡＤ変換回路２３より供給された画像データを画像圧縮してバッファメモリ３０に一旦記憶させた後、バッファメモリ３０に記憶した画像データを読み出し、その画像データを、メモリカード２５に記録するようになされている。

ＤＳＰ２１は、バッファメモリ３やメモリカード２５から画像データを読み出し、その画像データを伸張した後、伸張後の画像データをフレームメモリ２７に記憶させ、表示ＬＣＤ８に表示させるようになされている。
ＤＳＰ２１は、メモリカード２５への記録、画像データのバッファメモリ３０への記憶などにおけるデータ入出力のタイミング管理を行うようになされている。

ＤＳＰ２１は、画像処理手段として後述するブレ画像を補正するための画像処理を行う。
バッファメモリ３０は記録手段として用いられ、メモリカード２５に対するデータの入出力の速度と、ＣＰＵ１０やＤＳＰ２１などにおける処理速度の違いを緩和するために利用される。

シャッタ釦３は、撮影指示のためにユーザーにより操作される操作部材であって、非操作状態と半押し状態と全押し状態の３つの操作状態に応じた信号をＣＰＵ１０に出力する。ＣＰＵ１０はシャッタ釦３の操作により撮影指示（全押し）がなされた場合は、ＤＳＰ２１に撮影指示コマンドを送り、上述の撮像動作が実行されるようになされている。

測光素子７は、被写体およびその周囲の光量を測定し、その測定結果を測光回路３４に出力するようになされている。
測光回路３４は、測光素子７より供給された測光結果であるアナログ信号に対して所定の処理を施した後、デジタル信号に変換して測光データとし、その測光データをＣＰＵ１０に出力するようになされている。

測色素子６は、被写体およびその周囲の色温度を測定し、その測定結果を測色回路３３に出力するようになされている。
測色回路３３は、測色素子６より供給された測色結果であるアナログ信号に対して所定の処理を施した後、デジタル信号に変換して測色データとし、その測色データをＣＰＵ３０に出力するようになされている。

タイマ２８は、時計回路を内蔵し、現在の時刻に対応する時間データをＣＰＵ１０に出力するようになされている。
絞り駆動回路１６は、絞り１８の開口径をステップモータ１７により所定の値に設定するようになされている。

絞り１８は、撮影レンズ２とＣＣＤ２０の間に配置され、撮影レンズ２からＣＣＤ２０に入射する光の開口径を変更するようになされている。
シャッタ駆動回路１３、ステップモータ１４、シャッタ１５は露光制御手段として用いられており、シャッタ駆動回路１３は、シャッタ１５をステップモータ１４により動作させ、ＣＣＤ２０の露光時間を制御するようになされている。

シャッタ１５は、撮影レンズ２とＣＣＤ２０の間に配置され、撮影レンズ２からＣＣＤ２０に入射する光の遮断と透過を制御するようになされている。
ＣＰＵ１０は、測光回路３４および測色回路３３を制御し、測光素子７の測光データを受け取るとともに、測色素子６の測色データを受け取るようになされている。

ＣＰＵ１０は、測光データと所定のテーブルを参照して、ＣＣＤ２０により撮像される画像データの輝度値が適正なレベルとなるように、絞り１８の絞り値データとシャッタ１５のシャッタ速度（露光時間）データを決定し、それらのデータを絞り駆動回路およびシャッタ駆動回路に供給するようになされている。

ＣＰＵ１０は、所定のテーブルを参照して、測色回路３３より供給された測色データ（色温度）に対応するホワイトバランス調整値を算出し、そのホワイトバランス調整値を画像調整部２２に供給するようになされている。
ＣＰＵ１０は、測光データに応じて被写体の輝度が所定値以下の場合は、撮影時にストロボ駆動回路３５を制御して、ストロボ５を適宜発光させるようになされている。

ＣＰＵ１０は、タイマ２８より供給される時間データに従って、撮影した日時の情報とファイルネームを画像データのヘッダ情報として、メモリカード２５の撮影画像記録領域に記録するようになされている。
ＣＰＵ１０は、レンズ駆動回路１２を制御し、撮影レンズ２を移動させることにより、オートフォーカス動作を行うようになされている。

ＣＰＵ１０は、焦点距離検出回路４４を介し、撮影レンズ２が設定されている焦点距離のデータを読み出すようになされている。
ＣＰＵ１０は、ファインダ内表示回路３１を制御して、各種動作における設定などをファインダ内表示ＬＣＤ３２に表示させるようになされている。

ＣＰＵ１０は、インタフェース２９を介して、所定の外部装置（図示せず）と所定のデータの授受を行うようになされている。
ＣＰＵ１０は、各種切換スイッチおよび操作釦４０からの信号を受け取り、適宜処理するようになされている。各種切換スイッチおよび操作釦４０には、カメラ動作を近接撮影に最適化した動作モード（マクロモード）に切り換えるために使用者により操作される切換スイッチが含まれる。ＣＰＵ１０は、マクロモードに切り換えられた場合は、レンズ駆動回路１２を制御し、撮影レンズ２を移動させることにより、近接撮影に適した光学系配置となるようになされている。

ＣＰＵ１０は、画像生成手段としてＣＣＤ２０、シャッタ駆動回路１３を制御し、後述するような露光時間の異なる画像を生成させる。
ブレ補正選択部材４２は、ブレ補正を行うか否かを指示するために使用者により操作される操作部材であって、操作状態に応じた信号をＣＰＵ１０に出力する。ＣＰＵ１０は、ブレ補正選択部材４２の操作に応じ、バッファメモリに格納された画像情報に対して後述するブレ補正処理を実行するようになされている。

流し撮り方向設定部材４１は、流し撮りを行う場合の流し撮りの方向を指示するためにユーザーにより操作される操作部材であって、操作状態に応じた信号をＣＰＵ１０に出力する。ＣＰＵ１０は、流し撮り方向設定部材４１の操作に応じ、バッファメモリに格納された画像情報に対して後述するブレ補正処理を実行する際の処理を変更するようになされている。なお流し撮りとは、背景に対して移動する主要被写体を撮影する際に、主要被写体が露光中の移動によりぶれるのを防ぐために、露光中に被写体の動きに合わせてカメラを振りながら撮影する手法である。流し撮り方向設定部材４１の設定状態としては、流し撮りしない、画面の水平方向に流し撮りする、画面の垂直方向に流し撮りするの３つの状態がある。

ストロボモード設定部材４３は、ストロボ５を発光させて撮影を行う場合の動作モード（ストロボモード）を設定するためにユーザーにより操作される操作部材であって、操作状態に応じた信号をＣＰＵ１０に出力する。ストロボモードとしては、ノーマルモードとスローシンクロモードがあり、ノーマルモードでは測光素子７により出力される測光データが所定値より暗い輝度を示す場合にＣＰＵ１０は撮影時に自動的にストロボ５を発光させる。この時シャッタ速度の高速側はシャッタが全開する限度のシャッタ速度（例えば１／６０秒）以下に制限され、また低速側はブレが生じないシャッタ速度（例えば撮影レンズ２の焦点距離をｆ（ｍｍ）とすると１／ｆ（秒）、ただし焦点距離は３５ｍｍ銀塩カメラ換算）以上に制限される。

一方スローシンクロモードでは、ストロボ照明をしつつ背景の雰囲気も残して撮影するために、ストロボ撮影時に上記シャッタ速度の低速側の制限を設けないモードである。
図４は電子カメラ１の基本的なシーケンスを示すフローチャートである。なおこのシーケンスは図３のＣＰＵ１０、ＤＳＰ２１等により実行される。またこのシーケンスでは、ブレ補正選択部材４２はブレ補正を行うに設定され、流し撮り方向設定部材４１は流し撮りしないに設定され、ストロボモード設定部材４３はノーマルモードに設定されている。また被写体は高輝度であり、ストロボ５の発光は行われないとして説明する。

電源オンによりシーケンスがスタートし、Ｓ１００ではシャッタ釦３が半押しされたか否かを検出する。半押しがなされない場合はＳ１００を繰り返す。半押しがなされたと判断された場合にはＳ１０１に移行し、測光素子７により被写体の輝度を測光し、測光データに基づき、この被写体をＣＣＤ２０により撮像する際に画像データの輝度レベルが適正となる適正露光量を得るための絞り値と露光時間（シャッタ速度）Ｔが算出される。

Ｓ１０２ではシャッタ釦３が全押しされたか否かを検出する。全押しがなされない場合はＳ１０１〜Ｓ１０２を繰り返す。Ｓ１０２でシャッタ釦３が全押しされたと判断された場合にはＳ１０３に移行し、ステップモータ１７を駆動して絞り１８をＳ１０１で定められた絞り値に制御する。次にＳ１０４においてシャッタ速度をＳ１０１で定められた適正露光量が得られる露光時間Ｔの半分の露光時間Ｔ／２として、ステップモータ１４を駆動しシャッタ１５を動作させＣＣＤ２０に被写体像を露光して撮像させる。この時得られた画像を画像１とする。ＣＣＤ２０に蓄積された電荷は画像調整部２２、ＡＤ変換回路２３を経てＤＳＰ２１に運ばれる。

Ｓ１０５では画像１が圧縮されるが、ここでは空間周波数の高周波成分の劣化が少ない１／８のＪＰＥＧ圧縮が行われる。そしてＳ１０６ではこの露光量の少ない画像１の再生を禁止するために、再生を禁止するフラグに１が記録される。このことにより、露出不足の暗い画像１が表示されることを防ぐことができる。そしてＳ１０７で画像１はバッファメモリ３０に記録される。

Ｓ１０８ではＳ１０３と同じ絞り値で、適正露光時間Ｔで画像の露光が行われ、画像１の場合と同様にＤＳＰ２１まで運ばれる。この時得られた画像を画像２とする。そしてＳ１０９で、適正露光量で撮像された画像２は表示ＬＣＤ８に表示される。このことにより、暗い画像１ではなく輝度レベルが適正な画像２が表示されるので、使用者は適正な露光量で露光が行われたことを確認できる。

Ｓ１１０において画像２が１／１６にＪＰＥＧ圧縮される。これは画像２は手ブレによって画像の空間周波数の高周波成分が無くなっており、そのために１／１６で圧縮しても画質の劣化が少ないためである。
このように空間周波数の高周波成分を多く含む画像１は低い圧縮率で、高周波成分をあまり含まない画像２は高い圧縮率で圧縮することにより、効率的にバッファメモリを使用することが可能になっている。

Ｓ１１１で画像２はバッファメモリ３０に記録される。
Ｓ１１２では画像１と画像２からブレのない画像３を作成する。その際の画像処理の詳細内容については後述の図５、図６および図９、図１０のフローチャートで説明する。

Ｓ１１３で画像１と画像２がバッファメモリ３０から消去された後、Ｓ１１４で画像３がメモリカード２５に記録され、カメラの基本シーケンスが終了する。
次に図５および図６のブレ画像の補正処理を行うフローチャート（図４のＳ１１２に対応）を説明する。なお画像１のデータＤ１（ｘ、ｙ）および画像２のデータＤ２（ｘ、ｙ）は、図７に示すようなマトリックスデータであり、ｘの最大値はＸｍａｘ、ｙの最大値はＹｍａｘである。また画像１および画像２は、バッファメモリ３０に記憶されている圧縮されたデータを伸張して空間座標のデータに戻したものである。また画像１および画像２は輝度情報の他に色情報も含まれるが、簡単のため輝度情報であるとして以下の説明を行う。また画像１および画像２は８ビットで量子化されたデータとし、黒レベルが０、白レベルが２５５として以下の説明を行う。

まず図５のＳ２００では各画素の位置を示す座標パラメータｘ、ｙが１に初期化される。
Ｓ２０１で画像１より８×８個の画素データブロックの画像データＤ１（ｘ、ｙ）〜Ｄ１（ｘ＋７、ｙ＋７）が読み出され、Ｓ２０２で２倍される。これは画像１の露光量が適正値の半分であった為である。なおデータは２５６以上になったとしても、その情報はそのまま保持する。これは白飛びが発生する箇所は、露光時間の短い画像１のデータを参照するためである。

Ｓ２０３では画像１の各画像データが白飛び（２００以上）や黒ツブレ（５０以下）でないかを調べる。白飛びや黒ツブレが無いと判断されたならばＳ２０４へ移行する。白飛びや黒ツブレがあると判断されたならばＳ２０９へ移行する。
Ｓ２０４では画像２より８×８個の画素データブロックの画像データＤ２（ｘ、ｙ）〜Ｄ２（ｘ＋７、ｙ＋７）を読み込む。そしてＳ２０５でＳ２０３と同様に白飛びおよび黒ツブレについてチェックする。

これは画像１と画像２から画像処理を行う場合に白飛びや黒ツブレのある箇所を避けるためである。Ｓ２０５で白飛びや黒ツブレが無いと判断されたならばＳ２０６へ移行する。白飛びや黒ツブレがあると判断されたならばＳ２０９へ移行する。

Ｓ２０６では、図８（ａ）に示すような画像データＤ１（ｘ、ｙ）より縦８画素、横８画素の８×８個の画素データブロックに対して、縦横ともに周期が８画素から２画素までの４種類の空間周波数ｆｘ、ｆｙ（ｆｘ＝１〜４、ｆｙ＝１〜４）について、フーリエ変換等の手法により空間周波数分析を行い、図８（ｂ）に示す如くそれぞれの空間周波数に対する振幅Ａ１（ｆｘ、ｆｙ）および位相Ｐ１（ｆｘ、ｆｙ）を算出する。

Ｓ２０７では画像データＤ２（ｘ、ｙ）の８×８個の画素データブロックに対しＳ２０６と同様に振幅Ａ２（ｆｘ、ｆｙ）と位相Ｐ２（ｆｘ、ｆｙ）を求める。
Ｓ２０８では各周波数毎にＡ１（ｆｘ、ｆｙ）をＡ２（ｆｘ，ｆｙ）で割った比である振幅比ｃＡ（ｆｘ，ｆｙ）および位相Ｐ２（ｆｘ、ｆｙ）とＰ１（ｆｘ、ｆｙ）の差である位相差ｄＰ（ｆｘ、ｆｙ）を求める。

上記Ｓ２０１からＳ２０８の処理を横方向ｘが画像の横方向の画素数の最大値Ｘｍａｘ以上になるまで、また縦方向ｙが画像の縦方向の画素数の最大値Ｙｍａｘ以上になるまで、８×８個の画素データブロックを８画素ずつ順次移動しつつ、Ｓ２０９、Ｓ２１０、Ｓ２１１、Ｓ２１２でループを回して完了する。

このループを完了すると画像データの８×８個の画素データブロック毎に振幅比ｃＡ（ｆｘ，ｆｙ）および位相差ｄＰ（ｆｘ、ｆｙ）が求められていることになる。
一般的にブレた画像においては、種々の空間周波数成分の波がずれて重なりあうために、ブレのない被写体像に比較して空間周波数（特に高周波成分）の振幅が減少するとともに、位相が変化する。すなわちシャッタ速度の高速な画像１の方が、シャッタ速度の低速な画像２よりシャープに撮影されているので、空間周波数の領域においては画像１に比較して画像２の周波数成分（とくに高周波成分）がブレの影響を大きく受けている。

従って画像２の空間周波数成分（特に高周波成分）を、振幅比ｃＡ（ｆｘ，ｆｙ）および位相差ｄＰ（ｆｘ、ｆｙ）に基づいて画像１の空間周波数のレベルに補正することにより、ブレのない画像を生成することが可能である。しかしながら画像１は露光時間が短いために、信号対ノイズ比（ＳＮ比）が悪く、ノイズ成分を多く含んでいるため、画像１に基づいて算出された振幅比ｃＡ（ｆｘ，ｆｙ）および位相差ｄＰ（ｆｘ、ｆｙ）も多くのノイズを含んでおり、これに基づいて画像２を補正してもノイズの多い画像となってしまう。

そこで８×８個の画素データの各ブロックに対応して求められた振幅比ｃＡ（ｆｘ，ｆｙ）と位相差ｄＰ（ｆｘ、ｆｙ）を全ブロックにわたり平均することにより、ノイズの影響を除去する。そしてノイズのない振幅比ｃＡ（ｆｘ，ｆｙ）と位相差ｄＰ（ｆｘ、ｆｙ）を用いて画像２を補正することにより、ノイズのないブレが補正された画像を生成する事が可能になる。

Ｓ２１３では、振幅比ｃＡ（ｆｘ，ｆｙ）と位相差ｄＰ（ｆｘ、ｆｙ）を全ブロックにわたりその平均を求め、平均振幅比Ａａｖ（ｆｘ，ｆｙ）、平均位相差Ｐａｖ（ｆｘ、ｆｙ）とし、図６のＳ２１４に進む。
図６のＳ２１４でｘ＝９、ｙ＝９として初期化後、Ｓ２１５においてぶれた画像２の８×８個の画素データブロックの画像データＤ２（ｘ、ｙ）〜Ｄ２（ｘ＋７、ｙ＋７）から４種類の空間周波数ｆｘ、ｆｙ（ｆｘ＝１〜４、ｆｙ＝１〜４）について、それぞれの空間周波数に対する振幅Ａ１（ｆｘ、ｆｙ）および位相Ｐ１（ｆｘ、ｆｙ）を算出する。

Ｓ２１６では振幅Ａ２（ｆｘ、ｆｙ）をＡａｖ（ｆｘ、ｆｙ）倍した振幅Ａ３（ｆｘ、ｆｙ）、位相Ｐ２（ｆｘ、ｆｙ）をＰａｖ（ｆｘ、ｆｙ）だけ進めた位相Ｐ３（ｆｘ、ｆｙ）を計算する。
Ｓ２１７において振幅Ａ３（ｆｘ、ｆｙ）と位相Ｐ３（ｆｘ、ｆｙ）に基づいて画像３の画像データＤ３（ｘ、ｙ）〜Ｄ３（ｘ＋７、ｙ＋７）を再生する。

上記Ｓ２１５からＳ２１７の処理をｘ＞Ｘｍａｘ−８、ｙ＞Ｙｍａｘ−８になるまで、８×８個の画素データブロックを８画素ずつ順次移動しつつ、Ｓ２１８、Ｓ２１９、Ｓ２２０、Ｓ２２１でループを回して完了する。このループを完了するとブレが補正された画像３の画像データＤ３（ｘ、ｙ）（ｘ＝９〜Ｘｍａｘ−８、ｙ＝９〜Ｙｍａｘ−８）が求められていることになる。

つぎに画像３の全周辺（幅８画素）のブロックは画像１と画像２とのズレにより、画像１に含まれない背景が画像２に入り込んでいる可能性があるので、正確にブレの再生ができない可能性が高い。そこでＳ２２２においてこの周辺のブロックは画像２より画像３に移す。以上でブレの補正は完了する。

次にＳ２２３では画像３において画素データが２５５より大きい、すなわちＪＰＥＧの８ビット記録フォーマットなどでは白く飛んでしまう箇所が有るか否かを判断する。２５５より大きいデータがない場合は、そのまま終了する。
２５５以上のデータがある場合にはＳ２２４においてファイルフォーマットを例えばＪＰＥＧの１６ビットフォーマットに変更する。すなわち量子化ビット数を８ビットから１６ビットに増加させることにより、８ビットで表現できなかった白飛び部分を再現することが可能になる。

Ｓ２２５で適切に再現できるようにガンマカーブを変更（階調補正処理）する。すなわち画像の輝度変化のダイナミックレンジが所定範囲に収まるように輝度データの圧縮が行われる。そして終了する。
このように図５および図６に示すブレ画像補正処理では、画像１と画像２を８×８個の画素データブロックに分割し、それらのブロックを８画素ずつずらしながら４×４個の振幅データと位相データを計算し、画像１と画像２の振幅データの比と位相データの差をとるとともに、それらの平均を算出し、平均振幅比データと平均位相差データにより画像２の振幅データと位相データを補正し、補正された振幅データと位相データからブレのない画像３のデータを再構成するものである。

次に図９および図１０を用いて、図５および図６とは異なるブレ画像補正処理のフローチャート（図４のＳ１１２に対応）を説明する。
図９および図１０に示すブレ画像補正処理が図５および図６と異なる点は、画像１と画像２を１６×１６個の画素データブロックに分割し、それらのブロックを８画素ずつずらしながら８×８個の振幅データと位相データを計算し、画像１と画像２の振幅データの比と位相データの差をとり、それらの平均を算出するとともに、画像３のデータの生成においては、画像２を１６×１６個の画素データブロックに分割し、それらのブロックを８画素ずつずらしながら、平均振幅比データと平均位相差データにより画像２の８×８個の振幅データと位相データを補正し、補正された振幅データと位相データからブレのない画像３の８×８個の画素データブロックを順次再構成していく点である。

このように画像データのブロックサイズを大きくすることにより、大きなブレに対してもブレ補正が可能になるとともに、画像データに含まれるノイズに対する対抗力も向上する。
図９において、Ｓ３００では各画素の位置を示す座標パラメータｘ、ｙが１に初期化される。

Ｓ３０１で画像１より１６×１６個の画素データブロックの画像データＤ１（ｘ、ｙ）〜Ｄ１（ｘ＋１５、ｙ＋１５）が読み出され、Ｓ３０２で２倍される。
Ｓ３０３では画像１の各画像データが白飛び（２００以上）や黒ツブレ（５０以下）でないかを調べる。白飛びや黒ツブレが無いと判断されたならばＳ３０４へ移行する。白飛びや黒ツブレがあると判断されたならばＳ３０９へ移行する。

Ｓ３０４では画像２より１６×１６個の画素データブロックの画像データＤ２（ｘ、ｙ）〜Ｄ２（ｘ＋１５、ｙ＋１５）を読み込む。そしてＳ３０５でＳ３０３と同様に白飛びおよび黒ツブレについてチェックする。
Ｓ３０５で白飛びや黒ツブレが無いと判断されたならばＳ３０６へ移行する。白飛びや黒ツブレがあると判断されたならばＳ３０９へ移行する。

Ｓ３０６では、画像データＤ１（ｘ、ｙ）より縦１６画素、横１６画素の１６×１６個の画素データブロックに対して、縦横ともに周期が１６画素から２画素までの８種類の空間周波数ｆｘ、ｆｙ（ｆｘ＝１〜８、ｆｙ＝１〜８）について、フーリエ変換等の手法により空間周波数分析を行い、それぞれの空間周波数に対する振幅Ａ１（ｆｘ、ｆｙ）および位相Ｐ１（ｆｘ、ｆｙ）を算出する。

Ｓ３０７では画像データＤ２（ｘ、ｙ）の１６×１６個の画素データブロックに対しＳ３０６と同様に振幅Ａ２（ｆｘ、ｆｙ）と位相Ｐ２（ｆｘ、ｆｙ）を求める。
Ｓ３０８では各周波数毎にＡ１（ｆｘ、ｆｙ）をＡ２（ｆｘ，ｆｙ）で割った比である振幅比ｃＡ（ｆｘ，ｆｙ）および位相Ｐ２（ｆｘ、ｆｙ）とＰ１（ｆｘ、ｆｙ）の差である位相差ｄＰ（ｆｘ、ｆｙ）を求める。

上記Ｓ３０１からＳ３０８の処理を、横方向ｘが画像の横方向の画素数の最大値Ｘｍａｘ以上になるまで、また縦方向ｙが画像の縦方向の画素数の最大値Ｙｍａｘ以上になるまで、１６×１６個の画素データブロックを８画素ずつ順次移動しつつ、Ｓ３０９、Ｓ３１０、Ｓ３１１、Ｓ３１２でループを回して完了する。

このループを完了すると８画素ずつずれた画像データの１６×１６個の画素データブロック毎に振幅比ｃＡ（ｆｘ，ｆｙ）および位相差ｄＰ（ｆｘ、ｆｙ）が求められていることになる。
Ｓ３１３では、振幅比ｃＡ（ｆｘ，ｆｙ）と位相差ｄＰ（ｆｘ、ｆｙ）を全ブロックにわたりその平均を求め、平均振幅比ｃＡ（ｆｘ，ｆｙ）、平均位相差Ｐａｖ（ｆｘ、ｆｙ）とすし、図１０のＳ３１４に進む。

図１０のＳ３１４でｘ＝１、ｙ＝１として初期化後、Ｓ３１５においてぶれた画像２の１６×１６個の画素データブロックの画像データＤ２（ｘ、ｙ）〜Ｄ２（ｘ＋１５、ｙ＋１５）から８種類の空間周波数ｆｘ、ｆｙ（ｆｘ＝１〜８、ｆｙ＝１〜８）について、それぞれの空間周波数に対する振幅Ａ１（ｆｘ、ｆｙ）および位相Ｐ１（ｆｘ、ｆｙ）を算出する。

Ｓ３１６では振幅Ａ２（ｆｘ、ｆｙ）をＡａｖ（ｆｘ、ｆｙ）倍した振幅Ａ３（ｆｘ、ｆｙ）、位相Ｐ２（ｆｘ、ｆｙ）をＰａｖ（ｆｘ、ｆｙ）だけ進めた位相Ｐ３（ｆｘ、ｆｙ）を計算する。
Ｓ３１７において振幅Ａ３（ｆｘ、ｆｙ）と位相Ｐ３（ｆｘ、ｆｙ）に基づいて画像３の８×８個の画素データブロックの画像データＤ３（ｘ＋４、ｙ＋４）〜Ｄ３（ｘ＋１１、ｙ＋１１）を再生する。

上記Ｓ３１５からＳ３１７の処理をｘ＞Ｘｍａｘ−８、ｙ＞Ｙｍａｘ−８になるまで、１６×１６個の画素データブロックを８画素ずつ順次移動しつつ、Ｓ３１８、Ｓ３１９、Ｓ３２０、Ｓ３２１でループを回して完了する。このループを完了するとブレが補正された画像３の画像データＤ３（ｘ、ｙ）（ｘ＝５〜Ｘｍａｘ−４、ｙ＝５〜Ｙｍａｘ―４）が求められていることになる。

Ｓ３２２において、画像３の全周辺（幅４画素）のブロックを画像２より画像３に移してブレ画像の補正処理を完了する。
図４に示すフローチャートにおいては、ストロボモード設定部材４３はノーマルモードに設定され、かつ被写体は高輝度であり、ストロボ５の発光は行われないとして説明を行ったが、撮影時にストロボ５の発光を行う場合の動作シーケンスを図１１に示すフローチャートに示す。

Ｓ４００からＳ４０３までは、図４のＳ１００からＳ１０３までと同じ動作なので説明を省略する。
Ｓ４０４では、ストロボ５の発光量Ｑを撮影距離、絞り値、被写体輝度等に応じて算出する。Ｓ４０５においてシャッタ速度をＳ４０１で定められた露光時間Ｔの半分の露光時間Ｔ／２として、ステップモータ１４を駆動しシャッタ１５を動作させＣＣＤ２０に被写体像を露光して撮像させる。この時のストロボ発光量は図１２に示す如くＳ４０４で定められた発光量Ｑの半分のＱ／２とする。この撮像動作により得られた画像を画像１とする。

Ｓ４０６からＳ４０８までは、図４のＳ１０５からＳ１０７までと同じ動作なので説明を省略する。
Ｓ４０９ではＳ４０３と同じ絞り値により露光時間Ｔで画像の露光が行われる。この時のストロボ発光量は図１２に示す如くＳ４０４で定められた発光量Ｑとする。この撮像動作により得られた画像を画像２とする。

以下Ｓ４１０からＳ４１５までは、図４のＳ１０９からＳ１１４までと同じ動作なので説明を省略する。
以上説明した図１１の実施形態では、異なる露光時間で得られた画像の空間周波数成分を比較する画像処理により像ブレ補正を行う像ブレ補正方式において、各露光におけるストロボ発光量を露光時間に比例させたことにより、各画像の全体の露光量レベルが露光時間に比例することになり、その後に行われる像ブレ補正のための空間周波数成分の比較処理を良好に行うことが可能になる。特にスローシンクロモードのように、シャッタ速度が遅くなるモードでは有効である。

図１１の実施形態ではストロボ発光時に常に複数回の露光が行われるシーケンスとなっているが、シャッタ速度（露光時間）が比較的長くなるスローシンクロモード時のみ複数回の露光が行われるシーケンスとしてもよい。
（変形形態の説明）本発明は以上説明した実施形態に限定されることなく、種々の変形や変更が可能である。

上記実施形態においては、電子カメラ１においてブレ補正のための画像処理まで行っているが、図１３に示すような画像処理システムを構成し、電子カメラ１で画像１と画像２の撮像までを行い、画像１と画像２を記録したメモリカード２５等を介して、画像１と画像２をパソコン等により構成される画像処理装置５０に取り込み、画像処理装置５０により画像１と画像２に基づき、ブレのない画像３を生成してもよい。この場合図４のフローチャートにおいてＳ１００からＳ１１１までの処理を電子カメラ１が行い、Ｓ１１２からＳ１１４までの処理を画像処理装置５０が行うことになる。このような画像処理システムによれば、演算規模が大きく負担の大きいブレ画像の補正処理部分を電子カメラ１の外部にある処理能力の高い画像処理装置５０に任せることができるので、電子カメラは撮影動作に専念でき、高速連続撮影等の動作が可能になるとともに、画像処理装置５０側でより高度なブレ画像の補正処理を高速に行うことが可能になる。

また上記実施形態においては、第１の画像の取得を第２の画像の取得に先立って行っているが、第２の画像の取得を先に行っても構わない。
また上記実施形態においては、適正露光時間により撮像された第２の画像と適正露光時間の半分の露光時間により撮像された第１の画像を空間周波数領域で解析することによりブレ画像の補正処理を行っているが、第１の画像は第２の画像の露光時間より短い露光時間であれば構わない。しかしながら第１の画像の露光時間は画像ブレを発生させないために、好ましくは第２の画像の露光時間の１／２程度以下であることが望ましい。また第２の画像の露光時間は、必ずしも正確に適正露光時間である必要はなく、ブレによる影響が表れる露光時間であればよい。

また上記実施形態においては、２つの異なる露光時間で撮像された２つの画像を空間周波数領域で解析することによりブレ画像の補正処理を行っているが、異なる露光時間で得られた３つ以上の画像を用い、ブレ画像の補正処理を行っても構わない。このようにすれば、画像ノイズの影響をさらに緩和することが可能になる。

また上記実施形態においては、第１の画像と第２の画像を記録した後、すぐにブレ画像補正処理を行い第３の画像を生成するようになっているが、第１の画像と第２の画像を記録した後、しばらく時間が経過した後でブレ画像補正処理を行い第３の画像を生成するようにしても構わない。このようにすれば、電子カメラにとって負担の大きいブレ画像補正処理を後回しにできるので、画像を高速に連写して記録することが可能になる。例えば使用者による特定の操作に応じて、撮影した画像データに対するブレ画像補正処理を行うようにする。

また上記実施形態においては、露光時間は機械的なシヤッタにより制御されていたが、撮像素子に備えられた電子シャッタ機能により露光時間を制御するようにしても構わない。

発明の効果

以上説明したように、本発明による電子カメラおよび画像処理システムにおいては、ブレ補正光学系やブレセンサを用いることなくブレ画像を補正できるために、電子カメラや画像処理システムの小型化が可能になるとともに、コストの増大を押さえることができる。

また異なる露光時間で得られた２つの画像データに基づき、空間周波数領域でブレ補正を行うので、露光中の画像ブレを補正することができる。
また異なる露光時間で得られた２つの画像データに基づき、空間周波数領域でブレ補正を行う方式において、ストロボ撮影を行っても像ブレ補正のための空間周波数成分の比較処理を良好に行うことが可能になる。

本発明による電子カメラの実施形態の構成を示す前方からの斜視図である。本発明による電子カメラの実施形態の構成を示す後方からの斜視図である。本発明による電子カメラの内部の電気的構成を示すブロック図である。電子カメラの基本的なシーケンスを示すフローチャートである。ブレ画像の補正処理の一例を示すフローチャートの一部である。ブレ画像の補正処理の一例を示すフローチャートの一部である。画像データの構成を示す図である。画像データと振幅データと位相データのブロック構成を示す図である。ブレ画像の補正処理の他の例を示すフローチャートの一部である。ブレ画像の補正処理の他の例を示すフローチャートの一部である。電子カメラの別な動作シーケンスを示すフローチャートである。電子カメラの露光とストロボ発光の動作タイムチャートである。本発明による画像処理システムの実施形態の構成を示す図である。

１電子カメラ
２撮影レンズ
３シャッタ釦
８表示ＬＣＤ
１０ＣＰＵ
１３シャッタ駆動回路
１５シャッタ
２０ＣＣＤ
２１ＤＳＰ
２５メモリカード
３０バッファメモリ
５０画像処理装置

Claims

被写体像を撮像する撮像手段と、
前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、
前記露光制御手段と前記撮像手段により第１の露光時間で撮像した第１の画像データと、前記第１の露光時間より長い第２の露光時間で撮像した第２の画像データを連続して生成する画像生成手段と、
画像データを記録するための記録手段と、
前記第１の画像データを第１の圧縮率で画像圧縮して前記記録手段に記録するとともに、前記第２の画像データを前記第１の圧縮率よりも高い第２の圧縮率で画像圧縮して前記記録手段に記録する画像圧縮手段と、
前記記録手段に記録されている画像圧縮されたデータを伸張した前記第１の画像データおよび前記第２の画像データに基づき、前記第２の画像データに含まれる空間周波数の少なくとも高周波成分を補正することにより第３の画像データを生成する画像処理手段とを備え、
前記画像処理手段は、前記第１の画像データと前記第２の画像データの空間周波数成分の振幅比および位相差に基づき前記第２の画像データの空間周波数成分の振幅および位相を補正することにより第３の画像データを生成することを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記第２の露光時間は画像データの輝度レベルが適正となるような適正露光量を与える露光時間であるとともに、前記第１の露光時間は前記第２の露光時間の１／２程度以下であることを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
さらに画像データを表示する表示手段を備え、
前記表示手段は前記第２の画像データを表示するとともに、前記第１の画像データの表示を禁止することを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記画像処理手段は、前記第１の画像データと前記第２の画像データを所定個数の画素データブロックに分割するとともに、各画素データブロック毎に求められた前記第１の画像データと前記第２の画像データの空間周波数成分の振幅比および位相差を平均することにより前記第１の画像データと前記第２の画像データの空間周波数成分の振幅比および位相差を算出することを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記画像処理手段は、前記第３の画像データに所定値以上の輝度データが含まれている場合、前記第３の画像データに対し階調補正処理を行うことを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記画像処理手段は、所定の量子化ビットで量子化された前記第３の画像データに所定値以上の輝度データが含まれている場合、前記第３の画像データに対し量子化ビット数を増して量子化処理を行うことを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
撮影時に前記被写体を照明するために発光する閃光発光手段をさらに備え、
前記閃光発光手段は、前記画像生成手段により前記第１の画像データと前記第２の画像データが露光される際に、各露光毎に異なる発光量で発光するとともに、各発光毎の発光量は各露光時間の長さに比例した量であることを特徴とする電子カメラ。
被写体像を撮像する撮像手段と、前記撮像手段による被写体像の撮像の露光時間を制御する露光制御手段と、前記露光制御手段と前記撮像手段により第１の露光時間で撮像した第１の画像データと、前記第１の露光時間より長い第２の露光時間で撮像した第２の画像データを連続して生成する画像生成手段と、画像データを記録するための記録手段と、前記第１の画像データを第１の圧縮率で画像圧縮して前記記録手段に記録するとともに、前記第２の画像データを前記第１の圧縮率よりも高い第２の圧縮率で画像圧縮して前記記録手段に記録する画像圧縮手段とを備える電子カメラと、
前記電子カメラにより生成され、前記記録手段に記録されている画像圧縮されたデータを伸張した前記第１の画像データと前記第２の画像データに基づき、前記第２の画像データに含まれる空間周波数の少なくとも高周波成分を補正し、第３の画像データを生成する画像処理装置とからなり、
前記画像処理装置は、前記第１の画像データと前記第２の画像データの空間周波数成分の振幅比および位相差に基づき前記第２の画像データの空間周波数成分の振幅および位相を補正することにより第３の画像データを生成することを特徴とする画像処理システム。