JP4121780B2

JP4121780B2 - デジタル画像における動きによるぼけを低減する方法

Info

Publication number: JP4121780B2
Application number: JP2002155573A
Authority: JP
Inventors: チャールズ・エイチ・マッコニカ
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2001-05-29
Filing date: 2002-05-29
Publication date: 2008-07-23
Anticipated expiration: 2022-05-29
Also published as: JP2003078812A; US6987530B2; US20050243178A1; US20030011717A1

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像における動きによるぼけの低減に関し、特に、デジタル画像を表す画像データを解析して、動きによるぼけの量および方向を決定し、動きによるぼけを低減するように画像データを処理することに関する。
【０００２】
【従来の技術】
デジタルスチルカメラは、被写体の画像を表す画像データを生成する。被写体の画像を表す画像データを生成するプロセスは、単純に被写体の「イメージング」または「キャプチャ」と呼ばれることが多い。画像データは処理され、被写体の複製画像を表示する装置に出力される。たとえば、被写体の複製画像を、ビデオモニタに表示することも、またプリンタで印刷することもできる。
【０００３】
デジタルカメラでは、２次元アレイの感光素子上へと被写体の画像を結像する。感光素子は比較的に小さく、それぞれの１つが被写体の画像の非常に小部分を表す画像データを生成する。たとえば、２次元アレイは、被写体の画像の小部分を表す画像データをそれぞれ生成する数百万の感光素子を有しうる。個々の感光素子によって生成される画像データが処理され、被写体の画像が再現される。感光素子の１つの種類は、予め選択された期間にわたって受光した光量に比例する電圧を出力する電荷結合素子（ＣＣＤ）である。
【０００４】
デジタルカメラによって生成される画像を改良するために、２次元アレイ上の感光素子の密度が増大される。感光素子の密度を増大すると、被写体をイメージングする感光素子の数が増大し、このことが、被写体のイメージングされた部分間の間隔を低減することによって画質を向上させる。デジタルカメラによって生成される画像を改良する別の方法は、特に低照度条件において、画像データの生成するために長時間を費やす。この長時間の画像生成は、延長された時間分の光を感光素子に検出させることによって達成される。
【０００５】
デジタル写真を含む写真に伴う１つの問題は、感光素子が画像データを生成するときにカメラが動くと、カメラにより生成される画像がブレることである。たとえば、イメージングされる被写体に対してデジタルカメラが動かない理想的な条件下では、各感光素子が、被写体の画像の特定部分を表す画像データを生成する。しかし、画像データ生成時にカメラが動くと、被写体の画像の個々の部分が、いくつかの感光素子でイメージングされることになる。したがって、各感光素子が、被写体画像のいくつかの異なる部分をイメージングし、これにより被写体の複製画像がブレる。この種類のブレは、動きによるぼけあるいはモーションブラーと呼ばれる。
【０００６】
動きによるぼけ問題は、上記のイメージング期間が延びると悪化する。イメージング期間を延長すると、カメラがイメージング期間中に動く可能性が高くなり、複製画像に動きによるぼけが生じる可能性が高くなる。したがって、ブレた画像が生成される可能性がより高くなることによって、拡張されたイメージング期間の利点が相殺されうる。動きによるぼけの問題は、画像の生成により多くの感光素子を用いることによってさらに悪化する。感光素子はより小さくなり、より少ない光を受信するようになる。したがって、より小さな感光素子が、正確な画像データの生成に十分な光を受光するように、カメラの露出時間をより長くしなければならない。
【０００７】
【発明が解決しようとする課題】
したがって、デジタル画像における動きによるぼけを検出して低減するための方法および装置が必要である。
【０００８】
【課題を解決するための手段】
本発明は、被写体の複製画像における動きによるぼけの最小化を目的とする。被写体の画像は、画像データの形態で表される。画像データは、例として、被写体を表す画像データを生成するデジタルカメラを使用して、被写体を撮影することによって生成することができる。画像データは、被写体画像内の小部分、すなわちピクセル位置（pixel location）において生成される光の強度に対応する複数の値でありうる。
【０００９】
画像データが解析され、一方向における特定の空間周波数における振幅の大きさが、他の方向における特定の空間周波数における振幅の大きさよりも小さいかどうか（これが動きによるぼけを示す）を決定する。これは、様々な方向について特定の各空間周波数における振幅を比較することによって、多数の特定の空間周波数に一般化することができる。
【００１０】
特定の空間周波数の振幅の大きさは、性能指数（あるいは良度指数；figure of merit）に比例する。第１の方向において第１の性能指数が計算され、第２の方向において第２の性能指数が計算され、第２の方向は、第１の方向に対して実質的に垂直である。動きによるぼけが第１の方向あるいは第２の方向に存在する場合には、ある方向における性能指数は、他の垂直な方向における性能指数よりも小さくなる。第２の性能指数に対する第１の性能指数の比の大きさが予め選択された値と比較されて、第１の性能指数の値が第２の性能指数の値と有意に異なるかどうかを決定する。比の大きさが予め選択された値よりも大きい場合には、動きによるぼけが存在する。動きによるぼけ方向は、２つの性能指数値のうちの小さい方に対応する方向である。
【００１１】
動きによるぼけは、動きによるぼけ方向における画像の適切な空間周波数集合の信号の振幅の大きさを増大することによって最小化される。適切な空間周波数集合は、画像特性に依存する。一実施形態では、画像データの空間的表現が、画像データを表す周波数領域に対して、デコンボリューション（deconvolution）または変更されたデコンボリューション修正(modified deconvolution correction)を適用することにより、動きによるぼけ方向において改良することができる。そして、画像データを表す周波数領域を、画像データの空間的表現に変換し戻すことができる。この変換は、例として、モザイク解除動作中の空間領域におけるカーネル動作の適用によって達成することができる。これらの動作は、工場で予め選択された修正係数、画像依存修正係数、または手動で選択される修正係数によって達成することができる。
【００１２】
【発明の実施の形態】
画像における動きによるぼけを検出して低減する方法および装置について以下に概説し、次により詳細な説明を続ける。
【００１３】
図１〜図９は、一般に、デジタル画像における動きによるぼけを検出する方法を示す。本方法は、デジタル画像を表す画像データを提供するステップを含みうる。画像データが解析され、第１の方向（Ｘ）におけるデジタル画像の第１の性能指数および第２の方向（Ｙ）におけるデジタル画像の第２の性能指数を計算する。ここで、第１および第２の方向は、実質的に直交する。第２の性能指数に対する第１の性能指数の第１の比が計算される。ここで、比は、第１または第２の性能指数のうち大きい方を、第１または第２の性能指数のうちの小さい方で除算したものである。第１の比が予め選択される値と比較され、第１の比が予め選択された値よりも大きい場合には、動きによるぼけがデジタル画像に存在する。
【００１４】
図１〜図９は、一般に、画像における動きによるぼけを低減する方法も示す。本方法は、画像を表す画像データを提供するステップを含みうる。画像データが解析され、画像における動きによるぼけの存在を検出する。画像データはさらに解析されて、デジタル画像における動きによるぼけ方向を検出する。そして、画像データが処理され、動きによるぼけ方向において、画像のエッジ明瞭度（edge
acuity）を増大する。
【００１５】
図１〜図９は、一般に、画像における動きによるぼけを検出する装置も示す。本装置は、コンピュータおよびコンピュータと関連して動作可能なコンピュータ読み取り可能媒体を含むことができ、コンピュータ読み取り可能媒体は、コンピュータを制御して、後述する方法により画像における動きによるぼけを検出する命令を含む。本装置は、画像を表す画像データを受信する。画像データの第１の性能指数が、第１の方向（Ｘ）において計算される。画像データの第２の性能指数が、第２の方向（Ｙ）において計算され、第１および第２の方向（Ｘ、Ｙ）は、実質的に直交する。第２の性能指数に対する第１の性能指数の第１の比が計算される。第１の比は、第１または第２の性能指数の大きい方を第１または第２の性能指数の小さい方で除算したものである。第１の比は予め選択された値と比較され、第１の比が予め選択された値よりも大きい場合には、動きによるぼけがデジタル画像に存在する。動きによるぼけ方向は、小さい方の性能指数に対応する。
【００１６】
デジタルカメラ１００およびデジタル画像におけるブレを低減する方法について大まかに説明したが、次に、これらについてさらに詳細に説明する。以下の説明は、カメラ１００の動作、その後にカメラ１００によって生成される画像における動きによるぼけの検出および低減に焦点をあてる。
【００１７】
被写体１１０を表す画像データを生成するデジタルカメラ１００の模式図を図１に示す。被写体を表す画像データを生成するプロセスは、単に被写体のイメージングまたはキャプチャとしばしば呼ばれる。ｘ方向Ｘおよびｚ方向Ｚが、図１に示すカメラ１００および被写体１１０に対する参照目的のために用いられる。ｘ方向Ｘについては、正のｘ方向ＸＰおよび負のｘ方向ＸＮを参照してさらに詳細に説明する。同様に、ｚ方向Ｚについても、正のｚ方向ＺＰおよび負のｚ方向ＺＮを参照してさらに詳細に説明する。図１に示されていないｙ方向は、ｘ方向Ｘおよびｚ方向Ｚの双方に対して垂直に延びており、これについては後述する。
【００１８】
カメラ１００は、絞り１２２が形成されたハウジング１２０を備えうる。レンズ１２６または複数のレンズが、絞り１２２内にまたは絞り１２２に隣接して配置することができ、被写体１１０の画像を後述するようにカメラ内にあるコンポーネント上に焦点合わせする役割を果たすことができる。レンズ１２６は、非限定的な例として、約７ｍｍの焦点距離を有しうる。２次元感光センサアレイ１３０およびプロセッサ１３２は、ハウジング１２０内に配置することもできる。図１に示すように、被写体１１０の画像は、レンズ１２６によって、２次元感光センサアレイ１３０上に焦点合わせされる。図１に示す２次元感光センサアレイ１３０の図は側面図であることに留意されたい。プロセッサ１３２は、２次元感光センサアレイ１３０に電気的に接続することが可能であり、さらに詳細に後述するように、２次元感光センサアレイ１３０によって生成されるデータを処理する役割を果たすことができる。
【００１９】
２次元感光センサアレイ１３０の正面拡大図を図２に示す。２次元感光センサアレイ１３０は、複数の感光素子１３８が搭載される表面１３６を備えうる。図２に示す感光素子は、説明を目的として大幅に拡大されていることに留意されたい。感光素子１３８は、複数の行１４０および列１４２を形成するように配置することができる。各感光素子１３８は、特定の周波数帯の光の強度を表す画像データを生成するように適合可能である。たとえば、図３をさらに参照すると、光が感光素子１３８に到達する前にその光をフィルタリングするために、カラーフィルタアレイ１４３を２次元感光センサアレイ１３０の表面１３６に取り付けることができる。したがって、各感光素子１３８は、特定の狭帯域の波長を有する光を受光することができる。図３に示すカラーフィルタアレイ１４３は、ベイヤパターン（Beyer pattern）を示し、ＲとＧとＢとは、特定の帯域の赤と緑と青との光を感光素子１３８まで透過させるカラーフィルタを表す。したがって、図３に示す赤と緑と青との各フィルタは、単一の感光素子１３８に連結される。ベイヤパターンは、赤および青のフィルタより２倍多い緑のフィルタを有することに留意されたい。緑のフィルタの数の増大は、赤または青の光よりも緑の光に対して高い感度がある人間の視覚を補償する。カラーフィルタアレイ１４３は、図３に示すベイヤパターン以外のパターンに配置されたフィルタを有しうることにも留意されたい。
【００２０】
感光素子１３８は、予め選択された期間中受光した光の量に比例する電荷を発生する電荷結合素子でありうる。予め選択された期間は、被写体１１０（図１）が露出される光の強度、ひいては被写体１１０から反射される光１５０の強度に依存する。たとえば、画像が比較的に暗い環境で生成される場合には、この予め選択された期間は、生成される画像を向上させるために大きくされ、同様に、画像が比較的に明るい環境で生成される場合には、短くされる。
【００２１】
図１および図２を参照すると、本明細書で説明するカメラ１００の実施形態では、レンズ１２６が、被写体１１０の画像の感光素子１３８へのブレを引き起こす。本明細書で説明する実施形態でのブレは、２つの感光素子１３８の距離にほぼ等しく、処理中の画像のエイリアシング（aliasing）を防止する役割を果たす。
【００２２】
再び図１を参照すると、上述したように、プロセッサ１３２が２次元感光センサアレイ１３０に電気的に接続することができる。プロセッサ１３２は、２次元感光センサアレイ１３０によって生成される画像データを受信して処理する。たとえば、プロセッサ１３２は、個々の感光素子１３８によって生成される情報を処理して、さらに詳細に後述するように、画像を「モザイク解除（demosaic、またはデモザイク）」し、色を適宜組み合わせる。プロセッサ１３２によって実行される機能のいくつかの例は、引用することにより本明細書の一部をなすものとし、その全てが開示されている１９９８年１０月２３日に出願されたTaubmanによる「IMAGE DEMOSAICING AND ENHANCEMENT SYSTEM」と題する米国特許出願第０９／１７７，７２９号公報に記載されている。本明細書に説明するプロセッサ１３２は、画像における動きによるぼけを検出して最小化する追加性能を有することに留意されたい。
【００２３】
プロセッサ１３２は、カメラ１００によって生成された画像データを表示および／または処理する役割を果たす、コンピュータモニタまたはプリンタのような図示していない周辺閲覧装置に電気的に接続することもできる。プロセッサ１３２は、２次元感光センサアレイ１３０、つまりカメラ１００によって生成された画像データを格納および／または処理する、図示していない周辺コンピュータに電気的に接続することができる。プロセッサ１３２を参照して本明細書に説明する処理技術および方法は、周辺閲覧装置またはコンピュータによって実行することができることに留意されたい。たとえば、２次元感光センサアレイ１３０によって生成される画像データは、処理のために周辺プロセッサに直接に送信することもできる。
【００２４】
動きによるぼけの補正に重要なカメラ１００のコンポーネントについて説明したが、次にカメラ１００の動作、その後に動きによるぼけを補正するカメラ１００について説明する。
【００２５】
カメラ１００は、通常、ユーザによって保持され、被写体１１０等の被写体を表す画像データを生成するために使用される。画像データは通常被写体１１０の静止画像を表すが、被写体１１０の動いている画像、たとえば動画を表すこともできる。光１５０は、被写体１１０で反射され、絞り１２２を介してカメラ１００のハウジング１２０に入射する。そして、レンズ１２６が、被写体１１０の画像を２次元感光センサアレイ１３０上に焦点合わせされる。２次元感光センサアレイ１３０は、被写体１１０の画像を表す画像データを生成し、この画像データが処理のためにプロセッサ１３２に出力される。上述したように、本明細書に説明するカメラ１００の実施形態では、レンズ１２６が、２つの感光素子１３８（図２）だけ、２次元感光センサアレイ１３０上へと焦点合わせされる画像をブレさせる。
【００２６】
図２は、２次元感光センサアレイ１３０上に焦点合わせされる被写体１１０（図１）の画像１５６の例を示す。画像１５６が２次元感光センサアレイ１３０上に適宜焦点合わせされる場合には、感光素子１３８に画像データを生成させる命令が、２次元感光センサアレイ１３０に送信される。より具体的には、感光素子１３８が、予め選択された期間にわたり受光した、被写体１１０から反射された光の量に依存する電荷を生成する。カメラ１００（図１）が暗い環境で使用される場合には、予め選択された期間は比較的に長く、カメラ１００が明るい環境において使用される場合には、予め選択された期間は比較的に短い。
【００２７】
図２および図３を参照すると、画像データは、複数の個々のカラープレーンとして処理することができる。たとえば、画像データは、緑プレーン、赤プレーン、および青プレーンを有しうる。代替として、赤または青の感光素子１３８よりも緑の感光素子１３８が２倍多くあるため、緑プレーンを２つの緑プレーンとして処理することができる。緑プレーンは、関連するカラーフィルタアレイ１４３の緑カラーフィルタを有する感光素子１３８によって生成される画像データからなる。同様に、赤および青のプレーンは、それぞれ関連するカラーフィルタアレイ１４３の赤および青のカラーフィルタを有する感光素子１３８によって生成される画像データからなる。これらのカラープレーンは、合成画像データの各色成分を個々に処理できるようにする。たとえば、個々の色は、相対強度を増減するように基準化することができる。同様に、個々の感光素子１３８からの画像データもそれに従って基準化することができる。
【００２８】
カラーフィルタアレイ１４３は、動きによるぼけの方向を含め、本明細書で使用される方向の参照を提供する。ｙ方向Ｙは、上述したｘ方向Ｘに対して垂直に延びる。ａ方向Ａは、ｘ方向Ｘおよびｙ方向Ｙに対して斜めに延びる。ｂ方向Ｂは、ａ方向Ａに対して垂直に延びる。上記方向は、さらに詳細に後述する動きによるぼけおよび補正の非限定的な例である。
【００２９】
再び図１を参照すると、理想的な環境下で、カメラ１００および被写体１１０は双方とも、２次元感光センサアレイ１３０が画像データを生成する上記予め選択される期間中、互いに対して静止したままである。しかし、理想的な環境はまれにしか達成されず、カメラ１００は、一般に、画像データ生成中に被写体１１０に対して多少動く。たとえば、画像データ生成中に、ユーザは、被写体１１０に対して固定位置にカメラ１００を通常保つことができない。
【００３０】
動きによるぼけは、被写体１１０がイメージングされているときに発生する被写体１１０に対するカメラ１００の回転移動あるいは並進移動によって通常生じる。本明細書に説明する動きによるぼけ補正方法は、被写体１１０のイメージング中に、被写体１１０とカメラ１００との間の並進移動に起因する動きによるぼけの補正を対象とする。しかし、回転移動に起因する動きによるぼけは、本明細書に説明される方法によって補正することができることにも留意されたい。たとえば、カメラ１００と被写体１１０との間の回転移動の中心が、画像エリアからかなり離れている場合には、画像に関連する動きによるぼけは、並進移動に起因する動きによるぼけとほぼ同様でありうる。回転移動による動きによるぼけが、並進移動によって生じるかのように補正することができるかどうかを決定する１つのテストは、回転の中心に最も近い画像のブレおよび回転の中心から最も離れた画像のブレを測定することである。２つのブレが実質的に同等である場合には、動きによるぼけは、並進移動に起因するものとして補正することができる。本明細書に説明する方法の一実施形態では、画像のエッジのブレが測定されて、ブレが並進移動に起因するものであることを意味するエッジのブレが実質的に等しいかどうかを決定する。
【００３１】
カメラ１００の動作を簡単に説明したが、次に、ブレた画像データを生成するカメラ１００の動作について説明する。本明細書に説明する例では、画像データが生成されていたときに、カメラ１００がｘ方向Ｘに移動していた。ｘ方向Ｘにおける移動は、２．５個分の感光素子１３８の距離を画像１５６に移動させる量である。
【００３２】
２次元感光センサアレイ１３０が画像データを生成するときに、被写体１１０に対してカメラ１００が動くと、被写体１１０の画像がブレることになる。より具体的には、画像データが、従来の処理方法を用いて処理されるときに、被写体１１０の複製画像がブレることになる。このブレの例は、図２に示される。被写体１１０（図１）の画像１５６は、画像データ生成の開始時には２次元感光センサアレイ１３０上に焦点合わせされて示されている。感光素子１３８による画像データ生成が進むにつれ、２次元感光センサアレイ１３０上に焦点合わせされていた画像１５６が、負のｘ方向ＸＮに移動する。感光素子１３８が画像データの生成を止めるときまでに、画像１５６は、２次元感光センサアレイ１３０上の別の位置に移動してしまっている。画像データの生成終了時の被写体１１０（図１）の画像の位置は、第２の画像１５８として参照され、図２の破線で示される。本明細書に引用する例では、画像１５６は、画像データの生成中に、負のｘ方向ＸＮに２つ半分の列１４２で表される距離移動した。画像１５６が移動した距離は、動きによるぼけの振幅に比例する。画像１５６が移動した方向は、動きによるぼけ方向と呼ばれる。
【００３３】
さらに詳細に後述するように、画像データが解析され、ブレの方向および振幅を決定する。振幅は、画像データの生成中に発生する移動の量である。本明細書において説明する動きによるぼけ方向は、説明目的のみのために、ｘ方向Ｘと、ｙ方向Ｙと、ａ方向Ａと、ｂ方向Ｂとに限定されている。本明細書に説明する動きによるぼけ検出および補正方法は、複数の振幅および方向に適用可能であることに留意されたい。
【００３４】
再び図１を参照すると、２次元感光センサアレイ１３０によって生成される画像データは、処理のためにプロセッサ１３２に送信される。プロセッサ１３２は、図２の各感光素子１３８によって生成される画像データを、図３のカラーフィルタアレイ１４３ごとに関連するカラーフィルタに相関付ける。処理目的のために、画像データを、赤プレーンと、緑プレーンと、青プレーンとである上記３つのカラーグループまたはプレーンに分類することができる。代替として、２つの緑プレーンを考慮する場合には、画像データを４つのグループに分類することもできる。
【００３５】
プロセッサ１３２は、各感光素子１３８によって生成される画像データ値、または単に画像データに対応する数値を格納することができる。各感光素子１３８によって生成される画像データは、各感光素子１３８が受光する光の強度に比例する。プロセッサ１３２は、画像データの各値が２次元感光センサアレイ１３０上に生成された位置を格納することもできる。
【００３６】
画像データの生成について説明したが、次に、動きによるぼけの検出および低減について説明する。以下の手順は、図４および図５のフローチャートに概説されている。
【００３７】
２次元感光センサアレイ１３０によって生成される画像データは、画像のエリア内の複数の空間位置における光の振幅を表す。画像データがカラー画像を表す状況では、画像データは、複数のカラープレーンについて複数の空間位置における光の振幅を表す。たとえば、画像データは、３つのカラープレーン、すなわち赤プレーンと、緑プレーンと、青プレーンとにより表現することができる。各カラープレーンの画像データは、フーリエ変換の適用により周波数領域に変換可能であり、「変換された（transformed）」画像データとしばしば呼ばれる。変換された画像データは、空間周波数の各集合についての振幅および位相を表す。
【００３８】
変換された画像データは、画像内のブレの振幅および方向に関連する画像データ上の予測を提供する。変換された画像データは、後述するように操作して、動きによるぼけを低減することができる。そして、画像データは、逆フーリエ変換によって再変換され、ユーザに提示するために元のフォーマットにすることができる。再変換された画像データにおける動きによるぼけは、この操作によって低減されている。
【００３９】
動きによるぼけは、特により高い空間周波数で、常に動きによるぼけ方向において、変換された画像データの振幅を低減する。画像データが、フーリエ変換または同様のものを使用して周波数領域に変換されると、移動方向に垂直な方向における空間周波数集合を通して正弦波信号の振幅の大きさは、ほぼ影響を受けないままである。移動方向に対して垂直に近い方向に関しても、同じことが発生する。
【００４０】
動きによるぼけについて略述したが、次に、動きによるぼけの検出および最小化についてさらに詳細に説明する。
【００４１】
動きによるぼけの空間的影響の例を図６Ａ〜図６Ｃのグラフに示す。図６Ａ〜図６Ｃのグラフは、説明を目的として、２次元感光センサアレイ１３０の平面図ではなく２次元感光センサアレイ１３０の線形図に基づいている。図６Ａ〜図６Ｃのグラフ中の水平軸Ｐは、空間位置、より具体的には画像データが生成された感光素子位置またはピクセル位置を表す。したがって、水平軸は、図２の感光素子１３８の位置に対応する。垂直軸Ｉ（Ｐ）は、感光素子位置で受光した光の強度を表し、これは、感光素子によって生成される画像データの値または大きさである。図７Ａ〜図７Ｃのグラフは、図６Ａ〜図６Ｃそれぞれのグラフの空間周波数の振幅の大きさを表す。
【００４２】
ぼけフィルタ（blur filter）が２次元感光センサアレイに連結されていない状態で、図６Ａのグラフは、２次元感光センサアレイによって生成される単一の光点の画像データＩ（Ｐ）の理想的な表現を示す。図６Ａに示すように、単一の感光素子８、つまり空間位置８は、大きさ８を有する画像データを生成する。２ピクセルのぼけフィルタが連結され、２次元感光センサアレイによって生成される図６Ａの単一光点の画像データＩ（Ｐ）を図６Ｂのグラフは示す。図６Ａおよび図６Ｂに示されるように、ぼけフィルタは、画像データＩ（Ｐ）が低減された高空間周波数コンテンツ（content）を有するようにする。これは、図６Ａのグラフの離散的なパルスと図６Ｂのグラフの離散的な三角形状の関数との関係から明白である。図６Ｂのグラフでは、空間位置８の大きさが振幅４に降下し、空間位置７および９の大きさが０から２に増大する。図６Ｂのグラフは、２ピクセルのブレを有するカメラによってイメージングされたものとしては「完璧（perfect）」な光点とみなされることに留意されたい。デジタルカメラの感光素子の数が増大するにつれて、図６Ｂのグラフによって表される「完璧」な画像が、図６Ａの光点により類似するようになる。したがって、ぼけフィルタの負の影響はほんのわずかになる。
【００４３】
多くのデジタルカメラが、ぼかしレンズ（blurry lens）、複屈折フィルタ(birefringent filter)、複屈折レンズ(birefringent filter)、または他のぼけフィルタ装置のような様々な種類のぼけフィルタを有することに留意されたい。ぼけフィルタは、画像中の好ましくないエイリアシング信号アーチファクト（aliased signal artifact）を回避するためのものである。エイリアシング信号アーチファクトは、シャツの織布（weave of a shirt）のように、中程度に高い空間周波数反復パターンの大きなエリアに通常関連する。
【００４４】
図６Ｃのグラフは、ぼけフィルタが連結され、画像データが生成されているときに、ピクセルまたは感光素子２．５個分に等しい移動を経たカメラが受信する画像データの振幅を示す。図６Ｃに示すように、単一光点（図６Ａ）から受信するエネルギは、ぼけフィルタおよび動きによるぼけにより、総計で５つの感光素子にわたって分散する。図６Ｃの非限定的な例では、６番目および１０番目の空間位置に生成される画像データの振幅は０．６に増大した。７番目および９番目の空間位置に生成される画像データの振幅は２に低減した。８番目の空間位置に生成される画像データの振幅は２．８に低減した。図６Ｃのグラフに示されるように、空間位置に関して生成される画像データは、非常に広がった三角形状の関数を表す。このことは、多くの画像（replicated image）の非常に小さい大きさの高空間周波数コンテンツを示し、多くの画像が鮮鋭ではなく、ブレた可能性が高いことを意味する。
【００４５】
さらに詳細に後述するように、多くの画像における動きによるぼけは、動きによるぼけの方向において、周波数領域変換された画像の特定の空間周波数における正弦波信号の振幅の大きさを増大することによって低減される。正弦波信号は、本発明において説明のために用いられ、フーリエ変換によって導かれることに留意されたい。また、本発明に説明する本発明の概念は、他の変換関数から導かれる他の信号にも適用することができることにも留意されたい。
【００４６】
高空間周波数コンテンツの振幅の大きさを増大するために、異なる鮮鋭化カーネル（sharpening kernel）を画像データの動きによるぼけの方向に適用することができる。非限定的な一例では、特定の空間周波数コンテンツ集合の振幅の大きさを増大するために、ウィーナ（Weiner）補正アルゴリズムが、周波数領域変換された画像データの動きによるぼけ方向に適用される。動きによるぼけを低減するために、他の補正アルゴリズムを画像データに適用することができることに留意されたい。
【００４７】
動きによるぼけの作用および動きによるぼけの作用を最小化する方法について略述したが、次に、動きによるぼけの検出について説明する。
【００４８】
略述したように、並進移動による動きによるぼけは、他のブレとは異なり、単一方向においてのみ発生する。たとえば、図２の画像１５６および１５８で示される動きによるぼけを参照すると、動きによるぼけはｘ方向Ｘにおいてのみ発生している。光学的ブレ等他のブレは、すべての方向で通常発生する。したがって、動きによるぼけによる影響を受ける画像の高空間周波数コンテンツの振幅の大きさは、移動方向に対応する方向で低くなる。移動方向に垂直または実質的に垂直な方向に対応する高空間周波数コンテンツの振幅の大きさは小さくなる。実際に適用する場合には、動きによるぼけの方向における高空間周波数コンテンツの振幅の大きさは、垂直方向における同じ特定の高空間周波数コンテンツの振幅の大きさよりも大幅に低くなる。
【００４９】
動きによるぼけの検出は、２次元感光センサアレイ１３０の一部にある感光素子１３８によって生成される画像データを解析することによって達成することができる。カメラのユーザは、通常、写真の被写体に焦点を合わせ、被写体が写真のほぼ中央にくるようにする。したがって、写真の中央は、最も鮮鋭な焦点が合わされた画像があるところである。このため、本明細書に説明する例では、２次元感光センサアレイ１３０の中央部分によって生成される画像データを動きによるぼけのために解析する。たとえば、２次元感光センサアレイ１３０の中央の１／９部分によって生成される画像データを動きによるぼけのために解析することができる。しかし、２次元感光センサアレイ１３０の任意の部分を動きによるぼけのために解析することができることを理解されたい。
【００５０】
説明目的のために、画像データを解析して動きによるぼけ方向および大きさを決定する例を提供する。解析は、画像１５６の角１６０の付近にある感光素子１３８によって生成される画像データの解析を開始する。図８は、２次元感光センサアレイ１３０の角１６０にある感光素子１３８の拡大図である。ｘ方向Ｘに延びる感光素子１３８の行１６４によって生成される画像データが、以下の例で解析される。同様に、ｙ方向Ｙに沿って延びる感光素子１３８の列１６６によって生成される画像データも以下の例で解析される。行１６４中の感光素子１３８は、Ｘ（１）、Ｙ（１）〜Ｘ（１０）、Ｙ（１）として参照され、列１６６中の感光素子１３８は、Ｘ（１）、Ｙ（１）〜Ｘ（１）、Ｙ（１０）として参照される。説明目的のために、ｘ方向Ｘおよびｙ方向Ｙに延びる１０個の感光素子１３８しか解析されないことに留意されたい。しかし、ｘ方向Ｘおよびｙ方向Ｙにおける任意の数の感光素子１３８を解析することができることを理解されたい。他の方向における動きによるぼけ検出のために、ａ方向Ａおよびｂ方向Ｂにおける任意の数の感光素子１３８を解析することができることもさらに理解されたい。
【００５１】
動きによるぼけが画像データに存在するかどうかを決定するに当たっての第１のステップは、画像エリアにわたり直交方向における高空間周波数コンテンツの振幅の大きさを解析することである。ｘ方向Ｘおよびｙ方向Ｙにおける高空間周波数コンテンツの振幅の大きさは、ｘ方向Ｘおよびｙ方向Ｙそれぞれにおける性能指数に比例する。性能指数は、画像における特定の方向に発生する明／暗遷移の程度を決定するためのベースを提供する。ｘ方向Ｘにおける性能指数の非限定的な例は、本明細書ではＦ_xと呼ばれ、以下のように計算される。
【００５２】
【数１】

【００５３】
式中、ｐは、解析されるｘ方向Ｘにおける感光素子１３８の数であり、ｑは、ｘ方向Ｘにおいて解析される行の数であり、Ｘ（ｎ，ｍ）は、その位置における感光素子１３８によって生成される画像データの値である。したがって、ｎは、感光素子アレイの列数を示し、ｍは行数を示す。本明細書に説明する非限定的な例では、性能指数Ｆ_xが、最も鮮鋭な焦点合わせが行われる画像の中央で計算されることに留意されたい。また、性能指数は、単一カラープレーンについて計算され、本明細書に説明するデジタルカメラの例の場合の隣接する感光素子によってではないことにも留意されたい。これにより、性能指数が、画像中の色遷移ではなく動きによるぼけを測定するように保証される。さらに、隣接する感光素子を解析しないことによって、アンチエイリアシングぼけフィルタ（anti-aliasing blur filter）の性能指数計算に対する影響が殆どなくなるであろう。実質的にあらゆるピクセル値の増大を、性能指数の計算に利用しうることに留意されたい。好ましい実施形態は、より高い空間周波数を強調することから、１つのカラープレーン内で共に近い感光素子を使用する。より高い空間周波数は、動きによるぼけの最も敏感な尺度である。性能指数は、任意の方向での動きによるぼけを測定するために、任意の方向において計算することができることにも留意されたい。
【００５４】
ｘ方向Ｘにおける性能指数と同様に、ｙ方向Ｙにおける性能指数はＦ_yと呼ばれ、以下のように計算される。
【００５５】
【数２】

【００５６】
式中、ｑは、解析されるｙ方向Ｙにおける感光素子１３８の数であり、ｐは、ｙ方向Ｙにおける列の数であり、Ｙ（ｎ，ｍ）は、その位置における感光素子１３８によって生成される画像データの値である。本明細書に説明する非限定的な例では、性能指数Ｆ_yが列１６６に沿って計算されることに留意されたい。好ましい一実施形態では、ｐはｑに等しいため、性能指数は、画像の正方形の区画（section）から計算される。
【００５７】
上述したように、本明細書に説明する性能指数は、性能指数の非限定的な例である。他の性能指数の変形は、重みの付いた複数のカラープレーンを使用することができる。たとえば、性能指数をすべてのカラープレーンにおいて計算することができる。異なるカラープレーンからの値に重みを付け、共に加算することができる。たとえば、各緑プレーンに３０パーセントの重みを付け、赤プレーンに３０パーセントの重みを付け、青プレーンに１０パーセントの重みを付けることができる。同様に、空間周波数に重みを付けることもできる。また、重みの付いたカラープレーンを重みの付いた空間周波数と組み合わせることもできる。別の変形では、より高次の数値解析法を使用して、傾き推定値を生成することができる。上記の単純な差分計算ではなく、これらの推定値（slope estimate）を用いることができる。
【００５８】
性能指数は、特定の方向における画像の空間周波数の振幅の大きさの指標を提供する。簡単に図６Ａを参照すると、グラフは、動きによるぼけなしで、ぼけフィルタなしで生成された画像データの隣接する感光素子間の急な遷移を示す。より厳密には、単一の光点が、８番目の空間位置においてのみ画像データを生成させる。したがって、図６Ａのグラフに関連する性能指数は高い。図６Ｂのグラフは、図６Ａのグラフほど急ではない画像データ値の間の遷移を示す。したがって、図６Ｂのグラフに関連する性能指数は、図６Ａのグラフに関連する性能指数よりも低い。図６Ｃのグラフは、動きによるぼけが存在する場合に生成される画像データを示す。動きによるぼけは、隣接する感光素子１３８（図２）の画像データ値の間の遷移の大きさを低減させる。したがって、図６Ｃのグラフに関連する画像データの性能指数は、図６Ａおよび図６Ｂのグラフに関連する性能指数よりも低い。本明細書に説明する性能指数は、グラフの傾きの大きさに比例することにも留意されたい。上記性能指数等式を用いることにより、図６Ａのグラフの性能指数は１６であり、図６Ｂのグラフの性能指数は８であり、図６Ｃのグラフの性能指数は５．６である。
【００５９】
上述したように、並進移動による動きによるぼけは、他のブレとは異なり、一方向においてのみ発生する。したがって、ｘ方向Ｘにおける性能指数Ｆ_xが、ｙ方向Ｙにおける性能指数Ｆ_yとは異なる場合には、画像データの生成中に動きによるぼけが発生した可能性が高い。この性能指数の差は、Ｆ_yに対するＦ_xの比、またはＦ_xに対するＦ_yの比をとり、この比を予め選択される値と比較することによって計算することができる。非限定的な例として、比が１．４よりも大きい場合には、動きによるぼけが発生したと仮定することができる。これは、動きによるぼけ方向は、この方向における遷移の大きさがより低いため、より低い性能指数を有する方向になることに従っている。また、比の値が動きによるぼけの量を決定することにも従っている。たとえば、より大きな比の値は、画像が、より多くの数の感光素子１３８（図２）にわたってブレたことを意味する。比の値は、動きによるぼけを最小化する量の決定に使用される。本明細書に説明する、動きによるぼけ方向を決定する非限定的な方法は、予め選択された方向に最も近い動きによるぼけ方向を決定することに留意されたい。たとえば、本明細書に説明する方法は、ｘ方向Ｘ、ｙ方向Ｙ、ａ方向Ａ、またはｂ方向Ｂに最も近い動きによるぼけ方向を決定することができる。同様の方法を用いて、動きによるぼけを解析することのできる方向の可能な数を増やすことができる。
【００６０】
画像がブレた、またはより具体的には多くの画像がブレたという決定がなされると、画像データが処理され、多くの画像のブレを最小化する。動きによるぼけの最小化には、ブレの方向における周波数領域変換された画像データの特定の空間周波数における正弦波信号の振幅の大きさを増大することを含む。非限定的な例は、対応する画像データ値をより高い空間周波数に増幅することによって達成することができる。たとえば、動きによるぼけがｘ方向Ｘで発生する場合には、感光素子１３８の個々の行１４０（図２）によって生成される画像データが、空間周波数の振幅の大きさを増大するように処理される。後述する他のスケーリングおよび処理技術を画像データに適用することもできる。
【００６１】
動きによるぼけの作用が、すべてのカラープレーンに等しく生じることに留意されたい。したがって、１つのカラープレーンからの画像データを解析して、動きによるぼけ方向および量を決定することができる。合成画像全体における動きによるぼけの影響を最小化するために、カラープレーンの周波数領域変換された画像の特定の空間周波数における正弦波信号の振幅の大きさを、等しく増大することができる。さらに、動きによるぼけを最小化するように画像データを処理することは、上記で参照したTaubmanの米国特許出願に開示されるように、画像データに対してモザイク解除を行うプロセス中に実行できることにも留意されたい。これは、例として、動きによるぼけ方向におけるモザイク解除係数を基準化して、動きによるぼけ方向における周波数領域変換された画像の特定の空間周波数における正弦波信号の振幅の大きさを増大することを含みうる。動きによるぼけの低減に、方向性鮮鋭化カーネル（sharpening kernel）、ウィンドウ化された方向性鮮鋭化カーネル(windowed directional sharpening kernel)、および方向性デコンボルーション補正(directional deconvolution correction)のような他の技術も使用することができる。
【００６２】
上記手順は、動きによるぼけの量および方向を決定する。上記手順は、任意の直交方向に沿った動きによるぼけの検出および最小化に適用可能なことに留意されたい。説明目的のため、ｘ方向Ｘおよびｙ方向Ｙに斜めのさらなる方向における動きによるぼけを検出して最小化する例を提供する。斜めの方向は、図３において、ａ方向Ａおよびｂ方向Ｂと参照され、これらは互いに垂直である。この状況では、性能指数が、ｘ方向Ｘおよびｙ方向Ｙを参照して上述したように、性能指数の比と共に、ａ方向Ａおよびｂ方向Ｂにおいて計算される。この時点では２つの比が存在し、一方の比はｘ方向Ｘおよびｙ方向Ｙにおける性能指数についてのものであり、他方はａ方向Ａおよびｂ方向Ｂにおける性能指数についてのものである。最も大きな値を有する比は動きによるぼけに関連する垂直方向を表す。動きによるぼけの実際の方向は、最も大きな値を有する比に関連する最も低い性能指数によって決定される。この方向における動きによるぼけは、この方向における周波数領域変換された画像の特定の空間周波数における正弦波信号の大きさの振幅の大きさを増大することにより、本明細書に説明する方法で最小化される。
【００６３】
画像に動きによるぼけが存在するかどうかを決定する方法と、動きによるぼけを最小化する方法とについて説明したが、次に、動きによるぼけを低減する詳細な例を提供する。
【００６４】
以下の例は、図６Ａ〜図６Ｃのイメージングされた光点に基づく。上述したように、ぼけフィルタを使用しない光点は、８番目の空間位置にのみ現れ、８の大きさを有する画像データを生成する。２ピクセルのぼけフィルタを有し、２．５個分のピクセルの動きによるぼけを受けるカメラによって生成される光点は、図６Ｃのグラフを参照して上述した画像データを生成する。図６Ｃのグラフの空間周波数の値は、図６Ａのグラフの空間周波数の値よりも大幅に低い。参照目的のために、図６Ａ〜図６Ｃのグラフの空間周波数の値が、図７Ａ〜図７Ｃの棒グラフに示される。図７Ａ〜図７Ｃのグラフは、位相情報を含まないことに留意されたい。図７Ａのグラフによって示されるように、図６Ａの単一光点は、インパルス関数と同様に、周波数スペクトルにわたって１つの正規化された振幅を有する。図７Ｂのグラフは、カメラに追加されたぼけフィルタにより低減された空間周波数値を示す。図７Ｃは、空間周波数の値が動きによるぼけによりさらに低減されることも示す。ぼけフィルタおよび動きによるぼけによる空間周波数の値を表１に詳述する。空間周波数８は最も高く、空間周波数０および１５は最も低いことに留意されたい。
【００６５】
【表１】

【００６６】
表１のデータによって示されるように、動きによるぼけは、変換された画像の高空間周波数コンテンツを減衰した。より具体的には、５と６と７と８との高空間周波数の値が減衰された。動きによるぼけは、低空間周波数の値を減衰しなかった。
【００６７】
高空間周波数コンテンツの振幅の大きさを増大するために、様々な画像鮮鋭化カーネルを動きによるぼけ方向において画像データに適用することができる。高空間周波数コンテンツの振幅増大により、より鮮鋭な画像になり、これは移動に起因するブレの低減である。より具体的には、明るいエリアと暗いエリアとの間の遷移が強調される。
【００６８】
表１は、動きによるぼけを低減するように、動きによるぼけ方向において特定の空間周波数における信号に適用されるウィーナ補正係数（Weiner correction factor）を示す。本明細書に用いられるウィーナ補正係数は、高空間周波数コンテンツには最小の影響しか有しないことに留意されたい。表１に示されるように、周波数７および８は、本明細書において適用されるウィーナ補正係数による影響を最小限にしか受けない。これは、画像データの非常に高い空間周波数コンテンツは、多くのノイズを含む傾向があるためである。したがって、非常に高い空間周波数コンテンツが増幅される場合には、ノイズは信号よりも増幅される傾向がある。
【００６９】
ウィーナ補正係数を適用した後の結果として得られる画像を図９に示す。図９は、動きによるぼけ状況下でイメージングされたが、ウィーナ補正係数が適用された図６Ｃの光点のグラフである。図６Ｃの元の動きによるぼけ画像は、参照目的のために図９では破線で示される。図６Ｃのブレた画像の値と、表２のウィーナ補正後画像と題する部分の下にある図９の補正後画像の値とを比較する。ウィーナ補正画像係数が、２ピクセルまたは感光素子１３８（図２）の動きによるぼけの画像を補正したことに留意されたい。ウィーナ補正アルゴリズムは、任意の数のピクセルの動きによるぼけを補正するように変更することが可能である。
【００７０】
【表２】

【００７１】
表２によって示されるように、ウィーナ補正後画像は、画像をぼけフィルタ列によって表される画像にほぼ近くなるように回復させる。空間位置９において最も高い振幅の値は、値４に理想的に回復されるが、本明細書に説明するウィーナ補正係数は、動きによるぼけ値２．８から値３．３７に回復することに留意されたい。また、本明細書に示されるウィーナ補正係数は、非常に小さな大きさである非常に少ない負の数を有することにも留意されたい。大きい負の数は、画質に有害なギブス効果（Gibbs effect）を増大する傾向がある。−１、３、−１の鮮鋭化カーネルは、最も高い空間周波数の値を増大した。しかし、値４．４は理想的な値４．０よりもはるかに大きく、ノイズを増大させ、実際に画質を劣化する。
【００７２】
上述したように、動きによるぼけを低減するために、異なる鮮鋭化アルゴリズムを画像データの動きによるぼけ方向に適用することができる。表２には、鮮鋭化アルゴリズムまたはカーネルの２つの代替例が提供されている。より具体的には、−１、３、−１および−０．５、２、−０．５の鮮鋭化カーネルの結果が表２に示されている。
【００７３】
動きによるぼけの検出方法および最小化方法の実施形態について説明したが、次に、他の実施形態について説明する。
【００７４】
本明細書に説明する方法は、２ピクセルの動きによるぼけを補正する。しかし、本方法は、異なる量の動きによるぼけを補正するように変更できることを理解されたい。一実施形態では、画像における動きによるぼけの量について決定がなされる。そして、画像が画像におけるブレの量に基づいた量「ブレ除去（deblur）」される。たとえば、本方法は、２ピクセルまたは４ピクセルの動きによるぼけを補正することができる。画像が１ピクセルよりも多く３ピクセル未満の動きによるぼけを有すると決定される場合には、画像は、２ピクセルの動きによるぼけについて補正することができる。画像が３〜５ピクセルの動きによるぼけを有すると決定される場合には、画像は、４ピクセルの動きによるぼけについて補正される。
【００７５】
動きによるぼけの検出については、被写体を表す画像データを解析することによって達成されるものとして説明した。動きによるぼけは、画像データ生成期間中に、カメラの移動の量および方向を検出する、カメラ１００（図１）に搭載された１つ以上のセンサを使用することによって検出することもできる。そして、動きによるぼけ方向および量により、動きによるぼけを低減するために画像鮮鋭化アルゴリズムについての係数が確立される。
【００７６】
図１を参照して、動きによるぼけの検出および最小化について、カメラ１００内にあるプロセッサ１３２によって実行されるものとして本明細書に説明した。別の実施形態では、プロセッサ１３２は、動きによるぼけを検出して最小化することのできる周辺プロセッサに画像データを転送することを容易にすることができる。たとえば、ブレた写真を取り込むか、あるいはスキャンして、その被写体を表す画像データを生成することができる。
【００７７】
再び図７を参照して、性能指数を、互いに隣接して配置された、または所与のカラープレーンにおいて互いに隣接して配置された感光素子１３８（図２）によって生成される画像データに基づいて計算した。上記方法の一実施形態は、互いに離間された感光素子１３８によって生成される画像データに基づいて性能指数を計算する。これは、異なる空間周波数において性能指数を測定することになる。たとえば、性能指数は、１つおき、または３つごとの感光素子１３８によって生成される画像データに基づいて計算することができる。この実施形態は、多数の感光素子１３８を備えたデジタルカメラからの情報を処理する場合に用いることが可能である。感光素子１３８によって生成される画像データをすべては処理しないことにより、動きによるぼけの決定に必要な時間が短縮される。いくつかの空間周波数におけるいくつかの性能指数は、重み付け係数を用いて組み合わせることができ、全体の性能指数計算を画像またはシーン内容に対してより免疫のあるものとすることができる。さらに、いくつかのカラープレーンを同様に重み付けすることができる。同様に、カラープレーンおよび空間周波数の組み合わせを重み付けることもできる。
【００７８】
別の実施形態では、画像の小部分が解析されて、画像の小部分に動きによるぼけが存在するかどうかを決定する。そして、動きによるぼけが、その小さな区画において最小化される。たとえば、画像データが生成されているときに、カメラを背景に相対して固定して保持することができる。しかし、画像データ生成中に、イメージングされている被写体が、カメラおよび背景に相対して移動することがある。上記方法は、背景にブレを生じさせることなく、被写体画像の動きによるぼけを低減する。
【００７９】
動きによるぼけを最小化する上記の方法は、２次元感光センサアレイに配置される感光素子の密度が増大するにつれて有用になる。感光素子の密度を増大する目的は、より確定された、つまり、より鮮鋭な画像を提供することである。しかし、動きによるぼけの影響度（susceptibility）は、感光素子の密度が増大するにつれて増大する。感光素子が画像データを生成している期間中、被写体の画像は、感光素子の密度が高い場合に感光素子間でよりシフトしやすい。このシフトは、動きによるぼけとして検出され、よって最小化される。
【００８０】
動きによるぼけを最小化する上記方法は、比較的に暗い環境において画像データを生成する際により有用になる。感光素子が画像データを生成するために必要な期間は、イメージング中の被写体から反射される光の量に反比例する。したがって、イメージングが比較的に暗い環境で行われる場合、画像データの生成に必要な期間が増大する。この期間の増大は、画像データ生成中に、カメラのユーザがカメラを動かしてしまう可能性を増大させ、これが動きによるぼけを引き起こすことになる。上記手順を実施することにより、動きによるぼけを最小化することができる。
【００８１】
本明細書に説明した方法を用いて、動きによるぼけを決定して最小化する他の実施形態を採用することができる。一実施形態では、いくつかのカラープレーンが解析されて、動きによるぼけが決定される。これらのカラープレーンは、緑と赤と青とのカラープレーンを含む。別の実施形態では、５方向以上が、動きによるぼけの存在について解析される。たとえば、８つの方向を解析することも可能であり、これは、動きによるぼけ方向のより正確な決定を提供する。さらに別の実施形態では、画像データが解析されて、異なる量の動きによるぼけが存在するかどうかが決定される。たとえば、画像データを解析して、動きによるぼけが存在しないかどうか、２ピクセル動きによるぼけが存在するかどうか、４ピクセル動きによるぼけが存在するかどうか等を決定することができる。
【００８２】
本発明の説明的および好ましい実施形態について詳細に本明細書に説明したが、本発明の概念は、その他様々に実現および適用が可能であり、特許請求の範囲は、従来技術によって制限される範囲を除き、そのような変形を包むものと解釈されるように意図されることを理解されたい。
【図面の簡単な説明】
【図１】被写体をイメージングするデジタルカメラを示す模式図である。
【図２】図１のデジタルカメラ内で使用される２次元感光素子アレイの正面拡大図である。
【図３】ベイヤパターンを使用するカラーフィルタアレイの概略図である。
【図４】動きによるぼけを検出して最小化する方法を示すフローチャートである。
【図５】動きによるぼけを検出して最小化する方法を示すフローチャートである。
【図６】Ａは、カメラにぼけフィルタが存在しない状態で、単一の光点を検出する感光素子出力を表す概略図である。Ｂは、ぼけフィルタが追加された状態で、図６Ａの光点の感光素子出力を表す概略図である。Ｃは、ぼけフィルタおよび動きによるぼけが追加された状態で、図６Ａの光点の感光素子出力を表す概略図である。
【図７】Ａは、図６Ａのグラフの離散空間周波数表現を示す概略図である。Ｂは、図６Ｂのグラフの離散空間周波数表現を示す概略図である。Ｃは、図６Ｃのグラフの離散空間周波数表現を示す概略図である。
【図８】図２の２次元感光センサアレイの表面に配置される感光素子の拡大図である。
【図９】動きによるぼけが最小化された状態で、図６Ｃの図を示す概略図である。

Claims

デジタル画像を表す画像データを提供するステップと、
該画像データを解析して、第１の方向（Ｘ）における前記デジタル画像の第１の性能指数を計算するステップと、
前記画像データを解析して、第１の方向に実質的に直行する第２の方向（Ｙ）における前記デジタル画像の第２の性能指数を計算するステップと、
前記第２の性能指数に対する前記第１の性能指数の第１の比を計算するステップであって、前記第１の比が、前記第１の性能指数または前記第２の性能指数のうち大きい方を、前記第１の性能指数または前記第２の性能指数のうち小さい方で除算したものであるようなステップと、
前記第１の比と予め選択された値とを比較するステップであって、前記第１の比が前記予め選択される値よりも大きい場合には、前記デジタル画像に動きによるぼけが存在するものとするステップと
を含んでなる、デジタル画像における動きによるぼけを検出する方法。
前記画像データを解析して、前記第１の方向（Ｘ）および前記第２の方向（Ｙ）に対して斜めである第３の方向（Ａ）における前記デジタル画像の第３の性能指数を計算するステップと、
前記画像データを解析して、前記第３の方向（Ａ）および前記第４の方向（Ｂ）が実質的に直交する第４の方向（Ｂ）における前記デジタル画像の第４の性能指数を計算するステップと、
前記第４の性能指数に対する前記第３の性能指数の第２の比を計算するステップであって、前記第２の比が、前記第３の性能指数または前記第４の性能指数のうち大きい方を、前記第３の性能指数または前記第４の性能指数のうち小さい方で除算したものであるようなステップと、
前記第２の比と予め選択された値とを比較して、前記デジタル画像に動きによるぼけが存在するかどうかを決定するステップと
をさらに含んでなる請求項１に記載の方法。
前記第１の比と前記第２の比とを比較して、動きによるぼけの方向を決定するステップをさらに含んでおり、
該動きによるぼけの方向が、前記第１の比または前記第２の比のうち大きい方からの最も低い性能指数値に対応する方向に存在するものとする請求項２に記載の方法。