JP4121780B2 - デジタル画像における動きによるぼけを低減する方法 - Google Patents

デジタル画像における動きによるぼけを低減する方法 Download PDF

Info

Publication number
JP4121780B2
JP4121780B2 JP2002155573A JP2002155573A JP4121780B2 JP 4121780 B2 JP4121780 B2 JP 4121780B2 JP 2002155573 A JP2002155573 A JP 2002155573A JP 2002155573 A JP2002155573 A JP 2002155573A JP 4121780 B2 JP4121780 B2 JP 4121780B2
Authority
JP
Japan
Prior art keywords
direction
image data
blur
image
merit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002155573A
Other languages
English (en)
Other versions
JP2003078812A5 (ja
JP2003078812A (ja
Inventor
チャールズ・エイチ・マッコニカ
Original Assignee
ヒューレット・パッカード・カンパニーHewlett−Packard Company
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
Priority to US09/867,352 priority Critical patent/US6987530B2/en
Priority to US09/867352 priority
Application filed by ヒューレット・パッカード・カンパニーHewlett−Packard Company filed Critical ヒューレット・パッカード・カンパニーHewlett−Packard Company
Publication of JP2003078812A5 publication Critical patent/JP2003078812A5/ja
Publication of JP2003078812A publication Critical patent/JP2003078812A/ja
Application granted granted Critical
Publication of JP4121780B2 publication Critical patent/JP4121780B2/ja
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=25349623&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP4121780(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23264Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23251Motion detection
    • H04N5/23254Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • H04N5/23251Motion detection
    • H04N5/23258Motion detection based on additional sensors

Description

【0001】
【発明の属する技術分野】
本発明は、デジタル画像における動きによるぼけの低減に関し、特に、デジタル画像を表す画像データを解析して、動きによるぼけの量および方向を決定し、動きによるぼけを低減するように画像データを処理することに関する。
【0002】
【従来の技術】
デジタルスチルカメラは、被写体の画像を表す画像データを生成する。被写体の画像を表す画像データを生成するプロセスは、単純に被写体の「イメージング」または「キャプチャ」と呼ばれることが多い。画像データは処理され、被写体の複製画像を表示する装置に出力される。たとえば、被写体の複製画像を、ビデオモニタに表示することも、またプリンタで印刷することもできる。
【0003】
デジタルカメラでは、2次元アレイの感光素子上へと被写体の画像を結像する。感光素子は比較的に小さく、それぞれの1つが被写体の画像の非常に小部分を表す画像データを生成する。たとえば、2次元アレイは、被写体の画像の小部分を表す画像データをそれぞれ生成する数百万の感光素子を有しうる。個々の感光素子によって生成される画像データが処理され、被写体の画像が再現される。感光素子の1つの種類は、予め選択された期間にわたって受光した光量に比例する電圧を出力する電荷結合素子(CCD)である。
【0004】
デジタルカメラによって生成される画像を改良するために、2次元アレイ上の感光素子の密度が増大される。感光素子の密度を増大すると、被写体をイメージングする感光素子の数が増大し、このことが、被写体のイメージングされた部分間の間隔を低減することによって画質を向上させる。デジタルカメラによって生成される画像を改良する別の方法は、特に低照度条件において、画像データの生成するために長時間を費やす。この長時間の画像生成は、延長された時間分の光を感光素子に検出させることによって達成される。
【0005】
デジタル写真を含む写真に伴う1つの問題は、感光素子が画像データを生成するときにカメラが動くと、カメラにより生成される画像がブレることである。たとえば、イメージングされる被写体に対してデジタルカメラが動かない理想的な条件下では、各感光素子が、被写体の画像の特定部分を表す画像データを生成する。しかし、画像データ生成時にカメラが動くと、被写体の画像の個々の部分が、いくつかの感光素子でイメージングされることになる。したがって、各感光素子が、被写体画像のいくつかの異なる部分をイメージングし、これにより被写体の複製画像がブレる。この種類のブレは、動きによるぼけあるいはモーションブラーと呼ばれる。
【0006】
動きによるぼけ問題は、上記のイメージング期間が延びると悪化する。イメージング期間を延長すると、カメラがイメージング期間中に動く可能性が高くなり、複製画像に動きによるぼけが生じる可能性が高くなる。したがって、ブレた画像が生成される可能性がより高くなることによって、拡張されたイメージング期間の利点が相殺されうる。動きによるぼけの問題は、画像の生成により多くの感光素子を用いることによってさらに悪化する。感光素子はより小さくなり、より少ない光を受信するようになる。したがって、より小さな感光素子が、正確な画像データの生成に十分な光を受光するように、カメラの露出時間をより長くしなければならない。
【0007】
【発明が解決しようとする課題】
したがって、デジタル画像における動きによるぼけを検出して低減するための方法および装置が必要である。
【0008】
【課題を解決するための手段】
本発明は、被写体の複製画像における動きによるぼけの最小化を目的とする。被写体の画像は、画像データの形態で表される。画像データは、例として、被写体を表す画像データを生成するデジタルカメラを使用して、被写体を撮影することによって生成することができる。画像データは、被写体画像内の小部分、すなわちピクセル位置(pixel location)において生成される光の強度に対応する複数の値でありうる。
【0009】
画像データが解析され、一方向における特定の空間周波数における振幅の大きさが、他の方向における特定の空間周波数における振幅の大きさよりも小さいかどうか(これが動きによるぼけを示す)を決定する。これは、様々な方向について特定の各空間周波数における振幅を比較することによって、多数の特定の空間周波数に一般化することができる。
【0010】
特定の空間周波数の振幅の大きさは、性能指数(あるいは良度指数;figure of merit)に比例する。第1の方向において第1の性能指数が計算され、第2の方向において第2の性能指数が計算され、第2の方向は、第1の方向に対して実質的に垂直である。動きによるぼけが第1の方向あるいは第2の方向に存在する場合には、ある方向における性能指数は、他の垂直な方向における性能指数よりも小さくなる。第2の性能指数に対する第1の性能指数の比の大きさが予め選択された値と比較されて、第1の性能指数の値が第2の性能指数の値と有意に異なるかどうかを決定する。比の大きさが予め選択された値よりも大きい場合には、動きによるぼけが存在する。動きによるぼけ方向は、2つの性能指数値のうちの小さい方に対応する方向である。
【0011】
動きによるぼけは、動きによるぼけ方向における画像の適切な空間周波数集合の信号の振幅の大きさを増大することによって最小化される。適切な空間周波数集合は、画像特性に依存する。一実施形態では、画像データの空間的表現が、画像データを表す周波数領域に対して、デコンボリューション(deconvolution)または変更されたデコンボリューション修正(modified deconvolution correction)を適用することにより、動きによるぼけ方向において改良することができる。そして、画像データを表す周波数領域を、画像データの空間的表現に変換し戻すことができる。この変換は、例として、モザイク解除動作中の空間領域におけるカーネル動作の適用によって達成することができる。これらの動作は、工場で予め選択された修正係数、画像依存修正係数、または手動で選択される修正係数によって達成することができる。
【0012】
【発明の実施の形態】
画像における動きによるぼけを検出して低減する方法および装置について以下に概説し、次により詳細な説明を続ける。
【0013】
図1〜図9は、一般に、デジタル画像における動きによるぼけを検出する方法を示す。本方法は、デジタル画像を表す画像データを提供するステップを含みうる。画像データが解析され、第1の方向(X)におけるデジタル画像の第1の性能指数および第2の方向(Y)におけるデジタル画像の第2の性能指数を計算する。ここで、第1および第2の方向は、実質的に直交する。第2の性能指数に対する第1の性能指数の第1の比が計算される。ここで、比は、第1または第2の性能指数のうち大きい方を、第1または第2の性能指数のうちの小さい方で除算したものである。第1の比が予め選択される値と比較され、第1の比が予め選択された値よりも大きい場合には、動きによるぼけがデジタル画像に存在する。
【0014】
図1〜図9は、一般に、画像における動きによるぼけを低減する方法も示す。本方法は、画像を表す画像データを提供するステップを含みうる。画像データが解析され、画像における動きによるぼけの存在を検出する。画像データはさらに解析されて、デジタル画像における動きによるぼけ方向を検出する。そして、画像データが処理され、動きによるぼけ方向において、画像のエッジ明瞭度(edge
acuity)を増大する。
【0015】
図1〜図9は、一般に、画像における動きによるぼけを検出する装置も示す。本装置は、コンピュータおよびコンピュータと関連して動作可能なコンピュータ読み取り可能媒体を含むことができ、コンピュータ読み取り可能媒体は、コンピュータを制御して、後述する方法により画像における動きによるぼけを検出する命令を含む。本装置は、画像を表す画像データを受信する。画像データの第1の性能指数が、第1の方向(X)において計算される。画像データの第2の性能指数が、第2の方向(Y)において計算され、第1および第2の方向(X、Y)は、実質的に直交する。第2の性能指数に対する第1の性能指数の第1の比が計算される。第1の比は、第1または第2の性能指数の大きい方を第1または第2の性能指数の小さい方で除算したものである。第1の比は予め選択された値と比較され、第1の比が予め選択された値よりも大きい場合には、動きによるぼけがデジタル画像に存在する。動きによるぼけ方向は、小さい方の性能指数に対応する。
【0016】
デジタルカメラ100およびデジタル画像におけるブレを低減する方法について大まかに説明したが、次に、これらについてさらに詳細に説明する。以下の説明は、カメラ100の動作、その後にカメラ100によって生成される画像における動きによるぼけの検出および低減に焦点をあてる。
【0017】
被写体110を表す画像データを生成するデジタルカメラ100の模式図を図1に示す。被写体を表す画像データを生成するプロセスは、単に被写体のイメージングまたはキャプチャとしばしば呼ばれる。x方向Xおよびz方向Zが、図1に示すカメラ100および被写体110に対する参照目的のために用いられる。x方向Xについては、正のx方向XPおよび負のx方向XNを参照してさらに詳細に説明する。同様に、z方向Zについても、正のz方向ZPおよび負のz方向ZNを参照してさらに詳細に説明する。図1に示されていないy方向は、x方向Xおよびz方向Zの双方に対して垂直に延びており、これについては後述する。
【0018】
カメラ100は、絞り122が形成されたハウジング120を備えうる。レンズ126または複数のレンズが、絞り122内にまたは絞り122に隣接して配置することができ、被写体110の画像を後述するようにカメラ内にあるコンポーネント上に焦点合わせする役割を果たすことができる。レンズ126は、非限定的な例として、約7mmの焦点距離を有しうる。2次元感光センサアレイ130およびプロセッサ132は、ハウジング120内に配置することもできる。図1に示すように、被写体110の画像は、レンズ126によって、2次元感光センサアレイ130上に焦点合わせされる。図1に示す2次元感光センサアレイ130の図は側面図であることに留意されたい。プロセッサ132は、2次元感光センサアレイ130に電気的に接続することが可能であり、さらに詳細に後述するように、2次元感光センサアレイ130によって生成されるデータを処理する役割を果たすことができる。
【0019】
2次元感光センサアレイ130の正面拡大図を図2に示す。2次元感光センサアレイ130は、複数の感光素子138が搭載される表面136を備えうる。図2に示す感光素子は、説明を目的として大幅に拡大されていることに留意されたい。感光素子138は、複数の行140および列142を形成するように配置することができる。各感光素子138は、特定の周波数帯の光の強度を表す画像データを生成するように適合可能である。たとえば、図3をさらに参照すると、光が感光素子138に到達する前にその光をフィルタリングするために、カラーフィルタアレイ143を2次元感光センサアレイ130の表面136に取り付けることができる。したがって、各感光素子138は、特定の狭帯域の波長を有する光を受光することができる。図3に示すカラーフィルタアレイ143は、ベイヤパターン(Beyer pattern)を示し、RとGとBとは、特定の帯域の赤と緑と青との光を感光素子138まで透過させるカラーフィルタを表す。したがって、図3に示す赤と緑と青との各フィルタは、単一の感光素子138に連結される。ベイヤパターンは、赤および青のフィルタより2倍多い緑のフィルタを有することに留意されたい。緑のフィルタの数の増大は、赤または青の光よりも緑の光に対して高い感度がある人間の視覚を補償する。カラーフィルタアレイ143は、図3に示すベイヤパターン以外のパターンに配置されたフィルタを有しうることにも留意されたい。
【0020】
感光素子138は、予め選択された期間中受光した光の量に比例する電荷を発生する電荷結合素子でありうる。予め選択された期間は、被写体110(図1)が露出される光の強度、ひいては被写体110から反射される光150の強度に依存する。たとえば、画像が比較的に暗い環境で生成される場合には、この予め選択された期間は、生成される画像を向上させるために大きくされ、同様に、画像が比較的に明るい環境で生成される場合には、短くされる。
【0021】
図1および図2を参照すると、本明細書で説明するカメラ100の実施形態では、レンズ126が、被写体110の画像の感光素子138へのブレを引き起こす。本明細書で説明する実施形態でのブレは、2つの感光素子138の距離にほぼ等しく、処理中の画像のエイリアシング(aliasing)を防止する役割を果たす。
【0022】
再び図1を参照すると、上述したように、プロセッサ132が2次元感光センサアレイ130に電気的に接続することができる。プロセッサ132は、2次元感光センサアレイ130によって生成される画像データを受信して処理する。たとえば、プロセッサ132は、個々の感光素子138によって生成される情報を処理して、さらに詳細に後述するように、画像を「モザイク解除(demosaic、またはデモザイク)」し、色を適宜組み合わせる。プロセッサ132によって実行される機能のいくつかの例は、引用することにより本明細書の一部をなすものとし、その全てが開示されている1998年10月23日に出願されたTaubmanによる「IMAGE DEMOSAICING AND ENHANCEMENT SYSTEM」と題する米国特許出願第09/177,729号公報に記載されている。本明細書に説明するプロセッサ132は、画像における動きによるぼけを検出して最小化する追加性能を有することに留意されたい。
【0023】
プロセッサ132は、カメラ100によって生成された画像データを表示および/または処理する役割を果たす、コンピュータモニタまたはプリンタのような図示していない周辺閲覧装置に電気的に接続することもできる。プロセッサ132は、2次元感光センサアレイ130、つまりカメラ100によって生成された画像データを格納および/または処理する、図示していない周辺コンピュータに電気的に接続することができる。プロセッサ132を参照して本明細書に説明する処理技術および方法は、周辺閲覧装置またはコンピュータによって実行することができることに留意されたい。たとえば、2次元感光センサアレイ130によって生成される画像データは、処理のために周辺プロセッサに直接に送信することもできる。
【0024】
動きによるぼけの補正に重要なカメラ100のコンポーネントについて説明したが、次にカメラ100の動作、その後に動きによるぼけを補正するカメラ100について説明する。
【0025】
カメラ100は、通常、ユーザによって保持され、被写体110等の被写体を表す画像データを生成するために使用される。画像データは通常被写体110の静止画像を表すが、被写体110の動いている画像、たとえば動画を表すこともできる。光150は、被写体110で反射され、絞り122を介してカメラ100のハウジング120に入射する。そして、レンズ126が、被写体110の画像を2次元感光センサアレイ130上に焦点合わせされる。2次元感光センサアレイ130は、被写体110の画像を表す画像データを生成し、この画像データが処理のためにプロセッサ132に出力される。上述したように、本明細書に説明するカメラ100の実施形態では、レンズ126が、2つの感光素子138(図2)だけ、2次元感光センサアレイ130上へと焦点合わせされる画像をブレさせる。
【0026】
図2は、2次元感光センサアレイ130上に焦点合わせされる被写体110(図1)の画像156の例を示す。画像156が2次元感光センサアレイ130上に適宜焦点合わせされる場合には、感光素子138に画像データを生成させる命令が、2次元感光センサアレイ130に送信される。より具体的には、感光素子138が、予め選択された期間にわたり受光した、被写体110から反射された光の量に依存する電荷を生成する。カメラ100(図1)が暗い環境で使用される場合には、予め選択された期間は比較的に長く、カメラ100が明るい環境において使用される場合には、予め選択された期間は比較的に短い。
【0027】
図2および図3を参照すると、画像データは、複数の個々のカラープレーンとして処理することができる。たとえば、画像データは、緑プレーン、赤プレーン、および青プレーンを有しうる。代替として、赤または青の感光素子138よりも緑の感光素子138が2倍多くあるため、緑プレーンを2つの緑プレーンとして処理することができる。緑プレーンは、関連するカラーフィルタアレイ143の緑カラーフィルタを有する感光素子138によって生成される画像データからなる。同様に、赤および青のプレーンは、それぞれ関連するカラーフィルタアレイ143の赤および青のカラーフィルタを有する感光素子138によって生成される画像データからなる。これらのカラープレーンは、合成画像データの各色成分を個々に処理できるようにする。たとえば、個々の色は、相対強度を増減するように基準化することができる。同様に、個々の感光素子138からの画像データもそれに従って基準化することができる。
【0028】
カラーフィルタアレイ143は、動きによるぼけの方向を含め、本明細書で使用される方向の参照を提供する。y方向Yは、上述したx方向Xに対して垂直に延びる。a方向Aは、x方向Xおよびy方向Yに対して斜めに延びる。b方向Bは、a方向Aに対して垂直に延びる。上記方向は、さらに詳細に後述する動きによるぼけおよび補正の非限定的な例である。
【0029】
再び図1を参照すると、理想的な環境下で、カメラ100および被写体110は双方とも、2次元感光センサアレイ130が画像データを生成する上記予め選択される期間中、互いに対して静止したままである。しかし、理想的な環境はまれにしか達成されず、カメラ100は、一般に、画像データ生成中に被写体110に対して多少動く。たとえば、画像データ生成中に、ユーザは、被写体110に対して固定位置にカメラ100を通常保つことができない。
【0030】
動きによるぼけは、被写体110がイメージングされているときに発生する被写体110に対するカメラ100の回転移動あるいは並進移動によって通常生じる。本明細書に説明する動きによるぼけ補正方法は、被写体110のイメージング中に、被写体110とカメラ100との間の並進移動に起因する動きによるぼけの補正を対象とする。しかし、回転移動に起因する動きによるぼけは、本明細書に説明される方法によって補正することができることにも留意されたい。たとえば、カメラ100と被写体110との間の回転移動の中心が、画像エリアからかなり離れている場合には、画像に関連する動きによるぼけは、並進移動に起因する動きによるぼけとほぼ同様でありうる。回転移動による動きによるぼけが、並進移動によって生じるかのように補正することができるかどうかを決定する1つのテストは、回転の中心に最も近い画像のブレおよび回転の中心から最も離れた画像のブレを測定することである。2つのブレが実質的に同等である場合には、動きによるぼけは、並進移動に起因するものとして補正することができる。本明細書に説明する方法の一実施形態では、画像のエッジのブレが測定されて、ブレが並進移動に起因するものであることを意味するエッジのブレが実質的に等しいかどうかを決定する。
【0031】
カメラ100の動作を簡単に説明したが、次に、ブレた画像データを生成するカメラ100の動作について説明する。本明細書に説明する例では、画像データが生成されていたときに、カメラ100がx方向Xに移動していた。x方向Xにおける移動は、2.5個分の感光素子138の距離を画像156に移動させる量である。
【0032】
2次元感光センサアレイ130が画像データを生成するときに、被写体110に対してカメラ100が動くと、被写体110の画像がブレることになる。より具体的には、画像データが、従来の処理方法を用いて処理されるときに、被写体110の複製画像がブレることになる。このブレの例は、図2に示される。被写体110(図1)の画像156は、画像データ生成の開始時には2次元感光センサアレイ130上に焦点合わせされて示されている。感光素子138による画像データ生成が進むにつれ、2次元感光センサアレイ130上に焦点合わせされていた画像156が、負のx方向XNに移動する。感光素子138が画像データの生成を止めるときまでに、画像156は、2次元感光センサアレイ130上の別の位置に移動してしまっている。画像データの生成終了時の被写体110(図1)の画像の位置は、第2の画像158として参照され、図2の破線で示される。本明細書に引用する例では、画像156は、画像データの生成中に、負のx方向XNに2つ半分の列142で表される距離移動した。画像156が移動した距離は、動きによるぼけの振幅に比例する。画像156が移動した方向は、動きによるぼけ方向と呼ばれる。
【0033】
さらに詳細に後述するように、画像データが解析され、ブレの方向および振幅を決定する。振幅は、画像データの生成中に発生する移動の量である。本明細書において説明する動きによるぼけ方向は、説明目的のみのために、x方向Xと、y方向Yと、a方向Aと、b方向Bとに限定されている。本明細書に説明する動きによるぼけ検出および補正方法は、複数の振幅および方向に適用可能であることに留意されたい。
【0034】
再び図1を参照すると、2次元感光センサアレイ130によって生成される画像データは、処理のためにプロセッサ132に送信される。プロセッサ132は、図2の各感光素子138によって生成される画像データを、図3のカラーフィルタアレイ143ごとに関連するカラーフィルタに相関付ける。処理目的のために、画像データを、赤プレーンと、緑プレーンと、青プレーンとである上記3つのカラーグループまたはプレーンに分類することができる。代替として、2つの緑プレーンを考慮する場合には、画像データを4つのグループに分類することもできる。
【0035】
プロセッサ132は、各感光素子138によって生成される画像データ値、または単に画像データに対応する数値を格納することができる。各感光素子138によって生成される画像データは、各感光素子138が受光する光の強度に比例する。プロセッサ132は、画像データの各値が2次元感光センサアレイ130上に生成された位置を格納することもできる。
【0036】
画像データの生成について説明したが、次に、動きによるぼけの検出および低減について説明する。以下の手順は、図4および図5のフローチャートに概説されている。
【0037】
2次元感光センサアレイ130によって生成される画像データは、画像のエリア内の複数の空間位置における光の振幅を表す。画像データがカラー画像を表す状況では、画像データは、複数のカラープレーンについて複数の空間位置における光の振幅を表す。たとえば、画像データは、3つのカラープレーン、すなわち赤プレーンと、緑プレーンと、青プレーンとにより表現することができる。各カラープレーンの画像データは、フーリエ変換の適用により周波数領域に変換可能であり、「変換された(transformed)」画像データとしばしば呼ばれる。変換された画像データは、空間周波数の各集合についての振幅および位相を表す。
【0038】
変換された画像データは、画像内のブレの振幅および方向に関連する画像データ上の予測を提供する。変換された画像データは、後述するように操作して、動きによるぼけを低減することができる。そして、画像データは、逆フーリエ変換によって再変換され、ユーザに提示するために元のフォーマットにすることができる。再変換された画像データにおける動きによるぼけは、この操作によって低減されている。
【0039】
動きによるぼけは、特により高い空間周波数で、常に動きによるぼけ方向において、変換された画像データの振幅を低減する。画像データが、フーリエ変換または同様のものを使用して周波数領域に変換されると、移動方向に垂直な方向における空間周波数集合を通して正弦波信号の振幅の大きさは、ほぼ影響を受けないままである。移動方向に対して垂直に近い方向に関しても、同じことが発生する。
【0040】
動きによるぼけについて略述したが、次に、動きによるぼけの検出および最小化についてさらに詳細に説明する。
【0041】
動きによるぼけの空間的影響の例を図6A〜図6Cのグラフに示す。図6A〜図6Cのグラフは、説明を目的として、2次元感光センサアレイ130の平面図ではなく2次元感光センサアレイ130の線形図に基づいている。図6A〜図6Cのグラフ中の水平軸Pは、空間位置、より具体的には画像データが生成された感光素子位置またはピクセル位置を表す。したがって、水平軸は、図2の感光素子138の位置に対応する。垂直軸I(P)は、感光素子位置で受光した光の強度を表し、これは、感光素子によって生成される画像データの値または大きさである。図7A〜図7Cのグラフは、図6A〜図6Cそれぞれのグラフの空間周波数の振幅の大きさを表す。
【0042】
ぼけフィルタ(blur filter)が2次元感光センサアレイに連結されていない状態で、図6Aのグラフは、2次元感光センサアレイによって生成される単一の光点の画像データI(P)の理想的な表現を示す。図6Aに示すように、単一の感光素子8、つまり空間位置8は、大きさ8を有する画像データを生成する。2ピクセルのぼけフィルタが連結され、2次元感光センサアレイによって生成される図6Aの単一光点の画像データI(P)を図6Bのグラフは示す。図6Aおよび図6Bに示されるように、ぼけフィルタは、画像データI(P)が低減された高空間周波数コンテンツ(content)を有するようにする。これは、図6Aのグラフの離散的なパルスと図6Bのグラフの離散的な三角形状の関数との関係から明白である。図6Bのグラフでは、空間位置8の大きさが振幅4に降下し、空間位置7および9の大きさが0から2に増大する。図6Bのグラフは、2ピクセルのブレを有するカメラによってイメージングされたものとしては「完璧(perfect)」な光点とみなされることに留意されたい。デジタルカメラの感光素子の数が増大するにつれて、図6Bのグラフによって表される「完璧」な画像が、図6Aの光点により類似するようになる。したがって、ぼけフィルタの負の影響はほんのわずかになる。
【0043】
多くのデジタルカメラが、ぼかしレンズ(blurry lens)、複屈折フィルタ(birefringent filter)、複屈折レンズ(birefringent filter)、または他のぼけフィルタ装置のような様々な種類のぼけフィルタを有することに留意されたい。ぼけフィルタは、画像中の好ましくないエイリアシング信号アーチファクト(aliased signal artifact)を回避するためのものである。エイリアシング信号アーチファクトは、シャツの織布(weave of a shirt)のように、中程度に高い空間周波数反復パターンの大きなエリアに通常関連する。
【0044】
図6Cのグラフは、ぼけフィルタが連結され、画像データが生成されているときに、ピクセルまたは感光素子2.5個分に等しい移動を経たカメラが受信する画像データの振幅を示す。図6Cに示すように、単一光点(図6A)から受信するエネルギは、ぼけフィルタおよび動きによるぼけにより、総計で5つの感光素子にわたって分散する。図6Cの非限定的な例では、6番目および10番目の空間位置に生成される画像データの振幅は0.6に増大した。7番目および9番目の空間位置に生成される画像データの振幅は2に低減した。8番目の空間位置に生成される画像データの振幅は2.8に低減した。図6Cのグラフに示されるように、空間位置に関して生成される画像データは、非常に広がった三角形状の関数を表す。このことは、多くの画像(replicated image)の非常に小さい大きさの高空間周波数コンテンツを示し、多くの画像が鮮鋭ではなく、ブレた可能性が高いことを意味する。
【0045】
さらに詳細に後述するように、多くの画像における動きによるぼけは、動きによるぼけの方向において、周波数領域変換された画像の特定の空間周波数における正弦波信号の振幅の大きさを増大することによって低減される。正弦波信号は、本発明において説明のために用いられ、フーリエ変換によって導かれることに留意されたい。また、本発明に説明する本発明の概念は、他の変換関数から導かれる他の信号にも適用することができることにも留意されたい。
【0046】
高空間周波数コンテンツの振幅の大きさを増大するために、異なる鮮鋭化カーネル(sharpening kernel)を画像データの動きによるぼけの方向に適用することができる。非限定的な一例では、特定の空間周波数コンテンツ集合の振幅の大きさを増大するために、ウィーナ(Weiner)補正アルゴリズムが、周波数領域変換された画像データの動きによるぼけ方向に適用される。動きによるぼけを低減するために、他の補正アルゴリズムを画像データに適用することができることに留意されたい。
【0047】
動きによるぼけの作用および動きによるぼけの作用を最小化する方法について略述したが、次に、動きによるぼけの検出について説明する。
【0048】
略述したように、並進移動による動きによるぼけは、他のブレとは異なり、単一方向においてのみ発生する。たとえば、図2の画像156および158で示される動きによるぼけを参照すると、動きによるぼけはx方向Xにおいてのみ発生している。光学的ブレ等他のブレは、すべての方向で通常発生する。したがって、動きによるぼけによる影響を受ける画像の高空間周波数コンテンツの振幅の大きさは、移動方向に対応する方向で低くなる。移動方向に垂直または実質的に垂直な方向に対応する高空間周波数コンテンツの振幅の大きさは小さくなる。実際に適用する場合には、動きによるぼけの方向における高空間周波数コンテンツの振幅の大きさは、垂直方向における同じ特定の高空間周波数コンテンツの振幅の大きさよりも大幅に低くなる。
【0049】
動きによるぼけの検出は、2次元感光センサアレイ130の一部にある感光素子138によって生成される画像データを解析することによって達成することができる。カメラのユーザは、通常、写真の被写体に焦点を合わせ、被写体が写真のほぼ中央にくるようにする。したがって、写真の中央は、最も鮮鋭な焦点が合わされた画像があるところである。このため、本明細書に説明する例では、2次元感光センサアレイ130の中央部分によって生成される画像データを動きによるぼけのために解析する。たとえば、2次元感光センサアレイ130の中央の1/9部分によって生成される画像データを動きによるぼけのために解析することができる。しかし、2次元感光センサアレイ130の任意の部分を動きによるぼけのために解析することができることを理解されたい。
【0050】
説明目的のために、画像データを解析して動きによるぼけ方向および大きさを決定する例を提供する。解析は、画像156の角160の付近にある感光素子138によって生成される画像データの解析を開始する。図8は、2次元感光センサアレイ130の角160にある感光素子138の拡大図である。x方向Xに延びる感光素子138の行164によって生成される画像データが、以下の例で解析される。同様に、y方向Yに沿って延びる感光素子138の列166によって生成される画像データも以下の例で解析される。行164中の感光素子138は、X(1)、Y(1)〜X(10)、Y(1)として参照され、列166中の感光素子138は、X(1)、Y(1)〜X(1)、Y(10)として参照される。説明目的のために、x方向Xおよびy方向Yに延びる10個の感光素子138しか解析されないことに留意されたい。しかし、x方向Xおよびy方向Yにおける任意の数の感光素子138を解析することができることを理解されたい。他の方向における動きによるぼけ検出のために、a方向Aおよびb方向Bにおける任意の数の感光素子138を解析することができることもさらに理解されたい。
【0051】
動きによるぼけが画像データに存在するかどうかを決定するに当たっての第1のステップは、画像エリアにわたり直交方向における高空間周波数コンテンツの振幅の大きさを解析することである。x方向Xおよびy方向Yにおける高空間周波数コンテンツの振幅の大きさは、x方向Xおよびy方向Yそれぞれにおける性能指数に比例する。性能指数は、画像における特定の方向に発生する明/暗遷移の程度を決定するためのベースを提供する。x方向Xにおける性能指数の非限定的な例は、本明細書ではFxと呼ばれ、以下のように計算される。
【0052】
【数1】
【0053】
式中、pは、解析されるx方向Xにおける感光素子138の数であり、qは、x方向Xにおいて解析される行の数であり、X(n,m)は、その位置における感光素子138によって生成される画像データの値である。したがって、nは、感光素子アレイの列数を示し、mは行数を示す。本明細書に説明する非限定的な例では、性能指数Fxが、最も鮮鋭な焦点合わせが行われる画像の中央で計算されることに留意されたい。また、性能指数は、単一カラープレーンについて計算され、本明細書に説明するデジタルカメラの例の場合の隣接する感光素子によってではないことにも留意されたい。これにより、性能指数が、画像中の色遷移ではなく動きによるぼけを測定するように保証される。さらに、隣接する感光素子を解析しないことによって、アンチエイリアシングぼけフィルタ(anti-aliasing blur filter)の性能指数計算に対する影響が殆どなくなるであろう。実質的にあらゆるピクセル値の増大を、性能指数の計算に利用しうることに留意されたい。好ましい実施形態は、より高い空間周波数を強調することから、1つのカラープレーン内で共に近い感光素子を使用する。より高い空間周波数は、動きによるぼけの最も敏感な尺度である。性能指数は、任意の方向での動きによるぼけを測定するために、任意の方向において計算することができることにも留意されたい。
【0054】
x方向Xにおける性能指数と同様に、y方向Yにおける性能指数はFyと呼ばれ、以下のように計算される。
【0055】
【数2】
【0056】
式中、qは、解析されるy方向Yにおける感光素子138の数であり、pは、y方向Yにおける列の数であり、Y(n,m)は、その位置における感光素子138によって生成される画像データの値である。本明細書に説明する非限定的な例では、性能指数Fyが列166に沿って計算されることに留意されたい。好ましい一実施形態では、pはqに等しいため、性能指数は、画像の正方形の区画(section)から計算される。
【0057】
上述したように、本明細書に説明する性能指数は、性能指数の非限定的な例である。他の性能指数の変形は、重みの付いた複数のカラープレーンを使用することができる。たとえば、性能指数をすべてのカラープレーンにおいて計算することができる。異なるカラープレーンからの値に重みを付け、共に加算することができる。たとえば、各緑プレーンに30パーセントの重みを付け、赤プレーンに30パーセントの重みを付け、青プレーンに10パーセントの重みを付けることができる。同様に、空間周波数に重みを付けることもできる。また、重みの付いたカラープレーンを重みの付いた空間周波数と組み合わせることもできる。別の変形では、より高次の数値解析法を使用して、傾き推定値を生成することができる。上記の単純な差分計算ではなく、これらの推定値(slope estimate)を用いることができる。
【0058】
性能指数は、特定の方向における画像の空間周波数の振幅の大きさの指標を提供する。簡単に図6Aを参照すると、グラフは、動きによるぼけなしで、ぼけフィルタなしで生成された画像データの隣接する感光素子間の急な遷移を示す。より厳密には、単一の光点が、8番目の空間位置においてのみ画像データを生成させる。したがって、図6Aのグラフに関連する性能指数は高い。図6Bのグラフは、図6Aのグラフほど急ではない画像データ値の間の遷移を示す。したがって、図6Bのグラフに関連する性能指数は、図6Aのグラフに関連する性能指数よりも低い。図6Cのグラフは、動きによるぼけが存在する場合に生成される画像データを示す。動きによるぼけは、隣接する感光素子138(図2)の画像データ値の間の遷移の大きさを低減させる。したがって、図6Cのグラフに関連する画像データの性能指数は、図6Aおよび図6Bのグラフに関連する性能指数よりも低い。本明細書に説明する性能指数は、グラフの傾きの大きさに比例することにも留意されたい。上記性能指数等式を用いることにより、図6Aのグラフの性能指数は16であり、図6Bのグラフの性能指数は8であり、図6Cのグラフの性能指数は5.6である。
【0059】
上述したように、並進移動による動きによるぼけは、他のブレとは異なり、一方向においてのみ発生する。したがって、x方向Xにおける性能指数Fxが、y方向Yにおける性能指数Fyとは異なる場合には、画像データの生成中に動きによるぼけが発生した可能性が高い。この性能指数の差は、Fyに対するFxの比、またはFxに対するFyの比をとり、この比を予め選択される値と比較することによって計算することができる。非限定的な例として、比が1.4よりも大きい場合には、動きによるぼけが発生したと仮定することができる。これは、動きによるぼけ方向は、この方向における遷移の大きさがより低いため、より低い性能指数を有する方向になることに従っている。また、比の値が動きによるぼけの量を決定することにも従っている。たとえば、より大きな比の値は、画像が、より多くの数の感光素子138(図2)にわたってブレたことを意味する。比の値は、動きによるぼけを最小化する量の決定に使用される。本明細書に説明する、動きによるぼけ方向を決定する非限定的な方法は、予め選択された方向に最も近い動きによるぼけ方向を決定することに留意されたい。たとえば、本明細書に説明する方法は、x方向X、y方向Y、a方向A、またはb方向Bに最も近い動きによるぼけ方向を決定することができる。同様の方法を用いて、動きによるぼけを解析することのできる方向の可能な数を増やすことができる。
【0060】
画像がブレた、またはより具体的には多くの画像がブレたという決定がなされると、画像データが処理され、多くの画像のブレを最小化する。動きによるぼけの最小化には、ブレの方向における周波数領域変換された画像データの特定の空間周波数における正弦波信号の振幅の大きさを増大することを含む。非限定的な例は、対応する画像データ値をより高い空間周波数に増幅することによって達成することができる。たとえば、動きによるぼけがx方向Xで発生する場合には、感光素子138の個々の行140(図2)によって生成される画像データが、空間周波数の振幅の大きさを増大するように処理される。後述する他のスケーリングおよび処理技術を画像データに適用することもできる。
【0061】
動きによるぼけの作用が、すべてのカラープレーンに等しく生じることに留意されたい。したがって、1つのカラープレーンからの画像データを解析して、動きによるぼけ方向および量を決定することができる。合成画像全体における動きによるぼけの影響を最小化するために、カラープレーンの周波数領域変換された画像の特定の空間周波数における正弦波信号の振幅の大きさを、等しく増大することができる。さらに、動きによるぼけを最小化するように画像データを処理することは、上記で参照したTaubmanの米国特許出願に開示されるように、画像データに対してモザイク解除を行うプロセス中に実行できることにも留意されたい。これは、例として、動きによるぼけ方向におけるモザイク解除係数を基準化して、動きによるぼけ方向における周波数領域変換された画像の特定の空間周波数における正弦波信号の振幅の大きさを増大することを含みうる。動きによるぼけの低減に、方向性鮮鋭化カーネル(sharpening kernel)、ウィンドウ化された方向性鮮鋭化カーネル(windowed directional sharpening kernel)、および方向性デコンボルーション補正(directional deconvolution correction)のような他の技術も使用することができる。
【0062】
上記手順は、動きによるぼけの量および方向を決定する。上記手順は、任意の直交方向に沿った動きによるぼけの検出および最小化に適用可能なことに留意されたい。説明目的のため、x方向Xおよびy方向Yに斜めのさらなる方向における動きによるぼけを検出して最小化する例を提供する。斜めの方向は、図3において、a方向Aおよびb方向Bと参照され、これらは互いに垂直である。この状況では、性能指数が、x方向Xおよびy方向Yを参照して上述したように、性能指数の比と共に、a方向Aおよびb方向Bにおいて計算される。この時点では2つの比が存在し、一方の比はx方向Xおよびy方向Yにおける性能指数についてのものであり、他方はa方向Aおよびb方向Bにおける性能指数についてのものである。最も大きな値を有する比は動きによるぼけに関連する垂直方向を表す。動きによるぼけの実際の方向は、最も大きな値を有する比に関連する最も低い性能指数によって決定される。この方向における動きによるぼけは、この方向における周波数領域変換された画像の特定の空間周波数における正弦波信号の大きさの振幅の大きさを増大することにより、本明細書に説明する方法で最小化される。
【0063】
画像に動きによるぼけが存在するかどうかを決定する方法と、動きによるぼけを最小化する方法とについて説明したが、次に、動きによるぼけを低減する詳細な例を提供する。
【0064】
以下の例は、図6A〜図6Cのイメージングされた光点に基づく。上述したように、ぼけフィルタを使用しない光点は、8番目の空間位置にのみ現れ、8の大きさを有する画像データを生成する。2ピクセルのぼけフィルタを有し、2.5個分のピクセルの動きによるぼけを受けるカメラによって生成される光点は、図6Cのグラフを参照して上述した画像データを生成する。図6Cのグラフの空間周波数の値は、図6Aのグラフの空間周波数の値よりも大幅に低い。参照目的のために、図6A〜図6Cのグラフの空間周波数の値が、図7A〜図7Cの棒グラフに示される。図7A〜図7Cのグラフは、位相情報を含まないことに留意されたい。図7Aのグラフによって示されるように、図6Aの単一光点は、インパルス関数と同様に、周波数スペクトルにわたって1つの正規化された振幅を有する。図7Bのグラフは、カメラに追加されたぼけフィルタにより低減された空間周波数値を示す。図7Cは、空間周波数の値が動きによるぼけによりさらに低減されることも示す。ぼけフィルタおよび動きによるぼけによる空間周波数の値を表1に詳述する。空間周波数8は最も高く、空間周波数0および15は最も低いことに留意されたい。
【0065】
【表1】
【0066】
表1のデータによって示されるように、動きによるぼけは、変換された画像の高空間周波数コンテンツを減衰した。より具体的には、5と6と7と8との高空間周波数の値が減衰された。動きによるぼけは、低空間周波数の値を減衰しなかった。
【0067】
高空間周波数コンテンツの振幅の大きさを増大するために、様々な画像鮮鋭化カーネルを動きによるぼけ方向において画像データに適用することができる。高空間周波数コンテンツの振幅増大により、より鮮鋭な画像になり、これは移動に起因するブレの低減である。より具体的には、明るいエリアと暗いエリアとの間の遷移が強調される。
【0068】
表1は、動きによるぼけを低減するように、動きによるぼけ方向において特定の空間周波数における信号に適用されるウィーナ補正係数(Weiner correction factor)を示す。本明細書に用いられるウィーナ補正係数は、高空間周波数コンテンツには最小の影響しか有しないことに留意されたい。表1に示されるように、周波数7および8は、本明細書において適用されるウィーナ補正係数による影響を最小限にしか受けない。これは、画像データの非常に高い空間周波数コンテンツは、多くのノイズを含む傾向があるためである。したがって、非常に高い空間周波数コンテンツが増幅される場合には、ノイズは信号よりも増幅される傾向がある。
【0069】
ウィーナ補正係数を適用した後の結果として得られる画像を図9に示す。図9は、動きによるぼけ状況下でイメージングされたが、ウィーナ補正係数が適用された図6Cの光点のグラフである。図6Cの元の動きによるぼけ画像は、参照目的のために図9では破線で示される。図6Cのブレた画像の値と、表2のウィーナ補正後画像と題する部分の下にある図9の補正後画像の値とを比較する。ウィーナ補正画像係数が、2ピクセルまたは感光素子138(図2)の動きによるぼけの画像を補正したことに留意されたい。ウィーナ補正アルゴリズムは、任意の数のピクセルの動きによるぼけを補正するように変更することが可能である。
【0070】
【表2】
【0071】
表2によって示されるように、ウィーナ補正後画像は、画像をぼけフィルタ列によって表される画像にほぼ近くなるように回復させる。空間位置9において最も高い振幅の値は、値4に理想的に回復されるが、本明細書に説明するウィーナ補正係数は、動きによるぼけ値2.8から値3.37に回復することに留意されたい。また、本明細書に示されるウィーナ補正係数は、非常に小さな大きさである非常に少ない負の数を有することにも留意されたい。大きい負の数は、画質に有害なギブス効果(Gibbs effect)を増大する傾向がある。−1、3、−1の鮮鋭化カーネルは、最も高い空間周波数の値を増大した。しかし、値4.4は理想的な値4.0よりもはるかに大きく、ノイズを増大させ、実際に画質を劣化する。
【0072】
上述したように、動きによるぼけを低減するために、異なる鮮鋭化アルゴリズムを画像データの動きによるぼけ方向に適用することができる。表2には、鮮鋭化アルゴリズムまたはカーネルの2つの代替例が提供されている。より具体的には、−1、3、−1および−0.5、2、−0.5の鮮鋭化カーネルの結果が表2に示されている。
【0073】
動きによるぼけの検出方法および最小化方法の実施形態について説明したが、次に、他の実施形態について説明する。
【0074】
本明細書に説明する方法は、2ピクセルの動きによるぼけを補正する。しかし、本方法は、異なる量の動きによるぼけを補正するように変更できることを理解されたい。一実施形態では、画像における動きによるぼけの量について決定がなされる。そして、画像が画像におけるブレの量に基づいた量「ブレ除去(deblur)」される。たとえば、本方法は、2ピクセルまたは4ピクセルの動きによるぼけを補正することができる。画像が1ピクセルよりも多く3ピクセル未満の動きによるぼけを有すると決定される場合には、画像は、2ピクセルの動きによるぼけについて補正することができる。画像が3〜5ピクセルの動きによるぼけを有すると決定される場合には、画像は、4ピクセルの動きによるぼけについて補正される。
【0075】
動きによるぼけの検出については、被写体を表す画像データを解析することによって達成されるものとして説明した。動きによるぼけは、画像データ生成期間中に、カメラの移動の量および方向を検出する、カメラ100(図1)に搭載された1つ以上のセンサを使用することによって検出することもできる。そして、動きによるぼけ方向および量により、動きによるぼけを低減するために画像鮮鋭化アルゴリズムについての係数が確立される。
【0076】
図1を参照して、動きによるぼけの検出および最小化について、カメラ100内にあるプロセッサ132によって実行されるものとして本明細書に説明した。別の実施形態では、プロセッサ132は、動きによるぼけを検出して最小化することのできる周辺プロセッサに画像データを転送することを容易にすることができる。たとえば、ブレた写真を取り込むか、あるいはスキャンして、その被写体を表す画像データを生成することができる。
【0077】
再び図7を参照して、性能指数を、互いに隣接して配置された、または所与のカラープレーンにおいて互いに隣接して配置された感光素子138(図2)によって生成される画像データに基づいて計算した。上記方法の一実施形態は、互いに離間された感光素子138によって生成される画像データに基づいて性能指数を計算する。これは、異なる空間周波数において性能指数を測定することになる。たとえば、性能指数は、1つおき、または3つごとの感光素子138によって生成される画像データに基づいて計算することができる。この実施形態は、多数の感光素子138を備えたデジタルカメラからの情報を処理する場合に用いることが可能である。感光素子138によって生成される画像データをすべては処理しないことにより、動きによるぼけの決定に必要な時間が短縮される。いくつかの空間周波数におけるいくつかの性能指数は、重み付け係数を用いて組み合わせることができ、全体の性能指数計算を画像またはシーン内容に対してより免疫のあるものとすることができる。さらに、いくつかのカラープレーンを同様に重み付けすることができる。同様に、カラープレーンおよび空間周波数の組み合わせを重み付けることもできる。
【0078】
別の実施形態では、画像の小部分が解析されて、画像の小部分に動きによるぼけが存在するかどうかを決定する。そして、動きによるぼけが、その小さな区画において最小化される。たとえば、画像データが生成されているときに、カメラを背景に相対して固定して保持することができる。しかし、画像データ生成中に、イメージングされている被写体が、カメラおよび背景に相対して移動することがある。上記方法は、背景にブレを生じさせることなく、被写体画像の動きによるぼけを低減する。
【0079】
動きによるぼけを最小化する上記の方法は、2次元感光センサアレイに配置される感光素子の密度が増大するにつれて有用になる。感光素子の密度を増大する目的は、より確定された、つまり、より鮮鋭な画像を提供することである。しかし、動きによるぼけの影響度(susceptibility)は、感光素子の密度が増大するにつれて増大する。感光素子が画像データを生成している期間中、被写体の画像は、感光素子の密度が高い場合に感光素子間でよりシフトしやすい。このシフトは、動きによるぼけとして検出され、よって最小化される。
【0080】
動きによるぼけを最小化する上記方法は、比較的に暗い環境において画像データを生成する際により有用になる。感光素子が画像データを生成するために必要な期間は、イメージング中の被写体から反射される光の量に反比例する。したがって、イメージングが比較的に暗い環境で行われる場合、画像データの生成に必要な期間が増大する。この期間の増大は、画像データ生成中に、カメラのユーザがカメラを動かしてしまう可能性を増大させ、これが動きによるぼけを引き起こすことになる。上記手順を実施することにより、動きによるぼけを最小化することができる。
【0081】
本明細書に説明した方法を用いて、動きによるぼけを決定して最小化する他の実施形態を採用することができる。一実施形態では、いくつかのカラープレーンが解析されて、動きによるぼけが決定される。これらのカラープレーンは、緑と赤と青とのカラープレーンを含む。別の実施形態では、5方向以上が、動きによるぼけの存在について解析される。たとえば、8つの方向を解析することも可能であり、これは、動きによるぼけ方向のより正確な決定を提供する。さらに別の実施形態では、画像データが解析されて、異なる量の動きによるぼけが存在するかどうかが決定される。たとえば、画像データを解析して、動きによるぼけが存在しないかどうか、2ピクセル動きによるぼけが存在するかどうか、4ピクセル動きによるぼけが存在するかどうか等を決定することができる。
【0082】
本発明の説明的および好ましい実施形態について詳細に本明細書に説明したが、本発明の概念は、その他様々に実現および適用が可能であり、特許請求の範囲は、従来技術によって制限される範囲を除き、そのような変形を包むものと解釈されるように意図されることを理解されたい。
【図面の簡単な説明】
【図1】被写体をイメージングするデジタルカメラを示す模式図である。
【図2】図1のデジタルカメラ内で使用される2次元感光素子アレイの正面拡大図である。
【図3】ベイヤパターンを使用するカラーフィルタアレイの概略図である。
【図4】動きによるぼけを検出して最小化する方法を示すフローチャートである。
【図5】動きによるぼけを検出して最小化する方法を示すフローチャートである。
【図6】Aは、カメラにぼけフィルタが存在しない状態で、単一の光点を検出する感光素子出力を表す概略図である。Bは、ぼけフィルタが追加された状態で、図6Aの光点の感光素子出力を表す概略図である。Cは、ぼけフィルタおよび動きによるぼけが追加された状態で、図6Aの光点の感光素子出力を表す概略図である。
【図7】Aは、図6Aのグラフの離散空間周波数表現を示す概略図である。Bは、図6Bのグラフの離散空間周波数表現を示す概略図である。Cは、図6Cのグラフの離散空間周波数表現を示す概略図である。
【図8】図2の2次元感光センサアレイの表面に配置される感光素子の拡大図である。
【図9】動きによるぼけが最小化された状態で、図6Cの図を示す概略図である。

Claims (3)

  1. デジタル画像を表す画像データを提供するステップと、
    該画像データを解析して、第1の方向(X)における前記デジタル画像の第1の性能指数を計算するステップと、
    前記画像データを解析して、第1の方向に実質的に直行する第2の方向(Y)における前記デジタル画像の第2の性能指数を計算するステップと、
    前記第2の性能指数に対する前記第1の性能指数の第1の比を計算するステップであって、前記第1の比が、前記第1の性能指数または前記第2の性能指数のうち大きい方を、前記第1の性能指数または前記第2の性能指数のうち小さい方で除算したものであるようなステップと、
    前記第1の比と予め選択された値とを比較するステップであって、前記第1の比が前記予め選択される値よりも大きい場合には、前記デジタル画像に動きによるぼけが存在するものとするステップと
    を含んでなる、デジタル画像における動きによるぼけを検出する方法。
  2. 前記画像データを解析して、前記第1の方向(X)および前記第2の方向(Y)に対して斜めである第3の方向(A)における前記デジタル画像の第3の性能指数を計算するステップと、
    前記画像データを解析して、前記第3の方向(A)および前記第4の方向(B)が実質的に直交する第4の方向(B)における前記デジタル画像の第4の性能指数を計算するステップと、
    前記第4の性能指数に対する前記第3の性能指数の第2の比を計算するステップであって、前記第2の比が、前記第3の性能指数または前記第4の性能指数のうち大きい方を、前記第3の性能指数または前記第4の性能指数のうち小さい方で除算したものであるようなステップと、
    前記第2の比と予め選択された値とを比較して、前記デジタル画像に動きによるぼけが存在するかどうかを決定するステップと
    をさらに含んでなる請求項1に記載の方法。
  3. 前記第1の比と前記第2の比とを比較して、動きによるぼけの方向を決定するステップをさらに含んでおり、
    該動きによるぼけの方向が、前記第1の比または前記第2の比のうち大きい方からの最も低い性能指数値に対応する方向に存在するものとする請求項2に記載の方法。
JP2002155573A 2001-05-29 2002-05-29 デジタル画像における動きによるぼけを低減する方法 Expired - Fee Related JP4121780B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US09/867,352 US6987530B2 (en) 2001-05-29 2001-05-29 Method for reducing motion blur in a digital image
US09/867352 2001-05-29

Publications (3)

Publication Number Publication Date
JP2003078812A5 JP2003078812A5 (ja) 2003-03-14
JP2003078812A JP2003078812A (ja) 2003-03-14
JP4121780B2 true JP4121780B2 (ja) 2008-07-23

Family

ID=25349623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002155573A Expired - Fee Related JP4121780B2 (ja) 2001-05-29 2002-05-29 デジタル画像における動きによるぼけを低減する方法

Country Status (2)

Country Link
US (2) US6987530B2 (ja)
JP (1) JP4121780B2 (ja)

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4608791B2 (ja) * 2001-03-15 2011-01-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US9143706B2 (en) * 2001-06-06 2015-09-22 Andrew Zador Imaging system utilizing spatial image oscillation
US7239399B2 (en) * 2001-11-13 2007-07-03 Cyberoptics Corporation Pick and place machine with component placement inspection
US7813559B2 (en) * 2001-11-13 2010-10-12 Cyberoptics Corporation Image analysis for pick and place machines with in situ component placement inspection
CN100517383C (zh) * 2002-05-23 2009-07-22 皇家飞利浦电子股份有限公司 减小与边缘有关的运动模糊
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
EP1376471A1 (en) * 2002-06-19 2004-01-02 SGS-THOMSON MICROELECTRONICS S.r.l. Motion estimation for stabilization of an image sequence
US7379091B2 (en) 2003-04-30 2008-05-27 Hewlett-Packard Development Company, L.P. Method and apparatus for computing an image stability measure
US7397500B2 (en) * 2003-04-30 2008-07-08 Hewlett-Packard Development Company, L.P. Camera shake warning and feedback system that teaches the photographer
JP4286068B2 (ja) * 2003-06-03 2009-06-24 大塚電子株式会社 画面の動画質評価方法
WO2004114677A1 (ja) 2003-06-23 2004-12-29 Sony Corporation 画像処理方法および装置、並びにプログラム
US7266248B2 (en) * 2003-08-08 2007-09-04 Hewlett-Packard Development Company, L.P. Method and apparatus for generating data representative of an image
US7020579B1 (en) * 2003-09-18 2006-03-28 Sun Microsystems, Inc. Method and apparatus for detecting motion-induced artifacts in video displays
JP4515208B2 (ja) * 2003-09-25 2010-07-28 富士フイルム株式会社 画像処理方法および装置並びにプログラム
US7706595B2 (en) * 2003-11-07 2010-04-27 Cyberoptics Corporation Pick and place machine with workpiece motion inspection
DE50309706D1 (de) * 2003-12-19 2008-06-05 Imaging Solutions Ag Verfahren zur Verarbeitung digitaler Bilddaten von verwackelten Aufnahmen
US7636489B2 (en) * 2004-04-16 2009-12-22 Apple Inc. Blur computation algorithm
US7561186B2 (en) * 2004-04-19 2009-07-14 Seiko Epson Corporation Motion blur correction
JP2006024193A (ja) * 2004-06-07 2006-01-26 Fuji Photo Film Co Ltd 画像補正装置、画像補正プログラム、画像補正方法、および画像補正システム
US8532338B2 (en) * 2004-07-06 2013-09-10 Hewlett-Packard Development Company, L.P. System and method for compensating for motion blur in optical navigation
US20060075631A1 (en) * 2004-10-05 2006-04-13 Case Steven K Pick and place machine with improved component pick up inspection
US20070003126A1 (en) * 2005-05-19 2007-01-04 Case Steven K Method and apparatus for evaluating a component pick action in an electronics assembly machine
JP2008516291A (ja) * 2004-10-13 2008-05-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の表示時間制御
KR101211074B1 (ko) * 2004-12-21 2012-12-12 소니 가부시끼가이샤 학습 장치와 학습 방법 및 학습 프로그램
WO2006068292A1 (ja) * 2004-12-21 2006-06-29 Sony Corporation 画像処理装置と画像処理方法および画像処理プログラム
US7755678B2 (en) * 2005-10-28 2010-07-13 Hewlett-Packard Development Company, L.P. Programmable anti-aliasing systems and methods for cameras
WO2007053557A1 (en) * 2005-10-31 2007-05-10 Cyberoptics Corporation Electronics assembly machine with embedded solder paste inspection
JP4484806B2 (ja) * 2005-11-30 2010-06-16 キヤノン株式会社 記録システム、記録方法、ホスト装置、プログラム、及び、コンピュータ可読媒体
US7623726B1 (en) 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
US7680354B2 (en) * 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
US7841967B1 (en) 2006-04-26 2010-11-30 Dp Technologies, Inc. Method and apparatus for providing fitness coaching using a mobile device
US8073280B2 (en) * 2006-05-16 2011-12-06 Panasonic Corporation Image processing apparatus and image processing program for correcting image degradation
US8902154B1 (en) 2006-07-11 2014-12-02 Dp Technologies, Inc. Method and apparatus for utilizing motion user interface
JP4872508B2 (ja) * 2006-07-28 2012-02-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US7982770B1 (en) 2006-09-08 2011-07-19 Dp Technologies, Inc. Method and apparatus to provide improved image quality in a camera
US7602418B2 (en) * 2006-10-11 2009-10-13 Eastman Kodak Company Digital image with reduced object motion blur
WO2008074019A2 (en) * 2006-12-13 2008-06-19 Georgia Tech Research Corporation Systems and methods for real time multispectral imaging
US8620353B1 (en) 2007-01-26 2013-12-31 Dp Technologies, Inc. Automatic sharing and publication of multimedia from a mobile device
US8949070B1 (en) 2007-02-08 2015-02-03 Dp Technologies, Inc. Human activity monitoring device with activity identification
TW200840365A (en) * 2007-03-23 2008-10-01 Ind Tech Res Inst Motion-blur degraded image restoration method
US20080238820A1 (en) * 2007-03-29 2008-10-02 Otsuka Electronics Co., Ltd Motion picture image processing system and motion picture image processing method
KR100860967B1 (ko) * 2007-04-16 2008-09-30 삼성전자주식회사 영상의 모션 블러를 제거하기 위한 장치 및 방법
US7884854B2 (en) * 2007-07-11 2011-02-08 Hewlett-Packard Development Company, L.P. Reducing motion blur from an image
US8555282B1 (en) 2007-07-27 2013-10-08 Dp Technologies, Inc. Optimizing preemptive operating system with motion sensing
WO2009019848A1 (ja) * 2007-08-03 2009-02-12 Panasonic Corporation 撮影装置、撮影方法、およびプログラム
US8019215B2 (en) 2007-08-06 2011-09-13 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
US7899229B2 (en) * 2007-08-06 2011-03-01 Hui Luo Method for detecting anatomical motion blur in diagnostic images
US20090060387A1 (en) * 2007-09-04 2009-03-05 Microsoft Corporation Optimizations for radius optical blur
US8144780B2 (en) * 2007-09-24 2012-03-27 Microsoft Corporation Detecting visual gestural patterns
US8494306B2 (en) * 2007-12-13 2013-07-23 Samsung Electronics Co., Ltd. Method and an apparatus for creating a combined image
US8040382B2 (en) * 2008-01-07 2011-10-18 Dp Technologies, Inc. Method and apparatus for improving photo image quality
WO2009110868A1 (en) * 2008-03-06 2009-09-11 Nikon Corporation Method for estimating of direction of motion blur in an image
US8285344B2 (en) 2008-05-21 2012-10-09 DP Technlogies, Inc. Method and apparatus for adjusting audio for a user environment
WO2009142783A1 (en) * 2008-05-21 2009-11-26 Nikon Corporation System and method for estimating a direction of motion blur in an image
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
US8996332B2 (en) 2008-06-24 2015-03-31 Dp Technologies, Inc. Program setting adjustments based on activity identification
JP4618355B2 (ja) * 2008-09-25 2011-01-26 ソニー株式会社 画像処理装置及び画像処理方法
US8872646B2 (en) 2008-10-08 2014-10-28 Dp Technologies, Inc. Method and system for waking up a device due to motion
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US8698905B2 (en) * 2009-03-11 2014-04-15 Csr Technology Inc. Estimation of point spread functions from motion-blurred images
US8064759B1 (en) 2009-04-15 2011-11-22 Dp Technologies, Inc. Method and apparatus for motion-state based image acquisition
US9529437B2 (en) 2009-05-26 2016-12-27 Dp Technologies, Inc. Method and apparatus for a motion state aware device
FR2947075A1 (fr) * 2009-06-19 2010-12-24 St Microelectronics Rousset Evaluation resistive du facteur de couplage d'un transpondeur electromagnetique
KR20100138603A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 디지털 촬영장치
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
JP5464656B2 (ja) * 2010-01-12 2014-04-09 Necカシオモバイルコミュニケーションズ株式会社 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
WO2011122284A1 (ja) 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
WO2011121763A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
WO2011139288A1 (en) 2010-05-06 2011-11-10 Nikon Corporation Image sharpness classification system
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8724000B2 (en) * 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US9412039B2 (en) 2010-11-03 2016-08-09 Nikon Corporation Blur detection system for night scene images
US9030550B2 (en) 2011-03-25 2015-05-12 Adobe Systems Incorporated Thin plenoptic cameras using solid immersion lenses
CN102959586B (zh) * 2011-04-12 2016-03-23 松下电器产业株式会社 深度推测装置以及深度推测方法
WO2013025220A1 (en) 2011-08-18 2013-02-21 Nikon Corporation Image sharpness classification system
US9232137B2 (en) 2013-04-24 2016-01-05 Microsoft Technology Licensing, Llc Motion blur avoidance
US9652833B2 (en) * 2014-03-18 2017-05-16 Honeywell International, Inc. Point spread function estimation for motion invariant images

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3627920A (en) * 1969-04-03 1971-12-14 Bell Telephone Labor Inc Restoration of degraded photographic images
US5109425A (en) * 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
US5198896A (en) * 1989-10-26 1993-03-30 Canon Kabushiki Kaisha Movement detection apparatus for detecting movement vectors from an image signal
JP2843637B2 (ja) * 1990-03-20 1999-01-06 オリンパス光学工業株式会社 カメラ装置
US5990942A (en) * 1991-05-01 1999-11-23 Canon Kabushiki Kaisha Photographing apparatus using image information for blurring correction
US6172707B1 (en) * 1992-06-22 2001-01-09 Canon Kabushiki Kaisha Image pickup device
US5712474A (en) * 1993-09-29 1998-01-27 Canon Kabushiki Kaisha Image processing apparatus for correcting blurring of an image photographed by a video camera
US5790709A (en) * 1995-02-14 1998-08-04 Ben-Gurion, University Of The Negev Method and apparatus for the restoration of images degraded by mechanical vibrations
US6507018B2 (en) * 1996-08-30 2003-01-14 Raytheon Company Ditherless non-uniformity compensation for infrared detector arrays with recursive spatial low pass filtering
JPH11284944A (ja) * 1998-03-31 1999-10-15 Canon Inc 画像処理方法及び装置

Also Published As

Publication number Publication date
US20050243178A1 (en) 2005-11-03
JP2003078812A (ja) 2003-03-14
US6987530B2 (en) 2006-01-17
US20030011717A1 (en) 2003-01-16

Similar Documents

Publication Publication Date Title
US9860450B2 (en) Method and apparatus to correct digital video to counteract effect of camera shake
JP6057089B2 (ja) オートフォーカス画像システムにおけるフォーカス信号を生成する方法
US8941761B2 (en) Information processing apparatus and information processing method for blur correction
RU2523028C2 (ru) Устройство обработки изображения, устройство захвата изображения и способ обработки изображения
EP2566163B1 (en) Image processing apparatus and method
US9894302B2 (en) Imaging apparatus, image processing method, and program
US8934035B2 (en) Correction of non-uniform sensitivity in an image array
EP2351354B1 (en) Extended depth of field for image sensor
US8649628B2 (en) Adaptive PSF estimation technique using a sharp preview and a blurred image
Nagahara et al. Programmable aperture camera using LCoS
JP5909540B2 (ja) 画像処理表示装置
US7756330B2 (en) Producing an extended dynamic range digital image
JP5414405B2 (ja) 画像処理装置、撮像装置及び画像処理方法
EP2489007B1 (en) Image deblurring using a spatial image prior
EP0455444B1 (en) Movement detection device and focus detection apparatus using such device
EP1322108B1 (en) Image creating device and image creating method
US7643062B2 (en) Method and system for deblurring an image based on motion tracking
JP4885179B2 (ja) 映像歪曲補正方法及びその補正方法を採用した映像処理装置
KR101032233B1 (ko) 화상 처리 방법 및 장치, 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
US8941762B2 (en) Image processing apparatus and image pickup apparatus using the same
JP4798400B2 (ja) 光学的黒画素と電圧固定画素とを用いて撮像装置の黒レベルを設定する方法および装置
JP4487191B2 (ja) 画像処理装置および画像処理プログラム
TWI496463B (zh) 形成全彩色影像之方法
EP2082569B1 (en) Digital imager with reduced object motion blur
US7580071B2 (en) Electronic camera and control program of same for detecting foreign materials

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050525

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080430

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130509

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees