JP7463640B2 - 空間多重露光のための方法、装置及び記憶媒体 - Google Patents

空間多重露光のための方法、装置及び記憶媒体 Download PDF

Info

Publication number
JP7463640B2
JP7463640B2 JP2019163062A JP2019163062A JP7463640B2 JP 7463640 B2 JP7463640 B2 JP 7463640B2 JP 2019163062 A JP2019163062 A JP 2019163062A JP 2019163062 A JP2019163062 A JP 2019163062A JP 7463640 B2 JP7463640 B2 JP 7463640B2
Authority
JP
Japan
Prior art keywords
image data
input image
pixel
interpolated
pixel location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019163062A
Other languages
English (en)
Other versions
JP2020058023A (ja
Inventor
ハンウェル デイビッド
セック アラサヌ
コルニエンコ アレックス
Original Assignee
アーム・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アーム・リミテッド filed Critical アーム・リミテッド
Publication of JP2020058023A publication Critical patent/JP2020058023A/ja
Application granted granted Critical
Publication of JP7463640B2 publication Critical patent/JP7463640B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

[0001]本開示は、画像データを処理するための方法及び装置に関する。
発明の背景
[0002]画像を取り込むための画像センサは、デジタルカメラ、携帯電話カメラ、及び他の画像取り込みデバイスのようなデバイス内に存在し得る。画像センサは、人間の視覚センサによって知覚可能であるよりも小さいダイナミックレンジで画像を取り込むことが可能であり得る。しかしながら、高度に動的なシーンの画像の品質を増大させるために、いくつかの画像センサは、高ダイナミックレンジ（ＨＤＲ）画像を取り込むために使用することができる。画像センサは、露出の異なる複数の画像を取り込み、当該画像を合成してよりダイナミックレンジの高い画像を生成することによって、高ダイナミックレンジ画像を取り込むために使用することができる。
[0003]短い露光時間を使用して、又は、低いセンサ感度で取り込まれる画像は、より長い露光時間又はより高いセンサ感度を使用すると飽和が起こり、細部が失われる、シーンの明るい部分又は明るい光条件に細部を含むことができるが、センサ画素の露光不足に起因してシーンの暗い部分の細部を欠く場合がある。対応して、長い露光時間、又は、高いセンサ感度で取り込まれる画像は、より短い露光時間又はより低いセンサ感度を使用すると露光不足になる、シーンの暗い部分又は薄暗い光条件に細部を含むことができるが、センサ画素の飽和に起因してシーンの明るい部分の細部を欠く場合がある。異なる露光時間又は異なる感度レベルを使用して取り込まれる画像を合成することによって、単一の露光時間又は単一の感度を使用すると失われる場合がある画像の細部を含めることが可能である。
[0004]いくつかのセンサは、いくつかのセンサ画素を使用して、短い露光時間で画像を取り込み、他のセンサ画素を使用して、長い露光時間で画像を取り込む。２つの画像が合成されて、単一の露光時間で取り込まれる同等の画像よりもダイナミックレンジの高い単一の画像が生成される。各画像はセンサ画素の一部を使用してそれぞれの画像を取り込むため、補間が使用されて、欠けている画素部分の細部が推測される。
[0005]いくつかの画素が他の画素と異なる露光時間を使用して画像を取り込むように構成されている画像センサを使用して生成される画像データの合成に使用するための方法及びシステムを提供することが所望されている。
[0006]本開示の様々な特徴が、ともに本開示の特徴を示す添付の図面に関連して取り上げられる、以下の詳細な説明から明らかになる。
[0007]図１は、例示的な方法の流れ図である。
[0008]図２は、一例による第１の画素位置セット及び第２の画素位置セットを含む画像の少なくとも一部分の概略図である。
[0009]図３ａは、一例によるコーナ検出過程の一部分の概略図である。
[0010]図３ｂは、一例によるコーナ検出過程の異なる部分の概略図である。
[0011]図４は、一例による合成過程の概略図である。
[0012]図５は、一例による装置の概略図である。
[0013]図６は、一例によるコンピュータ可読記憶媒体の概略図である。
概要
[0014]１つの態様によれば、画像の少なくとも一部分を表す入力画像を受信するステップであり、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、第１の補間画像データは、第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、第２の入力画像データと第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、を含む方法が提供される。
[0015]別の態様によれば、少なくとも１つのプロセッサと、コンピュータプログラムコードを含む少なくとも１つのメモリとを備え、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つのプロセッサによって、装置に少なくとも、画像の少なくとも一部分を表す入力画像データを受信するステップであり、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、第１の補間画像データは、第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、第２の入力画像データと第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、を行わせるように構成される、装置が提供される。
[0016]別の態様によれば、コンピュータ実行可能命令を備え、コンピュータ実行可能命令は、プロセッサによって実行されると、画像の少なくとも一部分を表す入力画像データを受信するステップであり、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、第１の補間画像データは、第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、第２の入力画像データと第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、を行うための画像処理システムの動作を引き起こす、持続性コンピュータ可読記憶媒体が提供される。
特定の発明的な実施形態の詳細な説明
[0017]実施例の詳細が、図面を参照して以下の説明から明らかになる。この説明において、説明を目的として、特定の実施例の多数の具体的な詳細が記載される。本明細書において、「一実施例（ａｎ ｅｘａｍｐｌｅ）」又は同様の文言に対する言及は、当該実施例と関連して説明されている特定の特徴、構造、又は特性が、少なくともその１つの実施例に含まれるが、他の実施例においてはその限りではないことを意味する。特定の実施例は、実施例の根底にある概念を説明及び理解することを容易にするために、特定の特徴が省略及び／又はやむを得ず単純化されて、概略的に説明されていることにさらに留意されたい。
[0018]図１は、実施例による画像データを処理する方法の流れ図１００を示す。入力画像データは、画像の少なくとも一部分を表す。ブロック１１０において、方法は、入力画像データを受信することを含む。入力画像データは、遠隔画像センサによって取り込まれ、送信されて、受信され得る。例えば、カメラ又はスマートフォンのような遠隔撮像デバイスが、画像センサを使用して画像データを取り込み、ネットワークインターフェースを用いて、例えばインターネットなどの広域ネットワークを介して画像データを送信することができる。いくつかの実施例において、画像データは、ローカル撮像センサから受信されてもよい。他の実施例において、画像データは、記憶装置から受信される。画像データを取り込むのに使用される画像センサは、画像を取り込むのに使用される任意の適切な光検出器であってもよい、センサ画素のアレイを含んでもよい。例えば、センサ画素は、入射光を電子信号又はデータに変換することができるフォトダイオードのような受光素子を含んでもよい。センサ画素として使用することができる構成要素の例は、電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）を含む。露光レベルは、画像センサの各センサ画素によって光が取り込まれる時間、及び／又は、増幅器によって、各センサ画素によって生成される電気信号に適用される利得を決定づけ得る。したがって、画像を取り込むときの入射光に対する画像センサの感度は、一般的に露光レベルによって決定される。図１の実施例において、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む。画像データの受信は、例えば、多重露光画像センサを使用することによって達成することができる。第１の画素位置セット及び第２の画素位置セットは、複数の様式で配置することができ、第１の画素位置セット及び第２の画素位置セットの配列の特定の例は、他の図面を参照して後述する。いくつかの実施例において、第１の画素位置セット及び第２の画素位置セットを表す画像データが、異なる露光時間を使用して光を取り込むことによって生成される。例えば、第１の画素位置セットを表す画像データは、第１の時間期間の間に光を取り込むことによって生成することができ、第２の画素位置セットを表す画像データは、異なる第２の時間期間の間に光を取り込むことによって生成することができる。第１の画素位置セットを表す画像データ及び第２の画素位置セットを表す画像データを生成することは、同時に開始されてもよく、第１の画素位置セットを表す画像データが生成される前に、第２の画素位置セットを表す画像データが生成されてもよい。別の実施例において、第１の画素セットを表す画像データ及び第２の画素セットを表す画像データを生成することは、第１の時間期間及び第２の時間期間の終わりが同時に起こるように、異なる時点において開始してもよい。いくつかの実施例において、入力画像データは、第１の入力画像データ、第２の入力画像データ、及び、異なる第３の露光レベルと関連付けられる第３の画素位置セットを表す第３の入力画像データを含むことができる。
[0019]画像の取り込み中に画像センサが動く場合、又は、画像の取り込み中に画像に取り込まれているシーンの一部分が動く場合、第１の露光レベルと関連付けられる画素位置及び第２の露光レベルと関連付けられる画素位置において取り込まれる内容の間に差が生じる場合がある。例えば、露光レベルが露光時間によって決定づけられる場合、第２の時間期間の終わりと第１の時間期間の終わりとの間でシーンが変化する場合がある。
[0020]入力画像データは、例えば、画像センサによって取り込まれる光の少なくとも１つの特性を表すことができる。入力画像データは、各センサ画素によって取り込まれる光の強度を表すことができ、光の強度は、当該センサ画素によって取り込まれる光子の数に比例することができる。強度は、取り込まれる光の輝度を表すことができ、輝度は例えば、絶対強度ではなく、単位面積あたりの光の強度の測度である。他の例において、入力画像データは、取り込まれる光の明るさを表すことができ、明るさは、輝度の知覚に対応すると考えられ得るか又は、輝度に比例してもよく、又は、比例しなくてもよい。入力画像データは、データによって表される画像の見た目を表すために使用することができる任意の測光量又は特性を表してもよい。入力画像データは、例えば原画像形式など、任意の適切な形式であってもよい。
[0021]いくつかの実施例において、画像の各画素位置が、色チャネルと関連付けられる。例えば、画像を取り込むのに使用される画像センサは、あるパターンのカラーフィルタ要素を含む色フィルタアレイを備えることができる。色フィルタ要素は、画像センサのセンサ画素のアレイのそれぞれのセンサ画素に対応する。色フィルタアレイパターンは、モザイク又は反復パターンを形成すると考えることができる。色フィルタアレイの要素は、特定の色の光が対応するセンサ画素へと通過することを可能にすることができる。色は、光の波長の任意の範囲を指し得、例えば、実質的に受け取られるすべての光を通過させる透明、透過又は白色フィルタ要素もなお、色フィルタ要素と考えることができる。他の実施例において、色は、より狭い波長範囲を有してもよく、例えば、緑色、青色、及び赤色を含んでもよい。このように、色フィルタアレイは、センサ画素のアレイの異なるセンサ画素が異なる色の入射光を受け取ることを可能にすることができる。結果、画像の画素位置は各々、単一の色と関連付けることができる。画像の画素位置は、色フィルタパターンに配置することができる。多くの光検出器は入来する光の波長に対して感受性ではなく、したがって、フィルタアレイなしには検出光から色情報を提供することが不可能である。入来する光を、色フィルタアレイを使用して、異なる色に対応する異なる波長に分離することによって、これらの異なる波長範囲の光の強度を究明することができる。色フィルタパターンの例は、ベイヤーフィルタパターンを含んでもよく、結果、画像内の画素は、ベイヤー色フィルタパターンに配列され得る。
[0022]上述したように、画像によって取り込まれるシーンの一部分、又は、画像を取り込むのに使用される画像センサが露光中に動く場合、第１の露光レベルと関連付けられる第１の画素位置セットによって取り込まれる画像は、異なる第２の露光レベルと関連付けられる第２の画素位置セットによって取り込まれる画像と異なる場合がある。ＨＤＲ画像を生成するとき、第１の画素位置セット及び第２の画素位置セットを表す入力画像データを合成して、単一の露光レベルのみを使用して画像を取り込むように構成されている画像センサによって達成可能であり得るよりも高いダイナミックレンジを有する画像を生成することができる。しかしながら、第１の画素位置セットによって取り込まれる画像が、第２の画素位置セットによって取り込まれる画像と異なる場合、２つの画素位置セットを表すデータを合成するよう試みる結果として、ぼけが生じ、及び／又は、細部が失われる場合がある。図１の例示的な方法において、方法は、第１の画素位置セットによって取り込まれる画像と第２の画素位置セットによって取り込まれる画像との間の差を含む画像の領域を判定することと、対応して改善された画像データを生成することとを含む。方法は、シーン若しくは画像センサが露光中に動いたか否か、及び／又は、第１の画素位置セットを表す画像データと第２の画素位置セットを表す画像データとを合成することができるか否かを判定するために第２の入力画像データと比較されることになる、第１の露光レベルに対応する第１の補間画像データを生成することによって、画像データの改善を達成する。いくつかの実施例において、方法は又、第１の入力画像と比較されることになる、第２の補間画像を生成することをも含む。ブロック１２０において、方法は、第１の露光レベルと関連付けられる第１の補間画像データを生成することを含み、第１の補間画像データは、第２のセット内の画素位置の画素強度値を含む。ブロック１３０において、方法は、第２の入力画像データと第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成することを含む。例えば、方法は、第１の露光レベルと第２の露光レベルとの間の比を規定する露光比を使用して、第１の補間画像データと第２の入力画像データとを位置整合させることと、第２の入力画像データのそれぞれの画素強度値と位置整合されている第１の補間画像データの画素強度値の間の少なくとも１つの差を判定することと、ノイズモデルに従って少なくとも１つの差を修正することとを含むことができる。
[0023]画像センサを使用して取り込まれる画像は、画像ノイズを含むことが多い。画像ノイズは、画像内の画素の明るさ又は色のランダムな変動であり得る。画像ノイズは電子ノイズに依存し得、画像センサ、及び／又は、画像センサからの画像データの転送に関与する回路によって生成される場合がある。種々の種類の画像ノイズは、照明のレベル、並びに、画像センサ及び画像センサに接続されている電子回路の温度に依存し得るガウスノイズを含み得る。画像の実際のノイズレベルはまた、センサ画素における画像データの増幅にも影響され得る。他の種類の画像ノイズは、ごま塩ノイズ、ショットノイズ、量子化ノイズ、異方性ノイズ、及び周期性ノイズを含む。画像ノイズはまた、露光時間及び画像センサのサイズにも影響され得る。ノイズから生じる第１の補間画像データと第２の入力画像データとの間の任意の差が、ブロック１３０において考慮に入れられる。
[0024]この過程の後、方法は、ブロック１４０において、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データからのデータを合成することによって、改善された画像データを生成することを含む。例えば、動きがある画像の領域において、第１の画素位置セット及び第２の画素位置セットの２つによって取り込まれるシーンが、当該領域にわたって異なり得るとき、第１の画素位置セットを表す第１の入力画像データは、第２の画素位置セットを表す第２の入力画像データと合成しないことができる。しかしながら、動きが検出されない領域においては、両方の画素位置セットを表す画像データを合成し、より高いダイナミックレンジをもたらすことができる。図１の方法のブロック１２０～１４０は、他の図面を参照しながらより詳細に後述する。
[0025]いくつかの実施例において、方法は、第２の露光レベルと関連付けられる第２の補間画像データを生成することを含み、第２の補間画像データは、第２のセット内の画素位置の画素強度値を含むことができる。そのような実施例において、ノイズモデルを適用して運動検出データを生成することは、第２の入力画像データと第１の補間画像データとの間の差、及び、第１の入力画像データと第２の補間画像データとの間の差に基づくことができる。
[0026]図２は、画像２００の少なくとも一部分の第１の画素位置セット及び第２の画素位置セットの例示的な配置を概略的に示す。図２の実施例において、第１の画素位置セットに属する画素位置は、白色ブロックによって表されており、第２の画素位置セットに属する画素位置は、点模様で埋めたブロックによって表されている。図２の実施例において、第１の画素位置セット及び第２の画素位置セットは、例えば、交互のジグザグパターンに配置されており、第１の画素位置セットに属する画素位置の斜めのジグザグ行が、第２の画素位置セットに属する画素位置の斜めのジグザグ行によって分離されている。図２の実施例の各画素位置は、色チャネルに関連付けられる文字によって標識され、文字「ｒ」は赤色チャネルを表し、文字「ｇ」は緑色チャネルを表し、文字「ｂ」は青色チャネルを表す。第１の画素位置セットの画素位置を表すブロック内の文字は大文字で表記されており、第２の画素位置セットの画素位置を表すブロック内の文字は小文字で表記されている。図２の色チャネルの配置は、ベイヤー色フィルタパターンに従う。図２の画素配置は非限定例であることは認められたい。画素位置の他の配置も可能であり得る。例えば、第１の画素位置セット及び第２の画素位置セットは、格子パターンにおいて、交互になった行として、交互になった列として、行の交互になった対として、列の交互になった対として、並びに、第１の画素位置セット及び第２の画素位置セットの任意の他の適切な配置で配置されてもよい。他の色フィルタアレイパターンが使用されてもよく、いくつかの実施例において、色フィルタアレイパターンの選択は、第１の画素位置セット及び第２の画素位置セットの配置に依存し得る。
[0027]ここで、図１の特徴をより詳細に説明する。
第１の補間画像データの生成
[0028]上述したように、画像によって取り込まれるシーンの一部分が第１の画素位置セットの露光と第２の画素位置セットの露光との間で変化する画像の領域において、第１の画素位置セット及び第２の画素位置セットの２つが実効的に異なる画像を取り込んでいる可能性があり、したがって、当該画像を合成する結果として、出力画像において細部が失われ、及び／又は、例えば、同じ物体が複数存在する、物体が分割される、又は、エッジが二重になるなどのアーチファクトが生じる場合があるとき、第１の画素位置セットを表す画像データ及び第２の画素位置セットを表す画像データは、合成しないことができる。第１の画素位置セットの露光と第２の画素位置セットの露光との間でシーンが動いたか否かを検出するために、画素強度値を比較することができる。しかしながら、図２を見ると、第１の画素位置セットの画素位置と第２の画素位置セットの画素位置とは空間的に重なり合わないことは明らかである。したがって、第２の画素位置セットの画素位置において、第１の露光レベルと関連付けられる画素強度値が生成される。一実施例において、ある画素位置における第１の補間画像データが、少なくとも、隣り合う画素位置を表す第１の入力画像データに基づいて生成される。いくつかの実施例において、第１の入力画像データが平滑化されてもよい。例えば、ある画素位置における平滑化データは、少なくとも、隣り合う画素位置を表す第１の入力画像データ及び平滑化されている画素位置を表す第１の入力画像データに基づいて生成することができる。
[0029]第１の画素セット及び第２の画素セットが図２のように配置される実施例において、緑色画素位置における第１の入力画像データの平滑化は、以下のカーネルＫ’Ｇを適用することを含むことができる。
[0030]第２の画素位置セットに属する緑色画素位置における第１の補間画像データの生成は、以下のカーネルＫＧを適用することを含むことができる。
[0031]図２の実施例において使用されている、ベイヤーフィルタパターン、並びに、結果生じる青色画素及び赤色画素の配置に対する緑色画素の配置の差に起因して、緑色画素位置に適用されるカーネルは、赤色画素及び青色画素には適用されないものであり得る。赤色画素位置又は青色画素位置における第１の入力画像データの平滑化は、以下のカーネルＫ’ＲＢを適用することを含むことができる。
[0032]第２の画素位置セットに属する赤色画素位置又は青色画素位置における第１の補間画像データの生成は、以下のカーネルＫＲＢを適用することを含むことができる。
[0033]上記で与えられたカーネルは非限定例であり、図２の画素位置配置に依存する。第１の画素位置セット及び第２の画素位置セットの配置が異なり、色フィルタアレイパターンが異なる実施例においては、異なるカーネルが使用されてもよい。他の実施例において、平滑化及び／又は補間データを生成するときに、より多くの隣り合う画素位置を表すデータが考慮されてもよい。いくつかの実施例において、平滑化及び／又は補間データを生成するときに、より少ない隣り合う画素位置を表すデータが考慮されてもよい。いくつかの実施例において、平滑化及び／又は補間データを生成するときに考慮される、隣り合う画素位置の数は、受信される画像データの画素密度に依存してもよい。例えば、画素密度がより高い場合、より多くの隣り合う画素位置を使用して、データを平滑化及び／又は補間することができる。
[0034]第１の補間画像データを生成するための適切な画素位置におけるカーネルＫＧ及びＫＲＢ（すなわち、第２の画素位置セットに属する緑色画素位置におけるＫＧ及び第２の画素位置セットに属する赤色及び青色画素位置におけるＫＲＢ）の適用、並びに、第１の入力画像データを平滑化するためのカーネルＫ’Ｇ及びＫ’ＲＢ（すなわち、第１の画素位置セットに属する緑色画素位置におけるＫ’Ｇ及び第１の画素位置セットに属する赤色及び青色画素位置におけるＫ’ＲＢ）の適用からもたらされるデータは、第１の等方性補間と呼ぶことができる平面

として表現することができる。
[0035]上述したカーネルはまた、第２の入力画像データを平滑化し、第２の補間画像データを生成するために、第２の入力画像データに適用することもできる。例えば、カーネルＫＧ及びＫＲＢを、第１のセットに属する画素位置において適用して、第２の補間画像データを生成することができ、カーネルＫ’Ｇ及びＫ’ＲＢを、第２のセットに属する画素位置において適用して、第２の入力画像データを平滑化することができる。第２の画像データを生成し、第２の入力画像データを平滑化するために上記カーネルを適用することからもたらされるデータは、第２の等方性補間と呼ぶことができる平面

として表現することができる。いくつかの実施例において、第２の入力画像データと第１の補間画像データとの間の差に基づいてノイズモデルを適用して運動検出データを生成することは、第２の画素位置セットの第２の入力を平滑化することと、平滑化されている第２の入力画像データと第１の補間画像データとの間の差に基づいてノイズモデルを適用して運動検出データを生成することとを含むことができる。
画素強度の少なくとも１つの差の判定
[0036]上述したように、第２の入力画像データと第１の補間画像データとの間の差に基づいて運動検出データを生成することは、露光比に基づいて画像データを位置整合させることと、第２の入力画像データのそれぞれの画素強度値と位置整合されている第１の補間画像データの画素強度値の間の差を判定することとを含むことができる。いくつかの実施例において、第２の入力画像データは、平滑化されている第２の入力画像データであってもよい。第１の補間画像データは、第２のセットの画素位置についての、第１の露光レベルと関連付けられる画素強度値を含むことができ、第２の入力画像データは、第２の画素位置セットの画素位置についての、第２の露光レベルと関連付けられる画素強度値を含むことができる。第１の補間画像データによって表される画素位置の画素強度値と、第２の入力画像データによって表されるそれぞれの画素強度値との間の少なくとも１つの差を判定することによって、画像によって取り込まれるシーンが、例えば、シーンの一部分の動き又はシーンを取り込むのに使用される画像センサの動きに起因して、第１の画素位置セットと第２の画素位置セットとで異なる画像の領域を判定することが可能であり得る。
[0037]いくつかの実施例において、少なくとも１つの差を判定することは、第１の露光レベルと第２の露光レベルとの間の比を規定する露光比を使用して第１の補間画像データと第２の入力画像データとを位置整合させることを含むことができる。第１の補間画像データと第２の入力画像データとを位置整合させることによって、第１の露光レベルと第２の露光レベルとの間の露出の差に起因する画素強度の任意の差を補償することができる。第１の補間画像データと第２の入力画像データとを位置整合させることは、露光比を用いて画素強度値を適切に操作することを含むことができる。例えば、位置整合させることは、第１の画像データの画素強度値を露光比で除算することを含むことができる。
[0038]いくつかの実施例において、第２の補間画像データと第１の入力画像データも、上記と同じ様式で比較することができる。第１の補間画像データと第２の入力画像データとの間の差の判定からの結果を、第２の補間画像データと第１の入力画像データとの間の差の判定と比較して、画像によって取り込まれるシーン内で動きが検出されたか否かを判定することができる。
[0039]１つの実施例において、少なくとも１つの差を判定することは、平面

及び

からの平均の差を計算することを含むことができる。３×３ボックスフィルタを使用して、長い等方性補間

及び短い等方性補間

を平滑化することができ、次いで、平均の差を、平滑化結果の絶対差に基づいて計算することができる。この計算は、以下のように表現することができる。

式中、ＤｏＭｉ，ｊは、各画素位置（ｉ，ｊ）における第１の等方性補間の画素強度値と、第２の等方性補間の画素強度値との間の平均の差である。ＤｏＭの値が非ゼロである画素位置は、第１の画素位置セットによって取り込まれる画像が第２の画素位置セットによって取り込まれる画像と異なる画素位置を示すことができる。しかしながら、例えばノイズなどの他の因子が第１の等方性補間と第２の等方性補間との間の差に寄与する場合があり、これらの他の因子に起因して生じる差と、画像の少なくとも一部分において取り込まれるシーンの動きに起因する差とを区別することが望ましい場合がある。
運動検出データの生成
[0040]上述したように、画像センサを使用して取り込まれる画像には、予測される程度のノイズが存在する場合がある。ノイズは、露光レベル及び画像データを生成するのに使用される画像センサを含む、複数の変数に依存し得る。前述の過程において判定される、第１の補間画像データと第２の入力画像データとの間、又は、第１の等方性補間と第２の等方性補間との間のいずれかの任意の差が、ノイズに起因するのではなく、画像によって取り込まれるシーン内の変化に起因することを保証するために、方法は、ノイズモデルに従って少なくとも１つの差を修正して、運動検出データを生成することを含むことができる。
[0041]一実施例において、ノイズ値を、画素位置における少なくとも１つの差から減算することができる。例えば、ノイズレベルを、以前に計算されている各画素位置におけるＤｏＭから減算することができる。ノイズ値は、各画素位置において異なり得る。ノイズ値は、ノイズモデルに従って、局所的な画素強度において予測されるノイズレベルをパラメータによってスケーリングすることによって計算することができる。画素位置において計算される差からノイズ値を減算することによって、ノイズレベルを下回る、第１の補間画像データと第２の入力画像データとの間の差を度外視することができる。少なくとも１つの画素に対するこの過程の結果は、運動検出データとして出力することができる。
[0042]予測ノイズ値をスケーリングするのに使用されるパラメータは、定数であってもよく、又は、画像の異なる領域に対して変化してもよい。倍数は、線形又は非線形量であってもよい。いくつかの実施例において、倍数は、センサ利得に依存し得るスケーリング係数を含む。いくつかの実施例において、倍数は、調整過程とも考慮され得る較正過程の間に決定することができる。較正過程は、本方法を、サンプル画像データに対して実施することと、倍数を修正して方法の結果を最適化することとを含むことができる。いくつかの実施例において、ノイズモデルは、時間的ノイズを低減するように構成されている。ノイズモデルを表すデータは、ルックアップテーブルとして記憶することができる。
[0043]いくつかの実施例において、運動検出データを生成することは、画像が第１の入力画像データと第２の入力画像データとの間で異なる、画像の少なくとも１つの領域を示す運動検出マスクを生成することを含む。いくつかの実施例において、運動検出マスクは、ＤｏＭｉ，ｊ計算の結果を得て、各画素位置においてＤｏＭｉ，ｊ値からノイズレベルを減算し、２×２窓内で結果のデータを拡張することによって生成することができる。いくつかの実施例において、運動検出マスクを生成することは、ノイズレベルによる少なくとも１つの差の修正の結果を拡大することと、結果を運動応答パラメータによって乗算することとを含む。運動応答パラメータを使用して、運動検出の強度を制御することができ、例えば、運動応答パラメータを使用して、運動検出マスクの感度を増大又は低減することができる。結果もたらされる運動検出マスクは、詳細に後述する、改善された画像データを生成するときに使用することができる。
改善された画像データの生成
[0044]一例において、受信されている入力画像データからの改善された画像データの生成は、例えば、運動検出マスクなどの、運動検出データに依存する。運動検出マスクは、動きが検出された画像の領域を示すことができる。動きが検出された領域においては、出力画像データは、第１の画素位置セットと第２の画素位置セットとの２つの間で取り込まれる内容の差に起因して、第１の画素位置セットを表すデータと、第２の画素位置セットを表すデータとを合成することによって生成することはできない。第１の露光と第２の露光との間で動きがないことを運動検出マスクが示す領域において、改善された画像データは、第１の入力画像データと第２の入力画像データとの合成として生成することができる。
ｉ．合成露光
[0045]一実施例において、改善された画像データを生成することは、所与の画素位置について、運動検出データが運動が検出されることを示さないことを判定することと、上記判定に応答して、受信されている第１の入力画像データと第２の入力画像データとを合成することとを含む。運動検出データに基づいて画素位置において動きが検出されたか否かを判定することは、上記のように生成される運動検出マスクを使用して、動きを含む画像の領域内に画素位置が位置付けられるか否かを判定することを含むことができる。改善された画像データを生成するときに考慮される、隣り合う画素位置の数は、受信されている入力画像データの画素強度、及び、画像データ内で画素位置に適用される色フィルタアレイパターンに依存し得る。
[0046]一実施例において、受信されている第１の入力画像データと第２の入力画像データとを合成して、所与の画素位置の改善された画像データを生成することは少なくとも、露光比に基づいて第１の入力画像データと第２の入力画像データとを位置整合させることによって、位置整合されている画像データを生成することを含むことができる。上述したように、第１の画素位置セット及び第２の画素位置セットの強度値は、最初、露光値の差に起因して互いからずれている。したがって、位置整合されている画像データを生成することによって、第１の画素位置セットを表す画像データと第２の画素位置セットを表す画像データが、系統的誤差を導入することなく合成されることを可能にすることができる。一実施例において、位置整合されている画像データを生成することは、黒レベルを減算することと、入力データを最上位ビット（ＭＳＢ）にシフトアップして、入力データを出力データと位置整合させることと、次いで、第１の入力画像データを露光比で除算することとを含むことができる。
[0047]受信されている第１の入力画像データと第２の入力画像データとを合成することはまた、所与の画素位置が画像のコーナを表す領域にあるか否かを判定することと、所与の画素位置が画像のコーナを表す領域にあるか否かの判定に応答して、所定の措置を実施することとを含むこともできる。コーナ検出又は局所勾配の変化の検出の任意の適切な方法を使用して、画素位置が画像のコーナを表す領域にあるか否かを判定することができる。
[0048]２つ以上の方向において異方性が高い画像内の領域が、画像のコーナを表す可能性がある。例えば、空のようなコントラストの高い背景を伴う建造物を表す画像において、建造物のコーナ、窓／扉のコーナなどを表す画像の領域が、異方性が高い可能性がある。一般的に、画像処理においては、画像内の線及び／又はエッジは、画像内の異なる物体の間の境界を鮮鋭化させるのを助け、以て細部を増大させることができるため、画像内の線及び／又はエッジに沿って補間することが望ましい。しかしながら、コーナにまたがる補間は、望ましくない効果を生じる可能性がある。例えば、コーナにまたがる補間は、出力画像においてコーナの頂点を切り落とす可能性があり、以て、画像内の細部及び／又は正確さが失われる結果となる可能性がある。画像のコーナを検出することによって、これらのコーナにまたがる補間によって出力が生成されることを回避することができる。コーナ検出の例示的な方法は、図３ａ及び図３ｂを参照しながら後述する。
[0049]所与の画素位置がコーナを表す領域にあるか否かを検出する例示的な方法は、所与の画素位置を中心とする領域内の画素位置の画素強度値と、周囲の領域内のそれぞれの画素位置の画素強度値とを比較することを含む。複数の画素位置を含む複数の画素領域であって、画素領域は、所与の画素位置を中心とする中央画素領域を囲み、部分的に重なり合う、複数の画素領域の各々について、方法は、位置整合されている画像データから、複数の画素領域の各々における画素位置の画素強度値と、中央画素領域内のそれぞれの画素位置との間の絶対差の合計を判定することを含むことができる。図３ａ及び図３ｂの例において、画像３００の少なくとも一部分を表す画素位置が示されている。位置整合されているデータが考慮されているため、画像の部分を表すすべての画素位置が、露光レベルが同じであるものとして示されている。一実施例として、図３ａ及び図３ｂにおいて、考慮されている画素位置は青色画素であり、中央画素領域３１０は、青色画素位置を中心とする３×３画素領域である。
[0050]中央画素領域を囲み、重なり合う複数の画素領域は、中央画素領域から２画素ずれている３×３画素領域であり、結果、複数の画素領域内の各画素位置は、中央画素領域内のそれぞれの画素位置と同じ色を有する。画素強度値は、同じ色チャネルに属する画素位置の間でのみ比較される。一実施例において、中央画素領域を囲む８つの画素領域が考慮され、図３ａは、対角線方向にずれた周囲の領域３２０、３３０、３４０、及び３５０を示し、図３ｂは垂直方向及び水平方向にずれた周囲の領域３６０、３７０、３８０、及び３９０を示す。複数の画素領域３２０～３９０は、いずれかの図を分かりにくくしないように、別個の図面上に示されている。中央画素領域内の画素位置の数は、複数の画素領域の各々の中の画素位置の数に等しい。
[0051]各画素領域について、当該画素領域及び中央画素領域の画素強度値の間の絶対差の合計は、以下に従って計算される。

式中、ＳＡＤｋは画素領域ｋの絶対差の合計を表し、Ｗｋ（ｉ，ｊ）は画素領域ｋ内且つ前記画素領域内の座標位置（ｉ，ｊ）内の画素強度値を表し、Ｗｃ（ｉ，ｊ）は、中央画素領域内の座標位置（ｉ，ｊ）における中央画素領域内の画素強度値を表す。図３ａ及び図３ｂの実施例において、８つの画素領域が存在し、したがって、ｋ∈｛１，２，３，４，５，６，７，８｝である。
[0052]ノイズに起因して周囲の画素領域の差が考慮に入れられ得るか否かを判定するために、絶対差の少なくとも１つの合計と、ノイズレベルとを比較することができる。例えば、方法は、絶対差の合計が最も低い画素領域からの絶対差の合計と、ノイズモデルに基づく所与の画素位置における予測ノイズレベルとを比較することを含むことができる。いくつかの実施例において、当該過程を反復して、画像によって取り込まれるシーンのコーナを表す画像の少なくとも１つの領域を特定するコーナ検出マスクを生成することができる。
[0053]上述したように、領域がコーナを含まない場合、当該領域にまたがって画素強度値を補間することが望ましい場合があり、領域がコーナを含む場合、当該領域にまたがって画素強度値を補間することは望ましくない場合がある。
[0054]一実施例において、所与の画素位置が画像のコーナを表す領域にあるという判定に応じて、所定の措置は、所与の画素位置を表す、位置整合されている画像データの部分を、改善された画像データとして使用することを含むことができる。コーナを表す領域において位置整合されている画像データを改善された画像データとして使用することによって、出力画像内のコーナを示す細部を維持することができる。
[0055]一実施例において、所与の画素位置が画像のコーナを表す領域にないという判定に応じて、所定の措置は、位置整合されている画像データを使用して補間することによって、所与の画素位置を表す改善された画像データを生成することを含むことができる。前述したように画像データを位置整合させる結果として、第１の画素セットの画素位置と比較して、第２の画素セットの画素位置の相対ノイズレベルがより高くなり得る。ここで、補間の目的は、画素強度値を方向的に平滑化し、画素強度値のノイズレベルに従って画素強度値を重み付けすることである。補間によって、出力画像の細部とノイズとの間のトレードオフを平衡させることができる。
[0056]位置整合されている画像データを使用して補間することは、第１の複数の勾配を生成することと、第１の複数の補間値を生成することと、勾配に従って第１の複数の補間値を合成して、改善された画像データを生成することとを含むことができる。補間の方向が最小勾配の方向であるか、又は、任意の方向の勾配が不十分である場合に等方性補間が使用されるような、勾配に従って補間値を合成する任意の適切な方法を使用することができる。位置整合されている画像データを使用して（すなわち、第１の画素セットと第２の画素セットの両方を表す画像データを使用して）補間するときに含まれる計算は、後述するような第１の画素位置セット又は第２の画素位置セットを表す画像データを使用して補間するときに使用される計算とは異なり、したがって、本論述において、勾配及び補間値はそれぞれ、第１の複数の勾配及び第１の複数の補間値に属する。
[0057]第１の複数の勾配のうちの勾配の各々は、複数の方向からの１つの方向と関連付けることができる。例えば、第１の複数の勾配は、複数の方向の各々の勾配値、すなわち、水平方向（ＧＨ）、垂直方向（ＧＶ）、第１の対角線方向（ＧＤ４５）、及び第２の対角線方向（ＧＤ１３５）を含むことができる。勾配値は、互いに同じ色チャネルに属する画素位置の適切にオフセットされた対を表すデータの絶対差を計算し、これらの絶対差の加重和を計算することによって取得される。いくつかの実施例において、第１の複数の勾配のうちの勾配はノイズモデルに依存し得、例えば、上記で計算されている差の加重和から、何らかのノイズモデルに従って、局所画素強度における複数の予測ノイズレベルを減算することができる。したがって、予測ノイズレベルよりも低い勾配を度外視することができる。
[0058]第１の複数の補間値のうちの少なくともいくつかの補間値は、複数の方向のうちのある方向と関連付けることができる。例えば、第１の複数の補間値は、複数の方向の各々の補間値、すなわち、垂直方向（ＩＨ）、水平方向（ＩＶ）、第１の対角線方向（ＩＤ４５）、及び第２の対角線方向（ＩＤ１３５）を含むことができる。第１の複数の補間値はまた、等方性補間と関連付けられる補間値（ＩＩＳＯ）をも含み得る。いくつかの実施例において、第１の複数の補間値のうちの補間値は、露光比に依存する。第１の複数の補間値は第１の入力画像データと第２の入力画像データの両方から計算されるため、補間値を計算するときに露光比を考慮することができる。例えば、隣り合う画素位置を表すデータからの寄与を重み付けするのに使用される係数を、露光比に基づいて決定することができる。一実施例において、第１の複数の補間値のうちの補間値は、隣り合う画素位置を表す、位置整合されている画像データから補間することによって生成され、各隣り合う画素位置を表す画像データは、上記隣り合う画素位置のそれぞれの分散に従って重み付けすることができる。
[0059]図４は、第１の複数の勾配に従って第１の複数の補間値を合成して、改善された画像データを生成する方法の図を示す。「ブレンド１（Ｂｌｅｎｄ １）」において、水平方向の勾配及び垂直方向の勾配（ＧＨ及びＧＶ）に従って水平方向の補間値及び垂直方向の補間値（ＩＨ及びＩＶ）がブレンド（ｂｌｅｎｄ）され、「ブレンド２（Ｂｌｅｎｄ ２）」において、対角線方向の勾配（ＧＤ４５及びＧＤ１３５）に従って２つの対角線方向の補間値（ＩＤ４５及びＩＤ１３５）がブレンドされ、「ブレンド３（Ｂｌｅｎｄ ３）」において、第１の複数の勾配（ＧＨ、ＧＶ、ＧＤ４５、及びＧＤ１３５）に従って、「ブレンド１」及び「ブレンド２」からの結果がブレンドされる。次いで、最後のブレンドである「ブレンド４（Ｂｌｅｎｄ ４）」が、第１の複数の勾配（ＧＨ、ＧＶ、ＧＤ４５、及びＧＤ１３５）に従って、「ブレンド３」の結果と、等方性補間値ＩＩＳＯとを合成する。この最後のブレンド「ブレンド４」の結果が、画素位置における改善された画像データとして使用される。
ｉｉ．独立露光
[0060]一実施例において、改善された画像データを生成することは、所与の画素位置について、運動検出データが運動が検出されることを示すことを判定することと、上記判定に応答して、受信されている第１の入力画像データ及び第２の入力画像データのうちの一方を、所与の画素位置の改善された画像データの一次ソースとして選択することとを含む。第１の入力画像データ又は第２の入力画像データのいずれを使用するかの選択は、後述するようなクリッピングされる領域又は閾値露光の検出に依存し得る。画像によって取り込まれるシーンに動きがあることを運動検出マスクが示す画像の領域において、第１の画素位置セットを表すデータによって取り込まれる画像は、第２の画素位置セットを表すデータによって取り込まれる画像とは異なり得る。したがって、第１の画素位置セット又は第２の画素位置セットのうちの一方のみを表す画像データから、改善された画像データを生成することができる。一実施例において、改善された画像データが第１の入力画像データから生成されるべきであると判定される場合、第１の画素位置セットにおいて、改善された画像データは、第１の入力画像データを含むことができ、第２の画素位置セットにおいて、改善された画像データは、隣り合う画素位置を表す第１の入力画像データから補間することによって生成される画像データを含むことができる。一実施例において、改善された画像データが第２の入力画像データから生成されるべきであると判定される場合、第２の画素位置セットによって表される画素位置において、改善された画像データは、第２の入力画像データを含むことができ、第１の画素位置セットにおいて、改善された画像データは、隣り合う画素位置を表す第２の入力画像データから補間することによって生成される画像データを含むことができる。一実施例において、出力データが生成される、第１の入力画像データ又は第２の入力画像データのいずれか一方によって表される画素セットに属する画素位置に応じて、第１の入力画像データ又は第２の入力画像データのいずれか一方から出力データを生成することは、画素位置を表す第１の入力画像データ又は第２の入力画像データのいずれか一方の一部分を選択することを含むことができる。
[0061]一実施例において、所与の画素位置が一次ソースとして選択されている第１の入力画像データ又は第２の入力画像データによって表されないとき選択されている第１の入力画像データ又は第２の入力画像データに基づいて所与の画素位置の改善された画像データを生成することは、第２の複数の勾配を生成することと、第２の複数の補間値を生成することと、第２の複数の勾配に従って第２の複数の補間値を合成することとを含むことができる。第２の複数の勾配の各々は、選択されている第１の入力画像データ又は第２の入力画像データを使用して生成することができ、各勾配は、複数の方向からの１つの方向と関連付けることができる。例えば、第２の複数の勾配は、複数の方向の各々の勾配値、すなわち、垂直方向

、水平方向

、第１の対角線方向

、及び第２の対角線方向

を含むことができ、上記と同じように上付き文字「－」は、勾配が、改善された画像データが生成されている所与の画素位置とは異なる画素位置セットに属する隣り合う画素位置を表すデータから計算されることを示す。いくつかの実施例において、第２の複数の勾配は、ノイズモデルに依存する。例えば、予測ノイズよりも小さい勾配が度外視されるように、局所画素強度における複数の予測ノイズレベルを、計算されている勾配値から減算することができる。
[0062]第２の複数の補間値のうちの補間値は、選択されている第１の入力画像データ又は第２の入力画像データを使用して生成することができ、第２の複数の補間値のうちの少なくともいくつかの補間値は、複数の方向からの１つの方向と関連付けることができる。例えば、第２の複数の補間値は、複数の方向の各々の補間値、すなわち、垂直方向

、水平方向

、第１の対角線方向

、及び第２の対角線方向

を含むことができる。例えば、第２の複数の補間値は、等方性補間

と関連付けられる補間値を含むこともでき、上付き文字「－」は、補間値が、改善された画像データが生成されている所与の画素位置とは異なる画素位置セットに属する隣り合う画素位置を表すデータから計算されることを示す。当該実施例において、補間値は互いに同じ露光レベルを有する画素位置を表すデータから計算されるため、補間に使用される重み付けは露光レベルに依存し得ず、代わりに、一定であり得る。いくつかの実施例において、例えば、図４を参照しながら前述したように、第２の複数の勾配に従って、第２の複数の補間値を合成して改善された画像データを生成することができる。
[0063]画像を取り込むとき、より高い露光レベルと関連付けられる画素位置は、より低い露光レベルと関連付けられる画素位置と比較して飽和する可能性がより高くなり得る。飽和画素はまた、クリッピングされる画素としても参照される場合がある。飽和は、ある画素位置の画素強度値が露光中に上限に達したときに発生し得る。露光中にすでに飽和した画素位置に当たる光を記録することはできない。したがって、画素位置が飽和すると、画像に記録される情報が失われる場合がある。画像データを処理するときに、飽和画素位置を表す画像データが使用されるのを回避することが望ましい場合がある。一実施例において、所与の画素位置が、飽和画素位置は、第１の露光レベル及び第２の露光レベルのうちの高い方の露光レベルと関連付けられる少なくとも１つの飽和画素位置を含むクリッピングされる領域に位置付けられているという判定に応じて、所与の画素位置の改善された画像データを生成することは、第１の露光レベル及び第２の露光レベルのうちの低い方の露光レベルと関連付けられる、受信されている第１の入力画像データ又は第２の入力画像データを選択することを含むことができる。例えば、第２の画素位置セットが低い方の露光レベルと関連付けられる場合、第２の画素位置セットにおいて、第２の入力画像データを選択することができ、第１の画素位置セットにおいて、第２の画素セットに属する隣り合う画素位置を表す画像データ、例えば、第２の入力画像データを、上述したように処理することができる。
[0064]このように、第１の画素位置セットを表す画像データが、クリッピングされる領域を含むという判定に従って、上記クリッピングされる領域について、第２の画素位置セットを表すデータから、改善された画像データを生成することができ、第２の画素位置セットは、より低い露光レベルと関連付けられ、したがって、第１の画素位置セットと比較して、クリッピングされる画素位置を有する可能性がより低く、及び／又は、クリッピングされる画素位置の数が低減され得る。第１の画素位置セットが第２の画素位置セットよりも高い露光レベルと関連付けられる実施例において、所与の画素位置に隣り合う第１の画素位置セットの局所的強度が所定の閾値を下回ると判定されることに応じて、方法は、所与の画素位置について、所与の画素位置が第２の画素位置セットに属する場合には平滑化された第２の入力画像データを使用して、所与の画素位置が第１の画素位置セットに属する場合は第２の補間画像データを使用して、改善された画像データを生成することを含むことができる。局所的画素強度は、例えば、３×５ボックスフィルタを適用することによって判定することができる。
画像処理システム
[0065]本明細書において説明されている実施例は、例えば、画像処理システムなど、任意の適切な装置を使用して実施することができる。画像処理システムは、本明細書において説明されている方法を実施するのに適したハードウェア及びプログラムコードの任意の組み合わせを含むことができる。図５は、画像処理システム５００の一例を示し、画像処理システム５００は、少なくとも１つのプロセッサ５１０と、少なくとも１つの記憶媒体５２０とを備える。少なくとも１つの記憶媒体５２０は、任意の数の揮発性又は不揮発性メモリを含んでもよい。例えば、少なくとも１つの記憶媒体５２０は、ハードドライブ、ＣＤ－ＲＯＭディスク、ＵＳＢドライブ、ソリッドステートドライブ、ＲＡＭ、又は、ローカルに維持され若しくは遠隔してアクセスされ、本明細書において説明されている機能に適したコンピュータ可読コードを記憶することが可能な、任意の他の形態の磁気記憶デバイス、光学記憶デバイス、若しくはフラッシュメモリデバイスを含んでもよい。少なくとも１つのプロセッサ５１０は、標準的な中央処理装置若しくはグラフィックスプロセッシングユニット（ＣＰＵ若しくはＧＰＵ）、又は、本明細書において説明されている目的のために設計されているカスタム処理装置であってもよい。少なくとも１つのプロセッサ５１０は、任意の数の処理コアを含んでもよい。いくつかの実施例において、画像処理システム５００は、コンピューティングデバイスであってもよく、他の実施例において、画像処理システム５００は、例えば、インターネットのような広域ネットワーク、無線若しくは有線ローカルエリアネットワーク、又は、任意の他のタイプのネットワークなどのネットワークを介して通信可能に結合されている複数のコンピューティングデバイスを含んでもよい。画像処理システム５００は、データを送信及び／又は受信するための入力及び／又は出力デバイスを含む、任意の数のインターフェースを備えてもよい。
[0066]一実施例において、少なくとも１つの記憶媒体５２０は、少なくとも１つのプロセッサ５１０によって実行されると、少なくとも１つのプロセッサ５１０に、画像の少なくとも一部分を表す入力画像データ５３０を受信するステップであって、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、入力画像データ５３０を受信するステップを行わせる命令を記憶することができる。いくつかの実施例において、入力画像データ５３０は、画像センサから受信される。画像センサは、画像処理システム５００に対してローカルに配置することができ、例えば、画像処理システム５００は、画像センサが、スマートフォン又はカメラのような画像取り込みデバイス内にあるように配置することができる。他の実施例において、画像処理システム５００は、ネットワークを介して入力画像データ５３０を受信するためのネットワークインターフェースを備えることができる。入力画像データ５３０は、１つ又は複数のソースから受信されてもよい。
[0067]少なくとも１つの記憶媒体５２０は、少なくとも１つのプロセッサ５１０によって実行されると、少なくとも１つのプロセッサ５１０に、第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであって、第１の補間画像データは、第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップを行わせる命令を記憶することができる。いくつかの実施例において、画像処理は、少なくとも１つの記憶媒体５２０に第１の補間画像データの少なくとも一部分を記憶することができる。少なくとも１つの記憶媒体５２０は、少なくとも１つのプロセッサ５１０によって実行されると、少なくとも１つのプロセッサ５１０に、第２の入力画像データと第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データ５３０からのデータを合成することによって、改善された画像データ５４０を生成するステップと、を行わせる命令を記憶することができる。いくつかの実施例において、ノイズモデルを表すデータは、画像処理システムにあるメモリに記憶することができ、例えば、ルックアップテーブルの形態で、ノイズモデルを伴う、本明細書において説明されている任意の過程の間にアクセスすることができる。
[0068]画像処理システム５００は、任意の適切なデータ形式において、改善された画像データ５４０を出力することができる。いくつかの実施例において、出力される改善された画像データは、原画像形式であり、任意の他の方法を使用してさらに処理することができる。他の実施例において、改善された画像データ５４０は、画像処理システム５００によってさらに処理して、例えば、ＪＰＥＧ、ＰＮＧ、又は任意の他の適切なデジタル画像フォーマットなどのデジタル形式の出力画像を生成することができる。
[0069]図６は、非一時的コンピュータ可読記憶媒体６００であって、コンピュータ実行可能命令を備え、コンピュータ実行可能命令は、プロセッサ６１０によって実行されると、画像の少なくとも一部分を表す入力画像データ６２０を受信するステップであり、入力画像データは、第１の露光レベルと関連付けられる第１の画素位置セットを表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２の画素位置セットを表す第２の入力画像データを含む、受信するステップと、第１の露光レベルと関連付けられる第１の補間画像データ６３０を生成するステップであり、第１の補間画像データ６３０は、第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、第２の入力画像データと第１の補間画像データ６３０との間の差に基づいて、ノイズモデル６４０を適用して運動検出データを生成するステップと、運動検出データに応じて、受信されている第１の入力画像データ及び第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、を備える画像処理システムの動作を引き起こす、非一時的コンピュータ可読記憶媒体６００の一実施例を示す。非一時的コンピュータ可読記憶媒体は、例えば、図６に関連して説明されている記憶媒体のいずれかなど、任意の適切な記憶媒体であってもよい。
[0070]上記の実施例は、例示的な実施例として理解されるべきである。さらなる実施例が想定される。
［符号の説明］
２００ 画像
３００ 画像
３１０ 中央画素領域
３２０ 画素領域
３６０ 周囲の領域
５００ 画像処理システム
５１０ プロセッサ
５２０ 記憶媒体
５３０ 入力画像データ
５４０ 改善された画像データ
６００ 非一時的コンピュータ可読記憶媒体
６１０ プロセッサ
６２０ 入力画像
６３０ 第１の補間画像データ
６４０ ノイズモデル
[0071]任意の１つの実施例に関連して説明されている任意の特徴は、単独で又は説明されている他の特徴と組み合わせて使用されてもよく、また、任意の他の実施例の１つ若しくは複数の特徴との組み合わせ、又は、任意の他の実施例の任意の組み合わせにおいて使用されてもよいことが理解される。さらに、添付の特許請求項の範囲から逸脱することなく、上記で説明されていない等価物及び修正形態も、利用することができる。
［発明の項目］
［項目１］
画像の少なくとも一部分を表す入力画像データを受信するステップであり、前記入力画像データが、第１の露光レベルと関連付けられる第１のセットの画素位置を表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２のセットの画素位置を表す第２の入力画像データを含む、受信するステップと、
前記第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、前記第１の補間画像データが、前記第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、
前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、
前記運動検出データに応じて、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、
を含む、方法。
［項目２］
前記第２の露光レベルと関連付けられる第２の補間画像データを生成するステップをさらに含み、前記第２の補間画像データが、前記第２のセットの画素位置の画素強度値を含み、ノイズモデルを適用して運動検出データを生成するステップが、前記第２の入力画像データと前記第１の補間画像データとの間の差、及び、前記第１の入力画像データと前記第２の補間画像データとの間の差に基づく、項目１に記載の方法。
［項目３］
前記運動検出データを生成するステップが、前記画像が前記第１の入力画像データと前記第２の入力画像データとの間で異なる、前記画像の少なくとも１つの領域を示す運動検出マスクを生成することを含む、項目１又は２に記載の方法。
［項目４］
前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップが、
前記第２のセットの画素位置の前記第２の入力データを平滑化することと、
平滑化されている前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、前記ノイズモデルを適用して運動検出データを生成することと、
を含む、項目１～３のいずれか一項に記載の方法。
［項目５］
ある画素位置における前記第１の補間画像データが、少なくとも、隣り合う画素位置を表す第１の入力画像データに基づいて生成される、項目１～４のいずれか一項に記載の方法。
［項目６］
前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、前記ノイズモデルを適用して運動検出データを生成するステップが、
前記第１の露光レベルと前記第２の露光レベルとの間の比を規定する露光比を使用して前記第２の入力画像データと前記第１の補間画像データを位置整合させることと、
前記第２の入力画像データのそれぞれの画素強度値と位置整合されている前記第１の補間画像データの画素強度値の間の少なくとも１つの差を判定することと、
前記ノイズモデルに従って前記少なくとも１つの差を修正することと、
を含む、項目１～５のいずれか一項に記載の方法。
［項目７］
改善された画像データを生成するステップが、
前記運動検出データが、所与の画素位置について動きが検出されていることを示さないことを判定することと、
前記判定に応答して、受信されている前記第１の入力画像データと前記第２の入力画像データとを合成して、前記所与の画素位置の改善された画像データを生成することと、
を含む、項目１～６のいずれか一項に記載の方法。
［項目８］
受信されている前記第１の入力画像データと前記第２の入力画像データとを合成して、前記所与の画素位置の改善された画像データを生成することが、少なくとも、
前記露光比に基づいて前記第２の入力画像データと前記第１の入力画像データを位置整合させることによって、位置整合されている画像データを生成することと、
前記所与の画素位置が前記画像のコーナを表す領域にあるか否かを判定することと、
前記所与の画素位置が前記画像のコーナを表す領域にあるか否かの前記判定に応答して、所定の措置を実施することと、
を含む、項目７に記載の方法。
［項目９］
（ｉ）前記所与の画素位置が前記画像のコーナを表す領域にあるという判定に応じて、前記所定の措置が、前記所与の画素位置を表す、前記位置整合されている画像データの部分を、前記改善された画像データとして使用することを含む、項目８に記載の方法。
［項目１０］
（ｉｉ）前記所与の画素位置が前記画像のコーナを表す領域にないという判定に応じて、前記所定の措置が、前記位置整合されている画像データを使用して補間することによって、前記所与の画素位置を表す改善された画像データを生成することを含む、項目８に記載の方法。
［項目１１］
前記位置整合されている画像データを使用して補間することが、
第１の複数の勾配を生成することであって、各勾配が、複数の方向からの１つの方向と関連付けられ、前記ノイズモデルに依存する、第１の複数の勾配を生成することと、
第１の複数の補間値を生成することであって、前記補間値のうちの少なくともいくつかが、前記複数の方向からの複数の方向と関連付けられる、第１の複数の補間値を生成することと、
前記第１の複数の勾配に従って前記第１の複数の補間値を合成して、改善された画像データを生成することと、
を含む、項目１０に記載の方法。
［項目１２］
前記第１の複数の補間値のうちの前記補間値が、前記露光比に依存する、項目１１に記載の方法。
［項目１３］
前記第１の複数の補間値のうちの前記補間値が、隣り合う画素位置を表す、位置整合されている画像データから補間することによって生成され、各隣り合う画素位置を表す前記位置整合されている画像データが、前記隣り合う画素位置のそれぞれの分散に従って重み付けされる、項目１２に記載の方法。
［項目１４］
前記所与の画素位置が前記画像のコーナを表す領域にあるか否かを判定することが、
複数の画素位置を含む複数の画素領域であって、前記画素領域が、前記所与の画素位置を中心とする中央画素領域を囲み、部分的に重なり合う、複数の画素領域の各々について、前記位置整合されている画像データから、各画素領域における画素位置の画素強度値と、前記中央画素領域内のそれぞれの画素位置との間の絶対差の合計を判定することであって、前記中央画素領域内の画素位置の数が、前記複数の画素領域の各々における画素位置の数に等しい、判定することと、
前記絶対差の合計が最も低い画素領域からの前記絶対差の合計と、前記ノイズモデルに基づく前記所与の画素位置における予測ノイズレベルとを比較することと、
を含む、項目８～１３のいずれか一項に記載の方法。
［項目１５］
改善された画像データの生成することが、
前記運動検出データが、所与の画素位置について動きが検出されていることを示すことを判定することと、
前記判定に応答して、受信されている前記第１の入力画像データ及び前記第２の入力画像データのうちの一方を、前記所与の画素位置の改善された画像データの一次ソースとして選択することと
を含む、項目１～６のいずれか一項に記載の方法。
［項目１６］
前記所与の画素位置が、一次ソースとして選択されている前記第１の入力画像データ又は前記第２の入力画像データによって表されないとき、選択されている前記第１の入力画像データ又は前記第２の入力画像データに基づいて前記所与の画素位置の前記改善された入力データを生成することが、
選択されている前記第１の入力画像データ又は前記第２の入力画像データを使用して第２の複数の勾配を生成することであって、前記第２の複数の勾配のうちの各勾配は、複数の方向からの１つの方向と関連付けられる、第２の複数の勾配を生成することと、
選択されている前記第１の入力画像データ又は前記第２の入力画像データを使用して第２の複数の補間値を生成することであって、前記補間値のうちの少なくともいくつかが、前記複数の方向からの複数の方向と関連付けられる、第２の複数の補間値を生成することと、
前記第２の複数の勾配に従って前記第２の複数の補間値を合成して、改善された画像データを生成することと、
を含む、項目１５に記載の方法。
［項目１７］
前記所与の画素位置が、前記第１の露光レベル及び前記第２の露光レベルのうちの高い方の露光レベルと関連付けられる少なくとも１つの飽和画素位置を含むクリッピングされる領域に位置付けられているという判定に応じて、所与の画素位置の改善された画像データを生成することが、
前記第１の露光レベル及び前記第２の露光レベルのうちの低い方の露光レベルと関連付けられる、受信されている前記第１の入力画像データ又は前記第２の入力画像データを選択することを含む、項目１５又は１６に記載の方法。
［項目１８］
前記第２の複数の勾配のうちの各勾配が、前記ノイズモデルに依存する、項目１６に記載の方法。
［項目１９］
装置であって、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを含む少なくとも１つのメモリと
を備え、前記少なくとも１つのメモリ及びコンピュータプログラムコードが、前記少なくとも１つのプロセッサによって、前記装置に少なくとも、
画像の少なくとも一部分を表す入力画像データを受信するステップであり、前記入力画像データが、第１の露光レベルと関連付けられる第１のセットの画素位置を表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２のセットの画素位置を表す第２の入力画像データを含む、受信するステップと、
前記第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、前記第１の補間画像データが、前記第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、
前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、
前記運動検出データに応じて、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、
を行わせるように構成されている、装置。
［項目２０］
持続性コンピュータ可読記憶媒体であって、コンピュータ実行可能命令を備え、前記コンピュータ実行可能命令は、プロセッサによって実行されると、
画像の少なくとも一部分を表す入力画像データを受信するステップであり、前記入力画像データが、第１の露光レベルと関連付けられる第１のセットの画素位置を表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２のセットの画素位置を表す第２の入力画像データを含む、受信するステップと、
前記第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、前記第１の補間画像データが、前記第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、
前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、
前記運動検出データに応じて、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップと、
を行うための画像処理システムの動作を引き起こす、持続性コンピュータ可読記憶媒体。

Claims (18)

  1. 画像の少なくとも一部分を表す入力画像データを受信するステップであり、前記入力画像データが、第１の露光レベルと関連付けられる第１のセットの画素位置を表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２のセットの画素位置を表す第２の入力画像データを含む、受信するステップと、
    前記第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、前記第１の補間画像データが、前記第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、
    前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、
    前記運動検出データが、所与の画素位置について動きが検出されていることを示さないことを判定することと、
    前記判定に応答して、前記所与の画素位置について、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成すること
    によって、改善された画像データを生成するステップであり、
    前記所与の画素位置について、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成することが、
    前記第１の露光レベルと前記第２の露光レベルとの間の比を規定する露光比に基づいて前記第２の入力画像データと前記第１の入力画像データを位置整合させることによって、位置整合されている画像データを生成することと、
    前記所与の画素位置が前記画像のコーナを表す領域にあるか否かを判定することと、
    前記所与の画素位置が前記画像のコーナを表す領域にあるか否かの前記判定に応答して、所定の措置を実施することと、
    を含む、生成するステップと、
    を含む、方法。
  2. 前記第２の露光レベルと関連付けられる第２の補間画像データを生成するステップをさらに含み、前記第２の補間画像データが、前記第２のセットの画素位置の画素強度値を含み、前記ノイズモデルを適用して運動検出データを生成するステップが、前記第２の入力画像データと前記第１の補間画像データとの間の差、及び、前記第１の入力画像データと前記第２の補間画像データとの間の差に基づく、請求項１に記載の方法。
  3. 前記運動検出データを生成するステップが、前記画像が前記第１の入力画像データと前記第２の入力画像データとの間で異なる、前記画像の少なくとも１つの領域を示す運動検出マスクを生成することを含む、請求項１又は２に記載の方法。
  4. 前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、前記ノイズモデルを適用して運動検出データを生成するステップが、
    前記第２のセットの画素位置の前記第２の入力画像データを平滑化することと、
    平滑化されている前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、前記ノイズモデルを適用して運動検出データを生成することと、
    を含む、請求項１～３のいずれか一項に記載の方法。
  5. ある画素位置における前記第１の補間画像データが、少なくとも、隣り合う画素位置を表す第１の入力画像データに基づいて生成される、請求項１～４のいずれか一項に記載の方法。
  6. 前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、前記ノイズモデルを適用して運動検出データを生成するステップが、
    前記第１の露光レベルと前記第２の露光レベルとの間の比を規定する前記露光比を使用して前記第２の入力画像データと前記第１の補間画像データを位置整合させることと、
    前記第２の入力画像データのそれぞれの画素強度値と位置整合されている前記第１の補間画像データの画素強度値の間の少なくとも１つの差を判定することと、
    前記ノイズモデルに従って前記少なくとも１つの差を修正することと、
    を含む、請求項１～５のいずれか一項に記載の方法。
  7. （ｉ）前記所与の画素位置が前記画像のコーナを表す領域にあるという判定に応じて、前記所定の措置が、前記所与の画素位置を表す、前記位置整合されている画像データの部分を、前記改善された画像データとして使用することを含む、請求項１～６のいずれか一項に記載の方法。
  8. （ｉｉ）前記所与の画素位置が前記画像のコーナを表す領域にないという判定に応じて、前記所定の措置が、前記位置整合されている画像データを使用して補間することによって、前記所与の画素位置を表す改善された画像データを生成することを含む、請求項１～７のいずれか一項に記載の方法。
  9. 前記位置整合されている画像データを使用して補間することが、
    第１の複数の勾配を生成することであって、各勾配が、複数の方向からの１つの方向と関連付けられ、前記ノイズモデルに依存する、第１の複数の勾配を生成することと、
    第１の複数の補間値を生成することであって、前記補間値のうちの少なくともいくつかが、前記複数の方向からの複数の方向と関連付けられる、第１の複数の補間値を生成することと、
    前記第１の複数の勾配に従って前記第１の複数の補間値を合成して、改善された画像データを生成することと、
    を含む、請求項８に記載の方法。
  10. 前記第１の複数の補間値のうちの前記補間値が、前記露光比に依存する、請求項９に記載の方法。
  11. 前記第１の複数の補間値のうちの前記補間値が、隣り合う画素位置を表す、位置整合されている画像データから補間することによって生成され、各隣り合う画素位置を表す前記位置整合されている画像データが、前記隣り合う画素位置のそれぞれの分散に従って重み付けされる、請求項１０に記載の方法。
  12. 前記所与の画素位置が前記画像のコーナを表す領域にあるか否かを判定することが、
    複数の画素位置を含む複数の画素領域であって、前記画素領域が、前記所与の画素位置を中心とする中央画素領域を囲み、部分的に重なり合う、複数の画素領域の各々について、前記位置整合されている画像データから、各画素領域における画素位置の画素強度値と、前記中央画素領域内のそれぞれの画素位置との間の絶対差の合計を判定することであって、前記中央画素領域内の画素位置の数が、前記複数の画素領域の各々における画素位置の数に等しい、判定することと、
    前記絶対差の合計が最も低い画素領域からの前記絶対差の合計と、前記ノイズモデルに基づく前記所与の画素位置における予測ノイズレベルとを比較することと、
    を含む、請求項１～１１のいずれか一項に記載の方法。
  13. 改善された画像データの生成することが、
    前記運動検出データが、更なる所与の画素位置について動きが検出されていることを示すことを判定することと、
    前記判定に応答して、受信されている前記第１の入力画像データ及び前記第２の入力画像データのうちの一方を、前記更なる所与の画素位置についての改善された画像データの一次ソースとして選択することと
    を含む、請求項１～６のいずれか一項に記載の方法。
  14. 前記更なる所与の画素位置が、一次ソースとして選択されている前記第１の入力画像データ又は前記第２の入力画像データによって表されないとき、選択されている前記第１の入力画像データ又は前記第２の入力画像データに基づいて前記更なる所与の画素位置についての前記改善された入力データを生成することが、
    選択されている前記第１の入力画像データ又は前記第２の入力画像データを使用して第２の複数の勾配を生成することであって、前記第２の複数の勾配のうちの各勾配は、複数の方向からの１つの方向と関連付けられる、第２の複数の勾配を生成することと、
    選択されている前記第１の入力画像データ又は前記第２の入力画像データを使用して第２の複数の補間値を生成することであって、前記補間値のうちの少なくともいくつかが、前記複数の方向からの複数の方向と関連付けられる、第２の複数の補間値を生成することと、
    前記第２の複数の勾配に従って前記第２の複数の補間値を合成して、改善された画像データを生成することと、
    を含む、請求項１３に記載の方法。
  15. 前記更なる所与の画素位置が、前記第１の露光レベル及び前記第２の露光レベルのうちの高い方の露光レベルと関連付けられる少なくとも１つの飽和画素位置を含むクリッピングされる領域に位置付けられているという判定に応じて、所与の画素位置の改善された画像データを生成することが、
    前記第１の露光レベル及び前記第２の露光レベルのうちの低い方の露光レベルと関連付けられる、受信されている前記第１の入力画像データ又は前記第２の入力画像データを選択することを含む、請求項１３又は１４に記載の方法。
  16. 前記第２の複数の勾配のうちの各勾配が、前記ノイズモデルに依存する、請求項１４に記載の方法。
  17. 装置であって、
    少なくとも１つのプロセッサと、
    コンピュータプログラムコードを含む少なくとも１つのメモリと
    を備え、前記少なくとも１つのメモリ及びコンピュータプログラムコードが、前記少なくとも１つのプロセッサによって、前記装置に少なくとも、
    画像の少なくとも一部分を表す入力画像データを受信するステップであり、前記入力画像データが、第１の露光レベルと関連付けられる第１のセットの画素位置を表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２のセットの画素位置を表す第２の入力画像データを含む、受信するステップと、
    前記第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、前記第１の補間画像データが、前記第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、
    前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、
    前記運動検出データが、所与の画素位置について動きが検出されていることを示さないことを判定することと、
    前記判定に応答して、前記所与の画素位置について、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成することによって、改善された画像データを生成するステップであり、
    前記所与の画素位置について、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成することが、
    前記第１の露光レベルと前記第２の露光レベルとの間の比を規定する露光比に基づいて前記第２の入力画像データと前記第１の入力画像データを位置整合させることによって、位置整合されている画像データを生成することと、
    前記所与の画素位置が前記画像のコーナを表す領域にあるか否かを判定することと、
    前記所与の画素位置が前記画像のコーナを表す領域にあるか否かの前記判定に応答して、所定の措置を実施することと、
    を含む、生成するステップと、
    を行わせるように構成されている、装置。
  18. 非一時的コンピュータ可読記憶媒体であって、コンピュータ実行可能命令を備え、前記コンピュータ実行可能命令は、プロセッサによって実行されると、
    画像の少なくとも一部分を表す入力画像データを受信するステップであり、前記入力画像データが、第１の露光レベルと関連付けられる第１のセットの画素位置を表す第１の入力画像データ、及び、異なる第２の露光レベルと関連付けられる第２のセットの画素位置を表す第２の入力画像データを含む、受信するステップと、
    前記第１の露光レベルと関連付けられる第１の補間画像データを生成するステップであり、前記第１の補間画像データが、前記第２のセットの画素位置の画素強度値を含む、第１の補間画像データを生成するステップと、
    前記第２の入力画像データと前記第１の補間画像データとの間の差に基づいて、ノイズモデルを適用して運動検出データを生成するステップと、
    前記運動検出データが、所与の画素位置について動きが検出されていることを示さないことを判定することと、
    前記判定に応答して、前記所与の画素位置について、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成すること
    によって、改善された画像データを生成するステップであり、
    前記所与の画素位置について、受信されている前記第１の入力画像データ及び前記第２の入力画像データからのデータを合成することが、
    前記第１の露光レベルと前記第２の露光レベルとの間の比を規定する露光比に基づいて前記第２の入力画像データと前記第１の入力画像データを位置整合させることによって、位置整合されている画像データを生成することと、
    前記所与の画素位置が前記画像のコーナを表す領域にあるか否かを判定することと、
    前記所与の画素位置が前記画像のコーナを表す領域にあるか否かの前記判定に応答して、所定の措置を実施することと、
    を含む、生成するステップと、
    を行うための画像処理システムの動作を引き起こす、非一時的コンピュータ可読記憶媒体。
JP2019163062A 2018-10-03 2019-09-06 空間多重露光のための方法、装置及び記憶媒体 Active JP7463640B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/150,884 US10867392B2 (en) 2018-10-03 2018-10-03 Spatially multiplexed exposure
US16/150,884 2018-10-03

Publications (2)

Publication Number Publication Date
JP2020058023A JP2020058023A (ja) 2020-04-09
JP7463640B2 true JP7463640B2 (ja) 2024-04-09

Family

ID=68538794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019163062A Active JP7463640B2 (ja) 2018-10-03 2019-09-06 空間多重露光のための方法、装置及び記憶媒体

Country Status (5)

Country Link
US (1) US10867392B2 (ja)
JP (1) JP7463640B2 (ja)
KR (1) KR102644899B1 (ja)
CN (1) CN110996015B (ja)
GB (1) GB2579883B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11797854B2 (en) * 2019-07-08 2023-10-24 Sony Semiconductor Solutions Corporation Image processing device, image processing method and object recognition system
KR20220131054A (ko) 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041984A (ja) 2013-08-23 2015-03-02 三星テクウィン株式会社Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ 画像処理装置および画像処理方法
WO2015163145A1 (ja) 2014-04-22 2015-10-29 ソニー株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4135737B2 (ja) * 2005-08-30 2008-08-20 ブラザー工業株式会社 画像処理プログラム
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
JP6020199B2 (ja) * 2013-01-24 2016-11-02 株式会社ソシオネクスト 画像処理装置、方法、及びプログラム、並びに撮像装置
KR20140006751A (ko) * 2013-12-18 2014-01-16 삼성전자주식회사 이미지 처리 장치 및 방법
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
KR102570305B1 (ko) * 2016-05-04 2023-08-24 삼성전자주식회사 전자 장치 및 그 제어 방법
CN108335279B (zh) 2017-01-20 2022-05-17 微软技术许可有限责任公司 图像融合和hdr成像

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015041984A (ja) 2013-08-23 2015-03-02 三星テクウィン株式会社Ｓａｍｓｕｎｇ Ｔｅｃｈｗｉｎ Ｃｏ．， Ｌｔｄ 画像処理装置および画像処理方法
WO2015163145A1 (ja) 2014-04-22 2015-10-29 ソニー株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム

Also Published As

Publication number Publication date
CN110996015A (zh) 2020-04-10
CN110996015B (zh) 2023-02-03
US10867392B2 (en) 2020-12-15
KR20200038422A (ko) 2020-04-13
KR102644899B1 (ko) 2024-03-07
JP2020058023A (ja) 2020-04-09
US20200111218A1 (en) 2020-04-09
GB2579883A (en) 2020-07-08
GB2579883B (en) 2021-12-08
GB201914253D0 (en) 2019-11-13

Similar Documents

Publication Publication Date Title
US11849224B2 (en) Global tone mapping
JP4651716B2 (ja) 複数の画像フレームに基づく画像形成方法、画像処理システム、およびデジタルカメラ
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US8687087B2 (en) Digital camera with selectively increased dynamic range by control of parameters during image acquisition
US7548689B2 (en) Image processing method
US9858644B2 (en) Bayer color filter array based high dynamic range video recording method and device
CN101816171A (zh) 用于增强图像动态范围的多重曝光模式
JP2002204389A (ja) 露出制御方法
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
JP7463640B2 (ja) 空間多重露光のための方法、装置及び記憶媒体
JP2022179514A (ja) 制御装置、撮像装置、制御方法およびプログラム
WO2018152977A1 (zh) 一种图像降噪方法及终端和计算机存储介质
JP4290965B2 (ja) デジタル画像の品質を改善する方法
US11640654B2 (en) Image processing method and apparatus
US11153467B2 (en) Image processing
JP2023111637A (ja) 画像処理装置及び方法、及び撮像装置
JP2008219230A (ja) 撮像装置及び画像処理方法
US20210366084A1 (en) Deblurring process for digital image processing
JP2017229025A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
JP6627418B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4950553B2 (ja) 撮像装置及び画像処理方法
JP2009284010A (ja) 画像処理装置、撮像装置及び画像処理方法
US8818094B2 (en) Image processing apparatus, image processing method and recording device recording image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220826

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20221021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240304

R150 Certificate of patent or registration of utility model

Ref document number: 7463640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150