JP4846259B2 - 輝度補正 - Google Patents

輝度補正 Download PDF

Info

Publication number
JP4846259B2
JP4846259B2 JP2005106535A JP2005106535A JP4846259B2 JP 4846259 B2 JP4846259 B2 JP 4846259B2 JP 2005106535 A JP2005106535 A JP 2005106535A JP 2005106535 A JP2005106535 A JP 2005106535A JP 4846259 B2 JP4846259 B2 JP 4846259B2
Authority
JP
Japan
Prior art keywords
image
color
images
computer
paragraph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005106535A
Other languages
English (en)
Other versions
JP2005295566A (ja
Inventor
シャム ヒュン−ユン
スン チャン
チア チャヤ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2005295566A publication Critical patent/JP2005295566A/ja
Application granted granted Critical
Publication of JP4846259B2 publication Critical patent/JP4846259B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、一般に画像処理に関し、より詳細には、輝度補正に関する。
ある場面を写真撮影するとき、この場面内の対象物から放出された光線は、標準のフィルムまたはデジタルフィルムなどのフィルム上に記録される。したがって、写真撮影は、このような光線を記録することに関係するものである。照明条件が不適切なとき(例えば、光量が少ない状態で写真撮影するとき)、写真は、十分な照明条件で撮影された写真に比べて、場面の情報の一部が欠如している。
薄暗い照明条件下で満足な写真を撮影することは、従来から極めて難しい問題であった。多くの場合、画像はぼけ、かつ/または露出不足になる。露出不足は一般に、フィルムが十分な量の光で露光されないことに起因する。露出不足は、フィルムをより長い時間露光することによってある程度補正することができる。これは、例えば、シャッタスピードをより遅くして、より長い時間シャッタを開いたままにすることによって行う。しかし、シャッタスピードを遅くするとぼけが生じる。ぼけの問題は、カメラを(例えば、三脚ではなく)手持ちで使用するときに悪化する。これは1つには、シャッタが開いている間の動きが大きくなるためである。ぼけは、シャッタが開いている間に場面内で対象物が動くことからも生じ得る。
いくつかの一般的な解決策は、(追加の照明を導入することによって光量の不足を補償するために)フラッシュを使用すること、あるいは、ISO値(国際標準化機構によって定められた接頭子)のより大きいフィルムを使用することである。
フラッシュの使用は、様々な理由から制限される。例えば、フラッシュは、比較的短い距離でしか使えない。また、フラッシュにより色が変化して、場面の表現が不正確になる。(例えば、遠隔作動による)複数のフラッシュを使用してフラッシュ写真撮影の結果を改善し得るが、場面の周りに複数のフラッシュを設置することは、(例えば、屋外での写真撮影や、間際になって写真を撮るときなど)必ずしも実行可能ではないことがある。
ISO値が比較的大きいフィルムもいくつかの理由から限定的なものである。従来方式の写真撮影では、フィルムは多くの場合、一度に1本のロールでしか交換できない。したがって、(例えば、光量が少ない条件に適した)ISO値が比較的大きいフィルムをカメラに装填すると、このカメラは、撮影者の選択肢を制限(例えば、露光過多にならないように比較的速いシャッタスピードで写真を撮影しなければならない等)しない限り、通常の照明条件では使用できなくなる。デジタル写真撮影では、ISO値が比較的大きい設定での性能は、完全にカメラのセンサによって決まり、これは、異なるカメラでは大きく異なることがある。さらに、より重大な欠点は、ISO値を大きくするとノイズの量が比較的多くなることである。
現在、例えば、安全なシャッタスピードよりも長い時間露光したためにぼけた画像の画質を改善するいくつかの技法がある。一般に、安全なシャッタスピードとは、レンズの焦点距離の逆数よりも速いスピードである。これらの技法は、大雑把にインプロセス(in−process)手法およびポストプロセス(post−process)手法に分類される。これらの手法により、例えば、長露光時間、カメラの揺れ、または対象物の動きに起因する動きによるぼけが抑えられる。
インプロセス手法は、主にハードウェアに基づく技法であり、カメラの揺れを補償することによってレンズを安定化させる。あるいは、高速デジタルカメラ(CMOS(相補型金属酸化膜半導体)センサを備えたデジタルカメラなど)では、通常の露光時間内で高速コマ撮りを実施することができ、これら複数の画像に基づいて、動きによるぼけを元に戻すことができる。露光時間が適度であれば、これらのインプロセス技法により、比較的鮮明で切れのよい画像を生成することができる。ただし、これらの技法は、特別に設計したハードウェア装置を必要とする。
一方、ポストプロセス法は一般に、動きによるぼけを取り除く技法とみなし得る。中でも、ブラインドデコンボリューション(blind deconvolution)法は、単一のぼけ画像の画質を高めるのに広く採用されており、様々なPSF(点像分布関数)の仮定の下で適用することができる。あるいは、より一般的な状況では、ぼけ方向が異なる数枚の画像、すなわち画像シーケンスを使用してPSFを推定し得る。いずれの場合でも、空間座標および時間座標で画像を離散化かつ量子化するために、PSFを高い信頼性で推定することができず、真の基本画像(三脚に載せたカメラで撮影した画像、または、静止した場面の適正露出画像)より劣った結果になる。1次(高空間分解能)検出器および2次(高時間分解能)検出器からなるハイブリッド画像システムも提案されている。この2次検出器により、PSFを推定するためのより正確な動きの情報が得られ、そのため、露光が長い場合でも、ぼけの除去が可能になる。しかし、この技法は、追加のハードウェアによるサポートを必要とし、ぼけを取り除いた画像は依然として、細部では真の基本画像ほど見栄えがよくない。
したがって、この解決策では十分な画質を提供できない。
(例えば、カメラの揺れ、薄暗い照明条件下での撮影、あるいは、動作の激しい場面の撮影のために)ぼけた画像、または露出不足の画像の画質を改善する技法を開示する。
以下で説明する一実施形態では、方法は、同じ場面の2枚の画像を提供することを含む。この方法では、これら2枚の画像の空間コヒーレンスおよび色の統計データを求める。求められた色の統計データおよび空間コヒーレンスを用いて、これら2枚の画像の一方の画質を高める。
以下で説明する別の実施形態では、方法は、ある場面の露出不足画像および同じ場面のぼけ画像を提供することを含む。この方法では、これらの画像の空間コヒーレンスおよび色の統計データを求める。この色の統計データおよび空間コヒーレンスを用いることによって、露出不足画像の画質を高める。
以下の詳細な説明は、添付の図を参照して説明する。図では、参照数字の左端の1つ(または複数)の桁は、この参照数字を最初に使用した図を表す。異なる図で用いられる同じ参照数字は、類似の、または同じものを示す。
以下の開示では、(例えば、薄暗い照明条件、動作が激しい場面の存在、あるいは、カメラの揺れのために)ぼけた画像、または露出不足画像の画質を改善する技法を説明する。したがって、一方の画像を露出不足とし、他方をぼけ画像とし得る。これら2枚の画像に含まれる情報を用いて、目に見えるぼけまたは暗い部分のない高画質の場面の画像を提供する。これら2枚の画像は、例えば、画像の中心が大きく動かないようにするために、あるいは、カメラの動きまたは場面内の対象物の動きの影響を制限するために、短い間隔で撮影することができる。
(図22〜図25を参照して論じるように)この技法は、高コントラスト場面を処理するように容易に拡張することができ、それによって、飽和した領域の細部が明らかになる。さらに、これらの技法の一部を、デジタルカメラに直接組み込むことができる。例えば、デジタルカメラは、(図29および図30を参照してさらに論じるように)これら2枚の画像を撮影する間、シャッタが開いたままになるように構成し得る。
(概論)
図1および図2に、薄暗い照明条件下で同じ場面を撮影した画像を示す。図に示すように、図1の画像(I)は露出不足であり、図2の画像(I)はぼけている。図1および図2の画像の露光間隔は異なる。図に示すように、図1の画像(I)の露光時間は、図2の画像(I)の露光時間よりも短い。本明細書で論じる技法では、図1および図2に示す画像を使用して、図3に示すような高画質画像(I)を構築することができる。
(画像取得)
一実施形態では、取得する画像の露光時間とぼけの程度の間の得失評価(tradeoff)を利用するために、下記の露光設定を有する同じ取得装置(例えば、カメラ)を使用して2枚の入力画像を撮影することができる。
・安全なシャッタスピード付近の露光時間で一方の画像(例えば、図1のI)を撮影して、動きによるぼけがかなり小さい露出不足画像を生成する。この画像(I)は暗すぎるので、画像の色は許容できるものではない。
・他方の画像(例えば、図2のI)は、露光時間を長くして取得した画像である。この画像の色および明るさは許容し得るものである。ただし、この画像には、カメラが揺れたか、あるいは場面内の対象物が動いたために、動きによるぼけが生じる。
場面(または場面内の対象物)および/または取得装置(例えば、三脚を使用しない手持ちカメラ)が動き得る状況では、これら2枚の画像を短い間隔で取得してもよい。時間の経過をできるだけ短く保つと、これら2枚の画像間の差異は最小限に抑えられ、かつ/または各画素の位置の局所的な合致度が最大になる。
(輝度補正)
図4に、輝度補正方法の例400を示す。図1および図2を参照して論じたものなど、同じ場面の2枚の画像(例えば、IおよびI)が提供された(ステップ402)後で、これらの画像の色の統計データ(ステップ404)および空間コヒーレンス(ステップ406)を求める(これらは、下記の同様の見出しの節でより詳細に説明する)。図1および図2を参照して論じたように、IおよびIは、露光間隔が異なる同じ場面の2枚の画像である。したがって、これらの画像は、色の統計データだけでなく、対応する空間コヒーレンスによっても関連づけられる。
色の統計データおよび空間コヒーレンスの情報を用いて、色空間で露出不足画像(例えば、図1のI)の画質を高めて(ステップ408)、適正露光の高画質画像(例えば、図3のI)を提供する。より具体的には、一実施形態では、ステップ408で、カラーマッピング手法を利用する。このカラーマッピング法は、露出不足画像から求めた空間的な細部によって拘束され、そのため、これまでの純粋な色変換技法と異なり、それらを改善したものである。以下でさらにより詳細に論じるように、色の統計データおよび空間的な拘束を適切に定式化し、これらをベイズ法に組み込むことによって、MAP(最大事後確率)解法により、色空間における最適なカラーマッピング関数が得られる。この関数により、画素の色の質が高められるのと同時に、構造的な細部が保存される。
さらに、方法400は、カメラの揺れおよび対象物の動きを同時に、統一された枠組内で処理し得る。さらに、対象物の異なる部分ではPSFが異なるために大部分のぼけ除去方法では難しい、対象物のトポロジーの変化または対象物の変形も処理し得る。さらに、(「高コントラスト場面における色の統計データ」でさらに論じるように)1つの拘束をわずかに改変することによって、高コントラスト場面を処理し、最も明るい区域または飽和した区域における撮影された細部を伴う画像を生成するように、方法400を拡張し得る。
(IとIの間の関係)
図1および図2を参照して論じたように、IおよびIは、露光間隔が異なる同じ場面の2枚の画像である。したがって、これらの画像は、色の統計データだけでなく、対応する空間コヒーレンスによっても関連づけられる。これらの間の関係は、ベイズ法におけるカラーマッピング関数を推測するための拘束に変換し得る。
ある実施形態では、露出不足画像Iは、時間座標において、適正露光画像I中の影響を受け易い成分とみなすことができる。こうすると、露光期間中のカメラあるいは場面(または場面の対象物)の動きを合理的にモデル化し、マッピング処理を拘束することが可能になる。これを、以下に続く節でさらに説明する。
(色の統計データ)
RGB(赤、緑、および青)の色空間では、重要な色の統計データは、カラーヒストグラムの形状から明らかにし得ることが多い。ヒストグラムは一般に、矩形または棒によって頻度分布を表すものである。これらの矩形または棒の幅は、クラスの間隔を表し、面積は、対応する頻度に比例する。そのため、このヒストグラムを利用して、IとIの解析的な関係を確立することができる。さらに、放射照度が大きいほど、画素が明るくなるので、IおよびIの色の統計データは、画素強度値が小さいほうから大きいほうまで順に一致し得る。したがって、Iのヒストグラム
Figure 0004846259
は、下記の形式に直すことができる。
Figure 0004846259
(1)で、g(・)は、ヒストグラムの各色値に対して実施する変換関数であり、
Figure 0004846259
は、Iのヒストグラムである。g(・)を推定する一般的なやり方は、通常は目的曲線に従って画像のダイナミックレンジおよびコントラストを改変する適応型ヒストグラム均等化法である。
ただし、ある種の状況では、このヒストグラム均等化法により、満足な結果が得られないことがある。より具体的には、各チャネルの量子化された256個の(1バイト精度の)色は、様々なヒストグラムの形状を正確にモデル化するのに十分でないことがある。
図5に、輝度補正で利用し得るカラーヒストグラム均等化法の例500を示す。より具体的には、方法500を用いて、変換関数を最適に推定することができる。まず、画像をRGB空間から知覚色空間lαβに変換する(ステップ502)。ただし、lは無色チャネルであり、αおよびβは色度値を含む。このようにして、既知の蛍光体色度(phosphor chromaticity)とともに、より離散的な空間に画像を変換する。
新しい色空間における色分布は、65,536個の(2バイト精度の)部分にクラスタ化される(ステップ504)。次いで、新しい色空間でヒストグラム均等化法を実施する(ステップ506)。ヒストグラム均等化法(ステップ506)の結果を変換して、RGB空間に戻す(ステップ508)。
2枚の画像(例えば、図1および図2)に対してこの変換ヒストグラム均等化法を実施することによって、これら2枚の画像をそれらの色空間において完全に関連づけることができる。ただし、色の統計データは、カメラの画質によって概ね決まる。例えば、比較的暗い画像が大量のノイズを含む場合、まず、(例えば、画像をフィルタリングすることによって)劣化した情報を処理する必要がある。
(空間的な拘束)
上記で説明した色の統計データでは、IとIの間のいかなる時間コヒーレンスも考慮していない。しかし、これら2枚の画像は、同じ場面を撮影したものなので、IとIの間には強い空間的な拘束がある。
ある領域が類似の色の画素を含む状況で、図6Aは、元の画像の均質な領域を示し、図6Bは、動きによるぼけを伴って撮影された同じ領域を示す。点602は、これらの領域の中心に印をつけたものである。図7Aおよび図7Bの対応する曲線は、一方向に沿った画素の色を示す。図6A、図6B、図7A、および図7Bから、この領域の中心に向かう色は、この領域の面積が十分に大きくかつ均質であると仮定すると、ぼけによる影響をあまり受けないことがわかる。さらに、この領域内の色が一貫していることにより、中心画素の色は一致し得る。
図8に、輝度補正で利用し得る空間領域マッチング法の例800を示す。方法800を用いて、IとIのマッチングシード(matching seed)を選択し得る。ぼけ画像(例えば、図2のI)は、複数の領域にセグメント化される。このセグメント化は、各領域R(I)が類似の色を含むように行われる(ステップ802)。図9に、図2を複数の領域にセグメント化した例を示す。
均質性およびサイズに従ってこれらの領域を区分けするために、各領域R(I)をエロード(erode)し(ステップ804)、各領域を完全にエロードするための反復数と、領域ごとのエロード処理における最後の数画素である領域中心を求める(ステップ806)。一実施形態では、各領域R(I)に、同じ形態的エロード操作を実施することができる。図10に、図9の画像内の領域をエロードして得られた中間画像の例を示す。
反復数を降順に並べ替え、領域がマッチングするのに最も可能性の高い候補として最初のM個の領域を選択する(ステップ808)。その結果、これらの領域の中心の位置が、マッチング位置として選択される。画像IおよびIから、このマッチング位置における画素対
Figure 0004846259
を選択し(ステップ810)、隣接画素の色のガウス平均値として各cごとに値を計算する(ステップ812)。ここでの分散は反復数に比例する。図11に、選択した領域の中心を点1102として示す。図に示すように、点1102は、最も大きく、かつ最も均質なM個の領域に配置される。
マッチング処理(方法800)は、理想的なカラーマッピング関数が、I中のいくつかのマッチングシードの色を、I中のマッチングシードの色に変換し得るはずであることを示唆している。次の節で、(色および空間の)2つの拘束を考慮に入れて拘束マッピング関数を推測するベイズ法を説明する。
(拘束マッピング関数)
カラーマッピング関数は、
Figure 0004846259
と定義し得る。ただし、lおよび
Figure 0004846259
はそれぞれ、2つの集合で表される色値である。したがって、得られる画像Iは、露出不足画像にf(・)を適用する(I:I(x,y)=f(I(x,y))ことによって形成される。ただし、I(x,y)は、画像I中の画素の値である。f(・)の形は、IおよびIによって拘束されることに留意されたい。
ベイズ法では、IおよびIの観察結果が与えられれば、次のように、事後確率を最大にして(MAP)、fを推測する。
Figure 0004846259
前の節では、IとIの間で2種類の関係が観察された。一方は、IおよびIそれぞれの2つのヒストグラム
Figure 0004846259
および
Figure 0004846259
によって記述し得る色の統計データである。他方は、IとIの間のM個の対応するマッチングカラーシード
Figure 0004846259
で表し得る領域マッチングによる拘束である。これらの関係は、拘束とみなすことができ、式(2)は次のように書き換えることができる。
Figure 0004846259
次の節では、尤度
Figure 0004846259
および先験的確率(prior)p(f)を定義する。
(尤度)
離散色空間でグローバルマッチング(global matching)を実施するので、fは、離散値f={f1,f2,...,fi,...,fN}の集合によって近似される。ただし、Nは、色空間のビンの総数である。したがって、式(3)における尤度は、IID(独立同分布)の仮定の下で、次のように因数分解することができる。
Figure 0004846259
式(4)では、g(l)は、色値lにおいて、
Figure 0004846259
Figure 0004846259
に変換する関数である。
Figure 0004846259
は、カラーシードの集合
Figure 0004846259
において、lに最も類似の色であり、
Figure 0004846259
は、カラーシード対における
Figure 0004846259
に対応する色である。
前の節の解析によれば、g(l)および
Figure 0004846259
は、各fの2つの拘束要素である。これらの特性はともに、マッピング関数上で維持されるはずである。その結果、これら2つの拘束を釣り合わせることができ、尤度を次のようにモデル化し得る。
Figure 0004846259
式(5)で、スケールαは、これらの2つの拘束を重み付けし、
Figure 0004846259
は、これら2種類の拘束の不確定性をモデル化するための分散である。αの値が大きくなると、マッチングシード対の信頼度(confidence)が落ちる。αは、下記の要素に関連づけることができる。
・距離
Figure 0004846259
:距離が大きいことは、領域マッチングによる拘束が弱いことを示し、このため、αが1に近づく。したがってαは、この距離に反比例する。
・マッチングカラー対
Figure 0004846259
の一致の不確定性:前の節で示したように、マッチング領域サイズが大きいほど、マッチングカラーについてこの領域の中心から得られる信頼度が高くなる。したがって、不確定性σは、各マッチングカラーの領域サイズに比例すると定義し得る。これら2つの要素を組み合わせると、αは次のように定義し得る。
Figure 0004846259
式(6)で、βは、αの影響度を制御するスケールパラメータである。
(先験的確率)
先験的確率として、f(・)に対して単調拘束を実施することができ、それによって、Iの構造の細部が維持される。さらに、近傍の色についてのカラーマッピングが急激に変化しないように、ある実施形態では、f(・)は、その形状が滑らかなことが求められることがある。別の実施形態では、fの2次導関数を次のように最小限に抑えることができる。
Figure 0004846259
式(7)で、
Figure 0004846259
は、fの滑らかさを制御する分散である。
(MAPによる解法)
式(4)の対数の尤度と式(7)の対数の先験的確率を組み合わせ、以下の対数の事後関数を最小化することによって最適化問題を解くことができる。
Figure 0004846259
式(8)で、E(f)は、2次の目的関数である。したがって、グローバル最適マッピング関数f(・)は、SVD(特異値分解)によって得ることができる。式(7)では単調拘束を明示的に実施しないが、ある実施形態では、この滑らかさの拘束は、最終的な単調fを構築するのに十分である。
(他の例の結果)
本明細書で説明した技法を難しい状況に適用して、この手法の有効性を示す。その結果を、以下のように異なる集団に分類する。図12に、入力露出不足画像の例を示す。図13に、図12の画像に本出願の輝度補正を適用することによって得られた画像の例を示す。図14に、色変換技法を適用したときの結果の例を示す。図15に、適応型ヒストグラム均等化法による結果の例を示す。図16に、2.5のガンマ補正を適用したときの結果の例を示す。図17に、写真編集プログラムで曲線調整を適用した結果の例を示す。これらの図が示すように、本明細書で説明した拘束を用いることにより、視覚的な画質がより良好になり、より細かい部分が得られる(すなわち、図13)。
また、一実施形態では、本明細書で説明した(空間的および色の)2つの拘束がともに有益である。これらの拘束により、2つの異なる側面において解法が最適化される。したがって、一実施形態では、これらの拘束を組み合わせ、かつ釣り合わせることにより、本明細書で説明した方法の視覚的な正しさを保証し得る。
(手持ちカメラによって生じる動きによるぼけ)
図18〜図21の岩の例に、本明細書で説明した方法の、2枚の入力画像(すなわち、図18および図19の画像)の色情報を最適に組み合わせる能力を示す。各図の左下に、各画像のヒストグラムを示す。他のぼけ除去法と異なり、得られた縁部は切れがよく、鮮明である。これら2枚の入力画像はそれぞれ、1/40秒および1/3秒のシャッタスピードで撮影したものである。図20および図21はそれぞれ、対応するヒストグラム付きのカラーマッピングした画像(I)および真の基本画像である。真の基本画像(図21)は、三脚を使用して撮影したものである。図20および図21で、これらの画像は視覚的にも統計的にも近いことに留意されたい。
(対象物の動きによって生じる動きによるぼけ)
一実施形態では、本明細書で論じた技法により、(例えば、通常の露光間隔では、対象物の動きがあまりにも速い場合の)対象物の動きまたは変形の問題を容易に解決することができる。図22〜図24に、実験の結果を示す。図に示すように、参照し易くするために図23および図24の一部を拡大する。適正露光入力画像は、局所的にぼけている(図23)。すなわち、PSFは全画像内で均一に表されず、そのため、デコンボリューション法では失敗し易い。本明細書で論じた技法(および図22の露出不足画像)を用いて、カメラのシャッタスピードを4つの停止分遅くすることができる。その結果、ぼけの影響が大きく低減された高画質画像(I)を生成し得る(図24)。
(高コントラスト場面における色の統計データ)
高コントラスト場面の画像を撮影する場合、Iでは明るい領域が飽和することになる。ヒストグラム均等化法では、飽和区域を含めて、IからIに色が忠実に変換され、そのため、最も明るい領域において空間的な細部が劣化するだけでなく、画像の色空間においても急激な変化が生じる。
この問題を解決するために、前の節で説明したカラーマッピング関数g(・)を改変して、より大きな範囲を対象とすることができる。一実施形態では、色変換技法を利用して、高コントラストの状況で画質を改善し得る。この技法は、画像のヒストグラムにおいても機能し、各チャネルに平均値および標準偏差を整合させることによってソース画像から対象画像に色を変換する。この処理はガウスマッチングなので、変換される色の最大値には何ら制限がない。
ある実施形態では、I中の非飽和画素はすべて、Iへの色の変換に使用される。この色変換技法を適用した後で、Iのマッピング結果は、色深度を超え(すなわち、255よりも大きくなり)、飽和画素は、より大きな色値に拡張される。したがって、より高い範囲の画像は、明るい領域および暗い領域でともに細部が明らかになるように構築される。
図25〜図28に、このような実施形態に関連する画像の例を示す。図に示すように、参照し易くするために図25〜図28の一部を拡大する。図25および図26に、入力画像(それぞれIおよびI)を示す。図27の画像は、元のヒストグラム均等化関数としてg(・)を設定することによって再構築したものである。図28は、色変換法を利用するようにg(・)を改変することによって、色および細部の画質が高められた結果である。図28に示す画像を提示するためにトーンマッピングも実施する。
(ハードウェアの実施形態)
ハードウェアの一実施形態は、汎用コンピュータに接続されたデジタルカメラを含み得る。異なるシャッタスピードで(図1および図2を参照して論じたものなどの)2枚の画像を取得することは、このコンピュータ上で実行される、対応するカメラ用ソフトウェアによって制御し得る。このように構成することにより、撮影者は、コマとコマの間でカメラのパラメータを手作業で変更することから解放され、それによって、最適な写真を撮ることに専念することができる。あるいは、このソフトウェアは、カメラの内部で(または、フラッシュメモリなど、カメラに装着されたメモリ装置内で)実施し得る。カメラに組み込まれた機能は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの組合せとして実施し得る。
いくつかのカメラ(例えば、キャノン製Gモデル、およびいくつかのニコン製クールピクス(Coolpix)モデルのデジタルカメラ)はすでに、露出ブラケット機能を含む。この機能により、シャッタボタンを1回押すことによって異なるシャッタスピードで複数の写真が撮影される。しかし、現在のカメラ内蔵機能を使用することには、いくつかの制限がある。すなわち、この機能は、マニュアルモードでは動作せず、シャッタスピードの差には制限がある。
図29に、輝度補正を施すのに使用し得る複数の写真を一度に撮影するデジタルカメラ構成の例2900を示す。このカメラは、単独のカメラとすることもできるし、(PDA(携帯情報端末)、携帯電話などの)別の装置に組み込まれたカメラとすることもできる。構成2900は、光線に曝されるシャッタ2902を含む。シャッタ2902が、(例えば、カメラのボタンが押された後で)開くと、光線がシャッタ2902を通過して、センサ2904(例えば、CMOSまたはCCD(電荷結合素子))に至る。シャッタボタンを1回押すことによって、カメラは2枚の写真を撮影することができる。次いで、本明細書で論じるように、これらの写真に輝度補正を適用し得る。
一実施形態では、シャッタ2902の存在は任意選択とし得る。例えば、センサ2904は、(シャッタ2902などの)物理的な仕切りを必要とせずに、必要に応じて作動(例えば、通電)し得る。さらに、(センサカバーなどの)より簡略化した機構を使用して、(例えば、強い太陽光線、ほこり、水、湿気などの)環境要素からセンサ2904を保護し得る。
図29に示すように、グラフ2906は、センサ2904によって捕捉された光子エネルギーが、時間が経つうちに(例えば、T1からT2になるまでに)どのように増加し得るかを示す。例えば、時間T1では、センサの画像は、(図1を参照して論じたように)薄暗い照明条件では露出不足であり得る。また、時間T2(例えば、時間T1の1/2秒後)では、センサの画像には、図2を参照して論じたように(例えば、カメラ、場面内の対象物などの動きのために)ぼけが生じ得る。一実施形態では、図30を参照してさらに論じるように、この露光差を利用して、(機械式の露光機構ではなく)ソフトウェアによる露光を実現し得る。
一実施形態では、輝度補正を実施するソフトウェアは、(図31を参照して論じるものなどの)汎用コンピュータを介して提供し得る。このコンピュータをカメラに直接接続するか、あるいは、このカメラからのメモリカードを後でコンピュータにつなげて、画像を処理に供することができる。あるいは、このソフトウェアは、カメラの内部で(または、フラッシュメモリなど、カメラに装着されたメモリ装置内で)実施し得る。さらに、カメラに組み込まれた機能は、ソフトウェア、ハードウェア、ファームウェア、またはこれらの組合せとして実施し得る。
(ソフトウェアによる露光の実施形態)
図30に、(例えば、カメラのシャッタを制御する代わりに)ソフトウェアによってカメラの露光を制御する方法の例3000を示す。方法3000は、図29を参照して論じたものなどのデジタルカメラ内でソフトウェア、ハードウェア、ファームウェア、またはこれらの組合せとして実施し得る。
例えば、単独のデジタルカメラまたは別の装置(PDA、携帯電話など)に組み込まれたカメラのボタンを押すことによって、画像を取得するコマンドを受け取った(ステップ3002)後で、カメラのシャッタ(例えば、2902)が開く(ステップ3004)。第1画像は、時間T1で取得し得る(ステップ3006)。時間T1は、図29のグラフ2906を参照して論じたものとし得る。したがって、第1画像は露出不足であり得る(例えば、図1のI)。
シャッタを閉じずに、時間T2で、第2画像を取得する(ステップ3008)。時間T2は、図29のグラフ2906を参照して論じたものとし得る。したがって、第2画像にはぼけが生じ得る(例えば、図2のI)。
次いで、本明細書で論じたように、取得画像に輝度補正を適用して(ステップ3010)、高画質画像(例えば、図3のI)を提供する。
このように、シャッタは開いたままなので、方法3000に従って、露出不足画像およびぼけ画像をともに取得することができる。このような実施形態では、(例えば、カメラまたは場面内の対象物からの)いかなる動きも制限されるようにし得る。
(一般的なコンピュータ環境)
図31に、本明細書で説明した技法を実施するのに使用し得る一般的なコンピュータ環境3100を示す。例えば、コンピュータ環境3100を使用して、(カメラなどの)画像取得装置を制御するソフトウェアプログラムを実行し得る。コンピュータ環境3100は、コンピューティング環境の単なる一例であり、コンピュータおよびネットワークアーキテクチャの利用法または機能の範囲に関していかなる制限も示唆するものではない。また、コンピュータ環境3100を、コンピュータ環境の例3100に示すコンポーネントのいずれか1つまたはそれらの組合せに関係する依存性または要件を有すると解釈すべきではない。
コンピュータ環境3100は、コンピュータ3102の形態の汎用コンピューティング装置を含む。コンピュータ3102のコンポーネントは、(任意選択で、暗号化プロセッサまたはコプロセッサを含めて)1つまたは複数のプロセッサまたは処理装置3104、システムメモリ3106、およびプロセッサ3104を含めて様々なシステムコンポーネントをシステムメモリ3106に接続するシステムバス3108を含み得るが、これらに限定されるものではない。
システムバス3108は、メモリバスまたはメモリコントローラ、ペリフェラルバス、アクセラレィティッドグラフィックポート(accelerated graphics port)、およびプロセッサまたはローカルのバスを含めて、様々なバスアーキテクチャのいずれかを利用するいくつかの種類のバス構造の1つまたは複数を表す。例を挙げると、このようなアーキテクチャは、ISA(業界標準アーキテクチャ)バス、MCA(マイクロチャネルアーキテクチャ(Micro Channel Architecture))バス、EISA(拡張ISA)バス、VESA(ビデオ電子規格協会)ローカルバス、およびメザニン(Mezzanine)バスとしても知られるPCI(ペリフェラルコンポーネントインターコネクト(Peripheral Component Interconnects))バスを含み得る。
コンピュータ3102は一般に、様々なコンピュータ読み取り可能媒体を含む。このような媒体は、コンピュータ3102がアクセスし得る任意の利用可能な媒体とすることができ、揮発性および不揮発性の媒体、取り外し可能および固定の媒体をともに含む。
システムメモリ3106は、RAM(ランダムアクセスメモリ)3110などの揮発性メモリ、および/またはROM(読出し専用メモリ)3112などの不揮発性メモリの形態のコンピュータ読み取り可能媒体を含む。例えば起動時に、コンピュータ3102内の要素間で情報を転送する助けとなる基本ルーチンを含むBIOS(基本入出力システム)3114は、ROM3112内に格納される。RAM3110は一般に、処理装置3104が、即座にアクセスすることができ、かつ/または現在操作中のデータおよび/またはプログラムモジュールを含む。
コンピュータ3102は、取り外し可能/固定の、揮発性/不揮発性の他のコンピュータ記憶媒体も含み得る。例を挙げると、図31に、(図示しない)固定の不揮発性磁気媒体に対して読書きを行うハードディスクドライブ3116、取り外し可能な不揮発性磁気ディスク3120(例えば、「フロッピー(登録商標)ディスク」)に対して読書きを行う磁気ディスクドライブ3118、およびCD−ROM、DVD−ROMその他の光媒体などの取り外し可能な不揮発性光ディスク3124に対して読出しおよび/または書込みを行う光ディスクドライブ3122を示す。ハードディスクドライブ3116、磁気ディスクドライブ3118、および光ディスクドライブ3122はそれぞれ、1つまたは複数のデータ媒体インターフェース3125によってシステムバス3108に接続される。あるいは、ハードディスクドライブ3116、磁気ディスクドライブ3118、および光ディスクドライブ3122は、(図示しない)1つまたは複数のインターフェースによってシステムバス3108に接続し得る。
これらのディスクドライブおよびそれらに関連するコンピュータ読み取り可能媒体は、コンピュータ3102用のコンピュータ読み取り可能命令、データ構造、プログラムモジュールその他のデータの不揮発性記憶装置を提供する。この実施例では、ハードディスク3116、取り外し可能磁気ディスク3120、および取り外し可能光ディスク3124を示すが、磁気カセットその他の磁気記憶装置、フラッシュメモリカード、CD−ROMまたはDVD(デジタル多用途ディスク)その他の光記憶装置、RAM(ランダムアクセスメモリ)、ROM(読出し専用メモリ)、EEPROM(電気的に消去可能なプログラマブル読出し専用メモリ)など、コンピュータがアクセス可能なデータを記憶し得る他のタイプのコンピュータ読み取り可能媒体を使用して、例示のコンピューティングシステムおよび環境を実施することもできることを理解されたい。
ハードディスク3116、磁気ディスク3120、光ディスク3124、ROM3112、および/またはRAM3110には、例を挙げると、オペレーティングシステム3126、1つまたは複数のアプリケーションプログラム3128、他のプログラムモジュール3130、およびプログラムデータ3132を含めて、任意の数のプログラムモジュールを格納することができる。このようなオペレーティングシステム3126、1つまたは複数のアプリケーションプログラム3128、他のプログラムモジュール3130、およびプログラムデータ3132(またはこれらのなんらかの組合せ)はそれぞれ、分散ファイルシステムをサポートする常駐コンポーネントの全部または一部を実施し得る。
ユーザは、キーボード3134およびポインティングデバイス3136(例えば、「マウス」)などの入力装置を介してコンピュータ3102にコマンドおよび情報を入力することができる。(具体的に図示しない)他の入力装置3138は、マイクロホン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、シリアルポート、スキャナおよび/またはその他のものを含み得る。上記その他の入力装置は、システムバス3108に結合された入出力インターフェース3140を介して処理装置3104に接続されるが、パラレルポート、ゲームポート、またはUSB(ユニバーサルシリアルバス)など他のインターフェースおよびバス構造によって接続することもできる。USBポートを使用して、(図29を参照して論じたような)カメラまたはフラッシュカードリーダをコンピュータ環境3100に接続することができる。
モニタ3142その他の種類のディスプレイ装置も、ビデオアダプタ3144などのインターフェースを介してシステムバス3108に接続し得る。モニタ3142に加えて、他の周辺出力装置は、入出力インターフェース3140を介してコンピュータ3102に接続し得る(図示しない)スピーカおよびプリンタ3146などのコンポーネントを含み得る。
コンピュータ3102は、リモートコンピューティング装置3148など、1つまたは複数のリモートコンピュータへの論理接続部を使用するネットワーク環境で動作し得る。例を挙げると、リモートコンピューティング装置3148は、パーソナルコンピュータ、携帯型コンピュータ、サーバ、ルータ、ネットワークコンピュータ、ピア装置(peer device)その他一般のネットワークノード、ゲームコンソールなどとすることができる。リモートコンピューティング装置3148は、コンピュータ3102に関連して本明細書で説明した要素および特徴の多くまたはすべてを含み得る携帯型コンピュータとして示す。
コンピュータ3102とリモートコンピュータ3148の間の論理接続部は、LAN(ローカルエリアネットワーク)3150および一般のWAN(ワイドエリアネットワーク)3152として示す。このようなネットワーク環境は、一般事務所、企業規模のコンピュータネットワーク、イントラネット、およびインターネットで一般的なものである。
LANネットワーク環境で実施されるとき、コンピュータ3102は、ネットワークインターフェースまたはアダプタ3154を介してローカルネットワーク3150に接続される。WANネットワーク環境で実施されるとき、コンピュータ3102は一般に、ワイドネットワーク3152を介して通信を確立するためのモデム3156その他の手段を含む。コンピュータ3102に内蔵または外付けとし得るモデム3156は、入出力インターフェース3140その他の適切な機構を介してシステムバス3108に接続することができる。図に示すネットワーク接続部は例であり、コンピュータ3102と3148の間で1つ(または複数)の通信リンクを確立する他の手段を使用し得ることを理解されたい。
コンピューティング環境3100とともに示したものなどのネットワーク環境では、コンピュータ3102に関連して示すプログラムモジュールまたはその一部は、リモートメモリ記憶装置に格納することができる。例として、リモートコンピュータ3148のメモリ装置上に常駐するリモートアプリケーションプログラム3158を示す。この説明では、アプリケーションプログラム、およびオペレーティングシステムなどの他の実行可能なプログラムコンポーネントは、本明細書では離散ブロックとして示すが、このようなプログラムおよびコンポーネントは、様々な時点でコンピューティング装置3102の異なる記憶コンポーネントに常駐し、コンピュータの1つ(または複数)のデータプロセッサによって実行されることを理解されたい。
本明細書では、様々なモジュールおよび技法を、1つまたは複数のコンピュータその他の装置によって実行されるコンピュータにより実行可能な命令、例えばプログラムモジュールの一般の状況において説明し得る。一般に、プログラムモジュールは、特定のタスクを実施し、また特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。典型的には、これらのプログラムモジュールの機能は、様々な実施形態において、所望のとおりに組み合わせるか、あるいは分散させることができる。
これらのモジュールおよび技法の実施形態は、なんらかの形態のコンピュータ読み取り可能媒体上に記憶し、またその先に送信することができる。コンピュータ読み取り可能媒体は、コンピュータがアクセスし得る任意の利用可能な媒体とし得る。例を挙げると、コンピュータ読み取り可能媒体は、「コンピュータ記憶媒体」および「通信媒体」を含み得るが、これらに限定されるものではない。
「コンピュータ記憶媒体」は、コンピュータ読み取り可能命令、データ構造、プログラムモジュールその他のデータなどの情報を記憶するための任意の方法または技術で実施される揮発性および不揮発性媒体、取り外し可能および固定の媒体を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリその他のメモリ技術、CD−ROM、デジタル汎用ディスク(DVD)その他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置その他の磁気記憶装置、あるいは所望の情報を記憶するのに使用することができ、かつコンピュータがアクセスし得る任意の他の媒体を含むが、これらに限定されるものではない。
「通信媒体」は一般に、搬送波その他の搬送機構などの変調データ信号の形で、コンピュータ読み取り可能命令、データ構造、プログラムモジュールその他のデータを含む。通信媒体は、任意の情報配信媒体も含む。「変調データ信号」という用語は、信号に情報を符号化するようにその信号の特性の1つまたは複数が設定または変更された信号を意味する。例を挙げると、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、および音波、RF、赤外線その他の無線媒体などの無線媒体を含むが、これらに限定されるものではない。上記のいずれの組合せも、コンピュータ読み取り可能媒体の範囲に含まれる。
(結び)
構造の特徴および/または方法の動作に固有の表現で本発明を説明してきたが、添付の特許請求の範囲で定義する本発明は、上記で説明した特定の特徴または動作に必ずしも限定されないことを理解されたい。そうではなくて、これらの特定の特徴および動作は、特許請求する本発明を実施する形態の例として開示するものである。例えば、本明細書で論じた輝度補正技法は、非カラー画像(例えば、グレイスケール画像)に容易に適用し得る。
薄暗い照明条件下で、図2と同じ場面を撮影した画像を示す写真である。 薄暗い照明条件下で、図1と同じ場面を撮影した画像を示す写真である。 輝度補正を適用した高画質画像の例を示す写真である。 輝度補正方法の例を示す図である。 輝度補正で利用し得るカラーヒストグラム均等化法の例を示す図である。 元の画像の均質な領域を示す図である。 動きによるぼけを伴って撮影された、図6Aと同じ領域を示す図である。 一方向に沿った画素の色の曲線を示す図である。 一方向に沿った画素の色の曲線を示す図である。 輝度補正で利用し得る空間領域マッチング法の例を示す図である。 図2の画像を複数領域にセグメント化した例を示す図である。 図9の画像内の領域をエロードして得られた中間画像の例を示す図である。 図9および図10の選択した領域の中心を点として示す図である。 入力露出不足画像の例を示す写真である。 図12の画像に輝度補正を適用することによって得られた画像の例を示す写真である。 図12の画像に色変換技法を適用したときの結果の例を示す写真である。 図12の画像に適応型ヒストグラム均等化法を適用した結果の例を示す写真である。 図12の画像に2.5のガンマ補正を適用したときの結果の例を示す写真である。 写真編集プログラムで、図12の画像に曲線調整を適用した結果の例を示す写真である。 本明細書で説明する方法の、露光時間が異なる2枚の入力画像の色情報を最適に組み合わせる能力を示す写真である。 本明細書で説明する方法の、露光時間が異なる2枚の入力画像の色情報を最適に組み合わせる能力を示す写真である。 本明細書で説明する方法の、露光時間が異なる2枚の入力画像の色情報を最適に組み合わせる能力を示す写真である。 本明細書で説明する方法の、露光時間が異なる2枚の入力画像の色情報を最適に組み合わせる能力を示す写真である。 場面内の対象物の動きによって生じた動きによるぼけの実験結果を示す写真である。 場面内の対象物の動きによって生じた動きによるぼけの実験結果を示す写真である。 場面内の対象物の動きによって生じた動きによるぼけの実験結果を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 高コントラスト場面の実施形態に関連する画像の例を示す写真である。 輝度補正を施すのに使用し得る複数の写真を一度に撮影するデジタルカメラ構成の例を示す図である。 ソフトウェアによってカメラの露光を制御する方法の例を示す図である。 本明細書で説明する技法を実施するのに使用し得る一般的なコンピュータ環境を示す図である。

Claims (6)

  1. (A) 同じ場面の2枚の画像を提供するステップであって、第1の画像が短い露光時間で撮影された結果動きによるぼけが少ない一方露光不足なものであり、第2の画像が、長い露光時間で撮影された結果動きによるぼけが多い一方露光は十分なものであるステップと、
    (B)空間領域マッチング法を利用して、マッチング位置における画素対の分散を計算して、前記2枚の画像の空間コヒーレンスを求めるステップであって、
    前記空間領域マッチング法は、
    (b-1)前記2枚の画像のうち第2の画像を、複数の同様に色付けした領域にセグメント化するサブステップであって、当該セグメント化が、各領域(IH)が類似の色を含むように行われる(ステップ802)ものと、
    (b-2)前記第1の画像と前記第2の画像のマッチングシードを選択可能とするために(0040段落)、第2の画像のセグメント化は、前記各領域を完全にエロードする(ステップ804)ために反復して行われるものであって、当該エロードは、セグメント化された画像(図9)のそれぞれの領域内において、画像データ値を段階的に重畳して、塗りつぶす処理を行って中間画像(図10)を生成するものであって、領域ごとの最後の数画素である領域中心を求め(0041段落、ステップ806)、マッチング位置とし(0042段落)
    (b-3)セグメント化された領域の内、第1の画像の領域とのマッチング可能性の高いM個の領域を候補として選択し、(0042段落、ステップ808)
    マッチング位置の隣接画素の色のガウス平均値を求めて(0044段落、ステップ812)、第1の画像のマッチングシード(0040段落)との色を対比して、各領域間の空間コヒーレンスを求め、(0012段落、0013段落、0022段落、ステップ406、0023段落)
    (b-4)複数の潜在的なマッチング位置可能性のうち、空間コヒーレンスが高い領域どうしを対応付けるものであるもの、と
    (C)カラーヒストグラム均等化法を利用して、前記2枚の画像のそれぞれの前記領域の色の統計データを求めるステップであって(0012段落、0013段落、0022段落、ステップ406、0023段落)、当該色の統計データは、知覚空間(l,α,β)を赤・緑・青の空間に変換したものであり、当該lは無色チャネルであり、αおよびβは色度値を含むものであり、
    前記カラーヒストグラム均等法によって前記2枚の画像のそれぞれの前記領域の色の統計データを求めるステップは、
    前記2枚の画像のそれぞれを知覚空間に変換するサブステップと、
    前記知覚空間で、前記2枚の画像の色分布をクラスタ化するサブステップであって、当該色分布が、前記2枚の画像の各画素の前記α及びβ値の分布であるものと、
    前記知覚空間にヒストグラム均等化法を実施するサブステップであって、当該ヒストグラム均等化法が目的曲線に従って画像のダイナミックレンジおよびコントラストを改変する適応型ヒストグラム均等化法を含むものであり、
    前記ヒストグラム均等化法を実施された前記知覚空間を赤−緑−の空間に変換するサブステップを含むものと、
    (D)前記ステップ(b-4)によって得られた、前記2枚の画像のうちコヒーレンスが高い領域どうしを基準として、前記第2の画像のそれぞれの前記領域の前記色の統計データを、前記第1の画像のそれぞれの前記領域の前記色の統計データに使用することによって、前記第1の画像の色の再現性を高めるステップと、
    を備え露光不足の第1の画像の色の再現性を高める方法。
  2. 前記2枚の画像を、前記第1の画像の色の再現性を高める汎用コンピュータにダウンロードするステップをさらに備え、当該汎用コンピュータが、請求項1に記載の方法を実施することを特徴とする請求項1に記載の方法。
  3. 前記2枚の画像を、前記色の統計データおよび空間コヒーレンスの1つまたは複数を求める汎用コンピュータにダウンロードするステップをさらに備え、
    当該汎用コンピュータが、請求項1の方法を実施することによって前記色の統計データおよび空間コヒーレンスの1つまたは複数を求めることを特徴とする請求項1に記載の方法。
  4. デジタルカメラの露光ブラケット機能を利用して、前記2枚の画像を提供するステップさらに備え、当該露光ブラケット機能が、シャッタボタンを1回押すことによって異なるシャッタスピードで複数の写真が撮影される機能であることを特徴とする請求項1に記載の方法。
  5. デジタルカメラに搭載されたコンピュータによって実施されることを特徴とする請求項1に記載の方法。
  6. コンピュータが実行可能な命令を記憶する1つまたは複数のコンピュータ読み取り可能媒体であって、前記命令は、当該コンピュータによって実行されたときに、請求項1に記載の方法を実施し、前記1つまたは複数のコンピュータ読み取り可能媒体は、デジタルカメラに組み込まれ、当該デジタルカメラに搭載されたコンピュータが実行される際に、当該コンピュータ読み取り可能媒体に記憶された当該実行可能な命令が当該コンピュータによって実行されることを特徴とするコンピュータ読み取り可能媒体。
JP2005106535A 2004-04-01 2005-04-01 輝度補正 Expired - Fee Related JP4846259B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/817,633 2004-04-01
US10/817,633 US7317843B2 (en) 2004-04-01 2004-04-01 Luminance correction

Publications (2)

Publication Number Publication Date
JP2005295566A JP2005295566A (ja) 2005-10-20
JP4846259B2 true JP4846259B2 (ja) 2011-12-28

Family

ID=34887788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005106535A Expired - Fee Related JP4846259B2 (ja) 2004-04-01 2005-04-01 輝度補正

Country Status (5)

Country Link
US (1) US7317843B2 (ja)
EP (1) EP1583032A3 (ja)
JP (1) JP4846259B2 (ja)
KR (1) KR101117882B1 (ja)
CN (1) CN1677442B (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US7680342B2 (en) * 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US7606417B2 (en) 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
US8442331B2 (en) 2004-02-15 2013-05-14 Google Inc. Capturing text from rendered documents using supplemental information
US10635723B2 (en) 2004-02-15 2020-04-28 Google Llc Search engines and systems with handheld document data capture devices
US8799303B2 (en) 2004-02-15 2014-08-05 Google Inc. Establishing an interactive environment for rendered documents
US20060041484A1 (en) 2004-04-01 2006-02-23 King Martin T Methods and systems for initiating application processes by data capture from rendered documents
US7812860B2 (en) 2004-04-01 2010-10-12 Exbiblio B.V. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US9116890B2 (en) 2004-04-01 2015-08-25 Google Inc. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
WO2008028674A2 (en) 2006-09-08 2008-03-13 Exbiblio B.V. Optical scanners, such as hand-held optical scanners
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8793162B2 (en) 2004-04-01 2014-07-29 Google Inc. Adding information or functionality to a rendered document via association with an electronic counterpart
US8621349B2 (en) 2004-04-01 2013-12-31 Google Inc. Publishing techniques for adding value to a rendered document
US7990556B2 (en) 2004-12-03 2011-08-02 Google Inc. Association of a portable scanner with input/output and storage devices
US7894670B2 (en) 2004-04-01 2011-02-22 Exbiblio B.V. Triggering actions in response to optically or acoustically capturing keywords from a rendered document
US9143638B2 (en) 2004-04-01 2015-09-22 Google Inc. Data capture from rendered documents using handheld device
US20070300142A1 (en) 2005-04-01 2007-12-27 King Martin T Contextual dynamic advertising based upon captured rendered text
US8146156B2 (en) 2004-04-01 2012-03-27 Google Inc. Archive of text captures from rendered documents
US20080313172A1 (en) 2004-12-03 2008-12-18 King Martin T Determining actions involving captured information and electronic content associated with rendered documents
US8713418B2 (en) 2004-04-12 2014-04-29 Google Inc. Adding value to a rendered document
US8489624B2 (en) 2004-05-17 2013-07-16 Google, Inc. Processing techniques for text capture from a rendered document
US8620083B2 (en) 2004-12-03 2013-12-31 Google Inc. Method and system for character recognition
US9460346B2 (en) 2004-04-19 2016-10-04 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US8346620B2 (en) 2004-07-19 2013-01-01 Google Inc. Automatic modification of web pages
US20110029504A1 (en) * 2004-12-03 2011-02-03 King Martin T Searching and accessing documents on private networks for use with captures from rendered documents
US20070031058A1 (en) * 2005-06-08 2007-02-08 Canamet Canadian National Medical Technologies Inc. Method and system for blind reconstruction of multi-frame image data
US7692696B2 (en) * 2005-12-27 2010-04-06 Fotonation Vision Limited Digital image acquisition system with portrait mode
IES20060558A2 (en) * 2006-02-14 2006-11-01 Fotonation Vision Ltd Image blurring
EP1987436B1 (en) * 2006-02-14 2015-12-09 FotoNation Limited Image blurring
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
JP4251217B2 (ja) * 2006-06-21 2009-04-08 セイコーエプソン株式会社 印刷装置、画像データファイル処理装置、画像データファイルの選択方法、およびコンピュータプログラム
JP4407714B2 (ja) * 2007-04-06 2010-02-03 セイコーエプソン株式会社 生体認証装置及び生体認証方法
KR101336240B1 (ko) * 2007-05-07 2013-12-03 삼성전자주식회사 저장된 영상을 이용한 영상 처리 방법 및 장치
JP5188101B2 (ja) * 2007-06-01 2013-04-24 株式会社キーエンス 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体
TW200922290A (en) * 2007-11-02 2009-05-16 Altek Corp Image capturing apparatus and method for providing image blur information
US20090263015A1 (en) * 2008-04-17 2009-10-22 Guoyi Fu Method And Apparatus For Correcting Underexposed Digital Images
US8781250B2 (en) * 2008-06-26 2014-07-15 Microsoft Corporation Image deconvolution using color priors
CN101626457B (zh) * 2008-07-08 2011-09-07 华晶科技股份有限公司 影像撷取方法
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
WO2010096191A2 (en) 2009-02-18 2010-08-26 Exbiblio B.V. Automatically capturing information, such as capturing information using a document-aware device
EP2406767A4 (en) 2009-03-12 2016-03-16 Google Inc AUTOMATIC CONTENT SUPPLY ASSOCIATED WITH CAPTURED INFORMATION, TYPE INFORMATION CAPTURED IN REAL TIME
US8447066B2 (en) * 2009-03-12 2013-05-21 Google Inc. Performing actions based on capturing information from rendered documents, such as documents under copyright
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
JP4973719B2 (ja) * 2009-11-11 2012-07-11 カシオ計算機株式会社 撮像装置、撮像方法、及び撮像プログラム
US9081799B2 (en) 2009-12-04 2015-07-14 Google Inc. Using gestalt information to identify locations in printed information
US9323784B2 (en) 2009-12-09 2016-04-26 Google Inc. Image search using text-based elements within the contents of images
KR101630307B1 (ko) * 2010-05-12 2016-06-14 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US8340416B2 (en) * 2010-06-25 2012-12-25 Microsoft Corporation Techniques for robust color transfer
EP2577955B1 (en) 2011-02-18 2014-07-30 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images
KR101893793B1 (ko) 2011-05-17 2018-10-04 삼성전자주식회사 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법
US8494262B2 (en) * 2011-05-24 2013-07-23 Hewlett-Packard Development Company, L.P. Transferring colors from a source object to a target object
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
WO2013123133A1 (en) 2012-02-14 2013-08-22 Gentex Corporation High dynamic range imager system
KR101373471B1 (ko) * 2012-10-15 2014-03-13 세종대학교산학협력단 스테레오 영상 보정 장치 및 그 방법
EP2741502A1 (en) * 2012-12-07 2014-06-11 Thomson Licensing Method and apparatus for color transfer between images
US9179080B2 (en) 2014-01-06 2015-11-03 Qualcomm Incorporated System and method to capture images with reduced blurriness in low light conditions
CN104484864B (zh) * 2014-12-31 2017-06-23 苏州科达科技股份有限公司 获取图像伽马曲线、增强图像对比度的方法及系统

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450502A (en) * 1993-10-07 1995-09-12 Xerox Corporation Image-dependent luminance enhancement
US5982926A (en) * 1995-01-17 1999-11-09 At & T Ipm Corp. Real-time image enhancement techniques
US5929908A (en) * 1995-02-03 1999-07-27 Canon Kabushiki Kaisha Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion
US6463173B1 (en) * 1995-10-30 2002-10-08 Hewlett-Packard Company System and method for histogram-based image contrast enhancement
JP3130266B2 (ja) * 1996-03-09 2001-01-31 三星電子株式会社 平均分離ヒストグラム等化を用いる映像改善方法及びその回路
JP3778229B2 (ja) * 1996-05-13 2006-05-24 富士ゼロックス株式会社 画像処理装置、画像処理方法、および画像処理システム
JP3907783B2 (ja) * 1996-12-12 2007-04-18 富士フイルム株式会社 色変換方法
US6198844B1 (en) * 1998-01-28 2001-03-06 Konica Corporation Image processing apparatus
US6075889A (en) * 1998-06-12 2000-06-13 Eastman Kodak Company Computing color specification (luminance and chrominance) values for images
KR100322596B1 (ko) * 1998-12-15 2002-07-18 윤종용 입력 영상의 밝기를 유지하는 화질 개선 장치 및 그 방법
US6760485B1 (en) * 1999-05-20 2004-07-06 Eastman Kodak Company Nonlinearly modifying a rendered digital image
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
JP3615454B2 (ja) * 2000-03-27 2005-02-02 三洋電機株式会社 ディジタルカメラ
US6807319B2 (en) * 2000-06-12 2004-10-19 Sharp Laboratories Of America, Inc. Methods and systems for improving display resolution in achromatic images using sub-pixel sampling and visual error filtering
US6636646B1 (en) * 2000-07-20 2003-10-21 Eastman Kodak Company Digital image processing method and for brightness adjustment of digital images
JP3444281B2 (ja) * 2000-09-29 2003-09-08 ミノルタ株式会社 画像処理システム、撮像装置、画像処理方法及びその方法の処理プログラムが記録された記録媒体
JP4123724B2 (ja) * 2001-01-30 2008-07-23 コニカミノルタビジネステクノロジーズ株式会社 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、画像処理装置および画像処理方法
US6807299B2 (en) * 2001-03-10 2004-10-19 Hewlett-Packard Development Company, L.P. Method for contrast mapping of digital images that converges on a solution
JP4151225B2 (ja) * 2001-03-15 2008-09-17 コニカミノルタビジネステクノロジーズ株式会社 画像処理のための装置、方法及びプログラム
JP3539394B2 (ja) * 2001-03-26 2004-07-07 ミノルタ株式会社 画像処理装置、プログラムおよび記録媒体
CA2453423C (fr) * 2001-07-12 2014-10-14 Vision Iq Procede et systeme pour fournir des informations formatees a des moyens de traitement d'images
US6993200B2 (en) * 2001-11-20 2006-01-31 Sony Corporation System and method for effectively rendering high dynamic range images
JP2003173438A (ja) * 2001-12-06 2003-06-20 Minolta Co Ltd 画像処理装置
JP4275344B2 (ja) * 2002-01-22 2009-06-10 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
JP3907173B2 (ja) * 2002-02-20 2007-04-18 富士フイルム株式会社 画像合成方法及びその装置並びにデジタルスチルカメラ
JP2003274427A (ja) * 2002-03-15 2003-09-26 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP4092544B2 (ja) * 2002-03-20 2008-05-28 セイコーエプソン株式会社 色変換装置、色変換方法、色変換プログラム、色変換テーブル作成方法、色変換テーブル作成装置、色変換テーブル作成プログラム、色変換テーブルおよび色変換テーブルのデータを記録した媒体
JP4097980B2 (ja) 2002-04-23 2008-06-11 オリンパス株式会社 画像合成装置
US6937775B2 (en) * 2002-05-15 2005-08-30 Eastman Kodak Company Method of enhancing the tone scale of a digital image to extend the linear response range without amplifying noise
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video

Also Published As

Publication number Publication date
EP1583032A2 (en) 2005-10-05
KR101117882B1 (ko) 2012-03-07
KR20060045441A (ko) 2006-05-17
CN1677442B (zh) 2010-04-28
US7317843B2 (en) 2008-01-08
EP1583032A3 (en) 2012-02-01
CN1677442A (zh) 2005-10-05
JP2005295566A (ja) 2005-10-20
US20050220359A1 (en) 2005-10-06

Similar Documents

Publication Publication Date Title
JP4846259B2 (ja) 輝度補正
US7463296B2 (en) Digital cameras with luminance correction
US9275445B2 (en) High dynamic range and tone mapping imaging techniques
WO2020207239A1 (en) Method and apparatus for image processing
CN109005366B (zh) 摄像模组夜景摄像处理方法、装置、电子设备及存储介质
CN111418201B (zh) 一种拍摄方法及设备
CN109218628B (zh) 图像处理方法、装置、电子设备及存储介质
CN109194882B (zh) 图像处理方法、装置、电子设备及存储介质
US9432579B1 (en) Digital image processing
EP1924966B1 (en) Adaptive exposure control
WO2020034737A1 (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
US9019402B2 (en) Dynamic range extension by combining differently exposed hand-held device-acquired images
KR101026577B1 (ko) 하이 다이나믹 레인지 비디오 생성 시스템, 컴퓨터 구현 방법, 및 컴퓨터 판독가능 기록 매체
Jia et al. Bayesian correction of image intensity with spatial consideration
US11189017B1 (en) Generalized fusion techniques based on minimizing variance and asymmetric distance measures
US20160093029A1 (en) High Dynamic Range Image Composition Using Multiple Images
US20150348242A1 (en) Scene Motion Correction In Fused Image Systems
CN109005369B (zh) 曝光控制方法、装置、电子设备以及计算机可读存储介质
US11094039B1 (en) Fusion-adaptive noise reduction
Kao High dynamic range imaging by fusing multiple raw images and tone reproduction
CN113963007A (zh) 一种图像处理方法和装置
CN117710264B (zh) 图像的动态范围校准方法和电子设备
CN113469908B (zh) 图像降噪方法、装置、终端、存储介质
AU2014277652A1 (en) Method of image enhancement based on perception of balance of image features

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090909

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091023

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091027

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100202

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100308

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110822

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111012

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees