JP7130777B2 - シングルショットhdrカラーイメージセンサからのhdr画像生成 - Google Patents
シングルショットhdrカラーイメージセンサからのhdr画像生成 Download PDFInfo
- Publication number
- JP7130777B2 JP7130777B2 JP2020562115A JP2020562115A JP7130777B2 JP 7130777 B2 JP7130777 B2 JP 7130777B2 JP 2020562115 A JP2020562115 A JP 2020562115A JP 2020562115 A JP2020562115 A JP 2020562115A JP 7130777 B2 JP7130777 B2 JP 7130777B2
- Authority
- JP
- Japan
- Prior art keywords
- exposure time
- color
- pixel
- hdr
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
Description
本願は、2018年6月7日に出願された米国仮特許出願第62/681,789号、2018年6月7日に出願された欧州特許出願第18176403.6号、および2019年4月23日に出願された米国仮特許出願第62/837,361号に基づく優先権を主張するものであり、これらの出願の開示内容の全てを本願に援用する。
Δa=|rβ1,S-β1,L| (式1)
である。ここでrは長露光時間の短露光時間に対する比である。ステップ530は、(a)ステップ510において取得された短露光時間画素232Sの画素値170からβ1,Sを導出し、(b)ステップ510において取得された長露光時間画素232Lの画素値170からβ1,Lを導出する。一般に、短露光値β1,Sおよび長露光値β1,Lは、複数の異なる方法で共通のスケールにスケーリングされ得る。第1の方法によれば、比率rは、前述の例で述べたように、長露光時間の短露光時間に対する比として決定され得る。そして、比率rを用いて、短露光値β1,Sに比率rを乗じることにより、短露光値β1,Sを共通のスケールにスケーリングすることができる。あるいは、第2の方法によれば、第2の比率r2が、短露光時間の長露光時間に対する比として決定され得る。そして、第2の比率r2を用いて、長露光値β1,Lに第2の比率r2を乗じることにより、長露光値β1,Lを共通のスケールにスケーリングすることができる。さらに別の方法によれば、スケーリングは、(a)長露光値β1,Lに短露光時間を乗じ、(b)短露光値β1,Sに長露光時間を乗じることとによって達成されてもよい。したがって、短露光値β1,Sおよび長露光値β1,Lを共通のスケールにスケーリングするためのさらなる代替法を当業者が容易に思い付くであろうことは、もはや明らかである。
として表され得る。ここで、kは定数であり、Var(β1,S,β1,L)は、短露光時間画素232Sの画素値170と、長露光時間画素232Lの画素値170との、合成ノイズ分散(combined noise variance)である。
として表され得る。
Vout,C=(1-m)βC,L+mrβC,S (式4)
と表され得る。ここで、インデックスCは、第1の色、第2の色、または第3の色をそれぞれ指す値である1、2、および3のうちの1つをとり、βC,SおよびβC,Lは、それぞれ、考慮中の画像画素と色に対する、短露光値および長露光値である。ステップ540は、ステップ510で取得された画素値170から、βC,SおよびβC,Lを導出する。ステップ540において、飽和長露光時間画素224を考慮から除き、各出力値の決定を、短露光時間画素222と不飽和長露光時間画素224とに基づいて行ってもよい。式4において、動きパラメータmは、0から1までの範囲内にあることができ、より小さい動きパラメータmは、ローカル領域における、より低い動き度を表し、より大きい動きパラメータmは、ローカル領域における、より高い動き度を表し得る。もしも一方で、ローカル領域に動きが無ければ、動きパラメータmは0であってもよく、当該画像画素に対する出力値Vout,Cは、長露光値βC,Lのみに基づき決定され得る。他方で、もしもローカル領域における動きの量が既定の動き最大量を超えるならば、動きパラメータmは1であってもよく、当該画像画素に対する出力値Vout,Cは、短露光値βC,Sのみに基づき決定され得る。すなわち一般に、ローカル領域における、より高い動き度は、画像画素の出力値Vout,Cが短露光値βC,Sに支配されるような、短露光値βC,Sのより高い重み付けおよび長露光値βC,Lのより低い重み付けに帰結することになる。逆に、ローカル領域における、より低い動き度は、画像画素の出力値Vout,Cが長露光値βC,Lに支配されるような、長露光値βC,Lのより高い重み付けおよび短露光値βC,Sのより低い重み付けに帰結することになる。
と表され、かつ、相対的なノイズ超の差異Δrは、代わりに
である。ノイズ超の差異Δr´に基づく態様においては、ステップ530で、以下の超越方程式のうちの1つを解くことにより、動きパラメータmを決定し得る。すなわち、
である。合成ノイズ分散は、Var(β1,S,β1,L,m)=(1-m)VarL+mr2VarSとして表され得る。以上に列挙された超越方程式(式7~12)は、短露光時間画素232Sの画素値170がゼロに近づくときに動きパラメータmをゼロに近づけるさらなる項を含むように改変されてもよい。本改変は、式11に対し、以下のように明示的に記述される。すなわち、
であり、ここでα2はスケーリングパラメータである。超越方程式の式7~10および12の各々が、同様に改変され得る。超越方程式の式7~13のうちの1つを実装するステップ530の実施形態は、ニュートン法(iterative Newton’s method)などの数値的方法(numerical methods)を用いるか、またはルックアップテーブル(図18~21に関連してさらに詳細に説明する)を用いることにより、動きパラメータmについて超越方程式を解くことが可能である。
であり得る。あるいは、差異閾値966は、動き補償と処理時間との所望の妥協点(動き補償デモザイキングは一般に非動き補償デモザイキングよりも演算的に高くつくゆえに)を達成するように、定義される。
Vout,C=(1-f)VC,L+frVC,S (式14)
として表され得る。ここで、インデックスCは、第1の色、第2の色、または第3の色をそれぞれ指す値である1、2、および3のうちの1つを取り、VC,SおよびVC,Lはそれぞれ、考慮中の画像画素および色に対する、短露光値および長露光値である。rは、長露光時間の短露光時間に対する比である。式14は各色を別々に取り扱っており、結果物であるHDR画像はゆえに、カラーモザイク(color mosaic)の形態を取る。このカラーモザイクをデモザイクすることにより、各画素がフルカラー情報を有する、HDRカラー画像を生成することが可能である。式14のブレンディング関数fは、少なくとも1色についてのVC,SおよびVC,Lの関数である。例えばブレンディング関数fは、V1,SおよびV1,Lに基づき決定されて、その後、空間的に同位置の(co-located)画素についてのV2,S、V2,L、V3,S、およびV3,Lに適用され得る。あるいは、ブレンディング関数fは、各色につき別個に決定される。ブレンディング関数fは、図5および式7~13に関して前述した、動きパラメータmと同一または同様であり得る。VC,SおよびVC,Lは、それぞれβC,SおよびβC,Lでもよい。
で定義される。しかし、本開示の範囲から逸脱しない範囲で、ブレンディング関数fは、全般に1に近いがVC,LがrVC,Sに略等しいときにはゼロまで沈下する別の超越関数であってもよい。図18にプロットされた例において、露光時間比rは8に等しく、VC,L=8VC,Sの周辺領域においてブレンディング関数fがゼロまで沈下するようなものとなっている。本開示の範囲から逸脱しない範囲で、露光時間比rは、8とは異なってもよい。
の箇所に、ディップ2132を有する。
が算出される。ここでV0 C,Lは、f(VC,L,V0 C,S)のディップの中心位置である。V0 C,S=60の例(曲線1910)において、中心位置V0 C,L=480である。V0 C,S=60かつVC,S=20の例において、ステップ2020にて行われるスケーリングは、係数
によるディップ幅のスケーリングに相当する。ステップ2020において行われるスケーリングは優れた近似であり、ディップ幅のVC,Sに対する依存性を少なくとも殆ど完璧に補正することが、シミュレーションによって示されている。
における1Dルックアップテーブルのエントリを読み出す。本インデックス位置において、ステップ2030は、図21中の位置2128で表される曲線1910の値を読み出すが、これは、曲線2120上の位置2126によって正しい値であると示されている値にマッチする。
Claims (54)
- 二重露光時間シングルショットHDRカラーイメージセンサから、動き補償されたハイダイナミックレンジ(HDR)カラー画像を生成するための方法であって、
前記二重露光時間シングルショットHDRカラーイメージセンサの、一ローカル領域のそれぞれのセンサ画素群によって生成された画素値を取得するステップであって、前記ローカル領域は、前記動き補償されたHDRカラー画像のある画像画素の位置に対応しており、前記ローカル領域の前記センサ画素群は、3つの異なる色の各々について、それぞれの色に感度を有する複数の短露光時間画素と複数の長露光時間画素とを含む、ステップと、
第1の色に対応付けられた、前記短露光時間画素および前記長露光時間画素の画素値から、前記ローカル領域の動きパラメータを決定するステップと、
前記ローカル領域の画素値をデモザイキングすることにより、各色について、前記短露光時間画素と前記長露光時間画素とから、前記画像画素の出力値を決定するステップであって、前記出力値に対する前記短露光時間画素と前記長露光時間画素との相対寄与率は、前記動きパラメータに従って重み付けされる、ステップと、
を含む方法。 - 生成される前記動き補償されたHDRカラー画像の各画像画素に対し、前記二重露光時間シングルショットHDRカラーイメージセンサの一ローカル領域のそれぞれのセンサ画素によって生成された画素値を取得するステップの後、各色について、
動き補償が可能かつ/または必要であるか否かを評価するステップと、
前記色に対応付けられた、前記画像画素の出力値を生成するステップと、
をさらに含み、前記生成するステップは、
(i)動き補償が可能かつ/または必要である場合に、前記動きパラメータを決定するステップとデモザイキングのステップとを行うことにより、動き補償を用いて前記色について、前記画像画素の前記出力値を決定するステップと、
(ii)動き補償が不可能かつ/または不要であるでない場合に、非動き補償デモザイキングを行うことにより、前記色について、前記画像画素の前記出力値を決定するステップと、
を含む、請求項1に記載の方法。 - 動き補償が可能かつ/または必要であるか否かを評価する前記ステップは、
(a)前記ローカル領域の、前記色に対応付けられた前記長露光時間画素の前記画素値が不飽和基準を満たしているとき、
(b)前記色が前記第1の色とは異なる場合に、前記ローカル領域の、前記第1の色に対応付けられた前記長露光時間画素の前記画素値が、前記不飽和基準を満たしているとき、または、
(c)前記ローカル領域の、前記第1の色に対応付けられた前記長露光時間画素の前記画素値が前記不飽和基準を満たしている場合に、前記ローカル領域の、前記第1の色に対応付けられた前記短露光時間画素と前記長露光時間画素との差異が、センサノイズに関連する画素値変動に対応付けられた差異閾値を超えるとき
に限り、動き補償が可能かつ/または必要であるものと判定することを含む、請求項2に記載の方法。 - 動き補償が可能かつ/または必要であるか否かを評価する前記ステップは、さらに、
前記第1の色に対応付けられた前記短露光時間画素の前記画素値に、第1のモデルによるそれぞれの第1の適合重みを乗じることにより、前記画像画素の短露光時間第1色値を決定するステップと、
前記第1の色に対応付けられた前記長露光時間画素のうち不飽和なものについての前記画素値に、第2のモデルによるそれぞれの第2の適合重みを乗じることにより、前記画像画素の長露光時間第1色値を決定するステップと、
共通のスケールにスケーリングされた前記短露光時間第1色値と前記長露光時間第1色値との差の絶対値として、前記差異を算出するステップと、
を含む、請求項3に記載の方法。 - 動き補償が可能かつ/または必要であるか否かを評価する前記ステップはさらに、
前記二重露光時間シングルショットHDRカラーイメージセンサのノイズモデルに基づき、前記画像画素と前記第1の色とに対応付けられた画素値変動の期待値を推定するステップと、
前記期待値から前記差異閾値を算出するステップと、
を含む、請求項3に記載の方法。 - 前記画素値を取得するステップは、前記動き補償されたHDRカラー画像が前記二重露光時間シングルショットHDRカラーイメージセンサに比べてダウンサンプリングされた解像度で生成されるように、前記ローカル領域を選択することを含む、請求項2に記載の方法。
- 前記画素値を取得するステップは、前記動き補償されたHDRカラー画像が前記二重露光時間シングルショットHDRカラーイメージセンサと同一の解像度で生成されるように、前記ローカル領域を選択することを含む、請求項2に記載の方法。
- 前記動きパラメータは、前記ローカル領域における動き度を表す、請求項1に記載の方法。
- 前記動きパラメータを決定するステップは、
前記第1の色に対応付けられた前記短露光時間画素の前記画素値に、第1のモデルによるそれぞれの第1の適合重みを乗じることにより、前記画像画素の短露光時間第1色値を決定するステップと、
前記第1の色に対応付けられた前記長露光時間画素のうち不飽和なものについての前記画素値に、第2のモデルによるそれぞれの第2の適合重みを乗じることにより、前記画像画素の長露光時間第1色値を決定するステップと、
前記短露光時間第1色値と前記長露光時間第1色値との差異を算出することにより、前記動きパラメータを決定するステップと、
を含み、
前記第1および第2のモデルは、前記二重露光時間シングルショットHDRカラーイメージセンサのノイズ特性および/または飽和挙動のモデルである、、請求項1に記載の方法。 - 前記適合重みは画素値の予期される信号品質の増加関数である、請求項9に記載の方法。
- 前記動きパラメータを決定するステップは、
前記第1の色に対応付けられた前記短露光時間画素の前記画素値に、第1のモデルによるそれぞれの第1の適合重みを乗じることにより、前記画像画素の短露光時間第1色値を決定するステップと、
前記第1の色に対応付けられた前記長露光時間画素のうち飽和していない画素の前記画素値に、第2のモデルによるそれぞれの第2の適合重みを乗じることにより、前記画像画素の長露光時間第1色値を決定するステップと、
前記短露光時間第1色値と前記長露光時間第1色値との差異を算出することにより、前記動きパラメータを決定するステップと、
を含み、
前記第1のモデルおよび前記第2のモデルの各々は、センサ画素位置の二次元多項式関数であり、前記二次元多項式関数の出力値は、それぞれ前記第1の適合重みまたは前記第2の適合重みである、請求項1に記載の方法。 - 前記二次元多項式関数は、1次多項式、2次多項式、または3次多項式である、請求項11に記載の方法。
- 前記デモザイキングのステップは、
前記色に対応付けられた前記短露光時間画素に基づき、前記画像画素の短露光値を決定するステップと、
前記色に対応付けられた前記長露光時間画素のうち不飽和なものに基づき、前記画像画素の長露光値を決定するステップと、
前記動きパラメータを重みとして用いて、前記短露光値と前記長露光値との加重平均として、前記出力値を算出するステップと、
を含む、請求項1に記載の方法。 - 前記動きパラメータを決定するステップにおける、
(a)前記第1の色の前記短露光時間画素に基づき、前記画像画素の短露光時間第1色値を決定するステップ、
(b)前記長露光時間画素に基づき、前記画像画素の長露光時間第1色値を決定するステップ、および、
(c)前記短露光時間第1色値と前記長露光時間第1色値との差異を算出することにより、前記動きパラメータを決定するステップ、ならびに、
前記デモザイキングのステップにおける、前記第1の色について、前記第1の色の前記短露光値を前記短露光時間第1色値に設定するステップ、および、前記第1の色の前記長露光値を前記長露光時間第1色値に設定するステップ、
を含む、請求項13に記載の方法。 - 前記短露光値を決定するステップにおける、前記色に対応付けられた前記短露光時間画素の前記画素値に、第1のモデルによるそれぞれの第1の適合重みを乗じることにより、前記短露光値を決定するステップと、
前記長露光値を決定するステップにおける、前記色に対応付けられた前記長露光時間画素のうち不飽和なものについての前記画素値に、第2のモデルによるそれぞれの第2の適合重みを乗じることにより、前記長露光値を決定するステップと、
を含み、
前記第1および第2のモデルは、前記二重露光時間シングルショットHDRカラーイメージセンサのノイズ特性および/または飽和挙動のモデルである、
む、請求項13に記載の方法。 - 前記短露光値を決定するステップにおける、前記色に対応付けられた前記短露光時間画素の前記画素値に、第1のモデルによるそれぞれの第1の適合重みを乗じることにより、前記短露光値を決定するステップと、
前記長露光値を決定するステップにおける、前記色に対応付けられた前記長露光時間画素のうち不飽和なものについての前記画素値に、第2のモデルによるそれぞれの第2の適合重みを乗じることにより、前記長露光値を決定するステップと、
を含み、
前記第1のモデルおよび前記第2のモデルの各々は、センサ画素位置の二次元多項式関数である、請求項13に記載の方法。 - 前記第1の色に対し、前記二次元多項式関数は、1次多項式、2次多項式、または3次多項式であり、
前記第1の色と異なる各色に対し、前記二次元多項式関数は、前記第1の色に用いられる前記二次元多項式よりも低次数である、
請求項16に記載の方法。 - 前記動きパラメータを決定するステップは、前記第1の色として、前記二重露光時間シングルショットHDRカラーイメージセンサの最大個数のセンサ画素に対応付けられた色を用いることを含む、請求項1に記載の方法。
- 前記3つの異なる色は赤、緑、および青であり、前記第1の色は緑である、請求項18に記載の方法。
- 前記第1の色は緑であり、前記3つの異なる色の残りの2つは、それぞれ異なる赤、緑、および青の線形結合である、請求項18に記載の方法。
- 前記二重露光時間シングルショットHDRカラーイメージセンサは、ジグザグHDRイメージセンサである、請求項18に記載の方法。
- さらに、前記動きパラメータを決定するステップの前に、前記ローカル領域における前記色の各々の輝度の評価に基づき、前記第1の色を選択するステップを含む、請求項1に記載の方法。
- 前記ローカル領域として、少なくとも5×5の隣接センサ画素で規定された、前記二重露光時間シングルショットHDRカラーイメージセンサの正方形区画を用いることをさらに含む、請求項1に記載の方法。
- 前記二重露光時間シングルショットHDRカラーイメージセンサとして、ジグザグHDRイメージセンサを用いることをさらに含む、請求項23に記載の方法。
- さらに、前記動き補償されたHDRカラー画像の各画像画素に対し、
前記画素値の取得を行うステップと、
前記3つの異なる色の各々について、出力値を生成するステップと、
を含む、請求項1に記載の方法であって、前記生成するステップは、
(i)第1の色について、
(a)前記第1の色に対応付けられた前記長露光時間画素が不飽和基準を満たす場合に、
(1)前記ローカル領域の、前記第1の色に対応付けられた短露光時間画素と長露光時間画素との差異を算出するステップと、
(2)前記画像画素と前記第1の色とに対応付けられた画素値変動の期待値から、差異閾値を算出するステップと、
(3)前記差異が前記差異閾値を超える場合に、前記動きパラメータを決定するステップと、前記第1の色に対するデモザイキングのステップとを行うことにより、動き補償を用いて、前記第1の色に対応付けられた前記画像画素の前記出力値を決定するステップと、
(4)前記差異が前記差異閾値を超えない場合に、前記第1の色について非動き補償HDRデモザイキングを行うことにより、前記第1の色に対応付けられた前記短露光時間画素と前記長露光時間画素との合成から、前記色に対応付けられた前記画像画素の前記出力値を決定するステップと、
(b)前記第1の色に対応付けられた前記長露光時間画素が前記不飽和基準を満たさない場合に、前記第1の色について非動き補償デモザイキングを行うことにより、前記第1の色に対応付けられた前記短露光時間画素のみから、前記第1の色に対応付けられた前記画像画素の前記出力値を決定するステップと、
(ii)前記第1の色と異なる各色について、
(a)前記色および前記第1の色に対応付けられた前記長露光時間画素が前記不飽和基準を満たし、かつ、前記差異が前記差異閾値を超える場合に、前記色に対するデモザイキングのステップを行うことにより、動き補償を用いて、前記色に対応付けられた前記画像画素の前記出力値を決定するステップと、
(b)前記色および前記第1の色に対応付けられた前記長露光時間画素が前記不飽和基準を満たし、かつ、前記差異が前記差異閾値を超えない場合に、前記色について非動き補償デモザイキングを行うことにより、前記色に対応付けられた前記短露光時間画素と前記長露光時間画素との合成から、前記色に対応付けられた前記画像画素の前記出力値を決定するステップと、
(c)前記色に対応付けられた前記長露光時間画素が前記不飽和基準を満たさないか、または、前記第1の色に対応付けられた前記長露光時間画素が前記不飽和基準を満たさない場合に、前記色について非動き補償デモザイキングを行うことにより、前記色に対応付けられた前記短露光時間画素のみから、前記色に対応付けられた前記画像画素の前記出力値を決定するステップと、
を含む、請求項1に記載の方法。 - 非一時的メモリ中に符号化される機械可読命令を含む、二重露光時間シングルショットHDRカラーイメージセンサから動き補償されたハイダイナミックレンジ(HDR)カラー画像を生成するためのコンピュータプログラムであって、前記命令は、
プロセッサによって実行されるとき、前記二重露光時間シングルショットHDRカラーイメージセンサの一ローカル領域のそれぞれのセンサ画素によって生成された画素値を取り出す、データ選択命令であって、前記ローカル領域は、前記動き補償されたHDRカラー画像のある画像画素の位置に対応しており、前記ローカル領域の前記センサ画素は、3つの異なる色の各々について、前記それぞれの色に感度を有する複数の短露光時間画素と複数の長露光時間画素とを含む、データ選択命令と、
前記プロセッサによって実行されるとき、第1の色に対応付けられた前記短露光時間画素と前記長露光時間画素との前記画素値から前記ローカル領域の動きパラメータを決定する、動き命令と、
プロセッサによって実行されるとき、前記ローカル領域の前記画素値をデモザイキングすることにより、各色について、前記短露光時間画素と前記長露光時間画素とから前記画像画素の出力値を決定する、デモザイキング命令であって、前記出力値に対する前記短露光時間画素と前記長露光時間画素との相対寄与率は、前記動きパラメータに従い重み付けされる、デモザイキング命令と、
を含む、コンピュータプログラム。 - 前記ローカル領域内におけるセンサノイズから生じる画素値変動のモデルと、
前記画素値の信号品質とともに増加する、適合重み関数と、
前記動き命令において、
前記プロセッサが前記動き命令を実行する際に呼び出され、前記画素値変動のモデルから導出された、前記適合重み関数の適合重みを、前記第1の色に対応付けられた前記ローカル領域の画素値に適用することにより、前記画像画素について短露光時間第1色値および長露光時間第1色値を決定する、適合化命令と、
前記プロセッサが前記動き命令を実行する際に呼び出され、前記第1の色に対応付けられた前記ローカル領域の画素値に画素値変動の前記モデルから導出された前記適合重み関数からの適合重みを適用する前記短露光時間第1色値と前記長露光時間第1色値との差異を算出することにより、前記動きパラメータを決定する、差異命令と、
をさらに含む、請求項26に記載のコンピュータプログラム。 - 前記デモザイキング命令は、前記プロセッサによって実行されるときに、
前記第1の色と異なる各色に対し、前記色に対応付けられた前記短露光時間画素に基づいて前記画像画素の短露光値を決定し、かつ、前記色に対応付けられた前記長露光時間画素のうち不飽和なものに基づいて前記画像画素の長露光値を決定することと、
前記第1の色に対し、前記第1の色の短露光値を前記短露光時間第1色値に設定し、かつ、前記第1の色の長露光値を前記長露光時間第1色値に設定することと、
各色について、前記動きパラメータを重みとして用いて、前記短露光値と前記長露光値との加重平均として前記出力値を算出することと、
を行うように構成される、請求項27に記載のコンピュータプログラム。 - 非一時的メモリ中に、
領域サイズと、
ステップサイズと、
を含むパラメータ記憶域が符号化され、
前記コンピュータプログラムは、前記命令において、
前記プロセッサによって実行されるときに、前記動き補償されたHDRカラー画像の各画像画素について、(i)前記領域サイズに従ってサイズ決めされた前記ローカル領域と、(ii)前記ステップサイズに従って設定された、隣接し合う画像画素に対応するローカル領域の中心間の距離と、を用いた、プロセッサによるデータ選択命令の実行を命じる、サンプリング命令と、
前記プロセッサによって実行されるときに、前記サンプリング命令に従って処理された各画像画素に対し、前記色の各々につき出力値を生成するマスター命令であって、前記マスター命令は、前記動き命令およびデモザイキング命令を、動きに対応付けられた画像画素と、不飽和基準を満たす長露光時間画素とに対して適用するように構成される、マスター命令と、
を含む、請求項26に記載のコンピュータプログラム。 - 前記命令はさらに、
前記プロセッサによって実行されるときに、非動き補償デモザイキングを行うことにより、前記動き補償されたHDRカラー画像の、対応付けられた色における画像画素の出力値を決定する、非動き補償デモザイキング命令と、
前記プロセッサによって実行されるときに、前記動き補償されたHDRカラー画像の各画像画素について、
前記プロセッサによる前記データ選択命令の実行を命令し、
前記画像画素に対応付けられた各色について、動き補償が可能かつ/または必要であるか否かを評価し、
動き補償が可能かつ/または必要である場合には、前記プロセッサによる前記動き命令および前記デモザイキング命令の実行を命じることにより、動き補償を用いて前記色について、前記画像画素の前記出力値を決定し、
動き補償が不可能かつ/または不要である場合には、前記プロセッサによる前記非動き補償デモザイキング命令の実行を命じることにより、前記色について前記画像画素の前記出力値を決定する、マスター命令と、
を含む、請求項26に記載のコンピュータプログラム。 - 非一時的メモリ中に、
長露光時間画素の画素値について許容上限(upper acceptance limit)を規定する、不飽和基準と、
センサノイズに関連する画素値変動に対応付けられた、動きの最小閾値を規定する、差異閾値と、
を含むパラメータ記憶域が符号化され、
前記コンピュータプログラムは、前記マスター命令において、前記プロセッサによって実行されるときに、各画像画素および色について、前記ローカル領域の画素値を前記不飽和基準および前記差異閾値に照らして評価することにより、動き補償が可能かつ/または必要であるか否かを決定する、評価命令を含む、
請求項30に記載のコンピュータプログラム。 - プロセッサに接続された非一時的メモリに格納された請求項26に記載のコンピュータプログラムと、前記コンピュータプログラムにより処理される画素値を生成するための二重露光時間シングルショットHDRカラーイメージセンサとを備える、動き補償ハイダイナミックレンジ(HDR)カメラ。
- 前記二重露光時間シングルショットHDRカラーイメージセンサは、ジグザグHDRイメージセンサである、請求項32に記載の動き補償HDRカメラ。
- 請求項32に記載の動き補償HDRカメラを備える、セルラーフォン。
- 複数の短露光時間画素と、複数の中露光時間画素と、複数の長露光時間画素と、を有する三重露光時間シングルショットHDRカラーイメージセンサから、ハイダイナミックレンジ(HDR)カラー画像を生成するための方法であって、
(a)前記短露光時間画素からの短露光時間画素値と(b)前記中露光時間画素からの中露光時間画素値との第1の合成より、第1の二重露光時間HDR画像を生成するステップと、
(a)前記中露光時間画素からの中露光時間画素値と(b)前記長露光時間画素からの長露光時間画素値との第2の合成より、第2の二重露光時間HDR画像を生成するステップと、
前記第1の二重露光時間HDR画像と、前記第2の二重露光時間HDR画像とから、三重露光時間HDRカラー画像を生成するステップと、
を含む方法。 - 前記第1の二重露光時間HDR画像を生成するステップは、前記第1の合成に対する前記短露光時間画素値と前記中露光時間画素値との相対寄与率を、これらの間の差異と前記中露光時間画素値の飽和度とに少なくとも部分に基づいてローカルに重み付けするステップを含み、
前記第2の二重露光時間HDR画像を生成するステップは、前記第2の合成に対する前記中露光時間画素値と前記長露光時間画素値との相対寄与率を、これらの間の差異と前記長露光時間画素値の飽和度とに少なくとも部分的に基づいてローカルに重み付けするステップを含む、
請求項35に記載の方法。 - 前記三重露光時間HDRカラー画像を生成するステップは、前記三重露光時間HDRカラー画像に対する前記第1の二重露光時間HDR画像と前記第2の二重露光時間HDR画像との相対寄与率を、(i)前記短露光時間画素値と前記中露光時間画素値との差異と、(ii)前記中露光時間画素値と前記長露光時間画素値との差異と、のうち少なくとも1つに少なくとも部分的に基づいてローカルに重み付けするステップを含む、請求項36に記載の方法。
- 前記三重露光時間HDRカラー画像を生成するステップは、前記第1の二重露光時間HDR画像と前記第2の二重露光時間HDR画像とを、前記三重露光時間HDRカラー画像の1つ以上の品質尺度のローカルな最適化に則って融合するステップを含む、請求項36に記載の方法。
- 前記ローカルに融合するステップは、前記三重露光時間HDRカラー画像に対する前記第1の二重露光時間HDR画像と前記第2の二重露光時間HDR画像との相対寄与率を、(i)前記短露光時間画素値と前記中露光時間画素値との差異、および、(ii)前記中露光時間画素値と前記長露光時間画素値との差異、のいずれも考慮せずに、前記ローカルな最適化のみに則って設定するステップを含む、請求項38に記載の方法。
- 前記ローカルに融合するステップは、
前記第1の二重露光時間HDR画像および前記第2の二重露光時間HDR画像のうち少なくとも1つをスケーリングすることにより、前記第1の二重露光時間HDR画像および前記第2の二重露光時間HDR画像を共通スケールに置くステップと、
前記三重露光時間HDRカラー画像を、前記第1の二重露光時間HDR画像および前記第2の二重露光時間HDR画像の各々のダイナミックレンジをカバーするダイナミックレンジで生成するステップと、
を含む、請求項38に記載の方法。 - 前記1つ以上の品質尺度は、コントラスト、飽和度、および露光十分性のうち少なくとも1つを含む、請求項38に記載の方法。
- 前記第1の二重露光時間HDR画像を生成するステップにおいて、かつ、その中に含まれる、相対寄与率をローカルに重み付けするステップの前に、前記短露光時間画素値および前記中露光時間画素値をノイズ除去するステップと、
前記第2の二重露光時間HDR画像を生成するステップにおいて、かつ、その中に含まれる、相対寄与率をローカルに重み付けするステップの前に、前記中露光時間画素値および前記長露光時間画素値をノイズ除去するステップと、
をさらに含む、請求項36に記載の方法。 - さらに、前記中露光時間画素値および前記長露光時間画素値を不飽和基準と比較するステップを含む、請求項35に記載の方法であって、
もしもローカル領域が、1つ以上の中露光時間画素値が前記不飽和基準を満たさないことを特徴とするならば、
(i)前記第1の二重露光時間HDR画像を生成するステップにおいて、前記ローカル領域の前記第1の二重露光時間HDR画像は、前記短露光時間画素値のみから生成され、
(ii)前記三重露光時間HDRカラー画像を生成するステップにおいて、前記ローカル領域の前記三重露光時間HDRカラー画像は、前記第1の二重露光時間HDR画像のみから生成され、
もしもローカル領域が、1つ以上の長露光時間画素値が前記不飽和基準を満たしておらず、かつ、前記ローカル領域の各中露光時間画素値が前記不飽和基準を満たしていることを、特徴とするならば、
(i)前記第2の二重露光時間HDR画像を生成するステップにおいて、前記ローカル領域の前記第2の二重露光時間HDR画像は、前記中露光時間画素値のみから生成される、請求項35に記載の方法。 - 前記第1の二重露光時間HDR画像および前記第2の二重露光時間HDR画像の各々は、少なくとも3つの異なる色に対応付けられた二重HDR画素値のモザイクで構成され、前記三重露光時間HDRカラー画像を生成するステップは、
前記第1の二重露光時間HDR画像および前記第2の二重露光時間HDR画像から、前記少なくとも3つの異なる色に対応付けられた三重HDR画素値のモザイクで構成される、中間三重露光時間HDR画像を生成するステップと、
前記中間三重露光時間HDR画像をデモザイキングすることにより、前記三重露光時間HDRカラー画像を生成するステップと、
を含む、請求項35に記載の方法。 - 前記三重露光時間シングルショットHDRカラーイメージセンサは、同一の4×4画素ブロックによるアレイを有し、各4×4画素ブロックは、第1の色の光に感度を有する1つの第1の色2×2画素グループと、第2の色の光に感度を有する2つの第2の色緑2×2画素グループと、第3の色の光に感度を有する1つの第3の色2×2画素グループとで構成され、前記2×2画素グループの各々は、前記短露光時間画素のうちの1つと、前記中露光時間画素のうち2つと、前記長露光時間画素のうちの1つとを含む、
請求項35に記載の方法であって、
(i)前記2×2画素グループの各々が、前記第1の二重露光時間HDR画像のちょうど1つの画素値で表現され、かつ(ii)前記第1の二重露光時間HDR画像が、前記第1の色に対応付けられた1つの画素値と、前記第2の色に対応付けられた2つの画素値と、前記第3の色に対応付けられた1つの画素値と、を有する2×2画素ブロックで構成されるようなものとして、前記第1の二重露光時間HDR画像を生成するステップを行うことと、
少なくとも、前記中露光時間画素が不飽和基準を満たす箇所において、(i)前記2×2画素グループの各々が、前記第2の二重露光時間HDR画像のちょうど1つの画素値で表現され、かつ(ii)前記第2の二重露光時間HDR画像が、前記第1の色に対応付けられた1つの画素値と、前記第2の色に対応付けられた2つの画素値と、前記第3の色に対応付けられた1つの画素値と、を有する2×2画素ブロックで構成されるようなものとして、前記第2の二重露光時間HDR画像を生成するステップを行うことと、
を含む、請求項35に記載の方法。 - 前記三重露光時間HDRカラー画像を生成するステップは、
前記第1の二重露光時間HDR画像および前記第2の二重露光時間HDR画像のうち少なくとも1つをスケーリングすることにより、前記第1の二重露光時間HDR画像および前記第2の二重露光時間HDR画像を共通スケールに置くステップと、
前記第1の二重露光時間HDR画像および前記第2の二重露光時間HDR画像を処理することにより、前記三重露光時間シングルショットHDRカラーイメージセンサの前記4×4画素ブロックの各々につき2×2画素ブロックを有する、三重露光時間HDR画像を生成するステップであって、前記三重露光時間HDR画像の各2×2画素ブロックは、前記第1の色に対応付けられた1つの画素値と、前記第2の色に対応付けられた2つの画素値と、前記第3の色に対応付けられた1つの画素値とで構成される、ステップと、
前記三重露光時間HDR画像をデモザイキングすることにより、前記三重露光時間HDRカラー画像を生成するステップであって、前記三重露光時間シングルショットHDRカラーイメージセンサの前記4×4画素ブロックの各々は、前記三重露光時間HDRカラー画像の単一のフルカラーHDR画素値で表現される、ステップと、
を含む、請求項45に記載の方法。 - 前記第1の二重露光時間HDR画像を生成するステップは、少なくとも、前記中露光時間画素が不飽和基準を満たす箇所において、前記第1の二重露光時間HDR画像の各出力画素値Voutについて、前記出力画素値Voutを、等式Vout=(1-f)VM+fVSに従って、短露光時間画素値VSと中露光時間画素値VMとの線形結合として算出するステップを含み、ここでfは、前記短露光時間画素値VSと中露光時間画素値VMとのノイズ超の差異に少なくとも部分的に依存するブレンディング関数であり、前記ノイズ超の差異は、前記短露光時間画素値VSと、前記中露光時間画素値VMと、前記出力画素値Voutのノイズレベルとの関数であり、前記ノイズレベルは、前記ブレンディング関数fの関数である、
請求項35に記載の方法。 - 前記ブレンディング関数fは、前記短露光時間画素値VSがゼロに近づくときに前記ブレンディング関数fをゼロのほうへ追いやる項を含む、請求項47に記載の方法。
- 前記出力画素値Voutを算出するステップは、前記ブレンディング関数fを第1のパラメータの関数として第2のパラメータの単一値のみについて列挙する一次元ルックアップテーブルをもとに、前記ブレンディング関数fの値を演繹するステップを含む、請求項47に記載の方法であって、前記第1のパラメータは、前記短露光時間画素値VSおよび中露光時間画素値VMのうち一方を表し、前記第2のパラメータは、前記短露光時間画素値VSおよび中露光時間画素値VMのうち他方を表す、請求項47に記載の方法。
- 前記ブレンディング関数fは、前記第1のパラメータと前記第2のパラメータとが等しい箇所においてディップを呈する、請求項49に記載の方法であって、前記演繹するステップは、
前記第2のパラメータの前記単一値と実際値との差分だけ、前記第1のパラメータを移動させるステップであって、前記差分は前記第1のパラメータに対応付けられた露光時間に合わせてスケーリングされる、ステップと、
前記移動させるステップの後で、前記第2のパラメータの前記単一値と前記実際値との比率により、移動された前記第1のパラメータをさらにスケーリングするステップと、
前記スケーリングするステップの後で、移動されスケーリングされた前記第1のパラメータに対応する前記ルックアップテーブルのインデックスにおいて、前記ブレンディング関数fの値を読み出すステップと、
を含む、請求項49に記載の方法。 - 複数の短露光時間画素と、複数の中露光時間画素と、複数の長露光時間画素と、を有する三重露光時間シングルショットHDRカラーイメージセンサから、ハイダイナミックレンジ(HDR)カラー画像を生成するためのコンピュータプログラムであって、前記コンピュータプログラムは、非一時的メモリ中に符号化された機械可読命令を含み、前記命令は、
プロセッサによって実行されるときに、(a)前記短露光時間画素からの短露光時間画素値と、前記中露光時間画素からの中露光時間画素値との、第1の合成か、または(b)前記中露光時間画素からの中露光時間画素値と、前記長露光時間画素からの長露光時間画素値との、第2の合成か、のいずれか一方より二重露光時間HDR画像を生成する、二重露光時間命令と、
前記プロセッサによって実行されるときに、(a)前記第1の合成に基づく前記二重露光時間HDR画像の第1のインスタンスと、(b)前記第2の合成に基づく前記二重露光時間HDR画像の第2のインスタンスとの合成から、三重露光時間HDRカラー画像を生成する、二重から三重へのHDR命令と、
を含む、コンピュータプログラム。 - 請求項51に記載のコンピュータプログラムを格納した記録媒体と、前記三重露光時間シングルショットHDRカラーイメージセンサとを備える、ハイダイナミックレンジ(HDR)カメラ。
- 前記三重露光時間シングルショットHDRカラーイメージセンサは、同一の4×4画素ブロックによるアレイを有し、各4×4画素ブロックは、第1の色の光に感度を有する1つの第1の色2×2画素グループと、第2の色の光に感度を有する2つの第2の色緑2×2画素グループと、第3の色の光に感度を有する1つの第3の色2×2画素グループとで構成され、前記2×2画素グループの各々は、前記短露光時間画素のうちの1つと、前記中露光時間画素のうち2つと、前記長露光時間画素のうちの1つとを含む、請求項52に記載のHDRカメラ。
- 請求項52に記載のHDRカメラを備える、セルラーフォン。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862681789P | 2018-06-07 | 2018-06-07 | |
EP18176403 | 2018-06-07 | ||
EP18176403.6 | 2018-06-07 | ||
US62/681,789 | 2018-06-07 | ||
US201962837361P | 2019-04-23 | 2019-04-23 | |
US62/837,361 | 2019-04-23 | ||
PCT/US2019/035454 WO2019236626A2 (en) | 2018-06-07 | 2019-06-04 | Hdr image generation from single-shot hdr color image sensors |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021526248A JP2021526248A (ja) | 2021-09-30 |
JP7130777B2 true JP7130777B2 (ja) | 2022-09-05 |
Family
ID=67403001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020562115A Active JP7130777B2 (ja) | 2018-06-07 | 2019-06-04 | シングルショットhdrカラーイメージセンサからのhdr画像生成 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11922639B2 (ja) |
EP (2) | EP4274250A3 (ja) |
JP (1) | JP7130777B2 (ja) |
KR (1) | KR102485885B1 (ja) |
CN (2) | CN113691738B (ja) |
WO (1) | WO2019236626A2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018123801A1 (ja) * | 2016-12-28 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置 |
US11282168B2 (en) * | 2017-10-23 | 2022-03-22 | Sony Interactive Entertainment Inc. | Image processing apparatus, image processing method, and program |
JP6959277B2 (ja) * | 2019-02-27 | 2021-11-02 | ファナック株式会社 | 3次元撮影装置および3次元撮影条件調整方法 |
EP3953896A1 (en) | 2019-04-11 | 2022-02-16 | Dolby Laboratories Licensing Corporation | High-dynamic-range image generation with pre-combination denoising |
CN112367458B (zh) * | 2020-09-18 | 2022-04-22 | 格科微电子(上海)有限公司 | Hdr图像的生成方法及装置、存储介质、图像处理设备 |
KR20220085542A (ko) * | 2020-12-15 | 2022-06-22 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
KR20220101452A (ko) * | 2021-01-11 | 2022-07-19 | 삼성전자주식회사 | 영상 처리 방법 및 이를 지원하는 전자 장치 |
US11836889B2 (en) | 2021-02-10 | 2023-12-05 | Apple Inc. | Dual-mode image fusion architecture |
US11373281B1 (en) * | 2021-02-23 | 2022-06-28 | Qualcomm Incorporated | Techniques for anchor frame switching |
KR20220132128A (ko) * | 2021-03-23 | 2022-09-30 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
CN115134508A (zh) * | 2021-03-27 | 2022-09-30 | 影石创新科技股份有限公司 | 图像处理方法、拍摄装置、图像处理装置及可读存储介质 |
US11843868B2 (en) | 2021-07-13 | 2023-12-12 | SK Hynix Inc. | Electronic apparatus based on multiple exposure image and operating method thereof |
CN113676635B (zh) * | 2021-08-16 | 2023-05-05 | Oppo广东移动通信有限公司 | 高动态范围图像的生成方法、装置、电子设备和存储介质 |
CN113674193A (zh) * | 2021-09-03 | 2021-11-19 | 上海肇观电子科技有限公司 | 图像融合方法、电子设备和存储介质 |
WO2023050029A1 (zh) * | 2021-09-28 | 2023-04-06 | 迪克创新科技有限公司 | 曝光控制电路及相关图像传感器及电子装置 |
CN117135471A (zh) * | 2023-02-27 | 2023-11-28 | 荣耀终端有限公司 | 一种图像处理方法和电子设备 |
CN116055847B (zh) * | 2023-03-28 | 2023-08-11 | 荣耀终端有限公司 | 图像增强处理方法和电子设备 |
CN117014729B (zh) * | 2023-09-27 | 2023-12-05 | 合肥辉羲智能科技有限公司 | 一种二次曝光图像融合高动态范围图像的方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056573A (ja) | 2002-07-22 | 2004-02-19 | Sony Corp | 映像信号処理方法、処理回路、及び撮像装置の駆動方法 |
JP2014220759A (ja) | 2013-05-10 | 2014-11-20 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
JP2014220760A (ja) | 2013-05-10 | 2014-11-20 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
JP2015041984A (ja) | 2013-08-23 | 2015-03-02 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
JP2015508589A (ja) | 2012-08-08 | 2015-03-19 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Hdr画像のための画像処理 |
JP2015082675A (ja) | 2013-10-21 | 2015-04-27 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
JP2017098784A (ja) | 2015-11-25 | 2017-06-01 | ハンファテクウィン株式会社Hanwha Techwin Co.,Ltd. | 画像処理装置および画像処理方法 |
Family Cites Families (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7412107B2 (en) | 2004-12-17 | 2008-08-12 | The Regents Of The University Of California, Santa Cruz | System and method for robust multi-frame demosaicing and color super-resolution |
US8059174B2 (en) | 2006-05-31 | 2011-11-15 | Ess Technology, Inc. | CMOS imager system with interleaved readout for providing an image with increased dynamic range |
JP2009152669A (ja) * | 2007-12-18 | 2009-07-09 | Sony Corp | 撮像装置、撮像処理方法及び撮像制御プログラム |
KR101391432B1 (ko) * | 2008-01-22 | 2014-05-07 | 삼성전기주식회사 | 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법 |
JP4661922B2 (ja) | 2008-09-03 | 2011-03-30 | ソニー株式会社 | 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム |
US8073246B2 (en) | 2008-11-07 | 2011-12-06 | Omnivision Technologies, Inc. | Modifying color and panchromatic channel CFA image |
CN101764959A (zh) * | 2008-12-25 | 2010-06-30 | 昆山锐芯微电子有限公司 | 图像拾取系统及图像处理方法 |
CN101867727B (zh) * | 2009-04-16 | 2011-12-07 | 华为技术有限公司 | 一种视频处理方法及装置 |
US8405750B2 (en) | 2009-06-08 | 2013-03-26 | Aptina Imaging Corporation | Image sensors and image reconstruction methods for capturing high dynamic range images |
US8368771B2 (en) | 2009-12-21 | 2013-02-05 | Olympus Imaging Corp. | Generating a synthesized image from a plurality of images |
DE102010028746B4 (de) * | 2010-05-07 | 2012-06-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bildsensor und Verfahren zum Aufnehmen eines Bildes |
TWI468009B (zh) | 2010-08-23 | 2015-01-01 | Red Com Inc | 高動態範圍視頻 |
US8994843B2 (en) * | 2010-09-01 | 2015-03-31 | Qualcomm Incorporated | High dynamic range image sensor |
US8462221B2 (en) | 2010-11-03 | 2013-06-11 | Eastman Kodak Company | Method for producing high dynamic range images |
JP2012105225A (ja) * | 2010-11-12 | 2012-05-31 | Sony Corp | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
GB2488769A (en) | 2011-03-07 | 2012-09-12 | Sony Corp | Image Sensor Including an Array of Primary Colour Sensitive Photosensors Being Read in Line Subsets |
US9077910B2 (en) * | 2011-04-06 | 2015-07-07 | Dolby Laboratories Licensing Corporation | Multi-field CCD capture for HDR imaging |
US9055178B2 (en) * | 2011-08-30 | 2015-06-09 | University Of Dayton | Single-shot high dynamic range imaging |
JP2013066142A (ja) | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US8913153B2 (en) | 2011-10-06 | 2014-12-16 | Aptina Imaging Corporation | Imaging systems and methods for generating motion-compensated high-dynamic-range images |
CN202535464U (zh) * | 2012-02-27 | 2012-11-14 | 徐辰 | 成像装置 |
CN202856877U (zh) | 2012-04-18 | 2013-04-03 | 格科微电子(上海)有限公司 | 图像传感器 |
US9040892B2 (en) | 2012-07-27 | 2015-05-26 | Apple Inc. | High dynamic range image sensor having symmetric interleaved long and short exposure pixels |
JP2014030073A (ja) * | 2012-07-31 | 2014-02-13 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US9160936B1 (en) * | 2014-11-07 | 2015-10-13 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
US20140063300A1 (en) | 2012-09-06 | 2014-03-06 | Aptina Imaging Corporation | High dynamic range imaging systems having clear filter pixel arrays |
US9131172B2 (en) * | 2012-11-30 | 2015-09-08 | Hanwha Techwin Co., Ltd. | Image processing apparatus and method for detecting motion using long exposures images and then performing infinite impulse response filtering on short exposure image |
US9437171B2 (en) * | 2012-12-05 | 2016-09-06 | Texas Instruments Incorporated | Local tone mapping for high dynamic range images |
US9071765B2 (en) * | 2012-12-28 | 2015-06-30 | Nvidia Corporation | System, method, and computer program product implementing an image processing pipeline for high-dynamic range images |
KR101871945B1 (ko) | 2013-01-17 | 2018-08-02 | 한화에어로스페이스 주식회사 | 영상 처리 장치 및 방법 |
US9413992B2 (en) * | 2013-05-20 | 2016-08-09 | Omnivision Technologies, Inc. | High dynamic range image sensor with full resolution recovery |
TWI464526B (zh) | 2013-08-08 | 2014-12-11 | Quanta Comp Inc | 高動態範圍影像曝光時間控制方法 |
US9578223B2 (en) | 2013-08-21 | 2017-02-21 | Qualcomm Incorporated | System and method for capturing images with multiple image sensing elements |
US9438827B2 (en) * | 2013-08-27 | 2016-09-06 | Semiconductor Components Industries, Llc | Imaging systems and methods for generating binned high-dynamic-range images |
CN104639920B (zh) * | 2013-11-13 | 2018-01-26 | 上海微锐智能科技有限公司 | 基于单帧双次曝光模式的宽动态融合方法 |
JP6408372B2 (ja) | 2014-03-31 | 2018-10-17 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置及びその駆動制御方法、並びに、電子機器 |
CN103973989B (zh) * | 2014-04-15 | 2017-04-05 | 北京理工大学 | 获取高动态图像的方法及系统 |
WO2015163145A1 (ja) * | 2014-04-22 | 2015-10-29 | ソニー株式会社 | 画像処理装置、画像処理方法、電子機器、並びにプログラム |
US20160037043A1 (en) | 2014-08-01 | 2016-02-04 | Omnivision Technologies, Inc. | High dynamic range (hdr) images free of motion artifacts |
US9832388B2 (en) | 2014-08-04 | 2017-11-28 | Nvidia Corporation | Deinterleaving interleaved high dynamic range image by using YUV interpolation |
US9344639B2 (en) | 2014-08-12 | 2016-05-17 | Google Technology Holdings LLC | High dynamic range array camera |
EP3007431A1 (en) * | 2014-10-10 | 2016-04-13 | Thomson Licensing | Method for obtaining at least one high dynamic range image, and corresponding computer program product, and electronic device |
KR102277178B1 (ko) | 2015-03-09 | 2021-07-14 | 삼성전자 주식회사 | 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법 |
GB201509384D0 (en) | 2015-06-01 | 2015-07-15 | Apical Ltd | Reducing bandwidth for HDR storage |
US9813635B2 (en) | 2015-08-24 | 2017-11-07 | Motorola Mobility Llc | Method and apparatus for auto exposure value detection for high dynamic range imaging |
US10257394B2 (en) | 2016-02-12 | 2019-04-09 | Contrast, Inc. | Combined HDR/LDR video streaming |
US20170264831A1 (en) * | 2016-03-14 | 2017-09-14 | Kabushiki Kaisha Toshiba | Image processor and image processing method |
US10148888B2 (en) * | 2016-05-18 | 2018-12-04 | Texas Instruments Incorporated | Image data processing for multi-exposure wide dynamic range image data |
CN107395998A (zh) | 2017-08-24 | 2017-11-24 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
US11075234B2 (en) * | 2018-04-02 | 2021-07-27 | Microsoft Technology Licensing, Llc | Multiplexed exposure sensor for HDR imaging |
-
2019
- 2019-06-04 US US16/972,597 patent/US11922639B2/en active Active
- 2019-06-04 WO PCT/US2019/035454 patent/WO2019236626A2/en active Search and Examination
- 2019-06-04 EP EP23194122.0A patent/EP4274250A3/en active Pending
- 2019-06-04 JP JP2020562115A patent/JP7130777B2/ja active Active
- 2019-06-04 CN CN202111019859.3A patent/CN113691738B/zh active Active
- 2019-06-04 KR KR1020207035214A patent/KR102485885B1/ko active IP Right Grant
- 2019-06-04 CN CN201980036715.3A patent/CN112219391B/zh active Active
- 2019-06-04 EP EP19743083.8A patent/EP3804294B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056573A (ja) | 2002-07-22 | 2004-02-19 | Sony Corp | 映像信号処理方法、処理回路、及び撮像装置の駆動方法 |
JP2015508589A (ja) | 2012-08-08 | 2015-03-19 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Hdr画像のための画像処理 |
JP2014220759A (ja) | 2013-05-10 | 2014-11-20 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
JP2014220760A (ja) | 2013-05-10 | 2014-11-20 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
JP2015041984A (ja) | 2013-08-23 | 2015-03-02 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
JP2015082675A (ja) | 2013-10-21 | 2015-04-27 | 三星テクウィン株式会社Samsung Techwin Co., Ltd | 画像処理装置および画像処理方法 |
JP2017098784A (ja) | 2015-11-25 | 2017-06-01 | ハンファテクウィン株式会社Hanwha Techwin Co.,Ltd. | 画像処理装置および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019236626A2 (en) | 2019-12-12 |
US11922639B2 (en) | 2024-03-05 |
US20210248758A1 (en) | 2021-08-12 |
EP3804294B1 (en) | 2023-08-30 |
EP4274250A2 (en) | 2023-11-08 |
CN113691738B (zh) | 2023-04-18 |
CN112219391B (zh) | 2022-05-10 |
CN113691738A (zh) | 2021-11-23 |
EP4274250A3 (en) | 2024-01-03 |
EP3804294A2 (en) | 2021-04-14 |
KR102485885B1 (ko) | 2023-01-09 |
WO2019236626A3 (en) | 2020-02-06 |
CN112219391A (zh) | 2021-01-12 |
KR20210006443A (ko) | 2021-01-18 |
JP2021526248A (ja) | 2021-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7130777B2 (ja) | シングルショットhdrカラーイメージセンサからのhdr画像生成 | |
KR101026577B1 (ko) | 하이 다이나믹 레인지 비디오 생성 시스템, 컴퓨터 구현 방법, 및 컴퓨터 판독가능 기록 매체 | |
US8384805B2 (en) | Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image | |
US7548689B2 (en) | Image processing method | |
EP2237221B1 (en) | Method and unit for generating high dynamic range image and video frame | |
TWI550558B (zh) | 用以產生高動態範圍影像之系統及其方法 | |
US20090040364A1 (en) | Adaptive Exposure Control | |
JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
JP2013066142A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP6312487B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
JP7253634B2 (ja) | 結合前ノイズ除去による高ダイナミックレンジ画像生成 | |
Gryaditskaya et al. | Motion aware exposure bracketing for HDR video | |
JP2013162347A (ja) | 画像処理装置、画像処理方法、プログラム、および装置 | |
CN115104120A (zh) | 将低动态范围图像合并为单幅图像的方法及装置 | |
JP5882702B2 (ja) | 撮像装置 | |
JP2018201137A (ja) | 画像合成装置、画像合成方法、及び画像処理装置、並びにプログラム及び記録媒体 | |
JP3697464B2 (ja) | 文書画像処理装置、撮像装置及び文書画像処理プログラム | |
Zhu | High quality high dynamic range imaging | |
Zheng et al. | A hybrid patching scheme for high dynamic range imaging | |
Akyüz et al. | Ghosting in HDR Video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7130777 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |