TW201036453A - Method and electronic device to produce high dynamic range image - Google Patents

Method and electronic device to produce high dynamic range image Download PDF

Info

Publication number
TW201036453A
TW201036453A TW098109806A TW98109806A TW201036453A TW 201036453 A TW201036453 A TW 201036453A TW 098109806 A TW098109806 A TW 098109806A TW 98109806 A TW98109806 A TW 98109806A TW 201036453 A TW201036453 A TW 201036453A
Authority
TW
Taiwan
Prior art keywords
image
pixel
value
original image
training
Prior art date
Application number
TW098109806A
Other languages
English (en)
Inventor
Chao-Chun Lin
Original Assignee
Micro Star Int Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micro Star Int Co Ltd filed Critical Micro Star Int Co Ltd
Priority to TW098109806A priority Critical patent/TW201036453A/zh
Priority to US12/549,510 priority patent/US20100246940A1/en
Priority to DE102009039819A priority patent/DE102009039819A1/de
Priority to JP2009204709A priority patent/JP2010231756A/ja
Publication of TW201036453A publication Critical patent/TW201036453A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

201036453 x - 六、發明說明: ' 【發明所屬之技術領域】 一本發明侧於-種影像的絲及電子裝置,制是—種產生 高動態範圍影像的方法及電子裝置。 【先前技術】 人類的視覺祕在感應光鱗,是經由週遭的光線分布來調 整感光程度,所以人類在過量或過暗的環境時,經過—段時間的 ^應阿看到周&事物。現今的攝影器材,如攝影機、照相機、 單眼相機、網路攝影機…等基礎原理其實大同小異。以針孔成像 的原理,職取的影像,經由鏡頭投影職應元件上。但由於感 7^70#^,^^ (film) . t#^^^#^^J1(Charge C〇upled sensor ’ CCD sensor)、互補金屬氧化半導_測器(。〇_麵_
Metai^e Semic〇nduct〇r 紀職,c则趣, =同,且無法隨著影像做_調整。所以造成賴出來的影像 吊常會有某—部分亮度過亮或過暗。請參考「第1圖」所示,其 為動g補不足的影像之示意圖。影像ig為—般數位相機所拍 攝而得的動態翻不足之影像,射左下㈣像區塊12為亮度過 暗輪或,右上角影像區塊14為亮度過亮的區域。此種狀況使得 ^下角讀區塊12中的樹木與房屋的細節_太暗而無法看清 V 疋。 - 自知為了克服這種問題可採用高動態範_像(卿Dynamic ange lmages ’咖)。高_範_像的做法是叫_光設定, 攝出相同區域影像的不同感光程度,再經由影像合成技術,合 3 201036453 -成出符合人類視覺感受的影像。請參考「第 ^多張影像合成高動態範圍影像之t音胃θ」不,/、係為 仏ώ 冢之不思圖。南動態範圍影像20係由 多:不同感光程度的影像21、23、25、27、29透過影像^ 而σ成-張高動祕圍影像2G。這種做法 ’ 常明顯。首先所拍攝的影像位置 仁缺點切 .^ 不有玦差,若有誤差即會i生屮 ^成上哪。獅蝴,所單張變= 張,再加上處理合成時所需㈣的時間成本。朗 ^夕 ο 時間、儲存空間、又易於出錯的做法。 耗費 【發明内容】 馨=上的問題,本翻提供—種產生高動祕圍 法’错以將-張原始影像,透過類神經網路演算 ^ 亮度調整翻產以祕翻影像。 δ、、传的 因此,本魏所猶之產生高轉範_像的方法, ,入免度調整模型,亮度調整模型係翻類神經網路演算法 ❹ 〜取得原始影像(OTiginalimage);擷取原始影像的像素特徵值、 向上的第-特徵健第二方向上的第二特徵值;以及依據
敏。衫像的像素特徵值、第—特徵值與第二特徵值,透過亮度調 整模型產生高動態範圍影像。 ^〇D 其中:上述第一方向之方向與第二方向之方向相異,第—方 向之方向係為水平方向,第二方向之方向係為垂直方向。 另外,原始影像的像素特徵值係利用下式所計算得: 4 201036453 * q=__JL_ • 1 。其巾’μ麵始f彡像之像素特徵值、 N係為原始影像之水平方向的像素總數、M係為縣影像之垂直 方向的像素總數、Yij係為原始影像中第一方向第i個及第二方向 第j個像素的亮度值、且N、Μ、i與j係為正整數。 此外,原始影像的第一特徵值係利用下式所計算得: C - ^ ~ j r y Q 2χ x 。其中,Α係為原始影像之第一特徵值、χ 係為原始影像中第-方向的像素之個數、Yij係為原始影像中第— 方向第1個及第二方向第j個像素的亮度值、係為原始影像 中第一方向第i+x個及第二方向第j個像素的亮度值、且i、j與χ 係為正整數。 於此,原始影像的第二特徵值係利用下式所計算得: C =iz2kz±zl Γ 2y y 其中,%係為原始影像之第二特徵值' y 係為原始影像中第二方向的像素之個數、γ ij係為原始影像中第一 方向第i個及第二方向第j個像素的亮度值、係為原始影像中 第一方向弟X個及弟一方向第j+y個像素的亮度值、且i、j與丫 係為正整數。 此外,上述亮度調整模型係於外部裝置中所產生,包括:戴 入複數幀訓練影像,以及擷取每一幀訓練影像的像素特徵值、第 一方向上的第一特徵值與第二方向上的第二特徵值,並透過類神 5 201036453 -經網路演算法產生亮度調整模型。 • 其中’上述第-方向之方向與第二方向之方向相里 向之方向係為水平方向,第二方向之方向係為垂直方向。,第一方 此外’每-_練影像的像輕徵㈣期下式所計算得· 特徵值、N係為每練影像之水平方向的像素總數、 每一_練影像之垂直方向的像素總數、Yy係為每__練^ 中第-方向第i個及第二方向第』個像素的亮度值、且n、=、. 與j係為正整數。 ί
Cx=—_ 其中,C!係為每一幅训練影像之像素 〇 於此,上述每一幀訓練影像的第一特徵值係利用下式所計瞀 /θ . Q - ~ ^(i+x) i 侍.& χ 。其中,係為每一幀訓練影像之第一
特徵值、X係為每一幀訓練影像中第一方向的像素之個數、X係 為每一幀訓練影像中第一方向第i個及第二方向第j個像素的亮度 值、YG+吨係為每一幀訓練影像中第一方向第i+x個及第二方向第 j個像素的亮度值、且i、j與x係為正整數。 另外,上述每一幀訓練影像的第二特徵值係利用下式所計算 得:。其中,c%係為每一幀訓練影像之第二 特徵值、y係為每一幀訓練影像中第二方向的像素之個數、Yy係 為每一幀訓練影像中第一方向第i個及第二方向第j個像素的亮度 6 201036453 *值、Yi㈣係為每—幀訓練影像中第—方向帛X個及第二方向第j+y .個像素的亮度值、且i、j與y係為正整數。 於此,上述類神經網路演算法係為倒傳遞神經網路 (Back-propagation Neural Netw〇rk,BNN)演算法、幅狀基底函數 (Radial Basis Function ^ RBF)^ | i##t^^^^(Self.〇rganizing
Map,SOM)演算法其中之一。 因此,本發明所揭露之產生高動態範圍影像的電子裝置,其 係依據亮度調整模型,用以對一原始影像進行亮度的調整,電子 〇裝置祕:亮度調整模型、舰值擷取單元與亮度調整程序。其 中’亮度調整模型係應用類神經網路演算法所構成;特徵值操取 單元擷取原始影像的像素雜值、第—方向上㈣—特徵值與第 -方向上的第二特徵值;以及亮度罐程序,連結亮度調整模型 與特徵值擷取單元,亮度調整程序依據原始影像的像素特徵值、 第-特徵值與第二特徵值’透過亮度調整模型產生高動態範圍影 像。
於此j上述第—方向之方向與第二方向之方向相異,第一方 。之方向係為水平方向,第二方向之方向係、為垂直方向。 此外’原始影像的像料徵值係彻下式所計算得:
其中,Cl係為原始影像之像素特徵值、 1係為原始影像之水平方向的像素總數、m係為原始影像之垂直 向的像素總數、Yij係為原始影像中第—方向第丨個及第二方向 7 201036453 -第j個像素的亮度值、且n、μ、i輿j係為正整數。 • Μ ’原始影像的第徵值係利用下式所計算得: r _ ~ ^(i+x)j . , p 1χ x 、、中,2χ係為原始影像之第-特徵值、χ 係為原始影像中第-方向的像素之個數、%係為原始影像中第一 方向第【個及第二方向第j個像素的亮度值、γ㈣係為原始影像
中弟-方向第i+x個及第二方向第j個像素的亮度值、且土、』與X 係為正整數。 \=5^。其中,\ 係為原始影像巾第二方向的像素之個數、》係為原始影像中第一 7第i做第二方㈣洲«的亮度值、γ_)_原始影像中 第—方向第X個及第二方向第j+y個像素的亮度值、幻 係為正整數。 Ί ° 其中’原始影像的第二特徵值係利用下式所計算得: 係為原始影像之第二特徵值、y
並透過類 於此’上述亮度調整模魏於外部裝置中所產生,包括 =複數齡丨練影像;以及擷取每__練影像的—像素特徵值、 第-方向上的第-特徵值與第二方向上的第二特徵值, 神經網路演算法產生亮度調整模型。 其中,上述第-方向之方向與第二方向之方向相異,第 向之方向係為水平方向,第二方向之方向係為垂直方向。 於此,每一_練影像的像素特徵值係利用下式所計算得: 8 201036453
Ci: 1 yN Yv 。其中,Cl係為每一幀訓練影像之像素 Δ^ί=\Δα^ΐΝχΜ 、 特徵值、N係為每一幀訓練影像之水平方向的像素總數、Μ係為 每一巾貞訓練影像之垂直方向的像素總數、Yij係為每—情訓練影像 中第一方向第i個及第二方向第j個像素的亮度值、且ν、μ、1 與j係為正整數。 此外’每一幀訓練影像的第一特徵值係利用下式所計算得:
X 。其中,係為每一幀訓練影像之第一特徵 值、X係為每一幀訓練影像中第一方向的像素之個數、Yg係為每 一幀訓練影像中第一方向第i個及第二方向第j個像素的亮度值、 Y(i+x)j係為每一幀訓練影像中第一方向第i+x個及第二方向第j個 像素的亮度值、且i、j與X係為正整數。 於此’每一Ψ 貞訓練影像的第二特徵值係利用下式所計算得: ❹ C2,
Yij~YKi U+y) y 。其中,c%係為每一幀訓練影像之第二特徵 值、y係為每一幀訓練影像中第二方向的像素之個數、Yy係為每 一幀訓練影像中第一方向第i個及第二方向第j個像素的亮度值、 YiO+jO係為每一幀訓練影像中第一方向第X個及第二方向第j+y個 像素的党度值、且i、j與y係為正整數。 其中,上述類神經網路演算法係為倒傳遞神經網路 (Back-propagation Neural Network,BNN)演算法、幅狀基底函數 9 201036453 ‘ (Radial BaS1S Function ’ 仙17)或自主特徵映射網路(Self-Organizing • Map,SOM)演算法其中之一。 根據本發明所触的之產生高動態範圍影像的方法及電子裝 置,可透過類神經網路演算法訓練產生亮度調整模型,並利用亮 度调整板型對單張影像進行處理喊生高動態範圍影像。進而可 改善需拍攝多張影像的時間與儲存空間,降低多張影像合成單張 影像的處理時間。 有關本發_特徵與實作,舰合圖猶最佳實施例詳細說 〇 明如下。 【實施方式】 根據本發明之產生聽態翻影㈣方法,係細於具有影 像擷取功能的電子裝置。本方法可透過軟體或幢程式内建於電 子裝置之儲存裝置中’再由電子裝置的處理器執行内建的軟體或 韋刃體程式搭配影像擷取功能來實現根據本發明的產生高動態範圍 影像的方法。於此,電子裝置可為具影像擷取功能的數位相機 〇 (DIGITAL CAMERA)、具影像擷取功能的電腦(Computer)、具影像 擷取功能的行動電話(Mobile Ph〇ne)、或具影像揭取功能的個人數 位助理(Personal Digital Assistant,PDA)等,但不僅侷限於上述之 電子裝置。 : 請參考「第3圖」所示,其係為依據本發明的—實施例之產 ;生同動悲範圍影像的方法之流程圖。本發明之流程包括以下步驟: S100、載入壳度調整模型,壳度調整模型係應用類神經網路 演算法所構成; 201036453 * $ 1】〇取彳f原始影像(originai image); - S120、擷取原始影像的像素特徵值、第一方向上的第一特徵 值與第二方向上的第二特徵值;以及 S130、依據原始影像的像素特徵值、第一特徵值與第二特徵 值,透過焭度調整模型產生高動態範圍影像。 其中’步驟S12G中的第-方向之方向與第二方向之方向相 異’第-方向之方向係為水平方向,第二方向之方向係為垂直方 向。於此雖描述第-方向之方向為水平方向,第二方向之方向係 °為垂直方向,但應驗實際需翻整方向,如X軸向相交正45 度之方向及X軸向相交正135度之方向,如χ轴向相交正3〇度 之方向及X軸向相交正150度之方向等等。唯原始影像的特徵2 之擷取的方向須與訓練影像的特徵值之娜的方向一致(即為相同 方向)。 〇 异得: ΣΓ=1Σ"- -5—_其中,Ci係為原始影像之像素 另外’步驟㈣中的縣影像的像素·值係彻下式所吁 • —
NxM 特徵值、N係為原始影像之水平方⑽像素總數、m係為原始影 像^垂直方向的像素總數、Yij係為原始影像巾第—方向第i個及 第二方向第Η轉素的亮度值、且N、M、丨與〗係為正整數。 其中,係為原始影像之第一特徵
此外,步驟s12〇中的原始影像的第—特徵值係利用下式所計 算得:c2 = YrY(hiK x 201036453 始Γ像中第一方向的像素之健調原始影像 •中第方向第】個及第二方向第j個像素的亮度值 始影像中第一方向第i個第_ 、為原 如係為正整數 弟—方向弟』個像素的亮度值、幻、 於此’步驟S120中的原始影像的第二特徵值係利用下式所計 算得:(?2 =」〉· ^ " 少 。其中,少係為原始影像之第二特徵 ο :第3==第二方向的像素之個數1係為原始影像 二第二向第麟素的亮度值、Y㈣係為原始 係為正整數弟二方向第打個像素的亮度值、且卜 此外,步驟S1GG中的所述之亮度調整模 產生。外部裝置可以是但不限於製造礙商置= 電腦裝置等等。請參考「第4 裝置心驗至之 $吝斗古^ 斤不,其係為依據本發明的一 ο ^ 產生冗度·模型之流程圖。產生亮;^敫;r刑夕a 包括以下步驟: m驗桓型之流程 S200、載入複數幀訓練影像;以及 士_、擷取每—_練影像的像素特徵值、第-方向上的第 產生亮度調整模型。第—特徵值’並透過類神經網路演算法 其中’步驟S210中所诚夕楚, 相里4 f 4 —扣之方向與第二方向之方向 相異*一方向之方向係為水平 方向。於此雖弟一方向之方向係為垂直 輪Η向之方向為水平方向,第二方向之方向 12 201036453 ‘係為垂直方向,但應用依實際需求調整方向,如x軸向相交正45 .度之方向及X軸向相交正135度之方向,如X軸向相交正3〇户 之方向及X轴向相交正150度之方向等等。唯原始影像的特徵值 之擷取的方向須與訓練影像的特徵值之擷取的方向一致(即為相同 方向)。 此外,步驟S210中所述之每一幀訓練影像的像素特徵值係利 C = Yij 用下式所計算得:1 一^^7151。其中,。“系為每一 〇 7=1 ΝχΜ 幀訓練影像之像素特徵值、Ν係為每一幀訓練影像之水平方向的 像素總數、Μ係為每一幀訓練影像之垂直方向的像素總數、係 為每一幀訓練影像中第一方向第i個及第二方向第j個像素的亮度 值、且Ν、Μ、i與j係為正整數。 於此,步驟S210中所述之每一幀訓練影像的第一特徵值係利
用下式所計算得:C2 =
X 。其中,係為每一幀訓 練影像之第一特徵值、X係為每一幀訓練影像中第一方向的像素之 個數、係為每一幀訓練影像中第一方向第1個及第二方向第) 個像素的焭度值、丫(1+切係為每一幀訓練影像中第一方向第個 及第〜方向第j個像素的亮度值、且i、j與乂係為正整數。 另外,步驟S210中所述之每一幀訓練影像的第二特徵值係利 用下式所計算得,。其中乇係為每一_ 13 201036453 j 練影像之第二特徵值、y係為每一幀訓練影像中第二方向的像素之 - 個數、Yij係為每一幀訓練影像中第一方向第i個及第二方向第j 個像素的亮度值、Yi㈣係為每一幀訓練影像中第一方向第x個及 弟一方向弟j+y個像素的受度值、且i、j與y係為正整數。 於此,上述類神經網路演算法可為倒傳遞神經網路 (Back-propagation Neural Network,BNN)演算法、幅狀基底函數 (Radial Basis Function ’ RBF)或自主特徵映射網路(Sdf_〇rganizing Map,SOM)演算法其中之一。 〇 另外,請參考「第5圖」所示,其係為依據本發明的另一實 施例之產生高動態範圍影像的電子裝置之架構示意圖。電子裝置 30包括:儲存單元32、處理單元34與輸出單元36。其中,儲存 單元32儲存有原始影像322,儲存單元32可以是但不限於隨機存 取記憶單元(Random Access Memory,RAM)、動態隨機存取記憶 單 T〇(Dynamic Random Access Memory,DRAM)或同步動態隨機存 取舌己憶體(Synchronous Dynamic Random Access Memory,SDRAM> ❹ 其中之任一。 處理單7L 34連結儲存單元32,處理單元34可包括:亮度調 整模型344、特難擷取單元342與亮度調整程序346。特徵值揭 取單7G 342擷取原始影像322的像素特徵值、第—方向上的第一 :特徵值與第二方向上的第二特徵值。亮度調整模型344係應用類 :神經網路演算法所構成。亮度調整程序346依據原始影像322的 像素概值、第—特徵值與第二特徵值,透過亮度調整模型蝴 產生高動態範圍影像。處理單元34可以是但不限於中央處理器 14 201036453 (Ceitol PlOcessing _,cpu)、微處理器⑽⑽ c〇ntr〇i 馳、 順^。輸出單元36連結處理單元34,輸出單元36可將產生的 咼動態範圍影像顯示於電子裝置3〇的螢幕上。 於此,上述第-方向之方向與第二方向之方向相異,第一方 向之方向係為水平方向’第二方向之方向係為垂直方向。於此雖 描述第-方向之方向為水平方向,第二方向之方向係為垂直方 向’但應職實際需求難方向,如χ轴向她正45度之方向及
X軸向相父正135度之方向’如χ轴向相交正3〇度之方向及X 軸向相父正150度之方向料。唯原始影像的特徵值之擷取的方 向須與訓練影像的特徵值之擷取的t向-致(即為相同方向)。 此外,原始影像322的像素特徵值係利用下式所計瞀得. …· 。其中,Cl係為原始影像切之像素特
J=lNxM 徵值、N係為原始影像322之水平方向的像素總數、
影像322之垂直方向的像素總數、^係為原始影像边中第: 向第1個及第二方向第j個像素的亮度值、且N、Μ 整數。 1兴j係為正 另外,原始影像322的第一特徵值係利用下式所計算得: c2 “ γ " x 。,、中’ 係為原始影像322之第一特徵值、 322 '22 " 中弟一方向第1個及第二方向第j個像素的亮度值、γ(+)係為 15 201036453 —原始影像322中第一方向第i+x個及第二方向第j個像素的亮度 • 值、且i、j與X係為正整數。 其中,原始影像322的第二特徵值係利用下式所計算得: C - ~ % 7 。其中,係為原始影像322之第二特徵值、 y係為原始影像322中第二方向的像素之個數、Yij係為原始影像 322中第一方向第i個及第二方向第j個像素的亮度值、γ^+y)係為 原始影像322中第-方向第x個及第二方向第j+y個像素^亮度 〇 值、且i、j與y係為正整數。 於此,上述亮度調整模型係於外部裝置中所產生。外部裝置 可以是但不限於製造廠商之電腦裝置或實驗室之電腦裝置等等。 請夢考「第6圖」所示,其係為依據本發明的另一實施例之產生 亮度調整模型之流程圖。產生亮度調整模型之流程包括以下步驟: S300、載入複數幀訓練影像;以及 S310、擷取每一幀訓練影像的像素特徵值、第一方向上的第 Ο 一特徵值與第一方向上的第二特徵值,並透過類神經網路演算法 產生亮度調整模型。 其中,步驟S310中所述之第一方向之方向與第二方向之方向 相異,第一方向之方向係為水平方向,第二方向之方向係為垂直 : 方向。於此雖描述第—方向之方向為水平方向,第二方向之方向 係為垂直方向,但應用依實際需求調整方向,如X轴向相交正45 度之方向及X軸向相交正135度之方向,如χ軸向相交正3〇度 之方向及X軸向相交正15〇度之方向等等。唯原始影像的特徵值 16 201036453 致(即為相同 之擷取的方向須與訓練影像的特徵值之擷取的方向 方向)。 此外 ’步驟S310中所述之每一 m綠的像素特徵值係利
用下式所計算得:G
其中,C!係為每一
用下式所計算得 齡丨練影像之像素特徵值、N係為每—齡丨練影像之水平方向的 像讀數、M係為每—巾貞訓練影像之垂直方向的像素總數、%係 為每中貞訓練影像中第-方向第1個及第二方向第j個像素的亮度 值、且N、Μ、i與j係為正整數。 於此’步驟S310中所述之每一幀訓練影像的第一特徵值係利 。其中’ 係為每一巾貞訓 練影像之第一特徵值、x係為每一幀訓練影像中第一方向的像素之 個數、Yy係為每一幀訓練影像中第一方向第i個及第二方向第j 個像素的亮度值、Y(i+x)j係為每一幀訓練影像中第一方向第ί+χ個 及第二方向第j個像素的亮度值、且i、j與X係為正整數。 另外’步驟S310中所述之每一幀訓練影像的第二特徵值係利 用下式所計算得:c:2 。其中,c2係為每一幀訓 y y 練影像之第二特徵值、y係為每一幀訓練影像中第二方向的像素之 個數、Yij係為每一幀訓練影像中第一方向第i個及第二方向第j 個像素的亮度值、Yi(j+y)係為每一幀訓練影像中第一方向第X個及 17 201036453 - 第二方向第個像素的亮度值、且i、j與y係為正整數。 • 於此,上述類神經網路演算法可為倒傳遞神經網路 (Back-propagation Neuml Network,BNN)演算法、幅狀基底函數 (Hadial Basis Rmcticm ’ RBF)或自主特徵映射網路(Self_〇rganizing Map,SOM)演算法其中之一。 ο 另外,請參考「第7圖」所示,其係為依據本發明的實施例 之倒傳遞神經網路演异法之示意圖。倒傳遞神經網路包含:輸 入層42、隱藏層私與輪出層46。其中每一_練影像共有胸 個像素,每個像素都具有三個特徵值(像素特徵值、第—特徵值與 第二特徵值)。輸入層係分別傳入訓練影像的像素的特徵值,因此 輸入層42的即點(X)、χ2、&.....Χα)之個數總和為α=3*Μ*Ν t。隱藏層44的節點、…、Μ之個數為㈣,輸出 層46的節點、..·、W之個數為r個,且 =所有观影像經過倒傳遞神經網路演算法訓練及判斷收敛後, ο 二7到亮f輕模型。其中在亮度調整模型的輸人層4_藏 ^于到第、、且權重值Wa/S,隱藏層44與輸出層46之間得 到弟一組權重值。 其中’隱藏層44的各筋赴夕姑&立, a J谷即點之值係利用下式計算而得: = X if-)+ · 〇 # a, ί=1 l] "。/、中’Pj係為隱藏層44的第j個節點的值、
Xi係為輪入層42的第η固節 & ” $值、Wij係為輸入層42的第i個 即點興隱臧層44的第j個節 即2之間的柘重值、bj係為隱藏層44的 _即點的偏移量、且α、_係為正整數。 18 201036453 \ ^卜’輸线46的各節點之值係下式計算而得: & = 1(^_><^〇+以。其中,¥ M Yk係為輪出層46的第k個節點的值、 節點與輸出層46的第k個節 •個節點的偏移量、且h與二正麵輪出層46 此外,判斷收斂係利用平均平方誤差值(MeanS^咖聰, ο _計算而得:織=击4|:(d)2<10,。其中,λ 的㈣總和、7為輸出層的__和、TkS係為第 s…’衫象的弟k個輸出節點的目標輸出值、Yk =的㈣魏_鳩紐、仏7、咖你 —=然本發_前述之触實關揭露如上,然其並非用以限 定本發明,任何孰習相德 ❹ 7“、、自相像餘者,在獨縣發日狀精神和範圍 ^ _許之更動朗飾,目此本發明之 本說明書所附之申請專利範圍所界定者為準。 【圖式簡單說明】 第1圖係為動態範圍不足的影像之示意圖。 ^ 2圖係為多張影像合成高動態翻影像之示意圖。 方法為依據本發明的一實施例之產生高動態範圍影像的 弟4圖係為依據本發明的一實施例之產生亮度調整模型之流 19 201036453 - 程圖。 . 第5圖係為依據本發明的另一實施例之產生高動態範圍影像 的電子裝置之架構示意圖。 第6圖係為依據本發明的另一實施例之產生亮度調整模型之 流程圖。 第7圖係為依據本發明的實施例之倒傳遞神經網路演算法之 示意圖。 【主要元件符號說明】 10 影像 12 左下角影像區塊 14 右上角影像區塊 20 高動態範圍影像 21 影像 23 影像 25 影像 27 影像 29 影像 30 電子裝置 32 儲存單元 322 原始影像 34 處理單元 342 特徵值擷取單元 344 亮度調整模型 20 201036453
346 亮度調整程序 36 輸出單元 40 倒傳遞神經網路 42 輸入層 44 隱藏層 46 輸出層 Χι 節點 x2 節點 χ3 節點 X4 節點 X5 節點 x6 節點 Xa 節點 Pi 節點 p2 節點 p3 節點 p4 節點 p5 節點 p6 節點 PjS 節點 Yi 節點 Y2 節點 Yr 節點 21 201036453 - Ψαβ 第一組權重值 . W^r 第二組權重值
22

Claims (1)

  1. 201036453 七、申請專利範圍: 1. -種產生高動態範圍影像的方法,該方法包括: ’類神經網 载入1度調整模型,該亮度調整模型係應用 路演算法所構成; 取得一原始影像; 擷取該原始影像的-像素特徵值、一第一方向上的 特徵值與-第二方向上的—第二特徵值;以及 /依據該原始影像的該像素特徵值、該第-特徵值與該第二 特徵值’透過該亮度調整模型產生—高動態範圍影像。 2.如睛求項1所述之產生高動態範圍影像的方法,其中該第一方 向與該第二方向之方向相異,該第—方向之方向係為水 σ ,該第二方向之方向係為垂直方向。 如π求項1所述之產生絲難目影像的方法 像的該像素特徵值係利用下式所計算得:、中X原始〜
    Α其中,Ci係為該原始影像之該像素特徵值、Ν係為該原始 2像之水平方向的像素總數為該原始影像之垂直方向的 素總數、Yij係為該原始影像中該第一方向第i個及該第二方 4向^侧象素的亮度值、且ν、μ、_.係為正整數。 .如請求項1所述之產生高動態範圍影像的方法,其中該原始影 像的該弟一特徵值係利用下式所計算得: 23 201036453 C2 = X 其中’ C2,係為該原始影像之該第—特徵值、. 該第-方向的像素之個數、\係為該原始影像中 弟1個及該第二方向第j個像素的亮度值、Y係㈣ 原始影像中該第-方向第i+X個及 奸.GW·1係為該 度值、且i、j與X係為正整數。X —向弟j個像素的亮 如請求項丨所述之產生高動態範圍影像的方法,其中 像的該第二特徵值係利用下式所計算得. 、” " y
    係為該原 其中,&係為該原始影像之該第二特徵值、y係為該原 始影像中該第二方向的像素之輪、%係聽雜影像中該第 -方向第i個及該第二方向第j個像素的亮度值、γ㈣係為該 原始影像中該第-方向第X個及該第二方向第j+y個像素的亮 度值、且i、j與y係為正整數。 6. 如請求項1所述之產生高動態範圍影像的方法,其中該亮度調 整模型係於一外部裝置中所產生,包括: 載入複數幀訓練影像;以及 擷取每一該訓練影像的一像素特徵值、一第一方向上的一 第一特徵值與一第二方向上的一第二特徵值,並透過該類神經 網路演算法產生該亮度調整模型。 7. 如請求項6所述之產生兩動態範圍影像的方法,其中該第一方 24 201036453 向之方向與該第二方向之方向相異,該第—方 平方向,該第二方向之方向係為垂直方向。方向係為水 8.如請求項6所述之產生高_麵影像的方法, 練影像的雜雜徵值铜用下柄計算得:、母-該訓 _YJL /=1 Ζ-ί y=i ¥ ΝχΜ
    其中’Cl係為每—該訓練影像之該像素特徵值 一^練影像之水平方向的像素總數、Μ係為每-該訓練^ =垂直方向的像素總數、Yij係騎―_練影像中該第—^ 弟1個及該第二方向第j個像素的亮度值、且N、MM盘.; 為正整數。 係 9. 如請求項6所述之產生高動態範圍影像的方法,其中每— 練衫像的該第一特徵值係利用下式所計瞀得. = C2 = ~L~ Υ(^)1 χ χ 其中,^係為每-該訓練影像之該第一特徵值、χ係為 每-該訓練影像中該第-方向的像素之個數、%係為每一該訓 練影像中該第-方向第i個及該第二方向第』個像素的亮度 值、Υ(η>〇】係為每一該訓練影像中該第一方向第i+x個及該第二 方向第j個像素的免度值、且i、j與χ係為正整數。 10. 如請求項6所述之產生高動態範圍影像的方法,其中每一該訓 練影像的該第二特徵值係利用下式所計算得: 25 201036453 C - Yy * ' y 其中’ 係為每一該訓練影像之該第二特徵值、y係為 每一該訓練影像中該第二方向的像素之個數、Yij係為每—該訓 練影像中該第一方向第i個及該第二方向第j個像素的亮度 值、YiG+jO係為每一該訓練影像中該第一方向第X個及該第二方 向第j+y個像素的亮度值、且i、j與y係為正整數。 ο η·如請求項1所述之產生高動態範圍影像的方法,其中該類神經 網路决异法係為倒傳遞神經網路演算法、幅狀基底函數或自主 特徵映射網路演算法其中之一。 12.^種產生高動態範圍影像的電子裝置,其係依據亮度調整模 型’用以對-原始影像進行亮度的酿,該電子裝置包括: *、—亮度調整模型’該亮度調整模型係應用—類神經網路演 鼻法所構成; 、 〇 一特徵值擷取單元,擷取該原始影像的一像素特徵值、一 方向上的—第—特徵值與—第二方向上的—第二特徵 元:度调整程序’連結該亮度調整模型與該特徵值榻取單 特徵:f驗程序依據該原始影像的該像素特徵值、該第-圍影像特徵值,透過該亮度調整模型產生—高動態範 .第叙產生高動態朗影像的電子裝置,其中該 之方向與該第二方向之方向相異,該第一方向之方向 26 201036453 係為水平方向,該第二方向之方向係為垂直方向。 14‘如請求項12所述之產生高動態範_像的電子裝置,其中該 原始影像的該像素特徵值係利用下式所計算得:
    〇 其中,C]係為該原始影像之該像素特徵值、N係為該原始 影像之水平方向的像素總數、原始影像之垂直方向的 像素總數、Yij係為該原始影像中該第—方向第丨個及該第二方 _倾素的亮度值、且N、M、i與j係為正整數。 K如請求項12 之產生高_範_彡像㈣子錢,其中該 原始影像的該第一特徵值係利用下式所計算得: c, 一 H)_/ 具肀 2,係马縣始影像之該第—特徵值^係為該原 錄像中該第-方_像素之健、%係為該原始影像中該第 —方向第第二方向第j個像素的亮度值、係騎 ,始影像中該第-方向第i+x個及該第二方向第j個像素的亮 又值、且i、j與x係為正整數。 16.如請求項U所述之產生高動態範圍影像的電子裝置,其中該 原始影像的該第二特徵值係利用下式所計算得: / c2 minium. y y 27 201036453 其中,C2)係為該原始影像之該第二特徵值、y係為該原 始影像中該第二方向的像素之個數、γ〆系為該原始影像中該第 -方向第i個及該第二方向第j個像素的亮度值、γ_係為該 原始影像中該第-方向第χ個及該第二方向第j+y個像素的亮 度值、且i、j與y係為正整數。 Π.如请求項I2所述之產生絲態翻影像的電子裝置,其中該 亮度調整模型係於-外部裝置中所產生,包括: ^
    載入複數幀訓練影像;以及 擷取每-該訓練影像的一像素特徵值、一第一方向上的一 第一特徵值與一第二方向上的一筮_胪舛祐并、头、 J 弟一知徵值,並透過該類神經 網路演算法產生該亮度調整模型。 .如咐求項17所述之產生兩動態範圍影像的電子|置,直中該 第-方向之方向與該第二方向之方向相異,該第一方向^方向 係為水平方向,該第二方向之方向係為垂直方向。 19.如請求項17所述之產生高動態範圍影像的電子輕,其中每 -該訓練影像的該像素特徵值係彻下式所計算得:”
    JL_ ΝχΜ 一們Γ Cl係為每—該訓練影像之該像素特徵值、Ν係為每 像之水平方向的像素總數、Μ係為每—該訓練影像 =垂直方向的騎總數、Υ,係為每_該訓練影像中該第一方向 第,及账樹灣她魏m 28 201036453 - 為正整數。 .20.如請求項Π所述之產生高動態範圍影像的電子|置,其中— 一該訓練影像的該第一特徵值係利用下式所計算得:^母 c? X 其中’ 係為每-該訓練影像之該第一特徵值、X係為 每-該訓練影像中該第-方向的像素之個數、係為每__ Ο 練影像中鮮—方向第i個及該第二方向第j個像素的亮度 值、係為每一該訓練影像中該第一方向第i+x個及該第二 方向第j個像素的亮度值、且i、j與X係為正整數。 .如π求項17所述之產生高動態範圍影像的電子裝置,其中每 —該訓練影像的該第二特徵值係利用下式所計算得: C,~ΥΛ~YKJ+y) zy y Q 其中’ 係為母一該訓練影像之該第二特徵值、y係為 每一該訓練影像中該第二方向的像素之個數、Yy係為每一該訓 練影像中該第一方向第i個及該第二方向第j個像素的亮度 值、YiO+y}係為每一該訓練影像中該第一方向第X個及該第二方 : 向第』+}"個像素的亮度值、且i、j與y係為正整數。 ; .凊求項17所述之產生高動態範圍影像的電子裝置,其中該 連神叙網路演算法係為倒傳遞神經網路演算法、幅狀基底函數 或自主特徵映射網路演算法其中之一。 29
TW098109806A 2009-03-25 2009-03-25 Method and electronic device to produce high dynamic range image TW201036453A (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW098109806A TW201036453A (en) 2009-03-25 2009-03-25 Method and electronic device to produce high dynamic range image
US12/549,510 US20100246940A1 (en) 2009-03-25 2009-08-28 Method of generating hdr image and electronic device using the same
DE102009039819A DE102009039819A1 (de) 2009-03-25 2009-09-02 Verfahren zum Erzeugen eines HDR-Bildes und eine dieses Verfahren verwendende elektronische Vorrichtung
JP2009204709A JP2010231756A (ja) 2009-03-25 2009-09-04 Hdr画像生成方法および同方法を用いる電子デバイス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW098109806A TW201036453A (en) 2009-03-25 2009-03-25 Method and electronic device to produce high dynamic range image

Publications (1)

Publication Number Publication Date
TW201036453A true TW201036453A (en) 2010-10-01

Family

ID=42664184

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098109806A TW201036453A (en) 2009-03-25 2009-03-25 Method and electronic device to produce high dynamic range image

Country Status (4)

Country Link
US (1) US20100246940A1 (zh)
JP (1) JP2010231756A (zh)
DE (1) DE102009039819A1 (zh)
TW (1) TW201036453A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI729377B (zh) * 2018-04-09 2021-06-01 美商杜拜研究特許公司 用於將影像自第一動態範圍映射至第二動態範圍之方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633263B2 (en) 2012-10-09 2017-04-25 International Business Machines Corporation Appearance modeling for object re-identification using weighted brightness transfer functions
WO2015188359A1 (zh) * 2014-06-12 2015-12-17 深圳市大疆创新科技有限公司 一种图片处理方法、装置
JP6237797B2 (ja) * 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
EP3350767B1 (en) * 2016-06-17 2020-06-03 Huawei Technologies Co., Ltd. Exposure-related intensity transformation
US10609286B2 (en) * 2017-06-13 2020-03-31 Adobe Inc. Extrapolating lighting conditions from a single digital image
JP7037584B2 (ja) * 2017-06-16 2022-03-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
WO2018231968A1 (en) * 2017-06-16 2018-12-20 Dolby Laboratories Licensing Corporation Efficient end-to-end single layer inverse display management coding
EP3631754B1 (en) * 2017-06-28 2021-03-31 Huawei Technologies Co., Ltd. Image processing apparatus and method
CN110475072B (zh) * 2017-11-13 2021-03-09 Oppo广东移动通信有限公司 拍摄图像的方法、装置、终端和存储介质
KR102034968B1 (ko) * 2017-12-06 2019-10-21 한국과학기술원 이미지 처리 방법 및 장치
KR102460390B1 (ko) * 2018-01-24 2022-10-28 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR102524671B1 (ko) 2018-01-24 2023-04-24 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN111741211B (zh) 2019-03-25 2022-07-29 华为技术有限公司 图像显示方法和设备
US11556784B2 (en) 2019-11-22 2023-01-17 Samsung Electronics Co., Ltd. Multi-task fusion neural network architecture

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149262B1 (en) * 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
DK1745436T3 (da) * 2004-04-15 2012-09-10 Dolby Lab Licensing Corp Fremgangsmåder og systemer til konvertering af billeder fra lavt dynamikområde til højt dynamikområde

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI729377B (zh) * 2018-04-09 2021-06-01 美商杜拜研究特許公司 用於將影像自第一動態範圍映射至第二動態範圍之方法
US11361506B2 (en) 2018-04-09 2022-06-14 Dolby Laboratories Licensing Corporation HDR image representations using neural network mappings

Also Published As

Publication number Publication date
JP2010231756A (ja) 2010-10-14
US20100246940A1 (en) 2010-09-30
DE102009039819A1 (de) 2010-09-30

Similar Documents

Publication Publication Date Title
TW201036453A (en) Method and electronic device to produce high dynamic range image
WO2020192483A1 (zh) 图像显示方法和设备
CN108259782A (zh) 图像处理装置、摄影系统、图像处理方法
CN108632589A (zh) 信息处理装置、摄像系统以及记录介质
JP4902562B2 (ja) 撮像装置、画像処理装置、制御方法およびプログラム
CN110114798A (zh) 图像处理设备,图像处理系统,图像捕获系统,图像处理方法和记录介质
WO2022116988A1 (zh) 图像处理方法、装置、设备和存储介质
CN104782114B (zh) 用于捕获与构造全景或立体图像流的方法与装置
WO2020215283A1 (zh) 人脸识别方法、处理芯片以及电子设备
WO2019188536A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、情報処理システム
WO2019000810A1 (zh) 一种图像采集装置及电子设备
TW201220253A (en) Image calculation method and apparatus
CN110147708A (zh) 一种图像数据处理方法和相关装置
KR20200117695A (ko) 외부 전자 장치를 이용하여 카메라를 제어하는 전자 장치 및 방법
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN115526983A (zh) 一种三维重建方法及相关设备
CN114520906B (zh) 基于单目相机的三维人像补全方法和补全系统
TWI615808B (zh) 全景即時影像處理方法
TWI388200B (zh) A method for generating a high dynamic range image and a digital image pickup device thereof
CN111836058B (zh) 用于实时视频播放方法、装置、设备以及存储介质
CN101873435B (zh) 产生高动态范围图像的方法及其装置
EP3675477B1 (en) Electronic device for providing function by using rgb image and ir image acquired through one image sensor
JP6291748B2 (ja) 撮像装置、撮像方法、及びプログラム
CN101859430B (zh) 产生高动态范围图像的方法及装置
WO2017094504A1 (ja) 画像処理装置、画像処理方法、撮像装置、及び、プログラム