TWI528101B - 多重曝光影像系統以及消除捲動快門閃爍方法 - Google Patents
多重曝光影像系統以及消除捲動快門閃爍方法 Download PDFInfo
- Publication number
- TWI528101B TWI528101B TW103122455A TW103122455A TWI528101B TW I528101 B TWI528101 B TW I528101B TW 103122455 A TW103122455 A TW 103122455A TW 103122455 A TW103122455 A TW 103122455A TW I528101 B TWI528101 B TW I528101B
- Authority
- TW
- Taiwan
- Prior art keywords
- exposure
- short
- long
- image
- flicker
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
- H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Description
本發明係有關於影像處理技術,特別係有關於消除一多重曝光影像系統之中之捲動快門閃爍的一裝置或一方法。
相機通常使用具有電子捲動快門(electronic rolling shutter)之互補式金氧半場效電晶體(CMOS)影像感測器。電子捲動快門使得影像感測器之像素陣列的每一條線,於不同時間點卻具有相同曝光時間而開始一曝光流程。當曝光時間小於交流供應電源之半個週期(如,1/60秒)或並非為半個週期之整數倍時,影像感測器之像素陣列之每一條線,自閃爍的交流照明設備擷取到不同的光照度(luminance),例如日光燈管(fluorescent lamp),因而在影像上產生亮暗交錯帶。此即為所謂的捲動快門閃爍(rolling shutter flicker)。
一多重曝光影像系統結合相同畫面之至少一短曝光影像以及一長曝光影像,例如,增加一影像之動態範圍。因為短曝光影像之短曝光時間,不穩定環境光線所造成之閃爍問題有時會於多重曝光影像系統中變得更糟,而捲動快門閃爍係為一個最
常見之閃爍問題。
因此,有需要提出一個新的裝置或方法,用以消除多重曝光影像系統中的捲動快門閃爍。
有鑑於此,本發明提出一種多重曝光影像系統,包括一長曝光影像感測器、一短曝光影像感測器、一曝光比例計算器以及一閃爍增益偵測器。上述長曝光影像感測器用以根據一長曝光,自一畫面擷取一長曝光影像。上述短曝光影像感測器用以根據一短曝光,自上述畫面擷取一短曝光影像。上述曝光比例計算器用以取得上述長曝光對上述短曝光之一曝光比例。上述閃爍增益偵測器用以藉由累積上述長曝光影像之一部分之複數長曝光像素值而產生一長累積值、藉由累積對應至上述長曝光影像之上述部分之上述短曝光影像之一部分之複數短曝光像素值而產生一短累積值,以及根據上述長累積值、上述短累積值以及上述曝光比例而產生一閃爍增益。
本發明更提出一種多重曝光影像系統,用以在具有一週期性閃爍之一環境中擷取一影片,包括一長曝光影像感測器、一短曝光影像感測器、一曝光比例計算器以及一閃爍增益估計器。上述長曝光影像感測器根據一長曝光自一畫面擷取一第一長曝光畫框,並接著根據上述長曝光擷取一第二長曝光畫框。上述短曝光影像感測器根據一短曝光自上述畫面擷取一第一短曝光畫框,並接著根據上述短曝光擷取一第二短曝光畫框。上述曝光比例計算器用以取得上述長曝光對上述短曝光之一曝光比例。上
述閃爍增益估計器用以根據上述第一短曝光畫框之一第一閃爍增益而產生上述第二短曝光畫框之一第二閃爍增益。
本發明更提出一種消除捲動快門閃爍方法,適用於一多重曝光影像系統,步驟包括:根據一長曝光,自一畫面擷取一長曝光影像;根據一短曝光,自上述畫面擷取一短曝光影像;取得上述長曝光對上述短曝光之一曝光比例;藉由累積上述長曝光影像之一部分之複數長曝光像素值而產生一長累積值;藉由累積對應上述長曝光影像之上述部分之上述短曝光影像之一部分之複數短曝光像素值而產生一短累積值;以及根據上述長累積值、上述短累積值以及上述曝光比例,產生一閃爍增益。
詳細的發明之說明內容將如下所述,並請搭配附圖一併閱讀。
100、200、300、500、600‧‧‧多重曝光影像系統
110、210、310‧‧‧鏡片
122、222、322‧‧‧長曝光影像感測器
124、224、324‧‧‧短曝光影像感測器
132、232、332‧‧‧第一像素處理單元
134、234、334‧‧‧第二像素處理單元
152、252、352‧‧‧第一自動曝光控制器
154、254、354‧‧‧第二自動曝光控制器
160、260、360‧‧‧曝光比例計算器
170、370‧‧‧影像組成單元
270‧‧‧影像補償單元
280、380、400、582‧‧‧閃爍增益偵測器
284、384‧‧‧補償器
333‧‧‧第一線緩衝器
335‧‧‧第二線緩衝器
412‧‧‧第一解多工器
414‧‧‧第二解多工器
413r‧‧‧第一第一線總和
413gr‧‧‧第一第二線總和
413gb‧‧‧第一第三線總和
413b‧‧‧第一第四線總和
415r‧‧‧第二第一線總和
415gr‧‧‧第二第二線總和
415gb‧‧‧第二第三線總和
415b‧‧‧第二第四線總和
422r‧‧‧第一閃爍增益計算
422gr‧‧‧第二閃爍增益計算
422gb‧‧‧第三閃爍增益計算
422b‧‧‧第四閃爍增益計算
430‧‧‧剪裁偵測器
580‧‧‧閃爍增益估計器
584‧‧‧閃爍增益儲存器
586‧‧‧閃爍增益位移器
602‧‧‧仲裁者
ImgL‧‧‧長曝光影像
F_gain、FG‧‧‧閃爍增益
E_ratio‧‧‧曝光比例
R‧‧‧紅色
Gr‧‧‧第一綠色
Gb‧‧‧第二綠色
B‧‧‧藍色
Flag‧‧‧旗標
FG_R‧‧‧第一閃爍增益
FG_GR‧‧‧第二閃爍增益
FG_GB‧‧‧第三閃爍增益
FG_B‧‧‧第四閃爍增益
S202~S214‧‧‧流程步驟
可藉由搭配附圖以閱讀以下的敘述以及範例,而更清楚瞭解本發明。
第1A圖係顯示先前技術中使用長曝光影像感測器122以及短曝光影像感測器124擷取相同畫面之多重曝光影像系統100。
第1B圖係顯示日光燈之光照度變化。
第2A圖係顯示根據本發明之一實施例所述之多重曝光影像系統之一示意圖。
第2B圖係顯示根據本發明之一實施例所述之消除捲動快門
閃爍方法之流程圖。
第3圖係顯示根據本發明之一實施例所述之多曝光影像系統之示意圖。
第4圖係顯示根據本發明之地一實施例所述之閃爍增益偵測器之示意圖。
第5A圖係顯示根據本發明之第二實施例所述之多重曝光影像系統之示意圖。
第5B圖係顯示日光燈以頻率120Hz閃爍之示意圖。
第5C圖係顯示閃爍增益之示意圖。
第5D圖係顯示閃爍增益估計器之一實施例。
第6圖係顯示根據本發明之第二實施例所述之多重曝光影像系統之示意圖。
下文為介紹本發明之最佳實施例。各實施例用以說明本發明之原理,但非用以限制本發明。本發明之範圍當以後附之權利要求項為準。
第1A圖係顯示先前技術中使用長曝光影像感測器122以及短曝光影像感測器124擷取相同畫面之多重曝光影像系統100。如第1A圖所示,長曝光影像感測器122以及短曝光影像感測器124透過相同的鏡片110(在其他實施例中,或為不同的鏡片),以不同的曝光設定(包括曝光時間、放大器之增益等等)而分別自相同的畫面擷取影像。長曝光影像感測器122以及短曝光影像感
測器124可為獨立像素陣列或位於一單一像素陣列之不同部分。第一像素處理單元132以及第二像素處理單元134分別針對長曝光影像感測器122以及短曝光影像感測器124所產生之影像,執行初步影像訊號處理作業。第一自動曝光控制器152以及第二自動曝光控制器154分別調整長曝光影像感測器122以及短曝光影像感測器124之曝光設定,曝光比例計算器160可計算長曝光影像感測器122以及短曝光影像感測器124之長曝光以及短曝光間的曝光比例,使得影像組成單元170可結合分別由長曝光影像感測器122以及短曝光影像感測器124所擷取之二影像,而成為根據曝光比例之合成影像。因為在多重曝光影像系統100中之短曝光影像感測器124通常具有較一般影像系統更短的曝光時間,所以捲動快門閃爍問題有時候會在多重曝光影像系統上變得更糟。第1B圖係顯示日光燈之光照度變化。例如,日光燈閃爍之閃爍頻率係為120Hz,特別是在多重曝光影像系統上,捲動快門閃爍問題因而變得更為顯著。
第2A圖係顯示根據本發明之一實施例所述之多重曝光影像系統之一示意圖。在多重曝光影像系統200中,長曝光影像感測器222以及短曝光影像感測器224經由相同的鏡片210(在其他實施例中,或為不同的鏡片),分別以長曝光以及短曝光而分別自相同的畫面擷取影像,其中長曝光以及短曝光分別對應至不同的曝光設定(包括曝光時間、放大器之增益等等)。第一像素處理單元232以及第二像素處理單元234分別對來自長曝光影像感測器222以及短曝光影像感測器224之影像執行初步影像信號處理作業,而產生長曝光影像ImgL以及短曝光影像ImgS。第一自動曝光控制器252以及第二自動曝光控制器254調整長曝光影像感測器
222以及短曝光影像感測器224之曝光設定,曝光比例計算器260可計算長曝光影像感測器222之長曝光對短曝光影像感測器224之短曝光之曝光比例。
根據本發明之一實施例,閃爍增益偵測器280接收長曝光影像ImgL、短曝光影像ImgS以及曝光比例,而計算閃爍增益F_gain。隨後,補償器284以閃爍增益來補償短曝光影像ImgS之線之像素值而產生短曝光影像ImgS,以便消除閃爍。最後,影像補償單元270可根據曝光比例,結合長曝光影像ImgL以及短曝光影像ImgS而成為合成影像。在此實施例中,補償器284係以乘法器作為範例,其以將短曝光影像之線之像素值乘上閃爍增益來做補償。
本發明提出適用於多曝光影像系統之一種消除捲動快門閃爍方法。舉例來說,消除捲動快門閃爍方法之一實施例可操作於第2A圖之多曝光影像系統200。
第2B圖係顯示根據本發明之一實施例所述之消除捲動快門閃爍方法之流程圖。消除捲動快門閃爍方法首先於步驟S202,藉由如長曝光影像感測器222,自一畫面擷取具有長曝光之長曝光影像。在步驟S204中,藉由如短曝光影像感測器224,自該畫面擷取具有短曝光之短曝光影像。長曝光係根據如長曝光影像感測器222之曝光時間以及信號增益,而短曝光係根據如短曝光影像感測器224之曝光時間以及信號增益。隨後在步驟S206,消除捲動快門閃爍方法藉由如曝光比例計算器260取得標記為E_ratio之曝光比例,其係為長曝光對短曝光之比例。隨後在步驟S208,消除捲動快門閃爍方法累積標記為Sum_L之長曝光影像之
一條線之像素值;在步驟S210中,消除捲動快門閃爍方法累積標記為Sum_S之短曝光影像之一條線之像素值;其中短曝光影像之線對應至具有相同的畫面之長曝光影像之線。在步驟S212中,閃爍增益F_gain係為將長累積值Sum_L除以短累積值Sum_S再除以曝光比例E_ratio而得,其中閃爍增益F_gain可以下列公式表示:F_gain=Sum_L/(Sum_S×E_ratio)。在步驟S214中,消除捲動快門閃爍方法在結合長曝光影像以及短曝光影像成為合成影像之前,藉由將短曝光影像之一條線之像素值乘上閃爍增益而消除了捲動快門閃爍。步驟S208~步驟S214可由閃爍增益偵測器280。
第3圖係顯示根據本發明之一實施例所述之多曝光影像系統之示意圖。在多重曝光影像系統300中,長曝光影像感測器322以及短曝光影像感測器324透過相同的鏡片310(在其他實施例中,或為不同的鏡片),以對應至不同的曝光設定(包括曝光時間、放大器之增益等等)之長曝光以及短曝光而分別自相同的畫面擷取影像。第一像素處理單元332以及第二像素處理單元334分別針對長曝光影像感測器322以及短曝光影像感測器324所產生之影像執行初步影像訊號處理作業,而產生長曝光影像ImgL以及短曝光影像ImgS。第一自動曝光控制器352決定長曝光,而調整長曝光影像感測器322之曝光設定;第二自動曝光控制器354決定短曝光而調整短曝光影像感測器324之曝光設定。曝光比例計算器360可計算長曝光影像感測器322之長曝光以及短曝光影像感測器324之短曝光之間的曝光比例。
閃爍增益計算器380累積長曝光影像ImgL之一條線之像素值而產生長累積值Sum_L,同樣也累積短曝光影像之一條
線之像素值而產生短累積值Sum_S。要注意的是,短曝光影像之線對應至具有相同畫面之長曝光影像之線。也要注意的是,影像累積的部分並非限定於一條線,在其他實施例中,也可能為一區塊、一條線之一部分、或複數條線。隨後,閃爍增益計算器380利用將長累積值Sum_L除以短累積值Sum_S後再除以曝光比例E_ratio而得,其中閃爍增益F_gain可以下列公式表示:F_gain=sum_L/(sum_S×E_ratio)。最後,補償器384藉由閃爍增益對影像補償單元370補償來自第二線緩衝器335之短曝光影像之線之像素值,根據曝光比例E_ratio而與來自第一線緩衝器333之長曝光影像ImgL相結合。在此實施例中,補償器384係以乘法器作為範例,並將來自第二線緩衝器335之短曝光影像之線之像素值乘上閃爍增益作為補償。
在一些實施例中,閃爍增益偵測器可更包括剪裁偵測器,已排除長曝光影像ImgL以及短曝光影像ImgS之過度曝光或曝光不足之像素值。同樣地,閃爍增益偵測器可根據一像素之不同顏色通道,而處理該影像。第4圖係顯示根據本發明之地一實施例所述之閃爍增益偵測器之示意圖。閃爍增益偵測器400包括剪裁偵測器430、第一解多工器412、第二解多工器414、第一第一線總和413r、第一第二線總和413gr、第一第三線總和413gb、第一第四線總和413b、第二第一線總和415r、第二第二線總和415gr、第二第三線總和415gb、第二第四線總和415b、第一閃爍增益計算422r、第二閃爍增益計算422gr、第三閃爍增益計算422gb以及第四閃爍增益計算422b。閃爍增益偵測器400利用第一解多工器412以及第二解多工器414對長曝光影像ImgL以及短曝光影像ImgS執
行顏色分離,使得一像素之像素值根據對應之顏色而分離成子像素值。特別是在此實施例中,長曝光影像ImgL之一線以及短曝光影像ImgS之一線之每一像素具有代表各自顏色之子像素,例如係由第一解多工器412以及第二解多工器414分離而成之紅色R、第一綠色Gr、第二綠色Gb以及藍色B,並輸出至第一第一線總和413r、第一第二線總和413gr、第一第三線總和413gb、第一第四線總和413b、第二第一線總和415r、第二第二線總和415gr、第二第三線總和415gb以及第二第四線總和415b。
剪裁偵測器430偵測長曝光影像ImgL以及短曝光影像ImgS是否過度曝光或是曝光不足。若是,則該像素會被第一第一線總和413r、第一第二線總和413gr、第一第三線總和413gb以及第一第四線總和413b或第二第一線總和415r、第二第二線總和415gr、第二第三線總和415gb以及第二第四線總和415b根據由剪裁偵測器430所發送之旗標Flag所忽略。根據本發明之另一實施例,旗標Flag可被輸出至第一解多工器412以及第二解多工器414,以忽略過度曝光以及曝光不足之像素。第一第一線總和413r、第一第二線總和413gr、第一第三線總和413gb、第一第四線總和413b、第二第一線總和415r、第二第二線總和415gr、第二第三線總和415gb以及第二第四線總和415b累積對應之子像素值而產生第一第一積累值Sum_Lr、第一第二積累值Sum_Lgr、第一第三積累值Sum_Lgb、第一第四積累值Sum_Lb、第二第一積累值Sum_Sr、第二第二積累值Sum_Sgr、第二第三積累值Sum_Sgb以及第二第四積累值Sum_Sb。第一閃爍增益計算422r根據第一第一積累值Sum_Lr、第二第一積累值Sum_Sr以及曝光比例E_ratio,而
而產生第一閃爍增益FG_R。第二閃爍增益計算器422gr根據第一第二積累值Sum_Lgr、第二第二積累值Sum_Sgr以及曝光比例E_ratio,而產生第二閃爍增益FG_GR。第三閃爍增益計算器422gb根據第一第三積累值Sum_Lgb、第二第三積累值Sum_Sgb以及曝光比例E_ratio,而產生第三閃爍增益FG_GB。第四閃爍增益計算器422b根據第一第四積累值Sum_Lb、第二第四積累值Sum_Sb以及曝光比例E_ratio,而產生第四閃爍增益FG_B。影像補償單元370隨後一條一條線地結合長曝光影像ImgL以及短曝光影像ImgS。
第5A圖係顯示根據本發明之第二實施例所述之多重曝光影像系統之示意圖。第5B圖係顯示日光燈以頻率120Hz閃爍之示意圖。多重曝光影像系統500類似多重曝光影像系統300,除了閃爍增益估計器580。如第5B圖所示,該畫面之環境可能具有日光燈,該日光當具有頻率120Hz之週期性閃爍,並且閃爍增益之變化如第5C圖所示。因為閃爍係為週期性,閃爍增益亦為週期性。當拍攝一影片時,連續地擷取複數個畫框(frame),且接下來的畫框能夠利用閃爍增益估計器來估計適當的閃爍增益。
第5D圖係顯示閃爍增益估計器之一實施例。閃爍增益估計器580包括閃爍增益偵測器582、閃爍增益儲存器584以及閃爍增益位移器586。閃爍增益偵測器582之動作即如閃爍增益偵測器280、380、400所述,用以偵測短曝光影像ImgS之每一條線之閃爍增益。閃爍增益偵測器582可在影片開始之幾個畫框時啟動,之後的畫框則使用估計之閃爍增益。閃爍增益儲存器584儲存由閃爍增益偵測器582所計算得到之閃爍增益。隨後,閃爍增益位移器586自閃爍儲存器584所儲存之閃爍增益,為該畫框之目前的線決
定適當的閃爍增益FG。
閃爍增益位移器586根據以下的公式,首先決定從第一畫框至第二畫框之線位移:
Frame_line表示每一畫框之所有線,Flicker_line表示每一閃爍週期之所有線,運算子[]代表積分函數。若是以每秒30個畫框拍攝一影片而每畫框具有300條線(Frame_line)為例,且日光燈以120Hz閃爍。每一閃爍週期係為1/120秒,且每個閃爍週期(Flicker_line)具有[30*300/120]=75條線。因此,根據公式1,Line_shift係為0,而閃爍增益位移器586則可將第一畫框之第一條線的閃爍增益,施加至第二畫框之第一條線。若是以每秒29個畫框拍攝一影片而每畫框具有421條線作為第二實施例。Frame_line係為421,而Flicker_line係為[29*421/120]=101(每閃爍週期之線的數目),則Line_shift係為17。所以,閃爍增益位移器586將第一畫框之第18條線之閃爍增益,施加至第二畫框之第一條線。
第6圖係顯示根據本發明之第二實施例所述之多重曝光影像系統之示意圖。多重曝光影像系統600類似多重曝光影像系統500外,更包括閃爍增益偵測器400以及仲裁者602。多重曝光影像系統600可分別使用閃爍增益估計器580以及閃爍增益偵測器400來決定閃爍增益,而仲裁者602決定一適當的閃爍增益來使用。在一個場景中,閃爍增益估計器580首先用以決定閃爍增益,但在影片開始後可能有時會不正確,因此仲裁者602可切換使用閃爍增益偵測器400,用以偵測閃爍增益。
以上敘述許多實施例的特徵,使所屬技術領域中具有通常知識者能夠清楚理解本說明書的形態。所屬技術領域中具有通常知識者能夠理解其可利用本發明揭示內容為基礎以設計或更動其他製程及結構而完成相同於上述實施例的目的及/或達到相同於上述實施例的優點。所屬技術領域中具有通常知識者亦能夠理解不脫離本發明之精神和範圍的等效構造可在不脫離本發明之精神和範圍內作任意之更動、替代與潤飾。
S202~S214‧‧‧流程步驟
Claims (16)
- 一種多重曝光影像系統,包括:一長曝光影像感測器,用以根據一長曝光,自一畫面擷取一長曝光影像;一短曝光影像感測器,用以根據一短曝光,自上述畫面擷取一短曝光影像;一曝光比例計算器,用以取得上述長曝光對上述短曝光之一曝光比例;以及一閃爍增益偵測器,用以藉由累積上述長曝光影像之一部分之複數長曝光像素值而產生一長累積值、藉由累積對應至上述長曝光影像之上述部分之上述短曝光影像之一部分之複數短曝光像素值而產生一短累積值,以及根據上述長累積值、上述短累積值以及上述曝光比例而產生一閃爍增益。
- 如申請專利範圍第1項所述之多重曝光影像系統,其中上述閃爍增益偵測器將上述長累積值除以上述短累積值後再除以上述曝光比例,而產生上述閃爍增益。
- 如申請專利範圍第1項所述之多重曝光影像系統,更包括:一補償器,利用上述閃爍增益,補償上述短曝光影像之上述部分之上述短曝光像素值;以及 一影像組成單元,根據上述短曝光影像之上述部分之補償之上述短曝光像素值以及上述長曝光影像之上述部分之上述長曝光像素值,而產生一合成影像。
- 如申請專利範圍第1項所述之多重曝光影像系統,其中上述閃爍增益偵測器包括:一剪裁偵測器,用以偵測上述長曝光影像以及上述短曝光影像之複數過度曝光像素或複數曝光不足像素,使得上述閃爍增益偵測器在不對上述過度曝光像素或上述曝光不足像素累積的情況下,而產生上述短累積值以及上述長累積值。
- 如申請專利範圍第1項所述之多重曝光影像系統,其中上述長曝光影像之上述部分係為上述長曝光影像之一線,上述短曝光影像之上述部分係為上述短曝光影像之一線。
- 如申請專利範圍第5項所述之多重曝光影像系統,其中上述閃爍增益偵測器包括:一第一解多工器,用以接收上述長曝光影像之上述線,並且根據對應之顏色而分離每一像素之上述長曝光像素值至一長曝光子像素值;一第二解多工器,用以接收上述短曝光影像之上述線,並且根據對應之顏色而分離每一像素之上述短曝光像素值至一短曝光子像素值; 複數第一線總和,其中上述第一線總和之每一者將來自上述第一解多工器之具有相同顏色之上述長曝光子像素值加總,使得上述長累積值包括根據對應之顏色之複數加總長曝光子像素值;複數第二線總和,其中上述第二線總和之每一者將來自上述第二解多工器之具有相同顏色之上述短曝光子像素值加總,使得上述短累積值包括根據對應之顏色之複數加總短曝光子像素值;以及複數閃爍增益計算器,其中上述閃爍增益計算器之每一者接收分別來自上述第一線總和以及上述第二線總和之具有相同顏色之上述加總長曝光子像素值以及上述加總短曝光子像素值,並且接收用以計算上述閃爍增益之上述曝光比例。
- 如申請專利範圍第6項所述之多重曝光影像系統,其中上述閃爍增益偵測器更包括:一剪裁偵測器,用以偵測上述長曝光影像以及上述短曝光影像之複數過度曝光像素以及複數曝光不足像素,使得上述第一線總和以及上述第二線總和在不對上述過度曝光像素或上述曝光不足像素累積的情況下,而產生上述加總長曝光子像素值以及上述加總短曝光子像素值。
- 一種多重曝光影像系統,用以在具有一週期性閃爍之一環境中擷取一影片,包括: 一長曝光影像感測器,根據一長曝光自一畫面擷取一第一長曝光畫框,並接著根據上述長曝光擷取一第二長曝光畫框;一短曝光影像感測器,根據一短曝光自上述畫面擷取一第一短曝光畫框,並接著根據上述短曝光擷取一第二短曝光畫框;一曝光比例計算器,用以取得上述長曝光對上述短曝光之一曝光比例;以及一閃爍增益估計器,用以根據上述第一短曝光畫框之一第一閃爍增益而產生上述第二短曝光畫框之一第二閃爍增益。
- 如申請專利範圍第8項所述之多重曝光影像系統,其中上述閃爍增益估計器包括:一閃爍增益偵測器,藉由累積上述第一長曝光畫框之一線之複數長曝光像素值而產生一長累積值、藉由累積對應上述長曝光畫框之上述線之上述第一短曝光畫框之一線之複數短曝光像素值而產生一短累積值,以及根據上述長累積值、上述短累積值以及上述曝光比例,產生上述第一閃爍增益;一閃爍增益儲存器,用以儲存來自上述第一閃爍增益偵測器之上述第一閃爍增益;以及 一閃爍增益位移器,用以產生上述第二短/長曝光畫框之一線位移對於上述第一短/長曝光畫框之一線位移,並據此估計上述第二閃爍增益。
- 如申請專利範圍第9項所述之多重曝光影像系統,其中上述線位移係根據上述影片之一畫框率、上述週期性閃爍之一閃爍頻率以及上述影片之一畫框之一線數目所決定。
- 如申請專利範圍第8項所述之多重曝光影像系統,更包括:一補償器,藉由上述第二閃爍增益來補償上述第二短曝光畫框;以及一影像組成單元,用以結合上述第二長曝光畫框以及補償之上述第二短曝光畫框,進而產生上述影片之一第二畫框。
- 如申請專利範圍第8項所述之多重曝光影像系統,更包括:一第二閃爍增益偵測器,用以藉由累積上述第二長曝光畫框之一線之複數長曝光像素值而產生一長累積值、藉由累積對應上述第二長曝光畫框之上述線之上述短曝光畫框之一線之複數短曝光像素值而產生一短累積值,以及根據上述長累積值、上述短累積值以及上述曝光比例而產生一第三閃爍增益; 一仲裁者,用以選擇輸出上述第二閃爍增益以及上述第三閃爍增益之一者;一補償器,根據上述仲裁者之輸出而補償上述第二短曝光畫框;以及一影像組成單元,用以結合上述第二長曝光畫框以及補償之上述第二短曝光畫框,進而產生上述影片之一第二畫框。
- 一種消除捲動快門閃爍方法,適用於一多重曝光影像系統,步驟包括:根據一長曝光,自一畫面擷取一長曝光影像;根據一短曝光,自上述畫面擷取一短曝光影像;取得上述長曝光對上述短曝光之一曝光比例;藉由累積上述長曝光影像之一部分之複數長曝光像素值而產生一長累積值;藉由累積對應上述長曝光影像之上述部分之上述短曝光影像之一部分之複數短曝光像素值而產生一短累積值;以及根據上述長累積值、上述短累積值以及上述曝光比例,產生一閃爍增益。
- 如申請專利範圍第13項之消除捲動快門閃爍方法,其中產生上述閃爍增益之步驟係為,藉由將上述長累積值除以上述短累積值後再除以上述曝光比例而產生上述閃爍增 益。
- 如申請專利範圍第13項之消除捲動快門閃爍方法,更包括:利用上述閃爍增益,補償上述短曝光影像之上述部分之上述短曝光像素值;以及根據上述短曝光影像之上述部分之補償之上述短曝光像素值以及上述長曝光影像之上述部分之上述長曝光像素值,而產生一合成影像。
- 如申請專利範圍第13項之消除捲動快門閃爍方法,其中上述長曝光影像之上述部分係為上述長曝光影像之一線,而上述短曝光影像之上述部分係為上述短曝光影像之一線。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/261,827 US9407832B2 (en) | 2014-04-25 | 2014-04-25 | Multi-exposure imaging system and method for eliminating rolling shutter flicker |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201541184A TW201541184A (zh) | 2015-11-01 |
TWI528101B true TWI528101B (zh) | 2016-04-01 |
Family
ID=54335963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW103122455A TWI528101B (zh) | 2014-04-25 | 2014-06-30 | 多重曝光影像系統以及消除捲動快門閃爍方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9407832B2 (zh) |
CN (1) | CN105049736B (zh) |
TW (1) | TWI528101B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6362091B2 (ja) * | 2014-06-04 | 2018-07-25 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
KR101689665B1 (ko) * | 2014-07-04 | 2016-12-26 | 삼성전자 주식회사 | 이미지 센서, 이미지 센싱 방법, 그리고 이미지 센서를 포함하는 이미지 촬영 장치 |
JP6525525B2 (ja) * | 2014-07-31 | 2019-06-05 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
US9571749B2 (en) * | 2015-05-26 | 2017-02-14 | Novatek Microelectronics Corp. | Flicker detecting method for image capturing device |
JP6764863B2 (ja) * | 2015-07-03 | 2020-10-07 | パナソニックセミコンダクターソリューションズ株式会社 | 距離測定装置 |
US10097766B2 (en) | 2016-08-31 | 2018-10-09 | Microsoft Technology Licensing, Llc | Provision of exposure times for a multi-exposure image |
US10242268B2 (en) * | 2017-02-03 | 2019-03-26 | Raytheon Company | Pixel-based event detection for tracking, hostile fire indication, glint suppression, and other applications |
JP7157529B2 (ja) * | 2017-12-25 | 2022-10-20 | キヤノン株式会社 | 撮像装置、撮像システム、および撮像装置の駆動方法 |
CN110891146B (zh) * | 2018-09-10 | 2021-12-28 | 浙江宇视科技有限公司 | 一种强光抑制方法及装置 |
JP7039720B2 (ja) * | 2018-09-18 | 2022-03-22 | 株式会社日立国際電気 | 撮像装置、映像処理方法、およびプログラム |
US11039082B2 (en) * | 2018-11-27 | 2021-06-15 | Canon Kabushiki Kaisha | Image capturing apparatus, control method thereof, and storage medium |
US10721412B2 (en) * | 2018-12-24 | 2020-07-21 | Gopro, Inc. | Generating long exposure images for high dynamic range processing |
US10587816B1 (en) | 2019-01-04 | 2020-03-10 | Gopro, Inc. | High dynamic range processing based on angular rate measurements |
GB2586804B (en) * | 2019-09-03 | 2022-02-16 | Jaguar Land Rover Ltd | Method and system for mitigating image flicker from strobed lighting systems |
CN110855901B (zh) * | 2019-11-28 | 2021-06-18 | 维沃移动通信有限公司 | 摄像头的曝光时间控制方法及电子设备 |
CN111654638B (zh) * | 2020-04-30 | 2021-09-07 | 深圳英飞拓智能技术有限公司 | 摄像机宽动态成像曝光调节方法及装置 |
CN112235505B (zh) * | 2020-09-24 | 2022-08-09 | 浙江大华技术股份有限公司 | 去除图像闪烁的方法、装置及存储介质 |
CN112911149B (zh) * | 2021-01-28 | 2022-08-16 | 维沃移动通信有限公司 | 图像输出方法、装置、电子设备及可读存储介质 |
CN112738414B (zh) * | 2021-04-06 | 2021-06-29 | 荣耀终端有限公司 | 一种拍照方法、电子设备及存储介质 |
CN113905185B (zh) * | 2021-10-27 | 2023-10-31 | 锐芯微电子股份有限公司 | 图像处理方法和装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4154157B2 (ja) * | 2002-02-25 | 2008-09-24 | 株式会社東芝 | 撮像装置 |
US6879731B2 (en) * | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
US20080158396A1 (en) * | 2006-08-07 | 2008-07-03 | Transchip, Inc. | Image Signal Processor For CMOS Image Sensors |
JP5159235B2 (ja) * | 2007-10-02 | 2013-03-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5625371B2 (ja) * | 2010-01-29 | 2014-11-19 | ソニー株式会社 | 画像処理装置、および信号処理方法、並びにプログラム |
JP2012010104A (ja) * | 2010-06-24 | 2012-01-12 | Sony Corp | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
JP2013121099A (ja) * | 2011-12-08 | 2013-06-17 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2013219708A (ja) * | 2012-04-12 | 2013-10-24 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
-
2014
- 2014-04-25 US US14/261,827 patent/US9407832B2/en active Active
- 2014-06-30 TW TW103122455A patent/TWI528101B/zh active
- 2014-08-14 CN CN201410401794.2A patent/CN105049736B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20150312464A1 (en) | 2015-10-29 |
US9407832B2 (en) | 2016-08-02 |
CN105049736A (zh) | 2015-11-11 |
CN105049736B (zh) | 2018-04-10 |
TW201541184A (zh) | 2015-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI528101B (zh) | 多重曝光影像系統以及消除捲動快門閃爍方法 | |
JP4487640B2 (ja) | 撮像装置 | |
JP5035025B2 (ja) | 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム | |
TWI408953B (zh) | 攝像裝置及攝像方法 | |
KR101407849B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치 | |
JP2014060517A5 (ja) | 固体撮像装置 | |
JP2015115922A (ja) | 撮像装置および撮像方法 | |
JP6703847B2 (ja) | 撮像装置及び撮像方法 | |
JP2005223898A (ja) | 画像処理方法及び撮像装置 | |
JP2007174537A (ja) | 撮像装置 | |
JP6576028B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2017108309A (ja) | 撮像装置および撮像方法 | |
JP2017092772A (ja) | 撮像装置、フリッカ検出方法及びプログラム | |
TWI394443B (zh) | Image brightness correction method | |
JP2017011367A5 (zh) | ||
JP6415638B2 (ja) | フリッカーを除去する画像処理方法とその画像処理装置 | |
JP6047686B2 (ja) | 撮影装置 | |
JP2017069741A (ja) | 撮像装置、フリッカ検出方法及びプログラム | |
US20170104913A1 (en) | Method for correcting flickers in a single-shot multiple-exposure image and associated apparatus | |
JP2013015722A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP5818451B2 (ja) | 撮像装置および制御方法 | |
JP6170475B2 (ja) | フリッカーを除去する画像処理方法とその画像処理装置 | |
JP2007329604A (ja) | 蛍光灯フリッカ検出回路 | |
JP6995510B2 (ja) | 撮像装置 | |
JP5914189B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |