TW202301855A - 視訊採集方法和裝置 - Google Patents

視訊採集方法和裝置 Download PDF

Info

Publication number
TW202301855A
TW202301855A TW111100101A TW111100101A TW202301855A TW 202301855 A TW202301855 A TW 202301855A TW 111100101 A TW111100101 A TW 111100101A TW 111100101 A TW111100101 A TW 111100101A TW 202301855 A TW202301855 A TW 202301855A
Authority
TW
Taiwan
Prior art keywords
frame rate
time period
output frames
motion
sensor output
Prior art date
Application number
TW111100101A
Other languages
English (en)
Other versions
TWI789196B (zh
Inventor
陳穎睿
張靖瑩
李克聰
黃泰翔
李逸仙
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Application granted granted Critical
Publication of TW202301855A publication Critical patent/TW202301855A/zh
Publication of TWI789196B publication Critical patent/TWI789196B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Auxiliary Devices For And Details Of Packaging Control (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

一種視訊採集方法,包括:控制圖像感測器在第一時間段内以第一幀率採集多個第一感測器輸出幀;在第一時間段内,檢查運動模糊條件是否被滿足;響應於在第一時間段内運動模糊條件被滿足,控制圖像感測器在第一時間段之後的第二時段内以第二幀率採集多個第二感測器輸出幀,其中第二幀率高於第一幀率;處理圖像感測器在第一時間段内及第二時間段内所採集的連續感測器輸出幀,以產生多個輸出幀。

Description

視訊採集方法和裝置
本申請要求於2021年6月16日提交的美國臨時申請號63/211,031的優先權,其全部內容以引用方式併入本文。
本發明涉及視訊記錄,更具體地,涉及根據運動模糊條件是否被滿足來動態改變感測器輸出幀的幀率的方法和裝置。
在視訊記錄中,相機運動和/或物體運動可能會引入不想要的圖像模糊。為了解決運動模糊問題,傳統的圖像去模糊方案可被用來恢復清晰度。然而,傳統的圖像去模糊方案的計算複雜度非常高,並且由於處理偽影(processing artifacts)的引入,傳統的圖像去模糊方案可能會降低圖像品質。減少運動模糊的一種替代解決方案是權衡圖像感測器的曝光時間。具體而言,由於在較短的曝光時間下採集的運動較少,因此運動模糊可被減少。然而,在圖像雜訊和運動模糊之間存在權衡。也就是說,當圖像感測器被配置為使用更長的曝光時間時,採集的幀具有更低的圖像雜訊級別但更高的運動模糊級別;當圖像感測器被配置為使用更短的曝光時間時,採集的幀具有更高的圖像雜訊級別但更低的運動模糊級別。運動模糊可以以更高的圖像雜訊為代價來減少。圖像雜訊級別大致與感測器曝光時間成正比。藉由減少曝光時間來避免運動模糊意味著沒有充分利用圖像感測器的能力。
近來,一些圖像感測器配備有高幀率特徵。讓圖像感測器以高幀率和短曝光時間工作可以實現運動模糊的減少。不幸的是,讓圖像感測器始終以高幀率工作會導致高功耗。
本發明的目的之一在於提供一種根據運動模糊條件是否被滿足來動態改變感測器輸出幀的幀率的方法和裝置。
根據本發明的第一方面,一種示例性視訊採集方法被公開。示例性視訊採集方法包括:控制圖像感測器在第一時間段内以第一幀率採集多個第一感測器輸出幀;在第一時間段内,檢查運動模糊條件是否被滿足;響應於在第一時間段内運動模糊條件被滿足,控制圖像感測器在第一時間段之後的第二時間段内以第二幀率採集多個第二感測器輸出幀,其中第二幀率高於第一幀率;處理圖像感測器於第一時間段内及第二時間段内所採集的連續感測器輸出幀,以產生多個輸出幀。
根據本發明的第二方面,一種示例性視訊採集裝置被公開。示範性視訊採集裝置包含幀率控制電路、運動分析電路及處理電路。幀率控制電路用於控制圖像感測器在第一時間段內以第一幀率採集多個第一感測器輸出幀。在第一時間段內,運動分析電路用於檢查運動模糊條件是否被滿足。當運動分析電路確定在第一時間段內運動模糊條件被滿足時,幀率控制電路還用於控制圖像感測器在第一時間段之後的第二時間段內以第二幀率採集多個第二感測器輸出幀。其中第二幀率高於第一幀率。處理電路被配置為處理圖像感測器在第一時間段內及第二時間段內所採集的連續感測器輸出幀,以產生多個輸出幀。
本發明的這些和其他目的在閱讀了以下在各個附圖和附圖中示出的優選實施例的詳細描述後,對於所屬技術領域中具有通常知識者來說無疑將變得顯而易見。
貫穿以下描述和申請專利範圍使用了特定術語,它們指的是特定組件。正如所屬技術領域中具有通常知識者所理解的,電子設備製造商可能會用不同的名稱來指代一個組件。本文檔不打算區分名稱不同但功能不同的組件。在以下描述和申請專利範圍中,術語“包括”和“包含”以開放式方式使用,因此應解釋為“包括但不限於……”。此外,術語“耦合”旨在表示間接或直接電連接。因此,如果一個設備耦合到另一設備,則該連接可以藉由直接電連接,或藉由經由其他設備和連接的間接電連接。
第1圖示出根據本發明實施例的相機系統。相機系統100可以是諸如蜂窩電話或平板電腦之類的可擕式設備的一部分。相機系統100可以包括圖像感測器102、運動感測器104和視訊採集裝置106。應當注意,僅與本發明相關的組件在第1圖中示出。在實踐中,視訊採集裝置106可以包括用於其他指定功能的額外組件。圖像感測器102被佈置為採集具有多個感測器輸出幀F1的視訊序列。例如,圖像感測器102可以由互補金屬氧化物半導體(complementary metal oxide semiconductor,簡稱CMOS)圖像感測器來實現。在本實施例中,圖像感測器102具備高幀率能力。運動感測器104被佈置為提供運動資訊。例如,運動感測器104可以藉由陀螺儀感測器(gyro sensor)來實現,以及運動感測器104提供的運動資訊可以指示相機運動。
視訊採集裝置106具有多個具有指定功能的電路,包括自動曝光電路(標記為“AE”)112、運動分析電路(標記為“MA”)114和處理電路116。在本實施例中,自動曝光電路112包括幀率控制電路(標記為“FR控制”)122以啟用圖像感測器102的動態幀率。處理電路116被佈置為接收來自圖像感測器102的輸出幀F1,以及處理所接收的感測器輸出幀F1以產生記錄視訊流D_OUT。在本實施例中,處理電路116包括圖像訊號處理器(image signal processor,簡稱ISP)124、雜訊抑制電路(標記為“NS”)126和顯示編碼器128。
自動曝光電路112用於根據環境亮度確定曝光設置,然後藉由內部積體電路(inter-integrated circuit,簡稱I2C)匯流排108將曝光設置提供給圖像感測器102。運動分析電路114是被佈置為對雜訊抑制電路126獲得運動資訊INF_M,以及進一步被佈置為確定運動模糊條件是否被滿足。例如,運動分析電路114可以從圖像內容分析中獲得運動資訊INF_M,圖像内容分析是對從圖像感測器102的感測器輸出幀F1導出的連續幀執行的,其中運動資訊INF_M可以指示相機運動和/或物件運動。又例如,運動分析電路114可以從運動感測器104獲得運動資訊INF_M,其中運動資訊INF_M可以表示相機運動。此外,運動分析電路114可從自動曝光電路112獲得自動曝光(auto exposure,簡稱AE)統計INF_AE。當運動資訊INF_M和AE統計INF_AE(AE stats INF_AE)可用後,運動分析電路114藉由參考運動資訊INF_M和AE統計INF_AE檢查運動模糊條件是否被滿足。例如,運動分析電路114參考AE統計INF_AE來學習環境亮度和曝光時間,以及根據基於運動資訊INF_M估計的運動量來確定運動模糊是否被涉及。
幀率控制電路122被佈置為控制圖像感測器102的幀率。因此,圖像感測器102的動態幀率特徵可以藉由幀率控制電路122實現。例如,在運動模糊條件不被滿足時,速率控制電路122控制圖像感測器102以第一幀率採集感測器輸出幀F1,當運動模糊條件被滿足時控制圖像感測器102以第二幀率採集其他感測器輸出幀F1。其中第二幀率高於第一幀率。即,當在估計的運動量下不涉及運動模糊時(即運動模糊條件不被滿足),圖像感測器102可以以低幀率(例如每秒30幀(frames per second,簡稱FPS))採集感測器輸出幀F1;以及當在估計的運動量下涉及運動模糊時(即運動模糊條件被滿足),圖像感測器102可以以高幀率(例如90FPS)採集其他感測器輸出幀F1。
此外,當運動模糊條件不被滿足時,自動曝光電路112可以控制圖像感測器102採集第一曝光設置下的感測器輸出幀F1,以及當運動模糊條件被滿足時可以控制圖像感測器102採集在第二曝光設置下的其他感測器輸出幀F1,其中第二曝光設置指定的曝光時間短於第一曝光設置指定的曝光時間。因此,在本發明的一些實施例中,圖像感測器102可以在一個時間段內以高幀率和短曝光時間來採集感測器輸出幀F1,以及可以在另一時間段內以低幀率和長曝光時間來採集感測器輸出幀F1。進一步地,第二幀率與第一幀率的比例為N:1(N>1),第二曝光時間與第一曝光時間的比例為1:N(N>1)。藉由這種方式,圖像品質可以充分利用圖像感測器的能力來增強。
處理電路116處理由圖像感測器102所採集的連續感測器輸出幀F1以產生多個輸出幀F3,以及將輸出幀F3編碼為所記錄的視訊流D_OUT。圖像訊號處理器124用以處理連續感測器輸出幀F1以產生多個處理幀F2。雜訊抑制電路126可被配置為將時間雜訊降低(temporal noise reduction,簡稱TNR)應用於處理幀F2以產生輸出幀F3。為了放寬緩衝需求和頻寬需求,輸出幀F3經歷編碼過程。具體而言,顯示編碼器128用以對輸出幀F3進行編碼以產生可儲存於儲存裝置或經由無線/有線通訊鏈路傳輸的記錄視訊流D_OUT。
如上所述,當在估計的運動量下不涉及運動模糊(即運動模糊條件不被滿足)時,圖像感測器102被控制以在較低的幀率和較長的曝光時間下進行視訊幀採集;當在估計的運動量下涉及運動模糊(即運動模糊條件被滿足)時,圖像感測器102被控制以更高的幀率和更短的曝光時間進行視訊幀採集。在圖像雜訊和運動模糊之間存在權衡。當圖像感測器102配置為使用較短的曝光時間時,採集的幀具有較高的圖像雜訊級別但較低的運動模糊級別。因此,運動模糊問題可以藉由減少曝光時間來解決。對減少曝光時間導致的圖像雜訊問題,雜訊抑制可以利用圖像感測器102在較高的幀率下獲得的額外幀來進行。例如,當在估計的運動量下涉及運動模糊(即運動模糊條件被滿足)時,雜訊抑制電路126可以將具有幀率轉換的雜訊降低(例如TNR)應用於較高幀率(例如90 FPS) 以具有固定值(例如30 FPS)的輸出幀率生成輸出幀。所提出的視訊採集裝置106的進一步細節參考附圖描述如下。
將第2圖和第3圖與第1圖結合,第2圖示出根據本發明實施例的視訊採集方法的流程圖。第3圖示出使用第2圖中所示的所提出的視訊採集方法的視訊記錄示例的圖。第2圖所示的視訊採集裝置106可以採用第1圖所示的視訊採集裝置106。如果結果基本相同,則這些步驟不需要按照第2圖所示的確切循序執行。
在步驟202,自動曝光電路112根據環境亮度確定圖像感測器102的曝光設置。例如,自動曝光功能可以控制圖像感測器102使用長曝光時間來採集昏暗的場景(即環境亮度低的場景),以及可以控制圖像感測器102使用短曝光時間來採集暗淡的場景(即環境亮度高的場景)。
在步驟204,運動分析電路114使用運動感測器104和/或圖像內容來獲得用於在雜訊抑制電路126處執行的TNR的運動資訊INF_M。此外,運動分析電路114可以參考獲得的運動資訊INF_M以估計運動量(例如相機運動和/或物體運動)的。
在步驟206,圖像感測器102被指示在第一幀率和第一曝光時間下採集感測器輸出幀F1。例如,第一曝光時間由自動曝光電路112在步驟202設置,幀率控制電路122根據特定應用所需的輸出幀率(例如30FPS)設置第一幀率。
在步驟208,運動分析電路114檢查運動模糊條件是否被滿足。若運動分析電路114判斷運動模糊條件不被滿足,則流程繼續進行步驟210。在步驟210中,圖像感測器102以第一幀率和第一曝光時間持續採集感測器輸出幀F1。在步驟212,圖像訊號處理器124處理感測器輸出幀F1以生成處理幀F2。舉例來說,但不限於,圖像訊號處理器124輸出的處理幀F2的數量等於圖像訊號處理器124接收到的感測器輸出幀F1。也就是說,圖像訊號處理124沒有發生幀率變化。在步驟214,雜訊抑制電路126在不具有幀率轉換的情況下將雜訊降低應用於處理幀F2,用以以恒定幀率(例如30FPS)生成輸出幀F3。
參照第3圖,幀率控制電路122初始控制圖像感測器102在一個時間段P1内以第一幀率採集感測器輸出幀F1_0-F1_3,其中感測器輸出幀F1_0-F1_3中的每一幀在由自動曝光電路112決定的第一曝光時間T1下採集。因此,圖像訊號處理器124處理感測器輸出幀F1_0-F1_3以分別產生處理幀F2_0-F2_3。具體地,處理幀F2_0由對感測器輸出幀F1_0進行圖像訊號處理操作得到,處理幀F2_1是由對感測器輸出幀F1_1進行圖像訊號處理操作得到,處理幀F2_2由對感測器輸出幀F1_2進行圖像訊號處理得到,以及處理幀F2_3由對感測器輸出幀F1_3進行圖像訊號處理操作得到。圖像訊號處理操作中包含的功能取決於實際設計考慮。由於本發明不著眼於圖像訊號處理器的設計,為簡潔起見,在此不再贅述。雜訊抑制電路126對處理幀F2_0-F2_3應用不具有幀率轉換的雜訊降低,用於以恒定幀率(例如30FPS)生成輸出幀F3_0-F3_3。圖像感測器102所採用的第一幀率可由輸出幀F3的恒定幀率設定。
如果運動分析電路114確定由於大運動而運動模糊條件被滿足(步驟208),則流程進行到步驟216。在步驟216,圖像感測器102被指示在第二幀率與第二曝光時間下採集感測器輸出幀Fl,其中第二幀率(例如90FPS)高於第一幀率(例如30FPS),且第二曝光時間短於第一曝光時間。在步驟218,圖像訊號處理器124處理感測器輸出幀F1以生成處理幀F2。舉例來說,但不限於,圖像訊號處理器124輸出的處理幀F2的數量等於圖像訊號處理器124接收到的感測器輸出幀F1。也就是說,圖像訊號處理124沒有發生幀率變化。在步驟220,雜訊抑制電路126將具有幀率轉換的雜訊降低應用於處理幀F2,用於以產生恒定幀率(例如30FPS)生成輸出幀F3。
如第3圖所示,當圖像感測器102採集感測器輸出幀F1_2且圖像感測器102開始採集感測器輸出幀F1_3時,運動分析電路114檢測到運動模糊條件被滿足。響應於運動模糊條件被滿足,幀率控制電路122控制圖像感測器102在緊接時間段P1之後的下一時間段P2内以第二幀率採集感測器輸出幀F1_4-F1_15,其中感測器輸出幀F1_4-F1_15中的每個在第二曝光時間T2下採集,該第二曝光時間T2由自動曝光電路112設定以減少運動模糊。在本實施例中,第一曝光時間T1被平均劃分為三個第二曝光時間T2,以及在等於第一曝光時間T1的時間段內採集連續感測器輸出幀,每個幀都具有第二曝光時間T2中的一個。因此,當曝光時間被減少以減少運動模糊時,圖像感測器的能力得到充分利用。具體而言,在等於第一曝光時間T1的一個時間段內連續感測器輸出幀F1_4-F1_6被採集,在等於第一曝光時間T1的一個時間段內連續感測器輸出幀F1_7-F1_9被採集,在等於第一曝光時間T1的一個時間段內連續感測器輸出幀F1_10-F1_12被採集,以及在等於第一曝光時間T1的一個時間段內連續感測器輸出幀F1_13-F1_15被採集。
圖像訊號處理器124處理感測器輸出幀F1_4-F1_15以分別產生處理幀F2_4-F2_15。具體而言,處理幀F2_4藉由對感測器輸出幀F1_4進行圖像訊號處理操作來導出,處理幀F2_5藉由對感測器輸出幀F1_5進行圖像訊號處理操作來導出,以此類推。雜訊抑制電路126對處理幀F2_4-F2_15應用具有幀率轉換的雜訊降低,用於以恒定幀率(例如30FPS)生成輸出幀F3_4-F3_7。
應當注意,雜訊抑制電路126可以採用能夠藉由幀率轉換實現雜訊降低的任一裝置。第4圖示出根據本發明實施例的第一雜訊抑制電路的圖。第1圖所示的雜訊抑制電路126可以由雜訊抑制電路400實現。參照第4圖,雜訊抑制電路400包括無限脈衝響應(infinite impulse response,簡稱IIR)型TNR濾波器(標記為“IIR TNR”)402。IIR型TNR濾波器402被佈置為在正常模式下以1:1比率(1幀輸入,1幀輸出)工作,以及被安排以更高的幀率工作,以使用收集的幀資料來抑制雜訊。一旦雜訊被接收到的額外幀抑制,它可以按N:1比率對每幀進行下採樣,其中N是幀率控制中增加的幀率比。
第5圖示出根據本發明實施例的第二雜訊抑制電路的圖。第1圖所示的雜訊抑制電路126可以由雜訊抑制電路500實現。參照第5圖,雜訊抑制電路500包括有限脈衝響應(finite impulse response,簡稱FIR)濾波器(標記為“FIR”)502和無限脈衝回應(infinite impulse response,簡稱IIR)型TNR濾波器(標記為“IIR TNR”)504。FIR濾波器502可以是N抽頭FIR濾波器,以及IIR型TNR濾波器504可以是1:1 IIR型TNR濾波器,其中N是來自幀率控制的增加的幀率比。因此,N-至-1雜訊抑制和幀率轉換在FIR濾波器502處執行,然後FIR濾波器502的輸出由IIR型TNR濾波器504進一步處理而無需幀率轉換。
在影像感測器102被指示在高於第一幀率的第二幀率下運作後,運動分析電路114會持續監測運動模糊狀況(步驟208)以決定是否指示圖像感測器102退出高感測器幀率模式以及進入正常感測器幀率模式。如果運動分析電路114確定由於穩態視訊採集而運動模糊條件不被滿足,則流程進行到步驟210以改變幀率以及曝光時間。在步驟210,圖像感測器102被指示在第一幀率和第一曝光時間下採集感測器輸出幀F1。在步驟212,圖像訊號處理器124處理感測器輸出幀F1以生成處理幀F2。在步驟214,雜訊抑制電路126將不具有幀率轉換的雜訊降低應用於處理幀F2,用於以恒定幀率(例如30FPS)生成輸出幀F3。
如第3圖,當感測器輸出幀F1_12已由圖像感測器102採集且圖像感測器102開始採集感測器輸出幀F1_13時,運動分析電路114檢測到運動模糊條件不被滿足。響應於運動模糊條件不被滿足,幀率控制電路122控制圖像感測器102在緊接時間段P2之後的下一個時間段P3内以第一幀率採集感測器輸出幀F1_16和F1_17,其中感測器輸出幀F1_16和F1_17的每個在由自動曝光電路112決定的第一曝光時間T1下採集。圖像訊號處理器124分別處理感測器輸出幀F1_16和F1_17以產生處理幀F2_16和F2_17。具體地,處理幀F2_16藉由對感測器輸出幀F1_16進行圖像訊號處理操作導出,以及處理幀F2_17藉由對感測器輸出幀F1_17進行圖像訊號處理操作導出。雜訊抑制電路126對處理幀F2_16和F2_17應用不具有幀率轉換的雜訊降低,用於以恒定幀率(例如30FPS)生成輸出幀F3_8和F3_9。需要說明的是,第3圖所示的輸出幀F3_0-F3_9的幀率是固定的,與圖像感測器102的幀率無關。
總之,視訊採集裝置106和相關聯的視訊採集方法可以藉由聯合使用動態感測器幀率控制方案和雜訊降低方案來打破圖像雜訊和運動模糊之間的權衡。此外,視訊採集裝置106及相關的視訊採集方法採用運動模糊檢測方案,使得圖像感測器102和圖像訊號處理器124僅在運動模糊條件被滿足時才處理高幀率資料。這樣,可以在不顯著增加功耗的情況下提高圖像品質。當在估計的運動量下不涉及運動模糊時(即運動模糊條件不被滿足),圖像感測器102在長曝光時間下生成感測器輸出幀。這樣,在估計的運動量不超過預定閾值的情況下,具有低運動模糊的低雜訊輸出幀被提供。當在估計的運動量下涉及運動模糊(即運動模糊條件被滿足)時,圖像感測器102在短曝光時間下生成感測器輸出幀,從而實現運動模糊減少。由於增加的幀率而獲得的額外幀可以被雜訊抑制電路126用於雜訊抑制。這樣,在估計的運動量超過預定閾值的情況下,具有低運動模糊的低雜訊幀被提供。此外,為了穩定記錄的視訊流的幀率,雜訊抑制電路126採用具有幀率轉換的雜訊降低方案。
本領域技術人員將容易地觀察到在保留本發明的教導的同時可以對裝置和方法進行多種修改和改變。因此,上述公開應被解釋為僅受所附申請專利範圍的邊界和界限的限制。
100:相機系統 102:圖像感測器 104:運動感測器 106:視訊採集裝置 112:自動曝光電路 114:運動分析電路 116:處理電路 122:幀率控制電路 124:圖像訊號處理器 126:雜訊抑制電路 128:顯示編碼器 202, 204, 206, 208, 210, 212, 214, 216, 218, 220:步驟 400:雜訊抑制電路 402:IIR型TNR濾波器 500:雜訊抑制電路 502:FIR濾波器 504:IIR型TNR濾波器
第1圖示出根據本發明實施例的相機系統。 第2圖示出根據本發明實施例的視訊採集方法的流程圖。 第3圖示出使用第2圖中所示的所提出的視訊採集方法的視訊記錄示例的圖。 第4圖示出根據本發明實施例的第一雜訊抑制電路的圖。 第5圖示出根據本發明實施例的第二雜訊抑制電路的圖。
202,204,206,208,210,212,214,216,218,220:步驟

Claims (20)

  1. 一種視訊採集方法,包括: 控制一圖像感測器在一第一時間段内以一第一幀率採集多個第一感測器輸出幀; 在該第一時間段内,檢查一運動模糊條件是否被滿足; 響應於在該第一時間段内該運動模糊條件被滿足,控制該圖像感測器在該第一時間段之後的一第二時間段内以一第二幀率採集多個第二感測器輸出幀,其中該第二幀率高於該第一幀率;以及 處理該圖像感測器於該第一時間段内及該第二時間段内所採集的多個連續感測器輸出幀,以產生多個輸出幀。
  2. 如請求項1所述之視訊採集方法,其中,該等第一感測器輸出幀中的每一個在一第一曝光時間下採集,以及該等第二感測器輸出幀中的每一個一第二曝光時間下採集,其中該第二曝光時間比該第一曝光時間短。
  3. 如請求項2所述之視訊採集方法,其中,該第一曝光時間被劃分為多個第二曝光時間;以及在等於該第一曝光時間的一時間段內多個連續第二感測器輸出幀被採集,該等連續第二感測器輸出幀中的每一個具有該等第二曝光時間中的一個。
  4. 如請求項1所述之視訊採集方法,進一步包括: 在該第二時間段内,檢查該運動模糊條件是否不被滿足;以及 回應於在該第二時間段內該運動模糊條件不被滿足,控制該圖像感測器在該第二時間段之後的一第三時間段內以該第一幀率採集多個第三感測器輸出幀。
  5. 如請求項1所述之視訊採集方法,其中,在該第一時間段内和該第二時間段內,該等輸出幀以等於該第一幀率的一恒定幀率被生成。
  6. 如請求項5所述之視訊採集方法,其中,該等連續感測器輸出幀包括該等第一感測器輸出幀和該等第二感測器輸出幀,處理在該第一時間段内和該第二時間段内採集的該等連續感測器輸出幀,以生成該等輸出幀包括: 以該第二幀率對該等第二感測器輸出幀進行圖像訊號處理操作,以生成多個處理幀;以及 對該等處理幀進行具有幀率轉換操作的一雜訊抑制,用於以該第一幀率生成該等輸出幀的一部分。
  7. 如請求項6所述之視訊採集方法,其中,具有幀率轉換操作的該雜訊抑制包括無限脈衝回應型時間雜訊降低。
  8. 如請求項6所述之視訊採集方法,其中,具有幀率轉換操作的該雜訊抑制包括有限脈衝回應濾波,然後是無限脈衝回應型時間雜訊降低。
  9. 如請求項1所述之視訊採集方法,其中,檢查該運動模糊條件是否被滿足包括: 從圖像內容分析中獲取運動資訊; 獲取自動曝光統計資料;以及 藉由參考該運動資訊和該自動曝光統計資訊檢查該運動模糊條件是否被滿足。
  10. 如請求項1所述之視訊採集方法,其中,檢查該運動模糊條件是否被滿足包括: 從一運動感測器獲取運動資訊; 獲取自動曝光統計資料;以及 藉由參考該運動資訊和該自動曝光統計資訊檢查該運動模糊條件是否被滿足。
  11. 一種視訊採集裝置,包括: 一幀率控制電路,用於控制一圖像感測器在一第一時間段內以一第一幀率採集多個第一感測器輸出幀; 一運動分析電路,其中在該第一時間段內,該運動分析電路用於檢查該運動模糊條件是否被滿足;當該運動分析電路確定在該第一時間段內該運動模糊條件被滿足時,該幀率控制電路還用於控制該圖像感測器在該第一時間段之後的一第二時間段內以一第二幀率採集多個第二感測器輸出幀,其中該第二幀率高於該第一幀率;以及 一處理電路,用以處理該感測器於該第一時間段内及該第二時間段内所採集的多個連續感測器輸出幀,以生成多個輸出幀。
  12. 如請求項11所述之視訊採集裝置,其中,該等第一感測器輸出幀中的每一個在一第一曝光時間下採集,以及該等第二感測器輸出幀中的每一個在一第二曝光時間下採集,其中該第二曝光時間比第一曝光時間短。
  13. 如請求項12所述之視訊採集裝置,其中,該第一曝光時間被劃分為多個第二曝光時間;以及在等於該第一曝光時間的一時間段內多個連續第二感測器輸出幀被採集,該等連續第二感測器輸出幀中的每一個具有該等第二曝光時間中的一個。
  14. 如請求項11所述之視訊採集裝置,其中,在該第二時間段内,檢查該運動模糊條件是否不被滿足;以及當該運動分析電路確定在該第二時間段內該運動模糊條件不被滿足,該幀率控制電路進一步用於控制該圖像感測器在該第二時間段之後的一第三時間段內以該第一幀率採集多個第三感測器輸出幀。
  15. 如請求項11所述之視訊採集裝置,其中,在該第一時間段内和該第二時間段內,該等輸出幀以等於該第一幀率的一恒定幀率被生成。
  16. 如請求項15所述之視訊採集裝置,其中,該等連續感測器輸出幀包括該等第一感測器輸出幀和該等第二感測器輸出幀,以及該處理電路包括: 一圖像訊號處理器,用於以該第二幀率處理該等第二感測器輸出幀,以生成多個處理幀;以及 一雜訊抑制電路,用於對該等處理幀進行具有幀率轉換操作的一雜訊抑制,用於以該第一幀率生成該等輸出幀的一部分。
  17. 如請求項16所述之視訊採集裝置,其中,該雜訊抑制電路包括一無限脈衝回應型時間雜訊降低濾波器。
  18. 如請求項16所述之視訊採集裝置,其中,該雜訊抑制電路包括: 一有限脈衝回應濾波器;以及 一無限脈衝回應型時間雜訊降低濾波器,用於處理該有限脈衝回應濾波器的一輸出。
  19. 如請求項11所述之視訊採集裝置,其中,該運動分析電路用於: 從圖像內容分析中獲取運動資訊; 獲取自動曝光統計資料;以及 藉由參考該運動資訊和該自動曝光統計資訊檢查該運動模糊條件是否被滿足。
  20. 如請求項11所述之視訊採集裝置,其中,該運動分析電路用於: 從一運動感測器獲取運動資訊; 獲取自動曝光統計資料;以及 藉由參考運動資訊和該自動曝光統計資訊檢查該運動模糊條件是否被滿足。
TW111100101A 2021-06-16 2022-01-03 視訊採集方法和裝置 TWI789196B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163211031P 2021-06-16 2021-06-16
US63/211,031 2021-06-16
US17/491,548 US11812165B2 (en) 2021-06-16 2021-10-01 Method and apparatus for dynamically changing frame rate of sensor output frames according to whether motion blur condition is met
US17/491,548 2021-10-01

Publications (2)

Publication Number Publication Date
TW202301855A true TW202301855A (zh) 2023-01-01
TWI789196B TWI789196B (zh) 2023-01-01

Family

ID=84489708

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111100101A TWI789196B (zh) 2021-06-16 2022-01-03 視訊採集方法和裝置

Country Status (3)

Country Link
US (1) US11812165B2 (zh)
CN (1) CN115604588A (zh)
TW (1) TWI789196B (zh)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891570B2 (en) * 2001-01-31 2005-05-10 Itt Manufacturing Enterprises Inc. Method and adaptively deriving exposure time and frame rate from image motion
JP5046017B2 (ja) * 2007-10-04 2012-10-10 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2010070809A1 (ja) * 2008-12-16 2010-06-24 パナソニック株式会社 撮像装置
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US9542585B2 (en) * 2013-06-06 2017-01-10 Apple Inc. Efficient machine-readable object detection and tracking
CN105917652B (zh) * 2014-02-13 2018-03-30 英特尔公司 用于针对媒体编码进行分数像素内插滤波的方法和装置
US9438868B2 (en) * 2014-02-13 2016-09-06 Semiconductor Components Industries, Llc Adaptive image sensor systems and methods
US9204048B2 (en) * 2014-03-27 2015-12-01 Facebook, Inc. Stabilization of low-light video
JP7406875B2 (ja) * 2018-09-28 2023-12-28 キヤノン株式会社 情報処理装置およびプログラム
JP7232046B2 (ja) * 2018-12-28 2023-03-02 キヤノン株式会社 報知装置、撮像装置、報知方法、撮像方法、プログラム、及び記憶媒体
HRP20230760T1 (hr) * 2019-03-11 2023-11-10 Dolby Laboratories Licensing Corporation Signalizacija informacija koje se odnose na kut blende
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
CN112532883B (zh) 2020-11-27 2022-03-29 维沃移动通信有限公司 拍摄防抖方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
US11812165B2 (en) 2023-11-07
TWI789196B (zh) 2023-01-01
CN115604588A (zh) 2023-01-13
US20220408017A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
US7760244B2 (en) Image generating apparatus and image generating method
EP2129105B1 (en) Image reproducing apparatus, image reproducing method, imaging apparatus and method for controlling the imaging apparatus
US8564679B2 (en) Image processing apparatus, image processing method and program
US7719572B2 (en) Image pickup apparatus, image processing method, and program
US10082723B2 (en) Image capturing apparatus for generating a high dynamic range video frame from multiple image frames with different characteristics
US20110085784A1 (en) Imaging device with image blurring reduction function
JP5525592B2 (ja) 映像信号処理装置
KR20070027605A (ko) 화상 압축 처리 장치, 화상 압축 처리 방법 및 화상 압축처리 프로그램
JP5417746B2 (ja) 動き適応型ノイズ低減装置、画像信号処理装置、画像入力処理装置、および、動き適応ノイズ低減方法
US9832382B2 (en) Imaging apparatus and imaging method for outputting image based on motion
US9131158B2 (en) Moving-image capturing apparatus and electronic zoom method for moving image
CN110278375B (zh) 图像处理方法、装置、存储介质及电子设备
KR101721226B1 (ko) 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
US20190306462A1 (en) Image processing apparatus, videoconference system, image processing method, and recording medium
JP4761048B2 (ja) 撮像装置及びそのプログラム
JP6118118B2 (ja) 撮像装置およびその制御方法
TWI789196B (zh) 視訊採集方法和裝置
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
JP2000023024A (ja) 画像入力装置
JP2019080261A (ja) 撮像装置
JP5211947B2 (ja) 撮像装置及びプログラム
JP3614712B2 (ja) ビデオカメラ
JP2005184339A (ja) 撮像装置
JP4407475B2 (ja) カメラ画像処理装置
JP2009094784A (ja) ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器