TWI692965B - 影像處理方法、電子裝置及非暫態電腦可讀取記錄媒體 - Google Patents

影像處理方法、電子裝置及非暫態電腦可讀取記錄媒體 Download PDF

Info

Publication number
TWI692965B
TWI692965B TW107119038A TW107119038A TWI692965B TW I692965 B TWI692965 B TW I692965B TW 107119038 A TW107119038 A TW 107119038A TW 107119038 A TW107119038 A TW 107119038A TW I692965 B TWI692965 B TW I692965B
Authority
TW
Taiwan
Prior art keywords
image
time
photographing device
parameter
processing circuit
Prior art date
Application number
TW107119038A
Other languages
English (en)
Other versions
TW201904260A (zh
Inventor
俞文翔
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201904260A publication Critical patent/TW201904260A/zh
Application granted granted Critical
Publication of TWI692965B publication Critical patent/TWI692965B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

一種影像處理方法包含：由攝影裝置，於第一時刻捕捉第一影像；由電性連接於攝影裝置的致動器，移動攝影裝置的鏡頭；由攝影裝置，於第一時刻後的第二時刻捕捉第二影像；由處理電路對第一影像與第二影像執行影像合成以去除固定圖像雜訊；以及基於攝影裝置的鏡頭於第一時刻與第二時刻之間的移動量產生輸出影像。

Description

影像處理方法、電子裝置及非暫態電 腦可讀取記錄媒體
本揭示內容係關於一種電子裝置及一種影像處理方法，且特別係關於影像合成的電子裝置及影像處理方法。
近來，影像合成方法被廣泛使用在各種應用當中以改善相機拍攝所得影像的品質。舉例來說，高動態範圍成像(High Dynamic Range Imaging，HDRI/HDR)可被應用以取得影像中的更多細節。
本揭示內容的一態樣為一種影像處理方法。影像處理方法包含：由攝影裝置，於第一時刻捕捉第一影像；由電性連接於攝影裝置的致動器，移動攝影裝置的鏡頭；由攝影裝置，於第一時刻後的第二時刻捕捉第二影像；由處理電路對第一影像與第二影像執行影像合成以去除固定圖像雜訊；以及基於攝影裝置的鏡頭於第一時刻與第二時刻之間的移動量產生 輸出影像。
在部分實施例中，影像處理方法更包含：由處理電路於第一時刻記錄第一環境參數；由處理電路於第二時刻記錄第二環境參數；以及由處理電路基於移動量、第一環境參數與第二環境參數對第一影像與第二影像執行影像合成。
在部分實施例中，影像處理方法更包含：由電性連接於攝影裝置的致動器，於第一時刻啟動光學防手震；以及由電性連接於攝影裝置的致動器，於第二時刻啟動光學防手震。
在部分實施例中，攝影裝置的鏡頭於第一時刻與第二時刻之間的移動量小於或等於第一影像與第二影像的畫素。
在部分實施例中，影像處理方法更包含：由處理電路，計算第一影像與第二影像之加權平均；以及由處理電路，基於第一影像的第一色階分布與第二影像的第二色階分布重新分配輸出影像的色階分布。
在部分實施例中第一影像和第二影像係以不同曝光時間長度捕捉。
在部分實施例中，影像處理方法更包含：由處理電路根據第一影像與第二影像執行內插以取得輸出影像，其中輸出影像的解析度大於第一影像以及第二影像的解析度。
在部分實施例中，固定圖像雜訊包含暗信號非均勻性雜訊、光子響應非均勻性雜訊或其結合。
本揭示內容的另一態樣為一種電子裝置。電子裝 置包含處理電路、電性連接於處理電路的攝影裝置、電性連接於攝影裝置的致動器、電性連接處理電路的記憶體，以及一或多程式。一或多程式儲存於記憶體中，並用以被處理電路所執行。一或多程式包括以下指令：控制攝影裝置，於第一時刻捕捉第一影像；控制致動器，移動攝影裝置的鏡頭；控制攝影裝置，於第一時刻後的第二時刻捕捉第二影像；對第一影像與第二影像執行影像合成以去除固定圖像雜訊；以及基於攝影裝置的鏡頭於第一時刻與第二時刻之間的移動量產生輸出影像。
本揭示內容的另一態樣為一種非暫態電腦可讀取記錄媒體，用以儲存包含複數指令的一或多個電腦程式，當執行指令時，將致使處理電路執行複數操作包含：控制攝影裝置，於第一時刻捕捉第一影像；控制電性連接於攝影裝置的致動器，移動攝影裝置的鏡頭；控制攝影裝置，於第一時刻後的第二時刻捕捉第二影像；對第一影像與第二影像執行影像合成以去除固定圖像雜訊；以及基於攝影裝置的鏡頭於第一時刻與第二時刻之間的移動量產生輸出影像。
綜上所述，透過上述各個實施例的操作，一種影像處理方法係實現以降低所捕捉的影像中的空間雜訊、時間雜訊、及/或固定圖像雜訊。在部分實施例中，影像處理方法可更實現以增加所捕捉的影像中的動態範圍，或增加影像的解析度。光學防手震功能於操作過程中可啟動以減少影像模糊。
100‧‧‧電子裝置
110‧‧‧處理電路
120‧‧‧記憶體
130‧‧‧攝影裝置
132‧‧‧鏡頭
140‧‧‧位置感測器
150‧‧‧慣性測量單元感測器
160‧‧‧致動器
900‧‧‧影像處理方法
PR1‧‧‧軟體程式
S1~S4‧‧‧操作
IMG1、IMG2、IMG3‧‧‧影像
P1(1,1)~P1(2,2)、P2(1,1)~P2(2,2)、P3(1,1)~P3(2,2)‧‧‧畫素
FP1‧‧‧特徵點
L1、L2、L3‧‧‧曲線
P1、P2、P3‧‧‧點
第1圖為根據本揭示內容部分實施例所繪示的電子裝置的方塊示意圖。
第2圖為根據本揭示內容部分實施例所繪示的影像處理方法的流程圖。
第3A圖為根據本揭示內容部分實施例所繪示的影像處理方法的操作示意圖。
第3B圖為根據本揭示內容部分實施例所繪示的第一影像、第二影像、輸出影像的色階分布的示意圖。
第4圖為根據本揭示內容其他部分實施例所繪示的影像處理方法的操作示意圖。
以下將以圖式及詳細敘述清楚說明本揭示內容之精神，任何所屬技術領域中具有通常知識者在瞭解本揭示內容之實施例後，當可由本揭示內容所教示之技術，加以改變及修飾，其並不脫離本揭示內容之精神與範圍。下述說明中相同元件將以相同之符號標示來進行說明以便於理解。
請參考第1圖。第1圖為根據本揭示內容部分實施例所繪示的電子裝置100的方塊示意圖。電子裝置100可用以依序捕捉複數個影像，並基於捕捉的影像產生一輸出影像以降低空間雜訊(spatial noise)、時間雜訊(temporal noise)及/或固定圖像雜訊(fixed pattern noise，FPN)。詳細來說，複數個類比數位轉換器(Analog-to-Digital converter，ADC)之訊號放大器分別被設置於CMOS影像感測陣列之多個畫素 上。由於元件差異，各個垂直放大器的放大係數，或稱放大增益並不完全一致，並導致影像感測器中的固定圖像雜訊。各種影像處理可根據依序捕捉的複數個影像進行處理。在部分實施例中，輸出影像的動態範圍可藉此相應增加。
舉例來說，在部分實施例中，電子裝置100可為一智慧型手機、平板電腦、一筆記型電腦或其他具有內建數位攝影裝置的電子裝置。在其他部分實施例中，電子裝置100可應用於一虛擬實境(Virtual Reality，VR)/混合實境(Mixed Reality，MR)/擴增實境(Augmented Reality，AR)系統當中。舉例來說，電子裝置100可由獨立頭戴式顯示器(Head Mounted Device，HMD)或是VIVE頭戴式顯示器實現。具體來說，獨立頭戴式顯示器可處理包含方位、旋轉之位置資料處理、圖像處理或其他資料運算等。
如第1圖所示，電子裝置100包含處理電路110、記憶體120、攝影裝置(Camera)130、位置感測器140、慣性測量單元(Inertial Measurement Unit，IMU)感測器150，以及致動器160。一或多個軟體程式PR1儲存於記憶體120中並用以被處理電路110執行，以執行各種影像處理。
在結構上，記憶體120、攝影裝置130、位置感測器140、慣性測量單元感測器150以及致動器160分別電性連接於處理電路110。
具體來說，致動器160連接於攝影裝置130的鏡頭132，以根據自處理電路110接收的控制訊號移動鏡頭132。藉此，鏡頭132相對於攝影裝置130的相對位置便可在操作的過 程中改變。鏡頭132的位置的變化可由位置感測器140相應偵測。在部分實施例中，位置感測器140可由一或多個霍爾元件(Hall Element)實作。藉由控制致動器160調整鏡頭132的位置，攝影裝置130所捕捉的影像便可在例如手震、頭部晃動、交通工具振動中等各種運動狀態下維持穩定。如此一來，便可透過處理電路110、慣性測量單元感測器150以及致動器160的協作達成光學防手震(Optical Image stabilization，OIS)。
在部分實施例中，處理電路110例如可用一或多處理器，例如中央處理器(central processor)及/或微處理器(microprocessor)等處理器實現，但不以此為限。在部分實施例中，記憶體120可包括一或多個記憶體裝置，其中每一記憶體裝置或多個記憶體裝置之集合包括電腦可讀取記錄媒體。電腦可讀取記錄媒體可包括唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫、或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。
為了更佳地理解本揭示內容，電子裝置100的詳細操作將搭配第2圖中所示實施例進行說明。第2圖為根據本揭示內容部分實施例所繪示的影像處理方法900的流程圖。值得注意的是，影像處理方法900可應用於相同或相似於第1圖中所示結構之電子裝置100。為使敘述簡單，以下將根據本揭示內容部分實施例，以第1圖中的實施例為例進行對影像處理方法900的說明，然而本揭示內容不以第1圖中的實施例之應用為限。
如第2圖所示，影像處理方法900包含操作S1、S2、S3以及操作S4。在操作S1中，處理電路110用以控制攝影裝置130於第一時刻捕捉第一影像。在部分實施例中，於操作S1中，處理電路110亦可用以控制位置感測器140取得代表鏡頭132於第一時刻之位置的第一鏡頭位置。
具體來說，在部分實施例中，處理電路110可用以於第一時刻記錄第一環境參數，以代表第一影像的環境狀態。舉例來說，第一環境參數可包含第一影像中的亮度參數、焦點位置參數、白平衡參數、色階分布(histogram)、曝光時間長度參數或其任意組合。
在操作S2中，處理電路110用以控制致動器160移動攝影裝置130的鏡頭132。具體來說，處理電路110可輸出相應訊號至致動器160的驅動電路，使得驅動電路驅動致動器160沿水平方向及/或垂直方向移動。即，移動量與移動方向兩者皆可由處理電路110控制並決定。在部分實施例中，驅動電路可由光學防手震控制器實現，鏡頭132的位置可由位置感測器140讀回以確保位置的準確度。
在操作S3中，處理電路110用以控制攝影裝置130於第一時刻後的第二時刻捕捉第二影像。相似地，在部分實施例中，於操作S3中，處理電路110亦可用以控制位置感測器140取得代表鏡頭132於第二時刻之位置的第二鏡頭位置。在部分實施例中，處理電路110可用以於第二時刻記錄第二環境參數，以代表第二影像的環境狀態。與第一環境參數相似，第二環境參數亦可包含第二影像中的亮度參數、焦點位置參數、白 平衡參數、色階分布、曝光時間長度參數或其任意組合。在部分實施例中，第一影像和第二影像係以不同曝光時間長度捕捉。換言之，兩個影像中的曝光值可相異。
具體來說，攝影裝置130的鏡頭132於第一時刻與第二時刻之間的移動量可小於、等於或大於第一影像與第二影像的畫素。舉例來說，攝影裝置130的鏡頭132於第一時刻與第二時刻之間的移動量可為0.5畫素、1畫素或3畫素。值得注意的是，上述移動量僅為示例，並非用以限制本揭示內容。
此外，在部分實施例中，於第一時刻與第二時刻之間，處理電路110可用以控制慣性測量單元感測器150以取得慣性測量單元訊號。慣性測量單元訊號代表電子裝置100於第一時刻與第二時刻之間的運動。換言之，當攝影裝置130於動態中捕捉第一影像與第二影像時，處理電路110仍可進行計算並控制致動器160的移動方向和移動量以取得具有所需相異視角的兩張影像。
接著，在操作S4中，處理電路110用以對第一影像與第二影像執行影像合成，以基於攝影裝置130的鏡頭132於第一時刻與第二時刻之間的移動量產生輸出影像。具體來說，在操作S4中，處理電路110用以對第一影像與第二影像執行影像合成以去除固定圖像雜訊。接著，在影像合成後，處理電路110用以基於攝影裝置130的鏡頭132於第一時刻與第二時刻之間的移動量產生輸出影像。
具體來說，在部分實施例中，可基於移動量、第一環境參數與第二環境參數對第一影像與第二影像執行影像 合成。在其他部分實施例中，由位置感測器140或慣性測量單元感測器150取得的動態感測器輸出、垂直同步(Vertical Sync，Vsync)輸出亦可於進行影像合成時納入考慮。在其他部分實施例中，各種攝影模式可由使用者介由使用者介面進行設定及選擇，在不同攝影模式中，可相應採用不同的移動量或移動設定。舉例來說，當使用者於放大(Zoom-In)模式下拍攝照片時，可啟動進行影像合成以降低雜訊。
請參考第3A圖。第3A圖為根據本揭示內容部分實施例所繪示的影像處理方法900的操作示意圖。如第3A圖所示，攝影裝置130於第一時刻捕捉第一影像IMG1，並於第二時刻捕捉第二影像IMG2。處理電路110用以合成第一影像IMG1與第二影像IMG2以產生並輸出一輸出影像IMG3。
攝影裝置130的鏡頭132於第一時刻與第二時刻之間的移動量在垂直方向上與水平方向上皆相當於第一影像與第二影像上的1畫素。換言之，對應於第一影像IMG1中的第一畫素P1(2,2)的特徵點FP1，對應於第二影像IMG2中的第二畫素P2(1,1)。
處理電路110可用以合成對應到同一個特徵點FP1之第一影像IMG1和第二影像IMG2中的畫素P1(2,2)與畫素P2(1,1)。上述操作亦可實施於影像中的其他畫素，故其細節不再於此贅述。藉此，透過合成兩張不同影像當中的畫素，由於兩張影像係於不同時間以不同視角拍攝，因此空間雜訊與時間雜訊便可被消除。
在部分實施例中，第一影像IMG1係以較長的曝 光時間捕捉，因此具有較亮的曝光值。另一方面，第二影像IMG2係以較短的曝光時間捕捉，因此具有較暗的曝光值。如此一來，透過計算加權平均，並重新分布第一影像IMG1與第二影像IMG2的色階分布，便可相較於第一影像IMG1與第二影像IMG2增加輸出影像IMG3的動態範圍。
請一併參考第3B圖。第3B圖為根據本揭示內容部分實施例所繪示的第一影像IMG1、第二影像IMG2、輸出影像IMG3的色階分布的示意圖。在第3B圖中，曲線L1代表第一影像IMG1的色調分布，曲線L2代表第二影像IMG2的色調分布，曲線L3代表輸出影像IMG1的色調分布。橫軸為畫素的色調，縱軸為該色調出現的百分比。
如第3B圖中所繪，透過移動影像，取得加權平均，並重新分布色階分布，輸出影像IMG3的動態範圍可增加。舉例來說，點P1為具有較高曝光值之第一影像IMG1中特徵點FP1的色調值，點P2為具有較低曝光值之第二影像IMG2中特徵點FP1的色調值，點P3為經過影像合成並對色階分布進行壓縮與位移後的輸出影像IMG3中特徵點FP1的色調值。
具體來說，在部分實施例中，在操作S4中，處理電路110用以計算第一影像IMG1與第二影像IMG2之加權平均，並基於第一影像IMG1的第一色階分布與第二影像IMG2的第二色階分布重新分配輸出影像IMG3的色階分布。在部分其他實施例中，處理電路110亦可用以執行各種計算以由單一攝影裝置130達成並實現高動態範圍成像(High Dynamic Range Imaging，HDRI/HDR)。
請參考第4圖。第4圖為根據本揭示內容其他部分實施例所繪示的影像處理方法900的操作示意圖。如第4圖所示，與第3A圖中實施例相似，攝影裝置130於第一時刻補捉第一影像IMG1，並於第二時刻補捉第二影像IMG2。處理電路110用以合成第一影像IMG1以及第二影像IMG2以產生並輸出其輸出影像IMG3。
與第3A圖所示實施例相比，在第4圖的實施例中，攝影裝置130的鏡頭132於第一時刻與第二時刻之間的移動量在垂直方向上與水平方向上皆相當於第一影像與第二影像上的0.5畫素。換言之，對應於第一影像IMG1中的畫素P1(1,1)與對應於第二影像IMG2中的畫素P2(1,1)之間具有依個重疊區域R1。
處理電路110可用以根據第一影像IMG1與第二影像IMG2執行內插以取得輸出影像IMG3以實現超解析度(super-resolution)影像處理。舉例來說，第一影像IMG1中的畫素P1(1,1)可合成為畫素P3(1,1)，第二影像IMG2中的畫素P2(1,1)可合成為畫素P3(2,2)，畫素P3(1,2)和畫素P3(2,1)的資料可由畫素P1(1,1)與畫素P3(2,2)計算內插而得。上述操作亦可應用於影像中的其他畫素，故其餘細節不再於此贅述。
藉此，透過應用超解析度影像處理，輸出影像IMG3的解析度便可大於第一影像IMG1以及第二影像IMG2的解析度。
此外，如先前實施例所描述，第一影像IMG1可 以較長的曝光時間捕捉，第二影像IMG2可以較短的曝光時間捕捉以提高輸出影像IMG3的動態範圍並以單一攝影裝置130達成並實現高動態範圍成像。換言之，在第4圖所示的實施例中，空間-時間雜訊去除處理、高動態範圍成像處理以及超解析度影像處理可由具有光學防手震能力的單一攝影裝置130同步實現。降低雜訊以及高動態範圍成像的操作已於先前段落中具體說明，故其餘細節不再於此贅述。
值得注意的是，在操作S1與S3中，處理電路110可用以控制致動器160於第一時刻與第二時刻啟用光學防手震。如此一來，當拍攝影像時，光學防手震系統仍可繼續工作以避免手晃所導致的影像模糊。
此外，雖然在上述實施例中，攝影裝置130用以捕捉兩個影像，本揭示內容並不以此為限。在其他實施例中，三或多個影像可由攝影裝置130於不同時刻和不同移動方向及/移動量捕捉，以根據依續捕捉的影像合成輸出影像。透過合成影像，固定圖像雜訊例如暗信號非均勻性雜訊(Dark Signal Non-Uniformity，DSNU)及光子響應非均勻性雜訊(Photo Response Non-Uniformity，PRNU)可相應被降低並消除。
值得注意的是，在部分實施例中，影像處理方法900的上述操作可實作為一電腦程式。當電腦程式係被一電腦、一電子裝置，或第1圖中處理電路110所執行，此執行裝置執行影像處理方法900。電腦程式可被儲存於一非暫態電腦可讀取記錄媒體，例如一唯讀記憶體、一快閃記憶體、一軟碟、一硬碟、一光碟、一快閃碟、一隨身碟、一磁帶、一可從網路 讀取的資料庫，或任何本揭示內容所屬技術領域中具通常知識者所能想到具有相同功能的記錄媒體。
另外，應瞭解到，在所提及的影像處理方法900的操作，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行。
再者，在本揭示內容的不同實施例中，影像處理方法900中的此些操作亦可適應性地增加、置換、及/或省略。
透過上述各個實施例的操作，一種影像處理方法係實現以降低所捕捉的影像中的空間雜訊、時間雜訊、及/或固定圖像雜訊。在部分實施例中，影像處理方法可更實現以增加所捕捉的影像中的動態範圍，或增加影像的解析度。光學防手震功能於操作過程中可啟動以減少影像模糊。
雖然本揭示內容已以實施方式揭露如上，然其並非用以限定本揭示內容，任何熟習此技藝者，在不脫離本揭示內容之精神和範圍內，當可作各種更動與潤飾，因此本揭示內容之保護範圍當視後附之申請專利範圍所界定者為準。
900‧‧‧影像處理方法
S1~S4‧‧‧操作

Claims (10)

  1. 一種影像處理方法，包含：由一攝影裝置，於一第一時刻捕捉一第一影像；由電性連接於該攝影裝置的一致動器，移動該攝影裝置的一鏡頭；由該攝影裝置，於該第一時刻後的一第二時刻捕捉一第二影像；由一處理電路於該第一時刻記錄一第一環境參數；由該處理電路於該第二時刻記錄一第二環境參數；由該處理電路基於該攝影裝置的該鏡頭於該第一時刻與該第二時刻之間的一移動量、該第一環境參數與該第二環境參數對該第一影像與該第二影像執行一影像合成以去除一固定圖像雜訊；以及基於該移動量產生一輸出影像。
  2. 如請求項1所述的影像處理方法，其中該第一環境參數包含以下至少一者：該第一影像中的一亮度參數、一焦點位置參數、一白平衡參數、一色階分布以及一曝光時間長度參數；其中該第二環境參數包含以下至少一者：該第二影像中的一亮度參數、一焦點位置參數、一白平衡參數、一色階分布以及一曝光時間長度參數。
  3. 如請求項1所述的影像處理方法，更包含：由電性連接於該攝影裝置的該致動器，於該第一時刻啟 動光學防手震；以及由電性連接於該攝影裝置的該致動器，於該第二時刻啟動光學防手震。
  4. 如請求項1所述的影像處理方法，其中該攝影裝置的該鏡頭於該第一時刻與該第二時刻之間的該移動量小於或等於該第一影像與該第二影像的一畫素。
  5. 如請求項1所述的影像處理方法，更包含：由該處理電路，計算該第一影像與該第二影像之一加權平均；以及由該處理電路，基於該第一影像的一第一色階分布與該第二影像的一第二色階分布重新分配該輸出影像的一色階分布。
  6. 如請求項1所述的影像處理方法，其中該第一影像和該第二影像係以不同曝光時間長度捕捉。
  7. 如請求項1所述的影像處理方法，更包含：由該處理電路根據該第一影像與該第二影像執行內插以取得該輸出影像，其中該輸出影像的解析度大於該第一影像以及該第二影像的解析度。
  8. 如請求項1所述的影像處理方法，其中該固定圖像雜訊包含一暗信號非均勻性雜訊、一光子響應非均勻 性雜訊或其結合。
  9. 一種電子裝置，包含：一處理電路；一攝影裝置，電性連接於該處理電路；一致動器，電性連接於該攝影裝置；一記憶體，電性連接該處理電路；以及一或多程式，其中該一或多程式儲存於該記憶體中，並用以被該處理電路所執行，該一或多程式包括以下指令：控制該攝影裝置，於一第一時刻捕捉一第一影像；控制該致動器，移動該攝影裝置的一鏡頭；控制該攝影裝置，於該第一時刻後的一第二時刻捕捉一第二影像；於該第一時刻記錄一第一環境參數；於該第二時刻記錄一第二環境參數；基於該攝影裝置的該鏡頭於該第一時刻與該第二時刻之間的一移動量、該第一環境參數與該第二環境參數對該第一影像與該第二影像執行一影像合成以去除一固定圖像雜訊；以及基於該移動量產生一輸出影像。
  10. 一種非暫態電腦可讀取記錄媒體，用以儲存包含複數指令的一或多個電腦程式，當執行該些指令時，將致使一處理電路執行複數操作包含：控制一攝影裝置，於一第一時刻捕捉一第一影像； 控制電性連接於該攝影裝置的一致動器，移動該攝影裝置的一鏡頭；控制該攝影裝置，於該第一時刻後的一第二時刻捕捉一第二影像；於該第一時刻記錄一第一環境參數；於該第二時刻記錄一第二環境參數；基於該攝影裝置的該鏡頭於該第一時刻與該第二時刻之間的一移動量、該第一環境參數與該第二環境參數對該第一影像與該第二影像執行一影像合成以去除一固定圖像雜訊；以及基於該移動量產生一輸出影像。
TW107119038A 2017-06-02 2018-06-01 影像處理方法、電子裝置及非暫態電腦可讀取記錄媒體 TWI692965B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762514015P 2017-06-02 2017-06-02
US62/514,015 2017-06-02

Publications (2)

Publication Number Publication Date
TW201904260A TW201904260A (zh) 2019-01-16
TWI692965B true TWI692965B (zh) 2020-05-01

Family

ID=64460882

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107119038A TWI692965B (zh) 2017-06-02 2018-06-01 影像處理方法、電子裝置及非暫態電腦可讀取記錄媒體

Country Status (3)

Country Link
US (1) US20180352154A1 (zh)
CN (1) CN108989713A (zh)
TW (1) TWI692965B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166705B (zh) * 2019-06-06 2021-04-23 Oppo广东移动通信有限公司 高动态范围hdr图像生成方法和装置、电子设备、计算机可读存储介质
US11611692B2 (en) 2020-11-09 2023-03-21 Rockwell Collins, Inc. Fixed pattern noise reduction and high spatial frequency filtering using vari-focus lenses in low contrast scenes
CN115396596B (zh) * 2022-08-15 2023-06-30 上海交通大学 一种超分辨率图像成像方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128636A1 (en) * 2007-11-19 2009-05-21 Sony Corporation Image pickup apparatus
US20120274779A1 (en) * 2011-04-28 2012-11-01 Yukio Tanaka Image Capture Device, Method for Generating Image, Infrared Camera System, and Interchangeable Lens System

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101119969B1 (ko) * 2004-11-09 2012-02-22 삼성전자주식회사 디지털 카메라에서 고정 패턴 노이즈 제거 장치 및 방법
JP4900401B2 (ja) * 2008-05-16 2012-03-21 カシオ計算機株式会社 撮影装置およびプログラム
US8542288B2 (en) * 2010-11-03 2013-09-24 Sony Corporation Camera system and imaging method using multiple lens and aperture units
CN102970549B (zh) * 2012-09-20 2015-03-18 华为技术有限公司 图像处理方法及装置
CN103034982B (zh) * 2012-12-19 2015-07-08 南京大学 一种基于变焦视频序列的图像超分辨率重建方法
CN104125408B (zh) * 2013-04-28 2018-06-12 比亚迪股份有限公司 一种高动态范围图像处理方法及装置
JP2017046301A (ja) * 2015-08-28 2017-03-02 オリンパス株式会社 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090128636A1 (en) * 2007-11-19 2009-05-21 Sony Corporation Image pickup apparatus
US20120274779A1 (en) * 2011-04-28 2012-11-01 Yukio Tanaka Image Capture Device, Method for Generating Image, Infrared Camera System, and Interchangeable Lens System

Also Published As

Publication number Publication date
CN108989713A (zh) 2018-12-11
TW201904260A (zh) 2019-01-16
US20180352154A1 (en) 2018-12-06

Similar Documents

Publication Publication Date Title
EP3494693B1 (en) Combining images aligned to reference frame
US7636106B2 (en) Image processing apparatus and method, and program used therewith
KR101109532B1 (ko) 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체
US20090273717A1 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
TWI692965B (zh) 影像處理方法、電子裝置及非暫態電腦可讀取記錄媒體
JP6652039B2 (ja) 撮像装置、撮像方法及びプログラム
JP2016012811A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP5888348B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP2009213114A (ja) 撮像装置及びプログラム
US10999489B2 (en) Image processing apparatus, image processing method, and image capture apparatus
JP6332212B2 (ja) 姿勢推定装置、姿勢推定方法及びプログラム
WO2017104102A1 (ja) 撮像装置
JP2020096280A (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP6498175B2 (ja) 撮像装置およびその制御方法
US11356611B2 (en) Image capture apparatus and control method thereof
EP3836540B1 (en) Image processing apparatus and image capturing apparatus
JP2018142983A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2015177528A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7442989B2 (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
JP6762843B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016208118A (ja) 画像処理装置、画像処理方法及びプログラム
JP5012656B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US11832020B2 (en) Image pickup apparatus, image pickup method, and storage medium
US8406558B2 (en) Imaging apparatus, image processing apparatus, and image processing method
WO2023185096A1 (zh) 图像模糊度的确定方法及其相关设备

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees