TWI819219B - 動態場景補償的拍照方法及攝像裝置 - Google Patents

動態場景補償的拍照方法及攝像裝置 Download PDF

Info

Publication number
TWI819219B
TWI819219B TW109118376A TW109118376A TWI819219B TW I819219 B TWI819219 B TW I819219B TW 109118376 A TW109118376 A TW 109118376A TW 109118376 A TW109118376 A TW 109118376A TW I819219 B TWI819219 B TW I819219B
Authority
TW
Taiwan
Prior art keywords
picture
target
pictures
preview
feature
Prior art date
Application number
TW109118376A
Other languages
English (en)
Other versions
TW202143169A (zh
Inventor
張玉
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Publication of TW202143169A publication Critical patent/TW202143169A/zh
Application granted granted Critical
Publication of TWI819219B publication Critical patent/TWI819219B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本發明涉及一種動態場景補償的拍照方法及攝像裝置。本發明中當確定預覽圖片中的目標物體為動態物體時存儲預設數量的預覽圖片作為第一圖片，及存儲所述攝像頭拍攝的第二圖片；對第一圖片和第二圖片進行分區採樣對比並判斷第二圖片是否存在模糊區域範圍；當第二圖片存在模糊區域範圍時對複數第一圖片進行分區採樣，並確定出每一所述第一圖片中與第二圖片的模糊區域範圍相對應的特徵資訊；將複數第一圖片中與模糊區域範圍相似性最高的特徵資訊作為目標特徵資訊，並將目標特徵資訊與第二圖片相融合生成目標圖片。

Description

動態場景補償的拍照方法及攝像裝置
本發明涉及影像處理技術領域，尤其涉及一種動態場景補償的拍照方法及攝像裝置。
傳統相機在工作時，會完成對焦後進行拍照，以便得到清晰的照片。在最佳對焦位置時拍攝的圖片一般比較清晰。然而，當拍攝動態場景的圖片時，由於動態場景缺少細節，導致拍攝出的圖片模糊。而在相機拍攝時，通常會先進行預覽，預覽模式下會臨時保存預覽圖像，圖像預覽時幀頻一般為30幀/秒或60幀/秒，因此預覽圖像中的運動物體通常比較清晰，使用者可藉由預覽模式觀察到動態物體的運動狀態，並進行拍攝，但為了減少記憶體，預覽圖像最終不會被儲存在相機內，然而臨時保存的預覽圖像卻記錄了動態物體的運動軌跡和運動物體的細節。
鑒於以上內容，有必要提供一種動態場景補償的拍照方法及攝像裝置以提高動態場景的圖片的清晰度。
本發明一方面提供一種動態場景補償的拍照方法，所述方法包括：開啟攝像頭並打開預覽模式；獲取在所述預覽模式下的複數預覽圖片； 藉由預覽分析單元識別所述複數預覽圖片中的目標物體，並判斷所述目標物體是否為動態物體；當確定所述目標物體為動態物體時存儲預設數量的預覽圖片作為第一圖片，及存儲在接收到拍攝指令後所述攝像頭拍攝的第二圖片；對所述第一圖片和所述第二圖片進行分區採樣對比，並計算判斷所述第二圖片是否存在模糊區域範圍；當所述第二圖片存在模糊區域範圍時，對複數所述第一圖片進行分區採樣，並確定出每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的特徵資訊；將複數所述第一圖片中與所述模糊區域範圍相似性最高的特徵資訊作為目標特徵資訊，並將所述目標特徵資訊與所述第二圖片相融合生成所述目標圖片；及輸出所述目標圖片。
優選地，所述動態場景補償的拍照方法還包括：當所述第二圖片不存在模糊區域範圍時，輸出所述第二圖片。
優選地，所述判斷所述目標物體是否為動態物體包括：分析出所述目標物體在複數所述預覽圖片中的位置，並根據所述目標物體在複數所述預覽圖片中的位置判斷所述目標物體的是否為動態物體，其中，當所述目標物體在複數所述預覽圖片中的位置發生變化時確定所述目標物體為動態物體，或當所述目標物體在複數所述預覽圖片中的位置沒有發生變化時確定所述目標物體為靜態物體。
優選地，所述對複數所述第一圖片進行分區採樣並確定出每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的特徵資訊包括：將複數所述第一圖片分別與所述第二圖片進行分區採樣對比，以確定每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的目標位置區域；及 對每一所述第一圖片的目標位置區域進行特徵點提取及特徵描述得到特徵資訊。
優選地，所述對每一所述第一圖片的目標位置區域進行特徵點提取及特徵描述得到特徵資訊包括：採用ORB快速特徵點提取和描述演算法對每一所述第一圖片的目標位置區域進行特徵點提取得到所述特徵資訊。
優選地，所述採用ORB快速特徵點提取和描述演算法對每一所述第一圖片的目標位置區域進行特徵點提取得到所述特徵資訊包括：以每一所述第一圖片的目標位置區域中任意一點作為目標點，以所述目標點為圓心畫一個圓構成特徵點圓周，從所述特徵點圓周中篩選出特徵點；採用ID3演算法訓練一個決策樹，根據所述決策樹從所述特徵點中篩選出最優的FAST特徵點；採用非極大值抑制演算法去除所述FAST特徵點臨近位置處的複數特徵點；設置一個比例因數scaleFactor及圖像金字塔的層數nlevels，將每一所述第一圖片按比例因數scaleFactor縮小成nlevels幅圖片，從nlevels幅不同比例的圖片中提取特徵點總和作為每一所述第一圖片的oFAST特徵點；及藉由對所述oFAST特徵點描述獲得特徵點的變化細節，並獲取所述oFAST特徵點灰度值最大的位置，並對所述位置利用邊緣銳利度和清晰度計算得到所述特徵點的特徵資訊。
優選地，所述將所述目標特徵資訊與所述第二圖片相融合生成所述目標圖片包括：藉由拉普拉斯圖像融合演算法將所述目標特徵資訊與所述第二圖片相融合生成所述目標圖片。
本發明另一方面一種攝像裝置，包括攝像頭、預覽分析單元、圖像優化處理單元及處理器，所述處理器分別與所述攝像頭、預覽分析單元、圖像優化處理單元連接，所述處理器用於：開啟所述攝像頭並打開預覽模式；獲取在所述預覽模式下的複數預覽圖片；藉由所述預覽分析單元識別所述預覽圖片中的目標物體，並判斷所述目標物體是否為動態物體；當確定所述目標物體為動態物體時存儲預設數量的預覽圖片作為第一圖片，及存儲在接收到拍攝指令後所述攝像頭拍攝的第二圖片；藉由圖像優化處理單元對所述第一圖片和所述第二圖片進行分區採樣對比，並利用邊緣銳利度和清晰度計算判斷所述第二圖片是否存在模糊區域範圍；當所述第二圖片存在模糊區域範圍時，對複數所述第一圖片進行分區採樣，並確定出每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的特徵資訊；將複數所述第一圖片中與所述模糊區域範圍相似性最高的特徵資訊作為目標特徵資訊，並將所述目標特徵資訊與所述第二圖片相融合生成所述目標圖片；及輸出所述目標圖片。
優選地，所述處理器還用於：分析出所述目標物體在複數所述預覽圖片中的位置，並根據所述目標物體在複數所述預覽圖片中的位置判斷所述目標物體的是否為動態物體，其中，當所述目標物體在複數所述預覽圖片中的位置發生變化時確定所述目標物體為動態物體，或當所述目標物體在複數所述預覽圖片中的位置沒有發生變化時確定所述目標物體為靜態物體。
優選地，所述處理器還用於： 將複數所述第一圖片分別與所述第二圖片進行分區採樣對比，以確定每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的目標位置區域；及採用目標追蹤演算法對每一所述第一圖片的目標位置區域進行特徵點提取及特徵描述得到特徵資訊。
本發明能夠判斷攝像裝置預覽模式下的預覽圖片是否存在動態物體，並在確定預覽圖片中存在動態物體時識別攝像裝置拍攝的拍攝圖片的模糊區域，並確定出預覽圖片中與所述模糊區域的位置相對應的特徵圖片及將所述特徵圖片與所述拍攝圖片相融合生成目標圖片，從而實現拍攝圖片的動態場景的補償。
1:攝像裝置
11:攝像頭
12:快門按鈕
13:預覽分析單元
14:圖像優化處理單元
15:處理器
16:記憶體
100:動態場景補償的拍照系統
101:開啟模組
102:獲取模組
103:識別模組
104:存儲模組
105:圖像優化處理模組
106:圖像融合模組
107:圖像輸出模組
S401~409:步驟
圖1為本發明一實施方式中動態場景補償的拍照方法的應用環境圖。
圖2為本發明一實施方式中攝像裝置的功能模組圖。
圖3為本發明一實施方式中動態場景補償的拍照系統的功能模組圖。
圖4為本發明一實施方式中動態場景補償的拍照方法的流程圖。
請參考圖1，所示為本發明一實施方式中動態場景補償的拍照方法的應用環境圖。所述動態場景補償的拍照方法應用在攝像裝置1中。所述攝像裝置1包括動態場景補償的拍照系統100。所述動態場景補償的拍照系統100用於判斷攝像裝置1預覽模式下的預覽圖片是否存在動態物體，並在確定預覽圖片中存在動態物體時識別攝像裝置1拍攝的拍攝圖片的模糊區域，並確定出預 覽圖片中與所述模糊區域的位置相對應的特徵圖片，及將所述特徵圖片與所述拍攝圖片相融合生成目標圖片，從而實現拍攝圖片的動態場景的補償。本實施方式中，所述攝像裝置1可以為攝像機或照相機等具有攝像功能的設備。
請參考圖2，所示為本發明一實施方式中攝像裝置1的功能模組圖。所述攝像裝置1包括攝像頭11、快門按鈕12、預覽分析單元13、圖像優化處理單元14、處理器15及記憶體16。所述處理器15分別與攝像頭11、快門按鈕12、預覽分析單元13、圖像優化處理單元14及記憶體16連接。本實施方式中，所述攝像頭11用於拍攝圖片，例如，所述攝像頭11可以拍攝目標物體在動態場景下的圖片。所述快門按鈕12用於在觸發時控制所述攝像頭11拍照。所述預覽分析單元13用於獲取所述攝像頭11在預覽模式下的複數預覽圖片，識別所述預覽圖片中的目標物體，並判斷所述目標物體是否為動態物體。所述圖像優化處理單元14用於在確定預覽圖片中存在動態物體時識別所述攝像裝置1拍攝的圖片的模糊區域，並確定出預覽圖片中與所述模糊區域的位置相對應的特徵圖片，及將所述特徵圖片與所述拍攝圖片相融合生成目標圖片。在一實施方式中，所述預覽分析單元13及所述圖像優化處理單元14內嵌在所述處理器15中。
本實施方式中，所述記憶體16用於存儲所述攝像裝置1的程式碼及資料資料。例如，所述記憶體16存儲圖片資訊。本實施方式中，所述記憶體16可以為所述攝像裝置1的內部存儲單元，例如所述攝像裝置1的硬碟或記憶體。在另一實施方式中，所述記憶體16也可以為所述攝像裝置1的外部存放裝置，例如所述攝像裝置1上配備的插接式硬碟，智慧存儲卡(Smart Media Card,SMC)，安全數位(Secure Digital,SD)卡，快閃記憶體卡(Flash Card)等。本實施方式中，所述處理器15可以為一中央處理器(Central Processing Unit,CPU)，微處理器或其他資料處理晶片。所述處理器15用於執行軟體程式碼或運算資料。
請參考圖3，所示為本發明一實施方式中動態場景補償的拍照系統100的功能模組圖。本實施方式中，所述動態場景補償的拍照系統100包括一個 或複數模組，所述一個或者複數模組被存儲於所述記憶體16中，並被所述處理器15所執行。在另一實施方式中，所述動態場景補償的拍照系統100為內嵌在所述攝像裝置1中的程式段或代碼。
本實施方式中，所述動態場景補償的拍照系統100包括開啟模組101、獲取模組102、識別模組103、存儲模組104、圖像優化處理模組105、圖像融合模組106及圖像輸出模組107。本發明所稱的模組是指能夠完成特定功能的一系列電腦程式指令段，比程式更適合於描述軟體在所述動態場景補償的拍照系統100中的執行過程。
所述開啟模組101開啟所述攝像頭11並打開預覽模式。
本實施方式中，所述開啟模組101開啟所述攝像裝置1的攝像頭11並打開預覽模式後，所述攝像裝置1產生預覽圖片，其中所述預覽圖片可以用於對所述攝像頭11拍攝的圖片進行細節補償。
所述獲取模組102獲取在所述預覽模式下的複數預覽圖片。
所述識別模組103藉由所述預覽分析單元13識別所述預覽圖片中的目標物體，並判斷所述目標物體是否為動態物體。
本實施方式中，所述識別模組103藉由所述預覽分析單元13分析出目標物體在複數所述預覽圖片中的運動軌跡判斷所述目標物體是否為動態物體。具體的，所述識別模組103分析出所述目標物體在複數所述預覽圖片中的位置，並根據所述目標物體在複數所述預覽圖片中的位置判斷所述目標物體的是否為動態物體。其中，當所述目標物體在複數所述預覽圖片中的位置發生變化時確定所述目標物體為動態物體，當所述目標物體在複數所述預覽圖片中的位置沒有發生變化時確定所述目標物體為靜態物體。
所述存儲模組104用於當確定出所述目標物體為動態物體時存儲預設數量的預覽圖片作為第一圖片，及存儲在接收到拍攝指令時所述攝像頭11拍攝的第二圖片。
本實施方式中，所述預設數量的預覽圖片為最接近所述第二圖片拍攝時刻的預設數量的預覽圖片，所述存儲模組104還用於對所述預設數量的預覽圖片按照距離所述攝像頭11拍照得到所述第二圖片的時間從大到小進行排序得到所述第一圖片。從而得到動態物體拍攝前的運動軌跡和運動細節。本實施方式中，所述預設數量的值為10。
本實施方式中，所述快門按鈕12在觸發時所述攝像裝置1生成拍攝指令，所述攝像裝置1根據所述拍攝指令藉由所述攝像頭11拍攝得到所述第二圖片，所述存儲模組104存儲所述第二圖片。
所述圖像優化處理模組105藉由所述圖像優化處理單元14對所述第一圖片和所述第二圖片進行分區採樣對比，並利用邊緣銳利度和清晰度計算判斷所述第二圖片是否存在模糊區域範圍。本實施方式中，所述第一圖片為距離所述第二圖片時間最小的第一圖片。本實施方式中，所述圖像優化處理模組105將所述第一圖片與所述第二圖片進行分區採樣對比，以確定所述第一圖片與所述第二圖片的動態物體的位置區域，並利用邊緣銳利度和清晰度計算判斷所述第一圖片和所述第二圖片的動態物體圖像的清晰度是否相同，當所述第一圖片和所述第二圖片的動態物體圖像的清晰度不同時，判斷所述第二圖片存在模糊區域範圍。
當所述第二圖片存在模糊區域範圍時，所述圖像優化處理模組105對複數所述第一圖片進行分區採樣，並確定出每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的特徵資訊。
在具體實施方式中，當所述第二圖片存在模糊區域範圍時，所述圖像優化處理模組105將複數所述第一圖片分別與所述第二圖片進行分區採樣對比，以確定每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的目標物體位置區域；採用目標追蹤演算法對每一所述第一圖片的目標位置區域進行特徵點提取及特徵描述得到特徵資訊。
本實施方式中，所述特徵點為視覺特徵，其中所述視覺特徵包括圖像邊緣、輪廓、形狀、紋理、區域。在另一實施方式中，所述特徵點還包括統計特徵、變換係數特徵、代數特徵中一種或多種。其中，所述統計特徵包括長條圖、各種矩特徵，所述變換係數特徵包括傅裡葉描繪子、自回歸模型，所述代數特徵包括圖像矩陣的奇異值分解。在其他實施方式中，所述特徵點為視覺特徵、統計特徵、變換係數特徵、代數特徵中的至少兩種特徵的融合。
本實施方式中，所述圖像優化處理模組105採用ORB(Oriented FAST and Rotated BRIEF)快速特徵點提取和描述演算法對每一所述第一圖片的目標位置區域進行特徵點提取得到特徵資訊。本實施方式中，所述圖像優化處理模組105以每一所述第一圖片的目標位置區域中任意一點作為目標點，以所述目標點為圓心畫一個圓構成特徵點圓周，從所述特徵點圓周中篩選出特徵點；採用ID3演算法訓練一個決策樹，根據所述決策樹從所述特徵點中篩選出最優的FAST特徵點；採用非極大值抑制演算法去除所述FAST特徵點臨近位置處的複數特徵點；設置一個比例因數scaleFactor及圖像金字塔的層數nlevels，將每一所述第一圖片按比例因數scaleFactor縮小成nlevels幅圖片，從nlevels幅不同比例的圖片中提取特徵點總和作為每一所述第一圖片的oFAST特徵點；及藉由對所述oFAST特徵點描述獲得特徵點的變化細節，並獲取所述oFAST特徵點灰度值最大的位置，並對所述位置利用邊緣銳利度和清晰度計算得到所述特徵點的特徵資訊。
具體的，所述圖像優化處理模組105以每一所述第一圖片的目標位置區域中任意一點作為目標點，以所述目標點為圓心畫一個半徑為3個圖元的圓構成特徵點圓周，特徵點圓周上若有連續n個圖元點的灰度值比目標點的灰度值大或者小，則認為目標點為特徵點，其中n設置為12；採用ID3演算法訓練一個決策樹，將特徵點圓周上的16個圖元輸入決策樹中以篩選出最優的FAST特徵點；採用非極大值抑制演算法去除FAST特徵點臨近位置處的複數特徵點，其中為每一個特徵點計算出特徵點的響應大小，特徵點的回應大小為特徵點和 其周圍16個特徵點偏差的絕對值和，在與所述FAST特徵點相鄰近的特徵點中保留回應值較大的特徵點，及刪除其餘的特徵點；設置一個比例因數scaleFactor及圖像金字塔的層數nlevels，將每一第一圖片按比例因數scaleFactor縮小成nlevels幅圖片，從nlevels幅不同比例的圖片提取特徵點總和作為每一第一圖片的oFAST特徵點；及藉由使用矩法來確定所述oFAST特徵點的方向，其中藉由矩來計算特徵點以r為半徑範圍內的質心，特徵點座標到質心形成一個向量作為所述特徵點的方向；及藉由對所述oFAST特徵點描述獲得所述oFAST特徵點的變化細節，並獲取所述oFAST特徵點灰度值最大的位置，並對所述位置利用邊緣銳利度和清晰度計算得到所述特徵資訊。
本實施方式中，所述圖像優化處理模組105判斷出所述第二圖片存在模糊區域範圍時，所述圖像優化處理模組105還判斷第二圖片的模糊區域範圍的尺寸是否在預設尺寸內，當所述第二圖片的模糊區域範圍的尺寸在預設尺寸內時，所述圖像輸出模組107輸出所述第二圖片。本實施方式中，所述預設尺寸可以為一個固定值。需要說明的是，在其他實施方式中，所述預設尺寸也可以根據實際需要進行設置。本實施方式中，所述圖像融合模組106用於將複數所述第一圖片中與所述模糊區域範圍相似性最高的特徵資訊作為目標特徵資訊，並將所述目標特徵資訊與所述第二圖片相融合生成所述目標圖片。本實施方式中，所述圖像融合模組106藉由拉普拉斯圖像融合演算法將所述目標特徵資訊與所述第二圖片相融合生成所述目標圖片。
所述圖像輸出模組107輸出所述目標圖片。
請參考圖4，所示為本發明一實施方式中動態場景補償的拍照方法的流程圖。根據不同需求，所述流程圖中步驟的順序可以改變，某些步驟可以省略或合併。所述方法包括如下步驟。
步驟S401，開啟攝像頭11並打開預覽模式。
本實施方式中，在開啟攝像裝置1的攝像頭11並打開預覽模式後，所述攝像裝置1產生預覽圖片，其中所述預覽圖片可以用於對攝像頭11拍攝的圖片進行細節補償。
步驟S402，獲取在所述預覽模式下的複數預覽圖片。
步驟S403，藉由所述預覽分析單元13識別所述預覽圖片中的目標物體，並判斷所述目標物體是否為動態物體。
本實施方式中，所述藉由所述預覽分析單元13識別所述預覽圖片中的目標物體，並判斷所述目標物體是否為動態物體包括：藉由所述預覽分析單元13分析出目標物體在複數所述預覽圖片中的運動軌跡判斷所述目標物體是否為動態物體。具體的，所述攝像裝置1分析出所述目標物體在複數所述預覽圖片中的位置，並根據所述目標物體在複數所述預覽圖片中的位置判斷所述目標物體的是否為動態物體。其中，當所述目標物體在複數所述預覽圖片中的位置發生變化時確定所述目標物體為動態物體，當所述目標物體在複數所述預覽圖片中的位置沒有發生變化時確定所述目標物體為靜態物體。
步驟S404，當確定出所述目標物體為動態物體時存儲預設數量的預覽圖片作為第一圖片，及存儲在接收到拍攝指令時所述攝像頭11拍攝的第二圖片。
本實施方式中，所述預設數量的預覽圖片為最接近所述第二圖片拍攝時刻的預設數量的預覽圖片，所述攝像裝置1對所述預設數量的預覽圖片按照距離所述攝像頭11拍照得到所述第二圖片的時間從大到小進行排序得到所述第一圖片。從而得到動態物體拍攝前的運動軌跡和運動細節。本實施方式中，所述預設數量的值為10。
本實施方式中，所述快門按鈕12在觸發時所述攝像裝置1生成拍攝指令，所述攝像裝置1根據所述拍攝指令藉由攝像頭11拍攝得到所述第二圖片，所述攝像裝置1存儲所述第二圖片。
步驟S405，藉由所述圖像優化處理單元14對所述第一圖片和所述第二圖片進行分區採樣對比，並利用邊緣銳利度和清晰度計算判斷所述第二圖片是否存在模糊區域範圍。本實施方式中，所述第一圖片為距離所述第二圖片時間最小的第一圖片。所述圖像優化處理模組105將所述第一圖片與所述第二圖片進行分區採樣對比，以確定所述第一圖片與所述第二圖片的動態物體的位置區域，並利用邊緣銳利度和清晰度計算判斷所述第一圖片和所述第二圖片的動態物體圖像的清晰度是否相同，當所述第一圖片和所述第二圖片的動態物體圖像的清晰度不同時，判斷所述第二圖片存在模糊區域範圍。當所述第二圖片存在模糊區域範圍時，執行步驟S406，當所述第二圖片不存在模糊區域範圍時執行步驟S407。
步驟S406，對複數所述第一圖片進行分區採樣，並確定出每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的特徵資訊。
步驟S407，輸出所述第二圖片。
在具體實施方式中，所述第二圖片存在模糊區域範圍時，所述對複數所述第一圖片進行分區採樣，並確定出每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的特徵資訊包括：將複數所述第一圖片分別與所述第二圖片進行分區採樣對比，以確定每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的目標物體位置區域；採用目標追蹤演算法對每一所述第一圖片的目標位置區域進行特徵點提取及特徵描述得到特徵資訊。
本實施方式中，所述特徵點為視覺特徵，其中所述視覺特徵包括圖像邊緣、輪廓、形狀、紋理、區域。在另一實施方式中，所述特徵點還包括統計特徵、變換係數特徵、代數特徵中一種或多種。其中，所述統計特徵包括長條圖、各種矩特徵，所述變換係數特徵包括傅裡葉描繪子、自回歸模型，所述代數特徵包括圖像矩陣的奇異值分解。在其他實施方式中，所述特徵點為視覺特徵、統計特徵、變換係數特徵、代數特徵中的至少兩種特徵的融合。
本實施方式中，所述攝像裝置1採用ORB快速特徵點提取和描述演算法對每一所述第一圖片的目標位置區域進行特徵點提取得到特徵資訊。本實施方式中，所述攝像裝置1以每一所述第一圖片的目標位置區域中任意一點作為目標點，以所述目標點為圓心畫一個圓構成特徵點圓周，從所述特徵點圓周中篩選出特徵點；採用ID3演算法訓練一個決策樹，根據所述決策樹從所述特徵點中篩選出最優的FAST特徵點；採用非極大值抑制演算法去除所述FAST特徵點臨近位置處的複數特徵點；設置一個比例因數scaleFactor及圖像金字塔的層數nlevels，將每一所述第一圖片按比例因數scaleFactor縮小成nlevels幅圖片，從nlevels幅不同比例的圖片中提取特徵點總和作為每一所述第一圖片的oFAST特徵點；及藉由對所述oFAST特徵點描述獲得特徵點的變化細節，並獲取所述oFAST特徵點灰度值最大的位置，並對所述位置利用邊緣銳利度和清晰度計算得到所述特徵點的特徵資訊。
具體的，所述攝像裝置1以每一所述第一圖片的目標位置區域中任意一點作為目標點，以所述目標點為圓心畫一個半徑為3個圖元的圓構成特徵點圓周，特徵點圓周上若有連續n個圖元點的灰度值比目標點的灰度值大或者小，則認為目標點為特徵點，其中n設置為12；採用ID3演算法訓練一個決策樹，將特徵點圓周上的16個圖元輸入決策樹中以篩選出最優的FAST特徵點；採用非極大值抑制演算法去除FAST特徵點臨近位置處的複數特徵點，其中為每一個特徵點計算出特徵點的響應大小，特徵點的回應大小為特徵點和其周圍16個特徵點偏差的絕對值和，在與所述FAST特徵點相鄰近的特徵點中保留回應值較大的特徵點，及刪除其餘的特徵點；設置一個比例因數scaleFactor及圖像金字塔的層數nlevels，將每一第一圖片按比例因數scaleFactor縮小成nlevels幅圖片，從nlevels幅不同比例的圖片提取特徵點總和作為每一第一圖片的oFAST特徵點；及藉由使用矩法來確定所述oFAST特徵點的方向，其中藉由矩來計算特徵點以r為半徑範圍內的質心，特徵點座標到質心形成一個向量作為所述特徵點的方向；及藉由對所述oFAST特徵點描述獲得所述oFAST特徵點的變化細節， 並獲取所述oFAST特徵點灰度值最大的位置，並對所述位置利用邊緣銳利度和清晰度計算得到所述特徵資訊。
本實施方式中，所述方法還包括：判斷出所述第二圖片存在模糊區域範圍時還判斷所述第二圖片的模糊區域範圍的尺寸是否在預設尺寸內，當所述第二圖片的模糊區域範圍的尺寸在預設尺寸內時，輸出所述第二圖片。本實施方式中，所述預設尺寸可以為一個固定值。需要說明的是，在其他實施方式中，所述預設尺寸也可以根據實際需要進行設置。
步驟S408，將複數所述第一圖片中與所述模糊區域範圍相似性最高的特徵資訊作為目標特徵資訊，並將所述目標特徵資訊與所述第二圖片相融合生成所述目標圖片。
本實施方式中，所述將所述目標特徵資訊與所述第二圖片相融合生成所述目標圖片包括：藉由拉普拉斯圖像融合演算法將所述目標特徵資訊與所述第二圖片相融合生成所述目標圖片。
步驟S409，輸出所述目標圖片。
綜上所述，本發明符合發明專利要件，爰依法提出專利申請。惟，以上所述僅為本發明之較佳實施方式，舉凡熟悉本案技藝之人士，在援依本案創作精神所作之等效修飾或變化，皆應包含於以下之申請專利範圍內。
S401~409:步驟

Claims (10)

  1. 一種動態場景補償的拍照方法，其改良在於，所述方法包括：開啟攝像頭並打開預覽模式；獲取在所述預覽模式下的複數預覽圖片；藉由預覽分析單元識別所述複數預覽圖片中的目標物體，並判斷所述目標物體是否為動態物體；當確定所述目標物體為動態物體時存儲預設數量的預覽圖片作為第一圖片，及存儲在接收到拍攝指令後所述攝像頭拍攝的第二圖片；對所述第一圖片和所述第二圖片進行分區採樣對比，並計算判斷所述第二圖片是否存在模糊區域範圍；當所述第二圖片存在模糊區域範圍時，對複數所述第一圖片進行分區採樣，並確定出每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的特徵資訊；將複數所述第一圖片中與所述模糊區域範圍相似性最高的特徵資訊作為目標特徵資訊，並將所述目標特徵資訊與所述第二圖片相融合生成目標圖片；及輸出所述目標圖片。
  2. 如請求項1所述的動態場景補償的拍照方法，其中，所述動態場景補償的拍照方法還包括：當所述第二圖片不存在模糊區域範圍時，輸出所述第二圖片。
  3. 如請求項1所述的動態場景補償的拍照方法，其中，所述判斷所述目標物體是否為動態物體包括：分析出所述目標物體在複數所述預覽圖片中的位置，並根據所述目標物體在複數所述預覽圖片中的位置判斷所述目標物體的是否為動態物體，其中，當所述目標物體在複數所述預覽圖片中的位置發生變化時確定所述目標物體為動態物體，或當所述目標物體在複數所述預覽圖片中的位置沒有發生變化時確定所述目標物體為靜態物體。
  4. 如請求項1所述的動態場景補償的拍照方法，其中，所述對複數所述第一圖片進行分區採樣並確定出每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的特徵資訊包括：將複數所述第一圖片分別與所述第二圖片進行分區採樣對比，以確定每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的目標位置區域；及對每一所述第一圖片的目標位置區域進行特徵點提取及特徵描述得到特徵資訊。
  5. 如請求項4所述的動態場景補償的拍照方法，其中，所述對每一所述第一圖片的目標位置區域進行特徵點提取及特徵描述得到特徵資訊包括：採用ORB快速特徵點提取和描述演算法對每一所述第一圖片的目標位置區域進行特徵點提取得到所述特徵資訊。
  6. 如請求項5所述的動態場景補償的拍照方法，其中，所述採用ORB快速特徵點提取和描述演算法對每一所述第一圖片的目標位置區域進行特徵點提取得到所述特徵資訊包括：以每一所述第一圖片的目標位置區域中任意一點作為目標點，以所述目標點為圓心畫一個圓構成特徵點圓周，從所述特徵點圓周中篩選出特徵點；採用ID3演算法訓練一個決策樹，根據所述決策樹從所述特徵點中篩選出最優的FAST特徵點；採用非極大值抑制演算法去除所述FAST特徵點臨近位置處的複數特徵點；設置一個比例因數scaleFactor及圖像金字塔的層數nlevels，將每一所述第一圖片按比例因數scaleFactor縮小成nlevels幅圖片，從nlevels幅不同比例的圖片中提取特徵點總和作為每一所述第一圖片的oFAST特徵點；及 藉由對所述oFAST特徵點描述獲得特徵點的變化細節，並獲取所述oFAST特徵點灰度值最大的位置，並對所述位置利用邊緣銳利度和清晰度計算得到所述特徵點的特徵資訊。
  7. 如請求項1所述的動態場景補償的拍照方法，其中，所述將所述目標特徵資訊與所述第二圖片相融合生成目標圖片包括：藉由拉普拉斯圖像融合演算法將所述目標特徵資訊與所述第二圖片相融合生成所述目標圖片。
  8. 一種攝像裝置，包括攝像頭、預覽分析單元、圖像優化處理單元及處理器，所述處理器分別與所述攝像頭、預覽分析單元、圖像優化處理單元連接，其改良在於，所述處理器用於：開啟所述攝像頭並打開預覽模式；獲取在所述預覽模式下的複數預覽圖片；藉由所述預覽分析單元識別所述預覽圖片中的目標物體，並判斷所述目標物體是否為動態物體；當確定所述目標物體為動態物體時存儲預設數量的預覽圖片作為第一圖片，及存儲在接收到拍攝指令後所述攝像頭拍攝的第二圖片；藉由圖像優化處理單元對所述第一圖片和所述第二圖片進行分區採樣對比，並利用邊緣銳利度和清晰度計算判斷所述第二圖片是否存在模糊區域範圍；當所述第二圖片存在模糊區域範圍時，對複數所述第一圖片進行分區採樣，並確定出每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的特徵資訊；將複數所述第一圖片中與所述模糊區域範圍相似性最高的特徵資訊作為目標特徵資訊，並將所述目標特徵資訊與所述第二圖片相融合生成目標圖片；及輸出所述目標圖片。
  9. 如請求項8所述的攝像裝置，其中，所述處理器還用於： 分析出所述目標物體在複數所述預覽圖片中的位置，並根據所述目標物體在複數所述預覽圖片中的位置判斷所述目標物體的是否為動態物體，其中，當所述目標物體在複數所述預覽圖片中的位置發生變化時確定所述目標物體為動態物體，或當所述目標物體在複數所述預覽圖片中的位置沒有發生變化時確定所述目標物體為靜態物體。
  10. 如請求項8所述的攝像裝置，其中，所述處理器還用於：將複數所述第一圖片分別與所述第二圖片進行分區採樣對比，以確定每一所述第一圖片中與所述第二圖片的模糊區域範圍相對應的目標位置區域；及採用目標追蹤演算法對每一所述第一圖片的目標位置區域進行特徵點提取及特徵描述得到特徵資訊。
TW109118376A 2020-04-30 2020-06-01 動態場景補償的拍照方法及攝像裝置 TWI819219B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010368088.8A CN113596315A (zh) 2020-04-30 2020-04-30 动态场景补偿的拍照方法及摄像装置
CN202010368088.8 2020-04-30

Publications (2)

Publication Number Publication Date
TW202143169A TW202143169A (zh) 2021-11-16
TWI819219B true TWI819219B (zh) 2023-10-21

Family

ID=78237717

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109118376A TWI819219B (zh) 2020-04-30 2020-06-01 動態場景補償的拍照方法及攝像裝置

Country Status (3)

Country Link
US (1) US11363207B2 (zh)
CN (1) CN113596315A (zh)
TW (1) TWI819219B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053321A1 (en) * 2008-08-29 2010-03-04 Samsung Techwin Co., Ltd. Digital photographing apparatus, method of controlling the same, and recording medium having recorded thereon computer program to implement the method
CN102036016B (zh) * 2010-12-03 2012-10-10 杭州海康威视系统技术有限公司 视频检测方法及其系统
CN106251305A (zh) * 2016-07-29 2016-12-21 长春理工大学 一种基于惯性测量单元imu的实时电子稳像方法
WO2019090591A1 (zh) * 2017-11-09 2019-05-16 深圳传音通讯有限公司 一种基于智能终端的拍照方法及拍照系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100053321A1 (en) * 2008-08-29 2010-03-04 Samsung Techwin Co., Ltd. Digital photographing apparatus, method of controlling the same, and recording medium having recorded thereon computer program to implement the method
CN102036016B (zh) * 2010-12-03 2012-10-10 杭州海康威视系统技术有限公司 视频检测方法及其系统
CN106251305A (zh) * 2016-07-29 2016-12-21 长春理工大学 一种基于惯性测量单元imu的实时电子稳像方法
WO2019090591A1 (zh) * 2017-11-09 2019-05-16 深圳传音通讯有限公司 一种基于智能终端的拍照方法及拍照系统

Also Published As

Publication number Publication date
CN113596315A (zh) 2021-11-02
TW202143169A (zh) 2021-11-16
US20210344844A1 (en) 2021-11-04
US11363207B2 (en) 2022-06-14

Similar Documents

Publication Publication Date Title
US20220138490A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
CN108710847B (zh) 场景识别方法、装置及电子设备
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN101416219B (zh) 数字图像中的前景/背景分割
CN109815843B (zh) 图像处理方法及相关产品
Coates et al. Multi-camera object detection for robotics
CN112446380A (zh) 图像处理方法和装置
EP2786307A1 (en) Dynamically configuring an image processing function
JP2013508844A (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110796041B (zh) 主体识别方法和装置、电子设备、计算机可读存储介质
CN112435223B (zh) 目标检测方法、装置及存储介质
Vidal et al. Ug^ 2: A video benchmark for assessing the impact of image restoration and enhancement on automatic visual recognition
EP3035242B1 (en) Method and electronic device for object tracking in a light-field capture
CN113743426A (zh) 一种训练方法、装置、设备以及计算机可读存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN113436251B (zh) 一种基于改进的yolo6d算法的位姿估计系统及方法
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
TWI819219B (zh) 動態場景補償的拍照方法及攝像裝置
CN111476056A (zh) 目标物体的识别方法、装置、终端设备及计算机存储介质
JP7253967B2 (ja) 物体対応付け装置、物体対応付けシステム、物体対応付け方法及びコンピュータプログラム
Agrafiotis et al. HDR Imaging for Enchancing People Detection and Tracking in Indoor Environments.
Sakurikar et al. Defocus magnification using conditional adversarial networks
Song et al. Object tracking with dual field-of-view switching in aerial videos