TW202230279A - 圖像增強方法和圖像增強裝置 - Google Patents

圖像增強方法和圖像增強裝置 Download PDF

Info

Publication number
TW202230279A
TW202230279A TW110147404A TW110147404A TW202230279A TW 202230279 A TW202230279 A TW 202230279A TW 110147404 A TW110147404 A TW 110147404A TW 110147404 A TW110147404 A TW 110147404A TW 202230279 A TW202230279 A TW 202230279A
Authority
TW
Taiwan
Prior art keywords
image
spectral image
spectral
edge
edge feature
Prior art date
Application number
TW110147404A
Other languages
English (en)
Inventor
林育如
林品仲
葛竑志
郭嘉輝
王紹洋
李克聰
陳穎睿
朱啟誠
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202230279A publication Critical patent/TW202230279A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

一種應用於圖像增強裝置的圖像增強方法，包含從第一光譜圖像中獲取第一邊緣特徵以及從第二光譜圖像中獲取第二邊緣特徵，分析第一邊緣特徵和第二邊緣特徵之間的相似性以對齊第一光譜圖像與第二光譜圖像，從第一光譜圖像中獲取至少一個第一細節特徵，從第二光譜圖像中獲取至少一個第二細節特徵，比較第一邊緣特徵和第二邊緣特徵以生成第一權重和第二權重，將由第一權重加權的第一細節特徵與由第二權重加權的第二細節特徵進行融合，生成融合圖像。第一光譜圖像和第二光譜圖像在同一時間點採集。

Description

圖像增強方法和圖像增強裝置
本發明提供一種圖像處理方法，尤其涉及圖像增強方法和圖像增強裝置。
監控攝像頭可以在街角、高速公路或房屋前安裝，以捕捉監控圖像。監控攝像頭回應於光照環境啟動可見光譜接收器來採集可見監控圖像，以及回應於黑暗環境進一步啟動不可見光譜接收器來採集不可見監控圖像。不可見監控圖像可能是綠色或其他色彩，看起來不像是各種色彩和正確亮度的視覺圖像。因此，設計一種能夠提供目標物體的準確形狀和正確色彩和亮度的圖像的監控攝像機是圖像處理行業中的一個重要問題。
本發明提供一種在微光條件下獲取清晰圖像的圖像增強方法及相關圖像增強裝置，以解決上述問題。
根據所要求保護的發明，一種圖像增強方法包含從第一光譜圖像中獲取第一邊緣特徵和從第二光譜圖像中獲取第二邊緣特徵，分析第一邊緣特徵和第二邊緣特徵之間的相似性以對齊第一光譜圖像與第二光譜圖像，從第一光譜圖像中獲取至少一個第一細節特徵，從第二光譜圖像中獲取至少一個第二細節特徵，比較第一邊緣特徵和第二邊緣特徵以生成第一權重和第二權重，將由第一權重加權的第一細節特徵與由第二權重加權的第二細節特徵融合，生成融合圖像。第一光譜圖像和第二光譜圖像在同一時間點採集。
根據所要求保護的發明，從第一光譜圖像中獲取第一邊緣特徵的步驟包含：提取梯度域中第一光譜圖像的相鄰像素的至少一個梯度值作為第一邊緣特徵。
根據所要求保護的發明，從第一光譜圖像中獲取第一邊緣特徵的步驟包含：提取相鄰像素在不同方向的兩個梯度值，以定義第一邊緣特徵的角度。
根據所要求保護的發明，圖像增強方法還包含藉由基於邊緣的區塊匹配演算法分析第一邊緣特徵和第二邊緣特徵以計算相似度，從而生成匹配結果。
根據所要求保護的發明，圖像增強方法還包含藉由基於邊緣的區塊匹配演算法搜索多個預定方向的邊緣相似度，以找出第一邊緣特徵與第二邊緣特徵的匹配點，以獲取相似度。
根據所要求保護的發明，圖像增強方法還包含藉由遮擋處理演算法（occlusion handling algorithm）和一致性檢查演算法（consistency check algorithm）來細化該匹配結果。
根據所要求保護的發明，圖像增強方法還包含如果第一邊緣特徵和第二邊緣特徵的匹配結果是稀疏的（sparse），則利用雙邊求解器類演算法（bilateral solver like algorithm）將匹配結果的稀疏視差圖內插到密集視差圖，根據插值後的視差圖以像素移位的方式扭曲第一光譜圖像以與第二光譜圖像對齊。
根據所要求保護的發明，圖像增強方法還包含藉由邊緣特徵符號標記第一光譜圖像和/或第二光譜圖像內的像素或區域以用於邊緣失配。
根據所要求保護的發明，圖像增強方法還包含根據邊緣特徵符號，根據第一邊緣特徵匹配於第二邊緣特徵，分別分配第一權重和第二權重。
根據所要求保護的發明，第一光譜圖像為不可見光譜圖像，第二光譜圖像為可見光譜圖像，以及第一權重的權重值大於第二權重的權重值。
根據所要求保護的發明，根據特定屬性，第一光譜圖像和第二光譜圖像均包含多個層，一個以上的第一細節特徵和第二細節特徵分別從第一光譜圖像和第二光譜圖像中獲取。特定屬性為第一光譜圖像的頻率分佈或解析度。
根據所要求保護的發明，圖像增強方法還包含對第二光譜圖像進行縮小，以及將邊緣保留平滑演算法（edge preserve smoothing algorithm）應用於縮小後的第二光譜圖像。
根據所要求保護的發明，圖像增強方法還包含設置置信度圖（confidence map），藉由置信度圖對第二光譜圖像進行變換得到稀疏色彩圖像，以及用稀疏色彩圖像對融合圖像進行著色，生成自然的視覺色彩圖像。
根據所要求保護的發明，將稀疏色彩圖像的稀疏色彩資訊填充到融合圖像的對應區域中，以及傳播到對應區域周圍的相鄰區域，生成自然的視覺色彩圖像。
根據所要求保護的發明，一種圖像增強裝置包含第一圖像接收器、第二圖像接收器以及運算處理器。第一圖像接收器適於接收第一光譜圖像。第二圖像接收器適於接收第二光譜圖像，以及第一光譜圖像和第二光譜圖像在同一時間點採集。運算處理器電性連接第一圖像接收器與第二圖像接收器。運算處理器用於從第一光譜圖像中獲取第一邊緣特徵以及從第二光譜圖像中獲取第二邊緣特徵，分析第一邊緣特徵與第二邊緣特徵之間的相似度，以將第一光譜圖像與第二光譜圖像對齊，從第一光譜圖像中獲取至少一個第一細節特徵，從第二光譜圖像中獲取至少一個第二細節特徵，比較第一邊緣特徵和第二邊緣特徵以生成第一權重和第二權重，以及將由第一權重加權的第一細節特徵和由第二權重加權的第二細節特徵進行融合以生成融合圖像。
圖像增強裝置可利用兩個圖像接收器分別導出第一光譜圖像和第二光譜圖像；由於不可見光譜和可見光譜，第一光譜圖像和第二光譜圖像的強度實際上並不相關。不同的光譜圖像可以分別記錄不同的圖像色彩或不同的邊緣；例如，在微光條件下，第一光譜圖像（不可見光譜圖像）的邊緣特徵細節豐富，第二光譜圖像（可見光譜圖像）的邊緣細節較少，色彩資訊幾乎不可靠。第一光譜圖像中的邊緣特徵可被記錄，第一光譜圖像中的色彩資訊被忽略；第二光譜圖像中的邊緣特徵被忽略，第二光譜圖像中正確的色彩資訊被記錄。第一邊緣特徵的第一權重可以增加以及大於第二邊緣特徵的第二權重以保持光譜圖像中最豐富的邊緣細節。因此，具有特定角度權重和特定角度符號的基於邊緣的局部對齊可以增強匹配結果的正確性，以獲得用於融合的優選邊緣判斷。可見光譜圖像在微光條件下可能存在雜訊，因此可見光譜圖像可被縮小，例如雙線性（bilinear）或雙三次插值（bi-cubic interpolation），以降低雜訊和保留可靠的邊緣特徵，以及被用來以著色方式填充色彩到融合圖像和生成自然的視覺色彩圖像，其具有豐富的圖像細節、提高的視覺識別能力和增強的識別準確率。
此外，圖像增強裝置可以採用主動式光源或不採用主動式光源來實現。圖像增強方法可以藉由硬體或軟體實現，也可以近即時或即時地在移動設備或監控攝像頭或夜視設備或其他攝像頭設備上實現，或藉由互聯網傳輸相關資料在雲伺服器上實現。圖像增強裝置可以安裝在街角、高速公路或房屋前，藉由本發明的圖像增強方法，圖像增強裝置的圖像品質可被增強，不受霧氣或極度黑暗環境干擾以使目標物體清晰。
第1圖示出根據本發明實施例的圖像增強裝置10的功能框圖。圖像增強裝置10可用於物體跟蹤、特徵識別和特徵解讀，廣泛應用於家庭安全、交通事故跟蹤和車牌識別。圖像增強裝置10可以優選地在正常光照條件下工作；當環境變暗時，圖像增強裝置10可收集特定光譜光所擷取的圖像，使目標物在微光條件下被看到。
例如，可見光捕獲的視覺圖像可能具有清晰的色彩但目標物體的邊緣模糊，而不可見光捕獲的圖像，例如近紅外圖像或熱圖像，可能具有準確的目標物體邊緣，但沒有色彩，也沒有正確的亮度。因此，圖像增強裝置10可以獲取兩個或更多的光譜圖像，然後融合多光譜圖像的強度和資訊，使目標物體清晰分明，從而使得即使圖像增強裝置10在極暗的環境中工作，融合圖像中目標物體的外觀看起來像人類的視覺。
接收圖像增強裝置10可包含第一圖像接收器12、第二圖像接收器14及運算處理器16。第一圖像接收器12可接收第一圖像感測器所擷取的至少一個第一光譜圖像，或可直接擷取至少一個第一光譜圖像。第二圖像接收器14可接收第二圖像感測器所擷取的至少一個第二光譜圖像，或可直接擷取至少一個第二光譜圖像。第一圖像感測器與第二圖像感測器未在第1圖中示出。第一光譜圖像和第二光譜圖像在同一時間點採集，以及可以分別是不可見光譜圖像和可見光譜圖像。
第2圖示出根據本發明實施例的圖像增強方法的流程圖。第2圖所示的圖像增強方法可適用於第1圖所示的圖像增強裝置10的運算處理器16。首先，步驟S100可被執行以獲取至少一個第一光譜圖像和至少一個第二光譜圖像。若第一光譜圖像與第二光譜圖像的數量為多個，以及多個第一光譜圖像與多個第二光譜圖像分別對應圖像增強裝置10的監控區域的不同部分，則步驟S102可被選擇性地執行以拼接多個第一光譜圖像以形成第一全景圖像，和進一步拼接多個第二光譜圖像以形成第二全景圖像。例如，多個第一光譜圖像可以包含兩個或兩個以上的近紅外圖像，多個第二光譜圖像可以包含兩個或兩個以上的色彩圖像。近紅外圖像和色彩圖像可以按照基於邊緣的局部對齊、圖像融合和色彩恢復的步驟進行拼接，下面分別進行說明。
第一光譜圖像和第二光譜圖像在不同的視角下獲取，因此步驟S104可以執行基於邊緣的局部對齊來扭曲（warp）第一光譜圖像以與第二光譜圖像對齊。第一光譜圖像為細節最豐富且目標物體邊緣準確的不可見光譜圖像，第二光譜圖像為細節較少且目標物體邊緣準確的可見光譜圖像，因此步驟S106可以調整第一光譜圖像的權重，然後根據第一光譜圖像的權重調整來進一步調整第二光譜圖像的權重，以融合第一光譜圖像和第二光譜圖像以生成融合圖像。最後，步驟S108可被執行以使用色彩提取演算法藉由任一適用的著色方法來獲得融合圖像的正確色彩資訊。
第3圖示出本發明實施例步驟S104中基於邊緣的局部對齊的流程圖。首先，步驟S200可被執行，以從第一光譜圖像（或第一全景圖像）中獲取至少一個第一邊緣特徵以及從第二光譜圖像（或第二全景圖像）中獲取至少一個第二邊緣特徵。在圖像增強方法的一個例子中，第一邊緣特徵可以根據相鄰像素的梯度值計算，較大的梯度值被定義為邊緣。在本發明中，獲取第一邊緣特徵和第二邊緣特徵的邊緣方法可以利用Sobel濾波器或其他常用的邊緣提取方法來提取相鄰像素的梯度值；Sobel濾波器可用於計算第一光譜圖像和第二光譜圖像的梯度圖，以及梯度圖中超過預定閾值的一個或一些梯度值可藉由梯度幅值被定義為第一或第二邊緣特徵。本發明中使用的相關邊緣方法可以是邊緣收集（如由Sobel濾波器獲得）和沿水平和垂直方向計算梯度以定義精確角度（如由三角函數獲得）的組合。因此，邊緣正確性可以藉由參考邊緣角度相似度來增強。
然後，步驟S202可被執行以藉由基於邊緣的區塊匹配演算法分析第一邊緣特徵和第二邊緣特徵的角度和強度，以計算第一邊緣特徵和第二邊緣特徵之間的相似度，從而生成匹配結果。光譜圖像可以用多個視窗進行標記，基於邊緣的區塊匹配演算法可以根據給定視窗內像素的特定參數的絕對差之和來實現。根據梯度幅值和方向的相似性，光譜圖像之間每個像素的匹配結果可被計算。這樣，基於邊緣的區塊匹配演算法可以在多個預定的方向上搜索邊緣相似度，找出第一邊緣特徵和第二邊緣特徵的匹配點，從而獲得相似度。例如，本發明可以在左側和右側搜索第一光譜圖像和第二光譜圖像之間的邊緣相似度，以找到最佳匹配點。此外，根據設計需求，半全域匹配演算法可選地被用來優化匹配結果，為簡單起見，此處不再贅述。
如果第一光譜圖像和第二光譜圖像中的至少一個的邊緣特徵是密集的（dense），則在步驟S202中相似度可被優選地獲取；如果第一光譜圖像和第二光譜圖像中的至少一個中的邊緣特徵是稀疏的（sparse），則該光譜圖像中具有稀疏邊緣特徵的區域可以藉由該光譜圖像中的周圍區域或另一光譜圖像（具有足夠或密集的邊緣特徵）中的相關區域來校準，因此步驟S204可被選擇性地執行以藉由遮擋處理演算法（occlusion handling algorithm）和一致性檢查演算法（consistency check algorithm）來細化匹配結果。遮擋處理演算法可以剪除第一光譜圖像和第二光譜圖像被遮擋位置的相似性，一致性檢查演算法可以檢查光譜圖像左側和右側之間相似性的一致性；遮擋處理演算法和一致性檢查演算法的應用取決於設計需求，為簡單起見，此處不再贅述。
然後，如果匹配結果是稀疏的，則步驟S206、S208和S210可被執行以利用雙邊求解器類演算法（bilateral solver like algorithm）將第一邊緣特徵和第二邊緣特徵的匹配結果的稀疏視差圖內插為密集視差圖，以及藉由邊緣特徵符號標記第一光譜圖像和第二光譜圖像中至少一個中的像素或區域用於邊緣失配，以及根據內插的視差圖以像素移位的方式扭曲第一光譜圖像以與第二光譜圖像對齊。因此，第一光譜圖像和第二光譜圖像中的一個可以像素移位的方式被扭曲以與另一光譜圖像對齊。
邊緣特徵符號被可選地用來標記第一光譜圖像具有邊緣特徵但第二光譜圖像沒有邊緣特徵的像素或區域，或者第一光譜圖像和第二光譜圖像都沒有檢測到邊緣特徵的像素或區域。基於邊緣的局部對齊可以將第一邊緣特徵與第二邊緣特徵進行比較，以根據邊緣特徵符號，基於第一邊緣特徵與第二邊緣特徵的匹配來生成和分配第一權重和第二權重。第一權重可以大於第二權重，因為第一光譜圖像的第一邊緣特徵明顯或清晰，而第二光譜圖像的第二邊緣特徵不明顯或模糊。當第一光譜圖像的第一邊緣特徵不明顯或模糊，而第二光譜圖像的第二邊緣特徵明顯或清晰時，第一權重可以小於第二權重。第一光譜圖像具有較大的第一權重（大於第二張光譜圖的第二權重），用於保持豐富的細節。
第4圖示出本發明實施例的步驟S106中融合第一光譜圖像與第二光譜圖像的流程圖。首先，步驟S300被執行，根據特定屬性將第一光譜圖像和第二光譜圖像分解為多個層。特定屬性可以是第一光譜圖像和第二光譜圖像的頻率分佈或解析度，這取決於設計需求。步驟S300中使用的多層方法可以是但不限於雙邊濾波器、加權中值濾波器（weighted median filter）、引導濾波器（guided filter）或任一類似的濾波器。然後，步驟S302可被執行，從第一光譜圖像的所有層中獲取一個或多個由粗到細的第一細節特徵，以及進一步從第二光譜圖像的所有層中獲取一個或多個由粗到細的第二細節特徵。
根據邊緣特徵符號，第一光譜圖像和第二光譜圖像的所有層可以具有相應的權重，因此步驟S304可被執行以使用第一權重對第一光譜圖像的第一細節特徵進行加權，以及進一步使用第二權重對第二光譜圖像的第二細節特徵進行加權。由於第一邊緣特徵具有清晰的邊緣，所以第一權重大於第二權重，因此圖像增強方法可以參考第一邊緣特徵和第二邊緣特徵的匹配正確性來避免明顯的錯誤匹配，而是提供不太明顯的外觀。在一些實施例中，第一邊緣特徵和第二邊緣匹配正確性的資訊可以從步驟S208產生的結果中得到。然後，步驟S306可被執行，加權的第一細節特徵與加權的第二細節特徵被融合用於重建具有優選細節和優選對比度融合結果的融合圖像。
第5圖示出根據本發明實施例的步驟S108中色彩恢復的流程圖。首先，在低光照條件下色彩資訊幾乎不可靠的情況下，步驟S400可被選擇性地執行，對第二光譜圖像進行縮小，以及藉由邊緣保留平滑演算法對縮小後的第二光譜圖像進行處理，以生成凝聚和正確色彩資訊。邊緣保留平滑演算法可用於平滑第二光譜圖像中的明顯邊緣特徵的小梯度值和保留大梯度值，以消除雜訊和保留明顯邊緣，以提供更準確的邊緣估計。邊緣保留平滑演算法可以是但不限於L0平滑（L0 smoothing）或L1平滑（L1 smoothing），或者梯度域引導濾波器（Gradient Guided filter），這取決於設計需求。
然後，步驟S402可被執行以根據第二光譜圖像和融合圖像來設置置信度圖。具有凝聚和正確色彩資訊的第二光譜圖像的每個區域都可以具有置信值（confidence value）作為第二光譜圖像與融合圖像之間的位置和目標物體的準確參考，以形成置信圖。置信值可以藉由邊緣特徵、目標物件的形狀或光譜圖像中的其他特徵來計算。在一些實施例中，光譜圖像中的邊緣特徵、目標物體的形狀或其他特徵可以從步驟S208生成的結果中獲得。
隨著置信度圖的設置，步驟S404和S406可被執行以藉由置信度圖對第二光譜圖像進行變換，得到稀疏色彩圖像，以及用稀疏色彩圖像對融合圖像進行著色，生成自然的視覺色彩圖像。在步驟S406中，稀疏色彩圖像的稀疏色彩資訊被填充到融合圖像的對應區域中，以及藉由相關的著色方法，例如基於測地線的著色（geodesics based colorization）、基於優化的著色（optimization based colorization）或引導濾波器（Guided filter），稀疏色彩圖像的稀疏色彩資訊進一步被傳播到對應區域周圍的相鄰區域，用於生成自然的視覺色彩圖像。自然的視覺色彩圖像是具有第一光譜圖像清晰邊緣特徵和第二光譜圖像正確色彩資訊的微光色彩圖像。
綜上所述，圖像增強裝置可以利用兩個圖像接收器分別導出第一光譜圖像和第二光譜圖像。由於不可見光譜和可見光譜，第一光譜圖像和第二光譜圖像的強度實際上並不相關。不同的光譜圖像可以分別記錄不同的圖像顏色或不同的邊緣；例如，在微光條件下，第一幅光譜圖像（不可見光譜圖像）的邊緣特徵細節豐富，第二幅光譜圖像（可見光譜圖像）邊緣細節較少，顏色資訊幾乎不可靠。第一光譜圖像中的邊緣特徵可被記錄，以及第一光譜圖像中的顏色資訊被忽略；第二光譜圖像中的邊緣特徵可被忽略，和以及第二光譜圖像中正確的顏色資訊被記錄。第一邊緣特徵的第一權重可被增加以及大於第二邊緣特徵的第二權重以保持光譜圖像中最豐富的邊緣細節。因此，具有特定角度權重和特定角度符號的基於邊緣的局部對齊可以增強匹配結果的正確性，以獲得用於融合的優選邊緣判斷。可見光譜圖像在微光條件下可能存在雜訊，因此可見光譜圖像可被縮小，例如進行雙線性或雙三次插值（bilinear or bi-cubic interpolation），以降低雜訊並保留可靠的邊緣特徵，以及被用來以著色方式填充色彩到融合圖像並生成自然的視覺色彩圖像，其具有豐富的圖像細節、提高的視覺識別能力和增強的識別準確率。
需要說明的是，圖像增強裝置可以採用主動光源實現，也可以不採用主動光源實現。圖像增強方法可以藉由硬體或軟體實現，也可以近即時或即時地在移動設備、監控攝像頭或夜視設備或其他攝像頭設備上實現，也可以藉由互聯網傳輸相關資料在雲伺服器上實現。與現有技術相比，圖像增強裝置可以安裝在街角、高速公路或房屋前，藉由本發明的圖像增強方法，圖像增強裝置的圖像品質可被增強，不受霧氣或極度黑暗環境干擾以使目標物體清晰。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10:圖像增強裝置 12:第一圖像接收器 14:第二圖像接收器 16:運算處理器 S100、S102、S104、S106、S108:步驟 S200、S202、S204、S206、S208、S210:步驟 S300、S302、S304、S306:步驟 S400、S402、S404、S406:步驟
第1圖示出根據本發明實施例的圖像增強裝置的功能框圖。 第2圖示出根據本發明實施例的圖像增強方法的流程圖。 第3圖示出根據本發明實施例的基於邊緣的局部對齊的流程圖。 第4圖示出本發明實施例融合第一光譜圖像和第二光譜圖像的流程圖。 第5圖示出根據本發明實施例的色彩恢復的流程圖。
S100、S102、S104、S106、S108:步驟

Claims (28)

  1. 一種圖像增強方法，包含： 從一第一光譜圖像中獲取一第一邊緣特徵，從一第二光譜圖像中獲取一第二邊緣特徵，其中該第一光譜圖像和該第二光譜圖像在同一時間點採集； 分析該第一邊緣特徵與該第二邊緣特徵之間的相似度，以將該第一光譜圖像與該第二光譜圖像對齊； 從該第一光譜圖像中獲取至少一個第一細節特徵，從該第二光譜圖像中獲取至少一個第二細節特徵； 比較該第一邊緣特徵與該第二邊緣特徵以產生一第一權重與一第二權重； 以及 將由該第一權重加權的該至少一個第一細節特徵與由該第二權重加權的該至少一個第二細節特徵進行融合生成一融合圖像。
  2. 如請求項1所述之圖像增強方法，其中，從該第一光譜圖像中獲取該第一邊緣特徵包含： 提取一梯度域中該第一光譜圖像的多個相鄰像素的至少一個梯度值作為該第一邊緣特徵。
  3. 如請求項2所述之圖像增強方法，其中，從該第一光譜圖像中獲取該第一邊緣特徵包含： 提取該等相鄰像素的多個不同方向的兩個梯度值來定義該第一邊緣特徵的一角度。
  4. 如請求項1所述之圖像增強方法，進一步包含： 藉由一基於邊緣的區塊匹配演算法分析該第一邊緣特徵和該第二邊緣特徵以計算該相似度，從而生成一匹配結果。
  5. 如請求項4所述之圖像增強方法，進一步包含： 藉由該基於邊緣的區塊匹配演算法搜索多個預定方向的邊緣相似度，找出該第一邊緣特徵和該第二邊緣特徵的一匹配點，以獲得該相似度。
  6. 如請求項4所述之圖像增強方法，進一步包含： 藉由一遮擋處理演算法和一一致性檢查演算法來細化該匹配結果。
  7. 如請求項1所述之圖像增強方法，進一步包含： 如果該第一邊緣特徵和該第二邊緣特徵的該匹配結果是稀疏的，則利用一雙邊求解器類演算法將該匹配結果的一稀疏視差圖插值為一密集視差圖；以及 根據插值後的該視差圖以一像素移位的方式扭曲該第一光譜圖像以與該第二光譜圖像對齊。
  8. 如請求項1所述之圖像增強方法，進一步包含： 藉由一邊緣特徵符號標記該第一光譜圖像和/或該第二光譜圖像內的一像素或一區域以用於邊緣失配。
  9. 如請求項8所述之圖像增強方法，進一步包含： 根據該邊緣特徵符號，基於該第一邊緣特徵匹配於該第二邊緣特徵，分別分配該第一權重和該第二權重。
  10. 如請求項1所述之圖像增強方法，其中，該第一光譜圖像為一不可見光譜圖像，該第二光譜圖像為一可見光譜圖像，以及該第一權重大於該第二權重。
  11. 如請求項1所述之圖像增強方法，其中，根據一特定屬性，該第一光譜圖像和該第二光譜圖像均包含多個層，一個以上的該第一細節特徵和該第二細節特徵分別從該第一光譜圖像和該第二光譜圖像中獲取，以及該特定屬性是該第一光譜圖像和該第二光譜圖像的頻率分佈或解析度。
  12. 如請求項1所述之圖像增強方法，進一步包含： 縮小該第二光譜圖像；以及 將一邊緣保留平滑演算法應用於縮小的該第二光譜圖像。
  13. 如請求項1所述之圖像增強方法，進一步包含： 設置一置信度圖； 藉由該置信度圖對該第二光譜圖像進行變換，以獲取一稀疏色彩圖像；以及 使用該稀疏色彩圖像對該融合圖像進行著色以生成一自然的視覺色彩圖像。
  14. 如請求項13所述之圖像增強方法，其中，該稀疏色彩圖像的稀疏色彩資訊被填充到該融合圖像的一對應區域中，以及被傳播到該對應區域周圍的一相鄰區域，以生成該自然的視覺色彩圖像。
  15. 一種圖像增強裝置，包含： 一第一圖像接收器，適於接收一第一光譜圖像； 一第二圖像接收器，適於接收一第二光譜圖像，其中該第一光譜圖像和該第二光譜圖像在同一時間點採集；以及 一運算處理器，電性連接該第一圖像接收器與該第二圖像接收器，該運算處理器適於從該第一光譜圖像中獲取一第一邊緣特徵以及從該第二光譜圖像中獲取一第二邊緣特徵，分析該第一邊緣特徵和該第二邊緣特徵之間的相似度將該第一光譜圖像與該第二光譜圖像對齊，從該第一光譜圖像中獲取至少一個第一細節特徵，從該第二光譜圖像中獲取至少一個第二細節特徵，比較該第一邊緣特徵和該第二邊緣特徵以生成一第一權重和一第二權重，以及將由該第一權重加權的該至少一個第一細節特徵與由該第二權重加權的該至少一個第二細節特徵進行融合以生成一融合圖像。
  16. 如請求項15所述之圖像增強裝置，其中，該運算處理器進一步適於：提取一梯度域中該第一光譜圖像的多個相鄰像素的至少一個梯度值作為該第一邊緣特徵。
  17. 如請求項16所述之圖像增強裝置，其中，該運算處理器進一步適於：提取該等相鄰像素的多個不同方向的兩個梯度值來定義該第一邊緣特徵的一角度。
  18. 如請求項15所述之圖像增強裝置，其中，該運算處理器進一步適於：藉由一基於邊緣的區塊匹配演算法分析該第一邊緣特徵和該第二邊緣特徵以計算該相似度，從而生成一匹配結果。
  19. 如請求項18所述之圖像增強裝置，其中，該運算處理器進一步適於：藉由該基於邊緣的區塊匹配演算法搜索多個預定方向的邊緣相似度，找出該第一邊緣特徵和該第二邊緣特徵的一匹配點，以獲得該相似度。
  20. 如請求項18所述之圖像增強裝置，其中，該運算處理器進一步適於：藉由一遮擋處理演算法和一一致性檢查演算法來細化該匹配結果。
  21. 如請求項15所述之圖像增強裝置，其中，該運算處理器進一步適於：如果該第一邊緣特徵和該第二邊緣特徵的該匹配結果是稀疏的，則利用一雙邊求解器類演算法將該匹配結果的一稀疏視差圖插值為一密集視差圖；以及根據插值後的該視差圖以一像素移位的方式扭曲該第一光譜圖像以與該第二光譜圖像對齊。
  22. 如請求項15所述之圖像增強裝置，其中，該運算處理器進一步適於：藉由一邊緣特徵符號標記該第一光譜圖像和/或該第二光譜圖像內的一像素或一區域以用於邊緣失配。
  23. 如請求項22所述之圖像增強裝置，其中，該運算處理器進一步適於：根據該邊緣特徵符號，基於該第一邊緣特徵匹配於該第二邊緣特徵，分別分配該第一權重和該第二權重。
  24. 如請求項15所述之圖像增強裝置，其中，該第一光譜圖像為一不可見光譜圖像，該第二光譜圖像為一可見光譜圖像，以及該第一權重的一權重值大於該第二權重的一權重值。
  25. 如請求項15所述之圖像增強裝置，其中，根據一特定屬性，該第一光譜圖像和該第二光譜圖像均包含多個層，一個以上的該第一細節特徵和該第二細節特徵分別從該第一光譜圖像和該第二光譜圖像中獲取，以及該特定屬性是該第一光譜圖像和該第二光譜圖像的頻率分佈或解析度。
  26. 如請求項15所述之圖像增強裝置，其中，該運算處理器進一步適於：縮小該第二光譜圖像；以及將一邊緣保留平滑演算法應用於縮小的該第二光譜圖像。
  27. 如請求項15所述之圖像增強裝置，其中，該運算處理器進一步適於：設置一置信度圖；藉由該置信度圖對該第二光譜圖像進行變換，以獲取一稀疏色彩圖像；以及使用該稀疏色彩圖像對該融合圖像進行著色以生成一自然的視覺色彩圖像。
  28. 如請求項27所述之圖像增強裝置，其中，該稀疏色彩圖像的稀疏色彩資訊被填充到該融合圖像的一對應區域中，以及被傳播到該對應區域周圍的一相鄰區域，以生成該自然的視覺色彩圖像。
TW110147404A 2020-12-17 2021-12-17 圖像增強方法和圖像增強裝置 TW202230279A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063126582P 2020-12-17 2020-12-17
US63/126,582 2020-12-17
US17/553,704 2021-12-16
US17/553,704 US20220198723A1 (en) 2020-12-17 2021-12-16 Image enhancement method and image enhancement apparatus

Publications (1)

Publication Number Publication Date
TW202230279A true TW202230279A (zh) 2022-08-01

Family

ID=81992270

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110147404A TW202230279A (zh) 2020-12-17 2021-12-17 圖像增強方法和圖像增強裝置

Country Status (3)

Country Link
US (1) US20220198723A1 (zh)
CN (1) CN114648473A (zh)
TW (1) TW202230279A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902654A (zh) * 2020-07-06 2022-01-07 阿里巴巴集团控股有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN117130373B (zh) * 2023-10-26 2024-03-08 超技工业(广东)股份有限公司 一种半成品仓中载具输送机器人的控制方法

Also Published As

Publication number Publication date
CN114648473A (zh) 2022-06-21
US20220198723A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
CN104683767B (zh) 透雾图像生成方法及装置
Yang et al. Multifocus image fusion based on NSCT and focused area detection
CN105931220B (zh) 基于暗通道先验与最小图像熵的交通雾霾能见度检测方法
CN105426861B (zh) 车道线确定方法及装置
TW202230279A (zh) 圖像增強方法和圖像增強裝置
CN106846289A (zh) 一种基于显著性迁移与细节分类的红外光强与偏振图像融合方法
CN107248174A (zh) 一种基于tld算法的目标跟踪方法
CN111739031B (zh) 一种基于深度信息的作物冠层分割方法
KR101928391B1 (ko) 다중분광 영상과 레이더 영상의 융합방법 및 장치
Asmare et al. Image enhancement by fusion in contourlet transform
Jain et al. Multi-sensor image fusion using intensity hue saturation technique
Wang et al. Multiscale single image dehazing based on adaptive wavelet fusion
CN105608674A (zh) 一种基于图像配准、插值和去噪的图像增强方法
Wang et al. Digital image forgery detection based on the consistency of defocus blur
CN115578304B (zh) 一种结合显著性区域检测的多波段图像融合方法和系统
CN103903243A (zh) 一种利用形态学中心算子的图像融合方法
WO2020051897A1 (zh) 图像融合方法、系统、电子设备和计算机可读介质
Shah et al. Multimodal image/video fusion rule using generalized pixel significance based on statistical properties of the neighborhood
JP2018160024A (ja) 画像処理装置、画像処理方法及びプログラム
Kour et al. A review on image processing
Tong et al. Dual-band stereo vision based on heterogeneous sensor networks
Hickman Colour fusion of RGB and NIR imagery for surveillance applications
Agarwal et al. Specular reflection removal in cervigrams
Thirumala et al. Haze-level prior approach to enhance object visibility under atmosphericdegradation
Zhang et al. Haze removal from single images based on a luminance reference model