TWI807204B - 影像處理方法、裝置、電子設備及存儲介質 - Google Patents

影像處理方法、裝置、電子設備及存儲介質 Download PDF

Info

Publication number
TWI807204B
TWI807204B TW109125478A TW109125478A TWI807204B TW I807204 B TWI807204 B TW I807204B TW 109125478 A TW109125478 A TW 109125478A TW 109125478 A TW109125478 A TW 109125478A TW I807204 B TWI807204 B TW I807204B
Authority
TW
Taiwan
Prior art keywords
image processing
model
data
initial model
data type
Prior art date
Application number
TW109125478A
Other languages
English (en)
Other versions
TW202205158A (zh
Inventor
陳怡樺
蔡東佐
孫國欽
林子甄
李宛真
郭錦斌
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Priority to TW109125478A priority Critical patent/TWI807204B/zh
Publication of TW202205158A publication Critical patent/TW202205158A/zh
Application granted granted Critical
Publication of TWI807204B publication Critical patent/TWI807204B/zh

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種影像處理方法、裝置、電子設備及存儲介質。該方法 包括:回應於接收到的影像處理指令,獲取訓練數據;利用預設的深度學習架構,以所述訓練數據訓練預設深度學習模型,得到初始模型;轉換所述初始模型的數據類型;向轉換後的初始模型中加入修正層;訓練所述修正層的權重以優化所述初始模型,得到影像處理模型;從所述影像處理指令中獲取待處理圖像;將所述待處理圖像輸入至所述影像處理模型中,輸出影像處理結果。本發明能夠基於優化的影像處理模型進行影像處理,同時保證了數據處理速度與準確度。

Description

影像處理方法、裝置、電子設備及存儲介質
本發明涉及深度學習技術領域,尤其涉及一種影像處理方法、裝置、電子設備及存儲介質。
原始的深度學習框架Caffe(Convolutional Architecture for Fast Feature Embedding,快速特徵嵌入的卷積結構)只支援float(單精確度浮點型)數據類型和double(雙精度浮點型)數據類型,且目前大部分的訓練、測試以及應用過程都是基於float數據類型來完成的。
但是,對於一些大網路,耗時及顯存消耗很嚴重,尤其是在嵌入式設備中,很多網路甚至無法直接使用。
而在目前的解決方案中,仍然無法實現數據處理速度與準確度間的平衡。
鑒於以上內容,有必要提供一種影像處理方法、裝置、電子設備及存儲介質,能夠基於優化的影像處理模型進行影像處理,同時保證了數據處理速度與準確度。
一種影像處理方法,所述影像處理方法包括:回應於接收到的影像處理指令,獲取訓練數據;利用預設的深度學習架構,以所述訓練數據訓練預設深度學習模型,得到初始模型;轉換所述初始模型的數據類型;向轉換後 的初始模型中加入修正層;訓練所述修正層的權重以優化所述初始模型,得到影像處理模型;從所述影像處理指令中獲取待處理圖像;將所述待處理圖像輸入至所述影像處理模型中,輸出影像處理結果。
一種影像處理裝置,所述影像處理裝置包括:獲取單元,用於回應於接收到的影像處理指令,獲取訓練數據;訓練單元,用於利用預設的深度學習架構,以所述訓練數據訓練預設深度學習模型,得到初始模型;轉換單元,用於轉換所述初始模型的數據類型;加入單元,用於向轉換後的初始模型中加入修正層;優化單元,用於訓練所述修正層的權重以優化所述初始模型,得到影像處理模型;所述獲取單元,還用於從所述影像處理指令中獲取待處理圖像;處理單元,用於將所述待處理圖像輸入至所述影像處理模型中,輸出影像處理結果。
一種電子設備,所述電子設備包括:記憶體,存儲至少一個指令;及處理器,執行所述記憶體中存儲的指令以實現所述影像處理方法。
一種電腦可讀存儲介質,所述電腦可讀存儲介質中存儲有至少一個指令,所述至少一個指令被電子設備中的處理器執行以實現所述影像處理方法。
由以上技術方案可以看出,本發明能夠基於優化的影像處理模型進行影像處理,同時保證了數據處理速度與準確度。
11:影像處理裝置
110:獲取單元
111:訓練單元
112:轉換單元
113:加入單元
114:優化單元
115:處理單元
116:構建單元
117:驗證單元
1:電子設備
12:記憶體
13:處理器
圖1是本發明影像處理方法的較佳實施例的流程圖。
圖2是本發明影像處理裝置的較佳實施例的功能模組圖。
圖3是本發明實現影像處理方法的較佳實施例的電子設備的結構示意圖。
為了使本發明的目的、技術方案和優點更加清楚,下面結合附圖和具體實施例對本發明進行詳細描述。
如圖1所示,是本發明影像處理方法的較佳實施例的流程圖。根據不同的需求,該流程圖中步驟的順序可以改變,某些步驟可以省略。
所述影像處理方法應用於一個或者多個電子設備中,所述電子設備是一種能夠按照事先設定或存儲的指令,自動進行數值計算和/或資訊處理的設備,其硬體包括但不限於微處理器、專用積體電路(Application Specific Integrated Circuit,ASIC)、可程式設計閘陣列(Field-Programmable Gate Array,FPGA)、數文書處理器(Digital Signal Processor,DSP)、嵌入式設備等。
所述電子設備可以是任何一種可與用戶進行人機交互的電子產品,例如,個人電腦、平板電腦、智慧手機、個人數位助理(Personal Digital Assistant,PDA)、遊戲機、互動式網路電視(Internet Protocol Television,IPTV)、智慧式穿戴式設備等。
所述電子設備還可以包括網路設備和/或使用者設備。其中,所述網路設備包括,但不限於單個網路服務器、多個網路服務器組成的伺服器組或基於雲計算(Cloud Computing)的由大量主機或網路服務器構成的雲。
所述電子設備所處的網路包括但不限於網際網路、廣域網路、城域網、局域網、虛擬私人網路(Virtual Private Network,VPN)等。
S10,回應於接收到的影像處理指令,獲取訓練數據。
其中,所述影像處理指令可以由相關工作人員觸發,本發明不限制。
所述訓練數據可以包括圖像數據、影像數據等。
S11,利用預設的深度學習架構,以所述訓練數據訓練預設深度學習模型,得到初始模型。
其中,所述預設的深度學習架構可以包括,但不限於:TensorFlow、Caffe(Convolutional Architecture for Fast Feature Embedding,快速特徵嵌入的卷積結構)架構。
所述Caffe架構是一個兼具表達性、速度和思維模組化的深度學習框架,支持多種類型的深度學習架構,並面向圖像分類和圖像分割。
並且,原始的Caffe架構只支持支持float(單精確度浮點型)數據類型和double(雙精度浮點型)數據類型。
在本實施例中,所述預設深度學習模型可以包括所述Caffe架構支援的任意深度學習模型。例如:所述預設深度學習模型可以是CNN(Convolutional Neural Networks,卷積神經網路)、RCNN(Regions with CNN features,區域卷積神經網路)、LSTM(Long Short-Term Memory,長短期記憶網路)和全連接神經網路等。
S12,轉換所述初始模型的數據類型。
所述初始模型的數據類型為全精度,數據處理速度較慢,因此,為了提高模型的數據處理速度,轉換所述初始模型的數據類型。
在本實施例中,所述轉換所述初始模型的數據類型包括:從所述影像處理指令中獲取需求數據;根據所述需求數據確定目標數據類型;將所述初始模型轉換為所述目標數據類型。
具體地,所述根據所述需求數據確定目標數據類型包括:根據所述需求數據確定要求的數據處理速度及要求的準確度,進一步地:
(1)回應於所述要求的數據處理速度大於或者等於預設速度,確定所述目標數據類型為int8。
可以理解的是,數據類型為int8的模型的數據處理速度高於數據類型為半精度的模型的數據處理速度,因此,當對數據處理速度要求較高,即所述要求的數據處理速度大於或者等於所述預設速度時,可以優先將所述目標數據類型確定為int8。
其中,所述預設速度可以根據模型實際所能達到的速度進行配置,本發明不限制。
(2)或者,回應於所述要求的準確度大於或者等於預設準確度,確定所述目標數據類型為半精度。
可以理解的是,數據類型為int8的模型的準確度低於數據類型為半精度的模型的準確度,因此,當對準確度要求較高,即所述要求的準確度大於或者等於預設準確度時,可以優先將所述目標數據類型確定為半精度。
其中,所述預設準確度可以根據模型實際所能達到的準確度進行配置,本發明不進行限制。
在上述實施方式中,在將數據類型轉換為int8或者半精度後,由於每個數據的記憶體佔用降低了,整個網路的記憶體消耗也隨之降低,頻寬消耗同時減少,性能也就隨之提高,因此,兩種轉換方式都能在一定程度上提高數據處理速度,但是,由於兩種數據類型的模型的處理速度和準確度都不同,因此,可以根據不同的任務需求在兩種轉換方式中進行選擇。
當然,對於除上述(1)(2)外的其他情況,可以在兩種轉換方式中任選其一,或者根據預先配置進行預設選擇,本發明不進行限制。
需要說明的是,由於數據類型間的轉換屬於習知技術,在此不贅述。
S13,向轉換後的初始模型中加入修正層。
其中,所述修正層可以是新增的所述初始模型中的任意一層。例如:所述修正層可以是新增的卷積層,還可以是新增的全連接層等。
S14,訓練所述修正層的權重以優化所述初始模型,得到影像處理模型。
可以理解的是,在對所述初始模型進行了數據類型的轉換後,所述初始模型的準確度將會有所降低,因此,為了在提高數據處理速度的同時保證模型的準確度,還需要對所述初始模型進行優化處理。
具體地,所述訓練所述修正層的權重以優化所述初始模型,得到影像處理模型包括:固定所述初始模型中各個層的權重以訓練所述修正層的權重;回應於模型的準確度大於或者等於預設閾值,停止訓練,得到所述影像處理模型。
其中,所述預設閾值可以根據實際需求進行配置,以保證模型的精度滿足任務需求。
在本實施例中,所述訓練所述修正層的權重以優化所述初始模型,得到影像處理模型還包括:以全精度作為數據類型訓練所述修正層的權重,得到所述影像處理模型。
藉由在所述修正層以全精度作為數據類型進行多次運算,使模型的準確度不斷提升,最終達到準確度要求,得到優化後的數據處理速度及準確度同時滿足需求的所述影像處理模型。
在本實施例中,所述影像處理方法還包括:構建驗證數據集;以所述驗證數據集中的數據對所述影像處理模型進行驗證。
其中,所述驗證數據集可以從歷史數據中獲取,也可以由指定組織或工作人員提供,只要保證數據的可靠性,本發明不限制。
藉由上述實施方式,能夠對所述影像處理模型進行進一步地驗證,以保證所述影像處理模型的正確性及可用性。
S15,從所述影像處理指令中獲取待處理圖像。
其中,所述待處理圖像可以由相關人員上傳,也可以藉由網路爬蟲技術進行獲取,本發明不限制。
S16,將所述待處理圖像輸入至所述影像處理模型中,輸出影像處理結果。
例如:所述影像處理結果可以是圖像分類結果,或者是圖像分割結果等。
需要說明的是,根據不同的訓練得到的影像處理模型不同,對應的影像處理結果也將不同,進而滿足各種類型的影像處理任務。
由以上技術方案可以看出,本發明能夠回應於接收到的影像處理指令,獲取訓練數據,並利用預設的深度學習架構,以所述訓練數據訓練預設深度學習模型,得到初始模型,進一步轉換所述初始模型的數據類型,以提高模型的數據處理速度,向轉換後的初始模型中加入修正層,訓練所述修正層的權重以優化所述初始模型,得到影像處理模型,以進一步提高模型的準確度,從所述影像處理指令中獲取待處理圖像,並將所述待處理圖像輸入至所述影像處理模型中,輸出影像處理結果,實現基於優化的影像處理模型進行影像處理,同時保證了數據處理速度與準確度。
如圖2所示,是本發明影像處理裝置的較佳實施例的功能模組圖。所述影像處理裝置11包括獲取單元110、訓練單元111、轉換單元112、加入單元113、優化單元114、處理單元115、構建單元116及驗證單元117。本發明所稱的模組/單元是指一種能夠被處理器13所執行,並且能夠完成固定功能的一系列電腦程式段,其存儲在記憶體12中。在本實施例中,關於各模組/單元的功能將在後續的實施例中詳述。
回應於接收到的影像處理指令,獲取單元110獲取訓練數據。
其中,所述影像處理指令可以由相關工作人員觸發,本發明不限制。
所述訓練數據可以包括圖像數據、影像數據等。
訓練單元111利用預設的深度學習架構,以所述訓練數據訓練預設深度學習模型,得到初始模型。
其中,所述預設的深度學習架構可以包括,但不限於:TensorFlow、Caffe(Convolutional Architecture for Fast Feature Embedding,快速特徵嵌入的卷積結構)架構。
所述Caffe架構是一個兼具表達性、速度和思維模組化的深度學習框架,支持多種類型的深度學習架構,並面向圖像分類和圖像分割。
並且,原始的Caffe架構只支持支持float(單精確度浮點型)數據類型和double(雙精度浮點型)數據類型。
在本實施例中,所述預設深度學習模型可以包括所述Caffe架構支援的任意深度學習模型。例如:所述預設深度學習模型可以是CNN(Convolutional Neural Networks,卷積神經網路)、RCNN(Regions with CNN features,區域卷積神經網路)、LSTM(Long Short-Term Memory,長短期記憶網路)和全連接神經網路等。
轉換單元112轉換所述初始模型的數據類型。
所述初始模型的數據類型為全精度,數據處理速度較慢,因此,為了提高模型的數據處理速度,轉換所述初始模型的數據類型。
在本實施例中,所述轉換單元112轉換所述初始模型的數據類型包括:從所述影像處理指令中獲取需求數據;根據所述需求數據確定目標數據類型;將所述初始模型轉換為所述目標數據類型。
具體地,所述轉換單元112根據所述需求數據確定目標數據類型包括:根據所述需求數據確定要求的數據處理速度及要求的準確度,進一步地:
(1)回應於所述要求的數據處理速度大於或者等於預設速度,確定所述目標數據類型為int8。
可以理解的是,數據類型為int8的模型的數據處理速度高於數據類型為半精度的模型的數據處理速度,因此,當對數據處理速度要求較高,即所述要求的數據處理速度大於或者等於所述預設速度時,可以優先將所述目標數據類型確定為int8。
其中,所述預設速度可以根據模型實際所能達到的速度進行配置,本發明不限制。
(2)或者,回應於所述要求的準確度大於或者等於預設準確度,確定所述目標數據類型為半精度。
可以理解的是,數據類型為int8的模型的準確度低於數據類型為半精度的模型的準確度,因此,當對準確度要求較高,即所述要求的準確度大於或者等於預設準確度時,可以優先將所述目標數據類型確定為半精度。
其中,所述預設準確度可以根據模型實際所能達到的準確度進行配置,本發明不限制。
在上述實施方式中,在將數據類型轉換為int8或者半精度後,由於每個數據的記憶體佔用降低了,整個網路的記憶體消耗也隨之降低,頻寬消耗同時減少,性能也就隨之提高,因此,兩種轉換方式都能在一定程度上提高數據處理速度,但是,由於兩種數據類型的模型的處理速度和準確度都不同,因此,可以根據不同的任務需求在兩種轉換方式中進行選擇。
當然,對於除上述(1)(2)外的其他情況,可以在兩種轉換方式中任選其一,或者根據預先配置進行預設選擇,本發明不限制。
需要說明的是,由於數據類型間的轉換屬於習知技術,在此不贅述。
加入單元113向轉換後的初始模型中加入修正層。
其中,所述修正層可以是新增的所述初始模型中的任意一層。例如:所述修正層可以是新增的卷積層,還可以是新增的全連接層等。
優化單元114訓練所述修正層的權重以優化所述初始模型,得到影像處理模型。
可以理解的是,在對所述初始模型進行了數據類型的轉換後,所述初始模型的準確度將會有所降低,因此,為了在提高數據處理速度的同時保證模型的準確度,還需要對所述初始模型進行優化處理。
具體地,所述優化單元114訓練所述修正層的權重以優化所述初始模型,得到影像處理模型包括:固定所述初始模型中各個層的權重以訓練所 述修正層的權重;回應於模型的準確度大於或者等於預設閾值,停止訓練,得到所述影像處理模型。
其中,所述預設閾值可以根據實際需求進行配置,以保證模型的精度滿足任務需求。
在本實施例中,所述優化單元114訓練所述修正層的權重以優化所述初始模型,得到影像處理模型還包括:所述優化單元114以全精度作為數據類型訓練所述修正層的權重,得到所述影像處理模型。
藉由在所述修正層以全精度作為數據類型進行多次運算,使模型的準確度不斷提升,最終達到準確度要求,得到優化後的數據處理速度及準確度同時滿足需求的所述影像處理模型。
在本實施例中,構建單元116構建驗證數據集;驗證單元117以所述驗證數據集中的數據對所述影像處理模型進行驗證。
其中,所述驗證數據集可以從歷史數據中獲取,也可以由指定組織或工作人員提供,只要保證數據的可靠性,本發明不限制。
藉由上述實施方式,能夠對所述影像處理模型進行進一步地驗證,以保證所述影像處理模型的正確性及可用性。
所述獲取單元110從所述影像處理指令中獲取待處理圖像。
其中,所述待處理圖像可以由相關人員上傳,也可以藉由網路爬蟲技術進行獲取,本發明不限制。
處理單元115將所述待處理圖像輸入至所述影像處理模型中,輸出影像處理結果。例如:所述影像處理結果可以是圖像分類結果,或者是圖像分割結果等。
需要說明的是,根據不同的訓練得到的影像處理模型不同,對應的影像處理結果也將不同,進而滿足各種類型的影像處理任務。
由以上技術方案可以看出,本發明能夠回應於接收到的影像處理指令,獲取訓練數據,並利用預設的深度學習架構,以所述訓練數據訓練預設 深度學習模型,得到初始模型,進一步轉換所述初始模型的數據類型,以提高模型的數據處理速度,向轉換後的初始模型中加入修正層,訓練所述修正層的權重以優化所述初始模型,得到影像處理模型,以進一步提高模型的準確度,從所述影像處理指令中獲取待處理圖像,並將所述待處理圖像輸入至所述影像處理模型中,輸出影像處理結果,實現基於優化的影像處理模型進行影像處理,同時保證了數據處理速度與準確度。
如圖3所示,是本發明實現影像處理方法的較佳實施例的電子設備的結構示意圖。
所述電子設備1可以包括記憶體12、處理器13和匯流排,還可以包括存儲在所述記憶體12中並可在所述處理器13上運行的電腦程式,例如影像處理程式。
本領域技術人員可以理解,所述示意圖僅僅是電子設備1的示例,並不構成對電子設備1的限定,所述電子設備1既可以是匯流排型結構,也可以是星形結構,所述電子設備1還可以包括比圖示更多或更少的其他硬體或者軟體,或者不同的部件佈置,例如所述電子設備1還可以包括輸入輸出設備、網路接入設備等。
需要說明的是,所述電子設備1僅為舉例,其他習知的或今後可能出現的電子產品如可適應於本發明,也應包含在本發明的保護範圍以內,並以引用方式包含於此。
其中,記憶體12至少包括一種類型的可讀存儲介質,所述可讀存儲介質包括快閃記憶體、移動硬碟、多媒體卡、卡型記憶體(例如:SD或DX記憶體等)、磁性記憶體、磁片、光碟等。記憶體12在一些實施例中可以是電子設備1的內部存儲單元,例如該電子設備1的移動硬碟。記憶體12在另一些實施例中也可以是電子設備1的外部存放裝置,例如電子設備1上配備的插接式移動硬碟、智慧存儲卡(Smart Media Card,SMC)、安全數位(Secure Digital,SD)卡、快閃記憶體卡(Flash Card)等。進一步地,記憶體12還可以既包括電子設 備1的內部存儲單元也包括外部存放裝置。記憶體12不僅可以用於存儲安裝於電子設備1的應用軟體及各類數據,例如影像處理程式的代碼等,還可以用於暫時地存儲已經輸出或者將要輸出的數據。
處理器13在一些實施例中可以由積體電路組成,例如可以由單個封裝的積體電路所組成,也可以是由多個相同功能或不同功能封裝的積體電路所組成,包括一個或者多個中央處理器(Central Processing unit,CPU)、微處理器、數碼處理晶片、圖形處理器及各種控制晶片的組合等。處理器13是所述電子設備1的控制核心(Control Unit),利用各種介面和線路連接整個電子設備1的各個部件,藉由運行或執行存儲在所述記憶體12內的程式或者模組(例如執行影像處理程式等),以及調用存儲在所述記憶體12內的數據,以執行電子設備1的各種功能和處理數據。
所述處理器13執行所述電子設備1的作業系統以及安裝的各類應用程式。所述處理器13執行所述應用程式以實現上述各個影像處理方法實施例中的步驟,例如圖1所示的步驟S10、S11、S12、S13、S14、S15、S16。
示例性的,所述電腦程式可以被分割成一個或多個模組/單元,所述一個或者多個模組/單元被存儲在所述記憶體12中,並由所述處理器13執行,以完成本發明。所述一個或多個模組/單元可以是能夠完成特定功能的一系列電腦程式指令段,該指令段用於描述所述電腦程式在所述電子設備1中的執行過程。例如,所述電腦程式可以被分割成獲取單元110、訓練單元111、轉換單元112、加入單元113、優化單元114、處理單元115、構建單元116及驗證單元117。
上述以軟體功能模組的形式實現的集成的單元,可以存儲在一個電腦可讀取存儲介質中。上述軟體功能模組存儲在一個存儲介質中,包括複數指令用以使得一台電腦設備(可以是個人電腦、電腦設備,或者網路設備等)或處理器(processor)執行本發明各個實施例所述影像處理方法的部分。
所述電子設備1集成的模組/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時,可以存儲在一個電腦可讀取存儲介質中。基於這樣的理解,本發明實現上述實施例方法中的全部或部分流程,也可以藉由電腦程式來指示相關的硬體設備來完成,所述的電腦程式可存儲於一電腦可讀存儲介質中,該電腦程式在被處理器執行時,可實現上述各個方法實施例的步驟。
其中,所述電腦程式包括電腦程式代碼,所述電腦程式代碼可以為原始程式碼形式、物件代碼形式、可執行檔或某些中間形式等。所述電腦可讀介質可以包括:能夠攜帶所述電腦程式代碼的任何實體或裝置、記錄介質、U盤、移動硬碟、磁碟、光碟、電腦記憶體、唯讀記憶體(ROM,Read-Only Memory)。
匯流排可以是外設部件互連標準(peripheral component interconnect,簡稱PCI)匯流排或延伸工業標準架構(extended industry standard architecture,簡稱EISA)匯流排等。該匯流排可以分為位址匯流排、數據匯流排、控制匯流排等。為便於表示,在圖3中僅用一根箭頭表示,但並不表示僅有一根匯流排或一種類型的匯流排。所述匯流排被設置為實現所述記憶體12以及至少一個處理器13等之間的連接通信。
儘管未示出,所述電子設備1還可以包括給各個部件供電的電源(比如電池),優選地,電源可以藉由電源管理裝置與所述至少一個處理器13邏輯相連,從而藉由電源管理裝置實現充電管理、放電管理、以及功耗管理等功能。電源還可以包括一個或一個以上的直流或交流電源、再充電裝置、電源故障檢測電路、電源轉換器或者逆變器、電源狀態指示器等任意元件。所述電子設備1還可以包括多種感測器、藍牙模組、Wi-Fi模組等,在此不再贅述。
進一步地,所述電子設備1還可以包括網路介面,可選地,所述網路介面可以包括有線介面和/或無線介面(如WI-FI介面、藍牙介面等),通常用於在該電子設備1與其他電子設備之間建立通信連接。
可選地,該電子設備1還可以包括使用者介面,使用者介面可以是顯示器(Display)、輸入單元(比如鍵盤(Keyboard)),可選地,使用者介面還可以是標準的有線介面、無線介面。可選地,在一些實施例中,顯示器可以是LED顯示器、液晶顯示器、觸控式液晶顯示器以及OLED(Organic Light-Emitting Diode,有機發光二極體)觸摸器等。其中,顯示器也可以適當的稱為顯示幕或顯示單元,用於顯示在電子設備1中處理的資訊以及用於顯示視覺化的使用者介面。
應該瞭解,所述實施例僅為說明之用,在專利申請範圍上並不受此結構的限制。
圖3僅示出了具有元件12-13的電子設備1,本領域技術人員可以理解的是,圖3示出的結構並不構成對所述電子設備1的限定,可以包括比圖示更少或者更多的部件,或者組合某些部件,或者不同的部件佈置。
結合圖1,所述電子設備1中的所述記憶體12存儲多個指令以實現一種影像處理方法,所述處理器13可執行所述多個指令從而實現:回應於接收到的影像處理指令,獲取訓練數據;利用預設的深度學習架構,以所述訓練數據訓練預設深度學習模型,得到初始模型;轉換所述初始模型的數據類型;向轉換後的初始模型中加入修正層;訓練所述修正層的權重以優化所述初始模型,得到影像處理模型;從所述影像處理指令中獲取待處理圖像;將所述待處理圖像輸入至所述影像處理模型中,輸出影像處理結果。
具體地,所述處理器13對上述指令的具體實現方法可參考圖1對應實施例中相關步驟的描述,在此不贅述。
在本發明所提供的幾個實施例中,應該理解到,所揭露的系統,裝置和方法,可以藉由其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述模組的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式。
所述作為分離部件說明的模組可以是或者也可以不是物理上分開的,作為模組顯示的部件可以是或者也可以不是物理單元,即可以位於一個地方,或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。
另外,在本發明各個實施例中的各功能模組可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現,也可以採用硬體加軟體功能模組的形式實現。
對於本領域技術人員而言,顯然本發明不限於上述示範性實施例的細節,而且在不背離本發明的精神或基本特徵的情況下,能夠以其他的具體形式實現本發明。
因此,無論從哪一點來看,均應將實施例看作是示範性的,而且是非限制性的,本發明的範圍由所附請求項而不是上述說明限定,因此旨在將落在請求項的等同要件的含義和範圍內的所有變化涵括在本發明內。不應將請求項中的任何附關聯圖標記視為限制所涉及的請求項。
此外,顯然“包括”一詞不排除其他單元或步驟,單數不排除複數。系統請求項中陳述的多個單元或裝置也可以由一個單元或裝置藉由軟體或者硬體來實現。第二等詞語用來表示名稱,而並不表示任何特定的順序。
最後應說明的是,以上實施例僅用以說明本發明的技術方案而非限制,儘管參照較佳實施例對本發明進行了詳細說明,本領域的普通技術人員應當理解,可以對本發明的技術方案進行修改或等同替換,而不脫離本發明技術方案的精神和範圍。
S10~S16:步驟

Claims (8)

  1. 一種影像處理方法,應用於電子設備,其中,所述影像處理方法包括:回應於接收到的影像處理指令,獲取訓練數據;利用預設的深度學習架構,以所述訓練數據訓練預設深度學習模型,得到初始模型,其中,所述初始模型的數據類型為全精度;根據要求的數據處理速度或者準確度轉換所述初始模型的數據類型,包括:回應於所述要求的數據處理速度大於或者等於預設速度,確定所述初始模型的數據類型轉換為int8;或者回應於所述要求的準確度大於或者等於預設準確度,確定所述初始模型的數據類型轉換為半精度;向轉換後的初始模型中加入修正層;訓練所述修正層的權重以優化所述初始模型,得到影像處理模型;從所述影像處理指令中獲取待處理圖像;將所述待處理圖像輸入至所述影像處理模型中,輸出影像處理結果。
  2. 如請求項1所述的影像處理方法,其中:數據類型為int8的模型的數據處理速度高於數據類型為半精度的模型的數據處理速度,且數據類型為int8的模型的準確度低於數據類型為半精度的模型的準確度。
  3. 如請求項1所述的影像處理方法,其中,所述訓練所述修正層的權重以優化所述初始模型,得到影像處理模型包括:固定所述初始模型中各個層的權重以訓練所述修正層的權重;回應於模型的準確度大於或者等於預設閾值,停止訓練,得到所述影像處理模型。
  4. 如請求項1所述的影像處理方法,其中,所述訓練所述修正層的權重以優化所述初始模型,得到影像處理模型還包括:以全精度作為數據類型訓練所述修正層的權重,得到所述影像處理模型。
  5. 如請求項1所述的影像處理方法,其中,所述影像處理方法還包括:構建驗證數據集;以所述驗證數據集中的數據對所述影像處理模型進行驗證。
  6. 一種影像處理裝置,其中,所述影像處理裝置包括:獲取單元,用於回應於接收到的影像處理指令,獲取訓練數據;訓練單元,用於利用預設的深度學習架構,以所述訓練數據訓練預設深度學習模型,得到初始模型,其中,所述初始模型的數據類型為全精度;轉換單元,用於根據要求的數據處理速度或者準確度轉換所述初始模型的數據類型,包括:回應於所述要求的數據處理速度大於或者等於預設速度,確定所述初始模型的數據類型轉換為int8;或者回應於所述要求的準確度大於或者等於預設準確度,確定所述初始模型的數據類型轉換為半精度;加入單元,用於向轉換後的初始模型中加入修正層;優化單元,用於訓練所述修正層的權重以優化所述初始模型,得到影像處理模型;所述獲取單元,還用於從所述影像處理指令中獲取待處理圖像;處理單元,用於將所述待處理圖像輸入至所述影像處理模型中,輸出影像處理結果。
  7. 一種電子設備,其中,所述電子設備包括:記憶體,存儲至少一個指令;及處理器,執行所述記憶體中存儲的指令以實現如請求項1至5中任意一項所述的影像處理方法。
  8. 一種電腦可讀存儲介質,其中:所述電腦可讀存儲介質中存儲有至少一個指令,所述至少一個指令被電子設備中的處理器執行以實現如請求項1至5中任意一項所述的影像處理方法。
TW109125478A 2020-07-28 2020-07-28 影像處理方法、裝置、電子設備及存儲介質 TWI807204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW109125478A TWI807204B (zh) 2020-07-28 2020-07-28 影像處理方法、裝置、電子設備及存儲介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109125478A TWI807204B (zh) 2020-07-28 2020-07-28 影像處理方法、裝置、電子設備及存儲介質

Publications (2)

Publication Number Publication Date
TW202205158A TW202205158A (zh) 2022-02-01
TWI807204B true TWI807204B (zh) 2023-07-01

Family

ID=81323678

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109125478A TWI807204B (zh) 2020-07-28 2020-07-28 影像處理方法、裝置、電子設備及存儲介質

Country Status (1)

Country Link
TW (1) TWI807204B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304921A (zh) * 2018-02-09 2018-07-20 北京市商汤科技开发有限公司 卷积神经网络的训练方法及图像处理方法、装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304921A (zh) * 2018-02-09 2018-07-20 北京市商汤科技开发有限公司 卷积神经网络的训练方法及图像处理方法、装置

Also Published As

Publication number Publication date
TW202205158A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
WO2021258850A1 (zh) 基于人工智能的经营指标评价方法、装置、设备及介质
WO2021212683A1 (zh) 基于法律知识图谱的查询方法、装置、电子设备及介质
WO2023056943A1 (zh) 基于物联网规则引擎的终端控制方法、装置、设备及介质
US20190073224A1 (en) Techniques for capturing state information and performing actions for threads in a multi-threaded computing environment
WO2023159755A1 (zh) 虚假新闻检测方法、装置、设备及存储介质
CN111738212B (zh) 基于人工智能的交通信号灯识别方法、装置、设备及介质
CN113806434B (zh) 大数据处理方法、装置、设备及介质
CN114124968B (zh) 基于行情数据的负载均衡方法、装置、设备及介质
WO2022095519A1 (zh) 通关检验方法、装置、电子设备及计算机可读存储介质
CN111985545B (zh) 基于人工智能的目标数据检测方法、装置、设备及介质
CN111950621A (zh) 基于人工智能的目标数据检测方法、装置、设备及介质
CN113890712A (zh) 数据传输方法、装置、电子设备及可读存储介质
CN114864043A (zh) 基于vr设备的认知训练方法、装置及介质
TWI807204B (zh) 影像處理方法、裝置、電子設備及存儲介質
CN116701233B (zh) 基于高并发报单模拟的交易系统测试方法、设备及介质
CN107506399B (zh) 数据单元快速分段的方法、系统、设备及存储介质
WO2021212636A1 (zh) 表单页面生成方法、装置、终端及存储介质
CN112948705A (zh) 一种基于政策大数据的智能匹配方法、装置及介质
WO2023272853A1 (zh) 基于ai的sql引擎调用方法、装置、设备及介质
CN116823141A (zh) 付款数据处理方法、装置、设备及介质
TWI777319B (zh) 幹細胞密度確定方法、裝置、電腦裝置及儲存介質
CN114004968A (zh) 图像处理方法、装置、电子设备及存储介质
CN112528183B (zh) 基于大数据的网页组件布局方法、装置、电子设备及介质
CN116934263B (zh) 产品批量准入方法、装置、设备及介质
CN116414699B (zh) 运营运维测试方法、装置、设备及介质