TW202207693A - 資料產生方法、學習方法、推定方法、資料產生裝置及程式 - Google Patents

資料產生方法、學習方法、推定方法、資料產生裝置及程式 Download PDF

Info

Publication number
TW202207693A
TW202207693A TW110109038A TW110109038A TW202207693A TW 202207693 A TW202207693 A TW 202207693A TW 110109038 A TW110109038 A TW 110109038A TW 110109038 A TW110109038 A TW 110109038A TW 202207693 A TW202207693 A TW 202207693A
Authority
TW
Taiwan
Prior art keywords
image
data
processing
learning
model
Prior art date
Application number
TW110109038A
Other languages
English (en)
Inventor
森山豊
安藤嘉基
保坂肇
秦龍平
新見雄亮
野村宜邦
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202207693A publication Critical patent/TW202207693A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本揭示係經由自實際拍攝之圖像產生之理想圖像，取得訓練資料。 本揭示之資料產生方法係藉由處理器產生用於學習模型之資料的方法，且該方法自藉由特定器件取得之攝影圖像，產生與上述模型之輸出資料對應之理想圖像，自上述理想圖像，產生與上述模型之輸入資料對應之劣化圖像。

Description

資料產生方法、學習方法、推定方法、資料產生裝置及程式
本揭示係關於一種資料產生方法、學習方法、推定方法、資料產生裝置及程式。
當前，以深度學習為首，廣泛研究利用機械學習產生推定模型等。執行機械學習之情形時，需要對產生之模型輸入大量訓練資料。又，為了執行驗證，亦需要大量訓練資料。為了收集用於產生以圖像為輸入之模型之訓練資料，需要取得實際之風景作為照片，或繪畫。
然而，收集資料費時間，產生人為錯誤等之概率亦較高。又，實拍圖像之情形時，雖準備圖像較為簡單，但因已附加劣化要素(透鏡特性、影像感測器特性、信號處理之特性)，故僅可限定且不正確地附加劣化要素。再者，由於收集教學資料之觀點中，實拍圖像已包含劣化要素，故實拍圖像不能稱為作為教學資料使用之理想圖像。 [先前技術文獻] [專利文獻]
專利文獻1：日本專利特開平6-348840號公報
[發明所欲解決之問題]
因此，本揭示自實際拍攝之圖像產生理想圖像，基於該圖像產生訓練資料。 [解決問題之技術手段]
根據一實施形態，資料產生方法係藉由處理器產生用於學習模型之訓練資料的方法，且該方法自藉由特定器件取得之攝影圖像，產生與上述模型之輸出資料對應之理想圖像，自上述理想圖像，產生與上述模型之輸入資料對應之劣化圖像。
亦可基於上述特定器件之透鏡相關之劣化，產生上述理想圖像。
亦可基於上述特定器件之感測器相關之劣化，產生上述理想圖像。
亦可縮小上述攝影圖像而產生上述理想圖像。
亦可基於由上述特定器件取得之相同情景之複數個靜止圖像，產生上述理想圖像。
亦可基於上述複數個靜止圖像之統計量，產生上述理想圖像。
上述統計量亦可包含每一像素之平均值、模式、中值或分散值中之至少一者。
亦可對上述攝影圖像使用全域偏移而產生上述理想圖像。
亦可校準上述攝影圖像而產生上述理想圖像。
亦可基於拍攝上述模型之輸入圖像之目標器件相關之資訊，產生上述劣化圖像。
亦可基於上述目標器件之透鏡相關之劣化，產生上述劣化圖像。
亦可基於上述目標器件之感測器相關之劣化，產生上述劣化圖像。
亦可基於上述目標器件中執行之信號處理，產生上述劣化圖像。
學習方法亦可使用藉由上述任一項記載之資料產生方法產生之上述訓練資料，將模型最佳化。
推定方法亦可使用模型進行推定，該模型經使用藉由上述任一項記載之資料產生方法產生之上述訓練資料而最佳化。
根據一實施形態，資料產生裝置係產生用於學習模型之訓練資料者，亦可具備執行上述任一項記載之任一方法之處理器。
根據一實施形態，程式亦可使電腦執行上述任一項記載之方法。
以下，使用圖式，針對本揭示之實施形態進行說明。
圖1係顯示一實施形態之資料產生裝置之一例之圖。資料產生裝置1具備輸入輸出介面(以下，記作輸入輸出I/F 100)、記憶部102、理想圖像產生部104、及劣化圖像產生部106。
輸入輸出I/F 100係執行向資料產生裝置1輸入資料及輸出來自資料產生裝置1之資料之介面。資料產生裝置1經由輸入輸出I/F 100輸入資料，經由輸入輸出I/F 100向外部輸出資料。例如，資料產生裝置1經由輸入輸出I/F 100取得實際由各種器件拍攝之圖像資料。此外，輸入輸出I/F 100亦可具備受理來自使用者之指令，向使用者進行某些輸出之介面。又，不限於此，資料產生裝置1亦可分開具備輸入I/F與輸出I/F。
記憶部102暫時或非暫時儲存資料產生裝置1中需要之資料。記憶部102例如具備記憶體。又，由軟體執行資料產生裝置1之功能中之至少一者之情形時，記憶部102亦可儲存用以執行資料產生裝置1之各功能中之至少一者之程式。例如，記憶部102可儲存經由輸入輸出I/F 100輸入之資料，亦可儲存產生之訓練資料。又，資料產生裝置1之運算時，亦可適當儲存中途經過等。
理想圖像產生部104根據自輸入輸出I/F 100輸入之圖像產生理想圖像。理想圖像產生部104例如藉由對輸入之圖像實施適當之圖像處理，產生理想圖像。
劣化圖像產生部106自理想圖像產生部104產生之理想圖像，產生劣化圖像。劣化圖像產生部106基於相機相關之參數，例如透鏡之參數、感測器之參數等，產生劣化圖像。
資料產生裝置1將理想圖像產生部104產生之理想圖像及劣化圖像產生部106產生之劣化圖像作為訓練資料，經由輸入輸出I/F 100輸出。又，亦可於記憶部102儲存訓練資料。如此，資料產生裝置1對輸入之實際拍攝之資料實施適當之圖像恢復處理，產生高畫質之理想圖像，對該理想圖像實施任意之劣化處理，產生劣化圖像。
圖2係顯示本實施形態之處理之流程圖。
首先，資料產生裝置1取得經由輸入輸出I/F 100實際拍攝之圖像(以下，記作攝影圖像)(S100)。各個圖像例如可為器件之規格已知者，亦可為未知者。輸入之圖像可為靜止圖像，亦可為動態圖像。為動態圖像之情形時，亦可取得每一訊框之圖像。
接著，理想圖像產生部104產生自攝影圖像抑制劣化要因之理想圖像(S102)。理想圖像產生部104於拍攝攝影圖像之器件之規格已知之情形時，亦可基於該規格，例如透鏡、感測器之規格，修正劣化。另一方面，拍攝攝影圖像之器件之規格未知之情形時，亦可使用反過濾處理、校準等一般之圖像修正方法。
接著，劣化圖像產生部106對理想圖像實施圖像處理，產生劣化圖像(S104)。該圖像處理亦可基於機械學習之最佳化目標模型決定。例如，以輸入特定器件之攝影圖像時，輸出理想圖像之方式將模型最佳化之情形時，劣化圖像產生部106亦可基於該特定器件之透鏡、感測器等之參數，使圖像劣化。又，劣化圖像產生部106亦可對理想圖像實施執行依存於用途而非依存器件之劣化的圖像處理。
接著，資料產生裝置1輸出理想圖像與劣化圖像之組合作為訓練資料(S106)。此處，所謂輸出，例如係亦包含配合輸出至資料產生裝置1外部之檔案伺服器、機械學習裝置，而儲存於資料產生裝置1之記憶部102之概念。
使用如此產生之訓練資料，機械學習裝置執行模型之最佳化。又，推定裝置使用利用如此產生之訓練資料最佳化之模型，自輸入圖像取得適當之推定圖像。
針對理想圖像產生部104之處理，舉非限定性具體例進行說明。理想圖像產生部104自具有已知或未知規格之相機拍攝之圖像產生理想圖像。
進行拍攝之相機已知之情形時，可決定因攝影圖像之相機而劣化之若干因素。因此，藉由執行基於透鏡系統、感測器系統之劣化要因之圖像恢復，可取得理想圖像。例如，可自透鏡系統取得點散佈函數(Point Spread Function：PSF)之情形時，亦可取得使用基於該PSF之反卷積過濾器去除攝影圖像之模糊之圖像。該情形時，亦可進而對該圖像執行適當之雜訊降低。可取得感測器系統之雜訊附加要因之情形時，亦可取得執行基於該雜訊附加要因之插值等後之圖像。此外，可取得劣化因素相關之參數之情形時，理想圖像產生部104亦可藉由基於該參數執行適當之圖像處理，產生理想圖像。
理想圖像產生部104於進行拍攝之相機未知，或進行拍攝之相機之規格未知之情形時，亦可如下例般產生理想圖像。
例如對於散粒雜訊、圖案雜訊等雜訊，理想圖像產生部104亦可藉由縮小圖像而抑制。縮小之算法亦可為任意算法。可於縮小前，進行實施高斯濾波等處理，亦於去除雜訊之前執行。
理想圖像產生部104例如於發生了隨機雜訊之情形，且，可使用產生了雜訊之攝影器件執行攝影之情形時，亦可連續取得複數張圖像，使用複數張圖像執行雜訊去除處理。例如，理想圖像產生部104藉由算出相同情景下之複數張圖像之各像素值之平均，而可抑制隨機雜訊。又，不僅平均值，亦可將各像素之模式、中值或分散值等平均值以外之統計量使用於理想圖像之產生處理。
理想圖像產生部104例如亦可藉由使用全域偏移而抑制劣化。一般而言，有拍攝之圖像會發生如未真正存在黑像素值之偏移之情形。其原因考慮透鏡系統、受光元件系統等各種原因，但亦可藉由於進行攝影之器件中拍攝黑圖像，而算出偏移，並自取得之圖像減去該偏移值，從而抑制圖像劣化。
理想圖像產生部104亦可執行抑制各種像差之圖像修正。例如，塞德爾像差中之球面像差、彗形像差、像散、像面彎曲像差可藉由縮小圖像而抑制。又，亦可執行使用移動變異之PSF之反過濾處理。
理想圖像產生部104亦可對畸變像差執行校準。校準例如以攝像器件預先拍攝棋盤格，預先根據該攝影像之畸變算出執行圖像修正之矩陣(畸變修正係數)。接著，理想圖像產生部104亦可使用該矩陣，校正攝影圖像之畸變。
雖已舉若干理想圖像產生部104之理想圖像取得之例，但如上所述，該等係非限定性具體例，係作為用以取得恢復圖像之例而記載者。理想圖像產生部104例如亦可如全盲反卷積(blind-deconvolution)般，使用其它圖像恢復方法，自攝影圖像產生理想圖像。再者，存在可修正該圖像而取得理想圖像之已學習模型之情形時，理想圖像產生部104亦可使用該已學習模型，取得理想圖像。又，理想圖像產生部104並非單獨適用上述所列舉之具體例，亦可使用複數種方法產生理想圖像。
接著，針對劣化圖像產生部106之處理，舉非限定性具體例進行說明。劣化圖像產生部106例如使用成為使用推定模型之對象之器件之相機相關的參數，產生劣化圖像。
例如，將推定模型搭載於數位相機，欲自動取得對於攝影圖像之理想圖像之情形時，劣化圖像產生部106對理想圖像，產生與該數位相機之特性匹配之劣化圖像。數位相機之特性亦可為例如由透鏡系統、感測器系統各者之參數定義者。又，該劣化因素亦可為基於透鏡系統及感測器系統與攝像面相隔之距離者。
劣化圖像產生部106例如取得拍攝成為由推定模型恢復之對象之圖像之相機的透鏡系統之透鏡塊數、功率、數值孔徑、焦距等透鏡系統相關之參數。亦可基於該取得之參數，分析經由該透鏡系統時會產生何種劣化，根據該分析結果執行劣化處理。關於感測器系統亦同樣，亦可掌握感測器中存在何種特性，假設因該特性產生之雜訊等劣化，執行劣化處理。
又，成為推定對象之攝影器件於圖像輸出之前，對原始資料執行某些信號處理(亦可包含圖像處理)之情形時，亦可對進行上述劣化處理後之圖像實施相同之信號處理，並作為劣化圖像輸出。
資料產生裝置1將上述說明之理想圖像產生部104與劣化圖像產生部106之圖像建立關聯，作為訓練資料輸出。另，藉由理想圖像產生部104產生之理想圖像亦可另外儲存。且，亦可使用該理想圖像，進行針對其它目標器件之劣化圖像之產生。
如上所述，根據本實施形態之資料產生裝置1，並非使用由某器件拍攝之圖像作為理想圖像，而係將該攝影圖像轉換成理想圖像，並自其取得目標器件之劣化圖像，藉此可取得用以將可實現精度較佳之推定之模型最佳化之訓練資料。其理由在於，因攝影圖像為已劣化之圖像，故即使將該圖像作為理想圖像訓練亦無法推定期望之結果之故。又，由於可適當變更將理想圖像設為何種圖像，故可任意決定推定模型中推定出之結果為何種圖像。
再者，藉由由理想圖像產生部104產生理想圖像，劣化圖像產生部106可產生各種劣化圖像。其原因在於，可對攝影圖像之透鏡參數等不成為問題之理想圖像執行劣化處理之故。例如，亦可使用CG資料作為理想圖像，但根據本實施形態之資料產生裝置1，可削減產生CG資料之成本。
圖3顯示本實施形態之機械學習系統2。如該圖3所示，機械學習系統2具備資料產生裝置1與機械學習裝置3。機械學習裝置3以資料產生裝置1產生之理想圖像與劣化圖像為訓練資料，將模型最佳化。另，亦可為於機械學習裝置3備置資料產生裝置1之形態。
具備該模型之推定裝置可自由目標器件拍攝之圖像推定期望之圖像。
根據以上說明之所有實施形態，並非將實際拍攝之圖像直接作為理想圖像(教學圖像)使用，可藉由電腦模擬自該實際拍攝之圖像產生理想圖像。又，針對該理想圖像之劣化圖像亦可藉由電腦模擬產生。如此，可於既無理想圖像亦無劣化圖像之狀態下，自實拍圖像產生訓練資料。該劣化圖像之產生亦可藉由變更模擬之參數而適用於各種器件。因此，根據本揭示之態樣，可產生適當設定因製品而異之參數之劣化圖像。又，該劣化圖像自理想圖像產生，但並非使用實拍圖像作為該理想圖像，可使用藉由模擬恢復依存於進行拍攝之器件之劣化的圖像，故可產生品質較佳之資料作為機械學習之訓練之教學資料。
本揭示之態樣亦可藉由程式安裝。亦可為程式記憶於記憶部，且藉由硬體具體實現軟體之資訊處理者。軟體之處理除於CPU(Central Processing Unit：中央處理單元)、GPU(Graphics Processing Unit：圖形處理單元)等處理器中執行外，亦可藉由各種類比電路或數位電路，例如FPGA(Field Programmable Gate Array：場可程式化閘陣列)、ASIC(Application Specific Integrated Circuit：專用積體電路)、DSP(Digital Signal Processor：數位信號處理器)安裝。
＜利用AI之應用例＞
適用本揭示之技術(本技術)之構成中，可利用機械學習等人工智慧(AI：Artificial Intelligence)。圖4係顯示包含進行AI處理之裝置之系統之構成例。
電子機器20001為智慧型手機、平板型終端、行動電話等移動終端。電子機器20001具有光感測器20011。光感測器係將光轉換成電性信號之感測器(圖像感測器)。電子機器20001藉由以與特定通信方式對應之無線通信連接於設置在特定場所之基地台20020，可經由核心網路20030，連接於網際網路等網路20040。
於基地台20020與核心網路20030之間等更靠近移動終端之位置，設置用以實現移動邊緣計算(MEC：Mobile Edge Computing)之邊緣伺服器20002。對網路20040連接雲端伺服器20003。邊緣伺服器20002與雲端伺服器20003可進行與用途對應之各種處理。另，邊緣伺服器20002亦可設置於核心網路20030內。
藉由電子機器20001、邊緣伺服器20002、雲端伺服器20003或光感測器20011，進行AI處理。AI處理係利用機械學習等之AI對本揭示之技術進行處理者。AI處理包含學習處理與推理處理。學習處理係產生學習模型之處理。又，學習處理中亦包含後述之再學習處理。推理處理係進行使用學習模型之推理之處理。以下，將本揭示之技術相關之處理區分為通常處理與AI處理，通常處理是指不利用AI進行處理者。
電子機器20001、邊緣伺服器20002、雲端伺服器20003或光感測器20011中，藉由CPU(Central Processing Unit)等處理器執行程式，或使用專門用於特定用途之處理器等專用硬體，實現AI處理。例如，作為專門用於特定用途之處理器，可使用GPU(Graphics Processing Unit)。
圖5係顯示電子機器20001之構成例。電子機器20001具有進行各部之動作控制或各種處理之CPU20101、專門用於圖像處理或並行處理之GPU20102、DRAM(Dynamic Random Access Memory：動態隨機存取記憶體)等之主記憶體20103、及快閃記憶體等之輔助記憶體20104。
輔助記憶體20104記錄AI處理用程式或各種參數等資料。CPU20101將記錄於輔助記憶體20104之程式或參數於主記憶體20103中展開而執行程式。或者，CPU20101與GPU20102將記錄於輔助記憶體20104之程式或參數於主記憶體20103中展開而執行程式。藉此，可使用GPU20102作為GPGPU(General Purpose Computing on Graphics Processing Unit，圖形處理單元通用計算)。
另，CPU20101或GPU20102亦可以SoC(System on a Chip：單晶片系統)構成。由CPU20101執行AI處理用程式之情形時，亦可不設置GPU20102。
電子機器20001還具有：光感測器20011；實體按鈕或觸控面板等操作部20105；感測器20106，其至少包含1個以上感測器；顯示器20107，其顯示圖像或文字等之資訊；揚聲器20108，其輸出聲音；通信模組等通信I/F20109，其與特定通信方式對應；及匯流排20110，其將該等連接。
感測器20106至少具有1個上之各種感測器，即光感測器(圖像感測器)、聲音感測器(麥克風)、振動感測器、加速度感測器、角速度感測器、壓力感測器、氣味感測器、生物體感測器等。AI處理中，可與自光感測器20011取得之圖像資料一起使用自感測器20106之至少1個以上感測器取得之資料。如此，藉由與圖像資料一起使用自各種感測器獲得之資料，可利用多模式AI之技術，實現適合各種場面之AI處理。
另，將藉由感測器融合技術自2個以上光感測器取得之圖像資料整合處理而得之資料亦可使用於AI處理。作為2個以上光感測器，可組合光感測器20011與感測器20106內之光感測器，或，亦可於光感測器20011內包含有複數個光感測器。例如，光感測器中包含RGB之可見光感測器、ToF(Time of Flight：飛行時間)等測距感測器、偏光感測器、基於事件之感測器、取得IR(Infrared Radiation：紅外輻射)像之感測器、可取得多波長之感測器等。
電子機器20001中，可藉由CPU20101或GPU20102等處理器進行AI處理。由電子機器20001之處理器進行推理處理之情形時，由於以光感測器20011取得圖像資料後可立即開始處理，故可高速進行處理。因此，電子機器20001中，將推理處理用於要求於較短之延遲時間內傳遞資訊之應用程式等之用途時，使用者可拋開延遲之不適感而進行操作。又，由電子機器20001之處理器進行AI處理之情形時，與利用雲端伺服器20003等伺服器之情形相比，無須利用通信線路或伺服器用電腦機器等，可以低成本實現處理。
圖6係顯示邊緣伺服器20002之構成例。邊緣伺服器20002具有進行各部之動作控制或各種處理之CPU20201、及專門用於圖像處理或並行處理之GPU20202。邊緣伺服器20002進而具有DRAM等主記憶體20203、HDD(Hard Disk Drive：硬碟驅動器)或SSD(Solid State Drive：固態驅動器)等輔助記憶體20204、NIC(Network Interface Card：網路介面卡)等通信I/F20205，該等連接於匯流排20206。
輔助記憶體20204記錄AI處理用程式或各種參數等資料。CPU20201將記錄於輔助記憶體20204之程式或參數於主記憶體20203中展開，並執行程式。或者，CPU20201與GPU20202藉由將記錄於輔助記憶體20204之程式或參數於主記憶體20203中展開，並執行程式，而可使用GPU20202作為GPGPU。另，由CPU20201執行AI處理用程式之情形時，亦可不設置GPU20202。
邊緣伺服器20002中，可藉由CPU20201或GPU20202等處理器執行AI處理。由邊緣伺服器20002之處理器進行AI處理之情形時，邊緣伺服器20002與雲端伺服器20003相比，設置於靠近電子機器20001之位置，因而可實現處理之低延遲化。又，由於邊緣伺服器20002與電子機器20001或光感測器20011相比，運算速度等處理能力較高，故可汎用地構成。因此，由邊緣伺服器20002之處理器進行AI處理之情形時，可無關電子機器20001或光感測器20011之樣式或性能差異，只要可接收資料即可進行AI處理。由邊緣伺服器20002進行AI處理之情形時，可減輕電子機器20001或光感測器20011之處理負荷。
由於雲端伺服器20003之構成與邊緣伺服器20002之構成相同，故省略說明。
雲端伺服器20003中，可藉由CPU20201或GPU20202等處理器執行AI處理。由於雲端伺服器20003與電子機器20001或光感測器20011相比，運算速度等處理能力較高，故可汎用地構成。因此，由雲端伺服器20003之處理器進行AI處理之情形時，無關電子機器20001或光感測器20011之樣式或性能差異，皆可進行AI處理。又，難以由電子機器20001或光感測器20011之處理器進行高負荷之AI處理之情形時，可由雲端伺服器20003之處理器進行該高負荷之AI處理，將其處理結果反饋至電子機器20001或光感測器20011之處理器。
圖7係顯示光感測器20011之構成例。光感測器20011例如以具有將複數塊基板加以積層之積層構造之1塊晶片之半導體裝置構成。光感測器20011積層基板20301與基板20302之2塊基板而構成。另，作為光感測器20011之構成，不限於積層構造，例如包含攝像部之基板亦可包含CPU或DSP(Digital Signal Processor)等進行AI處理之處理器。
於上層之基板20301，搭載有二維排列複數個像素而構成之攝像部20321。於下層之基板20302，搭載有：進行攝像部20321之圖像拍攝相關之處理之攝像處理部20322；將攝像圖像或信號處理結果輸出至外部之輸出I/F20323；及控制攝像部20321之圖像拍攝之攝像控制部20324。由攝像部20321、攝像處理部20322、輸出I/F20323及攝像控制部20324構成攝像區塊20311。
又，於下層之基板20302，搭載有：進行各部之控制或各種處理之CPU20331；進行使用攝像圖像或來自外部之資訊等之信號處理之DSP20332；SRAM(Static Random Access Memory：靜態隨機存取記憶體)或DRAM(Dynamic Random Access Memory)等記憶體20333；與外部進行需要資訊之交換之通信I/F20334。由CPU20331、DSP20332、記憶體20333及通信I/F20334構成信號處理區塊20312。可由CPU20331及DSP20332之至少一個處理器進行AI處理。
如此，可於將複數塊基板積層之積層構造之下層之基板20302，搭載AI處理用信號處理區塊20312。藉此，將由搭載於上層之基板20301之攝像用攝像區塊20311取得之圖像資料在搭載於下層之基板20302之AI處理用信號處理區塊20312中進行處理，故可於1塊晶片之半導體裝置內進行一連串處理。
光感測器20011中，可藉由CPU20331等處理器進行AI處理。由光感測器20011之處理器進行推理處理等AI處理之情形時，由於可於1塊晶片之半導體裝置內進行一連串處理，資訊不會洩漏至感測器外部，故可提高資訊之隱蔽性。又，由於無須將圖像資料等資料發送至其它裝置，故光感測器20011之處理器中，可高速進行使用圖像資料之推理處理等AI處理。例如，將推理處理使用於謀求即時性之應用程式等之用途時，可充分確保即時性。此處，確保即時性是指可以於較短之延遲時間內傳遞資訊。再者，光感測器20011之處理器進行AI處理時，藉由電子機器20001之處理器交接各種元資料，藉此可削減處理，謀求低消耗電力化。
圖8係顯示處理部20401之構成例。電子機器20001、邊緣伺服器20002、雲端伺服器20003或光感測器20011之處理器藉由執行依照程式之各種處理，而作為處理部20401發揮功能。另，亦可使相同或不同裝置具有之複數個處理器作為處理部20401發揮功能。
處理部20401具有AI處理部20411。AI處理部20411進行AI處理。AI處理部20411具有學習部20421與推理部20422。
學習部20421進行產生學習模型之學習處理。學習處理中，產生進行過用以修正圖像資料所含之修正對象像素之機械學習之已機械學習之學習模型。又，學習部20421亦可進行更新已產生之學習模型之再學習處理。以下之說明中，區分學習模型之產生與更新進行說明，但亦可謂藉由更新學習模型而產生學習模型，故產生學習模型包含更新學習模型之含義。
又，藉由將產生之學習模型記錄於電子機器20001、邊緣伺服器20002、雲端伺服器20003或光感測器20011等具有之主記憶體或輔助記憶體等記憶媒體，而可於推理部20422進行之推理處理中重新利用。藉此，可產生進行基於該學習模型之推理處理之電子機器20001、邊緣伺服器20002、雲端伺服器20003、或光感測器20011等。再者，產生之學習模型亦可記錄於與電子機器20001、邊緣伺服器20002、雲端伺服器20003、或光感測器20011等獨立之記憶媒體或電子機器，而供其它裝置使用。另，該等電子機器20001、邊緣伺服器20002、雲端伺服器20003、或光感測器20011等之產生，不僅包含製造時將新的學習模型記錄於其等之記憶媒體，亦包含更新已記錄之已產生學習模型。
推理部20422進行使用學習模型之推理處理。推理處理中，使用學習模型，進行用以修正圖像資料所含之修正對象像素之處理。修正對象像素係與圖像資料對應之圖像內之複數個像素中，滿足特定條件之修正對象之像素。作為修正處理，如上述實施形態所記載，有圖像劣化修正、雜訊修正、像差修正等，但並非限定於該等者。
作為機械學習方法，可使用神經網路或深度學習等。神經網路係模擬人類之腦神經迴路之模型，包含輸入層、中間層(隱藏層)、輸出層之3種層。深度學習係使用多層構造之神經網路之模型，可於各層重複特徵性學習，而學習藏匿於大量資料中之複雜圖案。
作為機械學習之問題設定，可使用監督式學習。例如，監督式學習基於賦予之帶標簽之教學資料學習特徵量。藉此，可導出未知資料之標籤。教學資料可使用實際藉由光感測器取得之圖像資料、或集中管理之已取得之圖像資料、藉由模擬產生之資料組等。又，作為機械學習之學習用資料組，亦可如上述實施形態所記載，自藉由光感測器等特定器件取得之攝影圖像，產生與上述模型之輸出資料對應之教學圖像(理想圖像)，進而自上述教學圖像(理想圖像)，產生與上述模型之輸入資料對應之劣化圖像。
另，不限於監督式學習，亦可使用無監督學習、半監督學習、強化學習等。無監督學習大量分析未帶標籤之學習資料並擷取特徵量，基於擷取出之特徵量進行分群等。藉此，可基於龐大之未知資料進行傾向分析或預測。半監督學習係監督式學習與無監督學習混存者，且係以監督式學習學習特徵量後，以無監督學習賦予龐大之教學資料，一面自動算出特徵量一面進行重複學習之方法。強化學習係處理以下問題者：於某環境內，代理人觀察目前狀態，決定應採取之行動。
如此，藉由使電子機器20001、邊緣伺服器20002、雲端伺服器20003或光感測器20011之處理器作為AI處理部20411發揮功能，而以由該等裝置之任一者或複數個裝置進行AI處理。
AI處理部20411只要具有學習部20421及推理部20422中之至少一者即可。即，當然，各裝置之處理器可執行學習處理與推理處理兩個處理，但亦可執行學習處理與推理處理中之一個處理。例如，電子機器20001之處理器進行推理處理與學習處理之兩者之情形時，具有學習部20421與推理部20422，但僅進行推理處理之情形時，只要僅具有推理部20422即可。
各裝置之處理器可執行學習處理或推理處理相關之所有處理，亦可由各裝置之處理器執行一部分處理後，由其它裝置之處理器執行剩餘處理。又，各裝置中，可具有用以執行學習處理或推理處理等AI處理之各個功能之共通的處理器，亦可按照每一功能而個別具有處理器。
另，亦可由上述裝置以外之其它裝置進行AI處理。例如，電子機器20001可藉由能利用無線通信等連接之其它電子機器進行AI處理。具體而言，電子機器20001為智慧型手機之情形時，作為進行AI處理之其它電子機器，可為其它智慧型手機、平板型終端、行動電話、PC(Personal Computer：個人電腦)、遊戲機、電視接收機、穿戴式終端、數位靜態相機、數位視訊相機等裝置。
又，使用搭載於汽車等移動體之感測器、或遠端醫療機器用之感測器等之構成中，可適用推理處理等AI處理，但於該等環境下謀求短延遲時間。此種環境下，並非經由網路20040由雲端伺服器20003之處理器進行AI處理，而由本地側之裝置(例如，作為車載機器或醫療機器之電子機器20001)之處理器進行AI處理，藉此可縮短延遲時間。再者，無連接於網際網路等網路20040之環境之情形、或於無法進行高速連接之環境下使用之裝置之情形時，例如藉由以電子機器20001或光感測器20011等本地側裝置之處理器進行AI處理，而可於更適當之環境下進行AI處理。
另，上述構成為一例，亦可採用其它構成。例如，電子機器20001不限於智慧型手機等移動終端，亦可為PC、遊戲機、電視接收機、穿戴式終端、數位靜態相機、數位視訊相機等電子機器、車載機器、醫療機器。又，電子機器20001亦可藉由與無線LAN(Local Area Network)或有線LAN等特定通信方式對應之無線通信或有線通信，連接於網路20040。AI處理不限於各裝置之CPU或GPU等處理器，亦可利用量子電腦或神經形態電腦等。
＜處理流程＞ 參照圖9之流程圖，說明利用AI之處理之流程。
步驟S20001中，處理部20401取得來自光感測器20011之圖像資料。步驟S20002中，例如處理部20401進行針對取得之圖像資料之修正處理。該修正處理中，對圖像資料之至少一部分進行使用學習模型之推理處理，獲得修正圖像資料所含之修正對象像素後之資料即已修正資料。步驟S20003中，處理部20401輸出由修正處理而得之已修正資料。
此處，參照圖10之流程圖，說明上述步驟S20002之修正處理之細節。
步驟S20021中，處理部20401特定圖像資料所含之修正對象像素。特定該修正對象像素之步驟(以下，稱為特定步驟(Detection Step))中，進行推理處理或通常處理。
進行推理處理作為特定步驟之情形時，推理部20422中，藉由對學習模型輸入圖像資料，而輸出用以特定輸入之圖像資料所含之修正對象像素之資訊(以下，稱為特定資訊(Detection Information))，故可特定修正對象像素。此處，可使用輸入包含修正對象像素之圖像資料，輸出圖像資料所含之修正對象像素之特定資訊之學習模型。另一方面，進行通常處理作為特定步驟之情形時，藉由電子機器20001或光感測器20011之處理器或信號處理電路，不利用AI進行特定圖像資料所含之修正對象像素之處理。
步驟S20021中，特定圖像資料所含之修正對象像素後，處理進入至步驟S20022。步驟S20022中，處理部20401修正特定出之修正對象像素。修正該修正對象像素之步驟(以下，稱為修正步驟(Correction Step))中，進行推理處理或通常處理。
進行推理處理作為修正步驟之情形時，推理部20422中，藉由對學習模型輸入圖像資料及修正對象像素之特定資訊，而輸出經修正之圖像資料或經修正之修正對象像素之特定資訊，故可對修正對象像素進行修正。此處，可使用輸入包含修正對象像素之圖像資料及修正對象像素之特定資訊，輸出經修正之圖像資料或經修正之修正對象像素之特定資訊的學習模型。另一方面，進行通常處理作為修正步驟之情形時，藉由電子機器20001或光感測器20011之處理器或信號處理電路，不利用AI進行修正圖像資料所含之修正對象像素之處理。
如此，修正處理中，藉由於特定修正對象像素之特定步驟進行推理處理或通常處理，於修正特定出之修正對象像素之修正步驟進行推理處理或通常處理，而於特定步驟及修正步驟之至少一個步驟進行推理處理。即，修正處理中，對來自光感測器20011之圖像資料之至少一部分進行使用學習模型之推理處理。
又，修正處理中，使用推理處理，藉此與修正步驟一體進行特定步驟。進行推理處理作為此種修正步驟之情形時，推理部20422中，藉由對學習模型輸入圖像資料，而輸出對修正對象像素進行修正後之圖像資料，故可修正輸入之圖像資料所含之修正對象像素。此處，可使用輸入包含修正對象像素之圖像資料，輸出對修正對象像素進行修正後之圖像資料之學習模型。
然而，處理部20401中，亦可使用已修正資料產生元資料。圖11之流程圖中，顯示產生元資料時之處理流程。
步驟S20051、S20052中，與上述步驟S20001、S20002同樣，取得圖像資料，進行使用取得之圖像資料之修正處理。步驟S20053中，處理部20401使用由修正處理而得之已修正資料產生元資料。在產生該元資料之步驟(以下，稱為產生步驟(Generation Step))中，進行推理處理或通常處理。
進行推理處理作為產生步驟之情形時，於推理部20422中，藉由對學習模型輸入已修正資料，而輸出經輸入之已修正資料相關之元資料，故可產生元資料。此處，可使用輸入已修正資料且輸出元資料之學習模型。例如，元資料中包含點雲或資料構造體等三維資料。另，步驟S20051至S20054之處理亦可以端對端(end-to-end)之機械學習進行。另一方面，進行通常處理作為產生步驟之情形時，藉由電子機器20001或光感測器20011之處理器、信號處理電路，不利用AI，進行自已修正資料產生元資料之處理。
如上所述，電子機器20001、邊緣伺服器20002、雲端伺服器20003或光感測器20011中，作為使用來自光感測器20011之圖像資料之修正處理，進行特定出修正對象像素之特定步驟及對修正對象像素進行修正之修正步驟，或修正圖像資料所含之修正對象像素之修正步驟。再者，電子機器20001、邊緣伺服器20002、雲端伺服器20003或光感測器20011中，亦可使用由修正處理而得之已修正資料，進行產生元資料之產生步驟。
再者，亦可將該等已修正資料或元資料等資料記錄於可讀出之記憶媒體，而產生記錄有該等資料之記錄媒體，或搭載有該記憶媒體之電子機器等裝置。該記憶媒體可為電子機器20001、邊緣伺服器20002、雲端伺服器20003或光感測器20011所具備之主記憶體或輔助記憶體等記憶媒體，亦可為與該等獨立之記憶媒體或電子機器。
於修正處理中進行特定步驟與修正步驟之情形時，可於特定步驟、修正步驟及產生步驟中之至少一個步驟，進行使用學習模型之推理處理。具體而言，於特定步驟中進行推理處理或通常處理後，於修正步驟中進行推理處理或通常處理，進而於產生步驟中進行推理處理或通常處理，藉此於至少一個步驟進行推理處理。
又，於修正處理僅進行修正步驟之情形時，可於修正步驟進行推理處理，於產生步驟進行推理處理或通常處理。具體而言，於修正步驟進行推理步驟後，於生成步驟進行推理處理或通常處理，藉此於至少一個步驟進行推理處理。
如此，可於特定步驟、修正步驟及產生步驟之所有步驟進行推理處理，或者，亦可於一部分步驟進行推理處理，於剩餘步驟進行通常處理。以下，說明於各步驟進行推理處理時之處理。
(A)於特定步驟進行推理處理時之處理 於修正處理進行特定步驟與修正步驟之情形時，於該特定步驟進行推理處理時，推理部20422中，使用輸入包含修正對象像素之圖像資料，輸出圖像資料所含之修正對象像素之特定資訊之學習模型。該學習模型由學習部20421之學習處理而產生，並提供給推理部20422，於進行推理處理時使用。
若一面參照圖12之流程圖，一面說明於修正處理進行特定步驟與修正步驟之情形時，於該特定步驟進行推理處理時，事前進行之學習處理流程，則如下所述。即，學習部20421取得實際由光感測器取得之圖像資料、或集中管理之已取得之圖像資料、藉由模擬器產生之資料組等作為教學資料(S20061)，使用取得之教學資料產生學習模型(S20062)。
另，亦可基於上述實施形態，自藉由光感測器等特定器件取得之攝影圖像產生理想圖像後，產生與學習模型之輸出資料對應之教學圖像(圖像資料所含之修正對象像素之特定資訊)，進而自上述理想圖像，產生與學習模型之輸入資料對應之劣化圖像(包含修正對象像素之圖像資料)。又，亦可自攝像圖像直接產生教學圖像與劣化圖像之各者或任一者。
作為該學習模型，產生輸入包含修正對象像素之圖像資料，輸出圖像資料所含之修正對象像素之特定資訊之學習模型，並將其輸出至推理部20422(S20063)。
(B)於修正步驟進行推理處理時之處理 於修正處理進行特定步驟與修正步驟之情形時，於該修正步驟進行推理處理時，推理部20422中，可使用輸入包含修正對象像素之圖像資料及修正對象像素之特定資訊，輸出經修正之圖像資料或經修正之修正對象像素之特定資訊的學習模型。該學習模型由學習部20421之學習處理而產生。
若一面參照圖12之流程圖，一面說明於修正處理進行特定步驟與修正步驟之情形時，於該修正步驟進行推理處理時，事前進行之學習處理流程，則如下所述。即，學習部20421取得來自光感測器之圖像資料、或來自模擬器之資料組等作為教學資料(S20061)，使用取得之教學資料產生學習模型(S20062)。
另，亦可基於上述實施形態，自由光感測器等特定器件取得之攝影圖像產生理想圖像後，產生與學習模型之輸出資料對應之教學圖像(經修正之圖像資料或經修正之修正對象像素之特定資訊)，進而自上述理想圖像，產生與學習模型之輸入資料對應之劣化圖像(包含修正對象像素之圖像資料及修正對象像素之特定資訊)。
又，亦可自攝像圖像直接產生教學圖像與劣化圖像之各者或任一者。作為該學習模型，產生輸入包含修正對象像素之圖像資料及修正對象像素之特定資訊，輸出經修正之圖像資料或經修正之修正對象像素之特定資訊的學習模型，並將其輸出至推理部20422(S20063)。
(C)於修正步驟進行推理處理時之處理 於修正處理僅進行修正步驟之情形時，於該修正步驟進行推理處理時，推理部20422中，可使用輸入包含修正對象像素之圖像資料，輸出對修正對象像素進行修正後之圖像資料之學習模型。該學習模型由學習部20421之學習處理而產生。
若一面參照圖12之流程圖，一面說明於修正處理僅進行修正步驟之情形時，於該修正步驟進行推理處理時，事前進行之學習處理流程，則如下所述。即，學習部20421取得來自光感測器之圖像資料、或來自模擬器之資料組等作為教學資料(S20061)，使用取得之教學資料產生學習模型(S20062)。
另，如上述實施形態所記載，亦可自由光感測器等特定器件取得之攝影圖像產生與學習模型之輸出資料對應之教學(理想)圖像(對修正對象像素進行修正後之圖像資料)，進而自上述教學(理想)圖像，產生與學習模型之輸入資料對應之劣化圖像(包含修正對象像素之圖像資料)。
又，亦可自攝像圖像直接產生教學圖像與劣化圖像之各者。
作為該學習模型，產生輸入包含修正對象像素之圖像資料，輸出對修正對象像素進行修正後之圖像資料之學習模型，並將其輸出至推理部20422(S20063)。
且說，當然，學習模型或圖像資料、已修正資料等資料可於單一裝置內使用，亦可於複數個裝置間進行交換，而於該等裝置內使用。圖13係顯示複數個裝置間之資料之流動。
電子機器20001-1至20001-N(N為1以上之整數)為每一使用者所持有，可分別經由基地台(未圖示)等連接於網際網路等網路20040。製造時，可於電子機器20001-1連接學習裝置20501，將由學習裝置20501提供之學習模型記錄於輔助記憶體20104。學習裝置20501產生使用由模擬器20502產生之資料組作為教學資料之學習模型，並提供給電子機器20001-1。另，教學資料不限於自模擬器20502提供之資料組，亦可使用實際由光感測器取得之圖像資料、或集中管理之已取得之圖像資料等。
另，作為機械學習之學習用資料組，如上所述，亦可於自由光感測器等特定器件取得之攝影圖像產生理想圖像後，產生與學習模型之輸出資料對應之教學圖像，進而自理想圖像產生與學習模型之輸入資料對應之劣化圖像。
又，亦可自攝像圖像直接產生教學圖像與劣化圖像之各者或任一者。
再者，如上述實施形態所記載，亦可自由光感測器等特定器件取得之攝影圖像，產生與上述模型之輸出資料對應之教學圖像(理想圖像)，進而自上述教學圖像(理想圖像)，產生與上述模型之輸入資料對應之劣化圖像。
又，亦可自攝像圖像直接產生教學圖像與劣化圖像之各者。
雖省略圖示，但關於電子機器20001-2至20001-N，亦可與電子機器20001-1同樣，於製造時之階段記錄學習模型。以下，於無須分別區分電子機器20001-1至20001-N之情形時，將其稱為電子機器20001。
於網路20040，除電子機器20001外，亦連接學習模型產生伺服器20503、學習模型提供伺服器20504、資料提供伺服器20505及應用程式伺服器20506，可互相交換資料。各伺服器可作為雲端伺服器設置。
學習模型產生伺服器20503具有與雲端伺服器20003相同之構成，可藉由CPU等處理器進行學習處理。學習模型產生伺服器20503使用教學資料產生學習模型。圖示之構成中，例示電子機器20001於製造時記錄學習模型之情形，但學習模型亦可自學習模型產生伺服器20503提供。學習模型產生伺服器20503將產生之學習模型經由網路20040發送至電子機器20001。電子機器20001接收自學習模型產生伺服器20503發送而來之學習模型，將其記錄於輔助記憶體20104。藉此，產生具備該學習模型之電子機器20001。
即，於電子機器20001中，在製造時之階段未記錄學習模型之情形時，藉由新記錄來自學習模型產生伺服器20503之學習模型，而產生記錄有新的學習模型之電子機器20001。又，於電子機器20001中，在製造時之階段已記錄學習模型之情形時，藉由將已記錄之學習模型更新為來自學習模型產生伺服器20503之學習模型，而產生記錄有已更新之學習模型之電子機器20001。電子機器20001中，可使用適當更新之學習模型進行推理處理。
學習模型不限於自學習模型產生伺服器20503直接提供給電子機器20001，亦可由集中管理各種學習模型之學習模型提供伺服器20504經由網路20040而提供。學習模型伺服器20504亦可藉由對其它裝置而不限於電子機器20001提供學習模型，而產生具備該學習模型之其它裝置。又，學習模型亦可記錄於快閃記憶體等可裝卸之記憶卡而提供。電子機器20001中，可自安裝於插槽之記憶卡讀出學習模型並記錄。藉此，電子機器20001中，於嚴酷環境下使用之情形、或不具有通信功能之情形、即使具有通信功能但可傳輸之資訊量較少之情形等時，亦可取得學習模型。
電子機器20001可將圖像資料或已修正資料、元資料等資料經由網路20040提供給其它裝置。例如，電子機器20001將圖像資料或已修正資料等資料經由網路20040發送至學習模型產生伺服器20503。藉此，學習模型產生伺服器20503中，可使用自1個或複數個電子機器20001收集之圖像資料或已修正資料等資料作為教學資料，產生學習模型。可藉由使用更多之教學資料，提高學習處理精度。
圖像資料或已修正資料等資料不限於自電子機器20001直接提供給學習模型產生伺服器20503，亦可由集中管理各種資料之資料提供伺服器20505提供。資料提供伺服器20505可自其它裝置而不限於電子機器20001收集資料，亦可對其它裝置而不限於學習模型產生伺服器20503提供資料。
學習模型產生伺服器20503亦可對已產生之學習模型進行對教學資料追加自電子機器20001或資料提供伺服器20505提供之圖像資料或已修正資料等資料之再學習處理，更新學習模型。更新後之學習模型可提供給電子機器20001。學習模型產生伺服器20503中，進行學習處理或再學習處理之情形時，無關電子機器20001之樣式或特性差異，皆可進行處理。
又，電子機器20001中，使用者對已修正資料或元資料進行修正操作之情形時(例如，使用者輸入正確資料之情形)，亦可將該修正處理相關之反饋資料使用於再學習處理。例如，藉由將來自電子機器20001之反饋資料發送至學習模型產生伺服器20503，於學習模型產生伺服器20503中，可進行使用來自電子機器20001之反饋資料之再學習處理，更新學習模型。另，電子機器20001中，由使用者進行修正操作時，亦可利用由應用程式伺服器20506提供之應用程式。
亦可由電子機器20001進行再學習處理。電子機器20001中，進行使用圖像資料或反饋資料之再學習處理，更新學習模型之情形時，可於裝置內進行學習模型之改善。藉此，產生具備該更新後之學習模型之電子機器20001。又，電子機器20001亦可將由再學習處理而得之更新後之學習模型發送至學習模型提供伺服器20504，提供給其它電子機器20001。藉此，可於複數個電子機器20001間共用更新後之學習模型。
或者，電子機器20001亦可將再學習後之學習模型之差量資訊(更新前之學習模型與更新後之學習模型相關之差量資料)作為更新資訊，發送至學習模型產生伺服器20503。學習模型產生伺服器20503中，可產生基於來自電子機器20001之更新資訊改善之學習模型，將其提供給其它電子機器20001。藉由交換此種差量資訊，與交換所有資訊之情形相比，可保護隱私，又可削減通信成本。另，亦可由搭載於電子機器20001之光感測器20011與電子機器20001同樣地進行再學習處理。
應用程式伺服器20506係可經由網路20040提供各種應用程式之伺服器。應用程式提供使用學習模型或已修正資料、元資料等資料之特定功能。電子機器20001藉由執行經由網路20040自應用程式伺服器20506下載之應用程式，可實現特定功能。或者，應用程式伺服器20506例如藉由經由API(Application Programming Interface：應用程式介面)等自電子機器20001取得資料，於應用程式伺服器20506上執行應用程式，亦可實現特定功能。
如此，包含適用本技術之裝置之系統中，於各裝置間交換、流通學習模型、圖像資料、已修正資料等資料，而可提供使用該等資料之各種服務。例如，可提供以下服務：提供經由學習模型提供伺服器20504之學習模型、或提供經由資料提供伺服器20505之圖像資料或已修正資料等資料。又，亦可提供服務，該服務提供經由應用程式伺服器20506之應用程式。
或者，亦可對由學習模型提供伺服器20504提供之學習模型，輸入自電子機器20001之光感測器20011取得之圖像資料，而提供作為其輸出而得之已修正資料。又，亦可產生並提供安裝有由學習模型提供伺服器20504提供之學習模型之電子機器等裝置。再者，亦可藉由將學習模型或已修正資料、元資料等資料記錄於可讀出之記憶媒體，而產生並提供記錄有該等資料之記憶媒體、或搭載有該記憶媒體之電子機器等裝置。該記憶媒體可為磁碟、光碟、磁光碟、半導體記憶體等非揮發性記憶體，亦可為SRAM或DRAM等揮發性記憶體。
上述實施形態亦可設為如下之形態。
(1) 一種資料產生方法，其係藉由處理器產生用於學習模型之訓練資料者，且 自由特定器件取得之攝影圖像，產生與上述模型之輸出資料對應之理想圖像， 自上述理想圖像，產生與上述模型之輸入資料對應之劣化圖像。
(2) 如技術方案(1)之資料產生方法，其中 基於上述特定器件之透鏡相關之劣化，產生上述理想圖像。
(3) 如技術方案(1)或(2)之資料產生方法，其中 基於上述特定器件之感測器相關之劣化，產生上述理想圖像。
(4) 如技術方案(1)至(3)中任一項之資料產生方法，其中 縮小上述攝影圖像而產生上述理想圖像。
(5) 如技術方案(1)至(4)中任一項之資料產生方法，其中 基於由上述特定器件取得之相同情景之複數個靜止圖像，產生上述理想圖像。
(6) 如技術方案(5)之資料產生方法，其中 基於上述複數個靜止圖像之統計量，產生上述理想圖像。
(7) 如技術方案(6)之資料產生方法，其中 上述統計量包含每一像素之平均值、模式、中值或分散值中之至少一者。
(8) 如技術方案(1)至(7)中任一項之資料產生方法，其中 對上述攝影圖像使用全域偏移而產生上述理想圖像。
(9) 如技術方案(1)至(8)中任一項之資料產生方法，其中 校準上述攝影圖像而產生上述理想圖像。
(10) 如技術方案(1)至(9)中任一項之資料產生方法，其中 基於拍攝上述模型之輸入圖像之目標器件相關之資訊，產生上述劣化圖像。
(11) 如技術方案(10)之資料產生方法，其中 基於上述目標器件之透鏡相關之劣化，產生上述劣化圖像。
(12) 如技術方案(10)或(11)之資料產生方法，其中 基於上述目標器件之感測器相關之劣化，產生上述劣化圖像。
(13) 如技術方案(10)至(12)中任一項之資料產生方法，其中 基於上述目標器件中執行之信號處理，產生上述劣化圖像。
(14) 一種學習方法， 其使用藉由技術方案(1)至(13)中任一項之資料產生方法產生之上述訓練資料，將模型最佳化。
(15) 一種推定方法， 其使用模型進行推定，該模型經使用藉由技術方案(1)至(13)中任一項之資料產生方法產生之上述訓練資料而最佳化。
(16) 一種資料產生裝置， 其係產生用於學習模型之訓練資料之裝置，且具備執行技術方案(1)至(15)中任一項之方法之處理器。
(17) 一種程式， 其使電腦執行技術方案(1)至(15)中任一項之方法。
本揭示之態樣並非限定於上述實施形態者，而係亦包含可想到之各種變化者，本揭示之效果亦並非限定於上述內容者。各實施形態之構成要件亦可適當組合而適用。即，於不脫離自申請專利範圍規定之內容及其均等物導出之本揭示之概念性思想與主旨之範圍內，可進行各種追加、變更及局部刪除。
1:資料產生裝置 2:機械學習系統 3:機械學習裝置 100:輸入輸出I/F 102:記憶部 104:理想圖像產生部 106:劣化圖像產生部 20001:電子機器 20001-1～20001-N:電子機器 20002:邊緣伺服器 20003:雲端伺服器 20011:光感測器 20020:基地台 20030:核心網路 20040:網路 20101:CPU 20102:GPU 20103:主記憶體 20104:輔助記憶體 20105:操作部 20106:感測器 20107:顯示器 20108:揚聲器 20109:通信I/F 20110:匯流排 20201:CPU 20202:GPU 20203:主記憶體 20204:輔助記憶體 20205:通信I/F 20206:匯流排 20301:基板 20302:基板 20311:攝像區塊 20312:信號處理區塊 20321:攝像部 20322:攝像處理部 20323:輸出I/F 20324:攝像控制部 20331:CPU 20332:DSP 20333:記憶體 20334:通信I/F 20401:處理部 20411:AI處理部 20421:學習部 20422:推理部 20501:學習裝置 20502:模擬器 20503:學習模型產生伺服器 20504:學習模型提供伺服器 20505:資料提供伺服器 20506:應用程式伺服器 S100:步驟 S102:步驟 S104:步驟 S106:步驟 S20001～S20003:步驟 S20021:步驟 S20022:步驟 S20051～S20054:步驟 S20061～S20063:步驟
圖1係顯示一實施形態之資料產生裝置之一例之圖。 圖2係顯示一實施形態之資料產生系統之處理之流程圖。 圖3係顯示一實施形態之機械學習系統之一例之圖。 圖4係顯示包含進行AI處理之裝置之系統之構成例的圖。 圖5係顯示電子機器之構成例之方塊圖。 圖6係顯示邊緣伺服器或雲端伺服器之構成例之方塊圖。 圖7係顯示光感測器之構成例之方塊圖。 圖8係顯示處理部之構成例之方塊圖。 圖9係說明利用AI之處理之流程之流程圖。 圖10係說明修正處理之流程之流程圖。 圖11係說明利用AI之處理之流程之流程圖。 圖12係說明學習處理之流程之流程圖。 圖13係顯示複數個裝置間之資料流動之圖。
S100:步驟
S102:步驟
S104:步驟
S106:步驟

Claims (17)

  1. 一種資料產生方法，其係藉由處理器產生用於學習模型之訓練資料的方法，且 自藉由特定器件取得之攝影圖像，產生與上述模型之輸出資料對應之理想圖像， 自上述理想圖像，產生與上述模型之輸入資料對應之劣化圖像。
  2. 如請求項1之資料產生方法，其中 基於上述特定器件之透鏡相關之劣化，產生上述理想圖像。
  3. 如請求項1之資料產生方法，其中 基於上述特定器件之感測器相關之劣化，產生上述理想圖像。
  4. 如請求項1之資料產生方法，其中 縮小上述攝影圖像而產生上述理想圖像。
  5. 如請求項1之資料產生方法，其中 基於由上述特定器件取得之相同情景之複數個靜止圖像，產生上述理想圖像。
  6. 如請求項5之資料產生方法，其中 基於上述複數個靜止圖像之統計量，產生上述理想圖像。
  7. 如請求項6之資料產生方法，其中 上述統計量包含每一像素之平均值、模式、中值或分散值中之至少一者。
  8. 如請求項1之資料產生方法，其中 對上述攝影圖像使用全域偏移而產生上述理想圖像。
  9. 如請求項1之資料產生方法，其中 校準上述攝影圖像而產生上述理想圖像。
  10. 如請求項1之資料產生方法，其中 基於拍攝上述模型之輸入圖像之目標器件相關之資訊，產生上述劣化圖像。
  11. 如請求項10之資料產生方法，其中 基於上述目標器件之透鏡相關之劣化，產生上述劣化圖像。
  12. 如請求項10之資料產生方法，其中 基於上述目標器件之感測器相關之劣化，產生上述劣化圖像。
  13. 如請求項10之資料產生方法，其中 基於上述目標器件中執行之信號處理，產生上述劣化圖像。
  14. 一種學習方法，其使用藉由請求項1之資料產生方法產生之上述訓練資料，將上述模型最佳化。
  15. 一種推定方法，其使用上述模型進行推定，該模型經使用藉由請求項1之資料產生方法產生之上述訓練資料而最佳化。
  16. 一種資料產生裝置，其係產生用於學習模型之訓練資料的裝置，且 具備處理器， 該處理器自藉由特定器件取得之攝影圖像，產生與上述模型之輸出資料對應之理想圖像， 自上述理想圖像，產生與上述模型之輸入資料對應之劣化圖像。
  17. 一種程式，其使電腦執行以下之方法， 該方法係藉由處理器產生用於學習模型之訓練資料者，且包含以下步驟： 自藉由特定器件取得之攝影圖像，產生與上述模型之輸出資料對應之理想圖像；及 自上述理想圖像，產生與上述模型之輸入資料對應之劣化圖像。
TW110109038A 2020-03-19 2021-03-12 資料產生方法、學習方法、推定方法、資料產生裝置及程式 TW202207693A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-049978 2020-03-19
JP2020049978A JP2023058758A (ja) 2020-03-19 2020-03-19 データ生成方法、学習方法、推定方法、データ生成装置及びプログラム

Publications (1)

Publication Number Publication Date
TW202207693A true TW202207693A (zh) 2022-02-16

Family

ID=77772084

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110109038A TW202207693A (zh) 2020-03-19 2021-03-12 資料產生方法、學習方法、推定方法、資料產生裝置及程式

Country Status (6)

Country Link
US (1) US20230267707A1 (zh)
EP (1) EP4124016A4 (zh)
JP (1) JP2023058758A (zh)
CN (1) CN115280754A (zh)
TW (1) TW202207693A (zh)
WO (1) WO2021187365A1 (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6910780B2 (ja) * 2016-09-30 2021-07-28 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP7146372B2 (ja) * 2017-06-21 2022-10-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
EP4124016A1 (en) 2023-01-25
WO2021187365A1 (ja) 2021-09-23
JP2023058758A (ja) 2023-04-26
US20230267707A1 (en) 2023-08-24
EP4124016A4 (en) 2023-10-11
CN115280754A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
JP7362284B2 (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
WO2021177324A1 (ja) 画像生成装置、画像生成方法、記録媒体生成方法、学習モデル生成装置、学習モデル生成方法、学習モデル、データ処理装置、データ処理方法、推論方法、電子機器、生成方法、プログラム及び非一時的コンピュータ可読媒体
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
JP7297470B2 (ja) 画像処理方法、画像処理装置、プログラム、画像処理システム、および、学習済みモデルの製造方法
WO2018168539A1 (ja) 学習方法およびプログラム
CN112449141A (zh) 用于处理输入视频的系统和方法
CN110557584A (zh) 图像处理方法及装置、计算机可读存储介质
CN102422321A (zh) 摄像装置以及图像复原方法
WO2021193391A1 (ja) データ生成方法、学習方法及び推定方法
JP2022547594A (ja) ジョイントローリングシャッター補正及び画像ぼけ除去
WO2022201803A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN114170290A (zh) 图像的处理方法及相关设备
US11151698B2 (en) Image processing apparatus and method for suppressing overlap blur and individual blur from projection images using an inverted filter
TW202207693A (zh) 資料產生方法、學習方法、推定方法、資料產生裝置及程式
CN117173232A (zh) 深度图像的获取方法、装置及设备
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
TW202238522A (zh) 使用焦點資訊深度估計的方法和裝置
WO2022201804A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN116310408B (zh) 一种建立事件相机与帧相机数据关联的方法及装置
WO2023106252A1 (ja) 情報処理方法、情報処理システム、情報処理プログラム及び情報処理プログラムを記録したコンピュータ読み取り可能な非一時的な記録媒体
CN113744164B (zh) 一种快速夜间低照度图像增强方法、系统及相关设备
WO2023100665A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN114764803B (zh) 一种基于真实噪场景的噪声评估方法、装置及可存储介质
WO2022201973A1 (ja) 情報処理システム及び学習モデルの生成方法