TWI689894B - 影像切割方法及裝置 - Google Patents

影像切割方法及裝置 Download PDF

Info

Publication number
TWI689894B
TWI689894B TW107117409A TW107117409A TWI689894B TW I689894 B TWI689894 B TW I689894B TW 107117409 A TW107117409 A TW 107117409A TW 107117409 A TW107117409 A TW 107117409A TW I689894 B TWI689894 B TW I689894B
Authority
TW
Taiwan
Prior art keywords
neural network
convolutional neural
current
previous
image
Prior art date
Application number
TW107117409A
Other languages
English (en)
Other versions
TW201903714A (zh
Inventor
林政憲
卓柏全
楊宏毅
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201903714A publication Critical patent/TW201903714A/zh
Application granted granted Critical
Publication of TWI689894B publication Critical patent/TWI689894B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一種影像切割方法，用以透過由影像切割裝置實現之神經網路執行影像切割，影像切割方法包括：由神經網路之當下卷積神經網路單元接收先前卷積神經網路權重資料，其中先前卷積神經網路權重資料是由神經網路之先前卷積神經網路單元根據影像資料中對應先前時間點的先前影像產生；由當下卷積神經網路單元接收影像資料中對應當下時間點的當下影像，其中當下時間點鄰接於先前時間點後；以及由當下卷積神經網路單元根據先前卷積神經網路權重資料以及當下影像進行卷積，以產生當下影像切割結果。

Description

影像切割方法及裝置
本發明是有關於影像處理技術，且特別是有關於一種影像切割方法及裝置。
語意(semantic)影像切割在影像辨識中佔有重要的角色，使電腦得以辨識影像中的物件。物件的辨識與描繪(delineation)可由對影像中的各畫素進行分類而達成。這樣的處理方式在電腦視覺以及各種成長中的領域如自動駕駛和醫學影像上有廣泛的應用。然而，現在的影像切割技術，是對於影像資料中的不同影像畫面分別進行影像切割。因此，由這樣的方式所產生的整體影像資料的切割結果中，邊緣容易產生抖動的現象。
因此，如何設計一個新的影像切割方法及裝置，以解決上述的缺失，乃為此一業界亟待解決的問題。
本發明之目的在於提供一種影像切割(image segmentation)方法，用以透過由影像切割裝置實現之神 經網路(neural network)執行影像切割，影像切割方法包括：由神經網路之當下卷積神經網路(convolution neural network；CNN)單元接收先前卷積神經網路權重資料，其中先前卷積神經網路權重資料是由神經網路之先前卷積神經網路單元根據影像資料中對應先前時間點的先前影像產生；由當下卷積神經網路單元接收影像資料中對應當下時間點的當下影像，其中當下時間點鄰接於先前時間點後；以及由當下卷積神經網路單元根據先前卷積神經網路權重資料以及當下影像進行卷積，以產生當下影像切割結果。
本發明之另一目的在於提供一種影像切割裝置，包括：儲存單元以及處理單元。儲存單元配置以儲存複數電腦可執行指令。處理單元電性耦接於儲存單元，並配置以擷取並執行電腦可執行指令，以執行影像切割方法，影像切割方法用以透過由處理單元執行電腦可執行指令時實現之神經網路執行影像切割，影像切割方法包括：由神經網路之當下卷積神經網路單元接收先前卷積神經網路權重資料，其中先前卷積神經網路權重資料是由神經網路之先前卷積神經網路單元根據影像資料中對應先前時間點的先前影像產生；由當下卷積神經網路單元接收影像資料中對應當下時間點的當下影像，其中當下時間點鄰接於先前時間點後；以及由當下卷積神經網路單元根據先前卷積神經網路權重資料以及當下影像進行卷積，以產生當下影像切割結果。
本發明的影像分割裝置及影像分割方法中，卷積神經網路單元形成遞歸神經網路，以使各卷積神經網路單 元可根據對應當下時間點的當下影像以及對應先前時間點的先前卷積神經網路權重資料進行影像切割。根據上述方法所產生的影像切割結果，將具有較平滑的邊緣，並因為時序的資訊而具有較少的抖動。更進一步地，因為時序的資訊，隨時間逐漸改變角度的物件亦可被辨識出。
1‧‧‧影像切割裝置
10‧‧‧儲存單元
12‧‧‧處理單元
100‧‧‧電腦可執行指令
102‧‧‧影像資料
200‧‧‧影像切割方法
201-203‧‧‧步驟
3‧‧‧神經網路
400、500‧‧‧卷積神經網路單元
401、501‧‧‧輸入層
402、502‧‧‧隱藏層
403、503‧‧‧輸出層
CNN0-CNNN‧‧‧卷積神經網路單元
Dd、D1-DN-1‧‧‧先前卷積神經網路權重資料
Dd,0,0,0-Dd,A-1,B-1,2‧‧‧資料
D0,0,0,0-D0,A-1,B-1,2‧‧‧資料
h0-hN‧‧‧當下影像切割結果
h0,0,0,0-h0,A-1,B-1,2‧‧‧運算結果
T0-TN‧‧‧時間點
X0-XN‧‧‧影像
X0,0,0,0-X0,A-1,B-1,2‧‧‧資料
第1圖為本發明一實施例中，一種影像切割裝置的方塊圖；第2圖為本發明一實施例中，影像切割方法的流程圖；第3圖為本發明一實施例中，由影像切割裝置實現的神經網路的方塊圖；第4圖為本發明一實施例中，卷積神經網路單元的範例性示意圖；以及第5圖為本發明一實施例中，卷積神經網路單元的範例性示意圖。
請參照第1圖。第1圖為本發明一實施例中，一種影像切割裝置1的方塊圖。影像切割裝置1包含儲存單元10以及處理單元12。
於一實施例中，儲存單元10可為例如，但不限於光碟、隨機存取記憶體(random access memory；RAM)、唯讀記憶體(read only memory；ROM)、軟 碟、硬碟或光學磁碟片。儲存單元10配置以儲存複數電腦可執行指令100。
處理單元12電性耦接於儲存單元10。於一實施例中，處理單元12配置以擷取並執行電腦可執行指令100，並據以執行影像切割裝置1的功能。
更詳細地說，處理單元12接收影像資料102，以對影像資料102的各影像執行影像切割。於一實施例中，處理單元12接收儲存於儲存單元10中的影像資料102，如第1圖所示。於其他實施例中，處理單元12可利用例如，但不限於通訊單元(未繪示)，透過有線或是無線的方式自遠端伺服器(未繪示)接收影像資料102。
請同時參照第2圖及第3圖。影像切割裝置1的詳細功能將在後續段落搭配第2圖及第3圖進行說明。
第2圖為本發明一實施例中，影像切割方法200的流程圖。影像切割方法200可應用於第1圖的影像切割裝置1中。
第3圖為本發明一實施例中，由影像切割裝置1實現的神經網路3的方塊圖。其中當電腦可執行指令100由處理單元12執行時，將運作為神經網路3以執行影像切割方法200。
於一實施例中，神經網路3為遞歸神經網路，包含複數個串聯的卷積神經網路單元CNN0、CNN1、CNN2、...及CNNN。
影像切割方法200包含下列步驟(應瞭解到，在本實施方式中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行)。
於步驟201，由當下卷積神經網路單元接收先前卷積神經網路權重資料。
於一實施例中當，當下卷積神經網路單元為卷積神經網路單元CNN0時，由於不存在有先前的卷積神經網路單元，因此先前卷積神經網路權重資料，亦即卷積神經網路權重資料Dd，為預設虛擬資料。
而如當下卷積神經網路單元為卷積神經網路單元CNN1、CNN2、...或CNNN其中之一時，先前卷積神經網路權重資料是由先前卷積神經網路單元根據影像資料，例如第1圖中的影像資料102中，對應先前時間點的先前影像產生。
舉例而言，如當下卷積神經網路單元為卷積神經網路單元CNN1時，先前卷積神經網路權重資料是由卷積神經網路單元CNN0根據影像資料中對應時間點T0的影像X0。
於步驟202，由當下卷積神經網路單元接收影像資料中對應當下時間點的當下影像，其中當下時間點鄰接於先前時間點後。
以卷積神經網路單元CNN0為例，如卷積神經網路單元CNN0為當下卷積神經網路單元時，卷積神經網路 單元CNN0接收對應時間點T0的影像X0為當下影像。另一方面，如卷積神經網路單元CNN1為當下卷積神經網路單元時，卷積神經網路單元CNN1接收對應時間點T1的影像X1為當下影像。
於步驟203，由當下卷積神經網路單元根據先前卷積神經網路權重資料以及當下影像進行卷積，以產生當下影像切割結果。
以卷積神經網路單元CNN0為例，如卷積神經網路單元CNN0為當下卷積神經網路單元時，卷積神經網路單元CNN0根據先前卷積神經網路權重資料Dd以及當下影像X0進行卷積，以產生當下影像切割結果h0。另一方面，如卷積神經網路單元CNN1為當下卷積神經網路單元時，卷積神經網路單元CNN1根據先前卷積神經網路權重資料D1以及當下影像X1進行卷積，以產生當下影像切割結果h1。
類似地，影像切割方法200中的步驟可應用於卷積神經網路單元CNN2...及CNNN，以使各卷積神經網路單元CNN2...及CNNN根據先前卷積神經網路權重資料D1...及DN-1以及對應時間點T2...及TN的當下影像X2...及XN進行卷積，以產生當下影像切割結果h2...及hN。
請參照第4圖。第4圖為本發明一實施例中，卷積神經網路單元400的範例性示意圖。於一實施例中，於第3圖所繪示的各卷積神經網路單元CNN0、CNN1、CNN2、...或CNNN可由卷積神經網路單元400所實現。
於一實施例中，卷積神經網路單元400包括輸入層401、隱藏層402以及輸出層403。於一實施例中，各輸入層401、隱藏層402以及輸出層403包括複數個運算節點。
當卷積神經網路單元400被用來實現卷積神經網路單元CNN0時，輸入層401配置以接收具有例如，但不限於A×B的尺寸且具有三個資料通道的影像X0，其中影像X0的各個畫素具有三個通道的資料。舉例而言，對應於位置(0,0)的畫素具有三個通道的資料，包括X0,0,0,0、X0,0,0,1及X0,0,0,2。其中，下標的第一位數代表影像，第二位數及第三位數代表畫素的座標，第四位數代表通道數目。
因此，本實施例中的輸入層401具有A×B×3個運算點，分別對應X0,0,0,0、X0,0,0,1、X0,0,0,2、...、X0,A-1,B-1,0、X0,A-1,B-1,1至X0,A-1,B-1,2，以接收影像X0的所有資料。於本實施例中，隱藏層402接收具有A×B×3的尺寸的先前卷積神經網路權重資料Dd，包括Dd,0,0,0、Dd,0,0,1、Dd,0,0,2、...、Dd,A-1,B-1,0、Dd,A-1,B-1,1至Dd,A-1,B-1,2的資料。
因此，卷積神經網路單元CNN0根據影像X0以及先前卷積神經網路權重資料Dd進行卷積，以使輸出層403產生包含h0,0,0,0、h0,0,0,1、h0,0,0,2、...、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的運算結果。
於一實施例中，各運算結果h0,0,0,0、h0,0,0,1、h0,0,0,2、...、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的數值 表示切割物件的類別的機率。因此，對各畫素來說，運算結果，例如h0,0,0,0、h0,0,0,1、h0,0,0,2的其中之一具有最大值者，將被選擇輸出為當下影像切割結果h0的其中一個像素。舉例而言，當運算結果h0,0,0,1具有大於運算結果h0,0,0,0以及運算結果h0,0,0,2的數值時，運算結果h0,0,0,1將被選擇為當下影像切割結果h0的輸出像素。
於一實施例中，第3圖所繪示的遞歸神經網路3為Elman網路，其中隱藏層402亦產生隱藏層運算結果，做為下一個卷積神經網路單元，例如卷積神經網路單元CNN1的先前卷積神經網路權重資料D0，包含D0,0,0,0、D0,0,0,1、D0,0,0,2、...、D0,A-1,B-1,0、D0,A-1,B-1,1至D0,A-1,B-1,2的資料，以使下一個卷積神經網路單元(例如卷積神經網路單元CNN1)的輸入層以及隱藏層分別接收影像X1及先前卷積神經網路權重資料D0據以進行卷積。
需注意的是，第4圖中所繪示的各輸入層401、隱藏層402以及輸出層403的運算節點的數目僅為一範例。於其他實施例中，運算節點的數目可依實際應用而有所不同。
請參照第5圖。第5圖為本發明一實施例中，卷積神經網路單元500的範例性示意圖。於一實施例中，於第3圖所繪示的各卷積神經網路單元CNN0、CNN1、CNN2、...或CNNN可由卷積神經網路單元500所實現。
於一實施例中，卷積神經網路單元500包括輸入層501、隱藏層502以及輸出層503。於一實施例中，各 輸入層501、隱藏層502以及輸出層503包括複數個運算節點。
當卷積神經網路單元500被用來實現卷積神經網路單元CNN0時，輸入層501配置以接收具有例如，但不限於A×B的尺寸且具有三個資料通道的影像X0，其中影像X0的各個畫素具有三個通道的資料。舉例而言，對應於位置(0,0)的畫素具有三個通道的資料，包括X0,0,0,0、X0,0,0,1及X0,0,0,2。其中，下標的第一位數代表影像，第二位數及第三位數代表畫素的座標，第四位數代表通道數目。
因此，本實施例中的輸入層501具有A×B×3個運算點，分別對應X0,0,0,0、X0,0,0,1、X0,0,0,2、...、X0,A-1,B-1,0、X0,A-1,B-1,1至X0,A-1,B-1,2，以接收影像X0的所有資料。於本實施例中，隱藏層502接收具有A×B×3的尺寸的先前卷積神經網路權重資料Dd，包括Dd,0,0,0、Dd,0,0,1、Dd,0,0,2、...、Dd,A-1,B-1,0、Dd,A-1,B-1,1至Dd,A-1,B-1,2的資料。
因此，卷積神經網路單元CNN0根據影像X0以及先前卷積神經網路權重資料Dd進行卷積，以使輸出層503產生包含h0,0,0,0、h0,0,0,1、h0,0,0,2、...、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的運算結果。
於一實施例中，各運算結果h0,0,0,0、h0,0,0,1、h0,0,0,2、...、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的數值表示切割物件的類別的機率。因此，對各畫素來說，運算結果，例如h0,0,0,0、h0,0,0,1、h0,0,0,2的其中之一具有最大值 者，將被選擇輸出為當下影像切割結果h0的其中一個像素。舉例而言，當運算結果h0,0,0,1具有大於運算結果h0,0,0,0以及運算結果h0,0,0,2的數值時，運算結果h0,0,0,1將被選擇為當下影像切割結果h0的輸出像素。
於一實施例中，第3圖所繪示的遞歸神經網路3為Jordan網路，其中由輸出層503產生的運算結果h0,0,0,0、h0,0,0,1、h0,0,0,2、...、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2做為下一個卷積神經網路單元，例如卷積神經網路單元CNN1的先前卷積神經網路權重資料D0，包含D0,0,0,0、D0,0,0,1、D0,0,0,2、...、D0,A-1,B-1,0、D0,A-1,B-1,1至D0,A-1,B-1,2的資料，以使下一個卷積神經網路單元(例如卷積神經網路單元CNN1)的輸入層以及隱藏層分別接收影像X1及先前卷積神經網路權重資料D0據以進行卷積。
需注意的是，第5圖中所繪示的各輸入層501、隱藏層502以及輸出層503的運算節點的數目僅為一範例。於其他實施例中，運算節點的數目可依實際應用而有所不同。
需注意的是，在部分實施例中，先前卷積神經網路權重資料亦可由下一卷積神經網路單元的輸入層接收，以使下一卷積神經網路單元據以進行卷積。
在本發明的影像分割裝置1及影像分割方法200中，卷積神經網路單元CNN0、CNN1、CNN2、...及CNNN形成遞歸神經網路，以使各卷積神經網路單元CNN0、CNN1、CNN2、...及CNNN可根據對應當下時間點的當下 影像以及對應先前時間點的先前卷積神經網路權重資料進行影像切割。根據上述方法所產生的影像切割結果，將具有較平滑的邊緣，並因為時序的資訊而具有較少的抖動。更進一步地，因為時序的資訊，隨時間逐漸改變角度的物件亦可被辨識出。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的原則之內所作的任何修改，等同替換和改進等均應包含本發明的保護範圍之內。
200‧‧‧影像切割方法
201-203‧‧‧步驟

Claims (10)

  1. 一種影像切割(image segmentation)方法，用以透過由一影像切割裝置實現之一神經網路(neural network)執行影像切割，該影像切割方法包括：由該神經網路之一當下卷積神經網路(convolution neural network；CNN)單元接收一先前卷積神經網路權重資料，其中該先前卷積神經網路權重資料是由該神經網路之一先前卷積神經網路單元根據一影像資料中對應一先前時間點的一先前影像產生；由該當下卷積神經網路單元接收該影像資料中對應一當下時間點的一當下影像，其中該當下時間點鄰接於該先前時間點後；以及由該當下卷積神經網路單元根據該先前卷積神經網路權重資料以及該當下影像進行卷積，以產生一當下影像切割結果。
  2. 如請求項1所述的影像切割方法，其中該先前卷積神經網路權重資料包含由該先前卷積神經網路單元的一輸出層所輸出的複數先前輸出層運算結果，或是由該先前卷積神經網路單元的一隱藏層(hidden layer)所輸出的複數先前隱藏層運算結果。
  3. 如請求項1所述的影像切割方法，更包含： 由該當下卷積神經網路單元之一輸入層接收該先前卷積神經網路權重資料以及該當下影像；以及根據該先前卷積神經網路權重資料以及該當下影像進行卷積，以由該當下卷積神經網路單元之一輸出層產生該當下影像切割結果。
  4. 如請求項1所述的影像切割方法，更包含：由該當下卷積神經網路單元之一輸入層接收該當下影像；由該當下卷積神經網路單元之一隱藏層接收該先前卷積神經網路權重資料；以及根據該先前卷積神經網路權重資料以及該當下影像進行卷積，以由該當下卷積神經網路單元之一輸出層產生該當下影像切割結果。
  5. 如請求項1所述的影像切割方法，更包含：選擇複數個當下運算結果中其中之一具有一最大值者以產生該當下影像切割結果，其中該等當下運算結果是由該當下卷積神經網路單元之一輸出層產生；以及傳送一當下卷積神經網路權重資料至一下一卷積神經網路單元，其中該當下卷積神經網路權重資料為該等當下運算結果或是由該當下卷積神經網路單元的一隱藏層所輸出的複數當下隱藏層運算結果。
  6. 如請求項1所述的影像切割方法，其中該神經網路為一遞歸神經網絡(recurrent neural network；RNN)，包含複數個卷積神經網路單元，該等卷積神經網路單元包含該先前卷積神經網路單元以及該當下卷積神經網路單元。
  7. 如請求項1所述的影像切割方法，其中當該先前卷積神經網路單元不存在時，該先前卷積神經網路權重資料為一預設虛擬資料(dummy data)。
  8. 一種影像切割裝置，包括：一儲存單元，配置以儲存複數電腦可執行指令；以及一處理單元，電性耦接於該儲存單元，並配置以擷取並執行該等電腦可執行指令，以執行一影像切割方法，該影像切割方法用以透過由該處理單元執行該等電腦可執行指令時實現之一神經網路執行影像切割，該影像切割方法包括：由該神經網路之一當下卷積神經網路單元接收一先前卷積神經網路權重資料，其中該先前卷積神經網路權重資料是由該神經網路之一先前卷積神經網路單元根據一影像資料中對應一先前時間點的一先前影像產生； 由該當下卷積神經網路單元接收該影像資料中對應一當下時間點的一當下影像，其中該當下時間點鄰接於該先前時間點後；以及由該當下卷積神經網路單元根據該先前卷積神經網路權重資料以及該當下影像進行卷積，以產生一當下影像切割結果。
  9. 如請求項8所述的影像切割裝置，其中該先前卷積神經網路權重資料包含由該先前卷積神經網路單元的一輸出層所輸出的複數先前輸出層運算結果，或是由該先前卷積神經網路單元的一隱藏層所輸出的複數先前隱藏層運算結果。
  10. 如請求項8所述的影像切割裝置，其中該影像切割方法更包含：由該當下卷積神經網路單元之一輸入層接收該先前卷積神經網路權重資料以及該當下影像；以及根據該先前卷積神經網路權重資料以及該當下影像進行卷積，以由該當下卷積神經網路單元之一輸出層產生該當下影像切割結果。
TW107117409A 2017-06-02 2018-05-22 影像切割方法及裝置 TWI689894B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762514024P 2017-06-02 2017-06-02
US62/514,024 2017-06-02
US15/975,751 2018-05-09
US15/975,751 US10706547B2 (en) 2017-06-02 2018-05-09 Image segmentation method and apparatus

Publications (2)

Publication Number Publication Date
TW201903714A TW201903714A (zh) 2019-01-16
TWI689894B true TWI689894B (zh) 2020-04-01

Family

ID=64459933

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107117409A TWI689894B (zh) 2017-06-02 2018-05-22 影像切割方法及裝置

Country Status (3)

Country Link
US (1) US10706547B2 (zh)
CN (1) CN108986100B (zh)
TW (1) TWI689894B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628919B2 (en) * 2017-08-31 2020-04-21 Htc Corporation Image segmentation method and apparatus
WO2019100065A1 (en) * 2017-11-20 2019-05-23 Google Llc Image segmentation using neural networks
CN110555800A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 图像处理装置及方法
CN110490867B (zh) * 2019-08-22 2020-08-28 四川大学 基于深度学习的金属增材制造成形尺寸实时预测方法
CN112669324B (zh) * 2020-12-31 2022-09-09 中国科学技术大学 基于时序特征聚合和条件卷积的快速视频目标分割方法
CN113139518B (zh) * 2021-05-14 2022-07-29 江苏中天互联科技有限公司 基于工业互联网的型材切割状态监控方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI381735B (zh) * 2009-06-15 2013-01-01 Univ Kun Shan 影像監視設備之影像處理系統及其影像解析自動調適之方法
TW201617977A (zh) * 2014-07-22 2016-05-16 英特爾股份有限公司 用於卷積神經網路的權重位移機構
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016156236A1 (en) * 2015-03-31 2016-10-06 Sony Corporation Method and electronic device
CN104881681B (zh) * 2015-05-22 2018-08-14 浙江大学 基于混合图模型的图像序列类别标注方法
US10049279B2 (en) * 2016-03-11 2018-08-14 Qualcomm Incorporated Recurrent networks with motion-based attention for video understanding
CN106096568B (zh) * 2016-06-21 2019-06-11 同济大学 一种基于cnn和卷积lstm网络的行人再识别方法
CN106778854B (zh) * 2016-12-07 2019-12-24 西安电子科技大学 基于轨迹和卷积神经网络特征提取的行为识别方法
US10262218B2 (en) * 2017-01-03 2019-04-16 Qualcomm Incorporated Simultaneous object detection and rigid transform estimation using neural network
US10311326B2 (en) * 2017-03-31 2019-06-04 Qualcomm Incorporated Systems and methods for improved image textures
US11797837B2 (en) * 2017-04-24 2023-10-24 Intel Corporation Dynamic distributed training of machine learning models

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI381735B (zh) * 2009-06-15 2013-01-01 Univ Kun Shan 影像監視設備之影像處理系統及其影像解析自動調適之方法
TW201617977A (zh) * 2014-07-22 2016-05-16 英特爾股份有限公司 用於卷積神經網路的權重位移機構
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
CN106651886A (zh) * 2017-01-03 2017-05-10 北京工业大学 一种基于超像素聚类优化cnn的云图分割方法

Also Published As

Publication number Publication date
CN108986100A (zh) 2018-12-11
US20180350077A1 (en) 2018-12-06
US10706547B2 (en) 2020-07-07
TW201903714A (zh) 2019-01-16
CN108986100B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
TWI689894B (zh) 影像切割方法及裝置
JP7236545B2 (ja) ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム
CN107529650B (zh) 闭环检测方法、装置及计算机设备
EP2956891B1 (en) Segmenting objects in multimedia data
CN113379627B (zh) 图像增强模型的训练方法和对图像进行增强的方法
CN109035334A (zh) 位姿的确定方法和装置、存储介质及电子装置
CN112381183B (zh) 目标检测方法、装置、电子设备及存储介质
JP6731529B1 (ja) 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体
TWI675349B (zh) 影像切割方法及裝置
US11704563B2 (en) Classifying time series image data
CN106971401A (zh) 多目标跟踪装置和方法
US10848746B2 (en) Apparatus including multiple cameras and image processing method
JP2017211939A (ja) 生成装置、生成方法、及び生成プログラム
CN111353336B (zh) 图像处理方法、装置及设备
CN107274431A (zh) 视频内容增强方法及装置
CN110019912A (zh) 基于形状的图形搜索
CN113505768A (zh) 模型训练、人脸识别方法、电子设备及存储介质
EP3874404A1 (en) Video recognition using multiple modalities
CN110147708A (zh) 一种图像数据处理方法和相关装置
WO2023025288A1 (zh) 数据处理方法及装置、电子设备、计算机可读介质
JP2023109570A (ja) 情報処理装置、学習装置、画像認識装置、情報処理方法、学習方法、画像認識方法
JP6121302B2 (ja) 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム
EP4352692A1 (en) Volumetric sampling with correlative characterization for dense estimation
WO2024041108A1 (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
KR102572415B1 (ko) 레퍼런스 이미지의 검증을 통해 자연스러운 3차원 디지털 트윈을 생성하기 위한 방법 및 장치