TW201913557A - 影像切割方法及裝置 - Google Patents

影像切割方法及裝置 Download PDF

Info

Publication number
TW201913557A
TW201913557A TW107122153A TW107122153A TW201913557A TW 201913557 A TW201913557 A TW 201913557A TW 107122153 A TW107122153 A TW 107122153A TW 107122153 A TW107122153 A TW 107122153A TW 201913557 A TW201913557 A TW 201913557A
Authority
TW
Taiwan
Prior art keywords
neural network
current
convolutional neural
image
previous
Prior art date
Application number
TW107122153A
Other languages
English (en)
Other versions
TWI675349B (zh
Inventor
林政憲
卓柏全
楊宏毅
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201913557A publication Critical patent/TW201913557A/zh
Application granted granted Critical
Publication of TWI675349B publication Critical patent/TWI675349B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一種影像切割方法，用以透過由影像切割裝置實現之神經網路執行影像切割，影像切割方法包括：由神經網路之降低取樣模組對輸入影像進行降低取樣，以產生降低取樣影像；對於神經網路之切割模組其中之一當下切割模組，接收具有第一解析度之先前卷積神經網路資料進行提升取樣；接收當下降低取樣影像及提升取樣先前卷積神經網路資料；當當下切割模組並非最後切割模組時，進行卷積以產生並傳送當下卷積神經網路資料至下一切割模組；以及當當下切割模組為最後切割模組時，進行卷積以產生影像切割結果。

Description

影像切割方法及裝置
本發明是有關於影像處理技術，且特別是有關於一種影像切割方法及裝置。
語意(semantic)影像切割在影像辨識中佔有重要的角色，使電腦得以辨識影像中的物件。物件的辨識與描繪(delineation)可由對影像中的各畫素進行分類而達成。這樣的處理方式在電腦視覺以及各種成長中的領域如自動駕駛和醫學影像上有廣泛的應用。現在的影像切割技術，是對於影像資料中的同一影像畫面進行不同尺度的縮放，以分別進行切割運算後，再將各別的影像切割結果進行串接。然而，這樣的方式必須先決定影像切割架構中的模組數目，而無法保有彈性。
因此，如何設計一個新的影像切割方法及裝置，以解決上述的缺失，乃為此一業界亟待解決的問題。
本發明之目的在於提供一種影像切割(image segmentation)方法，用以透過由影像切割裝置實現之神經網路(neural network)執行影像切割，影像切割方法包括：由神經網路之降低取樣(down-sampling)模組對輸入影像進行降低取樣，以產生具有不同的複數解析度的複數降低取樣影像，分別對應於複數切割模組之一；對於神經網路之切割模組其中之一當下切割模組，由當下切割模組之當下提升取樣(up-sampling)單元接收具有第一解析度之先前卷積神經網路(convolution neural network；CNN)資料，以對先前卷積神經網路資料進行提升取樣，以產生具有第二解析度之提升取樣先前卷積神經網路資料，其中先前卷積神經網路資料是由先前切割模組的先前卷積神經網路單元根據降低取樣影像中具有第一解析度的先前降低取樣影像所產生；由當下切割模組之當下卷積神經網路單元接收降低取樣影像中具有第二解析度的當下降低取樣影像以及提升取樣先前卷積神經網路資料；當當下切割模組並非最後切割模組時，由當下卷積神經網路單元根據提升取樣先前卷積神經網路資料以及當下降低取樣影像進行卷積，以產生並傳送當下卷積神經網路資料至下一切割模組；以及當當下切割模組為最後切割模組時，由當下卷積神經網路單元根據提升取樣先前卷積神經網路資料以及當下降低取樣影像進行卷積，以產生影像切割結果。
本發明之另一目的在於提供一種影像切割裝置，包括：儲存單元以及處理單元。儲存單元配置以儲存複數電腦可執行指令。處理單元電性耦接於儲存單元，並配置以擷 取並執行電腦可執行指令，以執行影像切割方法，影像切割方法用以透過由處理單元執行電腦可執行指令時實現之神經網路執行影像切割，影像切割方法包括：由神經網路之降低取樣模組對輸入影像進行降低取樣，以產生具有不同的複數解析度的複數降低取樣影像，分別對應於複數切割模組之一；對於神經網路之切割模組其中之一當下切割模組，由當下切割模組之當下提升取樣單元接收具有第一解析度之先前卷積神經網路資料，以對先前卷積神經網路資料進行提升取樣，以產生具有第二解析度之提升取樣先前卷積神經網路資料，其中先前卷積神經網路資料是由先前切割模組的先前卷積神經網路單元根據降低取樣影像中具有第一解析度的先前降低取樣影像所產生；由當下切割模組之當下卷積神經網路單元接收降低取樣影像中具有第二解析度的當下降低取樣影像以及提升取樣先前卷積神經網路資料；當當下切割模組並非最後切割模組時，由當下卷積神經網路單元根據提升取樣先前卷積神經網路資料以及當下降低取樣影像進行卷積，以產生並傳送當下卷積神經網路資料至下一切割模組；以及當當下切割模組為最後切割模組時，由當下卷積神經網路單元根據提升取樣先前卷積神經網路資料以及當下降低取樣影像進行卷積，以產生影像切割結果。
本發明的影像分割裝置及影像分割方法中，切割模組形成遞歸神經網路，以使各卷積神經網路單元可根據當下影像以及提升取樣先前卷積神經網路資料進行影像切 割。由於各卷積神經網路單元根據不同的影像解析度進行捲積，可獲得多個尺寸中包括的資訊。
1‧‧‧影像切割裝置
10‧‧‧儲存單元
12‧‧‧處理單元
100‧‧‧電腦可執行指令
102‧‧‧影像資料
200‧‧‧影像切割方法
201-206‧‧‧步驟
3‧‧‧神經網路
400、500‧‧‧卷積神經網路單元
401、501‧‧‧輸入層
402、502‧‧‧隱藏層
403、503‧‧‧輸出層
CNN0-CNNN‧‧‧卷積神經網路單元
Dd、D1-DN-1‧‧‧先前卷積神經網路資料
Dd’、D0’-DN-1’‧‧‧提升取樣先前卷積神經網路資料
D0,0,0,0-D0,A-1,B-1,2‧‧‧資料
Dd,0,0,0-Dd,A-1,B-1,2‧‧‧資料
DM‧‧‧降低取樣模組
hN‧‧‧影像切割結果
h0,0,0,0-h0,A-1,B-1,2‧‧‧運算結果
IN‧‧‧輸入影像
SEG0-SEGN‧‧‧切割模組
UU0-UUN‧‧‧提升取樣單元
X0-XN‧‧‧影像
X0,0,0,0-X0,A-1,B-1,2‧‧‧資料
第1圖為本發明一實施例中，一種影像切割裝置的方塊圖；第2圖為本發明一實施例中，影像切割方法的流程圖；第3圖為本發明一實施例中，由影像切割裝置實現的神經網路的方塊圖；第4圖為本發明一實施例中，卷積神經網路單元的範例性示意圖；以及第5圖為本發明一實施例中，卷積神經網路單元的範例性示意圖。
請參照第1圖。第1圖為本發明一實施例中，一種影像切割裝置1的方塊圖。影像切割裝置1包含儲存單元10以及處理單元12。
於一實施例中，儲存單元10可為例如，但不限於光碟、隨機存取記憶體(random access memory；RAM)、唯讀記憶體(read only memory；ROM)、軟碟、硬碟或光學磁碟片。儲存單元10配置以儲存複數電腦可執行指令100。
處理單元12電性耦接於儲存單元10。於一實施例中，處理單元12配置以擷取並執行電腦可執行指令100，並據以執行影像切割裝置1的功能。更詳細地說，處理單元12接收影像資料102，以對影像資料102的各影像執行影像切割。
於一實施例中，處理單元12接收儲存於儲存單元10中的影像資料102，如第1圖所示。於其他實施例中，處理單元12可利用例如，但不限於通訊單元(未繪示)，透過有線或是無線的方式自遠端伺服器(未繪示)接收影像資料102。
請同時參照第2圖及第3圖。影像切割裝置1的詳細功能將在後續段落搭配第2圖及第3圖進行說明。
第2圖為本發明一實施例中，影像切割方法200的流程圖。影像切割方法200可應用於第1圖的影像切割裝置1中。
第3圖為本發明一實施例中，由影像切割裝置1實現的神經網路3的方塊圖。其中當電腦可執行指令100由處理單元12執行時，將運作為神經網路3以執行影像切割方法200。
於一實施例中，神經網路3為遞歸神經網路，包含降低取樣模組DM以及複數個串聯的切割模組SEG0、SEG1、SEG2、...及SEGN。各個切割模組SEG0、SEG1、SEG2、...及SEGN包含相串聯的提升取樣單元以及卷積神經網路單元。更詳細地說，提升取樣單元UU0、UU1、UU2、... 及UUN分別設置於切割模組SEG0、SEG1、SEG2、...及SEGN中。卷積神經網路單元CNN0、CNN1、CNN2、...及CNNN分別設置於切割模組SEG0、SEG1、SEG2、...及SEGN中，並分別與提升取樣單元UU0、UU1、UU2、...及UUN串聯。
影像切割方法200包含下列步驟(應瞭解到，在本實施方式中所提及的步驟，除特別敘明其順序者外，均可依實際需要調整其前後順序，甚至可同時或部分同時執行)。
於步驟201，由神經網路3之降低取樣模組DM對輸入影像IN，例如第1圖的影像資料102的其中一影像，進行降低取樣，以產生具有不同的解析度的複數降低取樣影像X0、X1、X2、...及XN，分別對應於切割模組SEG0、SEG1、SEG2、...及SEGN其中之一。
舉例來說，輸入影像IN可具有1024×768的解析度。於一實施例中，當切割模組SEG0、SEG1、SEG2、...及SEGN的數目為4個時，降低取樣模組DM將產生四個降低取樣影像，解析度分別降低為1/(8×8)、1/(4×4)、1/(2×2)以及1/(1×1)。更詳細地說，四個降低取樣影像的解析度分別為128×96、256×192、512×384以及1024×768。於一實施例中，對應於最後切割模組SEGN的降低取樣影像的解析度，將與輸入影像IN的解析度相同。
於步驟202，對於神經網路之切割模組其中之一當下切割模組，由當下切割模組之當下提升取樣單元接收具有 第一解析度之先前卷積神經網路資料，以對先前卷積神經網路資料進行提升取樣，以產生具有第二解析度之提升取樣先前卷積神經網路資料。
於一實施例中，當當下切割模組為切割模組SEG0時，由於先前切割模組不存在時，先前卷積神經網路資料，先前卷積神經網路資料Dd將為預設虛擬資料(dummy data)。提升取樣單元UU0將接收先前卷積神經網路資料Dd並進行提升取樣，以產生提升取樣先前卷積神經網路資料Dd’。
當當下切割模組為切割模組SEG1、SEG2、...及SEGN其中之一時，具有第一解析度的先前卷積神經網路資料，是由先前切割模組中的先前卷積神經網路單元根據降低取樣影像中，具有第一解析度的先前降低取樣影像所產生。
舉例來說，當當下切割模組為切割模組SEG1時，先前卷積神經網路資料是由切割模組SEG0的卷積神經網路單元CNN0根據具有例如128×96的第一解析度的降低取樣影像X0產生。提升取樣單元UU1將接收卷積神經網路資料D1並進行提升取樣，以產生具有例如256×192的第二解析度的提升取樣先前卷積神經網路資料D1’。
於步驟203，由當下切割模組之當下卷積神經網路單元接收降低取樣影像中具有第二解析度的當下降低取樣影像以及提升取樣先前卷積神經網路資料。
以切割模組SEG0為例，當當下切割模組為切割模組SEG0時，卷積神經網路單元CNN0接收具有128×96的解 析度的降低取樣影像X0做為當下降低取樣影像，並接收具有128×96的解析度的提升取樣先前卷積神經網路資料Dd’。
另一方面，當當下切割模組為切割模組SEG1時，卷積神經網路單元CNN1接收具有256×192的解析度的降低取樣影像X1做為當下降低取樣影像，並接收具有256×192的解析度的提升取樣先前卷積神經網路資料D0’。
於步驟204，判斷當下切割模組是否為最後切割模組，亦即是否為切割模組SEGN。
當當下切割模組並非最後切割模組時，於步驟205，由當下卷積神經網路單元根據提升取樣先前卷積神經網路資料以及當下降低取樣影像進行卷積，以產生並傳送當下卷積神經網路資料至下一切割模組。
以切割模組SEG0為例，當當下切割模組為切割模組SEG0時，卷積神經網路單元CNN0根據降低取樣影像X0以及提升取樣先前卷積神經網路資料Dd’進行卷積，以產生當下卷積神經網路資料D0。
另一方面，當當下切割模組為切割模組SEG1時，卷積神經網路單元CNN1接收具有256×192根據降低取樣影像X1以及提升取樣先前卷積神經網路資料D0’進行卷積，以產生當下卷積神經網路資料D1。
類似地，影像切割方法200的步驟可應用於切割模組SEG2(未繪示)、...及SEGN中，以使各卷積神經網路單元CNN2(未繪示)、...及CNNN中分別根據先前卷積神 經網路資料D1’、...及DN-2’以及降低取樣影像X2、...及XN-1產生對應的當下卷積神經網路資料D2、...及DN-1。
當當下切割模組為最後切割模組，例如切割模組SEGN時，於步驟206，由卷積神經網路單元CNNN根據具有與輸入影像IN相同的解析度，例如1024×768的提升取樣先前卷積神經網路資料DN-1’以及降低取樣影像XN進行卷積，以產生影像切割結果hN。影像切割結果hN是輸入影像IN的最終切割結果。
請參照第4圖。第4圖為本發明一實施例中，卷積神經網路單元400的範例性示意圖。於一實施例中，第3圖所繪示的各卷積神經網路單元CNN0、CNN1、CNN2、...及CNNN可由卷積神經網路單元400實現。
於一實施例中，卷積神經網路單元400包括輸入層401、隱藏層402以及輸出層403。於一實施例中，各輸入層401、隱藏層402以及輸出層403包括複數個運算節點。
當卷積神經網路單元400被用來實現卷積神經網路單元CNN0時，輸入層401配置以接收具有例如，但不限於A×B的尺寸且具有三個資料通道的影像X0，其中影像X0的各個畫素具有三個通道的資料。舉例而言，對應於位置(0,0)的畫素具有三個通道的資料，包括X0,0,0,0、X0,0,0,1及X0,0,0,2。其中，下標的第一位數代表影像，第二位數及第三位數代表畫素的座標，第四位數代表通道數目。
因此，本實施例中的輸入層401具有A×B×3個運算點，分別對應X0,0,0,0、X0,0,0,1、X0,0,0,2、...、X0,A-1,B-1,0、X0,A-1,B-1,1至X0,A-1,B-1,2，以接收影像X0的所有資料。於本實施例中，隱藏層402接收具有A×B×3的尺寸的先前卷積神經網路權重資料Dd’，包括Dd,0,0,0’、Dd,0,0,1’、Dd,0,0,2’、...、Dd,A-1,B-1,0’、Dd,A-1,B-1,1’至Dd,A-1,B-1,2’的資料。
因此，卷積神經網路單元CNN0根據影像X0以及先前卷積神經網路權重資料Dd’進行卷積，以使輸出層403產生包含h0,0,0,0、h0,0,0,1、h0,0,0,2、...、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的運算結果。
於一實施例中，各運算結果的數值表示切割物件的類別的機率。因此，當卷積神經網路單元400被用以實現最後切割模組SEGN的卷積神經網路單元時，對各畫素來說，運算結果其中之一具有最大值者，將被選擇輸出為當下影像切割結果hN的其中一個像素。舉例而言，當運算結果hN,0,0,1具有大於運算結果hN,0,0,0以及運算結果hN,0,0,2的數值時，運算結果hN,0,0,1將被選擇為當下影像切割結果hN的輸出像素。
於一實施例中，第3圖所繪示的遞歸神經網路3為Elman網路，其中隱藏層402亦產生隱藏層運算結果，做為下一個切割模組，例如切割模組SEG1的先前卷積神經網路資料D0，包含D0,0,0,0、D0,0,0,1、D0,0,0,2、...、D0,A-1,B-1,0、D0,A-1,B-1,1至D0,A-1,B-1,2的資料，以使提升 取樣單元UU1據以進行提升取樣，以產生提升取樣先前卷積神經網路資料D0’，並使卷積神經網路單元CNN1根據提升取樣先前卷積神經網路資料D0’以及影像X1進行卷積。
需注意的是，第4圖中所繪示的各輸入層401、隱藏層402以及輸出層403的運算節點的數目僅為一範例。於其他實施例中，運算節點的數目可依實際應用而有所不同。
請參照第5圖。第5圖為本發明一實施例中，卷積神經網路單元500的範例性示意圖。於一實施例中，於第3圖所繪示的各卷積神經網路單元CNN0、CNN1、CNN2、...或CNNN可由卷積神經網路單元500所實現。
於一實施例中，卷積神經網路單元500包括輸入層501、隱藏層502以及輸出層503。於一實施例中，各輸入層501、隱藏層502以及輸出層503包括複數個運算節點。
當卷積神經網路單元500被用來實現卷積神經網路單元CNN0時，輸入層501配置以接收具有例如，但不限於A×B的尺寸且具有三個資料通道的影像X0，其中影像X0的各個畫素具有三個通道的資料。舉例而言，對應於位置(0,0)的畫素具有三個通道的資料，包括X0,0,0,0、X0,0,0,1及X0,0,0,2。其中，下標的第一位數代表影像，第二位數及第三位數代表畫素的座標，第四位數代表通道數目。
因此，本實施例中的輸入層501具有A×B×3個運算點，分別對應X0,0,0,0、X0,0,0,1、X0,0,0,2、...、 X0,A-1,B-1,0、X0,A-1,B-1,1至X0,A-1,B-1,2，以接收影像X0的所有資料。於本實施例中，隱藏層502接收具有A×B×3的尺寸的先前卷積神經網路權重資料Dd’，包括Dd,0,0,0’、Dd,0,0,1’、Dd,0,0,2’、...、Dd,A-1,B-1,0’、Dd,A-1,B-1,1’至Dd,A-1,B-1,2’的資料。
因此，卷積神經網路單元CNN0根據影像X0以及先前卷積神經網路權重資料Dd’進行卷積，以使輸出層503產生包含h0,0,0,0、h0,0,0,1、h0,0,0,2、...、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2的運算結果。
於一實施例中，各運算結果的數值表示切割物件的類別的機率。因此，當卷積神經網路單元500被用以實現最後切割模組SEGN的卷積神經網路單元時，對各畫素來說，運算結果其中之一具有最大值者，將被選擇輸出為當下影像切割結果hN的其中一個像素。舉例而言，當運算結果hN,0,0,1具有大於運算結果hN,0,0,0以及運算結果hN,0,0,2的數值時，運算結果hN,0,0,1將被選擇為當下影像切割結果hN的輸出像素。
於一實施例中，第3圖所繪示的遞歸神經網路3為Jordan網路，其中由輸出層503產生的運算結果h0,0,0,0、h0,0,0,1、h0,0,0,2、...、h0,A-1,B-1,0、h0,A-1,B-1,1至h0,A-1,B-1,2做為下一個切割模組，例如切割模組SEG1的先前卷積神經網路資料D0，包含D0,0,0,0、D0,0,0,1、D0,0,0,2、...、D0,A-1,B-1,0、D0,A-1,B-1,1至D0,A-1,B-1,2的資料，以使提升取樣單元UU1據以進行提升取樣，以產生提升取樣先前卷積 神經網路資料D0’，並使卷積神經網路單元CNN1根據提升取樣先前卷積神經網路資料D0’以及影像X1進行卷積。
需注意的是，第5圖中所繪示的各輸入層501、隱藏層502以及輸出層503的運算節點的數目僅為一範例。於其他實施例中，運算節點的數目可依實際應用而有所不同。
需注意的是，在部分實施例中，先前卷積神經網路資料亦可由下一卷積神經網路單元的輸入層接收，以使下一卷積神經網路單元據以進行卷積。
在本發明的影像分割裝置1及影像分割方法200中，切割模組SEG0、SEG1、SEG2、...及SEGN形成遞歸神經網路，以使各卷積神經網路單元CNN0、CNN1、CNN2、...及CNNN可根據當下影像以及提升取樣先前卷積神經網路資料進行影像切割。由於各卷積神經網路單元CNN0、CNN1、CNN2、...及CNNN根據不同的影像解析度進行捲積，可獲得多個尺寸中包括的資訊。
更進一步地，當需要使用不同數目且不同解析度的影像進行影像切割時，本發明的影像分割裝置1及影像分割方法200可彈性地增減切割模組的數目。因此，當運算資源不足時，可將切割模組的數目減少，以取得較粗略的切割結果。而當運算資源足夠時，可將切割模組的數目增加，以取得具有較高精確度的切割結果。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的原則之內所作的任何修改，等同替換和改進等均應包含本發明的保護範圍之內。

Claims (10)

  1. 一種影像切割(image segmentation)方法，用以透過由一影像切割裝置實現之一神經網路(neural network)執行影像切割，該影像切割方法包括：由該神經網路之一降低取樣(down-sampling)模組對一輸入影像進行降低取樣，以產生具有不同的複數解析度的複數降低取樣影像，分別對應於複數切割模組之一；對於該神經網路之該等切割模組其中之一當下切割模組，由該當下切割模組之一當下提升取樣(up-sampling)單元接收具有一第一解析度之一先前卷積神經網路(convolution neural network；CNN)資料，以對該先前卷積神經網路資料進行提升取樣，以產生具有一第二解析度之一提升取樣先前卷積神經網路資料，其中該先前卷積神經網路資料是由一先前切割模組的一先前卷積神經網路單元根據該等降低取樣影像中具有該第一解析度的一先前降低取樣影像所產生；由該當下切割模組之一當下卷積神經網路單元接收該等降低取樣影像中具有該第二解析度的一當下降低取樣影像以及該提升取樣先前卷積神經網路資料；當該當下切割模組並非一最後切割模組時，由該當下卷積神經網路單元根據該提升取樣先前卷積神經網路資料以及該當下降低取樣影像進行卷積，以產生並傳送一當下卷積神經網路資料至一下一切割模組；以及 當該當下切割模組為該最後切割模組時，由該當下卷積神經網路單元根據該提升取樣先前卷積神經網路資料以及該當下降低取樣影像進行卷積，以產生一影像切割結果。
  2. 如請求項1所述的影像切割方法，其中該先前卷積神經網路資料包含由該先前卷積神經網路單元的一輸出層所輸出的複數先前輸出層運算結果，或是由該先前卷積神經網路單元的一隱藏層(hidden layer)所輸出的複數先前隱藏層運算結果。
  3. 如請求項1所述的影像切割方法，更包含：由該當下卷積神經網路單元之一輸入層接收該先前卷積神經網路資料以及該當下降低取樣影像；以及根據該先前卷積神經網路資料以及該當下降低取樣影像進行卷積，以由該當下卷積神經網路單元之一隱藏層產生複數當下隱藏層運算結果，以及由該當下卷積神經網路單元之一輸出層產生複數當下輸出層運算結果，其中該當下卷積神經網路資料為該等當下輸出層運算結果或該等當下隱藏層運算結果。
  4. 如請求項1所述的影像切割方法，更包含：由該當下卷積神經網路單元之一輸入層接收該當下降低取樣影像； 由該當下卷積神經網路單元之一隱藏層接收該先前卷積神經網路資料；以及根據該先前卷積神經網路資料以及該當下降低取樣影像進行卷積，以由該當下卷積神經網路單元之一隱藏層產生複數當下隱藏層運算結果，以及由該當下卷積神經網路單元之一輸出層產生複數當下輸出層運算結果，其中該當下卷積神經網路資料為該等當下輸出層運算結果或該等當下隱藏層運算結果。
  5. 如請求項1所述的影像切割方法，更包含：藉由自該當下卷積神經網路單元之一輸出層輸出的複數當下輸出層運算結果中選取一部份以產生該影像切割結果，其中該部分相較該等當下輸出層運算結果的其他部份具有較大的數值。
  6. 如請求項1所述的影像切割方法，其中該神經網路為一遞歸神經網絡(recurrent neural network；RNN)。
  7. 如請求項1所述的影像切割方法，其中當該先前切割模組不存在時，該先前卷積神經網路資料為一預設虛擬資料(dummy data)。
  8. 如請求項1所述的影像切割方法，其中當該當下切割模組為該最後切割模組時，該當下卷積神經網路單元根據具有相同解析度的該提升取樣先前卷積神經網路資料以及該當下降低取樣影像進行卷積，以產生與該輸入影像具有相同解析度的該影像切割結果。
  9. 一種影像切割裝置，包括：一儲存單元，配置以儲存複數電腦可執行指令；以及一處理單元，電性耦接於該儲存單元，並配置以擷取並執行該等電腦可執行指令，以執行一影像切割方法，該影像切割方法用以透過由該處理單元執行該等電腦可執行指令時實現之一神經網路執行影像切割，該影像切割方法包括：由該神經網路之一降低取樣模組對一輸入影像進行降低取樣，以產生具有不同的複數解析度的複數降低取樣影像，分別對應於複數切割模組之一；對於該神經網路之該等切割模組其中之一當下切割模組，由該當下切割模組之一當下提升取樣單元接收具有一第一解析度之一先前卷積神經網路資料，以對該先前卷積神經網路資料進行提升取樣，以產生具有一第二解析度之一提升取樣先前卷積神經網路資料，其中該先前卷積神經網路資料是由一先前切割模組的一先前卷積神經網路單元根據該等降低 取樣影像中具有該第一解析度的一先前降低取樣影像所產生；由該當下切割模組之一當下卷積神經網路單元接收該等降低取樣影像中具有該第二解析度的一當下降低取樣影像以及該提升取樣先前卷積神經網路資料；當該當下切割模組並非一最後切割模組時，由該當下卷積神經網路單元根據該提升取樣先前卷積神經網路資料以及該當下降低取樣影像進行卷積，以產生並傳送一當下卷積神經網路資料至一下一切割模組；以及當該當下切割模組為該最後切割模組時，由該當下卷積神經網路單元根據該提升取樣先前卷積神經網路資料以及該當下降低取樣影像進行卷積，以產生一影像切割結果。
  10. 如請求項9所述的影像切割裝置，其中該先前卷積神經網路資料包含由該先前卷積神經網路單元的一輸出層所輸出的複數先前輸出層運算結果，或是由該先前卷積神經網路單元的一隱藏層(hidden layer)所輸出的複數先前隱藏層運算結果。
TW107122153A 2017-08-31 2018-06-27 影像切割方法及裝置 TWI675349B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762552412P 2017-08-31 2017-08-31
US62/552,412 2017-08-31
US15/981,919 2018-05-17
US15/981,919 US10628919B2 (en) 2017-08-31 2018-05-17 Image segmentation method and apparatus

Publications (2)

Publication Number Publication Date
TW201913557A true TW201913557A (zh) 2019-04-01
TWI675349B TWI675349B (zh) 2019-10-21

Family

ID=65435376

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107122153A TWI675349B (zh) 2017-08-31 2018-06-27 影像切割方法及裝置

Country Status (3)

Country Link
US (1) US10628919B2 (zh)
CN (1) CN109427061B (zh)
TW (1) TWI675349B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755175B (zh) * 2019-12-31 2022-02-11 大陸商上海商湯智能科技有限公司 圖像分割方法、電子設備和儲存介質

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10628919B2 (en) * 2017-08-31 2020-04-21 Htc Corporation Image segmentation method and apparatus
KR20210067788A (ko) 2019-11-29 2021-06-08 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
CN113554742B (zh) * 2020-04-26 2024-02-02 上海联影医疗科技股份有限公司 一种三维图像的重建方法、装置、设备及存储介质
CN112150470B (zh) * 2020-09-22 2023-10-03 平安科技（深圳）有限公司 图像分割方法、装置、介质及电子设备
CA3195077A1 (en) * 2020-10-07 2022-04-14 Dante DE NIGRIS Systems and methods for segmenting 3d images

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI381735B (zh) * 2009-06-15 2013-01-01 Univ Kun Shan 影像監視設備之影像處理系統及其影像解析自動調適之方法
CN102567735B (zh) * 2010-12-30 2013-07-24 中国科学院电子学研究所 一种自动提取遥感图像控制点切片的方法
CN102970532A (zh) * 2012-11-13 2013-03-13 鸿富锦精密工业（深圳）有限公司 影像切割系统及方法
CN103824223B (zh) * 2014-02-21 2016-09-14 浙江大学 基于MapReduce和神经网络的农作物产量遥感估算方法
US9251431B2 (en) * 2014-05-30 2016-02-02 Apple Inc. Object-of-interest detection and recognition with split, full-resolution image processing pipeline
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
WO2016054802A1 (en) * 2014-10-10 2016-04-14 Beijing Kuangshi Technology Co., Ltd. Hierarchical interlinked multi-scale convolutional network for image parsing
EP3203412A1 (en) * 2016-02-05 2017-08-09 Delphi Technologies, Inc. System and method for detecting hand gestures in a 3d space
CN106127725B (zh) * 2016-05-16 2019-01-22 北京工业大学 一种基于多分辨率cnn的毫米波雷达云图分割方法
CN106127684B (zh) * 2016-06-22 2019-03-15 中国科学院自动化研究所 基于双向递归卷积神经网络的图像超分辨率增强方法
US10846566B2 (en) * 2016-09-14 2020-11-24 Konica Minolta Laboratory U.S.A., Inc. Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN106778664B (zh) * 2016-12-29 2020-12-15 天津中科智能识别产业技术研究院有限公司 一种虹膜图像中虹膜区域的分割方法及其装置
KR102698916B1 (ko) * 2017-01-19 2024-08-26 뉴욕 유니버시티 초음파 분석을 위한 시스템, 방법 및 컴퓨터-접근가능 매체
CN106934455B (zh) * 2017-02-14 2019-09-06 华中科技大学 基于cnn的遥感影像光学适配结构选取方法及系统
US10706547B2 (en) * 2017-06-02 2020-07-07 Htc Corporation Image segmentation method and apparatus
US10290107B1 (en) * 2017-06-19 2019-05-14 Cadence Design Systems, Inc. Transform domain regression convolutional neural network for image segmentation
JP7149692B2 (ja) * 2017-08-09 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法
US10803555B2 (en) * 2017-08-31 2020-10-13 Shanghai United Imaging Healthcare Co., Ltd. System and method for determining a trained neural network model for scattering correction
US10628919B2 (en) * 2017-08-31 2020-04-21 Htc Corporation Image segmentation method and apparatus
US10783640B2 (en) * 2017-10-30 2020-09-22 Beijing Keya Medical Technology Co., Ltd. Systems and methods for image segmentation using a scalable and compact convolutional neural network
US10769411B2 (en) * 2017-11-15 2020-09-08 Qualcomm Technologies, Inc. Pose estimation and model retrieval for objects in images
US20190205700A1 (en) * 2017-12-29 2019-07-04 Uber Technologies, Inc. Multiscale analysis of areas of interest in an image
US10997433B2 (en) * 2018-02-27 2021-05-04 Nvidia Corporation Real-time detection of lanes and boundaries by autonomous vehicles
KR102565278B1 (ko) * 2018-03-26 2023-08-09 삼성전자주식회사 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법
US11244195B2 (en) * 2018-05-01 2022-02-08 Adobe Inc. Iteratively applying neural networks to automatically identify pixels of salient objects portrayed in digital images
KR102565849B1 (ko) * 2018-05-14 2023-08-11 한국전자통신연구원 동영상 내 작은 물체를 실시간으로 세분화하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI755175B (zh) * 2019-12-31 2022-02-11 大陸商上海商湯智能科技有限公司 圖像分割方法、電子設備和儲存介質

Also Published As

Publication number Publication date
CN109427061B (zh) 2020-11-17
TWI675349B (zh) 2019-10-21
CN109427061A (zh) 2019-03-05
US10628919B2 (en) 2020-04-21
US20190066265A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
TWI675349B (zh) 影像切割方法及裝置
US11126862B2 (en) Dense crowd counting method and apparatus
CN109325972B (zh) 激光雷达稀疏深度图的处理方法、装置、设备及介质
WO2022111355A1 (zh) 车牌识别方法及装置、存储介质、终端
EP3427195B1 (en) Convolutional neural networks, particularly for image analysis
JP6731529B1 (ja) 単一画素攻撃サンプルの生成方法、装置、設備及び記憶媒体
US10706547B2 (en) Image segmentation method and apparatus
CN112560980A (zh) 目标检测模型的训练方法、装置及终端设备
CN109816659B (zh) 图像分割方法、装置及系统
CN109377508B (zh) 图像处理方法和装置
CN111476719A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
CN111178363B (zh) 文字识别方法、装置、电子设备以及可读存储介质
CN110517267B (zh) 一种图像分割方法及装置、存储介质
CN115331109A (zh) 基于旋转等变卷积通道注意力增强和多尺度特征融合的遥感图像目标检测方法
WO2024140642A1 (zh) 一种图像处理方法、装置及计算设备
AU2021105154A4 (en) Adaptive Hierarchical Sampling for image Classification
US20220092355A1 (en) Convolutional neural network filter stacker for colorization preprocessing
CN113313162A (zh) 一种多尺度特征融合目标检测的方法及系统
CN116704206A (zh) 图像处理方法、装置、计算机设备和存储介质
CN115393868B (zh) 文本检测方法、装置、电子设备和存储介质
CN111027551A (zh) 图像处理方法、设备和介质
CN116229130A (zh) 模糊图像的类型识别方法、装置、计算机设备和存储介质
CN113627460A (zh) 一种基于时间切片卷积神经网络的目标识别系统与方法
CN112613544A (zh) 目标检测方法、装置、电子设备和计算机可读介质