TWI819266B - 物件計數系統及物件計數方法 - Google Patents

物件計數系統及物件計數方法 Download PDF

Info

Publication number
TWI819266B
TWI819266B TW110100342A TW110100342A TWI819266B TW I819266 B TWI819266 B TW I819266B TW 110100342 A TW110100342 A TW 110100342A TW 110100342 A TW110100342 A TW 110100342A TW I819266 B TWI819266 B TW I819266B
Authority
TW
Taiwan
Prior art keywords
frame selection
image
selection position
split
merged
Prior art date
Application number
TW110100342A
Other languages
English (en)
Other versions
TW202230219A (zh
Inventor
林昭源
林哲渝
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW110100342A priority Critical patent/TWI819266B/zh
Priority to CN202110145134.2A priority patent/CN114723655A/zh
Priority to US17/339,762 priority patent/US11899752B2/en
Publication of TW202230219A publication Critical patent/TW202230219A/zh
Application granted granted Critical
Publication of TWI819266B publication Critical patent/TWI819266B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Pest Control & Pesticides (AREA)
  • Wood Science & Technology (AREA)
  • Insects & Arthropods (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

一種物件計數系統，透過處理器將高解析度影像切割成多個拆分影像；在此些拆分影像之一第一影像中的一第一物件之位置形成的一框選圖之至少一邊框與相鄰之一第二影像中的一第二物件之位置形成的一框選圖之至少一邊框之間距小於一合併容忍值時，合併第一拆分影像與第二拆分影像，以使第一物件與第二物件合併並重新標記一合併物件之位置，依據此些拆分影像中包含物件與合併影像中之合併物件，計算物件的一預測數量。藉此自動化計算吸水布料上的蟲卵數，以達到節省人力且兼具計數準確的功效。

Description

物件計數系統及物件計數方法
本發明實施例是關於一種物件計數方法，特別是關於一種應用於計算微小物件的物件計數系統及物件計數方法。
登革熱是一種由病媒蚊所傳播的傳染疾病，而為了抑制傳染疾病的傳播程度，可以藉由噴灑藥劑以控制病媒蚊的數量。藉由觀測統計一區域內病媒蚊數量，可以更有效率且精準的噴灑藥劑，以消滅病媒蚊。因此，觀測統計一區域內病媒蚊數量是一個重要的指標。
傳統作法是藉由在不同地點採樣水質，例如將池塘、河川或其他積水處的水用水瓶裝起來，再將水瓶拿回實驗室中，接著，將瓶中的水倒在吸水布料以誘使病媒蚊在吸水布料上產卵，在一段時間之後再藉由人工計數方式計算吸水布料上之蟲卵數量。
然而，此種計數方式需仰賴大量人力以及工時，且透過人工數吸水布料上的蟲卵數量需耗費相當多時間，使得計數蟲卵數並非即時數據，當採樣的樣本較多時，計數所需的時間更長，故無法即時噴灑藥劑，導致病媒蚊可能在這段時間內大量滋生。
由此可知，登革熱蟲卵計數對於登革熱早期防治非常重要，尤其是東南亞國家，傳統上只用人工計算，耗時耗力。因此，如何自動化的計算出吸水布料上的蟲卵數，已成為重要的待解決問題之一。
本揭露內容之一態樣提供了一種物件計數系統，包含：一處理器以及一儲存裝置。處理器用以存取儲存裝置所儲存之程式，以實現一影像切割模組、一影像物件偵測模組、一縫合模組以及一結果分析模組，其中：影像切割模組用以接收一高解析度影像，並將高解析度影像切割成複數個拆分影像；該影像物件偵測模組，用以將該些拆分影像輸入一神經網路(Neural Network，NN)；該縫合模組，用以在該些拆分影像之一第一拆分影像中的一第一物件之位置形成的一框選圖之至少一邊框與相鄰之一第二拆分影像中的一第二物件之位置形成的一框選圖之至少一邊框之間距小於一合併容忍值時，合併該第一拆分影像與該第二拆分影像為一合併影像，以使該第一物件與該第二物件合併為一合併物件，並重新標記一合併物件之位置；以及該結果分析模組，用以依據該些拆分影像中包含該物件與該合併影像中之該合併物件計算該物件的一預測數量。
本揭露內容之一態樣提供了一種物件計數方法，包含：接收一高解析度影像，並將該高解析度影像切割成複數個拆分影像；將該些拆分影像輸入一神經網路(Neural Network，NN)；在該些拆分影像之一第一拆分影像中的一第一物件之位置形成的一 框選圖之至少一邊框與相鄰之一第二拆分影像中的一第二物件之位置形成的一框選圖之至少一邊框之間距小於一合併容忍值時，合併該第一拆分影像與該第二拆分影像為一合併影像，以使該第一物件與該第二物件合併為一合併物件，並重新標記一合併物件之位置；以及依據該些拆分影像中包含該物件與該合併影像中之該合併物件，計算該物件的一預測數量。
本發明實施例所示之物件計數系統及物件計數方法可以自動化的透過一張高解析度影像，計算出吸水布料上的蟲卵數，達到了提供了節省人力且兼具計數準確的功效。
100:物件計數系統
10:處理器
20:儲存裝置
22:影像切割模組
24:影像物件偵測模組
26:縫合模組
28:結果分析模組
LK:通訊連接
CAM:攝像機
200:物件計數方法
210~240:步驟
ORI:高解析度影像
SI0,SI1,SI2,A1~An,B1~Bn:拆分影像
BK:原始區塊
L0,L1,FL1,FL2:長度
W0,W1,FW1,FW2:寬度
P1,P2:頂點座標
F1,F2:框選位置
d:間隙
xa1,xa2,xb1,xb2:X軸座標
ya1,ya2,yb1,yb2:Y軸座標
第1圖係依照本發明一實施例繪示一種物件計數系統之方塊圖。
第2圖係根據本發明之一實施例繪示一種物件計數方法之流程圖。
第3圖係根據本發明之一實施例繪示一種高解析度影像及其拆分影像之示意圖。
第4A~4D圖係根據本發明之一實施例繪示一種拆分影像方法之示意圖。
第5圖係根據本發明之一實施例繪示一種多張拆分影像之示意圖。
第6A~6B圖係根據本發明之一實施例繪示一種多張拆分影像之示意圖。
第7A~7C圖係根據本發明之一實施例繪示一種判斷是否合併框選位置的方法之示意圖。
以下說明係為完成發明的較佳實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的申請專利範圍。
必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於申請專利中使用如”第一”、"第二"、"第三"等詞係用來修飾申請專利中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
請一併參照第1~3圖，第1圖係依照本發明一實施例繪示一種物件計數系統100之方塊圖。第2圖係根據本發明之一實施例繪示一種物件計數方法200之流程圖。物件計數方法200可以由物件計數系統100實施之。第3圖係根據本發明之一實施例繪示一種高解析度影像ORI及其拆分影像SI0之示意圖。
於一實施例中，如第1圖所示，物件計數系統100包含一處理器10及一儲存裝置20。於一實施例中，物件計數系統100可以應用於計算微小物件，例如蟲卵、米粒、幼蟲、卵鞘...等等物件。
於一實施例中，處理器10耦接於儲存裝置20，處理器10用以存取儲存裝置20所儲存之程式，以實現一影像切割模組22、一影像物件偵測模組24、一縫合模組26以及一結果分析模組 28的功能。
於一實施例中，處理器10可由積體電路如微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(Digital Signal Processor，DSP)、現場可程式化邏輯閘陣列(Field Programmable Gate Array，FPGA)、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或一邏輯電路來實施。
於一實施例中，儲存裝置20儲存裝置可被實作為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒體。
於一實施例中，影像切割模組22、影像物件偵測模組24、縫合模組以26及結果分析模組28可以由軟體實現之。
於一實施例中，影像切割模組22、影像物件偵測模組24、縫合模組以26及結果分析模組28可以由各自獨立於儲存裝置20之外的硬體電路或具有特定功能的晶片以實現之。
於一實施例中，攝像機CAM為一高解析度攝像機，用以拍攝吸水布料，以獲得高解析度影像ORI，如第3圖所示，高解析度影像ORI中可能包含多個蟲卵(小黑點即為蟲卵)，透過高解析度影像可以清楚的看到吸水布料上的蟲卵。
於一實施例中，攝像機CAM與物件計數系統100之間以有線或無線的方式建立通訊連接LK。物件計數系統100可藉由通訊連接LK接收來自攝像機CAM的高解析度影像ORI。於一實施例中，物件計數系統100將高解析度影像ORI儲存於儲存裝置20中。
以下敘述物件計數方法200的實施步驟。於一實施例中，物件計數方法200可以應用於計算微小物件，例如蟲卵、米粒、幼蟲、卵鞘...等等物件。
於步驟210中，影像切割模組22用以接收高解析度影像ORI，並將高解析度影像ORI切割成複數個拆分影像。
舉例而言，請參閱第3圖，高解析度影像ORI為長度L0為6000像素，寬度W0為8000像素(即6000*8000pixel)的影像，影像切割模組22將高解析度影像ORI切割成多個拆分影像。
例如，影像切割模組22將高解析度影像ORI中的原始區塊BK切割出來做為拆分影像SI0，拆分影像SI0為長度L1為256像素，寬度W1為256像素(即256*256pixel)的影像。
於一實施例中，拆分影像SI0可以被放大，使拆分影像SI0中的蟲卵被看得更清楚。於此例中，可以看到放大後的拆分影像SI0中有三個黑點，代表三個蟲卵。
此處先以一個拆分影像SI0作代表作為說明，於實際例子中，6000*8000像素的高解析度影像ORI可以被拆分成713張256*256像素的拆分影像。
於一實施例中，影像切割模組22可以從高解析度影像ORI的左上角往右上角方向(視為第一列，即水平方向)切出多個張256*256像素的拆分影像。
接著，影像切割模組22再從左上角往下數256像素處往右上角往下數256像素處(視為第二列，即水平方向)切出多個張256*256像素的拆分影像。
再接著，影像切割模組22從左上角往下數512像素處 往右上角往下數512像素處(視為第三列，即水平方向)切出多個張256*256像素的拆分影像...直到拆分完整張高解析度影像ORI。
依此規則(即Z字型裁切順序)影像切割模組22將高解析度影像ORI拆分成713張256*256像素的拆分影像。
於一實施例中，影像切割模組22可以依據一預設數量(例如為5)，在高解析度影像ORI中隨機裁切出5張256*256像素的拆分影像。
於一實施例中，高解析度影像ORI的像素尺寸不限於6000*8000像素，此處僅為一舉例，例如高解析度影像ORI的像素尺寸也可以是8000*10000像素、6000*10000像素...等等。
於一實施例中，拆分影像(例如為拆分影像SI0)的像素尺寸不限於256*256像素，此處僅為一舉例，例如拆分影像的像素尺寸也可以是512*512像素及/或128*128像素...等等。
於一實施例中，影像切割模組22將已經透過人工標註蟲卵位置的高解析度影像ORI切割成多個拆分影像後，用以訓練一神經模型，訓練完的神經模型可用於後續步驟220做應用，關於神經模型的訓練與一般的訓練方式相似，故不多作贅述。
請參閱第4A~4D圖，第4A~4D圖係根據本發明之一實施例繪示一種拆分影像方法之示意圖。
於一實施例中，影像切割模組22平移高解析度影像ORI的一裁切範圍。
於一實施例中，影像切割模組22忽略高解析度影像ORI中的多個X軸像素值，並忽略高解析度影像ORI中的多個Y軸像素值，以平移高解析度影像ORI的裁切範圍，影像切割模組22再裁 切平移後的高解析度影像ORI的裁切範圍為此些拆分影像。於一實施例中，影像切割模組22忽略高解析度影像ORI中的X軸往右平移M*N的像素，並忽略Y軸往下平移M*N的像素後，取得一裁切範圍；其中，N為正整數，M為小於1的自然數。
例如，影像切割模組22針對一張高解析度影像ORI進行平移4次，每平移一次都進行一次影像拆分，使得用相同的拆分影像的像素尺寸(例如256*256像素)，在4次的影像拆分都會得到不同的裁切結果。
於一實施例中，影像切割模組22將高解析度影像ORI裁切為N*N像素大小的多個初始拆分影像，初始拆分影像為多個拆分影像的一部分(也可以是裁切高解析度影像ORI的一種方法)，結果分析模組28計算此些初始拆分影像中的物件(下述的物件皆指待計算的物件)的預測數量。其中，結果分析模組28將預測數量視為一初始預測數量。其中，N為一正整數。
例如，第4A圖是未被平移的高解析度影像ORI，在拆分影像B1與B2之間有一蟲卵，在拆分影像An與Bn之間有一蟲卵。於一實施例中，影像切割模組22會拆分完所有在高解析度影像ORI中的像素。
於一實施例中，影像切割模組22忽略高解析度影像X軸往右平移
Figure 110100342-A0305-02-0010-4
*N的像素，並忽略Y軸往下平移
Figure 110100342-A0305-02-0010-3
*N的像素後，取得一第一裁切範圍，裁切第一裁切範圍為N*N像素大小的多個第一平移拆分影像，第一平移拆分影像為多個拆分影像的一部分(也可以是裁切高解析度影像ORI的一種方法)，結果分析模組28計算此些第一平移拆分影像中的物件的第一預測數量。
於一實施例中，處理器20將初始預測數量與第一預測數量加總並算平均數，以得到物件的預測數量。
例如，第4B圖是X軸與Y軸都被平移256的1/4像素(等於64)的高解析度影像ORI，在拆分影像B1中有一蟲卵，在拆分影像An有一蟲卵。於一實施例中，影像切割模組22會拆分完所有在第一裁切範圍中的像素。
於一實施例中，影像切割模組22忽略高解析度影像X軸往右平移
Figure 110100342-A0305-02-0011-5
*N的像素，並忽略Y軸往下平移
Figure 110100342-A0305-02-0011-6
*N的像素後，取得一第二裁切範圍，裁切第二裁切範圍為N*N像素大小的複數個第二平移拆分影像，第二平移拆分影像為多個拆分影像的一部分(也可以是裁切高解析度影像ORI的一種方法)，結果分析模組28計算此些第二平移拆分影像中的物件的第二預測數量。
於一實施例中，處理器20將初始預測數量、第一預測數量與第二預測數量加總並算平均數，以得到物件的預測數量。
第4C圖是X軸與Y軸都被平移256的1/2像素(等於128)的高解析度影像ORI，在拆分影像A1中有一蟲卵，在拆分影像An中有一蟲卵。於一實施例中，影像切割模組22會拆分完所有在第二裁切範圍中的像素。
於一實施例中，影像切割模組22忽略該高解析度影像X軸往右平移
Figure 110100342-A0305-02-0011-7
*N的像素，並忽略Y軸往下平移
Figure 110100342-A0305-02-0011-8
*N的像素後，取得一第三裁切範圍，裁切第三裁切範圍為N*N像素大小的多個第三平移拆分影像，第三平移拆分影像為多個拆分影像的一部分(也可以是裁切高解析度影像ORI的一種方法)，結果分析模組28計算此些第三平移拆分影像中的物件的第三預測數量。
於一實施例中，處理器20將初始預測數量、第一預測數量、第二預測數量與第三預測數量加總並算平均數，以得到物件的預測數量。
第4D圖是X軸與Y軸都被平移256的3/4像素(等於184)的高解析度影像ORI，在拆分影像A1中有一蟲卵，在拆分影像An中有一蟲卵。於一實施例中，影像切割模組22會拆分完所有在第三裁切範圍中的像素。
由此可知，同一張高解析度影像ORI經過不同的平移程度，每張拆分影像中可能具有的蟲卵數會不同。由於高解析度影像ORI的像素很多(例如6000*8000像素)，故稍作平移不會影響到太大的蟲卵計數。
於一實施例中，結果分析模組28將初始預測數量、第一預測數量、第二預測數量及第三預測數量加總並算平均數，以得到物件的預測數量。
於一實施例中，假設最後算出第4A圖中的高解析度影像ORI有100個(初始預測數量)蟲卵，第4B圖中的高解析度影像ORI有100個(第一預測數量)蟲卵，第4C圖中的高解析度影像ORI有200個(第二預測數量)蟲卵，第4D圖中的高解析度影像ORI有200個(第三預測數量)蟲卵，則結果分析模組28將此些數值加總後除以四(即計算加總後的平均數(100+100+200+200)/4=150)，藉此預測高解析度影像ORI中有150個蟲卵。
另一方面，若採用兩種拆分影像的像素尺寸(例如256*256像素及512*512像素)，各自進行4種高解析度影像ORI平移後影像拆分(如第4A~4D圖所示)，則會得到8種裁切結果，使得 後續能夠輸入到神經網路的拆分影像更多，能夠使神經網路的預測更為準確。
請參閱第5圖，第5圖係根據本發明之一實施例繪示一種多張拆分影像之示意圖。
於步驟220中，影像物件偵測模組24用以將此些拆分影像輸入一神經網路，以從此些拆分影像中辨識出一物件。
於一實施例中，影像物件偵測模組24用以將此些拆分影像中的一第一拆分影像(例如拆分影像SI1)輸入一神經網路(Neural Network，NN)，使得神經網路辨識第一拆分影像(例如拆分影像SI1)中是否有物件。
此外，影像物件偵測模組24也將此些拆分影像中的一第二拆分影像(例如拆分影像SI2)輸入神經網路，使得神經網路辨識第二拆分影像(例如拆分影像SI2)中是否有物件。
於一實施例中，回應於神經網路判斷第一拆分影像(例如拆分影像SI1)中有物件，則神經網路從第一拆分影像(例如拆分影像SI1)上框選出物件的位置，以產生一第一框選圖。
於一實施例中，回應於神經網路判斷第二拆分影像(例如拆分影像SI2)中有物件，則神經網路從第二拆分影像(例如拆分影像SI2)上框選出物件的位置，以產生一第二框選圖。
於一實施例中，回應於神經網路判斷第一拆分影像(例如拆分影像SI1)中有物件，則神經網路輸出物件於第一拆分影像上的一頂點座標、一框選長度及一框選寬度之資訊。
於一實施例中，回應於神經網路判斷第二拆分影像(例如拆分影像SI2)中有物件，則神經網路輸出物件於第二拆分影像 上的一頂點座標、一框選長度及一框選寬度之資訊。
其中，當神經網路判斷第一拆分影像SI1中包含一物件(例如為蟲卵)，則輸出的第一框選圖中包含物件的一第一框選位置F1，當神經網路判斷該第二拆分影像SI2中包含物件，則輸出的第二框選圖中包含物件的一第二框選位置F2。
如第5圖所示，第一框選位置F1是依據蟲卵(黑點)的形狀進行框選，第二框選位置F2是依據蟲卵(黑點)的形狀進行框選。
於一實施例中，第一框選圖包含一第一框選位置F1的頂點座標(例如左上角頂點P1座標)、一第一框選位置F1的框選長度(例如為長度FL1)及一第一框選位置的框選寬度(例如為寬度FW1)。在某些實施例中，神經網路只要輸出此三個參數，即可得知第一框選位置F1在第一拆分影像SI1的位置，無須輸出整張框選圖。
於一實施例中，第二框選圖包含一第二框選位置的頂點座標(例如左上角頂點P2座標)、一第二框選位置的框選長度(例如為長度FL2)及一第二框選位置的框選寬度(例如為寬度FW2)。在某些實施例中，神經網路只要輸出此三個參數，即可得知第二框選位置F2在第二拆分影像SI2的位置，無須輸出整張框選圖。
於一實施例中，神經網路的功能是物件辨識，例如可以由Yolo(You Only Look Once)、更快速區域卷積神經網路(fast R-CNN)、SSD(Single Shot MultiBox Detector)等方式實現之。
於步驟230中，縫合模組26在此些拆分影像之一第一 拆分影像中的一第一物件之位置形成的一框選圖之至少一邊框與相鄰之一第二拆分影像中的一第二物件之位置形成的一框選圖之至少一邊框之間距小於一合併容忍值時，合併第一拆分影像與第二拆分影像為一合併影像，以使第一物件與第二物件合併為一合併物件，並重新標記一合併物件之位置。於一實施例中，框選圖包含一框選位置。
於一實施例中，縫合模組26用以在第一框選位置F1(第一物件之位置)的至少一邊框與第二框選位置F2(第二物件之位置)的至少一邊框之間的距離小於一合併容忍值t(例如為6像素)時，合併第一框選位置F1與第二框選位置F2為一合併影像，使第一物件(第一框選位置F1內的物件)與第二物件(第二框選位置F2內的物件)合併為一合併物件，並重新標記一合併物件之位置。
請參閱第6A~6B圖，第6A~6B圖係根據本發明之一實施例繪示一種多張拆分影像之示意圖。
在第6A圖的例子中，在第一拆分影像SI1的第一框選位置F1與在第二拆分影像SI2的第二框選位置F2中的蟲卵為同一個，只是在拆分影像時，蟲卵被切割成左右兩半，針對這種情況，要進行框選影像的縫合，例如將第一框選位置F1與第二框選位置F2合併(視為合併影像)，使第一框選位置F1中的蟲卵與第二框選位置F2中的蟲卵合併為一顆蟲卵(視為合併物件)，才不會計數錯誤。
在第6B圖的例子中，在第一拆分影像SI1的第一框選位置F1與在第二拆分影像SI2的第二框選位置F2中的蟲卵為同一個，只是在拆分影像時，蟲卵被切割成左右兩半，且框選位置有些失準，沒有把蟲卵框選完整，使得第一框選位置F1與第二框選位置 F2最相鄰的邊框之間有間隙d(即距離)。
針對這種情況，若間隙d(例如為5像素)小於合併容忍值t(例如為6像素)，則要進行框選影像的縫合，例如將第一框選位置F1與第二框選位置F2合併(第一框選位置F1與第二框選位置F2合併後視為合併影像)，使第一框選位置F1中的蟲卵與第二框選位置F2中的蟲卵合併為一顆蟲卵(第一框選位置F1中的蟲卵與第二框選位置F2中的蟲卵合併後視為合併物件)，因此，合併後的蟲卵的計數值為1。
相反地，若間隙d(例如為8像素)大於等於合併容忍值t(例如為6像素)，則縫合模組26會將第一框選位置F1與第二框選位置F2中的蟲卵判斷為不同蟲卵，此處蟲卵的計數值為2。
請參閱第7A~7C圖，第7A~7C圖係根據本發明之一實施例繪示一種判斷是否合併框選位置的方法之示意圖。第7A~7C圖中的虛線方框代表拆分影像。
第7A~7C圖中的多個座標、第一框選位置F1、第二框選位置F2等資訊，可以由步驟220中神經網路的輸出資料以得知。
如第7A圖所示，當第一框選位置F1在第二框選位置F2的左側時，若第一框選位置F1的右上頂點的X軸座標xa1與第二框選位置F2的左上頂點的X軸座標xb1相減取絕對值小於合併容忍值t、第一框選位置F1的右上頂點的Y軸座標ya1與第二框選位置F2的左上頂點的Y軸座標yb1相減取絕對值小於合併容忍值t、第一框選位置F1的右下頂點的X軸座標xa2與第二框選位置F2的左下頂點的X軸座標yb2相減取絕對值小於合併容忍值t，且第一框選位置F1的右下頂點的Y軸座標ya2與第二框選位置F2的左下頂點的Y軸座 標yb2相減取絕對值小於合併容忍值t，則縫合模組26將第一框選位置F1與第二框選位置F2合併為合併框選位置。此代表第一框選位置F1與第二框選位置F2中的蟲卵為同一個蟲卵，只是被拆分到兩個框選位置，並不是兩個蟲卵。因此，合併第一框選位置F1與第二框選位置F2為合併框選位置，並將合併框選位置中的蟲卵數視為1。
如第7B圖所示，當第一框選位置F1在第二框選位置F2的上側時，若第一框選位置F1的左下頂點的X軸座標xa1與第二框選位置F2的左上頂點的X軸座標xb1相減取絕對值小於合併容忍值t、第一框選位置F1的左下頂點的Y軸座標ya1與第二框選位置的左上頂點yb1的Y軸座標相減取絕對值小於合併容忍值t、第一框選位置F1的右下頂點的X軸座標xa2與第二框選位置F2的右上頂點的X軸座標xb2相減取絕對值小於合併容忍值t，且第一框選位置F1的右下頂點的Y軸座標ya2與第二框選位置F2的右上頂點的Y軸座標yb2相減取絕對值小於合併容忍值t，則縫合模組26將第一框選位置F1與第二框選位置F2合併為合併框選位置。此代表第一框選位置F1與第二框選位置F2中的蟲卵為同一個蟲卵，只是被拆分到兩個框選位置，並不是兩個蟲卵。因此，合併第一框選位置F1與第二框選位置F2為合併框選位置，並將合併框選位置中的蟲卵數視為1。
如第7C圖所示，當第一框選位置F1在第二框選位置F2的左上側時，若第一框選位置的右下頂點的X軸座標xa1與第二框選位置的左上頂點的X軸座標xb1相減取絕對值小於合併容忍值t，且第一框選位置F1的右下頂點的Y軸座標ya1與第二框選位置F2的左上頂點的Y軸座標yb1相減取絕對值小於合併容忍值，則將第一框選位置與第二框選位置合併為合併框選位置。此代表第一框選位 置F1與第二框選位置F2中的蟲卵為同一個蟲卵，只是被拆分到兩個框選位置，並不是兩個蟲卵。因此，合併第一框選位置F1與第二框選位置F2為合併框選位置，並將合併框選位置中的蟲卵數視為1。
由上述可知，判斷是否需要合併第一框選位置F1、第二框選位置F2的公式為：｜xa1-xb1｜<t and｜ya1-yb1｜<t
｜xa2-xb2｜<t and｜ya2-yb2｜<t
在第7A~7B圖所示的兩種情形中，當上述公式都滿足，則將第一框選位置F1與第二框選位置F2進行合併。在第7C圖所示的情形中，只要滿足上述第一條公式，則將第一框選位置F1與第二框選位置F2進行合併。
在一些情形中，同一個蟲卵可能被拆分到3個或4個框選位置，亦可以透過上述方式判斷是否需要合併此3個或4個框選位置。若需要合併此3個或4個框選位置，以生成合併框選位置，並將合併框選位置中的蟲卵數視為1。
於步驟240中，結果分析模組28依據此些拆分影像中包含物件與合併影像中之合併物件，計算物件的一預測數量。
舉例而言，高解析度影像ORI可以被拆分成713張256*256像素的拆分影像，若所有拆分影像A1~A10中，各自有2個蟲卵，每張合併影像(假設有40張)中，各自有1個蟲卵，而其他拆分影像沒有蟲卵，可計算出2*10+40=60，因此在高解析度影像ORI中，蟲卵的預測數量為60。
又例如，6000*8000像素的高解析度影像ORI可以被拆分成713張256*256像素的拆分影像，將此713張各自輸入神經 網路後，神經網路會輸出713筆框選位置數(於此例中，每輸入一張拆分影像至神經網路，神經網路輸出一框選位置數，每個框選位置數代表1個蟲卵)，將這些框選位置數中的蟲卵加總起來(例如框選總數為71300，蟲卵就有71300)，再減去合併框選位置總數(假設在此例中，所有合併框選位置的情形都是同一顆蟲卵被拆分到兩個拆分影像，例如有300個合併框選位置總數，被重複計算的蟲卵就有300個)，則可得到蟲卵的預測數量為71000顆。
於一例子中，結果分析模組28透過兩種尺寸(拆分影像尺寸256*256像素及512*512像素)的拆分影像，得到的八種預測蟲卵數的效果如下述表一。其中，MAPE是平均絕對百分誤差(Mean Absolute Percentage Error)，此值越小代表誤差越小，結果越正確。MAPE是依據步驟240所產生的預測數量與人工標記的數量(將人工標記的數量視為正確結果，ground truth)進行計算：
Figure 110100342-A0305-02-0019-9
 由上述表一可知，使用合併的準確率之平均結果的MAPE為2.85%。
由於MAPE是經常被拿來使用的數值評估指標，一般來說，MAPE<10%的模型為可接受的。
因此，物件計數系統及物件計數方法達到了自動化，且能精確的計算出微小物件數量的功效。
另外，本案的微小物件除了蟲卵以外，也可以應用在其它的微小物件上，例如米粒、幼蟲、卵鞘...等等物件。
綜上，物件計數系統及物件計數方法可以自動化的透過一張高解析度影像，計算出吸水布料上的蟲卵數，達到了提供了節省人力且兼具計數準確的功效。
雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬於本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。
200:物件計數方法
210~240:步驟

Claims (11)

  1. 一種物件計數方法，包含：接收一高解析度影像，並將該高解析度影像切割成複數個拆分影像；將該些拆分影像輸入一神經網路(Neural Network，NN)，以從該些拆分影像中辨識出一物件；在該些拆分影像之一第一拆分影像中的一第一物件之位置形成的一框選圖之至少一邊框與相鄰之一第二拆分影像中的一第二物件之位置形成的一框選圖之至少一邊框之間距小於一合併容忍值時，合併該第一拆分影像與該第二拆分影像為一合併影像，以使該第一物件與該第二物件合併為一合併物件，並重新標記一合併物件之位置；以及依據該些拆分影像中包含該物件與該合併影像中之該合併物件，計算該物件的一預測數量。
  2. 如請求項1之物件計數方法，更包括：該框選圖包含一框選位置，其中該框選位置包含一頂點座標、一框選長度及一框選寬度之資訊。
  3. 如請求項1之物件計數方法，更包含：平移該高解析度影像的一裁切範圍；忽略該高解析度影像中的複數個X軸像素值，並忽略該高解析度影像中的複數個Y軸像素值，以平移該高解析度影像的該裁切範圍；以及裁切平移後的該高解析度影像的該裁切範圍為該些拆分影像。
  4. 如請求項1之物件計數方法，更包含：將該高解析度影像裁切為N*N像素大小的複數個初始拆分影像，該些初始拆分影像為該些拆分影像的一部分；計算該些初始拆分影像中的該物件的該預測數量；以及將該預測數量視為一初始預測數量；其中，N為一正整數。
  5. 如請求項4之物件計數方法，更包含：忽略該高解析度影像X軸往右平移M*N的像素，並忽略Y軸往下平移M*N的像素後，取得一第一裁切範圍；其中，M為小於1的自然數；裁切該第一裁切範圍為N*N像素大小的複數個第一平移拆分影像，該些第一平移拆分影像為該些拆分影像的一部分；以及計算該些第一平移拆分影像中的該物件的一第一預測數量。
  6. 如請求項5之物件計數方法，更包含：將該初始預測數量與一第一預測數量加總並算平均數，以得到該物件的該預測數量。
  7. 如請求項2之物件計數方法，其中當該些框選位置中的一第一框選位置在一第二框選位置的左側時，若該第一框選位置的右上頂點的X軸座標與該第二框選位置的左上頂點的X軸座標相減取絕對值小於該合併容忍值、該第一框選位置的右上頂點的Y軸座標與該第二框選位置的左上頂點的Y軸座標相減取絕對值小於該合併容忍值、該第一框選位置的右下頂點的X軸座標與該第二框選位置的左下頂點的X軸座標相減取絕對值小於該合併容忍值，且該第一框選位置的右下頂點的Y軸座標與該第二框選位置的左下頂 點的Y軸座標相減取絕對值小於該合併容忍值，則將對應該第一框選位置之一第一框選圖與對應該第二框選位置之一第二框選圖合併為一合併框選圖。
  8. 如請求項2之物件計數方法，其中當該些框選位置中的一第一框選位置在一第二框選位置的上側時，若該第一框選位置的左下頂點的X軸座標與該第二框選位置的左上頂點的X軸座標相減取絕對值小於該合併容忍值、該第一框選位置的左下頂點的Y軸座標與該第二框選位置的左上頂點的Y軸座標相減取絕對值小於該合併容忍值、該第一框選位置的右下頂點的X軸座標與該第二框選位置的右上頂點的X軸座標相減取絕對值小於該合併容忍值，且該第一框選位置的右下頂點的Y軸座標與該第二框選位置的右上頂點的Y軸座標相減取絕對值小於該合併容忍值，則將對應該第一框選位置之一第一框選圖與對應該第二框選位置之一第二框選圖合併為一合併框選圖。
  9. 如請求項2之物件計數方法，其中當該些框選位置中的一第一框選位置在該第二框選位置的左上側時，若該第一框選位置的右下頂點的X軸座標與該第二框選位置的左上頂點的X軸座標相減取絕對值小於該合併容忍值，且該第一框選位置的右下頂點的Y軸座標與該第二框選位置的左上頂點的Y軸座標相減取絕對值小於該合併容忍值，則將對應該第一框選位置之一第一框選圖與對應該第二框選位置之一第二框選圖合併為一合併框選圖。
  10. 如請求項2之物件計數方法，其中當一第一框選位置與一第二框選位置相鄰時，回應於一絕對值小於該合併容忍值，將對應於該第一框選位置的一第一框選圖與對應於該第二框選位置 的一第二框選圖合併為一合併框選圖，其中該絕對值為一差值，該差值係依據該第一框選位置的至少一頂點的X軸座標與該第二框選位置的至少一頂點的X軸座標所計算出來。
  11. 一種物件計數系統，包含：一處理器；以及一儲存裝置，該處理器用以存取該儲存裝置所儲存之程式，以實現一影像切割模組、一影像物件偵測模組、一縫合模組以及一結果分析模組，其中：該影像切割模組，用以接收一高解析度影像，並將該高解析度影像切割成複數個拆分影像；該影像物件偵測模組，用以將該些拆分影像輸入一神經網路(Neural Network，NN)，以從該些拆分影像中辨識出一物件；該縫合模組，用以在該些拆分影像之一第一拆分影像中的一第一物件之位置形成的一框選圖之至少一邊框與相鄰之一第二拆分影像中的一第二物件之位置形成的一框選圖之至少一邊框之間距小於一合併容忍值時，合併該第一拆分影像與該第二拆分影像為一合併影像，以使該第一物件與該第二物件合併為一合併物件，並重新標記一合併物件之位置；以及該結果分析模組，用以依據該些拆分影像中包含該物件與該合併影像中之該合併物件計算該物件的一預測數量。
TW110100342A 2021-01-06 2021-01-06 物件計數系統及物件計數方法 TWI819266B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110100342A TWI819266B (zh) 2021-01-06 2021-01-06 物件計數系統及物件計數方法
CN202110145134.2A CN114723655A (zh) 2021-01-06 2021-02-02 物件计数系统及物件计数方法
US17/339,762 US11899752B2 (en) 2021-01-06 2021-06-04 Object counting system and object counting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110100342A TWI819266B (zh) 2021-01-06 2021-01-06 物件計數系統及物件計數方法

Publications (2)

Publication Number Publication Date
TW202230219A TW202230219A (zh) 2022-08-01
TWI819266B true TWI819266B (zh) 2023-10-21

Family

ID=82218722

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110100342A TWI819266B (zh) 2021-01-06 2021-01-06 物件計數系統及物件計數方法

Country Status (3)

Country Link
US (1) US11899752B2 (zh)
CN (1) CN114723655A (zh)
TW (1) TWI819266B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602944B2 (en) * 2005-04-06 2009-10-13 March Networks Corporation Method and system for counting moving objects in a digital video stream
US10210295B2 (en) * 2015-11-25 2019-02-19 International Business Machines Corporation Tool to provide integrated circuit masks with accurate dimensional compensation of patterns

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853943B2 (en) 2018-07-31 2020-12-01 Element Ai Inc. Counting objects in images based on approximate locations
CN111709935B (zh) 2020-06-17 2023-04-07 西安科技大学 一种用于地面运动皮带上实时煤矸石定位识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602944B2 (en) * 2005-04-06 2009-10-13 March Networks Corporation Method and system for counting moving objects in a digital video stream
US10210295B2 (en) * 2015-11-25 2019-02-19 International Business Machines Corporation Tool to provide integrated circuit masks with accurate dimensional compensation of patterns

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
網路文獻 Carlos A. B. Mello, et.al Image Segmentation of Ovitraps for Automatic Counting of Aedes Aegypti Eggs 30th Annual Interational IEEE EMBS Conference Vancouver, British Columbia, Canada August 20-24,2008.;網路文獻 吳和生;劉定萍;林立人;鄧華真;張念台 登革熱病媒蚊誘蚊產卵器監測研究計畫 行政院衛生署疾病管制局98-99年度科技研究發展計畫 99年 *
網路文獻 吳和生;劉定萍;林立人;鄧華真;張念台 登革熱病媒蚊誘蚊產卵器監測研究計畫 行政院衛生署疾病管制局98-99年度科技研究發展計畫 99年

Also Published As

Publication number Publication date
CN114723655A (zh) 2022-07-08
TW202230219A (zh) 2022-08-01
US20220215206A1 (en) 2022-07-07
US11899752B2 (en) 2024-02-13

Similar Documents

Publication Publication Date Title
CN104811660B (zh) 控制装置及控制方法
JP6317725B2 (ja) 取得された画像内のクラッタを決定するためのシステム及び方法
US20230260216A1 (en) Point cloud annotation device, method, and program
US11804029B2 (en) Hierarchical constraint (HC)-based method and system for classifying fine-grained graptolite images
JP7250155B2 (ja) 魚計数システム、魚計数方法及びプログラム
CN111325217A (zh) 数据处理方法、装置、系统和介质
JP6229365B2 (ja) コロニーカウント装置、コロニーカウント方法、およびコロニーカウントプログラム
Xuesong et al. Aphid identification and counting based on smartphone and machine vision
Lee et al. The accuracy of laser scanning technology on the determination of bloodstain origin
CN112686872B (zh) 基于深度学习的木材计数方法
TWI819266B (zh) 物件計數系統及物件計數方法
Straub et al. Approach for graph-based individual branch modelling of meadow orchard trees with 3D point clouds
Li et al. Smartphone application-based measurements of stem-base width and plant height in rice seedling
US11494889B2 (en) Imaging evaluation map, imaging evaluation map generating device, imaging evaluation map generating method, and imaging evaluation map generating program
CN109978937A (zh) 一种基于深度学习和特征部位检测的牛体尺测量系统
CN113454684A (zh) 一种关键点标定方法和装置
Pyka et al. LiDAR-based method for analysing landmark visibility to pedestrians in cities: case study in Kraków, Poland
CN116630352A (zh) 一种基于双向级联像素差分网络的岩心测量方法及装置
US11978197B2 (en) Inspection method for inspecting an object and machine vision system
JP4759957B2 (ja) 検査・計測用プログラムの作成方法並びにそのプログラムを作成するためのコンピュータプログラム及び検査・計測用プログラムの作成装置
Schwanck et al. Measuring lesion attributes and analysing their spatial patterns at the leaf scale using digital image analysis
Ullah et al. Quantifying consistency of crop establishment using a lightweight U-Net deep learning architecture and image processing techniques
CN113361360A (zh) 基于深度学习的多人跟踪方法及系统
Lin et al. Dental Positioning Medical Assistance System for BW Radiograph Based on YOLOV4
CN110097005A (zh) 基于深度学习的牛体尺测量系统中站姿纠偏的方法