TW202022698A - 定位和除去昆蟲的系統及方法 - Google Patents

定位和除去昆蟲的系統及方法 Download PDF

Info

Publication number
TW202022698A
TW202022698A TW108125706A TW108125706A TW202022698A TW 202022698 A TW202022698 A TW 202022698A TW 108125706 A TW108125706 A TW 108125706A TW 108125706 A TW108125706 A TW 108125706A TW 202022698 A TW202022698 A TW 202022698A
Authority
TW
Taiwan
Prior art keywords
insect
image
processor
space
camera
Prior art date
Application number
TW108125706A
Other languages
English (en)
Inventor
那達夫 貝內德克
沙爾 維爾夫
Original Assignee
以色列商畢茲構有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商畢茲構有限公司 filed Critical 以色列商畢茲構有限公司
Publication of TW202022698A publication Critical patent/TW202022698A/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00Stationary means for catching or killing insects
    • A01M1/02Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects
    • A01M1/026Stationary means for catching or killing insects with devices or substances, e.g. food, pheronones attracting the insects combined with devices for monitoring insect presence, e.g. termites
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00Stationary means for catching or killing insects
    • A01M1/06Catching insects by using a suction effect
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00Stationary means for catching or killing insects
    • A01M1/14Catching by adhesive surfaces
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00Stationary means for catching or killing insects
    • A01M1/20Poisoning, narcotising, or burning insects
    • A01M1/2022Poisoning or narcotising insects by vaporising an insecticide
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M1/00Stationary means for catching or killing insects
    • A01M1/22Killing insects by electric means
    • A01M1/223Killing insects by electric means by using electrocution
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01MCATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M5/00Catching insects in fields, gardens, or forests by movable appliances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Pest Control & Pesticides (AREA)
  • Engineering & Computer Science (AREA)
  • Zoology (AREA)
  • Insects & Arthropods (AREA)
  • Wood Science & Technology (AREA)
  • Environmental Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Forests & Forestry (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Catching Or Destruction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Burglar Alarm Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供在封閉空間中定位昆蟲,並指示使用者該昆蟲所在位置的系統與方法。該系統包括一攝像器,用以獲取封閉空間的影像,以及一處理器,用以偵測影像中昆蟲的所在位置,且基於影像中的所在位置,製造出人眼可見之所在位置的指示標記,用以在封閉空間中指出該昆蟲的所在位置。在一些實施例中,該昆蟲會被除去。

Description

定位和除去昆蟲的系統及方法
本發明是在於害蟲防治的領域之中,特別是在於使用電腦視覺以偵測、定位以及除去諸如飛蟲之害蟲的領域。
在家中或是其他都市的空間中,諸如飛蟲之害蟲係與人類共享著環境,其會散播疾病、敗壞食品,且普遍地引起不快。這些害蟲通常是藉由排除、驅逐、物理性的移除或化學性的手段來試圖防治。
一種使用了影像感測器、具有放大透鏡的系統係被用在典型的農業環境中來偵測昆蟲,其中該影像感測器會被移動,或者是在影像感測器視野中的物品會被移動,讓其可以作大範圍的監測。
此種需要使用移動的攝像器的系統,並不適合在室內使用,這是因為人們並不喜歡有攝像器時常在他們的生活及/或工作空間中移動。
另一種使用影像感測器的系統,會在由一攝像器以及與攝像器之間有間隔的一逆向反射表面所定義出的目標區域內追蹤飛蟲。因除了攝像器外,還需要放置一逆向反射表面,使得此種系統太過顯眼和笨重,也因此不太可能廣泛地安裝在家中。
本發明的實施例係提供一般在室內環境中用於偵測和定位諸如飛蟲之害蟲的系統及方法,一般能夠在封閉的環境中輕易且準確地採 取對抗害蟲的措施。
根據本發明實施例之系統係包含攝像器及處理器,用以從該攝像器獲取的影像中偵測和定位害蟲。該系統可從包含有攝像器的單一殼體中操作,且不需要與該單一殼體分離的額外元件來定位昆蟲。另外,系統中的攝像器不需要接在或是嵌入在一可移動平台內以擷取可用的影像。因此,可容易地設立起該系統,且可以不引起注意地被置放在一空間中,例如家中的房間或辦公室,或是公共場合諸如戲院、博物館等等。
本發明之實施例係可辨別昆蟲與雜訊及/或非昆蟲的物體。
在一實施例中,該系統可以提供一人類可見的標記,以指出該昆蟲在房間中的所在位置,以採取進一步的措施。
本發明之實施例提供多種類型的解決方法,來作到對抗從空間的影像中被偵測到和定位到的害蟲。
100‧‧‧系統
101‧‧‧殼體
102‧‧‧處理器
103‧‧‧攝像器
104‧‧‧房間
105‧‧‧昆蟲
106‧‧‧IR照明光源
108‧‧‧投射器
112‧‧‧記憶體單元
115‧‧‧視覺標記
1001~1009、2001~2011、4001~4007‧‧‧步驟
200‧‧‧系統
202‧‧‧處理器
203‧‧‧攝像器
204‧‧‧房間
205‧‧‧昆蟲
209‧‧‧裝置
212‧‧‧記憶體單元
223‧‧‧影像
225‧‧‧所在位置的指示標記
226‧‧‧天花板
301‧‧‧殼體
302‧‧‧處理器
303‧‧‧攝像器
305‧‧‧昆蟲
308‧‧‧投射器
312‧‧‧指示標記的指向裝置
316‧‧‧雷射
D‧‧‧距離
401‧‧‧殼體
402‧‧‧處理器
403‧‧‧攝像器
411‧‧‧連接點
412‧‧‧記憶體
413‧‧‧連接埠
415‧‧‧移動裝置
426‧‧‧構件
427‧‧‧遠端
503‧‧‧攝像器
515‧‧‧裝置
525‧‧‧推動機構
526‧‧‧昆蟲處置工具
602~610、702~710、802~812‧‧‧步驟
本發明現在將會以一些相關實例與實施例,參照下列例示性的繪圖來敘述,使其可以更完全地被明瞭。在圖式中:圖1A為一根據本發明實施例之在一空間中定位昆蟲的系統示意圖;圖1B為一根據本發明實施例之在一空間中偵測與定位昆蟲的方法示意圖;圖2A及圖2B為根據本發明另一實施例之在一空間中定位昆蟲的系統示意圖;圖2C為一根據本發明另一實施例之在一空間中偵測與定位昆蟲的方法示意圖;圖3為一根據本發明實施例之包含一視覺標記投射裝置的系統示意圖;圖4A及圖4B為根據本發明實施例之包含一輔助裝置以處置昆蟲的系統 示意圖;圖4C為一根據本發明實施例之控制輔助裝置以處置昆蟲的方法示意圖;圖5為一根據本發明實施例之處置昆蟲的輔助裝置示意圖;圖6為一根據本發明實施例之在一空間的影像中偵測昆蟲的方法示意圖;圖7為一根據本發明實施例之判斷在一影像中的物體是否為昆蟲的方法示意圖;以及圖8為一根據本發明實施例之基於先前的影像來判斷在一影像中的物體是否為昆蟲的方法示意圖。
本發明實施例提供偵測一隻或多隻昆蟲在一封閉空間(如房間)中的所在位置之系統與方法,並且在該空間中指出被偵測到的昆蟲所在位置。
在此描述的實例主要提及的是昆蟲類的害蟲,尤其是諸如蚊子之飛蟲,然而本發明的實施例也可以被用來定位其他害蟲。
在以下的敘述中將會描述本案發明的許多面向。為了講解的目的,會提出特定的型態與細節以供對本案發明有徹底的理解。然而,對於本案發明所屬技術領域中具有通常知識者而言,即使沒有此處所呈現的特定細節,也很明顯可以實作運用。再者,習知的特徵也可能被省略或簡化,以免無法突顯本案發明。
除非明顯從以下討論中有另外特定表明,應了解說明書通篇討論中使用的術語,諸如「分析」、「處理」、「計算」、「運算」、「判斷」、「偵測」、「辨認」、「預測」、「理解」或是類似術語,指的是電腦或計算系統或 者是類似的電子計算裝置的動作及/或程序,將計算系統的寄存器及/或記憶體中以物理量(例如電子量)呈現的資料,調處及/或轉換成其他近似於在計算系統的記憶體、寄存器或其他此種資訊儲存器、傳送或展示裝置中以物理量呈現的資料。
在圖1A以圖示說明的一實施例中,一偵測及定位昆蟲的系統100包含一攝像器103,用以獲取一空間的一影像,例如房間104或是房間104的一部份影像。昆蟲105,例如一隻或多隻蚊子,可能在房間104中。
包含一影像感測器以及適宜的光學元件之攝像器103,與一處理器102之間有通訊。處理器102接收由攝像器103獲取的房間104的影像或者房間104一部份的影像,且偵測房間影像中昆蟲105的所在位置。基於昆蟲105在影像中的所在位置,處理器102產生一信號,能夠製造出所在位置的指示標記,其為人眼可見,以指出昆蟲105在房間104中的所在位置。
處理器102可以基於一空間中的影像,判斷昆蟲105在一空間中(例如房間104)的所在位置,且可以控制投射裝置,讓一光源製造出人眼可見的指示標記指向該昆蟲的所在位置附近。
在圖1A中所示的實例中,所在位置的指示標記是在房間104中昆蟲105所在位置上的一視覺標記115。在一實施例中,視覺標記115是由投射裝置108投射一雷射或其他光束到房間104中昆蟲105的附近來製造,於房間中昆蟲所在位置的附近形成一視覺標記115。
系統100的一些組件或所有組件皆接在或封閉於一殼體101之內。因此,舉例而言,攝像器103和處理器102可以都被包含在一單一殼體101之內。在另一實施例中,系統的一些組件(例如處理器102)是放置在遠處。
殼體101可以由使用上可行且安全的材料製成,例如塑膠及/ 或金屬,其可包含一個或多個樞紐元件,例如轉軸、可旋轉的接頭或是球形接頭,使殼體101可以作到多種動作。舉例而言,殼體101可以被置放在房間104的一個位置,但可藉由旋轉及/或傾斜殼體101,讓包覆在殼體中的攝像器103具有好幾個視角(FOV)。然而,殼體101一般為攝像器103提供了穩定性,所以攝像器在獲取影像時不會被動到。
在一些實施例中,攝像器103會被安置在其焦平面與房間104一表面平行之方位。舉例而言,房間的一表面可能包含房間的地板或天花板或牆壁,或是房間中一家具的表面等等。
在一實施例中,處理器102偵測房間一表面上(例如牆上、天花板上、房間家具的表面上等等)的影像內昆蟲105的所在位置,並且產生一信號,能夠在該表面上於昆蟲105的所在位置製造出視覺標記115。
在一些實施例中,處理器102偵測房間影像內一靜止(例如沒有在飛行)的昆蟲,而視覺標記115會被產出或是被指向該靜止的昆蟲所在位置。
在一些實施例中,處理器102偵測一降落中的昆蟲,例如,處理器偵測到昆蟲在飛行後之停了下來。處理器102隨之偵測該昆蟲降落之後(例如停下來之後)的所在位置,而視覺標記115會被產出或是被指向昆蟲降落之後的所在位置。
攝像器103可包含一影像感測器,例如一適用的晶片像是電荷耦合元件(CCD)或互補式金屬氧化物半導體(CMOS)晶片,且其可能是二維或三維的攝像器。攝像器103可包含透鏡及/或其他光學元件以能夠獲取房間104(或其一部份)的影像。
在一些實施例中,攝像器103可包含一紅外線(IR)敏感感應器及/或可包含透鏡及/或過濾器以過濾其他波長來減少雜訊,能在特別的照 明條件下獲取房間104的影像。舉例而言,系統100可以包含一IR照明光源106。IR照明光源106可以包含一發光二極體(LED)或其他放射出750nm到950nm範圍內的照明光源。在一實施例中,IR照明光源106照射出約850nm的光。IR照射光源106藉由提供對人眼不可見及/或有刺激性、但又能使攝像器103在一黑暗房間中獲取有意義的影像之照明,可讓系統100甚至在黑暗的房間中也能使用。
處理器102可包含例如一個或多個處理器,且可以是一中央處理器(CPU)、一數位訊號處理器(DSP)、一微處理器、一控制器、一晶片、一微晶片、一積體電路(IC),或者任何其他合適的多用途或特定之處理器或控制器。
在一些實施例中,系統100可包含一警示裝置,像是一聲音發射裝置及/或一光源,如專用的LED,而處理器102可產生一警示信號,基於對昆蟲所在位置所作的偵測,讓例如聲音或是光可被發出。
在一些實施例中,處理器102與一個或多個記憶體單元112間通訊。記憶體單元112可包含,舉例而言,一隨機存取記憶體(RAM)、一動態隨機存取記憶體(DRAM)、一快閃記憶體、一揮發性記憶體、一非揮發性記憶體、一快取記憶體、一緩衝器、一短期記憶體單元、一長期記憶體單元,或其他合適的記憶體單元或儲存單元。
系統100的組件可以彼此之間無線地連結,例如藉由合適的網路集線器,或是藉由適用的纜線或是合適的埠例如USB連結。
根據一些實施例,至少一些由攝像器103獲取的影像是儲存在記憶體112中。記憶體112可以進一步儲存可執行的指令,在處理器102執行時可使本文中所敘述的方法容易進行。
圖1B中以圖示說明由處理器102進行一些步驟的方法的其 中一個實例。此一在封閉空間中偵測與定位昆蟲的方法,步驟包含獲取空間中一影像(1001),例如獲取房間104的影像,以及偵測影像中一昆蟲的所在位置(1003)。影像中昆蟲的所在位置會被轉譯為現實世界的座標(1005),且一所在位置的指示標記會被製造出來,以指示現實世界的座標(1007)。
在一些實施例中,一旦偵測到昆蟲的一所在位置,會產生一信號以通知一使用者。該信號可以(藉由藍芽、無線電等等)送到使用者的行動裝置(例如使用者的行動電話或是到一專用的裝置)。
在一實施例中,該方法包含在空間的影像中偵測一靜止的昆蟲(例如沒有在飛行及/或沒有在空間中改變位置的昆蟲),並偵測該靜止的昆蟲其所在位置。一所在位置的指示標記會被產出,以指示現實世界中該靜止昆蟲的座標。
在另一實施例中,該方法包含在空間的影像中偵測一降落中的昆蟲,並偵測該昆蟲降落之後的所在位置。一所在位置的指示標記會被產出,以指示現實世界中該昆蟲降落之後的座標。
在一實施例中,該方法包含發射一所在位置的指示標記(如一人眼可見光的光束,像是可見光雷射光束)到空間中的現實世界座標處(1009),因而在空間的該處製造出一可見的標記。舉例而言,如果偵測到一昆蟲(例如靜止的昆蟲及/或降落之後的昆蟲)在空間中一表面上的位置,會有光束被指向至該表面上的位置,因而使一個光的圓圈(或其他形狀)在表面上標記出昆蟲的所在位置。
影像中昆蟲的所在位置,可以藉由使用射影幾何學轉譯成現實世界座標(步驟1005),例如當獲取影像的攝像器其焦平面,與空間中昆蟲所在的表面上平行時即可。
在另一實施例中,一包含成像器(如攝像器103)及投射裝 置(如投射裝置108)的系統可以被預先校準。舉例而言,投射裝置可以被安置在靠近攝像器(例如請參見下方圖3中所描述的距離D)的方位。在校準時,可以從投射裝置投射一光線至空間內的多個位置,該光線對攝像器可見,且在那些位置上可以由攝像器成像。如此一來,藉由使用內插法,影像中的每處(例如每個像素或是像素群組)都可以即時被關聯成空間中的一x、y座標,因此可以基於影像中被偵測到的位置,將投射裝置指向空間中的位置。另外可以選擇採取或是加上使用一攝像器可見的光線,使得能夠基於可見的標記,來即時地校正投射裝置的方向。
在一實施例中,投射裝置包含一個或多個轉子,使得所在位置的指示標記能夠以不同的角度投射。在這個狀況下,基於預先的校準,影像中的每一個位置都可以被關聯成轉子的α、β座標。
在一個實例中,轉子可以包含一個步進馬達,使每一步所切換的角度都是可知的。可以使用一個或多個物理停點,讓轉子在移動極限的角度是可知的。對習知的攝像器光學元件而言,每一個像素都可以被關聯成一所知的角度。因此,可以計算出來將轉子指向每個角度所需要的步數。由於投射裝置一般不會和攝像器放在同一個地方,計算時可能會需要依投射裝置和攝像器之間的距離來調整。
可以使用其他方法將昆蟲在影像中的所在位置轉譯成現實世界的位置。
在圖2A中以圖示說明的另一實施例裡,系統200偵測一如本文所描述之昆蟲,並製造出一所在位置的指示標記,其於房間的影像中是可見的。在這個實施例中,處理器202在一房間的影像223中定位一昆蟲205,並產生一信號,以在影像223中昆蟲的所在位置上製造出一所在位置的指示標記225。在一個實例中,房間的影像223是與所在位置的指示標記 225一起展示出來,其可以是疊加在影像223上的一個圖樣或是其他圖形標示。
圖2B展現一房間影像223的實例。影像223包含一房間的一部份,其呈現出一個表面,即房間的天花板226,在上面有一隻昆蟲被定位。一個所在位置的指示標記225被疊加在影像223上面,以對一正在觀看影像223的使用者指出昆蟲在天花板226上的所在位置。
在一實施例中,以攝像器203所獲取的影像可以本端儲存(例如儲存在記憶體單元212中)及/或遠端儲存(例如影像可以藉由網際網路或其他合適的無線通訊傳送至遠端儲存器,如雲端儲存)。隨後影像可以被取回並展示在裝置209上,例如展示在個人及/或行動裝置(像是智慧型手機、平板等等)上,或者是在一般可移動的專用裝置上。
在一實施例中,房間影像223是一即時的房間影像,而被所在位置的指示標記225疊加在上的影像,和偵測昆蟲205所在位置的影像是同一個影像。
在一些實施例中,房間影像223經調處,使得某些細節(像是個人、私人及/或機密資訊)會被遮蔽或從影像中移除。因此,可以不用犧牲隱私及/或機密而展示一即時的影像(和偵測昆蟲205的影像同一個)。影像223可以由處理器202或是由不同的處理器(例如裝置209中的一處理器)作調處以保護隱私及/或機密。
在另一實施例中,攝像器203獲取一組的多個房間影像。攝像器203在獲取該組多個影像時並沒有被移動或是被重新置放,因而所有的影像都是擷取到相同的視角。一第一影像可以是只有房間204的影像,沒有入鏡者,而房間204的一第二影像可以是房間即時的影像(可能有入鏡者),於其中偵測昆蟲205。在一些實施例中,為了保護入鏡者的隱私,只有第一 影像會被傳送到裝置209作展示,而第二影像中昆蟲205的所在位置會被指示出來並展示在第一影像上,也就是展示給使用者的影像上。
在一些實施例中,第一影像(一般不包含個人資訊)可以是使用者從一組的多張房間影像中選出的一影像。在另一實施例中,第一影像可以是被修改過或是經調處的房間影像,在其上修改影像所含的個人資訊,以將個人資訊遮蔽起來。
在一些實施例中,第一影像可以是一代表性影像,讓使用者能夠理解被成像的空間其佈局,但是並不需要是該空間真正的影像。舉例而言,一代表性影像可以藉由結合好幾張該空間的影像而製造出來,這些影像一般是由攝像器203所獲取的。例如,該代表性影像可以是一組的多個空間影像其中好幾個影像的平均值。在另一實施例中,代表性的影像可包含空間的圖樣化表現,而非空間真正被成像的部件。使用一平均值的影像(或其他代表性影像)作為第一影像,除了對保護個人資訊有用以外,也能在攝像器(例如攝像器203)在不同影像之間有被重新置放而導致不是所有影像的視角都完全相同的情況下有用處。
在一實施例中,一個由處理器202執行的偵測和定位昆蟲的方法,包含在一空間的影像上以視覺的方式標記出空間中昆蟲的所在位置。在圖2C以圖示說明一例示性方法,包含獲取空間的一第一影像(2001)且儲存該第一影像(2003)。一般而言,該第一影像包含不具入鏡者及/或個人資訊被遮蔽起來的空間。
獲取一第二影像(2005)。該第二影像的視角與第一影像大致相同,但是是獲取的時間晚於第一影像。該第二影像包含一在空間中的昆蟲。判斷第二影像中昆蟲的所在位置(2007),並製造出一所在位置的指示標記(如圖形標記)以在空間的影像中標記出該位置(2009)。
在一實施例中,所在位置的指示標記會在和偵測昆蟲的同一個影像上標記出所在位置。在另一實施例中,所在位置的指示標記是在該房間別的影像上標記出所在位置。所述該房間別的影像可以是一更早之前所擷取的影像,例如該房間的第一影像。
在一些實施例中的方法,包含接受來自一使用者的輸入,並基於使用者的輸入,判斷哪一張影像要作為第一影像(即哪一個影像要和所在位置的指示標記一起展示出來)。因此,使用者可以選擇將一個不包含使用者認為有個人或是機密資訊的影像,將其送到儲存器或是將其展示出來。
在其他或是額外的實施例中的方法,包含製造該空間代表性影像的一步驟(例如一平均值影像),並使用該代表性影像作為第一影像。
在一些實施例中的第一影像,可以從儲存器中被取回並展示在使用者前,例如展示在使用者的個人行動裝置上或是在專用裝置上,第一影像上有所在位置的指示標記疊加在上,疊加的位置與第二影像上的位置相同(2011)。
因此,舉例而言,可以在視角相同(或大約相同)的所有空間影像上使用網格,讓影像上的昆蟲所在位置可以有一個網格的x、y座標,在同一個視角上所有其他影像的座標也相同。
如同上述的討論,以及如同圖3中進一步的示範,一投射裝置308可由處理器302控制,以投射或指向一所在位置的指示標記到昆蟲在現實世界空間(如房間104)裡的所在位置。
在一實施例中,在殼體301內的一投射裝置308以及一攝像器303被放得很近。投射裝置308包含一指示標記的來源如光源,像是雷射316,以及一指示標記的指向裝置312,例如一光學系統,其包含透鏡及或 反射鏡或其他光學組件,以將光從光源指向所欲的方向或角度。在一實施例中,指示標記的指向裝置312包含可轉動的光學元件,像是一具有反射鏡的方向支架,其被設置成約以一單一軸為中心旋轉。兩個或三個方向支架為一組,其中一個架在另一個之上,且具有垂直的旋轉軸,可以用來讓雷射316的光以任何所欲傾角(pitch)軸、滾轉(roll)軸、以及垂直(yaw)軸方式作指向。
基於攝像器303所獲取的影像中昆蟲305被偵測到的所在位置,處理器302控制指示標記的指向裝置312,讓指示標記例如雷射316被指向昆蟲現實世界中的位置。例如控制指示標記的指向裝置312其垂直軸和俯仰軸的方向支架,使一指示標記如雷射316可以指向一現實世界的位置。
一般而言,會將攝像器303放在與投射裝置308(或者投射裝置的組件像是雷射或指示標記的指向裝置)之間有一最小距離D,讓指示標記能夠準確地瞄準。在一實施例中,攝像器303與雷射316或指示標記的指向裝置312會被放在離彼此至少20公分遠的地方。在另一實施例中,攝像器303與雷射316或指示標記的指向裝置312會被放在離彼此至少10公分遠的地方。
雷射316可以包含可見光,因而讓雷射在偵測到的昆蟲所在位置上所產生的標記可以被看見,以及可以被攝像器303成像且向一使用者展示,例如在裝置209上展示。因此,在一實施例中,使用者可以收到一房間的影像,其上有一由雷射316在房間的影像上製造的昆蟲所在位置之視覺標示。
在一實施例中,投射裝置308被設置以除去昆蟲或是讓昆蟲失去行動力。舉例而言,雷射316可以是一能量夠高的UV或IR光或是其他種光,因此在房間中的一表面上指向到一昆蟲305、一靜止的昆蟲、或是一 降落之後的昆蟲時,其可以使昆蟲305傷殘及/或殺死昆蟲305。
在一些實施例中,投射裝置308包含一指示標記的來源如一光源,像是雷射316,以及一由處理器控制的指示標記的指向裝置312。此投射裝置308可以被用在害蟲防治以外的領域。舉例而言,投射裝置308可以被用於提供視覺效果,像是動畫。舉例而言,投射裝置308可以是玩具的一部份。在一些實施例中,控制指向裝置的處理器,會有來自影像感測器及/或基於影像處理而得到的輸入,而可以用於虛擬實境遊戲中或是其他應用上。
在另一實施例中,投射裝置308可以用來作為一指向裝置,舉例而言,在封閉的空間或是其他空間裡用來指示使用者到一特定的地點,幾個實例包括:指示安全部隊到安全攝像器所辨認出的位置;在大型空間中,例如檔案室、商店或倉庫裡指示一使用者到想去的位置;指示營建或維修人員至偵測到問題的指定場所(該問題有可能是藉由影像處理偵測到的);以及基於影像處理操作雷射切割機器。
本發明的一些實施例提供處置昆蟲的裝置,例如除去昆蟲或是讓昆蟲失去行動力。此種裝置也可以包含像是額外的攝像器及/或照明源等設備,以協助在影像中確認昆蟲,例如確認昆蟲的存在及/或確認昆蟲的種類。這些通常可移動的裝置,可被控制以接近一空間中昆蟲的所在位置,例如在一封閉的空間中,近距離地處置昆蟲,因而以限制周邊空間所承受到的危險影響。
處置昆蟲的裝置的一些實例,如於下方所述,是由根據本發 明實施例之定位昆蟲的系統所控制,然而,在一些實施例中,處置昆蟲的裝置可以由其他系統所控制。
在一些實施例中,上述的系統可以包含一輔助裝置,與本文所描述的系統一起使用,根據本發明中的實施例可以除去及/或是以另外方式處置在影像中偵測到的昆蟲。
在圖4A與4B中以圖示說明的例示性實施例中,一偵測房間中昆蟲所在位置的系統包含一殼體401,一用以獲取空間(像是屋中的房間、辦公室空間及其他公共或私人的室內空間)影像的攝像器403封閉在殼體中。攝像器403與處理器402及記憶體412之間通訊,如於前述。此系統更進一步包含一輔助裝置,其與處理器402之間通訊。
在圖4A中,輔助裝置是一獨立的移動裝置,其可以被用來除去昆蟲或是達到其他目的,例如用來移除、捕捉或分析昆蟲,如於圖5進一步所述。
在圖4A中所描述的系統,也可以包含一連接埠413,一般會在殼體401之上。例如一擴充基座或是其他端子,用來充電及/或裝上獨立的移動裝置415。
在一實施例中,獨立的移動裝置415為一飛行裝置,例如一無人機。
獨立移動的裝置415可以由處理器402遠端遙控。舉例而言,獨立的移動裝置415可以和處理器402之間無線通訊(例如藉由藍芽、無線電等等)。
在圖4A中以圖示說明的系統包含一攝像器403,用以獲取空間的影像,以及一移動裝置415,與攝像器403分離移動。處理器402可以在攝像器403所獲取的至少一空間影像中偵測一昆蟲,且可以基於對空間影像 的分析,控制裝置415將其移動到昆蟲的附近。
在一實施例中,處理器402基於對在一單格內,含有昆蟲以及移動裝置415的空間之影像所作的分析,控制移動裝置415使其移動到昆蟲的附近。處理器402可以控制移動裝置415,使其從攝像器403處以一直接的路徑前往昆蟲的方向移動,其中前往昆蟲的方向,可以從一單格之內昆蟲在影像中的所在位置而被預估出來。一旦昆蟲與移動裝置415在同一個單格之中,處理器402會進一步控制移動裝置415的動作,在引導其與攝像器分離並往昆蟲方向前進時,使其停留在影像中昆蟲的附近。舉例而言,處理器402可以使用單格中兩物體之間的像素距離,定時地判斷單格中移動裝置415與昆蟲之間的角距。如果判斷出的角距,高於預先決定的數值,處理器402可以計算出移動裝置需要移動的距離和方向,以將其帶到預先決定與昆蟲之間的角距之中,讓移動裝置415於計算出的方向上,移動計算出的距離。
可以重複此過程,直到移動裝置415移到預先決定的距離之中,如一與昆蟲之間的消除距離。舉例而言,消除距離可以是能有效處置昆蟲的距離,例如殺蟲劑能夠有效噴在昆蟲上的距離。一旦到達預先決定的距離(如消除距離),可控制移動裝置415及/或構件416(如於下述)來除去昆蟲,例如藉由使用化學性、機械性或是電性的方式來除去昆蟲。
因此,處理器402預測從攝像器403處到昆蟲的方向,並控制裝置使其大致地往那個方向移動。
在一實施例中,可藉由使用在移動裝置415上一額外的攝像器所獲取的昆蟲影像,判斷是否已經到達一消除距離。可對該昆蟲影像作分析(例如將昆蟲在影像中的大小,與這種昆蟲在一所欲的距離上時預期會有的大小作比較)。在另一實施例中,一處理器(例如處理器402或者其 他處理器,其可能是接在移動裝置415上)可以和一測距儀或類似的系統通訊(其可能接在移動裝置415上或是系統內其他的位置上),基於該測距儀的輸入來判斷是否已到達一消除距離。在另一實施例中,要判斷是否已達到一消除距離,可以藉由移動裝置在一已知的距離上放出一光線(例如使用一雷射指示器或是其他投射裝置)來得到一光點,並分析光點在來自攝像器403影像上的位置(例如由雷射指示器所製造出在牆上或天花板上的光點)來達成。移動裝置415與攝像器403之間的相對位置是已知的(如於本文中所述)。如此一來,從移動裝置415到光點所在位置間的角度也會是已知的。從攝像器403到光點所在位置之間的角度,可以藉由偵測在影像中的光點其像素(或像素群)而計算出來。到光點的距離,可以進行三角測量,藉此能預測出移動裝置415到昆蟲之間的距離,因為通常昆蟲與光點是在同一個表面上。
在一些實施例中,移動裝置415可以包括一投射裝置,用以投射一能量形式的光束到昆蟲的附近,以製造出光點及/或處置該昆蟲。另外,移動裝置415可以包括一額外的攝像器(例如圖5中的攝像器503)。移動裝置415與昆蟲之間的方向及/或距離,可以使用移動裝置415中的投射裝置及/或額外的攝像器而計算出來(如於前述)。
一旦達到預先決定的距離內,移動裝置415可以使用一構件,其可以從裝置延伸到昆蟲的附近進行例如處置昆蟲,如於下述。
在圖4B中,輔助裝置在連接點411接於殼體401,且可經由連接點411與殼體401內的一電源及/或貯器連結。該輔助裝置可包括一處置工具,像是一可移動且一般可延伸的構件426,例如一伸縮臂。構件426可被處理器402控制,以從殼體401延伸,並且移動到昆蟲所在位置,以在該位置處置昆蟲,如捕捉或者是殺死昆蟲,如於下述。
在一些實施例中,構件426是一伸縮臂及/或可變形臂,或者是由像是形狀記憶材料所製成的彈簧,通常是摺疊起來或捲成圈狀的形式,且可以被延展和移動,以在處理器402發出一信號後,到昆蟲所在位置處與昆蟲互動。
昆蟲的處置可包括使用機械性及/或化學性的方法。在一些情況下,機械性及化學性手段或方法兩者都會被使用以處置昆蟲。
在一些實施例中,構件426是作為讓儀器或藥劑被用以處置昆蟲的導線管。舉例而言,構件426中可包括含有一化學物質(如氣體、液體或粉劑)的一隔間,或者構件426可與該隔間連接,該化學物質可從一相對近的範圍內噴灑或滴至昆蟲上,藉此將化學物質的效果限制在昆蟲本身,而不影響到周邊的空間。在一個實例中,該隔間可以含有一殺蟲劑。在另一個實例中,該隔間可以包括一驅蟲劑,像是香茅油,其為以植物為基底的昆蟲驅蟲劑。
在一些實施例中,殼體401包括一化學物質貯器。在其他的實施例中,殼體401存有化學物質膠囊(或其他種容器),可以裝填進構件426內。
在一實施例中,構件426可包括一接在構件426的遠端427上之噴嘴。載有一噴嘴的構件426可以被指向到昆蟲所在位置,並在一近距離範圍中經由噴嘴將化學物質的脈衝或噴霧指往昆蟲。
在一實施例中,構件426可以包括一抽吸隔間,或者連接一抽吸隔間,把昆蟲拉進並捕捉(及/或殺死)昆蟲。
在另一實施例中,構件426可以包括一通電元件,藉此來電擊昆蟲。在另一實施例中,構件426可以包括一黏性元件,藉此來捕捉(及/或殺死)昆蟲。
藉由構件426,可以運用其他的電性及/或機械性及/或化學性的解決方法。
構件426並不具有人類或者其他捕食者的特徵,因此一般不會被昆蟲(如蚊子)辨認成人類或捕食者,因而可以接近昆蟲並進入昆蟲的近距離內而不會將其嚇跑。
在一些實施例中,一輔助裝置可以包括,舉例而言,一投射裝置(如投射裝置108以外的投射裝置),以投射一光束或任何形式的能量,能夠在昆蟲的所在位置對昆蟲造成傷害或是致死。在一些實施例中,一個單一的投射裝置(如投射裝置108)可以被用來指示昆蟲的所在位置,且投射一光束以處置該昆蟲(例如使其失去行動力)。因此,投射裝置可以被來自處理器102所產生的信號控制,以投射一能量形式的光束,例如光、熱及類似性質者到昆蟲的所在位置以處置該昆蟲。
在一些實施例中,神經網路,例如卷積神經網路,或其他電腦視覺軟體及演算法,會被用以偵測及辨認位置上的一個影像或數個影像中昆蟲的細節。像是形狀及/或動作及/或顏色偵測的演算法可以用來判斷昆蟲的形狀及/或顏色及/或移動模式及/或其他細節。移動模式包括,舉例而言,移動的方向、移動的程度大小、移動的速度等等。這些昆蟲的細節,可以用來判斷被拍攝到的昆蟲種類及/或區分不同的昆蟲及/或區分昆蟲與非昆蟲的物體,像是灰塵粒子或其他被拍攝到的雜訊。
在一些實施例中,處理器102基於對昆蟲種類的判斷去控制輔助裝置。舉例而言,當是某一種特定的昆蟲時,才控制投射裝置去處置該昆蟲。
在其他的實施例中,一輔助裝置可能包括,例如,一個用以在該昆蟲的所在位置增強該空間影像的工具。舉例而言,一個系統(如系 統100)可能包括一個攝像器(如除了攝像器103以外的攝像器),其具有光學元件,能夠基於該位置放大的影像增強昆蟲的所在位置,以在該位置上如確認昆蟲的存在/及或種類。
在一實施例中,一個長焦距透鏡(例如望遠透鏡)可以被用來在昆蟲的所在位置上拉近畫面,能夠以較好的細節和焦距來看到昆蟲的形狀或其他細節。
在一實施例中,一旦攝像器103偵測到一可疑的昆蟲,額外的攝像器可以被指向及/或移動到可疑昆蟲的所在位置,用來如確認昆蟲的存在及/或種類。在一實施例中,一具有長焦距透鏡(或其他放大光學元件)的攝像器可以被接在或者放置在指示標記的指向裝置312上,例如在一個方向支架上,如此一來該放大光學元件可以和指示標記的指向裝置312同方向移動,自動將光學元件指向可疑昆蟲的所在位置。
在一實施例中,可以使用差異分析來確認可疑的昆蟲及/或用來偵測一昆蟲。舉例而言,可以在低解析度下掃描一區域,以偵測一可疑的昆蟲,而可疑昆蟲的區域可以在高解析度下被分析用來如確認昆蟲存在及/或種類。使用影像的差異分析可以減少處理的過程,藉此提供了一種具成本效益的解決方法。
因此,在一實施例中,攝像器103可以獲取房間的一廣角影像,而一輔助裝置,如一能夠拉近畫面的額外的攝像器,獲取一具有細節之房間的一部分影像。處理器102可以偵測房間的廣角影像中可疑昆蟲的位置,將額外的攝像器指向該可疑昆蟲的位置(例如藉由控制方向支架的移動),並在具有細節之房間的一部分(可疑昆蟲所在位置的部分)影像中確認該昆蟲(例如確認昆蟲的存在及/或種類)。
在一實施例中,一處置昆蟲的系統,像是系統100,可以包 括一輔助照明光源,以允許將可疑昆蟲的所在位置作到高解析度的成像,並且協助確認該昆蟲。可選地,照明光源可被用來如獲取一較亮的影像,該照明光源同樣被接在方向支架上,因此和指示標記的指向裝置同方向移動。該照明光源可以具有一相對短的波長(例如藍光)以降低繞射極限,允許對可疑昆蟲作高解析度的成像。在一些實施例中,照明光源和所在位置的指示標記是相同的元件。
一旦確認了可疑的昆蟲,處理器102可以控制投射裝置108指示被確認的昆蟲其所在位置,也可以再控制另一輔助系統,以除去或者以其他方式處置該被確認的昆蟲。
使用一輔助系統,例如一額外的攝像器及/或額外的照明光源,能夠因光學元件及/或因照明獲取一增強的影像,降低對會耗費能源的電腦視覺演算法的依賴。因此,可以搭配攝像器103使用效能較低的CPU,因而提供了一種具成本效益的解決方法。
在一些實施例中,一單一的攝像器(如攝像器103)可以被用來提供影像,從提供的影像中偵測昆蟲或是可疑昆蟲的所在位置,並在偵測到的位置放大或以其他方式增強空間的影像。舉例來說,可以運用一光學的元件對一個大區域(例如一房間)作成像,而用另一個光學的元件來成像大區域中的一個小區域(例如在房間中偵測到的位置)。另外可以選擇採取或是加上使用差異分析,以在大區域的影像內局部地增強一範圍以用來如協助辨認昆蟲。在昆蟲所在位置增強房間影像的工具,可以由處理器102來控制。
在圖4C中以圖示說明的一實施例中,一將昆蟲除去、使昆蟲失去行動力,或以其他方式處置昆蟲的方法,包含獲取一空間的影像(步驟4001)及偵測影像中一昆蟲的所在位置(步驟4003),該方法中的一些步 驟可由處理器402進行。影像中昆蟲的所在位置會被轉譯成現實世界的座標(步驟4005)。處理器402(或其他處理器)隨後基於該現實世界的座標而控制一輔助裝置(例如一獨立的移動裝置415或構件426)。舉例而言,可將輔助裝置指向一現實世界的座標(步驟4007)。
在一些實施例中,只有在判斷沒有其他可疑物體會被輔助裝置的動作傷害到時,輔助裝置才會被用來除去或是以其他方式處置昆蟲。可疑物體包括,舉例而言,生物(例如人類、寵物等等)及/或其他物體或材料像紙類、布料,或者是含有可被輔助裝置的動作傷害到的材料之物體。
因此,除去昆蟲的方法可包括判斷在昆蟲所在位置的附近是否有一生物(或是可被輔助裝置的動作傷害到的物體或材料)的一步驟,並只有在昆蟲的附近沒有偵測到生物(或是物體或材料)時,才會將輔助裝置指向在步驟4005偵測到的現實世界座標。要判斷昆蟲的所在位置附近是否有生物的存在,可以藉由例如空間中的動作來判斷。動作超過預先決定的程度,則代表空間中有人或只其他生物。在一實施例中,動作或是動作的程度大小是藉由偵測隨著時間過去空間影像的變化來判斷。
在其他的實施例中,空間中的人或是其他生物(或者是特定的物體或材料)的存在,可以藉由使用電腦視覺技術來判斷,例如從影像(如從攝像器103或從額外的攝像器獲取的影像)中偵測出人或是其他物體或材料的形狀、顏色或其他特性。
因此,在一些實施例中,一除去房間中昆蟲的系統,包括一攝像器,用以獲取一房間中的影像,以及一處理器,用以偵測房間影像中昆蟲的所在位置。舉例而言,處理器從房間影像中偵測一降落之後的昆蟲,及/或在空間一表面上的昆蟲。該處理器隨後可以將影像中昆蟲的所在位置(例如昆蟲降落之後的位置)轉譯成現實世界的座標,並基於該現實世界 的座標,控制一輔助裝置以除去或以其他方式處置昆蟲。
另外可以選擇採取或是加上以處理器判斷在昆蟲的附近是否有人(或其他生物)或者是特定的可疑物體或材料,且可基於該判斷,控制該輔助裝置以除去或以其他方式處置昆蟲。
另外可以選擇採取或是加上以處理器確認所在位置上昆蟲的存在及/或種類,且可基於對所在位置上昆蟲的存在及/或種類的確認,控制輔助裝置以除去或以其他方式處置昆蟲。在一個實例中,處理器可以控制該攝像器或一額外的攝像器,以獲取一放大或有更多細節的昆蟲影像,來確認所在位置上昆蟲的存在及/或種類。
對輔助裝置所作的控制(可能是藉由無線通訊作到),舉例而言,其可以是對輔助裝置的推動機構作控制,及/或對輔助裝置的處置工具作控制。
圖5係圖示說明一輔助裝置的實例,其為一獨立的移動裝置。
在一實施例中,裝置515是一個飛行裝置(例如無人機),其包括一推動機構525,用以在沒有協助的情況下移動該裝置,以及包括一昆蟲處置工具526,或另外可以選擇包括或者是加上一連接點,該連接點被配置為可拆卸式地將一處置工具接起並固定在裝置515上。
處置工具526可以藉由應用機械性及/或化學性及/或電性的方法來處置一昆蟲。在一些實施例中,處置工具526藉以作到處置昆蟲的手段或方法,是機械性以及化學性兩者皆有應用。
在一實施例中,處置工具526可以包括一抽吸隔間,把昆蟲拉進並捕捉(及/或殺死)昆蟲。在另一實施例中,處置工具526可包括一通電元件,藉此來電擊昆蟲。在另一實施例中,處置工具526可包括一黏性元件,藉此來捕捉(及/或殺死)昆蟲。處置工具526也可以運用其他電性及/ 或機械性的解決方法。
在一實施例中,處置工具526可以包括,舉例而言,一個伸縮臂及/或可變形臂,或者是由例如形狀記憶材料所製成的彈簧,在裝置515正在運輸時可以被摺疊起來或捲成圈狀的形式,且可以被延展,以在處理器402發出一信號後與昆蟲互動。
在另一實施例中,處置工具526可以包括一含有化學物質的隔間(如於前述),該化學物質可從一相對近的範圍內噴灑或滴至昆蟲上,藉此將化學物質的效果限制在昆蟲本身,而不影響到周邊的空間。
在一些實施例中,連接埠413包括一化學物質貯器,使裝置515得以在埠上停靠、將處置工具526重新裝填及囤入該化學物質。在另一實施例中,連接埠413存有化學物質膠囊(或其他種容器)。當裝置515停靠在連接埠413上時,膠囊可以裝填進處置工具526內。一個膠囊在用完以前,可以用在處置昆蟲上好幾次,且用完之後可以在連接埠413上替換。
在一些實施例中,裝置515可以包括不同處置工具的集合,且可以使用多種方法的組合(例如化學性及/或機械性方法)來處置昆蟲。
裝置515不具有人類或其他捕食者的特徵,因此一般不會被昆蟲(如蚊子)辨認成人類或捕食者,因而可以接近昆蟲並進入昆蟲的近距離內而不會將其嚇跑。
在圖5中的一個實例,裝置515是一空中無人機,而推動機構525包括一適用於空中飛行器的螺旋槳機構。不同種類之獨立的移動裝置可以有不同種類的推動機構,或是具有多個種類的推動機構。舉例而言,一個地面無人機可以具有一包括馬達、傳動系統及輪具的推動機構。
裝置515一般係包括一控制電路(圖中未示),其與一處理器(例如處理器402)通訊,且被配置為可接收與昆蟲所在位置相關的輸入。
在一些實施例中,裝置515(及/或構件426)可以進一步包括一個或多個感測器,像是一影像感測器(例如攝像器503)及/或一距離感測器(例如一測距儀)。
在一實施例中,裝置515(及/或構件426)被控制用以處置一靜止的昆蟲或是一降落之後的昆蟲(例如在空間中一表面上的昆蟲)。裝置515或構件426,從處理器402接收基於偵測到的靜止昆蟲之所在位置而得的指向資訊(例如一向量),並根據該接收到的資訊而被推進。在裝置515(或構件426)中的一距離感測器可以偵測出裝置515(或構件426)到昆蟲(及/或到該表面)之間的距離,並在達到一預先決定與昆蟲之間的距離時停止推進。
在一實施例中,裝置515(及/或構件426)可包括一信號源(像是一光源或是一音訊傳播器),用以發出一可被處理器402接收及分析的信號,且可被用來預估或計算出裝置515或構件426與昆蟲(及/或與表面)之間的距離。舉例而言,裝置515可包括一投射裝置,以投射出一可見標記到昆蟲的附近。隨後處理器402可以基於計算出的距離以控制裝置515(例如控制處置工具526)或構件426。
在一些實施例中,一連接於殼體401上或是接在殼體401內部的專用影像感測器,可以被用來擷取昆蟲的影像(且可能擷取到從裝置515上一投射裝置所投射出的可見標記影像),其可被用來使裝置515或構件426被指向該昆蟲。可見標記可以從一攝像器403或專用的攝像器所獲取影像中被偵測到,而因此裝置515或構件426能夠依可見標記的成像,被指向可見標記的所在位置。
根據本發明的實施例,基於影像中昆蟲的所在位置,去使用由處理器控制的一裝置及/或可延伸構件,能夠正確地且以友善環境的方 式,作到移除或除去諸如飛蟲之害蟲的動作。
如於前述,本發明的實施例可以從雜訊中辨別出昆蟲,像是影像感測器中的電子雜訊及/或背景雜訊,如空間中的灰塵粒子、背景中照明的變化、反射等等。另外,可以將一特定的昆蟲種類(例如蚊子)與另一種的昆蟲種類(例如蒼蠅)區分開來。
在一實施例中,提供一種從空間的影像中將目標昆蟲與非目標昆蟲物體區分開來的方法。舉例而言,一目標昆蟲可能是相對於非昆蟲物體(例如雜訊或其他物體)之昆蟲,及/或是相對於非同一種類的昆蟲之一特定種類的昆蟲。
可以被如系統100的系統所執行的該方法,包括使用多個影像以判斷一影像中的物體是否為目標昆蟲的步驟。
在一實施例中,處理器102可以藉由比較兩個(或更多的)空間影像來偵測一物體,且可以基於空間影像中該物體的特徵,判斷該物體為一目標昆蟲。在一些實施例中,如果其符合預先決定的標準,便可偵測到一物體。
在一實施例中,攝像器103可以擷取一影像(也被稱為“當前影像”),從該影像中想要作出昆蟲是否有出現在空間中的判斷。處理器102藉由將空間的當前影像,與一不同的第二空間影像作影像相減,可以獲取一減影影像。因為多個物體在影像之間並沒有改變(例如沒有移動或是沒有改變位置),所以通常不會出現在減影影像中,故減影影像會強調出空間中的變化。
處理器102可以在減影影像中偵測一具有預先決定的標準之物體,並判斷該物體為一目標昆蟲。
如於前述,可以基於物體為一目標昆蟲的判斷而控制一裝 置。
在本發明的一實施例中,為偵測一符合預先決定的標準之物體,將兩個或更多個空間影像之間相互比較。舉例而言,一當前影像會與一先前所擷取的第二影像作比較,以偵測出現在當前影像、但沒有出現在先前影像中的物體。在一些實施例中,該第二影像包括多個空間影像的代表。舉例而言,該第二影像可以是多個空間影像的平均值(或是其他適用之統計上的代表)。在另一個實例中,該第二影像可使用包括隨著一段時間過去所擷取到的多個空間影像而建構出的背景影像,建構方式為推斷空間影像中的常態性元素和暫時性元素,並建構出常態性元素(例如牆壁、家具,但沒有人及寵物)的影像。
在圖6中以圖示說明此種實施例的一個實例。獲取兩張空間中的影像(步驟602)。在一實例中該些影像會使用相減法作比較,例如將一當前影像從另外一空間影像中減去,以獲取一減影影像(步驟604)。
在步驟606中,於減影影像內偵測到一符合預先決定的標準之物體。預先決定的標準可與該物體的一個或多個特徵有關。舉例而言,該物體的特徵可能包括減影影像中物體的大小、形狀、減影影像中的位置、顏色、透明度,以及其他類似特性。因此,一預先決定的標準可包括像是某一大小的範圍(如以像素表示)、一特定的形狀(如將形狀偵測演算法應用在該減影影像上作出的判斷)、該物體在減影影像中特定的位置或者是某一範圍的位置、特定的顏色(例如將顏色偵測演算法應用該減影影像上作出的判斷)等等。
處理器102判斷該符合預先決定的標準之物體是否為一目標昆蟲。舉例而言,判斷該物體的一個或多個特徵(像是移動模式、形狀、顏色或透明度),基於判斷出的特徵,該物體可被判斷為一目標昆蟲。舉例 而言,蚊子比一些其他常見的昆蟲更透明、顏色更淡,因此在一個實例中,當目標昆蟲是蚊子時,如果與該物體相關聯的像素顏色是蚊子典型的顏色,則該物體即會被判斷是一隻蚊子。在另一實施例中,如果該物體被判斷具有一些程度的透明度,或是具有一預先決定的透明區域分佈外觀,則其可被判斷為一隻蚊子。一物體的透明度,可以基於例如一空間中背景的已知顏色來判斷。如果該物體被判斷與背景具有同樣的顏色(例如若背景顏色不是目標昆蟲典型的顏色時),該物體會被判斷為部分透明。在另一個實例中,不同的昆蟲具有不同的形狀,因此基於減影影像中的形狀,可以判斷出一目標昆蟲。
在一些實施例中,可從多個影像來偵測一物體,然而偵測該物體是否符合一預先決定的標準,以及判斷該物體為一目標昆蟲時,是以一單一影像來完成。在一實施例中,同樣的一個物體特徵,可以在第一影像中被用來偵測一物體符合一預先決定的標準,以及在相同影像中或是一第二影像中被用來判斷該物體是否為一目標昆蟲。在其他實施例中,在第一影像中偵測一物體符合一預先決定的標準,以及在相同影像中或是一第二影像中判斷該物體是否為一目標昆蟲時,可使用不同的特徵。
舉例而言,一減影影像可以包括多個物體,但是只有兩個物體是在預先決定的大小範圍內。因此,在減影影像中偵測到該兩個物體。除了大小以外,可以判斷該兩個物體的一個或多個特徵,例如可以判斷該兩個物體的顏色及/或透明度及/或移動模式,基於其顏色及/或透明度及/或移動模式,判斷該些物體是否為目標昆蟲。
在一些實施例中,獲取該物體的高解析度影像,可基於該高解析度的影像判斷一物體為目標昆蟲。舉例而言,基於也許是大小或是其他特徵,可在一第一影像(如一減影影像)中偵測一物體,而隨後可從一 解析度比第一影像更高的第二影像來判斷其是否為一目標昆蟲。
在一些實施例中,一些諸如顏色及/或移動的特徵,和空間是有相互關聯的。舉例而言,如果一些具有象徵目標昆蟲特質的像素,在空間上彼此互相靠近,則在要判斷目標昆蟲出現時,這些像素比起具有相同特質但沒有群聚靠近在一起的像素,會被給予更多的比重。在另一個實例中,在影像中的數個位置上,偵測到的數個相互關聯的特徵或是像素特質,例如相同的移動模式及/或照明的變化,顯示的是一較大之物體的移動及/或反射,在要判斷目標昆蟲出現時,這些數個相互關聯的特徵或是像素特質,比起單一且沒有相互關聯的特徵,會被賦予較少的比重。
基於特徵在多個影像之中的表現,會賦予這些特徵(或是代表這些特徵的像素)不同的比重。舉例而言,隨著時間過去還是持續出現的特徵,比較不可能是雜訊,因此會被賦予較高的比重。
機器視覺技術,像是物體偵測演算法、分割法等等,可被用來偵測空間影像(如減影影像)中的一物體,以及用來判斷與該物體相關聯的像素。在一些實施例中,可在空間的影像上應用一學習模型用以判斷該物體為一目標昆蟲。學習模型可以應用在例如減影影像上,以偵測出具有預先決定的標準之物體,及/或應用在一當前影像上,以判斷該物體是否為目標昆蟲。學習模型也可以應用在其他步驟上,像是將多個輸入(顏色、透明度、大小、移動模式等等)整合成為一判斷該物體是否為目標昆蟲的單一決定。
如果該物體被判斷為一目標昆蟲(步驟608),則處理器102產生一信號以控制一裝置(步驟610)。如果該物體沒有被判斷為目標昆蟲,則會獲取並處理另一張當前影像。
基於物體為一目標昆蟲之判斷,而被控制的一裝置,可包 括一輔助裝置,例如前述的輔助裝置。在一個實例中,一裝置(像是一光源投射裝置)可以產生一人眼可見之所在位置的指示標記(例如視覺標記115)。因此,在一方法中可包括從空間影像判斷目標昆蟲在現實世界的位置之步驟,並且控制一裝置以製造一人眼可見、且可指示出目標昆蟲在現實世界的位置之所在位置的指示標記。
在另一實施例中,可使用一裝置以除去及/或以其他方式處置目標昆蟲。因此,在一方法中可包括從空間影像判斷目標昆蟲在現實世界的位置之步驟,並且控制一裝置以在現實世界的位置除去(或以其他方式處置)該目標昆蟲。該裝置可包括一處置昆蟲的輔助裝置,例如前述的輔助裝置。舉例而言,該裝置可以包括一投射裝置,以投射一種形式的能量至目標昆蟲在現實世界的位置。該裝置另外可以選擇採取或是加上一遠端遙控之獨立的移動裝置,及/或一伸縮臂及/或噴嘴。
在一實施例中,一物體(例如在減影影像中偵測到的物體)會在多個空間影像中被追蹤,且被追蹤至空間中多個位置,而基於該追蹤,可判斷該物體是否為一目標昆蟲。
在圖7以圖示說明的一實施例中偵測到一物體的移動模式,且基於該移動模式,該物體被判斷是否為一目標昆蟲。
在多個空間影像中偵測一物體(步驟702)並判斷該物體的移動模式(步驟704)。如果該移動模式與預先決定的模式類似(步驟706),則判斷該物體為一目標昆蟲(步驟708)。如果該移動模式與預先決定的移動模式並不類似(步驟706),則判斷該物體不是一目標昆蟲(步驟710)。
一般而言,一預先決定的移動模式,會是和目標昆蟲預計會有的模式相符的一模式。舉例而言,一預先決定的移動模式可包括一蚊子典型的降落模式(例如飛行之後停下來)。在另一個實例中,預先決定的移 動模式包括大致上不重複之移動,因為大致上重複之動作,是非所欲動作的特徵(像是風扇的動作、被風吹撫的物體及/或電子雜訊)。在又另一個實例中,移動模式可以包括方向的改變,而一預先決定的移動包括以一特定的角度或角度範圍內作方向的改變。舉例而言,蚊子改變方向的角度通常不會比蒼蠅急遽。因此,一預先決定的移動模式,可以包括在一預先決定的範圍內之角度作方向的改變。在另一個實例中,蚊子的移動比蒼蠅慢,因此,一預先決定的移動模式可以包括一特定的速度(或速度範圍)。
另外,物體的特徵,像是顏色和透明度,如使用多個影像及/或比較一段時間過去後的影像,可以作到更準確的判斷。在一些情況下,隨著時間過去,一移動的物體(像是一昆蟲)會經過不同的背景,可協助判斷該物體顏色及/或透明度(如於前述)。舉例而言,一個完全不透明的物體,在經過不同的背景時,並不會改變顏色或強度,但是半透明的物體便會。
在一些實施例中,可以使用歷史資料來判斷一物體是否為一目標昆蟲。舉例而言,可以基於對稍早擷取的影像中像素被賦予的比重,來判斷在稍晚擷取的影像中之物體是否為一目標昆蟲。
在圖8以圖示說明的一個實例中,於一空間的第一影像(例如第一當前影像)中的一位置上偵測一物體(步驟802)。如果判斷該物體不是目標昆蟲(步驟804),則賦予該位置的像素一第一比重(步驟806)。如果判斷該物體為一目標昆蟲(步驟804),則賦予該位置的像素一第二比重(步驟808)。
於一第二影像(例如第二當前影像)中的一位置偵測一物體(步驟810),將步驟806及808所得的比重,基於其在該第二影像上的位置,賦予到該第二影像的像素上。隨後基於與第二影像中的物體有相關聯、被 賦予比重之像素,判斷第二影像中的物體是否為一目標昆蟲(步驟812)。
舉例而言,空間(例如房間)的影像可包括窗戶、電視螢幕、風扇、反射面或更多物品,其會在影像中製造「噪雜」區域。這些雜訊可以例如藉由像素值在一段時間內高度變動、藉由許多個誤判(如錯誤地偵測到目標昆蟲),或藉由應用物體偵測演算法辨認可能會製造雜訊的物體(如窗戶、電視等等),而被偵測到。在一些實施例中,在影像中相對“噪雜”的區域內被偵測到的物體特徵(或是代表這些特徵的像素),跟影像中其他區域內所偵測到的物體特徵(或像素)相比,會被賦予較低的比重。在另一個實例中,在影像裡過去曾有誤判目標昆蟲之區域內,所偵測到的物體特徵(或像素),跟影像中其他區域內所偵測到的特徵(或像素)相比,會被賦予較低的比重。
100‧‧‧系統
101‧‧‧殼體
102‧‧‧處理器
103‧‧‧攝像器
104‧‧‧房間
105‧‧‧昆蟲
106‧‧‧IR照明光源
108‧‧‧投射器
112‧‧‧記憶體單元
115‧‧‧視覺標記

Claims (16)

  1. 一種在一空間中定位一昆蟲的系統,該系統包括:一攝像器,用以獲取該空間的一影像;一投射裝置;以及一處理器,其被配置以基於該空間的影像判斷該昆蟲在該空間中的一所在位置,及控制該投射裝置將一光源指向該昆蟲的所在位置附近。
  2. 如申請專利範圍第1項所述的系統,其中該光源在該昆蟲的該所在位置附近產生人眼可見的一標示。
  3. 如申請專利範圍第1項所述的系統,其中該光源被配置以除去該昆蟲。
  4. 如申請專利範圍第1項所述的系統,其中該處理器被配置以判斷一靜止之昆蟲的一所在位置。
  5. 如申請專利範圍第1項所述的系統,其中該處理器被配置以基於該昆蟲的一移動模式偵測該昆蟲。
  6. 如申請專利範圍第1項所述的系統,其中該投射裝置包括一方向支架。
  7. 如申請專利範圍第1項所述的系統,其包括一用以展示該空間的一影像之裝置,且其中該處理器被配置以在該裝置所展示的影像中,於該昆蟲的所在位置上產生一可見的標記。
  8. 如申請專利範圍第7項所述的系統,其中展示在該裝置的影像係經調處以保護隱私或機密。
  9. 如申請專利範圍第1項所述的系統,其包括一輔助裝置,以在該空間中的該所在位置處置該昆蟲,該輔助裝置包含一飛行裝置及一可延伸構中之一或二者。
  10. 如申請專利範圍第9項所述的系統,其中該輔助裝置包括一工具,以在 該昆蟲的所在位置增強該空間的影像。
  11. 如申請專利範圍第9項所述的系統,其中該輔助裝置由該處理器無線地控制。
  12. 如申請專利範圍第9項所述的系統,其中該處理器被配置以判斷在該昆蟲的附近是否有一可疑的物體,並基於該判斷控制該輔助裝置處置該昆蟲。
  13. 一種在一空間中處置一昆蟲的系統,該系統包括:一攝像器,用以獲取該空間影像,一與該攝像器分離移動的裝置;以及一處理器,用以在該空間影像的至少一影像中偵測昆蟲,並基於對該空間影像的分析,控制所述裝置移動至昆蟲附近。
  14. 如申請專利範圍第13項所述的系統,其中所述與該攝像器分離移動的裝置包括一飛行裝置及一可延伸構件中之一或二者。
  15. 如申請專利範圍第13項所述的系統,其中所述與該攝像器分離移動的裝置被配置以除去該昆蟲。
  16. 如申請專利範圍第13項所述的系統,其中該處理器被配置以判斷該昆蟲的附近是否有一可疑的物體,並基於該判斷控制所述裝置處置該昆蟲。
TW108125706A 2018-07-29 2019-07-19 定位和除去昆蟲的系統及方法 TW202022698A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IL260844A IL260844B (en) 2018-07-29 2018-07-29 System and method for locating and destroying insects
IL260844 2018-07-29
US201862743593P 2018-10-10 2018-10-10
US62/743,593 2018-10-10

Publications (1)

Publication Number Publication Date
TW202022698A true TW202022698A (zh) 2020-06-16

Family

ID=68069430

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108125706A TW202022698A (zh) 2018-07-29 2019-07-19 定位和除去昆蟲的系統及方法

Country Status (12)

Country Link
US (1) US20210251209A1 (zh)
EP (1) EP3830755A4 (zh)
JP (1) JP2021531806A (zh)
KR (1) KR20210035252A (zh)
CN (1) CN112513880A (zh)
AR (1) AR115817A1 (zh)
AU (1) AU2019313665A1 (zh)
BR (1) BR112021001634A2 (zh)
CA (1) CA3105655A1 (zh)
IL (1) IL260844B (zh)
TW (1) TW202022698A (zh)
WO (1) WO2020026230A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI763099B (zh) * 2020-10-28 2022-05-01 李寬裕 光學除蟲設備

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176652B2 (en) * 2019-04-05 2021-11-16 Waymo Llc High bandwidth camera data transmission
US20220217962A1 (en) * 2019-05-24 2022-07-14 Anastasiia Romanivna ROMANOVA Mosquito monitoring and counting system
CN110674805B (zh) * 2019-10-11 2022-04-15 杭州睿琪软件有限公司 昆虫识别方法及系统
KR102531690B1 (ko) * 2020-11-25 2023-05-12 유한회사 평화스테인레스 Oled 및 빅데이터와 파장을 기반으로 하는 겹눈해충 퇴치시스템
CN112674057A (zh) * 2021-01-08 2021-04-20 中国人民解放军海军航空大学 一种智能蚊虫消灭设备及方法
CN114431773B (zh) * 2022-01-14 2023-05-16 珠海格力电器股份有限公司 扫地机器人的控制方法
IL298319A (en) * 2022-11-16 2024-06-01 Bzigo Ltd Unmanned aerial vehicle to neutralize insects
CN116391693B (zh) * 2023-06-07 2023-09-19 北京市农林科学院智能装备技术研究中心 天牛灭杀方法及系统
JP7445909B1 (ja) 2023-08-21 2024-03-08 株式会社ヤマサ 害獣駆除システムおよび害獣駆除プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4015366A (en) * 1975-04-11 1977-04-05 Advanced Decision Handling, Inc. Highly automated agricultural production system
JP3002719B2 (ja) * 1996-07-19 2000-01-24 工業技術院長 微小生物モニタによる環境清浄度計測装置
WO2004006854A2 (en) * 2002-07-15 2004-01-22 Baylor College Of Medicine Method for identification of biologically active agents
US7496228B2 (en) * 2003-06-13 2009-02-24 Landwehr Val R Method and system for detecting and classifying objects in images, such as insects and other arthropods
JP2005021074A (ja) * 2003-07-01 2005-01-27 Terada Seisakusho Co Ltd 画像処理計数方法と画像処理計数装置
EP2076118A4 (en) * 2006-10-23 2010-08-11 Dow Agrosciences Llc METHOD FOR DETECTING, MONITORING AND CHECKING BED TAILS
JP2008200002A (ja) * 2007-02-22 2008-09-04 Matsushita Electric Works Ltd 夜行性虫捕虫システム
JP2010149727A (ja) * 2008-12-25 2010-07-08 Aisin Aw Co Ltd 虫類車室内進入阻止システム及びプログラム
MX2013004066A (es) * 2010-10-17 2013-05-17 Purdue Research Foundation Monitoreo automatico de poblaciones de insectos.
US9965850B2 (en) * 2012-07-05 2018-05-08 Bernard Fryshman Object image recognition and instant active response with enhanced application and utility
EP2775827B1 (en) * 2011-11-09 2019-10-23 Feugier, Francois Gabriel Pest control system, pest control method and pest control program
US20150085100A1 (en) * 2013-09-26 2015-03-26 Micholas Raschella System for detection of animals and pests
JP6274430B2 (ja) * 2014-06-03 2018-02-07 みこらった株式会社 害虫捕獲収容装置及び害虫殺虫装置
JP6479364B2 (ja) * 2014-07-31 2019-03-06 近藤電子株式会社 家禽の健康状態診断装置
WO2016025848A1 (en) * 2014-08-15 2016-02-18 Monsanto Technology Llc Apparatus and methods for in-field data collection and sampling
JP2016136916A (ja) * 2015-01-29 2016-08-04 シャープ株式会社 害虫駆除装置および害虫駆除方法
JP2016185076A (ja) * 2015-03-27 2016-10-27 三菱自動車工業株式会社 虫追い出し装置
US9828093B2 (en) * 2015-05-27 2017-11-28 First Principles, Inc. System for recharging remotely controlled aerial vehicle, charging station and rechargeable remotely controlled aerial vehicle, and method of use thereof
EP3374928B1 (en) * 2015-11-08 2024-03-27 Agrowing Ltd A method for aerial imagery acquisition and analysis
US20170231213A1 (en) * 2016-02-17 2017-08-17 International Business Machines Corporation Pest abatement utilizing an aerial drone
JP6410993B2 (ja) * 2016-05-31 2018-10-24 株式会社オプティム ドローン飛行制御システム、方法及びプログラム
US10496893B2 (en) * 2016-08-11 2019-12-03 DiamondFox Enterprises, LLC Handheld arthropod detection device
JP6512672B2 (ja) * 2017-12-25 2019-05-15 みこらった株式会社 害虫駆除装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI763099B (zh) * 2020-10-28 2022-05-01 李寬裕 光學除蟲設備

Also Published As

Publication number Publication date
EP3830755A4 (en) 2022-05-18
AU2019313665A1 (en) 2021-01-28
CA3105655A1 (en) 2020-02-06
AR115817A1 (es) 2021-03-03
EP3830755A1 (en) 2021-06-09
JP2021531806A (ja) 2021-11-25
WO2020026230A1 (en) 2020-02-06
BR112021001634A2 (pt) 2021-05-04
US20210251209A1 (en) 2021-08-19
IL260844B (en) 2019-09-26
CN112513880A (zh) 2021-03-16
KR20210035252A (ko) 2021-03-31

Similar Documents

Publication Publication Date Title
TW202022698A (zh) 定位和除去昆蟲的系統及方法
CN108141579B (zh) 3d相机
CN111344592B (zh) 确定至少一个对象的位置的检测器
CN111587384B (zh) 用于确定至少一个对象的位置的检测器
JP6979068B2 (ja) 少なくとも1つの物体を光学的に検出するための検出器
US10147177B2 (en) Object image recognition and instant active response with enhanced application and utility
US20210199973A1 (en) Hybrid reality system including beacons
US9563945B2 (en) Object image recognition and instant active response with enhanced application and utility
CN105185026B (zh) 颗粒探测
JP2022518391A (ja) 少なくとも1つの物体の位置を決定するための検出器
US20090167679A1 (en) Pointing device and method
JP2020531848A (ja) 少なくとも一つの幾何学情報を決定するためのレンジファインダ
US11307021B2 (en) Method and apparatus for indoor positioning
US20160124435A1 (en) 3d scanning and imaging method utilizing a self-actuating compact unmanned aerial device
JP2008527806A (ja) 夜間監視のシステムおよび方法
WO2004008403A2 (en) Method and apparatus for implementing multipurpose monitoring system
JP2022517221A (ja) 少なくとも1つの物体の位置を決定するための検出器
Giusti et al. BALTO: a BIM-integrated mobile robot manipulator for precise and autonomous disinfection in buildings against COVID-19
WO2017197109A1 (en) Object image recognition and instant active response with enhanced application and utility
EP2332007A1 (en) Selective and adaptive illumination of a target
US20230342952A1 (en) Method for coordinative measuring by terrestrial scanning with image-based interference detection of moving objects
WO2024105676A1 (en) Unmanned aerial vehicle for neutralizing insects
CN101663635B (zh) 用于系统控制的方法和设备