TW202103056A - 異物檢測系統及方法 - Google Patents

Abstract

異物檢測系統係具備：攝像裝置5，係取得對象區域A內的影像；影像處理部，係儲存採用深度學習而檢測由攝像裝置5所取得之影像內的物體的程式；以及境界判定部6，係判定可從對象區域A的內側觀視確認外部的穿透部4與周圍物體的位置關係；該異物檢測系統係構成為：對於由攝像裝置5所取得的影像，在穿透部4所佔據的區域實施遮罩處理；根據經遮罩處理的影像，藉由採用深度學習的程式來檢測物體。

Description

異物檢測系統及方法

本揭示係關於一種停車場等之對象區域內的異物檢測系統及方法。本申請係根據2019年5月20日所申請的日本專利申請第2019-094735號申請案主張優先權之利益，本申請援用其內容。

在車輛所進入、停止的空間，例如在機械式停車場的入庫出庫空間等之中，當開閉入口的門扉或進行搬運載置車輛的托盤的操作時，必須確認除車輛外沒有存在有異物，例如駕駛員及乘客、行李。這類無異物的確認作業，可由駕駛者或設施人員以目視進行，但單倚賴人力的情形，會有因不注意等而未徹底確認的可能性。因此，近年來，殷切要求不單倚靠人力，就自動地檢測對象區域內的異物，以確實地進行無異物的確認的技術。

此外，若目前在各國如火如荼開發的自動駕駛技術正式地進入實用化，可設想不僅車輛的駕駛，諸如上述之門扉的開閉、托盤的搬運等，於車輛周圍所進行的各種操作亦會邁向自動化。例如，可想到車輛由自動駕駛將乘客送達目的地後，自動往附近的機械式停車場移動，且收置於收置空間的型態。該情形，車輛係於乘客不在的狀態下移動，而停止在入庫出庫空間。此時，如門扉的 開閉、托盤的移動開始的操作，可由人員以目視確認無異物，而對操作按鍵進行輸入來加以執行即可。惟，如果有經自動確認無異物，而開始操作的機制則會較順利。

進行該種異物檢測的機制，不單是機械停車場，例如電動汽車的供電設備、在車輛停止的周圍進行任何的操作的場所亦有廣泛需求。而且，相同的機制不僅限於車輛，可廣泛應用於欲在任何物體的周邊檢測異物的情況。

就用以自動檢測對象區域內異物的技術，有提出各式各樣使用攝影機等取得對象區域內的影像，且檢測被攝入於該影像的異物的方法。就揭示如此技術的技術文獻而言，茲可例舉下述專利文獻1至6。

[先前技術文獻]

[專利文獻]

專利文獻1：日本特開2016-3493號公報

專利文獻2：日本特開2015-55073號公報

專利文獻3：日本特開2014-80735號公報

專利文獻4：日本特開平08-42184號公報

專利文獻5：日本特開昭62-194366號公報

專利文獻6：日本特開2012-158968號公報

在如上述用以異物檢測的技術中，當然會要求檢測所需的最低準確度，除此之外，就建設或維護等之成本面之觀點而言，盡可能簡化裝置構成為其重點。然而，如上述專利文獻1至6所述的技術，並不一定都會達到充分滿足準確性與成本的兩方面。

因此，在本揭示中，說明能夠藉由極力簡單的構成，而以高準確性來檢測異物的異物檢測系統及方法。

本揭示為一種異物檢測系統，係具備：攝像裝置，係取得對象區域內的影像；影像處理部，係儲存採用深度學習而檢測由前述攝像裝置所取得之影像內的物體的程式；以及境界判定部，係判定可從前述對象區域的內側觀視確認(視認，亦即以目視確認)外部的穿透部與周圍物體的位置關係；該異物檢測系統係構成為：對於由前述攝像裝置所取得的影像，在前述穿透部所佔據的區域實施遮罩處理；根據經該遮罩處理的影像，藉由採用深度學習的程式來檢測物體。

上述的異物檢測系統中，前述遮罩處理亦可構成為：在前述攝像裝置執行。

上述的異物檢測系統中，前述遮罩處理亦可構成為：在前述影像處理部執行。

上述的異物檢測系統中，前述境界判定部係可為構成為可檢測有無物體位於前述對象區域中之與外部空間的境界區域的物體感測器。

上述的異物檢測系統中，前述物體感測器係可構成為檢測沿著前述穿透部所形成之面所照射的照射波。

上述的異物檢測系統中，前述境界判定部係可構成為：根據由前述攝像裝置所取得之影像內的物體的位置與於前述影像內前述穿透部所佔據的區域的位置關係，判定由前述攝像裝置所取得的影像中被檢測出的物體位於前述對象區域的內側還是外側。

上述的異物檢測系統中，前述對象區域係可設為機械式停車場的入庫出庫空間。

此外，本揭示為一種異物檢測方法，係包含：影像取得程序，係取得對象區域內的影像；遮罩處理程序，係對於前述影像取得程序所取得的影像，在可從前述對象區域的內側觀視確認外部的穿透部所佔據的區域實施遮罩處理；第一物體檢測程序，係根據經前述遮罩處理程序後的影像，藉由採用深度學習的程式來檢測物體；以及第二物體檢測程序，係檢測於前述對象區域的境界區域中之物體的有無。

此外，本揭示為一種異物檢測方法，係包含：影像取得程序，係取得對象區域內的影像；物體檢測程序，係根據前述影像取得程序所取得的影像，藉由採用深度學習的程式來檢測物體；以及位置判定程序，係根據前述影像內的物體的位置與可從前述對象區域的內側觀視確認外側的穿透部於前述影像內所佔據的區域的位置關係，來判定於前述影像內被檢測出的物體係位於前述對象區域的內側還是外側。

在上述的異物檢測方法中，前述對象區域係可設為機械式停車場的入庫出庫空間。

根據本發明的異物檢測系統及方法，可達成藉由極力簡單的構成，可以較高精確度來檢測異物之優越的效果。

1:車輛

2:托盤

4:穿透部(入庫出庫口)

5:攝像裝置

5a:攝像裝置

5b:攝像裝置

6:境界判定部(物體感測器)

7:操作部

8:顯示部

9:警報部

10:控制裝置

11:影像處理部

12:境界判定部

A:對象區域

F:物體(異物)

O:物體

P:程式

圖1為說明本揭示的第一實施例的異物檢測系統中的裝置之配置的概要俯視圖。

圖2為說明本揭示的第一實施例的異物檢測系統的系統構成的方塊圖。

圖3為顯示本揭示的第一實施例中所取得的影像一例之圖。

圖4為顯示在本揭示的第一實施例中所取得，且一部分實施遮罩處理的影像的一例之圖。

圖5為顯示在本揭示的第一實施例中所取得，且一部分實施遮罩處理的影像的另一例之圖。

圖6為說明本揭示的第一實施例的異物檢測方法之步驟的一例的流程圖。

圖7為說明本揭示的第二實施例的異物檢測系統中的裝置之配置的概要俯視圖。

圖8為說明本揭示的第二實施例的異物檢測系統的系統構成的方塊圖。

圖9為顯示本揭示的第二實施例中所取得的影像的一例之圖。

圖10為顯示本揭示的第二實施例中所取得，且實施過由程式所為之物體檢測處理的影像之一例的圖。

圖11為說明本揭示的第二實施例所為之異物檢測方法的步驟的一例的流程圖。

以下，參照檢附圖式說明本揭示的實施例的型態。在圖1所示的第一實施例的異物檢測系統中，假想對象區域A為機械式停車設備的入庫出庫空間。並且，當對象區域A內存在有車輛1以外的物體(異物F)時，要檢測出該異物F。作為入庫出庫空間的對象區域A為牆壁圍繞四方的空間，在近側(圖中下側)設置有作為穿透部的入庫出庫口4，使車輛1從此處出入。

另外，在本說明書中，所謂「異物」為存在於對象區域內的目標物(在本情形，為運送目標物的車輛1)以外的物體，並指與最初配置在對象區域之物體以外的物體，以車輛的駕駛者、乘客、設備人員等人為代表。此外，作為「異物」之例，還列舉被帶入到對象區域A內，且放置在車輛1的外部的行李等。 圖1中，於對象區域A的內部圖示兩個異物F作為一例。此外，在對象區域A的外部圖示一個物體O。

「穿透部」係指可從對象區域的內側觀視確認外部的光學性的開口部。也就是，本第一實施例中的穿透部為光學性、物質性均與外部空間連通的入庫出庫口4，除此之外，例如會透射光的玻璃窗、在與鄰接的空間之間以柵欄來分隔的部分等亦可假想為「穿透部」。

搬運車輛1的托盤會從對象區域A之外的收置空間(圖示省略)進出屬於入庫出庫空間的對象區域A。對象區域A中的托盤2的定位置為對象區域A的中央部。在入庫時，車輛1通過入庫出庫口4而進入到對象區域A的中央部，且停止在托盤2上，與托盤2一起被搬運並收置到前述收置空間。在出庫時，車輛1與 托盤2一起從前述收置空間搬運到對象區域A後，從入庫出庫口4退出到對象區域A之外。

在對象區域A內，配置有屬於取得該對象區域A內的影像之攝影機等的攝像裝置5。本第一實施例的情形，攝像裝置5如圖1所示，在車輛1的停止位置的周邊設置有合計兩台的攝像裝置5a、5b。兩台的攝像裝置5當中，攝像裝置5a從車輛1的停止位置觀看設置在左前方，而攝像裝置5b則設置在右後方。如此一來，以相互間存在車輛1的停車位置的方式，於斜前方及斜後方設置攝像裝置5a、5b，藉此可對對象區域A內中的車輛1的整體周圍取得影像。

在屬於穿透部的入庫出庫口4附近的內壁，設置有作為境界判定部的物體感測器6。本說明書中的「境界判定部」係指判定作為光學性的開口部的穿透部(入庫出庫口4)與周圍的物體(異物F或者物體O)的位置關係的裝置，或者該部分。本第一實施例的情形，於入庫出庫口4的附近設置屬於境界判定部的物體感測器6，當任何物體位於在由入庫出庫口4所定義的對象區域A的內外境界線上時，要檢測出該物體。如此，當設置物體感測器6作為境界判定部，來實施異物檢測系統時，可簡化裝置構成。

物體感測器6係例如為透射型的光電感測器。物體感測器6係具備：設置於入庫出庫口4的左右一側的照射部6a；以及設置於左右另一側的受光部6b；其中，從照射部6a沿著形成入庫出庫口4之面照射作為照射波的照射光，而由受光部6b來進行檢測。若於照射部6a與受光部6b之間存在有任何的物體，會使受光部6b所檢測出的照射光量變化。於是，物體感測器6就可檢測出存在於照射部6a與受光部6b之間的物體。

在此，所謂「境界區域」係指由穿透部所定義的對象區域與外部空間的境界附近的區域。更具體而言係指對象區域A當中，在後述的異物檢測步驟中，當對相應於影像中之穿透部的區域實施遮罩處理時，難以檢測目標異物的區域。在圖1所示的例中，以沿著入庫出庫口4所定義的境界線照射照射波的方式配置物體感測器6，惟亦可將之代換或更進一步由物體感測器6來檢測出位在更靠近對象區域A的內側的境界區域的異物F。這是為了更確實地防止因遮罩處理所致的檢測遺漏(稍後再次說明關於如此之物體感測器6的配置)。另外，就物體感測器6而言，除透射型的光電感測器以外，若為能夠檢測出於特定的區域內之物體的有無的裝置均可適當利用。例如，亦可使用透射型以外類型的光電感測器，或亦可使用超音波感測器等。

在入庫出庫口4附近的外壁裝配有操作部7、顯示部8、警報部9。操作部7為輸入如入庫出庫口4的開閉、托盤2的搬運之各部的操作之輸入裝置。顯示部8係構成為因應需求顯示在攝像裝置5所取得之對象區域A內的影像、其他的資訊的顯示器。警報部9係當對象區域A或含有對象區域A的設備某處中，發生應督促人員注意的任何事態時產生警報的裝置。所謂「應督促人員注意的任何事態」係指例如在將車輛1搬運到對象區域A外的收置空間時，在對象區域A檢測到車輛1以外的異物F之情形等。警報的內容若為警報聲音、點亮警告燈、顯示警告訊息等能促使人員注意即可，可選擇適當的形式。

另外，操作部7、顯示部8、警報部9所設置的位置，不限定於在此所示的位置。例如，亦可在圖示省略的管理室等裝配相當於這些構件的裝置，亦可在另外的場所裝配複數個這些裝置當中的任意裝置。此外，在此為了便於說明，分別分開圖示操作部7、顯示部8、警報部9，但亦可設置一體具備操作部7與 顯示部8的功能的觸控顯示器。此外，亦可使顯示部8兼具警報部9的功能(也就是，於顯示部8顯示相應於警報的資訊)。其他，關於操作部7、顯示部8、警報部9，可因應對象區域A的配置或其他條件而適當變更。

圖2顯示關於控制攝像裝置5、物體感測器6、操作部7、顯示部8、警報部9的系統構成的一例。攝像裝置5、物體感測器6、操作部7、警報部9係經由Ethernet(註冊商標)等的通信匯流排，與控制裝置10資訊性地連接。控制裝置10為監視含有屬於入庫出庫空間的對象區域A的機械式停車場整體，且進行各部運轉的裝置，並控制入庫出庫口4的開閉、托盤2的搬運、攝像裝置5及物體感測器6的作動等。

此外，顯示部8係經由影像處理部11而與前述通信匯流排連接。影像處理部11係對攝像裝置5所取得之對象區域A的影像進行適當處理的資訊處理裝置，且因應需求，亦形成將影像資料傳送給顯示部8並使顯示部8顯示影像。

在影像處理部11中所進行的影像處理，在本第一實施例中特別假想的是異物F(參照圖1)的檢測。也就是，在影像處理部11中，分析由攝像裝置5所取得之對象區域A的影像，判定於影像內是否存在人等的物體。控制裝置10係當在影像處理部11中從處理對象的影像檢測出物體時，或者藉由前述物體感測器6於對象區域A的境界區域檢測出物體時，會判斷檢測出異物F，且通過警報部9發出警報。

影像處理部11係儲存有檢測被攝入於影像內之物體的程式P。該程式P係構成為藉由使用多層類神經網路(neural network)的深度學習(deep learning)方法，來檢測特定種類的物體。就深度學習的演算法而言，例如可使用R-CNN(Regional-Convolutional Neural Network，區域卷積類神經網路)、Fast R- CNN(快速區域卷積類神經網路)、Faster R-CNN(加快式區域卷積類神經網路)、YOLO(You Only Look Once)、SSD(Single Shot Multibox Detector，單次多框偵測器)的各種演算法，惟亦可使用其他適當的演算法。

程式P使用如上述的演算法，來具體指出被攝入於影像內的物體的種類，並且可輸出該物體屬於該種類的物體的機率、物體的重心座標、物體的寬度及高度。在屬於機械式停車場的入庫出庫空間的對象區域A中所假想的異物F的種類，以人物為首，所以程式P要構成為至少可從影像判別人物。其他，就會有與車輛1一起進入到對象區域A之可能性的物體而言，假想為：寵物等的動物、儲物袋、嬰兒車等各種的物體，故此除人物以外，程式P亦可還檢測出這些物體。此外，若屬於異物檢測系統的設置對象的對象區域的種類不同，可推想被檢測為異物的物體的種類也會有所不同。程式P若構成為可檢測因應對象區域的種類所假想的各種的物體，而不限定於人物即可。

當進行車輛1的入庫時，車輛1的駕駛者、乘客、設備人員的人員會對操作部7進行操作，且指示開始入庫。控制裝置10會因應指示打開入庫出庫口4。當要開始入庫時，會在空的托盤2被配備在屬於對象區域A內的定位置的中央部的狀態下，打開入庫出庫口4。

當入庫出庫口4被打開，駕駛者會使車輛1移動至對象區域A內，並使之停止在托盤2上。停止後，駕駛者或其他乘客下車，從對象區域A退出。當駕駛者等的人員全都退出了，駕駛者等目視觀看對象區域A內，確認是否於對象區域A內沒有存在有人物及行李等的異物F，並且對操作部7進行操作，而輸入車輛1已停止在托盤2上的內容。控制裝置10會關閉入庫出庫口4，且將裝載車輛1的托盤2搬運到對象區域A外的收置空間。

當進行車輛1出庫時，車輛1的駕駛者、乘客、設備人員的人員會對操作部7進行操作，指示開始出庫。控制裝置10會因應指示將相符的托盤2搬運至對象區域A內，且打開入庫出庫口4。當入庫出庫口4被打開，駕駛者會乘入托盤2上的車輛1，且往對象區域A之外移動。在車輛1移出到外部的階段，車輛1的駕駛者或設備人員等會再次對操作部7進行操作，輸入出庫完成的內容。控制裝置10會因應指示關閉入庫出庫口4。

另外，以上的一連串動作係以駕駛者駕駛車輛1的情形為例進行說明，但亦可是車輛1為自動駕駛車輛的情形。該情形，上述中車輛1的動作的一部份或全部不經由駕駛者而進行。

在影像處理部11(參照圖2)，係在適當的時序執行異物檢測。例如，入庫時，車輛1停止在托盤2上，當使用者對操作部7輸入該內容時進行異物檢測。此時，駕駛者經由目視觀看確認對象區域A內不存在異物F，但如果同時使用物體感測器6與攝像裝置5及影像處理部11機械性地執行異物檢測，就可徹底確認。其他情形，例如輸入了出庫的開始指示時，或輸入了出庫完成並關閉入庫出庫口4時，或者未特別進行操作的平常時等，在認為必須確認對象區域A內的狀態的任意時序，可進行異物檢測。

當進行異物檢測時，控制裝置10會使各攝像裝置5作動，取得對象區域A內的影像。在影像處理部11中，藉由程式P，對各攝像裝置5所取得的影像執行物體檢測處理。此外，控制裝置10會使物體感測器6作動，針對對象區域A的境界區域確認是否存在物體。

影像處理的結果，在經取得的影像當中至少一張的影像中，檢測到假想為異物F的種類的物體(例如：人物)時，控制裝置10會使警報部9作動，並 發出警報。同時，禁止托盤2、入庫出庫口4或者其他各部的動作。而且，亦可將檢測到異物F的內容予以顯示於顯示部8。此外，即使藉由物體感測器6檢測出物體時，控制裝置10也進行同樣的動作。

如此，使用程式P進行異物檢測時，若一併執行由物體感測器6所為的物體檢測，就可提高異物檢測的精確度。以下，詳加說明。

當欲根據由攝像裝置5所取得的對象區域A內的影像，來檢測如圖1所示之對象區域A內的異物F時，首先重點在於不要造成死角。另一面，期盼盡可能減少構成系統的裝置類，具體而言，在可確保異物檢測的精確度的範圍內，應盡量減少攝像裝置5的台數。當如上述藉由深度學習的程式進行影像處理時，影像處理部11會發生相當大量的計算負荷。在圖2中以一個方塊圖顯示影像處理部11，但實際上，例如可能為一台攝像裝置5需要一台左右的資訊處理裝置的情形。如此，抑制攝像裝置5的台數，尤其使用採用深度學習的程式P來進行異物檢測的情形，成本面是非常重要。圖1所示兩台攝像裝置5的配置為例示用以由較少台數的攝像裝置5，以不會造成死角的方式獲取對象區域A內的影像的一案(另外，在此例示具備兩台攝像裝置5的異物檢測系統，但這兩台的攝像裝置5係用以消除死角所需的最小限度的台數，並不阻礙為進一步提高檢測精確度等的目的，而進一步追加攝像裝置等)。

再者，在異物檢測時，必須盡力減少檢測遺漏與過度檢測兩方面。因此，如圖1的方式配置攝像裝置5時，會使各攝像裝置5的視角中擴大映出入庫出庫口4。結果，例如由攝像裝置5b所取得的影像中，如圖3所示，會有通過屬於穿透部的入庫出庫口4，使處在對象區域A的外部的物體O顯現在影像內的可能 性。當物體O屬於可由程式P檢測的種類的物體(在此為人物)時，會有過度檢測的疑慮。

為了防止過度檢測，可考慮例如圖4所示，對相當於映入在影像內的穿透部(入庫出庫口4)的區域實施遮罩處理，還執行由程式P所為的異物檢測的方法。然而，這樣的情形，會致使處在入庫出庫口4附近的一部份的異物F也會被遮罩。若被遮罩的量或位置如圖4所示的程度，就能夠由程式P來檢測被遮罩的異物F，但若異物F的位置更靠外側的情形，也可能會如圖5所示之異物F的大半部份被遮罩的情形。在圖5所示的例中，入庫出庫口4附近的異物F位於對象區域A的內側，但是大半部份被遮罩處理所遮罩，故程式P會有無法檢測的可能性。因此，藉由如圖1所示配置的物體感測器6作動，來確實地檢測有可能因受遮罩處理而不會被檢測出的境界區域的異物F。也就是，當使用程式P進行異物檢測時，要利用影像處理部11所為的遮罩處理來防止過度檢測，且利用屬於境界判定部的物體感測器6來防止檢測遺漏，藉此提高異物檢測的精確度。

順帶一提，如圖1所示配置物體感測器6俾使之沿著對象區域A的內外的境界線照射照射波時，可藉由物體感測器6適當地檢測出處於境界線上的異物F。另一方面，亦假想位在於接近入庫出庫口內側的異物F未被物體感測器6的照射波照射到，而且在藉由攝像裝置5所取得的影像中，會經由遮罩處理而大部分被遮罩的情形。這樣的情形，不可否定也會有發生檢測遺漏的可能性。因此，亦可以取代圖1所示之位置的物體感測器6，或更加設置物體感測器6，以在更內側的境界區域亦可檢測出異物。如此，對較入庫出庫口4所定義的境界線還靠內側的境界區域設置物體感測器6時，該物體感測器6的配置係如以下方式設定者較適合。

‧若屬於位於比可由物體感測器6所為之物體檢測的對象的區域靠內側的異物F，則以從經由遮罩處理的影像也可由程式P檢測出的方式，來配置物體感測器6。

也就是，

‧以藉由物體感測器6，使境界區域成為異物檢測的對象的方式，配置物體感測器6。

另外，即使「可由物體感測器6所為之異物檢測的對象的區域」、及「從經由遮罩處理的影像也可由程式P檢測出異物F的區域」彼此有重疊部分也沒關係。

一面參照圖6的流程圖一面說明：如以上方式由攝像裝置5、影像處理部11及物體感測器6所為的異物檢測程序的步驟的一例。以下說明的異物檢測程序係包含：影像取得程序(步驟S1)、遮罩處理程序(步驟S2)、第一物體檢測程序(步驟S3)以及第二物體檢測程序(步驟S4)。

首先，藉由攝像裝置5，取得對象區域A內的影像(步驟S1)。接著，對取得的影像，於穿透部(入庫出庫口4)所佔據的區域實施遮罩處理(步驟S2)。另外，遮罩處理可在攝像裝置5進行，亦可在影像處理部11進行。進一步，對經遮罩處理的影像，藉由儲存於影像處理部11的程式P，執行物體檢測處理(步驟S3)。

另一方面，使物體感測器6作動，檢測於照射波的照射區域中的物體的有無(步驟S4)。在步驟S5中，判定是否藉由程式P於影像內檢測出特定之種類的物體，或者是否藉由物體感測器6於照射區域檢測出任何的物體。若在任何一方或兩方檢測出物體，則判斷於對象區域A內存在著異物F(步驟S6)。若判斷存在有異物F時，則控制裝置10進行當檢測到異物F時應進行的各種動作。例如，將 檢測出異物的內容予以顯示於顯示部8。此時，播放文字或聲音所組成的訊息，或改變顯示部8的背景顏色，督促操作者(車輛1的駕駛者或設備人員等的人員)加以注意。此外，亦可因應需要，禁止機器類的操作(例如，入庫出庫口4的開閉、托盤2的搬運等)。

若程式P及物體感測器6中的任一者都沒有檢測出物體，則為異物不存在，並結束異物檢測程序(步驟S7)。

另外，在此說明的步驟為一例，各步驟的順序可適當替換，或追加另一步驟等，而施加變更。例如，進行由影像處理部11及程式P所為的物體檢測的步驟S1至S3與進行由物體感測器6所為的物體檢測的步驟S4的順序可進行替換，亦可並行執行。此外，在此，將判定物體檢測的結果的步驟統稱為步驟S5進行說明，惟由影像處理部11及程式P所為的物體檢測的結果的判定，與由物體感測器6所為的物體檢測的結果的判定亦可獨立進行。

如以上方式，上述本第一實施例的異物檢測系統係構成為具備：攝像裝置5，係取得對象區域A內的影像；影像處理部11，係儲存採用深度學習而檢測由攝像裝置5所取得之影像內的物體的程式P；以及境界判定部(物體感測器6)，係判定可從對象區域A的內側觀視確認外部的穿透部(入庫出庫口4)與周圍的物體的位置關係；並且，對攝像裝置5所取的影像，對穿透部(入庫出庫口4)所占有的區域實施遮罩處理，且根據經該遮罩處理的影像，藉由採用深度學習的程式檢測物體。若如此構成，採用程式P進行異物檢測時，一併執行由境界判定部(物體感測器6)所為的物體檢測，藉此可提高異物檢測的精確度。

上述的異物檢測系統中，遮罩處理係可在前述攝像裝置執行。

上述的異物檢測系統中，遮罩處理亦可在前述影像處理部執行。

上述的異物檢測系統中，境界判定部(物體感測器6)可設為物體感測器，該物體感測器係構成為可檢測於對象區域A中之與外部空間的境界區域中的物體的有無。若如此構成，則可藉由簡單的裝置構成來實施異物檢測系統。

上述的異物檢測系統中，物體感測器6係可構成檢測沿著穿透部(入庫出庫口4)形成之面所照射的照射波。若如此構成，可藉由物體感測器6適當地檢測處在境界線上的異物F。

在上述的異物檢測系統及方法中，對象區域A可設為機械式停車場的入庫出庫空間，若如此構成，可在機械式停車場的入庫出庫空間適當地執行異物檢測。

此外，上述本第一實施例的異物檢測方法係含有：影像取得程序(步驟S1)，係取得對象區域A內的影像；遮罩處理程序(步驟S2)，係對在影像取得程序所取得的影像，對可從對象區域A的內側觀視確認外部的穿透部(入庫出庫口4)所占有的區域實施遮罩處理；第一物體檢測程序(步驟S3)，係根據經遮罩處理程序後的影像，藉由採用深度學習的程式P來檢測物體；以及第二物體檢測程序(步驟S4)，係檢測於對象區域A的境界區域中之物體的有無。若如此構成，採用程式P進行異物檢測時，利用遮罩處理防止過度檢測，並利用境界判定部(物體感測器6)防止檢測遺漏，藉此可提高異物檢測的精確度。

因此，根據上述本第一實施例，可藉由極力簡單的構成即可以較高精確度來檢測異物。

圖7、圖8顯示本揭示的第二實施例的異物檢測系統的構成。本第二實施例的異物檢測系統基本的構成與上述的第一實施例(參照圖1、圖2)共通，惟於影像處理部11具備有境界判定部12，以取代物體感測器6。該境界判定部12 係形成為：根據由攝像裝置5所取得的影像，判定穿透部(入庫出庫口4)與周圍的物體(異物F或物體O)的位置關係。更具體而言，境界判定部12係從映入於影像內的物體(異物F或物體O)之相對於穿透部(入庫出庫口4)的位置關係，來判定前述物體相對於對象區域A為處於內部還是外部。

在圖7所示的異物檢測系統中，當藉由攝像裝置5取得影像時，例如在攝像裝置5a中，取得如圖9所示的影像。若對如此的影像，藉由影像處理部11的程式P執行物體檢測的處理時，會檢測出對象區域A內的兩個異物F及位在於入庫出庫口4的外側的物體O。

程式P係具體指明各物體的種類及影像內所佔的位置。物體的種類及位置，例如如圖10所示，可與影像重疊顯示。其中，於被檢測出的各異物F及物體O的周圍，由方形框來圖示這些異物F及物體O所佔的範圍，且一併顯示經具體指明的物體的種類(在此為人物)及各物體屬於該種類之物體的機率。

在境界判定部12中，依據這些物體相對於屬於對象區域A與外部空間的境界的入庫出庫口4位於哪一個位置，來判定各異物F及物體O是否位於對象區域A的內側還是位於對象區域A的外側。

內外的判定，例如可藉由顯示各物體所佔據之範圍的各個框，與入庫出庫口4所佔據區域的上下關係來進行。在圖10中，入庫出庫口4所佔據的區域為圖中以虛線索表示之大致四方形的部分。可藉由與顯示各物體的位置之框的下側邊部相對應的線段，相對於該大致四方形的像素區域重疊的程度，來判定各物體位於較入庫出庫口4還靠內側，還是較入庫出庫口4還靠外側。

在內外的判定時，例如若與顯示於各異物F或物體O的周圍的框的下側邊相對應的線段當中，某閾值(例如，80%)以上的部分位在入庫出庫口4所 佔據的像素區域的內側，就判定該物體位於對象區域A外。前述框當中，若位於前述像素區域內側的部分的比率未滿前述閾值，就判定該物體位於對象區域A內。在圖10所示之例中，可判斷位於前側的兩個異物F為位於對象區域A的內側，而位於深處的物體O為位於外側。另外，在此說明的判定方法僅為一例，就根據影像判定各物體的內外的方法而言，可採用其他適當的方法。

一面參照圖11的流程圖一面說明如以上影像處理部11的程式P及境界判定部12所為之異物檢測程序的步驟的一例。以下說明的異物檢測程序係包含：影像取得程序(步驟S11)、物體檢測程序(步驟S12)以及位置判定程序(步驟S15)。

首先，藉由攝像裝置5取得對象區域A內的影像(步驟S11)。接著，對經取得的影像，藉由程式P執行物體檢測處理(步驟S12)。

在步驟S13中，判定物體檢測處理的結果，是否藉由程式P於影像內檢測出任何可視為異物F的物體(異物F或物體O)。若沒有存在特定的種類的物體，則為異物不存在，並結束異物檢測程序(步驟S14)。

當於影像中檢測出任何的物體時，遷移至步驟S15。步驟S15係藉由境界判定部12，判定被檢測出的各物體之相對於對象區域A的位置。在步驟S16中，判定在步驟S12所檢測出的物體當中，是否存在有判定為位於對象區域A內的物體。若前述物體中，都判定為位於對象區域A之外的情形，則為異物F不存在，並結束異物檢測程序(步驟S14)。若前述物體中，至少一部分判定為位於對象區域A內的情形，則判定為異物F存在，並結束異物檢測步驟(步驟S17)。另外，在此說明的步驟為一例，如上述第一實施例所說明，各步驟的順序可適當替換，或追加另一步驟等，而施加變更。

如此，在本第二實施例中，在執行使用程式P的異物檢測時，一併執行由境界判定部12所為的位置判定，藉此提高異物檢測的精確度。

另外，雖然分別在上述第一實施例中說明物體感測器6為境界判定部，而在本第二實施例中說明儲存於影像處理部11內的境界判定部12，惟亦可將這些態樣予以適當組合來實施異物檢測系統。此外，為提高異物檢測的精確度等的目的，亦可適當併用其他的感測器類等。

此外，雖然在上述第一及第二實施例中，假設機械式停車場的入庫出庫空間為對象區域A，惟只要為需要異物檢測的空間就可而不論種類而應用同樣的異物檢測系統。例如，亦可假設為電動車的供電設備等，或者亦可應用於有窗口的倉庫內的警備。

如以上方式，在上述本第二實施例的異物檢測系統中，境界判定部12係構成為：根據由攝像裝置5所取得的影像內的物體的位置與於前述影像內穿透部(入庫出庫口4)所佔據的區域的位置關係，來判定在由攝像裝置5所取得之影像內被檢測出的物體位於對象區域A的內側還是位於外側。若如此構成，在使用程式P進行異物檢測時，一併執行由境界判定部12所為的位置判定，藉此可提高異物檢測的精確度。

此外，本第二實施例的異物檢測方法係含有：取得對象區域A內的影像的影像取得程序(步驟S11)；根據在影像取得程序所取得的影像，藉由採用深度學習的程式P來檢測物體的物體檢測程序(步驟S12)；以及根據前述影像內的物體的位置與可從對象區域A的內側觀視確認外部的穿透部(入庫出庫口4)於影像內所佔據之區域的位置關係，來判定於影像內被檢測出的物體位於對象區 域的內側還是位於外側的位置判定程序(步驟S15)。若如此構成，在採用程式P進行異物檢測時，一併執行所檢測的物體的位置判定，可提高異物檢測的精確度。

其他的構成及作用效果等係與上述第一實施例共通，故省略說明，惟根據第二實施例，亦藉由極力簡單的構成，能夠以較高精確度來檢測異物。

另外，在本揭示說明的本發明的異物檢測系統及方法並不僅限定於上述的實施例，在不脫離要旨的範圍內可加以各種的變更自不待言。

1:車輛

2:托盤

4:穿透部(入庫出庫口)

5:攝像裝置

5a:攝像裝置

5b:攝像裝置

6:境界判定部(物體感測器)

7:操作部

8:顯示部

9:警報部

A:對象區域

F:物體(異物)

O:物體

Claims (10)

1. 一種異物檢測系統，係具備：

   攝像裝置，係取得對象區域內的影像；

   影像處理部，係儲存採用深度學習而檢測由前述攝像裝置所取得之影像內的物體的程式；以及

   境界判定部，係判定可從前述對象區域的內側觀視確認外部的穿透部與周圍物體的位置關係；

   該異物檢測系統係構成為：

   對於由前述攝像裝置所取得的影像，在前述穿透部所佔據的區域實施遮罩處理，

   根據經該遮罩處理的影像，藉由採用深度學習的程式來檢測物體。
2. 如請求項1所述之異物檢測系統，其中，前述遮罩處理係在前述攝像裝置執行。
3. 如請求項1所述之異物檢測系統，其中，前述遮罩處理係在前述影像處理部執行。
4. 如請求項1至3中任一項所述之異物檢測系統，其中，前述境界判定部為構成為可檢測有無物體位於前述對象區域中之與外部空間的境界區域的物體感測器。
5. 如請求項4所述之異物檢測系統，其中，前述物體感測器係構成為檢測沿著前述穿透部所形成之面所照射的照射波。
6. 如請求項1至3中任一項所述之異物檢測系統，其中，前述境界判定部係構成為：根據由前述攝像裝置所取得之影像內的物體的位置與於前述 影像內前述穿透部所佔據的區域的位置關係，判定由前述攝像裝置所取得的影像中被檢測出的物體位於前述對象區域的內側還是外側。
7. 如請求項1至6中任一項所述之異物檢測系統，其中，前述對象區域為機械式停車場的入庫出庫空間。
8. 一種異物檢測方法，係包含：

   影像取得程序，係取得對象區域內的影像；

   遮罩處理程序，係對於前述影像取得程序所取得的影像，在可從前述對象區域的內側觀視確認外部的穿透部所佔據的區域實施遮罩處理；

   第一物體檢測程序，係根據經前述遮罩處理程序後的影像，藉由採用深度學習的程式來檢測物體；以及

   第二物體檢測程序，係檢測於前述對象區域的境界區域中之物體的有無。
9. 一種異物檢測方法，係包含：

   影像取得程序，係取得對象區域內的影像；

   物體檢測程序，係根據前述影像取得程序所取得的影像，藉由採用深度學習的程式來檢測物體；以及

   位置判定程序，係根據前述影像內的物體的位置與可從前述對象區域的內側觀視確認外側的穿透部於前述影像內所佔據的區域的位置關係，來判定於前述影像內被檢測出的物體係位於前述對象區域的內側還是外側。
10. 如請求項8或9所述之異物檢測方法，其中，前述對象區域為機械式停車場的入庫出庫空間。

Images