TWI831234B - 偵測物體並進行分類之方法，及相關之系統 - Google Patents

Abstract

本文件揭示一種偵測物體並進行分類之方法，其可包括：使用光電式偵測器產生若干距離信號；將距離信號轉換為一組點雲資料；將該組點雲資料轉換為二維圖像；及將二維圖像進行分類。光電式偵測器可以包含光源、接收單元及距離計算模組。光源可用於在掃描面中以受控方式發射掃描光。接收單元可用於接收被反射之掃描光。距離計算模組可根據掃描光被發射之時間及被反射之掃描光被接收之時間之間的時間差計算距離信號。該組點雲資料可以表示被掃描到之物體與光電式偵測器之間之三維距離資料。

Description

偵測物體並進行分類之方法，及相關之系統

本文件是關於物體之偵測及分類，包括但不限於行進間之物體之偵測及分類。本文件也是關於相關的系統及方法。

目前來說，用路人使用高速公路需要支付通行費用，而通行費用除了依照距離計算，也可能會隨車型而有所變化。

在一種目前可見的於高速公路所使用的電子道路收費(ETC)系統中，主要是以自動化方式取得通過ETC門框的車輛的車牌號碼後，利用該車牌號碼取得通行車輛之車籍資料，來據以判斷收費費率。

更具體地說，在一種目前可見的ETC系統中的ETC門框通常包含RFID、光達偵測器、以及高速攝影機。光達偵測器可用以觸發高速攝影機，以取得行進通過車輛的影像，從而進行影像辨識以取得車牌號碼。

道路的通行費率可能會依據車型而有所變化，例如小型車、大型車及聯結車等。然而，目前可見的ETC系統無法自動辨識車型，而需要使用辨識出的車牌號碼取得車籍資料後，從車籍資料中取得，增加了使用上的不便。

此外，道路的通行費率不但可能隨車型改變，也可能會根據車輛拖行的物體量或是車軸數等資訊而改變，而該些資訊未必可以即時地反映在車籍資料中。

過往的道路收費系統乃是採用人工收費，所以車型、車軸、車輪數目等資訊可以經由人眼判斷。然而，目前的趨勢是以自動化的系統取代人工收費系統。

因此，如何提出自動化方式以判斷上開如車型、車軸、車輪數目等資訊，從而得以推算通行費率，是值得研究的。

此外，如何使自動化系統在使用上更為簡便，及/或在成本上更為低廉，也是值得研究的。

此外，如何提升自動化判斷方式的準確度及判斷速度，也是值得研究的。

此外，如何以較為精簡及/或低價的硬體設備，完成自動化判斷方式並提高準確度，也是值得研究的。

揭示於本文件中的技術內容所能達成的目的之一，在於以有限的硬體設備所能取得的量測數據為基礎，巧妙地從前述量測數據盡可能擷取出足量的資訊，以提升自動化偵測及分類判斷的準確度。

為了達成至少前述目的，本文件揭示一種偵測物體並進行分類之方法，該方法可以包括：使用一光電式偵測器產生若干距離信號；將該等距離信號轉換為一組點雲資料；將該組點雲資料轉換為一二維圖像；及將該二維圖像進行分類。該光電式偵測器可以包含一光源、一接收單元及一距離計算模組，其中該光源可用於在一掃描面中以一受控方式發 射若干掃描光，其中該接收單元可用於接收被反射之該等掃描光，其中該距離計算模組可根據該等掃描光被發射之時間及該等被反射之掃描光被接收之時間之間的時間差計算該等距離信號。該組點雲資料可以表示被掃描到之物體與該光電式偵測器之間之三維距離資料。

易言之，本文件所揭示的偵測物體並進行分類之方法可以藉由將由光電式偵測器可以取得的距離信號轉換為表示三維距離資料的點雲資料，並藉由將該組點雲資料轉換為二維圖像，從而能夠更有效地藉助具有高效率的二維圖像或影像處理的軟硬體來處理表示三維距離資料的點雲資料，並藉以更有效地將偵測到的物體進行分類。

此外，由於二維圖像或影像處理、偵測、及/或分類的軟硬體技術的進步十分快速，本文件所揭示之方法能夠更充分地應用快速進展的技術領域來更有效地解決其他領域的技術問題(例如，將表示三維距離資料的點雲資料進行分類的技術問題)。

在本文件之中，「模組」可以指由硬體實作而具有特定或非特定的結構並達成特定功能之物，也可以指由軟體實作並附著於特定或非特定的具有計算功能的硬體，也可以兩者兼而有之，例如具有嵌入式系統的電路板或相關設備。「模組」所可以包含的這些意義可由本申請文件所屬技術領域中具有通常知識者明確地瞭解。

在一些實施例中，光電式偵測器係一光達(LiDAR)。使用光達，能夠更有效率地且更精確地取得被偵測到的物體與光電式偵測器之間的距離資訊。

在一些實施例中，僅使用一個光電式偵測器產生該等距離信號。眾所周知，光電式偵測器可能會使用到高精密度的機械及電子零 件，故可能所費不貲。雖然同時使用多個光電式偵測器也可以提升準確度，但可能需要付出高昂的成本。本文件所揭示的技術內容可以在僅使用一個光電式偵測器的情況下也可以有效、準確地偵測物體並將之分類，從而降低安裝相關設備的成本，並一併減少使用及維護上的費用。

在一些實施例中，光電式偵測器係用於偵測一物體。該物體可以係一行進間物體。因此，本文件所揭示的技術內容的應用範圍不僅限於靜止的物體，從而具有較佳的應用範圍。

在一些實施例中，該行進間物體可以是車輛。有鑑於車輛的管理乃是世界各國政府的重要課題，本文件所揭示的技術內容可以降低管理成本，增加管理效率。

在一些實施例中，將該二維圖像進行分類包括輸出車輛之車型、車軸數目或車輪數目中之至少一者。車型、車軸數目及車輪數目等資訊係常見用於判斷道路通行費率的資訊，因此本文件所揭示的技術內容具有非常實際的應用範圍。

在一些實施例中，所揭示的技術內容可以進一步包括移除該組點雲資料中與物體所處之地面相關聯之若干點雲資料。按物體之偵測及其分類之判斷結果本不應依其所處之地面而有所變化，然實際上光電式偵測器在進行掃描而產生距離信號的過程中可能會受到地面上其他物體或地面形狀之干擾。因此，將測得之點雲資料中與地面相關聯之部分移除，可以使針對所要偵測之物體的偵測、分類等判斷更為準確。

在一些實施例中，所揭示的技術內容可以進一步包括在將該組點雲資料轉換為二維圖像之前，移除該組點雲資料中與該物體所處之該地面相關聯之該等點雲資料；也可以進一步包括對於被移除與該物體所 處之該地面相關聯之該等點雲資料之該組點雲資料所轉換出之該二維圖像進行分群以產生一或多個群集，其中該或該等群集之數目可以表示被偵測之物體之數目。詳言之，光電式偵測器可以同時掃描在其掃描範圍內的多個物體，因此，若能將二維圖像進行分群以產生一或多個群集，則利用該二維圖像即可同時對多個掃描到的物體進行偵測及分類等判斷。

在一些實施例中，二維圖像係深度圖，該深度圖可包含若干像素，每一像素可包含一像素值，該像素值可表示一距離資訊。在一些實施例中，深度圖可以是彩色的，也可以是灰階的。易言之，深度圖的各個像素值可以使二維的圖像更容易表示出三維的距離資訊。

在一些實施例中，將該二維圖像進行分類包括使用一影像處理模組。

在一些實施例中，使用一光電式偵測器產生若干距離信號包含：使用一第一光電式偵測器及一第二光電式偵測器產生該等距離信號，其中各光電式偵測器可各自包含其光源、接收單元及距離計算模組。光源可用於在掃描面中以受控方式發射若干掃描光。接收單元可用於接收被反射之掃描光。距離計算模組可根據掃描光被發射之時間及被反射之掃描光被接收之時間之間的時間差計算距離信號。使用多於一個的光電式偵測器可以更為有效地提升偵測及分類的準確率，也可以提升掃描涵蓋範圍。

在一些實施例中，將距離信號轉換為一組點雲資料可包含將若干光電式偵測器各自產生之距離信號分別轉換為若干組點雲資料，其可分別表示被掃描到之物體與各該光電式偵測器之間之三維距離資料；將點雲資料轉換為二維圖像可包含將各該組點雲資料分別轉換為若干二維圖 像。在此實施例中，所揭示的技術內容可以進一步包含將各該二維圖像整合成經整合二維圖像。將從多個光電式偵測器取得之三維距離資料整合至相同的二維圖像可以使該二維圖像的資訊更為豐富，並藉以提昇偵測、分類等判斷之準確度。

在一些實施例中，經整合二維圖像可包含分別對應至各該光電式偵測器之若干區域，且將二維圖像進行分類可包括對於經整合二維圖像進行影像辨識以判斷其中之一或多個物件。在此實施例中，所揭示的技術內容可以進一步包含將各該區域中被判斷出之物件各自置入若干先進先出(FIFO)佇列，其中：當被判斷出之物件新置入於該等先進先出佇列中之一者時，將該新被置入之物件與各該先進先出佇列中已置入之物件相比較。易言之，各光達處理各自的掃描資料以偵測車輛的存在與否以及將偵測到之點雲形式物件量測資料轉換成物件之平面影像時，可以藉由判斷各光達所偵測到之物件的時間點及/或位置是否相近，而判斷由不同光達所取得之物件影像是否係來自同一物件，並將各該資料進行互補整合，以降低重複判斷的可能，提升總體的準確度。

根據本文件所揭示之技術內容之一態樣，揭示一種偵測物體並進行分類之方法，該方法可以包括：以第一光達及第二光達掃描地面以分別產生第一組點雲資料及第二組點雲資料；將第一組點雲資料轉換為第一二維圖像且將第二組點雲資料轉換為第二二維圖像；將第一二維圖像及第二二維圖像整合成經整合二維圖像，其可包含第一區域及第二區域；對於經整合二維圖像進行影像辨識以判斷其中之一或多個物件；及將第一區域及第二區域中被判斷出之物件各自置入第一先進先出(FIFO)佇列及第二先進先出佇列，其中：當一被判斷出之物件新置入於第一先進先出佇列 或第二先進先出佇列時，將該新被置入之物件與第一先進先出佇列及第二先進先出佇列中已置入之物件相比較。其中第一光達可具有第一掃描面且第二光達可具有第二掃描面。第一掃描面可與地面交會於第一線段。第二掃描面可與地面交會於第二線段。第一線段及第二線段可係平行於彼此。第一線段及第二線段可係交叉，其交叉角可小於或等於約10度、小於或等於約8度、小於或等於約5度、小於或等於約3度、或小於或等於約1度。

易言之，本文件所揭示的偵測物體並進行分類之方法可以利用多個掃描面大致平行於彼此之光達來對地面進行掃描，並分別轉換成二維圖像後進行整合，以提升偵測及分類等判斷之準確率。此外，整合後的二維圖像也會經過處理，能避免不同光達對相同偵測到的物體進行重複偵測或分類。

在一些實施例中，第一光達及第二光達之間的距離可在約3公尺至約9公尺之間的範圍，或可在約4公尺至約8公尺之間的範圍，或可在約5公尺至約7公尺之間的範圍。因此，本文件之技術內容可以應用於實際的多線道道路。

在一些實施例中，從地面之上方自該地面觀察，第一掃描面及第二掃描面至少部分重疊。重疊之掃描面針對重疊之區域可以產生更多資訊，進而繼續提高偵測及分類等判斷之準確率。

在一些實施例中，所揭示的技術內容可以進一步包含：回應於該新被置入之物件與第一先進先出佇列及第二先進先出佇列中已置入之物件之時間點相似，將該新被置入之物件及與其時間點相似之物件判斷為表示該地面上之被偵測之一相同行進間物體。這可以減少系統重複判斷的可能。

在一些實施例中，所揭示的技術內容可以進一步包含：回應於該新被置入之物件與該第一先進先出佇列及該第二先進先出佇列中已置入之物件之時間點皆不相似，將該新被置入之物件判斷為表示該地面上之新被偵測到之一行進間物體。

根據本文件所揭示之技術內容之一態樣，本文件揭示一種行進間物體分類系統，該系統可包括：光電式偵測器，其經組態用於產生若干距離信號，其中該光電式偵測器可包含光源、接收單元及距離計算模組；資料轉換模組，其可組態用於將距離信號轉換為一組點雲資料；圖像轉換模組，其可組態用於將點雲資料轉換為二維圖像；及分類模組，其經組態用於將二維圖像進行分類。光源可於在一掃描面中以一受控方式發射若干掃描光。接收單元可於接收被反射之該等掃描光。距離計算模組可經組態用於根據掃描光被發射之時間及被反射之掃描光被接收之時間之間的時間差計算距離信號。點雲資料考表示被掃描到之物體與光電式偵測器之間之三維距離資料。

100:物體偵測系統

110:門框

120:地面

130:物體

131:物體

140:光電式偵測器

140a:光電式偵測器

141:光源

142:接收單元

143:距離計算模組

144:控制模組

145:資料轉換模組

146:圖像轉換模組

147:分類模組

150:攝影機

160:掃描面

161:角度範圍

162:掃描光

170:影像處理模組

180:線段

210:輪廓

220:側影

211:輪廓

221:側影

222:輪廓周緣

500:二維圖像

510:群集

520:群集

530:群集

511:外框

521:外框

531:外框

600:物體偵測系統

610:門框

620:地面

630:物體

630a:物體

640:光電式偵測器

641:光電式偵測器

640a:光電式偵測器

641a:光電式偵測器

660:掃描面

661:掃描面

670:線段

671:線段

700:經整合圖像

710:區域

720:區域

711:左邊界

712:右邊界

721:左邊界

722:右邊界

730:群集

801:步驟

803:步驟

805:步驟

807:步驟

901:步驟

903:步驟

905:步驟

907:步驟

909:步驟

當結合所附圖式閱讀時，從以下實施方式可以更容易地理解本文件之各個態樣及實施例。應注意，根據行業中之不同標準作法、規格或程序，各種構件可能不按比例繪製。事實上，為了清楚起見，各種構件之尺寸及其比例可以任意增大或減小。

圖1A所示為根據本文件的技術精神之一實施例之物體偵測系統。

圖1B所示為根據本文件的技術精神之一實施例之光電式偵測器之示意方塊圖及可與其配合之控制模組。

圖1C所示為根據本文件的技術精神之一實施例之光電式偵測器之運作示意圖。

圖2A所示為根據本文件的技術精神之一實施例之由光電式偵測器經由某一掃描面而在某一時點掃描出的物體之輪廓。

圖2B所示為根據本文件的技術精神之一實施例之多個點之距離資料所累積成之「點雲」形式資料可輸出後形成之物體側影。

圖2C所示為根據本文件的技術精神之一實施例之由光電式偵測器經由某另一掃描面而在某一時點掃描出的物體之輪廓。

圖2D所示為根據本文件的技術精神之一實施例之多個點之距離資料所累積成之「點雲」形式資料可輸出後形成之物體側影。

圖3所示為根據本文件的技術精神之一實施例所取得之點雲形式之物體側影及其輪廓周緣。

圖4所示為根據本文件的技術精神之一實施例之可取得之二維深度圖像。

圖5所示為根據本文件的技術精神之一實施例之不同物體之不同二維圖像。

圖6A所示為根據本文件的技術精神之一實施例之物體偵測系統。

圖6B所示圖6A之物體偵測系統之示意圖。

圖7所示為根據本文件的技術精神之一實施例之可取得之二維圖像。

圖8所示為根據本文件的技術精神之一實施例之一方法之 一流程圖。

圖9所示為根據本文件的技術精神之一實施例之一方法之一流程圖。

以下內容提供用於實施本文件所揭示之技術精神的許多不同實施例或實例。當然，這些實施例或實例都不是限制性的，也未經過窮舉。例如，在下文中，在第二構件上方或之上形成第一構件可包含兩者是直接接觸之情況，也可以包含兩者之間存在有額外的構件而使得兩者並未直接接觸之情況。另外，重複的元件符號可能出現在本文不同的實施例中。元件符號重複的目的只是為了說明的簡潔及清楚，並不必然表示所示元件彼此之間的任何特定關係。

此外，為便於描述，諸如「在……下方」、「在……下」、「在……上方」、「上」、「下」、「左」、「右」及類似的描述空間關係的用語可在本文中用於描述不同元件或構件之間的關係。這些術語可以涵蓋圖式所具體描繪出的特定方向以外的其他方向或相對空間關係。舉例來說，某元件可以其他方式被定向(旋轉90度或或以不同方向翻轉等等)。

另外，在本文中，當一元件被稱為「連接至」、「耦合至」或「耦接至」另一元件時，其可直接連接、耦合或耦接至另一元件，也可以經過存在於兩者之間的其他元件。

圖1A所示為根據本文件的技術精神之一實施例之物體偵測系統100，其可架設於地面120上並可用於掃描地面120以偵測其上之物體130，並可對偵測到之物體130進行分類。物體偵測系統100可包含門框110、光電式偵測器140、及攝影機150，亦可包含其他所需元件。光電式 偵測器140在使用中可以具有掃描面160，而穿過掃描面160之物體130則會被掃描到。

在一些實施例中，地面120可以是道路路面或是高速公路路面；而在這些實施例中，門框110可以是ETC門框。在一些實施例中，物體130可以是靜止的也可以是正在行進的。在一些實施例中，物體130可以是車輛。在一些實施例中，物體130可以是不同種類的車輛，其種類包含但不限於例如小型車、大型車及聯結車。在一些實施例中，車輛可以具有不同的車型、車軸數目、車輪數目等等。

光電式偵測器140及攝影機150皆可用於偵測物體130。在一些實施例中，光電式偵測器140可以量測其與物體130之間的距離也可以產生距離信號，而攝影機150則可取得物體130之黑白、灰階或彩色照片。在一些實施例中，光電式偵測器140可以取得與物體130之間的三維(立體)距離資訊，而攝影機150可取得之照片則為物體130之二維資訊。因此，在一些實施例中，雖然攝影機150可以取得物體130之色彩資訊，但較難取得物體130之深度或立體資訊；反之，光電式偵測器140雖然較難取得物體130之色彩資訊，但較易取得物體130之深度或立體資訊。在一些實施例中，光電式偵測器140及攝影機150可以協同運作，例如，光電式偵測器140可以用於在有車輛通過時觸發攝影機150以取得其影像。光電式偵測器140會於之後更詳細地說明之。

在一些實施例中，光電式偵測器140可以是光達(LiDAR，light detection and ranging之縮寫)。承上，光電式偵測器140可以測量與物體表面間的距離，並因此可將物體距離換算成物體模型。此可補充攝影機150取得之平面影像不易表達出立體資訊之弱點。

參見圖1B，其所示為根據本文件的技術精神之一實施例之光電式偵測器140之示意方塊圖及可與其配合之控制模組144。

在一些實施例中，光電式偵測器140可以包含光源141、接收單元142、及距離計算模組143。在一些實施例中，控制模組144可以包含資料轉換模組145、圖像轉換模組146、分類模組147、及影像處理模組170。在一些實施例中，影像處理模組170可以處於控制模組144以外之系統中，例如，與控制模組144連接之外部伺服器或其他設備中。在一些實施例中，光源141可以是雷射光源。在一些實施例中，接收單元142可以是光電感測器，例如半導體式光電感測器。在一些實施例中，接收單元142可以是主動式光電感測器，其可提供光源141所使用之光並感測其反射光。

注意圖1A中並未直接標示出控制模組144，其原因在於控制模組144可能存在於門框110以外之處(例如門框旁之路側主機)，也有可能存在於物體偵測系統100以外之處(例如遠端伺服器)。也就是說，本文件之技術精神不以光電式偵測器140及控制模組144需要鄰近於彼此為要件，只需彼此有連結關係即可。這個連結關係可以是但不限於是電氣的或電磁性的。

在一些實施例中，光源141可以用於在掃描面(如圖1A所示之掃描面160)中以受控方式發射掃描光。在一些實施例中，接收單元142可以用於接收被反射之掃描光。在一些實施例中，距離計算模組143可以根據掃描光被發射之時間及被反射之掃描光被接收之時間之間的時間差計算距離信號。

先參考圖1C，其所示為根據本文件的技術精神之一實施例 之光電式偵測器140a之運作示意圖。光電式偵測器140及光電式偵測器140a可以彼此相似。光電式偵測器140a可用以偵測物體131並測量與物體131的表面之不同點之間的距離。

在圖1C所示之實施例中，物體131處於地面(圖未示)上，且光電式偵測器140a與地面之間的垂直距離為d'。光電式偵測器140a具有掃描面160，其與地面相交於線段180並具有一夾角；在本實施例中，該夾角小於90度，然而此僅為例示性夾角值。

光電式偵測器140a可以發射掃描光162，並藉由測量掃描光162被物體131表面之P點反射後被光電式偵測器140a接收之時間差而計算光電式偵測器140a與P點之間的距離。光電式偵測器140a可以其為起點每隔一定角度發射光束162用以測距，因此會以光電式偵測器140a為圓心掃描出一個扇形的掃描面160，其可具有角度範圍161；在此範圍中，光電式偵測器140a可以測量或計算出其與物體131表面上多個點(可以包括P點)之距離，從而測得物體131的表面在掃描面160上的輪廓。線段180上某點與光電式偵測器140a相連之直線正交於線段180，該點與光電式偵測器140a之間的距離為d。

為了更進一步地闡釋本文件所揭示的技術精神，請參照圖2A至圖2D。

如前所述，光電式偵測器140a可以藉由量測與物體131表面與掃描面160相交之線段上多個點之距離，從而測得該物體在該掃描面上的輪廓。在一些實施例中，物體131可以是一輛車，且此處為了說明方便起見而假定光電式偵測器140a的掃描速度遠大於該車的行進速度，使得該車在整個掃描面160的一次完整掃描所花費的時間內所行進的距離可以 忽略不計。則光電式偵測器140a於某一時點在物體131表面與掃描面160相交之線段上之多個點可以形成一個輪廓210，如圖2A之實施例所示。

若物體131不斷行進且光電式偵測器140a不斷掃描，則物體131於多個時點與多個掃描面相交所取得之多個點之距離資料可以累積成「點雲」形式的資料，且該等資料可經過輸出後形成物體131之例示性側影220，如圖2B之實施例所示。相較於輪廓210，此側影220亦可被稱為物體131之三維輪廓。

注意圖2B之側影220似只顯示了車輛的上半截，這是因為在此實施例中，光電式偵測器140a在物體131(車輛)之上，故物體131之下半截表面的某些部分可能不在光電式偵測器140a的視線(line of sight)之內。

如果光電式偵測器140a置於物體131之另外一個方向，例如行進間車輛之側面，則形同物體131與具有不同方向之掃描面160相交，則光電式偵測器140a可測得物體131之不同方向的輪廓，如圖2C之實施例所示之輪廓211。

若具有多個光電式偵測器置於物體131之不同方向，則可藉由取得物體131與不同掃描面相交所形成之輪廓及累積出之點雲資料，進而取得物體131之完整了立體側影，如圖2D之實施例所示之側影221。然而，由於光電式偵測器可能所費不貲，故在預算有限的情況下，所能夠取得之物體131之點雲資料組可能如圖2B所示，而非如圖2D所示。

在利用光電式偵測器取得物體之點雲資料組之後，可以藉由取得表示物體側影之該組點雲資料之周緣輪廓，並從該周緣輪廓中推算物體(例如車輛)之高度、寬度、長度等資訊，這些資訊可以幫助判斷物體 類型(例如車型)。圖3所示即為根據本文件的技術精神之一實施例所取得之點雲形式之物體側影220及其輪廓周緣222。輪廓周緣222可以用於估算物體之尺寸及類型。

然而，若在只有一個光電式偵測器的情況下，通常比較能準確地估計出的是物體的寬度，其原因是，物體高度可能會因為有無載貨等情形而變化，另所能測量推算之長度與物體行進速度有關，而導致相同長度的車輛經過所產生之影像長度可能十分不同。

因此，如何從側影220中有限的數據為基礎，盡可能地擷取出足量的資訊，以提升物體類型判斷的準確度，是值得研究的。

提出本文件之技術精神之發明人在進行相關研究時意識到，相關的技術問題的實質，乃是從(行進間)物體(例如車輛)取得的量測數據，經過演算後據以判斷該物體的類型(例如車輛的車型)，其中物體的類型為有限數目個。發明人認識到，由於物體的類型為有限數目個，前開技術問題可以視為統計學意義上的分類(classification)問題。

另外，在影像處理領域中關於影像之自動偵測及分類已多有研究。此外，近年來諸如機器學習等人工智慧技術的發展亦大幅提高影像之自動偵測及分類的效能。然而，由光電式偵測器(例如光達)取得之原始量測數據並非圖形影像，而是大量數值點的集合(點雲)。因此，現有的應用於影像分類的人工智慧技術無法直接應用。因此，發明人認識到，若能將點雲數據轉換成影像資訊，則可能可以更充分地應用影像分類領域快速進展的技術。

易言之，提出本文件之技術精神之發明人認識到，現有的利用光電式偵測器判斷物體類型的技術，通常僅利用所取得之點雲所能重 構出之車輛側影之輪廓周緣(例如圖2D所示之輪廓周緣222)，但對於周緣內部的數據，似未能善加利用。因此，發明人認識到，車輛側影之輪廓周緣內部之資訊，應具有更有效利用之餘地。

質言之，發明人提出的技術精神之一，乃是將光電式偵測器所能取得之(行進間)物體之側影之輪廓周緣內部之點雲資訊，轉換成影像處理技術所可以運用的資訊。承前所述，一般取得影像所使用之光學攝影機，可以容易地取得待攝物件之顏色與紋理等資訊，但不易取得距離資訊。因此，發明人提出，可以將點雲(距離)形式之車輛側影資訊中之輪廓周緣內部之資訊，轉換成圖形影像所具有之顏色、色階、及/或灰階等資訊。據此，根據本案的技術精神，光電式偵測器所能取得之數據即可轉換為圖形影像資訊，並進而利用現有的影像處理及分類技術，來增進判斷物體類型(例如車型)的效果。更精簡地說，本案的技術精神之一，乃是將視覺辨識技術(例如應用AI者)應用至非圖形影像資料(即，點雲資料)。

為了進一步解釋此類技術精神之實踐，請重新參看圖1B。

光電式偵測器140之距離計算模組143在產生距離信號後可將之傳輸至控制模組144做進一步處理。資料轉換模組145可以將距離信號轉換為一組點雲資料，其中該組點雲資料可表示被掃描到之物體與該光電式偵測器140之間之三維距離資料。圖像轉換模組146則可以將點雲資料轉換為二維圖像。分類模組147則可將二維圖像進行分類；分類的過程可以利用到影像處理模組170，其可具有與影像處理技術相關的軟體、硬體及/或其組合。在一些實施例中，影像處理及分類可以應用類神經網路技術。

為了進一步說明點雲資料與二維圖像之間的轉換，請參看 圖4，其所示為根據本文件的技術精神之一實施例之可取得之二維深度圖像之若干實例。

在圖4所示之範例(a)、(b)、(c)、及(d)中，橫軸為相同時間之不同掃描點，縱軸則為時間軸。沿時間縱軸及空間橫軸，可得到一台車(即行進間物體)從車頂之上的視角量測到的深度影像。圖中藍色點深淺值代表距離偵測器之距離(例示性的單位為公尺)；紅色點為無回傳值(偵測錯誤)，數值可是為0或者是其他足供辨識之特殊值。注意此處使用的顏色(紅色及藍色)僅為例示而不構成限制，也就是說，使用其他的顏色抑或是灰階也是可能的。在使用灰階的實施例中，無回傳值可以使用黑色或白色表示，而灰階的色調則表示不同的距離值。

在一些實施例中，二維圖像係深度圖，其包含若干像素，每一像素可包含像素值，像素值可表示距離資訊。

在一些實施例中，架設於道路門框上之光電式偵測器(例如光達)可擷取一維深度影像資訊，並以其為起點每隔一度角發射一道光束用以測距，因此會以光達為圓心掃描出一個扇形的掃描面，而當車輛沿著道路行駛時則會穿過該掃描面，進而留下一連串與高度相關的資訊。在一些實施例中，掃描的點為中心一點正負各五十度，每一度一個掃描點，總計101個掃描點，而更新率約每秒一百幀(每幀代表一次具101點的掃描，亦即每秒有100次掃描)。

在一些實施例中，控制模組144可以進一步地移除資料轉換模組145所產生之點雲資料組中與物體131所處之地面120相關聯之若干點雲資料，以減少干擾，提升物體偵測及分類之準確度。

在一些實施例中，控制模組144可以在圖像轉換模組146將 點雲資料組轉換為二維圖像之前，先行移除點雲資料組中與物體131所處之地面120相關聯之點雲資料。在一些實施例中，控制模組144可以對於被移除與物體131所處之地面120相關聯之點雲資料之點雲資料組所轉換出之二維圖像進行分群(clustering)以產生一或多個群集，其中該或該等群集之數目表示被偵測之物體之數目。在一些實施例中，分類模組147可以將二維圖像中之各個群集進行分類。如此一來，則可以同時偵測並分類一個二維圖像中之多個物體。

要注意的是，雖然圖1B中之光電式偵測器140及控制模組144顯示為分離的，但在一些實施例中，兩者亦有可能整合為同一軟硬體系統。在一些其他實施例中，控制模組144中的任意數目個模組(包括但不限於所示的資料轉換模組145、圖像轉換模組146、分類模組147、影像處理模組170)可以被整合為光電式偵測器140的一部份。

為了更具體地說明點雲資料與二維圖像之間的轉換，請參看圖5，其所示為根據本文件的技術精神之一實施例之不同物體之不同二維圖像之實例。

圖5所示之二維圖像500包含群集510、群集520、及群集530，其中各該群集510、520、及530之產生可以是對二維圖像500進行分群的結果。進行分群的軟體或硬體或系統可以將群集510、群集520、及群集530分別以外框511、外框521、及外框531標示出，以表示分群之結果。

二維圖像500表示光電式偵測器已偵測到多個不同的車輛。在此實施例中，群集510、群集520、及群集530分別表示小型車、有貨櫃聯結車、及無貨櫃聯結車。

本文件所開示之技術精神在一些實施例中可以如下方式闡釋：利用點雲資料產生深度圖；將地面資料點自點雲資料中移除；將剩餘資料點分群，每一個群集視為一個物件，並依此產生物件框作為候選區域；將深度圖之候選區域的資料擷取出來並輸入類神經網路；及將類神經網路的輸出作為分類結果。

如前所述，光電式偵測器的數目若是一個，則可收費用簡省之功效。若使用多於一個光電式偵測器，則可提升速度及/或精確度。

參見圖6A，其所示為根據本文件的技術精神之一實施例之物體偵測系統600。圖6B所示則為圖6A之物體偵測系統600之示意圖。

物體偵測系統600可架設於地面620上並可用於掃描其上之物體630，並對之進行分類。物體偵測系統600可包含門框610、光電式偵測器640、及光電式偵測器641，亦可包含其他所需元件。光電式偵測器640、641在使用中可以分別具有掃描面660、掃描面661，其分別與地面交會於線段670、線段671。在一些實施例中，光電式偵測器640、641可以是光達。

與圖1A所示之物體偵測系統100相比，物體偵測系統600主要的差異在於使用多於一個光電式偵測器640、641，其中掃描面660、661可以部分重疊，也可以實質上平行。在一些實施例中，掃描面660、661彼此之間的平行程度可以由線段670、671之間的交叉角(若有)來表示。在一些實施例中，交叉角小於或等於約5度。

各光電式偵測器640、641可以分別產生距離信號，也可以有對應的處理模組(圖未示)產生點雲資料組、並將其轉換成二維圖像並將之進行分群及/或分類，詳如前述，茲此不贅。

如圖6B的示意圖所示，光電式偵測器640a、641a與地面間之高度皆為h，然此僅為例示。二者皆可以掃描到行進間物體630a。由於多個光電式偵測器640a、641a可能會掃描到相同物體，發明人認識到，為了提升車型判斷的品質，本文件所揭示之技術精神亦包括，在各光電式偵測器處理各自的掃描資料以偵測車輛的存在與否以及將偵測到之點雲形式物件(車輛)量測資料轉換成物件之平面影像時，可以藉由判斷各光電式偵測器所偵測到之物件的時間點及/或位置是否相近，而判斷由不同光電式偵測器所取得之物件影像是否係來自同一物件，並將各該資料進行互補整合。

質言之，處理模組可以將各光電式偵測器產生之距離資料所產生之各二維圖像整合成一經整合二維圖像，再進行後續處理。為了進一步說明，請參見圖7所示之經整合圖像700。

經整合圖像700可以包含區域710及區域720，其可分別對應至光電式偵測器640a及641a之掃描區域。區域710之左邊界711由綠色直線段表示，而其右邊界712則由紫色直線段表示。類似地，區域720之左邊界721由綠色直線段表示，而其右邊界722則由紫色直線段表示。在此實施例中，群集730即表示光電式偵測器640a及641a皆掃描到之物體(車輛)。群集730有時也可以被稱為物件。

在一些實施例中，可以將區域710及區域720中被判斷出之物件各自置入一第一先進先出(FIFO)佇列及一第二先進先出佇列。在一些實施例中，當一被判斷出之物件新置入於該第一先進先出佇列或該第二先進先出佇列時，將該新被置入之物件與該第一先進先出佇列及該第二先進先出佇列中已置入之物件相比較。在一些實施例中，回應於該新被置入之 物件與該第一先進先出佇列及該第二先進先出佇列中已置入之物件之時間點相似，可將該新被置入之物件及與其時間點相似之物件判斷為表示該地面上之被偵測之一相同行進間物體。在一些實施例中，回應於該新被置入之物件與該第一先進先出佇列及該第二先進先出佇列中已置入之物件之時間點皆不相似，可將該新被置入之物件判斷為表示該地面上之新被偵測到之一行進間物體。據此，可以有效地將各光電式偵測器取得之資料進行有效地互補整合。

圖8所示為根據本文件的技術精神之一實施例之一方法之一流程圖。該實施例可用於將距離信號轉換為圖像並將之進行分類。

在步驟801中，使用一光電式偵測器產生若干距離信號。在一些實施例中，光電式偵測器可包含光源、接收單元及距離計算模組。在一些實施例中，光源可用於在掃描面中以一受控方式發射掃描光。接收單元可用於接收被反射之掃描光。距離計算模組可根據掃描光被發射之時間及被反射之掃描光被接收之時間之間的時間差計算距離信號。

在步驟803中，將該等距離信號轉換為點雲資料組。在一些實施例中，點雲資料組可以表示被掃描到之物體與光電式偵測器之間之三維距離資料。

在步驟805中，將點雲資料組轉換為二維圖像。在步驟807中，將二維圖像進行分類。

圖9所示為根據本文件的技術精神之一實施例之一方法之一流程圖。該實施例之方法可用於偵測物體並分類之。

在步驟901中，以第一光達及第二光達掃描地面以分別產生第一組點雲資料及第二組點雲資料。在一些實施例中，各個光達皆具有 各自的掃描面，其中各個掃描面與地面分別交會於第一線段及第二線段。在一些實施例中，第一線段及第二線段係平行於彼此。在一些實施例中，兩線段係交叉且其交叉角小於或等於約5度。

在步驟903中，將兩組點雲資料分別轉換為第一二維圖像及第二二維圖像。在步驟905中，將該第一二維圖像及該第二二維圖像整合成一經整合二維圖像，其包含第一區域及一第二區域。在步驟907中，對於該經整合二維圖像進行影像辨識以判斷其中之一或多個物件。

在步驟909中，將該第一區域及該第二區域中被判斷出之物件各自置入一第一先進先出(FIFO)佇列及一第二先進先出佇列，並將新置入之物件與佇列中之物件相比較。

前文敘述了若干實例，以使本領域中具有通常知識者能夠更完整、準確地理解揭示於本文件之技術精神的各個具體態樣及實施例。通常知識者瞭解前文的敘述可作為其他實例或實作的基礎且仍然沒有脫離揭示於本文件之技術精神的範疇。通常知識者可以在不脫離揭示於本文件之技術精神的範疇的情況下對所述的實例進行各種改變、替換及更改。本文件所請求之專利權範圍，乃是以所附之申請專利範圍為準。

100: 物體偵測系統 110: 門框 120: 地面 130: 物體 140: 光電式偵測器 150: 攝影機 160: 掃描面

Claims (19)

1. 一種偵測物體並進行分類之方法，該方法包括：使用一光電式偵測器產生若干距離信號，其中該光電式偵測器包含一光源、一接收單元及一距離計算模組，其中該光源用於在一掃描面中以一受控方式發射若干掃描光，其中該接收單元用於接收被反射之該等掃描光，其中該距離計算模組根據該等掃描光被發射之時間及該等被反射之掃描光被接收之時間之間的時間差計算該等距離信號；將該等距離信號轉換為一組點雲資料，其中該組點雲資料表示被掃描到之物體與該光電式偵測器之間之三維距離資料；移除該組點雲資料中與一物體所處之一地面相關聯之該等點雲資料，之後將該組點雲資料轉換為一二維圖像；對於被移除與該物體所處之該地面相關聯之該等點雲資料之該組點雲資料所轉換出之該二維圖像進行分群(clustering)以產生一或多個群集，其中該或該等群集之數目表示被偵測之物體之數目；及將該二維圖像進行分類(classification)。
2. 如請求項1之方法，其中該光電式偵測器係一光達(LiDAR)。
3. 如請求項1之方法，其中僅使用一個光電式偵測器產生該等距離信號。
4. 如請求項1之方法，其中該光電式偵測器係用於偵測該物體。
5. 如請求項4之方法，其中該物體係一行進間物體。
6. 如請求項5之方法，其中該行進間物體係一車輛。
7. 如請求項6之方法，其中將該二維圖像進行分類包括輸出該車輛之一車型、一車軸數目或一車輪數目中之至少一者。
8. 如請求項1之方法，其中該將該二維圖像進行分類包括：將該二維圖像中之各該群集進行分類。
9. 如請求項1之方法，其中該二維圖像係一深度圖，該深度圖包含若干像素，每一像素包含一像素值，該像素值表示一距離資訊。
10. 如請求項1之方法，其中該將該二維圖像進行分類包括使用一影像處理模組。
11. 如請求項1之方法，其中使用一光電式偵測器產生若干距離信號包含：使用一第一光電式偵測器及一第二光電式偵測器產生該等距離信號，其中該第一光電式偵測器及該第二光電式偵測器各自包含一光源、一接收單元及一距離計算模組，其中該光源用於在一掃描面中以一受控方式發射若干掃描光，其中該接收單元用於接收被反射之該等掃描光，其中該 距離計算模組根據該等掃描光被發射之時間及該等被反射之掃描光被接收之時間之間的時間差計算該等距離信號。
12. 如請求項11之方法，其中將該等距離信號轉換為一組點雲資料包含將該第一光電式偵測器及該第二光電式偵測器各自產生之該等距離信號分別轉換為一第一組點雲資料及一第二組點雲資料，其中該第一組點雲資料及該第二組點雲資料分別表示被掃描到之物體與該第一光電式偵測器及該第二光電式偵測器之間之三維距離資料；其中將該組點雲資料轉換為一二維圖像包含將該第一組點雲資料及該第二組點雲資料分別轉換為一第一二維圖像及一第二二維圖像；其中該方法進一步包含：將該第一二維圖像及該第二二維圖像整合成一經整合二維圖像。
13. 如請求項12之方法，其中該經整合二維圖像包含分別對應至該第一光電式偵測器及該第二光電式偵測器之一第一區域及一第二區域；其中將該二維圖像進行分類包括對於該經整合二維圖像進行影像辨識以判斷其中之一或多個物件；其中該方法進一步包含：將該第一區域及該第二區域中被判斷出之物件各自置入一第一先進先出(FIFO)佇列及一第二先進先出佇列，其中：當一被判斷出之物件新置入於該第一先進先出佇列或該第二先進先出佇列時，將該新被置入之物件與該第一先進先出佇列及該第二先進先出佇列中已置入之物件相比較。
14. 一種偵測物體並進行分類之方法，該方法包括：以一第一光達及一第二光達掃描一地面以分別產生一第一組點雲資料及一第二組點雲資料，其中該第一光達具有一第一掃描面且該第二光達具有一第二掃描面，其中該第一掃描面與該地面交會於一第一線段且該第二掃描面與該地面交會於一第二線段，其中該第一線段及該第二線段係平行於彼此或其中該第一線段及該第二線段係交叉且其交叉角小於或等於約5度；將該第一組點雲資料轉換為一第一二維圖像且將該第二組點雲資料轉換為一第二二維圖像；將該第一二維圖像及該第二二維圖像整合成一經整合二維圖像，該經整合二維圖像包含一第一區域及一第二區域；對於該經整合二維圖像進行影像辨識以判斷其中之一或多個物件；及將該第一區域及該第二區域中被判斷出之物件各自置入一第一先進先出(FIFO)佇列及一第二先進先出佇列，其中：當一被判斷出之物件新置入於該第一先進先出佇列或該第二先進先出佇列時，將該新被置入之物件與該第一先進先出佇列及該第二先進先出佇列中已置入之物件相比較。
15. 如請求項14之方法，其中該第一光達及該第二光達之間的距離在約3公尺至約9公尺之間的範圍。
16. 如請求項14之方法，其中從該地面之上方自該地面觀察，該第一掃 描面及該第二掃描面至少部分重疊。
17. 如請求項14之方法，其進一步包括：回應於該新被置入之物件與該第一先進先出佇列及該第二先進先出佇列中已置入之物件之時間點相似，將該新被置入之物件及與其時間點相似之物件判斷為表示該地面上之被偵測之一相同行進間物體。
18. 如請求項14之方法，其進一步包括：回應於該新被置入之物件與該第一先進先出佇列及該第二先進先出佇列中已置入之物件之時間點皆不相似，將該新被置入之物件判斷為表示該地面上之新被偵測到之一行進間物體。
19. 一種行進間物體分類系統，該系統包括：一光電式偵測器，其經組態用於產生若干距離信號，其中該光電式偵測器包含一光源、一接收單元及一距離計算模組，其中該光源用於在一掃描面中以一受控方式發射若干掃描光，其中該接收單元用於接收被反射之該等掃描光，其中該距離計算模組經組態用於根據該等掃描光被發射之時間及該等被反射之掃描光被接收之時間之間的時間差計算該等距離信號；一資料轉換模組，其經組態用於將該等距離信號轉換為一組點雲資料，其中該組點雲資料表示被掃描到之物體與該光電式偵測器之間之三維距離資料；一圖像轉換模組，其經組態用於： 移除該組點雲資料中與一物體所處之一地面相關聯之該等點雲資料，之後將該組點雲資料轉換為一二維圖像；及一分類模組，其經組態用於：對於被移除與該物體所處之該地面相關聯之該等點雲資料之該組點雲資料所轉換出之該二維圖像進行分群(clustering)以產生一或多個群集，其中該或該等群集之數目表示被偵測之物體之數目；及將該二維圖像進行分類(classification)。