TWI812191B

TWI812191B - 人工智慧型交通號誌控制系統、方法及電腦程式產品

Info

Publication number: TWI812191B
Application number: TW111115721A
Authority: TW
Inventors: 萬家豪; 黃友恆; 徐嘉駿; 黃銘崇
Original assignee: 睿星科技股份有限公司
Priority date: 2022-04-26
Filing date: 2022-04-26
Publication date: 2023-08-11
Also published as: TW202343391A; CN116959237A

Abstract

一種交通號誌控制系統，包括：一訓練用類神經網路、一決策用類神經網路及一控制單元。訓練用類神經網路透過複數個訓練用資料進行強化學習。決策用類神經網路根據訓練用類神經網路的訓練成果對即時交通資料進行分析，以產生對應控制範圍內的一交通號誌的一決策。控制單元利用該決策控制控制範圍內的該交通號誌。

Description

人工智慧型交通號誌控制系統、方法及電腦程式產品

本發明屬於自動控制技術領域，特別是交通號誌的人工智慧自動控制技術領域。

目前交通號誌的自動控制大多仰賴專家依照經驗所制定的控制流程，但這種方式並不能準確反應場域交通行為，且無法針對不同車種做出反應。此外，這種方式的適用範圍拘限，例如只要道路規劃的不同，就必須再次透過專家重新制定不同的控制流程，在使用上極不便利。

雖然目前已有部分技術可透過人工智慧應用於交通號誌議題上，但這些技術大多是透過短暫拍攝路口的車流影像做為交通情況分析對象，並非直接碰觸交通號誌秒數之控制問題。此外，過去號誌控制技術上多半以車流通過量來判斷即時交通狀況，這種方式也無法真實反映路況，例如在塞車時，由於通過路口的車輛較少，分析判斷可能會誤判成道路上的車輛較少而減少此路口的綠燈秒數，但實際上車輛很多，導致交通堵塞更嚴重。

由此可知，目前的技術仍有改善的空間。對此，本發明提供一種自主學習輔助決策系統、方法及電腦程式產品，能有效解決上述問題。

根據本發明的一觀點，茲提出一種交通號誌控制系統，用於控制一控制範圍內的交通號誌。交通號誌控制系統包含訓練用類神經網路、決策用類神經網路及控制單元。訓練用類神經網路透過訓練用資料進行強化學習，其中訓練用資料的類型包含至少部分控制範圍內的車道幾何佈設資料、車種資料及車輛數目資料的至少其中一者。決策用類神經網路根據訓練用類神經網路的訓練成果對即時交通資料進行分析，以產生對應該控制範圍內的一交通號誌的決策，其中即時交通資料的類型包含目前至少部分控制範圍內的車道幾何佈設資料、車種資料及車輛數目資料的至少其中一者；控制單元利用該決策控制該控制範圍內的該交通號誌。

根據本發明的另一觀點，是提供一種交通號誌控制方法，用於控制一控制範圍內的交通號誌，該方法是透過交通號誌控制系統來執行，交通號誌系統包含訓練用類神經網路、決策用類神經網路及控制單元。交通號誌控制方法包含步驟：藉由訓練用類神經網路透過訓練用資料進行強化學習，其中訓練用資料的類型包含至少部分控制範圍內的車道幾何佈設資料、車種資料及車輛數目資料的至少其中一者；藉由決策用類神經網路，根據訓練用類神經網路的訓練成果對即時交通資料進行分析，以產生對應該控制範圍內的一交通號誌的決策，其中該即時交通資料的類型包含目前至少部分控制範圍內的車道幾何佈設資料、車種資料及車輛數目資料的至少其中一者；以及藉由控制單元，利用該決策控制該控制範圍內的該交通號誌。

根據本發明又另一觀點，是提供一種儲存於非暫態電腦可讀取媒體之中的電腦程式產品，用以使一交通號誌控制系統運作，其中交通號誌控制系統用於控制一控制範圍內的交通號誌，且包含訓練用類神經網路、決策用類神經網路及控制單元，且訓練用類神經網路透過訓練用資料進行強化學習，訓練用資料的類型包含至少部分控制範圍內的車道幾何佈設資料、車種資料及車輛數目資料的至少其中一者，其中該電腦程式產品包含：一指令，使決策用類神經網路根據訓練用類神經網路的訓練成果對即時交通資料進行分析，以產生對應該控制範圍內的一交通號誌的一決策，其中即時交通資料的類型包含目前至少部分控制範圍內的車道幾何佈設資料、車種資料及車輛數目資料的至少其中一者；其中，控制單元利用該決策控制該控制範圍內的該交通號誌。

1:控制系統

2、2a~2d:路口

4、4a~4j:交通號誌

6:控制範圍

12:交通資料收集模組

14:控制單元

16、16a~16d:訓練用類神經網路

18、18a~18d:決策用類神經網路

R1~R14:車道

S21~S23:步驟

S41~S48:步驟

S51~S58:步驟

圖1是本發明一實施例的人工智慧型交通號誌控制系統的應用情境示意圖。

圖2A是本發明一實施例的控制系統的系統架構圖。

圖2B是本發明一實施例的「決策」的示意圖。

圖2C是本發明另一實施例的「決策」的示意圖。

圖2D是本發明一實施例的交通號誌控制方法的主要步驟流程圖。

圖3A是本發明一實施例的控制系統採用強化學習架構的示意圖。

圖3B是本發明一實施例的控制系統採用多代理人強化學習架構的示意圖。

圖4是本發明第一實施例的控制系統的細部運作的步驟流程圖。

圖5是本發明第二實施例的控制系統的細部運作的步驟流程圖。

圖6是本發明第三實施例的控制系統的細部運作的步驟流程圖。

圖7是本發明又另一實施例的控制系統的細部運作的步驟流程圖。

當結合附圖閱讀時，下列實施例用於清楚地展示本發明的上述及其他技術內容、特徵及/或效果。透過具體實施方式的闡述，人們將進一步瞭解本發明所採用的技術手段及效果，以達到上述的目的。此外，由於本發明所揭示的內容應易於理解且可為本領域技術人員所實施，因此，所有不脫離本發明的概念的相等置換或修改應包含在申請專利範圍中。

應注意的是，在本文中，除了特別指明者之外，「一」元件不限於單一的該元件，還可指一或更多的該元件。

此外，說明書及申請專利範圍中例如「第一」或「第二」等序數僅為描述所請求的元件，而不代表或不表示所請求的元件具有任何順序的序數，且不是所請求的元件及另一所請求的元件之間或製造方法的步驟之間的順序。這些序數的使用僅是為了將具有特定名稱的一個請求元件與具有相同名稱的另一請求元件區分開來。

此外，說明書及申請專利範圍中例如「相鄰」一詞是用於描述相互鄰近，不必然表示相互接觸。

此外，本發明中關於“當...”或“...時”等描述表示”當下、之前或之後”等態樣，而不限定為同時發生之情形，在此先行敘明。本發明中關於“設置於...上”等類似描述係表示兩元件的對應位置關係，並不限定兩元件之間是否有所接觸，除非特別有限定，在此先行敘明。再者，本發明記載多個功效時，若在功效之間使用“或”一詞，係表示功效可獨立存在，但不排除多個功效可同時存在。

此外，說明書及申請專利範圍中例如「連接」或「耦接」一詞不僅指與另一元件直接連接，也可指與另一元件間接連接或電性連接。另外，電性連接包含直接連接、間接連接或二元件間以無線電信號交流的態樣。

此外，說明書及申請專利範圍中，「約」、「大約」、「實質上」、「大致上」之用語通常表示在一值與一給定值的差距在該給定值的10%內，或5%內，、或3%之內、，或2%之內、，或1%之內、，或0.5%之內的範圍。在此給定的數量為大約的數量，亦即在沒有特定說明「約」、「大約」、「實質上」、「大致上」的情況下，仍可隱含「約」、「大約」、「實質上」、「大致上」之含義。此外，用語「範圍為第一數值至第二數值」、「範圍介於第一數值至第二數值之間」表示所述範圍包含第一數值、第二數值以及它們之間的其它數值。

此外，在本文中，「系統」、「設備」、「裝置」、「模組」、或「單元」等用語，是指包含了一電子元件或由多個電子元件所組成的一數位電路、一類比電路、或其他更廣義電路，且除了特別指明者之外，它們不必然有位階或層級關係。此外，各元件可以適合的方式來實現成單一電路或一積體電路，且可包括一或多個主動元件，例如，電晶體或邏輯閘，或一或多個被動元件，例如，電阻、電容、或電感，但不限於此。各元件可以適合的方式來彼此連接，例如，分別配合輸入信號及輸出信號，使用一或多條線路來形成串聯或並聯。此外，各元件可允許輸入信號及輸出信號依序或並列進出。上述組態皆是依照實際應用而定。

此外，只要合理，本發明所揭示的不同實施例的技術特徵可結合形成另一實施例。

另外，在本文中，「至少一元件」包含了一或多個元件之態樣，例如「一範圍中的至少一元件」之描述包含了該範圍中的單一元件之態樣、該範圍中多個元件之態樣以及該範圍中所有元件之態樣。在本文中，「及/或」包含了單一、任意多個及全部之態樣，例如「元件a、元件b及/或元件c」之描述包含了三者中任意一者之態樣、三者中任意二者之態樣以及三者之態樣。

圖1是本發明一實施例的人工智慧型交通號誌控制系統(以下簡稱控制系統)的應用情境示意圖。如圖1所示，控制系統1(標示於圖2)可應用於馬路上，其中馬路可包含複數個路口2。每個路口2可設置有交通號誌4。控制系統1可具有一控制範圍6。控制系統1的控制範圍6為一地理範圍，可包含至少一路口2，例如路口2a及路口2b，但不限於此。在一實施例中，路口2的類型可包含十字路口、T字型路口、岔路口、圓環或其它態樣的路口等，且不限於此。控制範圍6可包含至少一交通號誌4，例如路口2a包含交通號誌4a~4c，而路口2b包含交通號誌4d~4e。控制系統1可控制其控制範圍6內的至少一交通號誌4，亦即控制系統1可控制其控制範圍6內的一個、多個或全部交通號誌4，此處「控制」的態樣可包含控制交通號誌的秒數、燈頭(例如顯示紅燈或綠燈、顯示左轉燈等)、時相指示、號誌週期、時相時比及/或時差等，且不限於此。

在一實施例中，每個交通號誌4可對應專屬的一個訓練用類神經網路16(標示於圖2)及一個決策用類神經網路18(標示於圖2)。在一實施例中，同一個路口2的所有交通號誌4可對應同一個訓練用類神經網路16及同一個決策用類神經網路18；為方便說明，下文皆以同一個路口2的所有交通號誌4皆對應同一個訓練用類神經網路16及決策用類神經網路18的態樣來舉例說明。

圖2A是本發明一實施例的控制系統1的系統架構圖，並請同時參考圖1。如圖2A所示，控制系統1可包含一交通資料收集模組12、一控制單元14、至少一訓練用類神經網路16及至少一決策用類神經網路18，且控制單元14用於控制至少一交通號誌4。

其中，交通資料收集模組12可用於收集即時交通資料，並將收集到的即時交通資料傳送至控制單元14，此處「即時交通資料」是定義為交通資料收集模組12目前收集到的交通資料，其中交通資料收集模組12可設定成持續收集交通資料，並在決策用類神經網路18需要進行決策時，將即時交通資料提供給決策用類神經網路18，且不限於此。

控制單元14可將即時交通資料傳送至決策用類神經網路18以供分析，或將即時交通資料蒐集累積後形成歷史交通資料後，傳送至訓練用類神經網路16做為至少一部分訓練用資料，以供訓練用類神經網路16進行訓練。

訓練用類神經網路16可利用複數個訓練用資料來進行強化學習(reinforcement learning)。

決策用類神經網路18可根據其對應的訓練用類神經網路16的訓練成果進行更新，例如決策用類神經網路18a可根據訓練用類神經網路16a的訓練成果進行更新。此外，每個決策用類神經網路18可對即時交通資料進行分析，並產生決策，例如決策用類神經網路18a可產生對應路口2a的所有交通號誌4a~4c 的決策，而決策用類神經網路18b可產生對應路口2b的所有交通號誌4d~4e的決策。

以下先針對決策用類神經網路18產生的「決策」進行說明。在一實施例中，決策可包含一路口2的各種時相的時效秒數之控制。以下將以路口2為十字路口之態樣來舉例說明。

圖2B是本發明一實施例的「決策」的示意圖，由圖2B可知，路口2(例如十字路口)可能具備四種時相組態A1~A4，每種時相組態A1~A4對應該路口2的所有交通號誌4的控制。此外，該路口2的所有交通號誌4可依照一預設順序來依序執行該等時相組態A1~A4，例如時相組態A2接續時相組態A1執行，時相組態A3接續時相組態A2執行，時相組態A4接續時相組態A3執行，時相組態A1接續時相組態A4執行。其中，每種時相組態A1~A4具有各自的時相秒數t1~t4，亦即時相組態的執行時間。在圖2B實施例中，每當要執行一種時相組態(例如A1)時(亦即要從時相組態A4切換成時相組態A1時)，決策用類神經網路18可取得即時交通資訊，並產生即將要執行的時相組態(例如A1)的時相秒數(例如t1)之決策。本發明不限於此。

圖2C是本發明另一實施例的決策的示意圖。在圖2C實施例中，決策用類神經網路18可定期取得即時交通資訊，並一次產生該路口2的所有時相組態A1~A4各自的時相秒數t1~t4之決策，亦即決策用類神經網路18可一次分配好所有時相組態A1~A4各自的時相秒數t1~t4。本發明不限於此。

請再次參考圖2A。控制單元14可根據決策來控制相對應的交通號誌4。控制系統1可以一次僅控制控制範圍6內的單一個交通號誌4，也可以一次控制控制範圍6內的多個或全部交通號誌4。在一實施例中，控制單元14可根據單一決策用類神經網路18的決策來控制單一路口2的交通號誌4。而當有多個路口2的交通號誌4需要進行控制時，則控制單元14可藉由不同決策用類神經網路18的決策來分別控制不同路口的交通號誌，舉例來說，控制單元14可藉由訓練用類神經網路18a的決策a來控制路口2a的所有交通號誌4a~4c，且可藉由訓練用類神經網路18b的決策b來控制路口2b的所有交通號誌4d~4e，且不限於此。需注意的是，雖然圖2A顯示由同一個控制單元14來分別控制不同路口2a、2b的交通號誌4a~4c、4d~4e，但在另一些實施例中，不同路口2a、2b亦可由不同控制單元14進行控制(圖未顯示)。

此外，在一實施例中，不同訓練用類神經網路16a、16b可使用相同種類或不同種類的訓練用資料做為「輸入變數」。在一實施例中，不同決策用類神經網路18a、18b可使用相同種類或不同種類的即時交通資料做為「輸入變數」，但不限於此。另外，訓練用類神經網路16a、16b及決策用類神經網路18a、18b的「輸出變數」可以是路口2a、2b的交通號誌4a~4c、4d~4e的控制方式，但不限於此。

此外，控制系統1可執行一交通號誌控制方法來控制交通號誌。圖2D是本發明一實施例的交通號誌控制方法的主要步驟流程圖，請同時參考圖1及圖2A。如圖2B所示，首先步驟S21被執行，藉由訓練用類神經網路16，透過大量訓練用資料進行強化學習，其中大量例如為至少數萬筆練用資料，且不限於此，因此可知本發明的強化學習過程，並非人類心智所能執行之步驟。需注意的是，上述訓練用資料的數目僅是舉例，並非本發明之限制。接著步驟S22被執行，藉由決策用類神經網路18，根據訓練用類神經網路16的訓練結果對即時交通資料進行分析，以產生對應控制範圍6內一路口2的交通號誌4的決策。接著步驟S23被執行，藉由控制單元14，利用該決策控制該路口2的交通號誌4。藉此，交通號誌控制方法的主要流程已可被理解。

接著將說明上述各元件的細節，請再次參考圖2A。

首先說明交通資料收集模組12。交通資料收集模組12可透過市售的路況偵測器來實現，例如smartmicro_UMRR-0C type 42，但不限於此。在一實施例中，交通資料收集模組12可具備即時分析不同車道上車輛種類及/或車輛數量的功能，例如但不限於利用邊緣偵測技術或其它視覺處理技術來區分馬路上的每個車道。在一實施例中，交通資料收集模組12亦可具備即時分析車種的功能，例如但不限於將車種分類成機車、小型汽車(例如但不限於轎車、休旅車、旅行車等)及大型汽車(例如公車、卡車等)等。在一實施例中，交通資料收集模組12亦可具備即時分析車輛數目的功能，例如但不限於分析特定範圍的車道上的車輛數目。在一實施例中，交通資料收集模組12亦可具備分析車道幾何佈設資料的功能，此處車道幾何佈設資料包含「與路口直接相連且車行方向為朝向該路口的車道數量」，或者「與路口直接連接的車道數量」，但不限於此；為方便說明，以下皆以車道幾何佈設資料為「與路口直接相連且車行方向為朝向該路口的車道數量」來舉例。上述交通資料收集模組12的功能可見於市售的路況偵測器，故此處不針對該等功能的細節進行說明。此外，只要市售的路況偵測器的功能增加，交通資料收集模組12可實現的功能也越多，例如收集更多不同類型的資料。

在一實施例中，交通資料收集模組12可包含多個路況偵測器，分別設置於多個路口，以偵測多個路口在各個車道上之車種、車輛數目等資料。在一實施例中，交通資料收集模組12可包含通訊設備，以透過有線通訊或無線通訊的方式將路況偵測器所收集的交通資料傳送至控制單元14。

在一實施例中，交通資料收集模組12傳送至控制單元14的資料可以是數值化資料的格式而非影像。在此方式下，本發明的控制系統1可無須再執行影像處理，後續分析也不會受到影像處理不當的影響，本發明可提供良好的分析穩定性及準確度。

接著說明控制單元14。控制單元14可透過任何具有處理器，較佳是微處理器的電子裝置來實現，例如桌上型電腦、筆記型電腦、智慧型行動裝置、伺服器或雲端主機等類似電子裝置。在一實施例中，控制單元14可包含通訊設備，以將資料透過有線通訊或無線通訊的方式進行傳輸。在一實施例中，控制單元14可例如是交通局的中央伺服器，此時控制單元14可以網路連線的方式控制各路口2的交通號誌4，且不限於此。在另一實施例中，每個路口2亦可設置有專屬的一個控制單元14，控制單元14可直接控制該路口2的交通號誌，進一步地，在此情況下，控制單元14可例如是道路側的工業電腦主機，且不限於此。

接著說明訓練用類神經網路16及決策用類神經網路18。訓練用類神經網路16或決策用類神經網路18可設置於具備微處理器的電子裝置上。在一實施例中，訓練用類神經網路16或決策用類神經網路18可直接設置於控制單元14，此時訓練用類神經網路16或決策用類神經網路18可直接受控制單元14的控制。在另一實施例中，訓練用類神經網路16或決策用類神經網路18可設置於控制單元14以外的其它電子裝置上，並受該電子裝置進行控制。在一實施例中，亦可直接將訓練完成的訓練用類神經網路16做為決策用類神經網路18。

在一實施例中，訓練用類神經網路16或決策用類神經網路18可透過一電腦程式產品來實現，或者兩者可整合在同一個電腦程式產品之中，舉例來說，電腦程式產品可具有複數個指令，該等指令可使微處理器執行特殊運作，進而使微處理器實現訓練用類神經網路16或決策用類神經網路18的各種功能，但不限於此。此外，在一實施例中，訓練用類神經網路16或決策用類神經網路18的電腦程式產品可儲存於非暫態電腦可讀取媒體之中，例如儲存於控制單元14或其它電子裝置的記憶體或儲存器之中，且不限於此。此外，訓練用類神經網路16或決策用類神經網路18的電腦程式產品可分別存放於網路伺服器(例如網路伺服器的記憶體或其它儲存裝置)以供其他使用者下載，例如可將訓練用類神經網路16或決策用類神經網路18的電腦程式產品製作成應用軟體(APP)的形式在網路上販售使用，且不限於此。

在一實施例中，訓練用類神經網路16或決策用類神經網路18的類型可包含卷積神經網路(convolutional neural network，CNN)、深度神經網路(deep neural network，DNN)或遞迴神經網路(recurrent neural networks，RNN)等，且不限於此。在一實施例中，本發明所使用的類神經網路例如是以Tensorflow 1.0軟體進行開發，但不限於此。

在一實施例中，訓練用類神經網路16之訓練及決策用類神經網路18之分析可在一微觀車流模擬模型中進行。在一實施例中，微觀車流模擬模型可以是由電腦建構出的一虛擬環境，可模擬大量道路環境(例如控制系統1的控制範圍內的環境及控制範圍以外的部分環境)及車流情境，而電子裝置的微處理器可與微觀車流模擬模型進行互動，例如微處理器可根據訓練用資料來建立模擬環境中的車流，以讓訓練用類神經網路16可在模擬環境中嘗試多種控制以及相對應的績效，藉此進行訓練。在一實施例中，微觀車流模擬模型可透過市售的模擬軟體來實現，模擬軟體例如是PTV vissim、SUMO等，但不限於此。此外，「微觀」的定義是指_交通模擬器之運算乃是基於個別車輛之駕駛行為決策為考量所匯集而成之模擬結果。相較於現有技術較常使用巨觀或中觀的模型，微觀的模型可模擬出更多車輛流動時的細節，例如可模擬每輛車的加速及減速、車種的運行特性(例如機車需要二段式待轉)、汽車機車混合車流等，因此可提供良好的精準度，並可因應各種不同的車流情境。

在一實施例中，當控制系統1的控制範圍6只有單一路口2，亦即控制系統1只對單一路口2的交通號誌4進行控制時，控制系統1只需使用單一訓練用類神經網路16，此時訓練用類神經網路16可採用強化學習架構進行訓練，如圖3A所示。

圖3A是本發明一實施例的控制系統1採用強化學習架構的示意圖。如圖3A所示，強化學習架構包含代理人(agent)、環境(environment)、狀態(state)、決策(action)及獎勵(reward)等機制，其中代理人可視為決策用類神經網路18或具備決策用類神經網路18的電腦，環境可設定為微觀車流模擬模型中的道路與車流行為，狀態可設定為當前交通情況的資訊，例如車道上停止的車輛數目、車流長度等，且不限於此。決策可設定為單一路口2的交通號誌4的控制方式。獎勵可設定為車流的順暢程度，例如該路段的旅行時間或平均每車停等秒數，且不限於此。

在一實施例中，強化學習架構的所採用的演算法可包含蒙特卡洛學習演算法(Monte-Carlo Learning)、時間差分學習演算法(Temporal-Difference Learning)、SARSA演算法(State Action Reward State Action)、Q學習演算法(Q-Learning)或PG演算法(Policy Gradients)等，且不限於此。

此外，當控制系統1的控制範圍6有多個路口2，亦即控制系統1需要控制多個路口(例如2a、2b)的交通號誌(例如4a~4c、4d~4e)時，控制系統1需使用多個訓練用類神經網路(例如16a、16b)，此時該等訓練用類神經網路16可採用多代理人強化學習(multi agent reinforcement learning)架構來進行訓練，如圖3B所示。

圖3B是本發明一實施例的控制系統1採用多代理人強化學習架構的示意圖。需注意的是，為使說明清楚，圖3B顯示控制系統1一起控制二個路口2a、2b的交通號誌4a~4c、4d~4e之態樣進行說明，而本領域技術人士可由此推知控制系統1控制更多個路口2時的架構。由於圖3B實施例的大部分內容可適用圖3A實施例的說明，故以下針對差異之處說明。如圖3B所示，多代理人強化學習架構下的代理人分別設定為決策用類神經網路18a及決策用類神經網路18b，並且共用相同的環境、狀態及獎勵。決策a、b則分別設定為控制路口2a的交通號誌4a~4c的動作及控制路口2b的交通號誌4d~4e的動作。藉由採用多代理人強化學習架構，訓練用類神經網路16a及訓練用類神經網路16b會互相搭配，使路口2a的交通號誌4a~4c及路口2b的交通號誌4d~4e之間的配置及相互影響同時被考慮，可使得控制範圍6中的車流更加順暢。

有關訓練用類神經網路16，在一實施例中可分別針對不同路口各別設計訓練用類神經網路16a與練用類神經網路16b。在另一實施例中則可以單一個訓練用類神經網路16執行代理人a與代理人b的訓練過程。本發明不限於此。

請再次參考圖1及圖2A，接著將說明訓練用類神經網路16的「訓練用資料」。訓練用資料可做為訓練用類神經網路16的輸入變數。在一實施例中，訓練用資料的類型包含控制範圍內至少一部分路口的車道幾何佈設資料、車種資料及車輛數目資料的至少其中一者，其中「至少一部分路口」可以是指單一個路口、多個路口或所有路口，「至少其中一者」表示可以訓練用資料只具備車道幾何佈設資料、車種及車輛數目之中的其中一種資料、也可以具備其中兩種資料，也可以三種資料皆具備。須注意的是，此處「車輛數目資料」亦可稱為「車道密度」，其是以目前車道上行走或停止的車輛數目做為依據。

現有技術大多是以通過路口的車輛數目做為輸入變數，較難以反應出實際的交通狀況，例如現有技術在塞車狀態下將會失真。本發明改以其它資料做為輸入變數，將改善現有技術的缺點，依舊可適用於塞車的情況。

進一步地，訓練用資料還可以包含其它類型的輔助資料。在一實施例中，除了道路、車種、車輛數目以外，訓練用資料的類型還可包含控制範圍6內的至少一交通號誌4的時相指示(即顯示交通號誌4目前屬於哪個時相)及/或剩餘秒數，其中「至少一交通號誌4」可以是指一個、多個或所有交通號誌4。藉由將控制範圍6內的交通號誌4的時相指示及剩餘秒數皆納入考量，各路口2的交通號誌4的配置可以更有延續性，較不會發生例如車輛剛從停止狀態啟動，在通過一個路口後馬上又遇到紅燈而必須再次停止的情形，因此控制範圍6內的車流可更加順暢。

在一實施例中，更進一步地，訓練用資料的類型還可包含控制範圍6以外的至少部分路口2的至少一交通號誌4的時相指示及/或剩餘秒數。在一實施例中，可做為訓練用資料的「控制範圍以外的路口」必須是與控制範圍6相鄰的路口(例如圖1中的2c~2e)。在另一實施例中，「控制範圍以外的路口」亦可由使用者自行設定，且不限於此。藉由同時將控制範圍6以外的部分路口2b~2d的交通情況也納入考量，車流更加順暢，且控制的精準度可更加提升。

在一實施例中，訓練用資料可由控制單元4提供給訓練用類神經網路16，但亦可由使用者自行輸入至訓練用類神經網路16，且不限於此。

接著說明決策用類神經網路18的「即時交通資料」。即時交通資料可視為目前交通資料收集模組12收集到的資料，可視為控制系統1實際要處理的對象(輸入變數)。由於即時交通資料的類型可適用訓練用資料的類型，故不再詳述。

需注意的是，上述訓練用資料及即時交通資料的類型僅是舉例，實際上只要路況偵測器可偵測到的各種資料皆可做為訓練用資料及即時交通資料，亦即本發明適用的訓練用資料及即時交通資料可隨著路況偵測器的功能提升而增加。

接著將以圖1的應用情境說明控制系統1的運作過程細節。為方便說明，以下皆以控制系統1包含多個訓練用類神經網路16及決策用類神經網路18，且一次控制多個交通號誌4的態樣進行說明。

圖4是本發明第一實施例的控制系統1的細部運作的步驟流程圖，並請同時參考圖1及圖2A。如圖1所示，控制範圍6內具有路口2a及路口2b，路口2a包含交通號誌4a~4c，路口2b包含交通號誌2c~2e，與路口2a直接連接且車行方向為朝向路口2a的車道包含車道R3、R4、R5、R6、R10，與路口2b直接連接且車行方向為朝向路口2b的車道包含車道R7、R8、R12、R14。在圖4實施例中，控制範圍6內的所有路口(例如路口2a及2b)的狀態都會被控制系統1納入考量。

如圖4所示，首先步驟S41被執行，交通資料收集模組12取得即時交通資料，其中即時交通資料包含控制範圍6內所有路口(路口2a及路口2b)目前的車道幾何佈設資料(例如有幾個與路口2a直接相連的車道且車行方向為朝向路口2a)、與路口2a或路口2b直接連接且車行方向為朝向路口2a與2b的車道上的車種資料(例如每個車道上的車種)以及與路口2a或路口2b直接連接且車行方向為朝向路口2a與2b的車道上的車輛數目資料(例如每個車道上的車輛數目)。接著步驟S42被執行，交通資料收集模組12將收集到的即時交通資料傳送至控制單元14。接著步驟S43被執行，控制單元14將即時交通資料分別傳送至路口2a及路口2b所對應的決策用類神經網路18a及路口2b所對應的決策用類神經網路18b。接著步驟S44被執行，決策用類神經網路18a及18b各自根據其對應的訓練用類神經網路16a及16b的訓練成果對即時交通資料進行分析，進而各自產生一決策(決策a或決策b)。接著步驟S45被執行，控制單元14根據每個決策(決策a及決策b)控制決策(決策a或決策b)所對應的路口(路口2a或路口2b的所有交通號誌4a~4e。藉此，控制方法可完成。

關於步驟S41中交通資料收集模組12的運作時機，在一實施例中，交通資料收集模組12可設定為在每當有路口的交通號誌即將改變時(例如時相組態即將改變時)提供資料給決策用類神經網路18。在一實施例中，交通資料收集模組12可設定為持續收集資料或每隔一個週期(例如但不限於幾秒鐘收集一次)進行資料收集一次。本發明不限於此。

步驟S42至S45的細節內容已於前述段落的說明，故不再詳述。此外，上述步驟的執行順序僅是舉例而非限定，只要合理可實現即可調整順序。

藉由第一實施例的控制方法，控制系統1可自動控制路口2a的車流。藉此，第一實施例的控制方法已可被理解。

圖5是本發明第二實施例的控制系統1的細部運作的步驟流程圖，並請同時參考圖1及圖2A。如圖1所示，控制範圍6內具有路口2a及2b，路口2a包含交通號誌4a~4c，路口2b包含交通號誌2c~2e，與路口2a或路口2b直接連接且車行方向為朝向路口2a與2b的車道包含R3~R8、R10、R12、R14。此外，在圖5實施例中，控制範圍6內所有路口(例如路口2a及2b)的狀態及所有交通號誌4a~4e的狀態都會被控制系統1納入考量。

如圖5所示，首先步驟S51被執行，交通資料收集模組12取得即時交通資料，其中即時交通資料包含控制範圍6內所有路口2a、2b目前的車道幾何佈設資料(例如有幾個與路口2a直接相連且車行方向為朝向路口2a的車道)、與路口2a、2b直接連接且車行方向為朝向路口2a與2b的車道上的車種資料(例如每個車道上的車種)、與路口2a、2b直接連接且車行方向為朝向路口2a與2b的車道上的車輛數目資料(例如每個車道上的車輛數目)、交通號誌4a~4e目前各自的時相指示及交通號誌4a~4e目前各自的剩餘秒數。接著步驟S52被執行，交通資料收集模組12將收集到的即時交通資料傳送至控制單元14。接著步驟S53被執行，控制單元14將即時交通資料分別傳送至每個路口2a、2b的交通號誌4a~4e所對應的決策用類神經網路18a、18b。接著步驟S54被執行，決策用類神經網路18a、18b各自根據其對應的訓練用類神經網路16a、16b的訓練成果對即時交通資料進行分析，進而各自產生一決策(例如決策a或決策b)。接著步驟S55被執行，控制單元14根據每個決策a、b控制該決策所對應的交通號誌4a~4e。藉此，控制方法可完成。

藉由第二實施例的控制方法，控制範圍6內的路口2a的交通狀況及交通號誌4a~4d的狀況皆可被考量，可使得控制系統1可準確地調控各路口的車流。藉此，第二實施例的控制方法已可被理解。

圖6是本發明第三實施例的控制系統1的細部運作的步驟流程圖，，並請同時參考圖1、2A、4及5。如圖1所示，控制範圍6內具有路口2a及路口2b，路口2a包含交通號誌4a~4c，路口2b包含交通號誌2c~2e，與路口2a或路口2b直接連接且車行方向為朝向路口2a與2b的車道包含R3~R8、R10、R12、R14，控制範圍6以外的路口2c~2d與路口2a相鄰，控制範圍6以外的路口2e與路口2b相鄰。在圖6實施例中，控制範圍6內的路口2a、路口2b及交通號誌4a~4e的狀態，以及控制範圍6以外相鄰於路口2a或路口2b的所有路口2c~2e的所有交通號誌的狀態都會被控制系統1納入考量。

如圖6所示，首先步驟S61被執行，交通資料收集模組12取得即時交通資料，其中即時交通資料包含控制範圍6內所有路口2a、2b目前的車道幾何佈設資料(例如有幾個與路口2a直接相連的車道且車行方向為朝向路口2a)、車種資料(例如控制範圍6內每個車道上的車種)、車輛數目資料(例如控制範圍6內每個車道上的車輛數目)、控制範圍6內的交通號誌4a~4e目前各自的時相指示、控制範圍6內的交通號誌4a~4e目前各自的剩餘秒數、控制範圍6以外且與控制範圍6相鄰的所有路口2c~2e的所有交通號誌目前各自的時相指示、以及控制範圍6以外且與控制範圍6相鄰的所有路口2c~2e的所有交通號誌目前各自的剩餘秒數。接著步驟S62被執行，交通資料收集模組12將收集到的即時交通資料傳送至控制單元14。接著步驟S63被執行，控制單元14將即時交通資料傳送至控制範圍6內的每個交通號誌4a~4e所對應的決策用類神經網路18a、18b。接著步驟S64被執行，決策用類神經網路18a、18b各自根據其對應的訓練用類神經網路16a、16b的訓練成果對即時交通資料進行分析，進而各自產生決策a或b。接著步驟S65被執行，控制單元14根據決策a或b分別控制該控制範圍6內的交通號誌4a~4e。藉此，第三實施例的控制方法可完成。

藉由第三實施例的控制方法，控制範圍6內的路口2a、2b及交通號誌4a~4e的狀況、以及相鄰於控制範圍6的路口2c~2e及該等路口2c~2e的所有交通號誌的狀況皆可被考量，進而使得控制系統1的控制效果更加準確。藉由與控制範圍6內的路口2a、2b以及相鄰於控制範圍6的路口2c~2e等大量環境進行互動(進行強化學習)，控制系統1的控制績效可更進一步提升。

圖7是本發明又另一實施例的控制系統1的細部運作的步驟流程圖，並請同時參考圖1及圖2A。如圖7所示，首先步驟S71可被執行，控制單元14將累積的歷史交通資料分別傳送至每個決策用類神經網路18a、18b所對應的訓練用類神經網路16a、16b。接著步驟S72被執行，訓練用類神經網路16a、16b將歷史交通資料做為訓練用資料的至少一部分，並在微觀車流模擬模型之中重新進行訓練。接著步驟S73被執行，決策用類神經網路18a、18b根據訓練用類神經網路16a、16b的訓練成果進行更新。藉此，類神經網路的訓練過程已可被理解。

藉此，本發明的控制系統可根據車流特徵持續進行學習，並提供最佳化的決策來控制其控制範圍內的一或多個交通號誌。相較於現有技術，本發明的控制系統可利用類神經網路提供即時的交通號誌的控制決策，其準確度及穩定性高於由人類專家制定的控制流程。或者，本發明可將不同車種納入考量，可處理多車種混合於車流中的情況。或者，透過在微觀車流模擬模型中進行訓練，本發明可考量到在地化特殊駕駛行為，例如機車進行二段式左轉，使得決策考量到在地化特殊駕駛行為造成的影響。或者，本發明不限於由單一控制單元在中央機房統一控制所有路口的交通號誌，例如本發明亦可於各路口處分別設置專屬的控制單元(如工業電腦)，如此可實現去中心化的主架構，使得整體架構具備擴充性。或者，本發明的控制方法可具備通用性，可適用於各種不同的情境或不同車流態樣中，不會因為環境改變就必須重新設計控制方法的流程。

儘管本發明已透過上述實施例來說明，可理解的是，根據本發明的精神及本發明所主張的申請專利範圍，許多修飾及變化都是可能的。

1:控制系統

12:交通資料收集模組

14:控制單元

16:訓練用類神經網路

18:決策用類神經網路

Claims

一種交通號誌控制系統，用於控制一控制範圍(6)內的交通號誌(4)，包含：一控制單元(14)，控制該控制範圍(6)內的複數個交通號誌(4a~4e)；一訓練用類神經網路(16a)，透過複數個訓練用資料進行一強化學習，其中該等訓練用資料的類型包含至少部分該控制範圍(6)內的車道幾何佈設資料、車種資料、車流、路段旅行時間及車輛數目資料的至少其中一者；一決策用類神經網路(18a)，根據該訓練用類神經網路(16a)的訓練成果對一即時交通資料進行分析，以產生對應該控制範圍(6)內的至少一交通號誌(4a~4c)的一決策(a)，其中該即時交通資料的類型包含目前至少部分該控制範圍(6)內的車道幾何佈設資料、車種資料、車流、路段旅行時間及車輛數目資料的至少其中一者，其中該控制單元(14)利用該決策控制該控制範圍(6)內的該至少一交通號誌(4a~4c)；一第二訓練用類神經網路(16b)，透過該等訓練用資料進行該強化學習；以及一第二決策用類神經網路(18b)，根據該訓練用類神經網路(16a)或該第二訓練用類神經網路(16b)的訓練結果對該即時交通資料進行分析，以產生對應該控制範圍(6)內的至少一第二交通號誌(4d~4e)的一第二決策(b)，且該控制單元(14)利用該第二決策(b)控制該控制範圍(6)內的該至少一第二交通號誌(4d~4e)。
如請求項1所述的交通號誌控制系統，其中該訓練用資料的類型更包含該控制範圍(6)內的至少一交通號誌(4a~4e)的時相指示及/或剩餘秒數，該即時交通資料的類型更包含該控制範圍(6)內的該至少一交通號誌(4a~4e)的目前時相指示及/或目前剩餘秒數。
如請求項2所述的交通號誌控制系統，其中該訓練用資料的類型更包含該控制範圍(6)以外的至少一交通號誌的時相指示及/或剩餘秒數，該即時交通資料的類型更包含該控制範圍(6)以外的該至少一交通號誌的目前時相指示及/或目前剩餘秒數。
如請求項3所述的交通號誌控制系統，其中該控制範圍(6)以外的該至少一交通號誌所在的路口(2c~2e)相鄰於該控制範圍(6)。
一種交通號誌控制方法，用於控制一控制範圍(6)內的交通號誌(4)，該方法是透過一交通號誌控制系統(1)來執行，該交通號誌控制系統(1)包含一訓練用類神經網路(16a)、一決策用類神經網路(18a)、一第二訓練用類神經網路(16b)、一第二決策用類神經網路(18b)及一控制單元(14)，其中該方法包含步驟：藉由該訓練用類神經網路(16a)，透過複數個訓練用資料進行一強化學習，其中該等訓練用資料的類型包含至少部分該控制範圍(6)內的車道幾何佈設資料、車種資料、車流、路段旅行時間及車輛數目資料的至少其中一者；藉由該決策用類神經網路(18a)，根據該訓練用類神經網路(16a)的訓練成果對一即時交通資料進行分析，以產生對應該控制範圍(6)內的至少一交通號誌(4a~4c)的一決策(a)，其中該即時交通資料的類型包含目前至少部分該控制範圍(6)內的車道幾何佈設資料、車種資料、車流、路段旅行時間及車輛數目資料的至少其中一者；藉由該控制單元(14)，利用該決策控制該控制範圍(6)內的該至少一交通號誌(4a~4c)；藉由該第二訓練用類神經網路(16b)，透過該等訓練用資料進行該強化學習；藉由該第二決策用類神經網路(18b)，根據該訓練用類神經網路(16a)或該第二訓練用類神經網路(16b)的訓練結果對該即時交通資料進行分析，以產生對應該控制範圍(6)內的至少一第二交通號誌(4d~4e)的一第二決策(b)；以及藉由該控制單元(14)，利用該第二決策(b)控制該控制範圍(6)內的該至少一第二交通號誌(4d~4e)。
如請求項5所述的交通號誌控制方法，其中該訓練用資料的類型更包含該控制範圍(6)內的至少一交通號誌(4a~4e)的時相指示及/或剩餘秒數，該即時交通資料的類型更包含該控制範圍(6)內的該至少一交通號誌(4a~4e)的目前時相指示及/或目前剩餘秒數。
如請求項6所述的交通號誌控制方法，其中該訓練用資料的類型更包含該控制範圍(6)以外的至少一交通號誌的時相指示及/或剩餘秒數，該即時交通資料的類型更包含該控制範圍(6)以外的該至少一交通號誌的目前時相指示及/或目前剩餘秒數。
如請求項7所述的交通號誌控制方法，其中該控制範圍(6)以外的該至少一交通號誌所在的路口(2c~2e)相鄰於該控制範圍(6)。
一種電腦程式產品，儲存於一非暫態電腦可讀取媒體之中，用以使一交通號誌控制系統(1)運作，其中該交通號誌控制系統(1)用於控制一控制範圍(6)內的交通號誌(4)，且包含一訓練用類神經網路(16a)、一決策用類神經網路(18a)、一第二訓練用類神經網路(16b)、一第二決策用類神經網路(18b)及一控制單元(14)，且該訓練用類神經網路(16a)透過複數個訓練用資料來進行一強化學習，該第二訓練用類神經網路(16b)透過該等訓練用資料進行該強化學習，該訓練用資料的類型包含至少部分控制範圍(6)內的車道幾何佈設資料、車種資料、車流、路段旅行時間及車輛數目資料的至少其中一者，其中該電腦程式產品包含：一指令，使該決策用類神經網路(18a)根據該訓練用類神經網路(16a)的訓練成果對一即時交通資料進行分析，以產生對應該控制範圍(6)內的至少一交通號誌(4a~4c)的一決策(a)，其中該即時交通資料的類型包含目前至少部分該控制範圍(6)內的車道幾何佈設資料、車種資料、車流、路段旅行時間及車輛數目資料的至少其中一者；以及一指令，使該第二決策用類神經網路(18b)根據該訓練用類神經網路(16a)或該第二訓練用類神經網路(16b)的訓練結果對該即時交通資料進行分析，以產生對應該控制範圍(6)內的至少一第二交通號誌(4d~4e)的一第二決策(b)；其中，該控制單元(14)利用該決策(a)控制該控制範圍(6)內的該至少一交通號誌(4a~4c)，並利用該第二決策(b)控制該控制範圍(6)內的該至少一第二交通號誌(4d~4e)。