TW202102955A - 利用深度強化學習控制環境舒適度之系統及其方法 - Google Patents

Abstract

本發明揭露一種利用深度強化學習控制環境舒適度之系統及其方法。首先由至少一環境因子感測模組、一空調設備控制與狀態偵測單元及一排風扇系統控制與狀態偵測單元分別偵測活動空間中之環境因子之資訊、空調設備之狀態資訊及排風扇系統之狀態資訊。然後，由一電腦整合環境因子之資訊、空調設備之狀態資訊及排風扇系統之狀態資訊以產生整合資訊，再透過一深度強化學習演算法將整合資訊進行權衡運算以產生優化調控結果，進而由電腦依據優化調控結果產生相應之調控指令，俾優化調控空調設備與排風扇系統。據此，本發明能控制活動空間中之環境舒適度，以達到省電節能之效果。

Description

利用深度強化學習控制環境舒適度之系統及其方法

本發明係關於一種控制環境舒適度之技術，特別是指一種利用深度強化學習(DRL)控制環境舒適度之系統及其方法。

台灣地處亞熱帶氣候區，夏季天氣炎熱，高溫時常可達攝氏33度(℃)以上，高溫高濕的氣候導致室內環境悶熱，因此需要空調設備來調節溫度。然而，在例如校園教室之活動空間或室內環境中，眾多學生在教室內時，通常在開啟空調設備時需將門窗緊閉，如此會使二氧化碳(CO₂)之濃度過高，降低室內空氣品質。

在一現有技術中，提出一種結合影像辨識之空調舒適度控制系統與方法，乃在人員的活動空間中架設多個攝影機，以利用攝影機所拍攝之影像，經過影像分析模組偵測人員數量與位置。同時，系統持續收集環境因子感測器之資料，並在計算環境舒適度、最適溫度、最適風速後自動控制空調設備，以針對人員所在位置提供一個舒適的熱環境，藉此提高空調使用效率。然而，此現有技術需結合多個攝影機與影像辨識功能，以 致額外增加多個攝影機之費用及硬體成本。

因此，如何提供一種新穎或創新之控制環境舒適度之技術，實已成為本領域技術人員之一大研究課題。

本發明提供一種新穎或創新之利用深度強化學習(Deep Reinforcement Learning；DRL)控制環境舒適度之系統及其方法，係能控制環境舒適度，或在環境舒適度與能源消耗之間取得平衡，亦可進一步達到省電節能之效果。

本發明中利用深度強化學習控制環境舒適度之系統，係包括：至少一空調設備與一排風扇系統，係設置於活動空間中；至少一環境因子感測模組，係偵測活動空間中之環境因子之資訊；一控制與偵測模組，係具有一空調設備控制與狀態偵測單元及一排風扇系統控制與狀態偵測單元，用以分別偵測空調設備之狀態資訊及排風扇系統之狀態資訊；以及一第一電腦，係整合來自環境因子感測模組之環境因子之資訊、來自空調設備控制與狀態偵測單元之空調設備之狀態資訊、及來自排風扇系統控制與狀態偵測單元之排風扇系統之狀態資訊以產生整合資訊，俾透過一深度強化學習演算法將具有環境因子之資訊、空調設備之狀態資訊及排風扇系統之狀態資訊的整合資訊進行權衡運算以產生優化調控結果，進而由第一電腦依據優化調控結果產生相應之調控指令，俾依據該調控指令優化調控空調設備與排風扇系統。

本發明中利用深度強化學習控制環境舒適度之方法，係包括： 由至少一環境因子感測模組偵測活動空間中之環境因子之資訊，且活動空間中設置有至少一空調設備與一排風扇系統；由一空調設備控制與狀態偵測單元及一排風扇系統控制與狀態偵測單元分別偵測空調設備之狀態資訊及排風扇系統之狀態資訊；以及由一第一電腦整合來自環境因子感測模組之環境因子之資訊、來自空調設備控制與狀態偵測單元之空調設備之狀態資訊、及來自排風扇系統控制與狀態偵測單元之排風扇系統之狀態資訊以產生整合資訊，俾透過一深度強化學習演算法將具有環境因子之資訊、空調設備之狀態資訊及排風扇系統之狀態資訊的整合資訊進行權衡運算以產生優化調控結果，進而由第一電腦依據優化調控結果產生相應之調控指令，俾依據該調控指令優化調控空調設備與排風扇系統。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明。在以下描述內容中將部分闡述本發明之額外特徵及優點，且此等特徵及優點將部分自所述描述內容可得而知，或可藉由對本發明之實踐習得。本發明之特徵及優點借助於在申請專利範圍中特別指出的元件及組合來認識到並達到。應理解，前文一般描述與以下詳細描述兩者均僅為例示性及解釋性的，且不欲約束本發明所欲主張之範圍。

1‧‧‧利用深度強化學習控制環境舒適度之系統

10‧‧‧環境因子感測模組

11‧‧‧黑球溫度感測器

12‧‧‧溫濕度/二氧化碳感測器

20‧‧‧空調設備

21‧‧‧開關控制

22‧‧‧溫度設定值

23‧‧‧風速設定值

30‧‧‧排風扇系統

31‧‧‧排風扇

32‧‧‧開關控制

40‧‧‧控制與偵測模組

41‧‧‧環境偵測單元

42‧‧‧空調設備控制與狀態偵測單元

43‧‧‧排風扇系統控制與狀態偵測單元

50‧‧‧第一電腦

60‧‧‧第二電腦

61‧‧‧深度強化學習演算法

70‧‧‧人機介面

71‧‧‧輸入單元

80‧‧‧路由器

A1、A2‧‧‧時間點

B1、B2‧‧‧圓圈

C1、C2‧‧‧圓圈

D‧‧‧資料表

E‧‧‧活動空間

S1至S4‧‧‧步驟

第1圖為強化學習之基本概念示意圖；第2圖為本發明中利用深度強化學習控制環境舒適度之系統之架構示 意圖；第3圖為本發明中利用深度強化學習控制環境舒適度之方法之流程示意圖；第4A圖與第4B圖分別為本發明在活動空間中設置各種設備及其連接方式之實施例示意圖；第5A圖與第5B圖分別為本發明中未開啟排風扇與採取深度強化學習演算法(Agent)自動控制(開啟)排風扇時，活動空間中二氧化碳之濃度之曲線圖；第6A圖與第6B圖分別為本發明在深度強化學習演算法(Agent)控制下，隨單位時間變化之PMV(預測平均票選值)數值與溫度設定值之曲線圖；以及第7圖為本發明中不同的控制方法對熱舒適度及能耗(冷氣耗電)之影響之資料表。

以下藉由特定的具體實施形態說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容了解本發明之其他優點與功效，亦可因而藉由其他不同的具體等同實施形態加以施行或應用。

第1圖為強化學習(Reinforcement Learning)之基本概念示意圖，其中，t表示時間。強化學習是機器學習(Machine Learning)家族的一員，乃為一種目標導向(goal-oriented)的學習方法，旨在經由與環境互動過程中獲得的各種獎勵或懲罰以學會如何做決策。

強化學習決策過程之模擬包括下列六個要素：[1]Agent(演算法)：其藉由行動與環境互動，以代替人們做決定而執行動作，且Agent表示演算法本身。[2]Environment(環境)：其為與Agent互動的世界，環境會將Agent的當前狀態及行動作為輸入，再將獎勵和下個狀態作為輸出。[3]State(狀態)：其為Agent在特定時間點所處的狀態，它可以是特定的位置或特定的配置；而且，State可以是由環境反饋的當前狀態，也可以是未來的狀況。[4]Action(行動)：其為所有Agent可以採取的行動而形成的集合，且Agent會在可能的行動列表中進行選擇。[5]Reward(獎勵)：其為人們衡量Agent所採取行動的成敗指標，獎勵可以是立即的或延遲的，但它必須有效的評估Agent採取的動作。[6]Policy(策略)：其為Agent決定行動的策略，這個策略會因應不同狀態做出調整，盡可能地獲得最高獎勵。

第2圖為本發明中利用深度強化學習控制環境舒適度之系統1之架構示意圖。如圖所示，深度強化學習控制環境舒適度之系統1包括至少一個(如多個)環境因子感測模組10、至少一個(如多個)空調設備20、一排風扇系統30、一控制與偵測模組40、一第一電腦50、一第二電腦60、以及一人機介面70。

空調設備20與排風扇系統30可設置於活動空間中，且控制與偵測模組40可具有一環境偵測單元41、一空調設備控制與狀態偵測單元42、一排風扇系統控制與狀態偵測單元43。第一電腦50與第二電腦60可分別為例如單板電腦與終端運算電腦等不同電腦，且深度強化學習演算法61可建構於第二電腦60中；但在其他實施例中，第一電腦50與第二電腦60可為同一電腦或整合成一個電腦，且第一電腦50或第二電腦60可為 筆記型電腦、桌上型電腦、平板電腦、伺服器(如雲端伺服器、網路伺服器、遠端伺服器)等，而深度強化學習演算法61可建構於第一電腦50中。人機介面70具有輸入單元71，以供使用者透過人機介面70(輸入單元71)輸入場所/場域(即活動空間)之人員數量之資訊，且人機介面70可結合於第一電腦50或第二電腦60上。

具體而言，環境因子感測模組10具有至少一個(如多個)黑球溫度感測器11(如黑球溫度計)及至少一個(如多個)溫濕度/二氧化碳感測器12等，以供控制與偵測模組40之環境偵測單元41讀取來自環境因子感測模組10(黑球溫度感測器11、溫濕度/二氧化碳感測器12)之環境因子之資訊。空調設備20具有開關控制21、溫度設定值22(如冷氣溫度設定值)或風速設定值23等參數，以供控制與偵測模組40之空調設備控制與狀態偵測單元42設定各參數。排風扇系統30可由至少一個(如二個或多個)排風扇31所構成，且各排風扇31具有開關控制32、吸排模式或級別大小調控等參數，以供控制與偵測模組40之排風扇系統控制與狀態偵測單元43設定各參數。

舉例而言，環境偵測單元41可透過無線網路或有線網路連接環境因子感測模組10，以讀取來自環境因子感測模組10之環境因子之資訊。空調設備控制與狀態偵測單元42可透過無線網路或有線網路連接空調設備20，以偵測空調設備20之狀態資訊及設定空調設備20之各參數。排風扇系統控制與狀態偵測單元43可透過無線網路或有線網路連接排風扇系統30之排風扇31，以設定排風扇系統30之排風扇31之各參數。

再者，環境因子感測模組10、空調設備控制與狀態偵測單 元42、排風扇系統控制與狀態偵測單元43可分別偵測活動空間之當下環境因子、空調設備20之狀態資訊與排風扇系統30之狀態資訊。例如，環境因子包括環境溫度、相對濕度或平均輻射溫度等，空調設備20之狀態資訊包括空調設備20之開關狀態、設定溫度、當下功率、累計能耗、室內溫度或室外溫度等，而排風扇系統30之狀態資訊包括排風扇系統30之開關狀態、當下功率或累計能耗等。

在利用深度強化學習控制環境舒適度之系統1之運作方式上，可由使用者或人工記數活動空間之人員數量，並由環境因子感測模組10、空調設備控制與狀態偵測單元42、排風扇系統控制與狀態偵測單元43分別偵測活動空間中當下環境因子之資訊、空調設備20之狀態資訊、排風扇系統30之狀態資訊，且將環境因子之資訊、空調設備20之狀態資訊與排風扇系統30之狀態資訊透過無線網路或有線網路傳送至第一電腦50(如單板電腦)中進行整合以產生整合資訊，再將來自第一電腦50之整合資訊透過無線網路或有線網路傳送至第二電腦60(如終端運算電腦)。接著，由第二電腦60之深度強化學習演算法61對整合資訊進行權衡運算以產生優化調控結果，再將優化調控結果透過無線網路或有線網路回傳至第一電腦50，且由第一電腦50依據優化調控結果產生相應之調控指令，再將調控指令透過無線網路或有線網路直接或經由控制與偵測模組40傳送至空調設備20與排風扇系統30，以利用調控指令調控空調設備20與排風扇系統30，進而提供活動空間舒適之空調環境與通風環境。另外，使用者亦可設定間隔時間，以重覆上述利用深度強化學習控制環境舒適度之系統1之運作方式。

本發明之深度強化學習演算法61是強化學習演算法與深度學習演算法之結合，且深度強化學習演算法61之神經模型用於表示價值功能和政策。同時，深度強化學習演算法61可以是深度Q網路(Deep Q-Network；DQN)演算法，它能使用具有多層之神經網路(而不是傳統之表格)來估計或計算多個Q值。當一組行動和狀態非常廣泛時，這些Q值非常有用，能依據以前或歷史的經驗推廣未來的獎勵。

第3圖為本發明中利用深度強化學習控制環境舒適度之方法之流程示意圖。簡言之，利用深度強化學習控制環境舒適度之方法至少包括：由第2圖所示至少一環境因子感測模組10偵測活動空間中之環境因子之資訊，且活動空間中設置有至少一空調設備20與一排風扇系統30；由一空調設備控制與狀態偵測單元42及一排風扇系統控制與狀態偵測單元43分別偵測空調設備20之狀態資訊及排風扇系統30之狀態資訊；以及由一第一電腦50整合來自環境因子感測模組10之環境因子之資訊、來自空調設備控制與狀態偵測單元42之空調設備20之狀態資訊、及來自排風扇系統控制與狀態偵測單元43之排風扇系統30之狀態資訊以產生整合資訊，俾透過一深度強化學習演算法51將具有環境因子之資訊、空調設備20之狀態資訊及排風扇系統30之狀態資訊的整合資訊進行權衡運算以產生優化調控結果，進而由第一電腦50依據優化調控結果產生相應之調控指令，俾優化調控空調設備20與排風扇系統30。

舉例而言，如第3圖所示，利用深度強化學習控制環境舒適度之方法可包括下列步驟S1至步驟S4之技術內容，其餘技術內容相同於上述第1圖與下述第4圖至第7圖之說明，於此不再重覆敘述。

在第3圖之步驟S1中，由使用者透過第2圖所示人機介面70之輸入單元71輸入場所/場域(即活動空間)之人員數量之資訊。

在第3圖之步驟S2中，由第2圖所示環境因子感測模組10、空調設備控制與狀態偵測單元42、排風扇系統控制與狀態偵測單元43分別偵測當下環境因子之資訊、空調設備20之狀態資訊、排風扇系統30之狀態資訊。

在第3圖之步驟S3中，由第2圖所示第二電腦60之深度強化學習演算法61將具有環境因子之資訊、空調設備20之狀態資訊與排風扇系統30之狀態資訊的整合資訊進行權衡運算以產生優化調控結果，並由第一電腦50依據優化調控結果產生相應之調控指令，再利用調控指令優化調控空調設備20與排風扇系統30。

在第3圖之步驟S4中，使用者判斷場所/場域(即活動空間)之人員數量是否改變？若是(場所/場域之人員數量有改變)，則返回步驟S1，以由使用者修改場所/場域(即活動空間)之人員數量之資訊。反之，若否(場所/場域之人員數量未改變)，則返回步驟S2。

在上述第2圖與第3圖中，利用深度強化學習控制環境舒適度之系統1及方法可應用於室內之空調設備20、排風扇系統30或智慧家電等領域。另外，深度強化學習演算法61亦可與虛擬環境互動，透過不同行動的反饋推斷何者為較佳行為，在深度強化學習演算法61訓練完成後，可透過環境因子感測模組10得知當下環境因子之資訊，以自動控制空調設備20、排風扇系統30、智慧家電等，且深度強化學習演算法61輔以預測平均票選值(Predicted Mean Vote；PMV)作為判斷人體舒適程度之依據。因 此，經過訓練的深度強化學習演算法61能在維持活動空間(室內)之熱舒適度及空氣品質的狀況下，最小化空調設備20與排風扇系統30之使用情形，以達到省電節能之效果。

在有關熱舒適度之空調設備20之控制上，本發明可使用量化方法來計算或衡量熱舒適度指標，此量化方法為量化人們對環境冷熱感受程度的預測平均票選值(PMV)。例如，此熱舒適度指標(即PMV)可使用四個環境因子與兩個人為因子之數值予以計算，其中四個環境因子包括環境溫度、平均輻射溫度、相對濕度和平均風速，且二個人為因子包括新陳代謝率和衣著絕緣率。

熱舒適度指標包括下列預測平均票選值(PMV)的數值與熱感受描述。例如，本發明之熱舒適度指標(預測平均票選值PMV)可以採用人體七級熱感覺平衡量表作為依據，包括炎熱(Hot)、溫暖(Warm)、微溫(Slightly warm)、適中(Neutral)、微涼(Slightly cold)、涼爽(Cool)、寒冷(Cold)等熱感受描述，能在室內環境舒適度與能源消耗之間取得平衡，以達到節能減碳之效果。

在有關空氣品質之排風扇系統30之控制上，本發明可採用二氧化碳之濃度作為基準以判斷室內環境通風是否良好，因為二氧化碳為人體呼吸的主要代謝產物。例如，目前世界各國對於通風規範主要參考ASHRAE(Ventilation for Acceptable Indoor Air Quality；可接受的室內空氣品質通風)Standard(標準)62.1，其中設定室內人在做辦公工作時(Met=1.2) 產生的二氧化碳為0.31L/min，每人需要的外氣量是15cfm(7.5L/s)，一般解釋是室內二氧化碳之濃度不宜超過1000ppm，8小時內平均超過5000ppm或1小時內平均超過10000ppm會有生命危險是不可接受的。

本發明中利用深度強化學習控制環境舒適度之系統1及方法能為人員之活動空間提供舒適之空調環境與通風環境。同時，深度強化學習演算法61能依據熱舒適度指標(即預測平均票選值PMV)、活動空間中二氧化碳之濃度、空調設備20之能耗與排風扇系統30之能耗進行權衡運算，再由第一電腦50依據優化調控結果產生相應之調控指令以優化調控空調設備20與排風扇系統30，進而提升空調設備20與排風扇系統30之效率。

在下列第4A圖至第7圖中，為了驗證本發明中利用深度強化學習控制環境舒適度之系統1及其方法之效果，在某一大學之活動空間(如教室)建立實驗場域，透過實驗分析比較定溫控制與演算法(深度強化學習演算法61)控制之能耗差異(冷氣耗電)。

第4A圖與第4B圖分別為本發明在活動空間E中設置各種設備及其連接方式之實施例示意圖。如第4A圖所示，此活動空間E之面積約為111平方公尺且高度約為4.2公尺，可容納90人。又，如第4A圖至第4B圖所示，本實驗在活動空間E之不同位置上設置多個不同的設備，包括一個黑球溫度感測器11、六個溫濕度/二氧化碳感測器12、三個變頻之空調設備20、四個直流變頻之排風扇31、一個第一電腦50(如具有處理器與控制器之單板電腦)、一個第二電腦60(如終端運算電腦)、以及一個路由器80(如Wi-Fi AP路由器或分享器)。

黑球溫度感測器11可以測量活動空間E之輻射溫度，溫濕度/二氧化碳感測器12可以測量活動空間E之乾球溫度、相對濕度或二氧化碳之濃度，空調設備20可以調節活動空間E之室內溫度，排風扇31可以引入外部氣體以降低活動空間E中二氧化碳之濃度。而且，黑球溫度感測器11、溫濕度/二氧化碳感測器12、空調設備20與排風扇31皆能使用無線網路或有線網路連接至路由器80(如Wi-Fi AP路由器或分享器)與第一電腦50(如單板電腦)，而第一電腦50可透過無線網路或有線網路將資料傳送至第二電腦60(如終端運算電腦)。

實驗參數可分為不可控參數與可控制參數兩種，不可控制參數包括人數、人員分布情形、活動空間E之使用類型(如考試或上課)、室外溫度等，而可控制參數包括控制方法(定溫控制、人工手動控制、演算法自動控制)、活動空間E之門窗開關。實驗持續期間為約五十天，實驗開始前20分鐘開始啟動空調。實驗之標準為：PMV數值在正負0.5以內為舒適，在正負0.5以外為不舒適；二氧化碳之濃度在800ppm以下為舒適，800-1000ppm為可接受，1000ppm以上為空氣品質不佳也不可接受。以下將針對空氣品質及舒適度對深度強化學習演算法61(Agent)自動控制的效果進行說明。

第5A圖與第5B圖分別為本發明中未開啟第4A圖所示排風扇31與使用第4B圖所示深度強化學習演算法61(Agent)自動控制(開啟)排風扇31時，第4A圖之活動空間E中二氧化碳之濃度之曲線圖。同時，第5A圖與第5B圖之情形皆為62人在活動空間E(如教室)中上課，且上課時間為13：20至15：10。

由第5A圖可發現，在未開啟第4A圖所示排風扇31之情形下，二氧化碳隨著時間不斷累積，使得二氧化碳之濃度升高，在上課大約20分鐘後(時間13：40)，二氧化碳之濃度就上升至1000ppm，脫離可接受範圍，達到空氣品質不佳及不舒適狀態。

相對地，由第5B圖可發現，採取深度強化學習演算法61(Agent)能自動在時間點A1(時間14：14)開啟第4A圖所示排風扇31，使原本迅速上升的二氧化碳之濃度有明顯下降，在排風扇31之開啟期間(時間14：14後)，二氧化碳之濃度持續下降至1000ppm左右，而在課程結束後，人員離開教室，二氧化碳之濃度下降，採取深度強化學習演算法61(Agent)能自動在時間點A2(時間15：32)關閉排風扇31。

第6A圖與第6B圖分別為本發明在第4B圖所示深度強化學習演算法61(Agent)控制下，隨單位時間變化之PMV(預測平均票選值)數值與溫度設定值之曲線圖，其中橫軸為單位時間(監測點)，且一個單位時間為30秒。藉此，本發明可驗證在採取深度強化學習演算法61(Agent)控制下，PMV(預測平均票選值)數值是否隨著不同的溫度設定值(如冷氣溫度設定值)而改變。

由第6A圖與第6B圖可發現，PMV(預測平均票選值)數值在時間區間351至421(見第6A圖之圓圈B1)時過低，因深度強化學習演算法61(Agent)在時間區間351至421將溫度設定值(如冷氣溫度設定值)設定為攝式23度(見第6B圖之圓圈C1)。繼之，深度強化學習演算法61(Agent)在時間區間351至421後，將溫度設定值(如冷氣溫度設定值)調高至攝式26度(見第6B圖之圓圈C2)，使得PMV(預測平均票選值)數值上升到約-0.1 至-0.3區間(見第6A圖之圓圈B2)，因此深度強化學習演算法61(Agent)確實有嘗試不同的溫度設定值(如冷氣溫度設定值)，且PMV(預測平均票選值)數值也有隨著不同的溫度設定值而改變。

第7圖為本發明中不同的控制方法對熱舒適度及能耗(冷氣耗電)之影響之資料表D。如圖所示，控制方法可分為三種，分別為[1]定溫25度(定溫控制)、[2]定溫26度(定溫控制)、[3]Agent(深度強化學習演算法)自動控制。

由第7圖可發現，使用Agent(深度強化學習演算法)自動控制及定溫控制皆能將平均PMV數值維持在正負0.5的可接受範圍內。又，比較編號29、30與編號18、19可發現，在人數接近的情況下，Agent(深度強化學習演算法)自動控制與定溫26度相比平均節省了0.9%耗能(冷氣耗電)。而且，比較編號25、26與編號5、6可發現，在人數接近的情形下，Agent(深度強化學習演算法)自動控制與定溫25度相比平均節省了約30.3%的耗能(冷氣耗電)。另外，在其餘條件相同的情況下，定溫26度會比定溫25度節省約22.2%的耗能(冷氣耗電)。

綜上，本發明中利用深度強化學習控制環境舒適度之系統及方法可至少具有下列特色、優點或技術功效。

一、本發明之深度強化演算法能在維持活動空間之熱舒適度及空氣品質的狀況下，最小化空調設備及排風扇系統的使用情形，以達到省電節能之效果。

二、本發明之深度強化學習演算法能依據熱舒適度指標(即預測平均票選值PMV)、活動空間中二氧化碳之濃度、空調設備之能耗與 排風扇系統之能耗進行權衡運算以產生優化調控結果，再由第一電腦依據優化調控結果產生相應之調控指令以優化調控空調設備與排風扇系統而提升效率。

三、本發明能為人員之活動空間提供舒適之空調環境與通風環境，亦能在室內環境舒適度與能源消耗之間取得平衡，以達到節能減碳之效果。

四、本發明能應用於室內之空調設備、排風扇系統或智慧家電等領域。

上述實施形態僅例示性說明本發明之原理、特點及其功效，並非用以限制本發明之可實施範疇，任何熟習此項技藝之人士均可在不違背本發明之精神及範疇下，對上述實施形態進行修飾與改變。任何運用本發明所揭示內容而完成之等效改變及修飾，均仍應為申請專利範圍所涵蓋。因此，本發明之權利保護範圍，應如申請專利範圍所列。

1‧‧‧利用深度強化學習控制環境舒適度之系統

10‧‧‧環境因子感測模組

11‧‧‧黑球溫度感測器

12‧‧‧溫濕度/二氧化碳感測器

20‧‧‧空調設備

21‧‧‧開關控制

22‧‧‧溫度設定值

23‧‧‧風速設定值

30‧‧‧排風扇系統

31‧‧‧排風扇

32‧‧‧開關控制

40‧‧‧控制與偵測模組

41‧‧‧環境偵測單元

42‧‧‧空調設備控制與狀態偵測單元

43‧‧‧排風扇系統控制與狀態偵測單元

50‧‧‧第一電腦

60‧‧‧第二電腦

61‧‧‧深度強化學習演算法

70‧‧‧人機介面

71‧‧‧輸入單元

Claims (20)

1. 一種利用深度強化學習控制環境舒適度之系統，包括：至少一空調設備與一排風扇系統，係設置於活動空間中；至少一環境因子感測模組，係偵測該活動空間中之環境因子之資訊；一控制與偵測模組，係具有一空調設備控制與狀態偵測單元及一排風扇系統控制與狀態偵測單元，用以分別偵測該空調設備之狀態資訊及該排風扇系統之狀態資訊；以及一第一電腦，係整合來自該環境因子感測模組之該環境因子之資訊、來自該空調設備控制與狀態偵測單元之該空調設備之狀態資訊、及來自該排風扇系統控制與狀態偵測單元之該排風扇系統之狀態資訊以產生整合資訊，俾透過一深度強化學習演算法將具有該環境因子之資訊、該空調設備之狀態資訊及該排風扇系統之狀態資訊的整合資訊進行權衡運算以產生優化調控結果，進而由該第一電腦依據該優化調控結果產生相應之調控指令，俾依據該調控指令優化調控該空調設備與該排風扇系統。
2. 如申請專利範圍第1項所述之系統，其中，該空調設備具有開關控制、溫度設定值或風速設定值，以供該空調設備控制與狀態偵測單元設定。
3. 如申請專利範圍第1項所述之系統，其中，該排風扇系統由至少一排風扇所構成，且該排風扇具有開關控制、吸排模式或級別大小調控，以供該排風扇系統控制與狀態偵測單元設定。
4. 如申請專利範圍第1項所述之系統，其中，該環境因子感測模組具有至少一黑球溫度感測器及至少一溫濕度/二氧化碳感測器，該黑 球溫度感測器用以測量該活動空間之輻射溫度，且該溫濕度/二氧化碳感測器用以測量該活動空間之乾球溫度、相對濕度或二氧化碳之濃度。
5. 如申請專利範圍第1項所述之系統，其中，該控制與偵測模組更具有一環境偵測單元，用以讀取來自該環境因子感測模組之該環境因子之資訊，且該環境因子包括該活動空間中之環境溫度、相對濕度或平均輻射溫度。
6. 如申請專利範圍第1項所述之系統，其中，該深度強化學習演算法更依據熱舒適度指標、該活動空間中二氧化碳之濃度、該空調設備之能耗與該排風扇系統之能耗進行權衡運算以產生該優化調控結果。
7. 如申請專利範圍第1項所述之系統，其中，該深度強化學習演算法以預測平均票選值(PMV)作為判斷人體舒適程度之依據，且該預測平均票選值(PMV)採用人體七級熱感覺平衡量表作為依據。
8. 如申請專利範圍第1項所述之系統，其中，該深度強化學習演算法係強化學習演算法與深度學習演算法之結合，且該深度強化學習演算法為深度Q網路(DQN)演算法。
9. 如申請專利範圍第1項所述之系統，更包括一第二電腦，用以接收來自該第一電腦之該整合資訊，且該深度強化學習演算法建構於該第二電腦中，俾對該整合資訊進行權衡運算以產生該優化調控結果。
10. 如申請專利範圍第1項所述之系統，更包括一具有輸入單元之人機介面，以供使用者透過該人機介面之輸入單元輸入該活動空間之人員數量之資訊。
11. 一種利用深度強化學習控制環境舒適度之方法，包括： 由至少一環境因子感測模組偵測活動空間中之環境因子之資訊，且該活動空間中設置有至少一空調設備與一排風扇系統；由一空調設備控制與狀態偵測單元及一排風扇系統控制與狀態偵測單元分別偵測該空調設備之狀態資訊及該排風扇系統之狀態資訊；以及由一第一電腦整合來自該環境因子感測模組之該環境因子之資訊、來自該空調設備控制與狀態偵測單元之該空調設備之狀態資訊、及來自該排風扇系統控制與狀態偵測單元之該排風扇系統之狀態資訊以產生整合資訊，俾透過一深度強化學習演算法將具有該環境因子之資訊、該空調設備之狀態資訊及該排風扇系統之狀態資訊的整合資訊進行權衡運算以產生優化調控結果，進而由該第一電腦依據該優化調控結果產生相應之調控指令，俾依據該調控指令優化調控該空調設備與該排風扇系統。
12. 如申請專利範圍第11項所述之方法，其中，該空調設備具有開關控制、溫度設定值或風速設定值，以供該空調設備控制與狀態偵測單元設定。
13. 如申請專利範圍第11項所述之方法，其中，該排風扇系統由至少一排風扇所構成，且該排風扇具有開關控制、吸排模式或級別大小調控，以供該排風扇系統控制與狀態偵測單元設定。
14. 如申請專利範圍第11項所述之方法，其中，該環境因子感測模組具有至少一黑球溫度感測器及至少一溫濕度/二氧化碳感測器，該黑球溫度感測器用以測量該活動空間之輻射溫度，且該溫濕度/二氧化碳感測器用以測量該活動空間之乾球溫度、相對濕度或二氧化碳之濃度。
15. 如申請專利範圍第11項所述之方法，更包括由一環境偵測單元讀取來自該環境因子感測模組之該環境因子之資訊，且該環境因子包括該活動空間中之環境溫度、相對濕度或平均輻射溫度。
16. 如申請專利範圍第11項所述之方法，更包括由該深度強化學習演算法依據熱舒適度指標、該活動空間中二氧化碳之濃度、該空調設備之能耗與該排風扇系統之能耗進行權衡運算以產生該優化調控結果。
17. 如申請專利範圍第11項所述之方法，其中，該深度強化學習演算法以預測平均票選值(PMV)作為判斷人體舒適程度之依據，且該預測平均票選值(PMV)採用人體七級熱感覺平衡量表作為依據。
18. 如申請專利範圍第11項所述之方法，其中，該深度強化學習演算法係強化學習演算法與深度學習演算法之結合，且該深度強化學習演算法為深度Q網路(DQN)演算法。
19. 如申請專利範圍第11項所述之方法，更包括由一第二電腦接收來自該第一電腦之該整合資訊，且該深度強化學習演算法建構於該第二電腦中，俾對該整合資訊進行權衡運算以產生該優化調控結果。
20. 如申請專利範圍第11項所述之方法，更包括由使用者透過一人機介面之輸入單元輸入該活動空間之人員數量之資訊。

Images