TW201834490A - 利用強化學習的自我調整功率節省 - Google Patents

Abstract

描述了用於無線通訊的方法、系統和設備。站可以在第一活動通訊時段期間與存取點進行通訊。通訊可以在第一功率模式下執行。該站可以切換到第二功率模式以轉變到睡眠時段。該站可以基於訊務指示符度量，來決定是否執行推測性喚醒並且在睡眠時段結束時切換到第一功率模式。

Description

利用強化學習的自我調整功率節省

本專利申請案主張由Homchaudhuri等人於2018年1月31日提出申請的、標題為「ADAPTIVE POWER SAVE WITH REINFORCEMENT LEARNING」的美國專利申請案第15/885,003號；及由Homchaudhuri等人於2017年2月1日提出申請的、標題為「ADAPTIVE POWER SAVE WITH REINFORCEMENT LEARNING」的美國臨時專利申請案第62/453,489號的優先權，上述申請案被轉讓給本案的受讓人並且據此以引用方式將上述申請案的全部內容明確地併入本文。

以下內容大體而言係關於無線通訊，並且更特定言之係關於利用強化學習的自我調整功率節省。

無線通訊系統被廣泛地部署以提供諸如語音、視訊、封包資料、訊息傳遞、廣播等等各種類型的通訊內容。該等系統可以是能夠藉由共享可用的系統資源（諸如時間、頻率以及功率）來支援與多個使用者的通訊的多工存取系統。無線網路（例如無線區域網路（WLAN），諸如Wi-Fi（亦即，電氣與電子工程師協會（IEEE）802.11）網路）可以包括可以與一或多個站（STAs）或行動設備進行通訊的存取點（AP）。AP可以耦合到網路（諸如網際網路），並且可以使行動設備能夠經由網路來進行通訊（或者與耦合到存取點的其他設備進行通訊）。無線設備可以與網路設備雙向地進行通訊。例如，在WLAN中，STA可以經由下行鏈路（DL）和上行鏈路（UL）來與相關聯的AP進行通訊。DL（或前向鏈路）可以代表從AP到站的通訊鏈路，而UL（或反向鏈路）可以代表從站到AP的通訊鏈路。

STA可以在處於活動功率模式下時與AP進行通訊，並且可以藉由進入睡眠模式來在通訊之間節省功率。在一些情況下，STA可以在封包的發送或接收之後延遲轉變到睡眠模式，以防萬一要發送或接收後續封包。例如，STA可以在進入睡眠模式之前等待不活動超時（ITO）到期。

無論STA在發送或接收的訊務的類型如何，STA皆可以使用ITO。但是對於某些訊務類型，使用ITO會將STA保持在活動模式下比必要的時間更長。例如，對於某些訊務類型，當在週期排程的封包之間針對該訊務類型通常不發送封包時，STA會為了在該週期排程的封包之間保持在活動模式下而消耗功率。在處於活動模式下時的功耗會降低STA的電池壽命並且負面地影響STA的效能。

所描述的技術涉及支援利用強化學習的自我調整功率節省的改進的方法、系統、設備或裝置。通常，所描述的技術提供無線設備（諸如無線站（STA））基於訊務指示符度量在功率模式之間切換。訊務指示符度量可以基於無線站的訊務活動位準、訊務壅塞程度、下行鏈路及/或上行鏈路訊務活動、傳輸量位準（例如，下行鏈路傳輸量位準及/或上行鏈路傳輸量位準）等。因此，無線設備可以決定是否執行推測性喚醒以查看資料是否在用於無線站的存取點（AP）處被緩衝。當無線設備決定執行該推測性喚醒時，該無線設備可以切換到活動功率模式（例如，第一功率模式）並且向AP發送資料NULL（空）訊息。資料NULL訊息可以包括被選擇用於提供對無線設備處於活動功率模式下的指示的功率模式指示符位元。

在一些態樣中，無線設備可以另外地或替代地適應不活動超時（ITO）檢視表（LUT）。ITO LUT可以被STA用來調整ITO時段的持續時間。然而，可以存在LUT本身被調整的實例。因此，在一些態樣中，無線設備可以應用強化學習，例如，使用基於對報酬的多維成本函數最大化的閉合迴路回饋以便調整ITO LUT。成本度量可以包括設備在觀察訊窗期間監測的度量。度量可以與無線設備在觀察訊窗期間接收的資料訊務指示訊息（DTIM）的數量、產生資料通訊的推測性喚醒的數量等相關聯。因此，無線設備可以使用度量藉由改變在推測性喚醒期間使用的不活動計時器的長度等來更新ITO LUT。

描述了一種無線通訊的方法。該方法可以包括：當在第一功率模式下時，在第一活動通訊時段期間與AP進行通訊；切換到第二功率模式以轉變到睡眠時段；及至少部分地基於訊務指示符度量，決定是否執行推測性喚醒並且在睡眠模式結束時切換到該第一功率模式。

描述了一種用於無線通訊的裝置。該裝置可以包括：用於當在第一功率模式下時，在第一活動通訊時段期間與AP進行通訊的構件；用於切換到第二功率模式以轉變到睡眠時段的構件；及用於至少部分地基於訊務指示符度量，決定是否執行推測性喚醒並且在睡眠模式結束時切換到該第一功率模式的構件。

描述了另一種用於無線通訊的裝置。該裝置可以包括處理器、與該處理器進行電通訊的記憶體以及儲存在該記憶體中的指令。該等指令能夠操作用於使得該處理器進行以下操作：當在第一功率模式下時，在第一活動通訊時段期間與AP進行通訊；切換到第二功率模式以轉變到睡眠時段；及至少部分地基於訊務指示符度量，決定是否執行推測性喚醒並且在睡眠模式結束時切換到該第一功率模式。

描述了一種用於無線通訊的非暫態電腦可讀取媒體。該非暫態電腦可讀取媒體可以包括能夠操作用於使得處理器進行以下操作的指令：當在第一功率模式下時，在第一活動通訊時段期間與AP進行通訊；切換到第二功率模式以轉變到睡眠時段；及至少部分地基於訊務指示符度量，決定是否執行推測性喚醒並且在睡眠模式結束時切換到該第一功率模式。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定執行該推測性喚醒並且切換到該第一功率模式的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於發送包括功率管理位元的資料空訊息的過程、特徵、構件或指令，該功率管理位元被設置為零以促進切換到該第一功率模式。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定在該第一活動通訊時段期間訊務活動位準可能已經超過閾值的過程、特徵、構件或指令，其中該訊務指示符度量可以是至少部分地基於該訊務活動位準超過該閾值的。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定訊務壅塞程度可能已經超過閾值的過程、特徵、構件或指令，其中該訊務指示符度量可以是至少部分地基於該訊務壅塞位準超過該閾值的。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於識別與複數個推測性喚醒相關聯的觀察訊窗的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定在該複數個推測性喚醒中的預定數量的推測性喚醒期間下行鏈路活動位準是否可能已經超過第一閾值的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定在該複數個推測性喚醒中的該預定數量的推測性喚醒期間上行鏈路活動位準是否可能已經超過第二閾值的過程、特徵、構件或指令，其中該訊務指示符度量可以是至少部分地基於該下行鏈路活動位準超過該第一閾值和該上行鏈路活動位準超過該第二閾值的。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於識別與複數個推測性喚醒相關聯的觀察訊窗的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定在該複數個推測性喚醒中的預定數量的推測性喚醒期間下行鏈路傳輸量位準是否可能已經超過第一閾值的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定在該複數個推測性喚醒中的該預定數量的推測性喚醒期間上行鏈路傳輸量位準是否可能已經超過第二閾值的過程、特徵、構件或指令，其中該訊務指示符度量可以是至少部分地基於該下行鏈路傳輸量位準超過該第一閾值和該上行鏈路傳輸量位準超過該第二閾值的。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於識別與複數個推測性喚醒相關聯的觀察訊窗的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定在該觀察訊窗期間下行鏈路活動位準是否已經超過第一閾值的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定在該觀察訊窗期間上行鏈路活動位準是否已經超過第二閾值的過程、特徵、構件或指令，其中該訊務指示符度量可以是至少部分地基於該下行鏈路活動位準超過該第一閾值和該上行鏈路活動位準超過該第二閾值的。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於識別與複數個推測性喚醒相關聯的觀察訊窗的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定在該觀察訊窗期間下行鏈路傳輸量位準是否已經超過第一閾值的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定在該觀察訊窗期間上行鏈路傳輸量位準是否已經超過第二閾值的過程、特徵、構件或指令，其中該訊務指示符度量可以是至少部分地基於該下行鏈路傳輸量位準超過該第一閾值和該上行鏈路傳輸量位準超過該第二閾值的。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定先前的推測性喚醒未能產生資料通訊的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定不執行該推測性喚醒並且切換到該第一功率模式的過程、特徵、構件或指令。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於使用與該第一活動通訊時段相關聯的第一不活動超時（ITO）的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於使用與該推測性喚醒相關聯的第二ITO的過程、特徵、構件或指令，其中與該第一ITO相比，該第二ITO在時間上可以更短。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定資料可以在推測性喚醒期間被傳送的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於在該推測性喚醒期間從該第二ITO切換到該第一ITO的過程、特徵、構件或指令。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於決定信標傳輸時間可以在從該睡眠時段的該結束起的預定時間段內的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於至少部分地基於該信標傳輸時間來決定不執行該推測性喚醒並且切換到該第一功率模式的過程、特徵、構件或指令。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於在該睡眠時段期間偵測語音撥叫可以正在進行的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於至少部分地基於正在進行的語音撥叫來決定執行該推測性喚醒並且切換到該第一功率模式的過程、特徵、構件或指令：。

描述了一種無線通訊的方法。該方法可以包括：在無線站處並且在觀察訊窗期間，監測與功率模式改變相關聯的一或多個度量；基於該一或多個度量來更新ITO LUT的一或多個值；及至少部分地基於經更新的ITO LUT來更新ITO時段。

描述了一種用於無線通訊的裝置。該裝置可以包括：用於在無線站處並且在觀察訊窗期間，監測與功率模式改變相關聯的一或多個度量的構件；用於基於該一或多個度量來更新ITO LUT的一或多個值的構件；及用於至少部分地基於經更新的ITO LUT來更新ITO時段的構件。

描述了另一種用於無線通訊的裝置。該裝置可以包括處理器、與該處理器進行電通訊的記憶體以及儲存在該記憶體中的指令。該等指令能夠操作用於使得該處理器進行以下操作：在無線站處並且在觀察訊窗期間，監測與功率模式改變相關聯的一或多個度量；基於該一或多個度量來更新ITO LUT的一或多個值；及至少部分地基於經更新的ITO LUT來更新ITO時段。

描述了一種用於無線通訊的非暫態電腦可讀取媒體。該非暫態電腦可讀取媒體可以包括能夠操作用於使得處理器進行以下操作的指令：在無線站處並且在觀察訊窗期間，監測與功率模式改變相關聯的一或多個度量；基於該一或多個度量來更新ITO LUT的一或多個值；及至少部分地基於經更新的ITO LUT來更新ITO時段。

在上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例中，監測與功率模式改變相關聯的一或多個度量進一步包括：在該觀察訊窗期間，監測被接收用於該無線站的TIM訊息的數量。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於至少部分地基於被接收用於該無線站的該TIM訊息的數量來更新用於執行推測性喚醒的速率的過程、特徵、構件或指令。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於基於該TIM訊息的數量超過閾值來更新該ITO LUT以延長該ITO時段的過程、特徵、構件或指令。

在上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例中，監測與功率模式改變相關聯的一或多個度量進一步包括：在該觀察訊窗期間，監測產生資料通訊的推測性喚醒的數量。

在上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例中，監測與功率模式改變相關聯的一或多個度量進一步包括：在該觀察訊窗期間，監測針對與該無線站相關聯的資料通訊的潛時。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於至少部分地基於針對與該無線站相關聯的資料通訊的該潛時來更新用於執行推測性喚醒的速率的過程、特徵、構件或指令。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於基於產生資料通訊的推測性喚醒的數量落在閾值以下來更新該ITO LUT以縮減ITO時段的過程、特徵、構件或指令。

在上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例中，監測與功率模式改變相關聯的一或多個度量進一步包括：在該觀察訊窗期間，監測去往和來自該無線站的訊務的往返時間（RTT）。

上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於監測訊務壅塞度量的過程、特徵、構件或指令。上文描述的方法、裝置和非暫態電腦可讀取媒體的一些實例進一步可以包括用於基於該訊務壅塞度量來參照該ITO LUT表以決定經更新的ITO時段的過程、特徵、構件或指令。

所描述的特徵通常涉及針對無線設備（例如，無線站（STA））的改進的功率節省。STA可以藉由偵測即時及/或在觀察訊窗期間觀察到的度量以便基於該度量選擇性地進入不同的功率模式，來降低功耗。例如，STA可以進入功率節省模式並且監測度量以決定是否及/或何時執行推測性喚醒程序，在推測性喚醒程序中，STA切換到活動功率模式並且等待要被接收的資料。當沒有接收到資料時，STA可以等待不活動超時（ITO）時段並且隨後切換回功率節省模式。在一些實例中，STA可以在未授權頻譜上與存取點（AP）進行通訊。例如，STA可以使用基於Wi-Fi的語音（VoWi-Fi）來參與和AP的語音撥叫。

STA可以能夠在消耗不同數量的功率和支援不同傳輸方案的各種功率模式下操作。例如，STA可以在第一功率模式下操作，第一功率模式支援回應於發送給AP的單個輪詢來接收多個封包。與第二功率模式（諸如睡眠模式）相比，第一功率模式會消耗相對更多的功率。在第二功率模式下，在一些實例中，STA可以支援接收來自AP的單個封包。另外地，第一功率模式可以禁止進入功率系統故障（power collapse）（例如，睡眠模式），而第二功率模式可以促進進入功率系統故障。能夠接收或發送封包的STA可以在本文中被稱為處於活動模式。因此，STA可以在第一功率模式或第二功率模式中的任一模式下處於活動模式，並且STA可以從第二功率模式進入睡眠模式。

STA可以在處於第一功率模式時進行通訊（例如，以利用由第一功率模式支援的高下行鏈路資料率）並且預留（reserve）第二功率模式以用於轉變到睡眠模式。例如，在第一功率模式下發送或接收封包之間，STA可以切換到第二功率模式，使得STA能夠進入睡眠模式，由此節省功率。在一些情況下，STA可以在傳送封包之後並且在切換到第二功率模式之前等待不活動超時（ITO）。例如，STA可以等待以查看是否在ITO期間傳送了封包，並且若沒有接收到封包，則STA可以進入睡眠模式。但是若ITO持續時間沒有被設置成適當的值，則STA可能錯過進入睡眠模式的時機或者可能在進來的訊務到達時睡著。例如，若ITO過短，則STA可能在接收到封包之後過早地進入睡眠模式，從而錯過後續封包。在此種場景中，在資料通訊中涉及的AP可以對封包進行緩衝，直到STA喚醒為止，這會向通訊中引入潛時。替代地，若ITO持續時間過長，則STA可能延遲進入睡眠模式並且這樣做時消耗過多功率，或者在一些情況下，可能完全錯過進入睡眠模式的時機（在ITO長度延長到所緩衝的資料封包的情況下）。

在一些情況下，無論STA所涉及的通訊的類型如何，STA皆可以使用ITO。例如，STA可以在其中語音封包是根據週期性排程被發送的語音撥叫期間使用ITO。在此種情況下，STA可以僅在第一功率模式下進行通訊並且轉變（例如，在ITO之後）到第二功率模式以便進入睡眠模式。因此，STA在每次進入睡眠模式時在功率模式之間轉變。在功率模式之間轉變和等待ITO延遲了到睡眠模式的進入，這會導致STA消耗過多的功率。

根據本文描述的技術，STA可以監測與其參與其中的通訊相關聯的度量並且調整其功率模式以適應該度量。例如，STA可以在當前喚醒時段期間監測發送/接收（TX/RX）活動，以便查看TX/RX活動是否持續超過了總活動時間的預定百分比。另外地或替代地，STA可以決定當前壅塞程度是否高於閾值量（例如，取決於通訊場景）。在一些態樣中，度量可以基於在觀察訊窗期間的觀察（例如，喚醒時段是否產生與AP的TX/RX），基於喚醒的總數量等。STA可以使用該等度量來決定是否執行喚醒程序以監測額外的資料。

另外地或替代地，STA可以使用某些觀察來推導成本/效益分析，並且基於該成本/效益分析來更新ITO檢視表（LUT）。更新ITO LUT可以持續不斷地發生，使得STA持續地學習將執行的推測性喚醒程序的最優數量及/或推測性喚醒ITO的最優持續時間。

本案內容的態樣進一步經由與利用強化學習的自我調整功率節省相關的裝置圖、系統圖和流程圖來示出並且參照與利用強化學習的自我調整功率節省相關的裝置圖、系統圖和流程圖進行描述。

圖1圖示根據本案內容的各個態樣配置的無線區域網路（WLAN）100（亦被稱為Wi-Fi網路）。WLAN 100可以包括AP 105和多個相關聯的STA 115，STA 115可以表示諸如行動站、個人數位助理（PDAs）、其他手持設備、小筆電、筆記型電腦、平板式電腦、膝上型電腦、顯示設備（例如，TV、電腦監視器等）、印表機等的設備。AP 105和相關聯的站115可以表示基本服務集（BSS）或擴展服務集（ESS）。網路中的各個STA 115能夠經由AP 105來與彼此進行通訊。亦圖示AP 105的覆蓋區域110，其可以表示WLAN 100的基本服務區域（BSA）。與WLAN 100相關聯的擴展型網路站（未圖示）可以連接到可以允許多個AP 105在ESS中連接的有線或無線分佈系統。

儘管在圖1中未圖示，但是STA 115可以位於多於一個的覆蓋區域110的交集中並且可以與多於一個的AP 105相關聯。單個AP 105和相關聯的STA 115集合可以被稱為BSS。ESS是連接的BSS的集合。分佈系統（未圖示）可以用於連接ESS中的AP 105。在一些情況下，AP 105的覆蓋區域110可以被劃分成扇區（同樣未圖示）。WLAN 100可以包括具有不同和重疊覆蓋區域110的不同類型的AP 105（例如，都會、家用網路等）。兩個STA 115亦可以經由直接無線鏈路125來直接地進行通訊，而不考慮兩個STA 115是否在相同的覆蓋區域110中。直接無線鏈路120的實例可以包括Wi-Fi直接連接、Wi-Fi隧道直接鏈路建立（TDLS）鏈路和其他群組連接。STA 115和AP 105可以根據來自IEEE 802.11和包括但不限於802.11b、802.11g、802.11a、802.11n、802.11ac、802.11ad、802.11ah、802.11ax等的版本的用於實體層和MAC層的WLAN無線電和基頻協定來進行通訊。在其他實現方式中，可以在WLAN 100內實施同級間連接或特定網路。

在一些情況下，STA 115（或AP 105）可以是可由中央AP 105偵測到的，但是不可由中央AP 105的覆蓋區域110中的其他STA 115偵測到。例如，一個STA 115可以在中央AP 105的覆蓋區域110的一端，而另一個STA 115可以在另一端。因此，兩個STA 115可以與AP 105進行通訊，但是不可以接收對方的傳輸。這會在基於爭用的環境（例如，載波感測多工存取/衝突避免（CSMA/CA））中導致針對兩個STA 115的衝突傳輸，這是因為STA 115不會抑制在彼此之上進行發送。其傳輸是不可識別的但是在相同覆蓋區域110內的STA 115可以被稱為隱藏節點。可以藉由由發送STA 115（或AP 105）發送的請求發送（RTS）封包與由接收STA 115（或AP 105）發送的允許發送（CTS）封包的交換來對CSMA/CA進行補充。這可以警告發送者和接收者的範圍內的其他設備不要在主傳輸的持續時間內進行發送。因此，RTS/CTS可以有助於緩解隱藏節點問題。

在一些情況下，STA可以藉由在傳輸之間關閉其發送路徑來節省功率。STA 115進一步可以藉由進入功率節省模式來節省功率，在功率節省模式下，STA 115關閉其接收路徑。STA 115可以藉由向AP 105發送指示（例如，藉由發送功率管理位元被設置的空封包）來向AP 105通知STA 115將處於功率節省模式的時間量。在接收到指示之後，AP 105可以儲存被定址到STA 115的封包。在一些情況下，AP 105可以在信標中發送訊務指示圖（TIM），該TIM向STA 115通知在AP 105處緩衝的資料。STA 115可以間歇性地喚醒（例如，根據監聽間隔）以檢查及/或接收TIM。回應於TIM，STA 115可以向AP發送對STA 115準備好接收所緩衝的資料進行指示的訊息。回應於該訊息，AP 105可以向STA 115發送下行鏈路封包。STA 115可以藉由向AP 105發送指示（例如，藉由向AP 105發送功率管理位元被清除的空封包）來退出功率節省模式。在一些情況下，STA 115可以藉由進入功率模式來增加接收下行鏈路資料的速率，其中該功率模式支援對任憑AP 105處理的多個佇列的下行鏈路封包的接收，而不是每傳輸接收一個下行鏈路封包。因此，取決於STA 115的功率模式，AP 105可以向STA 115發送多個封包、單個封包或者不發送封包。

如本文描述的，在一些情況下，STA 115可以實施推測性喚醒程序。喚醒可以是推測性的，這是因為即使STA 115不知道AP 105是否有資料要發送，STA 115亦從睡眠模式切換到活動模式。推測性喚醒可以包括STA 115發送功率管理位元被設置以指示STA 115處於活動功率模式的空訊息。例如，當在第一功率模式下時，STA 115可以在第一活動通訊時段期間與AP進行通訊。STA 115可以切換到第二功率模式以轉變到睡眠時段。STA 115可以至少部分地基於訊務指示符度量來決定是否執行推測性喚醒並且在睡眠模式結束時切換到第一功率模式。

另外地或替代地，STA 115可以在觀察訊窗期間監測與功率模式改變相關聯的度量。STA 115可以基於該度量來更新ITO LUT的一或多個值。STA 115可以至少部分地基於所更新的ITO LUT來更新ITO時段。

圖2圖示根據本案內容的各個態樣支援利用強化學習的自我調整功率節省的過程200的實例。過程200可以實施圖1的WLAN 100的態樣。過程200可以包括STA 205和AP 210，其可以是本文描述的相應設備的實例。

傳統的功率節省技術依靠功率節省輪詢（PS-輪詢）訊息來取得在AP 210處緩衝的資料。例如，該等技術使用來自AP 210的訊務壅塞和TIM訊息來決定何時將發送推測性PS-輪詢訊息。然而，由於諸如AP沒有對排程的及/或未排程的PS-輪詢訊息做出反應、AP在接收到某一數量（在一些實例中，即使一個）未排程的PS-輪詢訊息時出事故等的問題，該等技術遭遇故障和AP鎖死。作為回應，該等AP被配置為去能功率節省模式並且恢復到固定的ITO間隔（例如，200 ms）。

在一些傳統系統中，當接收到PS-輪詢並且不存在要發送的資料時，進入事故狀態的AP會導致服務拒絕並且破壞整個網路。在一些傳統系統中，能夠處理一般PS-輪詢但是不能夠處理推測性PS-輪詢的AP會不對推測性PS-輪詢進行回應，這導致對資料服務的影響。其他AP在一些實例中對推測性PS-輪詢進行回應，但不是在每個實例中皆對推測性PS-輪詢進行回應。可以不一致地對PS-輪詢進行回應的一些AP會導致峰值關鍵效能指示符測試期間的效能降級。

廣泛地說，過程200圖示其中STA 205使用服務品質（QoS）空值（例如，包括被設置為0的功率模式位元（PM））來從AP 210取得緩衝資料的實例。STA 205可以包括多個ITO LUT集合並且基於適應性學習來在ITO LUT之間進行選擇。STA 205可以使用對多個度量進行持續監測並且決定是否應當執行功率模式改變的基於學習的方案。推測性喚醒可以在從PM0到PM1的任何轉變之後執行（取決於度量），而不是回應於到STA 205的TIM訊息來執行。在一些態樣中，ITO時段可以被設置為最小值，例如，15毫秒（ms）。

通常，STA 205可以根據第一功率模式（其可以在本文中被稱為PM0（或PM=0））和第二功率模式（其可以在本文中被稱為PM1（或PM=1））來操作。與當在PM1下操作時相比，在PM0下操作的STA 205會消耗更多的功率。此外，在PM0下操作的STA 205可以用於從AP 210接收多個封包（例如，資料），而在PM1下操作的STA 205不會從AP 210接收封包。

在215處，STA 205可以在第一活動通訊時段期間與AP 210進行通訊。通訊可以是在STA 205處於第一功率模式時執行的。通訊可以是回應於從AP 210接收的TIM訊息的、回應於產生資料通訊的先前的推測性喚醒程序執行的。第一功率模式可以是PMO模式，在PMO模式下，STA 205向STA 210發送功率管理（PM）位元被設置為零的訊息。

在220處，STA 205可以切換到第二功率模式以轉變到睡眠時段。第二功率模式可以是PM1模式。在一些態樣中，當在第二功率模式下時，STA 205可以不被配置為與AP 210進行通訊，例如，交換資料封包。在一些態樣中，當在第二功率模式下時，STA 205可以被配置用於與AP 210的受限通訊，例如，STA 205可以監測由AP 210發送的信標。

在225處，STA 205可以決定是否執行推測性喚醒並且切換回第一功率模式。該決定可以是基於訊務指示符度量的。在一些態樣中，在每次轉變到PM=1之後，STA 205可以決定（針對PM從1變為0）是否需要推測性喚醒。

在一些態樣中，若當前喚醒時段中的TX/RX活動已經持續了超過總活動時間的預定百分比，則可以執行推測性喚醒。例如，若STA 205在當前喚醒時段中花費了多於總活動時間的25%、30%、50%或某個其他百分比來執行與AP 210的活動通訊，則STA 205可以決定推測性喚醒會是有益的。這可以過濾掉針對不定時發生的訊務的不必要的推測性喚醒並且節省STA 205的功率。

在一些態樣中，若當前壅塞閾值多於預定百分比（這亦可以取決於操作配置），則可以執行推測性喚醒。在一些實例中，針對不同的操作模式，可以識別不同的預定百分比。作為一個非限制性實例，當在2G中操作時，訊務壅塞超過50%可以指示推測性喚醒是有益的，而當在5G中操作時，訊務壅塞超過30%可以指示推測性喚醒是有益的。這可以解決典型的開放模式/壅塞環境使用場景。

在一些態樣中，推測性喚醒可以是基於觀察訊窗期間的觀察來執行的。例如，STA 205可以識別要在其中監測某些度量的觀察訊窗。在一個非限制性實例中，觀察訊窗可以跨越兩秒時段。在觀察訊窗期間，若在觀察訊窗期間存在至少某一數量的喚醒（例如，六次喚醒），則可以執行推測性喚醒。另外地或替代地，若滿足關於發送活動的喚醒的數量大於第一閾值並且若滿足關於接收活動的喚醒的數量大於第二閾值，則可以執行推測性喚醒。這可以識別雙向低傳輸量使用情況以處理使用情況的請求/回應種類（這可以有助於潛時/基於Wi-Fi的語音使用情況等）。

訊務指示符度量亦可以是基於傳輸量度量的。例如，若發送傳輸量大於第一閾值並且接收傳輸量大於第二閾值，則可以執行推測性喚醒。這可以識別使用傳輸控制協定（TCP）的典型的真實應用，諸如檔案下載、視訊資料串流等。由於TCP是雙向的和潛時敏感的，因此此種涉及執行推測性喚醒的優先順序處理可以支援潛時配置。

在一些態樣中，STA 205可以決定不執行推測性喚醒。例如，若當前喚醒繼續是推測性喚醒（例如，在當前的推測性喚醒期間不存在TX/RX活動），則可以避免推測性喚醒。在一些態樣中，在當前ITO大於閾值時段時，可以避免推測性喚醒。

在一些態樣中，推測性喚醒可以包括替代的ITO。例如，由於功率管理變化/喚醒在本質上是推測性的，因此使用主ITO可能不是功率高效或效能高效的。因此，若不存在TX/RX活動，則STA 205可以在推測性喚醒期間使用替代的ITO。基於所描述的學習技術（例如，基於訊務指示符度量），替代的ITO值可以比主ITO更小（縮減）或更大（拉長）。若在當前的推測性喚醒期間發生任何TX/RX活動，則STA 205可以從替代的ITO切換到主ITO。如可以瞭解到的，一旦發生該切換，則當前的喚醒將不再被認為是推測性喚醒。

在一些態樣中，若下一個目標信標發送時間（TBTT）在從推測性喚醒起的預定時間段內，則亦可以避免（或不執行）推測性喚醒。這可以是基於信標包括是否存在針對STA 205的資料訊務的。

圖3圖示根據本案內容的各個態樣支援利用強化學習的自我調整功率節省的功率節省配置300的實例。功率節省配置300可以實施上文描述的WLAN 100及/或過程200的態樣。功率節省配置300可以由STA及/或AP（其可以是本文描述的相應設備的實例）來實施。

功率節省配置300根據所描述的技術圖示兩個示例性功率節省配置，傳統功率節省配置和功率節省配置（被識別為PS 3.0，其亦可以被稱為QPower 3.0）。廣泛地說，功率節省配置PS 3.0包括在信標中通告的AP處的緩衝資料。STA可以取回資料並且執行一個推測性喚醒。

傳統功率節省模式可以包括AP發送複數個信標305，經由實例的方式圖示信標305-a、305-b和305-c。信標305-a可以是TIM信標，其包括向STA的關於AP具有針對STA緩衝的資料的指示。回應於TIM信標305-a，STA可以發送功率模式改變310，其包括被設置為零的功率模式位元（例如，第一功率模式）。當STA發送功率模式改變310時，STA切換到活動模式302，在活動模式302下，STA使用增加的功率量。作為回應，AP和STA可以在資料時段315-a期間交換資料。然而，所有資料可以不在資料時段315-a期間被交換並且STA可以在ITO時段320-a期間進入固定的ITO（例如，200ms ITO）。然而，由於AP仍然具有要與STA交換的資料，因此ITO時段320-a會被在資料時段315-a期間交換的資料中斷。一旦資料已經被交換，STA就可以再次進入固定的ITO時段（例如，ITO時段320-b）。ITO時段320-b可以在STA進入睡眠模式之前執行完整的固定時段。一旦ITO時段320-b完成，STA就進入睡眠模式304，在睡眠模式304下，節省了功率。如在功率節省配置300中說明的，傳統功率節省模式包括STA在延長的時間段內處於活動模式302，這是對STA功率資源的低效使用。

然而，與目前描述的技術相對應的功率節省模式提供對STA的資源的更高效使用並且減少STA在活動模式302下花費的時間量。功率節省模式3.0可以包括AP發送複數個信標305，經由實例的方式圖示信標305-d、305-e和305-f。然而，信標305-d可以是TIM信標，其包括向STA的關於AP具有針對STA緩衝的資料的指示。回應於TIM信標305-d，STA可以發送功率模式改變325-a，其包括被設置為零的功率模式位元（例如，第一功率模式）。當STA發送功率模式改變325-a時，STA切換到活動模式302。作為回應，AP和STA可以在資料時段330-a期間交換資料。然而，所有資料可以不在資料時段330-a期間被交換並且STA可以例如在ITO時段335-a期間進入第一ITO時段，該第一ITO時段是縮短的ITO時段（例如，短於200ms）。STA可以切換到第二功率模式並且在ITO時段335-a之後進入睡眠模式304。AP可能仍然具有要與STA交換的資料，但是不會在ITO時段335-a期間發送資料。因此，STA可以切換到睡眠模式304達睡眠時段以節省功率。AP可以對針對STA的、沒有在資料時段330-a期間被交換的資料進行緩衝。

隨後，STA可以根據所描述的技術來決定執行推測性喚醒。例如，STA可以在處於睡眠模式304時監測訊務指示符度量並且決定（和何時）執行推測性喚醒。推測性喚醒可以包括STA向AP發送功率模式改變325-b。因此，資料可以在資料時段330-b期間在AP和STA之間被交換。一旦STA開始與AP交換資料，當前的喚醒將不再被認為是推測性喚醒。一旦在資料時段330-b期間交換了資料，STA就可以在ITO時段335-b期間等待額外的資料。ITO時段335-b可以類似於ITO時段335-a，並且與利用固定的ITO時段相比，可以提供STA從活動模式302更快地切換到睡眠模式304。

隨後，STA可以再次根據所描述的技術來決定執行推測性喚醒。因此，STA可以向AP發送功率管理位元被設置為零的功率模式改變325-c。隨後，STA可以在替代的ITO時段340期間等待資料交換。替代的ITO時段340可以是基於根據所描述的技術來持續更新的ITO LUT的。在替代的ITO時段340結束時並且沒有資料正在被交換時，STA可以再次切換到睡眠模式304以節省功率。

圖4圖示根據本案內容的各個態樣支援利用強化學習的自我調整功率節省的功率節省配置400的實例。功率節省配置400可以實施上文描述的WLAN 100、過程200及/或功率節省配置300的態樣。功率節省配置400可以由STA及/或AP（其可以是本文描述的相應設備的實例）來實施。

功率節省配置400可以包括AP發送信標405，經由實例的方式圖示信標405-a、405-b、405-c和405-d。AP可以接收針對STA緩衝的資料410。因此，信標405-b可以是TIM信標，其傳送關於AP具有針對STA儲存的資料的指示。

STA可以接收TIM信標405-b並且藉由向AP發送功率模式改變415來進行回應。功率模式改變415可以包括或者可以是資料空訊息，其包括被設置為零的功率模式位元以指示STA已經進入活動模式。回應於功率模式改變415，在資料時段420期間，AP可以發送資料並且STA可以接收資料。在該實例中，在AP處緩衝的所有資料皆是在資料時段420期間被接收的。一旦資料已經被交換，STA就可以在ITO時段425期間啟動不活動計時器。ITO時段425可以是共用ITO時段，其可以比（例如，如在傳統功率節省配置下使用的）固定的ITO時段短，但是可以比替代的ITO時段長。在ITO時段425結束時並且沒有資料正在被交換時，STA可以向AP發送對STA正在進入睡眠模式進行指示的功率模式改變430。例如，功率模式改變430可以包括被設置為一的功率模式位元，以指示STA正在進入睡眠模式。

隨後，STA可以根據所描述的技術來決定執行推測性喚醒。例如，STA可以在處於睡眠模式時監測訊務指示符度量並且決定是否以及何時執行推測性喚醒。因此，STA可以向AP發送功率管理位元被設置為零的功率模式改變435。隨後，STA可以在替代的ITO時段440期間等待資料交換。替代的ITO時段440可以是基於根據所描述的技術來持續更新的ITO LUT的。在替代的ITO時段440結束時並且沒有資料正在被交換時，STA可以再次切換到睡眠模式以節省功率。

圖5圖示根據本案內容的各個態樣支援利用強化學習的自我調整功率節省的功率節省配置500的實例。功率節省配置500可以實施上文描述的WLAN 100、過程200及/或功率節省配置300/400的態樣。功率節省配置500可以由STA及/或AP（其可以是本文描述的相應設備的實例）來實施。

功率節省模式500可以包括AP發送信標505，經由實例的方式圖示信標505-a、505-b、505-c和505-d。AP可以接收針對STA緩衝的資料510。因此，信標505-b可以是TIM信標，其傳送關於AP具有針對STA儲存的資料的指示。

STA可以接收TIM信標505-b並且藉由向AP發送功率模式改變520來進行回應。功率模式改變520可以包括或者可以是資料或QoS空訊息，其包括被設置為零的功率模式位元以指示STA已經進入活動模式。回應於功率模式改變520，在資料時段525期間AP可以發送資料並且STA可以接收資料。在該實例中，在AP處緩衝的所有資料皆是在資料時段525期間被接收的。一旦資料已經被交換，STA就可以在ITO時段530期間啟動不活動計時器。ITO時段530可以是共用ITO時段，其可以比（例如，如在傳統功率節省配置下使用的）固定的ITO時段短但是可以比替代的ITO時段長。在ITO時段530結束時並且沒有資料正在被交換時，STA可以向AP發送對STA正在進入睡眠模式進行指示的功率模式改變535。例如，功率模式改變535可以包括被設置為一的功率模式位元，以指示STA正在進入睡眠模式。

AP可以接收針對STA的額外的資料515。隨後，但是在AP發送TIM信標（例如，其將會是信標505-c）之前，STA可以根據所描述的技術來決定執行推測性喚醒。例如，STA可以在處於睡眠模式時監測訊務指示符度量並且決定是否以及何時執行推測性喚醒。因此，STA可以向AP發送功率模式改變540。功率模式改變540可以包括資料或QoS空訊息，其包括被設置為零的功率模式位元以指示STA已經進入活動模式。回應於功率模式改變540，在資料時段545期間AP可以發送資料並且STA可以接收資料。在該實例中，在AP處緩衝的所有資料皆是在資料時段545期間被接收的。一旦資料已經被交換，STA就可以在ITO時段550期間啟動不活動計時器。ITO時段550可以是共用ITO時段，其可以比（例如，如在傳統功率節省配置下使用的）固定的ITO時段短但是可以比替代的ITO時段長。在ITO時段550結束時並且沒有資料正在被交換時，STA可以向AP發送對STA正在進入睡眠模式進行指示的功率模式改變555。例如，功率模式改變555可以包括被設置為一的功率模式位元，以指示STA正在進入睡眠模式。

隨後，STA可以再次根據所描述的技術來決定執行推測性喚醒。例如，STA可以向AP發送功率管理位元被設置為零的功率模式改變560。隨後，STA可以在替代的ITO時段565期間等待資料交換。替代的ITO時段565可以是基於根據所描述的技術來持續更新的ITO LUT的。在替代的ITO時段565結束時並且沒有資料正在被交換時，STA可以再次切換到睡眠模式以節省功率。

圖6圖示根據本案內容的各個態樣支援利用強化學習的自我調整功率節省的過程600的實例。過程600可以實施上文描述的WLAN 100、過程200及/或功率節省配置300/400/500的態樣。過程600可以包括STA 605和AP 610，其可以是本文描述的相應設備的實例。

廣泛地說，過程600圖示STA 605藉由推導與執行推測性喚醒相關聯的成本/效益分析並且向分析應用強化學習來調整或更新ITO LUT的一個實例。分析可以包括基於對報酬的多維成本函數最大化的閉合迴路回饋。

在615處，STA 605可以在觀察訊窗期間監測與功率模式改變相關聯的度量。功率模式改變可以代表STA 605從活動模式切換到睡眠模式，並且反之亦然。

在第一成本度量的一個實例中，當在給定的觀察訊窗內針對STA 605的TIM通告的數量為高（或者逐漸增加）時，這可以指示STA 605更頻繁地處於睡眠模式並且這可以導致減少的傳輸量或影響潛時敏感應用。該度量可以用於決定將更頻繁地執行推測性喚醒及/或延長替代的ITO LUT中的ITO時段。STA 605可以基於其例如在觀察訊窗內接收的TIM訊息的數量來更新其執行推測性喚醒的速率。在一些態樣中，STA 605可以決定針對資料通訊的潛時並且基於該潛時來更新其執行推測性喚醒的速率。例如，當STA 605在執行推測性喚醒時過於激進（或者不夠激進）時，這可以解決潛時影響。

在度量的另一個實例中，當在給定的觀察訊窗內的推測性喚醒的預定義百分比沒有導致交換資料時，這可以指示STA 605正在執行過多數量的推測性喚醒，這可以導致功率懲罰。該度量可以用於決定減小推測性喚醒的頻率及/或數量及/或縮減替代的ITO LUT中的ITO時段。

在度量的另一個實例中，當DTIM間隔為高時，可以延長主ITO時段或共用ITO時段，以便在不存在功率模式改變時減小往返時間（RTT）。

在620處，STA 605可以基於度量來更新ITO LUT中的值。ITO LUT可以代表與共用ITO時段及/或替代的ITO時段相對應的ITO時間值，如本文描述的。對值進行更新可以包括延長或縮減與推測性喚醒時段（例如，替代的ITO時段）相關聯的時間段。在一些態樣中，對值進行更新可以包括決定將更頻繁地或者不太頻繁地執行推測性喚醒。

在625處，STA 605可以基於所更新的ITO LUT來更新ITO時段。ITO時段可以代表本文描述的共用ITO時段及/或替代的ITO時段。

圖7圖示根據本案內容的各個態樣支援利用強化學習的自我調整功率節省的無線設備705的方塊圖700。無線設備705可以是如參照圖1描述的STA 115的態樣的實例。無線設備705可以包括接收器710、功率節省管理器715和發射器720。無線設備705亦可以包括處理器。該等元件中的每一個可以（諸如經由一或多個匯流排）彼此之間進行通訊。

接收器710可以接收諸如與各個資訊通道（例如，控制通道、資料通道、以及與利用強化學習的自我調整功率節省有關的資訊等等）相關聯的封包、使用者資料或者控制資訊的資訊。可以將資訊傳送到設備的其他元件。接收器710可以是參照圖10描述的收發機1035的態樣的實例。

功率節省管理器715可以是參照圖10描述的功率節省管理器1015的態樣的實例。

功率節省管理器715及/或其各個子元件中的至少一些子元件可以在硬體、由處理器執行的軟體、韌體或其任意組合中實施。若在由處理器執行的軟體中實施，則功率節省管理器715及/或其各個子元件中的至少一些子元件的功能可以由被設計為執行在本案內容中描述的功能的通用處理器、數位訊號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式閘陣列（FPGA）或其他可程式邏輯設備、個別閘門或者電晶體邏輯、個別硬體元件或者其任意組合來執行。功率節省管理器715及/或其各個子元件中的至少一些子元件可以實體地位於各個位置，包括被分佈以使得在不同的實體位置由一或多個實體設備來實施功能中的部分功能。在一些實例中，根據本案內容的各個態樣，功率節省管理器715及/或其各個子元件中的至少一些子元件可以是單獨且不同的元件。在其他實例中，根據本案內容的各個態樣，功率節省管理器715及/或其各個子元件中的至少一些子元件可以與一或多個其他硬體元件（包括但不限於I/O元件、收發機、網路伺服器、另一計算設備、在本案內容中描述的一或多個其他元件，或其組合）組合。

當在第一功率模式下時，功率節省管理器715可以在第一活動通訊時段期間與AP進行通訊。功率節省管理器715可以切換到第二功率模式以轉變到睡眠時段。功率節省管理器715可以基於訊務指示符度量，來決定是否執行推測性喚醒並且在睡眠模式結束時切換到第一功率模式。

另外地或替代地，功率節省管理器715亦可以在無線站處並且在觀察訊窗期間，監測與功率模式改變相關聯的一或多個度量。功率節省管理器715可以基於一或多個度量來更新ITO LUT的一或多個值。功率節省管理器715可以基於所更新的ITO LUT來更新ITO時段。

發射器720可以發送由該設備的其他元件產生的信號。在一些實例中，發射器720可以與接收器710共置於收發機模組中。例如，發射器720可以是參照圖10描述的收發機1035的態樣的實例。發射器720可以包括單個天線，或者其可以包括一組天線。

圖8圖示根據本案內容的各個態樣支援利用強化學習的自我調整功率節省的無線設備805的方塊圖800。無線設備805可以是如參照圖1至7描述的無線設備705或STA 115的態樣的實例。無線設備805可以包括接收器810、功率節省管理器815和發射器820。無線設備805亦可以包括處理器。該等元件中的每一個可以（諸如經由一或多個匯流排）彼此之間進行通訊。

接收器810可以接收諸如與各個資訊通道（例如，控制通道、資料通道、以及與利用強化學習的自我調整功率節省有關的資訊等等）相關聯的封包、使用者資料或者控制資訊的資訊。可以將資訊傳送到設備的其他元件。接收器810可以是參照圖10描述的收發機1035的態樣的實例。

功率節省管理器815可以是參照圖10描述的功率節省管理器1015的態樣的實例。功率節省管理器815亦可以包括活動通訊管理器825、功率模式切換管理器830、推測性喚醒管理器835、觀察訊窗管理器840和ITO管理器845。

當在第一功率模式下時，活動通訊管理器825可以在第一活動通訊時段期間與AP進行通訊。功率模式切換管理器830可以切換到第二功率模式以轉變到睡眠時段。

推測性喚醒管理器835可以基於訊務指示符度量，來決定是否執行推測性喚醒並且在睡眠模式結束時切換到第一功率模式。推測性喚醒管理器835可以決定執行推測性喚醒並且切換到第一功率模式。推測性喚醒管理器835可以決定先前的推測性喚醒未能產生資料通訊。推測性喚醒管理器835可以決定不執行推測性喚醒並且切換到第一功率模式。推測性喚醒管理器835可以基於信標傳輸時間來決定不執行推測性喚醒並且切換到第一功率模式。

觀察訊窗管理器840可以識別與推測性喚醒集合相關聯的觀察訊窗。觀察訊窗管理器840可以在無線站處並且在觀察訊窗期間，監測與功率模式改變相關聯的一或多個度量。在一些情況下，監測與功率模式改變相關聯的一或多個度量進一步包括：在觀察訊窗期間，監測產生資料通訊的推測性喚醒的數量。

ITO管理器845可以使用與第一活動通訊時段相關聯的第一ITO。ITO管理器845可以使用與推測性喚醒相關聯的第二ITO，其中與第一ITO相比，第二ITO在時間上更短。ITO管理器845可以決定資料在推測性喚醒期間正在被傳送。ITO管理器845可以在推測性喚醒期間從第二ITO切換到第一ITO。ITO管理器845可以基於一或多個度量來更新ITO LUT的一或多個值。ITO管理器845可以基於所更新的ITO LUT來更新ITO時段。ITO管理器845可以基於TIM訊息的數量超過閾值來更新ITO LUT以延長ITO時段。ITO管理器845可以基於產生資料通訊的推測性喚醒的數量落在閾值以下，來更新ITO LUT以縮減ITO時段。

發射器820可以發送由設備的其他元件產生的信號。在一些實例中，發射器820可以與接收器810共置於收發機模組中。例如，發射器820可以是參照圖10描述的收發機1035的態樣的實例。發射器820可以包括單個天線，或者其可以包括一組天線。

圖9圖示根據本案內容的各個態樣支援利用強化學習的自我調整功率節省的功率節省管理器915的方塊圖900。功率節省管理器915可以是參照圖7、圖8和圖10描述的功率節省管理器715、功率節省管理器815或功率節省管理器1015的態樣的實例。功率節省管理器915可以包括活動通訊管理器920、功率模式切換管理器925、推測性喚醒管理器930、觀察訊窗管理器935、ITO管理器940、功率模式改變管理器945、訊務度量管理器950、傳輸量管理器955、信標傳輸管理器960和語音撥叫管理器965。該等模組中的每一個可以（諸如經由一或多個匯流排）彼此之間直接或間接地進行通訊。

當在第一功率模式下時，活動通訊管理器920可以在第一活動通訊時段期間與AP進行通訊。功率模式切換管理器925可以切換到第二功率模式以轉變到睡眠時段。

推測性喚醒管理器930可以基於訊務指示符度量，來決定是否執行推測性喚醒並且在睡眠模式結束時切換到第一功率模式。推測性喚醒管理器930可以決定執行推測性喚醒並且切換到第一功率模式。推測性喚醒管理器930可以決定先前的推測性喚醒未能夠產生資料通訊。推測性喚醒管理器930可以決定不執行推測性喚醒並且切換到第一功率模式。推測性喚醒管理器930可以基於信標傳輸時間來決定不執行推測性喚醒並且切換到第一功率模式。

觀察訊窗管理器935可以識別與推測性喚醒集合相關聯的觀察訊窗；及在無線站處並且在觀察訊窗期間，監測與功率模式改變相關聯的一或多個度量。在一些情況下，監測與功率模式改變相關聯的一或多個度量進一步包括：在觀察訊窗期間，監測產生資料通訊的推測性喚醒的數量。在一些情況下，監測與功率模式改變相關聯的一或多個度量進一步包括：至少部分地基於所接收的TIM訊息的數量來更新用於執行推測性喚醒的速率。觀察訊窗管理器935可以決定在觀察訊窗期間下行鏈路活動位準是否已經超過第一閾值；及決定在觀察訊窗期間上行鏈路活動位準是否已經超過第二閾值，其中訊務指示符度量是部分地基於下行鏈路活動位準及/或上行鏈路活動位準超過第一閾值和第二閾值的。觀察訊窗管理器935可以決定在觀察訊窗期間下行鏈路傳輸量位準是否已經超過第一閾值；及決定在觀察訊窗期間上行鏈路傳輸量位準是否已經超過第二閾值，其中訊務指示符度量是部分地基於下行鏈路傳輸量位準及/或上行鏈路傳輸量位準超過第一閾值和第二閾值的。

ITO管理器940可以使用與第一活動通訊時段相關聯的第一ITO。ITO管理器940可以使用與推測性喚醒相關聯的第二ITO，其中與第一ITO相比，第二ITO在時間上更短。ITO管理器940可以決定資料在推測性喚醒期間正在被傳送；在推測性喚醒期間從第二ITO切換到第一ITO。ITO管理器940可以基於一或多個度量來更新ITO LUT的一或多個值。ITO管理器940可以基於所更新的ITO LUT來更新ITO時段。ITO管理器940可以基於TIM訊息的數量超過閾值來更新ITO LUT以延長ITO時段。ITO管理器940可以基於產生資料通訊的推測性喚醒的數量落在閾值以下，來更新ITO LUT以縮減ITO時段。

功率模式改變管理器945可以發送包括功率管理位元的資料空訊息，功率管理位元被設置為零以促進切換到第一功率模式。在一些情況下，監測與功率模式改變相關聯的一或多個度量進一步包括：在觀察訊窗期間，監測去往和來自無線站的訊務的RTT。

訊務度量管理器950可以決定在第一活動通訊時段期間訊務活動位準已經超過閾值，其中訊務指示符度量是基於訊務活動位準超過閾值的。訊務度量管理器950可以決定訊務壅塞程度已經超過閾值，其中訊務指示符度量是基於訊務壅塞程度超過閾值的。訊務度量管理器950可以決定在推測性喚醒集合中的預定數量的推測性喚醒期間下行鏈路活動位準是否已經超過第一閾值。訊務度量管理器950可以決定在推測性喚醒集合中的預定數量的推測性喚醒期間上行鏈路活動位準是否已經超過第二閾值，其中訊務指示符度量是基於下行鏈路活動位準和上行鏈路活動位準超過第一閾值和第二閾值的。訊務度量管理器950可以監測訊務壅塞度量；及基於訊務壅塞度量來更新ITO LUT表以決定所更新的ITO時段。在一些情況下，監測與功率模式改變相關聯的一或多個度量進一步包括：在觀察訊窗期間，監測被接收用於無線站的訊務指示圖（TIM）訊息的數量。

傳輸量管理器955可以決定在推測性喚醒集合中的預定數量的推測性喚醒期間下行鏈路傳輸量位準是否已經超過第一閾值。傳輸量管理器955可以決定在推測性喚醒集合中的預定數量的推測性喚醒期間上行鏈路傳輸量位準是否已經超過第二閾值，其中訊務指示符度量是基於下行鏈路傳輸量位準和上行鏈路傳輸量位準超過第一閾值和第二閾值的。

信標傳輸管理器960可以決定信標傳輸時間在從睡眠時段結束起的預定時間段內。

語音撥叫管理器965可以在睡眠時段期間偵測語音撥叫是正在進行的。語音撥叫管理器965可以基於正在進行的語音撥叫，決定執行推測性喚醒並且切換到第一功率模式。

圖10圖示根據本案內容的各個態樣包括支援利用強化學習的自我調整功率節省的設備1005的系統1000的圖。設備1005可以是如上文例如參照圖1-8描述的無線設備705、無線設備805或STA 115的實例或者包括無線設備705、無線設備805或STA 115的元件。設備1005可以包括用於雙向語音和資料通訊的元件，包括用於發送通訊的元件和用於接收通訊的元件，包括功率節省管理器1015、處理器1020、記憶體1025、軟體1030、收發機1035、天線1040和I/O控制器1045。該等元件可以經由一或多個匯流排（例如，匯流排1010）來進行電子通訊。

處理器1020可以包括智慧硬體設備（諸如通用處理器、DSP、中央處理單元（CPU）、微控制器、ASIC、FPGA、可程式邏輯設備、個別閘門或者電晶體邏輯元件、個別硬體元件或者其任意組合）。在一些情況下，處理器1020可以被配置為使用記憶體控制器來操作記憶體陣列。在其他情況下，記憶體控制器可以被整合到處理器1020中。處理器1020可以被配置為執行儲存在記憶體中的電腦可讀取指令以執行各種功能（例如，支援利用強化學習的自我調整功率節省的功能或任務）。

記憶體1025可以包括隨機存取記憶體（RAM）和唯讀記憶體（ROM）。記憶體1025可以儲存電腦可讀的、電腦可執行的軟體1030，該軟體1030包括當被執行時使得處理器執行本文描述的各種功能的指令。在一些情況下，除了別的之外，記憶體1025亦可以包含基本輸入/輸出系統（BIOS），其可以控制基本的硬體及/或軟體操作，諸如與周邊元件或設備的互動。

軟體1030可以包括用於實施本案內容的態樣的代碼，包括用於支援利用強化學習的自我調整功率節省的代碼。軟體1030可以被儲存在非暫態電腦可讀取媒體（諸如系統記憶體或其他記憶體）中。在一些情況下，軟體1030可能不是能夠由處理器直接執行的，但是可以使得電腦（例如，當被編譯和被執行時）執行本文描述的功能。

收發機1035可以經由一或多個天線、有線或無線鏈路來雙向地進行通訊，如前述。例如，收發機1035可以表示無線收發機並且可以與另一個無線收發機雙向地進行通訊。收發機1035亦可以包括數據機，其用於調制封包並且將所調制的封包提供給天線以進行傳輸，並且解調從天線接收的封包。

在一些情況下，無線設備可以包括單個天線1040。然而，在一些情況下，設備可以具有多於一個的天線1040，其能夠同時地發送或接收多個無線傳輸。

I/O控制器1045可以管理設備1005的輸入信號和輸出信號。I/O控制器1045亦可以管理沒有被整合到設備1005中的周邊設備。在一些情況下，I/O控制器1045可以表示到外部周邊設備的實體連接或埠。在一些情況下，I/O控制器1045可以利用諸如iOS®、ANDROID®、MS-DOS®、MS-WINDOWS®、OS/2®、UNIX®、LINUX®的作業系統或另一種已知的作業系統。在其他情況下，I/O控制器1045可以表示數據機、鍵盤、滑鼠、觸控式螢幕或類似設備或者與上述設備進行互動。在一些情況下，I/O控制器1045可以被實施成處理器的一部分。在一些情況下，使用者可以經由I/O控制器1045或者經由由I/O控制器1045控制的硬體元件來與設備1005進行互動。

圖11圖示根據本案內容的各個態樣用於利用強化學習的自我調整功率節省的方法1100的流程圖。方法1100的操作可以由STA 115或其元件實施，如本文描述的。例如，方法1100的操作可以由功率節省管理器來執行，如參照圖7至10描述的。在一些實例中，STA 115可以執行代碼集以控制設備的功能要素來執行下文描述的功能。另外地或替代地，STA 115可以使用專用硬體來執行下文描述的功能的態樣。

在方塊1105處，當在第一功率模式下時，STA 115可以在第一活動通訊時段期間與AP進行通訊。可以根據參照圖1至6描述的方法來執行方塊1105的操作。在某些實例中，方塊1105的操作的態樣可以由活動通訊管理器來執行，如參照圖7至10描述的。

在方塊1110處，STA 115可以切換到第二功率模式以轉變到睡眠時段。可以根據參照圖1至6描述的方法來執行方塊1110的操作。在某些實例中，方塊1110的操作的態樣可以由功率模式切換管理器來執行，如參照圖7至10描述的。

在方塊1115處，STA 115可以至少部分地基於訊務指示符度量，來決定是否執行推測性喚醒並且在睡眠模式結束時切換到第一功率模式。可以根據參照圖1至6描述的方法來執行方塊1115的操作。在某些實例中，方塊1115的操作的態樣可以由推測性喚醒管理器來執行，如參照圖7至10描述的。

圖12圖示根據本案內容的各個態樣說明用於利用強化學習的自我調整功率節省的方法1200的流程圖。方法1200的操作可以由STA 115或其元件實施，如本文描述的。例如，方法1200的操作可以由功率節省管理器來執行，如參照圖7至10描述的。在一些實例中，STA 115可以執行代碼集以控制設備的功能要素來執行下文描述的功能。另外地或替代地，STA 115可以使用專用硬體來執行下文描述的功能的態樣。

在方塊1205處，當在第一功率模式下時，STA 115可以在第一活動通訊時段期間與AP進行通訊。可以根據參照圖1至6描述的方法來執行方塊1205的操作。在某些實例中，方塊1205的操作的態樣可以由活動通訊管理器來執行，如參照圖7至10描述的。

在方塊1210處，STA 115可以切換到第二功率模式以轉變到睡眠時段。可以根據參照圖1至6描述的方法來執行方塊1210的操作。在某些實例中，方塊1210的操作的態樣可以由功率模式切換管理器來執行，如參照圖7至10描述的。

在方塊1215處，STA 115可以至少部分地基於訊務指示符度量，來決定是否執行推測性喚醒並且在睡眠模式結束時切換到第一功率模式。可以根據參照圖1至6描述的方法來執行方塊1215的操作。在某些實例中，方塊1215的操作的態樣可以由推測性喚醒管理器來執行，如參照圖7至10描述的。

在方塊1220處，STA 115可以決定執行推測性喚醒並且切換到第一功率模式。可以根據參照圖1至6描述的方法來執行方塊1220的操作。在某些實例中，方塊1220的操作的態樣可以由推測性喚醒管理器來執行，如參照圖7至10描述的。

在方塊1225處，STA 115可以發送包括功率管理位元的資料空訊息，功率管理位元被設置為零以促進切換到第一功率模式。可以根據參照圖1至6描述的方法來執行方塊1225的操作。在某些實例中，方塊1225的操作的態樣可以由功率模式改變管理器來執行，如參照圖7至10描述的。

圖13圖示根據本案內容的各個態樣說明用於利用強化學習的自我調整功率節省的方法1300的流程圖。方法1300的操作可以由STA 115或其元件實施，如本文描述的。例如，方法1300的操作可以由功率節省管理器來執行，如參照圖7至10描述的。在一些實例中，STA 115可以執行代碼集以控制設備的功能要素來執行下文描述的功能。另外地或替代地，STA 115可以使用專用硬體來執行下文描述的功能的態樣。

在方塊1305處，STA 115可以在無線站處並且在觀察訊窗期間，監測與功率模式改變相關聯的一或多個度量。可以根據參照圖1至6描述的方法來執行方塊1305的操作。在某些實例中，方塊1305的操作的態樣可以由觀察訊窗管理器來執行，如參照圖7至10描述的。

在方塊1310處，STA 115可以基於一或多個度量來更新ITO LUT的一或多個值。可以根據參照圖1至6描述的方法來執行方塊1310的操作。在某些實例中，方塊1310的操作的態樣可以由ITO管理器來執行，如參照圖7至10描述的。

在方塊1315處，STA 115可以至少部分地基於所更新的ITO LUT來更新ITO時段。可以根據參照圖1至6描述的方法來執行方塊1315的操作。在某些實例中，方塊1315的操作的態樣可以由ITO管理器來執行，如參照圖7至10描述的。

圖14圖示根據本案內容的各個態樣說明用於利用強化學習的自我調整功率節省的方法1400的流程圖。方法1400的操作可以由STA 115或其元件實施，如本文描述的。例如，方法1400的操作可以由功率節省管理器來執行，如參照圖7至10描述的。在一些實例中，STA 115可以執行代碼集以控制設備的功能要素來執行下文描述的功能。另外地或替代地，STA 115可以使用專用硬體來執行下文描述的功能的態樣。

在方塊1405處，STA 115可以在無線站處並且在觀察訊窗期間，監測與推測性功率模式改變相關聯的一或多個度量。可以根據參照圖1至6描述的方法來執行方塊1405的操作。在某些實例中，方塊1405的操作的態樣可以由觀察訊窗管理器來執行，如參照圖7至10描述的。

在方塊1410處，STA 115可以基於一或多個度量來更新ITO LUT的一或多個值。可以根據參照圖1至6描述的方法來執行方塊1410的操作。在某些實例中，方塊1410的操作的態樣可以由ITO管理器來執行，如參照圖7至10描述的。

在方塊1415處，STA 115可以至少部分地基於所更新的ITO LUT來更新ITO時段。可以根據參照圖1至6描述的方法來執行方塊1415的操作。在某些實例中，方塊1415的操作的態樣可以由ITO管理器來執行，如參照圖7至10描述的。

在方塊1420處，STA 115可以監測訊務壅塞度量。可以根據參照圖1至6描述的方法來執行方塊1420的操作。在某些實例中，方塊1420的操作的態樣可以由訊務度量管理器來執行，如參照圖7至10描述的。

在方塊1425處，STA 115可以基於訊務壅塞度量來參照ITO LUT表以決定所更新的ITO時段。可以根據參照圖1至6描述的方法來執行方塊1425的操作。在某些實例中，方塊1425的操作的態樣可以由訊務度量管理器來執行，如參照圖7至10描述的。

應當注意的是，上文描述的方法描述了可能的實現方式，並且可以重新安排或以其他方式修改操作和步驟，並且其他實現方式是可能的。此外，可以組合來自該等方法中的兩種或更多種方法的態樣。

本文所描述的技術可以用於各種無線通訊系統，諸如分碼多工存取（CDMA）、分時多工存取（TDMA）、分頻多工存取（FDMA）、正交分頻多工存取（OFDMA）、單載波分頻多工存取（SC-FDMA）以及其他系統。術語「系統」和「網路」經常被互換使用。分碼多工存取（CDMA）系統可以實施諸如CDMA 2000、通用陸地無線電存取（UTRA）等的無線電技術。CDMA 2000覆蓋IS-2000、IS-95和IS-856標準。IS-2000版本可以通常被稱為CDMA2000 1X、1X等。IS-856（TIA-856）通常被稱為CDMA2000 1xEV-DO、高速封包資料（HRPD）等。UTRA包括寬頻CDMA（WCDMA）和CDMA的其他變形。分時多工存取（TDMA）系統可以實施諸如行動通訊全球系統（GSM）的無線電技術。正交分頻多工存取（OFDMA）系統可以實施諸如超行動寬頻（UMB）、進化型UTRA（E-UTRA）、IEEE 802.11（Wi-Fi）、IEEE 802.16（WiMAX）、IEEE 802.20、快閃OFDM等的無線電技術。

本文描述的一或多個無線通訊系統可以支援同步操作或非同步操作。對於同步操作，站可以具有相似的訊框時序，並且來自不同站的傳輸可以在時間上大致對準。對於非同步操作，站可以具有不同的訊框時序，並且來自不同站的傳輸可以不在時間上對準。本文描述的技術可以用於同步操作或非同步作業。

本文描述的下行鏈路傳輸亦可以被稱為前向鏈路傳輸，而上行鏈路傳輸亦可以被稱為反向鏈路傳輸。本文描述的每個通訊鏈路（包括例如圖1的無線通訊系統100）可以包括一或多個載波，其中每個載波可以是由多個次載波（例如，不同頻率的波形信號）構成的信號。

本文結合附圖闡述的說明描述了示例性配置，而不表示可以被實施或在請求項的範圍內的所有實例。本文所使用的術語「示例性」意謂「作為示例、實例或說明」，並且不是「優選的」或者「比其他實例有優勢」。為了提供對所描述的技術的理解的目的，具體實施方式包括具體細節。但是，可以在沒有該等具體細節的情況下實施該等技術。在一些實例中，眾所周知的結構和設備以方塊圖形式示出，以便避免模糊所描述的實例的概念。

在附圖中，相似的元件或特徵可以具有相同的元件符號。此外，相同類型的各種元件可以藉由在元件符號後跟有破折號和第二元件符號進行區分，該第二元件符號用於在相似元件之間進行區分。若在說明書中僅使用了第一元件符號，則描述內容可以應用到具有相同的第一元件符號的相似元件中的任何一個，而不考慮第二元件符號。

本文所描述的資訊和信號可以使用多種不同的技術和技藝中的任何一種來表示。例如，遍及以上描述所提及的資料、指令、命令、資訊、信號、位元、符號和碼片可以由電壓、電流、電磁波、磁場或粒子、光場或粒子或者其任意組合來表示。

結合本文揭示內容描述的各種說明性的方塊和模組可以利用被設計為執行本文描述的功能的通用處理器、DSP、ASIC、FPGA或其他可程式邏輯設備、個別閘門或者電晶體邏輯、個別硬體元件或者其任意組合來實施或執行。通用處理器可以是微處理器，但是在替代的方式中，處理器可以是任何一般的處理器、控制器、微控制器或狀態機。處理器亦可以被實施為計算設備的組合（例如，DSP和微處理器的組合、多個微處理器、一或多個微處理器與DSP核心的結合，或者任何其他此種配置）。

本文所描述的功能可以在硬體、由處理器執行的軟體、韌體或其任意組合中實施。若在由處理器執行的軟體中實施，則該等功能可以作為一或多個指令或代碼被儲存在電腦可讀取媒體上或者經由其進行傳輸。其他實例和實現方式在本案內容和所附的請求項的範圍內。例如，由於軟體的特性，所以可以使用由處理器執行的軟體、硬體、韌體、硬佈線或該等項中的任意項的組合來實施以上描述的功能。用於實施功能的特徵亦可以實體地位於各個位置，包括被分佈以使得在不同的實體位置處實施功能中的部分功能。此外，如本文所使用的（包括在申請專利範圍中），如項目清單（例如，以諸如「……中的至少一個」或「……中的一或多個」的用語結束的項目清單）中所使用的「或」指示包括性清單，使得例如，A、B或C中的至少一個的清單意謂：A或B或C或AB或AC或BC或ABC（亦即，A和B和C）。如本文所使用的，用語「基於」不應當被解釋為對封閉的條件集合的引用。例如，在不脫離本案內容的範圍的情況下，被描述為「基於條件A」的示例性步驟可以基於條件A和條件B兩者。換句話說，如本文所使用的，應當以與解釋用語「至少部分地基於」相同的方式來解釋用語「基於」。

電腦可讀取媒體包括非暫態電腦儲存媒體和通訊媒體二者，該通訊媒體包括促進電腦程式從一個地方傳送到另一個地方的任何媒體。非暫態儲存媒體可以是能夠由通用或專用電腦存取的任何可用的媒體。舉例而言（但並非限制），非暫態電腦可讀取媒體可以包括RAM、ROM、電子可抹除可程式設計唯讀記憶體（EEPROM）、光碟（CD）ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存設備，或者可以用於以指令或資料結構的形式攜帶或儲存期望的程式碼單元以及可以由通用或專用電腦或通用或專用處理器來存取的任何其他非暫態媒體。此外，任何連接被適當地稱為電腦可讀取媒體。例如，若使用同軸電纜、光纖電纜、雙絞線、數位用戶線（DSL）或無線技術（例如紅外線、無線電和微波）從網站、伺服器或其他遠端源反射軟體，則該同軸電纜、光纖電纜、雙絞線、DSL或無線技術（例如紅外線、無線電和微波）被包括在媒體的定義中。如本文所使用的，磁碟和光碟包括CD、雷射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地再現資料，而光碟則利用雷射來光學地再現資料。上述的組合亦被包括在電腦可讀取媒體的範圍內。

提供本文的描述，以使本領域技藝人士能夠實現或使用本案內容。對本案內容的各種修改對於本領域技藝人士將是顯而易見的，以及在不脫離本案內容的範圍的情況下，本文所定義的通用原則可以應用到其他變形中。因此，本案內容不意欲受限於本文描述的實例和設計，而是符合與本文所揭示的原則和新穎性特徵相一致的最寬的範圍。

100‧‧‧無線區域網路（WLAN）

110‧‧‧覆蓋區域

115‧‧‧STA

120‧‧‧直接無線鏈路

125‧‧‧直接無線鏈路

200‧‧‧過程

205‧‧‧STA

210‧‧‧AP

215‧‧‧操作

220‧‧‧操作

225‧‧‧操作

300‧‧‧功率節省配置

302‧‧‧活動模式

304‧‧‧睡眠模式

305-a‧‧‧信標

305-b‧‧‧信標

305-c‧‧‧信標

305-d‧‧‧信標

305-e‧‧‧信標

305-f‧‧‧信標

310‧‧‧操作

315-a‧‧‧資料時段

320-a‧‧‧ITO時段

320-b‧‧‧ITO時段

325-a‧‧‧功率模式改變

325-b‧‧‧功率模式改變

325-c‧‧‧功率模式改變

330-a‧‧‧資料時段

330-b‧‧‧資料時段

335-a‧‧‧ITO時段

335-b‧‧‧ITO時段

340‧‧‧ITO時段

400‧‧‧功率節省配置

405-a‧‧‧信標

405-b‧‧‧信標

405-c‧‧‧信標

405-d‧‧‧信標

410‧‧‧資料

415‧‧‧功率模式改變

420‧‧‧資料時段

425‧‧‧ITO時段

430‧‧‧功率模式改變

435‧‧‧功率模式改變

440‧‧‧ITO時段

500‧‧‧功率節省配置

505-a‧‧‧信標

505-b‧‧‧信標

505-c‧‧‧信標

505-d‧‧‧信標

510‧‧‧資料

515‧‧‧資料

520‧‧‧功率模式改變

525‧‧‧資料時段

530‧‧‧ITO時段

535‧‧‧功率模式改變

540‧‧‧功率模式改變

545‧‧‧資料時段

550‧‧‧ITO時段

555‧‧‧功率模式改變

560‧‧‧功率模式改變

565‧‧‧ITO時段

600‧‧‧過程

605‧‧‧STA

610‧‧‧AP

615‧‧‧操作

620‧‧‧操作

625‧‧‧操作

700‧‧‧方塊圖

705‧‧‧無線設備

710‧‧‧接收器

715‧‧‧功率節省管理器

720‧‧‧發射器

800‧‧‧方塊圖

805‧‧‧無線設備

810‧‧‧接收器

815‧‧‧功率節省管理器

820‧‧‧發射器

825‧‧‧活動通訊管理器

830‧‧‧功率模式切換管理器

835‧‧‧推測性喚醒管理器

840‧‧‧觀察訊窗管理器

845‧‧‧ITO管理器

900‧‧‧方塊圖

915‧‧‧功率節省管理器

920‧‧‧活動通訊管理器

925‧‧‧功率模式切換管理器

930‧‧‧推測性喚醒管理器

935‧‧‧觀察訊窗管理器

940‧‧‧ITO管理器

945‧‧‧功率模式改變管理器

950‧‧‧訊務度量管理器

955‧‧‧傳輸量管理器

960‧‧‧信標傳輸管理器

965‧‧‧語音撥叫管理器

1000‧‧‧系統

1005‧‧‧設備

1010‧‧‧匯流排

1015‧‧‧功率節省管理器

1020‧‧‧處理器

1025‧‧‧記憶體

1030‧‧‧軟體

1035‧‧‧收發機

1040‧‧‧天線

1045‧‧‧I/O控制器

1100‧‧‧方法

1105‧‧‧操作

1110‧‧‧操作

1115‧‧‧操作

1200‧‧‧方法

1205‧‧‧操作

1210‧‧‧操作

1215‧‧‧操作

1220‧‧‧操作

1225‧‧‧操作

1300‧‧‧方法

1305‧‧‧操作

1310‧‧‧操作

1315‧‧‧操作

1400‧‧‧方法

1405‧‧‧操作

1410‧‧‧操作

1415‧‧‧操作

1420‧‧‧操作

1425‧‧‧操作

圖1圖示根據本案內容的態樣支援利用強化學習的自我調整功率節省的無線通訊系統的實例。

圖2圖示根據本案內容的態樣支援利用強化學習的自我調整功率節省的過程的實例。

圖3圖示根據本案內容的態樣支援利用強化學習的自我調整功率節省的功率節省配置的實例。

圖4圖示根據本案內容的態樣支援利用強化學習的自我調整功率節省的功率節省配置的實例。

圖5圖示根據本案內容的態樣支援利用強化學習的自我調整功率節省的功率節省配置的實例。

圖6圖示根據本案內容的態樣支援利用強化學習的自我調整功率節省的過程的實例。

圖7至9圖示根據本案內容的態樣支援利用強化學習的自我調整功率節省的設備的方塊圖。

圖10圖示根據本案內容的態樣包括支援利用強化學習的自我調整功率節省的無線站（STA）的系統的方塊圖。

圖11至14圖示根據本案內容的態樣用於利用強化學習的自我調整功率節省的方法。

國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無

國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無

Claims (48)

1. 一種用於無線通訊的方法，包括以下步驟： 當在一第一功率模式下時，在一第一活動通訊時段期間與一存取點（AP）進行通訊； 切換到一第二功率模式以轉變到一睡眠時段；及 至少部分地基於一訊務指示符度量，決定是否執行一推測性喚醒並且在睡眠模式結束時切換到該第一功率模式。
2. 如請求項1所述之方法，進一步包括以下步驟： 決定執行該推測性喚醒並且切換到該第一功率模式；及 發送包括一功率管理位元的一資料空訊息，該功率管理位元被設置為零以促進切換到該第一功率模式。
3. 如請求項1所述之方法，進一步包括以下步驟： 決定在該第一活動通訊時段期間一訊務活動位準已經超過一閾值，其中該訊務指示符度量是至少部分地基於該訊務活動位準超過該閾值的。
4. 如請求項1所述之方法，進一步包括以下步驟： 決定一訊務壅塞程度已經超過一閾值，其中該訊務指示符度量是至少部分地基於該訊務壅塞程度超過該閾值的。
5. 如請求項1所述之方法，進一步包括以下步驟： 識別與複數個推測性喚醒相關聯的一觀察訊窗； 決定在該複數個推測性喚醒中的一預定數量的推測性喚醒期間一下行鏈路活動位準是否已經超過一第一閾值；及 決定在該複數個推測性喚醒中的該預定數量的推測性喚醒期間一上行鏈路活動位準是否已經超過一第二閾值，其中該訊務指示符度量是至少部分地基於該下行鏈路活動位準超過該第一閾值和該上行鏈路活動位準超過該第二閾值的。
6. 如請求項1所述之方法，進一步包括以下步驟： 識別與複數個推測性喚醒相關聯的一觀察訊窗； 決定在該複數個推測性喚醒中的一預定數量的推測性喚醒期間一下行鏈路傳輸量位準是否已經超過一第一閾值；及 決定在該複數個推測性喚醒中的該預定數量的推測性喚醒期間一上行鏈路傳輸量位準是否已經超過一第二閾值，其中該訊務指示符度量是至少部分地基於該下行鏈路傳輸量位準超過該第一閾值和該上行鏈路傳輸量位準超過該第二閾值的。
7. 如請求項1所述之方法，進一步包括以下步驟： 識別與複數個推測性喚醒相關聯的一觀察訊窗； 決定在該觀察訊窗期間一下行鏈路活動位準是否已經超過一第一閾值；及 決定在該觀察訊窗期間一上行鏈路活動位準是否已經超過一第二閾值，其中該訊務指示符度量是至少部分地基於該下行鏈路活動位準超過該第一閾值和該上行鏈路活動位準超過該第二閾值的。
8. 如請求項1所述之方法，進一步包括以下步驟： 識別與複數個推測性喚醒相關聯的一觀察訊窗； 決定在該觀察訊窗期間一下行鏈路傳輸量位準是否已經超過一第一閾值；及 決定在該觀察訊窗期間一上行鏈路傳輸量位準是否已經超過一第二閾值，其中該訊務指示符度量是至少部分地基於該下行鏈路傳輸量位準超過該第一閾值和該上行鏈路傳輸量位準超過該第二閾值的。
9. 如請求項1所述之方法，進一步包括以下步驟： 決定一先前的推測性喚醒未能產生資料通訊；及 決定不執行該推測性喚醒和切換到該第一功率模式。
10. 如請求項1所述之方法，進一步包括以下步驟： 使用與該第一活動通訊時段相關聯的一第一不活動超時（ITO）；及 使用與該推測性喚醒相關聯的一第二ITO，其中與該第一ITO相比，該第二ITO在時間上更短。
11. 如請求項10所述之方法，進一步包括以下步驟： 決定資料是在一推測性喚醒期間被傳送的；及 在該推測性喚醒期間從該第二ITO切換到該第一ITO。
12. 如請求項1所述之方法，進一步包括以下步驟： 決定一信標傳輸時間在從該睡眠時段的該結束起的一預定時間段內；及 至少部分地基於該信標傳輸時間，決定不執行一推測性喚醒和切換到該第一功率模式。
13. 如請求項1所述之方法，進一步包括以下步驟： 在該睡眠時段期間，偵測一語音撥叫正在進行；及 至少部分地基於該正在進行的語音撥叫，決定執行該推測性喚醒並且切換到該第一功率模式。
14. 一種用於無線通訊的方法，包括以下步驟： 在一無線站處並且在一觀察訊窗期間，監測與功率模式改變相關聯的一或多個度量； 基於該一或多個度量來更新一不活動超時（ITO）檢視表（LUT）的一或多個值；及 至少部分地基於該經更新的ITO LUT來更新一ITO時段。
15. 如請求項14所述之方法，其中： 監測與功率模式改變相關聯的一或多個度量之步驟進一步包括以下步驟：在該觀察訊窗期間，監測被接收用於該無線站的訊務指示符圖（TIM）訊息的一數量。
16. 如請求項15所述之方法，進一步包括以下步驟： 至少部分地基於被接收用於該無線站的該等TIM訊息的該數量來更新用於執行推測性喚醒的一速率。
17. 如請求項16所述之方法，進一步包括以下步驟： 基於該等TIM訊息的一數量超過一閾值來更新該ITO LUT以延長該ITO時段。
18. 如請求項14所述之方法，其中： 監測與功率模式改變相關聯的一或多個度量之步驟進一步包括以下步驟：在該觀察訊窗期間，監測產生資料通訊的推測性喚醒的一數量。
19. 如請求項18所述之方法，進一步包括以下步驟： 基於產生資料通訊的該推測性喚醒的數量落在一閾值以下，更新該ITO LUT以縮減一ITO時段。
20. 如請求項14所述之方法，其中監測與功率模式改變相關聯的一或多個度量之步驟進一步包括以下步驟： 在該觀察訊窗期間，監測針對與該無線站相關聯的資料通訊的一潛時。
21. 如請求項20所述之方法，進一步包括以下步驟： 至少部分地基於針對與該無線站相關聯的該資料通訊的潛時來更新用於執行推測性喚醒的一速率。
22. 如請求項14所述之方法，其中： 監測與功率模式改變相關聯的一或多個度量之步驟進一步包括以下步驟：在該觀察訊窗期間，監測去往和來自該無線站的訊務的一往返時間（RTT）。
23. 如請求項14所述之方法，進一步包括以下步驟： 監測一訊務壅塞度量；及 基於該訊務壅塞度量來參照該ITO LUT表以決定該經更新的ITO時段。
24. 一種用於無線通訊的裝置，包括： 用於當在一第一功率模式下時，在一第一活動通訊時段期間與一存取點（AP）進行通訊的構件； 用於切換到一第二功率模式以轉變到一睡眠時段的構件；及 用於至少部分地基於一訊務指示符度量，決定是否執行一推測性喚醒並且在睡眠模式結束時切換到該第一功率模式的構件。
25. 一種用於無線通訊的裝置，包括：一處理器、與該處理器進行電通訊的記憶體以及儲存在該記憶體中的指令，該等指令在由該處理器執行時能夠操作用於使得該裝置進行以下操作： 當在一第一功率模式下時，在一第一活動通訊時段期間與一存取點（AP）進行通訊； 切換到一第二功率模式以轉變到一睡眠時段；及 至少部分地基於一訊務指示符度量，決定是否執行一推測性喚醒並且在睡眠模式結束時切換到該第一功率模式。
26. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 決定執行該推測性喚醒並且切換到該第一功率模式；及 發送包括一功率管理位元的一資料空訊息，該功率管理位元被設置為零以促進切換到該第一功率模式。
27. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作：決定在該第一活動通訊時段期間一訊務活動位準已經超過一閾值，其中該訊務指示符度量是至少部分地基於該訊務活動位準超過該閾值的。
28. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作：決定一訊務壅塞程度已經超過一閾值，其中該訊務指示符度量是至少部分地基於該訊務壅塞程度超過該閾值的。
29. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 識別與複數個推測性喚醒相關聯的一觀察訊窗； 決定在該複數個推測性喚醒中的一預定數量的推測性喚醒期間一下行鏈路活動位準是否已經超過一第一閾值；及 決定在該複數個推測性喚醒中的該預定數量的推測性喚醒期間一上行鏈路活動位準是否已經超過一第二閾值，其中該訊務指示符度量是至少部分地基於該下行鏈路活動位準超過該第一閾值和該上行鏈路活動位準超過該第二閾值的。
30. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 識別與複數個推測性喚醒相關聯的一觀察訊窗； 決定在該複數個推測性喚醒中的一預定數量的推測性喚醒期間一下行鏈路傳輸量位準是否已經超過一第一閾值；及 決定在該複數個推測性喚醒中的該預定數量的推測性喚醒期間一上行鏈路傳輸量位準是否已經超過一第二閾值，其中該訊務指示符度量是至少部分地基於該下行鏈路傳輸量位準超過該第一閾值和該上行鏈路傳輸量位準超過該第二閾值的。
31. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 識別與複數個推測性喚醒相關聯的一觀察訊窗； 決定在該觀察訊窗期間一下行鏈路活動位準是否已經超過一第一閾值；及 決定在該觀察訊窗期間一上行鏈路活動位準是否已經超過一第二閾值，其中該訊務指示符度量是至少部分地基於該下行鏈路活動位準超過該第一閾值和該上行鏈路活動位準超過該第二閾值的。
32. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 識別與複數個推測性喚醒相關聯的一觀察訊窗； 決定在該觀察訊窗期間一下行鏈路傳輸量位準是否已經超過一第一閾值；及 決定在該觀察訊窗期間一上行鏈路傳輸量位準是否已經超過一第二閾值，其中該訊務指示符度量是至少部分地基於該下行鏈路傳輸量位準超過該第一閾值和該上行鏈路傳輸量位準超過該第二閾值的。
33. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 決定一先前的推測性喚醒未能產生資料通訊；及 決定不執行該推測性喚醒和切換到該第一功率模式。
34. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 使用與該第一活動通訊時段相關聯的一第一不活動超時（ITO）；及 使用與該推測性喚醒相關聯的一第二ITO，其中與該第一ITO相比，該第二ITO在時間上更短。
35. 如請求項34所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 決定資料在一推測性喚醒期間被傳送；及 在該推測性喚醒期間從該第二ITO切換到該第一ITO。
36. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 決定一信標傳輸時間在從該睡眠時段的該結束起的一預定時間段內；及 至少部分地基於該信標傳輸時間，決定不執行一推測性喚醒和切換到該第一功率模式。
37. 如請求項25所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 在該睡眠時段期間，偵測一語音撥叫正在進行；及 至少部分地基於該正在進行的語音撥叫，決定執行該推測性喚醒並且切換到該第一功率模式。
38. 一種用於無線通訊的裝置，包括一處理器、與該處理器進行電通訊的記憶體以及儲存在該記憶體中的指令，該等指令在由該處理器執行時能夠操作用於使得該裝置進行以下操作： 在一無線站處並且在一觀察訊窗期間，監測與功率模式改變相關聯的一或多個度量； 基於該一或多個度量，更新一不活動超時（ITO）檢視表（LUT）的一或多個值；及 至少部分地基於該經更新的ITO LUT來更新一ITO時段。
39. 如請求項38所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 監測與功率模式改變相關聯的一或多個度量進一步包括：在該觀察訊窗期間，監測被接收用於該無線站的訊務指示符圖（TIM）訊息的一數量。
40. 如請求項39所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作：至少部分地基於被接收用於該無線站的該等TIM訊息的該數量來更新用於執行推測性喚醒的一速率。
41. 如請求項40所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作：基於該等TIM訊息的數量超過一閾值來更新該ITO LUT以延長該ITO時段。
42. 如請求項38所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 監測與功率模式改變相關聯的一或多個度量進一步包括：在該觀察訊窗期間，監測產生資料通訊的推測性喚醒的一數量。
43. 如請求項42所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作：基於產生資料通訊的該等推測性喚醒的數量落在一閾值以下，更新該ITO LUT以縮減一ITO時段。
44. 如請求項38所述之裝置，其中用於監測與功率模式改變相關聯的一或多個度量的該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作：在該觀察訊窗期間，監測針對與該無線站相關聯的資料通訊的一潛時。
45. 如請求項44所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作：至少部分地基於針對與該無線站相關聯的資料通訊的該潛時來更新用於執行推測性喚醒的一速率。
46. 如請求項38所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 監測與功率模式改變相關聯的一或多個度量進一步包括：在該觀察訊窗期間，監測去往和來自該無線站的訊務的一往返時間（RTT）。
47. 如請求項38所述之裝置，其中該等指令進一步能夠由該處理器執行用於使得該裝置進行以下操作： 監測一訊務壅塞度量；及 基於該訊務壅塞度量來參照該ITO LUT表以決定該經更新的ITO時段。
48. 一種儲存用於無線通訊的代碼的非暫態電腦可讀取媒體，該代碼包括能夠由一處理器執行用於進行以下操作的指令： 當在一第一功率模式下時，在一第一活動通訊時段期間與一存取點（AP）進行通訊； 切換到一第二功率模式以轉變到一睡眠時段；及 至少部分地基於一訊務指示符度量，決定是否執行一推測性喚醒並且在睡眠模式結束時切換到該第一功率模式。