TWI748794B

TWI748794B - 基於類神經網路的波束選擇方法及管理伺服器

Info

Publication number: TWI748794B
Application number: TW109143790A
Authority: TW
Inventors: 陳昱安; 方敬勻; 蔡佳霖; 湯凱傑; 龍蒂涵; 唐之璇
Original assignee: 中華電信股份有限公司
Priority date: 2020-12-11
Filing date: 2020-12-11
Publication date: 2021-12-01
Also published as: TW202224472A

Abstract

本發明提供一種基於類神經網路的波束選擇方法及管理伺服器。所述方法包括：取得經歷第一及第二訓練過程的類神經網路；決定各基地台的發射波束，並據以量測各基地台在特定場域的訊號強度分布圖；取得多個用戶裝置在特定場域中的位置分布圖；依據位置分布圖及各基地台的訊號強度分布圖產生第一矩陣；將第一矩陣輸入至類神經網路，其中類神經網路依據第一矩陣輸出第二矩陣；基於第二矩陣決定各基地台對應的最佳發射波束；以及控制各基地台使用對應的最佳發射波束發射信號。

Description

基於類神經網路的波束選擇方法及管理伺服器

本發明是有關於一種為基地台選擇波束的技術，且特別是有關於一種基於類神經網路的波束選擇方法及管理伺服器。

由於用戶對行動網路數據量需求日益漸增，行動通訊網路已朝向異質性網路（Heterogeneous Network，HetNet）發展。在此情況下，多層次及高密度的基地台佈建方式為各營運商發展趨勢，其目的在於提高每單位面積的頻譜效率。

然而，在基地台的密集佈建環境下，基地台間干擾問題為營運商所需面對的重要議題之一。當基地台間干擾降低，系統的傳輸品質及頻譜效益會提升，進而提升整體用戶的傳輸感受。

在高密度基地台佈建還境下，小型化基地台(Small Cell)為營運商選擇方案之一，其特色為小功率、即插即用、佈建方便等，但也因此營運商對其管控較不易。另外，因小型化基地台功能較簡單，雖有即插即用功能，但若未能適當為小型化基地台選用發射波束，則其易對周圍其它基地台造成干擾。

有鑑於此，本發明提供一種基於類神經網路的波束選擇方法及管理伺服器，其可用於解決上述技術問題。

本發明提供一種基於類神經網路的波束選擇方法，適於管理多個基地台的一管理伺服器，所述多個基地台部署於一特定場域中，且各基地台具有多個發射波束。所述方法包括：取得經歷一第一訓練過程及一第二訓練過程的一第一類神經網路；決定各基地台的一第一發射波束，並據以量測各基地台在特定場域的一特定訊號強度分布圖；取得多個用戶裝置在特定場域中的一特定位置分布圖；依據特定位置分布圖及各基地台的特定訊號強度分布圖產生一第一特定矩陣；將第一特定矩陣輸入至第一類神經網路，其中第一類神經網路依據第一特定矩陣輸出一第二特定矩陣，其中第二特定矩陣包括各基地台選用各發射波束的一機率；基於第二特定矩陣決定各基地台對應的一最佳發射波束；以及控制各基地台使用對應的最佳發射波束發射信號。

本發明提供一種管理伺服器，其管理部署於一特定場域中的多個基地台，且各基地台具有多個發射波束。所述管理伺服器包括儲存電路及處理器。儲存電路儲存多個模組。處理器耦接儲存電路，存取所述多個模組以執行下列步驟：取得經歷一第一訓練過程及一第二訓練過程的一第一類神經網路；決定各基地台的一第一發射波束，並據以量測各基地台在特定場域的一特定訊號強度分布圖；取得多個用戶裝置在特定場域中的一特定位置分布圖；依據特定位置分布圖及各基地台的特定訊號強度分布圖產生一第一特定矩陣；將第一特定矩陣輸入至第一類神經網路，其中第一類神經網路依據第一特定矩陣輸出一第二特定矩陣，其中第二特定矩陣包括各基地台選用各發射波束的一機率；基於第二特定矩陣決定各基地台對應的一最佳發射波束；以及控制各基地台使用對應的最佳發射波束發射信號。

請參照圖1，其是依據本發明之一實施例繪示的通訊系統示意圖。在圖1中，通訊系統10可包括管理伺服器100及基地台111~11H，其中基地台111~11H例如是部署於一特定場域（其例如是長度為N，寬度為M的區域，但不限於此）中的小型化基地台，並可用於服務位罣特定場域中的多個用戶裝置。

在本發明的實施例中，基地台111~11H個別可具有多個可選的發射波束（其對應於不同的發射方向），而各基地台111~11H可選擇上述發射波束的其中一者發射信號。為便於說明，以下假設基地台111~11H個別具有3個發射波束（下稱發射波束1~發射波束3）可供選擇。亦即，各基地台111~11H可選擇所述3個發射波束的其中之一發射信號。

此外，如圖1所示，管理伺服器100可連接於基地台111~11H，並可用於管理基地台111~11H。在一些實施例中，管理伺服器110可接收各基地台111~11H回報的資訊，並據以為各基地台111~11H決定適合的發射波束。為便於說明，以下假設基地台111~11H的數量為4（即，H為4），但本發明可不限於此。

在圖1中，管理伺服器100包括儲存電路102及處理器104。儲存電路102例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合，而可用以記錄多個程式碼或模組。處理器104耦接於儲存電路102，並可為圖像處理單元（graphical processing unit，GPU）及其他類似品。

在本發明的實施例中，處理器104可存取儲存電路102中記錄的模組、程式碼來實現本發明提出的基於類神經網路的波束選擇方法，其細節詳述如下。

請參照圖2，其是依據本發明之一實施例繪示的基於類神經網路的波束選擇方法流程圖。本實施例的方法可由圖1的管理伺服器100執行，以下即搭配圖1所示的元件說明圖2各步驟的細節。

首先，在步驟S210中，處理器104可取得經歷第一訓練過程及第二訓練過程的第一類神經網路。在本發明的實施例中，第一類神經網路例如是一卷積神經網路，而其相關的第一訓練過程及第二訓練過程將在之後輔以圖4及圖5另行說明。

接著，在步驟S220中，處理器104可決定各基地台111~114的第一發射波束，並據以量測各基地台111~114在特定場域的特定訊號強度分布圖。在一實施例中，處理器104可隨機為各基地台111~114在上述3個發射波束中選擇一者作為第一發射波束。例如，處理器104可為基地台111~114分別選擇發射波束1、2、3、1作為基地台111~114的第一發射波束，但可不限於此。

為便於理解本發明的概念，以下另輔以圖3作進一步說明。請參照圖3，其是依據本發明之一實施例繪示的應用情境圖。如圖3所示，在決定各基地台111~114的第一發射波束之後，處理器104可從相關行動網路的資料庫中萃取所需的資料以產生各基地台111~114在特定場域的特定訊號強度分布圖ST1~ST4。

在圖3中，特定訊號強度分布圖ST1~ST4個別可表徵為一NxM的矩陣，而其中的每個矩陣元素可代表對應的基地台在特定場域中的對應位置的訊號強度，但可不限於此。

之後，在步驟S230中，處理器104可取得用戶裝置在特定場域中的特定位置分布圖PD1。在一實施例中，處理器104例如可從各基地台111~114取得所服務的用戶裝置所回報的測量報告（measurement report，MR）來估計各用戶裝置在特定場域中的位置，進而建構特定位置分布圖PD1，但可不限於此。

在步驟S240中依據特定位置分布圖PD1及各基地台111~114的特定訊號強度分布圖ST1~ST4產生第一特定矩陣SM1。

在圖3中，對應於特定場域的特定位置分布圖PD1（其維度例如是NxM）例如可包括多個黑點及白點，其中黑點代表特定場域中未有任何用戶裝置的位置，而白點則代表某個用戶裝置在特定場域中的位置，但可不限於此。

在一實施例中，處理器104可將特定位置分布圖PD1以分別對應於RGB的三張圖（其個別的維度亦為NxM）表示，其中對應於R的圖例如是特定位置分布圖PD1的R成分圖，對應於G的圖例如是特定位置分布圖PD1的G成分圖，而對應於B的圖例如是特定位置分布圖PD1的B成分圖。

相似地，處理器104亦可將特定訊號強度分布圖ST1~ST4個別拆解為分別對應於RGB的三張圖。換言之，處理器104可將特定位置分布圖PD1、特定訊號強度分布圖ST1~ST4轉換為5組RGB圖（即，共15張圖）。

在一實施例中，處理器104可將上述5組RGB圖疊合為一15xNxM的三維矩陣，以作為第一特定矩陣SM1，但可不限於此。

之後，在步驟S250中，處理器104可將第一特定矩陣SM1輸入至第一類神經網路NN1。在一實施例中，第一類神經網路NN1可依據第一特定矩陣SM1輸出第二特定矩陣SM2，其中第二特定矩陣SM2可包括各基地台111~114選用各發射波束的機率。

在一實施例中，由於基地台111~114的數量為4，且其個別具有3個發射波束，故第二特定矩陣SM2例如是一4x3的二維矩陣，其中第二特定矩陣SM2的第n列（

）的3個元素分別可代表基地台111~114中的第n個基地台選用發射波束1、2、3的機率（其總和為1）。舉例而言，當n為1時，第二特定矩陣SM2的第1列的3個元素分別可代表基地台111選用發射波束1、2、3的機率（其總和為1），而當n為2時，第二特定矩陣SM2的第2列的3個元素分別可代表基地台112選用發射波束1、2、3的機率（其總和為1），但可不限於此。

之後，在步驟S260中，處理器104可基於第二特定矩陣SM2決定各基地台111~114對應的最佳發射波束。在一實施例中，處理器104可對第二特定矩陣SM2取argmax運算子，以取得發射波束引數向量，並基於發射波束引數向量決定各基地台111~114對應的最佳發射波束。

舉例而言，假設第二特定矩陣SM2的內容可表示為下表一。

	發射波束1	發射波束2	發射波束3
基地台111	0.3	0.3	0.4
基地台112	0.4	0.5	0.1
基地台113	0.7	0.2	0.1
基地台114	0.8	0.1	0.1

表一。在此情況下，在處理器104對第二特定矩陣SM2取argmax運算子之後，例如可得到

的發射波束引數向量。

由上述發射波束引數向量可看出，基地台111最適合選擇發射波束3，基地台112最適合選擇發射波束2，基地台113最適合選擇發射波束1，且基地台114最適合選擇發射波束1，但可不限於此。換言之，基地台111~114的最佳發射波束分別例如是發射波束3、2、1、1，但可不限於此。

之後，在步驟S270中，處理器104可控制各基地台111~114使用對應的最佳發射波束發射信號。例如，處理器104可控制基地台111~114分別使用是發射波束3、2、1、1發射信號。

在本發明的一實施例中，透過適當地設計第一類神經網路NN1的第一訓練過程及第二訓練過程，可讓第一類神經網路NN1因應於第一特定矩陣SM1所輸出的第二特定矩陣SM2可表徵各基地台111~114應如何選擇發射波束方能降低彼此的干擾，從而提升特定場域內的傳輸品質及頻譜效益，進而改善特定場域中的用戶裝置的傳輸體驗。以下將針對第一訓練過程及第二訓練過程作進一步說明。

請參照圖4，其是依據本發明之一實施例繪示的第一訓練過程示意圖。本實施例的方法可由圖1的管理伺服器100執行，以下即搭配圖1所示的元件說明圖4各步驟的細節。

在本發明的實施例中，第一訓練過程可包括數個遞迴程序，而圖4的內容係對應於第一訓練過程中的第i個遞迴程序，但可不限於此。

首先，在步驟S411中，處理器104可決定第一類神經網路NN1的多個第一神經元權重。在一實施例中，當i為1時，處理器104可隨機產生上述第一神經元權重，但可不限於此。

在步驟S412中，處理器104可決定各基地台111~114的第二發射波束，並據以模擬各基地台111~114在特定場域的第一參考訊號強度分布圖。在一實施例中，當i為1時，處理器104可隨機為各基地台111~114在發射波束1、2、3中擇一作為對應的第二發射波束，其細節可參照先前實施例中的說明，於此不另贅述。之後，處理器104可藉由運行特定的模擬軟體來模擬各基地台111~114在特定場域的第一參考訊號強度分布圖。在本實施例中，各基地台111~114對應的第一參考訊號強度分布圖的形式可相似於圖3中的特定訊號強度分布圖ST1~ST4，但可不限於此。

在步驟S413中，處理器104可取得多個參考用戶裝置在特定場域中的參考位置分布圖。在一些實施例中，處理器104可依據各參考用戶裝置提供的MR決定其個別在特定場域中的位置，並據以建構參考位置分布圖，但可不限於此。在一實施例中，參考位置分布圖的形式可相似於圖3中的特定位置分布圖PD1，但可不限於此。

在步驟S414中，處理器104可依據參考位置分布圖及各基地台111~114的第一參考訊號強度分布圖產生第一參考矩陣。在本實施例中，處理器104可採用相似於先前實施例中提及的方式將參考位置分布圖及各基地台111~114的第一參考訊號強度分布圖個別轉換為對應的RGB圖，並將其疊合為一15xNxM的三維矩陣，以作為第一參考矩陣，但可不限於此。

在步驟S415中，處理器104可將第一參考矩陣輸入至第一類神經網路，其中第一類神經網路可依據第一參考矩陣輸出第二參考矩陣，其中第二參考矩陣包括各基地台111~114選用各發射波束的機率。在本實施例中，第二參考矩陣的形式可相似於第二特定矩陣SM2的形式，故其細節於此不另贅述。

在步驟S416中，處理器104可對第二參考矩陣取argmax運算子，以取得第一參考向量，並基於第一參考向量決定各基地台111~114對應的第三發射波束。在本實施例中，第一參考向量的形式可相似於上述發射波束引數向量，而處理器104決定各基地台111~114對應的第三發射波束的方式相似於處理器104基於上述發射波束引數向量為各基地台111~114決定最佳發射波束的方式，故其細節於此不另贅述。

在步驟S417中，處理器104可依據各基地台111~114對應的第三發射波束模擬各基地台111~114在特定場域的第二參考訊號強度分布圖。相似地，處理器104可藉由運行特定的模擬軟體來模擬各基地台111~114在特定場域的第二參考訊號強度分布圖。在本實施例中，各基地台111~114對應的第二參考訊號強度分布圖的形式可相似於圖3中的特定訊號強度分布圖ST1~ST4，但可不限於此。

在步驟S418中，處理器104可依據參考位置分布圖及各基地台111~114的第二參考訊號強度分布圖產生第三參考矩陣，並取得所述多個參考用戶裝置的一第一平均通訊品質。在本實施例中，第三參考矩陣例如是一15xNxM的三維矩陣，而其產生方式相似於第一參考矩陣的產生方式，故於此不另贅述。另外，上述第一平均通訊品質例如是所述多個參考用戶裝置的平均傳輸速度或其他可用於代表通訊品質的數據，但可不限於此。

在步驟S419中，處理器104可決定第二類神經網路的多個第二神經元權重。在一實施例中，第二類神經網路的各項參數可大致相同於第一類神經網路，惟其中各神經元的權重不同於第一類神經網路，但可不限於此。在一些實施例中，當i為1時，處理器104可隨機產生上述第二神經元權重，但可不限於此。

在步驟S420中，處理器104可將第三參考矩陣輸入至第二類神經網路，其中第二類神經網路可依據第三參考矩陣輸出第四參考矩陣，且第四參考矩陣包括各基地台111~114選用各發射波束的機率。在本實施例中，第四參考矩陣的形式可相似於第二特定矩陣SM2的形式，故其細節於此不另贅述。

在步驟S421中，處理器104可基於第四參考矩陣決定所述多個基地台對於所述多個發射波束的第一選用機率向量，並基於第一選用機率向量、第一平均通訊品質及第一參考向量決定一第一均方誤差值。在一實施例中，處理器104可對第四參考矩陣取max運算子，以取得第一選用機率向量。

舉例而言，假設第四參考矩陣的內容可表示為下表二。

表二。在此情況下，在處理器104對第四參考矩陣取max運算子之後，例如可得到

的第一選用機率向量（其維度為4x1），但可不限於此。

此外，在一實施例中，處理器104可取得第一選用機率向量及第一平均通訊品質的第一非線性組合值。舉例而言，假設第一平均通訊品質為Z，則處理器104可將第一平均通訊品質轉換為一4x1的向量，而此向量的每個元素皆為Z，進而將此向量與第一選用機率向量進行非線性組合，以產生上述第一非線性組合值。在不同的實施例中，處理器104可依設計者的需求而採用不同的方式將第一選用機率向量及第一平均通訊品質進行非線性組合。例如，若設計者較重視第一平均通訊品質，則可相應地為第一平均通訊品質設定較高的權重/係數，以加強第一平均通訊品質對於上述第一非線性組合值的影響，但可不限於此。

之後，處理器104可估計第一非線性組合值與第一參考向量的均方誤差值作為第一訓練過程的第i次遞迴程序的第一均方誤差值。

接著，在步驟S422中，處理器104可以第一參考矩陣、第三參考矩陣及第一平均通訊品質作為所述第i次遞迴程序的訓練資料。

在一實施例中，反應於判定i大於1，則所述第i次遞迴程序中的第一類神經網路可經處理器104設定為相同於第(i-1)次遞迴程序中的第一類神經網路，且所述第i次遞迴程序中的第二類神經網路可經處理器104設定相同於第(i-1)次遞迴程序中的第二類神經網路。簡言之，處理器104係沿用前一次遞迴程序中的第一類神經網路NN1及第二類神經網路作為當次遞迴程序中的第一類神經網路NN1及第二類神經網路，但可不限於此。

在一實施例中，反應於判定i大於1，則所述第i次遞迴程序中的第一參考訊號強度分布圖可經處理器104設定為相同於第(i-1)次遞迴程序中的第二參考訊號強度分布圖。簡言之，處理器104係沿用前一次遞迴程序中的第二參考訊號強度分布圖作為當次遞迴程序中的第一參考訊號強度分布圖，但可不限於此。

在一實施例中，反應於判定i到達一預設同步數量（例如6000），處理器104還可將第二類神經網路設定為相同於第一類神經網路NN1。具體而言，由於第一/第二類神經網路的參數調整易有震盪情形發生（例如，第一類神經網路的權重/參數更新較快，而第二類神經網路的權重/參數更新則較為緩慢），而透過上述技術手段可適時地讓第二類神經網路跟進第一類神經網路的學習進度，但可不限於此。

在一實施例中，反應於判定i到達第一預設數量（例如100），則在取得所述第i次遞迴程序的訓練資料之後，處理器104還可決定所述第i次遞迴程序的第一均方誤差值至第(i-Y+1)次遞迴程序的第一均方誤差值個別的第一特定機率，並據以決定所述第i次遞迴程序的訓練資料至第(i-Y+1)次遞迴程序的訓練資料個別的第一參考權重，其中Y為第一預設數量（例如100）。

在一實施例中，所述第i次遞迴程序的第一特定機率可表徵為

，其中

為所述第i次遞迴程序的第一均方誤差值，

為第一訓練過程中的第k次遞迴程序的第一均方誤差值。由上可知，所述第i次遞迴程序的第一特定機率可正相關於所述第i次遞迴程序的第一均方誤差值。

另外，所述第i次遞迴程序的第一參考權重可表徵為

，其中BS為訓練資料容量，而

為所述第i次遞迴程序的第一特定機率。在一實施例中，所述訓練資料容量例如是管理伺服器100可容納的訓練資料總數。舉例而言，假設訓練資料容量為10000，則在處理器104收集到第10001筆訓練資料時，處理器104可相應地拋棄第1筆訓練資料，但可不限於此。

之後，處理器104可基於所述第i次遞迴程序的訓練資料至第(i-Y+1)次遞迴程序的訓練資料個別的第一參考權重選用所述第i次遞迴程序的訓練資料至第(i-Y+1)次遞迴程序的訓練資料中的一部分訓練第一類神經網路NN1及第二類神經網路，以更新所述多個第一神經元權重及所述多個第二神經元權重。在一實施例中，所述第i次遞迴程序的訓練資料被選用於訓練第一類神經網路及第二類神經網路的機率正相關於所述第i次遞迴程序的第一參考權重。

由上可知，在第一訓練過程中，處理器104在每收集到第一預設數量（例如100）筆訓練資料之後，方會基於這些訓練資料中的一部分訓練第一類神經網路NN1及第二類神經網路，而這些訓練資料個別被選用於訓練第一類神經網路NN1及第二類神經網路的機率則為其對應的第一參考權重。

在本發明的實施例中，處理器104可持續執行第一訓練過程中的遞迴程序，直至所取得的第一平均通訊品質滿足指定的服務條件（例如到達一定的傳輸速度等），方能判定已完成第一訓練過程，但可不限於此。

在一實施例中，在完成第一訓練過程之後，處理器104可接續執行第一類神經網路的第二訓練過程，其細節詳述如下。

請參照圖5，其是依據本發明之一實施例繪示的第二訓練過程示意圖。本實施例的方法可由圖1的管理伺服器100執行，以下即搭配圖1所示的元件說明圖5各步驟的細節。

在本發明的實施例中，第二訓練過程可包括數個遞迴程序，而圖5的內容係對應於第二訓練過程中的第j個遞迴程序，但可不限於此。

在步驟S511中，處理器104可取得經歷第一訓練過程的第一類神經網路NN1。在一實施例中，由於第一類神經網路NN1已經歷第一訓練過程，故可降低第一類神經網路NN1在第二訓練過程初期的不穩定性。

在步驟S512中，處理器104可決定各基地台111~114的第四發射波束，並據以實際量測各基地台111~114在特定場域的第一實際訊號強度分布圖。在一實施例中，當j為1時，處理器104可隨機為各基地台111~114在發射波束1、2、3中擇一作為對應的第四發射波束，其細節可參照先前實施例中的說明，於此不另贅述。之後，有別於圖4中以模擬的方式產生各基地台111~114在特定場域的第一參考訊號強度分布圖，本實施例中各基地台111~114的第一實際訊號強度分布圖係經實際測量而得，而各基地台111~114對應的第一實際訊號強度分布圖的形式可相似於圖3中的特定訊號強度分布圖ST1~ST4，但可不限於此。

在步驟S513中，處理器104可取得所述多個參考用戶裝置在特定場域中的位置分布圖。在一實施例中，處理器104例如可從各基地台111~114取得所服務的用戶裝置所回報的MR來估計各用戶裝置在特定場域中的位置，進而建構上述位置分布圖，但可不限於此。在一實施例中，上述位置分布圖的形式可相似於圖3中的特定位置分布圖PD1，但可不限於此。

在步驟S514中，處理器104可依據位置分布圖及各基地台111~114的第一實際訊號強度分布圖產生第一矩陣。在本實施例中，處理器104可採用相似於先前實施例中提及的方式將上述位置分布圖及各基地台111~114的第一實際訊號強度分布圖個別轉換為對應的RGB圖，並將其疊合為一15xNxM的三維矩陣，以作為第一矩陣，但可不限於此。

在步驟S515中，處理器104可將第一矩陣輸入至第一類神經網路NN1，其中第一類神經網路NN1可依據第一矩陣輸出第二矩陣，而第二矩陣包括各基地台111~114選用各發射波束的一機率。在本實施例中，第二矩陣的形式可相似於第二特定矩陣SM2的形式，故其細節於此不另贅述。

在步驟S516中，處理器104可對第二矩陣取argmax運算子，以取得第一向量，並基於第一向量決定各基地台111~114對應的第五發射波束。在本實施例中，第一向量的形式可相似於上述發射波束引數向量，而處理器104決定各基地台111~114對應的第五發射波束的方式相似於處理器104基於上述發射波束引數向量為各基地台111~114決定最佳發射波束的方式，故其細節於此不另贅述。

在步驟S517中，處理器104可依據各基地台111~114對應的第五發射波束實際量測各基地台111~114在特定場域的第二實際訊號強度分布圖。相似地，處理器104可實際測量各基地台111~114在特定場域的第二實際訊號強度分布圖。在本實施例中，各基地台111~114對應的第二實際訊號強度分布圖的形式可相似於圖3中的特定訊號強度分布圖ST1~ST4，但可不限於此。

在步驟S518中，處理器104可依據位置分布圖及各基地台111~114的第二實際訊號強度分布圖產生第三矩陣，並取得所述多個參考用戶裝置的第二平均通訊品質。在本實施例中，第三矩陣例如是一15xNxM的三維矩陣，而其產生方式相似於第一矩陣的產生方式，故於此不另贅述。另外，上述第二平均通訊品質例如是所述多個參考用戶裝置的平均傳輸速度或其他可用於代表通訊品質的數據，但可不限於此。

在步驟S519中，處理器104可取得經歷第一訓練過程的第二類神經網路。在步驟S520中，處理器104可將第三矩陣輸入至第二類神經網路，其中第二類神經網路可依據第三矩陣輸出第四矩陣，而第四矩陣包括各基地台111~114選用各發射波束的機率。在本實施例中，第四矩陣的形式可相似於第二特定矩陣SM2的形式，故其細節於此不另贅述。

在步驟S521中，處理器104可基於第四矩陣決定所述多個基地台對於所述多個發射波束的第二選用機率向量，並基於第二選用機率向量、第二平均通訊品質及第一向量決定第二均方誤差值。在一實施例中，處理器104可對第四矩陣取max運算子，以取得第二選用機率向量。

此外，在一實施例中，處理器104可取得第二選用機率向量及第二平均通訊品質的第二非線性組合值。舉例而言，假設第一平均通訊品質為Z’，則處理器104可將第二平均通訊品質轉換為一4x1的向量，而此向量的每個元素皆為Z’，進而將此向量與第二選用機率向量進行非線性組合，以產生上述第二非線性組合值。在不同的實施例中，處理器104可依設計者的需求而採用不同的方式將第二選用機率向量及第二平均通訊品質進行非線性組合。例如，若設計者較重視第二平均通訊品質，則可相應地為第二平均通訊品質設定較高的權重/係數，以加強第二平均通訊品質對於上述第二非線性組合值的影響，但可不限於此。

之後，處理器104可估計第二非線性組合值與第一向量的均方誤差值作為第二訓練過程的第j次遞迴程序的第二均方誤差值。

在步驟S522中，處理器104可基於第二矩陣決定多個熵值。在一實施例中，第二矩陣可包括分別對應於基地台111~114的多個機率向量，且所述多個熵值中的第a個熵值可表徵為

，其中

為所述多個機率向量中對應於第a個基地台的第a個機率向量。

舉例而言，假設第二矩陣的內容可表示為下表三。

表三

在表三中，對應於基地台111的機率向量例如是

，對應於基地台112的機率向量例如是

，對應於基地台113的機率向量例如是

，對應於基地台114的機率向量例如是

。在此情況下，基地台111的熵值可表徵為

，基地台112的熵值可表徵為

，基地台113的熵值可表徵為

，基地台114的熵值可表徵為

，但可不限於此。

在步驟S523中，處理器104可估計第二均方誤差值與所述多個熵值的組合值。例如，處理器104可將第二均方誤差值與所述多個熵值加總作為第二訓練過程的第j次遞迴程序的組合值，但可不限於此。

接著，在步驟S524中，處理器104可以第一矩陣、第三矩陣及第二平均通訊品質作為所述第j次遞迴程序的訓練資料。

在一實施例中，所述第j次遞迴程序中的第一類神經網路NN1可經處理器104設定為相同於第(j-1)次遞迴程序中的第一類神經網路NN1，且所述第j次遞迴程序中的第二類神經網路可經處理器104設定為相同於第(j-1)次遞迴程序中的第二類神經網路。簡言之，處理器104係沿用前一次遞迴程序中的第一類神經網路NN1及第二類神經網路作為當次遞迴程序中的第一類神經網路NN1及第二類神經網路，但可不限於此。

在一實施例中，反應於判定j到達一預設同步數量（例如6000），處理器104還可將第二類神經網路設定為相同於第一類神經網路NN1，以使第二類神經網路跟進第一類神經網路的學習進度，但可不限於此。

在一實施例中，反應於判定j到達一第二預設數量，（例如100）則在取得所述第j次遞迴程序的訓練資料之後，處理器104還可決定所述第j次遞迴程序的組合值至第(j-X+1)次遞迴程序的第二均方誤差值的組合值個別的第二特定機率，並據以決定所述第j次遞迴程序的訓練資料至第(j-X+1)次遞迴程序的訓練資料個別的一第二參考權重，其中X為第二預設數量。

在一實施例中，所述第j次遞迴程序的第二特定機率可表徵為

，其中

為所述第j次遞迴程序的組合值，

為第二訓練過程中的第k’次遞迴程序的組合值。由上可知，所述第j次遞迴程序的第二特定機率可正相關於所述第j次遞迴程序的組合值。

另外，所述第j次遞迴程序的第二參考權重可表徵為

，其中BS為訓練資料容量，

為所述第j次遞迴程序的第二特定機率。

之後，處理器104可基於所述第j次遞迴程序的訓練資料至第(j-X+1)次遞迴程序的訓練資料個別的第二參考權重選用所述第j次遞迴程序的訓練資料至第(j-X+1)次遞迴程序的訓練資料中的一部分訓練第一類神經網路NN1及第二類神經網路，以更新所述多個第一神經元權重及所述多個第二神經元權重。在一實施例中，所述第j次遞迴程序的訓練資料被選用於訓練第一類神經網路NN1及第二類神經網路的機率正相關於所述第j次遞迴程序的第二參考權重。

由上可知，在第二訓練過程中，處理器104在每收集到第二預設數量（例如100）筆訓練資料之後，方會基於這些訓練資料中的一部分訓練第一類神經網路NN1及第二類神經網路，而這些訓練資料個別被選用於訓練第一類神經網路NN1及第二類神經網路的機率則為其對應的第二參考權重。

在本發明的實施例中，處理器104可持續執行第二訓練過程中的遞迴程序，直至所取得的第二平均通訊品質滿足指定的服務條件（例如到達一定的傳輸速度等），方能判定已完成第二訓練過程，但可不限於此。

在完成第二訓練過程之後，處理器104即可以Docker將第一類神經網路NN1的相關神經網路參數進行包裝，並可用於執行步驟S210~S270，以為各基地台111~114決定最佳發射波束。

綜上所述，本發明旨在利用深度強化學習優勢降低因基地台數目上升而造成波束選擇空間指數上升影響之方法。處理器可提取資料庫資料並繪製各式訊號強度分布圖，此可作為往後深度強化學習運算模組之處理依據。基於此深度強化學習運算模組，可訓練一回授式深層類神經網路以作為輸出最佳波束選擇之模型。此外，本發明亦加重取樣機制與權重回補機制能加速第一/第二類神經網路的學習速度及提升學習能力，且透過此方式更能充分利用過往的訓練資料以提高訓練資料利用率。由於無線通訊環境中資料的蒐集常有遺漏或重複的特徵，故此能力尤其重要。

另外，本發明能減少決定各基地的最佳發射波束的時間，並還可即時進行參數修正或架構調整，達到線上學習目的與優點。

本發明為多基地台聯合優化方法解決基地台間干擾議題，由於行動網路參數環環相扣，相較於各基地台各自優化，基地台間聯合優化才能得到最佳解。

本發明尚考慮無線通訊領域偶有特殊事件，針對稀少事件有必要做額外加重取樣處理，否則第一/第二類神經網路不見得學得起來，亦或是增加學習時間，故本發明有額外機率估測機制與權重調整功能。

本發明提出之方法能利用過往歷史的資料，有別於某些智能方法直接針對目標函數進行梯度操作使得參數調整機制只能接受當下新鮮資料，這類方法在無線通訊環境中並不適合，因無線通訊環境資料蒐集常有遺漏或重複，本發明的方法不受此限，不管是當下新鮮資料或是過往歷史資料均能拿來利用，顯著增加資料利用效率。

本發明能輸出高度向量化的已訓練神經網路參數，搭配裝置於基地台內部的GPU能加速訊號處理的運作，且此已訓練神經網路參數能在實際環境中得一次運算結果於毫秒等級以符合即時服務訴求。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10:通訊系統 100:管理伺服器 111~11H:基地台 102:儲存電路 104:處理器 PD1:特定位置分布圖 ST1~ST4:特定訊號強度分布圖 SM1:第一特定矩陣 SM2:第二特定矩陣 NN1:第一類神經網路 S210~S270, S411~S422, S511~S523:步驟

圖1是依據本發明之一實施例繪示的通訊系統示意圖。圖2是依據本發明之一實施例繪示的基於類神經網路的波束選擇方法流程圖。圖3是依據本發明之一實施例繪示的應用情境圖。圖4是依據本發明之一實施例繪示的第一訓練過程示意圖。圖5是依據本發明之一實施例繪示的第二訓練過程示意圖。

S210~S270:步驟

Claims

一種基於類神經網路的波束選擇方法，適於管理多個基地台的一管理伺服器，該些基地台部署於一特定場域中，且各該基地台具有多個發射波束，所述方法包括：取得經歷一第一訓練過程及一第二訓練過程的一第一類神經網路；決定各該基地台的一第一發射波束，並據以量測各該基地台在該特定場域的一特定訊號強度分布圖；取得多個用戶裝置在該特定場域中的一特定位置分布圖；依據該特定位置分布圖及各該基地台的該特定訊號強度分布圖產生一第一特定矩陣；將該第一特定矩陣輸入至該第一類神經網路，其中該第一類神經網路依據該第一特定矩陣輸出一第二特定矩陣，其中該第二特定矩陣包括各該基地台選用各該發射波束的一機率；基於該第二特定矩陣決定各該基地台對應的一最佳發射波束；以及控制各該基地台使用對應的該最佳發射波束發射信號；其中該第一類神經網路的該第二訓練過程的第j次遞迴程序包括：(a2)取得經歷該第一訓練過程的該第一類神經網路；(b2)決定各該基地台的一第四發射波束，並據以實際量測各該基地台在該特定場域的一第一實際訊號強度分布圖； (c2)取得該些參考用戶裝置在該特定場域中的一位置分布圖；(d2)依據該位置分布圖及各該基地台的該第一實際訊號強度分布圖產生一第一矩陣；(e2)將該第一矩陣輸入至該第一類神經網路，其中該第一類神經網路依據該第一矩陣輸出一第二矩陣，其中該第二矩陣包括各該基地台選用各該發射波束的一機率；(f2)對該第二矩陣取一argmax運算子，以取得一第一向量，並基於該第一向量決定各該基地台對應的一第五發射波束。
如請求項1所述的方法，其中該第一類神經網路的該第一訓練過程中的第i次遞迴程序包括：決定該第一類神經網路的多個第一神經元權重；決定各該基地台的一第二發射波束，並據以模擬各該基地台在該特定場域的一第一參考訊號強度分布圖；取得多個參考用戶裝置在該特定場域中的一參考位置分布圖；依據該參考位置分布圖及各該基地台的該第一參考訊號強度分布圖產生一第一參考矩陣；將該第一參考矩陣輸入至該第一類神經網路，其中該第一類神經網路依據該第一參考矩陣輸出一第二參考矩陣，其中該第二參考矩陣包括各該基地台選用各該發射波束的一機率；對該第二參考矩陣取一argmax運算子，以取得一第一參考向量，並基於該第一參考向量決定各該基地台對應的一第三發射波束。
如請求項2所述的方法，其中該第一類神經網路的該第一訓練過程中的所述第i次遞迴程序更包括：依據各該基地台對應的該第三發射波束模擬各該基地台在該特定場域的一第二參考訊號強度分布圖；依據該參考位置分布圖及各該基地台的該第二參考訊號強度分布圖產生一第三參考矩陣，並取得該些參考用戶裝置的一第一平均通訊品質；決定一第二類神經網路的多個第二神經元權重；將該第三參考矩陣輸入至該第二類神經網路，其中該第二類神經網路依據該第三參考矩陣輸出一第四參考矩陣，其中該第四參考矩陣包括各該基地台選用各該發射波束的一機率；基於該第四參考矩陣決定該些基地台對於該些發射波束的一第一選用機率向量，並基於該第一選用機率向量、該第一平均通訊品質及該第一參考向量決定一第一均方誤差值；以該第一參考矩陣、該第三參考矩陣及該第一平均通訊品質作為所述第i次遞迴程序的訓練資料。
如請求項2所述的方法，其中反應於判定i到達一第一預設數量，則在取得所述第i次遞迴程序的訓練資料之後，所述方法更包括：決定所述第i次遞迴程序的該第一均方誤差值至第(i-Y+1)次遞迴程序的該第一均方誤差值個別的一第一特定機率，並據以決定所述第i次遞迴程序的訓練資料至第(i-Y+1)次遞迴程序的訓練資料個別的一第一參考權重，其中Y為該第一預設數量；基於所述第i次遞迴程序的訓練資料至第(i-Y+1)次遞迴程序的訓練資料個別的該第一參考權重選用所述第i次遞迴程序的訓練資料至第(i-Y+1)次遞迴程序的訓練資料中的一部分訓練該第一類神經網路及該第二類神經網路，以更新該些第一神經元權重及該些第二神經元權重。
如請求項4所述的方法，其中所述第i次遞迴程序的該第一特定機率表徵為
，其中MSE _i為所述第i次遞迴程序的該第一均方誤差值，MSE _k為該第一訓練過程中的第k次遞迴程序的該第一均方誤差值。
如請求項4所述的方法，其中所述第i次遞迴程序的該第一參考權重表徵為
，其中BS為一訓練資料容量，P _i為所述第i次遞迴程序的該第一特定機率。
如請求項4所述的方法，其中所述第i次遞迴程序的訓練資料被選用於訓練該第一類神經網路及該第二類神經網路的機率正相關於所述第i次遞迴程序的該第一參考權重。
如請求項3所述的方法，其中反應於判定i為1，則該些第一神經元權重及該些第二神經元權重為隨機產生。
如請求項3所述的方法，其中反應於判定i大於1，則所述第i次遞迴程序中的該第一類神經網路相同於第(i-1)次遞迴程序中的該第一類神經網路，且所述第i次遞迴程序中的該第二類神經網路相同於第(i-1)次遞迴程序中的該第二類神經網路。
如請求項3所述的方法，其中反應於判定i大於1，則所述第i次遞迴程序中的該第一參考訊號強度分布圖相同於第(i-1)次遞迴程序中的該第二參考訊號強度分布圖。
如請求項3所述的方法，其中反應於判定i到達一預設同步數量，所述方法更包括將該第二類神經網路設定為相同於該第一類神經網路。
如請求項3所述的方法，其中基於該第四參考矩陣決定該些基地台對於該些發射波束的該第一選用機率向量的步驟包括對該第四參考矩陣取一max運算子，以取得該第一選用機率向量。
如請求項3所述的方法，其中基於該第一選用機率向量、該第一平均通訊品質及該第一參考向量決定該第一均方誤差值的步驟包括：取得該第一選用機率向量及該第一平均通訊品質的一第一非線性組合值；估計該第一非線性組合值與該第一參考向量的一均方誤差值作為該第一均方誤差值。
如請求項1所述的方法，其中該第一類神經網路的該第二訓練過程中的所述第j次遞迴程序更包括：依據各該基地台對應的該第五發射波束實際量測各該基地台在該特定場域的一第二實際訊號強度分布圖；依據該位置分布圖及各該基地台的該第二實際訊號強度分布圖產生一第三矩陣，並取得該些參考用戶裝置的一第二平均通訊品質；取得經歷該第一訓練過程的該第二類神經網路；將該第三矩陣輸入至該第二類神經網路，其中該第二類神經網路依據該第三矩陣輸出一第四矩陣，其中該第四矩陣包括各該基地台選用各該發射波束的機率；基於該第四矩陣決定該些基地台對於該些發射波束的一第二選用機率向量，並基於該第二選用機率向量、該第二平均通訊品質及該第一向量決定一第二均方誤差值；基於該第二矩陣決定多個熵值；估計該第二均方誤差值與該些熵值的一組合值；以該第一矩陣、該第三矩陣及該第二平均通訊品質作為所述第j次遞迴程序的訓練資料。
如請求項14所述的方法，其中反應於判定j到達一第二預設數量，則在取得所述第j次遞迴程序的訓練資料之後，所述方法更包括：決定所述第j次遞迴程序的該組合值至第(j-X+1)次遞迴程序的該第二均方誤差值的該組合值個別的一第二特定機率，並據以決定所述第j次遞迴程序的訓練資料至第(j-X+1)次遞迴程序的訓練資料個別的一第二參考權重，其中X為該第二預設數量；基於所述第j次遞迴程序的訓練資料至第(j-X+1)次遞迴程序的訓練資料個別的該第二參考權重選用所述第j次遞迴程序的訓練資料至第(j-X+1)次遞迴程序的訓練資料中的一部分訓練該第一類神經網路及該第二類神經網路，以更新該些第一神經元權重及該些第二神經元權重。
如請求項15所述的方法，其中所述第j次遞迴程序的該第二特定機率表徵為
，其中CV _j為所述第j次遞迴程序的該組合值，CV _k'為該第二訓練過程中的第k’次遞迴程序的該組合值。
如請求項15所述的方法，其中所述第j次遞迴程序的該第二參考權重表徵為
，其中BS為一訓練資料容量，
為所述第j次遞迴程序的該第二特定機率。
如請求項15所述的方法，其中所述第j次遞迴程序的訓練資料被選用於訓練該第一類神經網路及該第二類神經網路的機率正相關於所述第j次遞迴程序的該第二參考權重。
如請求項14所述的方法，其中所述第j次遞迴程序中的該第一類神經網路相同於第(j-1)次遞迴程序中的該第一類神經網路，且所述第j次遞迴程序中的該第二類神經網路相同於第(j-1)次遞迴程序中的該第二類神經網路。
如請求項14所述的方法，其中反應於判定j到達一預設同步數量，所述方法更包括將該第二類神經網路設定為相同於該第一類神經網路。
如請求項14所述的方法，其中基於該第四矩陣決定該些基地台對於該些發射波束的該第二選用機率向量的步驟包括對該第四矩陣取一max運算子，以取得該第二選用機率向量。
如請求項14所述的方法，其中基於該第二選用機率向量、該第二平均通訊品質及該第一向量決定該第二均方誤差值的步驟包括：取得該第二選用機率向量及該第二平均通訊品質的一第二非線性組合值；估計該第二非線性組合值與該第一向量的一均方誤差值作為該第二均方誤差值。
如請求項14所述的方法，其中該第二矩陣包括分別對應於該些基地台的多個機率向量，且該些熵值中的第a個熵值表徵為-sum(PV _a×log(PV _a))，其中PV _a為該些機率向量中對應於第a個基地台的第a個機率向量。
如請求項1所述的方法，其中基於該第二特定矩陣決定各該基地台對應的該最佳發射波束的步驟包括：對該第二特定矩陣取一argmax運算子，以取得一發射波束引數向量，並基於該發射波束引數向量決定各該基地台對應的該最佳發射波束。
一種管理伺服器，其管理部署於一特定場域中的多個基地台，且各該基地台具有多個發射波束，所述管理伺服器包括：一儲存電路，儲存多個模組；以及一處理器，耦接該儲存電路，存取該些模組以執行下列步驟：取得經歷一第一訓練過程及一第二訓練過程的一第一類神經網路；決定各該基地台的一第一發射波束，並據以量測各該基地台在該特定場域的一特定訊號強度分布圖；取得多個用戶裝置在該特定場域中的一特定位置分布圖；依據該特定位置分布圖及各該基地台的該特定訊號強度分布圖產生一第一特定矩陣；將該第一特定矩陣輸入至該第一類神經網路，其中該第一類神經網路依據該第一特定矩陣輸出一第二特定矩陣，其中該第二特定矩陣包括各該基地台選用各該發射波束的一機率；基於該第二特定矩陣決定各該基地台對應的一最佳發射波束；以及控制各該基地台使用對應的該最佳發射波束發射信號；其中該第一類神經網路的該第二訓練過程的第j次遞迴程序包括：(a2)取得經歷該第一訓練過程的該第一類神經網路；(b2)決定各該基地台的一第四發射波束，並據以實際量測各該基地台在該特定場域的一第一實際訊號強度分布圖；(c2)取得該些參考用戶裝置在該特定場域中的一位置分布圖；(d2)依據該位置分布圖及各該基地台的該第一實際訊號強度分布圖產生一第一矩陣；(e2)將該第一矩陣輸入至該第一類神經網路，其中該第一類神經網路依據該第一矩陣輸出一第二矩陣，其中該第二矩陣包括各該基地台選用各該發射波束的一機率；(f2)對該第二矩陣取一argmax運算子，以取得一第一向量，並基於該第一向量決定各該基地台對應的一第五發射波束。