TWI677846B

TWI677846B - 機器人客服轉人工客服的方法和裝置

Info

Publication number: TWI677846B
Application number: TW106118915A
Authority: TW
Inventors: 陳利霞; 杜敏
Original assignee: 香港商阿里巴巴集團服務有限公司; Alibaba Group Services Limited
Priority date: 2016-07-08
Filing date: 2017-06-07
Publication date: 2019-11-21
Also published as: WO2018006727A1; TW201804420A; CN107590159A

Abstract

本申請提供一種機器人客服轉人工客服的方法，包括：從機器人客服與用戶的至少一輪會話中獲取有效特徵；將有效特徵輸入信心評估模型，得到機器人客服與用戶會話的當前信心評估值；所述信心評估模型採用標記有有效特徵和適宜出人工點的機器人客服與使用者的會話樣本進行訓練，所述適宜出人工點為以人工客服代替機器人客服的適當時點；在當前信心評估值滿足預定出人工條件時，將使用者轉接人工客服。本申請的技術方案能夠根據當前會話的實際情況來識別使用者轉人工客服的需求程度，在提高使用者對服務的滿意程度的同時，減少了人工客服的不必要工作，提高了客服系統的服務效率。

Description

機器人客服轉人工客服的方法和裝置

本申請關於資料處理技術領域，尤其關於一種機器人客服轉人工客服的方法和裝置。

隨著互聯網的發展，基於人工智慧技術的虛擬機器人在企業使用者服務領域的應用越來越廣泛。機器人客服不需要休息，可以更加快速和標準化的回應使用者的問題，以語音對話或文字聊天的形式與使用者進行溝通，將人工客服從大量重複性問答中解放出來。

對一些非常規的用戶問題，機器人客服往往難以給出令用戶滿意的答覆。目前客服中心最為常用的架構是機器人客服與人工客服並存，缺省由機器人客服先接待用戶，當機器人客服與用戶的會話輪次(以一次用戶發言、或者一次機器人客服發言和一次用戶發言為一個輪次)超過預定的出人工輪次閾值時，轉接人工客服。這種方式在大多數情況下捕捉不到合適的由機器人客服到人工客服的轉接點，例如機器人客服正在與用戶進行多輪次的有效交互，雖然達到了預定的出人工輪次閾值，但並沒有遇到需要人工介入的服務障礙，這種方式會造成人工客服不必要的額外工作；而使用者有緊急的問題需要儘快提交人工處理時，又會因達到預定的出人工輪次閾值前的無效交互影響客服系統的效率和使用者體驗。

有鑑於此，本申請提供一種機器人客服轉人工客服的方法，包括：從機器人客服與用戶的至少一輪會話中獲取有效特徵；將有效特徵輸入信心評估模型，得到機器人客服與用戶會話的當前信心評估值；所述信心評估模型採用標記有有效特徵和適宜出人工點的機器人客服與使用者的會話樣本進行訓練，所述適宜出人工點為以人工客服代替機器人客服的適當時點；在當前信心評估值滿足預定出人工條件時，將使用者轉接人工客服。

本申請還提供了一種機器人客服轉人工客服的裝置，包括：有效特徵獲取單元，用於從機器人客服與用戶的至少一輪會話中獲取有效特徵；當前信心評估單元，用於將有效特徵輸入信心評估模型，得到機器人客服與用戶會話的當前信心評估值；所述信心評估模型採用標記有有效特徵和適宜出人工點的機器人客服與使用者的會話樣本進行訓練，所述適宜出人工點為以人工客服代替機器人客服的適當時點；人工客服轉接單元，用於在當前信心評估值滿足預定出人工條件時，將使用者轉接人工客服。

由以上技術方案可見，本申請的實施例中，採用標記有有效特徵和適宜出人工點的機器人客服與使用者的會話樣本訓練信心評估模型，將正在進行的機器人客戶與使用者的會話輸入到信心評估模型後，根據模型輸出的當前信心評估值來判斷當前是否適合轉接人工客服，從而能夠根據當前會話的實際情況來識別使用者轉人工客服的需求程度，在提高使用者對服務的滿意程度的同時，減少了人工客服的不必要工作，提高了客服系統的服務效率。

圖1是本申請實施例中一種機器人客服轉人工客服的方法的流程圖；圖2是運行本申請實施例的設備的一種硬體結構圖；圖3是本申請實施例中一種機器人客服轉人工客服的裝置的邏輯結構圖。

本申請的實施例提出一種新的機器人客服轉人工客服的方法，在機器人客服與使用者的會話樣本中人工標注有效特徵和適宜出人工點，對信心評估模型進行訓練，並利用訓練後的信心評估模型和當前會話的有效特徵，對當前的機器人服務品質進行評估，來發現轉接人工客服的合適時點，以便根據當前會話的實際進行情況來確定出人工點，既能提升用戶的體驗，又能避免人工客服不必要的工作負荷，從而解決現有技術中存在的問題。

本申請的實施例可以應用在任何具有計算和儲存能力的設備上，例如可以是手機、平板電腦、PC(Personal Computer，個人電腦)、筆記本、伺服器、虛擬機器等物理設備或邏輯裝置；也可以由兩個或兩個以上分擔不同職責的物理或邏輯裝置、相互協同來實現本申請實施例中的各項功能。

本申請的實施例中，機器人客服轉人工客服的方法的流程如圖1所示。

本申請的實施例中，採用機器學習技術來建立信心評估模型，用來對機器人客服與用戶會話過程中的某個時點是否應轉接人工客服進行評估。具體而言，將一定數量的機器人客服與使用者的會話記錄作為會話樣本，在會話樣本上人工標注有效特徵和各個會話過程中的適宜出人工點，利用會話樣本對信心評估模型進行訓練。

其中，有效特徵是對會話樣本中出現的與轉接人工需求相關的各種因素的抽象表達。有效特徵可以採用人工、或人工和資料採擷技術相結合的方式來生成、評估。一種實現方式中，可以由技術人員根據自身的工作經驗、機器人客服與使用者會話的歷史資料、使用者問題解決情況等方面來總結、提煉得出。

在另一種實現方式中，可以先將人工總結、提煉的能夠描述機器人客服的服務品質和使用者的轉人工意願的特徵作為待定特徵，將待定特徵、適宜出人工點和實際出人工點標注在會話樣本上，結合會話樣本中每個會話的服務效果，採用預定的資料分析演算法對待定特徵進行評估和整合，得到對轉接人工需求影響明顯、覆蓋因素全面的若干個有效特徵。例如，可以人工分析機器人客戶與使用者會話的歷史資料，從中挖掘影響使用者對人工服務的需求的因素；對這些因素進行提煉、歸類，抽象化為待定特徵，待定特徵從會話上下文、業務、使用者體驗、服務軌跡等各個不同方面完備的描述了影響轉接人工需求的上述因素；按照使用者回饋、使用者的問題解決情況以及使用者的滿意度情況等來得出會話樣本中各個會話的服務效果，採用特徵選擇、特徵抽取演算法對標記有待定特徵、適宜出人工點和實際出人工點的會話樣本和服務效果進行分析，得出有效特徵。

各種能夠用來進行特徵分類和評估的資料分析演算法都可以用於生成有效特徵，本申請的實施例中不做限定。在一些應用場景中，所採用的資料分析演算法不僅能夠基於會話樣本和服務效果得出有效特徵，還能夠給出每個有效特徵對轉接人工需求的影響的權重；在這些應用場景中，每個有效特徵的權重將用於信心評估模型的訓練，和/或訓練後信心評估模型的使用中。

在機器人客服和用戶的會話過程中，人工客服通常在使用者發言之後的時點代替機器人客服。在會話樣本的各個會話中，如果某個用戶發言之後的時點是以人工客服代替機器人客服的適當時點，則可以將其標記為適宜出人工點。一個會話中可以有一個到多個適宜出人工點。

信心評估模型用來以機器人客服和用戶的會話為基礎獲得信心評估值，信心評估值是信心評估模型對轉接人工需求程度的估計值，或者說，對會話中某時點應該由人工客服代替機器人客服的程度打出的一個分值。本申請實施例中對信心評估模型所採用的具體演算法不做限定，例如，可以是SVR(Support Vector Regression，支援向量回歸)演算法、LR(Logistic Regression，邏輯回歸)演算法、或GBDT(Gradient Boosting Decision Tree，反覆運算決策樹)演算法等。

在信心評估模型訓練完成後，可以在即時的機器人客服與用戶的會話過程中，利用信心評估模型來判斷在會話中用戶發言後的時點，是否需要切換為人工客服。

步驟110，從機器人客服與用戶的至少一輪會話中獲取有效特徵。

本申請的實施例中，以一次用戶發言、或者一次機器人客服發言和一次用戶發言為一個輪次。通常機器人客服與用戶的會話的第一輪是用戶發言，第二輪及後續輪次是一次機器人客服發言和一次用戶發言。每個輪次以用戶發言來結束，該時點也即是可以由人工客服代替機器人客服的時點。

本步驟中獲取的有效特徵將用來作為信心評估模型的輸入，用來得到當前時點的信心評估值。可以將當前時點前預定輪次數目的會話作為獲取有效特徵的基礎，如果當前時點已經進行的會話輪次小於預定輪次數目，則整個會話作為獲取有效特徵的基礎；也可以始終將已經進行的整個會話作為獲取有效特徵的基礎；不做限定。

在一種實現方式中，可以直接從機器人客服與用戶的一輪到多輪會話中，按照一定的規則提取出有效特徵。例如，對文本會話，可以參照語義分析、關鍵字匹配、業務內容匹配等現有技術設置各個有效特徵的識別規則，從而自動從上述會話中得到有效特徵；對語音會話，可以先採用語音辨識技術將其轉換為文本會話，在利用上述方法來得到有效特徵。

在另一種實現方式中，可以先從機器人客服與用戶的一輪到多輪會話中提取原始特徵，再按照特徵預處理規則對原始特徵進行拆分、組合、分類、和/或刪除後得到有效特徵。類似的，對文本會話，可以參考語義分析、關鍵字匹配、業務內容匹配等現有技術設置各個原始特徵的發現規則，從而自動從一輪到多輪會話中提取出原始特徵；對語音會話，可以先採用語音辨識技術將語音會話轉換為文本會話，在利用原始特徵的發現規則來提取出原始特徵。

特徵預處理規則描述了從原始特徵到有效特徵的映射關係，包括以下的一種到多種：哪個或哪些原始特徵可以刪除、哪個原始特徵可以拆分為哪幾個有效特徵、哪個或哪些原始特徵可以歸屬為代表某個類別的有效特徵、哪些原始特徵可以組合為哪個有效特徵等等。

例如，在一種應用場景中，在業務和用戶回饋兩個維度上的原始特徵如表1所示：

在表1中的原始特徵中，如果機器人客服的一個回覆是兜底答案，則該回覆的答案匹配度必然不高(如果機器人客服能夠查詢到匹配度較高的答案，會以該答案而不是兜底答案來回覆用戶)，假設答案匹配度和是否兜底答案都是有效特徵，則可以在特徵預處理規則中可以包括這樣一條：如果一個回覆可提取出是否兜底答案原始特徵和答案匹配度原始特徵，則將這兩個原始特徵合併為是否兜底答案原始特徵；以免同時採用這兩個有效特徵導致同一事實對信心評估值的雙重影響。

由於信心評估模型基於有效特徵進行訓練，因此對訓練後信心評估模型的使用也以有效特徵為輸入。由於訓練信心評估模型需要一定數量人工標注的會話樣本，而實際客戶服務中的會話情況可能因業務的增加、業務流程的變更、流行語言的變化而不斷變動。在這種實現方式中，可以採用概括性和抽象化的特徵作為有效特徵，而根據業務發展和變化的具體情況來設置原始特徵、原始特徵發現規則和特徵預處理規則，這樣不需因為實際業務情況的變化不斷的重新生成會話樣本和訓練信心評估模型，而仍然可以保持信心評估模型的準確程度。

原始特徵發現規則和/或特徵預處理規則可以以代碼的方式固化在完成本步驟的程式中，也可以寫在設定檔中。對存在設定檔的應用場景，可以在執行本步驟前先獲取設定檔，從中讀取原始特徵發現規則和/或特徵預處理規則，再將其應用於原始特徵提取和/或從原始特徵得到有效特徵。

需要說明的是，可以在待定特徵中選擇原始特徵，也可以將在待定特徵不存在的其他特徵作為原始特徵，不做限定。

步驟120，將有效特徵輸入信心評估模型，得到機器人客服與用戶會話的當前信心評估值。

步驟130，在當前信心評估值滿足預定出人工條件時，將使用者轉接人工客服。

在獲取到機器人客服與用戶會話中對應於當前時點的有效特徵後，將有效特徵輸入到訓練後的信心評估模型中，即可得到當前時點的信心評估值。如果當前信心評估值滿足預定出人工條件，則認為當前時點需要人工客服介入，將使用者轉接至人工客服。

預定出人工條件可以是當前信心評估值大於或小於預定信心閾值，視實際應用場景中當前信心評估值更高是代表更強的轉接人工需求程度，還是更弱的轉接人工需求程度。預定信心閾值可以由技術人員綜合考慮訓練後信心評估模型與會話樣本的擬合程度、實際應用場景中的使用者會話和人工客服的數量比例等因素來確定。也可以由設置一定的標準，由程式根據所設置的標準自動確定預定信心閾值。例如，可以將會話樣本輸入到訓練後的信心評估模型中，得到會話樣本中對應於適宜出人工點的樣本信心評估值；設定一系列不同的預定信心閾值的具體數值，計算當選擇不同數值的預定信心閾值時樣本信心評估值的覆蓋率和準確率，設定針對覆蓋率和準確率的評判標準，按照評判標準的評價最好的覆蓋率和準確率對應的數值作為預定信心閾值。其中，覆蓋率是會話樣本中適宜出人工點對應的所有樣本信心評估值中，滿足預定出人工條件(大於或小於預定信心閾值的具體數值)的樣本信心評估值所占的比例；準確率是所有滿足預定出人工條件的樣本信心評估值中，對應於適宜出人工點的樣本信心評估值所占的比例。

另外，在採用設定檔的應用場景中，還可以將預定出人工條件也寫入設定檔中，並將從設定檔中讀取的預定出人工條件應用於步驟130。

可見，本申請的實施例中，在機器人客服與使用者的會話樣本中人工標注有效特徵和適宜出人工點，採用標記後的會話樣本訓練信心評估模型，並利用訓練後的信心評估模型，對當前的會話中的有效特徵進行評估，根據模型的輸出來判斷當前是否應轉接人工客服，從而能夠根據當前會話的實際進行情況來確定出人工點，既能提升用戶的體驗，又能避免人工客服不必要的工作負荷，提高客服系統的服務效率。

在本申請的一個應用示例中，將若干機器人客服與使用者的會話的歷史記錄作為會話樣本，由專業客服人員分析會話樣本，基於不同的維度(包括業務維度、使用者體驗維度、服務軌跡維度等)分析會話樣本，對影響轉接人工需求的因素進行總結、提煉，構造為待定特徵。

在會話樣本中標記待定特徵、適宜出人工點和實際出人工點，按照會話樣本中各個會話的使用者回饋、使用者的問題解決情況及使用者的滿意度情況，利用會話樣本對構造的待定特徵進行資料分析，從中評估出有效特徵並得出有效特徵的權重。

在會話樣本中標記有效特徵和適宜出人工點，利用標記後的會話樣本對LR演算法的信心評估模型進行訓練。將會話樣本中的會話輸入到訓練後的LR信心評估模型，得到會話樣本中對應於適宜出人工點的樣本信心評估值，由技術人員根據LR信心評估模型對會話樣本的覆蓋率和準確率，確定預定資訊閾值。

技術人員在設定檔中寫入原始特徵發現規則和特徵預處理規則，並保存在預定位置。本應用示例在開始運行後，從設定檔中載入原始特徵發現規則和特徵預處理規則。

當用戶啟動與機器人客服的會話後，在每個用戶發言結束時，按照原始特徵發現規則，在從會話開始到當前時點的已進行會話中提取所有原始特徵，再應用特徵預處理規則，將所有原始特徵映射為屬於當前時點的一個到多個有效特徵。

將屬於當前時點的有效特徵輸入訓練後的LR信心評估模型，得到當前信心評估值。設LR信心評估模型以得出的評估值較高表示轉接人工需求更強，則在當前信心評估值大於預定資訊閾值時，將使用者轉接到人工客服，否則由機器人客服繼續與使用者進行對話。

與上述流程實現對應，本申請的實施例還提供了一種機器人客服轉人工客服的裝置，該裝置可以通過軟體實現，也可以透過硬體或者軟硬體結合的方式實現。以軟體實現為例，作為邏輯意義上的裝置，是透過所在設備的CPU(Central Process Unit，中央處理器)將對應的電腦程式指令讀取到記憶體中運行形成的。從硬體層面而言，除了圖2所示的CPU、記憶體以及非揮發性記憶體之外，機器人客服轉人工客服的裝置所在的設備通常還包括用於進行無線信號收發的晶片等其他硬體，和/或用於實現網路通信功能的板卡等其他硬體。

圖3所示為本申請實施例提供的一種機器人客服轉人工客服的裝置，包括有效特徵獲取單元、當前信心評估單元和人工客服轉接單元，其中：有效特徵獲取單元用於從機器人客服與用戶的至少一輪會話中獲取有效特徵；當前信心評估單元用於將有效特徵輸入信心評估模型，得到機器人客服與用戶會話的當前信心評估值；所述信心評估模型採用標記有有效特徵和適宜出人工點的機器人客服與使用者的會話樣本進行訓練，所述適宜出人工點為以人工客服代替機器人客服的適當時點；人工客服轉接單元用於在當前信心評估值滿足預定出人工條件時，將使用者轉接人工客服。

一個例子中，所述有效特徵獲取單元具體用於：從機器人客服與用戶的至少一輪會話中提取原始特徵，按照特徵預處理規則對原始特徵進行拆分、組合、分類、和/或刪除後得到有效特徵。

上述例子中，所述裝置還包括設定檔獲取單元，用於獲取設定檔；所述設定檔中包括原始特徵發現規則和/或特徵預處理規則；所述有效特徵獲取單元具體用於：從機器人客服與用戶的至少一輪會話中，按照原始特徵發現規則提取原始特徵。

可選的，所述設定檔中還包括：預定出人工條件。

上述例子中，所述原始特徵包括：業務相關性、答案匹配度、答案重複次數、是否兜底答案、答案是否為提問、用戶明確提出換人工、和用戶有潛在換人工傾向、用戶的情感傾向、用戶在解釋自己的問題中的至少一個。

一種實現方式中，所述有效特徵由預定資料分析演算法根據標記有待定特徵、適宜出人工點和實際出人工點的機器人與使用者的會話樣本以及其中會話的服務效果，對若干待定特徵進行評估及整合後得出；所述待定特徵能夠描述機器人客服的服務品質和使用者的轉人工意願。

上述實現方式中，所述有效特徵具有各自的權重，由所述預定資料分析演算法計算得出；所述信心評估模型根據有效特徵的權重進行訓練。

可選的，所述預定出人工條件包括：當前信心評估值大於或小於預定信心閾值；所述預定信心閾值根據若干個樣本信心評估值的覆蓋率和準確率確定；所述樣本信心評估值為將會話樣本輸入信心評估模型後得到的輸出；所述覆蓋率為會話樣本中適宜出人工點對應的所有樣本信心評估值中，滿足預定出人工條件的樣本信心評估值所占的比例；所述準確率為所有滿足預定出人工條件的樣本信心評估值中，對應於適宜出人工點的樣本信心評估值所占的比例。

可選的，所述信心評估模型採用支援向量回歸SVR演算法、邏輯回歸LR演算法、或反覆運算決策樹GBDT演算法。

以上所述僅為本申請的較佳實施例而已，並不用以限制本申請，凡在本申請的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本申請保護的範圍之內。

在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出介面、網路介面和記憶體。

記憶體可能包括電腦可讀媒體中的非永久性記憶體，隨機存取記憶體(RAM)和/或非揮發性記憶體等形式，如唯讀記憶體(ROM)或快閃記憶體(flash RAM)。記憶體是電腦可讀媒體的示例。

電腦可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是電腦可讀指令、資料結構、程式的模組或其他資料。電腦的儲存媒體的例子包括，但不限於相變記憶體(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體 (RAM)、唯讀記憶體(ROM)、電可擦除可程式設計唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶，磁帶磁片儲存或其他磁性存放裝置或任何其他非傳輸媒體，可用於儲存可以被計算設備訪問的資訊。按照本文中的界定，電腦可讀媒體不包括暫存電腦可讀媒體(transitory media)，如調製的資料信號和載波。

還需要說明的是，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個......”限定的要素，並不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。

本領域技術人員應明白，本申請的實施例可提供為方法、系統或電腦程式產品。因此，本申請可採用完全硬體實施例、完全軟體實施例或結合軟體和硬體方面的實施例的形式。而且，本申請可採用在一個或多個其中包含有電腦可用程式碼的電腦可用儲存媒體(包括但不限於磁碟記憶體、CD-ROM、光學記憶體等)上實施的電腦程式產品的形式。

Claims

一種機器人客服轉人工客服的方法，其特徵在於，包括：從機器人客服與用戶的至少一輪會話中獲取有效特徵；將有效特徵輸入信心評估模型，得到機器人客服與用戶會話的當前信心評估值；所述信心評估模型採用標記有有效特徵和適宜出人工點的機器人客服與使用者的會話樣本進行訓練，所述適宜出人工點為以人工客服代替機器人客服的適當時點；在當前信心評估值滿足預定出人工條件時，將使用者轉接人工客服，其中，所述有效特徵由預定資料分析演算法根據標記有待定特徵、適宜出人工點和實際出人工點的機器人與使用者的會話樣本以及其中會話的服務效果，對若干待定特徵進行評估及整合後得出；所述待定特徵能夠描述機器人客服的服務品質和使用者的轉人工意願。
根據申請專利範圍第1項所述的方法，其中，所述從機器人客服與用戶的至少一輪會話中獲取有效特徵，包括：從機器人客服與用戶的至少一輪會話中提取原始特徵，按照特徵預處理規則對原始特徵進行拆分、組合、分類、及/或刪除後得到有效特徵。
根據申請專利範圍第2項所述的方法，其中，所述方法還包括：獲取設定檔；所述設定檔中包括原始特徵發現規則和/或特徵預處理規則；所述從機器人客服與用戶的至少一輪會話中提取原始特徵，包括：從機器人客服與用戶的至少一輪會話中，按照原始特徵發現規則提取原始特徵。
根據申請專利範圍第3項所述的方法，其中，所述設定檔中還包括：預定出人工條件。
根據申請專利範圍第2項所述的方法，其中，所述原始特徵包括：業務相關性、答案匹配度、答案重複次數、是否兜底答案、答案是否為提問、用戶明確提出換人工、用戶有潛在換人工傾向、用戶的情感傾向、和用戶在解釋自己的問題中的至少一個。
根據申請專利範圍第1項所述的方法，其中，所述有效特徵具有各自的權重，由所述預定資料分析演算法計算得出；所述信心評估模型根據有效特徵的權重進行訓練。
根據申請專利範圍第1項所述的方法，其中，所述預定出人工條件包括：當前信心評估值大於或小於預定信心閾值；所述預定信心閾值根據若干個樣本信心評估值的覆蓋率和準確率確定；所述樣本信心評估值為將會話樣本輸入信心評估模型後得到的輸出；所述覆蓋率為會話樣本中適宜出人工點對應的所有樣本信心評估值中，滿足預定出人工條件的樣本信心評估值所占的比例；所述準確率為所有滿足預定出人工條件的樣本信心評估值中，對應於適宜出人工點的樣本信心評估值所占的比例。
根據申請專利範圍第1項所述的方法，其中，所述信心評估模型採用支援向量回歸SVR演算法、邏輯回歸LR演算法、或反覆運算決策樹GBDT演算法。
一種機器人客服轉人工客服的裝置，其特徵在於，包括：有效特徵獲取單元，用於從機器人客服與用戶的至少一輪會話中獲取有效特徵；當前信心評估單元，用於將有效特徵輸入信心評估模型，得到機器人客服與用戶會話的當前信心評估值；所述信心評估模型採用標記有有效特徵和適宜出人工點的機器人客服與使用者的會話樣本進行訓練，所述適宜出人工點為以人工客服代替機器人客服的適當時點；人工客服轉接單元，用於在當前信心評估值滿足預定出人工條件時，將使用者轉接人工客服，其中，所述有效特徵由預定資料分析演算法根據標記有待定特徵、適宜出人工點和實際出人工點的機器人與使用者的會話樣本以及其中會話的服務效果，對若干待定特徵進行評估及整合後得出；所述待定特徵能夠描述機器人客服的服務品質和使用者的轉人工意願。
根據申請專利範圍第9項所述的裝置，其中，所述有效特徵獲取單元具體用於：從機器人客服與用戶的至少一輪會話中提取原始特徵，按照特徵預處理規則對原始特徵進行拆分、組合、分類、及/或刪除後得到有效特徵。
根據申請專利範圍第10項所述的裝置，其中，所述裝置還包括：設定檔獲取單元，用於獲取設定檔；所述設定檔中包括原始特徵發現規則及/或特徵預處理規則；所述有效特徵獲取單元具體用於：從機器人客服與用戶的至少一輪會話中，按照原始特徵發現規則提取原始特徵。
根據申請專利範圍第11項所述的裝置，其中，所述設定檔中還包括：預定出人工條件。
根據申請專利範圍第10項所述的裝置，其中，所述原始特徵包括：業務相關性、答案匹配度、答案重複次數、是否兜底答案、答案是否為提問、用戶明確提出換人工、用戶有潛在換人工傾向、用戶的情感傾向、和用戶在解釋自己的問題中的至少一個。
根據申請專利範圍第9項所述的裝置，其中，所述有效特徵具有各自的權重，由所述預定資料分析演算法計算得出；所述信心評估模型根據有效特徵的權重進行訓練。
根據申請專利範圍第9項所述的裝置，其中，所述預定出人工條件包括：當前信心評估值大於或小於預定信心閾值；所述預定信心閾值根據若干個樣本信心評估值的覆蓋率和準確率確定；所述樣本信心評估值為將會話樣本輸入信心評估模型後得到的輸出；所述覆蓋率為會話樣本中適宜出人工點對應的所有樣本信心評估值中，滿足預定出人工條件的樣本信心評估值所占的比例；所述準確率為所有滿足預定出人工條件的樣本信心評估值中，對應於適宜出人工點的樣本信心評估值所占的比例。
根據申請專利範圍第9項所述的裝置，其中，所述信心評估模型採用支援向量回歸SVR演算法、邏輯同歸LR演算法、或反覆運算決策樹GBDT演算法。