TWI713370B - 視訊通話品質保障方法及系統 - Google Patents

視訊通話品質保障方法及系統 Download PDF

Info

Publication number
TWI713370B
TWI713370B TW108130581A TW108130581A TWI713370B TW I713370 B TWI713370 B TW I713370B TW 108130581 A TW108130581 A TW 108130581A TW 108130581 A TW108130581 A TW 108130581A TW I713370 B TWI713370 B TW I713370B
Authority
TW
Taiwan
Prior art keywords
facial
facial expression
user
user equipment
connection information
Prior art date
Application number
TW108130581A
Other languages
English (en)
Other versions
TW202040998A (zh
Inventor
楊正大
Original Assignee
麥奇數位股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 麥奇數位股份有限公司 filed Critical 麥奇數位股份有限公司
Publication of TW202040998A publication Critical patent/TW202040998A/zh
Application granted granted Critical
Publication of TWI713370B publication Critical patent/TWI713370B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/10—Active monitoring, e.g. heartbeat, ping or trace-route
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load
    • H04N21/64738—Monitoring network characteristics, e.g. bandwidth, congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Image Analysis (AREA)

Abstract

一種視訊通話品質保障方法，視訊通話品質保障系統建立相關於網路延遲狀態下的臉部表情資料模型，並偵測與用戶設備之間的當前網路狀態，當判定出網路狀態值小於第一門檻值時，擷取當前的即時影片的畫面，以獲得相關於使用者臉部的臉部特徵組，當根據臉部特徵組及該臉部表情資料模型，判定出使用者臉部表情為處於網路延遲狀態下的臉部表情時，透過未使用過的中介節點與用戶設備重新通訊連接，並在重新通訊連接後，再擷取當前的即時影片的畫面，而再次判定出使用者臉部表情為處於網路延遲狀態下的臉部表情時，再次更換中介節點。

Description

視訊通話品質保障方法及系統
本發明是有關於一種通話品質保障方法，特別是指一種視訊通話品質保障方法及系統。
隨著寬頻網路日趨普及，電腦運算能力增加，視訊也逐漸成為即時通訊的新趨勢。有別於傳統的通話方式，視訊不僅能進行聲音上的交流，在整個通話過程中還能看到彼此的表情與動作，因此，將視訊技術應用於線上教學，可使得學生與老師不再局限於同一空間中，尤其是外語教學中，很有可能學生可與在不同國家的老師通過伺服器進行互動。
然而，由於長距離的網路傳輸，視訊容易發生網路延遲、丟包、卡頓的情況時有發生，嚴重影響線上教學的品質和溝通效果。並且，由於跨國網路環境的複雜性，普通的網路監測手段的監測容易發生誤差，難以直接判斷網路問題的原因。
因此，本發明的目的，即在提供一種確保視訊通話品質的視訊通話品質保障方法。
於是，本發明視訊通話品質保障方法，由一視訊通話品質保障系統來實施，該視訊通話品質保障系統儲存有多張分別相關於多個使用者在網路延遲狀態下的訓練臉部影像及多筆分別相關於多個中介節點的連接資訊，該視訊通話品質保障系統與一第一用戶設備及一第二用戶設備通訊連接，該視訊通話品質保障系統適用於持續接收多筆來自該第一用戶設備且包括一第一使用者臉部的第一即時影片，並將該等第一即時影片傳送至該第二用戶設備，且該視訊通話品質保障系統持續接收多筆來自該第二用戶設備且包括一第二使用者臉部的第二即時影片，並將該等第二即時影片傳送至該第一用戶設備，該視訊通話品質保障方法包含一步驟(A)、一步驟(B)、一步驟(C)、一步驟(D)、一步驟(E)、一步驟(F)、一步驟(G)，及一步驟(J)。
在該步驟(A)中，該視訊通話品質保障系統根據該等訓練臉部影像獲得多個分別相關於該等訓練臉部影 像的訓練臉部特徵組，並根據該等訓練臉部特徵組建立一相關於網路延遲狀態下的臉部表情資料模型。
在該步驟(B)中，該視訊通話品質保障系統偵測與該第一用戶設備之間的當前網路狀態，以產生一網路狀態值。
在該步驟(C)中，該視訊通話品質保障系統判定該網路狀態值是否小於一第一門檻值。
在該步驟(D)中，當該視訊通話品質保障系統判定出該網路狀態值小於該第一門檻值時，擷取當前的第一即時影片的畫面，以獲得至少一第一擷取影像。
在該步驟(E)中，該視訊通話品質保障系統根據該至少一第一擷取影像獲得至少一相關於該第一使用者臉部的第一臉部特徵組。
在該步驟(F)中，該視訊通話品質保障系統根據該至少一第一臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
在該步驟(G)中，當該視訊通話品質保障系統判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情時，從該等連接資訊中獲得一未使用過的目標連接 資訊，根據該目標連接資訊連接所相關的中介節點，並透過該中介節點與該第一用戶設備重新通訊連接。
在該步驟(H)中，在該視訊通話品質保障系統與該第一用戶設備重新通訊連接後，擷取當前的第一即時影片的畫面，以獲得至少一第二擷取影像。
在該步驟(I)中，該視訊通話品質保障系統根據該至少一第二擷取影像獲得至少一第二臉部特徵組。
該步驟(J)中，該視訊通話品質保障系統根據該至少一第二臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
該步驟(K)中，當該視訊通話品質保障系統判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情時，從該等連接資訊中獲得一未選取過的另一目標連接資訊，根據該另一目標連接資訊連接所相關的中介節點，並透過該另一中介節點與該第一用戶設備重新通訊連接，並重複該步驟(H)~該步驟(J)直到判定出該第一使用者臉部表情不為處於網路延遲狀態下的臉部表情。
本發明的另一目的，即在提供一種確保視訊通話品質的視訊通話品質保障系統。
於是，本發明視訊通話品質保障系統，與一第一用戶設備及一第二用戶設備通訊連接，該視訊通話品質保障系統包含一通訊單元、一儲存單元、一資料模型建立單元、一網路監測單元、一第一畫面擷取單元、一第一表情判定單元、一節點更換單元、一第二畫面擷取單元，及一第二表情判定單元。
該通訊單元與該第一用戶設備及該第二用戶設備通訊連接，並持續接收多筆來自該第一用戶設備且包括一第一使用者臉部的第一即時影片，並將該等第一即時影片傳送至該第二用戶設備，且該視訊通話品質保障系統持續接收多筆來自該第二用戶設備且包括一第二使用者臉部的第二即時影片，並將該等第二即時影片傳送至該第一用戶設備。
該儲存單元儲存有多張分別相關於多個使用者在網路延遲狀態下的訓練臉部影像及多筆分別相關於多個中介節點的連接資訊。
該資料模型建立單元電連接該儲存單元，並根據該等訓練臉部影像獲得多個分別相關於該等訓練臉部影像的訓練臉部特徵組，並根據該等訓練臉部特徵組建立一相關於網路延遲狀態下的臉部表情資料模型，將該臉部 表情資料模型儲存至該儲存單元。
該網路監測單元電連接該通訊單元，並偵測該通訊單元與該第一用戶設備之間的當前網路狀態，以產生一網路狀態值。
該第一畫面擷取單元電連接該網路監測單元，並判定該網路狀態值是否小於一第一門檻值，當判定出該網路狀態值小於該第一門檻值時，擷取當前的第一即時影片的畫面，以獲得至少一第一擷取影像。
該第一表情判定單元電連接該第一畫面擷取單元及該儲存單元，並根據該至少一第一擷取影像獲得至少一相關於該第一使用者臉部的第一臉部特徵組，並根據該至少一第一臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
該節點更換單元電連接該通訊單元及該第一表情判定單元，當該第一表情判定單元判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情時，該節點更換單元從該等連接資訊中獲得一未使用過的目標連接資訊，根據該目標連接資訊將該通訊單元連接該目標連接資訊相關的中介節點，以致該通訊單元透過該中介節點與該 第一用戶設備重新通訊連接。
該第二畫面擷取單元電連接該通訊單元，在該通訊單元與該第一用戶設備重新通訊連接後，該第二畫面擷取單元擷取當前的第一即時影片的畫面，以獲得至少一第二擷取影像。
該第二表情判定單元電連接該儲存單元、該第二畫面擷取單元及該節點更換單元，第二表情判定單元根據該至少一第二擷取影像獲得至少一第二臉部特徵組，並根據該至少一第二臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情，以致該節點更換單元在該第二表情判定單元判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情後，從該等連接資訊中獲得一未選取過的另一目標連接資訊，根據該另一目標連接資訊將該通訊單元連接該另一目標連接資訊相關的另一中介節點，以致該通訊單元透過該另一中介節點與該第一用戶設備重新通訊連接。
本發明之功效在於：監測網路狀態，並在網路狀態不好時根據使用者的表情反饋來判定使用者是否處於不好的體驗，並在判定出使用者表現出不好的體驗表情時，自動更換節點以確保視訊通話品質，提升用戶體驗。
1:視訊通話品質保障系統
11:通訊單元
12:儲存單元
13:資料模型建立單元
14:網路監測單元
15:第一畫面擷取單元
16:第一表情判定單元
17:節點更換單元
18:第二畫面擷取單元
19:第二表情判定單元
2:第一用戶設備
3:第二用戶設備
21~30:步驟
211~213:步驟
251、252:步驟
271~274:步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊圖，說明本發明視訊通話品質保障系統的一實施例；圖2是一流程圖，說明本發明視訊通話品質保障方法的一實施例；圖3是一流程圖，輔助說明圖2的步驟21的子步驟211~213；圖4是一流程圖，輔助說明圖2的步驟25的子步驟251、252；及圖5是一流程圖，輔助說明圖2的步驟27的子步驟271~274。
在本發明被詳細描述前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，本發明視訊通話品質保障系統的一實施例，並包含一通訊單元11、一儲存單元12、一資料模型 建立單元13、一網路監測單元14、一第一畫面擷取單元15、一第一表情判定單元16、一節點更換單元17、一第二畫面擷取單元18，及一第二表情判定單元19。
該通訊單元11與一第一用戶設備2及一第二用戶設備3通訊連接，持續接收多筆來自該第一用戶設備2且包括一第一使用者臉部的第一即時影片，並將該等第一即時影片傳送至該第二用戶設備3，該通訊單元11持續接收多筆來自該第二用戶設備3且包括一第二使用者臉部的第二即時影片，並將該等第二即時影片傳送至該第一用戶設備2。在本實施例中，該第一用戶設備2及該第二用戶設備3例如為智慧手機、平板電腦、桌上型電腦、筆記型電腦，但不以此為限。
值得注意的是，在其他實施方式中，該通訊單元11亦可同時與除該第一用戶設備2及該第二用戶設備3外的其他用戶設備通訊連接，不以此為限。
該儲存單元12儲存有多張分別相關於多個使用者在網路延遲狀態下的訓練臉部影像及多筆分別相關於多個中介節點的連接資訊。
該資料模型建立單元13電連接該儲存單元12，該資料模型建立單元13根據該等訓練臉部影像獲得多個 分別相關於該等訓練臉部影像的訓練臉部特徵組，並根據該等訓練臉部特徵組建立一相關於網路延遲狀態下的臉部表情資料模型，將該臉部表情資料模型儲存至該儲存單元12。
該網路監測單元14電連接該通訊單元11，該網路監測單元14偵測該通訊單元11與該第一用戶設備2之間的當前網路狀態，以產生一網路狀態值。
該第一畫面擷取單元15電連接該網路監測單元14，該第一畫面擷取單元15判定該網路狀態值是否小於一第一門檻值，並當判定出該網路狀態值小於該第一門檻值時，擷取當前的第一即時影片的畫面，以獲得至少一第一擷取影像。
該第一表情判定單元16電連接該第一畫面擷取單元15及該儲存單元12，該第一表情判定單元16根據該至少一第一擷取影像獲得至少一相關於該第一使用者臉部的第一臉部特徵組，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
該節點更換單元17電連接該通訊單元11及該第一表情判定單元16，當該第一表情判定單元16判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情 時，該節點更換單元17從該等連接資訊中獲得一未使用過的目標連接資訊，根據該目標連接資訊將該通訊單元11連接該目標連接資訊相關的中介節點，以致該通訊單元11透過該中介節點與該第一用戶設備2重新通訊連接。
該第二畫面擷取單元18電連接該通訊單元11，在該通訊單元11與該第一用戶設備2重新通訊連接後，該第二畫面擷取單元18擷取當前的第一即時影片的畫面，以獲得至少一第二擷取影像。
該第二表情判定單元19電連接該儲存單元12、該第二畫面擷取單元18及該節點更換單元17，該第二表情判定單元19根據該至少一第二擷取影像獲得至少一第二臉部特徵組，根據該至少一第二臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情，以致該節點更換單元17在該第二表情判定單元19判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情後，從該等連接資訊中獲得一未選取過的另一目標連接資訊，根據該另一目標連接資訊連接所相關的中介節點，並透過該另一中介節點與該第一用戶設備2重新通訊連接。
參閱圖1與圖2，說明本發明視訊通話品質保障 系統如何執行本發明視訊通話品質保障方法之一實施例。
在步驟21中，該資料模型建立單元13根據該等訓練臉部影像獲得多個分別相關於該等訓練臉部影像的訓練臉部特徵組，並根據該等訓練臉部特徵組建立一相關於網路延遲狀態下的臉部表情資料模型。搭配參閱圖3，步驟21包括子步驟211~213，以下說明步驟211~213。
在步驟211中，對於每一訓練臉部影像，該資料模型建立單元13以臉部辨識(Facial recognition)技術，獲得一相關於所相關使用者臉部的訓練感興趣區域。
在步驟212中，對於每一訓練臉部影像，該資料模型建立單元13獲得一包括多個分別對應該訓練感興趣區域內的多個像素的特徵點的訓練臉部特徵組。
在步驟213中，該資料模型建立單元13根據該等訓練臉部特徵組建立該臉部表情資料模型。
在步驟22中，該網路監測單元14偵測與該第一用戶設備2之間的當前網路狀態，以產生一網路狀態值。
在步驟23中，該第一畫面擷取單元15判定該網路狀態值是否小於一第一門檻值，當判定出該網路狀態值小於該第一門檻值時，流程進行步驟24；而當判定出該網路狀態值不小於該第一門檻值時，則重複步驟22。
在步驟24中，該第一畫面擷取單元15擷取當前的第一即時影片的畫面，以獲得一第一擷取影像。
在步驟25中，該第一表情判定單元16根據該第一擷取影像獲得一相關於該第一使用者臉部的第一臉部特徵組。
搭配參閱圖4，步驟25包括子步驟251、252，以下說明步驟251、252。
在步驟251中，該第一表情判定單元16以臉部辨識技術獲得該第一擷取影像的該第一感興趣區域。
在步驟252中，該第一表情判定單元16一包括多個分別對應該第一感興趣區域內的多個像素的特徵點的第一臉部特徵組。
在步驟26中，該第一表情判定單元16根據該至少一第一臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情，當判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情時，流程進行步驟27；而當判定出該第一使用者臉部表情不為處於網路延遲狀態下的臉部表情時，重複步驟22。
值得注意的是，在本實施例中，該第一表情判 定單元16係判定該第一臉部特徵組是否符合該臉部表情資料模型，以判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情，該等訓練感興趣區域與該第一感興趣區域大小相同，若該臉部表情資料模型存在一訓練臉部特徵組的特徵點與該第一臉部特徵組的對應相同的像素的特徵點的一平均誤差值小於一第二門檻值即表示該第一臉部特徵組符合該臉部表情資料模型。
舉例來說，該第一感興趣區域與欲比對的訓練感興趣區域都包括9個像素，如下表一，該第一表情判定單元16計算對應像素11的第一臉部特徵組的特徵點與訓練臉部特徵組的特徵點誤差值，計算對應像素12的第一臉部特徵組的特徵點與訓練臉部特徵組的特徵點誤差值，以此類推，最後再平均9個誤差值，以獲得平均誤差值。
Figure 108130581-A0305-02-0015-1
要特別注意的是，在其他實施方式中，在步驟 24中，該第一畫面擷取單元15可擷取多張第一擷取影像，在步驟25中，該第一表情判定單元16根據該等第一擷取影像獲得多個第一臉部特徵組，在步驟26中，該第一表情判定單元16係判定該等第一臉部特徵組符合該臉部表情資料模型的比例是否大於一第三門檻值，以判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情，該第三門檻值小於1大於0；舉例來說，若該第三門檻值為0.7，該第一擷取影像的張數為10，則要大於7張的第一擷取影像對應的第一臉部特徵組符合該臉部表情資料模型，該第一表情判定單元16才判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
在步驟27中，該節點更換單元17從該等連接資訊中獲得一未使用過的目標連接資訊，根據該目標連接資訊將該通訊單元11連接該目標連接資訊相關的中介節點，以致該通訊單元11透過該中介節點與該第一用戶設備2重新通訊連接。
搭配參閱圖5，步驟27包括子步驟271~274，以下說明步驟271~274。
在步驟271中，對於每一連接資訊，該節點更換單元17獲得該連接資訊所相關的中介節點與該通訊單元 11的一第一ping值。
在步驟272中，對於每一連接資訊，該節點更換單元17獲得該連接資訊所相關的中介節點與該第一用戶設備2的一第二ping值。
在步驟273中，該節點更換單元17根據該等第一ping值及該等第二ping值，從該等連接資訊中獲得該目標連接資訊。值得注意的是，在本實施例中，目標連接資訊所對應的第一ping值及第二ping值之總和為相對最低的，但不以此為限。
在步驟274中，該節點更換單元17根據該目標連接資訊連接所相關的中介節點，並透過該中介節點與該第一用戶設備2重新通訊連接。
在步驟28中，在該通訊單元11與該第一用戶設備2重新通訊連接後，該第二畫面擷取單元18擷取當前的第一即時影片的畫面，以獲得一第二擷取影像。
在步驟29中，該第二表情判定單元19根據該第二擷取影像獲得一第二臉部特徵組。
在步驟30中，該第二表情判定單元19根據該第二臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情，當判定 出該第一使用者臉部表情為不處於網路延遲狀態下的臉部表情時，重複步驟22；而當判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情時，則重複步驟27。
其中步驟29之獲得該第二臉部特徵組方式與步驟25獲得該第一臉部特徵組方式相同，步驟30之判定方式亦與步驟26判定方式相同，故在此不多加贅述。
要特別注意的是，在其他實施方式中，在步驟28中，該第二畫面擷取單元18亦可擷取多張第二擷取影像，在步驟29中，該第二表情判定單元19根據該等第二擷取影像獲得多個第二臉部特徵組，在步驟30中，該第二表情判定單元19係判定該等第二臉部特徵組符合該臉部表情資料模型的比例是否大於該第三門檻值，以判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
要再特別注意的是，在其他實施方式中，在步驟28中，該第二畫面擷取單元18亦可擷取多張第二擷取影像，在步驟29中，該第二表情判定單元19根據該等第二擷取影像獲得多個第二臉部特徵組，在步驟30中，該第二表情判定單元19係判定該等第二臉部特徵組符合該臉部表情資料模型的比例是否大於該第三門檻值，以判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
值得注意的是，在本實施例中，僅針對該第一用戶設備2進行步驟22~30以確保該視訊通話品質保障系統與該第一用戶設備2之網路狀態，在其他實施方式中，亦可針對該第二用戶設備3或是其他與該視訊通話品質保障系統通訊連接的用戶設備進行步驟22~30以確保該視訊通話品質保障系統與該第二用戶設備3或是其他與該視訊通話品質保障系統通訊連接的用戶設備之網路狀態，不以此為限。
綜上所述，本發明視訊通話品質保障方法及系統，藉由該網路監測單元14監測網路狀態，並以該第一畫面擷取單元15擷取當前的第一即時影片的畫面，該第一表情判定單元16根據所擷取的畫面判定使用者是否處於不好的體驗，並在該第一表情判定單元16判定出使用者表現出不好的體驗表情時，該節點更換單元17自動更換節點，並在更換節點後，該第二畫面擷取單元18再次擷取當前的第一即時影片的畫面，該第二表情判定單元19根據所擷取的畫面判定使用者是否處於不好的體驗，並在該第二表情判定單元19判定出使用者表現出不好的體驗表情時，該節點更換單元17再次自動更換節點，直到該第二表情判定單元19判定出使用者表現出好的體驗表情，以確保視訊通話 品質，提升用戶體驗，故確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
1 視訊通話品質保障系統 16 第一表情判定單元
11 通訊單元 17 節點更換單元
12 儲存單元 18 第二畫面擷取單元
13 資料模型建立單元 19 第二表情判定單元
14 網路監測單元 2 第一用戶設備
15 第一畫面擷取單元 3 第二用戶設備

Claims (11)

  1. 一種視訊通話品質保障方法，由一視訊通話品質保障系統來實施，該視訊通話品質保障系統儲存有多張分別相關於多個使用者在網路延遲狀態下的訓練臉部影像及多筆分別相關於多個中介節點的連接資訊，該視訊通話品質保障系統與一第一用戶設備及一第二用戶設備通訊連接，該視訊通話品質保障系統適用於持續接收多筆來自該第一用戶設備且包括一第一使用者臉部的第一即時影片，並將該等第一即時影片傳送至該第二用戶設備，且該視訊通話品質保障系統持續接收多筆來自該第二用戶設備且包括一第二使用者臉部的第二即時影片，並將該等第二即時影片傳送至該第一用戶設備，該視訊通話品質保障方法包含以下步驟：(A)根據該等訓練臉部影像獲得多個分別相關於該等訓練臉部影像的訓練臉部特徵組，並根據該等訓練臉部特徵組建立一相關於網路延遲狀態下的臉部表情資料模型；(B)偵測與該第一用戶設備之間的當前網路狀態，以產生一網路狀態值；(C)判定該網路狀態值是否小於一第一門檻值；(D)當判定出該網路狀態值小於該第一門檻值時，擷取當前的第一即時影片的畫面，以獲得至少 一第一擷取影像；(E)根據該至少一第一擷取影像獲得至少一相關於該第一使用者臉部的第一臉部特徵組；(F)根據該至少一第一臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情；(G)當判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情時，從該等連接資訊中獲得一未使用過的目標連接資訊，根據該目標連接資訊連接所相關的中介節點，並透過該中介節點與該第一用戶設備重新通訊連接；(H)在與該第一用戶設備重新通訊連接後，擷取當前的第一即時影片的畫面，以獲得至少一第二擷取影像；(I)根據該至少一第二擷取影像獲得至少一第二臉部特徵組；及(J)根據該至少一第二臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情；及(K)當判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情時，從該等連接資訊中獲得一未選取過的另一目標連接資訊，根據該另一目標連接資訊連接所相關的中介節點，並透過該另一中介節點與該第一用戶設備重新通訊連接，並重複 步驟(H)~步驟(J)直到判定出該第一使用者臉部表情不為處於網路延遲狀態下的臉部表情。
  2. 如請求項1所述的視訊通話品質保障方法，其中，步驟(G)包括以下子步驟：(G-1)當判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情時，對於每一連接資訊，獲得該連接資訊所相關的中介節點與該視訊通話品質保障系統的一第一ping值；(G-2)對於每一連接資訊，獲得該連接資訊所相關的中介節點與該第一用戶設備的一第二ping值；(G-3)根據該等第一ping值及該等第二ping值，從該等連接資訊中獲得該目標連接資訊；及(G-4)根據該目標連接資訊連接所相關的中介節點，並透過該中介節點與該第一用戶設備重新通訊連接。
  3. 如請求項2所述的視訊通話品質保障方法，其中，在步驟(G-4)中，該目標連接資訊所對應的第一ping值及第二ping值之總和為相對最低的。
  4. 如請求項1所述的視訊通話品質保障方法，其中，步驟(A)包括以下子步驟：(A-1)對於每一訓練臉部影像，獲得一相關於所相關使用者臉部的訓練感興趣區域；(A-2)對於每一訓練臉部影像，獲得一包括多 個分別對應該訓練感興趣區域內的多個像素的的訓練臉部特徵組；及(A-3)根據該等訓練臉部特徵組建立該臉部表情資料模型。
  5. 如請求項4所述的視訊通話品質保障方法，其中，在步驟(D)獲得一第一擷取影像，步驟(E)包括以下子步驟：(E-1)獲得該第一擷取影像的一相關於該第一使用者臉部的第一感興趣區域；及(E-2)獲得一包括多個分別對應該第一感興趣區域內的多個像素的特徵點的第一臉部特徵組；在步驟(F)中，判定該第一臉部特徵組是否符合該臉部表情資料模型，以判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
  6. 如請求項5所述的視訊通話品質保障方法，其中，在步驟(F)中，判定該臉部表情資料模型是否存在一訓練臉部特徵組的特徵點與該第一臉部特徵組的對應相同的像素的特徵點的一平均誤差值小於一第二門檻值，以判定該第一臉部特徵組是否符合該臉部表情資料模型。
  7. 如請求項6所述的視訊通話品質保障方法，其中，在步驟(H)獲得一第二擷取影像，步驟(I)包括以下子步驟：(I-1)獲得該第二擷取影像的一相關於該第一 使用者臉部的第二感興趣區域；及(I-2)獲得該第二感興趣區域內的一包括多個特徵點的第二臉部特徵組；在步驟(J)中，判定該第二臉部特徵組是否符合該臉部表情資料模型，以判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
  8. 如請求項7所述的視訊通話品質保障方法，其中，在步驟(J)中，該視訊通話品質保障系統判定該臉部表情資料模型是否存在一訓練臉部特徵組的特徵點與該第二臉部特徵組的特徵點的一平均誤差值小於一第二門檻值，以判定該第二臉部特徵組是否符合該臉部表情資料模型。
  9. 如請求項1所述的視訊通話品質保障方法，其中，在步驟(D)獲得多張第一擷取影像，在步驟(E)中，根據該等第一擷取影像獲得多個相關於該第一使用者臉部的第一臉部特徵組，在步驟(F)中，判定該等第一臉部特徵組符合該臉部表情資料模型的比例是否大於一第三門檻值，以判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
  10. 如請求項1所述的視訊通話品質保障方法，其中，在步驟(H)中，獲得多張第二擷取影像，在步驟(I)中，根據該等第二擷取影像獲得多個相關於該第一使用者臉部的第二臉部特徵組，在步驟(J)中，判定該等第二臉部特徵組符合該臉部表情資料模型 的比例是否大於一第三門檻值，以判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情。
  11. 一種視訊通話品質保障系統，與一第一用戶設備及一第二用戶設備通訊連接，該視訊通話品質保障系統包含一通訊單元，與該第一用戶設備及該第二用戶設備通訊連接，持續接收多筆來自該第一用戶設備且包括一第一使用者臉部的第一即時影片，並將該等第一即時影片傳送至該第二用戶設備，且該通訊單元持續接收多筆來自該第二用戶設備且包括一第二使用者臉部的第二即時影片，並將該等第二即時影片傳送至該第一用戶設備；一儲存單元，儲存有多張分別相關於多個使用者在網路延遲狀態下的訓練臉部影像及多筆分別相關於多個中介節點的連接資訊；一資料模型建立單元，電連接該儲存單元，根據該等訓練臉部影像獲得多個分別相關於該等訓練臉部影像的訓練臉部特徵組，並根據該等訓練臉部特徵組建立一相關於網路延遲狀態下的臉部表情資料模型，將該臉部表情資料模型儲存至該儲存單元；一網路監測單元，電連接該通訊單元，偵測該通訊單元與該第一用戶設備之間的當前網路狀 態，以產生一網路狀態值；一第一畫面擷取單元，電連接該網路監測單元，判定該網路狀態值是否小於一第一門檻值，當判定出該網路狀態值小於該第一門檻值時，擷取當前的第一即時影片的畫面，以獲得至少一第一擷取影像；一第一表情判定單元，電連接該第一畫面擷取單元及該儲存單元，根據該至少一第一擷取影像獲得至少一相關於該第一使用者臉部的第一臉部特徵組，並根據該至少一第一臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情；一節點更換單元，電連接通訊單元及該第一表情判定單元，當該第一表情判定單元判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情時，從該等連接資訊中獲得一未使用過的目標連接資訊，根據該目標連接資訊將該通訊單元連接該目標連接資訊相關的中介節點，以致該通訊單元透過該中介節點與該第一用戶設備重新通訊連接；一第二畫面擷取單元，電連接該通訊單元，在該通訊單元與該第一用戶設備重新通訊連接後，擷取當前的第一即時影片的畫面，以獲得至少一第二擷取影像；及一第二表情判定單元，電連接該儲存單元、 該第二畫面擷取單元及該節點更換單元，根據該至少一第二擷取影像獲得至少一第二臉部特徵組，並根據該至少一第二臉部特徵組及該臉部表情資料模型，判定該第一使用者臉部表情是否為處於網路延遲狀態下的臉部表情，以致該節點更換單元在該第二表情判定單元判定出該第一使用者臉部表情為處於網路延遲狀態下的臉部表情後，從該等連接資訊中獲得一未選取過的另一目標連接資訊，根據該另一目標連接資訊將該通訊單元連接該另一目標連接資訊相關的另一中介節點，以致該通訊單元透過該另一中介節點與該第一用戶設備重新通訊連接。
TW108130581A 2019-04-16 2019-08-27 視訊通話品質保障方法及系統 TWI713370B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910305766.3A CN110213667B (zh) 2019-04-16 2019-04-16 在线视频交互的网络保障方法、系统、设备及存储介质
CN201910305766.3 2019-04-16

Publications (2)

Publication Number Publication Date
TW202040998A TW202040998A (zh) 2020-11-01
TWI713370B true TWI713370B (zh) 2020-12-11

Family

ID=67786145

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108130581A TWI713370B (zh) 2019-04-16 2019-08-27 視訊通話品質保障方法及系統

Country Status (2)

Country Link
CN (1) CN110213667B (zh)
TW (1) TWI713370B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507193A (zh) * 2020-03-20 2020-08-07 威比网络科技(上海)有限公司 基于脸部识别的在线教育方法、系统、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5821987A (en) * 1992-06-23 1998-10-13 Larson; Craig R. Videophone for simultaneous audio and video communication via a standard telephone line
US6597736B1 (en) * 2000-03-29 2003-07-22 Cisco Technology, Inc. Throughput enhanced video communication
US20070200925A1 (en) * 2006-02-07 2007-08-30 Lg Electronics Inc. Video conference system and method in a communication network
TW200906198A (en) * 2007-07-31 2009-02-01 Sunplus Technology Co Ltd Method and system for transmitting video frame
TWI640294B (zh) * 2018-02-27 2018-11-11 國立臺北科技大學 Method for analyzing physiological characteristics in real time in video

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224851B2 (en) * 2001-12-04 2007-05-29 Fujifilm Corporation Method and apparatus for registering modification pattern of transmission image and method and apparatus for reproducing the same
JP4432054B2 (ja) * 2006-06-20 2010-03-17 富士フイルム株式会社 撮像装置及び方法
US10706367B2 (en) * 2013-09-10 2020-07-07 Facebook, Inc. Sentiment polarity for users of a social networking system
CN104123545B (zh) * 2014-07-24 2017-06-16 江苏大学 一种实时表情特征提取及表情识别方法
CN104794444A (zh) * 2015-04-16 2015-07-22 美国掌赢信息科技有限公司 一种即时视频中的表情识别方法和电子设备
CN206611514U (zh) * 2016-12-02 2017-11-03 刘昌永 一种基于脸部情绪识别的智能安防系统
WO2018104834A1 (en) * 2016-12-07 2018-06-14 Yogesh Chunilal Rathod Real-time, ephemeral, single mode, group & auto taking visual media, stories, auto status, following feed types, mass actions, suggested activities, ar media & platform
CN108429853A (zh) * 2018-02-12 2018-08-21 广东欧珀移动通信有限公司 电子装置、网络切换方法及相关产品
CN109462493B (zh) * 2018-09-13 2021-12-28 国网浙江省电力有限公司丽水供电公司 一种基于ping的局域网络监测方法
CN109447001B (zh) * 2018-10-31 2020-10-09 深圳市安视宝科技有限公司 一种动态情绪识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5821987A (en) * 1992-06-23 1998-10-13 Larson; Craig R. Videophone for simultaneous audio and video communication via a standard telephone line
US6597736B1 (en) * 2000-03-29 2003-07-22 Cisco Technology, Inc. Throughput enhanced video communication
US20070200925A1 (en) * 2006-02-07 2007-08-30 Lg Electronics Inc. Video conference system and method in a communication network
TW200906198A (en) * 2007-07-31 2009-02-01 Sunplus Technology Co Ltd Method and system for transmitting video frame
TWI640294B (zh) * 2018-02-27 2018-11-11 國立臺北科技大學 Method for analyzing physiological characteristics in real time in video

Also Published As

Publication number Publication date
CN110213667A (zh) 2019-09-06
TW202040998A (zh) 2020-11-01
CN110213667B (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
US8897144B2 (en) Quality of user experience testing for video transmissions
US10123066B2 (en) Media playback method, apparatus, and system
JP2017063416A (ja) 会議のフィードバックを提供する方法
US11249796B2 (en) Method and apparatus for enhanced assertion management in cloud media processing
US20140118475A1 (en) Information processing device, conference system and storage medium
US8253776B2 (en) Image rectification method and related device for a video device
US9369674B2 (en) Dialing device and method for video conferencing
EP3149935A1 (en) Transmission control system, transmission system, relay device selecting method, computer program product, and maintenance system
TWI713370B (zh) 視訊通話品質保障方法及系統
CN111629024A (zh) 一种数据传输控制方法、装置、存储介质及电子设备
CN104010228A (zh) 一种用于基于级的自动调整的对等媒体流的装置和方法
TWI583199B (zh) 視頻會議控制系統及方法
JP2020149432A (ja) 通信端末、通信システム、通信方法およびプログラム
CN114866827B (zh) 音视频同步的检测方法和装置、存储介质及电子设备
CN112584134B (zh) 视频会议码流的测试方法、装置、计算机设备和存储介质
CN113612788A (zh) 一种在线会议无缝转移方法及系统
CN104754282A (zh) 基于ip的视频会议控制系统及方法
WO2020259040A1 (zh) 数据传输方法、系统及设备
CN104994018A (zh) 一种即时通信数据多路传输方法及其传输系统
CN112351238B (zh) 一种视频会议一体机及其图像传输检测系统
CN104754280B (zh) 选择性地采用高画质多媒体的交流系统
JP2010171663A (ja) 通信方法、通信システム、通信装置、およびコンピュータプログラム
Sakakibara et al. Deep Learning-Based No-Reference Video Streaming QoE Estimation Using WebRTC Statistics
CN113225521B (zh) 视频会议控制方法、装置和电子设备
TWI540532B (zh) Automatically fetches client-side audio network dating system