WO2012048590A1 - 一种无线通信语音质量评价装置、系统及方法 - Google Patents
一种无线通信语音质量评价装置、系统及方法 Download PDFInfo
- Publication number
- WO2012048590A1 WO2012048590A1 PCT/CN2011/076413 CN2011076413W WO2012048590A1 WO 2012048590 A1 WO2012048590 A1 WO 2012048590A1 CN 2011076413 W CN2011076413 W CN 2011076413W WO 2012048590 A1 WO2012048590 A1 WO 2012048590A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- wireless
- voice
- voice quality
- parameter
- parameters
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
- H04W28/24—Negotiating SLA [Service Level Agreement]; Negotiating QoS [Quality of Service]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
- H04W88/18—Service support devices; Network management devices
- H04W88/181—Transcoding devices; Rate adaptation devices
Definitions
- Wireless communication voice quality evaluation device system and method
- the present invention relates to the field of wireless communications, and in particular, to a method, apparatus, and system for evaluating voice quality of wireless communications.
- PESQ Perceptual Evaluation of Speech Quality
- the patent publication CN1264526A describes a method for voice quality evaluation, which can implement voice quality evaluation on a wide range of real call user equipment, and can be implemented in existing wireless communication network side equipment, and the cost thereof is also relatively high. low.
- the core idea of the technical solution of the invention is: The wireless network side performs voice quality evaluation through the obtained wireless link parameters, and makes the evaluation have a good correlation with the PESQ evaluation standard.
- the inventors of the present invention found that the technical solutions described in the patent have the following problems: (1) The considerations do not cover the voice coding scheme of the wireless network voice call quality, the coding rate, and the number of codecs in the language transmission process. Impact on voice quality; (2) For some wireless processes that have an impact on voice quality, the accuracy of the voice quality assessment and the correlation with the PESQ evaluation criteria are directly affected due to incomplete considerations;
- Bit Error Rate which is also known as one of the radio link parameters, participates in speech quality evaluation because it is used in some special wireless communication systems (such as TDS-CDMA). Inaccurate measurement will affect the accuracy of the evaluation results.
- the present invention provides a wireless communication voice quality evaluation apparatus, which includes a wireless link parameter acquisition unit and a comprehensive evaluation unit, and the apparatus further includes a voice codec parameter acquisition unit and/or wireless process parameter acquisition.
- the radio link parameter obtaining unit is connected to the comprehensive evaluation unit, and the radio link parameter acquiring unit is configured to: output the obtained radio link parameter to the comprehensive evaluation unit;
- the voice codec parameter obtaining unit is connected to the comprehensive evaluation unit, and the voice codec parameter obtaining unit is configured to: output the obtained voice codec parameter to the comprehensive evaluation unit;
- the wireless process parameter obtaining unit is connected to the comprehensive evaluation unit, and the wireless process parameter obtaining unit is configured to: output the acquired wireless process parameter to the comprehensive evaluation unit; and the comprehensive evaluation unit is set as: according to the input And the wireless link parameter, and comprehensively evaluating the voice quality according to the input voice codec parameter and/or the wireless process parameter, and outputting the evaluation result.
- the radio link parameter includes one or more of a block error rate of a transport data block, a bit error rate of a transmission bit, a frame loss rate or a frame error rate, and a longest continuous frame loss or a frame error length.
- the voice codec parameter includes one or more of a voice coding scheme used, a coding rate, and a number of times a voice codec passes during voice transmission;
- the wireless process parameters include various wireless during a statistical call The number of occurrences of the process;
- the wireless process includes one or more of a cell update procedure, a wireless link out-of-synchronization process, a handover procedure, and an intra-cell resource reconfiguration process.
- the comprehensive evaluation unit is configured to perform comprehensive evaluation of voice quality in the following manner: comprehensively considering the influence of each of the wireless link parameters, the voice codec parameters, and/or the wireless process parameters on voice quality And the change in the wireless link parameter caused by the number of times the voice codec passes during the voice transmission and/or the number of occurrences of the wireless process, and the voice quality evaluation is performed by using an evaluation function, and The evaluation function of the final evaluation is determined by testing the degree of fitting of the evaluation result of the evaluation function with the evaluation result of the voice quality evaluation system.
- the radio link parameter obtaining unit acquires an uplink radio link parameter according to the service data received from the uplink data port, and/or obtains the downlink according to the measurement report sent by the terminal and the service data received from the downlink data port.
- Wireless link parameters
- the present invention further provides a wireless communication voice quality evaluation system, the system comprising: a terminal side transmitting end, a base station side receiving end, and a radio network controller side, as described above, a voice quality evaluation apparatus,
- the terminal side sending end is configured to: send the uplink information of the call to the receiving end of the base station side by using the air interface transmission;
- the receiving end of the base station side is configured to: send the uplink service data in the call to the wireless network control
- the voice quality evaluation device is configured to: acquire wireless link parameters according to the received uplink service data, and perform according to the acquired voice codec parameters and/or wireless process parameters Comprehensive evaluation of voice quality, and output evaluation results.
- the voice quality evaluation device is configured to:
- the radio link parameters acquired by the radio link parameter obtaining unit include a block error rate of a transport data block, a bit error rate of a transmission bit, a frame loss rate or a frame error rate, and a longest continuous frame loss or frame error.
- One or more of the lengths; the speech codec parameters obtained by the speech codec parameter acquisition unit include the speech coding scheme used, the coding rate, and the number of times the speech codec passes through the speech transmission process.
- One or more of the wireless process parameters obtained by the wireless process parameter obtaining unit include counting the number of occurrences of various wireless processes during a call; the wireless process includes a cell update process, and the wireless link is out of synchronization One or more of the process, the handover process, and the resource reconfiguration process within the cell.
- the present invention further provides a wireless communication voice quality evaluation system, where the system includes a terminal side receiving end, a base station side transmitting end, and a radio network controller side, as described above, a voice quality evaluating apparatus, wherein The terminal side receiving end is configured to: send the measurement report to the base station side sending end by using the air interface transmission; the base station side sending end is configured to: obtain the wireless link parameter from the received measurement report, and send the The sound quality evaluation device on the wireless network controller side; the voice quality evaluation device is configured to: acquire a wireless link parameter according to the received downlink service data, and receive a wireless link from the base station side sender Parameters; simultaneously comprehensively evaluate the speech quality based on the acquired speech codec parameters and/or wireless process parameters, and output the evaluation results.
- the voice quality evaluation apparatus is configured to: the wireless link parameter acquired by the wireless link parameter acquiring unit includes a block error rate of a transport data block, a bit error rate of a transmission bit, and a frame loss frame. a rate or a frame error rate and one or more of a longest continuous frame loss or a frame error length; the voice codec parameter obtained by the voice codec parameter acquisition unit includes a voice coding scheme used, a coding rate And one or more of the number of times the voice codec passes through during voice transmission;
- the wireless process parameters acquired by the wireless process parameter obtaining unit include counting the number of occurrences of various wireless processes during a call; the wireless process includes a cell update process, a wireless link out-of-synchronization process, a handover process, and a cell One or more of the resource reconfiguration processes.
- the present invention further provides a wireless communication voice quality evaluation system, the system comprising: a first terminal, a first base station, a wireless network controller, and the wireless network controller installed as described above The voice quality evaluation device, the second base station, and the second terminal, wherein: the first terminal is configured to: send the information in the call to the first base station by using an air interface transmission;
- the first base station is configured to: send the service data in the call to the radio network controller in an uplink; the radio network controller is configured to: output the received service data to the voice quality evaluation device, and simultaneously Sending to the second base station; outputting the radio link parameters received from the second base station to the voice quality evaluation device; the second base station is configured to: send the received service data to the second terminal in downlink; The measurement report returned by the second terminal acquires the radio link parameter and sends the parameter to the radio network controller.
- the second terminal is configured to: receive the service data that is sent by the second base station, and return the measurement to the second base station.
- the sound quality evaluation device is configured to: according to the wireless link parameters acquired from the service data and/or the wireless link parameters directly input from the wireless network controller, according to the acquired The speech codec parameters and/or the wireless process parameters are comprehensively evaluated for speech quality, and the evaluation results are output.
- the voice quality evaluation apparatus is configured to: the acquired wireless link parameters include a block error rate of a transmission data block, a bit error rate of a transmission bit, a frame loss rate or a frame error rate, and a longest continuous loss.
- the obtained voice codec parameter includes one or more of a voice coding scheme used, a coding rate, and a number of times of passing through the voice codec during voice transmission.
- the obtained wireless process parameters include counting the number of occurrences of various wireless processes during a call; the wireless process includes a cell update process, a wireless link out-of-synchronization process, a handover process, and a resource reconfiguration process in a cell. Or a variety.
- the voice quality evaluation device includes a first voice quality evaluation device installed in a first wireless network controller and a second voice quality evaluation device installed in a second wireless network controller, where:
- the radio network controller is configured to: output the service data uplinked from the first base station to the first voice quality evaluation device, and simultaneously send to the second radio network controller;
- the second radio network controller is configured to: receive the The service data is output to the second voice quality evaluation device, and is downlinked to the second base station; the wireless link parameter received from the second base station is output to the second voice quality evaluation device;
- the first voice quality evaluation device Is configured to: obtain an uplink radio link parameter according to the service data received by the first radio network controller in uplink;
- the second voice quality evaluation device is configured to: obtain, according to the service data received by the second radio network controller in downlink
- the downlink radio link parameters are directly received or received from the second base station.
- the second radio network controller is configured to: output the service data uplinked from the second base station to the second voice quality evaluation device, and simultaneously send to the first radio network controller;
- the first radio network controller The method is configured to: output the received service data to the first voice quality evaluation device, and send the downlink data to the first base station; and output the wireless link parameter received from the first base station to the first voice quality evaluation device;
- the second voice quality evaluation device is configured to: obtain an uplink wireless link parameter according to the service data received by the second radio network controller in uplink; the first voice quality evaluation device is configured to: control according to the first wireless network
- the service data received by the downlink downlink acquires or directly receives downlink radio link parameters from the first base station.
- the present invention also provides a wireless communication voice quality evaluation method, the method comprising: acquiring wireless link parameters, and acquiring voice codec parameters and/or wireless process parameters; And performing comprehensive evaluation of voice quality according to the obtained wireless link parameter, and performing comprehensive evaluation of voice quality according to the obtained voice codec parameter and/or the wireless process parameter.
- the radio link parameter in the step of acquiring the radio link parameter, includes acquiring an uplink radio link parameter according to the uplink received service data, and/or acquiring the downlink radio according to the received measurement report and the downlink received service data.
- Link parameter; the uplink radio link parameter or the downlink radio link parameter includes a block error rate of a transport data block, a bit error rate of a transmission bit, a frame loss rate or a frame error rate, and a longest continuous frame loss or error.
- the speech codec parameters include a speech coding scheme used, an encoding rate, and a number of times of passing through the speech codec during speech transmission
- the wireless process parameter includes counting the number of occurrences of various wireless processes during a call; the wireless process includes a cell update process, a wireless link out-of-synchronization process, and a handover One or more of the process and the resource reconfiguration process within the cell.
- the step of performing comprehensive evaluation of the voice quality based on the obtained wireless link parameters and performing the comprehensive evaluation of the voice quality according to the obtained voice codec parameter and/or the wireless process parameter includes: comprehensively considering the The respective effects of the wireless link parameters, the speech codec parameters, and/or the wireless process parameters on voice quality, and the number of times the voice codec passes during the voice transmission and/or the occurrence of the wireless process a change in the wireless link parameter caused by the number of times, using the evaluation function to perform the voice quality evaluation, and by testing the degree of fitting of the evaluation result of the evaluation function to the evaluation result of the voice quality evaluation system, Determine the evaluation function that will ultimately be used.
- the invention introduces codec parameters and wireless process parameters for the factors affecting the voice quality evaluation of the wireless communication, and thus is evaluated based on more comprehensive influencing factors, and has stronger correlation with the PESQ evaluation.
- the apparatus for voice quality evaluation of the present invention can be divided into two ends: a single-ended (single sender or single receiver) and a sender-to-receiver, flexible to the wireless communication system. Evaluation of voice quality, favorable A problem that arises in locating wireless communication networks.
- FIG. 1 is a flow chart of an embodiment of a wireless communication voice quality evaluation method according to the present invention
- FIG. 2 is a structural block diagram of an embodiment of a wireless communication voice quality evaluation apparatus according to the present invention
- FIG. 3 is a wireless communication voice quality evaluation system of the present invention
- FIG. 4 is a structural block diagram of Embodiment 2 of a wireless communication voice quality evaluation system according to the present invention
- FIG. 5 is a structural block diagram of Embodiment 3 of the wireless communication voice quality evaluation system of the present invention.
- FIG. 1 it is a flow of an embodiment of a method for evaluating a voice quality of a wireless communication according to the present invention, the method comprising the steps of:
- Step 110 Obtain a wireless link parameter, and obtain a voice codec related parameter and/or a wireless process parameter;
- the wireless link parameters include, but are not limited to, one or more of a block error rate, a bit error rate, a frame loss rate, or a frame error rate of the radio link transmission data block and a longest continuous frame loss or frame error length.
- the radio link parameter in the uplink direction may be obtained according to the uplink service data, and the radio link parameter in the downlink direction is obtained according to the downlink service data and/or the measurement report of the terminal.
- the speech codec related parameters include, but are not limited to, one or more of the speech coding scheme used, the coding rate, and the number of times the speech codec is passed during speech transmission and its impact on speech quality.
- Wireless procedures include, but are not limited to, cell update procedures, radio link (RL) loss Step process, handover procedure, and resource reconfiguration process in the cell; the wireless process parameters are the number of occurrences of the above various wireless processes during the statistical call, and the changes of the wireless link parameters caused by the occurrence of these wireless processes.
- RL radio link
- the form of the evaluation function may perform a logarithmic function, an exponential function, a power function, a square function, an orthogonal function, a power function or a weighted average open window for wireless link parameters that take into account the parameters of the speech codec and the effects of the wireless process. Any operation or operation in the function that yields the evaluation result.
- the specific evaluation function form can be determined by the test method to determine the fitting degree of the evaluation function and the evaluation result of the PESQ evaluation result, and the best evaluation function to be fitted with the PESQ test result is determined as the final Voice quality assessment method.
- the present invention introduces speech codec related parameters and/or wireless process parameters into the evaluation of speech quality, so that the factors considered in the speech quality evaluation are more comprehensive, thereby more accurately performing speech quality evaluation.
- the present invention introduces a block error rate, which is suitable as one of the wireless link parameters for more wireless communication. The system will make the voice quality evaluation better.
- the present invention is directed to the foregoing method embodiments, and correspondingly, an embodiment of a wireless communication voice quality evaluation apparatus is provided.
- the structure thereof is as shown in FIG. 2.
- the apparatus includes a wireless link parameter acquisition unit, a comprehensive evaluation unit, and a voice codec parameter acquisition unit. And/or a wireless process parameter obtaining unit, wherein: the wireless link parameter obtaining unit is connected to the comprehensive evaluation unit, and the wireless link parameter acquiring unit is configured to: obtain the wireless link parameter, and output the parameter to the comprehensive evaluation unit;
- the path parameters include one or more of a block error rate of a radio link transmission data block, a bit error rate, a frame loss rate or a frame error rate, and a longest continuous frame loss or frame error length.
- the voice codec parameter obtaining unit is connected to the comprehensive evaluation unit, and the voice codec parameter obtaining unit is configured to: obtain a voice codec parameter, and output the parameter to the comprehensive evaluation unit; the acquired voice codec related parameter includes a voice coding scheme used, Coding rate and One or more of the number of voice codecs and their impact on voice quality during voice transmission.
- the wireless process parameter acquisition unit is connected to the comprehensive evaluation unit, and the wireless process parameter acquisition unit is configured to: acquire wireless process parameters and output the signals to the comprehensive evaluation unit; the acquired wireless process parameters include, but are not limited to, various wireless processes during the statistical call process. One or more of the number of occurrences, changes in wireless link parameters caused by the occurrence of various wireless processes.
- the wireless procedures include, but are not limited to, a cell update procedure, a radio link (RL) out-of-synchronization procedure, a handover procedure, and an intra-cell resource reconfiguration procedure.
- the comprehensive evaluation unit is configured to: perform comprehensive evaluation of voice quality according to the input wireless link parameters and according to the input voice codec parameters and/or wireless process parameters.
- the comprehensive evaluation unit evaluates the evaluation function of the wireless link parameters considering the parameters of the speech codec and the influence of the wireless process, including a logarithmic function, an exponential function, a power function, a square function, an orthogonal function, and a power function. Or any of the operations or operations in the weighted average open window function to obtain the evaluation result.
- the specific evaluation function form can be determined by fitting the evaluation result of the evaluation function to the test result of the PESQ by the test method.
- the present invention includes factors including a speech coding scheme, a coding rate, and a number of codecs in a language transmission process; and, at the same time, an air interface wireless process that affects user experience in a mobile communication system, For example, for the third generation mobile communication (3rd Generation, 3G) system, the influence of wireless processes such as cell update on voice quality is considered.
- the voice quality evaluation apparatus of the embodiment of the present invention can flexibly evaluate the voice quality in two different steps: a single-end (sender or receiver) and a sender-to-receiver, and is more than other existing ones.
- the evaluation method is more conducive to analyzing and locating network problems affecting voice quality. This can be manifested by the following description of an embodiment of the speech quality evaluation system provided by the present invention. As shown in FIG.
- Embodiment 1 of the voice quality evaluation system provided by the present invention is shown, which is an embodiment for evaluating the voice quality of the call uplink for a single receiver end of the wireless communication network.
- the system embodiment includes a terminal side transmitting end, a base station side receiving end, and a voice quality evaluating apparatus 1 installed on a radio network controller (RNC) side, where: the terminal side transmitting end is configured to: transmit the uplink information of the call through the air interface.
- RNC radio network controller
- the base station side receiving end is configured to: transmit the uplink service data in the call to the voice quality evaluation device 1 on the radio network controller (RNC) side; the voice quality evaluation device 1 sets The method is: acquiring wireless link parameters according to the input uplink service data, and performing comprehensive voice quality evaluation according to the acquired voice codec parameters and/or wireless process parameters, and outputting voice quality evaluation results.
- the voice quality evaluation device 1 performs the statistics of the uplink service data on the user plane of the RNC according to the service characteristics of the language service, and can obtain the wireless link parameters including the number of the error frame or the number of dropped frames, and the longest continuous error frame or the number of dropped frames. As shown in FIG.
- the system embodiment includes a terminal side receiving end, a base station side transmitting end, and a voice quality evaluating apparatus 2 installed on the RNC side, where: the terminal side receiving end is configured to: transmit the measurement report to the base station side transmitting end by using the air interface transmission;
- the side sender is configured to: obtain the radio link parameter from the received measurement report, and send it to the RNG side voice quality evaluation device 2;
- the voice quality evaluation device 2 is configured to: obtain according to the received downlink service data
- the wireless link parameters are received, and/or the wireless link parameters are received from the base station side sender; and the voice quality comprehensive evaluation is performed according to the acquired voice codec parameters and/or the wireless process parameters, and the voice quality evaluation result is output.
- the difference between the above two system embodiments is the wireless link parameters of the two voice quality evaluation devices.
- the voice quality evaluation apparatus 1 acquires only the uplink service data transmitted on the air interface of the front end of the evaluation apparatus for the network side receiving end; the voice quality evaluation apparatus 2 transmits the evaluation apparatus for the network side except the slave evaluation apparatus.
- the functions of the above-described voice quality evaluation device 1 and the voice quality evaluation device 2 can be combined on one device, which as the voice quality evaluation device respectively have an uplink service data port and a downlink service data port, and can receive the base station.
- FIG. 5 shows the structure of Embodiment 3 of the voice quality evaluation system provided by the present invention, which is an embodiment for evaluating voice quality for a sender-receiver link of a wireless communication network.
- the system embodiment includes terminal UE A, base station A and RNC A and their installed voice quality evaluation device 1, core network (Core Network, CN), RNC B and their installed voice quality evaluation device 2, base station B and terminal UE B, where: UE A is set to: transmit the information in the call to the base station A through the air interface transmission; the base station A is set to: send the service data in the call to the RNC A;
- the RNC A is set to: output the received service data to the voice quality evaluation device 1 and simultaneously transmit it to the RNC B through the CN;
- the voice quality evaluation device 1 is configured to: acquire the wireless link parameter according to the input service data, and according to the Acquiring voice codec parameters and/or wireless process parameters for comprehensive evaluation of voice quality, and outputting voice quality evaluation results;
- the RNC B is configured to: receive the service data sent by the RNC A through the CN, output the received service data to the voice quality evaluation device 2, and simultaneously transmit the downlink data to the base station B; and output the wireless link parameters received from the base station B to the voice.
- the voice quality evaluation device 2 is configured to: acquire wireless link parameters and/or wireless link parameters directly input from the RNC B according to the service data received from the RNC B; and simultaneously encode and decode according to the acquired voice code Comprehensive evaluation of voice quality based on parameters and/or wireless process parameters, and output voice quality evaluation Price result.
- the base station B is configured to: send the received service data to the UE B through the air interface transmission; acquire the radio link parameter according to the measurement report returned by the UE B, and send the radio link parameter to the RNC B;
- the UE B is set to: Receive base station B to send service data, and return measurement report to base station B.
- the language quality evaluation in the uplink direction is performed from the UE A to the RNC A, and is implemented by the language quality evaluating apparatus 1 installed in the RNC A.
- ulEMI ulFactor 1 * (DFRultotal ) ulA + ulFactor 2 * (LCDFul ) ulB + ulFactor (FER)
- DFRultotal total error frame or number of dropped frames in the uplink direction + number of dropped frames or frames caused by cross-RNC switching * number of cross-RNC switching times; ⁇ ) / is the longest continuous error frame or number of dropped frames according to service data.
- FER total number of frames to be deleted in the uplink direction D Rw/toto// total number of frames in the evaluation period;
- ulFactoA ? ulFactor! ? ulA ? ulB , 3 ⁇ 4/ 3 ⁇ 4ctor4 is the configuration parameter corresponding to the evaluation function selected according to the speech codec related parameters.
- these configuration parameters are fixed coefficients.
- the acquisition of the parameters and the above-mentioned exponential function are obtained and determined by fitting the test result data with the PESQ.
- the language quality evaluation in the downlink direction is performed from the RNC B to the UE B, and is implemented by the language quality evaluation device 2 installed in the RNC B.
- the voice codec related parameters acquired by the voice quality evaluation device 2 including the codec scheme, the coding rate, and the number of times the voice codec is transmitted during the call service data transmission;
- the service feature of the voice service is used to perform downlink service data statistics on the user plane of the RNC B.
- the number of the error frames or the number of dropped frames in the downlink direction (DF ⁇ the longest continuous error frame) Or the number of dropped frames (LCDFdl) and the air interface error block rate (BLERdi); statistics on the changes of the wireless link parameters caused by the wireless process: respectively, the cell update process, the RL out-of-synchronization process, and the handover process and resource reconfiguration in the cell The number of occurrences of the process, and estimate the number of frame loss or frame error caused by each process; According to the various parameters obtained and the requirements of the evaluation link, the comprehensive evaluation of voice quality is performed according to the following evaluation function:
- dlEMI dlFactorl * ⁇ DFRdltotal) dlA + dlFactorl * ⁇ LCDFdl) dm + dlFactor3 * (BLERdl) dlc + dlFactorl FE ) where:
- ⁇ ) / is the longest continuous error frame or number of dropped frames counted according to the service data
- BLERdl is the downlink error block rate calculated according to the business data
- FER total number of frames to be deleted in the downlink direction DFRdltotal / total number of frames in the evaluation period;
- dlFactorl, dlFactorl, dlFactori, dlFactoA, dlA, dlB, dlC are configuration parameters corresponding to the evaluation function selected according to the speech codec related parameters.
- the acquisition of the parameters and the above-mentioned exponential function are obtained and determined by testing the test data with PESQ.
- the above system embodiment describes only two different voice qualities performed by the voice quality evaluation device 1 and the voice quality evaluation device 2 for different objects in the call process that the UE A said and the UE B listens to. Evaluation, and the evaluation results will be different.
- the voice quality evaluation device 1 needs to be installed on the RNC B, and the voice quality evaluation device 2 is installed on the RNC A to perform the above-mentioned opposite uplink and downlink voice quality evaluation. . Therefore, if the functions of the above-described voice quality evaluating device 1 and voice quality evaluating device 2 are combined into the same voice quality evaluating device on one device, respectively, RNC A and RNC B can easily implement two calls. Up-and-down voice quality assessment of the process.
- the above system embodiment describes a call process scenario across the RNC through the core network (CN).
- the present invention can also exemplify a call process scenario in which the different base stations are in the same RNC; in this scenario, the voice quality evaluation device having the functions of the voice quality evaluation device 1 and the voice quality evaluation device 2 is used. It is more convenient and simpler.
- a program to instruct the associated hardware such as a read only memory, a magnetic disk, or an optical disk.
- all or part of the steps of the above embodiments may also be implemented using one or more integrated circuits.
- each module unit in the foregoing embodiment may be implemented in the form of hardware, or may be implemented in the form of a software function module. The invention is not limited to any specific form of combination of hardware and software.
- the present invention introduces codec parameters and wireless process parameters for factors affecting the evaluation of wireless communication voice quality, and thus is evaluated based on more comprehensive influencing factors, and is more correlated with PESQ evaluation.
- the apparatus for voice quality evaluation of the present invention can be divided into two ends: a single-ended (single sender or single receiver) and a sender-to-receiver, flexible to the wireless communication system.
- the evaluation of voice quality is beneficial to locate problems in wireless communication networks.
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Description
一种无线通信语音质量评价装置、 系统及方法
技术领域 本发明涉及无线通信领域， 尤其涉及无线通信语音质量的评价方法、 装 置及系统。
背景技术 对于无线通信系统， 运营商多关注客户感受。 主观语音质量评价 ( Perceptual Evaluation of Speech Quality, PESQ )体系是目前最主流的语音 评估算法。 它考虑了用户感知的各项影响因素， 例如编解码失真及错误、 丟 包、 延时、 抖动和过滤等， 能够客观地评价语音信号的质量， 从而提供出可 以完全量化的语音质量衡量方法。 PESQ的优点是准确， 能够评估无线网络、 传输网络、 交换、 以及路由等多个环节综合结果。 PESQ 的缺点是该语音质 量评价需要通过路测或者呼叫播测方式获得， 故评价成本较高。 而且， 由于 PESQ 不能对网络实际用户的业务质量进行评价， 无法在真实网络中广泛使 用而实时监测端到端用户的语音业务的通话质量。 因此运营商更关注能有一 种与 PESQ评价标准具有较好的相关性的其它可以涵盖现网真实呼叫用户且 成本较低的语音质量评价方法和装置。 公开号为 CN1264526A的专利描述了一种语音质量评价的方法， 可以实 现对较大范围的真实呼叫用户设备进行语音质量评价， 且可以实现在现有的 无线通信网络侧设备里， 其成本也较低。 该项发明技术方案的核心思想是： 无线网络侧通过获得的无线链路参数进行语音质量评价， 并使得该评价能够 与 PESQ评价标准具有较好的相关性。 本发明申请发明人发现， 该项专利描述的技术方案存在的问题是： ( 1 )其考虑因素没有涵盖无线网络语音通话质量的语音编码方案、编码 速率以及语言传输过程中的经过编解码器次数对语音质量的影响；
( 2 )对于一些对语音质量具有影响的无线过程， 由于考虑因素不完整而 直接影响语音质量评价的准确性和与 PESQ评价标准的相关性； 以及
( 3 ) 比特差错率（Bit Error Rate, BER, 也称误比特率）作为无线链路 参数之一参与到语音质量评价中， 因其在一些特殊的无线通信系统 （如 TDS-CDMA ) 中的测量不准确， 会影响到评价结果的准确性。
发明内容 本发明的目的是提供一种无线通信语音质量评价装置、 系统及方法， 以 解决如何能够基于更全面的语音质量影响因素对语音质量进行评价的问题。 为了解决上述技术问题，本发明提供了一种无线通信语音质量评价装置， 该装置包括无线链路参数获取单元和综合评价单元， 该装置还包括语音编解 码参数获取单元和 /或无线过程参数获取单元， 其中： 所述无线链路参数获取单元， 与所述综合评价单元连接， 所述无线链路 参数获取单元设置为： 将获取到的无线链路参数输出给所述综合评价单元； 所述语音编解码参数获取单元， 与所述综合评价单元连接， 所述语音编 解码参数获取单元设置为： 将获取的语音编解码参数输出给所述综合评价单 元；
所述无线过程参数获取单元， 与所述综合评价单元连接， 所述无线过程 参数获取单元设置为： 将获取的无线过程参数输出给所述综合评价单元； 所述综合评价单元设置为： 根据输入的所述无线链路参数， 并根据输入 的所述语音编解码参数和 /或所述无线过程参数进行语音质量综合评价，并输 出评价结果。 上述装置中， 所述无线链路参数包括传输数据块的误块率、 传输比特的误比特率、 丟 帧率或误帧率以及最长连续丟帧或误帧长度中的一种或多种。 上述装置中，
所述语音编解码参数包括所使用的语音编码方案、 编码速率以及在语音 传输过程中经过语音编解码器的次数中的一种或多种； 所述无线过程参数包括统计通话过程中各种无线过程的发生的次数； 所 述无线过程包括小区更新过程、 无线链路失步过程、 切换过程以及小区内资 源重配置过程中的一种或多种。 上述装置中， 所述综合评价单元是设置为按如下方式进行语音质量综合评价： 综合考 虑所述无线链路参数、所述语音编解码参数和 /或所述无线过程参数各自对语 音质量的影响，以及所述在语音传输过程中经过语音编解码器的次数和 /或所 述无线过程的发生的次数引起的所述无线链路参数的变化， 釆用评估函数进 行所述语音质量评价， 且通过测试对所述评估函数的评估结果与釆用语音质 量评价体系的评估结果的拟合程度， 确定最终釆用的评估函数。 上述装置中， 所述无线链路参数获取单元根据从上行数据端口上行接收的业务数据获 取上行无线链路参数，和 /或根据终端发送的测量报告及从下行数据端口下行 接收的业务数据获取下行无线链路参数。 为了解决上述技术问题， 本发明还提供了一种无线通信语音质量评价系 统， 所述系统包括： 终端侧发送端、 基站侧接收端以及无线网络控制器侧的 如上所述的语音质量评价装置， 其中： 所述终端侧发送端设置为： 通过空中接口传输将通话的上行信息发送给 基站侧接收端； 所述基站侧接收端设置为： 将通话中的上行业务数据发送给所述无线网 络控制器侧的所述语音质量的评价装置； 所述语音质量的评价装置设置为： 根据接收的上行业务数据获取到无线 链路参数， 同时根据已获取的语音编解码参数和 /或无线过程参数进行语音质 量综合评价， 并输出评价结果。 上述系统中， 所述语音质量评价装置是设置为：
通过所述无线链路参数获取单元获取到的所述无线链路参数包括传输数 据块的误块率、 传输比特的误比特率、 丟帧率或误帧率以及最长连续丟帧或 误帧长度中的一种或多种； 通过所述语音编解码参数获取单元获取的所述语音编解码参数包括所使 用的语音编码方案、 编码速率以及在语音传输过程中经过语音编解码器的次 数中的一种或多种； 通过所述无线过程参数获取单元获取的所述无线过程参数包括统计通话 过程中各种无线过程的发生的次数； 所述无线过程包括小区更新过程、 无线 链路失步过程、 切换过程以及小区内资源重配置过程中的一种或多种。 为了解决上述技术问题， 本发明还提供了一种无线通信语音质量评价系 统， 所述系统包括终端侧接收端、 基站侧发送端以及无线网络控制器侧的如 上所述的语音质量评价装置， 其中： 所述终端侧接收端设置为： 通过空中接口传输将测量报告发送给基站侧 发送端； 所述基站侧发送端设置为： 从收到的测量报告中获取到无线链路参数， 并发送给无线网络控制器侧的所述语音质量的评价装置； 所述语音质量的评价装置设置为： 根据接收的下行业务数据获取到无线 链路参数， 并从所述基站侧发送端接收到无线链路参数； 同时根据已获取的 语音编解码参数和 /或无线过程参数进行语音质量综合评价， 并输出评价结 果。 上述系统中， 所述语音质量评价装置是设置为： 通过所述无线链路参数获取单元获取到的所述无线链路参数包括传输数 据块的误块率、 传输比特的误比特率、 丟帧率或误帧率以及最长连续丟帧或 误帧长度中的一种或多种； 通过所述语音编解码参数获取单元获取的所述语音编解码参数包括所使 用的语音编码方案、 编码速率以及在语音传输过程中经过语音编解码器的次 数中的一种或多种；
通过所述无线过程参数获取单元获取的所述无线过程参数包括统计通话 过程中各种无线过程的发生的次数； 所述无线过程包括小区更新过程、 无线 链路失步过程、 切换过程以及小区内资源重配置过程中的一种或多种。 为了解决上述技术问题， 本发明还提供了一种无线通信语音质量评价系 统， 所述系统包括： 第一终端、 第一基站、 无线网络控制器及所述无线网络 控制器安装的所述如上所述的语音质量评价装置、 第二基站以及第二终端， 其中： 第一终端设置为： 通过空中接口传输将通话中的信息上行发送给第一基 站；
第一基站设置为： 将所述通话中的业务数据上行发送给所述无线网络控 制器； 所述无线网络控制器设置为： 将接收的所述业务数据输出给所述语音质 量评价装置， 同时发送给第二基站； 将从第二基站接收到的无线链路参数输 出给所述语音质量评价装置； 第二基站设置为： 将收到的所述业务数据下行发送给第二终端； 根据该 第二终端返回的测量报告获取无线链路参数，并发送给所述无线网络控制器； 第二终端设置为： 接收到第二基站下行发送的所述业务数据， 向第二基 站返回所述测量报告； 所述语音质量的评价装置设置为： 根据从所述业务数据获取到的无线链 路参数和 /或从所述无线网络控制器直接输入的所述无线链路参数， 同时根据 已获取的语音编解码参数和 /或无线过程参数进行语音质量综合评价，并输出 评价结果。 上述系统中， 所述语音质量评价装置是设置为： 获取的所述无线链路参数包括传输数据块的误块率、 传输比特的误比特 率、 丟帧率或误帧率以及最长连续丟帧或误帧长度中的一种或多种； 获取的所述语音编解码参数包括所使用的语音编码方案、 编码速率以及 在语音传输过程中经过语音编解码器的次数中的一种或多种；
获取的所述无线过程参数包括统计通话过程中各种无线过程的发生的次 数； 所述无线过程包括小区更新过程、 无线链路失步过程、 切换过程以及小 区内资源重配置过程中的一种或多种。 上述系统中， 所述语音质量评价装置包括安装于一第一无线网络控制器 内的第一语音质量评价装置和安装于一第二无线网络控制器的第二语音质量 评价装置， 其中： 第一无线网络控制器设置为： 将从第一基站上行接收的所述业务数据输 出给第一语音质量评价装置， 同时发送给第二无线网络控制器； 第二无线网络控制器设置为： 将接收到的所述业务数据输出给第二语音 质量评价装置， 同时下行发送给第二基站； 将从第二基站接收到的无线链路 参数输出给第二语音质量评价装置； 第一语音质量的评价装置是设置为： 根据第一无线网络控制器上行接收 的所述业务数据获取到上行无线链路参数； 第二语音质量的评价装置是设置为： 根据第二无线网络控制器下行接收 的业务数据获取到或从第二基站直接接收到下行无线链路参数。 上述系统中， 第二无线网络控制器设置为： 将从第二基站上行接收的所 述业务数据输出给第二语音质量评价装置，同时发送给第一无线网络控制器； 第一无线网络控制器设置为： 将接收到的所述业务数据输出给第一语音 质量评价装置， 同时下行发送给第一基站； 将从第一基站接收到的无线链路 参数输出给第一语音质量评价装置；
第二语音质量的评价装置是设置为： 根据第二无线网络控制器上行接收 的所述业务数据获取到上行无线链路参数； 第一语音质量的评价装置是设置为： 根据第一无线网络控制器下行接收 的业务数据获取到或从第一基站直接接收到下行无线链路参数。 为了解决上述技术问题， 本发明还提供了一种无线通信语音质量评价方 法， 该方法包括： 获取无线链路参数， 并获取语音编解码参数和 /或无线过程参数； 以及
根据获取的所述无线链路参数， 并根据获取的所述语音编解码参数和 / 或所述无线过程参数进行语音质量综合评价进行语音质量综合评价。 上述方法中， 获取无线链路参数的步骤中， 所述无线链路参数包括根据上行接收的业 务数据获取上行无线链路参数，和 /或根据接收的测量报告及下行接收的业务 数据获取下行无线链路参数； 所述上行无线链路参数或所述下行无线链路参 数包括传输数据块的误块率、 传输比特的误比特率、 丟帧率或误帧率以及最 长连续丟帧或误帧长度中的一种或多种； 获取语音编解码参数的步骤中， 所述语音编解码参数包括所使用的语音 编码方案、 编码速率以及在语音传输过程中经过语音编解码器的次数中的一 种或多种； 获取无线过程参数的步骤中， 所述无线过程参数包括统计通话过程中各 种无线过程的发生的次数； 所述无线过程包括小区更新过程、 无线链路失步 过程、 切换过程以及小区内资源重配置过程中的一种或多种。 上述方法中， 根据获取的所述无线链路参数， 并根据获取的所述语音编 解码参数和 /或所述无线过程参数进行语音质量综合评价进行语音质量综合 评价的步骤包括： 综合考虑所述无线链路参数、所述语音编解码参数和 /或所述无线过程参 数各自对语音质量的影响， 以及所述在语音传输过程中经过语音编解码器的 次数和 /或所述无线过程的发生的次数引起的所述无线链路参数的变化，釆用 评估函数进行所述语音质量评价， 且通过测试对所述评估函数的评估结果与 釆用语音质量评价体系的评估结果的拟合程度， 确定最终釆用的评估函数。
本发明根据无线通信协议的特点， 对影响无线通信语音质量评价的因素 引入了编解码参数与无线过程参数，因而基于更加全面的影响因素进行评价， 且与 PESQ评价的相关性更强。 本发明的语音质量评价的装置可以分为单端 (可以是单发送端（sender )或者单接收端（receiver ) )和端到端（sender to receiver )两种不同环节， 灵活地对无线通信系统的语音质量进行评估， 有利
于定位无线通信网络中出现的问题。
附图概述 图 1为本发明的无线通信语音质量评价方法实施例流程图； 图 2为本发明的无线通信语音质量评价装置实施例的结构框图； 图 3为本发明的无线通信语音质量评价系统实施例一的结构框图； 图 4为本发明的无线通信语音质量评价系统实施例二的结构框图； 以及 图 5本发明的无线通信语音质量评价系统实施例三的结构框图。
本发明的较佳实施方式 为使本发明的目的、 技术方案和优点更加清楚明白， 以下结合附图和优 选实施例对本发明的技术方案进行详细地阐述。 以下例举的实施例仅仅用于 说明和解释本发明， 而不构成对本发明技术方案的限制。 需要说明的是， 在 不冲突的情况下， 本申请中的实施例及实施例中的特征可以相互任意组合。 如图 1所示， 是本发明的无线通信语音质量评价方法实施例的流程， 该 方法包括步骤：
110: 获取无线链路参数， 并获取语音编解码相关参数和 /或无线过程参 数；
无线链路参数包括但不限于无线链路传输数据块的误块率、 误比特率、 丟帧率或误帧率以及最长连续丟帧或误帧长度中的一种或多种。 可以根据上 行业务数据获取到上行方向的无线链路参数，根据下行业务数据和 /或终端的 测量报告获取到下行方向的无线链路参数。 语音编解码相关参数包括但不限于所使用的语音编码方案、 编码速率以 及在语音传输过程中经过语音编解码器的次数及其对语音质量影响中的一种 或多种。 无线过程包括但不限于小区更新过程、 无线链路（Radio Link, RL ) 失
步过程、 切换过程以及小区内资源重配置过程等； 无线过程参数即统计通话 过程中上述各种无线过程的发生的次数， 以及这些无线过程的发生引起的无 线链路参数的变化。
120: 根据获取的各种参数进行语音质量的综合评估。 釆用评估函数方式进行评估。 评估函数的形式可以对考虑了语音编解码 相关参数和无线过程影响的无线链路参数执行对数函数、 指数函数、 乘方函 数、 开方函数、 正交函数、 取幂函数或加权平均开窗口函数中的任何一种运 算或操作， 得到评估结果。 具体的评估函数形式， 可以通过测试的方法对评 估函数的评估结果与釆用 PESQ 的评估结果的拟合程度来确定， 亦即将与 PESQ的测试结果拟合的最好的评估函数确定为最终的语音质量评估方式。 在以上实施例中，本发明通过将语音编解码相关参数和 /或无线过程参数 引入语音质量的评价中， 使得语音质量评价考虑的因素更全面， 从而更准确 地进行语音质量评价。 另外， 针对无线链路参数中的误比特率对于某些无线通信系统会导致语 音质量评价不准确的问题， 本发明将误块率引入， 它作为无线链路参数之一 适合更多的无线通信系统， 且会使得语音质量评价效果更佳。
本发明针对上述方法实施例， 相应地提出无线通信语音质量评价装置实 施例， 其结构如图 2所示， 该装置包括无线链路参数获取单元、 综合评价单 元， 还包括语音编解码参数获取单元和 /或无线过程参数获取单元， 其中： 无线链路参数获取单元， 与综合评价单元连接， 无线链路参数获取单元 设置为： 获取无线链路参数， 并输出给综合评价单元； 获取的无线链路参数包括无线链路传输数据块的误块率、 误比特率、 丟 帧率或误帧率以及最长连续丟帧或误帧长度中的一种或多种。 语音编解码参数获取单元， 与综合评价单元连接， 语音编解码参数获取 单元设置为： 获取语音编解码参数， 并输出给综合评价单元； 获取的语音编解码相关参数包括所使用的语音编码方案、 编码速率以及
在语音传输过程中经过语音编解码器的次数及其对语音质量影响中的一种或 多种。 无线过程参数获取单元， 与综合评价单元连接， 无线过程参数获取单元 设置为： 获取无线过程参数， 并输出给综合评价单元； 获取的无线过程参数包括但不限于统计通话过程中各种无线过程的发生 的次数、 各种无线过程的发生引起的无线链路参数的变化中的一种或多种。 无线过程包括但不限于小区更新过程、 无线链路（RL )失步过程、 切换过程 以及小区内资源重配置过程等。 综合评价单元设置为： 根据输入的无线链路参数， 并根据输入的语音编 解码参数和 /或无线过程参数进行语音质量的综合评估。 综合评价单元釆用考虑了语音编解码相关参数和无线过程影响的无线链 路参数的评估函数进行评估， 包括对数函数、 指数函数、 乘方函数、 开方函 数、 正交函数、 取幂函数或加权平均开窗口函数中的任何一种运算或操作， 得到评估结果。 具体的评估函数形式， 可以通过测试的方法对评估函数的评 估结果与 PESQ的测试结果的拟合来确定。 本发明通过以上实施例， 将影响语音质量评价的因素包含了语音编码方 案、 编码速率和语言传输过程中的经过编解码器次数； 同时， 包含了移动通 信系统中影响用户感受的空口无线过程， 例如对于第三代移动通讯 （3rd Generation, 3G ) 系统， 考虑小区更新等无线过程对语音质量的影响。 另夕卜， 针对时分同步码分多址( Time Division- Synchronization Code Division Multiple Access, TD-SCDMA ) 系统中误比特率测量不准确的特点， 空口影响因素引 入空口误块率， 会使得语音质量评价更准确。 本发明实施例的语音质量评价装置的可以分单端（发送端 sender或接收 端 receiver )和端到端 ( sender to receiver ) 两种不同环节灵活的对于语音质 量进行评估， 且较其它现有的评价方法更有利于分析和定位影响语音质量的 网络问题。 这可以通过以下本发明提供的语音质量的评价系统实施例的描述 体现出。
如图 3所示， 表示了本发明提供的语音质量评价系统实施例一的结构， 它是针对无线通信网络的单接收端（receiver )环节对通话上行的语音质量进 行评估的实施例。 该系统实施例包括终端侧发送端、 基站侧接收端以及安装 在无线网络控制器（RNC )侧的语音质量评价装置 1 , 其中： 终端侧发送端设置为： 通过空中接口传输将通话的上行信息发送给基站 侧接收端； 基站侧接收端设置为： 将通话中的上行业务数据发送给无线网络控制器 ( Radio Network Controller , RNC )侧的语音质量的评价装置 1； 语音质量的评价装置 1设置为： 根据输入的上行业务数据获取到无线链 路参数， 同时根据已获取的语音编解码参数和 /或无线过程参数进行语音质量 综合评价， 并输出语音质量评价结果。 语音质量评价装置 1根据语言业务的业务特征， 在 RNC的用户面进行 上行业务数据的统计， 可以获取到包括误帧或丟帧数目以及最长连续误帧或 丟帧数目等无线链路参数。 如图 4所示， 表示了本发明提供的语音质量评价系统实施例二的结构， 它是针对无线通信网络的单发送端 （sender )环节对通话下行的语音质量进 行评估的实施例。 该系统实施例包括终端侧接收端、 基站侧发送端以及安装 在 RNC侧的语音质量评价装置 2 , 其中： 终端侧接收端设置为： 通过空中接口传输将测量报告发送给基站侧发送 端； 基站侧发送端设置为： 从收到的测量报告中获取到无线链路参数， 并发 送给 RNC侧的语音质量的评价装置 2; 语音质量的评价装置 2设置为： 根据接收的下行业务数据获取到无线链 路参数， 和 /或从基站侧发送端接收到无线链路参数； 同时根据已获取的语音 编解码参数和 /或无线过程参数进行语音质量综合评价，并输出语音质量评价 结果。 以上两个系统实施例的区别是两个语音质量的评价装置的无线链路参数
获取的方式上有差异， 语音质量的评价装置 1针对网络侧接收端只通过在评 估装置前端的空中接口传输的上行业务数据获取； 语音质量的评价装置 2针 对网络侧发送端除了通过从评估装置前端的空中接口传输的下行业务数据获 取之外， 还通过在评估装置末端的空中接口传输的测量报告获取。 实际上可以将上述语音质量的评价装置 1和语音质量的评价装置 2的功 能合并在一个装置上， 该装置作为语音质量的评价装置分别具有上行业务数 据端口和下行业务数据端口， 并能够接收基站侧发出的通过终端侧的测量报 告获取的下行无线链路参数。
图 5表示了本发明提供的语音质量评价系统实施例三的结构， 它是针对 无线通信网络端到端（ sender to receiver )环节对语音质量进行评估的实施例。 该系统实施例包括终端 UE A、基站 A以及 RNC A及其安装的语音质量评价 装置 1、 核心网络（Core Network, CN ) 、 RNC B及其安装的语音质量评价 装置 2、 基站 B以及终端 UE B, 其中： UE A设置为： 通过空中接口传输将通话中的信息上行发送给基站 A; 基站 A设置为： 将通话中的业务数据上行发送给 RNC A;
RNC A设置为： 将接收的业务数据输出给语音质量评价装置 1 , 同时通 过 CN发送给 RNC B; 语音质量的评价装置 1设置为： 根据输入的业务数据获取到无线链路参 数， 同时根据已获取的语音编解码参数和 /或无线过程参数进行语音质量综合 评价， 并输出语音质量评价结果；
RNC B设置为： 通过 CN接收到 RNC A发送的业务数据， 将接收的业 务数据输出给语音质量评价装置 2, 同时下行发送给基站 B; 将从基站 B收 到的无线链路参数输出给语音质量评价装置 2; 语音质量的评价装置 2设置为：根据从 RNC B接收的业务数据获取到无 线链路参数和 /或从 RNC B直接输入的无线链路参数； 同时根据已获取的语 音编解码参数和 /或无线过程参数进行语音质量综合评价，并输出语音质量评
价结果。 基站 B设置为： 通过空口传输将收到的业务数据发送给 UE B; 根据 UE B返回的测量报告获取无线链路参数， 并发送给 RNC B；
UE B设置为： 接收到基站 B发送业务数据， 向基站 B返回测量报告。 在上述实施例中，从 UE A到 RNC A执行的是上行方向上的语言质量评 估， 通过安装在 RNC A的语言质量评价装置 1实现。 语音质量评价装置 1获取到的语音编解码相关参数， 包括编解码方案、 编码速率以及通话业务数据传输过程中的经过语音编解码器的次数； 根据语 音业务的业务特征， 在 RNC A的用户面进行上行业务数据的统计， 获取无 线链路参数包括上行方向的误帧或丟帧数目 ( DFRul ) 、 以及最长连续误帧 或丟帧数目 ( LCDFul )等参数; 对无线过程引起无线链路参数的变化进行统 计： 根据统计跨 RNC切换次数， 估计跨 RNC切换引起的丟帧数目； 根据获 取的各类参数， 釆用以下评估函数进行语音质量的综合评估： ulEMI = ulFactor 1 * (DFRultotal )ulA + ulFactor 2 * (LCDFul )ulB + ulFactor (FER) 式中：
DFRultotal =上行方向总的误帧或丟帧数目 +跨 RNC切换引发的丟帧或 误帧数目 *跨 RNC切换次数； ζα) /为根据业务数据统计出来上行最长连续误帧或丟帧数目；
FER =上行方向总的删帧数目 D Rw/toto//评估周期内的总帧数；
ulFactoA ? ulFactor! ? ulA ? ulB , ¾/ ¾ctor4是根据语音编解码相关参 数选取的评估函数对应的配置参数， 当语音编解码方案确定， 这些配置参数 便为固定系数。 参数的获取和上述取幂函数方式是通过测试与 PESQ的测试 结果数据进行拟合获得和确定的。 在上述实施例中，从 RNC B到 UE B执行的是下行方向上的语言质量评 估， 通过安装在 RNC B的语言质量评价装置 2实现。 语音质量评价装置 2获取到的语音编解码相关参数， 包括编解码方案、 编码速率以及通话业务数据传输过程中的经过语音编解码器的次数； 根据语
音业务的业务特征，在 RNC B的用户面进行下行业务数据的统计，根据该统 计和从基站 B获取的无线链路参数包括下行方向的误帧或丟帧数目（ DF ^ 最长连续误帧或丟帧数目 （ LCDFdl )以及空中接口误块率（ BLERdi )； 对无 线过程引起无线链路参数的变化进行统计： 分别统计小区更新过程、 RL 失 步过程、 以及切换过程以及小区内资源重配置过程发生的次数， 并估计各过 程分别引起的丟帧或误帧数目； 根据获取的各类参数及评估环节的要求， 按 下述评估函数进行语音质量的综合评估：
dlEMI = dlFactorl * {DFRdltotal)dlA + dlFactorl * {LCDFdl)dm + dlFactor3 * (BLERdl)dlc + dlFactorl FE ) 式中：
ζα) /为根据业务数据统计出来的下行最长连续误帧或丟帧数目；
BLERdl为根据业务数据统计出来的下行误块率；
FER = 下行方向总的删帧数目 DFRdltotal /评估周期内的总帧数；
D R toto 统计的下行方向丟帧或误帧数目 +切换引发丟帧或误 帧数目 +小区更新引发丟帧或误帧数目 +小区内重配置引发丟帧或误帧数目 + 下行方向上的空口的误帧或丟帧数目；
dlFactorl， dlFactorl， dlFactori， dlFactoA， dlA， dlB， dlC是根据语 音编解码相关参数选取的评估函数对应的配置参数。 参数的获取和上述取幂 函数方式是通过测试与 PESQ的测试数据进行拟合获得和确定的。 以上系统实施例叙述的仅仅是在 UE A说而 UE B听的通话过程中 , 分 别由语音质量的评价装置 1和语音质量的评价装置 2针对各自不同的对象所 进行的两个不同的语音质量评价， 且评价结果也会不同。 实际上， 当 UE B说而 UE A听的通话过程中， 则需要在 RNC B上装有 语音质量评价装置 1 , 在 RNC A上装有语音质量评价装置 2 , 进行上述完全 相反的上下行语音质量评价。 因此， 如果在 RNC A和 RNC B上分别装有将 上述语音质量评价装置 1和语音质量评价装置 2的功能合并成在一个装置上 的同一种语音质量评价装置， 则可以方便地实现两个通话过程的上下行语音 质量评估。
以上系统实施例叙述的是通过核心网 （CN )跨 RNC的通话过程场景。 当然， 还可以本发明还可以例举在不同基站处于同一个 RNC 的通话过程场 景； 在这种场景下， 使用上述具有语音质量评价装置 1和语音质量评价装置 2的功能一个语音质量评价装置， 就显得更方便、 更简捷了。 本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序 来指令相关硬件完成， 所述程序可以存储于计算机可读存储介质中， 如只读 存储器、 磁盘或光盘等。 可选地， 上述实施例的全部或部分步骤也可以使用 一个或多个集成电路来实现。 相应地， 上述实施例中的各模块单元可以釆用 硬件的形式实现， 也可以釆用软件功能模块的形式实现。 本发明不限制于任 何特定形式的硬件和软件的结合。
工业实用性 本发明根据无线通信协议的特点， 对影响无线通信语音质量评价的因素 引入了编解码参数与无线过程参数，因而基于更加全面的影响因素进行评价， 且与 PESQ评价的相关性更强。 本发明的语音质量评价的装置可以分为单端 (可以是单发送端（sender )或者单接收端（receiver ) )和端到端（sender to receiver )两种不同环节， 灵活地对无线通信系统的语音质量进行评估， 有利 于定位无线通信网络中出现的问题。
Claims
1、无线通信语音质量评价装置，该装置包括无线链路参数获取单元和综 合评价单元，该装置还包括语音编解码参数获取单元和 /或无线过程参数获取 单元， 其中：
所述无线链路参数获取单元， 与所述综合评价单元连接， 所述无线链路 参数获取单元设置为： 将获取到的无线链路参数输出给所述综合评价单元； 所述语音编解码参数获取单元， 与所述综合评价单元连接， 所述语音编 解码参数获取单元设置为： 将获取的语音编解码参数输出给所述综合评价单 元；
所述无线过程参数获取单元， 与所述综合评价单元连接， 所述无线过程 参数获取单元设置为： 将获取的无线过程参数输出给所述综合评价单元； 所述综合评价单元设置为： 根据输入的所述无线链路参数， 并根据输入 的所述语音编解码参数和 /或所述无线过程参数进行语音质量综合评价，并输 出评价结果。
2、 按照权利要求 1所述的装置， 其中， 所述无线链路参数包括传输数据块的误块率、 传输比特的误比特率、 丟 帧率或误帧率以及最长连续丟帧或误帧长度中的一种或多种。
3、 按照权利要求 2所述的装置， 其中， 所述语音编解码参数包括所使用的语音编码方案、 编码速率以及在语音 传输过程中经过语音编解码器的次数中的一种或多种； 所述无线过程参数包括统计通话过程中各种无线过程的发生的次数； 所 述无线过程包括小区更新过程、 无线链路失步过程、 切换过程以及小区内资 源重配置过程中的一种或多种。
4、 按照权利要求 3所述的装置， 其中， 所述综合评价单元是设置为按如下方式进行语音质量综合评价： 综合考 虑所述无线链路参数、所述语音编解码参数和 /或所述无线过程参数各自对语 音质量的影响，以及所述在语音传输过程中经过语音编解码器的次数和 /或所 述无线过程的发生的次数引起的所述无线链路参数的变化， 釆用评估函数进 行所述语音质量评价， 且通过测试对所述评估函数的评估结果与釆用语音质 量评价体系的评估结果的拟合程度， 确定最终釆用的评估函数。
5、 按照权利要求 2至 4中任一项所述的装置， 其中， 所述无线链路参数获取单元根据从上行数据端口上行接收的业务数据获 取上行无线链路参数，和 /或根据终端发送的测量报告及从下行数据端口下行 接收的业务数据获取下行无线链路参数。
6、 一种无线通信语音质量评价系统， 所述系统包括： 终端侧发送端、基 站侧接收端以及无线网络控制器侧的如权利要求 1 所述的语音质量评价装 置， 其中：
所述终端侧发送端设置为： 通过空中接口传输将通话的上行信息发送给 基站侧接收端； 所述基站侧接收端设置为： 将通话中的上行业务数据发送给所述无线网 络控制器侧的所述语音质量的评价装置； 所述语音质量的评价装置设置为： 根据接收的上行业务数据获取到无线 链路参数， 同时根据已获取的语音编解码参数和 /或无线过程参数进行语音质 量综合评价， 并输出评价结果。
7、按照权利要求 6所述的系统，其中，所述语音质量评价装置是设置为： 通过所述无线链路参数获取单元获取到的所述无线链路参数包括传输数 据块的误块率、 传输比特的误比特率、 丟帧率或误帧率以及最长连续丟帧或 误帧长度中的一种或多种； 通过所述语音编解码参数获取单元获取的所述语音编解码参数包括所使 用的语音编码方案、 编码速率以及在语音传输过程中经过语音编解码器的次 数中的一种或多种； 通过所述无线过程参数获取单元获取的所述无线过程参数包括统计通话 过程中各种无线过程的发生的次数； 所述无线过程包括小区更新过程、 无线 链路失步过程、 切换过程以及小区内资源重配置过程中的一种或多种。
8、一种无线通信语音质量评价系统， 所述系统包括终端侧接收端、基站 侧发送端以及无线网络控制器侧的如权利要求 1所述的语音质量评价装置， 其中：
所述终端侧接收端设置为： 通过空中接口传输将测量报告发送给基站侧 发送端；
所述基站侧发送端设置为： 从收到的测量报告中获取到无线链路参数， 并发送给无线网络控制器侧的所述语音质量的评价装置； 所述语音质量的评价装置设置为： 根据接收的下行业务数据获取到无线 链路参数， 并从所述基站侧发送端接收到无线链路参数； 同时根据已获取的 语音编解码参数和 /或无线过程参数进行语音质量综合评价， 并输出评价结 果。
9、按照权利要求 8所述的系统，其中，所述语音质量评价装置是设置为： 通过所述无线链路参数获取单元获取到的所述无线链路参数包括传输数 据块的误块率、 传输比特的误比特率、 丟帧率或误帧率以及最长连续丟帧或 误帧长度中的一种或多种； 通过所述语音编解码参数获取单元获取的所述语音编解码参数包括所使 用的语音编码方案、 编码速率以及在语音传输过程中经过语音编解码器的次 数中的一种或多种； 通过所述无线过程参数获取单元获取的所述无线过程参数包括统计通话 过程中各种无线过程的发生的次数； 所述无线过程包括小区更新过程、 无线 链路失步过程、 切换过程以及小区内资源重配置过程中的一种或多种。
10、 一种无线通信语音质量评价系统， 所述系统包括： 第一终端、 第一 基站、 无线网络控制器及所述无线网络控制器安装的所述如权利要求 1所述 的语音质量评价装置、 第二基站以及第二终端， 其中： 第一终端设置为： 通过空中接口传输将通话中的信息上行发送给第一基 站； 第一基站设置为： 将所述通话中的业务数据上行发送给所述无线网络控 制器； 所述无线网络控制器设置为： 将接收的所述业务数据输出给所述语音质 量评价装置， 同时发送给第二基站； 将从第二基站接收到的无线链路参数输 出给所述语音质量评价装置； 第二基站设置为： 将收到的所述业务数据下行发送给第二终端； 根据该 第二终端返回的测量报告获取无线链路参数，并发送给所述无线网络控制器； 第二终端设置为： 接收到第二基站下行发送的所述业务数据， 向第二基 站返回所述测量报告； 所述语音质量的评价装置设置为： 根据从所述业务数据获取到的无线链 路参数和 /或从所述无线网络控制器直接输入的所述无线链路参数， 同时根据 已获取的语音编解码参数和 /或无线过程参数进行语音质量综合评价，并输出 评价结果。
11、按照权利要求 10所述的系统， 其中， 所述语音质量评价装置是设置 为： 获取的所述无线链路参数包括传输数据块的误块率、 传输比特的误比特 率、 丟帧率或误帧率以及最长连续丟帧或误帧长度中的一种或多种； 获取的所述语音编解码参数包括所使用的语音编码方案、 编码速率以及 在语音传输过程中经过语音编解码器的次数中的一种或多种； 获取的所述无线过程参数包括统计通话过程中各种无线过程的发生的次 数； 所述无线过程包括小区更新过程、 无线链路失步过程、 切换过程以及小 区内资源重配置过程中的一种或多种。
12、 按照权利要求 10或 11所述的系统， 其中， 所述语音质量评价装置 包括安装于一第一无线网络控制器内的第一语音质量评价装置和安装于一第 二无线网络控制器的第二语音质量评价装置， 其中： 第一无线网络控制器设置为： 将从第一基站上行接收的所述业务数据输 出给第一语音质量评价装置， 同时发送给第二无线网络控制器； 第二无线网络控制器设置为： 将接收到的所述业务数据输出给第二语音 质量评价装置， 同时下行发送给第二基站； 将从第二基站接收到的无线链路 参数输出给第二语音质量评价装置； 第一语音质量的评价装置是设置为： 根据第一无线网络控制器上行接收 的所述业务数据获取到上行无线链路参数； 第二语音质量的评价装置是设置为： 根据第二无线网络控制器下行接收 的业务数据获取到或从第二基站直接接收到下行无线链路参数。
13、 按照权利要求 12所述的系统， 其中， 第二无线网络控制器设置为： 将从第二基站上行接收的所述业务数据输 出给第二语音质量评价装置， 同时发送给第一无线网络控制器； 第一无线网络控制器设置为： 将接收到的所述业务数据输出给第一语音 质量评价装置， 同时下行发送给第一基站； 将从第一基站接收到的无线链路 参数输出给第一语音质量评价装置； 第二语音质量的评价装置是设置为： 根据第二无线网络控制器上行接收 的所述业务数据获取到上行无线链路参数； 第一语音质量的评价装置是设置为： 根据第一无线网络控制器下行接收 的业务数据获取到或从第一基站直接接收到下行无线链路参数。
14、 一种无线通信语音质量评价方法， 该方法包括： 获取无线链路参数， 并获取语音编解码参数和 /或无线过程参数； 以及 根据获取的所述无线链路参数， 并根据获取的所述语音编解码参数和 / 或所述无线过程参数进行语音质量综合评价进行语音质量综合评价。
15、 按照权利要求 14所述的方法， 其中， 获取无线链路参数的步骤中， 所述无线链路参数包括根据上行接收的业 务数据获取上行无线链路参数，和 /或根据接收的测量报告及下行接收的业务 数据获取下行无线链路参数； 所述上行无线链路参数或所述下行无线链路参 数包括传输数据块的误块率、 传输比特的误比特率、 丟帧率或误帧率以及最 长连续丟帧或误帧长度中的一种或多种； 获取语音编解码参数的步骤中， 所述语音编解码参数包括所使用的语音 编码方案、 编码速率以及在语音传输过程中经过语音编解码器的次数中的一 种或多种； 获取无线过程参数的步骤中， 所述无线过程参数包括统计通话过程中各 种无线过程的发生的次数； 所述无线过程包括小区更新过程、 无线链路失步 过程、 切换过程以及小区内资源重配置过程中的一种或多种。
16、按照权利要求 15所述的方法，其中，根据获取的所述无线链路参数， 并根据获取的所述语音编解码参数和 /或所述无线过程参数进行语音质量综 合评价进行语音质量综合评价的步骤包括： 综合考虑所述无线链路参数、所述语音编解码参数和 /或所述无线过程参 数各自对语音质量的影响， 以及所述在语音传输过程中经过语音编解码器的 次数和 /或所述无线过程的发生的次数引起的所述无线链路参数的变化，釆用 评估函数进行所述语音质量评价， 且通过测试对所述评估函数的评估结果与 釆用语音质量评价体系的评估结果的拟合程度， 确定最终釆用的评估函数。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201010512018.1A CN102448083B (zh) | 2010-10-12 | 2010-10-12 | 一种无线通信语音质量评价装置、系统及方法 |
| CN201010512018.1 | 2010-10-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2012048590A1 true WO2012048590A1 (zh) | 2012-04-19 |
Family
ID=45937872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2011/076413 WO2012048590A1 (zh) | 2010-10-12 | 2011-06-27 | 一种无线通信语音质量评价装置、系统及方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN102448083B (zh) |
| WO (1) | WO2012048590A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105282347A (zh) * | 2014-07-22 | 2016-01-27 | 中国移动通信集团公司 | 语音质量的评估方法及装置 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103632679A (zh) * | 2012-08-21 | 2014-03-12 | 华为技术有限公司 | 音频流质量评估方法及装置 |
| CN103632680B (zh) * | 2012-08-24 | 2016-08-10 | 华为技术有限公司 | 一种语音质量评估方法、网元及系统 |
| CN103943114B (zh) * | 2013-01-22 | 2017-11-14 | 中国移动通信集团广东有限公司 | 一种语音业务通话质量的评估方法及装置 |
| CN104252865B (zh) * | 2013-06-25 | 2017-11-21 | 中国移动通信集团公司 | 一种语音业务质量评估方法和装置 |
| CN105224558A (zh) * | 2014-06-16 | 2016-01-06 | 华为技术有限公司 | 语音业务的评价处理方法及装置 |
| CN106851713B (zh) * | 2015-12-07 | 2021-11-12 | 中兴通讯股份有限公司 | 终端语音业务质量评估方法和装置、切换管理方法和装置 |
| CN105551496B (zh) * | 2015-12-30 | 2020-01-31 | 哈尔滨海能达科技有限公司 | 一种对语音编解码技术的评判方法、装置及终端 |
| CN107978324B (zh) * | 2016-10-25 | 2020-10-09 | 中国移动通信集团广东有限公司 | 一种无线语音质量评估方法及装置 |
| CN108877839B (zh) * | 2018-08-02 | 2021-01-12 | 南京华苏科技有限公司 | 基于语音语义识别技术的语音质量感知评估的方法及系统 |
| CN113473108A (zh) * | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 数据处理方法及系统、电子设备、智能音箱及声音输出设备 |
| CN111836214B (zh) * | 2020-07-08 | 2022-03-01 | 公安部第一研究所 | 用于无线数字通信系统接收方评估及改善语音质量的方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998059509A1 (en) * | 1997-06-24 | 1998-12-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Speech quality measurement based on radio link parameters and objective measurement of received speech signals |
| CN1264526A (zh) * | 1997-05-22 | 2000-08-23 | 艾利森电话股份有限公司 | 基于无线电链路参数的移动电信网络中的语音质量测量 |
| CN1741660A (zh) * | 2004-08-27 | 2006-03-01 | 华为技术有限公司 | 语音质量的测试系统及方法 |
| CN101141768A (zh) * | 2007-10-12 | 2008-03-12 | 中兴通讯股份有限公司 | 一种模拟网络特性引起语音质量变化的测试方法及装置 |
| CN101437247A (zh) * | 2008-12-18 | 2009-05-20 | 中国移动通信集团浙江有限公司 | 一种用于评估语音质量的测试方法 |
| CN101459934A (zh) * | 2007-12-14 | 2009-06-17 | 上海华为技术有限公司 | 语音质量损耗估算方法及相关装置 |
| CN101521898A (zh) * | 2009-01-07 | 2009-09-02 | 陕西三太科技实业有限公司 | 移动通讯网络语音质量评估系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101437032B (zh) * | 2008-12-19 | 2011-11-16 | 重庆邮电大学 | 基于sip协议的voip语音质量监测系统及检测方法 |
-
2010
- 2010-10-12 CN CN201010512018.1A patent/CN102448083B/zh active Active
-
2011
- 2011-06-27 WO PCT/CN2011/076413 patent/WO2012048590A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1264526A (zh) * | 1997-05-22 | 2000-08-23 | 艾利森电话股份有限公司 | 基于无线电链路参数的移动电信网络中的语音质量测量 |
| WO1998059509A1 (en) * | 1997-06-24 | 1998-12-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Speech quality measurement based on radio link parameters and objective measurement of received speech signals |
| CN1741660A (zh) * | 2004-08-27 | 2006-03-01 | 华为技术有限公司 | 语音质量的测试系统及方法 |
| CN101141768A (zh) * | 2007-10-12 | 2008-03-12 | 中兴通讯股份有限公司 | 一种模拟网络特性引起语音质量变化的测试方法及装置 |
| CN101459934A (zh) * | 2007-12-14 | 2009-06-17 | 上海华为技术有限公司 | 语音质量损耗估算方法及相关装置 |
| CN101437247A (zh) * | 2008-12-18 | 2009-05-20 | 中国移动通信集团浙江有限公司 | 一种用于评估语音质量的测试方法 |
| CN101521898A (zh) * | 2009-01-07 | 2009-09-02 | 陕西三太科技实业有限公司 | 移动通讯网络语音质量评估系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105282347A (zh) * | 2014-07-22 | 2016-01-27 | 中国移动通信集团公司 | 语音质量的评估方法及装置 |
| CN105282347B (zh) * | 2014-07-22 | 2018-06-01 | 中国移动通信集团公司 | 语音质量的评估方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102448083B (zh) | 2016-01-20 |
| CN102448083A (zh) | 2012-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2012048590A1 (zh) | 一种无线通信语音质量评价装置、系统及方法 | |
| Jelassi et al. | Quality of experience of VoIP service: A survey of assessment approaches and open issues | |
| CN102075988B (zh) | 一种移动通信网络端到端语音质量故障定位系统及方法 | |
| EP1327323B1 (en) | Method and device for monitoring quality of service in packet based networks | |
| KR20200039234A (ko) | 무선 통신 시스템에서 무선 통신망을 이용한 동기화를 위한 장치 및 방법 | |
| CN101197737B (zh) | 一种iptv接入网的测量装置及测量方法 | |
| US20150172455A1 (en) | Method, network element, and system for assessing voice quality | |
| US20220247646A1 (en) | METHOD FOR PREDICTING A LEVEL OF QoE OF AN APPLICATION INTENDED TO BE RUN ON A WIRELESS USER EQUIPMENT | |
| US8737571B1 (en) | Methods and apparatus providing call quality testing | |
| US8699359B2 (en) | Data plane delay KPI monitoring in live network | |
| US9635569B2 (en) | Method and apparatus for measuring end-to-end service level agreement in service provider network | |
| US20110261750A1 (en) | Radio terminal, relay device, and radio communication method | |
| CN1988708B (zh) | 测试语音质量的方法及装置 | |
| CN101467472B (zh) | 用于无线局域网中通过ip的语音的语音质量测量 | |
| WO2017080504A1 (zh) | 一种音频转换特性测试方法 | |
| US7860461B1 (en) | Method for user-aided network performance and connection quality reporting | |
| CN101436960A (zh) | 一种用于ip承载网质量监控的测试方法 | |
| CN101437247A (zh) | 一种用于评估语音质量的测试方法 | |
| US20120014378A1 (en) | METHOD AND APPARATUS FOR ASSESSING VoIP PACKET PRODUCTION AND PACKET TRANSMISSION AND INDICATION AT THE END POINTS INVOLVED IN THE VoIP COMMUNICATION | |
| Jiang et al. | Research of monitoring VoIP voice QoS | |
| Beritelli et al. | A dual streaming approach for speech quality enhancement of VoIP service over 3G networks | |
| Uemura et al. | QoS/QoE measurement system implemented on cellular phone for NGN | |
| US20070070973A1 (en) | Method and system for achieving alignment between a centralized base station controller (CBSC) and a base transceiver site (BTS) in a network | |
| Beuran et al. | User-perceived quality assessment for VoIP applications | |
| Yang | The regressive QoE model for VoLTE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11831987 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 11831987 Country of ref document: EP Kind code of ref document: A1 |