KR101608582B1 - 단말 에이전트를 활용한 VoLTE 품질 측정 시스템 및 VoLTE 품질 측정 방법 - Google Patents

단말 에이전트를 활용한 VoLTE 품질 측정 시스템 및 VoLTE 품질 측정 방법 Download PDF

Info

Publication number
KR101608582B1
KR101608582B1 KR1020140056446A KR20140056446A KR101608582B1 KR 101608582 B1 KR101608582 B1 KR 101608582B1 KR 1020140056446 A KR1020140056446 A KR 1020140056446A KR 20140056446 A KR20140056446 A KR 20140056446A KR 101608582 B1 KR101608582 B1 KR 101608582B1
Authority
KR
South Korea
Prior art keywords
volte
information
quality
client
analysis server
Prior art date
Application number
KR1020140056446A
Other languages
English (en)
Other versions
KR20150129457A (ko
Inventor
유용희
김대영
이준원
조종화
Original Assignee
주식회사 네이블커뮤니케이션즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 네이블커뮤니케이션즈 filed Critical 주식회사 네이블커뮤니케이션즈
Priority to KR1020140056446A priority Critical patent/KR101608582B1/ko
Priority to PCT/KR2015/002525 priority patent/WO2015174628A1/ko
Publication of KR20150129457A publication Critical patent/KR20150129457A/ko
Application granted granted Critical
Publication of KR101608582B1 publication Critical patent/KR101608582B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/10Scheduling measurement reports ; Arrangements for measurement reports

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

사용자 단말에 설치된 품질 보증 클라이언트를 이용하여 VoLTE 서비스의 품질을 측정하는 방법이 개시된다. 일실시예에 따른 VoLTE 서비스의 품질을 측정하는 방법은, 통신 장치로부터 VoLTE 서비스 품질 측정 대상이 되는 VoLTE 클라이언트에 관한 정보를 수신하는 단계, 상기 VoLTE 클라이언트에게 품질 정보 요청을 송신하는 단계 및 상기 VoLTE 클라이언트로부터 VoLTE 클라이언트의 정적 정보 및 동적 상태 정보를 수신하는 단계를 포함한다.

Description

단말 에이전트를 활용한 VoLTE 품질 측정 시스템 및 VoLTE 품질 측정 방법{APPARATUS AND METHOD FOR PROVIDING QUALITY ANALYSIS OF VOLTE SERVICE USING TERMINAL AGENT}
아래 실시예들은 VoLTE의 품질 분석에 관한 것으로, 특히 VoLTE 호에 오류 이벤트가 발생한 경우 오류의 발생 원인을 찾거나 고객의 불만에 대한 원인을 분석하는 데 도움이 되는 품질 분석 방법 및 시스템에 관한 것이다.
WCDMA(Wideband Code Division Multiple Access) 무선 접속(radio access) 기술을 기반으로 하는 3GPP(3rd Generation Partnership Project) 이동통신 시스템은 전세계에서 광범위하게 전개되고 있다. WCDMA의 첫 번째 진화 단계로 정의할 수 있는 HSDPA(High Speed Downlink Packet Access)는 중기적인(mid-term) 미래에서 높은 경쟁력을 가지는 무선 접속 기술을 3GPP 이동통신 시스템에 제공한다.
LTE(Long Term Evolution)는 GSM 및 WCDMA 이후 유럽 진영에서 내세우는 4세대 이동통신의 표준 기술로서 3GPP(3rd Generation Partnership Project) 산하의 Workgroup에서 표준화를 진행하고 있다. LTE는 기존의 3세대 이동통신 시스템의 기술적 한계를 극복하고, 향후 10년 또는 그 이상까지 사용자의 요구를 만족시키기 위한 기술로서, 커버리지 확장 및 시스템 용량 개선, 데이터 전송률과 지연 감소, 그리고 비용을 절감하면서도 제공되는 서비스의 품질을 개선하는 모든 방안이 고려되며, 모바일 인터넷에 강한 것이 특징이다.
4세대 이동통신인 EPC(Evolved Packet Core) 또는 LTE(Long Term Evolution)는 데이터 전용망으로서 이동통신 서비스의 기본인 음성 서비스를 제공하기 위해서는 IMS(IP multimedia subsystem) 기반의 VoIP(Voice over Internet Protocol) 기술을 구현하여야 하는데, 이와 같이 EPC 또는 LTE에서 음성 통화까지 가능하도록 제안된 서비스를 VoLTE(Voice over LTE) 서비스라고 한다. 즉, VoLTE는 VoIP의 종류로 LTE망을 기반으로 패킷 데이터를 통해 음성통화를 구현하는 통신기술을 말한다.
사용자는 VoLTE 서비스를 사용 중 비정상 호 종료(Call drop), 음질 열화, CSFB(Circuit Switched Fall Back), 등 다양한 종류의 오류 이벤트를 경험할 수 있다. 이러한 현상은 음영 지역으로의 진입, 기지국 장비의 이상, 장비 과부하, 전송 장비의 이상, IMS 망의 이상, 단말의 오 동작 등 다양한 원인들로 인해 발생할 수 있다.
이러한 오류의 원인을 찾기 위해 망 내에 DPI(Deep packet inspection) 나 프로토콜 분석기(protocol analyzer) 등을 두어 망 내에서의 문제점을 파악하려는 시도가 있으나, 단말과 기지국 사이의 상태, 사용자 단말 내의 상태는 알 수가 없다.
실시예들은 사용자 단말에 에이전트를 설치하여 이를 통해 다양한 정보를 수집하고 수집된 정보를 분석하여 신속하게 오류의 원인을 파악하도록 하는 기술을 제공할 수 있다.
또한, 실시예들은 복수 개의 사용자 단말들로부터 축적된 정보를 수신하여 품질 분석에 사용하여 오류 원인 파악의 정확도 및 신뢰도를 높이는 기술을 제공할 수 있다.
또한, 실시예들은 음성 RTP 패킷을 이용하여 별도의 패킷 없이 지터, 지연, 패킷 손실 등을 확인할 수 있는 기술을 제공할 수 있다.
일실시예에 따르면, 품질 분석 서버에서 VoLTE의 서비스 품질을 측정하는 방법이 제공된다.
상기 VoLTE의 서비스 품질을 측정하는 방법은 통신 장치로부터 VoLTE 서비스 품질 측정 대상이 되는 VoLTE 클라이언트에 관한 정보를 수신하는 단계, 상기 VoLTE 클라이언트에게 품질 정보 요청을 송신하는 단계 및 상기 VoLTE 클라이언트로부터 VoLTE 클라이언트의 정적 정보 및 동적 상태 정보를 수신하는 단계를 포함할 수 있다.
일 측에 따르면, 상기 VoLTE 클라이언트로부터 VoLTE 클라이언트의 동적 상태 정보를 수신하는 단계는, 상기 품질 정보 요청의 수신 전에 상기 VoLTE 클라이언트에서 수집된 동적 상태 정보를 상기 VoLTE 클라이언트로부터 수신하는 단계를 포함할 수 있다.
다른 일 측에 따르면, 상기 VoLTE 클라이언트로부터 VoLTE 클라이언트의 동적 상태 정보를 수신하는 단계는, 상기 품질 정보 요청의 수신 후에 상기 VoLTE 클라이언트에서 수집된 동적 상태 정보를 상기 VoLTE 클라이언트로부터 수신하는 단계를 포함할 수 있다.
또한, 일 측에 따르면, 상기 VoLTE의 서비스 품질 측정 방법은, VoLTE 호의 패킷과 동일한 QoS를 보장받기 위해 PCRF 서버에 QCI 제어 명령을 송신하여 채널을 할당 받는 단계, 상기 할당된 채널을 이용하여 품질 보증 클라이언트와 테스트 패킷을 교환하는 단계 및 상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계를 더 포함할 수 있다.
다른 일 측에 따르면, 상기 통신 장치로부터 VoLTE 서비스 품질 측정 대상이 되는 VoLTE 클라이언트에 관한 정보를 수신하는 단계는, 상기 통신 장치로부터 CSFB 또는 비정상 호 종료와 관련된 VoLTE 클라이언트의 전화번호를 수신하는 단계를 포함할 수 있다.
이때, 상기 통신 장치로부터 VoLTE 서비스 품질 측정 대상이 되는 VoLTE 클라이언트에 관한 정보를 수신하는 단계는, 고객 관리 서버(customer care server)로부터 상기 VoLTE 클라이언트의 전화번호를 수신하는 단계를 포함할 수 있다. 또한, 상기 정적 정보, 상기 동적 상태 정보 및 상기 동적 측정 정보 중 적어도 하나를 처리하여 생성된 리포트를 상기 고객 관리 서버로 송신하는 단계를 더 포함할 수 있다.
일 측에 따르면, 상기 VoLTE 클라이언트의 정적 정보는, 상기 VoLTE 클라이언트가 설치된 단말의 모델명, 상기 VoLTE 클라이언트가 설치된 단말의 커널 버전, 상기 VoLTE 클라이언트가 설치된 단말의 OS 버전 및 상기 VoLTE 클라이언트의 버전 중 적어도 하나를 포함할 수 있다.
다른 일 측에 따르면, 상기 VoLTE 클라이언트에서 수집된 동적 상태 정보는, 상기 VoLTE 클라이언트가 속한 LTE 셀의 정보, 상기 VoLTE 클라이언트가 설치된 단말의 위치 정보, 상기 VoLTE 클라이언트가 수신하는 LTE 신호의 세기 및 상기 VoLTE 클라이언트가 설치된 단말에 설치된 적어도 하나의 다른 어플리케이션의 정보 중 적어도 하나를 포함할 수 있다.
또 다른 일 측에 따르면, 상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계는, 상기 품질 보증 클라이언트가 수신한 상기 테스트 패킷으로부터 상기 품질 보증 클라이언트 측에서 수집된 제1 동적 측정 정보를 상기 품질 보증 클라이언트로부터 수신하는 단계, 상기 할당된 채널을 통하여 상기 품질 보증 클라이언트로부터 수신한 테스트 패킷으로부터 제2 동적 측정 정보를 측정하는 단계 및 상기 제1 동적 측정 정보 및 상기 제2 동적 측정 정보를 이용하여 상기 동적 측정 정보를 수집하는 단계를 포함할 수 있다.
이 때, 상기 동적 측정 정보는, 상기 사용자 단말 및 상기 품질 분석 서버 간의 네트워크 왕복 지연 시간, 상기 사용자 단말 및 상기 품질 분석 서버 간 통신의 지터(jitter), 상기 사용자 단말 및 상기 품질 분석 서버 간의 송수신 패킷 수, 상기 사용자 단말 및 상기 품질 분석 서버 간의 수신 누락 패킷 수, 상기 사용자 단말 및 상기 품질 분석 서버 간의 연속 수신 누락 패킷 수, 상기 사용자 단말 및 상기 품질 분석 서버 간의 재배열 수신 패킷 수, MOS(Mean Opinion Score), 및 R-Factor 중 적어도 하나를 포함할 수 있다.
다른 일 측에 따르면, 상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계는, 상기 할당된 채널을 통해 타임 스탬프를 포함하는 상기 테스트 패킷을 전송하는 단계, 상기 VoLTE 클라이언트로부터, 상기 VoLTE 클라이언트가 상기 테스트 패킷을 수신한 시간과 응답한 시간을 포함하는 응답 패킷을 수신하는 단계 및 상기 테스트 패킷 및 상기 응답 패킷을 이용하여 상기 동적 측정 정보를 수집하는 단계를 포함할 수 있다.
또 다른 일 측에 따르면, 상기 VoLTE 품질 측정 방법은 상기 정적 정보, 상기 동적 상태 정보 및 상기 동적 측정 정보를 분석하는 단계를 더 포함할 수 있다.
다른 일 측에 따르면, 상기 정적 정보, 상기 동적 상태 정보 및 상기 동적 측정 정보를 분석하는 단계는, VoLTE 서비스 품질에 이상이 있는 상기 정적 정보, 상기 동적 상태 정보 및 상기 동적 측정 정보 중 적어도 하나의 조합이 미리 정해진 조건을 만족하는 경우 상기 조합을 리포팅 하는 단계를 더 포함할 수 있다.
다른 일실시예에 따르면, 상기 VoLTE의 서비스 품질을 측정하는 방법은 통신 장치로부터 VoLTE 서비스 품질 측정 대상이 되는 사용자 단말의 VoLTE 클라이언트 및 품질 보증 클라이언트에 관한 정보를 수신하는 단계, 상기 품질 보증 클라이언트에게 품질 정보 요청을 송신하는 단계 및 상기 품질 보증 클라이언트로부터 사용자 단말의 정적 정보 및 동적 상태 정보를 수신하는 단계를 포함할 수 있다.
일 측에 따르면, 상기 품질 보증 클라이언트로부터 동적 상태 정보를 수신하는 단계는, 상기 품질 정보 요청의 수신 전에 상기 품질 보증 클라이언트에서 수집된 동적 상태 정보를 상기 품질 보증 클라이언트로부터 수신하는 단계를 포함할 수 있다.
다른 일 측에 따르면, 상기 품질 보증 클라이언트로부터 동적 상태 정보를 수신하는 단계는, 상기 품질 정보 요청의 수신 후에 상기 품질 보증 클라이언트에서 수집된 동적 상태 정보를 상기 품질 보증 클라이언트로부터 수신하는 단계를 포함할 수 있다.
일실시예에 따르면, VoLTE 클라이언트에서 VoLTE의 서비스 품질을 측정하는 방법이 제공될 수 있다.
상기 VoLTE 서비스 품질 측정 방법은, 상기 VoLTE 클라이언트에서 호(call)를 수행하는 동안 동적 상태 정보를 수집하는 단계 및 CSFB 또는 비정상 호 종료가 발생하는 경우, 상기 VoLTE 클라이언트의 정적 정보 및 상기 동적 상태 정보를 품질 분석 서버로 송신하는 단계를 포함할 수 있다.
일 측에 따르면, 상기 VoLTE 서비스 품질 측정 방법은, 상기 품질 분석 서버의 요청에 의하여 할당된 채널을 이용하여 상기 품질 분석 서버와 테스트 패킷을 송수신하는 단계, 상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계 및 상기 수집된 동적 측정 정보를 상기 품질 분석 서버로 송신하는 단계를 더 포함할 수 있다.
다른 일실시예에 따르면, VoLTE 클라이언트에서 VoLTE의 서비스 품질을 측정하는 방법은, 상기 VoLTE 클라이언트에서 호(call)를 수행하는 동안 동적 상태 정보 및 동적 측정 정보를 수집하는 단계 및 상기 VoLTE 클라이언트의 상기 동적 상태 정보 및 상기 동적 측정 정보를 품질 분석 서버로 송신하는 단계를 포함할 수 있다.
일 측에 따르면, 상기 VoLTE 클라이언트에서 호(call)를 수행하는 동안 동적 측정 정보를 수집하는 단계는, 상기 VoLTE 클라이언트가 SBC 서버와 주고 받는 VoLTE 호와 관련된 RTP 패킷들의 RTP Extension 필드에 송신 타임 스탬프, 가장 최근에 수신한 RTP 패킷의 RTP Extension 필드에 기록된 타임 스탬프 및 상기 가장 최근에 수신한 RTP 패킷의 수신 시각과 송신 RTP 패킷의 송신 시각 간의 시간차를 포함하여 송수신 하는 단계를 포함할 수 있다.
다른 일 측에 따르면, 상기 VoLTE 클라이언트에서 호(call)를 수행하는 동안 동적 측정 정보를 수집하는 단계는, 상기 SBC 서버에 의하여 상기 호와 관련된 제1 RTP 패킷의 RTP Extension 필드에 제1 타임 스탬프가 삽입된 상기 제1 RTP 패킷을 수신하고, 상기 호와 관련된 제2 RTP 패킷의 RTP Extension 필드에 제2 타임 스탬프를 삽입하여 상기 SBC 서버로 송신함으로써 상기 동적 측정 정보를 수집하는 단계를 포함할 수 있다.
일실시예에 따르면, 품질 보증 클라이언트에서 사용자 단말의 VoLTE 서비스 품질을 측정하는 방법이 제공된다. 품질 보증 클라이언트에서 VoLTE 서비스의 품질을 측정하는 방법은 사용자 단말의 운영체제로부터 VoLTE 호의 진행을 감지하는 단계, 상기 VoLTE 호에 대한 동적 상태 정보를 수집하는 단계 및 CSFB 또는 비정상 호 종료가 발생하는 경우, 상기 사용자 단말의 정적 정보 및 상기 수집한 동적 상태 정보를 품질 분석 서버로 송신하는 단계를 포함할 수 있다.
일 측에 따르면, 품질 보증 클라이언트에서 VoLTE 서비스의 품질을 측정하는 방법은, 상기 품질 분석 서버의 요청에 의하여 할당된 채널을 이용하여 상기 품질 분석 서버와 테스트 패킷을 교환하는 단계, 상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계 및 상기 수집된 동적 측정 정보를 상기 품질 분석 서버로 송신하는 단계를 더 포함할 수 있다.
도 1은 일실시예에 따라 사용자 단말에 VoLTE 클라이언트와 별도로 품질 보증(Quality Assurance) 클라이언트가 설치되어 VoLTE 품질을 분석하기 위해 정적 정보 및 동적 상태 정보를 수집하는 방법을 설명하기 위한 도면이다.
도 2는 일실시예에 따라 사용자 단말에 VoLTE 클라이언트와 별도로 품질 보증(Quality Assurance) 클라이언트가 설치되어 VoLTE 품질을 분석하기 위해 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 방법을 설명하기 위한 도면이다.
도 3은 일실시예에 따라 고객 관리 서버로부터 품질 정보의 요청이 있는 경우에 VoLTE 클라이언트에 품질을 측정할 것을 명령하여 정적 정보 및 동적 상태 정보를 전달받는 방법을 설명하기 위한 도면이다.
도 4는 일실시예에 따라 고객 관리 서버로부터 품질 정보의 요청이 있는 경우에 VoLTE 클라이언트에 품질을 측정할 것을 명령하여 정적 정보, 동적 상태 정보 및 동적 측정 정보를 전달받는 방법을 설명하기 위한 도면이다.
도 5는 일실시예에 따라 VoLTE 클라이언트가 직접 품질 정보를 생성하여 오류 이벤트를 검출하고 품질 분석 서버에 정적 정보 및 동적 상태 정보를 전달하는 방법을 설명하기 위한 도면이다.
도 6은 일실시예에 따라 VoLTE 클라이언트가 직접 품질 정보를 생성하여 오류 이벤트를 검출하고 품질 분석 서버에 정적 정보 및 동적 상태 정보를 전달하고, 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 방법을 설명하기 위한 도면이다.
도 7은 일실시예에 따라 VoLTE 클라이언트와 세션 보더 컨트롤러 사이에서 RTP 패킷을 이용하여 동적 측정 정보를 생성하여 VoLTE의 품질을 측정하는 방법을 설명하기 위한 도면이다.
도 8은 일실시예에 따라 고객 관리 서버로부터 품질 정보 요청을 받아 VoLTE 클라이언트와 세션 보더 컨트롤러 사이에서 RTP 패킷을 이용하여 정적 정보, 동적 상태 정보 및 동적 측정 정보를 생성하여 VoLTE의 품질을 측정하는 방법을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 VoLTE 품질 측정 시스템에서 품질 분석 서버의 구성을 설명하기 위한 도면이다.
도 10은 일실시예에 따른 VoLTE 품질 측정 시스템에서, VoLTE 클라이언트 장치의 구성을 설명하기 위한 도면이다.
도 11은 일실시예에 따른 VoLTE 품질 측정 방법에서 RTP 패킷을 설명하기 위한 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따라 사용자 단말에 VoLTE 클라이언트와 별도로 품질 보증(Quality Assurance) 클라이언트가 설치되어 VoLTE 품질을 분석하기 위해 정적 정보 및 동적 상태 정보를 수집하는 방법을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 VoLTE 품질 측정 시스템은 VoLTE 클라이언트, 품질 보증(Quality Assurance; QA) 클라이언트, 품질 분석 서버 및 호 서버를 포함할 수 있다. 일실시예에 따르면, 클라이언트 장치에 VoLTE 클라이언트 이외에 별도의 품질 보증 클라이언트가 설치될 수 있다. 일측에 따르면, 품질 보증 클라이언트는 클라이언트 장치에 처음부터 임베디드 되어 있을 수도 있고, 다운로드 하여 설치할 수 있는 어플리케이션 형태로 설치될 수도 있다.
일실시예에 따르면, 품질 보증 클라이언트는 사용자 단말의 운영체제로부터 진행 호를 감지하고 품질 분석 정보를 수집할 수 있다. 여기서 품질 분석 정보는 표 1에 따라, 정적 정보, 동적 상태 정보 및 동적 측정 정보로 구분할 수 있다.
카테고리 아이템 설명
정적 정보
(Static Information)
모델명 VoLTE 클라이언트가 설치된 단말의 모델 번호
커널 버전 VoLTE 클라이언트가 설치된 단말의 커널 버전
OS 버전 VoLTE 클라이언트가 설치된 단말의 OS 버전
VoLTE 클라이언트의 버전 VoLTE 클라이언트의 버전
동적 상태 정보
(Dynamic State Information)
LTE 셀의 정보 VoLTE 클라이언트가 속한 LTE 셀의 정보
단말의 위치 정보 VoLTE 클라이언트가 설치된 단말의 위치 정보
LTE 신호의 세기 VoLTE 클라이언트가 설치된 단말이 수신하는 LTE 신호의 세기
SNR VoLTE 클라이언트가 설치된 단말이 수신하는 LTE신호의 신호잡음비
설치된 어플리케이션 정보 VoLTE 클라이언트가 설치된 단말에 설치된 다른 어플리케이션의 정보
동적 측정 정보
(Dynamic measuring information)
왕복 지연 시간 VoLTE 클라이언트 및 품질 분석 서버 간의 네트워크 왕복 지연 시간
지터(jitter) VoLTE 클라이언트 및 품질 분석 서버 간 통신의 지터
송수신 패킷 수 VoLTE 클라이언트 및 품질 분석 서버 간의 송수신 패킷 수
수신 누락 패킷 수 VoLTE 클라이언트 및 품질 분석 서버 간의 수신 누락 패킷 수
연속 수신 누락 패킷 수 VoLTE 클라이언트 및 품질 분석 서버 간의 연속 수신 누락 패킷 수
재배열 수신 패킷 수 VoLTE 클라이언트 및 품질 분석 서버 간의 재배열 수신 패킷 수
MOS(Mean Opinion Score) 추정 MOS
R-Factor R-Factor
표 1을 참조하면, 일실시예에 따른 사용자 단말의 정적 정보는, VoLTE 클라이언트가 설치된 사용자 단말의 모델명, VoLTE 클라이언트가 설치된 단말의 커널 버전, VoLTE 클라이언트가 설치된 단말의 OS 버전 및 VoLTE 클라이언트의 버전 중 적어도 하나를 포함할 수 있다.
일실시예에 따른 사용자 단말의 동적 상태 정보는, 사용자 단말이 속한 LTE 셀의 정보, 사용자 단말의 위치 정보, LTE 신호의 세기 및 사용자 단말에 설치된 적어도 하나의 다른 어플리케이션의 정보 중 적어도 하나를 포함할 수 있다.
일실시예에 따른 동적 측정 정보는, 사용자 단말 및 상기 품질 분석 서버 간의 네트워크 왕복 지연 시간, 사용자 단말 및 품질 분석 서버 간 통신의 지터(jitter), 사용자 단말 및 품질 분석 서버 간의 송수신 패킷 수, 사용자 단말 및 품질 분석 서버 간의 수신 누락 패킷 수, 사용자 단말 및 품질 분석 서버 간의 연속 수신 누락 패킷 수, 사용자 단말 및 품질 분석 서버 간의 재배열 수신 패킷 수, MOS(Mean Opinion Score) 및 R-Factor 중 적어도 하나를 포함할 수 있다.
왕복 지연 시간은 패킷이 수신 단에 갔다가 돌아오는 데 걸리는 시간으로, 이 값이 클 경우 버퍼링 등에 대한 지연을 의심할 근거가 될 수 있다.
송수신 패킷 수, 패킷 손실, 누락 패킷 수, 재배열 수신 패킷 수 등은 현재 망 상태를 측정할 때 사용할 수 있다.
지터란 신호의 불안정을 의미하는데, 패킷이 도착해야 할 시간에 얼마나 정확하게 도착했는지를 나타내는 수치이다. 즉, 각 패킷 간 도착시간의 간격이 얼마나 일정한지를 측정할 수 있다. 일례로, 송신 측에서 패킷을 1초 주기로 보낼 때, 수신 측에서 1초 간격으로 들어오면 지터가 낮은 것이고, 간격이 멀어지거나 좁아지면 지터가 높은 것이 된다. 이러한 지터는 송신 측에서 타임 스탬프를 패킷에 포함시켜 보내면 수신 측에서 이 값을 이용하여 편차를 구함으로써 획득할 수 있다.
추정 MOS, R-Factor는 사람이 느끼는 음성 품질을 정량적인 수치로 나타내는 값을 말한다.
정적 정보 및 동적 상태 정보는 축적된 히스토리를 바탕으로 몇 가지 조합의 경우 문제가 발생한다는 추론을 하거나 특정 정보의 값을 보고 문제의 원인을 추측하기 위해 수집하는 것이고, 동적 측정 정보는 실제 사용자 환경에서 정량적으로 음질을 테스트하기 위해 측정하는 값이다.
단계(101, 102, 103)에서, VoLTE 클라이언트(110)에 VoLTE 호(111, 112, 113)가 있을 때마다 사용자 단말의 운영체제는 호 시작 이벤트를 품질 보증 클라이언트에 알리고, 호가 있다는 사실을 알아낸 품질 보증 클라이언트(120)는 VoLTE 호에 대한 품질 정보를 수집할 수 있다. 여기서 품질 정보는 현재 VoLTE 호에 대한 동적 상태 정보가 될 수 있다. 일 측에 따르면, 품질 보증 클라이언트(120)는 사용자 단말에 대한 정적 정보도 같이 수집할 수 있다. 일실시예에 따르면, 품질 보증 클라이언트는 정적 정보인 단말 모델 번호, 운영체제 버전을 수집할 수 있고, 동적 상태 정보인 기지국 정보, 위치 정보, LTE 신호의 세기, 클라이언트 장치에 설치된 어플리케이션들의 정보 및 신호잡음 비(SNR) 등을 수집할 수 있다. 품질 보증 클라이언트가 품질 정보를 수집하고 상기 수집한 품질 정보를 수집할 때마다 보내지 않고 품질 분석 서버가 요청할 시에만 보내도록 함으로써 상기 품질 분석 서버에 과도한 데이터가 저장되는 것을 방지하고, 네트워크에 과부하를 주는 것을 방지할 수 있다.
단계(104)에서, 통신 장치는 품질 분석 서버(Quality Analyze Server)에 오류 이벤트가 발생하였음을 알려줄 수 있다. 여기서 통신 장치는 호 서버(140)가 될 수 있다. 일실시예에 따르면, IMS(IP Multimedia Subsystem)의 CSCF(Call Session Control Function)과 같은 VoLTE용 통신 장비, 과금 장치 또는 다른 네트워크 장비 등이 비정상 호 종료(Call drop), CSFB(Circuit Switched Fall Back)등의 오류 이벤트가 발생하면 어느 번호의 단말에 오류 이벤트가 발생하였는지 품질 분석 서버에 알려줄 수 있다. 여기서, CSFB는 호가 VoLTE로 연결되지 못하고 3G CS 네트워크로 연결되어 품질이 저하되는 것을 말한다. 일측에 따르면, 통신 장치로부터 CSFB 또는 비정상 호 종료와 관련된 VoLTE 클라이언트의 전화번호를 수신할 수 있다.
단계(105)에서, 품질 분석 서버(130)는 품질 보증 클라이언트(120)에 품질 정보를 전달해 줄 것을 요청할 수 있다. 일실시예에 따르면, 품질 보증 클라이언트(120)는 품질 분석 서버(130)가 품질 정보를 요청하기 전에 VoLTE 호를 감지하여 품질 정보를 미리 수집할 수 있다. 일실시예에 따르면, 품질 분석 서버는 품질 보증 클라이언트와 TCP 연결을 계속 맺고 있으면서 품질 정보 요청 메시지를 전달할 수 있다. 다른 일실시예에 따르면, 품질 분석 서버는 품질 보증 클라이언트가 설치된 단말에 푸시 메시지(push message) 또는 SMS를 전송함으로써 품질 정보를 요청할 수 있다.
단계(106)에서, 품질 보증 클라이언트는 미리 수집된 정적 정보 및 동적 상태 정보를 전달할 수 있다. 일실시예에 따르면, 품질 보증 클라이언트는 미리 정해진 방법에 따라 품질 정보를 전달할 수 있다. 예를 들면, 품질 정보 요청이 있기 직전 3개 VoLTE 호에 해당하는 동적 상태 정보를 전달할 수 있다. 다른 예를 들면, 품질 정보 요청이 있기 직전 30분 동안의 VoLTE 호에 해당하는 동적 상태 정보를 전달할 수 있다. 일실시예에 따르면 품질 보증 클라이언트는 미리 정해진 방법에 따라 지정된 품질 정보를 전달할 수 있다. 예를 들면, 오류 이벤트가 비정상 호 종료인 경우에는 기지국 정보와 SNR 정보만 전송할 수 있다. 일실시예에 따르면, 품질 분석 서버가 품질 보증 클라이언트에 요구하는 품질 정보를 정해줄 수 있다.
일실시예에 따르면, 품질 분석 서버는 전달 받은 품질 정보를 이용하여 오류 이벤트의 원인을 분석할 수 있다.
예를 들어, 특정 기지국의 셀 또는 특정 위치에서 SNR이 낮은 경우 비정상 호 종료(call drop) 이벤트가 자주 생기면, 해당 위치가 음영지역일 것이므로 추가로 중계기나 기지국을 증설하여 해결할 수 있다.
다른 예를 들면, 특정 운영체제와 특정 단말 모델의 조합의 경우 CSFB 이벤트가 많이 생기면 운영체제와 단말 모델 사이에 소프트웨어적 충돌이 있는 것을 예상할 수 있다.
또 다른 예를 들면, SNR이 높음에도 불구하고 비정상 호 종료 이벤트가 많이 생긴다면 음영지역이 아님에도 불구하고 문제가 발생하는 것이므로 망의 다른 장비에 대한 검사를 통해 문제를 해결할 수 있다.
또 다른 예를 들면, 단말기에 설치된 어플리케이션들의 정보를 수집하여 특정 어플리케이션이 설치된 경우에 품질에 이상이 많이 발생한 것을 근거로 특정 어플리케이션이 서비스 품질에 주는 영향을 분석할 수 있다.
또 다른 예를 들면, 커널 버전, VoLTE 어플리케이션 버전, 기지국 정보, 운영체제 버전 등의 특정 조합이 문제가 많이 발생한다는 점을 발견할 수 있다.
일실시예에 따르면, 품질 분석 서버(130)에서 VoLTE의 서비스 품질을 측정하는 방법이 제공될 수 있다.
먼저, 품질 분석 서버는 통신 장치로부터 VoLTE 서비스 품질 측정 대상이 되는 VoLTE 클라이언트에 관한 정보를 수신할 수 있다. 일례에 따르면, 통신 장치는 호 서버(140)를 포함할 수 있다. 다른 일례에 따르면, 통신 장치는 과금 장치 또는 다른 망 장비일 수 있다. 여기서 VoLTE 클라이언트에 관한 정보는 VoLTE 클라이언트가 설치된 단말의 전화번호를 포함할 수 있다.
일실시예에 따르면, 품질 분석 서버는 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트에게 품질 정보 요청을 송신할 수 있다. 다른 일실시예에 따르면, 품질 분석 서버는 VoLTE 클라이언트의 VoLTE 호를 감지하고 있는 품질 보증 클라이언트에 품질 정보 요청을 송신할 수 있다. 이때, 품질 보증 클라이언트는 VoLTE 클라이언트가 설치된 단말에 설치될 수 있다.
일실시예에 따르면, 품질 분석 서버는 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트로부터 VoLTE 클라이언트가 설치된 단말의 정적 정보 및 동적 상태 정보를 수신할 수 있다. 일 측에 따르면, 품질 보증 클라이언트는 품질 정보 요청을 수신하기 전에 VoLTE 호의 동적 상태 정보를 수집할 수 있다. 이 경우, 품질 분석 서버는 수집된 동적 상태 정보를 이용하여 다른 VoLTE 호의 오류 이벤트의 원인을 찾을 수 있다.
도 2는 일실시예에 따라 사용자 단말에 VoLTE 클라이언트와 별도로 품질 보증(Quality Assurance) 클라이언트가 설치되어 VoLTE 품질을 분석하기 위해 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 일실시예에 따른 동적 측정 정보를 수집하는 방법은, 망으로부터 VoLTE 호의 패킷과 동일한 QoS를 보장받기 위해 PCRF 서버에 QCI 제어 명령을 송신하여 채널을 할당 받는 단계, 할당된 채널을 이용하여 품질 보증 클라이언트와 테스트 패킷을 교환하는 단계 및 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계를 포함할 수 있다.
단계(201, 202, 203)에서, VoLTE 클라이언트(210)에 VoLTE 호(211, 212, 213)가 있을 때마다 사용자 단말의 운영체제는 미리 등록된 호 관련 이벤트 리시버를 통해 호 시작 이벤트를 품질 보증 클라이언트에 알리고, VoLTE 호가 있다는 사실을 알아낸 품질 보증 클라이언트(220)는 상기 VoLTE 호에 대한 품질 정보를 수집할 수 있다. 여기서, 상기 품질 정보는 단말의 정적 정보 및 동적 상태 정보를 포함할 수 있다.
단계(204)에서, 통신 장치는 품질 분석 서버(Quality Analyze Server)에 오류 이벤트가 발생하였음을 알려줄 수 있다. 여기서 통신 장치는 호 서버(250)가 될 수 있다. 여기서 오류 이벤트는 비정상 호 종료(Call drop) 또는 CSFB(Circuit Switched Fall Back)를 포함할 수 있다. 일측에 따르면, 통신 장치로부터 CSFB 또는 비정상 호 종료와 관련된 VoLTE 클라이언트의 전화번호를 수신할 수 있다.
단계(205)에서, 일실시예에 따른 호 서버(250)로부터 오류 이벤트의 알림을 받은 품질 분석 서버(230)는 PCRF(240)에 QCI 제어 명령을 할 수 있다. 여기서, PCRF(Policy and Charging Rules Function)는 서비스 및 가입자 프로파일 기반으로 과금 정책을 제공하는 시스템이다. PCRF는 서비스 관련 정보 및 가입자 정보를 받아 가입자가 요구하는 서비스의 QoS와 과금 정책을 제공할 수 있다.
일실시예에 따르면, 품질 분석 서버(230)는 PCRF에 미리 존재하는 QoS 클래스 식별자(QoS Class Identifier; QCI) 제어 명령을 보내서 채널을 할당 받을 수 있다. 여기서 QCI는 3GPP TS23.320에서 정의한 LTE/IMS망에서 VoIP 서비스 품질을 보장하기 위한 표준기술로, 서비스 별로 QoS 우선순위를 1~9 단계로 지정하고 있다. 일측에 따르면, PCRF는 VoLTE 호의 음성 패킷이 갖는 QoS와 동일한 QoS를 갖는 채널을 할당할 수 있다.
단계(206)에서, 품질 분석 서버(230)는 품질 보증 클라이언트(220)에 품질 정보를 전달해 줄 것을 요청할 수 있다. 일실시예에 따르면, 품질 보증 클라이언트(220)는 품질 분석 서버(230)가 품질 정보를 요청하기 전에 VoLTE 호를 감지하여 품질 정보를 미리 수집할 수 있다.
단계(207)에서, 품질 보증 클라이언트는 미리 수집된 정적 정보 및 동적 상태 정보를 전달할 수 있다. 일실시예에 따르면, 품질 보증 클라이언트는 미리 정해진 방법에 따라 품질 정보를 전달할 수 있다.
단계(208)에서, 품질 분석 서버(230)는 QA 클라이언트(220)와 테스트 패킷을 주고 받으면서 VoLTE 호의 동적 측정 정보를 예측할 수 있다.
일실시예에 따르면, 품질 분석 서버(230)는 테스트 패킷에 타임 스탬프를 포함시켜 PCRF(240)로부터 할당 받은 채널을 통해 테스트 패킷을 QA 클라이언트에게 전송할 수 있다. 여기서 타임 스탬프는 어느 시점에 데이터가 존재했다는 사실을 증명하기 위해 특정 위치에 표시하는 시각으로, 시간의 기점을 표시하는 시간 변위 매개 변수를 말한다. 예를 들면, 품질 분석 서버는 VoLTE 호의 음성 패킷과 동일한 QoS를 가지는 채널을 이용하여 QA 클라이언트에게 전송할 수 있다. 이때, QA 클라이언트는 수신한 테스트 패킷으로부터 제1 동적 측정 정보를 수집할 수 있다. 예를 들면, 제1 동적 측정 정보는 다운 스트림에 대한 동적 측정 정보가 될 수 있다.
일실시예에 따르면, 타임 스탬프가 포함된 패킷은 미리 정해진 주기로 전송할 수 있다. 예를 들면, VoLTE 호의 음성 패킷 사이즈와 비슷한 크기의 패킷을 VoLTE 호의 음성 패킷의 주기와 동일한 주기인 20msec의 주기로 전송할 수 있다. 일실시예에 따르면, 타임 스탬프가 포함된 패킷은 미리 정해진 시간 동안 전송할 수 있다. 예를 들면, 통계적으로 의미 있는 측정이 될 수 있도록 10초 동안 전송할 수 있다.
일실시예에 따르면, QA 클라이언트(220)는 테스트 패킷을 수신한 시간과 그에 대한 응답 패킷을 전송하는 응답 시간을 포함하는 타임 스탬프를 포함시켜 응답 패킷을 전송할 수 있다. 이때, 품질 분석 서버는 QA 클라이언트로부터 수신한 응답 패킷으로부터 직접 제2 동적 측정 정보를 측정할 수 있다. 여기서 제2 동적 측정 정보는 업 스트림에 대한 동적 측정 정보가 될 수 있다.
일실시예에 따르면, 품질 분석 서버는 QA 클라이언트로부터 제1 동적 측정 정보를 전달 받을 수 있다. 다른 일실시예에 따르면, VoLTE 클라이언트는 품질 보증 클라이언트에게 제1 동적 측정 정보를 전달할 수 있고, 다시 품질 보증 클라이언트가 품질 분석 서버에게 제1 동적 측정 정보를 전달할 수도 있다. 일실시예에 따르면, 품질 분석 서버는 제1 동적 측정 정보 및 제2 동적 측정 정보를 이용하여 동적 측정 정보를 수집할 수 있다.
일실시예에 따르면, VoLTE 클라이언트가 품질 보증 클라이언트를 포함할 수도 있다. 이 경우, VoLTE 클라이언트가 직접 품질 정보를 수집할 수 있다.
일실시예에 따르는 품질 분석 서버(230)는 정적 정보, 동적 상태 정보 및 동적 측정 정보를 분석하여 VoLTE의 서비스 품질을 측정할 수 있다. 일실시예에 따르면, 품질 분석 서버는 전달 받은 품질 정보를 이용하여 오류 이벤트의 원인을 분석할 수 있다. 예를 들어, 특정 기지국의 셀 또는 특정 위치에서 SNR이 낮은 경우 비정상 호 종료(call drop) 이벤트가 자주 생기면, 해당 위치가 음영지역일 것이므로 추가로 중계기나 기지국을 증설하여 해결할 수 있다. 다른 예를 들면, 특정 운영체제와 특정 단말 모델의 조합의 경우 CSFB 이벤트가 많이 생기면 운영체제와 단말 모델 사이에 소프트웨어적 충돌이 있는 것을 예상할 수 있다. 또 다른 예를 들면, SNR이 높음에도 불구하고 비정상 호 종료 이벤트가 많이 생긴다면 음영지역이 아님에도 불구하고 문제가 발생하는 것이므로 망의 다른 장비에 대한 검사를 통해 문제를 해결할 수 있다.
도 3은 일실시예에 따라 고객 관리 서버로부터 품질 정보의 요청이 있는 경우에 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트에 품질을 측정할 것을 명령하여 정적 정보 및 동적 상태 정보를 전달받는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 일실시예에 따른 VoLTE 서비스의 품질 측정 방법은 품질 정보를 요청하는 단계, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트에 품질 측정을 명령하는 단계, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트에서 동적 상태 정보를 수집하는 단계, 품질 분석 서버에 정적 정보 및 동적 상태 정보를 생성하는 단계 및 고객 관리 서버에 보고하는 단계를 포함할 수 있다.
단계(301)에서, 고객 관리 서버(330)는 품질 분석 서버(320)에 VoLTE 네트워크의 품질 정보를 요청할 수 있다. 일실시예에 따르면, 고객 관리 서버는 고객 관리 센터에서 운영하는 서버가 될 수 있다. 예를 들면, 고객 관리 센터에서 고객의 불만 사항을 접수하면 고객 관리 서버를 통해 품질 분석 서버(320)에 VoLTE 네트워크의 품질 정보를 요청할 수 있다. 다른 예를 들면, 고객 관리 센터는 품질 분석 서버에 VoLTE 클라이언트의 전화번호를 전송할 수 있다.
단계(302)에서, 품질 분석 서버는 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트(310)에게 VoLTE 네트워크의 품질을 측정할 것을 명령할 수 있다. 일실시예에 따르면, 품질 분석 서버는 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트와 TCP 연결을 통해 품질 정보의 측정을 명령할 수 있다. 다른 일실시예에 따르면, 품질 분석 서버는 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트가 설치된 단말에 푸시 메시지(push message) 또는 SMS를 전송함으로써 품질 정보의 측정을 요청할 수 있다.
단계(303)에서, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트는 VoLTE 호(311) 진행 시 동적 상태 정보를 수집할 수 있다. 일 측에 따르면, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트(310)는 단말에 대한 정적 정보도 같이 수집할 수 있다.
단계(304)에서, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트는 생성된 동적 상태 정보와 단말의 고유 정보인 정적 정보를 품질 분석 서버에 전달할 수 있다. 일실시예에 따르면, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트는 미리 정해진 방법에 따라 품질 정보를 전달할 수 있다. 예를 들면, 품질 정보 요청이 있기 직전 3개 VoLTE 호에 해당하는 동적 상태 정보를 전달할 수 있다. 다른 예를 들면, 품질 정보 요청이 있기 직전 30분 동안의 VoLTE 호에 해당하는 동적 상태 정보를 전달할 수 있다. 일실시예에 따르면 품질 보증 클라이언트는 미리 정해진 방법에 따라 지정된 품질 정보를 전달할 수 있다. 예를 들면, 오류 이벤트가 비정상 호 종료인 경우에는 기지국 정보와 SNR 정보만 전송할 수 있다. 일실시예에 따르면, 품질 분석 서버가 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트에 요구하는 품질 정보를 정해줄 수 있다.
단계(305)에서, 품질 분석 서버(320)는 고객 관리 서버(330)에 수집된 품질 정보를 전달할 수 있다. 일실시예에 따르면 품질 분석 서버는 수집한 데이터를 품질 분석 서버 내에 저장할 수 있다. 다른 일실시예에 따르면, 품질 분석 서버는 수집된 품질 정보를 처리하여 VoLTE 네트워크에 대해 생성된 리포트를 고객 관리 서버(330)로 송신할 수 있다.
예를 들면, 측정을 의뢰한 고객의 사용자 단말 장치가 위치한 특정 지역에서 SNR가 낮고, 패킷 손실이 큰 경우에는 음영지역으로 판단하고 리포트를 고객 관리 서버에 송신할 수 있다. 고객 관리 서버를 통해 문제점을 파악하면, 서비스 제공자는 추가 기지국, 펨토셀 이나 중계기을 설치하여 해결할 수 있다. 여기서 펨토셀(Femto Cell)은 가정이나 사무실 등 실내에서 초고속 인터넷 회선에 무선 랜 중계기(AP)를 연결하여 모바일 기기에서 인터넷을 이용 가능하게 하는 초소형 이동통신 기지국을 말한다.
다른 예를 들면, 측정한 고객의 사용자 단말 장치가 위치한 특정 지역에서, SNR은 높은데 지터가 크게 나오는 경우에는 지터의 원인만 찾으면 된다. 2개의 벤더 사(A사 및 B사)가 제작한 기지국을 이용하는 경우, A사 기지국에서는 오류 이벤트가 발생하지 않았으나, B사 기지국에서만 문제가 생긴다면 단말의 모델, 운영체제 등이 특정 기지국과 충돌을 일으키는 것이 아닌지 확인해 볼 수 있다.
도 4는 일실시예에 따라 고객 관리 서버로부터 품질 정보의 요청이 있는 경우에 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트에 품질을 측정할 것을 명령하여 정적 정보, 동적 상태 정보 및 동적 측정 정보를 전달받는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에 따른 VoLTE 품질 측정 시스템은 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트(410), 품질 분석 서버(420), PCRF(430) 및 고객 관리 서버(440)를 포함할 수 있다.
단계(401)에서, 고객 관리 서버(440)는 품질 분석 서버(420)에 VoLTE 네트워크의 품질 정보를 요청할 수 있다. 일실시예에 따르면, 고객 관리 서버는 고객 관리 센터에서 운영하는 서버가 될 수 있다. 예를 들면, 고객이 고객 관리 센터에 VoLTE 서비스의 품질에 대해 불만을 접수하면, 고객 관리 센터는 고객 관리 서버(440)를 통해 품질 분석 서버(420)에 불만을 갖는 고객의 전화번호를 전달할 수 있다.
단계(402)에서, 품질 분석 서버는 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트(410)에게 VoLTE 네트워크의 품질을 측정할 것을 명령할 수 있다. 일실시예에 따르면, 품질 분석 서버는 불만을 접수한 고객의 단말에 설치된 품질 보증 클라이언트에 품질 정보를 요청할 수 있다. 다른 일실시예에 따르면, 품질 분석 서버는 불만을 접수한 고객의 단말에 설치된 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트에 직접 품질 정보를 요청할 수 있다.
단계(403)에서, 불만을 접수한 고객의 단말에 설치된 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트는 VoLTE 호(411) 진행 시 동적 상태 정보를 수집할 수 있다. 일 측에 따르면, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트(410)는 단말에 대한 정적 정보도 같이 수집할 수 있다.
단계(404)에서, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트는 생성된 동적 상태 정보와 단말의 고유 정보인 정적 정보를 품질 분석 서버에 전달할 수 있다. 일실시예에 따르면, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트는 VoLTE 호가 진행되는 동안 동적 상태 정보를 수집하여 호 종료와 동시에 품질 분석 서버에 호 종료 사실을 알리면서 동적 상태 정보 및 정적 정보를 전달 할 수 있다. 그러나 수집한 정적 정보 및 동적 상태 정보를 보내는 타이밍은 반드시 이 때일 필요는 없다.
단계(405)에서, 품질 분석 서버(420)는 PCRF(430)에 QCI 제어 명령을 송신할 수 있다. 일실시예에 따르면, 품질 분석 서버(420)는 PCRF에 미리 존재하는 QoS 클래스 식별자(QoS Class Identifier; QCI) 제어 명령을 보내서 채널을 할당 받을 수 있다.
단계(406)에서, 품질 분석 서버(420)는 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트(410)와 테스트 패킷을 주고 받으면서 동적 측정 정보를 수집할 수 있다.
일실시예에 따르면, 품질 분석 서버(420)는 테스트 패킷에 타임 스탬프를 포함시켜 PCRF(430)로부터 할당 받은 채널을 통해 테스트 패킷을 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트에게 전송할 수 있다. 예를 들면, 품질 분석 서버는 VoLTE 호의 음성 패킷과 동일한 채널을 이용하여 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트에게 전송할 수 있다. 이때, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트는 수신한 테스트 패킷으로부터 제1 동적 측정 정보를 수집할 수 있다.
일실시예에 따르면, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트(410)는 테스트 패킷을 수신한 시간과 그에 대한 응답 패킷을 전송하는 응답 시간을 포함하는 타임 스탬프를 포함시켜 응답 패킷을 전송할 수 있다. 이때, 품질 분석 서버는 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트로부터 수신한 응답 패킷으로부터 직접 제2 동적 측정 정보를 측정할 수 있다. 여기서 제2 동적 측정 정보는 업 스트림에 대한 동적 측정 정보가 될 수 있다.
일실시예에 따르면, 품질 분석 서버는 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트로부터 제1 동적 측정 정보를 전달 받을 수 있다. 다른 일실시예에 따르면, 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트는 품질 보증 클라이언트에게 제1 동적 측정 정보를 전달할 수 있고, 다시 별도의 품질 보증 클라이언트가 품질 분석 서버에게 제1 동적 측정 정보를 전달할 수도 있다. 일실시예에 따르면, 품질 분석 서버는 제1 동적 측정 정보 및 제2 동적 측정 정보를 이용하여 동적 측정 정보를 수집할 수 있다.
단계(407)에서, 품질 분석 서버(420)는 고객 관리 서버(440)에 수집된 품질 정보를 전달할 수 있다. 일실시예에 따르면, 품질 분석 서버는 수집된 품질 정보를 처리하여 VoLTE 네트워크에 대해 생성된 리포트를 고객 관리 서버(330)로 송신할 수 있다. 일실시예에 따르면, 정적 정보, 동적 상태 정보 및 동적 측정 정보를 분석하여 VoLTE 서비스의 품질을 측정할 수 있다. 예를 들면, 정적 정보, 동적 상태 정보 및 동적 측정 정보 중 적어도 하나의 조합이 미리 정해진 조건을 만족하는 경우에는 VoLTE 서비스 품질에 이상이 있는 것으로 판단할 수 있다. 다른 예를 들면, 품질 관리 서버는 VoLTE 서비스 품질에 이상이 있는 정적 정보, 동적 상태 정보 및 동적 측정 정보 중 적어도 하나의 조합을 고객 관리 서버에 리포팅할 수 있다. 일례로, 모델 버전과 VoLTE 어플리케이션 버전을 공유하는 제1 조합을 갖는 VoLTE 클라이언트가 미리 정해진 수 이상 있는데, 이 중 50% 이상에서 오류 이벤트를 경험하면 상기 제1 조합을 고객 관리 서버에 리포팅할 수 있다. 다른 일례로, 모델 버전과 일정 위치를 공유하는 제2 조합을 갖는 VoLTE 클라이언트 수가 n개 있고, 이중 20% 이상에서 품질의 이상이 있는 경우, 상기 제2 조합을 리포팅할 수 있다.
도 5는 일실시예에 따라 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트가 직접 품질 정보를 수집하여 오류 이벤트를 검출하고 품질 분석 서버에 정적 정보 및 동적 상태 정보를 전달하는 방법을 설명하기 위한 도면이다.
도 5를 참조하면, 일 실시예에 따른 VoLTE 네트워크의 품질 측정 시스템은 VoLTE 클라이언트 및 품질 분석 서버를 포함할 수 있다. 일실시예에 따른 VoLTE 클라이언트는 품질 보증 클라이언트를 포함할 수 있다. 따라서, VoLTE에 포함된 품질 보증 클라이언트가 VoLTE 호가 발생할 때(511, 512, 513)마다 품질 분석을 위한 정보를 수집할 수 있다. 즉, VoLTE 클라이언트에 품질 보증 클라이언트의 기능이 설치되어 있는 경우를 말한다.
단계(501, 502, 503)에서, VoLTE 클라이언트는 VoLTE 호가 있을 때 마다(511, 512, 513) 동적 상태 정보를 수집할 수 있다. 일실시예에 따르면 VoLTE 클라이언트에서 호(call)를 수행하는 동안 동적 상태 정보를 수집할 수 있다.
단계(504)에서, VoLTE 클라이언트는 오류 이벤트가 발생함을 스스로 감지할 수 있다. 일실시예에 따르면, 오류 이벤트는 비정상 호 종료 또는 CFSB가 될 수 있다.
단계(505)에서, 일실시예에 따른 VoLTE 클라이언트는 오류 이벤트를 감지하면 품질 분석 서버에 VoLTE 클라이언트와 관련된 정적 정보 및 동적 상태 정보를 전달할 수 있다. 일실시예에 따르면 VoLTE 클라이언트에 포함된 품질 보증 클라이언트를 통해서 품질 분석 서버로 송신할 수 있다.
도 6은 일실시예에 따라 VoLTE 클라이언트가 직접 품질 정보를 생성하여 오류 이벤트를 검출하고 품질 분석 서버에 정적 정보 및 동적 상태 정보를 전달하고, 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 방법을 설명하기 위한 도면이다. 이 경우에도 VoLTE 클라이언트가 품질 보증 클라이언트의 기능을 포함하고 있는 경우를 가정한다.
도 6을 참조하면, 일 실시예에 따른 VoLTE 네트워크의 품질 측정 시스템은 VoLTE 클라이언트(610), 품질 분석 서버(620) 및 PCRF(630)를 포함할 수 있다.
단계(601, 602, 603)에서, VoLTE 클라이언트(610)는 VoLTE 호가 있을 때 마다(611, 612, 613) 동적 상태 정보를 수집할 수 있다. 일실시예에 따르면 VoLTE 클라이언트에서 호(call)를 수행하는 동안 동적 상태 정보를 수집할 수 있다.
단계(604)에서, VoLTE 클라이언트는 오류 이벤트가 발생함을 감지할 수 있다. 일실시예에 따르면, 오류 이벤트는 비정상 호 종료 또는 CFSB가 될 수 있다.
단계(605)에서, 일실시예에 따른 VoLTE 클라이언트는 품질 분석 서버에 VoLTE 클라이언트와 관련된 정적 정보 및 동적 상태 정보를 전달할 수 있다. 일실시예에 따르면 VoLTE 클라이언트에 포함된 품질 보증 클라이언트를 통해서 정적 정보 및 동적 상태 정보를 품질 분석 서버로 송신할 수 있다.
단계(606)에서, 일실시예에 따른 품질 분석 서버는 PCRF(630)에 QCI 제어 명령을 전달할 수 있다. 일실시예에 따르면, 품질 분석 서버(630)는 PCRF에 미리 존재하는 QoS 클래스 식별자(QoS Class Identifier; QCI) 제어 명령을 보내서 채널을 할당 받을 수 있다. 일측에 따르면, PCRF는 VoLTE 호의 음성 패킷이 갖는 QoS와 동일한 QoS를 갖는 채널을 할당할 수 있다.
단계(607)에서, 일실시예에 따른 품질 분석 서버는 품질 분석 서버의 요청에 의하여 PCRF로부터 할당된 채널을 이용하여 VoLTE 클라이언트와 테스트 패킷을 주고 받으면서 동적 측정 정보를 수집할 수 있다.
도 7은 일실시예에 따라 VoLTE 클라이언트와 세션 보더 컨트롤러 사이에서 RTP 패킷을 이용하여 동적 측정 정보를 생성하여 VoLTE의 품질을 측정하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 일 실시예에 따른 VoLTE 네트워크의 품질 측정 시스템은 VoLTE 클라이언트(710), 세션 보더 컨트롤러 서버(720), 품질 분석 서버(730) 및 PCRF(740)를 포함할 수 있다. 여기서, 세션 보더 컨트롤러(session border controller; SBC)는 VoIP 네트워크에 설치되는 장치로, 전화 신호 또는 다른 상호작용 미디어 통신을 설정, 수행 및 종료하는데 관련된 미디어 스트림과 신호를 제어하는 장치이다. 일측에 따르면, 상기 세션 보더 컨트롤러 대신 음성 패킷이 지나가는 다른 장비를 사용할 수도 있다.
단계(701, 702, 703)에서, 일실시예에 따른 품질 보증 클라이언트 기능을 포함한 VoLTE 클라이언트(710)와 세션 보더 컨트롤러(720)는 음성 RTP 패킷을 이용하여 VoLTE 호를 수행하는 동안 동적 측정 정보를 수집할 수 있다.
일측에 따르면, VoLTE 클라이언트가 세션 보더 컨트롤러(Session Border Controller; SBC) 서버(720)와 주고 받는 RTP 패킷의 RTP Extension 필드에 동적 측정 정보의 측정을 위한 타임 스탬프를 포함하여 송수신 할 수 있다.
일실시예에 따르면, 세션 보더 컨트롤러(720)는 업 스트림에 관한 동적 측정 정보를 수집할 수 있다. VoLTE 클라이언트는 다운 스트림에 관한 동적 측정 정보를 수집할 수 있다.
이때, VoLTE 클라이언트와 SBC 서버(720)는 VoLTE 호(711, 712, 713)와 관련된 RTP 패킷들의 RTP Extension 필드에 송신 타임 스탬프, 가장 최근에 수신한 RTP 패킷의 RTP Extension 필드에 기록된 타임 스탬프 및 가장 최근에 수신한 RTP 패킷의 수신 시각과 송신 RTP 패킷의 송신 시각 간의 시간차의 세 가지 정보를 삽입하여 교환함으로써 상기 동적 측정 정보를 수집할 수 있다. RTP 패킷에 대해서는 도 11에서 자세하게 설명하도록 한다.
단계(704)에서, 호 서버(740)는 품질 분석 서버에 오류 이벤트가 발생하였음을 알릴 수 있다. 여기서 오류 이벤트는 비정상 호 종료(Call drop) 또는 CSFB(Circuit Switched Fall Back)를 포함할 수 있다. 일측에 따르면, 호 서버로부터 CSFB 또는 비정상 호 종료와 관련된 VoLTE 클라이언트의 전화번호를 수신할 수 있다.
단계(705)에서, 품질 분석 서버(730)는 세션 보더 컨트롤러(720)에 품질 정보를 전달해 줄 것을 요청할 수 있다.
단계(706)에서, 품질 분석 서버(730)는 VoLTE 클라이언트(710)에 품질 정보를 전달해 줄 것을 요청할 수 있다.
단계(707)에서, VoLTE 클라이언트는 정적 정보, 동적 상태 정보 및 동적 측정 정보를 품질 분석 서버에 전달할 수 있다. 일실시예에 따르면, VoLTE 클라이언트는 다운 스트림에 관한 동적 측정 정보를 품질 분석 서버에 전달할 수 있다.
일실시예에 따르면, VoLTE 클라이언트에 포함된 품질 보증 클라이언트를 통해서 정적 정보, 동적 상태 정보 및 동적 측정 정보를 품질 분석 서버로 송신할 수 있다.
단계(708)에서, 세션 보더 컨트롤러(720)는 정적 정보, 동적 상태 정보 및 동적 측정 정보를 품질 분석 서버에 전달할 수 있다. 일실시예에 따르면, 세션 보더 컨트롤러(720)는 업 스트림에 관한 동적 측정 정보를 품질 분석 서버에 전달할 수 있다.
도 8은 일실시예에 따라 고객 관리 서버로부터 품질 정보 요청을 받아 VoLTE 클라이언트와 세션 보더 컨트롤러 사이에서 RTP 패킷을 이용하여 정적 정보, 동적 상태 정보 및 동적 측정 정보를 생성하여 VoLTE의 품질을 측정하는 방법을 설명하기 위한 도면이다.
도 8을 참조하면, 일 실시예에 따른 VoLTE 네트워크의 품질 측정 시스템은 VoLTE 클라이언트(810), 세션 보더 컨트롤러 서버(820), 품질 분석 서버(830), PCRF(840) 및 고객 관리 서버(850)를 포함할 수 있다.
단계(801)에서, 고객 관리 서버(850)는 품질 분석 서버(830)에 VoLTE 서비스의 품질 정보를 요청할 수 있다.
단계(802)에서, 품질 분석 서버(830)는 VoLTE 클라이언트(810) 및 세션 보더 컨트롤러(820)에 VoLTE 서비스의 품질 정보를 요청할 수 있다.
단계(803)에서, VoLTE 클라이언트(810)와 세션 보더 컨트롤러 서버(820)는 음성 RTP 패킷을 이용하여 고객 관리 서버가 지정한 VoLTE 클라이언트가 VoLTE 호(811)를 수행하는 동안 정적 정보, 동적 상태 정보 및 동적 측정 정보를 수집할 수 있다.
일측에 따르면, VoLTE 클라이언트가 세션 보더 컨트롤러(Session Border Controller; SBC) 서버(820)와 주고 받는 RTP 패킷의 RTP Extension 필드에 동적 측정 정보의 측정을 위한 타임 스탬프를 포함하여 송수신 할 수 있다.
일실시예에 따르면, 세션 보더 컨트롤러(820)는 업 스트림에 관한 동적 측정 정보를 수집할 수 있다. VoLTE 클라이언트(810)는 다운 스트림에 관한 동적 측정 정보를 수집할 수 있다.
단계(804)에서, VoLTE 클라이언트(810)는 품질 분석 서버(830)에 품질 정보를 전달할 수 있다. 여기서 품질 정보는 정적 정보, 동적 상태 정보 및 동적 측정 정보 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, VoLTE 클라이언트는 다운 스트림에 관한 동적 측정 정보를 품질 분석 서버에 전달할 수 있다.
단계(805)에서, 세션 보더 컨트롤러 서버(820)는 품질 분석 서버(830)에 품질 정보를 전달할 수 있다. 여기서 품질 정보는 정적 정보, 동적 상태 정보 및 동적 측정 정보 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, 세션 보더 컨트롤러(820)는 업 스트림에 관한 동적 측정 정보를 품질 분석 서버에 전달할 수 있다.
도 9는 일실시예에 따른 VoLTE 품질 측정 시스템에서 품질 분석 서버의 구성을 설명하기 위한 도면이다.
도 9를 참조하면, 일 실시예에 따른 품질 분석 서버는 클라이언트 정보 수신부(910), 제어부(920) 및 정보 수집부(930)를 포함할 수 있다.
일실시예에 따르면, 클라이언트 정보 수신부(910)는 통신 장치로부터 VoLTE 서비스 품질 측정 대상이 되는 VoLTE 클라이언트에 관한 정보를 수신할 수 있다. 클라이언트 정보 수신부(910)는 통신 장치로부터 VoLTE 서비스 품질 측정 대상이 되는 VoLTE 클라이언트에 관한 정보를 수신할 수 있다. 일측에 따르면, 클라이언트 정보 수신부(910)는 통신 장치로부터 CSFB 또는 비정상 호 종료와 관련된 VoLTE 클라이언트의 전화번호를 수신할 수 있다. 일측에 따르면, 클라이언트 정보 수신부는 고객 관리 서버(customer care server)로부터 상기 VoLTE 클라이언트의 전화번호를 수신할 수 있다.
일실시예에 따르면, 제어부(920)는 VoLTE 클라이언트에게 품질 정보 요청을 송신하도록 제어할 수 있다. 다른 일실시예에 따르면, 제어부(920)는 VoLTE 클라이언트의 VoLTE 호를 감지하고 있는 품질 보증 클라이언트에 품질 정보 요청을 송신할 수 있다. 이때, 품질 보증 클라이언트는 VoLTE 클라이언트가 설치된 단말에 설치될 수 있다.
일실시예에 따르면, 제어부는 PCRF 서버에 QCI 제어 명령을 송신하여 채널을 할당 받을 수 있다. 일측에 따르면, PCRF는 VoLTE 호의 음성 패킷이 갖는 QoS와 동일한 QoS를 갖는 채널을 할당할 수 있다.
일실시예에 따르면, 정보 수집부(930)는 VoLTE 클라이언트로부터 VoLTE 클라이언트의 정적 정보 및 동적 상태 정보를 수신할 수 있다.
일실시예에 따르면, 정보 수집부는 PCRF 서버에 QCI 제어 명령을 송신하여 할당 받은 채널을 이용하여 상기 VoLTE 클라이언트에 테스트 패킷을 송신할 수 있다.
일실시예에 따르면, 정보 수집부는 음성 테스트 패킷을 이용하여 동적 측정 정보를 수집할 수 있다. 일실시예에 따르면, VoLTE 클라이언트가 수신한 테스트 패킷으로부터 VoLTE 클라이언트 측에서 수집된 제1 동적 측정 정보를 VoLTE 클라이언트로부터 수신하고, 할당된 채널을 통하여 VoLTE 클라이언트로부터 수신한 테스트 패킷으로부터 제2 동적 측정 정보를 측정하고, 제1 동적 측정 정보 및 제2 동적 측정 정보를 이용하여 동적 측정 정보를 수집할 수 있다.
도 10은 일실시예에 따른 VoLTE 품질 측정 시스템에서, VoLTE 클라이언트 장치의 구성을 설명하기 위한 도면이다.
도 10을 참조하면, 일 실시예에 따른 VoLTE 클라이언트(1000)는 동적 상태 정보 수집부(1010), 동적 측정 정보 수집부(1020), 테스트부(1030) 및 송신부(1040)를 포함할 수 있다.
일실시예에 따르면, 동적 상태 정보 수집부(1010)는 호(call)를 수행하는 동안 동적 상태 정보를 수집할 수 있다.
일실시예에 따르면, 테스트부(1030)는 CSFB 또는 비정상 호 종료가 발생하는 경우, 품질 분석 서버의 요청에 의하여 할당된 채널을 이용하여 상기 품질 분석 서버와 테스트 패킷을 송수신할 수 있다.
품질 분석 서버는 음성 테스트 패킷에 타임 스탬프를 포함시켜 PCRF로부터 할당 받은 채널을 통해 테스트 패킷을 VoLTE 클라이언트에게 전송할 수 있다. 여기서 타임 스탬프는 어느 시점에 데이터가 존재했다는 사실을 증명하기 위해 특정 위치에 표시하는 시각으로, 시간의 기점을 표시하는 시간 변위 매개 변수를 말한다. 예를 들면, 품질 분석 서버는 VoLTE 음성 패킷과 동일한 채널을 이용하여 VoLTE 클라이언트에게 전송할 수 있다. 이때, VoLTE 클라이언트는 수신한 테스트 패킷으로부터 제1 동적 측정 정보를 수집할 수 있다. 예를 들면, 제1 동적 측정 정보는 다운 스트림에 대한 동적 측정 정보가 될 수 있다.
일실시예에 따르면, VoLTE 클라이언트의 테스트부(1030)는 테스트 패킷을 수신한 시간과 그에 대한 응답 패킷을 전송하는 응답 시간을 포함하는 타임 스탬프를 포함시켜 응답 패킷을 전송할 수 있다.
일실시예에 따르면 동적 측정 정보 수집부(1020)는 테스트 패킷을 이용하여 동적 측정 정보를 수집할 수 있다.
일실시예에 따르면 상기 송신부(1040)는 VoLTE 클라이언트 장치의 정적 정보, 동적 상태 정보 및 동적 측정 정보를 품질 분석 서버로 송신할 수 있다.
일실시예에 따르면, 송신부는 제1 동적 측정 정보를 품질 분석 서버에 송신할 수 있다. 일실시예에 따르면, 송신부는 품질 보증 클라이언트에게 제1 동적 측정 정보를 전달할 수 있고, 다시 품질 보증 클라이언트가 품질 분석 서버에게 제1 동적 측정 정보를 전달할 수도 있다.
도 11은 일실시예에 따른 VoLTE 품질 측정 방법에서 RTP 패킷을 설명하기 위한 도면이다.
도 11을 참조하면, 일실시예에 따른 RTP(real-time transport protocol) 패킷은 RTP Header(1110) 및 RTP payload(1120)를 포함할 수 있다.
음성 RTP(real-time transport protocol) 패킷에 타임 스탬프를 추가로 넣어서 음성 RTP 패킷 만으로 지터(jitter), 지연(delay), 패킷 손실(packet loss) 등을 확인할 수 있다.
일실시예에 따르면, 다운 스트림의 수신 누락 패킷 수, 재배열 수신 패킷 수 및 지터를 알아내는 방법이 제공된다. 네트워크에서 세션 보더 컨트롤러(Session Border Controller)를 이용하여 RTP 패킷에 타임 스탬프를 찍어서 보내주고, VoLTE 클라이언트가 이를 수신하여, 다운 스트림의 수신 누락 패킷 수, 재배열 수신 패킷 수 및 지터를 측정할 수 있다. 예를 들면, 이미 RTP 패킷이 패킷 순번을 나타내는 시퀀스 번호(Sequence No.)를 포함하고 있으므로 RTP 패킷의 시퀀스 번호를 보고 수신 누락 패킷 수, 재배열 수신 패킷 수를 알아낼 수 있다. 이때, 타임 스탬프와 실제 패킷이 도착한 시간을 보고 지터를 계산해낼 수 있다.
일실시예에 따르면, 업 스트림의 수신 누락 패킷 수, 재배열 수신 패킷 수 및 지터를 알아내는 방법이 제공된다. 이때, VoLTE 클라이언트에서 RTP 패킷에 타임 스탬프를 찍어서 보내주고, 세션 보더 컨트롤러(Session Border Controller)가 이를 수신하여, 업 스트림의 수신 누락 패킷 수, 재배열 수신 패킷 수 및 지터를 측정할 수 있다.
또한, VoLTE 클라이언트는 RTP 패킷들의 RTP Extension 필드에 송신 타임 스탬프, 가장 최근에 수신한 RTP 패킷의 RTP Extension 필드에 기록된 타임 스탬프 및 가장 최근에 수신한 RTP 패킷의 수신 시각과 송신 RTP 패킷의 송신 시각 간의 시간차의 세 가지 정보를 삽입하여 전송하면, 세션 보더 컨트롤러는 이 정보를 이용하여 왕복지연 시간을 계산할 수 있다. 마찬가지로, 세션 보더 컨트롤러(Session Border Controller)는 RTP 패킷들의 RTP Extension 필드에 송신 타임 스탬프, 가장 최근에 수신한 RTP 패킷의 RTP Extension 필드에 기록된 타임 스탬프 및 가장 최근에 수신한 RTP 패킷의 수신 시각과 송신 RTP 패킷의 송신 시각 간의 시간차의 세 가지 정보를 삽입하여 전송하면, VoLTE 클라이언트는 이 세 가지 정보를 보고 왕복지연 시간을 계산할 수 있다.
네트워크에 세션 보더 컨트롤러가 존재하지 않으면, 음성 패킷이 지나가는 다른 장비(예를 들면, P-CSCF등)를 이용하여 동적 측정 정보를 수집할 수 있다. 일실시예에 따르면, 업 스트림 측정 정보는 세션 보더 컨트롤러가 수집하고, 다운 스트림 측정 정보는 VoLTE 클라이언트 장치가 수집할 수 있다. 품질 분석 서버는 VoLTE 클라이언트로부터 수집한 품질 측정 정보를 수신할 수 있다. 이를 통해 품질 확인을 위한 별도 단계 및 추가 패킷이 없이 VoLTE 통화 중 실시간으로 품질 확인이 가능하다는 효과가 있다. RTP Header(1110)의 Timestamp(1111)는 보내는 시간이 아닌, 재생되어야 할 시간을 나타내는 값으로 동적 측정 정보를 측정하는 용도로는 사용할 수 없다.
일실시예에 따르면, 패킷 지연의 측정을 위해 국제 규격으로 정해져 있는 RTP extension(1112)을 이용해 타임 스탬프(time stamp) 정보를 추가할 수 있다. 일실시예에 따르면, RTP Extension(1112)은 길이를 표시하는 방법에 대한 규격만 있을 뿐 종류는 정의되어 있지 않기 때문에 사용 용도에 맞춰 정의할 수 있다. RTP extension이 국제 규격이기는 하지만 이를 이상 패킷으로 인지하는 레거시 피어(legacy peer)를 위해 세션 보더 컨트롤러는 RTP extension(1112)을 제거하거나(예를 들면, 측정 대상 단말에서 피어로 가는 RTP 패킷), 추가하는(피어에서 측정 대상 단말로 가는 RTP 패킷) 역할과 품질 측정 자료를 수집하는 역할을 수행할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

Claims (28)

  1. VoLTE의 서비스 품질 측정 방법에 있어서,
    통신 장치로부터 오류 이벤트가 발생한 VoLTE 클라이언트에 관한 정보를 수신하는 단계;
    상기 VoLTE 클라이언트에게 품질 정보의 요청을 송신하는 단계; 및
    상기 VoLTE 클라이언트로부터, 상기 품질 정보의 요청을 수신하기 전에 미리 수집된 VoLTE 클라이언트의 정적 정보 및 동적 상태 정보를 수신하는 단계를 포함하는 VoLTE의 서비스 품질 측정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 VoLTE 클라이언트로부터 VoLTE 클라이언트의 동적 상태 정보를 수신하는 단계는,
    상기 품질 정보 요청의 수신 후에 상기 VoLTE 클라이언트에서 수집된 동적 상태 정보를 상기 VoLTE 클라이언트로부터 수신하는 단계
    를 포함하는 VoLTE의 서비스 품질 측정 방법.
  4. 제1항에 있어서,
    PCRF 서버에 QCI 제어 명령을 송신하여 채널을 할당 받는 단계;
    상기 할당된 채널을 이용하여 상기 VoLTE 클라이언트에 테스트 패킷을 송신하는 단계; 및
    상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계
    를 더 포함하는 VoLTE의 서비스 품질 측정 방법.
  5. 제1항에 있어서,
    상기 통신 장치로부터 오류 이벤트가 발생한 VoLTE 클라이언트에 관한 정보를 수신하는 단계는,
    상기 통신 장치로부터 CSFB 또는 비정상 호 종료와 관련된 VoLTE 클라이언트의 전화번호를 수신하는 단계
    를 포함하는 VoLTE의 서비스 품질 측정 방법.
  6. 제4항에 있어서,
    상기 통신 장치로부터 오류 이벤트가 발생한 VoLTE 클라이언트에 관한 정보를 수신하는 단계는,
    고객 관리 서버(customer care server)로부터 상기 VoLTE 클라이언트의 전화번호를 수신하는 단계
    를 포함하는 VoLTE의 서비스 품질 측정 방법.
  7. 제6항에 있어서,
    상기 정적 정보, 상기 동적 상태 정보 및 상기 동적 측정 정보 중 적어도 하나를 처리하여 생성된 리포트를 상기 고객 관리 서버로 송신하는 단계
    를 더 포함하는 VoLTE의 서비스 품질 측정 방법.
  8. 제1항에 있어서,
    상기 VoLTE 클라이언트의 정적 정보는,
    상기 VoLTE 클라이언트가 설치된 단말의 모델명;
    상기 VoLTE 클라이언트가 설치된 단말의 커널 버전;
    상기 VoLTE 클라이언트가 설치된 단말의 OS 버전; 및
    상기 VoLTE 클라이언트의 버전
    중 적어도 하나를 포함하는 VoLTE의 서비스 품질 측정 방법.
  9. 제1항에 있어서,
    상기 VoLTE 클라이언트에서 수집된 동적 상태 정보는,
    상기 VoLTE 클라이언트가 속한 LTE 셀의 정보,
    상기 VoLTE 클라이언트가 설치된 단말의 위치 정보,
    상기 VoLTE 클라이언트가 수신하는 LTE 신호의 세기, 및
    상기 VoLTE 클라이언트가 설치된 단말에 설치된 적어도 하나의 다른 어플리케이션의 정보
    중 적어도 하나를 포함하는 VoLTE의 서비스 품질 측정 방법.
  10. 제4항에 있어서,
    상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계는,
    상기 VoLTE 클라이언트가 수신한 상기 테스트 패킷으로부터 상기 VoLTE 클라이언트 측에서 수집된 제1 동적 측정 정보를 상기 VoLTE 클라이언트로부터 수신하는 단계;
    상기 할당된 채널을 통하여 상기 VoLTE 클라이언트로부터 수신한 테스트 패킷으로부터 제2 동적 측정 정보를 측정하는 단계; 및
    상기 제1 동적 측정 정보 및 상기 제2 동적 측정 정보를 이용하여 상기 동적 측정 정보를 수집하는 단계
    를 포함하는 VoLTE의 서비스 품질 측정 방법.
  11. 제4항에 있어서,
    상기 동적 측정 정보는,
    상기 VoLTE 클라이언트 및 품질 분석 서버 간의 네트워크 왕복 지연 시간;
    상기 VoLTE 클라이언트 및 상기 품질 분석 서버 간 통신의 지터(jitter);
    상기 VoLTE 클라이언트 및 상기 품질 분석 서버 간의 송수신 패킷 수;
    상기 VoLTE 클라이언트 및 상기 품질 분석 서버 간의 수신 누락 패킷 수;
    상기 VoLTE 클라이언트 및 상기 품질 분석 서버 간의 연속 수신 누락 패킷 수;
    상기 VoLTE 클라이언트 및 상기 품질 분석 서버 간의 재배열 수신 패킷 수;
    MOS(Mean Opinion Score), 및
    R-Factor
    중 적어도 하나를 포함하는 VoLTE의 서비스 품질 측정 방법.
  12. 제4항에 있어서,
    상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계는,
    상기 할당된 채널을 통해 타임 스탬프를 포함하는 상기 테스트 패킷을 전송하는 단계;
    상기 VoLTE 클라이언트로부터, 상기 VoLTE 클라이언트가 상기 테스트 패킷을 수신한 시간과 응답한 시간을 포함하는 응답 패킷을 수신하는 단계; 및
    상기 테스트 패킷 및 상기 응답 패킷을 이용하여 상기 동적 측정 정보를 수집하는 단계
    를 포함하는 VoLTE의 서비스 품질 측정 방법.
  13. 제4항에 있어서,
    상기 정적 정보, 상기 동적 상태 정보 및 상기 동적 측정 정보를 분석하는 단계
    를 더 포함하는 VoLTE의 서비스 품질 측정 방법.
  14. 제13항에 있어서,
    상기 정적 정보, 상기 동적 상태 정보 및 상기 동적 측정 정보를 분석하는 단계는,
    VoLTE 서비스 품질에 이상이 있는 상기 정적 정보, 상기 동적 상태 정보 및 상기 동적 측정 정보 중 적어도 하나의 조합이 미리 정해진 조건을 만족하는 경우 상기 조합을 리포팅 하는 단계
    를 더 포함하는 VoLTE의 서비스 품질 측정 방법.
  15. VoLTE 클라이언트에서 VoLTE의 서비스 품질을 측정하는 방법에 있어서,
    상기 VoLTE 클라이언트에서 호(call)를 수행하는 동안 동적 상태 정보를 수집하는 단계;
    CSFB 또는 비정상 호 종료가 발생하는 경우, 상기 VoLTE 클라이언트의 정적 정보 및 상기 동적 상태 정보를 품질 분석 서버로 송신하는 단계
    상기 품질 분석 서버의 요청에 의하여 할당된 채널을 이용하여 상기 품질 분석 서버와 테스트 패킷을 송수신하는 단계;
    상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계; 및
    상기 수집된 동적 측정 정보를 상기 품질 분석 서버로 송신하는 단계
    를 포함하는 VoLTE의 서비스 품질 측정 방법.
  16. 삭제
  17. VoLTE 클라이언트에서 VoLTE의 서비스 품질을 측정하는 방법에 있어서,
    상기 VoLTE 클라이언트에서 호(call)를 수행하는 동안 동적 상태 정보 및 동적 측정 정보를 수집하는 단계; 및
    상기 VoLTE 클라이언트의 상기 동적 상태 정보 및 상기 동적 측정 정보를 품질 분석 서버로 송신하는 단계
    를 포함하고,
    상기 VoLTE 클라이언트에서 호(call)를 수행하는 동안 동적 측정 정보를 수집하는 단계는,
    상기 VoLTE 클라이언트가 SBC 서버와 주고 받는 RTP 패킷의 RTP Extension 필드에 상기 동적 측정 정보의 측정을 위한 타임 스탬프를 포함하여 송수신 하는 단계
    를 포함하는 VoLTE의 서비스 품질 측정 방법.
  18. 삭제
  19. 제17항에 있어서,
    상기 VoLTE 클라이언트에서 호(call)를 수행하는 동안 동적 측정 정보를 수집하는 단계는,
    상기 SBC 서버에 의하여 상기 호와 관련된 제1 RTP 패킷의 RTP Extension 필드에 제1 타임 스탬프가 삽입된 상기 제1 RTP 패킷을 수신하고,
    상기 호와 관련된 제2 RTP 패킷의 RTP Extension 필드에 제2 타임 스탬프를 삽입하여 상기 SBC 서버로 송신함으로써 상기 동적 측정 정보를 수집하는 단계
    를 포함하는 VoLTE의 서비스 품질 측정 방법.
  20. 품질 보증 클라이언트에서 사용자 단말의 VoLTE 서비스 품질을 측정하는 방법에 있어서,
    상기 사용자 단말의 운영체제로부터 VoLTE 호의 진행 알림을 수신하는 단계;
    상기 VoLTE 호에 대한 동적 상태 정보를 수집하는 단계;
    CSFB 또는 비정상 호 종료가 발생하는 경우, 상기 사용자 단말의 정적 정보 및 상기 수집한 동적 상태 정보를 품질 분석 서버로 송신하는 단계;
    상기 품질 분석 서버의 요청에 의하여 할당된 채널을 이용하여 상기 품질 분석 서버와 테스트 패킷을 교환하는 단계;
    상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 단계; 및
    상기 수집된 동적 측정 정보를 상기 품질 분석 서버로 송신하는 단계
    를 포함하는 품질 보증 클라이언트에서 VoLTE 서비스의 품질을 측정하는 방법.
  21. 삭제
  22. 삭제
  23. VoLTE의 서비스 품질을 분석하는 서버에 있어서,
    통신 장치로부터 오류 이벤트가 발생한 VoLTE 클라이언트에 관한 정보를 수신하는 클라이언트 정보 수신부;
    상기 VoLTE 클라이언트에게 품질 정보 요청을 송신하는 제어부; 및
    상기 VoLTE 클라이언트로부터, 상기 품질 정보의 요청을 수신하기 전에 미리 수집된 VoLTE 클라이언트의 정적 정보 및 동적 상태 정보를 수신하는 정보 수집부
    를 포함하는 VoLTE의 서비스 품질 분석 서버.
  24. 제23항에 있어서,
    상기 제어부는
    PCRF 서버에 QCI 제어 명령을 송신하여 채널을 할당 받고,
    상기 정보 수집부는,
    상기 할당된 채널을 이용하여 상기 VoLTE 클라이언트에 테스트 패킷을 송신하고,
    상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 것
    을 특징으로 하는 VoLTE의 서비스 품질 분석 서버.
  25. 제23항에 있어서,
    상기 클라이언트 정보 수신부는,
    상기 통신 장치로부터 CSFB 또는 비정상 호 종료와 관련된 VoLTE 클라이언트의 전화번호를 수신하는 것
    을 특징으로 하는 VoLTE의 서비스 품질 분석 서버.
  26. 제23항에 있어서,
    상기 클라이언트 정보 수신부는,
    고객 관리 서버(customer care server)로부터 상기 VoLTE 클라이언트의 전화번호를 수신하는 것
    을 특징으로 하는 VoLTE의 서비스 품질 분석 서버.
  27. 제24항에 있어서,
    상기 정보 수집부는,
    상기 VoLTE 클라이언트가 수신한 상기 테스트 패킷으로부터 상기 VoLTE 클라이언트 측에서 수집된 제1 동적 측정 정보를 상기 VoLTE 클라이언트로부터 수신하고,
    상기 할당된 채널을 통하여 상기 VoLTE 클라이언트로부터 수신한 테스트 패킷으로부터 제2 동적 측정 정보를 측정하고,
    상기 제1 동적 측정 정보 및 상기 제2 동적 측정 정보를 이용하여 상기 동적 측정 정보를 수집하는 것
    을 특징으로 하는 VoLTE의 서비스 품질 분석 서버.
  28. VoLTE의 서비스 품질을 측정하는 VoLTE 클라이언트 장치에 있어서,
    호(call)를 수행하는 동안 동적 상태 정보를 수집하는 동적 상태 정보 수집부;
    CSFB 또는 비정상 호 종료가 발생하는 경우, 품질 분석 서버의 요청에 의하여 할당된 채널을 이용하여 상기 품질 분석 서버와 테스트 패킷을 송수신하는 테스트부;
    상기 테스트 패킷을 이용하여 동적 측정 정보를 수집하는 동적 측정 정보 수집부; 및
    상기 VoLTE 클라이언트 장치의 정적 정보, 상기 동적 상태 정보 및 상기 동적 측정 정보를 상기 품질 분석 서버로 송신하는 송신부
    를 포함하는 VoLTE 클라이언트 장치.
KR1020140056446A 2014-05-12 2014-05-12 단말 에이전트를 활용한 VoLTE 품질 측정 시스템 및 VoLTE 품질 측정 방법 KR101608582B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140056446A KR101608582B1 (ko) 2014-05-12 2014-05-12 단말 에이전트를 활용한 VoLTE 품질 측정 시스템 및 VoLTE 품질 측정 방법
PCT/KR2015/002525 WO2015174628A1 (ko) 2014-05-12 2015-03-16 단말 에이전트를 활용한 volte 품질 측정 시스템 및 volte 품질 측정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140056446A KR101608582B1 (ko) 2014-05-12 2014-05-12 단말 에이전트를 활용한 VoLTE 품질 측정 시스템 및 VoLTE 품질 측정 방법

Publications (2)

Publication Number Publication Date
KR20150129457A KR20150129457A (ko) 2015-11-20
KR101608582B1 true KR101608582B1 (ko) 2016-04-01

Family

ID=54480137

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140056446A KR101608582B1 (ko) 2014-05-12 2014-05-12 단말 에이전트를 활용한 VoLTE 품질 측정 시스템 및 VoLTE 품질 측정 방법

Country Status (2)

Country Link
KR (1) KR101608582B1 (ko)
WO (1) WO2015174628A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11246047B2 (en) 2018-11-12 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10880765B2 (en) * 2014-12-29 2020-12-29 Telecom Italia S.P.A. Performance monitoring of a mobile communication system
KR101878664B1 (ko) 2016-12-07 2018-08-17 한국철도기술연구원 패킷 기반 그룹 통신 시스템의 서비스 품질 측정 장치 및 방법
CN107818798B (zh) * 2017-10-20 2020-08-18 百度在线网络技术(北京)有限公司 客服服务质量评价方法、装置、设备及存储介质
CN111818551B (zh) * 2019-04-12 2022-07-01 中国移动通信集团福建有限公司 Volte掉话原因确定方法及装置
CN115208957A (zh) * 2022-06-22 2022-10-18 北京旋极信息技术股份有限公司 一种通讯方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101290155B1 (ko) * 2007-06-25 2013-07-26 에스케이텔레콤 주식회사 무선망 품질 측정 방법 및 시스템
KR20120139302A (ko) * 2011-06-17 2012-12-27 주식회사 케이티 패킷전달방식을 이용한 VoIP 품질 측정 시스템 및 그 방법
KR20130099671A (ko) * 2012-02-29 2013-09-06 주식회사 엘지유플러스 네트워크 품질을 진단하는 단말기 및 단말에서의 네트워크 품질 진단 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3GPP RP-140143*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11246047B2 (en) 2018-11-12 2022-02-08 Samsung Electronics Co., Ltd. Electronic device and control method thereof

Also Published As

Publication number Publication date
WO2015174628A1 (ko) 2015-11-19
KR20150129457A (ko) 2015-11-20

Similar Documents

Publication Publication Date Title
KR101608582B1 (ko) 단말 에이전트를 활용한 VoLTE 품질 측정 시스템 및 VoLTE 품질 측정 방법
US12096243B2 (en) Configuration for minimization of drive test in wireless communications
US10237144B2 (en) Quality of user experience analysis
US8665733B2 (en) Method and apparatus for round trip delay KPI monitoring in live network using user plane probe session
US20170149626A1 (en) Remote driving of mobile device diagnostic applications
US20160065419A1 (en) Method and apparatus for generating insight into the customer experience of web based applications
EP3342146B1 (en) Detailed call records for voice over lte calls
EP2636263B1 (en) Transmitter assisted quality of service measurement
US9936431B2 (en) Performance monitoring of wireless local area network (WLAN) offloading in wireless cellular networks
US10015688B2 (en) Technique for monitoring data traffic
EP3449596B1 (en) Technique for handling service level related performance data for roaming user terminals
EP3304818A1 (en) Quality of user experience analysis using echo locate
US9635569B2 (en) Method and apparatus for measuring end-to-end service level agreement in service provider network
EP2211521A1 (en) Method and device for implementing test
EP3398368A1 (en) Contextual quality of user experience analysis using equipment dynamics
US20130051252A1 (en) Methods, systems, and computer program products for monitoring network performance
CN103702348A (zh) 一种家庭基站下网络质量的检测方法及装置
CN116235528A (zh) 用于无线接入网络的体验质量测量
US9667445B2 (en) Signaling plane delay KPI monitoring in live network
US8964576B2 (en) System and method of reporting in-service performance statistics in layered networks
KR102187251B1 (ko) 서비스제공 네트워크에서 종단간 서비스품질수준 측정 방법 및 장치
EP3449661B1 (en) Method and apparatus for generating voice call quality information in wireless communication system
WO2024180365A1 (en) Uplink signal power in analytics
Balciunas et al. Development of the Tool for Evaluation of Quality of Mobile Data Services

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190211

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 5