KR20090090624A - 컨버전스 환경에서의 부하테스트 방법 및 그 시스템 - Google Patents

컨버전스 환경에서의 부하테스트 방법 및 그 시스템 Download PDF

Info

Publication number
KR20090090624A
KR20090090624A KR1020080015954A KR20080015954A KR20090090624A KR 20090090624 A KR20090090624 A KR 20090090624A KR 1020080015954 A KR1020080015954 A KR 1020080015954A KR 20080015954 A KR20080015954 A KR 20080015954A KR 20090090624 A KR20090090624 A KR 20090090624A
Authority
KR
South Korea
Prior art keywords
module
load
test
log
environment
Prior art date
Application number
KR1020080015954A
Other languages
English (en)
Inventor
정창진
김환규
송진홍
정진호
정상권
서인철
Original Assignee
(주)엔 소프트
정창진
정진호
김환규
송진홍
서인철
정상권
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엔 소프트, 정창진, 정진호, 김환규, 송진홍, 서인철, 정상권 filed Critical (주)엔 소프트
Priority to KR1020080015954A priority Critical patent/KR20090090624A/ko
Publication of KR20090090624A publication Critical patent/KR20090090624A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/50Testing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

본 발명은 유무선의 복합환경인 컨버전스 환경에서 목적하는 서비스에 대한 실제 환경과 가장 유사한 부하를 주는 방법 및 시뮬레이션 시스템에 관한 것이다.
유무선의 복합 환경인 컨버전스 상황에서 동작되는 모든 가능한 서비스를 가정하여, 클라이언트와 서버간의 유, 무선 네트워크 상에서 발생되는 패킷을 수집 분석하고, 실제 전송되는 패킷을 기준으로 망 환경 별/ 단말 별/ 데이터 사이즈 별/ 주기 별/ 커맨드 별로 상하향 레이턴시, 재전송여부, 패킷 손실여부, 성공여부 등을 파일시스템이나 데이터베이스 등의 형태로 저장 장치에 쌓아 놓는다.
이 데이터를 모집단으로 하여 평균값과 표준편차 분산을 상기 단말 별/ 데이터 사이즈 별/ 주기 별/ 커맨드 별로 상하향 레이턴시, 재전송여부, 패킷 손실여부, 성공여부 등을 분석한 뒤에 파일 시스템이나 데이터베이스에 다시 저장하고, 이후에 실제 부하 테스트를 수행시에 부하를 생성시키는 모듈(Agent)마다 무선 혹은 유선의 특정 환경에 대한 비율별로 상기 상하향 레이턴시, 재전송여부, 패킷 손실 여부, 성공여부 등을 실제 발생 확률과 유사하도록 표준과 표준 편차를 기반으로 발생시켜 실제 컨버전스 환경과 가장 유사하게 목적하는 서비스에 대한 원하는 만큼의 부하를 주는 방법 및 그 시스템에 관한 것이다.
부하테스트, 부하, 컨버전스, 레이턴시, 컨버전스 환경

Description

컨버전스 환경에서의 부하테스트 방법 및 그 시스템{Stress Test Method and System under Convergence Network Environment}
본 발명은 부하 테스트 응용 프로그램이 유선과 무선이 혼재된 컨버전스 네트워크 환경을 실제 환경과 가장 유사하게 구성하는 방법 및 그 시스템에 관한 것이다.
도 1은 종래의 부하 테스트 응용 프로그램이 부하 테스트를 위해서 환경을 구성하는 방법에 관한 도면이다. 기존의 부하 테스트는 서버의 성능을 체크하기 위해서 별도의 네트워크 환경을 구성하지 않고, 한 개 이상의 부하 생성기를 통해서 직접 서버에 부하를 주는 방식으로 테스트를 진행한다. 실제적으로 부하를 주는 네트워크 상의 패킷이 얼마나 실제와 같은 패킷을 보내느냐에 중점을 둔 것이 현재의 부하 테스트 솔루션의 기능이라고 간단하게 판단할 수 있다.
도 4는 본 발명의 유무선 복합 환경에서의 부하테스트 방법에 관한 도면이다. 도 3과는 달리, 중계기와 IP 네트워크 전환 장치 해당 모듈을 설치 할 수 없을 경우에 부하 테스트 방법에 대한 도면이며, 무선 환경을 고려하지 않은 서비스에도 적용할 수 있다는 장점이 있다. 유선 환경은 무선환경에 비해서 중계기를 통하지 않기 때문에 레이턴시가 좋은 편이다. 물론 모뎀 유저는 무선 환경 보다 더 큰 레이턴시를 가질 수 있기 때문에 무선 환경 보다 더 좋지 않은 게임 환경을 가질 수 있다. 도 12에 표현된 부하 생성자의 일부가 종래의 기술에서 시도되고 있으나, 본 발명에서 구현하고자 하는 상기 도 12의 상기 부하 생성자는 기본적으로 단말과 망의 조합을 모두 반영하는 구조이며, 이 부하 생성자의 부하 발생 이론이 기본적으로 서비스 로그나 기존 부하 테스트 로그에 의해서 자동 생성되고 관리된다는 통합적인 개념이어서 종래 기술과는 기본적인 개념부터 다르다.
도 2는 본 발명이 구현하고자 하는 컨버전스 환경에서의 부하 테스트 방법 및 그 시스템에 관한 도면이다. 현실에는 다양한 네트워크 환경이 존재하는데, 유선만 해도 모뎀은 현재의 무선 환경만큼 속도가 느리며, 근래에는 초고속 인터넷이 한국 뿐만 아니라 전세계적으로 퍼져 있어서 다양한 네트워크 게임이 전세계인을 대상으로 서비스하고 있다. 또한 최근에는 휴대폰이나 휴대 인터넷(예: WiBro, HSDPA)이 상용화되고 다양한 휴대용 단말에서 다양한 네트워크 서비스가 가능해져서 점차 유무선이 혼재한 컨버전스 서비스가 늘어나고 있다. 따라서 진화된 망이 나타나 기존 부하 테스트 환경이 달라지는 것과 더불어 진화된 망의 출현에 따라 기존 망의 사용률이 낮아지는 현상을 실제 서비스 로그에서 자동 추출되어 부하 환경에 반영할 수 있으며, 미래의 환경을 예상해서 가상 시뮬레이션을 돌릴 때에도 기존 환경을 약간만 수정해서 반영할 수 있기 때문에 상당히 유용하고 지속적으로 쓸 수 있는 방법론이라고 볼 수 있다.
본 발명은 유무선 네트워크 상에서 발생하는 지연요소와 실패율, 재전송율, 성공률 등의 다양한 지표를 단말과 부하 테스트 대상 서버 및 실 서비스 서버 등에서 로그화 해서 입수하고 이를 망 환경별, 단말별, 데이터 사이즈 별, 주기별, 커맨드 별로 상하향 레이턴시, 패킷 손실율, 재전송율, 성공율 등을 계산하여 평균과 표준 편차를 계산하고 저장하여 실제 부하 생성자 별로 망과 단말의 조합과 전체 점유율을 기반으로 해서 실제 환경과 가장 유사하게 유무선 복합 환경의 부하를 생성하는 방법 및 시스템에 관한 것이다.
또한, 유무선 네트워크 상에서 발생하는 지연요소와 실패율, 재전송율, 성공률 등의 다양한 지표를 단말과 중계기, IP 네트워크 전환 장치, 부하 테스트 대상 서버 및 실 서비스 서버 등에서 로그화 해서 입수하고 이를 망 환경별, 단말별, 데이터 사이즈 별, 주기별, 커맨드 별로 상하향 레이턴시, 패킷 손실율, 재전송율, 성공율 등을 계산하여 평균과 표준 편차를 계산하고 저장하여 실제 부하 생성자 별로 망과 단말의 조합과 전체 점유율을 기반으로 해서 실제 환경과 가장 유사하게 유무선 복합 환경의 부하를 생성하는 방법 및 시스템에 관한 것이다.
본 발명이 이루고자 하는 기술적 과제를 세부적으로 제시하면 다음과 같다.
본 발명이 이루고자 하는 첫번째 기술적 과제는, 사용자의 단말에 설치되어 가동되는 테스트 모듈(100)이다. 여기서 사용자의 단말은 컴퓨터 및 핸드폰, mp3, PMP, PDA, 게임기 등 네트워크 연결이 가능하여 네트워크 기반의 응용 프로그램이 동작 가능한 모든 단말을 의미한다. 상기 테스트 모듈(100)은 특정한 네트워크 패킷을 특정한 네트워크 서비스 서버에 연결하여 발생시킨다. 이러한 발생 구조는 종래의 부하 테스트 기술과 같다고 보면 되나, 다른 점은 상기 테스트 모듈(100)이 로그를 남기고 적절한 주기로 테스트 결과 입수 장비(50) 에 로그를 전송하거나 상기 테스트 결과 입수 장비(50)의 요청에 의해서 로그를 전송할 수 있도록 구성된다. 이때 각각의 상기 테스트 모듈(100)은 망과 단말의 조합에 상응하는 고유 번호를 통해 인식할 수 있다.
본 발명이 이루고자 하는 두번째 기술적 과제는 도 6의 무선 중계기(20)의 중계 모듈(200)에서 특정 단말의 처리 로그를 상기 테스트 결과 입수 장비(50)에 전송하는 것이다. 상기 두번째 기술적 과제는 상기 무선 중계기(20)에 상기 중계 모듈(200)의 설치가 여의치 않을 경우에도 본 발명이 목적하는 부하 테스트 환경 구성에 영향은 없다. 단지 부하 발생시에 특정 문제 발생시 원인 규명을 할 때, 어느 지점에서 발생했는지를 파악할 때에 정확한 지점을 찾기가 너무 방대해서 어려울 수 있다.
본 발명이 이루고자 하는 세번째 기술적 과제는 도 7의 IP 네트워크 전환 장치(30)의 전환 모듈(300)에서 특정 단말의 처리 로그를 상기 테스트 결과 입수 장비에 전송하는 것이다. 상기 세번째 기술적 과제는 상기 IP네트워크 전환 장치(30)에 상기 전환 모듈(300)의 설치가 여의치 않을 경우에는 없어도 본 발명이 목적하 는 부하 테스트 환경 구성에 영향은 없다. 단지 부하 발생시에 특정 문제 발생시 원인 규명을 할 때, 어느 지점에서 발생했는지를 파악할 때에 정확한 지점을 찾기가 너무 방대해서 어려울 수 있다.
본 발명이 이루고자 하는 네번째 기술적 과제는 도 8의 부하 테스트 대상 서버(40)의 부하 로그 모듈(400)이다. 상기 부하 테스트 대상 서버(40)는 실 서비스와 별도로 구성되는 것이 합리적이다. 실제로 많은 상용서비스가 테스트 장비를 보유하고 있기 때문에 이는 문제가 되지 않을 것이다. 상기 부하 로그 모듈(400)은 상기 테스트 모듈(100)에서 오는 부하를 처리하고 로그로 남기고 상기 테스트 결과 입수 장비(50)에 전송한다. 상기 부하 테스트 대상 서버(40)의 상기 부하 로그 모듈(400)은 실 서비스 서버에 설치될 부하 로그 모듈과 같은 모듈이므로, 상기 부하 테스트 대상 서버(40)는 상기 실 서비스 서버와 같이 보면 된다.
본 발명이 이루고자 하는 다섯번째 기술적 과제는 도 9의 상기 부하 테스트 입수 장비(50)에 설치되는 테스트 결과 입수 모듈(500)이다. 상기 테스트 결과 입수 모듈(500)은 크게 로그 입수부(510)와 로그 저장부(550)로 나뉜다. 상기 로그 입수부(510)는 상기 테스트 모듈(100), 상기 중계 모듈(200), 상기 전환 모듈(300), 그리고 상기 부하 로그 모듈(400)에서 전송한 모든 가능한 부하 로그를 입수하는 것이다. 상기 로그 저장부(550)은 입수한 로그를 데이터베이스나 파일시스템 등 저장에 용이한 방식으로 저장함을 의미한다.
본 발명이 이루고자 하는 여섯번째 기술적 과제는 도 10의 테스트 결과 분석 모듈(600)이다. 상기 테스트 결과 분석 모듈(600)은 크게 테스트 결과 분석부(610) 와 분석 결과 저장부(650)로 나누어 진다. 상기 테스트 결과 분석부(610)는 상기 로그 저장부(550)에서 저장한 로그를 읽어서 망 환경별, 단말별, 데이터 사이즈 별, 주기별, 커맨드 별로 상하향 레이턴시, 패킷 손실율, 재전송율, 성공율 등을 계산하여 평균과 표준 편차를 계산한다. 그리고 상기 분석 결과 저장부(650)는 향후 분석 정보를 조회하는 모듈이 조회를 하기 좋은 방식으로 쌓아 놓는 역할을 한다.
본 발명이 이루고자 하는 일곱번째 기술적 과제는 도 11의 분석결과 제공 장비(70)에서 동작하는 분석 결과 제공 모듈(700)이다. 상기 분석 결과 제공 모듈(700)은 크게 분석 결과 조회부(710)와 분석 결과 제공부(750)으로 나뉜다. 분석 결과 조회부(710)는 상기 분석 결과 저장부(650)가 저장한 분석 결과를 조회하여 가지고 오는 부분이다. 상기 분석 결과 제공부(750)는 조회한 분석 결과를 부하 생성자가 사용할 수 있도록 프로토콜 등의 변환을 하여 전달하는 부분이다.
본 발명이 이루고자 하는 여덟번째 기술적 과제는 도 12의 부하 생성 관리 서버(80)에서 동작하는 부하 생성 관리 모듈(800)이다. 상기 부하 생성 관리 모듈(800)은 크게 망 단말 환경 구성부(810)과 망 단말 환경 전송부(850)로 나누어 진다. 상기 망 단말 환경 구성부(810)는 부하 테스트를 담당하는 담당자가 해당 서비스의 망환경 및 단말 환경의 조합을 불러오고 일부 추가, 수정, 삭제를 통해서 변경하고 저장하여 최종적인 망 단말 환경에 대한 정보를 버전 별로 관리할 수 있는 부분이다. 또한 상기 망 단말 환경 전송부(850)은 상기 최종적인 망 단말 환경에 대한 정보를 다수의 실제 부하 생성자(90)로 전송하는 기능이다.
본 발명이 이루고자 하는 아홉번째 기술적 과제는 도 13의 부하 생성자(90)에서 동작하는 부하 생성 모듈(900)이다. 상기 부하 생성 모듈(900)은 망 단말 환경 입수부(910)와 부하 생성부(950)이다. 상기 망 단말 환경 입수부(910)는 상기 망 단말 환경 전송부(850)로부터 받은 망 단말 환경 정보를 기반으로 상기 분석 결과 제공 모듈(700)을 통해 자세한 망 환경 정보를 조회하여 망 단말에 대한 환경을 입수하는 기능이다. 또한 상기 부하 생성부(950)는 자세한 망 단말에 대한 정보인 레이턴시, 패킷 손실율, 재전송율, 그리고 성공율에 대한 평균과 표준 편차를 기반으로 해서 실제와 최대한 유사한 확률로 부하를 발생시키는 기능이다.
본 발명을 실시함으로써, 다음과 같은 효과를 거둘 수 있을 것이다.
실제로 유선과 무선의 망환경은 진화되고 있으며, 무선에 대한 서비스의 증가로 인하여 컨버전스 환경은 점점 복잡 다양화되고 있다. 이에 주기적으로 수동 혹은 자동으로 데이터를 분석하고 그 때 그때의 상황에 맞추어 적절하게 부하 환경을 현실적으로 변경시키거나 기존에 셋팅된 값을 이용해서 테스트를 할 수 있도록 하는 방법론을 통해서 미래에 발생할 수 있는 치명적인 장애를 미연에 방지하고 서비스의 품질을 높일 수 있을 것이다.
첫째, 서비스의 품질의 강화
둘째, 서비스의 경쟁력 강화
셋째, 고객의 만족도 증가
넷째, 서비스의 매출 증대에 기여할 수 있을 것이다.
본 발명이 이루고자 하는 기술적 과제를 달성하기 위하여, 사용자의 단말에 설치되어 가동되는 테스트 단계, 무선 중계기에서의 중계 로그를 취합하는 단계, IP 네트워크 전환 장비에서의 전환 로그 취합 단계, 부하 테스트 대상 서버에서의 부하 로그의 취합 단계, 취합된 로그를 적절하게 저장하는 단계, 저장된 로그를 분석하는 단계, 망 단말 환경을 서비스 별로 구성하는 단계, 망 단말 환경 구성 정보를 부하 생성자에게 넘겨 주는 단계, 상기 부하 생성자가 망 단말 환경 구성 정보를 기반으로 망 단말 환경 정보를 요청하는 단계, 망 단말 환경에 대한 분석 결과를 제공해 주는 단계, 다시 상기 부하 생성자가 입수된 망 단말 환경 정보를 기반으로 부하를 생성하는 단계를 구현하는 방법을 제시한다. 단, 무선 중계기와 IP 네트워크 전환장치는 무선에만 존재하는 독특한 구성요소이며, 무선에서도 선택적으로 구성될 수 있다. 이 부분은 무선 인프라의 핵심적인 요소여서 본 시스템을 위한 별도의 테스트 구성을 제작하는 데에 많은 비용이 발생할 수 있으며, 해당 단계의 추가는 특정 단말에서 문제가 발생시에 원인을 규명할 때 보다 자세하게 원인 요소를 찾아내기 위한 부수적인 정보들을 생성해 낸다. 예를 들어 갑자기 특정 단말이 특정 망에서 레이턴시가 늘었을 때, 상향이나 하향에서 문제가 발생했는지, 단말과 중계기의 사이에서 문제가 발생했는지 등을 정확하게 알아 낼 수 있기 때문이다.
이하 도면을 참조하면서 더욱 상세하게 설명한다.
도 3는 본 발명의 대표도이다. 테스트 단말(10)상에서 동작하는 테스트 모 듈(100)에서 테스트 패킷을 발생시키면, 중계기(20)상에서 중계 모듈(200)이 로그를 남기며, 이어서 IP 네트워크 전환 장치(30)상의 전환 모듈(300)이 전환 로그를 남기며, 부하 테스트 대상 서버(40) 상의 부하 로그 모듈(400)이 부하 로그를 남기며, 테스트 결과 입수 장비(50) 상의 테스트 결과 입수 모듈(500)이 상기 테스트 모듈(100), 중계 모듈(200), 전환 모듈(300) 그리고 부하 로그 모듈(400)이 남긴 로그를 입수하여 취합 저장하며, 테스트 결과 분석 장비(60)의 테스트 결과 분석 모듈(600)이 테스트 결과를 분석하여 저장하고, 사용자가 부하 생성 관리 서버(90) 상의 부하 생성 관리 모듈(900)에 접속하여 부하 생성에 대한 망 단말 구성 정보를 입력하고 부하 생성을 지시하면, 부하 생성자(80) 상의 부하 생성 모듈(800)이 상기 망 단말 구성 정보를 기반으로 하여 분석 결과 제공 장비(70)의 분석 결과 제공 모듈(700)을 통해 자세한 망 단말의 속성값을 가져와 실제와 근사한 확률로 부하를 발생시킨다. 도 3을 기반으로 해서 시스템 구성의 예를 정리하는 것이 도 2이다.
도 5는 상기 테스트 단말(10)에 설치되어 가동되는 상기 테스트 모듈(100)이다. 여기서 사용자의 단말은 컴퓨터 및 핸드폰, mp3, PMP, PDA, 게임기 등 네트워크 연결이 가능하여 네트워크 기반의 응용 프로그램이 동작 가능한 모든 단말을 의미한다. 상기 테스트 모듈(100)은 특정한 네트워크 패킷을 특정한 네트워크 서비스 서버에 연결하여 발생시킨다. 이러한 발생 구조는 종래의 부하 테스트 기술과 같다고 보면 되나, 다른 점은 상기 테스트 모듈(100)이 로그를 남기고 적절한 주기로 테스트 결과 입수 장비(50) 에 로그를 전송하거나 상기 테스트 결과 입수 장비(50)의 요청에 의해서 로그를 전송할 수 있도록 구성된다. 이때 각각의 상기 테스트 모 듈(100)은 망과 단말의 조합에 상응하는 고유 번호를 통해 인식할 수 있다.
도 6은 상기 무선 중계기(20)의 상기 중계 모듈(200)에서 특정 단말의 처리 로그를 상기 테스트 결과 입수 장비(50)에 전송하는 것이다. 상기 무선 중계기(20)에 상기 중계 모듈(200)의 설치가 여의치 않을 경우에도 본 발명이 목적하는 부하 테스트 환경 구성에 영향은 없다. 단지 부하 발생시에 특정 문제 발생시 원인 규명을 할 때, 어느 지점에서 발생했는지를 파악할 때에 정확한 지점을 찾기가 너무 방대해서 어려울 수 있다. 상기 중계 모듈(200)이 남긴 로그를 통해서 사용자의 단말과 상기 중계기(20)간의 상향 레이턴시와 하향 레이턴시를 알아 내어 어느 쪽에서 문제가 발생해도 원인 구간을 알아 낼 수 있는 장점을 주는 기능을 제공할 수 있다.
도 7은 상기 IP 네트워크 전환 장치(30)의 상기 전환 모듈(300)에서 특정 단말의 처리 로그를 상기 테스트 결과 입수 장비에 전송하는 것이다. 상기 IP네트워크 전환 장치(30)에 상기 전환 모듈(300)의 설치가 여의치 않을 경우에는 없어도 본 발명이 목적하는 부하 테스트 환경 구성에 영향은 없다. 단지 부하 발생시에 특정 문제 발생시 원인 규명을 할 때, 어느 지점에서 발생했는지를 파악할 때에 정확한 지점을 찾기가 너무 방대해서 어려울 수 있다. 상기 전환 모듈(300)에서 남긴 로그를 기반으로 하여 무선 환경에서 상기 중계기(20)과 상기 IP 네트워크 전환 장치(30)과 상기 부하 테스트 대상 서버(40) 사이에서 어느 쪽에서 문제가 발생해도 원인 구간을 알아 낼 수 있는 장점을 주는 기능을 제공할 수 있다.
도 8은 상기 부하 테스트 대상 서버(40) 상에서 동작하는 상기 부하 로그 모 듈(400)이다. 상기 부하 테스트 대상 서버(40)는 실 서비스와 별도로 구성되는 것이 합리적이다. 실제로 많은 상용서비스가 테스트 장비를 보유하고 있기 때문에 이는 문제가 되지 않을 것이다. 상기 부하 로그 모듈(400)은 상기 테스트 모듈(100)에서 오는 부하를 처리하고 로그로 남기고 상기 테스트 결과 입수 장비(50)에 전송한다. 상기 부하 테스트 대상 서버(40)의 상기 부하 로그 모듈(400)은 실 서비스 서버에 설치될 부하 로그 모듈과 같은 모듈이므로, 상기 부하 테스트 대상 서버(40)는 상기 실 서비스 서버와 같이 보면 된다. 상기 도 2에 상기 실 서비스 서버가 표현되어 있다.
도 9는 상기 부하 테스트 입수 장비(50)에 설치되어 동작하는 상기 테스트 결과 입수 모듈(500)이다. 상기 테스트 결과 입수 모듈(500)은 크게 로그 입수부(510)와 로그 저장부(550)로 나뉜다. 상기 로그 입수부(510)는 상기 테스트 모듈(100), 상기 중계 모듈(200), 상기 전환 모듈(300), 그리고 상기 부하 로그 모듈(400)에서 전송한 모든 가능한 부하 로그를 입수하는 것이다. 상기 로그 저장부(550)은 입수한 로그를 데이터베이스나 파일시스템 등 저장에 용이한 방식으로 저장함을 의미한다.
도 10은 상기 테스트 결과 분석 모듈(600)이다. 상기 테스트 결과 분석 모듈(600)은 크게 테스트 결과 분석부(610)와 분석 결과 저장부(650)로 나누어 진다. 상기 테스트 결과 분석부(610)는 상기 로그 저장부(550)에서 저장한 로그를 읽어서 망 환경별, 단말별, 데이터 사이즈 별, 주기별, 커맨드 별로 상하향 레이턴시, 패킷 손실율, 재전송율, 성공율 등을 계산하여 평균과 표준 편차를 계산한다. 그리고 상기 분석 결과 저장부(650)는 향후 분석 정보를 조회하는 모듈이 조회를 하기 좋은 방식으로 쌓아 놓는 역할을 한다. 예를 들어 상기 분석 결과 저장부(650)에서 저장된 결과를 표의 형태로 나타내면 다음과 같다.
단말 사이즈 주기 com 비율 상향 하향 손실율 재전송 성공율
1x S10 30 100ms C_1 0.7% 200ms 170ms 0.001 0.19 99.8%
EVDO S20 50 100ms C_1 1.2% 100ms 70ms 0.001 0.19 99.8%
EVDO L20 50 100ms C_1 0.9% 105ms 73ms 0.001 0.19 99.8%
HSPDA S30 128 100ms C_1 2.4% 92ms 48ms 0.001 0.19 99.8%
WiBro L30 128 100ms C_1 12.5% 89ms 43ms 0.001 0.19 99.8%
Online H_ADSL 1024 100ms C_1 72% 15ms 16ms 0.001 0.19 99.8%
Modem M_128 30 100ms C_1 3.5% 217ms 206ms 0.001 0.19 99.8%
상기 정보는 상기 테스트 단말(10)과 상기 실 서비스 서버 상의 로그를 분석하여 나온 수치의 예제로 볼 수 있다. 상기 표에서 Online으로 접속하여 서비스 이용자가 72%로 제일 높은데, 단말은 H사의 ADSL을 쓰고 있고, 패킷의 전송 사이즈 1024 바이트 이고 주기가 100ms일 때, 상향, 하향 레이턴시가 합쳐서 31ms 임을 알 수 있다. 손실율과 재전송율과 성공율은 비율에 맞추어 강제로 발생 시킬 수 있다. 그러나 여기서 HSDPA의 예를 다음의 표에서 좀 더 확대해 보겠다.
단말 사이즈 주기 Com 비율 구분 평균 편차
HSPDA S30 128 100ms C_1 2.4% 상향레이턴시 92ms 20.17ms
HSPDA S30 128 100ms C_1 2.4% 하향레이턴시 48ms 12.3ms
HSPDA S30 128 100ms C_1 2.4% 재전송율 0.19% 0.15%
상기 표는 HSDPA의 평균 수치를 평균과 편차로 나누어 본 예이다. 실제 테스트 결과 수치와 유사한 테스트를 발생시키기 위해서는 평균과 표준편차를 활용한 정규분포에 의한 레이턴시를 발생시키는 것이 유용하다. 그러나 본 발명에서 반드시 정규분포에 의한 레이턴시를 발생시키는 것으로 국한하지 않는다. 예를 들면 T-분포와 같이 정규분포와 유사하게 표준과 편차의 방식으로 실제 모집단의 확률과 최대한 유사하게 시뮬레이션할 수 있는 것인 것이 좋다.
또한 위의 예의 경우 HSDPA 환경에서 S30 단말이 128 바이트의 사이즈로 100ms의 간격으로 컨맨드 C_1을 발생시켰을 때, 전체 접속자의 2.4%의 유저에 대해서 재전송율이 평균은 0.19%로 매우 낮으나 표준편차는 0.15%로서 표준 편차가 매우 높음을 알 수 있다. 따라서 실제적으로 평균 수치는 낮으나 편차가 커서 상대적으로 레이턴시가 낮아야 하는 리얼타임 다중 접속 게임과 같은 실시간성 응용프로그램에서 갑자기 느려지는 현상을 일으킬 수 있다. 이런 수치가 만약 다른 단말 보다 이상 수치가 나타난다면 해당 단말의 로그를 살펴보면서 어느 구간에서 문제가 발생하는지를 파악후 해당 단말을 가지고 좀 더 상세한 테스트를 가질 필요가 있다. 상기 표에서 나온 수치는 예제일 뿐 실 관측 결과는 아니다.
도 11은 상기 분석결과 제공 장비(70)에서 동작하는 상기 분석 결과 제공 모듈(700)에 관한 것이다. 상기 분석 결과 제공 모듈(700)은 크게 분석 결과 조회부(710)와 분석 결과 제공부(750)으로 나뉜다. 분석 결과 조회부(710)는 상기 분석 결과 저장부(650)가 저장한 분석 결과를 조회하여 가지고 오는 부분이다. 상기 분석 결과 제공부(750)는 조회한 분석 결과를 부하 생성자가 사용할 수 있도록 프로토콜 등의 변환을 하여 전달하는 부분이다. 최근에는 다양한 플랫폼간의 데이터 교환을 위해서 XML, SOAP, HTTP와 같은 객체를 담을 수 있는 형태의 다양한 프로토콜을 요구하고 있다. 기존의 TCP/IP 레벨에서의 바이너리 데이터의 교환 수준 이상을 요구한다. 따라서 다양한 프로토콜을 지원하는 것이 조회 모듈의 기본 바탕이 되고 있다.
도 12는 상기 부하 생성 관리 서버(80)에서 동작하는 상기 부하 생성 관리 모듈(800)에 관한 것이다. 상기 부하 생성 관리 모듈(800)은 크게 망 단말 환경 구성부(810)과 망 단말 환경 전송부(850)로 나누어 진다. 상기 망 단말 환경 구성부(810)는 부하 테스트를 담당하는 담당자가 해당 서비스의 망환경 및 단말 환경의 조합을 저장 장소에서 불러오거나 신규로 생성해서 데이터를 입력, 추가, 수정, 삭제를 통해서 완성하고 저장하여 최종적인 망 단말 환경에 대한 정보를 버전 별로 관리할 수 있는 부분이다. 또한 상기 망 단말 환경 전송부(850)은 상기 최종적인 망 단말 환경에 대한 정보를 다수의 실제 부하 생성자(90)로 전송하는 기능이다. 이 때에 망 단말 환경에 대한 정보는 상기 실 서비스 서버의 로그에서도 분석이 된다. 상기 실 서비스 서버의 로그에서 얻을 수 있는 구체적인 정보는 특정 단말의 접속 비율 정보이다. 물론 특정 단말이 다양한 망 접속이 가능하다면 망-단말 조합에 대한 사용자의 접속 비율 정보가 가장 정확한 표현이라고 볼 수 있다. 이 비율을 기존 테스트에 변경 적용하는 것이나, 신규 단말 출현시 자동으로 구성에 접목시키는 것에 대한 편의성에 대한 개발은 부수적으로 본 발명의 사용성을 높여주는 기술이라고 하겠다. 본 발명에서는 컨버전스 환경을 최대한 정확하게 시뮬레이션 할 수 있는 방법론에 집중하는 것이기에 여기서 구체적인 사용성에 대한 언급은 최소화 한다.
도 13은 상기 부하 생성자(90)에서 동작하는 상기 부하 생성 모듈(900)에 관한 것이다. 상기 부하 생성 모듈(900)은 망 단말 환경 입수부(910)와 부하 생성부(950)이다. 상기 망 단말 환경 입수부(910)는 상기 망 단말 환경 전송부(850)로부터 받은 망 단말 환경 정보를 기반으로 상기 분석 결과 제공 모듈(700)을 통해 자세한 망 환경 정보를 조회하여 망 단말에 대한 환경을 입수하는 기능이다. 자세한 망 환경 정보는 상기 두개의 표에서 기술된 데이터를 말한다. 또한 상기 부하 생성부(950)는 자세한 망 단말에 대한 정보인 레이턴시, 패킷 손실율, 재전송율, 그리고 성공율에 대한 평균과 표준 편차를 기반으로 해서 정규분포를 따르는 실제적인 부하를 발생시키는 기능이다. 그러나 본 발명에서 반드시 정규분포에 의해서 시뮬레이션하는 방식으로 국한하지 않는다. 예를 들면 T-분포와 같이 정규분포와 유사하게 표준과 편차의 방식으로 실제 모집단의 확률과 최대한 유사하게 시뮬레이션할 수 있는 것인 것이 좋다.
이어서 바람직한 실시예를 중심으로 더욱 상세하게 설명한다. 다시 한 번 본 발명에 관한 실시예를 설명하기 전에 공통되는 요소를 먼저 정리한다. 본 발명 사상이 실시되기 위해서는 상기 테스트 단말(10)상에서 동작하는 상기 테스트 모듈(100)에서 테스트 패킷을 발생시키면, 상기 중계기(20)상에서 상기 중계 모듈(200)이 로그를 남기며, 이어서 상기 IP 네트워크 전환 장치(30)상의 상기 전환 모듈(300)이 전환 로그를 남기며, 상기 부하 테스트 대상 서버(40) 상의 상기 부하 로그 모듈(400)이 부하 로그를 남기며, 상기 테스트 결과 입수 장비(50) 상의 상기 테스트 결과 입수 모듈(500)이 상기 테스트 모듈(100), 상기 중계 모듈(200), 상기 전환 모듈(300) 그리고 상기 부하 로그 모듈(400)이 남긴 로그를 입수하여 취합 저장하며, 상기 테스트 결과 분석 장비(60)의 상기 테스트 결과 분석 모듈(600)이 테스트 결과를 분석하여 저장하고, 사용자가 상기 부하 생성 관리 서버(90) 상의 상기 부하 생성 관리 모듈(900)에 접속하여 부하 생성에 대한 망 단말 구성 정보를 입력하고 부하 생성을 지시하면, 상기 부하 생성자(80) 상의 상기 부하 생성 모듈(800)이 상기 망 단말 구성 정보를 기반으로 하여 상기 분석 결과 제공 장비(70)의 상기 분석 결과 제공 모듈(700)을 통해 자세한 망 단말의 속성값을 가져와 실제와 근사한 확률로 부하를 발생시킨다. 도 3을 기반으로 해서 시스템 구성의 예를 정리하는 것이 도 2이다. 또한 도 4는 본 발명의 유무선 복합 환경에서의 부하테스트 방법에 관한 도면이다. 도 3과는 달리, 중계기와 IP 네트워크 전환 장치 해당 모듈을 설치 할 수 없을 경우에 부하 테스트 방법에 대한 도면이며, 무선 환경을 고려하지 않은 서비스에도 적용할 수 있다는 장점이 있다. 상기 설명한 도 3의 구성에서 상기 중계 모듈(300)과 상기 전환모듈(400)이 빠져있다. 본 발명이 유무선 복합 환경을 1차 타겟으로 하기 때문에 무선환경에 측정을 할 수 없는 환경 또한 유무선 복합 환경의 한 예라고 볼 수 있으므로 실시예는 두가지가 나온다고 하겠다.
이하, 실시예를 중심으로 본 발명이 적용되는 모습을 설명하나, 본 실시예는 본 발명 사상이 실행되는 일부 모델에 대한 것이며, 본 발명 사상이 하기 실시예에 의해 제한되는 것은 결코 아니다.
<실시예 1>
본 실시예 1에서는 가장 기본적인 모델이며, 본 실시예는 도 4에 그 시스템적 구성이 잘 나타나 있으며, 다른 도면에서 세부적인 모듈의 세부 항목들이 설명되어 있다. 실시예 1은 컨버전스 환경에서 무선이 결여되어 있거나 무선이 존재하나 비용이나 여러 사유에 의해서 상기 중계기(20)나 상기 IP 전환 장비(30)에 상기 상기 중계 모듈(200)이나 상기 전환 모듈(300)이 존재하지 않는 경우의 실시예이다.
상기 테스트 단말(10)상에서 동작하는 상기 테스트 모듈(100)에서 테스트 패킷을 발생시키면, 상기 부하 테스트 대상 서버(40) 상의 상기 부하 로그 모듈(400)이 부하 로그를 남기며, 상기 테스트 결과 입수 장비(50) 상의 상기 테스트 결과 입수 모듈(500)이 상기 테스트 모듈(100), 상기 부하 로그 모듈(400)이 남긴 로그를 입수하여 취합 저장하며, 상기 테스트 결과 분석 장비(60)의 상기 테스트 결과 분석 모듈(600)이 테스트 결과를 분석하여 저장하고, 사용자가 상기 부하 생성 관리 서버(90) 상의 상기 부하 생성 관리 모듈(900)에 접속하여 부하 생성에 대한 망 단말 구성 정보를 입력하고 부하 생성을 지시하면, 상기 부하 생성자(80) 상의 상기 부하 생성 모듈(800)이 상기 망 단말 구성 정보를 기반으로 하여 상기 분석 결과 제공 장비(70)의 상기 분석 결과 제공 모듈(700)을 통해 자세한 망 단말의 속성값을 가져와 실제와 근사한 확률로 부하를 발생시킨다.
<실시예 2>
본 실시예는 상기 실시예 1에서 상기 중계기(20)나 상기 IP 전환 장비(30)에 상기 상기 중계 모듈(200)이나 상기 전환 모듈(300)이 존재하는 경우의 실시예이다. 도 3에서 잘 나타나 있다.
상기 테스트 단말(10)상에서 동작하는 상기 테스트 모듈(100)에서 테스트 패킷을 발생시키면, 상기 중계기(20)상에서 상기 중계 모듈(200)이 로그를 남기며, 이어서 상기 IP 네트워크 전환 장치(30)상의 상기 전환 모듈(300)이 전환 로그를 남기며, 상기 부하 테스트 대상 서버(40) 상의 상기 부하 로그 모듈(400)이 부하 로그를 남기며, 상기 테스트 결과 입수 장비(50) 상의 상기 테스트 결과 입수 모듈(500)이 상기 테스트 모듈(100), 상기 중계 모듈(200), 상기 전환 모듈(300) 그리고 상기 부하 로그 모듈(400)이 남긴 로그를 입수하여 취합 저장하며, 상기 테스트 결과 분석 장비(60)의 상기 테스트 결과 분석 모듈(600)이 테스트 결과를 분석하여 저장하고, 사용자가 상기 부하 생성 관리 서버(90) 상의 상기 부하 생성 관리 모듈(900)에 접속하여 부하 생성에 대한 망 단말 구성 정보를 입력하고 부하 생성을 지시하면, 상기 부하 생성자(80) 상의 상기 부하 생성 모듈(800)이 상기 망 단말 구성 정보를 기반으로 하여 상기 분석 결과 제공 장비(70)의 상기 분석 결과 제공 모듈(700)을 통해 자세한 망 단말의 속성값을 가져와 실제와 근사한 확률로 부하를 발생시킨다.
상기 실시예2에서 상기 중계기(20)상의 상기 중계 모듈(200)이나, 상기 전환 장치(30) 상의 상기 전환 모듈(300)의 둘 중의 하나가 제외된 모델도 수용할 수 있음은 상식적인 수준에서 자명하다고 판단된다.
도 1은 종래의 유선 환경에서의 부하 테스트 방법에 관한 실시예적 도면이다.
도 2는 본 발명의 컨버전스 환경에서의 부하테스트 방법 및 그 시스템에 대한 실시예적 도면이다.
도 3은 본 발명의 유무선 복합 환경인 컨버전스 환경에서의 부하 테스트 방법에 관한 전체적인 개념의 도면이다.
도 4는 본 발명의 유무선 복합 환경에서의 부하테스트 방법에 관한 도면이다. 도 3과는 달리, 중계기와 IP 네트워크 전환 장치 해당 모듈을 설치 할 수 없을 경우에 부하 테스트 방법에 대한 도면이며, 무선 환경을 고려하지 않은 서비스에도 적용할 수 있다는 장점이 있다.
도 5는 테스트 단말에서 테스트 모듈에 관한 도면이다.
도 6은 무선 중계기의 중계 모듈에 관한 도면이며 선택적인 기능이다.
도 7은 일반 유선 환경의 패킷구조를 가지게 만들어주는 (예: PDSN) IP 네트워크 변환 장치의 전환 모듈에 관한 도면이며 선택적인 기능이다.
도 8은 부하 테스트를 시행할 대상 서버에 대한 부하 로그 모듈에 관한 도면이다.
도 9는 테스트 결과 입수 장비가 다양한 로그를 입수하는 테스트 결과 입수 모듈에 관한 도면이다.
도 10은 테스트 결과 분석 장비가 가진 테스트 결과 분석 모듈에 관한 도면 이다.
도 11은 분석 결과를 제공하는 장비가 가진 분석 결과 제공 모듈에 관한 도면이다.
도 12는 망, 단말별로 생성되는 부하생성자가 가진 망, 단말별 부하 생성 모듈에 관한 도면이다.
도 13은 무선 망의 환경을 분석하기 위하여 Sequence Diagram으로 시간의 흐름에 따라 각 모듈에 대한 역할에 관한 도면이다.
도 14는 유선 망의 환경을 분석하기 위하여 Sequence Diagram으로 시간의 흐름에 따라 각 모듈에 대한 역할에 관한 도면이다.
도 15는 컨버전스 부하 테스트 환경을 구성하기 위하여 Sequence Diagram으로 시간의 흐름에 따라 각 모듈에 대한 역할에 관한 도면이다.

Claims (2)

  1. 테스트 단말(10)상에서 동작하는 테스트 모듈(100)에서 테스트 패킷을 발생시키면, 부하 테스트 대상 서버(40) 상의 부하 로그 모듈(400)이 부하 로그를 남기며, 테스트 결과 입수 장비(50) 상의 테스트 결과 입수 모듈(500)이 상기 테스트 모듈(100)과 상기 부하 로그 모듈(400)이 남긴 로그를 입수하여 취합 저장하며, 테스트 결과 분석 장비(60)의 테스트 결과 분석 모듈(600)이 테스트 결과를 분석하여 저장하고, 사용자가 부하 생성 관리 서버(90) 상의 부하 생성 관리 모듈(900)에 접속하여 부하 생성에 대한 망 단말 구성 정보를 입력하고 부하 생성을 지시하면, 부하 생성자(80) 상의 부하 생성 모듈(800)이 상기 망 단말 구성 정보를 기반으로 하여 분석 결과 제공 장비(70)의 분석 결과 제공 모듈(700)을 통해 자세한 망 단말의 속성값을 가져와 실제와 근사한 확률로 부하를 발생시키는 방법 및 시스템.
  2. 테스트 단말(10)상에서 동작하는 테스트 모듈(100)에서 테스트 패킷을 발생시키면, 중계기(20)상에서 중계 모듈(200)이 로그를 남기며, 이어서 IP 네트워크 전환 장치(30)상의 전환 모듈(300)이 전환 로그를 남기며, 부하 테스트 대상 서버(40) 상의 부하 로그 모듈(400)이 부하 로그를 남기며, 테스트 결과 입수 장비(50) 상의 테스트 결과 입수 모듈(500)이 상기 테스트 모듈(100), 상기 중계 모듈(200), 상기 전환 모듈(300) 그리고 상기 부하 로그 모듈(400)이 남긴 로그를 입 수하여 취합 저장하며, 테스트 결과 분석 장비(60)의 테스트 결과 분석 모듈(600)이 테스트 결과를 분석하여 저장하고, 사용자가 부하 생성 관리 서버(90) 상의 부하 생성 관리 모듈(900)에 접속하여 부하 생성에 대한 망 단말 구성 정보를 입력하고 부하 생성을 지시하면, 부하 생성자(80) 상의 부하 생성 모듈(800)이 상기 망 단말 구성 정보를 기반으로 하여 분석 결과 제공 장비(70)의 분석 결과 제공 모듈(700)을 통해 자세한 망 단말의 속성값을 가져와 실제와 근사한 확률로 부하를 발생시키는 방법 및 시스템.
KR1020080015954A 2008-02-21 2008-02-21 컨버전스 환경에서의 부하테스트 방법 및 그 시스템 KR20090090624A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080015954A KR20090090624A (ko) 2008-02-21 2008-02-21 컨버전스 환경에서의 부하테스트 방법 및 그 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080015954A KR20090090624A (ko) 2008-02-21 2008-02-21 컨버전스 환경에서의 부하테스트 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR20090090624A true KR20090090624A (ko) 2009-08-26

Family

ID=41208380

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080015954A KR20090090624A (ko) 2008-02-21 2008-02-21 컨버전스 환경에서의 부하테스트 방법 및 그 시스템

Country Status (1)

Country Link
KR (1) KR20090090624A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200097066A (ko) 2019-02-07 2020-08-18 서울시립대학교 산학협력단 테스트 대상 서버의 부하 테스트를 수행하는 방법 및 블록체인 노드
CN113342589A (zh) * 2021-08-05 2021-09-03 北京金堤科技有限公司 对服务器进行压力测试的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046569A (ja) * 2001-07-30 2003-02-14 Canon Inc 負荷テスト実行装置及びシステム、及びその方法、及びそのプログラム
JP2004021524A (ja) * 2002-06-14 2004-01-22 Canon Inc ネットワークサーバへの負荷テストシステム
JP2006031178A (ja) * 2004-07-13 2006-02-02 Hitachi Ltd 負荷テスト実施装置、負荷テスト実施方法、負荷テスト実施プログラム
KR20070060378A (ko) * 2005-12-08 2007-06-13 한국전자통신연구원 부하 테스트를 통한 서버 애플리케이션 안정성 검증 시스템및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003046569A (ja) * 2001-07-30 2003-02-14 Canon Inc 負荷テスト実行装置及びシステム、及びその方法、及びそのプログラム
JP2004021524A (ja) * 2002-06-14 2004-01-22 Canon Inc ネットワークサーバへの負荷テストシステム
JP2006031178A (ja) * 2004-07-13 2006-02-02 Hitachi Ltd 負荷テスト実施装置、負荷テスト実施方法、負荷テスト実施プログラム
KR20070060378A (ko) * 2005-12-08 2007-06-13 한국전자통신연구원 부하 테스트를 통한 서버 애플리케이션 안정성 검증 시스템및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200097066A (ko) 2019-02-07 2020-08-18 서울시립대학교 산학협력단 테스트 대상 서버의 부하 테스트를 수행하는 방법 및 블록체인 노드
CN113342589A (zh) * 2021-08-05 2021-09-03 北京金堤科技有限公司 对服务器进行压力测试的方法和装置
CN113342589B (zh) * 2021-08-05 2021-09-28 北京金堤科技有限公司 对服务器进行压力测试的方法和装置

Similar Documents

Publication Publication Date Title
CN104270779A (zh) 一种无线网络故障原因预处理方法及无线网络故障工单派发系统
CN108053042A (zh) 一种停电信息报送和发布系统
CN104898591A (zh) 一种智能家电协同控制方法
CN105471982B (zh) 物联网网关与云平台的交互方法及系统
US9559915B2 (en) System and method for dynamically testing networked target systems
CN103246606B (zh) Esb平台的性能测试方法和系统
CN104751305A (zh) 一种基于故障分析抢修的智能交互系统及其控制方法
Hosek et al. Universal smart energy communication platform
Shaoshuai et al. MODM-based evaluation model of service quality in the Internet of Things
CN103336493A (zh) 一种能源管理系统
CN102468986A (zh) 用电信息采集系统的测试方法和系统、主站
CN104933069A (zh) 一种桌面终端上网浏览统计的分析方法和系统
CN107786671A (zh) 一种电力设备远程测试系统
CN107094091A (zh) 一种智能变电站站控层网络配置校验方法和系统
Riekstin et al. A survey on metrics and measurement tools for sustainable distributed cloud networks
CN102104885A (zh) 网元性能的统计方法及系统
CN114936062B (zh) 一种设备自动调试的方法、装置、设备、系统及存储介质
CN103944779B (zh) 一种wap业务性能监测方法及系统
KR20090090624A (ko) 컨버전스 환경에서의 부하테스트 방법 및 그 시스템
CN103139004A (zh) 利用网络限速工具模拟网络带宽的方法及系统
CN102056194A (zh) 基于cdma网的wlan网络质量监测系统及方法
CN105721231B (zh) 一种业务质量感知探测方法及装置
CN103780446A (zh) 一种实时监控网络带宽资源的方法及系统
CN106209571A (zh) 一种信息交互管理的方法、装置及移动终端
CN109639533A (zh) 一种区域调度策略的测试方法、系统及终端设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application