KR20210040293A - 압력 테스트 방법, 장치, 전자기기 및 컴퓨터 판독가능 매체 - Google Patents

압력 테스트 방법, 장치, 전자기기 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR20210040293A
KR20210040293A KR1020210033285A KR20210033285A KR20210040293A KR 20210040293 A KR20210040293 A KR 20210040293A KR 1020210033285 A KR1020210033285 A KR 1020210033285A KR 20210033285 A KR20210033285 A KR 20210033285A KR 20210040293 A KR20210040293 A KR 20210040293A
Authority
KR
South Korea
Prior art keywords
service system
pressure test
monitoring data
service
request
Prior art date
Application number
KR1020210033285A
Other languages
English (en)
Inventor
저위 왕
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210040293A publication Critical patent/KR20210040293A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/24—Marginal checking or other specified testing methods not covered by G06F11/26, e.g. race tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3419—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment by assessing time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/5096—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to distributed or central networked applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/81—Threshold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning

Abstract

본 출원은 압력 테스트 방법 및 장치를 공개하며, 클라우드 컴퓨팅 기술분야에 관한 것이다. 이 방법의 구체적인 실시형태에는, 미리 설정된, 적어도 하나의 테스트 트래픽을 포함하는 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하는 단계와, 압력 테스트 요청에 응답하는 서비스 시스템의 성능 모니터링 데이터를 취득하는 단계와, 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 서비스 요청 용량 정보를 결정하는 단계를 포함한다. 해당 실시형태는 서비스 시스템의 압력 테스트를 편리하고 효율적으로 수행할 수 있다.

Description

압력 테스트 방법, 장치, 전자기기 및 컴퓨터 판독가능 매체{METHOD AND APPARATUS FOR STRESS TESTING, ELECTRONIC DEVICE AND COMPUTER READABLE MEDIUM}
본 출원의 실시예는 컴퓨터 기술분야에 관한 것이며, 구체적으로 클라우드 컴퓨팅 기술분야에 관한 것이며, 특히 압력 테스트 방법, 장치, 전자기기 및 컴퓨터 판독가능 매체에 관한 것이다.
인터넷 산업의 발전에 따라, 제품 판촉, 신제품 출시 등 활동이 부단히 등장하고 있으며, 이러한 활동의 주요특징은 트래픽의 피크를 초래하고, 백엔드 서비스의 용량에 적지 않은 충격을 주고 있다는 점이다. 클라우드 시대의 배경하에, 대부분 기업의 인프라는 클라우드에 구성되므로, 클라우드 시나리오를 기반으로 합리적인 용량 분석 및 평가를 실현할 것인가는 수많은 인터넷 기업들이 직면한 중요한 문제이다.
압력 테스트는, 시스템에 압력을 가하여 시스템의 최대 부하 능력을 테스트하는 방법으로, 용량 분석 및 평가를 수행할 시, 효과적인 압력 테스트에 의존하며, 압력 테스트 기술의 정확성과 테스트 효율은 시스템의 용량 분석 및 평가에 직접적인 영향을 준다.
압력 테스트 방법, 장치, 전자기기 및 컴퓨터 판독가능 매체를 제공한다.
제1 방면에 의하면, 압력 테스트 방법을 제공하며, 상기 방법은, 미리 설정된, 적어도 하나의 테스트 트래픽을 포함하는 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하는 단계와, 압력 테스트 요청에 응답하는 서비스 시스템의 성능 모니터링 데이터를 취득하는 단계와, 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 서비스 요청 용량 정보를 결정하는 단계를 포함한다.
제2 방면에 의하면, 압력 테스트 장치를 제공하며, 상기 장치는, 미리 설정된, 적어도 하나의 테스트 트래픽을 포함하는 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하도록 구성되는 요청유닛과, 압력 테스트 요청에 응답하는 서비스 시스템의 성능 모니터링 데이터를 취득하도록 구성되는 취득유닛과, 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 서비스 요청 용량 정보를 결정하도록 구성되는 결정유닛을 포함한다.
제3 방면에 의하면, 전자기기를 제공하며, 적어도 하나의 프로세서와, 적어도 하나의 프로세서에 통신가능하게 연결되는 메모리를 구비하며, 메모리에 적어도 하나의 프로세서에 의해 실행되는 명령이 저장되어 있고, 명령은 적어도 하나의 프로세서에 의해 실행되며, 적어도 하나의 프로세서에 제1 방면의 임의의 실시형태에 기재된 방법을 실행시킨다.
제4 방면에 의하면, 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독가능 저장매체를 제공하며, 컴퓨터 명령은 제1 방면의 임의의 실시형태에 기재된 방법을 컴퓨터에 실행시킨다.
본 출원의 실시예가 제공하는 압력 테스트 방법 및 장치는, 먼저, 미리 설정된 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하고, 그 다음, 압력 테스트 요청에 응답하는 서비스 시스템의 성능 모니터링 데이터를 취득하고, 마지막으로 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 서비스 요청 용량 정보를 결정한다. 이리하여, 본 출원은 미리 설정된 압력 테스트 구성 정보에 근거하여 서비스 시스템에 압력 테스트 요청을 제기하고, 클라우드 서비스의 서비스 시스템에 미리 설정된 요구사항으로 압력 테스트를 제기하고, 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 요청 용량 정보를 결정하고, 테스트 구성 및 성능 모니터링 데이터가 일치된 기초상에서, 클라우드 서비스의 서비스 시스템에 대해 편리하고 효율적으로 압력 테스트를 행함으로써 저렴하고 정확한 요청 용량 평가 결과를 얻을 수 있다.
이 부분에서 설명된 내용은 본 발명의 실시예의 관건 또는 중요한 특징을 나타내기 위한 것이 아니며 본 발명의 범위를 제한하기 위한 것도 아님을 이해해야 한다. 본 발명의 기타 특징은 아래의 명세서에 의해 쉽게 이해하게 될것이다.
도면은 본 기술적수단을 더 잘 이해하기 위한 것으로서, 본 출원을 한정하는 것이 아니다.
도1은 본 출원에 따른 압력 테스트 방법의 일 실시예의 흐름도이다.
도2는 본 출원의 실시예가 적용될 수 있는 예시적인 시스템 아키텍처이다.
도3은 본 출원에 따른 압력 테스트 방법의 또 하나의 실시예의 흐름도이다.
도4는 본 출원에 따른 압력 테스트 방법의 제3 실시예의 흐름도이다.
도5는 본 출원에 따른 압력 테스트 장치의 실시예의 개략적 구조도이다.
도6은 본 출원의 실시예의 압력 테스트 방법을 실현하기 위한 전자기기의 블록도이다.
이하, 첨부된 도면들을 참조하면서 본 출원의 예시적인 실시예들을 설명하되, 그 중에는 이해를 용이하게 하기 위한 본 출원의 실시예들의 다양한 세부사항들을 포함하며, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 당업자는 본 출원의 범위 및 사상을 벗어남이 없이 여기에 설명된 실시예에 대해 다양한 변경 및 수정이 이루어질 수 있음을 인식해야 한다. 또한, 이하의 설명에서는 명확성과 간결성을 위해, 통상의 기능 및 구조에 대한 설명은 생략한다.
도1은 본 출원에 따른 압력 테스트 방법의 일 실시예의 프로세스(100)이다. 상기 압력 테스트 방법은 다음의 단계를 포함한다.
단계(101)에서, 미리 설정된 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기한다.
본 실시예에서, 미리 설정된 압력 테스트 구성 정보는 적어도 하나의 테스트 트래픽을 포함하는 압력 테스트의 주요 구성 정보의 집합이다. 압력 테스트 구성 정보는 또한 압력 테스트 대상, 피압축 대상, 트래픽 크기, 성분 비율 및 트래픽 내용 등 구성 정보를 포함할 수 있다. 압력 테스트 요청에는 미리 설정된 압력 테스트 구성 정보 외에도 클라우드 서비스의 서비스 시스템 ID 등이 포함될 수 있다. 서비스 시스템 ID는 테스트할 서비스 시스템을 검색하는데 사용될 수 있으며, 구체적으로, 서비스 시스템 ID는 서비스 시스템의 엔트리 도메인 이름 또는 IP주소일 수 있다.
클라우드 서비스는 인터넷을 기반으로 하는 관련 서비스의 증가, 사용 및 상호 작용 모드로서, 일반적으로, 인터넷을 통해 동적이고 확장가능하며 가상화된 자원을 제공하는데 연관된다. 클라우드 서비스는 네트워크를 통해, 필요에 따라 쉽게 확장가능한 방식으로 원하는 서비스를 얻는 것을 의미한다. 클라우드 서비스는 기업에 필요한 소프트웨어, 하드웨어 및 데이터를 클라우드 네트워크에 세팅함으로써 대응하는 서비스 시스템을 구성할 수 있다. 클라우드 서비스 제공업체는 기업에 서버, 가상 머신 및 네트워크 세그먼트 등을 포함한 서비스 자원을 제공한다.
현재 일반적인 클라우드 서비스에는 퍼블릭 클라우드(Public Cloud)와 프라이빗 클라우드(Private Cloud) 두가지가 있다. 퍼블릭 클라우드는 가장 기본적인 서비스이며, 여러 고객이 단일 서비스 제공업체의 시스템 자원을 공유할 수 있으며, 장비를 설치하거나 관리 인력을 배치하지 않고도 전문적인 IT 서비스를 향유할 수 있다.
프라이빗 클라우드는 단일 고객이 단독으로 사용할 수 있도록 구성되므로 데이터, 보안 및 서비스 품질을 가장 효과적으로 제어할 수 있다. 해당 고객은 인프라를 소유하고 있고, 이 인프라에 애플리케이션을 배치하는 방식을 제어할 수 있다. 프라이빗 클라우드는 고객의 데이터 센터의 방화벽에 배치되거나 안전한 호스팅 위치에 배치할 수도 있으며, 프라이빗 클라우드의 핵심 속성은 독점 자원이다.
본 실시예에서 서비스 시스템은 클라우드 서비스의 자원을 공유하고 특정 서비스의 기능 (예를 들어, 결제, 저장, 권한)을 실현할 수 있는 시스템으로, 도2에 도시된 바와 같이, 예를 들어 고객 서비스 시스템일 수 있다. 고객 서비스 시스템은 엔트리 모듈, 데이터베이스 및 여러 서비스 모듈A, B, C를 포함하며, 본 출원의 압력 테스트 방법을 통해 서비스 시스템의 용량 평가를 구현할 수 있다.
서비스 시스템의 요청 용량 정보는 서비스 시스템이 로드할 수 있는 서비스 요청량을 나타내는 정보이며, 최대 서비스 요청 비율, 최대 서비스 요청량, 미리 설정 유형별 요청의 요청량 또는 요청 비율 중 적어도 하나를 포함할 수 있지만, 이에 제한되지 않는다.
구체적으로, 압력 테스트 방법이 실행되는 실행주체는 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하기 전에, 미리 설정된 압력 테스트 구성 정보를 취득할 수 있다. 구체적으로, 미리 설정된 압력 테스트 구성 정보는 사용자 단말에서 취득하거나 메모리 읽기 등 방법을 통해 취득할 수 있다. 미리 설정된 압력 테스트 구성 정보는 실행주체가 미리 구성한 정보이거나 실행주체에 의해 결정된 변경 가능한 정보일 수 있으며, 재사용이 가능하다.
본 실시예의 일부 선택적 실시형태에서, 압력 테스트 구성 정보의 취득은 서비스 시스템의 사용자에 의해 구성된 미리 설정된 압력 테스트 구성 정보를 취득하는 것을 포함한다. 실행주체는 사용자 단말을 통해 사용자가 구성한 미리 설정된 압력 테스트 구성 정보를 취득할 수 있어 압력 테스트 구성 정보 취득의 정확성 및 실시간성을 향상시킬 수 있으며, 더 나아가, 도2에 나타낸 압력 테스트 플랫폼을 설치할 수도 있으며, 서비스 시스템의 사용자가 해당 압력 테스트 플랫폼에 액세스하여 미리 설정된 압력 테스트 구성 정보를 서비스 시스템에 구성하도록 할 수 있으며, 사용자가 이미 압력 테스트 플랫폼 또는 사용자 단말에 미리 설정된 압력 테스트 구성 정보를 구성하였을 경우, 즉 압력 테스트 플랫폼 또는 사용자 단말에 구성 정보 이력이 있는 경우, 상기 실행주체는 현재 압력 테스트 요청에 대응하는 압력 테스트 구성 정보로서 과거의 구성 정보를 취득할 수 있으며, 압력 테스트 구성 정보의 재사용성을 향상시킬 수 있다.
상기 미리 설정된 압력 테스트 구성 정보에 의해 테스트하고자 하는 서비스 시스템에 압력 테스트 요청을 제기할 수 있다. 구체적으로는, 구성된 적어도 하나의 테스트 트래픽에 따라 사용자의 액세스 조작을 시뮬레이션하여 서비스 시스템에 액세스 요청을 제기하고 서비스 시스템의 피드백을 기다린다.
단계(102)ㅔ서, 압력 테스트 요청에 응답하는 서비스 시스템의 성능 모니터링 데이터를 취득한다.
본 실시예에서, 서비스 시스템은 압력 테스트 요청에 응답하고 압력 테스트 요청의 내용에 따라 상응한 데이터 처리 및 피드백 조작을 수행할 수 있다.
성능 모니터링 데이터는 서비스 시스템의 성능을 평가하는 모니터링 데이터이며, 해당 성능 모니터링 데이터는 CPU 사용률, 메모리 사용률, 읽기 / 쓰기 사용률, CPU 인바운드 및 아웃 바운드 트래픽, 요청 응답 시간, 오류 코드 등 중 하나 이상을 포함할 수 있지만 이에 국한되지 않는다. 성능 모니터링 데이터는 서비스 시스템의 피드백 결과에 대한 정확성 인덱스, 피드백 시간 인덱스 등 서비스 시스템의 처리효율 또는 처리능력을 나타내는 데이터 (예를 들어, 압력 테스트 요청에 대한 서비스 시스템의 응답 시간) 및 / 또는 압력 테스트 과정에 있어서 서비스 시스템의 자원 사용정황을 나타내는 성능 데이터 (예를 들어, 네트워크 카드의 IO 데이터 등)를 포함할 수 있다.
단계(103)에서, 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여, 서비스 시스템의 서비스 요청 용량 정보를 결정한다.
본 실시예에서, 서비스 시스템의 서비스 요청 트래픽은 서비스 시스템이 동시에 감당하거나 지탱할 수 있는 최대 요청량, 즉 압력 테스트 용량을 의미하며, 서비스 요청 용량 정보는 서비스 시스템의 압력 테스트 용량에 대한 정보이며, 예를 들어, 서비스 요청 용량 정보는 각종 요청유형의 최대 요청량 정보를 포함하며, 또한, 서비스 모듈에 있어서의 자원 병목 모듈, 서비스 시스템의 자원 확장 수요량 등을 포함할 수 있다.
서비스 시스템의 성능은 성능 모니터링 데이터에 근거하여 평가할 수 있는바, 예를 들어, 성능 데이터의 값이 속하는 구간을 통해 서비스 시스템의 성능등급을 결정할 수 있다. 그 다음, 압력 테스트 구성 정보 중 대응하는 테스트 트래픽에 의해 대응하는 테스트 트래픽에서의 서비스 시스템의 성능을 결정할 수 있다. 또한, 각 테스트 트래픽에서의 서비스 시스템 테스트의 성능에 의해, 서비스 시스템이 해당 테스트 트래픽을 로드할 수 있는지 여부를 결정할 수 있으며, 혹은 서비스 시스템이 로드할 수 있는 최대 테스트 트래픽을 결정함으로써 서비스 시스템의 요청 용량 정보를 결정할 수 있다.
성능 모니터링 데이터에 대해 부동한 분석 방안을 작성할 수 있는바, 예를 들어, 압력 테스트 플랫폼에서 피드백한 테스트 구성 정보에 대응하는 성능 모니터링 데이터의 경우, 설정된 시간 내에 성능 모니터링 데이터의 평균값을 취하고, 평균값이 평균치 임계값 범위 내이면 서비스 시스템의 서비스 요청 용량 정보가 압력 테스트 요청을 만족하는 것으로 결정한다, 즉 서비스 시스템의 서비스 요청 용량이 압력 테스트 요청 중의 요청량보다 적지 않는 것으로 결정할 수 있다.
본 출원의 실시예가 제공하는 압력 테스트 방법은, 먼저, 미리 설정된 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하고, 그 다음, 압력 테스트 요청에 응답하는 서비스 시스템의 성능 모니터링 데이터를 취득하고, 마지막으로, 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 서비스 요청 용량 정보를 결정한다. 이리하여, 본 출원은 미리 설정된 압력 테스트 구성 정보에 근거하여 서비스 시스템에 압력 테스트 요청을 제기하고, 클라우드 서비스의 서비스 시스템에 미리 설정된 요구사항으로 압력 테스트를 제기하고, 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 요청 용량 정보를 결정하고, 테스트 구성 정보 및 성능 모니터링 데이터가 일치된 기초상에서, 클라우드 서비스의 서비스 시스템에 대해 편리하고 효율적으로 압력 테스트를 진행할 수 있어 저렴하고 정확한 요청 용량 평가 결과를 얻을 수 있다.
도2는 본 출원의 실시예가 적용될 수 있는 예시적인 시스템 아키텍처를 도시한 것으로, 해당 아키텍처에서, 지능형 분석 시스템은 상기 실시예의 압력 테스트 방법으로서 실행주체에서 실행될 수 있다. 또한, 해당 시스템 아키텍처에는 압력 테스트 플랫폼, 고객 서비스 시스템 및 모니터링 시스템도 포함된다. 그 중, 압력 테스트 플랫폼은 압력 테스트 구성 정보에 대한 구성 인터페이스를 제공하며, 고객 서비스 시스템의 운영 및 유지 담당자는 압력 테스트 플랫폼을 통해 압력 테스트 구성 정보를 구성하여 클라우드 서비스의 고객 서비스 시스템에 압력 테스트 요청을 제기할 수 있다. 고객 서비스 시스템은 엔트리모듈, 데이터베이스 및 여러 서비스 모듈A, B, C를 포함하며, 압력 테스트 플랫폼 및 모니터링 시스템은 엔트리모듈을 통해 고객 서비스 시스템의 매개 서비스 모듈A, B, C에 액세스하고, 서비스 모듈A 및 B는 또한 각자의 정보를 데이터베이스에 저장할 수 있다.
또한, 압력 테스트 구성 정보는 적어도 하나의 테스트 트래픽을 포함하고, 지능형 분석 시스템은 또한 압력 테스트 플랫폼을 통해 클라우드 서비스의 고객 서비스 시스템에 압력 테스트 요청을 제기할 수 있으며, 압력 테스트 플랫폼은 또한 응답 시간 등과 같은 압력 테스트 요청에 응답하는 고객 서비스 시스템의 표현 데이터를 기록하여 지능형 분석 시스템에 송신할 수도 있다.
또한, 도2에 표시된 모니터링 시스템은 클라우드 서비스에서 제공하는 모니터링 시스템일 수 있으며, 도2의 모니터링 시스템은 고객 서비스 시스템이 압력 테스트 요청을 수신한 후, 고객 서비스 시스템의 각종 자원 사용정황을 모니터링한다. 모니터링 시스템은 또한 고객 서비스 시스템의 자원 사용정황을 지능형 분석 시스템에 송신할 수 있다.
본 출원의 다른 하나의 실시예에서, 성능 모니터링 데이터는, 서비스 시스템 및 서비스 시스템에 포함된 매개 서비스모듈이 압력 테스트 요청을 처리하는 자원 점유량을 나타내는 자원 타입 모니터링 데이터를 포함할 수 있다. 또한 도3을 참조하면, 도3은 본 출원의 압력 테스트 방법의 다른 하나의 실시예의 프로세스(300)를 도시하며, 상기 압력 테스트 방법은 다음 단계를 포함한다.
단계(301)에서, 각 테스트 요청 트래픽에 근거하여 서비스 시스템에 압력 테스트 요청을 제기한다.
구체적으로, 테스트 요청 트래픽은 서비스 시스템에 향해 제기한 트래픽이며, 이에 응하여, 압력 테스트 구성 정보는 테스트 요청 트래픽의 구성 수요를 포함하며, 예를 들어, 테스트 요청 트래픽에 대응하는 압력 테스트 구성 정보에는, 압력 테스트 대상, 압력 테스트 내용, 트래픽 크기, 트래픽 비율, 응답 시간의 임계값, 오류 반환 비율의 임계값이 포함된다. 압력 테스트 대상은 예를 들어, 고객 서비스 시스템이고, 압력 테스트 내용은 예를 들어, 테스트 요청 트래픽의 내용이고, 트래픽 크기는 예를 들어, 상한값 10wqps이며, 트래픽 비율은 예를 들어, 로그인 50%, 브라우징 30%, 지불 20%등을 포함할 수 있다.
단계(302)에서, 압력 테스트 요청에 응답하는 서비스 시스템의 자원 타입 모니터링 데이터를 취득한다.
구체적으로, 자원 점유량에 대한 자원 타입 모니터링 데이터는 서비스 시스템의 각 서비스모듈의 CPU 사용률 및 메모리 점용률 중 어느 하나를 포함할 수 있으나 이에 국한되지 않는다.
단계(303)에서, 테스트 요청 트래픽에 따른 서비스 시스템의 각 서비스 처리 모듈의 자원 타입 모니터링 데이터의 변화에 근거하여, 서비스 시스템의 자원 병목 모듈을 결정한다.
구체적으로, 압력 테스트 구성 정보에 구성된 요청 트래픽의 상한값에 의해 제한되는 범위 내에서, 압력 테스트 요청의 요청 트래픽을 점차적으로 증가시켜, 서비스 시스템의 자원 타입 모니터링 데이터가 트래픽에 따라 증가하는 변화를 테스트할 수 있다. 자원 타입 모니터링 데이터가 특정 트래픽 위치에서 돌변하는 경우 (급격하게 높아지거나 낮아지는 경우), 서비스 시스템은 병목 상태에 도달한다. 이때, 서비스 시스템의 부동한 서비스 처리 모듈의 자원 타입 모니터링 데이터의, 테스트 요청 트래픽에 따른 변화를 분석함으로써 자원 병목 모듈을 확정할 수 있다. 서비스 시스템의 자원 병목 모듈은 배럴 원리의 사상을 기반으로 결정할 수 있다. 본 실시예에서, 서비스 시스템이 지원할 수 있는 최대 압력 테스트 요청 트래픽은, 각 서비스 모듈 중 압력 테스트 요청을 지원하는 능력이 가장 약한 서비스 모듈에 의해 결정되며, 압력 테스트 요청을 지원하는 능력이 가장 약한 서비스 모듈이 곧바로 자원 병목 모듈이다.
구체적으로, 테스트 요청 트래픽에 따른 각 서비스 처리 모듈의 자원 타입 모니터링 데이터의 변화를 모니터링하는 과정에서, 서비스 시스템의 각 서비스 처리 모듈의 자원 타입 모니터링 데이터에 있어서, 테스트 요청 트래픽의 증가에 따라 첫번째로 돌변한 (예를 들어, 급격하게 낮아지거나 급격하게 높아지는) 서비스 처리 모듈을 서비스 시스템의 자원 병목 모듈로 결정할 수 있다.
본 실시예에서 제공하는 압력 테스트 방법은, 압력 테스트 과정에, 각 테스트 요청의 트래픽에 근거하여 서비스 시스템에 압력 테스트 요청을 제기하고, 테스트 요청 트래픽에 따른 서비스 시스템의 각 서비스 처리 모듈의 자원 타입 모니터링 데이터의 변화에 의해, 서비스 시스템의 자원 병목 모듈을 결정하기 때문에 자원 병목 모듈을 정확히 정할 수 있어 보다 구체적인 평가결과를 취득할 수 있고, 서비스 시스템의 자원 구성을 위해 효과적인 지원을 제공하며, 트래픽이 피크에 도달할 때에 서비스 시스템이 트래픽의 충격으로 인해 정상적으로 작동하지 못하는 문제를 효과적으로 방지할 수 있다.
본 실시예의 일부 선택적인 실시형태에서, 상기 성능 모니터링 데이터는 서비스 시스템의 응답 능력을 나타내는 표현 타입 모니터링 데이터를 포함한다.
구체적으로, 표현 타입 모니터링 데이터는 평균 응답 시간, 90분 응답 시간, 오류 반환 비율 중 적어도 하나를 포함하지만 이에 국한되지 않는다.
상기 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 서비스 요청 용량 정보를 결정하는 단계는, 압력 테스트 구성 정보 중 최대의 테스트 요청 트래픽에 대한 서비스 시스템의 표현 타입 모니터링 데이터가 해당 임계값 범위를 초과하지 않는 것으로 결정됨에 응답하여, 서비스 시스템의 서비스 요청 용량 정보가 최대의 테스트 요청 트래픽의 수요를 만족하는 것으로 결정하는 단계를 포함한다.
표현 타입 모니터링 데이터에 대응하는 임계값 범위는 표현 타입 모니터링 데이터의 유형에 근거하여 설정할 수 있는바, 표현 타입 모니터링 데이터의 유형에는 시간 유형과 오류허용비율 유형이 포함된다. 예로서, 표현 타입 모니터링 데이터가 시간 유형의 데이터인 경우, 표현 타입 모니터링 데이터의 임계값을 1000ms로 설정할 수 있으며, 표현 타입 모니터링 데이터가 오류허용비율 유형의 데이터인 경우, 표현 타입 모니터링 데이터의 임계값을 오류를 반환하는 비율로 90%로 설정할 수 있다.
또한, 최대의 테스트 요청 트래픽은 압력 테스트 구성 정보에 구성된 모든 테스트 요청 트래픽의 상한값이며, 서비스 시스템의 서비스 요청 용량 정보가 최대의 테스트 요청 트래픽의 수요를 만족할 때, 서비스 시스템의 서비스 요청 용량 정보는 압력 테스트 요구를 만족하는 용량 정보이다. 해당 실시형태는 표현 타입 모니터링 데이터에 대해 임계값 분석을 수행함으로써 서비스 시스템의 서비스 요청 용량을 신속하게 평가할 수 있다.
본 출원의 다른 하나의 실시예에서, 성능 모니터링 데이터는 서비스 시스템의 응답능력을 나타내는 표현 타입 모니터링 데이터를 포함하고, 성능 모니터링 데이터는 또한 서비스 시스템 및 서비스 시스템에 포함된 매개 서비스 모듈이 압력 테스트 요청을 처리하는 자원 점유량을 나타내는 자원 타입 모니터링 데이터를 포함한다, 즉 성능 모니터링 데이터는 표현 타입 모니터링 데이터와 자원 타입 모니터링 데이터를 포함한다. 또한 도4을 참조하면, 도4는 본 출원의 압력 테스트 방법의 제3 실시예의 프로세스(400)를 도시하며, 상기 압력 테스트 방법은 다음 단계를 포함한다.
단계(401)에서, 각 테스트 요청 트래픽에 근거하여 서비스 시스템에 압력 테스트 요청을 제기한다.
단계(402)에서, 압력 테스트 요청에 응답하는 서비스 시스템의 표현 타입 모니터링 데이터 및 자원 타입 모니터링 데이터를 취득한다.
단계(403)에서, 압력 테스트 구성 정보 중 적어도 하나의 테스트 요청 트래픽에 대한 서비스 시스템의 표현 타입 모니터링 데이터가 해당 임계값 범위를 초과하는 것으로 결정됨에 응답하여, 테스트 요청 트래픽에 따른 서비스 시스템의 각 서비스 처리 모듈의 자원 타입 모니터링 데이터의 변화에 근거하여, 서비스 시스템의 자원 병목 모듈을 결정한다.
본 실시예에서, 압력 테스트 구성 정보 중 적어도 하나의 테스트 요청 트래픽에 대한 서비스 시스템의 표현 타입 모니터링 데이터가 해당 임계값 범위를 초과할 경우, 서비스 시스템의 서비스 요청 용량 정보가 최대의 테스트 요청 트래픽의 수요를 만족하지 않는 것을 의미한다.
본 실시예에서, 먼저 테스트 요청 트래픽의 표현 타입 모니터링 데이터를 평가하고, 적어도 하나의 표현 타입 모니터링 데이터가 임계값 범위를 초과하면, 테스트 요청 트래픽에 따른 자원 타입 모니터링 데이터의 변화에 근거하여 자원 병목 모듈을 결정하고, 순차적인 서비스 시스템 용량 평가 책략을 통해 압력 테스트 결과 분석의 효율성과 분석 결과의 신뢰성을 향상시킨다.
도4에 도시된 실시예의 일부 선택적 실시형태에서, 상기 테스트 요청 트래픽에 따른 서비스 시스템의 각 서비스 처리 모듈의 자원 타입 모니터링 데이터의 변화에 근거하여 서비스 시스템의 자원 병목 모듈을 결정하는 단계 후, 추가로, 자원 병목 모듈에 대응하는 자원 타입 모니터링 데이터에 근거하여 서비스 시스템의 자원 확장 수요 정보를 추정할 수 있다.
자원 병목 모듈은 압력 테스트 과정에서 서비스 시스템 중 자원 돌변이 맨 처음 발생하는 서비스 모듈이다. 테스트 요청 트래픽에 따른 각 서비스 처리 모듈의 자원 타입 모니터링 데이터의 변화를 모니터링하는 과정에서, 압력 테스트 방법이 실행되는 실행주체는, 서비스 시스템의 각 서비스 처리 모듈의 자원 타입 모니터링 데이터에 자원 돌변 (예를 들어 급격히 낮아지거나 급격히 높아지는 경우)이 발생하는지 여부를 판단하여 서비스 시스템의 자원 병목 모듈을 결정한다.
또한, 자원 병목 모듈이 돌변하는 기울기 또는 비율에 근거하여 서비스 시스템의 자원 확장 용량을 추정할 수 있다.
선택적인 실시형태에서, 성능 모니터링 데이터는 표현 타입 모니터링 데이터 및 자원 타입 모니터링 데이터를 포함하며, 서비스 시스템의 자원 병목 모듈을 결정한 후, 자원 병목 모듈에 대응하는 자원 타입 모니터링 데이터에 근거하여 서비스 시스템의 자원 확장 수요 정보를 추정하여, 서비스 시스템의 확장에 기반을 제공하고 서비스 시스템의 확장을 위한 효과적인 지원을 제공한다.
진일보로 도5를 참조하면, 상기 각 도면에 도시된 방법의 구현으로서, 본 출원은 압력 테스트 장치의 일 실시예를 제공하며, 해당 장치의 실시예는 도1에 도시된 방법의 실시예에 대응하며, 해당 장치는 다양한 전자기기에 적용될 수 있다.
도5에 도시된 바와 같이, 본 실시예에서 제공되는 압력 테스트 장치 (500)는 요청유닛(501), 취득유닛(502) 및 결정유닛(503)을 포함한다. 상기 요청유닛(501)은 미리 설정된 압력 테스트 구성 정보에 근거하여 클라우드 서비스 중의 서비스 시스템에 압력 테스트 요청을 제기하도록 구성되며, 압력 테스트 구성 정보는 적어도 하나의 테스트 트래픽을 포함한다. 상기 취득유닛(502)은 압력 테스트 요청에 응답하는 서비스 시스템의 성능 모니터링 데이터를 취득하도록 구성된다. 상기 결정유닛(503)은 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 서비스 요청 용량 정보를 결정하도록 구성된다.
본 실시예에서, 압력 테스트 장치(500)에 있어서, 요청유닛(501), 취득유닛(502) 및 결정유닛(503)의 구체적인 처리 및 이들에 의한 기술적 효과는 각각 도1의 해당 실시예의 단계(101), 단계(102) 및 단계(103)의 관련 설명을 참조할 수 있으며, 여기서는 반복하지 않는다.
본 실시예의 일부 선택적 실시형태에서, 상기 압력 테스트 장치(500)는 구성유닛 (미도시)을 더 포함한다. 구성유닛은 서비스 시스템의 사용자가 구성한 미리 설정된 압력 테스트 구성 정보를 취득하도록 구성된다.
본 실시예의 일부 선택적 실시형태에서, 상기 요청유닛(501)은 또한, 각 테스트 요청의 트래픽에 근거하여 서비스 시스템에 압력 테스트 요청을 제기하도록 구성되며, 상기 성능 모니터링 데이터는 서비스 시스템 및 서비스 시스템에 포함된 각 서비스 모듈이 압력 테스트 요청을 처리하는 자원 점유량을 나타내는 자원 타입 모니터링 데이터를 포함하며, 상기 결정유닛(503)은 자원모듈 (미도시)을 포함한다. 상기 자원모듈은, 테스트 요청 트래픽에 따른 서비스 시스템의 각 서비스 처리 모듈의 자원 타입 모니터링 데이터의 변화에 근거하여, 서비스 시스템의 자원 병목 모듈을 결정하도록 구성된다.
본 실시예의 일부 선택적인 실시형태에서, 상기 성능 모니터링 데이터는 서비스 시스템의 응답 능력을 나타내는 표현 타입 모니터링 데이터를 포함하며, 결정유닛(503)은 표현모듈 (미도시)을 포함한다. 상기 표현모듈은 압력 테스트 구성 정보 중 최대의 테스트 요청 트래픽에 대한 서비스 시스템의 표현 타입 모니터링 데이터가 해당 임계값 범위를 초과하지 않는 것으로 결정됨에 응답하여, 서비스 시스템의 서비스 요청 용량 정보가 최대의 테스트 요청 트래픽의 수요를 만족하는 것으로 결정하도록 구성된다.
본 실시예의 일부 선택적인 실시형태에서, 상기 요청유닛(501)은 또한, 각 테스트 요청 트래픽에 근거하여 서비스 시스템에 압력 테스트 요청을 제기하도록 구성된다. 상기 성능 모니터링 데이터는 또한, 서비스 시스템 및 서비스 시스템에 포함된 매개 서비스 모듈이 압력 테스트 요청을 처리하는 자원 점유량을 나타내는 자원 타입 모니터링 데이터를 포함한다. 상기 결정유닛(503)은 또한 자원모듈 (미도시)을 포함한다. 상기 자원모듈은 압력 테스트 구성 정보 중 적어도 하나의 테스트 요청 트래픽에 대한 서비스 시스템의 표현 타입 모니터링 데이터가 해당 임계값 범위를 초과한 것으로 결정됨에 응답하여, 테스트 요청 트래픽에 따른 서비스 시스템의 각 서비스 처리 모듈의 자원 타입 모니터링 데이터의 변화에 근거하여, 서비스 시스템의 자원 병목 모듈을 결정하도록 구성된다.
본 실시예의 일부 선택적 실시형태에서, 상기 결정유닛(503)은 확장모듈 (미도시)을 더 포함한다. 상기 확장모듈은 자원 병목 모듈에 대응하는 자원 타입 모니터링 데이터에 근거하여 서비스 시스템의 자원 확장 수요 정보를 추정하도록 구성될 수 있다.
본 출원의 실시예가 제공하는 압력 테스트 방법 및 장치는, 먼저, 미리 설정된 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하고, 그 다음, 압력 테스트 요청에 응답하는 서비스 시스템의 성능 모니터링 데이터를 취득하고, 마지막으로 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 서비스 요청 용량 정보를 결정한다. 이리하여, 본 출원은 미리 설정된 압력 테스트 구성에 근거하여 서비스 시스템에 압력 테스트 요청을 제기하고, 클라우드 서비스의 서비스 시스템에 미리 설정된 요구사항으로 압력 테스트를 제기하고, 미리 설정된 압력 테스트 구성 정보 및 성능 모니터링 데이터에 근거하여 서비스 시스템의 요청 용량 정보를 결정하고, 테스트 구성 정보 및 성능 모니터링 데이터가 일치된 기초상에서, 클라우드 서비스의 서비스 시스템에 대해 편리하고 효율적으로 압력 테스트를 행할 수 있어 저렴하고 정확한 요청 용량 평가 결과를 얻을 수 있다.
본 출원의 실시예에 따르면, 본 출원은 또한 전자기기 및 판독가능 저장매체를 제공한다.
도6에 나타낸 바와 같이, 본 출원의 실시예의 압력 테스트 방법에 의한 전자기기의 블록도이다. 전자기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 개인 휴대 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터 등 각종형태의 디지털 컴퓨터를 나타내기 위한 것을 목적으로 하고있다. 전자기기는 개인 휴대 정보 단말기, 휴대폰, 스마트폰, 웨어러블 장치 및 기타 유사한 컴퓨팅장치 등 각종형태의 모바일장치를 나타낼 수도 있다. 본 명세서에 나타내는 부품, 그들의 연결 및 관계, 그리고 그들의 기능은 단순한 예로서, 본 명세서에서 설명 및 / 또는 요구되는 본 출원의 실시를 제한하려는 것이 아니다.
도6에 나타낸 바와 같이, 해당 전자기기는 하나 또는 복수의 프로세서(601), 메모리(602), 및 고속 인터페이스 및 저속 인터페이스 등 각 부품을 연결하기 위한 인터페이스를 포함한다. 각 부품은 서로 다른 버스(605)로 상호 연결되어 있으며, 공용 마더보드에 안장되거나 또는 필요에 따라 다른 방식으로 안장될 수도 있다. 프로세서는 전자기기내에서 실행되는 명령을 처리할 수 있으며, 메모리내 또는 메모리에 저장되어 외부 입력 / 출력장치 (인터페이스 등에 접속된 디스플레이 장치 등)에 GUI 그래픽정보를 표시하는 명령을 포함한다. 다른 실시형태에서는, 필요에 따라 여러 프로세서 및 / 또는 복수의 버스를 여러 메모리 및 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 여러 전자기기를 연결할 수 있으며, 각 기기는 몇가지 필요한 조작 (예를 들어, 서버 배열, 한 쌍의 블레이드 서버, 또는 멀티 프로세서 시스템)을 제공한다. 도6은 하나의 프로세서(601)를 예로 한다.
메모리(602)는 본 출원에 의한 비 일시적 컴퓨터 판독가능 저장매체이다. 메모리는 적어도 하나의 프로세서에 의해 실행되는 명령을 저장하고, 적어도 하나의 프로세서에 본 출원에 의한 압력 테스트 방법을 실행시킨다. 본 출원의 비 일시적 컴퓨터 판독가능 저장매체는 본 출원에 의한 압력 테스트 방법을 컴퓨터에 실행시키기 위한 컴퓨터 명령을 저장한다.
메모리(602)는 비 일시적 컴퓨터 판독가능 저장매체로서, 본 출원의 실시예의 압력 테스트 방법에 대응하는 프로그램 명령 / 모듈 (예를 들어, 도5에 도시된 요청유닛(501), 취득유닛(502), 결정유닛(503))과 같은 비 일시적인 소프트웨어 프로그램, 비 일시적인 컴퓨터 실행 가능 프로그램 및 모듈을 저장할 수 있다. 프로세서(601)는 메모리(602)에 저장되어 있는 비 일시적인 소프트웨어 프로그램, 명령 및 모듈의 운행을 통해, 서버의 각종 기능 응용 및 데이터 처리를 실행한다. 즉, 상기 방법의 실시예에 있어서의 압력 테스트 방법을 실현한다.
메모리(602)는, 운영체제, 적어도 하나의 기능을 실행하기 위해 필요한 애플리케이션 프로그램을 저장할 수 있는 스토리지 프로그램 영역과, 전송경로를 결정하기 위한 방법에 의한 전자기기의 사용에 의해 생성된 데이터 등을 저장할 수 있는 스토리지 데이터 영역을 포함할 수 있다. 또한, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수 있을뿐만 아니라, 예를 들어, 하나의 자기디스크 메모리장치, 플래시 메모리장치, 또는 기타 비 일시적인 고체 메모리장치와 같은 비 일시적인 메모리를 포함할 수도 있다. 일부 실시예에 있어서, 메모리(602)는 프로세서(601)에 대해 원격설치된 메모리를 선택적으로 포함하고, 이러한 원격 메모리는 네트워크를 통해 압력 테스트 방법을 실행하는 전자기기에 연결될 수 있다. 상기 네트워크의 실례는 인터넷, 인트라넷, 로컬 영역 네트워크, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
압력 테스트 방법을 실행하는 전자기기는 추가로, 입력장치(603) 및 출력장치(604)를 포함할 수 있다. 프로세서(601), 메모리(602), 입력장치(603) 및 출력장치(604)는 버스(605) 또는 기타 형태를 통해 연결될 수 있으며, 도6은 버스(605)를 통해 연결되어 있는 예이다.
입력장치(603)는 입력된 디지털 또는 문자정보를 수신할 수 있고, 전송경로를 결정하기 위한 방법을 실행하는 전자기기의 사용자 설치 및 기능 제어에 관한 키신호 입력을 생성할 수 있으며, 예를 들어, 터치스크린, 키패드, 마우스, 트랙패드, 터치패드, 포인팅스틱, 1개 또는 여러개의 마우스버튼, 트랙볼, 조이스틱 등의 입력장치를 포함한다. 출력장치(604)는 디스플레이장치, 보조조명장치 (예를 들면, LED), 촉각피드백장치 (예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함하나 이에 한정되지 않는다. 일부 실시형태에 있어서, 디스플레이장치는 터치스크린일 수 있다.
여기에 설명한 시스템 및 기술의 각종 실시형태는 디지털 전자회로 시스템, 집적회로 시스템, 전용 ASIC (주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및 / 또는 이들의 조합으로 실현될 수 있다. 이러한 각종 실시형태는 다음을 포함할 수 있다. 즉 하나 이상의 컴퓨터 프로그램에서 실시되고, 해당 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그램 가능한 시스템에서 실행 및 / 또는 해석될 수 있고, 해당 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 스토리지 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터 및 명령을 수신하고, 데이터 및 명령을 해당 스토리지 시스템, 해당 적어도 하나의 입력장치 및 해당 적어도 하나의 출력장치에 전송할 수 있다.
이러한 컴퓨터 프로그램 (프로그램, 소프트웨어, 소프트웨어 응용 프로그램, 또는 코드라고도 한다)은 프로그래머블 프로세서의 기계 명령을 포함하며, 컴퓨터 프로그램을 고급 절차 및 / 또는 객체 지향 프로그래밍 언어, 및 / 또는 어셈블리 / 기계언어를 이용하여 실시할 수 있다. 본 명세서에 사용된 바와 같이, 용어 "기계 판독가능 매체" 및 "컴퓨터 판독가능 매체"는 기계 명령 및 / 또는 데이터를 프로그래머블 프로세서에 제공하는 모든 컴퓨터 프로그램 제품, 설비 및 / 또는 장치 (예를 들어, 자기 디스크, 광디스크, 메모리, 프로그래머블 로직 디바이스 (PLD))를 의미하며, 기계 판독 신호로서의 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 신호"는 기계 명령 및 / 또는 데이터를 프로그래머블 프로세서에 제공하는 모든 신호를 가리킨다.
사용자와의 상호작용을 제공하기 위해, 컴퓨터에서 명세서에 설명한 시스템 및 기술을 실시할 수 있으며, 상기 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치 (예를 들면, CRT (음극 레이 튜브) 또는 LCD (액정 디스플레이) 모니터), 그리고, 사용자가 컴퓨터에 입력을 제공하기 위한 키보드 및 포인팅 장치 (예를 들어, 마우스 또는 트랙볼)을 가진다. 다른 종류의 장치는 사용자와의 상호작용을 제공하기 위해 이용될 수 있으며, 예를 들어, 사용자에게 제공되는 피드백은 모든 형태의 감지 피드백 (예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백)이며, 모든 형태 (음향 입력, 음성 입력 또는 촉각 입력을 포함)로 사용자의 입력을 받을 수 있다.
본 명세서에 설명되는 시스템 및 기술은, 백엔드 구성요소를 포함하는 컴퓨팅 시스템 (예를 들어, 데이터 서버로), 또는 미들웨어 구성요소를 포함하는 컴퓨팅 시스템 (예를 들어, 응용 프로그램 서버), 또는 프런트 엔드 구성요소를 포함하는 컴퓨팅 시스템 (예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저가있는 사용자 컴퓨터는, 사용자가 해당 그래픽 사용자 인터페이스 또는 해당 웹 브라우저를 통해 본 명세서에서 설명하는 시스템 및 기술의 실시형태와 상호작용할 수 있다), 또는 이러한 백엔드 구성요소, 미들웨어 구성요소 또는 프런트 엔드 구성요소의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 또한, 시스템의 구성요소는 모든 형태 또는 매체의 디지털 데이터 통신 (예를 들어, 통신 네트워크)을 통해 서로 연결할 수 있다. 통신 네트워크의 예로서 로컬 영역 네트워크 (LAN), 광역 네트워크 (WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있으며, 보통 통신 네트워크를 통해 상호작용한다. 클라이언트와 서버 사이의 관계는, 대응하는 컴퓨터에서 운행되며 동시에 서로 클라이언트 - 서버 관계를 가지는 컴퓨터 프로그램에 의해 생성된다.
단계는 위에 나타낸 각종 형태의 프로세스를 사용하여 순서 변경하거나 추가하거나 또는 제거할 수 있다는 것을 이해하기 바란다. 본 출원이 공개하는 기술적수단의 바람직한 결과를 얻을 수만 있다면, 예를 들어, 본 출원에 기재된 각 단계는 병행하여 또는 순서대로 또는 부동한 순서로 실행될 수도 있으며, 본 명세서는 이에 대해 제한하지 않는다.
상술한 구체적인 실시형태는 본 출원의 보호범위를 제한하는 것은 아니다. 당업자는 설계요구 및 기타 요인에 따라 다양한 수정, 조합, 서브 조합 및 대체가 가능하다는 것을 이해해야 한다. 본 출원의 사상과 원칙의 범위내에서 실시된 모든 수정, 동등한 교환 및 개선 등은 모두 본 출원의 보호범위 내에 포함되어야 한다.

Claims (15)

  1. 압력 테스트 방법에 있어서,
    미리 설정된, 적어도 하나의 테스트 트래픽을 포함하는 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하는 단계와,
    상기 압력 테스트 요청에 응답하는 상기 서비스 시스템의 성능 모니터링 데이터를 취득하는 단계와,
    상기 미리 설정된 압력 테스트 구성 정보 및 상기 성능 모니터링 데이터에 근거하여 상기 서비스 시스템의 서비스 요청 용량 정보를 결정하는 단계를 포함하는, 압력 테스트 방법.
  2. 제1항에 있어서,
    상기 성능 모니터링 데이터는 상기 서비스 시스템의 응답 능력을 나타내는 표현 타입 모니터링 데이터를 포함하며,
    상기 미리 설정된 압력 테스트 구성 정보 및 상기 성능 모니터링 데이터에 근거하여 상기 서비스 시스템의 서비스 요청 용량 정보를 결정하는 단계는,
    상기 압력 테스트 구성 정보 중 최대의 테스트 요청 트래픽에 대한 상기 서비스 시스템의 표현 타입 모니터링 데이터가 해당 임계값 범위를 초과하지 않는 것으로 결정됨에 응답하여, 상기 서비스 시스템의 서비스 요청 용량 정보가 상기 최대의 테스트 요청 트래픽의 수요를 만족하는 것으로 결정하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 미리 설정된 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하는 단계는,
    각 테스트 요청 트래픽에 근거하여 상기 서비스 시스템에 압력 테스트 요청을 제기하는 단계를 포함하며,
    상기 성능 모니터링 데이터는, 상기 서비스 시스템 및 상기 서비스 시스템에 포함된 매개 서비스 모듈이 상기 압력 테스트 요청을 처리하는 자원 점유량을 나타내는 자원 타입 모니터링 데이터를 더 포함하며,
    상기 미리 설정된 압력 테스트 구성 정보 및 상기 성능 모니터링 데이터에 근거하여 상기 서비스 시스템의 서비스 요청 용량 정보를 결정하는 단계는,
    상기 압력 테스트 구성 정보 중 적어도 하나의 테스트 요청 트래픽에 대한 상기 서비스 시스템의 표현 타입 모니터링 데이터가 해당 임계값 범위를 초과하는 것으로 결정됨에 응답하여, 상기 테스트 요청 트래픽에 따른 상기 서비스 시스템의 각 서비스 처리 모듈의 상기 자원 타입 모니터링 데이터의 변화에 근거하여, 상기 서비스 시스템의 자원 병목 모듈을 결정하는 단계를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 압력 테스트 구성 정보 및 상기 성능 모니터링 데이터에 근거하여 상기 서비스 시스템의 서비스 요청 용량 정보를 결정하는 단계는,
    상기 자원 병목 모듈에 대응하는 자원 타입 모니터링 데이터에 근거하여 상기 서비스 시스템의 자원 확장 수요 정보를 추정하는 단계를 더 포함하는, 방법.
  5. 제1항에 있어서,
    상기 미리 설정된 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하는 단계는,
    각 테스트 요청 트래픽에 근거하여 상기 서비스 시스템에 압력 테스트 요청을 제기하는 단계를 포함하며,
    상기 성능 모니터링 데이터는, 상기 서비스 시스템 및 상기 서비스 시스템에 포함된 매개 서비스 모듈이 상기 압력 테스트 요청을 처리하는 자원 점유량을 나타내는 자원 타입 모니터링 데이터를 포함하며,
    상기 미리 설정된 압력 테스트 구성 정보 및 상기 성능 모니터링 데이터에 근거하여 상기 서비스 시스템의 서비스 요청 용량 정보를 결정하는 단계는,
    상기 테스트 요청 트래픽에 따른 상기 서비스 시스템의 각 서비스 처리 모듈의 상기 자원 타입 모니터링 데이터의 변화에 근거하여, 상기 서비스 시스템의 자원 병목 모듈을 결정하는 단계를 포함하는, 방법.
  6. 제1항에 있어서,
    상기 서비스 시스템의 사용자에 의해 구성된 상기 미리 설정된 압력 테스트 구성 정보를 취득하는 단계를 더 포함하는, 방법.
  7. 압력 테스트 장치에 있어서,
    미리 설정된, 적어도 하나의 테스트 트래픽을 포함하는 압력 테스트 구성 정보에 근거하여, 클라우드 서비스의 서비스 시스템에 압력 테스트 요청을 제기하도록 구성되는 요청유닛과,
    상기 압력 테스트 요청에 응답하는 상기 서비스 시스템의 성능 모니터링 데이터를 취득하도록 구성되는 취득유닛과,
    상기 미리 설정된 압력 테스트 구성 정보 및 상기 성능 모니터링 데이터에 근거하여 상기 서비스 시스템의 서비스 요청 용량 정보를 결정하도록 구성되는 결정유닛을 포함하는, 압력 테스트 장치.
  8. 제7항에 있어서,
    상기 성능 모니터링 데이터는 상기 서비스 시스템의 응답능력을 나타내는 표현 타입 모니터링 데이터를 포함하며,
    상기 결정유닛은, 상기 압력 테스트 구성 정보 중 최대의 테스트 요청 트래픽에 대한 상기 서비스 시스템의 표현 타입 모니터링 데이터가 해당 임계값 범위를 초과하지 않는 것으로 결정됨에 응답하여, 상기 서비스 시스템의 서비스 요청 용량 정보가 상기 최대의 테스트 요청 트래픽의 수요를 만족하는 것으로 결정하도록 구성되는 표현모듈을 포함하는, 장치.
  9. 제8항에 있어서,
    상기 요청유닛은 또한, 각 테스트 요청 트래픽에 근거하여 상기 서비스 시스템에 압력 테스트 요청을 제기하도록 구성되며,
    상기 성능 모니터링 데이터는, 상기 서비스 시스템 및 상기 서비스 시스템에 포함된 매개 서비스 모듈이 상기 압력 테스트 요청을 처리하는 자원 점유량을 나타내는 자원 타입 모니터링 데이터를 더 포함하며,
    상기 결정유닛은, 상기 압력 테스트 구성 정보 중 적어도 하나의 테스트 요청 트래픽에 대한 상기 서비스 시스템의 표현 타입 모니터링 데이터가 해당 임계값 범위를 초과하는 것으로 결정됨에 응답하여, 상기 테스트 요청 트래픽에 따른 상기 서비스 시스템의 각 서비스 처리 모듈의 상기 자원 타입 모니터링 데이터의 변화에 근거하여, 상기 서비스 시스템의 자원 병목 모듈을 결정하도록 구성되는 자원모듈을 더 포함하는, 장치.
  10. 제9항에 있어서,
    상기 결정유닛은,
    상기 자원 병목 모듈에 대응하는 자원 타입 모니터링 데이터에 근거하여 상기 서비스 시스템의 자원 확장 수요 정보를 추정하도록 구성되는 확장모듈을 더 포함하는, 장치.
  11. 제7항에 있어서,
    상기 요청유닛은 또한, 각 테스트 요청 트래픽에 근거하여 상기 서비스 시스템에 압력 테스트 요청을 제기하도록 구성되며,
    상기 성능 모니터링 데이터는, 상기 서비스 시스템 및 상기 서비스 시스템에 포함된 매개 서비스 모듈이 상기 압력 테스트 요청을 처리하는 자원 점유량을 나타내는 자원 타입 모니터링 데이터를 더 포함하며,
    상기 결정유닛은, 상기 테스트 요청 트래픽에 따른 상기 서비스 시스템의 각 서비스 처리 모듈의 상기 자원 타입 모니터링 데이터의 변화에 근거하여, 상기 서비스 시스템의 자원 병목 모듈을 결정하도록 구성되는 자원모듈을 포함하는, 장치.
  12. 제7항에 있어서,
    상기 서비스 시스템의 사용자에 의해 구성된 상기 미리 설정된 압력 테스트 구성 정보를 취득하도록 구성되는 구성유닛을 더 포함하는, 장치.
  13. 적어도 하나의 프로세서와,
    상기 적어도 하나의 프로세서에 통신가능하게 연결되는 메모리를 구비하는 전자기기로서,
    상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행되는 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서에 제1항 내지 제6항 중 어느 한 항에 기재된 방법을 실행하도록 구성되는 전자기기.
  14. 컴퓨터 명령이 저장되어 있는 비 일시적 컴퓨터 판독가능 저장매체로서,
    상기 컴퓨터 명령은 제1항 내지 제6항 중 어느 한 항에 기재된 방법을 상기 컴퓨터에 실행시키는 비 일시적 컴퓨터 판독 가능 저장매체.
  15. 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우 제1항 내지 제6항 중 어느 한 항에 기재된 방법을 구현하도록 하는 컴퓨터 프로그램.
KR1020210033285A 2020-06-05 2021-03-15 압력 테스트 방법, 장치, 전자기기 및 컴퓨터 판독가능 매체 KR20210040293A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010507220.9 2020-06-05
CN202010507220.9A CN111666197A (zh) 2020-06-05 2020-06-05 压力测试方法和装置、电子设备以及计算机可读介质

Publications (1)

Publication Number Publication Date
KR20210040293A true KR20210040293A (ko) 2021-04-13

Family

ID=72386855

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210033285A KR20210040293A (ko) 2020-06-05 2021-03-15 압력 테스트 방법, 장치, 전자기기 및 컴퓨터 판독가능 매체

Country Status (5)

Country Link
US (1) US20210383295A1 (ko)
EP (1) EP3920469A1 (ko)
JP (1) JP7312208B2 (ko)
KR (1) KR20210040293A (ko)
CN (1) CN111666197A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114124747A (zh) * 2021-10-15 2022-03-01 微梦创科网络科技（中国）有限公司 一种流量压测系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114504B (zh) * 2021-04-13 2022-08-30 百度在线网络技术（北京）有限公司 用于分配资源的方法、装置、设备、介质和产品
CN113608949A (zh) * 2021-08-11 2021-11-05 盐城金堤科技有限公司 压力测试方法和装置、以及存储介质和电子设备
CN114880182B (zh) * 2022-06-10 2024-01-02 中国电信股份有限公司 监控平台测试方法、装置、电子设备和可读存储介质
CN116450485B (zh) * 2023-06-09 2023-11-10 杭州谐云科技有限公司 一种应用性能干扰的检测方法和系统
CN116627747A (zh) * 2023-07-24 2023-08-22 北京微吼时代科技有限公司 服务器压力测试巡检方法、系统、电子设备及存储介质
CN116781591B (zh) * 2023-08-23 2024-01-02 国网信息通信产业集团有限公司 一种基于流量染色和透传技术的压力测试系统、压测终端及存储介质
CN117808275A (zh) * 2024-03-01 2024-04-02 江苏天创科技有限公司 一种基于acs可视化技术的靶场管理方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9477587B2 (en) * 2008-04-11 2016-10-25 Micron Technology, Inc. Method and apparatus for a volume management system in a non-volatile memory device
US20150058409A1 (en) * 2013-03-22 2015-02-26 Frank C. Wang Enhanced content delivery system and method spanning multiple data processing systems
US8977903B1 (en) * 2012-05-08 2015-03-10 Amazon Technologies, Inc. Scalable testing in a production system with autoshutdown
US8869157B2 (en) * 2012-06-21 2014-10-21 Breakingpoint Systems, Inc. Systems and methods for distributing tasks and/or processing recources in a system
US9300552B2 (en) * 2013-12-16 2016-03-29 International Business Machines Corporation Scaling a cloud infrastructure
WO2015149009A1 (en) * 2014-03-27 2015-10-01 Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
US20160008024A1 (en) * 2014-07-09 2016-01-14 Arapeen Medical, LLC Renal denervation with staged assessment
US9817737B2 (en) * 2014-09-16 2017-11-14 Spirent Communications, Inc. Systems and methods of building sequenceable test methodologies
WO2016048394A1 (en) * 2014-09-25 2016-03-31 Hewlett Packard Enterprise Development Lp Testing a cloud service
EP3224724A1 (en) * 2014-11-24 2017-10-04 Hewlett Packard Enterprise Development LP Application management based on data correlations
WO2017014823A2 (en) * 2015-05-04 2017-01-26 Hasan Syed Kamran Method and device for managing security in a computer network
US11953618B2 (en) * 2015-07-17 2024-04-09 Origin Research Wireless, Inc. Method, apparatus, and system for wireless motion recognition
US10388411B1 (en) * 2015-09-02 2019-08-20 Life365, Inc. Device configured for functional diagnosis and updates
CN108009017B (zh) * 2016-11-01 2022-02-18 阿里巴巴集团控股有限公司 一种应用链路的扩容方法、装置和系统
WO2018118128A1 (en) * 2016-12-22 2018-06-28 Eaton Corporation High efficiency, high output transmission
CN107547261B (zh) * 2017-07-24 2020-10-27 华为技术有限公司 云平台性能测试方法及装置
CN107976342B (zh) * 2017-11-20 2019-07-02 浙江大学 采样制样系统及采样制样方法
CN108376112B (zh) * 2018-02-09 2021-03-26 腾讯科技（深圳）有限公司 压力测试方法、装置及可读介质
CN109412829B (zh) * 2018-08-30 2020-11-17 华为技术有限公司 一种资源配置的预测方法及设备
CN109660421A (zh) * 2018-10-26 2019-04-19 平安科技（深圳）有限公司 弹性调度资源的方法、装置、服务器及存储介质
CN109460348B (zh) * 2018-10-31 2022-02-22 网易（杭州）网络有限公司 游戏服务器的压测方法和装置
US20210133669A1 (en) * 2019-11-05 2021-05-06 Strong Force Vcn Portfolio 2019, Llc Control tower and enterprise management platform with robotic process automation layer to automate actions for subset of applications benefitting value chain network entities

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114124747A (zh) * 2021-10-15 2022-03-01 微梦创科网络科技（中国）有限公司 一种流量压测系统
CN114124747B (zh) * 2021-10-15 2024-04-30 微梦创科网络科技（中国）有限公司 一种流量压测系统

Also Published As

Publication number Publication date
CN111666197A (zh) 2020-09-15
JP2022003507A (ja) 2022-01-11
EP3920469A1 (en) 2021-12-08
JP7312208B2 (ja) 2023-07-20
US20210383295A1 (en) 2021-12-09

Similar Documents

Publication Publication Date Title
KR20210040293A (ko) 압력 테스트 방법, 장치, 전자기기 및 컴퓨터 판독가능 매체
US10831583B2 (en) Reporting errors to a data storage device
CN110765024B (zh) 模拟测试方法、装置、电子设备和计算机可读存储介质
US9229766B2 (en) Mainframe virtualization
US9584364B2 (en) Reporting performance capabilities of a computer resource service
US10680896B2 (en) Virtualized network function monitoring
US10558541B1 (en) Agent-based monitoring of network resources
CN108768730B (zh) 用于操作智能网卡的方法和装置
US9122793B2 (en) Distributed debugging of an application in a distributed computing environment
US9948524B2 (en) Network element diagnostic evaluation
US10489005B2 (en) Usability analysis for user interface based systems
Kim et al. Towards virtualized and automated software performance test architecture
US10367705B1 (en) Selecting and configuring metrics for monitoring
CN107977256A (zh) 一种对fpga加速卡的访问方法、装置及介质
JP2022033685A (ja) 堅牢性を確定するための方法、装置、電子機器、コンピュータ可読記憶媒体、及びコンピュータプログラム
US11294719B2 (en) Generating metrics for quantifying computing resource usage based on cost and utilization of virtualized services and optimizing performance through virtualized service migration
US10027692B2 (en) Modifying evasive code using correlation analysis
US10476766B1 (en) Selecting and configuring metrics for monitoring
US20190332393A1 (en) Mainframe system structuring
CN113032237A (zh) 数据处理方法及装置、电子设备和计算机可读存储介质
US10169029B2 (en) Pattern based migration of integration applications
US10475111B1 (en) Selecting and configuring metrics for monitoring
US11954506B2 (en) Inspection mechanism framework for visualizing application metrics
US11907099B2 (en) Performance evaluation method using simulated probe data mapping
US10884789B2 (en) Process tracking

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application