WO2015137604A1 - 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템 - Google Patents

클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템 Download PDF

Info

Publication number
WO2015137604A1
WO2015137604A1 PCT/KR2014/012350 KR2014012350W WO2015137604A1 WO 2015137604 A1 WO2015137604 A1 WO 2015137604A1 KR 2014012350 W KR2014012350 W KR 2014012350W WO 2015137604 A1 WO2015137604 A1 WO 2015137604A1
Authority
WO
WIPO (PCT)
Prior art keywords
test
cloud streaming
test result
server
streaming server
Prior art date
Application number
PCT/KR2014/012350
Other languages
English (en)
French (fr)
Inventor
배태면
나현식
윤홍서
양중근
김종현
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140028006A external-priority patent/KR101997540B1/ko
Priority claimed from KR1020140028005A external-priority patent/KR101997649B1/ko
Priority claimed from KR1020140064380A external-priority patent/KR102058365B1/ko
Priority claimed from KR1020140064377A external-priority patent/KR102119248B1/ko
Priority claimed from KR1020140067781A external-priority patent/KR102059376B1/ko
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to CN201480077093.6A priority Critical patent/CN106105242B/zh
Priority to US15/123,213 priority patent/US10313207B2/en
Priority to EP14885807.9A priority patent/EP3119093B1/en
Priority to JP2016556717A priority patent/JP6383799B2/ja
Publication of WO2015137604A1 publication Critical patent/WO2015137604A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests

Definitions

  • the present invention relates to a method for testing a cloud streaming server, an apparatus and a system therefor. It relates to a cloud streaming server test method, apparatus and system for this.
  • the present invention is Korean Patent Application No. 10-2014-0028005 filed March 10, 2014, Korea Patent Application No. 10-2014-0028006 filed March 10, 2014, Korea filed May 28, 2014 Benefits of Patent Application No. 10-2014-64377, Korean Patent Application No. 10-2014-0064380 Filed May 28, 2014 and Korean Patent Application No. 10-2014-0067781 Filed June 3, 2014 Claims, all of which are hereby incorporated by reference.
  • Cloud computing refers to Internet-based computer technology, and it is a user environment where a user can use the Internet at any time without installing the necessary software on his computer and can easily share data with various information communication devices. This means that individuals can access the web and work on programs like Photoshop and Office, and save their work on the web. Eventually, only one server (computer) is placed in the virtual space, and many people can personally work through these computers. A real-time seat reservation system for banks' ATMs, aircraft, and trains is typical.
  • the service or function is executed through a server based on cloud computing, and only the result screen of the execution is sent to the user's terminal using streaming technology.
  • the user can use a service or a function requiring high specification or high function through the terminal.
  • a technology that enables a user terminal to use various services or functions through a screen virtualization technology that executes a specific service or function according to a request of the user terminal and transmits the result to the user terminal is called a cloud streaming service.
  • the present invention has been proposed to solve the above-described problems, and to provide a method for testing a cloud streaming server, an apparatus and a system therefor, which can test whether a server providing a cloud streaming service operates normally.
  • an object of the present invention is to provide a test result screen from a plurality of cloud streaming servers to detect failures occurring in a cloud streaming server by comparing them with each other, and then test the screen by capturing a test result screen after masking on an animated part. To prevent it.
  • an object of the present invention is to provide a test result screen from a plurality of cloud streaming server, if the failures found when compared with each other more than a predetermined number, by changing the reference server to prevent the test results are distorted due to the failure of the reference server It is.
  • an object of the present invention is to provide a test result screen from a plurality of cloud streaming server to compare with each other to detect a failure occurred in the cloud streaming server and at the same time detect a connection error to the cloud streaming server, operating error of the cloud streaming server And test for connection errors together.
  • an object of the present invention is to provide a test result screen from a plurality of cloud streaming server to compare with each other to detect failures occurring in the cloud streaming server, to prevent the test error by capturing the test result screen at an appropriate timing.
  • an object of the present invention is to receive a test result screen from a plurality of cloud streaming server to compare with each other in detecting a failure in the cloud streaming server, cloud application common test script key input that can generate the same common screen
  • cloud application common test script key input that can generate the same common screen
  • a cloud streaming server test apparatus comprising: virtual client modules configured to receive test results corresponding to a predetermined test script key input from cloud streaming servers to generate test result videos; A comparator for masking the test result videos to generate masked videos and comparing the test result images generated by capturing the masked videos; And a test controller to determine whether any one or more of the cloud streaming servers fail according to the comparison result.
  • the comparator may mask a portion to which the animation effect is applied among the test result videos.
  • the comparison unit determines a reference server among the cloud streaming servers, captures and generates a test result image generated by capturing a masked video corresponding to the reference server, and masked videos corresponding to other cloud streaming servers.
  • the test results images can be compared.
  • the test controller may determine that the corresponding cloud streaming server does not have a failure when the two images to be compared match each other, and may determine that the corresponding cloud streaming server has a failure when the two images do not coincide with each other.
  • test result images corresponding to other cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • the cloud streaming server test method comprises the steps of: receiving test results corresponding to a predetermined test script key input from the cloud streaming servers to generate test result videos; Masking the test result videos to generate masked videos; Comparing the test result images generated by capturing the masked videos; And determining whether any one or more of the cloud streaming servers fail according to the comparison result.
  • the generating of the masked video may mask a portion of the test result videos to which an animation effect is applied.
  • the comparing may include selecting a reference server among the cloud streaming servers, capturing a test result image generated by capturing a masked video corresponding to the reference server, and capturing masked videos corresponding to other cloud streaming servers.
  • the test result images generated can be compared.
  • the step of determining whether or not a failure if the two images to be compared with each other as a result of the comparison, the corresponding cloud streaming server may determine that there is no failure, if the two images do not match each other may determine that there is a failure in the cloud streaming server. .
  • test result images corresponding to other cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • the test system of the cloud streaming server for transmitting test results corresponding to the predetermined test script key input for the failure test; And a test device for masking the test result videos to generate masked videos, and comparing the test result images generated by capturing the masked videos to determine whether one or more of the cloud streaming servers are in a state of failure. do.
  • Cloud streaming server test apparatus for achieving the above object is a virtual to receive test results corresponding to a predetermined test script key input from the cloud streaming server to generate test result videos Client modules; A comparison unit comparing the test result image generated by capturing a test result video corresponding to a reference server, which is one of the cloud streaming servers, and the test result image generated by capturing test result videos corresponding to other cloud streaming servers. ; And a test controller to determine whether any one or more of the cloud streaming servers have failed according to the comparison result, and to change the reference server when a change condition of the reference server is satisfied.
  • the test controller may determine that the corresponding cloud streaming server does not have a failure when the two images to be compared match each other, and may determine that the corresponding cloud streaming server has a failure when the two images do not coincide with each other.
  • test result images corresponding to the other cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • the change condition of the reference server may be a condition in which the number of cloud streaming servers that are determined to have the failure among the other cloud streaming servers is equal to or greater than a predetermined reference value.
  • the number of cloud streaming servers determined to be faulty before changing the reference server is greater than the number of cloud streaming servers determined to be faulty after changing the reference server, It can be determined that there is a failure in the reference server before the change.
  • a method of changing a reference server for testing a cloud streaming server includes: generating, by the virtual client modules, test result videos received from cloud streaming servers to generate test result videos; Comparing a test result image generated by capturing a test result video corresponding to one of the cloud streaming servers and a test result image captured by capturing test result videos corresponding to other cloud streaming servers; Determining that at least one of the cloud streaming servers has a failure according to the comparison result; And changing the reference server when the change condition of the reference server is satisfied.
  • test result images corresponding to other cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • the reference server change method the number of cloud streaming servers determined to have a failure before changing the reference server, the predetermined number more than the number of cloud streaming servers determined to have a failure after changing the reference server.
  • the method may further include determining that the reference server before the change has a failure.
  • the step of determining that the failure has occurred may be determined that the failure occurred based on the mismatch between the two images to be compared, as a result of the comparison.
  • a test system of a cloud streaming server includes: cloud streaming servers transmitting test results corresponding to a predetermined test script key input for a failure test; And comparing the test result image generated by capturing a test result video corresponding to a reference server, which is one of the cloud streaming servers, with the test result image captured by capturing test result videos corresponding to other cloud streaming servers. And a test device for determining whether one or more of the cloud streaming servers fail, and for changing the reference server when a change condition of the reference server is satisfied.
  • a computer-readable recording medium recording a program for executing the method of changing the reference server for testing the above-described cloud streaming server.
  • Cloud streaming server test apparatus for achieving the above object is a virtual to receive test results corresponding to a predetermined test script key input from the cloud streaming server to generate test result videos Client modules; A test result image generated by detecting a connection error between the virtual client modules and the cloud streaming servers and capturing a test result video corresponding to a reference server which is one of the cloud streaming servers, and other cloud streaming servers.
  • a test unit configured to compare test result images generated by capturing test result videos corresponding to the test result images; And a test controller to determine whether any one or more of the cloud streaming servers fail according to the comparison result and the connection error detection result.
  • the test controller may determine that the corresponding cloud streaming server does not have a failure when the two images to be compared match each other, and may determine that the corresponding cloud streaming server has a failure when the two images do not coincide with each other.
  • test result images corresponding to the other cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • connection error may include at least one of a connection attempt failure of any one of the cloud streaming servers of any one of the client modules and a transmission failure of the test result.
  • the test unit may not perform a comparison test with the reference server for the cloud streaming server corresponding to the connection error.
  • the test controller may generate a failure report by distinguishing a failure corresponding to a comparison result in which the two compared images do not match and a failure corresponding to the connection error.
  • a method of testing a cloud streaming server includes: generating, by a virtual client modules, test result videos by receiving test results transmitted from cloud streaming servers; Detecting a connection error between the virtual client modules and the cloud streaming servers; Comparing a test result image generated by capturing a test result video corresponding to one of the cloud streaming servers and a test result image captured by capturing test result videos corresponding to other cloud streaming servers; And determining that at least one of the cloud streaming servers has a failure according to the comparison result and the connection error detection result.
  • test result images corresponding to other cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • connection error may include any one or more of a connection attempt failure of any one of the client modules, one of the cloud streaming servers, and a transmission failure of the test result.
  • the cloud streaming server test method may not perform a comparison test with the reference server for the cloud streaming server corresponding to the connection error.
  • the determining of the occurrence of a failure may generate a failure report by distinguishing a failure corresponding to a comparison result in which two images to be compared do not match and a failure corresponding to the connection error.
  • a test system of a cloud streaming server includes: cloud streaming servers transmitting test results corresponding to a predetermined test script key input for a failure test; And a test result image generated by detecting a connection error to the cloud streaming servers, capturing a test result video corresponding to a reference server which is one of the cloud streaming servers, and a test result corresponding to other cloud streaming servers. And a test device for comparing the test result images generated by capturing the videos to determine whether one or more of the cloud streaming servers have failed.
  • a computer-readable recording medium recording a program for executing the above-described cloud streaming server test method.
  • Cloud streaming server test apparatus for achieving the above object, to generate test result videos by receiving test results corresponding to a predetermined test script key input from the cloud streaming servers Virtual client modules; After the test result image and the test result video corresponding to the other cloud streaming servers generated by capturing the test result video corresponding to the reference server which is one of the cloud streaming servers after the steady state condition is satisfied A comparator for capturing and comparing the test result images; And a test controller to determine whether any one or more of the cloud streaming servers fail according to the comparison result.
  • the steady state condition may be an elapsed condition of a preset time determined in correspondence with the preset test script key input.
  • the steady state condition may be determined differently according to the preset test script key input.
  • the test controller may determine that the corresponding cloud streaming server does not have a failure when the two images to be compared match each other, and may determine that the corresponding cloud streaming server has a failure when the two images do not coincide with each other.
  • test result images corresponding to other cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • a method of testing a cloud streaming server includes: generating, by a virtual client modules, test result videos by receiving test results transmitted from cloud streaming servers; Determining whether a steady state condition is satisfied; If the steady state condition is satisfied, capturing test result videos corresponding to the reference server which is one of the cloud streaming servers and test result videos corresponding to the other cloud streaming servers to generate test result images; Comparing the test result image generated by capturing a test result video corresponding to the reference server with the test result image generated by capturing the other cloud streaming servers; And determining that at least one of the cloud streaming servers has a failure according to the comparison result.
  • the steady state condition may be an elapsed condition of a preset time determined in correspondence with the preset test script key input.
  • the steady state condition may be determined differently according to the preset test script key input.
  • the test controller may determine that the corresponding cloud streaming server does not have a failure when the two images to be compared match each other, and may determine that the corresponding cloud streaming server has a failure when the two images do not coincide with each other.
  • test result images corresponding to other cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • a test system of a cloud streaming server includes: cloud streaming servers transmitting test results corresponding to a predetermined test script key input for a failure test; And a test result image generated by capturing a test result video corresponding to a reference server, which is one of the cloud streaming servers, after satisfying a steady state condition, and test result videos corresponding to other cloud streaming servers after satisfying the steady state condition. And a test device for determining whether one or more of the cloud streaming servers have failed by comparing captured test result images.
  • Cloud streaming server test apparatus transmits a common test script key input corresponding to the common screen to the cloud streaming server, the cloud streaming server from the Virtual client modules for receiving test results corresponding to a common test script key input to generate test result videos;
  • a comparison unit comparing the reference result image corresponding to the common screen with one or more of test result images generated by capturing test result videos corresponding to the cloud streaming servers;
  • a test controller to determine whether any one or more of the cloud streaming servers fail according to the comparison result.
  • the common test script key input may allow two or more different applications to generate the same common screen.
  • the common screen may be a screen without animation effects.
  • the test controller may determine that the corresponding cloud streaming server does not have a failure when the two images to be compared match each other, and may determine that the corresponding cloud streaming server has a failure when the two images do not coincide with each other.
  • test result images corresponding to cloud streaming servers may be captured at the same time point as the reference result image.
  • Cloud streaming server test method the virtual client module, generating a common test script key input corresponding to the common screen;
  • the virtual client modules receiving test results sent from cloud streaming servers in response to the common test script key input to generate test result videos; Comparing the reference result image corresponding to the common screen with one or more of the test result images generated by capturing the test result videos; And determining that at least one of the cloud streaming servers has a failure according to the comparison result.
  • the common test script key input may allow two or more different applications to generate the same common screen.
  • the common screen may be a screen without animation effects.
  • test result images corresponding to cloud streaming servers may be captured at the same time point as the reference result image.
  • the cloud streaming server may determine that there is no failure, if the two images do not match each other may determine that the failure in the cloud streaming server. .
  • the cloud streaming server for transmitting test results corresponding to the common test script key input corresponding to the common screen for the failure test; And comparing one or more of reference result images corresponding to the common screen with test result images generated by capturing test result videos corresponding to the cloud streaming servers to determine whether one or more of the cloud streaming servers has failed. It includes a test device.
  • At least one virtual client module having at least some functions identical to a real client terminal is provided, and a predetermined test result transmitted from at least one cloud streaming server.
  • determining whether or not the cloud streaming server is operating normally there is an advantage that it is easier to detect the failure of the cloud streaming server.
  • the present invention by detecting the failure of the server providing the cloud streaming service in advance, it is possible to provide a stable cloud streaming service, there is an excellent effect that can improve the service quality.
  • the present invention after masking the animation effect portion of the test result video, the result screen is captured and compared with each other, the error occurs in the test result, such as reported that there is a failure even in the normal operation of the same service screen Can be prevented.
  • the present invention can appropriately change the reference server for the cloud streaming server test to prevent the error propagation of the test result when a failure occurs in the reference server.
  • the present invention receives a test result screen from a plurality of cloud streaming server to compare with each other to detect a failure in the cloud streaming server and at the same time detect a connection error to the cloud streaming server, connected to the operation error of the cloud streaming server You can test the error together.
  • the present invention captures the result screens and compares them with each other to generate an error in the test result due to screen capture at inappropriate timing. Can be prevented.
  • two or more applications can generate a common screen and send a common test script keystroke that can generate an execution result screen without animation to the cloud streaming server for testing, thereby improving the efficiency of the cloud streaming server test. Increase and minimize test errors.
  • FIG. 1 is a diagram illustrating a test system of a cloud streaming server according to an exemplary embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a cloud streaming server test apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a configuration of a virtual client module for receiving and processing test results according to an exemplary embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a test process in a test system of a cloud streaming server according to an exemplary embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a cloud streaming server test method according to an exemplary embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a test process in a test system of a cloud streaming server according to an exemplary embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of changing a reference server for testing a cloud streaming server according to an exemplary embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a cloud streaming server test apparatus according to another embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a test process in a test system of a cloud streaming server according to an exemplary embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a cloud streaming server test method according to an exemplary embodiment of the present invention.
  • FIG. 11 is a timing diagram illustrating capture timing of a cloud streaming server test method according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a test process in a test system of a cloud streaming server according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a cloud streaming server test method according to an exemplary embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating a test process in a test system of a cloud streaming server according to an embodiment of the present invention.
  • 15 is a flowchart illustrating a cloud streaming server test method according to an exemplary embodiment of the present invention.
  • FIG. 1 is a diagram showing the configuration of a test system for a cloud streaming service according to an embodiment of the present invention.
  • the cloud streaming system to which the present invention is applied includes a plurality of clients 100, 101, and 102 and a plurality of cloud streaming servers 130, 140, and 150 connected through a communication network 110.
  • the present invention is connected to the plurality of cloud streaming server (130, 140, 150) through the communication network 110 to test whether the cloud streaming system operates normally, at least some of the functions of the client (100, 101, 102)
  • the apparatus may further include a test device 120 including a virtual client module to perform the operation.
  • test device 120 including three cloud streaming servers 130, 140, and 150 and three virtual client modules is illustrated, but the number of cloud streaming servers and the number of virtual client modules are limited thereto. It can be implemented in various combinations according to needs and designs.
  • the clients 100, 101, and 102 refer to terminals capable of transmitting and receiving various data via the communication network 110.
  • the clients 100, 101, and 102 are connected to the cloud streaming servers 130, 140, and 150 to provide cloud streaming services.
  • the clients 100, 101, and 102 may be a tablet PC, a laptop, a personal computer, a smartphone, a personal digital assistant (PDA). Assistant), a smart TV, a mobile communication terminal, and a set-top box.
  • PDA personal digital assistant
  • the client (100, 101, 102) is operated and controlled by executing a browser, a memory for storing a program and a protocol for communicating with the cloud streaming server (130, 140, 150) via the communication network 110, various programs Means a terminal provided with a microprocessor for the purpose. That is, the clients 100, 101, and 102 may be any terminals as long as they can communicate with the cloud streaming servers 130, 140, and 150, and may include all communication computing devices such as notebook computers, mobile communication terminals, and PDAs. It's a broad concept.
  • the client 100, 101, 102 accesses the cloud streaming server 130, 140, 150 to request a specific service or function according to a user input, and the result of executing the requested service or function.
  • the screen may be received and output from the cloud streaming server 130, 140, or 150.
  • the cloud streaming server 130, 140, 150 is a configuration that provides a specific service or function to the plurality of clients 100, 101, and 102 through the communication network 110, and in particular, may provide a cloud streaming service.
  • the cloud streaming server 130, 140, 150 may provide a service or function, for example, regardless of OS type, CPU performance, memory capacity, or other software and hardware specifications of the client 100, 101, or 102.
  • a service or a function according to a user input transmitted from the client 100, 101, 102 is performed, and as a result, a screen is displayed on the client 100, 101. , 102).
  • the cloud streaming server (130, 140, 150) may have a screen virtualization function.
  • the cloud streaming server (130, 140, 150) receives a predetermined test script key input in order to test whether the normal operation (that is, failure) test results (test result screen generated based on this) ) May be transmitted to each virtual client module of the test device 120.
  • the communication network 110 refers to a network capable of transmitting and receiving data using an internet protocol using various wired and wireless communication technologies such as an internet network, an intranet network, a mobile communication network, and a satellite communication network.
  • a communication network 110 is a closed network such as a local area network (LAN), a wide area network (WAN), an open network such as the Internet, as well as a code division multiple access (CDMA) and a wideband code division (WCDMA). It is a concept that collectively refers to networks such as Multiple Access (GSM), Global System for Mobile Communications (GSM), Long Term Evolution (LTE), and Evolved Packet Core (EPC), as well as next-generation networks and computing networks to be implemented.
  • GSM Multiple Access
  • GSM Global System for Mobile Communications
  • LTE Long Term Evolution
  • EPC Evolved Packet Core
  • the test device 120 is a device for testing whether the cloud streaming servers 130, 140, and 150 operate normally.
  • the test device 120 includes at least one virtual client module having at least some functions of the clients 100, 101, and 102.
  • the test device 120 receives the test result received from the at least one cloud streaming server 130, 140, or 150 as the at least one virtual client module. Captures the output result image when the data is processed and outputs it to the screen, and compares the captured result image with a preset reference result image to determine whether the at least one cloud streaming server has failed according to a degree of matching. . More specifically, the test device 120 captures a predetermined time when the at least one virtual client module performs data processing such as decoding on a test result received from a specific cloud streaming server 130 and then outputs it to a screen. The result image output at the time point is compared with a preset reference result image (the reference result image may correspond to one of the cloud streaming servers under test).
  • the corresponding cloud streaming server 130 may fail. It is determined that the cloud streaming server does not operate normally, and if it matches with each other, the cloud streaming server 130 is determined to operate normally. However, before capturing the result image, the test result video may be masked to generate a masked video, and the masked videos may be captured to generate a result image. In this case, the capture time may be set based on a time point at which the test result is transmitted from the at least one cloud streaming server 130, 140, or 150, and may be stored in advance in the test device 120.
  • capture may be performed after satisfying the steady state conditions of the test result video. That is, after the test key script input is transmitted to the cloud streaming server 130, 140, 150, the final test result screen is generated according to the transmission time of the key script input or the operation speed of the cloud streaming server 130, 140, 150. Since the time taken may differ from each other, when the steady state result screen is transmitted from all the cloud streaming servers 130, 140, and 150 after sufficient time has elapsed, the test result screen should be captured to obtain an error-free test result.
  • the test apparatus 120 transmits a common test script key input corresponding to the common screen to the cloud streaming servers 130, 140, and 150, and common test scripts from the cloud streaming servers 130, 140, and 150. Test results corresponding to keystrokes can be received.
  • the common test script key input may allow two or more different applications to generate the same common screen.
  • the common screen may be a screen without animation effects.
  • the test device 120 masks the masked video by masking a portion of the test result videos generated by the cloud streaming servers 130, 140, and 150 that are animated and applied regardless of key input.
  • the reference server 130 may be changed to another server 140 or 150.
  • the test device 120 captures a test result video corresponding to the reference server 130, which is one of the cloud streaming servers 130, 140, and 150, and the other test results.
  • the reference server 130 By comparing test result images generated by capturing test result videos corresponding to 140 and 150, it is determined whether one or more of the cloud streaming servers 130, 140, and 150 have failed, and a change of the reference server 130 is performed. If it is determined to be necessary (satisfaction of the change condition), the reference server 130 may be changed to another server 140 or 150.
  • the test apparatus 120 may include a test result image generated by capturing a test result video corresponding to a reference server 130, which is one of the cloud streaming servers 130, 140, and 150, after satisfying a steady state condition, and By comparing test result images generated by capturing test result videos corresponding to other cloud streaming servers 140 and 150 after satisfying the steady-state condition, it is determined whether one or more of the cloud streaming servers 130, 140, and 150 have failed. If it is determined that the reference server 130 needs to be changed (satisfied with the change condition), the reference server 130 may be changed to another server 140 or 150.
  • the steady state condition may be a condition of passage of a predetermined time determined in correspondence with a preset test script key input.
  • the steady state condition may be determined differently according to the preset test script key input. In other words, if the test script key input is long, the steady state condition may also be changed corresponding to the long input processing.
  • the change condition may be a condition in which the number of cloud streaming servers that are determined to be faulty among the cloud streaming servers is equal to or greater than a predetermined reference value.
  • the test device 120 may detect a connection error to the cloud streaming servers 130, 140, and 150. For example, the test device 120 does not receive a connection attempt failure to the cloud streaming servers 130, 140, and 150, or the test result is not received from the cloud streaming servers 130, 140, and 150 for a preset time. If not, it can be determined as a connection error. That is, when the client module attempts to connect to the cloud streaming server and fails, or when the cloud streaming service screen is not transmitted from the cloud streaming server, the test device 120 separately detects a connection failure from the test through screen comparison. Can be notified.
  • the test apparatus 120 may generate a masked video by masking a portion of the test result video to which an animation effect is applied, and compare the test result image with the masked video captured.
  • the virtual client modules receive test results from different cloud streaming servers, and at least one virtual client module receives test results from different cloud streaming servers and outputs the result image as a reference result image.
  • the comparison is to determine whether the cloud streaming server is operating normally according to the comparison result. That is, it is to determine whether the cloud streaming server 130, 140, 150 operates normally based on the screen image provided to the user by the actual clients 100, 101, and 102.
  • the same input is masked and compared with an animated region where a difference in results may occur depending on a capture time point.
  • the test device 120 may request the transmission of test results to the at least one cloud streaming server (130, 140, 150) at the same time, each cloud streaming server (130, 140, 150) in accordance with the request signal May transmit the test result.
  • a virtual client module to receive and process test results transmitted from at least one cloud streaming server 130, 140, or 150 may be preset. That is, at least one cloud streaming server 130, 140, 150 and at least one virtual client module may be mapped one-to-one or many-to-one.
  • the test device 120 may also transmit information on the virtual client module to receive it, and also, the virtual client When the module is mapped with more than one cloud streaming server, the request point of the test result transmission to the at least one cloud streaming server (130, 140, 150) to receive and process the test results sequentially from the more than one cloud streaming server Can be adjusted.
  • test apparatus 120 The configuration of the test apparatus 120 according to an exemplary embodiment of the present invention will be described in detail with reference to FIGS. 2 and 3 attached to the system configured as described above.
  • the test apparatus 120 includes a test controller 200, a storage 210, a comparator 220, an input 230, an output 240, and at least one virtual client module 250. , 252 and 254). Although the number of the virtual client modules 250, 252, and 254 is illustrated as three in this embodiment, the number of the virtual client modules 250, 252, and 254 may be changed according to system operation.
  • the test control unit 200 performs all the controls necessary for determining whether or not the failure of the cloud streaming server (130, 140, 150), and when a request for determining whether the failure is made through the comparison unit 220, that is, by the test result
  • the failure of the cloud streaming server is determined based on whether the captured image of the output screen matches the predetermined reference result image.
  • the failure determination request time point may be a point in which the reception of the test result is detected by the virtual client modules 250, 252, and 254 and the reception is completed, or a point in which a failure determination request input is received through the input unit 230. It may be a time point according to a predetermined period. As such, a request for determining whether a failure occurs will occur depending on the configuration.
  • the reference result image may be stored in advance, the result image output from the specific virtual client module among the at least one virtual client module 250, 252, 254 may be set as the reference result image.
  • the test controller 200 changes the reference server to another cloud streaming server.
  • the test result may be that all the servers in normal operation have failed as a result of comparing the reference server. If the reference server is properly changed, such a case may be prevented.
  • the test controller 200 may determine that the corresponding cloud streaming server does not have a failure when the two images to be compared match each other, and may determine that the corresponding cloud streaming server has a failure when the two images do not coincide with each other.
  • the test control unit 200 is more than the predetermined number of cloud streaming servers determined to have a failure before changing the reference server more than the predetermined number of cloud streaming servers determined to have a failure after changing the reference server. In this case, it may be determined that there is a failure in the reference server before the change.
  • the storage unit 210 may store information necessary for the operation of the test apparatus 120.
  • the storage unit 210 stores capture time point information for capturing the test result video in order to capture the result video for the test result transmitted from the at least one cloud streaming server 130, 140, or 150 at the same time. At this time, the capture time point may be after a steady state condition is satisfied for all cloud streaming servers.
  • the storage unit 210 may store basic information about a test result transmitted from the cloud streaming server, and in particular, may store in advance a reference image of a specific time point, which is a reference for determining whether or not the cloud streaming server has a failure.
  • the storage unit 210 may be an optical recording medium such as a magnetic media such as a hard disk, a floppy disk, and a magnetic tape, a compact disk read only memory (CD-ROM), or a digital video disk (DVD). And magneto-optical media such as floppy disks and ROM, random access memory (RAM), and flash memory.
  • a magnetic media such as a hard disk, a floppy disk, and a magnetic tape, a compact disk read only memory (CD-ROM), or a digital video disk (DVD).
  • CD-ROM compact disk read only memory
  • DVD digital video disk
  • magneto-optical media such as floppy disks and ROM, random access memory (RAM), and flash memory.
  • the comparator 220 may request delivery of a test result video received from each of the virtual client modules 250, 252, and 254 under the control of the test controller 200, and output to the screen.
  • the masking is performed on the portion to generate a masked video, and the test result image generated by capturing the masked video is compared with the reference result image, and then the comparison result is output to the test controller 200.
  • the comparison unit 220 may further perform a process of setting the reference result image. That is, the comparison unit 220 is generated by capturing a test result image generated by capturing a masked video corresponding to a reference server, which is one of the cloud streaming servers, and test result videos corresponding to other cloud streaming servers. The test result images can be compared.
  • test result images corresponding to other cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • the capture time point may be after satisfying a steady state condition for all cloud streaming servers.
  • the input unit 230 may generate a user input signal corresponding to a request or information of the cloud streaming server manager according to an operation of the cloud streaming server manager, and may be implemented by various input means that are currently commercialized or that can be commercialized in the future. For example, it may include not only a general input device such as a keyboard, a mouse, a joystick, a touch screen, a touch pad, but also a gesture input means for detecting a user's motion and generating a specific input signal.
  • a general input device such as a keyboard, a mouse, a joystick, a touch screen, a touch pad, but also a gesture input means for detecting a user's motion and generating a specific input signal.
  • the output unit 240 is a means for providing a user recognition of the operation result or state of the test apparatus 120.
  • the output unit 240 includes a display unit for visually outputting a screen or a speaker for outputting an audible sound. can do.
  • the output unit 240 may visually output a result image processed and output from the at least one virtual client module 250, 252, 254, and also outputs the result image and the reference result image. It can be output by comparing or displaying the result of the failure of the cloud streaming server.
  • the virtual client modules 250, 252, and 254 are virtualized clients 100, 101, and 102 that receive the cloud streaming service by accessing the cloud streaming servers 130, 140, and 150, and are the actual clients 100, 101. , 102 may perform at least some of the functions.
  • the virtual client modules 250, 252, and 254 access the specific cloud streaming servers 130, 140, and 150 to receive respective test results from the specific cloud streaming servers 130, 140, and 150.
  • the test result video may be generated by performing the same processing (for example, decoding, etc.) with the client 100, 101, and 102 on the received test result, and output the test result video to the screen through the output unit 240. .
  • the virtual client modules 250, 252, and 254 may capture a result image output to the screen at a specific time point and transmit the result image to the comparator 220 according to a result image request of the comparator 220.
  • the capture time may be received from the comparator 220 or may be stored in advance.
  • the capture of the resulting image may be done, for example, by capturing image data stored in the frame buffer of the virtual client module 250, 252, 254.
  • generating the test result image by capturing the test result video may be performed by the comparator 220.
  • the virtual client module 250, 252, 254 provides a test script key input to the cloud streaming server, receives a test result corresponding to the test script key input from the cloud streaming server, and decodes the test result to generate a test result video.
  • the test result may be viewed as encoded streaming video
  • the test result video may be viewed as decoded streaming video.
  • the virtual client modules 250, 252, 254 send a common test script key input corresponding to the common screen to the cloud streaming servers 130, 140, 150, and the cloud streaming servers 130, 140, 150.
  • Test results corresponding to the common test key input may be generated to generate test result videos.
  • the common test script key input may allow two or more different applications to generate the same common screen.
  • the common screen may be a screen without animation effects.
  • test script key input by using the common test script key input, a plurality of applications can share the test script key input, and further, the reference result image can be shared. Furthermore, the test result error can be prevented by using a common key script key input to generate a common screen without animation effects.
  • FIG. 3 An internal configuration of the virtual client modules 250, 252, and 254 may be illustrated in FIG. 3. Since each virtual client module 250, 252, and 254 has the same configuration, the description of FIG. 3 will be described using the virtual client module 250 as an example.
  • FIG. 3 is a diagram illustrating a configuration of a virtual client module for receiving and processing test results according to an exemplary embodiment of the present invention.
  • the virtual client module 250 may include a control unit 300, a communication unit 302, and a storage unit 304.
  • the virtual client module 250 may be a terminal device capable of receiving data provided from the cloud streaming server 130, 140, or 150, for example, a tablet PC, a laptop, a personal computer (PC). It may be implemented by virtualizing one terminal of a personal computer, a smart phone, a personal digital assistant (PDA), a smart TV, a mobile communication terminal, and a set-top box. Accordingly, the virtual client module 250 may be configured differently according to what kind of terminal device. In particular, in the present invention, the virtual client module 250 may be implemented to perform a function of receiving a test result and decoding a received test result, generating a test result video, and displaying a screen.
  • the controller 300 performs overall control of the virtual client module 250, and in particular, displays the screen at a specific time point in response to a request from the cloud streaming server 130, 140, or 150 from the comparator 220 or the test unit 820.
  • the extracted result image is transferred to the comparator 220 or the test unit 820.
  • the control unit 300 may transmit a test result transmission request signal to the specific cloud streaming server 130, 140, 150 through the communication unit 302.
  • the identification information of the virtual client module to receive it may be transmitted together, and according to the test schedule of the plurality of cloud streaming servers, the test result transmission request signal for each cloud streaming server may be sequentially Can transmit
  • the communication unit 302 receives a test result transmitted from the cloud streaming server 130, 140, or 150 through the communication network 110.
  • the communication unit 302 may transmit and receive data through various communication methods as well as wired and wireless methods.
  • the communication unit 302 may transmit and receive data using one or more communication methods, and for this purpose, the communication unit 302 may include a plurality of communication modules that transmit and receive data according to different communication methods.
  • the storage unit 304 stores information necessary for the operation of the virtual client module 250, and in particular, may store the test results received from the cloud streaming server 130, 140, or 150. In addition, the test result video which is finally outputted to the screen by performing predetermined data processing on the received test result may be stored, and the capture time information of the result image may be stored in advance according to the setting.
  • the storage unit 304 is an optical recording medium such as a magnetic media such as a hard disk, a floppy disk, and a magnetic tape, a compact disk read only memory (CD-ROM), and a digital video disk (DVD). And magneto-optical media such as floppy disks and ROM, random access memory (RAM), and flash memory.
  • FIG. 4 is a flowchart illustrating a process for testing whether a cloud streaming server is in a normal operation in a test system according to an exemplary embodiment of the present invention.
  • the cloud streaming servers 130, 140, and 150 simultaneously transmit the test results to the virtual client modules 250, 252, and 254 of the test apparatus 120 (S402 to S406). That is, one cloud streaming server 130 transmits the test results to the virtual client module 250, the other cloud streaming server 140 transmits the test results to the virtual client module 252, and the other cloud streaming server 150. ) May send the test results to the virtual client module 254. Alternatively, one virtual client module may sequentially receive test results from the plurality of cloud streaming servers 130, 140, and 150 with a time difference.
  • the cloud streaming server (130, 140, 150) may be to transmit a test result corresponding to the test script key input of the virtual client module (250, 252, 254).
  • Each virtual client module 250, 252, 254 decodes the test result received from the cloud streaming server 130, 140, 150, generates a test result video, and provides the test result video to the comparator 220 (S414 to S419). .
  • the providing of the test result video may be performed corresponding to the test request from the test controller 200.
  • the comparator 220 may request delivery of test results received from the cloud streaming server 130, 140, or 150 to each of the virtual client modules 250, 252, and 254.
  • the virtual client modules 250, 252, and 254 process the received test results as in the actual clients 100, 101, and 102 to generate a test result video, and then output them to the screen.
  • the operation case video output to the screen at a point in time requested by the comparator 220 or a predetermined specific time point may be captured and transmitted to the comparator 220. That is, capturing a motion case video to generate a motion case image may be performed by the virtual client module 250 or may be performed by the comparator 220.
  • the comparator 220 generates a masked video by masking a portion of the received test result video to which an animation is applied (S420).
  • the portion to which the animation is applied is a portion that changes regardless of a key input, and may be a portion into which a moving object, an object that changes in size, shape, color, and the like is inserted. It may also be a part where a clock is displayed.
  • the comparator 220 compares the test result image capturing each masked video with a predetermined reference result image and then transfers the comparison result to the test controller 200 (S424 and S426).
  • the reference result image may prestore the result image that appears when the test result is normally transmitted and output, and the result image output from the specific virtual client module preset among the virtual client modules 250, 252, and 254. Can also be set as the reference result image.
  • the comparison unit 220 may further perform a process of setting a reference result image before performing the comparison.
  • the test control unit 200 determines whether or not the cloud streaming server failure according to the comparison result, in this case, if the result image captured in the test result received from the comparison result and the preset reference result image does not match with the corresponding cloud streaming server If it is determined that there is a failure, and match each other, it is determined that there is no failure in the cloud streaming server (S427).
  • the comparison result is transmitted to the test control unit 200 for each of the cloud streaming server 130, 140, 150, the test control unit 200 to determine whether the failure for each cloud streaming server according to the comparison result Will be.
  • FIG. 5 is a flowchart illustrating a method for testing whether the cloud streaming server 130, 140, or 150 operates normally in the test apparatus 120 according to an exemplary embodiment of the present invention.
  • a key input corresponding to a test script is transmitted to cloud streaming servers by virtual client modules (S510), and from the cloud streaming servers.
  • the virtual client modules receive the test results and generate test result videos (S520).
  • the cloud streaming server test method generates a masked video by performing masking on a portion of the test result videos to which an animation effect is applied (S530).
  • the cloud streaming server test method captures the masked videos to generate test result images (S540).
  • test result images corresponding to the cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • step S540 may be performed by the virtual client modules 250, 252, and 254 shown in FIG. 2, or may be performed by the comparator 220.
  • the cloud streaming server test method compares the test result image of the reference server with the test result image of other cloud streaming servers to determine whether the comparison result is consistent (S550, S570).
  • the cloud streaming server test method determines that the cloud streaming server does not have a failure (S570).
  • the cloud streaming server test method determines that the cloud streaming server has a failure (S580).
  • FIG. 6 is a flowchart illustrating a process for testing whether a cloud streaming server is in a normal operation in a test system according to an exemplary embodiment of the present invention.
  • the cloud streaming servers 130, 140, and 150 simultaneously transmit the test results to the virtual client modules 250, 252, and 254 of the test apparatus 120 (S602 to S606). That is, one cloud streaming server 130 transmits the test results to the virtual client module 250, the other cloud streaming server 140 transmits the test results to the virtual client module 252, and the other cloud streaming server 150. ) May send the test results to the virtual client module 254. Alternatively, one virtual client module may sequentially receive test results from the plurality of cloud streaming servers 130, 140, and 150 with a time difference.
  • the cloud streaming server (130, 140, 150) may be to transmit a test result corresponding to the test script key input of the virtual client module (250, 252, 254).
  • the test control unit 200 of the test device 120 receiving the test result requests a comparison using a test result image captured by the test result video according to the test request (S608 and S610).
  • the comparison unit 220 of the test device 120 may request delivery of test results received from the cloud streaming server 130, 140, or 150 to each of the virtual client modules 250, 252, and 254.
  • Each of the virtual client modules 250, 252, and 254 transmits a reception test result to the comparison unit 220 (S614, S618, and S622).
  • the virtual client modules 250, 252, and 254 process the received test results as in the actual clients 100, 101, and 102 to generate a test result video, and then output them to the screen.
  • the test result video output to the screen at a time point requested by the comparator 220 or a predetermined specific time point may be captured and transmitted to the comparator 220. That is, capturing the test result video to generate a test result image may be performed by the virtual client modules 250, 252, and 254, or may be performed by the comparator 220.
  • the comparison unit 220 compares the test result image captured with each received test result video with a predetermined reference result image, and then transfers the comparison result to the test control unit 200 (S624 and S626).
  • the reference result image may prestore the result image that appears when the test result is normally transmitted and output, and the result image output from the specific virtual client module preset among the virtual client modules 250, 252, and 254. Can also be set as the reference result image.
  • the comparison unit 220 may further perform a process of setting a reference result image before performing the comparison.
  • the test control unit 200 determines whether or not the cloud streaming server failure according to the comparison result, in this case, if the result image captured in the test result received from the comparison result and the preset reference result image does not match with the corresponding cloud streaming server If it is determined that there is a failure, and match each other, it is determined that there is no failure in the cloud streaming server (S627).
  • the comparison result is transmitted to the test control unit 200 for each of the cloud streaming server 130, 140, 150, the test control unit 200 to determine whether the failure for each cloud streaming server according to the comparison result Will be.
  • test control unit 200 determines whether the reference server change condition is satisfied (S628).
  • test control unit 200 changes the reference server (S629).
  • the change condition may be a condition in which the number of cloud streaming servers determined to have a failure is equal to or greater than a predetermined reference value. That is, if too many failures are detected, there may be a failure in the reference server. In this case, it is necessary to change the reference server to prevent incorrect test results.
  • FIG. 7 is a flowchart illustrating a method of changing a reference server for testing whether the cloud streaming servers 130, 140, and 150 are normally operated in the test apparatus 120 according to an exemplary embodiment of the present invention.
  • a key input corresponding to a test script is transmitted to cloud streaming servers by virtual client modules (S710). ).
  • virtual client modules receive test results from cloud streaming servers to generate test result videos (S720).
  • the reference server change method for testing a cloud streaming server captures test result videos to generate test result images (S730).
  • test result images corresponding to the cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • step S730 may be performed by the virtual client modules 250, 252, and 254 shown in FIG. 2, or may be performed by the comparator 220.
  • the method of changing the reference server for testing the cloud streaming server compares the test result image of the reference server with the test result image of other cloud streaming servers and determines whether the comparison result is the same (S740, S750).
  • the method of changing the reference server for testing the cloud streaming server according to the embodiment of the present invention determines that the cloud streaming server has no obstacle (S751).
  • the reference server change method for testing the cloud streaming server determines that the cloud streaming server has a failure (S760).
  • the reference server change method for testing the cloud streaming server determines whether the reference server change condition is satisfied (S770).
  • the change condition may be a condition in which the number of cloud streaming servers that are determined to be faulty among the cloud streaming servers is equal to or greater than a predetermined reference value.
  • step S770 when it is determined that the reference server change condition is satisfied, the method of changing the reference server for testing the cloud streaming server according to the embodiment of the present invention changes the reference server (S780) and again the test result images. Compare (S740).
  • test termination condition it is determined whether a test termination condition is satisfied (S752), and the operation ends when the test termination condition is satisfied.
  • the test termination condition may be a test termination input received from a user, or may be a condition in which a failure of a predetermined level or less occurs for a preset period.
  • the number of cloud streaming servers determined to be impaired before the reference server is changed is determined by the reference server.
  • the method may further include determining that there is a fault in the reference server before the change.
  • FIG. 8 is a diagram illustrating a cloud streaming server test apparatus according to another embodiment of the present invention.
  • the test apparatus 120 includes a test control unit 800, a storage unit 810, a test unit 820, an input unit 830, an output unit 840, and at least one virtual client module 850 or 852. , 854).
  • the number of the virtual client modules 850, 852, 854 is illustrated as three in this embodiment, the number of the virtual client modules 850, 852, 854 can be changed according to system operation.
  • the test control unit 800 performs all the controls necessary for determining whether or not the failure of the cloud streaming server (130, 140, 150), and when a request for determining whether or not the failure is made through a comparison result, that is, the test result through the test unit 820
  • the failure of the cloud streaming server is determined based on whether the captured image of the output screen matches the predetermined reference result image.
  • the failure determination request time point may be a point in which the reception of the test result is detected by the virtual client modules 850, 852, and 854 and the reception is completed. It may be a time point according to a predetermined period. As such, a request for determining whether a failure occurs will occur depending on the configuration.
  • the reference result image may be stored in advance, but the result image output from the specific virtual client module among the at least one virtual client module 850, 852, 854 may be set as the reference result image.
  • test controller 800 may determine whether the failure is based on a connection error detection result between the virtual client module and the cloud streaming server.
  • the test controller 800 may determine that the corresponding cloud streaming server does not have a failure when the two images to be compared match each other, and may determine that the corresponding cloud streaming server has a failure when the two images do not coincide with each other.
  • the test controller 800 may generate a failure report by dividing a failure corresponding to a comparison result in which the two compared images do not match and a failure corresponding to the connection error.
  • the test control unit 800 is more than the predetermined number of cloud streaming servers determined to have a failure before changing the reference server more than the predetermined number of cloud streaming servers determined to have a failure after changing the reference server. In this case, it may be determined that there is a failure in the reference server before the change.
  • the storage unit 810 may store information necessary for the operation of the test device 120.
  • the storage unit 810 stores capture time point information for capturing the test result video in order to capture the result video for the test result transmitted from the at least one cloud streaming server 130, 140, 150 at the same time.
  • the storage unit 810 may store basic information about a test result transmitted from the cloud streaming server, and in particular, may store in advance a reference image of a specific time point, which is a reference for determining whether or not the cloud streaming server has failed.
  • the storage unit 810 may be an optical recording medium such as a magnetic media such as a hard disk, a floppy disk, or a magnetic tape, a compact disk read only memory (CD-ROM), or a digital video disk (DVD). And magneto-optical media such as floppy disks and ROM, random access memory (RAM), and flash memory.
  • the test unit 820 may request delivery of a test result video received from each of the virtual client modules 850, 852, and 854 and output to the screen under the control of the test controller 800, and capture and generate the test result video. After comparing the test result image with the reference result image, the comparison result is output to the test controller 800. To this end, the test unit 820 may further perform a process of setting the reference result image. That is, the test unit 820 is generated by capturing a test result image generated by capturing a test result video corresponding to a reference server, which is one of the cloud streaming servers, and test result videos corresponding to other cloud streaming servers. The test result images can be compared.
  • test result images corresponding to other cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • test unit 820 may detect a connection error between the virtual client modules and the cloud streaming servers.
  • connection error may include any one or more of a connection attempt failure of any one of the client modules, one of the cloud streaming servers, and a transmission failure of the test result.
  • the test unit 820 may not perform a comparison test with the reference server with respect to the cloud streaming server corresponding to the connection error.
  • the input unit 830 may generate a user input signal corresponding to a request or information of the cloud streaming server manager according to an operation of the cloud streaming server manager, and may be implemented as various input means that are currently commercialized or may be commercialized in the future. For example, it may include not only a general input device such as a keyboard, a mouse, a joystick, a touch screen, a touch pad, but also a gesture input means for detecting a user's motion and generating a specific input signal.
  • a general input device such as a keyboard, a mouse, a joystick, a touch screen, a touch pad, but also a gesture input means for detecting a user's motion and generating a specific input signal.
  • the output unit 840 is a means for providing a user recognition of the operation result or state of the test apparatus 120.
  • the output unit 840 includes a display unit for visually outputting through a screen or a speaker for outputting an audible sound. can do.
  • the output unit 840 may visually output a result image processed and output from the at least one virtual client module 850, 852, 854, and also outputs a result image and a reference result image. It can be output by comparing or displaying the result of the failure of the cloud streaming server.
  • the virtual client modules 850, 852, and 854 are virtualized clients 100, 101, and 102 that are connected to the cloud streaming servers 130, 140, and 150 and receive the cloud streaming service. , 102 may perform at least some of the functions.
  • the virtual client module 850, 852, 854 connects to a specific cloud streaming server 130, 140, 150 to receive respective test results from the specific cloud streaming server 130, 140, 150.
  • the test result video may be generated by performing the same processing (for example, decoding) with the client 100, 101, and 102 on the received test result, and output the test result video to the screen through the output unit 840. .
  • the virtual client modules 850, 852, and 854 may capture the result image output on the screen at a specific time point and transmit the result image to the test unit 820 according to the result image request of the test unit 820.
  • the capture time may be received from the test unit 820, or may be set and stored in advance.
  • the capture of the resulting image can be done, for example, by capturing image data stored in the frame buffer of the virtual client module 850, 852, 854.
  • generating the test result image by capturing the test result video may be performed by the test unit 820.
  • the virtual client module 850, 852, 854 provides a test script key input to the cloud streaming server, receives a test result corresponding to the test script key input from the cloud streaming server, and decodes the test result to generate a test result video.
  • the test result may be viewed as encoded streaming video
  • the test result video may be viewed as decoded streaming video.
  • FIG. 3 An internal configuration of the virtual client modules 850, 852, and 854 may be illustrated in FIG. 3.
  • FIG. 9 is a flowchart illustrating a process for testing whether a cloud streaming server is in a normal operation in a test system according to an exemplary embodiment of the present invention.
  • the cloud streaming servers 130, 140, and 150 simultaneously transmit the test results to the virtual client modules 850, 852, and 854 of the test apparatus 120 (S902 to S906). That is, one cloud streaming server 130 transmits the test results to the virtual client module 850, the other cloud streaming server 140 transmits the test results to the virtual client module 852, and the other cloud streaming server 150. ) May send the test results to the virtual client module 854. Alternatively, one virtual client module may sequentially receive test results from the plurality of cloud streaming servers 130, 140, and 150 with a time difference.
  • the cloud streaming server (130, 140, 150) may be to transmit a test result corresponding to the test script key input of the virtual client module (850, 852, 854).
  • Each virtual client module 850, 852, 854 decodes the test result received from the cloud streaming server 130, 140, or 150 to generate a test result video, and provides the test result video to the test unit 820 (S914, S918, S922).
  • the test result video may be provided in response to a test request from the test controller 800.
  • the test unit 820 may request delivery of test results received from the cloud streaming server 130, 140, or 150 to each of the virtual client modules 850, 852, and 854.
  • the virtual client module 850, 852, 854 processes the received test result as in the real client 100, 101, 102 to generate a test result video, and then outputs it to the screen.
  • test result video output to the screen at a point in time requested by the test unit 820 or a predetermined specific time point may be captured and transmitted to the test unit 820. That is, capturing the test result video to generate a test result image may be performed by the virtual client modules 850, 852, and 854, or may be performed by the test unit 820.
  • test unit 820 detects a connection error between the cloud streaming servers 130, 140, and 150 and the virtual client modules 850, 852, and 854 (S916).
  • the connection error is a connection attempt failed to send the cloud streaming server 130 of the virtual client module 850 and a test result transmission (S902) failed, a connection attempt to the cloud streaming server 140 of the virtual client module 852. It may include one or more of a failure, a test result transmission (S904) failure, a connection attempt failure to the cloud streaming server 150 of the virtual client module 854, and a test result transmission (S906) failure.
  • the test unit 820 transmits the connection error detection result to the test control unit 800 (S920).
  • the test controller 800 determines whether a connection error has occurred based on the connection error detection result (S921), and if it is determined that the connection error has not occurred, the test controller 800 requests a test result image comparison to the test unit 820. (S923).
  • the test unit 820 receiving the test result image comparison request compares the test result image capturing each received test result video with a preset reference result image, and transmits the comparison result to the test control unit 800 (S924, S926).
  • the reference result image may prestore a result image that appears when the test result is normally transmitted and output, and the result image output from a specific virtual client module preset among the virtual client modules 850, 852, and 854. Can also be set as the reference result image.
  • the test unit 820 may further perform a process of setting a reference result image before performing the comparison.
  • the test control unit 800 determines whether the cloud streaming server has a failure according to the comparison result and the connection error. At this time, the result image captured from the test result received from the comparison result and the preset reference result image do not coincide with each other. If not, the cloud streaming server determines that there is a failure, and if it matches with each other, the cloud streaming server determines that there is no failure (S927). At this time, the comparison result is transmitted to the test control unit 800 for each of the cloud streaming server 130, 140, 150, the test control unit 800 to determine whether or not the failure for each cloud streaming server according to the comparison result Will be.
  • the test controller 800 may generate a failure report by distinguishing a failure corresponding to a comparison result in which two test result images compared to a failure corresponding to a connection error do not match.
  • FIG. 10 is a flowchart illustrating a method for testing whether the cloud streaming server 130, 140, or 150 operates normally in the test apparatus 120 according to an exemplary embodiment of the present invention.
  • the cloud streaming server test method first transmits a key input corresponding to a test script to the cloud streaming servers by the virtual client modules (S1010).
  • virtual client modules receive test results from cloud streaming servers to generate test result videos (S1020).
  • the cloud streaming server test method detects a connection error between the virtual client modules and the cloud streaming server (S1030).
  • connection error may include any one or more of a connection attempt failure and a test result transmission failure of any one of the client modules and the cloud streaming servers.
  • the cloud streaming server test method captures test result videos and generates test result images (S1040).
  • test result images corresponding to the cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • step S1040 may be performed by the virtual client modules 850, 852, and 854 shown in FIG. 8, or may be performed by the test unit 820.
  • the cloud streaming server test method compares the test result image of the reference server with the test result image of other cloud streaming servers to determine whether the comparison result is consistent (S1050, S1060).
  • the cloud streaming server test method determines that the cloud streaming server does not have a failure (S1070).
  • the cloud streaming server test method determines that the cloud streaming server has a failure (S1080).
  • the cloud streaming server test method determines that the cloud streaming server has a failure (S1080). That is, when a connection error is detected, the cloud streaming server test method according to an embodiment of the present invention may not perform a comparison test step of comparing test result images.
  • step S1080 may generate a failure report by distinguishing a failure corresponding to a failure and a connection corresponding to a comparison result in which two images to be compared do not match.
  • FIG. 11 is a timing diagram illustrating capture timing of a cloud streaming server test method according to an embodiment of the present invention.
  • the response speeds of the cloud streaming servers may be different from each other.
  • the time for the virtual client module to access the cloud streaming server is different, the time for key input to the cloud streaming server is different, or the time for processing key input in the cloud streaming server is different.
  • the steady state entry timings of the test result video received from the cloud streaming servers may be different from each other.
  • FIG. 12 is a flowchart illustrating a process for testing whether a cloud streaming server is in a normal operation in a test system according to an exemplary embodiment of the present invention.
  • the cloud streaming servers 130, 140, and 150 simultaneously transmit the test results to the virtual client modules 250, 252, and 254 of the test apparatus 120 (S1202 to S1206). That is, one cloud streaming server 130 transmits the test results to the virtual client module 250, the other cloud streaming server 140 transmits the test results to the virtual client module 252, and the other cloud streaming server 150. ) May send the test results to the virtual client module 254. Alternatively, one virtual client module may sequentially receive test results from the plurality of cloud streaming servers 130, 140, and 150 with a time difference.
  • the cloud streaming server (130, 140, 150) may be to transmit a test result corresponding to the test script key input of the virtual client module (250, 252, 254).
  • Each of the virtual client modules 250, 252, and 254 decodes the test results received from the cloud streaming servers 130, 140, and 150 to generate a test result video, and provides the test result video to the comparator 220 (S1214, S1218,). S1219). In this case, the providing of the test result video may be performed corresponding to the test request from the test controller 200.
  • the comparator 220 may request delivery of test results received from the cloud streaming server 130, 140, or 150 to each of the virtual client modules 250, 252, and 254.
  • the virtual client modules 250, 252, and 254 process the received test results as in the real clients 100, 101, and 102 to generate a test result video, and then output them to the screen.
  • the resulting video can be captured by the comparator after steady state conditions are satisfied.
  • test controller 200 determines whether the steady state condition is satisfied (S1221), and transmits a capture request to the comparator 220 only when the steady state condition is satisfied (S1222).
  • the comparator 220 receiving the capture request captures a test result video corresponding to a reference server, which is one of the cloud streaming servers 130, 140, and 150, and test result videos corresponding to other cloud streaming servers. Result images are generated (S1223).
  • the capturing of the test result video is performed by the comparator 220 as an example.
  • the capture request may be delivered to the virtual client modules 250, 252, and 254.
  • Capture may be performed by modules 250, 252, 254 to generate test result images.
  • the comparison unit 220 compares the test result image capturing each received test result video with a predetermined reference result image, and then transfers the comparison result to the test control unit 200 (S1224 and S1226).
  • the reference result image may prestore the result image that appears when the test result is normally transmitted and output, and the result image output from the specific virtual client module preset among the virtual client modules 250, 252, and 254. Can also be set as the reference result image.
  • the comparison unit 220 may further perform a process of setting a reference result image before performing the comparison.
  • the test control unit 200 determines whether the cloud streaming server has a failure according to the comparison result and whether or not a connection error occurs. At this time, the result image captured from the test result received from the comparison result does not coincide with the preset reference result image. If not, the cloud streaming server determines that there is a failure, and if it matches with each other, the cloud streaming server determines that there is no failure (S1227). At this time, the comparison result is transmitted to the test control unit 200 for each of the cloud streaming server 130, 140, 150, the test control unit 200 to determine whether the failure for each cloud streaming server according to the comparison result Will be.
  • FIG. 13 is a flowchart illustrating a method for testing whether the cloud streaming server 130, 140, or 150 operates normally in the test apparatus 120 according to an exemplary embodiment of the present invention.
  • the cloud streaming server test method first transmits a key input corresponding to a test script to the cloud streaming servers by the virtual client modules (S1310).
  • virtual client modules receive test results from cloud streaming servers to generate test result videos (S1320).
  • the cloud streaming server test method determines whether the steady state conditions are satisfied (S1330).
  • the steady state condition may be an elapsed condition of a predetermined time determined corresponding to the test script.
  • the steady state condition may be set differently according to the test script key input.
  • the cloud streaming server test method captures test result videos and generates test result images (S1340).
  • test result images corresponding to the cloud streaming servers may be captured at the same time as the test result image corresponding to the reference server.
  • step S1340 may be performed by the virtual client modules 250, 252, and 254 shown in FIG. 2, or may be performed by the comparator 220.
  • the cloud streaming server test method compares the test result image of the reference server with the test result image of other cloud streaming servers and determines whether the comparison result is consistent (S1350, S1360).
  • the cloud streaming server test method determines that the cloud streaming server does not have a failure (S1370).
  • the cloud streaming server test method determines that the cloud streaming server has a failure (S1380).
  • FIG. 14 is a flowchart illustrating a process for testing whether a cloud streaming server is in a normal operation in a test system according to an exemplary embodiment of the present invention.
  • the cloud streaming servers 130, 140, and 150 simultaneously transmit the test results to the virtual client modules 250, 252, and 254 of the test apparatus 120 (S1402 to S1406). That is, one cloud streaming server 130 transmits the test results to the virtual client module 250, the other cloud streaming server 140 transmits the test results to the virtual client module 252, and the other cloud streaming server 150. ) May send the test results to the virtual client module 254. Alternatively, one virtual client module may sequentially receive test results from the plurality of cloud streaming servers 130, 140, and 150 with a time difference.
  • the cloud streaming server (130, 140, 150) may be to transmit a test result corresponding to the common test script key input of the virtual client module (250, 252, 254).
  • the common test script key input may correspond to a common screen for two or more applications, and the common screen may be a screen from which animation effects are excluded.
  • Each of the virtual client modules 250, 252, and 254 decodes the test results received from the cloud streaming servers 130, 140, and 150 to generate a test result video, and provides the test result video to the comparator 220 (S1414, S1418,). S1419).
  • the providing of the test result video may be performed corresponding to the test request from the test controller 200.
  • the comparator 220 may request delivery of test results received from the cloud streaming server 130, 140, or 150 to each of the virtual client modules 250, 252, and 254.
  • the virtual client modules 250, 252, and 254 process the received test results as in the actual clients 100, 101, and 102 to generate a test result video, and then output them to the screen.
  • test result video output to the screen at a time point requested by the comparator 220 or a predetermined specific time point may be captured and transmitted to the comparator 220. That is, capturing the test result video to generate a test result image may be performed by the virtual client modules 250, 252, and 254, or may be performed by the comparator 220.
  • the test controller 200 makes a test result image comparison request to the comparator 220 based on an external input or an internal execution condition satisfaction (S1422).
  • the comparison unit 220 receiving the test result image comparison request compares the test result image capturing each received test result video with a predetermined reference result image, and then transfers the comparison result to the test control unit 200 (S1424, S1426).
  • the reference result image may prestore the result image that appears when the test result is normally transmitted and output, and the result image output from the specific virtual client module preset among the virtual client modules 250, 252, and 254. Can also be set as the reference result image.
  • the comparison unit 220 may further perform a process of setting a reference result image before performing the comparison.
  • the test control unit 200 determines whether the cloud streaming server has a failure according to the comparison result and whether or not a connection error occurs. At this time, the result image captured from the test result received from the comparison result does not coincide with the preset reference result image. If not, the cloud streaming server determines that there is a failure, and if they match with each other, the cloud streaming server determines that there is no failure (S1427). At this time, the comparison result is transmitted to the test control unit 200 for each of the cloud streaming server 130, 140, 150, the test control unit 200 to determine whether the failure for each cloud streaming server according to the comparison result Will be.
  • 15 is a flowchart illustrating a method for testing whether the cloud streaming servers 130, 140, and 150 are normally operated in the test apparatus 120 according to an exemplary embodiment of the present invention.
  • the cloud streaming server test method first generates a common test script key input corresponding to a common screen by the virtual client modules (S1510).
  • the common test script key input may allow two or more different applications to generate the same common screen.
  • the common screen may be a screen without animation effects.
  • the cloud streaming server test method transmits the common test script key input to the cloud streaming servers (S1520).
  • virtual client modules receive test results corresponding to the common test script key input from cloud streaming servers to generate test result videos (S1530).
  • the cloud streaming server test method captures test result videos to generate test result images (S1540).
  • test result images corresponding to the cloud streaming servers may be captured at the same time point as the reference result image.
  • step S1540 may be performed by the virtual client modules 250, 252, and 254 shown in FIG. 2, or may be performed by the comparator 220.
  • the cloud streaming server test method compares the reference result image with the test result image of the cloud streaming server to determine whether the comparison result is consistent (S1550, S1560).
  • the reference result image may be generated by capturing a test result video corresponding to the reference server which is one of the cloud streaming servers.
  • the reference result image may be generated in advance and stored in the test apparatus.
  • the cloud streaming server test method determines that the cloud streaming server does not have a failure (S1570).
  • the cloud streaming server test method determines that the cloud streaming server has a failure (S1580).
  • FIGS. 4 to 7, 9 to 10, and 12 to 15 are performed in the order shown in FIGS. 4 to 7, 9 to 10, and 12 to 15, in the reverse order, or at the same time. Can be.
  • the streaming server test method and the reference server change method according to the present invention may be implemented as a program or a smartphone app that can be executed through various computer means.
  • the program or the smartphone app may be recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Magneto-optical media and any type of hardware device specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
  • Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the streaming server test system As described above, the streaming server test system, the streaming server test method, and the apparatus for the same according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments may be modified in various ways. All or part of each of the embodiments may be selectively combined to be implemented.
  • the present invention relates to a system for testing the normal operation of the cloud streaming server providing a specific service, and in particular, to ensure whether the server providing the cloud streaming service is operating normally, so that the cloud streaming server may occur when transmitting data It is possible to prevent possible transmission errors or failures in advance, and to make it easier to detect whether the cloud streaming server is operating normally, thereby stabilizing the cloud streaming service and improving service quality, thereby improving the industry's development. I can contribute.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Debugging And Monitoring (AREA)
  • Hardware Redundancy (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템이 개시된다. 클라우드 스트리밍 서버들로부터, 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하고, 상기 테스트 결과 비디오들을 마스킹(masking)하여 마스크드 비디오들을 생성하고, 상기 마스크드 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 상호 비교하여 상기 클라우드 스트리밍 서버들 중 어느 하나 이상의 장애 여부를 판단한다.

Description

클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템
본 발명은 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템(METHOD FOR TESTING CLOUD STREAMING SERVER, APPARATUS AND SYSTEM THEREFOR)에 관한 것으로서, 특히 클라우드 스트리밍 서비스를 제공하는 서버의 정상 동작 여부를 테스트할 때, 불필요한 오류를 방지하는 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템에 관한 것이다.
본 발명은 2014년 3월 10일 출원된 한국특허출원 제10-2014-0028005호, 2014년 3월 10일 출원된 한국특허출원 제10-2014-0028006호, 2014년 5월 28일 출원된 한국특허출원 제10-2014-64377호, 2014년 5월 28일 출원된 한국특허출원 제10-2014-0064380호 및 2014년 6월 3일 출원된 한국특허출원 제10-2014-0067781호의 출원일의 이익을 주장하며, 그 내용 전부는 본 명세서에 포함된다.
클라우드 컴퓨팅이란 인터넷 기반의 컴퓨터 기술을 의미하는 것으로, 사용자가 필요한 소프트웨어를 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제든 사용할 수 있고 동시에 각종 정보통신 기기로 데이터를 손쉽게 공유할 수 있는 사용 환경이다. 즉, 개인이 웹에 접속해서 포토샵, 오피스 같은 프로그램을 작업할 수 있고 그 작업에 대한 저장도 웹에서 하게 된다. 결국 가상공간에 한 서버(컴퓨터)만을 놓고 이러한 컴퓨터를 통해 여러 사람이 개인 작업을 할 수 있는 것이다. 은행의 ATM이나 항공기, 열차의 실시간 좌석 예약 시스템이 대표적이다.
IT기술이 발전하고, 어플리케이션 시장이 커지고, SNS 시장이 활성화될 수록 유저들의 콘텐츠 등 데이터 양이 급증하고 있다. 그러고 이제는 데이터가 과포화 상태가 되어 각각의 단말기로는 감당하기 어려운 상황까지 놓이게 되었다. 이런 상황을 클라우드 시스템은 완전히 해결할 수 있다. 그리고, 이러한 클라우드 시스템은 초소형 디바이스 환경을 구축하는데 밑바탕이 될 것이다.
예를 들어, 대용량의 영상 처리가 요구되는 서비스나 기능을 실행하는데 있어서, 클라우드 컴퓨팅 기반의 서버를 통해서 상기 서비스나 기능을 실행하도록 하고, 그 실행된 결과 화면만을 스트리밍 기술을 이용하여 사용자의 단말기로 전송함으로써, 사용자가 단말기를 통해 고사양 또는 고기능이 요구되는 서비스나 기능을 이용할 수 있도록 한다.
이렇게 사용자 단말기의 요구에 따라서 특정 서비스 혹은 기능을 실행하고 그 결과를 사용자 단말로 전송하는 화면 가상화 기술을 통하여 사용자 단말기가 다양한 서비스나 기능을 이용할 수 있도록 하는 기술을 클라우드 스트리밍 서비스라 한다.
이러한 클라우드 스트리밍 서비스 기반의 컴퓨팅 환경에 있어서는, 서버에서 주요 서비스나 기능이 실행되기 때문에 서버의 장애 여부를 미리 감지하기 위한 기술 개발이 요구된다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 클라우드 스트리밍 서비스를 제공하는 서버의 정상 동작 여부를 테스트할 수 있는 클라우드 스트리밍 서버의 테스트 방법, 이를 위한 장치 및 시스템을 제공하고자 한다.
특히, 본 발명의 목적은 복수 개의 클라우드 스트리밍 서버로부터 테스트 결과 화면을 제공 받아 서로 비교하여 클라우드 스트리밍 서버에 발생한 장애를 감지함에 있어, 애니메이션 효과가 적용된 부분에 마스킹한 후 테스트 결과 화면을 캡처하여 테스트 오류를 방지하는 것이다.
또한, 본 발명의 목적은 복수 개의 클라우드 스트리밍 서버로부터 테스트 결과 화면을 제공 받아 서로 비교하였을 때 발견되는 장애가 기설정된 개수 이상이면, 기준 서버를 변경하여 기준 서버의 장애로 인해 테스트 결과가 왜곡되는 것을 방지하는 것이다.
또한, 본 발명의 목적은 복수 개의 클라우드 스트리밍 서버로부터 테스트 결과 화면을 제공 받아 서로 비교하여 클라우드 스트리밍 서버에 발생한 장애를 감지함과 동시에 클라우드 스트리밍 서버에 대한 연결 오류를 감지하여, 클라우드 스트리밍 서버의 동작 오류와 연결 오류를 함께 테스트하는 것이다.
또한, 본 발명의 목적은 복수 개의 클라우드 스트리밍 서버로부터 테스트 결과 화면을 제공 받아 서로 비교하여 클라우드 스트리밍 서버에 발생한 장애를 감지함에 있어, 적절한 타이밍에 테스트 결과 화면을 캡처하여 테스트 오류를 방지하는 것이다.
또한, 본 발명의 목적은 복수 개의 클라우드 스트리밍 서버로부터 테스트 결과 화면을 제공 받아 서로 비교하여 클라우드 스트리밍 서버에 발생한 장애를 감지함에 있어, 어플리케이션들이 동일한 공통 화면을 생성할 수 있는 공통 테스트 스크립트 키 입력을 클라우드 스트리밍 서버로 전송함으로써 테스트 효율성을 높이고 테스트 결과의 오류를 최소화하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 클라우드 스트리밍 서버 테스트 장치는, 클라우드 스트리밍 서버들로부터, 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 가상 클라이언트 모듈들; 상기 테스트 결과 비디오들을 마스킹(masking)하여 마스크드 비디오들을 생성하고, 상기 마스크드 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 상호 비교하는 비교부; 및 상기 비교 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상의 장애 여부를 판단하는 테스트 제어부를 포함한다.
이 때, 비교부는 상기 테스트 결과 비디오들 중 애니메이션 효과가 적용된 부분을 마스킹할 수 있다.
이 때, 비교부는 상기 클라우드 스트리밍 서버들 중 기준 서버를 정하고, 상기 기준 서버에 상응하는 마스크드 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 마스크드 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교할 수 있다.
이 때, 테스트 제어부는 상기 비교 결과, 비교되는 두 이미지가 서로 일치하면 해당 클라우드 스트리밍 서버는 장애가 없다고 판단하고, 두 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버에 장애가 있다고 판단할 수 있다.
이 때, 다른 클라우드 스트리밍 서버들에 상응하는 상기 테스트 결과 이미지들은 상기 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
또한, 본 발명에 따른 클라우드 스트리밍 서버 테스트 방법은, 클라우드 스트리밍 서버들로부터, 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 단계; 상기 테스트 결과 비디오들을 마스킹(masking)하여 마스크드 비디오들을 생성하는 단계; 상기 마스크드 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 상호 비교하는 단계; 및 상기 비교 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상의 장애 여부를 판단하는 단계를 포함한다.
이 때, 마스크드 비디오를 생성하는 단계는 상기 테스트 결과 비디오들 중 애니메이션 효과가 적용된 부분을 마스킹할 수 있다.
이 때, 비교하는 단계는 상기 클라우드 스트리밍 서버들 중 기준 서버를 정하고, 상기 기준 서버에 상응하는 마스크드 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 마스크드 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교할 수 있다.
이 때, 장애 여부를 판단하는 단계는 상기 비교 결과, 비교되는 두 이미지가 서로 일치하면 해당 클라우드 스트리밍 서버는 장애가 없다고 판단하고, 두 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버에 장애가 있다고 판단할 수 있다.
이 때, 다른 클라우드 스트리밍 서버들에 상응하는 상기 테스트 결과 이미지들은 상기 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
또한, 본 발명에 따른 클라우드 스트리밍 서버의 테스트 시스템은, 장애 여부 테스트를 위하여 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 전송하는 클라우드 스트리밍 서버들; 및 상기 테스트 결과 비디오들을 마스킹(masking)하여 마스크드 비디오들을 생성하고, 상기 마스크드 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하여 상기 클라우드 스트리밍 서버들 중 하나 이상의 장애 여부를 판단하는 테스트 장치를 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버 테스트 장치는 클라우드 스트리밍 서버들로부터, 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 가상 클라이언트 모듈들; 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하는 비교부; 및 상기 비교 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상의 장애 여부를 판단하고, 상기 기준 서버의 변경 조건이 만족되는 경우 상기 기준 서버를 변경하는 테스트 제어부를 포함한다.
이 때, 테스트 제어부는 상기 비교 결과, 비교되는 두 이미지가 서로 일치하면 해당 클라우드 스트리밍 서버는 장애가 없다고 판단하고, 두 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버에 장애가 있다고 판단할 수 있다.
이 때, 상기 다른 클라우드 스트리밍 서버들에 상응하는 상기 테스트 결과 이미지들은 상기 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
이 때, 기준 서버의 변경 조건은 상기 다른 클라우드 스트리밍 서버들 중 상기 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수가 기설정된 기준값 이상인 조건일 수 있다.
이 때, 테스트 제어부는 상기 기준 서버를 변경하기 이전에 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수가 상기 기준 서버를 변경한 이후에 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수보다 기설정된 개수 이상 많은 경우, 변경전 기준 서버에 장애가 있는 것으로 판단할 수 있다.
본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은, 가상 클라이언트 모듈들이, 클라우드 스트리밍 서버들로부터 전송된 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 단계; 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하는 단계; 상기 비교 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상에 장애가 발생하였다고 판단하는 단계; 및 상기 기준 서버의 변경 조건이 만족된 경우 상기 기준 서버를 변경하는 단계를 포함한다.
이 때, 다른 클라우드 스트리밍 서버들에 상응하는 상기 테스트 결과 이미지들은 상기 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
이 때, 기준 서버 변경 방법은, 상기 기준 서버를 변경하기 이전에 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수가 상기 기준 서버를 변경한 이후에 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수보다 기설정된 개수 이상 많은 경우, 변경전 기준 서버에 장애가 있는 것으로 판단하는 단계를 더 포함할 수 있다.
이 때, 장애가 발생하였다고 판단하는 단계는 상기 비교 결과, 비교되는 두 이미지의 불일치에 기반하여 상기 장애가 발생한 것으로 판단할 수 있다.
본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버의 테스트 시스템은, 장애 여부 테스트를 위하여 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 전송하는 클라우드 스트리밍 서버들; 및 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하여 상기 클라우드 스트리밍 서버들 중 하나 이상의 장애 여부를 판단하고, 상기 기준 서버의 변경 조건이 만족되는 경우 상기 기준 서버를 변경하는 테스트 장치를 포함한다.
본 발명의 과제 해결을 위한 또 다른 수단으로서, 상술한 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버 테스트 장치는 클라우드 스트리밍 서버들로부터, 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 가상 클라이언트 모듈들; 상기 가상 클라이언트 모듈들과 상기 클라우드 스트리밍 서버들 사이의 연결 오류를 검출하고, 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하는 테스트부; 및 상기 비교 결과 및 상기 연결 오류 검출 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상의 장애 여부를 판단하는 테스트 제어부를 포함한다.
이 때, 테스트 제어부는 상기 비교 결과, 비교되는 두 이미지가 서로 일치하면 해당 클라우드 스트리밍 서버는 장애가 없다고 판단하고, 두 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버에 장애가 있다고 판단할 수 있다.
이 때, 상기 다른 클라우드 스트리밍 서버들에 상응하는 상기 테스트 결과 이미지들은 상기 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
이 때, 연결 오류는 상기 클라이언트 모듈들 중 어느 하나의 상기 클라우드 스트리밍 서버들 중 어느 하나에 대한 연결 시도 실패 및 상기 테스트 결과 전송 실패 중 어느 하나 이상을 포함할 수 있다.
이 때, 테스트부는 상기 연결 오류가 검출된 경우, 상기 연결 오류에 상응하는 클라우드 스트리밍 서버에 대해서는 상기 기준 서버와의 비교 테스트를 수행하지 아니할 수 있다.
이 때, 테스트 제어부는 상기 비교되는 두 이미지가 일치하지 않는 비교 결과에 상응하는 장애와 상기 연결 오류에 상응하는 장애를 구분하여 장애 리포트를 생성할 수 있다.
본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버 테스트 방법은, 가상 클라이언트 모듈들이, 클라우드 스트리밍 서버들로부터 전송된 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 단계; 상기 가상 클라이언트 모듈들과 상기 클라우드 스트리밍 서버들 사이의 연결 오류를 검출하는 단계; 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하는 단계; 및 상기 비교 결과 및 상기 연결 오류 검출 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상에 장애가 발생하였다고 판단하는 단계를 포함한다.
이 때, 다른 클라우드 스트리밍 서버들에 상응하는 상기 테스트 결과 이미지들은 상기 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
이 때, 연결 오류는 상기 클라이언트 모듈들 중 어느 하나의, 상기 클라우드 스트리밍 서버들 중 어느 하나에 대한 연결 시도 실패 및 상기 테스트 결과 전송 실패 중 어느 하나 이상을 포함할 수 있다.
이 때, 클라우드 스트리밍 서버 테스트 방법은 상기 연결 오류가 검출된 경우, 상기 연결 오류에 상응하는 클라우드 스트리밍 서버에 대해서는 상기 기준 서버와의 비교 테스트를 수행하지 아니할 수 있다.
이 때, 장애가 발생하였다고 판단하는 단계는 비교되는 두 이미지가 일치하지 않는 비교 결과에 상응하는 장애와 상기 연결 오류에 상응하는 장애를 구분하여 장애 리포트를 생성할 수 있다.
본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버의 테스트 시스템은, 장애 여부 테스트를 위하여 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 전송하는 클라우드 스트리밍 서버들; 및 상기 클라우드 스트리밍 서버들로의 연결 오류를 검출하고, 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하여 상기 클라우드 스트리밍 서버들 중 하나 이상의 장애 여부를 판단하는 테스트 장치를 포함한다.
본 발명의 과제 해결을 위한 또 다른 수단으로서, 상술한 클라우드 스트리밍 서버 테스트 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버 테스트 장치는, 클라우드 스트리밍 서버들로부터, 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 가상 클라이언트 모듈들; 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 정상 상태 조건 만족 후 캡처하여 생성된, 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 상기 정상 상태 조건 만족 후 캡처하여 생성된, 테스트 결과 이미지들을 비교하는 비교부; 및 상기 비교 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상의 장애 여부를 판단하는 테스트 제어부를 포함한다.
이 때, 정상 상태 조건은 상기 기설정된 테스트 스크립트 키 입력에 상응하여 결정된 기설정된 시간의, 경과 조건일 수 있다.
이 때, 경과 조건은 상기 기설정된 테스트 스크립트 키 입력이 전송된 타이밍으로부터 상기 기설정된 시간이 경과하였는지 여부에 따라 만족 여부가 결정될 수 있다.
이 때, 정상 상태 조건은 상기 기설정된 테스트 스크립트 키 입력에 따라 다르게 결정될 수 있다.
이 때, 테스트 제어부는 상기 비교 결과, 비교되는 두 이미지가 서로 일치하면 해당 클라우드 스트리밍 서버는 장애가 없다고 판단하고, 두 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버에 장애가 있다고 판단할 수 있다.
이 때, 다른 클라우드 스트리밍 서버들에 상응하는 상기 테스트 결과 이미지들은 상기 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버 테스트 방법은, 가상 클라이언트 모듈들이, 클라우드 스트리밍 서버들로부터 전송된 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 단계; 정상 상태 조건 만족 여부를 판단하는 단계; 상기 정상 상태 조건이 만족되면, 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오 및 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여, 테스트 결과 이미지들을 생성하는 단계; 상기 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 상기 다른 클라우드 스트리밍 서버들을 캡처하여 생성된 테스트 결과 이미지들을 비교하는 단계; 및 상기 비교 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상에 장애가 발생하였다고 판단하는 단계를 포함한다.
이 때, 정상 상태 조건은 상기 기설정된 테스트 스크립트 키 입력에 상응하여 결정된 기설정된 시간의, 경과 조건일 수 있다.
이 때, 경과 조건은 상기 기설정된 테스트 스크립트 키 입력이 전송된 타이밍으로부터 상기 기설정된 시간이 경과하였는지 여부에 따라 만족 여부가 결정될 수 있다.
이 때, 정상 상태 조건은 상기 기설정된 테스트 스크립트 키 입력에 따라 다르게 결정될 수 있다.
이 때, 테스트 제어부는 상기 비교 결과, 비교되는 두 이미지가 서로 일치하면 해당 클라우드 스트리밍 서버는 장애가 없다고 판단하고, 두 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버에 장애가 있다고 판단할 수 있다.
이 때, 다른 클라우드 스트리밍 서버들에 상응하는 상기 테스트 결과 이미지들은 상기 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버의 테스트 시스템은, 장애 여부 테스트를 위하여 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 전송하는 클라우드 스트리밍 서버들; 및 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 정상 상태 조건 만족 후 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 상기 정상 상태 조건 만족 후 캡처하여 생성된 테스트 결과 이미지들을 비교하여 상기 클라우드 스트리밍 서버들 중 하나 이상의 장애 여부를 판단하는 테스트 장치를 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버 테스트 장치는, 클라우드 스트리밍 서버들로 공통화면에 상응하는 공통 테스트 스크립트 키 입력을 전송하고, 상기 클라우드 스트리밍 서버들부터 상기 공통 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 가상 클라이언트 모듈들; 상기 공통화면에 상응하는 기준 결과 이미지와, 상기 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들 중 하나 이상을 비교하는 비교부; 및 상기 비교 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상의 장애 여부를 판단하는 테스트 제어부를 포함한다.
이 때, 공통 테스트 스크립트 키 입력은, 서로 상이한 둘 이상의 어플리케이션들이 동일한 상기 공통화면을 생성하도록 할 수 있다.
이 때, 공통화면은 애니메이션 효과가 배제된 화면일 수 있다.
이 때, 테스트 제어부는 상기 비교 결과, 비교되는 두 이미지가 서로 일치하면 해당 클라우드 스트리밍 서버는 장애가 없다고 판단하고, 두 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버에 장애가 있다고 판단할 수 있다.
이 때, 클라우드 스트리밍 서버들에 상응하는 테스트 결과 이미지들은 상기 기준 결과 이미지와 동일 시점에 캡처될 수 있다.
본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버 테스트 방법은, 가상 클라이언트 모듈들이, 공통화면에 상응하는 공통 테스트 스크립트 키 입력을 생성하는 단계; 상기 가상 클라이언트 모듈들이, 상기 공통 테스트 스크립트 키 입력에 상응하여 클라우드 스트리밍 서버들로부터 전송된 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 단계; 상기 공통화면에 상응하는 기준 결과 이미지와, 상기 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들 중 하나 이상을 비교하는 단계; 및 상기 비교 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상에 장애가 발생하였다고 판단하는 단계를 포함한다.
이 때, 공통 테스트 스크립트 키 입력은, 서로 상이한 둘 이상의 어플리케이션들이 동일한 상기 공통화면을 생성하도록 할 수 있다.
이 때, 공통화면은 애니메이션 효과가 배제된 화면일 수 있다.
이 때, 클라우드 스트리밍 서버들에 상응하는 테스트 결과 이미지들은 상기 기준 결과 이미지와 동일 시점에 캡처될 수 있다.
이 때, 장애가 발생하였다고 판단하는 단계는 상기 비교 결과, 비교되는 두 이미지가 서로 일치하면 해당 클라우드 스트리밍 서버는 장애가 없다고 판단하고, 두 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버에 장애가 있다고 판단할 수 있다.
본 발명의 바람직한 실시예에 따른 클라우드 스트리밍 서버의 테스트 시스템은, 장애 여부 테스트를 위하여 공통화면에 상응하는 공통 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 전송하는 클라우드 스트리밍 서버들; 및 상기 공통화면에 상응하는 기준 결과 이미지와, 상기 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들 중 하나 이상을 비교하여 상기 클라우드 스트리밍 서버들 중 하나 이상의 장애 여부를 판단하는 테스트 장치를 포함한다.
본 발명은 클라우드 스트리밍 서비스를 제공하는 서버의 정상 동작 여부를 테스트하는데 있어서, 실제 클라이언트 단말기와 적어도 일부 기능이 동일한 가상 클라이언트 모듈을 적어도 하나 구비하고, 적어도 하나의 클라우드 스트리밍 서버로부터 전송되는 기설정된 테스트 결과를 적어도 하나의 가상 클라이언트 모듈을 통해 수신하여 화면으로 출력하도록 한 후, 상기 적어도 하나의 가상 클라이언트 모듈로부터 출력되는 결과 이미지를 캡처하고, 캡처한 결과 이미지를 미리 설정된 기준 이미지와 비교하여, 동일한지 여부에 따라 클라우드 스트리밍 서버의 정상 동작 여부를 판단하도록 함으로써 클라우드 스트리밍 서버의 장애를 보다 손쉽게 검출할 수 있는 이점이 있다.
또한, 이와 같이 서버의 정상 동작 여부를 확인할 수 있도록 함으로써 클라우드 스트리밍 서버의 데이터 전송오류를 사전에 방지할 수 있는 효과가 있다.
또한, 본 발명은 클라우드 스트리밍 서비스를 제공하는 서버의 장애를 미리 검출함으로써, 안정적인 클라우드 스트리밍 서비스를 제공할 수 있도록 하여, 서비스 품질을 향상시킬 수 있는 우수한 효과가 있다.
또한, 본 발명은 테스트 결과 비디오 중 애니메이션 효과가 적용된 부분에 마스킹한 이후에, 결과 화면을 캡처하여 상호 비교함으로써 정상 동작한 동일한 서비스 화면의 경우에도 장애가 있는 것으로 보고되는 등 테스트 결과에 오류가 발생하는 것을 방지할 수 있다.
또한, 본 발명은 클라우드 스트리밍 서버 테스트를 위한 기준 서버를 적절히 변경하여 기준 서버에 장애가 발생한 경우 테스트 결과 오류가 전파되는 것을 방지할 수 있다.
또한, 본 발명은 복수 개의 클라우드 스트리밍 서버로부터 테스트 결과 화면을 제공 받아 서로 비교하여 클라우드 스트리밍 서버에 발생한 장애를 감지함과 동시에 클라우드 스트리밍 서버에 대한 연결 오류를 감지하여, 클라우드 스트리밍 서버의 동작 오류와 연결 오류를 함께 테스트할 수 있다.
또한, 본 발명은 키 스크립트 입력 전송 후 실행 결과 화면이 정상 상태(steady state)에 진입한 이후에, 결과 화면을 캡처하여 상호 비교함으로써 적절하지 못한 타이밍에 화면 캡처가 이루어져서 테스트 결과에 오류가 발생하는 것을 방지할 수 있다.
또한, 둘 이상의 어플리케이션들이 공통화면을 생성할 수 있고, 애니메이션이 배제된 실행 결과 화면을 생성할 수 있는 공통 테스트 스크립트 키 입력을 클라우드 스트리밍 서버로 전송하여 테스트를 수행함으로써, 클라우드 스트리밍 서버 테스트의 효율성을 높이고 테스트 에러를 최소화할 수 있다.
도 1은 본 발명의 실시예에 따른 클라우드 스트리밍 서버의 테스트 시스템을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 클라우드 스트리밍 서버 테스트 장치를 도시한 도면이다.
도 3은 본 발명의 실시예에 따라 테스트 결과를 수신하여 처리하는 가상 클라이언트 모듈의 구성을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 클라우드 스트리밍 서버의 테스트 시스템에서의 테스트 과정을 나타내는 흐름도이다.
도 5는 본 발명의 실시예에 따른 클라우드 스트리밍 서버 테스트 방법을 나타내는 동작 흐름도이다.
도 6은 본 발명의 실시예에 따른 클라우드 스트리밍 서버의 테스트 시스템에서의 테스트 과정을 나타내는 흐름도이다.
도 7은 본 발명의 실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법을 나타내는 동작 흐름도이다.
도 8은 본 발명의 다른 실시예에 따른 클라우드 스트리밍 서버 테스트 장치를 도시한 도면이다.
도 9는 본 발명의 실시예에 따른 클라우드 스트리밍 서버의 테스트 시스템에서의 테스트 과정을 나타내는 흐름도이다.
도 10은 본 발명의 실시예에 따른 클라우드 스트리밍 서버 테스트 방법을 나타내는 동작 흐름도이다.
도 11는 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법의 캡처 타이밍을 나타낸 타이밍도이다.
도 12는 본 발명의 실시예에 따른 클라우드 스트리밍 서버의 테스트 시스템에서의 테스트 과정을 나타내는 흐름도이다.
도 13은 본 발명의 실시예에 따른 클라우드 스트리밍 서버 테스트 방법을 나타내는 동작 흐름도이다.
도 14는 본 발명의 실시예에 따른 클라우드 스트리밍 서버의 테스트 시스템에서의 테스트 과정을 나타내는 흐름도이다.
도 15는 본 발명의 실시예에 따른 클라우드 스트리밍 서버 테스트 방법을 나타내는 동작 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 실시예를 참조하여, 클라우드 스트리밍 서버의 정상 동작 여부를 사전에 검출하여, 서버 장애에 따른 서비스 품질 저하를 방지할 수 있는 테스트 기술에 대하여 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 클라우드 스트리밍 서비스의 테스트 시스템의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명이 적용된 클라우드 스트리밍 시스템은, 통신망(110)을 통해서 연결된 다수의 클라이언트(100, 101, 102)와 다수의 클라우드 스트리밍 서버(130, 140, 150)로 이루어지며, 본 발명은 이러한 클라우드 스트리밍 시스템의 정상 동작 여부를 테스트하기 위하여, 상기 다수의 클라우드 스트리밍 서버(130, 140, 150)와 통신망(110)을 통해서 연결되며 상기 클라이언트(100, 101, 102)의 적어도 일부 기능을 수행하는 가상 클라이언트 모듈을 포함하는 테스트 장치(120)를 더 포함한다.
이하의 실시예에서는 세 개의 클라우드 스트리밍 서버(130, 140, 150) 및 세 개의 가상 클라이언트 모듈을 포함하는 테스트 장치(120)를 도시하였으나, 상기 클라우드 스트리밍 서버의 수 및 가상 클라이언트 모듈의 수는 이에 한정되지 않으며 필요 및 설계에 따라서 다양한 조합으로 구현될 수 있다.
상기에서, 클라이언트(100, 101, 102)는 통신망(110)을 경유하여 각종 데이터를 송수신할 수 있는 단말기를 말하는 것으로, 특히, 클라우드 스트리밍 서버(130, 140, 150)에 접속하여 클라우드 스트리밍 서비스를 제공하는 사용자측 장치를 의미한다. 예를 들어, 클라이언트(100, 101, 102)는 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 스마트 TV 및 이동통신 단말기(Mobile Communication Terminal), 셋탑박스 중 어느 하나일 수 있다.
또한, 클라이언트(100, 101, 102)는 통신망(110)을 경유하여 클라우드 스트리밍 서버(130, 140, 150)와 통신하기 위한 브라우저, 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말기를 의미한다. 즉, 클라이언트(100, 101, 102)는 클라우드 스트리밍 서버(130, 140, 150)와 통신이 가능하다면 그 어떠한 단말기도 가능하며, 노트북 컴퓨터, 이동통신 단말기, PDA 등의 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다.
이러한 클라이언트(100, 101, 102)는 예를 들어, 클라우드 스트리밍 서버(130, 140, 150)에 접속하여 사용자 입력에 따라서 특정 서비스 또는 기능을 요청하고, 상기 요청된 서비스 또는 기능의 실행에 따른 결과 화면을 클라우드 스트리밍 서버(130, 140, 150)로부터 수신하여 출력할 수 있다.
그리고, 클라우드 스트리밍 서버(130, 140, 150)는 통신망(110)을 통해 다수의 클라이언트(100, 101, 102)들로 특정 서비스나 기능을 제공하는 구성으로서, 특히, 클라우드 스트리밍 서비스를 제공할 수 있다. 예를 들어, 클라우드 스트리밍 서버(130, 140, 150)는 클라이언트(100, 101, 102)의 OS 종류, CPU 성능, 메모리 용량, 기타 소프트웨어 및 하드웨어 사양에 관계없이, 소정의 서비스나 기능, 예를 들어, 고성능의 이미지 처리를 요하는 서비스나 기능을 제공할 수 있도록, 클라이언트(100, 101, 102)로부터 전송된 사용자 입력에 따른 서비스 혹은 기능을 수행하고, 그 결과 화면을 상기 클라이언트(100, 101, 102)로 전송할 수 있다. 이를 위해, 상기 클라우드 스트리밍 서버(130, 140, 150)는 화면 가상화 기능을 구비할 수 있다. 특히, 본 발명에서 클라우드 스트리밍 서버(130, 140, 150)는 정상 동작 여부(즉, 장애 여부)를 테스트하기 위하여, 기설정된 테스트 스크립트 키 입력을 수신하고 이에 기반하여 생성된 테스트 결과(테스트 결과 화면)를 테스트 장치(120)의 각 가상 클라이언트 모듈들로 전송할 수 있다.
통신망(110)은 인터넷망, 인트라넷망, 이동통신망, 위성 통신망 등 다양한 유무선 통신 기술을 이용하여 인터넷 프로토콜로 데이터를 송수신할 수 있는 망을 말한다. 이러한, 통신망(110)은 LAN(Local Area Network), WAN(Wide Area Network)등의 폐쇄형 네트워크, 인터넷(Internet)과 같은 개방형 네트워크뿐만 아니라, CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile Communications), LTE(Long Term Evolution), EPC(Evolved Packet Core) 등의 네트워크와 향후 구현될 차세대 네트워크 및 컴퓨팅 네트워크를 통칭하는 개념이다.
테스트 장치(120)는 클라우드 스트리밍 서버(130, 140, 150)의 정상 동작 여부를 테스트하기 위한 장치이다. 이러한 테스트 장치(120)는 클라이언트(100, 101, 102)의 적어도 일부 기능을 가지는 가상 클라이언트 모듈을 적어도 하나 구비한다.
이러한 테스트 장치(120)는 적어도 하나의 클라우드 스트리밍 서버(130, 140, 150)로부터 전송된 테스트 결과가 상기 적어도 하나의 가상 클라이언트 모듈들로 수신되면, 상기 적어도 하나의 가상 클라이언트 모듈이 수신된 테스트 결과를 데이터 처리하여 화면으로 출력할 때, 출력되는 결과 이미지를 캡처하고, 캡처된 결과 이미지를 미리 설정된 기준 결과 이미지와 비교해서, 일치하는 정도에 따라 상기 적어도 하나의 클라우드 스트리밍 서버의 장애 여부를 판단한다. 더 구체적으로, 테스트 장치(120)는 적어도 하나의 가상 클라이언트 모듈이 특정 클라우드 스트리밍 서버(130)로부터 수신한 테스트 결과에 대하여 디코딩 등의 데이터 처리를 수행한 후, 화면으로 출력시킬 때, 소정의 캡처 시점에 출력되는 결과 이미지와 미리 설정된 기준 결과 이미지(기준 결과 이미지는 테스트 대상인 클라우드 스트리밍 서버들 중 하나에 상응하는 것일 수 있음)를 비교하여, 서로 일치하지 않으면 해당 클라우드 스트리밍 서버(130)에 장애가 있어 정상 동작하지 않는 클라우드 스트리밍 서버로 판단하고, 서로 일치하면 해당 클라우드 스트리밍 서버(130)가 정상 동작하는 것으로 판단한다. 단, 결과 이미지를 캡처하기 전에 테스트 결과 비디오를 마스킹하여 마스크드 비디오를 생성하고, 마스크드 비디오들을 캡처하여 결과 이미지를 생성할 수 있다. 이 때, 캡처 시점은 적어도 하나의 클라우드 스트리밍 서버(130, 140, 150)로부터 테스트 결과가 전송되는 시점을 기준으로 설정될 수 있으며, 테스트 장치(120)에 미리 저장되어 있을 수 있다.
특히, 캡처는 테스트 결과 비디오의 정상 상태 조건을 만족한 후, 수행될 수 있다. 즉, 클라우드 스트리밍 서버(130, 140, 150)로 테스트 키 스크립트 입력이 전송된 후, 키 스크립트 입력의 전송 소요 시간이나 클라우드 스트리밍 서버(130, 140, 150)의 동작 속도에 따라 최종 테스트 결과 화면 생성에 걸리는 시간이 서로 상이할 수 있으므로, 충분한 시간이 경과하여 모든 클라우드 스트리밍 서버(130, 140, 150)로부터 정상 상태 결과 화면이 전송될 때 테스트 결과 화면을 캡처하여야 오류 없는 테스트 결과를 얻을 수 있다.
이 때, 테스트 장치(120)는 클라우드 스트리밍 서버들(130, 140, 150)로 공통화면에 상응하는 공통 테스트 스크립트 키 입력을 전송하고, 클라우드 스트리밍 서버들(130, 140, 150)로부터 공통 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 수신할 수 있다. 이 때, 공통 테스트 스크립트 키 입력은 서로 상이한 둘 이상의 어플리케이션들이 동일한 공통화면을 생성하도록 할 수 있다. 이 때, 공통화면은 애니메이션 효과가 배제된 화면일 수 있다.
이와 같이, 공통 테스트 스크립트 키 입력을 이용하여 테스트를 수행하면 애니메이션 등에 의해 테스트 결과에 오류가 발생할 우려가 없고, 동일한 키 스트로크를 여러 어플리케이션들에 공통 적용할 수 있어서 효율적인 테스트 수행이 가능하다.
예를 들어, 테스트 장치(120)는 클라우드 스트리밍 서버들(130, 140, 150)이 생성한 테스트 결과 비디오들 중 애니메이션 효과가 적용되어 키 입력과 무관하게 변화하는 부분에 대해서 마스킹하여 마스크드 비디오를 생성하고, 마스크드 비디오들을 캡처한 테스트 결과 이미지들을 비교하여 클라우드 스트리밍 서버들(130, 140, 150) 중 하나 이상의 장애 여부를 판단하고, 기준 서버(130)의 변경이 필요하다고 판단되는 경우(변경 조건 만족) 기준 서버(130)를 다른 서버(140 또는 150)로 변경할 수 있다.
예를 들어, 테스트 장치(120)는 클라우드 스트리밍 서버들(130, 140, 150) 중 하나인 기준 서버(130)에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들(140, 150)에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하여 클라우드 스트리밍 서버들(130, 140, 150) 중 하나 이상의 장애 여부를 판단하고, 기준 서버(130)의 변경이 필요하다고 판단되는 경우(변경 조건 만족) 기준 서버(130)를 다른 서버(140 또는 150)로 변경할 수 있다.
예를 들어, 테스트 장치(120)는 클라우드 스트리밍 서버들(130, 140, 150) 중 하나인 기준 서버(130)에 상응하는 테스트 결과 비디오를 정상 상태 조건 만족 후 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들(140, 150)에 상응하는 테스트 결과 비디오들을 상기 정상 상태 조건 만족 후 캡처하여 생성된 테스트 결과 이미지들을 비교하여 클라우드 스트리밍 서버들(130, 140, 150) 중 하나 이상의 장애 여부를 판단하고, 기준 서버(130)의 변경이 필요하다고 판단되는 경우(변경 조건 만족) 기준 서버(130)를 다른 서버(140 또는 150)로 변경할 수 있다.
이 때, 정상 상태 조건은 기설정된 테스트 스크립트 키 입력에 상응하여 결정된 기설정된 시간의 경과 조건일 수 있다.
이 때, 경과 조건은 기설정된 테스트 스크립트 키 입력이 전송된 타이밍으로부터 상기 기설정된 시간이 경과하였는지 여부에 따라 만족 여부가 결정될 수 있다.
이 때, 정상 상태 조건은 상기 기설정된 테스트 스크립트 키 입력에 따라 다르게 결정될 수 있다. 즉, 테스트 스크립트 키 입력이 길어지면 정상 상태 조건도 긴 입력 처리에 상응하여 달라질 수 있다.
이 때, 변경 조건은 클라우드 스트리밍 서버들 중 상기 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수가 기설정된 기준값 이상일 조건일 수 있다.
테스트 장치(120)는 클라우드 스트리밍 서버들(130, 140, 150)로의 연결 오류를 검출할 수 있다. 예를 들어, 테스트 장치(120)는 클라우드 스트리밍 서버들(130, 140, 150)로의 연결 시도 실패가 수신되거나, 기설정된 시간 이상 클라우드 스트리밍 서버들(130, 140, 150)로부터 테스트 결과가 수신되지 아니하면 연결 오류로 판단할 수 있다. 즉, 테스트 장치(120)는 클라이언트 모듈이 클라우드 스트리밍 서버로 접속을 시도하였다가 실패하거나, 클라우드 스트리밍 서버로부터 클라우드 스트리밍 서비스 화면이 전송되지 아니하는 경우에는 화면 비교를 통한 테스트와는 별개로 연결 장애를 통보할 수 있다.
테스트 장치(120)는 테스트 결과 비디오 중 애니메이션 효과가 적용된 부분에 대해 마스킹하여 마스크드 비디오를 생성하고, 마스크드 비디오를 캡처한 테스트 결과 이미지에 대해서 비교를 수행할 수 있다.
이와 같이 본 발명에서는 가상 클라이언트 모듈들은 각각 서로 다른 클라우드 스트리밍 서버로부터 테스트 결과를 수신하는데, 적어도 하나의 가상 클라이언트 모듈이 각각 서로 다른 클라우드 스트리밍 서버로부터 테스트 결과를 수신하여 출력한 결과 이미지를 기준 결과 이미지와 비교하여 비교 결과에 따라 해당 클라우드 스트리밍 서버의 정상 동작 여부를 판단하는 것이다. 즉, 실제 클라이언트(100, 101, 102)에서 사용자에게 제공하는 화면 이미지를 기준으로 각 클라우드 스트리밍 서버(130, 140, 150)의 정상 동작 여부를 판단하는 것이다. 다만, 동일한 입력에 대해서도 캡처 시점에 따라 결과의 차이가 발생할 수 있는, 애니메이션이 적용된 영역을 마스킹하고 비교한다. 이를 위해 상기 테스트 장치(120)는 상기 적어도 하나의 클라우드 스트리밍 서버(130, 140, 150)로 동시에 테스트 결과의 전송을 요청할 수 있으며, 이러한 요청 신호에 따라서 각 클라우드 스트리밍 서버(130, 140, 150)는 테스트 결과를 전송할 수 있다. 아울러, 적어도 하나의 클라우드 스트리밍 서버(130, 140, 150)로부터 전송된 테스트 결과를 수신하여 처리할 가상 클라이언트 모듈은 미리 설정되어 있을 수 있다. 즉, 적어도 하나의 클라우드 스트리밍 서버(130, 140, 150)와 적어도 하나의 가상 클라이언트 모듈은 일대일 혹은 다대일로 매핑될 수 있다. 이에, 테스트 장치(120)는 상기 적어도 하나의 클라우드 스트리밍 서버(130, 140, 150)로 테스트 결과의 전송을 요청할 때, 이를 수신할 가상 클라이언트 모듈에 대한 정보를 함께 전송할 수 있으며, 또한, 가상 클라이언트 모듈이 둘 이상의 클라우드 스트리밍 서버와 매핑될 때, 둘 이상의 클라우드 스트리밍 서버로부터 테스트 결과를 순차로 수신하여 처리할 수 있도록, 적어도 하나의 클라우드 스트리밍 서버(130, 140, 150)로의 테스트 결과 전송의 요청 시점을 조정할 수 있다.
이와 같이 구성된 시스템에서 첨부된 도 2 및 도 3을 참조하여 본 발명의 실시예에 따른 테스트 장치(120)의 구성을 구체적으로 살펴보도록 한다.
먼저, 도 2를 참조하면 테스트 장치(120)는 테스트 제어부(200), 저장부(210), 비교부(220), 입력부(230), 출력부(240), 적어도 하나의 가상 클라이언트 모듈(250, 252, 254)을 포함하여 구성할 수 있다. 본 실시예에서 가상 클라이언트 모듈(250, 252, 254)의 수를 3개로 예시하였으나, 상기 가상 클라이언트 모듈(250, 252, 254)의 수는 시스템 운용에 따라서 변경될 수 있다.
테스트 제어부(200)는 클라우드 스트리밍 서버(130, 140, 150)들의 장애 여부를 판단에 필요한 모든 제어를 수행하고, 장애 여부 판단 요구 시 비교부(220)를 통해 이루어진 비교 결과, 즉 테스트 결과에 의하여 출력된 화면을 캡처한 결과 이미지와 미리 결정된 기준 결과 이미지의 일치 여부에 따라 클라우드 스트리밍 서버의 장애 여부를 판단한다. 이 때, 장애 여부 판단 요구 시점은 가상 클라이언트 모듈(250, 252, 254)로 테스트 결과 수신이 감지되고 수신이 완료된 시점으로 할 수도 있고, 입력부(230)를 통해 장애 여부 판단 요구 입력이 있는 시점으로 할 수도 있고, 미리 설정된 주기에 따른 시점이 될 수도 있다. 이와 같이 장애 여부 판단 요구는 설정에 따라 발생할 것이다. 또한, 기준 결과 이미지는, 미리 저장될 수도 있으나, 상기 적어도 하나의 가상 클라이언트 모듈(250, 252, 254) 중 특정 가상 클라이언트 모듈로부터 출력된 결과 이미지를 기준 결과 이미지로 설정할 수 있다.
특히, 테스트 제어부(200)는 기준 서버의 변경 조건이 만족되는 경우 기준 서버를 다른 클라우드 스트리밍 서버로 변경한다. 즉, 기준 서버에 장애가 발생하면 이를 기준으로 비교한 결과 정상 동작하는 모든 서버에 장애가 발생한 것으로 테스트 결과가 나올 수 있는데, 기준 서버를 적절히 변경하면 이와 같은 경우를 방지할 수 있다.
이 때, 테스트 제어부(200)는 비교 결과 비교되는 두 이미지가 서로 일치하면 해당 클라우드 스트리밍 서버는 장애가 없다고 판단하고, 두 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버에 장애가 있다고 판단할 수 있다.
이 때, 테스트 제어부(200)는 기준 서버를 변경하기 이전에 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수가 상기 기준 서버를 변경한 이후에 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수보다 기설정된 개수 이상 많은 경우, 변경전 기준 서버에 장애가 있는 것으로 판단할 수 있다.
저장부(210)는 테스트 장치(120)의 동작에 필요한 정보들을 저장할 수 있다. 이러한 저장부(210)는 적어도 하나의 클라우드 스트리밍 서버(130, 140, 150)로부터 전송된 테스트 결과에 대한 결과 비디오를 동일한 시점에 캡처하기 위해 테스트 결과 비디오를 캡처하기 위한 캡처 시점 정보를 저장한다. 이 때, 캡처 시점은 모든 클라우드 스트리밍 서버들에 대해 정상 상태 조건이 만족된 이후일 수 있다. 또한, 저장부(210)는 클라우드 스트리밍 서버로부터 전송되는 테스트 결과에 대한 기본 정보를 저장하고, 특히 클라우드 스트리밍 서버의 장애 여부를 판단하기 위한 기준이 되는 특정 시점의 기준 이미지를 미리 저장할 수 있다. 이러한 저장부(210)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함한다.
비교부(220)는 테스트 제어부(200)의 제어에 따라 각각의 가상 클라이언트 모듈(250, 252, 254)에서 수신되어 화면으로 출력된 테스트 결과 비디오의 전달을 요구할 수 있고 테스트 결과 비디오 중 애니메이션이 적용된 부분에 대하여 마스킹을 수행하여 마스크드 비디오를 생성하고, 마스크드 비디오를 캡처하여 생성된 테스트 결과 이미지를 기준 결과 이미지를 비교한 후 비교 결과를 테스트 제어부(200)로 출력한다. 이를 위해, 상기 비교부(220)는 상기 기준 결과 이미지를 설정하는 과정을 더 수행할 수 있다. 즉, 비교부(220)는 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 마스크드 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교할 수 있다.
이 때, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 이미지들은 상기 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처된 것일 수 있다. 이 때, 캡처 시점은 모든 클라우드 스트리밍 서버들에 대하여 정상 상태 조건을 만족한 이후일 수 있다.
입력부(230)는 클라우드 스트리밍 서버 관리자의 조작에 따라서 클라우드 스트리밍 서버 관리자의 요청이나 정보에 해당하는 사용자 입력 신호를 발생할 수 있으며, 현재 상용화되어 있거나 향후 상용화가 가능한 다양한 입력 수단으로 구현될 수 있으며, 예를 들면, 키보드, 마우스, 조이스틱, 터치 스크린, 터치 패드 등과 같은 일반적인 입력 장치뿐만 아니라, 사용자의 모션을 감지하여 특정 입력 신호를 발생하는 제스처 입력 수단을 포함할 수 있다.
출력부(240)는 테스트 장치(120)의 동작 결과나 상태를 사용자가 인식할 수 있도록 제공하는 수단으로서, 예를 들면, 화면을 통해 시각적으로 출력하는 표시부나, 가청음을 출력하는 스피커 등을 포함할 수 있다. 특히, 본 발명에 있어서, 출력부(240)는 상기 적어도 하나의 가상 클라이언트 모듈(250, 252, 254)로부터 처리되어 출력되는 결과 이미지를 시각적으로 출력할 수 있으며, 또한 결과 이미지와 기준 결과 이미지를 비교하여 출력하거나, 클라우드 스트리밍 서버의 장애 여부 결과를 표시할 수 있다.
가상 클라이언트 모듈(250, 252, 254)은 클라우드 스트리밍 서버(130, 140, 150)에 접속하여 클라우드 스트리밍 서비스를 제공받는 클라이언트(100, 101, 102)를 가상화한 구성으로서, 실제 클라이언트(100, 101, 102)의 기능 중 적어도 일부의 기능을 수행할 수 있다. 예를 들어, 상기 가상 클라이언트 모듈(250, 252, 254)은 특정 클라우드 스트리밍 서버(130, 140, 150)에 접속하여 특정 클라우드 스트리밍 서버(130, 140, 150)로부터 각각의 테스트 결과를 수신하여, 상기 수신된 테스트 결과에 대하여 클라이언트(100, 101, 102)와 동일한 처리(예를 들어, 디코딩 등)를 수행하여 테스트 결과 비디오를 생성하고, 이를 출력부(240)를 통해 화면으로 출력할 수 있다. 이 때, 가상 클라이언트 모듈(250, 252, 254)은 비교부(220)의 결과 이미지 요구에 따라서, 특정 시점에 화면으로 출력되는 결과 이미지를 캡처하여 비교부(220)로 전달할 수 있다. 이 때, 캡처 시점은 비교부(220)로부터 수신할 수도 있고, 미리 설정하여 저장하고 있을 수도 있다. 상기 결과 이미지의 캡처는 예를 들어, 가상 클라이언트 모듈(250, 252, 254)의 프레임 버퍼에 저장된 이미지 데이터를 캡처하는 방식으로 이루어질 수 있다. 실시예에 따라, 테스트 결과 비디오를 캡처하여 테스트 결과 이미지를 생성하는 것 은 비교부(220)에서 수행될 수도 있다.
즉, 가상 클라이언트 모듈(250, 252, 254)은 클라우드 스트리밍 서버로 테스트 스크립트 키 입력을 제공하고, 클라우드 스트리밍 서버로부터 테스트 스크립트 키 입력에 상응하는 테스트 결과를 제공 받아서 이를 디코딩하여 테스트 결과 비디오를 생성한다. 이 때, 테스트 결과는 인코딩된 스트리밍 비디오로 볼 수 있고, 테스트 결과 비디오는 디코딩된 스트리밍 비디오로 볼 수 있다.
특히, 가상 클라이언트 모듈들(250, 252, 254)은 클라우드 스트리밍 서버들(130, 140, 150)로 공통화면에 상응하는 공통 테스트 스크립트 키 입력을 전송하고, 클라우드 스트리밍 서버들(130, 140, 150)로부터 공통 테스트 키 입력에 상응하는 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성할 수 있다.
이 때, 공통 테스트 스크립트 키 입력은 서로 상이한 둘 이상의 어플리케이션들이 동일한 상기 공통화면을 생성하도록 할 수 있다.
이 때, 공통화면은 애니메이션 효과가 배제된 화면일 수 있다.
즉, 공통 테스트 스크립트 키 입력을 사용함으로써, 복수 개의 어플리케이션들이 테스트 스크립트 키 입력을 공유할 수 있고, 나아가 기준 결과 이미지도 공유가 가능해진다. 나아가, 애니메이션 효과가 배제된 공통화면을 생성하는 공통 키 스크립트 키 입력을 사용함으로써 테스트 결과 오류를 방지할 수 있다.
이러한 가상 클라이언트 모듈(250, 252, 254)의 내부 구성은 도 3과 같이 도시할 수 있다. 각각의 가상 클라이언트 모듈(250, 252, 254)의 구성은 동일하므로 도 3의 설명에서는 도면부호 250의 가상 클라이언트 모듈을 예로 들어 설명하도록 한다.
도 3은 본 발명의 실시예에 따라 테스트 결과를 수신하여 처리하는 가상 클라이언트 모듈의 구성을 도시한 도면이다.
도 3을 참조하면, 가상 클라이언트 모듈(250)은 제어부(300), 통신부(302), 저장부(304)를 포함하여 구성할 수 있다.
이러한 가상 클라이언트 모듈(250)은 클라우드 스트리밍 서버(130, 140, 150)로부터 제공되는 데이터를 수신할 수 있는 단말 장치 예를 들어, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant), 스마트 TV 및 이동통신 단말기(Mobile Communication Terminal), 셋탑박스 중 하나의 단말을 가상화하여 구현될 수 있다. 따라서, 상기 가상 클라이언트 모듈(250)은 어떤 종류의 단말 장치이냐에 따라서 그 구성 또한 상이하게 구성될 것이다. 특히, 본 발명에 있어서, 가상 클라이언트 모듈(250)은 테스트 결과의 수신 및 수신된 테스트 결과의 디코딩, 테스트 결과 비디오 생성 및 화면 출력 기능까지 수행하도록 구현될 수 있다.
제어부(300)는 가상 클라이언트 모듈(250)의 전반적인 제어를 수행하고, 특히 비교부(220) 또는 테스트부(820)로부터 클라우드 스트리밍 서버(130, 140, 150)로부터의 요구에 따라 특정 시점에 화면으로 출력되는 결과 이미지를 추출하여 비교부(220) 또는 테스트부(820)로 전달한다. 또한, 제어부(300)는 통신부(302)를 통해서 특정 클라우드 스트리밍 서버(130, 140, 150)로 테스트 결과 전송 요청 신호를 전송할 수 있다. 상기 테스트 결과 전송 요청 신호의 전송시, 이를 수신할 가상 클라이언트 모듈의 식별 정보를 함께 전송할 수 있으며, 또한, 다수의 클라우드 스트리밍 서버의 테스트 스케쥴에 따라서, 클라우드 스트리밍 서버별 테스트 결과 전송 요청 신호를 순차적으로 전송할 수 있다.
통신부(302)는 통신망(110)을 통해 클라우드 스트리밍 서버(130, 140, 150)로부터 전송된 테스트 결과를 수신한다. 이러한 통신부(302)는 유선 방식 및 무선 방식뿐만 아니라 다양한 통신 방식을 통해서 데이터를 송수신할 수 있다. 더하여, 통신부(302)는 하나 이상의 통신 방식을 사용하여 데이터를 송수신할 수 있으며, 이를 위하여 통신부(302)는 각각 서로 다른 통신 방식에 따라서 데이터를 송수신하는 복수의 통신 모듈을 포함할 수 있다.
저장부(304)는 가상 클라이언트 모듈(250)의 동작에 필요한 정보들을 저장하며, 특히, 클라우드 스트리밍 서버(130, 140, 150)로부터 수신한 테스트 결과를 저장할 수 있다. 또한, 수신한 테스트 결과에 대하여 소정의 데이터 처리를 수행하여 최종적으로 화면으로 출력된 테스트 결과 비디오를 저장할 수 있으며, 또한, 설정에 따라 결과 이미지의 캡처 시점 정보를 미리 저장하고 있을 수도 있다. 이러한 저장부(304)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)과 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함한다.
도 4는 본 발명의 실시예에 따른 테스트 시스템에서 클라우드 스트리밍 서버의 정상 동작 여부를 테스트하기 위한 과정을 나타내는 흐름도이다.
클라우드 스트리밍 서버(130, 140, 150)는 테스트 결과를 테스트 장치(120)의 가상 클라이언트 모듈(250, 252, 254)로 동시에 전송한다(S402 내지 S406). 즉, 한 클라우드 스트리밍 서버(130)는 가상 클라이언트 모듈(250)로 테스트 결과를 전송하고, 다른 클라우드 스트리밍 서버(140)는 가상 클라이언트 모듈(252)로 테스트 결과를 전송하고, 나머지 클라우드 스트리밍 서버(150)는 가상 클라이언트 모듈(254)로 테스트 결과를 전송할 수 있다. 이와 달리, 하나의 가상 클라이언트 모듈이 다수의 클라우드 스트리밍 서버(130, 140, 150)로부터 시간 차를 두고 순차적으로 테스트 결과를 수신할 수도 있다.
이 때, 클라우드 스트리밍 서버(130, 140, 150)는 가상 클라이언트 모듈(250, 252, 254)의 테스트 스크립트 키 입력에 상응하여 테스트 결과를 전송하는 것일 수 있다.
각 가상 클라이언트 모듈(250, 252, 254)은 클라우드 스트리밍 서버(130, 140, 150)로부터 수신된 테스트 결과를 디코딩하여 테스트 결과 비디오를 생성하여 이를 비교부(220)로 제공한다(S414 내지 S419). 이 때, 테스트 결과 비디오의 제공은 테스트 제어부(200)로부터의 테스트 요구에 상응하여 수행되는 것일 수도 있다. 이 때, 비교부(220)는 각 가상 클라이언트 모듈(250, 252, 254)로 클라우드 스트리밍 서버(130, 140, 150)로부터 수신한 테스트 결과 전달을 요청할 수 있다. 이 때, 상기 가상 클라이언트 모듈(250, 252, 254)은 수신한 테스트 결과를 실제 클라이언트(100, 101, 102)에서와 같이 처리하여 테스트 결과 비디오를 생성한 후, 화면으로 출력되도록 하는데, 이 때, 상기 비교부(220)에서 요구한 시점, 또는 기설정된 특정 시점에 화면으로 출력되는 동작 케이스 비디오를 캡처하여 비교부(220)로 전송할 수 있다. 즉, 동작 케이스 비디오를 캡처하여 동작 케이스 이미지를 생성하는 것은 가상 클라이언트 모듈(250)에 의하여 수행될 수도 있고, 비교부(220)에 의하여 수행될 수도 있다.
비교부(220)는 수신한 각 테스트 결과 비디오 중 애니메이션이 적용된 부분에 대하여 마스킹을 수행하여 마스크드 비디오를 생성한다(S420).
이 때, 애니메이션이 적용된 부분은 키 입력과 관계없이 변화하는 부분이며, 이동하는 객체, 크기, 모양, 색상 등이 변화하는 객체등이 삽입된 부분일 수 있다. 또한, 시계가 표시되는 부분일 수도 있다.
비교부(220)는 각 마스크드 비디오를 캡처한 테스트 결과 이미지와 기설정된 기준 결과 이미지를 비교한 후 비교 결과를 테스트 제어부(200)로 전달한다(S424, S426). 여기서, 기준 결과 이미지는, 테스트 결과가 정상적으로 전송되어 출력될 때 나타나는 결과 이미지를 미리 저장하고 있을 수도 있으며, 상기 가상 클라이언트 모듈(250, 252, 254) 중 기설정된 특정 가상 클라이언트 모듈로부터 출력된 결과 이미지를 기준 결과 이미지로 설정할 수도 있다. 이를 위하여, 상기 비교부(220)는 비교를 수행하기에 앞서, 기준 결과 이미지를 설정하는 과정을 더 수행할 수 있다.
그러면, 테스트 제어부(200)는 비교 결과에 따라 클라우드 스트리밍 서버의 장애 여부를 판단하는데, 이 때 비교결과 수신한 테스트 결과에서 캡처한 결과 이미지와 미리 설정된 기준 결과 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버는 장애가 있다고 판단하고, 서로 일치하면 해당 클라우드 스트리밍 서버에 장애가 없다고 판단한다(S427). 이 때, 비교 결과는 도면부호 130, 140, 150의 클라우드 스트리밍 서버 각각에 대해 테스트 제어부(200)로 전달되고, 테스트 제어부(200)는 비교 결과에 따라 각 클라우드 스트리밍 서버에 대한 장애 여부를 판단하게 될 것이다.
도 5는 본 발명의 실시예에 따른 테스트 장치(120)에서 클라우드 스트리밍 서버(130, 140, 150)의 정상 동작 여부를 테스트하기 위한 방법을 나타내는 동작 흐름도이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 가상 클라이언트 모듈들에 의해 클라우드 스트리밍 서버들로 테스트 스크립트에 상응하는 키 입력을 전송하고(S510), 클라우드 스트리밍 서버들로부터 가상 클라이언트 모듈들이 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성한다(S520).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 테스트 결과 비디오들 중 애니메이션 효과가 적용된 부분에 대하여 마스킹을 수행하여 마스크드 비디오를 생성한다(S530).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 마스크드 비디오들을 캡처하여 테스트 결과 이미지들을 생성한다(S540).
이 때, 클라우드 스트리밍 서버들에 상응하는 테스트 결과 이미지들은 모두 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
이 때, 단계(S540)는 도 2에 도시된 가상 클라이언트 모듈(250, 252, 254)에 의해 수행될 수도 있고, 비교부(220)에 의해 수행될 수도 있다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 기준 서버의 테스트 결과 이미지를 다른 클라우드 스트리밍 서버들의 테스트 결과 이미지와 비교하여 비교 결과가 일치하는지 판단한다(S550, S570).
비교 결과가 일치하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 해당 클라우드 스트리밍 서버에 장애가 없다고 판단한다(S570).
비교 결과가 일치하지 않으면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 해당 클라우드 스트리밍 서버에 장애가 있다고 판단한다(S580).
도 6은 본 발명의 실시예에 따른 테스트 시스템에서 클라우드 스트리밍 서버의 정상 동작 여부를 테스트하기 위한 과정을 나타내는 흐름도이다.
클라우드 스트리밍 서버(130, 140, 150)는 테스트 결과를 테스트 장치(120)의 가상 클라이언트 모듈(250, 252, 254)로 동시에 전송한다(S602 내지 S606). 즉, 한 클라우드 스트리밍 서버(130)는 가상 클라이언트 모듈(250)로 테스트 결과를 전송하고, 다른 클라우드 스트리밍 서버(140)는 가상 클라이언트 모듈(252)로 테스트 결과를 전송하고, 나머지 클라우드 스트리밍 서버(150)는 가상 클라이언트 모듈(254)로 테스트 결과를 전송할 수 있다. 이와 달리, 하나의 가상 클라이언트 모듈이 다수의 클라우드 스트리밍 서버(130, 140, 150)로부터 시간 차를 두고 순차적으로 테스트 결과를 수신할 수도 있다.
이 때, 클라우드 스트리밍 서버(130, 140, 150)는 가상 클라이언트 모듈(250, 252, 254)의 테스트 스크립트 키 입력에 상응하여 테스트 결과를 전송하는 것일 수 있다.
테스트 결과를 수신한 테스트 장치(120)의 테스트 제어부(200)는 테스트 요구에 따라 테스트 결과 비디오를 캡처한 테스트 결과 이미지를 이용한 비교를 요청한다(S608, S610).
테스트 장치(120)의 비교부(220)는 각 가상 클라이언트 모듈(250, 252, 254)로 클라우드 스트리밍 서버(130, 140, 150)로부터 수신한 테스트 결과 전달을 요구할 수 있다.
각 가상 클라이언트 모듈(250, 252, 254)는 수신 테스트 결과를 비교부(220)로 전달한다(S614, S618, S622). 이 때, 상기 가상 클라이언트 모듈(250, 252, 254)은 수신한 테스트 결과를 실제 클라이언트(100, 101, 102)에서와 같이 처리하여 테스트 결과 비디오를 생성한 후, 화면으로 출력되도록 하는데, 이 때, 상기 비교부(220)에서 요구한 시점, 또는 기설정된 특정 시점에 화면으로 출력되는 테스트 결과 비디오를 캡처하여 비교부(220)로 전송할 수 있다. 즉, 테스트 결과 비디오를 캡처하여 테스트 결과 이미지를 생성하는 것은 가상 클라이언트 모듈(250, 252, 254)에 의하여 수행될 수도 있고, 비교부(220)에 의하여 수행될 수도 있다.
이후, 비교부(220)는 수신한 각 테스트 결과 비디오를 캡처한 테스트 결과 이미지와 기설정된 기준 결과 이미지를 비교한 후 비교 결과를 테스트 제어부(200)로 전달한다(S624, S626). 여기서, 기준 결과 이미지는, 테스트 결과가 정상적으로 전송되어 출력될 때 나타나는 결과 이미지를 미리 저장하고 있을 수도 있으며, 상기 가상 클라이언트 모듈(250, 252, 254) 중 기설정된 특정 가상 클라이언트 모듈로부터 출력된 결과 이미지를 기준 결과 이미지로 설정할 수도 있다. 이를 위하여, 상기 비교부(220)는 비교를 수행하기에 앞서, 기준 결과 이미지를 설정하는 과정을 더 수행할 수 있다.
그러면, 테스트 제어부(200)는 비교 결과에 따라 클라우드 스트리밍 서버의 장애 여부를 판단하는데, 이 때 비교결과 수신한 테스트 결과에서 캡처한 결과 이미지와 미리 설정된 기준 결과 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버는 장애가 있다고 판단하고, 서로 일치하면 해당 클라우드 스트리밍 서버에 장애가 없다고 판단한다(S627). 이 때, 비교 결과는 도면부호 130, 140, 150의 클라우드 스트리밍 서버 각각에 대해 테스트 제어부(200)로 전달되고, 테스트 제어부(200)는 비교 결과에 따라 각 클라우드 스트리밍 서버에 대한 장애 여부를 판단하게 될 것이다.
또한, 테스트 제어부(200)는 기준 서버 변경 조건 만족 여부를 판단한다(S628).
변경 조건이 만족된 것으로 판단되면 테스트 제어부(200)는 기준 서버를 변경한다(S629).
이 때, 변경 조건은 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수가 기설정된 기준값 이상일 조건일 수 있다. 즉, 너무 많은 수의 장애가 감지된다면 기준 서버에 장애가 발생한 것일 수 있고, 이 경우 기준 서버를 변경하여야 잘못된 테스트 결과가 나오는 것을 방지할 수 있다.
도 7은 본 발명의 실시예에 따른 테스트 장치(120)에서 클라우드 스트리밍 서버(130, 140, 150)의 정상 동작 여부를 테스트하기 위한 기준 서버 변경 방법을 나타내는 동작 흐름도이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은 먼저 가상 클라이언트 모듈들에 의해 클라우드 스트리밍 서버들로 테스트 스크립트에 상응하는 키 입력을 전송한다(S710).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은 클라우드 스트리밍 서버들로부터 가상 클라이언트 모듈들이 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성한다(S720).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은 테스트 결과 비디오들을 캡처하여 테스트 결과 이미지들을 생성한다(S730).
이 때, 클라우드 스트리밍 서버들에 상응하는 테스트 결과 이미지들은 모두 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
이 때, 단계(S730)는 도 2에 도시된 가상 클라이언트 모듈(250, 252, 254)에 의해 수행될 수도 있고, 비교부(220)에 의해 수행될 수도 있다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은 기준 서버의 테스트 결과 이미지를 다른 클라우드 스트리밍 서버들의 테스트 결과 이미지와 비교하여 비교 결과가 일치하는지 판단한다(S740, S750).
비교 결과가 일치하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은 해당 클라우드 스트리밍 서버에 장애가 없다고 판단한다(S751).
비교 결과가 일치하지 않으면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은 해당 클라우드 스트리밍 서버에 장애가 있다고 판단한다(S760).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은 기준 서버 변경 조건이 만족되었는지 여부를 판단한다(S770).
이 때, 변경 조건은 클라우드 스트리밍 서버들 중 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수가 기설정된 기준값 이상인 조건일 수 있다.
단계(S770)의 판단 결과, 기준 서버 변경 조건이 만족되었다고 판단되면 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은 기준 서버를 변경(S780)하고 다시 테스트 결과 이미지들을 비교한다(S740).
본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은 테스트 종료 조건 만족 여부를 판단(S752)하고, 테스트 종료 조건이 만족되면 동작을 종료한다.
이 때, 테스트 종료 조건은 사용자로부터 테스트 종료 입력이 수신되는 것일 수도 있고, 기설정된 기간 동안 기설정된 레벨 이하의 장애가 발생하는 조건일 수도 있다.
도 7에는 도시되지 아니하였으나, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법은 상기 기준 서버를 변경하기 이전에 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수가 상기 기준 서버를 변경한 이후에 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수보다 기설정된 개수 이상 많은 경우, 변경전 기준 서버에 장애가 있는 것으로 판단하는 단계를 더 포함할 수 있다.
도 8은 본 발명의 다른 실시예에 따른 클라우드 스트리밍 서버 테스트 장치를 도시한 도면이다.
도 8를 참조하면 테스트 장치(120)는 테스트 제어부(800), 저장부(810), 테스트부(820), 입력부(830), 출력부(840), 적어도 하나의 가상 클라이언트 모듈(850, 852, 854)을 포함하여 구성할 수 있다. 본 실시예에서 가상 클라이언트 모듈(850, 852, 854)의 수를 3개로 예시하였으나, 상기 가상 클라이언트 모듈(850, 852, 854)의 수는 시스템 운용에 따라서 변경될 수 있다.
테스트 제어부(800)는 클라우드 스트리밍 서버(130, 140, 150)들의 장애 여부를 판단에 필요한 모든 제어를 수행하고, 장애 여부 판단 요구 시 테스트부(820)를 통해 이루어진 비교 결과, 즉 테스트 결과에 의하여 출력된 화면을 캡처한 결과 이미지와 미리 결정된 기준 결과 이미지의 일치 여부에 따라 클라우드 스트리밍 서버의 장애 여부를 판단한다. 이 때, 장애 여부 판단 요구 시점은 가상 클라이언트 모듈(850, 852, 854)로 테스트 결과 수신이 감지되고 수신이 완료된 시점으로 할 수도 있고, 입력부(830)를 통해 장애 여부 판단 요구 입력이 있는 시점으로 할 수도 있고, 미리 설정된 주기에 따른 시점이 될 수도 있다. 이와 같이 장애 여부 판단 요구는 설정에 따라 발생할 것이다. 또한, 기준 결과 이미지는, 미리 저장될 수도 있으나, 상기 적어도 하나의 가상 클라이언트 모듈(850, 852, 854) 중 특정 가상 클라이언트 모듈로부터 출력된 결과 이미지를 기준 결과 이미지로 설정할 수 있다.
특히, 테스트 제어부(800)는 가상 클라이언트 모듈과 클라우드 스트리밍 서버 사이의 연결 오류 검출 결과에 따라 장애 여부를 판단할 수 있다.
이 때, 테스트 제어부(800)는 비교 결과 비교되는 두 이미지가 서로 일치하면 해당 클라우드 스트리밍 서버는 장애가 없다고 판단하고, 두 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버에 장애가 있다고 판단할 수 있다.
이 때, 테스트 제어부(800)는 상기 비교되는 두 이미지가 일치하지 않는 비교 결과에 상응하는 장애와 상기 연결 오류에 상응하는 장애를 구분하여 장애 리포트를 생성할 수 있다.
이 때, 테스트 제어부(800)는 기준 서버를 변경하기 이전에 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수가 상기 기준 서버를 변경한 이후에 장애가 있는 것으로 판단된 클라우드 스트리밍 서버들의 수보다 기설정된 개수 이상 많은 경우, 변경전 기준 서버에 장애가 있는 것으로 판단할 수 있다.
저장부(810)는 테스트 장치(120)의 동작에 필요한 정보들을 저장할 수 있다. 이러한 저장부(810)는 적어도 하나의 클라우드 스트리밍 서버(130, 140, 150)로부터 전송된 테스트 결과에 대한 결과 비디오를 동일한 시점에 캡처하기 위해 테스트 결과 비디오를 캡처하기 위한 캡처 시점 정보를 저장한다. 또한, 저장부(810)는 클라우드 스트리밍 서버로부터 전송되는 테스트 결과에 대한 기본 정보를 저장하고, 특히 클라우드 스트리밍 서버의 장애 여부를 판단하기 위한 기준이 되는 특정 시점의 기준 이미지를 미리 저장할 수 있다. 이러한 저장부(810)는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media) 및 롬(ROM), 램(RAM, Random Access Memory), 플래시 메모리를 포함한다.
테스트부(820)는 테스트 제어부(800)의 제어에 따라 각각의 가상 클라이언트 모듈(850, 852, 854)에서 수신되어 화면으로 출력된 테스트 결과 비디오의 전달을 요구할 수 있고 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지를 기준 결과 이미지를 비교한 후 비교 결과를 테스트 제어부(800)로 출력한다. 이를 위해, 상기 테스트부(820)는 상기 기준 결과 이미지를 설정하는 과정을 더 수행할 수 있다. 즉, 테스트부(820)는 상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교할 수 있다.
이 때, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 이미지들은 상기 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처된 것일 수 있다.
특히, 테스트부(820)는 상기 가상 클라이언트 모듈들과 상기 클라우드 스트리밍 서버들 사이의 연결 오류를 검출할 수 있다.
이 때, 연결 오류는 상기 클라이언트 모듈들 중 어느 하나의, 상기 클라우드 스트리밍 서버들 중 어느 하나에 대한 연결 시도 실패 및 상기 테스트 결과 전송 실패 중 어느 하나 이상을 포함할 수 있다.
이 때, 테스트부(820)는 상기 연결 오류가 검출된 경우, 상기 연결 오류에 상응하는 클라우드 스트리밍 서버에 대해서는 상기 기준 서버와의 비교 테스트를 수행하지 아니할 수 있다.
입력부(830)는 클라우드 스트리밍 서버 관리자의 조작에 따라서 클라우드 스트리밍 서버 관리자의 요청이나 정보에 해당하는 사용자 입력 신호를 발생할 수 있으며, 현재 상용화되어 있거나 향후 상용화가 가능한 다양한 입력 수단으로 구현될 수 있으며, 예를 들면, 키보드, 마우스, 조이스틱, 터치 스크린, 터치 패드 등과 같은 일반적인 입력 장치뿐만 아니라, 사용자의 모션을 감지하여 특정 입력 신호를 발생하는 제스처 입력 수단을 포함할 수 있다.
출력부(840)는 테스트 장치(120)의 동작 결과나 상태를 사용자가 인식할 수 있도록 제공하는 수단으로서, 예를 들면, 화면을 통해 시각적으로 출력하는 표시부나, 가청음을 출력하는 스피커 등을 포함할 수 있다. 특히, 본 발명에 있어서, 출력부(840)은 상기 적어도 하나의 가상 클라이언트 모듈(850, 852, 854)로부터 처리되어 출력되는 결과 이미지를 시각적으로 출력할 수 있으며, 또한 결과 이미지와 기준 결과 이미지를 비교하여 출력하거나, 클라우드 스트리밍 서버의 장애 여부 결과를 표시할 수 있다.
가상 클라이언트 모듈(850, 852, 854)은 클라우드 스트리밍 서버(130, 140, 150)에 접속하여 클라우드 스트리밍 서비스를 제공받는 클라이언트(100, 101, 102)를 가상화한 구성으로서, 실제 클라이언트(100, 101, 102)의 기능 중 적어도 일부의 기능을 수행할 수 있다. 예를 들어, 상기 가상 클라이언트 모듈(850, 852, 854)는 특정 클라우드 스트리밍 서버(130, 140, 150)에 접속하여 특정 클라우드 스트리밍 서버(130, 140, 150)로부터 각각의 테스트 결과를 수신하여, 상기 수신된 테스트 결과에 대하여 클라이언트(100, 101, 102)와 동일한 처리(예를 들어, 디코딩 등)를 수행하여 테스트 결과 비디오를 생성하고, 이를 출력부(840)를 통해 화면으로 출력할 수 있다. 이 때, 가상 클라이언트 모듈(850, 852, 854)은 테스트부(820)의 결과 이미지 요구에 따라서, 특정 시점에 화면으로 출력되는 결과 이미지를 캡처하여 테스트부(820)로 전달할 수 있다. 이 때, 캡처 시점은 테스트부(820)로부터 수신할 수도 있고, 미리 설정하여 저장하고 있을 수도 있다. 상기 결과 이미지의 캡처는 예를 들어, 가상 클라이언트 모듈(850, 852, 854)의 프레임 버퍼에 저장된 이미지 데이터를 캡처하는 방식으로 이루어질 수 있다. 실시예에 따라, 테스트 결과 비디오를 캡처하여 테스트 결과 이미지를 생성하는 것은 테스트부(820)에서 수행될 수도 있다.
즉, 가상 클라이언트 모듈(850, 852, 854)은 클라우드 스트리밍 서버로 테스트 스크립트 키 입력을 제공하고, 클라우드 스트리밍 서버로부터 테스트 스크립트 키 입력에 상응하는 테스트 결과를 제공 받아서 이를 디코딩하여 테스트 결과 비디오를 생성한다. 이 때, 테스트 결과는 인코딩된 스트리밍 비디오로 볼 수 있고, 테스트 결과 비디오는 디코딩된 스트리밍 비디오로 볼 수 있다.
이러한 가상 클라이언트 모듈(850, 852, 854)의 내부 구성은 상기 도 3과 같이 도시할 수 있다.
도 9는 본 발명의 실시예에 따른 테스트 시스템에서 클라우드 스트리밍 서버의 정상 동작 여부를 테스트하기 위한 과정을 나타내는 흐름도이다.
클라우드 스트리밍 서버(130, 140, 150)는 테스트 결과를 테스트 장치(120)의 가상 클라이언트 모듈(850, 852, 854)로 동시에 전송한다(S902 내지 S906). 즉, 한 클라우드 스트리밍 서버(130)는 가상 클라이언트 모듈(850)로 테스트 결과를 전송하고, 다른 클라우드 스트리밍 서버(140)는 가상 클라이언트 모듈(852)로 테스트 결과를 전송하고, 나머지 클라우드 스트리밍 서버(150)는 가상 클라이언트 모듈(854)로 테스트 결과를 전송할 수 있다. 이와 달리, 하나의 가상 클라이언트 모듈이 다수의 클라우드 스트리밍 서버(130, 140, 150)로부터 시간 차를 두고 순차적으로 테스트 결과를 수신할 수도 있다.
이 때, 클라우드 스트리밍 서버(130, 140, 150)는 가상 클라이언트 모듈(850, 852, 854)의 테스트 스크립트 키 입력에 상응하여 테스트 결과를 전송하는 것일 수 있다.
각 가상 클라이언트 모듈(850, 852, 854)은 클라우드 스트리밍 서버(130, 140, 150)로부터 수신된 테스트 결과를 디코딩하여 테스트 결과 비디오를 생성하여 이를 테스트부(820)로 제공한다(S914, S918, S922). 이 때, 테스트 결과 비디오의 제공은 테스트 제어부(800)로부터의 테스트 요구에 상응하여 수행되는 것일 수도 있다. 이 때, 테스트부(820)는 각 가상 클라이언트 모듈(850, 852, 854)로 클라우드 스트리밍 서버(130, 140, 150)로부터 수신한 테스트 결과 전달을 요청할 수 있다. 이 때, 상기 가상 클라이언트 모듈(850, 852, 854)은 수신한 테스트 결과를 실제 클라이언트(100, 101, 102)에서와 같이 처리하여 테스트 결과 비디오를 생성한 후, 화면으로 출력되도록 하는데, 이 때, 상기 테스트부(820)에서 요구한 시점, 또는 기설정된 특정 시점에 화면으로 출력되는 테스트 결과 비디오를 캡처하여 테스트부(820)로 전송할 수 있다. 즉, 테스트 결과 비디오를 캡처하여 테스트 결과 이미지를 생성하는 것은 가상 클라이언트 모듈(850, 852, 854)에 의하여 수행될 수도 있고, 테스트부(820)에 의하여 수행될 수도 있다.
한편, 테스트부(820)는 클라우드 스트리밍 서버들(130, 140, 150) 및 가상 클라이언트 모듈들(850, 852, 854) 사이의 연결 오류를 검출한다(S916).
이 때, 연결 오류는 가상 클라이언트 모듈(850)의 클라우드 스트리밍 서버(130)에 대한 연결 시도 실패 및 테스트 결과 전송(S902) 실패, 가상 클라이언트 모듈(852)의 클라우드 스트리밍 서버(140)에 대한 연결 시도 실패, 테스트 결과 전송(S904) 실패, 가상 클라이언트 모듈(854)의 클라우드 스트리밍 서버(150)에 대한 연결 시도 실패 및 테스트 결과 전송(S906) 실패 중 어느 하나 이상을 포함할 수 있다.
테스트부(820)는 연결 오류 검출 결과를 테스트 제어부(800)로 전송한다(S920).
테스트 제어부(800)는 연결 오류 검출 결과에 기반하여 연결 오류가 발생하였는지 여부를 판단하고(S921), 판단 결과 연결 오류가 발생하지 아니하였다고 판단되면 테스트부(820)로 테스트 결과 이미지 비교 요청을 한다(S923).
테스트 결과 이미지 비교 요청을 수신한 테스트부(820)는 수신한 각 테스트 결과 비디오를 캡처한 테스트 결과 이미지와 기설정된 기준 결과 이미지를 비교한 후 비교 결과를 테스트 제어부(800)로 전달한다(S924, S926). 여기서, 기준 결과 이미지는, 테스트 결과가 정상적으로 전송되어 출력될 때 나타나는 결과 이미지를 미리 저장하고 있을 수도 있으며, 상기 가상 클라이언트 모듈(850, 852, 854) 중 기설정된 특정 가상 클라이언트 모듈로부터 출력된 결과 이미지를 기준 결과 이미지로 설정할 수도 있다. 이를 위하여, 상기 테스트부(820)는 비교를 수행하기에 앞서, 기준 결과 이미지를 설정하는 과정을 더 수행할 수 있다.
그러면, 테스트 제어부(800)는 비교 결과 및 연결 오류 발생 여부에 따라 클라우드 스트리밍 서버의 장애 여부를 판단하는데, 이 때 비교결과 수신한 테스트 결과에서 캡처한 결과 이미지와 미리 설정된 기준 결과 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버는 장애가 있다고 판단하고, 서로 일치하면 해당 클라우드 스트리밍 서버에 장애가 없다고 판단한다(S927). 이 때, 비교 결과는 도면부호 130, 140, 150의 클라우드 스트리밍 서버 각각에 대해 테스트 제어부(800)로 전달되고, 테스트 제어부(800)는 비교 결과에 따라 각 클라우드 스트리밍 서버에 대한 장애 여부를 판단하게 될 것이다.
이 때, 테스트 제어부(800)는 연결 오류에 상응하는 장애와 비교되는 두 개의 테스트 결과 이미지들이 일치하지 않는 비교 결과에 상응하는 장애를 구분하여 장애 리포트를 생성할 수 있다.
도 10는 본 발명의 실시예에 따른 테스트 장치(120)에서 클라우드 스트리밍 서버(130, 140, 150)의 정상 동작 여부를 테스트하기 위한 방법을 나타내는 동작 흐름도이다.
도 10를 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 먼저 가상 클라이언트 모듈들에 의해 클라우드 스트리밍 서버들로 테스트 스크립트에 상응하는 키 입력을 전송한다(S1010).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 클라우드 스트리밍 서버들로부터 가상 클라이언트 모듈들이 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성한다(S1020).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 가상 클라이언트 모듈들과 클라우드 스트리밍 서버들 사이의 연결 오류를 검출한다(S1030).
이 때, 연결 오류는 클라이언트 모듈들 중 어느 하나의, 클라우드 스트리밍 서버들 중 어느 하나에 대한 연결 시도 실패 및 테스트 결과 전송 실패 중 어느 하나 이상을 포함할 수 있다.
단계(S1030) 수행 결과 연결 오류가 검출되지 아니하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 테스트 결과 비디오들을 캡처하여 테스트 결과 이미지들을 생성한다(S1040).
이 때, 클라우드 스트리밍 서버들에 상응하는 테스트 결과 이미지들은 모두 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
이 때, 단계(S1040)는 도 8에 도시된 가상 클라이언트 모듈(850, 852, 854)에 의해 수행될 수도 있고, 테스트부(820)에 의해 수행될 수도 있다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 기준 서버의 테스트 결과 이미지를 다른 클라우드 스트리밍 서버들의 테스트 결과 이미지와 비교하여 비교 결과가 일치하는지 판단한다(S1050, S1060).
비교 결과가 일치하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 해당 클라우드 스트리밍 서버에 장애가 없다고 판단한다(S1070).
비교 결과가 일치하지 않으면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 해당 클라우드 스트리밍 서버에 장애가 있다고 판단한다(S1080).
단계(S1030) 수행 결과 연결 오류가 검출되면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 해당 클라우드 스트리밍 서버에 장애가 있다고 판단한다(S1080). 즉, 연결 오류가 검출된 경우에 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 테스트 결과 이미지들을 비교하는 비교 테스트 단계를 수행하지 아니할 수 있다.
이 때, 단계(S1080)는 비교되는 두 이미지가 일치하지 않는 비교 결과에 상응하는 장애와 연결 오류에 상응하는 장애를 구분하여 장애 리포트를 생성할 수 있다.
도 11는 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법의 캡처 타이밍을 나타낸 타이밍도이다.
도 11를 참조하면, 동일한 타이밍에 두 개의 클라우드 스트리밍 서버로 기설정된 테스트 스크립트 키 입력을 전송하는 경우에도, 클라우드 스트리밍 서버들의 반응 속도가 서로 상이할 수 있는 것을 알 수 있다.
예를 들어, 가상 클라이언트 모듈이 클라우드 스트리밍 서버에 접속하는 시간이 상이하거나, 클라우드 스트리밍 서버로 키 입력이 수행되는 시간이 상이하거나, 클라우드 스트리밍 서버에서 키 입력을 처리하는 시간이 상이하거나 하는 등의 이유로, 클라우드 스트리밍 서버들로부터 수신되는 테스트 결과 비디오의 정상 상태(steady state) 진입 타이밍은 서로 상이할 수 있다.
도 11에 도시된 예에서, 캡처 타이밍(t1)에 테스트 결과 비디오에 대한 캡처가 수행되게 되면 하단에 표시된 테스트 결과 비디오는 정상 상태 진입 이전이므로 잘못된 테스트 결과가 초래될 수 있다. 캡처 타이밍(t2)에 테스트 결과 비디오에 대한 캡처가 수행된다면 상단 및 하단에 표시된 테스트 결과 비디오들 모두 정상 상태에 진입한 이후이므로 올바른 테스트 결과가 야기된다.
따라서, 테스트 스크립트 키 입력에 따른 정상 상태 조건 만족 이후에 테스트 결과 비디오를 캡처하는 것이 매우 중요하다.
그러면, 상기와 같이 구성된 테스트 시스템에서 클라우드 스트리밍 서버의 정상 동작 여부를 테스트하는 과정에 대해 첨부된 도 12 및 도 13을 참조하여 구체적으로 설명하기로 한다.
도 12는 본 발명의 실시예에 따른 테스트 시스템에서 클라우드 스트리밍 서버의 정상 동작 여부를 테스트하기 위한 과정을 나타내는 흐름도이다.
클라우드 스트리밍 서버(130, 140, 150)는 테스트 결과를 테스트 장치(120)의 가상 클라이언트 모듈(250, 252, 254)로 동시에 전송한다(S1202 내지 S1206). 즉, 한 클라우드 스트리밍 서버(130)는 가상 클라이언트 모듈(250)로 테스트 결과를 전송하고, 다른 클라우드 스트리밍 서버(140)는 가상 클라이언트 모듈(252)로 테스트 결과를 전송하고, 나머지 클라우드 스트리밍 서버(150)는 가상 클라이언트 모듈(254)로 테스트 결과를 전송할 수 있다. 이와 달리, 하나의 가상 클라이언트 모듈이 다수의 클라우드 스트리밍 서버(130, 140, 150)로부터 시간 차를 두고 순차적으로 테스트 결과를 수신할 수도 있다.
이 때, 클라우드 스트리밍 서버(130, 140, 150)는 가상 클라이언트 모듈(250, 252, 254)의 테스트 스크립트 키 입력에 상응하여 테스트 결과를 전송하는 것일 수 있다.
각 가상 클라이언트 모듈(250, 252, 254)은 클라우드 스트리밍 서버(130, 140, 150)로부터 수신된 테스트 결과를 디코딩하여 테스트 결과 비디오를 생성하여 이를 비교부(220)로 제공한다(S1214, S1218, S1219). 이 때, 테스트 결과 비디오의 제공은 테스트 제어부(200)로부터의 테스트 요구에 상응하여 수행되는 것일 수도 있다. 이 때, 비교부(220)는 각 가상 클라이언트 모듈(250, 252, 254)로 클라우드 스트리밍 서버(130, 140, 150)로부터 수신한 테스트 결과 전달을 요청할 수 있다. 이 때, 상기 가상 클라이언트 모듈(250, 252, 254)은 수신한 테스트 결과를 실제 클라이언트(100, 101, 102)에서와 같이 처리하여 테스트 결과 비디오를 생성한 후, 화면으로 출력되도록 하는데, 이 테스트 결과 비디오는 정상 상태 조건이 만족된 이후에 비교부에 의하여 캡처될 수 있다.
즉, 테스트 제어부(200)는 정상 상태 조건의 만족 여부를 판단(S1221)하고, 정상 상태 조건이 만족된 것으로 판단되어야 비교부(220)로 캡처 요청을 전송(S1222)한다.
캡처 요청을 수신한 비교부(220)는 클라우드 스트리밍 서버들(130, 140, 150) 중 하나인 기준 서버에 상응하는 테스트 결과 비디오 및 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여, 테스트 결과 이미지들을 생성한다(S1223).
도 12에 도시된 예에서는, 테스트 결과 비디오의 캡처가 비교부(220)에 의하여 수행되는 경우를 예로 들었으나, 캡처 요청은 가상 클라이언트 모듈(250, 252, 254)로 전달될 수 있고, 가상 클라이언트 모듈(250, 252, 254)에 의하여 캡처가 수행되어 테스트 결과 이미지들이 생성될 수도 있다.
비교부(220)는 수신한 각 테스트 결과 비디오를 캡처한 테스트 결과 이미지와 기설정된 기준 결과 이미지를 비교한 후 비교 결과를 테스트 제어부(200)로 전달한다(S1224, S1226). 여기서, 기준 결과 이미지는, 테스트 결과가 정상적으로 전송되어 출력될 때 나타나는 결과 이미지를 미리 저장하고 있을 수도 있으며, 상기 가상 클라이언트 모듈(250, 252, 254) 중 기설정된 특정 가상 클라이언트 모듈로부터 출력된 결과 이미지를 기준 결과 이미지로 설정할 수도 있다. 이를 위하여, 상기 비교부(220)는 비교를 수행하기에 앞서, 기준 결과 이미지를 설정하는 과정을 더 수행할 수 있다.
그러면, 테스트 제어부(200)는 비교 결과 및 연결 오류 발생 여부에 따라 클라우드 스트리밍 서버의 장애 여부를 판단하는데, 이 때 비교결과 수신한 테스트 결과에서 캡처한 결과 이미지와 미리 설정된 기준 결과 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버는 장애가 있다고 판단하고, 서로 일치하면 해당 클라우드 스트리밍 서버에 장애가 없다고 판단한다(S1227). 이 때, 비교 결과는 도면부호 130, 140, 150의 클라우드 스트리밍 서버 각각에 대해 테스트 제어부(200)로 전달되고, 테스트 제어부(200)는 비교 결과에 따라 각 클라우드 스트리밍 서버에 대한 장애 여부를 판단하게 될 것이다.
도 13는 본 발명의 실시예에 따른 테스트 장치(120)에서 클라우드 스트리밍 서버(130, 140, 150)의 정상 동작 여부를 테스트하기 위한 방법을 나타내는 동작 흐름도이다.
도 13를 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 먼저 가상 클라이언트 모듈들에 의해 클라우드 스트리밍 서버들로 테스트 스크립트에 상응하는 키 입력을 전송한다(S1310).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 클라우드 스트리밍 서버들로부터 가상 클라이언트 모듈들이 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성한다(S1320).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 정상 상태 조건 만족 여부를 판단한다(S1330).
이 때, 정상 상태 조건은 상기 테스트 스크립트에 상응하여 결정된 기설정된 시간의 경과 조건일 수 있다.
이 때, 경과 조건은 상기 기설정된 테스트 스크립트 키 입력이 전송된 타이밍으로부터 상기 기설정된 시간이 경과되었는지 여부에 따라 만족 여부가 결정될 수 있다.
이 때, 정상 상태 조건은 테스트 스크립트 키 입력에 따라 다르게 설정될 수 있다.
단계(S1330) 판단 결과 정상 상태 조건이 만족되면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 테스트 결과 비디오들을 캡처하여 테스트 결과 이미지들을 생성한다(S1340).
이 때, 클라우드 스트리밍 서버들에 상응하는 테스트 결과 이미지들은 모두 기준 서버에 상응하는 테스트 결과 이미지와 동일 시점에 캡처될 수 있다.
이 때, 단계(S1340)는 도 2에 도시된 가상 클라이언트 모듈(250, 252, 254)에 의해 수행될 수도 있고, 비교부(220)에 의해 수행될 수도 있다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 기준 서버의 테스트 결과 이미지를 다른 클라우드 스트리밍 서버들의 테스트 결과 이미지와 비교하여 비교 결과가 일치하는지 판단한다(S1350, S1360).
비교 결과가 일치하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 해당 클라우드 스트리밍 서버에 장애가 없다고 판단한다(S1370).
비교 결과가 일치하지 않으면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 해당 클라우드 스트리밍 서버에 장애가 있다고 판단한다(S1380).
도 14는 본 발명의 실시예에 따른 테스트 시스템에서 클라우드 스트리밍 서버의 정상 동작 여부를 테스트하기 위한 과정을 나타내는 흐름도이다.
클라우드 스트리밍 서버(130, 140, 150)는 테스트 결과를 테스트 장치(120)의 가상 클라이언트 모듈(250, 252, 254)로 동시에 전송한다(S1402 내지 S1406). 즉, 한 클라우드 스트리밍 서버(130)는 가상 클라이언트 모듈(250)로 테스트 결과를 전송하고, 다른 클라우드 스트리밍 서버(140)는 가상 클라이언트 모듈(252)로 테스트 결과를 전송하고, 나머지 클라우드 스트리밍 서버(150)는 가상 클라이언트 모듈(254)로 테스트 결과를 전송할 수 있다. 이와 달리, 하나의 가상 클라이언트 모듈이 다수의 클라우드 스트리밍 서버(130, 140, 150)로부터 시간 차를 두고 순차적으로 테스트 결과를 수신할 수도 있다.
이 때, 클라우드 스트리밍 서버(130, 140, 150)는 가상 클라이언트 모듈(250, 252, 254)의 공통 테스트 스크립트 키 입력에 상응하여 테스트 결과를 전송하는 것일 수 있다. 이 때, 공통 테스트 스크립트 키 입력은 둘 이상의 어플리케이션에 대한 공통화면에 상응하는 것일 수 있고, 공통화면은 애니메이션 효과가 배제된 화면일 수 있다.
각 가상 클라이언트 모듈(250, 252, 254)은 클라우드 스트리밍 서버(130, 140, 150)로부터 수신된 테스트 결과를 디코딩하여 테스트 결과 비디오를 생성하여 이를 비교부(220)로 제공한다(S1414, S1418, S1419). 이 때, 테스트 결과 비디오의 제공은 테스트 제어부(200)로부터의 테스트 요구에 상응하여 수행되는 것일 수도 있다. 이 때, 비교부(220)는 각 가상 클라이언트 모듈(250, 252, 254)로 클라우드 스트리밍 서버(130, 140, 150)로부터 수신한 테스트 결과 전달을 요청할 수 있다. 이 때, 상기 가상 클라이언트 모듈(250, 252, 254)은 수신한 테스트 결과를 실제 클라이언트(100, 101, 102)에서와 같이 처리하여 테스트 결과 비디오를 생성한 후, 화면으로 출력되도록 하는데, 이 때, 상기 비교부(220)에서 요구한 시점, 또는 기설정된 특정 시점에 화면으로 출력되는 테스트 결과 비디오를 캡처하여 비교부(220)로 전송할 수 있다. 즉, 테스트 결과 비디오를 캡처하여 테스트 결과 이미지를 생성하는 것은 가상 클라이언트 모듈(250, 252, 254)에 의하여 수행될 수도 있고, 비교부(220)에 의하여 수행될 수도 있다.
테스트 제어부(200)는 외부 입력이나 내부의 실행 조건 만족 등에 기반하여 비교부(220)로 테스트 결과 이미지 비교 요청을 한다(S1422).
테스트 결과 이미지 비교 요청을 수신한 비교부(220)는 수신한 각 테스트 결과 비디오를 캡처한 테스트 결과 이미지와 기설정된 기준 결과 이미지를 비교한 후 비교 결과를 테스트 제어부(200)로 전달한다(S1424, S1426). 여기서, 기준 결과 이미지는, 테스트 결과가 정상적으로 전송되어 출력될 때 나타나는 결과 이미지를 미리 저장하고 있을 수도 있으며, 상기 가상 클라이언트 모듈(250, 252, 254) 중 기설정된 특정 가상 클라이언트 모듈로부터 출력된 결과 이미지를 기준 결과 이미지로 설정할 수도 있다. 이를 위하여, 상기 비교부(220)는 비교를 수행하기에 앞서, 기준 결과 이미지를 설정하는 과정을 더 수행할 수 있다.
그러면, 테스트 제어부(200)는 비교 결과 및 연결 오류 발생 여부에 따라 클라우드 스트리밍 서버의 장애 여부를 판단하는데, 이 때 비교결과 수신한 테스트 결과에서 캡처한 결과 이미지와 미리 설정된 기준 결과 이미지가 서로 일치하지 않으면 해당 클라우드 스트리밍 서버는 장애가 있다고 판단하고, 서로 일치하면 해당 클라우드 스트리밍 서버에 장애가 없다고 판단한다(S1427). 이 때, 비교 결과는 도면부호 130, 140, 150의 클라우드 스트리밍 서버 각각에 대해 테스트 제어부(200)로 전달되고, 테스트 제어부(200)는 비교 결과에 따라 각 클라우드 스트리밍 서버에 대한 장애 여부를 판단하게 될 것이다.
도 15는 본 발명의 실시예에 따른 테스트 장치(120)에서 클라우드 스트리밍 서버(130, 140, 150)의 정상 동작 여부를 테스트하기 위한 방법을 나타내는 동작 흐름도이다.
도 15를 참조하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 먼저 가상 클라이언트 모듈들에 의하여, 공통화면에 상응하는 공통 테스트 스크립트 키 입력을 생성한다(S1510).
이 때, 공통 테스트 스크립트 키 입력은 서로 상이한 둘 이상의 어플리케이션들이 동일한 상기 공통화면을 생성하도록 할 수 있다.
이 때, 공통화면은 애니메이션 효과가 배제된 화면일 수 있다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 상기 공통 테스트 스크립트 키 입력을 클라우드 스트리밍 서버들로 전송한다(S1520).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 클라우드 스트리밍 서버들로부터 가상 클라이언트 모듈들이 상기 공통 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성한다(S1530).
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 테스트 결과 비디오들을 캡처하여 테스트 결과 이미지들을 생성한다(S1540).
이 때, 클라우드 스트리밍 서버들에 상응하는 테스트 결과 이미지들은 모두 기준 결과 이미지와 동일 시점에 캡처될 수 있다.
이 때, 단계(S1540)는 도 2에 도시된 가상 클라이언트 모듈(250, 252, 254)에 의해 수행될 수도 있고, 비교부(220)에 의해 수행될 수도 있다.
또한, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 기준 결과 이미지를 클라우드 스트리밍 서버들의 테스트 결과 이미지와 비교하여 비교 결과가 일치하는지 판단한다(S1550, S1560).
이 때, 기준 결과 이미지는 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 것일 수 있다. 이 때, 기준 결과 이미지는 미리 생성되어 테스트 장치에 저장되어 있을 수도 있다.
비교 결과가 일치하면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 해당 클라우드 스트리밍 서버에 장애가 없다고 판단한다(S1570).
비교 결과가 일치하지 않으면, 본 발명의 일실시예에 따른 클라우드 스트리밍 서버 테스트 방법은 해당 클라우드 스트리밍 서버에 장애가 있다고 판단한다(S1580).
도 4 내지 도 7, 도 9 내지 도 10, 도 12 내지 도 15에 도시된 각 단계는 도 4 내지 도 7, 도 9 내지 도 10, 도 12 내지 도 15에 도시된 순서, 그 역순 또는 동시에 수행될 수 있다.
본 발명에 따른 스트리밍 서버 테스트 방법 및 기준 서버 변경 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 또는 스마트폰 앱으로 구현될 수 있다. 이 때, 프로그램 또는 스마트폰 앱은 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서와 같이 본 발명에 따른 스트리밍 서버 테스트 시스템, 스트리밍 서버 테스트 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
본 발명은 특정 서비스를 제공하는 클라우드 스트리밍 서버의 정상 동작 여부를 테스트 하기 위한 시스템에 관한 것으로서, 특히 클라우드 스트리밍 서비스를 제공하는 서버가 정상적으로 동작하는 지를 확인할 수 있도록 함으로써, 클라우드 스트리밍 서버에서 데이터 전송 시 발생할 수 있는 전송 오류 혹은 장애를 사전에 방지할 수 있도록 하고, 또한 클라우드 스트리밍 서버의 정상 동작 여부를 보다 손쉽게 검출할 수 있도록 하고, 이를 통해 클라우드 스트리밍 서비스의 안정화 및 서비스 품질 향상을 도모하여 산업의 발전에 이바지할 수 있다.

Claims (14)

  1. 클라우드 스트리밍 서버들로부터, 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 가상 클라이언트 모듈들;
    상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하는 비교부; 및
    상기 비교 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상의 장애 여부를 판단하는 테스트 제어부
    를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 장치.
  2. 청구항 1에 있어서,
    상기 테스트 제어부는
    상기 기준 서버의 변경 조건이 만족되는 경우 상기 기준 서버를 변경하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 장치.
  3. 청구항 1에 있어서,
    상기 비교부는
    상기 가상 클라이언트 모듈들과 상기 클라우드 스트리밍 서버들 사이의 연결 오류를 검출하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 장치.
  4. 청구항 1에 있어서,
    상기 비교부는
    정상 상태 조건 만족 후, 상기 기준 서버에 상응하는 테스트 결과 비디오 및 상기 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 장치.
  5. 청구항 1에 있어서,
    상기 테스트 스크립트 키 입력은
    서로 상이한 둘 이상의 어플리케이션들이 동일한 공통화면을 생성하도록 하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 장치.
  6. 청구항 1에 있어서,
    상기 비교부는
    상기 테스트 결과 비디오들을 마스킹(masking)하여 마스크드 비디오들을 생성하고, 상기 마스크드 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 상호 비교하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 장치.
  7. 가상 클라이언트 모듈들이, 클라우드 스트리밍 서버들로부터 테스트 스크립트 키 입력에 상응하여 전송된 테스트 결과들을 수신하여 테스트 결과 비디오들을 생성하는 단계;
    상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하는 단계; 및
    상기 비교 결과에 따라 상기 클라우드 스트리밍 서버들 중 어느 하나 이상에 장애가 발생하였다고 판단하는 단계
    를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 방법.
  8. 청구항 7에 있어서,
    상기 클라우드 스트리밍 서버 테스트 방법은
    상기 기준 서버의 변경 조건이 만족된 경우 상기 기준 서버를 변경하는 단계를 더 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 방법.
  9. 청구항 7에 있어서,
    상기 클라우드 스트리밍 서버 테스트 방법은
    상기 가상 클라이언트 모듈들과 상기 클라우드 스트리밍 서버들 사이의 연결 오류를 검출하는 단계를 더 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 방법.
  10. 청구항 7에 있어서,
    상기 테스트 결과 이미지 및 상기 테스트 결과 이미지들은
    정상상태 조건 만족 후 캡처되어 생성되는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 방법.
  11. 청구항 7에 있어서,
    상기 테스트 스크립트 키 입력은
    서로 상이한 둘 이상의 어플리케이션들이 동일한 공통화면을 생성하도록 하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 방법.
  12. 청구항 7에 있어서,
    상기 클라우드 스트리밍 서버 테스트 방법은
    상기 테스트 결과 비디오들을 마스킹(masking)하여 마스크드 비디오들을 생성하는 단계를 더 포함하고,
    상기 비교하는 단계는 마스킹된 상기 테스트 결과 이미지와 상기 테스트 결과 이미지들을 비교하는 것을 특징으로 하는 클라우드 스트리밍 서버 테스트 방법.
  13. 제7항 내지 제12항 중 어느 한 항에 기재된 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  14. 장애 여부 테스트를 위하여 기설정된 테스트 스크립트 키 입력에 상응하는 테스트 결과들을 전송하는 클라우드 스트리밍 서버들; 및
    상기 클라우드 스트리밍 서버들 중 하나인 기준 서버에 상응하는 테스트 결과 비디오를 캡처하여 생성된 테스트 결과 이미지와, 다른 클라우드 스트리밍 서버들에 상응하는 테스트 결과 비디오들을 캡처하여 생성된 테스트 결과 이미지들을 비교하여 상기 클라우드 스트리밍 서버들 중 하나 이상의 장애 여부를 판단하고, 상기 기준 서버의 변경 조건이 만족되는 경우 상기 기준 서버를 변경하는 테스트 장치
    를 포함하는 것을 특징으로 하는 클라우드 스트리밍 서버의 테스트 시스템.
PCT/KR2014/012350 2014-03-10 2014-12-15 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템 WO2015137604A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480077093.6A CN106105242B (zh) 2014-03-10 2014-12-15 用于测试云端流媒体服务器的方法及其装置和系统
US15/123,213 US10313207B2 (en) 2014-03-10 2014-12-15 Method for testing cloud streaming server, and apparatus and system therefor
EP14885807.9A EP3119093B1 (en) 2014-03-10 2014-12-15 Method for testing cloud streaming server, and apparatus and system therefor
JP2016556717A JP6383799B2 (ja) 2014-03-10 2014-12-15 クラウドストリーミングサーバーテスト方法、そのための装置及びシステム

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR1020140028006A KR101997540B1 (ko) 2014-03-10 2014-03-10 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템
KR1020140028005A KR101997649B1 (ko) 2014-03-10 2014-03-10 클라우드 스트리밍 서버를 테스트하기 위한 기준 서버 변경 방법, 이를 위한 장치 및 시스템
KR10-2014-0028006 2014-03-10
KR10-2014-0028005 2014-03-10
KR10-2014-0064377 2014-05-28
KR10-2014-0064380 2014-05-28
KR1020140064380A KR102058365B1 (ko) 2014-05-28 2014-05-28 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템
KR1020140064377A KR102119248B1 (ko) 2014-05-28 2014-05-28 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템
KR1020140067781A KR102059376B1 (ko) 2014-06-03 2014-06-03 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템
KR10-2014-0067781 2014-06-03

Publications (1)

Publication Number Publication Date
WO2015137604A1 true WO2015137604A1 (ko) 2015-09-17

Family

ID=54072007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/012350 WO2015137604A1 (ko) 2014-03-10 2014-12-15 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템

Country Status (5)

Country Link
US (1) US10313207B2 (ko)
EP (1) EP3119093B1 (ko)
JP (1) JP6383799B2 (ko)
CN (1) CN106105242B (ko)
WO (1) WO2015137604A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017521358A (ja) * 2014-04-23 2017-08-03 グルコベーション, インコーポレーテッドGlucovation, Inc. 被分析物を測定するための非酵素的電気化学センサ

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190188122A1 (en) * 2017-12-20 2019-06-20 Rainforest Qa, Inc. Electronic product testing systems
US10521319B2 (en) 2015-09-18 2019-12-31 DISH Technologies, L.L.C. Automated testing for content receivers
US10574717B1 (en) * 2016-06-29 2020-02-25 Amazon Technologies, Inc. Network-adaptive live media encoding system
EP3383055A1 (en) 2017-03-28 2018-10-03 Rohde & Schwarz GmbH & Co. KG Method and device for monitoring data related to broadcasting and/or streaming
JP6848606B2 (ja) * 2017-03-30 2021-03-24 日本電気株式会社 制御装置、多重化システム、多重化方法及びプログラム
US10489287B2 (en) 2017-05-15 2019-11-26 Bank Of America Corporation Conducting automated software testing using centralized controller and distributed test host servers
US10223248B2 (en) 2017-05-15 2019-03-05 Bank Of America Corporation Conducting automated software testing using centralized controller and distributed test host servers
US10261892B2 (en) 2017-05-24 2019-04-16 Bank Of America Corporation Cloud-based automated test execution factory
US10708142B2 (en) * 2018-01-24 2020-07-07 Keysight Technologies, Inc. Methods, systems, and computer readable media for providing cloud visibility
CN109471805B (zh) * 2018-11-14 2022-09-30 网易（杭州）网络有限公司 资源测试方法及装置、存储介质、电子设备
US11907621B2 (en) 2019-05-03 2024-02-20 Rainforest Qa, Inc. Electronic product testing systems for providing automated product testing
US12038832B2 (en) * 2021-01-20 2024-07-16 Rainforest Qa, Inc. Electronic product testing systems for providing automated product testing with human-in-the loop component and/or object detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100065046A (ko) * 2008-12-05 2010-06-15 한국전자통신연구원 임베디드 기반 시스템의 응용 시험 장치 및 방법
KR20120063499A (ko) * 2009-09-30 2012-06-15 알까뗄 루슨트 엔터프라이즈 네트워크에서 할당된 클라우드 자원의 동적 로드 밸런싱 및 스케일링
KR20120114484A (ko) * 2011-04-07 2012-10-17 주식회사 넥스알 클라우드 컴퓨팅의 블럭 스토리지 서비스의 데이터 이중화 방법
KR20130075777A (ko) * 2010-09-20 2013-07-05 넷플릭스, 인크. 네트워크화된 애플리케이션들의 리질리언시의 검증
KR20140011530A (ko) * 2012-06-29 2014-01-29 한국전자통신연구원 클라우드 컴퓨팅 데이터 센터간 연결 경로 장애 관리 방법 및 그 장치

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7451362B2 (en) * 2003-12-12 2008-11-11 Broadcom Corporation Method and system for onboard bit error rate (BER) estimation in a port bypass controller
JP2006072784A (ja) * 2004-09-03 2006-03-16 Hitachi Information Systems Ltd 統合監視システム
US7437275B2 (en) * 2005-08-03 2008-10-14 Agilent Technologies, Inc. System for and method of multi-location test execution
KR101184694B1 (ko) 2005-08-18 2012-09-20 삼성전자주식회사 디지털 영상 처리 장치 및 방법
KR100790470B1 (ko) 2005-12-05 2008-01-02 한국전자통신연구원 디바이스 드라이버 테스트를 위한 테스트 케이스 자동 생성방법 및 장치
TWI317472B (en) * 2005-12-23 2009-11-21 Hon Hai Prec Ind Co Ltd Multimedia device testing system and method for the same
US7788562B2 (en) * 2006-11-29 2010-08-31 Advantest Corporation Pattern controlled, full speed ATE compare capability for deterministic and non-deterministic IC data
JP2009187230A (ja) * 2008-02-06 2009-08-20 Hitachi Ltd サーバの監視装置
JP2010130158A (ja) * 2008-11-26 2010-06-10 Hitachi Ltd 障害情報処理システム及び障害情報処理方法
US8549491B2 (en) * 2008-12-05 2013-10-01 Electronics And Telecommunications Research Institute Apparatus and method for application testing of embedded system
JP2011090429A (ja) * 2009-10-21 2011-05-06 Nomura Research Institute Ltd 統合監視システム
US9009669B2 (en) * 2010-05-07 2015-04-14 Salesforce.Com, Inc. Visual user interface validator
EP2509332B1 (en) * 2011-04-04 2015-12-30 AGUSTAWESTLAND S.p.A. Automatic test system for digital display systems
KR20120121950A (ko) 2011-04-28 2012-11-07 (주)아이엔에스랩 애플리케이션 그래픽 유저인터페이스 테스트 자동화 시스템 및 그 방법
TWI476586B (zh) * 2011-07-13 2015-03-11 Inst Information Industry 以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體
KR20130042327A (ko) 2011-10-18 2013-04-26 엘지전자 주식회사 영상표시장치의 동작 방법
JP2013243621A (ja) * 2012-05-22 2013-12-05 Toshiba Corp 電子機器、電子機器の制御方法、制御プログラム、映像表示装置
US9015234B2 (en) * 2012-07-25 2015-04-21 Lg Cns Co., Ltd. Automated distributed testing administration environment
TWI465901B (zh) * 2012-10-23 2014-12-21 Taiwan Memory Qualification Ct Corp Method and system for verification of computerized systems for cloud testing and remote monitoring of integrated circuit devices
US20140325479A1 (en) * 2013-04-24 2014-10-30 Hewlett-Packard Development Company, L.P. Synchronization of an automation script
CN103310383A (zh) * 2013-06-25 2013-09-18 莘县农业局 农产品质量安全全程监控与追溯系统及方法
EP3096229A4 (en) 2014-01-14 2018-01-10 Entrix Co., Ltd. Application error detection method for cloud streaming service, and apparatus and system therefor
US10367713B2 (en) * 2015-10-15 2019-07-30 Fluke Corporation Cloud based system and method for managing testing configurations for cable test devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100065046A (ko) * 2008-12-05 2010-06-15 한국전자통신연구원 임베디드 기반 시스템의 응용 시험 장치 및 방법
KR20120063499A (ko) * 2009-09-30 2012-06-15 알까뗄 루슨트 엔터프라이즈 네트워크에서 할당된 클라우드 자원의 동적 로드 밸런싱 및 스케일링
KR20130075777A (ko) * 2010-09-20 2013-07-05 넷플릭스, 인크. 네트워크화된 애플리케이션들의 리질리언시의 검증
KR20120114484A (ko) * 2011-04-07 2012-10-17 주식회사 넥스알 클라우드 컴퓨팅의 블럭 스토리지 서비스의 데이터 이중화 방법
KR20140011530A (ko) * 2012-06-29 2014-01-29 한국전자통신연구원 클라우드 컴퓨팅 데이터 센터간 연결 경로 장애 관리 방법 및 그 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017521358A (ja) * 2014-04-23 2017-08-03 グルコベーション, インコーポレーテッドGlucovation, Inc. 被分析物を測定するための非酵素的電気化学センサ

Also Published As

Publication number Publication date
JP2017509991A (ja) 2017-04-06
JP6383799B2 (ja) 2018-08-29
CN106105242A (zh) 2016-11-09
US10313207B2 (en) 2019-06-04
US20170078159A1 (en) 2017-03-16
EP3119093B1 (en) 2019-10-30
EP3119093A1 (en) 2017-01-18
CN106105242B (zh) 2020-01-10
EP3119093A4 (en) 2017-11-15

Similar Documents

Publication Publication Date Title
WO2015137604A1 (ko) 클라우드 스트리밍 서버 테스트 방법, 이를 위한 장치 및 시스템
WO2020145697A1 (en) Method for providing image using foldable display and electronic device for supporting the same
WO2021107506A1 (en) Electronic device for providing augmented reality service and operating method thereof
WO2014017757A1 (en) Method of transmitting inquiry message, display device for the method, method of sharing information, and mobile terminal
WO2016036192A1 (en) Image display apparatus and image display method
WO2016060486A1 (en) User terminal apparatus and iris recognition method thereof
WO2013168970A1 (en) Method and system for operating communication service
WO2016032021A1 (ko) 음성 명령 인식을 위한 장치 및 방법
WO2013058423A1 (ko) 전자기기 및 전자기기의 동작 방법
WO2015057013A1 (ko) 휴대용 장치가 웨어러블 장치를 통하여 정보를 표시하는 방법 및 그 장치
WO2016076570A1 (en) Display apparatus and display method
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2017034155A1 (en) Method, apparatus and system for inserting watermark data
WO2014163214A1 (en) Image display device for providing function of changing screen display direction and method thereof
WO2021020801A1 (ko) 이벤트에 따라 형태가 전환되는 접이식 전자 장치 및 그 접이식 전자 장치의 형태를 전환하는 방법
WO2021241849A1 (ko) 에지 컴퓨팅 서비스를 수행하는 전자 장치 및 전자 장치의 동작 방법
WO2019164281A1 (en) Electronic device and control method thereof
EP3228085A1 (en) Display apparatus, and method of operating the display apparatus
WO2014148751A1 (en) Method for displaying contact information and electronic device thereof
WO2014142410A1 (en) Computing system with device interaction mechanism and method of operation thereof
WO2019139373A1 (en) Method of providing notification and electronic device supporting same
WO2015093790A1 (en) Method and apparatus for controlling virtual switching
WO2022025463A1 (ko) 외부 장치들이 출력하는 컨텐츠의 출력 시점을 동기화하는 전자 장치 및 전자 장치의 동작 방법
WO2022231140A1 (ko) 장치 식별 정보를 송신 및/또는 수신하는 전자 장치 및 그 동작 방법
WO2013141517A1 (ko) 제어 장치 및 그의 동작 방법, 서버 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14885807

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15123213

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016556717

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2014885807

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014885807

Country of ref document: EP