JP7170256B2

JP7170256B2 - App performance monitoring device and method

Info

Publication number: JP7170256B2
Application number: JP2018097009A
Authority: JP
Inventors: スユ，ヨン; スソン，ヨン
Original assignee: オニコム株式会社
Priority date: 2018-04-17
Filing date: 2018-05-21
Publication date: 2022-11-14
Anticipated expiration: 2038-05-21
Also published as: KR102096085B1; KR20190120983A; JP2019185711A

Description

特許法第３０条第２項適用２０１７年１１月２１日、ｈｔｔｐ：／／ｗｗｗ．ｅｔｎｅｗｓ．ｃｏｍ／２０１７１１２１０００２３５２０１７年１１月２２日、ＢｅｔｔｅｒＳｏｆｔｗａｒｅＴｅｓｔｉｎｇＣｏｎｆｅｒｅｎｃｅ２０１７２０１８年４月１２日、ｈｔｔｐ：／／ｎｅｗｓ．ｃｈｏｓｕｎ．ｃｏｍ／ｓｉｔｅ／ｄａｔａ／ｈｔｍｌ＿ｄｉｒ／２０１８／０４／１１／２０１８０４１１０１８２３．ｈｔｍｌApplication of Article 30, Paragraph 2 of the Patent Act November 21, 2017, http://www. etnews. com/20171121000235 November 22, 2017, Better Software Testing Conference 2017 April 12, 2018, http://news. chosun. com/site/data/html_dir/2018/04/11/2018041101823. html

本明細書で開示する実施例はアプリ性能モニタリング装置及び方法に関するもので、より詳しくはアプリのクラッシュのような致命的な問題が発生する前にアプリの駆動状況を確認することができるアプリ性能モニタリング装置及び方法に関するものである。 Embodiments disclosed herein relate to an apparatus and method for monitoring app performance, and more particularly, app performance monitoring capable of checking the operating status of an app before a critical problem such as app crash occurs. Apparatus and method.

近年、ＩＴ技術が急激に発展して、単一電子端末内に多様な種類のハードウェアモジュールが搭載されている。特に、デジタル基盤の多くの製品又はサービスが融合して新しいサービス又は製品が誕生するデジタルコンバージェンス現象が加速化するにつれてこれらの各電子端末を運用することができるオペレーティングシステムも多様に市販されている。 With the rapid development of IT technology in recent years, various types of hardware modules are installed in a single electronic terminal. In particular, as the digital convergence phenomenon, in which many digital-based products or services converge to create new services or products, is accelerating, various operating systems capable of operating these electronic terminals are on the market.

このような状況で、ソフトウェア開発者はこれらの電子端末に含まれたハードウェアリソースを活用するための数多いアプリケーションプログラムを開発することができる自由度が高くなるとともに多様なハードウェア及びプラットホームで無理なく実行されるアプリケーションプログラムを開発してテストしなければならない負担を担うことになった。 Under these circumstances, software developers have a greater degree of freedom to develop a large number of application programs to utilize the hardware resources included in these electronic terminals, and can easily use various hardware and platforms. It has taken on the burden of having to develop and test the application programs that run.

これに関連し、先行技術文献である大韓民国公開特許第１０－２０１４－００５２２００号を参照すると、テスト端末でのアプリケーションの実行時にクラッシュが発生した場合、クラッシュ発生までの動作シナリオとクラッシュ内容を含むクラッシュ発生情報を検証管理装置に伝送するアプリケーション検証のためのシステムを開示している。このように、先行技術文献のようにアプリケーションをテストするシステムではクラッシュが発生するときにのみクラッシュ関連情報を確認することができるから、クラッシュが発生する前に使用状態についての情報を確認してアプリケーションの実行による欠陥を確認することができない問題点があった。 In this regard, referring to the prior art document, Korean Patent Publication No. 10-2014-0052200, when a crash occurs during execution of an application on a test device, a crash including an operation scenario up to the occurrence of the crash and the details of the crash is described. A system for application verification is disclosed that transmits generation information to a verification manager. In this way, the system for testing applications as in the prior art documents can check crash-related information only when a crash occurs. There was a problem that it was not possible to confirm the defect due to the execution of

一方、アプリケーションを市販する前にアプリケーションをテストするためには、アプリケーションを駆動する全ての使用者端末を購買してテストするとか、テストに多い時間がかかるから、アプリケーションの市販前にアプリケーションのテストを行うしかない限界がある。よって、アプリケーションを市販した状態でアプリケーションをテストすることになるが、クラッシュが発生する前のアプリケーションの欠陷は使用者に不便をかけて使用者が離脱することになる問題点があった On the other hand, in order to test an application before it is marketed, it is necessary to purchase and test all the user terminals that run the application, or test the application before it is marketed because it takes a lot of time. There are limits to what you can do. Therefore, the application is tested in the marketed state, but there is a problem that the application's defect before the crash causes inconvenience to the user and causes the user to withdraw.

したがって、上述した問題点を解決するための技術が必要になった。 Therefore, there is a need for a technique for solving the above-described problems.

一方、前述した背景技術は発明者が本発明の導出のために保有していたとか、本発明の導出過程で習得した技術情報であり、必ずしも本発明の出願前に一般公衆に公開された公知技術であるとは言えない。 On the other hand, the above-mentioned background art is technical information that the inventor possessed for derivation of the present invention or learned during the derivation process of the present invention. I wouldn't say it's technology.

韓国公開特許第１０－２０１４－００５２２００号公報Korean Patent Publication No. 10-2014-0052200

本明細書で開示する実施例は、クラッシュの発生前にアプリの駆動状況を確認して欠陷を確認することができるアプリ性能モニタリング装置及び方法を提示することに目的がある。 Embodiments disclosed in the present specification aim to provide an app performance monitoring apparatus and method capable of checking the operating status of an app and checking for defects before a crash occurs.

本明細書で開示する実施例は、クラッシュの発生前の欠陷による使用者の離脱を防止することができるアプリ性能モニタリング装置及び方法を提示することに目的がある。 The embodiments disclosed in this specification aim to provide an application performance monitoring apparatus and method that can prevent a user from leaving due to a defect before a crash occurs.

上述した技術的課題を達成するための技術的手段として、一実施例によるアプリ性能モニタリング装置は、アプリテストのための端末と通信する通信部、及びアプリテスト中の端末からテスト関連情報を受信し、前記受信された情報を予め設定された駆動条件でフィルタリングしてアプリの駆動状況を提供する制御部を含み、前記制御部は、前記アプリの実行による活動内訳を示す実行状態、前記端末のオペレーティングシステムバージョン、前記端末の端末種類、及び前記端末の接続地域についての情報の少なくとも一つの条件を前記フィルタリングのための前記駆動条件として設定する。 As a technical means for achieving the technical problems described above, an application performance monitoring device according to one embodiment includes a communication unit that communicates with a terminal for application testing, and receives test-related information from the terminal during application testing. , a control unit for filtering the received information according to a preset operating condition and providing an operating status of the application, wherein the control unit controls an execution state indicating an activity breakdown according to the execution of the application, an operating condition of the terminal, and At least one condition of information about a system version, a terminal type of the terminal, and a connection area of the terminal is set as the driving condition for the filtering.

他の実施例によるアプリ性能モニタリング装置によって行うアプリ性能モニタリング方法は、アプリテストのための端末の情報を確認する段階、前記アプリテストのための駆動条件を設定する段階、及び前記端末からテスト関連情報を受信し、前記受信された情報を前記駆動条件でフィルタリングしてアプリの駆動状況を提供する段階を含み、前記駆動条件を設定する段階は、前記アプリの実行による活動内訳を示す実行状態、前記端末のオペレーティングシステムバージョン、前記端末の端末種類、及び前記端末の接続地域についての情報の少なくとも一つの条件を前記フィルタリングのための前記駆動条件として設定する段階を含む。 An application performance monitoring method performed by an application performance monitoring apparatus according to another embodiment includes steps of confirming terminal information for application testing, setting operating conditions for the application test, and obtaining test-related information from the terminal. and filtering the received information with the operating condition to provide an operating status of the application, wherein setting the operating condition includes: an execution state indicating a breakdown of activities due to execution of the application; setting at least one condition of information about an operating system version of the terminal, a terminal type of the terminal, and a connection area of the terminal as the driving condition for the filtering.

前述した課題解決手段のいずれか一つによると、クラッシュの発生前にアプリの駆動状況を確認して欠陷を確認することができるアプリ性能モニタリング装置及び方法を提示することができる。 According to any one of the above-described problem-solving means, it is possible to present an application performance monitoring apparatus and method capable of confirming a defect by checking the operation status of an application before a crash occurs.

また、前述した課題解決手段のいずれか一つによると、クラッシュの発生前の欠陷による使用者の離脱を防止することができるアプリ性能モニタリング装置及び方法を提示することができる。 Also, according to any one of the above-described problem-solving means, it is possible to present an application performance monitoring apparatus and method capable of preventing a user from leaving due to a defect before a crash occurs.

開示する実施例で得られる効果は以上で言及した効果に制限されず、言及しなかった他の効果は下記の記載で開示する実施例が属する技術分野で通常の知識を有する者に明確に理解可能であろう。 The effects obtained in the disclosed embodiments are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those having ordinary knowledge in the technical field to which the embodiments disclosed in the following description belong. It would be possible.

一実施例によるアプリ性能モニタリングシステムを示す構成図である。1 is a configuration diagram showing an application performance monitoring system according to one embodiment; FIG. 一実施例によるアプリ性能モニタリング装置を示すブロック図である。1 is a block diagram showing an application performance monitoring device according to one embodiment; FIG. 一実施例によるアプリ性能モニタリング装置の制御部を示すブロック図である。1 is a block diagram showing a control unit of an application performance monitoring device according to one embodiment; FIG. 一実施例によるアプリ性能モニタリング装置でフィルタリングのための駆動条件を表示した画面を示す図である。FIG. 4 is a diagram illustrating a screen displaying operating conditions for filtering in the application performance monitoring apparatus according to one embodiment; 一実施例によるアプリ性能モニタリング装置で駆動状況に対応する詳細項目を示す図である。FIG. 4 is a diagram illustrating detailed items corresponding to operating conditions in the application performance monitoring apparatus according to one embodiment; 一実施例によるアプリ性能モニタリング装置でアプリ性能モニタリング動作を示す図である。FIG. 4 is a diagram illustrating an application performance monitoring operation in an application performance monitoring apparatus according to one embodiment;

以下では添付図面に基づいて本発明が属する技術分野で通常の知識を有する者が容易に実施することができるように本発明の実施例を詳細に説明する。しかし、本発明はいろいろの相異なる形態に具現されることができ、ここで説明する実施例に限定されない。そして、図面で本発明を明確に説明するために説明と関係ない部分は省略し、明細書全般にわたって類似の部分に対しては類似の図面符号を付ける。 The embodiments of the present invention will now be described in detail with reference to the accompanying drawings so that those skilled in the art can easily implement the present invention. This invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In addition, in order to clearly describe the present invention in the drawings, parts that are not related to the description are omitted, and similar parts are denoted by similar reference numerals throughout the specification.

明細書全般にわたり、ある構成が他の構成と“連結”されていると言うとき、これは‘直接連結’されている場合だけではなく、‘その中間にさらに他の構成を挟んで連結’されている場合も含む。また、ある構成が他の構成を“含む”というとき、これは特に反対する記載がない限り、その外の構成を除くものではなく、他の構成をさらに含むこともできることを意味する。 Throughout the specification, when one configuration is said to be "connected" to another configuration, it is not only 'directly connected' but also 'connected with another configuration in between'. Including cases where In addition, when a configuration "includes" another configuration, it does not exclude the other configuration, but can also include the other configuration, unless specifically stated to the contrary.

以下、添付図面に基づいて実施例を詳細に説明する。ただ、その説明に先立ち、下記で使う用語の意味を先に定義する。 An embodiment will be described in detail below with reference to the accompanying drawings. However, prior to the explanation, the meaning of the terms used below will be defined first.

ここで、‘アプリケーション’は後述する電子端末又は端末上で実行されて所定の目的を達成するためのプログラムであり、アプリケーションプログラムとも言う。このようなアプリケーションは、以下で‘アプリ’と同一の意味として混用して使うことがある。 Here, the 'application' is an electronic terminal or a program that is executed on a terminal to achieve a predetermined purpose, and is also called an application program. Such an application may be used interchangeably with the same meaning as 'app' below.

‘駆動条件’はアプリがテストされる駆動環境についての情報を確認するための条件であり、アプリの実行による活動内訳を示す実行状態、端末のオペレーティングシステムバージョン、端末の種類、端末の接続地域についての情報の少なくとも一つを含むことができる。ここで、駆動条件は例示的に説明したもので、必要によってアプリテストのための端末のハードウェア及びソフトウェアリソース又は端末周辺環境についての情報をさらに含むことができる。 'Driving conditions' are conditions for checking information about the operating environment in which the app is tested, including the execution status that shows the breakdown of activities due to the execution of the app, the operating system version of the device, the type of device, and the connection area of the device. can include at least one of the information in Here, the operating condition is described as an example, and may further include information about the hardware and software resources of the terminal or the peripheral environment of the terminal for application testing, if necessary.

‘駆動状況’は駆動条件によって端末で収集された情報をフィルタリングして獲得した情報であり、アプリテスト結果を意味する。駆動状況はアプリのテストによる端末のアプリ使用状態又は端末のリソース使用量を示すことがあり、詳細項目に区分されることができる。詳細項目は、例えばアプリの使用流れ、使用者インターフェース（ＵＩ）レンダリング時間、中央処理装置使用量、メモリ使用量、ネットワーク応答時間、及びクラッシュの少なくとも一つを含むことができる。 'Driving status' is information obtained by filtering the information collected by the terminal according to driving conditions, and means application test results. The operating status may indicate the application usage status of the terminal or the resource usage of the terminal according to the application test, and may be divided into detailed items. The detailed items may include, for example, at least one of app usage flow, user interface (UI) rendering time, central processing unit usage, memory usage, network response time, and crashes.

図１は一実施例によるアプリ性能モニタリングシステムを示す構成図である。 FIG. 1 is a configuration diagram showing an application performance monitoring system according to one embodiment.

図１に示したように、アプリ性能モニタリングシステム１０は、端末１１０、１２０とアプリ性能モニタリング装置２００を含むことができる。アプリ性能モニタリング装置２００はネットワークＮを介して端末１１０、１２０と通信することができる。 As shown in FIG. 1 , the application performance monitoring system 10 may include terminals 110 and 120 and an application performance monitoring device 200 . Application performance monitoring device 200 can communicate with terminals 110 and 120 via network N. FIG.

端末１１０、１２０はアプリが実行される装置であって、端末１１０、１２０でアプリを実行させ、実行されるアプリをテストすることによってテスト端末と見なされることができる。ここで、テスト端末はアプリのテストを進行するとかアプリのテストを進行するために選択された端末を意味する。 The terminals 110 and 120 are devices on which applications are executed, and can be regarded as test terminals by causing the terminals 110 and 120 to execute applications and to test the executed applications. Here, the test device means a device selected for conducting application testing or conducting application testing.

端末１１０、１２０はアプリのテストに必要な多様な情報をアプリ性能モニタリング装置２００に提供することができる。例えば、端末１１０、１２０はアプリのテストのための端末の固有情報（製造社、モデル）をアプリ性能モニタリング装置２００に提供することができる。また、端末１１０、１２０はアプリの実行によって生成するとか変更することができる多様な情報をアプリ性能モニタリング装置に提供することができ、使用者の移動などによる端末１１０、１２０の状態変化によって発生する情報（例えば、位置情報など）をアプリ性能モニタリング装置２００に提供することもできる。 The terminals 110 and 120 may provide the application performance monitoring apparatus 200 with various information necessary for testing the application. For example, the terminals 110 and 120 can provide the application performance monitoring device 200 with terminal specific information (manufacturer, model) for application testing. In addition, the terminals 110 and 120 can provide the application performance monitoring device with various information that can be generated or changed by executing the application, and is generated according to the status change of the terminals 110 and 120 due to the movement of the user. Information (eg, location information, etc.) may also be provided to the app performance monitoring device 200 .

端末１１０、１２０はネットワークＮを介して遠隔地のサーバーに接続するとか、他の端末及びサーバーと連結可能なコンピュータ、携帯用端末機又はテレビから具現されることができる。ここで、コンピュータは、例えばウェブブラウザー（ＷＥＢＢｒｏｗｓｅｒ）が搭載されたノートブック型パソコン、デスクトップ（ｄｅｓｋｔｏｐ）、ラップトップ（ｌａｐｔｏｐ）などを含み、携帯用端末機は、例えば携帯性及び移動性を保障する無線通信装置であって、ＰＣＳ（ＰｅｒｓｏｎａｌＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍ）、ＰＤＣ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＣｅｌｌｕｌａｒ）、ＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙｐｈｏｎｅＳｙｓｔｅｍ）、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、ＧＳＭ（登録商標）（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＩＭＴ（ＩｎｔｅｒｎａｔｉｏｎａｌＭｏｂｉｌｅＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）－２０００、ＣＤＭＡ（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）－２０００、Ｗ－ＣＤＭＡ（Ｗ－ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、Ｗｉｂｒｏ（ＷｉｒｅｌｅｓｓＢｒｏａｄｂａｎｄＩｎｔｅｒｎｅｔ）、スマートフォン（ＳｍａｒｔＰｈｏｎｅ）、モバイルＷｉＭＡＸ（ＭｏｂｉｌｅＷｏｒｌｄｗｉｄｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒＭｉｃｒｏｗａｖｅＡｃｃｅｓｓ）などの全ての種類のハンドヘルド（Ｈａｎｄｈｅｌｄ）基盤の無線通信装置を含むことができる。また、テレビはＩＰＴＶ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌＴｅｌｅｖｉｓｉｏｎ）、インターネットＴＶ（ＩｎｔｅｒｎｅｔＴｅｌｅｖｉｓｉｏｎ）、地上波ＴＶ、ケーブルＴＶなどを含むことができる。 The terminals 110 and 120 can be connected to a remote server via a network N, or can be realized from computers, portable terminals, or televisions that can be connected to other terminals and servers. Here, the computer includes, for example, a notebook computer equipped with a web browser, a desktop, a laptop, etc., and the portable terminal, for example, ensures portability and mobility. PCS (Personal Communication System), PDC (Personal Digital Cellular), PHS (Personal Handyphone System), PDA (Personal Digital Assistant), GSM (Registered Trademark) (Global Communication System for IM) （ＩｎｔｅｒｎａｔｉｏｎａｌＭｏｂｉｌｅＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）－２０００、ＣＤＭＡ（ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）－２０００、Ｗ－ＣＤＭＡ（Ｗ－ＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、Ｗｉｂｒｏ（ＷｉｒｅｌｅｓｓＢｒｏａｄｂａｎｄＩｎｔｅｒｎｅｔ）、スマートフォン（ＳｍａｒｔＰｈｏｎｅ）、モバイルＷｉＭＡＸ（ＭｏｂｉｌｅＷｏｒｌｄｗｉｄｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒＭｉｃｒｏｗａｖｅ Access) and all kinds of handheld-based wireless communication devices. Television may also include IPTV (Internet Protocol Television), Internet Television (Internet Television), terrestrial TV, cable TV, and the like.

アプリ性能モニタリング装置２００はテストしようとするアプリを端末１１０、１２０で実行させ、実行結果を確認することができる。また、アプリ性能モニタリング装置２００は、端末１１０、１２０でアプリを実行させるために、端末１１０、１２０のアプリ組込み動作を制御することができる。このようなアプリ性能モニタリング装置２００は個人コンピュータ（ＰＣ）だけでなく携帯用端末機などを含む多様な電子端末で具現されることができ、上述した端末１１０、１２０と同一の装置で具現されることもできる。 The application performance monitoring apparatus 200 can execute an application to be tested on the terminals 110 and 120 and check the execution result. In addition, the application performance monitoring apparatus 200 can control the application embedding operation of the terminals 110 and 120 in order to cause the terminals 110 and 120 to execute the application. The application performance monitoring device 200 can be implemented in various electronic terminals including personal computers (PCs) as well as portable terminals, and is implemented as the same devices as the terminals 110 and 120 described above. can also

例えば、アプリ性能モニタリング装置２００には、アプリテストを実行するためのプログラムが組み込まれることができる。また、アプリ性能モニタリング装置２００はアプリテストを実行するためのプログラムが組み込まれたサーバー（図示せず）と通信を行い、アプリテストに関連した入力を受信し、アプリテスト結果を表示するための使用者インターフェース画面を提供することもできる。端末１１０、１２０に組み込まれるアプリにはアプリテストのためのモジュールがソフトウェア開発キット（ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ、以下‘ＳＤＫ’と言う）などの形態として含まれることができる。アプリテストを実行するためのプログラムはＳＤＫが含まれたアプリに対するテストを実行することができる。 For example, the application performance monitoring device 200 can be embedded with a program for executing application tests. In addition, the application performance monitoring device 200 communicates with a server (not shown) in which a program for executing application tests is installed, receives inputs related to application tests, and is used to display application test results. A user interface screen can also be provided. The applications installed in the terminals 110 and 120 may include a module for application testing in the form of a software development kit (hereinafter referred to as 'SDK'). A program for executing an application test can execute a test for an application containing an SDK.

アプリ性能モニタリング装置２００はアプリが実行される端末１１０、１２０からアプリのテストのために必要な情報を受信することができる。アプリ性能モニタリング装置２００は端末１１０、１２０から収集された情報を駆動条件に基づいてフィルタリングし、フィルタリングされた結果である駆動状況についての情報を提供することができる。ここで、駆動条件は使用者がアプリ性能モニタリング装置２００を介して設定することができる。 The application performance monitoring device 200 can receive information necessary for testing the application from the terminals 110 and 120 on which the application is executed. The application performance monitoring device 200 can filter the information collected from the terminals 110 and 120 based on driving conditions, and provide information about the filtered driving conditions. Here, the operating conditions can be set by the user through the application performance monitoring device 200 .

次に、アプリ性能モニタリング装置２００を図２に基づいてより詳細に説明する。 Next, the application performance monitoring device 200 will be described in more detail based on FIG.

図２は一実施例によるアプリ性能モニタリング装置を示すブロック図である。 FIG. 2 is a block diagram illustrating an application performance monitoring device according to one embodiment.

図２に示したように、アプリ性能モニタリング装置２００は、入出力部２１０、通信部２２０、格納部２３０及び制御部２４０を含むことができる。 As shown in FIG. 2 , the application performance monitoring device 200 may include an input/output unit 210 , a communication unit 220 , a storage unit 230 and a control unit 240 .

入出力部２１０は、使用者から入力を受信するための入力部と、作業の実行結果又はアプリ性能モニタリング装置２００の状態などの情報を表示するための出力部とを含むことができる。例えば、入出力部２１０は、使用者入力を受信する操作パネル（ｏｐｅｒａｔｉｏｎｐａｎｅｌ）及び画面を表示するディスプレイパネル（ｄｉｓｐｌａｙｐａｎｅｌ）などを含むことができる。 The input/output unit 210 may include an input unit for receiving input from a user, and an output unit for displaying information such as a work execution result or the state of the application performance monitoring device 200 . For example, the input/output unit 210 may include an operation panel for receiving user input and a display panel for displaying a screen.

具体的に、入力部は、キーボード、物理ボタン、タッチスクリーン、カメラ又はマイクなどのように多様な形態の使用者入力を受信することができる装置を含むことができる。また、出力部は、ディスプレイパネル又はスピーカーなどを含むことができる。ただ、これに限定されず、入出力部２１０は多様な入出力を支援する構成を含むことができる。 Specifically, the input unit may include devices capable of receiving various forms of user input, such as a keyboard, physical buttons, touch screen, camera, or microphone. Also, the output unit may include a display panel, a speaker, or the like. However, without being limited thereto, the input/output unit 210 may include a configuration that supports various inputs/outputs.

一方、通信部２２０は、他のデバイス又はネットワークＮと有無線通信を実行することができる。このために、通信部２２０は多様な有無線通信方法の少なくとも一つを支援する通信モジュールを含むことができる。例えば、通信モジュールはチップセット（ｃｈｉｐｓｅｔ）の形態に具現されることができる。 Meanwhile, the communication unit 220 may perform wire/wireless communication with other devices or the network N. FIG. To this end, the communication unit 220 may include a communication module supporting at least one of various wired and wireless communication methods. For example, the communication module can be implemented in the form of a chipset.

通信部２２０が支援する無線通信は、例えばＷｉ－Ｆｉ（ＷｉｒｅｌｅｓｓＦｉｄｅｌｉｔｙ）、Ｗｉ－ＦｉＤｉｒｅｃｔ、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＵＷＢ（ＵｌｔｒａＷｉｄｅＢａｎｄ）又はＮＦＣ（ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ）などであってもよい。また、通信部２２０が支援する有線通信は、例えばＵＳＢ又はＨＤＭＩ（登録商標）（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）などであってもよい。上述した通信は例示であるだけ、アプリ性能モニタリング装置２００が通信を実行するようにする各種の通信技法が可能である。 Wireless communication supported by the communication unit 220 includes, for example, Wi-Fi (Wireless Fidelity), Wi-Fi Direct, Bluetooth (registered trademark), UWB (Ultra Wide Band), or NFC (Near Field Communication). and so on. Wired communication supported by the communication unit 220 may be, for example, USB or HDMI (registered trademark) (High Definition Multimedia Interface). The communication described above is only exemplary, and various communication techniques are possible that cause the application performance monitoring device 200 to perform the communication.

一方、格納部２３０には、ファイル、アプリケーション及びプログラムなどの多様な種類のデータが組み込まれるとか保存されることができる。データの例として、アプリテストのための情報を含むことができ、アプリテストのために端末１１０、１２０から収集された情報であってもよい。 Meanwhile, in the storage unit 230, various types of data such as files, applications and programs can be embedded or stored. Examples of data may include information for app testing, and may be information collected from terminals 110, 120 for app testing.

格納部２３０に保存されたデータは後述する制御部２４０によってアクセスされて用いられるとか、あるいは制御部２４０によって新しいデータが保存されることができる。また、格納部２３０は制御部２４０によって実行可能なプログラムを保存することができる。 Data stored in the storage unit 230 can be accessed and used by the controller 240, which will be described later, or new data can be stored by the controller 240. FIG. Also, the storage unit 230 may store programs executable by the control unit 240 .

格納部２３０はアプリテスト動作によって生成された情報又はアプリテスト結果についての情報を制御部２４０によって保存することができる。 The storage unit 230 may store information generated by the application test operation or information about the application test result by the control unit 240 .

一方、制御部２４０はアプリ性能モニタリング装置２００の全般的な動作を制御し、ＣＰＵなどのプロセッサを含むことができる。制御部２４０は入出力部２１０を介して受信した使用者入力に対応する動作を実行するようにアプリ性能モニタリング装置２００に含まれた他の構成を制御することができる。 Meanwhile, the control unit 240 controls the overall operation of the application performance monitoring device 200 and may include a processor such as a CPU. The control unit 240 may control other components included in the application performance monitoring apparatus 200 to perform operations corresponding to user inputs received through the input/output unit 210 .

例えば、制御部２４０は格納部２３０に保存されたデータを読んで来るとか、新しいデータを格納部２３０に保存することもできる。 For example, the controller 240 can read data stored in the storage unit 230 or store new data in the storage unit 230 .

一実施例によると、制御部２４０は、通信部２２０を介して端末１１０、１２０からアプリテストについての情報を受信することができる。制御部２４０は、受信された情報をフィルタリングするために、入出力部２１０を介して入力された情報に基づいて駆動条件を設定することができる。 According to one embodiment, the controller 240 may receive information about the application test from the terminals 110 and 120 through the communication unit 220 . The control unit 240 can set the driving conditions based on the information input through the input/output unit 210 in order to filter the received information.

制御部２４０は駆動条件に基づいて端末１１０、１２０でテスト関連情報をフィルタリングすることができる。端末１１０、１２０でフィルタリングされた情報はアプリの駆動状況を示すことができる。制御部２４０は、現在クラッシュが発生しなかった状態でもアプリに関連した状況を確認することができる情報である駆動状況を設定の駆動条件によってフィルタリングして受けることができる。ここで、クラッシュ（ｃｒａｓｈ）は、電源の遺失、システムエラー、アプリケーションエラーなどによって正常な終了動作を実行することができなかった場合に発生するエラーを意味する。 The control unit 240 can filter test-related information at the terminals 110, 120 based on operating conditions. The information filtered by the terminals 110 and 120 may indicate the operating status of the application. The control unit 240 may filter and receive the operating status, which is information for checking the status related to the application even if the current crash does not occur, according to the set operating conditions. Here, a crash means an error that occurs when a normal termination operation cannot be performed due to loss of power, system error, application error, or the like.

一方、制御部２４０を図３に基づいてより詳細に説明する。 Meanwhile, the controller 240 will be described in more detail with reference to FIG.

これにより、アプリ性能モニタリング装置２００はフィルタリング動作を行って、アプリテスト時にクラッシュの発生有無にかかわらずアプリで発生し得る欠陷を確認することができる情報を使用者に提供することができる。このように、アプリ性能モニタリング装置２００は、クラッシュの発生前にアプリテストによって発生した欠陷（例えば、リソースの過度な使用又はアプリの性能低下など）についての情報を提供することによってアプリの管理者が問題を解決することができるようにするので、アプリの欠陷による使用者離脱を防止することができる。 Accordingly, the application performance monitoring apparatus 200 performs a filtering operation to provide the user with information for identifying defects that may occur in the application regardless of whether a crash occurs during application testing. In this way, the application performance monitoring apparatus 200 provides the application administrator with information about defects (eg, excessive use of resources or degradation of application performance) caused by the application test before the crash occurs. can solve the problem, it is possible to prevent the user from leaving due to the defect of the application.

さらに、アプリ性能モニタリング装置２００はアプリ実行時に発生し得る欠陷をクラッシュの発生前にターゲッティングしてソースコードを修正するとかソースコードの修正が不必要な状況（例えば、アプリの接続地域が違う地域に位置、低仕様の端末によるＣＰＵ使用量又はメモリ使用量の超過など）を判断することができる。これにより、アプリ性能モニタリング装置２００は、アプリで問題が発生するとき、ソースコードの修正が必要な状況であるかをアプリ管理者が把握することができるようにすることによって不必要なソースコードの修正動作を予防することができる。 In addition, the application performance monitoring device 200 targets defects that may occur during application execution before a crash occurs and modifies the source code, or in a situation where the source code modification is unnecessary (for example, the connection area of the application is different). location, excessive CPU usage or memory usage by low specification terminals, etc.). As a result, the application performance monitoring apparatus 200 enables the application manager to grasp whether the source code needs to be modified when a problem occurs in the application, thereby eliminating unnecessary source code modification. Corrective actions can be prevented.

図３は一実施例によるアプリ性能モニタリング装置の制御部を示すブロック図である。 FIG. 3 is a block diagram showing the control unit of the application performance monitoring device according to one embodiment.

図３に示したように、制御部２４０は、テスト端末管理部２４１、フィルター部２４２、及びテスト情報処理部２４３を含むことができる。 As shown in FIG. 3 , the control unit 240 may include a test terminal management unit 241 , a filter unit 242 and a test information processing unit 243 .

一実施例によるテスト端末管理部２４１は、通信部２２０を介して端末１１０、１２０と通信することができ、端末１１０、１２０の情報を管理することができる。テスト端末管理部２４１は、端末１１０、１２０のハードウェアリソース及びソフトウェアリソースについての情報を管理することができる。例えば、テスト端末管理部２４１は、端末１１０、１２０の製造社、モデル（又は製品名）、スペック（ＣＰＵ、メモリ、カメラ、ディスプレイ、及びバッテリーなどの性能）などのハードウェアリソースについての情報を管理するとか、オペレーティングシステム又はオペレーティングシステムバージョンなどについての情報を管理することができる。 The test terminal management unit 241 according to one embodiment can communicate with the terminals 110 and 120 through the communication unit 220 and manage information of the terminals 110 and 120 . The test terminal manager 241 can manage information about hardware resources and software resources of the terminals 110 and 120 . For example, the test terminal management unit 241 manages information about hardware resources such as manufacturers, models (or product names), specifications (performance of CPU, memory, camera, display, battery, etc.) of the terminals 110 and 120. Alternatively, information about the operating system or operating system version can be managed.

テスト端末管理部２４１は格納部２３０に端末１１０、１２０の情報を保存するとか端末１１０、１２０の製造社サーバーと通信して端末１１０、１２０の情報を収集することができる。このような場合、テスト端末管理部２４１は、端末１１０、１２０の製品名を受信して端末についての詳細情報、すなわちハードウェアリソース及びソフトウェアリソースについての情報を獲得することもできる。 The test terminal management unit 241 can store the information of the terminals 110 and 120 in the storage unit 230 or collect the information of the terminals 110 and 120 by communicating with the manufacturer's server of the terminals 110 and 120 . In this case, the test terminal manager 241 may receive the product names of the terminals 110 and 120 to acquire detailed information about the terminals, ie, information about hardware resources and software resources.

テスト端末管理部２４１は、端末１１０、１２０で駆動されているアプリについての情報を受けることができる。また、テスト端末管理部２４１は、アプリの使用についての多様な情報を端末１１０、１２０から受けることができる。例えば、テスト端末管理部２４１はアプリの実行による使用者の活動内訳についての情報として実行状態情報を受信することができる。ここで、実行状態は使用者の入力によってアプリが実行されるそれぞれの状態を意味する。それぞれの実行状態に対応して端末に表示される実行画面が存在することができる。例えば、実行状態はアンドロイドオペレーティングシステムではアクティビティ又はｉＯＳではｉＯＳビューに対応することができる。 The test terminal manager 241 can receive information about applications running on the terminals 110 and 120 . Also, the test terminal management unit 241 can receive various information about the use of the application from the terminals 110 and 120 . For example, the test terminal management unit 241 can receive execution state information as information about a user's activity breakdown due to the execution of the application. Here, the execution state means each state in which the application is executed according to the user's input. There can be an execution screen displayed on the terminal corresponding to each execution state. For example, a running state can correspond to an activity in the Android operating system or an iOS view in iOS.

一実施例によるフィルター部２４２は駆動条件を使用者から受けて設定するとか駆動条件が内部に予め設定されていることがある。フィルター部２４２は設定された駆動条件で端末１１０、１２０で受信された情報をフィルタリングすることができる。例えば、フィルター部２４２はフィルタリングのための駆動条件として、実行状態、オペレーティングシステムバージョン、端末種類、及び接続地域に対する条件の少なくとも一つを含むことができる。 The filter unit 242 according to one embodiment may receive and set operating conditions from the user, or may have operating conditions preset therein. The filter unit 242 can filter information received by the terminals 110 and 120 under set operating conditions. For example, the filter unit 242 may include at least one of conditions for running status, operating system version, terminal type, and access area as operating conditions for filtering.

まず、フィルター部２４２はアプリの実行による活動内訳を示す実行状態を駆動条件として設定することができる。その後、フィルター部２４２はオペレーティングシステムバージョンを駆動条件として設定することができ、ついで端末種類を駆動条件として設定することができる。最後に、フィルター部２４２は接続地域を駆動条件として設定することができる。このように、フィルター部２４２は、実行状態、オペレーティングシステムバージョン、端末種類、及び接続地域を駆動条件で設定することができ、駆動条件の設定時に二つ以上の駆動条件を使う場合、アンド演算を用いることができる。よって、フィルター部２４２は実行状態、オペレーティングシステムバージョン、端末種類、及び接続地域に対して順にアンド演算を行ってフィルタリングすることができる。 First, the filter unit 242 can set, as a drive condition, an execution state that indicates the activity breakdown of the execution of the application. After that, the filter unit 242 can set the operating system version as the operating condition, and then set the terminal type as the operating condition. Finally, the filter unit 242 can set the connection area as a driving condition. As such, the filter unit 242 can set the execution status, operating system version, terminal type, and access area as operating conditions, and when two or more operating conditions are used when setting the operating conditions, the AND operation is performed. can be used. Accordingly, the filter unit 242 may filter by performing an AND operation on the execution status, operating system version, terminal type, and access area in order.

フィルター部２４２は、駆動条件の設定時、駆動条件別に特定の駆動状況が発生する頻度数と危険度（例えば、欠陥又はクラッシュの発生）を入出力部２１０を介して出力することもできる。また、フィルター部２４２はフィルタリングされた駆動状況をテスト情報処理部２４３に出力することができる。 The filter unit 242 may also output the frequency and risk (for example, the occurrence of a defect or crash) of occurrence of a specific driving condition for each driving condition through the input/output unit 210 when the driving conditions are set. Also, the filter unit 242 can output the filtered driving status to the test information processing unit 243 .

一実施例によるテスト情報処理部２４３はフィルタリングされた駆動状況を整列するとか図式化して出力することができる。このために、テスト情報処理部２４３は、表、チャート、グラフなどの多様な方式で情報を出力することができる。 The test information processing unit 243 according to an embodiment may arrange or graphically output the filtered driving conditions. To this end, the test information processing unit 243 can output information in various ways such as a table, chart, graph, and the like.

テスト情報処理部２４３は駆動条件によってフィルタリングされた情報である駆動状況についての情報を入出力部２１０を介して出力することができる。これにより、テスト情報処理部２４３は使用者にアプリテストのための駆動状況で発生し得る欠陷を確認することができる情報を提供することができる。 The test information processing unit 243 can output through the input/output unit 210 information about driving conditions, which is information filtered according to driving conditions. Accordingly, the test information processing unit 243 can provide the user with information for identifying defects that may occur in the operating conditions for the application test.

テスト情報処理部２４３は駆動状況の詳細項目についての情報を提供することができる。ここで、詳細項目は、アプリの使用流れ、使用者インターフェースレンダリング時間、中央処理装置使用量、メモリ使用量、ネットワーク応答時間、及びクラッシュの少なくとも一つを含む。テスト情報処理部２４３は、詳細項目についての情報の提供時、使用者によって設定された特定期間、一定時間、日付などを基準に詳細項目を表示することができる。 The test information processing unit 243 can provide information about detailed items of driving conditions. Here, the detailed items include at least one of application flow, user interface rendering time, central processing unit usage, memory usage, network response time, and crash. When providing information on detailed items, the test information processing unit 243 may display the detailed items based on a specific period, a certain time, or a date set by the user.

アプリ性能モニタリング装置２００で使われる駆動条件又は駆動状況はアプリテスト動作を説明するために例示的に説明したもので、上述した情報外の多様な情報が駆動条件として設定されるとか駆動状況として出力されることができる。 The driving condition or driving status used in the application performance monitoring apparatus 200 is described as an example to explain the application test operation, and various information other than the above information is set as the driving condition or output as the driving status. can be

図４は一実施例によるアプリ性能モニタリング装置でフィルタリングのための駆動条件が表示された画面を示す図である。 FIG. 4 is a diagram illustrating a screen displaying operating conditions for filtering in the application performance monitoring apparatus according to one embodiment.

図４には、アプリ性能モニタリング装置２００でのフィルタリングのための駆動条件３１０が示されている。 FIG. 4 shows operating conditions 310 for filtering in application performance monitoring device 200 .

アプリ性能モニタリング装置２００は、実行状態３１１、オペレーティングシステムバージョン３１２、端末種類３１３、及び接続地域３１４の少なくとも一つを駆動条件３１０として含むことができる。ここで、使用者はアプリ性能モニタリング装置２００を介して実行状態３１１、オペレーティングシステムバージョン３１２、端末種類３１３、及び接続地域３１４を選択することによって駆動条件を設定することができる。アプリ性能モニタリング装置２００は、駆動条件の設定時、実行状態３１１、オペレーティングシステムバージョン３１２、端末種類３１３、及び接続地域３１４をアンド演算することができ、アンド演算のために一つずつ順次選択することもできる。 The application performance monitoring device 200 may include at least one of an execution state 311 , an operating system version 312 , a terminal type 313 and a connection region 314 as operating conditions 310 . Here, the user can set operating conditions by selecting an execution state 311, an operating system version 312, a terminal type 313, and an access region 314 through the application performance monitoring device 200. FIG. The application performance monitoring device 200 can perform an AND operation on the execution status 311, the operating system version 312, the terminal type 313, and the access area 314 when setting the operating conditions, and sequentially selects one by one for the AND operation. can also

しかし、アプリ性能モニタリング装置２００には、実行状態３１１、オペレーティングシステムバージョン３１２、端末種類３１３、及び接続地域３１４に対する駆動条件３１０の多様な組合せが予め設定されて保存されることができる。ここで、アプリ性能モニタリング装置２００は予め設定された条件に対していちいち設定しなくても、一つの組合せに対する１回の選択のみでもフィルタリングのための駆動条件を設定するようにすることもできる。 However, in the application performance monitoring device 200, various combinations of the operating conditions 310 for the execution state 311, operating system version 312, terminal type 313, and access area 314 can be preset and stored. Here, the application performance monitoring apparatus 200 may set the driving condition for filtering by selecting one combination only once without setting the conditions one by one.

一実施例による実行状態３１１はＡ１～Ａ１０で示されている。例えば、実行状態３１１で、Ａ１はメイン実行状態、Ａ２はミーリスト（ｍｅａｌｉｓｔ）実行状態、Ａ３はギャラリー実行状態、Ａ４は共有実行状態、Ａ５は管理実行状態、Ａ６はヘルプ実行状態、Ａ７はログイン実行状態、Ａ８は学習（チュートリアル）実行状態、Ａ９はスライドショー実行状態、Ａ１０は推薦実行状態などを示すことができる。 Execution states 311 according to one embodiment are indicated by A1-A10. For example, in run state 311, A1 is main run state, A2 is mealist run state, A3 is gallery run state, A4 is shared run state, A5 is admin run state, A6 is help run state, A7 is login. An execution state can be indicated, A8 being a learning (tutorial) execution state, A9 being a slide show execution state, A10 being a recommendation execution state, and the like.

一実施例によるオペレーティングシステムバージョン３１２は、アンドロイド、ｉＯＳなどのように端末で使われるオペレーティングシステムのバージョンを意味することができる。例えば、オペレーティングシステムバージョン３１２はアンドロイドオペレーティングシステムを仮定することができ、Ｖ１はバージョン７．０、Ｖ２はバージョン６．０．１、Ｖ３はバージョン４．１．１、Ｖ４はバージョン５．０、Ｖ５はバージョン４．０．４、Ｖ６はバージョン４．３、Ｖ７はバージョン４．４．２を示すことができる。 The operating system version 312 according to one embodiment may refer to a version of an operating system such as Android, iOS, etc. used in the terminal. For example, operating system version 312 may assume the Android operating system, where V1 is version 7.0, V2 is version 6.0.1, V3 is version 4.1.1, V4 is version 5.0, V5 can indicate version 4.0.4, V6 indicates version 4.3, and V7 indicates version 4.4.2.

一実施例による端末種類３１３は端末の種類を示すことができ、器機名称又は器機のモデルなどを含むことができる。例えば、Ｄ１はＳ社のＧ１製品、Ｄ２はＬ社のＨ２製品、Ｄ３はＡ社のＩ１製品、Ｄ５はＳ社のＧ２製品、Ｄ６はＬ社のＨ４製品、Ｄ７はＳ社のＧ４製品であってもよい。 The terminal type 313 according to one embodiment may indicate the type of terminal, and may include a device name or device model. For example, D1 is Company S's G1 product, D2 is Company L's H2 product, D3 is Company A's I1 product, D5 is Company S's G2 product, D6 is Company L's H4 product, and D7 is Company S's G4 product. There may be.

一実施例による接続地域３１４は端末が接続した位置又は端末の現在位置を示すことができる。例えば、位置Ｌ１は大韓民国（ＫＲ）であってもよい。 The connection area 314, according to one embodiment, can indicate the location to which the terminal is connected or the current location of the terminal. For example, location L1 may be the Republic of Korea (KR).

ここで、それぞれの実行状態３１１に対応する円には駆動条件としてフィルタリングされた全てのテスト端末のうち該当実行状態３１１を行ったテスト端末の比率が表示される。また、それぞれの実行状態３１１に対応する円内の色相は危険度３２０を示すことができ、危険（黒色）、警告（灰色）、安定（白色）などで示すことができる。 Here, the circle corresponding to each execution state 311 displays the ratio of the test terminals that performed the corresponding execution state 311 among all the test terminals filtered as the driving conditions. Also, the hue within the circle corresponding to each running state 311 can indicate the degree of risk 320, which can be indicated as dangerous (black), warning (grey), stable (white), and the like.

駆動条件３１０で実行状態３１１を基準に実行比率と危険度を示している（３３０）。ここで、実行状態３１１はアプリの使用によってツリー構造に示されることができ、アプリのメイン画面を示すメイン実行状態Ａ１を基準に各実行状態別に実行比率と危険度を確認することができる。 The execution ratio and the degree of risk are shown (330) with the execution state 311 as the reference in the drive condition 310. FIG. Here, the execution state 311 can be shown in a tree structure according to the use of the application, and it is possible to confirm the execution ratio and the degree of risk for each execution state based on the main execution state A1 indicating the main screen of the application.

また、Ａ４のような共有実行状態の場合、例えばＡ４１はフェースブック（登録商標）共有実行状態、Ａ４２はインスタグラム共有実行状態などに区分され、各実行状態の下位実行状態を示すツリー構造を有することができ、下位実行状態に対しても実行比率と危険度を確認することができる。 In addition, in the case of a shared execution state such as A4, for example, A41 is classified into a Facebook (registered trademark) shared execution state, A42 is classified into an Instagram shared execution state, etc., and has a tree structure showing the lower execution states of each execution state. It is also possible to check the execution ratio and risk level for the lower execution states.

図５は一実施例によるアプリ性能モニタリング装置で駆動状況に対応する詳細項目を示す図である。 FIG. 5 is a diagram illustrating detailed items corresponding to operating conditions in the application performance monitoring apparatus according to one embodiment.

図５に示したように、アプリ性能モニタリング装置２００は駆動状況に対する各詳細項目を示すことができる。 As shown in FIG. 5, the application performance monitoring device 200 may indicate each detailed item regarding the operating status.

例えば、アプリ性能モニタリング装置２００は、詳細項目として、アプリの使用流れ４１０、アプリの使用者インターフェース（ＵＩ：ＵｓｅｒＩｎｔｅｒｆａｃｅ）レンダリング時間４２０、ＣＰＵ使用量４３０、及びメモリ使用量４４０などを示すことができる。 For example, the application performance monitoring apparatus 200 may indicate, as detailed items, an application usage flow 410, an application user interface (UI) rendering time 420, a CPU usage 430, a memory usage 440, and the like. .

アプリの使用流れ４１０を説明すると、アプリ性能モニタリング装置２００は、アプリの全ての使用状況４１１のうち、メイン実行状態４１２、サーバーディテール実行状態４１３、ＵＲＬディテール実行状態４１４、ギャラリー実行状態４１５、ログイン実行状態４１６、及びクラッシュ実行状態４１７の使用状況を示すことができる。 To explain the application usage flow 410, the application performance monitoring device 200 includes a main execution state 412, a server detail execution state 413, a URL detail execution state 414, a gallery execution state 415, and a login execution state among all the application usage states 411. The usage of state 416 and crash execution state 417 can be shown.

ＵＩレンダリング時間４２０を説明すると、縦軸はＵＩレンダリングにかかる時間（ｍｓ（ミリ秒））を示し、横軸は日付を示す。グラフに表示される表示客体の色相によって該当表示客体に相当する駆動状況が発生した頻度数を示すことができる。 When explaining the UI rendering time 420, the vertical axis indicates the time (ms (milliseconds)) required for UI rendering, and the horizontal axis indicates the date. The frequency of occurrence of a driving situation corresponding to a corresponding display object can be indicated according to the color of the display object displayed in the graph.

ＣＰＵ使用量４３０を説明すると、縦軸はＣＰＵ使用の比率（百分率（％））を示し、横軸は日付を示す。また、メモリ使用量４４０を説明すると、縦軸はメモリ使用容量（メガバイト（ＭＢ））を示し、横軸は日付を示す。ＣＰＵ使用量４３０とメモリ使用量４４０においてもグラフに表示される表示客体の色相によって該当表示客体に相当する駆動状況が発生した頻度数を示すことができる。 To explain the CPU usage 430, the vertical axis indicates the ratio of CPU usage (percentage (%)) and the horizontal axis indicates the date. Further, when explaining the memory usage 440, the vertical axis indicates the memory usage capacity (megabytes (MB)) and the horizontal axis indicates the date. In the CPU usage 430 and the memory usage 440, it is possible to indicate the frequency of occurrence of driving conditions corresponding to the corresponding display object according to the color of the display object displayed in the graph.

これにより、アプリ性能モニタリング装置２００は、アプリテスト時に発生した欠陷を確認すれば、アプリの欠陷を解決するための措置を実行することができるように現在アプリの駆動状況についての情報を提供することができる。 Accordingly, the application performance monitoring apparatus 200 provides information about the current operating status of the application so that if a defect occurring during the application test is detected, the application performance monitoring apparatus 200 can take measures to resolve the defect of the application. can do.

一方、上述した日付はテストデータが収集された期間を例示的に説明したもので、分、時間、月、分期などに多様に設定されることができる。 Meanwhile, the above-mentioned date is an example of the period during which the test data was collected, and can be variously set to minutes, hours, months, quarters, and the like.

一方、図５に示されてはいないが、アプリ性能モニタリング装置２００は詳細項目としてネットワーク応答時間とクラッシュについての情報を追加的に提供することもできる。 Meanwhile, although not shown in FIG. 5, the application performance monitoring device 200 may additionally provide information on network response time and crashes as detailed items.

図６は一実施例によるアプリ性能モニタリング装置でアプリ性能モニタリング動作を示す図である。 FIG. 6 is a diagram illustrating an application performance monitoring operation in an application performance monitoring apparatus according to one embodiment.

図６に示したように、アプリ性能モニタリング装置２００はアプリテストのための端末情報を確認する（Ｓ５１１）。アプリ性能モニタリング装置２００は端末についての情報を確認することができ、特に、端末で使われるオペレーティングシステムバージョン又は端末種類についての情報を確認することができる。アプリ性能モニタリング装置２００はオペレーティングシステムバージョンと端末種類を駆動条件の設定によるフィルタリング時に使うことができる。 As shown in FIG. 6, the application performance monitoring device 200 checks terminal information for application testing (S511). The application performance monitoring apparatus 200 can check information about the terminal, and in particular, can check information about the version of the operating system used in the terminal or the type of the terminal. The application performance monitoring device 200 can use the operating system version and terminal type when filtering according to the setting of operating conditions.

アプリ性能モニタリング装置２００はフィルタリングのための駆動条件を設定することができる（Ｓ５１３）。アプリ性能モニタリング装置２００は、実行状態、オペレーティングシステムバージョン、端末種類、及び接続地域に対してアンド演算で駆動条件を設定することができる。ここで、アプリ性能モニタリング装置２００は駆動条件による実行比率と危険度についての情報を提供することもできる。 The application performance monitoring device 200 can set operating conditions for filtering (S513). The application performance monitoring device 200 can set operating conditions by AND operation for execution status, operating system version, terminal type, and connection area. Here, the application performance monitoring apparatus 200 can also provide information about the execution ratio and risk according to operating conditions.

アプリ性能モニタリング装置２００は設定された駆動条件によってフィルタリングを実行する（Ｓ５１５）。アプリ性能モニタリング装置２００は、アプリテスト中の端末からテスト関連情報を受信し、受信された情報を駆動条件によってフィルタリングする。 The application performance monitoring apparatus 200 performs filtering according to the set operating conditions (S515). The application performance monitoring apparatus 200 receives test-related information from the terminal under application test, and filters the received information according to operating conditions.

アプリ性能モニタリング装置２００は、フィルタリング結果である駆動項目に対する詳細項目が選択されたかを確認する（Ｓ５１７）。これにより、アプリ性能モニタリング装置２００はフィルタリングされた駆動項目についての情報のうち所望の詳細項目についての情報を確認することができる。Ｓ５１７段階の確認結果、詳細項目が選択されれば、Ｓ５１９段階に進む。Ｓ５１７段階の確認結果、詳細項目が選択されなければ、駆動項目に対する全ての情報の提供を要請するものであるので、アプリ性能モニタリング装置２００はＳ５２１段階に進む。 The application performance monitoring apparatus 200 checks whether the detailed item for the driving item, which is the filtering result, is selected (S517). Accordingly, the application performance monitoring apparatus 200 can check the information on the desired detailed items among the filtered information on the driving items. As a result of checking in step S517, if the detailed item is selected, the process proceeds to step S519. As a result of checking in step S517, if no detailed item is selected, the application performance monitoring apparatus 200 proceeds to step S521 because it requests provision of all information on the driving item.

アプリ性能モニタリング装置２００は選択された詳細項目についての情報を提供することができる（Ｓ５１９）。アプリ性能モニタリング装置２００は、駆動状況に対する全ての情報を提供する代わりに、詳細項目の選択動作によってアプリテストを行う使用者が所望の情報のみを提供するようにすることができる。 The application performance monitoring device 200 may provide information on the selected detailed item (S519). The application performance monitoring apparatus 200 may provide only information desired by a user who conducts an application test by selecting detailed items instead of providing all information on the operating status.

アプリ性能モニタリング装置２００はフィルタリング結果であるアプリの駆動状況を提供することができる（Ｓ５２１）。例えば、アプリ性能モニタリング装置２００は、駆動状況に対する全ての詳細項目についての情報を提供することができる。また、アプリ性能モニタリング装置２００はフィルタリング結果として駆動状況でアプリテスト時に発生した欠陷についての情報のみを抽出して提供することもできる。 The application performance monitoring apparatus 200 may provide the operating status of the application, which is the filtering result (S521). For example, the application performance monitoring apparatus 200 may provide information on all detailed items of driving status. In addition, the application performance monitoring apparatus 200 may extract and provide only information about defects occurring during application testing in operating conditions as a filtering result.

アプリ性能モニタリング装置２００はアプリテストを終了するかを判断する（Ｓ５２３）。Ｓ５２３段階の判断結果、アプリテストを終了する場合、Ｓ５２５段階に進む。アプリ性能モニタリング装置２００は、アプリテストを終了しない場合、Ｓ５１３段階に進む。 The application performance monitoring device 200 determines whether to end the application test (S523). As a result of the determination in step S523, if the application test is finished, the process proceeds to step S525. If the application performance monitoring apparatus 200 does not end the application test, the process proceeds to step S513.

アプリ性能モニタリング装置２００はアプリテスト結果を保存するかを確認する（Ｓ５２５）。５２５段階の確認結果、アプリテスト結果を保存する場合、アプリ性能モニタリング装置２００はＳ５２７段階に進む。アプリ性能モニタリング装置２００はアプリテスト結果を保存しない場合、アプリ性能モニタリング装置２００は終了する。 The application performance monitoring device 200 confirms whether to save the application test result (S525). If the confirmation result of step 525 and the application test result are to be saved, the application performance monitoring apparatus 200 proceeds to step S527. If the application performance monitoring device 200 does not save the application test result, the application performance monitoring device 200 ends.

アプリ性能モニタリング装置２００はアプリテスト結果を保存してから終了する（Ｓ５２７）。アプリ性能モニタリング装置２００はフィルタリングのための駆動条件又はフィルタリング結果である駆動状況に対応する情報をマッチさせて保存することができる。また、アプリ性能モニタリング装置２００は駆動状況によって欠陷が発生するとかクラッシュが発生すると予想される欠陷に対してアプリのソースコード修正のための使用者入力を受信することもできる。 The application performance monitoring device 200 ends after saving the application test result (S527). The application performance monitoring device 200 may match and store information corresponding to a driving condition for filtering or a driving situation that is a filtering result. In addition, the application performance monitoring apparatus 200 can receive user input for modifying the source code of the application for defects that are expected to occur or crash depending on operating conditions.

このように、アプリ性能モニタリング装置２００は、フィルタリングのために設定された駆動条件の組合せ（例えば、メイン実行状態、アンドロイド７．０バージョン、Ｓ社のＧシリーズ端末、大韓民国など）をフィルタリンググループについての情報を保存し、駆動条件の組合せに対応する駆動状況を一緒に保存してアプリテストの欠陷を見つけることができる。 In this way, the application performance monitoring device 200 sets a combination of driving conditions (for example, main execution state, Android 7.0 version, G series terminal of S company, Republic of Korea, etc.) set for filtering for the filtering group. By saving the information and storing together the driving situations corresponding to the combinations of driving conditions, it is possible to find defects in the application test.

アプリ性能モニタリング装置２００は、アプリの異常終了時、アプリそのものではなくてモバイルプラットホームでのリソース状況を一緒に考慮して欠陷を確認して原因分析を行うことができるので、アプリテストの正確度が向上することができる。さらに、アプリ性能モニタリング装置２００はアプリが配布されるマーケット又は地域に制限されずにいつでもどこでもアプリテストのために収集されたデータを用いることができる。 The app performance monitoring device 200 can check the failure and analyze the cause by considering the resource status of the mobile platform instead of the app itself when the app is terminated abnormally, thereby increasing the accuracy of the app test. can be improved. Furthermore, the app performance monitoring device 200 can use the collected data for app testing anytime and anywhere without being limited to the market or region where the app is distributed.

以上の実施例で使われる‘～部’という用語はソフトウェア又はＦＰＧＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）又はＡＳＩＣのようなハードウェア構成要素を意味し、‘～部’は所定の役割をする。しかし、‘～部’はソフトウェア又はハードウェアに限定される意味ではない。‘～部’はアドレスすることができる記録媒体にあるように構成されることもでき、一つ又はそれ以上のプロセッサを再生させるように構成されることもできる。したがって、一例として、‘～部’はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラム特許コードのセグメント、ドライバー、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。 The term 'unit' used in the above embodiments means a hardware component such as software or FPGA (field programmable gate array) or ASIC, and 'unit' plays a predetermined role. However, 'something' is not meant to be limited to software or hardware. The 'section' can also be configured to reside on an addressable recording medium and can be configured to be played back by one or more processors. Thus, by way of example, 'section' refers to components such as software components, object-oriented software components, class components and task components, as well as processes, functions, attributes, procedures, subroutines, segments of program proprietary code, Includes drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays, and variables.

構成要素と‘～部’内で提供される機能はもっと少ない数の構成要素及び‘～部’と結合されるとか追加的な構成要素と‘～部’から分離されることができる。 The functions provided within the components and 'sections' can be combined with fewer components and 'sections' or separated from additional components and 'sections'.

それだけでなく、構成要素及び‘～部’はデバイス又は保安マルチメディアカード内の一つ又はそれ以上のＣＰＵを再生させるように具現されることもできる。 In addition, the components and 'units' can also be embodied to play one or more CPUs in the device or secure multimedia card.

図６に基づいて説明した実施例によるアプリ性能モニタリング方法はコンピュータによって実行可能な命令語及びデータを保存する、コンピュータ可読の媒体の形態でも具現されることができる。ここで、命令語及びデータはプログラムコードの形態として保存されることができ、プロセッサによって実行されたとき、所定のプログラムモジュールを生成して所定の動作を実行することができる。また、コンピュータ可読の媒体はコンピュータによってアクセス可能な任意の可用媒体であってもよく、揮発性及び不揮発性媒体、分離型及び非分離型媒体のいずれも含む。また、コンピュータ可読の媒体はコンピュータ記録媒体であってもよい。コンピュータ記録媒体はコンピュータ可読の命令語、データ構造、プログラムモジュール又はその他のデータのような情報の保存のための任意の方法又は技術で具現された揮発性及び不揮発性、分離型及び非分離型媒体のいずれも含むことができる。例えば、コンピュータ記録媒体はＨＤＤ及びＳＳＤなどのような磁気記録媒体、ＣＤ、ＤＶＤ及びブルーレイディスクなどの光学記録媒体、又はネットワークを介して接近可能なサーバーに含まれるメモリであってもよい。 The application performance monitoring method according to the embodiment described with reference to FIG. 6 can also be embodied in the form of a computer-readable medium storing computer-executable commands and data. Here, the instructions and data can be stored in the form of program code, and when executed by a processor, can generate predetermined program modules to perform predetermined operations. Also, computer readable media can be any available media that can be accessed by the computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, the computer-readable medium may be a computer storage medium. Computer storage media are volatile and nonvolatile, separable and non-separable media embodied in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. can include any of For example, the computer recording medium may be magnetic recording media such as HDDs and SSDs, optical recording media such as CDs, DVDs and Blu-ray discs, or memory contained in a server accessible via a network.

また、図６に基づいて説明した実施例によるアプリ性能モニタリング方法はコンピュータによって実行可能な命令語を含むコンピュータプログラム（又はコンピュータプログラム製品）で具現されることもできる。コンピュータプログラムはプロセッサによって処理されるプログラミング可能な機械命令語を含み、高レベルプログラミング言語（Ｈｉｇｈ－ｌｅｖｅｌＰｒｏｇｒａｍｍｉｎｇＬａｎｇｕａｇｅ）、客体指向プログラミング言語（Ｏｂｊｅｃｔ－ｏｒｉｅｎｔｅｄＰｒｏｇｒａｍｍｉｎｇＬａｎｇｕａｇｅ）、アセンブリー言語又は機械言語などで具現されることができる。また、コンピュータプログラムは類型のコンピュータ可読の記録媒体（例えば、メモリ、ハードディスク、磁気／光学媒体又はＳＳＤ（Ｓｏｌｉｄ－ＳｔａｔｅＤｒｉｖｅ）など）に記録されることができる。 Also, the application performance monitoring method according to the embodiment described with reference to FIG. 6 can be embodied as a computer program (or computer program product) including instructions executable by a computer. A computer program includes a programmable machine instruction language processed by a processor, and is embodied in a high-level programming language, an object-oriented programming language, an assembly language, or a machine language. can Also, the computer program can be recorded on any type of computer-readable recording medium (eg, memory, hard disk, magnetic/optical medium, SSD (Solid-State Drive), etc.).

したがって、図６に基づいて説明した実施例によるアプリ性能モニタリング方法は上述したようなコンピュータプログラムをコンピュータ装置によって実行することによって具現することができる。コンピュータ装置は、プロセッサと、メモリと、保存装置と、メモリ及び高速拡張ポートに接続している高速インターフェースと、低速バスと保存装置に接続している低速インターフェースの少なくとも一部を含むことができる。このような成分のそれぞれは多様なバスを介して互いに接続されており、共通マザーボードに搭載されるとか他の適切な方式で装着されることができる。 Therefore, the application performance monitoring method according to the embodiment described with reference to FIG. 6 can be implemented by executing the above-described computer program on a computer device. A computer device may include at least a portion of a processor, a memory, a storage device, a high speed interface connecting to the memory and the high speed expansion port, and a low speed interface connecting to the low speed bus and the storage device. Each such component is connected to each other via various buses and can be mounted on a common motherboard or attached in any other suitable manner.

ここで、プロセッサはコンピュータ装置内で命令語を処理することができる。このような命令語としては、例えば高速インターフェースに接続されたディスプレイのように、外部入力、出力装置上にＧＵＩ（ＧｒａｐｈｉｃＵｓｅｒＩｎｔｅｒｆａｃｅ）を提供するためのグラフィック情報を表示するために、メモリ又は保存装置に保存された命令語を挙げることができる。他の実施例として、多数のプロセッサ及び／又は多数のバスが適切に多数のメモリ及びメモリ形態と一緒に用いられることができる。また、プロセッサは独立的な多数のアナログ及び／又はデジタルプロセッサを含むチップが成すチップセットで具現されることができる。 Here, the processor can process instructions within the computer device. Such commands include a memory or storage device for displaying graphic information for providing a GUI (Graphic User Interface) on an external input or output device, such as a display connected to a high-speed interface. can include commands stored in . As another example, multiple processors and/or multiple buses may suitably be used with multiple memories and memory configurations. Also, the processor can be embodied in a chipset made up of chips including multiple independent analog and/or digital processors.

また、メモリはコンピュータ装置内で情報を保存する。一例として、メモリは揮発性メモリユニット又はそれらの集合でなることができる。他の例として、メモリは不揮発性メモリユニット又はそれらの集合で構成されることができる。また、メモリは、例えば磁気又は光ディスクのような他の形態のコンピュータ可読の媒体であってもよい。 The memory also stores information within the computing device. As an example, the memory can consist of volatile memory units or collections thereof. As another example, the memory may consist of non-volatile memory units or collections thereof. The memory may also be other forms of computer-readable media, such as magnetic or optical disks.

そして、保存装置はコンピュータ装置に大容量の保存空間を提供することができる。保存装置はコンピュータ可読の媒体であってもよく、このような媒体を含む構成であってもよい。例えば、ＳＡＮ（ＳｔｏｒａｇｅＡｒｅａＮｅｔｗｏｒｋ）内の装置又は他の構成も含むことができ、フロッピーディスク装置、ハードディスク装置、光ディスク装置、又はテープ装置、フラッシュメモリー、それと類似した他の半導体メモリ装置又は装置アレイであってもよい。 Also, the storage device can provide a large storage space for the computer device. The storage device may be a computer-readable medium or may be configured to include such medium. For example, it may also include devices in a SAN (Storage Area Network) or other configurations, such as floppy disk drives, hard disk drives, optical disk drives, or tape drives, flash memory, or other similar semiconductor memory devices or arrays of devices. There may be.

上述した実施例は例示のためのもので、上述した実施例が属する技術分野の通常の知識を有する者であれば上述した実施例が有する技術的思想又は必須な特徴を変更しなくても他の具体的な形態に易しく変形可能であることが理解可能であろう。したがって、上述した実施例は全ての面で例示的なものであり、限定的なものではないことを理解しなければならない。例えば、単一型として説明されている各構成要素は分散されて実施されることもでき、同様に分散されたものとして説明されている構成要素も結合された形態に実施されることができる。 The above-described embodiments are for illustration only, and a person having ordinary knowledge in the technical field to which the above-described embodiments belong may make other modifications without changing the technical ideas or essential features of the above-described embodiments. It will be appreciated that the specific form of . Accordingly, it is to be understood that the above-described embodiments are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and likewise, components described as distributed may also be implemented in a combined form.

本明細書によって保護を受けようとする範囲は前記詳細な説明よりは後述する特許請求範囲によって決定され、特許請求範囲の意味及び範囲そしてその均等な概念から導出される全ての変更又は変形の形態を含むものと解釈されなければならない。 The scope of protection sought by this specification is determined by the claims which follow rather than the foregoing detailed description, and all modifications or variations derived from the meaning and scope of the claims and their equivalents. must be interpreted as including

１０アプリ性能モニタリングシステム
１１０、１２０テスト端末
２００アプリ性能モニタリング装置
２１０入出力部
２２０通信部
２３０格納部
２４０制御部
２４１テスト端末管理部
２４２フィルター部
２４３テスト情報処理部 10 application performance monitoring system 110, 120 test terminal 200 application performance monitoring device 210 input/output unit 220 communication unit 230 storage unit 240 control unit 241 test terminal management unit 242 filter unit 243 test information processing unit

Claims

a communication unit that communicates with the terminal for application testing; and
a control unit that receives test-related information from a terminal being tested for an application, filters the received information according to a preset operating condition, and provides an operating status of the application;
The control unit
At least one condition of information about an execution state indicating activity breakdown by execution of the application, an operating system version of the terminal, a terminal type of the terminal, and a connection area of the terminal is set as the driving condition for the filtering.death,
Driving status, which is information that allows you to check the status related to the application without crashing, is filtered by the set driving condition and provided, and the frequency of provided driving status is provided by numerical value. , App performance monitoring device.

The control unit
The application performance monitoring device according to claim 1, wherein the driving condition is set by combining at least two or more conditions for the filtering.

The control unit
3. The application performance monitoring device according to claim 2, wherein the combination of the at least two driving conditions is performed by an AND operation.

The control unit
the driving status includes information about detailed items;
The application performance monitoring of claim 1, wherein the detailed items include at least one of application flow, user interface (UI) rendering time, central processing unit usage, memory usage, and network response time. Device.

The control unit
5. The app performance monitoring apparatus of claim 4 , wherein the detailed items are arranged based on the date when the app is tested.

An application performance monitoring method performed by an application performance monitoring device,
Verifying device information for application testing;
setting driving conditions for the app test; and
receiving test-related information from the terminal and filtering the received information with the operating condition to provide the operating status of the application;
The step of setting the driving conditions includes:
At least one condition of information about an execution state indicating activity breakdown by execution of the application, an operating system version of the terminal, a terminal type of the terminal, and a connection area of the terminal is set as the driving condition for the filtering. including the step offruit,
The step of providing the operation status of the application includes:
Driving status, which is information that allows you to check the status related to the application without crashing, is provided after being filtered according to the set driving conditions, and the frequency of provided driving status is provided by numerical value. including stages, App performance monitoring method.

Setting the at least one condition as the driving condition includes:
7. The application performance monitoring method of claim 6 , comprising performing an AND operation when combining two or more operating conditions.

The step of providing the operation status of the application includes:
providing at least one of application usage flow, user interface (UI) rendering time, central processing unit usage, memory usage, and network response time, which are detailed items corresponding to the driving situation; The application performance monitoring method according to claim 6 .

The step of providing the operation status of the application includes:
The method of claim 8 , further comprising: selecting at least some of the detailed items corresponding to the driving situation; and providing information about the selected detailed items.

10. The method of claim 9 , further comprising matching and storing information about the operating condition and the operating situation for the application test.