WO2016027923A1 - Method and device for providing application usage information analysis material - Google Patents

Method and device for providing application usage information analysis material Download PDF

Info

Publication number
WO2016027923A1
WO2016027923A1 PCT/KR2014/009113 KR2014009113W WO2016027923A1 WO 2016027923 A1 WO2016027923 A1 WO 2016027923A1 KR 2014009113 W KR2014009113 W KR 2014009113W WO 2016027923 A1 WO2016027923 A1 WO 2016027923A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
application
screen
screenshot
information
Prior art date
Application number
PCT/KR2014/009113
Other languages
French (fr)
Korean (ko)
Inventor
이한솔
백진욱
김승하
윤성진
Original Assignee
주식회사 앤벗
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 앤벗 filed Critical 주식회사 앤벗
Publication of WO2016027923A1 publication Critical patent/WO2016027923A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Definitions

  • the present invention relates to a method and apparatus for providing application usage information analysis data, and more particularly, to a method and apparatus for providing application usage information analysis data which can provide application usage information analysis data using a screenshot.
  • Mobile devices are one of the most important electronic devices in modern life.
  • the mobile device can provide various functions to the user. Specifically, the user uses the mobile device through various applications, and the mobile device provides various functions through various applications executed by the user. Applications running on these mobile devices exist in a wide variety of fields and provide convenience to users using mobile devices.
  • a user may use a mobile device through execution of an application, and may select one or some applications among various types of applications that provide the same or similar functions. Therefore, it is important for application developers to provide an optimal user interface for their users. To this end, it is very important for a developer to create an application and to modify or improve the application by collecting feedback about the user's application.
  • the present invention provides a method and apparatus for providing application usage information analysis data that can conveniently check various interactions of a user with a video and provide a video analyzing the user's application usage information with less data or a lower cost. The need to do this has increased.
  • the problem to be solved by the present invention is to provide a method and apparatus for providing application usage information analysis data that can generate a user interaction with the object as a video using only the optimal amount of data using a screenshot for collecting feedback information.
  • Another problem to be solved by the present invention is to provide a method and apparatus for providing application usage information analysis data which can provide a high resolution video at a low cost of user interaction.
  • the method for providing application usage information analysis data comprises the steps of receiving the user's interaction data for the application, the screen change information of the application changed in response to the interaction data Defining a session based on the data; collecting mobile device data including screen data, commercial data, and resolution information of the mobile device on which the application is executed in response to the session; and based on the collected screen data and commercial data. And generating an application use pattern in the form of a video.
  • the screen data includes a screenshot of the application and the screen change information of the application
  • the commercial data is characterized in that the object data of the application and the interaction data of the application.
  • a usage pattern based on at least one of a screenshot having the same resolution information as the resolution information, a screenshot having the resolution information similar to the resolution information, or a dummy screenshot. It characterized in that to generate in the form of a video.
  • the collecting step collecting the full screenshots of the full screen of the application, and collects the full object data for the full screen of the application Characterized in that it further comprises the step.
  • the step of collecting characterized in that it further comprises the step of determining whether to scroll the screen of the application on the basis of the entire screenshot and the entire object data.
  • the screen change information when the screen of the application is scrolled, further includes screen movement information obtained by comparing the screenshots collected at regular intervals, and commercial data is scroll data for the screenshots. It characterized in that it further comprises.
  • the generating step includes the step of integrating the screenshot and interaction data based on the resolution information and the step of integrating the screenshot and interaction data for the changed screen based on the screen change information Characterized in that.
  • the session is characterized in that the period until the application is executed and terminated or a period until a predetermined time elapses after the application is executed and terminated.
  • the apparatus for providing application usage information analysis data receives interaction data of a user for an application and based on screen change information of the application that is changed in response to the interaction data.
  • a data collector configured to define a session, and collect mobile device data including screen data, commercial data, and resolution information of the mobile device on which the application is executed in response to the session, and based on the collected screen data and commercial data. Characterized in that it comprises a generation unit for generating an application use pattern in the form of a video.
  • it further comprises a data storage for storing the collected screen data, commercial data and mobile device data.
  • the screen data includes a screen shot of the application and the screen change information of the application
  • the commercial data is characterized in that the object data of the application and the interaction data of the application.
  • a usage pattern based on at least one of a screenshot having the same resolution information as the resolution information, a screenshot having the resolution information similar to the resolution information, or a dummy screenshot. It characterized in that to generate in the form of a video.
  • the data collector collects the full screen shot of the entire screen of the application, and collects the entire object data for the full screen of the application It is characterized by.
  • the data collection unit may determine whether to scroll the screen of the application based on the entire screenshot and the entire object data.
  • the screen change information when the screen of the application is scrolled, further includes screen movement information obtained by comparing the screenshots collected at regular intervals, and commercial data is scroll data for the screenshots. It characterized in that it further comprises.
  • the generation unit may integrate the screenshot and the interaction data based on the resolution information, and the screenshot and the interaction data for the changed screen based on the screen change information.
  • the session is characterized in that the period until the application is executed and terminated or a period until a predetermined time elapses after the application is executed and terminated.
  • a computer-readable medium storing instructions for providing a method for providing application usage information analysis data according to an embodiment of the present invention receives interaction data of a user for an application, Define a session based on the screen change information of the correspondingly changed application, collect mobile device data including screen data, commercial data, and resolution information of the mobile device on which the application is executed in response to the session; And generating an application usage pattern of the user in the form of a video based on commercial data.
  • the present invention has the effect of providing a method and apparatus for providing application usage information analysis data that can generate a user's interaction with a video object using only the optimal amount of data using screenshots for collecting feedback information.
  • the present invention has the effect of providing a method and apparatus for providing application usage information analysis data that can provide a high resolution video at low cost for user interaction.
  • FIG. 1 illustrates a schematic configuration of an application usage information analysis data providing module according to an embodiment of the present invention and a relationship with a mobile device having the same.
  • FIG. 2 illustrates a procedure for providing an application usage information analysis data of a user according to the application usage information analysis data providing method according to an embodiment of the present invention.
  • Figure 3 shows a detailed procedure for generating a video according to the application usage information analysis data providing method according to an embodiment of the present invention.
  • FIG. 4 illustrates exemplary screen data collected according to a method for providing application usage information analysis data according to another embodiment of the present invention.
  • FIG. 5 is a view illustrating an aspect of an image provided according to an application usage information analysis data providing method according to an embodiment of the present invention.
  • Shapes, sizes, ratios, angles, numbers, and the like disclosed in the drawings for describing the embodiments of the present invention are exemplary, and the present invention is not limited to the illustrated items.
  • the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.
  • 'comprises', 'haves', 'consists of' and the like mentioned in the present specification other parts may be added unless 'only' is used.
  • the plural number includes the plural unless specifically stated otherwise.
  • first, second, etc. are used to describe various components, these components are not limited by these terms. These terms are only used to distinguish one component from another. Therefore, the first component mentioned below may be a second component within the technical spirit of the present invention.
  • each of the features of the various embodiments of the present invention may be combined or combined with each other in part or in whole, various technically interlocking and driving as can be understood by those skilled in the art, each of the embodiments may be implemented independently of each other It may be possible to carry out together in an association.
  • screen data is data about a screen of an application displayed on a mobile device, and includes screenshot of the application and screen change information of the application.
  • commercial data refers to data about execution of an application which is always collected from the mobile device when the application is executed on the mobile device, and includes object data of the application and interaction data of the application.
  • the commercial data may further include scroll data.
  • mobile device data is data for a mobile device and includes model name of the mobile device, an operating system of the mobile device, a version of the mobile device, and resolution information of the mobile device. Mobile device data may be collected once at the beginning of the session, or may be collected periodically during the session.
  • an "object” is an object constituting a screen of an application and includes a button, a check box, a table, a layout, and the like. All objects constituting the screen of the application may be configured in a tree structure.
  • object data is data about objects of an application and includes a type of an object and an on-screen coordinate of the object.
  • interaction data means an operation input to an application through a mobile device by a user who uses the mobile device.
  • the interaction data is data input to an application by a user's motion, such as a touch of a button, a swipe, a long touch, or a shake of a mobile device.
  • the interaction data enables execution and termination of an application, movement of a screen, execution of a function, and the like.
  • the "change screen” means that the screen of the application is differently changed.
  • the screen change may mean a screen change due to scrolling and a change to another page of the application, or a screen change due to termination of the application.
  • the "screen change information” is information about a reason or a changed result of the screen when the screen of the application is changed, and includes screen movement information and screen end information.
  • 'screen movement' means that when the resolution of the application is larger than the resolution of the mobile device, different positions of pages of the same application are displayed by interaction data such as scrolling of the user.
  • screen movement information refers to information about movement in one application page displayed on a mobile device by a user's scrolling or the like.
  • the screen movement information may include position information of a screen according to the movement of the screen.
  • the screen movement information may include coordinates of a page on which the application is displayed before the screen movement and coordinates of a page on which the application is displayed after the screen movement.
  • the coordinates may be absolute coordinates or relative coordinates.
  • the "screen exit" means that one application is terminated and is not displayed on the mobile device, and the screen is not displayed due to the change to another application, the termination or the crash of the application.
  • the "screen termination information” means information about a reason for ending the screen or a result of the termination when the screen of the application is terminated.
  • the term "session” means a period until the application is executed and terminated. Specifically, the session is the time until one application is executed on the mobile device and another application is executed or the application is terminated due to termination or crash of the application. In other words, the session is the time until the screen is displayed by the execution of the application and the end of the screen.
  • the session consists of information about time.
  • FIG. 1 illustrates a schematic configuration of an application usage information analysis data providing module according to an embodiment of the present invention and a relationship with a mobile device having the same.
  • the application usage information analyzing data providing module 100 includes a data collecting unit 110, a data storing unit 120, and a generating unit 130.
  • the application usage information analysis data providing module 100 may receive or collect various data from the mobile device 200 of the user to generate and provide an application usage pattern of the user in the form of a video.
  • Application usage information analysis data providing module 100 is a separate server (collection server corresponding to the data collection unit 110, storage server corresponding to the data storage unit 120, generating server corresponding to the generation unit 130) Or a plurality of modules (a collection module corresponding to the data collection unit 110, a storage module corresponding to the data storage unit 120, and a generation unit corresponding to the generation unit 130) in one server. Module).
  • the data collector 110 collects screen data, commercial data, and mobile device data from the mobile device 200.
  • the data collector 110 receives the user's interaction data for the application and defines a session based on the screen change information of the application that changes in response to the interaction data. One or more screenshots may be collected for one session, which will be described later.
  • the data collector 110 collects screen data, commercial data, and mobile device data in response to the defined session.
  • the data collection unit 110 may transmit all received or collected data to the data storage unit 120 or directly to the generation unit 130 when there is no separate data storage unit 120.
  • the data storage unit 120 stores the collected screen data, commercial data, and mobile device data.
  • the data storage unit 120 transmits the collected data from the data collection unit 110 to the generation unit 130
  • the data storage unit 120 temporarily stores the data storage unit 120 to prevent data loss and to reduce the data load of the data collection unit 110. Can be.
  • the data storage unit 120 transmits the stored various data to the generation unit 130.
  • the generation unit 130 generates an application usage pattern of the user in the form of a video based on the collected screen data, commercial data, and mobile device data. Specifically, the generation unit 130 may generate the analysis data in the form of a video by integrating the interaction data of the screenshot and commercial data of the screen data. Analysis data generated in the form of a video may be provided to the developer of the application.
  • Each configuration of the application usage information analysis data providing module 100 is shown as a separate configuration for convenience of description, and may be implemented in one module or one configuration may be divided into two or more configurations according to an implementation method.
  • each data collection unit 110, data storage unit 120, and generation unit 130 may be divided into two or more physical processors or servers, and may be included in one physical processor or server.
  • FIG. 2 illustrates a procedure for providing an application usage information analysis data of a user according to the method for providing application usage information analysis data according to an embodiment of the present invention. For convenience of explanation, it will be described with reference to FIG. 1.
  • Application usage information analysis data providing method is initiated by the data collection unit 110 receives the user interaction data for the application from the mobile device (200) (S210). That is, the interaction data input by the user of the mobile device 200 is transmitted to the application usage information analysis data providing module 100 by various communication methods.
  • the data collector 110 receives interaction data (eg, scroll, swipe, touch, long touch, etc.) input by the user through the mobile device 200.
  • the data collection unit 110 may receive screen change information in response to the interaction data.
  • the data collection unit 110 defines a session based on screen change information of an application that is changed in correspondence with the interaction data (S220).
  • the session is a period until the application is executed and terminated, and the end of the session is determined based on the screen end information among the screen change information.
  • the screen termination information may be generated by touching an object terminating the application among the interaction data or terminating or crashing the mobile device.
  • the data collector 110 may receive screen end information from the mobile device 200 and define a session based on the received screen end information.
  • the data collector 110 collects mobile device data including screen data, commercial data, and resolution information of the mobile device on which the application is executed in response to the defined session (S230).
  • the data collector 110 may receive screen data, commercial data, and mobile device data from the mobile device 200 through various communication schemes.
  • the data collector 110 receives the screen. 'Collect' data, commercial data and mobile device data. That is, the data collected during the defined session is transmitted to the data storage unit 120 or the generation unit 130.
  • the data collector 110 collects resolution information from the mobile device 200 while starting a session, and collects screenshots in response to the interaction data generated in the mobile device 200 during one session.
  • the data collector 110 may collect all object data included in the screen shot, and may collect screen change information when the screen is changed by the interaction data.
  • the full screen screenshot of the full screen of the application and the full object data of the full screen of the application among commercial data may be further received.
  • the entire screen of the application may not be displayed on the mobile device at one time.
  • the user may move the screen of the application through interaction data such as scrolling, and the mobile device 200 may generate screen movement information and scroll data. That is, when the screen of the application is not displayed at once on the mobile device 200, the entire screenshot and the entire object data may be further received to provide the application usage information analysis data for the entire screen.
  • the application usage information analysis data providing module 100 may provide more accurate application usage information analysis data based on the entire screenshot, the entire object data, the screen movement information, and the scroll data. The manner in which data is collected when scrollable is described in detail with reference to FIG. 4.
  • the data storage unit 120 stores the "collected" screen data, commercial data and mobile device data (S240).
  • the data storage unit 120 may store only the data collected during the defined session, and transmit the collected data to the generation unit 130 by the developer's request for providing analysis data.
  • the generation unit 130 receives the collected data (S250), and generates an application usage pattern of the user in the form of a video based on the collected screen data and commercial data (S260).
  • the generation unit 130 may generate an application usage information analysis data as a video based on the screen shot of the application among the collected screen data and the interaction data of the application among commercial data. A detailed procedure of generating the application usage information analysis data by the generation unit 130 will be described with reference to FIG. 3.
  • the generation unit 130 may generate the application usage information analysis data by receiving the data collected from the data collection unit 110.
  • Figure 3 shows a detailed procedure for generating a video according to the application usage information analysis data providing method according to an embodiment of the present invention.
  • the application usage pattern of the user may be generated in the form of a video, and the screen may be integrated based on the resolution information in operation S261 and the screen may be changed based on the screen change information. Integrating the screenshot and interaction data for the step (S263).
  • the generation unit 130 matches the screen shot of the collected screen data and the interaction data of the commercial data to the resolution information.
  • the screenshots are collected in correspondence with the interaction data, the screenshots together with the interaction data and the corresponding time may be configured as part of the video. That is, the generation unit 130 may generate a part of a video, which is an application usage information analysis data, by integrating one interaction and a corresponding screen shot and matching the same with the resolution information of the mobile device.
  • the generation unit 130 matches the screen shot of the changed screen with other interaction data corresponding to the changed screen to the resolution information. That is, when the screen is changed according to the interaction data, the generation unit 130 may generate a part of the video by integrating the screenshot and the interaction data of the changed screen and matching the resolution information. For example, in order to express a smoother image between sequential screenshots, the generation unit 130 may track or move an input means such as a user's finger or a pen so that a natural effect may appear between the individual screenshots. Can be imaged and integrated with screenshots to create a video.
  • the generation unit 130 may generate a user's application use pattern as a single video by integrating screenshots of the screen changed in response to the interaction data over time in one session, and application use information analysis data.
  • the providing module 100 may provide a video generated by the generation unit 130 as an application usage information analysis data.
  • FIG. 4 illustrates exemplary screen data collected according to an application usage information analyzing data providing method according to another exemplary embodiment of the present invention.
  • the application usage information analysis data providing module 100 reflects the interaction data and the screenshot by 'scrolling'. Specifically, the application usage information analysis data providing module 100, if the entire screen of the application is larger than the resolution information, the full screen shot 521 of the entire screen of the application and the entire application through the data collector 110 Collects full object data about the screen.
  • the data collector 110 may determine whether the application screen is scrolled based on the collected screenshot 521 and the entire object data. Specifically, when the screen of the application is scrolled, the screenshot 511 before scrolling is compared with the screenshot 513 after scrolling.
  • the data collector 110 may collect screen movement information by comparing the coordinates of the pre-scroll screenshot 511 corresponding to the entire screenshot 521 with the coordinates of the post-scroll screenshot 513.
  • the coordinates include relative coordinates relative to the full screenshot 521 and absolute coordinates absolute to the screenshot 511. Accordingly, the data collection unit 110 may determine whether the screen is moved or scrolled by comparing the absolute coordinates or the relative coordinates for each interaction data.
  • the data collector 110 may further collect scroll data among the interaction data. Accordingly, when the data collector 110 collects the screen movement information and the scroll data, the data collector 110 may determine that the screen of the application has been scrolled.
  • Application usage information analysis data providing module 100 is based on the screenshots, interaction data, screen movement information and scroll data collected by the data collection unit 110, even if the screen of the application screen and before and after scrolling and scrolling; By integrating interaction data, a user's application usage pattern can be generated in the form of a video.
  • FIG. 5 illustrates an aspect of an image provided according to an application usage information analyzing data providing method according to an embodiment of the present invention.
  • the application usage information analysis data 400 is provided in the form of a video including a screenshot 411, an object 413, a playback control button 415, and a session table 420.
  • the session table 420 includes interaction data 421, 423, and 425 including user interaction and time information corresponding to the interaction.
  • screenshots corresponding to the interaction data 421, 423, and 425 occurring in one session are played over time. That is, a screenshot 411 corresponding to each interaction data is played in the session table 420, and the user's interaction is highlighted and displayed on the object 413 in the screenshot 411.
  • the developer can select one of the interaction data in the session table 420 to replay and confirm the screenshot 411 for the desired interaction. That is, the application usage information analysis data providing module 100 may discontinuously reproduce the corresponding screenshot for each of the interaction data 421, 423, and 425 selected by the developer.
  • the third interaction data 425 is interaction data corresponding to a case where the screen is terminated due to a crash, and screenshots thereof may not be collected or present. If no screenshot is collected, a screenshot having the same or similar resolution information as that of the mobile device may be played instead. Specifically, the screenshot of '00: 10 object tab com.example.test: id / feed_fav_ico 'immediately before the third interaction data 425 occurs is a screenshot corresponding to '00: 11' where the crash occurs. Can be played instead. In addition, when the same or similar screenshots do not exist, a dummy screenshot which is a blank screen may be played.
  • the application usage information analysis data providing module 100 receives a user interaction of the mobile device to define a session, collects screenshots corresponding to the interaction during the defined session, and generates a user application usage pattern in the form of a video. . Accordingly, the application usage information analysis data providing module 100 can provide the application usage information analysis data as a video using only a small amount of data using only a screenshot, and provide the application usage information analysis data as a high resolution video at a low cost. It may be.
  • each block or each step may represent a portion of a module, segment or code containing one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative embodiments the functions noted in the blocks or steps may occur out of order. For example, the two blocks or steps shown in succession may in fact be executed substantially concurrently or the blocks or steps may sometimes be performed in the reverse order, depending on the functionality involved.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a method and a device for providing application usage information analysis material. A method for providing application usage information analysis material, according to an embodiment of the present invention, comprises the steps of: receiving a user's interaction data about an application; defining a session on the basis of application screen change information which changes with respect to the interaction data; collecting, with respect to the session, screen data, commercial data, and mobile device data which comprises resolution information of a mobile device in which the application is being executed; and, on the basis of the collected screen data and commercial data, generating the usage pattern of the user's application in the form of a video. A device for providing application usage information analysis material enables generating of user's interaction, in the form of a video, with an object even by means of small data by using a screenshot.

Description

어플리케이션 사용정보 분석자료 제공 방법 및 장치Application usage information analysis data providing method and device
본 발명은 어플리케이션 사용정보 분석자료 제공 방법 및 장치에 관한 것으로서, 보다 상세하게는 스크린샷을 이용하여 어플리케이션 사용정보 분석자료를 제공할 수 있는 어플리케이션 사용정보 분석자료 제공 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for providing application usage information analysis data, and more particularly, to a method and apparatus for providing application usage information analysis data which can provide application usage information analysis data using a screenshot.
모바일 디바이스는 현대 생활에서 가장 중요한 전자 디바이스 중 하나이다. 모바일 디바이스는 사용자에게 다양한 기능들을 제공할 수 있다. 구체적으로, 사용자는 다양한 어플리케이션을 통해 모바일 디바이스를 이용하며, 모바일 디바이스는 사용자가 실행하는 다양한 어플리케이션을 통해 다양한 기능들을 제공한다. 이러한 모바일 디바이스에서 실행되는 어플리케이션은 매우 많은 분야에서 다양하게 존재하며 모바일 디바이스를 이용하는 사용자에게 편의성을 제공한다.Mobile devices are one of the most important electronic devices in modern life. The mobile device can provide various functions to the user. Specifically, the user uses the mobile device through various applications, and the mobile device provides various functions through various applications executed by the user. Applications running on these mobile devices exist in a wide variety of fields and provide convenience to users using mobile devices.
사용자는 어플리케이션의 실행을 통해 모바일 디바이스를 이용하며, 동일하거나 유사한 기능을 제공하는 여러 종류의 어플리케이션 중 하나 또는 일부 어플리케이션을 선택할 수 있다. 이에 따라, 어플리케이션 개발자들은 어플리케이션이 사용자들에게 최적의 유저 인터페이스를 제공하는 것이 무엇보다 중요하다. 이를 위해서, 개발자는 어플리케이션을 제작하고, 사용자들의 어플리케이션에 대한 피드백을 수집하여 어플리케이션을 수정하거나 개량하는 작업이 매우 중요한 일이 되었다.A user may use a mobile device through execution of an application, and may select one or some applications among various types of applications that provide the same or similar functions. Therefore, it is important for application developers to provide an optimal user interface for their users. To this end, it is very important for a developer to create an application and to modify or improve the application by collecting feedback about the user's application.
따라서, 개발자들이 어플리케이션을 제작하면서 사용자의 입장에서 어플리케이션을 시험적으로 실행해보거나 제작된 어플리케이션을 사용자들이 실행하는 경우, 발생하는 문제나 불편한 사항들을 발견하고 수집하기 위해 개발자들을 위한 어플리케이션이 필요하게 되었다. Therefore, when developers try to run an application from the user's point of view while creating the application, or when the user executes the produced application, an application for the developer is required to discover and collect problems or inconveniences that occur. .
이에 따라, 사용자의 다양한 인터렉션 (interaction) 을 동영상으로 편리하게 확인할 수 있고, 사용자의 어플리케이션 사용정보를 분석한 동영상을 적은 데이터나 적은 비용으로 제공할 수 있는 어플리케이션 사용정보 분석자료 제공 방법 및 장치를 제공할 필요성이 증대되었다.Accordingly, the present invention provides a method and apparatus for providing application usage information analysis data that can conveniently check various interactions of a user with a video and provide a video analyzing the user's application usage information with less data or a lower cost. The need to do this has increased.
[관련기술문헌][Related Technical Documents]
그래픽 오브젝트를 이용한 컨텐츠 제어 방법 및 장치 (한국공개특허 제10-2013-0007956호)Method and apparatus for controlling content using graphic object (Korean Patent Publication No. 10-2013-0007956)
본 발명이 해결하고자 하는 과제는 피드백 정보 수집을 위해 스크린샷을 이용하여 최적의 데이터량만으로 오브젝트와 함께 사용자의 인터렉션을 동영상으로 생성할 수 있는 어플리케이션 사용정보 분석자료 제공 방법 및 장치를 제공하는 것이다.The problem to be solved by the present invention is to provide a method and apparatus for providing application usage information analysis data that can generate a user interaction with the object as a video using only the optimal amount of data using a screenshot for collecting feedback information.
본 발명이 해결하고자 하는 다른 과제는 사용자의 인터렉션을 적은 비용으로 높은 해상도의 동영상을 제공해줄 수 있는 어플리케이션 사용정보 분석자료 제공 방법 및 장치를 제공하는 것이다.Another problem to be solved by the present invention is to provide a method and apparatus for providing application usage information analysis data which can provide a high resolution video at a low cost of user interaction.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects that are not mentioned will be clearly understood by those skilled in the art from the following description.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공 방법은 어플리케이션에 대한 사용자의 인터렉션 데이터를 수신하는 단계, 인터렉션 데이터에 대응하여 변경되는 어플리케이션의 화면 변경 정보를 기초로 세션을 정의하는 단계, 세션에 대응하여 화면 데이터, 상용 데이터 및 어플리케이션이 실행되는 모바일 디바이스의 해상도 정보를 포함하는 모바일 디바이스 데이터를 수집하는 단계 및 수집된 화면 데이터 및 상용 데이터를 기초로 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성하는 단계를 포함하는 것을 특징으로 한다.In order to solve the above problems, the method for providing application usage information analysis data according to an embodiment of the present invention comprises the steps of receiving the user's interaction data for the application, the screen change information of the application changed in response to the interaction data Defining a session based on the data; collecting mobile device data including screen data, commercial data, and resolution information of the mobile device on which the application is executed in response to the session; and based on the collected screen data and commercial data. And generating an application use pattern in the form of a video.
본 발명의 다른 특징에 따르면, 화면 데이터는 어플리케이션의 스크린샷 및 어플리케이션의 화면 변경 정보를 포함하고, 상용 데이터는 어플리케이션의 오브젝트 데이터 및 어플리케이션의 인터렉션 데이터를 포함하는 것을 특징으로 한다.According to another feature of the invention, the screen data includes a screenshot of the application and the screen change information of the application, the commercial data is characterized in that the object data of the application and the interaction data of the application.
본 발명의 또 다른 특징에 따르면, 스크린샷을 수집하지 못하는 경우, 해상도 정보와 동일한 해상도 정보를 갖는 스크린샷, 해상도 정보와 유사한 해상도 정보를 갖는 스크린샷 또는 더미 스크린샷 중 적어도 하나를 기초로 사용패턴을 동영상의 형태로 생성하는 것을 특징으로 한다.According to another feature of the present invention, when a screenshot is not collected, a usage pattern based on at least one of a screenshot having the same resolution information as the resolution information, a screenshot having the resolution information similar to the resolution information, or a dummy screenshot. It characterized in that to generate in the form of a video.
본 발명의 또 다른 특징에 따르면, 해상도 정보보다 어플리케이션의 전체 화면이 더 큰 경우, 수집하는 단계는, 어플리케이션의 전체 화면에 대한 전체 스크린샷을 수집하고, 어플리케이션의 전체 화면에 대한 전체 오브젝트 데이터를 수집하는 단계를 더 포함하는 것을 특징으로 한다.According to another feature of the invention, if the entire screen of the application is larger than the resolution information, the collecting step, collecting the full screenshots of the full screen of the application, and collects the full object data for the full screen of the application Characterized in that it further comprises the step.
본 발명의 또 다른 특징에 따르면, 수집하는 단계는, 전체 스크린샷 및 전체 오브젝트 데이터를 기초로 어플리케이션의 화면의 스크롤 여부를 판단하는 단계를 더 포함하는 것을 특징으로 한다.According to another feature of the invention, the step of collecting, characterized in that it further comprises the step of determining whether to scroll the screen of the application on the basis of the entire screenshot and the entire object data.
본 발명의 또 다른 특징에 따르면, 어플리케이션의 화면이 스크롤되는 경우, 화면 변경 정보는 일정한 주기마다 수집된 스크린샷을 비교하여 획득된 화면 이동 정보를 더 포함하고, 상용 데이터는 스크린샷에 대한 스크롤 데이터를 더 포함하는 것을 특징으로 한다.According to another feature of the present invention, when the screen of the application is scrolled, the screen change information further includes screen movement information obtained by comparing the screenshots collected at regular intervals, and commercial data is scroll data for the screenshots. It characterized in that it further comprises.
본 발명의 또 다른 특징에 따르면, 생성하는 단계는, 해상도 정보를 기준으로 스크린샷 및 인터렉션 데이터를 통합하는 단계 및 화면 변경 정보에 기초하여 변경된 화면에 대한 스크린샷 및 인터렉션 데이터를 통합하는 단계를 포함하는 것을 특징으로 한다.According to another feature of the invention, the generating step includes the step of integrating the screenshot and interaction data based on the resolution information and the step of integrating the screenshot and interaction data for the changed screen based on the screen change information Characterized in that.
본 발명의 또 다른 특징에 따르면, 세션은 어플리케이션이 실행되어 종료될 때까지의 기간 또는 어플리케이션이 실행되어 종료된 후 일정 시간이 경과한 때까지의 기간인 것을 특징으로 한다.According to another feature of the invention, the session is characterized in that the period until the application is executed and terminated or a period until a predetermined time elapses after the application is executed and terminated.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공 장치는 어플리케이션에 대한 사용자의 인터렉션 데이터를 수신하고, 인터렉션 데이터에 대응하여 변경되는 어플리케이션의 화면 변경 정보를 기초로 세션을 정의하고, 세션에 대응하여 화면 데이터, 상용 데이터 및 어플리케이션이 실행되는 모바일 디바이스의 해상도 정보를 포함하는 모바일 디바이스 데이터를 수집하는 데이터 수집부 및 수집된 화면 데이터 및 상용 데이터를 기초로 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성하는 생성부를 포함하는 것을 특징으로 한다.In order to solve the above problems, the apparatus for providing application usage information analysis data according to an embodiment of the present invention receives interaction data of a user for an application and based on screen change information of the application that is changed in response to the interaction data. A data collector configured to define a session, and collect mobile device data including screen data, commercial data, and resolution information of the mobile device on which the application is executed in response to the session, and based on the collected screen data and commercial data. Characterized in that it comprises a generation unit for generating an application use pattern in the form of a video.
본 발명의 다른 특징에 따르면, 수집된 화면 데이터, 상용 데이터 및 모바일 디바이스 데이터를 저장하는 데이터 저장부를 더 포함하는 것을 특징으로 한다.According to another feature of the invention, it further comprises a data storage for storing the collected screen data, commercial data and mobile device data.
본 발명의 또 다른 특징에 따르면, 화면 데이터는 어플리케이션의 스크린샷 및 어플리케이션의 화면 변경 정보를 포함하고, 상용 데이터는 어플리케이션의 오브젝트 데이터 및 어플리케이션의 인터렉션 데이터를 포함하는 것을 특징으로 한다.According to another feature of the invention, the screen data includes a screen shot of the application and the screen change information of the application, the commercial data is characterized in that the object data of the application and the interaction data of the application.
본 발명의 또 다른 특징에 따르면, 스크린샷을 수집하지 못하는 경우, 해상도 정보와 동일한 해상도 정보를 갖는 스크린샷, 해상도 정보와 유사한 해상도 정보를 갖는 스크린샷 또는 더미 스크린샷 중 적어도 하나를 기초로 사용패턴을 동영상의 형태로 생성하는 것을 특징으로 한다.According to another feature of the present invention, when a screenshot is not collected, a usage pattern based on at least one of a screenshot having the same resolution information as the resolution information, a screenshot having the resolution information similar to the resolution information, or a dummy screenshot. It characterized in that to generate in the form of a video.
본 발명의 또 다른 특징에 따르면, 해상도 정보보다 어플리케이션의 전체 화면이 더 큰 경우, 데이터 수집부는, 어플리케이션의 전체 화면에 대한 전체 스크린샷을 수집하고, 어플리케이션의 전체 화면에 대한 전체 오브젝트 데이터를 수집하는 것을 특징으로 한다.According to another feature of the present invention, when the entire screen of the application is larger than the resolution information, the data collector collects the full screen shot of the entire screen of the application, and collects the entire object data for the full screen of the application It is characterized by.
본 발명의 또 다른 특징에 따르면, 데이터 수집부는, 전체 스크린샷 및 전체 오브젝트 데이터를 기초로 어플리케이션의 화면의 스크롤 여부를 판단하는 것을 특징으로 한다.According to another feature of the present invention, the data collection unit may determine whether to scroll the screen of the application based on the entire screenshot and the entire object data.
본 발명의 또 다른 특징에 따르면, 어플리케이션의 화면이 스크롤되는 경우, 화면 변경 정보는 일정한 주기마다 수집된 스크린샷을 비교하여 획득된 화면 이동 정보를 더 포함하고, 상용 데이터는 스크린샷에 대한 스크롤 데이터를 더 포함하는 것을 특징으로 한다.According to another feature of the present invention, when the screen of the application is scrolled, the screen change information further includes screen movement information obtained by comparing the screenshots collected at regular intervals, and commercial data is scroll data for the screenshots. It characterized in that it further comprises.
본 발명의 또 다른 특징에 따르면, 생성부는, 해상도 정보를 기준으로 스크린샷 및 인터렉션 데이터를 통합하고, 화면 변경 정보에 기초하여 변경된 화면에 대한 스크린샷 및 인터렉션 데이터를 통합하는 것을 특징으로 한다.According to another feature of the present invention, the generation unit may integrate the screenshot and the interaction data based on the resolution information, and the screenshot and the interaction data for the changed screen based on the screen change information.
본 발명의 또 다른 특징에 따르면, 세션은 어플리케이션이 실행되어 종료될 때까지의 기간 또는 어플리케이션이 실행되어 종료된 후 일정 시간이 경과한 때까지의 기간인 것을 특징으로 한다.According to another feature of the invention, the session is characterized in that the period until the application is executed and terminated or a period until a predetermined time elapses after the application is executed and terminated.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공 방법을 제공하는 명령어들을 저장하는 컴퓨터 판독 가능 매체는 어플리케이션에 대한 사용자의 인터렉션 데이터를 수신하고, 인터렉션 데이터에 대응하여 변경되는 어플리케이션의 화면 변경 정보를 기초로 세션을 정의하고, 세션에 대응하여 화면 데이터, 상용 데이터 및 어플리케이션이 실행되는 모바일 디바이스의 해상도 정보를 포함하는 모바일 디바이스 데이터를 수집하고, 수집된 화면 데이터 및 상용 데이터를 기초로 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성하는 것을 특징으로 한다.In order to solve the above problems, a computer-readable medium storing instructions for providing a method for providing application usage information analysis data according to an embodiment of the present invention receives interaction data of a user for an application, Define a session based on the screen change information of the correspondingly changed application, collect mobile device data including screen data, commercial data, and resolution information of the mobile device on which the application is executed in response to the session; And generating an application usage pattern of the user in the form of a video based on commercial data.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and drawings.
본 발명은 피드백 정보 수집을 위해 스크린샷을 이용하여 최적의 데이터량만으로 오브젝트와 함께 사용자의 인터렉션을 동영상으로 생성할 수 있는 어플리케이션 사용정보 분석자료 제공 방법 및 장치를 제공할 수 있는 효과가 있다.The present invention has the effect of providing a method and apparatus for providing application usage information analysis data that can generate a user's interaction with a video object using only the optimal amount of data using screenshots for collecting feedback information.
본 발명은 사용자의 인터렉션을 적은 비용으로 높은 해상도의 동영상을 제공해줄 수 있는 어플리케이션 사용정보 분석자료 제공 방법 및 장치를 제공할 수 있는 효과가 있다.The present invention has the effect of providing a method and apparatus for providing application usage information analysis data that can provide a high resolution video at low cost for user interaction.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.The effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the present specification.
도 1은 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공 모듈의 개략적인 구성 및 이를 탑재하고 있는 모바일 디바이스와의 관계를 도시한 것이다.1 illustrates a schematic configuration of an application usage information analysis data providing module according to an embodiment of the present invention and a relationship with a mobile device having the same.
도 2는 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공방법에 따라 사용자의 어플리케이션 사용정보 분석자료를 제공하기 위한 절차를 도시한 것이다.2 illustrates a procedure for providing an application usage information analysis data of a user according to the application usage information analysis data providing method according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공방법에 따라 동영상을 생성하는 세부적인 절차를 도시한 것이다.Figure 3 shows a detailed procedure for generating a video according to the application usage information analysis data providing method according to an embodiment of the present invention.
도 4는 본 발명의 다른 실시예에 따른 어플리케이션 사용정보 분석자료 제공방법에 따라 수집되는 예시적인 화면 데이터를 도시한 것이다.4 illustrates exemplary screen data collected according to a method for providing application usage information analysis data according to another embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공방법에 따라 제공되는 영상의 일 태양을 도시한 것이다.5 is a view illustrating an aspect of an image provided according to an application usage information analysis data providing method according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the present embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the art to which the present invention pertains. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다. Shapes, sizes, ratios, angles, numbers, and the like disclosed in the drawings for describing the embodiments of the present invention are exemplary, and the present invention is not limited to the illustrated items. In addition, in describing the present invention, if it is determined that the detailed description of the related known technology may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. When 'comprises', 'haves', 'consists of' and the like mentioned in the present specification, other parts may be added unless 'only' is used. In case of singular reference, the plural number includes the plural unless specifically stated otherwise.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.In interpreting a component, it is interpreted to include an error range even if there is no separate description.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.Although the first, second, etc. are used to describe various components, these components are not limited by these terms. These terms are only used to distinguish one component from another. Therefore, the first component mentioned below may be a second component within the technical spirit of the present invention.
별도로 명시하지 않는 한 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Like reference numerals refer to like elements throughout the specification unless otherwise specified.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each of the features of the various embodiments of the present invention may be combined or combined with each other in part or in whole, various technically interlocking and driving as can be understood by those skilled in the art, each of the embodiments may be implemented independently of each other It may be possible to carry out together in an association.
이하, 본 명세서에서 사용되는 용어에 대해 정의한다.Hereinafter, the terms used in the present specification are defined.
본 명세서에서 ‘화면 데이터’란, 모바일 디바이스에 표시되는 어플리케이션의 화면에 대한 데이터로서, 어플리케이션의 스크린샷 및 어플리케이션의 화면 변경 정보를 포함한다. In the present specification, "screen data" is data about a screen of an application displayed on a mobile device, and includes screenshot of the application and screen change information of the application.
본 명세서에서 ‘상용 데이터’란, 모바일 디바이스에서 어플리케이션이 실행되는 경우 모바일 디바이스로부터 상시 수집되는 어플리케이션의 실행에 대한 데이터로서, 어플리케이션의 오브젝트 데이터 및 어플리케이션의 인터렉션 데이터를 포함한다. 모바일 디바이스의 해상도보다 어플리케이션의 전체화면이 큰경우, 상용 데이터는 스크롤 데이터를 더 포함할 수 있다.In the present specification, "commercial data" refers to data about execution of an application which is always collected from the mobile device when the application is executed on the mobile device, and includes object data of the application and interaction data of the application. When the entire screen of the application is larger than the resolution of the mobile device, the commercial data may further include scroll data.
본 명세서에서 ‘모바일 디바이스 데이터’란, 모바일 디바이스에 대한 데이터로서, 모바일 디바이스의 모델명, 모바일 디바이스의 운영체제, 모바일 디바이스의 버전 및 모바일 디바이스의 해상도 정보를 포함한다. 모바일 디바이스데이터는 세션이 시작되는 순간 1회 수집될 수 있고, 세션 동안 주기적으로 수집될수도 있다.In the present specification, "mobile device data" is data for a mobile device and includes model name of the mobile device, an operating system of the mobile device, a version of the mobile device, and resolution information of the mobile device. Mobile device data may be collected once at the beginning of the session, or may be collected periodically during the session.
본 명세서에서 ‘오브젝트’란, 어플리케이션의 화면을 구성하는 객체로서, 버튼, 체크박스, 표 및 레이아웃 등을 포함한다. 어플리케이션의 화면을 구성하는 모든 오브젝트들은 트리 (tree) 구조로 구성될 수 있다.In the present specification, an "object" is an object constituting a screen of an application and includes a button, a check box, a table, a layout, and the like. All objects constituting the screen of the application may be configured in a tree structure.
본 명세서에서 ‘오브젝트 데이터’란, 어플리케이션의 오브젝트들에 대한 데이터로서, 오브젝트의 종류 및 오브젝트의 화면상 좌표를 포함한다.In the present specification, "object data" is data about objects of an application and includes a type of an object and an on-screen coordinate of the object.
본 명세서에서 ‘인터렉션 데이터’란, 모바일 디바이스를 사용하는 사용자가 모바일 디바이스를 통해 어플리케이션에 입력한 동작을 의미한다. 예를들어, 인터렉션 데이터는 버튼의 터치, 스와이프, 롱 터치, 모바일 디바이스 흔들기 등과 같이 사용자의 동작으로 어플리케이션에 입력되는 데이터이다. 인터렉션 데이터는 어플리케이션의 실행 및 종료, 화면의 이동 또는 기능의 실행 등을 가능하게 한다. In the present specification, "interaction data" means an operation input to an application through a mobile device by a user who uses the mobile device. For example, the interaction data is data input to an application by a user's motion, such as a touch of a button, a swipe, a long touch, or a shake of a mobile device. The interaction data enables execution and termination of an application, movement of a screen, execution of a function, and the like.
본 명세서에서 ‘화면 변경’이란, 어플리케이션의 화면이 상이하게 달라지는 것을 의미한다. 예를 들어, 화면 변경은 스크롤에 의한 화면 이동과 어플리케이션의 다른 페이지로 변경되거나 어플리케이션의 종료로 인한 화면 변경을 의미할 수 있다.In the present specification, the "change screen" means that the screen of the application is differently changed. For example, the screen change may mean a screen change due to scrolling and a change to another page of the application, or a screen change due to termination of the application.
본 명세서에서 ‘화면 변경 정보’란, 어플리케이션의 화면이 변경되는 경우 화면이 변경되는 이유 또는 변경된 결과에 대한 정보로서, 화면 이동 정보 및 화면 종료 정보를 포함한다.In the present specification, the "screen change information" is information about a reason or a changed result of the screen when the screen of the application is changed, and includes screen movement information and screen end information.
본 명세서에서 ‘화면 이동’이란 모바일 디바이스의 해상도보다 어플리케이션의 해상도가 큰 경우, 사용자의 스크롤과 같은 인터렉션 데이터에 의해 동일한 어플리케이션의 페이지 중 다른 위치를 표시하게 되는 것을 의미한다. In the present specification, 'screen movement' means that when the resolution of the application is larger than the resolution of the mobile device, different positions of pages of the same application are displayed by interaction data such as scrolling of the user.
본 명세서에서 ‘화면 이동 정보’란, 사용자의 스크롤 등에 의해 모바일 디바이스에서 표시되는 하나의 어플리케이션 페이지 내의 이동에 대한 정보를 의미한다. 화면 이동 정보는 화면 이동에 따른 화면의 위치 정보를 포함할 수 있다. 예를 들어, 화면 이동 정보는 화면 이동 전 어플리케이션이 표시되는 페이지의 좌표와 화면 이동 후 어플리케이션이 표시되는 페이지의 좌표를 포함할 수 있고, 이 경우, 좌표는 절대 좌표 또는 상대 좌표일 수 있다.In the present specification, "screen movement information" refers to information about movement in one application page displayed on a mobile device by a user's scrolling or the like. The screen movement information may include position information of a screen according to the movement of the screen. For example, the screen movement information may include coordinates of a page on which the application is displayed before the screen movement and coordinates of a page on which the application is displayed after the screen movement. In this case, the coordinates may be absolute coordinates or relative coordinates.
본 명세서에서 ‘화면 종료’란, 하나의 어플리케이션이 종료되어 모바일 디바이스에 표시되지 않는 것으로, 다른 어플리케이션으로의 변경, 어플리케이션의 종료 또는 크래쉬로 인해 화면이 표시되지 않는 것을 의미한다.In the present specification, the "screen exit" means that one application is terminated and is not displayed on the mobile device, and the screen is not displayed due to the change to another application, the termination or the crash of the application.
본 명세서에서 ‘화면 종료 정보’란, 어플리케이션의 화면이 종료되는 경우 화면이 종료되는 이유나 종료된 결과에 대한 정보를 의미한다.In the present specification, the "screen termination information" means information about a reason for ending the screen or a result of the termination when the screen of the application is terminated.
본 명세서에서 ‘세션’이란, 어플리케이션이 실행되어 종료될 때까지의 기간을 의미한다. 구체적으로, 세션은 모바일 디바이스에서 하나의 어플리케이션이 실행되고 다른 어플리케이션을 실행하거나 어플리케이션의 종료 또는 크래쉬로 인해 어플리케이션이 종료될 때까지의 시간이다. 즉, 세션은 어플리케이션의 실행으로 화면이 표시되고 화면 종료까지의 시간이다. 세션은 시간에 대한 정보로 이루어진다.In the present specification, the term "session" means a period until the application is executed and terminated. Specifically, the session is the time until one application is executed on the mobile device and another application is executed or the application is terminated due to termination or crash of the application. In other words, the session is the time until the screen is displayed by the execution of the application and the end of the screen. The session consists of information about time.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다. Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공 모듈의 개략적인 구성 및 이를 탑재하고 있는 모바일 디바이스와의 관계를 도시한 것이다.1 illustrates a schematic configuration of an application usage information analysis data providing module according to an embodiment of the present invention and a relationship with a mobile device having the same.
도 1을 참조하면, 어플리케이션 사용정보 분석자료 제공 모듈 (100)은 데이터 수집부 (110), 데이터 저장부 (120) 및 생성부 (130) 를 포함한다. 어플리케이션 사용정보 분석자료 제공 모듈 (100) 은 사용자의 모바일 디바이스 (200)로부터 다양한 데이터를 수신 또는 수집하여 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성하여 제공할 수 있다. 어플리케이션 사용정보 분석자료 제공 모듈 (100) 은 각각 별개의 서버 (데이터 수집부 (110) 에 대응하는 수집 서버, 데이터 저장부 (120) 에 대응하는 저장 서버, 생성부 (130) 에 대응하는 생성 서버) 를 포함하여 구성될 수도 있고, 하나의 서버에서 여러 개의 모듈 (데이터 수집부(110) 에 대응하는 수집 모듈, 데이터 저장부 (120) 에 대응하는 저장 모듈, 생성부 (130) 에 대응하는 생성 모듈) 을 포함할 수도 있다.Referring to FIG. 1, the application usage information analyzing data providing module 100 includes a data collecting unit 110, a data storing unit 120, and a generating unit 130. The application usage information analysis data providing module 100 may receive or collect various data from the mobile device 200 of the user to generate and provide an application usage pattern of the user in the form of a video. Application usage information analysis data providing module 100 is a separate server (collection server corresponding to the data collection unit 110, storage server corresponding to the data storage unit 120, generating server corresponding to the generation unit 130) Or a plurality of modules (a collection module corresponding to the data collection unit 110, a storage module corresponding to the data storage unit 120, and a generation unit corresponding to the generation unit 130) in one server. Module).
데이터 수집부 (110) 는 모바일 디바이스 (200) 로부터 화면 데이터, 상용 데이터 및 모바일 디바이스 데이터를 수집한다. 구체적으로, 데이터 수집부 (110) 는 어플리케이션에 대한 사용자의 인터렉션 데이터를 수신하고, 인터렉션 데이터에 대응하여 변경되는 어플리케이션의 화면 변경 정보를 기초로 세션을 정의한다. 하나의 세션에 대해서 하나 이상의 스크린샷이 수집될 수 있으며, 이에 대한 자세한 설명은 후술한다. 또한, 데이터 수집부 (110) 는 정의된 세션에 대응하여 화면 데이터, 상용 데이터 및 모바일 디바이스 데이터를 수집한다. 데이터 수집부 (110) 는 수신하거나 수집한 모든 데이터를 데이터 저장부 (120) 로 전송하거나, 별도의 데이터 저장부 (120) 가 없는 경우 곧바로 생성부 (130) 로 전송할 수도 있다.The data collector 110 collects screen data, commercial data, and mobile device data from the mobile device 200. In detail, the data collector 110 receives the user's interaction data for the application and defines a session based on the screen change information of the application that changes in response to the interaction data. One or more screenshots may be collected for one session, which will be described later. In addition, the data collector 110 collects screen data, commercial data, and mobile device data in response to the defined session. The data collection unit 110 may transmit all received or collected data to the data storage unit 120 or directly to the generation unit 130 when there is no separate data storage unit 120.
데이터 저장부 (120) 는 수집된 화면 데이터, 상용 데이터 및 모바일 디바이스 데이터를 저장한다. 구체적으로, 데이터 저장부 (120) 는 데이터 수집부 (110) 로부터 생성부 (130) 로 수집한 데이터를 전송하는 경우 데이터의 손실을 막고 데이터 수집부 (110) 의 데이터 부하를 줄이기 위해 임시로 저장할 수 있다. 데이터 저장부 (120) 는 저장된 다양한 데이터를 생성부 (130) 로 전송한다.The data storage unit 120 stores the collected screen data, commercial data, and mobile device data. In detail, when the data storage unit 120 transmits the collected data from the data collection unit 110 to the generation unit 130, the data storage unit 120 temporarily stores the data storage unit 120 to prevent data loss and to reduce the data load of the data collection unit 110. Can be. The data storage unit 120 transmits the stored various data to the generation unit 130.
생성부 (130) 는 수집된 화면 데이터, 상용 데이터 및 모바일 디바이스 데이터를 기초로 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성한다. 구체적으로, 생성부 (130) 는 화면 데이터 중 스크린샷과 상용 데이터 중 인터렉션 데이터를 통합하여 동영상의 형태로 분석자료를 생성할 수 있다. 동영상의 형태로 생성된 분석자료는 해당 어플리케이션의 개발자에게 제공될 수 있다.The generation unit 130 generates an application usage pattern of the user in the form of a video based on the collected screen data, commercial data, and mobile device data. Specifically, the generation unit 130 may generate the analysis data in the form of a video by integrating the interaction data of the screenshot and commercial data of the screen data. Analysis data generated in the form of a video may be provided to the developer of the application.
어플리케이션 사용정보 분석자료 제공 모듈 (100) 의 각 구성들은 설명의 편의상 개별적인 구성으로 도시한 것일 뿐, 구현 방법에 따라 하나의 모듈에 구현되거나 하나의 구성이 2 이상의 구성으로 분리될 수 있다. 예를 들어, 각각의 데이터 수집부 (110), 데이터 저장부 (120) 및 생성부 (130) 는 2 이상의 물리적 프로세서 또는 서버로 구별될 수도 있고, 하나의 물리적 프로세서 또는 서버내에 포함될 수도 있다.Each configuration of the application usage information analysis data providing module 100 is shown as a separate configuration for convenience of description, and may be implemented in one module or one configuration may be divided into two or more configurations according to an implementation method. For example, each data collection unit 110, data storage unit 120, and generation unit 130 may be divided into two or more physical processors or servers, and may be included in one physical processor or server.
도 2는 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공 방법에 따라 사용자의 어플리케이션 사용정보 분석자료를 제공하기 위한 절차를 도시한 것이다. 설명의 편의를 위해 도 1을 참조하여 설명한다.2 illustrates a procedure for providing an application usage information analysis data of a user according to the method for providing application usage information analysis data according to an embodiment of the present invention. For convenience of explanation, it will be described with reference to FIG. 1.
본 발명에 따른 어플리케이션 사용정보 분석자료 제공 방법은 데이터 수집부 (110) 가 모바일 디바이스 (200) 로부터 어플리케이션에 대한 사용자의 인터렉션 데이터를 수신함으로서 개시된다 (S210). 즉, 모바일 디바이스 (200) 의 사용자에 의해 입력되는 인터렉션 데이터들은 다양한 통신 방법에 의해 어플리케이션 사용정보 분석자료 제공 모듈 (100) 로 전송된다. 구체적으로, 데이터 수집부(110) 는 모바일 디바이스 (200) 를 통해 사용자가 입력하는 인터렉션 데이터 (예를 들어, 스크롤, 스와이프, 터치, 롱터치 등) 를 수신한다. 또한, 데이터 수집부(110) 는 인터렉션 데이터에 대응하여 화면 변경 정보를 수신할 수 있다. Application usage information analysis data providing method according to the present invention is initiated by the data collection unit 110 receives the user interaction data for the application from the mobile device (200) (S210). That is, the interaction data input by the user of the mobile device 200 is transmitted to the application usage information analysis data providing module 100 by various communication methods. In detail, the data collector 110 receives interaction data (eg, scroll, swipe, touch, long touch, etc.) input by the user through the mobile device 200. In addition, the data collection unit 110 may receive screen change information in response to the interaction data.
이어서, 데이터 수집부 (110) 는 인터렉션 데이터에 대응하여 변경되는 어플리케이션의 화면 변경 정보를 기초로 세션을 정의한다 (S220). 세션은 어플리케이션이 실행되어 종료될 때까지의 기간으로, 화면 변경 정보 중 화면 종료정보를 기초로 세션의 종료가 결정된다. 여기서, 화면 종료 정보는 인터렉션 데이터 중 어플리케이션을 종료하는 오브젝트의 터치나 모바일 디바이스의 종료 또는 크래시에 의해 발생될 수 있다. 이에 따라, 데이터 수집부 (110) 는 모바일 디바이스 (200) 로부터 화면 종료 정보를 수신할 수 있고, 수신된 화면 종료 정보를 기초로 세션을 정의할 수 있다. Subsequently, the data collection unit 110 defines a session based on screen change information of an application that is changed in correspondence with the interaction data (S220). The session is a period until the application is executed and terminated, and the end of the session is determined based on the screen end information among the screen change information. Here, the screen termination information may be generated by touching an object terminating the application among the interaction data or terminating or crashing the mobile device. Accordingly, the data collector 110 may receive screen end information from the mobile device 200 and define a session based on the received screen end information.
이어서, 데이터 수집부 (110) 는 정의된 세션에 대응하여 화면 데이터, 상용 데이터 및 어플리케이션이 실행되는 모바일 디바이스의 해상도 정보를 포함하는 모바일 디바이스 데이터를 수집한다 (S230). 데이터 수집부 (110) 는 다양한 통신 방식을 통해 모바일 디바이스 (200) 로부터 화면 데이터, 상용 데이터 및 모바일 디바이스 데이터를 수신할 수 있으며, 특히, 세션을 정의한 이후에 데이터 수집부 (110) 는 수신되는 화면 데이터, 상용 데이터 및 모바일 디바이스 데이터를 ‘수집’한다. 즉, 정의된 세션 동안 ‘수집’된 데이터를 데이터 저장부 (120)또는 생성부 (130) 로 전송한다. 구체적으로, 데이터 수집부 (110) 는 세션을 시작하면서 모바일 디바이스 (200) 로부터 해상도 정보를 수집하고, 하나의 세션 동안 모바일 디바이스 (200) 에서 발생하는 인터렉션 데이터에 대응하여 스크린샷을수집한다. 또한, 데이터 수집부 (110) 는 스크린샷에 포함되는 모든 오브젝트 데이터를 수집하고, 인터렉션 데이터에 의해 화면이 변경되는 경우 화면 변경 정보를 수집할 수 있다. Subsequently, the data collector 110 collects mobile device data including screen data, commercial data, and resolution information of the mobile device on which the application is executed in response to the defined session (S230). The data collector 110 may receive screen data, commercial data, and mobile device data from the mobile device 200 through various communication schemes. In particular, after defining a session, the data collector 110 receives the screen. 'Collect' data, commercial data and mobile device data. That is, the data collected during the defined session is transmitted to the data storage unit 120 or the generation unit 130. In detail, the data collector 110 collects resolution information from the mobile device 200 while starting a session, and collects screenshots in response to the interaction data generated in the mobile device 200 during one session. In addition, the data collector 110 may collect all object data included in the screen shot, and may collect screen change information when the screen is changed by the interaction data.
여기서, 어플리케이션의 전체 화면이 모바일 디바이스 데이터 중 해상도 정보보다 큰 경우, 화면 데이터 중 어플리케이션의 전체 화면에 대한 전체 스크린샷과 상용 데이터 중 어플리케이션의 전체 화면에 대한 전체 오브젝트 데이터를 더 수신할 수 있다. 구체적으로, 어플리케이션의 전체 화면이 모바일 디바이스의 해상도 정보보다 큰 경우 어플리케이션의 전체 화면이 모바일 디바이스에 한번에 표시될 수 없다. 이에 따라, 사용자는 스크롤과 같은 인터렉션 데이터를 통해 어플리케이션의 화면을 이동시킬 수 있고 모바일 디바이스 (200) 는 화면 이동 정보와 스크롤 데이터를 생성할 수 있다. 즉, 어플리케이션의 화면이 모바일 디바이스 (200) 에 한번에 표시되지 못하는 경우, 전체 화면에 대한 어플리케이션 사용정보 분석자료를 제공하기 위해 전체 스크린샷과 전체 오브젝트 데이터를 더 수신할 수 있다. 이에 따라, 어플리케이션 사용정보 분석자료 제공 모듈 (100) 은 전체 스크린샷, 전체 오브젝트 데이터, 화면 이동 정보 및 스크롤 데이터를 기초로 보다 정확한 어플리케이션 사용정보 분석자료를 제공할 수 있다. 스크롤 가능한 경우 데이터가 수집되는 방식에 대해서는 도 4를 통해 자세히 설명한다.In this case, when the entire screen of the application is larger than the resolution information of the mobile device data, the full screen screenshot of the full screen of the application and the full object data of the full screen of the application among commercial data may be further received. Specifically, when the entire screen of the application is larger than the resolution information of the mobile device, the entire screen of the application may not be displayed on the mobile device at one time. Accordingly, the user may move the screen of the application through interaction data such as scrolling, and the mobile device 200 may generate screen movement information and scroll data. That is, when the screen of the application is not displayed at once on the mobile device 200, the entire screenshot and the entire object data may be further received to provide the application usage information analysis data for the entire screen. Accordingly, the application usage information analysis data providing module 100 may provide more accurate application usage information analysis data based on the entire screenshot, the entire object data, the screen movement information, and the scroll data. The manner in which data is collected when scrollable is described in detail with reference to FIG. 4.
이어서, 데이터 저장부 (120) 가 존재하는 경우, 데이터 저장부(120) 는 ‘수집’된 화면 데이터, 상용 데이터 및 모바일 디바이스 데이터를 저장한다 (S240). 구체적으로, 데이터 저장부 (120) 는 정의된 세션 동안에 수집된 데이터만을 저장하고, 개발자의 분석자료 제공 요청 명령에 의해 생성부 (130) 로 수집된 데이터를 전송할 수 있다. 이어서, 생성부 (130) 는 수집된 데이터를 수신하고 (S250), 수집된 화면 데이터 및 상용 데이터를 기초로 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성한다 (S260). 구체적으로, 생성부 (130) 는 수집된 화면 데이터 중 어플리케이션의 스크린샷과 상용 데이터 중 어플리케이션의 인터렉션 데이터를 기초로 어플리케이션 사용정보 분석자료를 동영상으로 생성할 수 있다. 생성부 (130)가 어플리케이션 사용정보 분석자료를 생성하는 구체적인 절차는 도 3을 통해 설명한다.Then, when the data storage unit 120 is present, the data storage unit 120 stores the "collected" screen data, commercial data and mobile device data (S240). In detail, the data storage unit 120 may store only the data collected during the defined session, and transmit the collected data to the generation unit 130 by the developer's request for providing analysis data. Subsequently, the generation unit 130 receives the collected data (S250), and generates an application usage pattern of the user in the form of a video based on the collected screen data and commercial data (S260). In detail, the generation unit 130 may generate an application usage information analysis data as a video based on the screen shot of the application among the collected screen data and the interaction data of the application among commercial data. A detailed procedure of generating the application usage information analysis data by the generation unit 130 will be described with reference to FIG. 3.
데이터 저장부 (120) 가 존재하지 않는 경우, 생성부 (130) 는 데이터 수집부 (110) 로부터 수집된 데이터를 수신하여 어플리케이션 사용정보 분석자료를 생성할 수 있다.If the data storage unit 120 does not exist, the generation unit 130 may generate the application usage information analysis data by receiving the data collected from the data collection unit 110.
도 3은 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공 방법에 따라 동영상을 생성하는 세부적인 절차를 도시한 것이다.Figure 3 shows a detailed procedure for generating a video according to the application usage information analysis data providing method according to an embodiment of the present invention.
도 3을 참조하면, 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성하는 단계 (S260) 는 해상도 정보를 기준으로 스크린샷 및 인터렉션 데이터를 통합하는 단계 (S261) 와 화면 변경 정보에 기초하여 변경된 화면에 대한 스크린샷 및 인터렉션 데이터를 통합하는 단계 (S263) 를 포함한다. 구체적으로, 생성부 (130) 는 수집된 화면 데이터 중 스크린샷과 상용 데이터 중 인터렉션 데이터를 해상도 정보에 일치시킨다. 여기서, 스크린샷은 인터렉션 데이터에 대응하여 수집되었으므로 인터렉션 데이터와 이에 대응하는 시간과 함께 스크린샷이 동영상의 일부로 구성될 수 있다. 즉, 생성부 (130) 는 하나의 인터렉션과 이에 대응하는 스크린샷을 통합하고 이를 모바일 디바이스의 해상도 정보에 일치시킴으로서 어플리케이션 사용정보 분석자료인 동영상의 일부로 생성할 수 있다. Referring to FIG. 3, in operation S260, the application usage pattern of the user may be generated in the form of a video, and the screen may be integrated based on the resolution information in operation S261 and the screen may be changed based on the screen change information. Integrating the screenshot and interaction data for the step (S263). In detail, the generation unit 130 matches the screen shot of the collected screen data and the interaction data of the commercial data to the resolution information. Here, since the screenshots are collected in correspondence with the interaction data, the screenshots together with the interaction data and the corresponding time may be configured as part of the video. That is, the generation unit 130 may generate a part of a video, which is an application usage information analysis data, by integrating one interaction and a corresponding screen shot and matching the same with the resolution information of the mobile device.
이어서, 생성부 (130) 는 화면 변경 정보가 존재하는 경우 변경된 화면에 대응하는 다른 인터렉션 데이터와 변경된 화면에 대한 스크린샷을 해상도 정보에 일치시킨다. 즉, 인터렉션 데이터에 따라 화면이 변경되는 경우, 생성부(130) 는 변경된 화면에 대한 스크린샷과 인터렉션 데이터를 통합하고 해상도 정보와 일치시켜 동영상의 일부로 생성할 수 있다. 예를 들어, 순차적인 스크린샷들 사이를 보다 부드러운 영상으로 표현하기 위해, 생성부 (130) 는 개별 스크린샷들 사이에 자연스러운 효과가 나타날 수 있도록 사용자의 손가락 또는 펜과 같은 입력 수단의 궤적 또는 움직임을 이미지화하여 스크린샷과 통합하여 동영상을 생성할 수 있다. 이에 따라, 생성부 (130) 는 하나의 세션에서 시간에 따른 인터렉션 데이터에 대응하여 변경되는 화면의 스크린샷을 통합하여 하나의 동영상으로 사용자의 어플리케이션 사용패턴을 생성할 수 있고, 어플리케이션 사용정보 분석자료 제공 모듈 (100) 은 생성부 (130) 에서 생성된 동영상을 어플리케이션 사용정보 분석자료로 제공할 수 있다.Subsequently, when the screen change information exists, the generation unit 130 matches the screen shot of the changed screen with other interaction data corresponding to the changed screen to the resolution information. That is, when the screen is changed according to the interaction data, the generation unit 130 may generate a part of the video by integrating the screenshot and the interaction data of the changed screen and matching the resolution information. For example, in order to express a smoother image between sequential screenshots, the generation unit 130 may track or move an input means such as a user's finger or a pen so that a natural effect may appear between the individual screenshots. Can be imaged and integrated with screenshots to create a video. Accordingly, the generation unit 130 may generate a user's application use pattern as a single video by integrating screenshots of the screen changed in response to the interaction data over time in one session, and application use information analysis data. The providing module 100 may provide a video generated by the generation unit 130 as an application usage information analysis data.
도 4는 본 발명의 다른 실시예에 따른 어플리케이션 사용정보 분석자료 제공 방법에 따라 수집되는 예시적인 화면 데이터를 도시한 것이다.4 illustrates exemplary screen data collected according to an application usage information analyzing data providing method according to another exemplary embodiment of the present invention.
도 4를 참조하면, 어플리케이션 사용정보 분석자료 제공 모듈(100) 은 모바일 디바이스 (200) 의 해상도 정보보다 어플리케이션의 전체 화면이 더 큰 경우, ‘스크롤’에 의한 인터렉션 데이터와 스크린샷을 반영한다. 구체적으로, 어플리케이션 사용정보 분석자료 제공 모듈 (100) 은 해상도 정보보다 어플리케이션의 전체 화면이 더 큰 경우, 데이터 수집부 (110) 를 통해 어플리케이션의 전체 화면에 대한 전체 스크린샷 (521) 과 어플리케이션의 전체 화면에 대한 전체 오브젝트 데이터를 수집한다.Referring to FIG. 4, when the entire screen of the application is larger than the resolution information of the mobile device 200, the application usage information analysis data providing module 100 reflects the interaction data and the screenshot by 'scrolling'. Specifically, the application usage information analysis data providing module 100, if the entire screen of the application is larger than the resolution information, the full screen shot 521 of the entire screen of the application and the entire application through the data collector 110 Collects full object data about the screen.
데이터 수집부 (110) 는 수집된 전체 스크린샷 (521) 과 전체 오브젝트 데이터를 기초로 어플리케이션 화면의 스크롤 여부를 판단할 수 있다. 구체적으로, 어플리케이션의 화면이 스크롤되는 경우, 스크롤 이전 스크린샷 (511) 은 스크롤 이후 스크린샷 (513) 과 비교된다. 데이터 수집부 (110) 는 전체 스크린샷(521) 에 대응하는 스크롤 이전 스크린샷 (511) 의 좌표와 스크롤 이후 스크린샷(513) 의 좌표를 비교하여 화면 이동 정보를 수집할 수 있다. 여기서, 좌표는 전체 스크린샷 (521) 에 상대적인 상대 좌표와 스크린샷 (511) 에 절대적인 절대 좌표를 포함한다. 이에 따라, 데이터 수집부 (110) 는 절대 좌표 또는 상대 좌표를 인터렉션 데이터마다 비교하여 화면 이동 여부 및 스크롤 여부를 판단할 수 있다.The data collector 110 may determine whether the application screen is scrolled based on the collected screenshot 521 and the entire object data. Specifically, when the screen of the application is scrolled, the screenshot 511 before scrolling is compared with the screenshot 513 after scrolling. The data collector 110 may collect screen movement information by comparing the coordinates of the pre-scroll screenshot 511 corresponding to the entire screenshot 521 with the coordinates of the post-scroll screenshot 513. Here, the coordinates include relative coordinates relative to the full screenshot 521 and absolute coordinates absolute to the screenshot 511. Accordingly, the data collection unit 110 may determine whether the screen is moved or scrolled by comparing the absolute coordinates or the relative coordinates for each interaction data.
또한, 데이터 수집부 (110) 는 인터렉션 데이터 중 스크롤 데이터를 더 수집할 수 있다. 이에 따라, 데이터 수집부 (110) 가 화면 이동 정보 및 스크롤 데이터를 수집하는 경우, 데이터 수집부 (110) 는 어플리케이션의 화면이 스크롤되었음을 판단할 수 있다.In addition, the data collector 110 may further collect scroll data among the interaction data. Accordingly, when the data collector 110 collects the screen movement information and the scroll data, the data collector 110 may determine that the screen of the application has been scrolled.
어플리케이션 사용정보 분석자료 제공 모듈 (100) 은 데이터 수집부(110) 에서 수집된 스크린샷, 인터렉션 데이터, 화면 이동 정보 및 스크롤 데이터를 기초로, 어플리케이션의 화면이 스크롤 되는 경우에도 스크롤 전후의 스크린샷과 인터렉션 데이터를 통합하여 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성할 수 있다. Application usage information analysis data providing module 100 is based on the screenshots, interaction data, screen movement information and scroll data collected by the data collection unit 110, even if the screen of the application screen and before and after scrolling and scrolling; By integrating interaction data, a user's application usage pattern can be generated in the form of a video.
도 5는 본 발명의 일 실시예에 따른 어플리케이션 사용정보 분석자료 제공 방법에 따라 제공되는 영상의 일 태양을 도시한 것이다.FIG. 5 illustrates an aspect of an image provided according to an application usage information analyzing data providing method according to an embodiment of the present invention.
도 5를 참조하면, 어플리케이션 사용정보 분석 자료 (400) 는 스크린샷 (411), 오브젝트 (413), 재생 제어 버튼 (415) 및 세션 테이블 (420) 을 포함하는 동영상의 형태로 제공된다. 세션 테이블 (420) 은 사용자의 인터렉션과 인터렉션에 대응하는 시간 정보를 포함하는 인터렉션 데이터들 (421, 423, 425) 을 포함한다.Referring to FIG. 5, the application usage information analysis data 400 is provided in the form of a video including a screenshot 411, an object 413, a playback control button 415, and a session table 420. The session table 420 includes interaction data 421, 423, and 425 including user interaction and time information corresponding to the interaction.
개발자가 재생 제어 버튼 (415) 중 재생 버튼을 선택하면, 하나의 세션에서 발생하는 인터렉션 데이터들 (421, 423, 425) 에 대응하는 스크린샷들이 시간에 따라 재생된다. 즉, 세션 테이블 (420) 에서 각각의 인터렉션 데이터에 대응하는 스크린샷 (411) 이 재생되고, 스크린샷 (411) 에는 사용자의 인터렉션이 오브젝트 (413) 상에 하이라이트되어 표시될 수 있다. When the developer selects the play button among the play control buttons 415, screenshots corresponding to the interaction data 421, 423, and 425 occurring in one session are played over time. That is, a screenshot 411 corresponding to each interaction data is played in the session table 420, and the user's interaction is highlighted and displayed on the object 413 in the screenshot 411.
또한, 개발자는 세션 테이블 (420) 의 인터렉션 데이터 중 하나를 선택하여 원하는 인터렉션에 대한 스크린샷 (411) 을 재생시키고 확인할 수 있다. 즉, 어플리케이션 사용정보 분석자료 제공 모듈 (100) 은 개발자에 의해 선택되는 인터렉션 데이터들 (421, 423, 425) 마다 대응하는 스크린샷을 불연속적으로 재생시킬 수 있다.In addition, the developer can select one of the interaction data in the session table 420 to replay and confirm the screenshot 411 for the desired interaction. That is, the application usage information analysis data providing module 100 may discontinuously reproduce the corresponding screenshot for each of the interaction data 421, 423, and 425 selected by the developer.
예를 들어, 제1 인터렉션 데이터 (421) 인 ’00:04 화면 시작’을 선택하면, 어플리케이션 화면이 시작되는 것에 대응하는 스크린샷이 재생된다. 마찬가지로, 개발자가 제2 인터렉션 데이터 (423) 인 ’00:06 오브젝트 탭(com.example.test:id/btn8)’을 선택하면, 사용자가 오브젝트 (413) 를 탭 (tab)한 인터렉션에 대응하는 스크린샷 (411) 이 재생된다. For example, when the first interaction data 421 '00: 04 screen start 'is selected, a screenshot corresponding to the start of the application screen is played. Similarly, when the developer selects the second interaction data 423 '00: 06 object tab (com.example.test: id / btn8) ', the user corresponds to the interaction in which the user taps the object 413. Screenshot 411 is played.
제3 인터렉션 데이터 (425) 는 크래쉬가 발생하여 화면이 종료된 경우에 대응되는 인터렉션 데이터로 이에 대한 스크린샷은 수집되지 않거나 존재하지 않을 수 있다. 스크린샷이 수집되지 않은 경우, 모바일 디바이스의 해상도 정보와 동일하거나 유사한 해상도 정보를 갖는 스크린샷이 대신 재생될 수도 있다. 구체적으로, 제3 인터렉션 데이터 (425) 가 발생하기 직전인 ’00:10 오브젝트 탭(com.example.test:id/feed_fav_ico)’의 스크린샷이 크래쉬가 발생한 ’00:11’에 대응하는 스크린샷 대신 재생될 수 있다. 또한, 동일하거나 유사한 스크린샷이 존재하지 않는 경우에는 빈 화면인 더미 스크린샷이 재생될 수도 있다. The third interaction data 425 is interaction data corresponding to a case where the screen is terminated due to a crash, and screenshots thereof may not be collected or present. If no screenshot is collected, a screenshot having the same or similar resolution information as that of the mobile device may be played instead. Specifically, the screenshot of '00: 10 object tab com.example.test: id / feed_fav_ico 'immediately before the third interaction data 425 occurs is a screenshot corresponding to '00: 11' where the crash occurs. Can be played instead. In addition, when the same or similar screenshots do not exist, a dummy screenshot which is a blank screen may be played.
개발자가 재생 제어 버튼 (415) 중 정지 버튼을 선택하면, 어플리케이션 사용정보 분석 자료 (400) 의 재생이 정지된다. When the developer selects the stop button among the reproduction control buttons 415, the reproduction of the application usage information analysis data 400 is stopped.
어플리케이션 사용정보 분석자료 제공 모듈 (100) 은 모바일 디바이스의 사용자의 인터렉션을 수신하여 세션을 정의하고, 정의된 세션 동안 인터렉션에 대응하는 스크린샷을 수집하여 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성한다. 이에 따라, 어플리케이션 사용정보 분석자료 제공 모듈 (100) 은 스크린샷만을 이용하여 적은 데이터만으로 동영상으로 어플리케이션 사용정보 분석자료를 제공할 수 있고 적은 비용으로 어플리케이션 사용정보 분석자료를 높은 해상도의 동영상으로 제공할 수도 있다. The application usage information analysis data providing module 100 receives a user interaction of the mobile device to define a session, collects screenshots corresponding to the interaction during the defined session, and generates a user application usage pattern in the form of a video. . Accordingly, the application usage information analysis data providing module 100 can provide the application usage information analysis data as a video using only a small amount of data using only a screenshot, and provide the application usage information analysis data as a high resolution video at a low cost. It may be.
본 명세서에서, 각 블록 또는 각 단계는 특정된 논리적 기능 (들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In this specification, each block or each step may represent a portion of a module, segment or code containing one or more executable instructions for executing a specified logical function (s). It should also be noted that in some alternative embodiments the functions noted in the blocks or steps may occur out of order. For example, the two blocks or steps shown in succession may in fact be executed substantially concurrently or the blocks or steps may sometimes be performed in the reverse order, depending on the functionality involved.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and various modifications can be made without departing from the spirit of the present invention. . Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

Claims (18)

  1. 어플리케이션에 대한 사용자의 인터렉션 데이터를 수신하는 단계;Receiving user interaction data for an application;
    상기 인터렉션 데이터에 대응하여 변경되는 상기 어플리케이션의 화면 변경Screen change of the application that is changed in correspondence to the interaction data
    정보를 기초로 세션을 정의하는 단계;Defining a session based on the information;
    상기 세션에 대응하여 화면 데이터, 상용 데이터 및 상기 어플리케이션이 실행되는 모바일 디바이스의 해상도 정보를 포함하는 모바일 디바이스 데이터를 수집Collecting mobile device data including screen data, commercial data and resolution information of the mobile device on which the application is executed in response to the session.
    하는 단계; 및Making; And
    수집된 상기 화면 데이터 및 상기 상용 데이터를 기초로 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성하는 단계를 포함하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 방법.And generating an application usage pattern of a user in the form of a video based on the collected screen data and the commercial data.
  2. 제1항에 있어서,The method of claim 1,
    상기 화면 데이터는 상기 어플리케이션의 스크린샷 및 상기 어플리케이션의 화면 변경 정보를 포함하고, 상기 상용 데이터는 상기 어플리케이션의 오브젝트 데이터 및 상기 어플리케이션의 인터렉션 데이터를 포함하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 방법.The screen data may include a screenshot of the application and screen change information of the application, and the commercial data may include object data of the application and interaction data of the application. .
  3. 제2항에 있어서,The method of claim 2,
    상기 스크린샷을 수집하지 못하는 경우, 상기 해상도 정보와 동일한 해상도 정보를 갖는 스크린샷, 상기 해상도 정보와 유사한 해상도 정보를 갖는 스크린샷 또는 더미 스크린샷 중 적어도 하나를 기초로 상기 사용패턴을 동영상의 형태로 생성하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 방법.When the screenshot is not collected, the usage pattern is formed in the form of a video based on at least one of a screenshot having the same resolution information as the resolution information, a screenshot having a resolution information similar to the resolution information, or a dummy screenshot. Method for providing an application usage information analysis data, characterized in that the generation.
  4. 제2항에 있어서,The method of claim 2,
    상기 해상도 정보보다 상기 어플리케이션의 전체 화면이 더 큰 경우, If the entire screen of the application is larger than the resolution information,
    상기 수집하는 단계는, The collecting step,
    상기 어플리케이션의 전체 화면에 대한 전체 스크린샷을 수집하고, 상기 어플리케이션의 전체 화면에 대한 전체 오브젝트 데이터를 수집하는 단계를 더 포함하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 방법.And collecting the entire screenshots of the entire screen of the application and collecting the entire object data of the entire screen of the application.
  5. 제4항에 있어서,The method of claim 4, wherein
    상기 수집하는 단계는, The collecting step,
    상기 전체 스크린샷 및 상기 전체 오브젝트 데이터를 기초로 상기 어플리케이션의 화면의 스크롤 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 방법.And determining whether to scroll the screen of the application based on the entire screenshot and the entire object data.
  6. 제5항에 있어서,The method of claim 5,
    상기 어플리케이션의 화면이 스크롤되는 경우,If the screen of the application is scrolled,
    상기 화면 변경 정보는 일정한 주기마다 수집된 상기 스크린샷을 비교하여 획득된 화면 이동 정보를 더 포함하고,The screen change information further includes screen movement information obtained by comparing the screenshots collected at regular intervals,
    상기 상용 데이터는 상기 스크린샷에 대한 스크롤 데이터를 더 포함하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 방법.The commercial data is characterized in that it further comprises scrolling data for the screenshot, application usage information analysis data providing method.
  7. 제2항에 있어서,The method of claim 2,
    상기 생성하는 단계는,The generating step,
    상기 해상도 정보를 기준으로 상기 스크린샷 및 상기 인터렉션 데이터를 통합하는 단계; 및Integrating the screenshot and the interaction data based on the resolution information; And
    상기 화면 변경 정보에 기초하여 변경된 화면에 대한 상기 스크린샷 및 상기 인터렉션 데이터를 통합하는 단계를 포함하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 방법.And integrating the screenshot and the interaction data for the changed screen based on the screen change information.
  8. 제1항에 있어서,The method of claim 1,
    상기 세션은 상기 어플리케이션이 실행되어 종료될 때까지의 기간 또는 상기 어플리케이션이 실행되어 종료된 후 일정 시간이 경과한 때까지의 기간인 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 방법.The session is a period until the application is executed and terminated, or a period until a predetermined time has elapsed after the application is executed and terminated, application usage information analysis data providing method.
  9. 어플리케이션에 대한 사용자의 인터렉션 데이터를 수신하고,Receive user interaction data for the application,
    상기 인터렉션 데이터에 대응하여 변경되는 상기 어플리케이션의 화면 변경정보를 기초로 세션을 정의하고,Define a session based on screen change information of the application that is changed in correspondence to the interaction data,
    상기 세션에 대응하여 화면 데이터, 상용 데이터 및 상기 어플리케이션이 실행되는 모바일 디바이스의 해상도 정보를 포함하는 모바일 디바이스 데이터를 수집하는 데이터 수집부; 및A data collector configured to collect mobile device data including screen data, commercial data, and resolution information of a mobile device on which the application is executed in response to the session; And
    수집된 상기 화면 데이터 및 상기 상용 데이터를 기초로 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성하는 생성부를 포함하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 장치.And a generation unit configured to generate a user's application use pattern in the form of a video based on the collected screen data and the commercial data.
  10. 제9항에 있어서,The method of claim 9,
    수집된 상기 화면 데이터, 상기 상용 데이터 및 상기 모바일 디바이스 데이터를 저장하는 데이터 저장부를 더 포함하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 장치.And a data storage unit for storing the collected screen data, the commercial data, and the mobile device data.
  11. 제9항에 있어서,The method of claim 9,
    상기 화면 데이터는 상기 어플리케이션의 스크린샷 및 상기 어플리케이션의 화면 변경 정보를 포함하고, 상기 상용 데이터는 상기 어플리케이션의 오브젝트 데이터 및 상기 어플리케이션의 인터렉션 데이터를 포함하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 장치.The screen data may include a screenshot of the application and screen change information of the application, and the commercial data may include object data of the application and interaction data of the application. .
  12. 제11항에 있어서,The method of claim 11,
    상기 스크린샷을 수집하지 못하는 경우, 상기 해상도 정보와 동일한 해상도 정보를 갖는 스크린샷, 상기 해상도 정보와 유사한 해상도 정보를 갖는 스크린샷 또는 더미 스크린샷 중 적어도 하나를 기초로 상기 사용패턴을 동영상의 형태로 생성하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 장치.When the screenshot is not collected, the usage pattern is formed in the form of a video based on at least one of a screenshot having the same resolution information as the resolution information, a screenshot having a resolution information similar to the resolution information, or a dummy screenshot. Apparatus for providing an application usage information analysis data, characterized in that the generation.
  13. 제11항에 있어서,The method of claim 11,
    상기 해상도 정보보다 상기 어플리케이션의 전체 화면이 더 큰 경우, If the entire screen of the application is larger than the resolution information,
    상기 데이터 수집부는, The data collection unit,
    상기 어플리케이션의 전체 화면에 대한 전체 스크린샷을 수집하고, 상기 어플리케이션의 전체 화면에 대한 전체 오브젝트 데이터를 수집하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 장치.Collecting a full screen shot of the entire screen of the application, characterized in that to collect the full object data for the full screen of the application, application usage information analysis data providing apparatus.
  14. 제13항에 있어서,The method of claim 13,
    상기 데이터 수집부는, The data collection unit,
    상기 전체 스크린샷 및 상기 전체 오브젝트 데이터를 기초로 상기 어플리케이션의 화면의 스크롤 여부를 판단하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 장치.And determining whether to scroll the screen of the application based on the entire screenshot and the entire object data.
  15. 제14항에 있어서,The method of claim 14,
    상기 어플리케이션의 화면이 스크롤되는 경우,If the screen of the application is scrolled,
    상기 화면 변경 정보는 일정한 주기마다 수집된 상기 스크린샷을 비교하여 획득된 화면 이동 정보를 더 포함하고,The screen change information further includes screen movement information obtained by comparing the screenshots collected at regular intervals,
    상기 상용 데이터는 상기 스크린샷에 대한 스크롤 데이터를 더 포함하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 장치.The commercial data is characterized in that it further comprises scrolling data for the screenshot, application usage information analysis data providing apparatus.
  16. 제11항에 있어서,The method of claim 11,
    상기 생성부는,The generation unit,
    상기 해상도 정보를 기준으로 상기 스크린샷 및 상기 인터렉션 데이터를 통합하고,Integrate the screenshot and the interaction data based on the resolution information,
    상기 화면 변경 정보에 기초하여 변경된 화면에 대한 상기 스크린샷 및 상기 인터렉션 데이터를 통합하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 장치.And integrating the screenshot and the interaction data for the changed screen based on the screen change information.
  17. 제9항에 있어서,The method of claim 9,
    상기 세션은 상기 어플리케이션이 실행되어 종료될 때까지의 기간 또는 상기 어플리케이션이 실행되어 종료된 후 일정 시간이 경과한 때까지의 기간인 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 장치.The session is a period until the application is executed and terminated, or a period until a predetermined time elapses after the application is executed and terminated, application usage information analysis data providing apparatus.
  18. 어플리케이션에 대한 사용자의 인터렉션 데이터를 수신하고,Receive user interaction data for the application,
    상기 인터렉션 데이터에 대응하여 변경되는 상기 어플리케이션의 화면 변경 정보를 기초로 세션을 정의하고,Define a session based on screen change information of the application changed in correspondence with the interaction data,
    상기 세션에 대응하여 화면 데이터, 상용 데이터 및 상기 어플리케이션이 실행되는 모바일 디바이스의 해상도 정보를 포함하는 모바일 디바이스 데이터를 수집하고,Collecting mobile device data including screen data, commercial data, and resolution information of a mobile device on which the application is executed in response to the session;
    수집된 상기 화면 데이터 및 상기 상용 데이터를 기초로 사용자의 어플리케이션 사용패턴을 동영상의 형태로 생성하는 것을 특징으로 하는, 어플리케이션 사용정보 분석자료 제공 방법을 제공하는 명령어들을 저장하는 컴퓨터 판독 가능 매체.And generating instructions for providing an application usage information analyzing data based on the collected screen data and the commercial data.
PCT/KR2014/009113 2014-08-20 2014-09-29 Method and device for providing application usage information analysis material WO2016027923A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0108606 2014-08-20
KR1020140108606A KR101633670B1 (en) 2014-08-20 2014-08-20 Method and apparatus for providing analysis of information of using application

Publications (1)

Publication Number Publication Date
WO2016027923A1 true WO2016027923A1 (en) 2016-02-25

Family

ID=55350857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/009113 WO2016027923A1 (en) 2014-08-20 2014-09-29 Method and device for providing application usage information analysis material

Country Status (2)

Country Link
KR (1) KR101633670B1 (en)
WO (1) WO2016027923A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018030594A1 (en) * 2016-08-10 2018-02-15 Lg Electronics Inc. Mobile terminal and method for controlling the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101118602B1 (en) * 2011-10-10 2012-02-27 어니컴 주식회사 Method and system for gui testing with scene-driven scenario
KR20130010199A (en) * 2011-07-18 2013-01-28 (주) 프람트 A personalization recommendation system of computer application programs through the analyzing meta-data and usage patterns and method thereof
WO2013042802A1 (en) * 2011-09-20 2013-03-28 주식회사 인프라웨어테크놀러지 Emulator for dynamically analyzing behavior information of an android application, system for dynamically analyzing behavior information including same, and computer-readable recording medium having a program for dynamically analyzing behavior information of an android application recorded thereon
KR20140055282A (en) * 2012-10-31 2014-05-09 에스케이플래닛 주식회사 Web appalication error analisis system, apparatus and method for user terminal
KR20140056633A (en) * 2012-10-30 2014-05-12 에스케이플래닛 주식회사 System and method for providing contents based on interest field

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130010199A (en) * 2011-07-18 2013-01-28 (주) 프람트 A personalization recommendation system of computer application programs through the analyzing meta-data and usage patterns and method thereof
WO2013042802A1 (en) * 2011-09-20 2013-03-28 주식회사 인프라웨어테크놀러지 Emulator for dynamically analyzing behavior information of an android application, system for dynamically analyzing behavior information including same, and computer-readable recording medium having a program for dynamically analyzing behavior information of an android application recorded thereon
KR101118602B1 (en) * 2011-10-10 2012-02-27 어니컴 주식회사 Method and system for gui testing with scene-driven scenario
KR20140056633A (en) * 2012-10-30 2014-05-12 에스케이플래닛 주식회사 System and method for providing contents based on interest field
KR20140055282A (en) * 2012-10-31 2014-05-09 에스케이플래닛 주식회사 Web appalication error analisis system, apparatus and method for user terminal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018030594A1 (en) * 2016-08-10 2018-02-15 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10409472B2 (en) 2016-08-10 2019-09-10 Lg Electronics Inc. Mobile terminal and method for controlling the same

Also Published As

Publication number Publication date
KR20160022708A (en) 2016-03-02
KR101633670B1 (en) 2016-06-28

Similar Documents

Publication Publication Date Title
WO2014119886A1 (en) Method and apparatus for multitasking
WO2013048054A1 (en) Method of operating gesture based communication channel and portable terminal system for supporting the same
WO2014035041A1 (en) Interaction method and interaction device for integrating augmented reality technology and bulk data
WO2019035610A1 (en) Game test automation device and method
WO2012077922A2 (en) 3 dimensional (3d) display system of responding to user motion and user interface for the 3d display system
WO2013125789A1 (en) Electronic apparatus, method for controlling the same, and computer-readable storage medium
WO2015174597A1 (en) Voice-controllable image display device and voice control method for image display device
WO2015194709A1 (en) Portable display device and method of controlling therefor
WO2013042815A1 (en) Method of controlling an android platform-based application execution terminal using a smart terminal and computer-readable medium having a computer program for controlling the android platform-based application execution terminal using the smart terminal recorded thereon
WO2014148689A1 (en) Display device capturing digital content and method of controlling threrfor
WO2013118987A1 (en) Control method and apparatus of electronic device using control device
WO2014003448A1 (en) Terminal device and method of controlling the same
WO2017104970A1 (en) Device and system for monitoring urination on basis of user's posture or change in posture, method for monitoring urination, and computer-readable recording medium in which computer program for executing method is recorded
WO2016027923A1 (en) Method and device for providing application usage information analysis material
Shen et al. ${\rm HCI}^{\wedge} 2$ Framework: A Software Framework for Multimodal Human-Computer Interaction Systems
WO2014133258A1 (en) Pen input apparatus and method for operating the same
WO2013115493A1 (en) Method and apparatus for managing an application in a mobile electronic device
CN106325606A (en) Signal scanning method and device of infrared touch equipment and touch equipment
WO2010110614A2 (en) Apparatus and method for controlling terminal
WO2019054534A1 (en) Screenshot method and screenshot apparatus for an electronic terminal
WO2011129659A2 (en) Apparatus for providing digital content and method thereof
WO2022075608A1 (en) Method for performing image-based quiz game and apparatus therefor
WO2014021499A1 (en) Apparatus and method for multi-touch recognition capable of discriminating touch on object
WO2014196743A1 (en) Touchscreen input method and apparatus
WO2017047929A1 (en) Touch screen device capable of executing gesture combination-based event and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14900048

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 02.06.2017)

122 Ep: pct application non-entry in european phase

Ref document number: 14900048

Country of ref document: EP

Kind code of ref document: A1