KR101312446B1 - Analysis apparatus and method for usability of mobile application using user bebavior log - Google Patents
Analysis apparatus and method for usability of mobile application using user bebavior log Download PDFInfo
- Publication number
- KR101312446B1 KR101312446B1 KR1020110124293A KR20110124293A KR101312446B1 KR 101312446 B1 KR101312446 B1 KR 101312446B1 KR 1020110124293 A KR1020110124293 A KR 1020110124293A KR 20110124293 A KR20110124293 A KR 20110124293A KR 101312446 B1 KR101312446 B1 KR 101312446B1
- Authority
- KR
- South Korea
- Prior art keywords
- behavior
- user
- usability
- mobile application
- actual
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
- G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
Abstract
본 발명은 사용자의 행위 로그를 이용한 모바일 어플리케이션의 사용성 분석 장치 및 방법에 관한 것으로, 본 발명의 일 실시예에 따른 모바일 어플리케이션의 사용성을 분석하는 방법은, 사용자로부터 복수 개의 서로 다른 행위가 예측되는 상기 모바일 어플리케이션의 UI(user interface)를 논쟁점(argue point)으로 설정하고, 설정된 논쟁점에 대한 사용자의 행위 로그(behavior log)를 입력받고, 논쟁점에 대해 미리 설정된 예상 행위와 행위 로그로부터 추출된 실제 행위를 논쟁점과 연계하여 저장하며, 논쟁점별로 연계된 예상 행위와 실제 행위를 비교하여 모바일 어플리케이션에 대한 사용성을 판별한다.The present invention relates to an apparatus and method for analyzing a usability of a mobile application using a log of a user's behavior. The method for analyzing usability of a mobile application according to an embodiment of the present invention includes a plurality of different behaviors predicted from a user. Set the UI (user interface) of the mobile application as an argument point, receive the user's behavior log for the set point, and extract from the expected behavior and behavior log preset for the point. The actual behavior is stored in association with the controversy, and the usability of the mobile application is determined by comparing the expected behavior and the actual behavior associated with each controversy.
Description
본 발명은 모바일 어플리케이션의 사용성을 분석하는 기술에 관한 것으로, 특히 모바일 어플리케이션을 사용하는 사용자의 행위 로그를 이용하여 모바일 어플리케이션이 적정하게 설계되었는지, 사용자에게 효율적으로 서비스를 제공하고 있는지 여부를 나타내는 사용성을 분석할 수 있는 장치, 방법 및 그 방법을 기록한 기록매체에 관한 것이다.The present invention relates to a technology for analyzing the usability of a mobile application, and in particular, the usability that indicates whether the mobile application is properly designed by using the behavior log of the user who uses the mobile application or whether the service is efficiently provided to the user. The present invention relates to an apparatus, a method, and a recording medium recording the method.
오늘날 스마트폰의 보급 확산으로 터치, 위치정보 서비스, 음성인식, 증강현실, 소셜네트워크(SNS) 등 그 동안 상상에서만 그려왔던 서비스들이 사용자들에게 제공되고 있다. 하지만, 이와 같은 최신 기술이 적용된 어플리케이션들은 기술 중심적으로 설계된 경향이 있어 소프트웨어 품질 측면에서 개선해야할 점이 많다고 지적되고 있다.With the spread of smartphones today, services such as touch, location information service, voice recognition, augmented reality, and social network (SNS) have been provided to users. However, it is pointed out that applications with the latest technology tend to be technology oriented and there are many things to improve in terms of software quality.
이에 따라, 이하에서 인용되는 비특허문헌 1에 의하면 ISO/IEC 9126에서는 소프트웨어의 품질 요소를 기능성, 신뢰성, 유용성, 효율성, 유지보수성, 이식성으로 정의하고 있다. 이 중 사용성의 경우 언제 어디서나 사용 할 수 있는 모바일 어플리케이션의 특성상 다른 도메인의 어플리케이션과 차별성을 가질 수 있는 요소이다. 또한 스마트폰의 다양한 센서들로 인해 기존 프로그램에서 사용되던 UI(User Interface)방식에서 벗어나 흔들기, 슬라이딩 터치, 사용자 행동 인식 등과 같은 Ux(User Experience)개념으로 바뀌면서 사용성의 폭넓은 확장이 가능해졌으며 스마트폰의 다양한 센서들의 복합적인 상호 작용을 이용해 독특한 서비스를 제공하는 어플리케이션들이 만들어 지고 있고 이를 이용한 많은 비즈니스 활동들이 활발히 이루어지고 있다. 특히, 비특허문헌 2를 참조하면, TAM(Technology Acceptance Model)에서는 이러한 새로운 서비스가 사용자들에게 받아들여질 때 가장 큰 영향을 미치는 요소가 사용성(Usability)이라 한다. 하지만 비특허문헌 3을 통해 최근 닐슨 노만(Nielsen Norman) 그룹이 발표한 스마트폰 어플리케이션의 사용성 조사 보고서에 의하면 많은 스마트폰 어플리케이션이 다양한 센서를 통해 디자인 측면에서 사용자의 많은 호감을 얻고 있지만, 스마트폰의 고유한 특성을 제대로 활용하지 못한 채 어플리케이션 별로 일관성이 결여된 사용자 인터페이스를 제공함으로써 사용자의 혼란을 유발시키고 있다고 발표했다.Accordingly, according to Non-Patent
따라서, 다양한 모바일 어플리케이션을 기획, 개발, 사용하는 일련의 과정 속에서, 해당 어플리케이션이 적정하게 설계되었는지, 이를 사용하는 사용자의 사용 방법이 최초의 기획 의도에 부합하고 있는지를 나타낼 수 있는 객관적인 평가 및 분석 방법의 개발이 요구되고 있다.Therefore, in the process of planning, developing, and using various mobile applications, an objective evaluation and analysis that can indicate whether the application is appropriately designed and how the user's use of the application meets the initial planning intentions. Development of the method is required.
본 발명이 해결하고자 하는 기술적 과제는 종래의 소프트웨어 사용성 분석을 위해 해당 소프트웨어에 대한 직접적인 사용자로부터 설문을 수집하는 주관적이고 정서적인 방식에만 의존하는 한계를 극복하고, 이러한 사용성 분석 기술이 특정 도메인이나 어플리케이션에 특화된 방안들이 아니라 지극히 일반적인 수준에서만 이루어지고 있을 뿐만 아니라, 해당 어플리케이션의 배포 후 지속적으로 사용성 향상을 관리할 수 있는 실질적인 기술적 수단이 존재하지 않는다는 문제점을 극복하고자 한다.The technical problem to be solved by the present invention overcomes the limitation of relying only on a subjective and emotional way of collecting a questionnaire from a direct user of the software for conventional software usability analysis, and this usability analysis technique is applied to a specific domain or application. It is not only specialized methods, but only at a very general level, and overcomes the problem that there is no practical technical means to manage usability improvement continuously after the application is distributed.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 모바일 어플리케이션의 사용성을 분석하는 방법은, 사용자로부터 복수 개의 서로 다른 행위가 예측되는 상기 모바일 어플리케이션의 UI(user interface)를 논쟁점(argue point)으로 설정하는 단계; 상기 설정된 논쟁점에 대한 상기 사용자의 행위 로그(behavior log)를 입력받는 단계; 상기 논쟁점에 대해 미리 설정된 예상 행위와 상기 행위 로그로부터 추출된 실제 행위를 상기 논쟁점과 연계하여 저장하는 단계; 및 상기 논쟁점별로 연계된 상기 예상 행위와 상기 실제 행위를 비교하여 상기 모바일 어플리케이션에 대한 사용성을 판별하는 단계;를 포함한다.In order to solve the above technical problem, a method of analyzing the usability of a mobile application according to an embodiment of the present invention, arguing a user interface (UI) of the mobile application that a plurality of different behaviors are predicted from a user point); Receiving a behavior log of the user with respect to the set dispute point; Storing the expected behavior set in advance for the dispute and the actual behavior extracted from the behavior log in association with the dispute; And determining the usability of the mobile application by comparing the expected behavior with the actual behavior associated with each contention point.
상기된 모바일 어플리케이션의 사용성 분석 방법에서, 상기 모바일 어플리케이션에 대한 사용성을 판별하는 단계는, 상기 모바일 어플리케이션의 객체 내의 제어 식별자를 이용하여 상기 실제 행위로부터 상기 사용자의 행위 리스트를 식별하는 단계; 상기 식별된 행위 리스트 내에 상기 논쟁점을 통해 연계된 상기 예상 행위가 존재하는지 여부를 검사하는 단계; 및 상기 검사 결과에 따라 상기 모바일 어플리케이션에 대한 설계의 적정성 정도를 산출함으로써 상기 사용성을 판별하는 단계;를 포함한다. 특히, 상기 모바일 어플리케이션에 대한 사용성을 판별하는 단계는, 상기 예상 행위와 상기 실제 행위를 비교하여 양자의 차이를 나타내는 사용성 지수를 산출함으로써 상기 모바일 어플리케이션에 대한 사용자의 사용성을 평가할 수 있다.In the usability analysis method of the mobile application, determining the usability for the mobile application comprises: identifying a list of actions of the user from the actual actions using a control identifier in an object of the mobile application; Checking whether the expected behavior associated with the controversy exists in the identified behavior list; And determining the usability by calculating a degree of adequacy of the design for the mobile application according to the inspection result. In particular, the determining of the usability for the mobile application may evaluate the usability of the user for the mobile application by comparing the expected behavior with the actual behavior and calculating a usability index indicating a difference between the two.
또한, 상기된 모바일 어플리케이션의 사용성 분석 방법에서, 상기 사용자의 행위는, 상기 모바일 어플리케이션의 제어 단위를 식별하는 제어 요소와 상기 제어 요소에 대한 사용자의 응답을 나타내는 제스처 요소를 포함하고, 상기 제어 요소는 상기 모바일 어플리케이션 상에서 소정 행위가 발생한 화면을 나타내는 화면 식별자와 상기 모바일 어플리케이션을 구성하는 제어 객체를 나타내는 제어 식별자를 포함하며, 상기 제스처 요소는 상기 제어 요소에 대한 사용자 응답을 나타내는 트리거 이벤트(triggered event), 상기 사용자 응답의 지향을 나타내는 방향 정보 및 상기 사용자 응답의 발생 시간을 나타내는 타임스탬프(time stamp) 중 적어도 하나를 포함한다.In addition, in the usability analysis method of the mobile application, the user's behavior includes a control element identifying a control unit of the mobile application and a gesture element indicating a user's response to the control element. A screen identifier indicating a screen on which a predetermined action occurs on the mobile application and a control identifier indicating a control object constituting the mobile application, wherein the gesture element includes a triggered event indicating a user response to the control element, And at least one of direction information indicating a direction of the user response and a time stamp indicating a time of occurrence of the user response.
나아가, 상기된 모바일 어플리케이션의 사용성 분석 방법은, 상기 판별된 사용성에 따라 상기 예상 행위와 상기 실제 행위의 차이가 발생한 지점을 시각적으로 표시하는 단계;를 더 포함할 수 있을 뿐만 아니라, 상기 사용성 판별 결과를 이용하여 수정된 상기 모바일 어플리케이션에 대해 상기 분석 과정을 반복적으로 수행하고, 각각의 수행에 따른 문제 증상 및 변화 정도를 시계열적으로 저장하는 단계;를 더 포함할 수 있다.Furthermore, the usability analysis method of the mobile application may further include visually displaying a point where a difference between the expected behavior and the actual behavior occurs according to the determined usability. The method may further include repeatedly performing the analysis process on the modified mobile application, and time-series storing problem symptoms and the degree of change according to each performance.
한편, 이하에서는 상기 기재된 모바일 어플리케이션의 사용성을 분석하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.On the other hand, the following provides a computer-readable recording medium recording a program for executing a method for analyzing the usability of the mobile application described above on a computer.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 모바일 어플리케이션의 사용성을 분석하는 장치는, 사용자로부터 복수 개의 서로 다른 행위가 예측되는 상기 모바일 어플리케이션의 UI를 논쟁점으로 설정함으로써 상기 설정된 논쟁점에 대해 수집된 상기 사용자의 행위 로그를 입력받는 입력부; 상기 논쟁점에 대해 미리 설정된 예상 행위와 상기 행위 로그로부터 추출된 실제 행위를 상기 논쟁점과 연계하여 저장하는 저장부; 및 상기 논쟁점별로 연계된 상기 예상 행위와 상기 실제 행위를 비교하여 상기 모바일 어플리케이션에 대한 사용성을 판별하는 처리부;를 포함한다.In order to solve the above technical problem, an apparatus for analyzing the usability of a mobile application according to an embodiment of the present invention, the set dispute by setting the UI of the mobile application for which a plurality of different behaviors are predicted from a user as an argument point An input unit configured to receive an action log of the user collected for a point; A storage unit for storing the expected behavior set in advance for the dispute and the actual behavior extracted from the behavior log in association with the dispute; And a processor configured to determine usability of the mobile application by comparing the expected behavior and the actual behavior associated with the contention points.
상기된 모바일 어플리케이션의 사용성 분석 장치에서, 상기 처리부는, 상기 모바일 어플리케이션의 객체 내의 제어 식별자를 이용하여 상기 실제 행위로부터 상기 사용자의 행위 리스트를 식별하고, 상기 식별된 행위 리스트 내에 상기 논쟁점을 통해 연계된 상기 예상 행위가 존재하는지 여부를 검사하며, 상기 검사 결과에 따라 상기 모바일 어플리케이션에 대한 설계의 적정성 정도를 산출함으로써 상기 사용성을 판별한다. 특히, 상기 처리부는, 상기 예상 행위와 상기 실제 행위를 비교하여 양자의 차이를 나타내는 사용성 지수를 산출함으로써 상기 모바일 어플리케이션에 대한 사용자의 사용성을 평가할 수 있다.In the usability analysis apparatus of the mobile application, the processor identifies the user's action list from the actual action using a control identifier in the object of the mobile application, and links through the controversy in the identified action list. It is determined whether the expected behavior is present, and the usability is determined by calculating a degree of adequacy of the design for the mobile application according to the inspection result. In particular, the processor may evaluate the usability of the user for the mobile application by comparing the expected behavior with the actual behavior and calculating a usability index indicating a difference between them.
또한, 상기된 모바일 어플리케이션의 사용성 분석 장치에서, 상기 사용자의 행위는, 상기 모바일 어플리케이션의 제어 단위를 식별하는 제어 요소와 상기 제어 요소에 대한 사용자의 응답을 나타내는 제스처 요소를 포함하고, 상기 제어 요소는, 상기 모바일 어플리케이션 상에서 소정 행위가 발생한 화면을 나타내는 화면 식별자와 상기 모바일 어플리케이션을 구성하는 제어 객체를 나타내는 제어 식별자를 포함하며, 상기 제스처 요소는, 상기 제어 요소에 대한 사용자 응답을 나타내는 트리거 이벤트, 상기 사용자 응답의 지향을 나타내는 방향 정보 및 상기 사용자 응답의 발생 시간을 나타내는 타임스탬프 중 적어도 하나를 포함한다.In addition, in the usability analysis apparatus of the mobile application, the user's behavior includes a control element identifying a control unit of the mobile application and a gesture element indicating a user's response to the control element. And a screen identifier indicating a screen on which a predetermined action occurs on the mobile application and a control identifier indicating a control object constituting the mobile application, wherein the gesture element includes a trigger event indicating a user response to the control element, and the user. And at least one of direction information indicating a direction of the response and a timestamp indicating a generation time of the user response.
나아가, 상기된 모바일 어플리케이션의 사용성 분석 장치는, 상기 사용성 분석 장치의 처리 결과를 표시하는 디스플레이부;를 더 포함하고, 상기 처리부는 상기 판별된 사용성에 따라 상기 예상 행위와 상기 실제 행위의 차이가 발생한 지점을 판별하여 상기 디스플레이부에 시각적으로 표시할 수 있을 뿐만 아니라, 상기 처리부는 상기 사용성 판별 결과를 이용하여 수정된 상기 모바일 어플리케이션에 대해 상기 분석 과정을 반복적으로 수행하고, 상기 저장부는 각각의 수행에 따른 문제 증상 및 변화 정도를 시계열적으로 저장할 수 있다.Furthermore, the usability analysis apparatus of the mobile application may further include a display unit configured to display a processing result of the usability analysis apparatus, wherein the processing unit generates a difference between the expected behavior and the actual behavior according to the determined usability. In addition to determining a point and visually displaying the point on the display unit, the processor may repeatedly perform the analysis process on the mobile application modified using the usability determination result, and the storage unit may perform Problem symptoms and extent of change can be stored in time series.
본 발명의 실시예들은 사용자에 의해 서로 다른 다양한 반응 행위가 예측되는 논쟁점을 설정하고 설정된 논쟁점에 대한 사용자 로그로부터 추출된 실제 행위와 미리 설정된 예상 행위를 비교함으로써 사용자 행위에 대한 객관적이고 수치화된 분석 결과를 산출할 수 있고, 특히 모바일 어플리케이션의 특징을 고려한 제어 요소와 제스처 요소를 고려하여 사용성을 판별함으로써 문제 증상과 사용자 행위를 보다 정확하게 식별, 분석할 수 있으며, 어플리케이션의 업데이트에 따른 사용자 행위의 변화를 시계열적으로 추적함으로써 해당 어플리케이션의 배포 후 지속적으로 사용성 향상을 관리할 수 있다.Embodiments of the present invention provide an objective and numerical value for a user's behavior by setting a controversy in which different reaction behaviors are predicted by the user, and comparing the actual predicted behavior with a predetermined predicted behavior extracted from the user log for the set controversy. The results of the analysis can be calculated, and in particular, the usability can be determined by considering the control elements and gesture elements considering the characteristics of the mobile application, so that the problem symptoms and user behavior can be identified and analyzed more accurately. By tracking changes in time series, you can manage your usability improvements continuously after the application is deployed.
도 1은 본 발명의 실시예들이 구현되는 모바일 어플리케이션 구동 환경 하에서 해당 어플리케이션의 행위와 그 행위 시나리오를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 사용자 행위 로그를 이용한 모바일 어플리케이션의 사용성을 분석하는 방법을 도시한 흐름도이다.
도 3은 본 발명의 실시예들이 활용하고 있는 사용자 행위 로그를 구성하는 데이터 객체를 분류하여 각각의 데이터들을 예시한 도면이다.
도 4는 본 발명의 실시예들이 채택하고 있는 논쟁점의 설정을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예들에 따른 사용자 행위를 판별하기 위한 사용성 지수를 산출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예들에 따른 모바일 어플리케이션의 사용을 분석하는 방법에서 각각의 컨트롤별로 사용자 행위를 분석하는 방법을 예시한 도면이다.
도 7은 본 발명의 실시예들에서 예상 행위와 실제 행위를 비교함으로써 차이(gap)를 발견하고 이에 기초하여 사용성을 저해하는 문제 증상을 식별하는 방법을 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 사용자 행위 시나리오 기반의 사용성 분석의 일례를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 특정 사용자 행위 시나리오의 비교 대상을 선정하는 방법의 일례를 도시한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 어플리케이션 업데이트에 따른 반복적인 분석 과정을 통해 식별된 어플리케이션의 문제 증상을 비교하여 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 사용자 행위 로그를 이용한 모바일 어플리케이션의 사용성을 분석하는 장치를 도시한 블록도이다.1 is a view for explaining the behavior of the application and its behavior scenario in a mobile application driving environment is implemented embodiments of the present invention.
2 is a flowchart illustrating a method of analyzing a usability of a mobile application using a user behavior log according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating data by classifying data objects constituting a user behavior log utilized by embodiments of the present invention.
4 is an exemplary diagram for explaining a controversy setting adopted by embodiments of the present invention.
5 is a view for explaining a method of calculating a usability index for determining user behavior according to embodiments of the present invention.
FIG. 6 is a diagram illustrating a method of analyzing user behavior for each control in a method of analyzing usage of a mobile application according to embodiments of the present invention.
FIG. 7 is a diagram illustrating a method of finding a gap by comparing expected behavior and actual behavior in embodiments of the present invention and identifying problem symptoms that hinder usability based on the comparison.
8 is a diagram illustrating an example of usability analysis based on a user behavior scenario according to an embodiment of the present invention.
9 is a diagram illustrating an example of a method for selecting a comparison target of a specific user behavior scenario according to an embodiment of the present invention.
FIG. 10 is a diagram illustrating a problem symptom of an application identified through an iterative analysis process according to an application update according to another embodiment of the present invention.
FIG. 11 is a block diagram illustrating an apparatus for analyzing usability of a mobile application using a user behavior log according to an embodiment of the present invention.
본 발명의 실시예들을 설명하기에 앞서 본 발명의 실시예들이 구현, 활용되는 환경에 대해 간략히 소개하고, 실시예들이 활용되는 환경에서 발생하고 있는 문제점을 제시하고자 한다.Prior to describing the embodiments of the present invention, the environment in which the embodiments of the present invention are implemented and utilized will be briefly described, and the problems occurring in the environment in which the embodiments are utilized will be presented.
사용성에 대한 국제 표준인 ISO 9241-11에서는 사용성을 '특정 사용자가 어느 제품을 사용하여 주어진 상황에서 효과적, 효율적으로 만족스럽게 주어진 작업을 달성할 수 있는 정도'라고 정의 하고 있다. 이러한 사용성의 정의는 다분히 추상적이기 때문에 사용성을 높이는데 있어 여러 문제들이 존재한다. 먼저, 어플리케이션 개발 시 사용성에 관한 정답의 부재로 개발자들 간의 회의나 개인의 공학적 테크닉으로 해결 불가능하다는 점이다. 어플리케이션에서 특정 기능을 제공할 시 어떻게 효과적인 방법으로 사용자로부터 데이터를 획득하고 기능을 제공할 것인지에 대한 정답이 없기 때문에 이에 대한 수많은 논쟁이 발생한다. 이 외에도 사용성은 정량적 측정의 어려움이 있다. 사용성을 구성하고 있는 여러 요소들의 경우 이를 측정하기 위한 기준이나 측정 방법에 대해서 연구가 미비한 실정이기 때문에 현재까지도 사용성은 여전히 추상적인 요소로 자리 잡고 있다. 또한, 사용자들은 실제로 제품을 사용해보기 전까지는 진정 원하는 것이 무엇인지 모른다는 문제점이 있다. 이러한 문제점을 해결하기 위해 기존의 연구에서는 프로토타입, 스토리보드 방식을 이용하여 사용자의 설문을 통해 사용성 측정 및 향상을 위한 접근방안들이 제안되어 왔다. 그러나, 이러한 종래의 연구들은 설문 방식의 한계점을 극복하지 못했을 뿐 아니라 특정 도메인이나 어플리케이션에 특화된 방안들이 아니라 일반적인 프로세스를 제안하고 있을 뿐이며, 실제 어플리케이션의 배포 후 지속적인 사용성 향상에 대한 관리 수단이 없다는 점이 문제점으로 지적되었다.ISO 9241-11, the international standard for usability, defines usability as 'the degree to which a particular user can achieve a given task effectively, efficiently and satisfactorily in any given situation.' Since the definition of usability is very abstract, there are many problems in increasing usability. First, there is no right answer regarding usability when developing an application, which cannot be solved by a meeting between developers or individual engineering techniques. A lot of debate arises because when an application provides a specific function, there is no right answer as to how to obtain data from the user and provide the function in an effective way. In addition, usability has difficulty in quantitative measurement. In the case of various components constituting usability, research on the criteria or measurement methods for measuring them has been insufficient, so usability is still an abstract element. Also, users have a problem that they do not know what they really want until they actually try the product. In order to solve this problem, the existing researches have proposed a method for measuring and improving usability through user questionnaire using prototype and storyboard methods. However, these conventional studies have not only overcome the limitations of the survey method, but also suggest general processes rather than specific domain or application-specific methods, and there is no management means for continuous usability improvement after actual application deployment. As pointed out.
따라서, 이하에서 제안된 본 발명의 실시예들은 사용성을 향상시키기 위한 방안으로 특정 스마트폰 어플리케이션 안에서 기록된 로그를 기반으로 어플리케이션을 사용한 사용자의 행위를 비교, 분석하고 이를 기반으로 문제 증상을 식별하고, 식별된 문제 증상을 해결할 수 있는 방안을 제시하는 기법을 제안함으로써 사용자가 직접 사용하면서 행동으로 표출한 특정 어플리케이션만의 문제점을 파악하고 이를 개선하기 위한 실천적인 해결 방안을 마련할 수 있도록 한다. Therefore, embodiments of the present invention proposed below are to compare and analyze the behavior of the user using the application based on the log recorded in a specific smartphone application as a way to improve the usability, and to identify the problem symptoms based on this, By suggesting a technique that suggests ways to solve the identified problem symptoms, it is possible to identify a problem only for a specific application expressed by the user while using it and to prepare a practical solution to improve the problem.
즉, 본 발명의 실시예들은 어플리케이션의 배포 후 해당 어플리케이션을 사용한 사용자의 행위를 분석하는 기법을 제안함으로써 지속적인 사용성 향상을 위한 프로세스을 제시하며, 사용자 행위를 분석하기 위해 스마트폰 어플리케이션에서의 사용자 행위를 보다 구체적으로 정의하고 이를 비교하기 위한 객관적인 기준안을 제시한다. 또한, 이를 기반으로 스마트폰 어플리케이션에서 나타나는 문제 증상을 미리 정의하여 이를 중심으로 문제 증상을 분석하고 해결 방안을 마련한다. 이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명한다.That is, embodiments of the present invention propose a process for improving the continuous usability by proposing a technique for analyzing a user's behavior using the application after the application is distributed, and more specifically, the user's behavior in the smart phone application to analyze the user's behavior. Define concretely and present objective criteria for comparison. In addition, based on this, the problem symptom appearing in the smartphone application is predefined, and the problem symptom is analyzed and a solution is prepared based on this. Hereinafter, with reference to the accompanying drawings will be described embodiments of the present invention in detail.
도 1은 본 발명의 실시예들이 구현되는 모바일 어플리케이션 구동 환경 하에서 해당 어플리케이션의 행위와 그 행위 시나리오를 설명하기 위한 도면이다.1 is a view for explaining the behavior of the application and its behavior scenario in a mobile application driving environment is implemented embodiments of the present invention.
실사용자의 시스템 사용 행위를 기록한 로그 분석을 통해 사용자의 행위를 분석하기에 앞서, 모바일 어플리케이션 설계자는 설계 시 고려한 사용자의 예상 행위를 시나리오 단위로 기술한다. 사용자의 행위 시나리오란, 사용자가 특정 서비스를 제공받기 위해 거쳐야 할 어플리케이션의 대상 화면과 화면상에서 발생하는 제스처들을 시간 순으로 나열한 일련의 시퀀스를 의미하며, 도 1의 (a)와 같이 도식화할 수 있다. 시나리오 기술시 시간 정보는 각 대상화면에 머무르는 시간 혹은 제스처 발생 간의 시점 차이를 설명하며, 로그 상에 기록된 각 행위 간의 선후 관계를 설명할 수 있는 요소이다.Before analyzing the user's behavior through the log analysis of the actual user's system usage behavior, the mobile application designer describes the expected behavior of the user in consideration of the design in scenario units. The behavior scenario of the user refers to a sequence of sequences of the target screen of the application and the gestures occurring on the screen in order of time for the user to receive a specific service, and may be illustrated as shown in FIG. . When describing scenarios, the time information describes the time staying on each target screen or the time difference between gesture occurrences, and can explain the prognostic relationship between each action recorded on the log.
즉, 본 실시예들이 채택하고 있는 사용성 분석 기법은 이와 같이 기술된 설계자가 예상한 사용자의 행위와 실제 사용자가 스마트폰 어플리케이션 상에서 발생시키는 행위를 비교하여 그 차이를 분석하고, 이를 통해 설계자가 예상하지 못한 사용자의 니즈(Needs)를 파악하여 어플리케이션의 유용성을 높일 수 있는 해결방안을 제시하고자 한다.That is, the usability analysis technique adopted by the present embodiments compares the behavior of the user expected by the designer described above with the behavior generated by the actual user on the smartphone application, and analyzes the difference. By identifying the needs of users who do not have access, we propose a solution that can increase the usefulness of the application.
여기서, 설계자가 예상한 사용자의 행위와 실제 사용자가 어플리케이션 상에서 발생시키는 행위를 비교하기 위해서는 특정 행위를 규정짓는 정보의 틀에 대한 정의가 필요하다. 도 1의 (b)를 통해 도시된 바와 같이 본 분석 기법에서 제안하는 사용자의 행위는 몇 가지의 요소로 표현 가능하다.Here, in order to compare the behavior of the user expected by the designer with the behavior generated by the actual user on the application, it is necessary to define a framework of information that defines a specific behavior. As shown in (b) of FIG. 1, the user's behavior proposed by this analysis technique can be expressed by several factors.
먼저, 행위가 발생한 화면에 대한 식별자인 'View_ID'(이하 '화면 식별자'라고 하자.), 그리고 라벨(Label), 뷰(View), 버튼(Button) 등의 어플리케이션을 구성하는 특정 컨트롤의 식별자인 'Control_ID'd이하, '제어 식별자'라고 하자.)를 지정하여야 하며, 지칭된 컨트롤에 행해지는 탭(Tab), 흔들기(Shaking), 슬라이딩 터치(Sliding Touch) 등의 각종 제스처 등은 'Triggered_Event'(이하, '트리거 이벤트'라고 하자.)로 식별된다. 해당 이벤트의 제스처가 방향에 따라 의미가 달라지는 경우, 방향성(direction) 정보까지 식별하여야 한다. 또한 특정 행위가 발생한 시간에 'TimeStamp'(이하 '타임 스탬프'라고 하자.)를 찍어 기록해 사용자가 해당 행동을 취하기 위한 경과 시간을 계산할 수 있다. 사용자가 행동을 결정하는데 걸린 경과 시간에 따라 해당 행위의 의미가 달라질 수 있으므로 이는 행위를 분석하는데 중요한 요소이다. 이제, 행위의 요소를 고려해 행위를 표현하면 다음의 예시와 같다. "사용자는 상품 소개 화면(View)에서 특정 상품 사진을 3초(TimeStamp)동안 본 후, 다음 상품 사진(Control)을 보기 위해 오른쪽에서 왼쪽으로(Direction) 슬라이드(Triggered_Event)를 행한다." 이와 같이 특정 컨트롤에 특정 제스처를 행한 것을 하나의 원자적 행위라 할 수 있는 것이다.First, 'View_ID' (hereinafter referred to as 'screen identifier') of the screen where the action occurs, and the identifier of a specific control constituting an application such as a label, a view, and a button. 'Control_ID'd or less, hereinafter referred to as' control identifier'), and various gestures such as tap, shaking, sliding touch, etc., performed on the referred control are 'Triggered_Event'. (Hereinafter referred to as 'trigger event'). If the gesture of the event changes according to the direction, the direction information must be identified. In addition, by recording a time stamp (hereinafter, referred to as a 'time stamp') at a time when a specific action occurs, a user may calculate an elapsed time to take the action. This is an important factor in analyzing behavior because the meaning of the behavior can vary depending on the elapsed time taken by the user to determine the behavior. Now, expressing the action considering the elements of the action is as follows. "The user sees a specific product picture for 3 seconds (TimeStamp) in the product introduction screen (View), and then performs a slide (Triggered_Event) from right to left to view the next product picture (Control)." In this way, a specific gesture to a specific control is an atomic action.
요약하건대, 이하에서 기술될 본 발명의 실시예들에서, 사용자의 행위는, 모바일 어플리케이션의 제어 단위를 식별하는 제어 요소와 제어 요소에 대한 사용자의 응답을 나타내는 제스처 요소를 포함한다. 이 때, 제어 요소는, 모바일 어플리케이션 상에서 특정 행위가 발생한 화면을 나타내는 화면 식별자와 모바일 어플리케이션을 구성하는 제어 객체를 나타내는 제어 식별자를 포함할 수 있다. 또한, 제스처 요소는, 제어 요소에 대한 사용자 응답을 나타내는 트리거 이벤트(triggered event), 사용자 응답의 지향을 나타내는 방향 정보 및 사용자 응답의 발생 시간을 나타내는 타임스탬프(time stamp) 중 적어도 하나를 포함할 수 있다.In summary, in embodiments of the present invention described below, the user's behavior includes a control element identifying a control unit of the mobile application and a gesture element representing the user's response to the control element. In this case, the control element may include a screen identifier indicating a screen on which a specific action occurs on the mobile application and a control identifier indicating a control object constituting the mobile application. In addition, the gesture element may include at least one of a triggered event indicating a user response to the control element, direction information indicating a direction of the user response, and a time stamp indicating an occurrence time of the user response. have.
도 2는 본 발명의 일 실시예에 따른 사용자 행위 로그를 이용한 모바일 어플리케이션의 사용성을 분석하는 방법을 도시한 흐름도로서 다음과 같은 단계들을 포함한다.2 is a flowchart illustrating a method of analyzing a usability of a mobile application using a user behavior log according to an embodiment of the present invention, and includes the following steps.
210 단계에서, 모바일 어플리케이션의 사용성 분석 장치는 사용자로부터 복수 개의 서로 다른 행위가 예측되는 모바일 어플리케이션의 UI(user interface)를 논쟁점(argue point)으로 설정한다. 여기서, 논쟁점이란 최초에 모바일 어플리케이션의 UI를 설계, 디자인하는 단계에서 사용자에게 다수의 대체될 수 있는 행위/결정이 이루어질 수 있다고 예상되었던 부분으로서, 사용자 행위 로그 분석을 통해 사용자의 행위에 대한 관찰과 분석이 요구되는 디자인 결정 포인트(design decicion point)를 의미한다. 즉, 본 발명의 실시예들은 모바일 어플리케이션에서 발생할 수 있는 모든 사용자 행위를 모니터링(monitoring)하는 것이 아니라, 사용자에 의해 행위 결정에 혼란이 야기될 우려가 있는 부분을 사전에 논쟁점으로 설정하여 놓고, 해당 논쟁점을 중심으로 사용자의 실제 행위가 어떠한 방식으로 나타나는지를 관찰하게 된다.In step 210, the usability analysis apparatus of the mobile application sets a user interface (UI) of the mobile application in which a plurality of different behaviors are predicted from a user as an argument point. Here, the point of controversy is that a number of possible actions / decisions can be made to the user at the stage of designing and designing the UI of the mobile application. It means a design decicion point that requires analysis and analysis. That is, the embodiments of the present invention do not monitor all user behaviors that may occur in the mobile application, but set a controversial point in advance that may cause confusion in decision making by the user. Based on the controversy, we observe how the user's actual behavior is represented.
220 단계에서, 사용성 분석 장치는 210 단계를 통해 설정된 논쟁점에 대한 사용자의 행위 로그(behavior log)를 입력받는다. 실제 사용자 행위에 대한 모니터링은 각각의 개별 사용자가 사용하는 모바일 기기를 통해 이루어지며, 해당 모바일 기기에 설치된 모니터링 소프트웨어를 통해 사용자의 행위가 기록된 후, 본 실시예에 따른 사용성 분석 장치로 전달되어 입력된다. 이러한 전달 과정은 모바일 기기와 사용성 분석 장치간에 데이터 통신을 위해 활용될 수 있는 모든 통신 수단이 활용될 수 있다. 예를 들어, 무선 통신이나 유선 통신을 이용해 기록, 수집된 사용자 행위 로그를 사용성 분석 장치로 전달할 수도 있을 것이며, 별도의 저장 매체를 직접 사용성 분석 장치에 연결하여 사용자 행위 로그를 전달할 수도 있을 것이다.In operation 220, the usability analysis apparatus receives a user's behavior log for the controversy set in operation 210. Monitoring of actual user behavior is performed through a mobile device used by each individual user, the user's behavior is recorded through monitoring software installed on the mobile device, and then transmitted to the usability analysis apparatus according to the present embodiment. do. This transfer process may utilize any communication means that can be utilized for data communication between the mobile device and the usability analysis device. For example, the user behavior log recorded and collected through wireless or wired communication may be delivered to the usability analysis device, or the user behavior log may be delivered by directly connecting a separate storage medium to the usability analysis device.
230 단계에서, 사용성 분석 장치는 논쟁점에 대해 미리 설정된 예상 행위와 행위 로그로부터 추출된 실제 행위를 논쟁점과 연계하여 저장한다. 앞서 설명한 바와 같이 논쟁점은 사용자의 행위 결정에 혼란이 야기될 우려가 있는 부분에 해당하므로, 이러한 논쟁점을 중심으로 최초의 어플리케이션 설계자가 의도했던 예상 행위와 실제 수집된 사용자의 행위를 연결하여 분석에 활용하도록 한다.In
240 단계에서, 사용성 분석 장치는 논쟁점별로 연계된 예상 행위와 실제 행위를 비교하여 모바일 어플리케이션에 대한 사용성을 판별한다. 보다 구체적으로, 모바일 어플리케이션에 대한 사용성을 판별하는 단계는, 모바일 어플리케이션의 객체 내의 제어 식별자를 이용하여 실제 행위로부터 사용자의 행위 리스트를 식별하고, 식별된 행위 리스트 내에 논쟁점을 통해 연계된 예상 행위가 존재하는지 여부를 검사하며, 검사 결과에 따라 모바일 어플리케이션에 대한 설계의 적정성 정도를 산출함으로써 사용성을 판별한다. 보다 구체적인 사용성 판별 방법은 이후에 다시 도 5 내지 도 6을 통해 설명하도록 한다.In operation 240, the usability analysis apparatus determines the usability of the mobile application by comparing the predicted behavior and the actual behavior associated with each issue. More specifically, the determining of the usability for the mobile application may include identifying a user's behavior list from the actual behavior using a control identifier in the object of the mobile application, and predicting behaviors associated through controversy in the identified behavior list. It checks whether there exists, and determines the usability by calculating the degree of adequacy of the design for the mobile application according to the inspection result. A more specific method of determining usability will be described later with reference to FIGS. 5 through 6.
한편, 이상에서 기술된 일련의 사용성 분석 과정은 적어도 하나의 프로세서(processor)를 구비한 사용성 분석 장치를 통해 구현될 수 있다. 또한, 일련의 연산을 수행하는 과정에서 데이터를 임시로 적재하는 메모리(memory) 내지 각각의 하드웨어를 제어하는 컨트롤러(controller)가 활용될 수도 있다. 물론, 이상의 하드웨어들을 제어하기 위한 프로그램 코드로 구현된 소프트웨어가 부가될 수 있음은 당연하다. 따라서, 본 발명의 실시예들이 속하는 기술 분야에서 본 발명의 실시예들이 구현되는 환경의 특성을 이해하는 통상의 기술자들은 이상의 사용성 분석 장치가 물리적인 하드웨어와 이를 제어하는 소프트웨어의 결합으로서 구현될 수 있음을 알 수 있다.Meanwhile, the series of usability analysis processes described above may be implemented through a usability analysis device having at least one processor. In addition, in the process of performing a series of operations, a memory for temporarily loading data or a controller for controlling each hardware may be utilized. Of course, software implemented as program code for controlling the above hardware can be added. Accordingly, those skilled in the art to which the embodiments of the present invention pertain to understand the characteristics of the environment in which the embodiments of the present invention are implemented may enable the above usability analysis device to be implemented as a combination of physical hardware and software controlling the same. It can be seen.
나아가, 250 단계에서 사용성 분석 장치는 240 단계를 통해 판별된 사용성에 따라 예상 행위와 실제 행위의 차이가 발생한 지점을 시각적으로 표시할 수 있다. 이러한 과정은 반복적인 어플리케이션 업데이트에 따른 문제 증상의 개선 상황을 사용자가 쉽게 인지하기 위한 것으로서, 필요에 따라 선택적으로 수행될 수 있다.In
이를 위해, 260 단계에서는 240 단계의 사용성 판별 결과를 이용하여 수정된 모바일 어플리케이션에 대해 이상의 일련의 분석 과정(210 단계 내지 240 단계)을 반복적으로 수행하고, 각각의 수행에 따른 문제 증상 및 변화 정도를 시계열적으로 저장하는 것이 바람직하다. 이렇게 반복적으로 누적된 데이터는 250 단계를 통해 사용자에게 표시되게 된다.To this end, in
도 3은 본 발명의 실시예들이 활용하고 있는 사용자 행위 로그를 구성하는 데이터 객체를 분류하여 각각의 데이터들을 예시한 도면으로서, 앞서 도 1을 통해 정의하였던 사용자 행위의 개별 요소에 따른 것이다.FIG. 3 is a diagram illustrating data by classifying data objects constituting a user behavior log utilized by embodiments of the present invention, and according to individual elements of the user behavior defined through FIG. 1.
도 3에서 'views'는 행위가 발생한 화면을 식별할 수 있는 화면 식별자 리스트를 표시하고 있고, 'controls'는 해당 화면에서 제어의 대상이 되는 개체들을 나타내는 제어 식별자 리스트를 표시하고 있으며, 'triggered event'는 해당 제어 객체에서 특정 컨트롤에 행해지는 각종 제스처 리스트를 표시하고 있다. 즉, 본 발명의 실시예들은 모니터링하고자 하는 대상을 도 3에 예시된 바와 같은 계층적인 데이터 구조를 이용해 식별하고 그 변화를 기록하여 사용자 행위 로그를 생성할 수 있다.In FIG. 3, 'views' displays a screen identifier list for identifying a screen on which an action occurs, 'controls' displays a control identifier list indicating objects to be controlled on the screen, and 'triggered event'. 'Indicates a list of gestures performed on a particular control in the control object. That is, embodiments of the present invention may generate a user behavior log by identifying an object to be monitored using a hierarchical data structure as illustrated in FIG. 3 and recording the change.
도 4는 본 발명의 실시예들이 채택하고 있는 논쟁점의 설정을 설명하기 위한 예시도이다.4 is an exemplary diagram for explaining a controversy setting adopted by embodiments of the present invention.
사용자가 모바일 어플리케이션 상에서 발생시키는 행위를 로그로 기록하기 위해 어플리케이션을 구성하는 컨트롤들의 이벤트 핸들러(event handler)에 관련 소스 코드를 삽입하게 된다. 하지만, 모든 컨트롤에 이 같은 소스 코드를 삽입하게 되면 어플리케이션의 반응 속도가 늦어져 오히려 사용성을 저하시키는 요인이 될 수 있다. 따라서, 본 발명의 실시예들에서는 어플리케이션 설계 시 설계자들 사이에서 사용성과 관련하여 논쟁이 된 부분(논쟁점)과 관련된 컨트롤들만 사용자 행위 로그를 기록하도록 하였다.The relevant source code is inserted into the event handlers of the controls that make up the application to log the actions that the user takes on the mobile application. However, incorporating such source code into all controls can slow down the application's response and reduce usability. Therefore, in the embodiments of the present invention, only the controls related to the disputed part (controversy point) regarding usability among designers in the application design are recorded in the user behavior log.
도 4는 로그인 화면에 대해 설계자들 사이에서 발생한 논쟁점(Argue Point)을 나타내고 있다. 사용자들은 로그인 시에 보안규정에 대한 동의를 해야 하는데 이에 대한 화면 구성으로 한 화면에 모두 표기하자는 의견이 있었고 다른 의견으로 로그인 버튼 클릭 후 알림 창으로 표기하자는 의견이 제시되었다. 두 가지 선택안 중에서 첫째 안에 따라 초기 버전의 어플리케이션이 배포되었다. 그리고 논쟁점이 되었던 로그인 화면은 논쟁점 "ADI_01 : 보안규정의 표시방식"으로 등록되어 이와 관련된 컨트롤들에서 일어난 사용자의 모든 행위들은 로그로 기록하도록 하였다. 도 4에는 'ADI_01'과 관련한 화면 식별자(410)와 제어 식별자(420)가 연계되어 관리되고 있음을 예시하고 있다.4 illustrates an Argue Point that occurred between designers for the login screen. Users have to agree to security regulations when logging in. There was an opinion that all the screens should be displayed on one screen as the screen configuration, and other opinions suggested to display the notification window after clicking the login button. The first version of the application was distributed according to the first of the two options. The controversial login screen was registered with the controversial "ADI_01: Security Code Display" to log all user actions that occurred in the associated controls. 4 illustrates that the
도 5는 본 발명의 실시예들에 따른 사용자 행위를 판별하기 위한 사용성 지수를 산출하는 방법을 설명하기 위한 도면이다.5 is a view for explaining a method of calculating a usability index for determining user behavior according to embodiments of the present invention.
앞서 도 1을 통해 규정하는 요소에 의해 표현 가능한 스마트폰 상에서 발생하는 사용자의 행위를 비교 분석하기 위해서는 사용자가 발생시키는 행위가 설계자가 예측한 행위와 비교하여 동일한 것인지 아닌지 여부를 판별하기 위한 규칙이 필요한 데, 이는 도 5의 수식과 같다.In order to compare and analyze the user's behavior occurring on the smartphone that can be expressed by the factors defined through FIG. 1, a rule for determining whether the behavior generated by the user is the same as compared to the behavior predicted by the designer is necessary. This is the same as the formula of FIG.
판단은 크게 두 가지 기준으로 이루어지는데, ① '시간'과 ② '시간이 아닌 요소'가 바로 그것이다. 보다 구체적으로, 본 발명의 실시예들에서 행위의 원자적 요소 중 시간을 제외한 나머지 요소가 하나라도 다를 경우에 양자(측정된 실제 행위와 예상 행위를 의미한다.)는 다른 행위로 판별되며, 모두 동일한 경우라 하더라도 해당 행위를 수행하는 데 소요된 시간에 따라 동일한 행위인지 아닌지가 결정된다. 만약 실제 사용자가 행한 행위가 설계자가 예상한 소요 시간보다 많은 시간이 결렸을 경우, 나머지 요소가 모두 일치한다 하더라도 해당 어플리케이션 사용성에 문제가 있음을 의미하므로, 도 5의 수식이 의미하는 바와 같이 두 행위간의 일치 정도는 설계자의 예측 소요시간 대비 사용자의 예측 소요시간의 비율에 따라 결정된다.Judgment is largely based on two criteria: ① 'time' and ② 'non-time factor'. More specifically, in the embodiments of the present invention, when at least one of the atomic elements of the action except for time is different, both (means measured actual action and expected action) are determined as different actions, and both Even if it is the same, the time taken to perform the action determines whether it is the same action or not. If the action performed by the actual user is longer than the time expected by the designer, it means that there is a problem in the usability of the corresponding application even though all the remaining elements match, so as shown in the formula of FIG. The degree of agreement between the two is determined by the ratio of the user's prediction time to the designer's prediction time.
요약하건대, 모바일 어플리케이션에 대한 사용성 판별은 예상 행위와 실제 행위를 비교하여 양자의 차이를 나타내는 사용성 지수를 산출함으로써 모바일 어플리케이션에 대한 사용자의 사용성을 평가하게 된다. 이 때, 사용성 지수는, 예상 행위와 실제 행위의 개별 구성 요소가 일치하는지 여부에 따라 산출되며, 예상 행위에 대해 설정된 임계 시간과 실제 행위가 발생한 시간을 고려하여 차등적으로 값을 갖는다.In summary, usability determination for a mobile application evaluates the user's usability for a mobile application by comparing a predicted behavior with a real behavior and calculating a usability index indicating a difference between the two. In this case, the usability index is calculated based on whether the expected behavior and the individual components of the actual behavior match, and have a differential value in consideration of the threshold time set for the expected behavior and the time at which the actual behavior occurred.
도 5에서 확인할 수 있듯이, ① 예상 행위와 실제 행위가 일치하고 실제 행위가 예상 행위에 대해 설정된 임계 시간 내에 발생한 경우, 사용성 지수는 최대값(도 5에서는 '1'로 설정하였다.)으로 설정된다. ② 예상 행위와 실제 행위가 일치하나 실제 행위가 예상 행위에 대해 설정된 임계 시간을 도과하여 발생한 경우, 도과된 시간에 반비례하여 설정된다. 즉, 임계 시간을 많이 도과할수록 사용성 지수는 낮게 산출된다. ③ 예상 행위와 실제 행위가 일치하지 않는 경우, 최저값(도 5에서는 '0'으로 설정하였다.)으로 설정된다.As can be seen in FIG. 5, when the expected behavior matches the actual behavior and the actual behavior occurs within a threshold time set for the expected behavior, the usability index is set to a maximum value (in FIG. 5, set to '1'). . ② If expected behavior and actual behavior coincide, but the actual behavior occurs by exceeding the threshold time set for the expected behavior, it is set in inverse proportion to the time passed. In other words, the more the critical time is passed, the lower the usability index is. (3) When the expected behavior and the actual behavior do not coincide, the minimum value is set to '0' in FIG. 5.
도 6은 본 발명의 실시예들에 따른 모바일 어플리케이션의 사용을 분석하는 방법에서 각각의 컨트롤별로 사용자 행위를 분석하는 방법을 예시한 도면이다.FIG. 6 is a diagram illustrating a method of analyzing user behavior for each control in a method of analyzing usage of a mobile application according to embodiments of the present invention.
설계자는 설정된 논쟁점과 관련된 모든 컨트롤에 대해 예상되는 사용자의 행위를 설정할 수 있다. 이를 위해 먼저, 설계자는 자신이 예상한 사용자의 행위 그대로 어플리케이션을 사용한다. 설계자가 행한 행위로 인해 생성된 로그 파일은 사용자로부터 얻은 로그 파일을 분석할 때 대조군으로 쓰인다. 모든 논쟁점에 대해 이와 같은 대조군을 형성한 후, 어플리케이션을 배포하고 실사용자들에게 설정된 논쟁점과 관련된 모든 행위가 기록된 로그 파일을 획득한다. 그런 후, 이 둘을 비교 분석해 문제 증상을 파악하고 해결 방안을 마련한다.The designer can set the expected user behavior for all controls associated with the set point. To do this, the designer first uses the application exactly as the user expects. The log file created by the designer's actions is used as a control when analyzing log files obtained from users. After forming such a control for all disputes, distribute the application and obtain a log file that records all actions related to the disputes set for end users. Then compare and analyze the two to identify problem symptoms and come up with solutions.
도 6의 로그는 설계자가 예상한 수많은 사용자 행위 중 앞서 예시한 도 4에서 제시하고 있는 로그인 화면의 보안 규정 동의 버튼에 대한 설계자 예상 사용자 행위이다. 해당 로그 파일을 보면, 로그인 화면(VID_L_01)의 보안 규정 동의 버튼(Ctrl_Agree_Button)은 탭(Tab) 제스처가 사용 가능하며, 사용자에게 3초 이내(즉, 설정된 임계 시간은 3초이다.) 식별되어야 한다는 사실을 알 수 있다.The log of FIG. 6 is a designer's expected user action for the security rule consent button of the login screen shown in FIG. If you look at the log file, the security policy consent button (Ctrl_Agree_Button) of the login screen (VID_L_01) must be identified to the user within 3 seconds (that is, the set threshold time is 3 seconds) with the tap gesture enabled. I can see the fact.
논쟁점과 관련된 모든 컨트롤에서 일어나는 사용자 행위를 기록한 로그 파일들이 획득되면 이를 이용해 설계자가 예상한 사용자의 행위 혹은 행위 시나리오와 비교 분석하여 문제 증상을 식별한다. 문제 증상 식별을 위한 분석 방법은 분석 대상 범위에 따라 컨트롤별 행위 분석과 사용자 시나리오별 행위 분석으로 분류될 ㅅ수 있다. 이하에서는 우선 컨트롤별 행위 분석 기법에 대해 설명한다.When log files are recorded that record user behavior in all of the controversial controls, they can be used to identify the problem symptom by comparing it to the expected user behavior or behavior scenario. The analysis methods for problem symptom identification can be classified into behavior analysis by control and behavior analysis by user scenario according to the scope of analysis. Hereinafter, the behavior analysis technique for each control will be described.
컨트롤별 행위 분석 기법은 행위의 관계를 고려하지 않고 특정 컨트롤에서 발생할 수 있는 행위 각각을 분석함으로써 문제증상을 식별하는 기법이다. 앞서 언급한 도 6의 로그와 관련해 실제 사용자의 행위가 기록된 로그 파일들을 분석한 결과 보안 규정 동의 버튼과 관련된 실제 사용자의 행위가 도 6의 (b)와 같이 3가지 종류(610, 620, 630)가 발견되었다.The behavior analysis technique by control is a technique of identifying problem symptoms by analyzing each behavior that can occur in a specific control without considering the relationship of the behavior. As a result of analyzing the log files in which the actual user's actions are recorded with respect to the above-mentioned log of FIG. 6, there are three kinds of actual user actions related to the security policy agreement button as shown in FIG. ) Was found.
우선, 첫 번째 행위(610)를 보면 'View_ID'와 'Control_ID'를 통해 보안 규정 동의 버튼와 관련된 행위라는 사실을 알 수 있고, 설계자가 예상한 'TAB' 이벤트를 행했으며, 이전 행위를 기준으로 2초 간격을 두고 해당 행위를 행한 사실을 알 수 있다. 이를 앞서 도 5를 통해 제시한 행위 판별법(사용성 지수 산출 방법)에 적용시켜 보면, 설계자가 예상한 사용자 행위와 일치한다는 결과가 도출된다.First of all, the
두 번째 행위(620)의 경우, 사각 표시된 'Direction'과 'Triggered_Event' 요소에서 설계자 예상 행위와 다름이 판별된다. 이를 분석해 보면, 해당 컨트롤을 사용자가 사용하는데 있어 설계자가 예상하지 못했던 행위이기 때문에 특정 컨트롤을 사용하는 과정에서 설계자가 예상하지 못한 행위가 발견되었을 때 식별되는 "Wrong Expected Gesture"가 문제 증상으로 진단 내려진다. 이에 대해 "[VID_L_01 : Ctrl_Agree_Button]에 [Slide : RightToLeft]와(과) 같은 제스처가 발생 가능성이 있으니 해당 제스처에 대한 기능 추가하거나 오해 요소 제거 요망."과 같은 해결 방안이 제시될 수 있다.In the case of the
마지막으로 세 번째 로그(630)에 기록된 'TimeStamp' 값은 5로서 설계자가 해당 화면에 머무르는 예상 시간인 2초를 초과한 것을 파악할 수 있다. 즉, 사용자가 설계자가 예상한 동작은 수행하였으나, 특정 컨트롤에 정의된 행위를 수행하는데 오랜 시간이 걸렸으므로 사용자의 관점에서는 제공된 화면을 이해하는 데 많은 시간이 소요된 것을 의미하여, 화면 디자인에 대한 "Low Readability"문제가 발생함을 알 수 있다. 이렇게 진단한 각각의 타입별 문제에 대해서는 "[VID_L_01 : Ctrl_Agree_Button]의 위치를 변경하거나 해당 컨트롤을 다른 방식으로 표현하기를 추천함."과 같은 해결 방안을 정의하였다. 앞서 언급한 2개의 문제 증상 외에도 "Wrong Default Value"와 같이 설계자가 컨트롤의 기본값(Default Value)을 잘못 예상하여 사용자가 자주 수정할 때 나타나는 문제 증상의 타입을 추가적으로 식별하였으며, 이에 대응하는 해결방안을 정의하였다. Finally, the value of 'TimeStamp' recorded in the
설계자가 예상한 행위와 다른 행동 양식을 보이는 사용자의 로그가 한 건 존재한다고 해서 모두 문제 증상으로 식별되지는 않는다. 수집한 로그의 양에 대비하여 적정한 한계점(Threshold)를 초과하는 사용자의 행위가 설계시의 예상 행위와 상이한 것으로 분석될 경우 위와 같은 문제 증상을 진단하도록 한다. 예를 들어, 검증 과정에서 그 한계점은 50%를 적용할 수 있을 것이다. 즉, 반 이상의 행위가 설계 행위와 상이할 경우 문제 증상으로 식별함을 의미한다. 한계점 수치는 어플리케이션의 특성을 고려하여 해당 개발 조직에서 설정하는 것이 바람직하다.The presence of a user's log that exhibits a behavior different from the designer's expected behavior does not necessarily identify a problem symptom. If the user's behavior that exceeds the appropriate threshold against the amount of collected logs is analyzed to be different from the expected behavior in the design, diagnose the above symptom. For example, in the verification process, the threshold may apply 50%. That is, if more than half of the behavior is different from the design behavior, it means that it is identified as a problem symptom. The threshold value should be set by the development organization considering the characteristics of the application.
도 7은 본 발명의 실시예들에서 예상 행위와 실제 행위를 비교함으로써 차이(gap)를 발견하고 이에 기초하여 사용성을 저해하는 문제 증상을 식별하는 방법을 예시한 도면이다.FIG. 7 is a diagram illustrating a method of finding a gap by comparing expected behavior and actual behavior in embodiments of the present invention and identifying problem symptoms that hinder usability based on the comparison.
앞서 소개한 바와 같이 설계자의 예상 행위와 사용자의 실제 행위 간의 비교를 통해 발견된 차이(gap)는 사용성 정도를 낮추기 위한 도구로서 활용될 수 있다. 즉, 발견된 차이를 기반으로 사용성을 저해하는 징후(symptom) 내지 문제 증상을 식별하는 것이 가능하다. 이러한 징후 내지 문제 증상은 도 7에 예시된 바와 같이 'navigated views'(사용자의 행위에 의해 표시된 화면), 'focused controls'(포커스된 제어 객체), 'triggered event'(트리거 이벤트), 'elapsed time'(임계 시간을 넘겨 도과된 시간), 'provided information'(설계자에 의해 결정된 정보)의 측면을 고려하여 식별될 수 있다.As introduced above, the gap found through the comparison between the expected behavior of the designer and the actual behavior of the user can be used as a tool for reducing the usability. That is, it is possible to identify symptom or problem symptoms that inhibit usability based on the differences found. These signs or problem symptoms may include 'navigated views' (screens displayed by the user's actions), 'focused controls', 'triggered events', and 'elapsed time' as illustrated in FIG. Can be identified by considering aspects of 'provided information'.
이하에서는 사용자 행위 시나리오 기반 분석 기법을 설명하도록 한다.The following describes the user behavior scenario based analysis technique.
도 8은 본 발명의 일 실시예에 따른 사용자 행위 시나리오 기반의 사용성 분석의 일례를 도시한 도면이며, 도 9는 본 발명의 일 실시예에 따른 특정 사용자 행위 시나리오의 비교 대상을 선정하는 방법의 일례를 도시한 도면이다.8 is a diagram illustrating an example of usability analysis based on a user behavior scenario according to an embodiment of the present invention, and FIG. 9 is an example of a method of selecting a comparison target of a specific user behavior scenario according to an embodiment of the present invention. Figure is a diagram.
사용자 행위 시나리오 기반 분석 기법은 논쟁점과 관련된 컨트롤들을 조작하여 특정 서비스를 받는데 있어 설계자가 예상하는 사용자의 행위 시나리오와 실제 사용자가 행한 행위 시퀀스를 비교 분석하여 문제증상을 찾아내는 기법이다.The user behavior scenario-based analysis technique finds problem symptoms by comparing and analyzing the user's behavior scenario expected by the designer and the actual user's behavior sequence in receiving a specific service by manipulating the control related to the controversy.
도 8은 앞서 도 4를 통해 언급한 로그인 화면에 대한 사용자 행위 시나리오 기반 분석의 예를 나타내고 있다. 먼저, 도 8의 (a)와 같이 로그인을 하는데 있어 설계자는 예상되는 사용자 행위 그대로 어플리케이션을 사용하여 분석 시 사용될 대조군을 만든다. 그런 다음, 사용자가 행한 수많은 행위가 기록된 로그를 수집한다. 로그가 수집되면 가장 먼저, 앞서 설계자가 만든 대조군과 비교하여 분석할 대상을 도 9와 같은 방법으로 선정한다. 먼저, 도 9의 (b)와 같이 로그에 기록된 수많은 행위 중 도 9의 (a)에서 첫 번째 행위인 1번 행위와 일치한 행위를 찾는다. 다음으로 도 9의 (b)에서 찾은 1번 행위보다 늦게 기록된 행위 중 도 9의 (a)의 마지막 행위인 6번 행위와 일치하는 행위를 찾는다. 마지막으로 선정된 도 9의 (b)의 1번 행위와 6번 행위 사이에 있는 모든 행위가 도 9의 (a)에 나타나있는 2, 3, 5행위를 포함하는지 확인한다. 만약, 포함된다면 해당 범위의 행위들이 도 9의 (a)에 나타난 사용자 행위 시나리오와 비교 분석할 대상이 된다. 이와 같은 방법으로 사용자의 행위 중 도 8의 (b)의 행위들이 도 8의 (a)의 사용자 행위 시나리오와의 분석 대상으로 선정되었다.8 illustrates an example of a user behavior scenario based analysis of the login screen mentioned above with reference to FIG. 4. First, in logging in as shown in (a) of FIG. 8, the designer creates a control group to be used for analysis using the application as expected user behavior. Then, it collects logs that record a number of actions taken by the user. When the log is collected, first, a target to be analyzed is selected by a method as shown in FIG. 9 in comparison with a control made by the designer. First, among the numerous actions recorded in the log as shown in (b) of FIG. 9, an action corresponding to the first action of FIG. 9 (a) is found. Next, among the actions recorded later than the first action found in FIG. 9 (b), an action that matches the sixth action, the last action of FIG. 9 (a), is found. Finally, it is checked whether all acts between
로그인을 하는데 있어서 설계자는 도 8의 (a)에서 나타나 있듯이 먼저, 아이디와 패스워드를 입력한 후, 보안 규정에 동의를 하고 로그인을 하도록 설계하였다. 하지만, 분석 대상으로 선정된 도 8의 (b)에서 나타난 사용자 행위를 보면, 사용자는 보안 규정 동의 버튼을 식별하지 못한 채 로그인 버튼을 클릭하고 알림 메시지를 통해 보안 규정 동의에 대한 사실을 알게 되는 모습을 볼 수 있다.In the login, the designer first designed the user to enter the ID and password, and then agree to the security regulations and log in, as shown in FIG. However, when the user behavior shown in FIG. 8 (b) selected as an analysis target, the user clicks the login button without identifying the security policy consent button and finds out the fact of the security policy agreement through a notification message. Can be seen.
이와 같이 한 화면 내에서 설계자가 예상한 사용자의 행위 흐름과 실제 사용자가 행한 행위 흐름이 다를 때는 "Wrong Designed Work-flow"와 같은 문제 증상이 식별된다. 해당 문제 증상을 식별하기 위해 먼저, 행위 시나리오를 구성하는 행위들과 분석 대상으로 지정된 실제 행위들이 모두 한 화면과 관련된 행위인지를 확인한다. 모두 한 화면과 관련되어 있고 설계자가 예상한 행위 시나리오의 행위 수보다 분석 대상으로 지정된 행위의 수가 많으면, 사용자 행위 시나리오를 기반으로 행위들을 정점으로 설정하여 시나리오의 행위 시퀀스대로 방향 그래프를 만들어 표현한 후, 분석 대상으로 지정된 실제 사용자의 행위들을 해당 그래프와 대조하여 설계자가 예상하지 못한 첫 행위(6번)와 바로 전 행위(2번) 그리고 행위 시나리오에서 이와 연결된 행위(3번)를 식별한다. 식별된 3개의 행위의 요소 정보에 따라 문제 증상이 식별되면 이에 대해 다음과 같은 해결방안이 제시될 수 있다.As described above, when the behavioral flow of the user expected by the designer and the behavioral flow performed by the actual user are different in one screen, problem symptoms such as "Wrong Designed Work-flow" are identified. In order to identify the problem symptom, first, it is checked whether the actions constituting the action scenario and the actual actions designated for analysis are related to one screen. If all of them are related to one screen and the number of actions specified for analysis is greater than the number of actions of the action scenario expected by the designer, the action is set as a vertex based on the user action scenario, and a direction graph is created according to the action sequence of the scenario. The actual user's actions targeted for analysis are compared with the graph to identify the first unexpected behavior (No. 6), the immediately preceding behavior (No. 2), and the behavior (3) associated with it in the behavior scenario. If a problem symptom is identified according to the element information of three identified actions, the following solution can be suggested.
■ "[VID_L_01 : Ctrl_Pw_Text]의 [Tab]행위와 [VID_L_01 : Ctrl_LogIn_Button]의 [Tab]행위를 연결하기위한 Action을 고려하기 바람."■ "Consider the action for linking the [Tab] action of [VID_L_01: Ctrl_Pw_Text] and the [Tab] action of [VID_L_01: Ctrl_LogIn_Button]."
■ "[VID_L_01 : Ctrl_Pw_Text]의 [Tab]행위와 [VID_L_01]의 [Slide:Up]행위를 연결하기 위한 Action을 고려하기 바람."■ "Consider the action for linking [Tab] action of [VID_L_01: Ctrl_Pw_Text] and [Slide: Up] action of [VID_L_01]."
이외에도 화면간의 흐름이 잘못되어 식별되는 "Wrong Designed Navigation Map"과 특정 화면의 정보가 사용자의 기대와 다를 때 식별되는 "Wrong Expected Result"그리고 특정 컨트롤의 위치가 적절하지 않아 불필요한 컨트롤의 로그가 다수 존재할 때 식별되는 "Wrong Position of Control" 이 사용자 행위 시나리오 기반의 분석 기법으로 식별될 수 있도록 정의한 문제 증상들이다.In addition, the "Wrong Designed Navigation Map" identified by incorrect flow between screens, the "Wrong Expected Result" identified when information on a specific screen differs from the user's expectation, and when there are a large number of unnecessary control logs due to the improper location of a specific control. The identified "Wrong Position of Control" is a problem symptom defined to be identified by an analysis technique based on user behavior scenarios.
도 10은 본 발명의 다른 실시예에 따른 어플리케이션 업데이트에 따른 반복적인 분석 과정을 통해 식별된 어플리케이션의 문제 증상을 비교하여 도시한 도면이다.FIG. 10 is a diagram illustrating a problem symptom of an application identified through an iterative analysis process according to an application update according to another embodiment of the present invention.
도 10에서는 실험을 통해 현재 상용 중인 특정 브랜드 백화점의 쇼핑 정보를 제공하는 어플리케이션을 대상으로 사용자의 로그를 받아 문제 증상을 파악하여 해당 프로세스의 효용성을 밝히고자 하였다. 해당 어플리케이션에서 6개의 논쟁점에 대한 32개의 로그 파일을 추출하여 분석하였다. 초기 분석 결과 총 4가지의 문제 증상들이 발견하였으며 각 리비전 마다 로그 파일에서 식별된 문제 증상의 횟수를 도 10에서 볼 수 있다.In FIG. 10, an experiment was performed to identify a problem symptom by receiving a log of a user for an application that provides shopping information of a particular brand department store currently in use and to reveal the effectiveness of the process. In this application, 32 log files of 6 issues were extracted and analyzed. As a result of the initial analysis, a total of four problem symptoms were found, and the number of problem symptoms identified in the log file for each revision can be seen in FIG. 10.
도 10에 나타난 문제 증상 중 가장 많은 수가 발견된 "Wrong Expected Gesture"에 대해 분석한 결과, 백화점 점포명을 표기하는 라벨과 점포 이미지 그리고 '홈으로 가기 버튼'에서 예상하지 못한 사용자의 행위가 발견되었다. 먼저, 해당 백화점 점포명을 표시하고 있던 라벨에 대해 설계자는 어떠한 행위도 기대하지 않았는데 반해, 105건의 문제 행위가 발견되었으며 이 중 93건의 탭 제스처와 12건의 슬라이드 제스처가 발생한 것으로 조사되었다. 이에 대해 1.2 버전에서는 라벨을 버튼으로 변경하여 클릭 시 점포 변경이 가능하도록 수정하였다. 두 번째로 단순히 각층의 매장 카테고리 정보를 알려주기 위해 어떠한 행위도 예상하지 않았던 이미지 화면에 대해 529건의 문제 행위가 발견된 것이다. 이 중 466건이 탭 제스처, 63건이 슬라이드 제스처였다. 따라서, 1.3 버전에서 각층 매장 카테고리 이미지를 버튼으로 변경하고 해당 버튼을 클릭 시 해당 층과 관련된 브랜드 상품을 열람할 수 있는 기능을 추가하여 466건의 탭 제스처에 반응하도록 하였다. 마지막으로 설계자는 홈 화면에서 '홈으로 가기' 버튼의 어떠한 조작도 기대하지 않은 반면, 실제 사용자는 10번의 탭 제스처를 취한 것으로 나타났다. 이에 대해 1.4 버전에서 홈 화면에서는 해당 버튼을 삭제시켜 이러한 잘못된 사용의 가능성을 제거하였다.As a result of analyzing the "Wrong Expected Gesture" found in the largest number of problem symptoms shown in Figure 10, the unexpected user behavior was found in the label and the store image and the 'go home button' indicating the department store name . First, while the designer did not expect any action on the label displaying the department store name, 105 problem behaviors were found, of which 93 tap gestures and 12 slide gestures occurred. In version 1.2, the label is changed to a button so that the store can be changed when clicked. Secondly, 529 problem behaviors were found on the image screen, which did not anticipate any behavior simply to inform store category information of each floor. Of these, 466 were tap gestures and 63 were slide gestures. Therefore, in version 1.3, the store category image of each floor was changed to a button, and when the button was clicked, a function of viewing a brand product related to the floor was added to respond to 466 tap gestures. Finally, the designer did not expect any manipulation of the 'go home' button on the home screen, while the actual user took 10 tap gestures. In version 1.4, this button was removed from the home screen to eliminate the possibility of such misuse.
해당 어플리케이션은 초기 화면에 탭바 형식의 메뉴를 숨기고 있다가 하드웨어적으로 제공되는 메뉴 버튼을 클릭시 메뉴가 나타나는 형식으로 구성되어 있다. "Low Readability"를 분석한 결과 93건 중 68건이 메뉴를 식별하는데 걸린 시간이었다. 따라서, 1.2 버전에서는 메뉴를 숨기지 않고 초기 화면에 기본적으로 보이도록 수정하였다. 그리고 3건의 경우 앞서 언급한 점포명을 나타내고 있던 라벨에 대한 문제 증상이었다. 따라서, 이는 라벨을 버튼으로 수정하면서 함께 해결되었다. 1.3에서 1.4으로 변경 시 2건이 줄어든 이유는 2건이 '홈으로 가기' 버튼과 관계된 문제 증상이었기 때문이다. 이는 해당 버튼을 제거하면서 같이 문제 증상이 사라졌다. The application is composed of a form in which a tab bar type menu is hidden on the initial screen and a menu is displayed when a menu button provided by hardware is clicked. Analysis of "Low Readability" found that 68 out of 93 cases took time to identify the menu. Therefore, in version 1.2, the menu is basically hidden on the initial screen without hiding the menu. In addition, three cases were a symptom of a problem with the label showing the aforementioned store name. Thus, this was solved together by modifying the label with the button. The reason for the reduction of two cases from the 1.3 to 1.4 change is that two cases were a symptom of a problem with the 'go home' button. The problem symptoms disappeared as it removed the corresponding button.
54건의 "Wrong Default Value"의 경우 로그인 화면에서 발생했는데 로그인 할 때 마다 아이디와 패스워드를 입력해야만 했던 것에서 식별된 것이다. 따라서, 1.4 버전에서 아이디와 패스워드를 저장할 수 있게끔 수정함으로써 그 수를 감소시켰다. 마지막으로 90건의 "Wrong Designed Navigation Map"은 사용자가 점포 지역변경과 같이 점포와 관련된 설정을 하기 위해 점포정보 화면으로 이동했다가 발생한 것으로 분석되었다. 따라서, 1.2 버전에서 설정메뉴를 따로 만들었으며 1.3 버전과 1.4 버전에서는 다른 메뉴에 섞여있던 설정과 관련된 메뉴들을 설정 메뉴에 통합시켰다.54 "Wrong Default Values" occurred on the login screen, which was identified as having to enter a username and password each time you logged in. Therefore, in version 1.4, the number was reduced by modifying the storage of usernames and passwords. Finally, 90 "Wrong Designed Navigation Maps" were analyzed after the user moved to the store information screen to set up the store, such as changing the store area. Therefore, in version 1.2, the setting menu was created separately, and in version 1.3 and 1.4, menus related to settings mixed in with other menus were incorporated into the setting menu.
도 10에서 "Wrong Expected Gesture"를 일으킨 행위들을 고려해 각 리비전 마다 하나씩 수정해 감으로써 644건이었던 문제증상의 수가 551, 85, 75와 같이 줄어드는 모습을 볼 수 있었다. 이와 같이 로그를 이용해 사용자의 행위를 분석함으로써 설계자는 자신이 미처 예상하지 못했던 인터페이스 측면에서의 모호성과 잘못된 설계를 식별할 수 있고 이를 수정해 나감으로써 사용자의 행동에 어플리케이션의 인터페이스를 맞추어 나갈 수 있게 되었다. 이는 최종적으로 해당 어플리케이션의 사용성을 향상시키는 요인으로 작용한다.In FIG. 10, by modifying one revision for each revision in consideration of the behaviors causing "Wrong Expected Gesture", the number of problem symptoms, which was 644, was reduced to 551, 85, and 75. By analyzing the user's behavior using the log, the designer can identify the ambiguity and the wrong design in terms of the interface that he did not expect, and fix it so that the interface of the application can be adapted to the user's behavior. . This finally acts as a factor to improve the usability of the application.
도 11은 본 발명의 일 실시예에 따른 사용자 행위 로그를 이용한 모바일 어플리케이션의 사용성을 분석하는 장치(200)를 도시한 블록도로서, 각각의 구성 요소들은 앞서 도 2를 통해 기술된 사용성 분석 방법의 개별 단계들에 대응된다. 따라서, 설명의 중복을 피하기 위해 여기서는 각 구성의 개요만을 간략하게 약술하도록 한다.FIG. 11 is a block diagram illustrating an
입력부(10)는 사용자(모바일 기기)(100)로부터 복수 개의 서로 다른 행위가 예측되는 모바일 어플리케이션의 UI를 논쟁점으로 설정함으로써 설정된 논쟁점에 대해 수집된 사용자의 행위 로그를 입력받는다.The
저장부(20)는 논쟁점에 대해 미리 설정된 예상 행위와 행위 로그로부터 추출된 실제 행위를 논쟁점과 연계하여 저장한다.The
처리부(30)는 논쟁점별로 연계된 예상 행위와 실제 행위를 비교하여 모바일 어플리케이션에 대한 사용성을 판별한다. 이 때, 처리부(30)는, 모바일 어플리케이션의 객체 내의 제어 식별자를 이용하여 실제 행위로부터 사용자의 행위 리스트를 식별하고, 식별된 행위 리스트 내에 논쟁점을 통해 연계된 예상 행위가 존재하는지 여부를 검사하며, 검사 결과에 따라 모바일 어플리케이션에 대한 설계의 적정성 정도를 산출함으로써 사용성을 판별한다. 특히, 처리부(30)는, 예상 행위와 실제 행위를 비교하여 양자의 차이를 나타내는 사용성 지수를 산출함으로써 모바일 어플리케이션에 대한 사용자의 사용성을 평가하게 된다. The
한편, 디스플레이부(40)는 사용성 분석 장치(200)의 처리 결과를 표시하는 수단으로서, 처리부(30)를 통해 판별된 사용성에 따라 예상 행위와 실제 행위의 차이가 발생한 지점을 판별하여 디스플레이부(40)에 시각적으로 표시하게 된다.Meanwhile, the display unit 40 is a means for displaying the processing result of the
나아가, 처리부(30)는 사용성 판별 결과를 이용하여 수정된 모바일 어플리케이션에 대해 이상의 일련의 분석 과정을 반복적으로 수행하고, 이와 더불어 저장부(20)는 각각의 수행에 따른 문제 증상 및 변화 정도를 시계열적으로 저장하는 것이 바람직하다.Furthermore, the
상기된 본 발명의 실시예들에 따르면, 사용자에 의해 서로 다른 다양한 반응 행위가 예측되는 논쟁점을 설정하고 설정된 논쟁점에 대한 사용자 로그로부터 추출된 실제 행위와 미리 설정된 예상 행위를 비교함으로써 사용자 행위에 대한 객관적이고 수치화된 분석 결과를 산출할 수 있고, 특히 모바일 어플리케이션의 특징을 고려한 제어 요소와 제스처 요소를 고려하여 사용성을 판별함으로써 문제 증상과 사용자 행위를 보다 정확하게 식별, 분석할 수 있으며, 어플리케이션의 업데이트에 따른 사용자 행위의 변화를 시계열적으로 추적함으로써 해당 어플리케이션의 배포 후 지속적으로 사용성 향상을 관리할 수 있다.According to the above-described embodiments of the present invention, the user's behavior may be determined by setting a controversy in which a variety of different reaction behaviors are predicted by the user, and comparing a predetermined predicted behavior with a real behavior extracted from the user log for the set controversy. The results of objective and quantitative analysis can be calculated, and the usability can be more accurately identified and analyzed by determining the usability by considering the control elements and gesture elements considering the characteristics of the mobile application, and updating the application. By tracking the change in user behavior according to the time series, it is possible to continuously manage the improvement of usability after the application is distributed.
스마트폰의 특유 성격인 휴대성으로 인해 많은 부분에서 제약이 따르고, 이를 극복하기 위해 다양한 센서를 통한 다양한 입/출력방식이 고안되었다. 하지만, 이 같은 다양한 방식은 일관성 없이 쓰이고 있어 사용자들의 많은 혼란을 초래한다. 하지만, 설계자들 역시 이에 대한 정답의 부재로 많은 어려움을 겪고 있다. 따라서, 이상의 본 발명의 실시예들에서는 설계 시 설계자들 사이에서 논쟁이 되는 부분을 중심으로 사용자의 행위을 로그로 기록하고 이를 분석하여 해당 어플리케이션이 사용자의 행위에 맞추어진 업데이트가 가능하도록 하였다.Due to the portability, which is a characteristic of smartphones, there are many restrictions, and various input / output methods through various sensors have been devised to overcome this problem. However, these various methods are used inconsistently and cause a lot of confusion for users. However, designers also suffer from a lack of correct answers. Therefore, in the above embodiments of the present invention, the user's actions are recorded in a log centered on the controversial part among designers in the design, and the analysis is performed so that the corresponding application can be updated according to the user's actions.
한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 이 때, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, embodiments of the present invention can be implemented by computer readable codes on a computer readable recording medium. At this time, the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also a carrier wave (for example, transmission via the Internet) . In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention belongs.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described above with reference to various embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.
100 : 모바일 단말기
200 : 모바일 어플리케이션의 사용성 분석 장치
10 : 입력부 20 : 저장부
30 : 처리부 40 : 디스플레이부100: mobile terminal
200: usability analysis device of the mobile application
10: input unit 20: storage unit
30: processing section 40: display section
Claims (17)
사용자로부터 복수 개의 서로 다른 행위가 예측되는 상기 모바일 어플리케이션의 UI(user interface)를 논쟁점(argue point)으로 설정하는 단계;
상기 설정된 논쟁점에 대한 상기 사용자의 행위 로그(behavior log)를 입력받는 단계;
상기 논쟁점에 대해 미리 설정된 예상 행위와 상기 행위 로그로부터 추출된 실제 행위를 상기 논쟁점과 연계하여 저장하는 단계; 및
상기 논쟁점별로 연계된 상기 예상 행위와 상기 실제 행위를 비교하여 상기 모바일 어플리케이션에 대한 사용성을 판별하는 단계;를 포함하는 방법.In the method of analyzing the usability of a mobile application using at least one processor,
Setting a user interface (UI) of the mobile application in which a plurality of different behaviors are predicted from a user as an argument point;
Receiving a behavior log of the user with respect to the set dispute point;
Storing the expected behavior set in advance for the dispute and the actual behavior extracted from the behavior log in association with the dispute; And
Comparing the expected behavior with the actual behavior associated with each of the controversial items to determine usability of the mobile application.
상기 모바일 어플리케이션에 대한 사용성을 판별하는 단계는,
상기 모바일 어플리케이션의 객체 내의 제어 식별자를 이용하여 상기 실제 행위로부터 상기 사용자의 행위 리스트를 식별하는 단계;
상기 식별된 행위 리스트 내에 상기 논쟁점을 통해 연계된 상기 예상 행위가 존재하는지 여부를 검사하는 단계; 및
상기 검사 결과에 따라 상기 모바일 어플리케이션에 대한 설계의 적정성 정도를 산출함으로써 상기 사용성을 판별하는 단계;를 포함하는 방법.The method of claim 1,
Determining the usability for the mobile application,
Identifying an action list of the user from the actual action using a control identifier in the object of the mobile application;
Checking whether the expected behavior associated with the controversy exists in the identified behavior list; And
Determining the usability by calculating a degree of adequacy of the design for the mobile application according to the inspection result.
상기 모바일 어플리케이션에 대한 사용성을 판별하는 단계는,
상기 예상 행위와 상기 실제 행위를 비교하여 양자의 차이를 나타내는 사용성 지수를 산출함으로써 상기 모바일 어플리케이션에 대한 사용자의 사용성을 평가하는 것을 특징으로 하는 방법.The method of claim 1,
Determining the usability for the mobile application,
Evaluating the usability of the user for the mobile application by comparing the expected behavior with the actual behavior and calculating a usability index indicating a difference between the expected behavior and the actual behavior.
상기 사용성 지수는,
상기 예상 행위와 상기 실제 행위의 개별 구성 요소가 일치하는지 여부에 따라 산출되며,
상기 예상 행위에 대해 설정된 임계 시간과 상기 실제 행위가 발생한 시간을 고려하여 차등적으로 값을 갖는 것을 특징으로 하는 방법.The method of claim 3, wherein
The usability index is
Calculated according to whether the expected behavior and the individual components of the actual behavior match,
And having a differential value in consideration of the threshold time set for the expected behavior and the time at which the actual behavior occurred.
상기 사용성 지수는,
상기 예상 행위와 상기 실제 행위가 일치하고 상기 실제 행위가 상기 예상 행위에 대해 설정된 임계 시간 내에 발생한 경우, 최대값으로 설정되고,
상기 예상 행위와 상기 실제 행위가 일치하나 상기 실제 행위가 상기 예상 행위에 대해 설정된 임계 시간을 도과하여 발생한 경우, 도과된 시간에 반비례하여 설정되며,
상기 예상 행위와 상기 실제 행위가 일치하지 않는 경우, 최저값으로 설정되는 것을 특징으로 하는 방법.The method of claim 3, wherein
The usability index is
If the expected behavior matches the actual behavior and the actual behavior occurs within a threshold time set for the expected behavior, it is set to a maximum value,
If the expected behavior and the actual behavior coincide, but the actual behavior occurs by exceeding the threshold time set for the expected behavior, it is set in inverse proportion to the time passed.
And when the expected behavior and the actual behavior do not coincide, the minimum value is set.
상기 사용자의 행위는,
상기 모바일 어플리케이션의 제어 단위를 식별하는 제어 요소와 상기 제어 요소에 대한 사용자의 응답을 나타내는 제스처 요소를 포함하는 것을 특징으로 하는 방법.The method of claim 1,
The user's actions,
And a control element identifying a control unit of the mobile application and a gesture element representing a user's response to the control element.
상기 제어 요소는,
상기 모바일 어플리케이션 상에서 소정 행위가 발생한 화면을 나타내는 화면 식별자와 상기 모바일 어플리케이션을 구성하는 제어 객체를 나타내는 제어 식별자를 포함하는 것을 특징으로 하는 방법.The method according to claim 6,
The control element,
And a screen identifier indicating a screen on which a predetermined action occurs on the mobile application and a control identifier indicating a control object constituting the mobile application.
상기 제스처 요소는,
상기 제어 요소에 대한 사용자 응답을 나타내는 트리거 이벤트(triggered event), 상기 사용자 응답의 지향을 나타내는 방향 정보 및 상기 사용자 응답의 발생 시간을 나타내는 타임스탬프(time stamp) 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.The method according to claim 6,
The gesture element,
And at least one of a triggered event indicating a user response to the control element, direction information indicating a direction of the user response, and a time stamp indicating a time at which the user response occurs. Way.
상기 판별된 사용성에 따라 상기 예상 행위와 상기 실제 행위의 차이가 발생한 지점을 시각적으로 표시하는 단계;를 더 포함하는 방법.The method of claim 1,
And visually displaying a point where a difference between the expected behavior and the actual behavior occurs according to the determined usability.
상기 사용성 판별 결과를 이용하여 수정된 상기 모바일 어플리케이션에 대해 상기 논쟁점을 설정하는 단계, 상기 사용자의 행위 로그를 입력받는 단계, 상기 실제 행위를 상기 논쟁점과 연계하여 저장하는 단계 및 상기 사용성을 판별하는 단계를 포함하는 일련의 분석 과정을 반복적으로 수행하고, 각각의 수행에 따른 문제 증상 및 변화 정도를 시계열적으로 저장하는 단계;를 더 포함하는 방법.The method of claim 9,
Setting the controversial point for the modified mobile application using the usability determination result, receiving a log of the user's behavior, storing the actual behavior in association with the controversial point, and determining the usability Iteratively performing a series of analysis process comprising the steps of, and storing in time series the problem symptoms and the degree of change according to each performance.
사용자로부터 복수 개의 서로 다른 행위가 예측되는 상기 모바일 어플리케이션의 UI를 논쟁점으로 설정함으로써 상기 설정된 논쟁점에 대해 수집된 상기 사용자의 행위 로그를 입력받는 입력부;
상기 논쟁점에 대해 미리 설정된 예상 행위와 상기 행위 로그로부터 추출된 실제 행위를 상기 논쟁점과 연계하여 저장하는 저장부; 및
상기 논쟁점별로 연계된 상기 예상 행위와 상기 실제 행위를 비교하여 상기 모바일 어플리케이션에 대한 사용성을 판별하는 처리부;를 포함하는 장치.In the device for analyzing the usability of a mobile application,
An input unit configured to receive an action log of the user collected for the set dispute point by setting a UI of the mobile application in which a plurality of different actions are predicted from the user as an issue point;
A storage unit for storing the expected behavior set in advance for the dispute and the actual behavior extracted from the behavior log in association with the dispute; And
And a processor configured to determine usability of the mobile application by comparing the expected behavior and the actual behavior associated with each of the contention points.
상기 처리부는,
상기 모바일 어플리케이션의 객체 내의 제어 식별자를 이용하여 상기 실제 행위로부터 상기 사용자의 행위 리스트를 식별하고,
상기 식별된 행위 리스트 내에 상기 논쟁점을 통해 연계된 상기 예상 행위가 존재하는지 여부를 검사하며,
상기 검사 결과에 따라 상기 모바일 어플리케이션에 대한 설계의 적정성 정도를 산출함으로써 상기 사용성을 판별하는 것을 특징으로 하는 장치.13. The method of claim 12,
Wherein,
Identify the user's behavior list from the actual behavior using a control identifier in the object of the mobile application,
Check whether the expected behavior associated with the controversy exists in the identified behavior list,
And determining the usability by calculating a degree of adequacy of the design for the mobile application according to the inspection result.
상기 처리부는, 상기 예상 행위와 상기 실제 행위를 비교하여 양자의 차이를 나타내는 사용성 지수를 산출함으로써 상기 모바일 어플리케이션에 대한 사용자의 사용성을 평가하고,
상기 사용성 지수는, 상기 예상 행위와 상기 실제 행위가 일치하고 상기 실제 행위가 상기 예상 행위에 대해 설정된 임계 시간 내에 발생한 경우 최대값으로 설정되고, 상기 예상 행위와 상기 실제 행위가 일치하나 상기 실제 행위가 상기 예상 행위에 대해 설정된 임계 시간을 도과하여 발생한 경우 도과된 시간에 반비례하여 설정되며, 상기 예상 행위와 상기 실제 행위가 일치하지 않는 경우 최저값으로 설정되는 것을 특징으로 하는 장치.13. The method of claim 12,
The processor evaluates the user's usability of the mobile application by comparing the expected behavior with the actual behavior and calculating a usability index indicating a difference between them.
The usability index is set to a maximum value when the expected behavior matches the actual behavior and the actual behavior occurs within a threshold time set for the expected behavior, and the expected behavior matches the actual behavior but the actual behavior does not match. The device is set in inverse proportion to the time when the threshold time for the expected behavior is exceeded and is set to the lowest value when the expected behavior does not coincide with the actual behavior.
상기 사용자의 행위는, 상기 모바일 어플리케이션의 제어 단위를 식별하는 제어 요소와 상기 제어 요소에 대한 사용자의 응답을 나타내는 제스처 요소를 포함하고,
상기 제어 요소는, 상기 모바일 어플리케이션 상에서 소정 행위가 발생한 화면을 나타내는 화면 식별자와 상기 모바일 어플리케이션을 구성하는 제어 객체를 나타내는 제어 식별자를 포함하며,
상기 제스처 요소는, 상기 제어 요소에 대한 사용자 응답을 나타내는 트리거 이벤트, 상기 사용자 응답의 지향을 나타내는 방향 정보 및 상기 사용자 응답의 발생 시간을 나타내는 타임스탬프 중 적어도 하나를 포함하는 것을 특징으로 하는 장치.13. The method of claim 12,
The action of the user includes a control element identifying a control unit of the mobile application and a gesture element representing the user's response to the control element,
The control element may include a screen identifier indicating a screen on which a predetermined action occurs on the mobile application and a control identifier indicating a control object constituting the mobile application.
And wherein the gesture element comprises at least one of a trigger event indicating a user response to the control element, direction information indicating the orientation of the user response and a timestamp indicating the time of occurrence of the user response.
상기 사용성 분석 장치의 처리 결과를 표시하는 디스플레이부;를 더 포함하고,
상기 처리부는 상기 판별된 사용성에 따라 상기 예상 행위와 상기 실제 행위의 차이가 발생한 지점을 판별하여 상기 디스플레이부에 시각적으로 표시하는 것을 특징으로 하는 장치.13. The method of claim 12,
A display unit for displaying a result of the processing of the usability analysis apparatus further comprises;
And the processor determines a point where a difference between the expected behavior and the actual behavior occurs according to the determined usability and visually displays the point on the display unit.
상기 처리부는 상기 사용성 판별 결과를 이용하여 수정된 상기 모바일 어플리케이션에 대해 상기 논쟁점을 설정하고, 상기 사용자의 행위 로그를 입력받고, 상기 실제 행위를 상기 논쟁점과 연계하여 저장하며, 상기 사용성을 판별하는 일련의 분석 과정을 반복적으로 수행하고,
상기 저장부는 각각의 수행에 따른 문제 증상 및 변화 정도를 시계열적으로 저장하는 것을 특징으로 하는 장치.17. The method of claim 16,
The processor sets the controversial point for the modified mobile application using the usability determination result, receives a log of the user's behavior, stores the actual behavior in association with the controversial point, and determines the usability. Iteratively perform a series of analysis
The storage unit is characterized in that for storing the symptom and the degree of change according to each performance in time series.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110124293A KR101312446B1 (en) | 2011-11-25 | 2011-11-25 | Analysis apparatus and method for usability of mobile application using user bebavior log |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110124293A KR101312446B1 (en) | 2011-11-25 | 2011-11-25 | Analysis apparatus and method for usability of mobile application using user bebavior log |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130058336A KR20130058336A (en) | 2013-06-04 |
| KR101312446B1 true KR101312446B1 (en) | 2013-09-27 |
Family
ID=48857632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110124293A KR101312446B1 (en) | 2011-11-25 | 2011-11-25 | Analysis apparatus and method for usability of mobile application using user bebavior log |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101312446B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107682178A (en) * | 2017-08-30 | 2018-02-09 | 国信优易数据有限公司 | A kind of mobile subscriber's online operation behavior Forecasting Methodology and device |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101423030B1 (en) * | 2013-12-31 | 2014-07-23 | 주식회사 비디 | Method of analysis application object which computer-executable, server performing the same and storage media storing the same |
| KR20150081762A (en) * | 2014-01-06 | 2015-07-15 | 주식회사 앤벗 | The usability measurement method through users' touch actions on the application operated in touch-enabled devices |
| KR101422180B1 (en) * | 2014-01-23 | 2014-07-22 | 주식회사 비디 | Method of measuring application usability, server performing the same and storage media storing the same |
| KR102006086B1 (en) * | 2017-12-29 | 2019-08-01 | (주)씽크포비엘 | Apparatus and method for simulating subsequent work for usabiltiy improvement |
| US10709989B2 (en) | 2018-01-11 | 2020-07-14 | Electronics And Telecommunications Research Institute | System and method for analyzing game update effect according to change of gamer action sequence |
| KR20230140682A (en) | 2022-03-30 | 2023-10-10 | 이수진 | A service system and method of using app's preference analysis based Ridge-Lasso Regression Deep learning |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130038361A (en) * | 2010-07-06 | 2013-04-17 | 우베 게이브 | Process and apparatus for improving the melting process |
-
2011
- 2011-11-25 KR KR1020110124293A patent/KR101312446B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130038361A (en) * | 2010-07-06 | 2013-04-17 | 우베 게이브 | Process and apparatus for improving the melting process |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107682178A (en) * | 2017-08-30 | 2018-02-09 | 国信优易数据有限公司 | A kind of mobile subscriber's online operation behavior Forecasting Methodology and device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130058336A (en) | 2013-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101312446B1 (en) | Analysis apparatus and method for usability of mobile application using user bebavior log | |
| CA2940752C (en) | Intelligent visualization munging | |
| Daniel | B ig D ata and analytics in higher education: Opportunities and challenges | |
| US20170076321A1 (en) | Predictive analytics in an automated sales and marketing platform | |
| US20110016452A1 (en) | Method and system for identifying regression test cases for a software | |
| US20180060222A1 (en) | Building signatures of application flows | |
| US11016477B2 (en) | Devices, methods, and systems for a distributed rule based automated fault detection | |
| US10459835B1 (en) | System and method for controlling quality of performance of digital applications | |
| US9910487B1 (en) | Methods, systems and computer program products for guiding users through task flow paths | |
| JPWO2014054230A1 (en) | Information system construction device, information system construction method, and information system construction program | |
| US9983965B1 (en) | Method and system for implementing virtual users for automated test and retest procedures | |
| CN107430590B (en) | System and method for data comparison | |
| US9164746B2 (en) | Automatic topology extraction and plotting with correlation to real time analytic data | |
| CN110276183B (en) | Reverse Turing verification method and device, storage medium and electronic equipment | |
| Ntoa et al. | UXAmI observer: an automated user experience evaluation tool for ambient intelligence environments | |
| US20230071472A1 (en) | Performing software testing with best possible user experience | |
| CN116342342A (en) | Student behavior detection method, electronic device and readable storage medium | |
| Yusop et al. | Automated support to capture and validate security requirements for mobile apps | |
| CN109165327A (en) | Interactive method, device and computer readable storage medium | |
| CN104428757A (en) | Integrating diagnostic information in development environment | |
| Carrera-Rivera et al. | Exploring the transformation of user interactions to Adaptive Human-Machine Interfaces | |
| KR20150038983A (en) | Method and apparatus for verifying application by using object extracting | |
| Marrella et al. | An approach to identifying what has gone wrong in a user interaction | |
| Ferreira et al. | AnyMApp framework: anonymous digital twin human-app interactions | |
| Romeiro et al. | Guidelines' Parametrization to Assess AAL Ecosystems' Usability. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160726 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170901 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180921 Year of fee payment: 6 |