KR101194367B1 - 사용자 인터페이스의 검사 장치 및 검사 방법 - Google Patents

사용자 인터페이스의 검사 장치 및 검사 방법 Download PDF

Info

Publication number
KR101194367B1
KR101194367B1 KR1020110023357A KR20110023357A KR101194367B1 KR 101194367 B1 KR101194367 B1 KR 101194367B1 KR 1020110023357 A KR1020110023357 A KR 1020110023357A KR 20110023357 A KR20110023357 A KR 20110023357A KR 101194367 B1 KR101194367 B1 KR 101194367B1
Authority
KR
South Korea
Prior art keywords
user interface
event
display screen
terminal
time
Prior art date
Application number
KR1020110023357A
Other languages
English (en)
Other versions
KR20120105735A (ko
Inventor
박미정
Original Assignee
(주) 넥스트랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 넥스트랩 filed Critical (주) 넥스트랩
Priority to KR1020110023357A priority Critical patent/KR101194367B1/ko
Publication of KR20120105735A publication Critical patent/KR20120105735A/ko
Application granted granted Critical
Publication of KR101194367B1 publication Critical patent/KR101194367B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명에 의한 사용자 인터페이스의 검사 장치는, 디스플레이 화면이 구비된 단말기에 적어도 하나의 이벤트를 제공하는 이벤트발생부; 상기 이벤트에 따라 변화하는 상기 디스플레이 화면을 촬영하는 연속촬영부; 및 상기 연속촬영부에 의해 획득된 영상 정보를 분석하여 상기 디스플레이 화면에서 구현되는 사용자 인터페이스의 성능을 평가하는 분석부를 포함한다.

Description

사용자 인터페이스의 검사 장치 및 검사 방법 {Inspection apparatus and methode for user interface}
본 발명은 사용자 인터페이스의 검사 장치 및 검사 방법에 관한 것으로, 더 상세하게는 디스플레이 화면이 구비된 단말기에서 사용자 인터페이스의 성능을 평가하기 위한 검사 장치 및 검사 방법에 관한 것이다.
최근, 스마트폰, 태블릿PC 등의 다양한 형태의 단말기가 빠르게 보급됨에 따라, 이러한 단말기의 디스플레이 화면에서 구현되는 사용자 인터페이스에 대한 관심이 높아지고 있다.
한편, 단말기의 사용자는 디스플레이 화면에서 구현되는 사용자 인터페이스에 대해 감성적으로 느끼는 성능 차이에 따라 단말기 전체의 성능 또는 품질을 평가하는 경향이 있다. 예컨대, 스마트폰의 경우, 사용자는 터치스크린 방식의 디스플레이 화면에서 구현되는 플리킹(Flicking) 동작이 얼마만큼 부드럽게 이루어지는지에 대한 감성적인 느낌에 따라 그 스마트폰의 성능을 평가할 수 있고, 이러한 평가는 다양한 종류의 스마트폰 제품 중 구매하고자 하는 스마트폰을 선택함에 있어서 결정적인 요소가 될 수 있다.
따라서, 단말기의 디스플레이 화면에서 구현되는 사용자 인터페이스의 기능 이상 유무, 신뢰성 등에 대한 검사뿐만 아니라, 위와 같은 감성적인 성능까지 검사할 수 있는 장치 및 방법에 대한 연구 개발이 요청되고 있다.
본 발명의 목적은, 단말기의 디스플레이 화면에서 구현되는 사용자 인터페이스의 기능 이상 유무, 신뢰성 등에 대한 검사뿐만 아니라, 사용자 인터페이스의 감성적인 성능까지 검사할 수 있는 사용자 인터페이스의 검사 장치 및 검사 방법을 제공하는 것이다.
상기 목적은, 본 발명에 따라, 디스플레이 화면이 구비된 단말기에 적어도 하나의 이벤트를 제공하는 이벤트발생부; 상기 이벤트에 따라 변화하는 상기 디스플레이 화면을 촬영하는 연속촬영부; 및 상기 연속촬영부에 의해 획득된 영상 정보를 분석하여 상기 디스플레이 화면에서 구현되는 사용자 인터페이스의 성능을 평가하는 분석부를 포함하는 것을 특징으로 하는 사용자 인터페이스의 검사 장치에 의해 달성된다.
상기 연속촬영부는, 고속 카메라를 포함하고, 상기 분석부는, 상기 영상 정보의 시간에 따른 움직임 변화를 분석하여 상기 사용자 인터페이스의 성능을 평가할 수 있다.
상기 분석부는, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 사용자 인터페이스의 성능을 평가할 수 있다.
상기 분석부는, 상기 영상 정보에서 현재 프레임과 이전 프레임 사이의 영상 차이가 발생하는 횟수를 산출하고, 산출된 상기 영상 차이의 발생 횟수에 기초하여 상기 사용자 인터페이스의 성능을 평가할 수 있다.
상기 분석부는, 상기 디스플레이 화면에 나타나는 이미지의 전체 또는 일부에 대해 시간대별 변위, 속도 및 가속도 중 적어도 하나에 관한 움직임 데이터를 산출하고, 상기 움직임 데이터에 기초하여 상기 사용자 인터페이스의 성능을 평가할 수 있다.
상기 분석부는, 상기 단말기에 상기 이벤트가 입력된 시점부터 상기 디스플레이 화면에 최초 움직임이 발생한 시점까지의 시간을 산출하여 상기 사용자 인터페이스의 초기 반응속도를 평가할 수 있다.
상기 분석부는, 상기 단말기에 상기 이벤트가 입력된 시점부터 상기 디스플레이 화면에 상기 이벤트에 대한 최종 이미지가 발생한 시점까지의 시간을 산출하여 상기 사용자 인터페이스의 최종 반응속도를 평가할 수 있다.
상기 검사 장치는, 상기 이벤트에 대해 상기 단말기에서 발생하는 로그 정보를 수집하여 상기 분석부에 제공하는 로그정보수집부를 더 포함하고, 상기 분석부는, 상기 영상 정보와 상기 로그 정보를 시간대별로 비교 분석하여 상기 단말기에서 사용자 인터페이스의 성능 저하를 야기하는 부분을 찾아낼 수 있다.
상기 검사 장치는, 상기 이벤트발생부로부터 상기 이벤트에 관한 신호를 전달받아 상기 이벤트가 상기 단말기에 입력되도록 상기 디스플레이 화면 또는 상기 단말기의 키패드에 물리적인 힘을 인가하는 로봇 핑거를 더 포함할 수 있다.
상기 분석부는, 상기 로봇 핑거에 의해 상기 단말기에 물리적인 힘이 인가된 시점부터 상기 디스플레이 화면에 최초 움직임이 발생한 시점까지의 시간을 산출할 수 있다.
상기 목적은, 본 발명에 따라, (a) 디스플레이 화면이 구비된 단말기에 적어도 하나의 이벤트를 제공하는 단계; (b) 상기 이벤트에 따라 변화하는 상기 디스플레이 화면을 촬영하는 단계; 및 (c) 상기 (b) 단계에서 획득된 영상 정보를 분석하여 상기 디스플레이 화면에서 구현되는 사용자 인터페이스의 성능을 평가하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스의 검사 방법에 의해 달성된다.
상기 (b) 단계는, 고속 카메라를 이용하여 상기 디스플레이 화면을 촬영하고, 상기 (c) 단계는, 상기 영상 정보의 시간에 따른 움직임 변화를 분석하여 상기 사용자 인터페이스의 성능을 평가할 수 있다.
상기 (c) 단계는, 상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 사용자 인터페이스의 성능을 평가할 수 있다.
상기 (c) 단계는, 상기 영상 정보에서 현재 프레임과 이전 프레임 사이의 영상 차이가 발생하는 횟수를 산출하고, 산출된 상기 영상 정보의 발생 횟수에 기초하여 상기 사용자 인터페이스의 성능을 평가할 수 있다.
상기 (c) 단계는, 상기 디스플레이 화면에 나타나는 이미지의 전체 또는 일부에 대해 시간대별 변위, 속도 및 가속도 중 적어도 하나에 관한 움직임 데이터를 산출하고, 상기 움직임 데이터에 기초하여 상기 사용자 인터페이스의 성능을 평가할 수 있다.
상기 (c) 단계는, 상기 단말기에 상기 이벤트가 입력된 시점부터 상기 디스플레이 화면에 최초 움직임이 발생한 시점까지의 시간을 산출하여 상기 사용자 인터페이스의 초기 반응속도를 평가할 수 있다.
상기 (c) 단계는, 상기 단말기에 상기 이벤트가 입력된 시점부터 상기 디스플레이 화면에 상기 이벤트에 대한 최종 이미지가 발생한 시점까지의 시간을 산출하여 상기 사용자 인터페이스의 최종 반응속도를 평가할 수 있다.
상기 검사 방법은, (d) 상기 이벤트에 대해 상기 단말기에서 발생하는 로그 정보를 수집하는 단계를 더 포함하고, 상기 (c) 단계는, 상기 (b) 단계에서 획득된 상기 영상 정보와 상기 (d) 단계에서 수집된 상기로그 정보를 시간대별로 비교 분석하여 상기 단말기에서 사용자 인터페이스의 성능 저하를 야기하는 부분을 찾아낼 수 있다.
상기 (a) 단계에서 상기 이벤트는, 상기 디스플레이 화면 또는 상기 단말기의 키패드에 물리적인 힘을 인가하는 로봇 핑거에 의해, 상기 단말기에 입력될 수 있다.
상기 (c) 단계는, 상기 로봇 핑거에 의해 상기 단말기에 물리적인 힘이 인가된 시점부터 상기 디스플레이 화면에 최초 움직임이 발생한 시점까지의 시간을 산출할 수 있다.
본 발명은, 디스플레이 화면이 구비된 단말기에 입력된 적어도 하나의 이벤트에 따라 변화하는 디스플레이 화면을 촬영하여 획득한 영상 정보를 분석하여 디스플레이 화면에서 구현되는 사용자 인터페이스의 성능을 평가함으로써, 단말기의 디스플레이 화면에서 구현되는 사용자 인터페이스의 기능 이상 유무, 신뢰성 등에 대한 검사뿐만 아니라, 사용자 인터페이스의 감성적인 성능까지 검사할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스의 검사 장치의 개략적인 구성도이다.
도 2는 단말기에 플리킹 이벤트를 인가하는 형상을 도시하는 도면이다.
도 3은 단말기에 드래그 이벤트를 인가하는 형상을 도시하는 도면이다.
도 4는 단말기에 화면전환 이벤트를 인가하는 형상을 도시하는 도면이다.
도 5 및 도 6은 단말기에 플리킹 이벤트가 입력되었을 때, 디스플레이 화면을 촬영한 영상 정보로부터 추출한 움직임 데이터를 도시한 것으로, 도 5는 시간대별 변위에 관한 움직임 데이터를, 도 6은 시간대별 속도에 관한 움직임 데이터를 도시한다.
도 7은 본 발명의 일 실시예에 따른 사용자 인터페이스의 검사 방법의 순서도이다
도 8은 본 발명의 다른 실시예에 따른 사용자 인터페이스의 검사 방법의 순서도이다
이하 첨부된 도면을 참조하여 본 발명에 의한 사용자 인터페이스의 검사 장치 및 검사 방법의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 사용자 인터페이스의 검사 장치의 개략적인 구성도이다. 도 2는 단말기에 플리킹 이벤트(Flicking Event)를 인가하는 형상을 도시하며, 도 3은 단말기에 드래그 이벤트(Drag Event)를 인가하는 형상을 도시하고, 도 4는 단말기에 화면전환 이벤트를 인가하는 형상을 도시한다.
본 발명에 의한 사용자 인터페이스의 검사 장치는, 단말기(300)의 디스플레이 화면(310)에서 구현되는 사용자 인터페이스의 성능을 평가하기 위한 장치로, 예컨대, 도 2에 도시된 바와 같이 플리킹 이벤트가 입력되거나 도 3에 도시된 바와 같이 드래그 이벤트가 입력될 때, 단말기(300)의 디스플레이 화면(310)에 출력되는 이미지가 부드럽게 움직이는지 즉, 이미지 이동이 중간에 끊어지는 현상이 발생하는지의 여부 등을 검사할 수 있다. 또한, 본 발명의 의한 사용자 인터페이스의 검사 장치는 도 4에 도시된 바와 같이 화면전환 이벤트가 입력될 때, 디스플레이 화면(310)에서 화면전환이 얼마나 부드럽게 이루어지는 등을 검사할 수 있다. 이때, 화면전환은 디스플레이 화면(310)에 나타나는 이미지의 전체 또는 일부에 대해 이루어질 수 있다.
여기서, 단말기(300)는 사용자 인터페이스가 구현되는 디스플레이 화면(310)이 구비된 것이라면 어떠한 것이라도 될 수 있다. 예컨대, 단말기(300)는 스마트폰을 포함한 휴대폰이나 내비게이션 등과 같은 이동통신단말기가 될 수 있고, 태블릿PC, 게임기, 전자사전 등이 될 수 있다. 다만, 본 실시예에서는 터치스크린 또는 터치패널 방식의 디스플레이 화면(310)이 구비된 스마트폰(300)을 대상으로 설명하기로 한다.
도 1을 참조하면, 본 발명에 의한 사용자 인터페이스의 검사 장치는 위에서 언급한 기능을 수행할 수 있도록 이벤트발생부(100), 연속촬영부(400) 및 분석부(600)를 포함할 수 있다.
이벤트발생부(100)는 단말기(300)에 적어도 하나의 이벤트를 제공할 수 있다. 여기서, 이벤트는 도 2에 도시된 플리킹 이벤트, 도 3에 도시된 드래그 이벤트 및 도 4에 도시된 화면전환 이벤트는 물론, 단말기(300)의 사용자 인터페이스에서 구현될 수 있는 다양한 이벤트를 포함할 수 있다. 이벤트발생부(100)는 하나의 이벤트를 단말기(300)에 제공하도록 설정될 수 있고, 이와 다르게 복수의 이벤트를 랜덤 또는 미리 정해진 시나리오에 따라 단말기(300)에 제공할 수 있다.
한편, 이벤트발생부(100)에 의해 생성된 이벤트는 도 1에 도시된 바와 같이 단말기(300)에 직접 입력되거나 로봇 핑거(200)를 통해 단말기(300)에 입력될 수 있다. 즉, 본 발명에 의한 사용자 인터페이스의 검사 장치는, 이벤트발생부(100)로부터 이벤트에 관한 신호를 전달받아 이벤트가 단말기(300)에 입력되도록 디스플레이 화면(310) 또는 단말기(300)의 키패드(미도시)에 물리적인 힘을 인가하는 로봇 핑거(200)를 더 포함할 수 있다. 이처럼, 로봇 핑거(200)를 통해 단말기(300)에 이벤트를 입력하게 되면, 사용자가 직접 디스플레이 화면(310)에 드래그나 플리킹 등의 이벤트를 입력하는 경우와 동일한 사용환경을 만들 수 있으므로, 검사의 정확성이 매우 높아진다는 장점이 있다. 이때, 이벤트발생부(100)로부터 전달받은 이벤트에 관한 신호에 따라 디스플레이 화면(310) 또는 키패드(미도시)에 물리력을 인가하는 로봇 핑거(200)를 구현하는 기술은 관련 분야에서 잘 알려져 있는바 이에 대한 구체적인 설명은 생략하기로 한다.
연속촬영부(400)는 이벤트발생부(100)에 의해 단말기(300)에 입력된 이벤트에 따라 변화하는 디스플레이 화면(310)을 촬영하고, 이를 통해 획득한 영상 정보를 분석부(600)에 전송한다. 이때, 연속촬영부(400)는 단위 시간당 촬영된 프레임 수가 많을수록 분석부(600)에 의해 보다 정확하고 정밀한 분석이 가능하기 때문에, 고속 카메라(high speed motion picture camera)로 마련되는 것이 바람직하다. 참고로, 고속 카메라는 초당 50～100 프레임 이상을 촬영, 즉 고속 촬영이 가능한 카메라를 말한다.
분석부(600)는 연속촬영부(400)에 의해 획득된 영상 정보의 시간에 따른 움직임 변화를 분석하여 디스플레이 화면(310)에서 구현되는 사용자 인터페이스의 성능을 평가할 수 있다.
구체적으로, 분석부(600)는 연속촬영부(400)에 의해 획득된 영상 정보를 프레임 단위로 비교 분석함으로써 영상 정보의 시간에 따른 움직임 변화를 분석할 수 있다. 즉, 분석부(600)는 연속촬영부(400)에 의해 획득된 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 디스플레이 화면(310)에서 구현되는 사용자 인터페이스의 성능을 평가할 수 있다.
예컨대, 분석부(600)는 특정 이벤트에 대한 영상 정보에서 현재 프레임과 이전 프레임 사이의 영상 차이가 발생하는 횟수를 산출하고 산출된 영상 차이의 발생 횟수에 기초하여 사용자 인터페이스의 성능을 평가할 수 있다. 전술한 바와 같이 연속촬영부(400)는 고속 촬영이 가능한 고속 카메라로 마련되기 때문에, 단말기(300)의 디스플레이 화면(310)에서 플리킹, 드래그, 화면전환 등의 동작이 구현될 때, 연속촬영부(400)에 의해 촬영된 디스플레이 화면(310)의 영상 정보는 초당 50~100 이상의 프레임을 포함한다. 결과적으로, 디스플레이 화면(310)에서 플리킹, 드래그, 화면전환 등의 동작이 구현될 때 촬영된 영상 정보에는 동일한 이미지를 갖는 다수의 프레임이 존재할 수 있다. 즉, 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이는 매번 프레임이 전환될 때마다 발생하지 않는다. 여기서, 동일한 이벤트에 대해 영상 정보의 현재 프레임과 이전 프레임의 영상 차이가 발생하는 횟수가 많다는 것은 플리킹이나 드래그 동작시 단말기(300)의 디스플레이 화면(310)에 출력되는 이미지가 부드럽게 움직이거나 화면전환 동작시 단말기(300)의 디스플레이 화면(310)에서 화면전환이 부드럽게 이루어진다는 것을 의미할 수 있다. 따라서, 분석부(600)는 동일한 이벤트에 대해 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이가 발생하는 횟수가 많으면, 단말기(300)의 사용자 인터페이스의 성능 혹은 품질이 좋다고 평가할 수 있다. 반대로, 동일한 이벤트에 대해 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이가 발생하는 횟수가 적으면, 단말기(300)의 사용자 인터페이스의 성능 혹은 품질이 나쁘다고 평가할 수 있다.
다만, 본 발명에서 분석부(600)가 연속촬영부(400)에 의해 획득된 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 디스플레이 화면(310)에서 구현되는 사용자 인터페이스의 성능을 평가하는 구체적인 방법은, 위에서 언급한 바와 같은 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이가 발생하는 횟수를 산출하는 방법에 한정되지 아니하고, 영상 처리 분야에서 잘 알려진 다른 다양한 방법으로 구현될 수 있다.
또한, 분석부(600)는 연속촬영부(400)에 의해 획득된 영상 정보를 활용하여, 디스플레이 화면(310)에 나타나는 이미지의 전체 또는 일부에 대해 시간대별 변위, 속도 및 가속도 중 적어도 하나에 관한 움직임 데이터를 산출하고, 이에 기초하여 사용자 인터페이스의 성능을 평가할 수 있는데, 이에 대한 자세한 사항은, 도 5 및 도 6을 참조하여 후술하기로 한다.
도 1을 참조하면, 본 발명에 의한 사용자 인터페이스의 검사 장치는, 입력된 이벤트에 대해 단말기(300)에서 발생하는 로그 정보를 수집하여 분석부(600)에 제공하는 로그정보수집부(500)를 더 포함할 수 있다. 그리고, 분석부(600)는 연속촬영부(400)에 획득된 영상 정보와 로그정보수집부(500)에 의해 수집된 로그 정보를 시간대별로 비교 분석하여 단말기(300)에서 사용자 인터페이스의 성능 저하를 야기하는 부분을 찾아낼 수 있도록 구성될 수 있다. 여기서, 로그 정보는 어떠한 이벤트 혹은 신호를 입력받거나 펌웨어, 소프트웨어, 애플리케이션 등을 실행시킬 때, 시간대별 단말기(300)의 동작에 관한 정보를 포함하고 있다. 이에 따라, 단말기(300)의 로그 정보를 확인하면, 언제 어떠한 이벤트 혹은 신호가 입력되고 언제 어떠한 동작을 수행하고 이를 위해 실행된 펌웨어, 소프트웨어, 애플리케이션 등은 무엇인지 알아낼 수 있다. 본 발명에 의한 사용자 인터페이스의 검사 장치는, 이러한 로그 정보와 전술한 영상 정보를 활용하여 단말기(300)에서 사용자 인터페이스의 성능 저하를 야기하는 부분을 찾아낼 수 있는데, 구체적으로 디스플레이 화면(310)을 촬영하여 획득한 영상 정보의 시간에 따른 움직임 변화를 분석하여 성능 저하를 야기하는 시점(예컨대, 이미지 이동이나 화면 전환 중 일시적인 끊김이 발생하여 사용자가 이미지 이동이나 화면 전환이 부드럽지 못하다고 느끼는 원인이 되는 시점)을 알아낸 후, 해당 시점에 대응하는 로그 정보의 항목을 확인함으로써, 성능 저하의 원인이 소프트웨어의 문제인지, 애플리케이션의 문제인지, 아니면 하드웨어의 문제인지 등을 정확하게 파악할 수 있다. 한편, 영상 정보의 시간에 따른 움직임 변화를 분석하여 성능 저하를 야기하는 시점을 어떻게 찾아내는지 관련해서는 도 5 및 도 6을 참조하여 부연 설명하기로 한다.
앞서 언급한 바와 같이, 분석부(600)는 연속촬영부(400)에 의해 획득된 영상 정보를 활용하여, 디스플레이 화면(310)에 나타나는 이미지의 전체 또는 일부에 대해 시간대별 변위, 속도 및 가속도 중 적어도 하나에 관한 움직임 데이터를 산출하고, 이에 기초하여 사용자 인터페이스의 성능을 평가할 수 있는데, 이에 대한 구체적인 실험 예를 도 5 및 도 6을 참조하여 상세히 설명하기로 한다.
도 5 및 도 6은 단말기에 플리킹 이벤트가 입력되었을 때, 디스플레이 화면을 촬영한 영상 정보로부터 추출한 움직임 데이터를 도시한 것으로, 도 5는 시간대별 변위에 관한 움직임 데이터를, 도 6은 시간대별 속도에 관한 움직임 데이터를 도시한다. 한편, 영상 정보로부터 변화하는 이미지에 대한 변위와 속도, 더 나아가 가속도에 관한 움직임 데이터를 추출하는 기술은 영상 처리 분야에서 잘 알려져 있는 바, 본 명세서에서는 이에 대한 설명을 생략하기로 한다.
이벤트발생부(100)에 의해 단말기(300)에 플리킹 이벤트가 입력되면, 디스플레이 화면(310)의 이미지는 플리킹 방향을 따라 이동하게 되는데, 이때 이미지는 처음부터 끝까지 동일한 속도로 이동하는 것이 아니라, 초반부에는 빠르게 이동하다가 후반부로 갈수록 천천히 이동하는 특정을 갖는다. 즉, 플리킹 이벤트를 인가하였을 때 디스플레이 화면(310)을 촬영하여 얻은 영상 정보를 시간대별로 비교하여, 이미지의 변위에 관한 움직임 데이터를 그래프로 나타내면 도 5에 도시된 바와 같고, 이를 미분하여 이미지의 속도에 관한 움직임 데이터를 그래프로 나타내면 도 6에 도시된 바와 같다. 이때, 이미지가 이동하는 도중에 이미지의 이동이 끊어지는 경우 즉, 이미지가 잠시 동안 이동하지 아니하는 현상이 발생하는 경우에는, 도 5에 도시된 바와 같이 변위가 증가하지 아니하는 구간 즉, 도 6에 도시된 바와 같이 속도가 0인 구간(막대 형상의 속도그래프가 누락된 구간)이 발생한다. 이러한 구간의 발생은 부드럽지 못한 이미지의 이동을 의미하고 이는 사용자로 하여금 사용자 인터페이스의 성능이 나쁘다는 인상을 심어줄 수 있다. 결과적으로, 분석부(600)는 디스플레이 화면(310)에 나타나는 이미지의 전체 또는 일부에 대해 시간대별 변위나 속도, 또는 가속도에 관한 움직임 데이터를 산출하고 이를 분석하여 성능 저하를 야기하는 구간이 있는지 파악함으로써, 사용자 인터페이스의 성능을 평가할 수 있는 것이다. 아울러, 분석부(600)는 로그정보수집부(500)에 의해 수집된 로그 정보에서, 도 5에 도시된 바와 같이 변위가 증가하지 아니하는 구간 즉, 도 6에 도시된 바와 같이 속도가 0인 구간(막대 형상의 속도그래프가 누락된 구간)의 시간에 대응되는 항목을 확인함으로써, 그러한 이상 구간의 발생을 초래한 원인이 소프트웨어에 있는지, 애플리케이션에 있는지 아니면 하드웨어에 있는지 찾아낼 수 있다. 이에 따라, 단말기(300)의 사용자 인터페이스의 성능을 떨어뜨리는 원인을 정확히 파악할 수 있고, 이는 단말기(300)의 성능을 향상시키기 위한 연구 개발에 있어서 중요한 자료로 활용될 수 있다.
한편, 단말기(300)에 플리킹 이벤트가 입력되면, 디스플레이 화면(310)의 이미지는 즉시 움직이는 것이 아니라, 도 5 및 도 6에 도시된 바와 같이 일정 시간(A)이 경과한 이후부터 움직이게 되는데, 본 발명에 의한 사용자 인터페이스의 검사 장치를 이용하면 이러한 시간(A)을 측정할 수 있다. 다시 말해서, 분석부(600)는 전술한 바와 같이 디스플레이 화면(310)에 나타나는 이미지의 움직임 데이터(예컨대, 변위, 속도 및 가속도)를 분석함으로써, 단말기(300)에 이벤트가 입력된 시점부터 디스플레이 화면(310)에 최초 움직임이 발생한 시점까지의 시간을 산출하여 사용자 인터페이스의 초기 반응속도를 평가할 수 있다. 이러한 초기 반응속도가 빠르면 빠를수록 사용자는 해당 단말기(300)의 사용자 인터페이스의 성능 혹은 품질이 우수하다고 생각하게 된다. 이때, 초기 반응속도는 사용자가 직접 디스플레이 화면(310)에 드래그나 플리킹 등의 이벤트를 입력하는 경우와 동일한 사용환경에서 측정하는 것이 더 정확한 데이터를 얻을 수 있으므로, 분석부(600)는 로봇 핑거(200)에 의해 단말기(300)에 물리적인 힘이 인가된 시점부터 상기 디스플레이 화면(310)에 최초 움직임이 발생한 시점까지의 시간을 산출하여 초기 반응속도를 평가하는 것이 바람직하다.
또한, 분석부(600)는 위와 같은 방법으로 단말기(300)에 이벤트가 입력된 시점부터 디스플레이 화면(310)에 입력된 이벤트에 대한 최종 이미지가 발생한 시점까지 시간을 산출할 수 있다. 이에 따라, 분석부(600)는 사용자 인터페이스의 최종 반응속도를 평가할 수 있다. 이러한 최종 반응속도는 특히 디스플레이 화면(310) 상의 화면 전환에 있어서 사용자가 해당 단말기(300)의 사용자 인터페이스의 성능을 평가하는데, 중요한 판단 기준을 제공하게 된다. 즉, 사용자 인터페이스의 성능은 전술한 초기 반응속도와 함께 최종 반응속도에 의해 평가될 수 있다. 이처럼, 본 발명에 의한 사용자 인터페이스의 검사 장치는 사용자 인터페이스의 다양한 영역에 대한 평가를 할 수 있다는 이점이 있다.
이하, 도 7 및 도 8을 참조하여 본 발명의 의한 사용자 인터페이스의 검사 방법의 실시예들을 설명한다.
도 7은 본 발명의 일 실시예에 따른 사용자 인터페이스의 검사 방법의 순서도이다. 도 1 및 도 7을 참조하면, 본 실시예에 따른 사용자 인터페이스의 검사 방법은, 디스플레이 화면(310)이 구비된 단말기(300)에 적어도 하나의 이벤트를 제공하는 단계(S110)와, 이벤트에 따라 변화하는 디스플레이 화면(310)을 촬영하는 단계(S120)와, S120 단계에서 획득된 영상 정보를 분석하여 디스플레이 화면(310)에서 구현되는 사용자 인터페이스의 성능을 평가하는 단계(S130)를 포함할 수 있다.
한편, 이하에서 설명할 각 단계들의 기술적 의미와 더 상세한 사항에 대해서는, 앞서 본 발명에 의한 사용자 인터페이스의 검사 장치 관한 상세한 설명을 준용하기로 한다.
S110 단계에서, 이벤트발생부(100)에 의해 생성된 적어도 하나의 이벤트는 단말기(300)에 직접 입력되거나, 디스플레이 화면(310) 또는 단말기(300)의 키패드(미도시)에 물리적인 힘을 인가할 수 있는 로봇 핑거(200)를 통해 단말기(300)에 입력될 수 있다. S120 단계에서, 디스플레이 화면(310)에 대한 촬영은 고속 카메라에 의해 수행되는 것이 바람직하다.
S130 단계는 S120 단계에서 획득된 영상 정보의 시간에 따른 움직임 변화를 분석하여 사용자 인터페이스의 성능을 평가할 수 있다. 예컨대, S130 단계는 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 사용자 인터페이스의 성능을 평가할 수 있는데, 구체적으로, 영상 정보에서 현재 프레임과 이전 프레임 사이의 영상 차이가 발생하는 횟수를 산출하고, 산출된 영상 정보의 발생 횟수에 기초하여 사용자 인터페이스의 성능을 평가할 수 있다.
또한, S130 단계는 디스플레이 화면(310)에 나타나는 이미지의 전체 또는 일부에 대해 시간대별 변위, 속도 및 가속도 중 적어도 하나에 관한 움직임 데이터를 산출하고, 산출된 움직임 데이터에 기초하여 사용자 인터페이스의 성능을 평가할 수 있다.
또한, S130 단계는 단말기(130)에 이벤트가 입력된 시점부터 디스플레이 화면(310)에 최초 움직임이 발생한 시점까지의 시간을 산출하여 사용자 인터페이스의 초기 반응속도를 평가할 수 있는데, 이때, 로봇 핑거(200)를 통해 단말기(300)에 이벤트를 입력하는 경우, S130 단계는 로봇 핑거(200)에 의해 단말기(300)에 물리적인 힘이 인가된 시점부터 상기 디스플레이 화면(310)에 최초 움직임이 발생한 시점까지의 시간을 산출하여 초기 반응속도를 평가하는 것이 바람직하다.
또한, S130 단계는 단말기(130)에 이벤트가 입력된 시점부터 디스플레이 화면(310)에 벤트에 대한 최종 이미지가 발생한 시점까지의 시간을 산출하여 사용자 인터페이스의 최종 반응속도를 평가할 수도 있다.
도 8은 본 발명의 다른 실시예에 따른 사용자 인터페이스의 검사 방법의 순서도이다. 도 1 및 도 8을 참조하면, 본 실시예에 따른 사용자 인터페이스의 검사 방법은, 디스플레이 화면(310)이 구비된 단말기(300)에 적어도 하나의 이벤트를 제공하는 단계(S210)와, 이벤트에 따라 변화하는 디스플레이 화면(210)을 촬영하는 단계(S220)와, 이벤트에 대해 단말기(300)에서 발생하는 로그 정보를 수집하는 단계(S225)와, S220 단계에서 획득된 영상 정보와 S225 단계에서 수집된 로그 정보를 분석하여 사용자 인터페이스의 성능을 평가하는 단계(S230)를 포함할 수 있다.
여기서, S230 단계는 S220 단계에서 획득된 영상 정보와 S225 단계에서 수집된 로그 정보를 시간대별로 비교 분석하여 단말기(300)에서 사용자 인터페이스의 성능 저하를 야기하는 부분을 찾아낼 수 있다.
한편, S210 단계는 전술한 실시예의 S110 단계와 실질적으로 동일하고, S220 단계는 전술한 실시예의 S120 단계와 실질적으로 동일하므로, 이들 단계들(S210,S220)의 세부 단계들에 대한 설명은 전술한 실시예를 준용한다.
이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.
100 : 이벤트발생부 200 : 로봇 핑거
300 : 단말기 400 : 연속촬영부
500 : 로그정보수집부 600 : 분석부

Claims (20)

  1. 디스플레이 화면이 구비된 단말기에 적어도 하나의 이벤트를 제공하는 이벤트발생부;
    상기 이벤트에 따라 변화하는 상기 디스플레이 화면을 촬영하는 연속촬영부; 및
    상기 연속촬영부에 의해 획득된 영상 정보를 분석하여 상기 디스플레이 화면에서 구현되는 사용자 인터페이스의 성능을 평가하는 분석부를 포함하는 것을 특징으로 하는 사용자 인터페이스의 검사 장치.
  2. 제1항에 있어서,
    상기 연속촬영부는, 고속 카메라를 포함하고,
    상기 분석부는, 상기 영상 정보의 시간에 따른 움직임 변화를 분석하여 상기 사용자 인터페이스의 성능을 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 장치.
  3. 제1항에 있어서,
    상기 분석부는,
    상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 사용자 인터페이스의 성능을 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 장치.
  4. 제1항 또는 제3항에 있어서,
    상기 분석부는,
    상기 영상 정보에서 현재 프레임과 이전 프레임 사이의 영상 차이가 발생하는 횟수를 산출하고, 산출된 상기 영상 차이의 발생 횟수에 기초하여 상기 사용자 인터페이스의 성능을 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 장치.
  5. 제1항에 있어서,
    상기 분석부는,
    상기 디스플레이 화면에 나타나는 이미지의 전체 또는 일부에 대해 시간대별 변위, 속도 및 가속도 중 적어도 하나에 관한 움직임 데이터를 산출하고, 상기 움직임 데이터에 기초하여 상기 사용자 인터페이스의 성능을 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 장치.
  6. 제1항에 있어서,
    상기 분석부는,
    상기 단말기에 상기 이벤트가 입력된 시점부터 상기 디스플레이 화면에 최초 움직임이 발생한 시점까지의 시간을 산출하여 상기 사용자 인터페이스의 초기 반응속도를 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 장치.
  7. 제1항 또는 제6항에 있어서,
    상기 분석부는,
    상기 단말기에 상기 이벤트가 입력된 시점부터 상기 디스플레이 화면에 상기 이벤트에 대한 최종 이미지가 발생한 시점까지의 시간을 산출하여 상기 사용자 인터페이스의 최종 반응속도를 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 장치.
  8. 제1항 또는 제5항에 있어서,
    상기 검사 장치는,
    상기 이벤트에 대해 상기 단말기에서 발생하는 로그 정보를 수집하여 상기 분석부에 제공하는 로그정보수집부를 더 포함하고,
    상기 분석부는,
    상기 영상 정보와 상기 로그 정보를 시간대별로 비교 분석하여 상기 단말기에서 사용자 인터페이스의 성능 저하를 야기하는 부분을 찾아내는 것을 특징으로 하는 사용자 인터페이스의 검사 장치.
  9. 제1항에 있어서,
    상기 검사 장치는,
    상기 이벤트발생부로부터 상기 이벤트에 관한 신호를 전달받아 상기 이벤트가 상기 단말기에 입력되도록 상기 디스플레이 화면 또는 상기 단말기의 키패드에 물리적인 힘을 인가하는 로봇 핑거를 더 포함하는 것을 특징으로 하는 사용자 인터페이스의 검사 장치.
  10. 제9항에 있어서,
    상기 분석부는,
    상기 로봇 핑거에 의해 상기 단말기에 물리적인 힘이 인가된 시점부터 상기 디스플레이 화면에 최초 움직임이 발생한 시점까지의 시간을 산출하는 것을 특징으로 하는 사용자 인터페이스의 검사 장치.
  11. (a) 디스플레이 화면이 구비된 단말기에 적어도 하나의 이벤트를 제공하는 단계;
    (b) 상기 이벤트에 따라 변화하는 상기 디스플레이 화면을 촬영하는 단계; 및
    (c) 상기 (b) 단계에서 획득된 영상 정보를 분석하여 상기 디스플레이 화면에서 구현되는 사용자 인터페이스의 성능을 평가하는 단계를 포함하는 것을 특징으로 하는 사용자 인터페이스의 검사 방법.
  12. 제11항에 있어서,
    상기 (b) 단계는, 고속 카메라를 이용하여 상기 디스플레이 화면을 촬영하고,
    상기 (c) 단계는, 상기 영상 정보의 시간에 따른 움직임 변화를 분석하여 상기 사용자 인터페이스의 성능을 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 방법.
  13. 제11항에 있어서,
    상기 (c) 단계는,
    상기 영상 정보의 현재 프레임과 이전 프레임 사이의 영상 차이에 기초하여 상기 사용자 인터페이스의 성능을 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 방법.
  14. 제11항 또는 제13항에 있어서,
    상기 (c) 단계는,
    상기 영상 정보에서 현재 프레임과 이전 프레임 사이의 영상 차이가 발생하는 횟수를 산출하고, 산출된 상기 영상 정보의 발생 횟수에 기초하여 상기 사용자 인터페이스의 성능을 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 방법.
  15. 제11항에 있어서,
    상기 (c) 단계는,
    상기 디스플레이 화면에 나타나는 이미지의 전체 또는 일부에 대해 시간대별 변위, 속도 및 가속도 중 적어도 하나에 관한 움직임 데이터를 산출하고, 상기 움직임 데이터에 기초하여 상기 사용자 인터페이스의 성능을 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 방법.
  16. 제11항에 있어서,
    상기 (c) 단계는,
    상기 단말기에 상기 이벤트가 입력된 시점부터 상기 디스플레이 화면에 최초 움직임이 발생한 시점까지의 시간을 산출하여 상기 사용자 인터페이스의 초기 반응속도를 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 방법.
  17. 제11항 또는 제16항에 있어서,
    상기 (c) 단계는,
    상기 단말기에 상기 이벤트가 입력된 시점부터 상기 디스플레이 화면에 상기 이벤트에 대한 최종 이미지가 발생한 시점까지의 시간을 산출하여 상기 사용자 인터페이스의 최종 반응속도를 평가하는 것을 특징으로 하는 사용자 인터페이스의 검사 방법.
  18. 제11항 또는 제15항에 있어서,
    상기 검사 방법은,
    (d) 상기 이벤트에 대해 상기 단말기에서 발생하는 로그 정보를 수집하는 단계를 더 포함하고,
    상기 (c) 단계는,
    상기 (b) 단계에서 획득된 상기 영상 정보와 상기 (d) 단계에서 수집된 상기 로그 정보를 시간대별로 비교 분석하여 상기 단말기에서 사용자 인터페이스의 성능 저하를 야기하는 부분을 찾아내는 것을 특징으로 하는 사용자 인터페이스의 검사 방법.
  19. 제11항에 있어서,
    상기 (a) 단계에서
    상기 이벤트는, 상기 디스플레이 화면 또는 상기 단말기의 키패드에 물리적인 힘을 인가하는 로봇 핑거에 의해, 상기 단말기에 입력되는 것을 특징으로 하는 사용자 인터페이스의 검사 방법.
  20. 제19항에 있어서,
    상기 (c) 단계는,
    상기 로봇 핑거에 의해 상기 단말기에 물리적인 힘이 인가된 시점부터 상기 디스플레이 화면에 최초 움직임이 발생한 시점까지의 시간을 산출하는 것을 특징으로 하는 사용자 인터페이스의 검사 방법.
KR1020110023357A 2011-03-16 2011-03-16 사용자 인터페이스의 검사 장치 및 검사 방법 KR101194367B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110023357A KR101194367B1 (ko) 2011-03-16 2011-03-16 사용자 인터페이스의 검사 장치 및 검사 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110023357A KR101194367B1 (ko) 2011-03-16 2011-03-16 사용자 인터페이스의 검사 장치 및 검사 방법

Publications (2)

Publication Number Publication Date
KR20120105735A KR20120105735A (ko) 2012-09-26
KR101194367B1 true KR101194367B1 (ko) 2012-10-24

Family

ID=47112545

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110023357A KR101194367B1 (ko) 2011-03-16 2011-03-16 사용자 인터페이스의 검사 장치 및 검사 방법

Country Status (1)

Country Link
KR (1) KR101194367B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101735420B1 (ko) * 2013-10-21 2017-05-16 (주) 넥스트랩 사용자 인터페이스 검사 장치 및 방법
US10809887B2 (en) 2014-01-30 2020-10-20 Micro Focus Llc Evaluating user interface efficiency

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291001A (ja) 2001-03-27 2002-10-04 Tatsuo Uchida 動画性能評価装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291001A (ja) 2001-03-27 2002-10-04 Tatsuo Uchida 動画性能評価装置

Also Published As

Publication number Publication date
KR20120105735A (ko) 2012-09-26

Similar Documents

Publication Publication Date Title
CN105306931A (zh) 智能电视异常检测方法及装置
JP7029902B2 (ja) 映像通話品質測定方法およびシステム
KR20140091555A (ko) 웹 페이지 렌더링 시간 측정 기법
CN109101172B (zh) 多屏联动系统及其互动显示方法
CN110703903A (zh) 用于针对视频内容提供自动触觉生成的系统和方法
CN107292223A (zh) 一种实时手势检测的在线验证方法及系统
CN112055198A (zh) 一种视频测试方法、装置、电子设备及存储介质
CN104679307A (zh) 一种检测触摸屏幕滑动灵敏度的方法及装置
CN116126580B (zh) 触控显示的控制方法、装置、设备及存储介质
KR101883291B1 (ko) 이동장치의 제스처 제어장치 및 방법
CN109359029A (zh) 一种自动化非侵入式的安卓应用无障碍支持检测方法
KR101194367B1 (ko) 사용자 인터페이스의 검사 장치 및 검사 방법
CN110069194B (zh) 页面卡顿确定方法、装置、电子设备及可读存储介质
TWI536276B (zh) 電子產品性能的測試裝置及測試方法
CN112783707A (zh) 一种触摸屏点击响应时间测量方法及系统
CN112837640A (zh) 屏幕动态画面测试方法、系统、电子设备及存储介质
CN105100785A (zh) 流畅度的测试方法及装置
CN104216624A (zh) 一种显示方法和电子设备
EP2428870A1 (en) Device and method for controlling gesture for mobile device
CN110798681A (zh) 成像设备的监测方法、装置和计算机设备
CN104469164B (zh) 图像采集设备、图像采集模组及图像处理方法
CN114489461A (zh) 触控响应方法、装置、设备及存储介质
KR101414583B1 (ko) 모바일 단말기의 터치 입력을 이용한 ｉｐ 카메라의 원격 제어장치
KR101735420B1 (ko) 사용자 인터페이스 검사 장치 및 방법
WO2018161421A1 (zh) 终端设备的触摸显示屏幕的性能测试方法和性能测试装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150922

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161011

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171012

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 8