KR101196894B1 - Touch screen base user interface test apparatus and test method - Google Patents

Touch screen base user interface test apparatus and test method Download PDF

Info

Publication number
KR101196894B1
KR101196894B1 KR1020110035428A KR20110035428A KR101196894B1 KR 101196894 B1 KR101196894 B1 KR 101196894B1 KR 1020110035428 A KR1020110035428 A KR 1020110035428A KR 20110035428 A KR20110035428 A KR 20110035428A KR 101196894 B1 KR101196894 B1 KR 101196894B1
Authority
KR
South Korea
Prior art keywords
touch screen
test
touch
user interface
external signal
Prior art date
Application number
KR1020110035428A
Other languages
Korean (ko)
Other versions
KR20120117595A (en
Inventor
최경희
정기현
김장복
유기원
이수호
Original Assignee
비티에스테크놀로지스(주)
정기현
최경희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비티에스테크놀로지스(주), 정기현, 최경희 filed Critical 비티에스테크놀로지스(주)
Priority to KR1020110035428A priority Critical patent/KR101196894B1/en
Publication of KR20120117595A publication Critical patent/KR20120117595A/en
Application granted granted Critical
Publication of KR101196894B1 publication Critical patent/KR101196894B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306—Details
    • G02F1/1309—Repairing; Testing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/001—Measuring interference from external sources to, or emission from, the device under test, e.g. EMC, EMI, EMP or ESD testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

본 발명은 터치 동작에 대응하는 외부신호를 이용하여 정확하고 정밀하게 반응을 시험할 수 있는 터치 스크린 기반 시스템의 사용자 인터페이스 자동 시험 장치 및 방법에 관한 것이다. 본 발명의 장치는, 터치 스크린; 상기 터치 스크린의 화상을 캡춰하기 위한 카메라; 상기 터치스크린의 터치에 대응하는 터치신호를 생성하는 외부신호생성기; 프로그램을 실행하면서 상기 외부신호생성기로부터 터치신호를 입력받아 상기 터치 스크린에 명령을 출력하는 프로세서; 및 상기 프로그램의 사용자 인터페이스에 대응하는 터치신호를 발생하도록 상기 외부신호생성기를 제어하고, 상기 카메라로부터 캡춰된 영상을 수신하여 프로그램의 사용자 인터페이스를 시험하는 테스트 엔진으로 구성된다. 본 발명에 따르면 외부신호 생성기를 사용하여 터치 스크린(Touch screen)에서 직접적인 입력을 받지 않고서도 외부에서 프로세서(Processor)로 터치 동작에 대응하는 신호를 전송한 후 그에 따른 반응을 정확하게 카메라로 캡춰하여 확인할 수 있으므로 순간적으로 변화하는 터치 스크린 화면을 정밀하게, 빠르고 그리고 자동으로 시험할 수 있는 효과가 있다.The present invention relates to an apparatus and method for automatically testing a user interface of a touch screen based system capable of accurately and precisely testing a response using an external signal corresponding to a touch operation. The apparatus of the present invention, a touch screen; A camera for capturing an image of the touch screen; An external signal generator for generating a touch signal corresponding to the touch of the touch screen; A processor configured to receive a touch signal from the external signal generator and output a command to the touch screen while executing a program; And a test engine for controlling the external signal generator to generate a touch signal corresponding to the user interface of the program, and receiving a captured image from the camera to test the user interface of the program. According to the present invention, after receiving a signal corresponding to the touch operation from the outside to the processor without receiving a direct input from the touch screen using an external signal generator, the response is accurately captured by the camera to confirm As a result, it is possible to accurately, quickly and automatically test a touch screen screen that changes instantly.

Description

터치 스크린 기반 사용자 인터페이스 시험 장치 및 방법{TOUCH SCREEN BASE USER INTERFACE TEST APPARATUS AND TEST METHOD}TOUCH SCREEN BASE USER INTERFACE TEST APPARATUS AND TEST METHOD}

본 발명은 터치 스크린을 이용한 인터페이스를 갖는 시스템의 사용자 인터페이스를 자동으로 시험하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 사람 혹은 로봇트 등을 이용한 터치 동작 대신, 이에 대응하는 외부신호를 이용하여 신속하고, 정밀하게 자동적으로 시험할 수 있는 터치 스크린 기반 시스템의 사용자 인터페이스 자동 시험 장치 및 방법에 관한 것이다.
The present invention relates to an apparatus and method for automatically testing a user interface of a system having an interface using a touch screen, and more particularly, by using an external signal corresponding thereto instead of a touch operation using a person or a robot. The present invention relates to an apparatus and method for automatically testing a user interface of a touch screen-based system capable of accurately and automatically testing.

최근 들어, 스마트폰이나 테블릿 PC 등 모바일 기기의 보급이 일반화되면서 터치 스크린 패널에 기반한 그래픽 사용자 인터페이스(Graphic User Interface:이하 'GUI'라 한다.)가 널리 사용되고 있다.Recently, with the spread of mobile devices such as smartphones and tablet PCs, a graphic user interface (GUI) based on a touch screen panel is widely used.

터치 스크린 패널(Touch Screen Panel)은 마우스나 키보드 등의 입력 방식을 대체할 수 있는 새로운 입력 방식으로, 손이나 펜을 이용하여 스크린에 직접 정보를 입력할 수 있는 새로운 입력 방식이다. 특히, 터치 스크린 패널은 사용자가 스크린을 보면서 원하는 작업을 직접 수행할 수 있고, 누구나 쉽게 조작할 수 있기 때문에 GUI(Graphical User Interface) 환경 하에서 가장 이상적인 입력 방식으로 평가받고 있으며, 현재 휴대폰, PDA, 은행이나 관공서, 각종 의료장비, 관광 및 주요 기관의 안내 등 여러 분야에서 널리 사용되고 있다.The touch screen panel is a new input method that can replace an input method such as a mouse or a keyboard, and is a new input method that can directly input information on the screen using a hand or a pen. In particular, the touch screen panel is evaluated as the most ideal input method under the GUI (Graphical User Interface) environment because the user can directly perform a desired task while viewing the screen, and anyone can easily operate it. It is widely used in various fields such as public offices, various medical equipment, tourism, and guidance of major organizations.

특히, 화상이 출력되는 표시부의 단위 화소에 터치 센서(touch sensor)가 배치되는 인셀 방식(in-cell type)의 터치 스크린 패널에는 표시 소자에 따라 액정 표시 패널(Liquid Crystal Panel)를 이용한 터치 스크린 패널, 플라즈마 표시 패널(Plasma Display Panel)를 이용한 터치 스크린 패널, 및 유기 전계 발광 표시 패널(Organic Electro Luminescence Display Pannel)를 이용한 터치 스크린 패널 등이 상용화되어 있으며, 터치 입력을 감지하는 센서 소자에 따라 저항성 방식의 터치 스크린 패널, 용량성 방식의 터치 스크린 패널 등이 상용화되어 있다. In particular, an in-cell type touch screen panel in which a touch sensor is disposed on a unit pixel of a display unit on which an image is output, has a touch screen panel using a liquid crystal panel according to display elements. , Touch screen panel using plasma display panel, and touch screen panel using organic electroluminescence display panel are commercially available, and resistive type according to sensor element for detecting touch input. Touch screen panels, capacitive touch screen panels and the like are commercially available.

이와 같은 터치 스크린의 구현방식으로는 정전용량방식, 광센서방식, 초음파방식, 전자기방식, 저항막방식 등이 있는데, 이 중 저항막방식은 도 1에 도시된 바와 같이, 유리(Glass)기판 위에 형성된 투명 도전막(ITO)과 필름에 형성된 투명 도전막(ITO)이 도트 스페이서(Dot spacer)를 사이에 두고 떨어져 있다가 터치 동작에 의해 접촉되는 위치를 인식하는 방식이다.Such a touch screen may be implemented in a capacitive method, an optical sensor method, an ultrasonic method, an electromagnetic method, a resistive film method, and the like, and the resistive film method may be formed on a glass substrate as shown in FIG. 1. The transparent conductive film ITO and the transparent conductive film ITO formed on the film are separated from each other with a dot spacer interposed therebetween, and thus the position at which the transparent conductive film ITO is contacted by a touch operation is recognized.

한편, 정전용량 방식의 터치 스크린은 도 2에 도시된 바와 같이 투명 재질의 윈도우(10)와 접촉을 감지하는 정전용량 센서(20), 그리고 정전용량 센서(20)에 전기적 신호를 구동하여 센서로부터 발생되는 전기적 신호의 변화로부터 디스플레이 상에 입력되는 사용자의 터치 행위에 대한 좌표를 계산해내는 컨트롤러(30)와 디스플레이 장치(40)로 구성된다. 원도우(10)는 일반적으로 0.5mm에서부터 5mm정도 두께의 투명한 플라스틱 재질이나 투명한 유리 재질로 제작되며 정전용량 센서(20)와 디스플레이장치(40) 화면의 전면에 위치한다. 정전용량 센서(20)는 원도우(10)의 하부에 위치하게 되며 투명 재질의 필름이나 유리 기판 위에 투명한 특성과 전기 전도성을 갖는 ITO(Indium Thin Oxide)나 폴리머 재질 또는 탄소나노튜브를 이용한 도전성 잉크 등을 도포하여 특정 모양으로 성형된 전극의 패턴을 성형하여 제작된다.Meanwhile, as shown in FIG. 2, the capacitive touch screen drives an electric signal to the capacitive sensor 20 and the capacitive sensor 20 to detect contact with the window 10 made of a transparent material. The controller 30 and the display device 40 are configured to calculate coordinates of a user's touch action input on the display from a change in the generated electrical signal. The window 10 is generally made of a transparent plastic material or a transparent glass material having a thickness of about 0.5 mm to 5 mm, and is located in front of the screen of the capacitive sensor 20 and the display device 40. The capacitive sensor 20 is positioned below the window 10 and is made of indium thin oxide (ITO), a polymer material, or a conductive ink using carbon nanotubes, which has transparent properties and electrical conductivity on a transparent film or glass substrate. It is produced by molding the pattern of the electrode formed by applying a specific shape.

다른 한편, 전형적인 터치 스크린 기반의 시스템은 도 3에 도시된 바와 같이, 터치 스크린(Touch screen;52)과 프로그램을 실행하는 프로세서(Processor;54)로 구성되어 터치 스크린이 센서를 통해 감지한 터치신호를 프로세서(54)로 전달해주고, 프로세서(54)는 이러한 터치신호를 바탕으로 터치 스크린(52)이 수행해야 하는 명령(command)을 전송한다.On the other hand, a typical touch screen based system is composed of a touch screen 52 and a processor 54 for executing a program as shown in FIG. 3 so that the touch signal detected by the touch screen through a sensor Is transmitted to the processor 54, and the processor 54 transmits a command that the touch screen 52 should perform based on the touch signal.

이와 같은 터치 스크린의 GUI를 시험하기 위해서는 사람이나 로봇이 직접 터치 스크린에 입력을 가하고 그 결과를 사람이 확인하는 과정을 거친다. 이를 자동화하기 위한 방법으로 스크린의 입력을 카메라를 이용하여 터치 스크린의 변화된 영상을 획득하고 이를 해석하여 정상동작 여부를 관찰하는 방법을 사용할 수 있다. 하지만 현재의 터치 스크린 입력 방법(사람이나 로봇이 직접 터치 스크린에 입력을 가함)으로는 자동 시험을 할 경우 다음과 같은 문제점을 가진다. In order to test the GUI of such a touch screen, a human or a robot directly inputs the touch screen and checks the result. As a method for automating this, a method of acquiring a changed image of a touch screen using a camera as an input of a screen and interpreting the same may be used to observe normal operation. However, with the current touch screen input method (human or robot directly inputs the touch screen), the automatic test has the following problems.

첫째, 동작 속도가 느려 많은 시험을 하기가 어렵다. First, many tests are difficult due to the slow operation speed.

둘째, 터치 스크린 입력 후 순간적으로 변하는 영상등을 감지하기가 어렵다. Second, it is difficult to detect an image that changes instantly after the touch screen input.

왜냐하면, 사람의 손이나 로봇의 팔이 카메라 시야에서 사라지는 시간 이전에 터치 스크린이 변하는 경우 카메라가 그 변화를 인식하기가 어렵기 때문이다. This is because if the touch screen changes before the time when a human hand or a robot's arm disappears from the camera's field of view, it is difficult for the camera to recognize the change.

네비게이션 등과 같은 터치 스크린을 기반으로 하는 응용 프로그램에서 자동으로 터치 스크린(Touch screen)을 테스트하는 것은 사람이나 로봇의 조작에 대응하는 신호로 터치 스크린을 조작하고 그 반응을 카메라로 캡춰(capture)하여 터치 스크린의 조작에 따른 시스템의 동작이나 GUI 프로그램의 상태를 파악하는 것을 의미한다. Automatically testing the touch screen in touch screen-based applications such as navigation, etc., involves manipulating the touch screen with signals corresponding to human or robot manipulation and capturing the response with the camera. It means to grasp the system operation or GUI program status according to the screen operation.

종래에는 터치 스크린을 테스트함에 있어서 손이나 로봇(robot)을 이용하여 수동으로 조작하였는데, 이 경우 터치 스크린을 캡춰하면 순간적으로 변하는 영상에 손이나 로봇이 찍히게 되어 터치 스크린의 순간적인 반응을 인식할 수 없는 문제점이 있다. 즉, 터치 스크린 화면을 사람의 손이나 로봇으로 터치할 경우에는 터치에 시간이 걸리고, 터치시나 화면에서 빠져 나갈 때 로봇이나 손이 화면을 가리게 되어 전체적으로 테스트 속도가 늦어지는 문제점이 있다. 또한 또한 손이나 로봇에 의한 터치 스크린 조작 및 평가는 시간이 많이 걸려 다양한 시험 항목을 시험하기에 많은 시간이 걸린다.Conventionally, in testing the touch screen, the touch screen was manually operated using a hand or a robot. In this case, when the touch screen is captured, the hand or the robot is photographed on a momentarily changing image, thereby recognizing the instantaneous response of the touch screen. There is no problem. In other words, when the touch screen screen is touched by a human hand or a robot, the touch takes time, and the robot or the hand covers the screen at the time of touching or exiting from the screen, thereby slowing the overall test speed. In addition, the touch screen operation and evaluation by a hand or a robot takes a lot of time to test various test items.

본 발명은 상기와 같은 문제점을 해소하기 위해 제안된 것으로, 본 발명의 목적은 순간적으로 변화하는 터치 스크린 화면을 빠르게 그리고 자동으로 시험할 수 있는 터치 스크린 기반 시스템의 사용자 인터페이스 시험 장치 및 방법을 제공하는 것이다.The present invention has been proposed to solve the above problems, and an object of the present invention is to provide an apparatus and method for testing a user interface of a touch screen-based system capable of quickly and automatically testing a momentarily changing touch screen screen. will be.

또한 본 발명의 다른 목적은 외부에서 터치 스크린의 입력을 모의하는 신호를 생성하여 터치 스크린을 실제 조작하지 않으면서도 터치 동작에 대응하는 외부신호를 이용하여 신속하고 정밀하게 터치 조작에 대한 반응을 자동으로 시험할 수 있는 터치 스크린 기반 시스템의 사용자 인터페이스 시험 장치 및 방법을 제공하는 것이다.In addition, another object of the present invention is to generate a signal that simulates the input of the touch screen from the outside to automatically and quickly respond to the touch operation using an external signal corresponding to the touch operation without actually operating the touch screen. To provide a user interface testing apparatus and method of a touch screen-based system that can be tested.

상기와 같은 목적을 달성하기 위하여 본 발명의 장치는, 터치 스크린; 상기 터치 스크린의 화상을 캡춰하기 위한 카메라; 상기 터치스크린의 터치에 대응하는 터치신호를 생성하는 외부신호생성기; 프로그램을 실행하면서 상기 외부신호생성기로부터 터치신호를 입력받아 상기 터치 스크린에 명령을 출력하는 프로세서; 및 상기 프로그램의 사용자 인터페이스에 대응하는 터치신호를 발생하도록 상기 외부신호생성기를 제어하고, 상기 카메라로부터 캡춰된 영상을 수신하여 프로그램의 사용자 인터페이스를 시험하는 테스트 엔진으로 구성된 것을 특징으로 한다.In order to achieve the above object, the device of the present invention, a touch screen; A camera for capturing an image of the touch screen; An external signal generator for generating a touch signal corresponding to the touch of the touch screen; A processor configured to receive a touch signal from the external signal generator and output a command to the touch screen while executing a program; And a test engine for controlling the external signal generator to generate a touch signal corresponding to the user interface of the program, and receiving a captured image from the camera to test the user interface of the program.

상기 외부신호생성기는 저항막 방식 터치스크린에 대응하는 터치신호를 생성하는 저항막방식 신호생성부와, 정전용량방식 터치 스크린에 대응하는 터치신호를 생성하는 정전용량방식 신호생성부로 구성된다.The external signal generator includes a resistive signal generator for generating a touch signal corresponding to the resistive touch screen, and a capacitive signal generator for generating a touch signal corresponding to the capacitive touch screen.

상기 저항막방식 신호생성부 전압분배기나 디지털-아날로그 변환기(DAC)로 구현되고, 상기 정전용량방식 신호생성부는 패킷 생성기와, 테스트 데이터 생성기와, I2C 통신 인터페이스와, 테스트 케이스에 따른 좌표를 입력받아 상기 테스트 데이터 생성기를 제어하여 테스트 데이터를 생성하게 하고 상기 패킷 생성기를 제어하여 소정의 패킷을 생성한 후 상기 I2C 통신 인터페이스를 통해 상기 프로세서로 전달하는 테스트 프로세서로 구성된다.The resistive signal generator may include a voltage divider or a digital-to-analog converter (DAC). The capacitive signal generator may include a packet generator, a test data generator, an I 2 C communication interface, and coordinates according to a test case. The test processor is configured to generate test data by controlling the test data generator and generate a predetermined packet by controlling the packet generator, and then deliver the test packet to the processor through the I 2 C communication interface.

상기와 같은 목적을 달성하기 위하여 본 발명의 방법은, 시험 대상 시스템의 사용자 인터페이스를 분석하여 터치 좌표를 산출하는 단계; 상기 터치 좌표에 대응하는 외부신호를 생성하는 단계; 시험 대상 시스템의 사용자 인터페이스를 실행하면서 상기 생성된 외부신호를 입력받는 단계; 시험 대상 시스템의 사용자 인터페이스가 상기 외부신호 입력에 반응하여 터치 스크린을 제어하는 단계; 시험 대상 시스템의 사용자 인터페이스에 의한 터치 스크린의 반응을 카메라로 캡춰하는 단계; 및 상기 터치 스크린의 캡춰 영상을 시험 대상 시스템의 설계 영상과 비교하여 분석하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the method of the present invention comprises the steps of analyzing the user interface of the system under test to calculate the touch coordinates; Generating an external signal corresponding to the touch coordinates; Receiving the generated external signal while executing a user interface of a test target system; Controlling, by the user interface of the system under test, a touch screen in response to the external signal input; Capturing a response of the touch screen by the user interface of the system under test to the camera; And comparing and capturing a captured image of the touch screen with a design image of a test target system.

상기 터치 스크린이 저항막 방식일 경우에 상기 외부신호를 생성하는 단계는 좌표값 산출 후 테스트 좌표 (X, Y) 입력에 따른 전압을 생성하기 위해 전압 분배를 이용하는 경우 저항을 결정하고, DAC를 이용하는 경우 적절한 디지털 값을 결정하고, 상기 터치 스크린이 정전용량 방식일 경우에 상기 외부신호를 생성하는 단계는 시험 대상 시스템에서 사용중인 데이터 포맷을 파악하는 단계와, 시험 대상 사용자 인터페이스의 좌표(X, Y)에 해당하는 테스트 데이터 패킷을 생성하는 단계로 구성된다.
The generating of the external signal when the touch screen is a resistive film type may include determining a resistance when using a voltage divider to generate a voltage according to a test coordinate (X, Y) input after calculating a coordinate value and using a DAC. In this case, determining an appropriate digital value and generating the external signal when the touch screen is a capacitive method may include identifying a data format being used in the system under test, and coordinates (X, Y) of the user interface under test. Generating a test data packet corresponding to n).

본 발명에 따르면 외부신호 생성기를 사용하여 터치 스크린(Touch screen)에서 직접적인 입력을 받지 않고서도 외부에서 프로세서(Processor)로 터치 동작에 대응하는 신호를 전송한 후 그에 따른 반응을 정확하게 카메라로 캡춰하여 확인할 수 있으므로 터치 동작에 대응하는 반응을 정밀하게 시험할 수 있는 효과가 있다.According to the present invention, after receiving a signal corresponding to the touch operation from the outside to the processor without receiving a direct input from the touch screen using an external signal generator, the response is accurately captured by the camera to confirm Therefore, there is an effect that can accurately test the response corresponding to the touch operation.

또한 본 발명에 따르면 순간적으로 변화하는 터치 스크린 화면을 빠르게 그리고 로봇이나 사람 등의 외부요인에 의해 이루어지지 않고 자동으로 시험이 이루어져 전체적으로 처리(시험) 속도를 향상시킬 수 있다.
In addition, according to the present invention it is possible to improve the overall processing (test) speed of the instantaneously changing touch screen screen and the test is made automatically without being made by external factors such as robots or humans.

도 1은 일반적인 저항막 방식의 터치 스크린을 도시한 개략도,
도 2는 일반적인 정전용량 방식의 터치 스크린을 도시한 개략도,
도 3은 일반적인 터치 스크린 기반 시스템의 구성을 도시한 개략도,
도 4는 본 발명에 따른 터치 스크린 기반 사용자 인터페이스 시험 장치의 전체 구성을 도시한 블럭도,
도 5는 저항막 방식의 등가 회로도,
도 6은 저항막 방식의 측정원리를 도시한 개략도,
도 7은 도 4에 도시된 저항막방식 신호생성부의 제1 실시예,
도 8은 도 4에 도시된 저항막방식 신호생성부의 제2 실시예,
도 9는 도 4에 도시된 정전용량 방식 신호생성부의 세부 구성 블럭도,
도 10은 도 10에 도시된 정전용량 방식의 프로토콜 포맷,
도 11은 본 발명에 따라 터치 스크린 기반 시스템의 사용자 인터페이스를 시험하는 절차를 도시한 순서도이다.1 is a schematic view showing a typical resistive touch screen;
2 is a schematic diagram illustrating a typical capacitive touch screen;
3 is a schematic diagram showing the configuration of a general touch screen based system;
4 is a block diagram showing the overall configuration of a touch screen based user interface test apparatus according to the present invention;
5 is an equivalent circuit diagram of a resistive film method;
6 is a schematic diagram showing a measuring principle of a resistive film method;
7 is a view showing a first embodiment of the resistive signal generating unit shown in FIG. 4;
8 is a view showing a second embodiment of the resistive signal generation unit shown in FIG. 4;
FIG. 9 is a detailed block diagram of the capacitive signal generation unit shown in FIG. 4; FIG.
FIG. 10 is a capacitive protocol format shown in FIG. 10;
11 is a flowchart illustrating a procedure for testing a user interface of a touch screen based system in accordance with the present invention.

본 발명과 본 발명의 실시에 의해 달성되는 기술적 과제는 다음에서 설명하는 본 발명의 바람직한 실시예들에 의하여 보다 명확해질 것이다. 다음의 실시예들은 단지 본 발명을 설명하기 위하여 예시된 것에 불과하며, 본 발명의 범위를 제한하기 위한 것은 아니다. The technical problems achieved by the present invention and the practice of the present invention will be more clearly understood by the preferred embodiments of the present invention described below. The following examples are merely illustrative of the present invention and are not intended to limit the scope of the present invention.

도 4는 본 발명에 따른 터치 스크린 기반 사용자 인터페이스 시험 장치의 전체 구성을 도시한 블럭도이다.Figure 4 is a block diagram showing the overall configuration of a touch screen based user interface test apparatus according to the present invention.

본 발명에 따른 터치 스크린 기반 사용자 인터페이스 시험 장치(100)는 도 4에 도시된 바와 같이, 저항막방식이나 정전용량방식의 터치스크린(110)과, 터치 스크린(110)의 화상을 캡춰하기 위한 카메라(104))와, 터치 스크린(110)의 터치에 대응하는 터치신호를 생성하는 외부신호 생성기(130)와, 프로그램을 실행하고 외부신호 생성기(130)로부터 터치신호를 입력받아 터치 스크린(110)에 명령을 출력하는 프로세서(120)와, 조작부(102)의 입력에 따라 프로그램의 사용자 인터페이스에 대응하는 터치신호를 발생하도록 외부신호 생성기(130)를 제어하고 카메라(104)로부터 캡춰 영상을 수신하여 설계 영상과 비교하여 사용자 인터페이스를 시험하는 테스트 엔진(140)으로 구성된다. As shown in FIG. 4, the touch screen-based user interface test apparatus 100 according to the present invention includes a resistive touch screen or a capacitive touch screen 110, and a camera for capturing an image of the touch screen 110. (104), an external signal generator 130 for generating a touch signal corresponding to the touch of the touch screen 110, and executing a program and receiving a touch signal from the external signal generator 130, the touch screen 110 The external signal generator 130 to generate a touch signal corresponding to the user interface of the program according to the input of the operation unit 102 and the processor 120 for outputting a command to the processor 120 and receiving a captured image from the camera 104 It consists of a test engine 140 for testing the user interface compared to the design image.

도 4를 참조하면, 터치 스크린(110)은 시험대상 시스템의 실제 환경에 대응하는 저항막방식이나 정전용량방식의 터치 스크린이다.Referring to FIG. 4, the touch screen 110 is a resistive touch screen or capacitive touch screen corresponding to the actual environment of the system under test.

프로세서(120)는 시험 대상 시스템의 프로그램을 실행하면서 사용자 인터페이스에서 터치 입력이 필요한 경우, 외부신호 생성기(130)로부터 생성된 터치신호를 입력받아 터치신호 입력에 반응하는 명령을 터치 스크린(120)으로 출력한다.When a touch input is required from the user interface while executing a program of the test target system, the processor 120 receives a touch signal generated from the external signal generator 130 and sends a command to the touch screen 120 to respond to the touch signal input. Output

외부신호 생성기(130)는 저항막 방식의 터치 스크린에 대응하는 터치신호를 생성하는 저항막방식 신호생성부(150)와, 정전용량 방식의 터치 스크린에 대응하는 터치신호를 생성하는 정전용량방식 신호생성부(160)로 구성되어 테스트 엔진(140)의 제어에 따라 어느 한 방식의 터치 신호를 프로세서(120)로 제공한다.The external signal generator 130 may include a resistive signal signal generation unit 150 for generating a touch signal corresponding to a resistive touch screen, and a capacitive signal for generating a touch signal corresponding to a capacitive touch screen. The generator 160 is configured to provide a touch signal of any one method to the processor 120 under the control of the test engine 140.

테스트 엔진(140)은 조작부(102)의 입력에 따라 시험 대상 시스템의 사용자 인터페이스를 분석하여 터치 좌표를 산출하고, 터치 좌표에 대응하는 외부신호를 생성하도록 외부신호생성기(130)를 제어하며, 시험 대상 시스템의 사용자 인터페이스가 외부신호 입력에 반응하여 터치 스크린(110)을 제어하면 시험 대상 시스템의 사용자 인터페이스에 의한 터치 스크린의 반응을 캡춰하도록 카메라(104)를 제어하고 터치 스크린의 캡춰 영상을 시험 대상 시스템의 사용자 인터페이스에 의해 예상되는 반응(설계 영상)과 비교하여 분석한다.The test engine 140 analyzes the user interface of the test target system according to the input of the operation unit 102 to calculate touch coordinates, and controls the external signal generator 130 to generate an external signal corresponding to the touch coordinates, and to test When the user interface of the target system controls the touch screen 110 in response to an external signal input, the camera 104 is controlled to capture the response of the touch screen by the user interface of the test target system, and the captured image of the touch screen is tested. Analyzes by comparing the response (design image) expected by the system's user interface.

도 5는 저항막 방식의 등가 회로도이고, 도 6은 저항막 방식의 측정원리를 도시한 개략도이며, 도 7은 도 4에 도시된 저항막방식 신호생성부의 제1 실시예이고, 도 8은 도 4에 도시된 저항막방식 신호생성부의 제2 실시예이다.FIG. 5 is an equivalent circuit diagram of a resistive film method, FIG. 6 is a schematic diagram showing a measuring principle of a resistive film method, FIG. 7 is a first embodiment of the resistive signal signal generating unit shown in FIG. 4, and FIG. A second embodiment of the resistive signal generation unit shown in FIG.

저항막방식 터치 스크린(110)은 기본적으로 저항밀도가 균일한 저항막 2장을 이용한다. 각각의 저항막은 X축과 Y축 좌표 특정을 위해 사용되고 압력에 의해 접촉이 일어나기 전까지는 서로 떨어져 있다가 터치 스크린에 압력이 가해지면 두 저항막에 접촉이 생기고, 이 때 도 5에 도시된 바와 같이 "Rpen"에 의해 전압 분배가 일어나며, 이에 따라 발생되는 X+, Y+의 전압을 ADC로 측정해 좌표를 측정하게 된다.The resistive touch screen 110 basically uses two resistive films having uniform resistivity. Each of the resistive films is used for specifying the X-axis and Y-axis coordinates, and the resistive films are separated from each other until a contact occurs due to pressure. The voltage distribution is caused by "Rpen", and the coordinates are measured by measuring the voltages of X + and Y + generated by the ADC.

사용자가 터치 스크린을 누를 때 발생하는 "Rpen"이 없으면 X+ 전압의 변화는 없어 입력이 없다고 인지하게 된다. 터치 스크린을 누르게 되어 "Rpen"이 생기면 전압 분배가 일어나 X+의 값이 변하게 된다. ADC는 도 6에 도시된 바와 같이 이 전압을 측정하고, 이 데이터를 사용하여 눌린 곳의 좌표를 얻게 된다. ADC의 입력은 일반적으로 하이 임피던스(HI-Z)상태이다. 따라서 ADC 입력으로 전류 흐름은 존재하지 않으며 오로지 전압만 전달된다. 이때 "Rpen"의 위치에 따라 전해지는 전압이 달라지게 되는데, 다음 수학식1의 전압 분배 공식에 의해 구해진다.If there is no "Rpen" that occurs when the user presses the touch screen, there is no change in the X + voltage, which means that there is no input. When the touch screen is pressed to produce a "Rpen", a voltage distribution occurs that changes the value of X +. The ADC measures this voltage as shown in FIG. 6 and uses this data to obtain the coordinates of where it was pressed. The input of the ADC is typically high impedance (HI-Z). Therefore, no current flows to the ADC input, only the voltage is delivered. At this time, the voltage transmitted depends on the position of "Rpen", which is obtained by the voltage division formula of Equation 1 below.

Figure 112011028203832-pat00001
Figure 112011028203832-pat00001

수학식1에서 파악할 수 있듯이 입력 전압의 범위는 0~Vcc이다. 프로세서(120)는 이 범위의 전압을 받고 좌표를 측정하게 된다. 이러한 동작을 파악함으로써 외부 입력을 통해 X+, Y+의 전압을 조작해 주면 사용자 입력에 의해 "Ropen"이 생긴 것처럼 회로가 동작함을 알 수 있다. 외부 전압은 컨트롤러(controller)의 입출력 특성에 맞는 아날로그 전압이어야 한다. 따라서 테스트를 위해서는 조작이 가능한 아날로그 전압을 생성할 수 있어야 한다.As can be seen in Equation 1, the input voltage range is 0 to Vcc. The processor 120 receives the voltage in this range and measures the coordinates. By grasping this operation, it can be seen that when the voltages of X + and Y + are manipulated through an external input, the circuit operates as if "Ropen" is generated by the user input. The external voltage should be an analog voltage suitable for the input / output characteristics of the controller. Therefore, the test must be able to generate an operable analog voltage.

저항막 방식의 터치신호에 대응하는 아날로그 전압을 생성하는 방법은 여러 가지 존재하는데, 본 발명의 실시예에서는 도 7에 도시된 바와 같이 전압 분배 법칙을 이용한 방법과 도 8에 도시된 바와 같이 디지털 아날로그 변환기(DAC)를 이용한 방법을 사용한다.There are various methods of generating analog voltage corresponding to the resistive touch signal. In the embodiment of the present invention, a method using a voltage division rule as shown in FIG. 7 and a digital analog as shown in FIG. A method using a converter (DAC) is used.

도 7에 도시된 바와 같이, 전압을 조절하기 위해 가변저항을 사용한 회로를 구성한다면 쉽게 아날로그 전압을 생성할 수 있다. 전압 분배 법칙 R1과 R2을 같게 놓으면 Vout은 Vin의 절반이 된다. Vcc를 Vin로 놓으면 ADC는 이 전압을 측정하게 되고 그 결과 좌표는 터치 스크린의 중앙이 된다. As shown in FIG. 7, an analog voltage can be easily generated if a circuit using a variable resistor is used to adjust the voltage. With voltage division law R1 and R2 equal, Vout is half of Vin. When Vcc is set to Vin, the ADC measures this voltage and the resulting coordinates are centered on the touch screen.

제 2 실시예는 도 8에 도시된 바와 같이, DAC(Digital to Analog Converter)를 이용하는 방법으로 원하는 전압에 해당하는 디지털 값을 전송하여 아날로그 전압을 생성한다. 이때 생성되는 전압은 위 수학식1의 입력 전압과 같다. 즉, 전압 생성 유닛으로 생성한 전압은 터치 스크린의 좌표로 인식되게 된다. 이때 프로세서의 ADC 분해능에 따라 입력 전압의 디지털 값이 생성되고, 그 데이터를 바탕으로 좌표를 산출하게 된다. 예를 들어, 0V~5V의 입력 전압과 10bit 분해능을 가지는 ADC에 X+로 2.5V, Y+로 2.5V의 전압이 들어오면 측정된 디지털 값은 512,512가 된다. 이 디지털 값은 320×240 의 해상도를 가지는 screen에서 (160,120)의 좌표로 인식된다.As shown in FIG. 8, the second embodiment transmits a digital value corresponding to a desired voltage to generate an analog voltage by using a digital to analog converter (DAC). The voltage generated at this time is equal to the input voltage of Equation 1 above. That is, the voltage generated by the voltage generating unit is recognized as the coordinates of the touch screen. At this time, the digital value of the input voltage is generated according to the ADC resolution of the processor, and the coordinates are calculated based on the data. For example, if an ADC with an input voltage of 0V to 5V and a 10-bit resolution enters a voltage of 2.5V at X + and 2.5V at Y +, the measured digital value is 512,512. This digital value is recognized as a coordinate of (160,120) on a screen with a resolution of 320 x 240.

예컨대, AD8403을 이용한 아날로그 전압 생성 회로는 도 8에 도시된 바와 같다. AD 8403은 SPI통신을 이용하여 제어할 수 있다. SPI는 모토롤라사가 제창한 통신 규약으로 단순하고 간단한 구성으로 빠른 속도의 전송속도를 제공하기 때문에 널리 사용되는 통신방법이다. Bn에 그라운드, An에 Vcc가 연결되어 있기 때문에 SPI 통신으로 가변저항의 와이퍼를 조작하면 전압분배가 이루어지며, Wn 핀의 전압이 변하게 된다. AD8403의 경우 255단계의 분해능을 가진다. 회로 구성을 통해 0~5V의 범위를 가지도록 Wn핀을 구성하고, 4선 저항식 터치 스크린(Touch screen)의 X+, Y+ 에 연결한다. 이때 입력전압에 해당하는 좌표값을 얻기 위해서 외부로 빼낸 X+, X-, Y+, Y- 저항선을 다른 4선 저항식 컨트롤러에 연결하여 입력한 Wn 전압에 대한 좌표(ADC 값)를 얻는 방식을 이용하면 쉽게 조작 가능한 데이터를 산출할 수 있다. 이후 얻어낸 데이터를 토대로 테스트를 진행한다.For example, an analog voltage generation circuit using the AD8403 is shown in FIG. 8. The AD 8403 can be controlled using SPI communications. SPI is a communication protocol advocated by Motorola, and is a widely used communication method because it provides a high speed transmission speed with a simple and simple configuration. Since Vn is connected to Bn and Vcc is connected to An, voltage wiping is performed when the variable resistance wiper is operated by SPI communication, and the voltage on the Wn pin changes. The AD8403 has 255 resolutions. Through the circuit configuration, the Wn pin is configured to have a range of 0-5V, and connected to X + and Y + of a 4-wire resistive touch screen. At this time, in order to obtain the coordinate value corresponding to the input voltage, connect the X +, X-, Y + and Y- resistance wires externally drawn to another 4-wire resistive controller to obtain the coordinate (ADC value) for the input Wn voltage. This makes it possible to produce easily operable data. The test is then performed based on the data obtained.

도 9는 도 4에 도시된 정전용량방식 신호생성부의 세부 회로도이다.FIG. 9 is a detailed circuit diagram of the capacitive signal generator shown in FIG. 4.

정전용량 방식(Capacitive Overlay)은 특수 처리한 스크린 전체에 고주파를 쏘거나 표면에 균일하게 전하를 저장하게 하여 손가락 터치로 인한 전류의 변화를 감지하는 방식이다. 이러한 방식의 터치 스크린(110)을 위해 별도의 컨트롤러가 필요하게 된다. 정전용량 방식 터치 스크린에 사용되는 컨트롤러의 인터페이스를 살펴보면 I2C통신이 사용됨을 확인할 수 있다. 접촉식 터치 스크린을 외부 신호로 직접적인 조작을 하기는 어렵기 때문에 본 발명의 실시예에서는 직접적인 조작 보다는 I2C 통신을 이용한 간접적인 조작으로 테스트를 진행한다.Capacitive Overlay is a method that detects the change of current caused by finger touch by shooting high frequency or specially storing electric charge on the entire screen. A separate controller is needed for the touch screen 110 in this manner. Looking at the interface of the controller used for the capacitive touch screen, I 2 C communication is used. Since it is difficult to directly operate the touch touch screen with an external signal, in the exemplary embodiment of the present invention, the test is performed by indirect manipulation using I 2 C communication rather than direct manipulation.

I2C통신은 필립스에서 제안한 IC간 통신 방식으로, 도 10에 도시된 바와 같은 프로토콜 포맷에 따라 클럭(SCL)과 데이터(SDA)의 2라인을 통해 동기식으로 양방향 통신하는 것이다. 버스에 연결된 각 디바이스는 고유의 어드레스를 가진다. 따라서 기존의 시스템에서 터치 컨트롤러의 역할을 테스트 프로세서가 대신하기 위해 본래의 연결을 끊고, 메인 프로세서와 테스트 프로세서를 연결하여야 한다.I 2 C communication is an IC-to-IC communication method proposed by Philips, and synchronously bidirectionally communicates through two lines of the clock SCL and the data SDA according to the protocol format shown in FIG. 10. Each device connected to the bus has a unique address. Therefore, in order to replace the role of the touch controller in the existing system with the test processor, the original connection must be disconnected and the main processor and the test processor must be connected.

도 9를 참조하면, 정전용량방식 신호생성부(160)는 패킷 생성기(163)와 테스트 데이터 생성기(164), I2C 통신 인터페이스(165), 테스트 케이스(161)에 따른 좌표를 입력받아 상기 테스트 데이터 생성기(164)를 제어하여 테스트 데이터를 생성하게 하고 패킷 생성기(163)를 제어하여 소정의 패킷을 생성한 후 I2C 통신 인터페이스(165)를 통해 프로세서(120)로 전달하는 테스트 프로세서(MCU:162)로 구성된다.9, the capacitive signal generator 160 receives coordinates according to the packet generator 163, the test data generator 164, the I 2 C communication interface 165, and the test case 161. The test processor controls the test data generator 164 to generate test data, and controls the packet generator 163 to generate a predetermined packet and then delivers the predetermined packet to the processor 120 through the I 2 C communication interface 165. MCU: 162).

예컨대, 전원 버튼을 누를 때의 데이터 구조를 살펴보면 다음 표1과 같다.For example, the data structure when the power button is pressed is shown in Table 1 below.

동작action 데이터data 전원버튼 누름Press the power button 0100000000000000001010000010000000010000000010101000000000000000010100000100000000100000000101

버스 스캔을 통해서 알아낸 데이터를 도 10의 I2C 프로토콜(protocol)에 맞게 분석을 해보면, 각 데이터의 내용을 살펴보면 다음 표2와 같다.Analyzing the data found through the bus scan according to the I 2 C protocol (protocol) of FIG. 10, the contents of each data are shown in Table 2 below.

S01000000 0 00000000 0 P S01000001 0 00000001 0 00000001 0 PS01000000 0 00000000 0 P S01000001 0 00000001 0 00000001 0 P S | SLA+W | A | DATA1 | A | P | S | SLA+R | DATA2 | A | DATA3 | A | PS | SLA + W | A | DATA1 | A | P | S | SLA + R | DATA2 | A | DATA3 | A | P

슬레이브 주소(SLA)는 B0100000이며 write 모드로 동작한다. 다음 acknowledge(A)신호 인지 후, DATA1(0x00)을 전송하고 A를 인식하고 종료한다. 다음 통신에서 같은 슬레이브 주소에 read 모드로 동작하도록 시작한다. DATA2(0x01)주소의 내용을 읽기 시도하며 결과는 DATA3(0x01)이 읽힌다. 이후 도 4와 같이 구성된 테스트 환경에서 I2C 통신을 이용해 터치 컨트롤러(Touch controller)의 슬레이브 주소를 "0x20"으로 설정하고, 터치 컨트롤러로 "0x00"를 라이트하고, 이후 터치 컨트롤러의 "0x01" 번지의 데이터 리드 요청이 오면 "0x01"을 전송하도록 구성을 하면, 프로세서(120)는 전원 버튼이 눌린 것으로 인식한다.
The slave address (SLA) is B0100000 and operates in write mode. After acknowledging the next acknowledgment (A) signal, transmit DATA1 (0x00) and acknowledge A and terminate. The next communication starts to operate in read mode at the same slave address. Attempt to read the contents of DATA2 (0x01) address, and the result is read by DATA3 (0x01). Thereafter, in the test environment configured as shown in FIG. 4, the slave controller sets a slave address as “0x20” using I 2 C communication, writes “0x00” as the touch controller, and then “0x01” as the touch controller. When a data read request is received, the processor 120 recognizes that the power button is pressed.

이어서, 상기와 같이 구성되는 본 발명에 따른 장치의 동작을 도 11을 참조하여 설명한다.Next, the operation of the apparatus according to the present invention configured as described above will be described with reference to FIG.

도 11은 본 발명에 따라 터치 스크린 기반 시스템의 사용자 인터페이스를 시험하는 절차를 도시한 순서도이다.11 is a flowchart illustrating a procedure for testing a user interface of a touch screen based system in accordance with the present invention.

도 11을 참조하면, 본 발명에 따른 시험절차는 시험 대상 시스템의 사용자 인터페이스를 분석하여 터치 좌표를 산출하는 단계(S1)와, 터치 좌표에 대응하는 외부신호를 생성하는 단계(S2), 시험 대상 시스템의 사용자 인터페이스를 실행하면서 생성된 외부신호를 입력받는 단계(S3~S6), 시험 대상 시스템의 사용자 인터페이스가 외부신호 입력에 반응하여 터치 스크린을 제어하는 단계(S6), 시험 대상 시스템의 사용자 인터페이스에 의한 터치 스크린의 반응을 카메라로 캡춰하는 단계(S7), 및 터치 스크린의 캡춰 영상을 시험 대상 시스템의 사용자 인터페이스에 의해 예상되는 반응과 비교하여 분석하는 단계(S8,S9)로 구성된다.Referring to FIG. 11, the test procedure according to the present invention analyzes a user interface of a test target system to calculate touch coordinates (S1), generates an external signal corresponding to the touch coordinates (S2), and a test target. Receiving an external signal generated while executing the user interface of the system (S3 ~ S6), the user interface of the test target system to control the touch screen in response to the external signal input (S6), the user interface of the test target system Capturing the response of the touch screen by the camera (S7), and comparing the captured image of the touch screen with the response expected by the user interface of the system under test (S8, S9).

터치스크린이 저항식일 경우에 외부신호를 생성하는 단계(S2)는 좌표값 산출 후 테스트 좌표 (X, Y) 입력에 따른 전압을 생성하기 위해 전압 분배를 이용하는 경우 저항을 결정하고, DAC를 이용하는 경우 적절한 디지털 값을 결정한다.In the case where the touch screen is a resistance type, the step of generating an external signal (S2) determines a resistance when using voltage division to generate a voltage according to test coordinates (X, Y) input after calculating coordinate values, and when using a DAC. Determine the appropriate digital value.

터치 스크린이 정전용량방식일 경우에 외부신호를 생성하는 단계(S2)는 시험 대상 시스템에서 사용중인 데이터 포맷을 파악하는 단계와, 시험 대상 사용자 인터페이스의 좌표(X, Y)에 해당하는 테스트 데이터 패킷을 생성하는 단계로 구성된다.
When the touch screen is capacitive, generating an external signal (S2) may include identifying a data format being used in the system under test, and test data packets corresponding to coordinates (X, Y) of the user interface under test. It consists of generating a.

이상에서 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
The present invention has been described above with reference to one embodiment shown in the drawings, but those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom.

102: 조 작부 104: 카메라
110: 터치 스크린 120: 프로세서
130: 외부신호 생성기 140: 테스트 엔진
150: 저항막방식 신호생성부
160: 정전용량방식 신호생성부102: control unit 104: camera
110: touch screen 120: processor
130: external signal generator 140: test engine
150: resistive signal generation unit
160: capacitive signal generator

Claims (7)

터치 스크린;
상기 터치 스크린의 화상을 캡춰하기 위한 카메라;
상기 터치스크린의 터치에 대응하는 터치신호를 생성하는 외부신호생성기;
프로그램을 실행하면서 상기 외부신호생성기로부터 터치신호를 입력받아 상기 터치 스크린에 명령을 출력하는 프로세서; 및
상기 프로그램의 사용자 인터페이스에 대응하는 터치신호를 발생하도록 상기 외부신호생성기를 제어하고, 상기 카메라로부터 캡춰된 영상을 수신하여 프로그램의 사용자 인터페이스를 시험하는 테스트 엔진으로 구성되고,
상기 외부신호생성기는
저항막 방식 터치스크린에 대응하는 터치신호를 생성하는 저항막방식 신호생성부와, 정전용량방식 터치 스크린에 대응하는 터치신호를 생성하는 정전용량방식 신호생성부로 구성되며,
상기 저항막방식 신호생성부는
전압분배기나 디지털-아날로그 변환기(DAC)로 구현되어
순간적으로 변화하는 터치 스크린 화면을 빠르게 그리고 외부 요인에 의하지 않고 자동으로 시험할 수 있게 한 것을 특징으로 하는 터치 스크린 기반 사용자 인터페이스 시험 장치.touch screen;
A camera for capturing an image of the touch screen;
An external signal generator for generating a touch signal corresponding to the touch of the touch screen;
A processor configured to receive a touch signal from the external signal generator and output a command to the touch screen while executing a program; And
And a test engine for controlling the external signal generator to generate a touch signal corresponding to the user interface of the program, receiving a captured image from the camera, and testing the user interface of the program.
The external signal generator
Resistive film signal generation unit for generating a touch signal corresponding to the resistive touch screen, and capacitive signal generation unit for generating a touch signal corresponding to the capacitive touch screen,
The resistance film type signal generation unit
Implemented as a voltage divider or digital-to-analog converter (DAC)
Touch screen-based user interface testing device, characterized in that it is possible to quickly and automatically test the touch screen screen changing instantly and without any external factors. 삭제delete 삭제delete 제1항에 있어서, 상기 정전용량방식 신호생성부는
패킷 생성기와, 테스트 데이터 생성기와, I2C 통신 인터페이스와, 테스트 케이스에 따른 좌표를 입력받아 상기 테스트 데이터 생성기를 제어하여 테스트 데이터를 생성하게 하고 상기 패킷 생성기를 제어하여 소정의 패킷을 생성한 후 상기 I2C 통신 인터페이스를 통해 상기 프로세서로 전달하는 테스트 프로세서로 구성된 것을 특징으로 하는 터치 스크린 기반 사용자 인터페이스 시험 장치.The method of claim 1, wherein the capacitive signal generating unit
After receiving a packet generator, a test data generator, an I 2 C communication interface, and coordinates according to a test case, the test data generator is controlled to generate test data, and the packet generator is controlled to generate a predetermined packet. And a test processor configured to transfer the I 2 C communication interface to the processor. 삭제delete 시험 대상 시스템의 사용자 인터페이스를 분석하여 터치 좌표를 산출하는 단계;
상기 터치 좌표에 대응하는 외부신호를 생성하는 단계;
시험 대상 시스템의 사용자 인터페이스를 실행하면서 상기 생성된 외부신호를 입력받는 단계;
시험 대상 시스템의 사용자 인터페이스가 상기 외부신호 입력에 반응하여 터치 스크린을 제어하는 단계;
시험 대상 시스템의 사용자 인터페이스에 의한 터치 스크린의 반응을 카메라로 캡춰하는 단계; 및
상기 터치 스크린의 캡춰 영상을 시험 대상 시스템의 설계 영상과 비교하여 분석하는 단계를 포함하고,
상기 터치 스크린이 저항막 방식일 경우에
상기 외부신호를 생성하는 단계는 좌표값 산출 후 테스트 좌표 (X, Y) 입력에 따른 전압을 생성하기 위해 전압 분배를 이용하는 경우 저항을 결정하고, 디지털 아날로그 컨버터(DAC)를 이용하는 경우 디지털 값을 결정하여
순간적으로 변화하는 터치 스크린 화면을 빠르게 그리고 자동으로 시험할 수 있는 것을 특징으로 하는 터치 스크린 기반 사용자 인터페이스 시험 방법.Calculating touch coordinates by analyzing a user interface of the test target system;
Generating an external signal corresponding to the touch coordinates;
Receiving the generated external signal while executing a user interface of a test target system;
Controlling, by the user interface of the system under test, a touch screen in response to the external signal input;
Capturing a response of the touch screen by the user interface of the system under test to the camera; And
Comparing the captured image of the touch screen with a design image of a test target system and analyzing the captured image;
When the touch screen is a resistive type
The generating of the external signal may include determining resistance when using voltage division to generate voltage according to test coordinate (X, Y) input after calculating coordinate values, and determining digital value when using a digital analog converter (DAC). So
A touch screen based user interface test method, characterized by the ability to quickly and automatically test a rapidly changing touch screen screen. 시험 대상 시스템의 사용자 인터페이스를 분석하여 터치 좌표를 산출하는 단계;
상기 터치 좌표에 대응하는 외부신호를 생성하는 단계;
시험 대상 시스템의 사용자 인터페이스를 실행하면서 상기 생성된 외부신호를 입력받는 단계;
시험 대상 시스템의 사용자 인터페이스가 상기 외부신호 입력에 반응하여 터치 스크린을 제어하는 단계;
시험 대상 시스템의 사용자 인터페이스에 의한 터치 스크린의 반응을 카메라로 캡춰하는 단계; 및
상기 터치 스크린의 캡춰 영상을 시험 대상 시스템의 설계 영상과 비교하여 분석하는 단계를 포함하고,
상기 터치 스크린이 정전용량 방식일 경우에
상기 외부신호를 생성하는 단계는 시험 대상 시스템에서 사용중인 데이터 포맷을 파악하는 단계와, 시험 대상 사용자 인터페이스의 좌표(X, Y)에 해당하는 테스트 데이터 패킷을 생성하는 단계로 구성되어
순간적으로 변화하는 터치 스크린 화면을 빠르게 그리고 자동으로 시험할 수 있는 것을 특징으로 하는 터치 스크린 기반 사용자 인터페이스 시험 방법.Calculating touch coordinates by analyzing a user interface of the test target system;
Generating an external signal corresponding to the touch coordinates;
Receiving the generated external signal while executing a user interface of a test target system;
Controlling, by the user interface of the system under test, a touch screen in response to the external signal input;
Capturing a response of the touch screen by the user interface of the system under test to the camera; And
Comparing the captured image of the touch screen with a design image of a test target system and analyzing the captured image;
When the touch screen is capacitive
The generating of the external signal may include identifying a data format being used in a test target system and generating a test data packet corresponding to coordinates (X, Y) of a test target user interface.
A touch screen based user interface test method, characterized by the ability to quickly and automatically test a rapidly changing touch screen screen.
KR1020110035428A 2011-04-16 2011-04-16 Touch screen base user interface test apparatus and test method KR101196894B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110035428A KR101196894B1 (en) 2011-04-16 2011-04-16 Touch screen base user interface test apparatus and test method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110035428A KR101196894B1 (en) 2011-04-16 2011-04-16 Touch screen base user interface test apparatus and test method

Publications (2)

Publication Number Publication Date
KR20120117595A KR20120117595A (en) 2012-10-24
KR101196894B1 true KR101196894B1 (en) 2012-11-20

Family

ID=47285530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110035428A KR101196894B1 (en) 2011-04-16 2011-04-16 Touch screen base user interface test apparatus and test method

Country Status (1)

Country Link
KR (1) KR101196894B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101332382B1 (en) * 2013-06-19 2013-11-22 주식회사 디아이랩 Tester for gui
KR20220010281A (en) * 2020-07-17 2022-01-25 삼성전자주식회사 Display apparatus with defect testing and Testing method thereof
CN114020202A (en) * 2021-11-05 2022-02-08 上海怿星电子科技有限公司 Electronic equipment testing method and system

Also Published As

Publication number Publication date
KR20120117595A (en) 2012-10-24

Similar Documents

Publication Publication Date Title
US10318059B2 (en) Touch sensing system and method of controlling the same
JP5852050B2 (en) Touch detection device, display device with touch detection function, and electronic device
CN102193693B (en) Touch panel and differential identification method thereof
US20140232825A1 (en) Calibration of a 3D camera
TW201023018A (en) Touch panel with multi-touch function and multi-touch detecting method thereof
JP2010055612A (en) Multi-point touch-sensitive system
US9921668B1 (en) Touch panel controller integrated with host processor for dynamic baseline image update
JP2008058925A (en) Touch-control liquid crystal display
KR20120113511A (en) Display apparatus and method for displaying object thereof
WO2016002371A1 (en) Touchpanel controller, touchpanel system, and stylus pen
JP2021103289A (en) Device and method for proximity detection for display panel
KR101196894B1 (en) Touch screen base user interface test apparatus and test method
US10379672B2 (en) Dynamic proximity object detection
CN104199577A (en) Method and circuit of providing synchronous signals for touch panel by display panel
JP2015503791A (en) Touch screen panel capacity measuring device
CN106354312B (en) Touch screen and display screen integrated test system based On-Cell
WO2018169209A1 (en) Input device, electronic system and control method therefor
CN103455195A (en) Touch panel device
WO2014017077A1 (en) Touch input device control device, and touch input device control method
CN104238725B (en) The electronic installation of touch feedback method and application this method
US20150169103A1 (en) Touch display apparatus
US20110242016A1 (en) Touch screen
WO2018169208A1 (en) Input device, electronic system and control method therefor
WO2023229156A1 (en) Electronic device for receiving application screen from external device and displaying same, and method of controlling same
TW201514601A (en) Touch control projection system and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150819

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171023

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee