KR101966799B1 - A Diagnosis System of Mobile Apparatus - Google Patents

A Diagnosis System of Mobile Apparatus Download PDF

Info

Publication number
KR101966799B1
KR101966799B1 KR1020170010879A KR20170010879A KR101966799B1 KR 101966799 B1 KR101966799 B1 KR 101966799B1 KR 1020170010879 A KR1020170010879 A KR 1020170010879A KR 20170010879 A KR20170010879 A KR 20170010879A KR 101966799 B1 KR101966799 B1 KR 101966799B1
Authority
KR
South Korea
Prior art keywords
mobile device
screen
robot
computer
screen view
Prior art date
Application number
KR1020170010879A
Other languages
Korean (ko)
Other versions
KR20180086878A (en
Inventor
김석일
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020170010879A priority Critical patent/KR101966799B1/en
Publication of KR20180086878A publication Critical patent/KR20180086878A/en
Application granted granted Critical
Publication of KR101966799B1 publication Critical patent/KR101966799B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/263—Generation of test inputs, e.g. test vectors, patterns or sequences ; with adaptation of the tested hardware for testability with external testers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 모바일 기기 진단시스템에 관한 것으로서, 특히 애플리케이션이 탑재된 모바일 기기가 안착되는 베드와; 상기 베드 주위에 설치되어 터치펜을 사용하여 베드에 안착된 모바일 기기의 터치스크린을 조작하는 로봇과; 상기 모바일 기기의 화면 뷰 정보와 사용자 인터페이스 요소에 관한 정보를 수신하여 화면에 디스플레이하고, 디스플레이된 화면 뷰 정보에 대해 접근성 평가 작업에 따라 상기 로봇을 조작하여 터치펜으로 모바일 기기의 터치스크린을 조작하도록 하는 컴퓨터;를 포함하여 구성되어, 모바일 기기에 탑재되는 애플리케이션의 접근성에 대한 점검을 편리하게 수행할 수 있는 효과가 있다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a mobile device diagnosis system, and more particularly, to a mobile device diagnosis system including a bed on which a mobile device on which an application is installed is seated; A robot installed around the bed and operating a touch screen of a mobile device placed on a bed using a touch pen; And displays information on the screen view information and the user interface element of the mobile device, displays the information on the screen, and operates the robot on the displayed screen view information according to the accessibility evaluation operation to operate the touch screen of the mobile device with the touch pen The present invention is advantageous in that the accessibility of an application installed in the mobile device can be conveniently checked.

Description

모바일 기기 진단시스템{A Diagnosis System of Mobile Apparatus}A Diagnosis System of Mobile Apparatus

본 발명은 모바일 기기 진단시스템에 관한 것으로서, 특히 휴대폰, 스마트폰, 태블릿 PC, 게임기 등의 모바일 기기에 탑재되는 애플리케이션의 접근성 점검을 편리하게 수행할 수 있는 모바일 기기 진단시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a mobile device diagnostic system, and more particularly, to a mobile device diagnostic system capable of conveniently performing accessibility check of an application installed in a mobile device such as a mobile phone, a smart phone, a tablet PC,

장애인 접근성에 관한 사회의 인식이 크게 향상되어 우리나라뿐 아니라 외국에서도 점차 정보통신제품 및 서비스에 대한 장애인 접근성을 의무화하고 있다.The awareness of the society about the accessibility of the disabled has been greatly improved, and it is imperative for the disabled to access information and communication products and services not only in Korea but also in foreign countries.

장애인 접근성을 의무화하고 있는 대표적인 예가 월드 와이드 웹(World Wide Web)이다. 월드 와이드 웹 (World Wide Web)을 창시한 팀 버너스 리(Tim Berners-Lee)가 웹이란 '장애에 구애 없이 모든 사람들이 손쉽게 정보를 공유할 수 있는 공간'이라고 정의하였으며, 웹 콘텐츠를 제작할 때에는 장애에 구애됨이 없이 누구나 접근할 수 있도록 제작하여야 한다고 하였다.A representative example of compulsory accessibility for the disabled is the World Wide Web. Tim Berners-Lee, the founder of the World Wide Web, defined the Web as "a space where everyone can easily share information without disability," and when creating web content, It should be made accessible to anyone without any discretion.

현재 우리나라에서는 2008년 4월 11일 장애인 차별 금지 및 권리 구제 등에 관한 법률(장애인 차별 금지법)이 발표되었고, 그 동안 소외 받던 장애인이 능동적 복지의 주체로서 권리를 행사할 수 있도록 법으로 규정하고 있다. 특히 이 법에서 장애인, 노인 등 보편적인 정보 취약 계층에게 정보 접근권을 보장하도록 의무화하고 있으며 이에 대한 처벌 규정까지 마련하였다.Currently, in Korea, the Act on Discrimination against Disabled Persons and the Right to Remedies for Persons with Disabilities (Act on Discrimination against Persons with Disabilities) was announced on April 11, 2008, and the law stipulates that persons with disabilities who have been neglected by the law can exercise their rights as the subject of active welfare. In particular, the law obliges universal information-vulnerable groups such as the handicapped and the elderly to have access to information.

미국에서는 모바일 기기의 장애인 접근성을 강화하기 위한 노력을 기울이고 있다. 우리나라에서도 2011년 9월 국가정보화기본법 제32조 제5항에 의거하여 행정안전부 고시(2013년 8월 미래창조과학부 개정 고시)로 모바일 앱 접근성 지침을 제시하고 국가기관, 지방자치단체 및 공공기관 등이 제공하는 모바일 앱은 이 고시를 준수하도록 요구하고 있다.In the United States, efforts are being made to enhance the accessibility of mobile devices for people with disabilities. In Korea, in accordance with Article 32, Paragraph 5 of the National Informatization Act of September 2011, the Ministry of Public Administration and Security notified the Ministry of Information and Communication of the Ministry of Public Administration and Security The mobile apps they provide require compliance with this notice.

이렇게 모바일 기기의 접근성을 강화하기 위한 노력들이 증가되고 있는 반면에, 아직까지는 모바일 기기의 접근성을 용이하게 평가하기 위한 시스템이 별도로 제시되어 있지는 않다.While efforts are being made to enhance the accessibility of mobile devices, there is not yet a system for easily evaluating the accessibility of mobile devices.

출원번호:10-2014-0146050 (등록번호:10-1612321, 발명의 명칭 : 모바일 장치에서의 애플리케이션 접근성 평가 시스템)Application No. 10-2014-0146050 (Registration No. 10-1612321, entitled " Application Accessibility Evaluation System in Mobile Device "

본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로서, 모바일 기기에 탑재되는 애플리케이션의 접근성에 대한 점검을 편리하게 수행할 수 있는 모바일 기기 진단시스템을 제공하는데 그 목적이 있다.It is an object of the present invention to provide a mobile device diagnosis system that can conveniently check accessibility of an application installed in a mobile device.

상기한 과제를 해결하기 위한 본 발명에 의한 모바일 기기 진단시스템은 애플리케이션이 탑재된 모바일 기기가 안착되는 베드와; 상기 베드 주위에 설치되어 터치펜을 사용하여 베드에 안착된 모바일 기기의 터치스크린을 조작하는 로봇과; 상기 모바일 기기의 화면 뷰 정보와 사용자 인터페이스 요소에 관한 정보를 수신하여 화면에 디스플레이하고, 디스플레이된 화면 뷰 정보에 대해 접근성 평가 작업에 따라 상기 로봇을 조작하여 터치펜으로 모바일 기기의 터치스크린을 조작하도록 하는 컴퓨터;를 포함하여 구성된다.According to an aspect of the present invention, there is provided a mobile device diagnosis system including a bed on which a mobile device on which an application is installed is placed; A robot installed around the bed and operating a touch screen of a mobile device placed on a bed using a touch pen; And displays information on the screen view information and the user interface element of the mobile device, displays the information on the screen, and operates the robot on the displayed screen view information according to the accessibility evaluation operation to operate the touch screen of the mobile device with the touch pen And a computer.

여기서, 상기 모바일 기기 진단시스템은 서버(50)를 더 포함하고, 상기 모바일 기기(M)는 상기 서버(50)에 애플리케이션의 화면 뷰 정보를 전송하며, 상기 서버(50)는 수신한 화면 뷰 정보를 저장하고, 상기 컴퓨터(40)로부터 요청이 있으면 저장된 화면 뷰 정보를 상기 컴퓨터(40)에 전송한다.The mobile device diagnosis system further includes a server 50. The mobile device M transmits screen view information of the application to the server 50. The server 50 displays the received screen view information And transmits the stored screen view information to the computer 40 when the computer 40 makes a request.

그리고, 상기 모바일 기기 진단시스템은 상기 컴퓨터와 통신하는 카메라를 더 포함하되, 상기 카메라는 모바일 기기의 화면 뷰를 캡처하여 상기 컴퓨터에 전송할 수도 있다.The mobile device diagnosis system further includes a camera for communicating with the computer, and the camera may capture a screen view of the mobile device and transmit the screen view to the computer.

또한, 상기 컴퓨터는 접근성 평가 작업의 수행에 의한 화면 뷰 정보를 상기 모바일 기기로부터 전송받을 수도 있다.In addition, the computer may receive screen view information by performing the accessibility evaluation work from the mobile device.

한편, 상기 로봇은 베드 상측에 설치되는 X축 가이드와; 상기 X축 가이드를 따라 X축 방향으로 움직이는 Y축 가이드와; 상기 Y축 가이드를 따라 X축과 직교하는 Y축 방향으로 움직이는 Z축 가이드와; 상기 Z축 가이드를 따라 X축 및 Y축 각각에 직교하는 Z축 방향으로 움직이고, 상기 터치펜이 설치된 툴 플레이트;로 구성된다.The robot includes an X-axis guide installed on a bed; A Y-axis guide moving in the X-axis direction along the X-axis guide; A Z-axis guide moving in the Y-axis direction orthogonal to the X-axis along the Y-axis guide; And a tool plate that moves in the Z-axis direction orthogonal to the X-axis and the Y-axis along the Z-axis guide and in which the touch pen is installed.

그리고, 상기 로봇은 바닥면에 대하여 360도 회전가능하게 설치되는 바디와; 상기 바디에 회동 가능하게 설치되는 하나 이상의 로봇암과; 상기 로봇암의 끝단에 상하이동 가능하게 설치되는 승강블록과; 상기 승강블록의 끝단에 360도 회전가능하게 설치되고, 상기 터치펜이 설치된 툴 플레이트;로 구성될 수도 있다.The robot includes a body installed to be rotatable 360 degrees with respect to a floor; At least one robot arm rotatably installed on the body; A lift block installed on an end of the robot arm so as to be movable up and down; And a tool plate rotatably installed on the end of the lifting block 360 degrees and equipped with the touch pen.

또한, 상기 툴 플레이트에는 2 이상의 터치펜이 이격되게 설치되고, 이격되게 설치된 터치펜은 툴 플레이트에서 직선운동하여 그 이격거리가 조절된다.In addition, two or more touch pens are provided on the tool plate so as to be spaced apart from each other, and the spaced apart touch pen is linearly moved on the tool plate to adjust a distance therebetween.

또한, 상기 컴퓨터는 모바일 기기의 터치스크린 상에서 탭(Tap), 더블탭(Double tap), 스와이프(Swipe), 드래그(Drag), 핀치(Pinch), 스프레드(Spread), 로테이트(Rotate) 제스처를 수행할 수 있도록 터치펜을 제어한다.In addition, the computer can perform a tap, a double tap, a swipe, a drag, a pinch, a spread, and a rotate gesture on a touch screen of a mobile device Control the touch pen so that it can be performed.

상기와 같이 구성되는 본 발명의 모바일 기기 진단시스템은 사용자가 실제 사용하는 것처럼 컴퓨터가 터치펜의 제스처를 제어함으로써 모바일 애플리케이션의 사용성 진단 및 접근성 진단이 적절한지를 편리하게 확인할 수 있는 이점이 있다.The mobile device diagnostic system of the present invention configured as described above is advantageous in that it can conveniently check whether the usability diagnosis and the accessibility diagnosis of the mobile application are appropriate by the computer by controlling the gesture of the touch pen as if the user actually used it.

도 1은 본 발명에 의한 모바일 기기 진단시스템의 네트워크 구성을 간단히 보인 도.
도 2는 본 발명에 의한 모바일 기기 진단시스템을 설명하기 위한 개념도.
도 3a 및 도 3b는 본 발명에 의한 모바일 기기 진단시스템의 로봇의 일 실시예를 보인 도.
도 4a 및 도 4b는 본 발명에 의한 모바일 기기 진단시스템의 로봇의 다른 실시예를 보인 도.
도 5는 본 발명에 의한 모바일 기기 진단시스템의 터치펜의 다양한 제스처 모습을 보인 도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram briefly showing a network configuration of a mobile device diagnosis system according to the present invention; FIG.
2 is a conceptual diagram for explaining a mobile device diagnosis system according to the present invention;
FIGS. 3A and 3B are views showing an embodiment of a robot of a mobile device diagnosis system according to the present invention;
4A and 4B are views showing another embodiment of the robot of the mobile device diagnosis system according to the present invention.
5 is a view showing various gestures of a touch pen of a mobile device diagnosis system according to the present invention.

이하, 본 발명에 의한 모바일 기기 진단시스템의 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments of a mobile device diagnosis system according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 모바일 기기 진단시스템의 네트워크 구성을 간단히 보인 도이고, 도 2는 본 발명에 의한 모바일 기기 진단시스템을 설명하기 위한 개념도이다.FIG. 1 is a view showing a network configuration of a mobile device diagnosis system according to the present invention. FIG. 2 is a conceptual diagram illustrating a mobile device diagnosis system according to the present invention.

그리고, 도 3a 및 도 3b는 본 발명에 의한 모바일 기기 진단시스템의 로봇의 일 실시예를 보인 도이며, 도 4a 및 도 4b는 본 발명에 의한 모바일 기기 진단시스템의 로봇의 다른 실시예를 보인 도이고, 도 5는 본 발명에 의한 모바일 기기 진단시스템의 터치펜의 다양한 제스처 모습을 보인 도이다.4A and 4B are views showing another embodiment of the robot of the mobile device diagnosis system according to the present invention. FIG. 3A and FIG. 3B are views showing an embodiment of the robot of the mobile device diagnosis system according to the present invention, And FIG. 5 is a view showing various gestures of the touch pen of the mobile device diagnosis system according to the present invention.

본 발명에 의한 모바일 기기 진단시스템은 핸드폰, 스마트폰, PDA, 태블릿 PC, 게임기 등과 같은 모바일 기기에 탑재되는 애플리케이션(Application) 접근성 및 여타의 기능 점검을 편리하게 수행하기 위한 것이다.The mobile device diagnosis system according to the present invention is intended to conveniently perform accessibility of applications and other functions mounted on mobile devices such as mobile phones, smart phones, PDAs, tablet PCs, game machines, and the like.

이러한 본 발명에 의한 모바일 기기 진단시스템은 베드(10)와, 상기 베드(10) 주위에 설치되는 로봇(20)과, 상기 로봇(20)에 설치되는 터치펜(30)과, 상기 로봇(20)을 제어하는 컴퓨터(40)를 포함하여 구성된다.The mobile device diagnosis system according to the present invention includes a bed 10, a robot 20 installed around the bed 10, a touch pen 30 installed on the robot 20, a robot 20 And a computer 40 for controlling the computer.

상기 베드(10)에는 애플리케이션이 탑재된 모바일 기기(M)가 안착된다.A mobile device (M) on which an application is mounted is mounted on the bed (10).

상기 로봇(20)은 터치펜(30)을 사용하여 베드(10)에 안착된 모바일 기기(M)의 터치스크린을 조작한다.The robot 20 operates the touch screen of the mobile device M placed on the bed 10 using the touch pen 30. [

본 발명에 사용되는 이러한 로봇(20)은 X-Y-Z축 제어가 가능한 플로터 타입의 로봇일 수도 있고, 3관절 이상을 가짐으로써 자유로운 각도조절이 가능한 다관절 로봇일 수도 있다.The robot 20 used in the present invention may be a plotter type robot capable of controlling the X-Y-Z axis, or may be a multi-joint robot capable of freely adjusting the angle by having three or more joints.

먼저, 플로터 타입의 로봇(20)은 X축 가이드(21)와, 상기 X축 가이드(21)에 수직이 되게 설치되는 Y축 가이드(22)와, 상기 X축 가이드(21) 및 Y축 가이드(22)에 수직이 되게 설치되는 Z축 가이드(23)와, 상기 Z축 가이드(23)에 설치되는 툴 플레이트(24)로 구성된다.First, the float-type robot 20 includes an X-axis guide 21, a Y-axis guide 22 installed perpendicularly to the X-axis guide 21, A Z-axis guide 23 vertically installed on the Z-axis guide 22, and a tool plate 24 provided on the Z-axis guide 23. [

상기 X축 가이드(21)는 베드(10)의 상부 양측에 각각 하나씩 설치된다.The X-axis guides 21 are installed on both sides of the upper side of the bed 10, respectively.

상기 Y축 가이드(22)는 양단이 X축 가이드(21)의 상면에 설치되어, X축 가이드(21)를 따라 X축 방향으로 움직인다.Both ends of the Y-axis guide 22 are provided on the upper surface of the X-axis guide 21 and move along the X-axis guide 21 in the X-axis direction.

상기 Z축 가이드(23)는 Y축 가이드(22)의 전면 또는 후면에 설치되어, Y축 가이드(22)를 따라 X축과 직교하는 Y축 방향으로 움직인다.The Z-axis guide 23 is provided on the front surface or rear surface of the Y-axis guide 22 and moves along the Y-axis guide 22 in the Y-axis direction orthogonal to the X-axis.

상기 툴 플레이트(24)는 Y축 가이드(22)의 전면에 설치되어, Z축 가이드(23)를 따라 X축 및 Y축 각각에 직교하는 Z축 방향으로 움직인다. 이렇게 Y축 가이드(22)가 X축 방향으로 움직이고 Z축 가이드(23)가 Y축 방향으로 움직이며 툴 플레이트(24)가 Z축 방향으로 움직이기 때문에, 결과적으로 툴 플레이트(24)는 X-Y-Z축 방향으로 움직이게 된다. 따라서 툴 플레이트(24)에 설치된 터치펜(30)은 모바일 기기(M)의 터치스크린 전역의 특정 위치로 이동할 수 있게 된다.The tool plate 24 is installed on the front surface of the Y-axis guide 22 and moves in the Z-axis direction orthogonal to the X-axis and Y-axis along the Z-axis guide 23. As the Y-axis guide 22 moves in the X-axis direction, the Z-axis guide 23 moves in the Y-axis direction, and the tool plate 24 moves in the Z-axis direction, Direction. Therefore, the touch pen 30 installed on the tool plate 24 can move to a specific position on the entire touch screen of the mobile device M. [

한편, 앞서 기재한 것처럼 본 발명에서 사용되는 로봇(20)은 3관절 이상을 갖는 다관절 로봇일 수 있다. 이러한 다관절 로봇(20)은 바디(25)와, 상기 바디(25)에 설치되는 하나 이상의 로봇암(26)과, 상기 로봇암(26)에 설치되는 승강블록(27)과, 상기 승강블록(27)에 설치되는 툴 플레이트(28)로 구성된다.Meanwhile, as described above, the robot 20 used in the present invention may be a multi-joint robot having three or more joints. The articulated robot 20 includes a body 25, at least one robot arm 26 installed at the body 25, a lift block 27 installed at the robot arm 26, And a tool plate 28 mounted on the base plate 27.

상기 바디(25)는 베드(10)가 설치된 바닥면에 대하여 360도 회전가능하게 설치된다.The body 25 is installed to be rotatable 360 degrees with respect to the bottom surface on which the bed 10 is installed.

상기 로봇암(26)은 바디(25)에 일정각도 회동가능하게 설치되는데, 다수개가 서로 연결될 때는 이 다수개의 로봇암(26) 끼리도 서로 일정각도 회동가능하게 설치된다.The robot arm 26 is rotatably mounted on the body 25 at a predetermined angle. When a plurality of robot arms 26 are connected to each other, the robot arms 26 are also installed to be rotatable with respect to each other at a predetermined angle.

상기 승강블록(27)은 다수개의 로봇암(26) 중에서 바디(25)에 가장 멀리 떨어져 있는 로봇암(26)의 끝단에 상하방향으로 이동 가능하게 설치된다.The lifting block 27 is installed at the end of the robot arm 26 that is farthest from the body 25 among the plurality of robot arms 26 so as to be movable up and down.

상기 툴 플레이트(28)는 승강블록(27)의 끝단에 360도 회전가능하게 설치된다. 이로써, 툴 플레이트(28)에는 바디(25)의 회전각도, 다수 로봇암(26)의 회전각도, 승강블록(27)의 상하방향 이동거리 및 툴 플레이트(28) 자체의 회전각도가 모두 적용되어, 툴 플레이트(28)에 설치된 터치펜(30)은 모바일 기기(M)의 터치스크린 전역의 특정 위치로 이동할 수 있게 된다.The tool plate 28 is rotatably installed at the end of the lift block 27 by 360 degrees. The rotation angle of the body 25, the rotation angle of the robot arm 26, the vertical movement distance of the lift block 27, and the rotation angle of the tool plate 28 are all applied to the tool plate 28 The touch pen 30 provided on the tool plate 28 can move to a specific position on the entire touch screen of the mobile device M. [

상기 터치펜(30)은 터치스크린을 사용하는 모바일 기기(M)를 사용할 때 손 대신 터치스크린을 터치하여 편리하게 사용할 수 있도록 도와주는 것으로서, 툴 플레이트(24,28)에 설치된다.The touch pen 30 is provided on the tool plates 24 and 28 to facilitate the use of the touch screen instead of the hand when using the mobile device M using the touch screen.

이러한 터치펜(30)은 툴 플레이트(24,28)에 하나만 설치될 수도 있지만 2개 이상이 설치될 수도 있다.The touch pen 30 may be mounted on only one of the tool plates 24 and 28, but two or more thereof may be provided.

본 발명이 모바일 기기(M)를 실제의 일반적 환경에서 사용할 때 사용자의 지시에 따라 모바일 기기(M)의 애플리케이션이 제대로 작동되는지를 점검하기 위하여 사용되는 것이라는 점을 감안했을 때 터치펜(30)은 도면에 도시된 것처럼 2개가 설치되는 것이 바람직하다. Considering that the present invention is used to check whether the application of the mobile device M is properly operated according to the user's instruction when using the mobile device M in an actual general environment, It is preferable that two are provided as shown in the figure.

실제 환경에서 사용자가 모바일 기기(M)의 터치스크린을 터치하여 조작하는 방법들을 간략하게 살펴보면, 사용자는 터치스크린을 가볍게 1회 터치 또는 탭(Tap)을 하거나, 연속적으로 2회 터치 또는 탭을 하는 더블탭(Double tap)을 하거나, 터치스크린을 좀 강하게 누른 상태에서 한쪽으로 쭉 끌어서 움직이는 스와이프(Swipe)를 하거나, 터치스크린을 가볍게 터치한 상태에서 한쪽으로 끌어당기는 드래그(Drag)를 하거나, 터치스크린에 손가락 2개를 터치한 상태에서 손가락 사이가 좁아지도록 안쪽으로 오므리는 핀치(Pinch)를 하거나, 터치스크린에 손가락 2개를 터치한 상태에서 손가락 사이가 멀어지도록 바깥쪽으로 벌리는 스프레드(Spread)를 하거나, 터치스크린에 손가락 2개를 터치한 상태에서 손가락을 회전시키는 로테이트(Rotate)를 하거나, 그 외에도 슬라이드(Slide), 프레스 앤 드레그(Press & Drag), 홀드 앤 프레스(Hold & Press)와 같은 많은 제스처들을 수행한다. A brief description will now be made of a method in which a user operates the touch screen of the mobile device M by touching the touch screen in a real environment. The user may touch the touch screen lightly once or tap the touch screen, You can do a double tap or swipe by dragging the touch screen to one side while holding the touch screen slightly stronger or by dragging the touch screen with one touch while dragging it, Touch the two fingers on the screen and pinch the inside to narrow the gap between the fingers. Or touch the two fingers on the touch screen and spread the spread outward Alternatively, the user rotates the finger while rotating the finger while touching two fingers on the touch screen. In addition, It performs a number of gestures, such as de (Slide), press and drag (Press & Drag), press and hold (Hold & Press).

이러한 제스처들은 실제 환경에서 사용자들이 많이 수행하는 터치스크린 조작으로서, 본 발명은 이러한 제스처들을 하는데 로봇(20)의 툴 플레이트(24,28)에 설치된 터치펜(30)을 사용하도록 한다.These gestures are touch-screen operations performed by a large number of users in an actual environment, and the present invention uses the touch pen 30 installed on the tool plates 24 and 28 of the robot 20 to perform such gestures.

모바일 기기(M)를 시각장애인 모드로 설정하면 터치스크린 사용법이 달라진다. 예를 들어, 한번 터치하면 터치 한 곳의 사용자 인터페이스 요소를 선택하고 그 내용을 음성으로 읽어준다. 이 상태에서 터치스크린을 두 번 탭하면 이전에 선택되었던 사용자 인터페이스를 실행한다.If the mobile device (M) is set to the visually impaired mode, the usage of the touch screen is changed. For example, once you touch it, you can select the user interface element of the place you touched and read the contents by voice. In this state, double-tap the touch screen to launch the previously selected user interface.

또한, 비장애인모드에서의 화면 전환은 한손가락으로 스와이프 하지만 시각장애인 모드에서는 두 개 또는 세 손가락으로 스와이프를 해야 한다. Also, the screen switching in non-disabled mode will swipe to one hand, but in the blind mode you should swipe with two or three fingers.

위에서 살펴본 바와 같이 일반적으로 많이 사용되는 터치스크린의 조작에는 손가락이 하나가 필요한 것도 있지만 시각장애인 모드에서는 손가락이 2개가 필요한 것도 있고, 3개의 손가락이 움직여야만 하는 것도 있다. As we have seen above, some commonly used touch screen operations require one finger, but in the visually impaired mode, two fingers are required, and three fingers must be moved.

이러한 손가락의 움직임을 터치펜(30)의 움직임으로 대체해야 하기 때문에 본 발명에서는 툴 플레이트(24,28)에 2개 또는 3개의 터치펜(30)을 이격되게 설치하고, 이격되게 설치된 터치펜(30)을 툴 플레이트(24,28) 상에서 직선운동하여 그 이격거리가 조절되도록 한다.In order to replace the movement of the finger with the movement of the touch pen 30, two or three touch pens 30 are provided on the tool plates 24 and 28 so as to be spaced apart from each other, 30 are linearly moved on the tool plates 24, 28 so that their spacing distance can be adjusted.

상기 컴퓨터(40)는 모바일 기기(M)의 화면 뷰 정보와 사용자 인터페이스 요소에 관한 정보를 수신하여 화면에 디스플레이한다. 이렇게 디스플레이된 화면 뷰 정보에 대해 접근성 평가 작업에 따라 로봇(20)을 조작하여 터치펜(30)으로 모바일 기기(M)의 터치스크린을 조작하도록 한다.The computer 40 receives the screen view information and the user interface element information of the mobile device M and displays the information on the screen. The robot 20 is operated according to the accessibility evaluation work for the displayed screen view information to operate the touch screen of the mobile device M with the touch pen 30. [

부연하면, 사용자는 컴퓨터(40)의 모니터 화면에 디스플레이된 모바일 기기(M)의 애플리케이션의 화면 뷰 정보와 사용자 인터페이스 요소에 관한 정보를 보면서 접근성 평가를 수행할 수 있다. 본 발명에서는 접근성 평가 작업의 대부분의 검사항목을 컴퓨터(40) 화면을 통해 직관적으로 평가할 수 있고, 컴퓨터(40)의 마우스 및 키보드와 같은 입력장치를 이용하여 모바일 기기(M)의 조작이 가능하다. In addition, the user can perform the accessibility evaluation while viewing the screen view information of the application of the mobile device (M) displayed on the monitor screen of the computer (40) and the information related to the user interface element. In the present invention, most of the inspection items of the accessibility evaluation work can be intuitively evaluated through the screen of the computer 40, and the operation of the mobile device M can be performed by using an input device such as a mouse and a keyboard of the computer 40 .

그리고, 컴퓨터(40)는 접근성 검사 항목별로 모바일 기기(M)로부터 전달받은 화면 뷰 정보와 사용자 인터페이스 요소에 관한 정보를 선별하여 모니터 화면에 표시하고, 사용자는 이 정보를 보면서 해당 검사항목에 관한 접근성 평가를 수행할 수 있다.Then, the computer 40 displays the screen view information and the user interface element information received from the mobile device M for each accessibility inspection item on a monitor screen, and the user views accessibility information Evaluation can be performed.

즉, 본 발명에서 컴퓨터(40)는 모바일 기기(M)를 연결하여 모바일 기기(M)에서의 애플리케이션의 접근성을 평가하기 위한 접근성 평가 작업을 수행하는데, 그 수행방법의 일환으로 로봇(20)을 제어하여 로봇(20)에 설치된 터치펜(30)을 사용하여 모바일 기기(M)의 터치스크린을 다양한 제스처로 조작을 한다.That is, in the present invention, the computer 40 performs an accessibility evaluation task for evaluating the accessibility of the application in the mobile device M by connecting the mobile device M. As a part of the performance evaluation method, the robot 20 And controls the touch screen of the mobile device M by using various gestures by using the touch pen 30 installed in the robot 20. [

이때, 컴퓨터(40)에서 터치펜(30)을 제어하여 모바일 기기(M)의 터치스크린 상에서 수행하는 제스처는 앞에 기재한 것처럼 탭(Tap), 더블탭(Double tap), 스와이프(Swipe), 드래그(Drag), 핀치(Pinch), 스프레드(Spread), 로테이트(Rotate), 슬라이드(Slide), 슬라이드(Slide), 프레스 앤 드레그(Press & Drag), 홀드 앤 프레스(Hold & Press) 등이다. 그 외에도 다양한 제스처들이 컴퓨터(40)에 의해 제어되는 터치펜(30)에 의해 수행될 수 있다.At this time, the gesture performed by the computer 40 on the touch screen of the mobile device M by controlling the touch pen 30 may be a tap, a double tap, a swipe, Drag, Pinch, Spread, Rotate, Slide, Slide, Press & Drag, and Hold & Press. In addition, various gestures can be performed by the touch pen 30 controlled by the computer 40.

이렇게 상기와 같은 제스처들을 컴퓨터(40)가 제어함으로써 모바일 기기(M)를 조작함에 따른 모바일 기기(M)의 반응을 토대로 접근성 평가 작업이 수행되고, 그 접근성 평가 작업 수행 중의 화면 뷰 정보가 상기 모바일 기기(M)로부터 컴퓨터(40)에 전송된다. 즉 컴퓨터(40)는 접근성 평가 작업의 수행에 의한 화면 뷰 정보를 모바일 기기(M)로부터 전송받는다.The accessibility evaluation work is performed based on the response of the mobile device M as the computer 40 controls the gestures by operating the mobile device M and the screen view information during the accessibility evaluation work is transmitted to the mobile And transmitted from the device M to the computer 40. [ That is, the computer 40 receives the screen view information from the mobile device M by performing the accessibility evaluation work.

한편, 본 발명은 컴퓨터(40) 및 모바일 기기(M) 등과 통신하는 서버(50)를 더 포함하는데, 모바일 기기(M)는 서버(50)에 애플리케이션의 화면 뷰 정보를 전송하며, 서버(50)는 수신한 화면 뷰 정보를 저장하고, 컴퓨터(40)로부터 요청이 있으면 저장된 화면 뷰 정보를 컴퓨터(40)에 전송한다.The present invention further includes a server 50 that communicates with the computer 40 and the mobile device M. The mobile device M transmits the screen view information of the application to the server 50, Stores the received screen view information and transmits the stored screen view information to the computer 40 when requested by the computer 40. [

또한, 본 발명은 컴퓨터(40)와 통신하는 카메라(60)를 더 포함할 수도 있는데, 카메라(60)는 모바일 기기(M)의 화면 뷰를 캡처하여 컴퓨터(40)에 전송한다. 이 카메라(60)는 컴퓨터(40)로 직접 캡처한 화면 뷰를 전송할 수 있다.The present invention may also include a camera 60 in communication with the computer 40 which captures a screen view of the mobile device M and transmits it to the computer 40. [ The camera 60 may transmit the captured screen view directly to the computer 40.

따라서, 본 발명은 컴퓨터(40)가 화면 뷰 정보를 모바일 기기(M)로부터 직접 전송받을 수도 있지만, 모바일 화면 뷰를 전달하는 서버(50)를 통해 전송받을 수도 있고, 경우에 따라서는 모바일 기기(M)의 화면을 촬영하는 카메라(60)를 통해 전송받을 수도 있다.Accordingly, the present invention may receive the screen view information directly from the mobile device M by the computer 40, but may be transmitted through the server 50 that delivers the mobile screen view, M may be transmitted through a camera 60 that captures a screen of the mobile terminal.

그리고, 본 발명에서는 시각장애인 모드에서 모바일 기기(M)가 읽어주는 음성을 입력받아 텍스트 정보로 변환하여 모바일 기기(M)에서 전송받은 사용자 인터페이스 정보와 비교하는 음성변환장치(70)가 더 포함될 수 있다. 모바일 기기(M)에서 지원하고 있는 다양한 시각장애인 접근성 기능, 예를 들면 안드로이드 플랫폼의 TalkBack, 아이폰의 VoiceOver와 같은 기능을 활성화시켰을 때 모바일 기기(M)는 선택된 사용자 인터페이스 요소를 음성으로 읽어준다. 이때, 모바일 기기가 읽어주는 음성 정보가 화면 뷰의 정보와 다르면 사용자는 음성을 듣고 사용자 인터페이스 요소를 분별할 수 없게 된다.The present invention may further include a voice conversion device 70 for receiving a voice read by the mobile device M in the blind mode and converting the voice into text information and comparing the voice with the user interface information received from the mobile device M have. The mobile device M reads the selected user interface element by voice when the functions such as the accessibility functions of the visually impaired persons supported by the mobile device M, for example, the TalkBack of the Android platform and the VoiceOver of the iPhone are activated. At this time, if the voice information read by the mobile device is different from the information of the screen view, the user can not recognize the user interface element by listening to the voice.

여기서 모바일 기기(M)가 읽어주는 음성은 별도의 스피커를 통해 들을 수도 있다. 또한, 컴퓨터(40)가 모바일 기기(M)으로부터 전달받은 사용자 인터페이스 요소를 읽어주는데도 사용된다.Here, the voice read by the mobile device M may be heard through a separate speaker. The computer 40 is also used to read user interface elements received from the mobile device M. [

컴퓨터(40)는 모바일 기기(M)로부터 전달받은 정보와 음성변환장치(70)로부터 전달받은 정보를 비교하여 접근성 평가를 수행하게 된다. The computer 40 performs accessibility evaluation by comparing the information received from the mobile device M with the information received from the voice conversion device 70.

10: 베드 20: 로봇
21: X축 가이드 22: Y축 가이드
23: Z축 가이드 24: 툴 플레이트
25: 바디 26: 로봇암
27: 승강블록 28: 툴 플레이트
30: 터치펜 40: 컴퓨터
50: 서버 60: 카메라
70: 음성변환장치 M: 모바일 기기10: Bed 20: Robot
21: X-axis guide 22: Y-axis guide
23: Z-axis guide 24: tool plate
25: Body 26: Robot arm
27: lift block 28: tool plate
30: touch pen 40: computer
50: server 60: camera
70: voice conversion device M: mobile device

Claims (9)

애플리케이션이 탑재된 모바일 기기(M)가 안착되는 베드(10);
상기 베드(10) 주위에 설치되어 터치펜(30)을 사용하여 베드(10)에 안착된 모바일 기기(M)의 터치스크린을 조작하는 로봇(20); 및
상기 모바일 기기(M)의 화면 뷰 정보와 사용자 인터페이스 요소에 관한 정보를 수신하여 화면에 디스플레이하고, 디스플레이된 화면 뷰 정보에 대해 접근성 평가 작업에 따라 상기 로봇(20)을 조작하여 터치펜(30)으로 모바일 기기(M)의 터치스크린을 조작하도록 하는 컴퓨터(40); 를 포함하며,
상기 로봇(20)은,
상기 베드(10) 상측에 설치되는 X축 가이드(21);
상기 X축 가이드(21)를 따라 X축 방향으로 움직이는 Y축 가이드(22);
상기 Y축 가이드(22)를 따라 X축과 직교하는 Y축 방향으로 움직이는 Z축 가이드(23); 및
상기 Z축 가이드(23)를 따라 X축 및 Y축 각각에 직교하는 Z축 방향으로 움직이고, 상기 터치펜(30)이 설치된 툴 플레이트(24); 를 포함하는 것을 특징으로 하는 모바일 기기 진단시스템.
A bed (10) on which a mobile device (M) loaded with an application is seated;
A robot 20 installed around the bed 10 and operating a touch screen of the mobile device M placed on the bed 10 using the touch pen 30; And
And displays information on the screen view information and the user interface element of the mobile device M and displays the screen view information on the screen, and operates the robot 20 according to the accessibility evaluation operation on the displayed screen view information, A computer 40 for allowing the user to operate the touch screen of the mobile device M. / RTI >
The robot (20)
An X-axis guide 21 installed above the bed 10;
A Y-axis guide 22 moving in the X-axis direction along the X-axis guide 21;
A Z-axis guide 23 moving in the Y-axis direction orthogonal to the X-axis along the Y-axis guide 22; And
A tool plate (24) provided with the touch pen (30) and moving in the Z axis direction orthogonal to the X axis and the Y axis along the Z axis guide (23); And the mobile device diagnostic system.
애플리케이션이 탑재된 모바일 기기(M)가 안착되는 베드(10);
상기 베드(10) 주위에 설치되어 터치펜(30)을 사용하여 베드(10)에 안착된 모바일 기기(M)의 터치스크린을 조작하는 로봇(20); 및
상기 모바일 기기(M)의 화면 뷰 정보와 사용자 인터페이스 요소에 관한 정보를 수신하여 화면에 디스플레이하고, 디스플레이된 화면 뷰 정보에 대해 접근성 평가 작업에 따라 상기 로봇(20)을 조작하여 터치펜(30)으로 모바일 기기(M)의 터치스크린을 조작하도록 하는 컴퓨터(40); 를 포함하며,
상기 로봇(20)은,
바닥면에 대하여 360도 회전가능하게 설치되는 바디(25);
상기 바디(25)에 회동 가능하게 설치되는 하나 이상의 로봇암(26);
상기 로봇암(26)의 끝단에 상하이동 가능하게 설치되는 승강블록(27); 및
상기 승강블록(27)의 끝단에 360도 회전가능하게 설치되고, 상기 터치펜(30)이 설치된 툴 플레이트(28); 를 포함하는 것을 특징으로 하는 모바일 기기 진단시스템.
A bed (10) on which a mobile device (M) loaded with an application is seated;
A robot 20 installed around the bed 10 and operating a touch screen of the mobile device M placed on the bed 10 using the touch pen 30; And
And displays information on the screen view information and the user interface element of the mobile device M and displays the screen view information on the screen, and operates the robot 20 according to the accessibility evaluation operation on the displayed screen view information, A computer 40 for allowing the user to operate the touch screen of the mobile device M. / RTI >
The robot (20)
A body 25 installed to be rotatable 360 degrees with respect to the bottom surface;
At least one robot arm (26) rotatably installed on the body (25);
A lift block 27 installed at an end of the robot arm 26 so as to be vertically movable; And
A tool plate (28) rotatably mounted on the end of the lifting block (27) and having the touch pen (30) installed therein; And the mobile device diagnostic system.
청구항 1 또는 청구항 2에 있어서,
상기 모바일 기기 진단시스템은 서버(50); 를 더 포함하고,
상기 모바일 기기(M)는 상기 서버(50)에 애플리케이션의 화면 뷰 정보를 전송하며,
상기 서버(50)는 수신한 화면 뷰 정보를 저장하고, 상기 컴퓨터(40)로부터 요청이 있으면 저장된 화면 뷰 정보를 상기 컴퓨터(40)에 전송하는 것을 특징으로 하는 모바일 기기 진단시스템.
The method according to claim 1 or 2,
The mobile device diagnostic system includes a server (50); Further comprising:
The mobile device M transmits screen view information of an application to the server 50,
Wherein the server (50) stores the received screen view information and transmits the stored screen view information to the computer (40) when requested by the computer (40).
청구항 1 또는 청구항 2에 있어서,
상기 모바일 기기 진단시스템은 상기 컴퓨터(40)와 통신하는 카메라(60); 를 더 포함하되,
상기 카메라(60)는 모바일 기기(M)의 화면 뷰를 캡처하여 상기 컴퓨터(40)에 전송하는 것을 특징으로 하는 모바일 기기 진단시스템.
The method according to claim 1 or 2,
The mobile device diagnostic system includes a camera (60) in communication with the computer (40); Further comprising:
Wherein the camera (60) captures a screen view of the mobile device (M) and transmits the captured screen view to the computer (40).
청구항 1 또는 청구항 2에 있어서,
상기 컴퓨터(40)는 접근성 평가 작업의 수행에 의한 화면 뷰 정보를 상기 모바일 기기(M)로부터 전송받는 것을 특징으로 하는 모바일 기기 진단시스템.
The method according to claim 1 or 2,
And the computer (40) receives the screen view information by performing the accessibility evaluation work from the mobile device (M).
청구항 1 또는 청구항 2에 있어서,
상기 툴 플레이트에는 2 이상의 터치펜(30)이 이격되게 설치되고, 이격되게 설치된 터치펜(30)은 툴 플레이트에서 직선운동하여 그 이격거리가 조절되는 것을 특징으로 하는 모바일 기기 진단시스템.
The method according to claim 1 or 2,
Wherein at least two touch pens (30) are provided on the tool plate so as to be spaced apart from each other, and the touch pen (30) installed to be spaced apart linearly moves on the tool plate to adjust a distance therebetween.
청구항 1 또는 청구항 2에 있어서,
상기 컴퓨터(40)는 모바일 기기(M)의 터치스크린 상에서 탭(Tap), 더블탭(Double tap), 스와이프(Swipe), 드래그(Drag), 핀치(Pinch), 스프레드(Spread), 로테이트(Rotate) 제스처를 수행할 수 있도록 터치펜(30)을 제어하는 것을 특징으로 하는 모바일 기기 진단시스템.
The method according to claim 1 or 2,
The computer 40 is capable of performing various operations such as Tap, Double tap, Swipe, Drag, Pinch, Spread, Rotate And controls the touch pen (30) to perform a rotation gesture.
청구항 1 또는 청구항 2에 있어서,
상기 모바일 기기(M)가 읽어주는 음성을 입력받아 텍스트 정보로 변환하여 모바일 기기(M)에서 전송받은 사용자 인터페이스 정보와 비교하는 음성변환장치(70); 를 포함하여 구성된 것을 특징으로 하는 모바일 기기 진단시스템.The method according to claim 1 or 2,
A voice converter 70 for receiving a voice read by the mobile device M and converting the voice into text information and comparing the voice information with user interface information received from the mobile device M; The mobile device diagnostic system comprising: 삭제delete
KR1020170010879A 2017-01-24 2017-01-24 A Diagnosis System of Mobile Apparatus KR101966799B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170010879A KR101966799B1 (en) 2017-01-24 2017-01-24 A Diagnosis System of Mobile Apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170010879A KR101966799B1 (en) 2017-01-24 2017-01-24 A Diagnosis System of Mobile Apparatus

Publications (2)

Publication Number Publication Date
KR20180086878A KR20180086878A (en) 2018-08-01
KR101966799B1 true KR101966799B1 (en) 2019-04-08

Family

ID=63227691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170010879A KR101966799B1 (en) 2017-01-24 2017-01-24 A Diagnosis System of Mobile Apparatus

Country Status (1)

Country Link
KR (1) KR101966799B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101198336B1 (en) * 2012-06-28 2012-11-06 전년하 Tablet testing apparatus and method for touch screen panel using electro magnetic type
KR101475228B1 (en) 2013-09-25 2014-12-23 이승우 Voice diagnostic system and its service method using dianostic device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270317B1 (en) * 2011-10-28 2013-05-31 에스케이씨앤씨 주식회사 Method for diagnosing/repairing electronic device and system using the same
JP5927014B2 (en) 2012-04-18 2016-05-25 Hoya株式会社 Silicone hydrogel soft contact lens with wettable surface
KR101612321B1 (en) * 2014-02-26 2016-04-14 충북대학교 산학협력단 Evaluation system for application accessibility service in mobile apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101198336B1 (en) * 2012-06-28 2012-11-06 전년하 Tablet testing apparatus and method for touch screen panel using electro magnetic type
KR101475228B1 (en) 2013-09-25 2014-12-23 이승우 Voice diagnostic system and its service method using dianostic device

Also Published As

Publication number Publication date
KR20180086878A (en) 2018-08-01

Similar Documents

Publication Publication Date Title
EP2842013B1 (en) Systems and methods for managing the display of content on an electronic device by detecting covered areas of the display
JP5759660B2 (en) Portable information terminal having touch screen and input method
KR101861395B1 (en) Detecting gestures involving intentional movement of a computing device
JP6009454B2 (en) Enhanced interpretation of input events that occur when interacting with a computing device that uses the motion of the computing device
US10684673B2 (en) Apparatus and control method based on motion
US20150035746A1 (en) User Interface Device
KR20150103240A (en) Depth-based user interface gesture control
JP2006340370A (en) Input device by fingertip-mounting sensor
TW201035809A (en) Method and apparatus for causing display of a cursor
KR102021851B1 (en) Method for processing interaction between object and user of virtual reality environment
JP2008203911A (en) Pointing device and computer
CN109669747A (en) A kind of method and mobile terminal of moving icon
CN109800045A (en) A kind of display methods and terminal
CN109558061A (en) A kind of method of controlling operation thereof and terminal
TW201741814A (en) Interface control method and mobile terminal
CN104731469A (en) Touch equipment and one-hand operation method for same
JP6465277B6 (en) Electronic device, processing method and program
KR101966799B1 (en) A Diagnosis System of Mobile Apparatus
WO2015174316A1 (en) Terminal, and terminal control method
CN107977180A (en) System and method for enabling low visual acuity user to be interacted with touch-sensitive slave display
CN103488319B (en) A kind of virtual touch method and system
CN109407951A (en) A kind of unread message processing method and terminal
US20190041997A1 (en) Pointer control in a handheld computer by way of hid commands
KR20150093270A (en) Motion interface device
CN103345358A (en) Display device and information processing method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant