WO2012064034A1 - 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법 - Google Patents

시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법 Download PDF

Info

Publication number
WO2012064034A1
WO2012064034A1 PCT/KR2011/008028 KR2011008028W WO2012064034A1 WO 2012064034 A1 WO2012064034 A1 WO 2012064034A1 KR 2011008028 W KR2011008028 W KR 2011008028W WO 2012064034 A1 WO2012064034 A1 WO 2012064034A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
application software
screen device
virtual keyboard
touch screen
Prior art date
Application number
PCT/KR2011/008028
Other languages
English (en)
French (fr)
Inventor
박영숙
박건
Original Assignee
주식회사 에이티랩
(주) 에스엔아이솔라
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이티랩, (주) 에스엔아이솔라 filed Critical 주식회사 에이티랩
Publication of WO2012064034A1 publication Critical patent/WO2012064034A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Definitions

  • the present invention relates to a touch screen device capable of operating an object by a visually impaired person and a method of operating an object in the device, and more particularly, in a state in which a virtual keyboard for controlling the running application software is activated,
  • a touch is detected, if a key value is generated according to the position, the number of touches, and the touch time information of the touch position of the touched virtual keyboard to the running application software, the application software operates according to the received key value.
  • the text information of the focused object is read using a hooking mechanism, and the text information of the read object is converted into text-to-speech (TTS).
  • TTS text-to-speech
  • a touch screen device provides an interface through which a user can input a command or information by touching an icon displayed on the screen using a finger or a pointer.
  • the touch screen device is a kind of input device, and is applied to various terminals such as a mobile phone, a smart phone, an unattended cash dispenser, a Palm PC, and a personal digital assistant (PDA).
  • PDA personal digital assistant
  • Character input and object selection through the touch screen device are largely divided into a handwriting method and a soft keyboard operation method.
  • the handwriting manipulation method is operated by writing a letter with a stylus pen on a screen and selecting an object on the screen as if writing a pen on a paper.
  • a keyboard having a user interface in the form of a general keyboard is displayed on a screen to input characters and select screen objects using a pen click.
  • the full touch type touch screen device outputs a voice when an object displayed on the screen is focused with a finger, and requires an accidental operation through a random operation to a visually impaired person who cannot predict the position and direction of the object.
  • the present invention has been made to solve the above problems, and an object of the present invention is to freely view an object based on information of an object displayed on a touch screen and a virtual keyboard previously standardized when a visually impaired person uses a touch screen device.
  • the present invention provides a touch screen device capable of selecting and executing an object by a visually impaired person and an object manipulation method in the device.
  • the application software when a touch of the virtual keyboard is detected while the virtual keyboard for controlling the running application software is activated, the position and touch of the touch position of the touched virtual keyboard A touch sensing unit for generating a key value according to the number of times and the touch time information and transmitting it to the running application software, the application software is operated according to the key value received from the touch sensing unit to any arbitrary object among all objects included in the application software
  • an object determination unit reading text information of the focused object using a hooking mechanism and a text-to-speech engine converts text information of the object read from the object determination unit into text. It includes a speech synthesis processing unit for converting the voice data by using It is a touch screen device, the object manipulation by the visually impaired can be provided.
  • the virtual keyboard has a structure in which a predetermined number of touch positions are arranged, and operates in the background without being visually displayed on the screen.
  • the object is a component of the application software, and the information of the object includes a name, a type, and a state in which the object is displayed in text.
  • the touch sensing unit When the touch sensing unit senses a touch of a touch position to which a key value for the reference mode is assigned by the user, the touch sensing unit maintains a reference mode state by requesting a speech output to the speech synthesis processing unit to output a voice message called a reference mode.
  • a touch of another touch position is detected in the reference mode state, a key value of the touched other touch position is generated and transmitted to the application software.
  • the virtual keyboard for the control of the running application software is activated, If a touch is detected, generating a key value according to the position, the number of touches, and the touch time information of the touch position of the touched virtual keyboard and transmitting the generated key value to the running application software, (b) the application software received the If any object is focused among all objects included in the application software by operating according to a key value, reading text information of the focused object using a hooking mechanism; and (c) text of the read object.
  • the information is converted into voice data using a text to speech (TTS) engine and output.
  • TTS text to speech
  • the method may further include generating a key value of the touched other touch position and transmitting the generated key value to the running application software.
  • the visually impaired person can operate the touch screen device regardless of the position and orientation of the object based on the information of the object displayed on the touch screen and the virtual keyboard which is previously standardized, You can freely select and execute objects.
  • FIG. 1 is a block diagram schematically showing the configuration of a touch screen device capable of object manipulation by a visually impaired person according to an embodiment of the present invention.
  • FIG. 2 is a flow chart illustrating a method for a visually impaired manipulating an object using a touch screen device according to an exemplary embodiment of the present invention.
  • FIG 3 is an exemplary view of a virtual keyboard according to the present invention.
  • FIG. 1 is a block diagram schematically showing the configuration of a touch screen device capable of object manipulation by a blind person according to an embodiment of the present invention
  • Figure 3 is an exemplary view of a virtual keyboard according to the present invention.
  • the touch screen device 100 capable of manipulating an object by a visually impaired person includes a touch detector 102, an object determiner 104, and a speech synthesis processor 106.
  • the touch sensing unit 102 detects the position, the number of touches, and the touch position of the touched virtual keyboard.
  • the key value according to the time information is generated and transmitted to the running application software.
  • the running application software refers to existing application software that is currently visually displayed on the screen, which means that if it is operating in a typical OS system such as windows, Android, MACOS, Linux, etc., it is necessary to enter, direction key value, character key value, etc. It is designed as an architecture that can receive.
  • the application software refers to software that is generally used in the past, and is generally designed as an architecture that can receive key values.
  • the application software does not use any mechanism in its control other than sending and receiving key values for interaction with the virtual keyboard in advance.
  • the virtual keyboard has a structure in which a predetermined number of touch positions are arranged.
  • the virtual keyboard operates in the OS level background without being visually displayed on the screen.
  • the virtual keyboard in this case is divided into 3 by 4 screen partitions, which means a partition like a checkerboard, and the scale means 3 spaces horizontally and 4 spaces vertically.
  • the divided screen partitions mean a touch range, and do not actually display a grid shape on the screen.
  • Each touch position is, for example, TP1, TP2, TP3, TP4, TP6, TP7, TP8, TP9, TP10, TP11 according to the arrangement order. Identification numbers such as', 'TP12' are assigned.
  • the virtual keyboard includes "AREA KEYPAD”, “FUNCTION KEYPAD”, “Native Language KEYPAD”, “English KEYPAD”, “Number KEYPAD”, “Symbol KEYPAD”, “HOT English KEYPAD”, “HOT Numeric KEYPAD”, etc. It is composed of and similar categories are classified, so you can select the keypad you want according to the situation.
  • the touch method of the virtual keyboard includes one touch, two consecutive touches, three consecutive touches, and a long press of 0 seconds, 1 second, 2 seconds, 3 seconds, or the like.
  • a long press of 0 seconds, 1 second, 2 seconds, 3 seconds, or the like.
  • the object determining unit 104 uses a hooking mechanism when the application software operates according to a key value received from the touch sensing unit 102 and any object is focused among all objects included in the application software. Read text information of the focused object.
  • the application software operates according to the key value received from the touch sensing unit 102, and as a result of the operation, if any object is activated or focused among all objects included in the application software, the object determining unit 104 ) Reads text information of the activated or focused object using a hooking mechanism.
  • an object is not created by itself as a component of the application software, but refers to being included in the existing application software.
  • an object refers to a button, a file list, an edit window, a combo box, or the like.
  • the information of the object refers to a name, type, state, etc., which displays the object in text.
  • the hooking mechanism is supported through the API in the OS such as windows ce, xp, 2000, LINUX, etc.
  • the hooking element is the name of the object displayed on the screen of the currently executed application software, the type of the object, the text characters displayed on the object, etc. It includes.
  • the keypad type of the virtual keyboard can be changed automatically according to the 'object name', 'object type' and 'processor name' on the focused screen display of the activated application software, which is based on a pre-stored database. For example, if the focused object is a 'file list', the keypad type of the virtual keyboard is changed to 'AREA KEYPAD' so that the keys of the touch position are transferred to the direction key value, and the focused keyboard is the 'edit window'.
  • the keypad type is changed to 'Native / English KEYPAD' so that the keys of the touch position are transmitted as the character key value, and in the phone or calculator software, the keypad is changed to the 'numeric keypad' and only the numeric value is transmitted.
  • the touch detector 102 requests a voice output to the speech synthesis processor 106 to output a voice message called a reference mode. While maintaining the reference mode state, if a touch of another touch position is detected in the reference mode state, a key value of the touched other touch position is generated and transmitted to the running application software.
  • a total of 12 touch positions are identified by TP1, TP2... TP12 in an arrangement order for each position.
  • the touch sensing unit determines that the reference mode is "reference mode".
  • the mode is switched to the reference mode.
  • the pointer refers to a finger or the like capable of touching the virtual keyboard.
  • the "reference mode" is a series of functions that allow the first pointer to remain in contact with the 'TP5' and do not disturb the touch of the second pointer.
  • the touch detector 102 When the user touches another touch position while maintaining the reference mode as described above, the touch detector 102 generates a corresponding key value and transmits the corresponding key value to the existing running software.
  • the keys of each touch position are set to the key value of the character element.
  • the speech synthesis processor 106 converts the information of the object read by the object determiner 104 into speech data using a text-to-speech engine and outputs the converted speech data.
  • FIG. 2 is a flowchart illustrating a method of operating an object by a visually impaired person using a touch screen device according to an exemplary embodiment of the present invention.
  • the touch screen device when a touch of a touch position to which a key value for the reference mode is assigned is detected by the user, the touch screen device maintains the reference mode state by outputting a voice message called the reference mode, and in the reference mode state, another touch position.
  • a touch of is detected, a key value of the touched other touch position is generated and transmitted to the running program.
  • the touch screen device After the execution of S206, when the application software operates according to the transmitted key value and any object is focused among all objects included in the application software (S208), the touch screen device uses a hooking mechanism.
  • the text information of the focused object is read (S210).
  • the touch screen device reads the 'object name', the type of the focused object, the text characters displayed on the focused object, and the like on the screen display of the currently executed application software using a hooking mechanism.
  • the touch screen device After performing the S210, the touch screen device converts the text information of the read object into voice data using a text to speech (TTS) engine and outputs the converted voice data (S212).
  • TTS text to speech
  • the touch screen device and the object manipulation method in which the object can be manipulated by the visually impaired according to the present invention are used in the apparatus for the visually impaired. It is suitable for the high need to freely select and execute objects based on the keyboard.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법에 관한 것으로서, 실행중인 응용소프트웨어의 제어를 위한 가상 키보드가 활성화된 상태에서, 상기 가상 키보드의 터치가 감지된 경우, 상기 터치된 가상 키보드의 터치포지션에 대한 위치, 터치 횟수 및 터치 시간 정보에 따른 키값을 생성하여 상기 실행중인 응용소프트웨어에 전달하는 터치 감지부, 상기 응용소프트웨어가 상기 터치 감지부로부터 전달받은 키값에 따라 동작하여 상기 응용소프트웨어에 포함된 전체 객체 중에서 임의의 객체가 포커스되면, 후킹(hooking) 메커니즘을 이용하여 상기 포커스된 객체의 텍스트 정보를 읽어오는 객체 판단부, 상기 객체 판단부에서 읽어온 객체의 텍스트 정보를 텍스트 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환하여 출력하는 음성 합성 처리부를 포함한다. 따라서, 본 발명에 따르면, 시각장애인이 터치스크린 장치를 사용함에 있어서, 터치 스크린에 표시된 객체의 정보와 사전에 규격화된 가상 키보드에 근거하여 객체의 위치와 방향에 상관없이 조작할 수 있으므로, 객체를 자유롭게 선택 및 실행시킬 수 있다.

Description

시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법
본 발명은 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법에 관한 것으로, 더욱 상세하게는 실행중인 응용소프트웨어의 제어를 위한 가상 키보드가 활성화된 상태에서, 상기 가상 키보드의 터치가 감지된 경우, 상기 터치된 가상 키보드의 터치포지션에 대한 위치, 터치 횟수 및 터치 시간 정보에 따른 키값을 생성하여 상기 실행중인 응용소프트웨어에 전달하면, 상기 응용소프트웨어가 상기 전달받은 키값에 따라 동작하여 상기 응용소프트웨어에 포함된 전체 객체 중에서 임의의 객체가 포커스되면, 후킹(hooking) 메커니즘을 이용하여 상기 포커스된 객체의 텍스트 정보를 읽어오고, 상기 읽어온 객체의 텍스트 정보를 텍스트 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환하여 출력하는 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법에 관한 것이다.
통상적으로 터치 스크린(Touch Screen)장치는 화면상에 디스플레이되는 아이콘을 손가락이나 포인터 등을 사용하여 터치함으로써 사용자가 명령이나 정보를 입력할 수 있는 인터페이스를 제공한다. 상기 터치 스크린 장치는 일종의 입력장치로서, 휴대폰, 스마트 폰, 무인 현금 지급기, 팜 피씨(Palm PC), PDA(Personal Digital Assistants : 개인용 디지털 보조기) 등 다양한 단말기에 적용되고 있다.
상기 터치 스크린 장치를 통한 문자 입력 및 객체 선택 방법은 크게 필기체 조작 방법과 소프트 키보드 조작 방법으로 나누어진다. 상기 필기체 조작 방법은 평소에 종이에 펜으로 글씨를 쓰듯이 화면에 스타일러스 펜으로 글씨를 쓰고 화면에 객체를 선택함으로써 조작한다. 상기 소프트 키보드 조작 방법은 화면에 일반 키보드 형태의 유저 인터페이스를 가진 키보드를 표시하여 펜 클릭으로 문자를 입력하고 화면 객체를 선택한다.
그러나 시각 장애인이 풀터치 방식으로 접근이 가능한 것은 아이폰의 'VOICE OVER'가 있다. 이러한 풀터치 방식의 터치스크린 장치는 스크린에 표시된 객체를 손가락으로 포커스 하였을 때 음성으로 출력하는 것으로서, 객체의 위치 및 방향을 예측할 수 없는 시각 장애인에게 무작위적 조작을 통해 우연한 동작을 요구한다.
그러나 시각장애인은 터치스크린의 화면을 볼 수 없어서 터치해야 할 객체의 위치와 방향을 알 수 없기 때문에 터치스크린 장치에서 터치 방식으로 문자를 입력하거나 화면의 객체를 선택 및 조작할 수 없는 문제가 있다.
본 발명은 상기한 문제점을 해결하기 위하여 안출한 것으로, 본 발명의 목적은 시각 장애인이 터치스크린 장치를 사용함에 있어서, 터치 스크린에 표시된 객체의 정보와 사전에 규격화된 가상 키보드에 근거하여 객체를 자유롭게 선택 및 실행시킬 수 있는 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법을 제공하는데 있다.
상기 목적들을 달성하기 위하여 본 발명에 따르면, 실행중인 응용소프트웨어의 제어를 위한 가상 키보드가 활성화된 상태에서, 상기 가상 키보드의 터치가 감지된 경우, 상기 터치된 가상 키보드의 터치포지션에 대한 위치, 터치 횟수 및 터치 시간 정보에 따른 키값을 생성하여 상기 실행중인 응용소프트웨어에 전달하는 터치 감지부, 상기 응용소프트웨어가 상기 터치 감지부로부터 전달받은 키값에 따라 동작하여 상기 응용소프트웨어에 포함된 전체 객체 중에서 임의의 객체가 포커스되면, 후킹(hooking) 메커니즘을 이용하여 상기 포커스된 객체의 텍스트 정보를 읽어오는 객체 판단부, 상기 객체 판단부에서 읽어온 객체의 텍스트 정보를 텍스트 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환하여 출력하는 음성 합성 처리부를 포함하는 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치가 제공된다.
상기 가상 키보드는 일정 개수의 터치포지션이 배열된 구조로, 화면에 시각적으로 표시되지 않고 백그라운드로 동작한다.
상기 객체는 상기 응용소프트웨어의 구성요소이고, 상기 객체의 정보는 상기 객체를 텍스트로 표시한 이름, 종류, 상태를 포함한다.
상기 터치 감지부는 사용자에 의해 기준 모드를 위한 키값이 할당된 터치포지션의 터치가 감지된 경우, 기준 모드라는 음성 메시지를 출력하도록 상기 음성 합성 처리부로 음성 출력을 요청하면서 기준모드 상태를 유지하고, 상기 기준 모드 상태에서 다른 터치포지션의 터치가 감지된 경우, 상기 터치된 다른 터치포지션의 키값을 발생하여 상기 응용 소프트웨어에 전달한다.
본 발명의 다른 측면에 따르면, 터치스크린 장치가 시각 장애인의 터치를 이용하여 객체를 조작하는 방법에 있어서, (a) 실행중인 응용소프트웨어의 제어를 위한 가상 키보드가 활성화된 상태에서, 상기 가상 키보드의 터치가 감지된 경우, 상기 터치된 가상 키보드의 터치포지션에 대한 위치, 터치 횟수 및 터치 시간 정보에 따른 키값을 생성하여 상기 실행중인 응용소프트웨어에 전달하는 단계, (b) 상기 응용소프트웨어가 상기 전달받은 키값에 따라 동작하여 상기 응용소프트웨어에 포함된 전체 객체 중에서 임의의 객체가 포커스되면, 후킹(hooking) 메커니즘을 이용하여 상기 포커스된 객체의 텍스트 정보를 읽어오는 단계, (c) 상기 읽어온 객체의 텍스트 정보를 텍스트 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환하여 출력하는 단계를 포함하는 터치스크린 장치에서 시각 장애인에 의한 객체 조작 방법이 제공된다.
상기 (a) 단계에서, 상기 사용자에 의해 기준 모드를 위한 특정의 터치포지션의 터치가 감지된 경우, 기준 모드라는 음성 메시지를 출력하면서 기준모드 상태를 유지하는 단계, 상기 기준 모드 상태에서 다른 터치포지션의 터치가 감지된 경우, 상기 터치된 다른 터치포지션의 키값을 생성하여 상기 실행중인 응용소프트웨어에 전달하는 단계를 더 포함할 수 있다.
상술한 바와 같이 본 발명에 따르면, 시각장애인이 터치스크린 장치를 사용함에 있어서, 터치 스크린에 표시된 객체의 정보와 사전에 규격화된 가상 키보드에 근거하여 객체의 위치와 방향에 상관없이 조작할 수 있으므로, 객체를 자유롭게 선택 및 실행시킬 수 있다.
도 1은 본 발명의 실시예에 따른 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치의 구성을 개략적으로 나타낸 블럭도.
도 2는 본 발명의 실시예에 따른 시각 장애인이 터치스크린 장치를 이용하여 객체를 조작하는 방법을 나타낸 흐름도.
도 3은 본 발명에 따른 가상 키보드의 예시도.
본 발명의 전술한 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다.
도 1은 본 발명의 실시예에 따른 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치의 구성을 개략적으로 나타낸 블럭도, 도 3은 본 발명에 따른 가상 키보드의 예시도이다.
도 1을 참조하면, 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치(100)는 터치 감지부(102), 객체 판단부(104), 음성 합성 처리부(106)를 포함한다.
상기 터치 감지부(102)는 실행중인 응용소프트웨어의 제어를 위한 가상 키보드가 활성화된 상태에서, 상기 가상 키보드의 터치가 감지된 경우, 상기 터치된 가상 키보드의 터치포지션에 대한 위치, 터치 횟수 및 터치 시간 정보에 따른 키값을 생성하여 상기 실행중인 응용소프트웨어에 전달한다.
여기서, 상기 실행중인 응용 소프트웨어는 현재 화면상에 시각적으로 표시된 기존 응용소프트웨어를 말하는 것으로서, 이는 windows, 안드로이드, MACOS, 리눅스와 같이 통상적인 OS 시스템에서 동작하는 것이라면 반드시 엔터값, 방향키값, 문자키값 등을 전달 받을 수 있는 아키텍처로 설계되어 있다.
즉, 상기 응용소프트웨어는 기존에 일반적으로 사용되고 있는 소프트웨어를 지칭하는 것으로서 통상 키값을 전달받을 수 있는 아키텍처로 설계되어 있다.
또한, 상기 응용소프트웨어는 그 제어에 있어서 가상 키보드와 사전에 상호작용을 위하여 키값을 주고 받는 것 이외에 어떠한 메커니즘도 사용하지 않는다.
상기 가상 키보드는 일정 개수의 터치포지션이 배열된 구조로, 화면상에 시각적으로 표시되지 않고, OS레벨의 백그라운드에서 동작한다.
상기 가상 키보드에 대해 '3 by 4'의 터치포지션이 배열된 경우를 예로 하여 설명하기로 한다. 이 경우의 가상 키보드는 3 by 4의 화면 구획으로 분할되고, 이는 바둑판 모양과 같은 구획을 의미하며, 규모는 가로로 3칸, 세로로 4칸을 의미한다. 상기 분할된 화면 구획은 터치 범위를 의미할 뿐 실제로 화면에 격자의 모양이 표시되는 것은 아니다.
즉, 이는 3 by 4의 터치 구획으로 총 12개의 터치 포지션이 존재하고, 터치 경계에 무효 영역이 없어, 12개의 유효 터치만 작용함을 의미한다. 그리고 각 터치포지션은 배열순서에 따라 예를 들면, TP1', 'TP2', 'TP3', 'TP4', 'TP6', 'TP7', 'TP8', 'TP9', 'TP10', 'TP11','TP12'와 같은 식별번호가 부여된다.
또한, 상기 가상 키보드는 "AREA KEYPAD", "FUNCTION KEYPAD", "자국어 KEYPAD", "영문 KEYPAD", "숫자 KEYPAD", "기호 KEYPAD", "HOT 영문 KEYPAD", "HOT 숫자 KEYPAD" 등이 기본으로 구성되어 있으며, 비슷한 용도끼리 분류되어 있어, 상황에 따라 원하는 키패드를 선택할 수 있다.
또한, 상기 가상 키보드의 터치 방식은 해당 터치포지션을 1회 터치, 연속 2회 터치, 연속 3회 터치가 있고, 길게 0초이상, 1초이상, 2초이상, 3초이상 누르기 등이 있다. 또한, 터치포지션의 위치에 상관없이 "손가락 좌/우로 쓸기", "상하로 쓸기", "세손가락 동시에 터치"가 추가 기능과 연계되어 있다.
상기 객체 판단부(104)는 상기 응용소프트웨어가 상기 터치 감지부(102)로부터 전달받은 키값에 따라 동작하여 상기 응용소프트웨어에 포함된 전체 객체 중에서 임의의 객체가 포커스되면, 후킹(hooking) 메커니즘을 이용하여 상기 포커스된 객체의 텍스트 정보를 읽어온다.
즉, 상기 응용소프트웨어는 상기 터치 감지부(102)로부터 전달받은 키값에 따라 동작하고, 그 동작 결과로 상기 응용소프트웨어에 포함된 전체 객체 중에서 임의의 객체가 활성화 또는 포커스되면, 상기 객체 판단부(104)는 후킹(hooking) 메커니즘을 이용하여 상기 활성화 또는 포커스된 객체의 텍스트 정보를 읽어온다.
여기서, 상기 객체는 상기 응용소프트웨어의 구성요소로 자체적으로 생성한 것이 아니라 기존 상기 응용소프트웨어에 포함되어 있는 것을 말한다. 예를 들면, 객체는 버튼, 파일 리스트, 편집 창, 콤보 상자 등을 말한다.
상기 객체의 정보는 해당 객체를 텍스트로 표시한 이름, 종류, 상태 등을 말한다.
또한, 상기 후킹 메커니즘은 windows ce, xp, 2000, LINUX 등 OS에서 API를 통해 지원하고 있으며, 후킹 요소는 현재 실행된 응용소프트웨어의 화면에 표시된 객체의 이름, 객체의 종류, 객체에 표시된 텍스트 문자 등을 포함한다.
또한, 활성화된 응용소프트웨어의 포커스된 화면 표시상 '객체 이름'과 '객체 종류' 및 '프로세서명'에 따라 가상 키보드의 키패드 종류를 자동으로 변경할 수 있는데, 이는 미리 수록된 데이터베이스에 근거하는 것으로, 예를 들어, 포커스된 객체가 '파일 리스트'인 경우 가상 키보드의 키패드 종류가 'AREA KEYPAD'로 변경되어, 터치포지션의 키들이 방향키 값으로 전달되고, 포커스된 객체가 '편집 창'인 경우 가상 키보드의 키패드 종류가 '자국어/영어 KEYPAD'로 변경되어, 터치포지션의 키들이 문자 키값으로 전달되며, 전화기나 계산기 소프트웨어에서는 '숫자 키패드'로 바뀌어 터치하는 키가 해당 숫자 값만 전달된다.
또한, 상기 터치 감지부(102)는 사용자에 의해 기준 모드를 위한 키값이 할당된 터치포지션의 터치가 감지된 경우, 기준 모드라는 음성 메시지를 출력하도록 상기 음성 합성 처리부(106)로 음성 출력을 요청하면서 기준모드 상태를 유지하고, 상기 기준 모드 상태에서 다른 터치포지션의 터치가 감지된 경우, 상기 터치된 다른 터치포지션의 키값을 생성하여 실행중인 응용소프트웨어에 전달된다
예를 들어, 도 3과 같은 3 by 4의 터치포지션이 존재하는 가상 키보드에 대해 설명하기로 한다.
도 3을 참조하면, 총 12개의 터치포지션은 위치마다 배열 순서대로 TP1, TP2...TP12로 식별명이 부여되어 있다.
사용자가 중앙부에 배치된 터치포지션(TP5)을 터치한 채로 미리 정해진 일정 시간을 유지하는 경우, 상기 터치 감지부는 "기준 모드"로 판단한다.
이때, 사용자가 가상 키보드의 터치포지션을 터치한 상태로 이동하다 보면 'TP5'를 지날 때 '정상 신호음' 또는 '가벼운 진동' 또는 '올바른 위치입니다'라는 메시지를 음성으로 출력한다.
상기 TP5에 포인터를 터치한 채로 미리 정해진 시간이 지나거나, 계속 터치한 상태를 유지하고 있으면, '기준 모드'로 전환된다. 여기서, 상기 포인터는 가상 키보드의 터치가 가능한 손가락 등을 말한다.
또한, '기준 모드'란 제1 포인터가 'TP5'에 접촉한 상태를 계속 유지하는 것을 허용하고, 제2 포인터의 터치에 방해(작용)를 일으키지 않는 것을 의미하는 일련의 기능이다. 상기와 같은 기준모드를 유지한 상태에서 사용자가 다른 터치포지션을 터치하면, 상기 터치 감지부(102)는 해당 키값을 생성하고 기존 실행중인 소프트웨어에 전달한다.
즉, 기준모드 상태에서 제2포인터를 이용하여 'TP1', 'TP2', 'TP3', 'TP4', 'TP6', 'TP7', 'TP8', 'TP9', 'TP10', 'TP11','TP12'를 터치하면 해당 '키값'이 전달된다. 또한, '기준 모드'일 때, 'TP5'와 'TP6'를 터치하기 용이하지 않는데, 이 경우에는 이미 지지하고 있는 손가락을 떼어, 기준모드를 풀고, 곧바로 'TP5'와 'TP6'를 접촉 후 정한 시간 안에 떼는 방식으로 터치한다.
이것이 가능한 이유는 한쪽 손가락이 중앙부의 'TP5'를 지지하여 운신상의 기준이 더불어 작용하고 있기 때문인데, 시각장애인은 사물의 위치를 인지하지 못할 뿐, 방향(주로 8방향)은 인지할 수 있으며, 방향의 기준점을 한 손가락으로 지탱하고 있어 더욱 용이하다.
또한, 각 가상 키보드는 종류별로 각 터치포지션의 키값이 미리 세팅되어 있다. 예를 들어, 가상 키보드가 "문자 키패드"로 활성된 경우, TP1 = "a"(TP1이 터치되면, 쿼티 키보드 "a' 을 누른 것과 같음.), TP1, TP1 = "b"(제한된 시간 안에 TP1와 TP1을 연속으로 입력하면 쿼티 기보드 "b" 을 누른 것과 같음), TP1, TP2 = "c"(제한된 시간 안에 TP1와 TP2을 연속으로 입력하면 쿼티 키보드 "c" 를 누른 것과 같음), TP8 = "{DOWN}"(TP8을 터치하면 쿼티 키보드 '아래 방향키'를 누른 것과 같음)등과 같이 각 터치포지션의 키들이 문자요소의 키값으로 세팅되어 있다.
상기 음성 합성 처리부(106)는 상기 객체 판단부(104)에서 읽어온 객체의 정보를 문자 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환하여 출력한다.
도 2는 본 발명의 실시예에 따른 시각 장애인이 터치스크린 장치를 이용하여 객체를 조작하는 방법을 나타낸 흐름도이다.
도 2를 참조하면, 터치스크린 장치는 실행중인 응용소프트웨어에 키값을 전달하기 위한 가상 키보드가 활성화된 상태에서(S200), 상기 가상 키보드의 터치가 감지된 경우(S202), 상기 터치된 가상 키보드의 터치포지션에 대한 위치, 터치 횟수 및 터치 시간 정보에 따른 키값을 생성하여(S204) 상기 실행중인 응용소프트웨어에 전달한다(S206).
이때, 상기 터치스크린 장치는 사용자에 의해 기준 모드를 위한 키값이 할당된 터치포지션의 터치가 감지된 경우, 기준 모드라는 음성 메시지를 출력하면서 기준모드 상태를 유지하고, 상기 기준 모드 상태에서 다른 터치포지션의 터치가 감지된 경우, 상기 터치된 다른 터치포지션의 키값을 생성하여 상기 실행중인 프로그램에 전달한다.
상기 S206의 수행 후, 상기 응용소프트웨어가 상기 전달된 키값에 따라 동작하여 상기 응용소프트웨어에 포함된 전체 객체 중에서 임의의 객체가 포커스되면(S208), 상기 터치스크린 장치는 후킹(hooking) 메커니즘을 이용하여 상기 포커스된 객체의 텍스트 정보를 읽어온다(S210). 이때, 상기 터치스크린 장치는 후킹 메커니즘을 이용하여 현재 실행된 응용소프트웨어의 화면 표시상 '객체 이름'과 포커스된 객체의 종류, 포커스된 객체에 표시된 텍스트 문자 등을 읽어온다.
상기 S210의 수행 후, 상기 터치스크린 장치는 상기 읽어온 객체의 텍스트정보를 텍스트 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환하여 출력한다(S212).
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
이상과 같이 본 발명의 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법은 시각 장애인이 터치스크린 장치를 사용함에 있어서, 터치 스크린에 표시된 객체의 정보와 사전에 규격화된 가상 키보드에 근거하여 객체를 자유롭게 선택 및 실행시킬 필요성이 높은 것에 적합하다.

Claims (7)

  1. 실행중인 응용소프트웨어의 제어를 위한 가상 키보드가 활성화된 상태에서, 상기 가상 키보드의 터치가 감지된 경우, 상기 터치된 가상 키보드의 터치포지션에 대한 위치, 터치 횟수 및 터치 시간 정보에 따른 키값을 생성하여 상기 실행중인 응용소프트웨어에 전달하는 터치 감지부;
    상기 응용소프트웨어가 상기 터치 감지부로부터 전달받은 키값에 따라 동작하여 상기 응용소프트웨어에 포함된 전체 객체 중에서 임의의 객체가 포커스되면, 후킹(hooking) 메커니즘을 이용하여 상기 포커스된 객체의 텍스트 정보를 읽어오는 객체 판단부; 및
    상기 객체 판단부에서 읽어온 객체의 텍스트 정보를 텍스트 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환하여 출력하는 음성 합성 처리부;
    를 포함하는 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치.
  2. 제1항에 있어서,
    상기 가상 키보드는 일정 개수의 터치포지션이 배열된 구조로, 화면에 시각적으로 표시되지 않고 백그라운드로 동작하는 것을 특징으로 하는 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치.
  3. 제1항에 있어서,
    상기 객체는 상기 응용소프트웨어의 구성요소인 것을 특징으로 하는 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치.
  4. 제1항에 있어서,
    상기 객체의 정보는 상기 객체를 텍스트로 표시한 이름, 종류, 상태를 포함하는 것을 특징으로 하는 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치.
  5. 제1항에 있어서,
    상기 터치 감지부는 사용자에 의해 기준 모드를 위한 키값이 할당된 터치포지션의 터치가 감지된 경우, 기준 모드라는 음성 메시지를 출력하도록 상기 음성 합성 처리부로 음성 출력을 요청하면서 기준모드 상태를 유지하고,
    상기 기준 모드 상태에서 다른 터치포지션의 터치가 감지된 경우, 상기 터치된 다른 터치포지션의 키값을 발생하여 상기 응용 소프트웨어에 전달하는 것을 특징으로 하는 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치.
  6. 터치스크린 장치가 시각 장애인의 터치를 이용하여 객체를 조작하는 방법에 있어서,
    (a) 실행중인 응용소프트웨어의 제어를 위한 가상 키보드가 활성화된 상태에서, 상기 가상 키보드의 터치가 감지된 경우, 상기 터치된 가상 키보드의 터치포지션에 대한 위치, 터치 횟수 및 터치 시간 정보에 따른 키값을 생성하여 상기 실행중인 응용소프트웨어에 전달하는 단계;
    (b) 상기 응용소프트웨어가 상기 전달받은 키값에 따라 동작하여 상기 응용소프트웨어에 포함된 전체 객체 중에서 임의의 객체가 포커스되면, 후킹(hooking) 메커니즘을 이용하여 상기 포커스된 객체의 텍스트 정보를 읽어오는 단계; 및
    (c) 상기 읽어온 객체의 텍스트 정보를 텍스트 음성 변환(TTS : Text to Speech) 엔진을 이용하여 음성 데이터로 변환하여 출력하는 단계;
    를 포함하는 터치스크린 장치에서 시각 장애인에 의한 객체 조작 방법.
  7. 제6항에 있어서,
    상기 (a) 단계에서,
    상기 사용자에 의해 기준 모드를 위한 특정의 터치포지션의 터치가 감지된 경우, 기준 모드라는 음성 메시지를 출력하면서 기준모드 상태를 유지하는 단계;
    상기 기준 모드 상태에서 다른 터치포지션의 터치가 감지된 경우, 상기 터치된 다른 터치포지션의 키값을 생성하여 상기 실행중인 응용소프트웨어에 전달하는 단계를 더 포함하는 것을 특징으로 하는 터치스크린 장치에서 시각 장애인에 의한 객체 조작 방법.
PCT/KR2011/008028 2010-11-11 2011-10-26 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법 WO2012064034A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0111844 2010-11-11
KR1020100111844A KR101314262B1 (ko) 2010-11-11 2010-11-11 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법

Publications (1)

Publication Number Publication Date
WO2012064034A1 true WO2012064034A1 (ko) 2012-05-18

Family

ID=46048602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/008028 WO2012064034A1 (ko) 2010-11-11 2011-10-26 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법

Country Status (4)

Country Link
US (1) US20120123781A1 (ko)
JP (1) JP5511085B2 (ko)
KR (1) KR101314262B1 (ko)
WO (1) WO2012064034A1 (ko)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105247461A (zh) * 2014-02-12 2016-01-13 齐科斯欧公司 为触摸屏交互确定俯仰和偏航
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
US10599251B2 (en) 2014-09-11 2020-03-24 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US10642407B2 (en) 2011-10-18 2020-05-05 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US10949029B2 (en) 2013-03-25 2021-03-16 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US11029785B2 (en) 2014-09-24 2021-06-08 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US11175698B2 (en) 2013-03-19 2021-11-16 Qeexo, Co. Methods and systems for processing touch inputs based on touch type and touch intensity
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11262864B2 (en) 2013-03-25 2022-03-01 Qeexo, Co. Method and apparatus for classifying finger touch events
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012088969A (ja) * 2010-10-20 2012-05-10 Sharp Corp 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体
KR20140026027A (ko) * 2012-08-24 2014-03-05 삼성전자주식회사 어플리케이션 실행 방법 및 휴대 단말
KR102007651B1 (ko) * 2012-12-21 2019-08-07 삼성전자주식회사 터치스크린 키보드를 구성하는 방법, 장치 및 이를 수행하는 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체
JP6205568B2 (ja) * 2013-01-16 2017-10-04 株式会社日本デジタル研究所 リモートアクセス制御システム、方法、およびプログラム
KR101509013B1 (ko) * 2013-10-17 2015-04-07 원성준 애플리케이션 처리 단말 장치, 방법 및 기록매체
TWI514238B (zh) * 2013-11-28 2015-12-21 Inventec Corp 閱讀提示訊息的系統及其方法
WO2016108780A1 (en) 2014-12-30 2016-07-07 Turkcell Teknoloji̇ Araştirma Ve Geli̇sti̇rme Anoni̇m Si̇rketi̇ A mobile device for enabling visually-impaired users to make text entry
CN107656933B (zh) 2016-07-25 2022-02-08 中兴通讯股份有限公司 一种语音播报方法及装置
CN109496291A (zh) * 2017-07-03 2019-03-19 深圳市汇顶科技股份有限公司 计算机存储介质、控制终端、电子压力触摸屏的控制方法和装置
CN109992177A (zh) * 2017-12-29 2019-07-09 北京京东尚科信息技术有限公司 电子设备的用户交互方法、系统、电子设备及计算机介质
CN108269460B (zh) * 2018-01-04 2020-05-08 高大山 一种电子屏幕的阅读方法、系统及终端设备
CN108777808B (zh) * 2018-06-04 2021-01-12 深圳Tcl数字技术有限公司 基于显示终端的文本转语音方法、显示终端及存储介质
CN110795175A (zh) * 2018-08-02 2020-02-14 Tcl集团股份有限公司 模拟控制智能终端的方法、装置及智能终端
KR102487810B1 (ko) * 2020-07-08 2023-01-11 숙명여자대학교산학협력단 저시력자를 위한 웹문서 제공방법 및 그 사용자 단말
KR102435206B1 (ko) 2022-03-10 2022-08-31 주식회사 에이티랩 시각장애인을 위한 키오스크 장치 간편 조작 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014636A (ko) * 2000-08-18 2002-02-25 전성희 웹콘텐츠 음성변환정보 서비스 방법
JP2004271748A (ja) * 2003-03-06 2004-09-30 Nec Corp タッチパネル装置
KR100606406B1 (ko) * 2005-03-11 2006-07-28 골든키정보통신 주식회사 시각 장애인용 컴퓨터
JP2007086856A (ja) * 2005-09-20 2007-04-05 Fuji Xerox Co Ltd ユーザインタフェース装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0432918A (ja) * 1990-05-22 1992-02-04 Nec Eng Ltd タッチ式入力装置制御方式
JP2654543B2 (ja) * 1994-09-06 1997-09-17 日本電気株式会社 音響ディスプレイ装置
JPH09146708A (ja) * 1995-11-09 1997-06-06 Internatl Business Mach Corp <Ibm> タッチパネルの駆動方法及びタッチ入力方法
JP2002351600A (ja) * 2001-05-28 2002-12-06 Allied Brains Inc 入力操作支援プログラム
JP3630153B2 (ja) * 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
US7187394B2 (en) * 2002-10-04 2007-03-06 International Business Machines Corporation User friendly selection apparatus based on touch screens for visually impaired people
JP4094002B2 (ja) * 2004-11-10 2008-06-04 京セラミタ株式会社 操作入力装置
US9063647B2 (en) * 2006-05-12 2015-06-23 Microsoft Technology Licensing, Llc Multi-touch uses, gestures, and implementation
US8239201B2 (en) * 2008-09-13 2012-08-07 At&T Intellectual Property I, L.P. System and method for audibly presenting selected text
US8681106B2 (en) * 2009-06-07 2014-03-25 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014636A (ko) * 2000-08-18 2002-02-25 전성희 웹콘텐츠 음성변환정보 서비스 방법
JP2004271748A (ja) * 2003-03-06 2004-09-30 Nec Corp タッチパネル装置
KR100606406B1 (ko) * 2005-03-11 2006-07-28 골든키정보통신 주식회사 시각 장애인용 컴퓨터
JP2007086856A (ja) * 2005-09-20 2007-04-05 Fuji Xerox Co Ltd ユーザインタフェース装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10642407B2 (en) 2011-10-18 2020-05-05 Carnegie Mellon University Method and apparatus for classifying touch events on a touch sensitive surface
US11175698B2 (en) 2013-03-19 2021-11-16 Qeexo, Co. Methods and systems for processing touch inputs based on touch type and touch intensity
US11262864B2 (en) 2013-03-25 2022-03-01 Qeexo, Co. Method and apparatus for classifying finger touch events
US10949029B2 (en) 2013-03-25 2021-03-16 Qeexo, Co. Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers
CN105247461A (zh) * 2014-02-12 2016-01-13 齐科斯欧公司 为触摸屏交互确定俯仰和偏航
US10599251B2 (en) 2014-09-11 2020-03-24 Qeexo, Co. Method and apparatus for differentiating touch screen users based on touch event analysis
US11619983B2 (en) 2014-09-15 2023-04-04 Qeexo, Co. Method and apparatus for resolving touch screen ambiguities
US11029785B2 (en) 2014-09-24 2021-06-08 Qeexo, Co. Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns
US10282024B2 (en) 2014-09-25 2019-05-07 Qeexo, Co. Classifying contacts or associations with a touch sensitive device
US10642404B2 (en) 2015-08-24 2020-05-05 Qeexo, Co. Touch sensitive device with multi-sensor stream synchronized data
US11009989B2 (en) 2018-08-21 2021-05-18 Qeexo, Co. Recognizing and rejecting unintentional touch events associated with a touch sensitive device
US10942603B2 (en) 2019-05-06 2021-03-09 Qeexo, Co. Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device
US11231815B2 (en) 2019-06-28 2022-01-25 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11543922B2 (en) 2019-06-28 2023-01-03 Qeexo, Co. Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing
US11592423B2 (en) 2020-01-29 2023-02-28 Qeexo, Co. Adaptive ultrasonic sensing techniques and systems to mitigate interference

Also Published As

Publication number Publication date
KR20120050549A (ko) 2012-05-21
US20120123781A1 (en) 2012-05-17
JP5511085B2 (ja) 2014-06-04
KR101314262B1 (ko) 2013-10-14
JP2012104092A (ja) 2012-05-31

Similar Documents

Publication Publication Date Title
WO2012064034A1 (ko) 시각 장애인에 의한 객체 조작이 가능한 터치스크린 장치 및 그 장치에서의 객체 조작 방법
US5157384A (en) Advanced user interface
US9891822B2 (en) Input device and method for providing character input interface using a character selection gesture upon an arrangement of a central item and peripheral items
EP1953623B1 (en) Apparatus and method for inputting characters on touch keyboard
KR100478020B1 (ko) 화면표시식키이입력장치
JP5730667B2 (ja) デュアルスクリーン上のユーザジェスチャのための方法及びデュアルスクリーンデバイス
KR101102725B1 (ko) 문자 입력 장치 및 방법
EP2718788A2 (en) Method and apparatus for providing character input interface
CN102224483A (zh) 具有绝对及相对输入模式的触敏显示屏幕
WO2013141464A1 (ko) 터치 기반의 입력제어 방법
JP2013098826A (ja) 電子機器および入力方法
JP2009527041A (ja) コンピューティングシステムにデータを入力するシステム及び方法
CN102902471A (zh) 一种输入界面的切换方法以及装置
KR20220044443A (ko) 버튼에 배정된 특정 그룹 문자 배정 변환 방법
WO2013100727A1 (en) Display apparatus and image representation method using the same
WO2011055998A2 (en) Method and medium for inputting korean characters for touch screen
WO2011105816A2 (ko) ９키 중문 입력 방법
WO2011145788A1 (ko) 시각 장애인을 위한 터치스크린 장치 및 사용자 인터페이스
JP2014119872A (ja) 情報処理装置、情報処理装置の制御方法およびコンピュータプログラム
WO2010016717A2 (ko) 터치스크린 패드를 이용하는 사용자 입력 장치
WO2013042910A1 (ko) 휴대용 단말기에서 문자 입력을 위한 장치 및 방법
JP2012507764A (ja) マルチレベル仮想キーボードを含む通信装置
EP0853271A1 (en) Method of starting function of an information processing unit and co-ordinate reading system
JP2004038407A (ja) 文字入力装置およびその方法
WO2014072734A1 (en) Gesture input method and apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11840177

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11840177

Country of ref document: EP

Kind code of ref document: A1