WO2017003102A1 - 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법 - Google Patents

햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법 Download PDF

Info

Publication number
WO2017003102A1
WO2017003102A1 PCT/KR2016/005848 KR2016005848W WO2017003102A1 WO 2017003102 A1 WO2017003102 A1 WO 2017003102A1 KR 2016005848 W KR2016005848 W KR 2016005848W WO 2017003102 A1 WO2017003102 A1 WO 2017003102A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
touch
unit cell
haptic
touch screen
Prior art date
Application number
PCT/KR2016/005848
Other languages
English (en)
French (fr)
Inventor
박동현
Original Assignee
박동현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박동현 filed Critical 박동현
Priority to US15/739,931 priority Critical patent/US20180373333A1/en
Publication of WO2017003102A1 publication Critical patent/WO2017003102A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/018—Input/output arrangements for oriental characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/004—Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04103—Manufacturing, i.e. details related to manufacturing processes specially suited for touch sensitive devices

Definitions

  • the present invention relates to a text display method for the visually impaired using a haptic pattern, and more particularly, to a touch screen in which a haptic panel that provides a haptic texture to a body element in contact with a touch panel that senses a user's touch position is integrally combined.
  • a haptic panel that provides a haptic texture to a body element in contact with a touch panel that senses a user's touch position is integrally combined.
  • the touch is performed through a combination of haptic patterns sequentially provided in the unit cells.
  • Characters for the visually impaired using a haptic pattern that can recognize the content displayed on the touch screen even when the user scans from any position on the touch screen in any direction by configuring to recognize the character symbols displayed on the screen It is about a display method.
  • Korean Patent No. 1,305,235 which was recently invented by the inventor of the present application, transmits an electrical stimulus to a body element of a user who is touched at a part where a user's touch is made on the touch screen, so that the user touches the touch screen with a finger.
  • a user In the scanning process, a user can read a braille screen through an electrical stimulus transmitted to his or her body element.
  • the user in order for a user to recognize braille displayed on the touch screen, the user must always scan sequentially in one direction starting from a specific position on the touch screen (that is, the first dot space of the first column) to recognize the text through the combination of braille displayed on the touch screen. Since the user can always find a fixed starting position on the touch screen, the touch screen has a fixed start for the visually impaired because the user cannot recognize the touch unlike a physically configured button type. Finding a location is not easy and there is a problem that a visually impaired person does not recognize the text and misreads the text even when the direction of movement of the hand is displaced in the scanning process of the touch screen and is separated from the scan area.
  • an object of the present invention is to detect a user's arbitrary touch position on the touch screen and provide a haptic pattern to a predetermined unit cell area generated around the detected touch position, but the user's touch drag moves.
  • the unit cells are displayed on the touch screen through a combination of haptic patterns sequentially provided in the unit cells. It is configured to recognize a character code, and provides a text display method for the visually impaired using a haptic pattern that can recognize the content displayed on the touch screen even when the user scans from any position on the touch screen in any direction. Is in.
  • the present invention detects a user's touch position on the touch screen, and transmits a haptic pattern to a unit cell region generated in a predetermined size based on the detected touch position.
  • Each unit cell is continuously generated by continuously generating unit cell regions sequentially at predetermined intervals along a trajectory of the touch drag of the user, and providing independent haptic patterns for each generated unit cell region.
  • a user may apply the user's body elements to each of the continuously generated unit cells through a scan of the touch screen through their body elements. Text displayed on the touch screen by recognizing the transmitted haptic pattern It provides a character display method for the visually impaired using a haptic pattern characterized in that the information can be recognized.
  • Character display method for the visually impaired using the haptic pattern according to the present invention even if the user scans in any direction from any position on the touch screen can recognize the content displayed on the touch screen.
  • the user does not need to find a separate scan start position in order to recognize the text displayed on the touch screen, and sequentially generates unit cell areas at regular intervals along the trajectory of the user's touch drag movement. Since independent haptic patterns are provided for each unit cell area, the user can comfortably continuously scan text information regardless of the starting position or the scanning direction on the touch screen, thereby being limited to the limited screen area of the touch screen. The text information can be effectively recognized.
  • FIG. 1 is a diagram illustrating a configuration of a touch screen to which a text display method for the visually impaired is applied using a haptic pattern according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of generating a unit cell area by sensing a touch position of a user according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of sequentially generating unit cell areas along a trajectory of a user's touch drag in one embodiment of the present invention.
  • FIG. 4 is a diagram illustrating embodiments of a haptic texture provided by a unit cell in one embodiment of the present invention.
  • FIG. 5 is a diagram illustrating an example in which independent haptic patterns are provided for each unit cell area generated by sensing a touch position of a user according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of a combination system of a letter symbol for a haptic pattern according to an embodiment of the present invention.
  • FIG. 7 is a view showing an embodiment of a character display method for the visually impaired using a haptic pattern according to an embodiment of the present invention.
  • FIG. 1 is a view showing the configuration of a touch screen to which a text display method for the visually impaired using a haptic pattern according to an embodiment of the present invention
  • Figure 2 is to detect the user's touch position in accordance with an embodiment of the present invention
  • 3 is a diagram illustrating an example of generating a unit cell region
  • FIG. 3 is a diagram illustrating an example of sequentially generating unit cell regions along a trajectory of a user's touch drag movement.
  • the touch screen 100 is provided with a touch panel 110 and a touch panel 110 that detect a touch position of a user while providing a screen.
  • the haptic panel 120 that provides a haptic texture to the body elements of the user who is in contact is integrally configured.
  • the touch panel 110 detects a user's touch position, and may be configured as various types of touch panels 110, such as capacitive type, infrared type, resistive film type, or ultrasonic type. When a body element such as a back contact is detected, the touch position of the user is determined.
  • the haptic panel 120 is provided in close contact with the upper part of the touch panel 110, and when the user's finger is in contact with the surface of the panel and detects it in the touch panel 110, the haptic panel 120 corresponds to the haptic pattern according to the position of the user's touch. It delivers to the finger of the contacted user.
  • the haptic panel 120 may be applied to various types of panels.
  • the haptic panel 120 may be made of conductive electrodes provided with an insulator to generate an electrical signal according to a contact position on the surface of the panel.
  • An electrosensitive panel etc. which provide a magnetic pole pattern are mentioned.
  • the haptic panel of the present invention will be described as an example of the above-described electrosensitive panel.
  • the electrosensitive panel generates an electrical signal according to the contact position on the surface of the panel, thereby providing an electrical stimulation pattern to the body part of the contacted user.
  • the electrical stimulation pattern generated in the electrical sensitive panel is characterized by the voltage, current, By changing parameters such as wavelength, frequency, and waveform, various modifications can be made, and the haptic that a finger feels according to the generated electrostatic waveform is changed to a rough or soft feeling to realize various haptic patterns. .
  • the haptic panel of the present invention is not limited to the above-described electrosensitive panel, and the haptic panel of various methods capable of providing different haptic textures to the body parts of the contacted user can be applied, of course. It can also be applied to the method of implementing the haptic pattern by outputting the vibration according to the recently developed film-type actuator driving.
  • the touch screen 100 of the present invention detects a user's touch position on the touch screen
  • the touch screen 100 provides a haptic pattern to a unit cell area generated based on the detected touch position, and follows a trajectory of the user's touch drag movement.
  • the touch screen 100 By sequentially generating unit cell areas at regular intervals, and providing independent haptic patterns for each of the continuously generated unit cell areas, the user can touch and scan any position on the touch screen to be transmitted to his or her finger.
  • recognizing the haptic pattern it is possible to sequentially recognize the contents recorded on the touch screen.
  • a circular unit cell area having a radius R of a predetermined size is set based on the touched coordinate T as a center point. 122) is formed, and a haptic pattern is provided in the formed unit cell region.
  • FIG. 3 when the user moves by the touch drag method, when the user's touch position leaves the formed first unit cell area, the first unit cell area is destroyed and the user leaves the first unit cell area.
  • a second unit cell region having a radius R of a predetermined size is formed by designating a touch point of as a new coordinate (T2), and using the designated new coordinate (T2) as a center point, and a haptic pattern corresponding to the second unit cell region. This is provided.
  • the unit cells are sequentially generated by sequentially tracking the touch position of the user, and the process of transmitting the independent haptic pattern to the user's finger for each unit cell region is repeated, thereby allowing the user to independently of the scan direction.
  • the haptic pattern transmitted to the finger may be sequentially recognized to recognize the content displayed on the touch screen.
  • each individual unit cell region 122 may be formed with a unit cell division region 124 having a predetermined interval d along the outer circumference.
  • the unit cell division regions 124 may be provided to transmit the specific electric stimulation patterns 124a and 124b such as a scratch type so as to distinguish each unit cell region 122 more clearly.
  • the size of the unit cell area 122 formed by using the touched coordinate T as a center point is preferably within a radius within which a thumb or index finger can move left or right in a user's hand. Accordingly, the user can recognize the haptic pattern transmitted to his or her finger only by continuously moving the thumb or index finger up or down or up and down to recognize the content displayed on the touch screen. Text information can be scanned continuously.
  • FIG. 4 is a diagram illustrating embodiments of a haptic texture provided by a unit cell according to an embodiment of the present invention.
  • the cells present in the contacted position of the user's finger generate an electrical signal to provide electrical stimulation to the contacted user's finger. Bumpy, stripe, grainy, smooth, rough and no haptic feeling depending on variations in current, wavelength and frequency, waveforms, etc. It is possible to provide different haptic textures, such as for each cell. Accordingly, when the user scans the touch screen with his or her finger, the user can recognize the independent haptic texture for each unit cell through the touch.
  • the present invention provides a different haptic texture through each independent electric stimulation pattern for each unit cell region, thereby expressing a single letter symbol through a pair of unit cells formed in succession, and a combination thereof.
  • FIG. 5 is a diagram for one example of providing an independent haptic pattern for each unit cell region generated by sensing a touch position of a user according to one embodiment of the present invention.
  • a unit cell region having a preset size is formed by using the touched coordinate as a center point, and a haptic pattern corresponding to the formed unit cell region is provided.
  • the user's touch position is out of the formed unit cell area
  • the user's touch point out of the unit cell area is designated as new coordinates
  • the preset coordinate is set as the center point.
  • a new unit cell region having a size is formed, and a new haptic pattern corresponding to the formed new unit cell region is transmitted.
  • a unit cell region having a preset size is formed with the touched coordinate as a center point, and the unit cell region is “bumped”. Electrical stimulus is transmitted to the user's finger. Subsequently, when the user moves by the touch drag method, when the user's touch position leaves the formed unit cell area, the first formed unit cell area is destroyed, and the user's touch point outside the unit cell area is designated as new coordinates.
  • the second unit cell area having a predetermined size is formed with the new coordinate as the center point, and an electrical stimulus of 'softness' is transmitted to the user's finger in the formed unit cell area.
  • the user sequentially recognizes each unit cell that is continuously formed through touch drag, so that the user may continuously recognize a pair of unit cells composed of 'bumpy' and 'soft' displayed on the touch screen.
  • the user can read a Hangul alphabet of ' ⁇ ' through the scanning process.
  • FIG. 4 shows an example of a text combining system for a haptic pattern screen expressing Korean alphabets and numbers using a combination of 49 pairs of unit cells.
  • FIG. 6 is a diagram illustrating an example of a combination system of a letter symbol for a haptic pattern according to an embodiment of the present invention
  • FIG. 7 is a view illustrating a character display method for the visually impaired using a haptic pattern according to an embodiment of the present invention. The figure shows an example.
  • the touch screen forms a unit cell area having a predetermined size around the touch point of the user, and the formed unit cell area transmits a 'stripe' haptic pattern to the touched user's finger.
  • the touch drag method when the user moves by the touch drag method, when the user's touch position is out of the formed first unit cell area, a second unit cell area having a predetermined size is formed around the touch point of the user who is out of the first unit cell area. The 'null' haptic pattern is transmitted to the touched user's finger in the formed second unit cell area.
  • the first unit cell region and the second unit cell region are scratch-type electric stimulation patterns 124a through the unit cell division region having a constant interval d along the periphery of the unit cell region as shown in FIG. As 124b) is transmitted and provided to distinguish each unit cell area, even if the same haptic pattern is continuously transmitted, the user feels an independent haptic texture in each unit cell, thereby recognizing the Hangul alphabet of ' ⁇ '. You can do it.
  • the user sequentially scans unit cells that are continuously generated at regular intervals by dragging the touch, and reads the text 'us' displayed on the touch screen through an electric act delivered to a finger touched by each unit cell. You can do it.
  • the present invention provides a unit cell area at regular intervals along the movement trajectory of the user's touch drag regardless of the movement direction of the user's arbitrary touch start point. Sequentially generated and provide independent haptic patterns for each unit cell area, so that the user can recognize the haptic pattern transmitted to his or her finger even when the user touches any position on the touch screen and drags it in the desired direction to scan it.
  • the contents recorded on the touch screen can be sequentially recognized.
  • a pair of unit cells which are continuously generated through seven haptic textures, represent seven different haptic textures, respectively.
  • numbers but the present invention is not limited thereto, and more text combinations, such as English alphabets, numbers, and special symbols, are possible, including more various haptic patterns.
  • FIG. 6 described above is only an embodiment of a text display method for the visually impaired person using the haptic pattern of the present invention, and the present invention is not limited thereto. If only the haptic pattern electronic file provider and the user can make an appointment with each other, Of course, a variety of haptic pattern system can be provided.
  • the text information of the present invention is sequentially provided according to the moving distance irrespective of the user's finger movement direction, so that the text information can be continuously scanned unless the user releases the user's touch on the touch screen. . That is, when a user touches a finger at an arbitrary position on the touch screen and moves the finger in a desired direction without lifting the touch screen, a haptic pattern expressing a letter symbol is transferred according to the movement of the finger. Recognizes the haptic pattern transmitted to his finger can sequentially recognize the contents recorded on the touch screen.
  • the user can more conveniently recognize the content displayed on the touch screen through a natural operation such as reciprocating his / her finger left and right touching the touch screen on the touch screen.
  • the text information may be a Hangul sentence, etc.
  • the user may recognize each Hangul alphabet through a plurality of haptic patterns that are continuously provided, and may recognize a word and a sentence through a combination thereof.
  • the text information provision criteria of the user are provided in word units.
  • the unit cell area that delivers the haptic pattern is destroyed, and when the user touches again, the user's touch position is centered again. It generates a unit cell area and delivers the haptic pattern.
  • the text information provided when the user touches again returns to the first letter of the word that was being scanned before the user releases the touch.
  • the corresponding haptic pattern is sequentially provided again.
  • the haptic pattern corresponding to the first letter of 'us' again when the user touches again
  • the haptic pattern corresponding to the first letter of the 'home' is provided again sequentially. Accordingly, even when the user releases the touch during the scan, the user can accurately recognize the text information that was being scanned when the user touches again.
  • the present invention provides a word unit, sentence unit and / or paragraph unit of the text information through a separate key button and / or the user's gesture recognition so that the user can more effectively control the provision of the text information that the user scans It may also provide a move function.
  • a key button for providing a separate haptic texture on a fixed side of the touch screen, or provided with a separate key button unit on the outside of the touch screen, words, sentences, and / Alternatively, paragraph unit movement can be provided.
  • the text information unit can be moved and two fingers are provided. In case of moving up and down by touching the touch screen, it is possible to provide a function of moving text information through gesture recognition of the user on the touch screen, such as providing movement of a sentence unit.
  • the present invention enables the user to recognize the text displayed on the touch screen even when the user scans from any position on the touch screen in any direction, so that the user recognizes the text displayed on the touch screen. There is no need to find a separate scan start position to do this.
  • the user may change the starting position or the scan direction on the touch screen. Since text information can be continuously scanned comfortably without being bound, it is possible to effectively recognize text information without being limited to the limited screen area of the touch screen.
  • Character display method for the visually impaired using the haptic pattern according to the present invention as the user can recognize the content displayed on the touch screen even when the user scans in any direction from any position on the touch screen, the user touch It is not necessary to find a separate scan start position in order to recognize the text displayed on the screen, and continuously generates unit cell areas at regular intervals along the trajectory of the user's touch drag movement.
  • the in-haptic pattern is provided, the user can comfortably continuously scan the text information on the touch screen regardless of the starting position or the scanning direction, thereby effectively detecting the text information without being limited to the limited screen area of the touch screen. It becomes possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 터치스크린 상에서 사용자의 임의의 터치위치를 감지하여, 감지된 터치위치를 중심으로 생성되는 소정의 단위셀 영역에 햅틱패턴을 제공하되, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공하도록 구성함으로써, 상기 단위셀들에서 순차적으로 제공되는 햅틱패턴의 조합을 통해 터치스크린에 디스플레이되는 문자기호를 인식할 수 있도록 구성하여, 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법에 관한 것이다.

Description

햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법
본 발명은 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법에 관한 것으로서, 더욱 상세하게는 사용자의 터치 위치를 감지하는 터치패널과 접촉된 신체요소에 햅틱질감을 제공하는 햅틱패널이 일체로 결합된 터치스크린을 이용하여, 상기 햅틱패널에서 제공하는 서로 다른 햅틱질감의 조합을 통해 다양한 문자기호를 표현할 수 있도록 구성함에 있어서, 상기 터치스크린 상에서 사용자의 임의의 터치위치를 감지하여, 감지된 터치위치를 중심으로 생성되는 소정의 단위셀 영역에 햅틱패턴을 제공하되, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공하도록 구성함으로써, 상기 단위셀들에서 순차적으로 제공되는 햅틱패턴의 조합을 통해 터치스크린에 디스플레이되는 문자기호를 인식할 수 있도록 구성하여, 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법에 관한 것이다.
최근에는 컴퓨터, 이동통신 단말기, PDA, PMP 등의 각종 전자 및 휴대 전자 장치의 보급도가 증대되고 있다. 이러한 전자 장치들의 사용은 디지털 정보에의 접근 여부를 결정함으로써 새로운 형태의 디지털 디바이드(digital divide)를 야기하고 있는데, 기존의 통상적인 전자 장치들은 신체적인 어려움을 수반하지 않은 비장애인을 기준으로 설계되기 때문에 장애인들의 접근성이 어려웠다.
이에 따라, 장애인들의 사용을 가능하게 하는 각종 장치들이 개발되고 있는데, 그 중에서도 시각 장애인들에게 정보를 촉각으로써 제공하기 위한 다양한 출력장치가 개발 상용화되고 있다.
종래의 점자 디스플레이장치는 점자핀의 인출과 인입을 위한 수직운동에 필요한 구동력을 제공하는 장치의 개발이 중요한데, 한국등록특허 제1,181,811호에는 점자셀 상에 인출된 점자 출력핀을 손가락 밑면의 촉각으로 감지하여 점자(braille)를 판독함으로써, 점자 출력핀의 인출과 인입 구동에 필요한 수직 운동을 수행하는 액추에이터의 구현 방식의 점자 디스플레이가 개시되어 있다.
그러나, 상기와 같은 액추에이터를 사용하는 경우 점자 출력요소로서 솔레이노이드를 소형 집적화시키는데 어려움이 수반되어 점자 디스플레이 장치를 소형화하기 어려웠고, 충분한 발생력을 얻기 위해서는 고전압이 요구되며, 응답속도가 빠르지 않을 뿐만 아니라 불규칙적이고, 내구성이 좋지 않다는 문제점이 있었다.
이러한 문제점을 해결하기 위하여 본 출원의 발명자가 최근 발명한 한국등록특허 제1,305,235는 터치스크린 상에서 사용자의 터치가 이루어지는 부분에서 접촉된 사용자의 신체요소에 전기자극을 전달하여, 사용자가 손가락으로 터치스크린을 스캐닝하는 과정에서 사용자가 자신의 신체요소에 전달되는 전기자극을 통해 점자화면을 판독할 수 있는 기술을 개시하고 있다.
그러나, 상기 기술은 사용자가 하나의 점자를 인식하기 위해서는 각각의 점칸에 구비된 6개의 세부영역(점선으로 구획된 부분)을 U자 형태로 순차적으로 스캔해야하기 때문에, 점자 판독 속도가 다소 느리게 되며, 하나의 점자자모를 표시하기 위해 6개로 각각 구분된 인쇄영역이 필요하게 되어, 한정된 화면 영역에서 동시에 제공할 수 있는 점자의 수에 상당한 제한을 받는다는 단점이 있다.
또한, 사용자가 터치스크린상에 표시된 점자를 인식하기 위해서는 항상 터치스크린 상의 특정 위치(즉, 첫번째 열의 첫번째 점칸)에서 시작하여 일방향으로 순차적으로 스캔해야만 터치스크린상에 표시된 점자들의 조합을 통해 텍스트를 인지할 수 있기 때문에, 사용자는 항상 터치스크린 상의 고정된 시작위치를 찾아야만 하는 불편함이 있으며, 터치스크린은 물리적으로 구성된 버튼형식과 달리 사용자가 터치감을 인식할 수 없기 때문에, 시각장애인에게는 고정된 시작위치를 찾는 것마저 용이하지 않고, 터치스크린의 스캔과정에서 손의 이동방향이 어긋나 스캔영역에서 이탈되어도 시각장애인이 이를 인지하지 못하고 텍스트를 오독하는 상황이 자주 발생되는 문제점이 있었다.
본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것이다. 즉, 본 발명의 목적은, 터치스크린 상에서 사용자의 임의의 터치위치를 감지하여, 감지된 터치위치를 중심으로 생성되는 소정의 단위셀 영역에 햅틱패턴을 제공하되, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공하도록 구성함으로써, 상기 단위셀들에서 순차적으로 제공되는 햅틱패턴의 조합을 통해 터치스크린에 디스플레이되는 문자기호를 인식할 수 있도록 구성하여, 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 기술적 사상으로서 본 발명은, 상기 터치스크린 상에서 사용자의 터치위치를 감지하여, 감지된 터치위치를 중심으로 미리 설정된 일정크기로 생성되는 단위셀 영역에 햅틱패턴을 전달하고, 사용자의 터치 드래그가 이동하는 궤적을 따라 미리 설정된 일정 간격으로 단위셀 영역을 순차적으로 연속 생성하여, 생성된 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공하도록 구성하여, 상기 연속적으로 생성되는 각각의 단위셀 영역에서 순차적으로 제공되는 햅틱패턴의 조합을 통해 텍스트를 구성하는 문자기호를 표현함으로써, 사용자가 자신의 신체요소를 통한 터치스크린의 스캔을 통해 상기 연속적으로 생성되는 단위셀별로 자신의 신체 요소에 전달되는 햅틱패턴을 인지함으로써 터치스크린에 디스플레이되는 텍스트 정보를 인식할 수 있는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법을 제공한다.
본 발명에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법은, 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있게 된다 .
이에 따라, 사용자는 터치스크린상에 디스플레이되는 텍스트를 인식하기 위하여 별도의 스캔 시작위치를 찾을 필요가 없으며, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴이 제공됨에 따라, 사용자가 터치스크린상에서 시작위치나 스캔방향에 구애됨 없이 편안하게 텍스트 정보를 연속적으로 스캔할 수 있기 때문에 터치스크린의 한정된 화면 영역에 제한받지 않고 텍스트 정보를 효과적으로 인식할 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법이 적용된 터치스크린의 구성을 보여주는 도면이다.
도 2는 본 발명의 일실시예에 따라 사용자의 터치위치를 감지하여 단위셀 영역을 생성하는 예를 나타낸 도면이다.
도 3은 본 발명의 일실시예에서 사용자의 터치 드래그가 이동하는 궤적을 따라 단위셀 영역을 순차적으로 연속하여 생성하는 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에서 단위셀에서 제공하는 햅틱 질감의 실시예들을 보여주는 도면이다.
도 5는 본 발명의 일실시예에 따른 사용자의 터치위치를 감지하여 생성되는 단위셀 영역마다 각각 독립적인 햅틱패턴이 제공되는 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 햅틱패턴에 대한 문자기호 조합 체계의 한 예를 보여주는 도면이다.
도 7은 본 발명의 일실시예에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법의 실시예를 보여주는 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법이 적용된 터치스크린의 구성을 보여주는 도면이고, 도 2는 본 발명의 일실시예에 따라 사용자의 터치위치를 감지하여 단위셀 영역을 생성하는 예를 나타낸 도면이며, 도 3은 본 발명의 일실시예에서 사용자의 터치 드래그가 이동하는 궤적을 따라 단위셀 영역을 순차적으로 연속하여 생성하는 예를 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 터치스크린(100)은 화면을 제공하는 동시에 사용자의 접촉 위치를 감지하는 터치패널(110)과, 터치패널(110)의 상부에 구비되어 접촉된 사용자의 신체요소에 햅틱질감을 제공하는 햅틱패널(120)이 일체로 구성된다.
터치패널(110)은 사용자의 터치위치를 감지하는 역할을 수행하는데, 정전용량 방식, 적외선 방식, 저항막 방식 또는 초음파 방식 등의 다양한 방식의 터치패널(110)로 구성될 수 있으며, 사용자의 손가락 등의 신체요소가 접촉되면, 이를 감지하여 사용자의 접촉 위치를 판별하게 된다.
햅틱패널(120)은 터치패널(110) 상부에 밀착 구비되며, 패널 표면에 사용자의 손가락이 접촉되어 터치패널(110)에서 이를 감지하면 사용자의 터치가 이루어지는 부분의 위치에 따라 그에 해당하는 햅틱패턴을 접촉된 사용자의 손가락에 전달하는 역할을 수행한다.
이와 같은 햅틱패널(120)은 다양한 방식의 패널이 적용될 수 있으며, 예로써 절연체가 구비된 전도성 전극들로 이루어져 패널 표면에서의 접촉 위치에 따라 전기신호를 발생시킴으로써, 접촉된 사용자의 신체 부위에 전기자극 패턴을 제공하는 전기감응 패널 등을 들 수 있다.
이하의 실시예에서는 본 발명의 햅틱패널을 상술한 전기감응 패널로 예를 들어 설명하기로 한다. 전기감응 패널은 패널 표면에서의 접촉 위치에 따라 전기신호를 발생시킴으로써, 접촉된 사용자의 신체 부위에 전기자극 패턴을 제공하는데, 이러한 전기감응 패널에서 발생되는 전기자극 패턴은 전기신호의 전압, 전류, 파장 및 주파수, 파형 등의 파라메터를 변형시킴에 따라 다양하게 변형이 가능하며, 발생된 정전기 파형에 따라 손가락이 느끼는 촉감(haptic)은 거친 느낌, 부드러운 느낌 등으로 달라져 다양한 햅틱패턴을 구현할 수 있게 된다. 다만, 본 발명의 햅틱패널이 상술한 전기감응 패널로 한정되는 것은 아니며, 접촉된 사용자의 신체부위에 서로 다른 햅틱질감을 제공할 수 있는 다양한 방식의 햅틱패널이 적용될 수 있음은 물론이며, 그 예로 최근 개발되고 있는 필름형 액츄에이터 구동에 따른 진동을 출력하여 햅틱패턴을 구현하는 방식 등에도 적용할 수 있다.
본 발명의 터치스크린(100)은 터치스크린 상에서 사용자의 터치위치를 감지할 경우, 감지된 터치위치를 중심으로 생성되는 단위셀 영역에 햅틱패턴을 제공하며, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속하여 생성하고, 이렇게 연속적으로 생성된 단위셀 영역마다 각각 독립된 햅틱패턴을 제공함으로써, 사용자가 터치스크린의 어느 위치를 터치하여 스캐닝하여도 자신의 손가락에 전해지는 햅틱패턴을 인지하여 터치스크린에 기록된 내용을 순차적으로 인식할 수 있게 된다.
즉, 도 2에 도시된 바와 같이, 사용자가 터치스크린 상의 임의의 위치를 터치할 경우, 터치된 좌표(T)를 중심점으로하여 미리 설정된 일정 크기의 반지름(R)을 갖는 원형의 단위셀 영역(122)이 형성되며, 형성된 단위셀 영역에 햅틱 패턴이 제공된다. 이어서, 도 3에 도시된 바와 같이, 사용자가 터치 드래그 방식으로 이동함으로써, 사용자의 터치위치가 상기 형성된 첫번째 단위셀 영역을 벗어나게 되는 경우, 첫번째 단위셀 영역은 소멸되며, 첫번째 단위셀 영역을 벗어난 사용자의 터치 지점을 새로운 좌표(T2)로 지정하고, 지정된 새로운 좌표(T2)를 중심점으로 하여 다시 일정 크기의 반지름(R)을 갖는 두번째 단위셀 영역이 형성되며, 두번째 단위셀 영역에 해당하는 햅틱 패턴이 제공된다.
이와 같이, 사용자의 터치위치를 추적하여 단위셀이 순차적으로 연속하여 생성되고, 단위셀 영역마다 각각 독립적인 햅틱패턴이 사용자의 손가락에 전해지는 과정이 반복됨으로써, 사용자는 스캔방향에 상관없이 자신의 손가락에 전해지는 햅틱패턴을 순차적으로 인지하여 상기 터치스크린에 디스플레이되는 내용을 인식할 수 있게 된다.
이때, 사용자의 햅틱 패턴 인식을 보다 정확하게 지원하기 위해, 각각의 개별 단위셀 영역(122)에는 외곽둘레를 따라 일정한 간격(d)을 갖는 단위셀 구분 영역(124)이 형성될 수 있으며, 이렇게 형성되는 단위셀 구분 영역(124)에는 스크래치 타입 등의 사전 설정된 특정 전기자극 패턴(124a, 124b)을 전달함으로써 각각의 단위셀 영역(122)을 보다 명확하게 구분할 수 있도록 제공할 수도 있다.
또한, 터치된 좌표(T)를 중심점으로 하여 형성되는 단위셀 영역(122)의 크기는 사용자의 손에서 엄지손가락 또는 검지손가락이 좌우 또는 상하 이동할 수 있는 반경 이내인 것이 바람직하다. 이에 따라, 사용자가 엄지손가락 또는 검지손가락의 연속적인 좌우 또는 상하 이동만으로도 자신의 손가락에 전해지는 햅틱패턴을 인지하여 터치스크린에 디스플레이되는 내용을 인식할 수 있게 되며, 매우 협소한 크기의 터치스크린에서도 텍스트 정보를 연속해서 스캔할 수 있게 된다.
도 4는 본 발명의 일실시예에 따라 단위셀에서 제공하는 햅틱 질감의 실시예들을 보여주는 도면이다.
도 4에 도시된 바와 같이, 터치스크린에 사용자 손가락이 접촉되면, 사용자의 손가락이 접촉된 위치에 존재하는 셀들은 전기신호를 발생시켜 접촉된 사용자의 손가락에 전기자극을 제공하는데, 전기신호의 전압, 전류, 파장 및 주파수, 파형 등의 변형에 따라 울퉁불퉁(bumpy), 결(stripe), 오돌도돌(grainy), 부드러움(smooth), 거친(rough) 촉감 및 아무런 촉감이 느껴지지 않는 햅틱없음(null) 등의 서로 다른 햅틱 질감을 각각의 셀별로 제공할 수 있게 된다. 이에 따라, 사용자가 자신의 손가락으로 터치스크린을 스캔할 경우, 촉감을 통해 각각의 단위셀별로 독립된 햅틱 질감을 인식할 수 있게 된다.
특히, 본 발명은 이와 같은 각각의 단위셀 영역마다 각각 독립적인 전기자극 패턴을 통해 서로 다른 햅틱 질감을 제공함으로써, 연속되어 형성되는 한쌍의 단위셀을 통해 하나의 문자기호를 표현하여, 이들의 조합으로 다양한 텍스트 정보를 제공한다. 이하의 본 발명의 실시예에서는 상기 도 4에 도시된 총 7개의 햅틱 질감을 이용하여 시각 장애인용 문자 표시 방법을 설명하기로 한다.
도 5는 본 발명의 일실시예에서 사용자의 터치위치를 감지하여 생성되는 단위셀 영역마다 각각 독립적인 햅틱패턴이 제공되는 예를 나타낸 도면이다.
먼저 사용자가 터치스크린 상의 임의의 위치를 터치할 경우, 터치된 좌표를 중심점으로하여 미리 설정된 크기를 갖는 단위셀 영역이 형성되며, 형성된 단위셀 영역에 해당하는 햅틱 패턴이 제공된다. 이어서, 사용자가 터치 드래그 방식으로 이동함으로써, 사용자의 터치위치가 상기 형성된 단위셀 영역을 벗어나게 되는 경우, 단위셀 영역을 벗어난 사용자의 터치 지점을 새로운 좌표로 지정하고, 새로운 좌표를 중심점으로 하여 미리 설정된 크기를 갖는 새로운 단위셀 영역이 형성되며, 형성된 새로운 단위셀 영역에 해당하는 새로운 햅틱 패턴이 전달된다.
즉, 사용자의 터치 드래그에 의해 연속적으로 형성되는 두개의 단위셀 영역을 통해, 각각의 단위셀에서 각각 독립적인 전기자극 패턴을 통한 서로 다른 햅틱 패턴을 제공할 수 있도록 구성함으로써, 상기 연속적으로 형성되는 두개의 단위셀에서 제공되는 다양한 햅틱 질감의 조합을 통해, 한쌍의 단위셀에서 하나의 한글자모, 알파벳, 숫자 또는 특수문자 등의 다양한 문자기호를 표현한다.
예를 들어, 도 5에 도시된 바와 같이 사용자가 터치스크린 상의 임의의 위치를 터치할 경우, 터치된 좌표를 중심점으로 하여 미리 설정된 크기를 갖는 단위셀 영역이 형성되며, 형성된 단위셀 영역에 '울퉁불퉁'이라는 전기자극이 사용자의 손가락에 전달된다. 이어서, 사용자가 터치 드래그 방식으로 이동함으로써, 사용자의 터치 위치가 상기 형성된 단위셀 영역을 벗어나게 되는 경우, 먼저 형성된 단위셀 영역은 소멸되고, 단위셀 영역을 벗어난 사용자의 터치지점을 새로운 좌표로 지정하며, 새로운 좌표를 중심점으로 하여 미리 설정된 크기를 갖는 두번째 단위셀 영역이 형성되어, 형성된 단위셀 영역에 '부드러움'이라는 전기자극이 사용자의 손가락에 전달된다.
이에 따라, 사용자가 터치 드래그를 통해 연속적으로 형성되는 각각의 단위셀을 순차적으로 인지함으로써, 사용자는 접촉한 터치스크린에 디스플레이되는 '울퉁불퉁'과 '부드러움'으로 구성된 한쌍의 단위셀을 연속하여 인식할 수 있게 되며, 상기 '울퉁불퉁'과 '부드러움'으로 구성된 한쌍의 단위셀이 'ㅁ'을 의미한다고 미리 약속된 경우, 사용자는 상기 스캔과정을 통해 'ㅁ'이라는 한글자모를 판독할 수 있게 된다.
이와 같이, 연속되는 한 쌍의 단위셀을 통해 하나의 한글자모, 알파벳, 숫자 또는 특수문자 등의 문자기호를 표현할 수 있게 됨으로써, 이들의 조합으로 햅틱 화면에 대한 다양한 텍스트 조합 체계를 생성할 수 있게 된다.
예를 들어, 앞서 도시된 도 4와 같이 아무런 촉감이 느껴지지 않는 햅틱없음(null)은 0, 울퉁불퉁(bumpy)한 촉감은 1, 결(stripe)이 있는 촉감은 2, 오돌도돌(grainy)한 촉감은 3, 부드러운(smooth) 촉감은 4, 거친(rough) 촉감은 5, 격자(grid)형태의 촉감은 6으로 표시하였을 경우, 각각의 단위셀이 7개씩 서로 다른 질감을 표현함으로써, 한쌍의 단위셀을 통해 7*7=49개의 문자셀을 조합할 수 있게 된다. 도 6은 이와 같이, 조합된 49개 쌍의 단위셀 조합을 이용하여 한글자모 및 숫자를 표현한 햅틱 패턴 화면에 대한 텍스트 조합 체계의 한 예를 보여주고 있다.
도 6은 본 발명의 일실시예에 따른 햅틱패턴에 대한 문자기호 조합 체계의 한 예를 보여주는 도면이며, 도 7은 본 발명의 일실시예에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법의 실시예를 보여주는 도면이다.
상기 도시된 도 6에 따라 도 7의 (a)와 같이, 터치스크린에 '우리'라는 텍스트가 디스플레이 되었다고 가정하는 경우, 사용자는 터치스크린 상의 임의의 지점을 터치하고, 자신이 원하는 방향으로 진행하면서 순차적으로 스캔하게 된다. 이때, 터치스크린은 사용자의 터치지점을 중심으로 미리 설정된 크기를 갖는 단위셀 영역을 형성하며, 형성된 단위셀 영역에는 '결(stripe)' 햅틱 패턴을 접촉된 사용자의 손가락에 전달하게 된다. 이어서, 사용자가 터치 드래그 방식으로 이동함으로써, 사용자의 터치 위치가 상기 형성된 첫번째 단위셀 영역을 벗어나게 되는 경우, 첫번째 단위셀 영역을 벗어난 사용자의 터치지점을 중심으로 일정크기를 갖는 두번째 단위셀 영역을 형성하며, 형성된 두번째 단위셀 영역에는 '햅틱없음(null)' 햅틱 패턴이 접촉된 사용자의 손가락에 전달된다.
이때, 첫번째 단위셀 영역과 두번째 단위셀 영역은 도 7의 (b)와 같이 단위셀 영역의 둘레를 따라 일정한 간격(d)을 갖는 단위셀 구분 영역을 통해, 스크래치 타입의 전기자극 패턴(124a, 124b)이 전달되어 각각의 단위셀 영역을 구분할 수 있도록 제공됨에 따라, 동일한 햅틱 패턴이 연속적으로 전달되어도 사용자는 각각의 단위셀에서 독립된 햅틱질감을 각각 느끼게 되며, 이를 통해 'ㅇ'이라는 한글자모를 인식할 수 있게 된다.
이와 같이, 사용자는 터치 드래그를 통해 일정 간격마다 연속적으로 생성되는 단위셀들을 순차적으로 스캔함으로써 각각의 단위셀별로 접촉된 손가락에 전달받은 전기작극을 통해 터치스크린에 디스플레이되는 '우리'라는 텍스트를 판독할 수 있게 된다.
특히, 본 발명은 도 7의 (c) 또는 (d)에 도시된 바와 같이, 사용자의 임의의 터치 시작점을 중심으로 이동방향에 상관없이 사용자의 터치 드래그의 이동 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공함으로써, 사용자가 터치스크린의 어느 위치를 터치하여 어느 쪽이든 원하는 방향으로 드래그하여 스캐닝하여도 자신의 손가락에 전해지는 햅틱패턴을 인지하여 터치스크린에 기록된 내용을 순차적으로 인식할 수 있게 된다.
상술한 도 6에 도시된 본 발명의 실시예에서는 7가지의 햅틱 질감을 통해 연속하여 생성되는 한 쌍의 단위셀이 각각 7개씩 다른 햅틱 질감을 표현함으로써, 총 49개의 서로 다른 조합을 통해 한글 자모 및 숫자를 표현하였으나, 본 발명이 이에 한정되는 것은 아니며, 좀 더 다양한 햅틱 패턴을 포함하여 영어 알파벳이나, 숫자, 특수기호 등 더 많은 텍스트 조합이 가능함은 물론이다.
또한, 상술한 도 6은 본 발명의 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법의 실시예일 뿐, 본 발명은 이에 한정되는 것은 아니며, 햅틱 패턴 전자파일 제공자와 사용자 서로간의 약속만 이루어질 수 있다면, 여타의 다양한 햅틱 패턴체계가 제공될 수 있음은 물론이다.
한편, 본 발명의 텍스트 정보는 사용자의 손가락 이동방향과 상관없이 이동거리에 따라 순차적으로 연속하여 제공됨으로써, 사용자가 터치스크린 상에서 사용자의 터치를 해제하지 않는 이상 텍스트 정보를 계속해서 스캔할 수 있게 된다. 즉, 사용자가 터치스크린의 임의의 위치에 손가락을 접촉하고 터치스크린에 떼지 않은 상태로 어느쪽이든 원하는 방향으로 드래그하며 이동하게 되면, 손가락의 이동에 따라 문자기호를 표현하는 햅틱패턴이 전달되고, 사용자는 자신의 손가락에 전해지는 햅틱패턴을 인지하여 터치스크린에 기록된 내용을 순차적으로 인식할 수 있게 된다.
즉, 사용자는 터치스크린 상에서 터치스크린에 접촉된 자신의 손가락을 좌·우로 왕복하는 등의 자연스러운 동작을 통해 터치스크린 상에 디스플레이되는 내용을 보다 편리하게 인식할 수 있게 된다.
또한, 이러한 텍스트 정보는 한글 문장 등이 될 수 있는데, 사용자는 결국 연속적으로 제공되는 다수의 햅틱패턴을 통해 각각의 한글자모를 인지하게 되고, 이들의 조합을 통해 어절과 문장을 인지할 수 있게 된다. 즉, 어절의 첫 한글자모에 해당하는 햅틱패턴부터 순차적으로 인지해야만 하나의 어절을 조합할 수 있게 되고, 이를 통해 다수의 어절로 조합된 문장을 인지할 수 있게 된다.
이에 따라, 본 실시예에서는 사용자의 텍스트 정보 제공 기준을 어절단위로 구분하여 제공하고 있다. 다시 말해, 본 실시예에서는 사용자가 텍스트의 스캔 도중에 터치스크린상에서 사용자의 터치를 해제하게 되면 햅틱패턴을 전달하는 단위셀 영역은 소멸되고, 사용자가 재터치를 하게 되면 다시 사용자의 터치위치를 중심으로 단위셀 영역을 생성하여 햅틱패턴을 전달하도록 구성되고 있으며, 이때 사용자의 재터치시에 제공되는 텍스트 정보는 사용자가 터치 해제 이전에 스캔중이던 어절의 첫 글자로 되돌아가, 첫 글자의 첫 문자기호에 해당하는 햅틱패턴부터 다시 순차적으로 제공하게 된다.
즉, 사용자가 '우리 집에 초대하겠습니다'라는 문장을 스캔한다고 가정할 경우, '우리'를 스캔하는 도중에 터치를 해제할 경우에는 사용자의 재터치시 다시 '우리'의 첫자모에 해당하는 햅틱패턴부터 다시 순차적으로 제공하며, '집에'를 스캔하는 도중에 터치를 해제할 경우에는 사용자의 재터치시 다시 '집에'의 첫자모에 해당하는 햅틱패턴부터 다시 순차적으로 제공한다. 이에 따라, 사용자는 스캔 도중에 터치를 해제하는 경우에도, 재터치시 자신이 스캔중이던 텍스트 정보를 이어서 정확하게 인지할 수 있게 된다.
더불어, 본 발명은 사용자가 자신이 스캔하는 텍스트 정보의 제공을 보다 효과적으로 제어할 수 있도록, 별도의 키버튼 및/또는 사용자의 제스처 인식을 통해 텍스트 정보의 어절 단위, 문장 단위 및/또는 문단 단위의 이동 기능을 제공할 수도 있다. 예를 들어, 터치스크린의 고정된 일측에 별도의 햅틱질감을 제공하는 키버튼을 구비하거나, 또는 터치스크린의 외곽에 별도의 키버튼부를 구비하여, 사용자가 스캔하는 텍스트 정보의 어절, 문장 및/또는 문단 단위의 이동이 가능하도록 제공할 수 있으며, 이외에도 사용자가 터치스크린을 짧게 두번 터치한 후 그대로 손을 떼지않고 좌우로 이동할 경우에는 텍스트 정보의 어절단위의 이동이 가능하도록 제공하고, 두개의 손가락을 터치스크린에 접촉시켜 상하로 이동할 경우에는 문장단위의 이동이 가능하도록 제공하는 등과 같이, 터치스크린 상에서의 사용자의 제스처 인식을 통한 텍스트 정보의 이동 기능을 제공할 수도 있음은 물론이다.
상술한 바와 같이, 본 발명은 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있게 됨에 따라, 사용자는 터치스크린상에 디스플레이되는 텍스트를 인식하기 위하여 별도의 스캔 시작위치를 찾을 필요가 없다. 또한, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴이 제공됨에 따라, 사용자가 터치스크린상에서 시작위치나 스캔방향에 구애됨 없이 편안하게 텍스트 정보를 연속적으로 스캔할 수 있기 때문에 터치스크린의 한정된 화면 영역에 제한받지 않고 텍스트 정보를 효과적으로 인식할 수 있게 된다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.
본 발명에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법은, 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있게 됨에 따라, 사용자는 터치스크린상에 디스플레이되는 텍스트를 인식하기 위하여 별도의 스캔 시작위치를 찾을 필요가 없으며, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴이 제공됨에 따라, 사용자가 터치스크린상에서 시작위치나 스캔방향에 구애됨 없이 편안하게 텍스트 정보를 연속적으로 스캔할 수 있기 때문에 터치스크린의 한정된 화면 영역에 제한받지 않고 텍스트 정보를 효과적으로 인식할 수 있게 된다.

Claims (12)

  1. 사용자의 터치 위치를 감지하는 터치패널과 상기 터치패널에 밀착 구비되어 접촉된 사용자의 신체요소에 햅틱패턴을 전달하는 햅틱패널이 일체로 구성된 터치스크린 상에서 제공되는 시각 장애인용 문자 표시 방법에 있어서,
    상기 터치스크린 상에서 사용자의 터치위치를 감지하여, 감지된 터치위치를 중심으로 미리 설정된 일정크기로 생성되는 단위셀 영역에 햅틱패턴을 전달하고,
    사용자의 터치 드래그가 이동하는 궤적을 따라 미리 설정된 일정 간격으로 단위셀 영역을 순차적으로 연속 생성하여, 생성된 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공하도록 구성하여,
    상기 연속적으로 생성되는 각각의 단위셀 영역에서 순차적으로 제공되는 햅틱패턴의 조합을 통해 텍스트를 구성하는 문자기호를 표현함으로써, 사용자가 자신의 신체요소를 통한 터치스크린의 스캔을 통해 상기 연속적으로 생성되는 단위셀별로 자신의 신체 요소에 전달되는 햅틱패턴을 인지함으로써 터치스크린에 디스플레이되는 텍스트 정보를 인식할 수 있는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  2. 제 1항에 있어서,
    상기 단위셀 영역은,
    감지된 터치위치의 좌표를 중심점으로 하여 미리 설정된 일정 크기의 반지름을 갖는 원형의 영역으로 형성되는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  3. 제 2항에 있어서,
    상기 단위셀에는,
    상기 단위셀 영역의 외곽둘레를 따라 단위셀 구분 영역이 형성되는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  4. 제 3항에 있어서,
    상기 단위셀 구분 영역에는,
    미리 설정된 특정패턴의 햅틱패턴이 제공되는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  5. 제 1항에 있어서,
    상기 사용자의 터치 드래그가 이동하는 궤적을 따라 단위셀 영역을 순차적으로 연속 생성함에 있어서는,
    사용자의 터치 드래그 이동을 통한 사용자의 터치 위치가 기 생성된 단위셀 영역을 벗어나는 경우,
    상기 단위셀 영역을 벗어난 사용자의 터치 위치를 새로운 좌표로 지정하고, 지정된 새로운 좌표를 중심점으로 하여 새로운 단위셀 영역을 생성하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  6. 제 5항에 있어서,
    상기 새로운 단위셀 영역이 생성되는 경우, 기 생성된 단위셀 영역은 소멸되는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  7. 제 1항에 있어서,
    상기 햅틱패턴은,
    아무런 촉감이 느껴지지 않는 햅틱없음(null), 울퉁불퉁(bumpy)한 촉감, 결(stripe)이 있는 촉감, 오돌도돌(grainy)한 촉감, 부드러운(smooth) 촉감, 거친(rough) 촉감 및 격자(grid) 형태 촉감의 7가지 서로 다른 촉감을 포함하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  8. 제 1항에 있어서,
    상기 문자기호는,
    한글자모, 알파벳, 숫자 및/또는 특수문자를 포함하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  9. 제 1항에 있어서,
    상기 햅틱패턴의 조합을 통한 문자기호의 표현은,
    연속적으로 생성되는 두 개의 단위셀 영역에서 각각 독립적으로 전달되는 햅틱패턴의 조합을 통해 이루어지는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  10. 제 1항에 있어서,
    상기 텍스트 정보는,
    사용자가 상기 터치스크린 상에서의 터치를 일시적으로 해제한 뒤 다시 재터치할 경우, 사용자가 터치 해제 이전에 스캔중이던 어절의 첫 문자기호부터 다시 제공하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  11. 제 1항에 있어서,
    상기 터치스크린 상에서, 접촉된 사용자의 신체요소를 통해 전달되는 사용자의 제스처 인식을 통해, 상기 터치스크린에 디스플레이되는 텍스트 정보의 어절 단위, 문장 단위 및/또는 문단 단위의 이동을 제공하는 기능을 추가로 구비하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
  12. 제 1항에 있어서,
    상기 터치스크린에 상기 터치스크린에 디스플레이되는 테스트의 정보의 이동을 위한 별도의 키버튼부를 구비하여,
    상기 키버튼부를 통한 사용자의 버튼 입력에 따라 상기 터치스크린에 디스플레이되는 텍스트 정보의 어절 단위, 문장 단위 및/또는 문단 단위의 이동을 제공하는 기능을 추가로 구비하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
PCT/KR2016/005848 2015-06-29 2016-06-02 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법 WO2017003102A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/739,931 US20180373333A1 (en) 2015-06-29 2016-06-02 Method of displaying characters for the blind using haptic patterns

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150092024A KR101630430B1 (ko) 2015-06-29 2015-06-29 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법
KR10-2015-0092024 2015-06-29

Publications (1)

Publication Number Publication Date
WO2017003102A1 true WO2017003102A1 (ko) 2017-01-05

Family

ID=56191509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/005848 WO2017003102A1 (ko) 2015-06-29 2016-06-02 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법

Country Status (3)

Country Link
US (1) US20180373333A1 (ko)
KR (1) KR101630430B1 (ko)
WO (1) WO2017003102A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SI25207A (sl) * 2016-05-10 2017-11-30 Feelif d.o.o. Pripomoček za multimedijsko upravljanje račnalniških naprav za slepe in slabovidne osebe
KR101868448B1 (ko) * 2017-02-23 2018-06-19 린츠 주식회사 스마트 기기용 햅틱 패턴 제공 장치
KR101944632B1 (ko) * 2017-10-13 2019-01-31 조돈우 점자 생성 시스템 및 이의 제어 방법
US11640769B2 (en) * 2020-05-29 2023-05-02 Abenezer Ayana Modular refreshable braille display system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090074325A (ko) * 2008-01-02 2009-07-07 에스케이 텔레콤주식회사 촉감 출력 시스템 및 방법
KR20110060391A (ko) * 2009-11-30 2011-06-08 삼성전기주식회사 촉각 피드백에 의해 인식 가능한 버튼을 갖는 햅틱 장치 및 이의 버튼 구동 방법
WO2012086208A1 (ja) * 2010-12-22 2012-06-28 京セラ株式会社 電子機器
KR101305235B1 (ko) * 2012-10-18 2013-09-17 박동현 점자 지원 기능이 구비된 터치스크린 및 이를 이용한 디스플레이 장치
KR20140040134A (ko) * 2011-04-22 2014-04-02 임머숀 코퍼레이션 전기 진동 촉각 디스플레이

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100682901B1 (ko) * 2004-11-17 2007-02-15 삼성전자주식회사 화상표시장치에서 전기활성폴리머를 사용하여 영상정보의핑거팁 햅틱을 제공하는 장치 및 방법
KR101498622B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US8345013B2 (en) * 2009-01-14 2013-01-01 Immersion Corporation Method and apparatus for generating haptic feedback from plasma actuation
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090074325A (ko) * 2008-01-02 2009-07-07 에스케이 텔레콤주식회사 촉감 출력 시스템 및 방법
KR20110060391A (ko) * 2009-11-30 2011-06-08 삼성전기주식회사 촉각 피드백에 의해 인식 가능한 버튼을 갖는 햅틱 장치 및 이의 버튼 구동 방법
WO2012086208A1 (ja) * 2010-12-22 2012-06-28 京セラ株式会社 電子機器
KR20140040134A (ko) * 2011-04-22 2014-04-02 임머숀 코퍼레이션 전기 진동 촉각 디스플레이
KR101305235B1 (ko) * 2012-10-18 2013-09-17 박동현 점자 지원 기능이 구비된 터치스크린 및 이를 이용한 디스플레이 장치

Also Published As

Publication number Publication date
US20180373333A1 (en) 2018-12-27
KR101630430B1 (ko) 2016-06-13

Similar Documents

Publication Publication Date Title
WO2017014542A1 (ko) 시각장애인용 착용형 햅틱 패턴 디스플레이 장치
CN104704451B (zh) 提供用于定位和数据输入的触觉反馈
WO2017003102A1 (ko) 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법
US6696985B2 (en) Reformable keyboard with variable key design
US7379053B2 (en) Computer interface for navigating graphical user interface by touch
US20170316717A1 (en) Semi-wearable Device for Interpretation of Digital Content for the Visually Impaired
WO1995020187A1 (fr) Processeur d'entree de donnees
JP2000501526A (ja) メモリの必要を最小限にするマルチタッチ入力装置、方法およびシステム
WO2012134210A2 (ko) 시각 장애인을 위한 터치스크린 장치 및 그 장치에서 문자 입력 방법
WO2016133312A1 (ko) 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법, 이 방법이 적용된 터치스크린 및 이를 이용한 디스플레이 장치
WO2012039915A1 (en) Multiple touchpoints for efficient text input
KR101838690B1 (ko) 점자 정보 단말기
KR101305235B1 (ko) 점자 지원 기능이 구비된 터치스크린 및 이를 이용한 디스플레이 장치
WO2018155825A1 (ko) 스마트 기기용 햅틱 패턴 제공 장치
US7339124B2 (en) Input key and input apparatus
US20200168121A1 (en) Device for Interpretation of Digital Content for the Visually Impaired
WO2015115691A1 (ko) 이동통신 단말 및 이동통신 단말용 케이스
JP4720568B2 (ja) ユーザ入力装置及びユーザ入力方法
KR100599210B1 (ko) 데이타입력장치 및 이를 이용한 데이터 입력방법
CA2457956C (en) Haptic interface
WO2002077786A1 (fr) Dispositif d'entree de donnees
JP2012118643A (ja) 点字式墨字入力方法、点字式墨字入力プログラム及び点字式墨字入力装置
JPS6180382A (ja) 文字図形の切り出し方式
RU2651444C2 (ru) Устройство и способ приёма и передачи информации посредством шрифта брайля
Paisios et al. Mobile brailler: Making touch-screen typing accessible to visually impaired users

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16818135

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16818135

Country of ref document: EP

Kind code of ref document: A1