WO2018034400A1 - 촉각 인터페이스장치를 제어하는 방법, 장치 및 비일시적 컴퓨터-판독가능 매체 - Google Patents

촉각 인터페이스장치를 제어하는 방법, 장치 및 비일시적 컴퓨터-판독가능 매체 Download PDF

Info

Publication number
WO2018034400A1
WO2018034400A1 PCT/KR2017/001190 KR2017001190W WO2018034400A1 WO 2018034400 A1 WO2018034400 A1 WO 2018034400A1 KR 2017001190 W KR2017001190 W KR 2017001190W WO 2018034400 A1 WO2018034400 A1 WO 2018034400A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile
input
information
graphic
interface device
Prior art date
Application number
PCT/KR2017/001190
Other languages
English (en)
French (fr)
Inventor
조진수
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to US15/889,706 priority Critical patent/US10891875B2/en
Publication of WO2018034400A1 publication Critical patent/WO2018034400A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/005—Details of specially-adapted software to access information, e.g. to browse through hyperlinked information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Definitions

  • FIG. 8 is a diagram schematically illustrating a configuration of a computing device and a tactile interface device controlling a tactile interface device according to an embodiment of the present invention.
  • the tactile interface device converts the input command or information as described above, the user terminal (A) To send.
  • the user may input information to the tactile interface device 1000 through the keyboard unit 1400, for example, to input text information.
  • the tactile interface device 1000 may output voice information to the user through the speaker unit 1600.
  • the tactile display unit 1200 includes a master board 1250; A display data receiver 1210 electrically connected to the master board 1250 and receiving primary data for a tactile display; A tactile data converter 1220 for converting the primary data received from the display data receiver 1210 into data for a tactile display; A plurality of slave boards 1260 electrically connected to the master board 1250; And a plurality of pin driving modules 1230 disposed on an outer surface of each of the plurality of slave boards 1260. And a driving power supply unit 1240 for supplying driving power to the above components through the master board 1250.
  • the driving power supply 1240 is preferably in the form of inputting the power supplied from the outside to the master board 1250.
  • the first tactile data converter 1221 analyzes the tactile graphic data input through the display data receiver 1210 and transmits the tactile graphic data to the plurality of slave boards 1260.
  • the first tactile data converter 1221 may convert the data based on the information of the plurality of slave boards 1260, and then transfer the data to the slave boards 1260.
  • each slave board 1260 converts the secondary data into tertiary data as a drive signal of a pin drive module array composed of each pin drive module 1230 or a plurality of pin drive modules 1230.
  • the above-described tactile interface device is described as a tactile interface device that can be used as an example in a method, a device, and a non-transitory computer-readable medium for controlling the tactile interface device described later.
  • the description of the method, apparatus and non-transitory computer-readable medium for controlling is not limited to the above description but should be construed broadly in accordance with the teachings of the invention itself.
  • the computing device B is connected to the tactile interface device, and such a connection is a connection including both a wired connection and a wireless connection.
  • tactile icons are implemented in the tactile graphic that is output by reconfiguring GUI elements of the monitor display screen of the PC. Since the tactile icon does not have 1: 1 spatial matching with the monitor display screen, the tactile interface device is focused in detail (focusing in more detail in the focusing region described later) or the cursor is positioned. If the input coordinates are used as they are, the application execution unit 3000 of the electronic device cannot determine which GUI element has occurred.
  • the coordinate mapping function of the coordinate mapping unit 2120 is a function for mapping a tactile icon object that is currently output as a tactile graphic and a GUI element that is output on a monitor display screen when the actual application execution unit 3000 is driven. Configure the mapping table to map the recognized coordinates.
  • the tactile graphic converter 2210 divides the focus area into a plurality of focus part areas, and converts the display elements of the focus part areas into tactile graphic elements according to a predetermined conversion rule. Generate tactile graphic data.
  • the plurality of focus portion areas respectively correspond to the plurality of layers. That is, the focus area including a part of the display screen output from the application execution unit 3000 is composed of a plurality of focus part areas, and each of the plurality of focus part areas corresponds to each of the plurality of layers. . Accordingly, the tactile graphic converter 2210 converts the display screen into a tactile graphic for each focus area or layer.
  • tactile interface device capable of outputting and inputting and a control thereof
  • the present invention is not limited thereto, and the tactile interface device or input capable of outputting only is provided. It also includes inventions on control methods, devices, and non-transitory computer-readable storage media for only tactile interface devices.
  • FIG. 11 is a view schematically showing the steps of a method for controlling a tactile interface device according to an embodiment of the present invention.
  • FIG. 13 is a diagram schematically illustrating processes of an output information generating step S200 according to an embodiment of the present invention.
  • the output information generating step (S200) is a step of converting a focus area including a part of the display screen output from the application execution unit 3000 into tactile graphic data.
  • the second layer 4200 is a layer that provides tactile graphics for buttons, menus, folders, graphic information, and the like as a main screen area.
  • the user may perform text input, recognize graphic information, recognize GUI elements, or control input of the user through the second layer 4200.
  • the lower layer of the tactile graphic corresponds to a layer representing text information of the tactile icon in the first layer 4100 and the second layer 4200 in braille.
  • the display screen of FIG. 19 is a display screen when a menu bar corresponding to area (2) is selected in the application shown in FIG. 17 and 'Page Control' is input or selected.
  • the configuration of the device of the tactile interface used in the method for controlling the tactile interface device of the embodiment shown in FIGS. 21 and 27 is as follows.
  • Tactile pixels in multiple arrays included in a graphical user interface (GUI), graphical elements (images), and operating system folders, icons, application menus, or buttons, such as operating system folders and icons or application menus and buttons.
  • GUI graphical user interface
  • images graphical elements
  • buttons such as operating system folders and icons or application menus and buttons.
  • Text braille information is output in a tactile graphic form that can be perceived by the visually impaired.
  • the peripheral interface 11300 may couple the input and / or output peripherals of the computing device 11000 to the processor 11100 and the memory 11200.
  • the processor 11100 may execute a software module or an instruction set stored in the memory 11200 to perform various functions for the computing device 11000 and process data.
  • the apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components.
  • the devices and components described in the embodiments are, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors, microcomputers, field programmable gate arrays (FPGAs). May be implemented using one or more general purpose or special purpose computers, such as a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may execute an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may also access, store, manipulate, process, and generate data in response to the execution of the software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Vascular Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 관한 것으로서, 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하기 위한 방법은 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함한다.

Description

촉각 인터페이스장치를 제어하는 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
본 발명은 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 관한 것이다.
정보화 사회에서는 컴퓨터를 이용한 정보습득 및 활용이 필수적이며, 이러한 추세는 일반인 뿐만 아니라 시각장애인에게도 마찬가지이다.
시각장애인의 정보화 수준을 향상시키기 위해서는 그들도 정상인과 유사한 수준으로 정보를 습득하고 활용할 수 있도록 해줘야 하는데, 이는 시각장애인의 일상생활을 보다 편리하게 하고 스스로 정보를 습득하고 활용할 수 있게 해준다는 점에서 중요하다. 또한 이를 통하여 궁극적으로는 시각장애인에게 다양한 교육기회를 제공하여 사회진출 및 참여의 기회를 확대시킴으로써 그들의 복지를 한층 향상시킬 수 있다는 점에서 매우 중요하다고 할 수 있다.
하지만, 현재의 컴퓨터를 사용하는 일반적 방식은 주로 모니터를 통해 출력되는 시각적 정보를 눈으로 인지하고 이에 대하여 키보드, 마우스, 혹은 터치패드 등의 입력도구를 이용하여 정보를 입력하는 방식을 사용하고 있다. 따라서, 시각을 쓸 수 없는 시각장애인이 일반인과 동일한 수준으로 컴퓨터의 출력정보를 인지하고 이에 대한 즉각적인 정보입력과 같은 상호작용을 하는 데에는 큰 한계가 있을 수 밖에 없다. 결과적으로 시각적 장애는 컴퓨터 사용에 있어서의 효율성을 현저히 저하시켜 컴퓨터를 통한 정보습득 및 활용의 기회를 크게 빼앗게 된다.
이러한 시각장애인의 컴퓨터 사용에 있어서의 어려움을 해결하기 위하여 청각, 촉각 등을 사용해 시각적 정보를 인지하고 이를 통해 컴퓨터와 상호작용을 할 수 있도록 다양한 기술들이 개발되어 왔다. 그 대표적인 기술로서, 청각을 통해 시각장애인의 컴퓨터 사용을 보조하는 스크린 리더가 있다. 이는 컴퓨터 화면에 출력되는 내용과 자신이 입력한 키보드 정보를 음성으로 출력하여 컴퓨터를 사용할 수 있도록 도와주는 장치 혹은 소프트웨어이다.
하지만 스크린 리더는 출력화면에 대한 2차원의 공간적 위치정보 없이 한 줄로 이어진 선형화된 정보만으로 출력화면의 Graphic User Interface (GUI) 요소들을 탐색하므로 화면 출력정보 인지에 어려움이 따르며, 특히 출력화면에 포함된 정보가 많으면 많을수록 그 어려움은 현저히 증가하게 된다. 또한 문자나 GUI 요소들 이외에 그림, 도표 등과 같은 다양한 그래픽 정보들에 대해서는 스크린 리더가 텍스트 기반의 간단한 묘사적 설명만을 음성으로 제공하기 때문에 시각장애인이 그래픽 정보를 이해하고 이에 대한 상호작용을 하는 데에 큰 어려움을 가지게 된다.
또 다른 관련 기술로는 점자셀을 통하여 문자정보를 촉각으로 전달해주는 점자정보단말기가 있다. 이는 시각장애인에게 유용한 컴퓨터의 몇몇 기능들을 제공하여 독립적인 장치로 사용되는 방식과 스크린 리더가 분석하는 컴퓨터 화면의 텍스트 정보를 점자로 출력해주는 화면출력 보조장치로 사용하는 방식이 있다. 두 가지 방식 모두 컴퓨터와의 효율적 상호작용을 위한 인터페이스 역할 보다는, 컴퓨터 대용으로 컴퓨터의 몇 몇 제한된 기능들만을 수행하는 대체 기기의 역할을 하거나 혹은 문자정보를 점자로 출력해주는 출력보조 장치의 역할 만을 하게 된다. 특히, 점자 출력에 특화된 점자정보단말기는 스크린 리더와 마찬가지로 그래픽 정보를 표현할 수 없다는 문제점을 가지고 있다.
선행기술문헌: (특허문헌 1) 한국공개특허번호 10-2012-0063982
본 발명의 목적은 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체를 제공하는 것이다.
상기와 같은 과제를 해결하기 위하여, 본 발명은 프로세서를 포함하는 컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서, 상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고, 상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하는, 촉각 인터페이스장치를 제어하는 방법을 제공한다.
본 발명에서는, 상기 촉각 인터페이스장치로의 출력정보는, 상기 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 대한 정보를 포함할 수도 있다.
본 발명에서는, 상기 입력정보생성단계는, 상기 촉각 인터페이스장치에서의 입력의 카테고리를 구분하는 입력카테고리구분단계; 상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성하는 어플리케이션입력생성단계;를 포함할 수도 있다.
본 발명에서는, 상기 입력의 카테고리는 점자키 입력에 의한 점자정보, 방향키 입력에 의한 입력좌표이동정보, 및 명령어키 입력에 의한 명령정보를 포함하고, 상기 명령정보는 실행 명령, 스페이스 명령, 및 기설정된 단축명령 중 1 이상을 포함할 수도 있다.
본 발명에서는, 상기 입력의 카테고리가 입력좌표이동정보인 경우, 상기 어플리케이션입력생성단계는, 상기 입력좌표이동정보에 따라, 상기 어플리케이션에서의 새로운 입력좌표를 생성할 수도 있다.
본 발명에서는, 상기 입력의 카테고리가 점자정보인 경우, 상기 어플리케이션입력생성단계는, 상기 점자정보에 따라 상기 어플리케이션에서의 입력좌표에서 입력되는 텍스트정보를 생성할 수도 있다.
본 발명에서는, 상기 출력정보생성단계는, 상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면에 기초하여 촉각 그래픽데이터를 생성하고, 상기 촉각 그래픽은 상기 촉각 그래픽데이터에 기초하여 구현될 수도 있다.
본 발명에서는, 상기 출력정보생성단계는, 상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면이 변경되었는지 판단하는 변경판단단계; 및
상기 변경판단단계에서 표시화면이 변경되었다고 판단되는 경우, 상기 상기 표시화면에 대한 촉각그래픽데이터를 생성하는 촉각그래픽변환단계를 포함할 수도 있다.
본 발명에서는, 상기 촉각 그래픽변환단계는, 상기 어플리케이션으로부터 출력되는 표시화면에서의 상기 포커스영역을 포커스부분영역으로 구분하는 포커스부분영역구분단계; 및 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 촉각 그래픽엘리먼트변환단계;를 포함할 수도 있다.
본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 복수의 레이어 중 1 이상은 상기 어플리케이션으로부터의 출력 중 포커스영역의 표시화면을 변경시키는 명령을 실행하는 아이콘에 대응하는 촉각 아이콘을 포함할 수도 있다.
본 발명에서는, 상기 촉각 그래픽은 복수의 레이어를 포함하고, 상기 포커스부분영역은 상기 복수의 레이어에 대응할 수도 있다.
본 발명에서는, 상기 출력정보생성단계는, 상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 기초하여 촉각 그래픽데이터를 생성하는 촉각 그래픽생성단계를 포함하고, 상기 촉각 그래픽은 촉각 그래픽데이터에 기초하여 구현될 수도 있다.
본 발명에서는, 상기 촉각 그래픽데이터는 상기 표시화면의 표시엘리먼트가 기설정된 변환규칙에 따라 변환된 촉각 그래픽엘리먼트 및 상기 표시화면의 그래픽 혹은 상기 그래픽이 간략화되어 형성된 그래픽요소를 구현하기 위한 데이터를 포함하고, 상기 입력좌표는 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소의 각각의 위치에 대응될 수도 있다.
본 발명에서는, 상기 출력정보생성단계는 상기 입력좌표에 대응하는 촉각 그래픽엘리먼트의 세부정보에 기초하여, 상기 촉각 인터페이스장치에서 촉각픽셀로 표현할 수 있는 점자정보 혹은 상기 촉각 인터페이스장치에서 재생할 수 있는 사운드정보를 생성하고, 상기 촉각 인터페이스장치로의 출력정보는 상기 점자정보 혹은 상기 사운드정보를 포함할 수도 있다.
본 발명에서는, 상기 촉각 그래픽생성단계는, 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소에 상기 입력좌표가 놓여져 있는 경우, 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소에 해당하는 촉각 그래픽의 세부영역의 촉각픽셀 중 1 이상을 상하 이동시키는 촉각 그래픽데이터를 생성할 수도 있다.
본 발명의 일 실시예에 따르면, 시각장애인들로 하여금 실시간으로 촉각적으로 디스플레이되는 사항들을 직관적으로 인지할 수 있게 할 수 있다.
본 발명의 일 실시예에 따르면, 시각장애인들로 하여금 촉각적으로 정보를 인지하면서 동시에 인지된 정보에 기반하여 효율적으로 입력을 할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 시각장애인이 컴퓨터의 화면출력 정보를 점자, 음성 및 촉각 그래픽의 형태로 인지하고 이에 대한 즉각적이고 직관적 정보입력을 할 수 있게 하여 일반인과 매우 유사한 방식으로 컴퓨터를 효율적으로 사용할 수 있게 하는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, OS의 다양한 기능들과 다양한 어플리케이션 소프트웨어 들을 사용할 수 있도록 쉽게 확장이 가능하다는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 시각장애인들에게 종래의 스크린리더 등의 장치와 비교시 현저히 향상된 작업 수행속도 및 편의성을 제공할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 시각장애인의 컴퓨터 활용능력을 크게 향상시키고, 시각장애인용 컴퓨터 하드웨어 및 소프트웨어 시장을 확대할 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 촉각 인터페이스장치와 사용자단말기의 내부 구조를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 촉각 인터페이스장치의 내부 구조를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 입체적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 촉각디스플레이부를 입체적으로 도시한 도면이다.
도 5A, 5B, 5C, 및 5D는 본 발명의 일 실시예에 따른 핀구동모듈들을 예시적으로 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 핀구동모듈의 단면을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 촉각디스플레이단계의 세부단계를 개략적으로 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치와 촉각 인터페이스장치의 구성을 개략적으로 도시하는 도면이다.
도 9은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 내부 구조를 개략적으로 도시하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 일부 구성의 내부 구조를 개략적으로 도시하는 도면이다.
도 11는 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 방법의 단계를 개략적으로 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 입력정보생성단계의 과정들을 개략적으로 도시하는 도면이다.
도 13은 본 발명의 일 실시예에 따른 출력정보생성단계의 과정들을 개략적으로 도시하는 도면이다.
도 14은 본 발명의 일 실시예에 따른 촉각 그래픽변환단계의 과정들을 개략적으로 도시하는 도면이다.
도 15는 본 발명의 일 실시예에 따른 촉각 그래픽을 개략적으로 도시하는 도면이다.
도 16은 본 발명의 일 실시예에 따른 촉각아이콘들의 테이블을 도시하는 도면이다.
도 17은 컴퓨팅 장치의 표시화면의 제1 예를 도시하는 도면이다.
도 18는 도 21에 도시된 표시화면의 제1 예를 본 발명의 일 실시예에 따라 변환된 촉각 그래픽을 도시하는 도면이다.
도 19은 컴퓨팅 장치의 표시화면의 제2 예를 도시하는 도면이다.
도 20는 도 19에 도시된 표시화면의 제2 예를 본 발명의 일 실시예에 따라 변환된 촉각 그래픽을 도시하는 도면이다.
도 21 내지 도 27은 본 발명의 일 실시예에 따른 사용자의 조작에 따른 촉각 인터페이스장치의 출력을 도시하는 도면이다.
도 28은 본 발명의 일 실시예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하는 도면이다.
본원의 양상들, 특징들 및 이점들은 하기의 실시예들 및 첨부된 도면들을 참고함으로써 이해될 것이다. 다른 도면들의 동일한 참조 번호들은 동일 또는 유사한 요소들을 나타낼 수 있다. 또한, 하기의 서술은 본 발명을 제한하지 않고, 오히려 본 발명의 범위는 첨부된 청구항들 및 등가물들에 의해 정의된다.
촉각 인터페이스장치
이하에서는 본 발명에 따른 촉각 인터페이스장치를 제어하는 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에서 제어 대상이 되는 촉각 인터페이스장치의 일예에 대하여 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)와 사용자단말기의 내부 구조를 개략적으로 도시한 도면이다.
도 1에 도시된 바와 같이, 촉각 인터페이스장치(1000)는 사용자단말기(A)와 유선적 혹은 무선적으로 접속되어, 데이터를 송수신할 수 있게 구성되고, 예를 들어 촉각 인터페이스장치(1000)는 사용자단말기(A)로부터의 그래픽 신호를 전송받아 촉각정보를 제공할 수 있다.
다만, 본 발명은 도 1과 달리 외부의 사용자 단말기 없이 촉각 인터페이스장치(1000) 자체가 독자적인 운영체제에 의하여 동작하고, 촉각 인터페이스장치(1000) 내부의 프로그램 및 내부의 메모리에 기초한 동작에 의하여 촉각 인터페이스장치(1000)가 작동할 수도 있다. 다만, 이 경우에도, 촉각 인터페이스장치(1000)에 통신기능이 구비될 수도 있다.
한편, 상기 사용자단말기(A)는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등의 컴퓨팅 장치가 될 수 있다.
본 발명의 일실시예에 따른 촉각 인터페이스장치(1000)는 도 1 혹은 도 3에 도시된 바와 같이, 외부장치접속부(1100), 촉각디스플레이부(1200), 방향키부(1300), 키보드부(1400), 제어부(1500), 및 스피커부(1600)를 포함한다. 촉각디스플레이부(1200)는 컴퓨터가 모니터로 출력하는 시각 그래픽을 촉각 그래픽으로 변환하여 출력한다.
한편, 사용자는 상기 방향키부(1300), 및 상기 키보드부(1400)를 통하여 촉각 인터페이스장치에 입력을 수행하고, 촉각 인터페이스장치는 이와 같이 입력된 명령 혹은 정보를 변환하여, 상기 사용자단말기(A)로 전송한다.
한편 키보드부(1400)는, 바람직하게는 현재 시각장애인들이 일반적으로 많이 사용하는 점자를 일반문자로 변환하여 컴퓨터에 문자 입력신호를 전달하는 점자키보드를 포함하는 것이 바람직하다.
상기 키보드부(1400)는 점자를 입력 받아 촉각 인터페이스장치(1000) 혹은 촉각 인터페이스장치(1000)에 연결된 사용자 단말기에 전달한다. 상기 키보드부(1400)은 점자키(1410), 단축기(1420), 및 실행 혹은 스페이스키(1430)을 포함함이 바람직하다. 점자는 여러 개의 점이 모여 하나의 글자를 구성하기 때문에 점자키 동시에 눌린 버튼의 정보를 전송할 수 있다. 전송된 점자정보는 촉각 인터페이스장치(1000) 내부의 소프트웨어 혹은 사용자단말기의 소프트웨어를 통하여 일반문자(general character)로 점역된다.
따라서, 시각장애인을 위한 컴퓨터 입출력 기능을 위하여, 촉각디스플레이부(1200)는 일반 컴퓨터의 모니터와 같은 역할을 수행하고, 방향키부(1300) 및 키보드부(1400)는 일반 컴퓨터의 키보드, 마우스 등의 입력장치의 역할을 수행하게 된다.
도 2는 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)의 내부 구조를 개략적으로 도시한 도면이다.
본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)는 접속된 외부장치로부터 전송받은 데이터 혹은 상기 촉각 인터페이스장치(1000) 내부에서 생성된 데이터에 기초하여, 복수의 핀으로 사용자에게 촉각정보를 제공하는 촉각디스플레이부(1200); 입력좌표 혹은 세부적으로 포커싱되는 사항의 위치를 변경시키는 방향키부(1300); 외부장치와 접속할 수 있는 외부장치접속부(1100); 사용자로부터 키입력 형태로 정보를 입력받을 수 있는 키보드부(1400); 외부로 사운드 출력을 할 수 있는 스피커부(1600); 및 상기 촉각디스플레이부(1200), 상기 방향키부(1300), 상기 외부장치접속부(1100), 상기 키보드부(1400), 및 상기 스피커부(1600)의 작동을 제어하는 제어부(1500);를 포함한다.
상기 촉각디스플레이부(1200)는 1 이상의 차원의 촉각픽셀로 촉각정보를 제공하고, 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성된다. 바람직하게는 상기 촉각픽셀은 2차원으로 촉각정보를 제공한다.
이와 같은 촉각디스플레이부(1200)는, 외부의 사용자단말기로부터 전송받은 데이터에 기초거나 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 데이터를 입력받는 표시데이터수신부(1210); 상기 데이터를 촉각디스플레이데이터로 변환하는 촉각데이터변환부(1220); 및 상기 촉각디스플레이데이터에 의하여 구동하는 복수의 핀구동모듈(1230); 및 촉각디스플레이부(1200)를 구동하는 전원을 공급받는 구동전원공급부(1240);를 포함하고, 입력받은 데이터에 기초하여 촉각정보 혹은 촉각 그래픽을 제공한다.
한편, 상기 방향키부(1300)는 입력좌표 혹은 세부적으로 포커싱되는 사항의 위치를 변경시킨다.
상기 외부장치접속부(1100)는 무선통신을 수행할 수 있는 통신모듈부(1110) 및 유선적으로 상기 외부장치와 접속할 수 있는 유선연결부(1120) 중 1 이상을 포함한다. 상기 통신모듈부(1110)는 블루투스(bluetooth) 통신 모듈, 지그비(zigbee) 통신 모듈, 적외선 통신 모듈, BLE(bluetooth low energy) 통신 모듈, 오디오 통신 모듈, LTE(long term evolution) 통신 모듈, 및 WiFi 통신 모듈, IrDA 기반의 적외선 통신 모듈, 무선 랜(WLAN), 와이브로(WiBro) 모듈, 무선 USB(Wireless USB) 모듈, 중 적어도 하나를 포함한다. 한편, 상기 유선연결부(1120)는 USB(Universal Serial Bus) 인터페이스를 이용한 연결모듈을 포함하는 것이 바람직하고, 이외의 데이터의 송수신을 수행할 수 있는 유선연결모듈이 이에 해당한다.
한편, 상기 스피커부(1600)는 촉각 인터페이스장치(1000)에서 촉각 디스플레이되는 정보, 문자정보, 혹은 상기 방향키부(1300)에 의하여 입력된 정보에 반응하여 출력되는 정보를 음성으로 읽어주는 기능을 수행할 수 있다.
상기 제어부(1500)는 상기 촉각 인터페이스장치의 전체적인 작동이나, 상기 외부장치접속부(1100); 상기 키보드부(1400); 혹은 상기 스피커부(1600)의 작동을 제어한다. 예를 들어, 외부의 사용자 단말기로부터 데이터가 수신되는 경우 이를 촉각디스플레이부(1200)의 표시데이터수신부(1210)로 송신하고, 촉각디스플레이부(1200)의 작동을 명령한다. 혹은, 상기 방향키부(1300)로부터 사용자의 입력이 입력되는 경우, 제어부(1500)에서 입력을 처리하거나 혹은 상기 외부장치접속부(1100)를 통하여 연결된 사용자 단말기(A)로 입력신호를 전송한다.
만약, 상기 촉각 디스플레이장치가 외부의 사용자 단말기와 접속되는 경우가 아니라, 자체적인 OS 와 어플리케이션으로 작동되는 경우, 자체적인 연산이 가능한 수준의 CPU 및 메모리 장치를 포함하고, 독립적으로 작동할 수 있다. 독립적으로 작동가능한 경우에도, 상기 촉각 디스플레이장치는 외부와 통신을 수행할 수도 있다.
도 3은 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)를 입체적으로 도시한 도면이다.
도 3에 도시된 바와 같이, 본 발명에 따른 촉각 인터페이스장치(1000)는 외부로 노출된 촉각디스플레이부(1200)의 구성요소, 구체적으로는 복수의 핀구동모듈(1230)로 픽셀형태의 촉각디스플레이를 제공한다. 이와 같은 촉각디스플레이부(1200)에 의하여 사용자는 촉각디스플레이부(1200)의 복수의 핀구동모듈(1230)을 촉각적으로 인지할 수 있다.
한편, 사용자는 구체적인 정보를 입력하기 위하여, 예를 들어 텍스트 정보를 입력하기 위하여 키보드부(1400)를 통하여, 상기 촉각 인터페이스장치(1000)에 정보 입력을 수행할 수 있다.
또한, 텍스트의 음성 혹은 사운드 정보를 사용자에게 출력하기 위하여, 상기 촉각 인터페이스장치(1000)는 스피커부(1600)를 통하여 사용자에게 음성정보를 출력할 수 있다.
도 3에 도시된 바와 같이, 촉각 인터페이스장치(1000)는 유선연결부(1120)를 통하여 외부의 사용자단말기에 접속하거나 혹은 통신모듈부(1110)를 통하여 무선통신으로 외부의 사용자단말기에 접속할 수 있다. 이 경우, 사용자단말기에서의 GUI 요소들을 촉각 인터페이스장치(1000)에서 촉각적으로 표시하고, 사용자는 GUI 요소들에 대한 반응 혹은 입력을 상기 방향키부(1300) 혹은 키보드부(1400)를 통하여 입력할 수 있다. 또한, 사용자가 상기 방향키부(1300)를 통하여 입력한 입력좌표 변경명령에 따라, 상기 촉각 인터페이스장치(1000)는 상기 촉각디스플레이부(1200)에서 변경된 입력좌표를 표시함으로써, 시각장애인의 경우 그래픽 화면 기반의 PC 등의 사용자 단말기를 보다 직관적으로 이용할 수 있다.
또한, 이와 같은 촉각 인터페이스장치(1000)는 단순히 시각장애인이 촉각정보를 인지하는 것에 한정되는 것이 아니라, 촉각정보를 인지하고 그에 따라 촉각 인터페이스장치(1000)에 명령 등의 입력을 수행할 수 있고, 이는 결과적으로 그래픽 화면 기반의 PC 등의 사용자 단말기를 일반인과 같은 편의성으로 사용할 수 있는 효과를 발휘할 수 있다.
도 4는 본 발명의 일 실시예에 따른 촉각디스플레이부(1200)를 입체적으로 도시한 도면이다.
상기 촉각디스플레이부(1200)는 1 이상의 차원의 촉각픽셀을 표시 혹은 제공할 수 있다. 도 4에서는 2차원의 촉각픽셀을 제공할 수 있는 촉각디스플레이부(1200)의 일예를 도시한다. 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성된다.
구체적으로, 상기 촉각픽셀은 복수의 핀구동모듈 그룹에 의하여 표시되고, 각각의 상기 핀구동모듈 그룹은 복수의 핀구동모듈(1230)로 이루어진다. 혹은 전체의 핀구동모듈이 하나의 핀구동모듈 그룹을 구성할 수도 있다.
구체적으로, 상기 촉각디스플레이부(1200)는 마스터보드(1250); 상기 마스터보드(1250)에 전기적으로 접속되고, 촉각디스플레이를 위한 1차데이터를 수신하는 표시데이터수신부(1210); 상기 표시데이터수신부(1210)로부터 전송받은 상기 1차데이터를 촉각디스플레이를 위한 데이터로 변환하는, 촉각데이터변환부(1220); 상기 마스터보드(1250)에 전기적으로 접속되는 복수의 슬레이브보드(1260); 및 상기 복수의 슬레이브보드(1260) 각각의 외면에 배치된 복수의 핀구동모듈(1230); 및 상기 마스터보드(1250)를 통하여 위의 구성요소들에게 구동전원을 공급하는 구동전원공급부(1240)를 포함한다.
상기 구동전원공급부(1240)는 외부로부터 공급받은 전원을 상기 마스터보드(1250)에 입력하는 형태임이 바람직하다.
한편, 상기 촉각데이터변환부(1220)는 상기 마스터보드(1250)에 배치되는 제1 촉각데이터변환부(1221); 및 상기 슬레이브보드(1260)에 배치되는 제2 촉각데이터변환부(1222)를 포함하고, 상기 제1 촉각데이터변환부(1221)는 상기 1차데이터를 각각의 슬레이브보드(1260)에 대한 촉각데이터로서의 2차데이터로 변환하고, 상기 제2 촉각데이터변환부(1222)는 상기 2차데이터를 각각의 슬레이브보드(1260)에 배치된 복수의 핀구동모듈(1230)의 그룹을 구동하기 위한 3차데이터로 변환한다.
상기 촉각디스플레이부(1200)는 다중 배열로 구성된 핀구동모듈(1230)의 핀의 상하운동을 통해 시각 그래픽을 촉각 그래픽 형태로 변환하여 전달하는 장치이다. 본 발명과 같은 촉각디스플레이부(1200)는, 전압을 인가하면 핀이 상승하고 전압이 인가되지 않으면 핀이 하강하는 구조인 압전 바이모프에 의한 릴레이 메커니즘에 비하여, 추가적인 모듈의 구성이 필요하지 않기 때문에, 소형화가 가능하고 다중배열이 용이한 구조를 가진다.
따라서, 본 발명에서와 같은 촉각디스플레이부(1200)는 장치의 소형화를 도모하면서 동시에 높은 해상도의 촉각디스플레이를 제공할 수 있는 효과를 발휘할 수 있다.
상기 마스터보드(1250)는 표시데이터수신부(1210)를 통해 입력된 촉각 그래픽 데이터를 수신하고, 이를 제1 촉각데이터변환부(1221)로 전달한다. 상기 표시데이터수신부(1210)는 UART (universal asynchronous receiver/transmitter)임이 바람직하고, 상기 제1 촉각데이터변환부(1221)는 MCU (Micro Controller Unit)임이 바람직하다.
바람직하게는, 상기 제1 촉각데이터변환부(1221)는 표시데이터수신부(1210)를 통해 입력된 촉각 그래픽 데이터를 분석하고, 이를 복수의 슬레이브보드(1260)로 전달한다. 이와 같은 전달에 있어서, 상기 제1 촉각데이터변환부(1221)는 상기 다수의 슬레이브보드(1260)의 정보에 기초하여 데이터를 변환한 후, 이를 슬레이브보드(1260)로 전달함이 바람직하다.
혹은, 상기 제1 촉각데이터변환부(1221)는 상기 촉각 그래픽 데이터를 각각의 슬레이브보드(1260)에 해당하는 데이터로 변환을 수행하고, 각각의 변환된 데이터를 각각의 슬레이브보드(1260)로 전달할 수도 있다.
혹은 상기 제1 촉각데이터변환부(1221) 없이, 상기 표시데이터수신부(1210)를 통하여 전달된 촉각 그래픽 데이터를 바로 슬레이브보드(1260)로 전달할 수도 있다.
이후, 슬레이브보드(1260)에 내장된 제2 촉각데이터변환부(1222)는 사전에 프로그래밍 된 CPLD (Complex Programmable Logic Device)를 이용하여 상기 제1 촉각데이터변환부(1221)로부터 전달받은 데이터 혹은 상기 표시데이터수신부(1210)를 통하여 전달받은 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 각각의 핀구동모듈어레이에 따라 분리하고, 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이에 동작신호를 전달한다.
이와 같은 동작신호에 따라 핀구동모듈(1230)의 핀은 상하 운동을 할 수 있고, 바람직하게는 핀 간격 및 상승 높이는 1 mm ~ 10 mm의 범위에 있다.
도 5는 본 발명의 일 실시예에 따른 핀구동모듈(1230)을 예들을 도시한 도면이다.
이하에서는, 도 5A 및 도 5B에 도시된 핀구동모듈(1230)의 실시예에 대하여 설명하도록 한다.
도 5A에 도시된 바와 같이, 핀구동모듈(1230)은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서(1231); 상기 트랜스듀서에 연결되는 샤프트(1232); 상기 샤프트(1232) 상에서 상기 샤프트(1232)의 축 방향으로 상하 운동할 수 있는 이동체(1233); 및 상기 이동체(1233)의 움직임에 따라서 이동할 수 있는 핀(1234);을 포함한다.
바람직하게는, 상기 트랜스듀서(1231)는 복수의 압전세라믹 및 탄성체를 포함하고, 전원이 인가되는 경우 압전세라믹의 팽창/수축에 의한 진동을 선형으로 변환하여 상기 이동체(1233)를 상하로 이동시키고, 트랜스듀셔를 제어함으로써 상기 이동체(1233)의 움직임을 제어할 수 있다.
이하에서는, 도 5C 및 도 5D에 도시된 핀구동모듈(1230)의 실시예에 대하여 설명하도록 한다.
도 5C에 도시된 바와 같이, 핀구동모듈(1230)은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서(1231); 상기 트랜스듀서에 연결되는 샤프트(1232); 상기 샤프트(1232) 상에서 상기 샤프트(1232)의 축 방향으로 상하 운동할 수 있는 이동체(1233); 및 상기 이동체(1233)의 움직임에 따라서 이동할 수 있는 핀(1234); 및 상기 샤프트(1232)를 감싸고 상기 핀(1234)의 일단이 삽입되는 케이싱부(1235)를 포함한다.
바람직하게는, 상기 트랜스듀서(1231)는 복수의 압전세라믹 및 탄성체를 포함하고, 전원이 인가되는 경우 압전세라믹의 팽창/수축에 의한 진동을 선형으로 변환하여 상기 이동체(1233)를 상하로 이동시키고, 트랜스듀셔를 제어함으로써 상기 이동체(1233)의 움직임을 제어할 수 있다.
도 6은 본 발명의 일 실시예에 따른 핀구동모듈(1230)의 예의 단면을 도시한 도면이다.
도 6에 도시된 바와 같이, 핀구동모듈(1230)의 트랜스듀서(1231)는 하우징(1231.1);하우징(1231.1) 내부에 배치되는 제1 압전세라믹(1231.2), 제2 압전세라믹(1231.4); 및 상기 제1 압전세라믹 및 제2 압전세라믹 사이에 배치된 탄성부재(1231.3)를 포함한다.
한편, 이동체(1233)는 이동체본체(1233.1) 및 상기 이동체본체(1233.1)의 내부에 배치되는 고무링(1233.2)을 포함한다.
이와 같은 구조에서 트랜스듀서(1231)의 제1 압전세라믹(1231.2) 및 제2 압전세라믹(1231.4)에 인가되는 전압을 제어함으로써 상기 이동체(1233)의 상하운동을 효율적으로 제어할 수 있다.
도 7은 본 발명의 일 실시예에 따른 촉각디스플레이단계의 세부단계를 개략적으로 도시하는 도면이다.
상기 촉각디스플레이단계(S10)는, 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀으로 표시되는 촉각픽셀에 의하여 촉각정보를 제공한다.
구체적으로 촉각디스플레이단계는 접속된 외부장치로부터 전송받은 1차 데이터 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 1차 데이터를 수신하는 1차데이터수신단계(S11);
슬레이브보드(1260)의 개수, 각 슬레이브보드(1260)에서 표현할 수 있는 촉각픽셀의 개수 등의 슬레이브보드(1260) 정보를 로드하는 슬레이브보드정보로드단계(S12);
로드된 상기 슬레이브보드(1260) 정보에 따라 상기 1차 데이터를 2차 데이터로 변환하는 2차데이터변환단계(S13);
변환된 상기 2차 데이터를 각각의 슬레이브보드(1260)로 전송하는 슬레이브보드전송단계(S14);
각각의 슬레이브보드(1260)에서 상기 2차 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이의 구동신호로서의 3차 데이터로 변환하는 3차데이터변환단계(S15);
생성된 상기 구동신호로 각각의 핀구동모듈(1230)을 구동하는 핀구동단계(S16)을 포함한다.
상기 촉각디스플레이단계는 다중 배열로 구성된 핀구동모듈(1230)의 핀의 상하운동을 통해 시각 그래픽을 촉각 그래픽 형태로 변환하여 전달하는 단계이다. 본 발명에서와 같은 촉각디스플레이단계는 전압을 인가하면 핀이 상승하고, 전압이 인가되지 않으면 핀이 하강하는 구조인 압전 바이모프에 의한 릴레이 메커니즘에 비하여, 추가적인 모듈의 구성이 필요하지 않기 때문에, 소형화가 가능하고 다중배열이 용이한 구조로 구현할 수 있다.
따라서, 본 발명에서와 같은 촉각디스플레이단계는 장치의 소형화를 도모하면서 동시에 높은 해상도의 촉각디스플레이를 제공할 수 있는 효과를 발휘할 수 있다.
상기 1차데이터수신단계(S11)은 마스터보드(1250)에서 수행되고, 외부로부터 입력된 촉각 그래픽 데이터를 수신하고, UART (universal asynchronous receiver/transmitter) 모듈을 통하여 수행됨이 바람직하다.
한편, 상기 슬레이브보드정보로드단계(S12) 및 상기 2차데이터변환단계(S13)은 상기 마스터보드(1250)에 전기적으로 접속되는 MCU (Micro Controller Unit)에 의하여 수행됨이 바람직하다.
바람직하게는, 상기 2차데이터변환단계(S13)는 상기 1차데이터수신단계(S11)을 통해 입력된 촉각 그래픽 데이터를 분석한다. 이후 슬레이브보드전송단계(S14)는 분석된 상기 촉각 그래픽 데이터를 슬레이브보드(1260)로 전달한다.
이와 같은 상기 2차데이터변환단계(S13) 및 슬레이브보드전송단계(S14)는 상기 다수의 슬레이브보드(1260)의 정보에 기초하여 데이터를 변환한 후, 이를 슬레이브보드(1260)로 전달함이 바람직하다.
혹은, 상기 2차데이터변환단계(S13)은 상기 촉각 그래픽 데이터를 각각의 슬레이브보드(1260)에 해당하는 데이터로 변환을 수행하고, 각각의 변환된 데이터를 각각의 슬레이브보드(1260)로 전달할 수도 있다.
혹은 상기 2차데이터변환단계(S13) 없이, 상기 1차데이터수신단계(S11)을 통하여 전달된 촉각 그래픽 데이터를 바로 슬레이브보드(1260)로 전달할 수도 있다.
이후, 슬레이브보드(1260)에 내장된 처리장치에 의하여, 3차데이터변환단계(S15)가 수행된다. 3차데이터변환단계는 사전에 프로그래밍 된 CPLD (Complex Programmable Logic Device)를 이용하여 전달받은 데이터를 통하여 전달받은 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 각각의 핀구동모듈어레이에 따라 분리하고, 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이에 동작신호를 전달한다.
상기 복수의 슬레이브보드(1260)는 단일의 마스터보드(1250) 상에 배치되어 있고, 상기 마스터보드(1250)에 전기적으로 접속되어 있는 것이 바람직하다.
위와 같이 전술한 촉각 인터페이스 장치는 후술하는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 있어서 일 예로 이용될 수 있는 촉각 인터페이스장치로서 설명된 것이고, 후술하는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 대한 설명에서는 위에서 상술한 내용에 한정되지 않고, 그 자체의 발명의 내용에 따라서 최광의로 해석되어야 할 것이다.
촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
이하에서는 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체에 대하여 설명하도록 한다.
도 8은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치와 촉각 인터페이스장치의 구성을 개략적으로 도시하는 도면이다.
컴퓨팅 장치(B)에 연결된 촉각 인터페이스장치(1000)는 도 13에서는 전술한 촉각 인터페이스장치와 동일한 구성요소를 갖는 것으로 도시되었지만, 이는 하나의 예에 불과할 뿐, 본 발명에서는 이에 한정되지 않는다. 이하에서 서술하는 본 발명의 촉각 인터페이스장치를 제어하는 컴퓨팅 장치(B)에 연결된 촉각 인터페이스장치는 촉각 그래픽을 제공할 수 있는 임의의 인터페이스장치, 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치, 및 촉각 그래픽을 출력할 수 있는 컴퓨팅 장치(B)를 모두 포함한다.
도 8에 도시된 바와 같이 컴퓨팅 장치(B)는 촉각 인터페이스장치와 연결되어 있고, 이와 같은 연결은 유선적 연결 혹은 무선적 연결을 모두 포함하는 연결이다.
상기 컴퓨팅 장치(B)는 도 1에서 도시된 전술한 사용자단말기(A)에 상응할 수 있다. 상기 컴퓨팅 장치(B)는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등에 해당할 수 있다.
이와 같은 컴퓨팅 장치(B)는 1 이상의 프로세서 및 메모리를 포함하고, 선택적으로 모니터 등의 디스플레이장치에 연결되어 있거나 자체적인 디스플레이모듈이 구비될 수도 있다.
혹은, 상기 컴퓨팅 장치(B)는 상기 촉각 인터페이스장치와 결합된 형태일 수도 있다. 이 경우, 사용자의 입장에서는 촉각인터페이스장치와 이를 제어하는 컴퓨팅 장치(B)를 하나의 장치로 인식할 수도 있다. 이와 같이 결합된 형태의 장치의 경우 상기 컴퓨팅 장치(B)와 상기 촉각 인터페이스장치는 프로세서와 메모리를 공유하는 형태일 수도 있다.
도 9은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 내부 구조를 개략적으로 도시하는 도면이다.
본 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치는 프로세서, 버스(프로세서, 메모리, 네트워크인터페이스부 사이의 양방향 화살표에 해당), 네트워크 인터페이스 및 메모리를 포함할 수 있다. 메모리는 운영체제(5100), 입출력제어루틴(5200), 어플리케이션(5300)을 포함할 수 있다. 프로세서는 입출력제어부(2000), 및 어플리케이션실행부(3000)를 포함할 수 있다. 다른 실시예들에서 촉각 인터페이스장치를 제어하는 컴퓨팅 장치는 도 9의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다.
메모리는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리에는 운영체제(5100), 입출력제어루틴(5200), 및 어플리케이션(5300)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스부(4000)를 통해 메모리에 로딩될 수도 있다.
버스는 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스부(4000)는 촉각 인터페이스장치를 제어하는 컴퓨팅 장치를 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성 요소일 수 있다. 네트워크 인터페이스(4000)는 촉각 인터페이스장치를 제어하는 컴퓨팅 장치를 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다. 이와 같은 네트워크 인터페이스부(4000)를 통하여 촉각 인터페이스장치를 제어하는 컴퓨팅 장치가 촉각 인터페이스장치에 무선적 혹은 유선적으로 접속될 수 있다.
프로세서는 기본적인 산술, 로직 및 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리 또는 네트워크 인터페이스부(4000)에 의해, 그리고 버스를 통해 프로세서로 제공될 수 있다. 프로세서는 입출력제어부(2000), 및 어플리케이션실행부(3000)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리와 같은 기록 장치에 저장될 수 있다.
상기 입출력제어부(2000), 및 어플리케이션실행부(3000)는 이하에서 설명하게 될 촉각 인터페이스장치를 제어하는 방법을 수행하기 위해 구성될 수 있다. 상기한 프로세서는 촉각 인터페이스장치를 제어하는 방법에 따라 일부 컴포넌트가 생략되거나, 도시되지 않은 추가의 컴포넌트가 더 포함되거나, 2개 이상의 컴포넌트가 결합될 수 있다.
도 10은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 일부 구성의 내부 구조를 개략적으로 도시하는 도면이다.
본 발명에 따른 상기 컴퓨팅 장치(B)는 어플리케이션실행부(3000)과 상기 촉각 인터페이스장치의 상호간의 입출력을 제어하는 입출력제어부(2000)를 포함한다.
상기 어플리케이션실행부(3000)은 OS에서 기본적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어 WINDOWSTM 에서의 탐색기), OS에서 보조적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어, WINDOWSTM 에서의 메모장), OS와 별도적으로 설치되어 독자적인 기능을 수행하는 어플리케이션 (예를들어, MS WORDTM), 웹상으로 실행되는 독자적인 기능을 수행하는 어플리케이션, 스마트폰의 앱, 혹은 특정 기기에서만 작동할 수 있는 어플리케이션을 실행하는 모듈을 지칭하는 용어이다. 즉, 상기 어플리케이션실행부(3000)은 상기 메모리에 저장되어 있는 실행가능한 명령어들을 가지는 프로그램들을 실행하는 모듈을 포괄적으로 지칭한다.
일반적인 사용자라면 상기 컴퓨팅 장치(B)에서 상기 어플리케이션을 실행시키고, 상기 어플리케이션과 마우스, 키보드, 및 모니터 혹은 터치패드 등으로 상호작용을 할 수 있지만, 이와 같은 일반적인 장치들은 시각장애인이 인식하기 어려운 그래픽 정보를 중심으로 상호작용이 이루어진다.
본 발명에서는, 상기 컴퓨팅 장치(B)의 어플리케이션실행부(3000)에 의하여 실행되는 어플리케이션을 시각장애인이 이용하기 위하여, 상기 어플리케이션실행부(3000)에 의해 실행되는 어플리케이션의 인터페이스 혹은 입출력을 시각장애인이 이용할 수 있는 형태로 변환 제어한다.
또한, 본 발명의 촉각 인터페이스장치의 제어방법은 시각장애인에 대한 목적 뿐만 아니라 차량, 비행장치 등의 다른 장치에서의 촉각정보를 활용한 입출력 시스템 및 PC 등의 사용에 있어서 보조적으로 활용할 수 있는 입출력 시스템에도 적용될 수 있다.
본 발명의 일 실시예에 따르면, 상기 입출력제어부(2000)는 상기 어플리케이션실행부(3000)에서 실행되는 어플리케이션의 입출력을 시각장애인이 이용할 수 있는 형태로 변환하고, 이를 촉각 인터페이스장치에서 구현하고, 사용자는 상기 촉각 인터페이스장치를 통하여 상기 어플리케이션을 보다 직관적이고 편리하게 이용할 수 있다.
특히, 촉각 인터페이스장치(1000)는 촉각정보를 이용하여 사용자에게 정보를 전달하고, 또한 촉각적인 키입력 등을 통하여 사용자로부터 정보 혹은 명령을 입력 받을 수 있는 장치이기 때문에, 시각장애인으로 하여금 불편함 없이 상기 어플리케이션실행부를 이용할 수 있도록 할 수 있다.
도 10에 도시된 바와 같이, 상기 입출력제어부(2000)는 상기 촉각 인터페이스장치로부터의 입력을 상기 어플리케이션실행부(3000)으로의 입력으로 변환하는 입력변환부(2100); 및 상기 어플리케이션실행부(3000)로부터의 출력을 상기 촉각 인터페이스장치의 출력으로 변환하는 출력변환부(2200)를 포함한다.
바람직하게는, 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 장치에서는 어플리케이션실행부(3000)로부터의 출력정보를 촉각 디스플레이 형태로 표시하는 동작에 추가적으로 촉각 인터페이스장치로부터 입력받은 정보를 상기 어플리케이션실행부(3000)에서 이용할 수 있는 형태로 변환하여 상기 어플리케이션실행부(3000)에 입력하는 동작을 수행할 수 있다.
즉, 본 발명에 따르면 사용자는 수동적으로 정보를 받는 것이 아니라 인지한 정보에 기초하여 정보를 입력하고, 상기 입출력제어부(2000)는 이와 같이 입력된 정보를 상기 어플리케이션실행부(3000)에 입력가능한 형태로 변환함으로써, 시각장애인인 사용자로 일반적인 사용자와 유사한 수준으로 상기 어플리케이션실행부(3000)에서 실행되는 어플리케이션을 이용할 수 있도록 한다.
한편, 상기 입력변환부(2100)는, 상기 촉각 인터페이스장치로부터 입력되는 키입력을 상기 어플리케이션실행부(3000)으로 입력할 수 있는 형태로 변환하는 키변환부(2110); 및 상기 촉각 인터페이스장치에서 키패드 등에 의하여 입력 혹은 변경되는 입력좌표를 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환하는 좌표매핑부(2120);를 포함한다.
바람직하게는, 상기 촉각 인터페이스장치로부터 수신된 상기 키변환부(2110)에서 변환되는 입력은 점자, 방향키, 단축키 등에 의하여 입력되는 정보이다.
한편, 상기 좌표매핑부(2120)는 상기 촉각 인터페이스장치에서의 입력좌표 혹은 커서의 위치를 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환하기 위함이다. 상기 입력좌표 혹은 커서의 위치는 상기 촉각 인터페이스장치의 방향키의 입력에 의하여 생성 혹은 변경될 수 있다.
후술하는 바와 같이, 전자기기가 PC인 경우 PC의 모니터 표시화면의 GUI 엘리먼트들을 재구성하여 출력되는 촉각 그래픽에는 촉각 아이콘들이 구현되어 있다. 이와 같은 촉각 아이콘은 상기 모니터 표시화면과 공간적으로 1:1 매칭이 되지 않기 때문에, 상기 촉각 인터페이스장치에서 세부적으로 포커싱이 이루어지는(후술하는 포커싱 영역에서 더욱 세부적으로 포커싱이 이루어지는), 혹은 커서가 위치하는 입력좌표를 그대로 사용할 경우 어떤 GUI 엘리먼트에 대한 이벤트가 발생되었는지를 전자기기의 어플리케이션실행부(3000)에서는 판별할 수 없다.
바람직하게는, 좌표매핑부(2120)의 좌표매핑 기능은 현재 촉각 그래픽으로 출력되고 있는 촉각 아이콘 객체와 실제 어플리케이션실행부(3000)을 구동하는 경우 모니터 표시화면에 출력되는 GUI 엘리먼트를 매핑시키기 위한 기능으로 매핑 테이블을 구성하여 인식된 좌표를 매핑한다.
촉각 인터페이스장치에서 표시되는 촉각 그래픽과 상기 어플리케이션실행부(3000)이 일반적으로 실행될 때의 표시화면은 해상도, 구성, 위치에 있어서 상이할 수 있고, 이 경우 촉각 인터페이스장치에서 입력한 명령이 제한없이 상기 어플리케이션실행부(3000)에 입력되기 위해서는 상기 촉각 인터페이스에서의 입력좌표가 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환 혹은 매핑되어야 하고, 이는 상기 좌표매핑부(2120)에 의하여 수행된다. 이와 같은 좌표매핑부(2120)에 의하여 사용자는 어플리케이션실행부(3000)의 기능의 축소 혹은 간략화 없이 어플리케이션실행부(3000)의 기능을 일반적인 사용자 수준으로 사용할 수 있다.
예를들어, 사용자가 어플리케이션실행부(3000)에서 'A'라는 명령을 실행하기 위하여(예를들어 윈도우 바탕화면에서 내문서 폴더를 여는 경우), 상기 촉각 인터페이스장치에서 상기 'A'에 해당하는 지점에서 실행과 관련된 키입력 을 수행하는 경우, 상기 좌표매핑부(2120)는 상기 촉각 인터페이스장치에서의 상기 지점의 좌표를 연결된 어플리케이션실행부(3000)의 'A' 아이콘의 좌표에 매핑하고, 이에 따라 상기 어플리케이션실행부(3000)에서의 'A' 명령이 실행될 수 있다.
이와 같이, 상기 입력변환부(2100)는 입력좌표 혹은 커서의 위치에 해당하는 GUI 엘리먼트를 어플리케이션 실행부에 알려주는 좌표매핑 기능, 그리고 점자키로부터 입력되는 점자정보를 일반 문자로 변환하는 역 점역 기능을 수행할 수 있다.
한편, 상기 출력변환부(2200)는, 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부 혹은 전체에 해당하는 포커스영역을 촉각 그래픽데이터로 변환하는 촉각 그래픽변환부(2210)를 포함하고, 상기 촉각 인터페이스장치에 의해 제공되는 상기 촉각 그래픽은 상기 촉각 그래픽데이터로부터 구현될 수 있다.
본 명세서에서, 상기 “표시화면”는 상기 어플리케이션이 모니터 등의 일반적인 시각적 디스플레이 장치로 출력하는 시각적화면, 시각적화면에 포함되는 시각적요소를 포함하는 개념을 지칭한다.
한편, 상기 출력변환부(2200)는, 상기 어플리케이션실행부(3000)에서 출력되는 정보를 음성정보로 변환하는 TTS변환부(2220)를 더 포함한다. 바람직하게는, 상기 TTS변환부(2220)는 상기 촉각 인터페이스장치로부터의 입력에 의하여 지칭되는, 혹은 입력좌표가 위치하는 촉각 엘리먼트에 대한 텍스트 형태의 세부정보를 음성으로 변환하는 것을 수행한다.
한편, 실제 어플리케이션실행부(3000)을 구동하는 경우 모니터 표시화면에 출력되는 모든 GUI 엘리먼트들을 촉각 그래픽으로 변환하여 이를 촉각 인터페이스장치에 출력하는 경우, 사용자가 촉각 그래픽을 이해하는 데 어려움이 발생할 수 있다.
따라서 본 발명의 일 실시예에 따르면, 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 포커스영역을 촉각 그래픽데이터로 변환한다. 즉 사용자에 의하여 포커싱되는 영역에 해당하는 포커스영역만을 혹은 포커스영역을 중심으로 촉각 그래픽데이터로 변환하고 이를 촉각 그래픽으로 표시함으로써 사용자는 현재 포커싱되는 영역만을 빠르고 편리하게 인지할 수 있고, 사용자의 인지 및 입력에 있어서의 오류를 제거할 수 있다.
한편, 상기 포커스영역은 사용자가 이전의 입력 중 1 이상에 의하여 결정된다. 예를들어, 사용자가 촉각 인터페이스장치의 방향키 입력으로 어플리케이션에서의 입력좌표를 이동시키거나, 또는 실행키 입력 등의 키입력에 의하여 해당 입력좌표가 지칭하는 영역이 포커싱이 되는 경우, 상기 포커싱영역이 결정된다.
한편, 상기 촉각 그래픽변환부(2210)는, 상기 포커스영역을 복수의 포커스부분영역으로 구분하고, 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 동작을 수행함으로써 촉각 그래픽데이터를 생성한다.
도 16은 이와 같은 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 기설정된 변환규칙의 예를 도시한다.
예를들어, 도 16에서 표시엘리먼트(GUI엘리먼트)가 'Button'에 해당하는 경우, 어플리케이션실행부(3000)에 의하여 컴퓨팅장치의 표시화면에 출력되는 형태는 도 20에서 Visual Design이라는 항목에 표시된 형태의 GUI이다. 그리고 이와 같은 'Button'에 대한 표시엘리먼트를 도 16에 도시된 변환규칙에 따라서, 촉각그래픽으로 표현할 수 있는 촉각그래픽엘리먼트인 촉각 아이콘으로 변환하고, 변환된 촉각 아이콘을 상기 촉각 인터페이스장치에서 촉각 그래픽으로 구현한다.
한편, 사용자의 촉각 인터페이스장치에서의 키입력, 바람직하게는 입력좌표가 지칭하는 표시엘리먼트 혹은 촉각 아이콘의 텍스트 정보를 사운드 형태로 출력하는 단축키입력 혹은 입력좌표가 지칭하는 표시엘리먼트의 텍스트 정보를 점자 형태로 출력하는 단축기입력에 의하여, 표시엘리먼트 혹은 상기 촉각 아이콘에 대한 세부 정보를 촉각 인터페이스장치의 점자형태의 촉각 그래픽 혹은 상기 TTS변환에 의한 음성으로 출력할 수도 있다.
도 15는 본 발명의 일 실시예에 따른 촉각 그래픽(TG)을 개략적으로 도시하는 도면이다. 상기 촉각 그래픽은 복수의 레이어를 포함하고, 도 15에 도시된 실시예에서는 상기 복수의 레이어는 제1 레이어(4100), 제2 레이어(4200), 및 제3 레이어(4300)를 포함한다.
상기 복수의 포커스부분영역은 각각 상기 복수의 레이어에 대응한다. 즉, 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역은 복수의 포커스부분영역으로 구성되어 있고, 이와 같은 복수의 포커스부분영역의 각각은 상기 복수의 레이어 각각에 대응한다. 따라서, 상기 촉각 그래픽변환부(2210)는 포커스부분영역 혹은 레이어 별로 표시화면을 촉각 그래픽으로 변환한다.
상기 제1 레이어(4100)는 화면 컨트롤 영역으로서, 현재 촉각 인터페이스장치에서 출력되는 촉각 그래픽의 타이틀을 지칭하는 아이콘, '이전', '확인', '취소', '닫기'와 같은 화면전환을 위한 버튼들의 촉각 아이콘 중 1 이상으로 구성될 수 있다. 즉, 제1 레이어(4100)는 상기 어플리케이션실행부(3000)로부터 출력되는 상기 표시화면의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 포함한다.
상기 제2 레이어(4200)는 메인 화면 영역으로 버튼, 메뉴, 폴더, 그래픽 정보 등에 대한 촉각 그래픽이 제공되는 레이어이다. 사용자는 제2 레이어(4200)를 통하여 텍스트 입력을 수행하거나, 그래픽 정보를 인지하거나, GUI 요소들을 인지하거나, 사용자의 컨트롤 입력을 수행할 수 있다.
상기 제3 레이어(4300)는 상기 어플리케이션실행부(3000)로부터 출력되는 촉각 그래픽엘리먼트에 대한 세부정보를 점자형태로 표시하는 레이어이다. 사용자는 상기 제3 레이어(4300)로 출력되는 점자를 인지함으로써 촉각 엘리먼트들에 대한 세부 정보를 확인할 수 있다. 전술한 바와 같이, 이와 같은 세부정보의 확인은 상기 TTS변환부(2220)에 의하여 변환된 음성에 의하여도 이루어질 수 있다.
한편, 전술한 촉각 인터페이스장치 및 이를 제어하는 컴퓨팅 장치는 출력 및 입력이 가능한 촉각 인터페이스장치 및 이에 대한 제어의 양상에서 실시예가 서술되었으나, 본 발명은 이에 한정되지 않고, 출력만 가능한 촉각 인터페이스장치 혹은 입력만 가능한 촉각인터페이스 장치에 대한 제어방법, 장치, 및 비일시적 컴퓨터-판독가능 저장매체에 대한 발명도 포함한다.
도 11은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 방법의 단계를 개략적으로 도시하는 도면이다.
도 11에 도시된 바와 같이, 본 실시예의 촉각 인터페이스장치를 제어하는 방법은 컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서, 상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계(S100); 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계(S200)을 포함한다. 상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함한다.
상기 촉각 인터페이스장치는 촉각에 의한 촉각 그래픽을 제공할 수 있고, 상기 입력정보생성단계(S100) 및 상기 출력정보생성단계(S200)는 리얼-타임으로 수행될 수 있다. 구체적으로 사용자는 상기 출력정보생성단계(S200)에 의하여 출력된 촉각 그래픽을 인지하고, 이에 따라 입력을 수행하고, 사용자의 입력을 어플리케이션실행부(3000)에 입력할 수 있는 형태로 상기 입력정보생성단계(S100)에서 변환 혹은 입력정보를 생성함이 바람직하다.
도 12은 본 발명의 일 실시예에 따른 입력정보생성단계(S100)의 과정들을 개략적으로 도시하는 도면이다.
상기 입력정보생성단계(S100)는, 촉각 인터페이스장치에서의 입력을 수신하는 입력수신단계(S110); 상기 입력정보의 카테고리를 구분하는 입력카테고리구분단계(S120); 상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성 혹은 상기 입력을 상기 어플리케이션에 입력할 수 있는 형태의 입력정보로 변환하는 어플리케이션입력생성단계(S130)를 포함한다.
상기 입력의 카테고리는 점자키 입력에 의한 점자정보, 방향키 입력에 의한 입력좌표이동정보, 및 명령어키 입력에 의한 명령정보를 포함한다.
상기 점자키 입력은 현재 시각장애인들이 일반적으로 많이 사용하는 점자를 일반문자로 변환하여 컴퓨터에 문자 입력신호를 전달하는 점자키보드에 의한 입력이다. 점자키보드는 기존에 널리 쓰이고 있는 점자키보드와 마찬가지로 점자를 입력 받아 촉각 인터페이스장치 혹은 촉각 인터페이스장치에 연결된 사용자 단말기에 전달한다. 점자는 여러 개의 점이 모여 하나의 글자를 구성하기 때문에 점자키보드는 동시에 눌린 버튼의 정보를 전송할 수 있다.
즉, 상기 입력의 카테고리가 점자정보인 경우, 상기 어플리케이션입력생성단계(S130)는, 상기 점자정보에 따라 상기 어플리케이션에서의 입력좌표에서 입력되는 텍스트정보를 생성할 수 있다.
상기 방향키 입력은 입력좌표를 변경하게 하는 입력이다. 방향키는, 위, 아래, 좌, 우로 이루어질 수 있고, 사용자가 방향키를 입력함에 따라, 상기 에플리케이션에서의 입력좌표 및/또는 커서 및 촉각그래픽에 표시되는 표시엘리먼트들에서의 입력좌표 혹은 커서가 이동할 수 있다.
본 발명의 일 실시예에서는 방향키의 입력에 따라서, 애플리케이션에서의 입력좌표가 변경되고, 변경된 애플리케이션에서의 입력좌표가 상기 촉각 그래픽으로 구현되어 표시될 수 있다. 여기서, 컴퓨팅장치에서 실행되는 어플리케이션에서의 실제 좌표를 입력좌표라고 하고, 촉각 인터페이스장치에서 구현되는 촉각그래픽에서의 입력좌표를 촉각입력좌표라고 할 수 있다.
본 발명의 일 실시예에서는 방향키의 입력에 따라서, 촉각그래픽의 표시엘리먼트들 중 어느 하나 혹은 인접그룹을 지칭하는 촉각입력좌표가 변경되고, 변경된 표시엘리먼트들 중 어느 하나 혹은 인접그룹을 지칭하는 촉각입력좌표가 상기 애플리케이션에서의 입력좌표로 매핑될 수도 있다.
혹은, 본 발명의 일 실시예에서는 방향키의 입력에 따라서, 촉각그래픽의 표시엘리먼트들 중 어느 하나 혹은 인접그룹을 지칭하는 촉각입력좌표가 변경되고, 촉각입력좌표가 지칭하는 표시엘리먼트 혹은 인접그룹이 실행 혹은 변경등의 작업이 수행될 때, 최종적으로 변경된 촉각입력좌표에 대응되는 표시엘리먼트들 중 어느 하나 혹은 인접그룹에 대한 입력좌표가 상기 애플리케이션에서의 입력좌표로 매핑될 수도 있다.
즉, 상기 입력의 카테고리가 입력좌표이동정보인 경우, 상기 어플리케이션입력생성단계(S130)는, 상기 입력좌표이동정보에 따라, 상기 어플리케이션에서의 새로운 입력좌표를 생성할 수 있다.
전자기기가 PC인 경우 PC의 모니터 표시화면의 GUI 엘리먼트들을 재구성하여 출력되는 촉각 그래픽에는 촉각 아이콘들이 구현되어 있다. 이와 같은 촉각 아이콘은 상기 모니터 표시화면과 공간적으로 1:1 매칭이 되지 않기 때문에, 상기 촉각 인터페이스장치에서의 터치입력이 발생한 입력좌표를 그대로 사용할 경우 어떤 GUI 엘리먼트에 대한 이벤트가 발생되었는지를 전자기기의 어플리케이션실행부(3000)에서는 판별할 수 없다. 입력좌표이동정보를 갖는 키입력에 대한 어플리케이션입력생성단계(S130)는 실질적으로 좌표매핑 기능에 해당한다. 바람직하게는, 현재 촉각 그래픽으로 출력되고 있는 촉각 아이콘 객체와 실제 어플리케이션실행부(3000)을 구동하는 경우 모니터 표시화면에 출력되는 GUI 엘리먼트를 매핑시키기 위한 기능으로 매핑 테이블을 구성하여 인식된 터치좌표를 매핑한다.
바람직하게는 상기 촉각입력좌표가 위치하고 있는 촉각픽셀의 영역에 포함되는 1 이상의 촉각셀이 주기적으로 상하운동 혹은 진동을 할 수 있다. 이와 같은 촉각픽셀의 상하운동 혹은 진동은 사용자로 하여금 자신이 촉각으로 어떤 표시엘리먼트에 커서가 놓여 있는지 혹은 촉각입력좌표가 어디에 있는지를 파악할 수 있다.
상기 명령어키 입력에 의한 상기 명령정보는 실행 명령, 스페이스 명령, 및 기설정된 단축명령 중 1 이상을 포함한다. 더욱 바람직하게는, 상기 명령정보는 입력좌표 혹은 촉각입력좌표가 놓여져 표시엘리먼트의 세부 텍스트 정보에 대한 TTS실행 혹은 점자출력실행에 대한 명령을 더 포함할 수 있다.
도 13은 본 발명의 일 실시예에 따른 출력정보생성단계(S200)의 과정들을 개략적으로 도시하는 도면이다. 상기 출력정보생성단계(S200)는 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역을 촉각 그래픽데이터로 변환하는 단계이다.
상기 출력정보생성단계(S200)는, 상기 어플리케이션실행부(3000)에 의해 실행되는 어플리케이션의 출력정보를 수신하는 단계(S210); 상기 어플리케이션실행부(3000)에 의하여 실행되는 어플리케이션에서의 포커스영역에서 표시되는 표시화면이 변경되었는지를 판단하는 변경판단단계(S220); 상기 어플리케이션실행부(3000)에서 실행되는 어플리케이션에서의 포커스영역에서 표시되는 표시화면에 기초하여 촉각 그래픽데이터를 생성하는 촉각 그래픽생성단계(S230); 및 상기 촉각 그래픽데이터를 촉각 인터페이스장치로 전송하는 단계(S240)를 포함한다.
바람직하게는, 상기 변경판단단계에서 표시화면이 변경되었다고 판단되는 경우, 상기 촉각 그래픽변환단계를 수행한다.
도 14은 본 발명의 일 실시예에 따른 촉각 그래픽변환단계(S230)의 과정들을 개략적으로 도시하는 도면이다.
실제 어플리케이션실행부(3000)에 의하여 어플리케이션을 실행 경우 모니터 표시화면에 출력되는 모든 GUI 엘리먼트들을 촉각 그래픽으로 변환하여 이를 촉각 인터페이스장치에 출력하는 경우, 사용자가 촉각 그래픽을 이해하는 데 어려움이 발생할 수 있다.
따라서 본 발명의 일 실시예에 따르면, 상기 촉각 그래픽생성단계(S230)는 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역을 촉각 그래픽데이터로 변환함이 바람직하다. 즉, 사용자에 의하여 포커싱되는 영역에 해당하는 포커스영역만을 혹은 포커스영역을 중심으로 촉각 그래픽데이터로 변환하고 이를 촉각 그래픽으로 표시함으로써 사용자는 현재 포커싱되는 영역만을 빠르고 편리하게 인지할 수 있고, 사용자의 인지 및 입력에 있어서의 오류를 제거할 수 있다.
한편, 상기 포커스영역은 사용자가 이전의 입력 중 1 이상에 의하여 결정된다. 예를들어, 사용자가 촉각 인터페이스장치의 방향키 입력으로 어플리케이션에서의 입력좌표 혹은 촉각그래픽에서의 촉각입력좌표를 이동시키거나, 또는 입력좌표 혹은 촉각입력좌표를 이동시키고 실행키 입력 등의 키입력에 의하여 해당 입력좌표 혹은 촉각입력좌표가 지칭하는 영역이 포커싱이 되는 경우, 상기 포커싱영역이 결정된다.
본 발명의 일 실시예에 따르면 상기 촉각 그래픽생성단계(S230)는, 상기 포커스영역을 복수의 포커스부분영역으로 구분하고, 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 동작을 수행함으로써 촉각 그래픽데이터를 생성한다. 상기 촉각 그래픽엘리먼트는 촉각 아이콘을 표현할 수 있다.
즉, 상기 어플리케이션실행부(3000)에 의하여 표시되는 표시화면을 촉각 그래픽데이터로 변환하는 촉각 그래픽생성단계(S230)는 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역을 결정 혹은 수신하는 포커스영역결정/수신단계(S231);
상기 포커스영역을 복수의 포커스부분영역으로 구분하는 포커스부분영역구분단계(S232);
기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 촉각 그래픽엘리먼트변환단계(S233); 및
상기 촉각 그래픽엘리먼트를 포함하는 촉각 그래픽데이터를 생성하는 촉각 그래픽데이터생성단계(S234);를 포함한다.
도 16은 이와 같은 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 기설정된 변환규칙의 예를 도시한다.
예를들어, 도 16에서 표시엘리먼트(GUI엘리먼트)가 'Button'에 해당하는 경우, 어플리케이션실행부(3000)에 의하여 컴퓨팅장치의 표시화면에 출력되는 형태는 도 20에서 Visual Design이라는 항목에 표시된 형태의 GUI이다. 그리고 이와 같은 'Button'에 대한 표시엘리먼트를 도 20에 도시된 변환규칙에 따라서, 촉각그래픽으로 표현할 수 있는 촉각그래픽엘리먼트인 촉각 아이콘으로 변환하고, 변환된 촉각 아이콘을 상기 촉각 인터페이스장치에서 촉각 그래픽으로 구현한다.
한편, 사용자의 촉각 인터페이스장치에서의 키입력, 바람직하게는 입력좌표가 지칭하는 표시엘리먼트 혹은 촉각 아이콘의 텍스트 정보를 사운드 형태로 출력하는 단축키입력 혹은 입력좌표가 지칭하는 표시엘리먼트의 텍스트 정보를 점자 형태로 출력하는 단축기입력에 의하여, 표시엘리먼트 혹은 상기 촉각 아이콘에 대한 세부 정보를 촉각 인터페이스장치의 점자형태의 촉각 그래픽 혹은 상기 TTS변환에 의한 음성으로 출력할 수도 있다.
도 15는 본 발명의 일 실시예에 따른 촉각 그래픽(TG)을 개략적으로 도시하는 도면이다. 상기 촉각 그래픽은 복수의 레이어를 포함하고, 도 15에 도시된 실시예에서는 상기 복수의 레이어는 제1 레이어(4100), 제2 레이어(4200), 및 제3 레이어(4300)를 포함한다.
상기 복수의 포커스부분영역은 각각 상기 복수의 레이어에 대응한다. 즉, 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역은 복수의 포커스부분영역으로 구성되어 있고, 이와 같은 복수의 포커스부분영역의 각각은 상기 복수의 레이어 각각에 대응한다. 따라서, 상기 촉각 그래픽변환부(2210)는 포커스부분영역 혹은 레이어 별로 표시화면을 촉각 그래픽으로 변환한다.
상기 제1 레이어(4100)는 화면 컨트롤 영역으로서, 현재 촉각 인터페이스장치에서 출력되는 촉각 그래픽의 타이틀을 지칭하는 아이콘, '이전', '확인', '취소', '닫기'와 같은 화면전환을 위한 버튼들의 촉각 아이콘 중 1 이상으로 구성될 수 있다. 즉, 제1 레이어(4100)는 상기 어플리케이션실행부(3000)로부터 출력되는 상기 표시화면의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 포함한다.
상기 제2 레이어(4200)는 메인 화면 영역으로 버튼, 메뉴, 폴더, 그래픽 정보 등에 대한 촉각 그래픽이 제공되는 레이어이다. 사용자는 제2 레이어(4200)를 통하여 텍스트 입력을 수행하거나, 그래픽 정보를 인지하거나, GUI 요소들을 인지하거나, 사용자의 컨트롤 입력을 수행할 수 있다.
상기 제3 레이어(4300)는 상기 어플리케이션실행부(3000)로부터 출력되는 촉각 그래픽엘리먼트에 대한 세부정보를 점자형태로 표시하는 레이어이다. 사용자는 상기 제3 레이어(4300)로 출력되는 점자를 인지함으로써 촉각 엘리먼트들에 대한 세부 정보를 확인할 수 있다. 전술한 바와 같이, 이와 같은 세부정보의 확인은 상기 TTS변환부(2220)에 의하여 변환된 음성에 의하여도 이루어질 수 있다.
이하에서는, 본 발명에 의한 촉각 인터페이스장치를 제어하는 방법에 의하여 변환되는 어플리케이션실행부(3000)에서 출력되는 표시화면에 대한 실시예들에 대하여 설명하도록 한다. 이하에서의 설명에서는 도 16에 도시된 표시화면의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 기설정된 변환규칙을 적용하도록 한다.
도 17은 컴퓨팅 장치(B)의 표시화면의 제1 예를 도시하는 도면이다.
도 17에서 포커스영역은 상기 어플리케이션이 실행되는 창에 해당하고, 포커스부분영역은 (1), (2), (3), (4)를 포함하는 제1 포커스부분영역 및 (5)를 포함하는 제2 포커스부분영역으로 나누어질 수 있다.
상기 (1)은 본 어플리케이션의 타이틀에 해당하고, 상기 (2)는 본 어플리케이션의 메뉴바에 해당하고, 상기 (3)은 본 어플리케이션의 '최소화'버튼에 해당하고, 상기 (4)는 본 어플리케이션의 '닫기'버튼에 해당하고, 상기 (5)는 본 어플리케이션에서 표시하는 객체들을 표시하는 창에 해당한다.
도 18는 도 17에 도시된 표시화면의 제1 예를 본 발명의 일 실시예에 따라 촉각 그래픽으로 변환하여 출력한 촉각 그래픽을 도시하는 도면이다.
상기 (1), (2), (3), 및 (4)를 포함하는 제1 포커스부분영역은 촉각 그래픽의 상단의 레이어(제1 레이어(4100))로 변환 혹은 매핑되고, 상기 (5)를 포함하는 제2 포커스부분영역은 촉각 그래픽의 중단의 레이어(제2 레이어(4200))로 변환 혹은 매핑된다. 전술한 바와 같이 매핑시의 변환규칙은 상기 도 16에 도시된 규칙에 따른다.
한편, 촉각 그래픽의 하단의 레이어는 상기 제1 레이어(4100) 및 제2 레이어(4200)에서의 촉각 아이콘의 텍스트 정보를 점자형태로 나타내는 레이어에 해당한다.
이와 같은 하단의 레이어는 상기 키패드에 의하여 입력좌표 혹은 촉각입력좌표가 변경하는 경우에 자동적으로 입력좌표 혹은 촉각입력좌표에 대응되는 촉각 아이콘의 텍스트 정보를 점자형태로 나타내거나, 혹은 사용자가 단축키를 입력하는 경우 현재의 입력좌표 혹은 촉각입력좌표에 대응하는 촉각 아이콘의 텍스트 정보를 점자형태로 나타낼 수 있다.
예를들어, (1) 영역은 타이틀에 해당하고, 이는 도 16에 도시된 변환규칙에 의하여 기설정된 촉각 아이콘으로 변환되어, 촉각 그래픽의 제1 레이어(4100)에 구현된다. 이에 대해 사용자가 입력좌표 혹은 촉각입력좌표를 상기 (1) 영역에 해당하는 촉각 아이콘에 놓고, 점자정보를 표시하는 단축키를 입력하는 경우, 상기 제3 레이어(4300)에서는 상기 타이틀의 세부정보에 해당하는 “Haptic Editor”를 점자형태로 출력될 수 있다. 혹은, 사용자가 입력좌표 혹은 촉각입력좌표를 상기 (1) 영역에 해당하는 촉각 아이콘으로 변경하면, 자동적으로 상기 제3 레이어(4300)에서는 상기 타이틀의 세부정보에 해당하는 “Haptic Editor”를 점자형태로 출력될 수 있다.
도 19는 컴퓨팅 장치(B)의 표시화면의 제2 예를 도시하는 도면이다.
도 19의 표시화면은 상기 도 17에 도시된 어플리케이션에서 (2) 영역에 해당하는 메뉴바를 선택하고, 이 중 'Page Control'을 입력 혹은 선택 했을 때의 표시화면이다.
이 경우, 포커스영역은 상기 도 19에서 “Focused area”로 지칭되는 영역에 해당하고, 포커스부분영역은 (1)을 포함하는 제1 포커스부분영역 및 (2) 내지 (6)을 포함하는 제2 포커스부분영역으로 나누어질 수 있다.
상기 (1)은 메뉴바에서 선택한 타이틀에 해당하고, 상기 (2) 내지 (6)은 해당 타이틀 내에서 선택할 수 있는 서브메뉴에 해당한다.
도 20는 도 19에 도시된 표시화면의 제2 예를 본 발명의 일 실시예에 따라 촉각 그래픽으로 변환하여 출력한 촉각 그래픽을 도시하는 도면이다.
상기 (1), (7)을 포함하는 제1 포커스부분영역은 촉각 그래픽의 상단의 레이어(제1 레이어(4100))로 변환 혹은 매핑되고, 상기 (2) 내지 (6)을 포함하는 제2 포커스부분영역은 촉각 그래픽의 중단의 레이어(제2 레이어(4200))로 변환 혹은 매핑된다. 전술한 바와 같이 매핑시의 변환규칙은 상기 도 20에 도시된 규칙에 따른다. 한편 (7)은 '뒤로가기'버튼에 대한 촉각 아이콘으로서, 실제로 어플리케이션의 표시화면에는 포함되어 있지 않지만, 본 발명에 따른 제어방법에서 사용자의 편의성을 확대시키기 위하여 자체적으로 생성한 아이콘에 해당한다.
한편, 촉각 그래픽의 하단의 레이어는 상기 제1 레이어(4100) 및 제2 레이어(4200)에서 입력좌표 혹은 촉각입력좌표에 대응되는 촉각 아이콘의 텍스트 정보를 점자형태로 나타내는 레이어에 해당한다.
도 21 내지 도 27은 본 발명의 일 실시예에 따른 사용자의 조작에 따른 촉각 인터페이스장치의 출력을 도시하는 도면이다.
본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 방법은 컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서, 상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고, 상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함한다.
이와 같은 촉각 인터페이스장치를 제어하는 방법은 시각장애인도 햅틱 디스플레이를 기반으로 하여 운영체제 및 어플리케이션의 운용, 예를들어 제어 및 정보 입력을 보다 효율적으로 하는 것을 가능하게 한다.
본 발명의 일 실시예에 따르면 사용자는 점자키 및 방향키 등의 키 입력에 의하여 1차적으로는 촉각 인터페이스장치에 제어 및 정보 입력을 수행할 수 있고, 이와 같이 입력된 사항들이 2차적으로 어플리케이션 수행부에서 수행되고 있는 운영체제 혹은 어플리케이션에 입력될 수 있다.
한편, 본 발명의 일 실시예에서는 시각장애인이 햅틱 디스플레이를 기반으로 일반인이 사용하는 운영체제(Windows/ Android/iOS/Linux 등) 및 어플리케이션의 동작을 제어함과 동시에 정보를 입력할 때, 시각장애인인 사용자가 현재 어플리케이션에서 원하는 곳에 입력좌표를 이동시키고, 또한 현재 입력좌표가 어느 표시엘리먼트에 위치하고 있는지를 파악할 수 있어야 한다.
상기 입력좌표의 이동은 전술한 바와 같은 방향키 등의 키입력에 의하여 이루어질 수 있다. 한편, 본 발명의 일 실시예에서는 현재 어느 표시엘리먼트에 입력좌표가 위치하고 있는 지를 촉각 그래픽으로서 나타낸다.
즉, 상기 출력정보생성단계는, 상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면뿐만 아니라 상기 포커스영역 내의 입력좌표에 기초하여 촉각 그래픽데이터를 생성하는 촉각 그래픽생성단계를 포함하고, 상기 촉각 그래픽은 촉각 그래픽데이터에 기초하여 구현된다.
한편, 상기 촉각 그래픽데이터는 상기 표시화면의 표시엘리먼트가 기설정된 변환규칙에 따라 변환된 촉각 그래픽엘리먼트 및 상기 표시화면의 그래픽 혹은 상기 그래픽이 간략화되어 형성된 그래픽요소를 구현하기 위한 데이터를 포함한다.
여기서, 표시엘리먼트 및 그래픽엘리먼트는 전술한 도 16에 도시된 GUI 엘리먼트에 해당한다. 한편, 표시화면의 그래픽 혹은 그래픽요소는 아이콘 혹은 폴더가 아닌 그림을 구성하는 선, 원, 삼각형 등에 해당한다.
본 발명의 일 실시예에서는 사용자가 현재 자신의 입력좌표가 어디에 위치하는 지를 촉각 그래픽으로 파악할 수 있다. 더욱 바람직하게는 상기 입력좌표는 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소의 각각의 위치에 대응된다.
즉, 제1 촉각 그래픽엘리먼트, 제2 촉각 그래픽엘리먼트, 제1 그래픽요소, 제3 촉각 그래픽엘리먼트가 촉각 인터페이스장치에서 출력되고, 현재 입력좌표가 제1 촉각 그래픽엘리먼트에 위치하고 있을 때, 사용자가 우측으로 이동하는 방향키를 누르는 경우, 제2 촉각 그래픽엘리먼트로 입력좌표가 이동하고 사용자가 촉각을 이용하여 이동된 입력좌표가 인지할 수 있다. 마찬가지로, 이후 입력좌표가 제2 촉각 그래픽엘리먼트에 위치하고 있을 때, 사용자가 우측으로 이동하는 방향키를 또 누르는 경우, 제1 그래픽요소로 이동할 수 있다. 즉, 상기 입력좌표는 촉각 그래픽엘리먼트 혹은 그래픽요소의 각각의 위치에 대응되도록 불연속적으로 입력될 수 있음이 바람직하다. 즉, 사용자가 방향키를 누르는 경우, 어플리케이션에서의 입력좌표가 이동하되, 연속적으로 1픽셀 단위로 움직이는 것이 아니라, 촉각 인터페이스장치의 출력에서 표시되는 촉각 그래픽엘리먼트 혹은 그래픽요소를 기준으로 이동함이 바람직하다.
본 발명의 바람직한 실시예에서는 현재의 입력좌표를 사용자가 촉각적으로 인지할 수 있도록, 촉각 그래픽을 실시간으로 출력한다. 구체적으로, 상기 촉각 그래픽생성단계는, 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소에 상기 입력좌표가 놓여져 있는 경우, 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소에 해당하는 촉각 그래픽의 세부영역의 촉각픽셀 중 1 이상을 상하 이동시키는 촉각 그래픽데이터를 생성한다. 즉, 입력좌표가 놓여져 있는 촉각 그래픽엘리먼트 혹은 그래픽요소의 경우, 대응되는 영역의 일부의 촉각픽셀이 상하 이동을 하고, 사용자는 입력을 하지 않음에도 불구하고 주기적으로 변경되는 촉각픽셀을 감지함으로써, 자신의 입력좌표가 어떠한 아이콘, 그래픽요소 등에 위치하고 있는 지를 파악할 수 있다.
또한, 시각장애인이 해당 촉각 그래픽엘리먼트의 세부적인 정보를 보다 상세하게 인지하기 위하여, 상기 출력정보생성단계는 상기 입력좌표에 대응하는 촉각 그래픽엘리먼트의 세부정보에 기초하여, 상기 촉각 인터페이스장치에서 촉각픽셀로 표현할 수 있는 점자정보 혹은 상기 촉각 인터페이스장치에서 재생할 수 있는 사운드정보를 생성하고, 상기 촉각 인터페이스장치로의 출력정보는 상기 점자정보 혹은 상기 사운드정보를 포함할 수 있다.
이하에서는 도 21 내지 27을 참조하여 본 발명의 일 실시예에 따라 촉각 인터페이스장치를 제어하는 방법의 촉각 그래픽 표시화면들을 설명하도록 한다.
도 21 및 27에 도시된 실시예의 촉각 인터페이스장치를 제어하는 방법에서 사용되는 촉각 인터페이스의 장치의 구성은 다음과 같다.
(출력부)
1. 다중배열로 구성된 촉각픽셀: 운영체제의 폴더 및 아이콘 혹은 어플리케이션의 메뉴 및 버튼과 같은 graphic user interface(GUI), 그래픽 요소(이미지), 및 운영체제의 폴더, 아이콘, 어플리케이션의 메뉴, 혹은 버튼에 포함되는 텍스트점자정보를 시각장애인이 인지할 수 있는 촉각그래픽 형태로 출력.
(입력부)
2. 점자키보드/방향키 기반 제어/입력인터페이스: 시각장애인이 상기에 제시한 방향키, 점자키보드 및 단축키를 기반으로 일반인이 키보드를 사용하여 운영체제 및 어플리케이션을 운용하는 것과 동일한 운용 기능을 수행.
(1) 운영체제의 폴더 및 아이콘 혹은 어플리케이션의 메뉴 및 버튼을 시각장애인이 일반키보드의 방향키와 동일한 동작(컴포넌트에 대한 포커스 이동)으로 제어할 수 있게끔 하는 상/하/좌/우 버튼으로 구성된 방향키.
(2) 운영체제 및 어플리케이션에 일반키보드와 동일하게 정보를 입력하고 실행할 수 있게끔 하는 점자키보드(실행 및 스페이스 키 포함; 실행 - 더블클릭 / 스페이스 - 클릭) 및 다수 개의 단축키 버튼.
도 21은 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.
도 21에서는 입력좌표는 제2 레이어(중단 레이어)에 있는 첫번째 촉각 그래픽엘리먼트(빗금친 영역)에 위치하고 있다. 여기서, 상기 촉각 그래픽생성단계는 실시간으로 첫번째 촉각그래픽엘리먼트를 표현하는 3x3의 촉각픽셀의 세부영역에서 가운데 (2,2)의 촉각픽셀을 실시간으로 상/하 이동시키는 촉각 그래픽데이터를 생성하고, 촉각 인터페이스장치는 이와 같은 촉각 그래픽데이터를 출력함으로써, 사용자는 현재 입력좌표, 혹은 세부적으로 포커싱되고 있는 컴포넌트를 확인할 수 있다.
즉, 도 21의 (A)와 (B)의 촉각 그래픽이 주기적으로 반복전환함으로써, 사용자는 현재 입력좌표가 어느 촉각 그래픽엘리먼트에 놓여있는지를 확인할 수 있다.
한편, 최하단의 제3 레이어는 현재 입력좌표가 놓여져 있는 촉각 그래픽엘리먼트의 점자정보를 출력할 수 있다.
도 22은 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.
도 22는 도 21의 촉각 그래픽 표시상태에서 사용자가 우측 방향키를 입력한 후의 촉각 그래픽에 해당한다. 도 22에서는 입력좌표는 제2 레이어(중단 레이어)에 있는 두번째 촉각 그래픽엘리먼트(빗금친 영역)에 위치하고 있다. 여기서, 상기 촉각 그래픽생성단계는 실시간으로 두번째 촉각그래픽엘리먼트를 표현하는 3x3의 촉각픽셀의 세부영역에서 가운데 (2,2)의 촉각픽셀을 실시간으로 상/하 이동시키는 촉각 그래픽데이터를 생성하고, 촉각 인터페이스장치는 이와 같은 촉각 그래픽데이터를 출력함으로써, 사용자는 현재 입력좌표, 혹은 세부적으로 포커싱되고 있는 컴포넌트를 확인할 수 있다.
즉, 도 22의 (A)와 (B)의 촉각 그래픽이 주기적으로 반복전환함으로써, 사용자는 방향키 입력 후 현재 입력좌표가 어느 촉각 그래픽엘리먼트에 놓여있는지를 확인할 수 있다
도 23은 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.
도 23의 (B)는 도 22의 촉각 그래픽 표시상태에서 사용자가 실행키를 입력한 후의 촉각 그래픽에 해당한다. 도 23의 (B)는 도 23의 (A)에서 입력좌표가 위치하고 있는 두번째 촉각 그래픽엘리먼트를 실행 혹은 폴더열기 등의 명령이 실행된 후의 촉각 그래픽이다. 즉, 도 23의 (B)는 도 23의 (A)에서 입력좌표가 위치하고 있는 두번째 촉각 그래픽엘리먼트에 대한 실행화면 혹은 세부폴더의 촉각 그래픽에 해당한다.
한편, 본 실시예에서는 새로운 촉각 그래픽엘리먼트가 실행된 후에 바로 입력좌표가 표시(예를들어, (2,2)의 셀이 상하이동)되지 않고, 여기서 사용자가 방향키 등의 추가키를 입력하는 경우에 입력좌표가 표시될 수 있다.
도 24는 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.
도 24의 (B)는 도 24의 (A)와 같은 촉각 그래픽 표시상태에서 사용자가 세번째 촉각 그래픽엘리먼트에 입력좌표를 위치하고 실행키를 입력한 후의 촉각 그래픽에 해당한다. 도 24의 (B)는 그래픽 요소(이미지)를 촉각 그래픽으로 표시하는 어플리케이션의 실행화면에 해당한다. 여기서, 역 U 자의 촉각그래픽은 텍스트 입력을 지칭하는 촉각 그래픽엘리먼트에 해당하고, 도 24의 (B)는 현태 주어진 이미지에서 텍스트를 입력할 수 있는 상태의 촉각 그래픽에 해당한다.
도 25는 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.
도 25의 (A) 및 (B)는 반복전환된다. 여기서, 역 U 자의 촉각그래픽은 텍스트 입력을 지칭하는 촉각 그래픽엘리먼트에 해당하고, 도 25의 (B)는 현태 주어진 이미지에서 텍스트를 입력할 수 있는 상태의 촉각 그래픽에 해당한다. 여기서 역 U자의 촉각그래픽은 전체적으로, 주기적으로 상하이동하고 사용자는 이와 같은 촉각셀의 이동을 감지하여 현재 입력좌표가 네모 위의 상단에 위치함을 알 수 있다. 여기서 사용자가 점자정보를 입력함으로써 현재 촉각그래픽으로 표현되고 있는 그래픽(이미지)에 대하여 텍스트 메모 등의 기능을 수행할 수 있다.
도 26는 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.
도 26의 (A) 에서 사용자는 점자키를 이용하여 텍스트 정보를 입력한다. 이후 촉각 그래픽은 도 26의 (B)와 같이 변경된다. 여기서 역 U자형의 객체(촉각 그래픽엘리먼트)는 해당 이미지에서 임시적 혹은 영구적으로 저장되게 되고, 이와 같은 텍스트 정보가 있다는 것이 역 U자의 촉각 그래픽엘리먼트로 표현된다.
도 27는 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.
도 27의 (A)는 도 26의 (B) 상태에서 사용자가 아래쪽 방향키를 누른 다음의 화면에 해당한다. 즉, 사용자가 도 26의 (B)에서와 같이 현재 입력좌표가 위치하는 곳에 대하여 텍스트 입력을 수행하고, 이후 입력좌표를 도 27의 (A)와 같이 변경하였을 때, 도 27의 (A)와 같은 촉각 그래픽이 표현된다. 여기서, 텍스트가 입력되어 있기 때문에, 역 U 자의 촉각 그래픽엘리먼트는 촉각 그래픽으로 남게 된다.
이후, 도 27(B)와 같이 현재 입력좌표가 위치하는 사각형의 그래픽(이미지)는 이미지 전체를 표현하는 촉각셀들이 모두 상하 이동을 주기적으로 수행한다. 이와 같은 실시간적인 촉각 그래픽에 의하여 사용자는 현재 입력좌표가 위치하는 촉각 그래픽의 요소를 인지할 수 있다.
도 28은 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.
도 28에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)은 촉각 인터페이스 장치에 연결된 사용자단말기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.
메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.
이러한 도 28의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 28에 도시된 일부 컴포넌트가 생략되거나, 도 28에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 18에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

  1. 프로세서를 포함하는 컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서,
    상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및
    상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고,
    상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  2. 청구항 1에 있어서,
    상기 촉각 인터페이스장치로의 출력정보는,
    상기 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 대한 정보를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  3. 청구항 1에 있어서,
    상기 입력정보생성단계는,
    상기 촉각 인터페이스장치에서의 입력의 카테고리를 구분하는 입력카테고리구분단계;
    상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성하는 어플리케이션입력생성단계;를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  4. 청구항 3에 있어서,
    상기 입력의 카테고리는 점자키 입력에 의한 점자정보, 방향키 입력에 의한 입력좌표이동정보, 및 명령어키 입력에 의한 명령정보를 포함하고,
    상기 명령정보는 실행 명령, 스페이스 명령, 및 기설정된 단축명령 중 1 이상을 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  5. 청구항 3에 있어서,
    상기 입력의 카테고리가 입력좌표이동정보인 경우,
    상기 어플리케이션입력생성단계는,
    상기 입력좌표이동정보에 따라, 상기 어플리케이션에서의 새로운 입력좌표를 생성하는, 촉각 인터페이스장치를 제어하는 방법.
  6. 청구항 5에 있어서,
    상기 입력의 카테고리가 점자정보인 경우,
    상기 어플리케이션입력생성단계는,
    상기 점자정보에 따라 상기 어플리케이션에서의 입력좌표에서 입력되는 텍스트정보를 생성하는, 촉각 인터페이스장치를 제어하는 방법.
  7. 청구항 1에 있어서,
    상기 출력정보생성단계는,
    상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면에 기초하여 촉각 그래픽데이터를 생성하고,
    상기 촉각 그래픽은 상기 촉각 그래픽데이터에 기초하여 구현되는, 촉각 인터페이스장치를 제어하는 방법.
  8. 청구항 7에 있어서,
    상기 출력정보생성단계는,
    상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면이 변경되었는지 판단하는 변경판단단계; 및
    상기 변경판단단계에서 표시화면이 변경되었다고 판단되는 경우, 상기 상기 표시화면에 대한 촉각그래픽데이터를 생성하는 촉각그래픽변환단계를 포함하는 촉각 인터페이스장치를 제어하는 방법.
  9. 청구항 8에 있어서,
    상기 촉각 그래픽변환단계는,
    상기 어플리케이션으로부터 출력되는 표시화면에서의 상기 포커스영역을 포커스부분영역으로 구분하는 포커스부분영역구분단계; 및
    기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 촉각 그래픽엘리먼트변환단계;를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  10. 청구항 7에 있어서
    상기 촉각 그래픽은 복수의 레이어를 포함하고,
    상기 복수의 레이어 중 1 이상은 상기 어플리케이션으로부터의 출력 중 포커스영역의 표시화면을 변경시키는 명령을 실행하는 아이콘에 대응하는 촉각 아이콘을 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  11. 청구항 9에 있어서,
    상기 촉각 그래픽은 복수의 레이어를 포함하고,
    상기 포커스부분영역은 상기 복수의 레이어에 대응하는, 촉각 인터페이스장치를 제어하는 방법.
  12. 청구항 1에 있어서,
    상기 출력정보생성단계는,
    상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 기초하여 촉각 그래픽데이터를 생성하는 촉각 그래픽생성단계를 포함하고,
    상기 촉각 그래픽은 촉각 그래픽데이터에 기초하여 구현되는, 촉각 인터페이스장치를 제어하는 방법.
  13. 청구항 12에 있어서,
    상기 촉각 그래픽데이터는 상기 표시화면의 표시엘리먼트가 기설정된 변환규칙에 따라 변환된 촉각 그래픽엘리먼트 및 상기 표시화면의 그래픽 혹은 상기 그래픽이 간략화되어 형성된 그래픽요소를 구현하기 위한 데이터를 포함하고,
    상기 입력좌표는 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소의 각각의 위치에 대응되는, 촉각 인터페이스장치를 제어하는 방법.
  14. 청구항 13에 있어서,
    상기 출력정보생성단계는 상기 입력좌표에 대응하는 촉각 그래픽엘리먼트의 세부정보에 기초하여, 상기 촉각 인터페이스장치에서 촉각픽셀로 표현할 수 있는 점자정보 혹은 상기 촉각 인터페이스장치에서 재생할 수 있는 사운드정보를 생성하고, 상기 촉각 인터페이스장치로의 출력정보는 상기 점자정보 혹은 상기 사운드정보를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
  15. 청구항 14에 있어서,
    상기 촉각 그래픽생성단계는, 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소에 상기 입력좌표가 놓여져 있는 경우, 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소에 해당하는 촉각 그래픽의 세부영역의 촉각픽셀 중 1 이상을 상하 이동시키는 촉각 그래픽데이터를 생성하는, 촉각 인터페이스장치를 제어하는 방법.
  16. 비일시적 컴퓨터-판독가능 매체로서,
    상기 비일시적 컴퓨터-판독가능 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은:
    사용자와 상호작용을 할 수 있는 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및
    상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고,
    상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하는, 비일시적 컴퓨터-판독가능 매체.
  17. 청구항 16에 있어서,
    상기 촉각 인터페이스장치로의 출력정보는,
    상기 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 대한 정보를 포함하는, 비일시적 컴퓨터-판독가능 매체.
  18. 1 이상의 프로세서 및 1 이상의 메모리를 포함하고, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치로서,
    촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력변환부;
    상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력변환부를 포함하고,
    상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.
  19. 청구항 18에 있어서,
    상기 촉각 인터페이스장치의 출력정보는,
    상기 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 대한 정보를 포함하는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.
  20. 청구항 18에 있어서,
    상기 입력변환부는 상기 촉각 인터페이스장치에서의 입력의 카테고리를 구분하고, 상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성하는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.
PCT/KR2017/001190 2016-08-19 2017-02-03 촉각 인터페이스장치를 제어하는 방법, 장치 및 비일시적 컴퓨터-판독가능 매체 WO2018034400A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/889,706 US10891875B2 (en) 2016-08-19 2018-02-06 Method, device, and non-transitory computer-readable medium for controlling tactile interface device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160105466A KR101849324B1 (ko) 2016-08-19 2016-08-19 촉각 인터페이스장치를 제어하는 방법, 장치 및 컴퓨터-판독가능 매체
KR10-2016-0105466 2016-08-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/889,706 Continuation US10891875B2 (en) 2016-08-19 2018-02-06 Method, device, and non-transitory computer-readable medium for controlling tactile interface device

Publications (1)

Publication Number Publication Date
WO2018034400A1 true WO2018034400A1 (ko) 2018-02-22

Family

ID=61196833

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/001190 WO2018034400A1 (ko) 2016-08-19 2017-02-03 촉각 인터페이스장치를 제어하는 방법, 장치 및 비일시적 컴퓨터-판독가능 매체

Country Status (3)

Country Link
US (1) US10891875B2 (ko)
KR (1) KR101849324B1 (ko)
WO (1) WO2018034400A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989049B1 (ko) * 2018-10-01 2019-06-13 주식회사 넥스트이노베이션 시각장애인용 디스플레이 모듈
KR102078363B1 (ko) * 2019-03-14 2020-04-23 주식회사 피씨티 촉각인터페이스장치를 통하여 이미지 뷰어 기능을 제공하는 방법, 장치, 및 비일시적 컴퓨터-판독가능 매체
US11373547B2 (en) * 2019-03-25 2022-06-28 Power Contents Technology Co., Ltd. Tactile display tablet
KR102662092B1 (ko) * 2019-04-26 2024-04-29 숙명여자대학교산학협력단 시각장애인용 전자문서에 포함되는 특수 텍스트 제공방법 및 그 전자장치
KR102475062B1 (ko) * 2021-01-20 2022-12-06 한남대학교 산학협력단 실시간 점자 변환기

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110063600A (ko) * 2009-12-05 2011-06-13 이영익 시각장애우용 점자 입출력장치
KR20120136642A (ko) * 2011-06-09 2012-12-20 삼성전자주식회사 터치 스크린을 구비한 기기의 인터페이스 제공 장치 및 방법
US20130157230A1 (en) * 2009-07-23 2013-06-20 Perkins School For The Blind Electronic braille typing interface
KR20150123932A (ko) * 2013-03-06 2015-11-04 벤카데쉬 알. 차리 촉각 그래픽 디스플레이
KR20160097414A (ko) * 2015-02-06 2016-08-18 이강우 시각 장애인을 위한 터치 디바이스 입력 시스템 및 입력 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8690576B2 (en) * 2004-01-30 2014-04-08 Freedom Scientific, Inc. Braille display device and method of constructing same
KR20120063982A (ko) 2010-12-08 2012-06-18 한국전자통신연구원 시각장애 사용자를 위한 인터페이스 장치 및 방법
US9812033B2 (en) * 2013-03-06 2017-11-07 Venkatesh R. Chari Tactile graphic display
US10175882B2 (en) * 2014-07-31 2019-01-08 Technologies Humanware Inc. Dynamic calibrating of a touch-screen-implemented virtual braille keyboard
KR101645446B1 (ko) * 2014-12-08 2016-08-04 주식회사 자원메디칼 점자 입출력장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130157230A1 (en) * 2009-07-23 2013-06-20 Perkins School For The Blind Electronic braille typing interface
KR20110063600A (ko) * 2009-12-05 2011-06-13 이영익 시각장애우용 점자 입출력장치
KR20120136642A (ko) * 2011-06-09 2012-12-20 삼성전자주식회사 터치 스크린을 구비한 기기의 인터페이스 제공 장치 및 방법
KR20150123932A (ko) * 2013-03-06 2015-11-04 벤카데쉬 알. 차리 촉각 그래픽 디스플레이
KR20160097414A (ko) * 2015-02-06 2016-08-18 이강우 시각 장애인을 위한 터치 디바이스 입력 시스템 및 입력 방법

Also Published As

Publication number Publication date
KR20180021332A (ko) 2018-03-02
US10891875B2 (en) 2021-01-12
KR101849324B1 (ko) 2018-04-17
US20180165989A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
WO2017183803A1 (ko) 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
AU2019231476B2 (en) Electronic device with flexible display and method for operating same
WO2018034400A1 (ko) 촉각 인터페이스장치를 제어하는 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
WO2015199453A1 (en) Foldable electronic apparatus and interfacing method thereof
WO2018034402A1 (en) Mobile terminal and method for controlling the same
WO2015016628A1 (en) Method and apparatus for displaying application
WO2017082508A1 (ko) 와치형 단말기 및 그 제어방법
WO2016032045A1 (ko) 이동 단말기 및 이의 제어 방법
WO2015167165A1 (en) Method and electronic device for managing display objects
WO2017111336A1 (ko) 휴대 장치의 액세서리 장치
WO2020171287A1 (ko) 이동 단말기 및 이동 단말기를 구비한 전자장치
WO2017047854A1 (ko) 이동 단말기 및 그 제어방법
WO2018080006A1 (ko) 복합 휴먼 인터페이스가 구비된 전자기기 및 그 제어 방법
WO2009145455A2 (ko) 데이터 입력장치
WO2019198978A1 (en) Electronic device equipped with flexible display and wireless charging method using the same
WO2015030445A1 (en) Method and apparatus for executing application using multiple input tools on touchscreen device
WO2017039051A1 (ko) 와치 타입 이동단말기 및 그 제어방법
WO2021182692A1 (en) A mobile terminal, an electronic device having a mobile terminal, and control method of the electronic device
WO2018101534A1 (ko) 전자 문서 컨버팅 방법 및 이를 수행하는 시스템
WO2016039498A1 (ko) 이동 단말기 및 그 제어 방법
WO2016108407A1 (ko) 주석 제공 방법 및 장치
WO2015093666A1 (ko) 전자기기 및 전자기기의 제어방법
WO2017159931A1 (en) Electronic device including touch panel and method of controlling the electronic device
WO2022025720A1 (ko) 플렉서블한 디스플레이 모듈을 포함하는 전자 장치와 이의 동작 방법
WO2017111192A1 (ko) 롤러블 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17841584

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17841584

Country of ref document: EP

Kind code of ref document: A1