WO2012169810A2 - 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법 - Google Patents

햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법 Download PDF

Info

Publication number
WO2012169810A2
WO2012169810A2 PCT/KR2012/004510 KR2012004510W WO2012169810A2 WO 2012169810 A2 WO2012169810 A2 WO 2012169810A2 KR 2012004510 W KR2012004510 W KR 2012004510W WO 2012169810 A2 WO2012169810 A2 WO 2012169810A2
Authority
WO
WIPO (PCT)
Prior art keywords
information
learning information
learning
server
electronic board
Prior art date
Application number
PCT/KR2012/004510
Other languages
English (en)
French (fr)
Other versions
WO2012169810A3 (ko
Inventor
조진수
정정일
신강철
김흥기
김혜영
원종길
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Publication of WO2012169810A2 publication Critical patent/WO2012169810A2/ko
Publication of WO2012169810A3 publication Critical patent/WO2012169810A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/005—Details of specially-adapted software to access information, e.g. to browse through hyperlinked information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/004—Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/02—Devices for Braille writing

Definitions

  • the present invention relates to a system and method for providing learning information for the visually impaired based on a haptic electronic board.
  • the learning information input to a lecture and authoring program can be stored as a learning information server and can be transmitted as learning information and tactile information with low vision. It converts the learning information for blind people in real time, and transmits the learning information from the learning information server PC to a computer equipped with a viewer program for low vision people and a plurality of haptic electronic boards for blind people simultaneously through wired and wireless networks.
  • Haptic electronic board-based learning information providing system for expanding the low-vision cited learning information to the low-vision persons with different degrees of visual impairment or delivering the learning information for the blind to the blind people who use the haptic electronic board as tactile information, and It is about a method.
  • G20 countries such as Japan, the United States, the EU, and Korea have invested a lot of money and efforts to improve the educational environment of the visually impaired in the government, corporations, and research institutes, and have continuously developed various types of educational assistive technology devices for the visually impaired. Efforts have been made to improve the educational environment of persons with disabilities.
  • the visually impaired were 12.2% (57,546 out of 472,514, 2005, 2005) who wanted job training, and were engaged in massage, acupuncture, clergy, fever, and teaching. It can be seen that the direction of the disabled's entry into society is very limited. This reality shows that the special education environment using Braille or voice-based existing educational assistive technology devices is not suitable for the visually impaired people who want to advance into various fields. An assistive technology device is needed.
  • low vision people obtain educational information through a screen magnification program
  • blind people acquire learning information using braille or touch.
  • the current special education environment for the visually impaired based solely on text and voice, makes it difficult for them to acquire the knowledge that is essential for the visually impaired. As a result, the visually impaired are avoiding further education that requires a high level of knowledge. .
  • An object of the present invention for solving the above problems is input to the learning information server, the learning information including formulas, symbols, pictures, figures, graphs, and image information, as well as characters written by the lecture and authoring program Receive, reconstruct low vision citation video information for easy recognition by low vision people, automatically convert real time into tactile information that can be easily recognized by blind people, and then view the learning information stored in the learning information server through wired and wireless networks in real time.
  • Haptic which provides learning information suitable for both low vision persons and blind persons, by transmitting to the low vision persons first information output devices (PC) and the blind second person information output devices (haptic electronic board) installed. Provides an electronic board-based learning information providing system for the visually impaired.
  • Another object of the present invention to provide a learning information providing method for the visually impaired based on the haptic electronic board.
  • the haptic electronic board-based learning information providing system for the visually impaired according to an aspect of the present invention, LAN or WLAN communication unit, connected to the learning information server linked to the lecture and authoring program A low vision citation first information output device (PC) to receive the low vision citation learning information and to install a low vision citation viewer program; And a unique device ID is assigned, uses near field communication (ZigBee or Bluetooth), and accesses the learning information for all persons from the learning information server by accessing the learning information server through the wireless network (ZigBee or Bluetooth) with the unique device ID.
  • PC near field communication
  • ZigBee or Bluetooth wireless network
  • the server PC includes a second information output device (haptic electronic board) for blind persons, and the lecture and authoring program and the learning information server include a network connection unit (LAN or WLAN) and a wireless communication interface unit (ZigBee or Bluetooth).
  • Text / formula input function and edition by teaching and authoring program (haptic edu) Function, graph / figure drawing, and import of existing data, and through this, it can be converted into tactile information using low vision citation learning information or tactile information automatic conversion technology including written texts, formulas, symbols, shapes, graphs, and image information.
  • the haptic electronic board based learning information providing method (a) character / formula input function, writing function, graph / figure drawing, existing material It provides the import function to input the learning information for the visually impaired to the learning information server using the lecture and authoring program, and to identify the first information output devices connected to the wired / wireless network connected to the learning information server by IP address, Identifying second information output devices connected to a wireless network (ZigBee or Bluetooth) by a device ID; (b) determining the type of communication connected to the learning information server (LAN / WLAN or ZigBee / Bluetooth) to determine whether there is low vision; (c) when the determination result indicates that the low vision quotation first information output device is connected to the learning information server, the input learning information is converted into input low vision quotation learning information using an information conversion unit, and the low vision quotation learning information is converted into the learning information server.
  • a character / formula input function, writing function, graph / figure drawing, existing material It provides the import function to input the learning information for the visually impaired to the learning information server using the
  • the learning information server Transmitting from the learning information server to the first information output devices through a wired or wireless network (LAN or WLAN); (d) When the second information output device (haptic electronic board) for the blind person is connected to the learning information server, the blind person who can convert the input learning information into tactile information for blind persons and deliver the tactile information Transmitting learning information from the learning information server to the second information output devices (haptic electronic boards) through a short range wireless network (ZigBee, Bluetooth); And (e) synchronizing the pages of specific learning information based on the same learning information by the lecture and authoring program to designate a learning material page for the visually impaired, or a low vision person or blind person to transmit current page information to the learning information server. Synchronizing the learning page.
  • the second information output device converts the learning information for the blind person received from the learning information server into tactile information and converts the learning information for the blind person into tactile information.
  • TULA Tiny Ultrasonic Linear Actuator
  • the present invention provides a computer with (a) a text / formula input function, a writing function, a graph / graphic drawing function, and a function of importing an existing material to learn using a lecture and authoring program.
  • Input the learning information for the visually impaired to the information server identify the first information output devices connected to the wired and wireless network connected to the learning information server by IP address, and output the second information connected to the short-range wireless network (ZigBee or Bluetooth).
  • Identifying devices by device ID (b) a function of determining whether a low vision is recognized by identifying a type of communication (LAN / WLAN or ZigBee / Bluetooth) connected to the learning information server; (c) when the first information output device for low vision quotation is connected to the learning information server as a result of the determination, converts the input learning information into low vision quotation learning information input using an information conversion unit, and the low vision quotation learning information.
  • a type of communication LAN / WLAN or ZigBee / Bluetooth
  • a computer readable recording medium having recorded thereon a program for realizing a function of synchronizing learning pages is provided.
  • Haptic electronic board based learning information providing system and method for the visually impaired receives the learning information including not only text, but also equations, symbols, drawings, figures, graphs, and image information to the learning information server, It reconstructs low vision citation text, formula and image information for easy recognition, and automatically converts learning information into tactile information in real time for easy recognition by blind persons, and then provides low vision through the network in real time.
  • Visually impaired first information output devices PC
  • haptic electronic boards for blind persons via a short-range wireless network
  • ZigBee, Bluetooth ZigBee, Bluetooth
  • the learning information providing system for the visually impaired is a text, formula, symbol, figure, graph and image information related to the learning materials for the visually impaired stored in the learning information server PC in order to maximize the special education effect of the visually impaired, such as low-vision persons and blind persons.
  • the haptic electronic board converts the learning information into tactile information and delivers tactile information to the visually impaired. It is possible.
  • FIG. 1 is a network diagram of a system for providing learning information for the visually impaired using a terminal with a low vision citation viewer program and a haptic electronic board for blind persons according to the present invention.
  • FIG. 2 is a detailed block diagram of a system for providing learning information for the visually impaired using a terminal having a low vision citation viewer program and a haptic electronic board for blind persons according to an embodiment of the present invention.
  • FIG. 3 is a screen showing the configuration of a teacher lecture and authoring program (haptic edu), a low vision citation viewer program, and a haptic electronic board for blind people according to the present invention.
  • haptic edu teacher lecture and authoring program
  • a low vision citation viewer program low vision citation viewer program
  • a haptic electronic board for blind people according to the present invention.
  • FIG. 4 is a flowchart illustrating a method of providing learning information for the visually impaired based on a terminal equipped with a low vision citation viewer program and a haptic electronic board for blind persons according to the present invention.
  • FIG. 5 is a screen illustrating a tactile algorithm implementation, image information preview, and region division functions of a lecture and an authoring program of a learning information server for the visually impaired.
  • FIG. 6 is a screen illustrating a function of directly selecting and drawing a video area of a lecture and an authoring program of a learning information server for visually impaired users.
  • FIG. 7 is a screen illustrating a text-related function of the lecture and authoring program of the learning information server for the visually impaired and the education material import function.
  • FIG. 8 is a screen illustrating a function of drawing first and second order graphs of a lecture and a writing program of a learning information server for the visually impaired.
  • FIG. 9 is a screen illustrating a network-based lecture and authoring program of a learning information server for the visually impaired, and a viewer program for the low vision visually impaired of the first information output device.
  • FIG. 10 is a screen illustrating a communication form of a lecture data control signal for a material request of a lecture authoring program of the learning information server for the visually impaired and a viewer program for the low vision visually impaired of the first information output device.
  • FIG. 11 is a screen illustrating a low vision quotation viewer program function (original image, enlarged image, color inversion, black and white conversion, brightness increase, brightness decrease) of the first information output device.
  • FIG. 12 is a shape of a tiny ultrasonic linear actuator (TULA) and an array type actuator of a second information output device (haptic electronic board), and in one embodiment, 32x2 composed of four 8x2 standard graphic output modules 32x2. This figure shows the size and shape of Dot's standard graphic output device.
  • TULA ultrasonic linear actuator
  • haptic electronic board haptic electronic board
  • FIG. 13 shows the development of an ultra-small ultrasonic motor in an array type, and has a top / bottom two-stage structure for a small amount and light weight in the manufacturing process of the array type actuator of an ultrasonic motor.
  • the top module signal cable and the bottom module each have four wires.
  • This figure shows the basic 8x2 standard graphic output module of a haptic electronic board composed of a 4x2 standard graphic output module of a signal cable.
  • FIG. 14 is a block diagram of a driving circuit of the standard graphic output module of the second information output device (haptic electronic board).
  • FIG. 15 is a diagram illustrating a graphic output standard module of a haptic electronic board made by combining basic 8x2 standard graphic output modules for two groups of haptic electronic boards.
  • FIG. 16 is a graphic output module of a second information output device (haptic electronic board), and is a screen showing tactile information related to learning information for blind persons.
  • FIG. 1 is a network diagram of a system for providing learning information for the visually impaired using a terminal with a low vision citation viewer program and a haptic electronic board for blind persons according to the present invention.
  • the learning information providing system for the visually impaired is installed in a server PC having a network connection unit (LAN or WLAN) and a wireless communication interface unit (ZigBee or Bluetooth), and lectures and authoring programs (haptic edu) are inputted from the input device.
  • LAN network connection unit
  • ZigBee wireless communication interface unit
  • haptic edu lectures and authoring programs
  • the automatic conversion technology converts the learning information for blind persons that can be transmitted as tactile information, and the blind information for learning that can be transmitted as the low vision learning information or tactile information, wired / wireless network (LAN or WLAN) or wireless network (ZigBee, Or learning by transmitting to at least one or more information output devices in a 1: N or 1: 1 transmission mode via Bluetooth) Beam server 100;
  • a low vision citation first information output device having a LAN or WLAN communication unit, connected to a learning information server PC linked to a lecture and authoring program, to receive low vision citation learning information through TCP / IP, and to install a low vision citation viewer program. PC) 200;
  • a unique device ID is assigned, and a unique device ID is connected to a learning information server PC through a wireless network (ZigBee or Bluetooth) to receive blind learning information from the learning information server 100, and to sense the blind learning information.
  • a plurality of ultra-sonic ultrasonic motors (TULA: Tiny Ultrasonic Linear Actuator) of the pin (Probe) is controlled to output to the graphic output module to deliver the tactile information related to the learning information for blind people It is composed of a second information output device (haptic electronic board) 300 for the blind.
  • TULA Tiny Ultrasonic Linear Actuator
  • the first information output apparatus (PC) 200 uses a computer such as a PC or a notebook computer, and a viewer program for low vision is installed, and is connected to the learning information server 100 through a wired / wireless network (LAN, WLAN).
  • a computer such as a PC or a notebook computer
  • a viewer program for low vision is installed, and is connected to the learning information server 100 through a wired / wireless network (LAN, WLAN).
  • LAN local area network
  • the second information output device (haptic electronic board) 300 is assigned a unique device ID, uses a graphic haptic electronic board for blind persons, and connects to the learning information server 100 through short range wireless communication (ZigBee or Bleotooth).
  • ZigBee or Bleotooth short range wireless communication
  • the pins of a plurality of ultra-sonic ultrasonic motors (TULA: Tiny Ultrasonic Linear Actuator) arranged in a multi-array are controlled and output to a graphic output module. It is delivered to the blind as tactile information.
  • TULA Tiny Ultrasonic Linear Actuator
  • FIG. 2 is a detailed block diagram of a system for providing learning information for the visually impaired using a terminal having a low vision citation viewer program and a haptic electronic board for blind persons according to an embodiment of the present invention.
  • the lecture and authoring program 90 provides text / formula input function, writing function, graph / graphic drawing, and import of existing data by using the lecture and authoring program (haptic edu).
  • Low vision citation learning information including authored texts, formulas, symbols, figures, graphs, and video information or automatic conversion of tactile information into tactile information that can be delivered to the blind person. do.
  • the lecture and authoring program 90 provides a connection status monitoring function, a current view page monitoring function of a connected student, and a learning page designation function.
  • the learning information server 100 receives specific learning information for the visually impaired including not only texts authored by lectures and authoring programs but also equations, symbols, drawings, figures, graphs, and image information, and a tactile algorithm of image information.
  • This implemented lecture and authoring program reconstructs low vision citation learning information for easy recognition by low vision persons, and automatically converts the learning information to be transmitted as tactile information for easy recognition by blind persons, and then connects devices of information output devices.
  • the ID is analyzed and classified according to the characteristics of the visually impaired, and low vision citation learning information and blind learning information are simultaneously collected from a learning information server through a wired / wireless network (LAN, WLAN) and / or a short distance wireless network (ZigBee or Bluetooth).
  • One learning information server PC includes a network connection unit 145 communicating with first information output devices (PC) 200 having a low vision citation viewer program installed in a wired or wireless network (LAN or WLAN), and the second information for blind persons. It includes the output devices (graphic haptic electronic board) 300 and the wireless communication interface unit 140 for short-range wireless communication (ZigBee or Bluetooth), using a short-range wireless communication with low power consumption and excellent communication stability Dragon learning information is transmitted to the second information output devices (graphic haptic electronic board) 300 for up to 20 blind people, bidirectional communication is possible.
  • One learning information server PC transmits learning information for low-vision persons using TCP / IP to wired / wireless networks (LAN or WLAN) to first information output devices (PC or notebook) 200 in which a viewer program for low vision is installed.
  • the second information output devices (graphic haptic electronic board) 300 for blind persons transmit learning information for blind persons through a wireless network (ZigBee or Bluetooth).
  • the low vision citation first information output devices (PC or notebook) 200 has a LAN or WLAN communication unit 210, the blind second information output devices (haptic electronic board) 300 is a ZigBee communication unit or Bluetooth communication unit 301 is provided.
  • the ZigBee communication unit 301 of the second information output devices (haptic electronic board) 300 uses a DS-SS (Direct Sequence-Spread Spectrum) modem and uses 2.4 GHz or Learning information server PC and P2P Star equipped with ZigBee communication interface using 862 ⁇ 868 MHz or 915 MHz frequency band, providing data transmission speed of up to 250kbps and using short range wireless communication within 20-30m distance in classroom Communicated in Mesh.
  • DS-SS Direct Sequence-Spread Spectrum
  • the Bluetooth communication unit 301 of the second information output devices (haptic electronic board) 300 uses a short range wireless communication within 1000m in a classroom with a 2.4 GHz frequency band and uses a Bluetooth communication interface. It is communicated with a learning information server PC equipped with a master.
  • the learning information for blind persons input to the learning information server 100 by an input device is first information in a 1: N manner by a wired / wireless network (LAN or WLAN) or a short range wireless network (ZigBee or Bluetooth).
  • the device 200 may be transmitted to the output device 200 and the second information output device 300, or may be selected and transmitted as the device ID of the personal information output device in a 1: 1 transmission mode as needed.
  • the learning information providing system for the visually impaired is a learning information server 100 for the visually impaired including not only letters from the information input unit but also numbers, equations, drawings, figures, graphs, and image information from the information input unit.
  • Receives and saves specific learning information reconstructs learning information input by lectures and authoring programs in which image tactile algorithms are implemented, and delivers it as tactile information for the blind to easily recognize
  • the learning information server 100 for low vision or learning information for blind persons is transmitted to the information output devices simultaneously through a network, and the information output device is a low vision quotation viewer program
  • the first information output device 2 for outputting the low vision quotation learning information received and installed in the wired or wireless network (LAN, WLAN) 00);
  • a second information output device (haptic electronic board) 300 for blinds equipped with a ZigBee or a Bluetooth communication unit which receives the blinds learning information and converts the blinds learning information into tactile information and transmits the tactile information to the blinds. do.
  • the learning information server 100 includes: an information input unit 110 for receiving specific learning information for the visually impaired including not only texts written by lectures and authoring programs but also equations, symbols, figures, graphs, and image information; An information storage unit 120 for storing information input from the information input unit 100; An information conversion unit 130 for converting the learning information input from the information input unit 100 into learning information for blind persons who can be transferred as low vision quotation learning information and tactile information; When communicating with a plurality of second information output device 300 in a short-range wireless network (ZigBee or Bluetooth), the wireless communication interface unit 140 for providing learning information for the blind; And when the learning information server PC communicates with the first information output devices 200 through a wired / wireless network (LAN or WLAN), transmits the low vision citation learning information to the first information output device 200 having the low vision citation viewer program installed therein. It is composed of a network connection unit 145.
  • the first information output apparatus 200 has a low vision citation viewer program installed, receives a low vision citation learning material from the learning information server 100 through a wired or wireless network (LAN or WLAN), and uses a low vision citation viewer program. According to the visual acuity of the screen size, brightness, contrast (contrast) is set and enlarged to output the low vision quotations learning information.
  • a low vision citation viewer program installed, receives a low vision citation learning material from the learning information server 100 through a wired or wireless network (LAN or WLAN), and uses a low vision citation viewer program. According to the visual acuity of the screen size, brightness, contrast (contrast) is set and enlarged to output the low vision quotations learning information.
  • the second information output device (haptic electronic board) 300 develops a 64x64 graphic output module, sets a surface texture and a pin height after being tested by a real user, and totally 4096 through an array of standard graphic output modules. We developed a pin graphic output module.
  • the second information output device (haptic electronic board) 300 basically provides a UART (Universal Asynchronous Receiver / Transmitter) interface connected to a PC, and develops a ZigBee interface or a Bluetooth interface to implement the present invention. It was.
  • the real-time graphic haptic electronic board reduces the size of the driving circuit using a Field Programmable Gate Array (FPGA) and develops a control program for driving frequency and phase difference simultaneously.
  • FPGA Field Programmable Gate Array
  • the experiments were conducted on the letters, formulas, numbers, symbols, figures, graphs, and images included in the learning information for blind people. Analyzes the tactile cognitive characteristics of the sensor and outputs it to the graphic output unit.
  • the second information output device (haptic electronic board) 300 provides a graphic output or a scrolling function of braille using up, down, left, right, front and back user input buttons, and moves to the next or previous screen. By making it possible, the user's convenience is increased and the graphic output unit reset and reload function is implemented.
  • the second information output device (haptic electronic board) 300 is a function of scrolling the tactile information for the image and braille according to the user input of the haptic electronic board, the limited resolution of the haptic electronic board and the tactile information scroll function for the divided image To provide.
  • the learning information server 100 stores learning information output to the connected second information output device (haptic electronic board) 300 and controls each device.
  • FIG. 3 is a screen showing the configuration of a teacher lecture and authoring program (haptic edu), a low vision citation viewer program, and a haptic electronic board for blind people according to the present invention.
  • haptic edu teacher lecture and authoring program
  • a low vision citation viewer program low vision citation viewer program
  • a haptic electronic board for blind people according to the present invention.
  • the teacher lecture and authoring program of the learning information server 100 (hereinafter, referred to as “haptic edu”) does not distinguish between blind and low-vision quotations, and converts the authored lecture material to the information output device in real time and simultaneously. It transmits to the first information output device 200 having a low vision citation viewer program to be communicated to, and a second information output device (blind haptic electronic board) 300 using short-range wireless communication (ZigBee or Bluetooth).
  • Lecture and authoring program of the learning information server 100 is a teaching aid engineering software that delivers learning information in real time by converting the same learning material to the visually impaired to both low vision and blind people.
  • the graphic haptic electronic board is an educational assistive engineering system that converts learning information for blind people into tactile information and delivers tactile information to blind people.
  • the learning information server 100 is a first information output device (PC or braille terminal) and / or a second information output device (baptist) for blind persons, each of which has a low vision quotation viewer program installed at the same time. Electronic board).
  • the lecture and authoring program (haptic edu) recognizes tactile information related to letters, numbers, equations, symbols, shapes, and graphs according to the characteristics of the second information output device (haptic electronic board) 300, and in particular, tactile image
  • the blind person effectively recognized the tactile information related to the image information.
  • the lecture and authoring program converts the second information output device (haptic electronics) into a learning material that can be delivered as tactile information that can be transferred to the resolution of the second information output device (haptic electronic board) 300.
  • Board 300
  • the second information output device (haptic electronic board) 300 receives the learning information for blind persons using near field communication (ZigBee or Bluetooth), and the blind person learning information as tactile information. It is transformed into a hand of blind men.
  • Lecture and authoring programs can be used as teachers write on the board, and the graph generation function, formula input and conversion, automatic braille conversion, student management function, and saving / loading of preparation materials in consideration of characteristics of the main subjects Run the function.
  • the lecture and authoring program (haptic edu) is connected to a second blind information output device (haptic electronic board) 300 and a low vision vision first information output device 200 connected by using near field communication (ZigBee or Bluetooth). It manages status and expanded output screen monitoring, individual learning data transmission, and control of current output screen assignment.
  • the low vision quotation viewer program and the second information output device (haptic electronic board) 300 of the first information output device 200 are controlled by a lecture and authoring program (haptic edu) and automatically controlled by a teacher-controlled learning material screen. Provide a transition function.
  • the low-vision quotation viewer program (client) of the first information output apparatus 200 receives the teacher's learning materials from the learning information server 100 through wired / wireless networks (LAN, WLAN) and according to the visual acuity of the low-vision persons, letters, numbers, Equation, symbol, figure, graph and image output function, image size selection, color selection, brightness adjustment and contrast adjustment function can be set, and the low vision vision learning information is enlarged or reduced according to the vision of low vision person. Make the person aware.
  • the learning information server 100 designed and implemented a network program for controlling low vision citation learning information, controls each low vision citation viewer program (client) set with a unique identification code, and determines the low vision citation viewer program. And transmits low vision citation learning information including numbers, formulas, symbols, figures, graphs, and image information.
  • the low vision citation learning information created by lectures and authoring programs is transmitted in 1: N or as needed.
  • the second information output device (haptic electronic board) 300 receives the learning information for blind persons from near-field wireless communication (ZigBee, Bluetooth) from the learning information server 100 and converts the received blind learning information into tactile information. It controls the protrusion of pins of a multi-array ultrasonic motor (TULA) and outputs it to the graphic output module, and uses the buttons of the blind haptic electronic board to move pages or execute page movement commands in lectures and authoring programs.
  • ZigBee near-field wireless communication
  • Bluetooth near-field wireless communication
  • TULA multi-array ultrasonic motor
  • Lecture and authoring programs include text input functions including text, mathematical expressions, symbols, and figures; A function of inputting a detailed description and annotation of a specific region of the created image information as text; Automatic vocabulary (braille translation) for blind people; An implementation function of an image tactile algorithm suitable for the second information output device (haptic electronic board) 300 for blind persons; Free drawing function through input device such as mouse or tablet, drawing function using template of frequently used shapes such as straight line, triangle, circle, graph, unit setting of 2D coordinate system, function and graph drawing function Image information direct drawing function; The author confirms in advance the type of tactile information to be displayed on the graphic output module of the second information output device (haptic electronic board) 300 by using the tactile algorithm of the image, and when the size or resolution of the image information to be transmitted is large, An image information preview and region segmentation function for segmenting an image information region to directly separate and transmit the region; It also provides a function to save and load learning materials.
  • the low vision viewer program for the visually impaired is used in the first information output apparatus 200, and implemented from the learning information server 100 by implementing essential functions such as a division enlargement and movement function of a screen size, a color selection function, and a brightness adjustment function.
  • the low vision quotation learning information including the written characters, symbols, equations, figures, graphs, and image information is provided to the low vision persons.
  • FIG. 4 is a flowchart illustrating a method for providing learning information for the visually impaired based on a low vision citation viewer program and a blind haptic electronic board according to the present invention.
  • the teacher inputs learning information for the visually impaired to the learning information server 100 using a lecture and authoring program by providing a text formula input function, a writing function, a graph / graphic drawing, and an existing material import function (S310). Thereafter, the learning information server 100 identifies the first information output devices 200 connected to the wired / wireless network (LAN or WLAN) by IP address, and outputs the second information connected to the short range wireless network (ZigBee, Bluetooth).
  • the devices 300 are identified by unique device IDs, and the type of the visually impaired persons with low vision or blindness is determined by identifying the type of communication (LAN / WLAN or ZigBee / Bluetooth) connected (S320). That is, the learning information server PC distinguishes the first information output devices 200 and the second information output devices 300 and manages the connected information output devices individually or collectively.
  • the learning information server 100 determines the type of communication (LAN / WLAN or ZigBee / Bluetooth) connected to determine whether there is low vision or not (S330).
  • the learning information server 100 uses the information conversion unit 130 to input the learning information.
  • the information is converted into learning information (S340), and the low vision citation learning information is transmitted from the learning information server 100 to the first information output apparatus 200 through a wired or wireless network (LAN or WLAN) (S350).
  • LAN or WLAN wired or wireless network
  • the learning information server 100 receives the learning information input by the lecture and authoring program.
  • the second person information output device haptic electronic board
  • the short-range wireless network ZigBee, Bluetooth
  • the lecture and authoring program synchronizes pages of specific learning information based on the same learning information, and designates a learning material page for the visually impaired, or a low vision person or blind person transmits current page information to the learning information server 100 (S380). .
  • the second information output device (haptic electronic board) 300 converts learning information for blind persons received from the learning information server 100 into tactile information, converts learning information for blind persons into tactile information, and is arranged in a plurality of arrays.
  • the pins of the Tiny Ultrasonic Linear Actuator (TULA) are controlled and output to the graphic output module to transmit tactile information to blind persons who use the graphic haptic electronic board (S390).
  • FIG. 5 is a screen illustrating a tactile algorithm implementation, image information preview, and region division functions of a lecture and an authoring program of a learning information server for the visually impaired.
  • FIG. 6 is a screen illustrating a function of directly selecting and drawing a video area of a lecture and an authoring program of a learning information server for visually impaired users.
  • FIG. 7 is a screen illustrating a text-related function of a lecture and authoring program of a learning information server for the visually impaired and a function of importing educational materials.
  • FIG. 8 is a screen illustrating a function of drawing first and second order graphs of a lecture and a writing program of a learning information server for the visually impaired.
  • FIG. 9 is a screen illustrating a network-based lecture and authoring program of a learning information server for the visually impaired, and a viewer program for the low vision visually impaired of the first information output device.
  • FIG. 10 is a screen illustrating a communication form of a lecture data control signal for a material request of a lecture authoring program of the learning information server for the visually impaired and a viewer program for the low vision visually impaired of the first information output device.
  • FIG. 11 is a screen illustrating a low vision quotation viewer program function (original image, enlarged image, color inversion, black and white conversion, brightness increase, brightness decrease) of the first information output device.
  • the learning information server 100 sets the size, brightness, contrast, color combination, etc. of the image displayed on the screen according to the visual acuity of the visually impaired by the first information output device 200 and transmits the learning material transmitted by the teacher. Will be recognized. That is, the learning information server 100 is a graph generation function, formula input and conversion, automatic braille conversion, student management function, preparatory material storage in consideration of the writing function that the teacher can use as if writing contents on the blackboard and the characteristics of the main subjects. Perform a function such as / load.
  • the learning information server 100 monitors the connection status and output screen of the first information output device 200 and the second information output device 300 connected via a network, transmits individual education materials, and designates a current output screen. Manage it.
  • first information output apparatus 200 and the second information output apparatus 300 may be controlled by the learning information server 100, and may be automatically switched to a material screen desired by the teacher.
  • the learning information server 100 When the learning information server 100 requests connection with a unique device ID of the first information output device 200 or the second information output device 300 through a network, the learning information server 100 uses the device state management window to determine the connection status of the request device. It provides a function to check. When changing the page of the learning information, the first information output device 200 may check the page of each corresponding device using the device state management window. In addition, the learning information server 100 may provide a function of synchronizing pages of specific learning information in order to proceed with learning based on the same learning information.
  • the learning information server 100 is provided with a function of scrolling tactile information on the image and the braille according to the input of the first information output device 200 and the second information output device 300.
  • a function of scrolling the tactile information regarding the limited resolution and the divided image of the first information output apparatus 200 and the second information output apparatus 300 may be provided.
  • the learning information server 100 stores the learning information transmitted to the first information output device 200 or the second information output device 300 connected through a network, and performs a function of controlling each device.
  • the learning information server 100 may input specific learning information including letters, numbers, equations, symbols, and figures using the information input unit 110.
  • the administrator may input information to the learning information server 100 through an input device such as a mouse, a keyboard, or a tablet PC.
  • lecture and authoring programs can draw using templates of frequently used shapes, including straight lines, triangles, circles, and graphs.
  • the lecture and authoring program can draw a graph that can draw unit settings, functions, and graphs of a two-dimensional coordinate system, and input detailed descriptions and annotations of specific areas of inputted learning information as text.
  • the learning information server 100 may provide an automatic vocabulary (braille translation) function for blind persons.
  • the learning information input as described above is stored through the information storage unit 120 to provide a 'load' function thereafter.
  • the lecture and authoring program provides a preview function by collapsing and listing each page.
  • the user saves the inputted learning information of multiple pages into one integrated file and executes a load function.
  • the learning information is provided as a vector image without distortion due to the change in resolution of the created lines and figures.
  • the lecture and authoring program (haptic edu) provides an editing function such as drawing, deleting or adding unnecessary portions after executing the inputted learning information.
  • the information converting unit 130 of the learning information server 100 uses image conversion algorithm of the input information to display image information or the second information output device 300 to be displayed on the terminal of the first information output device 200. This function converts the tactile information to be displayed on the graph output unit, and the creator can confirm in advance the form of the converted image information or tactile information.
  • the author directly separates the area and transmits the low vision citation or blind person learning to transmit to the low vision citation first information output device 200 or the second blind information output device 300 for blind persons. It also provides information area partitioning.
  • the first information output device 200 includes a communication unit 210 for communicating with a server PC on which the learning information server 100 is stored in a wired or wireless network (LAN or WLAN); And an application unit 220 for expanding and contracting the low vision quotation learning information received from the learning information server 100 through a short range wireless network (ZigBee or Bluetooth) on the user's terminal screen.
  • a communication unit 210 for communicating with a server PC on which the learning information server 100 is stored in a wired or wireless network (LAN or WLAN);
  • an application unit 220 for expanding and contracting the low vision quotation learning information received from the learning information server 100 through a short range wireless network (ZigBee or Bluetooth) on the user's terminal screen.
  • the low vision quotation learning information converted through the learning information server 100 is transmitted to the communication unit 210 of the first information output device 200 and output to the low vision quotation viewer program through the application unit 220. do.
  • the application unit 220 includes: an information expansion module 221 for enlarging a size displayed on a user's terminal screen with respect to low vision quotation learning information received from the learning information server 100 through a wired or wireless network (LAN or WLAN); An information reduction module 222 which reduces the size displayed on the terminal screen of the user with respect to the low vision quotation learning information received from the learning information server 100; An information moving module 223 for moving the area displayed on the user's terminal screen with respect to the low vision quotation learning information received from the learning information server 100; A color adjustment module 224 for adjusting a color displayed on a user's terminal screen with respect to low vision quotation learning information received from the learning information server 100; And a brightness control module 225 for adjusting the brightness displayed on the terminal screen of the user with respect to the low vision quotation learning information received from the learning information server 100.
  • an information expansion module 221 for enlarging a size displayed on a user's terminal screen with respect to low vision quotation learning information received from the learning information server 100 through a wired or wireless network
  • the information enlarging module 221 provides a function of enlarging the visual learning information transmitted by 2 to 30 times so that a low vision user can easily identify it.
  • the color adjustment module 224 inverts the color of the learning information and adjusts the black and white for low vision that is impossible to distinguish colors.
  • the brightness control module 225 adjusts the brightness of the image for the low vision person who easily feels fatigue when the image of the learning information is too dark or too bright.
  • the second information output device 300 receives learning information for blind persons from the learning information server 100 through ZigBee wireless communication, converts the received learning information into tactile information, and outputs it, and moves a page using a button. Or to perform a page movement command in the learning information server 100, and provides a dense resolution.
  • the second information output device 300 includes a communication unit 301 that provides communication using a ZigBee or Bluetooth protocol, and uses a haptic electronic board for blind people.
  • the second information output device (haptic electronic board) 300 may include a communication unit 301 which receives learning information for blind persons from the learning information server 100 through a short range wireless communication network (ZigBee or Bluetooth); A master board 310 which receives the learning information for the blind person from the communication unit 301 and provides a control command and is configured of a microcontrol unit (MCU); At least one slave board 320 connected to the master board 310 and a SPI (Serial Peripheral Interface) Bus, and receiving a control command from the master board 310 to control an ultrasonic motor configured as a multi-array; A plurality of Tiny Ultrasonic Linear Actuators (TULAs) 330 composed of multiple arrays; And a step-down DC-DC converter 340 that receives power and converts a DC-DC voltage to provide the master board 310 and the slave board 320.
  • TULAs Tiny Ultrasonic Linear Actuators
  • the second information output device (haptic electronic board) 300 extracts the contour extraction algorithm of the 3D image of the control program of the embedded system so as to recognize letters, numbers, symbols, graphs, figures, or images included in blind learning materials.
  • Multi-array stereoscopic tactile information based on TULA (Tiny Ultrasonic Linear Actuator) consisting of multi-arrays capable of linear motion by graphic haptic electronic board The ability to express tactile cells with 4mm pitch in all directions to express continuous tactile information to the visually impaired, and the blind person input in real time with a fast response speed of less than 0.8 seconds after receiving the output information. It provides a function to output learning information as tactile information.
  • TULA Tiny Ultrasonic Linear Actuator
  • the second information output device (haptic electronic board) 300 may implement a graphic output or a scroll function of braille through a user input button such as 'up, down, left, right, before, after', and the next screen or the previous It is possible to move to the screen to increase user convenience.
  • the method of providing learning information for the visually impaired based on the haptic electronic board installed in the computer includes (a) text / formula input function, writing function, graph / figure drawing, and import of existing data, thereby providing learning information using a lecture and authoring program.
  • the second information output device connected to the short-range wireless network receives the learning information for the visually impaired to the server, identifies the first information output devices connected to the wired / wireless network connected to the learning information server by IP address.
  • a type of communication LAN / WLAN or ZigBee / Bluetooth
  • a computer readable recording medium having recorded thereon a program for realizing a function of synchronizing learning pages is provided.
  • FIG. 12 is a shape of a tiny ultrasonic linear actuator (TULA) and an array type actuator of a second information output device (haptic electronic board), and in one embodiment, 32x2 composed of four 8x2 standard graphic output modules 32x2. This figure shows the size and shape of Dot's standard graphic output device.
  • TULA ultrasonic linear actuator
  • haptic electronic board haptic electronic board
  • the Array Type Actuators of the Tiny Ultrasonic Linear Actuators (TULAs) of the second information output device (haptic electronic board) 300 consist of a multi-array of actuators of the array type Micro Ultrasonic Motors of the two-stage structure. Compact, lightweight, and multi-line construction.
  • the second information output device (haptic electronic board) 300 is 83.2 mm x 5.2 mm x 20 mm in size, and the ultra-thin ultrasonic motors (TULA) pins of the haptic electronic board are used for blind people with visual impairment to sense information. Verti must have a force, which supports 10 gf (gram force) of self-holding force, and supports the durability of the haptic electronic board more than 50,000 times.
  • the ultra-small ultrasonic motor is a pin of the ultra-small ultrasonic motor which is a part of the prospective person who perceives the braille tactilely (Probe); Mobile to fix the Probe, Shaft to move up and down to transmit the tactile signal related to learning information for blind people, Transducer to control the up and down movement when a small ultrasonic motor is driven to torque It consists of.
  • the second information output device (haptic electronic board) 300 may determine the distance between the probe and the probe so that the visually impaired person can recognize the braille with the highest accuracy, and deliver tactile information delicately about equations, figures, graphs, and image information. It was set to 2.6mm.
  • FIG. 13 shows the development of an ultra-small ultrasonic motor in an array type, and has a top / bottom two-stage structure for a small amount and light weight in the manufacturing process of the array type actuator of an ultrasonic motor.
  • the top module signal cable and the bottom module each have four wires.
  • This figure shows the basic 8x2 standard graphic output module of a haptic electronic board composed of a 4x2 standard graphic output module of a signal cable.
  • Ultrasonic motor (TULA) of the graphic output module of the second information output device to detect the blind learner's learning information including braille, equations, symbols, figures, graphs and image information of the visually impaired with fine tactile information
  • the distance between pin and probe of Probe and Probe is less than 2.7mm.
  • FIG. 14 is a block diagram of a driving circuit of the standard graphic output module of the second information output device (haptic electronic board).
  • the driving circuit of the standard graphic output module of the haptic electronic board includes an MCU which controls overall control of the haptic electronic board; Boosting Part; Driving Part; And an FPGA controlling on / off and vertical motion of the ultra-small ultrasonic motor. It consists of a graphic output module that converts and outputs a tactile signal by a tactile algorithm of letters, numbers, mathematical expressions, symbols, figures, and images included in blind learning information.
  • FIG. 15 is a diagram illustrating a graphic output standard module 314 of a haptic electronic board 300 made by combining a basic 8x2 standard graphic output module having a spacing between 2.6 mm probes for two groups of haptic electronic boards.
  • FIG. 16 is a graphic output module of a second information output device (haptic electronic board), and is a screen showing tactile information related to learning information for blind persons.
  • the second information output device (haptic electronic board) 300 is connected to the learning information server 100 through a wireless network (ZigBee or Bluetooth) with a unique device ID, and receives the learning information for the blind persons from the learning information server 100. Receives, converts learning information for blind people into tactile information using tactile algorithms of letters, numbers, symbols, figures, graphs, and images, and multiple ultra-sonic ultrasonic motors (TULA) arranged in a multi-array under MCU control : It controls the pin of Tiny Ultrasonic Linear Actuator) and outputs it to the graphic output module to transmit tactile information so that the blind person can detect it by hand.
  • TULA ultra-sonic ultrasonic motors
  • TULAs micro ultrasonic motors
  • the learning information server 100 transmits the inputted learning information to the first information output device 200 and the second information output device 300 in a 1: N manner on a network, or 1: 1 if necessary. Therefore, a transmission mode for selecting and transmitting a device ID of an individual information output device may be implemented.
  • the prototype of the haptic electronic board-based learning information providing system for the visually impaired using near field communication (ZigBee or Bluetooth) according to the present invention includes images by providing only the voice related to the text in the evaluation process with the actual visually impaired.
  • images by providing only the voice related to the text in the evaluation process with the actual visually impaired.
  • explaining educational materials by providing tactile image information along with audio output rather than explaining the educational materials, it was confirmed that they were greatly effective and convenient for improving the understanding of the visually impaired.
  • the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, etc.) in a form readable by software of a computer.
  • a recording medium CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, etc.
  • the present invention relates to a system and method for providing learning information for the visually impaired based on a haptic electronic board.
  • the learning information input to a lecture and authoring program can be stored as a learning information server, and can be delivered as low vision learning information and tactile information. It converts the learning information for blind people in real time, and transmits the learning information from the learning information server PC to a computer equipped with a viewer program for low vision people and a plurality of haptic electronic boards for blind people simultaneously through wired and wireless networks. It is possible to expand learning information for low vision people to low vision people with different degrees of visual impairment, or to deliver learning information for all blind people as tactile information to blind people using haptic electronic boards.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Emergency Medicine (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템 및 방법에 개시된다. 시각장애인용 학습정보 제공 시스템은 강의 및 저작 프로그램과 연동된 학습정보 서버; 학습정보 서버로부터 유무선 네트워크(LAN, WLAN)를 통해 저시력인용 학습정보를 수신받고, 화면 확대 및 축소 기능을 제공하는 저시력인용 뷰어 프로그램이 설치되는 제1 정보 출력 장치(PC); 및 고유의 장치 ID를 사용하여 근거리 무선 네트워크(ZigBee, 또는 Bluetooth)를 통해 학습정보 서버로 접속하고, 학습정보 서버로부터 햅틱전자보드로 수신된 전맹인용 학습정보를 촉각정보로 변환하여 전맹인에게 촉각 정보를 전달하는 제2 정보 출력 장치(햅틱전자보드)를 포함한다. 학습정보 서버는 강의 및 저작 프로그램에 의해 저작된 학습정보를 촉각 정보 자동 변환 기술을 사용하여 시각 장애의 정도가 상이한 시각장애인에게 전달한다.

Description

햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법
본 발명은 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법에 관한 것으로, 특히 강의 및 저작 프로그램에 입력된 학습정보를 학습정보 서버로 저장하고, 저시력인 학습 정보 및 촉각정보로 전달이 가능한 전맹인용 학습 정보로 실시간으로 변환하며, 학습정보서버 PC로부터 학습정보를 유무선 네트워크를 통해 동시 다발적으로 저시력인을 위한 뷰어프로그램이 설치된 컴퓨터 및 전맹인을 위한 다수의 햅틱전자보드들로 전송하여, 시각 장애의 정도가 상이한 저시력인에게 저시력인용 학습정보를 확대하거나 또는 햅틱전자보드를 사용하는 전맹인에게 전맹인용 학습정보를 촉각 정보로 전달하는, 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템 및 방법에 관한 것이다.
일본, 미국, EU, 한국 등의 G20 국가들은 정부, 기업, 연구소 등에서 시각장애인의 교육환경을 개선하기 위해 많은 투자와 노력을 기울여왔으며 다양한 형태의 시각장애인용 교육 보조공학기기를 개발하여 지속적으로 시각장애인의 교육환경을 개선하고자 노력해왔다.
기존 시각장애인을 위한 교육 보조공학기기는 대형 모니터, 화면 확대 프로그램, 음성 메모기, 음성출력 소프트웨어, 점자 정보 단말기, 점자 프린터, 문서 인식 단말기, 및 확대 독서기를 통해 단순히 저시력자에게 문자 정보를 확대하여 제공하는 수준이었다.
최근, 점자 정보 단말기, 음성 출력 소프트웨어 및 문서 인식 프로그램과 같이 OCR(Optical Character Reader), TTS(Text To Speech), 점역(묵자를 점자로 번역) 및 역점역과 같은 기술들을 이용하여 전맹인에게도 문자 정보를 점자나 음성으로 변환하여 제공할 수 있는 수준까지 향상되었다.
시각장애인의 직업 현황에 대한 조사에 따르면, 시각장애인들은 직업훈련 희망자가 12.2%(전체 472,514명 중 57,546명, 2005년)였고, 안마, 침, 성직자, 역리, 교직에 종사하고 있으며, 아직까지 시각장애인의 사회 진출 방향이 매우 제한적임을 알 수 있다. 이러한 현실은 점자나 음성 위주의 기존 교육 보조공학기기를 이용한 특수교육 환경이 다양한 분야로의 진출을 희망하는 시각장애인에게 적합하지 않음을 보여 주는 것으로써, 시각장애인의 학습 효율을 향상시키는 보다 특화된 교육 보조공학기기가 필요한 실정이다.
일반적인 교육 환경에서의 칠판과 같은 교육도구를 활용하여 시각적으로 문자나 영상 정보와 같은 교육 자료를 동시에 실시간적으로 전달하는 교육 보조공학기기가 현 시각장애인의 특수교육 환경에서는 전무하다. 그러므로, 시각장애인의 특수교육 환경에서 시각장애인은 촉각 정보 및 음성 정보로 학습 정보를 제공해야 한다. 이는 한정된 교육시간에 전달할 수 있는 정보의 양을 극히 제한시키는 요인이 된다. 또한, 영상 정보를 촉각 정보로 변환하여 시각장애인에게 제공할 경우, 시각장애인의 정보 이해가 용이함에도 불구하고, 현재의 어떠한 보조공학기기도 영상 정보를 촉각 정보로 실시간 자동 변환하는 장치가 없었다.
특히, 문자나 음성을 기반으로 하는 현재의 시각장애인의 특수 교육 환경에서는 저시력인과 전맹인이 함께 교육받고 있으나, 시각 장애의 정도에 따라 적합한 교육 자료 및 영상 자료를 실시간으로 변환하여 전달하는 방법이 없는 실정이다.
예를 들면, 저시력인은 화면 확대 프로그램을 통하여 교육 정보를 습득하고, 전맹인은 점자나 촉도를 이용하여 학습정보를 습득한다. 그러나, 저시력인과 전맹인이 혼합되어 있는 현 특수교육 환경에서, 제한된 교육시간내에 각 시각장애 등급별 정보인지 특성에 적합하게 교육 정보를 변환하여 제공하는 데에는 한계가 있었다.
문자나 음성만을 기반으로 한 현재의 시각장애인의 특수 교육 환경은 시각장애인에게 필수적인 지식 습득에 많은 어려움을 느끼게 하며, 결과적으로 시각장애인들이 높은 수준의 지식을 필요로 하는 진학을 회피하는 현상으로 나타나고 있다.
촉각정보로 변환된 영상정보를 이용하여 교육자료를 학습할 경우, 시각장애인은 정보의 이해가 용이하나 현 시각장애인 특수교육 환경에서는 변환된 영상자료가 극히 미미하다. 영상 정보를 촉각정보로 나타내는 점자프린터나 교육도구가 있긴 하지만, 특수교육 강사나 도우미를 통해 수동적으로 촉각정보로 변환 및 제작해야 하기 때문에, 시간이나 비용적인 면에서 현실적인 한계가 있었다.
이러한 현실에 따라 시각장애인의 특수 학습 환경을 일반적인 학습 환경과 최대한 유사하게 제공하도록 문자, 그림, 도형, 그래프 및 영상 형태의 학습 자료를 촉각 정보로 실시간 변환하여 동시에 시각장애인들에게 전달하는 교육 보조공학기기가 절실히 요구된다.
상기한 바와 같은 문제점을 해결하기 위한 본 발명의 목적은, 학습정보 서버에 강의 및 저작 프로그램에 의해 저작된 문자 뿐만아니라 수식, 기호, 그림, 도형, 그래프, 및 영상 정보를 포함하는 학습정보를 입력받고, 저시력인이 쉽게 인지할 수 있도록 저시력인용 영상 정보를 재구성하며, 전맹인이 쉽게 인지할 수 있는 촉각 정보로 실시간 자동 변환한 후, 학습정보 서버에 저장된 학습정보를 실시간으로 유무선 네트워크를 통해 저시력용 뷰어 프로그램이 설치된 저시력인용 제1 정보 출력 장치들(PC), 및 전맹인용 제2 정보 출력 장치들(햅틱전자보드)로 전송하여, 저시력인과 전맹인 모두에게 적합한 학습정보를 제공하는, 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템을 제공한다.
본 발명의 다른 목적은 햅틱전자보드 기반의 시각장애인용 학습정보 제공 방법을 제공한다.
본 발명의 목적을 달성하기 위해, 본 발명의 일측면에 따른 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템은, LAN 또는 WLAN 통신부를 구비하며, 강의 및 저작프로그램에 연동되는 학습정보 서버로 접속하여 저시력인용 학습정보를 수신받고, 저시력인용 뷰어 프로그램이 설치되는 저시력인용 제1 정보 출력 장치(PC); 및 고유의 장치 ID가 할당되고, 근거리 무선통신(ZigBee 또는 Bluetooth)을 사용하며, 고유의 장치 ID로 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 학습정보 서버로 접속하여 학습정보 서버로부터 전맹인용 학습정보를 수신받아 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 시각장애인에게 촉각 정보를 전달하는 전맹인용 제2 정보 출력 장치(햅틱전자보드)를 포함하고, 상기 강의 및 저작 프로그램과 상기 학습정보 서버는 네트워크 연결부(LAN 또는 WLAN) 및 무선통신 인터페이스부(ZigBee 또는 Bluetooth)를 구비한 상기 서버 PC에 설치되고, 입력장치로부터 입력된 학습정보를 강의 및 저작 프로그램(햅틱 에듀)에 의해 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존자료 불러오기 기능을 제공하고 이를 통해 저작된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보 또는 촉각정보 자동 변환 기술을 이용하여 촉각정보로 전달이 가능한 전맹인용 학습정보로 변환하고, 상기 저시력인용 학습정보 또는 촉각정보로 전달이 가능한 전맹인용 학습정보를 유무선 네트워크(LAN 또는 WLAN) 또는 무선 네트워크(ZigBee, 또는 Bluetooth)를 통해 1:N 또는 1:1 전송 모드로 적어도 하나 이상의 정보출력 장치들로 전송하는 것을 특징으로 하는 한다.
본 발명의 다른 목적을 달성하기 위해, 본 발명의 다른 측면에 따른 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법은, (a) 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존 자료 불러오기 기능을 제공하여 강의 및 저작 프로그램을 사용하여 학습정보 서버에 시각장애인용 학습정보를 입력받고, 학습정보 서버에 접속되는 유무선 네트워크로 접속된 제1 정보 출력장치들을 IP 주소로 식별하며, 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 접속된 제2 정보 출력 장치들을 장치ID로 식별하는 단계; (b) 상기 학습정보 서버로 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 인지 유무를 판별하는 단계; (c) 판별 결과, 상기 학습정보 서버에 상기 저시력인용 제1 정보 출력 장치가 접속된 경우, 입력된 학습정보를 정보 변환부를 사용하여 입력된 저시력인용 학습 정보로 변환하고, 상기 저시력인용 학습 정보를 상기 학습정보 서버로부터 유무선 네트워크(LAN, 또는 WLAN)를 통해 상기 제1 정보 출력 장치들로 송신하는 단계; (d) 판별결과, 상기 학습정보 서버에 상기 전맹인용 제2 정보 출력 장치(햅틱전자보드)가 접속된 경우, 입력된 학습정보를 전맹인용 촉각 정보로 변환하고, 촉각 정보로 전달이 가능한 전맹인용 학습 정보를 상기 학습정보 서버로부터 근거리 무선 네트워크(ZigBee, Bluetooth)를 통해 상기 제2 정보 출력 장치(햅틱전자보드)들로 송신하는 단계; 및 (e) 강의 및 저작 프로그램에 의해 동일한 학습정보를 기반으로 특정 학습정보의 페이지를 동기화하여 시각장애인용 학습 자료 페이지를 지정하거나 저시력인 또는 전맹인이 현재 페이지 정보를 상기 학습 정보 서버로 전송하여 학습 페이지를 동기화하는 단계를 포함한다.
햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법은 상기 제2 정보 출력 장치(햅틱 전자보드)에서는 상기 학습 정보 서버로부터 수신된 전맹인용 학습정보를 촉각 정보로 변환하여 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 그래픽 햅틱 전자보드를 사용하는 전맹인에게 촉각정보를 전달하는 단계를 더 포함한다.
본 발명의 또 다른 목적을 달성하기 위해, 본 발명은 컴퓨터에, (a) 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존 자료 불러오기 기능을 제공하여 강의 및 저작 프로그램을 사용하여 학습정보 서버에 시각장애인용 학습정보를 입력하고, 학습정보 서버에 접속되는 유무선 네트워크로 접속된 제1 정보 출력장치들을 IP 주소로 식별하며, 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 접속된 제2 정보 출력 장치들을 장치ID로 식별하는 기능; (b) 상기 학습정보 서버로 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 인지 유무를 판별하는 기능; (c) 판별 결과, 상기 학습정보 서버에 상기 저시력인용 상기 제1 정보 출력 장치가 접속된 경우, 입력된 학습정보를 정보 변환부를 사용하여 입력된 저시력인용 학습 정보로 변환하고, 상기 저시력인용 학습 정보를 상기 학습정보 서버로부터 유무선 네트워크(LAN, 또는 WLAN)를 통해 상기 제1 정보 출력 장치들로 송신하는 기능; (d) 판별결과, 상기 학습정보 서버에 상기 전맹인용 제2 정보 출력 장치(햅틱전자보드)가 접속된 경우, 입력된 학습정보를 전맹인용 촉각 정보로 변환하고, 촉각 정보로 전달이 가능한 전맹인용 학습 정보를 상기 학습정보 서버로부터 근거리 무선 네트워크(ZigBee, Bluetooth)를 통해 상기 제2 정보 출력 장치(햅틱전자보드)들로 송신하는 기능; 및 (e) 강의 및 저작 프로그램에 의해 동일한 학습정보를 기반으로 특정 학습정보의 페이지를 동기화하여 시각장애인용 학습 자료 페이지를 지정하거나 저시력인 또는 전맹인이 현재 페이지 정보를 상기 학습 정보 서버로 전송하여 학습 페이지를 동기화하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명에 따른 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법은 학습정보 서버에 문자 뿐만아니라 수식, 기호, 그림, 도형, 그래프, 및 영상 정보를 포함하는 학습정보를 입력받고, 저시력인이 쉽게 인지할 수 있도록 저시력인용 문자, 수식 및 영상 정보를 재구성하며, 전맹인이 쉽게 인지하도록 학습 정보를 촉각 정보로 실시간 자동 변환한 후, 학습정보 서버에 저장된 학습정보를 실시간으로 네트워크를 통해 저시력인용 뷰어 프로그램이 설치된 저시력인용 제1 정보 출력 장치들(PC), 및/또는 근거리 무선네트워크(ZigBee, Bluetooth)를 통해 전맹인용 제2 정보 출력 장치(햅틱전자보드)들로 전송하여, 시각 장애의 정도가 상이한 저시력인과 전맹인 모두에게 시각장애 등급별로 저시력인 학습 정보 또는 전맹인용 촉각 정보로 전달이 가능한 학습정보를 제공한다.
시각 장애인용 학습정보 제공 시스템은 저시력인, 전맹인 등의 시각장애인의 특수교육 효과를 극대화하기 위해 학습정보 서버 PC에 저장된 시각장애인용 학습자료와 관련된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 학습정보를 촉각정보로 변환하고, 저시력인용 학습정보를 유무선 네트워크(LAN, WLAN)을 통해 저신력인들이 사용하는 컴퓨터로 전송하고, 전맹인용 학습정보를 ZigBee, Bluetooth 등의 근거리 무선 네트워크를 통해 다수의 햅틱전자보드들로 동시다발적으로 전달하고, 햅틱전자보드에 의해 학습 정보를 촉각정보로 변환하여 시각장애인에게 촉각정보를 전달하는 그래픽 햅틱전자보드 기반의 교육 보조공학 시스템으로 활용이 가능하다.
도 1은 본 발명에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드를 사용하는 시각 장애인용 학습정보 제공 시스템의 네트워크 구성도이다.
도 2는 본 발명의 실시예에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드를 사용하는 시각 장애인용 학습정보 제공 시스템의 상세한 블록도이다.
도 3은 본 발명에 따른 시각 장애인용 학습정보 시스템을 위한 교사용 강의 및 저작 프로그램(햅틱 에듀), 저시력인용 뷰어프로그램, 전맹인용 햅틱전자보드의 구성을 나타낸 화면이다.
도 4는 본 발명에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법을 설명한 순서도이다.
도 5는 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 촉각화 알고리즘 구현 및 영상정보 미리보기, 영역분할 기능을 도시한 화면이다.
도 6은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 영상 영역을 선택하여 학습자료로 활용 및 직접 그리 기능을 도시한 화면이다.
도 7은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 문자 관련 기능 및 교육자료 불러오기 기능을 도시한 화면이다.
도 8은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 1,2차 함수 그래프 그리기 기능을 도시한 화면이다.
도 9는 시각 장애인용 학습정보 서버의 네트워크 기반 강의 및 저작 프로그램과 제1 정보 출력 장치의 저시력 시각장애인 뷰어 프로그램을 도시한 화면이다.
도 10은 시각 장애인용 학습정보 서버의 강의 저작프로그램과 제1 정보 출력 장치의 저시력 시각장애인용 뷰어 프로그램의 자료 요청에 대한 강의 자료 제어 신호의 통신 형태를 도시한 화면이다.
도 11은 제1 정보 출력 장치의 저시력인용 뷰어 프로그램 기능(원래 영상,확대 영상,색상 반전, 흑백변환, 밝기 증가, 밝기 감소)을 도시한 화면이다.
도 12는 제2 정보 출력 장치(햅틱전자보드)의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator) 및 array type 액츄에이터의 형상 및 일실시예로 4개의 8x2 표준 그래픽 출력 모듈(32x2)로 구성된 32x2 Dot의 표준 그래픽 출력 장치의 크기 및 형상을 나타낸 도면이다.
도 13은 초소형 초음파 모터를 array type을 개발하여, 초음파 모터의 array type 엑츄에이터의 제조 공정시 소량, 경량화를 위해 Top/Bottom 2단 구조로 구성하고, 각각 4선으로 된 Top Module 신호 케이블 및 Bottom Module 신호 케이블의 4x2 표준 그래픽 출력 모듈로 구성된 햅틱전자보드의 기본적인 8x2 표준 그래픽 출력 모듈을 나타낸 도면이다.
도 14는 제2 정보 출력 장치(햅틱전자보드)의 표준 그래픽 출력 모듈의 구동회로의 블럭도이다.
도 15는 햅틱전자보드의 2그룹별로 기본적인 8x2 표준 그래픽 출력 모듈을 조합하여 만든 햅틱전자보드의 그래픽출력 표준 모듈을 나타낸 도면이다.
도 16은 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈로 전맹인용 학습 정보와 관련된 촉각 정보를 나타낸 화면이다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 발명의 구성과 동작을 상세하게 설명한다.
도 1은 본 발명에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드를 사용하는 시각 장애인용 학습정보 제공 시스템의 네트워크 구성도이다.
시각 장애인용 학습정보 제공 시스템은 네트워크 연결부(LAN 또는 WLAN) 및 무선통신 인터페이스부(ZigBee 또는 Bluetooth)를 구비한 서버 PC에 설치되고, 입력장치로부터 입력된 학습정보를 강의 및 저작 프로그램(햅틱 에듀)에 의해 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존자료 불러오기 기능을 제공하고 이를 통해 저작된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보 또는 촉각정보 자동 변환 기술을 이용하여 촉각정보로 전달이 가능한 전맹인용 학습정보로 변환하고, 상기 저시력인용 학습정보 또는 촉각정보로 전달이 가능한 전맹인용 학습정보를 유무선 네트워크(LAN 또는 WLAN) 또는 무선 네트워크(ZigBee, 또는 Bluetooth)를 통해 1:N 또는 1:1 전송 모드로 적어도 하나 이상의 정보출력 장치들로 전송하는 학습정보 서버(100);
LAN 또는 WLAN 통신부를 구비하며, 강의 및 저작 프로그램에 연동되는 학습정보 서버 PC로 접속하여 TCP/IP를 통해 저시력인용 학습정보를 수신받고, 저시력인용 뷰어 프로그램이 설치되는 저시력인용 제1 정보 출력 장치(PC)(200); 및
고유의 장치 ID가 할당되고, 고유의 장치 ID로 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 학습정보 서버 PC로 접속하여 학습정보 서버(100)로부터 전맹인용 학습정보를 수신받아 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀(Probe)들을 제어하여 그래픽 출력모듈로 출력하여 시각장애인에게 전맹인용 학습정보와 관련된 촉각 정보를 전달하는 전맹인용 제2 정보 출력 장치(햅틱전자보드)(300)로 구성된다.
제1 정보 출력 장치(PC)(200)는 PC, 노트북 등의 컴퓨터를 사용하며, 저시력인용 뷰어 프로그램이 설치되고, 유무선 네트워크(LAN, WLAN)를 통해 학습정보 서버(100)로 접속한다.
제2 정보 출력 장치(햅틱전자보드)(300)는 고유의 장치 ID가 할당되고, 전맹인용 그래픽 햅틱전자보드를 사용하며, 근거리 무선통신(ZigBee 또는 Bleotooth)을 통해 학습정보 서버(100)로 접속하여 근거리 무선 네트워크(ZigBee 또는 Bleotooth)로 전맹인용 학습정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 전맹인에게 촉각정보로 전달한다.
도 2는 본 발명의 실시예에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드를 사용하는 시각 장애인용 학습정보 제공 시스템의 상세한 블록도이다.
강의 및 저작 프로그램(90)은 입력장치로부터 입력된 학습정보를 강의 및 저작 프로그램(햅틱 에듀)에 의해 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존자료 불러오기 기능을 제공하고 이를 통해 저작된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보 또는 촉각정보 자동 변환 기술을 이용하여 촉각정보로 전달이 가능한 전맹인용 학습정보로 변환하며, 접속 클라이언트를 세션을 관리한다. 또한, 강의 및 저작 프로그램(90)은 접속 상태 모니터링, 접속한 학생의 현재 뷰 페이지 모니터링 기능, 학습 페이지 지정 기능을 제공한다.
학습정보 서버(100)는 강의 및 저작 프로그램에 의해 저작된 문자 뿐만아니라 수식, 기호, 그림, 도형, 그래프, 및 영상 정보를 포함하는 시각장애인용 특정 학습정보를 입력받고, 영상 정보의 촉각화 알고리즘이 구현된 강의 및 저작 프로그램에 의해 저시력인이 쉽게 인지하도록 저시력인용 학습 정보를 재구성하며, 전맹인이 쉽게 인지하도록 촉각 정보로 전달이 가능한 학습정보로 자동 변환한 후, 접속된 정보 출력 장치들의 장치 ID를 분석하여 시각장애 특성에 맞게 분류하고, 저시력인용 학습정보 및 전맹인용 학습정보를 각각 학습정보 서버로부터 유무선 네트워크(LAN, WLAN) 및/또는 근거리 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 동시 다발적으로 기 접속된 다수의 제1 정보 출력장치들(PC)(200) 또는 다수의 제2 정보 출력 장치들(햅틱전자보드들)(300)로 전송한다.
1대의 학습정보 서버 PC는 저시력인용 뷰어프로그램이 설치된 제1 정보 출력장치들(PC)(200)과 유무선 네트워크(LAN 또는 WLAN)로 통신하는 네트워크 연결부(145)를 포함하고, 전맹인용 제2 정보 출력 장치들(그래픽 햅틱 전자보드)(300)과 근거리 무선통신(ZigBee 또는 Bluetooth)을 위한 무선통신 인터페이스부(140)를 포함하며, 전력 소모가 적고 통신 안정성이 뛰어난 근거리 무선통신을 사용하여 시각장애인용 학습정보를 최대 20대의 전맹인용 제2 정보 출력 장치들(그래픽 햅틱전자보드)(300)로 전송하며, bidirectional 통신이 가능하다.
1대의 학습정보 서버 PC는 저시력인용 뷰어프로그램이 설치된 제1 정보 출력장치들(PC 또는 노트북)(200)로 유무선 네트워크(LAN 또는 WLAN)로 TCP/IP를 사용하여 저시력인을 위한 학습정보를 전송하며, 전맹인용 제2 정보 출력 장치들(그래픽 햅틱전자보드)(300)로 무선 네트워크(ZigBee 또는 Bluetooth)로 전맹인을 위한 학습정보를 전송한다.
저시력인용 제1 정보 출력장치들(PC 또는 노트북)(200)은 LAN 또는 WLAN 통신부(210)를 구비하며, 전맹인용 제2 정보 출력 장치들(햅틱전자보드)(300)은 ZigBee 통신부 또는 Bluetooth 통신부(301)를 구비한다.
ZigBee 통신을 사용하는 경우, 제2 정보 출력 장치들(햅틱전자보드)(300)의 ZigBee 통신부(301)는 DS-SS(Direct Sequence-Spread Spectrum, 직접 시퀀스확산 스펙트럼) 모뎀을 사용하며 2.4 GHz 또는 862~868 MHz 또는 915 MHz 주파수 대역을 사용하며, 최대 250kbps의 데이타 전송 속도를 제공하며, 교실 내 20-30m 거리 내에서 근거리 무선통신을 사용하여 ZigBee 통신 인터페이스를 구비한 학습정보 서버 PC와 P2P Star Mesh 방식으로 통신된다.
Bluetooth 통신을 사용하는 경우, 제2 정보 출력 장치들(햅틱전자보드)(300)의 Bluetooth 통신부(slave)(301)는 2.4GHz 주파수 대역으로 교실내 1000m 이내의 근거리 무선통신을 사용하여 Bluetooth 통신 인터페이스(master)를 구비한 학습정보 서버 PC와 통신된다.
학습정보 서버(100)에 입력 장치(키보드, 마우스)에 의해 입력된 전맹인용 학습정보는 유무선 네트워크(LAN 또는 WLAN) 또는 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 기본적으로 1:N 방식으로 제1 정보 출력 장치(200) 및 제2 정보 출력 장치(300)로 전송하거나, 또는 필요에 따라 1:1 전송모드로 개인별 정보 출력 장치의 장치ID를 선택하여 전송할 수도 있다.
도 2를 참조하면, 본 발명에 따른 시각장애인용 학습정보 제공 시스템은 학습정보 서버(100)로 정보 입력부로부터 문자 뿐만아니라 숫자, 수식, 그림, 도형, 그래프, 및 영상 정보를 포함하는 시각장애인용 특정 학습정보를 입력받아 저장하고, 영상의 촉각화 알고리즘이 구현된 강의 및 저작 프로그램에 의해 입력된 학습 정보를 저시력인용 학습 정보를 재구성하며, 전맹인이 쉽게 인지할 수 있도록 촉각 정보로 전달이 가능한 학습정보로 실시간 자동 변환한 후, 학습정보 서버(100)로부터 저시력인용 학습정보 또는 전맹인용 학습정보를 네트워크를 통해 동시 다발적으로 정보 출력 장치들로 전송하고, 상기 정보 출력 장치는 저시력인용 뷰어 프로그램이 설치되고 유무선 네트워크(LAN, WLAN)로 수신된 저시력인용 학습정보를 출력하는 제1 정보 출력 장치(200); 및 전맹인용 학습정보를 수신받아 전맹인용 학습정보를 촉각정보로 변환하여 전맹인에게 촉각정보를 전달하는 ZigBee 또는 Bluetooth 통신부를 구비한 전맹인용 제2 정보 출력 장치(햅틱전자보드)(300)로 구성된다.
상기 학습정보 서버(100)는 강의 및 저작 프로그램에 의해 저작된 문자 뿐만아니라 수식, 기호, 도형, 그래프, 및 영상 정보를 포함하는 시각장애인용 특정 학습정보를 입력받는 정보 입력부(110); 상기 정보 입력부(100)로부터 입력된 정보를 저장하는 정보 저장부(120); 상기 정보 입력부(100)로부터 입력된 학습정보를 저시력인용 학습정보 및 촉각 정보로 전달이 가능한 전맹인용 학습정보로 변환하는 정보 변환부(130); 다수의 제2 정보 출력 장치(300)들과 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 통신하는 경우, 전맹인용 학습 정보를 제공하는 무선통신 인터페이스부(140); 및 학습정보 서버 PC와 제1 정보 출력 장치들(200)과 유무선 네트워크(LAN 또는 WLAN)으로 통신하는 경우, 저시력인용 뷰어 프로그램이 설치된 제1 정보 출력 장치(200)로 저시력인용 학습정보를 전송하는 네트워크 연결부(145)로 구성된다.
제1 정보 출력장치(200)는 저시력인용 뷰어프로그램이 설치되고, 학습정보 서버(100)로부터 유무선 네트워크(LAN 또는 WLAN)를 통해 저시력인용 학습 자료를 수신하고, 저시력인용 뷰어프로그램을 사용하여 저시력인의 시력에 따라 화면의 크기, 밝기, 대비(contrast) 등을 설정하고 확대하여 저시력인용 학습정보를 출력한다.
제2 정보 출력 장치(햅틱전자보드)(300)는 일실시예로 64x64 그래픽 출력 모듈을 개발하여 실 사용자의 테스트를 거쳐 표면 질감, 핀 높이를 설정하고, 표준 그래픽 출력 모듈의 Array를 통해 전체 4096 pin의 그래픽 출력 모듈을 개발하였다.
제2 정보 출력 장치(햅틱전자보드)(300)는 기본적으로 PC와 연결되는 UART(Universal asynchronous receiver/transmitter, 범용 비동기 송수신기) 인터페이스를 제공하며, 본 발명을 실시하기 위해 ZigBee 인터페이스 또는 Bluetooth 인터페이스를 개발하였다. 실시간 그래픽 햅틱전자보드는 FPGA(Field Programmable Gate Array, 현장 프로그래머블 게이트 어레이)를 이용한 구동회로의 크기를 축소하고, 구동 주파수와 위상차 동시 제어 프로그램을 개발하여 선형운동이 가능한 멀티 배열의 초소형 선형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)의 액츄에이터의 최적 제어성 및 제어 인자를 고려하였으며, 실험을 통해 전맹인(전맹 시각장애인)용 학습정보에 포함된 문자, 수식, 숫자, 기호, 도형, 그래프, 영상에 대한 촉각인지 특성을 분석하여 그래픽 출력부로 출력한다.
제2 정보 출력 장치(햅틱전자보드)(300)는 상, 하, 좌, 우, 전, 후 사용자 입력버튼을 사용하여 그래픽 출력 또는 점자의 스크롤 기능을 제공하고, 다음 화면 또는 이전 화면으로 이동이 가능하게 제작하여 사용자의 편리성을 증대하고 그래픽 출력부 reset 및 reload 기능을 구현하였다.
제2 정보 출력 장치(햅틱전자보드)(300)는 햅틱전자보드 사용자의 입력에 따라 영상 및 점자에 대한 촉각정보를 스크롤하는 기능, 햅틱전자보드의 한정된 해상도 및 분할된 영상에 대한 촉각정보 스크롤 기능을 제공한다. 학습 정보 서버(100)는 연결된 제2 정보 출력 장치(햅틱전자보드)(300)에 출력된 학습 정보를 기억하고 각 장치를 제어한다.
도 3은 본 발명에 의한 시각 장애인용 학습정보 시스템을 위한 교사용 강의 및 저작 프로그램(햅틱 에듀), 저시력인용 뷰어프로그램, 전맹인용 햅틱전자보드의 구성을 나타낸 화면이다.
학습정보 서버(100)의 교사용 강의 및 저작 프로그램(이하, '햅틱 에듀' 라고 칭함)은 전맹인용과 저시력인용을 구분하지 않고, 저작한 강의 자료를 정보 출력 장치에 적합하게 변환하여 실시간 동시다발적으로 통신되는 저시력인용 뷰어프로그램을 구비한 제1 정보 출력장치(200), 근거리 무선 통신(ZigBee 또는 Bluetooth)을 사용하는 제2 정보 출력 장치(전맹인용 햅틱전자보드)(300)로 전송한다.
학습정보 서버(100)의 강의 및 저작 프로그램(햅틱 에듀)은 저시력인과 전맹인 모두에게 동일한 학습자료를 각각 시각장애 특성에 맞게 변환하여 실시간으로 학습정보를 전달하는 교육 보조공학 소프트웨어이다.
강의 및 저작 프로그램(햅틱 에듀)는 저시력인 및 전맹인을 위한 학습 자료를 각각 별도로 제작하지 않고, 동일한 학습 자료를 사용하여 저시력인용 학습자료 및 전맹인용 학습자료로 제작한다. 그래픽 햅틱 전자보드는 전맹인용 학습정보를 촉각 정보로 변환하여 전맹인에게 촉각정보를 전달하는 교육 보조공학 시스템이다.
학습정보 서버(100)는 저시력인용 학습정보 및/또는 전맹인용 학습정보를 각각 동시에 저시력인용 뷰어 프로그램이 설치된 제1 정보 출력 장치(PC 또는 점자 단말기) 및/또는 전맹인용 제2 정보 출력 장치(햅틱전자보드)(300)로 제공한다.
강의 및 저작 프로그램(햅틱 에듀)은 제2 정보 출력장치(햅틱전자보드)(300)의 특성에 맞게 문자, 숫자, 수식, 기호, 도형, 그래프와 관련된 촉각 정보를 인식하고, 특히 영상의 촉각화 알고리즘을 구현하여 전맹인이 효과적으로 영상정보에 관련된 촉각정보를 인식하도록 하였다.
강의 및 저작 프로그램(햅틱 에듀)은 제2 정보 출력 장치(햅틱전자보드)(300)의 해상도에 적합하게 입력한 촉각정보로 전달이 가능한 전맹인용 학습 자료로 변환하여 제2 정보 출력 장치(햅틱전자보드)(300)로 전송하면, 제2 정보 출력 장치(햅틱전자보드)(300)들은 근거리 무선통신(ZigBee 또는 Bluetooth)을 사용하여 전맹인용 학습정보를 수신하고, 전맹인용 학습정보를 촉각 정보로 변환하여 전맹인의 손으로 인식하게 한다.
강의 및 저작 프로그램(햅틱에듀)은 교사가 칠판에 쓰듯 활용할 수 있는 판서 기능과 주지과목의 특성을 고려하여 그래프 생성 기능, 수식 입력 및 변환, 자동 점자 변환, 학생관리 기능, 준비자료 저장/불러오기 기능을 실행한다.
강의 및 저작 프로그램(햅틱 에듀)은 근거리 무선통신(ZigBee 또는 Bluetooth)을 사용하여 접속된 전맹인용 제2 정보 출력 장치(햅틱전자보드)(300) 및 저시력인용 제1 정보 출력장치(200)의 접속상태 및 확대된 출력화면 모니터링, 개별적 학습자료 전송, 현재 출력 화면 지정 컨트롤 기능을 관리한다. 제1 정보 출력 장치(200)의 저시력인용 뷰어프로그램과 제2 정보 출력 장치(햅틱전자보드)(300)는 강의 및 저작 프로그램(햅틱 에듀)에 의해 통제되고, 교사가 제어한 학습 자료 화면으로 자동 전환 기능을 제공한다.
제1 정보 출력장치(200)의 저시력인용 뷰어 프로그램(client)은 학습정보 서버(100)로부터 유무선 네트워크(LAN, WLAN)를 통해 교사의 학습 자료를 수신하여 저시력인의 시력에 따라 문자, 숫자, 수식, 기호, 도형, 그래프 및 영상 출력 기능, 영상의 크기 선택, 색상 선택, 밝기 조정, 대비(Contrast) 조절 기능을 설정하고 저시력인의 시력에 따라 화면을 확대하거나 축소하여 저시력인용 학습정보를 저시력인에게 인지하게 한다.
학습정보 서버(100)는 저시력인용 학습정보를 제어하기 위한 네트워크 프로그램을 설계 및 구현하였으며, 고유 식별코드로 설정된 각각의 저시력인용 뷰어 프로그램(클라이언트)을 제어하고, 저시력인용 뷰어 프로그램을 판별하여 작성된 문자, 숫자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보를 전송한다. 강의 및 저작 프로그램에 의해 작성된 저시력인용 학습정보는 1:N 방식으로 전송하거나, 또는 필요에 따라 1:1 방식으로 개인별로 선택하여 전송하도록 구현하였다.
제2 정보 출력 장치(햅틱전자보드)(300)는 학습정보 서버(100)로부터 근거리 무선통신(ZigBee, Bluetooth)으로 전맹인용 학습정보를 수신하고, 수신된 전맹인용 학습정보를 촉각정보로 변환하여 멀티배열로 구성된 초소형 초음파 모터(TULA)의 핀들의 돌출을 제어하여 그래픽 출력 모듈로 출력하고, 전맹인용 햅틱전자보드의 버튼을 이용하여 페이지를 이동하거나 강의 및 저작프로그램에서 페이지 이동 명령을 실행한다.
강의 및 저작 프로그램(햅틱 에듀)은 문자, 수식, 기호, 도형을 포함한 문자 입력 기능; 작성한 영상정보의 특정영역에 대한 세부 설명 및 주석을 문자로 입력하는 기능; 전맹인을 위한 자동 점역(점자 번역) 기능; 전맹인을 위한 제2 정보 출력 장치(햅틱전자보드)(300)에 적합한 영상의 촉각화 알고리즘의 구현 기능; 마우스 또는 타블렛(Tablet) 등의 입력 장치를 통한 자유 그리기 기능, 직선, 삼각형, 원, 그래프 등 자주 사용되는 도형의 템플릿을 이용한 그리기 기능, 2차원 좌표계의 단위 설정, 함수 및 그래프 그리기 기능을 제공하는 영상 정보 직접 그리기 기능; 영상의 촉각화 알고리즘을 사용하여 제2 정보 출력 장치(햅틱전자보드)(300)의 그래픽 출력 모듈에 나타날 촉각정보 형태를 작성자가 미리 확인하고, 전송할 영상 정보의 크기나 해상도가 클 경우 작성자에 의해 직접 영역을 분리하여 전달하는 영상정보 영역을 분할하는 영상정보 미리보기 및 영역 분할 기능; 및 작성한 학습자료에 대한 저장 및 불러오기 기능을 제공한다.
저시력인 시각장애인용 뷰어 프로그램은 제1 정보 출력 장치(200)에 사용되고, 화면 크기의 분할 확대 및 이동 기능, 색상 선택 기능, 밝기 조정 기능과 같은 필수 기능들을 구현하여 학습 정보 서버(100)로부터 수신된 문자, 기호, 수식, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습 정보를 저시력인에게 제공한다.
도 4는 본 발명에 따른 저시력인용 뷰어 프로그램과 전맹인용 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법을 설명한 순서도이다.
교사가 문자 수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존 자료 불러오기 기능을 제공하여 강의 및 저작 프로그램을 사용하여 학습정보 서버(100)에 시각장애인용 학습정보를 입력한다(S310). 이후 학습정보 서버(100)는 유무선 네트워크(LAN, 또는 WLAN)로 접속된 제1 정보 출력장치들(200)을 IP 주소로 식별하고, 근거리 무선 네트워크(ZigBee, Bluetooth)로 접속된 제2 정보 출력 장치들(300)을 고유의 장치ID로 식별하며, 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 또는 전맹인 시각 장애인의 유형을 판별한다(S320). 즉, 학습정보 서버 PC는 제1 정보 출력장치들(200), 제2 정보 출력 장치들(300)을 구분하고, 접속한 정보 출력 장치를 개별적으로 또는 총괄적으로 관리한다.
학습정보 서버(100)는 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 인지 유무를 판별한다(S330).
판별 결과, 학습정보 서버(100)에 저시력인용 제1 정보 출력 장치(200)가 접속된 경우, 학습정보 서버(100)는 입력된 학습정보를 정보 변환부(130)를 사용하여 입력된 저시력인용 학습 정보로 변환하고(S340), 저시력인용 학습 정보를 학습정보 서버(100)로부터 유무선 네트워크(LAN, 또는 WLAN)를 통해 제1 정보 출력 장치(200)들로 송신한다(S350).
판별결과, 학습정보 서버(100)에 전맹인용 제2 정보 출력 장치(햅틱전자보드)(300)가 접속된 것으로 판별된 경우, 학습정보 서버(100)는 강의 및 저작 프로그램에 의해 입력된 학습정보를 전맹인용 촉각 정보로 변환하고(S360), 촉각 정보로 변환이 가능한 전맹인용 학습 정보를 학습정보 서버(100)로부터 근거리 무선 네트워크(ZigBee, Bluetooth)를 통해 제2 정보 출력 장치(햅틱전자보드)(300)들로 송신한다(S370).
강의 및 저작 프로그램은 동일한 학습정보를 기반으로 특정 학습정보의 페이지를 동기화하여 시각장애인용 학습 자료 페이지를 지정하거나 저시력인 또는 전맹인이 현재 페이지 정보를 학습 정보 서버(100)로 전송한다(S380).
제2 정보 출력 장치(햅틱 전자보드)(300)는 학습 정보 서버(100)로부터 수신된 전맹인용 학습정보를 촉각 정보로 변환하여 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 그래픽 햅틱 전자보드를 사용하는 전맹인에게 촉각정보를 전달한다(S390).
도 5는 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 촉각화 알고리즘 구현 및 영상정보 미리보기, 영역분할 기능을 도시한 화면이다.
도 6은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 영상 영역을 선택하여 학습자료로 활용 및 직접 그리 기능을 도시한 화면이다.
*도 7은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 문자 관련 기능 및 교육자료 불러오기 기능을 도시한 화면이다.
도 8은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 1,2차 함수 그래프 그리기 기능을 도시한 화면이다.
도 9는 시각 장애인용 학습정보 서버의 네트워크 기반 강의 및 저작 프로그램과 제1 정보 출력 장치의 저시력 시각장애인 뷰어 프로그램을 도시한 화면이다.
도 10은 시각 장애인용 학습정보 서버의 강의 저작프로그램과 제1 정보 출력 장치의 저시력 시각장애인용 뷰어 프로그램의 자료 요청에 대한 강의 자료 제어 신호의 통신 형태를 도시한 화면이다.
도 11은 제1 정보 출력 장치의 저시력인용 뷰어 프로그램 기능(원래 영상,확대 영상,색상 반전, 흑백변환, 밝기 증가, 밝기 감소)을 도시한 화면이다.
학습정보 서버(100)는 교사가 전송한 학습 자료를 제1 정보 출력 장치(200)로 시각장애인의 시력에 따라 화면 등에 표시된 영상의 크기, 밝기, 대비, 색상 조합 등을 설정하여 저시력인용 학습정보를 인지하게 된다. 즉, 학습정보 서버(100)는 교사 등이 칠판에 내용을 쓰듯 활용할 수 있는 판서 기능과 주지 과목의 특성을 고려하여 그래프 생성 기능, 수식 입력 및 변환, 자동 점자 변환, 학생 관리 기능, 준비자료 저장/불러오기 등의 기능을 수행한다.
또한, 학습정보 서버(100)는 네트워크로 접속된 상기 제1 정보 출력 장치(200) 및 제2 정보 출력 장치(300)의 접속 상태 및 출력화면 모니터링, 개별적 교육자료 전송, 현재 출력화면 지정 컨트롤 기능을 관리한다.
또한, 제1 정보 출력 장치(200) 및 제2 정보 출력 장치(300)는 학습정보 서버(100)에 의해 제어되며, 교사가 원하는 자료 화면으로 자동으로 전환될 수 있다.
학습정보 서버(100)는 네트워크를 통해 제1 정보 출력 장치(200) 또는 제2 정보 출력 장치(300)의 고유의 장치ID로 접속 요청시, 요청 장치의 접속 상태를 장치 상태 관리 창을 사용하여 확인하는 기능을 제공한다. 상기 제1 정보 출력 장치(200)는 학습정보의 페이지 변경시, 장치 상태 관리 창을 사용하여 각 해당 장치의 페이지를 확인할 수 있다. 또한, 학습정보 서버(100)는 동일 학습정보를 기반으로 학습을 진행하기 위해 특정 학습정보의 페이지를 동기화하는 기능을 제공할 수도 있다.
또한, 학습정보 서버(100)는 상기 제1 정보 출력 장치(200) 및 상기 제2 정보 출력 장치(300)의 입력에 따라 영상 및 점자에 대한 촉각 정보를 스크롤하는 기능이 제공된다. 또한, 제1 정보 출력 장치(200) 및 상기 제2 정보 출력 장치(300)의 한정된 해상도 및 분할된 영상에 대한 촉각 정보를 스크롤하는 기능이 제공될 수도 있다. 또한, 학습정보 서버(100)는 네트워크를 통해 연결된 제1 정보 출력 장치(200) 또는 제2 정보 출력 장치(300)에 전달된 학습 정보를 기억하고 각 장치를 제어하는 기능을 수행한다.
학습정보 서버(100)는 정보 입력부(110)를 사용하여 문자, 숫자, 수식, 기호, 도형을 비롯한 특정 학습정보를 입력할 수 있다. 예를 들면, 관리자가 마우스, 키보드 또는 타블렛 PC(Tablet PC) 등의 입력 장치를 통해 학습정보 서버(100)로 정보 입력이 가능하다. 예를 들면, 강의 및 저작 프로그램(햅틱에듀)은 직선, 삼각형, 원, 그래프를 비롯한 자주 사용되는 도형의 템플릿을 이용한 그리기가 가능하다. 또한, 강의 및 저작 프로그램(햅틱에듀)은 2차원 좌표계의 단위 설정, 함수 및 그래프 등을 그릴 수 있는 그래프 그리기도 가능하고, 입력한 학습정보의 특정 영역에 대한 세부 설명 및 주석을 문자로 입력하는 형태로 구현한다. 또한, 학습정보 서버(100)는 전맹인을 위한 자동 점역(점자 번역) 기능을 제공할 수도 있다.
상기와 같이 입력된 학습정보는 정보 저장부(120)를 통해 저장되어, 이후에 '불러오기' 기능을 제공한다. 이때, 강의 및 저작 프로그램은 각 페이지를 축소한 후 나열하여 미리보기 기능을 제공한다. 또한, 사용자는 입력한 여러 페이지의 학습정보를 하나의 통합 파일로 저장하고 불러오기 기능을 실행한다. 학습 정보는 작성한 선 및 도형 등을 해상도 변경에 따른 왜곡 현상이 없는 벡터 이미지로 제공된다. 또한, 강의 및 저작 프로그램(햅틱에듀)은 입력된 학습정보를 불러오기를 실행한 후, 불필요한 부분을 삭제 또는 추가 등의 그리기와 같은 편집 기능을 제공한다.
상기 학습정보 서버(100)의 정보 변환부(130)는 입력되는 정보의 변환알고리즘을 사용하여 상기 제1 정보 출력 장치(200)의 단말에 나타나게 될 영상 정보나 상기 제2 정보 출력 장치(300)의 그래프 출력부에 나타나게 될 촉각 정보로 변환하는 기능을 수행하고, 변환된 영상 정보 또는 촉각 정보의 형태를 작성자가 미리 확인이 가능하다. 또한, 전송할 학습정보의 크기나 해상도가 클 경우, 작성자는 직접 영역을 분리하여 저시력인용 제1 정보 출력 장치(200) 또는 전맹인용 제2 정보 출력 장치(300)로 전송하도록 저시력인용 또는 전맹인용 학습 정보 영역 분할 기능도 제공한다.
상기 제1 정보 출력 장치(200)는 상기 학습정보 서버(100)가 저장된 서버 PC와 유무선 네트워크(LAN, 또는 WLAN)로 통신하기 위한 통신부(210); 및 학습정보 서버(100)로부터 근거리 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 수신한 저시력인용 학습정보를 사용자의 단말 화면에 확대 및 축소하여 디스플레이하기 위한 어플리케이션부(220)를 구비한다.
즉, 상기 학습정보 서버(100)를 통해 변환된 저시력인용 학습정보는 상기 제1 정보 출력 장치(200)의 통신부(210)로 전송되고, 상기 어플리케이션부(220)를 통해 저시력인용 뷰어 프로그램으로 출력된다.
상기 어플리케이션부(220)는, 상기 학습정보 서버(100)로부터 유무선 네트워크(LAN 또는 WLAN)로 수신된 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 크기를 확대하는 정보 확대 모듈(221); 학습정보 서버(100)로부터 수신된 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 크기를 축소하는 정보 축소 모듈(222); 학습정보 서버(100)로부터 수신된 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 영역을 이동시키기 위한 정보 이동 모듈(223); 학습정보 서버(100)로부터 수신된 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 색상을 조절하는 색상 조절 모듈(224); 및 학습정보 서버(100)로부터 수신된 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 밝기를 조절하는 명도 조절 모듈(225)로 구성된다.
예를 들면, 정보 확대 모듈(221)은 전송된 시각적인 학습정보를 저시력인 사용자가 쉽게 식별하도록 2배에서 30배까지 확대하는 기능을 제공한다.
색상 조절 모듈(224)은 색상 구분이 불가능한 저시력인을 위해 학습정보의 색상을 반전 및 흑백 조정하는 기능을 수행한다.
명도 조절 모듈(225)은 학습정보의 영상이 너무 어둡거나 밝은 영상을 보면 쉽게 피로를 느끼는 저시력자를 위해 영상의 밝기를 조절한다.
또한, 제2 정보 출력 장치(300)는 ZigBee 무선 통신으로 학습 정보 서버(100)로부터 전맹인용 학습정보를 수신하고, 수신된 학습정보를 촉각 정보로 변환하여 출력하고, 버튼을 이용하여 페이지를 이동하거나 상기 학습정보 서버(100)에서의 페이지 이동 명령을 수행하는 기능, 조밀한 해상도를 제공한다.
제2 정보 출력 장치(300)는 ZigBee 또는 Bluetooth 프로토콜로 통신을 제공하는 통신부(301)를 구비하고, 전맹인용 햅틱 전자 보드를 사용한다.
제2 정보 출력 장치(햅틱 전자 보드)(300)는 상기 학습정보 서버(100)로부터 근거리 무선통신 네트워크(ZigBee 또는 Bluetooth)를 통해 전맹인용 학습정보를 수신하는 통신부(301); 통신부(301)로부터 전맹인용 학습정보를 입력받아 제어 명령을 제공하고, MCU(MicroControl Unit)로 구성된 마스터 보드(310); 상기 마스터 보드(310)와 SPI(Serial Peripheral Interface) Bus로 연결되고, 상기 마스터 보드(310)로부터 제어 명령을 수신받아 멀티배열로 구성된 초음파 모터를 제어하는 하나 이상의 슬레이브 보드(320); 멀티배열로 구성된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)(330); 및 전원을 인가받아 DC-DC 전압을 변환하여 상기 마스터 보드(310) 및 상기 슬레이브 보드(320)로 제공하는 스텝다운 DC-DC 컨버터(340)를 포함한다.
제2 정보 출력 장치(햅틱 전자 보드)(300)는 전맹인용 학습자료에 포함된 문자, 숫자, 기호, 그래프, 도형 또는 영상을 인지하도록, 임베디드 시스템의 제어 프로그램의 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 영상의 윤곽선을 추출하여 촉각 정보로 표현하는 기능, 그래픽 햅틱전자보드에 의해 선형운동이 가능한 멀티배열로 구성된 초소형 선형 초음파모터(TULA:Tiny Ultrasonic Linear Actuator)를 기반으로 멀티배열의 입체적 촉각정보로 표현하는 기능, 전 방향으로 4mm 피치(pitch)의 촉각 셀을 구성하여 시각장애인에게 연속적인 촉각정보를 표현하는 기능, 출력정보 수신 후 최대 0.8초 미만의 빠른 응답속도로 실시간으로 입력된 전맹인용 학습 정보를 촉각정보로 출력하는 기능을 제공한다.
제2 정보 출력 장치(햅틱 전자 보드)(300)는 '상, 하, 좌, 우, 전, 후' 등의 사용자 입력 버튼을 통해 그래픽 출력 또는 점자의 스크롤 기능을 구현할 수 있고, 다음 화면 또는 이전 화면으로 이동이 가능하게 제작하여 사용자의 편리성을 증대시킨다.
컴퓨터에 설치된 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법은 (a) 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존 자료 불러오기 기능을 제공하여 강의 및 저작 프로그램을 사용하여 학습정보 서버에 시각장애인용 학습정보를 입력받고, 학습정보 서버에 접속되는 유무선 네트워크로 접속된 제1 정보 출력장치들을 IP 주소로 식별하며, 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 접속된 제2 정보 출력 장치들을 장치ID로 식별하는 기능; (b) 상기 학습정보 서버로 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 인지 유무를 판별하는 기능; (c) 판별 결과, 상기 학습정보 서버에 상기 저시력인용 상기 제1 정보 출력 장치가 접속된 경우, 입력된 학습정보를 정보 변환부를 사용하여 입력된 저시력인용 학습 정보로 변환하고, 상기 저시력인용 학습 정보를 상기 학습정보 서버로부터 유무선 네트워크(LAN, 또는 WLAN)를 통해 상기 제1 정보 출력 장치들로 송신하는 기능; (d) 판별결과, 상기 학습정보 서버에 상기 전맹인용 제2 정보 출력 장치(햅틱전자보드)가 접속된 경우, 입력된 학습정보를 전맹인용 촉각 정보로 변환하고, 촉각 정보로 전달이 가능한 전맹인용 학습 정보를 상기 학습정보 서버로부터 근거리 무선 네트워크(ZigBee, Bluetooth)를 통해 상기 제2 정보 출력 장치(햅틱전자보드)들로 송신하는 기능; 및 (e) 강의 및 저작 프로그램에 의해 동일한 학습정보를 기반으로 특정 학습정보의 페이지를 동기화하여 시각장애인용 학습 자료 페이지를 지정하거나 저시력인 또는 전맹인이 현재 페이지 정보를 상기 학습 정보 서버로 전송하여 학습 페이지를 동기화하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 12는 제2 정보 출력 장치(햅틱전자보드)의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator) 및 array type 액츄에이터의 형상 및 일실시예로 4개의 8x2 표준 그래픽 출력 모듈(32x2)로 구성된 32x2 Dot의 표준 그래픽 출력 장치의 크기 및 형상을 나타낸 도면이다.
제2 정보 출력 장치(햅틱전자보드)(300)의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 Array Type 액츄에이터는 TULA를 2단 구조의 array type 초소형 초음파 모터들의 액츄에이터의 멀티 배열로 구성되며, 소형, 경량화가 가능하며 멀티 라인 구축하였다. 제2 정보 출력 장치(햅틱전자보드)(300)는 83.2mm x 5.2mm x 20 mm 크기, 전맹 시각장애인이 촉감을 이용하여 정보를 감지하기 위해 햅틱전자보드의 초소형 초음파 모터들(TULA) 핀들이 버티는 힘이 있어야 하는데 이를 위해 10 g.f(gram force)의 자기유지력을 지원하고, 햅틱전자보드의 내구성을 5만회이상 지원한다.
초소형 초음파 모터(TULA)는 전망인이 점자를 촉각으로 인지하는 부분인 초소형 초음파 모터의 핀(Probe); Probe를 고정시키는 이동자(Mobile), 전맹인용 학습 정보와 관련된 촉도 신호를 전달하기 위해 상하 운동시키는 이동축(Shaft), 초소형 초음파 모터가 구동되도록 토크를 받으면 상하 운동을 제어하는 트랜스듀서(Transducer)로 구성된다.
제2 정보 출력 장치(햅틱전자보드)(300)는 시각장애인이 점자를 가장 높은 정확도로 인지할 수 있고 수식, 도형, 그래프 및 영상 정보를 섬세하게 촉각 정보를 전달하도록 Probe와 Probe 사이의 거리를 2.6mm로 설정하여 제작하였다.
도 13은 초소형 초음파 모터를 array type을 개발하여, 초음파 모터의 array type 엑츄에이터의 제조 공정시 소량, 경량화를 위해 Top/Bottom 2단 구조로 구성하고, 각각 4선으로 된 Top Module 신호 케이블 및 Bottom Module 신호 케이블의 4x2 표준 그래픽 출력 모듈로 구성된 햅틱전자보드의 기본적인 8x2 표준 그래픽 출력 모듈을 나타낸 도면이다.
시각장애인의 점자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 전맹인용 학습정보를 세밀하게 촉각 정보로 감지하도록 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈의 초소형 초음파 모터(TULA)의 핀(Probe)과 핀(probe) 사이의 거리를 2.7mm 이하로 제작하여 Array Type 압전 엑츄에이터의 모듈을 정밀도를 향상하기 위해 다층구조(2층구조의 2배)로 제작하였다.
도 14는 제2 정보 출력 장치(햅틱전자보드)의 표준 그래픽 출력 모듈의 구동회로의 블럭도이다.
햅틱전자보드의 표준 그래픽 출력 모듈의 구동회로는 햅틱전자보드의 전채적인 제어를 하는 MCU; Boosting Part; Driving Part; 및 초소형 초음파 모터의 on/off 및 상하 운동을 제어하는 FPGA; 전맹인용 학습 정보에 포함된 문자, 숫자, 수식, 기호, 도형 및 영상의 촉각화 알고리즘으로 촉도 신호로 변환하여 출력하는 그래픽 출력 모듈로 구성된다.
도 15는 햅틱전자보드의 2그룹별로 2.6mm의 Probe 사이의 간격을 가지는 기본적인 8x2 표준 그래픽출력 모듈을 조합하여 만든 햅틱전자보드(300)의 그래픽출력 표준 모듈(314)을 나타낸 도면이다.
도 16은 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈로 전맹인용 학습 정보와 관련된 촉각 정보를 나타낸 화면이다.
제2 정보 출력 장치(햅틱전자보드)(300)는 고유의 장치 ID로 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 학습정보 서버(100)로 접속하여, 학습정보 서버(100)로부터 전맹인용 학습정보를 수신받고, 문자, 숫자, 기호, 도형, 그래프 및 영상의 촉각화 알고리즘을 사용하여 전맹인용 학습 정보를 촉각정보로 변환하며, MCU의 제어에 따라 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 전맹인이 손으로 감지하도록 촉각 정보를 전달한다.
예를 들면, 전맹인이 햅틱전자보드를 사용하여 학습하는 경우, 전맹인은 y=2x-8 수식과 설명을 햅틱전자보드의 그래픽 출력 모듈의 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 돌출된 핀들(Probe)을 손의 촉감으로 감지하여 y=2x-8 수식과 그래프 및 설명을 학습하게 된다.
학습정보 서버(100)는 입력된 학습정보를 네트워크상에서 기본적으로 1:N 방식으로 제1 정보 출력 장치(200) 및 제2 정보 출력 장치(300)로 전송하거나, 또는 필요에 따라 1:1 방식으로 개인별 정보 출력 장치의 장치ID를 선택하여 전송하는 전송 모드를 구현할 수 있다.
본 발명에 따른 근거리 무선통신(ZigBee, 또는 Bluetooth)을 사용하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템의 프로토타입은 실제 시각장애인들과 평가과정에서 문자와 관련된 음성만을 제공하여 영상이 포함된 교육자료를 설명하는 경우보다 음성 출력과 함께 촉각화된 영상정보를 제공하여 교육자료를 설명한 경우 시각장애인의 이해력 향상에 크게 효과적이고 편리하다는 것을 확인하였다.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 메모리 카드, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 다음의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
본 발명은 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법에 관한 것으로, 특히 강의 및 저작 프로그램에 입력된 학습정보를 학습정보 서버로 저장하고, 저시력인 학습 정보 및 촉각정보로 전달이 가능한 전맹인용 학습 정보로 실시간으로 변환하며, 학습정보서버 PC로부터 학습정보를 유무선 네트워크를 통해 동시 다발적으로 저시력인을 위한 뷰어프로그램이 설치된 컴퓨터 및 전맹인을 위한 다수의 햅틱전자보드들로 전송하여, 시각 장애의 정도가 상이한 저시력인에게 저시력인용 학습정보를 확대하거나 또는 햅틱전자보드를 사용하는 전맹인에게 전맹인용 학습정보를 촉각 정보로 전달이 가능하게 한다.

Claims (12)

  1. 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템에 있어서,
    LAN 또는 WLAN 통신부를 구비하며, 강의 및 저작프로그램에 연동되는 학습정보 서버로 접속하여 저시력인용 학습정보를 수신받고, 저시력인용 뷰어 프로그램이 설치되는 저시력인용 제1 정보 출력 장치(PC); 및
    고유의 장치 ID가 할당되고, 근거리 무선통신(ZigBee 또는 Bluetooth)을 사용하며, 고유의 장치 ID로 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 학습정보 서버로 접속하여 학습정보 서버로부터 전맹인용 학습정보를 수신받아 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 시각장애인에게 촉각 정보를 전달하는 전맹인용 제2 정보 출력 장치(햅틱전자보드)를 포함하고,
    상기 강의 및 저작 프로그램과 상기 학습정보 서버는 네트워크 연결부(LAN 또는 WLAN) 및 무선통신 인터페이스부(ZigBee 또는 Bluetooth)를 구비한 상기 서버 PC에 설치되고, 입력장치로부터 입력된 학습정보를 강의 및 저작 프로그램(햅틱 에듀)에 의해 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존자료 불러오기 기능을 제공하고 이를 통해 저작된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보 또는 촉각정보 자동 변환 기술을 이용하여 촉각정보로 전달이 가능한 전맹인용 학습정보로 변환하고, 상기 저시력인용 학습정보 또는 촉각정보로 전달이 가능한 전맹인용 학습정보를 유무선 네트워크(LAN 또는 WLAN) 또는 무선 네트워크(ZigBee, 또는 Bluetooth)를 통해 1:N 또는 1:1 전송 모드로 적어도 하나 이상의 정보출력 장치들로 전송하는 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템.
  2. 제1항에 있어서,
    상기 학습정보 서버는
    상기 강의 및 저작 프로그램에 의해 저작된 문자 뿐만아니라 수식, 기호, 도형, 그래프, 및 영상 정보를 포함하는 시각장애인용 학습정보를 입력받는 정보 입력부;
    상기 정보 입력부로부터 입력된 정보를 저장하는 정보 저장부;
    상기 정보 입력부로부터 입력된 학습정보를 저시력인용 학습정보 및 촉각 정보로 전달이 가능한 전맹인용 학습정보로 변환하는 정보 변환부; 및
    다수의 제2 정보 출력 장치들과 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 통신하는 경우, 전맹인용 학습 정보를 제공하는 무선통신 인터페이스부;
    를 포함하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템.
  3. 제2항에 있어서,
    상기 학습정보 서버는,
    상기 학습정보 서버 PC와 상기 제1 정보 출력 장치들과 유무선 네트워크(LAN 또는 WLAN)으로 통신하는 경우, 상기 저시력인용 뷰어 프로그램이 설치된 상기 제1 정보 출력 장치로 저시력인용 학습정보를 전송하는 네트워크 연결부를 더 포함하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템.
  4. 제1항 또는 제2항에 있어서,
    상기 제1 정보 출력 장치는,
    상기 학습정보 서버가 저장된 서버 PC와 유무선 네트워크(LAN 또는 WLAN)로 통신하기 위한 통신부; 및
    상기 학습정보 서버로부터 수신한 상기 저시력인용 학습 정보를 사용자의 단말 화면에 디스플레이하기 위한 어플리케이션부;
    를 포함하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템.
  5. 제4항에 있어서,
    상기 어플리케이션부는,
    상기 학습정보 서버로부터 네트워크로 수신된 상기 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 크기를 확대하는 정보 확대 모듈;
    상기 학습정보 서버로부터 수신된 상기 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 크기를 축소하는 정보 축소 모듈;
    상기 학습정보 서버로부터 수신된 상기 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 영역을 이동시키기 위한 정보 이동 모듈;
    상기 학습정보 서버로부터 수신된 상기 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 색상을 조절하는 색상 조절 모듈; 및
    상기 학습정보 서버로부터 수신된 상기 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 밝기를 조절하는 명도 조절 모듈;
    을 포함하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템.
  6. 제1항에 있어서,
    상기 제2 정보 출력 장치는,
    상기 학습정보 서버로부터 근거리 무선통신(ZigBee 또는 Bluetooth)을 사용하여 전맹인용 학습정보를 수신하는 통신부;
    상기 통신부로부터 상기 전맹인용 학습정보를 입력받아 제어 명령을 제공하고, MCU(MicroControl Unit)로 구성된 마스터 보드;
    상기 마스터 보드와 SPI(Serial Peripheral Interface) Bus로 연결되고, 상기 마스터 보드로부터 제어 명령을 수신받아 멀티배열로 구성된 초음파 모터를 제어하는 하나 이상의 슬레이브 보드;
    상기 멀티배열로 구성된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator); 및
    전원을 인가받아 DC-DC 전압을 변환하여 상기 마스터 보드 및 상기 슬레이브보드로 제공하는 스텝다운 DC-DC 컨버터;를 포함하고,
    시각장애인의 점자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 전맹인용 학습정보를 세밀하게 촉각 정보로 감지하도록 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈의 초소형 초음파 모터(TULA)의 핀(Probe)과 핀(probe) 사이의 거리를 2.7mm 이하로 제작하여 Array Type 압전 엑츄에이터의 모듈을 정밀도를 향상하기 위해 다층구조로 제작된 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템.
  7. 제1항에 있어서,
    상기 학습정보 서버는
    상기 저시력인용 학습정보를 제어하는 네트워크 프로그램을 구현하여, 고유 식별코드로 설정된 각각의 저시력인용 뷰어 프로그램(클라이언트)을 제어하고, 저시력인 뷰어 프로그램을 판별하여 작성된 영상 및 문자 정보를 포함하는 저시력인용 학습정보를 전송하며, 강의 및 저작 프로그램에 의해 작성된 저시력인용 학습정보를 무선랜 기반의 1:N 방식으로 전송하거나, 필요에 따라 1:1 방식으로 개인별로 선택하여 전송하는 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템.
  8. 제1항에 있어서,
    상기 강의 및 저작 프로그램은
    주지 과목별로 특화된 문자, 숫자, 수식, 기호를 포함한 문자 입력 기능; 작성한 영상정보의 특정영역에 대한 세부 설명 및 주석을 문자로 입력하는 기능; 전맹인을 위한 자동 점역(점자 번역) 기능; 전맹인을 위한 상기 제2 정보 출력 장치(햅틱전자보드)에 적합한 영상의 촉각화 알고리즘의 구현 기능; 마우스, 키보드 또는 타블렛 PC 등의 입력 장치를 사용한 자유 그리기 기능, 직선, 삼각형, 원, 그래프 등 자주 사용되는 도형의 템플릿을 이용한 그리기 기능, 2차원 좌표계의 단위 설정, 함수 및 그래프 그리기 기능을 제공하는 영상 정보 직접 그리기 기능; 영상의 촉각화 알고리즘을 사용하여 상기 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈로 나타날 촉각정보 형태를 미리 확인하고, 전송할 영상 정보의 크기나 해상도가 클 경우 직접 영역을 분리하여 전달하는 영상정보 영역을 분할하는 영상정보 미리보기 및 영역 분할 기능; 및 작성한 학습자료에 대한 저장 및 불러오기 기능을 제공하는 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템.
  9. 제1항에 있어서,
    상기 저시력인용 뷰어 프로그램은,
    상기 제1 정보 출력 장치에 사용되고, 문자, 숫자, 수식, 기호 출력 기능, 화면 크기의 분할 확대 및 이동 기능, 색상 선택 기능, 밝기 조정, 대비(Contrast) 조정 기능을 제공하여 상기 학습 정보 서버로부터 수신된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보를 저시력인에게 제공하는 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템.
  10. 햅틱전자보드 기반의 시각장애인용 학습정보 제공 방법에 있어서,
    (a) 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존 자료 불러오기 기능을 제공하여 강의 및 저작 프로그램을 사용하여 학습정보 서버에 시각장애인용 학습정보를 입력하고, 상기 학습정보 서버에 접속되는 유무선 네트워크로 접속된 제1 정보 출력장치들을 IP 주소로 식별하며, 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 접속된 제2 정보 출력 장치들을 장치ID로 식별하는 단계;
    (b) 상기 학습정보 서버로 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 인지 유무를 판별하는 단계;
    (c) 판별 결과, 상기 학습정보 서버에 상기 저시력인용 제1 정보 출력 장치가 접속된 경우, 입력된 학습정보를 정보 변환부를 사용하여 입력된 저시력인용 학습 정보로 변환하고, 상기 저시력인용 학습 정보를 상기 학습정보 서버로부터 유무선 네트워크(LAN, 또는 WLAN)를 통해 상기 제1 정보 출력 장치들로 송신하는 단계;
    (d) 판별결과, 상기 학습정보 서버에 상기 전맹인용 제2 정보 출력 장치(햅틱전자보드)가 접속된 경우, 입력된 학습정보를 전맹인용 촉각 정보로 변환하고, 촉각 정보로 전달이 가능한 전맹인용 학습 정보를 상기 학습정보 서버로부터 근거리 무선 네트워크(ZigBee, Bluetooth)를 통해 상기 제2 정보 출력 장치(햅틱전자보드)들로 송신하는 단계; 및
    (e) 강의 및 저작 프로그램에 의해 동일한 학습정보를 기반으로 특정 학습정보의 페이지를 동기화하여 시각장애인용 학습 자료 페이지를 지정하거나 저시력인 또는 전맹인이 현재 페이지 정보를 상기 학습 정보 서버로 전송하여 학습 페이지를 동기화하는 단계;
    를 포함하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 방법.
  11. 제10항에 있어서,
    (f) 상기 제2 정보 출력 장치(햅틱 전자보드)에서는 상기 학습 정보 서버로부터 수신된 전맹인용 학습정보를 촉각 정보로 변환하여 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀(Probe)들을 제어하여 그래픽 출력모듈로 출력하여 그래픽 햅틱 전자보드를 사용하는 전맹인에게 촉각정보를 전달하는 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 방법.
  12. 컴퓨터에, (a) 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존 자료 불러오기 기능을 제공하여 강의 및 저작 프로그램을 사용하여 학습정보 서버에 시각장애인용 학습정보를 입력받고, 학습정보 서버에 접속되는 유무선 네트워크로 접속된 제1 정보 출력장치들을 IP 주소로 식별하며, 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 접속된 제2 정보 출력 장치들을 장치ID로 식별하는 기능;
    (b) 상기 학습정보 서버로 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 인지 유무를 판별하는 기능;
    (c) 판별 결과, 상기 학습정보 서버에 상기 저시력인용 상기 제1 정보 출력 장치가 접속된 경우, 입력된 학습정보를 정보 변환부를 사용하여 입력된 저시력인용 학습 정보로 변환하고, 상기 저시력인용 학습 정보를 상기 학습정보 서버로부터 유무선 네트워크(LAN, 또는 WLAN)를 통해 상기 제1 정보 출력 장치들로 송신하는 기능;
    (d) 판별결과, 상기 학습정보 서버에 상기 전맹인용 제2 정보 출력 장치(햅틱전자보드)가 접속된 경우, 입력된 학습정보를 전맹인용 촉각 정보로 변환하고, 촉각 정보로 전달이 가능한 전맹인용 학습 정보를 상기 학습정보 서버로부터 근거리 무선 네트워크(ZigBee, Bluetooth)를 통해 상기 제2 정보 출력 장치(햅틱전자보드)들로 송신하는 기능; 및
    (e) 강의 및 저작 프로그램에 의해 동일한 학습정보를 기반으로 특정 학습정보의 페이지를 동기화하여 시각장애인용 학습 자료 페이지를 지정하거나 저시력인 또는 전맹인이 현재 페이지 정보를 상기 학습 정보 서버로 전송하여 학습 페이지를 동기화하는 기능;
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2012/004510 2011-06-08 2012-06-08 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법 WO2012169810A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0054861 2011-06-08
KR1020110054861A KR101290763B1 (ko) 2011-06-08 2011-06-08 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
WO2012169810A2 true WO2012169810A2 (ko) 2012-12-13
WO2012169810A3 WO2012169810A3 (ko) 2013-03-07

Family

ID=47293486

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/004510 WO2012169810A2 (ko) 2011-06-08 2012-06-08 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법

Country Status (3)

Country Link
US (1) US9171483B2 (ko)
KR (1) KR101290763B1 (ko)
WO (1) WO2012169810A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230986A1 (ko) * 2017-06-15 2018-12-20 주식회사 닷 정보 출력 장치 및 방법
CN109903300A (zh) * 2019-01-15 2019-06-18 浙江工业大学 一种适用于先天性盲人学习识图的智能触点显示方法及装置

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9612658B2 (en) * 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
US20150287043A1 (en) * 2014-04-02 2015-10-08 Avaya Inc. Network-based identification of device usage patterns that can indicate that the user has a qualifying disability
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
CA2976319C (en) 2015-02-20 2023-06-27 Ultrahaptics Ip Limited Algorithm improvements in a haptic system
ES2896875T3 (es) 2015-02-20 2022-02-28 Ultrahaptics Ip Ltd Percepciones en un sistema háptico
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US11189140B2 (en) 2016-01-05 2021-11-30 Ultrahaptics Ip Ltd Calibration and detection techniques in haptic systems
US10531212B2 (en) 2016-06-17 2020-01-07 Ultrahaptics Ip Ltd. Acoustic transducers in haptic systems
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10755538B2 (en) 2016-08-09 2020-08-25 Ultrahaptics ilP LTD Metamaterials and acoustic lenses in haptic systems
US11145223B2 (en) 2016-10-23 2021-10-12 Eurica Califorrniaa Self-scrolling braille
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US10497358B2 (en) 2016-12-23 2019-12-03 Ultrahaptics Ip Ltd Transducer driver
KR102436994B1 (ko) * 2017-02-22 2022-08-29 주식회사 닷 정보 출력 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
US11048329B1 (en) 2017-07-27 2021-06-29 Emerge Now Inc. Mid-air ultrasonic haptic interface for immersive computing environments
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
WO2019122912A1 (en) 2017-12-22 2019-06-27 Ultrahaptics Limited Tracking in haptic systems
US11704983B2 (en) 2017-12-22 2023-07-18 Ultrahaptics Ip Ltd Minimizing unwanted responses in haptic systems
KR20210002703A (ko) 2018-05-02 2021-01-08 울트라햅틱스 아이피 엘티디 개선된 음향 전송 효율을 위한 차단 플레이트 구조체
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
US11436942B2 (en) * 2018-10-16 2022-09-06 Fmr Llc Systems and methods for interactive braille display
EP3906462A2 (en) 2019-01-04 2021-11-10 Ultrahaptics IP Ltd Mid-air haptic textures
KR102261668B1 (ko) * 2019-03-15 2021-06-04 가천대학교 산학협력단 촉각인터페이스장치를 통하여 점자 그래픽 교육 지원 기능을 제공하는 방법, 장치, 및 비일시적 컴퓨터-판독가능 매체
KR102187871B1 (ko) * 2019-03-15 2020-12-07 가천대학교 산학협력단 촉각인터페이스장치를 통하여 점자 교육 지원 기능을 제공하는 방법, 장치, 및 비일시적 컴퓨터-판독가능 매체
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
AU2020368678A1 (en) 2019-10-13 2022-05-19 Ultraleap Limited Dynamic capping with virtual microphones
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
US11169610B2 (en) 2019-11-08 2021-11-09 Ultraleap Limited Tracking techniques in haptic systems
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
CN113453048A (zh) * 2020-03-25 2021-09-28 上海哔哩哔哩科技有限公司 音视频的触觉反馈设置方法、播放方法及计算机设备
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090008654A (ko) * 2007-07-18 2009-01-22 에스케이 텔레콤주식회사 점자를 이용하여 온라인 학습 서비스를 제공하는 방법,시스템 및 장치
KR100907411B1 (ko) * 2008-01-10 2009-07-10 에스케이 텔레콤주식회사 다중 접촉 입력 장치를 활용한 촉감 출력 시스템 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6374255B1 (en) * 1996-05-21 2002-04-16 Immersion Corporation Haptic authoring
US7106220B2 (en) * 2001-09-18 2006-09-12 Karen Gourgey Tactile graphic-based interactive overlay assembly and computer system for the visually impaired
US20050233287A1 (en) * 2004-04-14 2005-10-20 Vladimir Bulatov Accessible computer system
KR101038466B1 (ko) 2009-05-25 2011-06-01 주식회사 휴비스 내구 흡한속건성 난연 폴리에스테르 섬유 및 그 제조방법
US20110199321A1 (en) * 2010-02-12 2011-08-18 Electronics And Telecommunications Research Institute Apparatus for providing self-morphable haptic and visual information and method thereof
US9691300B2 (en) * 2010-09-21 2017-06-27 Sony Corporation Text-to-touch techniques
KR101758164B1 (ko) * 2011-04-08 2017-07-26 엘지전자 주식회사 이동 단말기 및 3ｄ 멀티 앵글 뷰 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090008654A (ko) * 2007-07-18 2009-01-22 에스케이 텔레콤주식회사 점자를 이용하여 온라인 학습 서비스를 제공하는 방법,시스템 및 장치
KR100907411B1 (ko) * 2008-01-10 2009-07-10 에스케이 텔레콤주식회사 다중 접촉 입력 장치를 활용한 촉감 출력 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNG IL, JUNG ET AL.: 'Design and Implementation of Real-time Haptic Display System' JOURNAL OF IEEK vol. 48, no. 2, March 2011, pages 1 - 8 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018230986A1 (ko) * 2017-06-15 2018-12-20 주식회사 닷 정보 출력 장치 및 방법
US11955027B2 (en) 2017-06-15 2024-04-09 Dot Incorporation Information output apparatus and method
CN109903300A (zh) * 2019-01-15 2019-06-18 浙江工业大学 一种适用于先天性盲人学习识图的智能触点显示方法及装置

Also Published As

Publication number Publication date
WO2012169810A3 (ko) 2013-03-07
KR20120135950A (ko) 2012-12-18
KR101290763B1 (ko) 2013-07-29
US20120315605A1 (en) 2012-12-13
US9171483B2 (en) 2015-10-27

Similar Documents

Publication Publication Date Title
WO2012169810A2 (ko) 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법
Xu et al. Tactile display for the visually impaired using TeslaTouch
WO2021020667A1 (ko) 원격 재활 훈련 제공 방법 및 프로그램
WO2017014542A1 (ko) 시각장애인용 착용형 햅틱 패턴 디스플레이 장치
KR101221513B1 (ko) 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법
Choi et al. Digitizer auditory graph: making graphs accessible to the visually impaired
WO2014035005A1 (ko) 스마트단말기를 이용한 스마트 수업 진행시스템
WO2022255571A1 (ko) 쌍방향 참여형 그림 제작 서비스 제공 시스템 및 이의 제어방법
Rajapandian et al. A novel approach as an AID for blind, deaf and dumb people
KR20140010756A (ko) 문자/이미지/동영상 구현 기능을 구비한 시각장애인용 모바일 단말
Gay et al. F2T: a novel force-feedback haptic architecture delivering 2D data to visually impaired people
WO2011145848A2 (ko) 온라인 교육 시스템 및 이를 위한 통신 단말기
Sawant et al. Text to braille conversion system
Hashimoto et al. Development of audio-tactile graphic system aimed at facilitating access to visual information for blind people
US11033187B2 (en) Text to braille converter
KR102099616B1 (ko) 촉각디스플레이 태블릿
Hakim et al. A mechatronics approach to develop stem accessibility tools for visually impaired students
SungMin Haptic aids for the visually impaired
WO2020218694A1 (ko) 시각장애인용 전자문서에 포함되는 특수 텍스트 제공방법 및 그 전자장치
Chaikaew et al. Mobile Application for Thai Sign language
Badawi et al. Enhancing community interaction for the Deaf and Dumb via the design and implementation of Smart Speaking Glove (SSG) Based on Embedded System
Kelly Using technology to enhance learning for students with visual impairments
WO2017090856A1 (ko) 스마트 펜을 이용한 오답 노트 제공 방법 및 이를 처리하는 모바일 디바이스
Shiyam Raghul et al. Raspberry-pi based assistive device for deaf, dumb and blind people
Ahmed et al. Assistive Device for Differently Abled People

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12796339

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12796339

Country of ref document: EP

Kind code of ref document: A2