KR101290763B1 - 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법 - Google Patents
햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법 Download PDFInfo
- Publication number
- KR101290763B1 KR101290763B1 KR1020110054861A KR20110054861A KR101290763B1 KR 101290763 B1 KR101290763 B1 KR 101290763B1 KR 1020110054861 A KR1020110054861 A KR 1020110054861A KR 20110054861 A KR20110054861 A KR 20110054861A KR 101290763 B1 KR101290763 B1 KR 101290763B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- learning information
- learning
- low vision
- electronic board
- Prior art date
Links
- 230000013016 learning Effects 0.000 title claims abstract description 374
- 230000001771 impaired effect Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 21
- 208000010415 Low Vision Diseases 0.000 claims abstract description 136
- 230000004303 low vision Effects 0.000 claims abstract description 136
- 230000006870 function Effects 0.000 claims abstract description 84
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 230000009467 reduction Effects 0.000 claims abstract description 3
- 230000006854 communication Effects 0.000 claims description 51
- 238000004891 communication Methods 0.000 claims description 51
- 239000000463 material Substances 0.000 claims description 35
- 239000000523 sample Substances 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 10
- 238000012905 input function Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000008676 import Effects 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 7
- 230000004438 eyesight Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 206010047571 Visual impairment Diseases 0.000 abstract description 5
- 208000029257 vision disease Diseases 0.000 abstract description 5
- 230000004393 visual impairment Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 201000004569 Blindness Diseases 0.000 description 5
- 238000003491 array Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004304 visual acuity Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000001467 acupuncture Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000031836 visual learning Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
- G09B21/005—Details of specially-adapted software to access information, e.g. to browse through hyperlinked information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14532—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring glucose, e.g. by tissue impedance measurement
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
- G09B21/004—Details of particular tactile cells, e.g. electro-mechanical or mechanical layout
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/007—Teaching or communicating with blind persons using both tactile and audible presentation of the information
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/001—Teaching or communicating with blind persons
- G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/02—Devices for Braille writing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Emergency Medicine (AREA)
- Optics & Photonics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Economics (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템 및 방법에 개시된다. 시각장애인용 학습정보 제공 시스템은 강의 및 저작 프로그램과 연동된 학습정보 서버; 학습정보 서버로부터 유무선 네트워크(LAN, WLAN)를 통해 저시력인용 학습정보를 수신받고, 화면 확대 및 축소 기능을 제공하는 저시력인용 뷰어 프로그램이 설치되는 제1 정보 출력 장치(PC); 및 고유의 장치 ID를 사용하여 근거리 무선 네트워크(ZigBee, 또는 Bluetooth)를 통해 학습정보 서버로 접속하고, 학습정보 서버로부터 햅틱전자보드로 수신된 전맹인용 학습정보를 촉각정보로 변환하여 전맹인에게 촉각 정보를 전달하는 제2 정보 출력 장치(햅틱전자보드)를 포함한다. 학습정보 서버는 강의 및 저작 프로그램에 의해 저작된 학습정보를 촉각 정보 자동 변환 기술을 사용하여 시각 장애의 정도가 상이한 시각장애인에게 전달한다.
Description
본 발명은 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법에 관한 것으로, 특히 강의 및 저작 프로그램에 입력된 학습정보를 학습정보 서버로 저장하고, 저시력인 학습 정보 및 촉각정보로 전달이 가능한 전맹인용 학습 정보로 실시간으로 변환하며, 학습정보서버 PC로부터 학습정보를 유무선 네트워크를 통해 동시 다발적으로 저시력인을 위한 뷰어프로그램이 설치된 컴퓨터 및 전맹인을 위한 다수의 햅틱전자보드들로 전송하여, 시각 장애의 정도가 상이한 저시력인에게 저시력인용 학습정보를 확대하거나 또는 햅틱전자보드를 사용하는 전맹인에게 전맹인용 학습정보를 촉각 정보로 전달하는, 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템 및 방법에 관한 것이다.
일본, 미국, EU, 한국 등의 G20 국가들은 정부, 기업, 연구소 등에서 시각장애인의 교육환경을 개선하기 위해 많은 투자와 노력을 기울여왔으며 다양한 형태의 시각장애인용 교육 보조공학기기를 개발하여 지속적으로 시각장애인의 교육환경을 개선하고자 노력해왔다.
기존 시각장애인을 위한 교육 보조공학기기는 대형 모니터, 화면 확대 프로그램, 음성 메모기, 음성출력 소프트웨어, 점자 정보 단말기, 점자 프린터, 문서 인식 단말기, 및 확대 독서기를 통해 단순히 저시력자에게 문자 정보를 확대하여 제공하는 수준이었다.
최근, 점자 정보 단말기, 음성 출력 소프트웨어 및 문서 인식 프로그램과 같이 OCR(Optical Character Reader), TTS(Text To Speech), 점역(묵자를 점자로 번역) 및 역점역과 같은 기술들을 이용하여 전맹인에게도 문자 정보를 점자나 음성으로 변환하여 제공할 수 있는 수준까지 향상되었다.
시각장애인의 직업 현황에 대한 조사에 따르면, 시각장애인들은 직업훈련 희망자가 12.2%(전체 472,514명 중 57,546명, 2005년)였고, 안마, 침, 성직자, 역리, 교직에 종사하고 있으며, 아직까지 시각장애인의 사회 진출 방향이 매우 제한적임을 알 수 있다. 이러한 현실은 점자나 음성 위주의 기존 교육 보조공학기기를 이용한 특수교육 환경이 다양한 분야로의 진출을 희망하는 시각장애인에게 적합하지 않음을 보여 주는 것으로써, 시각장애인의 학습 효율을 향상시키는 보다 특화된 교육 보조공학기기가 필요한 실정이다.
일반적인 교육 환경에서의 칠판과 같은 교육도구를 활용하여 시각적으로 문자나 영상 정보와 같은 교육 자료를 동시에 실시간적으로 전달하는 교육 보조공학기기가 현 시각장애인의 특수교육 환경에서는 전무하다. 그러므로, 시각장애인의 특수교육 환경에서 시각장애인은 촉각 정보 및 음성 정보로 학습 정보를 제공해야 한다. 이는 한정된 교육시간에 전달할 수 있는 정보의 양을 극히 제한시키는 요인이 된다. 또한, 영상 정보를 촉각 정보로 변환하여 시각장애인에게 제공할 경우, 시각장애인의 정보 이해가 용이함에도 불구하고, 현재의 어떠한 보조공학기기도 영상 정보를 촉각 정보로 실시간 자동 변환하는 장치가 없었다.
특히, 문자나 음성을 기반으로 하는 현재의 시각장애인의 특수 교육 환경에서는 저시력인과 전맹인이 함께 교육받고 있으나, 시각 장애의 정도에 따라 적합한 교육 자료 및 영상 자료를 실시간으로 변환하여 전달하는 방법이 없는 실정이다.
예를 들면, 저시력인은 화면 확대 프로그램을 통하여 교육 정보를 습득하고, 전맹인은 점자나 촉도를 이용하여 학습정보를 습득한다. 그러나, 저시력인과 전맹인이 혼합되어 있는 현 특수교육 환경에서, 제한된 교육시간내에 각 시각장애 등급별 정보인지 특성에 적합하게 교육 정보를 변환하여 제공하는 데에는 한계가 있었다.
문자나 음성만을 기반으로 한 현재의 시각장애인의 특수 교육 환경은 시각장애인에게 필수적인 지식 습득에 많은 어려움을 느끼게 하며, 결과적으로 시각장애인들이 높은 수준의 지식을 필요로 하는 진학을 회피하는 현상으로 나타나고 있다.
촉각정보로 변환된 영상정보를 이용하여 교육자료를 학습할 경우, 시각장애인은 정보의 이해가 용이하나 현 시각장애인 특수교육 환경에서는 변환된 영상자료가 극히 미미하다. 영상 정보를 촉각정보로 나타내는 점자프린터나 교육도구가 있긴 하지만, 특수교육 강사나 도우미를 통해 수동적으로 촉각정보로 변환 및 제작해야 하기 때문에, 시간이나 비용적인 면에서 현실적인 한계가 있었다.
이러한 현실에 따라 시각장애인의 특수 학습 환경을 일반적인 학습 환경과 최대한 유사하게 제공하도록 문자, 그림, 도형, 그래프 및 영상 형태의 학습 자료를 촉각 정보로 실시간 변환하여 동시에 시각장애인들에게 전달하는 교육 보조공학기기가 절실히 요구된다.
상기한 바와 같은 문제점을 해결하기 위한 본 발명의 목적은, 학습정보 서버에 강의 및 저작 프로그램에 의해 저작된 문자 뿐만아니라 수식, 기호, 그림, 도형, 그래프, 및 영상 정보를 포함하는 학습정보를 입력받고, 저시력인이 쉽게 인지할 수 있도록 저시력인용 영상 정보를 재구성하며, 전맹인이 쉽게 인지할 수 있는 촉각 정보로 실시간 자동 변환한 후, 학습정보 서버에 저장된 학습정보를 실시간으로 유무선 네트워크를 통해 저시력용 뷰어 프로그램이 설치된 저시력인용 제1 정보 출력 장치들(PC), 및 전맹인용 제2 정보 출력 장치들(햅틱전자보드)로 전송하여, 저시력인과 전맹인 모두에게 적합한 학습정보를 제공하는, 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템을 제공한다.
본 발명의 다른 목적은 햅틱전자보드 기반의 시각장애인용 학습정보 제공 방법을 제공한다.
본 발명의 목적을 달성하기 위해, 본 발명의 일측면에 따른 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템은, LAN 또는 WLAN 통신부를 구비하며, 강의 및 저작프로그램에 연동되는 학습정보 서버로 접속하여 저시력인용 학습정보를 수신받고, 저시력인용 뷰어 프로그램이 설치되는 저시력인용 제1 정보 출력 장치(PC); 및 고유의 장치 ID가 할당되고, 근거리 무선통신(ZigBee 또는 Bluetooth)을 사용하며, 고유의 장치 ID로 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 학습정보 서버로 접속하여 학습정보 서버로부터 전맹인용 학습정보를 수신받아 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 시각장애인에게 촉각 정보를 전달하는 전맹인용 제2 정보 출력 장치(햅틱전자보드)를 포함하고, 상기 강의 및 저작 프로그램과 상기 학습정보 서버는 네트워크 연결부(LAN 또는 WLAN) 및 무선통신 인터페이스부(ZigBee 또는 Bluetooth)를 구비한 상기 서버 PC에 설치되고, 입력장치로부터 입력된 학습정보를 강의 및 저작 프로그램(햅틱 에듀)에 의해 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존자료 불러오기 기능을 제공하고 이를 통해 저작된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보 또는 촉각정보 자동 변환 기술을 이용하여 촉각정보로 전달이 가능한 전맹인용 학습정보로 변환하고, 상기 저시력인용 학습정보 또는 촉각정보로 전달이 가능한 전맹인용 학습정보를 유무선 네트워크(LAN 또는 WLAN) 또는 무선 네트워크(ZigBee, 또는 Bluetooth)를 통해 1:N 또는 1:1 전송 모드로 적어도 하나 이상의 정보출력 장치들로 전송하는 것을 특징으로 한다.
본 발명의 다른 목적을 달성하기 위해, 본 발명의 다른 측면에 따른 학습정보 서버가 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법은, (a) 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존 자료 불러오기 기능을 제공하여 강의 및 저작 프로그램을 사용하여 학습정보 서버에 시각장애인용 학습정보가 입력되면, 학습정보 서버가 상기 서버로 접속되는 유무선 네트워크로 접속된 제1 정보 출력장치들을 IP 주소로 식별하며, 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 접속된 제2 정보 출력 장치들을 장치ID로 식별하는 단계; (b) 상기 학습정보 서버가 상기 서버로 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 인지 유무를 판별하는 단계; (c) 판별 결과, 상기 학습정보 서버에 저시력인용 상기 제1 정보 출력 장치가 접속된 경우, 상기 학습정보 서버가 입력된 학습정보를 상기 학습정보 서버의 정보 변환부에 의해 저시력인용 학습 정보로 변환하고, 상기 저시력인용 학습 정보를 상기 학습정보 서버로부터 유무선 네트워크(LAN, 또는 WLAN)를 통해 상기 제1 정보 출력 장치들로 송신하는 단계; (d) 판별결과, 상기 학습정보 서버에 전맹인용 상기 제2 정보 출력 장치(햅틱전자보드)가 접속된 경우, 상기 학습정보 서버가 입력된 학습정보를 전맹인용 촉각 정보로 변환하고, 촉각 정보로 전달이 가능한 전맹인용 학습 정보를 상기 학습정보 서버로부터 근거리 무선 네트워크(ZigBee, Bluetooth)를 통해 상기 제2 정보 출력 장치(햅틱전자보드)들로 송신하는 단계; 및 (e) 강의 및 저작 프로그램에 의해 동일한 학습정보를 기반으로 특정 학습정보의 페이지를 동기화하여 시각장애인용 학습 자료 페이지를 지정하거나 저시력인 또는 전맹인이 현재 페이지 정보를 상기 학습 정보 서버로 전송하여 상기 학습 정보 서버에 의해 학습 페이지를 동기화하는 단계를 포함한다.
햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법은 상기 제2 정보 출력 장치(햅틱 전자보드)는 상기 학습 정보 서버로부터 수신된 전맹인용 학습정보를 촉각 정보로 변환하여 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 그래픽 햅틱 전자보드를 사용하는 전맹인에게 촉각정보를 전달하는 단계를 더 포함한다.
본 발명의 또 다른 목적을 달성하기 위해, 본 발명은 컴퓨터에, (a) 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존 자료 불러오기 기능을 제공하여 강의 및 저작 프로그램을 사용하여 학습정보 서버에 시각장애인용 학습정보가 입력되면, 학습정보 서버가 상기 서버로 접속되는 유무선 네트워크로 접속된 제1 정보 출력장치들을 IP 주소로 식별하며, 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 접속된 제2 정보 출력 장치들을 장치ID로 식별하는 기능; (b) 상기 상기 학습정보 서버가 서버로 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 인지 유무를 판별하는 기능; (c) 판별 결과, 상기 학습정보 서버에 저시력인용 상기 제1 정보 출력 장치가 접속된 경우, 상기 학습정보 서버가 입력된 학습정보를 상기 학습 정보 서버의 정보 변환부에 의해 저시력인용 학습 정보로 변환하고, 상기 저시력인용 학습 정보를 상기 학습정보 서버로부터 유무선 네트워크(LAN, 또는 WLAN)를 통해 상기 제1 정보 출력 장치들로 송신하는 기능; (d) 판별결과, 상기 학습정보 서버에 전맹인용 상기 제2 정보 출력 장치(햅틱전자보드)가 접속된 경우, 상기 학습 정보 서버가 입력된 학습정보를 전맹인용 촉각 정보로 변환하고, 촉각 정보로 전달이 가능한 전맹인용 학습 정보를 상기 학습정보 서버로부터 근거리 무선 네트워크(ZigBee, Bluetooth)를 통해 상기 제2 정보 출력 장치(햅틱전자보드)들로 송신하는 기능; 및 (e) 강의 및 저작 프로그램에 의해 동일한 학습정보를 기반으로 특정 학습정보의 페이지를 동기화하여 시각장애인용 학습 자료 페이지를 지정하거나 저시력인 또는 전맹인이 현재 페이지 정보를 상기 학습 정보 서버로 전송하여 상기 학습 정보 서버에 의해 학습 페이지를 동기화하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명에 따른 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법은 학습정보 서버에 문자 뿐만아니라 수식, 기호, 그림, 도형, 그래프, 및 영상 정보를 포함하는 학습정보를 입력받고, 저시력인이 쉽게 인지할 수 있도록 저시력인용 문자, 수식 및 영상 정보를 재구성하며, 전맹인이 쉽게 인지하도록 학습 정보를 촉각 정보로 실시간 자동 변환한 후, 학습정보 서버에 저장된 학습정보를 실시간으로 네트워크를 통해 저시력인용 뷰어 프로그램이 설치된 저시력인용 제1 정보 출력 장치들(PC), 및/또는 근거리 무선네트워크(ZigBee, Bluetooth)를 통해 전맹인용 제2 정보 출력 장치(햅틱전자보드)들로 전송하여, 시각 장애의 정도가 상이한 저시력인과 전맹인 모두에게 시각장애 등급별로 저시력인 학습 정보 또는 전맹인용 촉각 정보로 전달이 가능한 학습정보를 제공한다.
시각 장애인용 학습정보 제공 시스템은 저시력인, 전맹인 등의 시각장애인의 특수교육 효과를 극대화하기 위해 학습정보 서버 PC에 저장된 시각장애인용 학습자료와 관련된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 학습정보를 촉각정보로 변환하고, 저시력인용 학습정보를 유무선 네트워크(LAN, WLAN)을 통해 저신력인들이 사용하는 컴퓨터로 전송하고, 전맹인용 학습정보를 ZigBee, Bluetooth 등의 근거리 무선 네트워크를 통해 다수의 햅틱전자보드들로 동시다발적으로 전달하고, 햅틱전자보드에 의해 학습 정보를 촉각정보로 변환하여 시각장애인에게 촉각정보를 전달하는 그래픽 햅틱전자보드 기반의 교육 보조공학 시스템으로 활용이 가능하다.
도 1은 본 발명에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드를 사용하는 시각 장애인용 학습정보 제공 시스템의 네트워크 구성도이다.
도 2는 본 발명의 실시예에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드를 사용하는 시각 장애인용 학습정보 제공 시스템의 상세한 블록도이다.
도 3은 본 발명에 따른 시각 장애인용 학습정보 시스템을 위한 교사용 강의 및 저작 프로그램(햅틱 에듀), 저시력인용 뷰어프로그램, 전맹인용 햅틱전자보드의 구성을 나타낸 화면이다.
도 4는 본 발명에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법을 설명한 순서도이다.
도 5는 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 촉각화 알고리즘 구현 및 영상정보 미리보기, 영역분할 기능을 도시한 화면이다.
도 6은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 영상 영역을 선택하여 학습자료로 활용 및 직접 그리 기능을 도시한 화면이다.
도 7은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 문자 관련 기능 및 교육자료 불러오기 기능을 도시한 화면이다.
도 8은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 1,2차 함수 그래프 그리기 기능을 도시한 화면이다.
도 9는 시각 장애인용 학습정보 서버의 네트워크 기반 강의 및 저작 프로그램과 제1 정보 출력 장치의 저시력 시각장애인 뷰어 프로그램을 도시한 화면이다.
도 10은 시각 장애인용 학습정보 서버의 강의 저작프로그램과 제1 정보 출력 장치의 저시력 시각장애인용 뷰어 프로그램의 자료 요청에 대한 강의 자료 제어 신호의 통신 형태를 도시한 화면이다.
도 11은 제1 정보 출력 장치의 저시력인용 뷰어 프로그램 기능(원래 영상,확대 영상,색상 반전, 흑백변환, 밝기 증가, 밝기 감소)을 도시한 화면이다.
도 12는 제2 정보 출력 장치(햅틱전자보드)의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator) 및 array type 액츄에이터의 형상 및 일실시예로 4개의 8x2 표준 그래픽 출력 모듈(32x2)로 구성된 32x2 Dot의 표준 그래픽 출력 장치의 크기 및 형상을 나타낸 도면이다.
도 13은 초소형 초음파 모터를 array type을 개발하여, 초음파 모터의 array type 엑츄에이터의 제조 공정시 소량, 경량화를 위해 Top/Bottom 2단 구조로 구성하고, 각각 4선으로 된 Top Module 신호 케이블 및 Bottom Module 신호 케이블의 4x2 표준 그래픽 출력 모듈로 구성된 햅틱전자보드의 기본적인 8x2 표준 그래픽 출력 모듈을 나타낸 도면이다.
도 14는 제2 정보 출력 장치(햅틱전자보드)의 표준 그래픽 출력 모듈의 구동회로의 블럭도이다.
도 15는 햅틱전자보드의 2그룹별로 기본적인 8x2 표준 그래픽 출력 모듈을 조합하여 만든 햅틱전자보드의 그래픽출력 표준 모듈을 나타낸 도면이다.
도 16은 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈로 전맹인용 학습 정보와 관련된 촉각 정보를 나타낸 화면이다.
도 2는 본 발명의 실시예에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드를 사용하는 시각 장애인용 학습정보 제공 시스템의 상세한 블록도이다.
도 3은 본 발명에 따른 시각 장애인용 학습정보 시스템을 위한 교사용 강의 및 저작 프로그램(햅틱 에듀), 저시력인용 뷰어프로그램, 전맹인용 햅틱전자보드의 구성을 나타낸 화면이다.
도 4는 본 발명에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법을 설명한 순서도이다.
도 5는 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 촉각화 알고리즘 구현 및 영상정보 미리보기, 영역분할 기능을 도시한 화면이다.
도 6은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 영상 영역을 선택하여 학습자료로 활용 및 직접 그리 기능을 도시한 화면이다.
도 7은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 문자 관련 기능 및 교육자료 불러오기 기능을 도시한 화면이다.
도 8은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 1,2차 함수 그래프 그리기 기능을 도시한 화면이다.
도 9는 시각 장애인용 학습정보 서버의 네트워크 기반 강의 및 저작 프로그램과 제1 정보 출력 장치의 저시력 시각장애인 뷰어 프로그램을 도시한 화면이다.
도 10은 시각 장애인용 학습정보 서버의 강의 저작프로그램과 제1 정보 출력 장치의 저시력 시각장애인용 뷰어 프로그램의 자료 요청에 대한 강의 자료 제어 신호의 통신 형태를 도시한 화면이다.
도 11은 제1 정보 출력 장치의 저시력인용 뷰어 프로그램 기능(원래 영상,확대 영상,색상 반전, 흑백변환, 밝기 증가, 밝기 감소)을 도시한 화면이다.
도 12는 제2 정보 출력 장치(햅틱전자보드)의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator) 및 array type 액츄에이터의 형상 및 일실시예로 4개의 8x2 표준 그래픽 출력 모듈(32x2)로 구성된 32x2 Dot의 표준 그래픽 출력 장치의 크기 및 형상을 나타낸 도면이다.
도 13은 초소형 초음파 모터를 array type을 개발하여, 초음파 모터의 array type 엑츄에이터의 제조 공정시 소량, 경량화를 위해 Top/Bottom 2단 구조로 구성하고, 각각 4선으로 된 Top Module 신호 케이블 및 Bottom Module 신호 케이블의 4x2 표준 그래픽 출력 모듈로 구성된 햅틱전자보드의 기본적인 8x2 표준 그래픽 출력 모듈을 나타낸 도면이다.
도 14는 제2 정보 출력 장치(햅틱전자보드)의 표준 그래픽 출력 모듈의 구동회로의 블럭도이다.
도 15는 햅틱전자보드의 2그룹별로 기본적인 8x2 표준 그래픽 출력 모듈을 조합하여 만든 햅틱전자보드의 그래픽출력 표준 모듈을 나타낸 도면이다.
도 16은 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈로 전맹인용 학습 정보와 관련된 촉각 정보를 나타낸 화면이다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 발명의 구성과 동작을 상세하게 설명한다.
도 1은 본 발명에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드를 사용하는 시각 장애인용 학습정보 제공 시스템의 네트워크 구성도이다.
시각 장애인용 학습정보 제공 시스템은 네트워크 연결부(LAN 또는 WLAN) 및 무선통신 인터페이스부(ZigBee 또는 Bluetooth)를 구비한 서버 PC에 설치되고, 입력장치로부터 입력된 학습정보를 강의 및 저작 프로그램(햅틱 에듀)에 의해 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존자료 불러오기 기능을 제공하고 이를 통해 저작된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보 또는 촉각정보 자동 변환 기술을 이용하여 촉각정보로 전달이 가능한 전맹인용 학습정보로 변환하고, 상기 저시력인용 학습정보 또는 촉각정보로 전달이 가능한 전맹인용 학습정보를 유무선 네트워크(LAN 또는 WLAN) 또는 무선 네트워크(ZigBee, 또는 Bluetooth)를 통해 1:N 또는 1:1 전송 모드로 적어도 하나 이상의 정보출력 장치들로 전송하는 학습정보 서버(100);
LAN 또는 WLAN 통신부를 구비하며, 강의 및 저작 프로그램에 연동되는 학습정보 서버 PC로 접속하여 TCP/IP를 통해 저시력인용 학습정보를 수신받고, 저시력인용 뷰어 프로그램이 설치되는 저시력인용 제1 정보 출력 장치(PC)(200); 및
고유의 장치 ID가 할당되고, 고유의 장치 ID로 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 학습정보 서버 PC로 접속하여 학습정보 서버(100)로부터 전맹인용 학습정보를 수신받아 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀(Probe)들을 제어하여 그래픽 출력모듈로 출력하여 시각장애인에게 전맹인용 학습정보와 관련된 촉각 정보를 전달하는 전맹인용 제2 정보 출력 장치(햅틱전자보드)(300)로 구성된다.
제1 정보 출력 장치(PC)(200)는 PC, 노트북 등의 컴퓨터를 사용하며, 저시력인용 뷰어 프로그램이 설치되고, 유무선 네트워크(LAN, WLAN)를 통해 학습정보 서버(100)로 접속한다.
제2 정보 출력 장치(햅틱전자보드)(300)는 고유의 장치 ID가 할당되고, 전맹인용 그래픽 햅틱전자보드를 사용하며, 근거리 무선통신(ZigBee 또는 Bluetooth)을 통해 학습정보 서버(100)로 접속하여 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 전맹인용 학습정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 전맹인에게 촉각정보로 전달한다.
도 2는 본 발명의 실시예에 따른 저시력인용 뷰어 프로그램이 설치된 단말기와 전맹인용 햅틱전자보드를 사용하는 시각 장애인용 학습정보 제공 시스템의 상세한 블록도이다.
강의 및 저작 프로그램(90)은 입력장치로부터 입력된 학습정보를 강의 및 저작 프로그램(햅틱 에듀)에 의해 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존자료 불러오기 기능을 제공하고 이를 통해 저작된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보 또는 촉각정보 자동 변환 기술을 이용하여 촉각정보로 전달이 가능한 전맹인용 학습정보로 변환하며, 접속 클라이언트를 세션을 관리한다. 또한, 강의 및 저작 프로그램(90)은 접속 상태 모니터링, 접속한 학생의 현재 뷰 페이지 모니터링 기능, 학습 페이지 지정 기능을 제공한다.
학습정보 서버(100)는 강의 및 저작 프로그램에 의해 저작된 문자 뿐만아니라 수식, 기호, 그림, 도형, 그래프, 및 영상 정보를 포함하는 시각장애인용 특정 학습정보를 입력받고, 영상 정보의 촉각화 알고리즘이 구현된 강의 및 저작 프로그램에 의해 저시력인이 쉽게 인지하도록 저시력인용 학습 정보를 재구성하며, 전맹인이 쉽게 인지하도록 촉각 정보로 전달이 가능한 학습정보로 자동 변환한 후, 접속된 정보 출력 장치들의 장치 ID를 분석하여 시각장애 특성에 맞게 분류하고, 저시력인용 학습정보 및 전맹인용 학습정보를 각각 학습정보 서버로부터 유무선 네트워크(LAN, WLAN) 및/또는 근거리 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 동시 다발적으로 기 접속된 다수의 제1 정보 출력장치들(PC)(200) 또는 다수의 제2 정보 출력 장치들(햅틱전자보드들)(300)로 전송한다.
1대의 학습정보 서버 PC는 저시력인용 뷰어프로그램이 설치된 제1 정보 출력장치들(PC)(200)과 유무선 네트워크(LAN 또는 WLAN)로 통신하는 네트워크 연결부(145)를 포함하고, 전맹인용 제2 정보 출력 장치들(그래픽 햅틱 전자보드)(300)과 근거리 무선통신(ZigBee 또는 Bluetooth)을 위한 무선통신 인터페이스부(140)를 포함하며, 전력 소모가 적고 통신 안정성이 뛰어난 근거리 무선통신을 사용하여 시각장애인용 학습정보를 최대 20대의 전맹인용 제2 정보 출력 장치들(그래픽 햅틱전자보드)(300)로 전송하며, bidirectional 통신이 가능하다.
1대의 학습정보 서버 PC는 저시력인용 뷰어프로그램이 설치된 제1 정보 출력장치들(PC 또는 노트북)(200)로 유무선 네트워크(LAN 또는 WLAN)로 TCP/IP를 사용하여 저시력인을 위한 학습정보를 전송하며, 전맹인용 제2 정보 출력 장치들(그래픽 햅틱전자보드)(300)로 무선 네트워크(ZigBee 또는 Bluetooth)로 전맹인을 위한 학습정보를 전송한다.
저시력인용 제1 정보 출력장치들(PC 또는 노트북)(200)은 LAN 또는 WLAN 통신부(210)를 구비하며, 전맹인용 제2 정보 출력 장치들(햅틱전자보드)(300)은 ZigBee 통신부 또는 Bluetooth 통신부(301)를 구비한다.
ZigBee 통신을 사용하는 경우, 제2 정보 출력 장치들(햅틱전자보드)(300)의 ZigBee 통신부(301)는 DS-SS(Direct Sequence-Spread Spectrum, 직접 시퀀스확산 스펙트럼) 모뎀을 사용하며 2.4 GHz 또는 862~868 MHz 또는 915 MHz 주파수 대역을 사용하며, 최대 250kbps의 데이타 전송 속도를 제공하며, 교실 내 20-30m 거리 내에서 근거리 무선통신을 사용하여 ZigBee 통신 인터페이스를 구비한 학습정보 서버 PC와 P2P Star Mesh 방식으로 통신된다.
Bluetooth 통신을 사용하는 경우, 제2 정보 출력 장치들(햅틱전자보드)(300)의 Bluetooth 통신부(slave)(301)는 2.4GHz 주파수 대역으로 교실내 100m 이내의 근거리 무선통신을 사용하여 Bluetooth 통신 인터페이스(master)를 구비한 학습정보 서버 PC와 통신된다.
학습정보 서버(100)에 입력 장치(키보드, 마우스)에 의해 입력된 전맹인용 학습정보는 유무선 네트워크(LAN 또는 WLAN) 또는 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 기본적으로 1:N 방식으로 제1 정보 출력 장치(200) 및 제2 정보 출력 장치(300)로 전송하거나, 또는 1:1 전송모드로 개인별 정보 출력 장치의 장치ID를 선택하여 전송할 수도 있다.
도 2를 참조하면, 본 발명에 따른 시각장애인용 학습정보 제공 시스템은 학습정보 서버(100)로 정보 입력부로부터 문자 뿐만아니라 숫자, 수식, 그림, 도형, 그래프, 및 영상 정보를 포함하는 시각장애인용 특정 학습정보를 입력받아 저장하고, 영상의 촉각화 알고리즘이 구현된 강의 및 저작 프로그램에 의해 입력된 학습 정보를 저시력인용 학습 정보를 재구성하며, 전맹인이 쉽게 인지할 수 있도록 촉각 정보로 전달이 가능한 학습정보로 실시간 자동 변환한 후, 학습정보 서버(100)로부터 저시력인용 학습정보 또는 전맹인용 학습정보를 네트워크를 통해 동시 다발적으로 정보 출력 장치들로 전송하고, 상기 정보 출력 장치는 저시력인용 뷰어 프로그램이 설치되고 유무선 네트워크(LAN, WLAN)로 수신된 저시력인용 학습정보를 출력하는 제1 정보 출력 장치(200); 및 전맹인용 학습정보를 수신받아 전맹인용 학습정보를 촉각정보로 변환하여 전맹인에게 촉각정보를 전달하는 ZigBee 또는 Bluetooth 통신부를 구비한 전맹인용 제2 정보 출력 장치(햅틱전자보드)(300)로 구성된다.
상기 학습정보 서버(100)는 강의 및 저작 프로그램에 의해 저작된 문자 뿐만아니라 수식, 기호, 도형, 그래프, 및 영상 정보를 포함하는 시각장애인용 특정 학습정보를 입력받는 정보 입력부(110); 상기 정보 입력부(100)로부터 입력된 정보를 저장하는 정보 저장부(120); 상기 정보 입력부(100)로부터 입력된 학습정보를 저시력인용 학습정보 및 촉각 정보로 전달이 가능한 전맹인용 학습정보로 변환하는 정보 변환부(130); 다수의 제2 정보 출력 장치(300)들과 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 통신하는 경우, 전맹인용 학습 정보를 제공하는 무선통신 인터페이스부(140); 및 학습정보 서버 PC와 제1 정보 출력 장치들(200)과 유무선 네트워크(LAN 또는 WLAN)으로 통신하는 경우, 저시력인용 뷰어 프로그램이 설치된 제1 정보 출력 장치(200)로 저시력인용 학습정보를 전송하는 네트워크 연결부(145)로 구성된다.
제1 정보 출력장치(200)는 저시력인용 뷰어프로그램이 설치되고, 학습정보 서버(100)로부터 유무선 네트워크(LAN 또는 WLAN)를 통해 저시력인용 학습 자료를 수신하고, 저시력인용 뷰어프로그램을 사용하여 저시력인의 시력에 따라 화면의 크기, 밝기, 대비(contrast) 등을 설정하고 확대하여 저시력인용 학습정보를 출력한다.
제2 정보 출력 장치(햅틱전자보드)(300)는 일실시예로 64x64 그래픽 출력 모듈을 개발하여 실 사용자의 테스트를 거쳐 표면 질감, 핀 높이를 설정하고, 표준 그래픽 출력 모듈의 Array를 통해 전체 4096 pin의 그래픽 출력 모듈을 개발하였다.
제2 정보 출력 장치(햅틱전자보드)(300)는 기본적으로 PC와 연결되는 UART(Universal asynchronous receiver/transmitter, 범용 비동기 송수신기) 인터페이스를 제공하며, 본 발명을 실시하기 위해 ZigBee 인터페이스 또는 Bluetooth 인터페이스를 개발하였다. 실시간 그래픽 햅틱전자보드는 FPGA(Field Programmable Gate Array, 현장 프로그래머블 게이트 어레이)를 이용한 구동회로의 크기를 축소하고, 구동 주파수와 위상차 동시 제어 프로그램을 개발하여 선형운동이 가능한 멀티 배열의 초소형 선형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)의 액츄에이터의 최적 제어성 및 제어 인자를 고려하였으며, 실험을 통해 전맹인(전맹 시각장애인)용 학습정보에 포함된 문자, 수식, 숫자, 기호, 도형, 그래프, 영상에 대한 촉각인지 특성을 분석하여 그래픽 출력부로 출력한다.
제2 정보 출력 장치(햅틱전자보드)(300)는 상, 하, 좌, 우, 전, 후 사용자 입력버튼을 사용하여 그래픽 출력 또는 점자의 스크롤 기능을 제공하고, 다음 화면 또는 이전 화면으로 이동이 가능하게 제작하여 사용자의 편리성을 증대하고 그래픽 출력부 reset 및 reload 기능을 구현하였다.
제2 정보 출력 장치(햅틱전자보드)(300)는 햅틱전자보드 사용자의 입력에 따라 영상 및 점자에 대한 촉각정보를 스크롤하는 기능, 햅틱전자보드의 한정된 해상도 및 분할된 영상에 대한 촉각정보 스크롤 기능을 제공한다. 학습 정보 서버(100)는 연결된 제2 정보 출력 장치(햅틱전자보드)(300)에 출력된 학습 정보를 기억하고 각 장치를 제어한다.
도 3은 본 발명에 의한 시각 장애인용 학습정보 시스템을 위한 교사용 강의 및 저작 프로그램(햅틱 에듀), 저시력인용 뷰어프로그램, 전맹인용 햅틱전자보드의 구성을 나타낸 화면이다.
학습정보 서버(100)의 교사용 강의 및 저작 프로그램(이하, '햅틱 에듀' 라고 칭함)은 전맹인용과 저시력인용을 구분하지 않고, 저작한 강의 자료를 정보 출력 장치에 적합하게 변환하여 실시간 동시다발적으로 통신되는 저시력인용 뷰어프로그램을 구비한 제1 정보 출력장치(200), 근거리 무선 통신(ZigBee 또는 Bluetooth)을 사용하는 제2 정보 출력 장치(전맹인용 햅틱전자보드)(300)로 전송한다.
학습정보 서버(100)의 강의 및 저작 프로그램(햅틱 에듀)은 저시력인과 전맹인 모두에게 동일한 학습자료를 각각 시각장애 특성에 맞게 변환하여 실시간으로 학습정보를 전달하는 교육 보조공학 소프트웨어이다.
강의 및 저작 프로그램(햅틱 에듀)는 저시력인 및 전맹인을 위한 학습 자료를 각각 별도로 제작하지 않고, 동일한 학습 자료를 사용하여 저시력인용 학습자료 및 전맹인용 학습자료로 제작한다. 그래픽 햅틱 전자보드는 전맹인용 학습정보를 촉각 정보로 변환하여 전맹인에게 촉각정보를 전달하는 교육 보조공학 시스템이다.
학습정보 서버(100)는 저시력인용 학습정보 및/또는 전맹인용 학습정보를 각각 동시에 저시력인용 뷰어 프로그램이 설치된 제1 정보 출력 장치(PC 또는 점자 단말기) 및/또는 전맹인용 제2 정보 출력 장치(햅틱전자보드)(300)로 제공한다.
강의 및 저작 프로그램(햅틱 에듀)은 제2 정보 출력장치(햅틱전자보드)(300)의 특성에 맞게 문자, 숫자, 수식, 기호, 도형, 그래프와 관련된 촉각 정보를 인식하고, 특히 영상의 촉각화 알고리즘을 구현하여 전맹인이 효과적으로 영상정보에 관련된 촉각정보를 인식하도록 하였다.
강의 및 저작 프로그램(햅틱 에듀)은 제2 정보 출력 장치(햅틱전자보드)(300)의 해상도에 적합하게 입력한 촉각정보로 전달이 가능한 전맹인용 학습 자료로 변환하여 제2 정보 출력 장치(햅틱전자보드)(300)로 전송하면, 제2 정보 출력 장치(햅틱전자보드)(300)들은 근거리 무선통신(ZigBee 또는 Bluetooth)을 사용하여 전맹인용 학습정보를 수신하고, 전맹인용 학습정보를 촉각 정보로 변환하여 전맹인의 손으로 인식하게 한다.
강의 및 저작 프로그램(햅틱에듀)은 교사가 칠판에 쓰듯 활용할 수 있는 판서 기능과 주지과목의 특성을 고려하여 그래프 생성 기능, 수식 입력 및 변환, 자동 점자 변환, 학생관리 기능, 준비자료 저장/불러오기 기능을 실행한다.
강의 및 저작 프로그램(햅틱 에듀)은 근거리 무선통신(ZigBee 또는 Bluetooth)을 사용하여 접속된 전맹인용 제2 정보 출력 장치(햅틱전자보드)(300) 및 저시력인용 제1 정보 출력장치(200)의 접속상태 및 확대된 출력화면 모니터링, 개별적 학습자료 전송, 현재 출력 화면 지정 컨트롤 기능을 관리한다. 제1 정보 출력 장치(200)의 저시력인용 뷰어프로그램과 제2 정보 출력 장치(햅틱전자보드)(300)는 강의 및 저작 프로그램(햅틱 에듀)에 의해 통제되고, 교사가 제어한 학습 자료 화면으로 자동 전환 기능을 제공한다.
제1 정보 출력장치(200)의 저시력인용 뷰어 프로그램(client)은 학습정보 서버(100)로부터 유무선 네트워크(LAN, WLAN)를 통해 교사의 학습 자료를 수신하여 저시력인의 시력에 따라 문자, 숫자, 수식, 기호, 도형, 그래프 및 영상 출력 기능, 영상의 크기 선택, 색상 선택, 밝기 조정, 대비(Contrast) 조절 기능을 설정하고 저시력인의 시력에 따라 화면을 확대하거나 축소하여 저시력인용 학습정보를 저시력인에게 인지하게 한다.
학습정보 서버(100)는 저시력인용 학습정보를 제어하기 위한 네트워크 프로그램을 설계 및 구현하였으며, 고유 식별코드로 설정된 각각의 저시력인용 뷰어 프로그램(클라이언트)을 제어하고, 저시력인용 뷰어 프로그램을 판별하여 작성된 문자, 숫자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보를 전송한다. 강의 및 저작 프로그램에 의해 작성된 저시력인용 학습정보는 1:N 방식으로 전송하거나, 또는 1:1 방식으로 개인별로 선택하여 전송하도록 구현하였다.
제2 정보 출력 장치(햅틱전자보드)(300)는 학습정보 서버(100)로부터 근거리 무선통신(ZigBee, Bluetooth)으로 전맹인용 학습정보를 수신하고, 수신된 전맹인용 학습정보를 촉각정보로 변환하여 멀티배열로 구성된 초소형 초음파 모터(TULA)의 핀들의 돌출을 제어하여 그래픽 출력 모듈로 출력하고, 전맹인용 햅틱전자보드의 버튼을 이용하여 페이지를 이동하거나 강의 및 저작프로그램에서 페이지 이동 명령을 실행한다.
강의 및 저작 프로그램(햅틱 에듀)은 문자, 수식, 기호, 도형을 포함한 문자 입력 기능; 작성한 영상정보의 특정영역에 대한 세부 설명 및 주석을 문자로 입력하는 기능; 전맹인을 위한 자동 점역(점자 번역) 기능; 전맹인을 위한 제2 정보 출력 장치(햅틱전자보드)(300)에 영상의 촉각화 알고리즘의 구현 기능; 마우스 또는 타블렛(Tablet) 등의 입력 장치를 통한 자유 그리기 기능, 직선, 삼각형, 원, 그래프 등 자주 사용되는 도형의 템플릿을 이용한 그리기 기능, 2차원 좌표계의 단위 설정, 함수 및 그래프 그리기 기능을 제공하는 영상 정보 직접 그리기 기능; 영상의 촉각화 알고리즘을 사용하여 제2 정보 출력 장치(햅틱전자보드)(300)의 그래픽 출력 모듈에 나타날 촉각정보 형태를 작성자가 미리 확인하고, 전송할 영상 정보의 크기나 해상도가 클 경우 작성자에 의해 직접 영역을 분리하여 전달하는 영상정보 영역을 분할하는 영상정보 미리보기 및 영역 분할 기능; 및 작성한 학습자료에 대한 저장 및 불러오기 기능을 제공한다.
저시력인 시각장애인용 뷰어 프로그램은 제1 정보 출력 장치(200)에 사용되고, 화면 크기의 분할 확대 및 이동 기능, 색상 선택 기능, 밝기 조정 기능과 같은 필수 기능들을 구현하여 학습 정보 서버(100)로부터 수신된 문자, 기호, 수식, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습 정보를 저시력인에게 제공한다.
도 4는 본 발명에 따른 저시력인용 뷰어 프로그램과 전맹인용 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법을 설명한 순서도이다.
교사가 문자 수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존 자료 불러오기 기능을 제공하여 강의 및 저작 프로그램을 사용하여 학습정보 서버(100)에 시각장애인용 학습정보를 입력한다(S310). 이후 학습정보 서버(100)는 유무선 네트워크(LAN, 또는 WLAN)로 접속된 제1 정보 출력장치들(200)을 IP 주소로 식별하고, 근거리 무선 네트워크(ZigBee, Bluetooth)로 접속된 제2 정보 출력 장치들(300)을 고유의 장치ID로 식별하며, 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 또는 전맹인 시각 장애인의 유형을 판별한다(S320). 즉, 학습정보 서버 PC는 제1 정보 출력장치들(200), 제2 정보 출력 장치들(300)을 구분하고, 접속한 정보 출력 장치를 개별적으로 또는 총괄적으로 관리한다.
학습정보 서버(100)는 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 인지 유무를 판별한다(S330).
판별 결과, 학습정보 서버(100)에 저시력인용 제1 정보 출력 장치(200)가 접속된 경우, 학습정보 서버(100)는 입력된 학습정보를 정보 변환부(130)를 사용하여 입력된 저시력인용 학습 정보로 변환하고(S340), 저시력인용 학습 정보를 학습정보 서버(100)로부터 유무선 네트워크(LAN, 또는 WLAN)를 통해 제1 정보 출력 장치(200)들로 송신한다(S350).
판별결과, 학습정보 서버(100)에 전맹인용 제2 정보 출력 장치(햅틱전자보드)(300)가 접속된 것으로 판별된 경우, 학습정보 서버(100)는 강의 및 저작 프로그램에 의해 입력된 학습정보를 전맹인용 촉각 정보로 변환하고(S360), 촉각 정보로 변환이 가능한 전맹인용 학습 정보를 학습정보 서버(100)로부터 근거리 무선 네트워크(ZigBee, Bluetooth)를 통해 제2 정보 출력 장치(햅틱전자보드)(300)들로 송신한다(S370).
강의 및 저작 프로그램은 동일한 학습정보를 기반으로 특정 학습정보의 페이지를 동기화하여 시각장애인용 학습 자료 페이지를 지정하거나 저시력인 또는 전맹인이 현재 페이지 정보를 학습 정보 서버(100)로 전송한다(S380).
제2 정보 출력 장치(햅틱 전자보드)(300)는 학습 정보 서버(100)로부터 수신된 전맹인용 학습정보를 촉각 정보로 변환하여 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 그래픽 햅틱 전자보드를 사용하는 전맹인에게 촉각정보를 전달한다(S390).
도 5는 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 촉각화 알고리즘 구현 및 영상정보 미리보기, 영역분할 기능을 도시한 화면이다.
도 6은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 영상 영역을 선택하여 학습자료로 활용 및 직접 그리 기능을 도시한 화면이다.
도 7은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 문자 관련 기능 및 교육자료 불러오기 기능을 도시한 화면이다.
도 8은 시각 장애인용 학습정보 서버의 강의 및 저작 프로그램의 1,2차 함수 그래프 그리기 기능을 도시한 화면이다.
도 9는 시각 장애인용 학습정보 서버의 네트워크 기반 강의 및 저작 프로그램과 제1 정보 출력 장치의 저시력 시각장애인 뷰어 프로그램을 도시한 화면이다.
도 10은 시각 장애인용 학습정보 서버의 강의 저작프로그램과 제1 정보 출력 장치의 저시력 시각장애인용 뷰어 프로그램의 자료 요청에 대한 강의 자료 제어 신호의 통신 형태를 도시한 화면이다.
도 11은 제1 정보 출력 장치의 저시력인용 뷰어 프로그램 기능(원래 영상,확대 영상,색상 반전, 흑백변환, 밝기 증가, 밝기 감소)을 도시한 화면이다.
학습정보 서버(100)는 교사가 전송한 학습 자료를 제1 정보 출력 장치(200)로 시각장애인의 시력에 따라 화면 등에 표시된 영상의 크기, 밝기, 대비, 색상 조합 등을 설정하여 저시력인용 학습정보를 인지하게 된다. 즉, 학습정보 서버(100)는 교사 등이 칠판에 내용을 쓰듯 활용할 수 있는 판서 기능과 주지 과목의 특성을 고려하여 그래프 생성 기능, 수식 입력 및 변환, 자동 점자 변환, 학생 관리 기능, 준비자료 저장/불러오기 등의 기능을 수행한다.
또한, 학습정보 서버(100)는 네트워크로 접속된 상기 제1 정보 출력 장치(200) 및 제2 정보 출력 장치(300)의 접속 상태 및 출력화면 모니터링, 개별적 교육자료 전송, 현재 출력화면 지정 컨트롤 기능을 관리한다.
또한, 제1 정보 출력 장치(200) 및 제2 정보 출력 장치(300)는 학습정보 서버(100)에 의해 제어되며, 교사가 원하는 자료 화면으로 자동으로 전환될 수 있다.
학습정보 서버(100)는 네트워크를 통해 제1 정보 출력 장치(200) 또는 제2 정보 출력 장치(300)의 고유의 장치ID로 접속 요청시, 요청 장치의 접속 상태를 장치 상태 관리 창을 사용하여 확인하는 기능을 제공한다. 상기 제1 정보 출력 장치(200)는 학습정보의 페이지 변경시, 장치 상태 관리 창을 사용하여 각 해당 장치의 페이지를 확인할 수 있다. 또한, 학습정보 서버(100)는 동일 학습정보를 기반으로 학습을 진행하기 위해 특정 학습정보의 페이지를 동기화하는 기능을 제공할 수도 있다.
또한, 학습정보 서버(100)는 상기 제1 정보 출력 장치(200) 및 상기 제2 정보 출력 장치(300)의 입력에 따라 영상 및 점자에 대한 촉각 정보를 스크롤하는 기능이 제공된다. 또한, 제1 정보 출력 장치(200) 및 상기 제2 정보 출력 장치(300)의 한정된 해상도 및 분할된 영상에 대한 촉각 정보를 스크롤하는 기능이 제공될 수도 있다. 또한, 학습정보 서버(100)는 네트워크를 통해 연결된 제1 정보 출력 장치(200) 또는 제2 정보 출력 장치(300)에 전달된 학습 정보를 기억하고 각 장치를 제어하는 기능을 수행한다.
학습정보 서버(100)는 정보 입력부(110)를 사용하여 문자, 숫자, 수식, 기호, 도형을 비롯한 특정 학습정보를 입력할 수 있다. 예를 들면, 관리자가 마우스, 키보드 또는 타블렛 PC(Tablet PC) 등의 입력 장치를 통해 학습정보 서버(100)로 정보 입력이 가능하다. 예를 들면, 강의 및 저작 프로그램(햅틱에듀)은 직선, 삼각형, 원, 그래프를 비롯한 자주 사용되는 도형의 템플릿을 이용한 그리기가 가능하다. 또한, 강의 및 저작 프로그램(햅틱에듀)은 2차원 좌표계의 단위 설정, 함수 및 그래프 등을 그릴 수 있는 그래프 그리기도 가능하고, 입력한 학습정보의 특정 영역에 대한 세부 설명 및 주석을 문자로 입력하는 형태로 구현한다. 또한, 학습정보 서버(100)는 전맹인을 위한 자동 점역(점자 번역) 기능을 제공할 수도 있다.
상기와 같이 입력된 학습정보는 정보 저장부(120)를 통해 저장되어, 이후에 '불러오기' 기능을 제공한다. 이때, 강의 및 저작 프로그램은 각 페이지를 축소한 후 나열하여 미리보기 기능을 제공한다. 또한, 사용자는 입력한 여러 페이지의 학습정보를 하나의 통합 파일로 저장하고 불러오기 기능을 실행한다. 학습 정보는 작성한 선 및 도형 등을 해상도 변경에 따른 왜곡 현상이 없는 벡터 이미지로 제공된다. 또한, 강의 및 저작 프로그램(햅틱에듀)은 입력된 학습정보를 불러오기를 실행한 후, 불필요한 부분을 삭제 또는 추가 등의 그리기와 같은 편집 기능을 제공한다.
상기 학습정보 서버(100)의 정보 변환부(130)는 입력되는 정보의 변환알고리즘을 사용하여 상기 제1 정보 출력 장치(200)의 단말에 나타나게 될 영상 정보나 상기 제2 정보 출력 장치(300)의 그래프 출력부에 나타나게 될 촉각 정보로 변환하는 기능을 수행하고, 변환된 영상 정보 또는 촉각 정보의 형태를 작성자가 미리 확인이 가능하다. 또한, 전송할 학습정보의 크기나 해상도가 클 경우, 작성자는 직접 영역을 분리하여 저시력인용 제1 정보 출력 장치(200) 또는 전맹인용 제2 정보 출력 장치(300)로 전송하도록 저시력인용 또는 전맹인용 학습 정보 영역 분할 기능도 제공한다.
상기 제1 정보 출력 장치(200)는 상기 학습정보 서버(100)가 저장된 서버 PC와 유무선 네트워크(LAN, 또는 WLAN)로 통신하기 위한 통신부(210); 및 학습정보 서버(100)로부터 근거리 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 수신한 저시력인용 학습정보를 사용자의 단말 화면에 확대 및 축소하여 디스플레이하기 위한 어플리케이션부(220)를 구비한다.
즉, 상기 학습정보 서버(100)를 통해 변환된 저시력인용 학습정보는 상기 제1 정보 출력 장치(200)의 통신부(210)로 전송되고, 상기 어플리케이션부(220)를 통해 저시력인용 뷰어 프로그램으로 출력된다.
상기 어플리케이션부(220)는, 상기 학습정보 서버(100)로부터 유무선 네트워크(LAN 또는 WLAN)로 수신된 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 크기를 확대하는 정보 확대 모듈(221); 학습정보 서버(100)로부터 수신된 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 크기를 축소하는 정보 축소 모듈(222); 학습정보 서버(100)로부터 수신된 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 영역을 이동시키기 위한 정보 이동 모듈(223); 학습정보 서버(100)로부터 수신된 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 색상을 조절하는 색상 조절 모듈(224); 및 학습정보 서버(100)로부터 수신된 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 밝기를 조절하는 명도 조절 모듈(225)로 구성된다.
예를 들면, 정보 확대 모듈(221)은 전송된 시각적인 학습정보를 저시력인 사용자가 쉽게 식별하도록 2배에서 30배까지 확대하는 기능을 제공한다.
색상 조절 모듈(224)은 색상 구분이 불가능한 저시력인을 위해 학습정보의 색상을 반전 및 흑백 조정하는 기능을 수행한다.
명도 조절 모듈(225)은 학습정보의 영상이 너무 어둡거나 밝은 영상을 보면 쉽게 피로를 느끼는 저시력자를 위해 영상의 밝기를 조절한다.
또한, 제2 정보 출력 장치(300)는 ZigBee 무선 통신으로 학습 정보 서버(100)로부터 전맹인용 학습정보를 수신하고, 수신된 학습정보를 촉각 정보로 변환하여 출력하고, 버튼을 이용하여 페이지를 이동하거나 상기 학습정보 서버(100)에서의 페이지 이동 명령을 수행하는 기능, 조밀한 해상도를 제공한다.
제2 정보 출력 장치(300)는 ZigBee 또는 Bluetooth 프로토콜로 통신을 제공하는 통신부(301)를 구비하고, 전맹인용 햅틱 전자 보드를 사용한다.
제2 정보 출력 장치(햅틱 전자 보드)(300)는 상기 학습정보 서버(100)로부터 근거리 무선통신 네트워크(ZigBee 또는 Bluetooth)를 통해 전맹인용 학습정보를 수신하는 통신부(301); 통신부(301)로부터 전맹인용 학습정보를 입력받아 제어 명령을 제공하고, MCU(MicroControl Unit)로 구성된 마스터 보드(310); 상기 마스터 보드(310)와 SPI(Serial Peripheral Interface) Bus로 연결되고, 상기 마스터 보드(310)로부터 제어 명령을 수신받아 멀티배열로 구성된 초음파 모터를 제어하는 하나 이상의 슬레이브 보드(320); 멀티배열로 구성된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)(330); 및 전원을 인가받아 DC-DC 전압을 변환하여 상기 마스터 보드(310) 및 상기 슬레이브 보드(320)로 제공하는 스텝다운 DC-DC 컨버터(340)를 포함한다.
제2 정보 출력 장치(햅틱 전자 보드)(300)는 전맹인용 학습자료에 포함된 문자, 숫자, 기호, 그래프, 도형 또는 영상을 인지하도록, 임베디드 시스템의 제어 프로그램의 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 영상의 윤곽선을 추출하여 촉각 정보로 표현하는 기능, 그래픽 햅틱전자보드에 의해 선형운동이 가능한 멀티배열로 구성된 초소형 선형 초음파모터(TULA:Tiny Ultrasonic Linear Actuator)를 기반으로 멀티배열의 입체적 촉각정보로 표현하는 기능, 전 방향으로 4mm 피치(pitch)의 촉각 셀을 구성하여 시각장애인에게 연속적인 촉각정보를 표현하는 기능, 출력정보 수신 후 최대 0.8초 미만의 빠른 응답속도로 실시간으로 입력된 전맹인용 학습 정보를 촉각정보로 출력하는 기능을 제공한다.
제2 정보 출력 장치(햅틱 전자 보드)(300)는 '상, 하, 좌, 우, 전, 후' 등의 사용자 입력 버튼을 통해 그래픽 출력 또는 점자의 스크롤 기능을 구현할 수 있고, 다음 화면 또는 이전 화면으로 이동이 가능하게 제작하여 사용자의 편리성을 증대시킨다.
컴퓨터에 설치된 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 방법은 (a) 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존 자료 불러오기 기능을 제공하여 강의 및 저작 프로그램을 사용하여 학습정보 서버에 시각장애인용 학습정보가 입력되면, 학습정보 서버가 상기 서버로 접속되는 유무선 네트워크로 접속된 제1 정보 출력장치들을 IP 주소로 식별하며, 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 접속된 제2 정보 출력 장치들을 장치ID로 식별하는 기능; (b) 상기 학습정보 서버가 상기 서버로 접속한 통신 종류(LAN/WLAN 또는 ZigBee/Bluetooth)를 파악하여 저시력인 인지 유무를 판별하는 기능; (c) 판별 결과, 상기 학습정보 서버에 저시력인용 상기 제1 정보 출력 장치가 접속된 경우, 상기 학습정보 서버가 입력된 학습정보를 상기 학습 정보 서버의 정보 변환부에 의해 저시력인용 학습 정보로 변환하고, 상기 저시력인용 학습 정보를 상기 학습정보 서버로부터 유무선 네트워크(LAN, 또는 WLAN)를 통해 상기 제1 정보 출력 장치들로 송신하는 기능; (d) 판별결과, 상기 학습정보 서버에 상기 전맹인용 제2 정보 출력 장치(햅틱전자보드)가 접속된 경우, 상기 학습 정보 서버가 입력된 학습정보를 전맹인용 촉각 정보로 변환하고, 촉각 정보로 전달이 가능한 전맹인용 학습 정보를 상기 학습정보 서버로부터 근거리 무선 네트워크(ZigBee, Bluetooth)를 통해 상기 제2 정보 출력 장치(햅틱전자보드)들로 송신하는 기능; 및 (e) 강의 및 저작 프로그램에 의해 동일한 학습정보를 기반으로 특정 학습정보의 페이지를 동기화하여 시각장애인용 학습 자료 페이지를 지정하거나 저시력인 또는 전맹인이 현재 페이지 정보를 상기 학습 정보 서버로 전송하여 상기 학습 정보 서버에 의해 학습 페이지를 동기화하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 12는 제2 정보 출력 장치(햅틱전자보드)의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator) 및 array type 액츄에이터의 형상 및 일실시예로 4개의 8x2 표준 그래픽 출력 모듈(32x2)로 구성된 32x2 Dot의 표준 그래픽 출력 장치의 크기 및 형상을 나타낸 도면이다.
제2 정보 출력 장치(햅틱전자보드)(300)의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 Array Type 액츄에이터는 TULA를 2단 구조의 array type 초소형 초음파 모터들의 액츄에이터의 멀티 배열로 구성되며, 소형, 경량화가 가능하며 멀티 라인 구축하였다. 제2 정보 출력 장치(햅틱전자보드)(300)는 83.2mm x 5.2mm x 20 mm 크기, 전맹 시각장애인이 촉감을 이용하여 정보를 감지하기 위해 햅틱전자보드의 초소형 초음파 모터들(TULA) 핀들이 버티는 힘이 있어야 하는데 이를 위해 10 g.f(gram force)의 자기유지력을 지원하고, 햅틱전자보드의 내구성을 5만회이상 지원한다.
초소형 초음파 모터(TULA)는 전맹인이 점자를 촉각으로 인지하는 부분인 초소형 초음파 모터의 핀(Probe); Probe를 고정시키는 이동자(Mobile), 전맹인용 학습 정보와 관련된 촉도 신호를 전달하기 위해 상하 운동시키는 이동축(Shaft), 초소형 초음파 모터가 구동되도록 토크를 받으면 상하 운동을 제어하는 트랜스듀서(Transducer)로 구성된다.
제2 정보 출력 장치(햅틱전자보드)(300)는 시각장애인이 점자를 가장 높은 정확도로 인지할 수 있고 수식, 도형, 그래프 및 영상 정보를 섬세하게 촉각 정보를 전달하도록 Probe와 Probe 사이의 거리를 2.6mm로 설정하여 제작하였다.
도 13은 초소형 초음파 모터를 array type을 개발하여, 초음파 모터의 array type 엑츄에이터의 제조 공정시 소량, 경량화를 위해 Top/Bottom 2단 구조로 구성하고, 각각 4선으로 된 Top Module 신호 케이블 및 Bottom Module 신호 케이블의 4x2 표준 그래픽 출력 모듈로 구성된 햅틱전자보드의 기본적인 8x2 표준 그래픽 출력 모듈을 나타낸 도면이다.
시각장애인의 점자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 전맹인용 학습정보를 세밀하게 촉각 정보로 감지하도록 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈의 초소형 초음파 모터(TULA)의 핀(Probe)과 핀(probe) 사이의 거리를 2.7mm 이하로 제작하여 Array Type 압전 엑츄에이터의 모듈을 정밀도를 향상하기 위해 다층구조(2층구조의 2배)로 제작하였다.
도 14는 제2 정보 출력 장치(햅틱전자보드)의 표준 그래픽 출력 모듈의 구동회로의 블럭도이다.
햅틱전자보드의 표준 그래픽 출력 모듈의 구동회로는 햅틱전자보드의 전채적인 제어를 하는 MCU; Boosting Part; Driving Part; 및 초소형 초음파 모터의 on/off 및 상하 운동을 제어하는 FPGA; 전맹인용 학습 정보에 포함된 문자, 숫자, 수식, 기호, 도형 및 영상의 촉각화 알고리즘으로 촉도 신호로 변환하여 출력하는 그래픽 출력 모듈로 구성된다.
도 15는 햅틱전자보드의 2그룹별로 2.6mm의 Probe 사이의 간격을 가지는 기본적인 8x2 표준 그래픽출력 모듈을 조합하여 만든 햅틱전자보드(300)의 그래픽출력 표준 모듈(314)을 나타낸 도면이다.
도 16은 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈로 전맹인용 학습 정보와 관련된 촉각 정보를 나타낸 화면이다.
제2 정보 출력 장치(햅틱전자보드)(300)는 고유의 장치 ID로 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 학습정보 서버(100)로 접속하여, 학습정보 서버(100)로부터 전맹인용 학습정보를 수신받고, 문자, 숫자, 기호, 도형, 그래프 및 영상의 촉각화 알고리즘을 사용하여 전맹인용 학습 정보를 촉각정보로 변환하며, MCU의 제어에 따라 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 전맹인이 손으로 감지하도록 촉각 정보를 전달한다.
예를 들면, 전맹인이 햅틱전자보드를 사용하여 학습하는 경우, 전맹인은 y=2x-8 수식과 설명을 햅틱전자보드의 그래픽 출력 모듈의 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 돌출된 핀들(Probe)을 손의 촉감으로 감지하여 y=2x-8 수식과 그래프 및 설명을 학습하게 된다.
학습정보 서버(100)는 입력된 학습정보를 네트워크상에서 기본적으로 1:N 방식으로 제1 정보 출력 장치(200) 및 제2 정보 출력 장치(300)로 전송하거나, 또는 1:1 방식으로 개인별 정보 출력 장치의 장치ID를 선택하여 전송하는 전송 모드를 구현할 수 있다.
본 발명에 따른 근거리 무선통신(ZigBee, 또는 Bluetooth)을 사용하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템의 프로토타입은 실제 시각장애인들과 평가과정에서 문자와 관련된 음성만을 제공하여 영상이 포함된 교육자료를 설명하는 경우보다 음성 출력과 함께 촉각화된 영상정보를 제공하여 교육자료를 설명한 경우 시각장애인의 이해력 향상에 크게 효과적이고 편리하다는 것을 확인하였다.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 메모리 카드, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 다음의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
100 : 학습정보 서버 200 : 제1 정보 출력 장치
300 : 제2 정보 출력 장치
300 : 제2 정보 출력 장치
Claims (12)
- 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템에 있어서,
LAN 또는 WLAN 통신부를 구비하며, 강의 및 저작프로그램에 연동되는 학습정보 서버로 접속하여 저시력인용 학습정보를 수신받고, 저시력인용 뷰어 프로그램이 설치되는 저시력인용 제1 정보 출력 장치(PC); 및
고유의 장치 ID가 할당되고, 근거리 무선통신(ZigBee 또는 Bluetooth)을 사용하며, 고유의 장치 ID로 무선 네트워크(ZigBee 또는 Bluetooth)를 통해 학습정보 서버로 접속하여 학습정보 서버로부터 전맹인용 학습정보를 수신받아 전맹인용 학습 정보를 촉각정보로 변환하여 멀티배열로 배치된 다수의 초소형 초음파 모터들(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 제어하여 그래픽 출력모듈로 출력하여 시각장애인에게 촉각 정보를 전달하는 전맹인용 제2 정보 출력 장치(햅틱전자보드)를 포함하고,
상기 강의 및 저작 프로그램과 상기 학습정보 서버는 네트워크 연결부(LAN 또는 WLAN) 및 무선통신 인터페이스부(ZigBee 또는 Bluetooth)를 구비한 상기 서버 PC에 설치되고, 입력장치로부터 입력된 학습정보를 강의 및 저작 프로그램(햅틱 에듀)에 의해 문자/수식 입력 기능, 판서 기능, 그래프/도형 그리기, 기존자료 불러오기 기능을 제공하고 이를 통해 저작된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보 또는 촉각정보 자동 변환 기술을 이용하여 촉각정보로 전달이 가능한 전맹인용 학습정보로 변환하고, 상기 저시력인용 학습정보 또는 촉각정보로 전달이 가능한 전맹인용 학습정보를 유무선 네트워크(LAN 또는 WLAN) 또는 무선 네트워크(ZigBee, 또는 Bluetooth)를 통해 1:N 또는 1:1 전송 모드로 적어도 하나 이상의 정보출력 장치들로 전송하는 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템. - 제1항에 있어서,
상기 학습정보 서버는
상기 강의 및 저작 프로그램에 의해 저작된 문자 뿐만아니라 수식, 기호, 도형, 그래프, 및 영상 정보를 포함하는 시각장애인용 학습정보를 입력받는 정보 입력부;
상기 정보 입력부로부터 입력된 정보를 저장하는 정보 저장부;
상기 정보 입력부로부터 입력된 학습정보를 저시력인용 학습정보 및 촉각 정보로 전달이 가능한 전맹인용 학습정보로 변환하는 정보 변환부; 및
다수의 제2 정보 출력 장치들과 근거리 무선 네트워크(ZigBee 또는 Bluetooth)로 통신하는 경우, 전맹인용 학습 정보를 제공하는 무선통신 인터페이스부;
를 포함하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템. - 제2항에 있어서,
상기 학습정보 서버는,
상기 학습정보 서버 PC와 상기 제1 정보 출력 장치들과 유무선 네트워크(LAN 또는 WLAN)으로 통신하는 경우, 상기 저시력인용 뷰어 프로그램이 설치된 상기 제1 정보 출력 장치로 저시력인용 학습정보를 전송하는 네트워크 연결부를 더 포함하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템. - 제1항 또는 제2항에 있어서,
상기 제1 정보 출력 장치는,
상기 학습정보 서버가 저장된 서버 PC와 유무선 네트워크(LAN 또는 WLAN)로 통신하기 위한 통신부; 및
상기 학습정보 서버로부터 수신한 상기 저시력인용 학습 정보를 사용자의 단말 화면에 디스플레이하기 위한 어플리케이션부;
를 포함하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템. - 제4항에 있어서,
상기 어플리케이션부는,
상기 학습정보 서버로부터 네트워크로 수신된 상기 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 크기를 확대하는 정보 확대 모듈;
상기 학습정보 서버로부터 수신된 상기 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 크기를 축소하는 정보 축소 모듈;
상기 학습정보 서버로부터 수신된 상기 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 영역을 이동시키기 위한 정보 이동 모듈;
상기 학습정보 서버로부터 수신된 상기 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 색상을 조절하는 색상 조절 모듈; 및
상기 학습정보 서버로부터 수신된 상기 저시력인용 학습정보에 대하여 사용자의 단말 화면에 디스플레이되는 밝기를 조절하는 명도 조절 모듈;
을 포함하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템. - 제1항에 있어서,
상기 제2 정보 출력 장치는,
상기 학습정보 서버로부터 근거리 무선통신(ZigBee 또는 Bluetooth)을 사용하여 전맹인용 학습정보를 수신하는 통신부;
상기 통신부로부터 상기 전맹인용 학습정보를 입력받아 제어 명령을 제공하고, MCU(MicroControl Unit)로 구성된 마스터 보드;
상기 마스터 보드와 SPI(Serial Peripheral Interface) Bus로 연결되고, 상기 마스터 보드로부터 제어 명령을 수신받아 멀티배열로 구성된 초음파 모터를 제어하는 하나 이상의 슬레이브 보드;
상기 멀티배열로 구성된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator); 및
전원을 인가받아 DC-DC 전압을 변환하여 상기 마스터 보드 및 상기 슬레이브보드로 제공하는 스텝다운 DC-DC 컨버터;를 포함하고,
시각장애인의 점자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 전맹인용 학습정보를 세밀하게 촉각 정보로 감지하도록 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈의 초소형 초음파 모터(TULA)의 핀(Probe)과 핀(probe) 사이의 거리를 2.7mm 이하로 제작하여 Array Type 압전 엑츄에이터의 모듈을 정밀도를 향상하기 위해 다층구조로 제작된 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템. - 제1항에 있어서,
상기 학습정보 서버는
상기 저시력인용 학습정보를 제어하는 네트워크 프로그램을 구현하여, 고유 식별코드로 설정된 각각의 저시력인용 뷰어 프로그램(클라이언트)을 제어하고, 저시력인 뷰어 프로그램을 판별하여 작성된 영상 및 문자 정보를 포함하는 저시력인용 학습정보를 전송하며, 강의 및 저작 프로그램에 의해 작성된 저시력인용 학습정보를 무선랜 기반의 1:N 방식으로 전송하거나, 1:1 방식으로 개인별로 선택하여 전송하는 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템. - 제1항에 있어서,
상기 강의 및 저작 프로그램은
주지 과목별로 특화된 문자, 숫자, 수식, 기호를 포함한 문자 입력 기능; 작성한 영상정보의 특정영역에 대한 세부 설명 및 주석을 문자로 입력하는 기능; 전맹인을 위한 자동 점역(점자 번역) 기능; 전맹인을 위한 상기 제2 정보 출력 장치(햅틱전자보드)에 영상의 촉각화 알고리즘의 구현 기능; 마우스, 키보드 또는 타블렛 PC 등의 입력 장치를 사용한 자유 그리기 기능, 직선, 삼각형, 원, 그래프 등 자주 사용되는 도형의 템플릿을 이용한 그리기 기능, 2차원 좌표계의 단위 설정, 함수 및 그래프 그리기 기능을 제공하는 영상 정보 직접 그리기 기능; 영상의 촉각화 알고리즘을 사용하여 상기 제2 정보 출력 장치(햅틱전자보드)의 그래픽 출력 모듈로 나타날 촉각정보 형태를 미리 확인하고, 전송할 영상 정보의 크기나 해상도가 클 경우 직접 영역을 분리하여 전달하는 영상정보 영역을 분할하는 영상정보 미리보기 및 영역 분할 기능; 및 작성한 학습자료에 대한 저장 및 불러오기 기능을 제공하는 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템. - 제1항에 있어서,
상기 저시력인용 뷰어 프로그램은,
상기 제1 정보 출력 장치에 사용되고, 문자, 숫자, 수식, 기호 출력 기능, 화면 크기의 분할 확대 및 이동 기능, 색상 선택 기능, 밝기 조정, 대비(Contrast) 조정 기능을 제공하여 상기 학습 정보 서버로부터 수신된 문자, 수식, 기호, 도형, 그래프 및 영상 정보를 포함하는 저시력인용 학습정보를 저시력인에게 제공하는 것을 특징으로 하는 햅틱전자보드 기반의 시각장애인용 학습정보 제공 시스템.
- 삭제
- 삭제
- 삭제
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110054861A KR101290763B1 (ko) | 2011-06-08 | 2011-06-08 | 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법 |
| US13/218,030 US9171483B2 (en) | 2011-06-08 | 2011-08-25 | System and method for providing learning information for visually impaired people based on haptic electronic board |
| PCT/KR2012/004510 WO2012169810A2 (ko) | 2011-06-08 | 2012-06-08 | 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110054861A KR101290763B1 (ko) | 2011-06-08 | 2011-06-08 | 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120135950A KR20120135950A (ko) | 2012-12-18 |
| KR101290763B1 true KR101290763B1 (ko) | 2013-07-29 |
Family
ID=47293486
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110054861A KR101290763B1 (ko) | 2011-06-08 | 2011-06-08 | 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9171483B2 (ko) |
| KR (1) | KR101290763B1 (ko) |
| WO (1) | WO2012169810A2 (ko) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2513884B (en) | 2013-05-08 | 2015-06-17 | Univ Bristol | Method and apparatus for producing an acoustic field |
| US9612658B2 (en) | 2014-01-07 | 2017-04-04 | Ultrahaptics Ip Ltd | Method and apparatus for providing tactile sensations |
| US20150287043A1 (en) * | 2014-04-02 | 2015-10-08 | Avaya Inc. | Network-based identification of device usage patterns that can indicate that the user has a qualifying disability |
| GB2530036A (en) | 2014-09-09 | 2016-03-16 | Ultrahaptics Ltd | Method and apparatus for modulating haptic feedback |
| MX2017010254A (es) | 2015-02-20 | 2018-03-07 | Ultrahaptics Ip Ltd | Percepciones en un sistema haptico. |
| ES2908299T3 (es) | 2015-02-20 | 2022-04-28 | Ultrahaptics Ip Ltd | Mejoras del algoritmo en un sistema háptico |
| US10818162B2 (en) | 2015-07-16 | 2020-10-27 | Ultrahaptics Ip Ltd | Calibration techniques in haptic systems |
| US11189140B2 (en) | 2016-01-05 | 2021-11-30 | Ultrahaptics Ip Ltd | Calibration and detection techniques in haptic systems |
| US10531212B2 (en) | 2016-06-17 | 2020-01-07 | Ultrahaptics Ip Ltd. | Acoustic transducers in haptic systems |
| US10268275B2 (en) | 2016-08-03 | 2019-04-23 | Ultrahaptics Ip Ltd | Three-dimensional perceptions in haptic systems |
| US10755538B2 (en) | 2016-08-09 | 2020-08-25 | Ultrahaptics ilP LTD | Metamaterials and acoustic lenses in haptic systems |
| US11145223B2 (en) | 2016-10-23 | 2021-10-12 | Eurica Califorrniaa | Self-scrolling braille |
| US10943578B2 (en) | 2016-12-13 | 2021-03-09 | Ultrahaptics Ip Ltd | Driving techniques for phased-array systems |
| US10497358B2 (en) | 2016-12-23 | 2019-12-03 | Ultrahaptics Ip Ltd | Transducer driver |
| KR102436994B1 (ko) * | 2017-02-22 | 2022-08-29 | 주식회사 닷 | 정보 출력 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체 |
| KR101960446B1 (ko) * | 2017-06-15 | 2019-03-20 | 주식회사 닷 | 정보 출력 장치 및 방법 |
| US11048329B1 (en) | 2017-07-27 | 2021-06-29 | Emerge Now Inc. | Mid-air ultrasonic haptic interface for immersive computing environments |
| US11531395B2 (en) | 2017-11-26 | 2022-12-20 | Ultrahaptics Ip Ltd | Haptic effects from focused acoustic fields |
| WO2019122912A1 (en) | 2017-12-22 | 2019-06-27 | Ultrahaptics Limited | Tracking in haptic systems |
| WO2019122916A1 (en) | 2017-12-22 | 2019-06-27 | Ultrahaptics Limited | Minimizing unwanted responses in haptic systems |
| US10911861B2 (en) | 2018-05-02 | 2021-02-02 | Ultrahaptics Ip Ltd | Blocking plate structure for improved acoustic transmission efficiency |
| US11098951B2 (en) | 2018-09-09 | 2021-08-24 | Ultrahaptics Ip Ltd | Ultrasonic-assisted liquid manipulation |
| US11378997B2 (en) | 2018-10-12 | 2022-07-05 | Ultrahaptics Ip Ltd | Variable phase and frequency pulse-width modulation technique |
| US11436942B2 (en) * | 2018-10-16 | 2022-09-06 | Fmr Llc | Systems and methods for interactive braille display |
| WO2020141330A2 (en) | 2019-01-04 | 2020-07-09 | Ultrahaptics Ip Ltd | Mid-air haptic textures |
| CN109903300B (zh) * | 2019-01-15 | 2021-05-18 | 浙江工业大学 | 一种适用于先天性盲人学习识图的智能触点显示方法及装置 |
| KR102261668B1 (ko) * | 2019-03-15 | 2021-06-04 | 가천대학교 산학협력단 | 촉각인터페이스장치를 통하여 점자 그래픽 교육 지원 기능을 제공하는 방법, 장치, 및 비일시적 컴퓨터-판독가능 매체 |
| KR102187871B1 (ko) * | 2019-03-15 | 2020-12-07 | 가천대학교 산학협력단 | 촉각인터페이스장치를 통하여 점자 교육 지원 기능을 제공하는 방법, 장치, 및 비일시적 컴퓨터-판독가능 매체 |
| US11842517B2 (en) | 2019-04-12 | 2023-12-12 | Ultrahaptics Ip Ltd | Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network |
| US11374586B2 (en) | 2019-10-13 | 2022-06-28 | Ultraleap Limited | Reducing harmonic distortion by dithering |
| WO2021074604A1 (en) | 2019-10-13 | 2021-04-22 | Ultraleap Limited | Dynamic capping with virtual microphones |
| US11169610B2 (en) | 2019-11-08 | 2021-11-09 | Ultraleap Limited | Tracking techniques in haptic systems |
| US11715453B2 (en) | 2019-12-25 | 2023-08-01 | Ultraleap Limited | Acoustic transducer structures |
| CN113453048A (zh) * | 2020-03-25 | 2021-09-28 | 上海哔哩哔哩科技有限公司 | 音视频的触觉反馈设置方法、播放方法及计算机设备 |
| US11816267B2 (en) | 2020-06-23 | 2023-11-14 | Ultraleap Limited | Features of airborne ultrasonic fields |
| US11886639B2 (en) | 2020-09-17 | 2024-01-30 | Ultraleap Limited | Ultrahapticons |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090008654A (ko) * | 2007-07-18 | 2009-01-22 | 에스케이 텔레콤주식회사 | 점자를 이용하여 온라인 학습 서비스를 제공하는 방법,시스템 및 장치 |
| KR100907411B1 (ko) | 2008-01-10 | 2009-07-10 | 에스케이 텔레콤주식회사 | 다중 접촉 입력 장치를 활용한 촉감 출력 시스템 및 방법 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6374255B1 (en) * | 1996-05-21 | 2002-04-16 | Immersion Corporation | Haptic authoring |
| US7106220B2 (en) * | 2001-09-18 | 2006-09-12 | Karen Gourgey | Tactile graphic-based interactive overlay assembly and computer system for the visually impaired |
| US20050233287A1 (en) * | 2004-04-14 | 2005-10-20 | Vladimir Bulatov | Accessible computer system |
| KR101038466B1 (ko) | 2009-05-25 | 2011-06-01 | 주식회사 휴비스 | 내구 흡한속건성 난연 폴리에스테르 섬유 및 그 제조방법 |
| US20110199321A1 (en) * | 2010-02-12 | 2011-08-18 | Electronics And Telecommunications Research Institute | Apparatus for providing self-morphable haptic and visual information and method thereof |
| US9691300B2 (en) * | 2010-09-21 | 2017-06-27 | Sony Corporation | Text-to-touch techniques |
| KR101758164B1 (ko) * | 2011-04-08 | 2017-07-26 | 엘지전자 주식회사 | 이동 단말기 및 3ｄ 멀티 앵글 뷰 제어방법 |
-
2011
- 2011-06-08 KR KR1020110054861A patent/KR101290763B1/ko active IP Right Grant
- 2011-08-25 US US13/218,030 patent/US9171483B2/en active Active
-
2012
- 2012-06-08 WO PCT/KR2012/004510 patent/WO2012169810A2/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20090008654A (ko) * | 2007-07-18 | 2009-01-22 | 에스케이 텔레콤주식회사 | 점자를 이용하여 온라인 학습 서비스를 제공하는 방법,시스템 및 장치 |
| KR100907411B1 (ko) | 2008-01-10 | 2009-07-10 | 에스케이 텔레콤주식회사 | 다중 접촉 입력 장치를 활용한 촉감 출력 시스템 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 정정일 외 1명. 시각장애인을 위한 실시간 햅틱 디스플레이 시스템 설계 및 구현. 전자공학회 논문지. 2011.03., 제48권, 제2호, pp.141-148 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US9171483B2 (en) | 2015-10-27 |
| WO2012169810A2 (ko) | 2012-12-13 |
| WO2012169810A3 (ko) | 2013-03-07 |
| KR20120135950A (ko) | 2012-12-18 |
| US20120315605A1 (en) | 2012-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101290763B1 (ko) | 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법 | |
| Xu et al. | Tactile display for the visually impaired using TeslaTouch | |
| KR101221513B1 (ko) | 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법 | |
| Brown et al. | VizTouch: automatically generated tactile visualizations of coordinate spaces | |
| Choi et al. | Digitizer auditory graph: making graphs accessible to the visually impaired | |
| Sjöström et al. | Phantom-based haptic line graphics for blind persons | |
| KR20140010756A (ko) | 문자/이미지/동영상 구현 기능을 구비한 시각장애인용 모바일 단말 | |
| Nasereddin | MMLSL: modelling mobile learning for sign language | |
| Gay et al. | F2T: a novel force-feedback haptic architecture delivering 2D data to visually impaired people | |
| Sobhan et al. | A communication aid system for deaf and mute using vibrotactile and visual feedback | |
| KR20190078294A (ko) | 가상 튜터에 의한 디지털 학습 제공 서버 및 방법 | |
| Pope et al. | The latest in immersive telepresence to support shared engineering education | |
| GB2311888A (en) | Tactile communication system | |
| Kamat et al. | Tangible Construction Kit for Blind and Partially Sighted Drawers: Co-Designing a cross-sensory 3D interface with blind and partially sighted drawers during Covid-19 | |
| SungMin | Haptic aids for the visually impaired | |
| Kelly | Using Technology to Enhance Learning for Students With Visual Impairments | |
| Murray | Instructional eLearning technologies for the vision impaired | |
| Quek et al. | Assistive Technology in Education. | |
| Guggilam | Design of Text-to-Braille Digitized Device based on Android and Arduino Uno with Remote Module | |
| Mikułowski et al. | An approach of explaining math function graphs through the sound representation for blind students | |
| Lambert et al. | Getting a grip on geometry: Developing a tangible manipulative for inclusive quadrilateral learning | |
| Shiyam Raghul et al. | Raspberry-pi based assistive device for deaf, dumb and blind people | |
| Rassmus-Gröhn et al. | Non-visual Drawing with the HIPP Application | |
| Kruger et al. | Interactive Image Exploration for Visually Impaired Readers using Audio-augmented Touch Gestures | |
| Kaplan | Assistive Technologies for Independent Navigation for People with Blindness |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| AMND | Amendment | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| AMND | Amendment | ||
| GRNT | Written decision to grant | ||
| X701 | Decision to grant (after re-examination) | ||
| FPAY | Annual fee payment |
Payment date: 20160705 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170622 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180625 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20190702 Year of fee payment: 7 |