KR101221513B1 - 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법 - Google Patents

시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법 Download PDF

Info

Publication number
KR101221513B1
KR101221513B1 KR1020100127077A KR20100127077A KR101221513B1 KR 101221513 B1 KR101221513 B1 KR 101221513B1 KR 1020100127077 A KR1020100127077 A KR 1020100127077A KR 20100127077 A KR20100127077 A KR 20100127077A KR 101221513 B1 KR101221513 B1 KR 101221513B1
Authority
KR
South Korea
Prior art keywords
information
image
electronic board
contour
visually impaired
Prior art date
Application number
KR1020100127077A
Other languages
English (en)
Other versions
KR20120065779A (ko
Inventor
조진수
김경재
정정일
신강철
원종길
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020100127077A priority Critical patent/KR101221513B1/ko
Publication of KR20120065779A publication Critical patent/KR20120065779A/ko
Application granted granted Critical
Publication of KR101221513B1 publication Critical patent/KR101221513B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G09B21/005—Details of specially-adapted software to access information, e.g. to browse through hyperlinked information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법에 관한 것으로, 다양한 영상 정보를 입력받는 영상 입력부; 3차원 영상의 윤곽선 추출 알고리즘을 실행하는 제어 프로그램이 설치된 컴퓨터 또는 임베디드 시스템; 및 컴퓨터 또는 임베디드 시스템으로부터 UART를 통해 시각 정보를 수신받고 제어 명령에 따라 각각 다중배열로 구성된 다수의 초음파 모터(TULA)들의 핀을 돌출시킴으로써 시각 정보를 촉각 정보로 시각 장애인에 전달하는 그래픽 햅틱전자보드로 구성된다. 이에 따라, 그래픽 햅틱전자보드는 문자, 숫자, 기호, 그래프, 도형, 3차원 영상정보를 포함하는 교육자료, 디지털 사진, 일러스트레이션 등의 시각 정보를 촉각정보로 시각 장애인에게 전달이 가능하게 되었다.

Description

시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법{Graphic haptic electronic board and method for transferring visual information to visually impaired people as haptic information}
본 발명은 시각 장애인을 위한 그래픽 햅틱전자보드 및 방법에 관한 것으로, 특히 문자, 숫자, 기호, 그래프, 도형을 포함하는 교육자료, 디지털 사진, 일러스트레이션 등의 시각 정보 뿐만 아니라 영상을 받고, 영상의 윤곽선 추출 알고리즘을 사용하여 영상의 윤곽선을 추출하며, 시각 정보를 그래픽 햅틱전자보드로 전송하여 다중배열로 배치된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)들의 핀을 각각 제어하여 시각 정보를 촉각 정보로 시각 장애인에게 제공하는, 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법에 관한 것이다.
한국, 미국, 독일, 및 호주 등의 선진국들은 시각 장애인들의 복지를 개선하기 위해 재비츠-와그너-오데이법(Jabits-Wagner-O'^Day법), 장애인 고용촉진에 관한 법률, 장애인 복지법 등의 법률을 제정하고, 특수교육 제도의 정비, 시각 정보를 촉각정보로 변환하는 점자 셀 등의 보조공학기기, 점자 교과서의 보급 등과 같은 많은 정책들을 시행해 왔다.
시각 장애인은 논리적인 언어구사력 같은 음성을 통한 정보 습득 능력이 발달하였으며 문서나 시각대체 자료를 통해 시각 장애인의 정보습득 능력을 발전시키는데 적합하지 못하기 때문에, 시각 장애인들의 문서 위주의 교육 자료를 읽거나 시각 자료(문자, 숫자, 기호, 사진, 그림, 삽화, 도형, 그래프, 영상 등)를 이해하고 문서를 통한 정보 습득 능력이 발달하지 못한 특징을 나타내고 있다.
과거의 시각 장애인을 위한 안경이나 화면 확대기와 같은 저 시력 보조기구는 근래에는 스크린리더 또는 음성 손목시계 등과 같이 청각을 이용하는 기구로 발전하였고, 최근 시각 장애인들의 피부를 통해 촉각으로 정보를 전달하는 기술에 대한 연구가 진행하고 있다.
시각 장애인 중 87.21(%)는 촉각 중 손을 이용하여 물체의 위치와 그 형상 정보를 습득하였고, 12.92(%)만이 시각을 이용하여 물체의 위치와 형상정보를 습득하였다. 공간 인지에 대한 실험결과에서는 6.46(%)를 제외한 모든 시각 장애인들이 손발의 촉각에 의지하여 공간의 정보를 습득하는 것으로 나타났다. 전맹인을 제외한 저시력자는 시력이 존재함에도 불구하고, 물체의 특성정보 습득에서는 69(%) 이상이, 공간 인지에서는 94(%) 이상이 정보를 습득하기 위해 촉각에 의지하는 특징적인 결과를 보였다. 따라서, 시각 장애인을 위한 학습 보조기구는 촉각에서 대부분의 정보를 습득하는 시각 장애인들의 특성을 반영하여, 학습 자료에 포함된 문자, 숫자, 기호, 사진, 그림, 삽화, 도형, 그래프, 영상 등의 시각정보를 촉각정보로 변환하여 편리하게 시각 장애인에게 제공한다면, 보조 공학기기의 편의성과 활용성을 극대화시키고 시각 장애인들의 제한된 활동을 획기적으로 개선하여 높은 복지를 보장할 수 있으며, 관련 시스템과 기술을 개발하고 있다.
시각 장애인들의 특수 교육 자료와 일반 교육 자료는 효율적인 학습 자료를 제공하기 위해 시각 정보를 촉각 정보로 표현하는 자동화된 보조 공학기기인 그래픽 햅틱전자보드(촉각 정보 전달 장치)의 필요성이 제기되고 있다.
기존의 점자정보 단말기에 사용되는 점자셀은 모터 구동부가 동일 평면상에 위치해야 하기 때문에 수평 또는 수직으로의 단방향 확장만이 가능하다. 그러나, 기존 그래픽 햅틱전자보드는 전 방향으로 점자셀을 구성하여 일반적 디스플레이 장치와 유사하게 연속적이고도 촉각정보를 표현하지 못하고 있는 실정이다.
그러므로, 일반적인 영상정보 습득이 불가능한 시각 장애인에게 영상정보를 인지시킬 수 있으며, 교육 자료를 비롯한 다양한 영상정보를 변환하여 전달시킬 수 있고, 시각을 활용할 수 없고 촉각을 통해 정보를 획득할 수 밖에 없는 시각 장애인을 위해 그래픽 햅틱전자보드 시스템이 필요하다.
시각 장애인은 문자, 숫자, 기호, 그래프, 도형 등의 일반적인 시각 정보 및 영상 정보를 볼 수 없기 때문에, 시각 정보를 촉각 정보로 대체로 활용하였다.
또한, 시각 장애인에게 영상 정보를 전달하기 위해 점자 프린터, 롤렛 등을 이용하여 점자 전용지에 인쇄하여 장애인이 촉각으로 감지하는 불편한 문제점이 있었다. 따라서, 시각을 활용할 수 없는 시각 장애인을 위해 시각 정보를 촉각 정보로 제공하는 문자, 숫자, 기호, 그래프, 도형 등의 시각 정보 또는 3차원 영상 정보를 전달하기 위한 그래픽 햅틱전자보드가 필요하게 되었다.
상기 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 저시력 시각 장애인과 전맹 시각 장애인에게 전달하기 어려웠던 문자, 숫자, 기호, 그래프, 도형을 포함하는 교육자료, 디지털 사진, 일러스트레이션 등의 시각정보 뿐만아니라 3차원 영상 정보를 포함하는 시각정보를 그래픽 햅틱전자보드를 통해 촉각정보로 전달하기 위해 3차원 영상의 윤곽선을 추출하는 알고리즘을 개발하였으며, 컴퓨터 또는 임베디드 시스템의 제어 프로그램에 의해 영상의 윤곽선 정보를 그래픽 햅틱전자보드로 전송하여, 다중배열로 배치된 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 각각 제어하여 그래픽 햅틱전자보드에 의해 시각 장애인에게 시각 정보를 촉각 정보로 전달하는, 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드를 제공하는 것이다.
본 발명의 다른 목적은 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위해, 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드는 사용자의 스테레오 입체 영상 정보, 스캐너 이미지, 카메라 영상, 삽화, 그래프를 포함하는 영상 자료를 입력받아 다양한 영상정보를 입력받는 영상 입력부; 문자, 숫자, 기호, 그래프, 도형을 포함하는 일반적인 시각 정보를 입력받거나, 상기 영상 입력부로부터 영상을 입력받아 영상의 윤곽선을 추출하여 영상의 노이즈가 제거된 윤곽선 정보를 포함하는 촉각정보로 변환하기 위한 데이타를 제공하는 3차원 윤곽선 추출 알고리즘을 포함하는 제어 프로그램이 설치된 컴퓨터 또는 임베디드 시스템; 및 기 설정된 제어 명령 전송 프로토콜에 따라 상기 컴퓨터와 UART 통신을 통해 일반적인 시각 정보를 입력받거나 또는 상기 영상의 노이즈가 제거된 윤곽선 정보를 포함하는 촉각정보로 변환하기 위한 데이타를 수신받고 제어 명령에 의해 각각 다중배열로 배치된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)들의 핀을 돌출시킴으로써 상기 일반적인 시각 정보 또는 상기 영상의 노이즈가 제거된 윤곽선 정보를 포함한 시각 정보를 촉각 정보로 시각 장애인에게 제공하는 햅틱 전자보드를 포함한다.
본 발명의 다른 목적을 달성하기 위해, 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법은, (a) 영상 입력부를 통해 스테레오 입체 영상 정보, 스캐너 이미지, 카메라 영상, 삽화, 그래프를 포함하는 영상 자료를 입력받는 단계; (b) 컴퓨터 및 임베디드 시스템의 제어 프로그램에 의해 문자, 숫자, 기호, 그래프, 도형을 포함하는 일반적인 시각 정보 또는 3차원 윤곽선 추출 알고리즘을 사용하여 노이즈가 제거된 윤곽선을 가진 영상 정보를 포함하는 시각정보를 촉각정보로 변환하기 위한 데이터를 그래픽 햅틱전자보드로 제공하는 단계; 및 (c) 상기 컴퓨터 또는 상기 임베디드 시스템으로부터 UART 통신을 통해 상기 그래픽 햅틱전자보드로 상기 일반적인 시각 정보 또는 상기 노이즈가 제거된 윤곽선을 가진 영상 정보를 포함한 시각 정보를 입력받고, 다중 배열로 구성된 다수의 초소형 초음파모터(TULA)의 상하운동으로 핀들의 돌출을 제어하여 상기 일반적인 시각 정보 또는 상기 영상의 윤곽선 정보를 포함한 시각 정보를 촉각정보로 출력하여 시각 장애인에게 제공하는 단계를 포함한다.
본 발명에 따른 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드는 저시력 시각 장애인과 전맹 시각 장애인에게 문자, 숫자, 기호, 그래프, 도형을 포함하는 교육자료, 디지털 사진, 일러스트레이션 등의 시각정보 뿐만아니라 카메라의 3차원 영상 정보의 윤곽선 정보를 포함한 시각정보를 촉각정보로 전달할 수 있다.
시각 장애인에게 전달하기 어려웠던 영상정보 등의 시각정보를 원활하게 전달할 수 있도록 교육계, 연구계 전문가들의 의견을 수렴하였고, 컴퓨터의 제어 프로그램을 사용하여 문자, 숫자, 기호, 그래프, 도형을 포함하는 교육자료, 3차원 영상정보, 스캐너 이미지, 디지탈 카메라 영상 정보을 포함하는 다양한 시각 정보 및 영상 정보를 그래픽 햅틱전자보드가 촉각정보로 변환하여 시각 장애인에게 전달이 가능하게 되었다.
본 발명에 따른 그래픽 햅틱전자보드는 촉각정보 전달장치로써, 문자, 숫자, 기호, 그래프, 도형을 포함하는 교육자료, 디지털 사진, 일러스트레이션 등의 시각정보 뿐만아니라 3차원 영상정보를 포함한 시각정보를 촉각정보로 시각 장애인에게 전달할 수 있도록 컴퓨터 또는 임베디드 시스템의 제어 프로그램에 3차원 영상의 윤곽선을 추출하는 알고리즘을 적용하였다. 시각 장애인에게 문자, 숫자, 기호, 그래픽 또는 영상 정보를 전달하기 위해 컴퓨터 또는 임베디드 시스템은 영상 입력 장치의 좌측 및 우측 카메라로부터 2개의 영상을 입력받아 관측 공간상의 거리 및 관측 물체의 3차원 형태를 감지하고, 컴퓨터의 제어 프로그램에 의해 시각 정보를 포함하는 교육자료, 스캐너 이미지, 디지탈 카메라 사진, 스테레오 영상정보 등의 시각 정보를 촉각 정보로 변환하는 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 영상의 윤곽선을 추출하고, 간략화된 영상의 윤곽선 정보를 그래픽 햅틱전자보드(촉각정보 전달 장치)로 전송한 후, 그래픽 햅틱전자보드가 다중배열로 배치된 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)의 핀을 각각 제어하여 그래픽 햅틱전자보드에 의해 영상의 윤곽선 정보를 포함한 시각 정보 또는 일반적인 시각 정보를 촉각정보로 출력하여 시각 장애인에게 제공하는 효과가 있다.
기존의 점자정보 단말기에 사용되는 점자셀은 모터 구동부가 동일 평면상에 위치해야 하기 때문에 수평 또는 수직으로의 단방향 확장만이 가능하다. 그러나, 본 연구진이 개발한 그래픽 햅틱 전자보드는 전 방향으로 점자셀을 구성하여 일반적 디스플레이 장치와 유사하게 연속적이며 입체적인 촉각정보를 표현하는 것이 가능하다. 또한, 그래픽 햅틱전자보드는 출력정보 수신 후, 최대 0.8초 미만의 빠른 응답속도로 입력된 정보를 거의 실시간으로 출력할 수 있으며, 높이 138.5mm, 폭250mm, 깊이 200mm 크기의 소형으로 기존의 점자정보 단말기와는 다른 차별화된 기능을 가지고 있다.
시각 장애인에게 시각 정보를 촉각정보로 변환하여 전달하는 그래픽 햅틱전자보드는 다양한 영상자료(문자, 숫자, 기호, 그래프, 도형을 포함하는 교육 자료, 카메라로 획득한 영상자료 등)를 개발한 컴퓨터의 소프트웨어에 입력하고, 3차원 영상의 윤곽선 추출 알고리즘이 구현된 소프트웨어에서 시각 정보, 영상자료를 촉각신호(그림, 문자, 수식에 대한 촉도 신호)로 변환한다. 그리고, 촉각신호를 컴퓨터 또는 임베디드 시스템으로부터 네트워크에 연결된 각각의 그래픽 햅틱전자보드들로 전달함으로써 전맹인 시각 장애인은 그래픽 햅틱전자보드를 사용하여 시각 정보 및 영상자료를 촉각으로 인지할 수 있다. 또한, 저시력인 시각 장애인은 저시력인용 확대 소프트웨어를 통해 시각 정보 및 영상정보를 촉각정보로 감지할 수 있다. 또한, 기존 시각 장애인을 위한 보조공학기기 또는 보조기기들은 저시력인과 전맹인에게 같은 정보를 서로 다르게 표현하여 1:1 방식으로 점자 정보를 전달하는 수준에 머물러 있으나, 본 발명의 그래픽 햅틱전자보드 시스템은 1:N 네트워크 방식으로 전맹인과 저시력인들에게 동일한 촉각 정보를 전달할 수 있다.
도 1은 세계 최초로 입력된 시각 정보를 촉각정보로 실시간 자동 변환하여 시각 장애인에게 제공하는 시스템의 구성도이다.
도 2는 시각 장애인을 위한 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드의 사시도이다.
도 3은 그래픽 햅틱전자보드의 투시도 및 크기를 나타낸 도면이다.
도 4는 그래픽 햅틱전자보드의 초소형 초음파 모터의 크기 및 각 부분 명칭을 설명한 도면이다.
도 5는 그래픽 햅틱전자보드의 시스템 구성도이다.
도 6은 마스터 보드와 슬레이브 보드 사진을 나타낸다.
도 7은 그래픽 햅틱전자보드의 초음파 모터 구조도를 나타낸다.
도 8a는 기존 점자 셀 모듈, 도 8b는 초소형 초음파 모터(TULA, Tiny Ultrasonic Linear Actuator)를 다중배열로 구성하여 영상정보를 촉각화하여 전달하는 그래픽 햅틱전자보드의 사진을 나타낸다.
도 9는 모터 제어 명령에 따른 시간 챠트를 나타낸 도면이다.
도 10a는 문자 또는 영상의 시각정보를 그래픽 햅틱전자보드에 의해 촉각정보로 구현하는 로직을 설명한 도면이다.
도 10b는 영상 입력 장치와 연동된 컴퓨터 또는 임베디드 시스템의 제어 프로그램으로부터 UART 통신을 통해 그래픽 햅틱전자보드로 시각 정보가 입력 되었을때 출력화면을 나타낸다.
도 11은 실시간 그래픽 햅틱전자보드 기반 교육 보조공학 시스템의 활용 예를 나타낸 도면이다.
도 12는 본 발명에 따른 시각 장애인에게 영상 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드의 구성도이다.
도 13은 본 발명의 일실시예에 따른 시각 장애인용 그래픽 햅틱전자보드와 연동된 컴퓨터 및 임베디드 시스템의 제어 프로그램의 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 영상의 윤곽선을 추출하여 윤곽선을 가진 영상 정보를 포함한 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법을 설명한 순서도이다.
도 14는 스테레오 카메라로부터 정제되지 않은 좌, 우측 영상(Stereo Raw Image)을 입력받아 Low-pass filtering, Rectification, Edge detection 과정을 거쳐 윤곽선을 가진 전처리 이미지를 생성하는 전처리 과정을 나타낸 사진이다.
도 15는 윈도우 매칭 방법을 나타낸 사진이다.
도 16은 스테레오 정합 결과 영상을 나타낸다.
도 17은 Baseline 12cm, Lens Focal Length 2.5mm, Stereo resolution width 320 pixel로 획득한 변위에 따른 실제거리 테이블을 나타낸다.
도 18은 변위 제한을 통한 시각 장애인에게 중요 거리인 1.0~1.8m내의 변위지도를 나타낸다.
도 19는 기준 변위 영상과 노이즈 영상, 두 영상 간의 차영상과 좌우절단을 통해 획득한 노이즈 제거 영상을 나타낸다.
도 20은 4x4 마스크를 통한 열림 연산 결과, 각 변위별 무게중심과 설정된 관심영역과 이를 통해 추출된 Rectification 영상에서의 관심영역을 나타낸다.
도 21은 소벨 마스크(Sobel mask)를 나타낸다.
도 22는 캐니 마스크(Canny mask)를 통해 추출한 윤곽선과 변위값을 가지지 않는 영역을 제거한 윤곽선 영상을 나타낸다.
도 23은 일실시예로 최적화된 윤곽선 영상과 24x18 해상도로 간략화시킨 노이즈가 제거된 윤곽선 영상을 나타낸다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 세계 최초로 입력된 시각 정보를 촉각정보로 실시간 자동 변환하여 시각 장애인에게 제공하는 시스템 구성도이다.
시각 장애인에게 시각정보를 촉각 정보로 전달하기 위해 영상 입력 장치를 통해 다양한 영상자료(문자, 숫자, 기호, 그래프, 도형 등의 시각 정보를 포함하는 교육용 영상자료, 스캐너 이미지, 카메라로 획득한 영상자료 등)를 컴퓨터 또는 임베디드 시스템으로 입력한 후, 3차원 영상의 윤곽선 추출 알고리즘을 포함하는 제어 프로그램은 입력된 영상자료를 촉각신호(그림, 문자, 수식에 대한 촉도 신호)로 변환하여 촉각신호를 네트워크에 연결된 각각의 그래픽 햅틱전자보드들로 전달한다. 전맹인 시각 장애인은 그래픽 햅틱전자보드를 사용하여 일반적인 시각정보 또는 영상 정보가 포함된 시각정보를 촉각 정보로 인지할 수 있다. 또한, 저시력인 시각 장애인은 저시력인용 확대 소프트웨어를 통해 영상정보와 관련된 윤곽선 정보를 획득할 수 있다.
컴퓨터의 입력장치는 스타일러스 펜, 마우스, 카메라, 웹캠, 스캐너, 이미지의 영상정보를 입력하는 다양한 장치가 사용 가능하다.
영상 자료 등의 시각 정보를 촉각 정보로 변환하는 장치는 컴퓨터 또는 임베디드 시스템에 설치된 제어 프로그램에 의해 3차원 영상의 윤곽선을 추출하고, 일반적인 시각 정보 또는 영상 정보를 포함한 시각 정보를 컴퓨터 또는 임베디드 시스템으로부터 UART(범용 비동기화 송수신기, Universal Asynchronous Receiver/Transmitter) 등의 네트워크를 통해 각각의 그래픽 햅틱전자보드로 전달한다. 이 때, 촉각정보는 전맹인용과 저시력인용에 적합하게 각각 촉각신호와 시각신호로 변환되어 생성된다.
촉각 및 시각 신호 출력 장치는 그래픽 햅틱전자보드(촉각정보 전달 장치), 영상 확대 출력 장치(저시력인용 소프트웨어)로 구성된다.
전맹인용 햅틱전자 보드는 입력된 시각 정보를 촉각 정보로 전맹인에게 전달하고, 다중배열로 구성된 수직운동 초소형 초음파 모터들을 이용하여 입력된 시각 정보를 실시간으로 촉각 정보로 변환하고, 촉감을 통해 시각 장애인에게 촉각 정보를 전달하는 장치이다.
영상 확대 출력 장치(저시력인용 소프트웨어)는 시각으로 저시력인에게 입력된 정보를 전달하고, 전송된 영상정보를 저시력인의 특성에 맞추어 확대, 밝기 및 색상 등을 변경할 수 있다.
그래픽 햅틱전자보드에 적합한 영상으로 변환하는 간략화 기술은 사용자가 입력한 영상을 컴퓨터 또는 임베디드 시스템으로부터 그래픽 햅틱전자보드로 출력하기 위해 햅틱 전자보드의 다중배열된 초음파 모터들의 해상도에 적합한 촉각정보로 변환된다. 먼저, 컴퓨터 또는 임베디드 시스템은 영상 입력 장치로부터 입력된 3차원 영상을 제어 프로그램에 의해 시각 장애인이 인지할 수 있는 촉각 정보인 3차원 영상의 윤곽선 정보로 변환하는 단순화 과정과 간략화 과정을 거친다. 간략화/단순화 과정을 거친 영상을 그래픽 햅틱전자보드는 해상도에 따라 영역을 분할하고, 각 영역별로 30%이상 영역에 채워져 있으면 해당 영역의 셀을 초소형 초음파 모터의 상승데이터로 되며, 30%이하의 영역인 경우 초음파 모터가 하강(정지)하도록 설정하여 3차원 영상의 윤곽선정보를 포함한 시각 정보를 시각 장애인에게 촉각정보로 전달한다.
도 1을 참조하면, 본 발명에 따른 시각 장애인을 위한 영상 등의 시각정보를 촉각 정보로 변환하는 시스템은, 시각 장애인이 문자, 숫자, 기호, 그래프, 도형 또는 영상을 인지하도록, 일반적인 카메라 또는 스테레오 카메라로부터 촬영된 영상 정보를 입력받은 후, 컴퓨터 또는 임베디드 시스템의 제어 프로그램의 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 영상의 윤곽선을 추출하여 촉각 정보로 표현하는 기능, 컴퓨터 또는 임베디드 시스템과 UART 통신을 통해 그래픽 햅틱전자보드에 의해 선형운동이 가능한 초소형 선형 초음파모터(TULA:Tiny Ultrasonic Linear Actuator)를 기반으로 다중배열의 입체적 촉각표현을 가능하게 하는 기능, 전 방향으로 4mm 피치(pitch)의 촉각 셀을 구성하여 일반적 디스플레이 장치와 유사하게 연속적인 촉각정보를 표현하는 기능, 출력정보 수신 후 최대 0.8초 미만의 빠른 응답속도로 입력된 정보를 거의 실시간으로 출력하는 기능을 제공한다.
도 2는 시각 장애인을 위한 시각 정보를 촉각정보로 전달하는 그래픽 햅틱전자보드의 사시도이다.
도 3은 그래픽 햅틱전자보드의 투시도 및 크기를 나타낸 도면이다.
본 발명에 따른 그래픽 햅틱전자보드는 초소형 초음파 모터를 이용하여 장치를 구성하였다. 그래픽 햅틱전자보드에 사용된 초소형 초음파 모터들은 전기 인가에 따라 압전(piezoelectric) 세라믹의 팽창/수축의 단순 진동을 선형으로 변환하여 상하운동을 하는 초소형 모터들이며, 초소형 모터들을 이용하여 디지털카메라 렌즈의 초점조절기와 광학 손떨림보정 모듈과 같이 정밀하고 빠른 반응속도를 요구하는 소형정밀기기에서 사용되고 있다.
도 4는 그래픽 햅틱전자보드의 초소형 초음파 모터의 크기 및 각 부분 명칭을 설명한 도면이다.
초소형 초음파 모터는 전기 인가에 따라 압전 세라믹의 팽창/수축의 단순 진동을 선형으로 변환하여 상하운동을 하는 모터이고, 탄성체(elastic body)(210); 탄성체(elastic body)(210)에 앞뒤로 도포된 원형 타입의 압전세라믹(Ceramic)(220), 압전세라믹(Ceramic)(220)에 에폭시(epoxy)가 도포되고, 그 위에 형성된 이동축(shaft)(200)이 ring 타입 이동자(Mobile)가 적어도 하나 이상의 모터 드라이브(array type 압전 액츄에이터)의 제어에 의해 핀의 상하운동으로 돌출이 가능한 돌출 핀(ROD)(200)으로 구성된다.
그래픽 햅틱전자보드(촉각 정보 전달 장치)는 마스터 보드와 슬레이브 보드의 제어 명령에 기초하여 각각의 초음파 모터의 방향을 결정하며, 각각의 초음파 모터를 제어하는 모터 드라이브에 상하 운동의 방향을 전달한다.
각각의 초음파 모터에 대응하는 복수개의 돌출 핀은 그 하부에 압전 세라믹을 부착하여 각 초음파 모터에 의해 인가되는 전기 신호에 기초하여 초음파 모터의 상하 운동으로 외부로 돌출시키는 프로브 운동을 제공한다.
예를 들면, 초음파 모터의 탄성체(210)는 지름이 5.5 mm 일 수 있으며, 이에 따라 핀의 간격은 7 mm 로 설계될 수 있다.
도 4를 참조하면, 초소형 초음파 모터는 지름이 5.5이고, 초소형 초음파 모터를 지지하는 모터가이드와 모터간의 간섭을 고려해 핀의 간격을 7로 설계하였다. 또한, 본 연구진이 초음파모터 제조사 및 회로 전문가와의 면담을 통해, 그래픽 햅틱전자보드의 핀의 해상도는 초음파 모터간의 전기적 간섭을 고려하여 다층 구조로 설계하였으며, 더욱 정밀한 해상도의 미세 공정 그래픽 햅틱전자보드 설계가 가능하다.
도 5는 그래픽 햅틱 전자보드의 시스템 구성도이다.
그래픽 햅틱전자보드(330)는 사용자의 컴퓨터로부터 UART 통신을 통해 문자, 숫자, 기호, 그래프, 도형 등의 시각 정보가 포함된 교육자료, 디지털 사진, 일러스트레이션 또는 영상정보를 포함하는 시각정보를 입력받아 제어 명령을 제공하는 MCU(Micro Control Unit)를 포함하는 마스터 보드(340); 마스터 보드(340)로부터 제어 명령을 수신받아 다중배열(예:24열 2행의 48개)로 구성된 초음파 모터(360)를 제어하는 적어도 하나 이상의 슬레이브 보드(350); 다중배열로 구성된 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)(360); 전원을 인가받아 DC-DC 전압을 변환하여 마스터 보드(340)와 슬레이브 보드(350)로 제공하는 스텝다운 DC-DC 컨버터(370)로 구성된다. 마스터 보드(340)와 슬레이브 보드(350)는 SPI(Serial Peripheral Interface) Bus로 연결되고, 마스터 보드(340)는 각각의 슬레이브 보드(350)로 처리된 제어정보를 전송한다. 또한, 마스터 보드(MCU)(340)의 GPIO(범용 입출력, General Purpose Input/Output)의 수는 총 432개 모터를 동시다발적으로 제어하기에 현저하게 부족하다. 따라서, 이러한 문제를 해결하기 위해 마스터 보드(MCU)(340)는 효율적으로 많은 초음파 모터들을 제어하기 위해 각각의 슬레이브 보드(350)만을 제어한다. 각 슬레이브 보드(350)는 CPLD(복합 프로그래머블 논리 소자, complex programmable logic device) 모듈 및 다수의 모터 드라이브(array type 압전 액츄에이터)에 의해 다중배열로 구성된 각각의 초음파 모터를 제어한다.
그래픽 햅틱전자보드(330)는 일실시예로 마스터 보드(340)의 제어정보를 분리하는 슬레이브 보드(350)의 CPLD 모듈, 다수의 모터 드라이브(array type 압전 액츄에이터), 각 배열당 초소형 선형 초음파모터를 48개로 구성하였다.
그래픽 햅틱전자보드(330)는 그동안 시각 장애인에게 전달하기 어려웠던 시각 정보를 원할하게 촉각정보로 전달하는게 가능하게 되었다.
영상 입력 장치(예:스테레오 카메라)에 연결된 컴퓨터 또는 임베디드 시스템의 제어 프로그램은 문자, 숫자, 기호, 그래프, 도형을 포함하는 일반적인 시각 정보 또는 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 영상의 윤곽선 정보를 포함한 시각 정보를 그래픽 햅틱전자보드(330)를 통해 촉각 정보로 표현되도록 한다.
시각 장애인에게 전달할 수 있는 영상은 3차원 영상 정보의 윤곽선 정보 뿐만아니라 이미지, 사진, 그래프, 도형을 포함하며, 문자, 숫자, 기호, 그래프, 도형을 포함하는 일반적인 시각 정보를 포함하는 교육자료, 디지털 사진, 일러스트레이션 등의 시각정보를 포함한다.
그래픽 햅틱전자보드(330)는 컴퓨터 또는 임베디드 시스템으로부터 UART 통신을 통해 문자, 숫자, 기호, 그래프, 도형 뿐만 아니라 윤곽선을 가진 영상을 포함하는 시각 정보를 입력받아 저시력 시각 장애인과 전맹 시각 장애인에게 촉각정보로 전달한다.
따라서, 그래픽 햅틱전자보드(330)를 발명함으로써 시각 장애인에게 그동안 전달하기 어려웠던 영상은 컴퓨터 또는 임베디드 시스템의 제어 프로그램에 의해 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 3차원 영상의 윤곽선을 추출하고, 윤곽선 정보가 포함된 시각 정보의 노이즈를 제거하여 간략화하고, 간략화된 노이즈가 제거된 윤곽선 정보가 포함된 시각 정보를 그래픽 햅틱전자보드(330)로 전송한다.
그래픽 햅틱전자보드(330)는 컴퓨터 또는 임베디드 시스템으로부터 간략화된 노이즈가 제거된 윤곽선 정보가 포함된 영상 뿐만 아니라 문자, 숫자, 기호, 그래프, 도형을 포함하는 시각 정보가 포함된 교육자료, 디지털 사진, 일러스트레이션 등의 시각정보를 입력받아 저시력 시각 장애인과 전맹 시각 장애인에게 촉각정보로 전달한다.
도 6은 마스터 보드와 슬레이브 보드 사진을 나타낸다.
마스터 보드(MCU)(340)는 도 6(a)에 도시된 바와 같이, 컴퓨터 또는 임베디드시스템으로부터 시각정보를 입력받고, 촉각정보로 변화기 위한 입력데이터를 마스터 보드(MCU)(340)에 의해 처리하여 모듈화된 각 슬레이브 보드(350)로 제어명령을 송신한다. 또한, 그래픽 햅틱전자보드(330)는 다중배열(24열 2행의 48개)로 구성된 총 432개의 초음파모터(360)가 동시다발적으로 구동될 때, 전원의 과부하가 걸릴 수 있으므로 최적의 전원을 분배하는 효율적인 스텝 다운 DC-DC Converter(370)를 사용하였다.
마스터 보드(340)는 컴퓨터(PC) 또는 임베디드 시스템으로부터 UART 통신을 통해 문자, 숫자, 기호, 도형, 그래픽 또는 윤곽선 정보를 가진 영상을 포함한 시각정보를 수신한다. 그래픽 햅틱전자보드(330)로 수신된 시각정보 입력 데이터는 UART(범용 비동기화 송수신기, Universal Asynchronous Receiver/Transmitter)를 통해 USB의 입력 데이터를 마스터 보드(MCU)(340)가 인식 가능한 직렬통신 데이터로 변환되어 입력된다. 윤곽선 정보를 가진 영상정보를 포함한 시각정보 입력 데이터는 마스터 보드(MCU)(340)에 의해 처리되어 각각의 슬레이브 보드(350)로 각각 해당하는 제어 명령을 전송한다.
마스터 보드(340)는 각각의 슬레이브 보드(350)로 SPI(Serial Peripheral Interface) 통신을 사용하여 각 슬레이브 보드(350) 모듈로 제어명령 데이터를 송신한다.
슬레이브 보드(350)는 도 6(b)에 도시된 바와 같이, 48개의 초음파 모터와 프로그래밍된 CPLD 칩, 초음파 모터 구동을 위한 다수의 모터 드라이브들로 구성된다. 슬레이브 보드(350)는 마스터 보드(340)로부터 제어명령을 SPI(Serial Peripheral Interface) 통신을 통해 수신한다. 슬레이브 보드(350)로 수신된 제어명령은 CPLD(complex programmable logic device)에 의해 모터별 제어 신호를 분류하고, 모터 드라이브에 의해 모터 신호로 변환하여 각각의 초음파 모터들(360)의 상하운동(Probe 운동) 방향을 결정하게 된다. 슬레이브 보드(350)는 초소형 초음파 모터들(360)의 상하 운동 방향 정보를 모터 드라이브(LT3572)에 전달한다. 전달받은 제어신호에 따라 다중 배열로 구성된 초음파 모터들에 전압을 인가하고, 인가된 전압에 따라 다중 배열로 배치된 다수의 초음파 모터들은 상승 및 하강한다.
도 7은 그래픽 햅틱전자보드의 초음파 모터 구조도를 나타낸다.
마스터 보드(340)로부터 제어 명령을 수신받아 각각의 슬레이브 보드(350)의 CPLD 및 모터 드라이브(array type 압전 액츄에이터)의 제어에 의해 다중배열(24열 2행의 48개)로 구성된 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)(360)들의 그래픽 햅틱전자보드의 각 도트(120)의 모터축(370)에 따라 상하운동으로 미세한 촉각을 표현한다.
도 8a는 기존 점자 셀 모듈, 도 8b는 초소형 초음파 모터(TULA, Tiny Ultrasonic Linear Actuator)를 다중배열로 구성하여 영상정보를 촉각화하여 전달하는 그래픽 햅틱전자보드의 사진을 나타낸다.
기존 상용화된 점자 셀 모듈은 도 8a에 나타낸 바와 같이, 4행의 형태를 가지고 있다. 그러나, 점자 셀 모듈 핀의 상하운동 제어부의 위치는 점자 셀의 측면에 존재하여 점자 셀 모듈을 다행(Multi Line)의 다중배열로 구성할 수 없는 구조로 되어 있어 촉각화된 시각정보를 전달하기 어렵다. 그러므로, 시각 장애인에게 촉각화된 시각정보를 전달할 수 있는 구조로 설계하기 위해 제어부(MCU)가 측면이 아닌 점자 핀 하부에 존재하여 다행의 다중배열로 구성해야 한다. 따라서, 그래픽 햅틱전자보드는 다중배열 구조의 초소형 모터들을 구비한 그래픽 햅틱전자보드를 구현하기 위해 핀 제어부가 핀의 하부에 위치하도록 설계하였다.
도 8(b)에 도시된 바와 같이, 그래픽 햅틱전자보드(330)는 24x18개 총 432개의 초소형 초음파 모터(TULA: Tiny Ultrasonic Linear Actuator)를 다중배열로 구성하고, 영상 입력 장치(예:스테레오 카메라)로부터 촬영된 영상정보를 컴퓨터 또는 임베디드 시스템의 제어 프로그램의 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 영상의 윤곽선을 추출하고, 윤곽선이 포함된 영상을 포함한 시각 정보를 촉각화하여 시각 장애인이 촉각정보를 감지하도록 구현하였다. 또한, 그래픽 햅틱전자보드(330)는 컴퓨터 또는 임베디드 시스템으로부터 입력된 시각 정보를 0.8초 내에 실시간으로 프로토타입으로 제작하였다.
초음파 모터들의 구동 및 방향의 결정은 입력 데이터 조합에 의해 결정된다. 그래픽 햅틱전자보드의 입력데이터에 대한 신호는 <표 1>과 같이 제어 명령으로 처리되어 변환된다. 이에 따른 시간 차트는 도 9의 모터 제어 명령에 따른 시간 챠트에 나타냈다.
On-Off 방향 모터 제어명령
Off Low stop
Off High stop
On Low down
On High up
이하, 그래픽 햅틱전자보드의 제어 프로그램에 구현된 제어명령 전송을 위한 프로토콜 정의를 설명한다.
그래픽 햅틱전자보드(330)의 입력데이터는 <표 2>와 같은 데이터 구조로 초음파 모터에 대한 제어 명령과 해당 명령에 대한 초음파모터 제어 데이터를 구성하여 전송한다.
모터제어 명령 테이블
시점코드 명령코드 제어 데이타 종점 코드
'>' ASCII로된 명령코드 ASCII로 된 108Byte 문자열 코드 '\r'
제어 명령 모드는 초음파 모터에 대한 모든 모터 상승/하강, 선택적 상승, 방향 제어 명령으로 4가지로 구성되며, ASCII코드로 되어 있으며, 제어명령에 정의는 <표 3>에 제시하였다.
정의한 모터제어 명령 테이블
방향 제어 명령 선택적 상승 명령 모든 모터 상승 모든 모터 하강
10 11 12 13
총 108 bytes의 제어 데이터는 방향제어 명령과 선택적 상승 명령일 때에만 생성하며, 4개의 모터당 문자형으로 변환된 16진수로 표현한다. 4개의 초음파 모터에 대한 형식의 예는 <표 4>에 나타냈다. 방향 제어 명령의 경우, 상승할 모터는 1, 하강할 모터는 0으로 설정한다. 선택적 상승 명령의 경우, 상승시킬 모터는 1, 그 외에는 0으로 설정한다. 각 모터의 제어 데이터는 2진수의 형식을 16진수로 변환하고, 변환된 16진수를 ASCII코드로 변환하여 각각의 ASCII코드를 병합하여 생성한다.
4개 초음파 모터에 대한 제어코드의 예
모터번호 1 2 3 4
제어 데이타 D
각 모터에 대한
제어 데이타		 1 1 0 1
일예로, 제어명령과 제어 데이터를 생성하여 전송할 입력데이터의 전체 구조는 <표 5>에 나타냈다.
방향 제어 명령 코드의 예
시점코드 명령코드 제어 데이타 종점코드
> 10 AAFFDD0033--중략--FFAA '\r'
방향 제어 명령 코드의 경우, 컴퓨터 또는 임베디드 시스템으로부터 UART 통신을 통해 그래픽 햅틱전자보드(330)로 입력되는 데이타는 시점 코드, 명령코드 필드, 명령코드 필드 값 및 제어하려는 돌출핀의 정보에 기초하여 결정되는 ASCII로 된 문자열 바이트인 제어 데이타, 및 종점 코드를 포함한다.
도 10a는 문자 또는 영상의 시각정보를 그래픽 햅틱전자보드에 의해 촉각정보로 구현되는 로직을 설명한 도면이다.
컴퓨터 또는 임베디드 시스템으로부터 UART 통신을 통해 그래픽 햅틱전자보드(330)는 일반적인 시각 정보 또는 윤곽선을 가진 영상 정보 데이터를 입력받는다.
마스터 보드(MCU)(340)는 입력 데이터를 처리하여 각각의 슬레이브 보드(350)로 SPI(Serial Peripheral Interface) 통신을 사용하여 각 슬레이브 보드(350) 모듈로 제어명령 데이터를 송신한다.
슬레이브 보드(350)는 다중배열로 구성된 다수의 초음파 모터들과 프로그래밍된 CPLD 칩, 다수의 초음파 모터 구동을 위한 다수의 모터 드라이브들로 구성되며, 마스터 보드(340)로부터 제어명령을 SPI(Serial Peripheral Interface) 통신을 통해 수신한다. 슬레이브 보드(350)로 수신된 제어명령은 CPLD(complex programmable logic device)에 의해 모터별 제어 신호를 분류하고, 모터 드라이브에 의해 모터 신호로 변환하여 각각의 초음파 모터들(360)의 상하운동(Probe 운동) 방향을 결정하는 모터 신호로 변환한다. 슬레이브 보드(350)는 초소형 초음파 모터들(360)의 상하 운동 방향 정보를 모터 드라이브(LT3572)에 전달한다. 전달받은 제어신호에 따라 다중 배열로 구성된 초음파 모터들에 전압을 인가하고, 인가된 전압에 따라 다중 배열로 배치된 다수의 초음파 모터들은 상하 운동으로 상승 및 하강시켜 프로운동을 전달하여 시각 장애인에게 시각 정보를 촉각 정보로 전달한다.
시각 장애인에게 특수교육 효과를 제공하도록 교육 보조공학 시스템으로 개발된 그래픽 햅틱전자보드(330)는 일반 교육 환경에서 칠판과 같은 교육도구를 이용하는 것과 유사하게 교사가 작성하는 실시간 교육자료(영상과 문자가 혼합된 교육정보)를 전맹 및 저시력 시각 장애인에게 문자, 숫자, 기호, 그래프, 도형 또는 윤곽선을 가진 영상 등의 시각정보를 촉각정보로 변환하여 실시간으로 전달한다.
도 10b는 영상 입력 장치와 연동된 컴퓨터 또는 임베디드 시스템의 제어 프로그램으로부터 UART 통신을 통해 그래픽 햅틱전자보드로 시각 정보가 입력되었을때 출력화면을 나타낸다.
컴퓨터 또는 임베디드 시스템의 제어 프로그램(이하, 제어프로그램)은 MS Windows 운영체제에서 실행되며, 제어 프로그램을 C++로 작성하여 MS Visual C++ 6.0으로 컴파일하여 구현하였다.
컴퓨터 또는 임베디드 시스템의 제어 프로그램은 그래픽 햅틱전자보드(330)의 다중배열로 구성된 각각의 초음파 모터의 핀을 개별 및 전체적으로 제어할 수 있도록 구현하였으며, 그래픽 햅틱전자보드(330)의 제어를 위해 장치 연결 설정 및 연결, 데이터 전송, 모든 초음파 모터의 상승/하강, 현 촉각정보 지우기, 전송할 촉각정보 미리보기를 지원한다. 촉각정보로 변환할 영상은 제어 프로그램 화면의 좌상단에 위치한 그리기 영역에서 상승시킬 모터를 선택할 수 있다. 제어 프로그램은 그래픽 햅틱전자보드(330)에서 다중배열의 해상도를 가지므로 변위(disparity) 값을 가지지 않는 영역을 제외한 윤곽선 영상을 그래픽 햅틱전자보드(330)로 표현하기 위해 다중배열로 구성된 초음파 모터들로 표현할 최적화된 윤곽선 영상으로 간략화하고, 촉각정보의 크기로 간략화된 윤곽선 영상 정보를 분할하며, 다중 배열의 초음파모터의 구역으로 세분화하고, 세분화된 각 영역에서 윤곽선 픽셀의 비율을 계산하여 각 영역의 일정 요율(30%) 이상 채워있으면, 윤곽선 영상의 해당 셀을 표시하는 윤곽선을 가진 영상 정보를 그래픽 햅틱전자보드(330)로 제공한다.
그래픽 햅틱전자보드(330)는 영상자료 입력을 432개의 셀로 구성된 그리기 영역에서 상승시킬 핀을 선택하여 선택된 핀을 상승시킬 수 있도록 구현하였다. 432개의 초음파 모터들의 핀을 편리하게 선택하기 위해, 사용자가 그래픽 햅틱전자보드(330)의 해당 핀의 영역에 마우스의 좌측 버튼으로 클릭하거나, 좌측버튼 클릭 중 이동하여 지나간 다수의 영역을 선택하여 촉각정보의 생성을 용이하도록 하였다. 선택 취소는 우측버튼을 이용하여 선택을 취소할 수 있고, 우측버튼 클릭 중 이동하여 지나간 영역을 선택 취소되도록 구현했다.
또한, 시각 장애인의 촉각인지 특성과 그래픽 햅틱전자보드(촉각 정보 전달 장치)의 핀의 해상도를 고려하여, 제어 프로그램은 영상자료의 4분할 기능을 구현했다. 4분할 기능은 제한된 장치 해상도 극복과 영상정보의 단순화를 위해 입력할 영상을 4개 영역으로 나누어 입력하여 보다 섬세한 촉각정보를 전달하도록 하였다.
컴퓨터 또는 임베디드 시스템의 제어 프로그램은 시각 장애인에게 다양한 시각 정보를 제공한다. 이 시스템은 중도 실명한 시각 장애인을 위한 묵자/점자 교육용으로 사용할 수 있으며, 문자, 숫자, 기호, 도형, 그래프 또는 영상 등의 다양한 교육 시각자료를 촉각화하여 시각 장애인에게 시각 정보를 촉각정보로 제공하게 되었다.
컴퓨터 또는 임베디드 시스템으로부터 UART 통신을 통해 그래픽 햅틱전자보드(330)로 입력된 제어 데이터는 그래픽 햅틱전자보드(330)에서 정의한 프로토콜 형식에 맞춰 생성한다. 마스터 보드(MCU)에 의해 생성된 제어정보는 이전에 상승되었던 초소형 모터들의 핀을 내리기 위해 핀 전체 하강 제어명령을 먼저 전송한다.
이 시스템은 전체 하강 과정을 통해 시각 정보가 바뀌고 있다는 것을 인지하기 어려운 시각 장애인에게 촉각 정보로 전환됨을 알려주도록 구현하였다. 컴퓨터 또는 임베디드 시스템의 제어 프로그램은 미리 정의한 프로토콜에 생성된 제어 입력 데이터를 그래픽 햅틱전자보드(330)로 전송하여 시각 장애인에게 시각정보를 촉각정보로 전달 가능하다.
영상 입력 장치(예:스테레오 카메라)와 연동된 컴퓨터 또는 임베디드 시스템의 제어 프로그램(400)은 스테레오 카메라의 좌측 및 우측 카메라로부터 입력된 2개의 영상을 3차원 윤곽선 추출 알고리즘을 사용하여 영상의 윤곽선을 추출하고, 윤곽선을 가진 영상 정보를 포함하는 시각정보를 그래픽 햅틱전자보드(330)로 제공하여 각각의 초음파모터들의 돌출 핀을 개별 및 전체적으로 제어하도록 구현되었다.
컴퓨터 또는 임베디드 시스템의 제어 프로그램(400)은 그래픽 햅틱전자보드(330)의 연결 설정 및 연결, 데이터 전송, 모든 모터 상승/하강, 현 촉각정보 지우기, 전송할 촉각정보 미리보기를 지원한다. 촉각정보로 변환할 영상은 화면의 좌상단에 위치한 그리기 영역에서 상승시킬 초음파 모터를 선택할 수 있다.
제어 프로그램(400)을 통해 설정된 시각 정보는 촉각 정보로 변환되어 그래픽 햅틱전자보드(330)의 다중배열로 구성된 각각의 초음파 모터들(360)를 구동하여, 시각 정보에 대응되는 지점에서 초음파 모터들의 상승과 하강에 의해 핀을 돌출되도록 한다.
컴퓨터 또는 임베디드 시스템의 제어 프로그램(400)은 다양한 시각자료를 제공한다. 중도 실명한 시각 장애인을 위한 묵자/점자교육용으로 사용할 수 있으며, 그래프, 도형 등의 다양한 교육 시각자료를 촉각화하여 촉각 정보를 시각 장애인에게 제공한다.
도 11은 실시간 그래픽 햅틱전자보드 기반 교육 보조공학 시스템의 활용 예를 나타낸 도면이다.
도 11(a)에 도시된 바와 같이, 그래픽 햅틱전자보드(330)는 영상과 문자가 혼합된 교육 정보인 경우, 시각 장애인이 인지하도록 다양한 영상정보를 포함한 시각정보를 촉각정보로 변환하여 제공하며, 그래픽 햅틱전자보드의 멀티라인(multi-line) 특성을 이용하여 수학 및 과학 교육에 필수적인 세로방식 필산을 가능하게 되었다.
도 11(b)에 도시된 바와 같이, 그래픽 햅틱전자보드(330)는 문자 위주의 교육정보인 경우, 시각 장애인이 인지하도록 점자정보 인지를 비효율적으로 만드는 스크롤과 같은 동작이 최소화될 수 있도록 장문의 문자를 자동 점역하여 일괄적으로 제공한다.
도 12는 본 발명에 따른 시각 장애인에게 영상 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드의 구성도이다.
시각 장애인을 위해 영상 정보를 포함한 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 장치는 사용자의 스테레오 입체 영상 정보, 스캐너 이미지, 카메라 영상, 삽화, 그래프, 도형 등의 영상 자료를 입력받아 다양한 영상정보를 입력받거나, 스테레오 카메라를 사용하는 경우 인간의 두 눈과 비슷한 한 쌍의 카메라로부터 입력된 좌측, 우측 영상을 내부 인코더에 의해 인코딩하고, 관측 공간상의 거리 및 관측 물체의 3차원 형태를 감지하고 다양한 영상 정보를 입력받는 영상 입력부(예:스테레오 카메라)(130); 문자, 숫자, 기호, 그래프, 도형 등의 일반적인 시각 정보를 입력받거나, 상기 영상 입력부(예:스테레오 카메라)(130)로부터 좌측 및 우측 카메라로부터 2개의 영상을 입력받아 입력된 영상 정보를 스테레오 카메라의 영상 정합을 위한 전처리, 스테레오 카메라 영상 정합(Low-pass filtering, Rectification, Edge detection, Stereo Processing), 영상의 관심영역(ROI:Region of Interest)을 추출하고, 스테레오 정합 영상의 관심영역의 영상의 윤곽선을 추출하여 노이즈를 제거하며, 노이즈가 제거된 윤곽선을 가진 영상 정보를 포함하는 촉각정보로 변환하기 위한 데이타를 그래픽 햅틱전자보드로 전송하는 3차원 영상의 윤곽선 추출 알고리즘을 실행하는 제어 프로그램이 설치된 컴퓨터 또는 임베디드 시스템(170); 및 기 설정된 제어 명령 전송 프로토콜에 따라 컴퓨터 또는 임베디드 시스템(170)으로부터 UART 통신을 통해 일반적인 시각 정보 또는 영상의 최적화된 윤곽선 정보를 포함한 시각 정보를 수신받고 제어 명령에 의해 각각 다중배열로 배치된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)들의 핀을 돌출시킴으로써 문자, 숫자, 기호, 그래프, 도형 등의 교육 자료, 디지털 사진, 일러스트레이션 등의 일반적인 시각정보 또는 영상의 윤곽선 정보를 포함한 시각 정보를 시각 장애인에게 촉각 정보로 제공하는 그래픽 햅틱전자보드(330)로 구성된다.
영상 입력부는 스테레오 카메라, 스캐너, 카메라, 이미지/그래픽/삽화 입력 장치 중 어느 하나 장치를 사용한다.
(1) 시각 장애인의 공간인지 방식을 고려한 스테레오 입력 장치의 개발
시각 장애인의 공간인지 특성은 시각 장애인 요구사항을 고려하여 중요한 의미를 가지는 물체 및 시각 장애인의 보행에 방해가 되는 물체를 인지하기 위해 영상에서의 물체의 깊이 정보가 중요한 판단 기준이 된다.
컴퓨터 또는 임베디드 시스템(170)에 연결된 영상 입력부(130) 장치는 일실시예로 영상에서 물체간의 깊이정보를 획득하기 위해 인간의 시각시스템과 유사한 스테레오 영상 입력장치를 사용하였다. 스테레오 영상 입력 장치는 Point Grey Research사의 Bumblebee2 스테레오 카메라를 사용하였다. 스테레오 카메라는 IEEE1394 형태로 PC와 데이터를 전송하며, 내부에 두 개의 1/3인치 CCD(Charge-Coupled Device) 카메라를 가지고 최대 640x480 이미지를 출력하고, 마이크로 렌즈가 사용되므로 AF(Auto Focus)를 통해 특별한 초점을 조절할 필요가 없다. 이 시스템은 스테레오 영상 입력 및 스테레오 카메라 영상 정합, 정합된 3차원 영상의 윤곽선 추출 알고리즘을 수행하기 위해 Win32 API를 사용하여 상기 과정을 처리할 수 있는 제어 프로그램을 제작하여 스테레오 영상 입력장치(스테레오 카메라)와 함께 사용하였다.
(2) 영상의 정합 및 변위 제한을 통한 거리제한 및 노이즈 제거 알고리즘 개발
사람은 두 눈과 뇌에서 시각피질을 이용하여 입체 공간을 인식할 수 있듯이 이와 유사하게 한 쌍의 영상 입력부(스테레오 카메라)(130)로부터 들어오는 영상을 이용하여 관측 공간상의 거리 및 관측 물체의 3차원 형태를 감지할 수 있다. 그 원리는 한 쪽 카메라의 영상상의 임의의 패턴을 3차원 공간상의 같은 지점으로 매핑되는 다른 카메라 영상 상에서 찾아내는 방법을 사용한다. 이러한 패턴 대응관계와 삼각기법을 사용하면, 역으로 스테레오 카메라는 3차원 공간상의 위치를 알아낼 수 있다. 2 대의 카메라를 이용한 스테레오 매칭 기법의 원리는 도 13에 도시하였다.
도 13은 본 발명의 일실시예에 따른 시각 장애인용 그래픽 햅틱전자보드와 연동된 컴퓨터 및 임베디드 시스템의 제어 프로그램의 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 영상의 윤곽선을 추출하여 윤곽선을 가진 영상 정보를 포함한 시각 정보를 촉각 정보로 변환하는 촉각정보 전달 방법을 설명한 순서도이다.
시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법은, (a) 영상 입력부를 통해 스테레오 입체 영상 정보, 스캐너 이미지, 카메라 영상, 삽화, 그래프 등의 영상 자료를 입력받는 단계; (b) 컴퓨터 및 임베디드 시스템의 제어 프로그램에 의해 문자, 숫자, 기호, 그래프, 도형 등의 일반적인 시각 정보 또는 3차원 윤곽선 추출 알고리즘을 사용하여 노이즈가 제거된 윤곽선을 가진 영상 정보를 포함하는 시각정보를 촉각정보로 변환하기 위한 데이터를 그래픽 햅틱전자보드로 제공하는 단계; 및 (c) 컴퓨터 또는 상기 임베디드 시스템으로부터 UART 통신을 통해 상기 그래픽 햅틱전자보드로 상기 일반적인 시각 정보 또는 상기 노이즈가 제거된 윤곽선을 가진 영상 정보를 포함한 시각 정보를 입력받고, 다중 배열로 구성된 다수의 초소형 초음파모터(TULA)의 상하운동으로 핀들의 돌출을 제어하여 상기 일반적인 시각 정보 또는 상기 영상의 윤곽선 정보를 포함한 시각 정보를 촉각정보로 출력하여 시각 장애인에게 제공하는 단계로 구성된다.
특히, 스테레오 카메라를 사용하여 영상입력부에 스테레오 입체 영상 정보가 입력된 경우, 컴퓨터 또는 임베디드 시스템의 제어 프로그램(170)의 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 시각 장애인을 위해 영상 정보를 포함한 시각 정보를 촉각 정보로 변환하는 촉각정보 전달 방법은 시각 장애인의 공간인지를 위해 스테레오 카메라(스테레오 영상 입력 장치)의 좌측, 우측 카메라로부터 2개의 스테레오 원래 영상(Stereo Raw Images)을 입력받는 스테레오 카메라 전처리 과정을 실행하는 단계(S10); 컴퓨터 또는 임베디드 시스템의 제어 프로그램에 포함된 3차원 영상의 윤곽선 추출 알고리즘을 사용하여 스테레오 카메라 영상 정합(Low-pass filtering, Rectification, Edge detection, Stereo Processing) 및 스테레오 카메라 영상의 노이즈 제거 단계(S11); 3차원 영상의 윤곽선 추출 알고리즘(스테레오 카메라 영상 정합, 노이즈 제거 및 윤곽선 추출)을 사용하여 스테레오 카메라 영상 정합을 통한 입체 영상의 관심영역(ROI:Region of Interest)을 추출하는 단계(S12); 관심영역(ROI)이 추출된 영상의 윤곽선 정보를 추출하고, 간략화된 노이즈가 제거된 윤곽선을 가진 영상 정보를 그래픽 햅틱전자보드(330)로 전송하는 단계(S13); 및 컴퓨터 또는 임베디드 시스템으로부터 UART 통신을 통해 그래픽 햅틱전자보드(330)로 일반적인 시각 정보 또는 상기 간략화된 노이즈가 제거된 윤곽선을 가진 영상 정보를 포함한 시각 정보를 입력하고, 다중 배열로 구성된 다수의 초소형 초음파모터(TULA)들의 상하운동으로 핀들의 돌출을 제어하여 일반적인 시각 정보 또는 3차원 영상의 윤곽선 정보를 포함한 시각 정보를 촉각정보로 출력하여 시각 장애인에게 제공하는 단계(S14)로 구성된다.
(3) 스테레오 영상 정합
도 13을 참조하면, 깊이 영상을 추출하기 위한 스테레오 영상 정합은 영상 입력을 포함한 스테레오 영상 정합을 위한 카메라 전처리 과정(S10)과 스테레오 영상 정합(S11)의 2 단계로 이루어진다. 전처리 과정은 스테레오 카메라로부터 정제되지 않은 좌, 우측 영상(Stereo Raw Images)을 입력받는다. 이후 다음 과정은 Low-pass filtering, Rectification, Edge detection 과정을 거쳐 윤곽선을 가진 전처리 이미지를 생성하게 된다.
도 14는 스테레오 카메라로부터 윤곽선을 가진 전처리 이미지를 생성하는 전처리 과정을 나타낸 도면이다.
Low-pass filtering은 영상의 노이즈를 제거하고, 이미지를 부드럽게 만들어주는 역할을 수행한다. Rectification 단계는 노이즈를 상당량 줄여주나 처리속도를 향상시키기 위해 생략할 수도 있다.
Rectification은 스테레오 카메라를 통해 입력받은 좌,우 영상의 광각렌즈 사용으로 인한 왜곡 교정을 수행한다. 즉, Rectification은 사전에 카메라 캘리브레이션을 통해 획득되어있는 외부변수(camera extrinsic parameter)를 통해 왜곡되어있는 영상을 변형하여 두 영상의 Y축을 맞추어주는 일을 수행한다. Rectification을 통해 스테레오 정합시의 연산량을 상당히 줄일 수 있다.
예를 들면, 왼쪽 영상의 한 점에 대한 오른쪽 영상의 매칭 점을 찾기 위해 Rectification하지 않았을 경우, 오른쪽 영상의 전체 또는 많은 영역을 검색하여야 하는 반면, 스테레오 영상 처리는 Rectification을 수행한 후에 동일 Y좌표를 가지는 가로선 하나만을 검색하여 연산량을 줄이게 된다.
Edge Detection은 주변 밝기가 변할 때, 영상의 절대 픽셀 값보다 윤곽선에 맞추어 스테레오 매칭을 수행하게 해준다. 사용한 스테레오 카메라는 자동 밝기 조절 기능을 가지고 있고 주변광의 변화에 따라 영상의 밝기가 변하게 되므로, 절대 픽셀 값에 맞추어 스테레오 정합을 수행하다보면 오차가 심해지게 된다.
스테레오 영상 정합(Stereo Processing)은 스테레오 비전의 기본 원리를 이용하여 두 영상 사이의 일치점을 찾는 과정이다. 스테레오 영상 정합 방법 중 상관도 기반 스테레오 정합은 영상으로부터 특별한 특징 추출 과정 없이 두 영상에서 각 화소들 사이의 상관도를 계산하여 대응점을 찾는 방법이다.
도 15를 참조하면, 윈도우 매칭 방법은 영상에서 정합하려는 대상점 주변에 윈도우를 설정하고, 이 윈도우 크기와 같은 사이즈의 윈도우를 다른 영상에 적용하여 수평 라인선상으로 검색하는 것이다. 이 방식은 유사도를 나타내는 기준에 의해 검색 구간 내에서 최적인 점을 찾아 선택하게 된다.
도 15는 윈도우 매칭 방법을 나타낸 사진이다.
2 윈도우의 유사도를 측정하는 방법은 SAD(Sum of Absolute Difference) 방법을 사용하였으며, 그 함수는 다음과 같다.
Figure 112010081995591-pat00001
<수학식 1>에서 Ir와 Ii은 각각 오른쪽 영상과 왼쪽 영상에서의 화소의 밝기 값을 의미하고, W는 대상점 (i,j) 주변의 윈도우를 나타낸다. 만약, 윈도우 반경이 v라면, 윈도우의 한 변의 길이는 2v+1dl 된다. 이렇게 상관도 기법을 이용하여 2 영상으로부터 변위(disparity) 영역간의 값을 구할 수 있으며, 변위 값의 데이터를 영상으로 표현한 것이 변위 지도이다.
도 16은 스테레오 정합 결과 영상을 나타낸다.
변위 지도는 밝은 부분이 높은 값을 가지며, 가까운 곳에 위치하면 그만큼 변위(disparity)가 크므로, 그 크기가 크면 클수록 카메라 전방 가까이에 있는 물체로 여길 수 있다.
(4) 스테레오 카메라 파라미터와 변위 제한
스테레오 카메라 파라미터(Camera Parameter) 값과 변위제한을 통한 관심거리 설정은 상기 설명한 바와 같이, 2 대의 스테레오 카메라 렌즈간의 거리(Baseline)와 렌즈 초점거리(Focal Length)에 따라 피사체간의 거리차와 정확도에 영향을 주게 된다. 렌즈간의 거리는 카메라의 기본 설정 값으로 고정된 상수로 제공되게 되고, 렌즈의 초점거리는 사용용도에 따라 선택하게 된다. 본 발명에서 사용한 Bumblebee2 스테레오 카메라는 고정된 12cm의 Baseline을 제공한다. 또한, 본 시스템은 시각 장애인의 시야를 대체하는 기능으로 스테레오 카메라를 사용하였으며, 2.5mm 렌즈를 사용함으로써 카메라의 FOV(Field of View)를 약 100°로 확보하여 최대한 광각의 시야를 획득하도록 하였다. 그리고, 영상처리를 통해 얻어낸 결과를 제한된 해상도의 그래픽 햅틱전자보드(330)로 표현하기 때문에, 필요이상의 고해상도 영상은 연산속도 저하 및 전, 후처리의 어려움을 크게 한다. 예를 들면, 스테레오 영상의 해상도는 320x240 으로 제한하여 사용하였다.
스테레오 카메라 렌즈간 거리, 카메라 초점거리 및 스테레오 영상 해상도를 통해 변위(disparity)에 따른 실제거리와 오차는 도 17에서 볼 수 있다.
도 17은 Baseline 12cm, Lens Focal Length 2.5mm, Stereo resolution width 320 pixel로 획득한 변위에 따른 실제거리 테이블을 나타낸다.
시각 장애인의 공간인지 특성 연구 및 연구결과를 토대로 시각 장애인의 시각을 대체하여 시각 장애인의 보행 및 활동에 중요한 의미를 가지는 문체를 판단하기 위해 스테레오 카메라로 촬영한 영상에서 물체의 깊이정보가 중요한 판단 기준이 된다. 실제 시각 장애인은 보행에 위협이 되는 물체를 흰 지팡이를 통해 인지하게 된다. 연구팀은 흰 지팡이의 도달거리와 시각 장애인의 인터뷰를 통해 전방1.0 ~ 1.8m 거리의 물체가 시각 장애인 보행에 가장 중요한 거리로 확인하였다. 컴퓨터 또는 임베디드 시스템(170)의 제어 프로그램은 스테레오 영상 정합을 통해 변위지도(Disparity Map)를 추출할 때, 변위 값의 제한을 두어 1.0 ~ 1.8m 거리의 물체만을 추출하였다.
도 18은 변위 제한을 통한 시각 장애인에게 중요 거리인 1.0~1.8m내의 변위지도를 나타낸다. 도 18(a)는 변위(disparity)를 제한하지 않은 영상, 도 18(b)는 1.0~1.8m의 변위 제한 영상을 나타낸다.
(5) 변위 지도의 노이즈 제거
변위(disparity) 제한을 통해 추출한 변위지도(Disparity Map)는 물체 표면의 재질이나 밝은 빛 등에 의해 원하는 거리 이외의 노이즈(noise) 성분이 다수 존재하게 된다.
도 18 (b)에서, 형광등 주변 모습 이외에도 천장 및 좌측 중심부는 관심거리로 설정되지 않은 곳이지만 변위가 발생하게 되어 스테레오 영상에 노이즈(noise)로 존재한다. 물체 표면 재질이 미세한 격자무늬이거나, 스테레오 카메라의 자동 밝기조절 기능에 의해 발생하는 노이즈는 연속적으로 스테레오 영상을 정합하였을 때 일정하지 않은 값을 가지며 계속 변화하는 특징을 가지고 있다. 스테레오 영상 정합 알고리즘은 이러한 특징을 이용하여 연속적인 5장의 변위지도(Disparity Map)를 획득하여 시간적 변화에 따른 픽셀의 절대 변화를 이용하여 노이즈 영상을 생성하고, 노이즈영상과 기준이 되는 변위지도와의 차영상을 통해 노이즈를 제거한다.
도 19는 기준 변위 영상과 노이즈 영상, 두 영상 간의 차영상과 좌우절단을 통해 획득한 노이즈 제거 영상을 나타낸다.
(6) 관심 영역(ROI) 추출 및 장치 표현을 위한 윤곽선 추출, 정보손실 최소화, 간략화 알고리즘 개발
6.1 관심영역 추출
사용한 스테레오 카메라는 100°의 FOV(Field of View)를 가지고 있지만, 시각 장애인의 활동범위를 상당히 초과하는 범위의 영상을 획득하게 된다. 실제 시각 장애인이 보행에 중요한 영향을 끼치는 범위는 흰 지팡이의 도달거리와 보행속도 등을 고려하여 반경 1.8m이내임을 실제 시각 장애인과의 조사를 통해 확인하였다. 이외의 영역의 영상은 시각 장애인의 보행에 중요한 영향을 끼치는 물체 등을 표현하는데 방해가 되므로 획득한 변위영상의 좌우 50픽셀을 제거하여 관심영역추출을 위한 영역을 축소하였다.
다중배열의 행열의 제한된 해상도를 가지는 그래픽 햅틱전자보드(330)로 시각 장애인에게 중요한 의미를 가지는 객체의 윤곽선을 표현하기에 전체 영상영역은 너무 많은 불필요한 정보(noise)를 가지고 있으며, 불필요한 정보(noise)의 제거와 효율적인 윤곽선 정보를 전달하기 위해 관심영역(ROI)을 추출하는 작업이 선행돼야 한다. 관심영역(ROI)의 추출은 기준 변위영상과 노이즈 영상간의 차영상과 좌우절단을 통해 획득한 노이즈를 제거한 영상에서 4x4 마스크를 통한 열림 연산을 실시한다.
영상 변환 알고리즘은 4x4 크기의 마스크를 이용한 열림 연산을 통해 기준 마스크보다 작은 크기를 가지는 점으로 이루어진 영상의 노이즈를 제거하고, 작은 영역에서 급격하게 변화하는 변위영역을 제거한다.
영상 변환 알고리즘은 4x4크기의 마스크를 이용한 열림 연산을 통해 단순화된 변위 지도에서 동일한 변위를 가지는 픽셀들 간의 무게중심을 구하게 된다.
Figure 112010081995591-pat00002
<수학식 2> 는 동일한 변위(disparity)의 무게중심을 구하는 것이다. C는 동일한 변위로 구성된 영상이며, (i,j)는 픽셀의 위치, Xc, Yc는 동일한 변위간의 무게중심의 위치가 된다. 영상에서 동일 변위로 보이는 영상도 적은 변위의 차이를 가지고 있기 때문에, 무게중심의 수는 상당히 많은 수가 추출되게 된다. 그림 x에는 추출한 무게중심을 파란색 *로 표시하였다.
추출된 무게중심들의 좌표를 통해 관심영역(ROI)이 추출된다. 각 변위별로 표시된 무게중심의 좌,우,상,하 최외각을 기준으로 사각형 모양으로 관심영역으로 설정하게 되고, 설정된 관심영역은 관심영역이 추출된 영상의 윤곽선 추출 및 윤곽선 단순화작업을 위해 Rectification 영상에서 관심영역을 추출한다.
도 20은 4x4 마스크를 통한 열림 연산 결과, 각 변위별 무게중심과 설정된 관심영역과 이를 통해 추출된 Rectification 영상에서의 관심영역을 나타낸다.
(7) 장치 표현을 위한 윤곽선 정보손실 최소화 및 간략화
상기 과정을 통해 추출된 관심영역을 다중배열(예:24행 18열)의 제한된 해상도를 가지는 그래픽 햅틱전자보드(330)로 표현하기 위해 컴퓨터 또는 임베디드 시스템(170)의 제어 프로그램은 가우시안 필터링을 통해 잡음을 제거한 후, 윤곽선 추출 및 추출된 윤곽선을 축소하였을시 손실되는 정보를 최소화하기 위해 간략화 알고리즘을 적용하게 된다.
윤곽선은 영상 안에서 영역의 경계를 나타내는 특징으로 픽셀 밝기의 불연속점을 나타낸다. 윤곽선 검출 연산은 밝기 변화에 의한 윤곽선의 기울기 변화량으로서 1차 미분 또는 2차 미분한 결과로 볼 수 있다. 이러한 윤곽선 검출은 미분 연산자의 역할을 하는 마스크를 사용하여 빠른 계산을 하는 것이 효과적이다. 1차 미분 연산자로 사용한 마스크는 캐니(Canny) 마스크로써 일반적으로 가우시안 필터링을 통해 잡음을 제거한 후, 윤곽선 검출 및 노이즈를 제거하여 캐니 마스크에 의해 추출한 윤곽선과 변위값을 가지지 않는 영역을 제거된다. 이러한 2 번의 과정 중 첫 번째 과정에서 잡음 제거 효과가 생기고, 그 결과 윤곽선 검출 결과 영상은 잡음에 둔감한 특징을 가지게 된다.
도 21의 소벨 마스크(Sobel mask)는 2차 미분 연산자이며 x축, y축으로 각각 한 번씩 미분하게 되어있다. 기울기의 크기는
Figure 112010081995591-pat00003
이며, Gx는 X축 편미분, Gy는 Y축 편미분을 타나낸다.
캐니(Canny) 마스크를 통해 추출한 윤곽선 영상은 시각 장애인에게 중요하게 의미를 가지는 영역 이외의 윤곽선을 추출하게 된다. 이러한 윤곽선의 제거를 위해 변위 지도에도 관심영역을 추출하고, 도 23의 (b)에 도시된 바와 같이 추출된 변위지도 관심영역에서 변위 값을 가지지 않는 영역(검은색 영역)의 불필요한 윤곽선을 제거한다.
도 22는 캐니 마스크(Canny mask)를 통해 추출한 윤곽선과 변위값을 가지지 않는 영역을 제거한 윤곽선 영상을 나타낸다.
도 22(a)는 보정 영상 관심영역, 22(b)는 변위영상 관심영역, 22(c)는 보정영상에서의 캐니 마스크를 통해 추출한 윤곽선 영상, 22(d)는 변위 영상 관심영역에서 변위값을 가지지 않는 영역을 제외한 윤곽선 영상을 나타낸다.
그래픽 햅틱전자보드(330)는 일실시예로 다중배열(24행 18열)로 구성된 초소형 모터들의 해상도를 가지므로 변위(disparity) 값을 가지지 않는 영역을 제외한 윤곽선 영상을 그래픽 햅틱전자보드(330)로 표현하기 위해 다중배열(24행 18열)의 초음파 모터들로 표현할 최적화된 윤곽선 영상으로 간략화해야 한다.
도 23은 일실시예로 최적화된 윤곽선 영상과 24x18 해상도로 간략화시킨 윤곽선 영상을 나타낸다. 도 23(a)는 윤곽선 영상, 도 23(b)는 24x18로 간략화된 영상을 나타낸다.
위의 단계를 거쳐 최종적으로 얻어진 윤곽선 영상은 다중 배열(24x18)의 구역으로 세분화한다. 세분화된 각 구역에서 윤곽선 픽셀의 비율을 계산하여 각 구역의 30% 이상 윤곽선이 존재하면, 해당 구역(area)은 그래픽 햅틱전자보드(330)로 표현할 윤곽선 영상의 한 픽셀로 표시하는 윤곽선을 가진 영상 정보를 그래픽 햅틱전자보드(330)로 전송한다. 도 23(b)는 그래픽 햅틱전자보드(330)의 해상도에 맞게 간략화된 윤곽선 영상을 나타낸다. 따라서, 그래픽 햅틱전자보드(330)는 시각 정보를 시각 장애인에게 촉각 정보로 전달하게 된다.
전술한 바와 같이, 본 발명의 촉각 정보 전달 방법은 시각 장애인에게 문자, 숫자, 기호, 그래프, 도형 뿐만아니라 영상 정보를 포함하는 시각 정보를 촉각정보로 인식하도록 3차원 영상의 윤곽선 추출 알고리즘이 구현된 소프트웨어가 설치된 컴퓨터와 임베디드 시스템, 그래픽 햅틱전자보드를 이용하여 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 플래시 메모리, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
130: 스테레오 카메라 170: 컴퓨터 또는 임베디드 시스템
300: 시각정보 310: 전원
320: UART 330: 그래픽 햅틱전자보드
340: 마스터 보드(MCU) 350: 슬레이브 보드
360: 초소형 초음파 모터(TULA) 370: 스텝다운 DC-DC 컨버터

Claims (9)

  1. 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드에 있어서,
    사용자의 스테레오 입체 영상 정보, 스캐너 이미지, 카메라 영상, 삽화, 그래프를 포함하는 영상 자료를 입력받아 다양한 영상정보를 입력받는 영상 입력부;
    문자, 숫자, 기호, 그래프, 도형을 포함하는 일반적인 시각 정보를 입력받거나, 상기 영상 입력부로부터 영상을 입력받아 영상의 윤곽선을 추출하여 영상의 노이즈가 제거된 윤곽선 정보를 포함하는 촉각 정보로 변환하기 위한 데이타를 3차원 윤곽선 추출 알고리즘을 포함하는 제어 프로그램이 설치된 컴퓨터 또는 임베디드 시스템; 및
    기 설정된 제어 명령 전송 프로토콜에 따라 상기 컴퓨터와 UART 통신을 통해 일반적인 시각 정보를 입력받거나 또는 상기 영상의 노이즈가 제거된 윤곽선 정보를 포함하는 촉각정보로 변환하기 위한 데이타를 수신받고 제어 명령에 의해 각각 다중배열로 배치된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator)들의 핀을 돌출시킴으로써 상기 일반적인 시각 정보 또는 상기 영상의 노이즈가 제거된 윤곽선 정보를 포함한 시각 정보를 촉각 정보로 시각 장애인에게 제공하는 햅틱 전자보드;
    를 포함하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드.
  2. 제1항에 있어서,
    상기 영상 입력부는
    스테레오 카메라, 스캐너, 카메라, 이미지/그래픽/삽화 입력 장치 중 어느 하나의 장치를 사용하는 것을 특징으로 하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드.
  3. 제1항에 있어서,
    상기 그래픽 햅틱전자보드는
    사용자의 컴퓨터로부터 UART 통신을 통해 문자, 숫자, 기호, 그래프, 도형 또는 영상을 포함하는 시각정보를 입력받아 제어 명령을 제공하고, MCU(Micro Control Unit)로 구성된 마스터 보드;
    상기 마스터 보드와 SPI(Serial Peripheral Interface) Bus로 연결되고, 상기 마스터 보드로부터 제어 명령을 수신받아 다중배열로 구성된 초음파 모터를 제어하는 적어도 하나 이상의 슬레이브 보드;
    상기 다중배열로 구성된 다수의 초소형 초음파 모터(TULA:Tiny Ultrasonic Linear Actuator); 및
    전원을 인가받아 DC-DC 전압을 변환하여 상기 마스터 보드 및 상기 슬레이브 보드로 제공하는 스텝다운 DC-DC 컨버터;
    를 포함하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드.
  4. 제3항에 있어서,
    상기 슬레이브 보드는
    프로그래밍된 CPLD 칩, 다중 배열된 다수의 초음파 모터 구동을 위한 다수의 모터 드라이브로 구성되고, 상기 마스터 보드로부터 제어명령을 ASCII 코드로 변환하여 SPI(Serial Peripheral Interface) 통신을 통해 전달받고, 수신된 제어명령을 CPLD(complex programmable logic device)에 의해 모터별 제어 신호를 분류하고, 다수의 모터 드라이브(array type 모터 액츄에이터)에 의해 다중 배열로 구성된 각각의 초음파 모터의 상하운동 방향을 결정하여 상기 초소형 초음파 모터를 각각 제어하여 촉각 정보를 출력하고,
    상기 제어 명령은 상기 초음파 모터에 대한 모든 모터 상승/하강, 선택적 상승, 방향 제어 명령으로 4가지로 구성되며, 선택적 상승 명령의 경우 상승시킬 모터를 1, 그 외에는 0으로 설정하며, 방향 제어 명령 코드의 경우 컴퓨터로부터 UART 통신을 통해 그래픽 햅틱전자보드로 입력되는 데이타는 시점 코드, 명령코드 필드, 명령코드 필드 값 및 제어하려는 돌출핀의 정보에 기초하여 결정되는 ASCII로 된 문자열 바이트인 제어 데이타, 및 종점 코드를 포함하며, 각각의 초음파 모터의 제어 데이터를 2진수의 형식을 16진수로 변환하고 변환된 16진수를 아스키코드로 변환하여 각각의 아스키코드를 병합하여 생성하는 것을 특징으로 하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드.
  5. 제1항에 있어서,
    상기 제어 프로그램은
    상기 그래픽 햅틱전자보드의 다중배열로 구성된 초음파 모터의 핀을 개별 및 전체적으로 제어하기 위해 장치 연결 설정 및 연결, 데이터 전송, 모든 초음파 모터의 상승/하강, 현 촉각정보 지우기, 전송할 촉각정보 미리보기를 지원하고, 촉각정보로 변환할 영상을 제어 프로그램의 화면의 좌상단에 위치한 그리기 영역에서 상승시킬 모터를 선택할 수 있고,
    스테레오 카메라로부터 영상을 입력받는 경우, 상기 그래픽 햅틱전자보드에서 다중배열의 해상도를 가지므로 변위(disparity) 값을 가지지 않는 영역을 제외한 윤곽선 영상을 상기 그래픽 햅틱전자보드로 표현하기 위해 입력 영상의 상기 윤곽선 추출 알고리즘을 사용하여 추출된 관심영역을 다중배열의 제한된 해상도를 가지는 상기 그래픽 햅틱전자보드로 표현하기 위해 가우시안 필터링을 통해 잡음을 제거한 후, 영상 안에서 영역의 경계를 나타내는 특징으로 픽셀 밝기의 불연속점을 나타내는 윤곽선 검출 연산에 의해 밝기 변화에 의한 윤곽선의 기울기 변화량으로써 1차 미분 또는 2차 미분한 결과로 볼 수 있으므로, 1차 미분 연산자의 역할을 하는 캐니(Canny) 마스크를 사용하여 윤곽선 검출 및 노이즈를 제거하고 상기 캐니 마스크를 통해 추출한 윤곽선과 변위값을 가지지 않는 영역을 제거하고, 2차 미분 연산자 역할을 하는 소벨 마스크(Sobel mask)를 사용하여 x축, y축으로 각각 한 번씩 미분하여 잡음이 제거된 윤곽선을 추출하며, 상기 다중배열의 초음파 모터로 표현할 최적화된 윤곽선 영상으로 간략화하고,
    촉각정보의 크기로 간략화된 윤곽선 영상 정보를 분할하고 다중 배열의 초음파모터의 구역으로 세분화하며, 세분화된 각 영역에서 윤곽선 픽셀의 비율을 계산하여 각 영역의 일정 요율 이상 채워있으면, 윤곽선 영상의 해당 셀을 표시하는 윤곽선을 가진 영상 정보를 상기 그래픽 햅틱전자보드로 제공하는 것을 특징으로 하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드.
  6. 제1항에 있어서,
    상기 그래픽 햅틱전자보드는
    3차원 영상 뿐만 아니라 문자, 숫자, 기호, 그래프, 도형을 포함하는 교육자료, 디지털 사진, 일러스트레이션을 포함하는 시각정보를 입력받아 저시력 시각 장애인과 전맹 시각 장애인에게 촉각정보로 전달하는 것을 특징으로 하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드.
  7. 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법에 있어서,
    (a) 영상 입력부를 통해 스테레오 입체 영상 정보, 스캐너 이미지, 카메라 영상, 삽화, 그래프를 포함하는 영상 자료를 입력받는 단계;
    (b) 컴퓨터 및 임베디드 시스템의 제어 프로그램에 의해 문자, 숫자, 기호, 그래프, 도형을 포함하는 일반적인 시각 정보 또는 3차원 윤곽선 추출 알고리즘을 사용하여 노이즈가 제거된 윤곽선을 가진 영상 정보를 포함하는 시각정보를 촉각정보로 변환하기 위한 데이터를 그래픽 햅틱전자보드로 제공하는 단계; 및
    (c) 상기 컴퓨터 또는 상기 임베디드 시스템으로부터 UART 통신을 통해 상기 그래픽 햅틱전자보드로 상기 일반적인 시각 정보 또는 상기 노이즈가 제거된 윤곽선을 가진 영상 정보를 포함한 시각 정보를 입력받고, 다중 배열로 구성된 다수의 초소형 초음파모터(TULA)의 상하운동으로 핀들의 돌출을 제어하여 상기 일반적인 시각 정보 또는 상기 영상의 윤곽선 정보를 포함한 시각 정보를 촉각정보로 출력하여 시각 장애인에게 제공하는 단계;
    를 포함하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법.
  8. 제7항에 있어서,
    상기 단계 (b)는,
    (b1) 스테레오 카메라를 사용하는 영상 입력부로 스테레오 영상 정보가 입력될 경우, 좌우 카메라의 스테레오 영상을 정합하는 단계;
    (b2) 상기 컴퓨터 또는 상기 임베디드 시스템의 제어 프로그램에 포함된 3차원 윤곽선 추출 알고리즘을 사용하여 스테레오 정합된 영상의 노이즈 제거 및 관심영역(ROI)을 추출하는 단계; 및
    (b3) 관심영역이 추출된 영상의 윤곽선 정보를 추출하고, 상기 노이즈가 제거된 윤곽선을 가진 영상 정보를 상기 그래픽 햅틱전자보드로 전송하는 단계; 및
    를 포함하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법.
  9. 제7항에 있어서,
    상기 단계 (b) 및 (c)는
    상기 다중배열의 초음파 모터로 표현할 최적화된 윤곽선 영상으로 간략화하고, 촉각정보의 크기로 간략화된 윤곽선 영상 정보를 분할하고 다중 배열의 초음파모터의 구역으로 세분화하며, 세분화된 각 영역에서 윤곽선 픽셀의 비율을 계산하여 각 영역의 일정 요율 이상 채워있으면, 윤곽선 영상의 해당 셀을 표시하는 윤곽선을 가진 영상 정보를 상기 그래픽 햅틱전자보드로 출력하여 시각 장애인에게 촉각 정보를 제공하는 것을 특징으로 하는 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 촉각정보 전달 방법.
KR1020100127077A 2010-12-13 2010-12-13 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법 KR101221513B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100127077A KR101221513B1 (ko) 2010-12-13 2010-12-13 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100127077A KR101221513B1 (ko) 2010-12-13 2010-12-13 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법

Publications (2)

Publication Number Publication Date
KR20120065779A KR20120065779A (ko) 2012-06-21
KR101221513B1 true KR101221513B1 (ko) 2013-01-21

Family

ID=46685388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100127077A KR101221513B1 (ko) 2010-12-13 2010-12-13 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법

Country Status (1)

Country Link
KR (1) KR101221513B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200125199A (ko) * 2019-04-26 2020-11-04 숙명여자대학교산학협력단 시각장애인용 전자문서에 포함되는 특수 텍스트 제공방법 및 그 전자장치

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014014175A1 (ko) * 2012-07-18 2014-01-23 가천대학교 산학협력단 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시시스템 및 방법
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
KR101524808B1 (ko) * 2013-10-15 2015-06-03 고려대학교 산학협력단 피부 진단을 위한 촉감 전달 시스템 및 방법
US9612658B2 (en) 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
KR101396678B1 (ko) * 2014-01-22 2014-05-30 가천대학교 산학협력단 시각장애인을 위한 햅틱 디스플레이 기반 시각정보 표시시스템 및 방법
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
KR102515997B1 (ko) 2015-02-20 2023-03-29 울트라햅틱스 아이피 엘티디 햅틱 시스템에서의 인식
CA2976319C (en) 2015-02-20 2023-06-27 Ultrahaptics Ip Limited Algorithm improvements in a haptic system
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US11189140B2 (en) 2016-01-05 2021-11-30 Ultrahaptics Ip Ltd Calibration and detection techniques in haptic systems
KR101800178B1 (ko) 2016-04-20 2017-12-20 가천대학교 산학협력단 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체
US10531212B2 (en) 2016-06-17 2020-01-07 Ultrahaptics Ip Ltd. Acoustic transducers in haptic systems
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10755538B2 (en) 2016-08-09 2020-08-25 Ultrahaptics ilP LTD Metamaterials and acoustic lenses in haptic systems
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
US10497358B2 (en) 2016-12-23 2019-12-03 Ultrahaptics Ip Ltd Transducer driver
KR101960446B1 (ko) * 2017-06-15 2019-03-20 주식회사 닷 정보 출력 장치 및 방법
EP3425907B1 (en) * 2017-07-03 2022-01-05 Vestel Elektronik Sanayi ve Ticaret A.S. Display device and method for rendering a three-dimensional image
KR101893014B1 (ko) * 2017-08-03 2018-08-30 가천대학교 산학협력단 컴퓨팅장치에서 동작하는 별도의 가상적인 운영체제를 이용하여 촉각인터페이스장치를 제어하는 방법, 장치 및 비일시적 컴퓨터-판독가능 매체
KR102036632B1 (ko) * 2017-11-15 2019-10-25 가천대학교 산학협력단 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
WO2019122916A1 (en) 2017-12-22 2019-06-27 Ultrahaptics Limited Minimizing unwanted responses in haptic systems
US11360546B2 (en) 2017-12-22 2022-06-14 Ultrahaptics Ip Ltd Tracking in haptic systems
JP7354146B2 (ja) 2018-05-02 2023-10-02 ウルトラハプティクス アイピー リミテッド 改善された音響伝達効率のための遮断板構造体
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
EP3906462A2 (en) 2019-01-04 2021-11-10 Ultrahaptics IP Ltd Mid-air haptic textures
KR102078354B1 (ko) * 2019-03-14 2020-02-17 주식회사 피씨티 촉각인터페이스장치를 통하여 이메일 관리기능을 제공하는 방법, 장치, 및 비일시적 컴퓨터-판독가능 매체
KR102099616B1 (ko) * 2019-03-14 2020-05-15 가천대학교 산학협력단 촉각디스플레이 태블릿
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
CN114631139A (zh) 2019-10-13 2022-06-14 超飞跃有限公司 利用虚拟麦克风进行动态封顶
US11169610B2 (en) 2019-11-08 2021-11-09 Ultraleap Limited Tracking techniques in haptic systems
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
KR102466488B1 (ko) * 2020-07-31 2022-11-15 주식회사 닷 돌출형 기반 스마트 태블릿
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970004636A (ko) * 1995-06-14 1997-01-29 구자홍 영상 촉각 표시장치
JPH10232600A (ja) 1997-02-18 1998-09-02 Yuseisho Tsushin Sogo Kenkyusho 視覚障害者のテキストレイアウト確認方法
KR20090085419A (ko) * 2008-02-04 2009-08-07 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
KR20100074986A (ko) * 2008-12-24 2010-07-02 한찬희 감각신호 생성시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970004636A (ko) * 1995-06-14 1997-01-29 구자홍 영상 촉각 표시장치
JPH10232600A (ja) 1997-02-18 1998-09-02 Yuseisho Tsushin Sogo Kenkyusho 視覚障害者のテキストレイアウト確認方法
KR20090085419A (ko) * 2008-02-04 2009-08-07 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
KR20100074986A (ko) * 2008-12-24 2010-07-02 한찬희 감각신호 생성시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200125199A (ko) * 2019-04-26 2020-11-04 숙명여자대학교산학협력단 시각장애인용 전자문서에 포함되는 특수 텍스트 제공방법 및 그 전자장치
KR102662092B1 (ko) 2019-04-26 2024-04-29 숙명여자대학교산학협력단 시각장애인용 전자문서에 포함되는 특수 텍스트 제공방법 및 그 전자장치

Also Published As

Publication number Publication date
KR20120065779A (ko) 2012-06-21

Similar Documents

Publication Publication Date Title
KR101221513B1 (ko) 시각 장애인에게 시각 정보를 촉각 정보로 전달하는 그래픽 햅틱전자보드 및 방법
KR101290763B1 (ko) 햅틱전자보드 기반의 시각 장애인용 학습정보 제공 시스템 및 방법
US20150125831A1 (en) Tactile Pin Array Device
EP2482760B1 (en) Object tracking for artificial vision
US7194148B2 (en) Technique for providing simulated vision
EP1453026A2 (en) Three dimensional images
Sáez et al. Aerial obstacle detection with 3-D mobile devices
JP2009512056A (ja) ネットワーク基盤知能型サービスロボットのビジョン処理装置及びその処理方法並びにこれを用いたシステム
Reichinger et al. Pictures in your mind: using interactive gesture-controlled reliefs to explore art
WO2013054462A1 (ja) ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路
EP2065871A1 (en) Reading device for blind or visually impaired persons
CN109582123B (zh) 信息处理设备、信息处理系统和信息处理方法
Ni et al. A walking assistant robotic system for the visually impaired based on computer vision and tactile perception
WO2010142689A2 (en) An object detection device
Joseph Signar: A sign language translator application with augmented reality using text and image recognition
KR20100010981A (ko) 영상정보의 촉각감지 가능한 신호 변환 장치 및 방법
KR20160113760A (ko) 시각장애 아동용 그림책 제조 방법 및 시스템과 이를 이용한 촉각교구
JP5598981B2 (ja) 知覚刺激情報生成システム
KR20140137564A (ko) 인물 추적용 3차원 이미지 센싱 시스템 및 그 방법
KR102236917B1 (ko) 폴리오미노를 이용한 조립식 교구에 대해서, 단일 카메라 기반으로 삼차원 깊이맵 생성과 영상 분할 기술을 이용하여 삼차원 모델링을 하는 방법
Bangar et al. Vocal vision for visually impaired
US9355323B2 (en) Image correction method and apparatus for visually impaired person
Dakopoulos TYFLOS: A Wearable navigation prototype for blind & visually impaired; design, modelling and experimental results
JP4657532B2 (ja) 形状伝達装置
Muralidharan et al. Reading aid for visually impaired people

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 8