KR20180021332A

KR20180021332A - 촉각 인터페이스장치를 제어하는 방법, 장치 및 컴퓨터-판독가능 매체

Info

Publication number: KR20180021332A
Application number: KR1020160105466A
Authority: KR
Inventors: 조진수
Original assignee: 가천대학교 산학협력단
Priority date: 2016-08-19
Filing date: 2016-08-19
Publication date: 2018-03-02
Also published as: KR101849324B1; US10891875B2; US20180165989A1; WO2018034400A1

Abstract

본 발명은 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 관한 것이다.

Description

촉각 인터페이스장치를 제어하는 방법, 장치 및 컴퓨터-판독가능 매체 {Method, Device, and Computer-Readable Medium for Controlling Tactile Interface Device}

정보화 사회에서는 컴퓨터를 이용한 정보습득 및 활용이 필수적이며, 이러한 추세는 일반인 뿐만 아니라 시각장애인에게도 마찬가지이다.

시각장애인의 정보화 수준을 향상시키기 위해서는 그들도 정상인과 유사한 수준으로 정보를 습득하고 활용할 수 있도록 해줘야 하는데, 이는 시각장애인의 일상생활을 보다 편리하게 하고 스스로 정보를 습득하고 활용할 수 있게 해준다는 점에서 중요하다. 또한 이를 통하여 궁극적으로는 시각장애인에게 다양한 교육기회를 제공하여 사회진출 및 참여의 기회를 확대시킴으로써 그들의 복지를 한층 향상시킬 수 있다는 점에서 매우 중요하다고 할 수 있다.

하지만, 현재의 컴퓨터를 사용하는 일반적 방식은 주로 모니터를 통해 출력되는 시각적 정보를 눈으로 인지하고 이에 대하여 키보드, 마우스, 혹은 터치패드 등의 입력도구를 이용하여 정보를 입력하는 방식을 사용하고 있다. 따라서, 시각을 쓸 수 없는 시각장애인이 일반인과 동일한 수준으로 컴퓨터의 출력정보를 인지하고 이에 대한 즉각적인 정보입력과 같은 상호작용을 하는 데에는 큰 한계가 있을 수 밖에 없다. 결과적으로 시각적 장애는 컴퓨터 사용에 있어서의 효율성을 현저히 저하시켜 컴퓨터를 통한 정보습득 및 활용의 기회를 크게 빼앗게 된다.

이러한 시각장애인의 컴퓨터 사용에 있어서의 어려움을 해결하기 위하여 청각, 촉각 등을 사용해 시각적 정보를 인지하고 이를 통해 컴퓨터와 상호작용을 할 수 있도록 다양한 기술들이 개발되어 왔다. 그 대표적인 기술로서, 청각을 통해 시각장애인의 컴퓨터 사용을 보조하는 스크린 리더가 있다. 이는 컴퓨터 화면에 출력되는 내용과 자신이 입력한 키보드 정보를 음성으로 출력하여 컴퓨터를 사용할 수 있도록 도와주는 장치 혹은 소프트웨어이다.

하지만 스크린 리더는 출력화면에 대한 2차원의 공간적 위치정보 없이 한 줄로 이어진 선형화된 정보만으로 출력화면의 Graphic User Interface (GUI) 요소들을 탐색하므로 화면 출력정보 인지에 어려움이 따르며, 특히 출력화면에 포함된 정보가 많으면 많을수록 그 어려움은 현저히 증가하게 된다. 또한 문자나 GUI 요소들 이외에 그림, 도표 등과 같은 다양한 그래픽 정보들에 대해서는 스크린 리더가 텍스트 기반의 간단한 묘사적 설명만을 음성으로 제공하기 때문에 시각장애인이 그래픽 정보를 이해하고 이에 대한 상호작용을 하는 데에 큰 어려움을 가지게 된다.

또 다른 관련 기술로는 점자셀을 통하여 문자정보를 촉각으로 전달해주는 점자정보단말기가 있다. 이는 시각장애인에게 유용한 컴퓨터의 몇몇 기능들을 제공하여 독립적인 장치로 사용되는 방식과 스크린 리더가 분석하는 컴퓨터 화면의 텍스트 정보를 점자로 출력해주는 화면출력 보조장치로 사용하는 방식이 있다. 두 가지 방식 모두 컴퓨터와의 효율적 상호작용을 위한 인터페이스 역할 보다는, 컴퓨터 대용으로 컴퓨터의 몇 몇 제한된 기능들만을 수행하는 대체 기기의 역할을 하거나 혹은 문자정보를 점자로 출력해주는 출력보조 장치의 역할 만을 하게 된다. 특히, 점자 출력에 특화된 점자정보단말기는 스크린 리더와 마찬가지로 그래픽 정보를 표현할 수 없다는 문제점을 가지고 있다.

한국공개특허번호 10-2012-0063982

본 발명의 목적은 일반인의 컴퓨터 사용방식과 유사한 방식으로 시각장애인이 촉각을 이용하여 보다 직관적이고 효율적으로 컴퓨터와 상호작용 할 수 있도록 해주는 새로운 개념의 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체를 제공하는 것이다.

컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서, 상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고, 상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하는, 촉각 인터페이스장치를 제어하는 방법을 제공한다.

컴퓨터-판독가능 매체로서, 상기 컴퓨터-판독가능 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은: 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고, 상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하는, 컴퓨터-판독가능 매체를 제공한다.

1 이상의 프로세서 및 1 이상의 메모리를 포함하고, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치로서, 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력변환부; 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력변환부를 포함하고, 상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치를 제공한다.

본 발명의 실시예에 따르면, 시각장애인들로 하여금 실시간으로 촉각적으로 디스플레이되는 사항들을 직관적으로 인지할 수 있게 할 수 있다.

본 발명의 실시예에 따르면, 시각장애인들로 하여금 촉각적으로 정보를 인지하면서 동시에 인지된 정보에 기반하여 효율적으로 입력을 할 수 있는 효과를 발휘할 수 있다.

본 발명의 실시예에 따르면, 시각장애인이 컴퓨터의 화면출력 정보를 점자, 음성 및 촉각 그래픽의 형태로 인지하고 이에 대한 즉각적이고 직관적 정보입력을 할 수 있게 하여 일반인과 매우 유사한 방식으로 컴퓨터를 효율적으로 사용할 수 있게 하는 효과를 발휘할 수 있다.

본 발명의 실시예에 따르면, OS의 다양한 기능들과 다양한 어플리케이션 소프트웨어 들을 사용할 수 있도록 쉽게 확장이 가능하다는 효과를 발휘할 수 있다.

본 발명의 실시예에 따르면, 시각장애인들에게 종래의 스크린리더 등의 장치와 비교시 현저히 향상된 작업 수행속도 및 편의성을 제공할 수 있는 효과를 발휘할 수 있다.

본 발명의 실시예에 따르면, 시각장애인의 컴퓨터 활용능력을 크게 향상시키고, 시각장애인용 컴퓨터 하드웨어 및 소프트웨어 시장을 확대할 수 있는 효과를 발휘할 수 있다.

도 1은 본 발명의 일 실시예에 따른 촉각 인터페이스장치와 사용자단말기의 내부 구조를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 촉각 인터페이스장치의 내부 구조를 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 입체적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 촉각디스플레이부를 입체적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 핀구동모듈들을 예시적으로 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 핀구동모듈의 단면을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 촉각디스플레이단계의 세부단계를 개략적으로 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치와 촉각 인터페이스장치의 구성을 개략적으로 도시하는 도면이다.
도 9은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 내부 구조를 개략적으로 도시하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 일부 구성의 내부 구조를 개략적으로 도시하는 도면이다.
도 11는 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 방법의 단계를 개략적으로 도시하는 도면이다.
도 12는 본 발명의 일 실시예에 따른 입력정보생성단계의 과정들을 개략적으로 도시하는 도면이다.
도 13은 본 발명의 일 실시예에 따른 출력정보생성단계의 과정들을 개략적으로 도시하는 도면이다.
도 14은 본 발명의 일 실시예에 따른 촉각 그래픽변환단계의 과정들을 개략적으로 도시하는 도면이다.
도 15는 본 발명의 일 실시예에 따른 촉각 그래픽을 개략적으로 도시하는 도면이다.
도 16은 본 발명의 일 실시예에 따른 촉각아이콘들의 테이블을 도시하는 도면이다.
도 17은 컴퓨팅 장치의 표시화면의 제1 예를 도시하는 도면이다.
도 18는 도 21에 도시된 표시화면의 제1 예를 본 발명의 일 실시예에 따라 변환된 촉각 그래픽을 도시하는 도면이다.
도 19은 컴퓨팅 장치의 표시화면의 제2 예를 도시하는 도면이다.
도 20는 도 19에 도시된 표시화면의 제2 예를 본 발명의 일 실시예에 따라 변환된 촉각 그래픽을 도시하는 도면이다.
도 21 내지 도 27은 본 발명의 일 실시예에 따른 사용자의 조작에 따른 촉각 인터페이스장치의 출력을 도시하는 도면이다.
도 28은 본 발명의 일 실시예에 따른 컴퓨팅 장치의 내부 구성의 일 예를 도시하는 도면이다.

이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.

또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.

본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

촉각 인터페이스장치

이하에서는 본 발명에 따른 촉각 인터페이스장치를 제어하는 방법, 장치 및 컴퓨터-판독가능 매체에서 제어 대상이 되는 촉각 인터페이스장치의 일예에 대하여 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)와 사용자단말기의 내부 구조를 개략적으로 도시한 도면이다.

도 1에 도시된 바와 같이, 촉각 인터페이스장치(1000)는 사용자단말기(A)와 유선적 혹은 무선적으로 접속되어, 데이터를 송수신할 수 있게 구성되고, 예를 들어 촉각 인터페이스장치(1000)는 사용자단말기(A)로부터의 그래픽 신호를 전송받아 촉각정보를 제공할 수 있다.

다만, 본 발명은 도 1과 달리 외부의 사용자 단말기 없이 촉각 인터페이스장치(1000) 자체가 독자적인 운영체제에 의하여 동작하고, 촉각 인터페이스장치(1000) 내부의 프로그램 및 내부의 메모리에 기초한 동작에 의하여 촉각 인터페이스장치(1000)가 작동할 수도 있다. 다만, 이 경우에도, 촉각 인터페이스장치(1000)에 통신기능이 구비될 수도 있다.

한편, 상기 사용자단말기(A)는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등의 컴퓨팅 장치가 될 수 있다.

본 발명의 일실시예에 따른 촉각 인터페이스장치(1000)는 도 1 혹은 도 3에 도시된 바와 같이, 외부장치접속부(1100), 촉각디스플레이부(1200), 방향키부(1300), 키보드부(1400), 제어부(1500), 및 스피커부(1600)를 포함한다. 촉각디스플레이부(1200)는 컴퓨터가 모니터로 출력하는 시각 그래픽을 촉각 그래픽으로 변환하여 출력한다.

한편, 사용자는 상기 방향키부(1300), 및 상기 키보드부(1400)를 통하여 촉각 인터페이스장치에 입력을 수행하고, 촉각 인터페이스장치는 이와 같이 입력된 명령 혹은 정보를 변환하여, 상기 사용자단말기(A)로 전송한다.

한편 키보드부(1400)는, 바람직하게는 현재 시각장애인들이 일반적으로 많이 사용하는 점자를 일반문자로 변환하여 컴퓨터에 문자 입력신호를 전달하는 점자키보드를 포함하는 것이 바람직하다.

상기 키보드부(1400)는 점자를 입력 받아 촉각 인터페이스장치(1000) 혹은 촉각 인터페이스장치(1000)에 연결된 사용자 단말기에 전달한다. 상기 키보드부(1400)은 점자키(1410), 단축기(1420), 및 실행 혹은 스페이스키(1430)을 포함함이 바람직하다. 점자는 여러 개의 점이 모여 하나의 글자를 구성하기 때문에 점자키 동시에 눌린 버튼의 정보를 전송할 수 있다. 전송된 점자정보는 촉각 인터페이스장치(1000) 내부의 소프트웨어 혹은 사용자단말기의 소프트웨어를 통하여 일반문자(general character)로 점역된다.

따라서, 시각장애인을 위한 컴퓨터 입출력 기능을 위하여, 촉각디스플레이부(1200)는 일반 컴퓨터의 모니터와 같은 역할을 수행하고, 방향키부(1300) 및 키보드부(1400)는 일반 컴퓨터의 키보드, 마우스 등의 입력장치의 역할을 수행하게 된다.

도 2는 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)의 내부 구조를 개략적으로 도시한 도면이다.

본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)는 접속된 외부장치로부터 전송받은 데이터 혹은 상기 촉각 인터페이스장치(1000) 내부에서 생성된 데이터에 기초하여, 복수의 핀으로 사용자에게 촉각정보를 제공하는 촉각디스플레이부(1200); 입력좌표 혹은 세부적으로 포커싱되는 사항의 위치를 변경시키는 방향키부(1300); 외부장치와 접속할 수 있는 외부장치접속부(1100); 사용자로부터 키입력 형태로 정보를 입력받을 수 있는 키보드부(1400); 외부로 사운드 출력을 할 수 있는 스피커부(1600); 및 상기 촉각디스플레이부(1200), 상기 방향키부(1300), 상기 외부장치접속부(1100), 상기 키보드부(1400), 및 상기 스피커부(1600)의 작동을 제어하는 제어부(1500);를 포함한다.

상기 촉각디스플레이부(1200)는 1 이상의 차원의 촉각픽셀로 촉각정보를 제공하고, 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성된다. 바람직하게는 상기 촉각픽셀은 2차원으로 촉각정보를 제공한다.

이와 같은 촉각디스플레이부(1200)는, 외부의 사용자단말기로부터 전송받은 데이터에 기초거나 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 데이터를 입력받는 표시데이터수신부(1210); 상기 데이터를 촉각디스플레이데이터로 변환하는 촉각데이터변환부(1220); 및 상기 촉각디스플레이데이터에 의하여 구동하는 복수의 핀구동모듈(1230); 및 촉각디스플레이부(1200)를 구동하는 전원을 공급받는 구동전원공급부(1240);를 포함하고, 입력받은 데이터에 기초하여 촉각정보 혹은 촉각 그래픽을 제공한다.

한편, 상기 방향키부(1300)는 입력좌표 혹은 세부적으로 포커싱되는 사항의 위치를 변경시킨다.

상기 외부장치접속부(1100)는 무선통신을 수행할 수 있는 통신모듈부(1110) 및 유선적으로 상기 외부장치와 접속할 수 있는 유선연결부(1120) 중 1 이상을 포함한다. 상기 통신모듈부(1110)는 블루투스(bluetooth) 통신 모듈, 지그비(zigbee) 통신 모듈, 적외선 통신 모듈, BLE(bluetooth low energy) 통신 모듈, 오디오 통신 모듈, LTE(long term evolution) 통신 모듈, 및 WiFi 통신 모듈, IrDA 기반의 적외선 통신 모듈, 무선 랜(WLAN), 와이브로(WiBro) 모듈, 무선 USB(Wireless USB) 모듈, 중 적어도 하나를 포함한다. 한편, 상기 유선연결부(1120)는 USB(Universal Serial Bus) 인터페이스를 이용한 연결모듈을 포함하는 것이 바람직하고, 이외의 데이터의 송수신을 수행할 수 있는 유선연결모듈이 이에 해당한다.

한편, 상기 스피커부(1600)는 촉각 인터페이스장치(1000)에서 촉각 디스플레이되는 정보, 문자정보, 혹은 상기 방향키부(1300)에 의하여 입력된 정보에 반응하여 출력되는 정보를 음성으로 읽어주는 기능을 수행할 수 있다.

상기 제어부(1500)는 상기 촉각 인터페이스장치의 전체적인 작동이나, 상기 외부장치접속부(1100); 상기 키보드부(1400); 혹은 상기 스피커부(1600)의 작동을 제어한다. 예를 들어, 외부의 사용자 단말기로부터 데이터가 수신되는 경우 이를 촉각디스플레이부(1200)의 표시데이터수신부(1210)로 송신하고, 촉각디스플레이부(1200)의 작동을 명령한다. 혹은, 상기 방향키부(1300)로부터 사용자의 입력이 입력되는 경우, 제어부(1500)에서 입력을 처리하거나 혹은 상기 외부장치접속부(1100)를 통하여 연결된 사용자 단말기(A)로 입력신호를 전송한다.

만약, 상기 촉각 디스플레이장치가 외부의 사용자 단말기와 접속되는 경우가 아니라, 자체적인 OS 와 어플리케이션으로 작동되는 경우, 자체적인 연산이 가능한 수준의 CPU 및 메모리 장치를 포함하고, 독립적으로 작동할 수 있다. 독립적으로 작동가능한 경우에도, 상기 촉각 디스플레이장치는 외부와 통신을 수행할 수도 있다.

도 3은 본 발명의 일 실시예에 따른 촉각 인터페이스장치(1000)를 입체적으로 도시한 도면이다.

도 3에 도시된 바와 같이, 본 발명에 따른 촉각 인터페이스장치(1000)는 외부로 노출된 촉각디스플레이부(1200)의 구성요소, 구체적으로는 복수의 핀구동모듈(1230)로 픽셀형태의 촉각디스플레이를 제공한다. 이와 같은 촉각디스플레이부(1200)에 의하여 사용자는 촉각디스플레이부(1200)의 복수의 핀구동모듈(1230)을 촉각적으로 인지할 수 있다.

한편, 사용자는 구체적인 정보를 입력하기 위하여, 예를 들어 텍스트 정보를 입력하기 위하여 키보드부(1400)를 통하여, 상기 촉각 인터페이스장치(1000)에 정보 입력을 수행할 수 있다.

또한, 텍스트의 음성 혹은 사운드 정보를 사용자에게 출력하기 위하여, 상기 촉각 인터페이스장치(1000)는 스피커부(1600)를 통하여 사용자에게 음성정보를 출력할 수 있다.

도 3에 도시된 바와 같이, 촉각 인터페이스장치(1000)는 유선연결부(1120)를 통하여 외부의 사용자단말기에 접속하거나 혹은 통신모듈부(1110)를 통하여 무선통신으로 외부의 사용자단말기에 접속할 수 있다. 이 경우, 사용자단말기에서의 GUI 요소들을 촉각 인터페이스장치(1000)에서 촉각적으로 표시하고, 사용자는 GUI 요소들에 대한 반응 혹은 입력을 상기 방향키부(1300) 혹은 키보드부(1400)를 통하여 입력할 수 있다. 또한, 사용자가 상기 방향키부(1300)를 통하여 입력한 입력좌표 변경명령에 따라, 상기 촉각 인터페이스장치(1000)는 상기 촉각디스플레이부(1200)에서 변경된 입력좌표를 표시함으로써, 시각장애인의 경우 그래픽 화면 기반의 PC 등의 사용자 단말기를 보다 직관적으로 이용할 수 있다.

또한, 이와 같은 촉각 인터페이스장치(1000)는 단순히 시각장애인이 촉각정보를 인지하는 것에 한정되는 것이 아니라, 촉각정보를 인지하고 그에 따라 촉각 인터페이스장치(1000)에 명령 등의 입력을 수행할 수 있고, 이는 결과적으로 그래픽 화면 기반의 PC 등의 사용자 단말기를 일반인과 같은 편의성으로 사용할 수 있는 효과를 발휘할 수 있다.

도 4는 본 발명의 일 실시예에 따른 촉각디스플레이부(1200)를 입체적으로 도시한 도면이다.

상기 촉각디스플레이부(1200)는 1 이상의 차원의 촉각픽셀을 표시 혹은 제공할 수 있다. 도 4에서는 2차원의 촉각픽셀을 제공할 수 있는 촉각디스플레이부(1200)의 일예를 도시한다. 상기 촉각픽셀은 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀에 의하여 구성된다.

구체적으로, 상기 촉각픽셀은 복수의 핀구동모듈 그룹에 의하여 표시되고, 각각의 상기 핀구동모듈 그룹은 복수의 핀구동모듈(1230)로 이루어진다. 혹은 전체의 핀구동모듈이 하나의 핀구동모듈 그룹을 구성할 수도 있다.

구체적으로, 상기 촉각디스플레이부(1200)는 마스터보드(1250); 상기 마스터보드(1250)에 전기적으로 접속되고, 촉각디스플레이를 위한 1차데이터를 수신하는 표시데이터수신부(1210); 상기 표시데이터수신부(1210)로부터 전송받은 상기 1차데이터를 촉각디스플레이를 위한 데이터로 변환하는, 촉각데이터변환부(1220); 상기 마스터보드(1250)에 전기적으로 접속되는 복수의 슬레이브보드(1260); 및 상기 복수의 슬레이브보드(1260) 각각의 외면에 배치된 복수의 핀구동모듈(1230); 및 상기 마스터보드(1250)를 통하여 위의 구성요소들에게 구동전원을 공급하는 구동전원공급부(1240)를 포함한다.

상기 구동전원공급부(1240)는 외부로부터 공급받은 전원을 상기 마스터보드(1250)에 입력하는 형태임이 바람직하다.

한편, 상기 촉각데이터변환부(1220)는 상기 마스터보드(1250)에 배치되는 제1 촉각데이터변환부(1221); 및 상기 슬레이브보드(1260)에 배치되는 제2 촉각데이터변환부(1222)를 포함하고, 상기 제1 촉각데이터변환부(1221)는 상기 1차데이터를 각각의 슬레이브보드(1260)에 대한 촉각데이터로서의 2차데이터로 변환하고, 상기 제2 촉각데이터변환부(1222)는 상기 2차데이터를 각각의 슬레이브보드(1260)에 배치된 복수의 핀구동모듈(1230)의 그룹을 구동하기 위한 3차데이터로 변환한다.

상기 촉각디스플레이부(1200)는 다중 배열로 구성된 핀구동모듈(1230)의 핀의 상하운동을 통해 시각 그래픽을 촉각 그래픽 형태로 변환하여 전달하는 장치이다. 본 발명과 같은 촉각디스플레이부(1200)는, 전압을 인가하면 핀이 상승하고 전압이 인가되지 않으면 핀이 하강하는 구조인 압전 바이모프에 의한 릴레이 메커니즘에 비하여, 추가적인 모듈의 구성이 필요하지 않기 때문에, 소형화가 가능하고 다중배열이 용이한 구조를 가진다.

따라서, 본 발명에서와 같은 촉각디스플레이부(1200)는 장치의 소형화를 도모하면서 동시에 높은 해상도의 촉각디스플레이를 제공할 수 있는 효과를 발휘할 수 있다.

상기 마스터보드(1250)는 표시데이터수신부(1210)를 통해 입력된 촉각 그래픽 데이터를 수신하고, 이를 제1 촉각데이터변환부(1221)로 전달한다. 상기 표시데이터수신부(1210)는 UART (universal asynchronous receiver/transmitter)임이 바람직하고, 상기 제1 촉각데이터변환부(1221)는 MCU (Micro Controller Unit)임이 바람직하다.

바람직하게는, 상기 제1 촉각데이터변환부(1221)는 표시데이터수신부(1210)를 통해 입력된 촉각 그래픽 데이터를 분석하고, 이를 복수의 슬레이브보드(1260)로 전달한다. 이와 같은 전달에 있어서, 상기 제1 촉각데이터변환부(1221)는 상기 다수의 슬레이브보드(1260)의 정보에 기초하여 데이터를 변환한 후, 이를 슬레이브보드(1260)로 전달함이 바람직하다.

혹은, 상기 제1 촉각데이터변환부(1221)는 상기 촉각 그래픽 데이터를 각각의 슬레이브보드(1260)에 해당하는 데이터로 변환을 수행하고, 각각의 변환된 데이터를 각각의 슬레이브보드(1260)로 전달할 수도 있다.

혹은 상기 제1 촉각데이터변환부(1221) 없이, 상기 표시데이터수신부(1210)를 통하여 전달된 촉각 그래픽 데이터를 바로 슬레이브보드(1260)로 전달할 수도 있다.

이후, 슬레이브보드(1260)에 내장된 제2 촉각데이터변환부(1222)는 사전에 프로그래밍 된 CPLD (Complex Programmable Logic Device)를 이용하여 상기 제1 촉각데이터변환부(1221)로부터 전달받은 데이터 혹은 상기 표시데이터수신부(1210)를 통하여 전달받은 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 각각의 핀구동모듈어레이에 따라 분리하고, 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이에 동작신호를 전달한다.

이와 같은 동작신호에 따라 핀구동모듈(1230)의 핀은 상하 운동을 할 수 있고, 바람직하게는 핀 간격 및 상승 높이는 1 mm ~ 10 mm의 범위에 있다.

도 5는 본 발명의 일 실시예에 따른 핀구동모듈(1230)을 예들을 도시한 도면이다.

이하에서는, 도 5(A) 및 도 5(B)에 도시된 핀구동모듈(1230)의 실시예에 대하여 설명하도록 한다.

도 5(A)에 도시된 바와 같이, 핀구동모듈(1230)은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서(1231); 상기 트랜스듀서에 연결되는 샤프트(1232); 상기 샤프트(1232) 상에서 상기 샤프트(1232)의 축 방향으로 상하 운동할 수 있는 이동체(1233); 및 상기 이동체(1233)의 움직임에 따라서 이동할 수 있는 핀(1234);을 포함한다.

바람직하게는, 상기 트랜스듀서(1231)는 복수의 압전세라믹 및 탄성체를 포함하고, 전원이 인가되는 경우 압전세라믹의 팽창/수축에 의한 진동을 선형으로 변환하여 상기 이동체(1233)를 상하로 이동시키고, 트랜스듀셔를 제어함으로써 상기 이동체(1233)의 움직임을 제어할 수 있다.

이하에서는, 도 5(C) 및 도 5(D)에 도시된 핀구동모듈(1230)의 실시예에 대하여 설명하도록 한다.

도 5(C)에 도시된 바와 같이, 핀구동모듈(1230)은 각각, 진동운동을 선형운동으로 변환하는 트랜스듀서(1231); 상기 트랜스듀서에 연결되는 샤프트(1232); 상기 샤프트(1232) 상에서 상기 샤프트(1232)의 축 방향으로 상하 운동할 수 있는 이동체(1233); 및 상기 이동체(1233)의 움직임에 따라서 이동할 수 있는 핀(1234); 및 상기 샤프트(1232)를 감싸고 상기 핀(1234)의 일단이 삽입되는 케이싱부(1235)를 포함한다.

도 6은 본 발명의 일 실시예에 따른 핀구동모듈(1230)의 예의 단면을 도시한 도면이다.

도 6에 도시된 바와 같이, 핀구동모듈(1230)의 트랜스듀서(1231)는 하우징(1231.1);하우징(1231.1) 내부에 배치되는 제1 압전세라믹(1231.2), 제2 압전세라믹(1231.4); 및 상기 제1 압전세라믹 및 제2 압전세라믹 사이에 배치된 탄성부재(1231.3)를 포함한다.

한편, 이동체(1233)는 이동체본체(1233.1) 및 상기 이동체본체(1233.1)의 내부에 배치되는 고무링(1233.2)을 포함한다.

이와 같은 구조에서 트랜스듀서(1231)의 제1 압전세라믹(1231.2) 및 제2 압전세라믹(1231.4)에 인가되는 전압을 제어함으로써 상기 이동체(1233)의 상하운동을 효율적으로 제어할 수 있다.

도 7은 본 발명의 일 실시예에 따른 촉각디스플레이단계의 세부단계를 개략적으로 도시하는 도면이다.

상기 촉각디스플레이단계(S10)는, 압전세라믹 및 탄성체를 포함하는 트랜스듀서에 전원을 인가함으로써 상하로 이동하는 복수의 핀으로 표시되는 촉각픽셀에 의하여 촉각정보를 제공한다.

구체적으로 촉각디스플레이단계는 접속된 외부장치로부터 전송받은 1차 데이터 혹은 촉각 인터페이스장치(1000) 내부에서 생성된 1차 데이터를 수신하는 1차데이터수신단계(S11);

슬레이브보드(1260)의 개수, 각 슬레이브보드(1260)에서 표현할 수 있는 촉각픽셀의 개수 등의 슬레이브보드(1260) 정보를 로드하는 슬레이브보드정보로드단계(S12);

로드된 상기 슬레이브보드(1260) 정보에 따라 상기 1차 데이터를 2차 데이터로 변환하는 2차데이터변환단계(S13);

변환된 상기 2차 데이터를 각각의 슬레이브보드(1260)로 전송하는 슬레이브보드전송단계(S14);

각각의 슬레이브보드(1260)에서 상기 2차 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이의 구동신호로서의 3차 데이터로 변환하는 3차데이터변환단계(S15);

생성된 상기 구동신호로 각각의 핀구동모듈(1230)을 구동하는 핀구동단계(S16)을 포함한다.

상기 촉각디스플레이단계는 다중 배열로 구성된 핀구동모듈(1230)의 핀의 상하운동을 통해 시각 그래픽을 촉각 그래픽 형태로 변환하여 전달하는 단계이다. 본 발명에서와 같은 촉각디스플레이단계는 전압을 인가하면 핀이 상승하고, 전압이 인가되지 않으면 핀이 하강하는 구조인 압전 바이모프에 의한 릴레이 메커니즘에 비하여, 추가적인 모듈의 구성이 필요하지 않기 때문에, 소형화가 가능하고 다중배열이 용이한 구조로 구현할 수 있다.

따라서, 본 발명에서와 같은 촉각디스플레이단계는 장치의 소형화를 도모하면서 동시에 높은 해상도의 촉각디스플레이를 제공할 수 있는 효과를 발휘할 수 있다.

상기 1차데이터수신단계(S11)은 마스터보드(1250)에서 수행되고, 외부로부터 입력된 촉각 그래픽 데이터를 수신하고, UART (universal asynchronous receiver/transmitter) 모듈을 통하여 수행됨이 바람직하다.

한편, 상기 슬레이브보드정보로드단계(S12) 및 상기 2차데이터변환단계(S13)은 상기 마스터보드(1250)에 전기적으로 접속되는 MCU (Micro Controller Unit)에 의하여 수행됨이 바람직하다.

바람직하게는, 상기 2차데이터변환단계(S13)는 상기 1차데이터수신단계(S11)을 통해 입력된 촉각 그래픽 데이터를 분석한다. 이후 슬레이브보드전송단계(S14)는 분석된 상기 촉각 그래픽 데이터를 슬레이브보드(1260)로 전달한다.

이와 같은 상기 2차데이터변환단계(S13) 및 슬레이브보드전송단계(S14)는 상기 다수의 슬레이브보드(1260)의 정보에 기초하여 데이터를 변환한 후, 이를 슬레이브보드(1260)로 전달함이 바람직하다.

혹은, 상기 2차데이터변환단계(S13)은 상기 촉각 그래픽 데이터를 각각의 슬레이브보드(1260)에 해당하는 데이터로 변환을 수행하고, 각각의 변환된 데이터를 각각의 슬레이브보드(1260)로 전달할 수도 있다.

혹은 상기 2차데이터변환단계(S13) 없이, 상기 1차데이터수신단계(S11)을 통하여 전달된 촉각 그래픽 데이터를 바로 슬레이브보드(1260)로 전달할 수도 있다.

이후, 슬레이브보드(1260)에 내장된 처리장치에 의하여, 3차데이터변환단계(S15)가 수행된다. 3차데이터변환단계는 사전에 프로그래밍 된 CPLD (Complex Programmable Logic Device)를 이용하여 전달받은 데이터를 통하여 전달받은 데이터를 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 각각의 핀구동모듈어레이에 따라 분리하고, 각각의 핀구동모듈(1230) 혹은 복수의 핀구동모듈(1230)로 구성된 핀구동모듈어레이에 동작신호를 전달한다.

상기 복수의 슬레이브보드(1260)는 단일의 마스터보드(1250) 상에 배치되어 있고, 상기 마스터보드(1250)에 전기적으로 접속되어 있는 것이 바람직하다.

위와 같이 전술한 촉각 인터페이스 장치는 후술하는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 있어서 일 예로 이용될 수 있는 촉각 인터페이스장치로서 설명된 것이고, 후술하는 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 대한 설명에서는 위에서 상술한 내용에 한정되지 않고, 그 자체의 발명의 내용에 따라서 최광의로 해석되어야 할 것이다.

촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체

이하에서는 본 발명에 따른 촉각 인터페이스장치를 제어하기 위한 방법, 장치 및 컴퓨터-판독가능 매체에 대하여 설명하도록 한다.

도 8은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치와 촉각 인터페이스장치의 구성을 개략적으로 도시하는 도면이다.

컴퓨팅 장치(B)에 연결된 촉각 인터페이스장치(1000)는 도 13에서는 전술한 촉각 인터페이스장치와 동일한 구성요소를 갖는 것으로 도시되었지만, 이는 하나의 예에 불과할 뿐, 본 발명에서는 이에 한정되지 않는다. 이하에서 서술하는 본 발명의 촉각 인터페이스장치를 제어하는 컴퓨팅 장치(B)에 연결된 촉각 인터페이스장치는 촉각 그래픽을 제공할 수 있는 임의의 인터페이스장치, 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치, 및 촉각 그래픽을 출력할 수 있는 컴퓨팅 장치(B)를 모두 포함한다.

도 8에 도시된 바와 같이 컴퓨팅 장치(B)는 촉각 인터페이스장치와 연결되어 있고, 이와 같은 연결은 유선적 연결 혹은 무선적 연결을 모두 포함하는 연결이다.

상기 컴퓨팅 장치(B)는 도 1에서 도시된 전술한 사용자단말기(A)에 상응할 수 있다. 상기 컴퓨팅 장치(B)는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등에 해당할 수 있다.

이와 같은 컴퓨팅 장치(B)는 1 이상의 프로세서 및 메모리를 포함하고, 선택적으로 모니터 등의 디스플레이장치에 연결되어 있거나 자체적인 디스플레이모듈이 구비될 수도 있다.

혹은, 상기 컴퓨팅 장치(B)는 상기 촉각 인터페이스장치와 결합된 형태일 수도 있다. 이 경우, 사용자의 입장에서는 촉각인터페이스장치와 이를 제어하는 컴퓨팅 장치(B)를 하나의 장치로 인식할 수도 있다. 이와 같이 결합된 형태의 장치의 경우 상기 컴퓨팅 장치(B)와 상기 촉각 인터페이스장치는 프로세서와 메모리를 공유하는 형태일 수도 있다.

도 9은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 내부 구조를 개략적으로 도시하는 도면이다.

본 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치는 프로세서, 버스(프로세서, 메모리, 네트워크인터페이스부 사이의 양방향 화살표에 해당), 네트워크 인터페이스 및 메모리를 포함할 수 있다. 메모리는 운영체제(5100), 입출력제어루틴(5200), 어플리케이션(5300)을 포함할 수 있다. 프로세서는 입출력제어부(2000), 및 어플리케이션실행부(3000)를 포함할 수 있다. 다른 실시예들에서 촉각 인터페이스장치를 제어하는 컴퓨팅 장치는 도 9의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다.

메모리는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리에는 운영체제(5100), 입출력제어루틴(5200), 및 어플리케이션(5300)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스부(4000)를 통해 메모리에 로딩될 수도 있다.

버스는 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.

네트워크 인터페이스부(4000)는 촉각 인터페이스장치를 제어하는 컴퓨팅 장치를 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성 요소일 수 있다. 네트워크 인터페이스(4000)는 촉각 인터페이스장치를 제어하는 컴퓨팅 장치를 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다. 이와 같은 네트워크 인터페이스부(4000)를 통하여 촉각 인터페이스장치를 제어하는 컴퓨팅 장치가 촉각 인터페이스장치에 무선적 혹은 유선적으로 접속될 수 있다.

프로세서는 기본적인 산술, 로직 및 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리 또는 네트워크 인터페이스부(4000)에 의해, 그리고 버스를 통해 프로세서로 제공될 수 있다. 프로세서는 입출력제어부(2000), 및 어플리케이션실행부(3000)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리와 같은 기록 장치에 저장될 수 있다.

상기 입출력제어부(2000), 및 어플리케이션실행부(3000)는 이하에서 설명하게 될 촉각 인터페이스장치를 제어하는 방법을 수행하기 위해 구성될 수 있다. 상기한 프로세서는 촉각 인터페이스장치를 제어하는 방법에 따라 일부 컴포넌트가 생략되거나, 도시되지 않은 추가의 컴포넌트가 더 포함되거나, 2개 이상의 컴포넌트가 결합될 수 있다.

도 10은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 컴퓨팅 장치의 일부 구성의 내부 구조를 개략적으로 도시하는 도면이다.

본 발명에 따른 상기 컴퓨팅 장치(B)는 어플리케이션실행부(3000)과 상기 촉각 인터페이스장치의 상호간의 입출력을 제어하는 입출력제어부(2000)를 포함한다.

상기 어플리케이션실행부(3000)은 OS에서 기본적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어 WINDOWS^TM 에서의 탐색기), OS에서 보조적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어, WINDOWS^TM 에서의 메모장), OS와 별도적으로 설치되어 독자적인 기능을 수행하는 어플리케이션 (예를들어, MS WORD^TM), 웹상으로 실행되는 독자적인 기능을 수행하는 어플리케이션, 스마트폰의 앱, 혹은 특정 기기에서만 작동할 수 있는 어플리케이션을 실행하는 모듈을 지칭하는 용어이다. 즉, 상기 어플리케이션실행부(3000)은 상기 메모리에 저장되어 있는 실행가능한 명령어들을 가지는 프로그램들을 실행하는 모듈을 포괄적으로 지칭한다.

일반적인 사용자라면 상기 컴퓨팅 장치(B)에서 상기 어플리케이션을 실행시키고, 상기 어플리케이션과 마우스, 키보드, 및 모니터 혹은 터치패드 등으로 상호작용을 할 수 있지만, 이와 같은 일반적인 장치들은 시각장애인이 인식하기 어려운 그래픽 정보를 중심으로 상호작용이 이루어진다.

본 발명에서는, 상기 컴퓨팅 장치(B)의 어플리케이션실행부(3000)에 의하여 실행되는 어플리케이션을 시각장애인이 이용하기 위하여, 상기 어플리케이션실행부(3000)에 의해 실행되는 어플리케이션의 인터페이스 혹은 입출력을 시각장애인이 이용할 수 있는 형태로 변환 제어한다.

또한, 본 발명의 촉각 인터페이스장치의 제어방법은 시각장애인에 대한 목적 뿐만 아니라 차량, 비행장치 등의 다른 장치에서의 촉각정보를 활용한 입출력 시스템 및 PC 등의 사용에 있어서 보조적으로 활용할 수 있는 입출력 시스템에도 적용될 수 있다.

본 발명의 일 실시예에 따르면, 상기 입출력제어부(2000)는 상기 어플리케이션실행부(3000)에서 실행되는 어플리케이션의 입출력을 시각장애인이 이용할 수 있는 형태로 변환하고, 이를 촉각 인터페이스장치에서 구현하고, 사용자는 상기 촉각 인터페이스장치를 통하여 상기 어플리케이션을 보다 직관적이고 편리하게 이용할 수 있다.

특히, 촉각 인터페이스장치(1000)는 촉각정보를 이용하여 사용자에게 정보를 전달하고, 또한 촉각적인 키입력 등을 통하여 사용자로부터 정보 혹은 명령을 입력 받을 수 있는 장치이기 때문에, 시각장애인으로 하여금 불편함 없이 상기 어플리케이션실행부를 이용할 수 있도록 할 수 있다.

도 10에 도시된 바와 같이, 상기 입출력제어부(2000)는 상기 촉각 인터페이스장치로부터의 입력을 상기 어플리케이션실행부(3000)으로의 입력으로 변환하는 입력변환부(2100); 및 상기 어플리케이션실행부(3000)로부터의 출력을 상기 촉각 인터페이스장치의 출력으로 변환하는 출력변환부(2200)를 포함한다.

바람직하게는, 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 장치에서는 어플리케이션실행부(3000)로부터의 출력정보를 촉각 디스플레이 형태로 표시하는 동작에 추가적으로 촉각 인터페이스장치로부터 입력받은 정보를 상기 어플리케이션실행부(3000)에서 이용할 수 있는 형태로 변환하여 상기 어플리케이션실행부(3000)에 입력하는 동작을 수행할 수 있다.

즉, 본 발명에 따르면 사용자는 수동적으로 정보를 받는 것이 아니라 인지한 정보에 기초하여 정보를 입력하고, 상기 입출력제어부(2000)는 이와 같이 입력된 정보를 상기 어플리케이션실행부(3000)에 입력가능한 형태로 변환함으로써, 시각장애인인 사용자로 일반적인 사용자와 유사한 수준으로 상기 어플리케이션실행부(3000)에서 실행되는 어플리케이션을 이용할 수 있도록 한다.

한편, 상기 입력변환부(2100)는, 상기 촉각 인터페이스장치로부터 입력되는 키입력을 상기 어플리케이션실행부(3000)으로 입력할 수 있는 형태로 변환하는 키변환부(2110); 및 상기 촉각 인터페이스장치에서 키패드 등에 의하여 입력 혹은 변경되는 입력좌표를 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환하는 좌표매핑부(2120);를 포함한다.

바람직하게는, 상기 촉각 인터페이스장치로부터 수신된 상기 키변환부(2110)에서 변환되는 입력은 점자, 방향키, 단축키 등에 의하여 입력되는 정보이다.

한편, 상기 좌표매핑부(2120)는 상기 촉각 인터페이스장치에서의 입력좌표 혹은 커서의 위치를 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환하기 위함이다. 상기 입력좌표 혹은 커서의 위치는 상기 촉각 인터페이스장치의 방향키의 입력에 의하여 생성 혹은 변경될 수 있다.

후술하는 바와 같이, 전자기기가 PC인 경우 PC의 모니터 표시화면의 GUI 엘리먼트들을 재구성하여 출력되는 촉각 그래픽에는 촉각 아이콘들이 구현되어 있다. 이와 같은 촉각 아이콘은 상기 모니터 표시화면과 공간적으로 1:1 매칭이 되지 않기 때문에, 상기 촉각 인터페이스장치에서 세부적으로 포커싱이 이루어지는(후술하는 포커싱 영역에서 더욱 세부적으로 포커싱이 이루어지는), 혹은 커서가 위치하는 입력좌표를 그대로 사용할 경우 어떤 GUI 엘리먼트에 대한 이벤트가 발생되었는지를 전자기기의 어플리케이션실행부(3000)에서는 판별할 수 없다.

바람직하게는, 좌표매핑부(2120)의 좌표매핑 기능은 현재 촉각 그래픽으로 출력되고 있는 촉각 아이콘 객체와 실제 어플리케이션실행부(3000)을 구동하는 경우 모니터 표시화면에 출력되는 GUI 엘리먼트를 매핑시키기 위한 기능으로 매핑 테이블을 구성하여 인식된 좌표를 매핑한다.

촉각 인터페이스장치에서 표시되는 촉각 그래픽과 상기 어플리케이션실행부(3000)이 일반적으로 실행될 때의 표시화면은 해상도, 구성, 위치에 있어서 상이할 수 있고, 이 경우 촉각 인터페이스장치에서 입력한 명령이 제한없이 상기 어플리케이션실행부(3000)에 입력되기 위해서는 상기 촉각 인터페이스에서의 입력좌표가 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환 혹은 매핑되어야 하고, 이는 상기 좌표매핑부(2120)에 의하여 수행된다. 이와 같은 좌표매핑부(2120)에 의하여 사용자는 어플리케이션실행부(3000)의 기능의 축소 혹은 간략화 없이 어플리케이션실행부(3000)의 기능을 일반적인 사용자 수준으로 사용할 수 있다.

예를들어, 사용자가 어플리케이션실행부(3000)에서 'A'라는 명령을 실행하기 위하여(예를들어 윈도우 바탕화면에서 내문서 폴더를 여는 경우), 상기 촉각 인터페이스장치에서 상기 'A'에 해당하는 지점에서 실행과 관련된 키입력 을 수행하는 경우, 상기 좌표매핑부(2120)는 상기 촉각 인터페이스장치에서의 상기 지점의 좌표를 연결된 어플리케이션실행부(3000)의 'A' 아이콘의 좌표에 매핑하고, 이에 따라 상기 어플리케이션실행부(3000)에서의 'A' 명령이 실행될 수 있다.

이와 같이, 상기 입력변환부(2100)는 입력좌표 혹은 커서의 위치에 해당하는 GUI 엘리먼트를 어플리케이션 실행부에 알려주는 좌표매핑 기능, 그리고 점자키로부터 입력되는 점자정보를 일반 문자로 변환하는 역 점역 기능을 수행할 수 있다.

한편, 상기 출력변환부(2200)는, 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부 혹은 전체에 해당하는 포커스영역을 촉각 그래픽데이터로 변환하는 촉각 그래픽변환부(2210)를 포함하고, 상기 촉각 인터페이스장치에 의해 제공되는 상기 촉각 그래픽은 상기 촉각 그래픽데이터로부터 구현될 수 있다.

본 명세서에서, 상기 “표시화면”는 상기 어플리케이션이 모니터 등의 일반적인 시각적 디스플레이 장치로 출력하는 시각적화면, 시각적화면에 포함되는 시각적요소를 포함하는 개념을 지칭한다.

한편, 상기 출력변환부(2200)는, 상기 어플리케이션실행부(3000)에서 출력되는 정보를 음성정보로 변환하는 TTS변환부(2220)를 더 포함한다. 바람직하게는, 상기 TTS변환부(2220)는 상기 촉각 인터페이스장치로부터의 입력에 의하여 지칭되는, 혹은 입력좌표가 위치하는 촉각 엘리먼트에 대한 텍스트 형태의 세부정보를 음성으로 변환하는 것을 수행한다.

한편, 실제 어플리케이션실행부(3000)을 구동하는 경우 모니터 표시화면에 출력되는 모든 GUI 엘리먼트들을 촉각 그래픽으로 변환하여 이를 촉각 인터페이스장치에 출력하는 경우, 사용자가 촉각 그래픽을 이해하는 데 어려움이 발생할 수 있다.

따라서 본 발명의 일 실시예에 따르면, 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 포커스영역을 촉각 그래픽데이터로 변환한다. 즉 사용자에 의하여 포커싱되는 영역에 해당하는 포커스영역만을 혹은 포커스영역을 중심으로 촉각 그래픽데이터로 변환하고 이를 촉각 그래픽으로 표시함으로써 사용자는 현재 포커싱되는 영역만을 빠르고 편리하게 인지할 수 있고, 사용자의 인지 및 입력에 있어서의 오류를 제거할 수 있다.

한편, 상기 포커스영역은 사용자가 이전의 입력 중 1 이상에 의하여 결정된다. 예를들어, 사용자가 촉각 인터페이스장치의 방향키 입력으로 어플리케이션에서의 입력좌표를 이동시키거나, 또는 실행키 입력 등의 키입력에 의하여 해당 입력좌표가 지칭하는 영역이 포커싱이 되는 경우, 상기 포커싱영역이 결정된다.

한편, 상기 촉각 그래픽변환부(2210)는, 상기 포커스영역을 복수의 포커스부분영역으로 구분하고, 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 동작을 수행함으로써 촉각 그래픽데이터를 생성한다.

도 16은 이와 같은 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 기설정된 변환규칙의 예를 도시한다.

예를들어, 도 16에서 표시엘리먼트(GUI엘리먼트)가 'Button'에 해당하는 경우, 어플리케이션실행부(3000)에 의하여 컴퓨팅장치의 표시화면에 출력되는 형태는 도 20에서 Visual Design이라는 항목에 표시된 형태의 GUI이다. 그리고 이와 같은 'Button'에 대한 표시엘리먼트를 도 16에 도시된 변환규칙에 따라서, 촉각그래픽으로 표현할 수 있는 촉각그래픽엘리먼트인 촉각 아이콘으로 변환하고, 변환된 촉각 아이콘을 상기 촉각 인터페이스장치에서 촉각 그래픽으로 구현한다.

한편, 사용자의 촉각 인터페이스장치에서의 키입력, 바람직하게는 입력좌표가 지칭하는 표시엘리먼트 혹은 촉각 아이콘의 텍스트 정보를 사운드 형태로 출력하는 단축키입력 혹은 입력좌표가 지칭하는 표시엘리먼트의 텍스트 정보를 점자 형태로 출력하는 단축기입력에 의하여, 표시엘리먼트 혹은 상기 촉각 아이콘에 대한 세부 정보를 촉각 인터페이스장치의 점자형태의 촉각 그래픽 혹은 상기 TTS변환에 의한 음성으로 출력할 수도 있다.

도 15는 본 발명의 일 실시예에 따른 촉각 그래픽(TG)을 개략적으로 도시하는 도면이다. 상기 촉각 그래픽은 복수의 레이어를 포함하고, 도 15에 도시된 실시예에서는 상기 복수의 레이어는 제1 레이어(L1), 제2 레이어(L2), 및 제3 레이어(L3)를 포함한다.

상기 복수의 포커스부분영역은 각각 상기 복수의 레이어에 대응한다. 즉, 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역은 복수의 포커스부분영역으로 구성되어 있고, 이와 같은 복수의 포커스부분영역의 각각은 상기 복수의 레이어 각각에 대응한다. 따라서, 상기 촉각 그래픽변환부(2210)는 포커스부분영역 혹은 레이어 별로 표시화면을 촉각 그래픽으로 변환한다.

상기 제1 레이어(L1)는 화면 컨트롤 영역으로서, 현재 촉각 인터페이스장치에서 출력되는 촉각 그래픽의 타이틀을 지칭하는 아이콘, '이전', '확인', '취소', '닫기'와 같은 화면전환을 위한 버튼들의 촉각 아이콘 중 1 이상으로 구성될 수 있다. 즉, 제1 레이어(L1)는 상기 어플리케이션실행부(3000)로부터 출력되는 상기 표시화면의 화면을 변경시키는 명령을 실행하는 촉각 아이콘을 포함한다.

상기 제2 레이어(L2)는 메인 화면 영역으로 버튼, 메뉴, 폴더, 그래픽 정보 등에 대한 촉각 그래픽이 제공되는 레이어이다. 사용자는 제2 레이어(L2)를 통하여 텍스트 입력을 수행하거나, 그래픽 정보를 인지하거나, GUI 요소들을 인지하거나, 사용자의 컨트롤 입력을 수행할 수 있다.

상기 제3 레이어(L3)는 상기 어플리케이션실행부(3000)로부터 출력되는 촉각 그래픽엘리먼트에 대한 세부정보를 점자형태로 표시하는 레이어이다. 사용자는 상기 제3 레이어(L3)로 출력되는 점자를 인지함으로써 촉각 엘리먼트들에 대한 세부 정보를 확인할 수 있다. 전술한 바와 같이, 이와 같은 세부정보의 확인은 상기 TTS변환부(2220)에 의하여 변환된 음성에 의하여도 이루어질 수 있다.

한편, 전술한 촉각 인터페이스장치 및 이를 제어하는 컴퓨팅 장치는 출력 및 입력이 가능한 촉각 인터페이스장치 및 이에 대한 제어의 양상에서 실시예가 서술되었으나, 본 발명은 이에 한정되지 않고, 출력만 가능한 촉각 인터페이스장치 혹은 입력만 가능한 촉각인터페이스 장치에 대한 제어방법, 장치, 및 컴퓨터-판독가능 저장매체에 대한 발명도 포함한다.

도 11은 본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 방법의 단계를 개략적으로 도시하는 도면이다.

도 11에 도시된 바와 같이, 본 실시예의 촉각 인터페이스장치를 제어하는 방법은 컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서, 상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계(S100); 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계(S200)을 포함한다. 상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함한다.

상기 촉각 인터페이스장치는 촉각에 의한 촉각 그래픽을 제공할 수 있고, 상기 입력정보생성단계(S100) 및 상기 출력정보생성단계(S200)는 리얼-타임으로 수행될 수 있다. 구체적으로 사용자는 상기 출력정보생성단계(S200)에 의하여 출력된 촉각 그래픽을 인지하고, 이에 따라 입력을 수행하고, 사용자의 입력을 어플리케이션실행부(3000)에 입력할 수 있는 형태로 상기 입력정보생성단계(S100)에서 변환 혹은 입력정보를 생성함이 바람직하다.

여기서, 상기 컴퓨팅 장치는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등에 해당할 수 있다. 이와 같은 컴퓨팅 장치는 1 이상의 프로세서 및 메모리를 포함하고, 선택적으로 모니터 등의 디스플레이장치에 연결되어 있거나 자체적인 디스플레이모듈이 구비될 수도 있다.

혹은, 상기 컴퓨팅 장치는 상기 촉각 인터페이스장치와 결합된 형태일 수도 있다. 이 경우, 사용자의 입장에서는 촉각인터페이스장치와 이를 제어하는 컴퓨팅 장치를 하나의 장치로 인식할 수도 있다. 이와 같이 결합된 형태의 장치의 경우 상기 컴퓨팅 장치와 상기 촉각 인터페이스장치는 프로세서와 메모리를 공유하는 형태일 수도 있다.

상기 어플리케이션은 OS에서 기본적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어 WINDOWS^TM 에서의 탐색기), OS에서 보조적으로 제공되는 기능 등을 수행하기 위한 어플리케이션 (예를들어, WINDOWS^TM 에서의 메모장), OS와 별도적으로 설치되어 독자적인 기능을 수행하는 어플리케이션 (예를들어, MS WORD^TM), 웹상으로 실행되는 독자적인 기능을 수행하는 어플리케이션, 스마트폰의 앱, 혹은 특정 기기에서만 작동할 수 있는 어플리케이션을 포함하는 용어이다. 즉, 상기 어플리케이션은 실행가능한 명령어들을 가지는 프로그램들을 포괄적으로 지칭한다.

바람직하게는, 상기 촉각 인터페이스장치로의 출력정보는, 상기 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 대한 정보를 포함한다.

도 12은 본 발명의 일 실시예에 따른 입력정보생성단계(S100)의 과정들을 개략적으로 도시하는 도면이다.

상기 입력정보생성단계(S100)는, 촉각 인터페이스장치에서의 입력을 수신하는 입력수신단계(S110); 상기 입력정보의 카테고리를 구분하는 입력카테고리구분단계(S120); 상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성 혹은 상기 입력을 상기 어플리케이션에 입력할 수 있는 형태의 입력정보로 변환하는 어플리케이션입력생성단계(S130)를 포함한다.

상기 입력의 카테고리는 점자키 입력에 의한 점자정보, 방향키 입력에 의한 입력좌표이동정보, 및 명령어키 입력에 의한 명령정보를 포함한다.

상기 점자키 입력은 현재 시각장애인들이 일반적으로 많이 사용하는 점자를 일반문자로 변환하여 컴퓨터에 문자 입력신호를 전달하는 점자키보드에 의한 입력이다. 점자키보드는 기존에 널리 쓰이고 있는 점자키보드와 마찬가지로 점자를 입력 받아 촉각 인터페이스장치 혹은 촉각 인터페이스장치에 연결된 사용자 단말기에 전달한다. 점자는 여러 개의 점이 모여 하나의 글자를 구성하기 때문에 점자키보드는 동시에 눌린 버튼의 정보를 전송할 수 있다.

즉, 상기 입력의 카테고리가 점자정보인 경우, 상기 어플리케이션입력생성단계(S130)는, 상기 점자정보에 따라 상기 어플리케이션에서의 입력좌표에서 입력되는 텍스트정보를 생성할 수 있다.

상기 방향키 입력은 입력좌표를 변경하게 하는 입력이다. 방향키는, 위, 아래, 좌, 우로 이루어질 수 있고, 사용자가 방향키를 입력함에 따라, 상기 에플리케이션에서의 입력좌표 및/또는 커서 및 촉각그래픽에 표시되는 표시엘리먼트들에서의 입력좌표 혹은 커서가 이동할 수 있다.

본 발명의 일 실시예에서는 방향키의 입력에 따라서, 애플리케이션에서의 입력좌표가 변경되고, 변경된 애플리케이션에서의 입력좌표가 상기 촉각 그래픽으로 구현되어 표시될 수 있다. 여기서, 컴퓨팅장치에서 실행되는 어플리케이션에서의 실제 좌표를 입력좌표라고 하고, 촉각 인터페이스장치에서 구현되는 촉각그래픽에서의 입력좌표를 촉각입력좌표라고 할 수 있다.

본 발명의 일 실시예에서는 방향키의 입력에 따라서, 촉각그래픽의 표시엘리먼트들 중 어느 하나 혹은 인접그룹을 지칭하는 촉각입력좌표가 변경되고, 변경된 표시엘리먼트들 중 어느 하나 혹은 인접그룹을 지칭하는 촉각입력좌표가 상기 애플리케이션에서의 입력좌표로 매핑될 수도 있다.

혹은, 본 발명의 일 실시예에서는 방향키의 입력에 따라서, 촉각그래픽의 표시엘리먼트들 중 어느 하나 혹은 인접그룹을 지칭하는 촉각입력좌표가 변경되고, 촉각입력좌표가 지칭하는 표시엘리먼트 혹은 인접그룹이 실행 혹은 변경등의 작업이 수행될 때, 최종적으로 변경된 촉각입력좌표에 대응되는 표시엘리먼트들 중 어느 하나 혹은 인접그룹에 대한 입력좌표가 상기 애플리케이션에서의 입력좌표로 매핑될 수도 있다.

즉, 상기 입력의 카테고리가 입력좌표이동정보인 경우, 상기 어플리케이션입력생성단계(S130)는, 상기 입력좌표이동정보에 따라, 상기 어플리케이션에서의 새로운 입력좌표를 생성할 수 있다.

전자기기가 PC인 경우 PC의 모니터 표시화면의 GUI 엘리먼트들을 재구성하여 출력되는 촉각 그래픽에는 촉각 아이콘들이 구현되어 있다. 이와 같은 촉각 아이콘은 상기 모니터 표시화면과 공간적으로 1:1 매칭이 되지 않기 때문에, 상기 촉각 인터페이스장치에서의 터치입력이 발생한 입력좌표를 그대로 사용할 경우 어떤 GUI 엘리먼트에 대한 이벤트가 발생되었는지를 전자기기의 어플리케이션실행부(3000)에서는 판별할 수 없다. 입력좌표이동정보를 갖는 키입력에 대한 어플리케이션입력생성단계(S130)는 실질적으로 좌표매핑 기능에 해당한다. 바람직하게는, 현재 촉각 그래픽으로 출력되고 있는 촉각 아이콘 객체와 실제 어플리케이션실행부(3000)을 구동하는 경우 모니터 표시화면에 출력되는 GUI 엘리먼트를 매핑시키기 위한 기능으로 매핑 테이블을 구성하여 인식된 터치좌표를 매핑한다.

촉각 인터페이스장치에서 표시되는 촉각 그래픽과 상기 어플리케이션실행부(3000)이 일반적으로 실행될 때의 표시화면은 해상도, 구성, 위치에 있어서 상이할 수 있고, 이 경우 촉각 인터페이스장치에서 입력한 명령이 제한없이 상기 어플리케이션실행부(3000)에 입력되기 위해서는 상기 촉각 인터페이스에서의 입력좌표가 상기 어플리케이션실행부(3000)에서의 입력좌표로 변환 혹은 매핑되어야 하고, 이는 상기 어플리케이션입력생성단계(S130)에 의하여 수행된다. 이와 같은 단계에 의하여 사용자는 어플리케이션실행부(3000)의 기능의 축소 혹은 간략화 없이 어플리케이션실행부(3000)의 기능을 일반적인 사용자 수준으로 사용할 수 있다.

예를들어, 사용자가 어플리케이션실행부(3000)에서 'A'라는 명령을 실행하기 위하여(예를들어 윈도우 바탕화면에서 내문서 폴더를 여는 경우), 상기 촉각 인터페이스장치에서 상기 'A'에 해당하는 지점에서 실행키를 수행하는 경우, 상기 좌표매핑부(2120)는 상기 촉각 인터페이스장치에서의 상기 지점의 좌표를 연결된 어플리케이션실행부(3000)의 'A' 아이콘의 좌표에 매핑하고, 이에 따라 상기 어플리케이션실행부(3000)에서의 'A' 명령이 실행될 수 있다.

바람직하게는 상기 촉각입력좌표가 위치하고 있는 촉각픽셀의 영역에 포함되는 1 이상의 촉각셀이 주기적으로 상하운동 혹은 진동을 할 수 있다. 이와 같은 촉각픽셀의 상하운동 혹은 진동은 사용자로 하여금 자신이 촉각으로 어떤 표시엘리먼트에 커서가 놓여 있는지 혹은 촉각입력좌표가 어디에 있는지를 파악할 수 있다.

상기 명령어키 입력에 의한 상기 명령정보는 실행 명령, 스페이스 명령, 및 기설정된 단축명령 중 1 이상을 포함한다. 더욱 바람직하게는, 상기 명령정보는 입력좌표 혹은 촉각입력좌표가 놓여져 표시엘리먼트의 세부 텍스트 정보에 대한 TTS실행 혹은 점자출력실행에 대한 명령을 더 포함할 수 있다.

도 13은 본 발명의 일 실시예에 따른 출력정보생성단계(S200)의 과정들을 개략적으로 도시하는 도면이다. 상기 출력정보생성단계(S200)는 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역을 촉각 그래픽데이터로 변환하는 단계이다.

상기 출력정보생성단계(S200)는, 상기 어플리케이션실행부(3000)에 의해 실행되는 어플리케이션의 출력정보를 수신하는 단계(S210); 상기 어플리케이션실행부(3000)에 의하여 실행되는 어플리케이션에서의 포커스영역에서 표시되는 표시화면이 변경되었는지를 판단하는 변경판단단계(S220); 상기 어플리케이션실행부(3000)에서 실행되는 어플리케이션에서의 포커스영역에서 표시되는 표시화면에 기초하여 촉각 그래픽데이터를 생성하는 촉각 그래픽생성단계(S230); 및 상기 촉각 그래픽데이터를 촉각 인터페이스장치로 전송하는 단계(S240)를 포함한다.

바람직하게는, 상기 변경판단단계에서 표시화면이 변경되었다고 판단되는 경우, 상기 촉각 그래픽변환단계를 수행한다.

도 14은 본 발명의 일 실시예에 따른 촉각 그래픽변환단계(S230)의 과정들을 개략적으로 도시하는 도면이다.

실제 어플리케이션실행부(3000)에 의하여 어플리케이션을 실행 경우 모니터 표시화면에 출력되는 모든 GUI 엘리먼트들을 촉각 그래픽으로 변환하여 이를 촉각 인터페이스장치에 출력하는 경우, 사용자가 촉각 그래픽을 이해하는 데 어려움이 발생할 수 있다.

따라서 본 발명의 일 실시예에 따르면, 상기 촉각 그래픽생성단계(S230)는 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역을 촉각 그래픽데이터로 변환함이 바람직하다. 즉, 사용자에 의하여 포커싱되는 영역에 해당하는 포커스영역만을 혹은 포커스영역을 중심으로 촉각 그래픽데이터로 변환하고 이를 촉각 그래픽으로 표시함으로써 사용자는 현재 포커싱되는 영역만을 빠르고 편리하게 인지할 수 있고, 사용자의 인지 및 입력에 있어서의 오류를 제거할 수 있다.

한편, 상기 포커스영역은 사용자가 이전의 입력 중 1 이상에 의하여 결정된다. 예를들어, 사용자가 촉각 인터페이스장치의 방향키 입력으로 어플리케이션에서의 입력좌표 혹은 촉각그래픽에서의 촉각입력좌표를 이동시키거나, 또는 입력좌표 혹은 촉각입력좌표를 이동시키고 실행키 입력 등의 키입력에 의하여 해당 입력좌표 혹은 촉각입력좌표가 지칭하는 영역이 포커싱이 되는 경우, 상기 포커싱영역이 결정된다.

본 발명의 일 실시예에 따르면 상기 촉각 그래픽생성단계(S230)는, 상기 포커스영역을 복수의 포커스부분영역으로 구분하고, 기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 동작을 수행함으로써 촉각 그래픽데이터를 생성한다. 상기 촉각 그래픽엘리먼트는 촉각 아이콘을 표현할 수 있다.

즉, 상기 어플리케이션실행부(3000)에 의하여 표시되는 표시화면을 촉각 그래픽데이터로 변환하는 촉각 그래픽생성단계(S230)는 상기 어플리케이션실행부(3000)로부터 출력되는 표시화면의 일부를 포함하는 포커스영역을 결정 혹은 수신하는 포커스영역결정/수신단계(S231);

상기 포커스영역을 복수의 포커스부분영역으로 구분하는 포커스부분영역구분단계(S232);

기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 촉각 그래픽엘리먼트변환단계(S233); 및

상기 촉각 그래픽엘리먼트를 포함하는 촉각 그래픽데이터를 생성하는 촉각 그래픽데이터생성단계(S234);를 포함한다.

예를들어, 도 16에서 표시엘리먼트(GUI엘리먼트)가 'Button'에 해당하는 경우, 어플리케이션실행부(3000)에 의하여 컴퓨팅장치의 표시화면에 출력되는 형태는 도 20에서 Visual Design이라는 항목에 표시된 형태의 GUI이다. 그리고 이와 같은 'Button'에 대한 표시엘리먼트를 도 20에 도시된 변환규칙에 따라서, 촉각그래픽으로 표현할 수 있는 촉각그래픽엘리먼트인 촉각 아이콘으로 변환하고, 변환된 촉각 아이콘을 상기 촉각 인터페이스장치에서 촉각 그래픽으로 구현한다.

이하에서는, 본 발명에 의한 촉각 인터페이스장치를 제어하는 방법에 의하여 변환되는 어플리케이션실행부(3000)에서 출력되는 표시화면에 대한 실시예들에 대하여 설명하도록 한다. 이하에서의 설명에서는 도 16에 도시된 표시화면의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 기설정된 변환규칙을 적용하도록 한다.

도 17은 컴퓨팅 장치(B)의 표시화면의 제1 예를 도시하는 도면이다.

도 17에서 포커스영역은 상기 어플리케이션이 실행되는 창에 해당하고, 포커스부분영역은 (1), (2), (3), (4)를 포함하는 제1 포커스부분영역 및 (5)를 포함하는 제2 포커스부분영역으로 나누어질 수 있다.

상기 (1)은 본 어플리케이션의 타이틀에 해당하고, 상기 (2)는 본 어플리케이션의 메뉴바에 해당하고, 상기 (3)은 본 어플리케이션의 '최소화'버튼에 해당하고, 상기 (4)는 본 어플리케이션의 '닫기'버튼에 해당하고, 상기 (5)는 본 어플리케이션에서 표시하는 객체들을 표시하는 창에 해당한다.

도 18는 도 17에 도시된 표시화면의 제1 예를 본 발명의 일 실시예에 따라 촉각 그래픽으로 변환하여 출력한 촉각 그래픽을 도시하는 도면이다.

상기 (1), (2), (3), 및 (4)를 포함하는 제1 포커스부분영역은 촉각 그래픽의 상단의 레이어(제1 레이어(L1))로 변환 혹은 매핑되고, 상기 (5)를 포함하는 제2 포커스부분영역은 촉각 그래픽의 중단의 레이어(제2 레이어(L2))로 변환 혹은 매핑된다. 전술한 바와 같이 매핑시의 변환규칙은 상기 도 16에 도시된 규칙에 따른다.

한편, 촉각 그래픽의 하단의 레이어는 상기 제1 레이어(L1) 및 제2 레이어(L2)에서의 촉각 아이콘의 텍스트 정보를 점자형태로 나타내는 레이어에 해당한다.

이와 같은 하단의 레이어는 상기 키패드에 의하여 입력좌표 혹은 촉각입력좌표가 변경하는 경우에 자동적으로 입력좌표 혹은 촉각입력좌표에 대응되는 촉각 아이콘의 텍스트 정보를 점자형태로 나타내거나, 혹은 사용자가 단축키를 입력하는 경우 현재의 입력좌표 혹은 촉각입력좌표에 대응하는 촉각 아이콘의 텍스트 정보를 점자형태로 나타낼 수 있다.

예를들어, (1) 영역은 타이틀에 해당하고, 이는 도 16에 도시된 변환규칙에 의하여 기설정된 촉각 아이콘으로 변환되어, 촉각 그래픽의 제1 레이어(L1)에 구현된다. 이에 대해 사용자가 입력좌표 혹은 촉각입력좌표를 상기 (1) 영역에 해당하는 촉각 아이콘에 놓고, 점자정보를 표시하는 단축키를 입력하는 경우, 상기 제3 레이어(L3)에서는 상기 타이틀의 세부정보에 해당하는 “Haptic Editor”를 점자형태로 출력될 수 있다. 혹은, 사용자가 입력좌표 혹은 촉각입력좌표를 상기 (1) 영역에 해당하는 촉각 아이콘으로 변경하면, 자동적으로 상기 제3 레이어(L3)에서는 상기 타이틀의 세부정보에 해당하는 “Haptic Editor”를 점자형태로 출력될 수 있다.

도 19는 컴퓨팅 장치(B)의 표시화면의 제2 예를 도시하는 도면이다.

도 19의 표시화면은 상기 도 17에 도시된 어플리케이션에서 (2) 영역에 해당하는 메뉴바를 선택하고, 이 중 'Page Control'을 입력 혹은 선택 했을 때의 표시화면이다.

이 경우, 포커스영역은 상기 도 19에서 “Focused area”로 지칭되는 영역에 해당하고, 포커스부분영역은 (1)을 포함하는 제1 포커스부분영역 및 (2) 내지 (6)을 포함하는 제2 포커스부분영역으로 나누어질 수 있다.

상기 (1)은 메뉴바에서 선택한 타이틀에 해당하고, 상기 (2) 내지 (6)은 해당 타이틀 내에서 선택할 수 있는 서브메뉴에 해당한다.

도 20는 도 19에 도시된 표시화면의 제2 예를 본 발명의 일 실시예에 따라 촉각 그래픽으로 변환하여 출력한 촉각 그래픽을 도시하는 도면이다.

상기 (1), (7)을 포함하는 제1 포커스부분영역은 촉각 그래픽의 상단의 레이어(제1 레이어(L1))로 변환 혹은 매핑되고, 상기 (2) 내지 (6)을 포함하는 제2 포커스부분영역은 촉각 그래픽의 중단의 레이어(제2 레이어(L2))로 변환 혹은 매핑된다. 전술한 바와 같이 매핑시의 변환규칙은 상기 도 20에 도시된 규칙에 따른다. 한편 (7)은 '뒤로가기'버튼에 대한 촉각 아이콘으로서, 실제로 어플리케이션의 표시화면에는 포함되어 있지 않지만, 본 발명에 따른 제어방법에서 사용자의 편의성을 확대시키기 위하여 자체적으로 생성한 아이콘에 해당한다.

한편, 촉각 그래픽의 하단의 레이어는 상기 제1 레이어(L1) 및 제2 레이어(L2)에서 입력좌표 혹은 촉각입력좌표에 대응되는 촉각 아이콘의 텍스트 정보를 점자형태로 나타내는 레이어에 해당한다.

도 21 내지 도 27은 본 발명의 일 실시예에 따른 사용자의 조작에 따른 촉각 인터페이스장치의 출력을 도시하는 도면이다.

본 발명의 일 실시예에 따른 촉각 인터페이스장치를 제어하는 방법은 컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서, 상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및 상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고, 상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함한다.

이와 같은 촉각 인터페이스장치를 제어하는 방법은 시각장애인도 햅틱 디스플레이를 기반으로 하여 운영체제 및 어플리케이션의 운용, 예를들어 제어 및 정보 입력을 보다 효율적으로 하는 것을 가능하게 한다.

본 발명의 일 실시예에 따르면 사용자는 점자키 및 방향키 등의 키 입력에 의하여 1차적으로는 촉각 인터페이스장치에 제어 및 정보 입력을 수행할 수 있고, 이와 같이 입력된 사항들이 2차적으로 어플리케이션 수행부에서 수행되고 있는 운영체제 혹은 어플리케이션에 입력될 수 있다.

한편, 본 발명의 일 실시예에서는 시각장애인이 햅틱 디스플레이를 기반으로 일반인이 사용하는 운영체제(Windows/ Android/iOS/Linux 등) 및 어플리케이션의 동작을 제어함과 동시에 정보를 입력할 때, 시각장애인인 사용자가 현재 어플리케이션에서 원하는 곳에 입력좌표를 이동시키고, 또한 현재 입력좌표가 어느 표시엘리먼트에 위치하고 있는지를 파악할 수 있어야 한다.

상기 입력좌표의 이동은 전술한 바와 같은 방향키 등의 키입력에 의하여 이루어질 수 있다. 한편, 본 발명의 일 실시예에서는 현재 어느 표시엘리먼트에 입력좌표가 위치하고 있는 지를 촉각 그래픽으로서 나타낸다.

즉, 상기 출력정보생성단계는, 상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면뿐만 아니라 상기 포커스영역 내의 입력좌표에 기초하여 촉각 그래픽데이터를 생성하는 촉각 그래픽생성단계를 포함하고, 상기 촉각 그래픽은 촉각 그래픽데이터에 기초하여 구현된다.

한편, 상기 촉각 그래픽데이터는 상기 표시화면의 표시엘리먼트가 기설정된 변환규칙에 따라 변환된 촉각 그래픽엘리먼트 및 상기 표시화면의 그래픽 혹은 상기 그래픽이 간략화되어 형성된 그래픽요소를 구현하기 위한 데이터를 포함한다.

여기서, 표시엘리먼트 및 그래픽엘리먼트는 전술한 도 16에 도시된 GUI 엘리먼트에 해당한다. 한편, 표시화면의 그래픽 혹은 그래픽요소는 아이콘 혹은 폴더가 아닌 그림을 구성하는 선, 원, 삼각형 등에 해당한다.

본 발명의 일 실시예에서는 사용자가 현재 자신의 입력좌표가 어디에 위치하는 지를 촉각 그래픽으로 파악할 수 있다. 더욱 바람직하게는 상기 입력좌표는 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소의 각각의 위치에 대응된다.

즉, 제1 촉각 그래픽엘리먼트, 제2 촉각 그래픽엘리먼트, 제1 그래픽요소, 제3 촉각 그래픽엘리먼트가 촉각 인터페이스장치에서 출력되고, 현재 입력좌표가 제1 촉각 그래픽엘리먼트에 위치하고 있을 때, 사용자가 우측으로 이동하는 방향키를 누르는 경우, 제2 촉각 그래픽엘리먼트로 입력좌표가 이동하고 사용자가 촉각을 이용하여 이동된 입력좌표가 인지할 수 있다. 마찬가지로, 이후 입력좌표가 제2 촉각 그래픽엘리먼트에 위치하고 있을 때, 사용자가 우측으로 이동하는 방향키를 또 누르는 경우, 제1 그래픽요소로 이동할 수 있다. 즉, 상기 입력좌표는 촉각 그래픽엘리먼트 혹은 그래픽요소의 각각의 위치에 대응되도록 불연속적으로 입력될 수 있음이 바람직하다. 즉, 사용자가 방향키를 누르는 경우, 어플리케이션에서의 입력좌표가 이동하되, 연속적으로 1픽셀 단위로 움직이는 것이 아니라, 촉각 인터페이스장치의 출력에서 표시되는 촉각 그래픽엘리먼트 혹은 그래픽요소를 기준으로 이동함이 바람직하다.

본 발명의 바람직한 실시예에서는 현재의 입력좌표를 사용자가 촉각적으로 인지할 수 있도록, 촉각 그래픽을 실시간으로 출력한다. 구체적으로, 상기 촉각 그래픽생성단계는, 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소에 상기 입력좌표가 놓여져 있는 경우, 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소에 해당하는 촉각 그래픽의 세부영역의 촉각픽셀 중 1 이상을 상하 이동시키는 촉각 그래픽데이터를 생성한다. 즉, 입력좌표가 놓여져 있는 촉각 그래픽엘리먼트 혹은 그래픽요소의 경우, 대응되는 영역의 일부의 촉각픽셀이 상하 이동을 하고, 사용자는 입력을 하지 않음에도 불구하고 주기적으로 변경되는 촉각픽셀을 감지함으로써, 자신의 입력좌표가 어떠한 아이콘, 그래픽요소 등에 위치하고 있는 지를 파악할 수 있다.

또한, 시각장애인이 해당 촉각 그래픽엘리먼트의 세부적인 정보를 보다 상세하게 인지하기 위하여, 상기 출력정보생성단계는 상기 입력좌표에 대응하는 촉각 그래픽엘리먼트의 세부정보에 기초하여, 상기 촉각 인터페이스장치에서 촉각픽셀로 표현할 수 있는 점자정보 혹은 상기 촉각 인터페이스장치에서 재생할 수 있는 사운드정보를 생성하고, 상기 촉각 인터페이스장치로의 출력정보는 상기 점자정보 혹은 상기 사운드정보를 포함할 수 있다.

이하에서는 도 21 내지 27을 참조하여 본 발명의 일 실시예에 따라 촉각 인터페이스장치를 제어하는 방법의 촉각 그래픽 표시화면들을 설명하도록 한다.

도 21 및 27에 도시된 실시예의 촉각 인터페이스장치를 제어하는 방법에서 사용되는 촉각 인터페이스의 장치의 구성은 다음과 같다.

(출력부)

1. 다중배열로 구성된 촉각픽셀: 운영체제의 폴더 및 아이콘 혹은 어플리케이션의 메뉴 및 버튼과 같은 graphic user interface(GUI), 그래픽 요소(이미지), 및 운영체제의 폴더, 아이콘, 어플리케이션의 메뉴, 혹은 버튼에 포함되는 텍스트점자정보를 시각장애인이 인지할 수 있는 촉각그래픽 형태로 출력.

(입력부)

2. 점자키보드/방향키 기반 제어/입력인터페이스: 시각장애인이 상기에 제시한 방향키, 점자키보드 및 단축키를 기반으로 일반인이 키보드를 사용하여 운영체제 및 어플리케이션을 운용하는 것과 동일한 운용 기능을 수행.

(1) 운영체제의 폴더 및 아이콘 혹은 어플리케이션의 메뉴 및 버튼을 시각장애인이 일반키보드의 방향키와 동일한 동작(컴포넌트에 대한 포커스 이동)으로 제어할 수 있게끔 하는 상/하/좌/우 버튼으로 구성된 방향키.

(2) 운영체제 및 어플리케이션에 일반키보드와 동일하게 정보를 입력하고 실행할 수 있게끔 하는 점자키보드(실행 및 스페이스 키 포함; 실행 - 더블클릭 / 스페이스 - 클릭) 및 다수 개의 단축키 버튼.

도 21은 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.

도 21에서는 입력좌표는 제2 레이어(중단 레이어)에 있는 첫번째 촉각 그래픽엘리먼트(빗금친 영역)에 위치하고 있다. 여기서, 상기 촉각 그래픽생성단계는 실시간으로 첫번째 촉각그래픽엘리먼트를 표현하는 3x3의 촉각픽셀의 세부영역에서 가운데 (2,2)의 촉각픽셀을 실시간으로 상/하 이동시키는 촉각 그래픽데이터를 생성하고, 촉각 인터페이스장치는 이와 같은 촉각 그래픽데이터를 출력함으로써, 사용자는 현재 입력좌표, 혹은 세부적으로 포커싱되고 있는 컴포넌트를 확인할 수 있다.

즉, 도 21의 (A)와 (B)의 촉각 그래픽이 주기적으로 반복전환함으로써, 사용자는 현재 입력좌표가 어느 촉각 그래픽엘리먼트에 놓여있는지를 확인할 수 있다.

한편, 최하단의 제3 레이어는 현재 입력좌표가 놓여져 있는 촉각 그래픽엘리먼트의 점자정보를 출력할 수 있다.

도 22은 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.

도 22는 도 21의 촉각 그래픽 표시상태에서 사용자가 우측 방향키를 입력한 후의 촉각 그래픽에 해당한다. 도 22에서는 입력좌표는 제2 레이어(중단 레이어)에 있는 두번째 촉각 그래픽엘리먼트(빗금친 영역)에 위치하고 있다. 여기서, 상기 촉각 그래픽생성단계는 실시간으로 두번째 촉각그래픽엘리먼트를 표현하는 3x3의 촉각픽셀의 세부영역에서 가운데 (2,2)의 촉각픽셀을 실시간으로 상/하 이동시키는 촉각 그래픽데이터를 생성하고, 촉각 인터페이스장치는 이와 같은 촉각 그래픽데이터를 출력함으로써, 사용자는 현재 입력좌표, 혹은 세부적으로 포커싱되고 있는 컴포넌트를 확인할 수 있다.

즉, 도 22의 (A)와 (B)의 촉각 그래픽이 주기적으로 반복전환함으로써, 사용자는 방향키 입력 후 현재 입력좌표가 어느 촉각 그래픽엘리먼트에 놓여있는지를 확인할 수 있다

도 23은 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.

도 23의 (B)는 도 22의 촉각 그래픽 표시상태에서 사용자가 실행키를 입력한 후의 촉각 그래픽에 해당한다. 도 23의 (B)는 도 23의 (A)에서 입력좌표가 위치하고 있는 두번째 촉각 그래픽엘리먼트를 실행 혹은 폴더열기 등의 명령이 실행된 후의 촉각 그래픽이다. 즉, 도 23의 (B)는 도 23의 (A)에서 입력좌표가 위치하고 있는 두번째 촉각 그래픽엘리먼트에 대한 실행화면 혹은 세부폴더의 촉각 그래픽에 해당한다.

한편, 본 실시예에서는 새로운 촉각 그래픽엘리먼트가 실행된 후에 바로 입력좌표가 표시(예를들어, (2,2)의 셀이 상하이동)되지 않고, 여기서 사용자가 방향키 등의 추가키를 입력하는 경우에 입력좌표가 표시될 수 있다.

도 24는 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.

도 24의 (B)는 도 24의 (A)와 같은 촉각 그래픽 표시상태에서 사용자가 세번째 촉각 그래픽엘리먼트에 입력좌표를 위치하고 실행키를 입력한 후의 촉각 그래픽에 해당한다. 도 24의 (B)는 그래픽 요소(이미지)를 촉각 그래픽으로 표시하는 어플리케이션의 실행화면에 해당한다. 여기서, 역 U 자의 촉각그래픽은 텍스트 입력을 지칭하는 촉각 그래픽엘리먼트에 해당하고, 도 24의 (B)는 현태 주어진 이미지에서 텍스트를 입력할 수 있는 상태의 촉각 그래픽에 해당한다.

도 25는 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.

도 25의 (A) 및 (B)는 반복전환된다. 여기서, 역 U 자의 촉각그래픽은 텍스트 입력을 지칭하는 촉각 그래픽엘리먼트에 해당하고, 도 25의 (B)는 현태 주어진 이미지에서 텍스트를 입력할 수 있는 상태의 촉각 그래픽에 해당한다. 여기서 역 U자의 촉각그래픽은 전체적으로, 주기적으로 상하이동하고 사용자는 이와 같은 촉각셀의 이동을 감지하여 현재 입력좌표가 네모 위의 상단에 위치함을 알 수 있다. 여기서 사용자가 점자정보를 입력함으로써 현재 촉각그래픽으로 표현되고 있는 그래픽(이미지)에 대하여 텍스트 메모 등의 기능을 수행할 수 있다.

도 26는 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.

도 26의 (A) 에서 사용자는 점자키를 이용하여 텍스트 정보를 입력한다. 이후 촉각 그래픽은 도 26의 (B)와 같이 변경된다. 여기서 역 U자형의 객체(촉각 그래픽엘리먼트)는 해당 이미지에서 임시적 혹은 영구적으로 저장되게 되고, 이와 같은 텍스트 정보가 있다는 것이 역 U자의 촉각 그래픽엘리먼트로 표현된다.

도 27는 본 발명의 일 실시예에 따른 제어/입력 인터페이스의 촉각 그래픽을 도시한다.

도 27의 (A)는 도 26의 (B) 상태에서 사용자가 아래쪽 방향키를 누른 다음의 화면에 해당한다. 즉, 사용자가 도 26의 (B)에서와 같이 현재 입력좌표가 위치하는 곳에 대하여 텍스트 입력을 수행하고, 이후 입력좌표를 도 27의 (A)와 같이 변경하였을 때, 도 27의 (A)와 같은 촉각 그래픽이 표현된다. 여기서, 텍스트가 입력되어 있기 때문에, 역 U 자의 촉각 그래픽엘리먼트는 촉각 그래픽으로 남게 된다.

이후, 도 27(B)와 같이 현재 입력좌표가 위치하는 사각형의 그래픽(이미지)는 이미지 전체를 표현하는 촉각셀들이 모두 상하 이동을 주기적으로 수행한다. 이와 같은 실시간적인 촉각 그래픽에 의하여 사용자는 현재 입력좌표가 위치하는 촉각 그래픽의 요소를 인지할 수 있다.

도 28은 본 발명의 일 실시예에 있어서, 컴퓨팅 장치의 내부 구성의 일례를 설명하기 위한 블록도이다.

도 28에 도시한 바와 같이, 컴퓨팅 장치(11000)은 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/Osubsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅 장치(11000)은 촉각 인터페이스 장치에 연결된 사용자단말기(A) 혹은 전술한 컴퓨팅 장치(B)에 해당될 수 있다.

메모리(11200)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅 장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다.

이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.

주변장치 인터페이스(11300)는 컴퓨팅 장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅 장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템(11400)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(11400)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(11400)을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.

전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅 장치와 통신을 가능하게 할 수 있다.

또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅 장치와 통신을 가능하게 할 수도 있다.

이러한 도 28의 실시예는, 컴퓨팅 장치(11000)의 일례일 뿐이고, 컴퓨팅 장치(11000)은 도 28에 도시된 일부 컴포넌트가 생략되거나, 도 28에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅 장치는 도 18에도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1160)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅 장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅 장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 애플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 이용자 단말에 설치될 수 있다. 일 예로, 파일 배포 시스템은 이용자 단말이기의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.

이와 같이, 본 발명의 실시예에 따르면, 시각장애인들로 하여금 실시간으로 촉각적으로 디스플레이되는 사항들을 직관적으로 인지할 수 있게 할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설

명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅 장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

컴퓨팅 장치로 구현되고, 상기 컴퓨팅 장치에 접속되어 사용자와 상호작용을 할 수 있는 촉각 인터페이스장치를 제어하는 방법으로서,
상기 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및
상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고,
상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
청구항 1에 있어서,
상기 촉각 인터페이스장치로의 출력정보는,
상기 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 대한 정보를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
청구항 1에 있어서,
상기 입력정보생성단계는,
상기 촉각 인터페이스장치에서의 입력의 카테고리를 구분하는 입력카테고리구분단계;
상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성하는 어플리케이션입력생성단계;를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
청구항 3에 있어서,
상기 입력의 카테고리는 점자키 입력에 의한 점자정보, 방향키 입력에 의한 입력좌표이동정보, 및 명령어키 입력에 의한 명령정보를 포함하고,
상기 명령정보는 실행 명령, 스페이스 명령, 및 기설정된 단축명령 중 1 이상을 포함하는, 촉각 인터페이스장치를 제어하는 방법.
청구항 3에 있어서,
상기 입력의 카테고리가 입력좌표이동정보인 경우,
상기 어플리케이션입력생성단계는,
상기 입력좌표이동정보에 따라, 상기 어플리케이션에서의 새로운 입력좌표를 생성하는, 촉각 인터페이스장치를 제어하는 방법.
청구항 5에 있어서,
상기 입력의 카테고리가 점자정보인 경우,
상기 어플리케이션입력생성단계는,
상기 점자정보에 따라 상기 어플리케이션에서의 입력좌표에서 입력되는 텍스트정보를 생성하는, 촉각 인터페이스장치를 제어하는 방법.
청구항 1에 있어서,
상기 출력정보생성단계는,
상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면에 기초하여 촉각 그래픽데이터를 생성하는 촉각 그래픽생성단계를 포함하고,
상기 촉각 그래픽은 촉각 그래픽데이터에 기초하여 구현되는, 촉각 인터페이스장치를 제어하는 방법.
청구항 7에 있어서,
상기 출력정보생성단계는,
상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면이 변경되었는지 판단하는 변경판단단계; 및
상기 변경판단단계에서 표시화면이 변경되었다고 판단되는 경우, 상기 촉각 그래픽변환단계를 수행하는 촉각 인터페이스장치를 제어하는 방법.
청구항 7에 있어서,
상기 촉각 그래픽변환단계는,
상기 어플리케이션으로부터 출력되는 표시화면에서의 상기 포커스영역을 포커스부분영역으로 구분하는 포커스부분영역구분단계; 및
기설정된 변환규칙에 따라 각각의 포커스부분영역의 표시엘리먼트를 촉각 그래픽엘리먼트로 변환하는 촉각 그래픽엘리먼트변환단계;를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
청구항 7에 있어서
상기 촉각 그래픽은 복수의 레이어를 포함하고,
상기 복수의 레이어 중 1 이상은 상기 어플리케이션으로부터의 출력 중 포커스영역의 표시화면을 변경시키는 명령을 실행하는 아이콘에 대응하는 촉각 아이콘을 포함하는, 촉각 인터페이스장치를 제어하는 방법.
청구항 9에 있어서,
상기 촉각 그래픽은 복수의 레이어를 포함하고,
상기 포커스부분영역은 상기 복수의 레이어에 대응하는, 촉각 인터페이스장치를 제어하는 방법.
청구항 1에 있어서,
상기 출력정보생성단계는,
상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 기초하여 촉각 그래픽데이터를 생성하는 촉각 그래픽생성단계를 포함하고,
상기 촉각 그래픽은 촉각 그래픽데이터에 기초하여 구현되는, 촉각 인터페이스장치를 제어하는 방법.
청구항 12에 있어서,
상기 촉각 그래픽데이터는 상기 표시화면의 표시엘리먼트가 기설정된 변환규칙에 따라 변환된 촉각 그래픽엘리먼트 및 상기 표시화면의 그래픽 혹은 상기 그래픽이 간략화되어 형성된 그래픽요소를 구현하기 위한 데이터를 포함하고,
상기 입력좌표는 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소의 각각의 위치에 대응되는, 촉각 인터페이스장치를 제어하는 방법.
청구항 13에 있어서,
상기 출력정보생성단계는 상기 입력좌표에 대응하는 촉각 그래픽엘리먼트의 세부정보에 기초하여, 상기 촉각 인터페이스장치에서 촉각픽셀로 표현할 수 있는 점자정보 혹은 상기 촉각 인터페이스장치에서 재생할 수 있는 사운드정보를 생성하고, 상기 촉각 인터페이스장치로의 출력정보는 상기 점자정보 혹은 상기 사운드정보를 포함하는, 촉각 인터페이스장치를 제어하는 방법.
청구항 14에 있어서,
상기 촉각 그래픽생성단계는, 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소에 상기 입력좌표가 놓여져 있는 경우, 상기 촉각 그래픽엘리먼트 혹은 상기 그래픽요소에 해당하는 촉각 그래픽의 세부영역의 촉각픽셀 중 1 이상을 상하 이동시키는 촉각 그래픽데이터를 생성하는, 촉각 인터페이스장치를 제어하는 방법.
컴퓨터-판독가능 매체로서,
상기 컴퓨터-판독가능 매체는, 컴퓨팅 장치로 하여금 이하의 단계들을 수행하도록 하는 명령들을 저장하며, 상기 단계들은:
사용자와 상호작용을 할 수 있는 촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력정보생성단계; 및
상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력정보생성단계를 포함하고,
상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하는, 컴퓨터-판독가능 매체.
청구항 16에 있어서,
상기 어플리케이션은 입력, 편집, 및 저장의 기능을 수행할 수 있는 어플리케이션인, 컴퓨터-판독가능 매체.
1 이상의 프로세서 및 1 이상의 메모리를 포함하고, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치로서,
촉각 인터페이스장치에서의 입력에 기초하여, 컴퓨팅 장치에서 실행되고 있는 어플리케이션으로의 입력정보를 생성하는 입력변환부;
상기 컴퓨팅 장치에서 실행되고 있는 상기 어플리케이션으로부터의 출력 중 포커스영역의 출력에 기초하여, 상기 촉각 인터페이스장치로의 출력정보를 생성하는 출력변환부를 포함하고,
상기 출력정보는, 복수의 2차원 촉각픽셀로 이루어지는 촉각 그래픽을 구현할 수 있는 데이터를 포함하는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.
청구항 18에 있어서,
상기 촉각 인터페이스장치의 출력정보는,
상기 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 대한 정보를 포함하는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.
청구항 18에 있어서,
상기 입력변환부는 상기 촉각 인터페이스장치에서의 입력의 카테고리를 구분하고, 상기 입력의 카테고리에 따라, 상기 입력에 기초하여 상기 어플리케이션에 입력할 수 있는 형태의 입력정보를 생성하는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.
청구항 18에 있어서,
상기 출력변환부는,
상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면에 기초하여 촉각 그래픽데이터를 생성하고,
상기 촉각 그래픽은 촉각 그래픽데이터에 기초하여 구현되는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.
청구항 18에 있어서,
상기 출력변환부는,
상기 어플리케이션에서의 포커스영역에서 표시되는 표시화면 및 상기 포커스영역 내의 입력좌표에 기초하여 촉각 그래픽데이터를 생성하고,
상기 촉각 그래픽은 촉각 그래픽데이터에 기초하여 구현되는, 촉각 인터페이스 장치를 제어할 수 있는 컴퓨팅 장치.