KR101630430B1 - 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법 - Google Patents

Abstract

본 발명은 터치스크린 상에서 사용자의 임의의 터치위치를 감지하여, 감지된 터치위치를 중심으로 생성되는 소정의 단위셀 영역에 햅틱패턴을 제공하되, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공하도록 구성함으로써, 상기 단위셀들에서 순차적으로 제공되는 햅틱패턴의 조합을 통해 터치스크린에 디스플레이되는 문자기호를 인식할 수 있도록 구성하여, 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법에 관한 것이다.

Description

햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법{Method of displaying characters for the blind using haptic patterns}

본 발명은 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법에 관한 것으로서, 더욱 상세하게는 사용자의 터치 위치를 감지하는 터치패널과 접촉된 신체요소에 햅틱질감을 제공하는 햅틱패널이 일체로 결합된 터치스크린을 이용하여, 상기 햅틱패널에서 제공하는 서로 다른 햅틱질감의 조합을 통해 다양한 문자기호를 표현할 수 있도록 구성함에 있어서, 상기 터치스크린 상에서 사용자의 임의의 터치위치를 감지하여, 감지된 터치위치를 중심으로 생성되는 소정의 단위셀 영역에 햅틱패턴을 제공하되, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공하도록 구성함으로써, 상기 단위셀들에서 순차적으로 제공되는 햅틱패턴의 조합을 통해 터치스크린에 디스플레이되는 문자기호를 인식할 수 있도록 구성하여, 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법에 관한 것이다.

최근에는 컴퓨터, 이동통신 단말기, PDA, PMP 등의 각종 전자 및 휴대 전자 장치의 보급도가 증대되고 있다. 이러한 전자 장치들의 사용은 디지털 정보에의 접근 여부를 결정함으로써 새로운 형태의 디지털 디바이드(digital divide)를 야기하고 있는데, 기존의 통상적인 전자 장치들은 신체적인 어려움을 수반하지 않은 비장애인을 기준으로 설계되기 때문에 장애인들의 접근성이 어려웠다.

이에 따라, 장애인들의 사용을 가능하게 하는 각종 장치들이 개발되고 있는데, 그 중에서도 시각 장애인들에게 정보를 촉각으로써 제공하기 위한 다양한 출력장치가 개발 상용화되고 있다.

종래의 점자 디스플레이장치는 점자핀의 인출과 인입을 위한 수직운동에 필요한 구동력을 제공하는 장치의 개발이 중요한데, 한국등록특허 제1,181,811호에는 점자셀 상에 인출된 점자 출력핀을 손가락 밑면의 촉각으로 감지하여 점자(braille)를 판독함으로써, 점자 출력핀의 인출과 인입 구동에 필요한 수직 운동을 수행하는 액추에이터의 구현 방식의 점자 디스플레이가 개시되어 있다.

그러나, 상기와 같은 액추에이터를 사용하는 경우 점자 출력요소로서 솔레이노이드를 소형 집적화시키는데 어려움이 수반되어 점자 디스플레이 장치를 소형화하기 어려웠고, 충분한 발생력을 얻기 위해서는 고전압이 요구되며, 응답속도가 빠르지 않을 뿐만 아니라 불규칙적이고, 내구성이 좋지 않다는 문제점이 있었다.

이러한 문제점을 해결하기 위하여 본 출원의 발명자가 최근 발명한 한국등록특허 제1,305,235는 터치스크린 상에서 사용자의 터치가 이루어지는 부분에서 접촉된 사용자의 신체요소에 전기자극을 전달하여, 사용자가 손가락으로 터치스크린을 스캐닝하는 과정에서 사용자가 자신의 신체요소에 전달되는 전기자극을 통해 점자화면을 판독할 수 있는 기술을 개시하고 있다.

그러나, 상기 기술은 사용자가 하나의 점자를 인식하기 위해서는 각각의 점칸에 구비된 6개의 세부영역(점선으로 구획된 부분)을 U자 형태로 순차적으로 스캔해야하기 때문에, 점자 판독 속도가 다소 느리게 되며, 하나의 점자자모를 표시하기 위해 6개로 각각 구분된 인쇄영역이 필요하게 되어, 한정된 화면 영역에서 동시에 제공할 수 있는 점자의 수에 상당한 제한을 받는다는 단점이 있다.

또한, 사용자가 터치스크린상에 표시된 점자를 인식하기 위해서는 항상 터치스크린 상의 특정 위치(즉, 첫번째 열의 첫번째 점칸)에서 시작하여 일방향으로 순차적으로 스캔해야만 터치스크린상에 표시된 점자들의 조합을 통해 텍스트를 인지할 수 있기 때문에, 사용자는 항상 터치스크린 상의 고정된 시작위치를 찾아야만 하는 불편함이 있으며, 터치스크린은 물리적으로 구성된 버튼형식과 달리 사용자가 터치감을 인식할 수 없기 때문에, 시각장애인에게는 고정된 시작위치를 찾는 것마저 용이하지 않고, 터치스크린의 스캔과정에서 손의 이동방향이 어긋나 스캔영역에서 이탈되어도 시각장애인이 이를 인지하지 못하고 텍스트를 오독하는 상황이 자주 발생되는 문제점이 있었다.

1. 한국등록특허공보 제1,181,811호 (2012. 9. 5) "점자 출력 액츄에이터를 이용한 점자 출력 방법" 2. 한국등록특허공보 제1,305,235호 (2013. 9. 2) "점자 지원 기능이 구비된 터치스크린 및 이를 이용한 디스플레이 장치"

본 발명은 상기한 종래 기술에 따른 문제점을 해결하기 위한 것이다. 즉, 본 발명의 목적은, 터치스크린 상에서 사용자의 임의의 터치위치를 감지하여, 감지된 터치위치를 중심으로 생성되는 소정의 단위셀 영역에 햅틱패턴을 제공하되, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공하도록 구성함으로써, 상기 단위셀들에서 순차적으로 제공되는 햅틱패턴의 조합을 통해 터치스크린에 디스플레이되는 문자기호를 인식할 수 있도록 구성하여, 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법을 제공함에 있다.

상기의 목적을 달성하기 위한 기술적 사상으로서 본 발명은, 상기 터치스크린 상에서 사용자의 터치위치를 감지하여, 감지된 터치위치를 중심으로 미리 설정된 일정크기로 생성되는 단위셀 영역에 햅틱패턴을 전달하고, 사용자의 터치 드래그가 이동하는 궤적을 따라 미리 설정된 일정 간격으로 단위셀 영역을 순차적으로 연속 생성하여, 생성된 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공하도록 구성하여, 상기 연속적으로 생성되는 각각의 단위셀 영역에서 순차적으로 제공되는 햅틱패턴의 조합을 통해 텍스트를 구성하는 문자기호를 표현함으로써, 사용자가 자신의 신체요소를 통한 터치스크린의 스캔을 통해 상기 연속적으로 생성되는 단위셀별로 자신의 신체 요소에 전달되는 햅틱패턴을 인지함으로써 터치스크린에 디스플레이되는 텍스트 정보를 인식할 수 있는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법을 제공한다.

본 발명에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법은, 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있게 된다 .

이에 따라, 사용자는 터치스크린상에 디스플레이되는 텍스트를 인식하기 위하여 별도의 스캔 시작위치를 찾을 필요가 없으며, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴이 제공됨에 따라, 사용자가 터치스크린상에서 시작위치나 스캔방향에 구애됨 없이 편안하게 텍스트 정보를 연속적으로 스캔할 수 있기 때문에 터치스크린의 한정된 화면 영역에 제한받지 않고 텍스트 정보를 효과적으로 인식할 수 있게 된다.

도 1은 본 발명의 일실시예에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법이 적용된 터치스크린의 구성을 보여주는 도면이다.
도 2는 본 발명의 일실시예에 따라 사용자의 터치위치를 감지하여 단위셀 영역을 생성하는 예를 나타낸 도면이다.
도 3은 본 발명의 일실시예에서 사용자의 터치 드래그가 이동하는 궤적을 따라 단위셀 영역을 순차적으로 연속하여 생성하는 예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에서 단위셀에서 제공하는 햅틱 질감의 실시예들을 보여주는 도면이다.
도 5는 본 발명의 일실시예에 따른 사용자의 터치위치를 감지하여 생성되는 단위셀 영역마다 각각 독립적인 햅틱패턴이 제공되는 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 햅틱패턴에 대한 문자기호 조합 체계의 한 예를 보여주는 도면이다.
도 7은 본 발명의 일실시예에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법의 실시예를 보여주는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 바람직한 실시예를 첨부 도면에 의거하여 상세하게 설명하기로 한다.

도 1은 본 발명의 일실시예에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법이 적용된 터치스크린의 구성을 보여주는 도면이고, 도 2는 본 발명의 일실시예에 따라 사용자의 터치위치를 감지하여 단위셀 영역을 생성하는 예를 나타낸 도면이며, 도 3은 본 발명의 일실시예에서 사용자의 터치 드래그가 이동하는 궤적을 따라 단위셀 영역을 순차적으로 연속하여 생성하는 예를 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 터치스크린(100)은 화면을 제공하는 동시에 사용자의 접촉 위치를 감지하는 터치패널(110)과, 터치패널(110)의 상부에 구비되어 접촉된 사용자의 신체요소에 햅틱질감을 제공하는 햅틱패널(120)이 일체로 구성된다.

터치패널(110)은 사용자의 터치위치를 감지하는 역할을 수행하는데, 정전용량 방식, 적외선 방식, 저항막 방식 또는 초음파 방식 등의 다양한 방식의 터치패널(110)로 구성될 수 있으며, 사용자의 손가락 등의 신체요소가 접촉되면, 이를 감지하여 사용자의 접촉 위치를 판별하게 된다.

햅틱패널(120)은 터치패널(110) 상부에 밀착 구비되며, 패널 표면에 사용자의 손가락이 접촉되어 터치패널(110)에서 이를 감지하면 사용자의 터치가 이루어지는 부분의 위치에 따라 그에 해당하는 햅틱패턴을 접촉된 사용자의 손가락에 전달하는 역할을 수행한다.

이와 같은 햅틱패널(120)은 다양한 방식의 패널이 적용될 수 있으며, 예로써 절연체가 구비된 전도성 전극들로 이루어져 패널 표면에서의 접촉 위치에 따라 전기신호를 발생시킴으로써, 접촉된 사용자의 신체 부위에 전기자극 패턴을 제공하는 전기감응 패널 등을 들 수 있다.

이하의 실시예에서는 본 발명의 햅틱패널을 상술한 전기감응 패널로 예를 들어 설명하기로 한다. 전기감응 패널은 패널 표면에서의 접촉 위치에 따라 전기신호를 발생시킴으로써, 접촉된 사용자의 신체 부위에 전기자극 패턴을 제공하는데, 이러한 전기감응 패널에서 발생되는 전기자극 패턴은 전기신호의 전압, 전류, 파장 및 주파수, 파형 등의 파라메터를 변형시킴에 따라 다양하게 변형이 가능하며, 발생된 정전기 파형에 따라 손가락이 느끼는 촉감(haptic)은 거친 느낌, 부드러운 느낌 등으로 달라져 다양한 햅틱패턴을 구현할 수 있게 된다. 다만, 본 발명의 햅틱패널이 상술한 전기감응 패널로 한정되는 것은 아니며, 접촉된 사용자의 신체부위에 서로 다른 햅틱질감을 제공할 수 있는 다양한 방식의 햅틱패널이 적용될 수 있음은 물론이며, 그 예로 최근 개발되고 있는 필름형 액츄에이터 구동에 따른 진동을 출력하여 햅틱패턴을 구현하는 방식 등에도 적용할 수 있다.

본 발명의 터치스크린(100)은 터치스크린 상에서 사용자의 터치위치를 감지할 경우, 감지된 터치위치를 중심으로 생성되는 단위셀 영역에 햅틱패턴을 제공하며, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속하여 생성하고, 이렇게 연속적으로 생성된 단위셀 영역마다 각각 독립된 햅틱패턴을 제공함으로써, 사용자가 터치스크린의 어느 위치를 터치하여 스캐닝하여도 자신의 손가락에 전해지는 햅틱패턴을 인지하여 터치스크린에 기록된 내용을 순차적으로 인식할 수 있게 된다.

즉, 도 2에 도시된 바와 같이, 사용자가 터치스크린 상의 임의의 위치를 터치할 경우, 터치된 좌표(T)를 중심점으로하여 미리 설정된 일정 크기의 반지름(R)을 갖는 원형의 단위셀 영역(122)이 형성되며, 형성된 단위셀 영역에 햅틱 패턴이 제공된다. 이어서, 도 3에 도시된 바와 같이, 사용자가 터치 드래그 방식으로 이동함으로써, 사용자의 터치위치가 상기 형성된 첫번째 단위셀 영역을 벗어나게 되는 경우, 첫번째 단위셀 영역은 소멸되며, 첫번째 단위셀 영역을 벗어난 사용자의 터치 지점을 새로운 좌표(T2)로 지정하고, 지정된 새로운 좌표(T2)를 중심점으로 하여 다시 일정 크기의 반지름(R)을 갖는 두번째 단위셀 영역이 형성되며, 두번째 단위셀 영역에 해당하는 햅틱 패턴이 제공된다.

이와 같이, 사용자의 터치위치를 추적하여 단위셀이 순차적으로 연속하여 생성되고, 단위셀 영역마다 각각 독립적인 햅틱패턴이 사용자의 손가락에 전해지는 과정이 반복됨으로써, 사용자는 스캔방향에 상관없이 자신의 손가락에 전해지는 햅틱패턴을 순차적으로 인지하여 상기 터치스크린에 디스플레이되는 내용을 인식할 수 있게 된다.

이때, 사용자의 햅틱 패턴 인식을 보다 정확하게 지원하기 위해, 각각의 개별 단위셀 영역(122)에는 외곽둘레를 따라 일정한 간격(d)을 갖는 단위셀 구분 영역(124)이 형성될 수 있으며, 이렇게 형성되는 단위셀 구분 영역(124)에는 스크래치 타입 등의 사전 설정된 특정 전기자극 패턴(124a, 124b)을 전달함으로써 각각의 단위셀 영역(122)을 보다 명확하게 구분할 수 있도록 제공할 수도 있다.

또한, 터치된 좌표(T)를 중심점으로 하여 형성되는 단위셀 영역(122)의 크기는 사용자의 손에서 엄지손가락 또는 검지손가락이 좌우 또는 상하 이동할 수 있는 반경 이내인 것이 바람직하다. 이에 따라, 사용자가 엄지손가락 또는 검지손가락의 연속적인 좌우 또는 상하 이동만으로도 자신의 손가락에 전해지는 햅틱패턴을 인지하여 터치스크린에 디스플레이되는 내용을 인식할 수 있게 되며, 매우 협소한 크기의 터치스크린에서도 텍스트 정보를 연속해서 스캔할 수 있게 된다.

도 4는 본 발명의 일실시예에 따라 단위셀에서 제공하는 햅틱 질감의 실시예들을 보여주는 도면이다.

도 4에 도시된 바와 같이, 터치스크린에 사용자 손가락이 접촉되면, 사용자의 손가락이 접촉된 위치에 존재하는 셀들은 전기신호를 발생시켜 접촉된 사용자의 손가락에 전기자극을 제공하는데, 전기신호의 전압, 전류, 파장 및 주파수, 파형 등의 변형에 따라 울퉁불퉁(bumpy), 결(stripe), 오돌도돌(grainy), 부드러움(smooth), 거친(rough) 촉감 및 아무런 촉감이 느껴지지 않는 햅틱없음(null) 등의 서로 다른 햅틱 질감을 각각의 셀별로 제공할 수 있게 된다. 이에 따라, 사용자가 자신의 손가락으로 터치스크린을 스캔할 경우, 촉감을 통해 각각의 단위셀별로 독립된 햅틱 질감을 인식할 수 있게 된다.

특히, 본 발명은 이와 같은 각각의 단위셀 영역마다 각각 독립적인 전기자극 패턴을 통해 서로 다른 햅틱 질감을 제공함으로써, 연속되어 형성되는 한쌍의 단위셀을 통해 하나의 문자기호를 표현하여, 이들의 조합으로 다양한 텍스트 정보를 제공한다. 이하의 본 발명의 실시예에서는 상기 도 4에 도시된 총 7개의 햅틱 질감을 이용하여 시각 장애인용 문자 표시 방법을 설명하기로 한다.

도 5는 본 발명의 일실시예에서 사용자의 터치위치를 감지하여 생성되는 단위셀 영역마다 각각 독립적인 햅틱패턴이 제공되는 예를 나타낸 도면이다.

먼저 사용자가 터치스크린 상의 임의의 위치를 터치할 경우, 터치된 좌표를 중심점으로하여 미리 설정된 크기를 갖는 단위셀 영역이 형성되며, 형성된 단위셀 영역에 해당하는 햅틱 패턴이 제공된다. 이어서, 사용자가 터치 드래그 방식으로 이동함으로써, 사용자의 터치위치가 상기 형성된 단위셀 영역을 벗어나게 되는 경우, 단위셀 영역을 벗어난 사용자의 터치 지점을 새로운 좌표로 지정하고, 새로운 좌표를 중심점으로 하여 미리 설정된 크기를 갖는 새로운 단위셀 영역이 형성되며, 형성된 새로운 단위셀 영역에 해당하는 새로운 햅틱 패턴이 전달된다.

즉, 사용자의 터치 드래그에 의해 연속적으로 형성되는 두개의 단위셀 영역을 통해, 각각의 단위셀에서 각각 독립적인 전기자극 패턴을 통한 서로 다른 햅틱 패턴을 제공할 수 있도록 구성함으로써, 상기 연속적으로 형성되는 두개의 단위셀에서 제공되는 다양한 햅틱 질감의 조합을 통해, 한쌍의 단위셀에서 하나의 한글자모, 알파벳, 숫자 또는 특수문자 등의 다양한 문자기호를 표현한다.

예를 들어, 도 5에 도시된 바와 같이 사용자가 터치스크린 상의 임의의 위치를 터치할 경우, 터치된 좌표를 중심점으로 하여 미리 설정된 크기를 갖는 단위셀 영역이 형성되며, 형성된 단위셀 영역에 '울퉁불퉁'이라는 전기자극이 사용자의 손가락에 전달된다. 이어서, 사용자가 터치 드래그 방식으로 이동함으로써, 사용자의 터치 위치가 상기 형성된 단위셀 영역을 벗어나게 되는 경우, 먼저 형성된 단위셀 영역은 소멸되고, 단위셀 영역을 벗어난 사용자의 터치지점을 새로운 좌표로 지정하며, 새로운 좌표를 중심점으로 하여 미리 설정된 크기를 갖는 두번째 단위셀 영역이 형성되어, 형성된 단위셀 영역에 '부드러움'이라는 전기자극이 사용자의 손가락에 전달된다.

이에 따라, 사용자가 터치 드래그를 통해 연속적으로 형성되는 각각의 단위셀을 순차적으로 인지함으로써, 사용자는 접촉한 터치스크린에 디스플레이되는 '울퉁불퉁'과 '부드러움'으로 구성된 한쌍의 단위셀을 연속하여 인식할 수 있게 되며, 상기 '울퉁불퉁'과 '부드러움'으로 구성된 한쌍의 단위셀이 'ㅁ'을 의미한다고 미리 약속된 경우, 사용자는 상기 스캔과정을 통해 'ㅁ'이라는 한글자모를 판독할 수 있게 된다.

이와 같이, 연속되는 한 쌍의 단위셀을 통해 하나의 한글자모, 알파벳, 숫자 또는 특수문자 등의 문자기호를 표현할 수 있게 됨으로써, 이들의 조합으로 햅틱 화면에 대한 다양한 텍스트 조합 체계를 생성할 수 있게 된다.

예를 들어, 앞서 도시된 도 4와 같이 아무런 촉감이 느껴지지 않는 햅틱없음(null)은 0, 울퉁불퉁(bumpy)한 촉감은 1, 결(stripe)이 있는 촉감은 2, 오돌도돌(grainy)한 촉감은 3, 부드러운(smooth) 촉감은 4, 거친(rough) 촉감은 5, 격자(grid)형태의 촉감은 6으로 표시하였을 경우, 각각의 단위셀이 7개씩 서로 다른 질감을 표현함으로써, 한쌍의 단위셀을 통해 7*7=49개의 문자셀을 조합할 수 있게 된다. 도 6은 이와 같이, 조합된 49개 쌍의 단위셀 조합을 이용하여 한글자모 및 숫자를 표현한 햅틱 패턴 화면에 대한 텍스트 조합 체계의 한 예를 보여주고 있다.

도 6은 본 발명의 일실시예에 따른 햅틱패턴에 대한 문자기호 조합 체계의 한 예를 보여주는 도면이며, 도 7은 본 발명의 일실시예에 따른 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법의 실시예를 보여주는 도면이다.

상기 도시된 도 6에 따라 도 7의 (a)와 같이, 터치스크린에 '우리'라는 텍스트가 디스플레이 되었다고 가정하는 경우, 사용자는 터치스크린 상의 임의의 지점을 터치하고, 자신이 원하는 방향으로 진행하면서 순차적으로 스캔하게 된다. 이때, 터치스크린은 사용자의 터치지점을 중심으로 미리 설정된 크기를 갖는 단위셀 영역을 형성하며, 형성된 단위셀 영역에는 '결(stripe)' 햅틱 패턴을 접촉된 사용자의 손가락에 전달하게 된다. 이어서, 사용자가 터치 드래그 방식으로 이동함으로써, 사용자의 터치 위치가 상기 형성된 첫번째 단위셀 영역을 벗어나게 되는 경우, 첫번째 단위셀 영역을 벗어난 사용자의 터치지점을 중심으로 일정크기를 갖는 두번째 단위셀 영역을 형성하며, 형성된 두번째 단위셀 영역에는 '햅틱없음(null)' 햅틱 패턴이 접촉된 사용자의 손가락에 전달된다.

이때, 첫번째 단위셀 영역과 두번째 단위셀 영역은 도 7의 (b)와 같이 단위셀 영역의 둘레를 따라 일정한 간격(d)을 갖는 단위셀 구분 영역을 통해, 스크래치 타입의 전기자극 패턴(124a, 124b)이 전달되어 각각의 단위셀 영역을 구분할 수 있도록 제공됨에 따라, 동일한 햅틱 패턴이 연속적으로 전달되어도 사용자는 각각의 단위셀에서 독립된 햅틱질감을 각각 느끼게 되며, 이를 통해 'ㅇ'이라는 한글자모를 인식할 수 있게 된다.

이와 같이, 사용자는 터치 드래그를 통해 일정 간격마다 연속적으로 생성되는 단위셀들을 순차적으로 스캔함으로써 각각의 단위셀별로 접촉된 손가락에 전달받은 전기작극을 통해 터치스크린에 디스플레이되는 '우리'라는 텍스트를 판독할 수 있게 된다.

특히, 본 발명은 도 7의 (c) 또는 (d)에 도시된 바와 같이, 사용자의 임의의 터치 시작점을 중심으로 이동방향에 상관없이 사용자의 터치 드래그의 이동 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공함으로써, 사용자가 터치스크린의 어느 위치를 터치하여 어느 쪽이든 원하는 방향으로 드래그하여 스캐닝하여도 자신의 손가락에 전해지는 햅틱패턴을 인지하여 터치스크린에 기록된 내용을 순차적으로 인식할 수 있게 된다.

상술한 도 6에 도시된 본 발명의 실시예에서는 7가지의 햅틱 질감을 통해 연속하여 생성되는 한 쌍의 단위셀이 각각 7개씩 다른 햅틱 질감을 표현함으로써, 총 49개의 서로 다른 조합을 통해 한글 자모 및 숫자를 표현하였으나, 본 발명이 이에 한정되는 것은 아니며, 좀 더 다양한 햅틱 패턴을 포함하여 영어 알파벳이나, 숫자, 특수기호 등 더 많은 텍스트 조합이 가능함은 물론이다.

또한, 상술한 도 6은 본 발명의 햅틱 패턴을 이용한 시각 장애인용 문자 표시 방법의 실시예일 뿐, 본 발명은 이에 한정되는 것은 아니며, 햅틱 패턴 전자파일 제공자와 사용자 서로간의 약속만 이루어질 수 있다면, 여타의 다양한 햅틱 패턴체계가 제공될 수 있음은 물론이다.

한편, 본 발명의 텍스트 정보는 사용자의 손가락 이동방향과 상관없이 이동거리에 따라 순차적으로 연속하여 제공됨으로써, 사용자가 터치스크린 상에서 사용자의 터치를 해제하지 않는 이상 텍스트 정보를 계속해서 스캔할 수 있게 된다. 즉, 사용자가 터치스크린의 임의의 위치에 손가락을 접촉하고 터치스크린에 떼지 않은 상태로 어느쪽이든 원하는 방향으로 드래그하며 이동하게 되면, 손가락의 이동에 따라 문자기호를 표현하는 햅틱패턴이 전달되고, 사용자는 자신의 손가락에 전해지는 햅틱패턴을 인지하여 터치스크린에 기록된 내용을 순차적으로 인식할 수 있게 된다.

즉, 사용자는 터치스크린 상에서 터치스크린에 접촉된 자신의 손가락을 좌·우로 왕복하는 등의 자연스러운 동작을 통해 터치스크린 상에 디스플레이되는 내용을 보다 편리하게 인식할 수 있게 된다.

또한, 이러한 텍스트 정보는 한글 문장 등이 될 수 있는데, 사용자는 결국 연속적으로 제공되는 다수의 햅틱패턴을 통해 각각의 한글자모를 인지하게 되고, 이들의 조합을 통해 어절과 문장을 인지할 수 있게 된다. 즉, 어절의 첫 한글자모에 해당하는 햅틱패턴부터 순차적으로 인지해야만 하나의 어절을 조합할 수 있게 되고, 이를 통해 다수의 어절로 조합된 문장을 인지할 수 있게 된다.

이에 따라, 본 실시예에서는 사용자의 텍스트 정보 제공 기준을 어절단위로 구분하여 제공하고 있다. 다시 말해, 본 실시예에서는 사용자가 텍스트의 스캔 도중에 터치스크린상에서 사용자의 터치를 해제하게 되면 햅틱패턴을 전달하는 단위셀 영역은 소멸되고, 사용자가 재터치를 하게 되면 다시 사용자의 터치위치를 중심으로 단위셀 영역을 생성하여 햅틱패턴을 전달하도록 구성되고 있으며, 이때 사용자의 재터치시에 제공되는 텍스트 정보는 사용자가 터치 해제 이전에 스캔중이던 어절의 첫 글자로 되돌아가, 첫 글자의 첫 문자기호에 해당하는 햅틱패턴부터 다시 순차적으로 제공하게 된다.

즉, 사용자가 '우리 집에 초대하겠습니다'라는 문장을 스캔한다고 가정할 경우, '우리'를 스캔하는 도중에 터치를 해제할 경우에는 사용자의 재터치시 다시 '우리'의 첫자모에 해당하는 햅틱패턴부터 다시 순차적으로 제공하며, '집에'를 스캔하는 도중에 터치를 해제할 경우에는 사용자의 재터치시 다시 '집에'의 첫자모에 해당하는 햅틱패턴부터 다시 순차적으로 제공한다. 이에 따라, 사용자는 스캔 도중에 터치를 해제하는 경우에도, 재터치시 자신이 스캔중이던 텍스트 정보를 이어서 정확하게 인지할 수 있게 된다.

더불어, 본 발명은 사용자가 자신이 스캔하는 텍스트 정보의 제공을 보다 효과적으로 제어할 수 있도록, 별도의 키버튼 및/또는 사용자의 제스처 인식을 통해 텍스트 정보의 어절 단위, 문장 단위 및/또는 문단 단위의 이동 기능을 제공할 수도 있다. 예를 들어, 터치스크린의 고정된 일측에 별도의 햅틱질감을 제공하는 키버튼을 구비하거나, 또는 터치스크린의 외곽에 별도의 키버튼부를 구비하여, 사용자가 스캔하는 텍스트 정보의 어절, 문장 및/또는 문단 단위의 이동이 가능하도록 제공할 수 있으며, 이외에도 사용자가 터치스크린을 짧게 두번 터치한 후 그대로 손을 떼지않고 좌우로 이동할 경우에는 텍스트 정보의 어절단위의 이동이 가능하도록 제공하고, 두개의 손가락을 터치스크린에 접촉시켜 상하로 이동할 경우에는 문장단위의 이동이 가능하도록 제공하는 등과 같이, 터치스크린 상에서의 사용자의 제스처 인식을 통한 텍스트 정보의 이동 기능을 제공할 수도 있음은 물론이다.

상술한 바와 같이, 본 발명은 사용자가 터치스크린 상의 어느 위치에서 어느 방향으로 스캔을 진행하는 경우에도 터치스크린에 디스플레이되는 내용을 인식할 수 있게 됨에 따라, 사용자는 터치스크린상에 디스플레이되는 텍스트를 인식하기 위하여 별도의 스캔 시작위치를 찾을 필요가 없다. 또한, 사용자의 터치 드래그가 이동하는 궤적을 따라 일정 간격마다 단위셀 영역을 순차적으로 연속 생성하여, 단위셀 영역마다 각각 독립적인 햅틱패턴이 제공됨에 따라, 사용자가 터치스크린상에서 시작위치나 스캔방향에 구애됨 없이 편안하게 텍스트 정보를 연속적으로 스캔할 수 있기 때문에 터치스크린의 한정된 화면 영역에 제한받지 않고 텍스트 정보를 효과적으로 인식할 수 있게 된다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백하다 할 것이다.

100 : 터치스크린 110 : 터치패널
120 : 햅틱패널 122 : 단위셀 영역
124 : 단위셀 구분 영역

Claims (12)

1. 사용자의 터치 위치를 감지하는 터치패널과 상기 터치패널에 밀착 구비되어 접촉된 사용자의 신체요소에 햅틱패턴을 전달하는 햅틱패널이 일체로 구성된 터치스크린 상에서 제공되는 시각 장애인용 문자 표시 방법에 있어서,
   상기 터치스크린 상에서 사용자의 터치위치를 감지하여, 감지된 터치위치를 중심으로 미리 설정된 일정크기로 생성되는 단위셀 영역에 햅틱패턴을 전달하고,
   사용자의 터치 드래그가 이동하는 궤적을 따라 미리 설정된 일정 간격으로 단위셀 영역을 순차적으로 연속 생성하여, 생성된 단위셀 영역마다 각각 독립적인 햅틱패턴을 제공하도록 구성하여,
   상기 연속적으로 생성되는 각각의 단위셀 영역에서 순차적으로 제공되는 햅틱패턴의 조합을 통해 텍스트를 구성하는 문자기호를 표현함으로써, 사용자가 자신의 신체요소를 통한 터치스크린의 스캔을 통해 상기 연속적으로 생성되는 단위셀별로 자신의 신체 요소에 전달되는 햅틱패턴을 인지함으로써 터치스크린에 디스플레이되는 텍스트 정보를 인식할 수 있는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
   
2. 제 1항에 있어서,
   상기 단위셀 영역은,
   감지된 터치위치의 좌표를 중심점으로 하여 미리 설정된 일정 크기의 반지름을 갖는 원형의 영역으로 형성되는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
   
3. 제 2항에 있어서,
   상기 단위셀에는,
   상기 단위셀 영역의 외곽둘레를 따라 단위셀 구분 영역이 형성되는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
   
4. 제 3항에 있어서,
   상기 단위셀 구분 영역에는,
   미리 설정된 특정패턴의 햅틱패턴이 제공되는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
   
5. 제 1항에 있어서,
   상기 사용자의 터치 드래그가 이동하는 궤적을 따라 단위셀 영역을 순차적으로 연속 생성함에 있어서는,
   사용자의 터치 드래그 이동을 통한 사용자의 터치 위치가 기 생성된 단위셀 영역을 벗어나는 경우,
   상기 단위셀 영역을 벗어난 사용자의 터치 위치를 새로운 좌표로 지정하고, 지정된 새로운 좌표를 중심점으로 하여 새로운 단위셀 영역을 생성하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
   
6. 제 5항에 있어서,
   상기 새로운 단위셀 영역이 생성되는 경우, 기 생성된 단위셀 영역은 소멸되는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
   
7. 제 1항에 있어서,
   상기 햅틱패턴은,
   아무런 촉감이 느껴지지 않는 햅틱없음(null), 울퉁불퉁(bumpy)한 촉감, 결(stripe)이 있는 촉감, 오돌도돌(grainy)한 촉감, 부드러운(smooth) 촉감, 거친(rough) 촉감 및 격자(grid) 형태 촉감의 7가지 서로 다른 촉감을 포함하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
   
8. 제 1항에 있어서,
   상기 문자기호는,
   한글자모, 알파벳, 숫자 또는 특수문자를 포함하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
   
9. 제 1항에 있어서,
   상기 햅틱패턴의 조합을 통한 문자기호의 표현은,
   연속적으로 생성되는 두 개의 단위셀 영역에서 각각 독립적으로 전달되는 햅틱패턴의 조합을 통해 이루어지는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
   
10. 제 1항에 있어서,
    상기 텍스트 정보는,
    사용자가 상기 터치스크린 상에서의 터치를 일시적으로 해제한 뒤 다시 재터치할 경우, 사용자가 터치 해제 이전에 스캔중이던 어절의 첫 문자기호부터 다시 제공하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
    
11. 제 1항에 있어서,
    상기 터치스크린 상에서, 접촉된 사용자의 신체요소를 통해 전달되는 사용자의 제스처 인식을 통해, 상기 터치스크린에 디스플레이되는 텍스트 정보의 어절 단위, 문장 단위 또는 문단 단위의 이동을 제공하는 기능을 추가로 구비하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.
    
12. 제 1항에 있어서,
    상기 터치스크린에 상기 터치스크린에 디스플레이되는 테스트의 정보의 이동을 위한 별도의 키버튼부를 구비하여,
    상기 키버튼부를 통한 사용자의 버튼 입력에 따라 상기 터치스크린에 디스플레이되는 텍스트 정보의 어절 단위, 문장 단위 또는 문단 단위의 이동을 제공하는 기능을 추가로 구비하는 것을 특징으로 하는 햅틱패턴을 이용한 시각 장애인용 문자 표시 방법.

Images