KR102454604B1 - 동작감지형 점자 디스플레이 장치의 제스처 명령 수행 방법 및 장치 - Google Patents

Abstract

본 발명은 점자 디스플레이 장치에서 점자를 읽는 시각장애 사용자의 손가락의 터치동작을 실시간으로 추적하여 그에 따른 제스처 명령을 자동으로 수행하는 기술 및 그 장치에 관한 것이다.
점자 표시장치에 접촉하는 시각장애 사용자의 손가락 위치를 실시간으로 추적하여 분석하고, 그 결과를 근거로 손가락의 제스처 형태를 판단한 후 그 판단된 제스처가 제스처 명령 테이블에 미리 저장된 제스처 형태들 중에서 어느 하나와 일치할 때 해당 제스처에 할당된 명령을 수행한다.
또한 제스처가 제스처 명령 테이블에 미리 저장된 제스처 형태들 중에서 어느 것과도 일치하지 않을 때 이를 사용자가 점자 디스플레이에 표시된 점자를 열람하기 위한 동작으로 사용자 의도를 해석하고, 표시된 점자를 모두 열람했을 때 자동으로 스크롤이 수행되는 기능을 포함한다.
제스처 U/I는 시각 장애인이 스마트폰으로 전화를 걸고 받을 때 사용하는 친숙한 기기조작 방법이므로, 시각장애 사용자가 점자 텍스트 정보를 열람할 때도 제스처 U/I를 사용할 수 있게 함으로써, 별도의 훈련 과정 없이 기기를 조작할 수 있는 사용상의 편리성 증대 효과가 있다.

Description

동작감지형 점자 디스플레이 장치의 제스처 명령 수행 방법 및 장치{METHOD AND APPARATUS FOR GESTURE COMMENDS OF TOUCH-SENSITIVE BRAILLE DISPLAY DEVICE}

본 발명은 시각장애인용 점자 디스플레이 장치의 손가락 제스처 명령을 구현하는 기술에 관한 것으로, 더욱 상세하게는 점자 디스플레이 장치의 점자 표시부에서 시각 장애인의 손가락 움직임을 실시간으로 추적하여 그에 따른 제스처 명령을 구현할 수 있도록 한 점자 디스플레이 장치의 제스처 명령 수행 방법 및 장치에 관한 것이다.

점자는 시각장애인용 문자로서 전맹, 농맹 및 저시력 장애인이 촉각으로 식별할 수 있도록 지면에 일정한 형태의 점으로 돌출시킨 문자 형태를 말한다. 시각장애인은 돌출된 점자를 손가락 끝으로 만지거나 접촉하여 점자에 내재된 문자나 부호의 의미를 인식할 수 있다. 점자는 6개 또는 8개의 점형을 이용하여 문자나 숫자 또는 각종 기호들을 표현할 수 있다.

시각장애인의 문자 정보 수단으로써 전통적으로는 종이를 압인해 점형을 돌출시킨 점자책이 주로 사용되었으나, 기술의 발전에 따라 최근에는 전자적으로 점형의 입출력이 제어되는 점자 디스플레이 장치가 폭넓게 활용되고 있다.

일반적으로, 점자 디스플레이 장치는 모니터에 출력되는 문자정보에 따라 동작하는 점자 모듈들을 구비한다. 하나의 점자 모듈은 주로 4×2개로 구성된 점자핀과, 점자핀의 하측에서 점자핀들과 대응되게 설치되어 동작하는 복수 개의 액추에이터로 구성된다. 점자 디스플레이 장치는 액추에이터의 유형에 따라 솔레노이드 방식, 압전체 방식, 고분자 유전체 방식 등으로 분류된다.

또한, 시각 장애인이 점자 디스플레이 장치를 이용하여 각종 통신기기나 인터넷 사이트로부터 공급되는 점자 텍스트 정보를 열람하는 경우, 텍스트의 이전 줄로 이동하거나 다음 줄로 이동하는 스크롤 이동, 항목이동, 메뉴 호출 및 실행 등의 사용자 인터페이스 기능을 필요로 한다.

그런데, 종래 기술에 의한 점자 디스플레이 장치에서는 시각 장애인이 스크롤 이동, 항목이동, 메뉴 호출 및 실행 등의 명령을 수행할 때마다 여러 개의 키를 조합하는 단축키 명령을 사용해야 하므로 시각장애인이 능숙하게 기기를 다루려면 사용 방법을 익히기 위한 일정한 훈련을 받아야 하는 불편함이 있다.

본 발명이 해결하고자 하는 과제는 점자 디스플레이 장치에서 점자를 출력 할 때 시각장애인의 손가락이 접촉하는 점자 표시장치 표면의 터치 정보를 실시간으로 수집 및 분석하고 그에 따른 제스처 형태가 룩업테이블에 미리 저장된 제스처 형태들 중에서 하나와 일치할 때 해당 제스처에 할당된 명령을 자동으로 수행할 수 있도록 하는데 있다.

나아가 제스처 명령 수행을 위한 손동작과 단순히 점자 표시장치에 출력된 점자를 읽기 위한 사용자의 손동작 간의 차이를 식별함으로써, 사용자 의도에 따라 능동적으로 반응하는 점자 표시장치를 구현하고자 한다.

상기 기술적 과제를 이루기 위한 본 발명의 일 실시예에 따라 복수 개의 점자 돌출부로 이뤄진 점자 표시부를 이용하여, 사용자의 손가락 제스처 형태에 따른 제스처 명령을 수행하는 점자 디스플레이 장치의 제스처 명령 수행 방법은, 상기 점자 표시부 내 설치된 각 점자셀의 액추에이터를 구동하여, 출력하고자 하는 점자 텍스트 데이터에 대응하는 상기 점자셀을 돌출시키는 점자 출력 단계, 상기 점자셀 내 터치감지센서로부터 수집한 터치감지신호를 근거로 손가락과 적어도 하나의 상기 점자셀 간의 터치동작을 감지하여, 상기 터치동작에 따른 제스처 형태를 분석하는 제스처 형태 분석 단계, 상기 제스처 형태가 룩업테이블에 사전 저장된 제스처 형태들 중 어느 하나와 일치하는 유효한 제스처 형태인지 확인하는 제스처 형태 확인 단계, 상기 제스처 형태가 유효할 경우에는 상기 제스처 형태를 사용자 의도에 기반한 터치 동작으로 판단하고, 상기 제스처 형태가 유효하지 않을 경우에는 상기 제스처 형태가 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단하는 사용자 의도 해석 단계, 상기 제스처 형태가 사용자 의도에 기반한 터치 동작으로 판단될 경우, 상기 제스처 형태에 사전 할당된 명령을 수행하는 제스처 명령 실행 단계, 및 상기 제스처 형태가 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단될 경우, 상기 점자셀의 돌출 개수를 기준으로 스크롤을 동적 조정하는 자동 스크롤 명령 실행 단계를 포함한다.

이때, 상기 터치감지신호는, 상기 점자셀의 돌출 여부와 관계 없이, 사용자의 손가락이 접촉하는 점자핀 하부에 매립된 터치감지센서로부터 감지될 수 있다.

한편, 상기 제스처 형태 분석 단계는, 상기 점자 표시부의 전체 영역을 복수 개의 영역으로 설정하고, 상기 복수 개의 영역 중 적어도 일부를 상기 제스처 형태를 인식하고자 하는 대상영역으로 설정하는 단계 및 상기 대상영역에 위치된 상기 터치감지센서의 터치감지신호를 근거로 상기 대상영역에서 손가락과 적어도 하나의 상기 점자셀들 간의 터치동작을 감지하여 상기 제스처 형태를 분석하는 단계를 포함할 수 있다.

또한, 상기 제스처 형태 분석 단계에서는, 상기 제스처 형태를 분석할 때 터치된 점자셀의 위치, 터치 지속시간, 터치된 점자셀의 범위, 터치된 점자셀의 개수, 터치 공백, 터치 민감도, 그룹터치 소요시간 및 터치 공백 지속시간 중에서 어느 하나 이상을 근거로 터치된 손가락의 개수 및 손가락의 이동 방향을 산출하여 제스처 형태를 식별할 수 있다.

상기 사용자 의도 해석 단계는, 상기 제스처 형태가 상기 터치감지신호의 초기화가 이루어지지 않은 상태에서 연속적으로 발생하는 터치동작에 의한 제스처 형태일 경우, 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단하는 단계를 더 포함할 수 있다.

이때, 상기 제스처 형태는, 손가락으로 적어도 1회 이상 두드리는 동작을 수행할 때의 터치동작 및 상기 점자셀을 정방향 또는 역방향으로 쓸기할 때의 터치동작을 포함할 수 있다.

한편, 상기 제스처에 사전 할당된 명령은, 항목이동, 메뉴 실행, 커서 위치 이동 및 자동 스크롤 중 어느 하나일 수 있다.

또한, 상기 자동 스크롤 명령 실행 단계는, 최우측에 돌출된 점자셀이 속하는 행을 복수 개로 분류한 섹션들을 대상으로, 상기 섹션별로 위치된 점자셀로부터 적어도 한번의 터치감지신호를 수신하는 단계, 상기 최우측에 돌출된 점자셀의 터치감지신호를 수신하는 단계 및 상기 최우측에 돌출된 점자셀의 터치 해제 시부터 일정 영역 내에 위치한 어느 하나의 점자 셀이 터치될 때까지 스크롤을 동적 조정하는 단계를 포함할 수 있다.

상기 터치감지센서는, 상기 점자핀 하부에 연성 회로 기판(FPCB, Flexible Printed Circuit board)를 밀착하여 매립된 것을 포함할 수 있다.

여기서, 상기 연성 회로 기판은, 점의 돌출을 표시하는 점형 구조물이 상승 또는 하강하도록 상기 점의 개수에 대응되는 홀(hole)을 포함할 수 있다.

상기 기술적 과제를 이루기 위한 본 발명의 다른 실시예에 따라 복수 개의 점자 돌출부로 이뤄진 점자 표시부를 이용하여, 사용자의 손가락 제스처 형태에 따른 제스처 명령을 수행하는 점자 디스플레이 장치의 제스처 명령 수행 장치는, 메모리(memory) 및 상기 메모리에 저장된 적어도 하나의 명령을 실행하는 프로세서(processor)를 포함하되, 상기 적어도 하나의 명령은, 상기 점자 표시부 내 설치된 각 점자셀의 액추에이터를 구동하여, 출력하고자 하는 점자 텍스트 데이터에 대응하는 상기 점자셀을 돌출시키도록 하는 명령, 상기 점자셀 내 터치감지센서로부터 수집한 터치감지신호를 근거로 손가락과 적어도 하나의 상기 점자셀 간의 터치동작을 감지하여, 상기 터치동작에 따른 제스처 형태를 분석하도록 하는 명령, 상기 제스처 형태가 룩업테이블에 사전 저장된 제스처 형태들 중 어느 하나와 일치하는 유효한 제스처 형태인지 확인하도록 하는 명령, 상기 제스처 형태가 유효할 경우에는 상기 제스처 형태를 사용자 의도에 기반한 터치동작으로 판단하고, 상기 제스처 형태가 유효하지 않을 경우에는 상기 제스처 형태가 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단하도록 사용자의 의도를 해석하도록 하는 명령, 상기 제스처 형태가 사용자 의도에 기반한 터치 동작으로 판단될 경우, 상기 제스처 형태에 사전 할당된 명령을 수행하도록 하는 명령 및 상기 제스처 형태가 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단될 경우, 상기 점자셀의 돌출 개수를 기준으로 스크롤을 동적 조정하도록 하는 명령을 포함한다.

이때, 상기 터치감지신호는, 상기 점자셀의 돌출 여부와 관계 없이, 사용자의 손가락이 접촉하는 점자핀 하부에 매립된 터치감지센서로부터 감지될 수 있다.

한편, 상기 제스처 형태를 분석하도록 하는 명령은, 상기 점자 표시부의 전체 영역을 복수 개의 영역으로 설정하고, 상기 복수 개의 영역 중 적어도 일부를 상기 제스처 형태를 인식하고자 하는 대상영역으로 설정하도록 하는 명령 및 상기 대상영역에 위치된 상기 터치감지센서의 터치감지신호를 근거로 상기 대상영역에서 손가락과 적어도 하나의 상기 점자셀들 간의 터치동작을 감지하여 상기 제스처 형태를 분석하도록 하는 명령을 포함할 수 있다.

또한, 상기 제스처 형태를 분석하도록 하는 명령에서는, 상기 제스처 형태를 분석할 때 터치된 점자셀의 위치, 터치 지속시간, 터치된 점자셀의 범위, 터치된 점자셀의 개수, 터치 공백, 터치 민감도, 그룹터치 소요시간 및 터치 공백 지속시간 중에서 어느 하나 이상을 근거로 터치된 손가락의 개수 및 손가락의 이동 방향을 산출하여 제스처 형태를 식별할 수 있다.

상기 사용자의 의도를 해석하도록 하는 명령은, 상기 제스처 형태가 상기 터치감지신호의 초기화가 이루어지지 않은 상태에서 연속적으로 발생하는 터치동작에 의한 제스처 형태일 경우, 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단하도록 하는 명령을 더 포함할 수 있다.

이때, 상기 제스처 형태는, 손가락으로 적어도 1회 이상 두드리는 동작을 수행할 때의 터치동작 및 상기 점자셀을 정방향 또는 역방향으로 쓸기할 때의 터치동작을 포함할 수 있다.

한편, 상기 제스처에 사전 할당된 명령은, 항목이동, 메뉴 실행, 커서 위치 이동 및 자동 스크롤 중 어느 하나일 수 있다.

또한, 상기 스크롤을 동적 조정하도록 하는 명령은, 최우측에 돌출된 점자셀이 속하는 행을 복수 개로 분류한 섹션들을 대상으로, 상기 섹션별로 위치된 점자셀로부터 적어도 한번의 터치감지신호를 수신하도록 하는 명령, 상기 최우측에 돌출된 점자셀의 터치감지신호를 수신하도록 하는 명령, 및 상기 최우측에 돌출된 점자셀의 터치 해제 시부터 일정 영역 내에 위치한 어느 하나의 점자 셀이 터치될 때까지 스크롤을 동적 조정하도록 하는 명령을 포함할 수 있다.

상기 터치감지센서는, 상기 점자핀 하부에 연성 회로 기판(FPCB, Flexible Printed Circuit board)를 밀착하여 매립될 수 있다.

이때, 상기 연성 회로 기판은, 점의 돌출을 표시하는 점형 구조물이 상승 또는 하강하도록 상기 점의 개수에 대응되는 홀(hole)을 포함할 수 있다.

본 발명은 점자 디스플레이 장치에서 점자 텍스트를 표시할 때, 시각 장애인의 손가락과 점자셀들 간의 터치동작을 실시간으로 모니터링하고 그에 따른 제스처 형태가 룩업테이블에 미리 저장된 제스처 형태들 중에서 하나와 일치할 때 해당 제스처에 할당된 명령을 자동으로 수행함으로써, 시각 장애인이 점자 텍스트 정보를 열람할 때 필요한 명령을 보다 쉽게 내릴 수 있는 효과가 있다.

또한, 본 발명은 시각장애인이 스마트폰으로 전화를 걸거나 받을 때 사용하는 제스처 동작을 사용할 수 있게 함으로써, 사용 방법을 익히기 위한 훈련 없이 사용상의 숙련도를 향상시킬 수 있는 효과가 있다.

또한, 본 발명은 점자 디스플레이 장치의 크기를 증대시키지 않고 동작감지 기능을 구비한 점자 디스플레이 장치를 구현함으로써, 해당 장치를 탑재한 다양한 완제품을 개발 할 수 있는 효과가 있다.

도 1은 본 발명에 따른 점자 디스플레이 장치의 개략적인 사시도이다.
도 2는 본 발명에 따른 점자 디스플레이 장치의 블록 구성도이다.
도 3은 점자 디스플레이 장치의 작동 원리를 설명하기 위한 점자 표시부 상의 3개 점자셀의 부분 확대도이다.
도 4는 본 발명의 점자 디스플레이 장치 내에 배치되는 인쇄회로기판의 이미지이다.
도 5는 도 4의 인쇄회로기판에 실장된 서브 컨트롤러의 주요 작동 원리를 설명하기 위한 블록 구성도이다.
도 6은 도 5의 서브 컨트롤러의 주요 작동 원리를 설명하기 위한 그래프이다.
도 7은 본 발명의 실시예에 따른 점자 디스플레이 장치의 제스처 명령 수행 방법의 제어 순서도이다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 가장 바람직한 실시예를 첨부된 도면을 참조로 하여 상세히 설명한다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. “및/또는”이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

이하에서 설명되는 실시 예는 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위하여 제공되는 것으로, 본 발명은 이하에서 개시되는 실시 예에 한정되지 않고 다양한 형태로 구현될 수 있다.

도 1은 본 발명의 실시예에 의한 점자 디스플레이 장치의 개략적인 사시도이고, 도 2는 점자 디스플레이 장치의 소프트웨어 구성들을 설명하기 위한 블록 구성도이다.

도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 점자 디스플레이 장치(10)는 제어부(11), 저장부(12), 점자 표시부(13), 입출력부(14), 통신부(15), 전원부(16) 및 하우징(17)을 포함한다.

제어부(11)는 저장부(12)에 저장된 프로그램을 수행하거나, 입출력부(14)를 통해 입력되는 신호에 따라 점자 디스플레이(표시 또는 출력) 동작을 제어하거나, 통신부(15)를 통해 외부(예: 인터넷 사이트)로부터 수신되는 점자 텍스트에 따라 점자 디스플레이 동작을 제어한다. 이와 같은 상태에서, 제어부(11)는 점자 표시부(13) 상에서 시각 장애인 또는 사용자의 손가락(이하, ‘손가락’이라 칭함)과 점자 셀들 간의 터치동작을 실시간으로 감지하고 그 감지 결과를 근거로 손가락의 제스처 형태를 판단한다. 제어부(11)는 제스처 형태들 중 제스처 명령 테이블에 저장된 제스처 형태가 있는지 확인하여 있는 것으로 판명된 경우 제스처 명령 테이블에 저장된 해당 명령을 수행한다.

여기서, 상기 제스처 형태 및 명령들은 터치된 점자셀의 위치, 터치 지속시간, 터치된 셀의 범위, 터치된 셀의 개수, 터치 공백, 터치 민감도, 총 터치 소요시간 중 어느 하나 이상에 의해 결정된다.

제어부(11)는 프로세서 형태를 구비할 수 있다. 제어부(11)는 계산을 수행하는 연산장치(ALU: Arithmetic Logic Unit), 데이터 및 명령어 등을 일시적으로 저장하기 위한 레지스터 및 미들웨어 간 인터페이스 장치를 제어하거나 관리하기 위한 컨트롤러를 구비할 수 있다. 상기 컨트롤러는 디지털(Digital) 사의 알파(Alpha), MIPS 테크놀러지, NEC, IDT, 지멘스(Siemens) 등의 MIPS, 인텔(Intel)과 사이릭스(Cyrix), AMD 및 넥스젠(Nexgen)을 포함하는 회사의 x86 및 IBM과 모토롤러(Motorola)의 파워PC(PowerPC)와 같은 다양한 아키텍쳐(Architecture)를 구비할 수 있다.

실시예에 따라 보다 자세히 설명하면, 제어부(11)는 저장부(12)에 저장된 적어도 하나의 프로그램 명령을 수행할 수 있다.

여기서, 적어도 하나의 명령은, 상기 점자 표시부 내 설치된 각 점자셀의 액추에이터를 구동하여, 출력하고자 하는 점자 텍스트 데이터에 대응하는 상기 점자셀을 돌출시키도록 하는 명령, 상기 점자셀 내 터치감지센서로부터 수집한 터치감지신호를 근거로 손가락과 적어도 하나의 상기 점자셀 간의 터치동작을 감지하여, 상기 터치동작에 따른 제스처 형태를 분석하도록 하는 명령, 상기 제스처 형태가 룩업테이블에 사전 저장된 제스처 형태들 중 어느 하나와 일치하는 유효한 제스처 형태인지 확인하도록 하는 명령, 상기 제스처 형태가 유효할 경우에는 상기 제스처 형태를 사용자 의도에 기반한 터치동작으로 판단하고, 상기 제스처 형태가 유효하지 않을 경우에는 상기 제스처 형태가 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단하도록 사용자의 의도를 해석하도록 하는 명령, 상기 제스처 형태가 사용자 의도에 기반한 터치 동작으로 판단될 경우, 상기 제스처 형태에 사전 할당된 명령을 수행하도록 하는 명령 및 상기 제스처 형태가 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단될 경우, 상기 점자셀의 돌출 개수를 기준으로 스크롤을 동적 조정하도록 하는 명령을 포함할 수 있다.

예를 들어, 제어부(11)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다.

제어부(11)는 터치된 점자셀 정보 및 출력된 점자 셀 정보를 바탕으로 로그데이터를 생성하여 저장할 수 있다.

저장부(12)는 제어부(11)의 동작에 필요한 프로그램이나 설정 정보를 저장하거나 점자 텍스트를 저장할 수 있다. 저장부(12)는 RAM(Random Access Memory)과 ROM(Read Only Memory)과 같은 저장 매체 형태의 메인 메모리, 또는 하드 디스크, 플래시 메모리 등의 장기(lon-term) 저장 매체 형태의 보조 메모리를 포함할 수 있다. 저장부(12)에는 제스처 형태에 대응되게 제스처 명령들(예: 스크롤, 항목이동, 메뉴 호출 및 실행 명령 등)이 기재된 제스처 명령 테이블이 저장되어 있다.

점자 표시부(13)는 복수 개의 점자 돌출부로 이루어진 단위 셀을 1개 이상 포함한다. 점자 표시부(13)는 제1의 방향의 하나의 라인에 16, 18, 20, 32, 40, 80 개 등의 다수의 점자 칸(점자 셀에 대응함)을 구비할 수 있다. 각 점자 돌출부는 제어부(11)에 의해 동작하는 구동부(13a)의 동작에 따라 미리 설정된 단위 셀들의 돌출 조합(점자)을 출력할 수 있다. 점자 표시부(13)는 구동부(13a)와 단일 모듈 형태를 가질 수 있다.

구동부(13a)는 각 점자 돌출부 또는 점자셀에 각기 연결되며 제1 방향으로 연장 배열되는 복수 개의 점자셀에 대응하여 배치되는 복수 개의 구동수단을 포함할 수 있다. 구동수단은 점자셀에 연결되며 제어부(11)로부터 출력되는 제어신호에 대응하는 점자가 점자 표시부(13)에 디스플레이되도록 각 점자셀을 구동시킨다. 각 구동수단은 모터, 피스톤 또는 이들의 조합 등을 포함하여 구현될 수 있다.

입출력부(14)는 제어부(11)에 사용자 입력신호를 전달하고, 제어부(11)의 출력신호를 사용자에게 전달하는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 포함할 수 있다. 또한, 입출력부(14)는 이기종 장치의 미들웨어와 연결되는 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 포함할 수 있다. 이러한 입출력부(14)는 다양한 형태의 사용자 인터페이스(UI: User Interface)를 포함할 수 있다. 예를 들어, 입출력부(14)는 입력포트, 출력포트, 키보드, 마우스, 디스플레이 장치, 터치 패널 또는 이들의 조합을 포함할 수 있다. 키보드나 마우스는 예컨대 터치 스크린 또는 마이크로폰과 같은 물리적 변환기 등을 포함할 수 있다. 또한, 입출력부(14)는 사용자 인터페이스의 입력 또는 질의에 응답하거나 장치의 관리를 위한 그래픽 화면을 제공하기 위해 동영상 보드를 포함할 수 있다.

통신부(15)는 네트워크를 통해 다른 통신 장치와 연결되어 데이터를 송수신할 수 있는 수단이나 이러한 수단에 상응되는 기능을 수행하는 구성부를 포함할 수 있다. 통신부(15)는 네트워크(예: 인터넷)를 통해 연결되는 소정의 서버 장치로부터 점자 디스플레이 장치(10)의 구동을 위한 프로그램을 수신할 수 있다. 통신부(15)는 미들웨어나 사용자 인터페이스와 통신을 수행하는 네트워크 인터페이스로서, 유선, 무선 또는 이들 모두를 위한 인터페이스를 포함할 수 있다.

전원부(16)는 점자 디스플레이 장치(10)의 각부에 공급되는 전원을 제어하며, 파워를 온 또는 오프하기 위한 파워스위치(PWR)를 포함할 수 있다.

하우징(17)은 점자 디스플레이 장치(10)의 외관을 형성하고, 이 점자 디스플레이 장치(10)의 구성요소들을 수납하며 그것들을 지지하고 보호하는 역할을 한다. 하우징(10)은 평평한 하부면과 상부면을 구비할 수 있고, 상부면에는 입력버튼(14a, 14b)이 배치되고, 하부면에 점자 표시부(13)가 배치될 수 있다.

도 3은 점자 디스플레이 장치의 작동 원리를 설명하기 위한 점자 표시부(13) 상의 3개의 점자셀(131-133)을 부분 확대도이다.

도 3을 참조하면, 점자 표시부(13) 상에서 사용자가 손가락(81)을 사용하여 점자 텍스트를 읽고 있을 때, 손가락(81)이 제1 점자셀(131)의 전체와 제2 점자셀(132)의 일부에 터치된 경우 제어부(11)는 제1 점자셀(131)과 제2 점자셀(132)에서의 정전용량 값의 변화를 감지하고, 두 정전용량 값의 변화 차이를 비교한 후 이를 토대로 제2 점자셀(132)에 손가락(81)이 위치한 것으로 판단할 수 있다.

좀더 구체적으로 설명하면, 제어부(11)는 점자 표시부(13) 상에서 터치되는 다중 점자 셀의 주소를 파악하고, 점자 표시부(13)로 출력되는 다중 점자 셀의 텍스트 내 위치를 파악하고, 앞서 파악한 두 가지의 정보를 비교 분석하여 메타 데이터와 정확하게 동기할 수 있다. 예컨대, 제어부(11)는 파악되는 2개의 콜백(callback) 함수를 비교하여 연산함으로써 메타데이터(일반적인 텍스트 등) 상의 사용자 독서 위치를 정확하게 추적할 수 있다.

물론, 사용자의 손가락이 단일 점자 셀 상에만 위치하는 경우, 별도의 정전용량 값의 변화분에 대한 비교를 생략하고, 해당 점자 셀을 손가락이 위치하는 점자 셀로 판별할 수 있다.

도 4는 본 발명의 점자 디스플레이 장치 내에 배치되는 인쇄회로기판의 이미지이다.

도 4를 참조하면, 본 발명의 실시예에 따른 인쇄회로기판(110)은 서브 컨트롤러(111), 제1 배선(112), 저항소자(113), 점자셀 결합부(114), 제2 배선(115) 및 커넥터(116)를 포함할 수 있다.

여기서, 상기 인쇄회로기판(110)은 연성 회로 기판(Flexible Printed Circuit board, FPCB)일 수 있다. 예를 들어, 연성 회로 기판은 점의 돌출을 표시하는 점형 구조물이 상승 또는 하강하도록 상기 점의 개수에 대응되는 홀(hole)을 포함할 수 있다.

서브 컨트롤러(111)는 마이크로프로세서와 입출력 모듈을 하나의 칩으로 만들어 미리 정해진 기능을 수행하도록 구현한 컴퓨팅 장치일 수 있다. 본 실시예에서 서브 컨트롤러(111)는 먹스(MUX: Multiplexor), CSM(Capacitive Sensing Module) 및 타이머를 포함할 수 있다.

서브 컨트롤러(111)는 점자셀 결합부(114)에 기설정 패턴 혹은 일정 주파수의 신호(기준 신호)를 전송하고, 기준 신호를 모니터링할 수 있다. 또한, 서브 컨트롤러(111)는 모니터링 중에 기준 신호의 주파수가 미리 정한 주파수(문턱값)보다 커지는 경우를 감지할 수 있다.

제1 배선(112)은 서브 컨트롤러(111)와 점자셀 결합부(114)를 연결하는 도전성 패턴을 포함할 수 있다. 제1 배선(112)은 복수 개의 점자셀들 각각에 결합하는 복수의 도전성 패턴 라인들을 구비할 수 있다.

인쇄회로기판(110)의 각 도전성 패턴 라인에는 서브 컨트롤러(111)와 각 점자셀 결합부(114)(또는 각 점자셀)과의 사이에 저항 소자(113)가 배치될 수 있다. 이러한 저항 소자(113)에 의하면, 각 점자셀에서의 커패시턴스와 저항 소자에 의한 전압 분배 노드를 출력으로 하는 셀 커패시턴스 감지 회로를 구현할 수 있다.

점자셀 결합부(114)는 점자셀에 결합된다. 점자셀에서 전기 신호가 발생되면, 점자셀 결합부(114)는 발생된 전기 신호를 제1 배선(112)을 통해 서브 컨트롤러(111)로 전달할 수 있다. 본 실시예에서 점자셀 결합부(114)는 32개의 점자셀들에 대응하여 각각 배치되는 32개의 점자셀 결합부들로 구현될 수 있다.

제2 배선(115)은 서브 컨트롤러(111)의 모니터링 결과를 메인 컨트롤러로 전달할 수 있다. 제2 배선(116)은 서브 컨트롤러(111)와 메인 컨트롤러 사이의 인터페이스에 따라 병렬 신호를 처리하기 위한 배선 구조를 구비할 수 있다.

커넥터(116)는 제2 배선(116)의 말단에 결합한다. 커넥터(116)는 FPC의 절연층이 제거된 배선 노출부로 구현될 수 있다. 또한, 커넥터(116)는 배선 노출부에 결합하는 커넥터 구조물을 포함하도록 구현될 수 있다.

도 5는 도 4의 인쇄회로기판(110)에 실장된 서브 컨트롤러의 주요 작동 원리를 설명하기 위한 블록 구성도이고, 도 6은 도 5의 서브 컨트롤러(111)의 주요 작동 원리를 설명하기 위한 그래프이다.

도 5를 참조하면, 본 실시예에 따른 점자 디스플레이 장치의 서브 컨트롤러(111)는 점자핀(133x)을 포함하는 점자 셀에서 변하는 정전용량(Cp)을 먹스(111a)를 통해 CSM(111b)에서 감지하고, 제1 타이머(111c)를 통해 단위 시간당 주파수가 가장 낮거나 높은 점자셀을 선택하도록 구현될 수 있다. 이러한 점자셀 선택 정보는 메인 컨트롤러로 전달될 수 있다.

점자셀의 커패시턴스는 다음의 [수학식 1]과 같이 표현할 수 있다.

여기서, A는 점자셀 내 점자핀의 면적(area) 또는 사용자가 접촉하는 점자핀의 면적을 나타내고, d는 점자셀 결합부에서 점자핀 상부까지의 점자핀의 두께를 나타내며, ε₀ 및 ε_r은 점자핀의 유전율 및 물질 속성을 각각 나타낸다.

또한, 서브 컨트롤러(111)는 CMS(111b)를 통해 복수의 점자셀들을 순차적으로 모니터링하고, 제1 타이머(timer1, 111c)를 이용하여 단위 횟수나 단위 시간당 변화 폭이 가장 큰 값을 선택하도록 구현될 수 있다. 이경우, 제1 타이머(111c)는 기준 타이머(timer0, 111d)의 동작 주기에 기반하여 현재 모니터링하고 있는 신호의 주파수를 일정 시간 단위로 비교할 수 있다.

예를 들면, 도 6에 도시한 바와 같이, 제1 타이머(TMR1)는 기준 타이머(TMR0)의 동작 주기(예컨대 255) 마다 점자셀에 인가되는 신호가 모니터링되도록 기능할 수 있다. 즉, 서브 컨트롤러(111)는 기준 타이머(TMR0)의 동작에 따라 제1 타이머(111c)의 제1 주기에서 모니터링되는 제1 신호의 주파수가 제1 주파수(TMR1L)이었다가 제1 타이머(111c)의 제2 주기에서 제2 주파수(TMR1H)로 변화(증가)되는 것을 감지할 수 있다.

이때, 서브 컨트롤러(111)는 신호(예컨대, 펄스 신호)의 펄스 개수를 카운트하여 모니터링하는 신호들 간의 변폭 차이를 비교할 수 있다. 이를 위해 서브 컨트롤러(111)는 카운터와 비교부를 구비할 수 있다.

예를 들면, 점자셀에 대한 터치(touch) 판단 기준을 설명하면 다음과 같다.

터치 입력을 감지하는 방식에는 현재 10여 가지 정도가 있다. 그 중에서 대표적인 것이 저항막 방식, 정전용량 방식, SAW(Surface Acoustic Wave), 적외선(IR), 광학식 등이다. 본 실시예에서는 정전용량 방식을 이용하나 다른 방식의 터치 인식 기술로 대체될 수 있다.

좀더 구체적으로 설명하자면, 본 실시예의 터치 감지 방식에서는 각 점자셀에 일정 간격으로 펄스(pulse)를 내보내고 다시 ADC(Analog to Digital converter)를 통해 변환된 디지털신호를 읽어보도록 구현된다. 사람이 손을 점자셀에 터치하면 해당 점자셀은 ADC를 통해 읽은 값이 현저히 변하게 되므로, 점자 디스플레이 장치는 터치 여부를 판단할 수 있게 된다. 즉, 터치할 때와 터치하지 않을 때의 ADC 차이 값으로 터치 여부를 판단할 수 있다.

터치 감지 결과는 서브 컨트롤러(111)에서 메인 컨트롤러로 전달된다. 서브 컨트롤러(111)는 터치 서브 시스템으로 지칭될 수 있고, 메인 컨트롤러는 메인 컨트롤러를 포함하는 메인 시스템으로 지칭될 수 있다.

터치 서브 시스템과 메인 시스템 간의 통신 방법은 싱글 터치와 멀티 터치 시의 데이터 통신 방법을 포함할 수 있다. 터치 서브 시스템과 메인 시스템 간의 통신에는 UART, I2C 등 다양한 방법이 사용 가능하다.

본 실시예의 점자 디스플레이 장치는 32 점자셀(이하 32셀) 제품에 해당하며, 32셀을 비트(bit) 단위로 맵핑하여 메인 시스템으로 터치 감지 결과를 전달하도록 구현될 수 있다. 즉, 32셀은 4바이트로 비트 맵핑될 수 있다. I2C 통신을 이용하는 경우, 서브 컨트롤러는 4bytes 데이터를 메인 시스템으로 전달할 수 있다.

예를 들어, 1번 셀(cell)이 터치된 경우는 0x01, 0x00, 0x00, 0x00 값이 전달되고, 32번 셀이 터치된 경우는 0x00, 0x00, 0x00, 0x80 값이 전달될 수 있다. 이와 유사하게, 1번 셀과 32번 셀이 거의 동시에 터치된 경우는 0x01, 0x00, 0x00, 0x80 값이 서브 컨트롤러에서 메인 컨트롤러로 전달될 수 있다.

멀티 터치를 인식하기 위해, 서브 컨트롤러(111)는 단위 모니터링 시간이나 단위 모니터링 횟수에서 시간당 변화 폭이 가장 큰 값과 두 번째로 큰 값 및/또는 세 번째로 큰 값 등의 복수의 값을 감지하고, 이러한 감지 결과(정보)를 메인 컨트롤러에 전달할 수 있다.

상기 설명에서와 같이 FPC 상에 설치된 점자 표시부(13)의 점자셀의 점자핀(133x)의 하부에 매립 설치된 터치감지센서(예: Cp)를 통해 손가락과 점자셀들 간의 터치동작에 따른 터치감지신호를 출력하므로 터치감지센서를 설치하기 위해 점자 표시부(13)의 수평면을 확대하지 않아도 되는 이점이 있다. 또한, 사용자 입장에서 볼 때 별도의 추가 공간을 사용하는 것이 아니라 점자 텍스트를 열람하는 점자 표시부(13)를 이용하여 제스처 명령을 하달할 수 있으므로 제스처 명령을 하달하기 위한 동선의 범위가 점자 표시부(13)를 벗어나지 않아 그에 따른 사용상의 편리함이 있다.

제어부(11)는 상기와 같은 과정을 통해 터치감지신호를 근거로 터치된 점자셀을 인식하고, 그 터치된 점자셀에 대한 정보 및 제스처 명령에 대한 정보를 바탕으로 로그데이터를 생성하여 저장할 수 있다. 차후에 상기 저장된 로그데이터를 재생하거나 분석하여 터치패턴에 대한 연구 개발의 자료로 활용할 수 있다.

도 7은 본 발명의 실시예에 따른 점자 디스플레이 장치의 제스처 명령 수행 방법의 제어 순서도이다.

도 7을 참조하면, 본 발명의 실시예에 따른 점자 디스플레이 장치의 제스처 명령 수행 방법은 상기 점자 표시부 내 설치된 각 점자셀의 액추에이터를 구동하여, 출력하고자 하는 점자 텍스트 데이터에 대응하는 상기 점자셀을 돌출시키는 점자 출력 단계(S1); 상기 점자셀 내 터치감지센서로부터 수집한 터치감지신호를 근거로 손가락과 적어도 하나의 상기 점자셀 간의 터치동작을 감지하여, 상기 터치동작에 따른 제스처 형태를 분석하는 제스처 형태 분석 단계(S2); 상기 제스처 형태가 룩업테이블에 사전 저장된 제스처 형태들 중 어느 하나와 일치하는 유효한 제스처 형태인지 확인하는 제스처 형태 확인 단계(S3); 상기 제스처 형태가 유효할 경우에는 상기 제스처 형태를 사용자 의도에 기반한 터치 동작으로 판단하고, 상기 제스처 형태가 유효하지 않을 경우에는 상기 제스처 형태가 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단하는 사용자 의도 해석 단계(S4); 상기 제스처 형태가 사용자 의도에 기반한 터치 동작으로 판단될 경우, 상기 제스처 형태에 사전 할당된 명령을 수행하는 제스처 명령 실행 단계(S5); 및

상기 제스처 형태가 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단될 경우, 상기 점자셀의 돌출 개수를 기준으로 스크롤을 동적 조정하는 자동 스크롤 명령 실행 단계(S6)를 포함한다.

먼저, 사전 준비 단계에서, 제어부(11)는 저장부(12)에 제스처 명령 테이블을 저장한다. 상기 제스처 명령 테이블에는 각종 제스처 형태들과 이 제스처 형태들에 대응되는 제스처 명령들이 포함된다. 상기 제스처 명령들은 특별하게 한정되지 않으며 다양한 명령들이 포함될 수 있다. 예를 들어, 상기 제스처에 할당된 명령들에는 스크롤, 항목이동, 메뉴 호출 및 실행 명령 등이 포함될 수 있다.

여기서, 스크롤은 점자 표시부(13)에 디스플레이되는 점자 텍스트의 현재 행에서 이후 또는 이전의 행으로 줄바꿈하는 것을 의미한다. 또한, 상기 제스처 형태 및 제스처 명령들은 상기 설명에서와 같이 터치된 점자셀의 위치, 터치 지속시간, 터치된 셀의 범위, 터치된 셀의 개수, 터치 공백, 터치 민감도, 그룹터치 소요시간 중 어느 하나 이상에 의해 결정될 수 있다.

점자 출력 단계(S1)는 상기 점자 표시부 내 설치된 각 점자셀의 액추에이터를 구동하여, 출력하고자 하는 점자 텍스트 데이터에 대응하는 상기 점자셀을 돌출시키는 단계이다. 이를 위해, 제어부(11)는 통신부(15)를 통해 외부로부터 공급되는 점자 텍스트, 예를 들어, 인터넷 웹사이트로부터 수신한 텍스트를 점역한 데이터에 따라 점자 표시부(13)의 점자 표시 동작을 제어하여 해당 점자들이 디스플레이되게 한다. 따라서, 사용자는 점자 표시부(13)를 통해 인터넷 웹사이트로부터 수신한 텍스트를 점역하여 열람할 수 있게 된다.

제스처 형태 분석 단계(S2)는 점자셀 내 터치감지센서로부터 수집한 터치감지신호를 근거로 손가락과 적어도 하나의 상기 점자셀 간의 터치동작을 감지하여, 상기 터치동작에 따른 제스처 형태를 분석하는 단계이다.

보다 구체적으로 설명하면, 터치감지센서는 점자 표시부(13)상에 손가락과 점자셀들 간의 터치동작을 감지하여 그에 따른 터치감지신호를 출력한다. 터치감지센서를 이용한 터치 감지방식에는 여러 가지가 이용될 수 있다. 예를 들어, 상기 도 5 및 도 6에서 설명한 정전용량 방식이 이용될 수 있다.

제어부(11)는 상기 터치감지신호를 근거로 손가락과 점자셀들 간의 터치동작을 추적하여 그에 따른 제스처 형태를 분석한다.

보다 구체적으로, 제어부(11)는 상기 터치감지센서로부터 입력된 터치감지신호를 미리 설정된 조건을 충족할 때까지 임시로 저장하고 있다가 해당 명령이 수행되면 상기 터치감지신호를 초기화 처리한다. 예를 들어, 상기 터치감지신호는, 점자 표시부(13)에서 점형의 돌출여부에 관계없이, 상기 점자 표시부(13)의 점자핀 하부에 매립된 터치감지센서로부터 감지된 신호를 포함할 수 있다.

다시 말해, 상기 터치감지신호는 점자셀의 돌출 여부와 관계 없이, 사용자의 손가락이 접촉하는 점자핀 하부에 매립된 터치감지센서로부터 감지될 수 있다.

손가락과 점자셀들 간의 터치동작에 따른 터치감지신호는 다음과 같은 특징을 갖는다.

첫째, 각각의 터치감지신호는 크기와 셀 개수 및 지속시간 등에 따라 단일 또는 다중 터치신호로 식별된다.

둘째, 터치감지신호가 일정한 조건, 예컨대, 기준치 이상의 감도, 기준치 이상의 지속시간을 갖고, 복수 개의 점자셀이 동시에 터치될 때 나타날 수 있는 개수 및 범위를 만족하면 한 개의 터치감지신호로 식별된다.

셋째, 1개 또는 수 개의 터치감지신호에 의해 하나의 유효한 제스처 형태 즉, 제스처 명령 테이블에 등록된 제스처 형태가 결정된다. 따라서, 터치감지신호가 초기화된 상태에서 터치 동작이 일어나면 제어부(11)는 후속 터치 동작에 의해 유효한 제스처 형태가 결정되는지 확인하기 위하여, 후속되는 터치감지신호를 기다리거나 현재 입력된 터치감지신호가 바로 이전에 입력된 터치감지신호와 연계하는 것에 의해 유효한 제스처 형태가 결정되는지 확인한다.

만약, 터치감지신호가 유효한 제스처 형태를 결정하는데 필요한 조건을 갖추지 못하면, 제어부(11)는 이것이 사용자가 단순히 출력된 점자의 열람을 위해 터치하여 발생된 터치감지신호로 간주하여 초기화 처리한다.

제어부(11)는 입력되는 터치감지신호가 유효한 제스처 형태를 결정하는데 올바르게 사용될 수 있도록 하기 위하여 다음과 같이 처리한다.

첫째, 입력되는 터치감지신호가 미리 설정된 널(null)의 분계점(the threshold of signal sensitivity), 즉 역치에 달하는 레벨을 갖는지 확인하여 그렇지 않은 경우 해당 터치감지신호는 노이즈로 판단한다.

둘째, 일정 시간 내에 역치에 달하는 터치감지신호들이 복수 개 입력되면 이들은 사용자가 동시에 복수 개의 점자셀을 터치하여 발생된 다중 터치감지신호로 판단한다.

셋째, 하나 이상의 점자셀로부터 터치감지신호가 입력되기 시작한 후부터 모든 점자셀로부터 터치감지신호가 감지되지 않는 시점까지를 터치 지속시간으로 산정한다.

넷째, 한번에 복수 개의 터치가 이루어지는 다중 터치의 경우 초기화 상태에서 최초의 터치감지신호가 입력된 시점부터 모든 터치감지신호의 입력이 차단된 시점까지 각각의 터치감지신호의 지속시간을 누적처리한다.

이때, 터치감지신호가 임시로 저장된 후 다음과 같은 경우 해당 터치감지신호를 제스처 명령의 의도가 없는 것으로 소멸처리하고, 표시된 점자의 열람 의도로 터치한 것으로 간주한다.

첫째, 터치감지신호의 지속시간이 개별적으로 또는 전체가 미리 설정된 제한시간을 초과하면 그 터치감지신호를 제스처 조회 대상에서 소멸처리한다.

둘째, 터치감지신호가 입력되지 않는 간격이 개별적으로 또는 전체가 미리 설정된 제한시간을 초과하면 그 터치감지신호를 제스처 조회 대상에서 소멸처리한다.

셋째, 다중터치의 범위가 제한된 범위를 벗어나는 경우 그 다중 터치신호를 제스처 조회 대상에서 소멸처리한다.

제스처 명령의 초기화 조건은 다음과 같다.

첫째, 터치감지신호에 의해 유효한 제스처 형태가 결정되어 해당 제스처 명령이 실행되면 터치감지신호는 초기화된다.

둘째, 터치감지신호에 의해 유효한 제스처 형태가 결정되지 않아 제스처 명령이 실행되지 못하고, 터치감지 신호가 존재하지 않는 공백구간의 지속시간이 소정 시간(예: 0.5초)을 초과하면 그동안 누적된 터치감지신호의 지속시간을 초기화 처리한다.

셋째, 터치감지신호에 의해 유효한 제스처 형태가 결정되지 않고, 터치감지신호도 초기화되지 않은 상태에서 새로운 터치 동작이 발생되면 사용자가 표시된 점자를 읽기 위한 의도를 지닌 터치동작으로 판단한다.

제어부(11)가 상기와 같이 정전용량의 변화치를 근거로 손가락과 점자셀들 간의 터치동작을 감지하고 그 감지 결과를 근거로 손가락의 제스처 형태를 분석하는 제스처 형태 분석 단계(S2)는 다음의 두 가지 과정을 포함할 수 있다.

제1 과정은 제어부(11)가 손가락과 점자셀 간의 터치 동작이 어떤 형태로 일어났는지 테마별로 분석하는 과정이다.

여기서, 제어부(11)는 손가락의 점자셀 터치에 따른 정전용량의 변화치를 미리 설정된 기준치와 비교하여 차이값을 구한 후 이 차이값들에 크기에 따른 순위를 부여한다. 이와 같은 동작은 소정 주기(cycle) 예를 들어, 매 초마다 10 주기 이상 반복적으로 수행될 수 있다. 따라서, 제어부(11)는 손가락과 어떤 점자셀이 터치되고 얼마나 센 힘으로 터치되었는지 확인할 수 있게 된다. 제어부(11)는 손가락과 점자셀 간의 터치 동작에 따른 터치감지신호를 근거로 하여 추가정보들 예를 들어, 터치 지속시간, 터치된 셀의 범위, 터치된 셀의 개수, 그룹터치 소요시간 및 터치 공백 지속시간들을 획득할 수 있다.

터치 지속시간은 손가락과 점자셀 간의 터치가 시작된 시점과 해제된 시점의 차를 계산하여 획득할 수 있다. 터치된 셀의 범위는 손가락이 최소 1개의 점자셀과 터치된 시점과 터치되었던 모든 점자셀들과의 터치 해제 시점을 기준으로 계산할 수 있다. 터치된 셀의 개수는 손가락이 최소 1개의 셀과 터치된 시점과 터치되었던 모든 점자셀들과의 터치 해제 시점을 기준으로 계산할 수 있다. 그룹터치 소요시간은 손가락이 최소 1개의 점자셀과 터치되는 시점과 터치되었던 모든 점자셀들과의 터치 해제 시점을 기준으로 계산할 수 있다. 터치 공백 지속시간은 손가락이 최소 1개의 점자셀과 터치되는 시점과 터치되었던 모든 점자셀들과의 터치 해제 시점을 기준으로 계산할 수 있다.

제2 과정은 제어부(11)가 점자셀들과 손가락 간의 터치동작이 어떤 형태로 일어났는지 종합적으로 분석하는 과정이다.

여기서, 제어부(11)는 상기와 같이 획득한 터치정보들의 조합 예를 들어, 상기 터치된 셀의 범위, 터치 및 터치 공백 지속시간, 터치된 셀 개수의 조합에 의해 어떤 제스처 형태가 이루어졌는지 분석한다. 제어부(11)는 터치공백의 지속시간을 근거로 공백 이전의 터치와 공백 이후의 터치를 하나의 그룹으로 묶을 것인지, 혹은 별개의 그룹으로 나눌 것인지를 결정할 수 있다.

제어부(11)는 제스처 형태 분석 단계(S2)의 다른 실시예로써, 상기 점자 표시부(13)의 전체 영역을 복수 개의 영역으로 설정하고, 상기 복수 개의 영역 중 적어도 일부를 상기 제스처 형태를 인식하고자 하는 대상영역으로 설정하고, 상기 대상영역에 위치된 상기 터치감지센서의 터치감지신호를 근거로 상기 대상영역에서 손가락과 적어도 하나의 상기 점자셀들 간의 터치동작을 감지하여 상기 제스처 형태를 분석할 수 있다.

예컨대, 점자 표시부(13)의 전체 영역을 1번~16번의 점자셀을 포함하는 좌측 영역과, 17번~32번의 점자셀을 포함하는 우측영역으로 설정할 수 있다. 이와 같은 경우 좌측 영역에서의 터치는 단순히 표시된 점자 셀의 열람을 위한 터치로 인식하고, 우측 영역에서의 터치에 대해서만 제스처 명령을 입력하기 위한 터치로 인식한다.

제스처 형태 확인 단계(S3)는 이전 단계(S2)에서 분석된 제스처 형태가 상기 룩업테이블에 기재되어 있는 제스처 형태들 중에서 하나로서 유효한 제스처 형태인지 확인하는 단계이다.

제어부(11)는 점자 표시부(13) 상에서 손가락과 점자셀들 간의 터치동작에 따른 제스처 형태를 확인하기 위하여 다음과 같이 제스처 명령 형태, 터치공백 구간 형태 및 표시된 점자의 열람을 위한 터치 형태로 분류한다.

첫째, 제스처 형태가 제스처 명령(Touch gesture commands) 형태로 분류된 경우에는 단독 또는 복수의 터치 동작에 의한 제스처 형태가 일정한 실행조건 즉, 제스처 명령 테이블에 저장된 제스처 형태를 갖춘 경우이다.

둘째, 제스처 형태가 터치공백 구간(No Touch Signal Interval) 형태로 분류된 경우이다. 이와 같은 경우는 터치 구간과 터치 구간 사이에 공백 구간이 존재하는 경우로써 공백 구간의 지속시간(예: 0.25초)에 따라 공백 구간을 연결자 또는 구분자로 판단한다. 공백 구간의 지속시간이 0.25초 이하인 경우 그 공백 구간을 연결자로 판단하여 이를 기준으로 전후의 터치 구간을 하나의 동일 터치 구간으로 묶는다. 그러나, 공백 구간의 지속시간이 0.25초를 초과하는 경우 그 공백 구간을 구분자로 판단하여 터치감지 신호값을 초기화시킨다. 이 초기화 이후에 발생하는 터치 구간은 또 다른 그룹의 선행 터치구간으로 식별된다.

셋째, 제스처 형태가 표시된 점자의 열람(Braille reading)을 위한 형태로 분류된 경우이다. 이와 같은 경우는 사용자가 단순히 점자 표시부(13) 상의 점자셀들에 디스플레이된 점자들을 읽기 위해 터치한 동작에 의해 이루어진 제스처 형태로써, 제스처 명령을 위한 제스처 형태를 제외한 모든 터치가 이에 해당된다. 따라서, 표시된 점자를 읽기 위한 의도의 터치 형태로 분류되면, 시퀀스 기능 예를 들어, 자동 스크롤 명령, 터치 이력 추적, 단어, 문장, 문단 등을 읽기 위해 특정 점자셀 또는 특정 범위의 점자셀을 터치했는지를 식별하는 정보로 활용된다.

결국, 점자 표시부(13) 상에서 손가락과 점자셀들 간의 터치동작이 일어나면 그 터치 동작에 의한 제스처 형태가 제스처 명령 형태의 구성 요건에 속하는 터치 동작인지 확인하여, 제스처 명령 형태의 구성 요건에 속하지 않은 터치동작이거나 터치감지 신호값의 초기화가 이루어지지 않은 상태에서 연속적으로 발생하는 터치동작으로 판명되면 이들 모두를 사용자가 단순히 표시된 점자를 열람하기 위해 터치한 것으로 판단한다.

다시 말해, 제어부(11)는 사용자 의도 해석 단계(S4)에서 상기 제스처 형태가 유효하다고 판단될 경우에는 상기 제스처 형태를 사용자 의도에 기반한 터치 동작으로 판단하고, 상기 제스처 형태가 유효하지 않음으로 판단될 경우에는 상기 제스처 형태가 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단한다.

또한, 상기 사용자 의도 해석 단계(S4)에서는 상기 제스처 형태가 상기 터치감지신호의 초기화가 이루어지지 않은 상태에서 연속적으로 발생하는 터치동작에 의한 제스처 형태일 경우, 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단한다.

제스처 명령 실행 단계(S5)는 이전 단계(S4)에서 분석한 제스처 형태가 유효하고, 사용자 의도에 기반한 터치 동작으로 판단될 경우, 상기 룩업테이블에 저장된 제스처 명령들 중에서 그 제스처 형태에 대응되는 해당 명령을 선택하여 실행하는 단계이다. 사용자의 터치 동작에 의해 제스처 명령이 실행되면 해당 터치감지 신호값은 초기화된다.

상기 설명을 참조하여, 제스처 명령에 대한 일련의 실행과정(동작 시나리오)을 예시적으로 설명하면 다음과 같다.

첫 번째 예로써, 터치감지 신호값의 초기화가 이루어진 상태에서 손가락과 점자셀 간의 최초 터치 동작이 일어날 때, 제어부(11)는 상기와 같이 터치동작을 감지하여 그에 따른 터치감지신호의 형태가 미리 설정된 조건에 부합되는지 확인한다.

확인 결과 상기 터치감지신호의 형태가 미리 설정된 조건에 부합되는 것으로 판명되면 연속되는 2차, 3차 및 4차 등의 터치동작들을 감지하고 이렇게 감지된 터치감지신호들의 형태가 미리 설정된 조건에 부합되는지 확인한다.

그 확인 결과 상기 연속적으로 감지된 터치감지신호들의 형태가 미리 설정된 조건에 모두 부합되는 것으로 판명되고, 이와 같은 일련의 터치동작에 의해 결정된 제스처 형태가 상기 룩업테이블에 기재되어 있는 제스처 형태들 중에서 하나로서 유효한 제스처 형태인 것으로 판명되면 해당 제스처 명령을 실행하고 터치감지 신호값을 초기화시킨다.

두 번째 예로써, 터치감지 신호값의 초기화가 이루어진 상태에서 손가락과 점자셀 간의 최초 터치 동작이 일어날 때, 제어부(11)는 상기와 같이 터치동작을 감지하여 그에 따른 터치감지신호의 형태가 미리 설정된 조건에 부합되는지 확인한다.

확인 결과 상기 터치감지신호의 형태가 미리 설정된 조건에 부합되는 것으로 판명되면 연속되는 2차, 3차 및 4차 등의 터치동작들을 감지하고 이렇게 감지된 터치감지신호들의 형태가 미리 설정된 조건에 부합되는지 확인한다.

그 확인 결과 연속적으로 감지된 터치감지신호들 중에서 하나 이상이 미리 설정된 조건에 부합되지 않는 것으로 판명되면, 터치명령을 실행하지 않고 터치감지 신호값을 초기화시킨다. 따라서, 이후에 발생하는 터치 동작이 다시 최초의 터치 동작으로 식별된다.

세 번째 예로써, 터치감지 신호값의 초기화가 이루어진 상태에서 손가락과 점자셀 간의 최초 터치 동작이 일어날 때, 제어부(11)는 상기와 같이 터치동작을 감지하여 그 터치동작에 의해 결정된 제스처 형태가 상기 룩업테이블에 기재되어 있는 제스처 형태들 중에서 어느 하나와도 일치하지 않으면 사용자가 표시된 점자의 열람을 위해 터치한 것으로 판단한다.

네 번째 예로써, 터치감지 신호값이 초기화된 상태에서 손가락과 점자셀 간의 최초 터치 동작이 일어나고, 이에 의해 획득된 제스처 형태가 상기 룩업테이블에 기재되어 있는 제스처 형태들 중에서 어느 하나와도 일치하지 않으면 사용자가 표시된 점자를 열람하기 위해 터치한 것으로 판단한다. 이때, 터치감지 신호값을 초기화시키지 않는다.

이와 같은 관심셀 터치가 이어지다가 터치감지 신호가 존재하지 않는 시간이 발생하면 터치감지 신호값을 초기화시킨다. 따라서, 이후에 발생하는 터치 동작이 다시 최초의 터치 동작으로 식별된다.

손가락과 점자셀 간의 터치동작에 따른 제스처 명령의 실행예를 예시적으로 설명하면 다음과 같다. 여기서, 점자 표시부(13)에 32개의 점자셀이 일렬로 배열된 것을 예로 하여 설명한다.

1. 한 손가락으로 한번 터치하는 경우, 터치된 점자셀의 범위가 3개 이하이고, 터치 제스처에 소요된 시간이 0.5초 이내이며, 터치가 해제된 후 0.25초간 터치 동작이 일어나지 않으면, 해당 제스처 명령을 실행한다.

2. 한 손가락으로 두번 터치한 경우, 터치된 점자셀의 범위가 3개 이하이고, 터치 제스처에 소요된 시간이 0.5초 이내이며, 터치 횟수가 두번이고, 터치가 해제된 후 0.25초간 터치 동작이 일어나지 않으면, 해당 제스처 명령을 실행한다.

3. 한 손가락을 오른쪽 방향으로 쓸기하는 경우, 터치된 점자셀의 평균 범위가 3개 이내이고, 터치 제스처에 소요된 시간이 0.5초 이내이며, 터치 진행방향이 오름차순이고, 3개 이상의 점자셀을 오름차순으로 순차 터치하고(처음 터치된 점자셀은 29번째 점자셀 이하), 터치가 해제되면, 해당 제스처 명령을 실행한다.

4. 한 손가락을 왼쪽 방향으로 쓸기하는 경우, 터치된 점자셀의 평균 범위가 3개 이하이고, 터치 제스처에 소요된 시간이 0.5초 이내이며, 터치 진행 방향이 내림차순이고, 3개 이상의 점자셀을 내림차순으로 순차 터치하고(처음 터치된 점자셀은 4번째 점자셀 이상), 터치가 해제되면, 해당 제스처 명령을 실행한다.

5. 두 개의 손가락으로 한번 터치하는 경우, 터치된 점자셀의 범위가 4개에서 6개 사이이고, 터치 제스처에 소요된 시간이 0.5초 이내이며, 터치 횟수가 한번이고(터치공백구간 없음), 터치가 해제되고, 터치 동작이 0.25초간 일어나지 않으면, 해당 제스처 명령을 실행한다.

6. 두 개의 손가락으로 두 번 터치하는 경우, 터치된 점자셀의 범위가 4개에서 6개 사이이고, 터치 제스처에 소요된 시간이 0.5초 이내이며, 터치 횟수가 두번이고(선행 터치와 후속 터치 사이에 터치 공백 구간이 한 개 있음), 터치가 해제되고, 터치 동작이 0.25초간 발생하지 않으면, 해당 제스처 명령을 실행한다.

7. 두 손가락을 오른쪽 방향으로 쓸기하는 경우, 터치된 점자셀의 평균 범위가 4개에서 6개 사이이고, 터치 제스처에 소요된 시간이 0.5초 이내이며, 터치 진행방향이 오름차순이고, 3개 이상의 점자셀을 오름차순으로 순차 터치하고(처음 터치된 점자셀은 29번 점자셀 이하), 터치가 해제되면, 해당 제스처 명령을 실행한다.

8. 두 손가락을 왼쪽 방향으로 쓸기하는 경우, 터치된 점자셀의 평균 범위가 4개에서 6개 사이이고, 제스처에 소요된 시간이 0.5초 이내이며, 터치 진행 방향이 내림차순이고, 3개 이상의 점자셀을 내림차순으로 순차 터치하고(처음 터치된 점자셀은 4번째 점자셀 이상), 터치가 해제되면, 해당 제스처 명령을 실행한다.

9. 두 손가락으로 문지르기를 하는 경우, 터치된 점자셀의 평균 범위가 4개에서 6개 사이이고, 터치 제스처에 소요된 시간이 0.5초 이내이며, 3개 이상의 점자셀을 내림차순으로 순차 터치한 다음(처음 터치된 점자셀은 4번째 점자셀 이상), 다시 3개 이상의 점자셀을 오름차순으로 순차 터치하고, 터치가 해제되면, 해당 제스처 명령을 실행한다.

또는, 터치된 점자셀의 범위가 4개에서 6개 사이이고, 터치 제스처에 소요된 시간이 0.5초 이내이며, 3개 이상의 점자셀을 오름차순으로 순차 터치한 다음(처음 터치된 점자셀은 29번째 점자셀 이상), 다시 3개 이상의 점자셀을 내림차순으로 순차 터치하고, 터치가 해제되면, 해당 제스처 명령을 실행한다.

10. 세 손가락으로 한번 터치하는 경우, 터치된 점자셀의 범위가 7개에서 9개 사이이고, 터치된 점자셀의 갯수가 3개 이상이며, 터치 제스처에 소요된 시간이 0.5초 이내이고, 터치 횟수가 한번이고(터치 공백 구간이 없음), 터치가 해제되고, 터치 동작이 0.25초간 일어나지 않으면, 해당 제스처 명령을 실행한다.

11. 세 손가락으로 두 번 터치하는 경우, 터치된 점자셀의 범위가 7개에서 9개 사이이고, 터치된 점자셀의 갯수가 3개 이상이며, 터치 제스처에 소요된 시간이 0.5초 이내이고, 터치 횟수가 두번이고(선행 터치와 후속 터치 사이에 터치 공백 구간이 한 개 있음), 터치가 해제되고, 터치 동작이 0.25초간 일어나지 않으면, 해당 제스처 명령을 실행한다.

12. 세 손가락으로 세 번 터치하는 경우, 터치된 점자셀의 범위가 7개에서 9개 사이이고, 터치된 점자셀의 갯수가 3개 이상이며, 터치 제스처에 소요된 시간이 0.5초 이내이고, 터치 횟수가 세 번이고(1차 터치와 2차 터치 사이, 2차 터치와 3차 터치 사이에 터치 공백 구간이 각각 1번 있음), 터치가 해제되고, 터치 이벤트가 0.25초간 발생하지 않으면, 해당 제스처 명령을 실행한다.

13. 세 손가락을 오른쪽 방향으로 쓸기하는 경우, 터치된 점자셀의 범위가 7개에서 9개 사이이고, 터치된 점자셀의 개수가 3개 이상이며, 터치 제스처에 소요된 시간이 0.5초 이내이고, 터치 진행방향이 오름차순이고, 3개 이상의 점자셀을 오름차순으로 순차 터치하고(처음 터치된 점자셀은 29번째 점자셀 이하, 터치가 해제되면, 해당 제스처 명령을 실행한다.

14. 세 손가락을 왼쪽 방향으로 쓸기하는 경우, 터치된 점자셀의 범위가 7개에서 9개 사이이고, 터치된 점자셀의 갯수가 3개 이상이며, 터치 제스처에 소요된 시간이 0.5초 이내이고, 터치 진행 방향이 내림차순이고, 3개 이상의 점자셀을 내림차순으로 순차 터치하고(처음 터치된 점자셀은 4번째 점자셀 이상), 터치가 해제되면, 해당 제스처 명령을 실행한다.

15. 한 손가락 두번 터치하고 머무르기하는 경우, 터치된 점자셀의 범위가 3개 이하이고, 터치 횟수가 두번이며(선행 터치와 후속 터치 사이에 터치 공백 구간이 하나 있음),

터치 신호가 없는 구간의 지속시간이 0.25초 이내이고, 후속 터치의 지속시간이 0.5초를 초과하면, 해당 제스처 명령을 실행한다.

16. 두 손가락으로 두 번 터치하고 머무르기하는 경우, 터치된 점자셀의 범위가 4개에서 6개 사이이고, 터치 횟수 두번이고(선행 터치와 후속 터치 사이에 터치 공백 구간이 한 개 있음), 터치 신호가 없는 구간의 지속시간이 0.25초 이내이고, 후속 터치의 지속시간이 0.5초를 초과하면, 해당 제스처 명령을 실행한다.

17. 세 손가락으로 두번 터치하고 머무르기하는 경우, 터치된 점자셀의 범위가 7개에서 9개 사이이고, 터치된 점자셀의 갯수가 3개 이상이며, 총 터치 횟수가 두번이고(선행 터치와 후속 터치 사이에 터치 공백 구간이 한 개 있음), 터치 신호가 없는 구간의 지속시간이 0.25초 이내이고, 후속 터치의 지속시간이 0.5초를 초과하면, 해당 제스처 명령을 실행한다.

손가락과 점자셀 간의 터치동작에 따른 제스처 명령의 실행동작을 예시적으로 설명하면 다음과 같다.

1. 한 손가락으로 한번 터치하는 경우, 목록에서 현재 항목 읽기, 메뉴에서 현재 메뉴 읽기, 문서에서 현재 줄 읽기가 실행된다.

2. 한 손가락으로 두번 터치한 경우, 목록에서 항목 열기 또는 항목 활성화, 메뉴에서 메뉴 실행 또는 메뉴 활성화, 문서에서 커서 위치 이동이 실행된다.

3. 한 손가락을 오른쪽 방향으로 쓸기하는 경우, 목록에서 다음 항목으로 이동, 메뉴에서 다음 메뉴로 이동, 문서에서 다음 스크롤이 실행된다.

4. 한 손가락을 왼쪽 방향으로 쓸기하는 경우, 목록에서 이전 항목으로 이동, 메뉴에서 이전 메뉴로 이동, 문서에서 이전 스크롤이 실행된다.

5. 두 개의 손가락으로 한번 터치하는 경우, 목록에서 음성출력 인터럽트, 메뉴에서 음성출력 인터럽트, 문서에서 음성출력 인터럽트가 실행된다.

6. 두 개의 손가락으로 두 번 터치하는 경우, 목록에서 패스(pass), 메뉴에서 패스, 문서에서 연속읽기가 실행된다.

7. 두 손가락을 오른쪽 방향으로 쓸기하는 경우, 목록에서 10개 다음 방목으로 이동, 메뉴에서 다음 탭으로 이동, 문서에서 다음 문단으로 이동이 실행된다.

8. 두 손가락을 왼쪽 방향으로 쓸기하는 경우, 목록에서 10개 이전 항목으로 이동, 메뉴에서 이전 탭으로 이동, 문서에서 이전 문단으로 이동이 실행된다.

9. 두 손가락으로 문지르기를 하는 경우, 목록에서 상위 폴더로 빠져나오기, 메뉴에서 메뉴 닫기, 문서에서 읽기 모드가 실행된다.

10. 세 손가락으로 한번 터치하는 경우, 목록에서 상태정보 읽기, 메뉴에서 상태정보 읽기, 문서에서 문서정보 읽기가 실행된다.

11. 세 손가락으로 두 번 터치하는 경우, 목록에서 음성출력 켬/끔 토글, 메뉴에서 음성출력 켬/끔 토글, 문서에서 음성출력 켬/끔 토글이 실행된다.

12. 세 손가락으로 세 번 터치하는 경우, 목록에서 화면출력 켬/끔 토글, 메뉴에서 화면출력 켬/끔 토글, 문서에서 화면출력 켬/끔 토글이 실행된다.

13. 세 손가락을 오른쪽 방향으로 쓸기하는 경우, 목록에서 마지막 항목으로 이동, 메뉴에서 설정값 증가, 문서에서 다음 페이지로 이동이 실행된다.

14. 세 손가락을 왼쪽 방향으로 쓸기하는 경우, 목록에서 첫 항목으로 이동, 메뉴에서 설정값 감소, 문서에서 이전 페이지로 이동이 실행된다.

15. 한 손가락 두번 터치하고 머무르기하는 경우, 목록에서 항목 선택/해제 토글, 메뉴에서 패스, 문서에서 패스가 실행된다.

16. 두 손가락으로 두 번 터치하고 머무르기하는 경우, 목록에서 컨텍스트 메뉴 열기, 메뉴에서 패스, 문서에서 메뉴 열기가 실행된다.

17. 세 손가락으로 두번 터치하고 머무르기하는 경우, 목록에서 설정 열기, 메뉴에서 설정 열기, 문서에서 설정 열기, 웹 문서에서 설정 열기가 실행된다.

또한, 자동 스크롤 명령 실행 단계(S6)에서는 최우측에 돌출된 점자셀이 속하는 행을 복수 개로 분류한 섹션들을 대상으로, 상기 섹션별로 위치된 점자셀로부터 적어도 한번의 터치감지신호가 수신되고, 이후, 상기 최우측에 돌출된 점자셀의 터치감지신호를 수신한 뒤, 상기 최우측에 돌출된 점자셀의 터치 해제 시부터 일정 영역 내에 위치한 어느 하나의 점자 셀이 터치될 때까지 스크롤을 동적 조정할 수 있다.

다시 말해, 자동 스크롤 명령 실행 단계(S6)에서는 스크롤을 동적 조정하여자동 개행을 수행할 수 있다.

동작감지형 점자 디스플레이 장치(10)에서 수행되는 자동 개행은 사용자가 물리적으로 스크롤 버튼을 누르는 대신, 터치 센싱에 의한 터치 여부를 일정한 조건에 따라 판별함으로써, 개행 조건을 충족하면 자동으로 줄을 바꾸어주는 편의 기능이다.

자동 개행은 점자 디스플레이 장치(10)에 출력(디스플레이)되는 점자의 총 개수(number of braille)에 따라 여러 가지(예: 4가지) 출력 유형으로 분류되고, 각각의 유형에 맞추어 조건을 달리한다.

자동 개행 조건의 예로써, 점자 표시부(13) 상에서 점자가 디스플레이되는 점자셀의 행을 디스플레이되는 점자의 개수에 따라 복수 개의 섹션으로 나누고, 각 섹션의 점자셀이 적어도 한번 이상 순차적으로 터치되는 것으로 할 수 있다.

자동 개행 조건의 다른 예로써, 상기 복수 개의 섹션들의 점자셀이 순차적으로 터치된 다음 일정 영역 내의 점자셀이 터치되는 것으로 할 수 있다.

이에 따라, 터치 센싱 오류가 방지되고 사용자가 의도하지 않은 터치동작에 의해 자동 개행되는 것을 방지할 수 있다.

점자 디스플레이 장치(10)의 점자 표시부(13)에 디스플레이된 점자의 총 갯수를 산정함에 있어서, 실제로 점자가 출력된 마지막 점자셀을 기준으로 한다. 예컨대, 마지막 점자셀이 13번 셀이고, 연이어 빈 칸이 3개 있다면, 해당 라인의 마지막 출력된 셀은 13번 점자셀이다.

첫 번째 실시예의 자동 개행명령은 다음과 같은 조건이 충족될 때 수행될 수 있다.

출력되는 마지막 점자의 위치가 점자 표시부(13) 상의 표시영역을 50% 경과하는 경우(17번 점자셀부터 32번 점자셀까지), 출력되는 총 점자셀을 4구간으로 나누고, 각 구간마다 1개 이상의 셀을 오름차순으로 터치해야 하며, 4번째 구간의 마지막 점자 셀이 반드시 터치되어야 하고, 터치되었던 4번째 구간의 마지막 셀의 터치가 해제되어야 하고, 출력된 점자의 75% 이내, 즉 1번부터 3번 구간에 속하는 점자셀을 1개 이상 터치하면, 자동 개행명령을 실행한다.

두 번째 실시예의 자동 개행명령은 다음과 같은 조건이 충족될 때 수행될 수 있다.

출력되는 마지막 점자의 위치가 점자 표시부(13) 상의 표시영역의 50% 이내인 경우(5번 점자셀부터 16번 점자셀까지), 출력되는 총 점자셀을 3구간으로 나누고, 각 구간마다 1개 이상의 점자셀을 오름차순으로 터치해야 하며, 3번째 구간의 마지막 점자셀이 반드시 터치되어야 하고, 터치되었던 3번째 구간의 마지막 점자셀이 터치 해제되어야 하고, 출력된 점자의 50% 이내에 속하는 점자셀을 1개 이상 터치하면, 자동 개행명령을 실행한다.

예외적으로, 점자 표시부(13)가 5번 점자셀까지 출력되는 라인을 구비한 경우, 가상의 빈 점자셀을 1개 더 추가하여 6개의 점자셀이 출력된 것으로 간주한다.

세 번째 실시예의 자동 개행명령은 다음과 같은 조건이 충족될 때 수행될 수 있다.

출력되는 마지막 점자의 위치가 점자 표시부(13)상의 1번 점자셀부터 4번 점자셀에 속하는 경우, 출력된 점자셀을 오름차순으로 모두 터치해야 하고, 최소 3개의 점자셀을 터치해야 하며, 가상의 빈 점자셀이 1개 더 출력된 것으로 간주하여 해당 빈 점자셀을 터치해야 하고, 마지막 셀 즉, 가상의 빈 점자셀이 터치된 후 터치 상태가 해제되면, 자동 개행명령을 실행한다.

예외적으로, 점자 표시부(13)가 1번 점자셀만 출력되는 라인의 경우, 가상의 빈 점자셀을 2개 더 추가하여 3개의 점자셀이 출력된 것으로 간주한다.

네 번째 실시예의 자동 개행명령은 빈 줄이 출력되는 경우. 1번부터 3번까지의 빈 점자셀 중에서 2개 이상을 오름차순으로 터치하면 실행한다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세히 설명하였지만, 본 발명의 권리범위가 이에 한정되는 것이 아니라 다음의 청구범위에서 정의하는 본 발명의 기본 개념을 바탕으로 보다 다양한 실시예로 구현될 수 있으며, 이러한 실시예들 또한 본 발명의 권리범위에 속하는 것이다.

본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.

10 : 점자 디스플레이 장치 11 : 제어부
12 : 저장부 13 : 점자 표시부
14 : 입출력부 15 : 통신부
16 : 전원부 17 : 하우징

Claims (22)

1. 복수 개의 점자 돌출부로 이뤄진 점자 표시부를 이용하여, 사용자의 손가락 제스처 형태에 따른 제스처 명령을 수행하는 점자 디스플레이 장치의 제스처 명령 수행 방법에 있어서,
   상기 점자 표시부 내 설치된 각 점자셀의 액추에이터를 구동하여, 출력하고자 하는 점자 텍스트 데이터에 대응하는 상기 점자셀을 돌출시키는 점자 출력 단계;
   상기 점자셀 내 터치감지센서로부터 수집한 터치감지신호를 근거로 손가락과 적어도 하나의 상기 점자셀 간의 터치동작을 감지하여, 상기 터치동작에 따른 제스처 형태를 분석하는 제스처 형태 분석 단계;
   상기 제스처 형태가 룩업테이블에 사전 저장된 제스처 형태들 중 어느 하나와 일치하는 유효한 제스처 형태인지 확인하는 제스처 형태 확인 단계;
   상기 제스처 형태가 유효할 경우에는 상기 터치동작을 사용자 의도에 기반한 유효한 제스처 동작으로 판단하고, 상기 제스처 형태가 유효하지 않을 경우에는 상기 터치동작을 사용자가 상기 점자 표시부에 표시된 점자를 열람하기 위하여 수행한 열람 동작으로 판단하는 사용자 의도 해석 단계; 및
   상기 터치동작이 상기 열람 동작으로 판단될 경우, 시간의 경과에 따른 일련의 상기 열람 동작이 자동 스크롤 실행 조건을 충족하는 지 여부를 판단하는 단계;
   를 포함하고,
   상기 자동 스크롤 실행 조건은 상기 점자 표시부 내에 표시되는 점자셀의 돌출 개수를 기준으로 동적 조정되는, 점자 디스플레이 장치의 제스처 명령 수행 방법.
2. 제1항에 있어서, 상기 터치감지신호는,
   상기 점자셀의 돌출 여부와 관계 없이, 사용자의 손가락이 접촉하는 점자핀 하부에 매립된 터치감지센서로부터 감지되는 점자 디스플레이 장치의 제스처 명령 수행 방법.
3. 제1항에 있어서, 상기 제스처 형태 분석 단계는,
   상기 점자 표시부의 전체 영역을 복수 개의 영역으로 설정하고, 상기 복수 개의 영역 중 적어도 일부를 상기 제스처 형태를 인식하고자 하는 대상영역으로 설정하는 단계; 및
   상기 대상영역에 위치된 상기 터치감지센서의 터치감지신호를 근거로 상기 대상영역에서 손가락과 적어도 하나의 상기 점자셀들 간의 터치동작을 감지하여 상기 제스처 형태를 분석하는 단계를 포함하는 것을 특징으로 하는 점자 디스플레이 장치의 제스처 명령 수행 방법.
4. 제1항에 있어서, 상기 제스처 형태 분석 단계에서는,
   상기 제스처 형태를 분석할 때 터치된 점자셀의 위치, 터치 지속시간, 터치된 점자셀의 범위, 터치된 점자셀의 개수, 터치 공백, 터치 민감도, 그룹터치 소요시간 및 터치 공백 지속시간 중에서 어느 하나 이상을 근거로 터치된 손가락의 개수 및 손가락의 이동 방향을 산출하여 제스처 형태를 식별하는, 점자 디스플레이 장치의 제스처 명령 수행 방법.
5. 제1항에 있어서, 상기 사용자 의도 해석 단계는,
   상기 제스처 형태가 상기 터치감지신호의 초기화가 이루어지지 않은 상태에서 연속적으로 발생하는 터치동작에 의한 제스처 형태일 경우, 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단하는 단계를 더 포함하는, 점자 디스플레이 장치의 제스처 명령 수행 방법.
6. 제1항에 있어서, 상기 자동 스크롤 실행 조건은,
   상기 점자 셀의 돌출 개수를 기준으로 동적 조정되는 복수개의 점자셀 개수만큼의 점자셀이 터치되는 제1 조건;
   상기 점자 셀의 돌출 개수를 기준으로 동적 조정되는 적어도 하나 이상의 점자셀 구간 각각마다 1개 이상의 점자셀을 오름차순으로 터치하는 제2 조건; 및
   상기 점자 셀의 돌출 개수를 기준으로, 상기 적어도 하나 이상의 점자셀 구간 중 마지막 구간에 속하는 점자셀 및 빈 점자셀 중 적어도 하나 이상이 터치 또는 터치 해제되는 제3 조건;
   을 포함하는 점자 디스플레이 장치의 제스처 명령 수행 방법.
7. 복수 개의 점자 돌출부로 이뤄진 점자 표시부를 이용하여, 사용자의 손가락 제스처 형태에 따른 제스처 명령을 수행하는 점자 디스플레이 장치의 제스처 명령 수행 방법에 있어서,
   상기 점자 표시부 내 설치된 각 점자셀의 액추에이터를 구동하여, 출력하고자 하는 점자 텍스트 데이터에 대응하는 상기 점자셀을 돌출시키는 점자 출력 단계;
   상기 점자셀 내 터치감지센서로부터 수집한 터치감지신호를 근거로 손가락과 적어도 하나의 상기 점자셀 간의 터치동작을 감지하여, 상기 터치동작이 열람 동작 조건을 충족하는 경우 상기 터치동작을 사용자가 상기 점자 표시부에 표시된 점자를 열람하기 위하여 수행한 열람 동작으로 판단하는 단계; 및
   상기 터치동작이 상기 열람 동작으로 판단될 경우, 시간의 경과에 따른 일련의 상기 열람 동작이 자동 스크롤 실행 조건을 충족하는 지 여부를 판단하는 단계;
   를 포함하고,
   상기 자동 스크롤 실행 조건은 상기 점자 표시부 내에 표시되는 점자셀의 돌출 개수를 기준으로 동적 조정되는, 점자 디스플레이 장치의 제스처 명령 수행 방법.
8. 제7항에 있어서, 상기 자동 스크롤 실행 조건은,
   상기 점자 셀의 돌출 개수를 기준으로 동적 조정되는 복수개의 점자셀 개수만큼의 점자셀이 터치되는 제1 조건;
   상기 점자 셀의 돌출 개수를 기준으로 동적 조정되는 적어도 하나 이상의 점자셀 구간 각각마다 1개 이상의 점자셀을 오름차순으로 터치하는 제2 조건; 및
   상기 점자 셀의 돌출 개수를 기준으로, 상기 적어도 하나 이상의 점자셀 구간 중 마지막 구간에 속하는 점자셀 및 빈 점자셀 중 적어도 하나 이상이 터치 또는 터치 해제되는 제3 조건;
   을 포함하는, 점자 디스플레이 장치의 제스처 명령 수행 방법.
9. 제2항에 있어서, 상기 터치감지센서는,
   상기 점자핀 하부에 연성 회로 기판(FPCB, Flexible Printed Circuit board)를 밀착하여 매립된 것을 포함하는, 점자 디스플레이 장치의 제스처 명령 수행 방법.
10. 제9항에 있어서, 상기 연성 회로 기판은,
    점의 돌출을 표시하는 점형 구조물이 상승 또는 하강하도록 상기 점의 개수에 대응되는 홀(hole)을 포함하는, 점자 디스플레이 장치의 제스처 명령 수행 방법.
11. 복수 개의 점자 돌출부로 이뤄진 점자 표시부를 이용하여, 사용자의 손가락 제스처 형태에 따른 제스처 명령을 수행하는 점자 디스플레이 장치의 제스처 명령 수행 장치에 있어서,
    메모리(memory); 및
    상기 메모리에 저장된 적어도 하나의 명령을 실행하는 프로세서(processor)를 포함하되,
    상기 적어도 하나의 명령은,
    상기 점자 표시부 내 설치된 각 점자셀의 액추에이터를 구동하여, 출력하고자 하는 점자 텍스트 데이터에 대응하는 상기 점자셀을 돌출시키도록 하는 명령,
    상기 점자셀 내 터치감지센서로부터 수집한 터치감지신호를 근거로 손가락과 적어도 하나의 상기 점자셀 간의 터치동작을 감지하여, 상기 터치동작에 따른 제스처 형태를 분석하도록 하는 명령,
    상기 제스처 형태가 룩업테이블에 사전 저장된 제스처 형태들 중 어느 하나와 일치하는 유효한 제스처 형태인지 확인하도록 하는 명령,
    상기 제스처 형태가 유효할 경우에는 상기 터치동작을 사용자 의도에 기반한 유효한 제스처 동작으로 판단하고, 상기 제스처 형태가 유효하지 않을 경우에는 상기 터치동작을 사용자가 상기 점자 표시부에 표시된 점자를 열람하기 위하여 수행한 열람 동작으로 판단하도록 사용자의 의도를 해석하도록 하는 명령, 및
    상기 터치동작이 상기 열람 동작으로 판단될 경우, 시간의 경과에 따른 일련의 상기 열람 동작이 자동 스크롤 실행 조건을 충족하는 지 여부를 판단하도록 하는 명령,
    을 포함하고,
    상기 자동 스크롤 실행 조건은 상기 점자 표시부 내에 표시되는 점자셀의 돌출 개수를 기준으로 동적 조정되는, 점자 디스플레이 장치의 제스처 명령 수행 장치.
12. 제11항에 있어서, 상기 터치감지신호는,
    상기 점자셀의 돌출 여부와 관계 없이, 사용자의 손가락이 접촉하는 점자핀 하부에 매립된 터치감지센서로부터 감지되는 점자 디스플레이 장치의 제스처 명령 수행 장치.
13. 제11항에 있어서, 상기 제스처 형태를 분석하도록 하는 명령은,
    상기 점자 표시부의 전체 영역을 복수 개의 영역으로 설정하고, 상기 복수 개의 영역 중 적어도 일부를 상기 제스처 형태를 인식하고자 하는 대상영역으로 설정하도록 하는 명령, 및
    상기 대상영역에 위치된 상기 터치감지센서의 터치감지신호를 근거로 상기 대상영역에서 손가락과 적어도 하나의 상기 점자셀들 간의 터치동작을 감지하여 상기 제스처 형태를 분석하도록 하는 명령을 포함하는 것을 특징으로 하는 점자 디스플레이 장치의 제스처 명령 수행 장치.
14. 제11항에 있어서, 상기 제스처 형태를 분석하도록 하는 명령에서는,
    상기 제스처 형태를 분석할 때 터치된 점자셀의 위치, 터치 지속시간, 터치된 점자셀의 범위, 터치된 점자셀의 개수, 터치 공백, 터치 민감도, 그룹터치 소요시간 및 터치 공백 지속시간 중에서 어느 하나 이상을 근거로 터치된 손가락의 개수 및 손가락의 이동 방향을 산출하여 제스처 형태를 식별하는, 점자 디스플레이 장치의 제스처 명령 수행 장치.
15. 제11항에 있어서, 상기 사용자의 의도를 해석하도록 하는 명령은,
    상기 제스처 형태가 상기 터치감지신호의 초기화가 이루어지지 않은 상태에서 연속적으로 발생하는 터치동작에 의한 제스처 형태일 경우, 상기 점자 표시부에 표시된 점자 열람을 사용자가 의식하여 수행한 터치 동작으로 판단하도록 하는 명령을 더 포함하는, 점자 디스플레이 장치의 제스처 명령 수행 장치.
16. 제11항에 있어서, 상기 자동 스크롤 실행 조건은,
    상기 점자 셀의 돌출 개수를 기준으로 동적 조정되는 복수개의 점자셀 개수만큼의 점자셀이 터치되는 제1 조건;
    상기 점자 셀의 돌출 개수를 기준으로 동적 조정되는 적어도 하나 이상의 점자셀 구간 각각마다 1개 이상의 점자셀을 오름차순으로 터치하는 제2 조건; 및
    상기 점자 셀의 돌출 개수를 기준으로, 상기 적어도 하나 이상의 점자셀 구간 중 마지막 구간에 속하는 점자셀 및 빈 점자셀 중 적어도 하나 이상이 터치 또는 터치 해제되는 제3 조건; 을 포함하는 점자 디스플레이 장치의 제스처 명령 수행 장치.
17. 복수 개의 점자 돌출부로 이뤄진 점자 표시부를 이용하여, 사용자의 손가락 제스처 형태에 따른 제스처 명령을 수행하는 점자 디스플레이 장치의 제스처 명령 수행 장치에 있어서,
    메모리(memory); 및
    상기 메모리에 저장된 적어도 하나의 명령을 실행하는 프로세서(processor)를 포함하되,
    상기 적어도 하나의 명령은,
    상기 점자 표시부 내 설치된 각 점자셀의 액추에이터를 구동하여, 출력하고자 하는 점자 텍스트 데이터에 대응하는 상기 점자셀을 돌출시키도록 하는 명령,
    상기 점자셀 내 터치감지센서로부터 수집한 터치감지신호를 근거로 손가락과 적어도 하나의 상기 점자셀 간의 터치동작을 감지하여, 상기 터치동작이 열람 동작 조건을 충족하는 경우 상기 터치동작을 사용자가 상기 점자 표시부에 표시된 점자를 열람하기 위하여 수행한 열람 동작으로 판단하도록 하는 명령, 및
    상기 터치동작이 상기 열람 동작으로 판단될 경우, 시간의 경과에 따른 일련의 상기 열람 동작이 자동 스크롤 실행 조건을 충족하는 지 여부를 판단하도록 하는 명령,
    을 포함하고,
    상기 자동 스크롤 실행 조건은 상기 점자 표시부 내에 표시되는 점자셀의 돌출 개수를 기준으로 동적 조정되는, 점자 디스플레이 장치의 제스처 명령 수행 장치.
18. 제17항에 있어서, 상기 자동 스크롤 실행 조건은,
    상기 점자 셀의 돌출 개수를 기준으로 동적 조정되는 복수개의 점자셀 개수만큼의 점자셀이 터치되는 제1 조건;
    상기 점자 셀의 돌출 개수를 기준으로 동적 조정되는 적어도 하나 이상의 점자셀 구간 각각마다 1개 이상의 점자셀을 오름차순으로 터치하는 제2 조건; 및
    상기 점자 셀의 돌출 개수를 기준으로, 상기 적어도 하나 이상의 점자셀 구간 중 마지막 구간에 속하는 점자셀 및 빈 점자셀 중 적어도 하나 이상이 터치 또는 터치 해제되는 제3 조건;
    을 포함하는, 점자 디스플레이 장치의 제스처 명령 수행 장치.
19. 제12항에 있어서, 상기 터치감지센서는,
    상기 점자핀 하부에 연성 회로 기판(FPCB, Flexible Printed Circuit board)를 밀착하여 매립된 것을 포함하는, 점자 디스플레이 장치의 제스처 명령 수행 장치.
20. 제19항에 있어서, 상기 연성 회로 기판은,
    점의 돌출을 표시하는 점형 구조물이 상승 또는 하강하도록 상기 점의 개수에 대응되는 홀(hole)을 포함하는, 점자 디스플레이 장치의 제스처 명령 수행 장치.
    
21. 제7항에 있어서,
    상기 점자 셀의 돌출 개수가 0개로서 빈 줄이 출력되는 경우,
    상기 자동 스크롤 실행 조건은,
    상기 점자 셀의 돌출 개수를 기준으로 동적 조정되는 복수개의 점자셀 개수만큼의 점자셀이 터치되는 제1 조건; 및
    복수개의 빈 점자셀 중에서 2개 이상이 오름차순으로 터치되는 제2 조건;
    을 포함하는, 점자 디스플레이 장치의 제스처 명령 수행 방법.
22. 제17항에 있어서,
    상기 점자 셀의 돌출 개수가 0개로서 빈 줄이 출력되는 경우,
    상기 자동 스크롤 실행 조건은,
    상기 점자 셀의 돌출 개수를 기준으로 동적 조정되는 복수개의 점자셀 개수만큼의 점자셀이 터치되는 제1 조건; 및
    복수개의 빈 점자셀 중에서 2개 이상이 오름차순으로 터치되는 제2 조건;
    을 포함하는, 점자 디스플레이 장치의 제스처 명령 수행 장치.

Images