KR102449962B1 - 스마트폰 케이스 기반 점자 키보드 시스템 - Google Patents

Abstract

본발명은 스마트폰 케이스 기반 점자 키보드 시스템에 관한 것으로, 스마트폰 뒷면에 설치되는 점자키보드;
상기 입력키의 입력신호를 제어부로 전달하는 입력부;
텍스트-음성 변환부;
음성 출력부;
데이터를 저장하는 저장부 및 제어부로 이루어지는 것으로, 본 발명은 정확성이 높고 입력속도가 빠른 점자 키보드가 구현되며, 스마트폰을 들고 있는 상태에서 문자를 입력할 수 있어 이동 중에 사용할 수 있고, 입력된 문자는 애플리케이션을 통해 출력되며, 사용자는 화면 내지 음성출력으로 입력된 문자의 오타 및 수정사항을 인지할 수 있는 현저한 효과가 있다.

Description

스마트폰 케이스 기반 점자 키보드 시스템{Braille keyboard system based on smartphone case}

본발명은 스마트폰 케이스 기반 점자 키보드 시스템에 관한 것으로, 보다 상세하게는 정확성이 높고 입력속도가 빠른 점자 키보드가 구현되며, 스마트폰을 들고 있는 상태에서 문자를 입력할 수 있어 이동 중에 사용할 수 있고, 입력된 문자는 애플리케이션을 통해 출력되며, 사용자는 화면 내지 음성출력으로 입력된 문자의 오타 및 수정사항을 인지할 수 있는 스마트폰 케이스 기반 점자 키보드 시스템에 관한 것이다.

일반적으로 2017년 보건복지부의 조사에 따르면 응답자(시각장애인 1~4급)의 55.9%가 스마트폰을 사용하는 것으로 확인되었다. 그러나 스마트폰은 시각정보를 중심으로 제공하기 때문에 시각장애인이 스마트폰을 사용하기에 많은 제약점들이 있다. 시각장애인의 스마트폰 접근을 높이기 위하여 키패드와 관련된 서비스가 지원되고 있다. 구글은 점자형태로 화면을 터치하는 방식인 Talk Back 서비스, 삼성과 애플은 스마트폰 키패드 터치 시 터치된 문자를 음성으로 출력하여 사용자가 입력할 문자를 인지할 수 있는 Voice Assistant와 Voice Over 서비스를 지원한다. 하지만 Talk Back 서비스의 경우 양손으로 화면을 터치하기 때문에 스마트폰을 책상과 같은 사물위에 얹어두고 사용해야한다는 단점이 있다. Voice Assistant와 Voice Over 서비스의 경우에는 키패드를 음성을 확인 후 입력하기 때문에 키패드 대략적인 위치를 암기와 음소 입력마다 음성을 확인 후 입력한다는 단점이 있다.

그리고 상기 점자입력을 위한 종래 특허기술의 일례로서, 등록특허공보 등록번호 10-1580316호에는 스마트폰과 연동하여 점자를 입출력하는 스마트폰용 점자 입출력 장치에 있어서, 상기 스마트폰의 배면과 측면들을 감싸는 외부 케이스 형태의 패드로 이루어지되, 상기 패드는:

전면으로 상기 스마트폰이 삽입되어 고정되는 수용공간;

상기 수용공간 측면에 위치하며, 상기 스마트폰에 입력된 문자를 점자로 출력하는 점자출력부;

배면에 형성되며, 하나의 점자를 입력하는 점자입력부; 및

상기 스마트폰과 연동하여 상기 점자출력부를 제어하며, 상기 점자입력부를 통하여 입력되는 점자를 처리하는 제어장치;를 포함하며,

상기 패드는 상기 스마트폰에 포함된 무선부와 연동하는 무선 모듈을 더 포함하며, 상기 무선 모듈은 상기 제어장치에 의하여 제어되며, 상기 스마트폰은 처리모듈을 더 포함하며, 상기 처리모듈은 스마트폰 입력 장치를 통하여 묵자를 처리하는 묵자입력부와 입력된 묵자의 출력을 지시하는 출력탭을 더 포함하며, 상기 점자입력부는 6개의 단위 버튼으로 이루어지는 점자 버튼과 입력된 점자를 삭제하는 삭제 버튼과 입력된 점자의 완료하여 상기 제어장치로 전송하는 완료 버튼을 포함하며, 상기 점자입력부의 단위 버튼들의 표면에는 각 단위 버튼을 구별할 수 있는 인식자가 형성되는 것을 특징으로

하는 스마트폰용 점자 입출력 장치가 공개되어 있다.

또한 등록특허공보 등록번호 10-1491039호에는 스마트폰에 점자를 입력하는 스마트폰용 점자 입력 장치에 있어서, 상기 스마트폰의 배면을 감싸는 외부 케이스 형태의 패드로 어루어지되, 상기 패드는:

상기 스마트폰을 감싸는 안착부를 포함하는 케이스;

상기 케이스의 상면에 형성되어 점자를 입력하는 점자키;

상기 케이스의 상면에 형성되는 다수의 기능키; 및 상기 점자키와 다수의 기능키의 작동을 감지하여 입력된 점자 또는 스마트폰 조작 기능을 스마트폰으로 전송하는 제어장치;를 포함하되, 상기 기능키는 백스페이스키, 시프트키, 스페이스키, 엔터키, 전송키 및 모드변경키를 포함하며, 상기 모드변경키는 조작에 따라 다른키의 기능을 한글, 영어 및 스마트폰 조작으로 변화시키며, 상기 패드는 상기 제어장치에 의하여 제어되는 진동소자를 더 포함하며, 상기 진동소자는 상기 모드변경키의 조작에 따라 다른 모드로 동작하는 경우 각 모드별로 구별되는 진동수로 진동하는 것을 특징으로 하는 스마트폰용 점자 입력 장치가 공개되어 있다.

그러나 상기 종래기술들은 이동 중에 사용하기가 불편하고 사용자는 입력된 문자의 오타 및 수정사항을 용이하게 인지하기가 어렵다는 단점이 있었다.

따라서 본발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 정확성이 높고 입력속도가 빠른 점자 키보드가 구현되며, 스마트폰을 들고 있는 상태에서 문자를 입력할 수 있어 이동 중에 사용할 수 있고, 입력된 문자는 애플리케이션을 통해 출력되며, 사용자는 화면 내지 음성출력으로 입력된 문자의 오타 및 수정사항을 인지할 수 있는 스마트폰 케이스 기반 점자 키보드 시스템을 제공하고자 하는 것이다.

본발명은 스마트폰 케이스 기반 점자 키보드 시스템에 관한 것으로, 스마트폰 뒷면에 설치되는 점자키보드;

상기 입력키의 입력신호를 제어부로 전달하는 입력부;

텍스트-음성 변환부;

음성 출력부;

데이터를 저장하는 저장부

및 제어부로 이루어지는 것을 특징으로 한다.

따라서 본 발명은 정확성이 높고 입력속도가 빠른 점자 키보드가 구현되며, 스마트폰을 들고 있는 상태에서 문자를 입력할 수 있어 이동 중에 사용할 수 있고, 입력된 문자는 애플리케이션을 통해 출력되며, 사용자는 화면 내지 음성출력으로 입력된 문자의 오타 및 수정사항을 인지할 수 있는 현저한 효과가 있다.

도 1은 본발명 스마트폰 케이스 기반 점자 키보드 시스템의 구성도.
도 2는 본발명의 점자 표준도
도 3은 본발명의 점자를 신호로 변환설명도
도 4는 본발명의 점자 키보드 시스템 흐름도.
도 5는 본발명이 구현된 시스템예시사진
도 6은 본발명의 입력 값 실험결과도

본발명은 스마트폰 케이스 기반 점자 키보드 시스템에 관한 것으로, 스마트폰 뒷면에 설치되는 점자키보드;

상기 입력키의 입력신호를 제어부로 전달하는 입력부;

텍스트-음성 변환부;

음성 출력부;

데이터를 저장하는 저장부

및 제어부로 이루어지는 것을 특징으로 한다.

또한, 상기 점자키보드의 입력키는 8개로서 어레이 형태로 구성되되, 6개의 입력 키는 점자 형태로 배치되며, 문자를 입력하는 기능을 하며, 나머지 2개의 입력키는 띄어쓰기, 삭제, 전송 및 줄 바뀜 기능과 입력된 문자를 음성 변환하는 역할을 담당하는 기능키인 것을 특징으로 한다.

또한, 상기 키보드는 버튼형태 또는 FSR 센서를 사용한 형태인 것을 특징으로 한다.

본발명을 첨부도면에 의해 상세히 설명하면 다음과 같다.

본 시스템은 스마트폰 케이스 형태의 점자 키보드를 구현한 것으로 총 8개의 입력키를 어레이 형태로 구성하였다. 6개의 입력 키는 점자 형태로 배치하였으며, 문자를 입력하는 기능을 한다. 또한, 나머지 2개의 입력키는 띄어쓰기, 삭제, 전송 및 줄 바뀜 기능과 입력된 문자를 음성 변환하는 역할을 담당하는 기능키이다. 하드웨어와 애플리케이션은 OTG 케이블을 활용하여 유선 통신으로 입력된 문자가 전송되며, 애플리케이션에 텍스트-음성 변환 기능을 구현하여 출력된 문자를 음성 출력으로 확인할 수 있도록 하였다, 도 1은 구현된 시스템의 구성도이다.

본발명의 점자는 시각장애인들이 지식과 기술을 습득과 독서, 교육, 일상생활 등을 위한 중요한 도구이다. 점자는 가로 2줄에 세로 3줄로 점을 배치하여 총 6개의 점으로 이루어진 것이 세계적인 표준으로 각 점마다 고유한 번호가 지정되어 구분된다. 한글의 점자는 6개의 점으로 하나의 음소를 나타내고 초성과 모음, 종성으로 나뉜다. 한글 점자 표기의 예로 '점자'라는 단어는 5개의 점자로 작성되며 'ㅈ', 'ㅓ', 'ㅁ', 'ㅈ', 'ㅏ'로 풀어서 읽는다. 본 시스템은 스마트폰 케이스에 점자 형태인 6개의 버튼을 부착하여 점자와 같은 번호를 지정하여 문자를 입력할 수 있게 하였다. 도 2는 점자 형태의 표준이다.

본발명의 텍스트-음성 변환기능에 대해 설명하면, 텍스트-음성 변환(Text-To-Speech, TTS)은 텍스트를 사람의 목소리로 구현하여 음성으로 변환하는 기술을 말한다. 텍스트를 음성으로 변환 시 발음과 억양이 자연스럽지 못하다는 단점이 있지만, 딥 러닝 기술을 기반으로 발음과 억양이 자연스럽게 발전하고 있다. 본 시스템은 시각장애인이 문자를 입력할 때 작성 내용 및 오타 등의 확인을 위해 안드로이드가 지원하는 TTS 기능을 활용하여 구현되었다. 이를 통해 애플리케이션에 작성된 문자를 음성으로 재생이 가능하여 사용자가 작성된 문자를 인지할 수 있게 한다.

실제 점자는 도 3과 같이 각 점마다 고유한 패턴을 가지며, 하드웨어의 점자 입력키 6개는 실제 점자와 같은 패턴을 가진다. 본 발명에서는 점자를 문자로 판단 및 변환하기 위해 표준 점자 표를 참고하였으며, 점자를 튀어나온 부분과 그렇지 않은 부분으로 구분하여 입력키의 값(0=low, 1=high)을 동일하게 지정하였다. 각 점자의 값은 점의 순서대로 나열하였고, 나열된 값에 해당하는 문자를 저장하여 소프트웨어로 구축하였다. 사용자가 점자 입력키를 누른 경우 점자 판단 알고리즘을 통해 입력된 점자에 해당하는 문자를 판단한다. 2개 이상의 버튼 입력이 필요한 음소의 정확도를 높이기 위하여 점자 판단 알고리즘은 입력키가 눌러진 시점으로 부터 0.3초의 시간 후 입력키의 값을 전송하는 방법으로 버튼이 동시에 클릭될 때의 시간차를 보완하였다. 이후, 입력키의 값을 점의 순서대로 나열하고 표준 점자 표를 참고하여 구축된 소프트웨어와 비교 및 일치하는 문자를 애플리케이션으로 전송한다. 기능키는 두 개로 이루어져 있으며 각 버튼의 클릭 동작을 판단하여 해당하는 기능이 전송된다. 전송된 신호는 애플리케이션에서 출력하여 모니터링이 가능하다. 그림 4에 점자 판단 알고리즘을 포한 전체시스템의 순서도를 나타내었다.

본발명은 스마트폰 케이스의 뒷면 파지위치에 6개의 점자 버튼과 2개의 기능 버튼으로 구성된 점자 키보드를 구현하였으며, 동일한 방식으로 FSR 센서를 부착한 형태의 점자 키보드를 설계하였다. 점자 표준을 활용한 점자 판단 알고리즘을 통해 문자 입력키를 구현하였으며, 기능키는 클릭 동작에 따라 하나의 입력키로 두 개의 기능을 구현하였다. 좌측은 띄어쓰기와 삭제, 우측은 전송 및 줄 바뀜과 문자 음성 출력 역할을 수행한다. 애플리케이션은 TTS 기능을 구현하여 출력된 문자를 음성으로 확인할 수 있다. 그림 5는 구현된 시스템의 구성과 두 가지 형태의 하드웨어를 나타내었다. 본발명의 다른 실시례로서 스마트폰에는 진동소자가 설치되어, 제어부는 입력키에 의해 잘못된 단어가 입력되면, 진동소자를 작동시켜 사용자가 알게 한다. 이때 단어는 음절마다 완성도를 제어부는 저장부에 내장된 사전과 대비하여 검토한다. 또한 음성출력부를 통해 오자가 발생되었음을 알릴 수 있다. 진동기능은 설정에 따라 띄어쓰기에도 적용된다. 진동은 해당오자가 수정되거나 삭제되면 꺼지게 되며, 또한 음성출력부를 통해 제어부는 오자가 현재위치에서 어디에 위치해 있는지도 알려주게 할 수 있다.

그러므로 구현된 시스템의 입력 정확도 실험은 다음과 같다. 구현된 시스템의 문자 입력의 정확도를 평가를 위해 실험자 5명을 대상으로 실험을 진행하였으며, 버튼 형태의 하드웨어와 FSR 센서 형태의 하드웨어로 임의의 음소를 100번 입력하였을 때 발생하는 오류의 횟수와 '점자키보드' 단어를 50번 입력하여 발생한 오류의 횟수를 통해 정확도를 도출하였다. 실험 결과, 버튼 형태의 하드웨어는 음소 입력의 경우 98.6%의 정확성, 단어 입력의 경우 95.6%의 정확성을 가지는 것을 확인하였다. FSR 센서 형태의 하드웨어의 경우 음소 입력 88.2%와 단어 입력 58%의 정확성을 확인하였다. 그림 6는 하드웨어의 음소 입력 실험과 단어 입력 실험의 결과 일례이다. 표 1과 표 2에 점자 키보드 시스템의 각 하드웨어를 통한 오타 횟수의 평균값 및 시스템 정확도를 나타내었다.

Sub.	Phoneme			Word
	input	Error	acc.(%)	input	Error	acc.(%)
1	100	2	98	50	4	92
2	100	0	100	50	1	98
3	100	0	100	50	2	96
4	100	4	96	50	0	100
5	100	1	99	50	4	92
Avg.(%)	100	1.4	98.6	50	4.4	95.6

표1. 버튼 형태 하드웨어 입력 정확도

Sub.	Phoneme			Word
	input	Error	acc.(%)	input	Error	acc.(%)
1	100	10	90	50	19	62
2	100	14	86	50	21	58
3	100	7	93	50	27	46
4	100	13	87	50	18	64
5	100	15	85	50	20	60
Avg.(%)	100	11.8	88.2	50	42	58

표2. FSR센서 형태 하드웨어 입력 정확도

발생한 오류 중 두 하드웨어의 공통적인 오류는 여러 개의 버튼이 눌러져야하는 점자의 경우 눌러진 버튼 중 일부만 인식되는 경우이다. 5개의 점을 입력하는 'ㅚ'를 예로 들면, 'ㄱ', 'ㄴ', 'ㅣ', 'ㅔ' 등의 점자 패턴은 1~4개의 점을 입력하며 'ㅚ'의 점자 패턴 내에 포함되어있다. 'ㅚ'를 입력할 때 입력된 위의 'ㅚ'의 점자 패턴에 포함된 점자 패턴을 가진 문자가 출력되는 경우가 발생하였다. 단어 입력 실험의 경우 '점자키보드'의 음소는 11개로 이루어져있으며, 11개의 음소가 완벽하게 입력되었을 때에만 단어 입력이 성공한 것으로 판단하였다. 단어 입력 실험은 음소 입력 실험에 비해 낮은 정확성을 가진다. 각 형태 하드웨어의 정확성 실험을 비교하였을 때 버튼 형태의 하드웨어가 전체적인 정확성이 높다. 버튼은 누를 때 눌러지는 느낌과 소리로 사용자가 인지할 수 있다는 장점이 있어 입력 시 높은 정확성을 보인다. 이에 반해 FSR 센서는 입력 시 소리나 느낌이 없어 입력이 되었는지 확인하기 힘들며, 압력 세기를 가늠하기 힘들어 비교적 낮은 정확성을 확인하였다.

구현된 시스템 입력 속도 비교 실험은 하기와 같다.

버튼 형태의 하드웨어와 FSR 센서 형태의 하드웨어의 입력 속도를 비교하기 위해 점자 판단 알고리즘의 평가를 위해 진행한 '점자키보드'를 50번 입력하는 실험에서 소요시간을 측정하였다. 입력 속도 비교 실험 결과, 버튼 형태의 하드웨어는 평균 32분 39초의 속도를 가지며, FSR 센서 형태의 하드웨어는 평균 27분 8초의 속도를 가진다. 버튼의 경우 클릭으로 인해 속도는 느리지만 입력의 정확성이 높으며, 버튼을 누를 때 발생하는 소리로 사용자가 입력을 인지할 수 있다는 장점이 있다. 이에 반해, FSR 센서의 경우 속도가 빠르다는 장점이 있지만 입력 시 센서를 누를 때 느낌이 없으며, 압력세기를 가늠하기 힘들어 입력의 정확성이 낮다는 단점이 있다. 표 3은 각 형태의 하드웨어의 입력 속도 실험을 통한 소요시간이다.

Sub.	Button(min)	FSR Sensor(min)
1	32.47	27.36
2	33.38	26.57
3	32.43	27.50
4	31.55	26.42
5	32.12	26.37
Avg.	32.39	27.08

그러므로 기존에 제공되는 소프트웨어와 점자 키보드 관련 연구는 키패드 위치 암기 및 입력속도, 사용 시 사물에 올려두는 제한점등을 가진다. 본 발명에서는 스마트폰 케이스에 점자 형태의 6개의 입력키와 2개의 기능키를 부착한 점자 키보드를 구현하였으며, 스마트폰을 쥐고 있는 상태에서 사용 가능과 점자 방식을 통해 입력의 편리성 제공으로 위 한계를 보완하였다. 구현된 키보드는 버튼과 FSR 센서를 사용한 두 가지 형태로 점자 분류 알고리즘을 통해 입력된 문자를 애플리케이션에 출력하며, TTS 기능을 활용하여 작성된 문자를 음성 확인이 가능하다. 구현된 시스템의 정확성 및 입력속도를 비교하기 위해 임의의 음소를 100번 입력, '점자키보드'를 50번 연속 입력, '점자키보드'를 입력할 때 속도를 측정하는 실험을 진행하였다. 그 결과 버튼 형태의 하드웨어는 음소 입력 실험에서 98.6%, 단어 입력 실험에서 95.6%의 검출 성능을 확인하였으며 단어 입력 실험에서 평균 32분 39초의 속도로 측정되었다. FSR 센서 형태의 하드웨어의 경우 각각 88.2%, 58%의 정확성을 가지며, 27분 8초의 입력 속도를 가진다. 실험결과를 비교하였을 때 정확성이 높은 버튼 형태의 하드웨어가 점자 키보드로 적합하지만, 향후 실시간 음성출력 및 스마트폰의 진동 기능을 통해 FSR 센서 형태의 하드웨어를 개선하여 정확성이 높고 입력속도가 빠른 점자 키보드를 구현할 수 있다.

Claims (3)

1. 스마트폰 뒷면에 설치되는 점자키보드;
   입력키의 입력신호를 제어부로 전달하는 입력부;
   텍스트-음성 변환부;
   음성 출력부;
   데이터를 저장하는 저장부 및 제어부를 포함하여 이루어지는 것으로,
   상기 점자키보드의 입력키는 8개로서 어레이 형태로 구성되되, 6개의 입력 키는 점자 형태로 배치되며, 문자를 입력하는 기능을 하며, 나머지 2개의 입력키는 띄어쓰기, 삭제, 전송 및 줄 바뀜 기능과 입력된 문자를 음성 변환하는 역할을 담당하는 기능키인 것이며,
   상기 점자키보드는 버튼형태 또는 FSR 센서를 사용한 형태인 스마트폰 케이스 기반 점자 키보드 시스템에 있어서,
   상기 스마트폰에는 진동소자가 설치되어, 제어부는 입력키에 의해 잘못된 단어가 입력되면, 진동소자를 동작시켜 사용자가 알게 하고, 진동기능은 띄어쓰기에도 적용되되, 진동동작은 해당오자가 수정되거나 삭제되면 꺼지게 되며, 또한 음성출력부를 통해 제어부는 오자가 현재위치에서 어디에 위치해 있는지도 알려주게 되는 것을 특징으로 하는 스마트폰 케이스 기반 점자 키보드 시스템
2. 삭제
3. 삭제

Images