KR20140135572A - 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템 - Google Patents

컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템 Download PDF

Info

Publication number
KR20140135572A
KR20140135572A KR1020130056060A KR20130056060A KR20140135572A KR 20140135572 A KR20140135572 A KR 20140135572A KR 1020130056060 A KR1020130056060 A KR 1020130056060A KR 20130056060 A KR20130056060 A KR 20130056060A KR 20140135572 A KR20140135572 A KR 20140135572A
Authority
KR
South Korea
Prior art keywords
computer
input
input device
aided
reflected light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020130056060A
Other languages
English (en)
Other versions
KR102187837B1 (ko
Inventor
성상민
김남일
김성한
이석백
천성철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130056060A priority Critical patent/KR102187837B1/ko
Priority to US14/280,058 priority patent/US9531404B2/en
Publication of KR20140135572A publication Critical patent/KR20140135572A/ko
Application granted granted Critical
Publication of KR102187837B1 publication Critical patent/KR102187837B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/4025—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code constant length to or from Morse code conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템에 관한 것으로, 특히 장애인이 컴퓨터에 입력을 하기 위한 장치 및 이를 이용한 입력 방법과 그 시스템에 관한 것이다.
본 발명의 일 실시 예에 따른 시스템은, 컴퓨터 보조 입력장치로부터 미리 결정된 통신 방식에 의거하여 자판 입력 및 마우스 입력에 대응하는 모스 부호를 사용자의 입력 신호로 수신하는 컴퓨터; 및 상기 컴퓨터로 사용자 입력 신호를 송신하기 위한 상기 컴퓨터 보조 입력 장치를 포함하며,
상기 컴퓨터 보조 입력 장치는, 상기 좌측 및 우측의 안구로 적외선을 신호를 송출하기 위한 적외선 송신기; 좌측 안구 및 우측 안구로부터 반사되는 반사광의 광량 변화를 측정하기 위한 반사광 센서; 상기 반사광 센서로부터 각 안구들로부터의 반사광 변화를 검출하고, 이를 모스 부호로 생성하고, 이를 컴퓨터로 송신하기 위한 문자열로 변환하는 제어부; 및 상기 제어부에서 생성된 문자열을 상기 컴퓨터로 제공하는 컴퓨터 통신부;를 포함할 수 있다.

Description

컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템{INPUTTING DEVICE OF COPMPUTER AND METHOD FOR USING THE DEVICE AND SYSTEM THEREOF}
본 발명은 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템에 관한 것으로, 특히 장애인이 컴퓨터에 입력을 하기 위한 장치 및 이를 이용한 입력 방법과 그 시스템에 관한 것이다.
정보화 시대가 시작되면서 일반인이 얻을 수 있는 정보의 수준이 높아졌고 계속해서 발전해 가고 있다. 이에 따라 일반인은 쉽게 정보를 접하고 습득할 수 있지만, 장애인은 그렇지 못하다. 그 이유는 여러 가지가 있지만, 가장 큰 이유는 컴퓨터 제대로 사용하지 못하기 때문이다. 현대인들은 대부분의 정보를 컴퓨터를 통해 획득한다. 하지만, 장애인의 경우 컴퓨터를 다루기는 쉽지 않다. 그 이유는 컴퓨터를 쉽게 다룰 수 있도록 해주는 보조기기의 가격이 만만치 않기 때문이다. 지금 전 세계 장애인 인구수는 전체 인구의 15%를 차지하고 있으며, 장애인의 수는 매년 증가하고 있다.
현재 장애인들의 컴퓨터 사용에 대한 해결방안과 보조기기들은 계속해서 제시 되고 있으나, 그 방법이 완벽하지 않고, 시중에 나와 있는 장애인용 PC 보조기기의 경우 그 가격이 매우 높아 쉽게 접하기 힘들며, 제어 방법 또한 쉽지 않다. 그리고 대부분의 PC 보조기기들은 가상마우스만 제공하기 때문에 타이핑이 어렵고, 한 문장을 완성하기 위해 여러 번 동작해야하는 불편함이 있다.
따라서 본 발명에서는 저렴한 가격의 장애인용 컴퓨터 보조기기와 이를 구동하기 위한 방법을 제공한다.
또한 본 발명에서는 타이핑과 가상 마우스를 동시에 제공할 수 있는 장애인용 컴퓨터 보조기기와 이를 구동하기 위한 방법을 제공한다.
또한 본 발명에서는 장애인들의 제어가 용이한 장애인용 컴퓨터 보조기기와 이를 구동하기 위한 방법을 제공한다.
본 발명의 일 실시 예에 따른 장치는, 컴퓨터로 사용자 신호를 입력하기 위한 컴퓨터 보조 입력 장치로, 좌측 및 우측의 안구로 적외선을 신호를 송출하기 위한 적외선 송신기; 좌측 안구 및 우측 안구로부터 반사되는 반사광의 광량 변화를 측정하기 위한 반사광 센서; 상기 반사광 센서로부터 각 안구들로부터의 반사광 변화를 검출하고, 이를 모스 부호로 생성하고, 이를 컴퓨터로 송신하기 위한 문자열로 변환하는 제어부; 및 상기 제어부에서 생성된 문자열을 상기 컴퓨터로 제공하는 컴퓨터 통신부;를 포함할 수 있다.
본 발명의 일 실시 예에 따른 시스템은, 컴퓨터 보조 입력장치로부터 미리 결정된 통신 방식에 의거하여 자판 입력 및 마우스 입력에 대응하는 모스 부호를 사용자의 입력 신호로 수신하는 컴퓨터; 및 상기 컴퓨터로 사용자 입력 신호를 송신하기 위한 상기 컴퓨터 보조 입력 장치를 포함하며, 상기 컴퓨터 보조 입력 장치는, 상기 좌측 및 우측의 안구로 적외선을 신호를 송출하기 위한 적외선 송신기; 좌측 안구 및 우측 안구로부터 반사되는 반사광의 광량 변화를 측정하기 위한 반사광 센서; 상기 반사광 센서로부터 각 안구들로부터의 반사광 변화를 검출하고, 이를 모스 부호로 생성하고, 이를 컴퓨터로 송신하기 위한 문자열로 변환하는 제어부; 및 상기 제어부에서 생성된 문자열을 상기 컴퓨터로 제공하는 컴퓨터 통신부;를 포함할 수 있다.
본 발명의 일 실시 예에 따른 방법은, 컴퓨터 보조 입력 장치로부터 사용자 입력을 수신하여 처리하기 위한 방법으로, 상기 컴퓨터 보조입력 장치가 서로 다른 2개의 입력을 이용하여 장/단 신호인 모스 부호로 변환하는 단계; 상기 컴퓨터 보조입력 장치가 상기 모스 부호를 컴퓨터로 송신하기 위한 문자열로 변환하는 단계; 상기 컴퓨터가 상기 문자열을 수신할 시 모스 부호에 대응하여 미리 저장된 명령으로 해석하는 단계; 및 상기 컴퓨터가 해석된 명령에 대응하여 상기 컴퓨터를 구동하는 단계;를 포함할 수 있다.
본 발명에 따른 장애인용 컴퓨터 보조기기와 이를 구동하기 위한 방법을 적용하면, 타이핑과 가상 마우스를 동시에 제공할 수 있으며, 장애인들의 제어가 용이하다. 뿐만 아니라 본 발명에 따른 장애인용 컴퓨터 보조기기와 이를 구동하기 위한 방법이 적용된 장치는 저렴한 가격으로 생산이 가능해 장애인들에게 저렴한 가격으로 제공할 수 있다.
도 1은 본 발명의 실시 예에 따라 컴퓨터와 장애인이 컴퓨터에 사용자 입력을 제공하기 위한 컴퓨터 보조 입력기기간의 시스템 구성도,
도 2는 본 발명의 일 실시 예에 따라 컴퓨터 보조 입력기기의 내부 및 컴퓨터의 개략적인 블록 구성도,
도 3은 본 발명의 일 실시 예에 따라 안경형 보조 입력기기에서 신호 입력 및 송신 시의 제어 흐름도,
도 4는 본 발명의 일 실시 예에 따라 컴퓨터에서 컴퓨터 보조 입력기기로부터 데이터를 수신하는 경우의 제어 흐름도,
도 5는 본 발명에 따라 한글 입력을 위한 검출하기 위한 오토마타 상태도를 도시한 도면,
도 6은 본 발명의 실시 예에 따라 매크로를 정의하는 경우를 설명하기 위한 예시도,
도 7a 내지 도 7e는 본 발명의 실시 예에 따라 가상 키보드의 사용자 인터페이스를 예시한 도면,
도 8은 본 발명의 일 실시 예에 따라 컴퓨터에서 가상 키보드가 화면에서 숨겨진 상태를 예시한 도면,
도 9a는 본 발명에 따라 가상 마우스를 사용하는 경우 화면 분할과 가상 마우스를 제어하기 위한 제어 보드를 함께 도시한 도면,
도 9b는 본 발명에 따라 가상 마우스를 제어하기 위한 제어 보드만을 도시한 도면,
도 10a 및 도 10b는 본 발명에 따라 모스 부호를 커스터마이징하여 사용하는 경우의 예시도,
도 11은 본 발명에 따라 컴퓨터에서 프로그램 초기 시작 화면의 크기 등의 옵션 기능을 설정하기 위한 화면의 예시도.
이하 첨부된 도면을 참조하여 본 발명을 살펴보기로 한다. 이하에 첨부된 본 발명의 도면은 본 발명의 이해를 돕기 위해 제공되는 것으로, 본 발명의 도면에 예시된 형태 또는 배치 등에 본 발명이 제한되지 않음에 유의해야 한다. 또한 본 발명에 첨부된 도면에 대한 부가적인 실시예에 대한 균등 또는 확장은 도면을 참조한 설명을 통해 이해되어야 할 것이다.
도 1은 본 발명의 실시 예에 따라 컴퓨터와 장애인이 컴퓨터에 사용자 입력을 제공하기 위한 컴퓨터 보조 입력기기간의 시스템 구성도이다.
본 발명에 따른 컴퓨터 보조 입력기기들(100A, 100B)은 컴퓨터(200)와 블루투스(Bluetooth) 통신을 통해 데이터 통신을 수행할 수 있는 형태로 도시하였다. 하지만, 컴퓨터 보조 입력기기들(100A, 100B)은 유선으로 컴퓨터(200)와 데이터 통신을 수행할 수도 있다.
도 1에 도시한 컴퓨터 보조 입력기기들(100A, 100B)은 실제로 2개 모두가 필요한 형태는 아니며, 안경 형태의 컴퓨터 보조 입력기기(100A) 또는 스위치 형태의 컴퓨터 보조 입력기기(100B)만으로 구성될 수 있다. 이하의 설명에서는 안경 형태의 컴퓨터 보조 입력기기(100A)를 주로 설명할 것이며, 스위치 형태의 컴퓨터 보조 입력기기(100B)는 구성이나 동작이 달라지는 경우에 대해서만 살펴보기로 한다.
안경 형태의 컴퓨터 보조 입력기기(100A)는 양쪽의 안경다리 부분에 센서와 적외선 송출기를 포함한다. 각각의 송출기은 눈으로 적외선 신호를 조사(照射)하고, 눈꺼풀의 움직임 즉, 눈의 깜빡임에 따라 반사되는 적외선 신호를 수신하는 센서를 갖는다. 각각의 적외선 센서들은 왼쪽 눈꺼풀과 오른쪽 눈꺼풀의 움직임을 검출하며, 좌/우 눈의 깜빡임을 이용하여 모스 부호로 변환한다. 또한 안경 형태의 컴퓨터 보조 입력기기(100A)는 양측에 위치해 서로 거리적으로 이격되어 있으므로, 양측의 센서들 상호간 또는 한 측에서 다른 한 측으로 눈꺼풀의 움직임 검출을 알리기 위한 무선 통신 모듈을 포함할 수 있다. 이와 다른 방법으로 안경테의 내부를 관통하는 유선 데이터 송신 라인을 포함하도록 하는 경우 양측에 무선 통신 모듈을 갖지 않아도 된다.
안경 형태의 컴퓨터 보조 입력기기(100A)는 눈 깜박임을 인식하여 이를 부호화하여 컴퓨터로 전달한다. 기본적으로 눈의 깜박임을 인식하기 위해서 눈 주변에 센서가 위치하는 것이 가장 이상적이다. 때문에 필요한 센서와 모듈을 안경에 부착함으로써 눈꺼풀의 움직임을 획득하도록 했다. 또한 안경은 사용자의 시력에 따라서 실제 시력을 보정하는 렌즈를 사용할 수도 있으며, 본 발명에 따른 센서의 동작과는 무관하다.
센서는 안경의 좌, 우 렌즈의 가장자리인 안경다리와 렌즈가 접합되는 부분에 위치시키는 것이 바람직하다. 적외선 발광 LED와 적외선 반사량을 검지하는 센서를 한 쌍으로 이루어 좌, 우에 한 쌍씩 설치한다. 또한 센서를 동작하기 위한 배터리와 회로는 안경다리의 바깥쪽에 부착되는 형태를 갖도록 하는 것이 바람직하다. 배터리와 회로를 구성하는 형태 및 크기는 최대한 작고 가볍게 만드는 것이 바람직하며, 각각의 모듈을 좌, 우 안경다리 바깥쪽에 배치하는 것이 바람직하다.
또한 각각의 모듈 즉, 좌, 우 모듈의 구성은 동일하지 않으며 한쪽 모듈은 배터리와 충전, 전원공급 회로 등을 포함할 수 있으며, 다른 한쪽 모듈에는 LED를 구동하고 센서의 값을 처리하여 블루투스 신호로 컴퓨터로 전송하기 위한 회로를 더 포함할 수 있다. 즉, 안경 형태의 컴퓨터 보조 입력기기(100A)는 컴퓨터(200)로 데이터를 송신하기 위한 무선 모듈을 포함할 수 있으며, 도면에 도시한 바와 같이 블루투스 모듈을 이용할 수 있다.
도 1에서 안경 형태의 컴퓨터 보조 입력기기(100A)와 스위치 형태의 컴퓨터 보조 입력기기(100B)간의 차이는 사용자의 입력 방식이 달라진다. 즉, 스위치 형태의 컴퓨터 보조 입력기기(100B)는 사용자가 적어도 하나의 손가락 또는 그에 대응하는 움직임이 가능한 장애인인 경우 각각의 스위치를 눌러 눈꺼풀의 움직임과 동일한 형태로 신호를 입력할 수 있다. 이때 입력 방법은 안경 형태의 컴퓨터 보조 입력기기(100A)와 같이 모스 부호로 인식된다.
이상의 구성을 이용하여 전반적인 동작을 다시 살펴보기로 하자. 사람이 눈을 감거나 뜨는 깜박임의 두 상태를 검출하여 이를 모스부호로 인식하고, 다시 컴퓨터로 전달하는 방식을 채용한 본 발명은 유사한 방식으로 다른 형태의 입력이 가능한 환경을 제공할 수 있다.
두 눈의 깜박임이 아니더라도 신체의 어느 부위라도 조금 움직일 수 있다면 버튼을 눌러 눈 깜박임과 동일한 이진 신호를 입력 받을 수 있을 것이다. 따라서 적외선의 반사량을 이용하는 안경 형태에 부착된 센서와 다르게 단순한 스위치의 누름 여부를 이용한 별도의 모듈을 생각할 수 있다. 이를 도 1의 스위치 형태의 컴퓨터 보조 입력기기(100B)로 도시하였다. 스위치 형태의 컴퓨터 보조 입력기기(100B)는 둘로 구성되며, 두 모듈은 같은 도 1에 도시한 바와 같이 크기 같은 모양을 가질 수 있으며, 각기 하나의 스위치를 포함할 수 있다. 스위치 형태의 컴퓨터 보조 입력기기(100B)를 구성하는 두 모듈은 완전히 독립된 하드웨어장치로 둘을 붙일 수도 때어 놓을 수도 있는 형태로 구성할 수 있다. 이를 통해 멀리 떨어진 신체의 각기 다른 부분을 이용하여 2진 코드를 입력할 수 있다. 두 모듈 중 하나는 PC와 통신하기 위한 블루투스 통신장치와 나머지 다른 모듈과 통신하기 위한 Zig-bee모듈을 포함할 수 있으며, 유선으로 컴퓨터와 연결이 가능한 경우에는 유선으로 컴퓨터와 연결할 수도 있다. 만일 컴퓨터와 무선 통신을 이용해야만 하는 경우라면, 하나의 모듈은 다른 하나의 모듈로 데이터를 송신하기 위한 무선 통신부 예컨대, 지그비(Zig-bee) 모듈만을 포함하며, 나머지 하나의 모듈은 PC로 데이터를 전달하기 위한 무선통신 모듈을 포함할 수 있다.
한편, 안경에 부착되어질 모듈은 사용자 편의를 고려하여 가능한 작고 가볍게 제작하는 것이 바람직하다. 따라서 PCB 제작을 통해 가능한 작고 가볍게 회로를 구성해야 하며, 가능한 경우 안경테를 제작할 때, 필요한 부분들을 삽입할 수 있는 경우 안경테부터 본 발명이 적용되는 형태가 되도록 제작하는 것도 하나의 방법이 될 수 있다.
도 2는 본 발명의 일 실시 예에 따라 컴퓨터 보조 입력기기의 내부 및 컴퓨터의 개략적인 블록 구성도이다.
컴퓨터 보조 입력기기는 도 1에 도시한 바와 같이 2개의 모듈이 하나의 쌍으로 구성된다. 도 2에서는 모듈A(110)와 모듈B(120)가 하나의 쌍으로 구성되고, 모듈A(110)를 통해 컴퓨터(200)와 통신이 이루어지는 경우를 예시하였다.
그러면 모듈A(110)와 모듈B(120)의 구성 및 동작에 대해 살펴보기로 한다. 모듈A(110)는 제1적외선 송출기(111), 제1반사광 센서(112), 컴퓨터 통신부(113), 제1모듈 통신부(114), 모듈 제어부(115)를 포함할 수 있다. 모듈B(120)는 제2적외선 송출기(121), 제2반사광 센서(122) 및 제2모듈 통신부(123)를 포함할 수 있다.
모듈B(120)의 구성 및 동작을 먼저 살펴보기로 한다. 제2적외선 송출기(121)는 미리 설정된 주파수 대역의 적외선 신호를 생성하여 안구로 송출한다. 이때, 제2적외선 송출기(121)는 인체에 열을 발생시킬 수 있는 소자이다. 또한 적외선 송출기는 안구로 적외선을 조사해야 하므로 안전성이 검증된 제품을 사용하는 것이 바람직하다. 현재까지 조사된 자료에 따르면 높은 에너지를 갖는 적외선은 인체조직에 흡수, 전달되어 인체조직을 발열 시키는 효과가 있다. 이러한 효과를 이용하여 온열 치료용도로도 사용되어지나 높은 에너지를 갖는 적외선에 과도하게 노출되는 경우 인체조직의 열파괴가 일어난다. 따라서 본 발명에서 사용하고자 하는 적외선 송출기는 안구에 열 에너지를 전달하지 않을 만큼의 출력값으로 조정하는 것이 매우 중요하다.
제2적외선 송출기(121)에서 송출된 신호는 눈꺼풀의 깜빡임 동작에 의해 제2반사광 센서(122)로 반사되는 광량이 변화하게 된다. 따라서 제2반사광 센서(122)는 반사되는 빛의 양을 검출하여 눈의 깜박임을 검출할 수 있다. 제2반사광 센서(122)에서 출력되는 신호는 아날로그 신호이다. 따라서 제2모듈 통신부(123)는 제2반사광 센서(122)로부터 입력된 신호를 필터링하여 잡음을 제거한 후 미리 설정된 증폭 값만큼 증폭하고, 디지털 신호로 변환한다. 제2모듈 통신부(123)는 반사광을 이용해 눈꺼풀의 움직임을 검출한 디지털 신호를 미리 설정된 통신 방식을 이용하여 모듈A(110)로 송신한다. 이때 미리 설정된 통신 방식은 다양한 방법을 사용할 수 있으며, 앞서 설명한 바와 같이 안경테를 미리 제작할 수 있는 경우라면, 안경테의 내부를 통해 유선으로 데이터를 송신할 수 있다. 반면 유선으로 설치가 불가능한 경우 지그-비(Zig-bee) 방식 등 매우 가까운 거리에서 무선 통신을 사용하는 무선 방식을 사용할 수 있다. 이를 통해 소모전류를 줄이면서 배터리로 인한 안경테의 무게를 줄일 수도 있다.
이상에서 제2반사광 센서(122)는 단지 반사광의 광량 변화를 검출하기 위한 센싱 동작만 하는 것으로 설명하였다. 하지만, 필요에 따라서는 센싱된 데이터의 필터링 및 아날로그-디지털 변환을 제2반사광 센서(122)에서 수행하도록 구성할 수도 있다. 이처럼 구성하는 경우 제2모듈 통신부(123)에서 해당 기능은 제거된다.
또한 제2반사광 센서(122)는 착용자의 눈 깜빡임을 아날로그 전압(Analog voltage)의 변화로 검출하기 때문에 착용자의 신체 여건이나 착용자의 사용 환경 등에 따라 측정되는 전압의 범위가 매우 유동적 일수 있다. 따라서 초기동작 과정에서 이를 보정하는 과정이 필요하다. 이처럼 초기 동작 과정에서 보정 시에 일정시간 동안 아날로그-디지털 변환(ADC) 입력 값의 최고치 평균과 최저치 평균을 구하여 중간 값을 임계값으로 사용하는 방법을 이용할 수 있다. 이는 간단히 초기 구동 시 설정한 시간 'T' 동안 샘플링 가능한 데이터를 모두 모아서 최대값에 유사한 상위 10% 값의 평균과 최하 값에 유사한 하위 10% 값의 평균을 이용하여 기준 값을 구하는 것이다. 이때 T는 자연스럽게 눈 깜빡임이 2~3회 일어날 정도의 시간이어야 한다. 이러한 방법을 통해 기준 값을 설정하면, 외부 요인에 영향에 의한 오작동을 줄일 수 있다.
모듈A(110)에서 제1적외선 송출기(111) 및 제1반사광 센서(112)는 앞서 설명한 모듈B(120)의 제2적외선 송출기(121) 및 제2반사광 센서(122)와 각각 대응하며, 동일한 동작을 수행한다. 다만 제1반사광 센서(112)의 출력은 모듈 제어부(115)로 입력된다. 이때 제1반사광 센서(112)에서 출력되는 값이 센싱된 아날로그 형태 그대로인 경우 필터링, 증폭 및 디지털 신호로의 변환을 위한 회로를 추가로 더 포함할 수 있다.
모듈A(110)의 제1모듈 통신부(114)는 모듈B(120)의 제2모듈 통신부(123)와 미리 설정된 방식으로 통신하기 위한 모듈이다. 제1모듈 통신부(114)는 모듈 제어부(115)의 제어에 의해 필요한 데이터를 제2모듈 통신부(123)로 송신하며, 제2모듈 통신부(123)로부터 수신된 신호를 모듈 제어부(115)로 제공한다. 따라서 제1모듈 통신부(114) 및 제2모듈 통신부(123)는 미리 설정된 방식으로 통신하기 위한 부호화 및 복호화 동작과 대역 상승/하강 변환 동작을 수행한다.
컴퓨터 통신부(113)는 컴퓨터(200)와 미리 설정된 또 다른 방식으로 통신을 수행하기 위한 통신 모듈이다. 안경 형태의 보조 입력기기(100A)인 경우 블루투스 방식을 사용할 수 있으며, 스위치 형태의 컴퓨터 보조 입력기기(100B)인 경우 유선 통신 또는 블루투스 통신 방식이 될 수 있다. 따라서 컴퓨터 통신부(113)는 무선 통신을 수행하는 경우 미리 설정된 방식으로 통신하기 위한 부호화 및 복호화 동작과 대역 상승/하강 변환 동작을 수행한다.
모듈 제어부(115)는 제1모듈 통신부(114)를 통해 모듈B(120)에서 검출된 눈꺼풀의 깜빡임 정보와 제1반사광 센서(112)로부터 입력된 눈꺼풀의 깜빡임 정보를 이용하여 모스 부호 형식으로 데이터를 생성하고, 생성된 데이터가 존재하는 모스 부호인지를 검사한다. 검사 결과 미리 등록된 모스 부호인 경우 모듈 제어부(115)는 컴퓨터 통신부(113)를 제어하여 컴퓨터(200)로 해당하는 모스 부호를 송신하도록 제어한다.
한편, 평소 사람은 자연스러운 눈 깜박임을 하게 됨으로 이에 대한 예외처리방법이 필요하다. 이 방법은 크게 능동적인 방법과 수동적인 방법이 있으며, 능동적인 방법은 시스템의 오작동을 일으킬 여지가 있고 수동적인 방법은 사용자가 수고스러워 진다는 문제가 있다. 이 문제는 통상 눈을 깜박일 때 양쪽 눈을 동시에 깜빡이게 되는 점에서 착안해 어떠한 명령어를 입력하기 전 한쪽 눈만 깜빡이는 것을 시작 신호로 삼으로써 해결할 수 있다. 이는 통신 패킷의 시작비트와 같은 역할을 하게 되며, 이후의 눈 깜빡임은 의도된 눈 깜박임으로 간주하고 처리할 수 있다. 이 방법 이외에도 눈을 감고 있는 시간을 설정할 수도 있으며, 사용자가 가장 편리한 방법을 이용하도록 설정할 수 있다.
시작 신호가 입력된 이후 입력되는 눈 깜빡임 상태 변경시점을 이용하여 미리 가지고 있던 모스부호 조합 경우의 수와 비교 과정을 거처 온전한 모스부호로 인식하면 결과를 컴퓨터로 전송하여 하나의 입력 동작을 완료 할 수 있다.
다음으로 컴퓨터(200)의 내부 구성 및 동작에 대해 살펴보기로 한다. 컴퓨터(200)는 제어부(201), 무선 통신부(202), 유선 통신부(203), 화면 처리부(204), 사용자 인터페이스(205) 및 메모리(206)를 포함할 수 있다.
제어부(201)는 일반적으로 컴퓨터의 프로세서가 될 수 있으며, 컴퓨터의 모든 제어 동작에 필요한 연산, 비교 등을 통해 제어를 수행한다. 또한 제어부(201)는 본 발명에 따라 컴퓨터 보조 입력기기로부터의 신호를 사용자 입력을 수신하며, 이에 대응하는 화면 출력 및 제어 동작을 수행할 수 있다.
무선 통신부(202) 및 유선 통신부(203)는 하나의 모듈로 구성할 수도 있으며, 무선 통신부(202)는 블루투스 또는 와이파이 등의 방법으로 다른 기기와 무선 통신을 수행한다. 또한 유선 통신부(203)는 유선으로 인터넷 등의 네트워크에 연결하여 데이터 통신을 수행한다. 화면 처리부(204)는 제어부(201)로부터 수신된 데이터를 모니터(도면에 도시하지 않음)를 통해 출력할 그래픽 데이터로 변환하여 모니터로 출력한다. 경우에 따라서는 화면 처리부(204)의 동작을 제어부(201)에서 수행하도록 구성할 수도 있다. 사용자 인터페이스(205)는 키보드, 마우스, 조이스틱 등 다양한 사용자 입력 장치들로부터 수신되는 사용자 입력 데이터를 제어부(201)에서 처리 가능한 형태로 변환하여 제공한다. 메모리(206)는 롬, 램 또는/및 하드디스크 등의 형태로 사용자 데이터를 저장할 수 있는 기록 매체이다. 메모리(206)는 본 발명에 따른 제어 프로그램은 물론, 컴퓨터를 구동하기 위한 운영시스템 예를 들어 윈도우 등을 저장할 수 있다. 또한 메모리(206)는 제어부(201)에서 제어 시에 발생되는 데이터 및 그 결과를 임시 또는 반영구적으로 저장할 수도 있다.
이상에서 설명한 구성에 따라 컴퓨터 보조 입력기기의 동작과 컴퓨터의 동작을 다시 간략히 살펴보기로 한다.
컴퓨터 보조 입력기기는 모스부호를 인식하는 하드웨어 장치이다. 따라서 안경 형태를 갖는 경우 착용자의 눈 깜빡임을 모스부호로 인식한다. 이때 안경 형태의 컴퓨터 보조 입력기기는 좌, 우 눈의 깜빡임을 인식하여 모스부호로 전환하여 컴퓨터로 전달한다. 눈 깜빡임을 인식하는 기본 원리는 적외선을 눈 주변에 비추면 눈을 감았을 때와 눈을 떴을 때 적외선의 반사량이 다르다는 점을 이용한다. 이와 다른 방법으로 컴퓨터 보조 입력기기를 스위치 형태로 구성하는 경우 모스부호를 인식하는 스위치를 제작한다. 2개의 스위치를 이용하여 각각의 스위치에 대한 신호를 모스부호로 전환하여 컴퓨터로 전달한다. 이때, 2개의 스위치로부터 입력되는 신호는 각각 장(長)/단(短)의 신호가 된다.
도 3은 본 발명의 일 실시 예에 따라 안경형 보조 입력기기에서 신호 입력 및 송신 시의 제어 흐름도이다.
모듈 제어부(115)는 300단계에서 센서들(112, 122)로부터의 입력을 대기한다. 센서들(112, 122)로부터의 입력이란, 눈꺼풀의 움직임에 대응하는 입력을 의미한다. 즉, 눈꺼풀이 움직이면, 적외선 송출기들(111, 121)로부터 안구로 송출된 빛의 반사광량이 변화하기 때문에 이러한 반사광량 변화에 대한 신호가 입력되는가를 대기하는 상태이다.
모듈 제어부(115)는 302단계로 진행하여 센서들(112, 122)로부터의 입력이 존재하는가를 검사하고, 센서들(112, 122)로부터의 입력이 존재하는 경우 304단계로 진행하며, 센서들(112, 122)로부터의 입력이 존재하지 않는 경우 300단계를 계속 수행한다. 모듈 제어부(115)는 센서들(112, 122)로부터의 입력이 존재하면, 304단계에서 양쪽 센서 모두로부터 입력된 신호인가를 검사한다. 즉, 앞서 설명한 바와 같이 한 쪽 눈만 감기는 경우를 시작신호로 설정한 경우이다. 따라서 304단계는 사용자 입력의 시작이 요청되었는가를 검사하는 단계로 볼 수 있다. 만일 사용자 입력의 시작을 다른 방법 예를 들어, 미리 정해진 일정 시간 동안 눈이 감기는 경우 등의 동작으로 설정된 경우 304단계는 설정된 방법에 따라 시작을 검출하기 위한 다른 방법으로 설정할 수 있다.
304단계의 검사결과 양쪽 센서들(112, 122) 모두로부터 입력이 존재하는 경우 모듈 제어부(115)는 300단계의 대기상태로 진행한다. 즉, 사용자가 눈의 피로 또는 일반적인 눈의 깜빡임인 경우로 판단하기 때문이다. 반면에 304단계의 검사결과 센서들(112, 122) 중 하나의 센서로부터만 입력이 존재하는 경우 306단계로 진행한다.
모듈 제어부(115)는 306단계로 진행하면, 이후 센서들(112, 122)로부터 입력되는 신호를 이용하여 미리 저장된 모스 부호와 매칭한다. 306단계는 경우에 따라서는 컴퓨터 보조 입력기기에서 수행하지 않을 수도 있으나, 본 발명의 실시 예에서는 306단계를 컴퓨터 보조 입력기기에서 수행하는 경우를 설명한다. 만일 306단계가 컴퓨터 보조 입력기기에서 수행되지 않는 경우 컴퓨터(200)에서 수행할 수 있다.
306단계에서 센서들(112, 122)로부터 입력된 신호를 이용하여 미리 저장된 모스 부호화 매칭한 후 모듈 제어부(115)는 308단계로 진행한다. 모듈 제어부(115)는 매핑된 모스 부호를 컴퓨터(200)와 통신하기 위한 방식에 따라 패킷으로 구성하여 컴퓨터로 전송하도록 제어한다. 즉, 모듈 제어부(115)는 컴퓨터 통신부(113)를 제어하여 컴퓨터(200)로 생성된 패킷을 송신하도록 제어한다.
이후 모듈 제어부(115)는 310단계로 진행하여 센서 입력 종료가 요구되는가를 검사한다. 만일 센서의 입력 종료가 요구되는 경우 모듈 제어부(115)는 300단계로 진행한다. 반면에 센서 입력의 종료가 요구되지 않는 경우 306단계로 진행하여 지속적으로 사용자가 입력하고자 하는 신호를 눈꺼풀의 움직임 검출을 통해 확인하게 된다.
또한 본 발명에서는 양쪽 눈을 사용하기 때문에 한 쪽의 눈꺼풀 움직임은 모스 부호의 장(長) 신호에 대응하도록 하고, 다른 한 쪽의 눈꺼풀 움직임은 단(短) 신호에 대응하도록 할 수 있다.
또한 블루투스 통신을 사용하는 경우 컴퓨터 보조 입력기기에서 패킷 형태의 문자열로 데이터를 송신하는 경우 전송되는 프로토콜은 문자열의 앞쪽에 'A'를 뒤쪽에 'X'를 덧붙여 컴퓨턱라 잘못된 패킷을 제외하고 받을 수 있도록 하는 것이 바람직하다. 또한 'A'와 'X' 사이는 눈꺼풀의 움직임에 대응하는 장단의 신호 즉, 대쉬(dash, '-')와 도트(dot, '.')로 구분하여 하나의 패킷 프레임을 이루어 전송할 수 있다. 따라서 이렇게 구성된 프레임을 예를 들면, "A---.---..X"와 같은 형태가 될 수 있다.
도 4는 본 발명의 일 실시 예에 따라 컴퓨터에서 컴퓨터 보조 입력기기로부터 데이터를 수신하는 경우의 제어 흐름도이다.
제어부(201)는 40O단계에서 대기상태를 유지한다. 여기서 대기상태란, 컴퓨터(200)에 전원이 투입되어 있으며, 사용할 운용체제가 구동된 후 사용자로부터 특정 명령의 입력을 대기하는 상태를 의미한다. 즉, 일반적인 경우 키보드 또는/및 마우스를 통해 사용자가 명령을 입력하기 때문에 이러한 명령을 대기하는 상태이며, 동시에 본 발명에 따라 무선 통신부(202)로부터 사용자 입력이 수신되는가를 대기하는 상태를 포함한다. 이하의 설명에서는 무선 통신부(202)로부터 사용자 입력이 수신되는가를 대기하는 상태에 대하여만 살펴보기로 한다.
제어부(201)는 402단계에서 무선 통신부(202)를 통해 모스 센싱 데이터로 구성된 사용자 입력이 수신되었는가를 검사한다. 만일 402단계의 검사결과 모스 센싱 데이터로 구성된 사용자 입력이 수신되지 않은 경우 400단계로 진행하고, 모스 센싱 데이터가 수신된 경우 404단계로 진행한다.
제어부(201)는 404단계로 진행하면, 수신된 모스 부호를 분석한다. 이러한 모스 부호의 분석은 현재 사용되고 있는 모드에 따라 서로 다른 정보가 될 수 있다. 예를 들어 자판을 통해 키 값을 입력하고자 하는 경우 동일한 모스 부호인 경우라도 서로 다른 키 값에 매핑될 수 있다. 이에 대해서는 후술되는 도면을 참조하여 더 상세히 설명하기로 한다.
이후 제어부(201)는 406단계에서 분석된 모스 부호를 해당하는 사용자 입력 신호로 변환하고, 화면 처리부(204)를 통해 모니터 등의 표시 장치를 통해 표시할 수 있도록 제어한다. 또한 만일 이때 입력된 값이 단순히 문자 입력이나 키 값이 아닌 경우가 있을 수 있다. 이러한 경우 제어부(201)는 408단계로 진행하여 변환된 입력 신호에 대응하는 구동 신호를 생성하고, 구동 신호에 따라 동작을 제어하며, 이러한 처리를 사용자에게 표시해야 하는 경우 화면 처리부(204)를 제어하여 모니터 등의 표시 장치를 통해 표시할 수 있도록 제어한다.
그러면 제어부(201)에서 모스 부호에 따라 처리 가능한 동작들에 대하여 살펴보기로 하자.
제어부(201)는 가상 마우스 동작을 지원하기 위한 제어를 수행한다. 가상 마우스는 정상인 사용자가 컴퓨터의 입력 장치 중 하나인 마우스를 이용하는 것과 동일 또는 유사한 동작을 지원할 수 있도록 하는 것이다. 즉, 본 발명에 따른 가상 마우스는 일반 마우스의 거의 모든 기능을 제공하는 것이다. 현재까지 제시된 장애인용 컴퓨터 보조 입력기기와 달리 본 발명은 눈의 깜빡임을 통해 제어를 하기 때문에 올 수 있는 피로를 최소화하기 위해 마우스 포인터의 이동방식에 대하여 기본적은 8방향 이동 외에 화면 전체를 분할하여 점프할 수 있는 분할 이동 및 이전의 움직임 및 행동을 재수행할 수 있는 재사용 키 등을 추가로 제공한다. 또한, 인터넷 익스플로러에 특화된 기능 예를 들어 인터넷 실행, 닫기, 이전 화면, 다음 화면 등을 제공하기 위한 제어를 수행한다.
또한 본 발명에 따른 제어부(201)는 가상 키보드를 제공하기 위한 제어를 수행한다. 가상 키보드는 일반적인 입력 장치인 키보드의 거의 모든 기능을 사용할 수 있다. 현재까지 제시된 장애인용 컴퓨터 보조 입력기기의 경우 가상 마우스만을 제공하고, 타이핑 시 타블렛(tablet) 입력기를 이용하여 마우스 포인터를 타블렛(tablet) 입력기의 자판부호로 이동, 마우스의 좌 클릭을 통해 타이핑 기능을 제공했다. 이 경우 하나의 단어, 문장을 완성하기 위해서 너무나 많은 눈의 움직임이 필요하기 때문에 이점을 해소하기 위하여 한 번의 입력으로 키 입력이 가능한 자체 가상 키보드를 제공한다. 타이핑하길 원하는 대상에 알맞은 눈 깜빡임을 통해 원하는 타이핑이 가능하며, 편의를 위하여 이미 만들어진 문장을 입력하는 매크로 기능과 마우스와 동일한 재사용 키를 제공한다.
제어부(201)는 본 발명에 따라 눈의 깜빡임과 모스 부호(Morse code)를 이용한 입력을 제공한다. 눈의 깜빡임을 모스 부호와 매칭하여 키보드와 마우스의 제어 신호로 사용한다. 예를 들어 좌측 눈의 깜빡임은 단(.) 우측 눈의 깜빡임은 장(-) 으로 정의되며, 눈의 깜빡임을 통해 컴퓨터를 제어함으로써 기존의 동공 추적을 통한 제어 방식보다 눈의 피로를 줄이고, 마우스 사용 시 미세한 움직임을 컨트롤 할 수 있게 한다.
또한 제어부(201)는 사용빈도에 따른 모스 부호를 재 정의한다. 일반적으로 사용되는 모스 부호 코드를 재정의함으로써 편의를 최대화 시킨다. 실제 키보드, 마우스 사용 시 자주 사용하는 입력에 대하여 사용빈도가 높은 입력 순으로 예컨대 키보드의 엔터(Enter), 마우스의 왼쪽 클릭(Left Click) 신호를 짧게 정의한다.
또한 본 발명에서는 사용자 범위가 넓은 컨트롤러를 제공한다. 기존의 장애인용 컴퓨터 보조 입력기기의 경우 한 가지 장애에 대해서만 솔루션을 제공하였다. 하지만 본 발명에 따른 컴퓨터 보조 입력기기는 가능한 많은 종류의 장애를 가진 사람들이 자신의 장애나 기호에 따라 컨트롤러를 선택하여 이용할 수 있도록 신체 어느 부위든 2가지 신호만 표현할 수 있다면 '마우스'와 '키보드'를 사용할 수 있게 한다. 또 컨트롤러와 컴퓨터간의 통신은 블루투스를 사용함으로써 '선'의 불편함을 제거할 수 있다.
또한 사용자의 기호에 따른 신호 재정의한다. 기존의 입력신호를 사용자의 기호에 따라 재정의 하여 사용할 수 있는 커스터마이징 기능을 지원할 수 있다. 커스터마이징 기능을 통해 사용자는 기존에 지정되어 있는 키보드와 마우스의 입력 신호를 기호에 따라 변경하여 사용할 수 있게 한다.
또한 본 발명에서는 자동완성 입력기를 지원할 수 있다. 기존의 컴퓨터 입력 보조기기와는 다르게 자체 '키보드'를 지원함으로써 키보드 입력 시 올 수 있는 눈의 피로를 최소화 시키고, 사용자의 편리함과 타이핑 속도를 위하여 자동완성 입력기능을 제공한다. 사용자가 텍스트를 입력하면 사전 데이터베이스(DB)를 이용하여 초성 검색 및 키워드 검색을 제공할 수 있다.
또한 본 발명에서는 사용자 인터페이스(UI) 및 특수키 및 매크로를 제공할 수 있다. 가상 키보드의 화면을 최소화하기 위해 자주 사용하지 않는 키들은 토글(Toggle) 형식의 키로 묶어 두어 평소엔 화면에 표시하지 않고, 특정 키 입력 시 화면에 표시하고, 사용 가능하게 한다. 기능(Function) 키는 F1 ~ F12까지의 키를 입력할 수 있게 화면에 표시/숨김을 할 수 있도록 하며, 매크로(Macro) 키는 사용자가 원하는 키들을 조합하여 키 조합을 하나의 키 입력으로 사용할 수 있다. 또 매크로 키를 통해 사용자가 자주 사용 하는 문장을 등록하여 하나의 입력 신호로 한 문장이 입력되게 할 수 있으며, 특정 프로세스를 등록하여 하나의 입력신호로 프로그램을 실행할 수 있다. 이외에 특수문자를 입력할 수 있게 하는 특수 입력키와 사용자의 기호에 따라 키보드, 마우스 화면을 숨기고 보이게 하는 숨김(Hide) 키를 둘 수 있다.
이상에서 설명한 바와 같이 모스 부호를 사용자 편의에 맞추기 위해서는 이를 재정의해야 한다. 컴퓨터 보조 입력기기를 통해 모스 부호를 이용해 키보드와 마우스의 동작을 사용하기 위해서는 이에 맞춰 재정의가 이루어져야 한다. 앞서 설명한 바와 같이 일반적으로 컴퓨터를 사용하면서 일반 자판 외에 자주 사용하는 특수키 들이 존재한다. 따라서 "한글 모스 부호의 개선에 대한 방안"이라는 논문을 참조하여 아래 <표 1>과 같이 모스 부호를 재정의 한다.
Figure pat00001
한편, 가상 키보드를 제작하기 위해서는 기본적으로 해결해야하는 문제점들이 있다. 컴퓨터 보조 입력기기는 물리적인 키보드를 이용한 입력이 아닌 사용자 눈의 깜빡임을 통해 입력받은 신호를 가상 키보드에 전달한다. 우리가 사용하는 키보드는 영문자를 기본으로 설계가 되었지만 한국어의 특성상 초성, 중성, 종성으로 이루어져 있다. 이들은 실제 프로그래밍의 어떤 컴포넌트 상에서도 제공되지를 않는다. 흔히 말하는 한글 자판의 논점은 도깨비불 현상으로 자음이 종성인지, 초성인지 알 수 없어서 우선 종성으로 간주하여 아래에 붙었다가, 다음 입력이 모음이면 초성자리로 옮겨 붙는 현상이다. 인지와 실제 보이는 것과 일치가 되지 않는다. 예를 들어 '가을'을 입력하는 과정은 다음 <표 2>와 같이 보인다.
Figure pat00002
위 <표 2>와 같은 문제점을 해결하기 위한 오토마타 상태도를 이용한다.
도 5는 본 발명에 따라 한글 입력을 위한 검출하기 위한 오토마타 상태도를 도시한 도면이다.
한글 오토마타는 초성, 중성, 종성 입력을 하여 하나의 문자를 구현하는 방법으로 초성 대기상태, 중성 대기상태, 마지막으로 종성 대기상태를 거쳐 대기상태에서 다음에 입력되는 문자의 자음/모음을 판단하여 하나의 완성된 글자로 표현하는 방법이다. 예를들어 자음과 모음의 순으로 입력되고 다음 문자가 자음일 경우 받침으로 분류하고 다시 모음이 입력되면 새로운 문자를 조합하는 형태이다.
한편, 일반적으로 윈도우(Windows)는 포커스를 가지고 있는 윈도우에 입력할 수 있도록 되어있다. 따라서 컴퓨터 보조 입력기기에서 제공하는 자동완성 텍스트(AutoComplete Text) 기능을 사용하려면 포커스를 컴퓨터 보조 입력기기에 가져와야 한다. 하지만, 이전 윈도우의 핸들(Handle)을 기억하고 있어야만 자동 완성 텍스트(AutoComplete Text) 기능을 원하는 프로세스로 전달이 가능해진다. 그리고 컴퓨터 보조 입력기기의 경우는 특수한 키보드이지만 일반적인 가상 키보드는 항시적으로 목표 프로세스에 포커스를 유지해야만 제대로 된 입력이 가능해진다.
또한 마우스 커서의 이동과 같은 키를 여러 번 호출 시에 키 코드가 길면 중복 사용에 상당한 불편함이 따른다. 이에 사용자가 마지막으로 입력했던 키 정보를 기억해 재사용할 수 있는 재사용(Recycle) 키를 제공한다. 재사용 키를 사용하면 바로 이전에 입력했던 이벤트를 똑같이 재실행하며 다른 키를 입력하기 전까지 정보는 유지된다.
다른 한편, 일반적으로 컴퓨터를 제어하기 위해서는 키보드와 마우스를 사용한다. 컴퓨터 보조 입력기기에서 구현할 시스템도 키보드와 마우스를 제공한다. 하지만, 컴퓨터 보조 입력기기에서 모스 부호를 이용하기 때문에 동시적으로 키보드와 마우스를 제어하기가 쉽지 않다. 따라서 가상 마우스와 가상키보드의 빠른 변환은 무엇보다 중요하다. 이에 기존의 모스 부호에서 사용되는 돗트(Dot, (.))와 대쉬(Dash, (-))외에도 눈을 평균 이상 길게 감았을 때 '+'라는 새로운 부호를 정의할 수 있다. 따라서 이 신호를 이용하여 가상 키보드와 마우스를 전환할 수 있는 신호로 사용할 수 있다.
또한 컴퓨터 보조 입력기기에서는 크게 3가지의 매크로 기능을 제공할 수 있다. 첫째는 제어키들(Ctrl, Alt, Shift) 등 최대 4개의 키를 조합하여 호출하는 기능이고, 둘째는 지정한 프로세스를 바로 실행할 수 있는 기능이다. 마지막으로는 미리 입력된 문장을 출력하는 텍스트 매크로 기능이다. 사용자는 매크로 설정화면에서 미리 지정된 키 각의 위치에 매크로를 지정할 수 있다.
도 6은 본 발명의 실시 예에 따라 매크로를 정의하는 경우를 설명하기 위한 예시도이다.
도 6의 (a)에 도시한 바와 같이 키들을 이용하여 복수의 제어키들의 조합을 매크로를 정의할 수도 있으며, 도 6의 (b)에 도시한 바와 같이 특정한 프로그램을 매크로로 정의할 수 있으며, 도 6의 (c)에 도시한 바와 같이 사용자가 미리 설정한 텍스트를 송출할 수 있는 형태로 매크로를 정의할 수도 있다.
다음으로 키보드의 사용자 인터페이스를 첨부된 도면을 참조하여 살펴보기로 한다.
도 7a 내지 도 7e는 본 발명의 실시 예에 따라 가상 키보드의 사용자 인터페이스를 예시한 도면이다.
도 7a는 쿼르티(Qwerty) 키보드 형태를 도시한 도면이다. 가상 키보드를 실행하면 기본적으로 설정된 화면으로 쿼르티(qwerty) 자판을 기반으로 표시한다. 쿠르티 키보드의 주요 키를 살펴보면 가장 첫 행에 'Func' 키는 F1~F12 키를 호출하기 위함이다. 'Macro' 키는 조합키, 프로세스 실행, 문장 매크로의 기능을 호출하기 위한 키 이다. 'AutoText'키는 AutoComplete Text 기능을 On/Off 하기 위함이다. 또한 '1x' 키는 키보드의 크기를 각각 0.8x, 1x, 1.5x 배수로 변경할 수 있도록 해준다. 이외에도 설정키는 모스부호 커스터마이징, 매크로 설정 등을 할 수 있도록 할 수 있다.
도 7b는 한글 키보드 형태를 도시한 도면이며, 도 7c는 숫자 키보드 형태를 도시한 일 예시도이고, 도 7d는 특수문자 형태를 도시한 다른 예시도이며, 도 7e는 기능키 키보드 형태를 도시한 도면이다.
도 7b는 기본 쿼르티(qwerty) 키보드에서 한글 키보드로 변경한 경우로, 한글을 입력할 수 있는 형태이며, 도 7c는 숫자 키보드로 0~9까지 숫자 및 여러 가지 도형을 입력 할 수 있는 키보드를 도시한 형태이다. 도 7d는 특수문자를 입력하기 위한 키보드 형태로 부가적인 특수문자를 입력 할 수 있으며, 도 7e는 그림은 F1~F12까지 키를 입력 할 수 있게 해주는 키보드를 예시하고 있다.
도 7a 내지 도 7e에서 참조부호 701, 711, 721, 731, 741은 모두 사용자가 입력하는 모스 부호로, 동일한 형태임을 알 수 있다. 다만 표시된 자판들이 서로 다른 형태로 표시되는 경우 동일한 입력 값에 대해서도 서로 다른 값을 매칭할 수 있다.
한편, 이러한 키보드들은 컴퓨터(200)의 윈도우 배경화면에서 제거될 수도 있다. 즉, 사용하지 않는 경우 키보드를 숨기는 기능이 제공될 수 있다. 도 8은 본 발명의 일 실시 예에 따라 컴퓨터에서 가상 키보드가 화면에서 숨겨진 상태를 예시한 도면이다. 도 8에 예시한 바와 같이 가상 키보드를 전체 화면에서 숨긴 상태인 경우 다른 작업의 방해를 최소화할 수 있다.
다음으로, 가상 마우스에 대해 살펴보기로 한다.
가상 마우스도 가상 키보드와 마찬가지의 방식으로 구현하며 모스 부호는 키보드와 다르게 재 정의하여 사용할 수 있다. 상대적으로 키보드에 비해서 신호의 여유가 있으므로, 가장 짧은 신호 순서대로 각 키의 신호를 정의할 수 있다. 지원되는 기능으로는 상, 하, 좌, 우 등 8방향의 이동을 제공하며 좌/우 클릭, 좌/우 더블 클릭, 좌/우 동시 클릭, 휠 업, 휠 다운, 드래그 등을 제공한다. 본 발명에 따른 기능으로 화면 분할 이동이 가능하다. 이처럼 모스 부호를 통해 이동함에 따라서 한계점이 되는 이동속도의 느림을 해결할 수 있다.
또한, 사용자의 인터넷 사용능력을 극대화시키기 위하여 인터넷 익스플로러 전용 브라우저 실행, 닫기, 화면 확대, 축소, 즐겨찾기 등의 기능을 사용할 수 있도록 한다.
도 9a는 본 발명에 따라 가상 마우스를 사용하는 경우 화면 분할과 가상 마우스를 제어하기 위한 제어 보드를 함께 도시하였으며, 도 9b는 본 발명에 따라 가상 마우스를 제어하기 위한 제어 보드만을 도시한 도면이다.
도 9a와 같이 화면을 9등분하여 마우스의 포인터를 이동하기 위한 것이다. 이 방법은 특정한 신호를 통해서 2회의 동작으로 1~9번 좌표 중 원하는 지점으로 이동할 수 있도록 한다. 화면 분할 기능을 최초 실행 시 화면을 9등분하여 그리드(Grid)가 도 9a에 도시한 바와 같이 그려진다. 이때 원하는 지점의 신호를 입력하면 즉시 해당 좌표로 이동한다. 이 기능을 통해서 마우스 이동을 보다 쉽게 할 수 있게 된다.
또한 마우스의 이동을 보다 원활하게 하기 위해 마우스의 이동 반경과 휠의 이동반경을 조절할 수 있도록 한다. 이는 마우스 제어 보드에서 좌측 하단에 표시하며, 마우스의 이동반경은 5픽셀(px)씩 조절하며, 휠의 이동반경은 1스크롤씩 가감할 수 있도록 구성할 수 있다. 마우스의 이동 반경량은 화면 하단에서 확인 할 수 있다. 즉, 도 9a 및 도 9b에 도시한 마우스 제어 보드를 이용하여 가상 마우스의 기능은 이동, 클릭, 휠, 드래그, 화면 분할 이동, 인터넷 기능, 이동 반경 설정 등 다양한 동작이 가능하다. 도 9b의 참조부호 912는 모스 부호를 도시하고 있으며, 참조부호 911은 그에 해당하는 동작을 도시하였다.
또한컴퓨터 보조 입력기기는 사용자의 텍스트입력을 보다 원활하게 하기 위하여 자동 완성 텍스트(AutoComplete Text) 기능을 제공한다. 이 기능은 사용자가 문자입력을 하면 초성 또는 키워드를 통해서 사전 데이터 베이스(DB)에서 검색을 하여 사용자 선택에 의해 단어를 자동완성 해주는 기능이다. 자동완성 단어를 호출할 때는 자주 사용한 순서대로 출력해주며, 단어를 자동완성 할 때마다 카운트를 증가시켜 우선순위를 높여 준다.
기본적으로 가상 키보드를 이용하여 단어를 자동완성 하면 데이터베이스에 카운트를 업데이트한다. 그리고 단어의 학습을 지원하는데, 가능한 범위로는 txt, xsl, ppt, doc 파일이 될 수 있다. 학습 방식은 해당하는 확장자의 파일을 열어 모든 문장을 텍스트 형태로 변환한 뒤 형태소 분석기를 이용하여 긴 문장에서 체언의 리스트를 추출한다. 그리고 체언의 반복 횟수를 체크하여 2회 이상 반복된 단어를 데이터베이스에 학습시킨다.
또한 모스 부호를 이용하여 단어를 만드는 것이 쉬운 일이 아니므로 한글의 초성만으로 관련된 단어들을 검색할 수 있어야 한다. 기본적으로 한글의 초성은 19자, 중성은 21자, 종성은 27자로 구성되어 있다. 그리고 여기에는 규칙이 존재하는데 중성이 바뀌는 경우 코드 값의 차이는 28, 초성이 바뀌는 경우 코드 값의 차이 588(21X28), 한글에 대한 첫 코드 값('가'의 코드 값)은 44032다. 여기서 코드란 유니코드가 될 수 있다. 이러한 규칙을 이용하여 초성, 중성, 종성을 구하는 방법은 다음과 같다.
- 초성 : 글자의 코드에서 44032를 빼고, 21 X 28로 나는 몫 0~18
- 중성 : 글자의 코드에서 44032를 빼고, 21 X 28로 나눈 나머지를 다시 28로 나눈 몫 0~20
- 종성 : 글자의 코드에서 44032를 빼고, 21 X 28로 나눈 나머지를 다시 28로 나눈 나머지 0~27
이상의 규칙을 바탕으로 하여 SQL 작성하고 검색을 수행한다. 한글 조합이 초성만 들어왔을 경우는 초성 검색을 이용하지만, 하나의 문자가 완성되는 순간 키워드를 이용한 검색이 필요하다. 또한, 초성, 중성, 종성 분리를 통해서 글자가 완성되었는지를 판단하여 SQL의 Like를 이용한 검색을 수행한다. 그리고 초성, 중성, 종성의 분리는 위 내용과 같은 공식을 사용한다.
또한 신호 커스터마이징 기능은 미리 정의된 모스 코드로 컴퓨터 보조 입력기기를 제어하지 않고, 사용자 편의대로 재정의하여, 컴퓨터 보조 입력기기를 제어할 수 있다.
도 10a 및 도 10b는 본 발명에 따라 모스 부호를 커스터마이징하여 사용하는 경우의 예시도이다.
도 10a 및 도 10b에 도시한 바와 같이 신호를 재정의의 편의를 돕기 위한 화면을 제공할 수 있으며, 각 도면의 위쪽에는 이미 정의된 신호를 가진 키보드 화면이 있고, 아래에는 모든 모스 부호(Morse code)가 나열되어 있다. 그리고 우측 상단에는 현재 선택된 키 각이 크게 표시된다. 일단 신호를 변경하고 싶은 키를 선택하게 되면, 아래 표시된 것처럼 아직 정의되지 않은 신호들에 각각 테두리가 쳐진다. 그리고 위쪽 키보드 화면에는 현재 신호가 서로 겹쳐서 문제되는 키 각에 테두리가 쳐진다. 이를 통해서 사용자가 보다 쉽게 현재 남은 신호를 파악하고, 중첩된 신호를 확인하면서 커스터마이징을 할 수 있다.
도 11은 본 발명에 따라 컴퓨터에서 프로그램 초기 시작 화면의 크기 등의 옵션 기능을 설정하기 위한 화면의 예시도이다.
도 11에 도시한 바와 같이 컴퓨터에서 프로그램 초기 시작 시 화면의 크기, 자동 실행, 자동 숨김, 자동완성 기능의 On/Off 상태와 마우스 모드의 이동 범위를 지정해 둘 수 있는 옵션(Option) 창을 통해 사용자가 원하는 형태로 설정이 가능하다.
100A, 100B : 컴퓨터 보조 입력기기
200 : 컴퓨터
110 : 모듈A
111 : 제1적외선 송출기
112 : 제1반사광 센서
113 : 컴퓨터 통신부
114 : 제1모듈 통신부
115 : 모듈 제어부
120 : 모듈B
121 : 제2적외선 송출기
122 : 제2반사광 센서
123 : 제2모듈 통신부
201 : 제어부
202 : 무선 통신부
203 : 유선 통신부
204 : 화면 처리부
205 : 사용자 인터페이스
206 : 메모리

Claims (9)

  1. 컴퓨터로 사용자 신호를 입력하기 위한 컴퓨터 보조 입력 장치에 있어서,
    좌측 및 우측의 안구로 적외선을 신호를 송출하기 위한 적외선 송신기;
    좌측 안구 및 우측 안구로부터 반사되는 반사광의 광량 변화를 측정하기 위한 반사광 센서;
    상기 반사광 센서로부터 각 안구들로부터의 반사광 변화를 검출하고, 이를 모스 부호로 생성하고, 이를 컴퓨터로 송신하기 위한 문자열로 변환하는 제어부; 및
    상기 제어부에서 생성된 문자열을 상기 컴퓨터로 제공하는 컴퓨터 통신부;를 포함하는 컴퓨터 보조 입력 장치.
  2. 제1항에 있어서,
    상기 컴퓨터 보조 입력 장치는 안경테에 부착되며,
    적외선 송신기와 상기 반사광 센서는 안구로 적외선을 송출하고, 이를 검출할 수 있는 안경다리에 장착되는, 컴퓨터 보조 입력장치.
  3. 컴퓨터로 사용자 신호를 입력하기 위한 컴퓨터 보조 입력 장치에 있어서,
    서로 다른 2개의 키 입력을 제공할 수 있는 스위치;
    상기 각각의 키들의 입력을 이용하여 장/단 신호인 모스 부호로 변환하며, 상기 모스 부호를 컴퓨터로 송신하기 위한 문자열로 변환하는 제어부; 및
    상기 제어부에서 생성된 문자열을 상기 컴퓨터로 제공하는 컴퓨터 통신부;를 포함하는 컴퓨터 보조 입력 장치.
  4. 제3항에 있어서, 상기 컴퓨터 보조 입력 장치는,
    하나의 키를 입력을 검출하고, 다른 하나의 모듈로부터 입력된 키 신호를 전송할 수 있는 제1모듈; 및
    상기 제어부 및 상기 컴퓨터 통신부를 포함하며, 상기 제1모듈로부터 키 입력 신호를 수신할 수 있는 통신부와 나머지 하나의 키 입력 신호를 검출하여 상기 제어부로 제공하는 제2모듈;로 구성되는, 컴퓨터 보조 입력 장치.
  5. 컴퓨터 보조 입력장치로부터 미리 결정된 통신 방식에 의거하여 자판 입력 및 마우스 입력에 대응하는 모스 부호를 사용자의 입력 신호로 수신하는 컴퓨터; 및
    상기 컴퓨터로 사용자 입력 신호를 송신하기 위한 상기 컴퓨터 보조 입력 장치를 포함하며,
    상기 컴퓨터 보조 입력 장치는, 상기 좌측 및 우측의 안구로 적외선을 신호를 송출하기 위한 적외선 송신기; 좌측 안구 및 우측 안구로부터 반사되는 반사광의 광량 변화를 측정하기 위한 반사광 센서; 상기 반사광 센서로부터 각 안구들로부터의 반사광 변화를 검출하고, 이를 모스 부호로 생성하고, 이를 컴퓨터로 송신하기 위한 문자열로 변환하는 제어부; 및 상기 제어부에서 생성된 문자열을 상기 컴퓨터로 제공하는 컴퓨터 통신부;를 포함하는, 컴퓨터 입력 시스템.
  6. 제5항에 있어서, 상기 컴퓨터 보조 입력 장치는,
    상기 컴퓨터 보조 입력 장치는 안경테에 부착되며, 적외선 송신기와 상기 반사광 센서는 안구로 적외선을 송출하고, 이를 검출할 수 있는 안경다리에 장착되는, 컴퓨터 입력 시스템.
  7. 컴퓨터 보조 입력장치로부터 미리 결정된 통신 방식에 의거하여 자판 입력 및 마우스 입력에 대응하는 모스 부호를 사용자의 입력 신호로 수신하는 컴퓨터; 및
    상기 컴퓨터로 사용자 입력 신호를 송신하기 위한 상기 컴퓨터 보조 입력 장치를 포함하며,
    상기 컴퓨터 보조 입력 장치는, 서로 다른 2개의 키 입력을 제공할 수 있는 스위치; 상기 각각의 키들의 입력을 이용하여 장/단 신호인 모스 부호로 변환하며, 상기 모스 부호를 컴퓨터로 송신하기 위한 문자열로 변환하는 제어부; 및 상기 제어부에서 생성된 문자열을 상기 컴퓨터로 제공하는 컴퓨터 통신부;를 포함하는, 컴퓨터 입력 시스템.
  8. 제7항에 있어서,
    상기 컴퓨터 보조 입력 장치는,
    하나의 키를 입력을 검출하고, 다른 하나의 모듈로부터 입력된 키 신호를 전송할 수 있는 제1모듈; 및
    상기 제어부 및 상기 컴퓨터 통신부를 포함하며, 상기 제1모듈로부터 키 입력 신호를 수신할 수 있는 통신부와 나머지 하나의 키 입력 신호를 검출하여 상기 제어부로 제공하는 제2모듈;로 구성되는, 컴퓨터 입력 시스템.
  9. 컴퓨터 보조 입력 장치로부터 사용자 입력을 수신하여 처리하기 위한 방법에 있어서,
    상기 컴퓨터 보조입력 장치가 서로 다른 2개의 입력을 이용하여 장/단 신호인 모스 부호로 변환하는 단계;
    상기 컴퓨터 보조입력 장치가 상기 모스 부호를 컴퓨터로 송신하기 위한 문자열로 변환하는 단계;
    상기 컴퓨터가 상기 문자열을 수신할 시 모스 부호에 대응하여 미리 저장된 명령으로 해석하는 단계; 및
    상기 컴퓨터가 해석된 명령에 대응하여 상기 컴퓨터를 구동하는 단계;를 포함하는, 컴퓨터 보조 장치를 이용한 사용자 입력 방법.
KR1020130056060A 2013-05-16 2013-05-16 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템 Expired - Fee Related KR102187837B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130056060A KR102187837B1 (ko) 2013-05-16 2013-05-16 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템
US14/280,058 US9531404B2 (en) 2013-05-16 2014-05-16 Computer input device and method of using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130056060A KR102187837B1 (ko) 2013-05-16 2013-05-16 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템

Publications (2)

Publication Number Publication Date
KR20140135572A true KR20140135572A (ko) 2014-11-26
KR102187837B1 KR102187837B1 (ko) 2020-12-07

Family

ID=51895390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130056060A Expired - Fee Related KR102187837B1 (ko) 2013-05-16 2013-05-16 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템

Country Status (2)

Country Link
US (1) US9531404B2 (ko)
KR (1) KR102187837B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170063061A (ko) * 2015-11-30 2017-06-08 주식회사 민토시스 장애인용 입력 보조 장치
KR20240123190A (ko) * 2023-02-06 2024-08-13 우석대학교 산학협력단 장애인과 비장애인의 훈련 참여를 위한 드론축구 시스템

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391567B (zh) * 2014-09-30 2017-10-31 深圳市魔眼科技有限公司 一种基于人眼跟踪的三维全息虚拟物体显示控制方法
US10902339B2 (en) * 2015-05-26 2021-01-26 Oracle International Corporation System and method providing automatic completion of task structures in a project plan
JP6535223B2 (ja) * 2015-05-28 2019-06-26 浜松ホトニクス株式会社 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム
WO2020044363A1 (en) * 2018-08-31 2020-03-05 Indian Council Of Medical Research (Icmr) Spectacle mounted wireless mouse and keyboard device for handicapped
TWI709877B (zh) * 2019-05-14 2020-11-11 崑山科技大學 輔助輸入系統
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050007552A1 (en) * 2003-02-13 2005-01-13 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7488294B2 (en) * 2004-04-01 2009-02-10 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20120256836A1 (en) * 2011-04-07 2012-10-11 Ilia Lazar Rudinsky Apparatus: the hand-held pistol grip, dual functionality, keyboard-mouse hybrid emulator using the usb, or ps/2 or wireless connection to the host computer, and designed for the one-handed operation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1968006B1 (en) * 2005-12-27 2020-03-25 Panasonic Intellectual Property Corporation of America Image processing apparatus
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
JP5949319B2 (ja) * 2012-08-21 2016-07-06 富士通株式会社 視線検出装置及び視線検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050007552A1 (en) * 2003-02-13 2005-01-13 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7488294B2 (en) * 2004-04-01 2009-02-10 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20120256836A1 (en) * 2011-04-07 2012-10-11 Ilia Lazar Rudinsky Apparatus: the hand-held pistol grip, dual functionality, keyboard-mouse hybrid emulator using the usb, or ps/2 or wireless connection to the host computer, and designed for the one-handed operation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170063061A (ko) * 2015-11-30 2017-06-08 주식회사 민토시스 장애인용 입력 보조 장치
KR20240123190A (ko) * 2023-02-06 2024-08-13 우석대학교 산학협력단 장애인과 비장애인의 훈련 참여를 위한 드론축구 시스템

Also Published As

Publication number Publication date
US9531404B2 (en) 2016-12-27
US20140340305A1 (en) 2014-11-20
KR102187837B1 (ko) 2020-12-07

Similar Documents

Publication Publication Date Title
KR102187837B1 (ko) 컴퓨터의 입력 장치 및 이를 이용한 입력 방법과 그 시스템
US11899735B2 (en) Systems and methods for altering display parameters for users with epilepsy
US10747315B2 (en) Communication and control system and method
US20110248914A1 (en) System and Method for Virtual Touch Typing
CN101311882A (zh) 视线跟踪人机交互方法及装置
Patwary et al. Speaking system for deaf and mute people with flex sensors
US20060125659A1 (en) Text input method and apparatus using bio-signals
Cecotti et al. A multiscript gaze-based assistive virtual keyboard
KR20080004182A (ko) 언어장애자 의사소통 지원시스템
Henzen et al. Adaptable virtual keyboard and mouse for people with special needs
KR101910448B1 (ko) 장애인용 입력 보조 장치
CA3007327C (en) Adaptive, multimodal communication system for non-speaking icu patients
KR20200076434A (ko) 눈 인식을 기반으로 한 문자 입출력 장치 및 그 방법
TWI569210B (zh) Non - invasive brain wave eye movement input control device
KR102706148B1 (ko) 저시력자 시각 보조 기능을 수행하는 xr글래스시스템 및 방법
Basu Iconic interfaces for assistive communication
KR102715596B1 (ko) 장애인을 위한 전자책 제어 장치 및 제어 방법
Megalingam et al. Deep learning-based eye sign communication system for people with speech impairments
Zamri et al. Integrated Hand and Eye Communication Device for Intensive Care Unit (ICU) Patients
Lepouras Numerical input techniques for immersive virtual environments
Hamam Double modality computer interface for learners with special needs
WO2005088522A1 (en) System and method for text entry

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130516

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180516

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130516

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191025

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20200407

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200911

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201201

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201202

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20240912