KR101323898B1 - 손가락 움직임을 이용한 의사전달 시스템 및 방법 - Google Patents

손가락 움직임을 이용한 의사전달 시스템 및 방법 Download PDF

Info

Publication number
KR101323898B1
KR101323898B1 KR1020110129428A KR20110129428A KR101323898B1 KR 101323898 B1 KR101323898 B1 KR 101323898B1 KR 1020110129428 A KR1020110129428 A KR 1020110129428A KR 20110129428 A KR20110129428 A KR 20110129428A KR 101323898 B1 KR101323898 B1 KR 101323898B1
Authority
KR
South Korea
Prior art keywords
finger
movement
smartphone
smart phone
value
Prior art date
Application number
KR1020110129428A
Other languages
English (en)
Other versions
KR20130063101A (ko
Inventor
정성택
임창주
신성욱
안세종
Original Assignee
한국산업기술대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국산업기술대학교산학협력단 filed Critical 한국산업기술대학교산학협력단
Priority to KR1020110129428A priority Critical patent/KR101323898B1/ko
Publication of KR20130063101A publication Critical patent/KR20130063101A/ko
Application granted granted Critical
Publication of KR101323898B1 publication Critical patent/KR101323898B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 손가락 움직임을 이용한 의사전달 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 의식은 있으나 말을 하지 못하고 손을 자유롭게 움직일 수 없는 환자들이 의사나 가족들과 의사소통을 하는 데 있어 편리성을 증대시킬 수 있는 스마트폰 인터페이스에 관한 것이다.
본 발명에 따른 손가락 움직임을 이용한 의사전달 시스템은 손가락마다 부착되어 손가락의 움직임을 감지하고 이 손가락 움직임 정보를 출력하는 다수의 손가락 움직임 감지센서, 스마트폰에서 전송된 요청신호에 따라 손가락 움직임 감지센서에서 출력되는 아날로그 데이터를 디지털 데이터로 변환하는 제어부, 스마트폰과 근거리 무선통신을 하는 모듈로서 제어부의 디지털 데이터를 스마트폰에 전송하고, 스마트폰에서 전송된 요청신호를 제어부에 전달하는 근거리 무선통신 모듈, 및 디지털 데이터를 분석하여 실질적인 손가락 움직임 값인지 판단하고, 실질적인 손가락 움직임 값으로 판단한 경우 손가락 움직임 값에 대응하는 의사 표현 내용을 화면에 출력하는 스마트폰을 포함한다.

Description

손가락 움직임을 이용한 의사전달 시스템 및 방법 {COMMUNICATION SYSTEM USING FINGER MOTION AND METHOD THEREOF}
본 발명은 손가락 움직임을 이용한 의사전달 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는 의식은 있으나 말을 하지 못하고 손을 자유롭게 움직일 수 없는 환자들이 의사나 가족들과 의사소통을 하는 데 있어 편리성을 증대시킬 수 있는 스마트폰 인터페이스에 관한 것이다.
현대의 의술은 선천적인 원인이나 혹은 후천적인 원인으로 난청이 된 난청인에게 인공와우(Cochlear implant)에 의하여 청력을 정상인의 청력 범위까지 가능하게 하였다.
그러나 선천적인 원인에 의한 난청인 경우에는 인공와우 수술 후에 청력은 회복되어 정상적으로 들을 수 있지만, 언어 학습이 늦어져 정상적으로 대화하는데에는 많은 어려움이 있다.
또한, 후두암으로 성대부분을 완전히 적출하였거나 구강암 등으로 목소리의 심한 왜곡이 생기는 경우 청력은 살아있음에도 불구하고 말을 하지 못하여 타인과의 대화시 어려움을 겪을 수밖에 없다.
이런 사람들은 일대일 대화시는 물론 일대 다자간 대화 시에도 의사를 정확히 전달하기 어렵고, 상대방 다수가 수화에 익숙하지 않을 경우에 수화로써 전달하기도 어렵다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 중환자실에 있는 의식은 있으나 말을 하지 못하고 손을 자유롭게 움직일 수 없는 환자들이 의사나 가족들과 의사소통을 하는 데 있어 편리성 증대와, 손가락 움직임으로 인한 유아 뇌기능 향상과 함께 환자들의 손가락을 이용한 재활 등을 통합한 손가락 움직임을 이용한 의사전달 시스템 및 그 방법을 제공하는데 그 목적이 있다.
또한, 본 발명이 제공하고자 하는 목적은 손가락마다 손가락의 움직임을 감지하는 센서를 부착하고, 이 센서의 동작정보를 스마트폰에 전송하여 스마트폰에서 해석하는 방식으로 언어 장애가 있는 사람이 효율적으로 본인의 의사를 타인에게 전달할 수 있도록 하는 손가락 움직임을 이용한 의사전달 시스템 및 그 방법을 제공하는데 있다.
상술한 목적을 달성하기 위한 본 발명에 따른 손가락 움직임을 이용한 의사전달 시스템은 손가락마다 부착되어 손가락의 움직임을 감지하고 이 손가락 움직임 정보(이하 데이터)를 출력하는 다수의 손가락 움직임 감지센서; 스마트폰에서 전송된 요청신호에 따라 상기 손가락 움직임 감지센서에서 출력되는 아날로그 데이터를 디지털 데이터로 변환하는 제어부; 상기 스마트폰과 근거리 무선통신을 하는 모듈로서 상기 제어부의 디지털 데이터를 스마트폰에 전송하고, 스마트폰에서 전송된 요청신호를 제어부에 전달하는 근거리 무선통신 모듈; 및 상기 디지털 데이터를 분석하여 실질적인 손가락 움직임 값인지 판단하고, 실질적인 손가락 움직임 값으로 판단한 경우 상기 손가락 움직임 값에 대응하는 의사 표현 내용을 화면에 출력하는 스마트폰을 포함한다.
상기 손가락 움직임 감지센서는 손가락의 X축 방향과 일치되게 부착되어 손가락의 X축 움직임만 사용하는 가속도 센서이다.
상기 디지털 데이터의 패킷에는 손가락마다 고유하게 부여된 헤더가 포함되어 있다.
상기 스마트폰은 디지털 데이터를 수신할 때 패킷의 헤더 값을 변수에 저장하여 몇 번째 손가락이 움직였는지 분석하고, 패킷의 데이터 값(손가락 움직임 값)을 변수에 저장하고 분석하는 과정에서 상기 패킷의 데이터 값이 임계값을 기준으로 작은 데이터일 경우 무시한다.
상기 손가락을 이용해 의사를 전달할 수 있는 방식은 손가락을 어느 정도 사용할 수 있는 사용자를 위한 방식으로서 스마트폰에 출력된 자판을 보고 손가락을 움직여 문자를 입력할 수 있도록 하는 문자입력 방식과, 손가락을 거의 사용하지 못하는 사용자를 위한 방식으로서 스마트폰에 출력된 질의와 그 질의에 응답하는 다수의 응답 내용을 보고 손가락을 이용해 하나를 선택하는 방식으로 응답하는 질의응답 방식을 포함한다.
상기 제어부 및 근거리 무선통신 모듈은 모PCB에 실장되어 밴드가 손목을 감싸는 방식으로 손목에 착용되고, 상기 손가락 움직임 감지센서는 모PCB에 전기적으로 연결된 자PCB에 실장되어 밴드가 손가락을 감싸는 방식으로 손가락에 착용된다.
또한, 본 발명에 따른 손가락 움직임을 이용한 의사전달 방법은 근거리 무선통신 모듈과 스마트폰 간에 근거리 무선통신으로 서로 무선연결하는 단계; 상기 스마트폰에서 문자입력 모드인지 확인하고, 문자입력 모드인 경우 스마트폰의 화면에 문자를 출력하고, 근거리 무선통신 모듈에 손가락 움직임 정보를 요청하는 단계; 손가락마다 부착된 손가락 움직임 감지센서에서 문자의 입력을 위한 손가락의 움직임을 감지하고, 이를 제어부에서 디지털로 변환하여 근거리 무선통신 모듈에서 스마트폰에 전송하는 단계; 스마트폰에서 수신한 데이터 패킷의 헤더 값을 변수에 저장하여 몇 번째 손가락이 움직였는지 분석하고, 패킷의 데이터 값을 변수에 저장하고 분석하는 과정에서 데이터 값이 임계값을 기준으로 작은 데이터일 경우에는 무시하는 단계; 및 상기 스마트폰에서 분석된 데이터 값에 대응하는 문자를 출력하는 단계를 포함한다.
상기 문자입력 모드인지 확인하는 단계에서 문자입력 모드가 아닌 경우 스마트폰에 질의 화면과 응답 화면을 출력하고, 근거리 무선통신 모듈에 손가락 움직임 정보를 요청하는 단계; 손가락마다 부착된 손가락 움직임 감지센서에서 응답의 선택을 위한 손가락의 움직임을 감지하고, 이를 제어부에서 디지털로 변환하여 근거리 무선통신 모듈에서 스마트폰에 전송하는 단계; 스마트폰에서 수신한 데이터 패킷의 헤더 값을 변수에 저장하여 몇 번째 손가락이 움직였는지 분석하고, 패킷의 데이터 값을 변수에 저장하고 분석하는 과정에서 데이터 값이 임계값을 기준으로 작은 데이터일 경우에는 무시하는 단계; 및 상기 스마트폰에서 분석된 데이터 값에 대응하는 선택된 응답 내용을 출력하는 단계를 포함한다.
상술한 과제의 해결 수단에 의하면, 중환자실에 있는 의식은 있으나 말을 하지 못하고 손을 자유롭게 움직일 수 없는 환자들이 의사나 가족들과 의사소통을 하는 데 있어 편리성 증대와, 손가락 움직임으로 인한 유아 뇌기능 향상과 함께 환자들의 손가락을 이용한 재활 등을 할 수 있다.
또한, 손가락마다 손가락의 움직임을 감지하는 센서를 부착하고, 이 센서의 동작정보를 스마트폰에 전송하여 스마트폰에서 해석하는 방식으로 언어 장애가 있는 사람이 효율적으로 본인의 의사를 타인에게 전달할 수 있다.
도 1은 본 발명에 따른 손가락 움직임을 이용한 의사전달 시스템의 블록도이다.
도 2는 도 1에 나타낸 스마트폰에 전송되는 데이터 패킷 구조를 나타내는 도면이다.
도 3a와 도 3b는 도 1에 나타낸 구성요소의 손가락과 손목 착용 상태를 나타내는 도면이다.
도 4는 본 발명에 따른 손가락 움직임을 이용한 의사전달 방법의 순서도이다.
도 5a와 도 5b는 도 4에 나타낸 순서도의 단계 중에 스마트폰에 출력되는 화면의 예시도이다.
이하 본 발명의 실시예에 대하여 첨부된 도면을 참고로 그 구성 및 작용을 설명하기로 한다.
도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명에 따른 손가락 움직임을 이용한 의사전달 시스템의 블록도이다.
도시된 바와 같이 의사전달 시스템은 손가락 움직임 감지센서(10a,…,10n), 제어부(20), 근거리 무선통신 모듈(30) 및 스마트폰(40)을 포함하여 구성된다.
손가락 움직임 감지센서(10a,…,10n)는 환자의 손가락마다 부착되어 손가락의 움직임을 감지하는 센서로 예를 들어 가속도 센서나 자이로 센서가 있다.
한편, 손가락의 미세한 움직임을 감지할 수 있는 다른 구성요소가 가속도나 자이로 센서 대신에 사용되거나, 또는 가속도나 자이로 센서와 함께 사용되도록 설계할 수 있음은 물론이다.
또한, 가속도 센서나 자이로 센서를 사용하되, 어느 하나가 주된 감지 기능을 수행하고, 다른 하나는 보조적인 감지 기능을 수행하도록 설계할 수 있으며, 일례로서, 공중에서의 손가락 움직임 감지를 정밀하게 수행하기 위해 자이로 센서를 기반으로 감지 기능을 수행하되, 필요할 시 오차를 보정하기 위해 부가적으로 가속도 센서를 채용할 수 있다.
특히 본 발명에서는 손가락 움직임 감지센서(10a,…,10n)로 가속도 센서의 X축을 사용자의 손가락 방향과 일치하게 부착하여 손가락의 X축 움직임만 사용하고, 스마트폰(40)에서 가속도 센서의 가속도 값을 요청할 때마다 각 손가락에 부착된 가속도 센서에서 X축의 가속도 값을 감지하여 제어부(20)에 출력한다.
제어부(20)의 A/D 컨버터(22)는 손가락 움직임 감지센서(10a,…,10n)의 아날로그 손가락 움직임 값을 디지털 데이터로 변환하고, 시리얼 트랜스포터(24)는 이 디지털 데이터를 근거리 무선통신 모듈(30)에 전달한다.
근거리 무선통신 모듈(30)은 손가락의 움직임 정보를 갖고 있는 디지털 데이터를 Bluetooth나 XBee와 같은 근거리 무선통신 방식으로 스마트폰(30)에 전송한다.
이때 도 2와 같은 펌웨어(Firmware)에서 지정한 데이터 패킷으로 스마트폰(30)에 전송한다.
도 2에 도시된 바와 같이 데이터 패킷은 데이터의 시작과 끝을 나타내는 스타트 및 엔드와, 각 손가락(즉 손가락 움직임 감지센서)마다 고유하게 부여된 헤더와 손가락 움직임 정보를 나타내는 데이터로 이루어진다.
스마트폰(40)은 환자의 보호자나 의사가 소유하는 것으로서, 근거리 무선통신(30)으로 받아온 데이터 값을 수신할 때 패킷의 헤더 값을 변수에 저장하여 몇 번째 손가락이 움직였는지 분석하고, 패킷의 데이터 값을 변수에 저장하고 분석하는 과정에서 데이터 값이 임계값을 기준으로 작은 데이터일 경우, 즉 손가락 움직임이 미세해서 임계값보다 작은 경우 이벤트 발생을 하지 않도록 하여 오작동을 방지한다.
스마트폰(40)에서는 손가락의 움직임이 인식되어 사용할 수 있는 인터페이스(어플)가 제공되고, 이는 데이터 패킷을 이용하여 얼마든지 여러 가지 인터페이스로 확장할 수 있음은 물론이다.
스마트폰(40)은 이와 같은 손가락 움직임 정보를 분석하여 그에 대응하는 환자의 의사 표현 내용을 화면에 출력한다.
상기한 손가락을 이용해 의사를 전달할 수 있는 방식은 문자입력 방식과 질의응답 방식으로 이루어진다.
상기 문자입력 방식은 손가락을 어느 정도 사용할 수 있는 환자들을 위해 문자입력을 할 수 있는 메모장 형식으로 이루어지고, 상기 질의응답 방식은 손가락을 거의 사용하지 못하는 환자들을 위해 간단한 의사 표현을 할 수 있도록 버튼 입력(선택) 방식으로 이루어진다.
도 3a와 도 3b는 도 1에 나타낸 구성요소의 손가락과 손목 착용 상태를 나타내는 도면이다.
도시된 바와 같이 PCB가 손목에 착용되는 모(母)PCB(26)와 손가락에 착용되는 자(子)PCB(12)가 케이블로 연결되어 이루어지며, 각 PCB(26,12)에는 밴드(28,14)가 연결된다.
상기 밴드(28,14)의 양면 중 일면은 신축성이 있는 스판 부위로 이루어지고, 타면은 벨크로(일명 찍찍이) 부위로 이루어진다.
상기 모PCB(26)에는 도 1에 나타낸 제어부(20) 및 근거리 무선통신 모듈(30)이 실장되고, 자PCB(12)에는 손가락 움직임 감지센서(10a,…,10n)가 실장되어, 각 밴드(28,14)가 손목과 손가락을 감싼 상태에서 끝단부가 벨크로에 의해 부착되는 방식으로 모PCB(26)와 자PCB(12)가 손목과 손가락에 착용된다.
도 4는 본 발명에 따른 손가락 움직임을 이용한 의사전달 방법의 순서도이다.
도시된 바와 같이, 손가락 움직임 감지센서(10a,…,10n), 제어부(20) 및 근거리 무선통신 모듈(30)을 손가락과 손목에 부착한 상태에서 손가락 움직임을 이용해 의사를 전달하기 위해 환자의 가족이나 의사는 스마트폰(40)에 탑재된 어플을 실행하여 근거리 무선통신 모듈(30)과 스마트폰(40) 간에 근거리 무선통신으로 서로 무선연결한다(S402).
스마트폰(40)은 무선연결된 상태에서 문자입력 모드인지 확인하고(S404), 문자입력 모드인 경우 스마트폰(40)의 화면에 스마트폰의 화면을 보고 문자를 입력할 수 있도록 문자를 출력하고, 근거리 무선통신 모듈(30)에 손가락 움직임 정보를 요청한다(S406).
상기 문자입력 모드는 손가락을 어느 정도 사용할 수 있는 환자들을 위해 문자입력을 할 수 있는 메모장 형식으로 이루어진다.
이때 자판은 도 5a에 도시된 바와 같이 4x3 매트릭스(표)로 이루어져 4x3 매트릭스의 자판을 보고 환자가 손가락을 움직이면 된다.
예를 들어 사용자가 'ㄱ'이라는 문자를 입력하고자 할 때 On/Off 버튼을 누르고 4x3 매트릭스를 보고 'ㄱ'의 위치를 찾는다.
이때 'ㄱ'은 2행 1열에 위치함으로 오른손 두 번째 손가락을 움직인 후 오른손 첫 번째 손가락을 움직여 'ㄱ'을 입력한다.
이러한 손가락의 움직임을 손가락 움직임 감지센서(10a,…,10n)에서 감지하고(S408), 제어부(20)에서 디지털로 변환하여 손가락 움직임 정보(데이터)를 근거리 무선통신 모듈(30)에서 스마트폰(40)으로 전송한다(S410).
이때 상기 데이터의 패킷에는 손가락마다 고유하게 부여된 헤더가 포함되어 스마트폰(40)은 근거리 무선통신으로 받아온 데이터 값을 수신할 때 패킷의 헤더 값을 변수에 저장하여 몇 번째 손가락이 움직였는지 분석하고, 패킷의 데이터 값을 변수에 저장하고 분석하는 과정에서 데이터 값이 임계값을 기준으로 작은 데이터일 경우에는 무시하여 분석하지 않는다.
스마트폰(40)은 이와 같은 분석으로 'ㄱ'이 입력된 것을 확인하고 이를 스마트폰(40)의 화면에 출력한다(S412).
이와 같은 단계(S406~S412)를 반복 수행함으로써(S414) 손가락을 어느 정도 움직일 수 있는 환자는 문자를 입력해서 자기의 의사를 환자의 가족이나 의사에게 전달할 수 있다.
즉, 이를 반복하여 문장을 만들어 스마트폰(40)에 출력된 문장을 보고 의사는 결과를 분석하여 진료 및 보호자 상담을 하도록 도움을 줄 수 있다.
상기 문자입력 모드인지 확인하는 단계(S404)에서 문자입력 모드가 아닌 경우 질의응답 모드이므로 스마트폰(40)은 질의 화면과 그 질의에 대한 응답 화면을 출력하고, 근거리 무선통신 모듈(30)에 손가락 움직임 정보를 요청한다(S420).
이때 하나의 질의에 대해 다수의 응답을 출력하여 하나의 응답을 선택할 수 있고, 그 질의 내용은 환자의 상태에 따라 다르게 출력한다.
상기 질의응답 모드는 손가락을 거의 사용하지 못하는 환자들을 위해 간단한 의사 표현을 할 수 있도록 버튼 입력(선택) 방식으로 응답을 하게 된다.
도 5b와 같이 환자는 화면의 상단에 위치한 질문을 보고, 말하고자 하는 답변의 좌측에 위치한 번호에 해당하는 손가락을 움직이면 된다.
이러한 손가락의 움직임을 손가락 움직임 감지센서(10a,…,10n)에서 감지하고(S422), 제어부(20)에서 디지털로 변환하여 손가락 움직임 정보(데이터)를 근거리 무선통신 모듈(30)에서 스마트폰(40)으로 전송한다(S424).
이때 상기 데이터의 패킷에는 손가락마다 고유하게 부여된 헤더가 포함되어 스마트폰(40)은 근거리 무선통신으로 받아온 데이터 값을 수신할 때 패킷의 헤더 값을 변수에 저장하여 몇 번째 손가락이 움직였는지 분석하고, 패킷의 데이터 값을 변수에 저장하고 분석하는 과정에서 데이터 값이 임계값을 기준으로 작은 데이터일 경우에는 무시하여 분석하지 않는다.
스마트폰(40)은 이와 같은 분석으로 몇 번째 손가락이 움직였는지 분석하여, 응답 화면(S426)을 출력한다.
예를 들어 도 5b에서 환자가 '왼쪽 다리를 사용할 때 불편한 점이 있으신가요?'라는 질의에 '조금 불편합니다.'라고 응답하고 싶다면, 두 번째 손가락을 움직여서 자신의 의사를 전달할 수 있다.
이와 같은 단계(S420~S426)를 반복 수행함으로써(S428) 손가락을 거의 움직일 수 없는 환자는 질의에 응답하는 방식으로 손가락을 움직여 자기의 의사를 환자의 가족이나 의사에게 전달하고, 의사는 이 결과를 바탕으로 환자의 상태를 파악할 수 있다.
10a,…,10n: 손가락 움직임 감지센서 20: 제어부
22: A/D 컨버터 24: 시리얼 트랜스포터
30: 근거리 무선통신 모듈 40: 스마트폰

Claims (8)

  1. 손가락마다 부착되어 손가락의 움직임을 감지하고 이 손가락 움직임 정보(이하 데이터)를 출력하는 다수의 손가락 움직임 감지센서;
    스마트폰에서 전송된 요청신호에 따라 상기 손가락 움직임 감지센서에서 출력되는 아날로그 데이터를 디지털 데이터로 변환하는 제어부;
    상기 스마트폰과 근거리 무선통신을 하는 모듈로서 상기 제어부의 디지털 데이터를 스마트폰에 전송하고, 스마트폰에서 전송된 요청신호를 제어부에 전달하는 근거리 무선통신 모듈; 및
    상기 디지털 데이터의 패킷에 손가락마다 고유하게 부여된 헤더 값을 이용하여 손가락을 구분하고 실질적으로 움직인 손가락 움직임 값에 대응하는 의사 표현 내용을 화면에 출력하는 스마트폰을 포함하고,
    상기 스마트폰에 화면 출력된 자판을 보고 손가락을 움직여 문자를 입력하는 문자 입력 방식과 상기 스마트폰에 화면 출력된 질의와 그 질의에 응답하는 다수의 응답 내용을 보고 손가락을 이용해 하나를 선택하는 질의응답 방식 중 어느 하나의 방식으로 의사를 전달하는 손가락 움직임을 이용한 의사전달 시스템.
  2. 제1항에 있어서,
    상기 손가락 움직임 감지센서는 손가락의 X축 방향과 일치되게 부착되어 손가락의 X축 움직임만 사용하는 가속도 센서인 손가락 움직임을 이용한 의사전달 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 스마트폰은 디지털 데이터를 수신할 때 패킷의 헤더 값을 변수에 저장하여 몇 번째 손가락이 움직였는지 분석하고, 패킷의 데이터 값(손가락 움직임 값)을 변수에 저장하고 분석하는 과정에서 상기 패킷의 데이터 값이 임계값을 기준으로 작은 데이터일 경우 무시하는 손가락 움직임을 이용한 의사전달 시스템.
  5. 제1항에 있어서,
    상기 문자입력 방식은 손가락을 움직일 수 있는 사용자를 위한 방식이고, 상기 질의응답 방식은 손가락을 움직일 수 없는 사용자를 위한 방식인 손가락 움직임을 이용한 의사전달 시스템.
  6. 제1항에 있어서,
    상기 제어부 및 근거리 무선통신 모듈은 모PCB에 실장되어 밴드가 손목을 감싸는 방식으로 손목에 착용되고, 상기 손가락 움직임 감지센서는 모PCB에 전기적으로 연결된 자PCB에 실장되어 밴드가 손가락을 감싸는 방식으로 손가락에 착용되는 손가락 움직임을 이용한 의사전달 시스템.
  7. 근거리 무선통신 모듈과 스마트폰 간에 근거리 무선통신으로 서로 무선연결하는 단계;
    상기 스마트폰에서 문자입력 모드인지 확인하고, 문자입력 모드인 경우 스마트폰의 화면에 문자를 출력하고, 근거리 무선통신 모듈에 손가락 움직임 정보를 요청하는 단계;
    손가락마다 부착된 손가락 움직임 감지센서에서 문자의 입력을 위한 손가락의 움직임을 감지하고, 이를 제어부에서 디지털로 변환하여 근거리 무선통신 모듈에서 스마트폰에 전송하는 단계;
    스마트폰에서 수신한 데이터 패킷의 헤더 값을 변수에 저장하여 몇 번째 손가락이 움직였는지 분석하고, 패킷의 데이터 값을 변수에 저장하고 분석하는 과정에서 데이터 값이 임계값을 기준으로 작은 데이터일 경우에는 무시하는 단계;
    상기 스마트폰에서 분석된 데이터 값에 대응하는 문자를 출력하는 단계;
    상기 문자입력 모드인지 확인하는 단계에서 문자입력 모드가 아닌 경우 스마트폰에 질의 화면과 응답 화면을 출력하고, 근거리 무선통신 모듈에 손가락 움직임 정보를 요청하는 단계;
    손가락마다 부착된 손가락 움직임 감지센서에서 응답의 선택을 위한 손가락의 움직임을 감지하고, 이를 제어부에서 디지털로 변환하여 근거리 무선통신 모듈에서 스마트폰에 전송하는 단계;
    스마트폰에서 수신한 데이터 패킷의 헤더 값을 변수에 저장하여 몇 번째 손가락이 움직였는지 분석하고, 패킷의 데이터 값을 변수에 저장하고 분석하는 과정에서 데이터 값이 임계값을 기준으로 작은 데이터일 경우에는 무시하는 단계; 및
    상기 스마트폰에서 분석된 데이터 값에 대응하는 선택된 응답 내용을 출력하는 단계를 포함하는 손가락 움직임을 이용한 의사전달 방법.
  8. 삭제
KR1020110129428A 2011-12-06 2011-12-06 손가락 움직임을 이용한 의사전달 시스템 및 방법 KR101323898B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110129428A KR101323898B1 (ko) 2011-12-06 2011-12-06 손가락 움직임을 이용한 의사전달 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110129428A KR101323898B1 (ko) 2011-12-06 2011-12-06 손가락 움직임을 이용한 의사전달 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130063101A KR20130063101A (ko) 2013-06-14
KR101323898B1 true KR101323898B1 (ko) 2013-10-30

Family

ID=48860549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110129428A KR101323898B1 (ko) 2011-12-06 2011-12-06 손가락 움직임을 이용한 의사전달 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101323898B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003561B1 (ko) 2018-11-30 2019-07-24 (주) 씨이랩 스마트폰의 론처 화면을 이용한 사용자 의사 입력 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040090813A (ko) * 2003-04-18 2004-10-27 삼성전자주식회사 손가락 움직임 감지 장치 및 방법
KR20090030105A (ko) * 2007-09-19 2009-03-24 한국전자통신연구원 손가락 움직임을 이용한 데이터 입력 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040090813A (ko) * 2003-04-18 2004-10-27 삼성전자주식회사 손가락 움직임 감지 장치 및 방법
KR20090030105A (ko) * 2007-09-19 2009-03-24 한국전자통신연구원 손가락 움직임을 이용한 데이터 입력 장치

Also Published As

Publication number Publication date
KR20130063101A (ko) 2013-06-14

Similar Documents

Publication Publication Date Title
US11402909B2 (en) Brain computer interface for augmented reality
Fager et al. Access to augmentative and alternative communication: New technologies and clinical decision-making
Huo et al. A dual-mode human computer interface combining speech and tongue motion for people with severe disabilities
KR102548453B1 (ko) 전자 장치 및 그 제어 방법
KR20170085732A (ko) 감정교류형 스마트 요람 시스템 및 그의 제공방법
Zanwar et al. Assistive technology megatrends to support persons with Alzheimer's disease and related dementias age in habitat: challenges for usability, engineering and public policy
KR20050065197A (ko) 착용형 인터페이스 장치
KR101323898B1 (ko) 손가락 움직임을 이용한 의사전달 시스템 및 방법
Murphy et al. Interacting with trapped victims using robots
Patwary et al. Speaking system for deaf and mute people with flex sensors
CN103295570A (zh) 一种手套式发声系统
US20150346840A1 (en) Teeth-mounted, tongue-operated keyboard
Kalpana et al. Smart Glove with Gesture Based Communication and Monitoring of Paralyzed Patient
KR20150115522A (ko) 수화 동작 획득 장치 및 이를 이용한 수화 동작의 텍스트 변환 시스템
CN104773624A (zh) 电梯的目的楼层登记方法及装置
Pandey et al. Smart gloves with health monitoring and security
US20190332170A1 (en) Communication systems and methods
KR101214544B1 (ko) 능동 검출 장치를 이용한 입력 제어 시스템 및 방법
Varghese et al. Dual mode appliance control system for people with severe disabilities
Wouhaybi et al. A context-management framework for telemedicine: an emergency medicine case study
Verma et al. HANDTALK: Interpreter for the Differently Abled: A Review
Nasrany et al. S2LV—A sign to letter and voice converter
TW201535303A (zh) 人體離床感知方法及系統
TWI569210B (zh) Non - invasive brain wave eye movement input control device
WO2018034386A1 (ko) 생체정보 연동형 스마트보드 시스템 및 그 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191101

Year of fee payment: 7