KR20160147677A - 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법 - Google Patents

시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법 Download PDF

Info

Publication number
KR20160147677A
KR20160147677A KR1020160125745A KR20160125745A KR20160147677A KR 20160147677 A KR20160147677 A KR 20160147677A KR 1020160125745 A KR1020160125745 A KR 1020160125745A KR 20160125745 A KR20160125745 A KR 20160125745A KR 20160147677 A KR20160147677 A KR 20160147677A
Authority
KR
South Korea
Prior art keywords
message
unit
image
predetermined
control unit
Prior art date
Application number
KR1020160125745A
Other languages
English (en)
Inventor
한희상
Original Assignee
한희상
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한희상 filed Critical 한희상
Priority to KR1020160125745A priority Critical patent/KR20160147677A/ko
Publication of KR20160147677A publication Critical patent/KR20160147677A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법에 관한 것이고, 구체적으로 이동이 어려운 상태에 있거나 또는 의사 표현이 어려운 상태에 있는 사람의 시선을 탐지하여 메시지의 생성이 가능하도록 하는 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법에 관한 것이다. 시선 탐지에 의한 메시지 생성 장치는 정해진 위치에 설치되어 미리 결정된 사람의 특정 부분을 기준으로 이미지를 획득하는 이미지 획득 유닛(121); 이미지 획득 유닛(121)에서 획득된 이미지에서 미리 결정된 기준에 따라 시선의 방향을 탐지하는 시선 탐지 유닛(122); 이미지 획득 유닛(121)과 시선 탐지 유닛(122)으로 전송된 정보를 처리하여 메시지 생성 여부를 결정하는 제어 유닛(11); 제어 유닛(11)의 요청에 따라 생성되어야할 메시지를 제공하는 메시지 데이터베이스(13); 정해진 스크린에 메시지의 표시 형태를 결정하는 표시 선택 유닛(141); 표시 선택 유닛(141)에서 마커의 이동을 제어하는 선택 조절 유닛(142); 및 선택 조절 유닛(142)에 의하여 선택된 메시지가 상기 미리 결정된 사람의 의사와 일치하는지 여부를 확인하는 확인 유닛(143)을 포함한다.

Description

시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법{An Apparatus for Generating a Message by Detecting a Sight Line and a Method for Generating a Message Using the Same}
본 발명은 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법에 관한 것이고, 구체적으로 이동이 어려운 상태에 있거나 또는 의사 표현이 어려운 상태에 있는 사람의 시선을 탐지하여 메시지의 생성이 가능하도록 하는 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법에 관한 것이다.
다양한 원인으로 인하여 의사 전달이 어려운 상태가 발생될 수 있다. 이동이 불가능하면서 이와 동시에 말을 할 수 없는 환자의 경우 의사 전달이 어려울 수 있다. 이와 같은 환자의 경우 도우미에 의하여 의사 표현이 가능하거나 또는 필요한 행위에 대한 도움이 가능하다. 그러나 정확한 의사 전달이 어려울 수 있고, 도우미가 일시적으로 존재하지 않는 경우 의사 전달이 불가능하거나 또는 필요한 도움을 받기 어려울 수 있다. 더욱이 이와 같은 환자에게 위급 상황이 발생되는 경우 긴급하게 의사 전달이 되어야 할 필요가 있다. 그리고 환자의 시력이 정상적인 경우 환자의 시선에 의하여 의사 전달이 이루어질 수 있다.
시각을 탐지하여 신호를 생성하는 기술은 이 분야에 공지되어 있다.
특허공개번호 10-2010-0055139는 유무선 네트워크를 통하여 상호 연결되는 눈글 인식 클라이언트와 눈글 인식 서버를 구비하며, 상기 눈글 인식 클라이언트는 보호 대상자의 눈동자 구성 요소에 기초하여 감지된 시선 변화 및 움직임을 이용하여 가상의 평면에 표시되는 패턴의 조합으로 구성되는 제1 신호와 상기 보호 대상자의 눈꺼풀 깜빡임의 인위적 변화에 의한 제2 신호를 조합한 구난 신호를 기반으로 기저장된 메시지 변화 데이터베이스를 참조하여 구난 메시지를 작성하여 상기 유무선 네트워크를 통하여 상기 눈글 인식 서버에 전송하고, 상기 눈글 인식 서버는 상기 전송된 구난 메시지를 분석하여 위난 상황을 판단하고, 구난 정보 데이터베이스로부터 상기 위난 상황에 대응하는 구난 정보를 검색하고 이에 기초하여 응급 구난 조치를 시스템적으로 수행하거나 응급 구난 요청을 관련 기관의 서버에 통하는 것을 특징으로 눈글 인식 응급구난 시스템에 대하여 개시한다.
특허공개번호 10-2015-0030873은 유무선 네트워크를 통하여 상호 연결되는 눈글 인식 장치; 및 눈글 인식에 의한 명령을 전송하고 구동하는 구동부를 포함하고, 사기 눈글 인식 장치는 구동 장치 운영자의 눈동자 구성 요소에 기초하여 감지된 시선 변화를 이용하여 가상의 평면에 표시되는 패턴의 조합으로 구성되는 1 신호와 상기 운영자의 눈꺼풀 깜박임의 인위적 변화에 의한 제2 신호를 조합한 의미 조합 신호를 기반으로 메시지 변환 데이터베이스를 참조하여 동작 메시지를 작성하여 상기 유무선 네트워크를 통하여 디스플레이 장치에 표출하거나 구동 장치의 구동부를 전송하고, 표출된 메시지를 통하여 타인과 의사소통을 하거나 구동부를 구동시키는 것을 특징으로 하는 눈글 인식 휠체어에 대하여 개시한다.
상기 선행기술에서 개시된 기술은 눈 또는 다른 신체의 움직임으로 신호를 조합하여 생성하고 이를 서버로 전송하여 신호 전송 주체의 의사를 해석하는 것을 특징으로 한다. 그러나 이와 같은 경우 의사 표시의 어려움이 표시 주체가 아닌 주변 상황에 의하여 발생되는 것이고, 의사 표시 주체의 탐색이 어렵다는 단점을 가진다. 예를 들어 선행기술은 다양한 신호의 조합에 의하여 메시지가 생성되므로 메시지 생성이 복잡하여 거동이 불가능하지만 시력이 정상인 사람에게 적용하기 어렵다. 그러므로 간단하게 의사 또는 메시지의 생성 및 전달이 가능한 기술이 요구된다.
본 발명은 선행기술이 가진 문제점을 해결하기 위한 것으로 아래와 같은 목적을 가진다.
선행기술1: 특허공개번호 10-2010-0055139(휴잇테크놀러지스 주식회사, 2010년05월26일 공개) 눈글 인식 응급구난 시스템 및 방법 선행기술2: 특허공개번호 10-2015-0030873(롤스톤 주식회사, 2015년03월23일 공개) 눈글 인식을 이용한 장애가족 도우미 휠체어 구동제어 기술
본 발명의 목적은 거동이 불편하면서 의사 표시가 어려운 사람의 시선을 탐지하여 필요한 메시지의 생성이 가능하도록 하는 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법을 제공하는 것이다.
본 발명의 적절한 실시 형태에 따르면, 시선 탐지에 의한 메시지 생성 장치는 정해진 위치에 설치되어 미리 결정된 사람의 특정 부분을 기준으로 이미지를 획득하는 이미지 획득 유닛; 이미지 획득 유닛에서 획득된 이미지에서 미리 결정된 기준에 따라 시선의 방향을 탐지하는 시선 탐지 유닛; 이미지 획득 유닛과 시선 탐지 유닛으로 전송된 정보를 처리하여 메시지 생성 여부를 결정하는 제어 유닛; 제어 유닛의 요청에 따라 생성되어야할 메시지를 제공하는 메시지 데이터베이스; 정해진 스크린에 메시지의 표시 형태를 결정하는 표시 선택 유닛; 표시 선택 유닛에서 마커의 이동을 제어하는 선택 조절 유닛; 및 선택 조절 유닛에 의하여 선택된 메시지가 상기 미리 결정된 사람의 의사와 일치하는지 여부를 확인하는 확인 유닛을 포함한다.
본 발명의 다른 적절한 실시 형태에 따르면, 이미지 획득 유닛은 상기 미리 결정된 사람에 대한 기준 이미지를 저장하여 기준 이미지의 변화 여부를 결정하는 기준 설정 유닛, 기준 이미지의 획득을 위하여 영상 획득 유닛을 회전시키는 회전 유닛 및 상기 미리 결정된 사람의 다양한 상태에 대한 이미지를 저장하는 이미지 저장 유닛을 포함한다.
본 발명의 또 다른 적절한 실시 형태에 따르면, 시선 탐지에 의한 메시지 생성 방법은 영상 획득 유닛에 의하여 미리 결정된 사람의 미리 결정된 사람의 기준 이미지를 설정하는 단계; 상기 미리 결정된 사람에 대한 이미지를 획득하여 상기 미리 결정된 사람의 메시지 생성 의사를 탐지하는 단계; 메시지 생성 의사가 탐지되면 미리 결정된 스크린에 적어도 하나의 메시지를 표시하는 단계; 상기 적어도 하나의 메시지에 대한 시선 위치를 결정하는 단계; 상기 시선 위치의 결정에 따라 메시지 생성을 위한 1 메뉴를 제공하는 단계; 상기 시선 위치의 변화를 탐지하여 상기 1 메뉴에서 마커 위치를 제어하는 단계; 상기 마커 위치의 제어에 따라 선택된 메시지가 상기 미리 결정된 사람의 의사와 일치하는지 여부를 결정하는 단계; 및 상기 의사 일치 여부의 결정에 따라 선택된 메지지의 전송 여부를 결정하는 단계를 포함한다.
본 발명에 따른 메시지 생성 장치는 스스로 이동이 어려우면서 의사 표현이 가능하지 않은 환자가 침상에 누운 상태에서 자신에게 필요한 메시지를 생성하여 전달하는 것이 가능하도록 한다. 또한 본 발명에 따른 메시지 생성 장치는 환자의 위급 상태 발생을 탐지하여 외부에 알리는 것에 의하여 긴급 사태의 발생이 방지되도록 한다. 추가로 본 발명에 따른 메시지 생성 방법은 적절한 구조 변경을 통하여 전자장치의 작동을 제어하기 위한 제어 장치로 사용될 수 있도록 한다.
도 1은 본 발명에 따른 메시지 생성 장치의 실시 예를 블록으로 도시한 것이다.
도 2는 본 발명에 따른 메시지 생성 장치에 적용되는 시선 탐지 모듈의 실시 예를 도시한 것이다.
도 3는 본 발명에 따른 메시지 생성 장치의 작동 구조의 실시 예를 도시한 것이다.
도 4는 본 발명에 따른 메시지 생성 방법의 실시 예를 도시한 것이다.
아래에서 본 발명은 첨부된 도면에 제시된 실시 예를 참조하여 상세하게 설명이 되지만 실시 예는 본 발명의 명확한 이해를 위한 것으로 본 발명은 이에 제한되지 않는다. 아래의 설명에서 서로 다른 도면에서 동일한 도면 부호를 가지는 구성요소는 유사한 기능을 가지므로 발명의 이해를 위하여 필요하지 않는다면 반복하여 설명이 되지 않으며 공지의 구성요소는 간략하게 설명이 되거나 생략이 되지만 본 발명의 실시 예에서 제외되는 것으로 이해되지 않아야 한다.
도 1은 본 발명에 따른 메시지 생성 장치(10)의 실시 예를 블록으로 도시한 것이다.
도 1을 참조하면, 메시지 생성 장치(10)는 정해진 위치에 설치되어 미리 결정된 사람의 특정 부분을 기준으로 이미지를 획득하는 이미지 획득 유닛(121); 이미지 획득 유닛(121)에서 획득된 이미지에서 미리 결정된 기준에 따라 시선의 방향을 탐지하는 시선 탐지 유닛(122); 이미지 획득 유닛(121)과 시선 탐지 유닛(122)으로 전송된 정보를 처리하여 메시지 생성 여부를 결정하는 제어 유닛(11); 제어 유닛(11)의 요청에 따라 생성되어야할 메시지를 제공하는 메시지 데이터베이스(13); 정해진 스크린에 메시지의 표시 형태를 결정하는 표시 선택 유닛(141); 표시 선택 유닛(141)에서 마커의 이동을 제어하는 선택 조절 유닛(142); 및 선택 조절 유닛(142)에 의하여 선택된 메시지가 상기 미리 결정된 사람의 의사와 일치하는지 여부를 확인하는 확인 유닛(143)을 포함한다.
본 명세서에서 메시지는 타인에게 전달되는 사람의 의사 표시를 비롯하여 전자기기와 같은 것의 작동을 위한 의사 표시를 포함한다. 예를 들어 메시지에 타인에게 특정 행위를 요청하거나, 자신의 의사를 전달하거나 또는 전자기기의 작동을 위한 신호 발생을 포함한다.
본 발명에 따른 메시지 생성 장치(10)는 미리 결정된 사람으로부터 기준 이미지에 기초하여 대비 이미지를 생성하고, 획득된 대비 이미지를 기준 이미지와 비교하는 이미지 획득 모듈(20); 이미지 획득 모듈(20)에서 얻어진 정보에 기초하여 메시지의 생성 과정을 제어하는 메시지 생성 제어 모듈(30); 및 메시지 생성 제어 모듈(30)의 제어에 따라 메시지를 정해진 스크린에 표시하여 상기 미리 결정된 사람의 시선 탐지에 따라 메시지가 선택되도록 하는 메시지 표시 제어 모듈(40)로 이루어질 수 있다.
본 발명에 따른 메시지 생성 장치(10)는 생성 메시지를 정해진 예를 들어 관리자 서버의 스크린 또는 관련자의 스마트 폰과 같은 전자기기(14)로 전송할 수 있고, 이에 따라 관리자 또는 관련자는 상기 미리 결정된 사람의 의사를 확인하여 필요한 조치를 취할 수 있다. 상기 미리 특정된 사람은 예를 들어 병상에 누워서 거동이 불편하거나 또는 실내에 거주하며 거동이 불편한 사람이 될 수 있지만 이에 제한되지 않는다. 직접적으로 음성 또는 거동에 의하여 메시지의 생성이 어렵거나 또는 간접적으로 생성하는 것이 유리한 모든 상황에 본 발명에 따른 메시지 생성 장치(10)가 적용될 수 있고, 본 발명은 제시된 실시 예에 제한되지 않는다.
이미지 획득 모듈(20)은 회전 가능한 카메라 유닛을 가질 수 있고, 카메라 유닛은 이미지 획득 유닛(121)에 의하여 미리 결정된 사람에 대한 기준 초점을 가진다. 이미지 획득 유닛(121)은 예를 들어 사람의 두 눈 사이가 기준 초점이 될 수 있고, 이미지 획득 유닛(121)의 초점은 기준 초점에 맞추어질 수 있다. 그리고 이미지 획득 유닛(121)은 기준 초점을 중심으로 미리 결정된 사람에 해당하는 대상의 이미지를 주기적으로 획득한다. 그리고 주기적으로 획득된 이미지로부터 대상의 메시지 발생 의사를 확인할 수 있다. 필요에 따라 대상의 메시지 발생 의사는 미리 결정될 수 있고, 메시지 발생 의사와 관련된 이미지가 이미지 획득 유닛(121)에 저장될 수 있다. 그리고 이미지 획득 유닛(121)이 대상으로부터 해당 이미지를 획득하면, 이를 제어 유닛(11)에 전송하여 메시지 발생을 개시시킬 수 있다. 그리고 시선 탐지 유닛(122)이 작동될 수 있다. 시선 탐지 유닛(122)은 회전 가능한 카메라 유닛이 될 수 있고, 줌 기능을 가질 수 있다. 또한 시선 탐지 유닛(122)은 사용자의 눈동자 이미지를 추출할 수 있는 이미지 추출 기능을 가질 수 있다. 시선 탐지 유닛(122)은 대상의 눈동자로부터 시선 위치를 탐지할 수 있다. 대상의 시선 위치의 탐지를 위하여 탐지 스크린이 대상의 눈동자가 미칠 수 있는 위치에 배치될 수 있다. 탐지 스크린은 메시지 표시 제어 모듈(40)에 배치된 스크린과 동일한 스크린이 되거나 대상의 시선 탐지를 위하여 별도로 설치된 보조 스크린이 될 수 있다. 시선 탐지 유닛(122)은 탐지 스크린의 이동과 특정 지점에서 대상의 눈동자의 특정 부위의 이동에 대한 상관도 데이터를 가질 수 있다. 그리고 상관 데이터로부터 대상의 시선의 이동을 탐지할 수 있다.
제어 유닛(11)은 이미지 획득 유닛(121)으로부터 전송된 정보에 따라 메시지 발생을 개시하고, 시선 탐지 유닛(122)에서 탐지된 정보에 따라 메시지 생성을 위한 메뉴를 제공하여 선택되도록 할 수 있다.
메시지 생성 제어 모듈(30)은 메시지 데이터베이스(13)를 포함할 수 있고, 메시지 데이터베이스(13)는 대상에게 필요한 메시지를 저장하여 제어 유닛(11)의 제어에 따라 탐지된 시선 정보에 대응되는 메시지를 제공할 수 있다. 대상에 따라 필요한 메시지가 메시지 데이터베이스(13)에 미리 저장될 수 있고, 추가적으로 응급 상황에 따른 메시지가 메시지 데이터베이스(13)에 저장될 수 있다. 메시지 데이터베이스(13)는 대상에 관련된 다양한 메시지를 저장할 수 있고, 제어 유닛(11)의 제어에 따라 관련 메시지를 메시지 표시 제어 모듈(40)에 표시할 수 있다. 메시지 생성 제어 모듈(30)은 또한 선택된 메시지 또는 응급 상황에 따른 메시지의 전송 여부 및 전송 대상을 결정하는 전송 유닛(15)을 포함할 수 있다. 전송 대상이 되는 전자기기(16)는 미리 결정될 수 있고, 예를 들어 대상의 보호자의 스마트 폰 또는 보호 의무자의 전자기기가 될 수 있다.
메시지 표시 제어 모듈(40)은 메시지 생성 제어 모듈(30)로부터 전송된 메시지를 표시 스크린에 표시하여 대상의 선택이 가능하도록 한다. 표시 선택 유닛(141)은 표시 스크린에 메시지가 표시되는 형태를 결정하는 기능을 가질 수 있다. 표시 스크린은 대상의 시선이 미칠 수 있는 위치에 배치된 스크린이 되거나, 컴퓨터의 모니터에 연결된 스크린이 되거나 또는 TV 스크린과 같은 것이 될 수 있다. 표시 선택 유닛(141)은 제어 유닛(11)의 제어에 따라 메시지 또는 메시지 메뉴를 표시 스크린에 표시할 수 있다. 예를 들어 표시 선택 유닛(141)은 스크린에서 메시지 또는 메시지 메뉴를 확대하거나 이동시킬 수 있고, 특정 메시지의 표시 형태를 변경시킬 수 있다. 그리고 메시지의 선택 또는 메시지 메뉴에서 메뉴의 선택은 선택 조절 유닛(142)에 의하여 이루어질 수 있다. 선택 조절 유닛(142)은 예를 들어 마커와 같은 선택 표시 수단을 가질 수 있고, 제어 유닛(11)으로부터 전송된 메시지를 표시 장치에 전달하고, 시선 탐지 유닛(122)으로부터 전송된 시선 정보에 따라 마커를 메시지 메뉴에서 이동시키거나 특정 메시지가 선택되도록 할 수 있다. 선택 조절 유닛(142)에 의하여 선택된 메시지가 대상의 의사와 일치하는지 여부가 확인 유닛(143)에 의하여 확인될 수 있다. 확인을 위하여 미리 특정 이미지가 저장되거나 또는 시선 탐지에 의하여 일치 여부가 확인될 수 있다. 그리고 확인 유닛(143)에 의하여 대상의 의사와 일치되는 메시지가 생성된 것으로 확인되면, 전송 유닛(15)에 의하여 메시지가 전자기기(16)로 전송될 수 있다.
도 2는 본 발명에 따른 메시지 생성 장치에 적용되는 시선 탐지 모듈의 실시 예를 도시한 것이다.
도 2를 참조하면, 이미지 획득 유닛(121)은 대상의 이미지에 대한 기준을 설정하는 기준 설정 유닛(221), 대상에 대한 정해진 이미지를 획득하기 위하여 카메라와 같은 영상 획득 유닛을 회전시키는 회전 유닛(222); 및 대상에 대한 이미지를 저장하는 이미지 저장 유닛(223)을 포함할 수 있다. 기준 설정 유닛(221)에 의하여 설정되는 기준 이미지는 하나 또는 그 이상이 될 수 있고, 각각의 기준 이미지에서 하나 또는 그 이상의 기준 위치가 설정될 수 있다. 그리고 설정된 기준에 따라 회전 유닛(222)에 의하여 정해진 기준에 기초하여 기준 이미지가 획득되도록 한다. 그리고 기준 이미지에 따라 대상의 메시지 생성 의사가 확인되고, 생성된 이미지가 대상의 이미지와 일치하는지 여부가 확인될 수 있다. 그리고 기준 이미지 및 일정한 주기로 대상의 이미지를 저장할 수 있다. 그리고 일정한 주기로 이미지를 제어 유닛(11)으로 전송할 수 있다.
제어 유닛(11)은 기준 이미지와 일정한 주기로 전송되는 대상의 이미지의 비교를 위한 비교 유닛(211) 및 시선 탐지 유닛(122)에 의하여 탐지된 대상의 시선 위치를 결정하는 위치 결정 유닛(212)을 포함할 수 있다. 비교 유닛(211)은 대상의 메시지 생성 의사를 확인하면서 대상에서 발생된 위급 상황을 판단하는 기능을 가질 수 있다. 그리고 위치 결정 유닛(212)에 의하여 시선 방향에 따른 메시지 또는 메시지 메뉴가 결정될 수 있다.
시선 탐지 유닛(122)은 대상의 정해진 위치의 이미지를 획득하기 위한 이미지 획득 유닛(231), 이미지 획득 유닛(231)으로부터 획득된 이미지로부터 시선과 관련된 부분을 추출하는 추출 유닛(232) 및 기준 이미지와 추출 유닛(232)에서 추출된 부분의 좌표를 설정하는 좌표 설정 유닛(233)을 포함할 수 있다. 이미지 획득 유닛(231)은 대상의 특정 부위의 확대 및 축소가 가능한 카메라 유닛이 될 수 있고, 이미지 획득 유닛(231)은 기준 설정 유닛(221)에 의하여 설정된 기준에 기초하여 특정 부위의 이미지를 획득할 수 있다. 그리고 추출 유닛(232)은 이미지 획득 유닛(231)으로 시선의 방향 결정에 필요한 부분을 추출할 수 있다. 그리고 추출된 부분 사이의 좌표가 좌표 설정 유닛(233)에 의하여 설정될 수 있고 위치 결정 유닛(212)으로 전송될 수 있다.
메시지 데이터베이스(13)는 상황에 따른 메시지를 저장하는 메시지 분류 유닛(241), 메시지 분류 유닛(241)에서 선택된 메시지와 대상의 시선에 의하여 선택된 메시지의 일치 여부를 결정하는 메시지 매칭 유닛(242) 및 제어 유닛(13)으로부터 전송되는 지시에 따라 메시지 또는 메시지 메뉴를 호출하는 메시지 호출 유닛(243)을 포함할 수 있다. 메시지 분류 유닛(241)은 대상으로부터 요구될 수 있는 다양한 메시지를 분류하여 저장할 수 있다. 메시지는 다수 개의 단계에 따라 메뉴를 따라 선택되도록 저장되거나, 독립된 형태로 저장될 수 있다. 메시지 분류 유닛(241)은 메시지의 분류에 따른 메뉴를 저장할 수 있다.
메시지 매칭 유닛(242)은 메시지 분류 유닛(241)으로부터 선택된 메시지가 사용자에 의하여 선택된 메시지와 일치하는지 여부를 예비적으로 판단할 수 있다. 선택된 메시지가 일치하는지 여부의 대한 예비적 확인은 이전 메시지와 선택된 메시지의 연관성에 의하여 결정될 수 있다. 또한 예비적 확인은 대상으로부터 선택된 이전 메시지에 의하여 판단될 수 있다. 일치 여부는 다양한 방법으로 판단될 수 있고 본 발명은 제시된 실시 예에 제한되지 않는다. 메시지 일치 여부가 확인되면, 메시지 호출 유닛(243)의 호출에 따라 정해진 메시지가 스크린에 표시될 수 있고 대상의 선택에 따라 메시지가 생성될 수 있다.
본 발명에 따른 메시지 생성 장치는 다양한 상황에 적절한 작동 구조를 가질 수 있다.
도 3는 본 발명에 따른 메시지 생성 장치의 작동 구조의 실시 예를 도시한 것이다.
도 3을 참조하면, 환자와 같은 메시지의 생성을 원하는 대상(S)의 이미지를 획득하기 위한 영상 획득 유닛(31)이 적절한 위치에 배치될 수 있다. 영상 획득 유닛(31)은 디스플레이 유닛(32)과 연결될 수 있고, 영상 획득 유닛(31)으로부터 획득된 정보는 제어 유닛에 전송될 수 있다. 제어 유닛은 영상 획득 유닛(31)에 의하여 획득된 이미지에 기초하여 대상(S)의 시선을 결정하고 그에 기초하여 메시지를 디스플레이 유닛(32)에 표시할 수 있다. 디스플레이 유닛(32)은 메인 스크린(321) 및 메뉴 스크린(322)으로 이루어질 수 있다. 메뉴 스크린(322)에 다수 개의 메시지 생성과 관련된 메뉴가 배치되고 마커(M)에 의하여 선택될 수 있다. 그리고 선택된 메뉴와 관련된 정보 또는 메시지가 메인 스크린(321)에 표시될 수 있다. 그리고 메인 스크린(321)에 표시된 메시지 또는 정보가 대상(S)의 의사와 일치하는지 여부가 확인될 수 있다. 그리고 메인 스크린(321)에 표시된 메시지 또는 정보가 대상(S)의 의사와 일치하고, 해당 메시지 또는 정보가 대상(S)에 의하여 요구되는 최종 메시지에 해당되면 전자기기(E)로 메시지가 전송될 수 있다.
본 발명에 따른 메시지 생성 장치는 다양한 방법으로 메시지를 생성시킬 수 있고 본 발명은 제시된 실시 예에 제한되지 않는다.
도 4는 본 발명에 따른 메시지 생성 방법의 실시 예를 도시한 것이다.
도 4를 참조하면, 시선 탐지에 의한 메시지 생성 방법은 영상 획득 유닛에 의하여 미리 결정된 사람의 기준 이미지를 설정하는 단계(P41); 상기 미리 결정된 사람에 대한 이미지를 획득하여 상기 미리 결정된 사람의 메시지 생성 의사를 탐지하는 단계(P42); 메시지 생성 의사가 탐지되면 미리 결정된 스크린에 적어도 하나의 메시지를 표시하는 단계(P43); 상기 적어도 하나의 메시지에 대한 시선 위치를 결정하는 단계(P44); 상기 시선 위치의 결정에 따라 메시지 생성을 위한 1 메뉴를 제공하는 단계(P45); 상기 시선 위치의 변화를 탐지하여 상기 1 메뉴에서 마커 위치를 제어하는 단계(P46); 상기 마커 위치의 제어에 따라 선택된 메시지가 상기 미리 결정된 사람의 의사와 일치하는지 여부를 결정하는 단계(P47); 및 상기 의사 일치 여부의 결정에 따라 선택된 메시지의 전송 여부를 결정하는 단계(P49)를 포함한다.
본 발명에 따른 메시지 생성 방법은 거동이 어렵거나 또는 의사 표시가 어려운 환자와 같은 사람이 시선의 변화에 의하여 메시지를 생성하는 것이 가능하도록 한다. 또한 실제로 거동 또는 의사 표현이 가능한 경우라고 할지라도 편의를 위하여 시선에 의하여 의사 표현을 위한 메시지를 생성시키거나 또는 전자기기와 같은 것의 작동을 위한 메시지를 생성시킬 수 있다. 그러므로 본 발명에 따른 메시지 생성 방법은 메시지를 생성시키는 대상에 의하여 제한되지 않는다.
메시지의 생성을 위하여 기준 이미지가 생성될 수 있다(P41). 기준 이미지는 메시지의 발생을 원하는 사람이 되는 대상이 메시지의 발생을 원한다는 판단할 수 있는 이미지를 말한다. 예를 들어 기준 이미지는 대상의 얼굴에서 변화가 가능한 부분이 될 수 있고, 눈동자의 변화와 같은 것이 되거나 손동작과 같은 것이 될 수 있다. 기준 이미지는 하나 이상이 될 수 있다. 기준 이미지는 미리 저장이 될 수 있고, 영상 획득 유닛에 의하여 얻어진 영상과 이미지를 대비하여 대상의 메시지 생성 여부가 확인될 수 있다(P42).
대상에 대한 이미지가 필요시 또는 주기적으로 영상 획득 유닛에 의하여 얻어질 수 있고, 기준 이미지와 대비될 수 있다(P42). 그리고 얻어진 이미지로부터 메시지 생성 여부가 확인되면 메시지가 미리 정해진 스크린에 표시될 수 있다(P43). 미리 정해진 스크린은 대상의 시선이 닿을 수 있는 위치에 배치될 수 있고, 예를 들어 대상이 병상에 누워있는 경우 대상의 얼굴 위쪽에 일정 거리만큼 이격되어 설치될 수 있다. 메시지가 스크린에 표시되면(P43), 이와 동시에 시선 탐지 유닛에 의하여 대상의 시선 위치가 탐지되어 결정될 수 있다(P44). 시선 위치의 결정에 따라 표시된 메시지와 대상의 메시지 발생 의사의 일치 여부를 판단할 수 있고, 그에 따라 1 메뉴가 제공될 수 있다(P45). 이와 같은 방식으로 대상의 메시지 발생 의사가 대상의 시선 위치의 결정에 따라 확인되면, 1 메뉴가 제공될 수 있다(P45). 1 메뉴는 메시지가 되거나 메시지의 선택을 위한 메뉴가 될 수 있다. 메시지 메뉴는 대상에게 필요한 메시지가 종류에 따라 분류된 메시지가 될 수 있고, 대상에 따라 적절하게 만들어질 수 있다. 1 메뉴가 제공되면, 대상의 시선이 1 메뉴를 따라 이동될 수 있고, 그에 따라 마커가 이동될 수 있다(P46). 그리고 1 메뉴에 나열된 하나의 아이템이 결정될 수 있다. 그리고 선택된 아이템이 대상의 의사와 일치하는지 여부가 확인될 수 있다(P47). 만약 대상의 의사와 일치하지 않는다면(NO), 다시 시선이 탐지될 수 있고(P471) 그에 따라 시선 위치가 결정될 수 있다(P44). 이에 비하여 의사가 일치한다면(YES), 2 메뉴가 제공되거나(P48) 또는 메시지가 결정될 수 있다. 대상의 의사의 일치 여부는 대상의 시선의 이동, 표정 또는 다른 몸짓에 의하여 확인될 수 있다.
이와 같은 방법으로 최종적으로 대상의 의사와 일치하는 메시지가 결정되면 전송 여부가 결정될 수 있다(P49). 메시지의 전송은 예를 들어 보호자의 전자기기 또는 관리자의 전자기기와 같은 것이 될 수 있다.
본 발명에 따른 메시지는 다양한 방법으로 생성될 수 있고 본 발명은 제시된 실시 예에 제한되지 않는다.
위에서 본 발명은 제시된 실시 예를 참조하여 상세하게 설명이 되었지만 이 분야에서 통상의 지식을 가진 자는 제시된 실시 예를 참조하여 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다양한 변형 및 수정 발명을 만들 수 있을 것이다. 본 발명은 이와 같은 변형 및 수정 발명에 의하여 제한되지 않으며 다만 아래에 첨부된 청구범위에 의하여 제한된다.
10: 메시지 생성 장치 11: 제어 유닛
13: 메시지 데이터베이스 15: 전송 유닛
16: 전자기기 20: 이미지 획득 모듈
30: 메시지 생성 제어 모듈 31: 영상 획득 유닛
32: 디스플레이 유닛 40: 메시지 표시 제어 모듈
121: 이미지 획득 유닛 122: 시선 탐지 유닛
141: 표시 선택 유닛 142: 선택 조절 유닛
143: 확인 유닛 211: 비교 유닛
212: 위치 결정 유닛 221: 기준 설정 유닛
222: 회전 유닛 223: 이미지 저장 유닛
231: 이미지 획득 유닛 232: 추출 유닛
233: 좌표 설정 유닛 241: 메시지 분류 유닛
242: 메시지 매칭 유닛 243: 메시지 호출 유닛
321: 메인 스크린 322: 메뉴 스크린
E: 전자기기 M: 마커
S: 대상

Claims (2)

  1. 정해진 위치에 설치되어 미리 결정된 사용자의 특정 부분을 기준으로 주기적으로 이미지를 획득하여 대상의 메시지 발생 의사를 확인하는 이미지 획득 유닛(121);
    상기 메시지의 발생 의사에 따라 상기 사용자의 눈동자 이미지를 추출하여 탐지 스크린에 대한 상기 사용자의 시선 위치를 탐지하는 시선 탐지 유닛(122);
    이미지 획득 유닛(121)과 시선 탐지 유닛(122)으로 전송된 정보를 처리하여 메시지 생성을 위한 메뉴의 제공 여부를 결정하는 제어 유닛(11);
    제어 유닛(11)의 요청에 따라 미리 저장된 대상에 따라 필요한 메시지 및 응급 상황에 따른 메시지를 제공하는 메시지 데이터베이스(13);
    메시지 데이터베이스(13)가 표시되는 표시 스크린에서 메시지의 표시 형태를 결정하는 표시 선택 유닛(141);
    표시 선택 유닛(141)에서 시선 탐지 유닛(122)으로부터 전송된 시선 정보에 따라 마커의 이동을 제어하는 선택 조절 유닛(142);
    선택 조절 유닛(142)에 의하여 선택된 메시지가 상기 미리 결정된 사람의 의사와 일치하는지 여부를 미리 저장된 특정 이미지 또는 시선 탐지에 의하여 확인하는 확인 유닛(143); 및
    선택된 메시지 또는 응급 상황에 따른 메시지의 전송 여부 및 전송 대상을 결정하는 전송 유닛(15)을 포함하는 시선 탐지에 의한 메시지 생성 장치.
  2. 청구항 1에 있어서, 메시지 데이터베이스(13)는 상황에 따른 메시지를 저장하는 메시지 분류 유닛(241) 및 메시지 분류 유닛(241)에서 선택된 메시지와 대상의 시선에 의하여 선택된 메시지의 일치 여부를 결정하는 메시지 매칭 유닛(242)을 포함하고, 상기 메시지 매칭 유닛(242)은 메시지 분류 유닛(241)에서 선택된 메시지와 상기 사용자에 의하여 선택된 메시지의 일치 여부를 예비적으로 판단하는 기능을 가지는 것을 특징으로 하는 시선 탐지에 의한 메시지 생성 장치.

KR1020160125745A 2016-09-29 2016-09-29 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법 KR20160147677A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160125745A KR20160147677A (ko) 2016-09-29 2016-09-29 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160125745A KR20160147677A (ko) 2016-09-29 2016-09-29 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150083860 Division 2015-06-15

Publications (1)

Publication Number Publication Date
KR20160147677A true KR20160147677A (ko) 2016-12-23

Family

ID=57736358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160125745A KR20160147677A (ko) 2016-09-29 2016-09-29 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법

Country Status (1)

Country Link
KR (1) KR20160147677A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100055139A (ko) 2008-11-17 2010-05-26 전병훈 눈글인식 응급구난 시스템 및 방법
KR20150030873A (ko) 2013-09-13 2015-03-23 롤스톤 주식회사 눈글 인식을 이용한 장애가족 도우미 휠체어 구동제어 기술

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100055139A (ko) 2008-11-17 2010-05-26 전병훈 눈글인식 응급구난 시스템 및 방법
KR20150030873A (ko) 2013-09-13 2015-03-23 롤스톤 주식회사 눈글 인식을 이용한 장애가족 도우미 휠체어 구동제어 기술

Similar Documents

Publication Publication Date Title
CN110874129B (zh) 显示系统
EP3809241B1 (en) System and method for enabling communication through eye feedback
RU2645004C2 (ru) Устройство обработки информации, способ обработки информации и система обработки информации
WO2016158000A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
EP3721320B1 (en) Communication methods and systems
US11123031B2 (en) Augmented reality for radiation dose monitoring
KR20090105531A (ko) 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
KR101661555B1 (ko) 비콘을 이용한 글라스형 웨어러블 디바이스의 카메라 기능 제한방법 및 프로그램
KR20090036183A (ko) 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
KR20200104759A (ko) 위험 상황을 판단하고, 사용자의 안전을 관리하는 시스템
KR20200104758A (ko) 위험 상황을 판단하고, 사용자의 안전을 관리하는 방법 및 장치
KR101684264B1 (ko) 글라스형 웨어러블 디바이스의 버스도착 알림방법 및 이를 이용한 글라스형 웨어러블 디바이스용 프로그램
KR20160017593A (ko) 글라스형 웨어러블 디바이스를 이용한 탈출경로 제공방법 및 프로그램
JP2000250699A (ja) 視線入力装置
JP6579411B1 (ja) 介護設備又は病院用の監視システム及び監視方法
CN216357017U (zh) 用于建立和可视化脉管通路的历史部位的替代现实装置
KR101728707B1 (ko) 글라스형 웨어러블 디바이스를 이용한 실내 전자기기 제어방법 및 제어프로그램
JPWO2020070839A1 (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
KR20160147677A (ko) 시선 탐지에 의한 메시지 생성 장치 및 그에 의한 메시지 생성 방법
JP2006055388A (ja) 遠隔介護支援システム
EP3491557B1 (en) Patient monitoring system
KR20150030873A (ko) 눈글 인식을 이용한 장애가족 도우미 휠체어 구동제어 기술
NL2019059B1 (en) Wireless communication system for remote medical assistance
WO2022091945A1 (ja) 眼科システム、眼科装置遠隔操作方法、眼科装置遠隔操作プログラム
KR102325184B1 (ko) 키오스크를 이용한 병원안내시스템

Legal Events

Date Code Title Description
A107 Divisional application of patent