KR102281792B1 - 시선 추적을 활용한 스마트 워치 - Google Patents

시선 추적을 활용한 스마트 워치 Download PDF

Info

Publication number
KR102281792B1
KR102281792B1 KR1020190170657A KR20190170657A KR102281792B1 KR 102281792 B1 KR102281792 B1 KR 102281792B1 KR 1020190170657 A KR1020190170657 A KR 1020190170657A KR 20190170657 A KR20190170657 A KR 20190170657A KR 102281792 B1 KR102281792 B1 KR 102281792B1
Authority
KR
South Korea
Prior art keywords
information
user
smart watch
vibration
unit
Prior art date
Application number
KR1020190170657A
Other languages
English (en)
Other versions
KR20210078818A (ko
Inventor
정혜경
강유진
구가영
이윤정
Original Assignee
건국대학교 글로컬산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 글로컬산학협력단 filed Critical 건국대학교 글로컬산학협력단
Priority to KR1020190170657A priority Critical patent/KR102281792B1/ko
Publication of KR20210078818A publication Critical patent/KR20210078818A/ko
Application granted granted Critical
Publication of KR102281792B1 publication Critical patent/KR102281792B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3652Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G04HOROLOGY
    • G04GELECTRONIC TIME-PIECES
    • G04G21/00Input or output devices integrated in time-pieces
    • G04G21/06Input or output devices integrated in time-pieces using voice
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/59Responders; Transponders

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

사용자의 시선 추적을 활용한 스마트 워치의 제공이 개시되며, 본원의 일 실시예에 따른 시선 추적을 활용한 스마트 워치는 시선 추적을 통해 생성된 시선 정보에 기초하여 스마트 워치를 제어하기 위한 사용자 인터페이스의 동작을 제어할 수 있고, 시선 정보에 기초하여 사용자 인터페이스에 포함되는 복수의 아이콘 또는 디스플레이 출력 화면을 선택하거나 제어할 수 있고, 복수의 아이콘 중 어느 하나의 아이콘의 선택, 아이콘의 드래그 동작, 출력 화면의 확대 및 축소를 할 수 있다.

Description

시선 추적을 활용한 스마트 워치{EYE-TRACKING SMART WATCH}
본원은 시선 추적을 활용한 스마트 워치에 관한 것이다.
노인, 어린이, 장애인들에게는 장애물이나 예상치 못한 사물로 인한 이동의 어려움 또는 신체적인 제약으로 인하여 외출 시 타인의 도움이 필요한 경우가 많고, 타인의 도움을 받을 수 없는 경우 통행의 어려움으로 인해 외출을 하지 못하는 경우가 많다.
이러한 상황에서 장애인 등의 노약자가 혼자 외출을 할 수 있도록, 휠체어를 탄 사람이 탑승할 수 있는 저상버스를 도입하거나 휠체어 리프트 설치, 시각장애인을 위한 보도블럭 설치, 음성으로 신호를 알릴 수 있는 신호등, 장애인용 주차 공간 의무 확보 등과 같은 도로, 교통, 시설에 대한 투자와 노력을 계속해서 확충해 나가고 있다.
최근 실생활에서는 스마트폰과 같은 IT 기기들의 사용이 빈번할 뿐만 아니라, 스마트 워치, 스마트 밴드와 같은 웨어러블 디바이스를 일상생활이나 헬스 케어 분야 등에 적용하려는 시도가 늘고 있다.
이러한 웨어러블 디바이스를 이용하여 장애인이 신체적 한계를 극복하고 외출이나 일상 생활을 돕기 위한 장치로 활용하고, 장애인이 인지하지 못하는 위험 상황 발생 시 경고 또는 알림을 주거나, 장애인의 외출을 돕기 위하여 목적지에 도달할 수 있도록 안전한 경로를 제공 등과 같은 방안을 시도하고 있다.
다만, 상기의 방법이나 장치에도 불구하고 인도 위의 예상치 못한 장애물, 보도와 인도 사이의 단차, 신체적 장애로 인한 웨어러블 디바이스의 조작의 어려움과 같은 문제점은 여전히 존재하고 있다.
본원의 배경이 되는 기술은 한국특허공개공보 제 10-1869973 호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 외출 시에 전방의 사물을 인식하여 사물의 정보를 디스플레이에 표시하거나 스피커를 통해 음성으로 제공하고, 외부 음성을 인식하여 문자 정보로 변환하고 디스플레이에 표시하고, 사용자의 시선을 인식하여 시선 정보를 활용하여 스마트 워치의 사용자 인터페이스의 동작을 제어하는 사용자의 시선추적을 활용한 스마트 워치를 제공하는 것을 목적으로 한다.
또한, 본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자의 시선추적을 통한 시선 정보에 기초하여, 사용자 인터페이스에 포함되는 복수의 아이콘 또는 디스플레이 출력 화면을 선택하거나 제어하는 사용자의 시선추적을 활용한 스마트 워치를 제공하는 것을 목적으로 한다.
또한, 본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자의 시선추적을 통한 시선 정보에 기초하여, 사용자 인터페이스의 복수의 아이콘 중 어느 하나의 아이콘의 선택, 아이콘의 드래그 동작, 출력 화면의 확대 및 출력 화면의 축소하는 사용자의 시선추적을 활용한 스마트 워치를 제공하는 것을 목적으로 한다.
또한 본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 스마트 워치의 현재 위치 정보를 생성하고, 현재의 위치에 근접한 공공시설이나 편의시설의 정보를 디스플레이를 통해 출력하는 사용자의 시선추적을 활용한 스마트 워치를 제공하는 것을 목적으로 한다.
또한, 본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 도로시설에 센서를 설치하고, 도로시설의 정보를 수신하여, 이를 스피커를 통한 음성이나 디스플레이에 표시할 수 있는 사용자의 시선추적을 활용한 스마트 워치를 제공하는 것을 목적으로 한다.
또한, 본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자의 정보를 저장하고, 위험 판단 기준 정보에 따라 위험 상황 여부 및 위험 강도를 달리하여 위험 상황을 판단하는 사용자의 시선추적을 활용한 스마트 워치를 제공하는 것을 목적으로 한다.
또한, 본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 위험 상황 시에 사용자의 현재 위치를 데이터베이스(6)로 전송하는 사용자의 시선추적을 활용한 스마트 워치를 제공하는 것을 목적으로 한다.
또한, 본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자 휴대 단말과 통신 연결을 수행하여 사용자 정보가 사용자 단말로부터 수신되는 사용자의 시선추적을 활용한 스마트 워치를 제공하는 것을 목적으로 한다.
또한, 본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 위험 상황 시에, 위험 상황 종류와 강도를 디스플레이를 통해 문자로 출력하거나 스피커를 통해 음성으로 재생하는 사용자의 시선추적을 활용한 스마트 워치를 제공하는 것을 목적으로 한다.
또한, 본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 위험 상황 시에 위험 신호에 기초하여 진동 정보를 생성하고, 진동 정보에 따라 진동하는 사용자의 시선추적을 활용한 스마트 워치를 제공하는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들도 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 사용자의 시선 추적을 활용한 스마트 워치는, 디스플레이 및 스피커를 포함할 수 있는 본체부 및 상기 본체부와 연결되어 사용자의 손목에 착용되는 밴드부를 포함할 수 있고, 상기 본체부는, 외부 사물을 인식하여 인식된 사물의 정보를 생성하는 사물 인식부, 외부 음성을 인식하는 음성 인식부, 상기 인식된 외부 음성을 문자 정보로 변환하는 변환부, 상기 변환된 문자 정보 및 상기 스마트 워치를 제어하기 위한 사용자 인터페이스를 상기 디스플레이에 표시하고, 상기 인식된 사물의 정보를 상기 디스플레이를 통해 문자로 출력하거나 상기 스피커를 통해 음성으로 재생하는 출력부, 상기 인식된 사물의 정보와 연계하여 생성된 진동 정보에 따라 진동하는 진동부, 사용자의 시선을 인식하여 시선 정보를 생성하는 시선 정보 생성부 및 상기 시선 정보에 기초하여 상기 사용자 인터페이스의 동작을 제어하고, 상기 인식된 사물의 정보와 연계하여 상기 진동 정보를 생성하고 상기 진동 정보에 기초하여 상기 진동부를 구동하기 위한 제어 신호를 생성하는 제어부를 포함할 수 있다.
또한, 상기 제어부는 상기 시선 정보에 기초하여 상기 사용자 인터페이스에 포함될 수 있는 복수의 아이콘 또는 디스플레이 출력 화면을 선택하거나 제어하는 제어 신호를 생성할 수 있다.
또한, 상기 제어 신호는 상기 복수의 아이콘 중 어느 하나의 아이콘의 선택, 상기 아이콘의 드래그 동작, 상기 출력 화면의 확대 및 상기 출력 화면의 축소를 할 수 있다.
또한, 상기 진동 정보는 상기 진동부의 진동 패턴 및 진동의 세기에 관한 정보를 포함할 수 있고, 상기 제어부는 상기 인식된 사물의 종류 또는 이동 속도에 따라 상기 진동 패턴 및 상기 진동의 세기를 다르게 설정할 수 있다.
또한, 시선 추적을 활용한 스마트 워치는 상기 스마트 워치의 현재 위치 정보를 생성하고, 상기 현재 위치 정보에 기초하여, 사용자의 현재 위치와 근접한 공공시설 및 편의시설의 정보를 포함할 수 있는 시설 정보를 생성하는 위치 정보 생성부를 더 포함할 수 있고, 상기 출력부는 상기 디스플레이를 통해 상기 현재 위치 정보 또는 상기 시설 정보를 출력할 수 있다.
또한, 시선 추적을 활용한 스마트 워치는 도로시설에 설치된 센서로부터 상기 도로시설의 정보를 수신하는 센싱부를 더 포함할 수 있고, 상기 출력부는 상기 수신된 도로시설의 정보를 상기 디스플레이를 통해 문자로 출력하거나 상기 스피커를 통해 음성으로 재생할 수 있다.
또한, 시선 추적을 활용한 스마트 워치는 사용자 정보를 저장할 수 있는 사용자 정보 저장부 및 위험 판단 기준 정보에 따라 위험 상황 여부 및 위험 강도를 포함할 수 있는 위험 상황 판단 정보를 생성하고, 상기 위험 상황 판단 정보에 기초하여 위험 신호를 생성하는 위험 판단부를 더 포함할 수 있고, 상기 사용자 정보는 사용자의 나이, 장애 여부, 장애 종류, 보호자의 연락처 및 휠체어 탑승 여부를 포함할 수 있고, 상기 위험 판단 기준 정보는 상기 도로시설의 정보, 상기 사물의 정보 및 상기 사용자 정보를 포함할 수 있다.
또한, 상기 위치 정보 생성부는 상기 위험 신호에 기초하여 상기 스마트 워치의 현재 위치 정보를 데이터베이스로 전송할 수 있다.
또한, 시선 추적을 활용한 스마트 워치는 사용자 휴대 단말과 통신 연결을 수행하는 사용자 휴대 단말 연동부를 더 포함할 수 있고, 상기 사용자 정보는 상기 통신 연결을 통해 상기 사용자 휴대 단말로부터 수신될 수 있다.
또한, 상기 출력부는 상기 위험 신호에 기초하여 위험 상황 판단 정보를 상기 디스플레이를 통해 문자로 출력하거나 상기 스피커를 통해 음성으로 재생할 수 있다.
또한, 상기 제어부는 상기 위험 신호에 기초하여 상기 진동 정보를 생성하되, 상기 위험 상황 여부 및 상기 위험 강도에 따라 상기 진동 패턴 및 상기 진동의 세기를 다르게 설정할 수 있다.
또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 사용자의 진동을 활용한 스마트 워치는, 디스플레이 및 스피커를 포함할 수 있는 본체부 및 상기 본체부와 연결되어 사용자의 손목에 착용되는 밴드부를 포함할 수 있고, 상기 본체부는, 외부 사물을 인식하여 인식된 사물의 정보를 생성하는 사물 인식부, 외부 음성을 인식하는 음성 인식부, 상기 인식된 외부 음성을 문자 정보로 변환하는 변환부, 상기 변환된 문자 정보 및 상기 스마트 워치를 제어하기 위한 사용자 인터페이스를 상기 디스플레이에 표시하고, 상기 인식된 사물의 정보를 상기 디스플레이를 통해 문자로 출력하거나 상기 스피커를 통해 음성으로 재생하는 출력부, 상기 인식된 사물의 정보와 연계하여 생성된 진동 정보에 따라 진동하는 진동부, 사용자의 시선을 인식하여 시선 정보를 생성하는 시선 정보 생성부 및 상기 시선 정보에 기초하여 상기 사용자 인터페이스의 동작을 제어하고, 상기 인식된 사물의 정보와 연계하여 상기 진동 정보를 생성하고 상기 진동 정보에 기초하여 상기 진동부를 구동하기 위한 제어 신호를 생성하는 제어부를 포함할 수 있다.
또한, 상기 진동 정보는 상기 진동부의 진동 패턴 및 진동의 세기에 관한 정보를 포함할 수 있고, 상기 제어부는 상기 인식된 사물의 종류 또는 이동 속도에 따라 상기 진동 패턴 및 상기 진동의 세기를 다르게 설정할 수 있다.
또한, 상기 제어부는 상기 시선 정보에 기초하여 상기 사용자 인터페이스에 포함될 수 있는 복수의 아이콘 또는 디스플레이 출력 화면을 선택하거나 제어하는 제어 신호를 생성할 수 있다.
또한, 상기 제어 신호는 상기 복수의 아이콘 중 어느 하나의 아이콘의 선택, 상기 아이콘의 드래그 동작, 상기 출력 화면의 확대 및 상기 출력 화면의 축소를 할 수 있다.
또한, 진동을 활용한 스마트 워치는 상기 스마트 워치의 현재 위치 정보를 생성하고, 상기 현재 위치 정보에 기초하여, 사용자의 현재 위치와 근접한 공공시설 및 편의시설의 정보를 포함할 수 있는 시설 정보를 생성하는 위치 정보 생성부를 더 포함할 수 있고, 상기 출력부는 상기 디스플레이를 통해 상기 현재 위치 정보 또는 상기 시설 정보를 출력할 수 있다.
또한, 진동을 활용한 스마트 워치는 도로시설에 설치된 센서로부터 상기 도로시설의 정보를 수신하는 센싱부를 더 포함할 수 있고, 상기 출력부는 상기 수신된 도로시설의 정보를 상기 디스플레이를 통해 문자로 출력하거나 상기 스피커를 통해 음성으로 재생할 수 있다.
또한, 진동을 활용한 스마트 워치는 사용자 정보를 저장할 수 있는 사용자 정보 저장부 및 위험 판단 기준 정보에 따라 위험 상황 여부 및 위험 강도를 포함할 수 있는 위험 상황 판단 정보를 생성하고, 상기 위험 상황 판단 정보에 기초하여 위험 신호를 생성하는 위험 판단부를 더 포함할 수 있고, 상기 사용자 정보는 사용자의 나이, 장애 여부, 장애 종류, 보호자의 연락처 및 휠체어 탑승 여부를 포함할 수 있고, 상기 위험 판단 기준 정보는 상기 도로시설의 정보, 상기 사물의 정보 및 상기 사용자 정보를 포함할 수 있다.
또한, 상기 위치 정보 생성부는 상기 위험 신호에 기초하여 상기 스마트 워치의 현재 위치 정보를 데이터베이스로 전송할 수 있다.
또한, 진동을 활용한 스마트 워치는 사용자 휴대 단말과 통신 연결을 수행하는 사용자 휴대 단말 연동부를 더 포함할 수 있고, 상기 사용자 정보는 상기 통신 연결을 통해 상기 사용자 휴대 단말로부터 수신될 수 있다.
또한, 상기 출력부는 상기 위험 신호에 기초하여 위험 상황 판단 정보를 상기 디스플레이를 통해 문자로 출력하거나 상기 스피커를 통해 음성으로 재생할 수 있다.
또한, 상기 제어부는 상기 위험 신호에 기초하여 상기 진동 정보를 생성하되, 상기 위험 상황 여부 및 상기 위험 강도에 따라 상기 진동 패턴 및 상기 진동의 세기를 다르게 설정할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 전방의 사물을 인식하여 인식된 사물의 정보를 제공하여 사전에 장애물과의 충돌을 피하고 대처할 수 있으며, 인식된 음성을 문자 정보로 제공하여 의사소통을 원활히 할 수 있으며, 스마트 워치의 사용 및 제어가 곤란한 신체적 장애를 가지고 있는 경우에도 사용자의 시선 정보를 획득하여 사용자 인터페이스를 제어할 수 있어 사용이 편리한 사용자의 시선추적을 활용한 스마트 워치를 제공할 수 있다.
또한, 전술한 본원의 과제 해결 수단에 의하면, 인식된 사물의 정보에 포함될 수 있는 사물의 종류 또는 이동 속도에 따라 진동 패턴 및 진동의 세기를 다르게 설정할 수 있어, 사용자는 진동으로 사물의 종류 또는 속도를 빠르게 파악할 수 있다.
또한, 전술한 본원의 과제 해결 수단에 의하면, 도로시설에 센서를 설치하여 인도를 벗어나 도로에 진입하는 것을 방지하여 교통사고를 미연에 방지하고, 사용자를 안전하게 보호할 수 있다.
또한, 전술한 본원의 과제 해결 수단에 의하면, 사용자의 현재 위치에 근접한 공공시설 및 편의시설의 위치를 제공하여 사용자의 편의를 도모할 수 있다.
또한, 전술한 본원의 과제 해결 수단에 의하면, 사용자 개인의 상황에 맞게 위험 상황을 판단하고 위험 신호를 발생시켜, 사용자의 상황에 맞는 위험 신호를 제공할 수 있다.
또한, 전술한 본원의 과제 해결 수단에 의하면, 사용자의 시선 추적을 통한 시선 정보를 활용하여 사용자 인터페이스를 제어할 수 있어, 사용의 편의를 도모할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 시선 추적을 활용한 스마트 워치를 포함하는 시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 시선 추적을 활용한 스마트 워치의 진동 패턴 및 세기가 설정된 제어 신호 생성하여 시선 추적을 활용한 스마트 워치의 진동 구동을 조절하는 동작 흐름도이다.
도 3은 본원의 일 실시예에 따른 시선 추적을 활용한 스마트 워치에서 시선 정보에 기초한 제어 동작 흐름도이다.
도 4는 본원의 일 실시예에 따른 시선 추적을 활용한 스마트 워치의 본체부의 블록도이다.
도 5는 본원의 일 실시예에 따른 시선 추적을 활용한 스마트 워치의 본체부에서 위험 신호를 생성하는 과정 및 위험 신호에 따른 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본원의 일 실시예에 따른 시선 추적을 활용한 스마트 워치(1)를 포함하는 시스템의 개략적인 구성도이다. 또한, 도 4는 본원의 일 실시예에 따른 스마트 워치의 본체부의 블록도이다.
본원의 일 실시예에 따르면, 시선 추적을 활용한 스마트 워치(1)는 사용자 시선을 인식하여 시선 정보를 생성할 수 있다. 시선 추적을 활용한 스마트 워치(1)는 사용자 시선 영상을 촬영하여 사용자 영상을 획득할 수 있고, 사용자 영상을 통하여 동공 영역을 추출하고 동공의 중심 및 반사점의 중심을 이용하여 시선벡터를 산출하여 사용자의 시선 정보를 생성할 수 있다. 스마트 워치(1)는 생성된 시선 정보에 기초하여 사용자 인터페이스의 동작을 제어할 수 있다. 또한, 시선 추적을 활용한 스마트 워치(1)는 시선 정보에 기초하여 사용자 인터페이스에 포함되는 복수의 아이콘 또는 디스플레이 출력 화면을 선택하거나 제어할 수 있고, 복수의 아이콘 중 어느 하나의 아이콘의 선택, 아이콘의 드래그 동작, 출력 화면의 확대 및 출력 화면의 축소를 할 수 있다.
본원의 일 실시예에 따르면, 시선 추적을 활용한 스마트 워치(1)는 외부 사물(100)을 촬영하여, 객체 인식을 위한 영상 객체 인식 알고리즘을 통해 촬영된 영상 내에 물체를 식별하여 인식된 사물의 정보를 생성할 수 있다. 시선 추적을 활용한 스마트 워치(1)는 인식된 사물의 정보를 디스플레이(3)을 통해 표시하거나, 스피커 (113)를 통해 음성으로 재생할 수 있으며, 인식된 사물의 정보와 연계하여 진동 정보를 생성하고, 생성된 진동 정보에 기초하여 진동할 수 있다. 또한, 인식된 사물의 정보는 인식된 사물의 종류 또는 이동 속도를 포함할 수 있고, 진동 정보는 진동 패턴 및 진동 세기에 관한 정보를 포함할 수 있다. 시선 추적을 활용한 스마트 워치(1)는 인식된 사물의 정보에 포함된 인식된 사물의 종류 또는 이동 속도에 따라 진동 패턴 및 진동 세기를 다르게 설정하는 진동 정보를 생성할 수 있고, 해당 진동 정보에 따라 진동 패턴 및 진동 세기를 달리하여 진동할 수 있다.
또한, 본원의 일 실시예에 따르면, 시선 추적을 활용한 스마트 워치(1)는 외부 음성 (200)을 인식할 수 있고, 인식된 외부 음성을 음성 신호의 특징 정보를 추출하여 음성 데이터로 변환할 수 있다. 시선 추적을 활용한 스마트 워치(1)는 변환된 음성 데이터의 특징 정보를 추출하여 해당 특징에 대응하는 문자 데이터를 추출하여, 외부 음성(200)을 문자 정보로 변환할 수 있다. 시선 추적을 활용한 스마트 워치(1)는 변환된 문자 정보를 디스플레이(3)을 통해 표시하거나, 스피커(113)을 통해 음성으로 재생할 수 있다.
또한, 본원의 일 실시예에 따르면, 시선 추적을 활용한 스마트 워치(1)은 도로시설(300)에 설치된 센서를 인식하여, 도로시설의 정보를 생성할 수 있다. 시선 추적을 활용한 스마트 워치(1)는 도로시설의 정보를 디스플레이(3)를 통해 표시하거나 스피커(113)을 통해 음성으로 재생할 수 있고, 도로시설의 정보에 기초하여 진동 정보를 생성하고, 해당 진동 정보에 따라 진동할 수 있다.
또한, 본원의 일 실시예에 따르면, 시선 추적을 활용한 스마트 워치(1)은 GPS를 통해 스마트 워치의 현재 위치 정보를 생성할 수 있고, 현재 위치 정보를 통해 스마트 워치(1)내에 저장된 공공시설 및 편의시설의 정보를 검색하여, 현재 위치와 근접한 공공시설 및 편의시설의 위치 및 종류를 포함하는 시설 정보를 생성할 수 있다. 시선 추적을 활용한 스마트 워치(1)는 생성된 현재 위치 정보 또는 시설 정보를 디스플레이(3)를 통해 표시할 수 있다.
또한, 본원의 일 실시예에 따르면, 시선 추적을 활용한 스마트 워치(1)는 사용자 정보, 도로시설의 정보 및 인식된 사물의 정보에 따라 위험 상황 기준 정보를 정하고, 위험 상황 기준 정보에 따라 위험 상황 여부 및 위험 강도를 포함하는 위험 상황 판단 정보를 생성할 수 있다. 스마트 워치(1)는 생성된 위험 상황 판단 정보에 기초하여, 위험 신호를 생성할 수 있다. 위험 신호 생성 시에 위험 신호에 기초하여 현재 위치 정보를 네트워크를 통해 연결된 데이터베이스(6)로 전송할 수 있고, 데이터베이스(6)는 수신된 위험 신호에 기초한 현재 위치 정보를 구조시설(7) 및 보호자 휴대 단말(8)로 전송할 수 있다. 시선 추적을 활용한 스마트 워치(1)는 사용자 휴대 단말(9)와 통신 연결을 수행할 수 있고, 사용자 휴대 단말(9)로부터 사용자 정보를 수신하여 저장할 수 있다. 시선 추적을 활용한 스마트 워치(1)는 위험 신호 생성 시에 위험 상황 판단 정보를 디스플레이(3)을 통해 문자로 출력하거나 스피커(113)을 통해 음성으로 재생할 수 있고, 위험 상황 여부 및 위험 강도에 따라 진동 패턴 및 진동 세기를 다르게 설정된 진동 정보를 생성하여, 위험 상황 여부 및 위험 강도에 따라 진통 패턴 및 진동 세기가 설정된 진동 정보에 의해 진동 패턴 및 진동 세기를 달리하여 진동할 수 있다.
도 1 및 도4를 참조하면 스마트 워치(1)은 디스플레이(3) 및 스피커(113)를 구비한 본체부(2), 본체부(2)와 결합하여 손목에 착용할 수 있는 밴드부(4)를 포함할 수 있다.
또한, 도 1 및 도4를 참조하면 디스플레이(3) 및 스피커(113)를 구비한 본체부(2)는 사물 인식부(101), 음성 인식부(102), 변환부(103), 출력부(104), 사용자 정보 저장부(105), 시선 정보 생성부(106), 위험 판단부(107), 제어부(108), 사용자 휴대 단말 연동부(109), 위치 정보 생성부(110), 진동부(111) 및 센싱부(112)를 포함할 수 있다.
본원의 일 실시예에 따르면, 디스플레이(3)는 아래에서 설명하는 인식된 사물의 정보, 도로시설의 정보, 위험 상황 판단 정보 등을 표시할 수 있다. 예를 들어, 디스플레이(3)는 변환된 문자 정보 등을 표시하기 위한 것으로, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode) 방식일 수 있고, 이외의 다양한 디스플레이 방식으로 구현될 수 있다.
본원의 일 실시예에 따르면, 스피커(113)는 아래에서 설명하는 변환된 문자 정보, 인식된 사물의 정보, 도로시설의 정보, 위험 신호 등을 음성으로 재생할 수 있다. 또한, 스피커(113)는 본체부(2)에 직접 설치되는 방식으로 제한되지 않고, 출력부(104)와 무선 통신을 통하여 연결되어 본체부(2)와 이격되어 별도로 설치되는 스피커를 통하여 음성 정보가 출력되는 방식도 적용될 수 있으며, 무선 통신을 통하여 연결되는 스피커로는 사용자가 착용하는 보청기, 이어폰, 헤드셋 등의 무선 통신을 통하여 음성 재생 가능한 장치를 포함할 수 있다.
본원의 일 실시예에 따르면, 사물 인식부(101)는 외부 사물을 인식하여 인식된 사물의 정보를 생성할 수 있다. 사물 인식부는(101) 외부 영상을 촬영하고, 촬영된 영상 내 특정 물체인 외부 사물(100)을 인식하며, 인식된 결과에 따라 주변 환경에 대한 정보를 음성 재생 또는 디스플레이(3)에 표시하기 위한 인식된 사물의 정보를 생성할 수 있다. 사물 인식부(101)는 영상 촬영을 위한 장치(예를 들어, 카메라 모듈)를 포함할 수 있다. 또한, 촬영된 영상 내의 사물을 인식하기 위한 처리 과정을 수행하는 영상 처리 모듈까지 포함하는 개념일 수 있다. 해당 처리 과정에 해당하는 영상 객체 인식 알고리즘은 기공지된 다양한 방식이 이용될 수 있다.
예를 들어, 객체 인식을 위한 특징 추출 방법에는 객체의 국소 특징(local feature)을 추출하고, 객체 데이터베이스 모델과의 대응을 위해 객체 데이터베이스 내 객체의 특징들과 대상 객체의 국소 특징들을 비교하는 기법이 포함 될 수 있다. 이러한 국소 특징 추출 기법은 객체의 국소적인 특징을 이용하기 때문에 객체의 자세(pose), 모양,(shape), 크기(size), 가려짐(occlusion) 등의 변수가 있는 상황에서도 객체를 인식할 수 있는 장점이 있다.
한편, 종래의 국소 특징 추출 기법으로는 종래의 국소 특징 추출 기법으로는, "Harris detector, Harris Laplace detector, Hessian Laplace, Harris/Hessian Affine detector, Uniform detector, Shape Contexts, Image Moments, Gradient Location and Orientation Histogram, Geometric Blur, SIFT(Scale-invariant feature transform), SURF(Speeded Up Robust Features)" 등이 있다.
영상 촬영을 위한 장치는 사물 인식부(101)에 포함되는 구성으로 본체부(2)에 장착되어 외부 사물을 인식하기 위하여 영상을 촬영할 수 있으나, 이에 한정되지 않는다. 구체적으로, 사용자 외부 사물을 촬영하기 위하여 안경, 고글, 머리에 착용 가능한 기구, 귀걸이 등에 사용자 전방 영상 촬영을 위한 장치가 포함될 수 있다. 이러한 영상 촬영 장치는 사물 인식부(101)와 유무선 통신을 통하여 연결되고, 유무선 통신을 통하여 촬영된 영상 정보를 송신할 수 있다. 사물 인식부(101)는 유무선 통신을 통하여 수신된 영상 정보를 촬영된 영상 내의 사물을 인식하기 위한 처리 과정을 거쳐 인식된 사물의 정보를 생성할 수 있다.
본원의 일 실시예에 따르면, 음성 인식부(102)는 외부 음성(200)을 인식할 수 있다. 음성 인식부(102)는 외부 음성(200)을 인식하기 위한 마이크를 포함할 수 있다. 예를 들어, 음성 인식부(102)에 포함될 수 있는 마이크는 무지향마이크(nondirectional mic), 단일지향성마이크(unidirectional mic), 초단일지향성마이크, 원거리 줌(zoom) 마이크일 수 있으나, 이에 한정되지는 않는다.
본원의 일 실시예에 따르면, 변환부(103)는 인식된 외부 음성을 문자 정보로 변환할 수 있다. 변환부(103)는 인식된 음성 신호의 특징 정보를 추출하여 음성 데이터로 변환할 수 있다. 예를 들어, 음성 인식부(102)를 통하여 인식된 음성 정보를 비트 데이터로 변환시킬 수 있고, 인식된 음성 정보의 특징을 추출하여 다른 아날로그 신호로 변환시킬 수도 있다.
또한, 변환부(103)는 변환된 음성 데이터의 특징 정보를 추출하여 해당 특징에 대해서 상응하는 문자 데이터를 추출하여 문자 정보로 변환할 수 있다. 변환된 음성 데이터의 특징으로는 음성 신호의 피치 또는 에너지 등을 들 수 있다. 변환부(103)는 음성 데이터의 특징을 이용하고 미리 저장된 각 음성 데이터의 특징에 상응하는 문자 데이터를 참조하여 음성 데이터에 상응하는 문자 정보를 추출 및 생성할 수 있다.
추가로, 변환부(103)에서는 음성 데이터의 신뢰도 평가를 수행하여 정확도를 높일 수 있다. 구체적으로, 인식된 음성 신호가 여러 후보의 음성 데이터 특징에 상응할 수 있을 때 여러 후보 중 가장 신뢰도가 높은 문자를 택할 수 있다. 여러 개의 음성 수신 기기를 통하여 음성을 받을 경우, 각각의 기기에서 발화자와의 거리나 방향에 따라 변환된 텍스트가 다를 수 있는데, 이 때 우선 순위는 각각의 기기가 변환한 결과에 대한 최고 신뢰도 값이 높은 문자를 선택할 수 있다.
본원의 일 실시예에 따르면, 출력부(104)는 변환된 문자 정보 및 스마트 워치를 제어하기 위한 사용자 인터페이스를 디스플레이(3)에 표시하고, 인식된 사물의 정보를 디스플레이(3)를 통해 문자로 출력하거나 스피커(113)를 통해 음성으로 재생할 수 있다. 예를 들어, 외부 음성(200)이 "안녕하세요."에 해당하는 경우, 해당 음성을 문자 정보로 변환하고, 변환된 문자 정보인 "안녕하세요."를 디스플레이(3)에 표시할 수 있다.
또한, 스마트 워치의 제어를 위한 사용자 인터페이스를 표시할 수 있고, 인식된 사물의 정보를 "전방 5m 앞 가로수"와 같은 문자의 형태로 디스플레이(3)에 표시하거나 스피커(113)를 통해 음성으로 재생할 수 있다.
본원의 일 실시예에 따르면, 시선 정보 생성부(106)는 사용자의 시선을 인식하여 시선 정보를 생성할 수 있다. 시선 정보 생성부(106)는 사용자 시선 영상(예를 들어, 홍채 인식)을 촬영하는 영상 획득을 위한 모듈과 촬영한 영상을 분석하여 시선 정보를 생성하는 사용자 영상 처리 프로세서 모듈을 포함할 수 있다. 영상 획득을 위한 모듈은 사용자 시선 영상을 촬영하기 위한 카메라와 조명 및 반사체를 포함할 수 있다. 예를 들어, 카메라가 본체 외부에 설치되어 사용자의 얼굴 또는 눈동자를 향하게 하여 영상을 획득할 수 있고, 카메라는 CCD(charge coupled device) 영상센서(image sensor), CMOS(complementary metal oxide semiconductor), 영상센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서 등과 같은 영상센서들 중 어느 하나 이상의 영상센서로 구현될 수 있다.
또한, 조명은 적외선을 발산하는 램프 또는 발광다이오드(LED) 등의 광원으로 구성될 수 있고, 반사체는 조명을 통한 광원의 반사광이 사용자의 눈에 도달하도록 재료, 크기 및 위치를 결정할 수 있다.
사용자 영상 처리 프로세서 모듈은 카메라를 통하여 촬영된 영상을 통하여 동공 영역을 추출하고 동공의 중심 및 반사점의 중심을 이용하여 시선벡터를 산출하여 사용자의 시선 정보를 생성할 수 있다. 예를 들어, 사용자 영상 처리 프로세서 모듈은 프로젝션 히스토그램 등의 영상처리기법을 사용하여 동공 영역을 추출할 수 있고, 호프 변환(Hough Transformation)이나 동적윤곽선(active contour) 모델 및 좌표평균법(coordinate averaging) 등의 원이나 타원을 찾는 알고리즘들을 수행하여 동공 중심을 검출할 수 있다. 사용자 영상 처리 프로세서 모듈은 동공 주위에서 반사광에 의한 반사점을 검출할 수 있고, 프로젝션 히스토그램 및 경계 검출 등과 같은 영상처리기법을 사용하여 반사점의 중심을 검출할 수 있고, 동공의 중심 및 반사점의 중심을 이용하여 시선벡터를 산출하여, 사용자의 시선 정보를 생성할 수 있다.
본원의 일 실시예에 따르면, 진동부(111)는 인식된 사물의 정보와 연계하여 생성된 진동 정보에 따라 진동할 수 있다. 제어부(108)는 인식된 사물의 정보에 따라 진동 정보를 생성하고, 진동 정보에 기초하여 진동부를 구동하기 위한 제어 신호를 생성할 수 있다. 제어부(108)에서 진동 정보에 따라 생성된 제어 신호에 의해 진동부(111)은 진동할 수 있다.
특히, 진동 정보는 후술하는 바와 같이 인식된 사물의 정보, 도로 시설의 정보, 위험 신호에 기초하여 생성될 수 있다. 인식된 사물의 정보는 인식된 사물의 종류 및 이동 속도를 포함할 수 있다. 도로 시설의 정보는 도로시설(300)의 종류, 스마트 워치(1)와의 거리 및 위치, 도로시설(300)로의 접근 속도 등을 포함할 수 있으며, 위험 신호는 위험 상황 여부 및 위험 강도를 포함하는 위험 상황 판단 정보에 기초하여 생성될 수 있다.
본원의 일 실시예에 따르면, 제어부(108)는 시선 정보에 기초하여 사용자 인터페이스의 동작을 제어하는 제어 신호를 생성할 수 있다. 제어부(108)은 인식된 사물의 정보와 연계하여 진동 정보를 생성하고 진동부(111)를 구동하기 위한 제어 신호를 생성할 수 있다.
또한, 제어부(108)는 인식된 사물의 종류 또는 이동 속도에 따라 진동 패턴 및 진동의 세기를 다르게 설정할 수 있다. 후술하는 바와 같이, 제어부(108)는 도로시설(300)의 정보에 기초하여 진동 패턴 및 진동 세기를 달리하는 진동 정보를 생성할 수 있다. 또한, 제어부(108)는 위험 신호에 기초하여 진동 패턴 및 진동 세기를 달리하는 진동 정보를 생성하여 진동부(111)의 진동을 제어할 수 있는 제어신호를 생성할 수 있다.
제어부(108)는 인식된 사물의 정보와 연계하여 진동 정보를 생성할 수 있고, 진동 정보에 기초하여 진동부(111)을 구동하는 제어 신호를 생성할 수 있다. 예를 들어, 사물 인식부(101)을 통하여 전방에 사물이 인식된 경우, 제어부(108)는 진동 정보를 생성하고, 진동 정보에 따라 진동부(111)를 구동하는 제어 신호를 생성함으로써, 인식된 사물의 정보와 연계하여 생성된 진동 정보에 따라 진동할 수 있다.
특히, 진동 정보는 진동부(111)의 진동 패턴 및 진동의 세기에 관한 정보를 포함할 수 있고, 제어부(108)는 인식된 사물의 종류, 사물의 크기 또는 이동 속도 중 적어도 어느 하나에 따라 진동 패턴 및 진동의 세기를 다르게 설정할 수 있다. 예를 들어, 인식된 사물의 종류가 자동차와 같이 충돌의 위험이 크고 충돌 시 위험 정도가 큰 물체이고, 물체가 사용자에게 접근하는 이동 속도가 빠른 경우, 즉각 진동 발생하여 해당 물체가 지나갈 때까지 계속해서 높은 강도로 진동하도록 진동 패턴 및 진동 세기를 설정할 수 있다. 반면, 인식된 사물의 종류가 가로수와 같은 물체에 해당하고, 고정된 물체이거나 접근하는 속도가 느린 경우에는 사용자와의 거리에 따라 약하고 단시간 동안 진동하도록, 예를 들면 10m, 5m, 1m 전방에서 0.1초간 약한 진동 세기로 진동하도록 진동 패턴 및 진동 세기를 설정할 수 있다. 이와 같이, 제어부(108)는 인식된 사물의 종류 또는 이동 속도에 따라 진동 패턴 및 진동의 세기를 다르게 설정할 수 있고, 진동 패턴 및 진동 세기에 관한 정보를 포함할 수 있는 진동 정보에 따라 제어 신호를 생성할 수 있다.
또한, 본원의 일 실시예에 따르면, 제어부(108)는 시선 정보에 기초하여 사용자 인터페이스의 동작을 제어할 수 있다. 예를 들어, 스마트 워치 대기 상태에서 시선 정보 입력되는 경우 디스플레이(3)에 전원을 공급하거나, 설정된 시간 이상 시선 정보가 입력되지 않는 경우 디스플레이(3)을 대기 상태로 전환할 수 있다.
또한, 본원의 일 실시예에 따르면, 제어부(108)는 시선 정보에 기초하여 사용자 인터페이스에 포함되는 포함되는 복수의 아이콘 또는 디스플레이(3) 출력화면을 선택하거나 제어하는 제어 신호를 생성할 수 있다. 예를 들어, 제어부(108)는 시선 정보에 기초하여 사용자 인터페이스 동작을 제어하고, 변환된 문자 정보를 디스플레이(3) 출력 여부, 인식된 사물 정보를 음성으로의 재생 여부, 도로시설 설치 센서 인식 기능 사용여부 등을 선택하거나 제어할 수 있다.
또한, 제어 신호는 사용자 인터페이스에 포함되는 복수의 아이콘 중 어느 하나의 아이콘의 선택, 아이콘의 드래그 동작, 출력 화면의 확대 및 출력 화면의 축소하는 것을 포함할 수 있다.
예를 들어 특정 아이콘의 위치에 시선 정보가 1초 이상 머무르고 빠르게 2회 눈을 깜빡이는 경우 특정 아이콘을 선택하는 동작으로 인식할 수 있고, 문자 정보 출력 화면과 같은 특정 정보의 출력화면에서 빠르게 2회 눈을 깜빡이는 경우 설정된 순서에 따라 인식된 사물 정보, 도로시설 정보 등의 출력 화면 결과로 전환하는 동작으로 인식할 수 있다. 특정 아이콘의 위치에 시선 정보가 1초 이상 머무르고 빠르게 3회 눈을 깜빡이는 경우, 이후 이동하는 시선 정보의 위치로 해당 아이콘을 드래그할 수 있고 다시 1초 이상 눈을 감았다가 뜨는 경우 아이콘 드래그를 종료할 수 있다. 확대하고자 하는 출력 화면의 중심 지점을 바라보다가 1초 이상 눈을 감았다가 뜨는 경우, 설정된 화면 확대 주기 및 비율에 따라 점차 출력 화면을 확대하고, 다시 1초 이상 눈을 감았다가 뜨는 경우 출력 화면 확대가 멈추어, 확대하고자 하는 중심 지점을 중심으로 화면을 확대할 수 있고, 출력 화면 확대와 유사하게 축소하고자 하는 출력 화면의 중심 지점을 바라보다가 빠르게 눈은 1회 깜빡인 후, 1초 이상 눈을 감았다가 뜨는 경우, 설정된 화면 축소 주기 및 비율에 따라 점차 출력 화면을 축소하고, 다시 1초 이상 눈을 감았다가 뜨는 경우 출력 화면 축소가 멈추어, 축소하고자 하는 중심 지점을 중심으로 화면을 축소 할 수 있다.
본원의 일 실시예에 따르면, 위치 정보 생성부(110)는 스마트 워치(1)의 현재 위치 정보를 생성할 수 있고, 현재 위치 정보에 기초하여 사용자의 현재 위치와 근접한 공공시설 및 편의시설의 정보를 포함하는 시설 정보를 생성할 수 있다. 위치 정보 생성부(110)는 위치 정보 생성부(110)에 포함되는 GPS 센서로부터 획득된 스마트 워치(1)의 현재 위치 정보를 생성할 수 있다. 위치 정보 생성부(110)는 공공시설의 위치 및 편의시설의 위치에 관한 정보를 저장할 수 있고, 현재 위치와 근접한 공공시설 및 편의시설을 저장된 정보 내에서 선택하고, 선택된 공공시설 및 편의시설의 정보를 포함할 수 있는 시설 정보를 생성할 수 있다. 위치 정보 생성부(110)에서 생성된 현재 위치 정보 또는 시설 정보는 출력부(104)를 통해 디스플레이(3)에 표시할 수 있다. 또한, 위치 정보 생성부(110)는 후술하는 내용과 같이 위험 판단부(107)에서 위험 신호를 생성하는 경우 현재 위치 정보를 데이터베이스(6)로 전송할 수 있고, 데이터베이스(6)는 현재 위치 정보를 소방서와 같은 구조시설(7) 및 보호자 휴대 단말(8)로 전송할 수 있다.
본원의 일 실시예에 따르면, 센싱부(112)는 도로시설(300)에 설치된 센서로부터 도로시설의 정보를 수신할 수 있다. 센싱부(112)를 통해 수신된 도로시설의 정보는 출력부(104)를 통해 디스플레이(3)에 문자로 표시하거나 스피커(113)를 통해 음성으로 재생할 수 있다. 또한, 제어부(108)는 수신된 도로시설의 정보에 기초하여 진동 정보를 생성할 수 있다. 도로시설의 정보는 도로 시설의 종류, 스마트 워치와의 거리 및 위치, 도로시설(300)로의 접근 속도를 포함할 수 있다.
센서가 설치될 수 있는 도로시설(300)의 종류로는 차량 진입 금지봉, 횡단보도 경사석, 차도 경사석 등이 포함될 수 있다. 도로시설의 정보에는 설치된 도로시설(300)의 종류, 스마트 워치와의 거리 및 위치, 도로시설(300)로의 접근 속도를 포함할 수 있다. 도로시설(300)에 설치되는 센서로는 RFID(Radio-Frequency Identification)와 같은 센서가 설치될 수 있다.
출력부(104)는 도로시설의 정보를 디스플레이(3)에 표시하거나 스피커(113)를 통해 음성으로 재생할 수 있다. 예를 들어, "전방 10m 신호등" "전방 2m 차도"와 같은 문자를 디스플레이(3)에 표시하거나, 스피커(113)를 통해 음성으로 재생할 수 있다.
제어부(108)는 도로 시설의 정보에 기초하여 사용자의 현재 위치 및 도로 시설을 파악하고 현재 위치 및 도로 시설의 정보에 기초하여 진동 정보를 생성할 수도 있다. 예를 들어, 신호등에 센서가 설치된 경우, 사용자가 신호등 근처로 접근하여 스마트 워치(1)가 신호등에 설치된 센서를 인식하는 경우, 낮은 강도로 길게 진동하는 진동 패턴 및 진동 세기로 진동부(111)가 진동하도록 할 수 있고, 도로 경계석에 설치된 센서를 인식하고 센서로부터 파악되는 사용자의 위치가 차도 상에 있는 경우, 즉각 진동하여 차도를 벗어날 때까지 높은 진동 세기로 진동하도록 진동 패턴 및 진동 세기를 설정하는 경우와 같이, 도로 시설의 정보에 기초하여 진동 정보를 생성할 수 있다.
본원의 일 실시예에 따르면, 사용자 정보 저장부(105)는 스마트 워치(1)를 통하여 수신되는 사용자 정보를 저장할 수 있고, 저장되는 사용자 정보의 예로는 사용자의 나이, 장애 여부, 장애 종류, 보호자의 연락처 및 휠체어 탑승 여부를 포함할 수 있다. 사용자 정보 저장부(105)에 포함될 수 있는 저장 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 하드웨어 장치가 포함되나, 이에 한정되지는 않는다.
본원의 일 실시예에 따르면, 사용자 휴대 단말 연동부(109)는 사용자 휴대 단말(9)과 통신 연결을 수행할 수 있고, 통신 연결을 통하여 사용자 정보를 수신하고 사용자 정보 저장부(105)에 사용자 정보를 저장할 수 있다. 사용자 휴대 단말(9)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다. 통신 연결은 아래에서 설명하는 네트워크를 포함하고, RFID, NFC 등과 같은 근거리 무선 통신 기술도 포함될 수 있다.
본원의 일 실시예에 따르면, 위험 판단부(107)는 위험 판단 기준 정보에 따라 위험 상황 여부 및 위험 강도를 포함하는 위험 상황 판단 정보를 생성하고, 위험 상황 판단 정보에 기초하여 위험 신호를 생성할 수 있다.
구체적으로, 위험 판단 기준 정보는 사용자의 나이, 장애 여부, 장애 종류, 보호자의 연락처 및 휠체어 탑승 여부를 포함할 수 있는 사용자 정보, 센싱부(112)에서 생성된 도로시설의 정보 및 사물 인식부(101)를 통하여 인식된 사물의 정보를 포함할 수 있고, 위험 판단 기준 정보에 따라 위험 상황인지 여부 및 위험 강도를 판단한다.
예를 들어, 사용자 정보 내에 저장된 사용자의 장애 유형이 시각 장애인인 경우, 인식된 사물의 정보를 통하여 자동차, 자전거와 같은 사물이 설정된 한계 속도를 초과하여 사용자에게 근접하고, 설정된 허용 근접 거리 이내로 접근한 경우(자동차로 인식된 사물이 시속 60km 이상의 속력으로 5m이내로 접근한 경우) 위험 상황으로 분류할 수 있고, 시각 장애인의 경우 청각 장애인인 경우보다 자동차를 인식하고 위험에 대처하기 힘든바, 위험 강도를 높게 설정할 수 있다.
또한, 장애 유형이 시각 장애인이고 도로시설 정보를 통하여 현재 사용자의 위치가 차도에 위치한 것으로 인식된 경우, 다른 장애 유형에 비하여 사용자가 차도 상에 위치하고 있음을 인지하기 힘들기 때문에, 위험 상황으로 분류할 수 있고 위험 강도를 높게 설정할 수 있다.
장애 유형이 청각 장애인인 경우, 음성 인식부(102)를 통하여 입력되는 소리의 크기가 설정된 소리의 크기 이상이고, 변환된 음성 정보의 특징이 폭발음, 사이렌, 화재 경보기 동작 소리 등의 특징을 갖는 경우에는 사용자의 주위에 폭발이 발생하거나 화재 경보 등이 동작하고 있음에도 이를 인지하지 못할 가능성이 다른 유형의 장애를 가지고 있는 사람보다 높기 때문에, 해당 상황을 위험 상황으로 분류하고 위험 강도를 다른 유형의 장애를 가지고 있는 경우보다 높게 설정할 수 있다.
본원의 일 실시예에 따르면, 위험 판단부(107)를 통해 위험 신호를 생성하는 경우에 위치 정보 생성부(110)는 위험 신호에 기초하여 스마트 워치의 현재 위치 정보를 데이터베이스(6)로 전송할 수 있다. 데이터베이스(6)는 네트워크(5)를 통해 스마트 워치와 통신할 수 있고, 보호자의 연락처를 포함하는 사용자 정보를 저장할 수 있다. 위험 신호에 기초하여 스마트 워치의 현재 위치 정보를 데이터베이스(6)로 전송하는 경우, 데이터베이스(6) 내에 저장된 소방서와 같은 구조시설(7)의 위치 정보를 통하여, 사용자와 가장 근접한 구조시설(7)에 해당 위험 상황 판단 정보를 포함하는 위험 신호 및 현재 위치 정보를 전송하고, 저장된 보호자의 연락처를 이용하여 보호자 휴대 단말(8)로 동일한 정보를 전송할 수 있다.
또한, 모든 위험 신호 발생 시 사용자의 현재 위치 정보를 데이터베이스(6)로 전송하여 구조시설(7) 및 보호자 휴대 단말(8)에 현재 위치 정보를 전송하지 않고, 특정한 상황 또는 설정한 상황에 대해서만 현재 위치 정보를 전송할 수 있다.
예를 들어, 현재 위치 정보를 전송하기로 설정한 위험 상황 여부에 해당하고 판단한 위험 강도가 설정한 위험 강도 이상인 경우에만 현재 위치 정보를 데이터베이스(6)로 전송하도록 할 수 있다. 또한, 위험 신호 발생 이후 일정 시간 이상 사용자가 스마트 워치를 조작하거나 동작하는 움직임이 없거나, 위험 신호 발생 이후 일정 시간동안 사용자의 위치 변화가 없는 경우, 또는 사용자에게 위치 전송 여부를 확인하는 디스플레이(3) 표시하거나 음성을 재생하고, 이후 사용자가 이를 취소하지 않는 경우에만 현재 위치 정보를 전송하는 방법 등으로 특정한 상황 또는 설정한 상황에 대해서만 현재 위치 정보를 데이터베이스(6)로 전송할 수 있다.
특정한 상황 또는 설정한 상황에 대해서만 위험 신호에 기초한 현재 위치 정보를 데이터베이스(6)로 전송하고 구조시설(7) 및 보호자 휴대 단말(8)에 현재 위치 정보를 전송하여, 실제로 사용자가 위험에 빠진 경우에만 신호를 전송하도록 하여 위험 상황 신호의 신뢰성을 높일 수 있다.
스마트 워치(1), 데이터베이스(6), 구조 시설(7), 보호자 휴대 단말(8), 사용자 휴대 단말(9)은 네트워크(5)를 통해 상호간에 통신할 수 있다. 네트워크(5)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(5)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
데이터베이스(6)는 네트워크를 통하여 시선 추적을 활용한 스마트 워치(1), 구조시설(7), 보호자 휴대 단말(8) 및 사용자 휴대 단말(9)과 통신 연결할 수 있고, 사용자 정보와 같은 정보를 저장할 수 있는 장치이다. 예를 들어 데이터베이스 서버 또는 클라우드 서버와 같은 장치가 데이터베이스로 사용될 수 있다.
구조시설(7)은 사용자의 현재 위치 정보와 위험 정보를 수신하여, 구조 및 구호 활동을 할 수 있는 시설로, 예를 들면 소방서와 같은 시설이 포함될 수 있다.
보호자 휴대 단말(8)은 네트워크(5)를 통하여 데이터베이스(6)와 무선 통신할 수 있고, 데이터베이스(6)로부터 스마트 워치(1)의 현재 위치 정보를 전송 받을 수 있다. 보호자 휴대 단말(8)은, 전술한 사용자 휴대 단말(9)과 같이 스마트폰 등이 포함될 수 있으나, 이에 한정되지는 않는다.
본원의 일 실시예에 따르면, 출력부(104)는 위험 신호에 기초하여 위험 상황 판단 정보를 디스플레이(3)를 통해 문자로 출력하거나 스피커(114)를 통해 음성으로 재생할 수 있다.
예를 들어, 출력부(104)는 위험 상황 판단 정보의 위험 상황 여부 및 위험 강도를 사용자 정보, 인식된 사물의 정보, 도로시설의 정보를 고려하여 위험 신호를 표시하는 출력 화면의 밝기를 최대로 하고, 내용이 점멸하는 방식 등으로 하여 디스플레이(3) 표시 방법을 조절하거나 음성 재생 음량을 크기를 조절하는 방식으로 위험 상황 여부 및 위험 강도에 따라 위험 신호의 출력을 달리하여 위험 상황을 알릴 수도 있다.
본원의 일 실시예에 따르면, 제어부(108)는 위험 신호에 기초하여 진동 정보를 생성할 수 있다. 제어부(108)는 위험 판단부(107)의 위험 신호에 기초하여 진동 정보를 생성하고, 해당 진동 정보에 기초하여 진동부(111)를 구동하기 위한 제어 신호를 생성하여 진동부(111)를 구동할 수 있다.
특히, 제어부(108)는 위험 신호에 기초하여 진동 정보를 생성할 수 있고, 생성된 진동 정보는 위험 상황 여부 및 위험 강도에 따라 진동 패턴 및 진동 세기를 다르게 설정될 수 있다. 제어부(108)는 진동 패턴 및 진동의 세기에 관한 정보를 포함하는 진동 정보에 따라 진동부(111)의 진동 패턴 및 진동의 세기를 달리하여 구동할 수 있는 제어 신호를 생성하여 다양한 패턴 및 세기로 진동부(111)가 진동하도록 할 수 있다.
예를 들어, 인식된 사물의 정보가 자전거나 자동차와 같이 충돌의 위험이 상대적으로 큰 사물이고 빠른 속도로 접근 중이며, 사용자가 시각 장애인인 경우, 시각 장애인이 해당 위험 상황을 미리 인지하고 대처하기 힘들고 사고의 위험이 높으므로, 위험 상황 여부에 해당하고 위험 강도를 높게 판단할 수 있다. 따라서, 진동부(111)를 높은 출력의 진동으로, 즉각적이고 계속적으로 진동하도록 하는 진동 정보를 생성하여 진동부를 구동할 수 있다. 또한, 인식된 사물의 정보를 통해 인식된 사물이 고정된 가로수와 같은 물체일 경우 충돌의 위험이 있어 위험 상황에는 해당하나 위험 강도는 낮으므로, 해당 물체와의 거리에 따라 약한 진동을 짧은 시간 동안, 낮은 빈도로 진동하도록, 예를 들면 물체와의 거리가 10m, 5m, 1m일 때 0.1초 동안 약한 세기로 진동하도록 하여 사용자가 물체와의 충돌을 피하고 대처할 수 있도록 할 수 있다.
또한, 사용자에게 즉각적으로 위험 신호를 알리고 위험 상황을 쉽게 인지하게 하기 위하여, 유무선 통신으로 동기화 된 다른 진동기기에 진동 신호를 전달할 수도 있다. 통상적인 스마트 워치(1)의 경우, 위험 신호 외에도 메시지 도착, 전화 수신 등 다른 알림 기능을 원인으로 스마트 워치(1)가 진동할 수도 있기 때문에 위험 상황을 알리는 진동의 식별성을 높이기 위해서, 사용자의 팔뚝에 착용하는 밴드 형태의 진동기기, 사용자의 허리에 착용하는 허리띠 형태의 진동기기, 발목에 착용할 수 있는 진동기기 등 사용자가 즉각 진동을 인지할 수 있는 진동기기를 추가할 수 있다.
추가된 진동기기는 스마트 워치(1)와 유무선 통신으로 위험 신호 발생시에만 즉각적으로 진동하도록 설정할 수 있고, 사용자는 스마트 워치 이외의 진동기기에서 진동 발생 시 즉각적으로 위험 상황에 해당함을 인지할 수 있도록 할 수 있다.
본원의 일 실시예에 따르면, 밴드부(4)는 본체부(2)와 연결되어 사용자의 손목에 착용할 수 있도록 하는 것으로, 가죽이나 합성 고무와 같은 재질이 사용될 수 있으나 이에 한정되지 않는다. 또한, 스마트 워치는 통상 손목에 착용하는 것으로 밴드부(4)의 형태는 통상적인 손목 시계의 밴드의 형태를 가질 수 있으나, 이에 한정되지 않고 허리, 팔뚝, 발목에 착용하는 형태, 목걸이나 반지의 형태 등 다양한 신체 부위에 착용할 수 있도록 형태를 달리할 수 있다.
도 2는 본원의 일 실시예에 따른 스마트 워치의 진동 패턴 및 세기가 설정된 제어 신호 생성하여 스마트 워치의 진동 구동을 조절하는 동작 흐름도이다. 도2에 도시된 스마트 워치의 진동 패턴 및 세기가 설정된 제어 신호 생성하여 스마트 워치의 진동 구동을 조절하는 프로세스는 앞서 도 1 및 도 4를 참조하여 설명된 스마트 워치(1)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 스마트 워치(1)에 대하여 설명된 내용은 이하의 설명에도 동일하게 적용될 수 있다.
도 2를 참조하면, S210단계에서 제어부(108)는 인식된 사물의 정보 및 위험 신호에 따라 진동 정보를 생성한다. 생성된 진동 정보는 진동 패턴 및 진동의 세기에 관한 정보를 포함할 수 있다. 인식된 사물의 정보에는 인식된 사물의 종류 및 이동 속도가 포함될 수 있고, 위험 신호는 위험 상황 판단 정보에 기초하고, 위험 상황 판단 정보는 위험 상황 여부 및 위험 강도를 포함할 수 있다.
다음으로 S220단계에서 제어부(108)는 단계S210에서 생성된 진동 정보에 기초하여 진동 패턴 및 진동 세기 설정을 달리하여 진동부(111)을 구동하는 제어 신호를 생성할 수 있다.
다음으로S230단계에서는 진동부(111)는 제어 신호에 따라 설정된 진동 패턴 및 진동 세기를 달리하여 진동하게 된다. 사용자는 다양한 진동 패턴 및 진동 세기를 가진 진동을 통해서 위험 상황의 종류, 위험 정도 등을 즉각적으로 인지하고 대처할 수 있다.
도 3은 본원의 일 실시예에 따른 스마트 워치에서 시선 정보에 기초한 제어 동작 흐름도이다.
도3을 참조하면, 단계S310에서 시선 추적을 활용한 스마트 워치(1)에 사용자의 시선 정보가 입력되면, 시선 정보 생성부(106)는 사용자의 시선 영상을 촬영하고 촬영된 영상을 처리하여 시선 정보가 생성된다. 도3에 도시된 스마트 워치에서 시선 정보에 기초한 제어 동작 프로세스는 앞서 도 1 및 도 4를 참조하여 설명된 스마트 워치(1)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 스마트 워치(1)에 대하여 설명된 내용은 이하의 설명에도 동일하게 적용될 수 있다.
다음으로 단계S320에서 시선 정보 생성부(106)는 사용자의 시선 정보가 사용자 인터페이스를 동작하기 위한 입력에 해당하는지 판단하기 위해, 해당 시선정보가 디스플레이 화면 특정 위치에 1초 이상 인식되는지 판단할 수 있다.
다음으로 단계S330에서 시선 정보 생성부(106)는 사용자의 시선 정보가 사용자 인터페이스를 동작하기 위한 입력 중에서 어떤 동작에 해당하는지 판단 하기 위해, 눈 깜빡임 횟수 및 눈 감은 시간을 판단할 수 있다. 아이콘 선택 입력에 해당하는 경우 단계S340, 출력 화면 전환 입력에 해당하는 경우 단계S350, 출력 화면 확대 시작 입력에 해당하는 경우 단계S360, 출력 화면 축소 시작 입력에 해당하는 경우 단계S370으로 각각 동작이 진행된다.
다음으로 단계S340에서는 제어부(108)에서 사용자 인터페이스에서 해당 아이콘을 선택하는 제어 신호가 발생하고, 단계S350에서는 제어부(108)에서 출력 화면 전환하는 제어 신호가 발생하고, 단계S360에서는 제어부(108)에서 출력 화면을 설정된 출력 화면 확대 비율 및 주기로 확대하는 제어 신호가 발생하고, 단계S370에서는 제어부(108)에서 출력 화면을 설정된 출력 화면 축소 비율 및 주기로 축소하는 제어 신호가 발생한다.
다음으로, 단계S380에서는 시선 정보 생성부(106)에서 출력 화면 확대 종료 신호에 해당하는 시선 정보 생성되면, 제어부(108)는 출력 화면 확대를 종료한다. 단계S390에서는 시선 정보 생성부(106)에서 출력 화면 축소 종료 신호에 해당하는 시선 정보 생성되면, 제어부(108)는 출력 화면 축소를 종료한다.
도 5는 본원의 일 실시예에 따른 시선 추적을 활용한 스마트 워치(1)의 본체부(2)에서 위험 신호를 생성하는 과정 및 위험 신호에 따른 동작 흐름도이다. 도5에 도시된 스마트 워치의 본체부에서 위험 신호를 생성하는 과정 및 위험 신호에 따른 동작 프로세스는 앞서 도 1 및 도 4를 참조하여 설명된 스마트 워치(1)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 스마트 워치(1)에 대하여 설명된 내용은 이하의 설명에도 동일하게 적용될 수 있다
도 5를 참조하면, 단계S510에서 위험 판단부(107)는 사용자 정보, 도로시설의 정보 및 인식된 사물의 정보에 따라 위험 판단 기준 정보를 설정할 수 있다.
다음으로 단계S520 에서 위험 판단부(107)는 설정된 위험 판단 기준 정보에 기초하여 위험 상황인지 판단한다.
다음으로 단계S530에서 위험 판단부(107)는 위험 상황이라고 판단되는 경우에 위험 상황 여부 및 위험 강도를 포함하는 위험 상황 판단 정보를 생성하고, 생성된 위험 상황 판단 정보에 기초하여 위험 신호를 생성한다.
다음으로, 위험 판단부(107)에서 생성된 위험 신호에 기초하여, 단계S540 에서 위치 정보 생성부(110)는 현재 위치 정보를 데이터베이스(6)로 전송하고, 단계S550 에서 출력부(104)는 위험 상황 판단 정보에 기초한 위험 신호를 디스플레이(3)로 표시하거나, 스피커(113)를 통해 음성으로 재생하고, 단계S560 에서 제어부(108)는 위험 신호에 기초하여 진동 정보를 생성하고, 진동 정보에 기초한 제어 신호를 생성하여 진동부(111)를 구동한다.
본원의 일 실시 예에 따른 스마트 워치의 구동 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 스마트 워치의 구동 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
1 : 시선 추적을 활용한 스마트 워치
2 : 본체부
3: 디스플레이
4: 밴드부
5: 네트워크
6: 데이터베이스
7: 구조시설
8: 보호자 휴대 단말
9: 사용자 휴대 단말
100: 외부 사물
101: 사물 인식부
102: 음성 인식부
103: 변환부
104: 출력부
105: 사용자 정보 저장부
106: 시선 정보 생성부
107: 위험 판단부
108: 제어부
109: 사용자 휴대 단말 연동부
110: 위치 정보 생성부
111: 진동부
112: 센싱부
114: 스피커
200: 외부 음성
300: 센서가 설치된 도로시설

Claims (10)

  1. 사용자의 시선추적을 활용한 스마트 워치에 있어서,
    디스플레이 및 스피커를 포함하는 본체부; 및
    상기 본체부와 연결되어 사용자의 손목에 착용되는 밴드부,
    를 포함하고,
    상기 본체부는,
    외부 사물을 인식하여 상기 인식된 사물의 정보를 생성하는 사물 인식부;
    외부 음성을 인식하는 음성 인식부;
    상기 인식된 외부 음성을 문자 정보로 변환하는 변환부;
    상기 변환된 문자 정보 및 상기 스마트 워치를 제어하기 위한 사용자 인터페이스를 상기 디스플레이에 표시하고, 상기 인식된 사물의 정보를 상기 디스플레이를 통해 문자로 출력하거나 상기 스피커를 통해 음성으로 재생하는 출력부;
    사용자의 시선을 인식하여 시선 정보를 생성하는 시선 정보 생성부; 및,
    상기 시선 정보에 기초하여 상기 사용자 인터페이스의 동작을 제어하는 제어 신호를 생성하는 제어부,
    를 포함하되,
    상기 제어부는 상기 시선 정보에 기초하여 상기 사용자 인터페이스에 포함되는 복수의 아이콘 또는 디스플레이 출력 화면을 선택하거나 제어하는 제어 신호를 생성하고,
    상기 제어 신호는 상기 복수의 아이콘 중 어느 하나의 아이콘의 선택, 상기 아이콘의 드래그 동작, 상기 출력 화면의 확대 및 상기 출력 화면의 축소를 위한 것인,
    사용자의 시선추적을 활용한 스마트 워치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 스마트 워치의 현재 위치 정보를 생성하고, 상기 현재 위치 정보에 기초하여, 사용자의 현재 위치와 근접한 공공시설 및 편의시설의 정보를 포함하는 시설 정보를 생성하는 위치 정보 생성부,
    를 더 포함하고,
    상기 출력부는 상기 디스플레이를 통해 상기 현재 위치 정보 또는 상기 시설 정보를 출력하는 것인, 사용자의 시선추적을 활용한 스마트 워치.
  5. 제4항에 있어서,
    도로시설에 설치된 센서로부터 상기 도로시설의 정보를 수신하는 센싱부,
    를 더 포함하고.
    상기 출력부는 상기 수신된 도로시설의 정보를 상기 디스플레이를 통해 문자로 출력하거나 상기 스피커를 통해 음성으로 재생하는 것인, 스마트 워치.
  6. 제 5항에 있어서,
    사용자 정보를 저장할 수 있는 사용자 정보 저장부; 및
    위험 판단 기준 정보에 따라 위험 상황 여부 및 위험 강도를 포함하는 위험 상황 판단 정보를 생성하고, 상기 위험 상황 판단 정보에 기초하여 위험 신호를 생성하는 위험 판단부,
    를 더 포함하고.
    상기 사용자 정보는 사용자의 나이, 장애 여부, 장애 종류, 보호자의 연락처 및 휠체어 탑승 여부를 포함하고,
    상기 위험 판단 기준 정보는 상기 도로시설의 정보, 상기 인식된 사물의 정보 및 상기 사용자 정보를 포함하는 것인, 사용자의 시선추적을 활용한 스마트 워치.
  7. 제 6항에 있어서,
    상기 위치 정보 생성부는 상기 위험 신호에 기초하여 상기 스마트 워치의 현재 위치 정보를 데이터베이스로 전송하는 것인, 사용자의 시선추적을 활용한 스마트 워치.
  8. 제 7항에 있어서,
    사용자 휴대 단말과 통신 연결을 수행하는 사용자 휴대 단말 연동부,
    를 더 포함하고,
    상기 사용자 정보는 상기 통신 연결을 통해 상기 사용자 휴대 단말로부터 수신되는 것인, 사용자의 시선추적을 활용한 스마트 워치.
  9. 제 8항에 있어서,
    상기 출력부는 상기 위험 신호에 기초하여 위험 상황 판단 정보를 상기 디스플레이를 통해 문자로 출력하거나 상기 스피커를 통해 음성으로 재생하는 것인, 사용자의 시선추적을 활용한 스마트 워치.
  10. 제 9항에 있어서;
    진동부,
    를 더 포함하고,
    상기 제어부는 상기 위험 신호에 기초하여 진동 정보를 생성하고, 상기 진동 정보에 기초하여 상기 진동부를 구동하기 위한 제어 신호를 생성하는 것인, 사용자의 시선추적을 활용한 스마트 워치.


KR1020190170657A 2019-12-19 2019-12-19 시선 추적을 활용한 스마트 워치 KR102281792B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190170657A KR102281792B1 (ko) 2019-12-19 2019-12-19 시선 추적을 활용한 스마트 워치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190170657A KR102281792B1 (ko) 2019-12-19 2019-12-19 시선 추적을 활용한 스마트 워치

Publications (2)

Publication Number Publication Date
KR20210078818A KR20210078818A (ko) 2021-06-29
KR102281792B1 true KR102281792B1 (ko) 2021-07-23

Family

ID=76626637

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190170657A KR102281792B1 (ko) 2019-12-19 2019-12-19 시선 추적을 활용한 스마트 워치

Country Status (1)

Country Link
KR (1) KR102281792B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101827557B1 (ko) * 2017-03-06 2018-02-08 김찬용 보행 안전 서비스 제공 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101098687B1 (ko) * 2004-09-23 2011-12-23 엘지전자 주식회사 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법
KR102157313B1 (ko) * 2013-09-03 2020-10-23 삼성전자주식회사 촬영된 영상을 이용하여 객체를 인식하는 방법 및 컴퓨터 판독 가능한 기록 매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101827557B1 (ko) * 2017-03-06 2018-02-08 김찬용 보행 안전 서비스 제공 방법

Also Published As

Publication number Publication date
KR20210078818A (ko) 2021-06-29

Similar Documents

Publication Publication Date Title
JP4751192B2 (ja) 移動ロボット
US20200394393A1 (en) Gesture Control for Communication with an Autonomous Vehicle on the Basis of a Simple 2D Camera
US20200216078A1 (en) Driver attentiveness detection system
US8953841B1 (en) User transportable device with hazard monitoring
US20160378112A1 (en) Autonomous vehicle safety systems and methods
US11283915B2 (en) Server, client terminal, control method, and storage medium
KR101730266B1 (ko) 장애인을 위한 IoT 기반 길안내 장치 및 방법
Rahman et al. The architectural design of smart blind assistant using IoT with deep learning paradigm
KR101765838B1 (ko) 시각 장애인을 위한 착용형 장치
Parikh et al. Android smartphone based visual object recognition for visually impaired using deep learning
KR102315785B1 (ko) 진동을 활용한 스마트 워치
KR20180125858A (ko) 차량의 동작을 제어하는 전자 장치 및 방법
KR102281792B1 (ko) 시선 추적을 활용한 스마트 워치
US20220171412A1 (en) Autonomous aerial vehicle outdoor exercise companion
JP6120444B2 (ja) ウェアラブルデバイス
US11886190B2 (en) Method for controlling robot, robot, and recording medium
Manjari et al. A travel aid for visually impaired: R-Cane
Keshara et al. Real-time Smart Navigation System for Visually Impaired People
KR101653339B1 (ko) 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템 및 알림방법
Megalingam et al. Trinetra App: A Companion for the Blind
KR101572807B1 (ko) 웨어러블 디바이스를 이용하여 영상 신호를 전송하는 방법, 이를 위한 장치 및 그 시스템
KR101592398B1 (ko) 글라스형 웨어러블 디바이스를 이용한 신호변경 알림시스템 및 알림방법
US20230053995A1 (en) Robot control method, robot, and recording medium
Perry et al. Crossing the road without traffic lights: an android-based safety device
US20210124045A1 (en) Smart wearable sensor system and methods to lower risks of distracted walking

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant