KR20150037251A - 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법 - Google Patents

착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법 Download PDF

Info

Publication number
KR20150037251A
KR20150037251A KR20130116709A KR20130116709A KR20150037251A KR 20150037251 A KR20150037251 A KR 20150037251A KR 20130116709 A KR20130116709 A KR 20130116709A KR 20130116709 A KR20130116709 A KR 20130116709A KR 20150037251 A KR20150037251 A KR 20150037251A
Authority
KR
South Korea
Prior art keywords
feedback
user
mode
message
controller
Prior art date
Application number
KR20130116709A
Other languages
English (en)
Inventor
조은형
천시내
김종호
김지환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20130116709A priority Critical patent/KR20150037251A/ko
Priority to US14/167,555 priority patent/US9492630B2/en
Priority to PCT/KR2014/001760 priority patent/WO2015046687A1/en
Publication of KR20150037251A publication Critical patent/KR20150037251A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3306—Optical measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/332—Force measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3331—Pressure; Flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3331—Pressure; Flow
    • A61M2205/3358—Measuring barometric pressure, e.g. for compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3375—Acoustical, e.g. ultrasonic, measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/62—Posture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity

Abstract

착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법이 개시된다. 상기 착용형 컴퓨팅 디바이스는 사용자의 졸음을 검출하는 졸음 검출 유닛, 사용자의 졸음이 검출되면 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판단하는 콘트롤러, 및 상기 콘트롤러에서 판단된 모드의 메시지를 포함하는 적어도 하나의 피드백을 사용자에게 제공하는 피드백 출력부를 포함한다. 여기서, 각 피드백은 졸음을 깨우기 위한 제1 모드의 메시지와 수면을 돕기 위한 제2 모드의 메시지를 포함한다.

Description

착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법{Wearable computing device and user interface method}
본 명세서는 사용자의 신체 중 적어도 하나에 착용할 수 있는 착용형 컴퓨팅 디바이스에 관한 것으로서, 더욱 상세하게는 얼굴에 착용할 수 있는 착용형 컴퓨팅 디바이스에서 졸음에 관련된 사용자 인터페이스 방법에 관한 것이다.
착용형 컴퓨팅 디바이스 중 머리나 얼굴에 착용하는 디바이스를 헤드 마운티드 디스플레이(Head Mounted Display; HMD) 디바이스 또는 페이스 마운티드 디스플레이(Face Mounted Display; FMD) 디바이스라 한다.
상기 착용형 컴퓨팅 디바이스는 단순한 디스플레이 기능을 넘어 증강 현실 기술, N 스크린 기술 등과 조합되어 사용자에게 다양한 편의를 제공할 수 있다.
또한 상기 착용형 컴퓨팅 디바이스는 다양한 외부 디지털 디바이스와 연계하여 사용 가능하다. 상기 착용형 컴퓨팅 디바이스는 외부 디지털 디바이스와 통신을 수행하여 해당 외부 디지털 디바이스를 위한 사용자 입력을 수신하거나 해당 외부 디지털 디바이스와 연동한 작업의 수행도 가능하다.
도 1의 (a) 내지 (d)는 머리나 얼굴에 착용하는 착용형 컴퓨팅 디바이스의 예들을 보이고 있다. 도 1의 (a) 내지 (d)에서 보는 바와 같이, 착용형 컴퓨팅 디바이스는 다양한 형태를 가지고 있으며, 머리나 얼굴에 착용할 수 있는 형태는 어느 것이나 가능하다. 예를 들면, 도 1의 (a)와 같은 안경 형태, 도 1의 (b)와 같은 선글라스 형태, 도 1의 (c), (d)와 같은 머리띠 형태도 가능하다.
도 1의 (a) 내지 (d)의 착용형 컴퓨팅 디바이스는 영상 및/또는 음성을 디스플레이 및/또는 스피커를 통해 사용자에게 제공한다. 특히 착용형 컴퓨팅 디바이스는 양안 중 적어도 하나에 근접한 위치에 액정 등의 소형 디스플레이 장치가 설치되어 영상을 투영하는 방식이 일반적이다.
본 명세서는 착용형 컴퓨팅 디바이스에서 사용자의 졸음 여부를 감지하고, 사용자의 졸음이 감지되면 졸아도 되는 상황인지를 판단하여 사용자의 졸음을 경고하거나 수면을 도와주도록 하는 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 명세서에 따른 착용형 컴퓨팅 디바이스는 사용자의 졸음을 검출하는 졸음 검출 유닛; 사용자의 졸음이 검출되면 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판단하는 콘트롤러; 및 상기 콘트롤러에서 판단된 모드의 메시지를 포함하는 적어도 하나의 피드백을 사용자에게 제공하는 피드백 출력부를 포함하는 것을 일 실시예로 한다. 여기서, 각 피드백은 졸음을 깨우기 위한 제1 모드의 메시지와 수면을 돕기 위한 제2 모드의 메시지를 포함하는 것을 일 실시예로 한다.
상기 졸음 검출 유닛은 사용자의 눈 깜박임 정보, 눈을 감고 있는 시간, 눈의 상태, 맥박, 뇌파, 체온, 및 시선 중 적어도 하나를 이용하여 사용자의 졸음 여부를 감지하는 것을 일 실시예로 한다.
상기 착용형 컴퓨팅 디바이스는 적어도 하나의 GPS (Global Positioning System) 위성으로부터 상기 착용형 컴퓨팅 디바이스의 위치 정보를 수신하는 GPS 유닛; 및 적어도 하나의 카메라를 이용하여 사용자의 시야에 대응하는 범위의 이미지 및/또는 사용자 주변 환경의 이미지를 촬영하는 카메라 유닛을 더 포함하는 것을 일 실시예로 한다.
상기 콘트롤러는 상기 카메라 유닛에서 촬영된 이미지, 상기 GPS 유닛으로 수신되는 위치 정보, 및 적어도 하나의 센서로부터 센싱된 정보 중 적어도 하나를 이용하여 사용자가 운전 중인지를 판별하고, 운전 중이면 제1 모드로 결정하는 것을 일 실시예로 한다.
상기 콘트롤러는 사용자가 운전 중이 아니라고 판별되면 상기 카메라 유닛에서 촬영된 이미지, 상기 GPS 유닛으로 수신되는 위치 정보, 및 적어도 하나의 센서로부터 센싱된 정보 중 적어도 하나를 이용하여 사용자의 위치와 장소를 검출하고, 검출된 위치와 장소를 기반으로 제1 모드인지 제2 모드인지를 결정하는 것을 일 실시예로 한다.
상기 칙용형 컴퓨팅 디바이스에서 제1 모드와 제2 모드는 상기 착용형 컴퓨팅 디바이스의 버튼, 메뉴, 음성 명령 중 적어도 하나를 이용하여 수동으로 설정 가능한 것을 일 실시예로 한다.
상기 제1 모드의 메시지를 포함하는 적어도 하나의 피드백은 제1 오디오 피드백, 제1 알람 피드백, 제1 비디오 피드백, 및 제1 뇌파 피드백 중 적어도 하나이고, 상기 제2 모드의 메시지를 포함하는 적어도 하나의 피드백은 제2 오디오 피드백, 제2 알람 피드백, 제2 비디오 피드백, 및 제2 뇌파 피드백 중 적어도 하나인 것을 일 실시예로 한다.
상기 피드백 출력부는 상기 콘트롤러의 제어에 따라 상기 제1 오디오 피드백과 상기 제2 오디오 피드백 중 하나를 출력하는 오디오 출력 유닛; 상기 콘트롤러의 제어에 따라 상기 제1 알람 피드백과 상기 제2 알람 피드백 중 하나를 출력하는 알람 출력 유닛; 상기 콘트롤러의 제어에 따라 상기 제1 비디오 피드백과 상기 제2 비디오 피드백 중 하나를 출력하는 디스플레이 유닛; 및 상기 콘트롤러의 제어에 따라 상기 제1 뇌파 피드백과 상기 제2 뇌파 피드백 중 하나를 출력하는 뇌파 출력 유닛를 포함하는 것을 일 실시예로 한다.
상기 제1 뇌파 피드백은 알파파이고, 상기 제2 뇌파 피드백은 세타파인 것을 일 실시예로 한다.
상기 피드백 출력부에서 졸음을 깨우기 위해 사용자에게 제공되는 피드백 및 상기 피드백에 포함되는 제1 모드의 메시지는 상기 착용형 컴퓨팅 디바이스의 학습에 의해 결정되는 것을 일 실시예로 한다.
상기 피드백 출력부에서 졸음을 깨우기 위해 사용자에게 제공되는 피드백 및 상기 피드백에 포함되는 제1 모드의 메시지는 사용자에 의해 결정되는 것을 일 실시예로 한다.
상기 피드백 출력부에서 수면을 돕기 위해 사용자에게 제공되는 피드백 및 상기 피드백에 포함되는 제2 모드의 메시지는 상기 착용형 컴퓨팅 디바이스의 학습에 의해 결정되는 것을 일 실시예로 한다.
상기 피드백 출력부에서 수면을 돕기 위해 사용자에게 제공되는 피드백 및 상기 피드백에 포함되는 제2 모드의 메시지는 사용자에 의해 결정되는 것을 일 실시예로 한다.
상기 콘트롤러는 제1 모드인지, 제2 모드인지에 따라 무선 통신 기능을 이용하여 사용자 주변의 조명의 조도를 제어하는 것을 일 실시예로 한다.
상기 콘트롤러는 제2 모드로 판별되면 상기 착용형 컴퓨팅 디바이스를 스탠바이 모드로 절환하는 것을 일 실시예로 한다.
상기 콘트롤러는 기 설정된 시간 동안 상기 제1 모드의 메시지를 포함하는 피드백을 사용자에게 제공한 후에도 사용자의 졸음이 감지되면 상기 제1 모드의 다른 메시지를 포함하는 피드백을 사용자에게 제공하는 것을 일 실시예로 한다.
상기 콘트롤러는 기 설정된 시간 동안 제2 모드의 메시지를 포함하는 피드백을 사용자에게 제공한 후에도 사용자의 수면이 검출되지 않으면 상기 제2 모드의 다른 메시지를 포함하는 피드백을 사용자에게 제공하는 것을 일 실시예로 한다.
상기 콘트롤러는 상기 제1 모드의 메시지를 포함하는 피드백을 사용자에게 제공하는 중에 사용자로부터 모드 전환 요구가 있으면 상기 제2 모드의 메시지를 포함하는 피드백을 사용자에게 제공하는 것을 일 실시예로 한다.
상기 콘트롤러는 상기 제2 모드의 메시지를 포함하는 피드백을 사용자에게 제공하는 중에 사용자로부터 모드 전환 요구가 있으면 상기 제1 모드의 메시지를 포함하는 피드백을 사용자에게 제공하는 것을 일 실시예로 한다.
본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스 방법은 사용자의 졸음을 검출하는 단계; 사용자의 졸음이 검출되면, 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판단하는 단계; 및 상기 단계에서 판단된 모드의 메시지를 포함하는 적어도 하나의 피드백을 사용자에게 제공하는 단계를 포함하는 것을 일 실시예로 한다.
여기서, 각 피드백은 졸음을 깨우기 위한 제1 모드의 메시지와 수면을 돕기 위한 제2 모드의 메시지를 포함하는 것을 일 실시예로 한다.
본 명세서는 착용형 컴퓨팅 디바이스에서 사용자의 졸음(또는 졸림) 여부를 감지하고, 사용자의 졸림이 감지되면 졸아도 되는 상황인지를 판단하여 졸면 안되는 상황이면 경고 피드백을 사용자에게 제공하고, 졸아도 되는 상황이면 도움 피드백을 사용자에게 제공함으로써, 졸면 안되는 상황에서는 사용자의 졸음을 깨우고, 졸아도 되는 상황에서는 사용자의 수면을 돕는 효과가 있다. 특히 운전 중인 사용자의 졸음 운전을 방지함으로써, 졸음 운전으로 인해 야기되는 교통 사고율을 감소시킬 수 있다.
도 1의 (a) 내지 (d)는 다양한 형태의 착용형 컴퓨팅 디바이스의 예들을 보인 도면
도 2는 본 명세서에 따른 착용형 컴퓨팅 디바이스의 구성 블록도
도 3은 본 명세서에 따른 뇌파 센서와 진동 소자를 구비한 착용형 컴퓨팅 디바이스의 일 예를 보인 도면
도 4는 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스 방법의 일 실시예를 보인 흐름도
도 5는 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스 방법의 다른 실시예를 보인 흐름도
도 6은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스 방법의 또 다른 실시예를 보인 흐름도
도 7은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스 방법의 또 다른 실시예를 보인 흐름도
도 8은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스 방법의 또 다른 실시예를 보인 흐름도
도 9는 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스 방법의 또 다른 실시예를 보인 흐름도
도 10은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스 방법의 또 다른 실시예를 보인 흐름도
도 11은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스 방법의 또 다른 실시예를 보인 흐름도
이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.
또한 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 명세서의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 명세서의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 명세서의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
그리고 본 명세서에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 명세서의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
또한 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 그리고 명세서에 기재된 "...부" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
본 명세서는 착용형 컴퓨팅 디바이스를 이용하여 사용자의 졸음 여부를 감지하고, 졸음이 감지되면 졸아도 되는 상황인지 아닌지를 판단하여 각 상황에 따른 피드백을 사용자에게 제공하여 졸음을 경고하거나 수면에 도움을 주는데 있다. 즉, 졸면 안되는 상황이면 졸음을 깨기 위한 적어도 하나의 피드백을 사용자에게 제공하고, 졸아도 되는 상황이면 수면에 도움을 주는 적어도 하나의 피드백을 사용자에게 제공한다.
여기서 피드백이란 각 상황에 따라 사용자에게 제공하는 메시지 타입이며, 오디오 피드백, 시각 피드백, 알람 피드백, 뇌파 피드백 등이 있다.
특히 본 명세서는 각 피드백 별로 2가지 모드의 메시지가 있는 것을 일 실시예로 한다. 본 명세서는 설명의 편의를 위해, 졸면 안되는 상황을 제1 모드라 하고, 졸아도 되는 상황을 제2 모드라 하기로 한다. 이는 본 명세서의 이해를 돕기 위한 것이며, 그 반대도 가능하다.
즉, 제1 모드를 위한 메시지는 오디오 피드백, 비디오 피드백, 뇌파 피드백, 알람 피드백 중 적어도 하나를 포함할 수 있으며, 제2 모드를 위한 메시지도 오디오 피드백, 비디오 피드백, 뇌파 피드백, 알람 피드백 중 적어도 하나를 포함할 수 있다. 각 모드에서 대응하는 두 피드백은 서로 다른 메시지를 갖는다. 예를 들어, 제1 모드를 위한 메시지에 포함되는 오디오 피드백은 조용한 음악이 될 수 있고, 제2 모드를 위한 메시지에 포함되는 오디오 피드백은 시끄러운 음악이 될 수 있다.
본 명세서는 설명의 편의를 위해 제1 모드를 위한 메시지는 졸음 경고 메시지와 혼용하여 사용하고, 제2 모드를 위한 메시지는 수면 도움 메시지와 혼용하여 사용하기로 한다.
본 명세서는 사용자의 졸음 여부의 검출, 제1/제2 모드의 판단, 판단된 모드에 따른 피드백을 사용자에게 제공하기 위해 사용자는 상기 착용형 컴퓨팅 디바이스를 착용하고 있다고 가정한다.
도 2는 본 명세서의 일 실시예에 따른 착용형 컴퓨팅 디바이스(220)의 구성 블록도로서, 콘트롤러(221), 커뮤니케이션 유닛(222), 카메라 유닛(223), 스토리지 유닛(224), 센서 유닛(225), GPS 유닛(226), 졸음 검출 유닛(227), 오디오 출력 유닛(228), 알람 출력 유닛(229), 및 디스플레이 유닛(230)을 포함한다. 상기 착욕형 컴퓨팅 디바이스(220)는 뇌파 출력 유닛(231)을 더 포함할 수 있다. 또한 콘텐츠와 같은 데이터를 제공하는 하나 이상의 외부 디지털 디바이스(210)가 유/무선을 통해 상기 착용형 컴퓨팅 디바이스(220)의 커뮤니케이션 유닛(222)에 연결된다.
이와 같이 구성된 착용형 컴퓨팅 디바이스(220)에서 콘트롤러(221)는 어플리케이션(또는 프로그램)을 실행하고, 착용형 컴퓨팅 디바이스 내부의 데이터를 처리할 수 있다. 또한 콘트롤러(221)는 커뮤니케이션 유닛(222), 카메라 유닛(223), 스토리지 유닛(224), 센서 유닛(225), GPS 유닛(226), 졸음 검출 유닛(227), 오디오 출력 유닛(228), 알람 출력 유닛(229), 및 디스플레이 유닛(230)를 제어할 수 있으며, 유닛들 간의 데이터 송수신을 매니지할 수 있다.
본 명세서에서 콘트롤러(221)는 상기 졸음 검출 유닛(227)에서 사용자의 졸음이 검출되었을 때, 졸아도 되는 상황인지를 확인하고, 확인 결과에 따라 사용자에게 적어도 하나의 피드백을 제공하기 위하여 해당 유닛을 제어한다.
본 명세서에서 사용자의 졸음 여부는 상기 졸음 검출 유닛(227)에서 검출하는 것을 일 실시예로 설명하고 있으나, 상기 사용자의 졸음 여부는 상기 콘트롤러(221)에서 검출할 수도 있다. 반대로, 사용자의 졸음 여부를 검출하고, 졸음이 검출되었을 때 졸아도 되는 상황인지 아닌지를 판별한 후 사용자에게 적어도 하나의 피드백을 제공하기 위해 해당 유닛을 제어하는 역할을 모두 상기 졸음 검출 유닛(227)에서 수행할 수도 있다.
본 명세서에서 상기 콘트롤러(221)와 졸음 검출 유닛(227)의 동작은 하드웨어, 펌웨어, 미들웨어, 소프트웨어 중 어느 하나로 이루어질 수도 있고, 또는 그러한 것 중 적어도 두개의 결합으로 이루어질 수도 있다.
상기 커뮤니케이션 유닛(222)은 유선 또는 무선을 통해 외부 디지털 디바이스(210)에 연결된다. 상기 외부 디지털 디바이스(210)는 상기 착용형 컴퓨팅 디바이스(220)에 비디오/오디오 데이터를 제공할 수 있는 장치는 어느 것이나 가능하다. 예를 들어, 상기 외부 디지털 디바이스(210)는 이동 단말기가 될 수도 있고, 고정 단말기가 될 수도 있다. 이동 단말기는 휴대폰, 스마트 폰, 태블릿 PC (Personal Computer), 스마트 패드, 노트북, 디지털 방송용 단말기, 개인 정보 단말기(PDA, Personal Digital Assistants), PMP (Portable Multimedia Player), 디지털 카메라, 네비게이션 등이 될 수 있고, 고정 단말기는 데스크 탑, DVD (Digital Video Disc or Digital Versatile Disc) 플레이어, TV 등이 될 수 있다.
상기 커뮤니케이션 유닛(222)과 외부 디지털 디바이스(210)는 다양한 프로토콜을 사용하여 유선 또는 무선을 통해 데이터를 송/수신할 수 있다. 예를 들어, 유선인 경우 HDMI (High Definition Multimedia Interface) 또는 DVI (Digital Visual Interface)등의 인터페이스가 지원될 수 있다. 다른 예로, 무선인 경우 2G, 3G, 4G 이동 통신 방식, 예컨대 GSM (Global System for Mobile Communications) 이나 CDMA (Code Division Multiple Access), Wibro, 그 외에 HSPA (High Speed Packet Access), HSDPA(High Speed Downlink Packet Access), LTE (Long Term Evolution) 등의 이동 통신 방식 또는 블루투스, RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee, WLAN(Wireless LAN)(Wi-Fi) 등의 근거리 통신 방식의 인터페이스가 지원될 수 있다.
여기서 유/무선 인터페이스 방식은 본 명세서의 이해를 돕기 위한 실시예들이며, 정보를 송/수신하기 위한 인터페이스 방식은 당업자에 의해 용이하게 변경될 수 있으므로 본 명세서에서 인터페이스 방식은 상기된 실시예들로 한정되지 않을 것이다.
상기 카메라 유닛(223)은 상기 착용형 컴퓨팅 디바이스의 주변 환경의 이미지를 촬영하여 전기적 신호로 변환한다. 이를 위해 카메라 유닛(223)은 이미지 센서를 포함할 수 있으며, 이미지 센서는 광학 신호를 전기적 신호로 변환할 수 있다. 상기 카메라 유닛(223)에서 촬영되어 전기적 신호로 변환된 이미지는 스토리지 유닛(224)에 저장된 후 콘트롤러(221)로 출력되거나, 저장없이 바로 콘트롤러(221)로 출력될 수도 있다. 또한 상기 카메라 유닛(223)은 사용자의 시야에 대응하는 범위의 이미지를 촬영하여 전기적 신호로 변환하고, 전기적 신호로 변환된 이미지는 스토리지 유닛(224)에 저장된 후 졸음 검출 유닛(227)으로 출력되거나 저장없이 바로 상기 줄림 검출 유닛(227)으로 출력된다. 상기 카메라 유닛(223)에 의해 촬영되는 이미지는 정지 영상이 될 수도 있고, 동영상이 될 수도 있다.
상기 스토리지 유닛(224)은 콘트롤러(221)의 동작을 위한 어플리케이션(또는 프로그램)을 저장할 수도 있고, 상기 카메라 유닛(223)을 통해 획득한 이미지를 저장할 수도 있다. 또한 상기 스토리지 유닛(224)은 오디오, 사진, 동영상, 어플리케이션 등 다양한 콘텐츠를 저장할 수 있다.
상기 스토리지 유닛(224)은 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory) 등이 될 수 있다. 또한 착용형 컴퓨팅 디바이스(220)는 인터넷(internet) 상에서 상기 스토리지 유닛(224)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
또한 상기 스토리지 유닛(224)은 상기 착용형 컴퓨팅 디바이스(220)에 착탈 가능한 외부 저장 매체를 더 포함할 수 있다. 상기 외부 저장 매체는 SD (Secure Digital)나 CF (Compact Flash) 메모리와 같은 슬롯 형태, 메모리 스틱 형태, USB (Universal Serial Bus) 형태 등이 가능하다. 즉, 상기 외부 저장 매체는 상기 착용형 컴퓨팅 디바이스(220)에 착탈 가능하고, 오디오, 사진, 동영상, 어플리케이션 등과 같은 콘텐츠를 상기 착용형 컴퓨팅 디바이스(220)에 제공할 수 있는 저장 매체는 어느 것이나 가능하다.
상기 센서 유닛(225)은 상기 착용형 컴퓨팅 디바이스(220)에 장착된 복수의 센서를 사용하여 사용자 입력 또는 상기 착용형 컴퓨팅 디바이스(220)가 인식하는 환경을 콘트롤러(221)로 전달할 수 있다. 이때, 상기 센서 유닛(225)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 중력(gravity) 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁스 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다.
상기 복수의 센싱 수단 중 압력 센서는 상기 착용형 컴퓨팅 디바이스(220)에 압력이 가해지는지 여부와, 그 압력의 크기 등을 검출할 수 있다. 상기 압력 센서 모듈은 사용 환경에 따라 상기 착용형 컴퓨팅 디바이스(220)에서 압력의 검출이 필요한 부위에 설치될 수 있다.
상기 모션 센서는 상기 가속도 센서, 상기 자이로 센서 등을 이용하여 착용형 컴퓨팅 디바이스(220)의 위치나 움직임 등을 감지한다. 상기 모션 센서에 사용될 수 있는 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있다. 가속도 센서에는, 자동차의 에어백 시스템에 내장되어 충돌을 감지하는데 사용하는 큰 값의 가속도를 측정하는 것부터, 사람 손의 미세한 동작을 인식하여 게임 등의 입력 수단으로 사용하는 미세한 값의 가속도를 측정하는 것까지 다양한 종류가 있다. 또한, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향을 감지할 수 있다.
또한 상기 센서 유닛(225)는 사용자의 뇌파를 측정하여 상기 졸음 검출 유닛(227)으로 제공하는 뇌파 센서를 더 포함할 수 있다.
상기 뇌파 센서는 사용자의 두피로부터 뇌파를 측정하고, 측정된 뇌파 신호를 졸음 검출 유닛(227)으로 출력한다. 이때 뇌파는 어디에서 어떤 형태로 측정하는가에 따라, LPF, EcoG, EEG (Electroencephalogram) 신호 등으로 구분할 수 있다. 일 실시예로, 상기 뇌파 센서는 사용자의 두피에서 발생하는 EEG 신호를 측정할 수 있다.
상기 뇌파 센서는 하나 이상 포함할 수 있으며, 각각은 상기 착용형 컴퓨팅 디바이스(220)에서 사용자의 두피와 접촉 가능한 위치에 배치될 수 있다.
상기 적외선 센서는 사용자로부터 방출되는 적외선을 측정하여 상기 졸음 검출 유닛(227)로 출력한다.
본 명세서에서 상기 센서 유닛(225)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 사용자의 다양한 입력 및 사용자의 환경을 센싱하여, 콘트롤러(221)가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 전달할 수 있다. 상술한 센서들은 별도의 엘리먼트로 착용형 컴퓨팅 디바이스(220)에 포함되거나, 적어도 하나 이상의 엘리먼트로 통합되어 포함될 수 있다.
상기 GPS (Global Positioning System) 유닛(226)은 복수개의 GPS 인공 위성으로부터 상기 착용형 컴퓨팅 디바이스(220)의 위치 정보를 수신하여 상기 콘트롤러(221)로 제공한다.
상기 졸음 검출 유닛(227)은 상기 카메라 유닛(223)에서 촬영된 이미지 및/또는 상기 센서 유닛(225)에서 수행된 센싱 결과를 이용하여 사용자가 졸린 상태인지를 검출하고, 그 결과를 콘트롤러(221)로 출력한다.
상기 졸음 검출 유닛(227)은 적어도 하나의 소스를 이용하여 사용자의 졸음 여부를 검출할 수 있다. 예를 들어, 사용자의 눈 깜박임 정보, 눈을 감고 있는 시간, 눈의 상태, 맥박, 뇌파, 체온, 근전도(EMG), 심전도(ECG), 안전도(EOG), 및 시선 중 적어도 하나를 이용하여 사용자의 졸음 여부를 검출할 수 있다.
일 예로, 상기 졸음 검출 유닛(227)은 상기 카메라 유닛(223)에 의해 촬영된 사용자의 시야에 대응하는 범위의 이미지와 사용자의 동공의 위치에 기초하여 사용자가 졸린지를 판단할 수 있다.
다른 예로, 상기 졸음 검출 유닛(227)은 상기 센서 유닛(225)의 뇌파 센서에서 측정한 사용자의 뇌파 신호가 속하는 주파수 대역을 확인하고, 그 결과를 이용하여 현재 사용자가 졸린 상태인지를 검출한다. 대뇌피질 내의 신경세포의 전기적 활동에 의해 발생하는 뇌파는 주파수 대역에 따라 델타파(0.5~3.99Hz), 세타파(4~7.99Hz), 알파파(8~12.99Hz), 베타파(13~29.99Hz), 감마파(30Hz 이상) 등으로 분류할 수 있다. 그리고, 뇌의 상태에 따라 각 주파수의 양에서 차이가 발생할 수 있다. 즉,　각성상태에서는 베타파가 우세하게 나타나며, 심신이 안정한 상태 또는 눈을 감은 상태에서는 알파파가 우세하게 나타난다. 얕은 수면으로 진입할 때는 세타파가 우세하게 나타나고, 깊은 수면에 빠질때는 델타파가 우세하게 나타난다. 사람이 졸음 전 상태와 졸음 상태의 과도기에 있을 경우, 정신적으로 안정한 상태로 진입하고, 눈을 감는 시간이 길어지기 때문에 알파파가 우세하게 나타난다. 여기서 세타파는 그대로 유지되거나, 알파파의 증가로 인해 상대적으로 수치가 감소할 수 있다. 각성 상태와 졸린 상태에서 알파파와 세타파의 이러한 현상은 뇌파의 졸음 판단 기준에 이용될 수 있다. 다시 말해, 센서 유닛(225)의 뇌파 센서에서 측정된 뇌파의 주파수 대역을 분석하여 뇌파의 종류를 알 수 있으면, 사용자가 현재 졸린 상태인지를 알 수 있게 된다. 또한 상기 졸음 검출 유닛(227)은 뇌파의 주파수 대역에 따라 사용자가 수면 상태인지도 판단할 수 있다.
또 다른 예로, 상기 졸음 검출 유닛(227)은 눈 깜박임 정보를 이용하여 사용자의 졸음 여부를 검출할 수 있다. 상기 눈 깜박임 정보는 눈 깜박임 횟수와 눈 깜박임 간격 중 적어도 하나를 포함한다. 상기 눈 깜박임 정보는 상기 센서 유닛(225)의 뇌파 센서에서 측정된 사용자의 뇌파의 디지털 정보로부터 검출할 수 있다. 일반적으로 사람은 각성 상태에 비하여 졸음 전 상태에서 단위 시간당 눈 깜박임 횟수가 증가하다가 졸음 상태에서 눈 깜박임 횟수가 급격히 줄어들면서 눈을 감는 시간이 증가한다. 또한, 눈 깜박임 횟수와 눈 깜박임 간격은 반비례 관계에 있으므로, 졸음 전 상태의 눈 깜박임 간격은 줄어들고, 졸음 상태의 눈 깜박임 간격은 늘어난다. 눈 깜박임 횟수로 졸음을 탐지하는 것은, 일정시간 동안 졸음에 대한 판단을 보류한 채 눈 깜박임의 횟수를 계산해야 하기 때문에 사용자의 졸음 상태에 대해서 적절한 조치를 취하기 어렵다. 반면, 눈 깜박임 간격으로 졸음을 탐지하는 것은 이전 눈 깜박임과 현재 눈 깜박임의 간격을 고려하므로 사용자의 졸음 상태를 실시간으로 반영하여 판단할 수 있는 이점이 있다. 따라서, 바람직하게는 눈 깜박임 간격을 졸음에 대한 판단 기준으로 한다. 이때, 졸음 전 상태에서는 눈 깜박임 간격이 줄고, 졸음 상태에서는 눈 깜박임 간격이 늘어나는 특징이 이용될 수 있다.
또 다른 예로, 상기 졸음 검출 유닛(227)은 센서 유닛(225)의 적외선 센서에서 측정된 적외선으로부터 사용자의 체온을 산출하여 사용자의 졸음 여부를 검출할 수 있다. 일 예로, 산출된 체온이 사용자의 표준 체온보다 일정값 이상으로 낮으면 졸린 상태로 판단할 수 있다.
또 다른 예로, 상기 졸음 검출 유닛(227)은 눈 깜박임 정보와 뇌파를 모두 이용하여 사용자의 졸음 여부를 검출할 수도 있다.
위의 사용자의 졸음 여부를 검출하는 실시예들은 본 명세서의 이해를 돕기 위한 것이며, 이 외에도 다양한 소스를 이용하여 사용자의 졸음이나 졸음 여부를 검출할 수 있다.
상기 졸음 검출 유닛(227)에서 검출된 사용자 졸음 여부에 대한 정보는 상기 콘트롤러(221)로 출력된다.
상기 콘트롤러(221)는 상기 졸음 검출 유닛(227)에서 사용자의 졸음이 검출되면, 현재 졸면 안되는 상황인지, 졸아도 되는 상황인지를 판단한다.
본 명세서는 설명의 편의를 위해, 졸면 안되는 상황을 제1 모드라 하고, 졸아도 되는 상황을 제2 모드라 하기로 한다.
이때 제1 모드인지, 제2 모드인지를 판단하는 방법은 다양한 방법들이 있을 수 있으며, 본 명세서에서는 사용자의 이동 여부, 장소, 위치 정보 중 적어도 하나를 이용하여 판단하는 것을 일 실시예로 한다. 이를 위해 상기 콘트롤러(221)는 상기 카메라 유닛(223)에서 촬영된 주변 환경의 이미지, 상기 GPS 유닛(226)에서 수신되는 위치 정보, 상기 센서 수단(225)에서 출력되는 센싱 정보 등을 이용한다. 일 예로, 사용자가 운전 중이라고 판단되면 졸면 안되는 제1 모드로 결정한다. 이때 사용자의 이동 속도가 차량 속도에 해당된다고 하여도 모두 운전하는 것은 아니므로, 추가로 현재 위치나 주변 환경의 이미지를 이용하여 운전 여부를 결정하는 것을 일 실시예로 한다. 즉, 사용자가 운전석이 아닌 좌석에 앉아 이동할 수도 있고, 버스 등을 타고 이동할 수도 있기 때문이다.
상기 콘트롤러(221)는 사용자가 이동 중이지만 운전 중은 아니라고 판별되면 제1 모드로 결정할 수도 있고, 제2 모드로 결정할 수도 있다. 또한 상기 콘트롤러(221)는 사용자가 이동 중이 아니라고 판단된 경우에도 사용자의 현재 위치, 사용자가 있는 장소 등에 따라 제1 모드로 결정할 수도 있고, 제2 모드로 결정할 수도 있다. 예를 들어, 사용자가 강의를 듣기 위해 강의실에 있다면 졸면 안되는 제1 모드로 판단하고, 집에 있다면 졸아도 되는 제2 모드로 판단할 수 있다. 하지만 동일한 조건이라도 사용자에 따라 졸면 안되는 상황일 수도 있고, 졸아도 되는 상황일 수도 있다. 이를 위해 다양한 상황에 대해 제1 모드와 제2 모드로 구분한 정보를 제조업체 또는 사용자가 스토리지 유닛(224)에 저장하게 함으로써, 제1 모드인지 제2 모드인지를 판단하는데 이용할 수도 있다. 다른 예로, 착용형 컴퓨팅 디바이스(220)의 학습에 의해 제1 모드인지 제2 모드인지를 결정할 수도 있다. 또 다른 예로, 제1 모드인지 제2 모드인지 결정하기 어려운 상황이면 졸면 안되는 제1 모드로 결정하고, 그에 해당하는 피드백을 사용자에게 제공할 수도 있다. 이때 사용자가 버튼이나 메뉴 등을 이용하여 모드를 전환할 수도 있다.
이와 같이 상기 콘트롤러(221)는 사용자의 졸음이 검출되었을 때 위에서 설명된 다양한 방법을 이용하여 졸면 안되는 제1 모드인지 졸아도 되는 제2 모드인지를 결정한다. 그리고 결정된 모드에 따른 적어도 하나의 피드백을 사용자에게 제공하기 위하여 해당 유닛을 제어한다. 즉, 졸면 안되는 제1 모드이면 해당 유닛을 통해 졸음을 깨기 위한 적어도 하나의 피드백을 사용자에게 제공하고, 졸아도 되는 제2 모드이면 해당 유닛을 통해 수면에 도움을 주는 적어도 하나의 피드백을 사용자에게 제공한다.
여기서 피드백이란 각 상황에 따라 사용자에게 제공하는 메시지 타입이며, 오디오 출력 유닛(227)에서 제공하는 오디오 피드백, 디스플레이 유닛(230)에서 제공하는 시각 피드백, 알람 출력 유닛(229)에서 제공하는 알람 피드백, 뇌파 출력 유닛(231)에서 제공하는 뇌파 피드백 등이 있다.
특히 본 명세서는 각 피드백 별로 2가지 모드의 메시지가 있는 것을 일 실시예로 한다. 즉, 제1 모드를 위한 메시지는 오디오 피드백, 비디오 피드백, 뇌파 피드백, 알람 피드백 중 적어도 하나를 포함할 수 있으며, 제2 모드를 위한 메시지도 오디오 피드백, 비디오 피드백, 뇌파 피드백, 알람 피드백 중 적어도 하나를 포함할 수 있다. 각 모드에서 대응하는 두 피드백은 서로 다른 메시지를 갖는다. 예를 들어, 제1 모드를 위한 메시지에 포함되는 오디오 피드백은 조용한 음악이 될 수 있고, 제2 모드를 위한 메시지에 포함되는 오디오 피드백은 시끄러운 음악이 될 수 있다.
본 명세서에서는 결정된 모드에 따라 사용자에게 제공할 적어도 하나의 피드백, 상기 적어도 하나의 피드백이 제공하는 메시지 등은 상기 착용형 컴퓨팅 디바이스(220)에 미리 설정되어 있을 수도 있고, 학습에 의해 자동으로 설정될 수도 있으며, 또는 사용자가 직접 설정할 수도 있다. 여기서 학습에 의해 자동으로 설정되는 경우를 예로 들면, 제1 모드일 때 오디오 피드백으로 A라는 노래를 출력할 때 가장 효과가 좋았다고 판단되면, 오디오 피드백으로 A라는 노래를 출력하도록 오디오 출력 유닛(228)을 제어한다. 이때 A라는 노래는 스토리지 유닛(224)에 미리 저장되어 있을 수도 있고, 외부 디지털 디바이스(210)로부터 제공받을 수도 있다.
위에서는 본 명세서의 이해를 돕기 위해 오디오 피드백에 대해 설명하였지만, 비디오 피드백, 뇌파 피드백, 알람 피드백에도 유사하게 적용된다.
상기 오디오 출력 유닛(228)은 상기 착용형 컴퓨팅 디바이스(220)에서 실행 중인 콘텐츠의 오디오 신호를 출력한다. 상기 콘텐츠는 스토리지 유닛(224)으로부터 제공받을 수도 있고, 상기 외부 디지털 디바이스(210)로부터 제공받을 수도 있으며, 또한 카메라 유닛(223)으로부터 제공받을 수도 있다.
상기 오디오 출력 유닛(228)은 공기 전도 스피커와 골전도 스피커 중 적어도 하나를 포함할 수 있다.
상기 골전도 스피커는 주파수 형태의 진동으로 변환된 오디오 신호를 사용자에게 원할하게 제공할 수 있는 다양한 위치에 배치될 수 있다. 만일 골전도 스피커를 이용한다면, 상기 오디오 신호는 골전도 스피커를 구동시킴으로써, 골전도 음파가 사용자의 두개골에 전도되어 주파수 형태의 진동이 사용자의 내이로 전달되게 된다. 골전도 스피커를 이용하면 사용자는 고막에 무리없이 오디오 신호를 들을 수 있게 된다.
상기 공기 전도 스피커는 이어폰 등이 해당된다. 상기 공기 전도 스피커는 오디오 신호에 따라 공기를 진동시켜 음파를 발생시킨다. 즉, 공기로 전해지는 소리의 진동은 귓속에 있는 고막으로 전달되고, 고막의 진동은 고막 속에 자리 잡고 있는 3개의 뼈를 통해 나사 모양의 와우에 전달된다. 와우에는 림프액이라는 액체가 차 있고, 이 액체의 진동이 전기 신호로 바뀌면서 청각 신경에 전달되어 사람의 뇌는 소리를 인식한다.
또한 상기 오디오 출력 유닛(228)은 상기 콘트롤러(221)의 제어에 의해 졸음을 경고하는 제1 모드의 오디오 피드백 또는 수면에 도움을 주는 제2 모드의 오디오 피드백을 출력할 수도 있다.
상기 제1 모드의 오디오 피드백이 제공하는 메시지의 예를 들면, 졸음을 깨우기 위해 시끄러운 음악이나 노래, 시끄러운 소리, 평소 싫어하거나 두려워하는 사람 (예, 회사 상사)의 목소리, 특정 신호음 등이 될 수 있다. 이때 평소 싫어하거나 두려워하는 사람의 목소리로 "잠자지 마라"와 같은 멘트를 하게 할 수도 있다.
상기 제2 모드의 오디오 피드백이 제공하는 메시지의 예를 들면, 수면에 도움을 주기 위해 조용한 음악이나 노래, 자연의 소리 등이 될 수 있다.
상기 알람 출력 유닛(229)은 사용자에게 노티피케이션(notification)을 제공해야 하는 이벤트가 발생한 경우, 알람을 이용하여 사용자에게 노티피케이션을 전달 할 수 있다. 여기서 알람은 촉각으로 인식하는 택타일 피드백(tactile feedback)이나 진동이 될 수 있다. 상기 택타일 피드백 유닛은 초음파 진동을 이용하며, 진동 주파수 및 진동 크기를 조절할 수 있다.
또한 상기 알람 출력 유닛(229)은 상기 콘트롤러(221)의 제어에 의해 졸음을 경고하는 제1 모드의 알람 피드백 또는 수면에 도움을 주는 제2 모드의 알람 피드백을 출력할 수 있다.
상기 제1 모드의 알람 피드백이 제공하는 메시지의 예를 들면, 졸음을 깨우기 위해 따가운 느낌의 택타일 피드백이 될 수 있다.
상기 제2 모드의 알람 피드백이 제공하는 메시지의 예를 들면, 수면에 도움을 주기 위해 부드러운 느낌의 택타일 피드백이 될 수 있다.
상기 디스플레이 유닛(230)은 상기 착용형 컴퓨팅 디바이스(220)에서 실행 중인 콘텐츠의 비디오 신호를 출력한다. 상기 콘텐츠는 상기 외부 디지털 디바이스(220), 카메라 유닛(223), 및 스토리지 유닛(224) 중 하나로부터 제공받을 수 있다. 상기 디스플레이 유닛(230)은 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor liquid crystal display), 발광 다이오드(light emitting diode), 유기 발광 다이오드(organic light emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 될 수 있다. 또한 디스플레이 유닛(230)은 가상 화면을 디스플레이하는 허공이나 투명 유리 등이 될 수 있다. 즉, 비디오 신호를 시각적으로 인간에게 전달하여줄 수 있는 것은 어느 것이나 디스플레이 유닛(230)이 될 수 있다.
또한 상기 디스플레이 유닛(230)은 상기 콘트롤러(221)의 제어에 의해 졸음을 경고하는 제1 모드의 비디오 피드백 또는 수면에 도움을 주는 제2 모드의 비디오 피드백을 출력할 수 있다.
상기 제1 모드의 비디오 피드백으로 제공되는 메시지의 예를 들면, 졸음을 깨우기 위해 현란한 사진, 그림, 동영상 등이 될 수 있다.
상기 제2 모드의 비디오 피드백으로 제공되는 메시지의 예를 들면, 수면에 도움을 주기 위해 잔잔한 풍경의 그림, 사진, 동영상 등이 될 수 있다.
상기 뇌파 출력 유닛(231)은 상기 콘트롤러(221)의 제어에 의해 졸음을 경고하는 제1 모드의 뇌파 피드백 또는 수면에 도움을 주는 제2 모드의 뇌파 피드백을 출력할 수 있다.
상기 제1 모드의 뇌파 피드백으로 제공되는 메시지의 예를 들면, 졸음을 깨우기 위해 8Hz 내지 13Hz의 주파수 대역 범위를 갖는 알파파(alpha wave)가 될 수 있다.
상기 제2 모드의 뇌파 피드백으로 제공되는 메시지의 예를 들면, 수면에 도움을 주기 위해 4Hz 내지 7Hz의 주파수 대역범위를 갖는 세타파(theta wave)가 될 수 있다.
도 3은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 일 예를 보인 것으로서, 뇌파를 측정하기 위한 뇌파 센서(351, 352)와 택타일 피드백을 위한 진동 소자(361,362)가 상기 착용형 컴퓨팅 디바이스의 양측 다리에 배치된 예를 보이고 있다. 상기 배치 예는 하나의 실시예이며, 착용형 컴퓨팅 디바이스에서 사용자의 뇌파를 측정할 수 있는 위치, 사용자에게 진동을 전달할 수 있는 위치는 어느 곳이나 상관없다. 또한 뇌파 센서의 수와 진동 소자의 수도 이해를 돕기 위한 하나의 실시예이므로, 본 명세서는 상기 실시예로 한정되지 않을 것이다.
도 4는 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스의 일 실시예를 보인 흐름도이다.
즉, 사용자의 졸음이 검출되면(S401), 현재 상황이 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판별한다(S402). 사용자의 졸음 검출 및 모드 판단 방법은 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S402에서 제1 모드로 판단되면 졸음 경고를 위해 제1 모드의 피드백을 사용자에게 제공한다(S403). 상기 제1 모드의 피드백은 오디오 피드백, 비디오 피드백, 알람 피드백, 뇌파 피드백 중 하나이다. 이때 각 피드백으로 제공되는 메시지는 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S402에서 제2 모드로 판단되면 수면에 도움을 주기 위해 제2 모드의 피드백을 사용자에게 제공한다(S404). 상기 제2 모드의 피드백은 오디오 피드백, 비디오 피드백, 알람 피드백, 뇌파 피드백 중 하나이다. 이때 각 피드백으로 제공되는 메시지는 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
도 5는 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스의 다른 실시예를 보인 흐름도로서, 특히 사용자에게 제공하는 피드백이 오디오 피드백일 때의 흐름도이다.
즉, 사용자의 졸음이 검출되면(S501), 현재 상황이 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판별한다(S502). 사용자의 졸음 검출 및 모드 판단 방법은 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S502에서 제1 모드로 판단되면 졸음 경고를 위해 제1 모드의 오디오 피드백을 사용자에게 제공한다(S503). 상기 제1 모드의 오디오 피드백이 제공하는 메시지는 졸음을 깨우기 위해 시끄러운 음악이나 노래, 시끄러운 소리, 평소 싫어하거나 두려워하는 사람 (예, 회사 상사)의 목소리, 특정 신호음 등이 될 수 있다. 이때 평소 싫어하거나 두려워하는 사람의 목소리로 "잠자지 마라"와 같은 멘트가 출력될 수도 있다.
상기 단계 S502에서 제2 모드로 판단되면 수면에 도움을 주기 위해 제2 모드의 오디오 피드백을 사용자에게 제공한다(S504). 상기 제2 모드의 오디오 피드백이 제공하는 메시지는 수면에 도움을 주기 위해 조용한 음악이나 노래, 자연의 소리 등이 될 수 있다.
도 6은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스의 또 다른 실시예를 보인 흐름도로서, 특히 사용자에게 제공하는 피드백이 비디오 피드백일 때의 흐름도이다.
즉, 사용자의 졸음이 검출되면(S601), 현재 상황이 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판별한다(S602). 사용자의 졸음 검출 및 모드 판단 방법은 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S602에서 제1 모드로 판단되면 졸음 경고를 위해 제1 모드의 비디오 피드백을 사용자에게 제공한다(S603). 상기 제1 모드의 비디오 피드백으로 제공되는 메시지는 졸음을 깨우기 위해 현란한 사진, 그림, 동영상 등이 될 수 있다.
상기 단계 S602에서 제2 모드로 판단되면 수면에 도움을 주기 위해 제2 모드의 비디오 피드백을 사용자에게 제공한다(S604). 상기 제2 모드의 비디오 피드백으로 제공되는 메시지는 수면에 도움을 주기 위해 잔잔한 풍경의 그림, 사진, 동영상 등이 될 수 있다.
도 7은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스의 또 다른 실시예를 보인 흐름도로서, 특히 사용자에게 제공하는 피드백이 알람 피드백일 때의 흐름도이다.
즉, 사용자의 졸음이 검출되면(S701), 현재 상황이 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판별한다(S702). 사용자의 졸음 검출 및 모드 판단 방법은 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S702에서 제1 모드로 판단되면 졸음 경고를 위해 제1 모드의 알람 피드백을 사용자에게 제공한다(S703). 상기 제1 모드의 알람 피드백이 제공하는 메시지의 예를 들면, 졸음을 깨우기 위해 따가운 느낌의 택타일 피드백이 될 수 있다.
상기 단계 S702에서 제2 모드로 판단되면 수면에 도움을 주기 위해 제2 모드의 알람 피드백을 사용자에게 제공한다(S704). 상기 제2 모드의 알람 피드백이 제공하는 메시지의 예를 들면, 수면에 도움을 주기 위해 부드러운 느낌의 택타일 피드백이 될 수 있다.
도 8은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스의 또 다른 실시예를 보인 흐름도로서, 특히 사용자에게 제공하는 피드백이 뇌파 피드백일 때의 흐름도이다.
즉, 사용자의 졸음이 검출되면(S801), 현재 상황이 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판별한다(S802). 사용자의 졸음 검출 및 모드 판단 방법은 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S802에서 제1 모드로 판단되면 졸음 경고를 위해 제1 모드의 뇌파 피드백을 사용자에게 제공한다(S803). 상기 제1 모드의 뇌파 피드백으로 제공되는 메시지는 졸음을 깨우기 위해 8Hz 내지 13Hz의 주파수 대역 범위를 갖는 알파파가 될 수 있다.
상기 단계 S802에서 제2 모드로 판단되면 수면에 도움을 주기 위해 제2 모드의 뇌파 피드백을 사용자에게 제공한다(S804). 상기 제2 모드의 뇌파 피드백으로 제공되는 메시지는 수면에 도움을 주기 위해 4Hz 내지 7Hz의 주파수 대역범위를 갖는 세타파가 될 수 있다.
도 9는 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스의 또 다른 실시예를 보인 흐름도로서, 특히 사용자에게 제공하는 피드백이 2개 이상 일 때의 흐름도이다.
즉, 사용자의 졸음이 검출되면(S901), 현재 상황이 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판별한다(S902). 사용자의 졸음 검출 및 모드 판단 방법은 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S902에서 제1 모드로 판단되면 졸음 경고를 위해 제1 모드의 2개 이상의 피드백을 사용자에게 제공한다(S903). 상기 제1 모드의 2개 이상의 피드백은 오디오 피드백, 비디오 피드백, 알람 피드백, 뇌파 피드백 중 2개 이상이 될 수 있다. 예를 들어, 제1 모드의 오디오 피드백과 알람 피드백을 동시에 사용자에게 제공할 수 있다. 이때 각 피드백으로 제공되는 메시지는 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S902에서 제2 모드로 판단되면 수면에 도움을 주기 위해 제2 모드의 2개 이상의 피드백을 사용자에게 제공한다(S904). 상기 제2 모드의 2개 이상의 피드백은 오디오 피드백, 비디오 피드백, 알람 피드백, 뇌파 피드백 중 2개 이상이 될 수 있다. 예를 들어, 제2 모드의 오디오 피드백과 알람 피드백을 동시에 사용자에게 제공할 수 있다. 이때 각 피드백으로 제공되는 메시지는 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
도 10은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스의 또 다른 실시예를 보인 흐름도이다.
즉, 사용자의 졸음이 검출되면(S1001), 사용자가 이동 중인지를 판단한다(S1002). 사용자의 졸음 검출 방법은 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S1002에서 사용자가 이동 중이라고 판별되면, 운전 중인지를 판별한다(S1003). 상기 단계 S1003에서 운전 중이라고 판별되면 졸음 경고를 위해 제1 모드의 적어도 하나의 피드백을 사용자에게 제공한다(S1004). 상기 제1 모드의 적어도 하나의 피드백은 오디오 피드백, 비디오 피드백, 알람 피드백, 뇌파 피드백 중 적어도 하나이다. 이때 각 피드백으로 제공되는 메시지는 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S1003에서 사용자가 이동 중이지만 운전 중이 아니라고 판별되면 사용자가 있는 위치 및/또는 장소를 기반으로 제1 모드인지 아니면 제2 모드인지를 판별한다(S1005). 상기 단계 S1005에서 제1 모드로 판별되면 단계 S1004로 진행하여 졸음 경고를 위해 제1 모드의 적어도 하나의 피드백을 사용자에게 제공한다.
상기 단계 S1005에서 제2 모드로 판별되면 수면에 도움을 주기 위해 제2 모드의 적어도 하나의 피드백을 사용자에게 제공한다(S1006). 상기 제2 모드의 적어도 하나의 피드백은 오디오 피드백, 비디오 피드백, 알람 피드백, 뇌파 피드백 중 적어도 하나이다. 이때 각 피드백으로 제공되는 메시지는 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S1002에서 사용자가 이동 중이 아니라고 판별되면, 사용자가 있는 위치 및/또는 장소를 기반으로 제1 모드인지 아니면 제2 모드인지를 판별한다(S1007).
상기 단계 S1007에서 제1 모드로 판별되면 단계 S1004로 진행하여 졸음 경고를 위해 제1 모드의 적어도 하나의 피드백을 사용자에게 제공한다.
상기 단계 S1007에서 제2 모드로 판별되면 수면에 도움을 주기 위해 제2 모드의 적어도 하나의 피드백을 사용자에게 제공한다(S1008).
상기 단계들에서는 카메라 유닛(223)에서 촬영된 주변 환경의 이미지, GPS 유닛(226)에서 수신되는 위치 정보, 센서 유닛(225)의 센싱 정보 중 적어도 하나를 이용하여 사용자가 이동 중인지의 여부, 이동 중이면 운전 중인지의 여부, 이동 중이지만 운전 중이 아니거나 이동 중이 아니면 사용자의 현재 위치나 장소를 판별할 수 있다.
도 11은 본 명세서에 따른 착용형 컴퓨팅 디바이스의 사용자 인터페이스의 또 다른 실시예를 보인 흐름도이다.
즉, 사용자의 졸음이 검출되면(S1101), 현재 상황이 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판별한다(S1102). 사용자의 졸음 검출 및 모드 판단 방법은 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
상기 단계 S1102에서 제1 모드로 판단되면 졸음 경고를 위해 제1 모드의 적어도 하나의 피드백을 사용자에게 제공한다(S1103). 상기 제1 모드의 적어도 하나의 피드백은 오디오 피드백, 비디오 피드백, 알람 피드백, 뇌파 피드백 중 적어도 하나이다. 이때 각 피드백으로 제공되는 메시지는 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
그리고 제1 모드의 적어도 하나의 피드백을 사용자에게 제공하면서 일정 시간이 경과하면(S1104), 다시 한번 사용자의 졸음 여부를 검출한다(S1105). 여기서 제1 모드의 적어도 하나의 피드백은 기 설정된 시간 동안 계속적으로 사용자에게 제공할 수도 있고, 기 설정된 시간 내에서 간헐적으로 제공할 수도 있다.
상기 단계 S1105에서 사용자의 졸음이 검출되면 상기 단계 S1103에서 제공하는 적어도 하나의 피드백이 사용자의 졸음을 깨우는데 효과를 보지 못하였다고 판단한다. 따라서 사용자의 졸음을 깨우기 위해 상기 단계 S1103에서 제공하는 적어도 하나의 피드백보다 더 강한 제1 모드의 적어도 하나의 피드백을 사용자에게 제공한다(S1106). 일 실시예로, 단계 S1103에서 제공하는 피드백과 단계 S1106에서 제공하는 피드백은 서로 다를 수 있다. 예를 들어, 상기 단계 S1103에서 제공하는 피드백이 오디오 피드백이라면 상기 단계 S1106에서 제공하는 피드백은 뇌파 피드백이 될 수 있다. 다른 실시예로, 상기 단계 S1103에서 제공하는 피드백과 단계 S1106에서 제공하는 피드백은 같을 수도 있다. 예를 들어, 상기 단계 S1103에서 제공하는 피드백이 오디오 피드백이라면 상기 단계 S1106에서 제공하는 피드백도 오디오 피드백이 될 수 있다. 이때는 상기 단계 S1106의 오디오 피드백이 제공하는 메시지가 상기 단계 S1103의 오디오 피드백이 제공하는 메시지보다 더 강한 내용을 포함한다. 예를 들어, 상기 단계 S1106의 오디오 피드백이 제공하는 메시지가 꽹과리 소리라면 상기 단계 S1103의 오디오 피드백이 제공하는 메시지는 책상 등을 두드리는 소리가 될 수 있다.
한편 상기 단계 S1102에서 제2 모드로 판단되면 수면에 도움을 주기 위해 제2 모드의 적어도 하나의 피드백을 사용자에게 제공한다(S1107). 상기 제1 모드의 적어도 하나의 피드백은 오디오 피드백, 비디오 피드백, 알람 피드백, 뇌파 피드백 중 적어도 하나이다. 이때 각 피드백으로 제공되는 메시지는 위에서 상세히 설명하였으므로 여기서는 생략하기로 한다.
그리고 제2 모드의 적어도 하나의 피드백을 사용자에게 제공하면서 일정 시간이 경과하면(S1108), 사용자가 수면 중인지를 검출한다(S1109). 여기서 제2 모드의 적어도 하나의 피드백은 기 설정된 시간 동안 계속적으로 사용자에게 제공할 수도 있고, 기 설정된 시간 내에서 간헐적으로 제공할 수도 있다.
상기 단계 S1109에서 사용자가 수면 중이 아니라고 검출되면 상기 단계 S1107에서 제공하는 적어도 하나의 피드백이 사용자의 수면을 도우는데 효과를 보지 못하였다고 판단한다. 따라서 사용자의 수면을 돕기 위해 상기 단계 S1107에서 제공하는 적어도 하나의 피드백보다 더 강한 제2 모드의 적어도 하나의 피드백을 사용자에게 제공한다(S1110). 일 실시예로, 단계 S1107에서 제공하는 피드백과 단계 S1110에서 제공하는 피드백은 서로 다를 수 있다. 예를 들어, 상기 단계 S1107에서 제공하는 피드백이 오디오 피드백이라면 상기 단계 S1110에서 제공하는 피드백은 뇌파 피드백이 될 수 있다. 다른 실시예로, 상기 단계 S1107에서 제공하는 피드백과 단계 S1110에서 제공하는 피드백은 같을 수도 있다. 예를 들어, 상기 단계 S1107에서 제공하는 피드백이 오디오 피드백이라면 상기 단계 S1110에서 제공하는 피드백도 오디오 피드백이 될 수 있다. 이때는 상기 단계 S1110의 오디오 피드백이 제공하는 메시지가 상기 단계 S1107의 오디오 피드백이 제공하는 메시지보다 수면에 더 도움을 주는 내용을 포함한다. 예를 들어, 상기 단계 S1110의 오디오 피드백이 제공하는 메시지가 잔잔한 클랙식이라면 상기 단계 S1107의 오디오 피드백이 제공하는 메시지는 잔잔하지 않은 클래식이 될 수 있다.
지금까지는 카메라 유닛(223)의 출력, 센서 유닛(225)의 출력, GPS 유닛(226)의 출력 중 하나를 이용하여 졸음 여부와 제1 모드인지, 제2 모드인지를 검출하였다. 본 명세서는 다른 실시예로, 상기 착용형 컴퓨팅 디바이스의 버튼, 메뉴, 음성 명령 중 적어도 하나를 이용하여 수동으로 제1 모드와 제2 모드를 설정할 수 있다. 설정된 모드에 따라 사용자에게 제공하는 피드백은 위에서 설명된 내용을 참조하기로 한다.
한편 본 명세서에서는 착용형 컴퓨팅 디바이스(220)의 커뮤니케이션 유닛(222)을 통해 사용자의 현재 위치에 있는 조명의 밝기를 조정할 수 있다면, 제1 모드에서는 졸음을 깨우기 위해 조명을 더 밝게 하고, 제2 모드에서는 수면을 돕기 위해 조명을 더 어둡게 제어할 수 있다. 또 다른 실시예로, 제2 모드에서는 수면을 돕기 위해 착용형 컴퓨팅 디바이스(220)의 스탠바이 모드로 전환할 수도 있다.
지금까지 설명한 본 명세서는 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 명세서가 속한 분야의 통상의 지식을 가지 자에 의해 변형이 가능하고 이러한 변형은 본 명세서의 범위에 속한다.
210: 외부 디지털 디바이스 220: 착용형 컴퓨팅 디바이스
221: 콘트롤러 222: 커뮤니케이션 유닛
223: 카메라 유닛 224: 스토리지 유닛
225: 센서 유닛 226: GPS 유닛
227: 졸음 검출 유닛 228: 오디오 출력 유닛
229: 알람 출력 유닛 230: 비디오 출력 유닛
231: 뇌파 출력 유닛

Claims (20)

  1. 사용자의 졸음을 검출하는 졸음 검출 유닛;
    사용자의 졸음이 검출되면 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판단하는 콘트롤러; 및
    상기 콘트롤러에서 판단된 모드의 메시지를 포함하는 적어도 하나의 피드백을 사용자에게 제공하는 피드백 출력부를 포함하며,
    여기서, 각 피드백은 졸음을 깨우기 위한 제1 모드의 메시지와 수면을 돕기 위한 제2 모드의 메시지를 포함하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  2. 제 1 항에 있어서, 상기 졸음 검출 유닛은
    사용자의 눈 깜박임 정보, 눈을 감고 있는 시간, 눈의 상태, 맥박, 뇌파, 체온, 및 시선 중 적어도 하나를 이용하여 사용자의 졸음 여부를 감지하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  3. 제 1 항에 있어서,
    적어도 하나의 GPS (Global Positioning System) 위성으로부터 상기 착용형 컴퓨팅 디바이스의 위치 정보를 수신하는 GPS 유닛; 및
    적어도 하나의 카메라를 이용하여 사용자의 시야에 대응하는 범위의 이미지 및/또는 사용자 주변 환경의 이미지를 촬영하는 카메라 유닛을 더 포함하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  4. 제 3 항에 있어서, 상기 콘트롤러는
    상기 카메라 유닛에서 촬영된 이미지, 상기 GPS 유닛으로 수신되는 위치 정보, 및 적어도 하나의 센서로부터 센싱된 정보 중 적어도 하나를 이용하여 사용자가 운전 중인지를 판별하고, 운전 중이면 제1 모드로 결정하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  5. 제 4 항에 있어서, 상기 콘트롤러는
    사용자가 운전 중이 아니라고 판별되면 상기 카메라 유닛에서 촬영된 이미지, 상기 GPS 유닛으로 수신되는 위치 정보, 및 적어도 하나의 센서로부터 센싱된 정보 중 적어도 하나를 이용하여 사용자의 위치와 장소를 검출하고, 검출된 위치와 장소를 기반으로 제1 모드인지 제2 모드인지를 결정하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  6. 제 1 항에 있어서,
    제1 모드와 제2 모드는 상기 착용형 컴퓨팅 디바이스의 버튼, 메뉴, 음성 명령 중 적어도 하나를 이용하여 수동으로 설정 가능한 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  7. 제 1 항에 있어서,
    상기 제1 모드의 메시지를 포함하는 적어도 하나의 피드백은 제1 오디오 피드백, 제1 알람 피드백, 제1 비디오 피드백, 및 제1 뇌파 피드백 중 적어도 하나이고, 상기 제2 모드의 메시지를 포함하는 적어도 하나의 피드백은 제2 오디오 피드백, 제2 알람 피드백, 제2 비디오 피드백, 및 제2 뇌파 피드백 중 적어도 하나인 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  8. 제 7 항에 있어서, 상기 피드백 출력부는
    상기 콘트롤러의 제어에 따라 상기 제1 오디오 피드백과 상기 제2 오디오 피드백 중 하나를 출력하는 오디오 출력 유닛;
    상기 콘트롤러의 제어에 따라 상기 제1 알람 피드백과 상기 제2 알람 피드백 중 하나를 출력하는 알람 출력 유닛;
    상기 콘트롤러의 제어에 따라 상기 제1 비디오 피드백과 상기 제2 비디오 피드백 중 하나를 출력하는 디스플레이 유닛; 및
    상기 콘트롤러의 제어에 따라 상기 제1 뇌파 피드백과 상기 제2 뇌파 피드백 중 하나를 출력하는 뇌파 출력 유닛를 포함하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  9. 제 7 항에 있어서,
    상기 제1 뇌파 피드백은 알파파이고, 상기 제2 뇌파 피드백은 세타파인 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  10. 제 1 항에 있어서,
    상기 피드백 출력부에서 졸음을 깨우기 위해 사용자에게 제공되는 피드백 및 상기 피드백에 포함되는 제1 모드의 메시지는 상기 착용형 컴퓨팅 디바이스의 학습에 의해 결정되는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  11. 제 1 항에 있어서,
    상기 피드백 출력부에서 졸음을 깨우기 위해 사용자에게 제공되는 피드백 및 상기 피드백에 포함되는 제1 모드의 메시지는 사용자에 의해 결정되는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  12. 제 1 항에 있어서,
    상기 피드백 출력부에서 수면을 돕기 위해 사용자에게 제공되는 피드백 및 상기 피드백에 포함되는 제2 모드의 메시지는 상기 착용형 컴퓨팅 디바이스의 학습에 의해 결정되는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  13. 제 1 항에 있어서,
    상기 피드백 출력부에서 수면을 돕기 위해 사용자에게 제공되는 피드백 및 상기 피드백에 포함되는 제2 모드의 메시지는 사용자에 의해 결정되는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  14. 제 1 항에 있어서, 상기 콘트롤러는
    제1 모드인지, 제2 모드인지에 따라 무선 통신 기능을 이용하여 사용자 주변의 조명의 조도를 제어하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  15. 제 1 항에 있어서, 상기 콘트롤러는
    제2 모드로 판별되면 상기 착용형 컴퓨팅 디바이스를 스탠바이 모드로 절환하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  16. 제 1 항에 있어서, 상기 콘트롤러는
    기 설정된 시간 동안 상기 제1 모드의 메시지를 포함하는 피드백을 사용자에게 제공한 후에도 사용자의 졸음이 감지되면 상기 제1 모드의 다른 메시지를 포함하는 피드백을 사용자에게 제공하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  17. 제 1 항에 있어서, 상기 콘트롤러는
    기 설정된 시간 동안 제2 모드의 메시지를 포함하는 피드백을 사용자에게 제공한 후에도 사용자의 수면이 검출되지 않으면 상기 제2 모드의 다른 메시지를 포함하는 피드백을 사용자에게 제공하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  18. 제 1 항에 있어서, 상기 콘트롤러는
    상기 제1 모드의 메시지를 포함하는 피드백을 사용자에게 제공하는 중에 사용자로부터 모드 전환 요구가 있으면 상기 제2 모드의 메시지를 포함하는 피드백을 사용자에게 제공하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  19. 제 1 항에 있어서, 상기 콘트롤러는
    상기 제2 모드의 메시지를 포함하는 피드백을 사용자에게 제공하는 중에 사용자로부터 모드 전환 요구가 있으면 상기 제1 모드의 메시지를 포함하는 피드백을 사용자에게 제공하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스.
  20. 사용자의 졸음을 검출하는 단계;
    사용자의 졸음이 검출되면, 졸면 안되는 제1 모드인지, 졸아도 되는 제2 모드인지를 판단하는 단계; 및
    상기 단계에서 판단된 모드의 메시지를 포함하는 적어도 하나의 피드백을 사용자에게 제공하는 단계를 포함하며,
    여기서, 각 피드백은 졸음을 깨우기 위한 제1 모드의 메시지와 수면을 돕기 위한 제2 모드의 메시지를 포함하는 것을 특징으로 하는 착용형 컴퓨팅 디바이스의 사용자 인터페이스 방법.
KR20130116709A 2013-09-30 2013-09-30 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법 KR20150037251A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130116709A KR20150037251A (ko) 2013-09-30 2013-09-30 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
US14/167,555 US9492630B2 (en) 2013-09-30 2014-01-29 Wearable computing device and user interface method
PCT/KR2014/001760 WO2015046687A1 (en) 2013-09-30 2014-03-04 Wearable computing device and user interface method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130116709A KR20150037251A (ko) 2013-09-30 2013-09-30 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법

Publications (1)

Publication Number Publication Date
KR20150037251A true KR20150037251A (ko) 2015-04-08

Family

ID=52739775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130116709A KR20150037251A (ko) 2013-09-30 2013-09-30 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법

Country Status (3)

Country Link
US (1) US9492630B2 (ko)
KR (1) KR20150037251A (ko)
WO (1) WO2015046687A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034412A1 (ko) * 2016-08-16 2018-02-22 (주)알비케이이엠디 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스
CN109656374A (zh) * 2019-01-22 2019-04-19 广东得胜电子有限公司 一种防瞌睡设备
KR20200008903A (ko) * 2018-07-17 2020-01-29 김홍성 음성인식을 이용한 전자성경 시스템
US10933750B2 (en) 2016-12-07 2021-03-02 Hyundai Motor Company Vehicle and method for controlling the same
KR20230007158A (ko) * 2021-07-05 2023-01-12 계명대학교 산학협력단 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법
KR102520188B1 (ko) * 2021-10-29 2023-04-10 전남대학교 산학협력단 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD745832S1 (en) * 2014-05-09 2015-12-22 Amtran Technology Co., Ltd. Brainwave alarm device
CN104702919B (zh) * 2015-03-31 2019-08-06 小米科技有限责任公司 播放控制方法及装置、电子设备
JP6334484B2 (ja) * 2015-09-01 2018-05-30 株式会社東芝 メガネ型ウェアラブル装置及びその制御方法及び情報管理サーバー
CN109478100B (zh) * 2016-07-27 2022-06-14 索尼公司 信息处理系统、记录介质以及信息处理方法
DE102016215250A1 (de) 2016-08-16 2018-02-22 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs mithilfe eines mobilen Endgeräts eines Benutzers und physiologischen Vitaldaten
DE102016215251A1 (de) 2016-08-16 2018-02-22 Audi Ag Verfahren zum Betreiben einer Navigationseinrichtung eines Kraftfahrzeugs
US11253187B2 (en) * 2017-04-04 2022-02-22 Samsung Electronics Co., Ltd. Deep personalization based on contextual neurofeedback
WO2019017124A1 (ja) 2017-07-19 2019-01-24 パナソニックＩｐマネジメント株式会社 眠気推定装置及び覚醒誘導装置
CN109157728B (zh) * 2018-06-25 2021-07-30 朱森标 脑骨共振促进睡眠的方法及枕头
CN109669546B (zh) * 2019-01-30 2022-06-07 浙江强脑科技有限公司 音乐播放控制方法、装置及计算机可读存储介质
CN109568766A (zh) * 2019-01-30 2019-04-05 浙江强脑科技有限公司 音频播放方法、装置及计算机可读存储介质
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4875030A (en) 1989-03-13 1989-10-17 Chiu Shui W Sleep-preventing alarm device
JP3908583B2 (ja) 2002-04-10 2007-04-25 独立行政法人科学技術振興機構 眠気度検出装置及びそれと連動した覚醒装置
ZA200608191B (en) * 2004-04-01 2008-07-30 William C Torch Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7855743B2 (en) 2006-09-08 2010-12-21 Sony Corporation Image capturing and displaying apparatus and image capturing and displaying method
KR20080040378A (ko) 2006-11-03 2008-05-08 전북대학교산학협력단 생체시계 조절 안경
KR100980489B1 (ko) 2008-05-29 2010-09-07 주식회사 마이폰 자동차 운행형태 및 속도에 대응하는 졸음운전 경고방법 및장치
JP5210773B2 (ja) 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
US8063786B2 (en) 2009-02-24 2011-11-22 Panasonic Automotive Systems Company Of America Division Of Panasonic Corporation Of North America Method of detecting drowsiness of a vehicle operator
KR101031413B1 (ko) 2009-06-11 2011-04-26 연세대학교 산학협력단 안구전도에 기반한 졸음방지 장치 및 헤드셋

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034412A1 (ko) * 2016-08-16 2018-02-22 (주)알비케이이엠디 증강현실 또는 가상현실 구현 기기와 연동되는 햅틱 디바이스
US10933750B2 (en) 2016-12-07 2021-03-02 Hyundai Motor Company Vehicle and method for controlling the same
KR20200008903A (ko) * 2018-07-17 2020-01-29 김홍성 음성인식을 이용한 전자성경 시스템
CN109656374A (zh) * 2019-01-22 2019-04-19 广东得胜电子有限公司 一种防瞌睡设备
KR20230007158A (ko) * 2021-07-05 2023-01-12 계명대학교 산학협력단 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법
KR102520188B1 (ko) * 2021-10-29 2023-04-10 전남대학교 산학협력단 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법
WO2023075161A1 (ko) * 2021-10-29 2023-05-04 전남대학교 산학협력단 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US9492630B2 (en) 2016-11-15
US20150092050A1 (en) 2015-04-02
WO2015046687A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
KR20150037251A (ko) 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
US10725556B2 (en) Wearable glasses and method of providing content using the same
KR102017700B1 (ko) 단말기 및 그 제어 방법
KR102433291B1 (ko) 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
CN104932679B (zh) 可穿戴设备及其操作方法
JP6361649B2 (ja) 情報処理装置、通知状態制御方法及びプログラム
US9719871B2 (en) Detecting a state of a wearable device
US20170111723A1 (en) Personal Area Network Devices System and Method
US9807291B1 (en) Augmented video processing
AU2011204946C1 (en) Automatic text scrolling on a head-mounted display
US20160019817A1 (en) Wearable haptic device for the visually impaired
CN109087485B (zh) 驾驶提醒方法、装置、智能眼镜及存储介质
KR20170067050A (ko) 전자 장치 및 그의 동작 방법
US9794475B1 (en) Augmented video capture
JP2009222774A (ja) デジタルコンテンツ再生装置及びデジタルコンテンツの再生制御方法
KR20150110254A (ko) Hmd 디바이스 및 그 동작 방법
WO2015068440A1 (ja) 情報処理装置、制御方法およびプログラム
US20210081047A1 (en) Head-Mounted Display With Haptic Output
CN113260902A (zh) 用于向用户提供帮助的眼镜系统、设备和方法
EP3709613B1 (en) Apparatus, method and computer program for triggering a function
WO2020070839A1 (ja) ヘッドマウントディスプレイ及びヘッドマウントディスプレイシステム
US20200143774A1 (en) Information processing device, information processing method, and computer program
WO2016143415A1 (ja) 情報処理装置、情報処理方法およびプログラム
AU2013200187B9 (en) Automatic text scrolling on a head-mounted display
KR20150140049A (ko) 웨어러블 디바이스

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid