KR20180028335A - 사용자 피로도 통합 관리 장치 및 방법 - Google Patents

사용자 피로도 통합 관리 장치 및 방법 Download PDF

Info

Publication number
KR20180028335A
KR20180028335A KR1020160115891A KR20160115891A KR20180028335A KR 20180028335 A KR20180028335 A KR 20180028335A KR 1020160115891 A KR1020160115891 A KR 1020160115891A KR 20160115891 A KR20160115891 A KR 20160115891A KR 20180028335 A KR20180028335 A KR 20180028335A
Authority
KR
South Korea
Prior art keywords
user
fatigue
unit
pattern
image
Prior art date
Application number
KR1020160115891A
Other languages
English (en)
Inventor
박준훈
김신권
안용석
이은혜
이재홍
오염덕
Original Assignee
한국교통대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국교통대학교산학협력단 filed Critical 한국교통대학교산학협력단
Priority to KR1020160115891A priority Critical patent/KR20180028335A/ko
Publication of KR20180028335A publication Critical patent/KR20180028335A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Abstract

본 발명은 사용자 피로도 정도를 감지 및 안내할 뿐 만 아니라 사용자 피로도 유발 요인까지도 확인 및 안내할 수 있도록 하는 사용자 피로도 통합 관리 장치 및 방법에 관한 것으로,
상기 장치는 사용자 얼굴 영상을 촬영 및 획득하는 영상 촬영부; 사용자 위치 장소의 환경 정보를 센싱하는 환경 정보 센싱부; 및 상기 사용자 얼굴 영상에서 두 눈과 입을 검출하고 변화 패턴을 추적하여, 눈 깜빡임 패턴, 눈동자 이동 패턴, 하품 횟수, 및 고개 흔들림 패턴 중 적어도 하나를 추출 및 분석하여 사용자 피로도 지수를 산출하고, 상기 사용자 피로도 지수가 기 설정치 이상이면 상기 환경 정보 센싱 결과를 기반으로 피로도 유발 요인을 확인하여 사용자에게 안내하는 피로도 관리부를 포함할 수 있다.

Description

사용자 피로도 통합 관리 장치 및 방법{Apparatus and method for integrated managing user's fatigue}
본 발명은 사용자 피로도 통합 관리 장치 및 방법에 관한 것으로, 특히 사용자 피로도 정도 뿐 만 아니라 사용자 피로도 유발 요인까지도 확인 및 안내할 수 있도록 하는 사용자 피로도 통합 관리 장치 및 방법에 관한 것이다.
사무직 근무자나 운전자 또는 학생의 경우 장시간 의자에 앉아 있게 되므로 어깨가 뭉치고 눈이 피로하고 밖에 나가서 운동하는 것보다 더 피곤함을 느끼게 되고 이러한 상태가 일상화 될 경우 건강에 심각한 지장을 초래하게 되고 운전자의 경우 졸음운전 등 교통안전에도 심각한 위험을 가져 올 수 있다.
이에 국내공개특허 제10-2013-0124763호 및 국내등록특허 제10-1595546호 등에서는 사용자 얼굴을 촬영하고 영상 처리하여 사용자의 피로도를 측정 및 안내하는 기술이 제안된 바와 있다.
그러나 국내공개특허 제10-2013-0124763호 및 국내등록특허 제10-1595546호는 사용자 피로도를 측정 및 통보하는 기술에 한할 뿐, 피로도 유발 요인이 무엇인지 파악하고, 이를 사용자에게 안내하도록 하지는 못하는 한계를 가진다.
국내공개특허 제10-2013-0124763호(공개일자: 2013.11.15.) 국내등록특허 제10-1595546(등록일자:2016.02.12.)
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 사용자 피로도 정도를 감지 및 안내할 뿐 만 아니라 사용자 피로도 유발 요인까지도 확인 및 안내할 수 있도록 하는 사용자 피로도 통합 관리 장치 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 사용자 얼굴 영상을 촬영 및 획득하는 영상 촬영부; 사용자 위치 장소의 환경 정보를 센싱하는 환경 정보 센싱부; 및 상기 사용자 얼굴 영상에서 두 눈과 입을 검출하고 변화 패턴을 추적하여, 눈 깜빡임 패턴, 눈동자 이동 패턴, 하품 횟수, 및 고개 흔들림 패턴 중 적어도 하나를 추출 및 분석하여 사용자 피로도 지수를 산출하고, 상기 사용자 피로도 지수가 기 설정치 이상이면 상기 환경 정보 센싱 결과를 기반으로 피로도 유발 요인을 확인하여 사용자에게 안내하는 피로도 관리부를 포함하는 사용자 피로도 통합 관리 장치를 제공한다.
상기 피로도 관리부는 상기 영상 촬영부 및 상기 환경 정보 센싱부과의 통신 채널을 형성하고 데이터를 송수신하는 통신부; 상기 사용자 얼굴 영상에서 두 눈과 입을 검출하고 변화 패턴을 추적하여, 눈 깜빡임 패턴, 눈동자 이동 패턴, 하품 횟수, 및 고개 흔들림 패턴 중 적어도 하나를 추출하는 영상 분석부; 상기 영상 분석부의 영상 분석 결과를 기반으로 사용자 피로도 지수를 산출하는 피로도 산출부; 및 상기 사용자 피로도 지수가 기 설정치 이상이면, 상기 환경 정보 센싱 결과를 기반으로 피로도 유발 요인을 확인한 후 상기 사용자에게 안내하는 제어부를 포함할 수 있다.
상기 통신부는 근거리 무선 통신 방식으로 상기 영상 촬영부 및 상기 환경 정보 센싱부의 정보를 수신하는 것을 특징으로 한다.
상기 환경 정보는 온도, 습도, 이산화탄소, 미세먼지 및 VOC(volatile organic compound), 및 조도 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 한다.
상기 사용자 피로도 통합 관리 장치는 사용자 생년월일에 따른 바이오리듬 데이터를 저장 및 제공하는 바이오리듬 제공부를 더 포함할 수 있다.
상기 제어부는 상기 바이오리듬 데이터를 추가 고려하여 피로도 유발 요인을 확인하는 기능을 더 포함할 수 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 사용자 위치 장소의 환경 정보를 센싱하는 단계; 사용자 얼굴 영상을 획득 및 분석하여, 눈 깜빡임 패턴, 눈동자 이동 패턴, 하품 횟수, 및 고개 흔들림 패턴 중 적어도 하나를 추출하는 단계; 상기 영상 분석부의 영상 분석 결과를 기반으로 사용자 피로도 지수를 산출하는 단계; 및 상기 사용자 피로도 지수가 기 설정치 이상이면 사용자 알람 동작을 수행함과 동시에, 상기 환경 정보 센싱 결과를 기반으로 피로도 유발 요인을 확인한 후 상기 사용자에게 안내하는 동작을 수행하는 단계를 포함하는 사용자 피로도 통합 관리 방법을 제공한다.
상기 피로도 유발 요인을 확인한 후 상기 사용자에게 안내하는 동작을 수행하는 단계는 상기 환경 정보 센싱 결과 이외에 사용자 생년월일에 따른 바이오리듬 데이터를 추가 고려하여 상기 피로도 유발 요인을 확인하고 상기 사용자에게 안내하는 동작을 수행하는 단계를 더 포함할 수 있다.
본 발명의 사용자 피로도 통합 관리 장치 및 방법은 사용자 피로도 정도를 단순 확인하고 안내하는 것에서 더 나아가 사용자 피로도 유발 요인까지도 확인 및 안내할 수 있도록 한다. 이에 사용자가 사용자 피로도 유발 요인을 고려하여 사용자 자신이 현재 느끼는 피로도를 없애기 위한 후속 조치를 보다 신속 정확하게 취할 수 있도록 하는 효과를 제공한다.
또한 영상 촬영부 및 환경 정보 센싱부가 근거리 통신 방식, 특히 IoT 통신 방식에 따라 사용자 피로도 분석에 필요한 정보를 수집하고 제공할 수 있도록 함으로써, 본 발명의 사용자 피로도 통합 관리 장치 및 방법의 적용 분야가 더욱 다양해질 수 있도록 한다.
도1는 본 발명의 일 실시예에 따른 사용자 피로도 통합 관리 장치를 설명하기 위한 도면이다.
도2는 본 발명의 다른 실시예에 따른 사용자 피로도 통합 관리 장치를 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 사용자 피로도 통합 관리 방법을 설명하기 위한 도면이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복된 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도1는 본 발명의 일 실시예에 따른 사용자 피로도 통합 관리 장치를 설명하기 위한 도면이다.
도1을 참고하면, 본 발명의 사용자 피로도 통합 관리 장치(100)는 영상 촬영부(110), 환경 정보 센싱부(120), 및 피로도 관리부(130) 등을 포함할 수 있다.
영상 촬영부(110)는 카메라를 적어도 하나를 구비하고, 이를 통해 사용자 영상, 특히 얼굴 부위를 촬영한 영상을 획득 및 제공한다.
환경 정보 센싱부(120)는 근거리 무선 통신 기능을 구비한 적어도 하나의 환경 센서를 구비하고, 이를 통해 사용자가 위치하는 장소에 대한 환경 정보를 획득 및 제공한다. 이때, 환경 센서는 온도 센서, 습도 센서, 이산화탄소 센서, 미세먼지 센서, VOC(volatile organic compound) 센서, 및 조도 센서 중 적어도 하나일 수 있다.
특히, 본 발명에서는 영상 촬영부(110)의 카메라와 환경 정보 센싱부(120)의 환경 센서를 위치 고정 형태로 설치할 수 있으나, 필요한 경우 위치 가변 형태로 설치할 수도 있도록 한다. 즉, 영상 촬영부(110)와 환경 정보 센싱부(120)가 근거리 무선 통신 방식으로 피로도 관리부(130)과의 통신 채널을 형성하고 각종 데이터를 송수신함으로써, 영상 촬영부(110) 및 환경 정보 센싱부(120)가 획득 가능한 정보의 범위가 보다 확장될 수 있도록 한다.
이때, 근거리 무선 통신 방식은 블루투스, 무선랜, 지그비(Zigbee), 지웨이브(Z-WAVE) 중 하나일 수 있으나, 이에 한정되지는 않도록 한다.
피로도 관리부(130)는 다시 통신부(131), 영상 분석부(132), 피로도 산출부(133), 및 제어부(134) 등을 포함할 수 있다.
통신부(131)는 유선 또는 무선 통신 방식으로 영상 촬영부(110)와 환경 정보 센싱부(120)과의 통신 채널을 형성하고, 이를 통해 각종 데이터를 송수신하도록 한다.
영상 분석부(132)는 영상 촬영부(110)를 통해 획득된 사용자 영상을 수신 및 분석하여, 사용자 얼굴 내 두 눈과 입을 추출한 후 이들의 변화 패턴을 추적하여, 눈 깜빡임 패턴, 눈동자 이동 패턴, 하품 횟수, 고개 흔들림 패턴 및 사용자 얼굴 기울기 중 적어도 하나를 추출하도록 한다.
이때, 사용자 얼굴 영역, 눈 영역, 입 영역 추출 동작은 기존의 영상 처리 알고리즘을 중 하나를 이용하여 수행될 수 있으므로, 이에 대한 상세한 설명은 생략하기로 한다.
그리고 눈 깜빡임 패턴은 기준 시간내 눈 깜빡임 횟수, 눈 깜빡임 주기, 눈 감음 상태 유지 시간, 및 눈 개방 정도 중 적어도 하나에 대한 정보를 포함할 수 있으며, 눈동자 이동 패턴은 눈동자의 위치가 기 설정된 값 이상 이동하는 횟수, 눈동자 이동 거리, 및 눈동자 이동 평균 속도 중 적어도 하나에 대한 정보를 포함할 수 있으며, 고개 흔들림 패턴은 두 눈 중간지점과 입을 잇는 기준선(또는 두 눈 또는 입)의 이동 횟수, 이동 거리, 이동 평균 속도 중 적어도 하나에 대한 정보를 포함할 수 있다. 상기의 방법이외에 눈 깜빡임 패턴, 눈동자 이동 패턴, 및 고개 흔들림 패턴을 파악할 수 있는 또 다른 방법이 있다면, 이 또한 차후 다양하게 이용될 수 있음을 물론 당연할 것이다.
피로도 산출부(133)는 이하의 수학식1과 같은 사용자 피로도 산출식을 구비하고, 이를 기반으로 영상 분석부(120)를 통해 획득된 눈 깜빡임 정도, 눈동자 이동 정도, 하품 횟수, 및 고개 흔들림 정도 중 적어도 하나를 분석하여 사용자 피로도 지수(Index_fatigue)가 얼마인지를 측정하도록 한다.
Figure pat00001
이때, α,β,γ,δ,α1~α4, β1~β3,δ1~δ3는 각 파라메터의 가중치로, 사용자에 의해 설정 또는 변경 가능한 값이다.
제어부(134)는 피로도 산출부(133)를 통해 산출된 사용자 피로도 지수가 기 설정치 이상이면, 사용자 피로도가 적정 수준을 벗어났음을 사용자에게 시청각적으로 안내하도록 한다.
또한 본 발명의 제어부(134)는 피로도 수준을 단순 안내하는 것에서 더 나아가, 환경 정보 센싱 결과를 기반으로 피로도 유발 요인을 확인하고 사용자에 안내함으로써, 사용자가 이를 참고하여 현재의 피로감을 없애기 위한 후속 조치를 취할 수도 있도록 한다.
예를 들어, 제어부(134)는 온도, 습도, 이산화탄소, 미세먼지, VOC, 및 조도 센서 각각의 적정 수준에 대한 정보를 사전에 정의 및 저장한 후, 이를 기반으로 환경 정보 센싱 결과를 분석하도록 한다. 그리고 사용자 피로도가 기 설정치 이상임이 확인되면, 적정 수준에서 벗어난 환경 정보가 무엇인지를 사용자에게 시청각적으로 안내하여 사용자가 현재 자신이 위치한 장소의 환경을 최적 상태를 변화시키기 위한 후속 조치를 신속, 정확하게 취할 수 있도록 한다. 즉, 습도가 비정상적으로 높음을 안내하여, 사용자가 제습기를 틀거나, 이산화탄소가 비정상적으로 높음을 안내하여 사용자가 창문을 여는 등의 후속 조치를 취할 수 있도록 한다.
또한 본 발명의 제어부(134)는 환경 정보 센싱 결과 이외에 영상 분석부(132)의 영상 분석 결과(특히, 사용자 얼굴 기울기)를 이용하여 피로도 유발 요인을 확인할 수도 있도록 한다. 즉, 영상 분석부(132)를 통해 확인된 사용자 얼굴 기울기가 기 설정치 이상인 상태가 임계 시간 이상 지속되면, 사용자 자세가 잘못되어 사용자 피로도가 증가되었다고 판단한 후, 이를 사용자에게 안내함으로써, 사용자가 자세를 바꾸거나 스트레칭을 수행하는 등의 후속 조치를 취할 수도 있도록 한다.
더하여, 본 발명은 사용자 생년월일에 따른 바이오리듬 데이터를 저장 및 제공하는 바이오리듬 제공부(140)를 추가 구비하도록 하고, 이에 따라 제어부(134)가 바이오리듬 데이터를 추가 고려하여, 사용자 피로도 유발 요인을 확인하고 사용자에게 안내할 수도 있도록 한다. 즉, 바이오리듬에 따른 신체 지수와 감성 지수 중 적어도 하나가 기준치 이하로 내려가면, 현재의 바이오리듬을 사용자에게 안내함으로써, 사용자가 바이오리듬을 참고하여 적절한 휴식을 취할 수 있도록 한다.
이상에서 살펴본 바와 같이 본 발명의 사용자 피로도 통합 관리 장치는 사용자 피로도 지수가 기 설정치 이상이 되면, 환경 정보 센싱 결과, 영상 분석 결과, 및 바이오리듬 등을 고려하여 피로도 발생 요인을 다각도에서 분석한 후 사용자에게 안내할 수 있도록 함으로써, 사용자가 현재의 피로감을 없애기 위한 후속 조치를 보다 효과적으로 취할 수 있도록 해준다.
그리고 본 발명의 제어부(134)는 사용자 피로도, 환경 정보 센싱 결과, 영상 분석 결과, 그리고 바이오리듬 정보를 데이터베이스화하여 저장 및 관리함으로써, 차후 사용자 또는 외부 관리인이 이에 접근하여 사용자 건강 상태 모니터링을 위한 근거 자료 제공 수단으로 활용할 수도 있도록 한다.
데이터 입출력부(150)는 모니터, 스피커, 발광 소자, 스위치, 키보드, 마우스 등을 구비하고, 이들을 통해 제어부(134)를 통해 생성되는 각종 정보를 시청각화시켜 출력하거나, 사용자 입력값을 획득하여 제어부(134)에 제공하는 동작을 수행한다.
또한, 본 발명의 사용자 피로도 통합 관리 장치는 사용자가 항상 휴대하고 다니는 사용자 단말과 연동되어, 사용자 단말을 통해 사용자 피로도 통합 관리 장치의 동작을 모니터링하고 제어할 수도 있도록 한다.
도2는 본 발명의 다른 실시예에 따른 사용자 피로도 통합 관리 장치를 설명하기 위한 도면이다.
도2을 참고하면, 본 발명의 사용자 피로도 통합 관리 장치(100)는 사용자 단말(200)과의 통신 채널을 형성하고 사용자 피로도 통합 관리 장치(100)를 통해 획득된 사용자 단말(200)에 제공함으로써, 사용자가 자신이 휴대하고 다니는 사용자 단말(200)을 통해 자신의 피로도를 모니터링하고 관리할 수 있도록 한다.
이때, 사용자 단말(200)는 블루투스, 무선랜, 지그비(Zigbee), 지웨이브(Z-WAVE) 중 하나의 근거리 무선 통신 방식을 채택한 무선 통신 모듈 또는 USB 및 OTG 중 하나의 유선 통신 방식을 채택한 유선 통신 모듈을 구비하는 통신 기기(예를 들어, 스마트 폰, 태블릿 PC, 스마트 와치) 일 수 있을 것이다.
본 발명의 사용자 단말(200)는 사용자 피로도 관리용 어플리케이션을 웹 스토어에서 다운로드받아 설치한 후, 사용자 피로도 관리용 어플리케이션를 통해 사용자 피로도 통합 관리 장치(100)에 접속하고, 사용자 피로도 통합 관리 장치(100)가 제공하는 각종 정보를 그래프화 및 수치화시켜 사용자에게 실시간 안내할 수 있도록 한다.
또한 사용자 단말(200)는 사용자 피로도 통합 관리 장치(100)의 제어부 대신에 사용자 피로도, 환경 정보 센싱 결과, 영상 분석 결과, 그리고 바이오리듬 정보를 데이터베이스화하여 저장 및 관리하고, 이를 기반으로 사용자 건강 모니터링 동작을 수행할 수도 있도록 한다.
뿐 만 아니라, 사용자 단말(200)는 외부의 서버에 접속하여, 사용자 피로도 통합 관리 장치(100)의 정보를 사용자별로 업로드시킨 후 웹 방식으로 공유 및 관리할 수 있도록 함으로써, 사용자가 언제 어디서나 필요 정보를 손쉽게 획득 및 활용할 수도 있도록 해준다.
도1 및 도2에서 설명된 본 발명의 사용자 피로도 통합 관리 장치는 하나의 독립적인 하드웨어 장치로 구현될 수 있으나, 필요한 경우 임베디드 장치로써 기존의 장치에 내장되는 형태로 구현될 수도 있도록 한다.
도3은 본 발명의 일 실시예에 따른 사용자 피로도 통합 관리 방법을 설명하기 위한 도면이다.
먼저, 사용자에 의해 피로도 통합 관리 동작이 활성화되면, 사용자 피로도 통합 관리 장치(100)는 영상 촬영부(110) 및 환경 정보 센싱부(120)를 통해 사용자 얼굴 영상을 획득하고(S1), 이와 동시에 사용자가 현재 위치한 장소의 환경 정보와 사용자의 바이오리듬을 획득하도록 한다(S2).
단계 S1을 통해 획득된 사용자 얼굴 영상을 영상 처리하여 사용자 얼굴 내 두 눈과 입을 추출한 후 이들의 변화 패턴을 추적하여, 눈 깜빡임 패턴, 눈동자 이동 패턴, 하품 횟수, 고개 흔들림 패턴 및 사용자 얼굴 기울기 중 적어도 하나를 확인한 후, 이를 기반으로 사용자 피로도 지수를 확인하도록 한다(S3).
단계S3을 통해 확인된 사용자 피로도 지수를 기 설정치 이상인지를 확인한다. 즉, 사용자 피로도가 적정 수준을 벗어나는지를 확인하도록 한다(S4).
단계 S4의 확인 결과, 사용자 피로도가 위험 수준에 해당하면, 단계 S2을 통해 획득된 환경 정보, 사용자 바이오리듬 및 사용자 얼굴 기울기 정보 중 적어도 하나를 고려하여 피로도 유발 요인을 확인한 후(S5), 사용자에게 시청각적으로 안내함으로써, 사용자가 현재 자신이 어떠한 이유로 어느 정도의 피로감을 느끼는지 인직한 후 피로감을 없애기 위한 후속 조치를 취하도록 한다(S6).
그리고 사용자에 의해 피로도 통합 관리 동작이 종료됐는지 확인한 후, 다시 단계 S1로 재진입하여 사용자 피로도 통합 동작을 반복적으로 수행하도록 한다(S7).
상기의 설명에서는 사용자 피로도 지수를 기 설정치 이상인 경우, 사용자 피로도 유발 요인을 확인 및 안내하는 경우에 한해 설명하였지만, 경우에 따라서는 피로도 유발 요인 확인 및 안내 동작 없이, 사용자가 현재 피로한 상태임을 또는 피로도 정도를 단순 통보하도록 할 수도 있음은 물론 당연할 것이다.
상술한 실시예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다.
따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. 또한, 이상에서 실시예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (8)

  1. 사용자 얼굴 영상을 촬영 및 획득하는 영상 촬영부;
    사용자 위치 장소의 환경 정보를 센싱하는 환경 정보 센싱부; 및
    상기 사용자 얼굴 영상에서 두 눈과 입을 검출하고 변화 패턴을 추적하여, 눈 깜빡임 패턴, 눈동자 이동 패턴, 하품 횟수, 및 고개 흔들림 패턴 중 적어도 하나를 추출 및 분석하여 사용자 피로도 지수를 산출하고, 상기 사용자 피로도 지수가 기 설정치 이상이면 상기 환경 정보 센싱 결과를 기반으로 피로도 유발 요인을 확인하여 사용자에게 안내하는 피로도 관리부를 포함하는 사용자 피로도 통합 관리 장치.
  2. 제1 항에 있어서, 상기 피로도 관리부는
    상기 영상 촬영부 및 상기 환경 정보 센싱부과의 통신 채널을 형성하고 데이터를 송수신하는 통신부;
    상기 사용자 얼굴 영상에서 두 눈과 입을 검출하고 변화 패턴을 추적하여, 눈 깜빡임 패턴, 눈동자 이동 패턴, 하품 횟수, 및 고개 흔들림 패턴 중 적어도 하나를 추출하는 영상 분석부;
    상기 영상 분석부의 영상 분석 결과를 기반으로 사용자 피로도 지수를 산출하는 피로도 산출부;
    상기 사용자 피로도 지수가 기 설정치 이상이면, 상기 환경 정보 센싱 결과를 기반으로 피로도 유발 요인을 확인한 후 상기 사용자에게 안내하는 제어부를 포함하는 사용자 피로도 통합 관리 장치.
  3. 제2항에 있어서, 상기 통신부는
    근거리 무선 통신 방식으로 상기 영상 촬영부 및 상기 환경 정보 센싱부의 정보를 수신하는 것을 특징으로 하는 사용자 피로도 통합 관리 장치.
  4. 제2 항에 있어서, 상기 환경 정보는
    온도, 습도, 이산화탄소, 미세먼지 및 VOC(volatile organic compound), 및 조도 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 사용자 피로도 통합 관리 장치.
  5. 제2항에 있어서,
    사용자 생년월일에 따른 바이오리듬 데이터를 저장 및 제공하는 바이오리듬 제공부를 더 포함하는 것을 특징으로 하는 사용자 피로도 통합 관리 장치.
  6. 제5항에 있어서, 상기 제어부는
    상기 바이오리듬 데이터를 추가 고려하여 피로도 유발 요인을 확인하는 기능을 더 포함하는 것을 특징으로 하는 사용자 피로도 통합 관리 장치.
  7. 사용자 위치 장소의 환경 정보를 센싱하는 단계;
    사용자 얼굴 영상을 획득 및 분석하여, 눈 깜빡임 패턴, 눈동자 이동 패턴, 하품 횟수, 및 고개 흔들림 패턴 중 적어도 하나를 추출하는 단계;
    상기 영상 분석부의 영상 분석 결과를 기반으로 사용자 피로도 지수를 산출하는 단계; 및
    상기 사용자 피로도 지수가 기 설정치 이상이면 사용자 알람 동작을 수행함과 동시에, 상기 환경 정보 센싱 결과를 기반으로 피로도 유발 요인을 확인한 후 상기 사용자에게 안내하는 동작을 수행하는 단계를 포함하는 사용자 피로도 통합 관리 방법.
  8. 제5항에 있어서, 상기 피로도 유발 요인을 확인한 후 상기 사용자에게 안내하는 동작을 수행하는 단계는
    상기 환경 정보 센싱 결과 이외에 사용자 생년월일에 따른 바이오리듬 데이터를 추가 고려하여 상기 피로도 유발 요인을 확인하고 상기 사용자에게 안내하는 동작을 수행하는 단계를 더 포함하는 것을 특징으로 하는 사용자 피로도 통합 관리 방법.
KR1020160115891A 2016-09-08 2016-09-08 사용자 피로도 통합 관리 장치 및 방법 KR20180028335A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160115891A KR20180028335A (ko) 2016-09-08 2016-09-08 사용자 피로도 통합 관리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160115891A KR20180028335A (ko) 2016-09-08 2016-09-08 사용자 피로도 통합 관리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20180028335A true KR20180028335A (ko) 2018-03-16

Family

ID=61910447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160115891A KR20180028335A (ko) 2016-09-08 2016-09-08 사용자 피로도 통합 관리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20180028335A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200030434A (ko) * 2018-09-12 2020-03-20 왕옥란 사물인터넷 연동 방석 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200030434A (ko) * 2018-09-12 2020-03-20 왕옥란 사물인터넷 연동 방석 시스템

Similar Documents

Publication Publication Date Title
US11279279B2 (en) Driver monitoring and response system
US20210334532A1 (en) Method and System to Control a Workflow and Method and System for Providing a Set of Task-Specific Control Parameters
KR101654609B1 (ko) 거동이 불편한 자, 장애인 및 독거노인을 위한 원격 스마트 모니터링 시스템 및 그 방법
US20180338710A1 (en) Systems and methods for markerless tracking of subjects
KR20160076770A (ko) 웨어러블 장치, 관리 서버, 이들을 포함하는 제어 시스템 및 그의 제어 방법
WO2014140841A1 (en) Systems and methods for processing images
US10614369B2 (en) Machine learning device and user identification device
CN107077214A (zh) 用于在医院中使用的通信的方法和系统
CN102610184A (zh) 调整显示状态的方法和设备
KR20150137744A (ko) 헬스케어 웨어러블 디바이스와 스마트폰을 연동한 피부진단 시스템 및 방법
KR20180136150A (ko) 듀얼 카메라를 이용한 온도 추적 모니터링 장치 및 방법
WO2018037074A1 (en) Fall warning for a user
KR20190077639A (ko) 시력 취약계층을 위한 시력 보조장치와 원격관리장치 및 시력 보조방법
CN106572795A (zh) 眼睛状况确定系统
CN108430322A (zh) 用于连续监测生命体征的设备、方法和计算机程序产品
WO2020170974A1 (ja) 管理装置、管理方法及び管理システム
JP6579411B1 (ja) 介護設備又は病院用の監視システム及び監視方法
US11016295B2 (en) Eyeglasses wearable device, method of controlling the eyeglasses wearable device and data management server
CN117133110B (zh) 一种基于机器视觉的健身房安全风险预警方法及系统
KR20180028335A (ko) 사용자 피로도 통합 관리 장치 및 방법
JP6451434B2 (ja) 監視システム
WO2017016941A1 (en) Wearable device, method and computer program product
KR102210936B1 (ko) 안내견 상태 파악 시스템
KR102309287B1 (ko) 출입관리시스템과 이것을 이용한 출입관리방법
KR102426090B1 (ko) 아이 트래킹을 이용한 공포 및 인지 장애 질환 치료의 평가 시스템 및 방법

Legal Events

Date Code Title Description
E601 Decision to refuse application