KR102474247B1 - 개인 안전 장치 및 그 동작방법 - Google Patents

개인 안전 장치 및 그 동작방법 Download PDF

Info

Publication number
KR102474247B1
KR102474247B1 KR1020197018374A KR20197018374A KR102474247B1 KR 102474247 B1 KR102474247 B1 KR 102474247B1 KR 1020197018374 A KR1020197018374 A KR 1020197018374A KR 20197018374 A KR20197018374 A KR 20197018374A KR 102474247 B1 KR102474247 B1 KR 102474247B1
Authority
KR
South Korea
Prior art keywords
user
personal safety
personal
action
safety system
Prior art date
Application number
KR1020197018374A
Other languages
English (en)
Other versions
KR20190092455A (ko
Inventor
쿠수마 자티길랑
쿠르니아완아구스
파즈리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20190092455A publication Critical patent/KR20190092455A/ko
Application granted granted Critical
Publication of KR102474247B1 publication Critical patent/KR102474247B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/90—Services for handling of emergency or hazardous situations, e.g. earthquake and tsunami warning systems [ETWS]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H04W4/21—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel for social networking applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Environmental & Geological Engineering (AREA)
  • Child & Adolescent Psychology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Public Health (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시예들에 따라 개인 안전 장치 및 그 동작 방법이 개시된다. 개시된 개인 안전 장치는, 통신 인터페이스; 하나 이상의 인스트럭션을 포함하는 메모리; 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 사용자의 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나를 획득하고, 상기 획득된 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나에 기초하여 사용자에 수행할 액션을 결정하고, 상기 획득된 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나에 기초하여 상기 결정된 액션을 수행할 장치를 결정하고, 상기 결정된 장치를 이용하여 상기 결정된 액션을 수행한다.

Description

개인 안전 장치 및 그 동작방법
다양한 실시예들은 개인 안전 장치 및 그 동작 방법에 관한 것으로, 좀더 구체적으로는, 사용자의 다양한 환경 정보에 기초하여 사용자의 안전을 도모하기 위한 장치 및 방법에 관한 것이다.
기술 발전으로 기술을 통해 개인화된 경험과 솔루션을 다음 단계로 가져와 상황의 맥락, 개인의 습관에 맞게 솔루션을 조정할 수 있으며 사람들의 기분과 감정에 대응할 수 있다. 스마트 폰, 스마트 시계 등과 같은 최신 모바일 전자 장치는 동적인 환경에서 사람의 안전과 안전 감각을 향상시키기 위해 간단한 지능형 개인 안전 시스템을 제공할 수 있다.
다양한 실시예들에 따라 간단한 구성요소들에 의해 사용자의 환경 정보를 수집하고 이러한 사용자 환경 정보에 기초하여 사용자의 상황에 적절한 액션을 결정하고 수행함으로써 사용자의 안전을 보다 효과적으로 도모할 수 있는 개인 안전 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.
실시예들에 따라 사용자의 개인환경정보 나 주변환경정보 중 적어도 하나에 기초하여 사용자에게 수행할 액션을 결정하고 이에 따라 결정된 액션을 수행하는 개인 안전 장치 및 그 동작 방법이 개시된다.
다양한 실시예들에 따라 간단한 구성요소들에 의해 사용자의 안전을 보다 효과적으로 도모할 수 있는 개인 안전 시스템을 제공할 수 있다.
도 1은 실시예들에 따른 개인 안전 시스템의 개념을 설명하기 위한 참고도이다.
도 2는 일 실시예에 따른 개인 안전 장치의 블록도이다.
도 3은 일 실시예에 따른 개인 안전 장치의 동작 과정을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 SoC 모듈 기반 개인 안전 시스템의 개괄적인 개요이다.
도 5는 일 실시예에 따라 개인 안전 시스템이 설치된 전자 장치의 일 예를 나타낸다.
도 6은 개인 안전 시스템을 위한 SoC 모듈 아키텍처 600를 나타낸다.
도 7은 일 실시예에 따라 개인 안전 시스템에서 버스 통신을 위한 논리적 설계를 나타낸다.
도 8은 일 실시예에 따라 개인 안전 시스템 기반의 SoC가 센서 및 액추에이터 장치에 연결하는 일반적인 개요를 나타낸다.
도 9는 일 실시예에 따라 외부 센서 / 액추에이터에 대한 통신 모델이다.
도 10은 일 실시예에 따라 개인 안전 시스템의 주 메뉴에 대한 피쳐 상세도이다.
도 11은 일 실시예에 따라 웨어러블 장치를 개인 안전 시스템에 등록하기 위한 샘플 시나리오를 나타낸다.
도 12는 일 실시예에 따라 연결된 장치의 구성을 변경하기 위한 샘플 시나리오를 나타낸다.
도 13은 일 실시예에 따라 개인 안전 시스템을 사용하여 웨어러블 장치에 심박수 모니터링을 구성하기 위한 샘플 시나리오를 나타낸다.
도 14는 일 실시예에 따라 스마트 폰상에서 모니터링 반경을 구성하기 위한 샘플 시나리오이다.
도 15는 일 실시예에 따라 개인 안전 시스템에 대한 소셜 미디어 등록의 샘플 시나리오이다.
도 16은 일 실시예에 따라 개인 안전 시스템으로부터 소셜 미디어 계정을 제거하기 위한 샘플 시나리오이다.
도 17은 일 실시예에 따라 개인 안전 시스템에 대한 새로운 RSS 제공자 등록의 샘플 시나리오이다.
도 18은 일 실시예에 따라 개인 안전 시스템으로부터 RSS 제공자를 제거하기 위한 샘플 시나리오이다.
도 19는 일 실시예에 따라 사전 정의된 동작 구성의 샘플 시나리오이다.
도 20은 일 실시예에 따라 개인 안전 시스템에서의 앙상블 학습 계산의 흐름도이다.
도 21은 일 실시예에 따라 사용자의 감정 인식 시스템에 대한 개괄적인 개요이다.
도 22는 일 실시예에 따라 웨어러블 디바이스에서 생물학적 데이터를 측정하는 동작의 흐름도이다.
도 23은 사용자의 등록된 착용 가능 장치로부터의 동적 이동의 통지를 수신하는 안전 시스템 SoC 활동의 흐름도이다.
도 24는 일 실시예에 따라 사용자의 동적 움직임을 검출한 웨어러블 장치의 샘플 시나리오를 나타낸다.
도 25는 일 실시예에 따라 감정 인식 시스템에 대한 모든 데이터를 수집하는 개인 안전 시스템의 동작 흐름도이다.
도 26은 일 실시예에 따라 사용자 감정 상태를 예측하는 감정 인식 시스템의 흐름도이다.
도 27은 일 실시예에 따라 포커스 레벨 검출의 흐름도이다.
도 28은 일 실시예에 따라 온라인 학습 모델의 흐름도이다.
도 29는 일 실시예에 따라 스마트 카 시스템 경보의 샘플 시나리오이다.
도 30은 일 실시예에 따라 스마트 카의 통지 경보의 샘플 시나리오이다.
도 31은 일 실시예에 따라 통지 모델의 흐름도이다.
도 32는 일 실시예에 따라 주변 장치에 통지가 전달되는 예를 나타낸다.
도 33은 일 실시예에 따라 부정적 감정 결과를 재저장하기 위한 감정 인식 시스템의 샘플 시나리오이다.
도 34는 일 실시예에 따라 개인 안전 대시 보드의 샘플 시나리오이다.
도 35는 일 실시예에 따라 통지의 상세 정보를 디스플레이하는 시스템의 샘플 시나리오이다.
발명의 실시를 위한 최선의 형태
일 실시예에 따른 개인 안전 장치는, 통신 인터페이스; 하나 이상의 인스트럭션을 포함하는 메모리; 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 사용자의 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나를 획득하고, 상기 획득된 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나에 기초하여 사용자에 수행할 액션을 결정하고, 상기 획득된 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나에 기초하여 상기 결정된 액션을 수행할 장치를 결정하고, 상기 결정된 장치를 이용하여 상기 결정된 액션을 수행한다.
일 실시예에 따라 사용자의 개인 환경 정보는, 상기 사용자의 물리적/생물학적 환경 정보와 상기 사용자의 심리적 환경 정보를 포함할 수 있다.
일 실시예에 따라 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 사용자의 위치 정보나 속도 정보로부터 상기 사용자의 물리적 환경 정보를 획득하고, 상기 사용자의 물리적 환경 정보로부터 상기 사용자의 이동 타입을 결정할 수 있다.
일 실시예에 따라 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 하나 이상의 센서를 통해 감지되는 상기 사용자의 생물학적 데이터로부터 상기 사용자의 생물학적 환경 정보를 획득하고, 상기 사용자의 생물학적 환경 정보로부터 상기 사용자의 건강 상태를 결정할 수 있다.
일 실시예에 따라 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 사용자의 심리적 환경 정보는, 인터넷 상의 소셜 서비스 어플리케이션 이나 메시징 어플리케이션에서의 상기 사용자의 행동 정보로부터 상기 사용자의 심리적 환경 정보를 획득하고, 상기 심리적 환경 정보에 기초하여 상기 사용자의 감정 타입을 결정할 수 있다.
일 실시예에 따라 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 결정된 상기 사용자의 이동 타입, 상기 사용자의 건강 상태 또는 상기 사용자의 감정 타입 중 적어도 하나에 기초하여 상기 사용자에 수행할 액션을 결정할 수 있다.
일 실시예에 따라 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 액션은, 이미지 출력, 경고 출력, 오디오 출력, 사물 인터넷 제어 중 적어도 하나를 포함할 수 있다.
일 실시예에 따라, 상기 액션을 수행할 장치는, 상기 사용자에 의해 제어가능한 사용자의 개인 장치 또는 상기 사용자 주변의 주변 장치를 포함할 수 있다.
일 실시예에 따라 상기 환경 정보, 상기 액션, 상기 액션을 수행할 장치는 사용자에 의해 커스터마이즈 가능하다.
일 실시예에 따라 개인 안전 장치는 시스템 온 칩 으로 구현될 수 있다.
일 실시예에 따라 개인 안전 장치의 동작 방법은, 사용자의 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나를 획득하는 동작, 상기 획득된 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나에 기초하여 사용자에 수행할 액션을 결정하는 동작, 상기 획득된 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나에 기초하여 상기 결정된 액션을 수행할 장치를 결정하는 동작, 상기 결정된 장치를 이용하여 상기 결정된 액션을 수행하는 동작을 포함한다.
일 실시예에 따라 개인 안전 장치의 동작 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 개시된다.
발명의 실시를 위한 형태
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에서 “사용자”라는 용어는 제어 장치를 이용하여 영상 표시 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
본 발명은 SoC 환경에 최적화된 온라인 학습 모델과 배치 학습 모델을 결합한 앙상블 학습을 적용하면서 다중 인식 기술을 통합한 SoC (System-on-Chip) 형태의 지능형 개인 안전 시스템을 제안한다. 본 발명은 머신 러닝 (machine learning) 컴퓨팅을 포함하는 모든 감지 및 액츄에이팅 프로세스를 수행하기 위해 시스템온칩 (SoC) 모듈상에서 동작하고, 사용자의 기분 및 감정에 응답하기 위해 다수의 정교한 다중 인식 기술을 사용한다. 동적 환경의 맥락에 대한 자기 추천을 제공한다. 다양한 센서 및 소스를 통해 얻은 사용자 컨텍스트 기반으로 사용자는 개인 휴대 장치로부터 자신의 개인 안전 시스템을 설계하고 관리할 수 있다. 사용자의 안전을 우선시하고 사용자가 SoC에서 모든 계산을 실행할 때 사용자의 프라이버시를 유지하면서 모든 환경에서 잠재적 위험 또는 위험 또는 위협을 피할 수 있다. 본 발명에서 개시된 기술은 모든 종류의 스마트 장치에 적용되어 동적 환경에서 사용자의 안전을 우선시 할 수 있다.
도 1은 실시예들에 따른 개인 안전 시스템의 개념을 설명하기 위한 참고도이다.
도 1을 참조하면, 실시예들에 따른 개인 안전 시스템은 사용자 110의 개인 환경 120 또는 주변 환경 130 에 대한 정보를 수집하고, 수집된 개인 환경 120또는 주변 환경 130에 대한 정보를 이용하여 사용자 110의 안전을 분석한다. 실시예들에 따른 개인 안전 시스템은 사용자 110의 안전 분석 결과 안전하지 않다고 판단된 경우 하나 이상의 장치를 이용하여 사용자 110에게 알림을 제공할 수 있다.
사용자 110의 환경으로는 개인 환경 120과 주변 환경 130을 포함할 수 있다. 개인 환경 120는 사용자 110의 물리적/생물학적 환경과 심리적 환경을 포함할 수 있다. 사용자 110의 물리적 또는 생물학적 환경은 다양한 센서를 이용하여 측정할 수 있는 사용자의 생물학적 데이터를 의미한다. 물리적/생물학적 환경은 예를 들어 사용자의 위치, 사용자의 속도, 사용자의 맥박, 사용자의 혈압, 사용자의 심장박동수 등을 포함할 수 있다. 사용자의 위치나 속도는 예를 들어 스마트 기기에 설치된 GPS 센서나 자이로스코프 등에 의해 획득될 수 있다. 사용자의 맥박, 혈압, 심작박동수 등은 예를 들어 웨어러블 기기에 설치된 다양한 센서들에 의해 획득될 수 있다. 사용자의 물리적/생물학적 환경은 사용자의 건강 상태를 파악하는데 이용될 수 있다.
사용자의 심리적 환경은 사용자의 인터넷 상에서의 행동을 나타낸다. 예를 들어 사용자의 소셜 네트워크 어플리케이션 또는 메시징 어플리케이션에서의 사용자의 행동 즉, 사용자가 입력한 텍스트나, 이모티콘, 사용자의 음성, 사용자가 사용한 이미지 등이 될 수 있다. 이러한 사용자의 심리적 환경은 사용자의 감정 상태를 파악하는데 이용될 수 있다.
사용자 110의 주변 환경 130은 사용자 개인에 관한 환경이 아니라 사용자 주위의 상태를 말한다. 예를 들어, 사용자 주위에서 발생하는 사고나, 천재 지변 등을 포함할 수 있다.
실시예들에 따른 개인 안전 시스템은 이와 같은 사용자의 개인 환경 120 및/또는 주변 환경 130을 종합하여 사용자의 안전 상태를 판단할 수 있다.
실시예들에 따른 개인 안전 시스템은 사용자의 안전 상태 판단 결과 사용자에게 알림을 제공할 필요가 있다고 판단할 수 있다.
또한 실시예들에 따른 개인 안전 시스템은 사용자 110의 개인 환경 120 또는 주변 환경 130에 대한 정보를 기초로, 사용자 100에게 알림을 제공할 때 이용하는 사용자 장치를 결정할 수 있다. 사용자 장치는 개인 장치 140 또는 주변 장치 150을 포함할 수 있다.
개인 장치 140는 사용자 110이 제어가능한 장치로서 사용자의 스마트 폰, 데스크 탑, 웨어러블 장치, 스마트 카 등을 포함할 수 있다. 주변 장치 150는 사용자의 주위에 있는 장치로서 예를 들어 다양한 IoT 센서들, 또는 옥외 전자 게시판 등을 포함할 수 있다.
도 2는 일 실시예에 따른 개인 안전 장치의 블록도이다.
도 2를 참조하면, 개인 안전 장치 200는 통신부 210, 제어부 220, 메모리 230을 포함한다.
통신부 210는 제어부 220의 제어에 의해 개인 안전 장치 200를 외부 단말 장치와 연결할 수 있다. 통신부 210은 무선 랜, 및 유선 이더넷(Ethernet) 중 하나를 포함할 수 있다. 또한, 통신부 210은 무선랜, 및 유선 이더넷(Ethernet)의 조합을 포함할 수 있다.
일 실시예에 따라 통신부 210은 사용자의 심리적 환경 즉, 사용자의 인터넷 상에서의 행동을 서버 컴퓨터로부터 수신할 수 있다. 사용자의 인터넷 상의 행동은, 예를 들어 사용자의 소셜 네트워크 어플리케이션 또는 메시징 어플리케이션에서의 사용자의 행동 즉, 사용자가 입력한 텍스트나, 이모티콘, 사용자의 음성, 사용자가 사용한 이미지 등이 될 수 있다.
메모리 230는 제어부 220의 제어에 의해 개인 안전 장치 200를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
메모리 230는 개인 안전 장치 200 및 제어부 220의 제어를 위한 오퍼레이팅 시스템, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
메모리 230는, 롬, 램 또는 개인 안전 장치에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 메모리 230는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
특히 일 실시예에 따라 메모리 230는 개인 안전 시스템 모듈 240을 포함할 수 있다.
제어부 220는 개인 안전 장치 200의 전반적인 동작 및 개인 안전 장치 200의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부 220는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리 230에 저장된 OS(Operation System) 및 다양한 애플리케이션 및 개인 안전 시스템 모듈 240에 저장된 하나 이상의 어플리케이션을 실행할 수 있다.
제어부 220는 개인 안전 장치 200의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 개인 안전 장치 200에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램, 개인 안전 장치 200의 제어를 위한 제어 프로그램이 저장된 롬 및 프로세서를 포함할 수 있다.
제어부 220에 이용되는 프로세서는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 통합한 SoC(System On Chip)로 구현될 수 있다. 또한, 프로세서는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.
일 실시예에 따른 제어부 220은 메모리 230에 포함된 개인 안전 시스템 모듈 240에 저장된 하나 이상의 인스트럭션을 실행함으로써, 사용자의 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나를 획득하고, 상기 획득된 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나에 기초하여 사용자에 수행할 액션을 결정하고, 획득된 개인 환경 정보 또는 주변 환경 정보 중 적어도 하나에 기초하여 상기 결정된 액션을 수행할 장치를 결정하고, 상기 결정된 장치를 이용하여 상기 결정된 액션을 수행할 수 있다.
일 실시예에 따라 사용자의 개인 환경 정보는, 상기 사용자의 물리적/생물학적 환경 정보와 상기 사용자의 심리적 환경 정보를 포함할 수 있다.
일 실시예에 따른 제어부 220은 메모리 230에 포함된 개인 안전 시스템 모듈 240에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 사용자의 위치 정보나 속도 정보로부터 상기 사용자의 물리적 환경 정보를 획득하고, 상기 사용자의 물리적 환경 정보로부터 상기 사용자의 이동 타입을 결정할 수 있다.
일 실시예에 따른 제어부 220은 메모리 230에 포함된 개인 안전 시스템 모듈 240에 저장된 하나 이상의 인스트럭션을 실행함으로써, 하나 이상의 센서를 통해 감지되는 상기 사용자의 생물학적 데이터로부터 상기 사용자의 생물학적 환경 정보를 획득하고, 상기 사용자의 생물학적 환경 정보로부터 상기 사용자의 건강 상태를 결정할 수 있다.
일 실시예에 따른 제어부 220은 메모리 230에 포함된 개인 안전 시스템 모듈 240에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 사용자의 심리적 환경 정보는, 인터넷 상의 소셜 서비스 어플리케이션 이나 메시징 어플리케이션에서의 상기 사용자의 행동 정보로부터 상기 사용자의 심리적 환경 정보를 획득하고, 상기 심리적 환경 정보에 기초하여 상기 사용자의 감정 타입을 결정할 수 있다.
일 실시예에 따른 제어부 220은 메모리 230에 포함된 개인 안전 시스템 모듈 240에 저장된 하나 이상의 인스트럭션을 실행함으로써, 상기 결정된 상기 사용자의 이동 타입, 상기 사용자의 건강 상태 또는 상기 사용자의 감정 타입 중 적어도 하나에 기초하여 상기 사용자에 수행할 액션을 결정할 수 있다.
일 실시예에 따라 액션은, 이미지 출력, 경고 출력, 오디오 출력, 사물 인터넷 기기 제어 중 적어도 하나를 포함할 수 있다.
일 실시예에 따라 액션을 수행할 장치는, 상기 사용자에 의해 제어가능한 사용자의 개인 장치 또는 상기 사용자 주변의 주변 장치를 포함할 수 있다.
일 실시예에 따라 환경 정보, 상기 액션, 상기 액션을 수행할 장치는 사용자에 의해 커스터마이즈 가능하다.
한편, 도시된 이상 개인 안전 장치 200의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 개인 안전 장치 200의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 2에 도시된 개인 안전 장치 200 는 그 자체로 독립적인 단말 장치로 구현될 수 있다. 개인 안전 장치 200가 독립적인 단말장치로 구현되는 경우 개인 안전 장치 200는 다양한 센서들, 사용자 입출력부, 비디오/오디오 출력부를 더 포함할 수 있다.
또는, 도 2에 도시된 개인 안전 장치 200는 시스템 온 칩(SoC)의 형태로 다른 사용자 단말장치, 예를 들어 스마트폰, 웨어러블 장치, 개인 휴대 장치 등에 임베드될 수 있다.
또는, 도 2에 도시된 개인 안전 장치 200는 서버 컴퓨터에 존재할 수도 있다.
도 3은 일 실시예에 따른 개인 안전 장치의 동작 과정을 나타내는 흐름도이다.
도 3을 참조하면, 동작 S310에서 개인 안전 장치는 사용자의 개인 환경 또는 주변 환경 정보를 획득할 수 있다. 사용자의 개인 환경은 사용자의 물리적/생물학적 환경과 심리적 환경을 포함할 수 있다. 사용자의 물리적/생물학적 환경은 사용자의 웨어러블 장치에 마련된 다양한 센서나 사용자의 스마트폰에 마련된 위치 센서 등에 의해 획득될 수 있다. 사용자의 심리적 환경은 사용자의 인터넷상의 행동으로부터 획득될 수 있다. 사용자의 주변 환경 정보는 예를 들어 사용자 주변의 다양한 IoT 센서를 통해 획득되거나 또는 서버로부터 획득될 수 있다.
동작 S320에서 개인 안전 장치는 사용자의 개인 환경 또는 주변 환경 정보에 기초하여 사용자에게 수행할 액션을 결정할 수 있다. 개인 안전 장치는, 사용자가 고속 이동 중에 있는지 즉, 사용자가 운전중에 있는지, 사용자의 감정 상태는 어떠한 지 등에 따라 사용자에게 적절한 액션을 결정할 수 있다. 사용자에게 수행하는 액션은, 예를 들어, 경고 알림, 오디오 출력, 메시지 출력, 사용자 주변의 IoT 기기의 제어를 포함할 수 있다.
예를 들어, 사용자가 자동차 주행중에 감정이 우울한 감정을 나타내면 개인 안전 장치는 스마트 카를 이용하여 행복한 음악을 출력하는 것을 액션으로 결정할 수 있다.
예를 들어, 사용자가 자동차 주행중에 화난 감정을 나타내면 개인 안전 장치는 스마트 카나 웨어러블 장치를 통해 경고음이나 경고 메시지를 출력하는 것을 액션으로 결정할 수 있다.
예를 들어, 사용자가 집안에서 슬픈 감정을 나타내면 개인 안전 장치는 실내 등을 밝게 조절하도록 IoT 기기를 제어하고 또한 즐거운 음악을 출력하도록 스피커를 제어하는 것을 액션으로 결정할 수 있다.
동작 S330에서 개인 안전 장치는 사용자의 개인 환경 또는 주변 환경 정보에 기초하여 사용자에게 액션을 수행할 장치를 결정할 수 있다. 개인 안전 장치는 사용자가 고속 이동 중에 있는지 여부 등을 고려하여 사용자에게 수행할 액션을 어떤 장치를 통해서 수행할지를 결정할 수 있다. 액션을 수행할 장치는 개인 장치와 주변 장치를 포함할 수 있으며 개인 장치는 사용자에 의해 직접 제어가능한 사용자의 단말 장치 예를 들어 스마트 폰이나 웨어러블 장치 또는 스마트 카 등을 포함할 수 있고, 주변 장치는 사용자에 의해 직접 제어 가능하지 않은 장치로서 사용자 주변의 IoT 장치나 옥외 전자 게시판 등을 포함할 수 있다. 예를 들어 사용자가 운전중에 있다면 개인 안전 장치는 통지를 사용자의 스마트폰이 아니라 사용자의 웨어러블 장치나 또는 스마트 카를 이용하여 전달하는 것으로 결정할 수 있다.
동작 S340에서 개인 안전 장치는 결정된 장치를 이용하여 액션을 수행할 수 있다.
도 4는 일 실시예에 따른 SoC 모듈 기반 개인 안전 시스템의 개괄적인 개요이다.
도 4를 참조하면, SoC를 기반으로 한 개인 안전 시스템 400은 각 모듈마다 다른 기능을 가진 MCU (Microprocessor Unit), 스토리지, 네트워크 모듈 및 GPIO와 같은 여러 모듈로 구성될 수 있다. 개인 안전 시스템 400은 GPS, 가속도계, 콤파스, 헬스 센서 장치와 같은 센서 장치 410와 통합되어 사용자의 물리적 환경을 감지할 수 있다. 또한 개인 안전 시스템 400은 통신 인터페이스 등을 통해 사용자의 행동 데이터 420를 수신할 수 있다. 사용자의 행동 데이터는 사용자의 인터넷 상에서의 행동 예를 들어, 트위터, 페이스북, 소셜 미디어, 뉴스 등과 같은 소셜 네트워크 서비스 상에서의 사용자의 행동 이나 사용자의 이력 등을 포함할 수 있다. 이와 같은 인터넷상의 사용자의 행동은 사용자의 정신적 환경 즉, 감정을 판단하는데 이용될 수 있다.
개인 안전 시스템 400은 센서 장치 410 으로부터의 센싱 데이터 또는 행동 데이터 420에 기반하여 사용자의 안전 상태를 판단하고, 판단 결과에 따라 사용자에게 통지 430 하거나 또는 액추에이터 장치 440를 통해 알림을 표시할 수 있다.
또한 개인 안전 시스템 400은 센싱 데이터 또는 행동 데이터에 기반하여 사용자의 안전 상태 판단 결과를 통지할 때 어떠한 매체를 통해서 사용자에게 전달할지도 판단할 수 있다. 즉, 개인 안전 시스템 400은 사용자의 안전 상태 판단 결과를 통지할 때 사용자의 안전 상태를 고려하여 그 결과를 통지하기에 가장 적절한 장치를 결정할 수 있다.
또한 개인 안전 시스템 400은 사용자의 안전 상태를 판단하거나 안전 상태 결과를 전달할 매체를 결정하기 위해 기계 학습 컴퓨팅을 이용할 수 있다.
도 5는 일 실시예에 따라 개인 안전 시스템이 설치된 전자 장치의 일 예를 나타낸다.
도 5를 참조하면, 개인 안전 시스템 100이 설치되는 전자 장치 500는 스마트폰이나 스마트 와치 등과 같은 개인용 전자 장치를 포함할 수 있다.
전자 장치 500는 메시징 어플리케이션 510, 소셜 미디어 어플리케이션 520, 센서 530, 프로세서 540를 포함하며 또한 개인 안전 시스템 100을 포함할 수 있다.
센서 530은 사용자의 여러가지 생물학적 데이터를 측정할 수 있으며, 예를 들어 심작박동수 센서, 자이로스코프, 제스쳐 센서, 맥박 센서 등을 포함할 수 있다.
프로세서 540은 전자 장치 500 내의 구성요소들을 제어한다.
도 6은 개인 안전 시스템을 위한 SoC 모듈 아키텍처 600를 나타낸다.
SoC를 기반으로 한 개인 안전 시스템은 각 모듈마다 다른 기능을 가진 MCU (Microprocessor Unit) 610, 스토리지 620, 네트워크 모듈 630및 GPIO640와 같은 여러 모듈로 구성될 수 있다.
도 6을 참조하면, 중앙 지능형 개인 시스템이 되는 주요 특징으로서 SoC 형태를 이용한다. MCU (Microcontroller) 610는 모든 기계 학습 계산을 수행하고, 스토리지 620는 프로그램과 데이터를 저장하며, 네트워크 모듈(Network Module) 630은 MCU와 외부 시스템 간의 통신을 처리하며, 예를 들어 와이파이 모듈, 와이파이 다이렉트 모듈, 블루투스 모듈, NFC 모듈을 포함할 수 있다. GPIO 640는 SoC I / O 핀으로 지능 시스템 작동을 위한 다양한 모듈로 구성되며, 외부의 센서, 액추에이터 및 기타 시스템을 연결하는 데 사용된다.
SoC기반 개인 안전 시스템은 모든 I / O 프로세스를 관리할 수 있는 MCU (마이크로 컨트롤러)를 갖춘 독립형 시스템으로 작동할 수 있다. 이는 사용자가 특수 목적으로 통합 SoC기반 개인 안전 시스템을 사용하여 자체 PCB를 구축할 수 있음을 의미한다. 또한 실시예에 따른 개인 안전 시스템 를 제어할 수 있는 스마트 폰, 웨어러블 및 기타 장치 보드에 설치될 수 있다.
SoC에 기반한 개인 안전 시스템 600는 MCU, 스토리지, 네트워크 모듈 및 GPIO와 같은 일부 하드웨어 구성 요소를 통합하는 복잡한 엔티티로 구성될 수 있다. 또한 모든 스마트 / 지능형 활동은 스마트 폰 또는 스마트 시계가 될 수 있는 특정 임베디드 장치를 통해 얻은 입력과 함께 수행될 수 있다. SoC에 기반한 개인 안전 시스템 600의 첫 번째 지능형 활동은 동적 이동 감지이다. 고속 이동 검출 모듈 621 사용자가 빠른 움직임에 있을 때 우리가 운동 범주를 탐지할 수 있게 해주는 지능 시스템이다. 스마트 와치가 이런 종류의 움직임을 감지하면 스마트 폰 / 스마트 와치와 같은 사용자의 연결된 장치에 빠른 이동 범주에 대한 알림을 보낸 다음 SoC기반 개인 안전 시스템 600에서 감정 인식 시스템 (ERS) 622을 자동으로 활성화할 수 있다.
센서를 통해 얻은 사용자의 소셜 미디어 활동 및 생물학적 데이터 입력을 소비함으로써 감정 인식 시스템 (ERS) 622은 특정 순간의 사용자 감정 상태를 예측할 수 있다. 양방향 통신은 SoC기반 개인 안전 시스템 600 및 임베디드 장치를 따라 수행될 수 있다. 임베디드 장치로 스마트 시계 / 스마트 폰이 자동으로 사용자 심박수 및 손 제스처 센서를 활성화한다. 스마트 폰은 사용자의 생체 데이터를 기록하여 스마트 폰으로 전송하며 스마트 폰은 사용자의 소셜 미디어에서 이전 사용자의 활동을 수집하고 사용자의 감정 상태를 예측하기 위한 추가 정보로 메시징 애플리케이션에서 수집할 수 있다.
본 발명은 1) 센서 및 오디오 데이터를 계산하는 온라인 학습 모델과 2) 텍스트 데이터를 처리하는 배치 학습 모델의 두 가지 학습 모델을 결합한 앙상블 학습(Ensemble Learning) 접근법을 적용할 수 있다. 결과가 부정적인 감정 상태를 나타내면 감정 인식 시스템 (ERS) 622은 액션 처리 모듈 624에 직접 통보한다. 그렇지 않으면 포커스 레벨 검출 모듈 623은 긍정적인 감정 상태에서도 사용자 상태를 깊이 조사할 수 있다. 마지막으로, 감정인식 시스템 622은 액션 처리 모듈 624에 결과를 보낼 수 있다.
액션 처리 모듈 624는 사용자의 감정 상태를 기초로 예측 모델을 계산하고 사용자의 감정 상태 및 사용자의 이동 상태 등 사용자의 다양한 환경 정보에 근거하여 사용자에게 적절한 액션을 결정하고, 또한 이러한 액션을 수행할 적절한 장치를 결정하고, 결정된 장치를 이용하여 결정된 액션에 따라 적절한 조치를 수행할 수 있다.
도 7은 일 실시예에 따라 개인 안전 시스템에서 버스 통신을 위한 논리적 설계를 나타낸다.
도 7을 참조하면, 일 실시예에 따른 개인 안전 시스템은 BUS 시스템에서 작동하는 필수 엔티티와 최적의 계산으로 기계 학습을 실행하는 SoC로 구성된 완성된 칩 형태로 될 수 있다. 개인 안전 시스템은 버스 780를 통해 서로 통신하는 여러 모듈로 구성될 수 있다.
마이크로 프로세서 유닛(MCU) 710는 기계 학습 계산을 수행하고 제어하는 계산 단위의 핵심이 된다.
내부 메모리 720는 기계 학습 알고리즘의 임시 매개 변수를 저장하는 빠른 메모리이다.
내부 고속 스토리지 730는 기계 학습 응용 프로그램과 관련된 데이터를 저장하는 데 사용되는 영구 저장소로서, 핵심 안전 시스템을 저장하는 데 사용될 수 있다.
네트워크 드라이버 740는 WiFi, BLE, NFC와 같은 기존 설치된 네트워크 모듈 750과 통신하는 네트워크 인터페이스 모듈이다.
ADC (아날로그 - 디지털 변환기) 및 DAC (디지털 - 아날로그 변환기) 760는 I2C / SPI 프로토콜을 통해 센서 및 액추에이터 I/O 770와 통신하는 데 사용되는 아날로그 및 디지털 처리 용 변환기 모듈이다.
도 8은 일 실시예에 따라 개인 안전 시스템 기반의 SoC가 센서 및 액추에이터 장치에 연결하는 일반적인 개요를 나타낸다.
도 8을 참조하면, 스마트 폰 830 이나 웨어러블 장치 840는 내부에 설치된 SoC 기반 개인 안전 시스템을 이용하여 기계 학습 계산을 수행할 수 있다. 데이터는 연결된 센서 장치 및 인터넷 네트워크를 통한 소셜 미디어 또는 공공 안전 웹과 같은 외부 소스에서 얻을 수 있다.
SoC기반 개인 안전 시스템 600는 외부 센서 810및 액추에이터 장치 820를 추가하여 확장할 수 있다. 센서 장치 810로부터 각각의 획득 데이터는 개인 안전 시스템 600에 의해 제어될 수 있다. 그리고 데이터를 계산하여 위험한 상황이 사용자 환경에서 발생하는지 확인할 수 있다.
개인 안전 시스템 600이 SoC 형태로 설계되기 때문에, 본 발명은 개인 안전과 관련된 모든 활동을 수행하기 위한 독립형 시스템으로서 동작할 수 있다. 또는 SoC 기반 개인 안전 시스템은 스마트 폰, 웨어러블 장치 및 일반 내장형 보드 장치와 같은 장치에 내장될 수 있다.
개인 안전 시스템 600이 웨어러블 장치 또는 IoT 보드 인 스마트 폰에 배치되어도, 주 제어 장치는 여전히 웨어러블 장치 또는 스마트 폰이 가질 수 있다. 따라서 웨어러블 장치나 스마트 폰은 개인 안전 시스템 600에 명령을 전송하여 기계 학습 계산을 수행하게 할 수 있다.
또는 맞춤형 보드에 배포된 개인 안전 시스템 600이 주 제어 장치의 역할을 할 수 있다. 이 경우 개인 안전 시스템 600은 기계 학습 계산을 관리하는 센서 및 액추에이터에 대한 모든 리소스를 관리할 수 있다.
도 9는 일 실시예에 따라 외부 센서 / 액추에이터에 대한 통신 모델이다.
도 9를 참조하면, SoC 900에 연결된 각 센서 810 및 액추에이터 장치 820가 데이터 어드레싱에 의해 어떻게 제어되는지 설명된다. 데이터 주소 지정기 930은 모든 외부 장치를 매핑해야 하며, I2C 및 SPI 프로토콜로 구현될 수 있다. 이러한 방법은 많은 센서 및 액추에이터를 사용하는 데 유용하다. 각 센서 810 및 액츄에이터 장치 820에는 각각 고유 한 데이터 주소가 있다. ADC / DAC 모듈 910 디지털에서 아날로그로 또는 그 반대로 변환하는 데 사용되며, ADC/DAC 모듈 910과 데이터 주소 지정기 930은 버스 920를 통해서 통신할 수 있다.
도 10은 일 실시예에 따라 개인 안전 시스템의 주 메뉴에 대한 피쳐 상세도이다.
일 실시예에 따라 사용자가 사용자의 선호도에 따라 안전 시스템을 구성할 수 있는 커스터마이제이션 특징을 제공한다. 커스터마이제이션은 사용자가 연결 장치를 구성하고, 계정을 구성하고, 서비스 프로바이더를 구성하고, 액션을 구성하는 것을 포함할 수 있다.
도 10을 참조하면, 스마트 폰에 표시되는 개인 안전 시스템이 제공하는 메인 페이지 1000는 장치 구성 아이템 1010, 계정 구성 아이템 1020, 서비스 프로바이더 구성 아이템 1030, 개인화된 액션 구성 아이템 1040을 포함할 수 있다.
장치 구성 아이템 1010의 선택에 의해 연결된 장치들을 보여주는 페이지 1011을 제공할 수 있다.
계정 구성 아이템 1020의 선택에 의해 연결된 계정들을 보여주는 페이지 1021을 제공할 수 있다.
서비스 프로바이더 구성 아이템 1030의 선택에 의해 연결된 서비스 프로바이더들을 보여주는 페이지 1031을 제공할 수 있다.
개인화된 액션 구성 아이템 1040의 선택에 의해 개인화된 액션들을 보여주는 페이지 1041을 제공할 수 있다.
장치를 연결하는 데 사용되는 프로토콜은 Wi-Fi, Bluetooth 및 USB와 같은 다른 방법으로도 사용할 수 있다. USB를 사용하려는 의도는 안전 시스템이 작동 중일 때 스마트 폰의 배터리 소모를 무효화하는 것이다. 이 경우 스마트 폰과 스마트 카가 연결되었을 때 사용될 수 있다.
이제 도 11 및 도 12를 참조하여, 개인 안전 시스템에 웨어러블 장치를 등록하고 접속 프로토콜을 구성하기 위한 샘플 시나리오를 설명한다.
도 11은 일 실시예에 따라 웨어러블 장치를 개인 안전 시스템에 등록하기 위한 샘플 시나리오를 나타낸다.
일 실시예에 따라 개인 안전 시스템이 제공하는 커스터마이제이션 기능은 사용자의 특정 장치를 추가하거나 제거하는 것을 포함할 수 있다. 예를 들어 추가되는 장치는 Smart Phone, Smart Watch 및 Smart Car로 분류될 수 있으며, 사용자는 지원되는 모든 장치를 추가하여 시스템 정밀도와 정확도를 추가할 수 있다.
도 11을 참조하면, 연결 장치 구성을 위한 제1페이지 1110에는 연결된 장치로서 스마트 폰 1111과 스마트 카 1112를 포함한다. 그리고 제1페이지 1110에는 장치 추가 아이템 1113을 포함한다. 사용자에 의해 장치 추가 아이템 1113이 선택되면 제2페이지 1120이 표시된다.
제2페이지 1120는 추가할 장치의 목록으로서 스마트 카 1121, 스마트 폰 1122, 스마트 와치 1123을 포함할 수 있다. 사용자에 의해 스마트 와치 1123이 선택되면 제3페이지 1130이 표시된다.
제3페이지 1130는, 연결할 프로토콜의 목록으로서 블루투스 1131, 와이파이 1132, USB 1133을 포함할 수 있다. 사용자에 의해 블루투스 1131이 선택되면 제4페이지 1140이 표시된다.
제4페이지 1140은 주변에 발견되는 장치들의 목록으로서 SW-XYZ(smart watch) 1141, SW-DDD(smart watch) 1142, SC-456(smart car) 1143, STV LED40 (smart TV) 1144를 포함할 수 있다. 사용자에 의해 SW-XYZ(smart watch) 1141 이 선택되면, 제5페이지 1150이 표시된다.
제5페이지 1150는 사용자 의해 선택된 SW-XYZ(smart watch) 을 블루투스 프로토콜을 이용하여 연결할지 문의하는 메시지 1151을 표시하고, 이러한 문의에 대해 컨펌하는 응답을 수신하면 제6페이지 1160이 표시된다.
제6페이지 1160는, 연결된 장치로서 스마트 폰 1111, 스마트 카 1112와 함께 새로 추가된 스마트 와치 1161을 표시할 수 있다.
도 12는 일 실시예에 따라 연결된 장치의 구성을 변경하기 위한 샘플 시나리오를 나타낸다.
일 실시예에 따라 사용자는 스마트 폰과 다른 장치 사이의 연결 프로토콜을 조정할 수있다. 사용된 프로토콜은 Wi-Fi, 블루투스, USB 및 주요 스마트 폰과 다른 장치간에 지원되는 기타 안전한 프로토콜로 구성될 수 있다. 예를 들어, 사용자는 Bluetooth를 프로토콜로 사용하여 Smart Watch에 연결하고, USB 프로토콜을 사용하여 Smart Car에 연결할 수 있다. 이 옵션은 사용자가 안전 시스템의 액세스를 열었을 때 표시되며 핸드 쉐이킹 프로세스가 발생될 수 있다.
도 12를 참조하면, 연결 장치를 구성하는 제1페이지 1210은, 연결된 장치들의 목록으로서 스마트 폰 1211, 스마트 와치 1212, 스마트 카 1213을 포함한다. 스마트 와치 1212를 선택하는 입력에 따라 제2페이지 1220이 표시된다.
제2페이지 1220은, 스마트 와치 1212의 개인화를 위한 아이템들의 목록으로서, 연결 프로토콜 1221, 풋스텝 카운터 1222, 액티비티 트랙커 1223, 심장박동 모니터링 1224, 수면 모니터링 1225를 포함할 수 있다. 연결 프로토콜 1221을 선택하는 입력에 따라 제3페이지 1230이 표시된다.
제3페이지 1230은 연결가능 프로토콜의 목록 1231으로서 블루투스와 와이파이를 포함하고, 블루투스를 선택하는 입력에 따라 스마트 와치 1212의 연결 프로토콜은 블루투스로 설정될 수 있다. 이와 같은 프로토콜 설정을 위해 스마트 폰은 다른 장치와의 연결을 여는 관련 장치를 검색하고, 연결 요청을 표시하여 보안을 유지하기 위해 핸드셰이킹이 필요할 수 있다. 다음 시스템이 연결되어 안전 요소를 계산하는 소스 중 하나로 사용될 수 있다.
도 13은 일 실시예에 따라 개인 안전 시스템을 사용하여 웨어러블 장치에 심박수 모니터링을 구성하기 위한 샘플 시나리오를 나타낸다.
이제 도 13 및 도 14를 참조하여 심박수 모니터링을 구성하고 개인 안전 시스템을 사용하여 웨어러블 장치 또는 스마트 폰의 모니터링 반경을 구성하기 위한 샘플 시나리오가 도시되어있다. 도 13 및 도 14에 도시된 바와 같이 사용자는 개인 안전 시스템에 연결된 장치의 모든 자원을 사용하기를 원하지 않기 때문에 보다 정교한 구성(configuration)을 필요로 할 수 있다. 예를 들어, 사용자는 배터리 상태로 인해 스마트 워치를 통해 얻은 심장 박동 센서를 사용하거나 사용자가 연료 또는 자동차 배터리를 절약하기 위해 자동차의 카메라를 사용하여 사용자의 얼굴을 인식하기를 원할 수 있다. 따라서 설명되는 세부 구성은 나중에 사용자 안전 요인으로 사용될 자원 또는 센서를 결정하기 위한 것이다. 이러한 개인 설정은 사용자가 특히 시스템 및 배터리 소모를 관리하는 데 도움이 될 수 있다. 그러나 시스템은 다른 장치 센서에 대한 제한된 액세스로 인해 선택된 기본 설정이 부정확한 계산을 제공하는지 이해할 것이다. 따라서 선택한 환경 설정이 너무 제한적인 경우 팝업 메뉴를 통해 시스템은 이러한 케이스를 발표할 것이다. 페어링된 모든 장치의 반경 값을 모니터링하는 기능은 개인화된 안전 시스템에서 개인화될 수 있다.
도 13을 참조하면, 연결 장치를 구성하는 제1페이지 1310은, 연결된 장치들의 목록으로서 스마트 폰 1311, 스마트 와치 1312, 스마트 카 1313을 포함한다. 스마트 와치 1312를 선택하는 입력에 따라 제2페이지 1320이 표시된다.
제2페이지 1320은, 스마트 와치 1312의 개인화를 위한 아이템들의 목록으로서, 연결 프로토콜 1321, 풋스텝 카운터 1322, 액티비티 트랙커 1323, 심장박동 모니터링 1324, 수면 모니터링 1325를 포함할 수 있다. 심장박동 모니터링 1324를 선택하는 입력에 따라 제3페이지 1330이 표시된다.
제3페이지 1330은 심장박동 모니터링의 온/오프 설정을 위한 아이템을 포함할 수 있다.
도 14는 일 실시예에 따라 스마트 폰상에서 모니터링 반경을 구성하기 위한 샘플 시나리오이다.
도 14를 참조하면, 연결 장치를 구성하는 제1페이지 1410은, 연결된 장치들의 목록으로서 스마트 폰 1411, 스마트 와치 1412, 스마트 카 1413을 포함한다. 스마트 폰 1411를 선택하는 입력에 따라 제2페이지 1420이 표시된다.
제2페이지 1420은, 스마트 폰 1411의 개인화를 위한 아이템들의 목록으로서, 모니터링 속도 1421, 모니터링 위치 1422, 모니터링 반경 1423, 포커스 레벨 로우 1424, 위험 시츄에이션 1425를 포함할 수 있다. 모니터링 반경 1424를 선택하는 입력에 따라 제3페이지 1430이 표시된다.
제3페이지 1430은 모니터링 반경의 설정을 위한 메뉴 1431을 포함할 수 있다.
이제 도 15 및 도 16을 참조하여 개인 안전 시스템에 소셜 미디어를 등록하고 제거하는 샘플 시나리오를 설명한다.
실시예들에 따라서 감정 요인 및 위험 상황에서 사용자를 유발할 수 있는 주변 이벤트를 결정하기 위한 소스의 하나로서 소셜 미디어를 이용한다. 따라서, 이러한 목적을 위해, 본 발명은 통합을 구성하는 방법을 제공할 필요가 있다. 도 15에 개시된 바와 같이, 사용자가 페이스 북 또는 트위터와 같은 특정 소셜 미디어를 선택할 때, 인증은 관련된 소셜 미디어의 API에 따라 수행 될 필요가 있다. 스마트 폰 화면에 계약 내용이 포함된 팝업이 표시되고 사용자 계정의 유효성이 검사될 수 있다. 그런 다음 자동으로 안전 시스템에 연결될 수 있다. 또한, 도 16에 개시된 바와 같이, 사용자는 등록을 통해 등록 제거 설정을 제거할 수 있다.
도 15는 일 실시예에 따라 개인 안전 시스템에 대한 소셜 미디어 등록의 샘플 시나리오이다.
도 15를 참조하면, 연결된 계정 구성을 위한 제1페이지 1510에는 연결된 계정으로서 소셜 미디어 A 1511과 소셜 미디어 B 1512를 포함한다. 그리고 제1페이지 1510에는 계정 추가 아이템 1515를 포함한다. 사용자에 의해 계정 추가 아이템 1515가 선택되면 제2페이지 1520이 표시된다.
제2페이지 1520는 추가할 계정의 목록으로서 소셜 미디어 A 1521, 소셜 미디어 B 1522, 소셜 미디어 C 1523, 소셜 미디어 D 1524, 소셜 미디어 E 1525, 소셜 미디어 F1526를 포함할 수 있다. 사용자에 의해 소셜 미디어 C 1523이 선택되면 제3페이지 1530이 표시된다.
제3페이지 1530는, 소셜 미디어 C에 로그인을 위한 사용자 이름 1531, 패스워드 1532 입력을 위한 메뉴를 포함하고, 로그인 아이템 1533을 포함할 수 있다. 사용자에 의해 로그인 아이템 1533이 선택되면 제4페이지 1540이 표시된다.
제4페이지 1540은 소셜 미디어 C계정에 개인 안전 시스템의 사용의 인증을 확인하는 메시지 1541를 포함한다. 사용자에 의해 인증이 허용되면, 제5페이지 1550이 표시된다.
제5페이지 1550는 연결된 계정으로서 소셜 미디어 A 1511, 소셜 미디어 B 1512 외에 소셜 미디어 C 1513을 더 표시할 수 있다.
도 16은 일 실시예에 따라 개인 안전 시스템으로부터 소셜 미디어 계정을 제거하기 위한 샘플 시나리오이다.
도 16을 참조하면, 연결된 계정 구성을 위한 제1페이지 1610에는 연결된 계정으로서 소셜 미디어 A 1611과 소셜 미디어 B 1612, 소셜 미디어 C 1613을 포함한다. 사용자에 의해 소셜 미디어 C 1613이 선택되면 제2페이지 1620이 표시된다.
제2페이지 1620는 소셜 미디어 C 와 관련한 하나 이상의 설정을 포함한다. 또한 제2페이지 1620는 이 계정을 제거하는 아이템 1622를 더 포함할 수 있다. 사용자에 의해 계정 제거 아이템 1622이 선택되면 제3페이지 1630이 표시된다.
제3페이지 1630는, 소셜 미디어 C의 제거를 컨펌하는 메시지 1631를 포함한다.
이제 도 17 및 도 18을 참조하여, RSS 제공자를 개인 안전 시스템에 등록하고 제거하는 샘플 시나리오를 설명한다. 주변 이벤트를 인식하는데 유용한 RSS 제공자의 등록을 위해 도 17에 개시된 바와 같이, 본 발명은 또한 온라인 뉴스 포털에 의해 제공되는 정보를 국내 또는 국제 웹 사이트에서 사용한다. RSS Feed를 통해 온라인 뉴스 API에 액세스하여 새로운 콘텐츠를 얻을 수 있으며 SoC는 텍스트 처리를 수행하여 사용자 환경에서 발생하는 최신 이벤트를 얻을 수 있다. 하나의 RSS 피드를 추가함으로써 사용자는 폭탄 위협, 홍수, 교통량 증가, 토네이도 등과 같이 위험한 장소로 여행하는 경우 가능한 한 빨리 통지 받을 수 있다. 사용자는 등록된 RSS 제공 업체를 언제든지 삭제할 수 있다.
도 17은 일 실시예에 따라 개인 안전 시스템에 대한 새로운 RSS 제공자 등록의 샘플 시나리오이다.
도 17을 참조하면, 연결된 RSS 프로바이더 구성을 위한 제1페이지 1710에는 연결된 RSS 프로바이더로서 프로바이더 A 1711과 프로바이터 B 1712를 포함한다. 그리고 제1페이지 1710에는 프로바이더 추가 아이템 1715를 포함한다. 사용자에 의해 프로바이더 추가 아이템 1715가 선택되면 제2페이지 1720이 표시된다.
제2페이지 1720는 추가할 프로바이더의 입력을 위한 메뉴 1721 및 연결 아이템 1722를 포함한다. 사용자에 의해 프로바이더 C 1721이 입력되고 연결 아이템 1722가 선택되면 제3페이지 1730이 표시된다.
제3페이지 1730는, 시스템이 프로바이더 C에 연결을 시도하는 메시지 1731이 표시된다.
제4페이지 1740은 시스템이 프로바이더 C에 연결 성공했음을 나타내는 메시지 1741이 표시된다.
제5페이지 1750는 연결된 프로바이더로서 프로바이더 A 1711, 프로바이더 B 1712 외에 프로바이더 C 1713을 더 표시할 수 있다.
도 18은 일 실시예에 따라 개인 안전 시스템으로부터 RSS 제공자를 제거하기 위한 샘플 시나리오이다.
도 18을 참조하면, 연결된 프로바이더 구성을 위한 제1페이지 1810에는 연결된 프로바이더로서 프로바이더 A 1811과 프로바이더 B 1812, 프로바이더C 1813을 포함한다. 사용자에 의해 프로바이더 C 1813이 선택되면 제2페이지 1820이 표시된다.
제2페이지 1820는 프로바이더 C 와 관련한 구성 1821이 표시되고 또한 표시된 소셜 미디어 C를 제거하는 아이템 1822를 더 포함할 수 있다. 사용자에 의해 프로바이더 제거 아이템 1822이 선택되면 제3페이지 1830이 표시된다.
제3페이지 1830는, 프로바이더 C의 제거를 컨펌하는 메시지 1831를 포함한다.
도 19는 일 실시예에 따라 사전 정의된 동작 구성의 샘플 시나리오이다.
사용자가 빠른 이동 중에 부정적인 감정 상태를 검출 한 후에 취한 행동의 선호도를 사용자가 구성할 수 있게 하는 시스템 특징 중 하나이다.
도 19를 참조하면, 개인화된 액션 페이지의 하나로서 동적 이동 모드를 나타내는 제1페이지 1910는, steady 1911, walking 1912, running 1913, cycling 1914, motor 1915, driving 1916을 포함할 수 있다. 사용자에 의해 driving 1916이 선택되면 제2페이지 1920이 표시된다.
제2페이지 1920는 복수의 감정 카테고리로서 angry 1921, disgust 1922, fear 1923, sad 1924를 포함한다. 사용자에 의해 sad 1924가 선택되면 제3페이지 1930이 표시된다.
제3페이지 1930는 복수의 액션으로서, call family 1931, find nearby caf? 1932, open apps 1933, play music 1934, show alert 1935, tell a joke 1936을 포함한다. 사용자에 의해 play music 1934가 선택되면 제4페이지 1940이 표시된다.
제4페이지 1940는 사용자에 의해 제1페이지에서 선택된 driving 1916중 감정이 sad 1924를 나타내면 play music 1934하도록 하는 구성의 컨펌을 위한 메시지 1941이 표시된다. 사용자에 의해 컨펌이 되면 제5페이지 1950이 표시된다.
제5페이지 1950는 액션 구성이 성공적으로 완료되었음을 나타내는 메시지 1951을 포함한다.
도 20은 일 실시예에 따라 개인 안전 시스템에서의 앙상블 학습 계산의 흐름도이다.
개인 안전 시스템내의 프로그램은 컴퓨터 및 스마트 폰과 같은 외부 시스템으로부터 업데이트 될 수 있다. 이 개인 안전 시스템은 내부 기억 장치를 제공하여 프로그램이 기계 학습 계산의 매개 변수를 저장하는 데 사용하도록 할 수 있다. 개인 안전 시스템은 사용자 환경 주변의 위험한 상황을 분류하기 위해 기계 학습 알고리즘을 계산할 수 있다. 본 발명은 사전 학습을 포함하는 기계 학습 알고리즘 중 하나 인 앙상블 학습을 구현하고 그것을 SoC 형태로 전개할 수 있다. 모든 기계 학습 알고리즘은 SoC 환경에서 설계되고 최적화될 수 있다.
도 20을 참조하면, 개인 안전 시스템은 센서 장치의 데이터 2010및 소셜 미디어, 공개 데이터 또는 미리 정의된 웹 사이트의 데이터와 같은 외부 소스로부터의 데이터 2020를 읽는다. 다음, 개인 안전 시스템은 들어오는 각 데이터에 대해 전처리 2030를 수행한 다음 특징 추출 2040을 수행하고, 추출된 특징을 기초로 분류기 2050에서 분류를 수행한다. 다음, 개인 안전 시스템은 프로그램 내부의 목적과 관련한 동작을 탐지하기 위해 수행한다. 예를 들어 위험 상황이 검출되는지 판단하고 2070, 위험 상황이 검출되면 사용자에게 통지 2080 한다.
도 21은 일 실시예에 따라 사용자의 감정 인식 시스템에 대한 개괄적인 개요이다.
개인 안전 시스템은 사용자의 감정을 검출하기 위해 스마트 감시 장치에 배치될 수 있다.
도 21을 참조하면, 개인 안전 시스템이 활성화 2110되면 스마트 와치의 GPS는 특정 시간에 도달 할 때까지 매 초마다 사용자 위치를 계속해서 기록 2120함으로써 위치를 획득 2130한다. GPS 기록이 특정 X 임계 값에 도달 2140하면, 속도 및 사용자 위치를 포함한 데이터 추출 2150을 수행합니다. 속도는 초당 경도 및 위도 변화를 고려하여 측정되는 반면, 사용자 위치는 사용자가 도로에 있는지 여부와 같은 것에 대한 정보도 획득될 수 있다. 또한 날씨, 요일 및 시간과 같은 추가 기능도 추가될 수 있다. 개인 안전 시스템은 고속 이동 카테고리를 검출 2160, 고속 이동이라고 판단 2170 되면, 스마트 폰에 알림을 통지 2180할 수 있다. 도 21에서, 사용자가 부정적인 감정에 빠졌을 때 적절한 액션을 취해야 하는 동적 운동 모드는 예를 들어, 운전, 주행, 사이클링 및 모터 사이클링과 같은 것을 포함할 수 있다.
스마트 와치가 사용자에 의해 빠른 움직임을 성공적으로 나타낼 때, 1) 심장 박동 측정 세서, 2) 제스처 센서, 3) 자이로 스코프 센서 및 4) 맥박 산소 측정 센서 및 오디오 녹음을 포함하는 스마트 와치의 다양한 센서가 일정 기간 동안 활성화될 수 있다. 이러한 다양한 센서의 기록은 임계 값에 도달 한 후 스마트 폰으로 전송되며 스마트 폰의 감정 인식 컨트롤러에서 사용자 감정을 감지하는 데 사용될 수 있다.
도 22는 일 실시예에 따라 웨어러블 디바이스에서 생물학적 데이터를 측정하는 동작의 흐름도이다.
도 22를 참조하면, 웨어러블 디바이스의 일 예인 스마트 와치는 고속 이동을 검출 2210하면, 센서 및/또는 오디오 레코더를 활성화 2220 시킨다. 활성화된 센서 및/또는 오디오 레코더는 데이터를 측정 2230한다. 센서는 예를 들어, 심장박동수 측정 센서, 제스쳐 센서, 자이로스코프, 맥박 센서 등을 포함할 수 있다. 데이터 측정후 X 시간 경과하면 2240, 스마트 와치는 측정 결과 및 고속 이동 카테고리를 예를 들어 스마트 폰으로 출력 2250할 수 있다.
도 22에서 설명된 바와 같이, 사용자의 스마트 와치의 센서 및/또는 다른 센서 디바이스는 사용자의 생물학적 데이터를 수집하는 반면, 사용자 소셜 미디어 데이터는 스마트 폰에 설치된 개인 안전 시스템에 의해 수집될 수 있다. 개인 안전 시스템 사용자 스마트 폰의 Twitter, Facebook 및 Messaging Application에 액세스하여 x 시간 전에 1) 텍스트, 2) 이미지 및 3) 사용자 활동의 세 가지 데이터 카테고리를 얻을 수 있다.
도 23은 사용자의 등록 된 착용 가능 장치로부터의 동적 이동의 통지를 수신하는 안전 시스템 SoC 활동의 흐름도이다.
도 23을 참조하면, 스마트 와치가 센서 측정 결과를 개인 안전 시스템으로 전송 2310하면, 개인 안전 시스템은 수신된 센서 측정 결과 데이터를 저장 2320한다. 그리고 개인 안전 시스템은 스마트 와치로 액크를 전송 2330할 수 있다.
액크가 성공적이면 2340, 개인 안전 시스템은 x 시간 이전의 사용자 소셜 미디어 데이터/사용자 메시지를 획득할 수 있다. 소셜 미디어 데이터는 트위터나 페이스북과 같은 소셜 미디어 어플리케이션에서의 사용자의 행동 데이터를 포함하고, 사용자 메시지는 메시징 어플리케이션에서의 사용자 메시지 데이터를 포함할 수 있다. 이러한 소셜 미디어 데이터나 사용자 메시지는 텍스트, 이미지, 사용자 행동 등을 포함할 수 있다.
도 24는 일 실시예에 따라 사용자의 동적 움직임을 검출한 웨어러블 장치의 샘플 시나리오를 나타낸다.
동적 이동 검출의 결과가 전술한 카테고리 중 하나를 나타낼 때, 스마트 와치는 자동적으로 그 카테고리를 화면에 표시할 수 있다. 도 24를 참조하면, 스마트 와치는 드라이빙 카테고리 2410, 사이클링 카테고리 2420, 모터 사이클링 카테고리 2430, 러닝 카테고리 2440를 표시할 수 있다.
도 25는 일 실시예에 따라 감정 인식 시스템에 대한 모든 데이터를 수집하는 개인 안전 시스템의 동작 흐름도이다.
도 25를 참조하면, 스마트 와치가 센서 측정 결과를 개인 안전 시스템으로 전송 2510해서 전송이 성공 2520이면, 개인 안전 시스템은 센서 측정 결과 데이터를 저장 2530할 수 있다. 다음 개인 안전 시스템은 감정 인식에 이용되는 데이터를 수집 2540한다. 개인 안전 시스템은 내부 계산 2550을 수행하고 성공 이면 2560, 통지를 전송 2570할 수 있다.
개인 안전 시스템은 사용자가 부정적인 감정 상태에 있다는 감정 인식 결과가 나올 때 일부 액션을 수행할 수 있다. 예를 들어 개인 안전 시스템은 이동이나 오락 활동을 중단하라는 알림과 같은 하나 이상의 적절한 액션을 취함으로써 사용자가 빠른 움직임에 따라 위험에 처할 수 있는 것을 방지할 수 있다. 또는 사용자가 주행하기에 적합한 수준에 있지 않은 것으로 결과가 표시되면 시스템에서 경고를 보낼 수도 있다. 다양한 실시예들에 따라 네 가지 부정적인 감정을 수행함에 있어서 다양한 장치에 의해 취해질 수 있는 적절한 행동을 정의할 수 있다.
Driving Motor cycling Cycling Running
Sad -Play happy music-Suggestion to make a call to family Tell something funny Tell something funny Play happy music
Angry -Give alert to stop-Play instrumental Give alert to stop Give alert to stop Play fun music
Disgust -Show green pictures in smart watch-smart car clean the air - - -
Fear -smart car turn on the lamp(make the car brighter) Tell something funny Tell something funny Play fun music
Not Focus -Giving alert to stop driving Giving alert to stop -Giving alert to stop -
위 표 1에 따르면 개인 안전 장치는 사용자의 움직임을 4가지 카테고리 즉, 드라이빙, 모터 사이클링, 사이클링, 러닝으로 분류하고 또한 사용자의 감정을 5개의 카테고리 즉, 슬픔, 화남, 디스거스트, 공포, 포커스 하지 않음으로 분류하고 각각 대응되는 액션을 결정할 수 있다. 예를 들어 개인 안전 장치는 사용자의 드라이빙 중 사용자의 감정이 슬픔이라면 액션으로서, 행복한 음악을 재생하거나 가족에게 전화를 거는 제안을 결정할 수 있다.
도 26은 일 실시예에 따라 사용자 감정 상태를 예측하는 감정 인식 시스템의 흐름도이다.
도 26을 참조하면, 개인 안전 시스템이 감정 인식을 위해 필요한 데이터를 감정 인식 시스템에 전송하면 감정 인식 시스템은 감정인식에 이용되는 데이터를 수신 2610한다. 감정인식에 이용되는 데이터는 예를 들어, 텍스트, 오디오, 이미지, 소셜 미디어에서의 사용자 행동, 센서 측정 결과 중 하나 이상을 포함할 수 있다.
감정 인식 시스템은 수신된 각각의 데이터 유형에 대한 전처리 2620를 수행할 수 있다. 예를 들어, 텍스트 데이터는 특수 문자 제거, 정규화 및 중지 단어 제거로 구성된 텍스트 정리 단계를 통해 정리될 수 있다. 센서 측정 결과를 위한 특징 추출 단계를 준비하기 위해 일부 신호 처리가 수행될 수 있다.
다음 감정 인식 시스템은 전처리된 데이터를 기초로 특징을 추출 2630하고, 미리 정의 된 특징이 원시(raw) 데이터에서 추출되므로 기계 학습 모델을 사용하여 사용자 감정 상태를 예측할 수 있다. 실시예들에 적용되는 학습 모델은 두 가지가 있을 수 있다. 하나는 센서 및 오디오 데이터를 계산하는 온라인 학습 모델 2640이고, 다른 하나는 텍스트 데이터를 처리하는 배치(batch) 학습 모델 2650 이다.
다음 감정 인식 시스템은 온라인 학습 모델 2640과 배치 학습 모델 2650의 결과를 앙상블 학습 접근 방식을 통해 결합 2660하여 감정을 획득 2670할 수 있다. 결과가 부정적인 감정 상태를 나타내면 2680 시스템은 개인 안전 시스템으로 결과를 전송 2695할 수 있다. 결과가 부정적인 감정 상태를 나타내지 않으면 포커스 레벨 감지 2690를 적용하여 긍정적인 감정 상태에서도 사용자 상태를 깊이 조사할 수 있다.
이전 연구에 따르면 감정은 텍스트나 음성과 같은 다양한 요소를 분석하여 구분할 수 있음이 나타났다. 그러나 지금까지의 감정 인식에 관한 연구는 텍스트 나 스피치와 같은 별도의 요소로 지능 시스템을 수행함으로써 항상 수행되었다. 본 발명에서는 텍스트, 음성, 소셜 미디어에서의 사용자 행동, 이미지 및 사용자의 생물학적 데이터를 포함하는 몇 가지 요소의 조합을 제안했다. 이러한 통합적인 접근 방법으로 감정 인식 시스템은 사용자 감정 상태를 예측하는 데 더 신뢰성있는 결과를 제공할 수 있다. 감정은 인간의 심리적 상태의 표현이기 때문에 다양한 범주로 구성된다. 잘 알려진 감정 카테고리는 Plutchik에 의해 정의되고 그것을 Plutchik Wheel이라고 부른다. Plutchik이 정의한 감정은 기쁨, 신뢰, 슬픔, 분노, 놀람, 6) 공포, 기대, 혐오로 구성된다. 일 예에 따라, Plutchik 정의를 따르는 카테고리로 감정을 분류할 수 있다. 따라서 예를 들어 부정적인 감정 상태를 나타내는 네 가지 감정, 슬픔, 화남, 공포, 혐오감이 있다.
다양한 요인을 통합한 감정 인식 시스템을 구축하기 위해 기계 학습에서 일반적으로 수행되는 학습 절차를 적용할 수 있다. 중요한 문제는 분류 기준에 중요한 영향을 주는 기능을 정의하는 것으로 시스템에 더 나은 정확성을 제공할 수 있다. 아래에는 몇 가지 요소의 조합을 나타낸다.
텍스트
텍스트가 감정과 관련되어 있음은 명백하다. 예를 들어, "기분 좋은" 이나 "맛있는"은 기쁨의 감정을 나타내고, "우울한" 이나 "울음"은 슬픔을 나타내고, "외치는" 이나 "끓는"은 분노를 나타낼 수 있다. 실시예들에서, 텍스트 데이터는 일반 문서보다 비 구조화 된 데이터를 많이 포함하는 사용자 소셜 미디어 데이터 및 메시징 응용 프로그램을 통해 얻을 수 있다. 어휘집 (단어 사전)에 기반한 분류는 소셜 미디어가 사전에 나열되지 않은 다양한 두문자어 또는 OOV (Out of Vocabulary) 단어를 포함하므로 더 선호될 수 있다. 따라서 어휘집과 관련된 기술이 적용된 이후에 언어 식별이 필요하다.
Set Attribute List of Attribute Description
Punctuation 5 Number of "`", "?", ".", "," and special character Number of corresponding punctuation in documents
Lexical 6 #letter, #lowercase, #uppercase,aggregate{min, max, avg} of #letter in word The corresponding number of attributes
Part of speech 8 #noun, #verb, #adjective, #adverb, #pronoun Number of corresponding POS tag in a document
Emotion 1 Emotion score Increasing the score by +1and -1 for positive and negative emoticon respectively, initiated by 0
Emotion lexicon 8 joy, trust, sadness, anger, surprise, fear, disgust, anticipation number of words that matches with corresponding emoticon class word list
위의 표 2에는 감정 인식을 위한 예측 요인으로 6 가지 세트의 텍스트 기능이 정의되어 있다. 구두점, 어휘 및 이모티콘 집합은 언어 독립적 기능에 속하며, 음성 및 감정 사전 기능의 일부는 문서 언어 (언어에 따라 다름)를 먼저 체크함으로써 추출된다.
스피치
음성 또는 오디오 정보는 일반적으로 쉽게 기록할 수 있지만 배우기가 어렵다. 특히 음질이 많은 필러와 노이즈를 포함하는 경우 더욱 그렇다. 실시예들에서는 이러한 메커니즘을 이용하여 감정 예측을 위한 정보를 풍부하게 할 수 있다. 스피치의 전처리는 신호 처리를 통해 필러(filler) 및 잡음이 적은 오디오를 생성할 수 있다. 피쳐 추출은 표 3에 나타낸 것과 같은 다양한 방법을 사용하여 수행할 수 있다. 잘 알려진 절차 중 하나는 INTERSPEECH 2010 paralinguistic challenge 구성 (IS10 Paralinguistic Features)을 기반으로 한다.
Descriptors Functional
PCM loudness Position max/min
MFCC[0-14] arith.mean,std.deviation
long Mel Freq.Band[0-7] skewness, kurtosis
LSP Frequency [0-7] lin.Regression coeff
F0 lin.Regression coeff
F0 Envelope quartile 1/2/3
Voicing Prob. quartile range 2-1/3-2/3-1
Jitter local percentile 1/99
Jitter consec.Frame pairs percentile range 99-1
Shimmer local up-level time 75/90
이미지
표정은 주로 사람들의 시각적 감정을 반영한다는 것을 아는 것이 중요하다. 실시예들에서 수행하는 영상 처리는 사용자의 소셜 미디어 및 사람의 얼굴 이미지로 구성될 수 있는 메시징 어플리케이션을 통해 획득된 이미지를 이용하는 것에 관한 것이다. 인용문의 이미지 또는 사용자 감정을 반영하는 임의의 이미지일 수 있다. 실시예들에서, 적용되는 몇몇 특징은 아래의 표 4에서 찾을 수 있다.
Set Description
Colors[9] RGB histogram/invariant color models
Texture [10] Texture calculation according to image matrix
Intensity Intensity calculation according to image matrix(number of white or black)
Transform Features [11] Wavelet sub-band, uniform sub-band, DCT, spatial partition, etx.
소셜 미디어의 사용자 행동
감정 탐지뿐 아니라 소셜 네트워킹 사이트에 연결할 때 사용자가 어떻게 행동하는지 이해하면 인터페이스 디자인을 개선하고, 소셜 상호 작용에 대한 풍부한 연구를 하고, 콘텐츠 배포 시스템의 디자인을 개선할 수 있다. 실시예들에서는 감정 인식 모델을 개선하기 위해 이 모델을 사용한다. 단순히 숫자, 게시물 수, 공유 수, 방문 페이지 총합, 지속 기간 및 클릭 수로 간단히 계산될 수 있다.
센서 측정 결과
센서에 의해 수행되는 생물학적 데이터는 감정 인식 시스템을 선명하게 할 수 있다고 믿어진다. 실시예들에서, 발명자들은 표 5에 나타낸 바와 같은 다양한 센서들을 통합하여 이용할 수 있다고 생각한다.
Sensor Description
Heart rate The minimum, maximum and average of heart rate measurement
Gesture Type of gesture
Gyroscope the rate of rotation around a particular axis (velocity, movement)
Pulse of Oximetry blood-oxygen saturation level pulse rate
도 27은 일 실시예에 따라 포커스 레벨 검출의 흐름도이다.
포커스 레벨 검출은 긍정적인 감정 상태로 예측되는 사용자에 대한 안전한 심리 상태를 확인하는 것을 목표로 한다. 예를 들면, 항상 부정적 감정과 관련되지 않은 졸린 상태 또는 취한 상태는 또한 초점이 부족한 것을 나타낼 수 있다. 여기서 시스템을 구현하기 위해 GPS 및 차량 속도의 일부 기능을 활용하여 간단한 기계 학습을 적용할 수 있다. 초점이 맞지 않는 사용자는 보통 불규칙한 속도로 차량을 운전한다. 그들은 도로에서 이탈할 수도 있다. 따라서 이러한 요소를 고려하여 사용자 포커스 수준을 얻을 수 있다. 과정을 단순화하기 위해 수행되는 분류에는 초점(focus)인 상태, 초점이 맞지 않는(not focus) 상태인 2 가지 분류를 포함될 수 있다.
도 27을 참조하면, 감정 인식 시스템은 심장 박동수, 혈중 산소 포화도와 같은 생물학적 요인 2710과 운전 성능 요인 2720을 고려하여 특징을 추출 2730할 수 있다. 운전 성능은 조향 휠 각도, 차선 위치, 조향 휠 각도에서 변형된 조향 오류를 측정함으로써 얻을 수 있다. 일 실시예서, 운전자의 눈의 움직임 특징을 규정된 생물학적 인자로 대체하고, 차량 성능 및 차량 속도와 같은 GPS로부터의 특징을 운전 성능 특성 세트로 추가될 수 있다.
감정 인식 시스템은 추출된 특징을 기초로 SVM(Support Vector Machine) 2740을 적용하고 모델 2750을 통해 초점인 상태와/초점이 맞지 않는 상태를 분류할 수 있다.
도 28은 일 실시예에 따라 온라인 학습 모델의 흐름도이다.
온라인 학습과 일괄 학습은 두 가지 기계 학습 모델을 초래하는 두 가지 접근 방식이다. 하나의 최종 결정을 얻으려면 두 기계의 통합이 필요하며 앙상블 학습 방법은 이를 수행하는 잘 알려진 기술이다. 앙상블 학습 알고리즘을 설계하는 두 가지 주요 접근법이 있다. 첫 번째 접근법은 가설의 결과 집합이 정확하고 다양하다는 식으로 각 가설을 독립적으로 구성하는 것이다. 즉, 각각의 가설은 새로운 예측들을 하기에 합당한 낮은 오류율을 가지지만 각 가설들은 많은 예측들에서 서로 일치하지 않는다. 그러한 가설의 앙상블 (ensemble)을 구성할 수 있다면, 구성 요소 분류자 중 어느 것보다 더 정확하다는 것을 쉽게 알 수 있다. 이는 불일치가 "상쇄"될 것이기 때문이다. 앙상블을 설계하는 두 번째 접근법은 가설의 다수결이 데이터에 잘 맞도록 가설들을 결합된 방식으로 구성하는 것이다.
본 발명에 대한 적절한 접근법은, 온라인 및 배치 학습 알고리즘이 2 가지 상이한 학습 방법이기 때문에, 상기 두 번째 접근법이 될 수 있다. 또한, 실시예들에서는 첫 번째 접근 방식과 같은 다양한 가정을 구축하기 위해 데이터의 서브 세트를 사용하지 않으며, 또는 학습 방법이 다른 상이한 데이터 소스를 사용한다. 본 발명의 앙상블 학습 구현을 위해 다수결은 모델에 의해 생성된 각각의 감정 카테고리에 대해 예측된 모든 가중치를 합산함으로써 수행될 수 있다. 따라서 다수결은 사용자 감정 상태의 최종 출력을 강조한다.
도 28을 참조하면 제1훈련 데이터 2810, 제2 훈련 데이터 2820을 포함하는 다양한 데이터에 대해서, 온라인 학습 2830, 배치 학습 2840을 포함하는 다양한 메쏘드를 적용하고 다수결 2850을 통해 최종 결과 2860을 출력할 수 있다.
도 29는 일 실시예에 따라 스마트 카 시스템 경보의 샘플 시나리오이다.
본 발명의 통지는 자기 발견 통지 시스템으로서 강조된다. 스마트 알림 시스템은 SoC가 적절한 상황을 인지하고 디바이스가 사용자에게 경고를 하는 것을 가능하게 한다. 사용자가 적절하지 못한 상황에서 갑자기 경고를 받음으로써 공포감을 유발하는 그 상황을 회피하려고 한다. 예를 들어, 사용자가 자동차를 운전할 때 SoC는 스마트폰 대신 스마트시계에 알림을 보내야 한다. 또는 사용자가 스마트 카 화면에서 알림을 받는 것이 더 적절할 수 있다.
도 29를 참조하면, 2910에서, 스마트 카의 내부 또는 외부에 배치된 개인 안전 시스템은 자동차의 속도 2911, 사용자의 감정 2912, 포커스 여부 2913, 날씨 2914를 인지하고, 이러한 인지 결과에 따른 액션에 따라 <스마트 카가 안개등을 켭니다> 라는 메시지 2915를 출력할 수 있다.
또한 2920에서, 스마트 카의 내부 또는 외부에 배치된 개인 안전 시스템은 자동차의 속도 2921, 감정 2922, 포커스 여부 2923, 날씨 2924를 인지하고, 이러한 인지 결과에 따른 액션에 따라 <멈추세요> 라는 메시지 2925를 표시할 수 있다.
도 30은 일 실시예에 따라 스마트 카의 통지 경보의 샘플 시나리오이다.
본 발명은 또한 주변의 다른 디바이스와 통합되기 쉽다. 비상 상황이 발생하면 SoC를 구현하는 다른 디바이스가 서로 통신하여 사람들에게 위험한 사건에 대해 경고할 수 있다. 주위의 디바이스는 본 발명의 안전 시스템을 구현한 게시판 화면 또는 사용자 디바이스일 수 있다.
도 30을 참조하면, 주변의 다른 개인 안전 시스템이 구현된 장치와 통신함으로써 사용자의 스마트 카는 다른 개인 안전 시스템이 구현된 장치로부터 경보를 전달받아 스크린에 <XYZ 다리 붕괴로 인해 15km 교통정체가 발생합니다. 26번 고속도로를 피하세요> 라는 메시지 3000을 표시할 수 있다.
도 31은 일 실시예에 따라 통지 모델의 흐름도이다.
도 31을 참조하면, 개인 안전 시스템은 통지를 보내는 것으로 결정 3110 하면, 사용자가 고속 이동 상태에 있는지를 판단 3120 한다. 고속 이동 상태에 있지 않는 것으로 판단된 경우 개인 안전 시스템은 스마트폰으로 통지하는 것으로 결정 3130 할 수 있다.
고속 이동 상태에 있는 것으로 판단된 경우 개인 안전 시스템은 스마트 카 또는 스마트 와치가 이용가능한지를 판단 3140 한다. 즉, 고속 상태에 있는 경우에는 사용자가 스마트폰을 확인하기 어렵기 때문에 스마트 폰외에 다른 장치가 이용가능한지를 판단하는 것이다. 스마트 카 또는 스마트 와치가 이용가능하지 않은 경우에는 3180으로 진행하고, 스마트 카 또는 스마트 와치가 이용가능한 경우에는 스마트 카 또는 스마트 와치로 통지를 전송 3150 한다.
다음, 사용자로부터 응답이 있는지를 판단 3160하고, 응답이 있는 경우에는 처리를 중단한다 3170.
사용자로부터 응답이 없는 경우에는 응급상황인지를 판단 3180 하고, 응급상황이 아닌 경우에는 처리를 중단한다 3190. 응급상황인 경우에는 주변의 다른 장치로 통지를 전송 3195 할 수 있다. 예를 들어, 토네이도 또는 자연 재해 또는 범죄 발생이 주변에서 발생하고 있는 것과 같이 특별히 심각한 알림의 경우에, 사용자의 응답을 받는 것이 중요하다. 예를 들어, 사용자가 스마트 와치 또는 스마트 카에 대한 응급 알림에 대해 응답을 얻지 못하면, 이 개인 안전 시스템은 위험으로부터 사용자를 보호하기 위해 주위의 다른 디바이스로 브로드 캐스트 알림을 보낼 수 있다.
예를 들어, 스마트 시티 개념에서, 제 2 경보 통보는 도 32에 설명된 바와 같이 전자 빌보드 3200상에 표시될 수 있다. 예를 들어 개인 안전 시스템이 XYZ 다리가 붕괴되어 15km 교통 정체를 일으키고 있으므로 26번 고속도로를 피하라는 메시지를 스마트 카에 설치된 디스플레이 3210에도 할 수 있지만 또한, 사용자의 자동차 주변에 인접한 전자 게시판 3200을 이용하여 전달할 수도 있다.
도 33은 일 실시예에 따라 부정적 감정 결과를 재저장하기 위한 감정 인식 시스템의 샘플 시나리오이다.
감정 인식은 사용자 심리를 긍정적 또는 부정적 정서 상태로 분류한다. 부정적인 감정에 속하면 슬픔, 분노, 두려움, 혐오로 구분된다. 사용자가 부정적인 감정을 치료하도록 돕기 위해, 실시예들은 사용자의 현재 감정 상태에 기초하여 적절한 행동을 제공함으로써 이 것을 용이하게 한다.
예를 들어, 슬픔에 빠진 운전자에게는 운전 중에 행복한 노래를 재생하도록 제안될 수 있다. 도 33을 참조하면, 스마트 와치는 와치 화면에 <당신은 슬퍼보입니다. 운전중 노래를 들으시겠습니까? >라는 팝업 질문 3300을 표시할 수 있다. 사용자가 "아니오" 옵션을 선택하면, 도 33에 도시된 바와 같이 스마트 와치에 직접 경고 3310가 표시될 수 있다. 반면, "예" 옵션이 선택되면, 노래 3320는 스마트 폰, 스마트 시계 또는 스마트 카일 수 있는 사용자 디바이스 중 하나에서 재생될 수 있다.
실시예들은, 앞서 설명한 바와 같이 사용자가 빠르게 움직이고 있음을 검출할 때 감정 인식 시스템을 활성화 한다. 감정 인식 결과를 알고 있음으로써, 개인 안전 시스템은 사용자가 부정적인 감정 상태에 있다는 결과가 노출될 때 소정 액션을 수행할 수 있다. 개인 안전 시스템은 이동이나 오락 활동을 중지하라는 알림과 같은 하나 이상의 적절한 조치를 취하여 사용자가 빠르게 움직일 때 위험에 처하게 할 수 있는 부정적인 감정을 치유할 수 있다. 또는, 사용자가 운전하기에 적합한 수준에 있지 않은 것으로 결과가 나오면, 개인 안전 시스템은 운전을 중지하도록 경고할 수도 있다.
도 34는 일 실시예에 따라 개인 안전 대시 보드의 샘플 시나리오이다.
실시예들에 따라 개인 안전 시스템은 사용자의 위치를 검출하는 GPS와 같은 센서 디바이스로부터 수집된 사용자 내부 데이터, 소셜 미디어와 같은 외부 데이터 및 위험하거나 해로운 이벤트를 검출하는 공공 데이터를 계산하여 사용자 환경 주변의 위험 상황을 분류할 수 있다. 결과가 사용자에게 위험한 상황이 있음을 나타내면, 도 34에 도시된 바와 같이 개인 안전 대시 보드에서 인근의 위험한 사건에 대해 사용자에게 경고할 수 있다.
도 34를 참조하면, 3410에서 개인 안전 시스템은 사용자의 안전이 안전함을 나타내기 위해 <SECURE> 라는 메시지 3411를 녹색으로 표시할 수 있다. 3420에서 개인 안전 시스템은 XYZ 다리가 붕괴되어 교통정체가 있으므로 26번 고속도로를 피하라는 메시지 3422와 함께 <BEWARE>라는 메시지 3421을 황색으로 표시할 수 있다. 3430에서 개인 안전 시스템은 지진이 발생하여 안전한 곳으로 대피하라는 메시지 3432와 함께 <EARTH QUAKE>라는 메시지를 적색으로 표시할 수 있다.
도 35는 일 실시예에 따라 통지의 상세 정보를 디스플레이하는 시스템의 샘플 시나리오이다.
개인 안전 시스템은, 위험 상황이 근처에 있는 경우, 위험의 상세 내용 및 위험 상황을 회피하기 위한 대체 경로를 사용자에게 통보할 수 있다.
3510에서 개인 안전 시스템은 XYZ 다리가 붕괴되어 교통정체가 있으므로 26번 고속도로를 피하라는 메시지 3512와 함께 <BEWARE>라는 메시지 3511을 표시할 수 있다. 사용자에 의해 <BEWARE> 메시지 3511이 선택되면, 개인 안전 시스템은 XYZ 다리 붕괴에 대한 구체적인 뉴스나 정보 3521을 더 표시할 수 있다.
실시예들에 따르면 시스템온칩 (SoC) 기반의 지능형 방법 기반 안전 시스템을 개발하여 사용자의 프라이버시를 유지하면서 동적 환경에서 사용자의 안전성을 우선 순위화 할 수 있다.
MCU, 프로그램 및 데이터 저장을 위한 RAM, 네트워크 모듈 및 GPIO 확장과 같은 특정 기능을 갖춘 다양한 모듈로 구성된 중앙 지능형 개인 안전 시스템의 주 기능으로 System-on-Chip (SoC) 사용할 수 있다.
텍스트, 오디오, 이미지 또는 비전으로부터 여러 인식 기술을 사용하여 사용자의 상태와 동적 환경을 예측할 수 있다.
온라인 학습 모델과 SoC 환경에 최적화 된 배치 학습 모델을 결합한 앙상블 학습을 적용할 수 있다.
사용자가 개인 안전 시스템을 사용하는 동안 사용자는 사용자의 선호에 따라 안전 시스템을 관리 및 구성할 수 있다.
다음, 본 발명은 개인 안전과 관련된 모든 활동을 두 가지 방식으로 수행하기 위해 독립형 또는 독립형 시스템으로 실행될 수 있다. 이 시스템을 스마트 폰, 웨어러블 기기 및 일반 임베디드 보드 기기 또는 기타 IoT 기기와 같은 다양한 사용자 기기에 내장할 수 있다. 이 시스템을 사용자 정의 보드 장치와 통합한 다음 외부 센서 장치를 추가하여 사용자의 물리적 환경을 감지할 수 있다.　　　　　
실시예들에 따른 개인 안전 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 개인 안전 장치에 있어서,
    통신 인터페이스;
    하나 이상의 인스트럭션을 포함하는 메모리;
    상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    소셜 미디어 서비스, 메시징 서비스, 또는 RSS (Really Simple Syndication) 서비스 중 적어도 하나로부터 획득된, 사용자의 개인 온라인 활동 정보를 획득하고,
    상기 획득된 개인 온라인 활동 정보에 기반해서 상기 사용자의 현재 감정을 획득하고,
    이동 정보에 기반해서, 상기 현재 감정이 미리 정해진 감정에 대응하는 동안, 상기 사용자가 속도 카테고리에서 운전하고 있는지를 판단하고,
    상기 사용자가 속도 카테고리에서 운전하고 있는 동안 상기 사용자의 현재 감정이 상기 미리 정해진 감정에 대응한다고 판단됨에 따라, 상기 메모리에 저장된 복수의 액션들중에서, 상기 사용자가 상기 속도 카테고리에서 운전하고 있는 동안 발생하는 상기 미리 정해진 감정에 대응하는 액션을 수행하고,
    상기 메모리는, 서로 다른 미리 정해진 감정들이 서로 다른 액션에 연관되도록 상기 미리 정해진 감정들을 상기 복수의 액션들과 연관시켜 저장하는,
    개인 안전 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 사용자의 위치 정보나 속도 정보로부터 상기 사용자의 이동 정보를 획득하는, 개인 안전 장치.
  4. 제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    하나 이상의 센서를 통해 감지되는 상기 사용자의 생물학적 데이터로부터 상기 사용자의 생물학적 환경 정보를 획득하고,
    상기 사용자의 생물학적 환경 정보로부터 상기 사용자의 건강 상태를 결정하는, 개인 안전 장치.
  5. 삭제
  6. 삭제
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 액션은, 이미지 출력, 경고 출력, 오디오 출력, 및 사물 인터넷 디바이스 제어 중 적어도 하나를 포함하는, 개인 안전 장치.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 프로세서는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 사용자에 의해 제어가능한 사용자의 개인 장치 또는 상기 사용자 주변의 주변 장치로, 정보를 전송함으로써 상기 액션을 수행하는, 개인 안전 장치.
  9. 제1항에 있어서,
    상기 액션, 및 상기 액션을 수행할 전자 장치는 상기 사용자에 의해 커스터마이즈 가능한, 개인 안전 장치.
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 개인 안전 장치는 시스템 온 칩 으로 구현되는, 개인 안전 장치.
  11. 메모리와 프로세서를 포함하는 개인 안전 장치의 동작 방법에 있어서,
    소셜 미디어 서비스, 메시징 서비스, 또는 RSS (Really Simple Syndication) 서비스 중 적어도 하나로부터 획득된, 사용자의 개인 온라인 활동 정보를 획득하는 동작,
    상기 획득된 개인 온라인 활동 정보에 기반해서 상기 사용자의 현재 감정을 획득하는 동작,
    이동 정보에 기반해서, 상기 현재 감정이 미리 정해진 감정에 대응하는 동안, 상기 사용자가 속도 카테고리에서 운전하고 있는지를 판단하는 동작, 및
    상기 사용자가 속도 카테고리에서 운전하고 있는 동안 상기 사용자의 현재 감정이 상기 미리 정해진 감정에 대응한다고 판단됨에 따라, 상기 메모리에 저장된 복수의 액션들중에서, 상기 사용자가 상기 속도 카테고리에서 운전하고 있는 동안 발생하는 상기 미리 정해진 감정에 대응하는 액션을 수행하는 동작을 포함하고,
    상기 메모리는, 서로 다른 미리 정해진 감정들이 서로 다른 액션에 연관되도록 상기 미리 정해진 감정들을 상기 복수의 액션들과 연관시켜 저장하는, 개인 안전 장치의 동작 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 사용자의 위치 정보나 속도 정보로부터 상기 사용자의 이동 정보를 획득하는 동작을 더 포함하는, 개인 안전 장치의 동작 방법.
  14. 제11항에 있어서,
    하나 이상의 센서를 통해 감지되는 상기 사용자의 생물학적 데이터로부터 상기 사용자의 생물학적 환경 정보를 획득하는 동작, 및
    상기 사용자의 생물학적 환경 정보로부터 상기 사용자의 건강 상태를 결정하는 동작을 더 포함하는, 개인 안전 장치의 동작 방법.
  15. 삭제
  16. 삭제
  17. 제11항에 있어서,
    상기 액션은, 이미지 출력, 경고 출력, 오디오 출력, 및 사물 인터넷 디바이스 제어 중 적어도 하나를 포함하는, 개인 안전 장치의 동작 방법.
  18. 제11항에 있어서,
    상기 액션을 수행하는 동작은,
    상기 사용자에 의해 제어가능한 사용자의 개인 장치 또는 상기 사용자 주변의 주변 장치에 의해 상기 액션을 수행하는 동작을 포함하는, 개인 안전 장치의 동작 방법.
  19. 제11항에 있어서,
    상기 액션, 및 상기 액션을 수행할 장치를 상기 사용자에 의해 커스터마이즈하는 동작을 더 포함하는, 개인 안전 장치의 동작 방법.
  20. ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈
    제11항, 제13항, 제14항, 제17항, 제18항, 및 제19항 중의 어느 한 항에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020197018374A 2016-12-28 2017-12-19 개인 안전 장치 및 그 동작방법 KR102474247B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IDP00201609071 2016-12-28
IDP00201609071 2016-12-28
PCT/KR2017/014990 WO2018124584A1 (ko) 2016-12-28 2017-12-19 개인 안전 장치 및 그 동작방법

Publications (2)

Publication Number Publication Date
KR20190092455A KR20190092455A (ko) 2019-08-07
KR102474247B1 true KR102474247B1 (ko) 2022-12-06

Family

ID=62710762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197018374A KR102474247B1 (ko) 2016-12-28 2017-12-19 개인 안전 장치 및 그 동작방법

Country Status (3)

Country Link
US (1) US10964191B2 (ko)
KR (1) KR102474247B1 (ko)
WO (1) WO2018124584A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159655B2 (ja) * 2018-07-09 2022-10-25 富士フイルムビジネスイノベーション株式会社 感情推定システムおよびプログラム
US20200065513A1 (en) * 2018-08-24 2020-02-27 International Business Machines Corporation Controlling content and content sources according to situational context
US11445043B2 (en) * 2018-10-31 2022-09-13 Fwd Inc. Ephemeral and private beacon network
CN110191450B (zh) * 2019-04-02 2021-02-26 华为技术有限公司 业务连接建立方法、蓝牙主设备、芯片及蓝牙系统
US11146930B2 (en) * 2019-04-11 2021-10-12 Weining Tan Inter-vehicle communication using digital symbols
WO2023105370A1 (en) * 2021-12-07 2023-06-15 3M Innovative Properties Company Article of personal protective equipment and system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102005049B1 (ko) * 2013-04-18 2019-07-29 에스케이텔레콤 주식회사 상황 인지 기반의 안전 관리 서비스 제공을 위한 방법 및 장치
KR102156902B1 (ko) 2014-02-21 2020-09-17 삼성전자주식회사 알림 서비스 방법 및 전자 장치
KR101677642B1 (ko) 2014-05-27 2016-11-18 엘지전자 주식회사 스마트 밴드 및 이를 이용한 위험 상황 모니터링 방법
US20160063874A1 (en) 2014-08-28 2016-03-03 Microsoft Corporation Emotionally intelligent systems
KR20160029895A (ko) * 2014-09-05 2016-03-16 강원대학교산학협력단 감정 캐릭터 추천 장치 및 감정 캐릭터 추천 방법
CN105632049B (zh) 2014-11-06 2019-06-14 北京三星通信技术研究有限公司 一种基于可穿戴设备的预警方法和装置
KR20160066813A (ko) 2014-12-03 2016-06-13 엘지전자 주식회사 아동 보호를 위한 웨어러블 디바이스 및 그 제어 방법
KR102396291B1 (ko) * 2015-04-06 2022-05-10 삼성전자주식회사 데이터 처리 방법 및 그 전자 장치
KR20160138793A (ko) * 2015-05-26 2016-12-06 한국전자통신연구원 소셜 네트워크 서비스를 이용한 사용자 감정상태정보 제공장치 및 그 방법
KR101713521B1 (ko) 2015-06-08 2017-03-07 주식회사 아이온 시각 장애인 및 노약자를 위한 지능형 보행 보조 장치

Also Published As

Publication number Publication date
US10964191B2 (en) 2021-03-30
US20200082699A1 (en) 2020-03-12
WO2018124584A1 (ko) 2018-07-05
KR20190092455A (ko) 2019-08-07

Similar Documents

Publication Publication Date Title
KR102474247B1 (ko) 개인 안전 장치 및 그 동작방법
US11917514B2 (en) Systems and methods for intelligently managing multimedia for emergency response
US11249544B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US11004451B2 (en) System for processing sound data and method of controlling system
US20170146801A1 (en) Head-mounted display device with a camera imaging eye microsaccades
US10573314B2 (en) Health monitoring system and appliance
US10074368B2 (en) Personalized situation awareness using human emotions and incident properties
US9633184B2 (en) Dynamic authorization
EP3627806A1 (en) Method for generating user portrait, and terminal
US11195618B2 (en) Multi-level machine learning to detect a social media user&#39;s possible health issue
US20190019509A1 (en) Voice data processing method and electronic device for supporting the same
WO2016028933A1 (en) System for determining an underwriting risk, risk score, or price of insurance using sensor information
KR20180081922A (ko) 전자 장치의 입력 음성에 대한 응답 방법 및 그 전자 장치
US11763690B2 (en) Electronic apparatus and controlling method thereof
EP4042322A1 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
US10925342B2 (en) Helmet communication and safety system
US11904868B2 (en) Information processing device, recording medium, and information processing method
US20220035840A1 (en) Data management device, data management method, and program
KR102511517B1 (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR20240013829A (ko) 콘텐츠 표시순위 결정 장치, 콘텐츠 표시순위 결정 장치의 제어방법 및 콘텐츠 표시순위 결정 장치를 포함한 차량
Kashevnik et al. Human-computer threats classification in intelligent transportation systems
CN115280357A (zh) 社交媒体接口
KR102506080B1 (ko) 사용자 건강관리 기반 원격 솔루션 제공방법 및 시스템
JP7450483B2 (ja) 出力装置
US11595486B2 (en) Cloud-based, geospatially-enabled data recording, notification, and rendering system and method

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant