KR102408257B1 - 조기에 위험을 경고하는 방법 및 장치 - Google Patents

조기에 위험을 경고하는 방법 및 장치 Download PDF

Info

Publication number
KR102408257B1
KR102408257B1 KR1020150137084A KR20150137084A KR102408257B1 KR 102408257 B1 KR102408257 B1 KR 102408257B1 KR 1020150137084 A KR1020150137084 A KR 1020150137084A KR 20150137084 A KR20150137084 A KR 20150137084A KR 102408257 B1 KR102408257 B1 KR 102408257B1
Authority
KR
South Korea
Prior art keywords
risk
target object
information
wearable device
warning
Prior art date
Application number
KR1020150137084A
Other languages
English (en)
Other versions
KR20160054397A (ko
Inventor
시아오이 두
헹리앙 루오
하이펑 덩
리 장
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/525,218 priority Critical patent/US10121075B2/en
Priority to PCT/KR2015/011083 priority patent/WO2016072644A1/ko
Priority to EP15857475.6A priority patent/EP3217370A4/en
Publication of KR20160054397A publication Critical patent/KR20160054397A/ko
Application granted granted Critical
Publication of KR102408257B1 publication Critical patent/KR102408257B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Emergency Alarm Devices (AREA)
  • Child & Adolescent Psychology (AREA)
  • Alarm Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)

Abstract

사용자가 착용한 제 1웨어러블 디바이스를 통해 대상 객체의 이미지 정보를 획득하고, 획득된 이미지 정보를 기초로 하여 대상 객체의 물리적 특성을 검출하고, 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정하고, 결정된 사건의 위험도에 기초하여 사용자에게 경고를 하는, 조기에 위험을 경고하는 방법 및 장치가 개시된다.

Description

조기에 위험을 경고하는 방법 및 장치{THE METHOD AND APPARATUS FOR EARLY WARNING THE DANGER}
조기에 위험을 경고하는 방법 및 장치에 관한다.
차량과 같은 위험한 물체를 검출 할 수 있고, 경고 정보를 송신 할 수 있는 헤드 마운트 디스플레이 (HMD)와 같은 일부 웨어러블 디바이스가 있다. 이러한 디바이스에서는, 이미지 신호가 차량으로부터 위험을 감지하는데 사용된다. 또 다른 웨어러블 디바이스들에서는, 오디오 신호를 이용하여 위험을 감지하고 경고 정보를 제공한다.
조기에 위험을 경고하는 방법 및 장치에 관한다. 또한 하드웨어와 결합되어 상기 방법을 처리시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.
일 측면에 따라 웨어러블 디바이스로 조기에 위험을 경고하는 방법은, 대상 객체의 이미지 정보를 획득하는 단계, 획득된 이미지 정보를 기초로 하여 대상 객체의 물리적 특성을 검출하는 단계, 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정하는 단계 및 결정된 사건의 위험도에 기초하여 사용자에게 경고를 제공하는 단계를 포함하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
또한 획득하는 단계는, 주위의 오디오 정보를 획득하고, 검출하는 단계는, 획득된 오디오 정보를 기초로 하여 오디오 특성을 검출할 수 있다.
또한 위험도를 결정하는 단계는, 이미지 정보에 기초하여, 대상 객체가 웨어러블 디바이스에 도달하는데 걸린 시간을 결정하는 단계 및 대상 객체의 물리적 특성, 대상 객체가 웨어러블 디바이스에 도달하는데 걸린 시간 및 대상 객체의 오디오 특성 중 적어도 하나에 따라 대상 객체에 대한 위험도를 결정하는 단계를 포함할 수 있다.
또한 대상 객체의 물리적 특성은 사람의 얼굴, 몸통, 팔다리, 동물의 치아, 꼬리 또는 눈을 포함할 수 있다.
또한 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함할 수 있다.
또한 획득하는 단계는, 기상 정보 또는 냄새 정보를 획득하는 단계를 포함하고, 위험도를 결정하는 단계는, 기상 정보 또는 냄새 정보에 기초하여 위험도를 결정할 수 있다.
또한 경고를 제공하는 단계는, 위험도에 따라 다른 방식으로 경고를 제공할 수 있다.
또한 제 2 웨어러블 디바이스를 통하여 획득한 이미지 정보 또는 오디오 정보를 수신하는 단계를 더 포함하고, 위험도를 결정하는 단계는, 제 2웨어러블 디바이스로부터 수신된 정보에 기초하여 위험도를 결정할 수 있다.
또한 검출하는 단계는, 이미지 정보를 이용해 대상 객체가 사람인지 여부를 검출하는 단계 및 대상 객체가 사람이면, 사람의 얼굴을 검출하는 단계를 포함하고, 위험도를 결정하는 단계는, 검출된 얼굴이 기 설정된 얼굴 데이터베이스에 있는지 여부에 따라 위험도를 결정할 수 있다.
다른 측면에 따라 조기에 위험을 경고하는 웨어러블 디바이스는 대상 객체의 이미지 정보를 획득하는 센싱부, 획득된 이미지 정보를 기초로 하여 대상 객체의 물리적 특성을 검출하는 특성 검출부, 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정하는 위험도 결정부 및 결정된 사건의 위험도에 기초하여 사용자에게 경고를 하는 경고부를 포함할 수 있다.
또한 센싱부는, 주위의 오디오 정보를 획득하고, 특성 검출부는, 획득된 오디오 정보를 기초로 하여 오디오 특성을 검출할 수 있다.
또한 위험도 결정부는, 이미지 정보에 기초하여, 대상 객체가 웨어러블 디바이스에 도달하는데 걸린 시간을 결정하고, 대상 객체의 물리적 특성, 대상 객체가 웨어러블 디바이스에 도달하는데 걸린 시간 및 대상 객체의 오디오 특성 중 적어도 하나에 따라 대상 객체에 대한 위험도를 결정할 수 있다.
또한 대상 객체의 물리적 특성은 사람의 얼굴, 몸통, 팔다리, 동물의 치아, 꼬리 또는 눈을 포함할 수 있다.
또한 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함할 수 있다.
또한 센싱부는, 기상 정보 또는 냄새 정보를 획득하고, 위험도 결정부는, 기상 정보 또는 냄새 정보에 기초하여 위험도를 결정할 수 있다.
또한 경고부는, 위험도에 따라 다른 방식으로 경고를 제공할 수 있다.
또한 제 2 웨어러블 디바이스를 통하여 획득한 이미지 정보 또는 오디오 정보를 수신하는 수신부를 더 포함하고, 위험도 결정부는,제 2웨어러블 디바이스로부터 수신된 정보에 기초하여 위험도를 결정할 수 있다.
또한 검출부는, 이미지 정보를 이용해 대상 객체가 사람인지 여부를 검출하고, 대상 객체가 사람이면, 사람의 얼굴을 검출하고, 위험도 결정부는, 검출된 얼굴이 기 설정된 얼굴 데이터베이스에 있는지 여부에 따라 위험도를 결정할 수 있다.
도 1은 일 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도 2는 다른 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도 3은 또 다른 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도 4는 일 실시예에 따라 조기에 위험을 경고하기 위한 방법을 설명하기 위한 흐름도이다.
도 5는 다른 실시예에 따라 조기에 위험을 경고하기 위한 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따라 조기에 위험을 경고하기 위한 방법의 한 예를 설명하기 위한 흐름도이다.

도 7은 조기에 위험을 경고하기 위한 방법의 다른 예를 설명하기 위한 흐름도이다.
도 8은 조기에 위험을 경고하기 위한 방법의 또 다른 예를 설명하기 위한 흐름도이다.
도 9는 조기에 위험을 경고하기 위한 방법을 실시하는 한 예를 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 일 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도1 을 참조하면 조기에 위험을 경고하는 웨어러블 디바이스(100)는 센싱부(110), 특성 검출부(120), 위험도 결정부(130) 및 경고부(140)를 포함한다. 웨어러블 디바이스는 헤드 마운트 디스플레이, 스마트 글래스 또는 스마트 워치를 포함할 수 있다.
센싱부(110)는 대상 객체의 이미지 정보를 획득할 수 있다. 또한 센싱부(110)는 주위의 오디오 정보를 획득할 수 있다. 그리고 센싱부(110)는 기상 정보 또는 냄새 정보를 획득할 수 있다. 이와 더불어 센싱부(110)는 제 1 웨어러블 디바이스를 통해 사용자의 생체 정보를 획득할 수 있다.
특성 검출부(120)는 획득된 이미지 정보를 기초로 하여 대상 객체의 물리적 특성을 검출할 수있다. 또한 특성 검출부(120)는 획득된 오디오 정보를 기초로 하여 오디오 특성을 검출할 수 있다. 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함할 수 있다. 특성 검출부(120)는, 이미지 정보를 이용해 대상 객체가 사람인지 여부를 검출할 수 있다. 특성 검출부(120)는 대상 객체가 사람이면, 사람의 얼굴을 검출할 수 있다.
위험도 결정부(130)는 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정할 수 있다. 또한 위험도 결정부(130)는 이미지 정보에 기초하여, 대상 객체가 제 1 웨어러블 디바이스에 도달하는데 걸린 시간을 결정할 수 있다. 그리고 위험도 결정부(130)는 대상 객체의 물리적 특성, 대상 객체가 제 1 웨어러블 디바이스에 도달하는데 걸린 시간 및 대상 객체의 오디오 특성 중 적어도 하나에 따라 대상 객체에 대한 위험도를 결정할 수 있다. 또한 위험도 결정부(130)는 기상 정보 또는 냄새 정보에 기초하여 위험도를 결정할 수 있다. 예를 들면 비오는 날엔 미끄럼을 주의해야하므로 위험도가 올라갈 수 있다. 또는 공기중 유독가스의 농도가 높을 경우 위험도가 올라갈 수 있다. 그리고 위험도 결정부(130)는 생체 정보에 기초하여 위험도를 결정할 수 있다. 또한 위험도 결정부(130)는, 검출된 얼굴이 기 설정된 얼굴 데이터베이스에 있는지 여부에 따라 위험도를 결정할 수 있다.
경고부(140)는 결정된 사건의 위험도에 기초하여 사용자에게 경고를 제공할 수 있다. 또한 경고부(140)는 생체 정보에 따라 경고를 제공할 수 있다. 예를 들어 사용자의 혈압이 급격히 떨어졌을 경우에 경고를 제공할 수 있다. 또한 경고부(140)는 위험도에 따라 경고를 다르게 할 수 있다. 예를 들어 위험도가 낮을 경우에는 약한 진동으로 경고를 하고, 위험도가 높을 경우에는 강한 진동으로 경고를 제공할 수 있다. 또는 위험도가 낮을 경우에는 램프를 느리게 깜박이고, 위험도가 높을 경우에는 램프를 빠르게 깜박일 수 있다. 또 다른 예로는 위험도가 낮을 경우에는 느리게 경고음을 반복할 수 있고, 위험도가 높을 경우에는 빠르게 경고음을 반복할 수 있다. 이 밖에 다양하게 위험도에 따라 다른 방식으로 경고를 제공하는 실시예가 가능하다.
도 2는 다른 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도2 을 참조하면 조기에 위험을 경고하는 장치(200)는 센싱부(110), 특성 검출부(120), 위험도 결정부(130), 경고부(140) 및 수신부(210)를 포함한다.
도 2의 센싱부(110), 특성 검출부(120), 위험도 결정부(130) 및 경고부(140)에 대한 설명은 도 1의 동일한 구성에 대한 설명과 같다. 그리고 수신부(210)는, 제 2 웨어러블 디바이스를 통하여 획득한 정보를 수신할 수 있다. 이때 정보는, 제 2 사용자의 생체 정보및 제 2 웨어러블 디바이스에 의해 획득된 이미지 정보 및 오디오 정보 중 적어도 하나를 포함할 수 있다. 또한 위험도 결정부(130)는 제 2웨어러블 디바이스로부터 수신된 정보에 기초하여 위험도를 결정할 수 있다.
이와 더불어 사기 참조 모델에 기초하여 대상 객체의 대화 내용, 안면 특징의 변화 또는 동작 전환을 분석하여 사기의 가능성을 결정할 수 있다. 위험도 결정부(130)는, 결정된 사기의 가능성에 기초하여 위험도를 결정할 수 있다.
도 3은 또 다른 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도 3에 나타내는 바와 같이, 웨어러블 디바이스(300)는 센싱부 (310), 처리부 (320) 및 경보부 (330)를 포함할 수 있다. 이때 웨어러블 디바이스(300)는 도 1에 도시된 조기에 위험을 경고하는 웨어러블 디바이스(100)와 대응될 수 있다.
센싱부 (310)는 서로 다른 유형의 정보를 감지하기 위한 다양한 센서를 포함 할 수 있다. 일반적으로, 센싱부 (310)는 이미지 센서 (312) 오디오 센서 (314), 습도 센서(316) 및 냄새 센서(318)를 포함한다.
또한 감광 요소로 알려진 이미지 센서는, 전자 신호로 광학 이미지를 변환하는 장치이다. 이 실시 예에서, 이미지 센서 (312)는 주변 환경의 실시간 이미지 정보를 획득하는 데 사용될 수 있다. 또한 웨어러블 디바이스(300)는 카메라를 포함할 수 있고, 이미지 센서(312)는 카메라에 포함될 수도 있다. 실시간 이미지 정보는 사용자의 안전을 위협할 수 있는 임의의 주변 정보를 포함 할 수있다. 예를 들면, 실시간 이미지 정보는 도로 상태, 차량 작동 조건, 인간과 동물을 포함한 인근 생물로부터의 정보에 한정되지 않는다.
오디오 센서(314)는 픽업 장치나 픽업의 어레이를 포함할 수있다. 본 실시 예에서, 오디오 센서 (314)는 주변 환경의 실시간 오디오 정보를 획득하는데 사용될 수있다. 실시간 오디오 정보는 사용자의 안전을 위협 할 수있는 임의의 주변 정보를 포함할 수있다. 예를 들어, 실시간 오디오 정보는 차량의 경적, 천둥, 사람의 목소리, 동물 비명 등을 포함 할 수 있지만, 이에 한정되지 않는다.
또한, 센싱부(310)는 또 다른 유형의 센서를 포함할 수 있다. 예를 들면, 센싱부(310)는 습도 센서(316), 냄새 센서(318) 속도 센서(미도시), 대기압 센서(미도시) 등을 구성하고 있을 수 있다. 습도 센서(316)는 주위 환경의 기상 조건을 결정하기 위하여 습도를 감지하도록 사용될 수 있다. 냄새 센서(318)는, 예를 들면 주위 환경의 냄새 또는 가스의 몇몇 유형을 검출하기 위하여 사용될 수 있다. 예를 들면, 이 가스는 사용자의 안전을 위태롭게 하는 일산화탄소 연기와 같은 위험한 화학제품을 포함하는 가스일 수 있다. 속도 센서는, 예를 들면, 웨어러블 디바이스(300)를 착용한 사용자의 속도를 감지하기 위해 사용될 수 있다. 대기압 센서는, 예를 들면, 주위 환경의 기상 조건을 결정하기 위하여 대기압을 감지하도록 사용될 수 있다. 당업자는 센싱부(310)가 이미 만들어진 어떤 유형의 센서들 또는 앞으로 개발될 주위 환경 상태를 감지하기 위한 어떤 유형의 센서들도 포함할 수 있다는 것을 이해할 수 있다. 다른 한편, 웨어러블 디바이스(300)는 정보를 습득하기 위하여 인터넷(20)과 같은 네트워크에 연결될 수 있는 네트워크 통신부(350)를 더 포함할 수 있다. 네트워크 통신부(350)에 의하여, 웨어러블 디바이스(300)는 네트워크에서 주위 환경의 날씨 정보를 습득하기 위하여 일기 예보 정보를 받을 수 있다.
또한, 웨어러블 디바이스(300)는 센싱부(310) 이외에, 생체 정보 센서(360)를 더 포함할 수 있다. 생체 정보 센서(360)는 생물학 물질을 탐지하여 전기 신호로 물질 농도를 전환하는데 사용되는 기구이다.
일 실시예에서, 생체 정보 센서(360)는 웨어러블 디바이스(300)를 착용한 사용자(10)(즉, 사용자)의 생체 정보를 감지하기 위하여 사용될 수 있다. 사용자의 생체 정보는 사용자의 생리적인 상태를 나타내는 다양한 정보를 포함할 수 있다. 예를 들면, 생체 정보는 심박수, 혈압, 체온, 호흡 비율을 포함하지만 이에 제한되지 않을 수 있다.
웨어러블 디바이스(300)에서 처리부(320)는 웨어러블 디바이스를 통해서 획득된 각종 정보를 기초로 위험도를 결정하는 데 이용된다. 그리고 위험도에 대응하여, 처리부(320)는 경고 정보를 제공할 수 있다.. 예를 들어, 처리부(320)는 이미지 정보와 오디오 정보를 분석하고, 위 분석에 근거한 위험도를 결정할 수 있다.
일 실시예에서, 처리부(320)는 사용자의 안전을 위태롭게 할 수 있는 정보를 습득하기 위하여 이미지 정보를 분석할 수 있다. 처리부(320)는 도 1 및 도 2의 특성 검출부(120)를 포함할 수 있다. 처리부(320)는 센싱부(310)에 의해 전달된 환경 이미지 정보에 근거한 대상 객체의 신체적 특징을 검출할 수 있다. 예를 들면, 대상 객체는 차량, 동물, 사람일 수 있다. 또한, 차량은 트럭, 차, 오토바이를 포함하지만 이에 제한되지 않을 수 있다. 대상 객체가 동물 (예를 들면, 처진 개, 맹렬한 개, 등)일 때, 그것의 신체적 특징은 꼬리 및 눈을 포함하지만 이에 제한되지 않을 수 있다. 대상 객체가 사람일 때, 사람의 신체적 특징은 사람의 얼굴, 손발 및 몸통을 포함하지만 이에 제한되지 않을 수 있다. 만약 대상 객체가 움직이는 경우에, 처리부(320)는 대상 객체가 웨어러블 디바이스에 도달하기 위하여 걸린 시간, 즉, 대상 객체가 사용자에게 도달 하기 위해 걸린 시간을 결정할 수 있다.
다른 실시예로, 처리부(320)는 사용자의 안전을 위태롭게 할 수 있는 정보를 습득하기 위하여 오디오 정보를 분석할 수 있다. 예를 들면, 처리부(320)는 센싱부(310)에서 전달된 오디오 정보에 근거한 대상 객체의 오디오 특성을 추출할 수 있다. 예를 들어 대상 객체는 차량, 동물, 사람을 포함하지만 이에 제한되지 않을 수 있다. 대상 객체가 차량일 때, 차량의 오디오 특성은 차량의 경적 소리를 포함하지만 이에 제한되지 않을 수 있다. 대상 객체가 동물일 때, 동물의 오디오 특성은 오디오의 크기, 피치 및 멜 주파수 켑스트럼 계수(MFCC,Mel Frequency Cepstrum Coefficient)를 포함하지만 이에 제한되지 않을 수 있다. 대상 객체가 사람일 때, 사람의 오디오 특성은 연설, 켑스트럼 힘에 의하여 정상화된 계수 (PNCC,Power Normialized Cepstral Coefficient)를 포함하지만 이에 제한되지 않을 수 있다.
처리부(320)는 또한, 대상 객체에 대한 위험도를 결정하는 이미지 및 오디오 분석을 기초로 구성될 수 있다. 예를 들면, 처리부(320)는 아래의 3개의 항목에 근거하여 대상 객체에 대한 위험도를 결정할 수 있다.
3개의 항목은 대상 객체의 신체적 특징, 대상 객체가 대응하는 웨어러블 디바이스에 도달하기 위하여 걸린 시간 및 대상 객체의 오디오 특성이다.
또한, 처리부(320)는 평가되는 위험 레벨을 조정하는 다양한 요인에 근거하여 형성될 수 있다. 일 실시예에서는, 처리부(320)는 센싱부(310)에 의해 감지된 날씨 정보 또는 냄새 정보에 근거하여 위험도를 결정할 수 있다.
예를 들면, 비가 오거나 눈이 내리는 날에, 미끄러운 도로에서, 차량은 미끄러져서 예상치 못한 위험을 만들 수 있다. 그러므로 위험도가 높아질 수 있다. 다른 예로, 독가스가 센싱부(310)에 의해 검출될 때, 위험도가 높아질 수 있다.. 다른 실시에서는, 처리부(320)는 생체 정보 센서(360)에 의해 감지된 사용자의 생리적인 조건 정보에 근거하여 위험도를 결정할 수 있다.. 예를 들면, 빠른 심박수, 고혈압, 호흡 부족 등과 같은 사용자의 좋지않은 생리적인 상태가 생체 정보 센서(360)에 의해 감지될 때, 위험도가 높아질 수 있다.
처리부(320)는 위험도에 대응하여 경고 정보를 제공하도록 구성된다. 다른 실시예에서, 처리부 (320)는 웨어러블 디바이스를 착용한 사용자의 피드백 정보를 획득하고, 피드백 정보에 기초하여 경고 정보를 제공하도록 구성된다. 예를 들면 사용자가 위험도가 높은 요소에 관한 정보를 입력하면 높은 위험도에 따른 경고 정보를 제공할 수 있다. 예를 들면 현재 날씨를 입력하거나, 사용자의 건강 상태등을 입력할 수 있다. 다른 실시 예에서는, 조기 위험 경고 시스템은 저장된 사용자 선호 데이터 베이스(예를 들면 반응 데이터 또는 다양한 위험들에 대한 피드백 데이터과 같은 사용자 선호 데이터)를 포함할 수 있다.
사용자 선호 데이터베이스 검색을 통해 처리부 (320)는 사용자 또는 비슷한 사용자에 적합한 방식으로 경고 정보를 제공 할 수있다.
경고부(330)는 처리부(320)에 의해 제공되는 경고 정보에 기초하여 경고를 할 수 있다. 경고부(330)는 경고의 다른 방식을 제공하기 위해 사용자와 상호 작용할 수 있는 다양한 디바이스(예를 들면, 스피커, 디스플레이, 진동기 등)를 포함할 수 있다.
경고의 방식은 사용자 선호에 따라 설정 될 수있다. 사용자 선호도는 이미지, 텍스트, 소리 나 진동과 같은 시각적, 청각적 또는 촉각적 방식을 포함하지만 이에 제한되지 않는다.일부 실시 예에서, 웨어러블 디바이스 (300)는 서드 파티 지원 기능을 포함 할 수있다. 예를 들어, 웨어러블 디바이스 (300)는 송신부 (340)를 포함 할 수있다. 송신부(340)는 다른 웨어러블 디바이스들로부터 정보를 수신할 수 있다. (예를 들어, 사용자(40)에 의해 착용된 웨어러블 디바이스).
위의 정보는 다른 웨어러블 디바이스들을 착용한 사용자들의 생체 정보, 다른 웨어러블 디바이스들에 의해 생성된 정보(예를 들면, 웨어러블 디바이스의 처리부에 의해 생성된 위험도)를 포함하지만 이에 제한되지 않는다.
또한, 처리부 (320)은 다른 웨어러블 디바이스들로부터의 정보에 기초하여 위험도를 결정할 수있다. 정보 공유를 통해, 사용자는 제 3 자로부터의 초기 경고를 제공받을 수 있다. 그러므로 사용자의 안전성을 증가시킬 수있다.
조기 위험 경고 시스템은 다른 디바이스들과 정보를 공유하기 위해 웨어러블 디바이스가 공유 데이터베이스 (30)에 자신의 정보를 업로드 할 수 있도록하는 공유 데이터베이스 (30)를 포함 할 수있다. 도 2의 수신부(210)는 전송부(340)에 포함될 수 있다.
이 실시예에서, 각 웨어러블 디바이스는 공유 데이터베이스(30)를 통하여 다른 웨어러블 디바이스로부터 정보를 수신 할 수있다.
다른 실시 예에서, 접속은 두 웨어러블 디바이스간에 정보를 송신하기위해 직접 설정 될 수있다. 예를 들어, 성인에 의해 착용된 웨어러블 디바이스 및 아동에 의해 착용된 웨어러블 디바이스는 직접 연결을 설정하여 함께 사용할 수 있다. 따라서, 두 개의 웨어러블 디바이스들은 서로간에 정보를 공유 할 수 있다.
웨어러블 디바이스(300)는 헤드 마운트 디바이스, 손목 마운트 디바이스, 스마트 팔찌, 스마트 손목 시계 등을 포함하지만 이에 한정되지 않는다. 기술 분야에서 숙련 된 사람은 다양한 센서를 통해 감지를 수행하기에 적합한 장치를 웨어러블 디바이스 (300)에 설계 할 수있다.
도 4는 일 실시예에 따라 조기에 위험을 경고하기 위한 방법을 설명하기 위한 흐름도이다.
단계 S400에서는, 대상 객체의 이미지 정보를 획득할 수 있다. 또한 제 2 사용자가 착용한 제 2 웨어러블 디바이스를 통하여 획득한 정보를 수신할 수 있다. 이때 정보는, 제 2 사용자의 생체 정보, 이미지 정보, 오디오 정보 및 제 2 웨어러블 디바이스에 의해 생성된 정보 중 적어도 하나를 포함할 수 있다. 그리고 센서를 이용하여 기상 조건을 감지하거나 네트워크를 통해 일기 예보를 수신하여 기상 정보를 획득할 수 있다. 기상 정보 또는 냄새 정보또한 획득할 수 있다.. 이와 더불어 제 1 웨어러블 디바이스를 통해 획득한 제 1사용자의 생체 정보를 수신할 수 있다.
단계 S410에서는, 획득된 이미지 정보를 기초로 하여 대상 객체의 물리적 특성을 검출할 수 있다.
단계 S430에서는 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정할 수 있다.제 2웨어러블 디바이스로부터 수신된 정보에 기초하여 위험도를 결정할 수 있다.단계 S430에서는 결정된 사건의 위험도에 기초하여 사용자에게 경고를 제공할 수 있다. 그리고 생체 정보에 기초하여 경고를 다르게 할 수 있다.
도 5는 다른 실시예에 따라 조기에 위험을 경고하기 위한 방법을 설명하기 위한 흐름도이다.
단계 S500에서는 웨어러블 디바이스를 통해 주위의 정보를 획득할 수 있다.
단계 S510에서는 제 2 사용자가 착용한 제 2 웨어러블 디바이스를 통하여 획득한 정보를 수신할 수 있다. 이때 정보는, 제 2 사용자의 생체 정보, 정보 및 제 2 웨어러블 디바이스에 의해 생성된 정보 중 적어도 하나를 포함할 수 있다. 그리고 센서를 이용하여 기상 조건을 감지하거나 네트워크를 통해 일기 예보를 수신하여 기상 정보를 획득할 수 있다. 정보는 기상 정보 또는 냄새 정보를 포함할 수 있다. 이와 더불어 제 1 웨어러블 디바이스를 통해 획득한 제 1사용자의 생체 정보를 수신할 수 있다.
단계 S520에서는 획득한 정보에 기초하여 위험도를 결정할 수 있다. 또한 제 2 웨어러블 디바이스를 통하여 획득된 정보에 기초하여 위험도를 결정할 수 있다. 기상 정보 또는 냄새의 정보에 기초하여 위험도를 결정할 수 있다. 이외에 대상 객체의 물리적 특성을 검출하고, 대상 객체가 이미지 정보에 기초하여 대응하는 웨어러블 디바이스에 도달하는데 걸린 시간을 결정할 수 있다. 그리고 오디오 정보에 기초하여 대상 객체의 오디오 특성을 추출할 수 있다. 대상 객체의 물리적 특성, 대상 객체가 대응하는 웨어러블 디바이스에 도달하는데 걸린 시간 및 대상 객체의 오디오특성 중 적어도 하나에 따라 대상 객체에 대한 위험도를 결정할 수 있다. 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함할 수 있다.
단계 S530에서는 결정된 위험도에 따라 경고를제공할 수 있다. 또한 생체 정보에 기초하여 경고 정보를 제공하는 수단을 조정할 수 있다.
도 6은 일 실시예에 따라 조기에 위험을 경고하기 위한 방법의 한 예를 설명하기 위한 흐름도이다.
다음의 설명에서, "제 1웨어러블 디바이스"는 언급한 웨어러블 디바이스를 지칭한다. "제 2웨어러블 디바이스"는 언급한 웨어러블 디바이스 이외에 유사한 기능을 갖는 다른 웨어러블 디바이스를 지칭한다. 이것은 웨어러블 디바이스 자체를 제한하지 않고 단지 구별하기 위한 방식이다.
단계 S600에서, 정보는 제 1 웨어러블 디바이스를 통해 획득된다. 정보는 이미지 정보 및 오디오 정보를 포함한다. 예를 들어, 사용자가 거리에서 걷거나 실내에 머물 때, 일부 잠재적인 위험이 있을 수 있다. 예컨대, 잠재적인 위험은 차량 주행 중에 차량으로 인한 위험, 인근 동물에 의한 위험, 공기에서 유독 가스로 발생하는 위험, 낯선 사람의 잠재적인 사기로 인한 위험일 수 있다.
본 실시 예에서, 사용자에 의해 착용된 웨어러블 디바이스는, 가능한 잠재적 위험을 검출하기 위해 주위 정보를 획득 할 수있다. 일반적으로, 정보는 이미지 정보 및 오디오 정보를 포함한다.
예를 들어 사용자가 거리를 걷는 경우 이미지 정보는, 차량 주행 중에 차량의 정보, 사람 또는 동물의 정보, 사람 또는 동물의 동작 상태 정보를 포함 할 수 있다. 복수의 이미지들의 정보는 움직임 방향, 속도 및 대상 객체 등을 포함 할 수 있다. 도 3에 도시 된 이미지 센서(312)는 이미지 정보를 감지하는 데 사용될 수 있다. 오디오 정보는, 차량 주행 중에 차량의 경적 주파수, 사용자 주변의 사람 목소리, 동물의 비명을 포함 할 수 있다. 도 3에 도시 된 오디오 센서 (314)는 오디오 정보를 감지하는 데 사용될 수 있다.
단계 S610에서 획득된 정보에 기초하여 위험도가 결정된다. 예를 들어, 구체적으로 차량의 운행 방향이 사용자를 향하고 있는지 사용자에게서 멀어지고 있는지 여부를 이미지 정보를 통해 결정하고, 차량과 사용자의 거리가 사용자의 안전이 위험해질 정도로 너무 가까운지 여부를 결정하는 단계를 포함한다. 또한, 오디오 정보를 통해 근처의 동물이 분노 상태인지 여부 및 사용자를 헤칠 수 있는지 여부를 결정하는 단계를 포함한다.
단계 S620에서, 결정된 위험도에 따라 경고를 한다. 예를 들면, 위험도가 높은 경우, 사용자가 장소를 떠나거나 보행 방향을 변경하기 위해 사용자에게 경고하는 것을 포함한다. 일부 실시 예에서, 경고 방법은 현장 또는 사용자 선호에 따라 설정 될 수 있다. 또한, 웨어러블 디바이스는 사용자 선호 데이터 베이스를 저장하고 나중에 사용하기 위해 사용자의 피드백 정보를 전송할 수 있다. (예를 들면, 각종 위험에 대한 반응 데이터 또는 피드백 데이터)
웨어러블 디바이스는 사용자 선호도를 저장하는 사용자 선호 데이터베이스로부터 사용자의 피드백 정보를 획득할 수 있고, 피드백 정보에 기초하여 대응하는 경고를 제공 할 수있다. 예를 들어, 경고의 방식은 시각, 청각 및 촉각 방식을 포함 할 수 있지만 이에 한정되지 않는다. 따라서 경고의 내용은 이미지, 텍스트, 사운드 또는 상기 언급 된 항목의 임의의 조합을 포함 할 수있다. 추가 실시 예로, 결정된 위험도에 따라 경고를 다르게 할 수 있다. 예를 들어, 위험도가 낮은 경우, 경고의 소리가 낮은 볼륨 및 낮은 주파수로 설정 될 수 있다. 위험도가 높은 경우, 경고의 소리가 높은 볼륨 및 높은 주파수로 설정 될 수 있다. 또한 위험도가 높은 경우, 경고의 다양한 방식이 동시에 이용 될 수 있다, 예를 들면, 경고음이 아니라 진동이 사용자에게 경고하기 위해 생성 될 수 있다. 다른 실시 예에서, 웨어러블 디바이스를 착용한 사용자의 생체 정보에 기초하여 경고하는 방식을 조정할 수 있다. 사용자의 생체 정보는 사용자의 심리학적 상태 또는 정신 상태를 반영할 수 있기 때문에, 다른 생체 상태 또는 정신 상태는 다가오는 위험에 대한 다른 반응 및 치료를 가져올 수 있다.
따라서, 다른 반응 및 치료를 기초로 하여, 웨어러블 디바이스는 사용자에게 경고하는 다양한 방식을 제공 할 수있다. 예를 들어, 사용자의 정신 상태가 좋지 않은 경우에는, 현재 사용자가 위험에 응답하지 않으면 사용자는 위험을 간과하기 쉽다. 가능한 손상을 방지하기 위해, 웨어러블 디바이스에 의해 작동한 경고의 방식은 좀더 민감해질 수 있다. 예를 들면 웨어러블 디바이스는 높은 경고 볼륨, 빠른 주파수 등을 사용할 수 있다.
조기에 위험을 경고하는 방법은, 정보를 획득하는 웨어러블 디바이스를 사용한다. 획득된 정보는 이미지 정보 및 오디오 정보 등을 포함 할 수있다. 웨어러블 디바이스는 획득된 정보에 기초하여 위험도를 결정한다. 결정된 위험도에 따라 웨어러블 디바이스는 사용자에 대하여 경고한다. 요약하면, 상기 방법은 다양한 센서를 통해 사용자의 종합적이고 신속한 조기 위험 경고를 제공한다. 이에 사용자의 안전성을 향상시킨다. 또한, 위험 검출은 차량의 감지 뿐만 아니라 동물 및 사람과 같은 생물의 감지를 포함한다.
도 7은 조기에 위험을 경고하기 위한 방법의 다른 예를 설명하기 위한 흐름도이다.
단계 S700에서, 이미지 정보에 기초하여 대상 객체가 대응하는 웨어러블 디바이스에 도달하는데 걸리는 시간을 결정한다. 이미지 정보는 사용자의 안전을 위태롭게 할 수있는 정보를 획득하기 위해 분석된다. 이미지 정보는 단지 웨어러블 디바이스 자체에 의해 포착 할뿐만 아니라, 다른 웨어러블 디바이스에 의해 캡처된 이미지를 포함할 수 있다. 예를 들어, 두 개의 장치가 페어링될 때, 이들 두 개의 장치는 서로간에 데이터를 전송할 수있다. 데이터는 각각 촬영 된 이미지 정보, 오디오 정보, 각각 웨어러블 디바이스에 의해 생성되는 정보(예를 들면 결정된 위험도)를 포함 할 수 있지만 이에 한정되지 않는다.
이 실시 예에서, 이미지 정보를 분석하는 단계는 대상 객체의 물리적 특성을 검출하는 단계를 포함 할 수 있다. 일 실시예에서, 공유 특성을 이용하여 대상 객체의 다양한 유형을 검출할 수 있다. 예를 들어, 대상 객체는 자동차, 동물, 사람 3 종류를 포함한다. 대상 객체가 동물(예를 들어 길 잃은 강아지, 사나운 개, 등)인 경우, 물리적 특성은 동물의 치아, 꼬리, 눈을 포함하지만 이에 한정되지 않는다. 대상 객체가 사람 일 때, 사람의 물리적인 특성은 사람의 얼굴, 몸통 및 팔다리를 포함하지만 이에 한정되지 않는다. 사람의 신체적 특징 정보는 사기의 가능성이 있는지 여부를 결정하는 데 사용될 수 있다. 또한, 이미지 정보를 분석하는 단계는 대상 객체가 복수의 이미지에 기초하여 대응하는 웨어러블 디바이스에 도달하는 데 걸리는 시간을 결정하는 단계를 포함할 수 있다.
예를 들어, 복수의 이미지가 대상 객체와 웨어러블 디바이스 사이의 거리, 운동 방향 및 대상 객체의 속도를 결정하는데 사용될 수 있다. 따라서, 대상 객체가 대응하는 웨어러블 디바이스에 도달하는데 걸린 시간은 계산될 수 있다. 여러 방법은 거리, 운동 방향 및 속도를 계산하는데 이용 될 수 있다. 예를 들어, 거리는 대상 객체의 실제 크기와 이미지내 대상 객체의 이미지 크기를 비교함으로써 추정 될 수있다. 예를 들어, 움직임의 방향은, 이미지에서 대상 객체의 오프셋에 따라 추정될 수 있다. 기술 분야에서 숙련 된 사람은 대상 객체의 운동 방향이 사용자쪽으로 향하지 않는 경우, 대상 객체는 위험 가능성이 없다고 이해할 수있다.
일 실시예에서, 이미지 정보를 분석하는 단계는, 다른 웨어러블 디바이스로부터의 이미지를 분석할 수 있다. 예를 들어 제 1 웨어러블 디바이스와 제 2웨어러블 디바이스는 페어링되고 서로 간의 이미지 정보를 공유한다. 이 실시예에서, 제 1웨어러블 디바이스는 제 2웨어러블 디바이스로부터 이미지 정보를 분석 할 수 있고, 대상 객체가 제 2웨어러블 디바이스에 도달하는데 걸리는 시간을 계산할 수있다. 이어서 제 1웨어러블 디바이스는 제 1웨어러블 디바이스와 제 2 웨어러블 디바이스의 상호 위치 관계에 기초하여 대상 객체가 제 1웨어러블 디바이스에 도달하는데 걸리는 시간을 결정할 수 있다. 다른 실시예에서, 제 2웨어러블 디바이스는 대상 객체가 제 1웨어러블 디바이스와 제 2웨어러블 디바이스에 도달하는데 걸리는 시간을 공유 할 수있다. 따라서 전송된 데이터의 양이 감소 될 수있어, 처리 효율을 향상시킬 수 있다.
단계 S710에서, 오디오 정보를 기초로 하여 대상 객체의 오디오 특성을 검출할 수 있다. 오디오 정보는 사용자의 안전을 위태롭게 할 수 있는 정보를 획득하기 위해 분석된다. 마찬가지로, 오디오 정보는 웨어러블 디바이스 자체에 의해 캡쳐된 오디오 정보를 포함할 뿐만 아니라, 다른 웨어러블 디바이스에 의해 캡쳐된 오디오를 포함한다. 구체적으로는, 오디오 정보를 분석하는 단계는 오디오 정보로부터 대상 객체의 오디오 특성을 검출하는 단계를 포함한다.
음성 신호의 기저 대역 분해 및 재구성 기술에 따라, 관심 사운드(예를 들어, 차량, 동물 또는 사람의 소리)를 배경 사운드로부터 분리 할수있다. 예를 들어, 대상 객체가 차량 인 경우, 오디오 특성은 차량의 경적 주파수를 포함하지만 이에 한정되지 않는다. 대상 객체가 동물 인 경우, 오디오 특성은 볼륨, 피치, 및 멜 주파수 켑스트럼 계수(MFCC)를 포함하지만 이에 한정되지 않는다. 대상 객체가 사람일 때, 사람의 오디오 특성은 사람의 대화, 파워 정규화 켑스트럼 계수 (PNCC)를 포함 할 수 있지만, 이에 한정되지 않는다.
단계 S720에서, 대상 객체의 물리적 특성, 대상 객체가 대응하는 웨어러블 디바이스에 도달하는데 걸리는 시간 및 대상 객체의 오디오 특성에 따라 위험도를 결정할 수있다.. 대상 객체에 대한 위험 레벨은 이미지 및 오디오 정보의 분석에 기초하여 결정할 수 있다. 특히, 대상 객체에 대한 위험도는 대상 객체의 물리적 특성 및 오디오 특성과 대상 객체가 대응하는 웨어러블 디바이스에 도달하는데 걸리는 시간에 따라 결정될 수 있다.
일 실시예로, 대상 객체가 차량 인 경우, 차량이 사용자에 도달하는 데 걸리는 시간 및 차량의 경적 주파수에 의해 가중화되고 이산화될 수 있다. 따라서 위험 레벨, 즉 사용자에게 위협을 가하는 레벨이 결정될 수 있다. 다른 실시예로, 대상 객체가 동물일 때, 동물의 위협도(예를 들어, 분노 정도 및 사나운 정도)는 물리적 특성, 오디오 특성과 동물의 음향 특성에 따라 평가 될 수있다. 한편, 동물로부터의 공격 확률은 동물이 사용자에게 도달하는데 걸리는 시간에 따라 평가될 수 있다. 마지막으로, 동물의 위협도, 즉 위험 레벨을 결정하기 위해 위협도 및 확률은 가중화 및 이산화 될 수 있다. 다른 실시예로, 대상 객체가 사람이면, 대상 객체에 대한 위험 레벨을 평가하는 단계는 대상 객체가 사용자를 속일지 여부를 결정하는 단계를 포함할 수 있다.
단계 S730에서, 추가적인 요인(기상 정보, 냄새 정보, 생물학적 정보)에 기초하여 위험도를 결정할 수 있다. 위험도는 정확한 조기 경보를 제공하기 위하여 추가로 다수의 인자에 기초하여 더 조정될 수있다.
일 실시 예에서, 기상 정보 또는 냄새의 정보에 기초하여 위험도를 결정할 수 있다. 앞서 언급 한 바와 같이, 기상 조건이 웨어러블 디바이스의 센싱부 안에있는 습도 센서에 의해 감지될 수있다. 대안적으로, 일기 예보는 웨어러블 디바이스의 네트워크 통신부에 의한 네트워크를 통해 획득 될 수있다. 다른 대안으로서, 기상 조건은 온도를 감지하기 위해 사용되는 온도 센서와 같은 다른 유형의 센서들에 의해 감지 될 수있다. 음향 센서는 천둥, 비, 바람 등의 소리를 감지하기 위해 사용될 수 있다. 이미지 센서는 비오는 날, 눈 덮인 날, 맑은 날, 흐린 날, 번개치는 날의 이미지를 감지하기 위해 사용될 수 있다. 또한, 냄새 센서는 냄새 정보를 감지 할 수 있다.
예를 들어, 비오는 날에 차량에 의해 발생하는 위험 레벨은 맑은 날보다 훨씬 더 높아야한다. 왜냐하면 비오는 날은 도로가 미끄럽고 보기 어렵기 때문이다.
따라서, 이러한 요인으로 인해, 운전자 또는 사용자가 더 실수 하고 교통 사고가 발생할 가능성이 있다. 다른 실시 예에서, 웨어러블 디바이스를 착용한 사용자(즉, 사용자)의 생체 정보에 기초하여 위험 레벨을 조정할 수있다. 전술한 바와 같이, 사용자의 생체 정보는 생리적 상태 또는 사용자의 정신 상태를 반영할 수있다. 생리적 상태 또는 정신 상태가 약할 때, 사용자는 더 상처받기 쉽고 속기 쉽다. 따라서, 위험 레벨은 이에 따라 상승 될 수있다.
도 8은 조기에 위험을 경고하기 위한 방법의 또 다른 예를 설명하기 위한 흐름도이다. 대상 객체가 사람일 때 대상 객체에 대한 위험 레벨을 결정하는 방법을 도시한다. 일 실시 예에서, 대상 객체에 대한 위험 레벨은 주로 대상 객체에 의한 사기의 가능성에 의해 결정된다.
단계 S800에서는 대상 객체가 사람인지 여부를 검출한다.
단계 S810에서는 만약 대상 객체가 사람이라면 대상 사람의 얼굴을 검출한다.
단계 S820에서는 검출된 얼굴이 기 설정된 얼굴 데이터 베이스에 있는지 여부에 따라 위험도를 결정한다. 이때 얼굴 데이터 베이스에 없는 얼굴은 낯선 사람이라고 결정할 수 있다. 위험은 대개 낯선 사람에 의해 야기된다고 이해될 수 있다. 따라서 주로 낯선 사람에 의해 저지른 사기의 검출에 초점을 맞추고있다. 낯선 사람은 이미지 정보 또는 웨어러블 디바이스에 의해서 획득된 오디오 정보에 따라 인식된다. 일 실시예에서, 대상 객체가 낯선 사람인지 여부는 이미지 정보에 따라 결정될 수있다. 예를 들어, 웨어러블 디바이스의 처리부는 이미지 정보에 따라 얼굴을 검출할 수있다. 다양한 안면 인식 기술은 얼굴을 검출하는데 사용될 수있다. 실시 예에서, 아다부스트(Adaboost) 기계 학습 알고리즘과 하르 라이크 피쳐(Haar-like feature)가 얼굴을 검출하는데 사용될 수 있다. 또한, 검출된 얼굴이 낯선 사람의 얼굴인지 여부는 지인 데이터베이스를 검색함으로써 결정될 수있다. 지인 데이터베이스는 이전 사용자의 지인들 얼굴 이미지 데이터를 저장한 데이터베이스이다.
다른 실시예에서, 대상 객체가 낯선 사람인지 여부는 오디오 정보에 따라 결정될 수있다. 예를 들어, 웨어러블 디바이스의 처리부는 오디오 정보에 대한 음성 인식을 수행할 수 있다. 다양한 음성 인식 기술은 음성을 인식하는 데 사용될 수 있다. 실시 예에서, 대상 객체는 성문 인식 기술에 의해 인식될 수있다. 또한, 검출된 음성이 지인의 음성인지 또는 믿을 수 있는 사람인지 여부는 지인 데이터베이스를 검색함으로써 결정될 수 있다. 지인 데이터베이스는 이전에 저장된 음성 데이터 또는 사용자의 지인들의 오디오 특징 데이터를 가지고 있다.
이는 전술 한 두 가지 실시예를 임의로 조합할 수 있다는 것을 알 수 있다. 예를 들어, 일 구현에서, 대상 객체는 양쪽의 실시예에 의해 지인으로 인식된 경우에만 지인으로 간주 될 수있다. 다른 실시예에서, 양쪽의 실시예 중 하나에 의해 지인으로 인식된 경우에 지인으로 간주 될 수있다.
또한, 검출된 사람이 사용자와 상호 작용하고 있는지 여부, 즉, 검출 된 사람이 사용자에게 얘기하고 있는지 여부는 의 이미지 정보에 따라 결정될 수 있다. 즉, 대상 객체가 사용자가 얘기하는지 여부는 물리적인 특성에 따라 결정된다. 일 실시 예에서, 결정하는 단계는, 우선 대상 객체의 얼굴 크기에 따라, 대상 객체와 사용자의 거리를 결정한다. 예를 들면, 거리가 미리 설정된 범위 내에 있는지의 여부를 결정한다. 둘째 대상 객체의 얼굴 방향에 따라 대상 객체가 사용자를 향해있는지 여부를 결정한다. 마지막으로 대상 객체의 입술이 움직이고 있는지 여부를 결정한다. 이들 세 가지 조건이 모두 동시에 만족하는 경우, 대상 객체는 사용자와 대화하는 사람으로 간주될 수 있다. 일반적으로 낯선 사람은 이야기를 통해 사기를 저질렀다. 따라서, 일 실시예에서, 사용자와 대화하지 않는 낯선 사람은 조사에서 제외될 수 있다. 제외하는 단계는 얼굴을 검출하는 단계 및 음성을 검출의 단계 이전, 이후 또는 사이에 수행 될 수 있고, 이러한 점에 한정되지는 않는다.
사기의 가능성은 하나 이상의 실시예에 기초하여 결정될 수 있고, 대상 객체의 대화, 표현 또는 동작 등의 양상들을 포함하여 결정되지만 이에 한정되지 않는다. 일 실시 예에서, 대상 객체의 음성 컨텐츠는 사기의 가능성을 결정하기 위해, 사기 기준 모델에 기초하여 분석된다. 사기 참조 모델은 존재했던 사기들의 사례를 연구하여 만들 수 있다. 예를 들면, 사기 기준 모델은 다음의 단계들에 의해 생성될 수 있다. 네트워크로부터 사기의 다양한 사례를 수집하고, 사기 언어 모델을 대행하기 위해 베이지안(Bayesian) 분류기를 사용한다.
일 실시예에서, 오디오 정보는 웨어러블 디바이스의 처리부에 의해 분석된다. 예를 들면, 분석 단계는, 첫째로 대상 객체의 파워 정규화 켑스트럼 계수(PNCC) 특징을 추출하고, 음성 인식을 수핸한다. 둘째로 단어들을 분할하고 마르코프 랜덤 필드(Markov random field)를 기초로 하여 민감한 단어를 추출한다. 최종적으로 사기의 가능성을 예측하기 위해 사기 참조 모델을 사용한다.
예를 들어, 대상 객체가 "이 은행 카드로 10 만 달러를 전송하시기 바랍니다."라고말할 때, 추출된 민감한 단어는 "은행 카드"와 "달러"이다. 베이즈 정리(Bayes’ theorem)에 따르면 사기 가능성 P(사기| “은행카드”, “돈”) = P( "은행 카드", "돈"| 사기) * P (사기) / P ( "은행 카드", “돈”)이다. 이때 P(“은행 카드”, “돈”|사기)는 모든 사기 사건들에서 키워드 “은행 카드” 및 “돈”이 동시적으로 나타나는 확률을 나타낸다. P(사기)는 사전 확률이다. P(“은행 카드, “돈”)은 키워드 “은행 카드” 및 “돈”이 동시적으로 나타나는 사전 확률이다. 이러한 세 가지 가능성은 사기 언어 모델을 학습하여 결정될 수있다.
다른 실시예에서, 사기의 가능성은 대상 객체의 안면 특징(즉 표정) 변화를 기초로 하여 추정될 수있다. 일 실시예에서, 웨어러블 디바이스의 처리부는 이미지 정보에 기초하여 대상 객체의 안면 특징 변화를 분석하는데 사용될 수 있다. 심리학 또는 실천학의 분석에 따르면, 일부 안면 특징의 변화는 대응하는 심리적 활동(예를 들면 거짓말과 같은)을 추론하는데 사용될 수있다. 따라서, 사기의 가능성은 특별한 안면 특징의 변화 또는 조합에 따라 할당될 수 있다. 예를 들면 사기 가능성은 심리학 또는 실천학에 따라 할당된다. 사기의 가능성은 사기 사건의 통계 분석에 기초하여 조정된다. 예를 들어, 특수 안면 특징 변화는, 눈의 상대 변위, 눈썹 형상의 상대적인 변화, 얼굴 색 등의 변화를 포함할 수 있으나 이에 한정되지 않는다. 얼굴의 특징 변화 및 사기의 가능성 탬플릿은 생성될 수 있다. 실시 예에서, 템플릿은 룩업 테이블 일 수있다. 룩업 테이블의 데이터의 각 부분을 검색 인덱스 및 사기의 가능성에 의해 구성된다.
예를 들어, 검색 인덱스는 다음과 같이 정의 될 수있다. 우측으로 시선이 이동하고, 눈썹이 위쪽으로 상승, 얼굴빛이 연분홍으로 변하면 대응하는 사기의 가능성은 0.7이다. 다른 실시예에서, 사기의 가능성은 대상 객체의 동작 전환에 기초하여 추정될 수있다. 웨어러블 디바이스의 처리부는 이미지 정보에 기초하여 대상 객체의 행동 변화를 분석하는데 사용될 수 있다. 심리학 또는 실천학의 분석에 따르면, 어떤 특별한 행동 변화는 대응하는 심리학적 활동으로 추론할 수 있다.(예를 들면, 거짓말 등의 심리적 활동)
사기의 가능성은 이러한 특별한 행동 변화 및 이들의 조합에 따라 할당될 수 있다. 예를 들면, 사기의 가능성은 심리학 또는 실천학을 기초로 하여 할당될 수 있다. 사기의 가능성은 사기 사건의 통계 분석에 기초하여 조정된다. 특별한 행동 동작 변경은 목을 만지는 동작, 어깨를 으쓱하는 동작을 포함하지만 이에 제한되지 않는다. 행동 변화와 사기의 가능성의 템플릿은 생성될 수 있다. 행동 동작 변경의 검출은 다양한 방식으로 구현될 수 있다. 예를 들어, 검출 단계는, 먼저 피부색으로 손을 검출하고 골격분석을 통해 어깨를 검출한다. 두번째로 손과 어깨의 궤도의 순서를 획득하기 위해 티엘디(TLD, Tracking- Learning Detection) 트래킹 알고리즘을 이용하여 손과 어깨를 트래킹한다. 마지막으로 궤도의 순서를 기초로 하여 사기의 가능성을 추정한다.
예를 들어 손으로 목을 만지는 동작이 검출되면 손에 대한 사기의 가능성은 P(사기|손으로 목을 만지는 동작)이다. 어깨를 으쓱하는 동작이 검출되면, 어깨에 대한 사기의 가능성은 P(사기|어깨를 으쓱하는 동작)이고, 종합적인 사기의 가능성은 P(사기 | 손으로 목을 만지는 동작, 어깨를 으쓱하는 동작) = P(사기 | 손으로 목을 만지는 동작) + P(사기 |어깨를 으쓱하는 동작) - P(사기 | 손으로 목을 만지는 동작)* P(사기 |어깨를 으쓱하는 동작) 이다.
이는 전술한 세 가지 실시가 임의로 조합 될 수 있다는 것을 알 수있다. 예를 들어, 일 실시예에서, 각각에 의해 결정되는 사기의 가능성은, 별도로 계산 될 수 있고, 그로부터 3개의 사기의 가능성들은 가중화 되어 종합 사기의 가능성을 결정할 수 있다.
일반적으로 추정된 사기의 가능성은 백분율 또는 그밖의 수치로 표현될 수 있다. 대응하는 위험도에 따라 대응하는 경고 정보를 차후에 제공하기 위해, 사기의 가능성은 대응하는 위험도에 맵핑될 수 있다. 이 방법은 위험 검출의 범위를 확장하고 사용자의 안전을 향상시킨다.
이 도면에 있어서의 특정 단계 순서가 기술되지만, 그러나, 특정한 순서에 따라 수행되어야 한다는 것을 의미하지는 않는다. 그리고 원하는 결과를 달성하기 위해 모든 단계를 수행할 필요가 없다. 대신에, 흐름도에 도시된 단계들의 실행 순서는는 변경될 수 있다.
도 9는 조기에 위험을 경고하기 위한 방법을 실시하는 한 예를 설명하기 위한 흐름도이다.
도 9를 참조하면, 사용자의 동반자가 (예 : 어린 소녀와 같은) 거리에서 길을 잃는다. 사용자가 매우 불안한 경우, 사용자에 의해 착용된 본 발명의 웨어러블 디바이스는, 생체 정보 센서에 의해 사용자의 불안감을 감지하고 인근 다른 사용자가 착용하는 웨어러블 디바이스에 불안 정보를 송신한다. 이어서 이 불안을 감지하고 사용자의 시야가 확장 될 수 있도록 이미지 공유 기능을 연다. 이에 다른 사용자가 길 잃은 소녀를 보다 쉽게 발견 할 수 있다.
단계 S900에서, 사용자는 동반자(소녀)가 길을 잃은 것을 발견한다.
단계 S910에서, 사용자에 의해 착용된 웨어러블 디바이스(제 1 웨어러블 디바이스)가 생체 정보 센서에 의해 사용자의 심리학적 상태를 감지한다. 제 1 웨어러블 디바이스가 사용자의 불안감을 감지하면, 인근에 있는 하나 이상의 제 2웨어러블 디바이스에서의 정보 공유를 요청할 수있다. 예를 들어, 조기 경보 시스템의 서버를 통해 근처의 하나 이상의 제2 웨어러블 디바이스에 정보 공유 요청을 보낼 수 있다. 다른 예를 들면, 제 1웨어러블 디바이스는 근처의 제 2웨어러블 디바이스에 알리기 위해 정보 공유의 요청을 직접 방송 할 수 있다.
단계 S930에서, 다른 사용자가 착용한 제 2웨어러블 디바이스 (즉, 제 웨어러블 디바이스)는 정보 공유 요청을 수신한다.
단계 S940에서, 이들 제 2웨어러블 디바이스는 도움을 주기 위해 정보 공유 기능을 가능하게 한다.
단계 S950에서, 제 2 웨어러블 디바이스는 제 1웨어러블 디바이스와 공유하기 위해 선택적으로 오디오 정보와 함께 시야 뷰 이미지를 클라우드 데이터베이스에 업로드할 수 있다.
단계 S960에 도시 된 바와 같이, 이들 제 2웨어러블 디바이스는 위치 정보(예를 들어 GPS 모듈을 통해 획득 된 위치 정보)를 제공할 수 있다. 동시에, 단계 S940에서, 제 1웨어러블 디바이스는 검색을 위해 주위 의 이미지를 획득 할 수있다.
단계 S970에서, 대상은 제 1웨어러블 디바이스 자체에 의해 획득된 정보에 및 하나 이상의 제 2웨어러블 디바이스들에 의해 공유된 정보에 따라 검색된다. 예를 들어, 이미지 정보에 기초하여, 어린 소녀는 그녀의 형상의 특징 또는 물리적 특성에 따라 검색된다.
단계 S980에서, 정보 공유의 방식에 의해, 사용자의 시야가 확장 될 수 있으므로 소녀를 더 신속하게 찾을 수있다.
일 실시예에서, 이미지 처리에 기초로 한 탐색 기능은 조기 경보 시스템의 서버에서 수행될 수있다. 따라서, 제 1웨어러블 디바이스의 부하를 줄일 수있다. 다른 실시예에서, 이미지 처리에 기초로 한 탐색 기능은 처리 속도를 가속 할 수있는 다른 웨어러블 디바이스들 사이에 분산 될 수 있다.
이뿐만 아니라, 본 출원의 실시예에서 설명하는 장치의 각 부분(예를 들면 ‘부’)은 소프트웨어의 형태로 구현될 수 있을 뿐만 아니라 하드웨어의 형태로 구현될 수 도 있다. 장치의 각 부분은 프로세서(예를 들면 처리부(320))에서 제공될 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (19)

  1. 이미지 센서를 통해 대상 객체의 제1 이미지 정보를 획득하고, 오디오 센서를 통해 주변 환경의 오디오 정보를 획득하는 단계;
    외부 장치로부터, 상기 대상 객체의 제2 이미지 정보를 획득하는 단계;
    상기 획득된 제1 이미지 정보를 기초로 하여 상기 대상 객체의 물리적 특성을 검출하고, 상기 획득된 오디오 정보를 기초로 하여 배경 사운드를 분리하여 상기 대상 객체의 오디오 특성을 검출하는 단계;
    상기 제1 이미지 정보 및 상기 제2 이미지 정보를 기초로 하여, 상기 대상 객체가 웨어러블 디바이스에 도달하는 시간을 결정하는 단계;
    상기 검출된 물리적 특성, 상기 검출된 오디오 특성 및 상기 대상 객체가 상기 웨어러블 디바이스에 도달하는 시간을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정하는 단계; 및
    상기 결정된 사건의 위험도에 기초하여 사용자에게 경고를 제공하는 단계를 포함하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 대상 객체의 물리적 특성은 사람의 얼굴, 몸통, 팔다리, 동물의 치아, 꼬리 또는 눈을 포함하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  5. 제 1항에 있어서,
    상기 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  6. 제 1 항에 있어서,
    상기 획득하는 단계는,
    기상 정보 또는 냄새 정보를 획득하는 단계를 포함하고,
    상기 위험도를 결정하는 단계는,
    상기 기상 정보 또는 냄새 정보에 기초하여 상기 위험도를 결정하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  7. 제 1 항에 있어서,
    상기 경고를 제공하는 단계는,
    상기 위험도에 따라 다른 방식으로 경고를 제공하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  8. 제 1 항에있어서,
    상기 외부 장치를 통하여 획득한 오디오 정보를 수신하는 단계를 더 포함하고,
    상기 위험도를 결정하는 단계는,
    상기 외부 장치로부터 수신된 정보에 기초하여 상기 위험도를 결정하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  9. 제 1항에 있어서,
    상기 검출하는 단계는,
    상기 제1 이미지 정보 및 상기 제2 이미지 정보 중 적어도 하나를 이용해 대상 객체가 사람인지 여부를 검출하는 단계;및
    상기 대상 객체가 사람이면, 상기 사람의 얼굴을 검출하는 단계를 포함하고,
    상기 위험도를 결정하는 단계는,
    상기 검출된 얼굴이 기 설정된 얼굴 데이터베이스에 있는지 여부에 따라 상기 위험도를 결정하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  10. 제1항 및 제4항 내지 제9항 중 어느 하나의 항의 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  11. 조기에 위험을 경고하는 웨어러블 디바이스로서,
    이미지 센서 및 오디오 센서를 포함하는 센싱부로서, 상기 이미지 센서를 통해 대상 객체의 제1 이미지 정보를 획득하고, 상기 오디오 센서를 통해 주변 환경의 오디오 정보를 획득하는 센싱부;
    외부 장치로부터 상기 대상 객체의 제2 이미지 정보를 수신하는 수신부;
    상기 획득된 제1 이미지 정보를 기초로 하여 상기 대상 객체의 물리적 특성을 검출하고, 상기 획득된 오디오 정보를 기초로 하여 배경 사운드를 분리하여 상기 대상 객체의 오디오 특성을 검출하는 특성 검출부;
    상기 제1 이미지 정보 및 상기 제2 이미지 정보를 기초로 하여, 상기 대상 객체가 상기 웨어러블 디바이스에 도달하는 시간을 결정하고, 상기 검출된 물리적 특성, 상기 검출된 오디오 특성 및 상기 대상 객체가 상기 웨어러블 디바이스에 도달하는 시간을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정하는 위험도 결정부; 및
    상기 결정된 사건의 위험도에 기초하여 상기 사용자에게 경고를 하는 경고부를 포함하는, 웨어러블 디바이스.
  12. 삭제
  13. 삭제
  14. 제 11항에 있어서,
    상기 대상 객체의 물리적 특성은 사람의 얼굴, 몸통, 팔다리, 동물의 치아, 꼬리 또는 눈을 포함하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  15. 제 11항에 있어서,
    상기 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  16. 제 11 항에 있어서,
    상기 센싱부는,
    기상 정보 또는 냄새 정보를 획득하고,
    상기 위험도 결정부는,
    상기 기상 정보 또는 냄새 정보에 기초하여 상기 위험도를 결정하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  17. 제 11 항에 있어서,
    상기 경고부는,
    상기 위험도에 따라 다른 방식으로 경고를 제공하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  18. 제 11 항에있어서,
    상기 수신부는 상기 외부 장치를 통하여 획득한 오디오 정보를 더 수신하고,
    상기 위험도 결정부는,
    상기 외부 장치로부터 수신된 제2 이미지 정보 또는 오디오 정보에 기초하여 상기 위험도를 결정하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  19. 제 11 항에있어서,
    상기 특성 검출부는,
    상기 제1 이미지 정보 및 상기 제2 이미지 정보 중 적어도 하나를 이용해 대상 객체가 사람인지 여부를 검출하고, 상기 대상 객체가 사람이면, 상기 사람의 얼굴을 검출하고,
    상기 위험도 결정부는,
    상기 검출된 얼굴이 기 설정된 얼굴 데이터베이스에 있는지 여부에 따라 상기 위험도를 결정하는, 조기에 위험을 경고하는 웨어러블 디바이스.
KR1020150137084A 2014-11-06 2015-09-25 조기에 위험을 경고하는 방법 및 장치 KR102408257B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/525,218 US10121075B2 (en) 2014-11-06 2015-10-20 Method and apparatus for early warning of danger
PCT/KR2015/011083 WO2016072644A1 (ko) 2014-11-06 2015-10-20 조기에 위험을 경고하는 방법 및 장치
EP15857475.6A EP3217370A4 (en) 2014-11-06 2015-10-20 Method and apparatus for early warning of danger

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410638409.6 2014-11-06
CN201410638409.6A CN105632049B (zh) 2014-11-06 2014-11-06 一种基于可穿戴设备的预警方法和装置

Publications (2)

Publication Number Publication Date
KR20160054397A KR20160054397A (ko) 2016-05-16
KR102408257B1 true KR102408257B1 (ko) 2022-06-13

Family

ID=56046924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150137084A KR102408257B1 (ko) 2014-11-06 2015-09-25 조기에 위험을 경고하는 방법 및 장치

Country Status (4)

Country Link
US (1) US10121075B2 (ko)
EP (1) EP3217370A4 (ko)
KR (1) KR102408257B1 (ko)
CN (1) CN105632049B (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
CN105632049B (zh) * 2014-11-06 2019-06-14 北京三星通信技术研究有限公司 一种基于可穿戴设备的预警方法和装置
JP6605442B2 (ja) * 2016-12-27 2019-11-13 本田技研工業株式会社 情報提供装置および情報提供方法
KR102474247B1 (ko) * 2016-12-28 2022-12-06 삼성전자주식회사 개인 안전 장치 및 그 동작방법
US10567642B2 (en) * 2017-02-24 2020-02-18 International Business Machines Corporation Managing camera usage with warnings and/or disablement
CN107491642B (zh) * 2017-08-17 2021-08-31 深圳先进技术研究院 用户的安全保护方法、装置、设备以及存储介质
CN107729737B (zh) * 2017-11-08 2020-07-03 广东小天才科技有限公司 一种身份信息的获取方法及穿戴设备
CN108169761A (zh) * 2018-01-18 2018-06-15 上海瀚莅电子科技有限公司 火场任务确定方法、装置、系统及计算机可读存储介质
JP7095312B2 (ja) * 2018-03-01 2022-07-05 オムロン株式会社 危険度検知装置、危険度検知方法、及び危険度検知プログラム
CN108364440A (zh) * 2018-03-12 2018-08-03 深圳市沃特沃德股份有限公司 提醒儿童远离汽车内按键的方法及装置
JP7225551B2 (ja) * 2018-03-23 2023-02-21 富士フイルムビジネスイノベーション株式会社 噛みつき検知装置及びプログラム
KR102419007B1 (ko) 2018-04-10 2022-07-08 한국전자통신연구원 위험상황 알림 장치 및 방법
CN108922138A (zh) * 2018-06-22 2018-11-30 张小勇 一种数据处理方法和系统
US10607367B2 (en) 2018-06-26 2020-03-31 International Business Machines Corporation Methods and systems for managing virtual reality sessions
CN108777055A (zh) * 2018-06-26 2018-11-09 上海理工大学 一种多功能婴幼儿用安全保护装置
CN110795971B (zh) * 2018-08-02 2023-02-17 深圳云天励飞技术有限公司 一种用户行为识别方法、装置、设备及计算机存储介质
CN109151719B (zh) * 2018-09-28 2021-08-17 北京小米移动软件有限公司 安全引导方法、装置和存储介质
KR20200045033A (ko) * 2018-10-12 2020-05-04 현대자동차주식회사 자동차 및 그의 위한 정보 출력 방법
CN110197569B (zh) * 2018-11-19 2021-06-25 广东小天才科技有限公司 一种基于可穿戴设备的安全监测方法及可穿戴设备
CN109472963B (zh) * 2018-11-29 2020-12-01 山西凯普勒科技有限公司 一种智能手环
CN109658666A (zh) * 2018-12-06 2019-04-19 中山乐心电子有限公司 一种危险防护方法、设备、系统、电子设备及存储介质
CN109684989A (zh) * 2018-12-20 2019-04-26 Oppo广东移动通信有限公司 安全监护方法、装置、终端及计算机可读存储介质
CN109639906A (zh) * 2019-01-25 2019-04-16 维沃移动通信有限公司 一种预警方法及移动终端
US11076274B1 (en) 2019-01-28 2021-07-27 United Services Automobile Association (Usaa) Monitoring of data to predict driving events
CN110175593A (zh) * 2019-05-31 2019-08-27 努比亚技术有限公司 可疑对象处理方法、可穿戴设备和计算机可读存储介质
JP7462386B2 (ja) * 2019-06-14 2024-04-05 株式会社シマノ 検出装置、検出方法、生成方法、コンピュータプログラムおよび記憶媒体
CN110414390A (zh) * 2019-07-13 2019-11-05 恒大智慧科技有限公司 一种社区内犬类识别方法、系统及可读存储介质
CN110555987A (zh) * 2019-08-01 2019-12-10 宝能汽车有限公司 智慧穿戴设备
CN112419661A (zh) * 2019-08-20 2021-02-26 北京国双科技有限公司 一种危险识别方法及装置
JP7296626B2 (ja) * 2019-08-26 2023-06-23 株式会社Agama-X 情報処理装置及びプログラム
CN112561113A (zh) * 2019-09-25 2021-03-26 华为技术有限公司 危险场景预警方法及终端设备
CN110807895A (zh) * 2019-10-14 2020-02-18 珠海市魅族科技有限公司 基于智能穿戴设备的监控方法、装置、设备和存储介质
KR102250498B1 (ko) * 2019-11-07 2021-05-11 한양대학교 산학협력단 인공지능과 사물인터넷 기반의 안전 및 생존 웨어러블 시스템을 위한 아키텍처 및 이를 구현하는 전자 장치 그리고 그의 동작 방법
CN111009105B (zh) * 2019-12-28 2022-03-08 杭州好育信息科技有限公司 基于智能穿戴设备的通信方法及系统
CN111179542A (zh) * 2020-01-03 2020-05-19 甄十信息科技（上海）有限公司 一种智能手表及其安全监控方法
CN111479127A (zh) * 2020-02-27 2020-07-31 视联动力信息技术股份有限公司 数据处理方法、装置及计算机可读存储介质
CN111833575A (zh) * 2020-07-15 2020-10-27 徐州炫云信息科技有限公司 用于医疗风险防控的蓝牙式防控系统
US11932080B2 (en) 2020-08-20 2024-03-19 Denso International America, Inc. Diagnostic and recirculation control systems and methods
US11760170B2 (en) 2020-08-20 2023-09-19 Denso International America, Inc. Olfaction sensor preservation systems and methods
US11636870B2 (en) 2020-08-20 2023-04-25 Denso International America, Inc. Smoking cessation systems and methods
US11813926B2 (en) 2020-08-20 2023-11-14 Denso International America, Inc. Binding agent and olfaction sensor
US11881093B2 (en) 2020-08-20 2024-01-23 Denso International America, Inc. Systems and methods for identifying smoking in vehicles
US11828210B2 (en) 2020-08-20 2023-11-28 Denso International America, Inc. Diagnostic systems and methods of vehicles using olfaction
US11760169B2 (en) 2020-08-20 2023-09-19 Denso International America, Inc. Particulate control systems and methods for olfaction sensors
CN112738471A (zh) * 2020-12-28 2021-04-30 詹晨 基于物联网和人工智能的安防监控数据处理方法及云通信服务器
KR102538688B1 (ko) 2021-01-14 2023-05-30 (주)세이프티온솔루션 리스크 평가 기반 사고 예측 안전관리 장치 및 방법
US11961392B2 (en) * 2021-03-04 2024-04-16 The University Of North Carolina At Charlotte Worker-in-the-loop real time safety system for short-duration highway workzones
CN113099178B (zh) * 2021-04-01 2021-12-03 广州市宁葳信息科技有限公司 基于视频远程监控的智慧社区安全在线实时监测预警方法
US20220365200A1 (en) * 2021-05-12 2022-11-17 California State University Fresno Foundation System and method for human and animal detection in low visibility
CN115482645A (zh) * 2021-05-31 2022-12-16 漳州立达信光电子科技有限公司 对象涉危事件检测方法及装置
EP4130936A1 (en) * 2021-08-02 2023-02-08 BAE SYSTEMS plc Positioning apparatus and method
CN113470313B (zh) * 2021-09-02 2021-11-19 广州乐盈信息科技股份有限公司 一种基于云管端的紧急报警系统
KR102386208B1 (ko) * 2022-01-03 2022-04-15 주식회사 서플라이스 뉴럴 네트워크 모델을 이용하여 피트니스 센터 내 위험 상황을 감지하는 방법 및 장치
CN115002598B (zh) * 2022-05-26 2024-02-13 歌尔股份有限公司 耳机模式控制方法、耳机设备、头戴式设备及存储介质
CN115049987B (zh) * 2022-08-12 2022-11-04 星宠王国(北京)科技有限公司 宠物安全管理方法、系统、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
KR101033037B1 (ko) * 2003-06-30 2011-05-13 소니 주식회사 통신장치 및 제어방법

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9929745D0 (en) * 1999-12-17 2000-02-09 Secr Defence Determining the efficiency of respirators and protective clothing and other improvements
US7921036B1 (en) 2002-04-30 2011-04-05 Videomining Corporation Method and system for dynamically targeting content based on automatic demographics and behavior analysis
EP1671245A2 (en) 2003-09-30 2006-06-21 Koninklijke Philips Electronics N.V. Using content identifiers to download cd-cover pictures to represent audio content items
JP2007221328A (ja) * 2006-02-15 2007-08-30 Sony Corp 指令システム、撮像装置、指令装置、撮像処理方法、指令処理方法、プログラム
US8928752B2 (en) * 2006-08-31 2015-01-06 Stellar Llc Recording device with pre-start signal storage capability
JP2009010831A (ja) 2007-06-29 2009-01-15 Toshiba Corp 画像解析装置および画像解析方法
CN101108125B (zh) 2007-08-02 2010-06-16 无锡微感科技有限公司 一种身体体征动态监测系统
US9368028B2 (en) * 2011-12-01 2016-06-14 Microsoft Technology Licensing, Llc Determining threats based on information from road-based devices in a transportation-related context
US9107012B2 (en) 2011-12-01 2015-08-11 Elwha Llc Vehicular threat detection based on audio signals
JP2013171476A (ja) 2012-02-22 2013-09-02 Nec Corp 携帯型顔認識防犯用背後カメラシステム及びそれに用いる防犯判断方法
US20130250080A1 (en) * 2012-03-23 2013-09-26 Megan Farrell Modularized mobile health and security system
US9465216B2 (en) * 2012-08-07 2016-10-11 Industry-University Cooperation Foundation Hanyang University Wearable display device
KR101321157B1 (ko) * 2012-08-07 2013-10-23 한양대학교 산학협력단 슬라이딩 구조를 가지는 착용형 디스플레이 장치
KR101375868B1 (ko) * 2012-08-07 2014-03-17 한양대학교 산학협력단 감지 기능을 구비한 착용형 디스플레이 장치
US9568735B2 (en) * 2012-08-07 2017-02-14 Industry-University Cooperation Foundation Hanyang University Wearable display device having a detection function
KR20140024712A (ko) 2012-08-21 2014-03-03 홍순선 스마트 기기를 이용한 위치 기반 사용자 주변 영상 모니터링 서비스 제공 방법
TWI486915B (zh) 2012-10-25 2015-06-01 Hon Hai Prec Ind Co Ltd 勞防用品、危險預警系統及方法
CN103106374B (zh) * 2013-01-15 2016-07-06 广东欧珀移动通信有限公司 提醒移动终端用户的安全预警处理方法、系统及移动终端
JP2015041969A (ja) * 2013-08-23 2015-03-02 ソニー株式会社 画像取得装置及び画像取得方法、並びに情報配信システム。
KR101395614B1 (ko) 2013-12-06 2014-05-16 조원석 스마트워치를 이용한 맥박측정과 자동촬영전송장치
US9360682B1 (en) * 2014-05-07 2016-06-07 Remote Xccess, LLC Camera headband device and system with attachable apparatus
CN203872286U (zh) * 2014-05-26 2014-10-08 北京中电兴发科技有限公司 智能监测装置
US20160112636A1 (en) * 2014-10-20 2016-04-21 Panasonic Intellectual Property Management Co., Ltd. Wearable camera
CN105632049B (zh) * 2014-11-06 2019-06-14 北京三星通信技术研究有限公司 一种基于可穿戴设备的预警方法和装置
GB2536215B (en) * 2015-03-05 2018-01-31 Samsung Electronics Co Ltd Secure input mode for user device
US20170195640A1 (en) * 2016-01-06 2017-07-06 Advanced Wireless Innovations Llc Wireless security system
US10102732B2 (en) * 2016-06-28 2018-10-16 Infinite Designs, LLC Danger monitoring system
US9934658B1 (en) * 2016-09-14 2018-04-03 Siemens Industry, Inc. Visually-impaired-accessible building safety system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101033037B1 (ko) * 2003-06-30 2011-05-13 소니 주식회사 통신장치 및 제어방법
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム

Also Published As

Publication number Publication date
CN105632049B (zh) 2019-06-14
KR20160054397A (ko) 2016-05-16
US10121075B2 (en) 2018-11-06
CN105632049A (zh) 2016-06-01
US20170323161A1 (en) 2017-11-09
EP3217370A1 (en) 2017-09-13
EP3217370A4 (en) 2018-01-17

Similar Documents

Publication Publication Date Title
KR102408257B1 (ko) 조기에 위험을 경고하는 방법 및 장치
EP3583485B1 (en) Computationally-efficient human-identifying smart assistant computer
Biswal et al. IoT‐based smart alert system for drowsy driver detection
US11010601B2 (en) Intelligent assistant device communicating non-verbal cues
Rahman et al. The architectural design of smart blind assistant using IoT with deep learning paradigm
US10614693B2 (en) Dangerous situation notification apparatus and method
US11373513B2 (en) System and method of managing personal security
Suresh et al. Intelligent smart glass for visually impaired using deep learning machine vision techniques and robot operating system (ROS)
Zhang et al. A novel fuzzy logic algorithm for accurate fall detection of smart wristband
Manjari et al. CREATION: Computational constRained travEl aid for objecT detection in outdoor eNvironment
JP2022526702A (ja) 盲人及び視覚障害者用の立体音響装置
Kaushal et al. Smart Blind Stick for Visually Impaired People using IoT
Taghvaei et al. Autoregressive-moving-average hidden Markov model for vision-based fall prediction—An application for walker robot
WO2016206644A1 (zh) 机器人控制引擎及系统
Hassan et al. Comparative analysis of machine learning algorithms for classification of environmental sounds and fall detection
US10733448B2 (en) Machine learning of context data for social and contextual scene inferences
Youm et al. Development of a methodology to predict and monitor emergency situations of the elderly based on object detection
Saha et al. Visual, navigation and communication aid for visually impaired person
CN115171335A (zh) 一种融合图像和语音的独居老人室内安全保护方法及装置
Megalingam et al. Trinetra App: A Companion for the Blind
Naronglerdrit et al. Monitoring of indoors human activities using mobile phone audio recordings
KR101893945B1 (ko) 생체 및 음성정보를 이용한 안전관리 시스템
WO2016072644A1 (ko) 조기에 위험을 경고하는 방법 및 장치
Kunapareddy et al. Smart Vision based Assistant for Visually Impaired
KR101862337B1 (ko) 정보 출력 장치, 방법 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant