KR102419007B1 - 위험상황 알림 장치 및 방법 - Google Patents

위험상황 알림 장치 및 방법 Download PDF

Info

Publication number
KR102419007B1
KR102419007B1 KR1020180041741A KR20180041741A KR102419007B1 KR 102419007 B1 KR102419007 B1 KR 102419007B1 KR 1020180041741 A KR1020180041741 A KR 1020180041741A KR 20180041741 A KR20180041741 A KR 20180041741A KR 102419007 B1 KR102419007 B1 KR 102419007B1
Authority
KR
South Korea
Prior art keywords
information
user
sound
dangerous situation
behavioral
Prior art date
Application number
KR1020180041741A
Other languages
English (en)
Other versions
KR20190118431A (ko
Inventor
손종무
김무섭
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180041741A priority Critical patent/KR102419007B1/ko
Priority to US16/374,857 priority patent/US10614693B2/en
Publication of KR20190118431A publication Critical patent/KR20190118431A/ko
Application granted granted Critical
Publication of KR102419007B1 publication Critical patent/KR102419007B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

위험 상황 알림 장치 및 방법이 개시된다. 본 개시의 일 실시 예에 따른 위험 상황 알림 장치는 음향 종류 및 음향장면정보를 포함하는 음향정보를 확인 및 제공하는 음향정보 관리부와, 사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 중, 적어도 하나를 기반으로 사용자 행동 정보를 생성 및 제공하는 사용자 행동 정보 확인부와, 상기 음향정보 및 상기 사용자 행동 정보를 사용하여 사용자의 행동맥락정보를 미리 저장하고, 상기 미리 저장된 사용자의 행동맥락정보를 기반으로, 실시간으로 검출되는 상기 음향정보 및 상기 사용자 행동 정보에 대응되는 사용자의 현재 행동맥락정보를 분석하는 행동맥락정보 관리부와, 상기 사용자의 현재 행동맥락정보를 기준으로, 상기 음향정보 또는 상기 사용자 행동 정보가 위험 상황에 대응되는지 여부를 추론하는 위험 상황 추론부와, 상기 위험 상황 추론부가 추론한 결과에 기초하여, 위험 상황 알림을 제공하는 위험 상황 알림부를 포함할 수 있다.

Description

위험상황 알림 장치 및 방법{APPARATUS FOR WARNING DANGEROUS SITUATION AND METHOD FOR THE SAME}
본 개시는 위험 상황에 대한 경고 알림을 제공하는 방법 및 장치에 관한 것이며, 보다 구체적으로는 사용자의 현재 행동맥락에 맞는 위험 상황에 대한 경고 알림을 제공하는 방법 및 장치에 대한 것이다.
이어폰 착용 보행자, 농인, 고령자 등 청감각이 없거나 제한된 상황에서는 사용자 주변에서 발생하는 음향이 차단될 수 있다. 이로 인하여, 음향을 통해 감지할 수 있는 위험 신호를 제때 인지하지 못하고, 위험한 상황에 처하거나 사고를 당할 가능성이 높다.
이와 같이, 음향 차단에 의한 인지 저하 문제를 해소 또는 완화시키기 위한 다양한 방법이 연구되고 있다.
사용자는 휴대용 단말을 소지하거나, 휴대용 단말을 이용하면서 활동할 수 있다. 따라서, 휴대용 단말 등에서 획득되는 정보를 사용하여 사용자의 행동 패턴을 확인할 수 있으며, 휴대용 단말 등에서 실시간으로 획득되는 정보를 기반으로, 사용자의 현재 상태를 예측하거나, 사용자가 수행할 행동을 추론할 수 있다.
본 개시의 기술적 과제는 주변 환경의 음향과, 사용자의 행동 정보를 종합적으로 분석하여 위험 상황을 정확하게 예측 및 통지할 수 있는 위험 상황 알림 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는 사용자의 과거 행동 패턴과 현재 행동 정보에서 유추한 사용자의 현재 행동 맥락을 기반으로, 위험 상황을 예측 및 통지할 수 있는 위험 상황 알림 장치 및 방법을 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면 위험 상황 알림 장치가 제공될 수 있다. 상기 장치는 음향 종류 및 음향장면정보를 포함하는 음향정보를 확인 및 제공하는 음향정보 관리부와, 사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 중, 적어도 하나를 기반으로 사용자 행동 정보를 생성 및 제공하는 사용자 행동 정보 확인부와, 상기 음향정보 및 상기 사용자 행동 정보를 사용하여 사용자의 행동맥락정보를 미리 저장하고, 상기 미리 저장된 사용자의 행동맥락정보를 기반으로, 실시간으로 검출되는 상기 음향정보 및 상기 사용자 행동 정보에 대응되는 현재 행동맥락정보를 분석하는 행동맥락정보 관리부와, 상기 사용자의 현재 행동맥락정보를 기준으로, 상기 음향정보 또는 상기 사용자 행동 정보가 위험 상황에 대응되는지 여부를 추론하는 위험 상황 추론부와, 상기 위험 상황 추론부가 추론한 결과에 기초하여, 위험 상황 알림을 제공하는 위험 상황 알림부를 포함할 수 있다.
본 개시의 다른 양상에 따르면 위험 상황 알림 방법이 제공될 수 있다. 상기 방법은 음향 종류 및 음향장면정보를 포함하는 음향정보를 확인하는 과정과, 사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 중, 적어도 하나를 기반으로 사용자 행동 정보를 생성하는 과정과, 상기 음향정보 및 상기 사용자 행동 정보를 사용하여 사용자의 행동맥락정보를 미리 생성 및 저장하는 과정과, 상기 미리 저장된 사용자의 행동맥락정보를 기반으로, 실시간으로 검출되는 상기 음향정보 및 상기 사용자 행동 정보에 대응되는 사용자의 현재 행동맥락정보를 분석하는 과정과, 상기 사용자의 현재 행동맥락정보를 기준으로, 상기 음향정보 또는 상기 사용자 행동 정보가 위험 상황에 대응되는지 여부를 추론하는 과정과, 상기 위험 상황 추론부가 추론한 결과에 기초하여, 위험 상황 알림을 제공하는 과정을 포함할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 주변 환경의 음향과, 사용자의 행동 정보를 종합적으로 분석함으로써 위험 상황을 보다 정확하게 예측 및 통지할 수 있는 위험 상황 알림 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 사용자 개인의 과거 행동 패턴과 현재 행동 정보에서 유추한 사용자의 현재 행동 맥락을 기반으로, 위험 상황을 보다 정확하게 예측 및 통지할 수 있는 위험 상황 알림 장치 및 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시예에 따른 위험 상황 알림 장치의 구성을 도시하는 블록도이다.
도 2는 본 개시의 일 실시예에 따른 위험 상황 알림 장치에서 사용되는 음향정보, 사용자 행동 정보, 및 행동맥락정보 사이의 관계를 예시하는 도면이다.
도 3은 본 개시의 일 실시예에 따른 위험 상황 알림 장치에 구비되는 행동맥락정보 관리부의 상세 구성을 도시하는 블록도이다.
도 4는 본 개시의 일 실시예에 따른 위험 상황 알림 방법의 순서를 도시하는 흐름도이다.
도 5는 본 개시의 일 실시예에 따른 위험 상황 알림 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 본 개시의 일 실시예에 따른 위험 상황 알림 장치의 구성을 도시하는 블록도이다.
도 1을 참조하면, 위험 상황 알림 장치(1)는 음향정보 관리부(10), 사용자 행동 정보 확인부(20), 행동맥락정보 관리부(30), 위험 상황 추론부(40), 및 위험 상황 알림부(50)를 포함할 수 있다.
음향정보 관리부(10)는 음향 데이터 수집부(11)와 음향정보 분석부(13)를 포함할 수 있다.
음향 데이터 수집부(11)는 적어도 하나의 마이크로폰을 구비할 수 있으며, 이를 통해 위험 상황 알림 장치(1)의 주변 환경에서 발생되는 음향 데이터를 수집할 수 있다.
발생하는 위험 상황은 음원(sound source)과의 관련성을 가질 수 있다. 즉, 위험 상황을 야기하는 요인이 소정의 음원을 생성하거나, 위험 상황이 발생한 결과로써 음원이 발생될 수 있다. 이를 감안하여 음향정보 분석부(13)는 수집된 음향 데이터로부터 적어도 하나의 음원을 추출하고, 각 음원이 나타내는 특성에 기초하여 음향 종류를 결정할 수 있다. 예컨대, 음향 종류는 개 짖는 소리, 총 소리, 사람의 비명 소리, 아기 울음 소리, 승용차 소리, 버스 소리, 트럭 소리, 모터사이클 소리, 기차 소리, 엔진 가속 소리, 경적 소리, 자동차의 급정거 소리, 노크 소리, 전화벨 소리, 초인종 소리, 각종 경고(알람), 사이렌 소리 등을 포함할 수 있다.
또한, 음향정보 분석부(13)는 적어도 하나의 음원과 위험 상황 알림 장치(1) 사이의 상대적인 위치정보, 예컨대, 적어도 하나의 음원과 위험 상황 알림 장치(1) 사이의 거리를 나타내는 상대 거리정보, 위험 상황 알림 장치(1)를 기준으로 적어도 하나의 음원 발생 위치의 방향을 나타내는 방향정보 등을 산출할 수 있다. 예를 들어, 음향정보 분석부(13)는 상기 적어도 두 개의 마이크로폰의 기하학적 배치 정보와, 상기 적어도 두 개의 마이크로폰으로 수신한 음향 신호의 위상(phase) 차이나, 주파수 성분의 변화 등을 사용하여, 상대 거리정보, 방향정보 등을 산출할 수 있다.
또한, 음향정보 분석부(13)는 음원이 나타내는 특성 또는 음향 종류에 기초하여, 음향장면정보를 생성할 수 있다. 음향장면정보는 위험 상황 알림 장치(1)의 위치 또는 장소를 청각적으로 추론한 정보일 수 있다. 예컨대, 음향장면정보는 버스 안, 도심, 광장, 집, 지하철, 사무실, 주거지역, 기차역 등을 포함할 수 있다.
나아가, 음향정보 분석부(13)는 수집된 음향 데이터에 대한 품질 개선(백색 소음 제거, 음압 정규화 등) 처리를 수행하고, 시간-주파수 영역의 특징값을 추출 한 뒤, 추출된 특징값들을 분석하는 동작을 통해 음향 종류와 음향장면정보를 검출 또는 추론할 수 있다.
예컨대, 음향정보 분석부(13)는 음향 신호의 특징으로서 Mel 주파수 캡스트럼 계수(MFCC, Mel-frequency cepstral coefficient)들을 추출하고, 베이지안(Bayesian), kNN(k Nearest Neighbor), SVM(Support Vector Machine), HMM(Hidden Markov chain Model), 결정 나무(Decision Tree), MLP NN(Multi-Layer Perceptron Neural Network)와 같은 분류기(Classifier)를 이용해 음향 종류와 음향장면정보를 검출 또는 추론할 수 있다.
다른 예로서, 음향정보 분석부(13)는 임의의 특징 값들을 시간 및 주파수 영역의 음향 신호들을 직접 심층학습(Deep Learning)을 통해 학습하고, 학습된 네트워크를 이용해 음향 종류와 음향장면정보를 검출 또는 추론할 수 있다. 여기서, 심층학습의 수행은 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBM(Deep Belief Network) 등의 네트워크 구조 기반으로 한 모델을 사용하여 이루어질 수 있다.
본 발명의 일 실시예에서 음향정보 관리부가 음향 종류 및 장면을 인식하는 방법을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있다.
한편, 사용자 행동 정보 확인부(20)는 사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 등을 검출하고, 사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 중, 적어도 하나를 기반으로 사용자 행동 정보를 생성할 수 있다. 여기서, '사용자 행동 정보'란, 사용자가 착용 또는 휴대하는 장치들을 통해 감지 또는 측정된 정보로서, 사용자의 행동에 영향을 받아 변화되는 요소를 포함할 수 있다.
사용자의 단말 이용 정보는 사용자의 사용 의도가 반영된 단말기 동작을 나타내는 정보로서, 사용자 단말에 수록된 어플리케이션의 동작이나, 사용자 단말에 구비되는 입출력 인터페이스(예, 소리 크기, 키보드 입력 화면 등)의 상태를 기반으로 검출될 수 있다. 예컨대, 사용자 행동 정보 확인부(20)는 전화 어플리케이션이 동작할 경우 '전화 통화' 중 임을 확인할 수 있고, 음악 재생 어플리케이션의 동작일 경우 '음악 재생' 중 임을 확인할 수 있고, 동영상 재생 어플리케이션의 동작일 경우 '동영상 재생' 중 임을 확인할 수 있고, 웹 검색 어플리케이션의 동작일 경우 '검색' 중 임을 확인할 수 있다. 또한, 사용자 행동 정보 확인부(20)는 디스플레이의 켜짐 또는 꺼짐 상태에 기초하여 사용자의 '화면 주시' 상태를 확인할 수 있고, 이어폰 또는 스피커 연결여부에 기초하여 '청각 제한' 상태를 확인할 수 있고, 키보드 입력에 기초하여 '타이핑 상태' 임을 확인할 수 있다.
사용자 단말의 센싱 정보는 위험 상황 알림 장치(1) 내부 또는 위험 상황 알림 장치(1)와 연결된 웨어러블 기기에 구비되는 적어도 하나의 센서로부터 검출되는 정보를 포함할 수 있다. 사용자 단말의 센싱 정보는 심박 센서값, 움직임 센서 값(가속도, 각속도, 온도, 고도 등), 위치 및 이동 정보(GPS 좌표, 실내 위치 좌표, 이동 속도 등) 등을 포함할 수 있다.
사용자 단말의 주변 환경 정보는 위험 상황 알림 장치(1)의 위치정보를 기반으로 검출되는 장소 정보(주소, 건물명, 점포명 등), 위험 상황 알림 장치(1)가 위치한 영역에 대응되는 날씨 정보 등을 포함할 수 있다.
사용자 행동 정보 확인부(20)는 전술한 정보, 즉, 사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 등의 검출시, 검출된 시간에 대한 정보(예, 날짜, 요일, 시각)를 함께 검출하여 저장할 수 있다.
행동맥락정보 관리부(30)는 상기 음향정보 및 상기 사용자 행동 정보를 기초로 하는 행동맥락정보를 관리할 수 있다. 여기서, 행동맥락정보는 행동맥락 요소와 행동맥락 개체를 포함할 수 있는데, 행동맥락 요소는 상기 음향정보 및 상기 사용자 행동 정보가 나타내는 의미를 기반으로 검출되는 정보일 수 있으며, 행동맥락 개체는 행동맥락 요소의 조합에 의해 정의 되는 정보일 수 있다.
구체적으로, 행동맥락 요소는 사용자가 행하는 특정 행동에 잠재된 사용자의 의도를 나타낼 수 있으며, 사용자가 특정 행동('무엇을')을 '왜'수행하는 지에 대한 정보를 포함할 수 있다. 이에 기초하여, 행동맥락정보 관리부(30)는 '걸어서 이동 중'이라는 사용자 행동 정보를 확인하고, 이러한 사용자 행동 정보를, 걷기 시작한 장소, 행동과 관련된 유의미적 시간(semantic time), 동일한 행동의 반복 패턴 등을 고려하여, '출근', '퇴근', '운동' 등의 행동맥락 요소를 분석 및 검출할 수 있다.
또한, 행동맥락 개체는 일련의 사용자 행동맥락 요소들과 시간, 장소 등의 정보를 조합하여 사용자의 행동을 구체적으로 서술한 정보일 수 있다. 예컨대, 사용자 행동맥락 개체는 '평일 점심시간에 점심식사를 위해 걸어서 이동', '주말 오전에 운동을 위해 차를 타고 이동', '평일 저녁에 야간근무를 위해 자전거를 타고 출근'등으로 예시할 수 있으며, 사용자 행동맥락 개체는 사용자의 행동맥락 요소와 함께 이에 기초가 되는 데이터를 포함한 정보로서, 날짜, 요일, 시간, 이동방식, 위치, 장소, 이동속도, 이동방향, 활동(activity) 등에 대한 정보를 포함할 수 있다.
나아가, 이러한 행동맥락 요소와 행동맥락 개체는 사용자 별로 다르게 나타날 수 있으므로, 행동맥락정보 관리부(30)는 사용자별 행동맥락 요소와 행동맥락 개체를 생성 및 저장할 수 있다.
전술한 바와 같이, 행동맥락정보 관리부(30)는 행동맥락정보를 관리할 수 있으며, 나아가, 실시간으로 수집되는 사용자의 음향정보 및 사용자 행동 정보를 확인하고, 이에 대응되는 행동맥락 요소를 검출할 수 있다. 그리고, 행동맥락정보 관리부(30)는 검출된 행동맥락 요소에 대응되는 행동맥락 개체를 실시간으로 확인할 수 있다. 이와 같이, 행동맥락정보 관리부(30)는 실시간으로 수집되는 사용자의 음향정보 및 사용자 행동 정보에 대응되는 행동맥락 요소 및 행동맥락 개체를 검출할 수 있으며, 검출된 정보를 위험 상황 추론부(40)에 제공할 수 있다.
행동맥락정보 관리부(30)가 데이터베이스에 저장하는 행동맥락 요소 및 행동맥락 개체와, 실시간으로 수집되는 사용자의 음향정보 및 사용자 행동 정보에 대응되는 행동맥락 요소 및 행동맥락 개체를 구분하기 위하여, 이하에서 실시간으로 수집되는 사용자의 음향정보 및 사용자 행동 정보에 대응되는 행동맥락 요소 및 행동맥락 개체는 현재 행동맥락 요소 및 현재 행동맥락 개체로 지시한다. 한편, 위험 상황 추론부(40)는 상기 행동맥락정보 관리부(30)에서 현재 시점에서 해석한 현재 행동맥락 요소 및 현재 행동맥락 개체를 기준으로, 상기 음향정보 또는 상기 사용자 행동 정보가 위험 상황에 대응되는지 여부를 추론할 수 있다.
구체적으로, 위험 상황 추론부(40)는 상기 사용자의 현재 행동맥락 요소 또는 개체를 기준으로, 실시간으로 입력되는 음향 종류가 위험 요소에 대응되는지를 확인할 수 있다.
예를 들어, 위험 상황 추론부(40)는 음향 종류가 사이렌, 경보, 경고, 경적 등과 같이 위험 요소에 대응되는 경우, 해당 음향 종류가 상기 사용자의 현재 행동맥락 요소 또는 현재 행동맥락 개체에서 고려해야 할 종류인지를 확인할 수 있다. 그리고, 위험 상황 추론부(40)는 해당 음향 종류가 상기 사용자의 현재 행동맥락 요소 또는 현재 행동맥락 개체에서 고려해야 할 종류일 경우에 한하여 위험 상황 여부를 추론할 수 있다. 예컨대, 위험 상황 추론부(40)는 특정 장소를 사용자가 걸어가고 있고 음향 종류가 화재 경보임을 감지했을 경우, 사용자의 현재 행동맥락 요소 또는 현재 행동맥락 개체에 따라 위험 상황 추론 결과를 다르게 판단할 수 있다. 예를 들어, 상기 현재 행동맥락 요소가 '출근 중'이라면 해당 사용자는 상기 장소를 지나쳐 갈 가능성이 높으므로, 위험 상황 추론부(40)는 현재 행동맥락 요소에 기초하여, 상기 상황을 '위험하지 않음'으로 추론할 수 있다. 반면, 현재 행동맥락 요소가 '쇼핑 중'이라면 해당 사용자는 상기 장소 근처를 배회하거나 건물 등에 진입할 가능성이 높으므로, 위험 상황 추론부(40)는 현재 행동맥락 요소에 기초하여 상기 상황을 '위험함'으로 추론할 수 있다.
다른 예로서, 위험 상황 추론부(40)는 음향 종류가 사이렌, 경보, 경고, 경적 등과 같이 위험 요소에 대응되며 연속적으로 발생되는 경우, 음원의 위치 또는 이동 경로(trajectory)를 확인할 수 있고, 동시에 상기 사용자의 현재 행동맥락 요소 또는 현재 행동맥락 개체를 통해 사용자의 이동 경로(trajectory)를 확인할 수 있다. 그리고, 위험 상황 추론부(40)는 음원과 사용자의 위치 및 이동 경로를 이용해 사용자의 이동 경로 상에서 음원과의 충돌 가능성 여부를 계산해 위험상황 여부를 결정할 수 있다.
나아가, 위험 상황 추론부(40)는 상기 사용자의 현재 행동맥락 요소 또는 현재 행동맥락 개체와 상기 사용자 행동 정보를 사용하여 사용자의 주의력 분산(distraction) 정도를 산출하고 이를 위험 상황 예측의 민감도 조정 인수(parameter)로 사용할 수 있다. 예컨대, 위험 상황 추론부(40)는 상기 사용자 행동 정보의 사용자 단말의 센싱 정보로부터 사용자 단말이 이동되고 있으며, 사용자 단말의 센싱 정보로부터 이어폰이 연결되어 있고, 사용자의 단말 이용 정보로부터 음악 재생 어플리케이션이 동작하되, 사용자 단말의 디스플레이가 오프된 상태임을 확인할 경우, 주의력 분산 정도를 '보통'으로 설정할 수 있다. 그리고, 주의력 분산 정도가 '보통'으로 설정된 환경에서, 위험 상황 추론부(40)는 미리 정해진 제1영역에서 발생되는 음원들의 음향 종류를 위험상황 여부의 결정에 사용할 수 있다. 다른 예로서, 위험 상황 추론부(40)는 상기 사용자 행동 정보의 사용자 단말의 센싱 정보로부터 사용자 단말이 이동되고 있으며, 사용자 단말의 센싱 정보로부터 이어폰이 연결되어 있고, 사용자의 단말 이용 정보로부터 동영상 재생 어플리케이션이 동작하면서 사용자 단말의 디스플레이가 켜진 상태임을 확인할 경우, 주의력 분산 정도를 '높음'으로 설정할 수 있다. 그리고, 주의력 분산 정도가 '높음'으로 설정된 환경에서, 위험 상황 추론부(40)는 상기 미리 정해진 제1영역보다 상대적으로 더 넓은 범위인 제2영역 내에서 발생되는 음원들의 음향 종류를 위험상황 여부의 결정에 사용할 수 있다.
위험 상황 추론부(40)가 위험 상황을 추론하는 방식은, 적어도 하나의 규칙 기반(Rule-based) 논리 알고리즘(IFTTT(IF This Then That), 온톨로지 등)을 조합하는 방식에 기초하여 수행될 수 있다. 또한, 다른 예로서, 위험 상황 추론부(40)는 소정의 기간 동안 수집 데이터와 기계학습으로 구현한 예측기(DNN, CNN, RNN, RBN, DBM 등)를 이용해 위험 상황의 추론을 수행할 수 있다.
위험 상황 추론부(40)는 위험 상황이 발생될 것으로 추론할 경우, 이를 위험 상황 알림부(50)로 제공할 수 있다. 이에 따라, 위험 상황 알림부(50)는 사용자가 인지할 수 있는 수단, 예컨대, 소리, 진동, 경고 등, 경고 메시지 표시 등을 통해 위험 상황을 통지할 수 있다.
나아가, 위험 상황 알림부(50)는 사용자의 단말 이용 정보를 고려하여, 위험 상황을 통지할 수 있다. 예를 들면, 사용자의 단말 이용 정보가 동영상 재생 상태임을 나타낼 경우, 위험 상황 발생을 알리는 음성 메시지를 재생하거나, 위험 상황 발생을 알리는 팝업 메시지를 출력할 수 있으며, 사용자의 단말 이용 정보가 음원 파일의 재생 상태임을 나타낼 경우, 위험 상황 발생을 알리는 음성 메시지를 재생하거나, 단말의 진동을 발생시킬 수 있다.
도 2는 본 개시의 일 실시예에 따른 위험 상황 알림 장치에서 사용되는 음향정보, 사용자 행동 정보, 및 행동맥락정보 사이의 관계를 예시하는 도면이다.
도 2를 참조하면, 음향정보(201)는 음향 종류, 음향장면정보 등을 포함할 수 있고, 사용자 행동 정보(203)는 사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 등을 포함할 수 있다.
한편, 행동맥락정보(205)는 음향정보(201)와 사용자 행동 정보(203)의 분석을 통해 생성될 수 있으며, 특히 음향정보(201)와 사용자 행동 정보(203)가 시 계열적인 반복에서 나타나는 패턴 분석과 그 패턴들의 의미 분석(semantic analysis)을 통해 생성될 수 있다. 이러한 행동맥락정보(205)는 사용자 행동맥락 요소, 사용자 행동맥락 개체 등을 포함할 수 있으며, 사용자 행동맥락 요소, 사용자 행동맥락 개체 등과 함께 이에 기초가 되는 데이터를 포함한 정보로서, 날짜, 요일, 시간, 이동방식, 위치, 이동속도, 이동방향, 활동(activity) 등에 대한 정보를 포함할 수 있다.
나아가, 행동맥락정보(205)는 행동맥락 모델 DB(210)에 저장될 수 있으며, 위험 상황을 추론하는데 사용될 수 있다.
도 3은 본 개시의 일 실시예에 따른 위험 상황 알림 장치에 구비되는 행동맥락정보 관리부의 상세 구성을 도시하는 블록도이다.
도 3을 참조하면, 행동맥락정보 관리부(30)는 음향정보(201)와 사용자 행동 정보(203)를 사용하여, 사용자 행동에 내포된 개별적인 맥락적 암시(contextual cue)들에 해당하는 사용자 행동 이벤트들을 인식해 낸 뒤, 사용자의 행동 이벤트들의 시간적, 공간적 연속성, 주기성으로부터 해당 사용자에 특화된 행동맥락 요소 및 행동맥락 개체를 추론할 수 있다. 이를 위해, 행동맥락정보 관리부(30)는 사용자 행동 이벤트 인식부(31), 사용자 행동맥락 생성부(33), 사용자 행동맥락 분석부(35)를 포함할 수 있다.
사용자 행동 이벤트 인식부(31)는 음향정보(201)와 사용자 행동 정보(203)로부터 행동 이벤트를 추출할 수 있다. 여기서, 행동 이벤트는 사용자의 이동방식, 활동(activity), 위치, 및 장소를 포함할 수 있다.
예를 들어, 사용자 행동 이벤트 인식부(31)는 사용자 행동 정보(203)에 포함된 가속도 및 각속도 변화로 대표되는 사용자 단말기의 움직임과, GPS 신호 수신 상태 및 좌표로 대표되는 위치 정보에 기반해 사용자의 이동방식과 활동을 인식(예: 정지, 자동차, 자전거, 달리기, 걷기, 운동 등)할 수 있다.
또한, 사용자 행동 이벤트 인식부(31)는 통상적인 분류기 구현 방식, 예컨대, 베이지안(Bayesian), kNN, SVM, HMM, 결정 나무(Decision Tree), MLP NN, 심층학습(Deep Learning) 등을 사용하여 이동방식 및 활동 등을 인식할 수 있다.
또한, 사용자 행동 이벤트 인식부(31)는 음향장면정보와 사용자 행동 정보(203)에 포함된 위치 및 장소와 관련된 정보(예. GPS 좌표, 실내 위치 좌표, 주소, 주변 장소)를 종합해 사용자의 현재 장소(place)를 인식하며, 이때 현재 장소 정보는 실외 GPS 좌표, 실내 위치 좌표, 장소의 종류, 주소, 실내/실외 여부 등을 포함할 수 있다.
나아가, 사용자 행동 이벤트 인식부(31)는 추출된 행동 이벤트에 대응되는 시간적 정보를 함께 사용자 행동 이벤트 DB(32)에 저장할 수 있다. 상기 시간적 정보는, 이벤트의 발생 및 종료 시점을 포함할 수 있으며, 각 시간적 정보는 해당 시점의 날짜, 시각, 요일 등의 정보를 포함할 수 있다.
사용자 행동맥락 생성부(33)는 사용자 행동 이벤트 DB(32)에 저장된 행동 이벤트를 조합 및 분석하여 사용자의 행동맥락 요소를 생성한다. 예컨대, 사용자의 개인적 행동 패턴에 따라 나타나는 행동 이벤트의 시간 및/또는 공간에 대한 연속성과 주기성을 분석한다. 구체적으로, 사용자가 특정 위치/장소에 일(day) 주기로 머무는 시간을 검출하여 집과 직장, 그리고 근무일, 휴일 등을 분석할 수 있고, 주중 집과 직장을 오가는 반복적 행태를 통해 출퇴근 시간, 근무방식(주간, 야간 근무), 출퇴근 방식 등을 유추할 수 있고, 근무 시간 외에 방문한 장소들과 시간을 분석해 산책, 스포츠 활동, 쇼핑, 외식 등의 행동양식을 유추할 수 있다.
사용자 행동맥락 생성부(33)는 사용자의 행동맥락 요소를 생성하기 위해 전용 알고리즘, 기계학습, 심층학습(Deep Learning), 강화학습(Reinforcement Learning), 그리고 규칙 기반 추론(Rule-based reasoning) 방식들 중, 적어도 하나의 방식을 사용할 수 있다.
예를 들어, 사용자 행동맥락 생성부(33)는 위치(GPS 좌표, 실내 위치 좌표, 실내 공간 정보)로부터 사용자가 머문 주요 위치들을 추출하고, 각 위치들의 실내/실외, 주소, 장소 종류(주거지, 식당, 학교 등)를 대응시키는 동작은 임의의 전용 알고리즘을 사용하고, 각 주요 장소들의 맥락적 의미(집, 직장 등)를 규정하는 동작은 규칙 기반 추론(예: 온톨로지, IFTTT 등)을 사용할 수 있다.
다른 예로서, 사용자 행동맥락 생성부(33)는 근무일/휴일 구분, 근무방식(주간, 야간 근무) 등의 판단을 위해 하루 전체의 장소 변화 및 이동방식 정보에 대한 학습(기계학습, 심층학습, 강화학습 등)을 수행하고, 학습된 정보를 사용하여 근무일/휴일 구분, 근무방식(주간, 야간 근무) 등의 판단을 수행할 수 있다.
상기 일례와 같은 근무일/휴일 구분, 근무방식(주간, 야간 근무) 등을 판단함에 있어 사용자 행동맥락 생성부(33)는 요일, 출퇴근 이동 여부, 방문 장소 패턴을 정형화시켜 전용 알고리즘 또는 규칙 기반 추론 방식들 중, 적어도 하나의 방식을 사용할 수 있다.
사용자 행동맥락 생성부(33)는 사용자의 행동맥락 요소와 이에 기초가 되는 사용자 행동 이벤트 정보를 행동맥락 요소로서 행동맥락정보 DB(34)에 저장하여 관리할 수 있다.
또한, 사용자 행동맥락 생성부(33)는 사용자의 행동맥락 요소를 조합하여 시간, 장소 등의 정보를 반영하여 사용자의 행동을 구체적으로 서술한 정보를 구성할 수 있으며, 이를 사용자 행동맥락 개체로서 행동맥락정보 DB(34)에 저장하여 관리할 수 있다. 예컨대, 사용자 행동맥락 개체는 '평일 점심시간에 점심식사를 위해 걸어서 이동', '주말 오전에 운동을 위해 차를 타고 이동', '평일 저녁에 야간근무를 위해 자전거를 타고 출근'등과 같은 형태로 예시할 수 있다.
사용자 행동맥락 분석부(35)는 현재 시점(날짜, 요일, 시간 등)의 사용자 행동 이벤트(예, 이동방식, 활동, 위치 등)를 행동맥락정보 DB(34)에 미리 저장된 사용자의 행동맥락 요소 또는 행동맥락 개체(즉, 과거의 사용자 행동 이벤트를 기반으로 구축된 행동맥락 요소 또는 행동맥락 개체)와 비교함으로써, 현재 시점에 발생된 사용자 행동 이벤트에 대응되는 현재 행동맥락 요소 또는 행동맥락 개체를 해석할 수 있다. 일례로, 사용자 행동 이벤트 만으로는 '특정 날짜, 특정 요일, 특정 시간에 특정 장소에서 걸어서 이동 중'이라는 정보이지만, 행동맥락정보 DB(34)에 사용자의 과거 반복되던 행동 이벤트들로부터 '주말 상점가 쇼핑'과 같은 행동맥락 개체가 생성되어 저장되어 있고, 현재 요일, 장소 등의 공통점을 가진다면, 사용자 행동맥락 분석부(35)는 현재 시점에 발생된 사용자 행동 이벤트에 대해 '주말 오후 상점가에서 쇼핑을 위해 걷는 중'과 같은 형태의 현재 행동맥락 개체를 추론할 수 있다.
도 4는 본 개시의 일 실시예에 따른 위험 상황 알림 방법의 순서를 도시하는 흐름도이다.
본 개시의 일 실시예에 따른 위험 상황 알림 방법은 전술한 본 개시의 일 실시예에 따른 위험 상황 알림 장치에 의해 수행될 수 있다.
우선, S401 단계에서, 위험 상황 알림 장치는 행동맥락정보를 구축할 수 있다.
행동맥락정보는 행동맥락 요소와 행동맥락 개체를 포함할 수 있는데, 행동맥락 요소는 음향정보 및 사용자 행동 정보가 나타내는 의미를 기반으로 검출되는 정보일 수 있으며, 행동맥락 개체는 행동맥락 요소의 조합에 의해 정의 되는 정보일 수 있다.
구체적으로, 행동맥락 요소는 사용자가 행하는 특정 행동에 잠재된 사용자의 의도를 나타낼 수 있으며, 사용자가 특정 행동('무엇을')을 '왜'수행하는 지에 대한 정보를 포함할 수 있다. 이에 기초하여, 위험 상황 알림 장치는 '걸어서 이동 중'이라는 사용자 행동 정보를 확인하고, 이러한 사용자 행동 정보를, 걷기 시작한 장소, 행동과 관련된 유의미적 시간(semantic time), 동일한 행동 반복 여부 등을 고려하여, '출근', '퇴근', '운동' 등의 행동맥락 요소를 분석 및 검출할 수 있다.
또한, 행동맥락 개체는 사용자의 행동맥락 요소를 조합하여 시간, 장소 등의 정보를 반영하여 사용자의 행동을 구체적으로 서술한 정보일 수 있다. 예컨대, 사용자 행동맥락 개체는 '평일 점심시간에 점심식사를 위해 걸어서 이동', '주말 오전에 운동을 위해 차를 타고 이동', '평일 저녁에 야간근무를 위해 자전거를 타고 출근'등으로 예시할 수 있으며, 사용자 행동맥락 개체는 사용자의 행동맥락 요소와 함께 이에 기초가 되는 데이터를 포함한 정보로서, 날짜, 요일, 시간, 이동방식, 위치, 장소, 이동속도, 이동방향, 활동(activity) 등에 대한 정보를 포함할 수 있다.
나아가, 이러한 행동맥락 요소와 행동맥락 개체는 사용자 별로 다르게 나타날 수 있으므로, 위험 상황 알림 장치는 사용자별 행동맥락 요소와 행동맥락 개체를 생성 및 저장할 수 있다.
이와 같은, 행동맥락정보의 구축은 사용자가 단말을 사용하는 동안 지속적으로 수집되는 정보를 바탕으로 구성될 수 있으며, 위험 상황 알림 방법을 진행하는 동안 지속적으로 구축 및 업데이트 될 수 있다.
S402 단계에서, 위험 상황 알림 장치는 주변 환경에서 발생되는 음향 데이터를 수집하고, 이에 기초한 음향정보를 수집할 수 있다.
발생하는 위험 상황은 음원(sound source)과의 관련성을 가질 수 있다. 즉, 위험 상황을 야기하는 요인이 소정의 음원을 생성하거나, 위험 상황이 발생한 결과로써 음원이 발생될 수 있다. 이에 감안하여, 위험 상황 알림 장치는 적어도 하나의 마이크로폰을 구비할 수 있으며, 이를 통해 주변 환경에서 발생되는 음향 데이터를 수집할 수 있다. 그리고, 위험 상황 알림 장치는 수집된 음향 데이터로부터 적어도 하나의 음원(sound source)을 추출하고, 각 음원이 나타내는 특성에 기초하여 음향 종류를 결정할 수 있다. 예컨대, 음향 종류는 개 짖는 소리, 총 소리, 사람의 비명 소리, 아기 울음 소리, 승용차 소리, 버스 소리, 트럭 소리, 모터사이클 소리, 기차 소리, 엔진 가속 소리, 경적 소리, 자동차의 급정거 소리, 노크 소리, 전화벨 소리, 초인종 소리, 각종 경고(알람), 사이렌 소리 등을 포함할 수 있다.
특히, 위험 상황 알림 장치는 적어도 하나의 음원과 위험 상황 알림 장치는 사이의 상대적인 위치정보, 예컨대, 적어도 하나의 음원과 위험 상황 알림 장치는 사이의 거리를 나타내는 상대 거리정보, 위험 상황 알림 장치를 기준으로 적어도 하나의 음원 발생 위치의 방향을 나타내는 방향정보 등을 산출할 수 있다.
예를 들어, 위험 상황 알림 장치는 상기 적어도 두 개의 마이크로폰의 기하학적 배치 정보와, 상기 적어도 두 개의 마이크로폰으로 수신한 음향 신호의 위상(phase) 차이나, 주파수 성분의 변화 등을 사용하여, 상대 거리정보, 방향정보 등을 산출할 수 있다.
또한, 위험 상황 알림 장치는 음원이 나타내는 특성 또는 음향 종류에 기초하여, 음향장면정보를 생성할 수 있다. 음향장면정보는 위험 상황 알림 장치의 현재 위치 또는 장소를 청각적으로 추론한 정보일 수 있다. 예컨대, 음향장면정보는 버스 안, 도심, 광장, 집, 지하철, 사무실, 주거지역, 기차역 등을 포함할 수 있다.
나아가, 위험 상황 알림 장치는 수집된 음향 데이터에 대한 품질 개선(백색 소음 제거, 음압 정규화 등) 처리를 수행하고, 시간-주파수 영역의 특징값을 추출 한 뒤, 추출된 특징값들을 분석하는 동작을 통해 음향 종류와 음향장면정보를 검출 또는 추론할 수 있다.
예컨대, 위험 상황 알림 장치는 음향 신호의 특징으로서 Mel 주파수 캡스트럼 계수(MFCC, Mel-frequency cepstral coefficient)들을 추출하고, 베이지안(Bayesian), kNN(k Nearest Neighbor), SVM(Support Vector Machine), HMM(Hidden Markov chain Model), 결정 나무(Decision Tree), MLP NN(Multi-Layer Perceptron Neural Network)와 같은 분류기(Classifier)를 이용해 음향 종류와 음향장면정보를 검출 또는 추론할 수 있다.
다른 예로서, 위험 상황 알림 장치는 임의의 특징 값들을 시간 및 주파수 영역의 음향 신호들을 직접 심층학습(Deep Learning)을 통해 학습하고, 학습된 네트워크를 이용해 음향 종류와 음향장면정보를 검출 또는 추론할 수 있다. 여기서, 심층학습의 수행은 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), RBM(Restricted Boltzmann Machine), DBM(Deep Belief Network) 등의 네트워크 구조 기반으로 한 모델을 사용하여 이루어질 수 있다.
본 발명의 일 실시예에서 위험 상황 알림 장치는 음향 종류 및 장면을 인식하는 방법을 예시하였으나, 본 개시가 이를 한정하는 것은 아니며, 다양하게 변경될 수 있다.
한편, S403 단계에서, 위험 상황 알림 장치는 사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 등을 검출하고, 사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 중, 적어도 하나를 기반으로 사용자 행동 정보를 생성 및 수집할 수 있다. 여기서, '사용자 행동 정보'란, 사용자가 착용 또는 휴대하는 장치들을 통해 감지 또는 측정된 정보로서, 사용자의 행동에 영향을 받아 변화되는 요소를 포함할 수 있다.
사용자의 단말 이용 정보는 사용자의 사용 의도가 반영된 단말기 동작을 나타내는 정보로서, 사용자 단말에 수록된 어플리케이션의 동작이나, 사용자 단말에 구비되는 입출력 인터페이스(예, 소리 크기, 키보드 입력 화면 등)의 상태를 기반으로 검출될 수 있다. 예컨대, 위험 상황 알림 장치는 전화 어플리케이션이 동작할 경우 '전화 통화' 중 임을 확인할 수 있고, 음악 재생 어플리케이션의 동작일 경우 '음악 재생' 중 임을 확인할 수 있고, 동영상 재생 어플리케이션의 동작일 경우 '동영상 재생' 중 임을 확인할 수 있고, 웹 검색 어플리케이션의 동작일 경우 '검색' 중 임을 확인할 수 있다. 또한, 사용자 행동 정보 확인부(20)는 디스플레이의 켜짐 또는 꺼짐 상태에 기초하여 사용자의 '화면 주시' 상태를 확인할 수 있고, 이어폰 또는 스피커 연결여부에 기초하여 '청각 제한' 상태를 확인할 수 있고, 키보드 입력에 기초하여 '타이핑 상태' 임을 확인할 수 있다.
사용자 단말의 센싱 정보는 위험 상황 알림 장치 내부 또는 위험 상황 알림 장치와 연결된 웨어러블 기기에 구비되는 적어도 하나의 센서로부터 검출되는 정보를 포함할 수 있다. 사용자 단말의 센싱 정보는 심박 센서값, 움직임 센서 값(가속도, 각속도, 온도, 고도 등), 위치 및 이동 정보(GPS 좌표, 실내 위치 좌표, 이동 속도 등) 등을 포함할 수 있다.
사용자 단말의 주변 환경 정보는 위험 상황 알림 장치의 위치정보를 기반으로 검출되는 장소 정보(주소, 건물명, 점포명 등), 위험 상황 알림 장치가 위치한 영역에 대응되는 날씨 정보 등을 포함할 수 있다.
위험 상황 알림 장치는 전술한 정보, 즉, 사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 등의 검출시, 검출된 시간에 대한 정보(예, 날짜, 요일, 시각)를 함께 검출하여 저장할 수 있다.
S401 단계에서 설명한 바와 같이, 위험 상황 알림 장치는 상기 음향정보 및 상기 사용자 행동 정보로부터 반복적으로 나타나는 사용자 행동을 검출할 수 있으며, 반복적으로 나타나는 사용자의 행동 패턴을 사용자 행동맥락으로서 생성 및 관리할 수 있다.
S404 단계에서, 위험 상황 알림 장치는 수집된 상기 음향정보 및 상기 사용자 행동 정보를 사용하여 사용자의 현재 행동맥락정보를 확인할 수 있다.
즉, 위험 상황 알림 장치는 S402 및 S403 단계에서 각각 실시간으로 확인된 사용자의 음향정보 및 사용자 행동 정보를 확인하고, 이에 대응되는 행동맥락 요소를 검출할 수 있다. 그리고, 위험 상황 알림 장치는 검출된 현재 행동맥락 요소에 대응되는 현재 행동맥락 개체를 실시간으로 확인할 수 있다.
위험 상황 알림 장치가 데이터베이스에 저장하는 행동맥락 요소 및 행동맥락 개체와, 실시간으로 수집되는 사용자의 음향정보 및 사용자 행동 정보에 대응되는 행동맥락 요소 및 행동맥락 개체를 구분하기 위하여, 이하에서 실시간으로 수집되는 사용자의 음향정보 및 사용자 행동 정보에 대응되는 행동맥락 요소 및 행동맥락 개체는 현재 행동맥락 요소 및 현재 행동맥락 개체로 지시한다.S405 단계에서, 위험 상황 알림 장치는 앞서 확인된 현재 행동맥락 요소 및 현재 행동맥락 개체를 행동맥락정보를 저장하는 데이터베이스에 업데이트 한다.
그리고, S406 단계에서, 위험 상황 알림 장치는 사용자의 현재 행동맥락 요소 또는 현재 행동맥락 개체를 사용하여, 위험 상황의 발생 여부를 추론할 수 있다.
구체적으로, 위험 상황 알림 장치는 현재 시점에서 해석한 현재 행동맥락 요소 및 현재 행동맥락 개체를 기준으로, 상기 음향정보 또는 상기 사용자 행동 정보가 위험 상황에 대응되는지 여부를 추론할 수 있다.
즉, 위험 상황 알림 장치는 상기 사용자의 현재 행동맥락 개체를 기준으로, 실시간으로 입력되는 음향 종류가 위험 요소에 대응되는지를 확인할 수 있다. 예를 들어, 음향 종류가 사이렌, 경보, 경고, 경적 등과 같이 위험 요소에 대응되는 경우, 위험 상황 알림 장치는 해당 음향 종류가 상기 사용자의 현재 행동맥락 요소 또는 현재 행동맥락 개체에서 고려해야 할 종류인지를 확인할 수 있다.
그리고, 위험 상황 알림 장치는 해당 음향 종류가 상기 사용자의 현재 행동맥락에서 고려해야 할 종류일 경우에 한하여 위험 상황 여부를 추론할 수 있다. 예를 들어, 음향 종류가 화재 경보임을 감지했을 경우, 위험 상황 알림 장치는 사용자의 현재 행동맥락 요소 또는 현재 행동맥락 개체에 따라 위험 상황 추론 결과를 다르게 판단할 수 있다. 현재 행동맥락 요소가 '출근 중'이라면 해당 사용자는 상기 장소를 지나쳐 갈 가능성이 높으므로, 위험 상황 알림 장치는 현재 행동맥락 요소에 기초하여, 상기 상황을 '위험하지 않음'으로 추론할 수 있다. 반면, 현재 행동맥락 요소가 '쇼핑 중'이라면 해당 사용자는 상기 장소 근처를 배회하거나 건물 등에 진입할 가능성이 높으므로, 위험 상황 알림 장치는 현재 행동맥락 요소에 기초하여 상기 상황을 '위험함'으로 추론할 수 있다.
다른 예로서, 위험 상황 알림 장치는 음향 종류가 사이렌, 경보, 경고, 경적 등과 같이 위험 요소에 대응되며 연속적으로 발생되는 경우, 위험 상황 알림 장치는 음원의 위치 또는 이동 경로(trajectory)를 확인할 수 있고, 현재 행동맥락 요소 또는 현재 행동맥락 개체를 통해 사용자의 이동 경로(trajectory)를 확인할 수 있다. 그리고, 위험 상황 알림 장치는 음원과 사용자의 위치 및 이동 경로를 이용해 사용자의 이동 경로 상에서 음원과의 충돌 가능성 여부를 계산해 위험상황 여부를 결정할 수 있다.
나아가, 위험 상황 알림 장치는 상기 사용자의 현재 행동맥락 요소 또는 현재 행동맥락 개체와 상기 사용자 행동 정보를 사용하여 사용자의 주의력 분산(distraction) 정도를 산출하고 이를 위험 상황 예측의 민감도 조정 인수(parameter)로 사용할 수 있다. 예컨대, 위험 상황 알림 장치는 상기 사용자 행동 정보의 사용자 단말의 센싱 정보로부터 사용자 단말이 이동되고 있으며, 사용자 단말의 센싱 정보로부터 이어폰이 연결되어 있고, 사용자의 단말 이용 정보로부터 음악 재생 어플리케이션이 동작하되, 사용자 단말의 디스플레이가 오프된 상태임을 확인할 경우, 주의력 분산 정도를 '보통'으로 설정할 수 있다. 그리고, 주의력 분산 정도가 '보통'으로 설정된 환경에서, 위험 상황 알림 장치는 미리 정해진 제1영역에서 발생되는 음원들의 음향 종류를 위험상황 여부의 결정에 사용할 수 있다. 다른 예로서, 위험 상황 알림 장치는 상기 사용자 행동 정보의 사용자 단말의 센싱 정보로부터 사용자 단말이 이동되고 있으며, 사용자 단말의 센싱 정보로부터 이어폰이 연결되어 있고, 사용자의 단말 이용 정보로부터 동영상 재생 어플리케이션이 동작하면서 사용자 단말의 디스플레이가 켜진 상태임을 확인할 경우, 주의력 분산 정도를 '높음'으로 설정할 수 있다. 그리고, 주의력 분산 정도가 '높음'으로 설정된 환경에서, 위험 상황 알림 장치는 상기 미리 정해진 제1영역보다 상대적으로 더 넓은 범위인 제2영역 내에서 발생되는 음원들의 음향 종류를 위험상황 여부의 결정에 사용할 수 있다.
위험 상황 알림 장치가 위험 상황을 추론하는 방식은, 적어도 하나의 규칙 기반(Rule-based) 논리 알고리즘(IFTTT(IF This Then That), 온톨로지 등)을 조합하는 방식에 기초하여 수행될 수 있다. 또한, 다른 예로서, 위험 상황 알림 장치는 소정의 기간 동안 수집 데이터와 기계학습으로 구현한 예측기(DNN, CNN, RNN, RBN, DBM 등)를 이용해 위험 상황의 추론을 수행할 수 있다.
위험 상황 알림 장치는 위험 상황이 발생될 경우(S407-예), 사용자가 인지할 수 있는 수단, 예컨대, 소리, 진동, 경고 등, 경고 메시지 표시 등을 통해 위험 상황을 통지할 수 있다(S408).
S408 단계에서, 위험 상황 알림 장치는 사용자의 단말 이용 정보를 고려하여, 위험 상황을 통지할 수 있다. 예를 들면, 사용자의 단말 이용 정보가 동영상 재생 상태임을 나타낼 경우, 위험 상황 발생을 알리는 음성 메시지를 재생하거나, 위험 상황 발생을 알리는 팝업 메시지를 출력할 수 있으며, 사용자의 단말 이용 정보가 음원 파일의 재생 상태임을 나타낼 경우, 위험 상황 발생을 알리는 음성 메시지를 재생하거나, 단말의 진동을 발생시킬 수 있다.
전술한 S402 내지 S408 단계는 위험 상황 알림 장치의 동작이 종료될 때까지 반복적으로 수행될 수 있다.
도 5는 본 개시의 일 실시예에 따른 위험 상황 알림 방법 및 장치를 실행하는 컴퓨팅 시스템을 예시하는 블록도이다.
도 5를 참조하면, 컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다.
프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (16)

  1. 음향 종류 및 음향장면정보를 포함하는 음향정보를 확인 및 제공하는 음향정보 관리부와,
    사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 중, 적어도 하나를 기반으로 사용자 행동 정보를 생성 및 제공하는 사용자 행동 정보 확인부와,
    상기 음향정보 및 상기 사용자 행동 정보를 사용하여 사용자의 행동맥락정보를 미리 저장하고, 상기 미리 저장된 사용자의 행동맥락정보를 기반으로, 실시간으로 검출되는 상기 음향정보 및 상기 사용자 행동 정보에 대응되는 사용자의 현재 행동맥락정보를 분석하는 행동맥락정보 관리부와,
    상기 사용자의 현재 행동맥락정보를 기준으로, 상기 음향정보 또는 상기 사용자 행동 정보가 위험 상황에 대응되는지 여부를 추론하는 위험 상황 추론부와,
    상기 위험 상황 추론부가 추론한 결과에 기초하여, 위험 상황 알림을 제공하는 위험 상황 알림부를 포함하고,
    상기 위험 상황 추론부는,
    상기 음향 종류가 위험 요소에 대응되며,
    상기 사용자 행동 정보로부터 확인되는 사용자의 이동 경로가 음원의 발생 위치에 대응되고, 상기 사용자의 행동맥락정보에 기초하여, 사용자의 이동 경로가 상기 음원의 발생 위치에 충돌함을 예측함에 따라, 위험 상황으로 추론하는 위험 상황 알림 장치.
  2. 제1항에 있어서,
    상기 행동맥락정보 관리부는,
    상기 음향정보 및 상기 사용자 행동 정보 중, 적어도 하나의 정보를 사용하여 사용자 행동 이벤트를 검출하는 사용자 행동 이벤트 인식부와,
    상기 적어도 하나의 사용자 행동 이벤트를 조합하여 사용자 행동맥락정보를 생성하는 행동맥락정보 생성부를 포함하는 위험 상황 알림 장치.
  3. 제2항에 있어서,
    상기 사용자 행동맥락정보는,
    상기 적어도 하나의 사용자 행동 이벤트가 반복적, 주기적, 또는 규칙적으로 발생되는 패턴에서 유추한 의미(semantic) 정보를 포함하는 것을 특징으로 하는 위험 상황 알림 장치.
  4. 제2항에 있어서,
    상기 사용자 행동맥락정보는,
    상기 적어도 하나의 사용자 행동 이벤트에 기초한 규칙 기반 추론에 의해 상기 사용자의 행동을 의미 단위로 정의한 행동맥락 요소를 포함하는 것을 특징으로 하는 위험 상황 알림 장치.
  5. 제4항에 있어서,
    상기 사용자 행동맥락정보는,
    상기 행동맥락 요소를 조합하여 상기 사용자의 행동을 구체적으로 서술한 행동맥락 개체를 포함하는 것을 특징으로 하는 위험 상황 알림 장치.
  6. 삭제
  7. 삭제
  8. 음향 종류 및 음향장면정보를 포함하는 음향정보를 확인 및 제공하는 음향정보 관리부와,
    사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 중, 적어도 하나를 기반으로 사용자 행동 정보를 생성 및 제공하는 사용자 행동 정보 확인부와,
    상기 음향정보 및 상기 사용자 행동 정보를 사용하여 사용자의 행동맥락정보를 미리 저장하고, 상기 미리 저장된 사용자의 행동맥락정보를 기반으로, 실시간으로 검출되는 상기 음향정보 및 상기 사용자 행동 정보에 대응되는 사용자의 현재 행동맥락정보를 분석하는 행동맥락정보 관리부와,
    상기 사용자의 현재 행동맥락정보를 기준으로, 상기 음향정보 또는 상기 사용자 행동 정보가 위험 상황에 대응되는지 여부를 추론하는 위험 상황 추론부와,
    상기 위험 상황 추론부가 추론한 결과에 기초하여, 위험 상황 알림을 제공하는 위험 상황 알림부를 포함하고,
    상기 위험 상황 추론부는,
    상기 음향 종류가 위험 요소에 대응되고,
    상기 음향 종류가 상기 사용자의 행동맥락정보에 적합하며,
    음원의 발생 위치와, 상기 사용자 행동 정보로부터 확인되는 사용자의 위치 사이의 거리가, 상기 사용자의 행동맥락정보에 기초하여 산정되는 위험 상황 예측 범위 이내임에 따라, 위험 상황으로 추론하는 것을 특징으로 하는 위험 상황 알림 장치.
  9. 위험 상황 알림 방법에 있어서,
    음향 종류 및 음향장면정보를 포함하는 음향정보를 확인하는 과정과,
    사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 중, 적어도 하나를 기반으로 사용자 행동 정보를 생성하는 과정과,
    상기 음향정보 및 상기 사용자 행동 정보를 사용하여 사용자의 행동맥락정보를 미리 생성 및 저장하는 과정과,
    상기 미리 저장된 사용자의 행동맥락정보를 기반으로, 실시간으로 검출되는 상기 음향정보 및 상기 사용자 행동 정보에 대응되는 사용자의 현재 행동맥락정보를 분석하는 과정과,
    상기 사용자의 현재 행동맥락정보를 기준으로, 상기 음향정보 또는 상기 사용자 행동 정보가 위험 상황에 대응되는지 여부를 추론하는 과정과,
    상기 위험 상황에 대응되는지 여부를 추론하는 과정을 통해 추론한 결과에 기초하여, 위험 상황 알림을 제공하는 과정을 포함하고,
    상기 위험 상황에 대응되는지 여부를 추론하는 과정은,
    상기 음향 종류가 위험 요소에 대응되며, 상기 사용자 행동 정보로부터 확인되는 사용자의 이동 경로가 음원의 발생 위치에 대응되고, 상기 사용자의 현재 행동맥락정보에 기초하여, 사용자의 이동 경로가 상기 음원의 발생 위치에 충돌함을 예측함에 따라, 위험 상황으로 추론하는 것을 위험 상황 알림 방법.
  10. 제9항에 있어서,
    상기 사용자의 현재 행동맥락을 분석하는 과정은,
    상기 음향정보 및 상기 사용자 행동 정보 중, 적어도 하나의 정보를 사용하여 사용자 행동 이벤트를 검출하는 과정과,
    상기 적어도 하나의 사용자 행동 이벤트를 조합하여 현재 행동맥락정보를 확인하는 과정을 포함하는 위험 상황 알림 방법.
  11. 제9항에 있어서,
    상기 사용자 행동맥락정보는,
    상기 적어도 하나의 사용자 행동 이벤트가 반복적, 주기적, 또는 규칙적으로 발생되는 패턴에서 유추한 의미(semantic) 정보를 포함하는 것을 특징으로 하는 위험 상황 알림 방법.
  12. 제9항에 있어서,
    상기 사용자 행동맥락정보는,
    상기 적어도 하나의 사용자 행동 이벤트에 기초한 규칙 기반 추론에 의해 상기 사용자의 행동을 의미 단위로 정의한 행동맥락 요소를 포함하는 것을 특징으로 하는 위험 상황 알림 방법.
  13. 제12항에 있어서,
    상기 사용자 행동맥락정보는,
    상기 행동맥락 요소를 조합하여 상기 사용자의 행동을 구체적으로 서술한 행동맥락 개체를 포함하는 것을 특징으로 하는 위험 상황 알림 방법.
  14. 삭제
  15. 삭제
  16. 위험 상황 알림 방법에 있어서,
    음향 종류 및 음향장면정보를 포함하는 음향정보를 확인하는 과정과,
    사용자의 단말 이용 정보, 사용자 단말의 센싱 정보, 사용자 단말의 주변 환경 정보 중, 적어도 하나를 기반으로 사용자 행동 정보를 생성하는 과정과,
    상기 음향정보 및 상기 사용자 행동 정보를 사용하여 사용자의 행동맥락정보를 미리 생성 및 저장하는 과정과,
    상기 미리 저장된 사용자의 행동맥락정보를 기반으로, 실시간으로 검출되는 상기 음향정보 및 상기 사용자 행동 정보에 대응되는 사용자의 현재 행동맥락정보를 분석하는 과정과,
    상기 사용자의 현재 행동맥락정보를 기준으로, 상기 음향정보 또는 상기 사용자 행동 정보가 위험 상황에 대응되는지 여부를 추론하는 과정과,
    상기 위험 상황에 대응되는지 여부를 추론하는 과정을 통해 추론한 결과에 기초하여, 위험 상황 알림을 제공하는 과정을 포함하고,
    상기 위험 상황에 대응되는지 여부를 추론하는 과정은,
    상기 음향 종류가 위험 요소에 대응되고, 상기 음향 종류가 상기 사용자의 현재 행동맥락정보에 적합하며, 음원의 발생 위치와, 상기 사용자 행동 정보로부터 확인되는 사용자의 위치 사이의 거리가, 상기 사용자의 현재 행동맥락정보에 기초하여 산정되는 위험 상황 예측 범위 이내임에 따라, 위험 상황으로 추론하는 것을 특징으로 하는 위험 상황 알림 방법.
KR1020180041741A 2018-04-10 2018-04-10 위험상황 알림 장치 및 방법 KR102419007B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180041741A KR102419007B1 (ko) 2018-04-10 2018-04-10 위험상황 알림 장치 및 방법
US16/374,857 US10614693B2 (en) 2018-04-10 2019-04-04 Dangerous situation notification apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180041741A KR102419007B1 (ko) 2018-04-10 2018-04-10 위험상황 알림 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190118431A KR20190118431A (ko) 2019-10-18
KR102419007B1 true KR102419007B1 (ko) 2022-07-08

Family

ID=68097290

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180041741A KR102419007B1 (ko) 2018-04-10 2018-04-10 위험상황 알림 장치 및 방법

Country Status (2)

Country Link
US (1) US10614693B2 (ko)
KR (1) KR102419007B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10802489B1 (en) 2017-12-29 2020-10-13 Apex Artificial Intelligence Industries, Inc. Apparatus and method for monitoring and controlling of a neural network using another neural network implemented on one or more solid-state chips
CN111026471A (zh) * 2019-10-17 2020-04-17 宇龙计算机通信科技(深圳)有限公司 情景模式的控制方法、装置、智能手表及存储介质
US10956807B1 (en) 2019-11-26 2021-03-23 Apex Artificial Intelligence Industries, Inc. Adaptive and interchangeable neural networks utilizing predicting information
US11367290B2 (en) 2019-11-26 2022-06-21 Apex Artificial Intelligence Industries, Inc. Group of neural networks ensuring integrity
US11366434B2 (en) 2019-11-26 2022-06-21 Apex Artificial Intelligence Industries, Inc. Adaptive and interchangeable neural networks
US10691133B1 (en) * 2019-11-26 2020-06-23 Apex Artificial Intelligence Industries, Inc. Adaptive and interchangeable neural networks
US12081646B2 (en) 2019-11-26 2024-09-03 Apex Ai Industries, Llc Adaptively controlling groups of automated machines
KR102579572B1 (ko) * 2020-11-12 2023-09-18 한국광기술원 음향 기반의 비상벨 관제 시스템 및 그 방법
KR102491951B1 (ko) * 2022-10-12 2023-01-27 서울교통공사 지적확인환호 미이행 경보시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101437329B1 (ko) * 2013-04-03 2014-09-11 에스케이텔레콤 주식회사 협력 기반 상황 인식 방법 및 이를 위한 상황 인식 장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028514A (en) * 1998-10-30 2000-02-22 Lemelson Jerome H. Personal emergency, safety warning system and method
US8442832B2 (en) 2008-12-08 2013-05-14 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
KR101840644B1 (ko) * 2011-05-31 2018-03-22 한국전자통신연구원 감성인지 기반 보디가드 시스템, 감성인지 디바이스, 영상 및 센서 제어 장치, 신변 보호 관리 장치 및 그 제어 방법
KR101866974B1 (ko) * 2012-01-06 2018-06-14 한국전자통신연구원 행동 패턴 수집 장치 및 이를 이용한 행동 패턴 분석 시스템과 그 방법
KR101367964B1 (ko) 2012-10-19 2014-03-19 숭실대학교산학협력단 복합 센서를 이용한 사용자 상황 인식 방법
US9805569B2 (en) * 2012-11-08 2017-10-31 Intrepid Networks, Llc System and method for detecting and analyzing near range weapon fire
KR101564347B1 (ko) * 2013-05-03 2015-10-30 삼성중공업 주식회사 긴급 구조 요청 단말 및 긴급 구조 요청 방법
KR101598466B1 (ko) 2014-07-08 2016-02-29 손석영 청각장애인용 안전보조시스템
CN105632049B (zh) 2014-11-06 2019-06-14 北京三星通信技术研究有限公司 一种基于可穿戴设备的预警方法和装置
US9338627B1 (en) * 2015-01-28 2016-05-10 Arati P Singh Portable device for indicating emergency events
KR101672947B1 (ko) 2015-03-17 2016-11-04 주식회사 비에스엘 상황 알림 기능을 가진 히어링 디바이스 및 그에 의한 상황 알림 방법
US10102732B2 (en) * 2016-06-28 2018-10-16 Infinite Designs, LLC Danger monitoring system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101437329B1 (ko) * 2013-04-03 2014-09-11 에스케이텔레콤 주식회사 협력 기반 상황 인식 방법 및 이를 위한 상황 인식 장치

Also Published As

Publication number Publication date
US10614693B2 (en) 2020-04-07
KR20190118431A (ko) 2019-10-18
US20190311597A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
KR102419007B1 (ko) 위험상황 알림 장치 및 방법
Kumar et al. An IoT-based vehicle accident detection and classification system using sensor fusion
US10721571B2 (en) Separating and recombining audio for intelligibility and comfort
US10235128B2 (en) Contextual sound filter
US11455792B2 (en) Robot capable of detecting dangerous situation using artificial intelligence and method of operating the same
US11455522B2 (en) Detecting personal danger using a deep learning system
US10875525B2 (en) Ability enhancement
US10424185B2 (en) Responding to personal danger using a mobile electronic device
US20130070928A1 (en) Methods, systems, and media for mobile audio event recognition
JP2017168097A (ja) 状況に特有の車両ドライバとの交信を提供するためのシステムおよび方法
JP6682222B2 (ja) 検知装置及びその制御方法、コンピュータプログラム
US20190385614A1 (en) Artificial intelligence apparatus and method for recognizing utterance voice of user
US10721347B2 (en) Detecting patterns and behavior to prevent a mobile terminal drop event
US11330384B2 (en) Artificial intelligence device for diagnosing failure and method thereof
US9571057B2 (en) Altering audio signals
US11769047B2 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
CN111051171A (zh) 对自主车辆的内部的异常的检测
Xie et al. Real-time detection for drowsy driving via acoustic sensing on smartphones
KR20190127513A (ko) 음성 입력 인증 디바이스 및 그 방법
KR20200005476A (ko) 소급 소리 식별 시스템
JP7513841B2 (ja) ナビゲーションセッション中の運転イベント音の検出と処理
US10360771B2 (en) Alert processing
JPWO2019240062A1 (ja) 報知システム
JPWO2019240070A1 (ja) 動作確認システム
JP6755095B2 (ja) 余裕度判定装置、余裕度判定方法および運転支援システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant