KR102152717B1 - 휴먼 행동 인식 장치 및 방법 - Google Patents

휴먼 행동 인식 장치 및 방법 Download PDF

Info

Publication number
KR102152717B1
KR102152717B1 KR1020180101630A KR20180101630A KR102152717B1 KR 102152717 B1 KR102152717 B1 KR 102152717B1 KR 1020180101630 A KR1020180101630 A KR 1020180101630A KR 20180101630 A KR20180101630 A KR 20180101630A KR 102152717 B1 KR102152717 B1 KR 102152717B1
Authority
KR
South Korea
Prior art keywords
human
behavior
information
action
intention
Prior art date
Application number
KR1020180101630A
Other languages
English (en)
Other versions
KR20200024675A (ko
Inventor
김도형
장진혁
김재홍
신성웅
이재연
장민수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180101630A priority Critical patent/KR102152717B1/ko
Priority to US16/213,833 priority patent/US10789458B2/en
Publication of KR20200024675A publication Critical patent/KR20200024675A/ko
Application granted granted Critical
Publication of KR102152717B1 publication Critical patent/KR102152717B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G06K9/00342—
    • G06K9/00355—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1916—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G06N5/047—Pattern matching networks; Rete networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

휴먼 행동 인식 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 휴먼 행동 인식 장치는 멀티 모달 센서를 이용하여 휴먼에 대한 영상 정보, 소리 정보, 위치 정보 및 IoT 정보 중 적어도 하나 이상의 정보를 생성하는 멀티 모달 센서부; 상기 적어도 하나 이상의 정보로부터 상기 휴먼의 행동을 인식하기 위한 상황 정보를 추출하는 상황 정보 추출부; 상기 상황 정보를 이용하여 상기 휴먼의 행동들을 인식한 행동 인식 정보를 생성하고, 상기 행동 인식 정보 및 행동 의도 정보를 이용하여 상기 휴먼의 최종 행동을 인식하는 휴먼 행동 인식부 및 상기 행동 인식 정보에 포함된 상기 휴먼의 행동들의 행동 발생 전후 관계에 기반하여 상기 행동 의도 정보를 생성하는 행동 의도 추론부를 포함한다.

Description

휴먼 행동 인식 장치 및 방법 {APPARATUS AND METHOD FOR RECOGNIZING BEHAVIOR OF HUMAN}
본 발명은 지능정보 기술에 관한 것으로, 보다 상세하게는 행동인식 기술에 대한 지능정보 기술에 u-Healthcare 기술이 접목된 IoT, 로봇 및 휴먼 헬스 케어 기술에 관한 것이다.
고령 사회의 빠른 도래와 독거노인 가구의 급증으로 인해 고령자의 삶의 질 저하와 고령자 지원을 위한 사회 공공지출의 급격한 증가가 예상되고 있다. 이러한 사회 문제에 대한 해결책의 하나로 휴먼케어 로봇이 고령자와 함께 생활하면서 고령자를 이해하고 정서적으로 교류하면서 상황에 맞는 건강, 생활, 인지, 정서 서비스를 제공해 주기 위해 필요한 지능정보-로봇 기술의 개발이 요구되고 있다.
이러한 지능정보 기술이 탑재된 휴먼케어 로봇은 고령자와의 심리적·정서적 교감을 기반으로 하는 개인 맞춤형 돌봄 서비스를 제공할 수 있고, 로봇을 기반으로 하는 고령자 특화 지능정보 기술은 기존의 u-Healthcare 기술과 접목하여 적극적인 의료·건강 및 생활지원 서비스에 활용될 수 있다.
로봇이 휴먼에게 적절한 휴먼케어 서비스를 제공하기 위해서는 시시각각 변하는 휴먼에 대한 정보를 정밀하게 인식할 수 있는 능력이 기본적으로 요구되며 이를 3W(Who, Where and What) 인식 기술이라고 한다. 즉 서비스 대상인 휴먼이 누구인지(Who)를 인식하는 기술, 대상 휴먼이 어디에 위치하고 있는지(Where)를 추적하는 기술, 대상 휴먼이 무슨 행동을 하는지(What)를 인식하는 기술을 의미한다.
이러한 3W 인식 기술 중에서 휴먼이 행하고 있는 동작이 어떤 행동인지를 파악하는 행동 인식 기술은 고령자가 현재 행하는 행위의 의도를 이해/예측하고 휴먼의 생활패턴을 파악하기 위한 필수 기술이다. 행동 인식에 기반한 휴먼에 대한 이해와 공감을 통해 로봇은 정서적으로 한 차원 높은 수준의 생활지원 및 건강지원 서비스를 제공할 수 있게 된다.
로봇에서 활용 가능한 종래의 행동 인식 기술 중에서 활용도와 신뢰성이 가장 높은 기술은 영상 데이터의 분석을 기반으로 하는 시각기반 행동 인식 기술이며 이는 크게 3가지로 구분될 수 있다.
즉, 시각기반 행동 인식 기술은 드라마, 영화 등의 2차원 영상을 분석하여 비디오 내에서 특정 행위가 발생하는 구간을 검출하기 위한 비디오 해석 기술, 3D 카메라에서 획득할 수 있는 깊이 영상과 휴먼 골격 구조를 분석하여 특정 제스처 및 단위 행동을 인식하는 기술 및 성능 향상을 위해 이기종 카메라 또는 신체 부착형 센서 등에서 획득되는 다양한 정보를 융합하는 멀티 모달 행동인식 기술로 구분될 수 있다.
상기 종래의 행동 인식 기술들 모두는 발생하는 행동에 대하여 현재 센싱된 데이터만을 이용하여 단발적으로 인식을 수행한다. 다시 말해 그 행동이 발생하게 되는 상황 및 맥락에 대한 고려를 전혀 하지 않는다. 또한 인식된 결과는 인식 엔진의 성능 향상에 활용되지 않고 결과 제공 후 곧바로 소멸된다.
일회성 인식을 수행하는 종래의 기술들이 수많은 가정 환경에서 발생하는 다양한 형태의 휴먼 행동을 안정적으로 인식하기를 기대하기란 매우 어렵다. 특히, 로봇의 이동 특성에 따른 다양한 환경의 변화와 시점의 변화는 행동 인식을 더욱더 어렵게 만들며 이러한 상황에서 신뢰도 높은 행동 인식을 위해서는 새로운 방법의 고안이 요구된다.
한편, 한국등록특허 제 10-1023951 호“행동인식 시스템 및 방법”는 비디오카메라로 촬영된 영상에 포함된 인간의 행동을 실시간에 인식하는 시스템 및 방법에 관하여 개시하고 있다.
본 발명은 전술한 종래 기술들로는 해결하기가 매우 어려운 로봇 환경에서의 휴먼 행동 인식 신뢰도를 확보하는 것을 목적으로 한다.
또한, 본 발명은 휴먼 행동 인식 성능을 지속적으로 향상시킬 수 있는 새로운 방법을 제공하는 것을 목적으로 한다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 휴먼 행동 인식 장치는 멀티 모달 센서를 이용하여 휴먼에 대한 영상 정보, 소리 정보, 위치 정보 및 IoT 정보 중 적어도 하나 이상의 정보를 생성하는 멀티 모달 센서부; 상기 적어도 하나 이상의 정보로부터 상기 휴먼의 행동을 인식하기 위한 상황 정보를 추출하는 상황 정보 추출부; 상기 상황 정보를 이용하여 상기 휴먼의 행동들을 인식한 행동 인식 정보를 생성하고, 상기 행동 인식 정보 및 행동 의도 정보를 이용하여 상기 휴먼의 최종 행동을 인식하는 휴먼 행동 인식부 및 상기 행동 인식 정보에 포함된 상기 휴먼의 행동들의 행동 발생 전후 관계에 기반하여 상기 행동 의도 정보를 생성하는 행동 의도 추론부를 포함한다.
상기 행동 의도 추론부는 상기 행동 인식 정보를 이용하여 상기 휴먼의 현재 행동에 대한 이전 행동과 이후 행동을 확인하여 상기 행동 발생 전후 관계를 정의할 수 있다.
이 때, 상기 행동 의도 추론부는 상기 행동 발생 전후 관계가 정의된 상기 휴먼의 행동들에 대해 발생 가능한 다음 행동들을 포함하는 상기 행동 의도 정보를 생성할 수 있다.
이 때, 상기 휴먼 행동 인식부는 상기 휴먼의 행동들 중 상기 행동 의도 정보에 포함된 상기 행동 발생 전후 관계로부터 예측되는 다음 행동들 중 어느 하나를 결정하여 상기 휴먼의 최종 행동을 인식할 수 있다.
이 때, 상기 휴먼 행동 인식 장치는 상기 상황 정보, 상기 행동 인식 정보 및 상기 행동 의도 정보를 이용하여 상기 휴먼의 행동 패턴을 모델링한 행동 패턴 모델을 생성하는 행동 패턴 생성부를 더 포함할 수 있다.
이 때, 상기 행동 패턴 모델은 상기 휴먼의 행동들을 인식한 시간 및 상기 휴먼의 행동들을 인식하기 위하여 사용된 상황 정보의 사용 빈도를 이용한 행동 발생 확률 정보를 포함할 수 있다.
이 때, 상기 휴먼 행동 인식부는 상기 행동 패턴 모델을 이용하여 상기 휴먼의 행동들을 인식하기 위한 상황 정보에 상기 행동 발생 확률 정보에 상응하는 가중치를 설정할 수 있다.
이 때, 상기 휴먼 행동 인식부는 상기 가중치가 설정된 상황 정보 및 상기 행동 발생 확률 정보를 이용하여 현재 시간대에 발생 가능한 상기 휴먼의 행동들 중 상기 휴먼의 최종 행동을 인식할 수 있다.
이 때, 상기 행동 패턴 모델 생성부는 상기 행동 패턴 모델을 이용하여 인식된 휴먼의 행동들이 인식된 시간 및 휴먼의 행동들에 상응하는 상황 정보 및 행동 의도 정보를 이용하여 상기 행동 발생 확률 정보를 갱신할 수 있다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일실시예에 따른 휴먼 행동 인식 방법은 휴먼 행동 인식 장치의 휴먼 행동 인식 방법에 있어서, 멀티 모달 센서를 이용하여 휴먼에 대한 영상 정보, 소리 정보, 위치 정보 및 IoT 정보 중 적어도 하나 이상의 정보를 생성하는 단계; 상기 적어도 하나 이상의 정보로부터 상기 휴먼의 행동을 인식하기 위한 상황 정보를 추출하는 단계; 상기 상황 정보를 이용하여 상기 휴먼의 행동들을 인식한 행동 인식 정보를 생성하는 단계; 상기 행동 인식 정보에 포함된 상기 휴먼의 행동들의 행동 발생 전후 관계에 기반하여 상기 행동 의도 정보를 생성하는 단계 및 상기 행동 인식 정보 및 행동 의도 정보를 이용하여 상기 휴먼의 최종 행동을 인식하는 단계를 포함한다.
이 때, 상기 행동 의도 정보를 생성하는 단계는 상기 행동 인식 정보를 이용하여 상기 휴먼의 현재 행동에 대한 이전 행동과 이후 행동을 확인하여 상기 행동 발생 전후 관계를 정의할 수 있다.
이 때, 상기 행동 의도 정보를 생성하는 단계는 상기 행동 발생 전후 관계가 정의된 상기 휴먼의 행동들에 대해 발생 가능한 다음 행동들을 포함하는 상기 행동 의도 정보를 생성할 수 있다.
이 때, 상기 휴먼의 최종 행동을 인식하는 단계는 상기 휴먼의 행동들 중 상기 행동 의도 정보에 포함된 상기 행동 발생 전후 관계로부터 예측되는 다음 행동들 중 어느 하나를 결정하여 상기 휴먼의 최종 행동을 인식할 수 있다.
이 때, 상기 휴먼 행동 인식 방법은 상기 상황 정보, 상기 행동 인식 정보 및 상기 행동 의도 정보를 이용하여 상기 휴먼의 행동 패턴을 모델링한 행동 패턴 모델을 생성하는 단계를 더 포함할 수 있다.
이 때, 상기 행동 패턴 모델은 상기 휴먼의 행동들을 인식한 시간 및 상기 휴먼의 행동들을 인식하기 위하여 사용된 상황 정보의 사용 빈도를 이용한 행동 발생 확률 정보를 포함할 수 있다.
이 때, 상기 휴먼의 최종 행동을 인식하는 단계는 상기 행동 패턴 모델을 이용하여 상기 휴먼의 행동들을 인식하기 위한 상황 정보에 상기 행동 발생 확률 정보에 상응하는 가중치를 설정할 수 있다.
이 때, 상기 휴먼의 최종 행동을 인식하는 단계는 상기 가중치가 설정된 상황 정보 및 상기 행동 발생 확률 정보를 이용하여 현재 시간대에 발생 가능한 상기 휴먼의 행동들 중 상기 휴먼의 최종 행동을 인식할 수 있다.
이 때, 상기 행동 패턴 모델을 생성하는 단계는 상기 행동 패턴 모델을 이용하여 인식된 휴먼의 행동들이 인식된 시간 및 휴먼의 행동들에 상응하는 상황 정보 및 행동 의도 정보를 이용하여 상기 행동 발생 확률 정보를 갱신할 수 있다.
본 발명은 전술한 종래 기술들로는 해결하기가 매우 어려운 로봇 환경에서의 휴먼 행동 인식 신뢰도를 확보할 수 있다.
또한, 본 발명은 휴먼 행동 인식 성능을 지속적으로 향상시킬 수 있는 새로운 방법을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 휴면 행동 인식 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 휴먼 행동 인식 장치를 나타낸 블록도이다.
도 3은 도 2에 도시된 상황 정보 추출부의 일 예를 세부적으로 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 휴먼 행동 인식 방법을 나타낸 동작 흐름도이다.
도 5 및 도 6는 본 발명의 일실시예에 따른 휴먼의 행동 패턴 모델을 나타낸 도면이다
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 휴면 행동 인식 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 휴면 행동 인식 시스템은 휴먼 행동 인식 장치(100)가 휴먼의 행동을 촬영하고, 휴먼이 착용한 웨어러블 센서로부터 생성된 데이터를 수신하여 휴먼의 행동을 인식할 수 있다.
휴먼 행동 인식 장치(100)는 멀티 모달 센서에 상응하는 카메라, 마이크 및 데이터 송수신 모듈 등을 포함하여 휴먼의 행동을 인식하는 컴퓨팅 장치에 상응할 수 있으며, 로봇에 탑재되어 휴먼의 행동을 인식하고 휴먼과 상호작용하는 휴먼 행동 인식 로봇에 상응할 수도 있다.
이 때, 휴먼 행동 인식 장치(100)는 카메라를 이용하여 휴먼을 촬영한 영상 정보에서 휴먼의 자세 및 휴먼과 상호작용하는 물체를 인식할 수 있고, 마이크를 이용하여 생성한 소리 정보에서 휴먼의 위치한 장소에서의 환경음이나 대화를 인식할 수도 있다.
이 때, 휴먼 행동 인식 장치(100)는 휴먼이 착용한 웨어러블 센서 또는 실내 지도 데이터의 절대 좌표를 이용하여 휴먼이 위치한 위치 정보로부터 발생 장소를 인식할 수 있다.
이 때, 휴먼 행동 인식 장치(100)는 휴먼의 위치한 실내의 IoT 장비가 제공하는 IoT 정보를 이용하여 휴먼의 행동을 인식할 수도 있다.
즉, 휴먼 행동 인식 장치(100)는 멀티 모달 센서를 이용하여 휴먼에 대한 영상 정보, 소리 정보, 위치 정보 및 IoT 정보 중 적어도 하나 이상의 정보를 생성하여 행동 관련 상황 정보를 추출할 수 있다.
이 때, 휴먼 행동 인식 장치(100)는 행동 관련 상황 정보로부터 휴먼의 행동들을 인식하여 행동 인식 정보를 생성할 수 있고, 이로부터 행동 발생의 전후 관계를 정의할 수 있다.
이 때, 휴먼 행동 인식 장치(100)는 행동 발생의 전후 관계에 따라 단기적 행동 의도를 추론할 수도 있고, 시간대별 휴먼의 행동들을 인식하고, 행동 발생의 전후 관계 및 단기적 행동 의도로부터 휴먼의 장기적인 생활 패턴을 생성할 수도 있다.
이 때, 휴먼 행동 인식 장치(100)는 휴먼의 행동을 인식하여 행동 관련 상황 정보, 행동 발생 전후 관계 및 단기적 행동 의도에 대해서 장기적 생활 패턴에 관한 정보를 지속적으로 갱신할 수 있고, 장기적 생활 패턴에 관한 정보를 이용하여 보다 정확하고 신뢰성 있게 휴먼의 행동을 인식할 수 있다.
이 때, 휴먼 행동 인식 장치(100)는 휴먼의 최종 행동 인식 결과로써, 최종 인식한 휴먼의 행동, 행동의 시작 시간 및 행동의 종료 시간에 관한 정보를 출력할 수 있다.
도 2는 본 발명의 일실시예에 따른 휴먼 행동 인식 장치를 나타낸 블록도이다. 도 3은 도 2에 도시된 상황 정보 추출부의 일 예를 세부적으로 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 휴먼 행동 인식 장치(100)는 멀티 모달 센서부(110), 상황 정보 추출부(120), 휴먼 행동 인식부(130), 행동 의도 추론부(140), 행동 패턴 모델링부(150) 및 행동 패턴 데이터베이스부(160)를 포함한다.
멀티 모달 센서부(110)는 카메라, 마이크, 위치 센서, 데이터 송수신 모듈을 포함할 수 있다.
이 때, 멀티 모달 센서부(110)는 카메라를 이용하여 휴먼을 촬영한 영상 정보를 생성할 수 있다.
이 때, 멀티 모달 센서부(110)는 마이크를 이용하여 휴먼이 위치한 장소에서 발생하는 소리를 녹음한 소리 정보를 생성할 수 있다.
이 때, 멀티 모달 센서부(110)는 위치 센서를 이용하여 휴먼이 위치한 실내 지도 데이터 상의 좌표 정보로부터 위치 정보를 생성할 수 있다.
이 때, 멀티 모달 센서부(110)는 휴먼이 착용한 웨어러블 센서로부터 휴먼의 위치 정보를 수신할 수도 있다.
이 때, 멀티 모달 센서부(120)는 휴먼과 상호 작용하는 IoT 장비가 제공하는 상태 정보를 수신하여 IoT 정보를 생성할 수 있다.
상황 정보 추출부(120)는 멀티 모달 센서를 이용하여 생성된 휴먼에 대한 영상 정보, 소리 정보, 위치 정보 및 IoT 정보 중 적어도 하나 이상의 정보로부터 휴먼의 행동을 인식하기 위한 상황 정보를 추출할 수 있다.
도 3을 참조하면, 상황 정보 추출부(120)는 환경음 인식부(121), 상호작용 물체 인식부(122), 휴먼 자세 인식부(123) 및 휴먼 위치 인식부(124)를 포함할 수 있다.
환경음 인식부(121)는 소리 정보에서 환경음과 휴먼의 대화음을 인식하여 추출할 수 있다.
이 때, 환경음 인식부(121)는 인식된 환경음과 대화음에 기반하여 소리의 종류를 판단하고 상황 정보로 추출할 수 있다.
예를 들면, 환경음 인식부(121)는 인식된 환경음으로부터 초인종이 울리는 소리, 문이 열리는 소리 또는 전화벨이 울리는 소리 등을 인식할 수 있다.
이를 통해, 휴먼 행동 인식 장치(100)는 소리 정보에서 추출된 환경음에 관한 상황 정보에 기반하여 현재 가능한 휴먼의 현재 행동을 인식할 수 있다.
상호작용 물체 인식부(122)는 영상 정보에서 휴먼을 인식하고 휴먼과 접촉하고 있는 물체 또는 휴먼과 근접한 물체를 인식하여 추출할 수 있다.
이 때, 상호작용 물체 인식부(122)는 인식된 물체의 종류를 판단하여 상황 정보로 추출할 수 있다.
예를 들면, 상호작용 물체 인식부(122)는 휴먼이 손에 쥐고 있는 물체가 드라이버, 열쇠 또는 전화 등 인지 인식할 수 있다.
이를 통해, 휴먼 행동 인식 장치(100)는 영상 정보에서 추출된 휴먼의 상호작용 물체에 관한 상황 정보에 기반하여 현재 가능한 휴먼의 현재 행동을 인식할 수 있다.
또한, 상호작용 물체 인식부(122)는 휴먼과 상호 작용하는 IoT 장비로부터 IoT 정보를 수신하여 현재 행동과 관련된 상황 정보를 추출할 수 있다.
예를 들어, 상호 작용 물체 인식부(122)는 휴먼과 상호 작용하는 물체가 냉장고 이고, 냉장고가 IoT 장비인 경우, 냉장고 문이 열릴 때, 냉장고 문이 열린 것에 대한 IoT 정보를 수신할 수 있다.
휴먼 자세 인식부(123)는 영상 정보에서 휴먼을 인식하고 휴먼의 자세를 인식하여 추출할 수 있다.
이 때, 휴먼 자세 인식부(123)는 인식된 휴먼의 자세를 판단하여 상황 정보로 추출할 수 있다.
예를 들어, 휴먼 자세 인식부(123)는 인식된 휴먼의 자세를 '서 있다', '의자에 앉아 있다', '바닥에 누워 있다' 및 '엎드려 누워 있다' 등으로 인식할 수 있다.
이를 통해, 휴먼 행동 인식 장치(100)는 영상 정보에서 추출된 휴먼의 자세에 관한 상황 정보에 기반하여 현재 가능한 휴먼의 현재 행동을 인식할 수 있다.
휴먼 위치 인식부(124)는 위치 정보에서 휴먼이 위치한 장소를 인식하고 위치와 관련된 좌표 정보 또는 발생 장소를 상황 정보로 추출할 수 있다.
예를 들어, 휴먼 위치 인식부(124)는 위치 정보를 (x, y, z)와 같은 절대 좌표 형태로 제공할 수도 있고, 휴먼이 위치한 장소를 정의한 거실, 주방 및 현관 등과 같은 정보로 제공할 수도 있다.
이를 통해, 휴먼 행동 인식 장치(100)는 위치 정보에서 추출된 발생 장소에 관한 상황 정보에 기반하여 현재 가능한 휴먼의 현재 행동을 인식할 수 있다.
즉, 휴먼 행동 인식 장치(100)는 다양한 조건을 통해 현재 휴먼에 대한 상황 정보를 추출할 수 있고, 이를 통해 발생 가능한 휴먼 행동에 대한 경우의 수를 줄여서, 휴먼 행동의 인식 성능을 향상시킬 수 있다.
휴먼 행동 인식부(130)는 상황 정보를 이용하여 휴먼의 행동들을 인식한 행동 인식 정보를 생성하고, 행동 인식 정보 및 행동 의도 정보를 이용하여 휴먼의 최종 행동을 인식할 수 있다.
휴먼의 행동은 표 1 및 표 2에 기재된 일 예와 같이, 대분류, 중분류 및 소분류로 구분될 수 있고, 이에 대한 세부 행동들이 정의될 수 있다.
대분류 중분류 소분류 세부행동
일반행동 단순행동 상태 서있다
앉아있다
누워있다
손들다
동작 걷다
뛰다
일반실내행동 일상행동 세수하다
양치하다
숟가락으로밥먹다
포크로과일먹다
물마시다
옷을입다/벗다
화장하다
머리를빗다
전화하다
스마트폰보다
글씨를쓰다
담배피다
박수치다
음료를붓다
가사활동 음식자르다
설거지하다
진공청소기를돌리다
바닥을닦다
여가활동 피아노연주하다
바이올린연주하다
기타연주하다
춤추다
책읽다
신문보다
TV시청하다
바느질하다
컴퓨터하다
대분류 중분류 소분류 세부행동
휴먼케어로봇
특화행동		 고령자특화행동 건강보조활동 약먹다
맨손체조하다
특이행동 휠체어이동하다
기어다니다
쓰러지다
HH interaction 대화하다
악수하다
포옹하다
싸우다
HR interaction 손짓하여부르다
좌우로안녕하다
환하게웃다
이 때, 휴먼 행동 인식부(130)는 휴먼 행동 인식 장치(100)의 초기 구동시에는 휴먼의 행동에 대한 상황 정보 및 행동 의도 정보가 존재하지 않을 수도 있기 때문에, 개발자가 상식에 기반하여 상황 정보 및 행동 의도 정보에 상응하는 초기 가중치 정보를 임의로 부여하거나 특정인에 대한 직접 설문을 통해 가중치 정보를 직접 입력 받을 수도 있다. 그러나, 휴먼 행동 인식 장치(100)가 행동 인식 결과를 산출하기 시작하면서 이러한 정보들은 지속적으로 갱신이 되며 점차 일반적 정보에서 특정인에 대한 맞춤형 정보를 생성할 수 있다.
행동 의도 추론부(140)는 행동 인식 정보에 포함된 휴먼의 행동들의 행동 발생 전후 관계에 기반하여 행동 의도 정보를 생성할 수 있다.
이 때, 행동 의도 추론부(140)는 행동 인식 정보를 이용하여 휴먼의 현재 행동에 대한 이전 행동과 이후 행동을 확인하여 행동 발생 전후 관계를 정의할 수 있다.
이 때, 행동 의도 추론부(140)는 행동 발생 전후 관계가 정의된 휴먼의 행동들에 대해 발생 가능한 다음 행동들을 포함하는 행동 의도 정보를 생성할 수 있다.
행동 의도 정보는 행동이 발생하는 순서와 관련된 맥락 정보에 상응할 수 있다. 행동 의도 정보는 어떤 일상 행동들의 집합으로 구성될 수 있고, 집합에 포함되는 요소 행동들이 발생하는 순서에 대해서 규칙성을 행동 발생 전후 관계로 정의한 것으로써 휴먼 행동 인식의 정확성과 신뢰성을 향상시킬 수 있다.
예를 들어, 행동 의도 정보는 현재 행동이 "컵에 물 따르기" 였다면 다음 행동은 "물 마시기" "약 먹기"등으로 예측될 수 있다. 만약 현재 인식된 행동이 "양치하기" 였다면 다음 행동으로는 "세수하기", "머리감기", "수건으로 닦기" 등 세면과 관련된 행동들의 발생 확률이 높아지므로 이들 행동들이 포함될 수 있다.
또한, 행동 의도 추론부(140)는 이전 행동, 현재 행동 및 이후 행동으로 이루어지는 일련의 시퀀스에 대한 단기적 행동의도를 추론하여 행동 의도 정보로 생성할 수도 있다.
예를 들어, 행동 의도 추론부(140)는 이전 행동이 '양치하기', 현재 행동이 '세수하기' 및 이후 행동이 '수건으로 닦기'로 인식된 경우 단기적 행동 의도는 '외출'인 것으로 추론하여 행동 의도 정보를 생성할 수 있다.
이 때, 휴먼 행동 인식부(130)는 휴먼의 행동들 중 행동 의도 정보에 포함된 행동 발생 전후 관계로부터 예측되는 다음 행동들 중 어느 하나를 결정하여 휴먼의 최종 행동을 인식할 수 있다.
이 때, 휴먼 행동 인식부(130)는 행동 의도 정보에 포함된 행동들의 가중치를 높게 설정할 수 있고, 행동 발생 전후 관계를 이용하여 현재 인식된 행동으로부터 가중치가 높게 설정된 다음 행동들 중 어느 하나를 결정하여 휴먼의 최종 행동을 인식할 수 있다.
행동 패턴 모델링부(150)는 상황 정보, 상기 행동 인식 정보 및 상기 행동 의도 정보를 이용하여 상기 휴먼의 행동 패턴을 모델링한 행동 패턴 모델을 생성할 수 있다.
행동 패턴 데이터베이스부(160)는 행동 패턴 모델링부(150)가 생성한 행동 패턴 모델을 저장할 수 있다.
이 때, 행동 패턴 모델은 상기 휴먼의 행동들을 인식한 시간 및 상기 휴먼의 행동들을 인식하기 위하여 사용된 상황 정보의 사용 빈도를 이용한 행동 발생 확률 정보를 포함할 수 있다.
이 때, 행동 패턴 모델링부(150)는 휴먼 행동 인식 장치(100)가 초기 구동시에는 휴먼에 대한 행동 패턴 모델이 존재하지 않을 수 있기 때문에, 주로 상황 정보 및 행동 의도 정보를 이용하여 인식을 수행하지만, 점차 시간이 지남에 따라 행동 인식 결과와 관련된 상황 정보, 행동 의도 정보가 누적되면 특정인에 대한 행동 패턴을 모델링한 행동 패턴 모델을 생성할 수 있다.
이 때, 휴먼 행동 인식부(130)는 행동 패턴 모델을 이용하여 휴먼의 행동들을 인식하기 위한 상황 정보에 상기 행동 발생 확률 정보에 상응하는 가중치를 설정할 수 있다.
이 때, 휴먼 행동 인식부(130)는 가중치가 설정된 상황 정보 및 행동 발생 확률 정보를 이용하여 현재 시간대에 발생 가능한 휴먼의 행동들 중 휴먼의 최종 행동을 인식할 수 있다.
이 때, 행동 패턴 모델 생성부(150)는 행동 패턴 모델을 이용하여 인식된 휴먼의 행동들이 인식된 시간 및 휴먼의 행동들에 상응하는 상황 정보 및 행동 의도 정보를 이용하여 상기 행동 발생 확률 정보를 갱신할 수 있다.
또한, 휴먼 행동 인식부(130)는 휴먼의 행동을 인식하기 위한 상황 정보 및 행동 의도 정보를 이용하여 인식된 휴먼의 최종 행동에 관한 관측치와 행동 패턴 모델의 가중치를 곱하여 가중 합계(weighted sum)을 최종 행동 인식 스코어로 산출할 수도 있다.
상기와 같이 본 발명의 일실시예에 따른 휴먼 행동 인식 장치(100)는 휴먼의 행동을 인식하기 위한 상황 정보, 행동 의도 정보 및 행동 패턴 모델을 상호 보완적으로 결합하는 방법은 상기에서 설명한 방법 이외에도 다양한 방법이 적용될 수 있다.
도 4는 본 발명의 일실시예에 따른 휴먼 행동 인식 방법을 나타낸 동작 흐름도이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 휴먼 행동 인식 방법은 먼저 상황 정보를 추출할 수 있다(S210).
즉, 단계(S210)는 멀티 모달 센서를 이용하여 휴먼에 대한 영상 정보, 소리 정보, 위치 정보 및 IoT 정보 중 적어도 하나 이상의 정보를 생성할 수 있고, 상기 적어도 하나 이상의 정보로부터 상기 휴먼의 행동을 인식하기 위한 상황 정보를 추출하는 할 수 있다.
이 때, 단계(S210)는 카메라를 이용하여 휴먼을 촬영한 영상 정보를 생성할 수 있다.
이 때, 단계(S210)는 마이크를 이용하여 휴먼이 위치한 장소에서 발생하는 소리를 녹음한 소리 정보를 생성할 수 있다.
이 때, 단계(S210)는 위치 센서를 이용하여 휴먼이 위치한 실내 지도 데이터 상의 좌표 정보로부터 위치 정보를 생성할 수 있다.
이 때, 단계(S210)는 휴먼이 착용한 웨어러블 센서로부터 휴먼의 위치 정보를 수신할 수도 있다.
이 때, 단계(S210)는 휴먼과 상호 작용하는 IoT 장비가 제공하는 상태 정보를 수신하여 IoT 정보를 생성할 수 있다.
이 때, 단계(S210)는 멀티 모달 센서를 이용하여 생성된 휴먼에 대한 영상 정보, 소리 정보, 위치 정보 및 IoT 정보 중 적어도 하나 이상의 정보로부터 휴먼의 행동을 인식하기 위한 상황 정보를 추출할 수 있다.
이 때, 단계(S210)는 소리 정보에서 환경음과 휴먼의 대화음을 인식하여 추출할 수 있다.
이 때, 단계(S210)는 인식된 환경음과 대화음에 기반하여 소리의 종류를 판단하고 상황 정보로 추출할 수 있다.
예를 들면, 단계(S210)는 인식된 환경음으로부터 초인종이 울리는 소리, 문이 열리는 소리 또는 전화벨이 울리는 소리 등을 인식할 수 있다.
이 때, 단계(S210)는 영상 정보에서 휴먼을 인식하고 휴먼과 접촉하고 있는 물체 또는 휴먼과 근접한 물체를 인식하여 추출할 수 있다.
이 때, 단계(S210)는 인식된 물체의 종류를 판단하여 상황 정보로 추출할 수 있다.
예를 들면, 단계(S210)는 휴먼이 손에 쥐고 있는 물체가 드라이버, 열쇠 또는 전화 등 인지 인식할 수 있다.
또한, 단계(S210)는 휴먼과 상호 작용하는 IoT 장비로부터 IoT 정보를 수신하여 현재 행동과 관련된 상황 정보를 추출할 수 있다.
예를 들어, 단계(S210)는 휴먼과 상호 작용하는 물체가 냉장고 이고, 냉장고가 IoT 장비인 경우, 냉장고 문이 열릴 때, 냉장고 문이 열린 것에 대한 IoT 정보를 수신할 수 있다.
이 때, 단계(S210)는 영상 정보에서 휴먼을 인식하고 휴먼의 자세를 인식하여 추출할 수 있다.
이 때, 단계(S210)는 인식된 휴먼의 자세를 판단하여 상황 정보로 추출할 수 있다.
예를 들어, 단계(S210)는 인식된 휴먼의 자세를 '서 있다', '의자에 앉아 있다', '바닥에 누워 있다' 및 '엎드려 누워 있다' 등으로 인식할 수 있다.
이 때, 단계(S210)는 위치 정보에서 휴먼이 위치한 장소를 인식하고 위치와 관련된 좌표 정보 또는 발생 장소를 상황 정보로 추출할 수 있다.
예를 들어, 단계(S210)는 위치 정보를 (x, y, z)와 같은 절대 좌표 형태로 제공할 수도 있고, 휴먼이 위치한 장소를 정의한 거실, 주방 및 현관 등과 같은 정보로 제공할 수도 있다.
또한, 본 발명의 일실시예에 따른 휴먼 행동 인식 방법은 휴먼의 행동을 인식할 수 있다(S220).
즉, 단계(S220)는 휴먼 행동 인식부(130)는 상황 정보를 이용하여 휴먼의 행동들을 인식한 행동 인식 정보를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 휴먼 행동 인식 방법은 휴먼의 행동 의도를 추론할 수 있다(S230).
즉, 단계(S230)는 행동 인식 정보에 포함된 휴먼의 행동들의 행동 발생 전후 관계에 기반하여 행동 의도 정보를 생성할 수 있다.
이 때, 단계(S230)는 행동 인식 정보를 이용하여 휴먼의 현재 행동에 대한 이전 행동과 이후 행동을 확인하여 행동 발생 전후 관계를 정의할 수 있다.
이 때, 단계(S230)는 행동 발생 전후 관계가 정의된 휴먼의 행동들에 대해 발생 가능한 다음 행동들을 포함하는 행동 의도 정보를 생성할 수 있다.
행동 의도 정보는 행동이 발생하는 순서와 관련된 맥락 정보에 상응할 수 있다. 행동 의도 정보는 어떤 일상 행동들의 집합으로 구성될 수 있고, 집합에 포함되는 요소 행동들이 발생하는 순서에 대해서 규칙성을 행동 발생 전후 관계로 정의한 것으로써 휴먼 행동 인식의 정확성과 신뢰성을 향상시킬 수 있다.
예를 들어, 행동 의도 정보는 현재 행동이 "컵에 물 따르기" 였다면 다음 행동은 "물 마시기" "약 먹기"등으로 예측될 수 있다. 만약 현재 인식된 행동이 "양치하기" 였다면 다음 행동으로는 "세수하기", "머리감기", "수건으로 닦기" 등 세면과 관련된 행동들의 발생 확률이 높아지므로 이들 행동들이 포함될 수 있다.
또한, 단계(S230)는 이전 행동, 현재 행동 및 이후 행동으로 이루어지는 일련의 시퀀스에 대한 단기적 행동의도를 추론하여 행동 의도 정보로 생성할 수도 있다.
예를 들어, 단계(S230)는 이전 행동이 '양치하기', 현재 행동이 '세수하기' 및 이후 행동이 '수건으로 닦기'로 인식된 경우 단기적 행동 의도는 '외출'인 것으로 추론하여 행동 의도 정보를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 휴먼 행동 인식 방법은 행동 패턴을 모델링 할 수 있다(S240).
즉, 단계(S240)는 상황 정보, 상기 행동 인식 정보 및 상기 행동 의도 정보를 이용하여 상기 휴먼의 행동 패턴을 모델링한 행동 패턴 모델을 생성할 수 있다.
이 때, 단계(S240)는 행동 패턴 모델링부(150)가 생성한 행동 패턴 모델을 저장할 수 있다.
이 때, 행동 패턴 모델은 상기 휴먼의 행동들을 인식한 시간 및 상기 휴먼의 행동들을 인식하기 위하여 사용된 상황 정보의 사용 빈도를 이용한 행동 발생 확률 정보를 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 휴먼 행동 인식 방법은 휴먼의 최종 행동을 인식할 수 있다(S230).
즉, 단계(S250)는 행동 인식 정보 및 행동 의도 정보를 이용하여 휴먼의 최종 행동을 인식할 수 있다.
이 때, 단계(S250)는 휴먼의 행동들 중 행동 의도 정보에 포함된 행동 발생 전후 관계로부터 예측되는 다음 행동들 중 어느 하나를 결정하여 휴먼의 최종 행동을 인식할 수 있다.
이 때, 단계(S250)는 행동 의도 정보에 포함된 행동들의 가중치를 높게 설정할 수 있고, 행동 발생 전후 관계를 이용하여 현재 인식된 행동으로부터 가중치가 높게 설정된 다음 행동들 중 어느 하나를 결정하여 휴먼의 최종 행동을 인식할 수 있다.
이 때, 단계(S250)는 행동 패턴 모델을 이용하여 휴먼의 행동들을 인식하기 위한 상황 정보에 상기 행동 발생 확률 정보에 상응하는 가중치를 설정할 수 있다.
이 때, 단계(S250)는 가중치가 설정된 상황 정보 및 행동 발생 확률 정보를 이용하여 현재 시간대에 발생 가능한 휴먼의 행동들 중 휴먼의 최종 행동을 인식할 수 있다.
이 때, 단계(S250)는 행동 패턴 모델을 이용하여 인식된 휴먼의 행동들이 인식된 시간 및 휴먼의 행동들에 상응하는 상황 정보 및 행동 의도 정보를 이용하여 상기 행동 발생 확률 정보를 갱신할 수 있다.
또한, 단계(S250)는 휴먼의 행동을 인식하기 위한 상황 정보 및 행동 의도 정보를 이용하여 인식된 휴먼의 최종 행동에 관한 관측치와 행동 패턴 모델의 가중치를 곱하여 가중 합계(weighted sum)을 최종 행동 인식 스코어로 산출할 수도 있다.
상기와 같이 본 발명의 일실시예에 따른 휴먼 행동 인식 장치(100)의 휴먼 행동 인식 방법은 휴먼의 행동을 인식하기 위한 상황 정보, 행동 의도 정보 및 행동 패턴 모델을 상호 보완적으로 결합하는 방법은 상기에서 설명한 방법 이외에도 다양한 방법이 적용될 수 있다.
도 5 및 도 6는 본 발명의 일실시예에 따른 휴먼의 행동 패턴 모델을 나타낸 도면이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 휴먼의 행동 패턴 모델에서 행동관련 상황정보는 인식대상행동에 대하여 상호작용 물체, 휴먼 자세, 발생 장소, 환경음 및 IoT 정보를 포함할 수 있다.
이 때, 상호작용 물체는 접촉 물체와 주위 물체에 관한 정보를 더 포함할 수 있다.
접촉 물체는 휴먼이 접촉하고 있는 물체 또는 휴먼이 손에 쥐고 있는 물체 등에 관한 정보가 포함될 수 있다.
예를 들어, 휴먼의 행동인 '냉장고 음식 꺼내기' 행동에 대해서 휴먼의 접촉 물체는 '반찬용기'이고, 주위 물체는 '냉장고/식탁'인 것을 알 수 있다.
또한, 휴먼 자세는 선자세, 앉은자세 및 누운자세를 포함할 수 있으며 추가적으로 다른 자세를 더 포함할 수도 있다.
이 때, 휴먼 자세는 각 자세들에 대한 인식대상행동의 발생 확률 또는 발생 비중을 포함할 수 있다.
예를 들어, 휴먼의 행동인 '냉장고 음식 꺼내기' 행동에 대해서 휴먼의 자세의 발생 비중은 선자세에서 '0.7', 앉은 자세에서 '0.3', 누운 자세에서 '0'인 것을 알 수 있다.
따라서, 휴먼 행동 인식 장치(100)가 추출한 상황 정보에서 휴먼의 자세를 '선자세'로 인식한 경우, '냉장고 음식 꺼내기 행동'에 높은 가중치 또는 높은 발생 확률을 부여할 수 있고, '누운자세'로 인식한 경우, '냉장고 음식 꺼내기 행동'은 인식되지 않게 배제시킬 수 있다.
또한, 발생 장소는 거실, 주방, 안방 및 화장실을 포함할 수 있고, 추가적으로 장소들을 더 포함할 수도 있다.
이 때, 발생 장소는 각 장소들에 대한 인식대상행동의 발생 확률 또는 발생 비중을 포함할 수 있다.
예를 들어, 휴먼의 행동인 '냉장고 음식 꺼내기' 행동에 대해서 발생 장소의 발생 비중은 거실에서 '0.1', 주방에서 '0.9', 안방과 화장실에서는 '0'인 것을 알 수 있다.
따라서, 휴먼 행동 인식 장치(100)가 추출한 상황 정보에서 발생 장소를 '주방'으로 인식한 경우, '냉장고 음식 꺼내기 행동'에 높은 가중치 또는 높은 발생 확률을 부여할 수 있고, '안방' 또는 '화장실'로 인식한 경우, '냉장고 음식 꺼내기 행동'은 인식되지 않게 배제시킬 수 있다.
또한, 환경음은 상황 정보에서 추출된 환경음에 관한 정보를 포함할 수 있다.
예를 들어, 휴먼의 행동인 '세수하기'행동에 대해서 가장 관련성이 큰 환경음은 '물소리'인 것을 알 수 있고, 휴먼 행동 인식 장치(100)가 추출한 상황 정보에서 환경음을 '물소리'로 인식한 경우, '세수하기'행동에 대해서 높은 가중치 또는 높은 발생 확률을 부여할 수 있다.
또한, IoT 정보는 상황 정보에서 추출된 IoT 장비가 제공한 상태 정보를 포함할 수 있다.
예를 들어, 휴먼의 행동인 '냉장고 음식 꺼내기' 행동에 대해서 IoT 정보는 '냉장고open'인 것을 알 수 있고, IoT 장비가 냉장고 이고, IoT 장비로부터 휴먼 행동 인식 장치(100)가 추출한 상황 정보에서'냉장고open'에 관한 IoT 정보를 인식한 경우, '냉장고 음식 꺼내기'행동에 대해서 높은 가중치 또는 높은 발생 확률을 부여할 수 있다.
도 6을 참조하면, 본 발명의 일실시예에 따른 휴먼의 행동 패턴 모델에서 행동 의도 정보에 대한 행동 발생 전후 관계, 단기적 행동 의도 및 장기적 생활 패턴에 관한 정보를 포함하는 것을 알 수 있다.
행동 발생 전후 관계는 인식대상행동에 대한 직전 행동 및 직후 행동에 관한 정보를 포함할 수 있다.
예를 들어, 휴먼의 행동인 '냉장고 음식 꺼내기' 행동에 대해서 행동 발생 전후 관계가 포함하는 직전 행동은 '식탁 닦기' 이고, 직후 행동은 '물 마시기'인 것을 알 수 있다.
따라서, 휴먼 행동 인식 장치(100)는 인식한 행동이 '식탁 닦기' 인 경우, 다음 인식할 행동으로'냉장고 음식 꺼내기'행동에 높은 가중치 또는 높은 발생 확률을 부여할 수 있고, 인식한 행동이 '냉장고 음식 꺼내기'행동인 경우, 다음 인식할 행동으로 '물 마시기' 행동에 높은 가중치 또는 높은 발생 확률을 부여할 수 있다.
또한, 단기적 행동 의도는 행동 발생 전후 관계로부터 추론된 인식대상행동에 대한 휴먼의 행동 의도에 관한 정보를 포함할 수 있다.
예를 들어, 휴먼 행동 인식 장치(100)는 인식한 일련의 행동들이 '식탁 닦기', '냉장고 음식 꺼내기' 및 '물 마시기'행동들을 인식한 경우, '식사'에 관한 단기적 행동 의도임을 인식할 수 있고, '식사'와 관련된 행동들에 높은 가중치 또는 높은 발생 확률을 부여할 수 있다.
또한, 장기적 생활 패턴은 시간대별로 인식된 휴먼의 행동들에 대한 정보를 누적하여 특정 시간대에서 인식대상행동에 대한 확률 분포에 관한 정보를 포함할 수 있다.
예를 들어, 휴먼의 행동인 '냉장고 음식 꺼내기' 행동에 대해서 단기적 행동 의도가 '식사로' 인식된 경우, '식사'와 관련된 행동이 발생하는 장기적 생활 패턴을 참조하여 해당 시간대에 높은 가중치 또는 높은 발생확률을 부여할 수 있다.
따라서, 휴먼 행동 인식 장치(100)는 현재 시간이 12시인 경우, 점심 시간이므로 장기적 생활 패턴에 따라 단기적 행동 의도인'식사'에 관한 행동들에 높은 가중치 또는 높은 발생확률을 부여할 수 있다.
이를 통해, 휴먼 행동 인식 장치(100)는 행동 패턴 모델을 이용하여 휴먼의 행동을 보다 정확하게 인식할 수 있다.
또한, 휴먼 행동 인식 장치(100)는 휴먼의 행동을 인식하기 위해 사용된 상황 정보, 행동 의도 정보 및 각종 정보들을 이용하여 행동 패턴 모델을 갱신하여 휴먼 행동 인식 성능을 지속적으로 향상시킬 수 있다.
도 7은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 7을 참조하면, 본 발명의 일실시예에 따른 휴먼 행동 인식 장치(100)는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 7에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 휴먼 행동 인식 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 휴먼 행동 인식 장치 110: 멀티 모달 센서부
120: 상황 정보 추출부 121: 환경음 인식부
122: 상호 작용 물체 인식부 123: 휴먼 자세 인식부
124: 휴먼 위치 인식부 130: 휴먼 행동 인식부
140: 행동 의도 추론부 150: 행동 패턴 모델링부
160: 행동 패턴 데이터베이스부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (18)

  1. 멀티 모달 센서를 이용하여 휴먼에 대한 영상 정보, 소리 정보, 위치 정보 및 IoT 정보 중 적어도 하나 이상의 정보를 생성하는 멀티 모달 센서부;
    상기 적어도 하나 이상의 정보로부터 상기 휴먼의 행동을 인식하기 위한 상황 정보를 추출하는 상황 정보 추출부;
    상기 상황 정보를 이용하여 상기 휴먼의 행동들을 인식한 행동 인식 정보를 생성하고, 상기 행동 인식 정보 및 행동 의도 정보를 이용하여 상기 휴먼의 최종 행동을 인식하는 휴먼 행동 인식부;
    상기 행동 인식 정보에 포함된 상기 휴먼의 행동들의 행동 발생 전후 관계에 기반하여 상기 행동 의도 정보를 생성하는 행동 의도 추론부; 및
    상기 상황 정보, 상기 행동 인식 정보, 상기 행동 의도 정보 및 장기적 생활 패턴 정보를 이용하여 상기 휴먼의 행동 패턴을 모델링한 행동 패턴 모델을 생성하는 행동 패턴 생성부;
    를 포함하고,
    상기 행동 패턴 모델은
    상기 휴먼의 행동들을 인식한 시간 및 상기 휴먼의 행동들을 인식하기 위하여 사용된 상황 정보의 사용 빈도를 이용한 행동 발생 확률 정보를 포함하고,
    상기 장기적 생활 패턴 정보는
    기정의된 시간대별로 인식된 상기 휴먼의 행동들에 대한 정보를 누적한 확률 분포에 관한 정보를 포함하고,
    상기 휴먼 행동 인식부는
    상기 행동 패턴 모델을 이용하여 상기 휴먼의 행동들을 인식하기 위한 상황 정보에 상기 행동 발생 확률 정보에 상응하는 가중치를 설정하고,
    상기 가중치가 설정된 상황 정보, 상기 행동 발생 확률 정보를 이용하여 단기적 행동 의도를 판단하고,
    상기 장기적 생활 패턴 정보를 이용하여 상기 단기적 행동 의도에 대한 현재 시간대에 발생 가능한 상기 휴먼의 행동들 중 상기 휴먼의 최종 행동을 인식하는 것을 특징으로 하는 휴먼 행동 인식 장치.
  2. 청구항 1에 있어서,
    상기 행동 의도 추론부는
    상기 행동 인식 정보를 이용하여 상기 휴먼의 현재 행동에 대한 이전 행동과 이후 행동을 확인하여 상기 행동 발생 전후 관계를 정의하는 것을 특징으로 하는 휴먼 행동 인식 장치.
  3. 청구항 2에 있어서,
    상기 행동 의도 추론부는
    상기 행동 발생 전후 관계가 정의된 상기 휴먼의 행동들에 대해 발생 가능한 다음 행동들을 포함하는 상기 행동 의도 정보를 생성하는 것을 특징으로 하는 휴먼 행동 인식 장치.
  4. 청구항 3에 있어서,
    상기 휴먼 행동 인식부는
    상기 휴먼의 행동들 중 상기 행동 의도 정보에 포함된 상기 행동 발생 전후 관계로부터 예측되는 다음 행동들 중 어느 하나를 결정하여 상기 휴먼의 최종 행동을 인식하는 것을 특징으로 하는 휴먼 행동 인식 장치.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 청구항 4에 있어서,
    상기 행동 패턴 모델 생성부는
    상기 행동 패턴 모델을 이용하여 인식된 휴먼의 행동들이 인식된 시간 및 휴먼의 행동들에 상응하는 상황 정보 및 행동 의도 정보를 이용하여 상기 행동 발생 확률 정보를 갱신하는 것을 특징으로 하는 휴먼 행동 인식 장치.
  10. 휴먼 행동 인식 장치의 휴먼 행동 인식 방법에 있어서,
    멀티 모달 센서를 이용하여 휴먼에 대한 영상 정보, 소리 정보, 위치 정보 및 IoT 정보 중 적어도 하나 이상의 정보를 생성하는 단계;
    상기 적어도 하나 이상의 정보로부터 상기 휴먼의 행동을 인식하기 위한 상황 정보를 추출하는 단계;
    상기 상황 정보를 이용하여 상기 휴먼의 행동들을 인식한 행동 인식 정보를 생성하는 단계;
    상기 행동 인식 정보에 포함된 상기 휴먼의 행동들의 행동 발생 전후 관계에 기반하여 행동 의도 정보를 생성하는 단계;
    상기 상황 정보, 상기 행동 인식 정보 및 상기 행동 의도 정보를 이용하여 상기 휴먼의 행동 패턴을 모델링한 행동 패턴 모델을 생성하는 단계; 및
    상기 행동 인식 정보 및 행동 의도 정보를 이용하여 상기 휴먼의 최종 행동을 인식하는 단계;
    를 포함하고,
    상기 행동 패턴 모델은
    상기 휴먼의 행동들을 인식한 시간 및 상기 휴먼의 행동들을 인식하기 위하여 사용된 상황 정보의 사용 빈도를 이용한 행동 발생 확률 정보를 포함하고,
    장기적 생활 패턴 정보는
    기정의된 시간대별로 인식된 상기 휴먼의 행동들에 대한 정보를 누적한 확률 분포에 관한 정보를 포함하고,
    상기 휴먼의 최종 행동을 인식하는 단계는
    상기 행동 패턴 모델을 이용하여 상기 휴먼의 행동들을 인식하기 위한 상황 정보에 상기 행동 발생 확률 정보에 상응하는 가중치를 설정하고,
    상기 가중치가 설정된 상황 정보, 상기 행동 발생 확률 정보를 이용하여 단기적 행동 의도를 판단하고,
    상기 장기적 생활 패턴 정보를 이용하여 상기 단기적 행동 의도에 대한 현재 시간대에 발생 가능한 상기 휴먼의 행동들 중 상기 휴먼의 최종 행동을 인식하는 것을 특징으로 하는 휴먼 행동 인식 방법.
  11. 청구항 10에 있어서,
    상기 행동 의도 정보를 생성하는 단계는
    상기 행동 인식 정보를 이용하여 상기 휴먼의 현재 행동에 대한 이전 행동과 이후 행동을 확인하여 상기 행동 발생 전후 관계를 정의하는 것을 특징으로 하는 휴먼 행동 인식 방법.
  12. 청구항 11에 있어서,
    상기 행동 의도 정보를 생성하는 단계는
    상기 행동 발생 전후 관계가 정의된 상기 휴먼의 행동들에 대해 발생 가능한 다음 행동들을 포함하는 상기 행동 의도 정보를 생성하는 것을 특징으로 하는 휴먼 행동 인식 방법.
  13. 청구항 12에 있어서,
    상기 휴먼의 최종 행동을 인식하는 단계는
    상기 휴먼의 행동들 중 상기 행동 의도 정보에 포함된 상기 행동 발생 전후 관계로부터 예측되는 다음 행동들 중 어느 하나를 결정하여 상기 휴먼의 최종 행동을 인식하는 것을 특징으로 하는 휴먼 행동 인식 방법.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 청구항 13에 있어서,
    상기 행동 패턴 모델을 생성하는 단계는
    상기 행동 패턴 모델을 이용하여 인식된 휴먼의 행동들이 인식된 시간 및 휴먼의 행동들에 상응하는 상황 정보 및 행동 의도 정보를 이용하여 상기 행동 발생 확률 정보를 갱신하는 것을 특징으로 하는 휴먼 행동 인식 방법.
KR1020180101630A 2018-08-28 2018-08-28 휴먼 행동 인식 장치 및 방법 KR102152717B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180101630A KR102152717B1 (ko) 2018-08-28 2018-08-28 휴먼 행동 인식 장치 및 방법
US16/213,833 US10789458B2 (en) 2018-08-28 2018-12-07 Human behavior recognition apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180101630A KR102152717B1 (ko) 2018-08-28 2018-08-28 휴먼 행동 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200024675A KR20200024675A (ko) 2020-03-09
KR102152717B1 true KR102152717B1 (ko) 2020-09-07

Family

ID=69641355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180101630A KR102152717B1 (ko) 2018-08-28 2018-08-28 휴먼 행동 인식 장치 및 방법

Country Status (2)

Country Link
US (1) US10789458B2 (ko)
KR (1) KR102152717B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7339604B2 (ja) * 2019-11-12 2023-09-06 オムロン株式会社 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
JP7366820B2 (ja) * 2020-03-25 2023-10-23 株式会社日立製作所 行動認識サーバ、および、行動認識方法
KR102190446B1 (ko) * 2020-04-16 2020-12-11 주식회사 에이티에이엠 Tv 시청 데이터와 바이오 데이터를 융합한 헬스케어 시스템
CN111914807B (zh) * 2020-08-18 2022-06-28 太原理工大学 一种基于传感器和骨架信息的矿工行为识别方法
KR102504321B1 (ko) 2020-08-25 2023-02-28 한국전자통신연구원 온라인 행동 탐지 장치 및 방법
KR102437760B1 (ko) * 2021-05-27 2022-08-29 이충열 컴퓨팅 장치에 의한 음향의 처리 방법, 영상 및 음향의 처리 방법 및 이를 이용한 시스템들
US11789544B2 (en) * 2021-08-19 2023-10-17 Meta Platforms Technologies, Llc Systems and methods for communicating recognition-model uncertainty to users
US11977727B1 (en) * 2021-11-29 2024-05-07 Scribe Support Services, Llc Method for synchronizing a virtual remote display screen of an application executing on a hardware device with a physical remote device and using the display screen and remote device to record information regarding human behavior
KR102465318B1 (ko) * 2022-01-04 2022-11-10 광주과학기술원 웨어러블 센서를 이용한 일상 행동 패턴의 자동인식 및 분류하는 시스템 및 방법
CN114724078B (zh) * 2022-03-28 2023-06-23 西南交通大学 基于目标检测网络与知识推理的人员行为意图识别方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023951B1 (ko) * 2009-03-17 2011-03-28 한국과학기술원 행동인식 시스템 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100137963A (ko) * 2009-06-24 2010-12-31 아주대학교산학협력단 점증적 통계기법을 이용한 행동패턴 추출 및 의도추론에 대한 장치 및 방법
US20130205314A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to select media based on engagement levels
KR101367964B1 (ko) * 2012-10-19 2014-03-19 숭실대학교산학협력단 복합 센서를 이용한 사용자 상황 인식 방법
KR101881630B1 (ko) 2014-06-24 2018-07-24 경희대학교 산학협력단 사용자 단말로부터 수집된 데이터를 이용한 유형 정보 및 평가 정보 제공 방법 및 시스템
KR101807513B1 (ko) 2015-05-13 2017-12-12 한국전자통신연구원 3차원 공간에서 영상정보를 이용한 사용자 의도 분석장치 및 분석방법
KR20170022770A (ko) 2015-08-21 2017-03-02 한국전자통신연구원 활동 모니터링 시스템 및 그것의 소모 열량 측정 방법
US10410129B2 (en) 2015-12-21 2019-09-10 Intel Corporation User pattern recognition and prediction system for wearables
KR101880500B1 (ko) 2016-11-02 2018-08-16 한국과학기술연구원 개인특성을 고려한 치매환자 케어 시스템 및 이를 이용한 치매환자 케어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101023951B1 (ko) * 2009-03-17 2011-03-28 한국과학기술원 행동인식 시스템 및 방법

Also Published As

Publication number Publication date
KR20200024675A (ko) 2020-03-09
US20200074158A1 (en) 2020-03-05
US10789458B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
KR102152717B1 (ko) 휴먼 행동 인식 장치 및 방법
JP4682217B2 (ja) 行動制御装置、方法、プログラム
CN112771453A (zh) 用于使用运动姿势控制电器的系统和方法
US11864061B2 (en) Monitoring activity using Wi-Fi motion detection
JP6974626B2 (ja) ＩｏＴベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるＩｏＴベースの通知の自動レンダリングを引き起こすコマンドの提供
JP6713057B2 (ja) 移動体制御装置および移動体制御プログラム
Debard et al. Camera-based fall detection using real-world versus simulated data: How far are we from the solution?
JP2007156577A (ja) 生活支援ロボットによる色情報獲得方法
US11925304B2 (en) Information processing method, information processing apparatus and computer-readable recording medium storing information processing program
CN111643017A (zh) 基于日程信息的清扫机器人控制方法、装置和清扫机器人
Moncrieff et al. Multi-modal emotive computing in a smart house environment
KR102241705B1 (ko) 멀티모달 행위 검출 장치 및 방법
EP3745346A1 (en) Information processing device, information processing method, and recording medium
Mocanu et al. A model for activity recognition and emergency detection in smart environments
JP2018173763A (ja) 行動支援システム、行動支援方法
CN111553243A (zh) 闹铃控制方法、装置、终端设备及计算机可读存储介质
CN111566636A (zh) 用于提供社交的方法和交互设备
KR20230047434A (ko) 어시스턴트 디바이스(들)의 주변 감지에 기초한 어시스턴트 액션(들) 추론하기
WO2019146187A1 (ja) 情報処理装置および情報処理方法
JP2020017258A (ja) 情報処理方法、情報処理装置及び情報処理プログラム
KR20230154380A (ko) 행동 및 발화 패턴 기반 감성 인식 결과에 의해 사용자의 감성 상태에 적합한 헬스케어 서비스를 제공하는 시스템 및 방법
WO2010125488A2 (en) Prompting communication between remote users
Valentin Multisensor fusion for monitoring elderly activities at home
WO2023089892A1 (ja) 推定方法、推定システムおよびプログラム
CN111919250B (zh) 传达非语言提示的智能助理设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant