KR101625304B1 - 음향 정보에 기초한 사용자 다수 행위 인식 방법 - Google Patents

음향 정보에 기초한 사용자 다수 행위 인식 방법 Download PDF

Info

Publication number
KR101625304B1
KR101625304B1 KR1020140160761A KR20140160761A KR101625304B1 KR 101625304 B1 KR101625304 B1 KR 101625304B1 KR 1020140160761 A KR1020140160761 A KR 1020140160761A KR 20140160761 A KR20140160761 A KR 20140160761A KR 101625304 B1 KR101625304 B1 KR 101625304B1
Authority
KR
South Korea
Prior art keywords
sound source
source pattern
candidate
pattern
final
Prior art date
Application number
KR1020140160761A
Other languages
English (en)
Other versions
KR20160059197A (ko
Inventor
권오병
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020140160761A priority Critical patent/KR101625304B1/ko
Priority to CN201580052271.4A priority patent/CN106852171B/zh
Priority to PCT/KR2015/012016 priority patent/WO2016080695A1/ko
Priority to US15/525,810 priority patent/US20170371418A1/en
Publication of KR20160059197A publication Critical patent/KR20160059197A/ko
Application granted granted Critical
Publication of KR101625304B1 publication Critical patent/KR101625304B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/36—Detecting the response signal, e.g. electronic circuits specially adapted therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V1/00—Seismology; Seismic or acoustic prospecting or detecting
    • G01V1/001—Acoustic presence detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Geology (AREA)
  • Remote Sensing (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Toys (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 행위를 인식하는 방법에 관한 것으로, 보다 구체적으로 1차적으로 사용자가 위치하는 장소에서 수집한 음원 정보와 기준 음원 패턴 정보의 유사도를 계산하여 후보 기준 음원 패턴을 선택하고 2차적으로 사용자가 위치하는 장소의 위치 정보에 기초하여 최종 후보 기준 음원 패턴을 선택하여 사용자의 행위를 인식할 수 있으며, 이에 추가하여 단위 시간 동안 선택한 후보 기준 음원 패턴 또는 최종 후보 기준 음원 패턴으로 구성되는 음원 조합으로부터 사용자 행위 패턴을 판단하여 보다 정확하게 사용자 행위를 인식할 수 있는 방법에 관한 것이다.

Description

음향 정보에 기초한 사용자 다수 행위 인식 방법{Method for estimating multi user action based on sound information}
본 발명은 사용자의 다수 행위를 인식하는 방법에 관한 것으로, 보다 구체적으로 특정 공간에서 다수의 행위가 이루어지는 경우 수집한 음원으로부터 사용자의 다수 행위를 인식할 수 있으며, 인식한 다수의 사용자 행위로부터 사용자 상황을 정확하게 판단할 수 있는 방법을 제공하는 것이다.
사용자 행위 인식은 사용자의 일상 생활에서 사용자의 상황을 판단하기 위한 중요한 요인으로 사용되고 있다. 이러한 사용자 상황 판단은 유비쿼터스 환경과 맞물려 사용자가 위치하는 장소의 환경을 제어하거나, 의료 서비스를 제공하거나 사용자에 적합한 상품을 추천하는 등 다양한 서비스에 사용될 수 있다.
종래 사용자의 행위를 인식하기 위해, 위치 기반 인식 방식, 행위 기반 인식 방식 및 음원 기반 인식 방식 등이 사용되고 있다.
위치 기반 인식 방식은 사용자가 소지하는 단말기에 부착된 GPS 모듈을 이용하거나 사용자가 위치하는 장소에 배치되어 있는 사용자 감지 센서, 예를 들어 적외선 감지 센서, 열 감지 센서 등을 이용하여 사용자가 현재 어떠한 장소에 위치하고 있는지에 기초하여 사용자 행위를 인식하는 것이다. 즉, 사용자가 현재 위치하고 있는 장소에 기초하여 해당 장소에서 이루어질 수 있는 행위로 사용자 행위를 인식하는 것이다. 그러나 종래 위치 기반 인식 방식은 동일한 장소에서도 다양한 행위가 이루어질 수 있으므로 사용자 행위를 정확하게 인식하기 곤란하다는 문제점을 가진다.
한편, 행위 기반 인식 방식은 카메라를 이용하여 사용자 영상을 획득하고 획득한 사용자 영상에서 연속적인 행동이나 제스처를 추출하며, 추출한 연속적인 행동이나 제스처로 사용자 행위를 인식하게 된다. 그러나 행위 기반 인식 방식은 사용자 영상을 획득하기 때문에 개인 사생활 보호에 미흡하며 사용자 영상에서 추출한 연속적인 행위나 제스처로 사용자 행위를 정확하게 인식하기 곤란하다는 문제점을 가진다.
한편, 종래 음원 기반 인식 방식은 사용자가 소지하거나 위치하는 장소에 배치되어 있는 마이크를 이용하여 사용자가 위치하는 장소에서 음원을 획득하고 획득한 음원에 기초하여 사용자의 행위를 인식한다. 음원 기반 인식 방식은 음원 정보에 기초하여 음원 정보와 가장 유사한 기준 음원을 데이터베이스에서 검색하고, 가장 유사한 기준 음원에 매핑되어 있는 행위를 사용자 행위로 인식한다. 종래 음원 기반 인식 방식의 경우 음원 정보에 기초하여 가장 유사한 기준 음원에 매핑되어 있는 행위를 사용자 행위로 인식하는데, 다수의 사용자가 각자 다양한 행위를 하거나 1명의 사용자가 다수의 행위를 동시에 또는 순차적으로 하여 다수 행위에 해당하는 음원이 서로 혼합되는 경우 다수의 행위를 인식하지 못한다는 문제점을 가진다.
본 발명은 위에서 언급한 종래 사용자 행위를 인식하는 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 특정 공간에서 다수의 행위가 이루어지는 경우 수집한 음원으로부터 사용자의 다수 행위를 인식할 수 있는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 수집한 음원 중 시작하는 일정 부분의 시작 음원 패턴과 수집한 음원 중 종료하는 일정 부분의 종료 음원 패턴으로부터 사용자의 다수 행위를 인식할 수 있는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 목적은 수집한 음원뿐만 아니라 음원을 수집한 장소 정보를 참고함으로써 장소 정보에서 일어날 수 없는 배타 기준 음원 패턴을 제외하여 수집한 음원으로부터 사용자의 다수 행위를 정확하게 인식할 수 있는 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 사용자의 다수 행위 인식 방법은 사용자가 위치하는 장소에서 음원과 위치 정보를 수집하는 단계와, 수집한 음원의 시작 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 시작 유사도를 계산하고 수집한 음원의 종료 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 종료 유사도를 계산하는 단계와, 시작 유사도와 종료 유사도에 기초하여 시작 음원 패턴 및 종료 음원 패턴과 일치하는 기준 음원 패턴을 각각 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴으로 선택하는 단계와, 시작 후보 기준 음원 패턴, 종료 후보 기준 음원 패턴 및 사용자 위치 정보에 기초하여 사용자의 다수 행위를 인식하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 본 발명의 일 실시예에 따른 사용자의 다수 행위 인식 방법은 수집한 음원에서 임계 크기 이상으로 증가하는 증가 구역 또는 임계 크기 이상으로 감소하는 감소 구역을 판단하는 단계와, 증가 구역 또는 감소 구역의 수로부터 수집한 음원을 형성하는 다수 행위의 수를 판단하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 본 발명의 일 실시예에 따른 사용자의 다수 행위 인식 방법은 사용자 위치 정보에 기초하여 시작 후보 기준 음원 패턴 또는 종료 후보 기준 음원 패턴 중 장소에서 일어날 수 없는 배타 기준 음원 패턴을 판단하는 단계와, 배타 기준 음원 패턴을 시작 후보 기준 음원 패턴 또는 종료 후보 기준 음원 패턴에서 삭제하여 최종 후보 기준 음원 패턴을 선택하는 단계를 더 포함하며, 최종 후보 기준 음원 패턴과 사용자 위치 정보에 기초하여 사용자의 다수 행위를 인식하는 것을 특징으로 한다.
바람직하게, 본 발명에서 증가 구역 또는 상기 감소 구역이 2로 판단되는 경우 사용자의 다수 행위를 인식하는 단계의 일 예는 최종 후보 기준 음원 패턴 중 1개의 시작 후보 기준 음원 패턴과 최종 후보 기준 음원 패턴 중 1개의 종료 후보 기준 음원 패턴을 각각 합하여 후보 음원 조합을 생성하는 단계와, 후보 음원 조합을 구성하는 각 후보 음원과 수집한 음원의 유사도를 비교하여 후보 음원 조합 중 수집한 음원과 가장 유사한 최종 후보 음원을 결정하는 단계와, 최종 후보 음원을 구성하는 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴에 각각 매핑되어 있는 다수 행위를 사용자의 행위로 인식하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 본 발명에서 증가 구역 또는 감소 구역이 2로 판단되는 경우 사용자의 다수 행위를 인식하는 단계의 다른 예는 시작 후보 기준 음원 패턴의 최종 후보 기준 음원 패턴 중 종료 후보 기준 음원 패턴의 최종 후보 기준 음원 패턴과 일치하는 일치 후보 기준 음원 패턴이 존재하는지 판단하는 단계와, 일치 후보 기준 음원 패턴을 제1 최종 음원 패턴으로 결정하는 단계와, 수집한 음원에서 제1 최종 음원 패턴을 뺀 차 음원과 데이터베이스에 저장된 기준 음원 패턴 사이의 유사도를 비교하여 제2 최종 음원 패턴을 선택하는 단계와, 제1 최종 음원 패턴과 제2 최종 음원 패턴에 각각 매핑되어 있는 행위를 사용자의 다수 행위로 인식하는 단계를 포함하는 것을 특징으로 한다.
한편, 본 발명의 다른 실시예에 따른 사용자의 다수 행위 인식 방법은 사용자가 위치하는 장소에서 음원을 수집하는 단계와, 수집한 음원의 시작 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 시작 유사도를 계산하고 수집한 음원의 종료 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 종료 유사도를 계산하는 단계와, 시작 유사도에 기초하여 시작 음원 패턴과 일치하는 기준 음원 패턴을 시작 후보 기준 음원 패턴으로 선택하고 종료 유사도에 기초하여 종료 음원 패턴과 일치하는 기준 음원 패턴을 종료 후보 기준 음원 패턴으로 선택하는 단계와, 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴에서 서로 일치하는 후보 기준 음원 패턴이 존재하는지 판단하는 단계와, 서로 일치하는 후보 기준 음원 패턴이 존재하는 경우 서로 일치하는 후보 기준 음원 패턴을 제1 최종 음원 패턴으로 선택하고 제1 최종 음원 패턴을 이용하여 나머지 최종 음원 패턴을 판단하는 단계와, 제1 최종 음원 패턴과 나머지 최종 음원 패턴에 각각 매핑되어 있는 사용자 행위를 사용자의 다수 행위로 인식하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 본 발명의 다른 실시예에 따른 사용자의 다수 행위 인식 방법은 수집한 음원에서 임계 크기 이상으로 증가하는 증가 구역 또는 임계 크기 이상으로 감소하는 감소 구역을 판단하는 단계와, 증가 구역 또는 상기 감소 구역의 수로부터 수집한 음원을 형성하는 다수 행위의 수를 판단하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 본 발명의 다른 실시예에 따른 사용자의 다수 행위 인식 방법에서 증가 구역 또는 감소 구역이 2로 판단되는 경우 사용자의 다수 행위를 인식하는 단계의 일 예는 서로 일치하는 후보 기준 음원 패턴이 존재하는 경우 서로 일치하는 후보 기준 음원 패턴을 제1 최종 음원 패턴으로 선택하는 단계와, 수집한 음원에서 제1 최종 음원 패턴을 뺀 차 음원과 데이터베이스에 저장된 기준 음원 패턴 사이의 유사도를 비교하여 제2 최종 음원 패턴을 선택하는 단계와, 제1 최종 음원 패턴과 제2 최종 음원 패턴에 각각 매핑되어 있는 행위를 사용자의 다수 행위로 인식하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 본 발명의 다른 실시예에 따른 사용자의 다수 행위 인식 방법에서 서로 일치하는 후보 기준 음원 패턴이 존재하지 않으며 증가 구역 또는 감소 구역이 2로 판단되는 경우 사용자의 다수 행위를 인식하는 단계는 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴을 각각 합하여 후보 음원 조합을 생성하는 단계와, 후보 음원 조합을 구성하는 각 후보 음원과 수집한 음원의 유사도를 비교하여 후보 음원 중 수집한 음원과 가장 유사한 최종 음원 패턴을 결정하는 단계와, 최종 음원 패턴을 구성하는 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴에 각각 매핑되어 있는 행위를 사용자의 다수 행위로 인식하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 본 발명의 다른 실시예에 따른 사용자의 다수 행위 인식 방법은 사용자 위치 정보에 기초하여 후보 기준 음원 패턴 중 장소에서 일어날 수 없는 배타 기준 음원 패턴 패턴을 판단하는 단계와, 배타 기준 음원 패턴을 시작 후보 기준 음원 패턴 또는 종료 후보 기준 음원 패턴에서 삭제하여 최종 후보 기준 음원 패턴을 선택하는 단계를 더 포함하는 것을 특징으로 한다.
한편 본 발명에 따른 사용자 상황 판단 방법은 사용자가 위치하는 장소에서 음원을 수집하는 단계와, 수집한 음원의 시작 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 시작 유사도를 계산하고 수집한 음원의 종료 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 종료 유사도를 계산하는 단계와, 시작 유사도와 상기 종료 유사도에 기초하여 시작 음원 패턴 및 종료 음원 패턴과 일치하는 기준 음원 패턴을 각각 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴으로 선택하는 단계와, 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴으로부터 생성되는 합 음원 패턴을 수집한 음원과 비교하여 시작 후보 기준 음원 패턴 또는 종료 후보 기준 음원 패턴에서 수집한 음원을 형성하는 최종 시작 음원 패턴과 최종 종료 음원 패턴을 결정하는 단계와, 최종 시작 음원 패턴과 최종 종료 음원 패턴으로부터 생성되는 음원 패턴 조합 및 사용자 위치 정보에 기초하여 사용자 상황을 판단하는 단계를 포함하는 것을 한다.
바람직하게, 본 발명의 일 실시예에 따른 사용자 상황 판단 방법은 수집한 음원에서 임계 크기 이상으로 증가하는 증가 구역 또는 임계 크기 이상으로 감소하는 감소 구역을 판단하는 단계와, 증가 구역 또는 상기 감소 구역의 수로부터 수집한 음원을 형성하는 다수 행위의 수를 판단하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 본 발명의 일 실시예에 따른 사용자 상황 판단 방법은 사용자 위치 정보에 기초하여 시작 후보 기준 음원 패턴 또는 종료 후보 기준 음원 패턴 중 음원을 수집한 장소에서 일어날 수 없는 배타 기준 음원 패턴을 판단하는 단계와, 배타 기준 음원 패턴을 시작 후보 기준 음원 패턴 또는 종료 후보 기준 음원 패턴에서 삭제하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 본 발명에 따른 사용자 상황 판단 방법에서 증가 구역 또는 감소 구역이 2로 판단되는 경우 사용자의 상황을 판단하는 단계의 일 예는 시작 후보 기준 음원 패턴 중 1개의 후보 음원 패턴과 종료 후보 기준 음원 패턴 중 1개의 후보 음원 패턴을 각각 합하여 후보 음원 조합을 생성하는 단계와, 후보 음원 조합을 구성하는 각 후보 음원과 수집한 음원의 유사도를 비교하여 후보 음원 조합 중 수집한 음원과 가장 유사한 최종 후보 음원을 결정하는 단계와, 최종 후보 음원을 구성하는 후보 음원 패턴으로 이루어진 패턴 조합에 해당하는 다수 행위로부터 사용자 상황을 판단하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 본 발명에 따른 사용자 상황 판단 방법에서 증가 구역 또는 감소 구역이 2로 판단되는 경우 사용자 상황을 판단하는 단계의 다른 예는 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴 중에서 서로 일치하는 일치 후보 기준 음원 패턴이 존재하는지 판단하는 단계와, 일치 후보 기준 음원 패턴을 제1 최종 음원 패턴으로 결정하는 단계와, 수집한 음원에서 제1 최종 음원 패턴을 뺀 차 음원과 데이터베이스에 저장된 기준 음원 패턴 사이의 유사도를 비교하여 제2 최종 음원 패턴을 선택하는 단계와, 제1 최종 음원 패턴과 제2 최종 음원 패턴으로 이루어진 패턴 조합에 해당하는 다수 행위로부터 사용자 상황을 판단하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 사용자의 다수 행위 인식 방법은 다음과 같은 다양한 효과들을 가진다.
첫째, 본 발명에 따른 사용자의 다수 행위 인식 방법은 수집한 음원 중 시작하는 일정 부분의 시작 음원 패턴과 수집한 음원 중 종료하는 일정 부분의 종료 음원 패턴을 이용하여 사용자가 동시에 또는 순차적으로 수행하는 다수의 행위를 인식할 수 있다.
둘째, 본 발명에 따른 사용자의 다수 행위 인식 방법은 수집한 음원 중 시작 음원 패턴과 종료 음원 패턴에 유사한 다수의 후보 기준 음원 패턴 중 서로 일치하는지 후보 기준 음원 패턴이 존재하는지 여부에 따라 먼저 시작 음원 패턴 또는 종료 음원 패턴에 매핑된 제1 사용자 행위를 판단함으로써, 제1 사용자 행위를 제외한 나머지 사용자 행위를 정확하게 판단할 수 있다.
셋째, 본 발명에 따른 사용자의 다수 행위 인식 방법은 1차적으로 수집한 음원 정보에 기초하여 사용자 행위를 인식할 수 있는 후보 기준 음원 패턴을 선택하고 2차적으로 사용자가 위치하는 장소의 위치 정보에 기초하여 최종 후보 기준 음원 패턴을 선택함으로써, 사용자의 행위를 정확하게 인식할 수 있다.
넷째, 본 발명에 따른 사용자 다수 행위 인식 방법은 사용자가 위치하는 장소에서 획득한 음원 정보 또는 위치 정보에 기초하여 사용자 행위를 인식함으로써, 사용자 개인 사생활을 보호할 수 있으며 추가적으로 사용자가 특정 정보를 입력하지 않고도 정확하게 사용자의 다수 행위를 인식할 수 있다.
다섯째, 본 발명에 따른 사용자 상황 판단 방법은 수집한 음성으로부터 다수의 사용자 행위를 인식함으로써, 동시에 또는 순차적으로 이루어지는 다수의 사용자 행위의 조합으로부터 사용자 상황을 정확하게 판단할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사용자 행위 인식 장치를 설명하기 위한 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 사용자 상황 판단 장치를 설명하기 위한 기능 블록도이다.
도 3은 본 발명에 따른 행위 수 판단부의 일 예를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 4는 본 발명에 따른 다수 행위 인식부의 일 예를 구체적으로 설명하기 위한 기능 블록도이다.
도 5는 본 발명에 따른 다수 행위 인식부의 다른 예를 구체적으로 설명하기 위한 기능 블록도이다.
도 6은 본 발명의 일 실시예에 따른 사용자의 다수 행위 인식 방법을 설명하기 위한 흐름도이다.
도 7은 수집한 음원을 증가 구역 또는 감소 구역에 기초하여 분할하는 일 예를 설명하기 위한 도면이다.
도 8은 본 발명에 따른 데이터베이스의 일 예를 도시하고 있다.
도 9는 본 발명에 따른 후보 기준 음원을 선택하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 10은 본 발명에 따른 사용자의 다수 행위를 인식하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 11은 본 발명에 따른 사용자의 다수 행위를 인식하는 단계의 다른 예를 설명하기 위한 흐름도이다.
도 12는 사용자의 다수 행위를 인식하는 단계의 예를 설명하기 위한 도면이다.
도 13은 수집한 음원이 3개 이상의 사용자 행위에 해당하는 음원 패턴을 포함하고 있는 경우 사용자의 다수 행위를 인식하는 방법의 일 예를 설명하기 위한 도면이다.
도 14는 본 발명에 따른 사용자 상황을 판단하는 방법을 설명하기 위한 흐름도이다.
이하 첨부한 도면을 참고로 본 발명에 따른 사용자 행위 인식 방법을 보다 구체적으로 살펴본다.
도 1은 본 발명의 일 실시예에 따른 사용자 행위 인식 장치를 설명하기 위한 기능 블록도이다.
도 1을 참고로 보다 구체적으로 살펴보면, 정보 수집부(110)는 사용자가 위치하는 장소에서 사용자 행위를 판단하는데 사용되는 정보를 수집한다. 정보 수집부(110)는 음원 수집부(111)과 위치 수집부(113)를 구비하는데, 음원 수집부(111)는 사용자가 위치하는 장소에서 음원을 수집하며 위치 수집부(113)는 사용자가 위치하는 장소의 위치 정보를 수집한다. 바람직하게, 음원 수집부(111)는 마이크일 수 있으며, 위치 수집부(113)는 사용자가 소지하는 단말기에 부착된 GPS 모듈 또는 사용자가 위치하는 장소에 배치되어 있는 적외선 센서, 열 센서 등이 사용될 수 있다. 여기서 수집한 음원 정보는 수집한 음원의 특성을 나타낼 수 있는 포먼트(formant), 피치(pitch), 세기(intensity)등이 사용될 수 있다. 본 발명이 적용되는 분야에 따라 다양한 음원 정보가 사용될 수 있으며 이는 본 발명의 범위에 속한다.
행위 수 판단부(120)는 수집한 음원의 크기를 측정하여 수집한 음원에서 임계 크기 이상으로 증가하는 증가 구역 또는 감소 구역을 판단하고, 증가 구역의 수 또는 감소 구역의 수로부터 수집한 음원을 형성하는 행위의 수를 판단한다. 또한, 행위 수 판단부(120)는 수집한 음원에서 처음 발생하는 증가 구역을 시작 음원 패턴(PRE-P)으로 분할하거나, 수집한 음원에서 마지막으로 감소 구역을 종료 음원 패턴(POST-P)으로 분할하여 생성한다.
유사도 계산부(130)는 시작 음원 패턴과 종료 음원 패턴을 각각 데이터베이스(140)에 저장되어 있는 기준 음원 패턴과 비교하며, 시작 음원 패턴과 기준 음원 패턴 사이의 유사도를 계산하고 종료 음원 패턴과 기준 음원 패턴 사이의 유사도를 계산한다. 바람직하게, 유사도는 시작 음원 패턴 또는 종료 음원 패턴을 구성하는 포먼트, 피치, 세기 중 적어도 어느 하나의 음원 정보를 기준 음원 패턴의 포먼트, 피치, 세기 중 대응하는 어느 하나의 음원 정보와 비교하여 유사도를 계산한다.
후보 기준 음원 선택부(150)는 시작 음원 패턴과 기준 음원 패턴 사이의 유사도 또는 종료 음원 패턴과 기준 음원 사이의 유사도에 기초하여 시작 음원 패턴과 종료 음원 패턴에 각각 일치하는 기준 음원 패턴을 후보 기준 음원 패턴으로 선택한다. 여기서 시작 음원 패턴에 일치하는 후보 기준 음원 패턴을 시작 후보 기준 음원 패턴이라 언급하며, 종료 음원 패턴에 일치하는 후보 기준 음원 패턴을 종료 후보 기준 음원 패턴이라 언급한다.
배타 기준 음원 제거부(160)는 수집한 위치 정보에 기초하여 선택한 후보 기준 음원 패턴 중 사용자가 위치하는 장소에서 일어날 수 없는 배타 기준 음원 패턴을 판단하고 판단한 배타 기준 음원 패턴을 선택한 후보 기준 음원 패턴에서 삭제하여 최종 후보 기준 음원 패턴을 결정한다. 예를 들어, 시작 후보 음원 패턴에서 배타 기준 음원을 삭제하여 시작 후보 기준 음원 패턴에 대한 최종 후보 기준 음원 패턴을 결정하고, 종료 후보 음원 패턴에서 배타 기준 음원 패턴을 삭제하여 종료 후보 기준 음원 패턴에 대한 최종 후보 기준 음원 패턴을 결정한다. 바람직하게, 데이터베이스(140)에는 기준 음원 패턴과 함께 기준 음원 패턴에 해당하는 사용자 행위 정보, 기준 음원 패턴이 일어날 수 있는 장소 정보가 함께 매핑되어 저장되어 있다.
다수 행위 인식부(170)는 시작 후보 기준 음원 패턴에 대한 최종 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴에 대한 최종 후보 기준 음원 패턴에 기초하여 사용자의 다수 행위를 인식한다.
도 2는 본 발명의 일 실시예에 따른 사용자 상황 판단 장치를 설명하기 위한 기능 블록도이다.
도 2의 정보 수집부(210), 행위 수 판단부(220), 유사도 계산부(230), 데이터베이스(240), 후보 기준 음원 선택부(250), 배타 기준 음원 제거부(260)는 앞서 도 1을 참고로 설명한 정보 수집부(110), 행위 수 판단부(120), 유사도 계산부(130), 데이터베이스(140), 후보 기준 음원 선택부(150), 배타 기준 음원 제거부(160)과 동일하게 동작하며, 상세한 설명은 생략한다.
다수 행위 인식부(270)는 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴으로부터 생성되는 합 음원 패턴을 수집한 음원과 비교하여 최종 시작 후보 기준 음원 패턴 또는 최종 종료 후보 기준 음원 패턴에서 수집한 음원을 형성하는 최종 시작 음원 패턴과 최종 종료 음원 패턴을 결정한다.
사용자 상황 판단부(280)는 최종 시작 음원 패턴과 최종 종료 음원 패턴으로부터 생성되는 음원 패턴 조합과 사용자 위치 정보에 기초하여, 음원 패턴 조합과 사용자 위치 정보에 해당하는 사용자 상황을 데이터베이스(240)에서 검색하며, 검색한 사용자 상황을 사용자의 현재 상황으로 판단한다. 바람직하게, 데이터베이스(240)에는 음원 패턴 조합에 사용자 상황이 매핑되어 저장되어 있다.
도 3은 본 발명에 따른 행위 수 판단부의 일 예를 보다 구체적으로 설명하기 위한 기능 블록도이다.
도 3을 참고로 보다 구체적으로 살펴보면, 크기 측정부(121)는 수집한 음원 정보의 크기를 측정하며, 분할부(123)는 측정한 음원 정보의 크기에 기초하여 임계 크기 이상으로 증가하는 증가 구역과 임계 크기 이상으로 감소하는 감소 구역을 판단하여 수집한 음원을 분할한다. 분할부(123)는 수집한 음원에서 처음으로 발생하는 증가 구역을 시작 음원 패턴으로 분할하고 수집한 음원에서 마지막으로 발생하는 감소 구역을 종료 음원 패턴으로 분할한다.
판단부(125)는 분할부(123)에서 판단한 증가 구역의 수 또는 감소 구역의 수에 기초하여 수집한 음원을 형성하는 사용자 행위의 수를 판단한다.
도 4는 본 발명에 따른 다수 행위 인식부의 일 예를 구체적으로 설명하기 위한 기능 블록도이다.
도 4를 참고로 보다 구체적으로 살펴보면, 후보 음원 조합 생성부(171)는 수집한 음원을 형성하는 행위의 수가 2개로 판단되는 경우 배타 기준 음원을 제거한 시작 후보 기준 음원 패턴 중 1개의 시작 후보 기준 음원 패턴과 배타 기준 음원을 제거한 종료 후보 기준 음원 패턴 중 1개의 종료 후보 기준 음원 패턴으로 이루어진 후보 음원 조합을 생성한다.
최종 후보 음원 조합 결정부(173)는 후보 음원 조합을 구성하는 각 후보 음원의 합과 수집한 음원의 유사도를 비교하여 후보 음원 조합 중 수집한 음원과 가장 유사한 최종 후보 음원을 결정한다.
행위 인식부(125)는 최종 후보 음원을 구성하는 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴에 각각 매핑되어 있는 행위를 데이터베이스(140, 240)에서 검색하여 검색한 행위를 사용자의 다수 행위로 인식한다.
도 5는 본 발명에 따른 다수 행위 인식부의 다른 예를 구체적으로 설명하기 위한 기능 블록도이다.
도 5를 참고로 보다 구체적으로 살펴보면, 일치 후보 패턴 검색부(181)는 수집한 음원을 형성하는 행위의 수가 2개로 판단되는 경우 시작 후보 기준 음원 패턴의 최종 후보 기준 음원 패턴 중 종료 후보 기준 음원 패턴의 최종 후보 기준 음원 패턴과 일치하는 일치 후보 기준 음원 패턴이 존재하는지 검색한다.
일치 후보 기준 음원 패턴이 존재하는 경우 제1 최종 음원 결정부(183)는 일치 후보 기준 음원 패턴을 제1 최종 음원 패턴으로 결정하며, 제2 최종 음원 결정부(185)는 수집한 음원에서 제1 최종 음원 패턴을 뺀 차 음원과 데이터베이스(140, 240)에 저장된 기준 음원 패턴 사이의 유사도를 비교하여 가장 높은 유사도를 가지는 기준 음원 패턴을 제2 최종 음원 패턴으로 결정한다.
행위 인식부(187)는 데이터베이스(240)에서 제1 최종 음원 패턴과 제2 최종 음원 패턴에 각각 매핑되어 있는 행위를 사용자의 다수 행위로 인식한다.
도 6은 본 발명의 일 실시예에 따른 사용자의 다수 행위 인식 방법을 설명하기 위한 흐름도이다.
도 6을 참고로 보다 구체적으로 살펴보면, 사용자가 위치하는 장소에서 음원 및 위치 정보를 수집하고(S10), 수집한 음원에서 임계 크기 이상으로 증가하는 증가 구역 또는 임계 크기 이상으로 감소하는 감소 구역을 판단한다(S20). 여기서 증가 구역 또는 감소 구역은 수집 음원 정보의 크기를 측정하고, 측정한 수집 음원 정보의 크기에 기초하여 설정 시간 동안 임계 크기 이상으로 증가하거나 감소하는 구역을 모니터링하여 증가 구역 또는 감소 구역을 판단한다. 여기서 증가 구역 또는 감소 구역이 발생한 후 다음 증가 구역 또는 다음 감소 구역이 발생할 때까지의 구역을 증가 구역 또는 감소 구역으로 분할하며, 수집한 음원에서 처음으로 발생하는 증가 구역을 시작 음원 패턴으로 선택하고 수집한 음원에서 마지막으로 발생하는 감소 구역을 종료 음원 패턴으로 선택한다.
증가 구역 또는 감소 구역의 수로부터 수집한 음원을 형성하는 다수 행위의 수를 판단한다(S30). 통상적으로 사용자가 일정한 행위를 수행하는 중 동시에 다른 행위를 추가하여 수행하는 경우 수집 음원 정보의 크기는 갑자기 증가하고 다시 다수의 행위를 동시에 수행하는 중 일부 행위를 중단하는 경우 수집 음원 정보의 크기는 갑자기 감소하게 된다. 이와 같은 사실에 기초하여 증가 구역 또는 감소 구역의 수로부터 수집한 음원을 형성하는 다수 행위의 수를 판단한다.
도 7은 수집한 음원을 증가 구역 또는 감소 구역에 기초하여 분할하는 일 예를 설명하기 위한 도면이다.
먼저, 도 7(a)를 참고하여 살펴보면 수집한 음원(SS)의 크기를 측정하여 설정 시간 동안 임계 크기 이상으로 증가한 증가 구역 또는 감소 구역을 판단하는데, 바람직하게 증가 구역 또는 감소 구역을 판단하기 위하여 임계 크기 이상으로 수집 음원 정보의 크기가 증가하거나 임계 크기 이상으로 수집 음원 정보의 크기가 감소하는 구역을 증가 구역 또는 감소 구역으로 판단할 수 있다. 도 7(a)에서 1차로 임계 크기 이상으로 수집 음원 정보의 크기가 증가하는 증가 구역에 1개의 행위에 따른 음원을 형성하며 다음 2차로 임계 크기 이상으로 수집 음원 정보의 크기가 증가하는 증가 구역에 1개의 행위가 추가되어 음원을 형성한다. 이와 같이 증가 구역의 수로부터 수집한 음원을 형성하는 다수 행위의 수를 판단할 수 있다.
도 7(b)를 참고로 살펴보면, 수집 음원 정보의 크기가 증가하기 시작하여 임계 크기 이상으로 증가하는 구역을 판단하여 단위 증가 구역으로 분할하고, 수집 음원 정보의 크기가 감소하기 시작하여 임계 크기 이상으로 감소하는 구역을 단위 감소 구역으로 분할한다. 여기서 수집 음원 정보의 단위 증가 구역 또는 단위 감소 구역에서 시작 음원 패턴 및 종료 음원 패턴을 제외한 구역을 합산 음원 패턴으로 분할한다.
다시 도 6을 참고로 살펴보면, 수집한 음원의 시작 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 시작 유사도를 계산하고 수집한 음원의 종료 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 종료 유사도를 계산한다(S40). 도 8은 데이터베이스의 일 예를 도시하고 있는데, 도 8에 도시되어 있는 바와 같이 음원 패턴, 각 음원 패턴에 해당하는 행위, 행위가 일어날 수 있는 장소에 대한 정보가 저장되어 있으며, 여기서 음원 패턴에는 기준 음원 패턴 정보, 예를 들어 포먼트, 피치, 세기 등에 대한 정보가 저장되어 있다.
데이터베이스에 저장되어 있는 기준 음원 패턴 정보의 종류는 수집한 음원 정보의 종류와 동일한 종류의 음원 정보들인데, 포먼트, 피치, 세기 등의 음원 정보 종류별로 수집한 음원 정보와 데이터베이스에 저장되어 있는 기준 음원 패턴 정보 사이의 유사도를 계산한다. 유사도(SSI)를 계산하는 방식의 일 예는 아래의 수학식(1)과 같이 계산할 수 있다.
[수학식 1]
Figure 112014110936009-pat00001
여기서 SIi는 기준 음원 패턴 정보의 종류(i)이며 GIi는 기준 음원 패턴 정보의 종류와 동일한 수집 음원 정보의 종류(i)이며, n은 기준 음원 패턴 정보 종류 또는 수집한 음원 정보 종류의 수인 것을 특징으로 한다.
계산한 유사도(SSI)에 기초하여 시작 음원 패턴과 임계 유사도 이상의 기준 음원 패턴을 시작 후보 기준 음원 패턴으로 선택하고, 종료 음원 패턴과 임계 유사도 이상의 기준 음원 패턴을 종료 후보 기준 음원 패턴으로 선택한다(S50). 바람직하게, 계산한 유사도(SSI)에 기초하여 시작 음원 패턴과의 유사도가 높은 상위 임계수의 기준 음원 패턴을 시작 후보 기준 음원 패턴으로 선택하거나 종료 음원 패턴과의 유사도가 높은 상위 임계수의 기준 음원 패턴을 종료 후보 기준 음원 패턴으로 선택할 수 있다.
시작 후보 기준 음원 패턴, 종료 후보 기준 음원 패턴 및 사용자 위치 정보에 기초하여 수집한 음원으로부터 사용자의 다수 행위를 인식한다(S60).
도 9는 본 발명에 따른 후보 기준 음원을 선택하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 9를 참고로 보다 구체적으로 살펴보면, 수집한 음원의 시작 음원 패턴과 종료 음원 패턴을 각각 데이터베이스의 기준 음원 패턴과 비교하여 시작 음원 패턴 및 종료 음원 패턴과 일치하는 기준 음원 패턴을 각각 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴으로 선택한다(S51).
사용자 위치 정보 및 데이터베이스에 저장되어 있는 기준 음원 패턴의 장소 정보에 기초하여 시작 후보 기준 음원 패턴 또는 종료 후보 기준 음원 패턴 중 사용자가 위치하는 장소에서 일어날 수 없는 배타 기준 음원 패턴을 판단한다(S53). 예를 들어, 시작 후보 기준 음원 패턴으로 패턴1, 패턴2, 패턴3, 패턴7이 선택되고 사용자 위치 정보가 주방으로 판단되는 경우, 패턴7에 매핑되어 있는 장소 정보는 거실과 서재이므로 패턴7은 사용자가 위치하는 장소에서 일어날 수 없는 배타 기준 음원 패턴으로 판단된다.
배타 기준 음원 패턴을 시작 후보 기준 음원 패턴 또는 종료 후보 기준 음원 패턴에서 삭제하여 최종 후보 기준 음원 패턴을 결정한다(S55).
바람직하게, 사용자의 다수 행위를 인식하는 단계는 후보 기준 음원 패턴 중 배타 기준 음원 패턴을 제거한 최종 후보 기준 음원 패턴과 사용자 위치 정보에 기초하여 사용자의 다수 행위를 인식하는 것을 특징으로 한다.
도 10은 본 발명에 따른 사용자의 다수 행위를 인식하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 10을 참고로 보다 구체적으로 살펴보면, 수집한 음원에 존재하는 증가 구역의 수가 2인지 판단하며(S111), 증가 구역의 수에 기초하여 사용자 행위의 수가 2로 판단되는 경우 최종 후보 기준 음원 패턴 중 1개의 시작 후보 기준 음원 패턴과 최종 후보 기준 음원 패턴 중 1개의 종료 후보 기준 음원 패턴을 각각 합하여 후보 음원 조합을 생성한다(S113).
후보 음원 조합과 수집한 음원의 유사도를 비교하여 후보 음원 조합 중 수집한 음원과 가장 유사한 최종 후보 음원 조합을 결정한다(S115). 여기서 후보 음원 조합과 수집한 음원의 유사도는 앞서 수학식(1)을 참고로 설명한 바와 같이 후보 음원 조합의 음원 정보의 종류별로 수집한 음원 정보 사이의 유사도를 합하여 계산한다.
최종 후보 음원 조합을 구성하는 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴에 각각 매핑되어 있는 다수 행위를 데이터베이스에서 검색하여, 검색한 행위를 사용자의 다수 행위로 인식한다(S117).
도 11은 본 발명에 따른 사용자의 다수 행위를 인식하는 단계의 다른 예를 설명하기 위한 흐름도이다.
도 11을 참고로 보다 구체적으로 살펴보면, 수집한 음원에 존재하는 증가 구역의 수가 2인지 판단하며(S121), 시작 후보 기준 음원 패턴의 최종 후보 기준 음원 패턴 중 종료 후보 기준 음원 패턴의 최종 후보 기준 음원 패턴과 일치하는 일치 후보 기준 음원 패턴이 존재하는지 판단한다(S123). 일치 후보 기준 음원 패턴이 존재하는 경우, 일치 후보 기준 음원 패턴을 제1 최종 음원 패턴으로 결정한다(S125)
수집한 음원에서 제1 최종 음원 패턴을 뺀 차 음원과 데이터베이스에 저장된 기준 음원 패턴 사이의 유사도를 비교하여 제2 최종 음원 패턴을 결정한다(S127). 바람직하게, 차 음원과 기준 음원 패턴 사이의 유사도는 앞서 수학식(1)을 참고로 설명한 바와 같이 차 음원 정보의 종류별로 기준 음원 패턴 정보 사이의 유사도를 합하여 계산한다.
제1 최종 음원 패턴과 제2 최종 음원 패턴에 각각 매핑되어 있는 행위를 데이터베이스에서 검색하고, 검색한 행위를 사용자의 다수 행위로 인식한다(S129).
도 12는 사용자의 다수 행위를 인식하는 단계의 예를 설명하기 위한 도면이다.
먼저, 도 12(a)를 참고로 살펴보면, 수집한 음원에 존재하는 증가 구역의 수가 2인 경우, 수집한 음원을 시작 음원 패턴, 종료 음원 패턴, 합산 음원 패턴으로 분할한다. 시작 음원 패턴에 대한 최종 시작 후보 기준 음원 패턴으로 (a1, a2)이 선택되고, 종료 음원 패턴에 대한 최종 종료 후보 기준 음원 패턴으로 (b1, b2)가 선택되는 경우, 최종 시작 후보 기준 음원 패턴 중 1개와 최종 종료 후보 기준 음원 패턴 중 1개를 각각 합하여 {(a1, b1), (a1, b2), (a2, b1), (a2, b2)}의 후보 음원 조합을 생성한다. 여기서 a1, a2, b1, b2는 데이터베이스에 저장되어 있는 기준 음원 패턴이다.
후보 음원을 구성하는 각 음원 조합과 수집한 음원의 합산 음원 패턴 사이의 유사도를 비교하여 가장 유사한 최종 후보 음원(a1, b2)을 결정한다. (a1, b2)에 각각 매핑되어 있는 행위를 사용자의 다수 행위로 인식한다.
다음으로 도 12(b)를 참고로 살펴보면, 수집한 음원에 존재하는 증가 구역의 수가 2인 경우 수집한 음원을 시작 음원 패턴, 종료 음원 패턴, 합산 음원 패턴으로 분할한다. 시작 음원 패턴에 대한 최종 시작 후보 기준 음원 패턴으로 (a1, a2)이 선택되고, 종료 음원 패턴에 대한 최종 종료 후보 기준 음원 패턴으로 (a1, b2)가 선택되는 경우, 최종 시작 후보 기준 음원 패턴과 최종 종료 후보 기준 음원 패턴 중 서로 일치하는 기준 음원 패턴이 존재하는지 판단한다.
일치 기준 음원 패턴(a1)이 존재하는 경우, 일치 기준 음원 패턴(a1)을 제1 최종 음원 패턴으로 결정한다. 수집한 음원의 합산 음원 패턴에서 제1 최종 음원 패턴을 빼 차 영상을 생성하며, 차 영상과 가장 유사한 기준 음원 패턴을 데이터베이스에서 검색한다. 가장 유사한 기준 음원 패턴(b1)이 검색되는 경우, 가장 유사한 기준 음원 패턴(b1)을 제2 최종 음원 패턴으로 결정한다. (a1, b1)에 각각 매핑되어 있는 행위를 사용자의 다수 행위로 인식한다.
도 13은 수집한 음원이 3개 이상의 사용자 행위에 해당하는 음원 패턴을 포함하고 있는 경우 사용자의 다수 행위를 인식하는 방법의 일 예를 설명하기 위한 도면이다.
도 13을 참고로 살펴보면, 수집한 음원의 증가 구역에 기초하여 3개의 사용자 행위를 포함하고 있음을 확인한다. 수집한 음원을 각각 단위 증가 구역(1, 2, 3) 또는 단위 감소 구역(4, 5)으로 분할한다.
먼저 시작 음원 패턴에 유사한 기준 음원 패턴을 제1 후보 기준 음원 패턴(a1, a2)으로 선택하고, 종료 음원 패턴에 유사한 기준 음원 패턴을 제2 후보 기준 음원 패턴(a1, c2)으로 선택한다. 제1 후보 기준 음원 패턴과 일치하는 제2 후보 기준 음원 패턴이 존재하는 경우, 일치 후보 기준 음원 패턴(a1)을 제1 최종 음원으로 결정한다.
단위 증가 구역(2)에서 제1 최종 음원(a1)을 빼 생성되는 차 음원과 유사한 기준 음원 패턴을 제3 후보 기준 음원 패턴(b1, b2)으로 선택하고, 단위 감소 구역(4)에서 제1 최종 음원(a1)을 빼 생성되는 차 음원과 유사한 기준 음원 패턴을 제4 후보 기준 음원 패턴(b1, d2)으로 선택한다. 제3 후보 기준 음원 패턴과 일치하는 제4 후보 기준 음원 패턴이 존재하는 경우, 일치 후보 기준 음원 패턴(b1)을 제2 최종 음원으로 결정한다. 합산 음원 패턴에 해당하는 단위 증가 구역(3)에서 제1 최종 음원과 제2 최종 음원의 합 음원을 빼 차 영상을 생성하며, 차 영상과 기준 음원 패턴의 유사도를 계산하여 가장 유사도가 높은 기준 음원 패턴을 제3 최종 음원으로 선택한다.
데이터베이스에 제1 최종 음원, 제2 최종 음원 및 제3 최종 음원에 매핑되어 있는 행위를 사용자의 다수 행위로 인식한다.
그러나 제2 후보 기준 음원 패턴이 (c1, c2)로 제1 후보 기준 음원 패턴과 일치하는 후보 기준 음원 패턴이 존재하지 않는 경우, 단위 증가 구역(2)에서 제1 후보 기준 음원 패턴(a1, a2) 중 어느 하나를 빼 생성되는 차 음원과 유사한 기준 음원 패턴을 제3 후보 기준 음원 패턴(b2, b3)으로 선택한다. 그리고 단위 감소 구역(4)에서 제2 후보 기준 음원 패턴(c1, c2) 중 어느 하나를 빼 생성되는 차 음원과 유사한 기준 음원 패턴을 제4 후보 기준 음원 패턴(d1, d2)으로 선택한다.
제3 후보 기준 음원 패턴과 제4 후보 기준 음원 패턴 중 일치하는 후보 기준 음원 패턴이 존재하는 경우 앞서 설명한 바와 같이 일치 후보 기준 음원 패턴을 최종 음원으로 선택하나, 일치 후보 기준 음원 패턴이 존재하지 않는 경우 단위 증가 구역(3)에서 제1 후보 기준 음원 패턴과 제3 후보 기준 음원 패턴의 조합으로 이루어진 합 음원을 빼 생성되는 차 음원과 기준 음원 패턴의 유사도를 계산하여 제5 후보 기준 음원 패턴(e1, e2)으로 선택한다.
제1 후보 기준 음원 패턴 중 어느 하나, 제3 후보 기준 음원 패턴 중 어느 하나 및 제5 후보 기준 음원 패턴 중 어느 하나의 기준 음원 패턴들의 합하여 생성된 각 최종 합 음원과 단위 증가 구역(3)의 수집 음원 사이의 유사도를 비교하여 가장 높은 유사도를 가지는 최종 합 음원을 선택하며, 최종 합 음원을 구성하는 제1 후보 기준 음원 패턴, 제3 후보 기준 음원 패턴 및 제5 후보 기준 음원 패턴에 해당하는 행위를 사용자의 다수 행위로 인식한다.
도 14는 본 발명에 따른 사용자 상황을 판단하는 방법을 설명하기 위한 흐름도이다.
도 14를 참고로 보다 구체적으로 살펴보면, 도 14의 음원 또는 위치 정보를 수집하는 단계(S210), 증감 구역을 판단하는 단계(S220), 다수 행위의 수를 판단하는 단계(S230), 유사도를 계산하는 단계(240), 후보 기준 음원 패턴을 선택하는 단계(S250)는 앞서 도 6을 참고로 설명한 음원 또는 위치 정보를 수집하는 단계(S10), 증감 구역을 판단하는 단계(S20), 다수 행위의 수를 판단하는 단계(S30), 유사도를 계산하는 단계(40), 후보 기준 음원 패턴을 선택하는 단계(S50)와 같으며, 이에 대한 자세한 설명은 생략한다.
시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴으로부터 생성되는 합 음원 패턴을 수집한 음원과 비교하여 시작 후보 기준 음원 패턴 또는 종료 후보 기준 음원 패턴에서 수집한 음원을 형성하는 제1 최종 음원 패턴과 제2 최종 음원 패턴을 결정한다(S260).
제1 최종 음원 패턴과 제2 최종 음원 패턴으로부터 생성되는 음원 패턴 조합 및 사용자 위치 정보에 기초하여 사용자 상황을 판단한다(S270). 바람직하게, 데이터베이스에는 음원 패턴 조합과 각 음원 패턴 조합에 해당하는 사용자 상황이 매핑되어 저장되어 있다. 도 15는 본 발명에 따라 데이터베이스에 저장되어 있는 음원 패턴 조합과 각 음원 패턴 조합에 매핑되어 있는 사용자 상황의 일 예를 도시하고 있다. 제1 최종 음원 패턴과 제2 최종 음원 패턴으로 각각 패턴 3과 패턴4가 선택되는 경우, 패턴 3과 패턴 4에 매핑되어 있는 상황으로 사용자 상황을 판단한다.
이와 같이 수집한 음성으로부터 수집한 음성을 형성하는 다수의 최종 음원 패턴을 결정하는데, 각 최종 음원 패턴에는 사용자 행위가 매핑되어 있으며, 다시 최종 음원 패턴으로 이루어진 음원 패턴 조합에 매핑되어 있는 상황을 사용자 상황으로 인식함으로써, 다수의 사용자 행위에 해당하는 사용자 상황을 정확하게 판단할 수 있다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110, 210: 정보 수집부 120, 220: 행위 수 판단부
130, 230: 유사도 계산부 140, 240: 데이터베이스
150, 250: 후보 기준음원 선택부 160, 260: 배타 기준음원 제거부
170, 270: 다중 행위 인식부 280: 사용자 상황 판단부

Claims (15)

  1. 사용자가 위치하는 장소에서 음원을 수집하는 단계;
    상기 수집한 음원의 시작 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 시작 유사도를 계산하고 상기 수집한 음원의 종료 음원 패턴과 상기 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 종료 유사도를 계산하는 단계;
    상기 시작 유사도와 상기 종료 유사도에 기초하여 상기 시작 음원 패턴 및 종료 음원 패턴과 일치하는 기준 음원 패턴을 각각 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴으로 선택하는 단계; 및
    상기 시작 후보 기준 음원 패턴, 상기 종료 후보 기준 음원 패턴 및 사용자 위치 정보에 기초하여 사용자의 다수 행위를 인식하는 단계를 포함하는 것을 특징으로 하는 사용자의 다수 행위 인식 방법.
  2. 제 1 항에 있어서, 상기 사용자의 다수 행위 인식 방법은
    상기 수집한 음원에서 임계 크기 이상으로 증가하는 증가 구역을 판단하는 단계; 및
    상기 증가 구역의 수로부터 상기 수집한 음원을 형성하는 다수 행위의 수를 판단하는 단계를 더 포함하는 것을 특징으로 하는 사용자의 다수 행위 인식 방법.
  3. 제 2 항에 있어서, 상기 사용자의 다수 행위 인식 방법에서 상기 시작 후보 기준 음원 패턴 및 상기 종료 후보 기준 음원 패턴을 선택하는 단계는
    상기 사용자 위치 정보에 기초하여 상기 시작 후보 기준 음원 패턴 또는 상기 종료 후보 기준 음원 패턴 중 상기 장소에서 일어날 수 없는 배타 기준 음원 패턴을 판단하는 단계; 및
    상기 배타 기준 음원 패턴을 상기 시작 후보 기준 음원 패턴 또는 상기 종료 후보 기준 음원 패턴에서 삭제하여 최종 후보 기준 음원 패턴을 결정하는 단계를 더 포함하며,
    상기 최종 후보 기준 음원 패턴과 상기 사용자 위치 정보에 기초하여 사용자의 다수 행위를 인식하는 것을 특징으로 하는 사용자의 다수 행위 인식 방법.
  4. 제 3 항에 있어서,
    상기 증가 구역의 수가 2로 판단되는 경우, 상기 사용자의 다수 행위를 인식하는 단계는
    상기 최종 후보 기준 음원 패턴 중 1개의 시작 후보 기준 음원 패턴과 상기 최종 후보 기준 음원 패턴 중 1개의 종료 후보 기준 음원 패턴을 각각 합하여 후보 음원 조합을 생성하는 단계;
    상기 후보 음원 조합을 구성하는 각 후보 음원과 상기 수집한 음원의 유사도를 비교하여 상기 후보 음원 조합 중 상기 수집한 음원과 가장 유사한 최종 후보 음원을 결정하는 단계; 및
    상기 최종 후보 음원을 구성하는 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴에 각각 매핑되어 있는 다수 행위를 사용자의 행위로 인식하는 단계를 포함하는 것을 특징으로 하는 사용자의 다수 행위 인식 방법.
  5. 제 3 항에 있어서,
    상기 증가 구역의 수가 2로 판단되는 경우, 상기 사용자의 다수 행위를 인식하는 단계는
    상기 시작 후보 기준 음원 패턴의 최종 후보 기준 음원 패턴 중 상기 종료 후보 기준 음원 패턴의 최종 후보 기준 음원 패턴과 일치하는 일치 후보 기준 음원 패턴이 존재하는지 판단하는 단계;
    상기 일치 후보 기준 음원 패턴이 존재하는 경우, 상기 일치 후보 기준 음원 패턴을 제1 최종 음원 패턴으로 결정하는 단계;
    상기 수집한 음원에서 상기 제1 최종 음원 패턴을 뺀 차 음원과 상기 데이터베이스에 저장된 기준 음원 패턴 사이의 유사도를 비교하여 제2 최종 음원 패턴을 결정하는 단계; 및
    상기 제1 최종 음원 패턴과 상기 제2 최종 음원 패턴에 각각 매핑되어 있는 행위를 사용자의 다수 행위로 인식하는 단계를 포함하는 것을 특징으로 하는 사용자의 다수 행위 인식 방법.
  6. 사용자가 위치하는 장소에서 음원을 수집하는 단계;
    상기 수집한 음원의 시작 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 시작 유사도를 계산하고 상기 수집한 음원의 종료 음원 패턴과 상기 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 종료 유사도를 계산하는 단계;
    상기 시작 유사도에 기초하여 상기 시작 음원 패턴과 일치하는 기준 음원 패턴을 시작 후보 기준 음원 패턴으로 결정하고, 상기 종료 유사도에 기초하여 상기 종료 음원 패턴과 일치하는 기준 음원 패턴을 종료 후보 기준 음원 패턴으로 결정하는 단계;
    상기 시작 후보 기준 음원 패턴과 상기 종료 후보 기준 음원 패턴에서 서로 일치하는 후보 기준 음원 패턴이 존재하는지 판단하는 단계;
    상기 서로 일치하는 후보 기준 음원 패턴이 존재하는 경우, 상기 서로 일치하는 후보 기준 음원 패턴을 제1 최종 음원 패턴으로 결정하고 상기 제1 최종 음원 패턴을 이용하여 나머지 최종 음원 패턴을 판단하는 단계; 및
    상기 제1 최종 음원 패턴과 상기 나머지 최종 음원 패턴에 각각 매핑되어 있는 사용자 행위를 사용자의 다수 행위로 인식하는 단계를 포함하는 것을 특징으로 하는 사용자의 다수 행위 인식 방법.
  7. 제 6 항에 있어서, 상기 사용자의 다수 행위 인식 방법은
    상기 수집한 음원에서 임계 크기 이상으로 증가하는 증가 구역을 판단하는 단계; 및
    상기 증가 구역의 수로부터 상기 수집한 음원을 형성하는 다수 행위의 수를 판단하는 단계를 더 포함하는 것을 특징으로 하는 사용자의 다수 행위 인식 방법.
  8. 제 7 항에 있어서, 상기 증가 구역의 수가 2로 판단되는 경우, 상기 사용자의 다수 행위를 인식하는 단계는
    상기 서로 일치하는 후보 기준 음원 패턴이 존재하는 경우, 상기 서로 일치하는 후보 기준 음원 패턴을 제1 최종 음원 패턴으로 결정하는 단계;
    상기 수집한 음원에서 상기 제1 최종 음원 패턴을 뺀 차 음원과 상기 데이터베이스에 저장된 기준 음원 패턴 사이의 유사도를 비교하여 제2 최종 음원 패턴을 결정하는 단계; 및
    상기 제1 최종 음원 패턴과 상기 제2 최종 음원 패턴에 각각 매핑되어 있는 행위를 사용자의 다수 행위로 인식하는 단계를 포함하는 것을 특징으로 하는 사용자의 다수 행위 인식 방법.
  9. 제 7 항에 있어서, 상기 서로 일치하는 후보 기준 음원 패턴이 존재하지 않으며 상기 증가 구역의 수가 2로 판단되는 경우, 상기 사용자의 다수 행위를 인식하는 단계는
    상기 시작 후보 기준 음원 패턴과 상기 종료 후보 기준 음원 패턴을 각각 합하여 후보 음원 조합을 생성하는 단계;
    상기 후보 음원 조합을 구성하는 각 후보 음원과 상기 수집한 음원의 유사도를 비교하여 상기 후보 음원 중 상기 수집한 음원과 가장 유사한 최종 음원 패턴을 결정하는 단계; 및
    상기 최종 음원 패턴을 구성하는 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴에 각각 매핑되어 있는 행위를 사용자의 다수 행위로 인식하는 단계를 포함하는 것을 특징으로 하는 사용자의 다수 행위 인식 방법.
  10. 제 8 항 또는 제 9 항에 있어서, 상기 사용자의 다수 행위 인식 방법에서 상기 시작 후보 기준 음원 패턴 및 상기 종료 후보 기준 음원 패턴을 선택하는 단계는
    사용자 위치 정보에 기초하여 상기 후보 기준 음원 패턴 중 상기 장소에서 일어날 수 없는 배타 기준 음원 패턴 패턴을 판단하는 단계; 및
    상기 배타 기준 음원 패턴을 상기 시작 후보 기준 음원 패턴 또는 상기 종료 후보 기준 음원 패턴에서 삭제하여 최종 후보 기준 음원 패턴을 결정하는 단계를 더 포함하는 것을 특징으로 하는 사용자의 다수 행위 인식 방법.
  11. 사용자가 위치하는 장소에서 음원 및 사용자 위치 정보를 수집하는 단계;
    상기 수집한 음원의 시작 음원 패턴과 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 시작 유사도를 계산하고 상기 수집한 음원의 종료 음원 패턴과 상기 데이터베이스에 저장되어 있는 기준 음원 패턴 사이의 종료 유사도를 계산하는 단계;
    상기 시작 유사도와 상기 종료 유사도에 기초하여 상기 시작 음원 패턴 및 종료 음원 패턴과 일치하는 기준 음원 패턴을 각각 시작 후보 기준 음원 패턴과 종료 후보 기준 음원 패턴으로 선택하는 단계;
    상기 시작 후보 기준 음원 패턴과 상기 종료 후보 기준 음원 패턴으로부터 생성되는 합 음원 패턴을 상기 수집한 음원과 비교하여 상기 시작 후보 기준 음원 패턴 또는 상기 종료 후보 기준 음원 패턴에서 상기 수집한 음원을 형성하는 제1 최종 음원 패턴과 제2 최종 음원 패턴을 결정하는 단계; 및
    상기 제1 최종 음원 패턴과 상기 제2 최종 음원 패턴으로부터 생성되는 음원 패턴 조합 및 사용자 위치 정보에 기초하여 사용자 상황을 판단하는 단계를 포함하는 것을 특징으로 하는 사용자 상황 판단 방법.
  12. 제 11 항에 있어서, 상기 사용자 상황 판단 방법은
    상기 수집한 음원에서 임계 크기 이상으로 증가하는 증가 구역을 판단하는 단계; 및
    상기 증가 구역의 수로부터 상기 수집한 음원을 형성하는 다수 행위의 수를 판단하는 단계를 더 포함하는 것을 특징으로 하는 사용자 상황 판단 방법.
  13. 제 12 항에 있어서, 상기 사용자 상황 판단 방법에서 상기 시작 후보 기준 음원 패턴 및 상기 종료 후보 기준 음원 패턴을 선택하는 단계는
    상기 사용자 위치 정보에 기초하여 상기 시작 후보 기준 음원 패턴 또는 상기 종료 후보 기준 음원 패턴 중 상기 장소에서 일어날 수 없는 배타 기준 음원 패턴을 판단하는 단계; 및
    상기 배타 기준 음원 패턴을 상기 시작 후보 기준 음원 패턴 또는 상기 종료 후보 기준 음원 패턴에서 삭제하는 단계를 더 포함하는 것을 특징으로 하는 사용자상황 판단 방법.
  14. 제 13 항에 있어서,
    상기 증가 구역의 수가 2로 판단되는 경우, 상기 사용자의 상황을 판단하는 단계는
    상기 시작 후보 기준 음원 패턴 중 1개의 후보 음원 패턴과 상기 종료 후보 기준 음원 패턴 중 1개의 후보 음원 패턴을 각각 합하여 후보 음원 조합을 생성하는 단계;
    상기 후보 음원 조합을 구성하는 각 후보 음원과 상기 수집한 음원의 유사도를 비교하여 상기 후보 음원 조합 중 상기 수집한 음원과 가장 유사한 최종 후보 음원을 결정하는 단계; 및
    상기 최종 후보 음원을 구성하는 제1 최종 음원 패턴과 제2 최종 음원 패턴으로 이루어진 패턴 조합에 해당하는 다수 행위로부터 사용자 상황을 판단하는 단계를 포함하는 것을 특징으로 하는 사용자 상황 판단 방법.
  15. 제 13 항에 있어서,
    상기 증가 구역의 수가 2로 판단되는 경우, 상기 사용자 상황을 판단하는 단계는
    상기 시작 후보 기준 음원 패턴과 상기 종료 후보 기준 음원 패턴 중에서 서로 일치하는 일치 후보 기준 음원 패턴이 존재하는지 판단하는 단계;
    상기 일치 후보 기준 음원 패턴을 제1 최종 음원 패턴으로 결정하는 단계;
    상기 수집한 음원에서 상기 제1 최종 음원 패턴을 뺀 차 음원과 상기 데이터베이스에 저장된 기준 음원 패턴 사이의 유사도를 비교하여 제2 최종 음원 패턴을 결정하는 단계; 및
    상기 제1 최종 음원 패턴과 상기 제2 최종 음원 패턴으로 이루어진 패턴 조합에 해당하는 다수 행위로부터 사용자 상황을 판단하는 단계를 포함하는 것을 특징으로 하는 사용자 상황 판단 방법.
KR1020140160761A 2014-11-18 2014-11-18 음향 정보에 기초한 사용자 다수 행위 인식 방법 KR101625304B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140160761A KR101625304B1 (ko) 2014-11-18 2014-11-18 음향 정보에 기초한 사용자 다수 행위 인식 방법
CN201580052271.4A CN106852171B (zh) 2014-11-18 2015-11-09 基于声音信息的用户多个行为识别方法
PCT/KR2015/012016 WO2016080695A1 (ko) 2014-11-18 2015-11-09 음향 정보에 기초한 사용자 다수 행위 인식 방법
US15/525,810 US20170371418A1 (en) 2014-11-18 2015-11-09 Method for recognizing multiple user actions on basis of sound information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140160761A KR101625304B1 (ko) 2014-11-18 2014-11-18 음향 정보에 기초한 사용자 다수 행위 인식 방법

Publications (2)

Publication Number Publication Date
KR20160059197A KR20160059197A (ko) 2016-05-26
KR101625304B1 true KR101625304B1 (ko) 2016-05-27

Family

ID=56014171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140160761A KR101625304B1 (ko) 2014-11-18 2014-11-18 음향 정보에 기초한 사용자 다수 행위 인식 방법

Country Status (4)

Country Link
US (1) US20170371418A1 (ko)
KR (1) KR101625304B1 (ko)
CN (1) CN106852171B (ko)
WO (1) WO2016080695A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11157230B2 (en) * 2019-08-09 2021-10-26 Whisper Capital Llc Motion activated sound generating and monitoring mobile application
CN114930134A (zh) * 2020-09-08 2022-08-19 松下电器（美国）知识产权公司 行为推断装置、行为推断方法及程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010190861A (ja) 2009-02-20 2010-09-02 Toshiba Corp 状況認識装置及び状況認識方法
KR101165537B1 (ko) 2010-10-27 2012-07-16 삼성에스디에스 주식회사 사용자 장치 및 그의 사용자의 상황 인지 방법
KR101270074B1 (ko) 2011-05-31 2013-05-31 삼성에스디에스 주식회사 소리 기반 공간지도를 이용한 상황인식 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05509409A (ja) * 1990-06-21 1993-12-22 レイノルズ　ソフトウエア，インコーポレイティド 波動分析・事象認識方法およびその装置
US6959276B2 (en) * 2001-09-27 2005-10-25 Microsoft Corporation Including the category of environmental noise when processing speech signals
US7254775B2 (en) * 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
ATE398324T1 (de) * 2004-04-20 2008-07-15 France Telecom Spracherkennung durch kontextuelle modellierung der spracheinheiten
US8442832B2 (en) * 2008-12-08 2013-05-14 Electronics And Telecommunications Research Institute Apparatus for context awareness and method using the same
KR101329100B1 (ko) * 2008-12-08 2013-11-14 한국전자통신연구원 상황 인지 장치 및 이를 이용한 상황 인지 방법
KR20110038208A (ko) * 2009-10-08 2011-04-14 주식회사코어벨 스마트센서시스템에서 상황인지 기반 정보처리 방법
US8411050B2 (en) * 2009-10-14 2013-04-02 Sony Computer Entertainment America Touch interface having microphone to determine touch impact strength
US9443511B2 (en) * 2011-03-04 2016-09-13 Qualcomm Incorporated System and method for recognizing environmental sound
US20150370320A1 (en) * 2014-06-20 2015-12-24 Medibotics Llc Smart Clothing with Human-to-Computer Textile Interface
US20150016623A1 (en) * 2013-02-15 2015-01-15 Max Sound Corporation Active noise cancellation method for enclosed cabins
FR3011936B1 (fr) * 2013-10-11 2021-09-17 Snecma Procede, systeme et programme d'ordinateur d'analyse acoustique d'une machine
NL2011893C2 (en) * 2013-12-04 2015-06-08 Stichting Incas3 Method and system for predicting human activity.
US9466316B2 (en) * 2014-02-06 2016-10-11 Otosense Inc. Device, method and system for instant real time neuro-compatible imaging of a signal
US9749762B2 (en) * 2014-02-06 2017-08-29 OtoSense, Inc. Facilitating inferential sound recognition based on patterns of sound primitives
US9386140B2 (en) * 2014-04-10 2016-07-05 Twin Harbor Labs, LLC Methods and apparatus notifying a user of the operating condition of a remotely located household appliance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010190861A (ja) 2009-02-20 2010-09-02 Toshiba Corp 状況認識装置及び状況認識方法
KR101165537B1 (ko) 2010-10-27 2012-07-16 삼성에스디에스 주식회사 사용자 장치 및 그의 사용자의 상황 인지 방법
KR101270074B1 (ko) 2011-05-31 2013-05-31 삼성에스디에스 주식회사 소리 기반 공간지도를 이용한 상황인식 장치 및 방법

Also Published As

Publication number Publication date
KR20160059197A (ko) 2016-05-26
CN106852171A (zh) 2017-06-13
WO2016080695A1 (ko) 2016-05-26
US20170371418A1 (en) 2017-12-28
CN106852171B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
JP6596376B2 (ja) 話者識別方法及び話者識別装置
KR101893315B1 (ko) 지문 정보의 동적 업데이트 방법과 지문 인식 장치
US20170185836A1 (en) Marking analysis system and marking analysis method
JP6027132B2 (ja) 質量分析法とスコア正規化による微生物の特定方法
JP5738358B2 (ja) 移動パターンマイニング装置及び方法
JP6004016B2 (ja) 情報変換方法、情報変換装置および情報変換プログラム
JP2006276854A (ja) オーディオデータ分類方法
JP6798798B2 (ja) ユーザ認証のためのデータを更新する方法及び装置
KR101804170B1 (ko) 비관심 아이템을 활용한 아이템 추천 방법 및 장치
JP2013206187A (ja) 情報変換装置、情報検索装置、情報変換方法、情報検索方法、情報変換プログラム、情報検索プログラム
JP6708043B2 (ja) データ検索プログラム、データ検索方法およびデータ検索装置
US20210158071A1 (en) Match determination device, match determination method, storage medium
KR101625304B1 (ko) 음향 정보에 기초한 사용자 다수 행위 인식 방법
KR20180080864A (ko) 특징배우 결정 및 특징배우 출연확률 기반 영상 식별 방법 및 장치
KR20220098702A (ko) 아티스트의 이미지 향상을 위한 가이드 정보 제공 시스템
JP2019211633A (ja) 音声処理プログラム、音声処理方法および音声処理装置
JPWO2013145249A1 (ja) 生体認証装置、生体認証方法、および生体認証プログラム
CN105893515B (zh) 一种信息处理方法及服务器
JP4868170B2 (ja) テキストマイニング装置、テキストマイニング方法、および、テキストマイニングプログラム
CN117152092A (zh) 全参考图像评价方法、装置、电子设备和计算机存储介质
CN106663110B (zh) 音频序列对准的概率评分的导出
JP5679282B2 (ja) 芯線幅測定装置、芯線幅計算方法、芯線幅計算プログラム
KR101550108B1 (ko) 음향 정보에 기초한 사용자 행위 인식 방법
JP2008293178A (ja) シーン管理装置及びシーン管理方法ならびにそのプログラム
CN112597699A (zh) 一种融入客观赋权法的社交网络谣言源识别方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190408

Year of fee payment: 4