KR101329100B1 - 상황 인지 장치 및 이를 이용한 상황 인지 방법 - Google Patents

상황 인지 장치 및 이를 이용한 상황 인지 방법 Download PDF

Info

Publication number
KR101329100B1
KR101329100B1 KR1020090104128A KR20090104128A KR101329100B1 KR 101329100 B1 KR101329100 B1 KR 101329100B1 KR 1020090104128 A KR1020090104128 A KR 1020090104128A KR 20090104128 A KR20090104128 A KR 20090104128A KR 101329100 B1 KR101329100 B1 KR 101329100B1
Authority
KR
South Korea
Prior art keywords
user
recognition
recognition unit
unit
recognizing
Prior art date
Application number
KR1020090104128A
Other languages
English (en)
Other versions
KR20100066352A (ko
Inventor
정영규
한문성
유동완
배창석
김진태
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/632,010 priority Critical patent/US8442832B2/en
Priority to JP2009278770A priority patent/JP2010134937A/ja
Publication of KR20100066352A publication Critical patent/KR20100066352A/ko
Application granted granted Critical
Publication of KR101329100B1 publication Critical patent/KR101329100B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 감정 상태를 인지하는 상황 인지 장치 및 상황 인지 방법이 제공된다. 상황 인지 장치는 음성신호에 기반하여 사용자의 감정상태를 인식하는 음성 기반 인식부, 움직임에 기반하여 상기 사용자의 감정상태를 인식하는 움직임 기반 인식부, 상기 사용자가 속해 있는 장소를 인식하는 위치 인식부, 및 상기 음성 기반 인식부, 상기 움직임 기반 인식부 및 상기 위치 인식부의 인식 결과들을 분석하여 상기 사용자의 상황을 인지하는 융합 인식부를 구비한다. 따라서, 사용자에게 일어난 사고나 위험 상황 등을 신속하고 정확하게 인식할 수 있다.
상황 인지, 감정 상태, 다중 센서 융합

Description

상황 인지 장치 및 이를 이용한 상황 인지 방법{Apparatus for contest awareness and method using the same}
본 발명은 상황 인지 장치 및 이를 이용한 상황 인지 방법에 관한 것으로서, 상황 인지 기술(context awareness technology), 특히 다중센서의 측정 결과를 융합하여 사용자의 감정 상태를 인식하는 기술에 관한 것이다.
본 발명은 지식경제부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-032-03, 과제명: 퍼스널 Life Log기반 지능형 서비스 기술 개발].
상황 인지 기술(context awareness technology)은 통신 및 컴퓨팅 능력을 가지고 주변 상황을 인식하고 판단하여 인간에게 유용한 정보를 제공하기 위한 기술이다. 상황 인지에 이용되는 상황 정보는 사용자가 상호 작용을 하는 시점에 이용할 수 있는 모든 정보로서 사람, 객체의 위치 및 활동 상태 등을 포함한다. 이러한 상황 정보의 수집 및 교환을 통해 주변 상황을 인지하고, 해석 및 추론과 같은 처리 과정을 거쳐 사용자에게 특정 상황에 적절한 서비스를 제공할 수 있는 상황 인지 기술은 특히 유비쿼터스 환경과 더불어 의료, 교육, 재난, 구호 및 쇼핑 등 사회 전분야에 걸쳐 많은 영향을 줄 수 있는 기술로 기대를 모으고 있다. 실제로, 오늘날 많은 응용 기술을 위한 상황인지 기술이 개발되고 있으며 이를 실제 시스템에 적용하기 위한 많은 연구가 이루어지고 있다.
상황인지 기술을 실제 시스템에 적용하기 위해서는 먼저 상황에 대한 명확한 정의가 선행되어야 하고, 상황에 필요한 기술구조에 대한 이해가 필요하다. 즉, 상황인지 기술은 상황의 정의에 따라 전혀 다른 다양한 기술 분야에 적용될 수 있고 적절한 상황 인식을 위해 전혀 다른 다양한 기술들이 사용될 수 있다.
최근 상당한 성과를 거둔 상황인지 기술은 상황을 "위치"로 정의하고 사용자간의 근접성, 사용자와 기기간의 거리 등을 측정하여 적합한 서비스를 제공하는 기술이다. 또한, 인터넷을 기반으로 다양한 플랫폼들과 서비스들을 적절하게 선별하여 제공하되 사용자의 위치나 접속 네트워크의 범위에 적응화되거나 사용자의 위치나 접속 네트워크의 범위와는 무관하게 사용자의 개인적 취향이나 요구에 적응화된 데이터 서비스를 제공하는 상황인지 기술이 소개된 바 있다.
기존의 상황인지 기술에 대한 연구는 웹 상에서 사용자의 동작 패턴 등 사용자 상황을 분석하거나 사용자의 위치에 적응화된 서비스를 제공하는 것에 집중되어 있다.
기존에 이미 소개된 기술들은 개인의 감정상태를 분석하여 감정상태에 따라 적응화된 서비스를 제공하는 상황인지 시스템에 관한 기술이 아니다. 즉, 사용자에게 일어난 사고나 위험 등을 신속하고 정확하게 인식할 수 있도록 효과적으로 사용자의 감정 상태를 인식하고, 이를 기반으로 위험상황을 인식/판단할 수 있는 상 황 인지 장치는 통신 기술의 발달과 함께 그 활용가치와 필요성이 증가해 왔다.
나아가, 사용자의 감정상태를 분석하기 위해 사용자가 착용하고 있는 다양한 센서들로부터의 측정값들을 이용하는 경우 다양한 측정값들을 효율적으로 융합하여 정확하게 상황을 인지하는 것이 매우 중요하다.
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위해 안출된 것으로서, 상황을 사용자의 감정 상태로 정의하고 사용자에게 일어난 사고나 위험 상황 등을 신속하고 정확하게 인식할 수 있도록 하는 것을 목적으로 한다.
또한, 본 발명은 사용자의 음성, 움직임 변화, 사용자가 위치한 장소 및 사용자의 스케쥴 등 사용자의 감정 인식에 중요한 다중 센서의 인식 결과를 활용하여 효율적으로 사용자의 감정상태를 인식하는 것을 목적으로 한다.
또한, 본 발명은 사용자가 위치한 장소 및 사용자의 스케쥴을 고려하여 상황 인식을 수행함으로써 보다 정확한 상황 인지가 가능하도록 하는 것을 목적으로 한다.
또한, 본 발명은 은행이나 편의점 등에 강도가 침입한 경우 등 위급상황에 비상벨을 누르는 등 위험한 행동을 할 필요 없이 위험 상황을 외부에 알리는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명에 따른 상황 인지 장치는, 음성신호에 기반하여 사용자의 감정상태를 인식하는 음성 기반 인식부, 움직임에 기반하여 상기 사용자의 감정상태를 인식하는 움직임 기반 인식부, 상기 사용자가 속해 있는 장소를 인식하는 위치 인식부, 및 상기 음성 기반 인식부, 상기 움직임 기반 인식부 및 상기 위치 인식부의 인식 결과들을 분석하여 상기 사용자의 상황을 인지하는 융합 인식부를 포함하는 것을 특징으로 한다.
상기 융합 인식부는, 상기 음성 기반 인식부, 움직임 기반 인식부 및 위치 인식부 중 적어도 하나의 인식 결과에 대한 확률값을 생성하여, 상기 확률값으로부터 상기 사용자의 상황을 인지하는 것을 특징으로 한다.
상기 융합 인식부는, 베이지안 네트워크(Bayesian Network), 뉴럴 네트워크(Neural Network), HMM(Hidden Markov Model), 보우팅(voting) 및 퍼지(Fuzzy) 중 어느 하나의 알고리즘을 이용하여 상기 사용자의 상황을 인지하는 것을 특징으로 한다.
상기 음성 기반 인식부는, 상기 사용자의 음성 입력을 수집하는 음성신호 수집부, 시간 및/또는 주파수 영역에서 상기 사용자의 감정 변화 시점을 검출하는 변화 시점 검출부, 및 상기 감정 변화 시점부터 일정 시간 동안의 데이터를 분석하여, 음성신호에 기반한 사용자의 감정상태를 인식하는 분석/인식부, 및 상기 분석/인식부에 의해 인식된 사용자의 감정상태가 어느 정도 정확도를 갖는지에 대한 확률값을 생성하는 확률값 생성부를 포함하는 것을 특징으로 한다.
상기 움직임 기반 인식부는, 하나 이상의 센서 또는 카메라로부터 데이터를 수집하는 데이터 수집부, 상기 센서 또는 카메라에 의한 센싱 데이터를 관리하는 데이터 제어부, 감정 표현 제스쳐 및 액티비티를 인식하기 위한 특징을 추출하는 특징 추출부, 상기 특징에 기반하여 상기 사용자의 감정을 나타내는 행동을 인식하는 분석/인식부, 및 상기 분석/인식부에 의해 인식된 사용자의 감정상태가 어느 정도 정확도를 갖는지에 대한 확률값을 생성하는 확률값 생성부를 포함하는 것 을 특징으로 한다.
상기 융합 인식부는, 상기 음성 기반 인식부, 움직임 기반 인식부 및 위치 인식부를 제어하는 관리부, 상기 사용자의 스케쥴 중에서 상황 인지에 고려될만한 것들을 제공하는 스케쥴 처리부, 및 상기 음성 기반 인식부, 움직임 기반 인식부, 위치 인식부 및 스케쥴 관리부로부터 제공되는 데이터를 융합 인식하여 상기 사용자의 상황을 인지하는 융합 인식/판단부를 포함하는 것을 특징으로 한다.
상기 사용자의 스케줄을 관리하고 검색하는 스케쥴 관리부를 더 포함하고, 상기 융합 인식부는, 상기 스케쥴 관리부로부터 상기 사용자의 스케쥴 정보를 제공 받고 이를 고려하여 상기 사용자의 상황을 인지하는 것을 특징으로 한다.
상기 스케쥴 관리부는, 상기 사용자의 스케쥴 중에서 상황 인지에 고려될만한 것들을 추출하여 상기 스케쥴 정보로 상기 융합 인식부에 제공하는 것을 특징으로 한다.
한편, 상기한 목적을 달성하기 위한 본 발명에 따른 상황 인지 방법은, 음성신호에 기반한 사용자의 감정상태 인식 결과를 수신하는 단계, 움직임에 기반한 상기 사용자의 감정상태 인식 결과를 수신하는 단계, 상기 사용자가 속해 있는 장소 인식 결과를 수신하는 단계, 및 상기 인식 결과들을 모두 고려하여 상기 사용자의 상황을 융합 인지하는 단계를 포함하는 것을 특징으로 한다.
상기 융합 인지하는 단계는, 상기 음성신호에 기반한 사용자의 감정상태 인식 결과가 어느 정도의 정확도를 갖는지에 대한 확률값을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 융합 인지하는 단계는, 상기 움직임에 기반한 사용자의 감정상태 인식 결과가 어느 정도의 정확도를 갖는지에 대한 확률값을 생성하는 단계를 더 포함하는 것을 특징으로 한다.
상기 융합 인지하는 단계는, 상기 음성신호에 기반한 사용자의 감정상태 인식 결과, 상기 움직임에 기반한 상기 사용자의 감정상태 인식 결과 및 상기 장소 인식 결과 중 적어도 하나의 인식 결과에 대한 확률값으로부터 상기 사용자의 상황을 인지하는 것을 특징으로 한다.
상기 융합 인지하는 단계는, 베이지안 네트워크(Bayesian Network), 뉴럴 네트워크(Neural Network), HMM(Hidden Markov Model), 보우팅(voting) 및 퍼지(Fuzzy) 중 어느 하나의 알고리즘을 이용하여 상기 사용자의 상황을 인지하는 것을 특징으로 한다.
상기 사용자의 스케쥴 정보를 수신하는 단계를 더 포함하고, 상기 융합 인지하는 단계는 상기 스케쥴 정보를 고려하여 상기 사용자의 상황을 인지하는 것을 특징으로 한다.
상기 스케쥴 정보를 수신하는 단계는, 상기 사용자의 스케쥴 중 상황 인지에 고려될만한 것으로 판단되어 추출된 것들만을 수신하는 것을 특징으로 한다.
본 발명에 의해 다음과 같은 효과를 얻을 수 있다.
본 발명에 따르면 상황을 사용자의 감정 상태로 정의하고 사용자에게 일어난 사고나 위험 상황 등을 신속하고 정확하게 인식할 수 있어 특히 위험에 상대적 으로 취약한 어린이나 여성 또는 노인들의 안전에 기여할 수 있다.
또한, 본 발명은 사용자의 음성, 움직임 변화, 사용자가 위치한 장소 및 사용자의 스케쥴 등 사용자의 감정 인식에 중요한 다중 센서의 인식 결과를 활용하여 효율적으로 사용자의 감정상태를 인식할 수 있다.
또한, 본 발명은 사용자가 위치한 장소 및 사용자의 스케쥴을 고려하여 상황 인식을 수행함으로써 보다 정확한 상황 인지가 가능하다.
또한, 본 발명은 은행이나 편의점 등에 강도가 침입한 경우 등 위급상황에 비상벨을 누르는 등 위험한 행동을 할 필요 없이도 위험 상황을 외부에 알릴 수 있다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 상황 인지 장치의 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 다른 상황 인지 장치는 음성 기반 인식부(110), 움직임 기반 인식부(120), 위치 인식부(130), BAN 통신부(140), 융합 인식부(150), 스케쥴 관리부(160) 및 스케쥴 데이터베이스(170)를 포함한다.
음성 기반 인식부(110)는 마이크 등의 음성 입력 장치를 통해 입력된 신호로부터 감정 변화 시점을 검출하고, 검출된 감정 변화 시점부터 일정 시간 동안의 사용자 음성 데이터를 주파수 및/또는 시간 영역에서 분석하여 두려움, 즐거움, 화남, 안정 등과 같은 감정 상태를 분석/인식하고, 인식 결과를 BAN(Body Area Network; 인체통신망) 등의 네트워크를 통하여 전송한다. 이 때, 음성 기반 인식부(110)는 감정상태 인식 결과가 어느 정도의 정확도를 갖는지에 대한 확률값을 생성한다. 감정상태 인식 결과는 생성된 확률값을 포함하는 개념일 수 있다.
움직임 기반 인식부(120)는 복수개의 센서 또는 카메라로부터 가속도를 수집하고, 수집된 데이터로부터 특징을 추출하여 추출된 특징과 학습모델을 이용하여 걷기, 뛰기, 서기, 거부하기, 질질 끌려가기, 서있기 및 떨기 등과 같은 감정표현 제스처(gesture) 및 액티비티(activity)를 인식하고, 인식 결과를 BAN 등을 통하여 전송한다.
이 때, 움직임 기반 인식부(120)는 감정상태 인식 결과가 어느 정도의 정확도를 갖는지에 대한 확률값을 생성한다. 감정상태 인식 결과는 생성된 확률값을 포함하는 개념일 수 있다.
위치 인식부(130)는 GPS 및/또는 중력센서를 이용하여 GPS 정보 및/또는 중력값을 측정하고, 측정된 결과 및 맵을 이용하여 사용자가 속해 있는 장소를 인식한다. 이 때, 장소 인식 결과는 중력센서를 이용하여 측정된 중력값에 의해 보 정될 수 있다. 또한, 장소는 건물의 층을 포함하는 개념일 수 있다.
실시예에 따라, 위치 인식부(130)는 GPS 수집 모듈, 중력값 측정 모듈, 맵을 이용한 위치 변환 모듈 및 중력값을 이용한 장소 변환 모듈을 포함하여 구성될 수 있다.
GPS 등을 이용하여 맵상에서 사용자의 위치를 식별하는 기술에 대해서는 일반적으로 공지되어 있는 기술을 이용하므로, 이에 대한 구체적인 설명은 생략한다.
실시예에 따라, 위치 인식부(130)는 시간 등에 따른 사용자의 위치에 관한 패턴 데이터베이스를 구축하고, 다양한 학습 알고리즘에 의하여 위치 인식 결과를 제공할 수도 있다. 이 때, 위치 인식 결과는 위치 인식 결과가 어느 정도의 정확도를 갖는지에 대한 확률값을 포함하는 개념일 수 있다. 이 때, 위치 인식부(130)는 이하 음성 기반 인식부(110) 등을 통하여 소개될 학습 알고리즘을 이용하여 위치 인식 및 확률값을 생성 할 수 있다.
이와 같이 장소 정보를 상황 인식에 고려하는 이유는, 제1 장소에서 특정 감정 상태가 갖는 의미와 제2 장소에서 특정 감정 상태가 갖는 의미가 다를 수 있기 때문이다. 예를 들어, 사용자가 갑자기 격렬하게 움직이며 소리를 지르는 감정 상태가 감지되는 경우에 사용자의 위치가 야구장이라면 위험 상태일 가능성이 낮지만, 사용자의 위치가 도서관이라면 위험 상태일 가능성이 크다.
스케쥴 관리부(160)는 사용자로부터 일정을 입력 받고, 일정 통계를 제공하며, 요청에 의해 시간별 일정 검색 결과를 제공한다.
스케쥴 관리부(160)는 사용자의 스케쥴 패턴을 분석하여 패턴 데이터베이스를 구축할 수도 있다.
스케쥴 데이터베이스(170)는 사용자의 스케쥴 데이터를 저장하고, 스케쥴 관리부(160)의 요청에 따라 이를 스케쥴 관리부(160)로 제공한다.
이와 같이, 스케쥴 정보를 상황 인식에 고려하는 이유는, 사용자가 현재 어떤 스케쥴을 수행하고 있는지에 따라 사용자의 감정상태가 갖는 의미가 다를 수 있기 때문이다.
실시예에 따라, 스케쥴 관리부(160)는 일정 입력 모듈, 일정 통계 관리 모듈, 시간별 일정 검색 모듈 및 일정패턴 분석 모듈을 포함하여 구성될 수 있다.
BAN 통신부(140)는 음성 기반 인식부(110), 움직임 기반 인식부(120) 및 위치 인식부(130)와 데이터를 교환한다. 도 1에는 BAN 통신부(140)를 별도의 블록으로 도시하였으나, 실시예에 따라 BAN 통신부(140)는 융합 인식부(150) 등 다른 블록의 일부로 구현될 수도 있다.
융합 인식부(150)는 음성 기반 인식부(110), 움직임 기반 인식부(120), 위치 인식부(130) 및 스케쥴 관리부(160)로부터 제공되는 정보를 융합 인식하고 이를 기반으로 상황을 인지한다.
융합 인식부(150)는 음성 기반 인식부(110), 움직임 기반 인식부(120) 및 위치 인식부 중 어느 하나 이상에서 확률값이 제공되는 경우 확률값을 이용하여 감정상태를 인식/판단함으로써 확률기반 융합 인식/판단을 수행할 수도 있다.
융합 인식부(150)는 음성 기반 인식부(110), 움직임 기반 인식부(120), 위 치 인식부(130) 및 스케쥴 관리부(160)로부터 제공되는 정보에 기초하여 확률 모델을 구축할 수 있다. 이 때, 융합 인식부(150)는 확률 모델에 기초하여 음성 기반 인식부(110), 움직임 기반 인식부(120), 위치 인식부(130) 및 스케쥴 관리부(160)로부터 제공되는 정보에 따라 상황 인식을 수행할 수 있다.
도 2는 도 1에 도시된 음성 기반 인식부(110)의 일 예를 나타낸 블록도이다.
도 2를 참조하면, 도 1에 도시된 음성 기반 인식부는 음성신호 수집부(210), 변화 시점 검출부(220), 분석/인식부(230), 확률값 생성부(240) 및 BAN 통신부(250)를 포함한다.
음성신호 수집부(210)는 마이크 등을 통하여 사용자의 음성 입력을 수집한다. 이 때, 음성신호 수집부(210)는 사용자의 음성 입력을 전기신호로 변환하고, 샘플링 및 아날로그-디지털 변환할 수 있다. 나아가, 음성신호 수집부(210)는 디지털 변환된 신호를 양자화할 수 있다.
또한, 음성신호 수집부(210)는 고주파 및 저주파 향상 모듈을 이용하여 S/N 비를 개선할 수 있다.
변화 시점 검출부(220)는 시간/주파수 영역에서 티거(Teager) 에너지나 피치(pitch) 또는 평탄도(smoothness) 등을 이용하여 감정상태가 변화되는 시점을 검출한다.
예를 들어, 감정상태가 변화되는 시점은 어절 단위 중에서 피치나 평탄도 가 급격히 변하는 시점일 수 있다.
음성 구간을 검출하는 방법은 J. C. Junqua, B. Mark, and B. Reaves, 'A Robust Algorithm for Word Boundary Detection in the Presence of Noise', IEEE transaction Speech and Audio Processing, Vol. 2, No. 3, 1994에 개시된 방법 등의 다양한 방법에 의해 수행될 수 있다.
분석/인식부(230)는 감정 변화 시점부터 일정 시간 동안의 데이터를 주파수 영역 및/또는 시간 영역에서 티거(Teager) 에너지, 피치 또는 평탄도의 변화를 분석하여 감정상태를 인식한다.
예를 들어, 분석/인식부(230)는 일정 시간 동안 급격한 평탄도 변화가 지속되면 측정 결과를 놀람 등의 불안한 감정상태에 맵핑시킬 수 있다.
이 때, 분석/인식부(230)는 다양한 사용자의 감정상태에 대응되는 음성 패턴에 관한 데이터베이스를 포함하고, 다양한 패턴 매칭(pattern matching) 기법을 통하여 감정상태를 인식할 수 있다. 패턴 매칭에 대해서는 R. Duda and P. Hart, 'Pattern Classification and Scene Analysis', John Wiley & Sons, 1973 등 다양한 방식이 소개되어 있다.
티거(Teager) 에너지, 피치 또는 평탄도의 변화를 이용한 음성 인식 기술은 논문 등을 통하여 다양한 방식이 소개된 바 있으나, 변화 시점 검출부(220) 및 분석 인식부(230)는 그 기능을 수행하기 위한 구체적 구현 방식을 어느 특정 방식에 한정하지 아니한다.
확률값 생성부(240)는 분석/인식부(230)에 의해 인식된 사용자의 감정상태 가 어느 정도 정확도를 갖는지 확률적인 결과로 변환한다.
예를 들어, 확률값 생성부(240)는 HMM(Hidden Markov Model)에서의 출력 확률을 확률값으로 출력할 수 있다. HMM 및 출력 확률 등에 대해서는 한국공개특허 제1999-0037460호 등에 상세히 개시되어 있다.
BAN 통신부(250)는 인식된 감정 상태 및/또는 대응하는 확률값을 BAN 등의 네트워크를 통하여 무선으로 전송한다.
도 3은 도 1에 도시된 움직임 기반 인식부(120)의 일 예를 나타낸 블록도이다.
도 3을 참조하면, 도 1에 도시된 움직임 기반 인식부(120)는 데이터 수집부(310), BAN 통신부(320), 데이터 제어부(330), 특징 추출부(340), 분석/인식부(350), 확률값 생성부(360) 및 BAN 통신부(370)를 포함한다.
데이터 수집부(310)는 센서 또는 카메라의 개수에 대응하여 하나 이상이 구비될 수 있으며, 센서 또는 카메라로부터 데이터를 수집한다.
BAN 통신부(320)는 데이터 수집부(310)에서 수집된 데이터를 BAN 등의 네트워크를 통하여 무선으로 전송한다.
데이터 제어부(330)는 BAN 통신부(320)를 통하여 센서 또는 카메라의 상태를 체크하고 데이터 수집부(310)를 통하여 제공되는 센서 또는 카메라로부터의 데이터가 동기화되도록 한다.
특징 추출부(340)는 제공된 센서 또는 카메라로부터의 데이터로부터 감정 표현 제스처 및 액티비티를 인식하기 위한 특징을 추출한다.
이 때, 특징 추출부(340)는 가속도값 사이의 차나 궤적 등을 특징으로 사용할 수 있다.
분석/인식부(350)는 걷기, 뛰기, 서기 및 앉기 등의 행동 액티비티와, 거부, 손들기, 발버둥치기, 질질 끌려가기, 낙상(落傷) 등과 같은 개인의 감정을 나타낼 수 있는 제스처들을 Threshold 기반의 rule-based 방법, 또는 뉴럴 네트워크(neural network), HMM, SVM(support vector machine) 등과 같은 학습 알고리즘을 이용하여 인식한다.
확률값 생성부(360)는 인식된 감정 상태가 어느 정도 정확도를 갖는지를 나타내는 확률값을 생성한다.
BAN 통신부(370)는 인식된 감정 상태 및/또는 대응하는 확률값을 BAN 등의 네트워크를 통하여 무선으로 전송한다.
도 3을 통하여 설명된 움직임 기반 인식부의 분석/인식부(350), 확률값 생성부(360) 및 BAN 통신부(370)는 센서 또는 카메라로부터 수집된 데이터에 기반하여 움직임을 인식한다는 것 이외에 도 2에 도시된 분석/인식부(230), 확률값 생성부(240) 및 BAN 통신부(250)와 유사한 방식으로 동작한다.
도 3을 통하여 구체적으로 설명되지 아니한 센서로부터의 동작을 인식하는 기술에 관해서는 한국공개특허 제2007-0031658호 등에 상세히 개시되어 있다.
도 4는 도 1에 도시된 융합 인식부(150)의 일 예를 나타낸 블록도이다.
도 4를 참조하면, 도 1에 도시된 융합 인식부(150)는 관리부(410), 스케쥴 처리부(420), 융합 인식/판단부(430) 및 통신부(440)를 포함한다.
관리부(410)는 도 1에 도시된 음성 기반 인식부(110), 움직임 기반 인식부(120) 및 위치 인식부(130)를 제어하여 각 블록들로부터 출력 값을 수신하고, 각 블록의 오류 제어 및 동기화를 수행한다.
스케쥴 처리부(420)는 사용자의 스케쥴 중에서 상황 인지에 고려될만한 것들을 추출하여 융합 인식/판단부(430)로 제공한다.
예를 들어, 스케쥴 처리부(420)는 하루 일정에서 주요 장소와 관련된 스케쥴 정보를 제공할 수 있다.
예를 들어, 사용자의 스케쥴은 고유 코드로 구분되고 스케쥴 처리부(420)는 기설정된 특정 코드에 해당하는 스케쥴들을 추출할 수 있다.
융합 인식/판단부(430)는 음성 기반 인식부(110), 움직임 기반 인식부(120), 위치 인식부(130) 및 스케쥴 관리부(160)로부터 제공되는 데이터를 융합 인식하여 위험상황을 판단한다.
이 때, 융합 인식은 베이지안 네트워크(Bayesian Network), 뉴럴 네트워크(Neural Network), HMM(Hidden Markov Model), 보우팅(voting) 및 퍼지(Fuzzy), SVM(Support Vector Machine) 중 어느 하나의 알고리즘을 이용하여 수행될 수 있다.
또한, 융합 인식/판단부(430)는 음성 기반 인식 결과, 움직임 기반 인식 결과, 장소 인식 결과 및 스케쥴 정보 중 둘 이상을 효율적으로 융합하기 위해 융 합 모델을 생성할 수 있다. 이를 위해 기존에 사용되는 베이지안 네트워크(Bayesian Network), 뉴럴 네트워크(Neural Network), HMM(Hidden Markov Model), 보우팅(voting) 또는 퍼지(Fuzzy) 등의 다양한 학습 알고리즘이 사용될 수 있다.
여기서 설명되지 아니한 융합 인식 및 융합 모델의 생성에 관한 구체적인 내용은 한국공개특허 제2008-0050994호 등에 상세히 개시되어 있다.
실시예에 따라, 융합 인식/판단부(430)는 음성 기반 인식 결과, 움직임 기반 인식 결과 및 장소 인식 결과 중 어느 하나 이상을 통하여 제공되는 확률값을 이용하여 사용자의 위험상황을 융합 인식/판단할 수도 있다.
특히, 융합 인식/판단부(430)는 융합 모델 생성시 위치 인식부(130) 및 스케쥴 관리부(160)로부터 제공되는 정보를 이용하여 보다 정확하게 사용자의 상태를 인식할 수 있다.
통신부(440)는 융합 인식/판단부(430)의 인지 결과를 네트워크를 통해 전송한다. 이 때, 네트워크는 WLAN(Wireless LAN)이나 BAN 등의 무선 네트워크일 수 있다.
이상에서 각 블록이 무선 네트워크를 통하여 통신하는 경우를 예로 설명하였으나, 본 발명의 실시예에서 설명된 네트워크는 유선 네트워크일 수도 있다.
도 5는 본 발명의 일실시예에 따른 상황 인지 방법을 나타낸 동작 흐름도 이다. 도 5를 참조하면, 본 발명의 일실시예에 따른 상황 인지 방법은 음성신호에 기반한 사용자의 감정상태 인식 결과를 수신한다(S510). 이 때, 감정상태 인식 결과는 확률값을 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 상황 인지 방법은 움직임에 기반한 상기 사용자의 감정상태 인식 결과를 수신한다(S520). 이 때, 감정상태 인식 결과는 확률값을 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 상황 인지 방법은 상기 사용자가 속해 있는 장소 인식 결과를 수신한다(S530). 이 때, 장소 인식 결과는 확률값을 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 상황 인지 방법은 상기 사용자의 스케쥴 정보를 수신한다(S540). 이 때, 'S540' 단계는 상기 사용자의 스케쥴 중 상황 인지에 고려될만한 것으로 판단되어 추출된 것들만을 수신할 수 있다.
또한, 본 발명의 일실시예에 따른 상황 인지 방법은 상기 인식 결과들 및 스케쥴 정보를 모두 고려하여 상기 사용자의 상황을 융합 인지한다(S550).
이 때, 'S550' 단계는 음성신호에 기반한 사용자의 감정상태 인식 결과, 움직임에 기반한 사용자의 감정 상태 인식 결과, 장소 인식 결과 중 적어도 하나에 포함된 확률값을 분석하여 상기 사용자의 상황을 인지할 수 있다. 이 때, 'S550' 단계는 베이지안 네트워크(Bayesian Network), 뉴럴 네트워크(Neural Network), HMM(Hidden Markov Model), 보우팅(voting) 및 퍼지(Fuzzy) 중 어느 하나의 알고리즘을 이용하여 상기 사용자의 상황을 인지할 수 있다.
도 5를 통하여 도시된 각 단계는 도 5에 도시된 순서, 그 역순 또는 동시에 수행될 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
도 1 은 본 발명의 일실시예에 따른 상황 인지 장치의 블록도이다.
도 2 는 도 1에 도시된 음성 기반 인식부의 일 예를 나타낸 블록도이다.
도 3 은 도 1에 도시된 움직임 기반 인식부의 일 예를 나타낸 블록도이다.
도 4 는 도 1에 도시된 융합 인식부의 일 예를 나타낸 블록도이다.
도 5 는 본 발명의 일실시예에 따른 상황 인지 방법을 나타낸 동작 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 음성 기반 인식부 120: 움직임 기반 인식부
130: 위치 인식부 150: 융합 인식부
160: 스케쥴 관리부

Claims (13)

  1. 음성신호에 기반하여 사용자의 감정상태를 인식하는 음성 기반 인식부;
    상기 사용자의 움직임에 기반하여 상기 사용자의 감정상태를 인식하는 움직임 기반 인식부;
    상기 사용자가 속해 있는 장소를 인식하는 위치 인식부; 및
    상기 음성 기반 인식부, 상기 움직임 기반 인식부 및 상기 위치 인식부의 인식 결과들을 분석하여 상기 사용자의 상황을 인지하는 융합 인식부;를 포함하며,
    상기 융합 인식부는,
    상기 음성 기반 인식부, 움직임 기반 인식부 및 위치 인식부 중 적어도 하나의 인식 결과에 대한 확률값을 생성하여, 상기 확률값으로부터 상기 사용자의 상황을 인지하는 것을 특징으로 하는 상황 인지 장치.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 음성 기반 인식부는,
    상기 사용자의 음성 입력을 수집하는 음성신호 수집부;
    시간 및/또는 주파수 영역에서 상기 사용자의 감정 변화 시점을 검출하는 변화 시점 검출부;
    상기 감정 변화 시점부터 일정 시간 동안의 데이터를 분석하여, 음성신호에 기반한 사용자의 감정상태를 인식하는 분석/인식부; 및
    상기 분석/인식부에 의해 인식된 사용자의 감정상태가 어느 정도 정확도를 갖는지에 대한 확률값을 생성하는 확률값 생성부;를 포함하는 것을 특징으로 하는 상황 인지 장치.
  4. 청구항 1에 있어서,
    상기 움직임 기반 인식부는,
    하나 이상의 센서 또는 카메라로부터 데이터를 수집하는 데이터 수집부;
    상기 센서 또는 상기 카메라에 의한 센싱 데이터를 관리하는 데이터 제어부;
    감정 표현 제스쳐 및 액티비티를 인식하기 위한 특징을 추출하는 특징 추출부;
    상기 특징에 기반하여 상기 사용자의 감정을 나타내는 행동을 인식하는 분석/인식부; 및
    상기 분석/인식부에 의해 인식된 사용자의 감정상태가 어느 정도 정확도를 갖는지에 대한 확률값을 생성하는 확률값 생성부;를 포함하는 것을 특징으로 하는 상황 인지 장치.
  5. 청구항 1에 있어서,
    상기 융합 인식부는,
    상기 음성 기반 인식부, 움직임 기반 인식부 및 위치 인식부를 제어하는 관리부;
    상기 사용자의 스케쥴 중에서 상황 인지에 고려될만한 것들을 제공하는 스케쥴 처리부; 및
    상기 음성 기반 인식부, 움직임 기반 인식부, 위치 인식부 및 스케쥴 관리부로부터 제공되는 데이터를 융합 인식하여 상기 사용자의 상황을 인지하는 융합 인식/판단부;를 포함하는 것을 특징으로 하는 상황 인지 장치.
  6. 청구항 1에 있어서,
    상기 사용자의 스케줄을 관리하고 검색하는 스케쥴 관리부;를 더 포함하고,
    상기 융합 인식부는, 상기 스케쥴 관리부로부터 상기 사용자의 스케쥴 정보를 제공 받고 이를 고려하여 상기 사용자의 상황을 인지하는 것을 특징으로 하는 상황 인지 장치.
  7. 청구항 6에 있어서,
    상기 스케쥴 관리부는,
    상기 사용자의 스케쥴 중에서 상황 인지에 고려될만한 항목을 추출하여 상 기 스케쥴 정보로서 상기 융합 인식부에 제공하는 것을 특징으로 하는 상황 인지 장치.
  8. 음성신호에 기반한 사용자의 감정상태 인식 결과를 수신하는 단계;
    상기 사용자의 움직임에 기반한 상기 사용자의 감정상태 인식 결과를 수신하는 단계;
    상기 사용자가 속해 있는 장소 인식 결과를 수신하는 단계; 및
    상기 인식 결과들을 모두 고려하여 상기 사용자의 상황을 융합 인지하는 단계;를 포함하며,
    상기 융합 인지하는 단계는,
    상기 음성신호에 기반한 사용자의 감정상태 인식 결과, 상기 움직임에 기반한 상기 사용자의 감정상태 인식 결과 및 상기 장소 인식 결과 중 적어도 하나의 인식 결과에 대한 확률값으로부터 상기 사용자의 상황을 인지하는 것을 특징으로 하는 상황 인지 방법.
  9. 청구항 8항에 있어서,
    상기 융합 인지하는 단계는,
    상기 음성신호에 기반한 사용자의 감정상태 인식 결과가 어느 정도의 정확도를 갖는지에 대한 확률값을 생성하는 단계;를 포함하는 것을 특징으로 하는 상황 인지 방법.
  10. 청구항 8항에 있어서,
    상기 융합 인지하는 단계는,
    상기 움직임에 기반한 사용자의 감정상태 인식 결과가 어느 정도의 정확도를 갖는지에 대한 확률값을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 상황 인지 방법.
  11. 삭제
  12. 청구항 8에 있어서,
    상기 사용자의 스케쥴 정보를 수신하는 단계;를 더 포함하고,
    상기 융합 인지하는 단계는 상기 스케쥴 정보를 고려하여 상기 사용자의 상황을 인지하는 것을 특징으로 하는 상황 인지 방법.
  13. 청구항 12항에 있어서,
    상기 스케쥴 정보를 수신하는 단계는,
    상기 사용자의 스케쥴 중 상황 인지에 고려될만한 사항으로 판단되어 추출된 것들만을 수신하는 것을 특징으로 하는 상황 인지 방법.
KR1020090104128A 2008-12-08 2009-10-30 상황 인지 장치 및 이를 이용한 상황 인지 방법 KR101329100B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/632,010 US8442832B2 (en) 2008-12-08 2009-12-07 Apparatus for context awareness and method using the same
JP2009278770A JP2010134937A (ja) 2008-12-08 2009-12-08 状況認知装置およびこれを用いた状況認知方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080124131 2008-12-08
KR1020080124131 2008-12-08

Publications (2)

Publication Number Publication Date
KR20100066352A KR20100066352A (ko) 2010-06-17
KR101329100B1 true KR101329100B1 (ko) 2013-11-14

Family

ID=42365457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090104128A KR101329100B1 (ko) 2008-12-08 2009-10-30 상황 인지 장치 및 이를 이용한 상황 인지 방법

Country Status (1)

Country Link
KR (1) KR101329100B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101575100B1 (ko) 2014-05-20 2015-12-09 전자부품연구원 사용자 그룹의 공간행동 센싱 및 의미분석 시스템

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101457377B1 (ko) * 2011-12-28 2014-11-03 김종성 미션실행 제스처 인식을 이용한 사용자 인증방법, 및 미션실행 제스처 인식을 이용한 사용자 인증 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
KR101939683B1 (ko) * 2012-03-29 2019-01-18 삼성전자 주식회사 사용자 행동 실시간 인식장치 및 방법
KR101625304B1 (ko) * 2014-11-18 2016-05-27 경희대학교 산학협력단 음향 정보에 기초한 사용자 다수 행위 인식 방법
KR102076807B1 (ko) * 2015-05-18 2020-02-13 전자부품연구원 공간행동 의미분석 시스템
KR101716093B1 (ko) 2016-07-06 2017-03-23 성균관대학교산학협력단 다중 센서 신호 기반의 상황 인식 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050030755A (ko) * 2003-09-26 2005-03-31 유티스타콤코리아 유한회사 이동통신 망을 이용한 대인/대물 위치 추적 장치 및 방법
KR20080050994A (ko) * 2006-12-04 2008-06-10 한국전자통신연구원 제스처/음성 융합 인식 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050030755A (ko) * 2003-09-26 2005-03-31 유티스타콤코리아 유한회사 이동통신 망을 이용한 대인/대물 위치 추적 장치 및 방법
KR20080050994A (ko) * 2006-12-04 2008-06-10 한국전자통신연구원 제스처/음성 융합 인식 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101575100B1 (ko) 2014-05-20 2015-12-09 전자부품연구원 사용자 그룹의 공간행동 센싱 및 의미분석 시스템

Also Published As

Publication number Publication date
KR20100066352A (ko) 2010-06-17

Similar Documents

Publication Publication Date Title
US8442832B2 (en) Apparatus for context awareness and method using the same
Ronao et al. Human activity recognition using smartphone sensors with two-stage continuous hidden Markov models
Koshmak et al. Challenges and issues in multisensor fusion approach for fall detection
KR101329100B1 (ko) 상황 인지 장치 및 이를 이용한 상황 인지 방법
Zhang et al. A comprehensive study of smartphone-based indoor activity recognition via Xgboost
US10341981B2 (en) User terminal device and method for recognizing user&#39;S location using sensor-based behavior recognition
US20040221171A1 (en) Intrusion detector based on mouse dynamics analysis
US11449746B2 (en) Behavioral biometric feature extraction and verification
Raja et al. Applicability of RF-based methods for emotion recognition: A survey
Xu et al. Attention-based gait recognition and walking direction estimation in wi-fi networks
Parnandi et al. Coarse in-building localization with smartphones
Suutala et al. Discriminative temporal smoothing for activity recognition from wearable sensors
Pham MobiRAR: Real-time human activity recognition using mobile devices
Kim et al. Deep neural network-based indoor emergency awareness using contextual information from sound, human activity, and indoor position on mobile device
Falcon et al. Predicting floor-level for 911 calls with neural networks and smartphone sensor data
Vitabile et al. A real-time network architecture for biometric data delivery in Ambient Intelligence
Xu et al. Attention-based walking gait and direction recognition in Wi-Fi networks
Ge et al. CRUFT: Context recognition under uncertainty using fusion and temporal learning
CN112863515B (zh) 利用手机扬声器和麦克风识别人体舌头下颚动作的方法
Uslu et al. A Bayesian approach for indoor human activity monitoring
Doukas et al. An assistive environment for improving human safety utilizing advanced sound and motion data classification
Ismael et al. A study on human activity recognition using smartphone
García-Navas et al. A new system to detect coronavirus social distance violation
Maier et al. Fine-grained activity recognition of pedestrians travelling by subway
Hu et al. Accelerometer-based gait authentication via neural network

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee