KR20150117496A - 자세 기반 감정상태 인식 장치 및 그 방법 - Google Patents

자세 기반 감정상태 인식 장치 및 그 방법 Download PDF

Info

Publication number
KR20150117496A
KR20150117496A KR1020140043011A KR20140043011A KR20150117496A KR 20150117496 A KR20150117496 A KR 20150117496A KR 1020140043011 A KR1020140043011 A KR 1020140043011A KR 20140043011 A KR20140043011 A KR 20140043011A KR 20150117496 A KR20150117496 A KR 20150117496A
Authority
KR
South Korea
Prior art keywords
emotion
feature information
user
edge
edge shape
Prior art date
Application number
KR1020140043011A
Other languages
English (en)
Inventor
김황남
이석규
배문규
손수연
김강호
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020140043011A priority Critical patent/KR20150117496A/ko
Publication of KR20150117496A publication Critical patent/KR20150117496A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

자세 기반 감정상태 인식 장치가 개시된다. 본 발명의 일 실시예에 따른 자세 기반 감정상태 인식 장치는 영상을 수집하는 영상 수집부; 상기 수집된 영상으로부터 사용자의 실루엣을 검출하고, 상기 사용자의 실루엣으로부터 엣지를 검출하여 사용자의 엣지 형상을 도출한 후 상기 엣지 형상 내부의 한 점을 기준으로 상기 엣지로 검출된 픽셀들 각각에 대한 각도 및 거리를 제1 동작 특징 정보로 산출하는 동작 특징 정보 산출부; 감정 판단의 기준이 되는 자세들을 나타내는 영상들 각각에 해당하는 감정 정보와 상기 감정 정보에 대응되는 동작 특징 정보를 포함하는 제2 동작 특징 정보를 저장하는 감정별 기준 영상 데이터베이스; 및 상기 산출된 제1 동작 특징정보와 상기 감정별 기준 영상 데이터베이스에 기 저장된 상기 제2 동작 특징 정보를 비교하여 사용자의 감정을 추정하는 감정 추정부를 포함한다.

Description

자세 기반 감정상태 인식 장치 및 그 방법{APPARATUS AND METHOD FOR RECOGNIZING EMOTION BASED ON BODY POSTURE}
본 발명은 감정상태 인식장치 및 그 방법에 관한 것으로서, 보다 상세하게는 사용자의 자세에 기반하여 해당 사용자의 감정상태를 인식하는 장치 및 그 방법에 관한 것이다.
최근 전자기기의 발달로 인하여 사용자가 처한 현재 상황을 전자기기가 자동으로 인식하고, 그에 따라 적절한 기능을 제공하는 상황 인지(Context-awareness) 관련 지능화 서비스들이 활발히 시도되고 있다. 현재로서는 초보적인 수준의 서비스(예컨대, 휴대기기를 들고 특정 음식점 앞에 가면 그 음식점에서 사용할 수 있는 할인쿠폰이 휴대기기에 제시됨 등)이 가능하지만, 미래에는 보다 복잡한 추론과정을 거친 고차원의 서비스가 가능할 것이라 예상된다.
한편, 뇌 과학 혹은 심리학분야의 최근연구 결과에 따르면 감정은 인간의 사고과정에 있어 이성보다 더 큰 영향력을 행사한다고 한다. 감정이 감각 정보를 처리하는 데에는 이성이 동일한 감각 정보를 처리하는데 드는 시간의 5분의 1밖에 걸리지 않는데, 이로 인해 인간은 이성적 생각이나 판단을 하기 전에 감정을 먼저 느끼게 된다는 것이다. 따라서 인간의 욕구나 의사결정 결과에는 현재의 감정상태가 반영되었다고 볼 수 있다.
그러므로 전자기기가 사용자의 감정을 인식할 수 있다면, 보다 정교한 지능화 서비스가 가능할 것이다. 이를 위해 종래에는 하기의 표정 인식 기반 음원제공 시스템 및 서비스와 같이 사용자의 표정을 인식하고 그 결과에 의거하여 사용자의 감정 상태를 판단한 후 그 감정 상태에 가장 적합한 서비스(예컨대, 적합한 디지털 음원 제공 서비스)를 제공하는 장치 및 방법들이 제안되었다. 하지만 이와 같이 얼굴을 기반으로 사용자의 감정 상태를 추정하는 방법은 얼굴을 정확히 인식해야 한다는 문제점이 있으며, 카메라 근처에서 촬영을 해야 한다는 약점이 있다. 따라서 그 적용 범위가 모바일 기기에 국한되며, 얼굴을 정확히 인식하지 못하는 경우 감정 상태를 정확하게 인식할 수 없는 단점이 있었다.
공개특허공보 10-2012-77485 표정 인식 기반 음원 제공 시스템 및 서비스
따라서 본 발명은 상기 문제를 해결하기 위해, 보다 정확한 감정 상태 인식 결과를 제공하는 자세 기반 감정상태 인식 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 감정 상태를 인식하기 위해 해당 사용자를 근접 촬영하거나 사용자의 얼굴을 정확히 인식하지 않아도 되는 자세 기반 감정 상태 인식 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 그 적용 범위가 모바일 기기에 국한되지 않으며, 보다 광범위한 분야에 적용 가능한 자세 기반 감정 상태 인식 장치 및 그 방법을 제공하고자 한다.
상기 목적을 달성하기 위해, 본 발명에서 제공하는 자세 기반 감정 상태 인식장치는 영상을 수집하는 영상 수집부; 상기 수집된 영상으로부터 사용자의 실루엣을 검출하고, 상기 사용자의 실루엣으로부터 엣지를 검출하여 사용자의 엣지 형상을 도출한 후 상기 엣지 형상 내부의 한 점을 기준으로 상기 엣지로 검출된 픽셀들 각각에 대한 각도 및 거리를 제1 동작 특징 정보로 산출하는 동작 특징 정보 산출부; 감정 판단의 기준이 되는 자세들을 나타내는 영상들 각각에 해당하는 감정 정보와 상기 감정 정보에 대응되는 동작 특징 정보를 포함하는 제2 동작 특징 정보를 저장하는 감정별 기준 영상 데이터베이스; 및 상기 산출된 제1 동작 특징정보와 상기 감정별 기준 영상 데이터베이스에 기 저장된 상기 제2 동작 특징 정보를 비교하여 사용자의 감정을 추정하는 감정 추정부를 포함한다.
이 때, 동작 특징 정보 산출부는 하기의 (수학식 1)에 의거하여 도출된 상기 엣지 형상 내부의 중심점을 기준점으로 결정하고, 하기의 (수학식 2)에 의거하여 상기 엣지로 검출된 픽셀들 각각의 각도를 산출하고, 하기의 (수학식 3)에 의거하여 상기 기준점과 상기 엣지로 검출된 픽셀들 각각의 거리를 산출하는 것이 바람직하다.
(수학식 1)
Figure pat00001
이 때,
Figure pat00002
와
Figure pat00003
는 각각 엣지형상 내부의 중심점을 나타내는
Figure pat00004
좌표와
Figure pat00005
좌표,
Figure pat00006
은 엣지형상 내부의 픽셀 개수,
Figure pat00007
는 픽셀이 검출된 엣지 형상 내부 영역을 나타낸다.
(수학식 2)
Figure pat00008
이 때,
Figure pat00009
는 각도를 의미하고,
Figure pat00010
와
Figure pat00011
는 엣지로 검출된 픽셀의
Figure pat00012
축과
Figure pat00013
축,
Figure pat00014
와
Figure pat00015
는 각각 엣지 형상 내부의 중심점을 나타내는
Figure pat00016
좌표와
Figure pat00017
좌표이다.
(수학식 3)
Figure pat00018
이 때,
Figure pat00019
와
Figure pat00020
는 엣지로 검출된 픽셀의
Figure pat00021
축과
Figure pat00022
축,
Figure pat00023
와
Figure pat00024
는 각각 엣지형상 내부의 중심점을 나타내는
Figure pat00025
좌표와
Figure pat00026
좌표이다.
또한, 상기 감정 추정부는 하기의 (수학식 4)에 의거하여 상기 사용자 동작 특징 정보와 상기 감정별 기준 영상 데이터베이스에 기 저장된 감정별 동작 특징정보에 포함된 각 감정별 동작 특징 정보들을 비교하고, 하기의 (수학식 5)에 의거하여 사용자의 감정을 추정하는 것이 바람직하다.
(수학식 4)
Figure pat00027
이 때,
Figure pat00028
는 와핑 매트릭스(warping matrix)이고,
Figure pat00029
는 유클리드 거리값(Euclidean distance value)
Figure pat00030
이고,
Figure pat00031
은 세 개의 값 중 가장 작은 값을 가리킨다.
(수학식 5)
Figure pat00032
이 때,
Figure pat00033
값이 적으면 적을수록 기준 영상(Ground truth)과 비슷함을 나타낸다.
한편, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 자세 기반 감정 상태 인식방법은 입력된 영상으로부터 사용자의 실루엣을 검출하는 단계; 상기 실루엣으로부터 엣지를 검출하여 사용자의 엣지 형상을 도출하는 단계; 상기 엣지 형상 내부의 한 점을 기준점으로 결정하고, 상기 엣지로 검출된 픽셀들 각각에 대하여 상기 기준점에 기초하여 산출된 각도 및 거리를 포함하는 제1 동작 특징 정보를 산출하는 단계; 및 감정 판단의 기준이 되는 자세들을 나타내는 영상들 각각에 해당하는 감정 정보와 상기 감정 정보에 대응되는 동작 특징 정보를 포함하는 제2 동작 특징 정보와 상기 제1 동작 특징 정보를 비교하여 사용자의 감정을 추정하는 단계를 포함한다.
상기 방법은 상기 입력된 영상으로부터 사용자의 실루엣을 검출하는 단계 이전에 상기 제2 동작 특징 정보를 저장하는 단계를 더 포함하고, 상기 제2 동작 특징 정보 저장 단계는 제1 감정에 대응한 자세에 대한 영상을 제작하는 단계; 상기 자세에 대한 실루엣을 검출하는 단계; 상기 실루엣으로부터 엣지형상을 도출하는 단계; 및 상기 엣지 형상 내부의 한 점을 기준점으로 결정하고, 상기 엣지로 검출된 픽셀들 각각에 대하여 상기 기준점에 기초하여 산출된 각도 및 거리를 포함하는 상기 제1 감정에 대한 동작 특징 정보를 산출하는 단계를 포함할 수 있으며, 상기 제2 동작 특징 정보 저장 단계는 사용자가 느낄 수 있는 대표적인 감정들 각각에 대하여 상기 단계들을 반복 수행하는 것이 바람직하다.
또한, 상기 사용자의 감정을 추정하는 단계는 상기 비교 결과에 의거하여 상기 제2 동작 특징 정보에 포함된 감정별 동작 특징 정보들 중 상기 제1 동작 특징 정보와 가장 근접한 동작 특징 정보에 대응된 감정을 사용자의 감정으로 추정하는 것이 바람직하다.
본 발명은 사용자의 자세(body posture)를 기반으로 감정 상태를 인식함으로써, 감정 상태를 인식하기 위해 해당 사용자를 근접 촬영하거나 사용자의 얼굴을 정확히 인식하지 않아도 된다. 따라서 감정 상태 인식 결과에 대한 정확성이 향상된다. 다시 말해, 종래에는 감정 상태를 인식하기 위해 정확한 얼굴 정보가 필요했으므로, 정확한 얼굴 정보를 인식하지 못하는 경우 감정 상태 인식 결과에 영향을 미쳐 감정 상태를 정확하게 인식하지 못하게 되지만, 본 발명은 정확한 얼굴 정보가 아닌 사용자의 자세만을 참조함으로써 자세를 인식하는 데에 오류가 발생할 확률이 적고 이로 인해 감정 상태 인식 결과에 대한 정확성은 향상되는 것이다.
또한 본 발명은 그 적용 범위가 모바일 기기에 국한되지 않는다. 예를 들어, 방송용 카메라나, 가정용 TV, 옥외 광고판 등 보다 광범위한 분야에 적용 가능한 장점이 있다. 예를 들어, 본 발명이 가정용 TV에 적용된 경우, 가정용 TV 앞에서 움직이는 사용자의 자세를 분석하고 그 결과에 따라 해당 사용자의 감정 상태를 인식한 후 맞춤형 채널 선택 서비스를 제공할 수 있는 것이다.
도 1은 본 발명의 일 실시 예에 따른 자세 기반 감정상태 인식 장치에 대한 개략적인 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 감정별 기준 영상의 예들을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 자세 기반 감정 상태 인식방법에 대한 개략적인 처리 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 동작 특징 정보 산출 과정에 대한 개략적인 처리 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 동작 특징 정보 산출 과정 중 사용자 실루엣 검출 결과를 나타낸 도면이다.
도 6은 도 5의 실루엣으로부터 도출된 사용자의 엣지(edge) 형상을 도시한 도면이다.
도 7은 사용자 영상과 임의의 한 감정별 기준 영상을 비교하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 처리 결과를 테스트하기 위한 4가지 상황들을 설정한 도표이다.
도 9 내지 도 12는 도 8에 설정된 4가지 상황들 각각에 대하여 사용자들이 취한 자세를 기반으로 본 발명의 알고리즘을 구동한 결과를 도시한 그래프들이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 자세 기반 감정상태 인식 장치에 대한 개략적인 블록도이다. 도 1을 참조하면, 본 발명이 일 실시 예에 따른 자세 기반 감정 상태 인식장치(100)는 감정별 기준 영상 데이터베이스(DB)(110), 영상 수집부(120), 동작 특징 정보 산출부(130), 및 감정 추정부(140)를 포함한다.
감정별 기준 영상 데이터베이스(DB)(110)는 감정 판단의 기준이 되는 자세들을 나타내는 영상들 각각에 해당하는 감정 정보와 상기 감정 정보에 대응되는 동작 특징 정보를 포함하는 제2 동작 특징 정보를 저장한다. 예를 들어, 감정별 기준 영상 DB(110)는 사용자가 느낄 수 있는 대표적인 감정들(예컨대, 기쁨(elated joy), 행복함(Happiness), 흥미로움(interest), 지루함(boredom), 역겨움(Disgust) 및 격노함(Hot anger) 등)에 대하여 사전에 정의된 기준 자세들 및 그들 각각에 대한 동작 특징 정보들을 상기 제2 동작 특징 정보로서 저장하는 것이 바람직하다. 도 2는 이러한 감정별 기준 영상 DB(110)에 저장된 감정별 기준 영상의 예들을 도시한 도면이다. 도 2의 (a)는 기쁨(elated joy)을 표현하기 위해 취해지는 자세를 예시하고, 도 2의 (b)는 행복함(Happiness)을 표현하기 위해 취해지는 자세를 예시하고, 도 2의 (c)는 흥미로움(interest)을 표현하기 위해 취해지는 자세를 예시하고, 도 2의 (d)는 지루함(boredom)을 표현하기 위해 취해지는 자세를 예시하고, 도 2의 (e)는 역겨움(Disgust)을 표현하기 위해 취해지는 자세를 예시하고, 도 2의 (f)는 격노함(Hot anger)을 표현하기 위해 취해지는 자세를 예시한다. 감정별 기준 영상 데이터베이스(DB)(110)는 이와 같이 감정별로 취해지는 자세에 대한 기준 영상과 이 영상들 각각으로부터 산출된 동작 특징 정보를 그 감정에 대응시켜 저장한다.
영상 수집부(120)는 영상을 수집한다. 특히, 영상 수집부(120)는 감정 상태를 파악하기 위한 사용자의 영상을 수집하는 것이 바람직하다. 이를 위해 영상 수집부(120)는 촬영장치(예컨대, 카메라 등)을 포함할 수 있다.
동작 특징 정보 산출부(130)는 영상 수집부(120)에서 수집된 영상으로부터 사용자의 실루엣을 검출하고, 상기 사용자의 자세에 대한 동작 특징 정보를 산출한다. 이를 위해, 동작 특징 정보 산출부(130)는 상기 인식된 사용자의 실루엣 및 엣지를 검출하고, 사용자의 엣지 형상을 도출하고, 상기 엣지 형상 내부의 한 점을 기준으로 상기 엣지로 검출된 픽셀들 각각에 대한 각도 및 거리를 제1 동작 특징 정보로 산출하는 일련의 처리 과정을 수행하는 것이 바람직하다.
한편, 동작 특징 정보 산출부(130)는 하기의 (수학식 1)에 의거하여 도출된 상기 엣지 형상 내부의 중심점을 기준점으로 결정하고, 하기의 (수학식 2)에 의거하여 상기 엣지로 검출된 픽셀들 각각의 각도를 산출하고, 하기의 (수학식 3)에 의거하여 상기 기준점과 상기 엣지로 검출된 픽셀들 각각의 거리를 산출할 수 있다.
Figure pat00034
이 때,
Figure pat00035
와
Figure pat00036
는 각각 엣지형상 내부의 중심점을 나타내는
Figure pat00037
좌표와
Figure pat00038
좌표,
Figure pat00039
은 엣지형상 내부의 픽셀 개수,
Figure pat00040
는 픽셀이 검출된 엣지 형상 내부 영역을 나타낸다.
Figure pat00041
이 때,
Figure pat00042
는 각도를 의미하고,
Figure pat00043
와
Figure pat00044
는 엣지로 검출된 픽셀의
Figure pat00045
축과
Figure pat00046
축,
Figure pat00047
와
Figure pat00048
는 각각 엣지 형상 내부의 중심점을 나타내는
Figure pat00049
좌표와
Figure pat00050
좌표이다.
Figure pat00051
이 때,
Figure pat00052
와
Figure pat00053
는 엣지로 검출된 픽셀의
Figure pat00054
축과
Figure pat00055
축,
Figure pat00056
와
Figure pat00057
는 각각 엣지형상 내부의 중심점을 나타내는
Figure pat00058
좌표와
Figure pat00059
좌표이다.
감정 추정부(140)는 동작 특징 정보 산출부(130)에서 산출된 제1 동작 특징정보와 감정별 기준 영상 DB(110)에 기 저장된 상기 제2 동작 특징 정보를 비교하여 사용자의 감정을 추정한다. 이를 위해, 감정 추정부(140)는 하기의 (수학식 4)에 의거하여 상기 사용자 동작 특징 정보와 감정별 기준 영상 DB(110)에 기 저장된 감정별 동작 특징정보에 포함된 각 감정별 동작 특징 정보들을 비교하고, (수학식 5)에 의거하여 사용자의 감정을 추정하는 것이 바람직하다.
Figure pat00060
이 때,
Figure pat00061
는 와핑 매트릭스(warping matrix)이고,
Figure pat00062
는 유클리드 거리값(Euclidean distance value)
Figure pat00063
이고,
Figure pat00064
은 세 개의 값 중 가장 작은 값을 가리킨다.
Figure pat00065
이 때,
Figure pat00066
값이 적으면 적을수록 기준 영상(Ground truth)과 비슷함을 나타낸다.
도 3은 본 발명의 일 실시 예에 따른 자세 기반 감정 상태 인식방법에 대한 개략적인 처리 흐름도이다. 도 1 및 도 3을 참조하면, 본 발명의 일 실시 예에 따른 자세 기반 감정 상태 인식 방법은 먼저, 영상 수집부(120)에서 수집된 영상이 입력되면 동작 특징 정보 검출부(130)는 그 영상으로부터 사용자를 인식한다(S110). 상기 과정(S110)에서 사용자가 성공적으로 인식되면, 동작특징 정보 산출부(130)는 그 사용자의 실루엣에 기초하여 제1 동작 특징 정보를 산출한다(S120).
동작 특징 정보 산출부(130)로부터 제1 동작 특징 정보 산출 결과를 수신한 감정 추정부(140)는 감정별 기준 영상 DB(110)에 기 저장된 제2 동작 특징 정보와 상기 제1 동작 특징 정보를 비교하여(S130), 해당 사용자의 감정을 추정한다(S140).
도 4는 본 발명의 일 실시 예에 따른 동작 특징 정보 산출 과정에 대한 개략적인 처리 흐름도이다. 즉, 도 4는 도 3에 예시된 제1 동작 특징 정보 산출 과정(S120)에 대한 개략적인 처리 과정을 나타낸다.
도 1, 도 3 및 도 4를 참조하면, 상기 과정(S110)에서 사용자를 인식한 동작 특징 정보 산출부(130)는 먼저, 그 사용자의 실루엣을 검출하고, 상기 실루엣으로부터 엣지를 검출하여 사용자의 엣지 형상을 검출한다(S121). 이 때 사용자의 실루엣 및 엣지 형상 검출 결과가 도 5 및 도 6에 예시되어 있다. 즉, 동작 특징 정보 산출부(130)는 입력된 영상으로부터 인식된 사용자의 실루엣(10)을 도 5의 예와 같이 검출하고, 그 실루엣의 엣지를 검출하여 도 6에 예시된 바와 같은 사용자 엣지형상(20)을 검출한다.
이와 같이 사용자 엣지 형상(도 6의 )을 검출하였으면, 동작 특징 정보 산출부(130)는 그 내부의 한 점을 기준점으로 결정하고(S122), 상기 기준점에 기초하여 엣지로 검출된 픽셀들 각각의 각도 및 거리를 산출한다(S123, S124).
이 때, 상기 기준점은 엣지 형상 내부의 중심점인 것이 바람직하며, 상기 중심점, 각도 및 거리는, 도 1을 참조한 설명시 언급한 바와 같이, 수학식 1 내지 수학식 3에 의거하여 산출할 수 있다.
도 7은 사용자 영상과 임의의 한 감정별 기준 영상을 비교하는 과정을 설명하기 위한 도면이다. 즉, 임의의 한 감정별 기준 영상에 대한 시퀀스(sequence)를 G라 하고, 감정을 확인하고자 하는 사용자 영상에 대한 시퀀스(sequence)를 R이라할 때, G와 R은 하기의 (수학식 6)과 같이 나타내어진다.
Figure pat00067
이 때,
Figure pat00068
은 sequence G의 길이,
Figure pat00069
은 sequence R의 길이이다.
이 때, 거리 매트릭스(distance matrix)
Figure pat00070
를
Figure pat00071
와
Figure pat00072
의 유클리드 거리 값(Euclidean distance value)이 저장된 매트릭스(matrix)라고 하면 와핑 매트릭스(warping matrix)
Figure pat00073
는 상기 (수학식 4)와 같이 구할 수 있다.
도 7의 (a)는 m이 3이고, n이 4인 경우 시퀀스 G 및 시퀀스 R을 표로 나타낸 것이고, 도 7의 (b)는 도 7의 (a)에 예시된 표를 근거로 거리 매트릭스(distance matrix)
Figure pat00074
를 산출한 결과를 나타낸다. 도 7의 (c)는 도 7의(b)에 예시된 거리 매트릭스(distance matrix)
Figure pat00075
를 이용하여 와핑 매트릭스(warping matrix)
Figure pat00076
를 산출한 결과를 예시한다.
도 8은 본 발명의 처리 결과를 테스트하기 위한 4가지 상황들을 설정한 도표이다. 도 8을 참조하면, 상황 A는 6가지 감정상태(기쁨(elated joy), 행복함(Happiness), 흥미로움(interest), 지루함(boredom), 역겨움(Disgust), 격노함(Hot anger))을 모두 포함하고, 상황 B는 3가지 감정상태(기쁨(elated joy), 행복함(Happiness), 흥미로움(interest))을 포함하고, 상황 C는 또 다른 3가지 감정 상태(지루함(boredom), 역겨움(Disgust) 및 격노함(Hot anger))을 포함하고, 상황 D는 2가지 감정 상태(흥미로움(interest), 지루함(boredom))를 포함한다.
도 9 내지 도 12는 도 8에 설정된 4가지 상황들 각각에 대하여 실험자들이 취한 자세를 기반으로 본 발명의 알고리즘을 구동한 결과를 도시한 그래프들이다. 이 때, 도 9는 상황 A, 도 10은 상황 B, 도 11은 상황 C, 도 12는 상황 D를 각각 나타내는데, 각각의 상황에서 가장 낮은 유사도 거리(similarity distance)를 가지는 감정 상태가 사용자의 감정 상태를 나타낸다.
보다 구체적으로는, 도 9에서 사용자의 감정 상태는 비디오 프레임의 구간별로 달라지는데 50 프레임 근방까지는 기쁨(elated joy)을 나타내고, 50프레임 근방부터 150프레임 근방까지는 행복함(Happiness)을 나타내고, 150프레임 근방부터 250프레임 근방까지는 흥미로움(interest)을 나타내고, 250프레임 근방부터 320프레임 근방까지는 지루함(boredom)을 나타내고, 320프레임 근방부터 420프레임 근방까지는 역겨움(Disgust)을 나타내고, 420프레임 근방부터 500 프레임 근방까지는 격노함(Hot anger)을 나타낸다.
도 10 내지 도 12의 경우에서도 도 9와 동일하게 비디오 프레임 구간별로 가장 낮은 유사도 거리를 가지는 감정 상태가 무엇인지를 분석함으로써, 각 구간별 사용자의 감정 상태를 인지할 수 있게 된다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다.
또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

Claims (17)

  1. 감정상태 인식 방법에 있어서,
    입력된 영상으로부터 사용자의 실루엣을 검출하는 단계;
    상기 실루엣으로부터 엣지를 검출하여 사용자의 엣지 형상을 도출하는 단계;
    상기 엣지 형상 내부의 한 점을 기준점으로 결정하고, 상기 엣지로 검출된 픽셀들 각각에 대하여 상기 기준점에 기초하여 산출된 각도 및 거리를 포함하는 제1 동작 특징 정보를 산출하는 단계; 및
    감정 판단의 기준이 되는 자세들을 나타내는 영상들 각각에 해당하는 감정 정보와 상기 감정 정보에 대응되는 동작 특징 정보를 포함하는 제2 동작 특징 정보와 상기 제1 동작 특징 정보를 비교하여 사용자의 감정을 추정하는 단계를 포함하는 것을 특징으로 하는 자세 기반 감정상태 인식 방법.
  2. 제1항에 있어서, 상기 입력된 영상으로부터 사용자의 실루엣을 검출하는 단계 이전에 상기 제2 동작 특징 정보를 저장하는 단계를 더 포함하고,
    상기 제2 동작 특징 정보 저장 단계는
    제1 감정에 대응한 자세에 대한 영상을 제작하는 단계;
    상기 자세에 대한 실루엣을 검출하는 단계;
    상기 실루엣으로부터 엣지형상을 도출하는 단계; 및
    상기 엣지 형상 내부의 한 점을 기준점으로 결정하고, 상기 엣지로 검출된 픽셀들 각각에 대하여 상기 기준점에 기초하여 산출된 각도 및 거리를 포함하는 상기 제1 감정에 대한 동작 특징 정보를 산출하는 단계를 포함하는 것을 특징으로 하는 자세 기반 감정상태 인식 방법.
  3. 제2항에 있어서, 상기 제2 동작 특징 정보 저장 단계는
    사용자가 느낄 수 있는 대표적인 감정들 각각에 대하여 상기 단계들을 반복 수행하는 것을 특징으로 하는 자세 기반 감정 상태 인식 방법.
  4. 제3항에 있어서, 상기 사용자가 느낄 수 있는 대표적인 감정들은
    기쁨(elated joy), 행복함(Happiness), 흥미로움(interest), 지루함(boredom), 역겨움(Disgust) 및 격노함(Hot anger)을 포함하는 것을 특징으로 하는 자세기반 감정 상태 인식 방법.
  5. 제1항에 있어서, 상기 제1 동작 특징 정보 산출 단계는
    하기의 (수학식 1)에 의거하여 도출된 상기 엣지 형상 내부의 중심점을 상기 기준점으로 결정하는 것을 특징으로 하는 자세기반 감정 상태 인식 방법.
    (수학식 1)
    Figure pat00077

    이 때,
    Figure pat00078
    와
    Figure pat00079
    는 각각 엣지형상 내부의 중심점을 나타내는
    Figure pat00080
    좌표와
    Figure pat00081
    좌표,
    Figure pat00082
    은 엣지형상 내부의 픽셀 개수, 는 픽셀이 검출된 엣지 형상 내부 영역을 나타냄.
  6. 제5항에 있어서, 상기 제1 동작 특징 정보 산출 단계는
    하기의 (수학식 2)에 의거하여 상기 엣지로 검출된 픽셀들 각각의 각도를 산출하는 것을 특징으로 하는 자세기반 감정 상태 인식 방법.
    (수학식 2)
    Figure pat00084

    이 때,
    Figure pat00085
    는 각도를 의미하고,
    Figure pat00086
    와
    Figure pat00087
    는 엣지로 검출된 픽셀의
    Figure pat00088
    축과
    Figure pat00089
    축,
    Figure pat00090
    와
    Figure pat00091
    는 각각 엣지 형상 내부의 중심점을 나타내는
    Figure pat00092
    좌표와
    Figure pat00093
    좌표 임.
  7. 제5항에 있어서, 상기 제1 동작 특징 정보 산출 단계는
    하기의 (수학식 3)에 의거하여 상기 기준점과 상기 엣지로 검출된 픽셀들 각각의 거리를 산출하는 것을 특징으로 하는 자세기반 감정 상태 인식 방법.
    (수학식 3)
    Figure pat00094

    이 때,
    Figure pat00095
    와
    Figure pat00096
    는 엣지로 검출된 픽셀의
    Figure pat00097
    축과
    Figure pat00098
    축,
    Figure pat00099
    와
    Figure pat00100
    는 각각 엣지형상 내부의 중심점을 나타내는
    Figure pat00101
    좌표와
    Figure pat00102
    좌표임.
  8. 제7항에 있어서, 상기 사용자의 감정을 추정하는 단계는
    하기의 (수학식 4)에 의거하여 상기 제1 동작 특징 정보와 상기 제2 동작 특징정보를 비교하고, (수학식 5)에 의거하여 사용자의 감정을 추정하는 것을 특징으로 하는 자세 기반 감정 상태 인식 방법.
    (수학식 4)
    Figure pat00103

    이 때,
    Figure pat00104
    는 와핑 매트릭스(warping matrix)이고,
    Figure pat00105
    는 유클리드 거리값(Euclidean distance value)
    Figure pat00106
    이고,
    Figure pat00107
    은 세 개의 값 중 가장 작은 값을 가리킴.
    (수학식 5)
    Figure pat00108

    이 때,
    Figure pat00109
    값이 적으면 적을수록 기준 영상(Ground truth)과 비슷함을 나타냄.
  9. 제1항에 있어서, 상기 사용자의 감정을 추정하는 단계는
    상기 비교 결과에 의거하여 상기 제2 동작 특징 정보에 포함된 감정별 동작 특징 정보들 중 상기 제1 동작 특징 정보와 가장 근접한 동작 특징 정보에 대응된 감정을 사용자의 감정으로 추정하는 것을 특징으로 하는 자세 기반 감정상태 인식 방법.
  10. 감정 상태 인식 장치에 있어서,
    영상을 수집하는 영상 수집부;
    상기 수집된 영상으로부터 사용자의 실루엣을 검출하고, 상기 사용자의 실루엣으로부터 엣지를 검출하여 사용자의 엣지 형상을 도출한 후 상기 엣지 형상 내부의 한 점을 기준으로 상기 엣지로 검출된 픽셀들 각각에 대한 각도 및 거리를 제1 동작 특징 정보로 산출하는 동작 특징 정보 산출부;
    감정 판단의 기준이 되는 자세들을 나타내는 영상들 각각에 해당하는 감정 정보와 상기 감정 정보에 대응되는 동작 특징 정보를 포함하는 제2 동작 특징 정보를 저장하는 감정별 기준 영상 데이터베이스; 및
    상기 산출된 제1 동작 특징정보와 상기 감정별 기준 영상 데이터베이스에 기 저장된 상기 제2 동작 특징 정보를 비교하여 사용자의 감정을 추정하는 감정 추정부를 포함하는 것을 특징으로 하는 자세 기반 감정상태 인식 장치.
  11. 제10항에 있어서, 상기 감정별 기준 영상 데이터베이스는
    사용자가 느낄 수 있는 대표적인 감정들 각각에 대한 동작 특징 정보들을 상기 제2 동작 특징 정보로서 저장하는 것을 특징으로 하는 자세 기반 감정 상태 인식 장치.
  12. 제11항에 있어서, 상기 사용자가 느낄 수 있는 대표적인 감정들은
    기쁨(elated joy), 행복함(Happiness), 흥미로움(interest), 지루함(boredom), 역겨움(Disgust) 및 격노함(Hot anger)을 포함하는 것을 특징으로 하는 자세기반 감정 상태 인식 장치.
  13. 제10항에 있어서, 상기 동작 특징 정보 산출부는
    하기의 (수학식 1)에 의거하여 도출된 상기 엣지 형상 내부의 중심점을 기준점으로 결정하는 것을 특징으로 하는 자세기반 감정 상태 인식 장치.
    (수학식 1)
    Figure pat00110

    이 때,
    Figure pat00111
    와
    Figure pat00112
    는 각각 엣지형상 내부의 중심점을 나타내는
    Figure pat00113
    좌표와
    Figure pat00114
    좌표,
    Figure pat00115
    은 엣지형상 내부의 픽셀 개수,
    Figure pat00116
    는 픽셀이 검출된 엣지 형상 내부 영역을 나타냄.
  14. 제13항에 있어서, 상기 동작 특징 정보 산출부는
    하기의 (수학식 2)에 의거하여 상기 엣지로 검출된 픽셀들 각각의 각도를 산출하는 것을 특징으로 하는 자세기반 감정 상태 인식 장치.
    (수학식 2)
    Figure pat00117

    이 때,
    Figure pat00118
    는 각도를 의미하고,
    Figure pat00119
    와
    Figure pat00120
    는 엣지로 검출된 픽셀의
    Figure pat00121
    축과
    Figure pat00122
    축,
    Figure pat00123
    와
    Figure pat00124
    는 각각 엣지 형상 내부의 중심점을 나타내는
    Figure pat00125
    좌표와
    Figure pat00126
    좌표임.
  15. 제13항에 있어서, 상기 동작 특징 정보 산출부는
    하기의 (수학식 3)에 의거하여 상기 기준점과 상기 엣지로 검출된 픽셀들 각각의 거리를 산출하는 것을 특징으로 하는 자세기반 감정 상태 인식 장치.
    (수학식 3)
    Figure pat00127

    이 때,
    Figure pat00128
    와
    Figure pat00129
    는 엣지로 검출된 픽셀의
    Figure pat00130
    축과
    Figure pat00131
    축,
    Figure pat00132
    와
    Figure pat00133
    는 각각 엣지형상 내부의 중심점을 나타내는
    Figure pat00134
    좌표와
    Figure pat00135
    좌표임.
  16. 제15항에 있어서, 상기 감정 추정부는
    하기의 (수학식 4)에 의거하여 상기 제1 동작 특징 정보와 상기 감정별 기준 영상 데이터베이스에 기 저장된 상기 제2 동작 특징 정보를 비교하는 것을 특징으로 하는 자세기반 감정 상태 인식 장치.
    (수학식 4)
    Figure pat00136

    이 때,
    Figure pat00137
    는 와핑 매트릭스(warping matrix)이고,
    Figure pat00138
    는 유클리드 거리값(Euclidean distance value)
    Figure pat00139
    이고,
    Figure pat00140
    은 세 개의 값 중 가장 작은 값을 가리킴.
  17. 제16항에 있어서, 상기 감정추정부는
    하기의 (수학식 5)에 의거하여 사용자의 감정을 추정하는 것을 특징으로 하는 자세 기반 감정 상태 인식 장치.
    (수학식 5)
    Figure pat00141

    이 때,
    Figure pat00142
    값이 적으면 적을수록 기준 영상(Ground truth)과 비슷함을 나타냄.
KR1020140043011A 2014-04-10 2014-04-10 자세 기반 감정상태 인식 장치 및 그 방법 KR20150117496A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140043011A KR20150117496A (ko) 2014-04-10 2014-04-10 자세 기반 감정상태 인식 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140043011A KR20150117496A (ko) 2014-04-10 2014-04-10 자세 기반 감정상태 인식 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20150117496A true KR20150117496A (ko) 2015-10-20

Family

ID=54399833

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140043011A KR20150117496A (ko) 2014-04-10 2014-04-10 자세 기반 감정상태 인식 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20150117496A (ko)

Similar Documents

Publication Publication Date Title
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
Gao et al. Detecting emotional stress from facial expressions for driving safety
CN108269254B (zh) 图像质量评估方法和装置
US9330325B2 (en) Apparatus and method for reducing noise in fingerprint images
JP6977730B2 (ja) 人流推定装置、人流推定方法およびプログラム
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
US9224037B2 (en) Apparatus and method for controlling presentation of information toward human object
CN111639616B (zh) 一种基于深度学习的重身份识别方法
JP6809226B2 (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
JP6482195B2 (ja) 画像認識装置、画像認識方法及びプログラム
JP6362085B2 (ja) 画像認識システム、画像認識方法およびプログラム
US11341680B2 (en) Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method
CN102831382A (zh) 人脸跟踪设备和方法
CN110837750B (zh) 一种人脸质量评价方法与装置
JP5001930B2 (ja) 動作認識装置及び方法
JP6579950B2 (ja) カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
JP2007265125A (ja) コンテンツ表示装置
JP6109288B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20160114996A (ko) 사용자 맞춤형 운동 서비스 제공 방법 및 장치
JP2017205134A (ja) 体調検出装置、体調検出方法及び体調検出プログラム
CN108965713A (zh) 图像采集方法、装置以及计算机可读存储介质
WO2012063544A1 (ja) 画像処理装置、画像処理方法及び記録媒体
US20140286531A1 (en) System for tracking a moving object, and a method and a non-transitory computer readable medium thereof
KR20190009006A (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
JP2009211122A (ja) 画像処理装置およびオブジェクト推定プログラム。

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment