KR102027494B1 - 주변 환경 영상을 이용한 감성 추정 장치 및 방법 - Google Patents

주변 환경 영상을 이용한 감성 추정 장치 및 방법 Download PDF

Info

Publication number
KR102027494B1
KR102027494B1 KR1020170135398A KR20170135398A KR102027494B1 KR 102027494 B1 KR102027494 B1 KR 102027494B1 KR 1020170135398 A KR1020170135398 A KR 1020170135398A KR 20170135398 A KR20170135398 A KR 20170135398A KR 102027494 B1 KR102027494 B1 KR 102027494B1
Authority
KR
South Korea
Prior art keywords
emotional
image
context information
extracting
emotion
Prior art date
Application number
KR1020170135398A
Other languages
English (en)
Other versions
KR20190043391A (ko
Inventor
이의철
박민우
황현상
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020170135398A priority Critical patent/KR102027494B1/ko
Priority to PCT/KR2017/014040 priority patent/WO2019078407A1/ko
Publication of KR20190043391A publication Critical patent/KR20190043391A/ko
Application granted granted Critical
Publication of KR102027494B1 publication Critical patent/KR102027494B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 전방 환경을 촬영할 수 있는 카메라를 통해 얻은 주변 환경 영상을 분석하여 인간의 감성에 영향을 끼칠 수 있는 공간 컨텍스트 정보를 정량적으로 추출하고, 이를 통해 감성 상태를 추정하는 감성 추정 장치 및 방법을 제공하는 것이다. 본 발명은 주변 환경 영상을 분석 및 각 영상에 따른 사람들의 주관적인 감성 반응 분석, 그리고 생체 신호 분석 결과를 통해 인간의 감정에 영향을 끼칠 수 있는 공간 컨텍스트 정보를 정량적으로 추출함으로써, 서로 다른 주변 환경 영상이 실제 사용자에게 어떠한 감정에 영향을 끼칠 수 있는지 제공할 수 있다.

Description

주변 환경 영상을 이용한 감성 추정 장치 및 방법{DEVICE AND METHOD FOR EMOTION ESTIMATION USING SURROUNDING ENVIRONMENT IMAGE}
본 발명은 감성 추정 장치 및 방법에 관한 것으로, 더욱 상세하게는 카메라를 통해 얻은 주변 환경 영상을 분석하여 인간의 감성에 영향을 끼칠 수 있는 공간 컨텍스트 정보를 정량적으로 추출하고, 이를 통해 감성 상태를 추정하는 장치 및 방법을 제공하는 것이다.
최근 일상생활에서 생성된 정보뿐만 아니라 다양한 분야에서 유용한 정보를 추출할 수 있는 라이프로깅 기술이 더욱 발전하고 있다. 라이프로깅이란, “Life”와 “Log”의 조합으로 “생명의 기록”이라는 의미이며, 이 기술은 개인에게 일어나는 모든 사건을 기록하고 저장하며 조직화하는 것을 내포하고 있다. 일반적으로, 사람들은 일상생활에서 주변 환경에 많이 노출되고, 주변의 시각 정보에 따라 인간은 감성에 많은 영향을 받는다. 하지만, 주변 환경의 특정 요소가 인간의 감성에 미치는 영향에 대한 기술 연구는 아직 광범위하게 연구되지 않았다. 기존의 여러 연구에서는 시각적 요소를 사용하여 인간 감성과의 관계를 분석하기 위한 연구가 수행되었다. 더하여, 심리학과 마케팅 분야에서는 색상과 영상의 복잡도 등의 시각 정보가 인간의 감성에 큰 영향을 미치는 것으로 알려져 있다. 하지만, 스마트 기기에 장착된 카메라를 통해 얻을 수 있는 주변 환경 및 영상 정보의 특정 요소가 인간의 감성에 끼치는 영향에 대한 기술 관련 연구는 아직 광범위하게 연구되지 않았다.
본 발명의 배경기술은 대한민국 등록특허공보 제 10-1402724 호(2014.05.27등록)에 개시되어 있다.
본 발명은 전방 환경을 촬영할 수 있는 카메라를 통해 얻은 주변 환경 영상을 분석하여 인간의 감성에 영향을 끼칠 수 있는 공간 컨텍스트 정보를 정량적으로 추출하고, 이를 통해 감성 상태를 추정하는 감성 추정 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 감성 추정 장치가 제공된다. 본 발명의 일 실시 예에 따른 감성 추정 장치는 소정 시간 동안 카메라 센서로부터 획득한 주변 환경 영상, 사용자 인터페이스 입력부로부터 입력된 주관적 감성 평가 및 생체 인식 센서로부터 생성된 생체 신호를 수신하는 제어부 및 상기 주변 환경 영상에서 복수의 감성 요소를 추출하고, 상기 감성 요소, 상기 주관적 감성 평가 및 상기 생체 신호 중 적어도 하나를 이용하여 기 설계한 완전 연결 서포트 벡터 회귀 네트워크(Fully Connected SVR Network) 통해 공간 컨텍스트 정보를 추출하고, 상기 공간 컨텍스트 정보에 대응하는 사용자의 감성 상태를 추론하는 감성 추론부를 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 감성 추론 방법 및 이를 실행하는 컴퓨터 프로그램이 제공된다. 본 발명의 일 실시 예에 따른 감성 추론 방법 및 이를 실행하는 컴퓨터 프로그램은 감성 추론 장치를 이용하여 감성을 추론하는 감성 추론 방법에 있어서, 소정 시간 동안 RGB 카메라를 통해 획득한 정지 영상 또는 동영상 형태의 주변 환경 영상을 획득하는 단계, 획득한 주변 환경 영상의 공간 좌표에서 화소 간의 특징값을 이용하여 시간 복잡도, 공간 복잡도, 화소 성분 및 사운드 성분 중 적어도 하나를 포함하는 감성 요소를 추출하는 단계, 기 설계한 완전 연결 서포트 벡터 회귀 네트워크를 이용하여 상기 감성 요소 간에 공간 컨텍스트 정보를 추출하고 상기 공간 컨텍스트 정보에 대응하는 감성 상태를 추론하는 단계 및 추론된 결과를 n차원의 감성 추론맵으로 생성하는 단계를 포함할 수 있다.
본 발명은 시공간 인지 정보와 인간의 감성간의 상관관계를 분석함으로써 인간의 감성에 영향을 끼칠 수 있는 공간 컨텍스트 정보를 정량적으로 추출하여 감성을 추정할 수 있다.
또한, 본 발명은 주변 환경 영상을 분석 및 각 영상에 따른 사람들의 주관적인 감성 반응 분석, 그리고 생체 신호 분석 결과를 통해 인간의 감정에 영향을 끼칠 수 있는 공간 컨텍스트 정보를 정량적으로 추출함으로써, 서로 다른 주변 환경 영상이 실제 사용자에게 어떠한 감정에 영향을 끼칠 수 있는지 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 감성 추정 장치를 예시한 블록도.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 감성 추정 장치를 이용하여 감성을 추정하는 방법을 예시한 흐름도.
도 4는 본 발명의 일 실시 예에 따른 감성 추론 장치가 공간 복잡도를 추출하는 방법을 예시한 도면.
도 5 및 도 6은 본 발명의 일 실시 예에 따른 감성 추론 장치가 화소 성분을 추출하는 방법을 예시한 도면들.
도 7 내지 도 9는 본 발명의 일 실시 예에 따른 감성 추론 장치가 사운드 성분을 추출하는 방법을 예시한 도면들.
도 10 및 도 11은 본 발명의 일 실시 예에 따른 감성 추론 장치가 완전 연결 서포트 벡터 회귀 네트워크를 이용하여 공간 컨텍스트 정보를 추출하는 방법을 설명하기 위한 도면들.
도 12는 본 발명의 일 실시 예에 따른 감성 추론 장치가 추론한 감성 상태를 2차원의 감성 추론맵으로 생성한 예를 나타내는 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 감성 추정 장치를 예시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 감성 추정 장치(100)는 사용자 인터페이스 입력부(110), 사용자 인터페이스 출력부(120), 제어부(130), 저장부(140) 및 감성추론부(150)를 포함할 수 있다.
사용자 인터페이스 입력부(110)는 공지된 방식을 통해 사용자의 입력을 받는 입력 장치와 연결될 수 있으며, 사용자 인터페이스 출력부(120)는 영상을 출력하는 출력 장치와 연결될 수 있다.
제어부(130)는 카메라 센서로부터 획득한 주변 환경 영상을 수신한다. 또한, 제어부(130)는 주변 환경 영상을 획득한 시점에서 사용자의 주관적 감성 평가 및 생체 인식 센서로부터 생성된 생체 신호를 수신한다. 여기서 주관적 감성 평가는 사용자가 주변 환경 영상을 획득할 시 느끼는 감정을 사용자 인터페이스 입력부를 통해 입력 받을 수 있다. 또한, 제어부(130)는 후술할 감성 추론부(150)에서 추론된 감성 상태를 사용자 인터페이스 출력부(120)로 송신할 수 있다.
저장부(140)는 제어부(130)에서 수신한 주변 환경 영상, 주관적 감성 평가 및 생체 신호를 저장한다. 또한, 저장부(140)는 후술할 감성 추론부(150)에서 감성 추론을 위해 기 설계한 완전 연결 서포트 벡터 회귀 네트워크(Fully Connected SVR Network)를 저장한다.
감성 추론부(150)는 완전 연결 서포트 벡터 회귀 네트워크(Fully Connected SVR Network)를 이용하여 제어부(130)에서 수신한 주변 환경 영상, 주관적 감성 평가 및 생체 신호에서 감성과 연관된 공간 컨텍스트 정보를 추출하고, 추출한 공간 컨텍스 정보와 대응하는 감성을 추론한다. 또한, 감성 추론부(150)는 추론한 감성을 n차원의 감성 추론맵을 생성할 수 있으며, 추론된 감성 상태와 생성된 감성 추론맵을 저장부(140)에 저장한다.
감성 추론부(150)는 주변 환경 영상 입력부(151), 감성 요소 추출부(152), 공간 컨텍스트 정보 추출부(153) 및 감성맵 생성부(154)를 포함한다.
주변 환경 영상 입력부(151)는 제어부(130)에서 수신한 주변 환경 영상을 입력한다. 여기서 주변 환경 영상은 RGB 카메라를 통해 소정 시간 동안 획득한 정지 영상 또는 동영상일 수 있다. 이때 동영상은 주변 환경 영상을 획득하는 시점에서 발생한 주변 소리를 포함한다.
감성 요소 추출부(152)는 입력된 주변 환경 영상의 공간 좌표에서 화소 간의 특징값을 이용하여 시간 복잡도, 공간 복잡도, 화소 성분 및 사운드 성분 중 적어도 하나를 포함하는 감성 요소를 추출한다.
공간 컨텍스트 정보 추출부(153)는 감성 요소 추출부(152)에서 추출한 감성 요소와 제어부(130)에서 수신한 주관적 감성 평가 및/또는 생체 신호에서 공간 컨텍스트 정보를 기 설계한 완전 연결 서포트 벡터 회귀 네트워크를 이용하여 추출하고, 추출한 공간 컨텍스트 정보에 대응하는 감성 상태를 추론한다. 여기서 공간 컨텍스트 정보란 사용자가 주변 환경 영상을 획득하는 시점에서 발생할 수 있는 상황 정보에 따라 변화하는 감성 정보를 의미한다.
감성맵 생성부(154)는 추론한 감성상태를 위치 좌표로 표현하여 n차원의 감성 추론맵으로 생성하고, 추론한 감성상태 및 생성한 감성 추론맵을 저장부(130)에 저장한다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 감성 추정 장치를 이용하여 감성을 추정하는 방법을 예시한 흐름도이다.
도 2를 참조하면, 단계 S210에서 감성 추론 장치(100)는 카메라 센서로부터 주변 환경 영상을 획득한다. 여기서 주변 환경 영상은 RGB 카메라를 통해 소정 시간 동안 획득한 정지 영상 또는 동영상일 수 있다. 이때 동영상은 주변 환경 영상을 획득하는 시점에서 발생한 주변 소리를 포함한다.
단계 S220에서 감성 추론 장치(100)는 획득한 주변 환경 영상의 공간 좌표에서 화소 간의 특징값을 이용하여 시간 복잡도, 공간 복잡도, 화소 성분 및 사운드 성분 중 적어도 하나를 포함하는 감성 요소를 추출한다.
도 3을 참조하면, 단계 S221에서 감성 추론 장치(100)는 입력된 주변 환경 영상을 그레이 스케일로 변환하여 현재 프레임과 이전 프레임의 차 영상을 산출하고, 산출한 차 영상에서 임계값 이상인 화소 수를 전체 화소 수로 나누어 시간 복잡도를 추출한다.
단계 S222에서 감성 추론 장치(100)는 입력된 주변 환경 영상의 단일 프레임에 경계성분을 검출하는 마스크를 수평 및 수직 방향으로 적용하여 경계 성분 영상을 생성하고, 생성한 경계 성분 영상의 화소 밝기값을 임계값을 기준으로 0 또는 255로 대체하여, 화소 밝기값이 255에 해당하는 화소 수를 전체 화소 수로 나누어 공간 복잡도를 추출한다. 공간 복잡도를 추출하는 방법은 도 4에서 보다 상세하게 설명하도록 한다.
단계 S223에서 감성 추론 장치(100)는 RGB 컬러 영상 타입의 주변 환경 영상을 HSI 모델로 변환하고, 하기 식 1을 통해 긍정 및 부정 감성 상태를 유발하는 색상 범위의 화소를 검출하여 화소 성분을 추출한다.
Figure 112017102821196-pat00001
상기 식 1에서
Figure 112017102821196-pat00002
는 HSI 모델의 색상값,
Figure 112017102821196-pat00003
는 영상 내에 존재하는 해당
Figure 112017102821196-pat00004
값의 개수,
Figure 112017102821196-pat00005
는 영상의 너비,
Figure 112017102821196-pat00006
는 영상의 높이를 나타내며, 상기 영상의 높이와 너비의 곱으로 나누어 -1 내지 1 사이의 값으로 정규화한다. 화소 성분을 추출하는 방법은 도 5 및 도 6에서 보다 상세하게 설명하도록 한다.
단계 S224에서 감성 추론 장치(100)는 주변 환경 영상이 동영상일 경우에 영상을 획득하는 시점에서 발생한 사운드의 진폭(Amplitude) 또는 주파수(Frequency)을 분석하여 사운드 성분를 추출한다. 사운드 성분을 추출하는 방법은 도 7 내지 도 9에서 보다 상세하게 설명하도록 한다.
다시 도 2를 참조하면, 단계 S230에서 감성 추론 장치(100)는 사용자가 주변 환경 영상을 획득한 시점에서 느끼는 주관적 감정 평가를 사용자 인터페이스 입력부를 통해 입력 받는다.
단계 S240에서 감성 추론 장치(100)는 사용자가 주변 환경 영상을 획득한 시점에서 발생한 생체 신호를 생체 인식 센서로부터 획득한다.
단계 S250에서 감성 추론 장치(100)는 추출한 감성 요소와 주관적 감성 평가 및/또는 생체 신호에서 감성과 연관된 공간 컨텍스트 정보를 기 설계한 완전 연결 서포트 벡터 회귀 네트워크를 이용하여 추출하고, 추출한 공간 컨텍스트 정보와 대응하는 감성 상태를 추론한다. 공간 컨텍스트 정보를 추출하는 방법은 도 10 및 도 11에서 보다 상세하게 설명하도록 한다.
단계 S260에서 감성 추론 장치(100)는 추론한 감성 상태를 위치 좌표로 표현하여 n차원의 감성 추론맵으로 생성하고, 추론한 감성상태 및 생성한 감성 추론맵을 저장부(130)에 저장한다. 감성 추론맵은 도 12에서 보다 상세하게 설명하도록 한다.
도 4는 본 발명의 일 실시 예에 따른 감성 추론 장치가 공간 복잡도를 추출하는 방법을 예시한 도면이다.
도 4를 참조하면, 감성 추론 장치(100)는 영상(400)이 입력되면 경계성분을 검출하는 마스크를 수평(410) 및 수직(420) 방향으로 적용하여 경계 성분 영상(430)을 생성한다. 생성한 경계 성분 영상의 화소 밝기값을 임계값을 기준으로 0 또는 255로 대체하여, 화소 밝기값이 255에 해당하는 화소 수를 전체 화소 수로 나누어 공간 복잡도를 추출할 수 있다.
도 5 및 도 6은 본 발명의 일 실시 예에 따른 감성 추론 장치가 화소 성분을 추출하는 방법을 예시한 도면들이다.
도 5를 참조하면, 감성 추론 장치(100)는 RGB 컬러 영상(500)이 입력되면, 영상을 HSI 모델로 변환하여 색상(HUE)에 해당하는 화소를 히스토그램 분포(510)로 나타낼 수 있다. 감성 추론 장치(100)는 색상을 감정 개념과의 관계로 나타내는 모델(520)을 이용하여 히스토그램 분포(510)에서 긍정 및 부정 감성을 유발하는 색상 범위의 화소를 검출할 수 있다.
도 6을 참조하면, 감성 추론 장치(100)는 일반적으로 색상이 사람의 감정적 반응에 대한 가장 영향력 있는 분류 방법인 플루칙의 감정의 수레바퀴(Plutchik`s wheel of Emotion) 이론(600)을 근거로 긍정 및 부정 감성을 유발하는 색상 범위의 화소를 검출할 수 있다. 플루칙의 감정의 수레바퀴 이론(600)에 따르면 사람은 기본적으로 분노(Anger), 공포(Fear), 슬픔(Sadness), 혐오(Disgust), 놀람(Surprise), 기대(Anticipation), 신뢰(Trust), 기쁨(Joy)과 같이 8개의 중요한 기본 감성이 있다고 주장한다. 이러한 기본 감성은 서로 다른 색상 강도로 표현될 수 있을 뿐만 아니라, 다른 감성을 형성하도록 서로 혼합될 수도 있다. 예를 들면, 플루칙의 감정의 수레바퀴 이론(600)에서 주장하는 기본 감성을 러셀(Russel)이 제안한 2차원 모델(610)에 매칭 하였을 때, 붉은색 계열과 푸른색 계열은 불쾌함을, 초록색 계열과 자주색 계열은 쾌함과 연관 있다는 것을 알 수 있다. 본 발명에서는 플루칙의 감정의 수레바퀴 이론(600)에 기반하여 색상과 인간의 감성을 매칭하였으나, 이에 국한하지 않는다.
도 7 및 도 9는 본 발명의 일 실시 예에 따른 감성 추론 장치가 사운드 성분을 추출하는 방법을 예시한 도면들이다.
도 7을 참조하면, 사운드는 일정한 주기를 갖는 진동이기 때문에 진폭 및 주기를 갖는다. 일반적으로, 진폭이 크고 작음에 따라 소리를 크고 작게 느낄 수 있으며, 주기가 짧을수록 더 고주파(높은음)로 느끼게 된다. 이와 같이, 일상생활에서 들을 수 있는 소리는 이러한 파형들이 모여 더 복잡한 파형을 이룬 소리들의 형태로 나타난다.
도 8을 참조하면, 감성 추정 장치(100)는 식 2를 이용하여 영상에 포함된 소리를 진폭(Amplitude) 관점에서 사운드 성분을 분석할 수 있다. 진폭은 취득된 소리의 크기를 나타낸다. 일반적으로, 인간의 귀는 작은 소리에 민감하고 큰 소리에 상대적으로 덜 민감한 경향이 있다. 이에 진폭을 잘 표현할 수 있는 로그 스케일의 dB(Decibel) 단위로 전환하는 방법이 있다. 소리의 크기 정보를 사용하기 위해서 취득된 N초간의 데이터의 진폭의 평균을 구하고, 이를 사운드 성분의 특징값으로 사용할 수 있다. 예를 들면, 안드로이드 환경에서의 진폭은 -215~215-1의 범위로 취득된다.
Figure 112017102821196-pat00007
(2)
도 9를 참조하면, 감성 추정 장치(100)는 영상에 포함된 소리를 주파수(Frequency) 관점에서 사운드 성분을 분석할 수 있다. 주파수는 소리의 주기가 일정 시간 동안 몇 번 반복되는지 나타내는 특징으로, 취득된 소리의 높낮이를 나타낸다. 감성 추정 장치(100)는 취득된 데이터에서 주파수를 얻기 위해 DFT(Discrete Fourier Transform)을 수행한다. DFT 연산은 여러 주파수가 섞여있는 파형에서 주파수별 함량을 계산하는 것으로서, 연산 결과로 어떤 주파수 대역(Hz)들이 어느 정도의 함량으로 소리를 구성하고 있는지 알 수 있다. 이를 이용하여 감성 추정 장치(100)는 도 9의 (A)와 같이 N초간의 취득한 데이터를 도 9의 (B)와 같이 DFT로 변환하고, 그 결과에서 가장 높은 빈도로 나타난 주파수 값(Hz)를 특징 값으로 사용할 수 있다. DFT 연산은 아래 식 3과 같이 정의된다.
Figure 112017102821196-pat00008
(3)
도 10 및 도 11은 본 발명의 일 실시 예에 따른 감성 추론 장치가 완전 연결 서포트 벡터 회귀 네트워크를 이용하여 공간 컨텍스트 정보를 추출하는 방법을 설명하기 위한 도면들이다.
감성 추론 장치(100)는 주변 환경 영상에서 추출한 감성 요소를 바탕으로 완전 연결 서포트 벡터 회귀 네트워크를 이용하여 사용자의 감성 상태를 예측할 수 있다. 본 발명의 일 실시 예에 따른 감성 추론 장치(100)는 앞서 상술한 바와 같이 시간 복잡도(F1), 공간 복잡도(수평 엣지(F2), 수직 엣지(F3)), 화소 성분(색상(F4), 채도(F5), 강도(F6), 채도(F7)), 그리고 사운드 성분(진폭(F8), 주파수(F9) 와 같이 총 9가지의 특징을 감성 요소로 추출하고, 추출한 감성 요소를 기 설계한 완전 연결 서포트 벡터 회귀 네트워크의 입력값으로 이용하여 감성 상태를 예측한다. 여기서 완전 연결 서포트 벡터 회귀 네트워크는 복수의 서포트 벡터 회귀를 연결한 것으로 상황에 따라 서포트 벡터 회귀 개수를 추가하여 감성 상태를 추론할 수 있다.
도 10을 참조하면, 감성 추론 장치(100)는 2개의 서포트 벡터 회귀를 이용하여 감성 상태를 추론할 경우에 첫번째 서포트 벡터 회귀(SVR #F1)는 불쾌(Unpleasant) 및 쾌(Pleasant)의 특징을 나타내는 공간 컨텍스트 정보를 추론하고, 두번째 서포트 벡터 회귀(SVR #F2)는 흥분(Arousal) 및 편안함(Relaxation)의 특징을 나타내는 공간 컨텍스트 정보를 추론하여, 두 개의 추론 결과를 결합함으로써 2차원 상의 감성 상태를 추론할 수 있다.
도 11을 참조하면, 감성 추정 장치(100)는 4개의 서포트 벡터 회귀를 이용하여 감성 상태를 추론할 경우에 정지 영상에서 획득할 수 있는 감성 요소 7가지 (상술한 F1 내지 F7)는 첫번째 및 두번째 서포트 벡터 회귀 (SVR #1 및 SVR #2)를 사용하여 감성 상태를 추론하고, 정지 영상이 아닌 동영상에서 획득할 수 있는 사운드 성분(상술한 F8 및 F9)은 세번째 및 네번째 서포트 벡터 회귀(SVR F3 및 SVR F4)를 사용하여 감성 상태를 추론할 수 있다. 이를 통해, 첫번째 및 두번째 서포트 벡터 회귀를 통해서 추론되는 제1 공간 컨텍스트 정보와 세번째 및 네번째 서포트 벡터 회귀를 통해서 추론되는 제2 공간 컨텍스트 정보를 결합하여 2차원 상의 감성 상태를 추론할 수 있다. 이때, 감성 추정 장치(100)는 식 4와 같이 제1 공간 컨텍스트 정보와 제2 공간 컨텍스트 정보에 서로 다른 가중치를 적용하여 감성 상태를 추론 할 수 있다.
Figure 112017102821196-pat00009
(4)
본 발명에서 추론된 결과는 2차원 상에 기반하여 예를 들었지만, 사용하는 서포트 벡터 회귀의 개수에 따라서 n차원적으로 감성 상태를 추론하는 것이 가능하다.
도 12는 본 발명의 일 실시 예에 따른 감성 추론 장치가 추론한 감성 상태를 2차원의 감성 추론맵으로 생성한 예를 나타내는 도면이다.
도 12를 참조하면, 감성 추론 장치(100)는 도 12의 (A)와 같은 주변 환경 영상이 입력되면, 입력된 주변 환경 영상에서 시간 복잡도(Time complexity), 공간 복잡도(수평 엣지(Horizontal Edge), 수직 엣지(Vertical Edge)), 화소 성분(Hue, Saturation, Intensity, Contrast), 및 사운드 성분(Amplitude, Frequency)과 같은 감성 요소와 완전 연결 서포트 벡터 회귀 네트워크를 통해 추론된 공간 컨텍스트 정보를 도 12의 (B)와 같이 감성 상태를 위치 좌표로 표현하는 2차원의 감성 추론맵으로 생성할 수 있다. 여기서, 감성 추론맵의 가로축은 불쾌(Unpleasant) 및 쾌(Pleasant)의 감성을 나타내고 세로축은 흥분(Arousal) 및 편안함(Relaxation)의 감성을 나타낸다. 감성 추론 장치(100)는 생성한 감성 추론맵을 사용자 인터페이스 출력부를 통해 출력할 수 있다.
본 발명의 실시 예에 따른 감성 추론 장치를 통해 감성을 추론하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 감성 추정 장치
110: 사용자 인터페이스 입력부
120: 사용자 인터페이스 출력부
130: 제어부
140: 저장부
150: 감성 추론부
151: 주변 환경 영상 입력부
152: 감성 요소 추출부
153: 공간 컨텍스트 정보 추출부
154: 감성맵 생성부

Claims (12)

  1. 삭제
  2. 감성 추론 장치에 있어서,
    소정 시간 동안 카메라 센서로부터 획득한 주변 환경 영상, 사용자 인터페이스 입력부로부터 입력된 주관적 감성 평가 및 생체 인식 센서로부터 생성된 생체 신호를 수신하는 제어부; 및
    상기 주변 환경 영상에서 복수의 감성 요소를 추출하고, 상기 감성 요소, 상기 주관적 감성 평가 및 상기 생체 신호 중 적어도 하나를 이용하여 기 설계한 완전 연결 서포트 벡터 회귀 네트워크(Fully Connected SVR Network) 통해 공간 컨텍스트 정보를 추출하고, 상기 공간 컨텍스트 정보에 대응하는 사용자의 감성 상태를 추론하는 감성 추론부;를 포함하되,
    상기 감성 추론부는
    소정 시간 동안 획득한 RGB 컬러 영상 타입의 주변 환경 영상을 입력하는 주변 환경 영상 입력부;
    상기 주변 환경 영상의 공간 좌표에서 화소 간의 특징값을 이용하여 시간 복잡도, 공간 복잡도, 화소 성분 및 사운드 성분 중 적어도 하나를 포함하는 감성 요소를 추출하는 감성 요소 추출부;
    상기 감성 요소, 상기 주관적 감성 평가 및 상기 생체 신호 중 적어도 하나에서 공간 컨텍스트 정보를 추출하는 공간 컨텍스트 정보 추출부; 및
    상기 추출한 공간 컨텍스트 정보를 이용하여 n차원의 감성 추론맵을 생성하는 감성맵 생성부;를 포함하며,
    상기 감성 요소 추출부는
    상기 주변 환경 영상을 그레이 스케일로 변환하여 현재 프레임과 이전 프레임의 차 영상을 산출하고, 상기 차 영상에서 임계값 이상인 화소 수를 전체 화소 수로 나누어 시간 복잡도를 추출하고, 상기 주변 환경 영상을 획득하는 시점에서 발생한 사운드의 진폭(Amplitude) 또는 주파수(Frequency)을 분석하여 사운드 성분을 추출하는 감성 추론 장치.
  3. 삭제
  4. 제2항에 있어서, 상기 감성 요소 추출부는
    상기 주변 환경 영상의 단일 프레임에 경계성분을 검출하는 마스크를 수평 및 수직 방향으로 적용하여 경계 성분 영상을 생성하고, 상기 경계 성분 영상의 화소 밝기값을 임계값을 기준으로 0 또는 255로 대체하여, 화소 밝기값이 255에 해당하는 화소 수를 전체 화소 수로 나누어 공간 복잡도를 추출하는 감성 추론 장치.
  5. 제2항에 있어서, 상기 감성 요소 추출부는
    상기 주변 환경 영상을 HSI 모델로 변환하고, 하기 식 1을 통해 긍정 및 부정 감성을 유발하는 색상 범위의 화소를 검출하여 화소 성분을 추출하되,
    Figure 112017102821196-pat00010
    (1)
    상기 식 1에서
    Figure 112017102821196-pat00011
    는 HSI 모델의 색상값,
    Figure 112017102821196-pat00012
    는 영상 내에 존재하는 해당
    Figure 112017102821196-pat00013
    값의 개수,
    Figure 112017102821196-pat00014
    는 영상의 너비,
    Figure 112017102821196-pat00015
    는 영상의 높이를 나타내며, 상기 영상의 높이와 너비의 곱으로 합을 나누어 -1 내지 1 사이의 값으로 정규화하는 감성 추론 장치.
  6. 삭제
  7. 제2항에 있어서, 상기 공간 컨텍스트 정보 추출부는
    상기 감성 요소, 상기 주관적 감성 평가 및 상기 생체 신호 중 적어도 하나를 기 설계한 n개의 완전 연결 서포트 벡터 회귀 네트워크(Fully Connected SVR Network)에 입력하여 출력된 결과값으로부터 공간 컨텍스트 정보를 추출하고, 상기 공간 컨텍스트 정보에 대응하는 감성 상태를 추론하는 감성 추론 장치.
  8. 제2항에 있어서,
    상기 감성맵 생성부는
    상기 공간 컨텍스트 정보에 대응하는 사용자의 감성 상태를 기 설정한 완전 연결 서포트 벡터 회귀 네트워크의 개수의 따라 n차원의 감성 추론맵으로 생성하되, 상기 감성 추론맵은 상기 감성 상태를 위치 좌표로 표현하는 감성 추론 장치.
  9. 감성 추론 장치를 이용하여 감성을 추론하는 감성 추론 방법에 있어서,
    소정 시간 동안 RGB 카메라를 통해 획득한 정지 영상 또는 동영상 형태의 주변 환경 영상을 획득하는 단계;
    획득한 주변 환경 영상의 공간 좌표에서 화소 간의 특징값을 이용하여 감성 요소를 추출하는 단계;
    기 설계한 완전 연결 서포트 벡터 회귀 네트워크를 이용하여 상기 감성 요소 간에 공간 컨텍스트 정보를 추출하고 상기 공간 컨텍스트 정보에 대응하는 감성 상태를 추론하는 단계; 및
    추론된 결과를 n차원의 감성 추론맵으로 생성하는 단계를 포함하되,
    상기 감성요소를 추출하는 단계는,
    상기 주변 환경 영상을 그레이 스케일로 변환하여 현재 프레임과 이전 프레임의 차 영상을 산출하고, 상기 차 영상에서 임계값 이상인 화소 수를 전체 화소 수로 나누어 시간 복잡도를 추출하고, 상기 주변 환경 영상을 획득하는 시점에서 발생한 사운드의 진폭(Amplitude) 또는 주파수(Frequency)을 분석하여 사운드 성분을 추출하는 것을 포함하는 감성 추론 방법.
  10. 제9항에 있어서,
    상기 감성요소를 추출하는 단계는,
    기 설계한 완전 연결 서포트 벡터 회귀 네트워크를 이용하여 상기 감성 요소 간에 공간 컨텍스트 정보를 추출하고 상기 공간 컨텍스트 정보에 대응하는 감성 상태를 추론하는 단계; 및
    추론된 결과를 n차원의 감성 추론맵으로 생성하는 단계를 더 포함하되,
    상기 주변 환경 영상의 단일 프레임에 경계성분을 검출하는 마스크를 수평 및 수직 방향으로 적용하여 경계 성분 영상을 생성하고, 생성한 경계 성분 영상의 화소 밝기값을 임계값을 기준으로 0 또는 255로 대체하여, 화소 밝기값이 255에 해당하는 화소 수를 전체 화소 수로 나누어 추출하여 공간복잡도를 산출하는 것을 더 포함하고,
    상기 화소 성분은 상기 주변 환경 영상을 HSI 모델로 변환하고, 하기 식 1을 이용하여 색상 성분 중 긍정 및 부정 감성 상태를 유발하는 색상 범위의 화소를 검출하여 추출하되, 식 1에서
    Figure 112019023491597-pat00016
    는 HSI 모델의 색상값,
    Figure 112019023491597-pat00017
    는 영상 내에 존재하는 해당
    Figure 112019023491597-pat00018
    값의 개수,
    Figure 112019023491597-pat00019
    는 영상의 너비,
    Figure 112019023491597-pat00020
    는 영상의 높이를 나타내며, 상기 영상의 높이와 너비의 곱으로 합을 나누어 -1 내지 1 사이의 값으로 정규화하고,
    Figure 112019023491597-pat00021
    (1)
    상기 사운드 성분은 상기 주변 환경 영상을 획득하는 시점에서 발생한 사운드의 진폭(Amplitude) 또는 주파수(Frequency)을 분석하여 추출하는 감성 추론 방법.
  11. 제9항에 있어서, 상기 공간 컨텍스트 정보를 추출하는 단계는
    상기 감성 요소를 기 설계한 n개의 완전 연결 서포트 벡터 회귀 네트워크(Fully Connected SVR Network)의 입력값으로 사용하여 공간 컨텍스트 정보를 추출하되,
    사용자 인터페이스 입력부로부터 입력된 사용자의 주관적 감성 평가 및 생체 인식 센서로부터 생성된 생체 신호를 수신할 시 상기 감성 요소, 상기 주관적 감성 평가 및 생체 신호를 입력값으로 사용하여 공간 컨텍스트 정보를 추출하는
    감성 추론 방법.
  12. 제9항 내지 제11항 중 어느 하나의 감성 추론 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
KR1020170135398A 2017-10-18 2017-10-18 주변 환경 영상을 이용한 감성 추정 장치 및 방법 KR102027494B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170135398A KR102027494B1 (ko) 2017-10-18 2017-10-18 주변 환경 영상을 이용한 감성 추정 장치 및 방법
PCT/KR2017/014040 WO2019078407A1 (ko) 2017-10-18 2017-12-01 주변 환경 영상을 이용한 감성 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170135398A KR102027494B1 (ko) 2017-10-18 2017-10-18 주변 환경 영상을 이용한 감성 추정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190043391A KR20190043391A (ko) 2019-04-26
KR102027494B1 true KR102027494B1 (ko) 2019-10-01

Family

ID=66173764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170135398A KR102027494B1 (ko) 2017-10-18 2017-10-18 주변 환경 영상을 이용한 감성 추정 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102027494B1 (ko)
WO (1) WO2019078407A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219698A (ja) * 2014-05-16 2015-12-07 Kddi株式会社 パーツの影響度に基づいて感情を推定する装置、プログラム及び方法
KR101744863B1 (ko) * 2016-01-18 2017-06-20 주식회사 브이아이텍 영상을 이용한 2차원 감성 추정 방법 및 시스템

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101337229B1 (ko) * 2009-08-31 2013-12-05 에스케이플래닛 주식회사 영상통화 시 사용자의 감정상태 제공 시스템, 햅틱서버 및 방법
KR101825687B1 (ko) * 2015-04-24 2018-02-05 한국전자통신연구원 차영상을 이용한 장애물 검출장치 및 그 방법
KR101738278B1 (ko) * 2015-12-31 2017-05-22 성균관대학교산학협력단 영상을 이용한 감정 인식 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015219698A (ja) * 2014-05-16 2015-12-07 Kddi株式会社 パーツの影響度に基づいて感情を推定する装置、プログラム及び方法
KR101744863B1 (ko) * 2016-01-18 2017-06-20 주식회사 브이아이텍 영상을 이용한 2차원 감성 추정 방법 및 시스템

Also Published As

Publication number Publication date
WO2019078407A1 (ko) 2019-04-25
KR20190043391A (ko) 2019-04-26

Similar Documents

Publication Publication Date Title
Bulagang et al. A review of recent approaches for emotion classification using electrocardiography and electrodermography signals
US20180268543A1 (en) Linear-Based Eulerian Motion Modulation
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
KR20160116311A (ko) 로봇의 표정 기반 연속적 정서 인식 방법, 이를 수행하기 위한 기록 매체 및 장치
Ozdemir et al. EEG based emotional state estimation using 2-D deep learning technique
TW201933049A (zh) 夢境重現模型的構建方法、夢境重現方法及裝置
Conde et al. Weakly-supervised classification and detection of bird sounds in the wild. a birdclef 2021 solution
Gurumoorthy et al. EEG based emotion recognition using wavelets and neural networks classifier
KR20230021106A (ko) 생체 데이터를 사용하여 제품 추천들을 생성하기 위한 시스템
CN114203300A (zh) 一种健康状态评估方法及系统、服务端、存储介质
KR20150019351A (ko) 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법
KR102027494B1 (ko) 주변 환경 영상을 이용한 감성 추정 장치 및 방법
Tao et al. Multi-feature fusion prediction of fatigue driving based on improved optical flow algorithm
Wang et al. Efficient bubbles for visual categorization tasks
JP6318451B2 (ja) 顕著度画像生成装置、方法、及びプログラム
KR102142183B1 (ko) 사용자의 심리활동과 생체신호에 기반한 감정 추정 방법 및 그 시스템
Muduli et al. A moreau envelope-based nonlinear filtering approach to denoising physiological signals
Kawakami et al. Novel image classification based on decision-level fusion of EEG and visual features
CN113017634B (zh) 情绪评估方法、装置、电子设备和计算机可读存储介质
CN113420591A (zh) 基于情感的occ-pad-ocean联邦认知建模方法
KR102112699B1 (ko) 시계열적 신호 시각화 방법 및 이를 이용한 장치
Asada et al. Quantitative Evaluation of Facial Expressions and Movements of Persons While Using Video Phone.
Boubchir et al. Effectiveness of combined time-frequency imageand signal-based features for improving the detection and classification of epileptic seizure activities in EEG signals
KR101024954B1 (ko) 색채와 감정 간의 관계에 기초한 영상의 색 변환 방법
KR101911891B1 (ko) 영상분석을 이용한 공감 감성 추론 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant