KR20200101137A - 감정 분석 시스템 및 이의 동작 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 감정 분석 시스템은, 관객들을 촬영 기간 동안 촬영하여, 제1 영상을 생성하는 영상 촬영부; 상기 제1 영상을 복수의 제2 영상들로 분할하고, 상기 복수의 제2 영상들을 저장 단위 시간에 따라 전송하는 영상 처리 장치; 및 분석 기간 동안 상기 복수의 제2 영상들을 분석하여 상기 복수의 제2 영상들에 각각에 대한 감정 정보를 생성하는 영상 분석 장치를 포함하고, 상기 영상 처리 장치는, 상기 제1 영상을 분할하여 상기 복수의 제2 영상들을 저장하는 분할부; 및 상기 복수의 제2 영상들이 상기 저장 단위 시간 동안 저장되면, 저장된 복수의 제2 영상들을 상기 영상 분석 장치로 전송하는 전송부를 포함한다.

Description

감정 분석 시스템 및 이의 동작 방법{EMOTION ANALYSIS SYSTEM AND OPERATION METHOD OF THE SAME}

본 발명의 실시예는 감정 분석 시스템 및 이의 동작 방법, 특히 영상 컨텐츠가 상영되는 동안 관객들을 촬영하여, 관객들의 표정 및 행동 패턴을 기초로 감정을 분석할 수 있는 감정 분석 시스템 및 이의 동작 방법에 관한 것이다.

종래의 영화나 드라마, 게임 등과 같은 영상 컨텐츠에 대한 관객들의 관람 만족도를 측정하고 흥행 가능성을 예측하려는 시도가 있었다. 이 경우 관객들을 대상으로 해당 영상 컨텐츠에 대한 정성적 가치를 판단하기 위해, 영상 컨텐츠에 대한 집중도, 영상 컨텐츠에 따른 반응 등을 조사할 필요성이 있었다.

하지만, 종래의 영상 컨텐츠에 대한 관객 분석은 설문조사 형식을 취하기 때문에 영상 컨텐츠의 전체적인 집중도에 대한 평가만이 이루어지게 되며 주관적인 의사가 반영되어 객관화된 결과를 얻지 못하는 문제점이 있었다.

더욱이, 이러한 조사를 위해서는 관객 별도로 시간을 할애하여 설문조사에 응해야 하고, 관객 전체에 대한 평가결과를 획득하기가 제한되며 일부 무성의한 응답자에 대한 조사데이터가 평가결과에 반영되기 때문에 평가데이터의 신뢰도가 저하되는 문제점이 있었다. 또한, 관객들의 표정을 분석하는 경우에도, 분석 시스템의 사용자가 영상 컨텐츠의 상영이 종료된 이후 즉각적으로 분석 결과를 받아 볼 수 없는 문제점이 있었다.

한국공개특허 제2018-0077680호 '얼굴 표정 인식기반의서비스 제공 장치 및 그 방법'(2018.07.09. 공개) 일본공개특허 제2006-012171호 '생체 인식을 이용한 리뷰관리시스템 및 관리 방법'(2006.01.12. 공개)

본 발명의 해결하고자 하는 과제는 영상 컨텐츠가 상영되는 동안 관객들을 촬영하여, 관객들의 표정 및 행동 패턴을 기초로 감정을 분석할 수 있는 감정 분석 시스템 및 이의 동작 방법을 제공하는 것이다.

또한, 본 발명의 해결하고자 하는 다른 과제는 관객들의 얼굴 영상을 얼굴 인식 결과에 따라 복수의 분할 영상들로 분할하여 영상 분석 장치로 전송함으로써, 분석 속도를 향상시킬 수 있는 감정 분석 시스템 및 이의 동작 방법을 제공하는 것이다.

또한, 본 발명의 해결하고자 하는 다른 과제는 영상 분석 장치가 복수의 분할 영상들에 대하여 병렬로 분석을 수행함으로써 분석 속도를 향상시킬 수 있는 감정 분석 시스템 및 이의 동작 방법을 제공하는 것이다.

또한, 본 발명의 해결하고자 하는 다른 과제는 영상 컨텐츠가 상영되는 동안 분석을 완료할 수 있는 감정 분석 시스템 및 이의 동작 방법을 제공하는 것이다.

상술한 목적을 달성하기 위하여, 본 발명의 실시예에 따른 감정 분석 시스템은, 관객들을 촬영 기간 동안 촬영하여, 제1 영상을 생성하는 영상 촬영부; 상기 제1 영상을 복수의 제2 영상들로 분할하고, 상기 복수의 제2 영상들을 저장 단위 시간에 따라 전송하는 영상 처리 장치; 및 분석 기간 동안 상기 복수의 제2 영상들을 분석하여 상기 복수의 제2 영상들에 각각에 대한 감정 정보를 생성하는 영상 분석 장치를 포함하고, 상기 영상 처리 장치는, 상기 제1 영상을 분할하여 상기 복수의 제2 영상들을 저장하는 분할부; 및 상기 복수의 제2 영상들이 상기 저장 단위 시간 동안 저장되면, 저장된 복수의 제2 영상들을 상기 영상 분석 장치로 전송하는 전송부를 포함한다.

본 발명에서, 상기 분할부는, 상기 제1 영상에 포함된 상기 관객들의 얼굴을 인식하고, 상기 관객들의 수를 추출하는 얼굴 인식부; 상기 관객들의 수와 기준값을 비교하고, 비교 결과에 따라 서로 상이한 방식으로 상기 제1 영상의 촬영 영역을 복수의 분할 영역들로 분할하는 분할 영역 설정부; 상기 복수의 분할 영역들 중 적어도 하나를 분석 대상으로 선택하는 분석 대상 선택부; 및 상기 분석 대상에 따라, 상기 복수의 제2 영상들을 저장하는 영상 저장부를 포함한다.

본 발명에서, 상기 관객들의 수가 상기 기준값보다 작거나 같은 경우, 상기 분할 영역 설정부는, 상기 관객들의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하고, 상기 복수의 분할 영역들 각각은, 한명의 관객의 얼굴을 나타낸다.

본 발명에서, 상기 관객들의 수가 상기 기준값보다 큰 경우, 상기 분할 영역 설정부는, 사용자로부터 분할 영역들의 수를 입력받고, 입력받은 상기 분할 영역의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할한다.

본 발명에서, 상기 관객들의 수가 상기 기준값보다 큰 경우, 상기 분할 영역 설정부는, 서로 인접한 관객들끼리 그룹핑하고, 생성된 그룹들의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할한다.

본 발명에서, 상기 분할 영역 설정부는, 상기 관객들에 대하여 K-평균 알고리즘을 이용하여, 서로 인접한 관객들에 대하여 그룹핑을 수행함으로써 복수의 그룹들을 생성한다.

본 발명에서, 상기 전송부는, 상기 저장 단위 시간을 결정하는 결정부; 상기 복수의 제2 영상들을 저장하는 동안, 상기 저장 단위 시간을 카운트하는 카운터; 및 상기 저장 단위 시간이 도과한 경우, 상기 저장된 복수의 제2 영상들을 영상 분석 장치로 영상 전송부를 포함하고, 상기 카운터는, 상기 촬영 기간이 도과하지 않은 경우, 상기 저장 단위 시간을 다시 카운트한다.

본 발명에서, 상기 결정부는, 상기 저장 단위 시간을 사용자로부터 입력받는다.

본 발명에서, 상기 결정부는, 상기 저장 단위 시간을 상기 복수의 제2 영상들의 용량이 상기 영상 분석 장치의 최대 처리 용량 이하로 설정되도록 결정한다.

본 발명에서, 상기 카운터는, 상기 촬영 기간이 도과한 경우, 카운트를 중지한다.

상술한 목적을 달성하기 위하여, 본 발명의 실시예에 따른 감정 분석 시스템의 동작 방법은, 관객들을 촬영 기간 동안 촬영하여, 제1 영상을 생성하는 단계; 상기 제1 영상을 분할하여 복수의 제2 영상들을 저장하는 단계; 상기 복수의 제2 영상들이 저장 단위 시간 동안 저장되면, 저장된 복수의 제2 영상들을 영상 분석 장치로 전송하는 단계; 분석 기간 동안 상기 복수의 제2 영상들을 분석하여 상기 복수의 제2 영상들에 각각에 대한 감정 정보를 생성하는 단계; 및 상기 감정 정보를 통합하여 통합 감정 정보를 생성하는 단계를 포함한다.

본 발명에서, 상기 복수의 제2 영상들을 저장하는 단계는, 상기 제1 영상에 포함된 상기 관객들의 얼굴을 인식하고, 상기 관객들의 수를 추출하는 단계; 상기 관객들의 수와 기준값을 비교하고, 비교 결과에 따라 서로 상이한 방식으로 상기 제1 영상의 촬영 영역을 복수의 분할 영역들로 분할하는 단계; 상기 복수의 분할 영역들 중 적어도 하나를 분석 대상으로 선택하는 단계; 및 상기 분석 대상에 따라, 상기 복수의 제2 영상들을 저장하는 단계를 포함한다.

본 발명에서, 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계는, 상기 관객들의 수와 기준값을 비교하는 단계; 및 상기 관객들의 수가 상기 기준값보다 작거나 같은 경우, 상기 관객들의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계를 포함하고, 상기 복수의 분할 영역들 각각은, 한명의 관객의 얼굴이 나타낸다.

본 발명에서, 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계는, 상기 관객들의 수가 상기 기준값보다 큰 경우, 사용자로부터 분할 영역들의 수를 입력받고, 입력받은 상기 분할 영역의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계를 더 포함한다.

본 발명에서, 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계는, 상기 관객들의 수가 상기 기준값보다 큰 경우, 서로 인접한 관객들끼리 그룹핑하고, 생성된 그룹들의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계를 더 포함한다.

본 발명에서, 상기 저장된 복수의 제2 영상들을 전송하는 단계는, 상기 저장 단위 시간을 결정하는 단계; 상기 복수의 제2 영상들을 저장하는 동안, 상기 저장 단위 시간을 카운트하는 단계; 및 상기 저장 단위 시간이 도과한 경우, 상기 저장된 복수의 제2 영상들을 전송하는 단계를 포함하고, 상기 촬영 기간이 도과하지 않은 경우, 상기 저장 단위 시간을 카운트하는 단계로 다시 진행한다.

본 발명에서, 상기 저장 단위 시간을 결정하는 단계는, 사용자로부터 상기 저장 단위 시간을 입력받는다.

본 발명에서, 상기 저장 단위 시간을 결정하는 단계는, 상기 복수의 제2 영상들의 용량이 상기 영상 분석 장치의 최대 처리 용량 이하로 설정되도록 상기 저장 단위 시간을 결정한다.

본 발명에서, 상기 촬영 기간은 상기 분석 기간에 부분적으로 중첩된다.

본 발명에서, 상기 촬영 기간 및 상기 분석 기간은 서로 동일하다.

본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은 영상 컨텐츠가 상영되는 동안 관객들을 촬영하여, 관객들의 표정 및 행동 패턴을 기초로 감정을 분석할 수 있다.

또한, 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은 얼굴 영상을 얼굴 인식 결과에 따라 복수의 분할 영상들로 분할하여 영상 분석 장치로 전송함으로써, 분석 속도를 향상시킬 수 있다.

또한, 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은 영상 분석 장치가 복수의 분할 영상들에 대하여 병렬로 분석을 수행함으로써 분석 속도를 향상시킬 수 있다.

또한, 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은 영상 컨텐츠가 상영되는 동안 분석을 완료할 수 있다.

본 발명에서 얻을 수 있는 효과는 상기 효과들에 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1 및 도 2는 본 발명의 실시예에 따른 감정 분석 시스템을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 영상 처리 장치를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 분할부를 나타내는 도면이다.
도 5 내지 도 7은 본 발명의 실시예에 따른 분할부의 동작을 나타내는 도면이다.
도 8은 본 발명의 실시예에 다른 전송부를 나타내는 도면이다.
도 9 내지 도 11은 본 발명의 실시예에 따른 감정 분석 시스템의 동작을 나타내는 타이밍도이다.
도 12는 본 발명의 실시예에 따른 감정 정보를 나타내는 도면이다.
도 13은 본 발명의 실시예에 따른 감정 분석 시스템의 동작 방법을 나타내는 순서도이다.
도 14는 본 발명의 실시예에 따른 감정 분석 시스템의 동작 방법을 상세하게 나타내는 순서도이다.
도 15는 본 발명의 실시예에 따른 감정 분석 시스템의 동작 방법을 상세하게 나타내는 순서도이다.
도 16는 본 발명의 실시예에 따른 감정 분석 시스템의 동작 방법을 상세하게 나타내는 순서도이다.
도 17는 본 발명의 실시예에 따른 감정 분석 시스템의 동작 방법을 상세하게 나타내는 순서도이다.

본 발명을 더욱 상세히 설명한다.

이하 첨부한 도면을 참고하여 본 발명의 실시예 및 그 밖에 당업자가 본 발명의 내용을 쉽게 이해하기 위하여 필요한 사항에 대하여 상세히 기재한다. 다만, 본 발명은 청구범위에 기재된 범위 안에서 여러 가지 상이한 형태로 구현될 수 있으므로 하기에 설명하는 실시예는 표현 여부에 불구하고 예시적인 것에 불과하다.

동일한 도면부호는 동일한 구성요소를 지칭한다. 또한, 도면들에 있어서, 구성요소들의 두께, 비율, 및 치수는 기술적 내용의 효과적인 설명을 위해 과장된 것이다. "및/또는"은 연관된 구성들이 정의할 수 있는 하나 이상의 조합을 모두 포함할 수 있다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.

또한, "아래에", "하측에", "위에", "상측에" 등의 용어는 도면에 도시된 구성들의 연관관계를 설명하기 위해 사용된다. 상기 용어들은 상대적인 개념으로, 도면에 표시된 방향을 기준으로 설명된다.

"포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

즉, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 이하의 설명에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함할 수 있다. 또한, 도면에서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호 및 부호로 나타내고 있음에 유의해야 한다.

도 1 및 도 2는 본 발명의 실시예에 따른 감정 분석 시스템(10)을 나타내는 도면이다.

도 1 및 도 2를 참조하면, 감정 분석 시스템(10)은 영상 촬영 장치(100), 영상 처리 장치(200), 및 영상 분석 장치(300)를 포함할 수 있다.

영상 촬영 장치(100)는 관객들을 촬영 기간 동안 촬영할 수 있다. 예컨대, 관객들은 TV, 영화, 연극, 뮤지컬, 공연 등의 모든 종류의 영상을 관람할 수 있으며, 본 발명이 이에 제한되는 것은 아니다. 관객들이 영화관에서 영화를 관람하는 경우, 영상 촬영 장치(100)는 관객석(AS)에 앉은 관객들의 얼굴(AF)을 촬영할 수 있다. 일반적으로, 영화관에는 200개 또는 그 이상의 관객석이 배치될 수 있다. 예컨대, 영상 촬영 장치(100)는 영상 처리 장치(200)로부터 수신한 촬영 제어 정보에 기초하여, 촬영을 하고, 제1 영상(즉, 기본 영상)을 생성할 수 있다. 즉, 제1 영상은 영화를 관람하는 관객들을 촬영한 영상일 수 있다. 예컨대, 촬영 제어 정보는 영상 촬영 장치(100)의 촬영 기간, 해상도, 프레임 레이트(frame rate) 및 코덱(codec) 중 적어도 하나를 포함할 수 있다. 실시예에 따라, 영상 촬영 장치(100)는 적어도 하나의 카메라(camera)를 포함할 수 있다.

영상 처리 장치(200)는 제1 영상을 복수의 제2 영상(즉, 분할 영상)들로 분할하고, 복수의 제2 영상들을 저장할 수 있다. 그리고, 영상 처리 장치(200)는 복수의 제2 영상들을 영상 분석 장치(300)로 전송할 수 있다. 이때, 영상 처리 장치(200)는 영상 분석 장치(300)로 저장 단위 시간에 따라 전송할 수 있다. 이를 통해, 본 발명의 실시예에 따른 영상 처리 장치(200)는 관객의 관람이 종료되기 전에 미리 제1 영상을 복수의 제2 영상들로 분할하고, 영상 분석 장치(300)로 저장 단위 시간에 따라 전송함으로써, 분석 속도를 비약적으로 향상시킬 수 있다. 영상 처리 장치(200)에 관한 상세한 내용은 도 3에서 설명된다.

영상 분석 장치(300)는 영상 처리 장치(200)로부터 수신한 영상에 대하여, 감정 분석을 수행할 수 있다. 특히, 영상 분석 장치(300)는 분석 기간 동안 수신한 복수의 영상들에 대하여 병렬로 감정 분석을 수행할 수 있다. 그리고, 영상 분석 장치(300)는 감정 분석을 통해 감정 정보를 생성할 수 있다. 예컨대, 감정 정보는 사람의 무관심, 지겨움, 기쁨, 분노, 슬픔, 즐거움, 공포, 사랑, 혐오, 증오, 욕망 등의 일반 감정들 중 어느 하나를 포함할 수 있고, 각 상응하는 감정에 대한 정도를 퍼센트로 나타낸 수치를 더 포함할 수 있다.

즉, 영상 분석 장치(300)는 복수의 제2 영상들 각각에 포함된 관객들의 얼굴(AF)의 표정 또는 관객들의 행동 패턴(예컨대, 하품, 대화, 자리 비움, 핸드폰 사용 등)을 분석하여, 관객들의 감정을 나타내는 감정 정보를 생성할 수 있다.

예컨대, 영상 분석 장치(300)는 관객들의 얼굴(AF)에 나타난 표정의 종류 및 표정이 발생하는 빈도, 그리고 관객들의 행동의 종류 및 행동이 발생하는 빈도를 이용하여, 관객들의 얼굴(AF)에 나타난 표정과 관객들의 행동 패턴을 분석할 수 있다.

이때, 감정 정보는 복수의 제2 영상들에 대하여 각각 생성될 수 있다. 영상 분석 장치(300)는 생성된 감정 정보를 영상 처리 장치(200)로 전송할 수 있다. 실시예에 따라, 영상 분석 장치(300)는 별도의 서버 장치로 구현될 수 있다. 그러나, 본 발명이 이에 한정되는 것은 아니며, 실시예에 따라, 영상 분석 장치(300)는 감정 분석 시스템(10)의 일 장치로서 구현될 수 있다.

영상 촬영 장치(100), 영상 처리 장치(200), 및 영상 분석 장치(300) 중 적어도 둘 이상은 무선 네트워크 또는 유선 네트워크를 통해 데이터/신호를 송수신할 수 있다. 이때, 무선 네트워크 또는 유선 네트워크는 특별히 한정되지 않으며, 본 발명의 목적을 달성하기 위한 범위 내에서 가용한 모든 종류의 네트워크 시스템이 적용될 수 있다.

실시예에 따라, 영상 촬영 장치(100), 영상 처리 장치(200), 및 영상 분석 장치(300) 중 적어도 둘 이상은 통합되어 일체로 구현될 수 있다.

도 3은 본 발명의 실시예에 따른 영상 처리 장치(200)를 나타내는 도면이다. 설명의 편의를 위하여, 도 3에서 영상 촬영 장치(100) 및 영상 분석 장치(300)가 함께 도시된다.

도 3을 참조하면, 영상 처리 장치(200)는 분할부(210), 전송부(220), 제어부(230) 및 통합부(240)를 포함할 수 있다.

분할부(210)는 제1 영상(IM1)을 복수의 제2 영상(IM2)들로 분할하고, 복수의 제2 영상(IM2)들을 저장할 수 있다. 즉, 분할부(210)는 제1 영상(IM1)의 촬영 영역을 복수의 분할 영역들로 분할하고, 복수의 분할 영역들 중 적어도 하나를 분석 대상으로 선택할 수 있다. 분할부(210)는 분석 대상에 따라 복수의 제2 영상(IM2)들을 생성하여 저장할 수 있다. 분할부(210)와 관련된 상세한 내용은 도 4에서 설명된다.

전송부(220)는 복수의 제2 영상(IM2)들이 저장 단위 시간 동안 저장되면, 저장된 복수의 제2 영상(IM2)들을 영상 분석 장치(300)로 전송할 수 있다. 전송부(220)와 관련된 상세한 내용은 도 8에서 설명된다.

제어부(230)는 영상 촬영 장치(100)의 동작을 제어할 수 있다. 즉, 제어부(230)는 촬영 제어 정보(PCI)를 생성하여, 영상 촬영 장치(100)로 전송할 수 있다. 예컨대, 촬영 제어 정보는 영상 촬영 장치(100)의 촬영 기간, 해상도, 프레임 레이트(frame rate) 및 코덱(codec) 중 적어도 하나를 포함할 수 있다.

통합부(240)는 영상 분석 장치(300)로부터 감정 정보(EI)를 수신할 수 있다. 감정 정보(EI)는 복수의 제2 영상(IM2)들 각각에 대응한다. 따라서, 통합부(240)는 감정 정보(EI)를 통합하여 제1 영상(IM1)에 대응하는 통합 감정 정보를 생성할 수 있다.

도 4는 본 발명의 실시예에 따른 분할부(210)를 나타내는 도면이다. 도 5 내지 도 7은 본 발명의 실시예에 따른 분할부의 동작을 나타내는 도면이다.

도 4를 참조하면, 분할부(210)는 얼굴 인식부(211), 분할 영역 설정부(212), 분석 대상 선택부(213) 및 영상 저장부(214)를 포함할 수 있다.

얼굴 인식부(211)는 제1 영상에 포함된 관객들의 얼굴을 인식할 수 있다. 그리고, 얼굴 인식부(211)는 얼굴 인식을 통해 관객들의 수를 추출할 수 있다.

분할 영역 설정부(212)는 관객들의 수와 기준값을 비교할 수 있다. 그리고, 분할 영역 설정부(212)는 비교 결과에 따라 서로 상이한 방식으로 제1 영상의 촬영 영역을 복수의 분할 영역들로 분할할 수 있다. 이때, 기준값은 기 설정된 값으로서, 실시예에 따라 10이하의 값을 가질 수 있다. 이를 통해, 관객들의 수가 기준값 이하인 경우와 초과인 경우 각각에 대하여 분할부(210)의 동작을 달리함으로써, 한정된 성능 자원을 보다 효율적으로 사용할 수 있다.

분석 대상 선택부(213)는 복수의 분할 영역들 중 적어도 하나를 분석 대상으로 선택할 수 있다. 즉, 분석 대상 선택부(213)는 복수의 분할 영역들 중에서, 분석이 수행될 영역들을 분석 대상으로 선택할 수 있다. 이때, 분석 대상 선택부(213)는 별도의 사용자 선택 또는 기 설정된 분석 대상에 대한 정보를 이용하여, 복수의 분할 영역들 중에서 분석 대상인 적어도 하나의 분할 영역을 선택할 수 있다.

영상 저장부(214)는 분석 대상에 따라 복수의 제2 영상(IM2)들을 저장할 수 있다. 즉, 복수의 제2 영상(IM2)들은 분석 대상으로 선택된 적어도 하나의 분할 영역에 대응할 수 있으며, 영상 저장부(214)는 복수의 제2 영상(IM2)을 저장할 수 있다. 실시예에 따라, 영상 저장부(214)는 별도의 저장 장치(storage device) 또는 클라우드 서버(cloud server)로 구현될 수 있다.

도 5는, 관객들의 수가 기준값보다 작거나 같은 경우, 분할부(210)의 동작을 도시한다. 이때, 관객들의 수는 8이고, 기준값은 10인 것으로 가정한다.

도 3 및 도 5를 참조하면, 얼굴 인식부(211)는 관객들의 얼굴을 인식하여, 관객들의 수를 추출할 수 있다. 분할 영역 설정부(212)는 얼굴 인식부(211)에 의해 추출된 관객들의 수와 기준값을 비교할 수 있다.

관객들의 수가 기준값보다 작으므로, 분할 영역 설정부(212)는 관객들의 수에 따라 촬영 영역(PA)을 복수의 분할 영역들(DA1 내지 DA8)로 분할할 수 있다. 이때, 복수의 분할 영역들(DA1 내지 DA8)은 관객들 각각에 대응하며, 복수의 분할 영역들(DA1 내지 DA8) 각각은 한명의 관객의 얼굴을 나타낼 수 있다.

각각이 한명의 관객의 얼굴을 나타내는 분할 영역들에 따라 생성된 제2 영상들에 대하여 영상 분석 장치가 분석을 수행하므로, 하나의 영상에 다수의 관객들의 얼굴들이 포함되는 경우보다 정확도 및 신뢰도가 향상될 수 있다. 따라서, 상술한 방식을 통해, 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은, 관객들의 수가 일정 수 이하인 경우, 관객들 각각에 대하여 영상을 생성하고 분석을 수행함으로써, 분석 정확도와 신뢰도를 향상시킬 수 있다.

도 6은, 관객들의 수가 기준값보다 큰 경우, 분할부(210)의 동작을 도시한다. 이때, 관객들의 수는 적어도 30 이상이고, 기준값은 10인 것으로 가정한다. 그리고, 관객들은 관객석에 고르게 분포한 것으로 가정한다.

도 3 및 도 6을 참조하면, 얼굴 인식부(211)는 관객들의 얼굴을 인식하여, 관객들의 수를 추출할 수 있다. 분할 영역 설정부(212)는 얼굴 인식부(211)에 의해 추출된 관객들의 수와 기준값을 비교할 수 있다.

관객들의 수가 기준값보다 크므로, 분할 영역 설정부(212)는 사용자로부터 분할 영역들의 수를 입력받을 수 있다. 즉, 사용자는 분할 영역들의 수를 임의로 설정하여 입력할 수 있다. 그러나 본 발명이 이에 한정되는 것은 아니며, 실시예에 따라, 분할 영역의 수는 기 설정된 수로 설정될 수 있다.

분할 영역 설정부(212)는 사용자로부터 입력받은 분할 영역들의 수에 따라, 촬영 영역(PA)을 복수의 분할 영역들(DA1 내지 DA4)로 분할할 수 있다. 이때, 복수의 분할 영역들(DA1 내지 DA4)은 관객들의 좌석 배치에 기초한 다수의 관객들에 대응하며, 복수의 분할 영역들(DA1 내지 DA4) 각각은 다수의 관객들의 얼굴들을 나타낼 수 있다.

예컨대, 분할 영역 설정부(212)는 사용자로부터 4의 분할 영역의 수를 입력받고, 촬영 영역(PA)에 대하여 1개의 가로선 또는 세로선을 설정함으로써, 4개의 분할 영역들을 설정할 수 있다. 그에 따라, 촬영 영역(PA)은 다수의 관객들을 나타내는 4개의 분할 영역(DA1 내지 DA4)로 분할될 수 있다.

다수의 관객들의 얼굴들을 나타내는 분할 영역들에 따라 생성된 제2 영상들에 대하여 연상 분석 장치가 분석을 수행하므로, 하나의 영상에 하나의 관객의 얼굴이 포함되는 경우보다 분석 속도가 향상될 수 있다. 따라서, 상술한 방식을 통해, 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은, 관객의 수가 일정 수 이상인 경우, 다수의 관객들에 대하여 영상을 생성하고 분석을 수행함으로써, 분석 속도를 향상시킬 수 있다.

도 7은, 관객들의 수가 기준값보다 큰 경우, 분할부(210)의 동작을 도시한다. 도 7은 도 6에 도시된 실시예와 다른 실시예를 도시한다. 도 6 및 도 7에 도시된 실시예들 사이의 차이점은 아래에서 설명된다. 이때, 관객들의 수는 20명이고, 기준값은 10인 것으로 가정한다. 그리고, 관객들은 관객석에 고르지 않게 분포된 것으로 가정한다.

도 3 및 도 7을 참조하면, 얼굴 인식부(211)는 관객들의 얼굴을 인식하여, 관객들의 수를 추출할 수 있다. 분할 영역 설정부(212)는 얼굴 인식부(211)에 의해 추출된 관객들의 수와 기준값을 비교할 수 있다.

관객들의 수가 기준값보다 크므로, 분할 영역 설정부(212)는 서로 인접한 관객들끼리 그룹핑할 수 있다. 즉, 분할 영역 설정부(212)는 서로 인접한 관객들에 대하여 그룹을 설정할 수 있다.

실시예에 따라, 분할 영역 설정부(212)는 K-최근접 이웃 알고리즘(K-nearest neighbors algorithm) 또는 K-평균 알고리즘(K-means algorithm)을 이용하여, 서로 인접한 관객들끼리 그룹핑할 수 있다. 이때, K-최근접 이웃 알고리즘은, 데이터의 특성값(예컨대, 좌석 위치)에 따라 지역적으로 근접한 데이터를 분류하는 알고리즘이다. K-평균 알고리즘은, 주어진 데이터를 K개의 클러스터(cluster)로 묶은 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작할 수 있다.

분할 영역 설정부(212)는 설정된 그룹들의 수에 따라, 촬영 영역(PA)을 복수의 분할 영역들(DA1 내지 DA5)로 분할할 수 있다. 이때, 복수의 분할 영역들(DA1 내지 DA5)은 인접한 관객들에 대응하며, 복수의 분할 영역들(DA1 내지 DA5) 각각은 인접한 관객들의 얼굴들을 나타낼 수 있다.

예컨대, 분할 영역 설정부(212)는 인접한 관객들을 포함하는 5개의 그룹들을 설정하고, 설정된 그룹들의 수에 따라 각 그룹에 대응하는 복수의 분할 영역들을 설정할 수 있다. 그에 따라, 촬영 영역(PA)은 인접한 관객들의 그룹을 나타내는 5개의 분할 영역(DA1 내지 DA5)로 분할될 수 있다.

다수의 관객들의 얼굴들을 나타내는 분할 영역들에 따라 생성된 제2 영상들에 대하여 연상 분석 장치가 분석을 수행하므로, 하나의 영상에 하나의 관객의 얼굴이 포함되는 경우보다 분석 속도가 향상될 수 있다. 따라서, 상술한 방식을 통해, 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은, 관객의 수가 일정 수 이상인 경우, 다수의 관객들에 대하여 영상을 생성하고 분석을 수행함으로써, 분석 속도를 향상시킬 수 있다.

또한, 관객들이 고르지 않게 분포된 경우, 도 6에 도시된 실시예에 따라 분할 영역들을 설정하게 되면, 하나의 제2 영상에 빈좌석이 다수 포함되게 되어 정확성 및 신뢰성이 감소될 수 있다. 따라서, 도 7에 도시된 실시예에 따라 분할 영역들을 설정하는 경우, 하나의 제2 영상에 빈좌석을 최소화함으로써, 정확성 및 신뢰성이 과도하고 감소하는 것을 방지할 수 있다.

실시예에 따라, 도 6 및 도 7에 도시된 실시예들은 통합되어 하나로 구현될 수 있다. 즉, 관객들의 수가 일정한 수 이상일 때, 분할부(210)는 관객들의 분포를 분석하여, 관객들의 분포도에 따라 도 6의 실시예와 도 7의 실시예를 다르게 채용할 수 있다.

도 8은 본 발명의 실시예에 따른 전송부(220)를 나타내는 도면이다.

도 8을 참조하면, 전송부(220)는 결정부(221), 카운터(222) 및 영상 전송부(223)를 포함할 수 있다.

결정부(221)는 저장 단위 시간을 결정할 수 있다. 실시예에 따라, 결정부(221)는 저장 단위 시간을 사용자로부터 입력받을 수 있다. 예컨대, 결정부(221)는 단위 시간을 나타내는 사용자의 입력 내용에 기초하여 저장 단위 시간을 결정할 수 있다. 이를 통해, 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은 사용자 편의성을 향상시킬 수 있다.

다른 실시예에 따라, 결정부(221)는 저장 단위 시간을 복수의 제2 영상들의 용량이 영상 분석 장치(300, 도 1 참조)의 최대 처리 용량 이하로 설정되도록 결정할 수 있다. 즉, 영상 분석 장치(300)는 처리 가능한 영상의 용량 제한이 있을 수 있고, 영상의 용량은 촬영 기간, 해상도, 프레임 레이트(frame rate) 및 코덱(codec) 등에 의해 결정될 수 있다. 따라서, 결정부(221)는 영상 분석 장치(300)의 최대 처리 용량을 초과하지 않도록, 저장 단위 시간을 결정하고, 영상 분석 장치(300)는 저장 단위 시간 단위로 영상들을 수신할 수 있다.

카운터(222)는 복수의 제2 영상들을 저장하는 동안 저장 단위 시간을 카운트할 수 있다. 즉, 카운터(222)는 분할부(210, 도 4 참조)의 영상 저장부(214)가 복수의 제2 영상들을 저장하는 동안 저장 단위 시간을 카운트할 수 있다. 카운터(222)는 카운트 결과에 따라, 저장 단위 시간이 도과하는 경우, 영상 전송부(223)로 신호를 전송할 수 있다. 그리고, 카운터(222)는 촬영 기간이 도과하지 않은 경우 저장 단위 시간을 다시 카운트할 수 있고, 촬영 기간이 도과한 경우 카운트를 중지할 수 있다. 따라서, 카운터(222)는 촬영 기간 동안 저장 단위 시간을 반복적으로 카운터할 수 있다.

영상 전송부(223)는 저장 단위 시간이 도과한 경우, 저장된 복수의 제2 영상들을 영상 분석 장치(300)로 전송할 수 있다. 즉, 영상 전송부(223)는 카운터(222)의 신호에 따라 저장 단위 시간이 도과한지 여부를 판단하고, 저장 단위 시간이 도과하는 경우, 영상 저장부(214, 도 4 참조)에 저장된 복수의 제2 영상(IM2)들을 영상 분석 장치(300)로 전송할 수 있다.

도 9는 본 발명의 일 실시예에 따른 감정 분석 시스템의 동작을 나타내는 타이밍도이다.

도 1 내지 도 9를 참조하면, 관객들은 러닝 타임(RT) 동안 상영되는 영상 컨텐츠를 관람할 수 있다.

그리고, 영상 촬영 장치(100)는 영상 컨텐츠를 관람하는 관객들을 촬영 기간(PT)동안 촬영하여 제1 영상(IM1)을 생성할 수 있다. 도 9 내지 도 11에서 러닝 타임(RT) 및 촬영 기간(PT)이 동일한 것으로 도시되었으나, 본 발명이 이에 한정되는 것은 아니다. 실시예에 따라 러닝 타임(RT) 및 촬영 기간(PT)은 상이할 수 있다.

영상 처리 장치(200)는 제1 영상(IM1)을 복수의 제2 영상(IM2)들로 분할하고, 복수의 제2 영상(IM2)들을 저장 단위 시간(ST)에 따라 전송할 수 있다. 즉, 영상 처리 장치(200)는 복수의 제2 영상(IM2)들을 저장 단위 시간(ST) 마다 영상 분석 장치(300)로 전송할 수 있다.

영상 분석 장치(300)는 복수의 제2 영상(IM2)을 저장 단위 시간(ST)마다 전송받고, 복수의 제2 영상(IM2)들에 나타난 관객들의 얼굴 표정 또는 행동 패턴을 분석 기간(AD)동안 분석할 수 있다. 도 9에 도시된 실시예와 같이, 영상 분석 장치(300)는 저장 단위 시간(ST)마다 전송되는 복수의 제2 영상(IM2)들을 분석하여, 감정 정보(EI)를 생성할 수 있다. 도 9에 도시된 실시예에 따라, 촬영 기간(PT)은 분석 기간(AD)에 부분적으로 중첩될 수 있다. 즉, 분석 기간(AD)은 촬영 기간(PT)에 대하여 저장 단위 시간(ST)만큼 지연된 기간일 수 있다. 상술한 방식을 통해 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은, 관객들이 영상 컨텐츠를 관람하는 동안 영상 분석을 수행함으로써, 분석 속도를 개선할 수 있다.

도 10은 본 발명의 다른 실시예에 따른 감정 분석 시스템의 동작을 나타내는 타이밍도이다. 설명의 중복을 방지하기 위하여, 도 9에 도시된 실시예와의 차이점을 중심으로 설명한다.

도 1 내지 도 10을 참조하면, 도 10에 도시된 실시예에 따른 감정 분석 시스템(10)의 영상 분석 장치(300)는 저장 단위 시간(ST) 마다 수신한 복수의 제2 영상(IM2)들 중 마지막 저장 단위 시간(ST)에 대응하는 부분에서 대하여 분석을 수행하지 않을 수 있다. 영상 분석 장치(300)의 분석 기간(AD)은 영상 촬영 장치(100)의 촬영 기간(PT)이 종료되는 시점에 종료될 수 있다. 즉, 영상 분석 장치(300)는 임의로 영상 촬영 장치(100)의 촬영 기간(PT)이 종료되는 시점에 분석을 종료할 수 있다.

이에 따라, 도 10에 도시된 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은, 도 9에 도시된 실시예에 비하여, 영상 분석 결과를 빠르게 도출하고, 더욱이 영상 컨텐츠의 러닝 타임(RT)이 끝남과 동시에 감정 분석을 종료함으로써, 보다 신속하게 분석 결과를 도출해낼 수 있다. 특히, 본 실시예는 영화 평가 시사회나 공연 리허설 등에 이용될 수 있으며 관람이 종료됨과 동시에 즉각적으로 분석 결과를 알아낼 수 있다는 점에서, 강점을 가질 수 있다.

도 11은 본 발명의 또 다른 실시예에 따른 감정 분석 시스템의 동작을 나타내는 타이밍도이다. 설명의 중복을 방지하기 위하여 도 9에 도시된 실시예와의 차이점을 중심으로 설명한다.

도 1 내지 도 11을 참조하면, 도 11에 도시된 실시예에 따른 감정 분석 시스템(10)의 영상 처리 장치(200)는 실시간으로 복수의 제2 영상(IM2)들을 영상 분석 장치(300)로 전송할 수 있다. 즉, 이 경우, 저장 단위 시간(ST)은 실질적으로 0에 해당하는 수로 설정될 수 있다. 이때, 실시간으로 분석이 수행되므로, 영상 분석 장치(300)의 분석 기간(AD)은 영상 촬영 장치(100)의 촬영 기간(PT)과 동일할 수 있다.

이에 따라, 도 11에 도시된 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은, 도 9에 도시된 실시예에 비하여 영상 분석 결과를 빠르게 도출할 수 있고, 도 10에 도시된 실시예에 비하여 관객의 표정이 누락됨이 없이 분석을 수행함으로써 신뢰도를 향상시킬 수 있다. 특히, 본 실시예는 장르 영화에 대한 평가 시사회 등에 이용될 수 있으며 관람이 종료됨과 동시에 즉각적으로 신뢰도 높은 분석 결과를 알아낼 수 있다는 점에서, 강점을 가질 수 있다.

도 12는 본 발명의 실시예에 따른 감정 정보(EI)를 나타내는 도면이다.

도 12를 참조하면, 감정 정보(EI)는 사람의 무관심, 지겨움, 기쁨, 분노, 슬픔, 즐거움, 공포, 사랑, 혐오, 증오, 욕망, 무관심, 지루함 등의 일반 감정들 중 어느 하나를 포함할 수 있고, 각 상응하는 감정에 대한 정도를 퍼센트로 나타낸 수치를 더 포함할 수 있다.

실시예에 따라, 감정 정보(EI)는 사람의 순간 감정을 나타낼 수 있고, 또 다른 실시예에 따라, 감정 정보(EI)는 기 설정된 기간(예컨대, 저장 단위 시간) 동안의 평균 감정을 나타낼 수 있다.

도 13은 본 발명의 실시예에 따른 감정 분석 시스템(10)의 동작 방법을 나타내는 순서도이다.

도 1 내지 도 13을 참조하면, 영상 촬영 장치(100)는 관객들을 촬영 기간(PT) 동안 촬영하여 제1 영상(IM1)을 생성할 수 있다(S10). 예컨대, 영상 촬영 장치(100)가 영화관에 설치된 경우, 관객들은 관객석(AS)에 앉아 영화를 관람할 수 있고, 영상 촬영 장치(100)는 관객들을 촬영하여, 제1 영상(IM1)을 생성할 수 있다.

영상 처리 장치(200)는 제1 영상(IM1)을 분할하여 복수의 제2 영상(IM2)들을 저장할 수 있다(S20). 예컨대, 영상 처리 장치(200)의 분할부(210)는 제1 영상(IM1)을 복수의 제2 영상(IM2)들로 분할하여 저장할 수 있다.

영상 처리 장치(200)는 복수의 제2 영상(IM2)들이 저장 단위 시간(ST)동안 저장되면, 저장된 복수의 제2 영상(IM2)들을 영상 분석 장치(300)로 전송할 수 있다(S30). 즉, 영상 처리 장치(200)의 전송부(220)는 분할부(210)에 저장된 복수의 제2 영상(IM2)들을 저장 단위 시간(ST) 마다 영상 분석 장치(300)로 전송할 수 있다.

영상 분석 장치(300)는 분석 기간(AD) 동안 복수의 제2 영상(IM2)들을 분석하여 복수의 제2 영상(IM2)들 각각에 대한 감정 정보(EI)를 생성할 수 있다(S40). 즉, 영상 분석 장치(300)는 복수의 제2 영상(IM2)들 각각에 포함된 관객들의 얼굴(AF)의 표정 또는 행동 패턴을 분석 기간 동안 분석하여, 관객들의 감정을 나타내는 감정 정보(EI)를 생성할 수 있다.

영상 처리 장치(200)는 감정 정보(EI)를 통합하여, 제1 영상(IM1)에 대응하는 통합 감정 정보를 생성할 수 있다(S50). 즉, 영상 처리 장치(200)의 통합부(240)는 감정 정보(EI)를 수신하고, 통합할 수 있다. 결과적으로 통합부(240)는 제1 영상(IM1)에 대응하는 통합 감정 정보를 생성할 수 있다.

도 14는 본 발명의 실시예에 따른 감정 분석 시스템(10)의 동작 방법을 상세하게 나타내는 순서도이다. 도 14에서는, 도 13에 도시된 복수의 제2 영상(IM2)들을 저장하는 단계(S20)가 상세하게 설명된다.

도 1 내지 도 14를 참조하면, 분할부(210)는 제1 영상(IM1)에 포함된 관객들의 얼굴(AF)을 인식하고, 관객들의 수를 추출할 수 있다(S21). 즉, 분할부(210)의 얼굴 인식부(211)는 일반적인 얼굴 인식 기술을 이용하여 영상속에 포함된 얼굴을 검출함으로써, 관객들의 수를 추출할 수 있다.

분할부(210)는 관객들의 수와 기준값을 비교하여, 비교 결과에 따라 서로 상이한 방식으로 제1 영상(IM1)의 촬영 영역(PA)을 복수의 분할 영역들로 분할할 수 있다(S22). 즉, 분할부(210)의 분할 영역 설정부(212)는 비교 결과에 따라 서로 상이한 방식으로 제1 영상(IM1)의 촬영 영역(PA)을 복수의 분할 영역들로 분할할 수 있다.

분할부(210)는 복수의 분할 영역들 중 적어도 하나를 분석 대상으로 선택할 수 있다(S23). 즉, 분할부(210)의 분석 대상 선택부(213)는 복수의 분할 영역들 중에서, 분석이 수행될 영역들을 분석 대상으로 선택할 수 있다. 이때, 분석 대상 선택부(213)는 별도의 사용자 선택 또는 기 설정된 분석 대상에 대한 정보를 이용하여, 복수의 분할 영역들 중에서 분석 대상인 적어도 하나의 분할 영역을 선택할 수 있다.

분할부(210)는 분석 대상에 따라 복수의 제2 영상(IM2)들을 저장할 수 있다(S24). 즉, 분할부(210)의 영상 저장부(214)는 분석 대상에 따라 복수의 제2 영상(IM2)들을 저장할 수 있다.

도 15는 본 발명의 실시예에 따른 감정 분석 시스템의 동작 방법을 상세하게 나타내는 순서도이다. 도 15에서는, 도 14에 도시된 촬영 영역(PA)을 복수의 분할 영역들로 분할하는 단계(S22)의 일 실시예가 상세하게 설명된다.

도 1 내지 도 15를 참조하면, 분할부(210)는 관객들의 수와 기준값을 비교할 수 있다(S221). 즉, 분할부(210)의 분할 영역 설정부(212)는 관객들의 수와 기준값을 비교할 수 있다.

분할부(210)는 관객의 수가 기준값보다 작거나 같은 경우(S222의 NO), 관객들의 수에 따라 촬영 영역(PA)을 복수의 분할 영역들로 분할할 수 있다(S223).

분할부(210)는 관객의 수가 기준값보다 큰 경우(S222의 YES), 사용자로부터 분할 영역들의 수를 입력받을 수 있다(S224).

그리고, 분할부(210)는 분할 영역들의 수에 따라 촬영 영역(PA)을 복수의 분할 영역들로 분할할 수 있다(S225).

도 15에 도시된 동작 방법은 도 5 및 도 6에 도시된 실시예들의 결합에 의해 구현된 동작일 수 있다.

도 16는 본 발명의 다른 실시예에 따른 감정 분석 시스템의 동작 방법을 상세하게 나타내는 순서도이다. 도 16에서는, 도 13에 도시된 촬영 영역(PA)을 복수의 분할 영역들로 분할하는 단계(S22)의 다른 실시예가 상세하게 설명된다.

도 16은 도 15에 도시된 실시예와 다른 실시예를 도시한다. 설명의 중복을 방지하기 위하여, 도 15 및 도 16에 도시된 실시예들 사이의 차이점을 중심으로 설명한다.

도 1 내지 도 16을 참조하면, 분할부(210)는 관객의 수가 기준값보다 큰 경우(S222의 YES), 서로 인접한 관객들끼리 그룹핑할 수 있다(S226). 실시예에 따라, 분할 영역 설정부(212)는 K-최근접 이웃 알고리즘(K-nearest neighbors algorithm) 또는 K-평균 알고리즘(K-means algorithm)을 이용하여, 서로 인접한 관객들끼리 그룹핑할 수 있다.

그리고, 분할부(210)는 생성된 그룹들의 수에 따라 촬영 영역(PA)을 복수의 분할 영역들로 분할할 수 있다(S227).

도 16에 도시된 동작 방법은 도 5 및 도 7에 도시된 실시예들의 결합에 의해 구현된 동작일 수 있다.

도 17는 본 발명의 실시예에 따른 감정 분석 시스템의 동작 방법을 상세하게 나타내는 순서도이다. 도 17에서는, 도 14에 도시된 저장된 복수의 제2 영상(IM2)들을 영상 분석 장치(300)로 전송하는 단계(S30)가 상세하게 설명된다.

도 1 내지 도 17을 참조하면, 전송부(220)는 저장 단위 시간(ST)을 결정할 수 있다(S31). 실시예에 따라, 전송부(220)의 결정부(221)는 저장 단위 시간(ST)을 사용자로부터 입력받고, 이를 기초로 저장 단위 시간(ST)을 결정할 수 있다. 다른 실시예에 따라, 결정부(221)는 저장 단위 시간(ST)을 복수의 제2 영상(IM2)들의 용량이 영상 분석 장치(300)의 최대 처리 용량 이하로 설정되도록 결정할 수 있다.

전송부(220)는 분할부(210)가 복수의 제2 영상들을 저장하는 동안 저장 단위 시간(ST)을 카운트할 수 있다(S32). 즉, 전송부(220)의 카운터(222)는 분할부(210)의 영상 저장부(214)가 복수의 제2 영상들을 저장하는 동안 저장 단위 시간(ST)을 카운트할 수 있다.

전송부(220)는 저장 단위 시간(ST)이 도과하지 않은 경우(S33의 NO), 다시 저장 단위 시간(ST)을 카운트할 수 있다(S32).

전송부(220)는 저장 단위 시간(ST)이 도과한 경우(S33의 YES), 저장된 복수의 제2 영상(IM2)들을 전송할 수 있다(S34). 즉, 전송부(220)의 영상 전송부(223)는 저장 단위 시간(ST)이 도과한 경우, 저장된 복수의 제2 영상들을 영상 분석 장치(300)로 전송할 수 있다.

전송부(220)는 촬영 기간(PT)이 도과하지 않은 경우(S36의 NO), 다시 저장 단위 시간(ST)을 카운트할 수 있다(S32).

전송부(220)는 촬영 기간(PT)이 도과한 경우(S36의 YES), 카운트를 종료할 수 있다.

즉, 전송부(220)의 카운터(222)는 촬영 기간(PT)이 도과하지 않은 경우 저장 단위 시간(ST)을 다시 카운트할 수 있고, 촬영 기간(PT)이 도과한 경우 카운트를 중지할 수 있다. 따라서, 카운터(222)는 촬영 기간(PT) 동안 저장 단위 시간(ST)을 반복적으로 카운터할 수 있다.

본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은 영상 컨텐츠가 상영되는 동안 관객들을 촬영하여, 관객들의 표정 및 행동 패턴을 기초로 감정을 분석할 수 있다.

또한, 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은 얼굴 영상을 얼굴 인식 결과에 따라 복수의 분할 영상들로 분할하여 영상 분석 장치로 전송함으로써, 분석 속도를 향상시킬 수 있다.

또한, 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은 영상 분석 장치가 복수의 분할 영상들에 대하여 병렬로 분석을 수행함으로써 분석 속도를 향상시킬 수 있다.

또한, 본 발명의 실시예에 따른 감정 분석 시스템 및 이의 동작 방법은 영상 컨텐츠가 상영되는 동안 분석을 완료할 수 있다.

이상 본 명세서에서 설명한 기능적 동작과 본 주제에 관한 실시형태들은 본 명세서에서 개시한 구조들 및 그들의 구조적인 등가물을 포함하여 디지털 전자 회로나 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 또는 이들 중 하나 이상이 조합에서 구현 가능하다.

본 명세서에서 기술하는 주제의 실시형태는 하나 이상이 컴퓨터 프로그램 제품, 다시 말해 데이터 처리 장치에 의한 실행을 위하여 또는 그 동작을 제어하기 위하여 유형의 프로그램 매체 상에 인코딩되는 컴퓨터 프로그램 명령에 관한 하나 이상이 모듈로서 구현될 수 있다. 유형의 프로그램 매체는 전파형 신호이거나 컴퓨터로 판독 가능한 매체일 수 있다. 전파형 신호는 컴퓨터에 의한 실행을 위하여 적절한 수신기 장치로 전송하기 위한 정보를 인코딩하기 위하여 생성되는 예컨대 기계가 생성한 전기적, 광학적 또는 전자기 신호와 같은 인공적으로 생성된 신호이다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조합 또는 이들 중 하나 이상이 조합일 수 있다.

컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 또는 코드로도 알려져 있음)은 컴파일되거나 해석된 언어나 선험적 또는 절차적 언어를 포함하는 프로그래밍 언어의 어떠한 형태로도 작성될 수 있으며, 독립형 프로그램이나 모듈, 컴포넌트, 서브루틴 또는 컴퓨터 환경에서 사용하기에 적합한 다른 유닛을 포함하여 어떠한 형태로도 전개될 수 있다.

컴퓨터 프로그램은 파일 장치의 파일에 반드시 대응하는 것은 아니다. 프로그램은 요청된 프로그램에 제공되는 단일 파일 내에, 또는 다중의 상호 작용하는 파일(예컨대, 하나 이상이 모듈, 하위 프로그램 또는 코드의 일부를 저장하는 파일) 내에, 또는 다른 프로그램이나 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상이 스크립트) 내에 저장될 수 있다.

컴퓨터 프로그램은 하나의 사이트에 위치하거나 복수의 사이트에 걸쳐서 분산되어 통신 네트워크에 의해 상호 접속된 다중 컴퓨터나 하나의 컴퓨터 상에서 실행되도록 전개될 수 있다.

부가적으로, 본 특허문헌에서 기술하는 논리 흐름과 구조적인 블록도는 개시된 구조적인 수단의 지원을 받는 대응하는 기능과 단계의 지원을 받는 대응하는 행위 및/또는 특정한 방법을 기술하는 것으로, 대응하는 소프트웨어 구조와 알고리즘과 그 등가물을 구축하는 데에도 사용 가능하다.

본 명세서에서 기술하는 프로세스와 논리 흐름은 입력 데이터 상에서 동작하고 출력을 생성함으로써 기능을 수행하기 위하여 하나 이상이 컴퓨터 프로그램을 실행하는 하나 이상이 프로그래머블 프로세서에 의하여 수행 가능하다.

컴퓨터 프로그램의 실행에 적합한 프로세서는, 예컨대 범용 및 특수 목적의 마이크로프로세서 양자 및 어떤 형태의 디지털 컴퓨터의 어떠한 하나 이상이 프로세서라도 포함한다. 일반적으로, 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 양자로부터 명령어와 데이터를 수신할 것이다.

컴퓨터의 핵심적인 요소는 명령어와 데이터를 저장하기 위한 하나 이상이 메모리 장치 및 명령을 수행하기 위한 프로세서이다. 또한, 컴퓨터는 일반적으로 예컨대 자기, 자기 광학 디스크나 광학 디스크와 같은 데이터를 저장하기 위한 하나 이상이 대량 저장 장치로부터 데이터를 수신하거나 그것으로 데이터를 전송하거나 또는 그러한 동작 둘 다를 수행하기 위하여 동작가능 하도록 결합되거나 이를 포함할 것이다. 그러나, 컴퓨터는 그러한 장치를 가질 필요가 없다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다.

이상에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면, 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

10: 감정 분석 시스템 100: 영상 촬영 장치
200: 영상 처리 장치 210: 분할부
220: 전송부 230: 제어부
240: 통합부 300: 영상 분석 장치

Claims (20)

1. 관객들을 촬영 기간 동안 촬영하여, 제1 영상을 생성하는 영상 촬영부;
   상기 제1 영상을 복수의 제2 영상들로 분할하고, 상기 복수의 제2 영상들을 저장 단위 시간에 따라 전송하는 영상 처리 장치; 및
   분석 기간 동안 상기 복수의 제2 영상들을 분석하여 상기 복수의 제2 영상들에 각각에 대한 감정 정보를 생성하는 영상 분석 장치를 포함하고,
   상기 영상 처리 장치는,
   상기 제1 영상을 분할하여 상기 복수의 제2 영상들을 저장하는 분할부; 및
   상기 복수의 제2 영상들이 상기 저장 단위 시간 동안 저장되면, 저장된 복수의 제2 영상들을 상기 영상 분석 장치로 전송하는 전송부를 포함하는 것을 특징으로 하는 감정 분석 시스템.
2. 제1항에 있어서,
   상기 분할부는,
   상기 제1 영상에 포함된 상기 관객들의 얼굴을 인식하고, 상기 관객들의 수를 추출하는 얼굴 인식부;
   상기 관객들의 수와 기준값을 비교하고, 비교 결과에 따라 서로 상이한 방식으로 상기 제1 영상의 촬영 영역을 복수의 분할 영역들로 분할하는 분할 영역 설정부;
   상기 복수의 분할 영역들 중 적어도 하나를 분석 대상으로 선택하는 분석 대상 선택부; 및
   상기 분석 대상에 따라, 상기 복수의 제2 영상들을 저장하는 영상 저장부를 포함하는 것을 특징으로 하는 감정 분석 시스템.
3. 제2항에 있어서,
   상기 관객들의 수가 상기 기준값보다 작거나 같은 경우,
   상기 분할 영역 설정부는, 상기 관객들의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하고,
   상기 복수의 분할 영역들 각각은, 한명의 관객의 얼굴을 나타내는 것을 특징으로 하는 감정 분석 시스템.
4. 제3항에 있어서,
   상기 관객들의 수가 상기 기준값보다 큰 경우,
   상기 분할 영역 설정부는, 사용자로부터 분할 영역들의 수를 입력받고, 입력받은 상기 분할 영역의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 것을 특징으로 하는 감정 분석 시스템.
5. 제3항에 있어서,
   상기 관객들의 수가 상기 기준값보다 큰 경우,
   상기 분할 영역 설정부는, 서로 인접한 관객들끼리 그룹핑하고, 생성된 그룹들의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 것을 특징으로 하는 감정 분석 시스템.
6. 제5항에 있어서,
   상기 분할 영역 설정부는, 상기 관객들에 대하여 K-평균 알고리즘을 이용하여, 서로 인접한 관객들에 대하여 그룹핑을 수행함으로써 복수의 그룹들을 생성하는 것을 특징으로 하는 감정 분석 시스템.
7. 제1항에 있어서,
   상기 전송부는,
   상기 저장 단위 시간을 결정하는 결정부;
   상기 복수의 제2 영상들을 저장하는 동안, 상기 저장 단위 시간을 카운트하는 카운터; 및
   상기 저장 단위 시간이 도과한 경우, 상기 저장된 복수의 제2 영상들을 영상 분석 장치로 영상 전송부를 포함하고,
   상기 카운터는, 상기 촬영 기간이 도과하지 않은 경우, 상기 저장 단위 시간을 다시 카운트하는 것을 특징으로 하는 감정 분석 시스템.
8. 제7항에 있어서,
   상기 결정부는, 상기 저장 단위 시간을 사용자로부터 입력받는 것을 특징으로 하는 감정 분석 시스템.
9. 제7항에 있어서,
   상기 결정부는, 상기 저장 단위 시간을 상기 복수의 제2 영상들의 용량이 상기 영상 분석 장치의 최대 처리 용량 이하로 설정되도록 결정하는 것을 특징으로 하는 감정 분석 시스템.
10. 제7항에 있어서,
    상기 카운터는, 상기 촬영 기간이 도과한 경우, 카운트를 중지하는 것을 특징으로 하는 감정 분석 시스템.
11. 관객들을 촬영 기간 동안 촬영하여, 제1 영상을 생성하는 단계;
    상기 제1 영상을 분할하여 복수의 제2 영상들을 저장하는 단계;
    상기 복수의 제2 영상들이 저장 단위 시간 동안 저장되면, 저장된 복수의 제2 영상들을 영상 분석 장치로 전송하는 단계;
    분석 기간 동안 상기 복수의 제2 영상들을 분석하여 상기 복수의 제2 영상들에 각각에 대한 감정 정보를 생성하는 단계; 및
    상기 감정 정보를 통합하여 통합 감정 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 감정 분석 시스템의 동작 방법.
12. 제11항에 있어서,
    상기 복수의 제2 영상들을 저장하는 단계는,
    상기 제1 영상에 포함된 상기 관객들의 얼굴을 인식하고, 상기 관객들의 수를 추출하는 단계;
    상기 관객들의 수와 기준값을 비교하고, 비교 결과에 따라 서로 상이한 방식으로 상기 제1 영상의 촬영 영역을 복수의 분할 영역들로 분할하는 단계;
    상기 복수의 분할 영역들 중 적어도 하나를 분석 대상으로 선택하는 단계; 및
    상기 분석 대상에 따라, 상기 복수의 제2 영상들을 저장하는 단계를 포함하는 것을 특징으로 하는 감정 분석 시스템의 동작 방법.
13. 제12항에 있어서,
    상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계는,
    상기 관객들의 수와 기준값을 비교하는 단계; 및
    상기 관객들의 수가 상기 기준값보다 작거나 같은 경우, 상기 관객들의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계를 포함하고,
    상기 복수의 분할 영역들 각각은, 한명의 관객의 얼굴이 나타내는 것을 특징으로 하는 감정 분석 시스템의 동작 방법.
14. 제13항에 있어서,
    상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계는,
    상기 관객들의 수가 상기 기준값보다 큰 경우, 사용자로부터 분할 영역들의 수를 입력받고, 입력받은 상기 분할 영역의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계를 더 포함하는 것을 특징으로 하는 감정 분석 시스템의 동작 방법.
15. 제13항에 있어서,
    상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계는,
    상기 관객들의 수가 상기 기준값보다 큰 경우, 서로 인접한 관객들끼리 그룹핑하고, 생성된 그룹들의 수에 따라 상기 촬영 영역을 상기 복수의 분할 영역들로 분할하는 단계를 더 포함하는 것을 특징으로 하는 감정 분석 시스템의 동작 방법.
16. 제11항에 있어서,
    상기 저장된 복수의 제2 영상들을 전송하는 단계는,
    상기 저장 단위 시간을 결정하는 단계;
    상기 복수의 제2 영상들을 저장하는 동안, 상기 저장 단위 시간을 카운트하는 단계; 및
    상기 저장 단위 시간이 도과한 경우, 상기 저장된 복수의 제2 영상들을 전송하는 단계를 포함하고,
    상기 촬영 기간이 도과하지 않은 경우, 상기 저장 단위 시간을 카운트하는 단계로 다시 진행하는 것을 특징으로 하는 감정 분석 시스템의 동작 방법.
17. 제16항에 있어서,
    상기 저장 단위 시간을 결정하는 단계는, 사용자로부터 상기 저장 단위 시간을 입력받는 것을 특징으로 하는 감정 분석 시스템의 동작 방법.
18. 제16항에 있어서,
    상기 저장 단위 시간을 결정하는 단계는, 상기 복수의 제2 영상들의 용량이 상기 영상 분석 장치의 최대 처리 용량 이하로 설정되도록 상기 저장 단위 시간을 결정하는 것을 특징으로 하는 감정 분석 시스템의 동작 방법.
19. 제11항에 있어서,
    상기 촬영 기간은 상기 분석 기간에 부분적으로 중첩되는 것을 특징으로 하는 감정 분석 시스템의 동작 방법.
20. 제19항에 있어서,
    상기 촬영 기간 및 상기 분석 기간은 서로 동일한 것을 특징으로 하는 감정 분석 시스템의 동작 방법.
    

Images