KR20150092591A - 감정인식 기반 영상물 분류 방법 - Google Patents

Abstract

본 발명은 감정인식 기반 영상물 분류 방법에 관한 것으로, 보다 상세하게는 영상물의 영상정보 및 음성정보로부터 감정을 인식하여 감정 기반에 따라 영상물을 분류하고 검색 서비스를 제공하는 기술에 관한 것이다.
본 발명의 실시예에 따른 감정인식 기반 영상물 분류 방법은, 동영상을 영상정보와 음성정보로부터 기초 감정 특징을 추출하는 단계; 상기 기초 감정 특징으로부터 애로졸 정보 및 밸런스 정보를 측정하는 단계; 상기 애로졸 정보와 상기 밸런스 정보를 이용하여 감정 기반 2차원 궤적 그래프를 생성하는 단계; 및 상기 2차원 궤적 그래프에서 궤적의 점유율에 따라 상기 동영상의 감정 기반 분류를 결정하는 단계를 포함한다.

Description

감정인식 기반 영상물 분류 방법{Method for sorting a vedio based on emotion recognition}

본 발명은 감정인식 기반 영상물 분류 방법에 관한 것으로, 보다 상세하게는 영상물의 영상정보 및 음성정보로부터 감정을 인식하여 감정 기반에 따라 영상물을 분류하고 검색 서비스를 제공하는 기술에 관한 것이다.

인터넷 기술의 발달로 영화, TV 영상물들을 포함한 다양한 영상들이 다양화되고 그 수가 기하학적으로 증가하여 수많은 영상물 중 사용자가 원하는 영상물을 검색하고 선택하는 일이 어려워지고 있다. 이에, 이러한 영상물들을 장르별, 등급별, 나이별, 국가별, 감독별, 영화배우별, 지역별, 등급별 등 다양한 기준에 의해 분류하여 사용자가 쉽게 검색할 수 있도록 하는 노력을 행하고 있다.

이러한 분류 기준 중 가장 많이 사용되는 분류 기준인 장르별 분류 기준은 코미디, 멜로, 폭력, 사이언스 픽션, 논픽션, 다큐멘터리 등 다양한 장르로 구분된다.

그런데, 현대 사회가 복잡 다변화되면서 영상물도 더욱 복잡하고 다변화한 장르를 가지게 되어 장르만으로 분류하는 경우 명쾌하게 분류되지 않은 문제점이 있다. 예를 들어, 사이언스 픽션이면서 유쾌한 무드인지 차분한 무드인지에 따라 사용자의 영화에 대한 선호가 달라질 수 있다.

즉, 종래에는 단순한 분류를 수행하고 있어 사용자의 개인 감정, 선호도와 적합하게 검색하는 것은 불가능하여, 광고, 사용자의 후기 등을 참고해야 하는 실정이다.

이에, 영상물의 단순 장르별 분류 뿐만 아니라 감정 기반에 따른 더욱 세밀한 영상물 분류 방법의 제공이 필요하다.

특허공개번호 KR 2013-0139151호

본 발명은 영상물에 포함되어 있는 감정 정보를 인식하고 감정 기반 분류를 제공하여 더욱 정밀한 영상물 분류 방법을 제공하고자 한다.

본 발명의 실시예에 따른 감정인식 기반 영상물 분류 방법은, 동영상을 영상정보와 음성정보로부터 기초 감정 특징을 추출하는 단계; 상기 기초 감정 특징으로부터 애로졸 정보 및 밸런스 정보를 측정하는 단계; 상기 애로졸 정보와 상기 밸런스 정보를 이용하여 감정 기반 2차원 궤적 그래프를 생성하는 단계; 및 상기 2차원 궤적 그래프에서 궤적의 점유율에 따라 상기 동영상의 감정 기반 분류를 결정하는 단계를 포함한다.

또한, 상기 기초 감정 특징을 추출하는 단계는, 상기 영상정보로부터 모션 액티버티(motion activity), 얼굴 표정 중 적어도 하나 이상을 추출하는 것을 특징으로 한다.

또한, 상기 기초 감정 특징을 추출하는 단계는, 상기 음성정보로부터 음성 고주파 에너지, 음성 피치, 음성 리듬, 음성 강도 중 적어도 하나 이상을 추출하는 것을 특징으로 한다.

또한, 상기 애로졸 정보 및 상기 밸런스 정보를 측정하는 단계는, 상기 모션 액티버티, 상기 얼굴 표정 중 적어도 하나 이상으로부터 상기 애로졸 정보를 시간축으로 연속 측정하는 것을 특징으로 한다.

또한, 상기 애로졸 정보 및 상기 밸런스 정보를 측정하는 단계는, 상기 음성정보로부터 음성 고주파 에너지, 음성 피치, 음성 리듬, 음성 강도 중 적어도 하나 이상을 이용하여 상기 밸런스 정보를 시간축으로 연속 측정하는 것을 특징으로 한다.

또한, 상기 동영상의 감정 기반 분류를 결정하는 단계는, 상기 2차원 궤적 그래프에서 상기 애로졸 정보의 값이 높고 상기 밸런스의 값이 높으면 유쾌한 영화로 분류되고, 상기 애로졸 정보의 값이 높으나 상기 밸런스 정보의 값이 낮으면 무서운 영화로 분류되며, 상기 애로졸 정보의 값이 낮고 상기 밸런스 정보의 값이 낮으면 우울한 영화로 분류되며 상기 애로졸 정보의 값이 낮고 상기 밸런스 정보의 값이 높으면 로맨틱한 영화로 분류되는 것을 특징으로 한다.

또한, 동영상 정보 서비스 요청이 있는 경우, 사용자가 등록된 사용자인지를 판단하는 단계; 상기 사용자가 등록된 사용자인 경우, 상기 등록된 사용자에 대한 감정 기반 선호도 정보 또는 상기 등록된 사용자에 대한 검색 히스토리 정보가 미리 저장되어 있는지를 판단하는 단계; 및 상기 등록된 사용자에 대한 감정 기반 선호도 정보 또는 상기 등록된 사용자에 대한 검색 히스토리 정보가 미리 저장되어 있는 경우, 상기 등록된 사용자에 대한 감정 기반 선호도 정보 또는 상기 등록된 사용자에 대한 검색 히스토리 정보에 따라 동영상 정보를 제공하는 단계를 더 포함할 수 있다.

또한, 상기 사용자가 등록된 사용자인지를 판단하는 단계에서, 상기 사용자가 등록되지 않은 사용자인 경우, 상기 등록되지 않은 사용자에게 키워드 또는 장르별 분류 기준에 의한 동영상 정보를 제공하는 것을 특징으로 한다.

또한, 상기 등록된 사용자에 대한 감정 무드 선호도 정보 또는 상기 등록된 사용자에 대한 검색 히스토리 정보가 미리 저장되어 있는지를 판단하는 단계에서, 상기 등록된 사용자에 대한 감정 무드 선호도 정보 또는 상기 등록된 사용자에 대한 검색 히스토리 정보가 미리 저장되어 있지 않은 경우, 상기 등록된 사용자에게 키워드 또는 장르별 분류 기준에 의한 동영상 정보를 제공하는 것을 특징으로 한다.

또한, 상기 등록된 사용자의 동영상 검색 히스토리 정보를 저장하는 단계를 더 포함할 수 있다.

본 기술은 영상물로부터 기초 감정 특징을 추출하여 감정 기반 분류를 수행함으로써 영상물 검색 서비스 제공 시 더욱 정확한 분류별 영상물 제공이 가능한 효과가 있다.

도 1은 본 발명의 실시예에 따른 감정인식 기반 영상물 분류 시스템의 구성도이다.
도 2는 본 발명의 실시예에 따른 감정인식 기반 영상물 분류 방법을 나타내는 순서도이다.
도 3은 본 발명의 실시예에 따른 감정 기반 2차원 궤적 그래프의 예시도이다.
도 4는 본 발명의 실시예에 따른 동영상 검색 서비스 제공 방법을 나타내는 순서도이다.

이하 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부도면을 참조하여 설명하기로 한다.

본 발명은 영상물에 포함되어 있는 감정 정보를 인식하여 감정 기반으로 영상물을 분류하여 단순한 장르별 분류가 아닌 감정 분류를 추가적으로 제공함으로써 더욱 섬세한 영상물 분류가 가능하여 사용자에게 더욱 정확한 영상물 제공 서비스가 가능하도록 하는 발명이다.

이하, 도 1 내지 도 4를 참조하여 본 발명의 실시예에 따른 감정인식 기반 영상물 분류 방법을 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 감정인식 기반 영상물 분류 시스템의 구성도이다.

본 발명에 따른 감정인식 기반 영상물 분류 시스템은 영상 및 음성 분리부(100), 기초 감정 특징 추출부(200), 애로졸 측정부(300), 밸런스 측정부(400), 감정 분류 2차원 궤적 생성부(500), 감정 분류 결정부(600), 저장부(700), 검색 서비스 제공부(800)를 구비한다.

영상 및 음성 분리부(100)는 동영상에 대해 영상정보 및 음성정보를 분리한다.

기초 감정 특징 추출부(200)는 영상정보 및 음성정보로부터 6가지 기초 감정 특징을 추출한다. 즉, 기초 감정 특징 추출부(200)는 영상정보로부터 모션 액티버티(motion activity), 얼굴 표정 등의 특징을 추출하고, 음성정보로부터 음성 고주파 에너지, 음성 피치, 음성 리듬, 음성 강도 등의 특징을 추출한다. 이때, 모션 액티버티는 사물들의 움직임의 세기를 표현하며, 음성 고주파 에너지는 감정의 세기와 관련이 있으며 얼굴 표정은 감정의 긍정상태 및 부정상태를 나타내며, 음성의 리듬과 음성 강도도 감정의 긍정상태 및 부정상태를 나타낸다.

애로졸 측정부(300)는 영상정보 또는 음성정보로부터 애로졸(Arousal)정보를 추출한다. 즉, 애로졸 측정부(300)는 영상정보 또는 음성정보로부터 추출된 기초 감정 특징인 모션 액티버티, 얼굴 표정, 음성 고주파 에너지, 음성 피치로부터 애로졸 정보를 추출한다. 이때, 애로졸 정보는 사용자가 느끼는 감정의 강도를 나타내며 강도가 세지면 흥분하거나 신나는 상태이고, 강도가 약세지면 조용해지거나 차분이 가라앉는 상태를 의미한다.

밸런스 측정부(400)는 영상정보 또는 음성정보로부터 밸런스(Valence)정보를 추출한다. 즉, 밸런스 측정부(400)는 영상정보 또는 음성정보로부터 추출된 기초 감정 특징인 얼굴 표정, 음성 리듬, 음성 강도로부터 밸런스 정보를 추출한다. 이때, 밸런스 정보는 사용자가 느끼는 감정이 긍정적인 감정인지 부정적인 감정인지를 지수로 나타낸다.

감정 분류 2차원 궤적 생성부(500)는 애로졸 측정부(300)에서 측정된 애로졸 정보와 밸런스 측정부(400)에서 측정된 밸런스 정보를 2차원의 값으로 변환하여 도 3과 같은 2차원 궤적 그래프를 생성한다.

도 3에 도시된 바와 같이, 애로졸 정보와 밸런스 정보로 생성한 2차원 궤적은 가로축이 밸런스 정보이고 세로축이 애로졸 정보로 표시된다. 밸런스 정보는 값이 커질수록 긍정적임을 의미하고 값이 작아질수록 부정적임을 의미하며, 애로졸 정보는 값이 커질수록 흥분상태를 의미하고 값이 작아질수록 차분한 상태를 의미한다.

이에, 애로졸 정보의 값이 높고 밸런스의 값이 높으면 즐거운 감정 상태를 포함하는 유쾌한 영화로 분류되고, 애로졸 정보의 값이 높고 밸런스의 값이 낮으면 폭력적인 감정 상태를 많이 포함하고 있는 무서운 영화로 분류되며, 애로졸 정보의 값이 낮고 밸런스 값이 높으면 로맨틱한 영화로 분류되고 애로졸 정보의 값이 낮고 밸런스 값이 낮으면 차분하고 우울한 감정상태를 주로 포함하는 우울한 영화로 분류된다. 또한, 애로졸 정보의 값은 중간치인데 밸런스의 정보가 낮으면 조금 지루한 영화로 분류된다. 도 3에 도시된 애로졸 정보와 밸런스 정보에 따른 분류는 하나의 예시이며 다른 감정 분류 기준으로 적용될 수도 있다.

감정 분류 결정부(600)는 도 3의 2차 궤적 그래프에서 궤적의 점유율이 높은 부분을 해당 감정으로 분류한다. 도 3에서는 유쾌한 영화에 궤적의 점유율이 높으므로 해당 영상물은 유쾌한 영화로 분류된다.

저장부(700)는 감정 기반 영상물 검색 서비스에 가입한 사용자의 등록정보, 감정 인식 기반의 영상물 분류 정보, 등록된 사용자별 검색 히스토리정보, 등록된 사용자별 감정 기반 선호도 정보 등을 저장한다.

검색 서비스 제공부(800)는 사용자로부터 동영상 검색 서비스 요청을 받으면, 사용자가 등록된 사용자인지를 판단한다. 그 후, 검색 서비스 제공부(800)는 등록된 사용자가 아닌 경우 일반적인 동영상 검색서비스를 제공한다. 이때, 일반적인 동영상 검색 서비스는 키워드에 의한 검색 서비스 또는 장르별 분류 기준에 의한 검색서비스를 포함한다. 한편, 검색 서비스 제공부(800)는 동영상 검색 서비스를 요청한 사용자가 등록된 사용자인 경우 등록된 사용자에 대한 감정 기반 선호도 정보가 저장되어 있는지를 판단하여, 등록된 사용자에 대한 감정 기반 선호도 정보가 저장되어 있는 경우 저장되어 있는 감정 기반 선호도 정보에 따른 영상물 정보를 제공한다. 예를 들어, 등록된 사용자가 유쾌한 영화를 감정 기반 선호도 우선순위로 저장해놓은 경우 유쾌한 영화로 분류된 영화들에 대한 정보를 제공한다. 한편, 등록된 사용자이나 감정 기반 선호도 정보가 저장되어 있지 않은 경우 검색 서비스 제공부(800)는 일반적인 동영상 검색 서비스를 제공하고 동영상 검색 히스토리를 저장해둔다.

이와같이, 본 발명은 영상물을 단순한 장르별 분류가 아닌 영상물에 포함되어 있는 감정을 추출하여 감정 기반의 분류를 수행하고, 감정 기반을 분류된 동영상정보를 제공함으로써 사용자에게 최적의 동영상 정보를 제공할 수 있다.

이하, 도 2를 참조하여, 본 발명의 실시예에 따른 감정인식 기반 영상물 분류 방법을 구체적으로 설명하기로 한다.

먼저, 동영상이 입력되면(S101), 영상 및 음성 분리부(100)는 동영상응로부터 영상정보와 음성정보로 분리한다(S102).

이후, 기초 감정 특징 추출부(200)는 영상정보 및 음성정보로부터 6가지의 기초 감정 특징을 추출한다(S103). 이때, 6가지 기초 감정 특징은 모션 액티버티(motion activity), 얼굴 표정, 음성 고주파 에너지, 음성 피치, 음성 리듬, 음성 강도 특징을 포함한다. 또한, 기초 감정 특징 추출부(200)는 영상정보로부터 모션 액티버티(motion activity), 얼굴 표정 등의 특징을 추출하고, 음성정보로부터 음성 고주파 에너지, 음성 피치, 음성 리듬, 음성 강도 등의 특징을 추출한다.

그 후, 애로졸 측정부(300)는 기초 감정 특징으로부터 애로졸 정보를 시간축으로 연속 측정하고 밸런스 측정부(400)는 기초 감정 특징으로부터 밸런스 정보를 시간축으로 연속 측정한다(S104). 즉, 애로졸 측정부(300)는 영상정보 또는 음성정보로부터 추출된 기초 감정 특징인 모션 액티버티, 얼굴 표정, 음성 고주파 에너지, 음성 피치로부터 애로졸 정보를 추출한다. 또한, 밸런스 측정부(400)는 영상정보 또는 음성정보로부터 추출된 기초 감정 특징인 얼굴 표정, 음성 리듬, 음성 강도로부터 밸런스 정보를 추출한다

이어서, 감정 분류 2차원 궤적 생성부(500)는 애로졸 정보와 밸런스 정보를 이용하여 도 3과 같은 감정 기반의 2차원 궤적 그래프를 생성한다(S105).

그 후, 감정 분류 결정부(600)는 2차원 궤적 그래프에서 궤적의 점유율에 따라 동영상에 대한 감정 기반 분류를 결정하여 저장부(700)에 저장한다(S106).

이와 같이, 본 발명은 입력된 동영상의 영상정보와 음성정보로부터 주요 기초 감정 특징 6가지 종류로 추출하고, 추출된 기초 감정 특징들을 이용하여 애로졸 정보와 밸런스 정보를 측정하고 시간축으로 누적하여 1차원 신호로 처리한 후 2차원 영역으로 변환한다. 즉, 2차원 평면으로 궤적 그래프를 생성하고 평면의 궤적 그래프에서의 점유율을 장르별 분포도로 계산함으로써 최종 감정 기반 분류를 결정한다. 이처럼 본 발명은 감정 기반으로 동영상을 분류함으로써 감정 기반의 더욱 정확하고 세밀하게 분류된 영상물에 대한 정보를 제공할 수 있다.

이하, 도 4를 참조하여, 본 발명의 실시예에 따른 동영상 검색 서비스 제공 방법을 설명하기로 한다.

먼저, 검색 서비스 제공부(800)는 사용자로부터 동영상 검색 서비스 요청을 받으면(S201), 사용자가 등록된 사용자인지를 판단한다(S202).

그 후, 검색 서비스 제공부(800)는 등록된 사용자가 아닌 경우 일반적인 동영상 검색서비스를 제공한다. 이때, 일반적인 동영상 검색 서비스는 키워드에 의한 검색 서비스 또는 장르별 분류 기준에 의한 검색서비스를 포함한다(S203).

한편, 검색 서비스 제공부(800)는 동영상 검색 서비스를 요청한 사용자가 등록된 사용자인 경우 등록된 사용자에 대한 감정 기반 선호도 정보가 저장되어 있거나 등록된 사용자에 대한 동영상 검색 히스토리 정보가 저장되어 있는지를 판단한다(S204).

상기 과정 S204에서, 등록된 사용자에 대한 감정 기반 선호도 정보 또는 동영상 검색 히스토리 정보가 저장되어 있는 경우, 저장되어 있는 감정 기반 선호도 정보 또는 동영상 검색 히스토리 정보에 따른 영상물 정보를 제공한다(S205). 예를 들어, 등록된 사용자가 유쾌한 영화를 감정 기반 선호도 우선순위로 저장해놓은 경우 유쾌한 영화로 분류된 영화들에 대한 정보를 제공한다.

한편, 상기 과정 S204에서 등록된 사용자이나 감정 기반 선호도 정보 또는 동영상 검색 히스토리 정보가 저장되어 있지 않은 경우 검색 서비스 제공부(800)는 일반적인 동영상 검색 서비스를 제공하고(S206) 동영상 검색 히스토리 정보를 저장해둔다(S207).

이처럼, 본 발명은 감정 기반 동영상 검색 서비스 등록자이면서 사용자의 감정 기반 선호도 정보 또는 검색 히스토리 정보가 많이 저장되어 있는 경우 사용자 맞춤의 감정 기반의 영상들을 추천할 수 있다. 이때, 영상물 정보 제공 시점은 로그인 시 제공되거나 별도의 이메일로 발송되어 제공될 수 있다. 또한, 사용자가 장르별 키워드 검색을 하더라도 장르별 검색 결과 뿐만 아니라 사용자의 감정 기반 선호도에 연관된 검색 결과를 부가적으로 제공하여 사용자의 만족도를 개선시킬 수 있다.

또한, 본 발명은 대용량의 영상물들을 감정기반으로 자동적, 일괄적으로 처리 및 분류가 가능하여 개인화 및 지능화된 검색서비스가 가능하고 사용자는 자신의 선호도에 맞는 풍부한 영상 내용 정보 검색을 통해 다양한 서비스를 이용할 수 있다.

상술한 본 발명의 바람직한 실시예는 예시의 목적을 위한 것으로, 당업자라면 첨부된 특허청구범위의 기술적 사상과 범위를 통해 다양한 수정, 변경, 대체 및 부가가 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.

100 : 영상 및 음성 분리부 200 : 기초 감정 특징 추출부
300 : 애로졸 측정부 400 : 밸런스 측정부
500 : 감정 분류 2차원 궤적 생성부 600 : 감정 분류 결정부
700 : 저장부 800 : 검색 서비스 제공부

Claims (1)

1. 동영상을 영상정보와 음성정보로부터 기초 감정 특징을 추출하는 단계;
   상기 기초 감정 특징으로부터 애로졸 정보 및 밸런스 정보를 측정하는 단계;
   상기 애로졸 정보와 상기 밸런스 정보를 이용하여 감정 기반 2차원 궤적 그래프를 생성하는 단계; 및
   상기 2차원 궤적 그래프에서 궤적의 점유율에 따라 상기 동영상의 감정 기반 분류를 결정하는 단계
   를 포함하는 감정인식 기반 영상물 분류 방법.

Images