KR102196167B1 - 사회 지능 평가 방법 및 이를 위한 장치 - Google Patents

Abstract

사회 지능 평가 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 사회 지능 평가 방법은 평가 대상의 사회적 상호작용 행동을 촬영한 관찰 비디오 시퀀스를 행위 인식 기반으로 분할하여 복수개의 세부 비디오 클립들을 생성하는 단계; 및 사회적 상호작용 분석을 기반으로 생성된 기준값(GROUND TRUTH)과 상기 복수개의 세부 비디오 클립들 사이의 유사도에 기반한 평가 점수를 산출하여 상기 평가 대상의 사회 지능을 평가하는 단계를 포함한다.

Description

사회 지능 평가 방법 및 이를 위한 장치 {METHOD FOR EVALUATING SOCIAL INTELLIGENCE AND APPARATUS USING THE SAME}

본 발명은 인간의 사회적 지능을 평가하는 기술에 관한 것으로, 특히 비디오로 촬영된 사람들간의 사회적 상호작용 행동에 대해 자동으로 사회 지능 수준을 평가할 수 있는 기술에 관한 것이다.

사람의 지능에 대한 전통적인 검사 방법은 대체로 특정한 목적을 위해 평가 대상에 등급을 부여하여 준거가 되는 그들의 수행을 예언하는데 중점을 두며, 주로 학업성적과 같은 영역을 다루는 경향이 있다. 이러한 경향은 주로 IQ 중심의 협소한 지능 개념 및 측정으로 연결되는데, 이러한 방식의 접근은 인간의 활동이 가지는 다양성을 고려할 때 제한된 범위의 능력만을 평가하게 되므로 인간의 지능을 전반적으로 평가하는데 제약이 있다.

최근에는 이런 지능관에 대한 대안적 접근으로 기존의 협소한 지능 개념과 측정 방법을 초월한 이론과 방법이 제안되고 있는데, 현대의 지능연구는 학업적성 이외에 창의성, 사회적 능력, 예술적 재능, 정서 이해 및 표현, 도덕성, 성격 및 동기 등을 지능 개념에 포함시키고 있다. 특히, 하워드 가드너는 전통적인 지능 체계가 언어적 능력과 논리 수학적 능력만을 중요하게 다루었음을 지적하면서, 인간 지능의 다원성을 고려해 음악적 지능, 언어적 지능, 논리-수학적 지능, 공간적 지능, 신체-운동적 지능, 대인관계 지능, 개인이해 지능, 자연친화 지능 등 다중 지능 이론을 주장했다. 이 중 대인관계 지능, 다시 말해 사회지능은, 일상생활에서 효과적으로 사회문제를 해결하기 위하여, 사회적 지식을 활용하여 사회적 맥락 내에서 사회적 관계에 민감하게 주의를 기울이고, 새로운 사회적 상황에 개방적으로 참여하며, 유연하게 정보를 처리하는 능력으로 정의된다.

인간의 인지지능 평가는 IQ 테스트, 치매선별 검사, 아동 지능 발달 검사 등의 형태로 평가 방법 및 측정 도구가 존재한다. 그리고 이들 대부분은 전통적 인지신경심리 평가 도구로 관찰 기반보다 자기보고 방식에 의해 이루어지는 경우가 많다. 반면, 사회지능은 관찰기반 평가로 ESI(Evaluation of Social Interaction)라는 표준화된 평가 도구를 이용해 개개인의 사회적 상호작용 능력을 평가한다. 하지만 ESI 평가는 고도의 숙련된 전문가의 관찰에 의한 평가로, 이에 대한 전문인력이 부족하고 또 많은 시간이 소요되는 등 쉽게 접근하기에는 한계가 있다.

한국 공개 특허 제10-2013-0046200호, 2013년 5월 7일 공개(명칭: 사회성 훈련 장치 및 그 방법)

본 발명의 목적은 비디오 데이터 분석 및 비교 기술을 인간의 사회지능 평가에 적용하는 것이다.

또한, 본 발명의 목적은 표준화된 평가 척도에 의해 인간의 사회 지능 수준을 평가하기 위한 자동화된 평가 도구를 제공하는 것이다.

또한, 본 발명의 목적은 사회 지능에 문제가 있는 사람을 사전에 선별하여 적절한 치료 및 관리 서비스를 제공하기 위한 것이다.

또한, 본 발명의 목적은 고도의 숙련된 전문가에 의해 장시간에 걸쳐 평가 대상을 관찰해 결과를 얻는 방법보다 효과적으로 비전문가도 단시간에 인간의 사회 지능을 평가할 수 있는 방법을 제공하는 것이다.

또한, 본 발명의 목적은 장소에 구애받지 않고 평가 대상에 대해 지속적으로 사회지능 발달 과정을 평가하고 추적할 수 있는 사회 지능 평가 방법을 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 사회 지능 평가 방법은 평가 대상의 사회적 상호작용 행동을 촬영한 관찰 비디오 시퀀스를 행위 인식 기반으로 분할하여 복수개의 세부 비디오 클립들을 생성하는 단계; 및 사회적 상호작용 분석을 기반으로 생성된 기준값(GROUND TRUTH)과 상기 복수개의 세부 비디오 클립들 사이의 유사도에 기반한 평가 점수를 산출하여 상기 평가 대상의 사회 지능을 평가하는 단계를 포함한다.

이 때, 기준값은 사회적 상호작용에 대한 입력 비디오 시퀀스를 ESI 평가 시나리오의 세부 행동 분류 항목 기반으로 분류하여 생성된 복수개의 검증 비디오 클립들에 상응할 수 있다.

이 때, 평가하는 단계는 상기 ESI 평가 시나리오를 기반으로 설정된 ESI 평가 항목별 점수와 상기 세부 행동 분류 항목을 기반으로 설정된 세부 행동별 가중치를 상기 유사도에 적용하여 상기 평가 점수를 산출할 수 있다.

이 때, 평가하는 단계는 상기 복수개의 세부 비디오 클립들과 상기 복수개의 검증 비디오 클립들을 순차적으로 비교하되, 비디오 클립 내용과 비디오 클립 앞 뒤의 맥락을 비교하여 유사도를 측정하는 단계를 포함할 수 있다.

이 때, 유사도는 상기 복수개의 세부 비디오 클립들과 상기 복수개의 검증 비디오 클립들에서 각각 추출된 특징 정보 사이의 코사인 유사도(COSINE SIMILARITY)에 상응하게 측정될 수 있다.

이 때, 특징 정보는 영상 데이터를 기반으로 추출된 행동 인식 정보 및 표정 인식 정보, 음성 데이터를 기반으로 추출된 대화 정보 및 감정 인식 정보에 상응할 수 있다.

이 때, 복수개의 세부 비디오 클립들을 생성하는 단계는 객체 검출 기능, 객체 추적 기능 및 제스처 인식 기능 중 적어도 하나의 기능을 기반으로 행위 인식을 수행하여 상기 관찰 비디오 시퀀스를 상기 복수개의 세부 비디오 클립들로 분할할 수 있다.

또한, 본 발명의 일실시예에 따른 사회 지능 평가 장치는, 평가 대상의 사회적 상호작용 행동을 촬영한 관찰 비디오 시퀀스를 행위 인식 기반으로 분할하여 복수개의 세부 비디오 클립들을 생성하고, 사회적 상호작용 분석을 기반으로 생성된 기준값(GROUND TRUTH)과 상기 복수개의 세부 비디오 클립들 사이의 유사도에 기반한 평가 점수를 산출하여 상기 평가 대상의 사회 지능을 평가하는 프로세서; 및 상기 기준값을 저장하는 메모리를 포함한다.

이 때, 기준값은 사회적 상호작용에 대한 입력 비디오 시퀀스를 ESI(Evaluation of Social Interaction) 평가 시나리오의 세부 행동 분류 항목 기반으로 분류하여 생성된 복수개의 검증 비디오 클립들에 상응할 수 있다.

이 때, 프로세서는 상기 ESI 평가 시나리오를 기반으로 설정된 ESI 평가 항목별 점수와 상기 세부 행동 분류 항목을 기반으로 설정된 세부 행동별 가중치를 상기 유사도에 적용하여 상기 평가 점수를 산출할 수 있다.

이 때, 프로세서는 상기 복수개의 세부 비디오 클립들과 상기 복수개의 검증 비디오 클립들을 순차적으로 비교하되, 비디오 클립 내용과 비디오 클립 앞 뒤의 맥락을 비교하여 유사도를 측정할 수 있다.

이 때, 유사도는 상기 복수개의 세부 비디오 클립들과 상기 복수개의 검증 비디오 클립들에서 각각 추출된 특징 정보 사이의 코사인 유사도(COSINE SIMILARITY)에 상응하게 측정될 수 있다.

이 때, 특징 정보는 영상 데이터를 기반으로 추출된 행동 인식 정보 및 표정 인식 정보, 음성 데이터를 기반으로 추출된 대화 정보 및 감정 인식 정보에 상응할 수 있다.

이 때, 프로세서는 객체 검출 기능, 객체 추적 기능 및 제스처 인식 기능 중 적어도 하나의 기능을 기반으로 행위 인식을 수행하여 상기 관찰 비디오 시퀀스를 상기 복수개의 세부 비디오 클립들로 분할할 수 있다.

본 발명에 따르면, 비디오 데이터 분석 및 비교 기술을 인간의 사회지능 평가에 적용할 수 있다.

또한, 본 발명은 표준화된 평가 척도에 의해 인간의 사회 지능 수준을 평가하기 위한 자동화된 평가 도구를 제공할 수 있다.

또한, 본 발명은 사회 지능에 문제가 있는 사람을 사전에 선별하여 적절한 치료 및 관리 서비스를 제공할 수 있다.

또한, 본 발명은 고도의 숙련된 전문가에 의해 장시간에 걸쳐 평가 대상을 관찰해 결과를 얻는 방법보다 효과적으로 비전문가도 단시간에 인간의 사회 지능을 평가할 수 있는 방법을 제공할 수 있다.

또한, 본 발명은 장소에 구애받지 않고 평가 대상에 대해 지속적으로 사회지능 발달 과정을 평가하고 추적할 수 있는 사회 지능 평가 방법을 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 사회 지능 평가 과정의 구성을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 사회 지능 평가 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명에 따른 비디오 클립의 일 예를 나타낸 도면이다.
도 4는 사회적 상호작용의 구성의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 비디오 클립 분할 과정의 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 기준값(Ground Truth)의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 코사인 유사도 측정 과정의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 비디오 클립의 영상 데이터와 음성 데이터에 기반한 특징 정보의 일 예를 나타낸 도면이다.
도 9는 본 발명에 따른 사회 지능 평가 과정의 상세한 구성을 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 사회 지능 평가 장치를 나타낸 블록도이다.
도 11은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 사회 지능 평가 과정의 구성을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 사회 지능 평가는 사회적 상호작용을 세부 행동으로 분류하는 단계(S110)와 두 개의 비디오 데이터들 사이의 유사도를 측정하는 단계(S120)로 분류하여 수행될 수 있다.

단계(S110)은 사회적 상호작용의 세부 행동 분류 단계로써 평가하고자 하는 사회적 상호작용을 세부 행동으로 분류하는 단계에 상응할 수 있다.

예를 들어, 사회적 상호작용에는 여러 가지 활동이 있을 수 있으나, ESI 평가 시나리오를 참조하여 [표 1]과 같이 가장 기본적으로 필요한 7개의 사회적 상호작용으로 분류하여 사회 지능을 평가할 수 있다.

대분류	소분류
다른 사람으로부터 정보 수집하기	- 좋아하는 책에 대해 친구로부터 정보 수집 - 휴대폰 기능에 대한 정보 수집 - 인터뷰 중 구직자로부터 정보 수집
다른 사람들과 정보 공유	- 식당에서 무엇을 주문해야 하는지 친구와 공유 - 작품에 대한 정보 공유 - 동료들에게 연수 강좌 공유
문제 해결 또는 의사 결정	- 거실 가구 재배치 계획 수립 - 차기 독서 모임에서 읽을 책 결정 - 미술 프로젝트의 어느 부분을 완성할 것인지 계획 세우기
공동 작업 및 제작	- 함께 요리하기 - 공동 작업으로 콜라주 만들기 - 함께 숙제하기
상품 및 서비스 획득	- 은행 거래 및 우편 거래 중 누군가와 상호작용 - 영화 또는 극장 티켓 구매와 관련하여 누군가와 상호작용 - 서비스 제공업체 지원 요청
제품 및 서비스 제공	- 식당에서 음식 주문 관련해 누군가와 상호작용 - 티켓 판매와 관련해 누군가와 상호작용
사회적 대화 및'small talk'에 참여	- 커피를 마시거나 다른 사람과 식사 중 가벼운 대화에 참여 - 버스를 기다리는 동안 가벼운 대화에 참여 - 머리 자르는 동안 디자이너와 가벼운 대화에 참여

이 때, 인간의 사회적 상호작용은 도 4에 도시된 것과 같이 작고 관찰 가능한 사회적 행동들의 연쇄로 구성될 수 있다. 따라서, 작고 관찰 가능한 사회적 행동을 비디오 시퀀스에서 하나의 의미 있는 비디오 클립으로 정의한다고 가정하면, 모든 사회적 상호작용은 여러 비디오 클립들이 순차적으로 구성된 비디오 클립의 집합체에 상응할 수 있다.

따라서, 본 발명에서는 비디오 분석 과정을 기반으로 사회적 상호작용에 상응하는 비디오 시퀀스를 세부 행동에 상응하는 작은 비디오 클립 단위로 분할함으로써 비디오 시퀀스에 포함된 스토리를 이해하고 해석하기 위한 기준값(Ground Truth)을 생성할 수 있다.

이 후, 단계(S120)를 통해 기준값과 평가 대상에 상응하는 관찰 비디오를 비디오 클립 단위로 비교함으로써 기준값과 관찰 비디오 사이의 유사도를 측정하고 측정된 결과를 기반으로 평가 대상의 사회 지능을 평가할 수 있다.

이 때, 평가하고자 하는 평가 대상의 사회적 상호작용이 촬영된 관찰 비디오를 비디오 클립 단위로 분할하여 기준값에 포함된 비디오 클립들과 비교할 수 있다.

이 때, 기준값과 관측 비디오 사이의 비디오 클립 유사도 측정은, 비디오 클립에 포함된 영상 데이터와 음성 데이터로부터 추출된 특징 정보간의 코사인 유사도(Cosine Similarity)를 이용할 수 있다. 즉, 코사인 유사도 측정을 위한 입력 값으로 영상 데이터 및 음성 데이터에서 추출된 특징 벡터를 이용할 수 있다.

예를 들어, 휴먼 검출 및 추적 기술, 행동 및 제스처 인식 기술, 표정 인식 기술을 이용하여 영상 데이터로부터 특징 벡터를 추출할 수 있고, 대화 정보 인식 기술, 배경 잡음 제거 기술, 감정 인식 기술을 이용하여 음성 데이터로부터 특징 벡터를 추출할 수도 있다.

이 때, 비디오 클립의 장면만 비교하는 것이 아니라 비교하는 비디오 클립의 앞뒤 맥락 정보까지 고려하여 기준값과 관찰 비디오 간 유사도를 측정하고, 사회 지능을 평가할 수 있다.

이와 같은, 본 발명의 일실시예에 따른 사회 지능 평가 과정의 구성에 따르면, 고도의 숙련된 전문가에 의해 장시간에 걸쳐 평가 대상을 관찰해 결과를 얻는 방법에 비해 비전문가도 단시간에 인간의 사회지능을 평가할 수 있다. 또한, 사회적 상호작용 촬영된 영상만 있으면 장소에 구애받지 않고 사회지능 평가가 가능하므로 평가 대상의 사회지능 발달 과정을 지속적으로 관찰 및 추적할 수도 있다.

도 2는 본 발명의 일실시예에 따른 사회 지능 평가 방법을 나타낸 동작흐름도이다.

일반적으로 자기보고 방식의 인지 지능평가와 달리 사회지능은 대부분 관찰자 기반의 평가 방식으로 이루어진다. 따라서, 사회지능 평가에는 고도의 숙련된 전문가가 필요하지만, 전문인력이 부족하고 또 많은 시간이 소요되는 평가작업으로 인간의 사회지능 평가는 쉽지 않은 상황이다.

따라서, 본 발명에서는 비디오 데이터 분석 및 비교 기술을 인간의 사회지능 평가에 적용함으로써 비디오로 촬영된 사람들간의 사회적 상호작용 행동에 대해 자동으로 적절한 상호작용인지 또는 부적절한 상호작용인지를 판단해 평가할 수 있는 방법으로 제공하고자 한다.

도 2를 참조하면, 본 발명의 일실시예에 따른 사회 지능 평가 방법은 평가 대상의 사회적 상호작용 행동을 촬영한 관찰 비디오 시퀀스를 행위 인식 기반으로 분할하여 복수개의 세부 비디오 클립들을 생성한다(S210).

예를 들어, 도 3에 도시된 것과 같이 하나의 긴 관찰 비디오 시퀀스(300)를 분할하여 복수개의 세부 비디오 클립들(310~330)을 생성할 수 있다. 이 때, 관찰 비디오 시퀀스(300)의 내용을 분석하고, 관찰 비디오 시퀀스(300)에 촬영된 평가 대상의 행위를 순차적으로 다가가기, 안아주기, 인사하기에 상응하게 인식할 수 있다. 따라서, 관찰 비디오 시퀀스(300)를 각각의 행위에 상응하는 부분으로 분할하고, 분할된 부분을 각각 다가가기에 해당하는 세부 비디오 클립(310), 안아주기에 해당하는 세부 비디오 클립(320) 및 인사하기에 해당하는 세부 비디오 클립(330)으로 생성할 수 있다.

이 때, 객체 검출 기능, 객체 추적 기능, 제스처 인식 기능 중 적어도 하나의 기능을 기반으로 행위 인식을 수행하여 관찰 비디오 시퀀스를 복수개의 세부 비디오 클립들로 분할할 수 있다.

예를 들어, 객체 검출 및 추적을 통해 관찰 비디오 시퀀스에서 평가 대상을 검출할 수 있고, 제스처 인식을 통해 평가 대상의 행위를 인식함으로써 분할할 지점을 결정할 수 있다.

또한, 본 발명의 일실시예에 따른 사회 지능 평가 방법은 사회적 상호작용 분석을 기반으로 생성된 기준값(Ground Truth)과 복수개의 세부 비디오 클립들 사이의 유사도에 기반한 평가 점수를 산출하여 평가 대상의 사회 지능을 평가한다(S220).

이 때, 인간의 사회적 상호작용이란, 도 4와 같이 작고 관찰 가능한 사회적 행동들의 연쇄로 구성된 것일 수 있다. 따라서, 이와 같이 작고 관찰 가능한 사회적 행동들을 입력 비디오 시퀀스에서 각각 하나의 의미 있는 비디오 클립으로 정의한다면 모든 사회적 상호작용은 여러 개의 비디오 클립들이 순차적으로 구성된 비디오 클립의 집합체로 볼 수도 있다.

따라서, 사회적 상호작용에 대한 분석을 기반으로 생성된 기준값 또한 이와 같은 비디오 클립의 집합체에 상응할 수 있다.

예를 들어, 도 5 내지 도 6을 통해 기준값을 생성하는 과정을 설명하면 다음과 같다. 먼저, 도 5에 도시된 것과 같이, 사회적 상호작용에 대한 입력 비디오 시퀀스(510)가 입력되는 경우, 비디오 분석 모듈(520)에 의한 전처리를 통해 사회적 상호작용을 세부 행동으로 분류하고, 입력 비디오 시퀀스(510)를 작은 비디오 클립 단위인 검증 비디오 클립(530)으로 분할할 수 있다. 이 후, 사회지능 평가 전문가를 통해 도 6에 도시된 것과 같이, 검증 비디오 클립(610)에 대한 ESI 평가 항목별 점수(620)와 각 비디오 클립 단위별 즉, 사회적 상호작용에서의 세부 행동별 가중치(630)를 설정할 수 있다. 그리고, 각 비디오 클립의 앞/뒤 맥락 정보(611) 등을 기반으로 비디오 데이터의 스토리를 이해하고 해석하기 위한 기준값(Ground Truth)을 생성할 수 있다.

즉, 본 발명에 따른 기준값은 사회적 상호작용에 대한 입력 비디오 시퀀스를 ESI(Evaluation of Social Interaction) 평가 시나리오의 세부 행동 분류 항목 기반으로 분류하여 생성된 복수개의 검증 비디오 클립들에 상응할 수 있다.

이 때, 복수개의 검증 비디오 클립들은 영상 데이터와 음성 데이터로 구성될 수 있다. 따라서, 기준값(Ground Truth)은 영상 데이터를 기반으로 행동 인식 정보, 제스처 인식 정보, 표정 인식 정보 등을 포함할 수 있고, 음성 데이터를 기반으로 대화 정보, 배경 잡음 정보, 감정 인식 정보 등을 포함할 수도 있다.

이 때, ESI 평가 시나리오를 기반으로 설정된 ESI 평가 항목별 점수와 세부 행동 분류 항목을 기반으로 설정된 세부 행동별 가중치를 유사도에 적용하여 평가 점수를 산출할 수 있다.

예를 들어, 도 3에 도시된 관찰 비디오 시퀀스(300)에 대한 복수개의 세부 비디오 클립들(310~330)을 기반으로 평가 점수를 산출하였다고 가정할 수 있다. 먼저, 다가가기에 해당하는 세부 비디오 클립(310)에 대해 기준값과 비교를 통해 유사도가 측정되면, 다가가기에 해당하는 세부 비디오 클립(310)에 대응하는 ESI 평가 항목 점수와 세부 행동 가중치를 적용하여 다가가기에 해당하는 세부 비디오 클립(310)에 대한 평가 점수를 산출할 수 있다. 이와 같은 방법으로 안아주기에 해당하는 세부 비디오 클립(320)과 인사하기에 해당하는 세부 비디오 클립(330) 각각에 대한 평가 점수가 산출되면, 모든 평가 점수를 합산하여 최종적인 평가 점수를 산출할 수 있다.

상기의 예시는 일실시예에 해당하는 것으로, 평가 점수는 유사도, ESI 평가 항목별 점수 및 세부 행동별 가중치를 기반으로 산출되되, 평가 점수를 산출하기 위해 세 가지 요소를 어떻게 이용하는지는 한정되지 않는다.

이 때, 복수개의 세부 비디오 클립들과 복수개의 검증 비디오 클립들을 순차적으로 비교하되, 비디오 클립 내용과 비디오 클립 앞 뒤의 맥락을 비교하여 유사도를 측정할 수 있다. 즉, 복수개의 세부 비디오 클립들을 이용하여 평가 대상에 대한 사회 지능을 평가하는 경우, 비디오 클립에 포함된 하나의 장면만으로 평가하는 것이 아니라 해당 비디오 클립에 대한 앞뒤 맥락 정보를 더 고려하여 기준값(Ground Truth)과의 유사도를 측정하고, 이를 기반으로 사회 지능을 평가할 수 있다.

이 때, 유사도는 복수개의 세부 비디오 클립들과 복수개의 검증 비디오 클립들에서 각각 추출된 특징 정보 사이의 코사인 유사도(COSINE SIMILARITY)에 상응하게 측정될 수 있다.

예를 들어, 도 7을 참조하면, 기준값(710)에 포함된 복수개의 검증 비디오 클립들과 관찰 비디오 시퀀스(720)에 포함된 복수개의 세부 비디오 클립들을 비교하여 유사도를 측정하되, 두 비디오 클립들 사이의 유사도 측정은 영상 데이터 및 음성 데이터로부터 추출된 특징 정보간의 코사인 유사도(cosine similarity)를 이용할 수 있다. 이 때, 두 비디오 클립들 사이의 코사인 유사도를 측정하기 위한 입력 값으로 영상 데이터 및 음성 데이터로부터 추출된 특징 정보에 상응하는 특징 벡터를 이용할 수 있다.

이 때, 특징 정보는 영상 데이터를 기반으로 추출된 행동 인식 정보 및 표정 인식 정보, 음성 데이터를 기반으로 추출된 대화 정보 및 감정 인식 정보에 상응할 수 있다.

예를 들어, 도 8을 참조하면, 비디오 클립(800)을 구성하는 영상 데이터(810)에서는 휴먼 검출 및 추적 정보, 행동 인식 정보, 제스처 인식 정보 및 표정 인식 정보에 관한 특징 벡터를 추출하여 유사도를 측정하기 위해 이용할 수 있다. 또한, 비디오 클립(800)을 구성하는 음성 데이터(820)에서는 대화 정보, 배경 잡음 정보, 감정 인식 정보에 관한 특징 벡터를 추출하여 유사도를 측정하기 위해 이용할 수 있다.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 사회 지능 평가 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 사회 지능 평가를 위한 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다.

이와 같은 사회 지능 평가 방법을 통해 고도의 숙련된 전문가에 의해 장시간에 걸쳐 평가 대상을 관찰해 결과를 얻는 방법보다 효과적으로 비전문가도 단시간에 인간의 사회 지능을 평가할 수 있다.

또한, 장소에 구애받지 않고 평가 대상에 대해 지속적으로 사회지능 발달 과정을 평가하고 추적할 수도 있다.

도 9는 본 발명에 따른 사회 지능 평가 과정의 상세한 구성을 나타낸 도면이다.

도 9를 참조하면, 본 발명에 따른 사회 지능 평가는 먼저 사회적 상호작용에 대한 세부 행동 분류 과정을 기반으로 사회 지능 평가를 위한 기준값(Ground Truth)을 정의하고, 기준값과 평가 대상의 사회적 상호작용 행동을 촬영한 관찰 비디오를 비교하는 과정을 통해 수행될 수 있다.

이 때, 기준값에 포함된 검증 비디오 클립과 관찰 비디오를 분할하여 생성된 세부 비디오 클립을 비교하는 과정에서 영상 데이터 해석 정보, 음성 데이터 해석 정보를 비롯해 시간 정보, 맥락 정보 등을 비교할 수 있다.

이와 같은 비교 과정을 통해 생성된 평가 결과(900)에는 두 데이터들 간 유사도 측정 결과(910)와 함께 유사도 측정 결과(910)에 적용될 ESI 평가 항목 적용 점수(920)와 세부 행동 적용 가중치(930)가 포함될 수 있다.

따라서, 평가 결과(900)에 포함된 요소들을 기반으로 평가 대상의 사회적 상호작용 행동에 대한 평가 점수를 산출할 수 있고, 평가 점수를 기반으로 평가 대상에 대한 사회 지능을 평가할 수 있다.

도 10은 본 발명의 일실시예에 따른 사회 지능 평가 장치를 나타낸 블록도이다.

도 10을 참조하면, 본 발명의 일실시예에 따른 사회 지능 평가 장치는 통신부(1010), 프로세서(1020) 및 메모리(1030)를 포함한다.

통신부(1010)는 네트워크와 같은 통신망을 통해 평가 대상의 사회 지능 평가를 위해 필요한 정보를 송수신하는 역할을 한다. 특히, 본 발명의 일실시예에 따른 통신부(1010)는 평가 대상에 대한 관찰 비디오 시퀀스를 수신하거나, 평가 결과를 평가 대상에게 제공할 수 있다.

프로세서(1020)는 평가 대상의 사회적 상호작용 행동을 촬영한 관찰 비디오 시퀀스를 행위 인식 기반으로 분할하여 복수개의 세부 비디오 클립들을 생성한다.

예를 들어, 도 3에 도시된 것과 같이 하나의 긴 관찰 비디오 시퀀스(300)를 분할하여 복수개의 세부 비디오 클립들(310~330)을 생성할 수 있다. 이 때, 관찰 비디오 시퀀스(300)의 내용을 분석하고, 관찰 비디오 시퀀스(300)에 촬영된 평가 대상의 행위를 순차적으로 다가가기, 안아주기, 인사하기에 상응하게 인식할 수 있다. 따라서, 관찰 비디오 시퀀스(300)를 각각의 행위에 상응하는 부분으로 분할하고, 분할된 부분을 각각 다가가기에 해당하는 세부 비디오 클립(310), 안아주기에 해당하는 세부 비디오 클립(320) 및 인사하기에 해당하는 세부 비디오 클립(330)으로 생성할 수 있다.

이 때, 객체 검출 기능, 객체 추적 기능, 제스처 인식 기능 중 적어도 하나의 기능을 기반으로 행위 인식을 수행하여 관찰 비디오 시퀀스를 복수개의 세부 비디오 클립들로 분할할 수 있다.

예를 들어, 객체 검출 및 추적을 통해 관찰 비디오 시퀀스에서 평가 대상을 검출할 수 있고, 제스처 인식을 통해 평가 대상의 행위를 인식함으로써 분할할 지점을 결정할 수 있다.

또한, 프로세서(1020)는 사회적 상호작용 분석을 기반으로 생성된 기준값(Ground Truth)과 복수개의 세부 비디오 클립들 사이의 유사도에 기반한 평가 점수를 산출하여 평가 대상의 사회 지능을 평가한다.

이 때, 인간의 사회적 상호작용이란, 도 4와 같이 작고 관찰 가능한 사회적 행동들의 연쇄로 구성된 것일 수 있다. 따라서, 이와 같이 작고 관찰 가능한 사회적 행동들을 입력 비디오 시퀀스에서 각각 하나의 의미 있는 비디오 클립으로 정의한다면 모든 사회적 상호작용은 여러 개의 비디오 클립들이 순차적으로 구성된 비디오 클립의 집합체로 볼 수도 있다.

따라서, 사회적 상호작용에 대한 분석을 기반으로 생성된 기준값 또한 이와 같은 비디오 클립의 집합체에 상응할 수 있다.

예를 들어, 도 5 내지 도 6을 통해 기준값을 생성하는 과정을 설명하면 다음과 같다. 먼저, 도 5에 도시된 것과 같이, 사회적 상호작용에 대한 입력 비디오 시퀀스(510)가 입력되는 경우, 비디오 분석 모듈(520)에 의한 전처리를 통해 사회적 상호작용을 세부 행동으로 분류하고, 입력 비디오 시퀀스(510)를 작은 비디오 클립 단위인 검증 비디오 클립(530)으로 분할할 수 있다. 이 후, 사회지능 평가 전문가를 통해 도 6에 도시된 것과 같이, 검증 비디오 클립(610)에 대한 ESI 평가 항목별 점수(620)와 각 비디오 클립 단위별 즉, 사회적 상호작용에서의 세부 행동별 가중치(630)를 설정할 수 있다. 그리고, 각 비디오 클립의 앞/뒤 맥락 정보(611) 등을 기반으로 비디오 데이터의 스토리를 이해하고 해석하기 위한 기준값(Ground Truth)을 생성할 수 있다.

즉, 본 발명에 따른 기준값은 사회적 상호작용에 대한 입력 비디오 시퀀스를 ESI(Evaluation of Social Interaction) 평가 시나리오의 세부 행동 분류 항목 기반으로 분류하여 생성된 복수개의 검증 비디오 클립들에 상응할 수 있다.

이 때, 복수개의 검증 비디오 클립들은 영상 데이터와 음성 데이터로 구성될 수 있다. 따라서, 기준값(Ground Truth)은 영상 데이터를 기반으로 행동 인식 정보, 제스처 인식 정보, 표정 인식 정보 등을 포함할 수 있고, 음성 데이터를 기반으로 대화 정보, 배경 잡음 정보, 감정 인식 정보 등을 포함할 수도 있다.

이 때, ESI 평가 시나리오를 기반으로 설정된 ESI 평가 항목별 점수와 세부 행동 분류 항목을 기반으로 설정된 세부 행동별 가중치를 유사도에 적용하여 평가 점수를 산출할 수 있다.

예를 들어, 도 3에 도시된 관찰 비디오 시퀀스(300)에 대한 복수개의 세부 비디오 클립들(310~330)을 기반으로 평가 점수를 산출하였다고 가정할 수 있다. 먼저, 다가가기에 해당하는 세부 비디오 클립(310)에 대해 기준값과 비교를 통해 유사도가 측정되면, 다가가기에 해당하는 세부 비디오 클립(310)에 대응하는 ESI 평가 항목 점수와 세부 행동 가중치를 적용하여 다가가기에 해당하는 세부 비디오 클립(310)에 대한 평가 점수를 산출할 수 있다. 이와 같은 방법으로 안아주기에 해당하는 세부 비디오 클립(320)과 인사하기에 해당하는 세부 비디오 클립(330) 각각에 대한 평가 점수가 산출되면, 모든 평가 점수를 합산하여 최종적인 평가 점수를 산출할 수 있다.

상기의 예시는 일실시예에 해당하는 것으로, 평가 점수는 유사도, ESI 평가 항목별 점수 및 세부 행동별 가중치를 기반으로 산출되되, 평가 점수를 산출하기 위해 세 가지 요소를 어떻게 이용하는지는 한정되지 않는다.

이 때, 복수개의 세부 비디오 클립들과 복수개의 검증 비디오 클립들을 순차적으로 비교하되, 비디오 클립 내용과 비디오 클립 앞 뒤의 맥락을 비교하여 유사도를 측정할 수 있다. 즉, 복수개의 세부 비디오 클립들을 이용하여 평가 대상에 대한 사회 지능을 평가하는 경우, 비디오 클립에 포함된 하나의 장면만으로 평가하는 것이 아니라 해당 비디오 클립에 대한 앞뒤 맥락 정보를 더 고려하여 기준값(Ground Truth)과의 유사도를 측정하고, 이를 기반으로 사회 지능을 평가할 수 있다.

이 때, 유사도는 복수개의 세부 비디오 클립들과 복수개의 검증 비디오 클립들에서 각각 추출된 특징 정보 사이의 코사인 유사도(COSINE SIMILARITY)에 상응하게 측정될 수 있다.

예를 들어, 도 7을 참조하면, 기준값(710)에 포함된 복수개의 검증 비디오 클립들과 관찰 비디오 시퀀스(720)에 포함된 복수개의 세부 비디오 클립들을 비교하여 유사도를 측정하되, 두 비디오 클립들 사이의 유사도 측정은 영상 데이터 및 음성 데이터로부터 추출된 특징 정보간의 코사인 유사도(cosine similarity)를 이용할 수 있다. 이 때, 두 비디오 클립들 사이의 코사인 유사도를 측정하기 위한 입력 값으로 영상 데이터 및 음성 데이터로부터 추출된 특징 정보에 상응하는 특징 벡터를 이용할 수 있다.

이 때, 특징 정보는 영상 데이터를 기반으로 추출된 행동 인식 정보 및 표정 인식 정보, 음성 데이터를 기반으로 추출된 대화 정보 및 감정 인식 정보에 상응할 수 있다.

예를 들어, 도 8을 참조하면, 비디오 클립(800)을 구성하는 영상 데이터(810)에서는 휴먼 검출 및 추적 정보, 행동 인식 정보, 제스처 인식 정보 및 표정 인식 정보에 관한 특징 벡터를 추출하여 유사도를 측정하기 위해 이용할 수 있다. 또한, 비디오 클립(800)을 구성하는 음성 데이터(820)에서는 대화 정보, 배경 잡음 정보, 감정 인식 정보에 관한 특징 벡터를 추출하여 유사도를 측정하기 위해 이용할 수 있다.

메모리(1030)는 기준값(Ground Truth)을 저장한다.

또한, 메모리(1030)는 상술한 바와 같이 본 발명의 실시예에 따른 사회 지능 평가를 위한 기능을 지원할 수 있다. 이 때, 메모리(1030)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다.

한편, 사회 지능 평가 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이와 같은 사회 지능 평가 장치를 이용하여 고도의 숙련된 전문가에 의해 장시간에 걸쳐 평가 대상을 관찰해 결과를 얻는 방법보다 효과적으로 비전문가도 단시간에 인간의 사회 지능을 평가할 수 있다.

또한, 장소에 구애받지 않고 평가 대상에 대해 지속적으로 사회지능 발달 과정을 평가하고 추적할 수도 있다.

도 11은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.

도 11을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 11에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.

이상에서와 같이 본 발명에 따른 사회 지능 평가 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

300: 관찰 비디오 시퀀스 310~330: 세부 비디오 클립
510: 입력 비디오 시퀀스 520: 비디오 분석 모듈
530, 610: 검증 비디오 클립 611: 맥락 정보
620: ESI 평가 항목별 점수 630: 세부 행동별 가중치
710: 기준값 720: 관찰 비디오
800: 비디오 클립 810: 영상 데이터
820: 음성 데이터 900: 평가 결과
910: 유사도 측정 결과 920: ESI 평가 항목 적용 점수
930: 세부 행동 적용 가중치 1010: 통신부
1020: 프로세서 1030: 메모리
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 입력 장치 1150: 사용자 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (14)

1. 사회 지능 평가 장치가 평가 대상의 사회 지능을 평가하는 사회 지능 평가 방법에 있어서,
   상기 사회 지능 평가 장치가 평가 대상의 사회적 상호작용 행동을 촬영한 관찰 비디오 시퀀스를 행위 인식 기반으로 분할하여 복수개의 세부 비디오 클립들을 생성하는 단계; 및
   상기 사회 지능 평가 장치가 사회적 상호작용 분석을 기반으로 생성된 그라운드 트루쓰 기준값과 상기 복수개의 세부 비디오 클립들 사이의 비디오 클립간 유사도에 기반한 평가 점수를 산출하여 상기 평가 대상의 사회 지능을 평가하는 단계를 포함하고,
   상기 그라운드 트루쓰 기준값은
   사회적 상호작용에 대한 입력 비디오 시퀀스를 ESI(Evaluation of Social Interaction) 평가 시나리오의 세부 행동 분류 항목 기반으로 분류하여 생성된 복수개의 검증 비디오 클립들에 상응하고,
   상기 평가 점수는
   상기 ESI 평가 시나리오를 기반으로 설정된 ESI 평가 항목별 점수와 상기 세부 행동 분류 항목을 기반으로 설정된 세부 행동별 가중치를 이용하여 산출되고,
   상기 유사도는
   상기 복수개의 세부 비디오 클립들과 상기 복수개의 검증 비디오 클립들을 순차적으로 비교하되, 비디오 클립 내용과 비디오 클립 앞 뒤의 맥락을 비교하여 산출되는 것을 특징으로 하는 사회 지능 평가 방법.
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 유사도는
   상기 복수개의 세부 비디오 클립들과 상기 복수개의 검증 비디오 클립들에서 각각 추출된 특징 정보 사이의 코사인 유사도(COSINE SIMILARITY)에 상응하게 측정되는 것을 특징으로 하는 사회 지능 평가 방법.
6. 청구항 5에 있어서,
   상기 특징 정보는
   영상 데이터를 기반으로 추출된 행동 인식 정보 및 표정 인식 정보, 음성 데이터를 기반으로 추출된 대화 정보 및 감정 인식 정보에 상응하는 것을 특징으로 하는 사회 지능 평가 방법.
7. 청구항 1에 있어서,
   상기 복수개의 세부 비디오 클립들을 생성하는 단계는
   객체 검출 기능, 객체 추적 기능 및 제스처 인식 기능 중 적어도 하나의 기능을 기반으로 행위 인식을 수행하여 상기 관찰 비디오 시퀀스를 상기 복수개의 세부 비디오 클립들로 분할하는 것을 특징으로 하는 사회 지능 평가 방법.
8. 평가 대상의 사회적 상호작용 행동을 촬영한 관찰 비디오 시퀀스를 행위 인식 기반으로 분할하여 복수개의 세부 비디오 클립들을 생성하고, 사회적 상호작용 분석을 기반으로 생성된 그라운드 트루쓰 기준값과 상기 복수개의 세부 비디오 클립들 사이의 비디오 클립간 유사도에 기반한 평가 점수를 산출하여 상기 평가 대상의 사회 지능을 평가하는 프로세서; 및
   상기 그라운드 투루쓰 기준값을 저장하는 메모리를 포함하고,
   상기 그라운드 트루쓰 기준값은
   사회적 상호작용에 대한 입력 비디오 시퀀스를 ESI(Evaluation of Social Interaction) 평가 시나리오의 세부 행동 분류 항목 기반으로 분류하여 생성된 복수개의 검증 비디오 클립들에 상응하고,
   상기 평가 점수는
   상기 ESI 평가 시나리오를 기반으로 설정된 ESI 평가 항목별 점수와 상기 세부 행동 분류 항목을 기반으로 설정된 세부 행동별 가중치를 이용하여 산출되고,
   상기 유사도는
   상기 복수개의 세부 비디오 클립들과 상기 복수개의 검증 비디오 클립들을 순차적으로 비교하되, 비디오 클립 내용과 비디오 클립 앞 뒤의 맥락을 비교하여 산출되는 것을 특징으로 하는 사회 지능 평가 장치.
9. 삭제
10. 삭제
11. 삭제
12. 청구항 8에 있어서,
    상기 유사도는
    상기 복수개의 세부 비디오 클립들과 상기 복수개의 검증 비디오 클립들에서 각각 추출된 특징 정보 사이의 코사인 유사도(COSINE SIMILARITY)에 상응하게 측정되는 것을 특징으로 하는 사회 지능 평가 장치.
13. 청구항 12에 있어서,
    상기 특징 정보는
    영상 데이터를 기반으로 추출된 행동 인식 정보 및 표정 인식 정보, 음성 데이터를 기반으로 추출된 대화 정보 및 감정 인식 정보에 상응하는 것을 특징으로 하는 사회 지능 평가 장치.
14. 청구항 8에 있어서,
    상기 프로세서는
    객체 검출 기능, 객체 추적 기능 및 제스처 인식 기능 중 적어도 하나의 기능을 기반으로 행위 인식을 수행하여 상기 관찰 비디오 시퀀스를 상기 복수개의 세부 비디오 클립들로 분할하는 것을 특징으로 하는 사회 지능 평가 장치.

Images