KR20120064541A - 미세 표정 분석을 이용한 사용자 심리 분석 장치 및 방법 - Google Patents

Abstract

본 발명의 일 측면에 따른 사용자 심리 분석 장치는, 사용자의 이미지가 입력되는 이미지 입력부, 상기 이미지 입력부가 출력하는 사용자 이미지를 통해 사용자의 미세 표정을 분석하는 미세표정 분석부, 상기 미세표정 분석기가 출력하는 표정 분석 결과와 사용자의 특징 정보를 종합하여 심리 분석을 수행하는 사용자 심리 분석부, 상기 사용자 심리 분석부가 출력하는 사용자의 심리 정보를 저장하는 사용자 심리 분석 결과 데이터베이스, 컨텐츠의 내용 및 해당 컨텐츠에 대한 심리 분석 정보와의 관계를 저장하는 컨텐츠 심리 정보 데이터베이스를 포함하고, 심리 분석을 통해 자극 제시용 컨텐츠를 사용자에게 선택적으로 제공하는 것을 특징으로 한다.

Description

미세 표정 분석을 이용한 사용자 심리 분석 장치 및 방법{Method and Apparatus for analysing psychology of users using recognizing detailed facial expression}

본 발명은 미세 표정 분석을 이용한 사용자 심리 분석 장치 및 방법에 관한 것으로, 좀더 구체적으로는, 사용자의 심리 성향을 컴퓨터에서 활용할 수 있도록 수치화하기 위해 컨텐츠를 이용한 자극의 제시에 기반하여 사용자 심리 성향을 분석하고 활용하는 미세 표정 분석을 이용한 사용자 심리 분석 장치 및 방법에 관한 것이다.

인간은 다양한 입출력 장치를 이용하여 컴퓨터와 같은 정보기기를 사용하고 원격지의 제3자와 통신을 수행한다. 복잡한 부호에서 시작한 사용자 인터페이스는 점점 발달하여 음성, 몸짓 등 보다 인간 친화적이고 사용이 편리한 수단으로 개발되고 있다. 이러한 관점에서 인간의 감성을 인식할 수 있는 인터페이스의 개발은 정보전달의 새로운 장을 열 수 있을 것이다. 이러한 감성 인식(emotion recognition)은 사용자(움직이는 생물체)의 몸짓, 표정, 행위 등을 측정 검출하여 사용자가 의도하는 감성을 인식한다.

현재까지, 감성 변화에 따른 인간의 얼굴 표정의 변화, 음성 변화 그리고 생체 신호의 변화 등을 이용하여 인식을 행하는 방법들이 소개되고 있다. 인간은 평상심, 행복, 화남, 슬픔, 놀람, 역겨움, 두려움 등의 복잡한 감성들을 표현할 수 있다. P. Ekman은 얼굴 각 부분의 표정변화와 감정 변화와의 상관 관계를 밝히는 연구를 행하였다. R. Nakasu은 인간의 음성을 뉴럴 네트워크(Neural Network)를 이용하여 8개의 대표감성을 인식하고자 하였다.

근래에 들어서는, 체감형 인터페이스 장치가 일반화되면서 사용자의 움직임을 컴퓨터가 인식하여 활용하는 기술이 활용되고 있으나 사용자가 느끼는 미세한 감정이나 기분에 반응하는 감성 기반의 컨텐츠는 아직까지 널리 대중화가 이루어지지 못하고 있다.

따라서, 이러한 감성 컨텐츠를 구현하기 위해 사용자의 감정이나 기분을 알아내고 분석된 감성을 활용하는 방안에 대한 필요성이 대두되고 있다.

본 발명에서는 이러한 심리 파악 기술을 기반으로 하여 컨텐츠를 이용하여 반복된 자극을 제시하고 컴퓨터 기반의 강화 학습을 통해 사용자의 심리 성향을 통계적 모델로 수치화하여 활용할 수 있도록 하는, 미세 표정 분석을 이용한 사용자 심리 분석 장치 및 방법을 제시하고자 한다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 사용자 심리 분석 장치는, 사용자의 이미지가 입력되는 이미지 입력부, 상기 이미지 입력부가 출력하는 사용자 이미지를 통해 사용자의 미세 표정을 분석하는 미세표정 분석부, 상기 미세표정 분석부가 출력하는 표정 분석 결과와 사용자의 특징 정보를 종합하여 심리 분석을 수행하는 사용자 심리 분석부, 상기 사용자 심리 분석부가 출력하는 사용자의 심리 정보를 저장하는 사용자 심리 분석 결과 데이터베이스, 컨텐츠의 내용 및 해당 컨텐츠에 대한 심리 분석 정보와의 관 관계를 저장하는 컨텐츠 심리 정보 데이터베이스를 포함하고, 심리 분석을 통해 자극 제시용 컨텐츠를 사용자에게 선택적으로 제공하는 것을 특징으로 한다.

이상에서 설명한 바와 같이 본 발명의 미세 표정 분석을 이용한 사용자 심리 성향 분석 방법을 따르면, 사용자의 심리 성향에 대해 이미 생성되어 저장된 데이테베이스를 이용해 유사한 성향을 가진 사용자들이 활용했던 컨텐츠를 사용자에게 제공하는 서비스가 가능하다.

도 1은 본 발명에 따른 심리 성향 분석 방법의 개념을 설명하기 위한 도면.
도 2는 본 발명의 바람직한 일 실시예에 따른 심리 성향 분석 장치의 블록 구성을 나타낸 도면.
도 3은 본 발명의 일 실시예에 따른 심리 성향 분석 방법의 동작 흐름도를 나타낸 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 출원에서 사용하는 '단말'은 이동국(MS), 사용자 장비(UE; User Equipment), 사용자 터미널(UT; User Terminal), 무선 터미널, 액세스 터미널(AT), 터미널, 가입자 유닛(Subscriber Unit), 가입자 스테이션(SS; Subscriber Station), 무선 기기(wireless device), 무선 통신 디바이스, 무선송수신유닛(WTRU; Wireless Transmit/Receive Unit), 이동 노드, 모바일 또는 다른 용어들로서 지칭될 수 있다. 단말의 다양한 실시예들은 셀룰러 전화기, 무선 통신 기능을 가지는 스마트 폰, 무선 통신 기능을 가지는 개인 휴대용 단말기(PDA), 무선 모뎀, 무선 통신 기능을 가지는 휴대용 컴퓨터, 무선 통신 기능을 가지는 디지털 카메라와 같은 촬영장치, 무선 통신 기능을 가지는 게이밍 장치, 무선 통신 기능을 가지는 음악저장 및 재생 가전제품, 무선 인터넷 접속 및 브라우징이 가능한 인터넷 가전제품뿐만 아니라 그러한 기능들의 조합들을 통합하고 있는 휴대형 유닛 또는 단말기들을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명에 따른 심리 성향 분석 방법의 개념을 설명하기 위한 도면이다.

인간의 심리 성향은 여러 가지 형태로 파악될 수 있는데, 대표적인 예로서 뇌파기반 측정, 근전도 기반 측정, 체액(땀) 기반 측정, 홍채 반응 측정, 얼굴 표정 분석 등을 통하여 사용자의 상태를 알아낼 수 있다.

특히, 얼굴의 특징점 변화를 아주 짧은 시간 동안(1/4초)에 감지하여 감정을 조사하는 미세 표정 분석의 경우 대부분의 사람들(70%이상)이 감정(슬픔, 화, 놀람, 공포, 혐오, 경멸, 기쁨)을 속일 수 없는 것으로 조사되고 있어 이를 분석함으로써 효과적인 심리 성향을 파악하는 데 이용할 수 있다.

이러한 사실에 기초한 본 발명의 일 실시예에 따른 심리 성향 분석 방법에 따르면, 도 1에 도시된 바와 같이 스크린을 통해 사용자에게 컨텐츠를 제공하고, 사용자로부터의 자극 제시 반응을 이용해 사용자 심리 성향 분석을 수행한다. 이때, 본 발명의 바람직한 일 실시예에 따르면, 사용자는 자신의 표정이 분석되고 있다는 사실을 인지하지 못하며, 이를 통해 사용자 심리 성향에 대한 자연스러운 분석을 이끌어낼 수 있다.

본 발명에서는, TV 화면, 공공 장소의 대형 스크린, 모바일 기기 등의 단말 화면에 사용자 얼굴을 촬상할 수 있는 카메라와 같은 촬상 장치가 제공되는 것을 전제로 한다. 카메라 등을 사용해 인식된 사용자의 표정을 분석하고, 이를 통계적으로 분석함으로써 사용자 심리 성향을 분석할 수 있다.

즉, 도 1에 제시된 개념의 본 발명의 일 실시예에 따르면, 사용자가 제시된 컨텐츠의 내용에 대하여 긍정적인지 부정적인지 등의 다양한 심리적 반응을 찾아내고 다양한 주제의 컨텐츠를 반복하여 제시함으로써 컴퓨터에 의한 강화학습을 통한 해당 사용자의 심리 성향을 수치화할 수 있도록 한다.

이렇게 생성된 심리 성향과 사용자의 다양한 특성을 감안하여 통계적 분석을 통하여 보다 일반화시키는 과정을 거치면 비교적 짧은 관찰만으로 컨텐츠를 사용하는 사용자의 심리 성향을 파악할 수 있을 것이다.

이를 활용하여 일반 사용자들에게는 사용자가 알지 못하는 상태에서 거부감 없이 편안하게 심리 테스트를 수행하거나 사용자의 심리적 성향에 기반한 장르 선정 등의 컨텐츠 제시에 활용될 수 있다.

또한, 범죄 혐의자를 조사하는 데 활용하면 의심되는 범죄 현장이나 범행 수법에 대한 컨텐츠에 대한 반응의 정도를 관찰함으로써 범죄 관련 심리 성향(가능성, 익숙한 정도, 몰입 여부)도 관찰할 수 있을 것이다.

도 2는 본 발명의 바람직한 일 실시예에 따른 심리 성향 분석 장치의 블록 구성을 나타낸다.

도 2에 도시된 바와 같이 본 발명의 일 실시예에 따른 심리 성향 분석 장치는 이미지 입력부(210), 미세표정 분석부(220), 사용자 심리 분석부(230), 사용자 심리 분석 결과 데이터베이스(240), 자극 제시용 컨텐츠 선택부(250), 컨텐츠 심리 정보 데이터베이스(260)를 포함하여 구성된다.

본 발명에 따른 심리 성향 분석 장치는 사용자의 영상 및 사용자의 나이, 신장 등의 특징 정보가 입력된다.

이미지 입력부(210)는 사용자의 영상을 취득하는 역할을 담당하며, 카메라 등이 그 실시예가 될 수 있을 것이다.

미세표정 분석부(220)는 이미지 입력부(210)가 출력하는 사용자 이미지를 통해 사용자의 미세 표정을 분석하는 역할을 담당한다.

사용자 심리 분석부(230)는 미세표정 분석부(220)가 출력하는 표정 분석 결과와 사용자의 특징 정보를 종합하여 통계화된 심리 분석을 수행한다.

사용자 심리 분석부(230)를 통해 분석된 사용자의 심리 정보는 사용자 심리 분석 결과 데이터베이스(240)에 저장된다. 사용자 심리분석결과 데이터베이스(240)는 사용자마다 생성된 심리 분석 결과를 체계적으로 저장한다. 즉, 사용자 심리 분석 결과 데이터베이스는 다양한 반복된 실험에 의해 사용자의 심리적 성향에 대한 컴퓨터 기반 심리 모델링을 수행하여 정형화하며 이를 활용하여 사용자마다 생성된 심리 분석 결과가 도출되고, 심리 분석 결과는 데이터베이스화되어 저장된다.

한편, 자극 제시용 컨텐츠 선택부(250)는 사용자에게 적절한 자극을 제시하기 위한 모듈이다. 자극 제시용 컨텐츠 선택부는 사용자의 심리 성향을 분석하기 위해 다양한 컨텐츠들에서 사용자에게 적절한 자극을 제시하기 위한 것으로, 자극제시용 컨텐츠 선택부를 통해 분석 결과를 반복적으로 강화시키는 과정을 실시할 수 있다.

또한, 컨텐츠 심리 정보 데이터베이스(260)는 컨텐츠의 내용과 심리 성향의 연관 관계를 저장하는 역할을 담당한다.

도 3은 본 발명의 일 실시예에 따른 심리 성향 분석 방법의 동작 흐름도를 나타낸다.

본 발명의 바람직한 일 실시예에 따른 미세 표정 분석을 이용한 사용자 심리 성향 분석 방법의 상세 동작을 설명하면 다음과 같이 정리할 수 있다.

우선, 사용자의 표정과 행동을 파악하기 위한 영상을 입력받는다(S301).

사용자의 영상을 입력받으면, 사용자의 미세 표정 분석에 필요한 얼굴의 주요 특징 부분들의 움직임을 중심으로 하여 사용자의 표정을 분석한다(S302).

사용자의 미세 표정 분석 결과와 사용자의 특징 정보를 종합하여 사용자의 심리를 분석한다(S303). 사용자 각각에 대해 분석된 결과는 사용자 심리 분석 결과 데이터베이스를 구축하는 데 사용되는데, 다양한 반복된 실험에 의해 사용자의 심리적 성향에 대한 컴퓨터 기반 심리 모델링을 수행하여 정형화하며 이를 활용하여 사용자마다 생성된 심리 분석 결과가 도출된다. 심리 분석 결과는 데이터베이스화하여 저장한다(S304). 또한, 본 발명의 일 실시예에 따른 사용자 심리 분석 방법은, 컨텐츠 및 해당 컨텐츠에 대한 사용자의 심리 분석 정보와의 연관 관계 정보를 저장한다(S305).

본 발명에 따른 사용자 심리 분석 방법은, 사용자의 심리 성향을 분석하기 위해 다양한 컨텐츠들에서 사용자에게 적절한 자극을 제시하기 위해 자극 제시용 컨텐츠를 반복적으로 변경 선택하여 사용자에게 제시하는 단계(S306)를 추가적으로 더 포함할 수 있다. 이러한 과정을 통해 사용자 심리 분석 결과를 반복적으로 강화시킬 수 있다.

이를 위해 컨텐츠를 추가할 때 컨텐츠의 내용과 심리 성향의 연관 관계를 저장하는 컨텐츠 심리 정보가 데이터베이스의 형태로 사전에 미리 구성되는 것이 바람직하다. 또한, 매번의 분석에 의해 컨텐츠 심리 정보가 업데이트된다(S305).

도 3에 도시된 심리 성향 분석 방법을 조금 더 구체적인 예를 들어 설명해 보기로 한다.

"A"라는 영화, "B"라는 영화 각각을 자극 제시용 컨텐츠라고 본다면, 영화 "A"의 특정 장면을 본 사람들의 심리 상태를 미세 표정 분석을 통해 통계를 낸다. 마찬가지로, "B"라는 영화의 특정 장면을 시청한 사람들의 심리 상태 또한 미세표정 분석을 통해 통계를 낸다. 이러한 과정을 통해 특정 컨텐츠를 시청하는 사람들이 느끼는 통계적인 심리 분석을 수행하게 된다.

여기서, 설명한 바와 같이 "A"라는 영화 또는 "B"라는 영화에 대한 분석 과정 각각을 통해서만 분석을 수행하는 경우 정확도가 낮아질 수 있다. 따라서, 본 발명의 바람직한 일 실시예에 따르면, 단계적인 심리 분석을 통해 점차 연계된 컨텐츠로 전화하여 그 범위를 줄여 더 정확하게 심리 분석을 수행, 즉 강화 학습을 수행할 수 있다.

예를 들어, 폭력적인 컨텐츠 A를 어떤 사용자에게 제공했을 때 해당 사용자가 제시된 컨텐츠를 좋아했다면, 선택적으로 컨텐츠 A보다 더 폭력적인 컨텐츠 B를 사용자에게 추가로 제시해 사용자의 반응을 살핀다. 사용자의 반응을 살핀 결과 사용자가 컨텐츠 B를 아주 선호하는 것으로 판단된다면. 해당 사용자를 매우 폭력적인 성향의 특징 패턴을 보이는 인물로 판단, 범죄를 일으킬 확률이 높은 것으로 분류하여 데이터베이스화하고, 이러한 자료를 범죄 소탕 내지 예방에 활용할 수 있게 된다.

정리하자면, 본 발명의 바람직한 실시예는 도 3에 도시한 과정을 통하여 생성된 콘텐츠와 심리 분석 결과의 연계 및 이의 DB화를 통해, 궁극적으로 콘텐츠 기반 자극 제시 강화를 통한 심리 분석의 정확도 향상 및 이에 기반한　콘텐츠 제공 방법을 제시한다.

이상 설명한 실시예들을 정리해 보면, 본 발명은 사용자의 심리 성향을 컴퓨터에서 활용할 수 있도록 수치화하기 위해 컨텐츠를 이용한 자극의 제시에 기반하여 사용자 심리 성향을 분석하고 활용하기 위한 방법에 관한 것으로, HCI(Human Computer Interface)와 감성 컴퓨팅(Affective computing) 분야가 주된 활용 분야가 될 것이다.

본 발명에 따르면, 기존에 활용되던 설문이나 페이퍼 위주의 심리 검사에서 벗어나 보다 편안한 심리 분석이 가능하여 점차 사회적인 문제를 야기하는 정신 이상 증상(우울증, 범죄 심리)을 조기에 검출하여 사고나 범죄가 발생하기 이전에 이를 예방하기 위한 간략화된 검사방법으로 활용될 수 있을 것이다.

특히, 본 발명은 사용자의 얼굴이 카메라에 적당히 자동적으로 잡히게 되는 스마트폰과 같은 모바일 단말 환경에서 그 활용이 더욱 용이할 것이다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

1. 사용자의 이미지가 입력되는 이미지 입력부;
   상기 이미지 입력부가 출력하는 사용자 이미지를 통해 사용자의 미세 표정을 분석하는 미세표정 분석부;
   상기 미세표정 분석부가 출력하는 표정 분석 결과와 사용자의 특징 정보를 종합하여 통계적인 심리 분석을 수행하는 사용자 심리 분석부;
   상기 사용자 심리 분석부가 출력하는 사용자의 심리 정보를 저장하는 사용자 심리 분석 결과 데이터베이스; 및
   컨텐츠의 내용 및 해당 컨텐츠에 대한 심리 분석 정보와의 관계를 저장하는 컨텐츠 심리 정보 데이터베이스를 포함하고,
   심리 분석을 통해 자극 제시용 컨텐츠를 사용자에게 선택적으로 제공하는 것을 특징으로 하는 사용자 심리 분석 장치.

Images