KR102338684B1 - 비자발적 감정의 예측을 위한 데이터 처리 방법 - Google Patents

Abstract

비자발적 감정의 예측을 위한 학습에 필요한 훈련 데이터를 생성할 수 있는 데이터 처리 방법이 개시된다. 개시된 비자발적 감정의 예측을 위한 데이터 처리 방법은 미리 설정된 질문에 거짓을 대답하는 발화자의 영상의 특징값 추출 구간에서, 상기 발화자의 얼굴에 대한 랜드마크의 좌표값을, 프레임별로 추출하는 단계; 상기 랜드마크의 좌표값을 이용하여, 시계열 특징값을 생성하는 단계; 및 상기 시계열 특징값에 대한 거짓말 탐지 모델의 탐지 결과를 이용하여, 상기 영상의 프레임 레이트를 조절하는 단계를 포함한다.

Description

비자발적 감정의 예측을 위한 데이터 처리 방법{DATA PROCESS METHOD FOR PREDICTION OF INVOLUNTARY EMOTION}

본 발명은 비자발적 감정의 예측을 위한 데이터 처리 방법에 관한 것으로서, 더욱 상세하게는 비자발적 감정의 예측을 위한 학습에 필요한 훈련 데이터를 생성할 수 있는 방법에 관한 것이다.

사람의 얼굴표정은 감정을 드러내는 도구로써, 자발적인 표정변화는 신체의 추체로(Pyramidal tract)에 의해 조절된다. 특정 감정으로 유발되는 표정 중 비자발적인 표정변화는 추체외로(Extra pyramidal tract)에 의해 조절되는데 이러한 비자발적인 표정변화는 자발적인 표정변화와 달리 사람이 스스로 통제할 수 없어, 숨길 수 없다는 특징이 있다.

이와 같은 이유 때문에, 특정 감정으로 유발되는 비자발적인 인한 표정변화는 사람의 실제 감정을 간파할 수 있는 단서로 쓰인다. 대화 중 실제 감정을 잡아내야 할 경우, 예컨대 심리 상담, 정신과 상담, 범죄 수사 등의 상황에서, 기존에는 비자발적인 표정 변화에 대한 듀레이션(duration) 정보만을 가지고 사람이 경험에 의한 판단을 내리게 된다.

그러나 이러한 경험에 의한 방식은, 비자발적인 표정 변화가 언제 일어나며 어떤 형태를 가지고 일어나는지를 판단하기 위한 과학적 근거가 부족하기 때문에, 전신과 주치의나 형사 등이 주관적으로 예측한 비자발적인 감정의 정확도가 낮을 수 있다.

따라서 최근에는 기계 학습을 통해 비자발적 감정을 포함한 다양한 감정을 예측하기 위한 연구들이 진행되고 있다.

관련 선행문헌으로 대한민국 공개특허 제2017-0112857호, 제2019-0046349호, 대한민국 등록특허 제10-0988323호가 있다.

본 발명은 비자발적인 감정의 예측을 위한 학습에 필요한 훈련 데이터의 생성을 지원할 수 있는 데이터 처리 방법을 제공하기 위한 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 미리 설정된 질문에 거짓을 대답하는 발화자의 영상의 특징값 추출 구간에서, 상기 발화자의 얼굴에 대한 랜드마크의 좌표값을, 프레임별로 추출하는 단계; 상기 랜드마크의 좌표값을 이용하여, 시계열 특징값을 생성하는 단계; 및 상기 시계열 특징값에 대한 거짓말 탐지 모델의 탐지 결과를 이용하여, 상기 영상의 프레임 레이트를 조절하는 단계를 포함하는 비자발적 감정의 예측을 위한 데이터 처리 방법이 제공된다.

또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 미리 설정된 질문에 거짓을 대답하는 발화자의 영상의 특징값 추출 구간에서, 상기 발화자의 얼굴에 대한 랜드마크의 좌표값을, 프레임별로 추출하는 단계; 상기 랜드마크의 좌표값을 이용하여, 시계열 특징값을 생성하는 단계; 및 상기 시계열 특징값에 대한 거짓말 탐지 모델의 탐지 결과를 이용하여, 상기 특징값 추출 구간의 길이 또는 위치를 조절하는 단계를 포함하는 비자발적 감정의 예측을 위한 데이터 처리 방법이 제공된다.

본 발명의 일실시예에 따르면, 비자발적인 감정의 예측을 위한 학습 효과를 높일 수 있는 최적의 훈련 데이터가 생성될 수 있다.

도 1은 본 발명의 일실시예에 따른 비자발적 감정의 예측을 위한 데이터 처리 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 비자발적 감정의 예측을 위한 데이터 처리 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 특징값 추출 구간을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

일반적으로 비자발적인 감정은, 사람이 자신의 실제 감정이나 행위를 숨기기 위해, 자신의 감정을 실제 감정이나 의도와 다르게 표현할 때 발생한다. 예컨대, 속으로는 기분이 나쁘지만 좋게 표현하려고 할 경우나, 실제로 음식을 먹었지만 먹지 않았다고 표현하려고 하는 경우 등에, 비자발적인 감정이 나타날 수 있다.

즉, 이러한 비자발적인 감정은 주로 거짓말을 해야하는 상황에서 발생할 수 있다. 이에 본 발명은 발화자가 거짓을 대답하도록 유도하고, 거짓을 대답하는 발화자의 영상에서 특징값을 추출하는 방식으로, 비자발적 감정의 예측을 위한 데이터를 처리한다.

이와 같이 획득된 특징값은, 발화자가 비자발적인 감정을 표현한 것으로 예상되는 데이터이므로, 비자발적인 감정의 예측을 위한 학습용 훈련 데이터로 이용될 수 있다.

특히 본 발명의 일실시예는 비자발적인 감정의 예측을 위한 학습 효과를 높일 수 있는 최적의 훈련 데이터가 생성될 수 있도록, 영상의 프레임 레이트를 조절하거나 특징값이 추출되는 영상의 특징값 추출 구간을 조절한다.

본 발명의 일실시예에 따른 비자발적 감정의 예측을 위한 데이터 처리 방법은 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 이러한 컴퓨팅 장치에는 예컨대, 데스크탑 PC, 노트북, 서버, 모바일 단말 또는 별도의 데이터 처리 장치가 포함될 수 있다. 이하에서는 비자발적인 감정의 예측을 위한 데이터 처리 장치에서 수행되는 데이터 처리 방법이 일실시예로서 설명된다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 비자발적 감정의 예측을 위한 데이터 처리 시스템을 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 비자발적 감정의 예측을 위한 데이터 처리 시스템은 거짓말 탐지 장치(110) 및 데이터 처리 장치(210)를 포함한다.

거짓말 탐지 장치(110)는 미리 설정된 질문에 대답하는 발화자의 얼굴 영상에서 랜드마크의 좌표값을 이용하여, 발화자의 거짓 여부를 탐지한다. 사람이 거짓말을 할 경우, 인지부조화에 의해 표정 변화가 발생하며, 이러한 표정 변화에 의해 랜드마크의 좌표값이 변하게 된다. 거짓말 탐지 장치(110)는 이러한 랜드마크의 좌표값의 변화를 통해 발화자 진술의 거짓 여부를 탐지할 수 있다.

데이터 처리 장치(120)는 발화자의 얼굴 영상에서 랜드마크의 좌표값을 특징값으로 추출한다.

랜드마크는 눈, 코, 입 등과 같은 얼굴의 특정 부위의 특정 지점이며, 데이터 처리 장치(120)는 미리 학습된 제1인공 신경망을 이용하여, 얼굴 영상에서 랜드마크의 좌표값을 예측할 수 있다. 제1인공 신경망의 학습을 위한 제1훈련 데이터는, 랜드마크가 표시된 학습용 얼굴 영상일 수 있으며, 거짓말 탐지 장치(110)는 제1훈련 데이터에 포함된 랜드마크의 위치와 유사한 위치를, 발화자의 얼굴 영상에서 예측할 수 있다.

이 때, 데이터 처리 장치(120)는 얼굴 영상의 미리 설정된 특징값 추출 구간에서, 발화자의 얼굴에 대한 랜드마크의 좌표값을, 프레임별로 추출할 수 있다. 따라서, 추출된 랜드마크의 좌표값은 시계열 형태이다.

그리고 거짓말 탐지 장치(110)는 예측된 랜드마크의 좌표값을 미리 학습된 제2인공 신경망, 즉 거짓말 탐지 모델에 입력하여, 발화자의 진술의 거짓 여부를 탐지한다. 제2인공 신경망의 학습에 이용되는 제2훈련 데이터는, 학습용 발화자가 참을 진술하는 경우와 거짓을 진술하는 각각의 경우에 대한 학습용 발화자의 얼굴 영상의 랜드마크를 포함할 수 있다. 학습용 발화자가 참을 진술할 경우의 랜드마크가, 제2인공 신경망으로 입력되어 학습이 이루어지며, 이 때, 참이 제2인공 신경망에 대한 레이블(label)로 주어진다. 그리고 학습용 발화자가 거짓을 진술할 경우의 랜드마크가 제2인공 신경망으로 입력되어 학습이 이루어지며, 이 때 거짓이 제2인공 신경망에 대한 레이블로 주어진다.

데이터 처리 장치(120)는 거짓을 진술하는 것으로 예측된 발화자의 영상에 대한 프레임 레이트나 특징값 추출 구간의 길이 또는 위치 등을, 거짓말 탐지 장치(110)의 탐지 결과를 이용하여, 조절한다.

거짓말 탐지 모델은 발화자 진술의 거짓 여부를 예측함과 동시에, 탐지 결과로서, 예측 결과에 대한 신뢰도(confidence)값을 제공하는데, 이러한 신뢰도값은 예측 결과의 정확도를 나타내는 확률값이다. 데이터 처리 장치(120)는 거짓을 진술하는 것으로 예측된 발화자의 영상에 대한 신뢰도값을 이용하여, 프레임 레이트나 특징값 추출 구간을 조절한다.

신뢰도값이 낮으면, 신뢰도값을 높이기 위해 학습 파라미터가 조절될 필요가 있으며, 데이터 처리 장치(120)는 신뢰도값에 따라서, 영상의 프레임 레이트 및 특징값 추출 구간을 조절한다. 신뢰도값에 따라서 조절된, 프레임 레이트 및 특징값 추출 구간으로부터 추출된 랜드마크의 좌표값을 이용해 반복적으로 학습이 이루어짐으로써, 신뢰도값은 높아질 수 있으며, 결국 높은 신뢰도값을 제공하는 최적의 프레임 레이트 및 특징값 추출 구간이 결정될 수 있다.

그리고 거짓을 대답하는 발화자의 영상에 대해, 전술된 바와 같이 결정된 최적의 프레임 레이트 및 특징값 추출 구간에서 추출된 랜드마크의 좌표값이 비자발적인 감정의 예측을 위한 학습용 훈련 데이터로 이용될 수 있다.

전술된 바와 같이, 비자발적인 감정 표현은 일반적으로 발화자가 거짓을 진술할 경우에 발생하므로, 본 발명의 일실시예는 거짓말 탐지 모델을 통해 예측된 거짓을 진술하는 발화자의 영상의 프레임 레이트 및 특징값 추출 구간을, 거짓말 탐지 모델의 탐지 결과에 따라 조절한다.

도 2는 본 발명의 일실시예에 따른 비자발적 감정의 예측을 위한 데이터 처리 방법을 설명하기 위한 도면이며, 도 3은 본 발명의 일실시예에 따른 특징값 추출 구간을 설명하기 위한 도면이다.

본 발명의 일실시예에 따른 데이터 처리 장치는 미리 설정된 질문에 거짓을 대답하는 발화자의 영상의 특징값 추출 구간에서, 발화자의 얼굴에 대한 랜드마크의 좌표값을, 프레임별로 추출(S210)한다. 발화자는 미리 설정된 프로토콜에 따라 거짓을 진술하기로 약속되어 있으며, 발화자의 영상은 전술된 거짓말 탐지 장치에 의해 거짓을 대답하는 것으로 예측된 영상이다.

데이터 처리 장치는 단계 S210에서 추출된 랜드마크의 좌표값을 이용하여 랜드마크의 좌표값을 이용하여, 시계열 특징값을 생성(S220)한다.

단계 S220에서 데이터 처리 장치는 보다 구체적으로, 프레임별로 추출된 랜드마크의 좌표값을 정규화한다. 발화자 별로 얼굴 크기나 눈 사이의 거리 등이 다르기 때문에, 동일한 감정에 대한 랜드마크 좌표값 사이의 편차가 발생할 수 있으므로, 이러한 편차를 줄이기 위해 데이터 처리 장치는 발화자의 눈 사이의 거리 또는 발화자의 얼굴 크기를 이용하여, 랜드마크의 좌표값을 정규화할 수 있다. 일실시예로서, 데이터 처리 장치는 추출된 랜드마크의 좌표값을 눈 사이의 거리로 나누어주거나, 영상에 포함된 얼굴에 대한 바운딩 박스의 면적으로 나누어 정규화를 수행할 수 있다.

그리고 데이터 처리 장치는 이전 프레임과 현재 프레임에 대한 정규화된 좌표값의 차이를 계산하여, 시계열 특징값을 생성한다. 즉, 데이터 처리 장치는 정규화된 랜드마크의 좌표값을 그대로 이용하는 것이 아니라, 프레임 사이의 좌표값의 변화를 시계역 특징값으로 이용한다.

실시예에 따라서, 데이터 처리 장치는 이전 프레임과 현재 프레임 사이의 랜드마크 좌표값의 차이를 먼저 계산한 후, 차이값에 대해 정규화를 수행할 수도 있다.

데이터 처리 장치는, 시계열 특징값에 대한 거짓말 탐지 모델의 탐지 결과를 이용하여, 발화자의 영상의 프레임 레이트(FPS)를 조절(S230)한다. 데이터 처리 장치는, 거짓말 탐지 모델의 탐지 결과에 따라서 프레임 레이트를 반복적으로 조절하며, 높은 신뢰도값을 제공하는 최적의 프레임 레이트를 결정할 수 있다.

예컨대, 데이터 처리 장치는 영상의 프레임 레이트를 60에서 30으로 조절할 수 있으며, 이에 따라 시계열 특징값에 포함되는 좌표값의 개수는 줄어들 것이다. 프레임 레이트가 감소됨에 따라서 가변된 시계열 특징값을 통해, 거짓말 탐지 모델에 대한 재학습이 이루어지고, 그에 따라 예측된 거짓을 대답하는 발화자의 영상에 대한 신뢰도값이 높아진다면, 이후 비자발적 감정의 예측을 위한 훈련 데이터로 프레임 레이트 30의 영상으로부터 추출된 시계열 특징값이 이용될 수 있다.

한편, 본 발명의 다른 실시예에 따르면, 데이터 처리 장치는, 거짓말 탐지 모델의 신뢰도값을 이용하여, 영상의 프레임 레이트를 조절할 뿐만 아니라, 특징값 추출 구간의 길이 또는 위치도 조절할 수 있다.

도 3은, 질문의 시작 시점(Question Start), 질문의 종료 시점(Question End) 및 발화자가 대답하는 진술 구간(Answer)과 함께, 서로 다른 특징값 추출 구간의 위치 및 길이에 따른 거짓 예측 결과의 정확도(신뢰도값)를 나타내는 도면이다. 도 3에서는 막대 형태로 특징값 추출 구간이 표시되었다.

데이터 처리 장치는 도 3과 같이 다양하게 특징값 추출 구간의 위치 또는 길이를 조절하여, 시계열 특징값을 추출하고, 이와 같이 추출된 시계열 특징값을 통해 학습된 거짓말 탐지 모델의 예측 결과인 신뢰도값에 따라서, 최적의 특징값 추출 구간의 위치 또는 길이를 결정할 수 있다. 도 3에서는 가장 높은 곳에 위치한 막대(310)에 대응되는 3.78초 길이의 특징값 추출 구간에 대한 신뢰도값이 가장 우수하므로, 적색으로 표시된 막대(310)에 대응되는 특징값 추출 구간을 통해 추출된 시계열 특징값이, 비자발적 감정의 예측을 위한 훈련 데이터로 이용될 수 있다.

도 3을 살펴보면, 특징값 추출 구간이 발화자의 발화 구간 전체를 포함하고, 질문의 종료 시점 이후에 위치할 경우, 비교적 예측 정확도가 높음을 알 수 있다. 따라서, 데이터 처리 장치는 발화자의 발화 구간 전체를 포함하는 상태에서 특징값 추출 구간의 길이 또는 위치를 조절하거나, 특징값 추출 구간의 시점이 질문의 종료 시점 이후가 되도록 특징값 추출 구간의 길이 또는 위치를 조절할 수 있다.

다시 도 2로 돌아와, 데이터 처리 장치는, 단계 S230에서 다양한 방식으로 프레임 레이트나 특징값 추출 구간을 조절할 수 있다. 예컨대, 신뢰도값에 따라 사용자가 지정한 설정값으로 프레임 레이트나 특징값 추출 구간을 조절하거나, 신뢰도값에 따라 프레임 레이트나 특징값 추출 구간이 매핑된 테이블을 이용하여, 프레임 레이트나 특징값 추출 구간을 조절할 수도 있다.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (7)

1. 비자발적 감정의 예측을 위한 데이터 처리 장치의 데이터 처리 방법에 있어서,
   미리 설정된 질문에 거짓을 대답하는 발화자의 영상의 특징값 추출 구간에서, 상기 발화자의 얼굴에 대한 랜드마크의 좌표값을, 프레임별로 추출하는 단계;
   상기 랜드마크의 좌표값을 이용하여, 시계열 특징값을 생성하는 단계;
   상기 시계열 특징값에 대한 거짓말 탐지 모델의 탐지 결과를 이용하여, 상기 영상의 프레임 레이트를 조절하는 단계; 및
   상기 시계열 특징값에 대한 거짓말 탐지 모델의 탐지 결과를 이용하여, 상기 특징값 추출 구간의 길이 또는 위치를 조절하는 단계를 포함하며,
   상기 특징값 추출 구간의 길이 또는 위치를 조절하는 단계는
   상기 발화자의 발화 구간 전체를 포함하는 상태에서, 상기 특징값 추출 구간의 시점이 상기 질문의 종료 시점 이후가 되도록, 상기 특징값 추출 구간의 길이 또는 위치를 조절하는
   비자발적 감정의 예측을 위한 데이터 처리 방법.
   
2. 제 1항에 있어서,
   상기 시계열 특징값을 생성하는 단계는
   상기 프레임별로 추출된 랜드마크의 좌표값을 정규화하는 단계; 및
   이전 프레임과 현재 프레임에 대한 정규화된 좌표값의 차이를 계산하여, 상기 시계열 특징값을 생성하는 단계
   를 포함하는 비자발적 감정의 예측을 위한 데이터 처리 방법.
   
3. 제 2항에 있어서,
   상기 랜드마크의 좌표값을 정규화하는 단계는
   상기 발화자의 눈 사이의 거리 또는 상기 발화자의 얼굴 크기를 이용하여, 상기 랜드마크의 좌표값을 정규화하는
   비자발적 감정의 예측을 위한 데이터 처리 방법.
   
4. 제 1항에 있어서,
   상기 영상의 프레임 레이트를 조절하는 단계는
   상기 탐지 결과에 대한 신뢰도값을 이용하여, 상기 영상의 프레임 레이트를 조절하는
   비자발적 감정의 예측을 위한 데이터 처리 방법.
   
5. 삭제
6. 삭제
7. 삭제

Images