KR102350068B1

KR102350068B1 - 생체 정보를 이용하는 거짓말 탐지 방법

Info

Publication number: KR102350068B1
Application number: KR1020190091422A
Authority: KR
Inventors: 김인영; 육순현; 김주영; 유승민; 김영명; 남보름; 김지윤
Original assignee: 한양대학교 산학협력단
Priority date: 2019-07-29
Filing date: 2019-07-29
Publication date: 2022-01-10
Also published as: KR20210013793A

Abstract

음성, 얼굴 영상 및 열화상 영상과 같은 생체 정보를 이용하는 거짓말 탐지 방법이 개시된다. 음성을 이용하는 거짓말 탐지 방법은 거짓말 탐지 대상인 발화자의 음성 데이터로부터 추출된 특징값을 포함하는 제1훈련 데이터를 생성하는 단계; 상기 제1훈련 데이터를 이용하여, 제2훈련 데이터를 통해 학습된 인공 신경망을 추가로 학습하는 단계; 및 상기 발화자의 타겟 음성으로부터 추출된 타겟 특징값을 상기 인공 신경망에 입력하여, 상기 타겟 음성에 대한 거짓 여부를 탐지하는 단계를 포함한다.

Description

생체 정보를 이용하는 거짓말 탐지 방법{DECEPTION DETECTION METHOD USING BIOMETRIC INFORMATION}

본 발명은 생체 정보를 이용하는 거짓말 탐지 방법에 관한 것으로서, 더욱 상세하게는 음성, 얼굴 영상 및 열화상 영상을 이용하는 거짓말 탐지 방법에 관한 것이다.

일반적인 거짓말 탐지 방법은, 센서를 피부에 부착하여 GSR(Galvanic Skin Response, 피부전기반사), ECG(electrocardiogram, 심전도), PPG(photoplethysmogram, 맥파)를 측정하여 거짓말을 탐지하는 방법이다.

거짓말 탐지 대상의 답변은 “아니오”로 통일되며, 답변시 신호의 변화를 통하여 거짓말 여부가 판단된다.

센서를 피부에 부착하여 거짓말을 탐지하는 방법의 경우, 피부에 부착되는 각종 센서가 매우 민감하기 때문에, 거짓말 탐지 대상의 움직임 그리고 거짓말 탐지 장소에 제약이 있다. 따라서, 시간과 장소에 구애받지 않고 필요에 따라 거짓말 탐지를 수행하는데 어려움이 있다.

이러한 제약을 극복하기 위해, 최근에는 영상이나 음성을 이용하여, 거짓말 탐지 대상에 대해 비접촉 방식으로 거짓말을 탐지할 수 있는 다양한 방법들이 개발되고 있다.

관련 선행문헌으로 대한민국 공개특허 제2012-0066275호, 제2018-0112303호, 대한민국 등록특허 제10-1784058호가 있다.

본 발명은 거짓말 탐지 대상과 접촉함이 없이, 거짓말을 탐지할 수 있는 방법을 제공하기 위한 것이다.

또한 본 발명은 거짓말을 할 경우 발생하는 인지부조화에 의한 음성의 변화, 표정 변화 및 혈류량의 변화를 이용하여 거짓말을 탐지할 수 있는 방법을 제공하기 위한 것이다.

또한 본 발명은 인공 신경망을 이용하여 거짓말을 탐지할 수 있는 방법을 제공하기 위한 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 거짓말 탐지 대상인 발화자의 음성 데이터로부터 추출된 특징값을 포함하는 제1훈련 데이터를 생성하는 단계; 상기 제1훈련 데이터를 이용하여, 제2훈련 데이터를 통해 학습된 인공 신경망을 추가로 학습하는 단계; 및 상기 발화자의 타겟 음성으로부터 추출된 타겟 특징값을 상기 인공 신경망에 입력하여, 상기 타겟 음성에 대한 거짓 여부를 탐지하는 단계를 포함하는 음성을 이용하는 거짓말 탐지 방법이 제공된다.

또한 상기한 목적을 달성하기 위한 본 발명의 다른 실시예에 따르면, 랜드마크가 표시된 얼굴 영상을 포함하는 제1훈련 데이터를 이용하여, 제1인공 신경망을 학습하는 단계; 상기 제1인공 신경망을 이용하여, 거짓말 탐지 대상인 발화자의 타겟 얼굴 영상에서 랜드마크를 예측하는 단계; 및 미리 학습된 제2인공 신경망을 이용하여, 상기 예측된 랜드마크의 움직임에 따른 상기 발화자의 거짓 진술 여부를 판단하는 단계를 포함하는 얼굴 영상을 이용하는 거짓말 탐지 방법이 제공된다.

또한 상기한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따르면, 랜드마크가 표시된 열화상 얼굴 영상을 포함하는 제1훈련 데이터를 이용하여, 제1인공 신경망을 학습하는 단계; 상기 제1인공 신경망을 이용하여, 거짓말 탐지 대상인 발화자의 타겟 열화상 얼굴 영상에서 랜드마크를 예측하는 단계; 상기 예측된 랜드마크를 이용하여, 상기 타겟 열화상 얼굴 영상을 복수의 관심 영역으로 분할하는 단계; 및 상기 발화자에 대한 상기 관심 영역에서 추출된 타겟 특징값을 미리 학습된 제2인공 신경망에 입력하여, 상기 발화자의 진술에 대한 거짓 여부 또는 거짓 진술 의도를 탐지하는 단계를 포함하는 열화상 영상을 이용하는 거짓말 탐지 방법이 제공된다.

본 발명에 따르면, 거짓말 탐지 대상에 대한 비접촉 방식으로, 거짓말을 탐지할 수 있다.

또한 본 발명에 따르면, 학습용 발화자뿐만 아니라, 거짓말 탐지 대상인 발화자의 음성 데이터를 이용하여 인공 신경망을 추가로 학습하여, 거짓말 탐지 대상인 발화자의 개인 음성 특성을 인공 신경망에 반영함으로써, 거짓말 탐지 성능을 높일 수 있다.

또한 본 발명에 따르면, 발화자의 표정 변화를 이용하여 발화자의 거짓말을 탐지할 수 있을 뿐만 아니라, 의도적으로 표정 변화를 숨기는 발화자의 미세 표정을 이용하여 발화자의 거짓말을 탐지할 수 있다.

또한 본 발명에 따르면, 발화자의 얼굴 혈류량 변화를 이용하여 발화자의 단답형 진술에 대한 거짓 여부를 탐지할 수 있을 뿐만 아니라, 거짓말을 탐지할 수 있을 뿐만 아니라, 발화자의 장문 진술에 대한 거짓 진술 의도를 탐지할 수 있다.

도 1은 본 발명의 일실시예에 따른 생체 정보를 이용하는 거짓말 탐지 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 음성을 이용하는 거짓말 탐지 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 제1훈련 데이터 생성 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 얼굴 영상을 이용하는 거짓말 탐지 방법을 설명하기 위한 도면이다.
도 5는 랜드마크가 표시된 샘플 얼굴 영상을 도시하는 도면이다.
도 6은 본 발명의 일실시예에 따른 열화상 영상을 이용하는 거짓말 탐지 방법을 설명하기 위한 도면이다.
도 7은 예측된 랜드마크가 표시된 타겟 열화상 얼굴 영상을 도시하는 도면이다.
도 8은 관심 영역이 표시된 타겟 열화상 얼굴 영상을 도시하는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 생체 정보를 이용하는 거짓말 탐지 장치를 설명하기 위한 도면이다.

도 1을 참조하면, 본 발명의 일실시에에 따른 거짓말 탐지 장치는 생체 정보 생성부(110) 및 거짓말 판단부(120)를 포함한다.

생체 정보 처리부(110)는 로 데이터(raw data) 형태의 생체 정보를 처리하여, 거짓말 탐지에 필요한 생체 정보를 추출한다. 로 데이터는 관리자의 질문에 대답하는 거짓말 탐지 대상에 대한 음성 데이터, 얼굴 영상을 포함할 수 있으며, 얼굴 영상은 RGB 영상 또는 열화상 영상일 수 있다.

사람이 거짓말을 할 경우, 인지부조화에 의해 음성 변화, 표정 변화, 혈류량 변화가 발생하며, 본 발명의 일실시예는 이러한 음성 변화, 표정 변화 및 혈류량 변화를, 거짓말 탐지를 위한 생체 정보로 이용한다. 생체 정보 처리부(110)는 음성 데이터 및 얼굴 영상으로부터 이러한 생체 정보를 추출한다.

일실시예에 따르면, 생체 정보 처리부(110)는 거짓말 탐지 대상인 발화자의 음성 데이터로부터, 음성 변화를 나타내는 특징값을 추출하며, 특징값은 피치값(pitch), 세기값(intensity), 지터값(zitter), 시머값(shimmer), MFCC(Mel-Frequency Cepstral Coefficient) 계수 중 적어도 하나를 포함할 수 있다. 이러한 특징값들은 음성 분석을 위해 자주 이용되는 특징값으로서, 생체 정보 처리부(110)는 공개된 다양한 알고리즘을 이용하여 이러한 특징값을 추출할 수 있다.

다른 실시예에 따르면, 생체 정보 처리부(110)는 거짓말 탐지 대상인 발화자의 얼굴 영상에서 표정 변화를 나타내는 랜드마크를 추출할 수 있으며, 랜드마크는 눈, 코, 입 등과 같은 얼굴의 특정 부위에 대한 좌표값일 수 있다. 생체 정보 처리부(110)는 미리 학습된 인공 신경망을 이용하여, 얼굴 영상에서 랜드마크를 예측할 수 있다.

또 다른 실시예에 따르면, 생체 정보 처리부(110)는 거짓말 탐지 대상인 발화자의 열화상 얼굴 영상에서 복수의 관심 영역(ROI)을 추적하고, 이러한 관심 영역에서 얼굴의 혈류량 변화를 나타내는 특징값을 추출할 수 있다. 관심 영역은 눈썹, 눈, 코, 입 등을 포함할 수 있으며, 특징값은 관심 영역에 포함된 화소값에 대한 평균값(mean), 최대값(max), 중앙값(median), 표준편차값(standard deviation), 첨도값(kurtosis), 왜도값(skewness) 중 적어도 하나를 포함할 수 있다. 생체 정보 처리부(110)는 미리 학습된 인공 신경망을 이용하여, 열화상 얼굴 영상에서 관심 영역을 예측할 수 있다.

거짓말 탐지부(120)는 미리 학습된 인공 신경망을 이용하여, 발화자의 거짓말을 탐지한다. 관리자의 질문에 대해 발화자가 진술을 할 경우, 이러한 진술에 대한 거짓말을 탐지한다. 발화자가 진술하는 동안에 획득된 로 데이터는 생체 정보 처리부(110)에서 처리되며, 처리된 생체 정보는, 인공 신경망으로 입력되고, 인공 신경망은 발화자의 진술을 참 또는 거짓으로 분류한 후, 분류 결과를 출력한다.

생체 정보 처리부(110) 및 거짓말 탐지부(120)에서 이용되는 인공 신경망은, 일실시예로서 LSTM(Long Short Term Memory) 기반의 인공 신경망일 수 있으며, 실시예에 따라서 이용되는 기계 학습 알고리즘은 달라질 수 있다.

이와 같이, 본 발명의 일실시예는 다양한 센서를 발화자의 피부에 부착하지 않고, 비접촉 상태에서 획득할 수 있는 음성, 얼굴 영상, 열화상 영상을 이용함으로써, 시간과 장소에 구애됨이 없이 거짓말 탐지를 수행할 수 있다.

이하, 음성, 얼굴 영상 및 열화상 영상을 이용하는 거짓말 탐지 방법에 대한 실시예를 보다 구체적으로 설명하기로 한다. 이러한 거짓말 탐지 방법은 프로세서를 포함하는 컴퓨팅 장치에서 수행될 수 있으며, 일예로서 전술된 거짓말 탐지 장치에서 수행될 수 있다.

도 2는 본 발명의 일실시예에 따른 음성을 이용하는 거짓말 탐지 방법을 설명하기 위한 도면이며, 도 3은 본 발명의 일실시예에 따른 제1훈련 데이터 생성 방법을 설명하기 위한 도면이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 거짓말 탐지 장치는 거짓말 탐지 대상인 발화자의 음성 데이터로부터 추출된 특징값을 포함하는 제1훈련 데이터를 생성(S210)한다. 제1훈련 데이터에 포함되는 특징값은 피치값, 세기값, 지터값, 시머값, MFCC 중 적어도 하나를 포함하며, 미리 설정된 구간별로 샘플링된 특징값일 수 있다.

그리고 거짓말 탐지 장치는, 제2훈련 데이터를 통해 학습된 인공 신경망을, 제1훈련 데이터를 이용하여, 추가로 학습(S220)한다. 즉, 인공 신경망은 제2훈련 데이터에 의해 학습된 상태이며, 거짓말 탐지 장치는 이러한 인공 신경망을 제1훈련 데이터를 이용하여, 추가로 학습한다.

제2훈련 데이터는 제1훈련 데이터와 동일한 특징값을 포함하며, 인공신경망의 학습에 이용되는 학습용 발화자의 진술이 참인 경우와 거짓인 경우 각각에 대한 특징값을 포함한다. 학습용 발화자가 참을 진술할 경우의 음성 데이터로부터 얻어진 특징값이 인공 신경망으로 입력되어 학습이 이루어지며, 이 때 참이 인공신경망에 대한 레이블(label)로 주어진다. 그리고 학습용 발화자가 거짓을 진술할 경우의 음성 데이터로부터 얻어진 특징값이 인공 신경망으로 입력되어 학습이 이루어지며, 이 때 거짓이 인공 신경망에 대한 레이블로 주어진다.

제2훈련 데이터를 이용하는 학습 과정과 같이, 거짓말 탐지 장치는 제1훈련 데이터를 이용하여, 인공 신경망을 추가로 학습한다. 제1훈련 데이터는 거짓말 탐지 대상인 발화자가 참을 진술한 경우와 거짓을 진술한 각각의 경우에 대한 음성 데이터로부터 추출된 특징값을 포함한다.

단계 S220에서, 거짓말 탐지 장치는 거짓말 탐지 성능을 보다 높이기 위해, 여러 특징값 중에서 학습 효율이 높은 특징값을 선택적으로 이용할 수 있다. 학습 효율이 높은 특징값을 선택하기 위해, 거짓말 탐지 장치는 단계 S220에서, 제1훈련 데이터에 포함되는 특징값의 조합을 이용하여, 인공 신공망을 복수회 학습하고, 복수회 학습된 각각의 결과를 이용하여, 특징값의 조합 중 하나를 선택할 수 있다.

예컨대, 거짓말 탐지 장치는, 5가지 특징값 중 하나가 제외된 4개의 특징값으로 이루어진 여러가지 특징값 조합을 이용하여 인공 신경망을 복수회 학습을 수행하고, 학습 결과 가장 탐지 성능이 우수한 특징값의 조합을 제1훈련 데이터로 이용할 수 있다.

그리고 거짓말 탐지 장치는 거짓말 탐지 대상인 발화자의 타겟 음성으로부터 추출된 타겟 특징값을 인공 신경망에 입력하여, 타겟 음성에 대한 거짓 여부를 탐지(S230)한다. 단계 S230에서 거짓말 탐지 장치는, 위와 같이 선택된 특징값의 조합에 대응되는 타겟 특징값을 이용하여, 타겟 음성에 대한 거짓 여부를 탐지할 수 있다.

인공 신경망은, 제1 및 제2훈련 데이터에서 발화자가 참을 진술한 경우의 특징값과 타겟 특징값이 유사하면 타겟 음성이 참이라고 분류할 수 있으며, 제1 및 제2훈련 데이터에서 발화자가 거짓을 진술한 경우의 특징값과 타겟 특징값이 유사하면, 타겟 음성이 거짓이라고 분류할 수 있다.

본 발명의 일실시예에 따르면, 학습용 발화자뿐만 아니라, 거짓말 탐지 대상인 발화자의 음성 데이터를 이용하여 인공 신경망을 추가로 학습하여, 거짓말 탐지 대상인 발화자의 개인 음성 특성을 인공 신경망에 반영함으로써, 거짓말 탐지 성능을 높일 수 있다.

한편, 전술된 바와 같이, 제1 및 제2훈련 데이터는 거짓말 탐지 대상인 발화자가 참을 진술한 경우와 거짓을 진술한 각각의 경우에 대한 음성 데이터로부터 추출된 특징값을 포함하는데, 본 발명의 일실시예는, 발화자가 참을 진술한 경우와 거짓을 진술한 경우를 분류하기 위해 피부전기반사값(GSR), 맥파값(PPG), 심전도값(ECG) 중 하나를 이용할 수 있다.

도 3을 참조하면, 거짓말 탐지 장치는 단계 S310에서, 진술중인 발화자의 피부에 부착된 전극을 통해 획득한 GSR값, PPG값 및 ECG 값중 하나를 수신(S310)하고, 발화자의 진술이 참인지 거짓인지 판단(S320)한다. 거짓말 탐지 장치는 거짓이라고 판단된 진술의 음성 데이터로부터 거짓에 대한 특징값을 생성(S330)하고, 참이라고 판단된 진술의 음성 데이터로부터 참에 대한 특징값을 생성(S340)한다.

결국, 제1 및 제2훈련 데이터는 피부전기반사값, 맥파값, 심전도값 중 하나를 이용하여 거짓 또는 참으로 분류된, 거짓말 탐지 대상인 발화자의 음성 데이터의 특징값을 포함할 수 있다.

도 4는 본 발명의 일실시예에 따른 얼굴 영상을 이용하는 거짓말 탐지 방법을 설명하기 위한 도면이며, 도 5는 랜드마크가 표시된 샘플 얼굴 영상을 도시하는 도면이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 거짓말 탐지 장치는 랜드마크가 표시된 얼굴 영상을 포함하는 제1훈련 데이터를 이용하여, 제1인공 신경망을 학습(S410)한다. 여기서, 얼굴 영상은 RGB 영상일 수 있으며, 실시예에 따라서, 2D 영상이거나, 3D 영상일 수 있다. 또한 음성이 함께 녹음된 영상일 수 있다.

도 5와 같이, 랜드마크가 표시된 샘플 얼굴 영상이 제1인공 신경망으로 입력되어 학습이 이루어질 수 있으며, 이후 예측 단계에서 제1인공 신경망은 제1훈련 데이터에 포함된 랜드마크의 위치와 유사한 위치를, 입력된 얼굴 영상에서의, 랜드마크로 예측할 수 있다. 도 5에서 초록색 점이 랜드마크를 나타낸다.

다시 도 4로 돌아가, 거짓말 탐지 장치는 제1인공 신경망을 이용하여, 거짓말 탐지 대상인 발화자의 타겟 얼굴 영상에서 랜드마크를 예측(S420)한다. 타겟 얼굴 영상이 제1인공 신경망으로 입력되며, 제1인공 신경망은 학습 결과에 기반하여, 타겟 얼굴 영상에서 랜드마크를 예측할 수 있다.

이 때, 거짓말 탐지 장치는 미리 설정된 프레임 단위로 랜드마크를 예측할 수 있으며, 발화자의 진술 이전 구간, 진술 구간 및 진술 이후 구간의 타겟 얼굴 영상에서 랜드마크를 예측할 수 있다. 진술 이전 구간은 미리 설정된 시점부터, 관리자에 의해 현재 질문이 시작되기 전까지의 구간이며, 진술 구간은 현재 질문에 대한 답변을 발화자가 진술하는 구간에 대응된다. 그리고 진술 이후 구간은 현재 질문 이후 다음 질문이 시작되기 전까지의 구간에 대응된다.

거짓말 탐지 장치는 영상에 포함된 발화자의 음성을 이용하여, 타겟 얼굴 영상에서 발화자의 진술 구간을 검출할 수 있으며, 진술 구간을 기준으로, 타겟 얼굴 영상에서 진술 이전 구간 및 진술 이후 구간을 검출할 수 있다.

랜드마크가 예측되면, 거짓말 탐지 장치는 미리 학습된 제2인공 신경망을 이용하여, 단계 S420에서 예측된 랜드마크의 움직임에 따른 발화자의 거짓 진술 여부를 판단(S430)한다. 랜드마크의 움직임은 발화자의 표정 변화에 대응되며, 결국, 거짓말 탐지 장치는 발화자의 표정 변화를 통해 발화자의 거짓 진술 여부를 판단할 수 있다.

제2인공 신경망의 학습에 이용되는 제2훈련 데이터는, 학습용 발화자가 참을 진술하는 경우와 거짓을 진술하는 각각의 경우에 대한 학습용 발화자의 얼굴 영상의 랜드마크를 포함하며, 진술 이전 구간, 진술 구간 및 진술 이후 구간 별로, 미리 설정된 샘플링 주기에 따라 추출된 시계열적인 랜드마크 좌표값일 수 있다. 학습용 발화자가 참을 진술할 경우의 랜드마크가 제2인공 신경망으로 입력되어 학습이 이루어지며, 이 때, 참이 제2인공 신경망에 대한 레이블로 주어진다. 그리고 학습용 발화자가 거짓을 진술할 경우의 랜드마크가 제2인공 신경망으로 입력되어 학습이 이루어지며, 이 때 거짓이 제2인공 신경망에 대한 레이블로 주어진다.

예측된 랜드마크는 단계 S430에서 제2인공 신경망으로 입력되며, 학습 과정에서 이용된 제2훈련 데이터에 대응될 수 있도록, 진술 이전 구간, 진술 구간 및 진술 이후 구간 별로 미리 설정된 샘플링 주기에 따라 추출된 시계열적인 랜드마크 좌표값일 수 있다. 거짓말 탐지 장치는 이러한 좌표값의 변화인, 랜드마크의 움직임을 이용하여 발화자의 거짓 진술 여부를 판단할 수 있다.

제2인공 신경망은, 학습용 발화자가 참을 진술한 경우의 랜드마크의 움직임 패턴과 예측된 랜드마크의 움직임 패턴이 유사하면, 발화자의 진술을 참인 진술로 분류하고, 학습용 발화자가 거짓을 진술한 경우의 랜드마크의 움직임 패턴과 예측된 랜드마크의 움직임 패턴이 유사하면 발화자의 진술을 거짓인 진술로 분류할 수 있다.

또는 실시예에 따라서, 제2인공 신경망은, 학습용 발화자가 거짓을 진술한 경우에 대한 진술 이전 구간, 진술 구간 및 진술 이후 구간 별 움직임 패턴과 예측된 랜드마크의 진술 이전 구간, 진술 구간 및 진술 이후 구간 별 움직임 패턴이 유사하면, 발화자의 진술을 거짓으로 분류할 수 있다.

한편, 사람이 거짓말을 할 경우, 인지부조화에 따라 얼굴에는 매우 짧은 시간안에 발생하는 미세한 변화인 미세 표정(micro expression)이 발생할 수 있다. 일반적인 표정과 달리 미세 표정은, 사람이 인지하기 어려운 매우 짧은 시간 동안 발생하며, 무의식적으로 발생하므로, 일반 표정과 달리 사람이 미세 표정을 의도적으로 제어하기 쉽지않다.

본 발명의 다른 실시예에 따른 거짓말 탐지 장치는 단계 S420에서 예측된 랜드마크의 움직임 중에서, 미세 표정에 대응되는 움직임을 이용하여, 발화자의 거짓 진술 여부를 판단할 수 있다.

이를 위해, 거짓말 탐지 장치는 단계 S430에서, 랜드마크의 예측 결과를 이용하여, 시간 흐름에 따른, 예측된 랜드마크의 좌표값을 생성하고, 생성된 좌표값 중에서, 미세 표정이 발생하는 길이의 시간 구간에서 변화가 발생하는 좌표값을 추출한다.

일예로서, 전술된 바와 같이, 미리 설정된 샘플링 주기에 따라 추출된 시계열적인 랜드마크 좌표값이 생성되면, 거짓말 탐지 장치는 4~25Hz 대역의 신호를 필터링하는 밴드 패스 필터를 이용하여, 미세 표정이 발생하는 길이의 시간 구간에서 변화가 발생하는 좌표값을 추출할 수 있다.

그리고 거짓말 탐지 장치는 추출된 좌표값을 제2인공 신경망에 입력하여, 발화자의 거짓 진술 여부를 판단할 수 있다. 물론, 이를 위해, 제2인공 신경망의 학습 과정에서, 미세 표정에 대응되는 랜드마크 좌표값이 이용될 수 있다.

이와 같이, 본 발명의 일실시예에 따르면, 발화자의 표정 변화를 이용하여 발화자의 거짓말을 탐지할 수 있을 뿐만 아니라, 의도적으로 표정 변화를 숨기는 발화자의 미세 표정을 이용하여 발화자의 거짓말을 탐지할 수 있다.

도 6은 본 발명의 일실시예에 따른 열화상 영상을 이용하는 거짓말 탐지 방법을 설명하기 위한 도면이며, 도 7은 예측된 랜드마크가 표시된 타겟 열화상 얼굴 영상을 도시하는 도면이다. 도 8은 관심 영역이 표시된 타겟 열화상 얼굴 영상을 도시하는 도면이다.

도 6을 참조하면, 본 발명의 일실시예에 따른 거짓말 탐지 장치는, 랜드마크가 표시된 열화상 얼굴 영상을 포함하는 제1훈련 데이터를 이용하여, 제1인공 신경망을 학습(S610)한다.

도 4와 유사하게, 랜드마크가 표시된 샘플 열화상 얼굴 영상이 제1인공 신경망으로 입력되어 학습이 이루어질 수 있으며, 이후 예측 단계에서 제1인공 신경망은 제1훈련 데이터에 포함된 랜드마크의 위치와 유사한 위치를, 입력된 열화상 얼굴 영상에서의, 랜드마크로 예측할 수 있다.

거짓말 탐지 장치는 제1인공 신경망을 이용하여, 거짓말 탐지 대상인 발화자의 타겟 열화상 얼굴 영상에서 랜드마크를 예측(S620)한다. 도 7과 같이, 타겟 열화상 얼굴 영상에서 랜드마크가 예측될 수 있으며, 도 7에서 빨간색 점이 예측된 랜드마크를 나타낸다. 타겟 열화상 얼굴 영상이 제1인공 신경망으로 입력되며, 제1인공 신경망은 학습 결과에 기반하여, 타겟 열화상 얼굴 영상에서 랜드마크를 예측할 수 있다.

그리고 거짓말 탐지 장치는 단계 S620에서 예측된 랜드마크를 이용하여, 타겟 열화상 얼굴 영상을 복수의 관심 영역으로 분할(S630)한다. 일실시예로서, 거짓말 탐지 장치는 예측된 랜드마크들을 얼굴의 특정 부위 별로 위치한 랜드마크로 분류하고, 분류된 랜드마크를 실선으로 연결하여, 관심 영역을 생성할 수 있다. 따라서, 이러한 관심 영역은 얼굴의 특정 부위에 대응된다. 도 8에 도시된 바와 같이, 관심 영역은 눈썹, 미간, 코, 인중, 턱, 볼 부위에 대응될 수 있다.

거짓말 탐지 장치는 단계 S630에서 분할된 관심 영역에서 추출된 타겟 특징값을 미리 학습된 제2인공 신경망에 입력하여, 발화자의 진술에 대한 거짓 여부 또는 거짓 진술 의도를 탐지(S640)한다. 거짓말 탐지 장치는 관심 영역에 포함된 화소값에 대한 평균값, 최대값, 중앙값, 표준편차값, 첨도값, 왜도값 중 적어도 하나를 타겟 특징값으로 추출할 수 있다.

제2인공 신경망의 학습에 이용되는 제2훈련 데이터는, 학습용 발화자가 참을 진술하는 경우와 거짓을 진술하는 각각의 경우에 대한 특징값을 포함하며, 미리 설정된 관심 영역에 대한 특징값을 포함한다. 학습용 발화자가 참을 진술할 경우의 특징값이 제2인공 신경망으로 입력되어 학습이 이루어지며, 이 때 참이 제2인공신경망에 대한 레이블로 주어진다. 그리고 학습용 발화자가 거짓을 진술할 경우의 특징값이 제2인공 신경망으로 입력되어 학습이 이루어지며, 이 때 거짓이 인공 신경망에 대한 레이블로 주어진다.

이 때, 학습용 발화자의 진술은 단답형 진술이다. 즉, 관리자의 질문에 대해 "아니오"라고 답변하는 진술이며, 이와 같은 단답형 진술을 수행하는 학습용 발화자에 대한 특징값이 제2훈련 데이터로 이용된다.

따라서, 거짓말 탐지 장치는 발화자의 단답형 진술에 대한 거짓 여부를 판단하며, 발화자가 단답형 진술을 수행할 때 획득된 타겟 열화상 얼굴 영상에서 타겟 특징값을 추출하여, 거짓 여부를 판단할 수 있다.

제2인공 신경망은, 제2훈련 데이터에서 발화자가 참을 진술한 경우의 특징값과 타겟 특징값이 유사하면 발화자의 진술이 참이라고 분류할 수 있으며, 제2훈련 데이터에서 발화자가 거짓을 진술한 경우의 특징값과 타겟 특징값이 유사하면, 발화자의 진술이 거짓이라고 분류할 수 있다.

한편, 음성이나 표정과 달리, 혈류량의 변화가 발생하는 속도는 빠르지 않다. 다시 말해, 발화자가 거짓말을 진술할 경우 진술 중에 음성 및 표정의 변화가 발생하는데 반해, 혈류량의 변화는 진술 중에 발생하여, 진술 이후에도 변할 수 있다.

이러한 점을 이용하여, 본 발명의 일실시예에 따른 거짓말 탐지 장치는, 단시간이 소요되는 발화자의 단답형 진술에 대한 거짓 여부 탐지뿐만 아니라, 장시간이 소요되는 발화자의 장문 진술에 대한 거짓 진술 의도를 탐지할 수 있다. 발화자가 문장 형태로 진술할 경우, 이러한 진술에는 거짓과 참이 섞여 있을 수 있으며, 거짓이 섞여 있다면 거짓 의도를 가지고 진술하고 있다고 판단될 수 있다.

이를 위해, 제2인공 신경망의 학습에 이용되는 제2훈련 데이터는, 문장 형태로 진술하는 학습용 발화자에 대한 열화상 얼굴 영상으로부터 추출된 특징값을 포함할 수 있으며, 거짓말 탐지 장치는 문장 형태로 진술하는 거짓말 탐지 대상인 발화자에 대한 열화상 얼굴 영상으로부터 특징값을 추출하여, 발화자의 진술에 대한 거짓 진술 의도를 탐지할 수 있다.

이와 같이, 본 발명의 일실시예에 따르면, 발화자의 얼굴 혈류량 변화를 이용하여 발화자의 단답형 진술에 대한 거짓 여부를 탐지할 수 있을 뿐만 아니라, 거짓말을 탐지할 수 있을 뿐만 아니라, 발화자의 장문 진술에 대한 거짓 진술 의도를 탐지할 수 있다.

앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims

삭제
삭제
삭제
삭제
거짓말 탐지 장치의 얼굴 영상을 이용하는 거짓말 탐지 방법에 있어서,
랜드마크가 표시된 얼굴 영상을 포함하는 제1훈련 데이터를 이용하여, 제1인공 신경망을 학습하는 단계;
상기 제1인공 신경망을 이용하여, 거짓말 탐지 대상인 발화자의 타겟 얼굴 영상에서 랜드마크를 예측하는 단계; 및
미리 학습된 제2인공 신경망을 이용하여, 상기 예측된 랜드마크의 움직임에 따른 상기 발화자의 거짓 진술 여부를 판단하는 단계를 포함하며,
상기 랜드마크를 예측하는 단계는, 상기 발화자의 진술 이전 구간, 진술 구간 및 진술 이후 구간의 타겟 얼굴 영상에서 랜드마크를 예측하며,
상기 발화자의 거짓 진술 여부를 판단하는 단계는,
상기 랜드마크의 예측 결과를 이용하여, 시간 흐름에 따른 상기 랜드마크의 좌표값을 생성하는 단계;
4Hz 내지 25Hz 대역의 신호를 필터링하는 밴드 패스 필터를 이용하여, 상기 좌표값 중에서, 미세 표정(micro expression)이 발생하는 길이의 시간 구간에서 변화가 발생하는 좌표값을 추출하는 단계; 및
상기 추출된 좌표값을 상기 제2인공 신경망에 입력하여, 상기 발화자의 거짓 진술 여부를 판단하는 단계
를 포함하는 얼굴 영상을 이용하는 거짓말 탐지 방법.
삭제
제 5항에 있어서,
상기 발화자의 음성을 이용하여, 상기 타겟 얼굴 영상에서 상기 발화자의 진술 구간을 검출하는 단계; 및
상기 진술 구간을 기준으로, 상기 타겟 얼굴 영상에서 상기 진술 이전 구간 및 상기 진술 이후 구간을 검출하는 단계
를 더 포함하는 얼굴 영상을 이용하는 거짓말 탐지 방법.
삭제
삭제
삭제
삭제
삭제
삭제