KR20180112303A

KR20180112303A - 영상 분석을 이용한 거짓말 탐지 방법

Info

Publication number: KR20180112303A
Application number: KR1020170043019A
Authority: KR
Inventors: 신철호; 신동훈
Original assignee: 신철호; 신동훈
Priority date: 2017-04-03
Filing date: 2017-04-03
Publication date: 2018-10-12

Abstract

본 발명은 영상 분석을 이용한 거짓말 탐지 방법에 관한 것으로서, 본 발명에 따른 카메라를 구비한 무선단말의 프로그램을 통해 실행되는 영상 분석을 이용한 거짓말 탐지 방법은, 상기 카메라를 통해 촬영되는 영상 데이터나 다른 단말기의 카메라를 통해 촬영되어 통신망을 통해 수신되는 영상 데이터에 포함된 N(N≥2)개의 영상 프레임 중 적어도 하나의 영상 프레임을 판독하여 사람의 안면에 대응하는 안면객체 영역을 인식하고 상기 안면객체 영역의 주변 영역에 존재하며 상기 안면객체 영역에 적용되는 광원 조건과 동일하거나 최대한 유사한 광원 조건이 적용되는 적어도 하나의 기준객체 영역을 인식하는 제1 단계와, 상기 영상 데이터의 프레임 중 상기 안면객체 영역과 기준객체 영역을 포함하는 제n(1≤n<N) 영상 프레임을 확인하고 일정 시간이 경과한 이후에 상기 안면객체 영역과 기준객체 영역을 포함하는 제(n+i, i≥1) 영상 프레임을 확인하는 제2 단계와, 상기 제n 영상 프레임에 포함된 제n 안면객체 영역과 제(n+i) 영상 프레임에 포함된 제(n+i) 안면객체 영역을 매칭하고 제n 안면객체 영역의 지정된 피부 영역의 피부 색상값과 제(n+i) 안면객체 영역의 동일한 피부 영역의 피부 색상값을 비교하여 피부 색상 변화값을 산출하고, 상기 제n 영상 프레임에 포함된 제n 기준객체 영역의 지정된 객체 영역의 객체 색상값과 제(n+i) 영상 프레임에 포함된 제(n+i) 기준객체 영역의 동일한 객체 영역의 객체 색상값을 비교하여 기준 색상 변화값을 산출하고, 상기 산출된 기준 색상 변화값을 통해 상기 피부 색상 변화값을 보정하여 상기 영상 데이터의 카메라 촬영 시점의 외부 광원을 포함하는 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 지정된 기준 변화량 이상의 유효한 안면 피부 색상 변화값을 검출하는 제3 단계와, 상기 유효한 안면 피부 색상 변화값이 검출된 경우, 상기 검출된 안면 피부 색상 변화값이 지정된 특정 색상계열로 편향 변화한 편향 변화량이 지정된 기준값 이상인 유효한 편향 변화 패턴을 포함하는지 확인하는 제4 단계와, 상기 유효한 편향 변화 패턴이 확인된 경우, 상기 제n 영상 프레임과 제(n+i) 영상 프레임 사이의 시간 동안 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 증가시키는 제5 단계를 포함한다.

Description

영상 분석을 이용한 거짓말 탐지 방법{Method for Detecting a Lie by using Image Analysis}

본 발명은 무선단말의 카메라를 통해 촬영되는 영상 데이터나 다른 단말기의 카메라를 통해 촬영되어 통신망을 통해 수신되는 영상 데이터에 포함된 N(N≥2)개의 영상 프레임에 포함된 안면객체 영역을 인식하고 카메라 촬영 시점의 외부 광원 등의 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 안면 피부 색상 변화값을 검출하여 특정 색상계열로 편향 변화 패턴을 지닌 경우에 안면객체 영역에 대응하는 사람의 거짓말 확률을 증가시키는 영상 분석을 이용한 거짓말 탐지 방법에 관한 것이다.

일반적으로 거짓말탐지기는 거짓말을 할 때 나타날 수 있는 생리적 변화 가운데 호흡과 심장박동 수, 혈압의 변화를 측정해 거짓말 여부를 가리는 장치의 일종으로, 범죄수사에 이용되는 것을 흔히 거짓말탐지기라 한다.

이러한, 거짓말탐지기는 보통 폴리그래프를 이용하는데, 폴로그래프는 사람의 흥분, 감정적인 갈등의 상태를 미리 정의한 기준에 의하여 감지하는 시스템을 의미하며, 뇌파ㆍ근활동ㆍ안구운동ㆍ안진(眼振)ㆍ심장박동ㆍ호흡 등 여러 가지 생리적 현상을 동시에 기록하고 변화를 갑지하여 거짓말 여부를 확인할 수 있다.

대한민국 공개특허공보 제2000-0058299호는 거짓말 탐지 기능을 가지는 휴대용 단말기 및 이를 이용한 거짓말 탐지방법에 관한 것으로, 휴대용 단말기 내부의 마이크로 콘트롤러에 상대방의 거짓말을 탐지할 수 있는 프로그램을 내장하여, 대화 상대방으로부터 입력된 음성을 분석하고 그 결과를 출력하는 구성을 포함하고 있다.

그러나, 음성을 이용하는 경우, 노이즈가 발생할 우려가 높아 탐지 결과의 신뢰성이 낮아 질 수 있다.

따라서, 최근의 멀티미디어 시대에 적합할 수 있도록, 휴대폰에서 직접 촬영한 영상 또는 전송받은 영상으로부터 거짓말 탐지를 효과적으로 할 수 있는 방안이 모색될 필요가 있다.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 무선단말의 카메라를 통해 촬영되는 영상 데이터나 다른 단말기의 카메라를 통해 촬영되어 통신망을 통해 수신되는 영상 데이터에 포함된 N(N≥2)개의 영상 프레임에 포함된 안면객체 영역을 인식하고 카메라 촬영 시점의 외부 광원 등의 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 안면 피부 색상 변화값을 검출하여 특정 색상계열로 편향 변화 패턴을 지닌 경우에 안면객체 영역에 대응하는 사용자의 거짓말 확률을 증가시키는 영상 분석을 이용한 거짓말 탐지 방법을 제공하는 것이다.

본 발명에 따른 카메라를 구비한 무선단말의 프로그램을 통해 실행되는 영상 분석을 이용한 거짓말 탐지 방법은, 상기 카메라를 통해 촬영되는 영상 데이터나 다른 단말기의 카메라를 통해 촬영되어 통신망을 통해 수신되는 영상 데이터에 포함된 N(N≥2)개의 영상 프레임 중 적어도 하나의 영상 프레임을 판독하여 사람의 안면에 대응하는 안면객체 영역을 인식하고 상기 안면객체 영역의 주변 영역에 존재하며 상기 안면객체 영역에 적용되는 광원 조건과 동일하거나 최대한 유사한 광원 조건이 적용되는 적어도 하나의 기준객체 영역을 인식하는 제1 단계와, 상기 영상 데이터의 프레임 중 상기 안면객체 영역과 기준객체 영역을 포함하는 제n(1≤n<N) 영상 프레임을 확인하고 일정 시간이 경과한 이후에 상기 안면객체 영역과 기준객체 영역을 포함하는 제(n+i, i≥1) 영상 프레임을 확인하는 제2 단계와, 상기 제n 영상 프레임에 포함된 제n 안면객체 영역과 제(n+i) 영상 프레임에 포함된 제(n+i) 안면객체 영역을 매칭하고 제n 안면객체 영역의 지정된 피부 영역의 피부 색상값과 제(n+i) 안면객체 영역의 동일한 피부 영역의 피부 색상값을 비교하여 피부 색상 변화값을 산출하고, 상기 제n 영상 프레임에 포함된 제n 기준객체 영역의 지정된 객체 영역의 객체 색상값과 제(n+i) 영상 프레임에 포함된 제(n+i) 기준객체 영역의 동일한 객체 영역의 객체 색상값을 비교하여 기준 색상 변화값을 산출하고, 상기 산출된 기준 색상 변화값을 통해 상기 피부 색상 변화값을 보정하여 상기 영상 데이터의 카메라 촬영 시점의 외부 광원을 포함하는 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 지정된 기준 변화량 이상의 유효한 안면 피부 색상 변화값을 검출하는 제3 단계와, 상기 유효한 안면 피부 색상 변화값이 검출된 경우, 상기 검출된 안면 피부 색상 변화값이 지정된 특정 색상계열로 편향 변화한 편향 변화량이 지정된 기준값 이상인 유효한 편향 변화 패턴을 포함하는지 확인하는 제4 단계와, 상기 유효한 편향 변화 패턴이 확인된 경우, 상기 제n 영상 프레임과 제(n+i) 영상 프레임 사이의 시간 동안 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 증가시키는 제5 단계를 포함하여 구성될 수 있다.

본 발명에 따르면, 상기 기준객체 영역은, 상기 안면객체 영역에 근접한 사물객체에 대응하는 영역을 포함하여 구성될 수 있다.

본 발명에 따르면, 상기 기준객체 영역은, 상기 안면객체 영역과 연결된 사람의 신체부위 중 피부를 노출하지 않는 신체부위에 대응하는 영역을 포함하여 구성될 수 있다.

본 발명에 따르면, 상기 기준객체 영역은, 상기 안면객체 영역에 대응하는 사람이 착용한 의류, 모자, 악세서리 중 적어도 하나의 사물객체에 대응하는 영역을 포함하여 구성될 수 있다.

본 발명에 따르면, 상기 제n 영상 프레임은, 상기 영상 데이터 상의 안면객체 영역 내에 포함된 입객체 영역의 움직임이 발생하기 전의 영상 프레임을 포함하여 구성될 수 있고, 상기 제(n+i) 영상 프레임은, 상기 입객체 영역의 움직임이 발생한 이후의 영상 프레임을 포함하여 구성될 수 있다.

본 발명에 따르면, 상기 특정 색상계열은, 붉은색 색상계열 또는 검붉은색 색상계열을 포함하여 구성될 수 있다.

본 발명에 따른 영상 분석을 이용한 거짓말 탐지 방법은, 상기 제n 영상 프레임이 확인된 경우, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 입객체 영역의 움직임을 판독하는 단계와, 상기 판독된 입객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 입 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계를 더 포함하여 구성될 수 있으며, 상기 제5 단계는, 상기 입객체 영역의 움직임이 상기 지정된 입 움직임 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 구성될 수 있다.

본 발명에 따른 영상 분석을 이용한 거짓말 탐지 방법은, 상기 제n 영상 프레임이 확인된 경우, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 입객체 영역의 입술두께 변화를 판독하는 단계와, 상기 판독된 입객체 영역의 입술두께 변화와 거짓말을 행하는 사람의 지정된 입술두께 변화 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계를 더 포함하여 구성될 수 있으며, 상기 제5 단계는, 상기 입객체 영역의 입술두께 변화가 상기 지정된 입술두께 변화 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 구성될 수 있다.

본 발명에 따른 영상 분석을 이용한 거짓말 탐지 방법은, 상기 제n 영상 프레임이 확인된 경우, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 눈객체 영역의 움직임을 판독하는 단계와, 상기 판독된 눈객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 눈 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계를 더 포함하여 구성될 수 있으며, 상기 제5 단계는, 상기 눈객체 영역의 움직임이 상기 지정된 눈 움직임 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 구성될 수 있다.

본 발명에 따른 영상 분석을 이용한 거짓말 탐지 방법은, 상기 제n 영상 프레임이 확인된 경우, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 눈동자 영역의 움직임을 판독하는 단계와, 상기 판독된 눈동자 영역의 움직임과 거짓말을 행하는 사람의 지정된 시선 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계를 더 포함하여 구성될 수 있으며, 상기 제5 단계는, 상기 눈동자 영역의 움직임이 상기 지정된 시선 움직임 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 구성될 수 있다.

본 발명에 따른 영상 분석을 이용한 거짓말 탐지 방법은, 상기 제n 영상 프레임이 확인된 경우, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 코객체 영역의 움직임을 판독하는 단계와, 상기 판독된 코객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 코 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계를 더 포함하여 구성될 수 있으며, 상기 제5 단계는, 상기 코객체 영역의 움직임이 상기 지정된 코 움직임 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 구성될 수 있다.

본 발명에 따른 영상 분석을 이용한 거짓말 탐지 방법은, 상기 제n 영상 프레임이 확인된 경우, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 어깨객체 영역을 확인하여 상기 어깨객체 영역의 움직임을 판독하는 단계와, 상기 판독된 어깨객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 어깨 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계를 더 포함하여 구성될 수 있으며, 상기 제5 단계는, 상기 어깨객체 영역의 움직임이 상기 지정된 어깨 움직임 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 구성될 수 있다.

본 발명에 따른 영상 분석을 이용한 거짓말 탐지 방법은, 상기 제n 영상 프레임이 확인된 경우, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계를 판독하는 단계와, 상기 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계와 거짓말을 행하는 사람이 손으로 얼굴 만지는 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계를 더 포함하여 구성될 수 있으며, 상기 제5 단계는, 상기 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계가 상기 얼굴 만지는 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 구성될 수 있다.

본 발명에 따른 영상 분석을 이용한 거짓말 탐지 방법은, 상기 유효한 편향 변화 패턴이 확인된 경우, 상기 제(n+i) 영상 프레임 이후 일정 시간이 경과한 제(n+i+j, j≥1) 영상 프레임을 확인하는 단계와, 상기 제n 영상 프레임의 제n 안면객체 영역과 제(n+i+j) 영상 프레임의 제(n+i+j) 안면객체 영역을 매칭하고 제n 안면객체 영역의 지정된 피부 영역의 피부 색상값과 제(n+i+j) 안면객체 영역의 동일한 피부 영역의 피부 색상값을 비교하여 피부 색상 누적 변화값을 산출하고, 상기 제n 영상 프레임의 제n 기준객체 영역과 제(n+i+j) 영상 프레임에 포함된 제(n+i+j) 기준객체 영역의 동일 객체 영역의 객체 색상값을 비교하여 기준 색상 누적 변화값을 산출하고, 상기 산출된 기준 색상 누적 변화값을 통해 상기 피부 색상 누적 변화값을 보정하여 상기 영상 데이터의 카메라 촬영 시점의 외부 광원을 포함하는 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 지정된 기준 변화량 이상의 유효한 안면 피부 색상 누적 변화값을 검출하는 단계와, 상기 유효한 안면 피부 색상 누적 변화값이 검출된 경우, 상기 검출된 안면 피부 색상 누적 변화값이 상기 특정 색상계열로 상기 제n 영상 프레임과 제(n+i) 영상 프레임 사이의 편향 변화량보다 일정 비율 이상 증가한 유효한 누적 편향 변화 패턴을 포함하는지 확인하는 단계와, 상기 유효한 누적 편향 변화 패턴이 확인된 경우, 상기 제n 영상 프레임과 제(n+i+j) 영상 프레임 사이의 시간 동안 상기 안면객체에 대응하는 사람의 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 구성될 수 있다.

본 발명에 따르면, 간편하게 스마트폰에 설치된 앱을 통해 영상 데이터에 포함된 사람의 피부색의 변화, 입 움직임 패턴, 입술두께 패턴, 눈 움직임 패턴, 시선 움직임 패턴, 코 움직임 패턴, 어깨 움직임 패턴 등을 분석하여 상기 사람의 거짓말 여부를 탐지할 수 있는 이점이 있다.

도 1은 본 발명의 실시 방법에 따른 무선단말의 기능 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따라 무선단말에서 영상 분석을 이용한 거짓말 탐지 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 무선단말에서 영상 분석을 이용한 거짓말 탐지 과정을 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따라 무선단말에서 영상 분석을 이용한 거짓말 탐지 과정을 도시한 도면이다.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다.

즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예 예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)를 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 동작 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.

도면1은 본 발명의 실시 방법에 따른 무선단말의 기능 구성을 도시한 도면이다.

보다 상세하게 본 도면1은 무선단말(100)에 구비된 카메라를 통해 촬영되는 영상 데이터나 다른 단말기(별도 도시하지 않음)의 카메라를 통해 촬영되어 통신망을 통해 수신되는 영상 데이터에 포함된 N(N≥2)개의 영상 프레임에 포함된 안면객체 영역을 인식하고 카메라 촬영 시점의 외부 광원 등의 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 안면 피부 색상 변화값을 검출하여 특정 색상계열로 편향 변화 패턴을 지닌 경우에 안면객체 영역에 대응하는 사람의 거짓말 확률을 증가시키는 영상 분석을 이용한 거짓말 탐지 기능을 구비하는 무선단말(100)에 대한 간단한 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 영상 분석을 이용한 거짓말 탐지 기능을 구비하는 무선단말(100)의 기능 구성에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. 바람직하게, 본 도면1의 무선단말(100)은 무선 통신이 가능하며 터치스크린이 구비된 각종 스마트폰, 각종 태블릿PC, 각종 PDA 및 각종 휴대폰 중 적어도 하나를 포함할 수 있다.

도면1을 참조하면, 상기 무선단말(100)은, 제어부(105)와 메모리부(135)와 화면 출력부(110)와 사용자 입력부(115)와 카메라부(140)와, 근거리망 통신부(120)와 무선망 통신부(125)와 USIM 리더부(130) 및 USIM를 구비하며, 전원 공급을 위한 배터리를 구비하여 구성될 수 있다.

상기 제어부(105)는 상기 사용자 무선단말(100)의 동작을 제어하는 구성의 총칭으로서, 적어도 하나의 프로세서와 실행 메모리를 포함하여 구성되며, 상기 무선단말(100)에 구비된 각 구성부와 버스(BUS)를 통해 연결된다. 본 발명에 따르면, 상기 제어부(105)는 상기 프로세서를 통해 상기 무선단말(100)에 구비되는 적어도 하나의 프로그램코드를 상기 실행 메모리에 로딩하여 연산하고, 그 결과를 상기 버스를 통해 적어도 하나의 구성부로 전달하여 상기 무선단말(100)의 동작을 제어한다. 이하, 편의상 프로그램코드 형태로 구현되는 프로그램(145)의 기능적 구성을 본 제어부(105) 내에 도시하여 설명하기로 한다.

상기 메모리부(135)는 상기 무선단말(100)의 저장 자원에 대응되는 비휘발성 메모리의 총칭으로서, 상기 제어부(105)를 통해 실행되는 적어도 하나의 프로그램코드와, 상기 프로그램코드가 이용하는 적어도 하나의 데이터셋트를 저장하여 유지할 수 있다.

상기 메모리부(135)는 기본적으로 상기 무선단말(100)의 운영체제에 대응하는 시스템프로그램코드와 시스템데이터셋트, 상기 무선단말(100)의 무선 통신 연결을 처리하는 통신프로그램코드와 통신데이터셋트 및 적어도 하나의 응용프로그램코드와 응용데이터셋트를 저장하며, 본 발명의 프로그램에 대응하는 프로그램코드와 데이터셋트도 상기 메모리부(135)에 저장될 수 있다.

상기 화면 출력부(110)는 화면출력기(예컨대, LCD(Liquid Crystal Display) 등)와 이를 구동하는 구동 모듈로 구성되며, 상기 제어부(105)와 연동되어 상기 제어부(105)의 각종 연산 결과 중 화면 출력에 대응하는 연산 결과를 상기 화면출력 장치로 출력한다.

상기 사용자 입력부(115)는 하나 이상의 사용자입력기(예컨대, 버튼, 키패드, 터치패드, 화면 출력부(110)와 연동하는 터치스크린 등)와 이를 구동하는 구동 모듈로 구성되며, 상기 제어부(105)와 연동되어 상기 제어부(105)의 각종 연산을 명령하는 명령을 입력하거나, 또는 상기 제어부(105)의 연산에 필요한 데이터를 입력한다.

상기 카메라부(140)는 상기 광학부와 CCD(Charge Coupled Device)와 이를 구동하는 카메라 모듈로 구성되며, 상기 광학부를 통해 상기 CCD에 입력된 비트맵 데이터를 획득할 수 있다. 여기서 상기 비트맵 데이터는 정지 영상의 이미지 데이터와 동영상 데이터를 모두 포함할 수 있다.

상기 무선망 통신부(125)와 근거리망 통신부(120)는 상기 무선단말(100)을 지정된 통신망에 접속시키는 통신 자원의 총칭이다. 바람직하게, 상기 무선단말(100)은 무선망 통신부(125)를 기본 통신 자원으로 구비할 수 있으며, 하나 이상의 근거리망 통신부(120)를 구비할 수 있다.

상기 무선망 통신부(125)는 상기 무선단말(100)을 기지국을 경유하는 무선 통신망에 접속시키는 통신 자원의 총칭으로서, 특정 주파수 대역의 무선 주파수 신호를 송수신하는 안테나, RF모듈, 기저대역모듈, 신호처리모듈을 적어도 하나 포함하여 구성되며, 상기 제어부(105)와 연결되어 상기 제어부(105)의 각종 연산 결과 중 무선 통신에 대응하는 연산 결과를 무선 통신망을 통해 전송하거나 또는 무선 통신망을 통해 데이터를 수신하여 상기 제어부(105)로 전달함과 동시에, 상기 무선 통신의 접속, 등록, 통신, 핸드오프의 절차를 수행할 수 있다.

본 발명에 따르면, 상기 무선망 통신부(125)는 상기 무선단말(100)을 교환기를 경유하는 통화채널과 데이터채널을 포함하는 통화망에 연결할 수 있으며, 경우에 따라 상기 교환기를 경유하지 않고 패킷 통신 기반의 무선망 데이터 통신(예컨대, 인터넷)을 제공하는 데이터망에 연결할 수 있다.

본 발명의 실시 방법에 따르면, 상기 무선망 통신부(125)는 CDMA/WCDMA/LTE 규격에 따라 이동 통신망에 접속, 위치등록, 호처리, 통화연결, 데이터통신, 핸드오프를 적어도 하나 수행하는 이동 통신 구성을 포함한다. 한편 당업자의 의도에 따라 상기 무선망 통신부(125)는 IEEE 802.16 관련 규격에 따라 휴대인터넷에 접속, 위치등록, 데이터통신, 핸드오프를 적어도 하나 수행하는 휴대 인터넷 통신 구성을 더 포함할 수 있으며, 상기 무선망 통신부(125)가 제공하는 무선 통신 구성에 의해 본 발명이 한정되지 아니함을 명백히 밝혀두는 바이다. 즉, 상기 무선망 통신부(125)는 무선 구간의 주파수 대역이나 통신망의 종류 또는 프로토콜에 무관하게 셀 기반의 기지국을 통해 무선 통신망에 접속하는 구성부의 총칭이다.

상기 근거리망 통신부(120)는 일정 거리 이내(예컨대, 10m)에서 무선 주파수 신호를 통신매체로 이용하여 통신세션을 연결하고 이를 기반으로 상기 무선단말(100)을 통신망에 접속시키는 통신 자원의 총칭으로서, 바람직하게는 와이파이 통신, 블루투스 통신, 공중무선 통신, UWB 중 적어도 하나를 통해 상기 무선단말(100)을 통신망에 접속시킬 수 있다. 본 발명의 실시 방법에 따르면, 상기 근거리망 통신부(120)는 상기 무선망 통신부(125)와 통합 또는 분리된 형태로 구현될 수 있다. 본 발명에 따르면, 상기 근거리망 통신부(120)는 무선AP를 통해 상기 무선단말(100)을 패킷 통신 기반의 근거리 무선 데이터 통신을 제공하는 데이터망에 연결할 수 있다.

상기 USIM 리더부(130)는 ISO/IEC 7816 규격을 기반으로 상기 사용자 무선단말(400)에 탑재 또는 이탈착되는 범용가입자식별모듈(Universal Subscriber Identity Module)과 적어도 하나의 데이터셋트를 교환하는 구성의 총칭으로서, 상기 데이터셋트는 APDU(Application Protocol Data Unit)를 통해 반이중 통신 방식으로 교환될 수 있다.

상기 USIM은 상기 ISO/IEC 7816 규격에 따른 IC칩이 구비된 SIM 타입의 카드로서, 상기 USIM 리더부(130)와 연결되는 적어도 하나의 접점을 포함하는 입출력 인터페이스와, 적어도 하나의 IC칩용 프로그램코드와 데이터셋트를 저장하는 IC칩 메모리와, 상기 입출력 인터페이스와 연결되어 상기 무선단말(100)로부터 전달되는 적어도 하나의 명령에 따라 상기 IC칩용 프로그램코드를 연산하거나 상기 데이터셋트를 추출(또는 가공)하여 상기 입출력 인터페이스로 전달하는 프로세서를 포함할 수 있다.

상기 무선단말(100)의 제어부(105)는 상기 통신 자원을 통해 접속 가능한 데이터망을 통해 지정된 서버(170)로부터 본 발명에 따른 영상 분석을 이용한 거짓말 탐지를 위한 프로그램(145)을 다운로드하여 설치할 수 있으며, 상기 프로그램(145)은 무선단말(100)에 설치되어 출시될 수도 있다.

도면1을 참조하면, 상기 무선단말(100)의 프로그램(145)은, 카메라를 통해 촬영된 영상 데이터로부터 안면객체 영역 및 상기 안면객체 영역 주변의 하나 이상의 기준객체 영역을 인식하는 객체영역 인식부(150)와, 상기 안면객체 영역과 기준객체 영역을 포함하는 영상 프레임을 확인하는 영상프레임 확인부(155)와, 안면객체 영역의 피부 색상 변화값과 기준객체 영역의 기준 색상 변화값을 산출하는 색상변화값 산출부(160)와, 색상 변화값을 이용하여 유효한 안면 피부 색상 변화값을 검출하는 색상변화값 검출부(165)와, 검출된 유효한 안면 피부 색상 변화값으로부터 유효한 편향 변화 패턴을 확인하는 편향변화패턴 확인부(170)와, 확인된 유효한 편향 변화 패턴을 이용하여 거짓말 확률을 처리하는 거짓말확률 처리부(175)와, 영상 프레임에 포함된 입객체 영역의 움직임, 입객체 영역의 입술두께 변화, 눈객체 영역의 움직임, 눈동자 영역의 움직임, 코객체 영역의 움직임, 어깨객체 영역의 움직임, 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계를 판독하는 판독부(180)와, 상기 판독된 영상 프레임에 포함된 입객체 영역의 움직임, 입객체 영역의 입술두께 변화, 눈객체 영역의 움직임, 눈동자 영역의 움직임, 코객체 영역의 움직임, 어깨객체 영역의 움직임, 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계와, 지정된 입객체 영역의 움직임, 입객체 영역의 입술두께 변화, 눈객체 영역의 움직임, 눈동자 영역의 움직임, 코객체 영역의 움직임, 어깨객체 영역의 움직임, 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계를 비교하여 매칭 여부를 확인하는 매칭 확인부(185)를 포함하여 구성될 수 있다.

상기 객체영역 인식부(150)는 상기 무선단말(100)에 구비된 카메라를 통해 촬영되는 영상 데이터나 다른 단말기의 카메라를 통해 촬영되어 통신망을 통해 수신되는 영상 데이터에 포함된 N(N≥2)개의 영상 프레임 중 적어도 하나의 영상 프레임을 판독할 수 있으며, 상기 영상 프레임 판독을 통해 사람의 안면에 대응하는 안면객체 영역을 인식하고 상기 안면객체 영역의 주변 영역에 존재하며 상기 안면객체 영역에 적용되는 광원 조건과 동일하거나 최대한 유사한 광원 조건이 적용되는 적어도 하나의 기준객체 영역을 인식할 수 있다.

여기서, 상기 기준객체 영역은, 상기 안면객체 영역에 근접한 사물객체에 대응하는 영역을 포함할 수 있다.

또한, 상기 기준객체 영역은, 상기 안면객체 영역과 연결된 사람의 신체부위 중 피부를 노출하지 않는 신체부위에 대응하는 영역을 포함할 수 있다.

또한, 상기 기준객체 영역은, 상기 안면객체 영역에 대응하는 사람이 착용한 의류, 모자, 악세서리 중 적어도 하나의 사물객체에 대응하는 영역을 포함할 수 있다.

상기 영상프레임 확인부(155)는 상기 객체영역 인식부(150)를 통해 상기 영상 프레임 판독을 통해 사람의 안면에 대응하는 안면객체 영역이 인식되고, 상기 안면객체 영역의 주변 영역에 존재하며 상기 안면객체 영역에 적용되는 광원 조건과 동일하거나 최대한 유사한 광원 조건이 적용되는 적어도 하나의 기준객체 영역이 인식되면, 상기 영상 데이터의 프레임 중 상기 안면객체 영역과 기준객체 영역을 포함하는 제n(1≤n<N) 영상 프레임을 확인하고 일정 시간이 경과한 이후에 상기 안면객체 영역과 기준객체 영역을 포함하는 제(n+i, i≥1) 영상 프레임을 확인할 수 있다.

여기서, 상기 제n 영상 프레임은, 상기 영상 데이터 상의 안면객체 영역 내에 포함된 입객체 영역의 움직임이 발생하기 전의 영상 프레임을 포함할 수 있다.

또한, 상기 제(n+i) 영상 프레임은, 상기 입객체 영역의 움직임이 발생한 이후의 영상 프레임을 포함할 수 있다.

상기 색상변화값 산출부(160)는 상기 영상프레임 확인부(155)를 통해 안면객체 영역과 기준객체 영역을 포함하는 제n 영상 프레임과, 일정 시간이 경과한 이후에 상기 안면객체 영역과 기준객체 영역을 포함하는 제(n+i) 영상 프레임이 확인되면, 상기 제n 영상 프레임에 포함된 제n 안면객체 영역과 제(n+i) 영상 프레임에 포함된 제(n+i) 안면객체 영역을 매칭하고 제n 안면객체 영역의 지정된 피부 영역의 피부 색상값과 제(n+i) 안면객체 영역의 동일한 피부 영역의 피부 색상값을 비교하여 피부 색상 변화값을 산출할 수 있다.

또한, 상기 색상변화값 산출부(160)는 상기 제n 영상 프레임에 포함된 제n 기준객체 영역의 지정된 객체 영역의 객체 색상값과 제(n+i) 영상 프레임에 포함된 제(n+i) 기준객체 영역의 동일한 객체 영역의 객체 색상값을 비교하여 기준 색상 변화값을 산출할 수 있다.

상기 색상변화값 검출부(165)는 색상변화값 산출부(160)를 통해 안면객체 영역에 대한 피부 색상 변화값과, 기준객체 영역에 대한 기준 색상 변화값이 산출되면, 상기 산출된 기준 색상 변화값을 통해 상기 피부 색상 변화값을 보정하여 상기 영상 데이터의 카메라 촬영 시점의 외부 광원을 포함하는 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 지정된 기준 변화량 이상의 유효한 안면 피부 색상 변화값을 검출할 수 있다.

상기 편향변화패턴 확인부(170)는 상기 색상변화값 검출부(165)를 통해 상기 지정된 기준 변화량 이상의 유효한 안면 피부 색상 변화값이 검출되면, 상기 검출된 안면 피부 색상 변화값이 지정된 특정 색상계열로 편향 변화한 편향 변화량이 지정된 기준값 이상인 유효한 편향 변화 패턴을 포함하는지 확인할 수 있다.

여기서, 상기 특정 색상계열은, 붉은색 색상계열 또는 검붉은색 색상계열을 포함할 수 있다.

상기 거짓말확률 처리부(175)는 상기 편향변화패턴 확인부(170)를 통해 상기 편향 변화량이 지정된 기준값 이상인 유효한 편향 변화 패턴을 포함하는 경우, 상기 유효한 편향 변화 패턴이 확인된 경우, 상기 제n 영상 프레임과 제(n+i) 영상 프레임 사이의 시간 동안 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 증가시킬 수 있다.

본 발명의 실시 방법에 따르면, 상기 영상프레임 확인부(155)를 통해 상기 제n 영상 프레임이 확인되면, 상기 판독부(180)는 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 입객체 영역의 움직임을 판독할 수 있다.

상기 판독부(180)를 통해 상기 입객체 영역의 움직임이 판독되면, 매칭 확인부(185)는 상기 판독된 입객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 입 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인할 수 있다.

그리고, 상기 매칭 확인부(185)를 통해 상기 입객체 영역의 움직임이 상기 지정된 입 움직임 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 거짓말확률 처리부(175)는 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 다른 실시 방법에 따르면, 상기 영상프레임 확인부(155)를 통해 상기 제n 영상 프레임이 확인되면, 상기 판독부(180)는 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 입객체 영역의 입술두께 변화를 판독할 수 있다.

상기 판독부(180)를 통해 상기 입객체 영역의 입술두께 변화가 판독되면, 상기 매칭 확인부(185)는 상기 판독된 입객체 영역의 입술두께 변화와 거짓말을 행하는 사람의 지정된 입술두께 변화 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인할 수 있다.

그리고, 상기 매칭 확인부(185)를 통해 상기 입객체 영역의 입술두께 변화가 상기 지정된 입술두께 변화 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 거짓말확률 처리부(175)는 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 또 다른 실시 방법에 따르면, 상기 영상프레임 확인부(155)를 통해 상기 제n 영상 프레임이 확인되면, 상기 판독부(180)는 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 눈객체 영역의 움직임을 판독할 수 있다.

상기 판독부(180)를 통해 상기 안면객체 영역 내에 포함된 눈객체 영역의 움직임이 판독되면, 상기 매칭 확인부(185)는 상기 판독된 눈객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 눈 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인할 수 있다.

그리고, 상기 매칭 확인부(185)를 통해 상기 눈객체 영역의 움직임이 상기 지정된 눈 움직임 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 거짓말확률 처리부(175)는 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 또 다른 실시 방법에 따르면, 상기 영상프레임 확인부(155)를 통해 상기 제n 영상 프레임이 확인되면, 상기 판독부(180)는 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 눈동자 영역의 움직임을 판독할 수 있다.

상기 판독부(180)를 통해 상기 안면객체 영역 내에 포함된 눈동자 영역의 움직임이 판독되면, 상기 매칭 확인부(185)는 상기 판독된 눈동자 영역의 움직임과 거짓말을 행하는 사람의 지정된 시선 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인할 수 있다.

그리고, 상기 매칭 확인부(185)를 통해 상기 눈동자 영역의 움직임이 상기 지정된 시선 움직임 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 거짓말확률 처리부(175)는 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 또 다른 실시 방법에 따르면, 상기 영상프레임 확인부(155)를 통해 상기 제n 영상 프레임이 확인되면, 상기 판독부(180)는 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 코객체 영역의 움직임을 판독할 수 있다.

상기 판독부(180)를 통해 상기 안면객체 영역 내에 포함된 코객체 영역의 움직임이 판독되면, 상기 매칭 확인부(185)는 상기 판독된 코객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 코 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인할 수 있다.

그리고, 상기 매칭 확인부(185)를 통해 상기 코객체 영역의 움직임이 상기 지정된 코 움직임 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 거짓말확률 처리부(175)는 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 또 다른 실시 방법에 따르면, 상기 영상프레임 확인부(155)를 통해 상기 제n 영상 프레임이 확인되면, 상기 판독부(180)는 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 어깨객체 영역을 확인하여 상기 어깨객체 영역의 움직임을 판독할 수 있다.

상기 판독부(180)를 통해 상기 어깨객체 영역의 움직임이 판독되면, 상기 매칭 확인부(185)는 상기 판독된 어깨객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 어깨 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인할 수 있다.

그리고, 상기 매칭 확인부(185)를 통해 상기 어깨객체 영역의 움직임이 상기 지정된 어깨 움직임 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 거짓말확률 처리부(175)는 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 또 다른 실시 방법에 따르면, 상기 영상프레임 확인부(155)를 통해 상기 제n 영상 프레임이 확인되면, 상기 판독부(180)는 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계를 판독할 수 있다.

상기 판독부(180)를 통해 상기 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계가 판독되면, 상기 매칭 확인부(185)는 상기 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계와 거짓말을 행하는 사람이 손으로 얼굴 만지는 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인할 수 있다.

그리고, 상기 매칭 확인부(185)를 통해 상기 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계가 상기 얼굴 만지는 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 거짓말확률 처리부(175)는 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

한편, 본 발명의 실시 방법에 따르면, 상기 편향변화패턴 확인부(170)를 통해 상기 유효한 편향 변화 패턴이 확인된 경우, 상기 영상프레임 확인부(155)는 상기 제(n+i) 영상 프레임 이후 일정 시간이 경과한 제(n+i+j, j≥1) 영상 프레임을 확인할 수 있다.

그러면, 상기 색상변화값 산출부(160)는 상기 제n 영상 프레임의 제n 안면객체 영역과 제(n+i+j) 영상 프레임의 제(n+i+j) 안면객체 영역을 매칭하고 제n 안면객체 영역의 지정된 피부 영역의 피부 색상값과 제(n+i+j) 안면객체 영역의 동일한 피부 영역의 피부 색상값을 비교하여 피부 색상 누적 변화값을 산출할 수 있다.

또한, 상기 색상변화값 산출부(160)는 상기 제n 영상 프레임의 제n 기준객체 영역과 제(n+i+j) 영상 프레임에 포함된 제(n+i+j) 기준객체 영역의 동일 객체 영역의 객체 색상값을 비교하여 기준 색상 누적 변화값을 산출할 수 있다.

상기 색상변화값 산출부(160)를 통해 피부 색상 누적 변화값 및 기준 색상 누적 변화값이 산출되면, 상기 색상변화값 검출부(165)는 상기 산출된 기준 색상 누적 변화값을 통해 상기 피부 색상 누적 변화값을 보정하여 상기 영상 데이터의 카메라 촬영 시점의 외부 광원을 포함하는 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 지정된 기준 변화량 이상의 유효한 안면 피부 색상 누적 변화값을 검출할 수 있다.

그리고, 상기 색상변화값 검출부(165)를 통해 상기 유효한 안면 피부 색상 누적 변화값이 검출된 경우, 상기 편향변화패턴 확인부(170)는 상기 검출된 안면 피부 색상 누적 변화값이 상기 특정 색상계열로 상기 제n 영상 프레임과 제(n+i) 영상 프레임 사이의 편향 변화량보다 일정 비율 이상 증가한 유효한 누적 편향 변화 패턴을 포함하는지 확인할 수 있다.

상기 편향변화패턴 확인부(170)를 통해 상기 유효한 누적 편향 변화 패턴이 확인된 경우, 상기 거짓말확률 처리부(175)는 상기 제n 영상 프레임과 제(n+i+j) 영상 프레임 사이의 시간 동안 상기 안면객체에 대응하는 사람의 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

도면2는 본 발명의 실시 방법에 따라 무선단말에서 영상 분석을 이용한 거짓말 탐지 과정을 도시한 도면이다.

보다 상세하게 본 도면2는 상기 도면1에 도시된 무선단말(100)에 구비된 카메라를 통해 촬영되는 영상 데이터나 다른 단말기의 카메라를 통해 촬영되어 통신망을 통해 수신되는 영상 데이터에 포함된 N(N≥2)개의 영상 프레임에 포함된 안면객체 영역과 상기 안면객체 영역에 적용되는 광원 조건과 동일하거나 최대한 유사한 광원 조건이 적용되는 기준객체 영역을 인식하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 안면객체 영역 및 기준객체 영역을 인식하는 과정에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면2를 참조하면, 도시된 상기 안면객체 영역 및 기준객체 영역을 인식하는 과정은,

상기 무선단말(100)에서 상기 무선단말(100)에 구비된 카메라를 통해 촬영되는 영상 데이터나 다른 단말기의 카메라를 통해 촬영되어 통신망을 통해 영상 데이터를 수신하는 과정으로부터 개시될 수 있다(200).

상기 영상 데이터가 촬영 또는 수신되면, 상기 무선단말(100)은 상기 수신되는 영상 데이터에 포함된 N(N≥2)개의 영상 프레임 중 적어도 하나의 영상 프레임을 판독하여, 사람의 안면에 대응하는 안면객체 영역을 인식한다(205).

상기 안면객체 영역이 인식되면, 상기 무선단말(100)은 상기 안면객체 영역의 주변 영역에 존재하며 상기 안면객체 영역에 적용되는 광원 조건과 동일하거나 최대한 유사한 광원 조건이 적용되는 적어도 하나의 기준객체 영역을 인식한다(210).

본 발명의 실시 방법에 따르면, 상기 기준객체 영역은 상기 안면객체 영역에 근접한 사물객체에 대응하는 영역을 포함할 수 있다.

또한, 본 발명의 다른 실시 방법에 따르면, 상기 기준객체 영역은 상기 안면객체 영역과 연결된 사람의 신체부위 중 피부를 노출하지 않는 신체부위에 대응하는 영역을 포함할 수 있다.

또한, 본 발명의 또 다른 실시 방법에 따르면, 상기 기준객체 영역은, 상기 안면객체 영역에 대응하는 사람이 착용한 의류, 모자, 악세서리 중 적어도 하나의 사물객체에 대응하는 영역을 포함할 수 있다.

상기 영상 프레임 판독을 통해 사람의 안면에 대응하는 안면객체 영역이 인식되고, 상기 안면객체 영역의 주변 영역에 존재하며 상기 안면객체 영역에 적용되는 광원 조건과 동일하거나 최대한 유사한 광원 조건이 적용되는 적어도 하나의 기준객체 영역이 인식되면, 상기 무선단말(100)은 상기 영상 데이터의 프레임 중 상기 안면객체 영역과 기준객체 영역을 포함하는 제n(1≤n<N) 영상 프레임을 확인한다(215).

그리고, 상기 무선단말(100)은 제n 영상 프레임 확인 후 일정 시간이 경과한 이후에 상기 안면객체 영역과 기준객체 영역을 포함하는 제(n+i, i≥1) 영상 프레임을 확인한다(220)

본 발명의 실시 방법에 따르면, 상기 제n 영상 프레임은 상기 영상 데이터 상의 안면객체 영역 내에 포함된 입객체 영역의 움직임이 발생하기 전의 영상 프레임을 포함할 수 있다.

또한, 본 발명의 다른 실시 방법에 따르면, 상기 제(n+i) 영상 프레임은 상기 입객체 영역의 움직임이 발생한 이후의 영상 프레임을 포함할 수 있다.

도면3은 본 발명의 실시 방법에 따라 무선단말에서 영상 분석을 이용한 거짓말 탐지 과정을 도시한 도면이다.

보다 상세하게 본 도면3은 상기 도면2에 도시된 안면객체 영역 및 기준객체 영역 인식 과정 이후, 카메라 촬영 시점의 외부 광원 등의 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 안면 피부 색상 변화값을 검출하여 특정 색상계열로 편향 변화 패턴을 지닌 경우에 안면객체 영역에 대응하는 사람의 거짓말 확률을 증가시키는 영상 분석을 이용한 거짓말 탐지 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 무선단말(100)에서의 영상 분석을 이용한 거짓말 탐지 과정에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면3을 참조하면, 도시된 영상 분석을 이용한 거짓말 탐지 과정은, 상기 도면2에 도시된 안면객체 영역 및 기준객체 영역 인식 과정 이후, 상기 무선단말(100)에서 제n 영상 프레임에 포함된 제n 안면객체 영역과 제(n+i) 영상 프레임에 포함된 제(n+i) 안면객체 영역을 매칭하는 과정으로부터 개시될 수 있다(300).

이후, 상기 무선단말(100)은 상기 제n 안면객체 영역의 지정된 피부 영역의 피부 색상값과 제(n+i) 안면객체 영역의 동일한 피부 영역의 피부 색상값을 비교하여 피부 색상 변화값을 산출한다(305).

상기 피부 색상 변화값이 산출되면, 상기 무선단말(100)은 상기 제n 영상 프레임에 포함된 제n 기준객체 영역의 지정된 객체 영역의 객체 색상값과 제(n+i) 영상 프레임에 포함된 제(n+i) 기준객체 영역의 동일한 객체 영역의 객체 색상값을 비교하여 기준 색상 변화값을 산출한다(310).

그리고, 상기 무선단말(100)은 상기 산출된 기준 색상 변화값을 통해 상기 피부 색상 변화값을 보정하여 안면 피부 색상 변화값을 검출한다(315).

상기 무선단말(100)은 상기 검출된 안면 피부 색상 변화값이 상기 영상 데이터의 카메라 촬영 시점의 외부 광원을 포함하는 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 지정된 기준 변화량 이상의 유효한 안면 피부 색상 변화값인지 확인한다(320).

만약, 유효한 안면 피부 색상 변화값이라면, 상기 무선단말(100)은 상기 검출된 안면 피부 색상 변화값이 지정된 특정 색상계열로 편향 변화한 편향 변화량을 확인한다(325).

그리고, 상기 무선단말(100)은 상기 확인된 편향 변화량이 지정된 기준값 이상인 유효한 편향 변화 패턴을 포함하는지 확인한다(330).

본 발명의 실시 방법에 따르면, 상기 특정 색상계열은 붉은색 색상계열 또는 검붉은색 색상계열을 포함할 수 있다.

만약, 상기 유효한 편향 변화 패턴을 포함하는 것으로 확인되면, 상기 무선단말(100)은 상기 제n 영상 프레임과 제(n+i) 영상 프레임 사이의 시간 동안 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 증가시킨다(335).

도면4는 본 발명의 실시 방법에 따라 무선단말에서 영상 분석을 이용한 거짓말 탐지 과정을 도시한 도면이다.

보다 상세하게 본 도면4는 상기 도면3에 도시된 영상 분석을 이용한 거짓말 탐지 과정 이후, 누적된 피부 색상 변화값을 검출하여 특정 색상계열로 누적 편향 변화 패턴을 지닌 경우에 안면객체 영역에 대응하는 사람의 거짓말 확률을 추가 증가시키는 영상 분석을 이용한 거짓말 탐지 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 무선단말(100)에서의 영상 분석을 이용한 거짓말 탐지 과정에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면4를 참조하면, 도시된 영상 분석을 이용한 거짓말 탐지 과정은, 상기 도면3의 과정을 통해 제n 영상 프레임과 제(n+i) 영상 프레임 사이의 시간동안 안면객체에 대응하는 사람의 거짓말 확률을 지정된 비율 이상으로 증가처리된 이후에 대한 것으로, 상기 무선단말(100)에서 상기 유효한 편향 변화 패턴이 확인된 경우, 상기 제(n+i) 영상 프레임 이후 일정 시간이 경과한 제(n+i+j, j≥1) 영상 프레임을 확인하는 과정으로부터 개시될 수 있다(400).

이후, 상기 무선단말(100)은 제n 영상 프레임의 제n 안면객체 영역과 제(n+i+j) 영상 프레임의 제(n+i+j) 안면객체 영역을 매칭한다(405).

그리고, 상기 제n 안면객체 영역의 지정된 피부 영역의 피부 색상값과 제(n+i+j) 안면객체 영역의 동일한 피부 영역의 피부 색상값을 비교하여 피부 색상 누적 변화값을 산출한다(410).

상기 피부 색상 누적 변화값이 산출되면, 상기 무선단말(100)은 상기 제n 영상 프레임의 제n 기준객체 영역과 제(n+i+j) 영상 프레임에 포함된 제(n+i+j) 기준객체 영역의 동일 객체 영역의 객체 색상값을 비교하여 기준 색상 누적 변화값을 산출한다(415).

상기 피부 색상 누적 변화값 및 기준 색상 누적 변화값이 산출되면, 상기 무선단말(100)은 상기 산출된 기준 색상 누적 변화값을 통해 상기 피부 색상 누적 변화값을 보정하여 안면 피부 색상 누적 변화값을 검출한다(420).

상기 안면 피부 색상 누적 변화값이 검출되면, 상기 무선단말(100)은 상기 검출된 안면 피부 색상 누적 변화값이 상기 영상 데이터의 카메라 촬영 시점의 외부 광원을 포함하는 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 지정된 기준 변화량 이상의 유효한 안면 피부 색상 누적 변화값인지 확인한다(425).

만약, 유효한 안면 피부 색상 누적 변화값으로 확인되면, 상기 무선단말(100)은 상기 검출된 안면 피부 색상 누적 변화값이 상기 특정 색상계열로 편향 변화한 편향 변화량을 확인한다(430).

그리고, 상기 무선단말(100)은 상기 확인된 편향 변화량이 상기 제n 영상 프레임과 제(n+i) 영상 프레임 사이의 편향 변화량보다 일정 비율 이상 증가한 유효한 누적 편향 변화 패턴을 포함하는지 확인한다(435).

만약, 유효한 누적 편향 변화 패턴을 포함하는 것으로 확인되면, 상기 무선단말(100)은 상기 제n 영상 프레임과 제(n+i+j) 영상 프레임 사이의 시간 동안 상기 안면객체에 대응하는 사람의 거짓말 확률을 지정된 비율 이상 추가 증가시킨다(440).

본 도면4와 같이 상기 안면객체에 대응하는 사람의 거짓말 확률을 지정된 비율 이상 추가 증가시키는 방법은 다양할 수 있다.

본 발명의 실시 방법에 따르면, 상기 무선단말(100)은 상기 제n 영상 프레임이 확인되면, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 입객체 영역의 움직임을 판독하고, 상기 판독된 입객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 입 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하여, 상기 입객체 영역의 움직임이 상기 지정된 입 움직임 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 거짓말확률 처리부(175)는 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 다른 실시 방법에 따르면, 상기 무선단말(100)은 상기 제n 영상 프레임이 확인되면, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 입객체 영역의 입술두께 변화를 판독하고, 상기 입객체 영역의 입술두께 변화가 판독되면, 상기 판독된 입객체 영역의 입술두께 변화와 거짓말을 행하는 사람의 지정된 입술두께 변화 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하여, 상기 입객체 영역의 입술두께 변화가 상기 지정된 입술두께 변화 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 또 다른 실시 방법에 따르면, 상기 무선단말(100)은 상기 제n 영상 프레임이 확인되면, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 눈객체 영역의 움직임을 판독하고, 상기 안면객체 영역 내에 포함된 눈객체 영역의 움직임이 판독되면, 상기 판독된 눈객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 눈 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하여, 상기 눈객체 영역의 움직임이 상기 지정된 눈 움직임 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 또 다른 실시 방법에 따르면, 상기 무선단말(100)은 상기 제n 영상 프레임이 확인되면, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 눈동자 영역의 움직임을 판독하고, 상기 안면객체 영역 내에 포함된 눈동자 영역의 움직임이 판독되면, 상기 판독된 눈동자 영역의 움직임과 거짓말을 행하는 사람의 지정된 시선 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하여, 상기 눈동자 영역의 움직임이 상기 지정된 시선 움직임 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 또 다른 실시 방법에 따르면, 상기 무선단말(100)은 상기 제n 영상 프레임이 확인되면, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 코객체 영역의 움직임을 판독하고, 상기 안면객체 영역 내에 포함된 코객체 영역의 움직임이 판독되면, 상기 판독된 코객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 코 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하여, 상기 코객체 영역의 움직임이 상기 지정된 코 움직임 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 또 다른 실시 방법에 따르면, 상기 무선단말(100)은 상기 제n 영상 프레임이 확인되면, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 어깨객체 영역을 확인하여 상기 어깨객체 영역의 움직임을 판독하고, 상기 어깨객체 영역의 움직임이 판독되면, 상기 판독된 어깨객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 어깨 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하여, 상기 어깨객체 영역의 움직임이 상기 지정된 어깨 움직임 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

본 발명의 또 다른 실시 방법에 따르면, 상기 무선단말(100)은 상기 영상 프레임이 확인되면, 상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계를 판독하고, 상기 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계가 판독되면, 상기 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계와 거짓말을 행하는 사람이 손으로 얼굴 만지는 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하여, 상기 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계가 상기 얼굴 만지는 패턴과 허용된 오차 범위 내에 매칭되는 것이 확인되는 경우, 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시킬 수 있다.

100 : 무선단말 105 : 제어부
110 : 화면 출력부 115 : 사용자 입력부
120 : 근거리망 통신부 125 : 무선망 통신부
130 : USIM 리더부 135 : 메모리부
140 : 카메라부 145 : 프로그램
150 : 객체영역 인식부 155 : 영상프레임 확인부
160 : 색상변화값 산출부 165 : 색상변화값 검출부
170 : 편향변화패턴 확인부 175 : 거짓말확률 처리부
180 : 판독부 185 : 매칭 확인부(185)
190 : 서버

Claims

카메라를 구비한 무선단말의 프로그램을 통해 실행되는 방법에 있어서,
상기 카메라를 통해 촬영되는 영상 데이터나 다른 단말기의 카메라를 통해 촬영되어 통신망을 통해 수신되는 영상 데이터에 포함된 N(N≥2)개의 영상 프레임 중 적어도 하나의 영상 프레임을 판독하여 사람의 안면에 대응하는 안면객체 영역을 인식하고 상기 안면객체 영역의 주변 영역에 존재하며 상기 안면객체 영역에 적용되는 광원 조건과 동일하거나 최대한 유사한 광원 조건이 적용되는 적어도 하나의 기준객체 영역을 인식하는 제1 단계;
상기 영상 데이터의 프레임 중 상기 안면객체 영역과 기준객체 영역을 포함하는 제n(1≤n<N) 영상 프레임을 확인하고 일정 시간이 경과한 이후에 상기 안면객체 영역과 기준객체 영역을 포함하는 제(n+i, i≥1) 영상 프레임을 확인하는 제2 단계;
상기 제n 영상 프레임에 포함된 제n 안면객체 영역과 제(n+i) 영상 프레임에 포함된 제(n+i) 안면객체 영역을 매칭하고 제n 안면객체 영역의 지정된 피부 영역의 피부 색상값과 제(n+i) 안면객체 영역의 동일한 피부 영역의 피부 색상값을 비교하여 피부 색상 변화값을 산출하고,
상기 제n 영상 프레임에 포함된 제n 기준객체 영역의 지정된 객체 영역의 객체 색상값과 제(n+i) 영상 프레임에 포함된 제(n+i) 기준객체 영역의 동일한 객체 영역의 객체 색상값을 비교하여 기준 색상 변화값을 산출하고,
상기 산출된 기준 색상 변화값을 통해 상기 피부 색상 변화값을 보정하여 상기 영상 데이터의 카메라 촬영 시점의 외부 광원을 포함하는 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 지정된 기준 변화량 이상의 유효한 안면 피부 색상 변화값을 검출하는 제3 단계;
상기 유효한 안면 피부 색상 변화값이 검출된 경우, 상기 검출된 안면 피부 색상 변화값이 지정된 특정 색상계열로 편향 변화한 편향 변화량이 지정된 기준값 이상인 유효한 편향 변화 패턴을 포함하는지 확인하는 제4 단계; 및
상기 유효한 편향 변화 패턴이 확인된 경우, 상기 제n 영상 프레임과 제(n+i) 영상 프레임 사이의 시간 동안 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 증가시키는 제5 단계;를 포함하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서, 상기 기준객체 영역은,
상기 안면객체 영역에 근접한 사물객체에 대응하는 영역을 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서, 상기 기준객체 영역은,
상기 안면객체 영역과 연결된 사람의 신체부위 중 피부를 노출하지 않는 신체부위에 대응하는 영역을 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서, 상기 기준객체 영역은,
상기 안면객체 영역에 대응하는 사람이 착용한 의류, 모자, 악세서리 중 적어도 하나의 사물객체에 대응하는 영역을 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서,
상기 제n 영상 프레임은, 상기 영상 데이터 상의 안면객체 영역 내에 포함된 입객체 영역의 움직임이 발생하기 전의 영상 프레임을 포함하고,
상기 제(n+i) 영상 프레임은, 상기 입객체 영역의 움직임이 발생한 이후의 영상 프레임을 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서, 상기 특정 색상계열은,
붉은색 색상계열 또는 검붉은색 색상계열을 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서,
상기 제n 영상 프레임이 확인된 경우,
상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 입객체 영역의 움직임을 판독하는 단계;
상기 판독된 입객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 입 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계;를 더 포함하며,
상기 제5 단계는, 상기 입객체 영역의 움직임이 상기 지정된 입 움직임 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서,
상기 제n 영상 프레임이 확인된 경우,
상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 입객체 영역의 입술두께 변화를 판독하는 단계;
상기 판독된 입객체 영역의 입술두께 변화와 거짓말을 행하는 사람의 지정된 입술두께 변화 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계;를 더 포함하며,
상기 제5 단계는, 상기 입객체 영역의 입술두께 변화가 상기 지정된 입술두께 변화 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서,
상기 제n 영상 프레임이 확인된 경우,
상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 눈객체 영역의 움직임을 판독하는 단계;
상기 판독된 눈객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 눈 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계;를 더 포함하며,
상기 제5 단계는, 상기 눈객체 영역의 움직임이 상기 지정된 눈 움직임 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서,
상기 제n 영상 프레임이 확인된 경우,
상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 눈동자 영역의 움직임을 판독하는 단계;
상기 판독된 눈동자 영역의 움직임과 거짓말을 행하는 사람의 지정된 시선 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계;를 더 포함하며,
상기 제5 단계는, 상기 눈동자 영역의 움직임이 상기 지정된 시선 움직임 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서,
상기 제n 영상 프레임이 확인된 경우,
상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 내에 포함된 코객체 영역의 움직임을 판독하는 단계;
상기 판독된 코객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 코 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계;를 더 포함하며,
상기 제5 단계는, 상기 코객체 영역의 움직임이 상기 지정된 코 움직임 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서,
상기 제n 영상 프레임이 확인된 경우,
상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 어깨객체 영역을 확인하여 상기 어깨객체 영역의 움직임을 판독하는 단계;
상기 판독된 어깨객체 영역의 움직임과 거짓말을 행하는 사람의 지정된 어깨 움직임 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계;를 더 포함하며,
상기 제5 단계는, 상기 어깨객체 영역의 움직임이 상기 지정된 어깨 움직임 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서,
상기 제n 영상 프레임이 확인된 경우,
상기 제n 영상 프레임부터 제(n+i) 영상 프레임 사이에 존재하는 둘 이상 프레임에 공통 존재하는 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계를 판독하는 단계;
상기 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계와 거짓말을 행하는 사람이 손으로 얼굴 만지는 패턴을 비교하여 허용된 오차 범위 내에서 매칭되는지 확인하는 단계;를 더 포함하며,
상기 제5 단계는, 상기 안면객체 영역 위에 손객체 영역이 중첩되는 위치와 시간의 관계가 상기 얼굴 만지는 패턴과 허용된 오차 범위 내에 매칭된 경우 상기 안면객체에 대응하는 사람이 거짓말을 행했을 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.
제 1항에 있어서,
상기 유효한 편향 변화 패턴이 확인된 경우,
상기 제(n+i) 영상 프레임 이후 일정 시간이 경과한 제(n+i+j, j≥1) 영상 프레임을 확인하는 단계;
상기 제n 영상 프레임의 제n 안면객체 영역과 제(n+i+j) 영상 프레임의 제(n+i+j) 안면객체 영역을 매칭하고 제n 안면객체 영역의 지정된 피부 영역의 피부 색상값과 제(n+i+j) 안면객체 영역의 동일한 피부 영역의 피부 색상값을 비교하여 피부 색상 누적 변화값을 산출하고,
상기 제n 영상 프레임의 제n 기준객체 영역과 제(n+i+j) 영상 프레임에 포함된 제(n+i+j) 기준객체 영역의 동일 객체 영역의 객체 색상값을 비교하여 기준 색상 누적 변화값을 산출하고,
상기 산출된 기준 색상 누적 변화값을 통해 상기 피부 색상 누적 변화값을 보정하여 상기 영상 데이터의 카메라 촬영 시점의 외부 광원을 포함하는 외부 조건에 무관하게 안면 피부 영역의 자체 색상 변화로 인정 가능한 지정된 기준 변화량 이상의 유효한 안면 피부 색상 누적 변화값을 검출하는 단계;
상기 유효한 안면 피부 색상 누적 변화값이 검출된 경우, 상기 검출된 안면 피부 색상 누적 변화값이 상기 특정 색상계열로 상기 제n 영상 프레임과 제(n+i) 영상 프레임 사이의 편향 변화량보다 일정 비율 이상 증가한 유효한 누적 편향 변화 패턴을 포함하는지 확인하는 단계; 및
상기 유효한 누적 편향 변화 패턴이 확인된 경우, 상기 제n 영상 프레임과 제(n+i+j) 영상 프레임 사이의 시간 동안 상기 안면객체에 대응하는 사람의 거짓말 확률을 지정된 비율 이상 추가 증가시키는 단계;를 더 포함하여 이루어지는 것을 특징으로 하는 영상 분석을 이용한 거짓말 탐지 방법.