KR101739058B1

KR101739058B1 - 동영상 기반 생리 신호 검출을 이용한 왜곡에 대한 정신생리적 탐지 (거짓말 탐지) 방법 및 장치

Info

Publication number: KR101739058B1
Application number: KR1020150049085A
Authority: KR
Inventors: 최진관; 정석화
Original assignee: 주식회사 바이브라시스템
Priority date: 2014-04-24
Filing date: 2015-04-07
Publication date: 2017-05-25
Also published as: WO2016163594A1; CN107809951B; KR20150123159A; CN107809951A

Abstract

피검자의 거짓말 여부를 판단하는 방법을 개시한다. 개시된 방법:은
카메라를 이용해 소정의 질문에 대한 진술 전후의 동영상을 피검자로부터 획득하는 단계; 상기 동영상으로부터 파라미터 A1, A3, A4, A1X, A4X, INT0A, INT1A, INT2A 중 적어도 하나를 추출하는 단계; 위의 단계에서 추출된 파라미터로부터 표준 편차를 계산하는 단계; 상기 표준 편차를 이용하여 피검자의 거짓 여부를 판단하는 단계;를 포함한다.

Description

동영상 기반 생리 신호 검출을 이용한 왜곡에 대한 정신생리적 탐지 (거짓말 탐지) 방법 및 장치{Apparatus and method for Psycho-physiological Detection of Deception (Lie Detection) by video}

본 발명은 생물 측정학, 전자공학, 의학 분야 등에 이용되는 생체신호를 획득하기 위한 방법 및 이를 적용하여 거짓말 탐지를 하는 기술에 관한 것으로서, 상세하게는 대조 분석 방식으로 이루어진 거짓말 탐지 과정에 대한 동영상을 이용하여 생리 신호를 회득하고 이를 분석하여 거짓말 여부를 판단하는 방법에 관한 것이다.

인간의 심리와 생리학 사이에 존재하는 불가분의 관계에 대해 최초로 과학적 지식에 근거한 가설은 분석 심리학의 창설자인 지그문트 프로이드에 의해 1890~1895년 사이에 제시되었다. 인간 심리에서 일어나는 어떠한 변화도 이에 대한 인체의 생리학적 반응과 관련이 있다는 가설은 오늘날 널리 받아들여지고 있다. 물론 이 상관 관계 사이의 인터페이스는 아직 정의를 내리지 못하고 있으며 이 정의에 대한 여러가지 다양한 접근법이 존재하고 있다는 것도 사실이다.

따라서, 이러한 인체에 관한 정신 생리학적 통합 정보를 구하기 위한 많은 연구가 있어 왔으며, 현재까지 구체적인 접촉식 방법, 장치 및 시스템이 몇 가지 알려져 있다. 이들은 인간의 감정적 및 심리적 상태를 평가하고 의학적 진단은 내리기 위해 잘 알려져 있는 인체의 생리학적 매개변수를 사용한다.

가장 널리 알려진 시스템으로는 일명 '거짓말 탐지기'로 알려진 것으로, 특정한 외부 자극 특히 말에 의한 자극에 인체가 반응할 때 정신생리학적(정신 신체의) 매개변수의 변화를 측정하기 위해 다양한 채널을 통해 얻은 생리학적 정보를 이용하는 것이다. 위와 같은 방법으로 인체의 상태를 분석하는 작업은 일반적으로 몇 시간이 소요될 뿐 아니라 피검자의 몸에 센서를 단단하게 부착해야 하며 숙련된 테스트 진행 요원의 참여가 필요하다. 따라서 인체의 정신생리학적 진단을 내리기 위해 위와 같은 시스템을 광범위하게 활용하기에는 현실적인 제약이 많다.

거짓말 탐지의 방법으로는 심박과 말초신경계의 반응을 이용한 폴리그라프를 이용한 방법과 뇌파신호(EEG, Electriencephalographic)를 이용한 방법, 음성 인식 기술(Voice Technology)을 이용한 방법, 안면인식 기술(Facial Technology)을 이용한 방법 등이 있으며 이미지를 이용한 동영상 기반 분석 방법이 있다.

본 발명과 비교되는 기술은 폴리그래프 방식으로, 1921년 미국 경찰관이자 법의학자인 존 라슨이 개발한 방법으로, 검사를 하는 사람의 맥박, 혈압, 호흡, 땀 같은 신체 기능의 변화를 측정하여 그래프로 나타내고, 검사를 받는 사람이 거짓말을 하고 있으면 그래프에 변화가 생기는데, 이것은 거짓말을 하고 있다는 정서적 반응 때문에 나타난다. 그러나 결과가 항상 정확한 것만은 아니다. 본 기술을 사용하는 국가는 미국, 캐나다, 대한민국, 인도 4개국이며 실무상 광범위하게 사용되고 있지만 법정에서는 법률상 배척되고 있다.

US

5363858

B

US

546956

B

US

5467777

B

Paul Ekman, Telling Lies. W.W. Norton and Company, New York-London. Golovin S.U., Psycholog-practice dictionary. ACT, 2001 Korovin V.V., Psychophysiological base of polygraph. "4 international conference of polygraph application". Sochi, RF, 2000 Wasserman E.L., Kartashev N.K., Polonnikov R.I., Fractal dynamics of brain electrical activity. St. Petersburg, Nauka. 2004. Farwell, L. A., Chambers, R. D., Miller, G. A., Coles, M. G. H., and Donchin, E. (1985). A Specific Memory Deficit in Elderly Subjects Who Lack A P300. Psychophysiology, 23, 589 (Abstract.) Donchin, E., Miller, G. A., and Farwell, L. A. (1986) The Endogenous Components of the Event-Related Potential - A Diagnostic Tool? In Advances in Brain Research, 1986. Amsterdam: Elsevier. See also Progress in Brain Research, Vol. 70, 1986. Farwell, L. A. and Donchin, E. (1986) The "Brain Detector:" P300 in the Detection of Deception. Psychophysiology, 24: 434 (Abstract). Farwell, L. A., Donchin, E., and Kramer, A. F.(1986) Talking Heads: A Mental Prosthesis for Communicating with Event-Related Brain Potentials of the EEG. Psychophysiology, 24: 434 (Abstract). Bashore, T.R., Miller, G. A., Farwell, L. A., and Donchin, E. (1987). Research in Geriatric Psychophysiology. In Annual Review of Gerontology and Geriatrics. New York: Springer. Farwell, L. A. and Donchin, E. (1988) Talking Off The Top Of Your Head: A Mental Prosthesis Utilizing Event-Related Brain Potentials. Electroencephalography and Clinical Neurophysiology, 70: 510-513. Farwell, L. A. and Donchin, E. (1988) The Truth Will Out: Interrogative Polygraphy with Event-Related Brain Potentials. Psychophysiology, 25:445 (Abstract). Farwell, L. A. and Donchin, E. (1989) Detection of Guilty Knowledge with ERPs. Psychophysiology, 26:58. (Abstract of an address presented at the Twenty-Eighth Annual Meeting of the Society for Psychophysiological Research, October, 1989.) Farwell, L. A. and Donchin, E. (1991) The Truth Will Out: Interrogative Polygraphy ("Lie Detection") With Event-Related Brain Potentials. Psychophysiology, 28:531-547. Farwell, L. A. (1992) The Brain-wave Information Detection (BID) System: A New Paradigm for Psychophysiological Detection of Information. Doctoral Dissertation, University of Illinois at Urbana-Champaign, 1992. Farwell, L. A. (1992) The Farwell System for Event-Related Brain Potential Information Detection: A New Paradigm in Psychophysiological Detection of Concealed Information. Technical Report prepared for the Office of Research and Development of the Central Intelligence Agency, 1992. Farwell, L. A. (1992) Two New Twists on the Truth Detector: Brain-wave Detection of Occupational Information. Psychophysiology, 29,4A:S3 (Abstract of an address presented at the Thirty-Second Annual Meeting at the Society for Psychophysiological Research, October 1992. Farwell, L. A., Martinerie, J. M., Bashore, T. R., and Rapp, P. E. (1993) Optimal Digital Filters for Long Latency Event-Related Brain Potentials. Psychophysiology, 30, 3, 306-315. Rapp, P. E., Albano, A.M., Schmah, T.I., and Farwell, L. A. (1993) Filtered Noise Can Mimic Low Dimensional Chaotic Attractors. Physical Review E, 47,4, 2289-2297. Farwell, L. A. and Richardson, D. A. (1993) Detection of FBI Agents with the Farwell MERA System: A New Paradigm for Psychophysiological Detection of Concealed Information. Technical Report, Human Brain Research Laboratory, Inc. Farwell, L. A. (1993) Brain MERMERs: Detection of FBI Agents and Crime-Relevant Information with the Farwell MERA System. Proceedings of the International Security Systems Symposium, Washington, D.C. Farwell, L. A. and Farwell, G.W. (1995) Quantum-Mechanical Processes and Consciousness. Bulletin of the American Physical Society, 40, 2, 956-57. Farwell, L. A. and Smith, S. S. (2001). Using Brain MERMER Testing to Detect Concealed Knowledge Despite Efforts to Conceal Journal of Forensic Sciences 46,1:1-9

본 발명은 기존의 접촉식 거짓말 탐지 기술의 복잡성과 숙련된 검사관을 필요로하는 단점을 보완 및 보강하는 방법을 제공한다.

본 발명은 신뢰성이 확보된 기존의 거짓말 탐지 방법인 폴리그라프 방식과 비교하여 검사 결과가 90% 이상 일치하는 높은 수준의 신뢰성을 확보할 수 있는 방법을 제공한다.

또한, 본 발명은 동영상을 기반으로 획득한 정신생리학적인 매개변수로 거짓말 지표를 정량화 하고 이를 가시화 할 수 있는 방법을 제시한다.

대조 분석 검사중인 검사자의 연속적인 영상 정보를 획득하는 단계;

상기 영상 정보를 분석하여 상기 검사자의 진동 파라미터를 추출하는 단계;

상기 진동 파라미터에 기초하여 거짓말 탐지 여부를 판단하는 단계; 를 포함한다.

본 발명에 따른 거짓말 탐지 시스템:은

검사자를 촬영하여 연속된 영상을 획득하는 영상 획득부;

상기의 영상을 연속적으로 촬상하는 광검출부, 상기 촬상된 영상을 영상 데이터로 변환하는 A/D 변환부, 상기 변환된 연속적인 영상 데이터를 분석하여 거짓말 탐지 여부를 판단하는 데이터 처리부:를 포함한다.

진동 이미지 기술에 의해서 거짓말 탐지기의 방법이 제시된다. 진동 이미지를 이용한 거짓말 탐지방법은 비접촉식 방법으로 이루어지며 매우 정교하게 거짓말을 탐지한다. 이 방법을 통해 기존 폴리그라프 방식의 결점을 강화하거나 1차 적으로 폴리그라프를 하기 전에 이용하여 정밀 거짓말 분석을 줄일 수 있다. 이는 전통적이고 현대적인 종래 거짓말탐지기를 대체할 수 있는 새로운 방법이다. .

도1은 제임스 러셀에 의한 이차원 감성 모델을 도시한다.
도2는 본 발명에 따른 감성 분류 과정을 설명하는 도면이다.
도3은 본 발명에 따른 감성 분류 알고리즘의 도식적 다이어그램이다.
도4는 진동 이미지의 진폭 성분으로 형성되는 피검자 인체 이미지 주위로 생체에너지(아우라)가 방사되는 것을 도시한다.
도5는 인체의 실제 영상 주위로 방사되는 생체 에너지를 도시한다.
도6, 7은 피검자의 상태에 따른 생체 이미지 방사를 도시하는 것으로, 도6은 안정적인 상태, 도7은 불안정한 스트레스 상태일 경우를 나타낸다.
도 8은 안정 상태에 있는 인체 진동이미지의 주파수 구성 요소(생체신호 이미지)에 대한 분포 그래프이다.
도9는 스트레스 상태에 있는 인체 진동이미지의 주파수 구성요소 (생체신호 이미지)에 대한 분포 그래프이다.
도10은 본 발명의 방법에 따라 피검자의 감성 상태를 나타내는 방사형 그래프(챠트)이다.
도11은 본 발명에 따른 거짓말 탐지 과정의 흐름도이다.
도12는 본 발명에 따른 거짓말 탐지 장치의 개략적 블록 다이어그램이다.
도13은 본 발명에 따른 거짓말 탐지 과정에서 데이터 처리 흐름도이다.
도14는 진동 파라미터(변수)를 추출하는 인터페이스 화면을 예시한다.
도15는 음성 인식을 통한 데이터 분석을 예시하는 테이블이다.
도16은 도15의 기초가 되는 데이터 테이블이다.
도17은 바이브라이미지로 피검자의 진술녹화영상이 분석되는 화면의 일례를 도시한다.
도18은 본 발명에 따른 질의 및 진술과정을 설명하는 흐름도이다.
도19는 도19는 ST와 AT구간에서 각 변수별 표 준편차의 평균값의 변화율 스캐터 그래프이다.
도20은 ST와 AT 구간에서 8개 변수의 DI와 NDI 표준편차의 평균값 변화율을 보이는 그래프이다.
도21a 내지 도21h는 각 매개 변수의 ST와 AT 구간에서 DI, NDI 별 표준편차의 평균갑과 표준 오차 막대그래프이다.

이하, 첨부된 도면을 참고하면서 본 발명에 따른 진동 이미지를 이용한 거짓말 탐지 방법에 대해 살펴본다.

다양한 이론학자들은 모든 인간이 타고난 기본 감정을 가지고 있다고 생각하였다. 몇몇 연구자원들은 하나 이상의 차원에 따라 감정을 규정하는데 1897년 감정은 삼차원으로 설명되었다. "쾌＆불쾌", "각성＆진정", "압박＆완화". 1980년에는, James Russell에 의해 개발된 모델인 이차원 원형 공간에서 감정을 분류하였다. 도1에 도시된 바와 같이, Russell의 모형에서 감정의 언어들은 각성과 밸런스 차원을 갖는 이차원 원형 공간에 기록된다. 도1에서 각성은 세로축에 나타나고, 정서(쾌/불쾌)은 가로축에 나타난다.

진동이미지는 전정-감정 반사(Vestibulo-Emotional Reflex, VER)의 정보로 특징지어진 머리 움직임 활동을 표현한다. 즉, 진동이미지는 프레임들과 픽셀들간의 칼라값의 차이를 이용하여 얼굴과 상반신의 움직임과 미세진동을 측정한다. 우리 몸의 생리학적 진동지수가 10hz 정도 되기 때문에 20hz 이상의 영상이 주어져야 제대로 된 분석이 가능하다. 이런 원리를 이용해서 픽셀들의 변화를 측정해서 뇌파와 상관성을 보고 뇌파에서 감정을 추론하듯이 영상으로 감정을 추론하는 것입니다.

진동이미지 시스템은 일반적인 영상 처리 과정으로 인간의 감정, 정신 상태, 거짓말 요소 등을 감지한다. 진동이미지 기술은 1.공격성, 2.스트레스, 3.긴장/불안, 4. 의심, 5.밸런스, 6.매력, 7.에너지, 8.자신감, 9.억제, 10.신경과민 등의 10가지 변수를 얻는다. 영상과 진동이미지 변환은 신체의 기능적 상태와 관련된 머리 움직임을 실시간 측정된 미적분하여 계산된 변수로 제공한다. 각 변수는 아래의 식으로부터 계산되고 진폭과 주파수로 표현된다.

여기서 A는 진폭, N은 프레임 수,

는 i번째 프레임에서의 x, y점에서의 신호 진폭,

는 i+1번째 프레임에서의 x, y 점에서의 신호 진폭이다. 주파수 성분은 수2로부터 계산된다.

본 발명에서는 매개변수로부터 뇌파 신호에 상응하는 신호 성분을 추출하며, 이를 통해서 피검자의 생리, 심리적 상태를 평가하게 된다.

이하, 본 발명에 따른 피검자의 감성 분류 방법의 설명에 앞서서 본 발명에서 이용하는 진동 매개변수에 관련하여, 생체 각 부위의 진동과 정신생리학적 매개변수와의 관계에 대해 설명 한다.

소립자 물리학에서는 물질의 파동 특성과 미립자 특성 사이의 명확한 경계가 존재하지 않으며 광자 에너지(ε)는 플랑크 상수를 통해 광자 에너지의 주파수(ν)와 연결되어 있다고 알려져 있다(ε = hν). 생물체의 각 부위에서 발산되는 에너지는 공간 내부에서의 해당 부위의 진동 주파수와 비례한다는 가설이 나온다. 결과적으로 말해, 생물체에서 나오는 에너지를 기록하기 위해서는 생물체의 여러 부위에서 발생하는 진동을(공간 내에서 혹은 각 부위 사이의) 기록해야 한다. 이 과정은 충분한 해상력과 빠른 처리 능력을 보유하고 있는 비접촉식 텔레비전 시스템을 이용하면 가능하다. 게다가 구한 생체신호이미지의 주파수 구성요소는(즉, 각각의 부위에서 일어나는 진동(위치 변화, 파동) 주파수)는 피관찰 생물의 생체에너지 즉 정신생리학적 특성에 있어서 가장 많은 정보를 지니고 있다. 구한 생체신호이미지의 분석은 사람이 할 수도 있고 구한 디지털 생체신호이미지와 그 구성 요소들 중 적어도 어느 하나를 프로그램으로 처리하여 수학적으로도 할 수도 있다. 수학적 처리를 위한 알고리즘의 작성과 분석을 위해서는 모니터 스크린의 유사컬러 영상과 같은 시각적 분석에 편리한 생체신호이미지를 만드는 것이 좋다.

즉, 구해야 하는 생체신호이미지의 주파수 구성요소는 인체의 정신생리학적 상태와 감정 상태의 수준을 지속적이며 일목요연하게 특정 지을 수 있도록 하며 인간에게 다양한 자극이 미칠 때 나타나는 인체 상태의 변화를 구분 지을 수 있게 한다. 밝혀진 바에 의하면, 인체 주변에 위치한 아우라(Aura)로 나타나는 인체의 생체에너지 장(場)을 보여주는 영상을 이용하여 다른 방법에 비해 보다 빠르고 정확하게 인체의 정신생리학적 상태에 대한 평가를 내릴 수 있다.

아우라(Aura)라는 용어는 인체의 정신생리학적 상태에 대한 통합적인 특성을 나타낸다. 이러한 아우라는 인체 주변에 나타나며, 인체의 생체에너지 구성 요소들과 특정한 관계를 지니고 있다. 인체 아우라의 영상은 인체의 정신생리학적 매개변수를 연구할 때 많은 정보를 제공해 주며 이 연구에서는 다음 요소들이 고려 대상이 된다. 인간의 감성적 상태는 말 그대로 매초 변할 수 있다. 일반적인 사람은 오랜 시간 동안 한 가지 감정 상태로 머무를 수 없다.

모든 생각과 동작 또는 어떤 상황에 대한 반응은 감정 상태의 순간적인 변화(각각의 생체신호 이미지)로 이어진다. 따라서 구한 생체신호이미지에 대한 정보의 수(무엇보다 카메라의 해상력)와 시스템의 신속한 처리 사이의 최적의 상관 관계를 찾아내는 것이 중요하다.

아우라 크기의 진폭 조절(amplitude modulating)을 추가한, 대상의 최대 진동 주파수를 인체 특정 구역에서 일어나는 위치 변화의 주파수 또는 진폭의 평균 수치로 컬러 조절(modulating)을 함으로써 인체의 정신생리학적 상태에서 일어나는 어떠한 변화라도 일목요연하고 순간적으로 기록할 수 있다. 뇌의 차원 변동(fractal fluctuation)이 학습, 기억 및 다양한 과제 해결 과정 에서 핵심적인 역할을 수행하는 것으로 알려져 있다. 실험으로 밝혀낸 바에 의하면, 인체에서 진동이 가장 집중적으로 발생하는 부분은 뇌이며 대부분의 경우 아우라(진동이미지의 빈도 구성 요소)가 사람의 머리 주변에만 존재할 수 도 있으며, 이는 몸 주변의 아우라보다 훨씬 크다. 인체에서 일어나는 변화는 아우라가 허물어 지거나 색과 형태가 비대칭으로 나타나는 것으로 표현된다. 이는 구한 생체신호이미지를 보면 확실하게 드러난다.

생체신호 이미지의 요소들이 실제 영상의 요소들과 위상 기하학적 (topology)으로 연관되는 점에는 일장일단이 있다. 실험 결과에 따르면, 가장 많은 정보를 담고 있는 인간의 감정 상태는 최대 진동 주파수로 전달되며 주파수의 평균 수준이나 인접한 포인트 들의 배경 수준은 뭉개지거나 생체신호 이미지를 시각적으로 받아들일 때 일어나는 진정한 변화를 은폐할 수도 있다.

따라서 생체신호 이미지의 요소가 실제 영상의 요소에 위상 기하학적으로 연관되는 것은 실제 영상 주변에 위치한 아우라로 표현되는 진동 이미지의 주파수 구성 요소보다 효과적이지 않은 것으로 나타났다. 생체신호 이미지의 요소가 실제 영상의 요소에 위상기하학적으로 연관되어 있을 때, 최대 진동 주파수를 가지는 요소들은 영상을 색-빈도 조절을 실시할 경우 전체적인 배경에서 보이지 않게 된다. 생체신호이미지를 다양한 형태로 수학적으로 분석하기 위해서는 구하는 생체신호이미지를 사전에 시각적으로 제어해야 한다. 제안되는 아우라 형태의, 생체신호이미지의 주파수 구성요소의 영상은 생체에너지 방사에 대한 물리적 개념에 일치하며 장치가 만들어낸 영상을 시각적으로 제어하고 분석할 수 있게 한다.

주파수 구성요소와 달리 진폭 구성요소를 이용하면 위상기하학적 관계에서 더 효과적이다. 무엇보다도 진동 포인트에 대해 위상기하학적으로 연결되어 있는, 생체신호이미지의 진폭 구성요소를 이용하여 얻은 생체신호이미지의 질을 평가할 수 있으며 시스템을 조정하기 위한 정확한 파라미터(변수)를 정할 수 있다.

먼저 진동 이미지 매개 변수의 측정에 관하여 구체적으로 살펴본다.

생물체의 공격성 수준에 관한 정보획득은 주파수분포 히스토그램을 구성, 이에 따른 생물체의 머리 진동 이미지 매개변수를 측정하는 것이다.

공격성 수준(Ag) 집계는 다음의 <수 3>으로 이루어진다.

Fm- 히스토그램에서 주파수 분포 밀도의 최대 주파수

Fi- 히스토그램에서 N 프레임 시간 동안 획득한 주파수 분포 밀도의 "I" 주파수 집계량

Fin- 진동 이미지 처리 주파수

n- N 프레임에서 한계치를 넘는 프레임간 차를 포함한 집계량

그리고 생물체의 스트레스 수준에 관한 정보 획득을 위해 생물체 머리 진동 이미지 매개변수를 측정한다. 스트레스 수준(St)은 다음의 <수 4>에 의해 집계된다.

- 대상의 왼쪽 부위 "I" 열 진동 이미지 총 진폭

- 대상의 오른쪽 부위 "I" 열 진동 이미지 총 진폭

-

으로 부터

간의 최대값

- 대상의 왼쪽 부위 "I" 열 진동 이미지 최대주파수

- 대상의 오른쪽 부위 "I" 열 진동 이미지 최대주파수

-

으로 부터

간의 최대값

n - 대상관련 열 수

생물체의 불안감 수준에 관한 정보획득을 위해 생물체 머리 진동 이미지 매개변수를 측정한다. 불안감 수준(Tn)은 다음의 <수 3>으로 측정된다.

Pi(f)- 진동 이미지 주파수 분포 전력 스펙트럼

fmax- 진동 이미지 주파수분포 스펙트럼의 최대 주파수

생물체의 여타 생물체와의 호환성 수준에 관한 정보 획득을 위해 개별적인 모든 생물체의 진동 주파수 분포 히스토그램을 정하고, 각 히스토그램을 구성하고, 공동 주파수 분포를 획득하며, 분포의 일반 법칙과 기 획득한 공동 분포면적을 동일하게 만들며, 분포 일반 법칙과 주파수 히스토그램간 차이를 찾는다. 호환성 수준(C)은 다음의 <수 6>로 집계된다.

K- 획득한 주파수 히스토그램 일반화 상관계수

Y’- 일반 분포 밀도

언어 혹은 비 언어적 거짓여부 결정 시, 정신생리학적 상태의 통합적인 변화수준에 관한 정보획득을 위해, 생물체 머리의 진동 이미지 매개변수를 측정한다.

거짓 결정 시 활용된 정신생리학적 상태의 통합적인 변화 수준(L)은 다음의 공식으로 집계된다.

Pi - 더 높게 설정된 한계치를 변화시키는 매개변수

Pc - 거짓 수준 결정 시 측정되는 진동 이미지 매개변수

K - 측정되는 Pi 의미 상관계수

n - 측정되는 매개변수 수

m - 변화된 매개변수 수

잘 알려진 바와 같이, 인공두뇌학 및 정보 이론은 생물체와 생체계에 대한 운용방법 및 기술수단 적용 가능성을 검토하는 것이다. 인지생체학의 현대적인 개념은, 대게 신호정보 및 전달이론 개념 및 정의와 관련이 있으며, 정보이론에서 정립된 수학적 매개변수의 정신생리학적 정보성을 가능케 해준다. 정보이론에서 활용되는 통계 매개변수의 도움으로 인간의 머리 미세움직임을 연구한 저자의 오랜 연구와 관찰 결과, 인간의 정신생리학 상태와 머리 미세움직임 정보통계 매개변수간에 통계적으로 신빙성 있는 의존성이 있다는 사실을 알 수 있었다.

그리고 본 발명자는 이러한 현상과 전정감정 반사에 관한 나름의 해석을 제시할 수 있게 되었다. 우선 정신생리학적 에너지조정(신진대사)간 상호관계를 정의해보겠다. 모든 전형적인 정서 상태는, 특정 에너지 소비와 개별 생리학적으로 필요한 에너지와 정서 에너지간 상관관계로 특징지을 수 있다. 이때 생리학적 에너지는 생리학적 과정 실현을 위해, 또 정서 에너지는 의식 혹은 비의식적인 과정의 결과 형성된다. 실례로 공격 상태는, 만약 정말 동일한 공격상태일 경우라면 다양한 인물에게서 이는 동일하지 않게 발현돼야 하는데, 이때 연령, 성별, 교육수준 등의 자연스러운 조정과정이 고려돼야 한다. 하지만 생리학적 측면에서 봤을 때, 이러한 차이는 신체기관 내 상대적 에너지 방출량 및 장소에 근본적인 의미가 있어서는 안 된다. 이 모든 것은 눈에 보이는 감정적 징후를 초래하는데, 실례로 얼굴의 홍조, 잦은 한숨, 빠른 심 박동, 특정 미세움직임 등을 들 수 있다. 감정적인 상태가 외부로 발현되는 주요 원인은 생리학적 에너지와 정서적 에너지간 상관관계를 변화시키는 신체기관 내 에너지의 추가적인 방출에 기인한다. 이때 강조해야 할 점은, 저자가 현대기술 발전 수준에서 잘 알려진 자연적인 신체적 과정의 신체-화학 에너지를 고려했다는 사실이다. 생리과정의 경과속도, 인간의 생각 및 움직임 과정을 위한 상호관계 중단 및 촉발 과정을 들 수 있다.

전정계의 주요과제는 무엇보다 역학적인 동등 혹은 균등 상태를 유지하는 것이다. 하지만 연구 시, 본 대상을 형성하는 역학ㆍ화학ㆍ에너지, 여타 계(시스템)의 균등상태 시에만 반폐쇄계의 평형상태가 가능하다는 사실이 입증됐다. 이들 계(시스템)들 중 하나라도 불균형이 발생할 경우 인접계의 균형상태 파괴가 초래되는데, 즉 역학적 균형 파괴가 에너지 균형 파괴를 초래한다는 것이다.

수직적인 반 균형 상태에 있는 인간의 머리는 신체기관 내 발생하는 모든 에너지 과정의 지나치게 민감한 역학적 지표로 볼 수 있다. 생체역학적 측면에서 봤을 때, 무게중심보다 훨씬 높은 곳에 위치한 머리의 수직적 균형상태 및 동등한 상태 유지를 위해서는 목-머리 뼈 부분 근육의 엄청난 지속적 노력과 축소가 요구된다. 게다가 이러한 움직임은 전정계 운영 하에 반사적으로 실현되는 것이다. 신체기관 내 모든 의미 있는 현상(감정)은 지속적인 생리학적 과정의 변화를 가져온다. 이는 GSR(galvanic Skin Response, 피부전기 반사), 동맥압, 심박동과 같이 전통적으로 정신생리학적 분석에 활용되는 여타 생리학적 과정 변화와 유사하다. 게다가 에너지 발현량과 에너지 발현장소에 따라 머리 움직임 매개변수도 변한다. 머리 움직임의 공간적 입체 궤적은, 머리 모양이 구(球)와 비슷하기 때문에 매우 복잡하다. 또한 각 점의 움직임 궤적은 수백 개의 목 근육 움직임에 있어서 현저히 차이가 날 수 있다. 정보적 움직임 매개변수의 통계적 분석을 통해 머리 움직임의 신뢰할 수 있는 양적 매개변수 차별화가 가능하다. 즉, 에너지 및 전정계 반응 측정을 통한 정서상태 측정 및 확인이 가능하다는 것이다. 역학법칙은 일관되게 나타나며, 균등상태 유지를 위해 행동은 항상 반동작용을 하나는 것이다. 자연적으로 다양한 이들을 대상으로 하는 신체기관 내 에너지 측정은 전정계 활동을 통한 머리 움직임 매개변수의 일관된 상응하는 변화를 초래할 것이다.

제시된 머리 움직임의 정보ㆍ통계적 매개변수에 따른 총체적인 감정 분류는, 모든 정서상태를 확인하게 해준다. 현재는 정서상태 측정을 위한 단일화된 총체적 접근법이 없는 만큼, 여타 정신생리학적 방법 혹은 독립 실험평가 비교 차원에서 최초의 측정을 위해 활용될 수 있을 것이다. 현대 심리학은 감정상태 평가에 있어서 주로 질적인 기준을 활용하는데, 이는 근본적으로 양적 측정을 불가능하게 하고, 인간 상태의 객관적인 평가가 힘들다. 하지만 기 제시된 방법은 모든 감정상태를 측정하게 해준다. 머리의 움직임 매개변수 변화가 기능적으로 에너지 교환 변화와 관련이 있다고 했을 때, 자연적으로 머리 움직임 매개변수가 인간의 총체적인 특징적 정신생리학 상태이기 때문이다. 현존하는 평가 기준에 따른 정서상태 집계를 위한 기 제시된 공식의 일치 정확성은, 머리 미세움직임을 통한 정서적인 상태평가 방법과 비교 시 낮게 나타난다. 현존하는 기술 수준에서는 정서상태 평가를 위한 총체적인 기준이 없기 때문이다. 기 제안된 방법은 모든 감정 측정에 있어서 통합적인 접근법이 가능하다는 점에서 특징적이다. 또한 모든 이전의 방법들은 다양한 정서상태 평가를 위해 활용됐다. 정서상태 측정을 위해 기 제안된 컨셉을 채택하는 것은 정밀과학에 심리학을 포함시키게끔 해주며, 동일한 감정 측정을 가능하게 해준다.

대상의 머리 움직임에 관한 신호 획득은 카메라에 의한 영상 비교를 통해서 이루어진다. 공간 및 시간 분포 정보통계 매개변수 차원에서 생물체 머리의 움직임 속도는 티비 카메라 작업의 최대 주파수를 가져오는 10초당 단위로 정해지는 마커 움직임 평균주파수로 측정된다. 이러한 특성은 인간의 정서적 불안감을 잘 반영하고, 불안감 수준을 특징지을 수 있다.

진동 이미지가 대상 움직임 에너지의 공간ㆍ시간적 분포를 동시에 나타낼 경우, 주파수 히스토그램 획득을 위해 특정 시간 동안 동일진동 주파수를 가진 요인의 수가 총 집계된다. 따라서 히스토그램은 진동 주파수의 공간적 분포에 관한 정보를 배제시킨다. 이러한 명백한 공간정보 손실은 사실상 움직임 정보를 증대시켜준다고 할 수 있는데, 생리에너지 측면에서 봤을 때 얼굴의 미세움직임과는 다르게 머리의 어느 부위에서 움직임이 실행되는 지는 그다지 중요하지 않기 때문이다. 주파수 히스토그램의 구성은 이하의 내용에 따라 결정된다.

잘 알려진 바와 같이, 기존의 공격성 수준을 결정짓는 모순적인 현존 접근법과는 다른 두 가지 주요요인을 고려한 새로운 공식이 제시됐다. 두 가지 주요 요인은, 진동의 특징적인 확산을 가장 잘 보여주는 진동평균 주파수 혹은 인간의 머리 미세움직임과 매개변수, 그리고 평균제곱편차다. 이렇듯 공격적인 사람은 머리 미세움직임의 높은 주파수 및 머리 부위의 다양한 점이 움직임에 있어서 확산 폭이 크다. 여타 공식 상관계수는 0에서 1까지의 수치에 대한 공격성 상관계수를 보여준다.

Fm- 주파수 분포 밀도 히스토그램의 최대 주파수

Fi- 50프레임 시간 당 획득한 주파수 분포 밀도 히스토그램에서의 i 주파수 집계 수

Fin- 진동 이미지 처리 주파수

n- 50 프레임에서의 한계치보다 높은 프레임간 차의 집계 수

이러한 등식은 모든 이들의 공격성 수준을 결정하게 해주는데, 자연히 더 낮은 공격성 상태는 0에 가까운 수준을 보인다. 높은 공격성 상태에 있는 사람의 경우 1에 근접한 수치를 보인다. 잠재적으로 위험한 이들을 밝혀내기 위한 진동 이미지 시스템의 보안 시스템 활용 시 공격적인 이들을 밝혀내기 위한 한계치는 0. 75를 사용한다.

다음은 진동 이미지 획득 및 이후 공격성 수준을 결정짓는 의미 있는 진동 이미지 정보 매개변수를 통계적으로 찾아내는 것이다. 이는 무엇보다 진폭 및 주파수 진동 이미지에 대한 진동대칭 매개변수를 결정한다.

공격성 수준을 결정짓는, 잘 알려진 상반되는 현존하는 접근방법과는 달리, 인간의 머리부위를 스캔(scan)한 개별 열에 대한 움직임 진폭 및 주파수 대칭을 고려한 새로운 공식이 제시됐다. 이렇듯 공격성 수준이 최대치인 사람의 경우, 20초간 진폭 및 주파수 진동 이미지를 처리하기 위한 진동 및 미세움직임에 있어서 최대 대칭의 특성을 보인다. 동시에 스트레스와 불안감의 낮은 수준을 보인다.

- 대상의 왼쪽 부위 "I" 열 진동 이미지 총 진폭

- 대상의 오른쪽 부위 "I" 열 진동 이미지 총 진폭

-

으로 부터

간의 최대값

- 대상의 왼쪽 부위 "I" 열 진동 이미지 최대주파수

- 대상의 오른쪽 부위 "I" 열 진동 이미지 최대주파수

-

으로부터

간의 최대값

n - 대상이 차지하는 열 수

이전에 제시한 정보통계 매개변수와 유사하게, 제시된 공식은 0에서 1까지의 스트레스 수준(St))을 측정하게 해주며, 무엇보다 최소 스트레스 수준은 최소 측정치에 부합하며, 높은 수준의 스트레스 상태에 있는 사람의 경우 스트레스 수치가 1에 근접하게 나타난다.

다음은 진동 이미지 획득 및 이후 불안감 수준을 결정짓는 의미 있는 진동 이미지 정보 매개변수를 통계적으로 찾아낸 것이다. 이는 무엇보다 진폭 및 주파수 진동 이미지의 빠른 활동 신호 주파수 스펙트럼 구성과 관련이 있다.

불안감 수준을 결정짓는, 잘 알려진 상반된 현존하는 접근방법과는 다르게, 높은 불안감은 낮은 주파수 스펙트럼 밀도보다, 오히려 움직임이 높은 주파수 스펙트럼 밀도를 증대시킨다는 사실을 고려한 새로운 공식이 제시됐다.

Tn - 불안감 수준

Pi(f) - 진동 이미지 주파수 확산 전력 스펙트럼

fmax - 진동 이미지 주파수 확산 스펙트럼 최대 주파수

이전에 제시한 정보통계 매개변수와 유사한 제시된 공식은 0에서 1까지 불안감 수준을 측정하게 해준다. 또한 최소 수준의 불안감은 최소 측정치에 부합하고, 불안감 수준이 높은 이는 스트레스 수치가 1에 근접하게 나타난다. 진동 이미지의 빠른 신호 주파수 확산 스펙트럼은 조작자 혹은 시스템 활용자의 컨트롤을 위해 나타난다.

또 다른 실례는 진동 이미지 획득 및 이후 사람들간 호환성(화합) 수준을 결정짓는 진동 이미지의 통계적으로 의미 있는 정보적 매개변수를 찾는 것이다. 무엇보다 이는 각 개별자 주파수의 진동 이미지 히스토그램 구성으로 이루어진다.

호환성(화합) 수준을 결정짓는, 잘 알려진 상반되는 현존하는 접근방법과는 다르게, 분포 정상법칙에 대한 양측 모두의 총 진동 주파수 히스토그램에 대한 부합 근접성으로 특징되는 호환성(화합)가능성을 고려한 새로운 공식이 제시된다.

K- 최초 히스토그램의 정상화 상관계수

y': 일반 분포 밀도

이전에 제시된 매개변수와 유사하게 제안된 공식은 0에서 1까지의 호환(화합)가능성 수준을 측정한다. 또한 최소 측정치는 최소 호환(화합)가능성에 부합하며, 양 측의 높은 수준의 호환(화합)가능성 측정치는 1에 근접하게 나타난다.

다음은 진동 이미지 획득 및 인간의 거짓 수준을 결정짓는 진동 이미지의 통계적으로 의미 있는 정보 매개변수를 찾는 것이다. 무엇보다 상호간 최소한의 연관성을 가진 진동 이미지 매개변수 최대량의 일시적인 의존성 획득과 관련이 있다.

거짓말 탐지와 관련해 이미 잘 알려진 현존하는 정신생리학적 접근법과는 차이가 있는 새로운 공식이 제시됐다. 본 공식에서 거짓은, 보고시간과 비교한 진동 이미지 매개변수 측정치에서의 변화에 따라 결정된다. 제시된 공식은 언어 및 비언어적 거짓 여부를 정하게 해준다. 기본적으로 시간 차원에서의 언어적 거짓 결정은 실험 대상자의 대답 시작까지의 시간을 활용하는데, 비언어적인 거짓 분석의 경우 한 기간의 시간과 또 다른 기간의 시간 동안 매개변수와의 상호간 비교를 통해 이루어진다.

거짓 결정 시 활용되는 정신생리학적 상태의 통합적인 변화 수준(L)은 다음의 공식으로 계산된다.

Pi - 더욱 높게 설정된 한계치의 변화 매개변수

Pc - 거짓 수준 결정 시 변화하는 진동 이미지 매개변수

K - 측정된 Pi 의미 상관계수

n - 측정 매개변수 수(비주얼 매개변수 수와는 차이가 있을 수 있음)

m- 변화 매개변수 수

이전에 제시된 매개변수와 유사하게, 제시된 공식은 0에서 1까지의 거짓 수준을 측정하게 해준다. 또한 최소 수준의 거짓에는 최소 측정치가 부합되는데, 거짓의 최고수준은 1에 근접한 측정치를 가진다.

그렇다고 해서 본 발명이 상기 제시된 인간의 감정 및 정신생리학적 상태 측정 실례에 한해서만 활용되는 것은 아니다. 참고로 인간의 상태특성은 다양한 분류 시스템에 따라 200개가 넘게 분류돼있다. 무엇보다 본 발명은 머리 미세움직임 매개변수와 혹은 머리의 진동 이미지 매개변수를 통해 인간의 모든 상태를 묘사하게 해준다. 심리학에서 움직임에 관한 전통적인 개념이 신빙성 있는 통계 매개변수를 이용한 인간 머리의 반사 미세움직임으로 전환되는 것은 불명확한 원칙이라 생각할 수 있다. 하지만 제시된 접근법을 바탕으로 기술정보 시스템과 유사하게 인간의 상태를 결정지을 수 있으며, 인간 상태를 특징짓기 위한 정보 매개변수를 활용할 수 있다. 실례로, 공식에 따른 인간의 정보ㆍ열역학적 엔트로피 수준을 결정지을 수 있다는 것이다.

정보적 엔트로피 계산을 위한 근간으로써 머리 미세움직임 주파수 분포 히스토그램이 구성되며, 본 정보적 엔트로피 계산은 다음의 공식을 따른다.

열역학적 엔트로피 계산을 위한 근간으로써 머리의 미세움직임 주파수 분포 히스토그램이 구성되며, 본 열역학적 엔트로피(S) 계산은 다음의 공식을 따른다.

이러한 개별 정보통계 매개변수는 인간의 어떠한 감정상태를 더 잘 밝혀내기 위해 적용되는데, 실례로 실험진행을 통해 거짓 수준에 대한 정보적 엔트로피간 연관성이 크다는 사실을 알게 됐고, 열역학 엔트로피는 인간의 불안감 상태와 큰 연관이 있다는 사실을 알 수 있었다.

신체ㆍ열역학적 매개변수를 바탕으로 인간의 행동과 에너지, 카리스마 적인 측면을 더 완벽히 특징 및 결정지을 수 있었다. 실례로 진동 이미지 7. 1 버전 시스템을 이용해 진동 이미지 기록 최고 주파수를 나타낸 주파수 히스토그램을 바탕으로 평균제곱오차와 주파수 최고치간 차이를 바탕으로 인간의 에너지(E) 수 있었다.

머리의 반사적인 미세움직임의 양적 분석은 인간의 정신생리학적 상태 측정을 더욱 객관ㆍ과학적으로 가능하게 해주며, 의학ㆍ심리학ㆍ정신의학적, 그리고 일상생활에서의 많은 문제들을 해결할 수 있게 해준다. 공격성, 스트레스, 불안감, 잠재적 위험성 수준에 따른 공항 내 승객들의 정신감정 상태의 양적 평가 및 개발된 시스템과 관련한 독립적인 실험을 통해, 본 발명이 전문가들의 전문 평가에 긍정적(90%이상)으로 부합한다는 사실을 알 수 있었다. 이는 본 발명의 실질적인 실현 가능성을 확인해주는 것이다.

이하에서는 본 발명의 실험방법에 대해 살펴본다. 도2는 실험 진행 과정을 설명한다. 본 실험에서는 감정의 유발이 비교적 용이한 아이들을 대상으로 측정하였다. 리더로부터 들어오는 자극의 전후 반응은 변화량을 통한 패턴을 분석을 위해 사용되었다. 사사분면으로 나눠진 쾌-불쾌 축과 각성과 이완 축은 자극으로 사용되었다. 각 자극(중립, 쾌-각성, 쾌-이완, 불쾌-각성, 불쾌-이완)의 전후 데이터는 관련성을 찾기 위해 비교된다.

연구 대상인 총 다섯 명의 아이들은 여자 1명, 남자 4명, 평균 5. 6세 표준편차 0. 8로 구성되었다. 피실험자는 심혈관계나 신경학적으로 아무런 이상이 없고 피실험자는 독립적인 공간에 놓여져 있었다. 카메라와 피실험자 사이에는 아무런 방해요소가 없었고 하얀 배경의 측정공간에서 수행된다. 수집된 영상은 더 나은 결과를 위해 피실험자를 제외한 다른 것들은 마스킹 처리를 하였다.

연구 도구로서, 전술한 바와 같은 알고리즘에 따른 진동이미지 기술은 감정변화를 감지하기 위해 아이들의 머리에 점을 실시간으로 추적하여 알아내었다. 비디오 카메라의 기본 사양은 640x480픽셀의 해상도와 15. 0 프레임/초의 주파수, 80dB 다이나믹레인지(센서의 수광폭)이고, 대상과의 거리는 1. 5m에 위치하였다.

실제 실험에 있어서, 피실험자는 10분간 의자에 앉아 휴식을 취하고 사전측정으로 3분간 카메라를 응시하도록 하였다, 감정 유발 자극은 정신생리학적 반응의 패턴을 유발하였다. 약 20여분 동안 감정 유발 자극으로 (중립, 쾌-각성, 쾌-이완, 불쾌-각성, 불쾌-이완)의 다섯 가지 다른 구연 동화를 사용하였다. 또한 3분동안 사후 상태를 기록하였다.

측정된 영상은 전술한 바와 같이 진동이미지를 이용하는 알고리즘을 적용하는 진동이미지 처리 소프트웨어에 의해 분석되고, 분석 후 10가지 파라미터에 대한 평균 값을 분석 결과로 제시되었다. 다섯 명의 아이들의 데이터 수집 후에, 중립을 기준으로 4가지 자극에서의 차이를 구분 짓기 위해 공통 변수와 유효 변수로 분리한다. 추출된 유효 변수들은 러셀의 감정 모델을 기반으로 결정짓기 위해 사용된다.

위와 같은 실험 결과를 분석한 결과, 5명의 아이들을 통해 10가지 변수 중 각 자극 별로 추출된 유효 변수들을 찾아내었다. 중립자극을 기준으로 한 쾌-각성과 쾌-이완의 자극에서 추출된 공통 변수는 쾌 감정이 가지고 있는 공통 변수로써 사용될 수 있고, 쾌-각성과 불쾌-각성에서 추출된 변수는 각성 자극과 관련된 진동이미지 유효변수라고 할 수 있다. 이러한 작업을 반복하여 각 감정 축과 관련된 파라미터를 찾는다. 진동이미지 변수의 변화율의 패턴을 비교하여 ‘쾌-각성’과 ‘불쾌-각성’의 공통 변수는 공격성, 스트레스가 있고, ‘긴장/불안’과 ‘신경과민’은 ‘각성’과 ‘이완’을 나누는데 사용될 수 있는 것을 의미한다. 아래의 표1은 다른 자극들에서의 패턴변화에 대한 결과이다. 이런 변수들을 이용하여 도3과 같이 역으로 추론해 나갈 수 있는 알고리즘을 만들어낼 수 있을 것이다.

기술의 발달은 좀 더 나은 삶을 위해 기계중심에서 인간중심으로 변하고 있다. 이간 중심의 환경을 구축하기 위하여 다양한 생체 신호를 이용한 응용 기술들이 발달하고 있다. 안전도(EOG)와 근전도(EMG)를 이용한 안구이동 추적 시스템이나 뇌전도(EEG)를 이용한 전동 휠체어 제어시스템과 같이 컴퓨터나 주변 환경 스스로 인간의 상태를 파악하여 인간에게 보다 쾌적한 삶을 살 수 있게 하는 기술들이 개발되고 있다.

본 발명에서는 진동 이미지 기술을 이용해 추출된 변수들로부터 감정을 추론할 수 있는 알고리즘을 만들고 이를 통해 거짓말 여부를 판단하는 방법을 제안한다.

정신생리학적 메커니즘에 기반한 영상기술을 이용함으로써 사용자들이 거부감을 느낄 수 있는 접촉식 생체신호 측정기술을 대신할 수 있는 진동 이미지 기술을 이용하여 사용자들에게 거부감을 최소화하고 어느 곳에서나 활용 가능한 생체인식 기술을 증명하였다.

도4는 진동 이미지의 진폭 성분으로 형성되는 인체의 이미지 주위에 생체 에너지인 아우라가 방사되는 것을 도시한 것이다.

내부 생체신호이미지는 상술한 바와 같이, 각 부위의 위치 변화 크기를 색상으로 표현한 것이다. 이를 통해 피검자(1) 각 부위의 위치 변화 크기를 시각화할 수 있게 된다. 외부 생체신호 이미지는 내부 생체신호이미지의 주변에 나타나며, 평균 최고 진동 주파수를 색상으로 변조하여 나타낸다.

도 5는 인체의 실제 영상 주위에 생체 에너지인 생체신호이미지가 방사되는 것을 도시한다. 도 5b에서, 내부 생체신호이미지는 표현되지 않고 실제 영상 주위에 생체신호 이미지만이 표시되어 있다.

도 6, 7은 안정 상태와 비안정 상태에서의 생체신호 이미지를 각각 나타내는데, 도6은 안정적 또는 정삭적 상태, 그리고, 도7은 스트레스 상태에 있는 피검자의 생체신호 이미지이다.

도6을 살펴보면, 생체신호 이미지가 형태와 색깔 면에서 충분히 대칭을 이루고 있으며 생체신호이미지의 색이 선택한 색깔 눈금(전반적인 색-녹색)의 중간 정도로 나타나 있다. 이러한 생체 신호 이미지를 통해서 피검자가 안정적인 상태임을 알 수 있다.

반면에 도7을 살펴보면, 생체신호 이미지에서 아우라는 붉은 색 성분을 많이 포함하고 있다. 따라서, 이 상태에서의 피검자는 불안정한 상태임을 알 수 있다. 사람이 어떤 자극을 받게 되면, 예를 들어 화면을 통해 폭력 장면에 노출되게 되면, 피검자가 스트레스를 받거나 공격적인 상태가 되어 생체신호 이미지의 색깔은 보다 붉은 색으로 변화한다.

도 8은 안정 상태에 있는 인체 진동이미지의 주파수 구성요소 (생체신호 이미지)에 대한 분포 그래프이고, 도 7b는 스트레스 상태에 있는 인체 진동이미지의 주파수 구성요소 (생체신호 이미지)에 대한 분포 그래프이다.

도 9에 나와 있는 그래프는 정상적인 노동 상태에 있는 사람의 전형적인 주파수 분포를 보여주고 있다. 연구 결과에 의하면, 대다수의 사람들은 평온한 상태에서 일반적으로 싱글 모드의 분포 규칙에 흡사한 분포수 분포를 보인다. 화면에서 폭력 장면을 보는 것과 같은 특정한 부정적인 영향을 받을 경우 피실험자의 상태는 도 7처럼 변화한다. 만약 공포, 스트레스 및 공격적인 상태에서는 주파수 분포(M)의 평균(중간) 수치가 증가하는 쪽으로 이동한다. 안정적이고 편안한 상태에서는 주파수 분포 수치의(M) 평균(중간) 수치가 줄어드는 쪽으로 이동한다. 주파수 축(X)은 상대적인 단위뿐 아니라 실제 단위 혹은 시간(㎐나 sec. )로도 표현할 수 있다. 표시값 사이의 거리는 카메라의 신속한 처리에 대한 실제 매개변수들과 소프트웨어의 셋팅(처리하는 순서에서 이미지를 축적하는 시간과 이미지의 수)에 의해 결정된다.

도 10은 본 발명의 방법에 따라 측정된 피검자의 감성 상태를 나타내는 방사형 그래프(챠트)이다.

이하에서 본 발명에 따른 생리 신호 검출 방법이 이를 적용하여 거짓말을 탐지하는 기술에 대해 살펴 본다.

먼저 도11 에 도시된 바와 같이, 거짓말 탐지를 위해 대조분석을 실시하고(11), 정신생리적 변화를 겪는 생체, 즉 대조 분석 조사를 받는 검사자를 촬영하여 연속적으로 변화하는 영상을 획득하고(12), 각 영상을 처리(분석)하여 진동 매개 변수를 생성한다(13). 이렇게 얻어진 생리신호를 기존 폴리그라프상에서 분석하듯이 각 질문에 해당하는 대답의 반응을 보고 분석(14)하여 최종적으로 거짓말 여부를 판단한다(15).

이러한 방법은 도12 에 도시된 바와 같은 구조의 장치에 의해 구현될 수 있다. 도12 는 거짓말 탐지 장치를 기능적으로 블록화한 도면이다. 도12를 참조하면, 본 발명에 따른 생리 신호 검출장치는, 피검자를 촬영하는 카메라(21), 카메라로부터 얻어진 영상을 분석하는 처리부(22), 영상 처리부로부터의 신호를 이용하여 진동 파라미터(매개 변수)를 추출하고, 이것을 이용해 생리 신호를 생성하는 신호 분석부(23), 그리고 신호 분석부로부터 얻어진 생리신호를 응용하여 거짓말 여부를 판단하는 거짓말 여부 결정부(24)를 포함한다.

이하, 본 발명에 대해서 거짓말 여부를 판별(탐지)하는 과정에 대해 설명한다. 도13 에 도시된 바와 같이 피검자의 대조 분석 동영상으로부터 생리신호를 받아오고, 생리신호 중 거짓말 여부와 관련이 있는 후술하는 파라미터(INT2A, INT1A, INT0A, A1X, A1, A3, A4X, A4)만을 추출하고(31), 추출된 값을 이용하여 구체 분석을 실시하고(32), 대조 분석의 질문 중 RQ(Relevant Question, 사건질문), CQ(Comparative Question, 비교질문) 구간의 값을 최댓값(LD(M)), 평균값(LD(a)), 적분값(LD(i)), VR 값으로 비교하여(33) 각 과정에서의 판단 결과를 종합하고(34), 종합된 값을 바탕으로 최종적으로 거짓말 여부를 판단한다(35). 구체적으로, 비교질문(CQ)과 사건질문(RQ)에 대한 반응 변수 값의 비교를 통하여 CQ 값이 RQ 값보다 클 경우에는 진실반응으로, RQ 값이 CQ 값보다 클 경우에는 거짓반응으로 두 값의 차이 10% 범위내일 경우에는 판정불능으로 한다."

전술한 바와 같이 매개변수 A1∼A4는 진동의 진폭을 의미하는 것으로, A1은 2 개의 연이은 프레임간의 프레임차이, A3는 N개의 연이은 프레임간의 프레임 차이, A4는 10 개의 프레임을 필터링한 변수 A1의 수치를 말한다. INT2A는 10개의 연이은 진폭 값의 집적(集積), INT1A는 2개의 연이은 진폭 값의 집적, INT0A는 N개의 진폭 값의 집적을 말한다.

여기에서, VR (Visualization rate)은 CR (calculation rate) 과 대별되는 각 파라미터별 가중치를 의미한다. VR은 분석구간에서 임계값보다 큰 구간이 1개인 경우는 1, 임계값 보다 큰 구간이 2개인 경우는 2 로 가중치를 준다.

최댓값(LD(M)), 평균값(LD(a)), 적분값(LD(i)), VR값에서 평균을 이용한 거짓말 여부 판단은 아래의 수 16 ~ 수 18에 기초한다.

DI- 거짓 의심 구간 발견

NDI- 거짓 의심 구간 미발견

INC- 판정 불가

RQ- 사건과 관련성이 있는 질문에서의 반응

CQ- RQ와 대조하기 위한 질문에서의 반응

단, 평균값(LD(a)), 적분값(LD(i)), VR 값의 경우 RQ, CQ의 값 차이가 10% 미만이면 INC로 처리한다.

최댓값(LD(M)), 평균값(LD(a)), 적분값(LD(i)), VR 값에서 최대값을 이용한 거짓말 여부 판단은 수 19~수 21에 기초한다.

DI- 거짓 의심 구간 발견

NDI- 거짓 의심 구간 미발견

INC- 판정 불가

RQmax- 사건과 관련성이 있는 질문에서의 반응 중 최대값

CQmax- RQ와 대조하기 위한 질문에서의 반응 중 최대값

단, 평균값(LD(a)), 적분값(LD(i)), VR 값의 경우 RQ, CQ의 값 차이가 10% 미만이면 INC로 처리한다. 즉, CQ와 RQ에 대한 반응 변수값의 비교를 통하여 CQ 값이 RQ 값보다 클 경우에는 진실반응으로, RQ 값이 CQ 값보다 클 경우에는 거짓반응으로, 두 값의 차이 10% 범위내일 경우에는 판정불능으로 한다.

최댓값(LD(M)), 평균값(LD(a)), 적분값(LD(i)), VR 값을 종합하는 방법은 <수 22에 기초한다.

LD(M)max- 최대값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과

LD(M)- 최대값을 기준으로 한 구간 분석 결과의 평균값을 이용한 거짓말 여부 판단 결과

LD(a)max- 평균값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과

LD(a)- 평균값을 기준으로 한 구간 분석 결과의 평균값을 이용한 거짓말 여부 판단 결과

LD(i)max- 적분값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과

LD(i)- 적분값을 기준으로 한 구간 분석 결과의 평균값을 이용한 거짓말 여부 판단 결과

VRmax- VR값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과

종합된 결과를 이용하여 최종적으로 거짓말 여부를 판단하는 방법은 <수23>으로 이루어진다.

DInum- 거짓 의심 구간 발견 횟수

NDInum- 거짓 의심 구간 미발견 횟수

INCnum- 판정 불가 횟수

추가적으로 대조 분석 동영상으로부터 생리신호를 받아오는 방법은 도14 에 도시된 것과 같이 음성 인식을 통해 각 RQ, CQ, GQ와 같은 대조 구간을 구분 짓고 해당 구간에서의 값만을 받아오고, 구체 분석을 진행하는데 있어 최댓값(LD(M)), 평균값(LD(a)), 적분값(LD(i)), VR값을 비교하는 방법은 도15 에 도시된 것과 같은 표를 이용하여 수동으로 이루어지고, 도15의 표를 구성하는 파라미터들은 도14 에서 도시된 작업을 거쳐 생성된 도16의 데이터로 구성한다.

이하, 본 발명에 따른 거짓말 분석 방법에 대해 실험 예를 통해 보다 구체적으로 설명한다.

본 발명의 실험에서, 바이브라이미지(Vibra-image) 기술을 이용한 영상기반 계층적 진술분석용 거짓말탐지 시스템의 효용성을 측정하고자, 서울시경찰청 등 각 지방청들에 의뢰된 실제 사건들을 기존 거짓말 탐지기(미국의 스톨팅社 제품)와 비교 하여 그 일치성을 검토 하였다. 실제 사건을 1 차로 기존 거짓말탐지기로 검사하여 그 결과를 차트 분석하여 결과를 도출하고, 2차로 같은 피검자의 구조화된 진술내용이 녹화된 영상자료를 바이브라이미지 프로그램을 이용하여 원형 데이터(Raw Data)를 추출한 후 분석하여 기존 거짓말탐지기의 결과들과 비교 분석하여, 영상을 통한 진위여부에 관여되는 유효 변수를 찾고 평가함에 있어 그 가능성을 확인하고자 한다.

바이브라이미지의 기술에서 적용되는 개념으로써는 크게 전정-반사(VER, Vestibular Emotional Reflex)개념, 전정-시각 반사(VOR,Vestibulo-Ocular Reflex)개념, 대칭성(Symmetry) 개념 세가지를 들 수 있다(V. A. Minkin, 2007).

위 개념들의 핵심 요소인 전정기관은 귀속에 위치하며 균형감각을 담당하는 기관인데, 인간의 균형과 공간적인 정위에 기여하는 전정기관은 움직임과 평형감각을 제공해주는 감각기관이다. 전정기관은 자극에 반응하며 사람에게 작용하는 자극은 중력이다. 따라서 신체의 균형을 유지시키기 위해 전정기관은 항시 동작을 해야 하며, 수직적인 머리 근육 운동의 협력과 머리 근육의 협력(vertical head coordination)이 일정하게 이루어지며 프로세스에 따라 지속적인 반사(reflex)가 이루어지게 되는 것이다. 전정-시각 반사 개념은 머리움직임에 반대방향으로 눈을 움직이게 함으로써 머리가 움직이는 동안에 망막 위에서 영상을 안정화시키는 반사 눈 움직임(reflex eye movement) 이다. 이는 시각상의 중심에 영상을 위치시키고 유지되게 한다. 대칭성(symmetry)은 자연적인 머리 움직임은 특정 패턴에 따른 규칙적인 진동 움직임이 아니기 때문에 에너지 조절에 대한 수직적인 머리 근육운동의 협력을 이용한다. 때문에 자연스럽게 수직적인 중심점을 기준으로 좌, 우로 움직임이 생기게 되고 움직임의 정도에 따라 다른 분석이 가능하다.

인간 상태에 따라서 시그널들은 전정 수용기로부터 자율신경계까지 보내지고 뇌와 근육들은 다른 시간 차이로 전달되며 그것은 감정 상태와 전정계의 머리 근육운동의 협력, 또는 전정계에 의한 감정 반사(VER) 사이에 종속되어 있다는 것을 의미한다.

바이브라이미지 기술은 카메라에 의해 사람의 미세진동을 기록 분석하는 것으로써, 진동주파수와 진폭 매개변수의 개념으로 디지털적인 화소의 미세진동을 측정하여 감정의 레벨을 시각화하는 기술이다.

인간 머리의 미세움직임은 사람의 전정-감정반응(VER)기능과 관련이 있는데, 프레임에 축적된 3차원적인 머리-목 움직임과 유동을 컨트롤함으로써 인간의 감정을 인식하게 해준다. 바이브라이미지로 피검자의 진술녹화영상이 분석되는 화면은 예를 들어 도17과 같다.

대조분석은 기존 거짓말탐지기 검사에 사용되는 피검자의 진술을 확인하는 일반질문 검사기법으로 킬러기법, 백스터기법, 유타기법 등이 있다. 일반적으로 구조화된 질문양식이 있고, 그에 대해 피검자는 “예, 아니오”의 형 태의 답변만 할 수 있다.

영상기반 계층적 진술분석은 기존 진술 분석과는 달리 서면진술이 아닌, 피검자와 검사자의 구조화 또는 반(半)구조화된 인터뷰 형식 의 구술진술 영상 속에서 정신생리적인 신호를 탐지하고 분석하여 피검자의 진위 수준을 분석하는 방법이다

도18을 본 발명의 실험 순서를 개략적으로 도시한다.

I단계: 안정 단계

본 질문이 진행되는 II단계를 프로그래밍(programming) 하기 위한 심리적으로 준비하는 적응 개념으로 진행된다.

I-1. 안정 상태 측정(State Tracking, 이하 "ST")은 초기 베이스 라인(baseline) 설정을 위해 피면담자로 하여금 1분간 진술 없이 정면응시를 하도록 하여 어떤 자극이 없는 안정화된 상태를 측정한다.

I-2. 적응 단계(Adaptive Preparation, 이하 "AP") 은 본 질문 전 심리적 준비를 위한 웜업(warm-up) 질문을 하는 단계로서 라포 형성 및 감정적 요소가 크게 개입되지 않는 무난하고 일반적 이고 개인적인 주제를 질문하게 된다. 예를 들어, “주말에는 주로 무엇을 하며 여가시간을 보내 나요?” 또는 “즐겨 하는 취미생활에 대해 말씀해주세요”를 질문한다.

II. 질문 단계

II-1. 제기 단계(Issue Recollection, 이하 IR)은 사건의 핵심주제와 그 과정을 회상하여 3분 이내로 자유 진술하도록 요구한다.

예를 들어, “그날 00시부터 00까지 그 집에서 시계가 없어지기까지의 과정에 대해 3분이 내로 설명해보세요”라는 질문을 통해 자유 진술을 요구할 수 있다.

II-2. 심화 단계(Concrete Clarification, 이하 CC)은 IR단계에서 진술된 내용에 대한 심화질 문의 개념으로 빈약한 진술의 구체화, 핵심 사항의 명료화를 위한 최소 2개 이상의 추가 질문으로 구성된다.

CC에는 증거에 대한 모순을 설명하도록 하는 질문과 본인이 의심받는 이 이유에 대한 설명을 요구하는 질문(명확한 사실→징후적인 사실→암시하는 사실 순으로), 은폐나 누락 또는 빈약한 진술에 대한 구체화 요구, 자신이 결백한 이유에 대한 적극적 해명 요구, 인지 면담에서의 관점 바꾸기나 순서 바 꾸기 등의 질문들이 들어갈 수 있다.

단, 이 과정에서 최대한 개방형 질문을 하도록 하며 유도질문이나 압박질문은 배제되며 단답형이 아닌 자발적으로 풍부한 진술이 진행되도록 질문한다.

III. 종료 단계

III-1. Ending Preparation(이하 EP로 표기)은 검사를 마무리 하는 심리적 준비과정으로 진행되며 추가정보에 대한 파악과 피면담자의 자기 변호의 기회 확대를 위한 형식적이고 의례상 질문이다. (예, “마지막으로 이 사건에 대해 꼭 말하고 싶은 것이 있습니까? “마지막으로 이 사건과 관련해서 제가 꼭 알아야 할 것이 또 있습니까?”)

III-2. 정적 단계(Arrange Tracking, 이하 AT로 표기)은 후반 안정기를 추적하는 단계로 다시 1 분간 진술 없이 정면응시를 요구하고 종료함으로써 앞의 ST값과 비교하게 된다.

이하에서는 본 발명에 따라 거짓말 탐지를 위한 영상 분석 방법에 대해 설명한다.

<녹화 조건>

피검자는 기존의 거짓말탐지검사가 진행 되기 전 상기 질문법에 맞추어 진술분석을 진 행하며 진술 분석 과정을 웹캠을 통해 녹화하 여 녹화된 영상 파일을 이용하여 분석을 진행 한다. 단, 바이브라이미지 소개에서 기록한 것과 같이 영상 컨테이너는 AVI 포맷이어야 하며, 인코딩 방식으로는 Uncompressed RGB 형태로 녹화가 되어야 한다.

때문에 CCTV 영상 녹화 목적으로 개발된 'QPlayCap'을 이용하였으며 본 소프트웨어는 배포가 가능한 프리웨어(freeware)다. 영상 분석에는 윈도우 기반의 PC가 필요하고 성능은 2.0Ghz 이상의 두 개 이상의 스레드(thread)를 지원하는 CPU, 2GB 이상의 메모리가 필요하다. 분석에 사용된 PC는 본 사양을 충족하는 사양이다.

<분석 시료 및 분석 절차>

본 연구의 시료는 2014년 2월부터 서울시 경찰청과 전북시경찰청, 충북시경찰청으로부터 각각 68개, 17개, 8개의 진술녹화 영상을 받은 것 중 분석에 적합하지 않은 시료를 제외하고 서울시경찰청의 42개, 전북 시경찰청의 15개, 충북 시경찰청의 7개 총 64개의 영상데이터를 시료로 분석하였다. 진술분석 시료들은 기존 거짓말탐지검사에서 비교적 명확하게 판정이 난 피검자들의 시료들로 구성되어 있다.

영상분석에서 사용되는 구간은 신뢰도 확보를 위해 각 검사관의 영향이 가장 미치지 않으면서 피검자의 정신생체신호의 순수한 베이스 라인(base-line)을 확인할 수 있는 사전ST와 사후AT 구간을 비교하는 것으로 잡았으며, 그 구간의 각 매개 변수별 표준편차의 값의 평균을 기준으로 하였다. ST와 AT구간의 초반 20초는 보 다 정확한 안정화 단계의 정신생체 신호 값을 측정하기 위해 제외되고 계산되었다.

질문법에 맞추어 측정된 각 5-10분 정도 의 영상을 바이브라이미지 프로그램으로 불러 와서 측정을 시작하면 총 69가지의 바이브라 변수가 생성된다.

분석은 64개 시료와 모든 바이브라변수 에 대해 처음 안정기의 ST구간과 사후 안정기 의 AT구간에 대한 각 변수별 표준편차를 구 한다. 그리고, 그 표준편차들을 기존 거짓말 탐지검사에서 거짓(DI)와 거짓아님(NDI)으로 판정이 난 데이터로 분류한다. 모든 변수에 대하여 DI, NDI의 표준편차의 평균을 구한 후 ST 와 AT구간에서의 변화율을 본다(도19 참조)

도19는 ST와 AT구간에서 각 변수별 표 준편차의 평균값의 변화율 스캐터 그래프이다. 도19에서 DI는 삼각형, NDI는 원형으로 표시되어 있으며, X축 좌측부터 순서대로 INT2A, INT1A, INT0A, C3, FN01, X1이다.

바이브라이미지 파라미터들은 크게 진동 진폭 파라미터(A계열)와 진동 주파수 파라미터 (F계열), 그리고 대칭성과 관련된 파라미터(S 계열), 그 조합들로 이루어진 (P계열)로 나타나는데 전체 변수들의 표준편차의 평균값과 표준오차막대를 통해 오차막대가 겹치지 않는 유의미한 바이브라 변수는 INT2A, INT1A, INT0A, A1X, A1, A3, A4X, A4 총 8개의 변수로 나타났다(도20, 도21a~21g). 각 변수들의 의미는 다음과 같다.

매개변수 A1∼A4는 진동의 진폭을 의미하는 것이다. 여기에서, A1은 2 개의 연이은 프레임간의 프레임차이 즉, 두 프레임간의 픽셀 밝기 값의 차이를 모두 더하여 지정된 밝기 값으로 나눈 값이다. A2는 열 프레임간의 픽셀 밝기 값의 차이를 모두 더하여 지정된 밝기 값으로 나눈 값이다. A3는 n개의 연이은 프레임간의 프레임 차이, 즉, n개의 프레임 간의 픽셀 밝기 값의 차이를 모두 더하여 지정된 밝기 값으로 나눈 값이다. 그리고, A4는 10 개의 프레임을 필터링한 변수 A1의 수치를 말한다. 그리고, A1X, A4X는 A1, A4 각각에 대해 계산 주기를 1/5로 축소시킨 값을 나타낸다.

Ca는 주어진 영역 내에서의 픽셀의 수, Cn 은 지정된 밝기 값 이상을 가지는 픽셀, I는 해당 픽셀의 밝기 값이다. 그리고, INTEGR2A(INT2A)는 10개의 연이은 진폭 값의 집적(集積), INTEGR1A(INT1A)는 2개의 연이은 진폭 값의 집적, INTEGR0A(INT0A)는 100개의 진폭 값의 집적을 말한다.

아래의 표2는 상기 8개의 변수(INT2A, INT1A, INT0A, A1X, A1, A3, A4X, A4)의 DI, NDI별 ST와 AT구간의 표준편차의 평균값을 보여 준다.

변수	판정	ST표준편차	AT표준편차
INT2A	DI	1.705414561	5.874764465
INT2A	NDI	5.815323191	3.559773972
INT1A	DI	1.29207956	4.477642012
INT1A	NDI	5.122958741	2.724356877
INT0A	DI	0.533670826	1.567165346
INT0A	NDI	2.051277313	1.008865469
A1X	DI	0.022223139	0.068672766
A1X	NDI	0.067571792	0.0385023
A1	DI	0.128552334	0.388887857
A1	NDI	0.386579294	0.245803341
A3	DI	1.53244868	3.708567997
A3	NDI	3.6197355	2.174494412
A4X	DI	0.014232559	0.058963932
A4X	NDI	0.059123002	0.029261681
A4	DI	0.077705751	0.270309635
A4	NDI	0.311361106	0.161979558

도21a 내지 도21h는 각 매개 변수의 ST와 AT 구간에서 DI, NDI 별 표준편차의 평균값과 표준 오차 막대그래프이다.

8개 바이브라 변수의 ST구간과 AT구간의 DI, NDI별 표준편차의 평균값을 이용한 데이터 분석 결과, 아래의 표3에 나타내 보인 바와 같이, DI는 ST와 AT구간에서의 최소 최대 변화율이 정적(positively)으로 큰 특징을 보였고, NDI는 ST와 AT구간에서의 최소 최대 변화율이 부적(negatively)으로 작은 특징을 보였다.

	DI		NDI
	STAT SD MIN ROC%	STAT SD MAX ROC%	STAT SD MIN ROC%	STAT SD MAX ROC%
INT2A	134.97	405.016	-14.3	-56.276
INT1A	136.38	408.048	-25.55	-62.015
INT0A	100.31	330.513	-31.14	-64.87
A1X	110.78	353.027	-20.23	-59.3
A1	106.35	343.496	-10.98	-54.583
A3	65.073	254.785	-15.9	-57.091
A4X	182.59	507.363	-30.71	-64.648
A4	137.28	409.98	-27.17	-62.841

그리고 DI의 경우 ST구간의 표준편차보다 AT구간의 표준편차가 더 크며, NDI의 경우는 반대로 ST구간의 표준편차가 AT구간의 표준 보다 더 컸다(표 3). 그러나 개별 시료들을 대상으로 이 1차 기준을 적용시켜 8개 변수의 표준편차의 평균값들을 살펴본 결과, 1차 기준과 기존 거짓말탐지 검사 결과와의 일치율을 보이는 아래 표4에 나타내 보인 바와 같이, 기존 거짓말 탐지검사 결과와의 일치율이 현저히 떨어 짐을 알 수 있었다.

여기에서,

: Standard Deviation (표준편차),

: Standard Error (표준오차), *

: State Tracking (진술 전 1분간 정면응시),

: Arrange Tracking (진술 후 1분간 정면응시)이다. 위의 식에서, Droc 는 DI 판정된 데이터에서 표준오차가 포함된 ST구간 표준편차와 AT구간 표준편차의 변화율이며, Nroc는 판정된 데이터에서 표준오차가 포함된 ST구간 표준편차와 AT구간 표준편차의 변화율을 나타낸다.

중간 판정결과(R)는 아래의 식으로부터 얻어진다.

그리고 최종 결과(Result)아래의 식으로부터 구한다.

여기에서, X: 영상으로부터 취득된 데이터의 ST구간 표준편차와 AT구간 표준편차의 변화율이며, 최종 결과(Result)가 0 또는 3이면 판정불가, 1이면 거짓 징후 농후(DI), 그리고 2이면 거짓 징후 적음(NDI)으로 판정한다.

변수명	일치율 %
INT2A	50
INT1A	45.3
INT0A	51.6
A1X	50
A1	51.6
A3	50
A4X	51.6
A4	45.3

이를 다시 8개의 유의미변수들의 ST와 AT구간에서 각 표준오차의 상한과 하한범위의 중간 값을 임계값으로 설정하여 DI와 NDI를 구분하여 일치율을 살펴보았다.

DI의 임계값: ST의 표준오차 상한 + {(AT 하한-ST상한)/2}

NDI의 임계값: AT의 표준오차 상한 + {(ST 하한-AT상한)/2}

이 수식을 기준으로 2차 기준은 ST구간의 표준오차 임계값을 기준으로 DI는 임계값보다 작을 경우이고 NDI는 임계값보다 클 경우로 구분하여 일치율을 살펴보았다. 또 다른 3차 기준은 AT구간의 표준오차 임계값을 기준으로 DI는 임계값보다 클 경우이고 NDI는 임계값 보다 작을 경우로 구분하여 일치율을 살펴보았는데, 그것의 결과는 표 5과 같다.

위에서, Rst: ST 구간에서의 판정 결과, Xst: 영상으로부터 취득된 데이터의 ST구간 표준 편차이다.

판정 결과(Result)는 아래 식에 의해 얻어진다.

거짓 징후 판단에 있어서, 판정결과(Result)가 0이면 거짓 징후 적음(NDI), 1이면 판정 불능, 2이면 거짓 징후 농후(DI)로 판정한다.

변수명	ST임계 %	AT임계 %
INT2A	46.9	59.4
INT1A	48.4	56.3
INT0A	51.6	62.5
A1X	46.9	57.8
A1	48.4	59.4
A3	53.1	62.5
A4X	50	56.3
A4	48.4	56.3

이상으로 본 결과 ST의 표준오차 임계값으로 판정한 것보다는 AT의 표준오차 임계값으로 판정하는 것이 보다 높은 일치율을 보이는 것으로 나타났다.

이 같은 일치율의 낮은 확률은 일단 개별 시료들 내에서 이들 변수 값들의 편차 값들이 매우 큰 폭으로 변화하기 때문에 특정한 임계 값을 기준으로 DI와 NDI를 나누는 것은 적절치 않았기 때문으로 보인다. 또한 이들 8개의 변수는 움직임에 매우 민감한 영향을 받는 변 수들인데, 안정기 구간 동안에도 피검자들이 움직이거나 기침을 하거나 고개를 갑자기 돌리 거나 하는 등의 움직임이 있는 경우가 많아 이들 움직임으로 인한 노이즈가 고려되지 않고 일괄적으로 데이터 값들이 계산되었기 때문이기도 하다. 그리고 어떤 피검자들의 데이터의 경우는 일반적이지 않게 안정화 단계에서도 과도하게 높거나 낮은 베이스라인을 가지고 있는 경우도 있었는데, 이들 일반적이지 않은 개별 데이터들은 평균값에 영향을 주어 결국 부적절한 임계값 설정이 된 요인이기도 하다.

향후 연구의 과제로는 개별 데이터 안에 서의 심한 노이즈 및 지나치게 높거나 낮은 베이스라인을 보이는 비정상 데이터들을 고려 하여 적절한 기준으로 제거시킨 후에 임계 범 위를 재설정해야 할 것이다. 또한 사건별로 트 라우마적인 감정적 동요가 매우 심한 사건(예, 성 관련 사건 등)의 경우는 바이브라이미지 프로그램 상에서 매우 큰 감정적 변화값을 보일 수 있으므로 이들 사건들은 따로 분류하여 일치율을 재검증하는 방법도 필요하다..

본 발명의 연구에 수반되는 실험을 통해 우리는 비접촉식으로 인간의 정신생리학적 상태에서 거짓말을 추론하는 알고리즘을 설계하였다. 감정 추론을 위한 유효 변수는 중립대비 2차원 감정 모델의 유발 자극간의 차이와 수반되는 특징들로 인해 증명된 진동 이미지 변수들로 찾아내었다. 본 발명을 통하여 감정 상태에 따른 거짓말에 관련된 유효 변수들을 찾아내었고 이를 통해 거짓말 여부를 추론 가능한 알고리즘 설계하였다. 같은 자극을 주었을 시 같은 패턴을 보이는 파라미터를 찾아냄으로써 진동 이미지 기술이 감정 상태를 추론하고 감정 상태를 분류하는 데에 기여할 수 있음을 확인할 수 있었다. 한계점으로는 피실험자의 수가 적어 알고리즘의 정확성을 높이는데 한계가 있을 수 있고 각 변수의 수치적인 표현의 기준점을 찾지 못한 점등이 한계점일 수 있겠다. 그러나 영상만을 이용하여 인간의 기본 감정을 추론하여 유추해낼 수 있는 거짓말을 분석하는 알고리즘을 만듦으로써 거짓말은 분석하는 새로운 측정방법으로의 가능성을 보여주었다.

지금까지, 본원 다양한 모범적 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 다양한 실시 예들의 일부임이 이해되어야 할 것이다. 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

Claims

카메라를 이용해 소정의 질문에 대한 진술 전후의 동영상을 피검자로부터 획득하는 단계;
상기 동영상으로부터 파라미터 A1, A3, A4, A1X, A4X, INT0A, INT1A, INT2A 중 적어도 하나를 추출하는 단계;
위의 단계에서 추출된 파라미터로부터 표준 편차를 계산하는 단계;
상기 표준 편차를 이용하여 피검자의 거짓 여부를 판단하는 단계;를 포함하고,
다음의 식들을 만족하는 거짓말 탐지 방법.

여기에서,
SD: Standard Deviation (표준편차)
SE: Standard Error (표준오차),
ST: State Tracking (진술 전 정면응시)
AT: Arrange Tracking (진술 후 정면응시)
Droc: DI 판정된 데이터에서 표준오차가 포함된 ST구간 표준편차와 AT구간 표준편차의 변화율
Nroc: NDI로 판정된 데이터에서 표준오차가 포함된 ST구간 표준편차와 AT구간 표준편차의 변화율
DI:거짓 의심 구간 발견
NDI: 거짓 의심 구간 미발견
A1: 2개의 연이은 프레임간의 픽셀 밝기 값의 차이를 모두 더하여 지정된 밝기 값으로 나눈 값
A3: n개의 프레임 간의 픽셀 밝기 값의 차이를 모두 더하여 지정된 밝기 값으로 나눈 값
A4: 10 개의 프레임을 필터링한 변수 A1의 수치
A1X, A4X: A1, A4 각각에 대해 계산 주기를 1/5로 축소시킨 값
INT2A: 10개의 연이은 진폭 값의 집적(集積)
INT1A: 2개의 연이은 진폭 값의 집적,
INT0A는 100개의 진폭 값의 집적.
제1항에 있어서,
상기의 진술 전(ST 구간)과 후(AT 구간)의 표준편차로부터 표준편차의 하한값 (min), 상한 (max)그리고 임계값(Threshold)을 구하는 아래의 식들에 따른 알고리즘을 갖는 거짓말 탐지 방법.
제1항에 있어서,
상기 표준편차의 평균값의 변화율을 구하고, 상기 변화율을 이용하여 거짓 여부를 판단하되, ST 구간과 AT 구간의 표준편차 변화율을 이용하여 판정결과(Result)를 구하고, 판정결과(Result)가 0이면 거짓 징후 적음(NDI), 1이면 판정 불능, 2이면 거짓(DI)으로 판정하는 거짓말 탐지 방법.

위에서,
Rst: ST 구간에서의 판정 결과
Xst: 영상으로부터 취득된 데이터의 ST구간 표준 편차
Rat: AT 구간에서의 판정 결과
Xat: 영상으로부터 취득된 데이터의 AT 구간 표준 편차
제1항에 있어서,
상기 동영상을 획득하는 단계에서,
피검자에 대한 심리적 준비단계;
본 질문 단계; 그리고
마무리 단계;를 포함하는 것을 특징으로 하는 거짓말 탐지 방법.
제4항에 있어서,
상기 심리적 준비 단계는 안정단계 및 적응단계;를 포함하고,
상기 본 질문 단계는 제기단계와 심화단계;를 포함하고, 그리고
상기 마무리 단계는 종료 단계와 정적 단계;를 포함하는 것을 특징으로 하는 거짓말 탐지 방법.
제5항에 있어서,
피검자에게 대조 분석 질문인 비교질문(CQ: Comparative Question)과 사건질문 (RQ: Relevant Question)을 제시하고, 상기, CQ, RQ 질문에 대한 반응 변수 값의 비교를 통하여 CQ 값이 RQ 값보다 클 경우에는 진실반응으로, RQ 값이 CQ 값보다 클 경우에는 거짓반응으로, 두 값의 차이 10% 범위내일 경우에는 판정불능으로 판단하는 것을 특징으로 하는 거짓말 탐지 방법.
제1항 내지 제5항 중의 어느 한 항에 있어서,
피검자에게 대조 분석 질문인 비교질문(CQ: Comparative Question)과 사건질문 (RQ: Relevant Question)을 제시하고, 상기, CQ, RQ 질문에 대한 반응 변수 값의 비교를 통하여 CQ 값이 RQ 값보다 클 경우에는 진실반응으로, RQ 값이 CQ 값보다 클 경우에는 거짓반응으로, 두 값의 차이 10% 범위내일 경우에는 판정불능으로 판단하는 것을 특징으로 하는 거짓말 탐지 방법.
제7항에 있어서,
상기 대조 분석 질문을 제시하여 거짓말 여부를 판단하는 알고리즘을 아래의 식에 따르는 것을 특징으로 하는 거짓말 탐지 방법.

LD(M)max: 최대값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과
LD(M): 최대값을 기준으로 한 구간 분석 결과의 평균값을 이용한 거짓말 여부 판단 결과
LD(a)max: 평균값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과
LD(a): 평균값을 기준으로 한 구간 분석 결과의 평균값을 이용한 거짓말 여부 판단 결과
LD(i)max: 적분값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과
LD(i): 적분값을 기준으로 한 구간 분석 결과의 평균값을 이용한 거짓말 여부 판단 결과
VR: Visualization rate
VRmax: VR값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과
제1항 내지 제6항 중의 어느 한 항에 기재된 방법을 수행하는 거짓말 탐지 장치에 있어서,
상기 피검자를 촬영하는 카메라;
카메라로부터 얻어진 영상을 분석하는 처리부;
영상 처리부로부터의 신호를 이용하여 진동 파라미터(매개 변수)를 추출하고, 이것을 이용해 생리 신호를 생성하는 신호 분석부; 그리고 신호 분석부로부터 얻어진 생리신호를 응용하여 거짓말 여부를 판단하는 거짓말 여부 결정부;를 포함하는 거짓말 탐지 장치.
제9항에 있어서,
피검자에게 대조 분석 질문인 비교질문(CQ: Comparative Question)과 사건질문 (RQ: Relevant Question)을 제시하고, 상기, CQ, RQ 질문에 대한 반응 변수 값의 비교를 통하여 CQ 값이 RQ 값보다 클 경우에는 진실반응으로, RQ 값이 CQ 값보다 클 경우에는 거짓반응으로, 두 값의 차이 10% 범위내일 경우에는 판정불능으로 판단하는 것을 특징으로 하는 거짓말 탐지 장치.
제10항에 있어서,
상기 대조 분석 질문을 제시하여 거짓말 여부를 판단하는 알고리즘을 아래의 식에 따르는 것을 특징으로 하는 거짓말 탐지 장치.

LD(M)max: 최대값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과
LD(M): 최대값을 기준으로 한 구간 분석 결과의 평균값을 이용한 거짓말 여부 판단 결과
LD(a)max: 평균값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과
LD(a): 평균값을 기준으로 한 구간 분석 결과의 평균값을 이용한 거짓말 여부 판단 결과
LD(i)max: 적분값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과
LD(i): 적분값을 기준으로 한 구간 분석 결과의 평균값을 이용한 거짓말 여부 판단 결과
VR: Visualization rate
VRmax: VR값을 기준으로 한 구간 분석 결과 중 최대값을 이용한 거짓말 여부 판단 결과.