KR20150117614A - 진동 이미지 기술을 이용하여 감성을 분류하는 방법 - Google Patents

Abstract

대상의 정신생리학적 매개변수를 신뢰할 수 있고 정확하게 측정하는 방법 및 장치에 관해 기술된다. 측정 방법은 동영상을 통해 피험자의 정신생리학적인 피험자로부터 동영상을 획득하는 단계, 상기 동영상으로부터 피험자의 진동 파라미터를 측정하는 단계, 상기 진동 파라미터에 기초하여 생체신호 이미지를 생성하는 단계, 그리고 상기 생체신호 이미지를 처리하여 피험자의 정신생리학적인 반응 매개변수를 생성하는 단계를 포함한다.

Description

진동 이미지 기술을 이용하여 감성을 분류하는 방법{A Method for Emotional classification using vibraimage technology}

본 발명은 피험자의 생체로부터 획득한 동영상을 이용하여 생리 신호를 획득하여 이를 이용해 감성 상태를 분류하는 방법에 관한 것이다.

인체에 관한 정신 생리학적 통합 정보를 구하기 위한 많은 연구가 있어 왔으며, 현재까지 구체적인 접촉식 방법, 장치 및 시스템이 몇 가지 알려져 있다. 이들은 인간의 감정적 및 심리적 상태를 평가하고 의학적 진단을 내리기 위해 잘 알려져 있는 인체의 생리학적 매개변수를 사용한다

종래의 방법에서는 인체의 상태를 분석하는 작업은 일반적으로 몇 시간이 소요될 뿐 아니라 피검자의 몸에 센서를 단단하게 부착해야 하며 숙련된 테스트 진행 요원의 참여가 필요하다. 따라서 인체의 정신생리학적 진단을 내리기 위해 위와 같은 시스템을 광범위하게 활용하기에는 현실적인 제약이 많다.

이런 시스템들은 종합적인 인체의 상태를 분석한다는 관점에서는 충분한 정보를 제공해 주지만 센서를 인체에 부착해야 한다는 점에서 사용에 제약이 있으며, 게다가 국소 부위에서 얻은 통합 정보는 분석이 용이하지 않다는 문제점이 있다.

이러한 접촉식 방법의 다른 문제점은 접촉식 센서를 사용하기 때문에 기술적으로 피실험자 몰래 실험을 진행하기 불가능하다는 것이다. 접촉식 정신생리학적 테스트를 받는 사람은 그 사실을 항상 인지하고 있으며 이는 테스트 결과 분석에 또 다른 어려움을 가중한다. 왜냐하면 무엇인가를 숨기려고 하는 사람들은 정보를 감추기 위해 노력하며 아무런 잘못을 저지르지 않은 사람도 테스트 내내 스트레스와 불안감을 느끼기는 마찬가지이기 때문이다.

US 7301465 B JP 7-108848 A JP 2010-186276 A JP 4702100 B JP 4458146 B JP 2011-128966 A JP 7-296299 A JP 2002-370559 A JP 2007-293587 A JP 2007-257043 A JP 4123077 B WO 03-049967 A JP 4743137 B JP 4259585 B JP 10-74595 A JP 2002-46499 A US 2011-37595 A

본 발명은 동영상을 기반으로 신뢰도가 높은 피험자의 정신생리학적 매개변수를 측정하여 이로부터 피험자의 감성 상태를 분류하는 방법을 제공한다.

본 발명에 따른 생체 신호 획득 방법:은

피험자를 촬영하여 복수의 연속적인 영상 정보를 획득하는 단계;

상기 영상 정보를 분석하여 상기 피험자의 진동 파라미터를 추출하는 단계;

상기 진동 파라미터에 기초하여 정신생리학적인 매개변수를 생성하는 단계;

상기 매개 변수로부터 상기 피험자의 생리학적 신호를 추출하는 단계; 그리고

상기 생리학적 신호로부터 피험자의 감성을 분류하는 단계:를 포함한다.

상기와 같은 본 발명에 따르면, 대상의 정신생리학적 매개변수를 신뢰할 수 있고 정확하게 측정할 수 있는 카메라를 이용하여 피험자의 감성 상태를 분류한다.

도1은 제임스 러셀에 의한 이차원 감성 모델을 도시한다.
도2는 본 발명에 따른 감성 분류 과정을 설명하는 도면이다.
도3은 본 발명에 따른 감성 분류 알고리즘의 도식적 다이어그램이다.
도4는 진동 이미지의 진폭 성분으로 형성되는 피험자 인체 이미지 주위로 생체에너지(아우라)가 방사되는 것을 도시한다.
도5는 인체의 실제 영상 주위로 방사되는 생체 에너지를 도시한다.
도6, 7은 피험자의 상태에 따른 생체 이미지 방사를 도시하는 것으로, 도6은 안정적인 상태, 도7은 불안정한 스트레스 상태일 경우를 나타낸다.
도 8은 안정 상태에 있는 인체 진동이미지의 주파수 구성 요소(생체신호 이미지)에 대한 분포 그래프이다.
도9는 스트레스 상태에 있는 인체 진동이미지의 주파수 구성요소 (생체신호 이미지)에 대한 분포 그래프이다.
도10은 본 발명의 방법에 따라 피험자의 감성 상태를 나타내는 방사형 그래프(챠트)이다.

이하, 첨부된 도면을 참고하면서 본 발명에 따른 진동 이미지를 이용한 감성 분류 방법에 대해 살펴본다.

다양한 이론학자들은 모든 인간이 타고난 기본 감정을 가지고 있다고 생각하였다. 몇몇 연구자원들은 하나 이상의 차원에 따라 감정을 규정하는데 1897년 감정은 삼차원으로 설명되었다. "쾌＆불쾌", "각성＆진정", "압박＆완화". 1980년에는, James Russell에 의해 개발된 모델인 이차원 원형 공간에서 감정을 분류하였다. 도1에 도시된 바와 같이, Russell의 모형에서 감정의 언어들은 각성과 밸런스 차원을 갖는 이차원 원형 공간에 기록된다. 도1에서 각성은 세로축에 나타나고, 정서(쾌/불쾌)은 가로축에 나타난다.

진동이미지는 전정-감정 반사(Vestibulo-Emotional Reflex, VER)의 정보로 특징지어진 머리 움직임 활동을 표현한다. 진동이미지 시스템은 일반적인 영상 처리 과정으로 인간의 감정, 정신 상태, 거짓말 요소 등을 감지한다. 진동이미지 기술은 1. 공격성, 2. 스트레스, 3.긴장/불안, 4. 의심, 5. 밸런스, 6. 매력, 7. 에너지, 8. 자신감, 9. 억제, 10. 신경과민 등의 10가지 변수를 얻는다. 영상과 진동이미지 변환은 신체의 기능적 상태와 관련된 머리 움직임을 실시간 측정된 미적분하여 계산된 변수로 제공한다. 각 변수는 아래의 식으로부터 계산되고 진폭과 주파수로 표현된다.

여기서 A는 진폭, N은 프레임 수,

는 i번째 프레임에서의 x, y점에서의 신호 진폭,

는 i+1번째 프레임에서의 x, y 점에서의 신호 진폭이다. 주파수 성분은 수2로부터 계산된다.

본 발명에서는 매개변수로부터 뇌파 신호에 상응하는 신호 성분을 추출하며, 이를 통해서 피험자의 생리, 심리적 상태를 평가하게 된다.

이하, 본 발명에 따른 피험자의 감성 분류 방법의 설명에 앞서서 본 발명에서 이용하는 진동 매개변수에 관련하여, 생체 각 부위의 진동과 정신생리학적 매개변수와의 관계에 대해 설명 한다.

소립자 물리학에서는 물질의 파동 특성과 미립자 특성 사이의 명확한 경계가 존재하지 않으며 광자 에너지(ε)는 플랑크 상수를 통해 광자 에너지의 주파수(ν)와 연결되어 있다고 알려져 있다(ε = hν). 생물체의 각 부위에서 발산되는 에너지는 공간 내부에서의 해당 부위의 진동 주파수와 비례한다는 가설이 나온다. 결과적으로 말해, 생물체에서 나오는 에너지를 기록하기 위해서는 생물체의 여러 부위에서 발생하는 진동을(공간 내에서 혹은 각 부위 사이의) 기록해야 한다. 이 과정은 충분한 해상력과 빠른 처리 능력을 보유하고 있는 비접촉식 텔레비전 시스템을 이용하면 가능하다. 게다가 구한 생체신호이미지의 주파수 구성요소는(즉, 각각의 부위에서 일어나는 진동(위치 변화, 파동) 주파수)는 피관찰 생물의 생체에너지 즉 정신생리학적 특성에 있어서 가장 많은 정보를 지니고 있다. 구한 생체신호이미지의 분석은 사람이 할 수도 있고 구한 디지털 생체신호이미지와 그 구성 요소들 중 적어도 어느 하나를 프로그램으로 처리하여 수학적으로도 할 수도 있다. 수학적 처리를 위한 알고리즘의 작성과 분석을 위해서는 모니터 스크린의 유사컬러 영상과 같은 시각적 분석에 편리한 생체신호이미지를 만드는 것이 좋다.

즉, 구해야 하는 생체신호이미지의 주파수 구성요소는 인체의 정신생리학적 상태와 감정 상태의 수준을 지속적이며 일목요연하게 특정 지을 수 있도록 하며 인간에게 다양한 자극이 미칠 때 나타나는 인체 상태의 변화를 구분 지을 수 있게 한다. 밝혀진 바에 의하면, 인체 주변에 위치한 아우라(Aura)로 나타나는 인체의 생체에너지 장(場)을 보여주는 영상을 이용하여 다른 방법에 비해 보다 빠르고 정확하게 인체의 정신생리학적 상태에 대한 평가를 내릴 수 있다.

아우라(Aura)라는 용어는 인체의 정신생리학적 상태에 대한 통합적인 특성을 나타낸다. 이러한 아우라는 인체 주변에 나타나며, 인체의 생체에너지 구성 요소들과 특정한 관계를 지니고 있다. 인체 아우라의 영상은 인체의 정신생리학적 매개변수를 연구할 때 많은 정보를 제공해 주며 이 연구에서는 다음 요소들이 고려 대상이 된다. 인간의 감성적 상태는 말 그대로 매초 변할 수 있다. 일반적인 사람은 오랜 시간 동안 한 가지 감정 상태로 머무를 수 없다.

모든 생각과 동작 또는 어떤 상황에 대한 반응은 감정 상태의 순간적인 변화(각각의 생체신호 이미지)로 이어진다. 따라서 구한 생체신호이미지에 대한 정보의 수(무엇보다 카메라의 해상력)와 시스템의 신속한 처리 사이의 최적의 상관 관계를 찾아내는 것이 중요하다.

아우라 크기의 진폭 조절(amplitude modulating)을 추가한, 대상의 최대 진동 주파수를 인체 특정 구역에서 일어나는 위치 변화의 주파수 또는 진폭의 평균 수치로 컬러 조절(modulating)을 함으로써 인체의 정신생리학적 상태에서 일어나는 어떠한 변화라도 일목요연하고 순간적으로 기록할 수 있다. 뇌의 차원 변동(fractal fluctuation)이 학습, 기억 및 다양한 과제 해결 과정 에서 핵심적인 역할을 수행하는 것으로 알려져 있다. 실험으로 밝혀낸 바에 의하면, 인체에서 진동이 가장 집중적으로 발생하는 부분은 뇌이며 대부분의 경우 아우라(진동이미지의 빈도 구성 요소)가 사람의 머리 주변에만 존재할 수 도 있으며, 이는 몸 주변의 아우라보다 훨씬 크다. 인체에서 일어나는 변화는 아우라가 허물어 지거나 색과 형태가 비대칭으로 나타나는 것으로 표현된다. 이는 구한 생체신호이미지를 보면 확실하게 드러난다.

생체신호 이미지의 요소들이 실제 영상의 요소들과 위상 기하학적 (topology)으로 연관되는 점에는 일장일단이 있다. 실험 결과에 따르면, 가장 많은 정보를 담고 있는 인간의 감정 상태는 최대 진동 주파수로 전달되며 주파수의 평균 수준이나 인접한 포인트 들의 배경 수준은 뭉개지거나 생체신호 이미지를 시각적으로 받아들일 때 일어나는 진정한 변화를 은폐할 수도 있다.

따라서 생체신호 이미지의 요소가 실제 영상의 요소에 위상 기하학적으로 연관되는 것은 실제 영상 주변에 위치한 아우라로 표현되는 진동 이미지의 주파수 구성 요소보다 효과적이지 않은 것으로 나타났다. 생체신호 이미지의 요소가 실제 영상의 요소에 위상기하학적으로 연관되어 있을 때, 최대 진동 주파수를 가지는 요소들은 영상을 색-빈도 조절을 실시할 경우 전체적인 배경에서 보이지 않게 된다. 생체신호이미지를 다양한 형태로 수학적으로 분석하기 위해서는 구하는 생체신호이미지를 사전에 시각적으로 제어해야 한다. 제안되는 아우라 형태의, 생체신호이미지의 주파수 구성요소의 영상은 생체에너지 방사에 대한 물리적 개념에 일치하며 장치가 만들어낸 영상을 시각적으로 제어하고 분석할 수 있게 한다.

주파수 구성요소와 달리 진폭 구성요소를 이용하면 위상기하학적 관계에서 더 효과적이다. 무엇보다도 진동 포인트에 대해 위상기하학적으로 연결되어 있는, 생체신호이미지의 진폭 구성요소를 이용하여 얻은 생체신호이미지의 질을 평가할 수 있으며 시스템을 조정하기 위한 정확한 파라미터(변수)를 정할 수 있다.

먼저 진동 이미지 매개 변수의 측정에 관하여 구체적으로 살펴본다.

생물체의 공격성 수준에 관한 정보획득은 주파수분포 히스토그램을 구성, 이에 따른 생물체의 머리 진동 이미지 매개변수를 측정하는 것이다.

공격성 수준(Ag) 집계는 다음의 <수 3>으로 이루어진다.

Fm- 히스토그램에서 주파수 분포 밀도의 최대 주파수

Fi- 히스토그램에서 N 프레임 시간 동안 획득한 주파수 분포 밀도의 "I" 주파수 집계량

Fin- 진동 이미지 처리 주파수

n- N 프레임에서 한계치를 넘는 프레임간 차를 포함한 집계량

그리고 생물체의 스트레스 수준에 관한 정보 획득을 위해 생물체 머리 진동 이미지 매개변수를 측정한다. 스트레스 수준(St)은 다음의 <수 4>에 의해 집계된다.

- 대상의 왼쪽 부위 "I" 열 진동 이미지 총 진폭

- 대상의 오른쪽 부위 "I" 열 진동 이미지 총 진폭

-

으로 부터

간의 최대값

- 대상의 왼쪽 부위 "I" 열 진동 이미지 최대주파수

- 대상의 오른쪽 부위 "I" 열 진동 이미지 최대주파수

-

으로 부터

간의 최대값

n - 대상관련 열 수

생물체의 불안감 수준에 관한 정보획득을 위해 생물체 머리 진동 이미지 매개변수를 측정한다. 불안감 수준(Tn)은 다음의 <수 3>으로 측정된다.

Pi(f)- 진동 이미지 주파수 분포 전력 스펙트럼

fmax- 진동 이미지 주파수분포 스펙트럼의 최대 주파수

생물체의 여타 생물체와의 호환성 수준에 관한 정보 획득을 위해 개별적인 모든 생물체의 진동 주파수 분포 히스토그램을 정하고, 각 히스토그램을 구성하고, 공동 주파수 분포를 획득하며, 분포의 일반 법칙과 기 획득한 공동 분포면적을 동일하게 만들며, 분포 일반 법칙과 주파수 히스토그램간 차이를 찾는다. 호환성 수준(C)은 다음의 <수 6>로 집계된다.

K- 획득한 주파수 히스토그램 일반화 상관계수

y’- 일반 분포 밀도

언어 혹은 비 언어적 거짓여부 결정 시, 정신생리학적 상태의 통합적인 변화수준에 관한 정보획득을 위해, 생물체 머리의 진동 이미지 매개변수를 측정한다.

거짓 결정 시 활용된 정신생리학적 상태의 통합적인 변화 수준(L)은 다음의 공식으로 집계된다.

Pi - 더 높게 설정된 한계치를 변화시키는 매개변수

Pc - 거짓 수준 결정 시 측정되는 진동 이미지 매개변수

K - 측정되는 Pi 의미 상관계수

n - 측정되는 매개변수 수

m - 변화된 매개변수 수

잘 알려진 바와 같이, 인공두뇌학 및 정보 이론은 생물체와 생체계에 대한 운용방법 및 기술수단 적용 가능성을 검토하는 것이다. 인지생체학의 현대적인 개념은, 대게 신호정보 및 전달이론 개념 및 정의와 관련이 있으며, 정보이론에서 정립된 수학적 매개변수의 정신생리학적 정보성을 가능케 해준다. 정보이론에서 활용되는 통계 매개변수의 도움으로 인간의 머리 미세움직임을 연구한 저자의 오랜 연구와 관찰 결과, 인간의 정신생리학 상태와 머리 미세움직임 정보통계 매개변수간에 통계적으로 신빙성 있는 의존성이 있다는 사실을 알 수 있었다.

그리고 본 발명자는 이러한 현상과 전정감정 반사에 관한 나름의 해석을 제시할 수 있게 되었다. 우선 정신생리학적 에너지조정(신진대사)간 상호관계를 정의해보겠다. 모든 전형적인 정서 상태는, 특정 에너지 소비와 개별 생리학적으로 필요한 에너지와 정서 에너지간 상관관계로 특징지을 수 있다. 이때 생리학적 에너지는 생리학적 과정 실현을 위해, 또 정서 에너지는 의식 혹은 비의식적인 과정의 결과 형성된다. 실례로 공격 상태는, 만약 정말 동일한 공격상태일 경우라면 다양한 인물에게서 이는 동일하지 않게 발현돼야 하는데, 이때 연령, 성별, 교육수준 등의 자연스러운 조정과정이 고려돼야 한다. 하지만 생리학적 측면에서 봤을 때, 이러한 차이는 신체기관 내 상대적 에너지 방출량 및 장소에 근본적인 의미가 있어서는 안 된다. 이 모든 것은 눈에 보이는 감정적 징후를 초래하는데, 실례로 얼굴의 홍조, 잦은 한숨, 빠른 심 박동, 특정 미세움직임 등을 들 수 있다. 감정적인 상태가 외부로 발현되는 주요 원인은 생리학적 에너지와 정서적 에너지간 상관관계를 변화시키는 신체기관 내 에너지의 추가적인 방출에 기인한다. 이때 강조해야 할 점은, 저자가 현대기술 발전 수준에서 잘 알려진 자연적인 신체적 과정의 신체-화학 에너지를 고려했다는 사실이다. 생리과정의 경과속도, 인간의 생각 및 움직임 과정을 위한 상호관계 중단 및 촉발 과정을 들 수 있다.

전정계의 주요과제는 무엇보다 역학적인 동등 혹은 균등 상태를 유지하는 것이다. 하지만 연구 시, 본 대상을 형성하는 역학ㆍ화학ㆍ에너지, 여타 계(시스템)의 균등상태 시에만 반폐쇄계의 평형상태가 가능하다는 사실이 입증됐다. 이들 계(시스템)들 중 하나라도 불균형이 발생할 경우 인접계의 균형상태 파괴가 초래되는데, 즉 역학적 균형 파괴가 에너지 균형 파괴를 초래한다는 것이다.

수직적인 반 균형 상태에 있는 인간의 머리는 신체기관 내 발생하는 모든 에너지 과정의 지나치게 민감한 역학적 지표로 볼 수 있다. 생체역학적 측면에서 봤을 때, 무게중심보다 훨씬 높은 곳에 위치한 머리의 수직적 균형상태 및 동등한 상태 유지를 위해서는 목-머리 뼈 부분 근육의 엄청난 지속적 노력과 축소가 요구된다. 게다가 이러한 움직임은 전정계 운영 하에 반사적으로 실현되는 것이다. 신체기관 내 모든 의미 있는 현상(감정)은 지속적인 생리학적 과정의 변화를 가져온다. 이는 GSR(galvanic Skin Response, 피부전기 반사), 동맥압, 심박동과 같이 전통적으로 정신생리학적 분석에 활용되는 여타 생리학적 과정 변화와 유사하다. 게다가 에너지 발현량과 에너지 발현장소에 따라 머리 움직임 매개변수도 변한다. 머리 움직임의 공간적 입체 궤적은, 머리 모양이 구(球)와 비슷하기 때문에 매우 복잡하다. 또한 각 점의 움직임 궤적은 수백 개의 목 근육 움직임에 있어서 현저히 차이가 날 수 있다. 정보적 움직임 매개변수의 통계적 분석을 통해 머리 움직임의 신뢰할 수 있는 양적 매개변수 차별화가 가능하다. 즉, 에너지 및 전정계 반응 측정을 통한 정서상태 측정 및 확인이 가능하다는 것이다. 역학법칙은 일관되게 나타나며, 균등상태 유지를 위해 행동은 항상 반동작용을 하나는 것이다. 자연적으로 다양한 이들을 대상으로 하는 신체기관 내 에너지 측정은 전정계 활동을 통한 머리 움직임 매개변수의 일관된 상응하는 변화를 초래할 것이다.

제시된 머리 움직임의 정보ㆍ통계적 매개변수에 따른 총체적인 감정 분류는, 모든 정서상태를 확인하게 해준다. 현재는 정서상태 측정을 위한 단일화된 총체적 접근법이 없는 만큼, 여타 정신생리학적 방법 혹은 독립 실험평가 비교 차원에서 최초의 측정을 위해 활용될 수 있을 것이다. 현대 심리학은 감정상태 평가에 있어서 주로 질적인 기준을 활용하는데, 이는 근본적으로 양적 측정을 불가능하게 하고, 인간 상태의 객관적인 평가가 힘들다. 하지만 기 제시된 방법은 모든 감정상태를 측정하게 해준다. 머리의 움직임 매개변수 변화가 기능적으로 에너지 교환 변화와 관련이 있다고 했을 때, 자연적으로 머리 움직임 매개변수가 인간의 총체적인 특징적 정신생리학 상태이기 때문이다.

현존하는 평가 기준에 따른 정서상태 집계를 위한 기 제시된 공식의 일치 정확성은, 머리 미세움직임을 통한 정서적인 상태평가 방법과 비교 시 낮게 나타난다. 현존하는 기술 수준에서는 정서상태 평가를 위한 총체적인 기준이 없기 때문이다. 기 제안된 방법은 모든 감정 측정에 있어서 통합적인 접근법이 가능하다는 점에서 특징적이다. 또한 모든 이전의 방법들은 다양한 정서상태 평가를 위해 활용됐다. 정서상태 측정을 위해 기 제안된 컨셉을 채택하는 것은 정밀과학에 심리학을 포함시키게끔 해주며, 동일한 감정 측정을 가능하게 해준다.

대상의 머리 움직임에 관한 신호 획득은 카메라에 의한 영상 비교를 통해서 이루어진다. 공간 및 시간 분포 정보통계 매개변수 차원에서 생물체 머리의 움직임 속도는 티비 카메라 작업의 최대 주파수를 가져오는 10초당 단위로 정해지는 마커 움직임 평균주파수로 측정된다. 이러한 특성은 인간의 정서적 불안감을 잘 반영하고, 불안감 수준을 특징지을 수 있다.

진동 이미지가 대상 움직임 에너지의 공간ㆍ시간적 분포를 동시에 나타낼 경우, 주파수 히스토그램 획득을 위해 특정 시간 동안 동일진동 주파수를 가진 요인의 수가 총 집계된다. 따라서 히스토그램은 진동 주파수의 공간적 분포에 관한 정보를 배제시킨다. 이러한 명백한 공간정보 손실은 사실상 움직임 정보를 증대시켜준다고 할 수 있는데, 생리에너지 측면에서 봤을 때 얼굴의 미세움직임과는 다르게 머리의 어느 부위에서 움직임이 실행되는 지는 그다지 중요하지 않기 때문이다. 주파수 히스토그램의 구성은 이하의 내용에 따라 결정된다.

잘 알려진 바와 같이, 기존의 공격성 수준을 결정짓는 모순적인 현존 접근법과는 다른 두 가지 주요요인을 고려한 새로운 공식이 제시됐다. 두 가지 주요 요인은, 진동의 특징적인 확산을 가장 잘 보여주는 진동평균 주파수 혹은 인간의 머리 미세움직임과 매개변수, 그리고 평균제곱편차다. 이렇듯 공격적인 사람은 머리 미세움직임의 높은 주파수 및 머리 부위의 다양한 점이 움직임에 있어서 확산 폭이 크다. 여타 공식 상관계수는 0에서 1까지의 수치에 대한 공격성 상관계수를 보여준다.

Fm- 주파수 분포 밀도 히스토그램의 최대 주파수

Fi- 50프레임 시간 당 획득한 주파수 분포 밀도 히스토그램에서의 i 주파수 집계 수

Fin- 진동 이미지 처리 주파수

n- 50 프레임에서의 한계치보다 높은 프레임간 차의 집계 수

이러한 등식은 모든 이들의 공격성 수준을 결정하게 해주는데, 자연히 더 낮은 공격성 상태는 0에 가까운 수준을 보인다. 높은 공격성 상태에 있는 사람의 경우 1에 근접한 수치를 보인다. 잠재적으로 위험한 이들을 밝혀내기 위한 진동 이미지 시스템의 보안 시스템 활용 시 공격적인 이들을 밝혀내기 위한 한계치는 0.75를 사용한다.

다음은 진동 이미지 획득 및 이후 공격성 수준을 결정짓는 의미 있는 진동 이미지 정보 매개변수를 통계적으로 찾아내는 것이다. 이는 무엇보다 진폭 및 주파수 진동 이미지에 대한 진동대칭 매개변수를 결정한다.

공격성 수준을 결정짓는, 잘 알려진 상반되는 현존하는 접근방법과는 달리, 인간의 머리부위를 스캔(scan)한 개별 열에 대한 움직임 진폭 및 주파수 대칭을 고려한 새로운 공식이 제시됐다. 이렇듯 공격성 수준이 최대치인 사람의 경우, 20초간 진폭 및 주파수 진동 이미지를 처리하기 위한 진동 및 미세움직임에 있어서 최대 대칭의 특성을 보인다. 동시에 스트레스와 불안감의 낮은 수준을 보인다.

- 대상의 왼쪽 부위 "I" 열 진동 이미지 총 진폭

- 대상의 오른쪽 부위 "I" 열 진동 이미지 총 진폭

-

으로 부터

간의 최대값

- 대상의 왼쪽 부위 "I" 열 진동 이미지 최대주파수

- 대상의 오른쪽 부위 "I" 열 진동 이미지 최대주파수

-

으로부터

간의 최대값

n - 대상이 차지하는 열 수

이전에 제시한 정보통계 매개변수와 유사하게, 제시된 공식은 0에서 1까지의 스트레스 수준(St))을 측정하게 해주며, 무엇보다 최소 스트레스 수준은 최소 측정치에 부합하며, 높은 수준의 스트레스 상태에 있는 사람의 경우 스트레스 수치가 1에 근접하게 나타난다.

다음은 진동 이미지 획득 및 이후 불안감 수준을 결정짓는 의미 있는 진동 이미지 정보 매개변수를 통계적으로 찾아낸 것이다. 이는 무엇보다 진폭 및 주파수 진동 이미지의 빠른 활동 신호 주파수 스펙트럼 구성과 관련이 있다.

불안감 수준을 결정짓는, 잘 알려진 상반된 현존하는 접근방법과는 다르게, 높은 불안감은 낮은 주파수 스펙트럼 밀도보다, 오히려 움직임이 높은 주파수 스펙트럼 밀도를 증대시킨다는 사실을 고려한 새로운 공식이 제시됐다.

Tn - 불안감 수준

Pi(f) - 진동 이미지 주파수 확산 전력 스펙트럼

fmax - 진동 이미지 주파수 확산 스펙트럼 최대 주파수

이전에 제시한 정보통계 매개변수와 유사한 제시된 공식은 0에서 1까지 불안감 수준을 측정하게 해준다. 또한 최소 수준의 불안감은 최소 측정치에 부합하고, 불안감 수준이 높은 이는 스트레스 수치가 1에 근접하게 나타난다. 진동 이미지의 빠른 신호 주파수 확산 스펙트럼은 조작자 혹은 시스템 활용자의 컨트롤을 위해 나타난다.

또 다른 실례는 진동 이미지 획득 및 이후 사람들간 호환성(화합) 수준을 결정짓는 진동 이미지의 통계적으로 의미 있는 정보적 매개변수를 찾는 것이다. 무엇보다 이는 각 개별자 주파수의 진동 이미지 히스토그램 구성으로 이루어진다.

호환성(화합) 수준을 결정짓는, 잘 알려진 상반되는 현존하는 접근방법과는 다르게, 분포 정상법칙에 대한 양측 모두의 총 진동 주파수 히스토그램에 대한 부합 근접성으로 특징되는 호환성(화합)가능성을 고려한 새로운 공식이 제시된다.

K- 최초 히스토그램의 정상화 상관계수

y'-정상분포 밀도

이전에 제시된 매개변수와 유사하게 제안된 공식은 0에서 1까지의 호환(화합)가능성 수준을 측정한다. 또한 최소 측정치는 최소 호환(화합)가능성에 부합하며, 양 측의 높은 수준의 호환(화합)가능성 측정치는 1에 근접하게 나타난다.

다음은 진동 이미지 획득 및 인간의 거짓 수준을 결정짓는 진동 이미지의 통계적으로 의미 있는 정보 매개변수를 찾는 것이다. 무엇보다 상호간 최소한의 연관성을 가진 진동 이미지 매개변수 최대량의 일시적인 의존성 획득과 관련이 있다.

거짓말 탐지와 관련해 이미 잘 알려진 현존하는 정신생리학적 접근법과는 차이가 있는 새로운 공식이 제시됐다. 본 공식에서 거짓은, 보고시간과 비교한 진동 이미지 매개변수 측정치에서의 변화에 따라 결정된다. 제시된 공식은 언어 및 비언어적 거짓 여부를 정하게 해준다. 기본적으로 시간 차원에서의 언어적 거짓 결정은 실험 대상자의 대답 시작까지의 시간을 활용하는데, 비언어적인 거짓 분석의 경우 한 기간의 시간과 또 다른 기간의 시간 동안 매개변수와의 상호간 비교를 통해 이루어진다.

거짓 결정 시 활용되는 정신생리학적 상태의 통합적인 변화 수준(L)은 다음의 공식으로 계산된다.

Pm - 더욱 높게 설정된 한계치의 변화 매개변수

Pc - 거짓 수준 결정 시 변화하는 진동 이미지 매개변수

K - 측정된 Pi 의미 상관계수

n - 측정 매개변수 수(비주얼 매개변수 수와는 차이가 있을 수 있음)

m- 변화 매개변수 수

이전에 제시된 매개변수와 유사하게, 제시된 공식은 0에서 1까지의 거짓 수준을 측정하게 해준다. 또한 최소 수준의 거짓에는 최소 측정치가 부합되는데, 거짓의 최고수준은 1에 근접한 측정치를 가진다.

그렇다고 해서 본 발명이 상기 제시된 인간의 감정 및 정신생리학적 상태 측정 실례에 한해서만 활용되는 것은 아니다. 참고로 인간의 상태특성은 다양한 분류 시스템에 따라 200개가 넘게 분류돼있다. 무엇보다 본 발명은 머리 미세움직임 매개변수와 /혹은 머리의 진동 이미지 매개변수를 통해 인간의 모든 상태를 묘사하게 해준다. 심리학에서 움직임에 관한 전통적인 개념이 신빙성 있는 통계 매개변수를 이용한 인간 머리의 반사 미세움직임으로 전환되는 것은 불명확한 원칙이라 생각할 수 있다. 하지만 제시된 접근법을 바탕으로 기술정보 시스템과 유사하게 인간의 상태를 결정지을 수 있으며, 인간 상태를 특징짓기 위한 정보 매개변수를 활용할 수 있다. 실례로, 공식에 따른 인간의 정보ㆍ열역학적 엔트로피 수준을 결정지을 수 있다는 것이다.

정보적 엔트로피 계산을 위한 근간으로써 머리 미세움직임 주파수 분포 히스토그램이 구성되며, 본 정보적 엔트로피 계산은 다음의 공식을 따른다.

열역학적 엔트로피 계산을 위한 근간으로써 머리의 미세움직임 주파수 분포 히스토그램이 구성되며, 본 열역학적 엔트로피(S) 계산은 다음의 공식을 따른다.

이러한 개별 정보통계 매개변수는 인간의 어떠한 감정상태를 더 잘 밝혀내기 위해 적용되는데, 실례로 실험진행을 통해 거짓 수준에 대한 정보적 엔트로피간 연관성이 크다는 사실을 알게 됐고, 열역학 엔트로피는 인간의 불안감 상태와 큰 연관이 있다는 사실을 알 수 있었다.

신체ㆍ열역학적 매개변수를 바탕으로 인간의 행동과 에너지, 카리스마적인 측면을 더 완벽히 특징 및 결정지을 수 있었다. 실례로 진동 이미지 7.1 버전 시스템을 이용해 진동 이미지 기록 최고 주파수를 나타낸 주파수 히스토그램을 바탕으로 평균제곱오차와 주파수 최고치간 차이를 바탕으로 인간의 에너지(E) 수 있었다.

M: 대상의 현 프레임에 아우라의 컬러 사이즈

Fps: 초당 프레임 수

σ: 대상 아우라의 평큔 컬러 사이즈

머리의 반사적인 미세움직임의 양적 분석은 인간의 정신생리학적 상태 측정을 더욱 객관ㆍ과학적으로 가능하게 해주며, 의학ㆍ심리학ㆍ정신의학적, 그리고 일상생활에서의 많은 문제들을 해결할 수 있게 해준다. 공격성, 스트레스, 불안감, 잠재적 위험성 수준에 따른 공항 내 승객들의 정신감정 상태의 양적 평가 및 개발된 시스템과 관련한 독립적인 실험을 통해, 본 발명이 전문가들의 전문 평가에 긍정적(90%이상)으로 부합한다는 사실을 알 수 있었다. 이는 본 발명의 실질적인 실현 가능성을 확인해주는 것이다.

이하에서는 본 발명의 실험방법에 대해 살펴본다. 도2는 실험 진행 과정을 설명한다.

본 실험에서는 감정의 유발이 비교적 용이한 아이들을 대상으로 측정하였다. 리더로부터 들어오는 자극의 전후 반응은 변화량을 통한 패턴을 분석을 위해 사용되었다. 사사분면으로 나눠진 쾌-불쾌 축과 각성과 이완 축은 자극으로 사용되었다. 각 자극(중립, 쾌-각성, 쾌-이완, 불쾌-각성, 불쾌-이완)의 전후 데이터는 관련성을 찾기 위해 비교된다.

연구 대상인 총 다섯 명의 아이들은 여자 1명, 남자 4명, 평균 5.6세 표준편차 0.8로 구성되었다. 피실험자는 심혈관계나 신경학적으로 아무런 이상이 없고 피실험자는 독립적인 공간에 놓여져 있었다. 카메라와 피실험자 사이에는 아무런 방해요소가 없었고 하얀 배경의 측정공간에서 수행된다. 수집된 영상은 더 나은 결과를 위해 피실험자를 제외한 다른 것들은 마스킹처리를 하였다.

연구 도구로서, 전술한 바와 같은 알고리즘에 따른 진동이미지 기술은 감정변화를 감지하기 위해 아이들의 머리에 점을 실시간으로 추적하여 알아내었다. 비디오 카메라의 기본 사양은 640x480픽셀의 해상도와 15.0 프레임/초의 주파수, 80dB 다이나믹레인지(센서의 수광폭)이고, 대상과의 거리는 1.5m에 위치하였다.

실제 실험에 있어서, 피실험자는 10분간 의자에 앉아 휴식을 취하고 사전측정으로 3분간 카메라를 응시하도록 하였다, 감정 유발 자극은 정신생리학적 반응의 패턴을 유발하였다. 약 20여분 동안 감정 유발 자극으로 (중립, 쾌-각성, 쾌-이완, 불쾌-각성, 불쾌-이완)의 다섯 가지 다른 구연 동화를 사용하였다. 또한 3분동안 사후 상태를 기록하였다.

측정된 영상은 전술한 바와 같이 진동이미지를 이용하는 알고리즘을 적용하는 진동이미지 처리 소프트웨어에 의해 분석되고, 분석 후 10가지 파라미터에 대한 평균 값을 분석 결과로 제시되었다. 다섯 명의 아이들의 데이터 수집 후에, 중립을 기준으로 4가지 자극에서의 차이를 구분 짓기 위해 공통 변수와 유효 변수로 분리한다. 추출된 유효 변수들은 러셀의 감정 모델을 기반으로 결정짓기 위해 사용된다.

위와 같은 실험 결과를 분석한 결과, 5명의 아이들을 통해 10가지 변수 중 각 자극 별로 추출된 유효 변수들을 찾아내었다. 중립자극을 기준으로 한 쾌-각성과 쾌-이완의 자극에서 추출된 공통 변수는 쾌 감정이 가지고 있는 공통 변수로써 사용될 수 있고, 쾌-각성과 불쾌-각성에서 추출된 변수는 각성 자극과 관련된 진동이미지 유효변수라고 할 수 있다. 이러한 작업을 반복하여 각 감정 축과 관련된 파라미터를 찾는다. 진동이미지 변수의 변화율의 패턴을 비교하여 ‘쾌-각성’과 ‘불쾌-각성’의 공통 변수는 공격성, 스트레스가 있고, ‘긴장/불안’과 ‘신경과민’은 ‘각성’과 ‘이완’을 나누는데 사용될 수 있는 것을 의미한다. 아래의 표1은 다른 자극들에서의 패턴변화에 대한 결과이다. 이런 변수들을 이용하여 도3과 같이 역으로 추론해 나갈 수 있는 알고리즘을 만들어낼 수 있을 것이다.

기술의 발달은 좀 더 나은 삶을 위해 기계중심에서 인간중심으로 변하고 있다. 이간 중심의 환경을 구축하기 위하여 다양한 생체 신호를 이용한 응용 기술들이 발달하고 있다. 안전도(EOG)와 근전도(EMG)를 이용한 안구이동 추적 시스템이나 뇌전도(EEG)를 이용한 전동 휠체어 제어시스템과 같이 컴퓨터나 주변 환경 스스로 인간의 상태를 파악하여 인간에게 보다 쾌적한 삶을 살 수 있게 하는 기술들이 개발되고 있다.

본 발명에서는 진동 이미지 기술을 이용해 추출된 변수들로부터 감정을 추론할 수 있는 알고리즘을 만드는 것이 연구의 목적이었다. 정신생리학적 메커니즘에 기반한 영상기술을 이용함으로써 사용자들이 거부감을 느낄 수 있는 접촉식 생체신호 측정기술을 대신할 수 있는 진동 이미지 기술을 이용하여 사용자들에게 거부감을 최소화하고 어느 곳에서나 활용 가능한 생체인식 기술을 증명하였다.

도4는 진동 이미지의 진폭 성분으로 형성되는 인체의 이미지 주위에 생체 에너지인 아우라가 방사되는 것을 도시한 것이다.

내부 생체신호이미지는 상술한 바와 같이, 각 부위의 위치 변화 크기를 색상으로 표현한 것이다. 이를 통해 피험자(1) 각 부위의 위치 변화 크기를 시각화할 수 있게 된다. 외부 생체신호 이미지는 내부 생체신호이미지의 주변에 나타나며, 평균 최고 진동 주파수를 색상으로 변조하여 나타낸다.

도 5는 인체의 실제 영상 주위에 생체 에너지인 생체신호이미지가 방사되는 것을 도시한다. 도 5b에서, 내부 생체신호이미지는 표현되지 않고 실제 영상 주위에 생체신호 이미지만이 표시되어 있다.

도 6, 7은 안정 상태와 비안정 상태에서의 생체신호 이미지를 각각 나타내는데, 도6은 안정적 또는 정삭적 상태, 그리고, 도7은 스트레스 상태에 있는 피험자의 생체신호 이미지이다.

도6을 살펴보면, 생체신호 이미지가 형태와 색깔 면에서 충분히 대칭을 이루고 있으며 생체신호이미지의 색이 선택한 색깔 눈금(전반적인 색-녹색)의 중간 정도로 나타나 있다. 이러한 생체 신호 이미지를 통해서 피험자가 안정적인 상태임을 알 수 있다.

반면에 도7을 살펴보면, 생체신호 이미지에서 아우라는 붉은 색 성분을 많이 포함하고 있다. 따라서, 이 상태에서의 피험자는 불안정한 상태임을 알 수 있다. 사람이 어떤 자극을 받게 되면, 예를 들어 화면을 통해 폭력 장면에 노출되게 되면, 피험자가 스트레스를 받거나 공격적인 상태가 되어 생체신호 이미지의 색깔은 보다 붉은 색으로 변화한다.

도 8은 안정 상태에 있는 인체 진동이미지의 주파수 구성요소(생체신호이미지)에 대한 분포 그래프이고, 도 7b는 스트레스 상태에 있는 인체 진동이미지의 주파수 구성요소 (생체신호 이미지)에 대한 분포 그래프이다.

도 9에 나와 있는 그래프는 정상적인 노동 상태에 있는 사람의 전형적인 주파수 분포를 보여주고 있다. 연구 결과에 의하면, 대다수의 사람들은 평온한 상태에서 일반적으로 싱글 모드의 분포 규칙에 흡사한 분포수 분포를 보인다. 화면에서 폭력 장면을 보는 것과 같은 특정한 부정적인 영향을 받을 경우 피실험자의 상태는 도 7처럼 변화한다. 만약 공포, 스트레스 및 공격적인 상태에서는 주파수 분포(M)의 평균(중간) 수치가 증가하는 쪽으로 이동한다. 안정적이고 편안한 상태에서는 주파수 분포 수치의(M) 평균(중간) 수치가 줄어드는 쪽으로 이동한다. 주파수 축(X)은 상대적인 단위뿐 아니라 실제 단위 혹은 시간(㎐나 sec.)로도 표현할 수 있다. 표시값 사이의 거리는 카메라의 신속한 처리에 대한 실제 매개변수들과 소프트웨어의 셋팅(처리하는 순서에서 이미지를 축적하는 시간과 이미지의 수)에 의해 결정된다.

도 10은 본 발명의 방법에 따라 피험자의 감성 상태를 나타내는 방사형 그래프(챠트)이다.

이하에서, 본 발명에서 감성 추론에 사용된 변수에 대해 살펴본다. 아래 표는 10가지의 감성 상태의 평가에 사용된 변수의 목록 및 이에 대응하는 수식이다.

감성분류	변수명	수식/설명
공격성(Aggression)	P7	수식3, 수식8
스트레스(Stress)	P6	수식4, 수식9
긴장/불안(Tension/anxiety)	F5X	F5의 계산 주기의 1/5값
의심(Suspect)	P19
밸런스(Balance)	P16	수식6, 수식11
매력(Charm)	P17	수식 17
에너지(Energy)	P8	수식15
자신감(Self-regulation)	P18	수식 18
억제(Inhibition)	F6	F1의 계산 주기
신경과민(Neuroticism)	F9	F6 표준편차의 10배수

공격성(Aggression, P7)은 전술한 수식 3 또는 8로부터 얻어지며, 스트레스(Stress, P6)는 수식4 또는 수식9, 밸런스(Balance, P16)은 수식 6또는 수식 11, 매력(Charm, P17)은 아래의 수식 17, 에너지(Energy, P8)은 수식15, 자신감(Self-regulation, P18)은 아래의 수식 18에 의해 얻어진다. 이들 모든 특정 감성들은 도3에 도시된 바와 같이 그 값의 증감(increase or decrease)에 의해 평가되며, 모든 변수에 대한 평가 역시 해당 수식으로부터 얻어지는 그 값의 증감에 의해 감성의 경향이 결정되며, 그 결과를 도1의 도표에 매핑(mapping)함으로써 피험자의 최종 감성 상태를 평가한다.

위의 표2에서, F6는 두 프레임간의 픽셀 밝기 차의 진폭(F1)의 계산 주기를 나타내는데, F1은 아래 식과 같이 표현된다.

위 식에는 Ca는 지정된 범위 내의 픽셀의 수, 그리고 I는 픽셀의 밝기 값, 그리고 i는 픽셀 수이다.

F5는 상기 F1 값을 위한 밝기 차 진폭에 대한 고주파 영역과 저주파 영역의 합에 의한 진폭이며, F9은 F6 표준편차의 10배수를 나타낸다.

한편, P17은 백 프레임에 대한 밝기 차의 변화 정도의 평균을 나타내며, 아래 식으로 표현된다.

W: 대상 프레임 사이즈

li: 대상 프레임의 왼쪽 열의 프레임 사이즈

ri: 대상 프레임의 오른쪽 열의 프레임 사이즈

C: 대상 프레임의 컬러

위의 표2에서, P8은 감정 도출 도식을 이용한 에너지 반응으로서 진폭과 밝기 차의 변화 정도와 값의 크기의 비율이며, 아래 식으로 표현된다.

P18은 상기 P16(수식6)과 P17(수식17)의 합의 평균이며, 아래 식과 같이 표현된다.

도3을 참조하면, 위와 같은 방법들에 의해 실시간 동영상을 피험자로부터 획득하면서(S1), 이 동영상을 처리하여 얻든 진동이미지로부터 10개의 파라미터를 추출하여 그 값의 증감 상태를 판단한다(S2). 모든 파라미터들의 각각의 값에 대한 증감 결과를 얻은 후, (S3a) 공격성+스트레스, (S3b)공격성+의심+매력+에너지, (S3c) 공격성+밸런스+에너지+자신감, (S3d)공격성+의심+밸랜스+매력+자신감+억제 등 각 단계에서의 값들이 증가하는 것인지 판단한다. S3a~S3d 단계에서 각 단계에 속한 모든 파라미터의 값이 증가하는지를 판단하여 "참"이면 다음의 S4a~S4d단계로 각각 이행한다. 이때에 10개의 파라미터들은, 각각이 해당하는 S2a~S2d 단계에서 증감이 판단된다.

S4a~S4d 단계에서는, 해당 단계에 포함된 파라미터들이 모두 증가하는지, 아니면 하나라도 감소하는지가 판단된다. 여기에서 "참"과 "거짓"의 판단에 따라 기쁨-각성(S5a), 기쁨-이완(S5b), 불쾌-각성(S5c), 불쾌-이완(S5d)가 판단된다.

즉, S4a 단계에서, 긴장/불안/신경과민의 값이 증가하면 쾌-이완(S5b), 그렇지 않으면 쾌-각성(S5a) 상태인 것으로 판단한다. S4b 단계에서, 밸런스와 신경과민의 값이 증가하며, 불쾌-이완(S5d) 상태인 것으로 판단하고, 그렇지 않으며 불쾌-각성(S5c)로 판단한다. S4c 단계에서, 긴장/불안/신경과민의 값이 증가하며, 불쾌-각성(S5c) 상태로 판단하고, 그렇지 않을 경우, 쾌-각성(S5a)의 상태로 판단한다. 한편, 스트레스/신경과민의 값이 증가하며, 쾌-이완(S5b) 상태로 판단하고, 그렇지 않으면 불쾌-이완(S5d) 상태로 판단한다.

본 발명의 연구에 수반되는 실험을 통해 우리는 비접촉식으로 인간의 정신생리학적 상태를 결정하는 감정 추론 알고리즘을 설계하였다. 감정 추론을 위한 유효 변수는 중립대비 2차원 감정 모델의 유발 자극간의 차이와 수반되는 특징들로 인해 증명된 진동 이미지 변수들로 찾아내었다. 본 발명을 통하여 감정 상태에 따른 유효 변수들을 찾아내었고 이를 통해 추론 가능한 알고리즘 설계하였다. 같은 자극을 주었을 시 같은 패턴을 보이는 파라미터를 찾아냄으로써 진동 이미지 기술이 감정 상태를 추론하고 감정 상태를 분류하는 데에 기여할 수 있음을 확인할 수 있었다.

한계점으로는 피실험자의 수가 적어 알고리즘의 정확성을 높이는데 한계가 있을 수 있고 각 변수의 수치적인 표현의 기준점을 찾지 못한 점등이 한계점일 수 있겠다. 그러나 영상만을 이용하여 인간의 기본 감정을 추론하여 유추해낼 수 있는 알고리즘을 만듦으로써 감정을 분석하는 새로운 측정방법으로의 가능성을 보여주었다. 이런 영상을 이용한 감정 추론 방법을 이용하여 대중을 대상으로 한 서비스 시설 혹은 개인 감정을 조절하는 보조 도구로써 유비쿼터스나 헬스케어 분야에 기여할 것으로 보인다.

지금까지, 본원 다양한 모범적 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 다양한 실시 예들의 일부임이 이해되어야 할 것이다. 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

Claims (11)

1. 카메라를 이용해 피험자로부터 동영상을 획득하는 단계;
   상기 동영상으로부터 피험자의 진동 이미지를 추출하는 단계;
   상기 진동 이미지로부터 감성에 관련한 파라미터들의 값을 추출하는 단계;
   상기 파라미터의 값의 증가 또는 감소를 판단하는 단계;
   상기 파라미터들의 증감 또는 감소를 이용하여 감성 상태를 판단하는 단계;를 포함하고,
   상기 파라미터에는 공격성(Aggression), 스트레스(Stress), 매력(Charm), 에너지(Energy), 밸런스(Balance), 자신감(Self-regulation), 의심(Suspect), 억제(Inhibition), 신경과민(Neuroticism), 긴장/불안(Tension/anxiety) 중 적어도 둘에 대한 파라미터가 포함되어 있는, 진동 이미지 기술을 이용한 감성 분류 방법.
2. 제1항에 있어서, 상기 공격성(Aggression)은 아래의 수식에 의해 정의되는 파라미터 값(Ag)을 가지는 것을 특징으로 하는 진동 이미지 기술을 이용한 감성 분류 방법.
   

   

   
   Fm- 히스토그램에서 주파수 분포 밀도의 최대 주파수
   Fi- 히스토그램에서 N 프레임 시간 동안 획득한 주파수 분포 밀도의 "I" 주파수 집계량
   Fin- 진동 이미지 처리 주파수
   n- N 프레임에서 한계치를 넘는 프레임간 차를 포함한 집계량
3. 제1항에 있어서,
   상기 스트레스(Stress)는 아래의 수식에 의해 정의되는 파라미터 값(St)을 가지는 것을 특징으로 하는 진동 이미지 기술을 이용한 감성 분류 방법.
   

   

   
   

   

   - 대상의 왼쪽 부위 "I" 열 진동 이미지 총 진폭
   

   

   - 대상의 오른쪽 부위 "I" 열 진동 이미지 총 진폭
   

   

   -

   

   으로 부터

   

   간의 최대값
   

   

   - 대상의 왼쪽 부위 "I" 열 진동 이미지 최대주파수
   

   

   - 대상의 오른쪽 부위 "I" 열 진동 이미지 최대주파수
   

   

   -

   

   으로 부터

   

   간의 최대값
   n - 대상관련 열 수
4. 제1항에 있어서,
   상기 매력(Charm)은 아래의 수식에 의해 정의되는 파라미터 값(P17)을 가지는 것을 특징으로 하는 진동 이미지 기술을 이용한 감성 분류 방법.
   

   

   
   W: 대상 프레임 사이즈
   li: 대상 프레임의 왼쪽 열의 프레임 사이즈
   ri: 대상 프레임의 오른쪽 열의 프레임 사이즈
   C: 대상 프레임의 컬러
5. 제4항에 있어서,
   상기 에너지(Energy, P8)는 아래의 수식에 의해 정의되는 파라미터 값을 가지는 것을 특징으로 하는 진동 이미지 기술을 이용한 감성 분류 방법.
   

   

   
   M: 대상의 현 프레임에 아우라의 컬러 사이즈
   Fps: 초당 프레임 수
   σ: 대상 아우라의 평큔 컬러 사이즈
6. 제1항에 있어서,
   상기 에너지(Energy)는 아래의 수식에 의해 정의되는 파라미터 값을 가지는 것을 특징으로 하는 진동 이미지 기술을 이용한 감성 분류 방법.
   

   

   
   M: 대상의 현 프레임에 아우라의 컬러 사이즈
   Fps: 초당 프레임 수
   σ: 대상 아우라의 평큔 컬러 사이즈
7. 제1항에 있어서,
   상기 밸런스(Balance)는 아래의 수식에 의해 정의되는 파라미터 값(C)을 가지는 것을 특징으로 하는 진동 이미지 기술을 이용한 감성 분류 방법.
   

   

   
   K- 획득한 주파수 히스토그램 일반화 상관계수
   

   

   
   y’- 일반 분포 밀도
8. 제7항에 있어서,
   상기 자신감(Self-regulation)은 밸런스의 파라미터 값과 매력(Charm)의 파라미터 값(P17)의 평균이며, 상기 파라미터 값(P17)은 아래의 수식에 의해 결정되는 것을 특징으로 하는 진동 이미지 기술을 이용한 감성 분류 방법.
   

   

   
   W: 대상 프레임 사이즈
   li: 대상 프레임의 왼쪽 열의 프레임 사이즈
   ri: 대상 프레임의 오른쪽 열의 프레임 사이즈
   C: 대상 프레임의 컬러
9. 제1항에 있어서,
   상기 억제(Inhibition)의 값(F6)은 아래의 식에서 정의되는 F1의 계산 주기인 것을 특징으로 하는 진동 이미지 기술을 이용한 감성 분류 방법.
   

   

   
   Ca- 지정된 범위 내의 픽셀의 수
   I는 픽셀의 밝기 값
   i는 픽셀 수
10. 제9항에 있어서,
    상기 신경과민(Neuroticism)의 값은 상기 억제의 값(F6)의 표준 편차의 10배수인 것을 특징으로 하는 진동 이미지 기술을 이용한 감성 분류 방법.
11. 제9항에 있어서,
    상기 긴장/불안(Tension/anxiety)의 파라미터 값(F5X)는 상기 F5의 계산 주기의 1/5값인 것을 특징으로 하는 진동 이미지 기술을 이용한 감성 분류 방법.

Images