KR102514577B1 - 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 방법 및 장치 - Google Patents

Abstract

동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 방법 및 장치에 대해 기술된다. 기술된 방법:은 이동하는 피험자로부터 동영상을 획득하는 단계, 상기 동영상으로부터 상기 피험자의 진동 파라미터를 측정하는 단계; 상기 진동 파라미터에 기초하여 생체신호 이미지를 생성하는 단계; 상기 생체신호 이미지를 처리하여 피험자로부터, 피험자의 특정 부위별 위치 변화에 따른 이상 반응도에 대한 정신생리학적인 매개변수를 생성하는 단계: 그리고 상기 매개변수를 이용하여 상기 피험자의 이상반응도를 평가하는 단계;를 포함한다.

Description

동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 방법 및 장치{method and apparatus for detecting potential dangerous living being or abnormal state by using video image}

본 개시는 이동하는 불특정 다수의 존재(사람) 또는 개체에 대해서 획득한 동영상을 이용하여 잠재적으로 위험한 존재 또는 이상 반응 상태를 나타내는 존재를 검출하는 장치에 관한 것이다.

인체에 관한 정신생리학적 통합 정보를 구하기 위한 많은 연구가 수행되어 왔고, 그 결과물로서 동영상을 이용한 정신생리적인 매개변수를 검출하고 이를 이용한 비접촉식 방법 및 장치가 제시되었다.

이들 비접촉식 방법 및 장치는, 인간의 감정적 및 심리적 상태를 평가하고 의학적 진단 또는 보안분야에서 의심 인물을 검출하기 위해 카메라로부터 획득한 동영상 정보를 이용하여 정신생리학적 신호의 매개 변수를 사용한다.

지금까지의 비접촉식 방법으로 동영상에 나타난 사람의 동작을 분석하여 패턴화함으로써 이미지 속에 나타난 사람이 어떤 동작이나 행동을 할 경우에는 동작유형에 따라 '의심자일 가능성이 있다' 고 유추한다는 극히 제한되고 피상적인 방법으로 사용되고 있는 실정이다. 이는 동작유형을 이용하여 유추하는 방법으로 사용 되기 때문에 신뢰도가 매우 낮은 것으로 평가된다.

카메라의 동영상 정보를 이용하는 비접촉식 방식의 경우는 피험자가 이를 인식하지 못하기 때문에 피험자의 생리적 상태를 그대로 검출할 수 있다.

이러한 비접촉식 장치는 피촬영 대상에게 들키지 않고 실시간으로 비접촉식으로 인체의 정신생리학적인 상태에 대한 정보를 제공한다. 그러나 이렇게 획득한 정보가 항상 상태의 변화를 정확하게 반영하지는 않는다. 무엇보다도 이것은 축적된 이미지 간(間) 차이가 항상 정확하게 대상의 위치 변화 사이의 차이를 반영하지 않는 것과 관련이 있다. 즉, 공간 내에서 위치 변화가 미미한 대상의 분석을 어렵게 함으로써 이 대상의 정신생리학적 매개변수 측정의 정확도와 신뢰도를 떨어뜨린다.

따라서, 이러한 종래 정신생리학적 정보를 제공하기 위한 장치의 불합리한 점을 극복하고 비접촉식에 의하면서도 보다 높은 민감성 및 신뢰도를 향상시킬 수 있는 대상에 대한 정신생리학적인 생체신호를 획득 방법에 대한 요구가 높아지고 있다. 결과적으로 인체 상태의 분석과 진단 과정에서 발생하는 추가적인 문제와 오차를 피할 수 있는 진동 이미지 파라미터(매개변수)를 이용한 고도화된 알고리즘이 필요하다.

본 발명은 불특정 다수를 대상으로 하는 영상 정보로부터 잠재적 위험 존재 또는 이상 반응 상태를 검출하는 방법 및 장치를 제공한다.

본 발명에 따른 잠재적 위험 검출 방법:은

이동하는 피험자로부터 동영상을 획득하는 단계,

상기 동영상으로부터 상기 피험자의 진동 파라미터를 측정하는 단계;

상기 진동 파라미터에 기초하여 생체신호 이미지를 생성하는 단계;

상기 생체신호 이미지를 처리하여 피험자로부터, 피험자의 특정 부위별 위치 변화에 따른 이상 반응도에 대한 정신생리학적인 매개변수를 생성하는 단계: 그리고

상기 매개변수를 이용하여 상기 피험자의 이상 반응도를 평가하는 단계;를 포함한다.

상기 본 발명의 한 실시 예에 따르면, 상기 정신생리학적 신호를 이용하여 상기 피험자의 정신생리적 신호를 상응하는 이미지를 생성하여 가시화하는 단계; 를 더 포함한다.

본 발명에 따른 잠재적 위험 검출 장치:는

상기 이동하는 피험자로부터 동영상 신호를 획득하는 카메라;

상기 동영상 신호를 영상 데이터로 변환하는 A/D 변환부;

상기 영상 데이터를 분석하여 상기 진동 파라미터를 측정하고, 상기 진동 파라미터로부터 '이상반응도'에 관련한 생체신호 이미지를 생성하는 프로세서; 그리고

상기 생체신호 이미지와 신체 이미지를 표시하는 표시부;를 포함한다.

모범적 실시 예에 따르면, 상기 매개변수는 상기 특정 부위별 위치에 따른 진동 주파수, 진폭 및 위상 중 적어도 어느 하나를 포함할 수 있다.

모범적 실시 예에 따르면, 상기 생체 이미지의 특정 부위는 임의 임계값 이상의 밝기를 가지는 다수의 활성화된 좌표를 포함하며,

상기 활성화된 좌표들이 분포하는 영역에 대비한 활성화 좌표들이 점유하는 비율을 이용해 이상 반응도의 평가에 적용할 수 있다.

모범적 실시 예에 따르면,

상기 이상반응도(R)는 아래의 식에 의해 계산될 수 있다.

<식>

M: 진폭 평균값

IL: L 레벨 설정값

lS: S 레벨 설정값

N:

(활성화된 픽셀의 총합)

w: 이미지 프레임의 폭(예, 640 픽셀)

h: 이미지 프레임의 높이(예, 480 픽셀)

i: 프레임 번호

모범적 실시 예에 따른 장치:는 정신생리학적 매개변수를 측정하고, 이를 이용하여 잠재적으로 위험한 존재 또는 이상반응 상태를 나타내는 사람을 탐지하는 알고리즘을 통해 위험한 상태 또는 이상반응 상태를 나타내는 인물을 검출한다. 또한, 본 발명은 이미지 프레임 안에 한 사람뿐만 아니라 불특정 다수의 사람들이 이동 또는 운집해 있는 경우의 동영상을 획득하여 정신 생리학적인 매개변수를 이용하는 잠재적 위험성 검출 알고리즘을 적용하여 실시간으로 신뢰도가 높은 잠재적 이상 반응 상태를 탐지할 수 있다.

본 발명에 따르면, 이동하는 불특정 다수의 군중에 대해서 신뢰할 수 있는 정신생리학적 매개변수를 측정할 수 있는 카메라로부터 동영상을 획득하여 비접촉식 방법으로 잠재적으로 이상반응 상태를 나타내는 사람을 검출하여 그 '이상반응도' 정보를 제공할 수 있는 효과가 있다.

또한, 인체의 정신생리학적인 반응 매개변수를 이미지화하여 인체의 정신생리학적 상태를 용이하게 검출 또는 인식할 수 있는 카메라를 갖는 장치를 통해서 잠재적으로 위험한 사람이나 의심되는 사람, 또는 병리적인 정신생리 징후를 갖는 사람의 이상반응 상태의 수준 '이상반응도'을 실시간으로 탐지할 수 있다.

종래의 고안 특허에서는 대상(사람)의 안면 크기가 어느 정도를 유지하며 유동하지 않은 정지상태의 동영상 이미지가 필요하였지만, 본 발명 에서는 안면 인식을 할 수준의 이동하는 대상(사람)의 동영상을 이용할 수 있다.

이동하는 대상(사람)에 대한 '이상반응도'를 탐지하는 본 고안은 종래의 고안 에서 제시한 정지상태에 있는 한 대상(사람)에 대한 '의심도' 탐지 알고리즘과는 달라야 탐지하는 신뢰도를 담보할 수 있다. 그래서 이동하는 불특정 다수의 군중들을 대상으로 할 경우에는 '이상반응도'를 탐지하는 새로운 알고리즘이 필요하게 되어 본 고안에서 제시하였다.

본 장치는 여러 대의 IP 타입의 CCTV 와 분석장치를 네트워킹으로 연결 하여 서버 시스템을 통해서 중앙에서 통제하고 관리하며 모니터링할 수 있는 ‘이상 반응 상태를 검출하는 장치'로 매우 편리하게 이용할 수 있다. 이동하는 피험자로부터 획득한 정신생리적인 지표인 '이상반응도'를 탐지하여 이상반응 상태의 인물을 검출하는 장치가 독립적(단독형)이거나 다수의 IP타입 카메라를 네트웍 시스템으로 연결하여 중앙에서 통제하고 관리하는 서버 시스템을 포함 (중앙통제형)하는 모니터링 기능을 갖는 시스템을 구축하여 운영한다. 탐지된 '이상반응도'는 정신생리적인 반응값으로 보안이나 정신의료 및 심리검사 등에 빅데이터화하여 인공지능 시스템과 결합하여 검출하는 정확도와 신뢰도를 더욱 제고시킬 수 있다.

대상(사람)에 대한 정보를 얻기 위해 여기서 제안하는 방법, 장치를 다양하게 활용할 수도 있다. 인체에 대한 생체신호 정보를 얻는 장치는 인체의 정신 생리학적 상태를 비접촉식으로 측정하여 보안, 정신의료, 심리생리 분야에 널리 사용할 수 있다.

도1은 모범적 실시 예에 따른 의 흐름도이다.
도2는 모범적 실시 예에 따른 잠재적 위험 존재 또는 이상 반응 상태 검출 장치의 블록다이어그램이다.
도3은 모범적 실시 예에 따른 에 따라, 피험자의 영상에서 활성화 부위를 나타내 보인다.
도4a는 도2에 도시된 잠재적 위험 존재 또는 이상 반응 상태 검출 장치의 하드웨어 구성을 보인다.
도4b는 도2의 장치를 구현할 수 있는 장치의 개략적 구성을 보인다.
도5는 모범적 실시 예에 따라 생체신호를 동영상을 기반으로 정식생리적 정보를 획득하는 과정의 흐름을 보인다.
도6는 진동 이미지에서 형성되는 대상(인간)의 인체 이미지 주위로 생체 에너지가 방사되는 것을 예시한다.
도7은 진동 이미지에서 대상의 신체 전부를 인식하여 탐지하는 상태를 예시한다.
도8은 진동 이미지 대상에 대해서 안면인식을 한 후에 의심도가 임계값 이상으로 나타난 이상 반응을 실제로 검출한 예를 보인다.

이하, 첨부된 도면을 참고하면서, 모범적 실시 예에 따른 잠재적 위험 존재 또는 이상 반응 상태를 검출하는 방법 및 장치를 설명한다.

도1을 참조하면, 정신생리적 변화를 겪는 존재(existence) 또는 대상(object)을 촬영하여 연속적으로 변화하는 동영상을 획득하고(11), 동영상을 처리(분석)하여 진동 파라미터를 생성하고(12), 그리고 파라미터를 이용해 정신생리 신호를 추출한다(13). 이렇게 얻어진 정신생리 신호는 다양한 용도로 사용되며, 여기에서 잠재적 위험성을 가진 존재 또는 이상 반응 상태를 특정하게 된다(14).

여기에는 관찰 대상인 피촬자의 잠재적 위험 상태 또는 이상 반응 상태를 평가하여 이를 문자 또는 영상의 형태로 제시하고, 또는 상기 생리신호에 대응하여 상기 피험자에게 다양한 형태의 영상 콘텐츠를 제시할 수 있다.

상기 방법은 도2에 도시된 바와 같은 구조의 장치에 의해 구현될 수 있다. 도2는 생리신호 검출을 이용한 잠재적 위험 존재 또는 이상 반응 상태를 검출하는 장치를 기능적으로 블록화한 도면이다.

도2를 참조하면, 본 발명에 따른 잠재적 위험 존재 또는 이상 반응 상태 검출 장치는, 관찰 대상(또는 피촬자, 1)을 촬영하는 카메라(21), 카메라(21)로부터 얻어진 영상을 분석하는 영상 처리부(22), 영상 처리부(22)로부터의 신호를 이용하여 기존의 방식에 따라 진동 파라미터를 추출하고, 이것을 이용해 생리신호를 생성하는 신호 분석부(23), 그리고 신호 분석부(23)로부터 얻어진 생리신호를 응용하는 응용부(24)를 포함하며, 여기에서 응용부(24)는 잠재적 위험성을 가지는 존재 또는 이상 반응의 대상을 파악하고, 그리고 상기 생리신호를 이용해 문자 또는 영상을 생성하고 이를 표시하는 디스플레이를 포함할 수 있다.

상기와 같은 영상 처리부(22) 및 응용부(24)는 CPU(Centural Processing Unit) 또는 어플리케이션 프로세서(AP)를 기반으로 하는 응용 프로그램 등에 의해 구현된다. 상기 응용 프로그램은 상기와 같은 생리 신호를 이용해 잠재적 위험성을 내포하고 있는 존재 또는 이상 반응을 나타내는 존재로서 개인 또는 그룹을 검출한다.

이하, 본 발명에서 이용하는 진동 매개변수에 관련하여, 생체 각 부위의 진동과 정신생리학적 매개변수와의 관계에 대해 설명 한다.

생물체에서 나오는 에너지를 기록하기 위해서는 생물체의 여러 부위에서 발생하는 진동을 영상 데이터로 기록해야 한다. 이 과정은 충분한 해상도와 빠른 처리 능력을 보유하고 있는 비접촉식 영상 시스템을 이용하면 가능하다. 여기에서 획득한 생체신호 이미지의 주파수 구성요소, 각각의 부위에서 일어나는 진동(위치 변화, 파동 주파수)는 피찰 존재의 생체에너지 즉, 정신생리학적 특성에 있어서 가장 많은 정보를 지니고 있다. 획득한 생체신호 이미지의 분석은 응용 프로그램에 의해 수학적으로 처리 된다. 수학적 처리를 위한 알고리즘의 작성과 분석을 위해서는 모니터 스크린의 유사 컬러 영상과 같은 시각적 분석에 편리한 생체신호이미지를 만드는 것이 좋다.

생체신호 이미지의 주파수 구성요소는 인체의 정신생리학적 상태와 감정 상태의 수준을 지속적이며 일목요연하게 특정 지을 수 있도록 하며 인간에게 다양한 자극이 미칠 때 나타나는 인체 상태의 변화를 구분 지을 수 있게 한다.

모든 생각과 동작 또는 어떤 상황에 대한 반응은 감정 상태의 순간적인 변화는 각각의 생체신호 이미지로 획득된다. 생체신호 이미지로부터 정확한 정보를 획득하기 위해서는 카메라의 해상도와 시스템의 신속한 처리 사이의 최적의 상관 관계를 찾아내는 것이 중요하다.

진동이미지 크기의 진폭 조절(amplitude modulating), 피촬 개체의 최대 진동 주파수를 인체 특정 구역에서 일어나는 위치 변화의 주파수 또는 진폭의 평균 수치로 컬러 조절(modulating)을 함으로써 인체의 정신 생리학적 상태에서 일어나는 어떠한 변화라도 일목요연하고 순간적으로 기록할 수 있다.

뇌의 차원 변동(fractal fluctuation)이 학습, 기억 및 다양한 과제 해결 과정에서 핵심적인 역할을 수행하는 것으로 알려져 있다. 실험으로 밝혀낸 바에 의하면, 인체에서 진동이 가장 집중적으로 발생하는 부분은 뇌이며 대부분의 경우 진동이미지는 사람의 머리 주변에 크게 발생하며 이는 몸 주변의 진동 이미지보다 훨씬 크다. 인체에서 일어나는 변화는 진동 이미지가 허물어 지거나 색과 형태가 비대칭으로 나타나는 것으로 표현된다. 이는 구한 생체신호 이미지를 보면 확실하게 드러난다.

생체신호 이미지의 요소들이 실제 영상의 요소들과 위상기하학적(topology) 으로 연관되는 것은 일장일단이 있다. 실험 결과에 따르면, 가장 많은 정보를 담고 있는 인간의 감정 상태는 최대 진동 주파수로 전달되며 주파수의 평균 수준이나 인접한 포인트 들의 배경 수준은 뭉개지거나 생체신호 이미지를 시각적으로 받아들일 때 일어나는 진정한 변화를 은폐할 수도 있다.

따라서 생체신호 이미지의 요소가 실제 영상의 요소에 위상기하학적으로 연관 되는 것은 실제 영상 주변에 위치한 진동 이미지로 표현되는 진동 이미지의 주파수 구성 요소보다 효과적이지 않은 것으로 나타났다. 생체신호 이미지의 요소가 실제 영상의 요소에 위상기하학적으로 연관되어 있을 때, 최대 진동 주파수를 가지는 요소들은 영상을 색-빈도 조절을 실시할 경우 전체적인 배경에서 보이지 않게 된다. 생체신호 이미지를 다양한 형태로 수학적으로 분석하기 위해서는 생체신호 이미지를 사전에 시각적으로 제어해야 한다. 제안하는 생체신호 이미지의 주파수 구성요소의 영상은 생체에너지 방사에 대한 물리적 개념에 일치하며 장치가 만들어낸 영상을 시각적으로 제어하고 분석할 수 있게 한다.

주파수 구성요소와 달리 진폭 구성요소를 이용하면 위상기하학적 관계에서 더 효과적이다. 무엇보다도 진동 포인트에 대해 위상기하학적으로 연결되어 있는, 생체신호 이미지의 진폭 구성요소를 이용하여 얻은 생체신호 이미지의 질을 평가할 수 있으며 시스템을 조정하기 위한 정확한 파라미터를 정할 수 있다.

종래에는 움직이지 않은 정지된 상태에서의 정신생리학적으로 잠재적 인 '의심도(위험도)' 를 나타내는 파라미터는 부정적인 감정 변수인 공격성, 스트레스 그리고 불안감의 파라미터가 가장 크게 영향을 미친다.

그러나, 이동하는 개체의 '이상반응도'를 탐지하는 경우에 있어서는 기존에 제시한 정지상태에 있는 한 개체에 대한 '의심도' 탐지 알고리즘으로는 한계가 있고 탐지하는 신뢰도도 낮은 문제가 있었다. 그래서 이동하는 불특정 다수의 군중들을 대상으로 할 경우에는 ‘위험 존재’ 또는 '이상 반응도'를 탐지하는 새로운 알고리즘이 필요하며, 이것은 모범적 실시 예를 통해 설명된다.

'이상 반응도'는 잠재적으로 범죄에 대한 위험 또는 의심되는 요인을 갖거나, 또는 병리적인 징후에 의해서 발현되는 정신생리적인 지표이다.

본 발명에서는 매크로 진동과 같은 매크로 움직임(매크로 진동)을 이용한다. 제어되는 진동범위는 카메라 각도, 카메라-물체의 거리와 사람의 움직임 진폭에 대해 종속되어 있다. 머리의 미세 진동(micro movement)은 전정-감정의 반응 (Vestibulo-Emotional Reflex, VER)에 따른 반사움직임 정보를 포함한다. 그러나 인간 신체의 마이크로 움직임에 비해 거동이 큰 매크로 움직임의 경우도 마찬가지로 행동과 정신생리적인 감정을 표현해 준다.

이미지 프레임에서 피험자의 영상을 획득하는 경우에 이동하는 불특정 다수의 군중으로부터 개체(사람)의 이미지는 가능한 크게 촬영될 수 있도록 한다.

모범적 실시 예에서 제시하는 알고리즘을 생성하기 위해서 다음과 같은 진동 이미지 파라미터들을 정의하고 이를 반영한다.

(1) L 레벨 (lL)

L 레벨(lL)은 이상반응 계산을 위해서 밝기에 관한 기준 설정값을 나타낸다. L 레벨(IL)보다 낮은 밝기의 이미지 점(또는 픽셀, 화소)들은 <검정색>으로 처리하여 화면상에서 시각적으로 드러나지 않게 할 수 있고, 또한 이상반응 계산에 사용되지 않는다. 만약 밝은 이미지 점(또는 픽셀, 화소)들의 밝기가 임계값 <L레벨> 보다 크면 그것들의 이미지 점(또는 픽셀, 화소)들은 <활성화> 상태로 받아들여져 이상반응 계산에 반영된다. 이상반응 계산을 위한 진동 이미지의 점(또는 픽셀, 화소)들은 ‘활성화’ 상태로써 나타내어 시각적으로 차별화된다.

본 발명을 적용한 프로그램에서 <L레벨> 설정값을 150으로 하여 구동시킬 때 나타나는 <활성화> 정도는 도3에 도시된 바와 같다. 컬러 색상으로 표시되는 점들이 <활성화된 점>들이다.

(2) S 레벨 (lS)

S 레벨(lS)은 L 레벨 이상의 밝기를 가지는 <활성화> 된 진동 이미지 점(픽셀, 화소)들의 면적(area)을 의미한다. L 레벨(lL) 보다 큰 밝기의 값을 가지는 이미지 점(픽셀, 화소)들의 면적이 <S 레벨> 값보다 작다면, '이상반응도' 값은 0(zero)로 표시된다. 즉, 영상 프레임에서 <활성화> 점(픽셀, 화소)들이 일정 치 이상 존재하지 않는다면, '이상 반응도'는 계산되지 않는다. 많은 <활성화> 점(픽셀, 화소)들의 수가 증가한다면, ‘이상반응도’에 관련된 매개변수의 값은 따라서 증가한다.

(3) 파라미터 R1

파라미터 R1은 히스토그램이 고주파 영역에서 우측으로 이동하는 특징을 갖게 한다. 그래서 R1 파라미터는 <활성화>된 진동 이미지 점들의 기본적인 색상으로 정의된다. 진동 이미지 점의 밝기가 L레벨(lL) 보다 커지면 활성화된다. 결과적으로 R1 파라미터는 프레임에 대한 히스토그램의 높은 주파수의 움직임을 나타내 준다.

(4) 파라미터 R2

조절 파라미터로써 지정된 밝기 차의 범위와 지정된 최소 밝기에 따른 진폭의 평균으로 나타낸다.

이러한R2 파라미터는 활성화되는 진동 이미지를 판단하는 임계값 S 레벨에 대한 활성화한 진동 이미지의 면적 사이의 관계를 나타낸다. R2는 <S레벨>의 임계값 보다 큰 활성화된 진동 이미지 점(픽셀, 화소)들의 면적에 대한 초과하는 비율(%)로 정의한다. 즉, 프레임에 대한 히스토그램 색상 기준에서 <S 레벨 >보다 큰 진동 이미지 점(픽셀,화소)의 면적 비율이다. 따라서, <활성화>된 점(펙셀, 화소)들 이 많이 증가하면, 그때는 파라미터 값이 증가하고 ‘이상반응도’도 역시 증가한다.

(5) 파라미터 R3

조절 파라미터로써 지정된 밝기 차의 범위와 지정된 최소 밝기에 따른 진폭의 비율로 나타낸다. 즉, 전체 프레임에 대한 히스토그램 색상 기준에서 <L 레벨>보다 큰 점(픽셀, 화소)들이 몇 % 인지를 나타낸다

모든 프레임 면적에 대한 <활성화된> 진동 이미지 점(픽셀, 화소)들의 면적 간의 관계이다. 진동 이미지를 나타내는 것은 밝기가 <L 레벨> 보다 커지면 활성화 된다. 위와 같은 파라미터들의 알고리즘에 대한 식은 다음과 같이 정의한다.

M: 진폭 평균값

IL: L 레벨 설정값

lS: S 레벨 설정값

N:

(활성화된 픽셀의 총합)

w: 이미지 프레임의 폭(예, 640 픽셀)

h: 이미지 프레임의 높이(예, 480 픽셀)

i: 프레임 번호

N =

(활성화된 픽셀의 총합)

w: 이미지 프레임의 폭(예, 640 픽셀)

h: 이미지 프레임의 높이(예, 480 픽셀)

상기와 같은 파라미터 R1, R2, R3의 조합에 의해 "이상 반응도"의 파라미터"R"이 아래 식 4에서와 같이 정의된다.

이하에서, 진동 이미지 매개변수의 측정에 관하여 구체적으로 살펴본다

알려진 바와 같이, 인공두뇌학 및 정보 이론은 생물체와 생체계에 대한 운용방법 및 기술수단 적용 가능성을 검토하는 것이다. 인지생체학의 현대적인 개념은, 대게 신호정보 및 전달이론 개념 및 정의와 관련이 있으며, 정보이론에서 정립된 수학적 매개변수의 정신생리학적 정보성을 가능케 해준다. 정보이론에서 활용되는 통계 매개변수의 도움으로 인간의 머리 미세움직임을 연구한 저자의 오랜 연구와 관찰 결과, 인간의 정신생리학 상태와 머리 미세움직임 정보통계 매개변수 간에 통계적으로 신빙성 있는 의존성이 있다는 사실을 알 수 있었다.

그리고 본 발명자는 이러한 현상과 전정감정 반사에 관한 나름의 해석을 제시할 수 있게 되었다. 우선 정신생리학적 에너지 조정(신진대사)간 상호관계를 정의 해보겠다. 모든 전형적인 정서 상태는, 특정 에너지 소비와 개별 생리학적으로 필요한 에너지와 정서 에너지간 상관관계로 특징지을 수 있다. 이때 생리학적 에너지는 생리학적 과정 실현을 위해, 또 정서 에너지는 의식 혹은 비의식적인 과정의 결과 형성된다. 실례로 공격 상태는, 만약 정말 동일한 공격상태일 경우라면 다양한 인물에게서 이는 동일하지 않게 발현돼야 하는데, 이때 연령, 성별, 교육수준 등의 자연스러운 조정과정이 고려돼야 한다. 하지만 생리학적 측면에서 봤을 때, 이러한 차이는 신체기관 내 상대적 에너지 방출량 및 장소에 근본적인 의미가 있어서는 안 된다. 이 모든 것은 눈에 보이는 감정적 징후를 초래하는데, 실례로 얼굴의 홍조, 잦은 한숨, 빠른 심 박동, 특정 미세움직임 등을 들 수 있다. 감정적인 상태가 외부로 발현되는 주요 원인은 생리학적 에너지와 정서적 에너지간 상관관계 를 변화시키는 신체기관 내 에너지의 추가적인 방출에 기인한다. 이때 강조해야 할 점은, 저자가 현대기술 발전 수준에서 잘 알려진 자연적인 신체적 과정의 신체-화학 에너지를 고려했다는 사실이다. 생리과정의 경과속도, 인간의 생각 및 움직임 과정을 위한 상호관계 중단 및 촉발 과정을 들 수 있다.

전정계의 주요 과제는 무엇보다 역학적인 동등 혹은 균등 상태를 유지하는 것이다. 그러나 연구 시, 본 대상을 형성하는 역학ㆍ화학ㆍ에너지, 여타 계(시스템)의 균등상태 시에만 반폐쇄계의 평형상태가 가능하다는 사실이 입증됐다. 이들 계(시스템) 들 중 하나라도 불균형이 발생할 경우 인접계의 균형상태 파괴가 초래되는데, 즉 역학적 균형 파괴가 에너지 균형 파괴를 초래한다는 것이다.

수직적인 반균형 상태에 있는 인간의 머리는 신체기관 내 발생하는 모든 에너지 과정의 지나치게 민감한 역학적 지표로 볼 수 있다. 생체역학적 측면에서 봤을 때, 무게중심보다 훨씬 높은 곳에 위치한 머리의 수직적 균형상태 및 동등한 상태 유지를 위해서는 목-머리 뼈 부분 근육의 엄청난 지속적 노력과 축소가 요구된다. 게다가 이러한 움직임은 전정계 운영 하에 반사적으로 실현되는 것이다. 신체기관 내 모든 의미 있는 현상(감정)은 지속적인 생리학적 과정의 변화를 가져온다. 이는 GSR, 동맥압, 심박동과 같이 전통적으로 정신생리학적 분석에 활용되는 여타 생리학적 과정 변화와 유사하다. 게다가 에너지 발현량과 에너지 발현 장소에 따라 머리 움직임 매개변수도 변한다. 머리 움직임의 공간적 입체 궤적은, 머리 모양이 구(球)와 비슷하기 때문에 매우 복잡하다. 또한 각 점의 움직임 궤적은 수백 개의 목 근육 움직임에 있어서 현저히 차이가 날 수 있다. 정보적 움직임 매개변수의 통계적 분석을 통해 머리 움직임의 신뢰할 수 있는 양적 매개변수 차별화가 가능하다. 즉, 에너지 및 전정계 반응 측정을 통한 정서상태 측정 및 확인이 가능하다는 것이다. 역학법칙은 일관되게 나타나며, 균등상태 유지를 위해 행동은 항상 반동작용을 하나는 것이다. 자연적으로 다양한 이들을 대상으로 하는 신체기관 내 에너지 측정은 전정계 활동을 통한 머리 움직임 매개변수의 일관된 상응하는 변화를 초래할 것이다.

제시된 머리 움직임의 정보ㆍ통계적 매개변수에 따른 총체적인 감정 분류는, 모든 정서상태를 확인하게 해준다. 현재는 정서상태 측정을 위한 단일화된 총체적 접근법이 없는 만큼, 여타 정신생리학적 방법 혹은 독립 실험평가 비교 차원에서 최초의 측정을 위해 활용될 수 있을 것이다. 현대 심리학은 감정상태 평가에 있어서 주로 질적인 기준을 활용하는데, 이는 근본적으로 양적 측정을 불가능하게 하고, 인간 상태의 객관적인 평가가 힘들다. 하지만 기 제시된 방법은 모든 감정상태를 측정하게 해준다. 머리의 움직임 매개변수 변화가 기능적으로 에너지 교환 변화와 관련이 있다고 했을 때, 자연적으로 머리 움직임 매개변수가 인간의 총체적인 특징적 정신생리학 상태이기 때문이다. 현존하는 평가 기준에 따른 정서상태 집계를 위한 기 제시된 공식의 일치 정확성은, 머리 미세움직임을 통한 정서적인 상태평가 방법과 비교 시 낮게 나타난다. 현존하는 기술 수준에서는 정서상태 평가를 위한 총체적인 기준이 없기 때문이다. 기 제안된 방법은 모든 감정 측정에 있어서 통합적인 접근법이 가능하다는 점에서 특징적이다. 또한 모든 이전의 방법들은 다양한 정서상태 평가를 위해 활용됐다. 정서상태 측정을 위해 기 제안된 컨셉을 채택하는 것은 정밀과학에 심리학을 포함시키게끔 해주며, 동일한 감정 측정을 가능하게 해준다.

진동이미지가 대상 움직임 에너지의 공간ㆍ시간적 분포를 동시에 나타낼 경우, 주파수 히스토그램 획득을 위해 특정 시간 동안 동일진동 주파수를 가진 요인의 수가 총 집계된다. 따라서 히스토그램은 진동 주파수의 공간적 분포에 관한 정보를 배제 시킨다. 이러한 명백한 공간정보 손실은 사실상 움직임 정보를 증대시켜준다고 할 수 있는데, 생리에너지 측면에서 봤을 때 얼굴의 미세 움직임 과는 다르게 머리의 어느 부위에서 움직임이 실행되는 지는 그다지 중요하지 않기 때문이다.

머리의 반사적인 미세움직임의 양적 분석은 인간의 정신생리학적 상태 측정을 더욱 객관적이고 과학적으로 계량화를 가능하게 해주며, 의학ㆍ 심리학ㆍ 정신 의학적, 그리고 일상생활에서의 많은 문제들을 해결할 수 있게 해준다. 공격성, 스트레스, 불안감에 따른 잠재적 '이상반응도' 수준에 따른 공항 내 승객들의 이상반응 상태의 양적 평가 및 개발된 시스템과 관련한 독립적인 실험을 통해, 본 발명이 전문가들의 전문 평가에 긍정적(90%이상)으로 부합한다는 사실을 알 수 있었다. 이는 본 발명의 실질적인 실현 가능성을 확인해주는 것이다.

이하에서는 첨부된 도면을 참고하여 상기와 같은 본 발명의 방법을 수행하는 장치를 상세하게 설명하기로 한다.

앞에서 언급한 바 있는 도2의 장치는 상기와 같은 본 발명의 방법을 수행할 수 있다. 카메라(21)는 CCD나 CMOS 등의 촬상 소자 및 이로부터의 아날로그신호를 디지털화하는 A/D 컨버터를 포함하며, 영상 처리부(22)는 특정 포맷의 동영상을 처리하는 인코더를 포함할 수 있다.

신호 분석부(23)는 상기 영상을 이용해 진동 파라미터를 측정하고 이로부터 정신 생리학적 정보(신호, 또는 생리신호)를 생성 또는 추출한다. 여기에서 진동 파라미터는 피험자의 부위별 위치 변화에 따른 진동 주파수, 진폭 및 위상 등을 포함한다. 그리고 정신 생리학적 정보에는 안정 상태, 분노 상태, 흥분 상태, 스트레스 상태 등 이상반응 상태의 심리/감정/감성 상태가 포함될 수 있다.

한편, 생리신호 응용부(14)는 상기 생리 신호를 이용해 피험자의 정신적, 정서적 상태를 평가하는 생리신호 처리 알고리즘 및 그 결과를 표시하는 디스플레이 등을 포함할 수 있다. 예를 들어 생리신호 처리 알고리즘은, 예를 들어 위험인물 또는 의심되는 인물을 탐지하는 알고리즘을 포함한다. 상기 응용부(24)에 마련되는 디스플레이는 전술한 바와 같이, 최종 얻어진 결과를 문자 또는 이미지의 형태로 표시한다.

상기와 같은 장치는 다양한 유형의 시스템을 통해 구현될 수 있다. 예를 들어 카메라가 장착된 개인용 컴퓨터, 카메라가 내장된 휴대용 단말기, 예를 들어, Windows mobile, Android, iOs, Symbian, BlackBerry, Bada등의 시스템 기반의 테블릿PC, 테블릿 패드, PDA, 스마트폰, 나아가서는 내부 응용프로그램의 실행이 가능한 OS 기반 디지털 카메라가 그 대표적인 예이다.

도4a은 도2에 도시된 장치를 하드웨어적으로 블록다이어그램이다.

도4a를 참조하면, 생리신호 검출 장치(30)는 촬상 소자를 가지는 영상 촬영부, 즉 카메라(31), 카메라(31)로부터(32)의 아날로그 영상신호를 디지털화하는 A/D 컨버터(32), 영상 분석 및 매개변수 추출 및 생리신호 발생 등을 수행하는 프로세서(34), 그리고 그 결과를 표시하는 표시부(35)를 구비한다. 이에 더하여 외부로부터의 정보 입력을 위한 입력장치, 예를 들어 키패드 등과 같은 키입력부(36), 그리고 상기와 같은 영상 신호 처리 등에서 사용되는 메모리를 포함하는 저장부(33)를 포함한다.

도4b는 도2의 장치를 구현할 수 있는 장치(40)의 개략적 구성을 도시하는 것으로 구성 요소간의 상호 작용 관계를 설명하는 블록 다이어그램이다.

도4b를 참조하면, 참조번호 41은 무선 신호 수신기와 트랜스미터 및 음성/영상-시그널, 시그널-음성/영상 변환기를 포함하는 전자 블럭(Electronic Block)이다. 그리고 참조번호 42는 피사체(피촬자 또는 피험자)로부터 영상을 획득하는 것으로 촬상소자와 대물렌즈 등을 포함하는 디지털 카메라이다. 참조번호 43은 스마트폰 전체의 운용에 필요한, 특히 디지털 이미지를 저장하기 위한 메모리를 가지는 저장부이다. 참조번호 44는 사용자 인터페이스 및 처리 결과 등을 문자와 이미지의 형태로 시각화하는 디스플레이 장치이다. 참조번호 45는 상기 전자블록, 디지털 카메라, 저장부, 디스플레이 장치 등을 제어하고 각 기능을 동기화하는 프로세서이다. 한편, 참조 번호 46은 전체 시스템의 구동에 필요한 전원 및 사용자의 입력 등을 위한 키패드를 포함하는 본체를 나타낸다.

도5는 본 발명에 따른 생체신호를 동영상을 기반으로 카메라를 통해서 획득되는 과정을 도시한 흐름도이며, 이 과정은 도 4a, 구체적으로 도4b의 장치가 이용될 수 있다.

도5를 참조하면, 우선, 카메라(31)에서 피험자의 영상을 획득하여 아날로그 전기적 신호로 변환한다(S10, S20). 피험자의 영상으로부터 얻어진 전기적 신호는 아날로그 신호이며 따라서 A/D 변환기(32)에 의해 디지털 영상 데이터로 변환된다(S30).

다음 단계에서, 프로세서(34)는 각 영상 데이터들의 시간에 따른 변화를 분석하여 진동 이미지 파라미터를 산출한다(S40). 진동 이미지 파라미터는 상기 피험자의 부위별 위치 변화에 따른 진동 주파수, 진폭 및 위상 중 적어도 어느 하나를 포함한다. 즉, 프로세서(34)는 피험자의 각 부위의 위치 변화를 분석하여 각 부위의 진동 주파수, 위치 변화의 크기(진동의 크기) 및 위상 등을 산출한다. 이에 이어, 프로세서(34)는 진동 이미지 해석 프로그램을 이용하여 이미지간의 차이를 분석하고 무게 중심에 대한 위치 변화를 측정하거나 푸리에 변환을 이용하여 진동 이미지 파라미터를 산출할 수 있다.

진동 이미지 파라미터 산출에 대해 좀 더 상세하게 설명하면 다음과 같다. 프로세서(34)는 연속적인 여러 개의 영상 프레임들로부터 피험자의 움직임에 따른 윤곽의 움직임 또는 진동을 파악한 후 이 윤곽을 두 개의 균등한 부분으로(좌, 우측) 분리한다. 그 다음, 반으로 나뉘어진 행의 두 부분에서 최대 진동 주파수가 나타내는 지점을 결정한다. 이 주파수는 생체신호이미지의 해당 수평 행의 색을 결정한다. 분리된 윤곽 부분에 위치한 반으로 나뉘어진 행의 각각의 두 부분에서 위치 변동을 한 평균 진폭은 생체신호 이미지의 크기(길이)를 결정한다. 각각의 지점에서 얻은 진동 이미지는 확실하며 정적인 특징을 지니지만 통합적인 생체신호 이미지는 인체의 정신생리학적 매개변수와 관련이 있다.

프로세서(34)는 산출된 진동 파라미터에 기초하여 생체신호이미지를 생성한다(S50). 생체신호 이미지는 주파수 구성요소를 포함한다.

최종적으로, 프로세서(34)는 산출된 진동 이미지 파라미터로부터 피험자(1)의 정신생리학적 정보를 획득한다(S60). 즉, 프로세서(34)는 진동 이미지 파라미터를 분석함으로써 대상(20)의 심리적 상태를 알 수 있다.

도6은 진동 이미지에서 형성되는 대상(인간)의 인체 이미지 주위로 생체에너지가 방사되는 것을 예시한다. 도6은 외부 생체신호 이미지는 내부 생체신호 이미지의 주변에 나타나며, 평균 최고 진동 주파수를 색상으로 변조하여 나타낸다.

도7은 진동 이미지에서 대상(사람)의 신체 전부를 인식하여 탐지하는 상태는 예시한다. 도8은 진동 이미지 대상(사람)에 대해서 안면인식을 한 후에 의심도가 임계값 이상으로 나타난 이상반응 상태를 실제로 검출한 것을 나타낸다.

이러한 모범적 실시 예에 따르면, 사람이 어떤 자극을 받게 되면, 예를 들어 화면을 통해 폭력 장면이 노출되게 되면, 피험자가 스트레스를 받거나 공격적인 상태가 되어, 예를 들어 생체신호 이미지의 색깔은 보다 붉은 색으로 변화시켜 표시할 수 있다.

예를 들어서, '이상반응도'를 설정하는 방법은 통제되는 지역에서 100명의 입장객을 탐지한다고 가정한다. 100명중에서80명은 55% 이하의 '이상반응도'를 나타내며, 10명은 60% 이하의 '이상반응도', 그리고 단지 10명만 60% 이상의 '이상반응도'를 나타냈다. 만약 우리가 군중의 10% 만을 탐지하기를 원한다면 이 경우에 '이상반응도' 탐지 임계 값을 60% 로 기본 설정한다는 것을 의미한다.

이와 같이 이상반응 상태의 통계적인 특성이 진동 이미지의 사용목적을 만족시키는 여러 사용환경과 많은 다른 대상(사람)들을 테스트하여 프로그램의 기본적인 설정값을 정하였다. 여러 환경에서 시험하여 설정된 위험인물을 탐지하는 ‘이상반응도’의 기본 설정값은 65%를 기준으로 제시하고 있다.

지금까지, 본 발명의 다양한 모범적 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 진동 이미지의 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문에 다양한 실시 예들이 이해되어야 할 것이다.

30: 생리신호 검출 장치
31: 카메라
32: A/D 변환부
33: 저장부
34: 프로세서
35: 표시부(디스플레이부)
36: 키입력부

Claims (11)

1. 이동하는 피험자로부터 동영상을 획득하는 단계,
   상기 동영상으로부터 상기 피험자의 진동 파라미터를 측정하는 단계;
   상기 진동 파라미터에 기초하여 생체신호 이미지를 생성하는 단계;
   상기 생체신호 이미지를 처리하여 피험자로부터, 피험자의 특정 부위별 위치 변화에 따른 이상 반응도(R)에 대한 정신생리학적인 매개변수를 생성하는 단계: 그리고
   상기 매개변수를 이용하여 아래의 식에 의해 상기 피험자의 이상반응도(R)를 평가하되, 상기 이상반응도(R)는 아래의 식에 의해 계산되는, 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 방법.
   <식>
   

   

   
   

   

   
   

   

   
   

   

   
   M: 진폭 평균값
   IL: L 레벨
   lS: S 레벨
   N:

   

   (활성화된 픽셀의 총합)
   w: 이미지 프레임의 폭(예, 640 픽셀)
   h: 이미지 프레임의 높이(예, 480 픽셀)
   i: 프레임 번호:
2. 제1항에 있어서,
   상기 매개변수는 상기 특정 부위별 위치에 따른 진동 주파수, 진폭 및 위상 중 적어도 어느 하나를 포함하는, 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 방법.
3. 제1항에 있어서,
   상기 특정 부위는 임의 임계값 이상의 밝기를 가지는 다수의 활성화된 점(좌표)을 포함하며,
   상기 활성화된 점(좌표)들이 분포하는 영역에 대비한 활성화 점(좌표)들이 점유하는 비율을 이용해 이상 반응도의 평가에 적용하는, 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 방법.
4. 제1항에 있어서,
   상기 특정 부위를 디스플레이를 통해 식별 가능하게 특정 색상으로 표시하는 단계;를 포함하는, 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 방법.
5. 제1항에 있어서,
   상기 피험자는 다수의 군중에서 선택되는 적어도 하나의 개체이며;
   상기 특정부위는 안면 영역 또는 신체 영역으로부터 선택되는, 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 방법.
6. 삭제
7. 제1항에 기재된 방법을 수행하는 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 장치에 있어서,
   상기 이동하는 피험자로부터 동영상 신호를 획득하는 카메라;
   상기 동영상 신호를 영상 데이터로 변환하는 A/D 변환부;
   상기 영상 데이터를 분석하여 상기 진동 파라미터를 측정하고, 상기 진동 파라미터로부터 상기 이상반응도(R)에 관련한 생체신호 이미지를 생성하는 프로세서; 그리고
   상기 생체신호 이미지를 표시하는 표시부;를 포함하는, 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 장치.
8. 제7항에 있어서,
   상기 매개변수는 상기 특정 부위별 위치에 따른 진동 주파수, 진폭 및 위상 중 적어도 어느 하나를 포함하는, 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 장치.
9. 제7항에 있어서,
   상기 특정 부위는 임의 임계값 이상의 밝기를 가지는 다수의 활성화된 좌표를 포함하며,
   상기 활성화된 좌표들이 분포하는 영역에 대비한 활성화 좌표들이 점유하는 비율을 이용해 이상 반응도의 평가에 적용하는, 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 장치.
10. 제7항에 있어서,
    상기 특정 부위를 디스플레이를 통해 식별 가능하게 특정 색상으로 표시하는 단계;를 포함하는, 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 장치.
11. 제7항 내지 제10항 중 어느 한 항에 기재된 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 장치에 있어서,
    네트워크 시스템;
    상기 카메라는 상기 네트워크 시스템에 접속되는 적어도 하나의 IP타입 카메라이며,
    상기 네트워크 시스템을 통한 카메라로부터 영상을 처리하고, IP 카메라를 제어하고 모니터링하는 중앙 통제시스템;을 더 포함하는 동영상을 이용한 잠재적 위험 존재 또는 이상 반응 상태 검출 장치.

Images