KR102090988B1 - How to obtain information about the human psychophysiological state - Google Patents

How to obtain information about the human psychophysiological state Download PDF

Info

Publication number
KR102090988B1
KR102090988B1 KR1020177026335A KR20177026335A KR102090988B1 KR 102090988 B1 KR102090988 B1 KR 102090988B1 KR 1020177026335 A KR1020177026335 A KR 1020177026335A KR 20177026335 A KR20177026335 A KR 20177026335A KR 102090988 B1 KR102090988 B1 KR 102090988B1
Authority
KR
South Korea
Prior art keywords
motion
human
psychophysiological
information
movement
Prior art date
Application number
KR1020177026335A
Other languages
Korean (ko)
Other versions
KR20170133346A (en
Inventor
민킨 빅토르 알베르토비치
Original Assignee
(주)마인드아이
옵쉐스트바 스 아그라니첸노이 아트베트스트벤노스찌유 므노고프로필노예 프레드프리야찌예 엘씨스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)마인드아이, 옵쉐스트바 스 아그라니첸노이 아트베트스트벤노스찌유 므노고프로필노예 프레드프리야찌예 엘씨스 filed Critical (주)마인드아이
Publication of KR20170133346A publication Critical patent/KR20170133346A/en
Application granted granted Critical
Publication of KR102090988B1 publication Critical patent/KR102090988B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Telephone Function (AREA)

Abstract

본 발명에 있어서 인간의 정신생리학적 상태에 관한 정보 획득 방법은,
인간의 신체 부위와의 직접 혹은 간접적인 물리적 접촉을 하여 움직임 활동성을 측정하는 움직임 매개변수 측정 수단과, 상기 움직임 매개변수 측정 수단 내부에 장착되고 인간의 신체와 직접 접촉하지 않는 움직임 매개변수 전환 센서와, 상기 움직임 매개변수 측정수단에 의해 측정된 매개변수 수치는 움직임 속도로 전환되어 인간의 움직임 활동성을 분석하는 것을 특징으로 한다.
In the present invention, a method for acquiring information about a human psychophysiological state,
A motion parameter measurement means for measuring motion activity by direct or indirect physical contact with a human body part, and a motion parameter conversion sensor mounted inside the motion parameter measurement means and not in direct contact with the human body , The parameter value measured by the motion parameter measuring means is converted into a movement speed and is characterized by analyzing human motion activity.

Description

인간의 정신생리학적 상태에 관한 정보획득방법How to obtain information about the human psychophysiological state

본 발명은 생체계측, 정신생리학, 기능적 진단, 전자공학 분야와 관련이 있으며 인간의 정신생리학적, 정신신체적, 생리학적 특성에 관한 정보 획득 및 감정상태 통제, 인간 및 동물의 기능적 진단, 그리고 심리 및 정신생리학적 테스트에 활용할 수 있는 정신생리학적 상태 정보획득방법에 관한 기술이다.The present invention relates to the fields of biomeasurement, psychophysiology, functional diagnosis, and electronics, and acquires information on the psychophysiological, psychophysical, and physiological characteristics of humans and controls the emotional state, functional diagnosis of humans and animals, and psychological and This is a technique for obtaining psychophysiological status information that can be used for psychophysiological testing.

오늘날 인간의 정신생리학적 혹은 정신신체적 정보 획득법은 센서 부착 여부에 따라 조건적으로 접촉식 및 비접촉식으로 구분할 수 있다. 역사적으로 봤을 때 기술적으로 정신생리학적 자료를 획득하는 접촉식 방법은 비접촉식보다 앞서 발달되었는데 이는 무엇보다 정신생리학적인 거짓말 탐지를 위해 개발되었으며 센서를 항상 신체 부위에 직접 부착하는 방식으로 활용되었다. 기존의 전통적인 거짓말 탐지 혹은 폴리그래프는 정신생리학적 정보 획득에 몇 가지 방법이 있다. 대개 자료 수집에는 아래의 생리적 과정을 기록하는 접촉식 센서가 활용된다.Today, human psychophysiological or psychophysical information acquisition methods can be categorized into contact and contactless conditions depending on whether or not a sensor is attached. Historically, the contact method of acquiring technically psychophysiological data was developed prior to the non-contact method, which was developed for psychophysiological lie detection above all, and was always used as a method of attaching sensors directly to body parts. Traditional traditional polygraphs or polygraphs have several methods for obtaining psychophysiological information. In general, contact sensors that record the following physiological processes are used for data collection.

- 호흡(폐용량곡선)-Breathing (pulmonary capacity curve)

- 피부전기반응(GSR 혹은 레오그램)-Skin electrical reaction (GSR or Leogram)

- 심혈관활동(맥박 혹은 심박수) -Cardiovascular activity (pulse or heart rate)

- 심혈관활동(동맥압)-Cardiovascular activity (arterial pressure)

오늘날 심리 및 생리적 과정에서 관계를 설명하려는 많은 이론이 존재하며 이들의 연관성은 의심할 여지가 없다〔선행기술문헌 1, 2, 이하 문헌번호로 기재〕. 1921년 캘리포니아 대학교 출신 의학자 존 라슨(John Larson)이 폴리그래프를 개발한 이후 많은 세월이 흘렀지만〔3〕 인간의 정신생리학적 정보 스캔에 있어서 정보성을 제고하려는 시도는 여전히 지속적으로 이루어지고 있다.Today, there are many theories that attempt to explain relationships in psychological and physiological processes, and their relevance is undoubtedly described [preceding technical documents 1, 2, hereinafter referred to as document numbers]. Many years have passed since the development of the polygraph by John Larson, a medical scientist from the University of California in 1921 [3], but attempts to improve information in human psychophysiological information scans are still ongoing.

정신생리학적 상태에 관한 비접촉식 정보 획득법은 인간의 미세 움직임 혹은 움직임을 관찰하는데 기반한다. 그리고 이러한 기법의 실질적인 구현의 과학적 기반이 되는 것은 세체노프〔4〕 및 다윈〔5〕의 업적이다. 본 기법의 기술적 실현 가능성은 사실상 텔레비전 및 컴퓨터 기술의 발전과 함께 나타났다〔1, 2〕. 다윈의 알고리즘 변환은 오늘날에도 미세움직임의 알고리즘 분석 차원에서 지속적인 연구가 이루어지고 있다〔6, 7〕. 또한 움직임 활동성의 정신생리학적 이해는 바이브라이미지 기술로 구현되었다〔8, 9〕.The method of acquiring contactless information about a psychophysiological state is based on observing human microscopic movements or movements. And it is the achievements of Cesenov [4] and Darwin [5] that are the scientific basis for the practical implementation of these techniques. The technical feasibility of this technique has in fact emerged with the development of television and computer technology [1, 2]. Darwin's algorithm transformation is still ongoing in the analysis of micro-motion algorithms [6, 7]. In addition, the psychophysiological understanding of movement activity was realized by vibra image technology [8, 9].

정신생리학적 측면의 정보성을 제고 시키는데 있어서 주요 과제는 인간 뇌 활동성 및 교감신경계 활동과 기 측정된 생리학적 과정의 연관도를 높이는 것이다. 정신생리학적 테스트에 생리적 측면을 적용시키는데 있어서 주된 제한요인이 되는 것은 신호 감지와 관련한 간섭 방지가 제대로 이루어지지 않는다는 점이다. 기술적으로 봤을 때 정신생리학적 신호 감지의 정보성 제고는 측정 매개변수의 다이나믹 레인지 증대 및 신호 대 잡음비 (signal-to-noise ratio) 관계 개선과 관련이 있다. The main task in improving information in psychophysiological aspects is to increase the correlation between human brain activity and sympathetic nervous system activity and pre-measured physiological processes. The main limitation in applying physiological aspects to psychophysiological tests is that interference prevention related to signal detection is not properly performed. In technical terms, improving the informationality of psychophysiological signal detection is related to increasing the dynamic range of measurement parameters and improving the signal-to-noise ratio relationship.

실례로 정신생리학적 정보 획득을 위한 접촉식 뇌전도 스캔 및 처리법은〔10, 11〕 뇌 활동성 통제와는 상당히 다르지만 테스트에 있어서 제한적인 요인인 간섭 방지가 이루어지지 않기 때문에 적절한 실험실 환경이 마련되어야 한다. For example, the contact EEG scanning and processing method for obtaining psychophysiological information is quite different from the control of brain activity [10, 11], but it is necessary to establish an appropriate laboratory environment because interference prevention, a limiting factor in testing, is not achieved.

인간의 신체 부위에 부착하는 가속도 센서를 활용한 움직임 활동성 통제법은 이미 잘 알려져 있다〔12, 13〕. 이러한 기법은 대개 의학 분야에서 환자의 움직임 활동성 통제를 위해 활용되지만 해당 기법의 주요 과제가 신체 기관의 생리학적 과정에 대한 총체적인 에너지 소비와 관련한 거시적인 움직임 통제인 만큼 정신생리학적 정보 획득에는 활용되지 않는다. 거시 움직임은 정신생리학적 과정과 직접적인 관련성이 없기 때문이다. A method of controlling movement activity using an acceleration sensor attached to a human body part is well known [12, 13]. These techniques are usually used in the medical field to control the movement activity of patients, but the main task of the technique is macroscopic movement control related to the total energy consumption of the physiological processes of the body organs, so it is not used to acquire psychophysiological information. . This is because macromovements are not directly related to psychophysiological processes.

상대적으로 다양한 간섭에 안정적인 인간의 감정상태 분석에 있어서 음성 정보를 비접촉식으로 획득 및 처리하는 기법이 있지만 이는 교감신경계 활동과 낮은 정보적 관계를 가지며 오차 가능성이 높은 만큼 활용이 제한적이다. Although there is a technique for acquiring and processing voice information in a non-contact manner in the analysis of a human emotion state that is stable against relatively various interferences, it has a low information relationship with the sympathetic nervous system activity and has high error potential, so its use is limited.

인간의 움직임 활동성 특성 측정을 포함한 인간의 정신생리학적 정보 획득법은 잘 알려져 있으며, 머리 부위의 움직임 신호를 나타내는 화면에 따라 움직임 활동성을 측정한 결과를 바탕으로 생물체의 정신생리학적 상태에 관한 정보 획득 및 특성을 처리하고 생물체의 머리 부위 움직임의 공간 및 시간적 분포 양적 매개변수를 정보통계적 매개변수로 변환시킨 신호 자료를 처리하며, 바이브라이미지 정보통계적 매개변수를 생물체의 정신생리학적 상태의 양적 특성으로 변환시킨 자료를 바탕으로 생물체의 정신생리학적 상태에 관한 정보를 획득한다.The method of acquiring human psychophysiological information, including measuring the characteristics of human mobility, is well known, and acquires information on the psychophysiological state of living organisms based on the result of measuring the movement activity according to the screen representing the motion signal of the head. And processing characteristics and processing signal data that converts spatial and temporal distributions of the head movements of living organisms into statistical information, and converts vibra image information statistical parameters into quantitative characteristics of the psychophysiological state of living organisms. Based on the converted data, information on the psychophysiological state of the organism is obtained.

이러한 기법〔16〕은 기본 틀로 이용되고 있다. 화면 스캔을 이용한 인간 머리의 미세 움직임을 스캔하고 이미지를 바이브라이미지로 변형시키며 정보통계 정신생리학적 매개변수를 획득하는 식으로 인간의 정신생리학적 상태에 관한 정보를 획득할 수 있다. 전정기관 및 전정계는 역학적 평형상태를 유지하는 기능을 담당하며 머리의 미세움직임을 조종한다. 인간의 전정계는 기능적으로 인간의 여타 모든 생리계 활동과 깊은 관련이 있기 때문에 이의 활용은 정신생리학적 정보 분석 시 가장 유용한 정보가 된다〔17〕. 이러한 전형적인 기법은 자동적 및 매우 객관적으로 인간의 움직임 활동성에 관한 정보를 기록하며 관련 정보는 수학 공식에 대입돼 인간의 기능 및 감정 상태를 특징짓는 정보생리학적 수적 매개변수로 변환된다. 하지만 이는 비접촉식 텔레비전 기법에 해당되며 대상물에 대한 밝기(명암) 민감도가 중요하며 신호 처리를 위해 큰 용량의 프로세서가 요구된다. 밝기(명암)의 변화는 대상의 진동으로 인식될 수 있으나 빛이 없는 경우 이러한 기법을 적용하는 것은 무의미하며 카메라는 확실히 고정되어 있어야 한다.This technique [16] is used as a basic framework. By scanning the fine movements of the human head using a screen scan, transforming the image into a vibra image, and acquiring information statistical psychophysiological parameters, information on the human psychophysiological state can be obtained. The vestibular organs and the vestibular system are responsible for maintaining the mechanical equilibrium and control the fine movements of the head. Since the human vestibular system is functionally related to all other physiological activities of humans, its use becomes the most useful information when analyzing psychophysiological information [17]. This typical technique automatically and very objectively records information about human movement activity, and the relevant information is substituted into mathematical formulas and converted into information physiological numerical parameters that characterize human functions and emotional states. However, this is a non-contact television technique, and the brightness (contrast) sensitivity to the object is important, and a large processor is required for signal processing. The change in brightness (contrast) can be perceived as the vibration of the object, but in the absence of light, applying these techniques is pointless and the camera must be fixed.

1. 알렉세예프. 정신생리학적 거짓말 탐지. 메토돌로기아. M, 2011, 108p.Alekseyev. Psychophysiological lie detection. Metodolgia. M, 2011, 108p. 2. 말차노프. 아글로빈. 도구론적 '거짓말탐지', 뉘앙스, 2004년, 464p.2. Matchanov. Aglobin. Toolological 'Lie Detection', Nuance, 2004, 464p. 3. https://en.wikipedia.org/wiki/john_Augustus_Larson3. https://en.wikipedia.org/wiki/john_Augustus_Larson 4. 세체노프. 사고의 요소. 상트페테르부르크, 2001. 416p.4. Sechenov. Elements of thinking. St. Petersburg, 2001. 416p. 5. 찰스 다윈. 인간 및 동물의 감정 표현에 관하여. 피테르, 2001.5. Charles Darwin. About the expression of emotions in humans and animals. Peter, 2001. 6. 폴 에크만. 거짓말 심리학. 피테르, 2003.6. Paul Eckman. Lying psychology. Peter, 2003. 7. A. J. Fridlund, Human facial expression. An evolutionary view. San Diego, CA, Academic Press.7. A. J. Fridlund, Human facial expression. An evolutionary view. San Diego, CA, Academic Press. 8. RU 2187904, 2000.12.19일 우선권. 이미지 전환 방법 및 수단. 민킨 외8. RU 2187904, priority on December 19, 2000. Image conversion method and means. Minkin et al. 9. RU 2289310 2004.02.16일 우선권. 생물체의 정신생리학적 상태에 관한 정보 획득 방법9. RU 2289310 Priority on 16 February 2004. How to get information about the psychophysiological state of an organism 10. Method for psychophysiological detection of deception through brain function analysis US 10/213,089 Lawrence Farwell10.Method for psychophysiological detection of deception through brain function analysis US 10 / 213,089 Lawrence Farwell 11. Method an apparatus for brain fingerprinting, measurement, assessment and analysis of brain function, EP1401330 Lawrence Farwell11.Method an apparatus for brain fingerprinting, measurement, assessment and analysis of brain function, EP1401330 Lawrence Farwell 12. A guide to assessing physical activity using accelerometry in cancer patients J.M.Broderick & J.Ryan & D.M.O?Donnell & J.Hussey. Springer-Verlag Berlin Heidelberg 2014.12.A guide to assessing physical activity using accelerometry in cancer patients J.M.Broderick & J.Ryan & D.M.O? Donnell & J.Hussey. Springer-Verlag Berlin Heidelberg 2014. 13. Accelerometry analysis of physical activity and sedentary behavior in older adults: a systematic review and data analysis/ E.Gorman & H.M.Hanson & P.H.Yang & K.M.Khan & T. Liu-Ambrose & M.C. Ashe Received: 8 March 2013 / Accepted: 23 August 2013 /Published online: 17 September 2013. #The Author(s) 2013. This article is published with open access at Springerlink.com13.Accelerometry analysis of physical activity and sedentary behavior in older adults: a systematic review and data analysis / E.Gorman & H.M.Hanson & P.H.Yang & K.M.Khan & T. Liu-Ambrose & M.C. Ashe Received: 8 March 2013 / Accepted: 23 August 2013 / Published online: 17 September 2013. #The Author (s) 2013.This article is published with open access at Springerlink.com 14. Apparatus and methods for detecting emotions US6638217 B1 Amir Liberman.14.Apparatus and methods for detecting emotions US6638217 B1 Amir Liberman. 15. Detecting emotions using voice signal analysis US7222075 Valery A.Petrushin.15.Detecting emotions using voice signal analysis US7222075 Valery A.Petrushin. 16. 프로토타입. RU 2510238, 우선권 2009.10.26일, 생물체의 정신생리학적 상태에 관한 정보 획득 방법. 민킨.16. Prototype. RU 2510238, Priority October 26, 2009, How to obtain information about the psychophysiological state of an organism. Minkin. 17. RU 2515149, 민킨, 블랑크 M.A, 블랑크 O.A, 전립선 암 검사진단 방법, 우선권 2012.02.06일17.RU 2515149, Minkin, Blank M.A, Blank O.A, Prostate Cancer Screening Method, Priority 2012.02.06 18. 비전기량 전기측정, 5판 인쇄, 노비츠키, 에네르기야, 197518. Non-electrical electricity measurement, 5th edition printing, Nowitzki, Energia, 1975 19. 로렌츠 '공격성, 프로그레스19. Lorenz 'Aggression, Progress 20. 타마르 '센서 생리학 기초', 모스크바, 197620. Tamar 'Basic of Sensor Physiology', Moscow, 1976 21. 정전용량식 마이크로전자기계 관성 민감 요인 생산 방법(특허 RU 2207658): 모크로프 외21. Capacitive Microelectromechanical Inertial Sensitive Factor Production Method (Patent RU 2207658): Mocrof et al. 22. Dissolved wafer fabrication process and associated microelectromechanical device having a support substrate with spacing mesas US6143583. Ken Maxwell Hays.22.Dissolved wafer fabrication process and associated microelectromechanical device having a support substrate with spacing mesas US6143583. Ken Maxwell Hays. 23. Method of manufacturing a vibrating structure gyroscope US 6471883 Christopher P Fell.23.Method of manufacturing a vibrating structure gyroscope US 6471883 Christopher P Fell. 24. Game drum having micro electrical mechanical system pressure sensing module US8287376 Hai Lan et.al.24.Game drum having micro electrical mechanical system pressure sensing module US8287376 Hai Lan et.al. 25. Operating apparatus for game machine US 7479064 B2 Noboru Wakitani etc.25.Operating apparatus for game machine US 7479064 B2 Noboru Wakitani etc. 26. Robust step detection using low cost mems accelerometer in mobile applications, and processing methods, apparatus and systems US 20130090881, Jayawardan Janardhanan et.al.26.Robust step detection using low cost mems accelerometer in mobile applications, and processing methods, apparatus and systems US 20130090881, Jayawardan Janardhanan et.al. 27. Ceaser, Tyrone Gene, The Estimation of Caloric Expenditure Using Three Triaxial Accelerometers. PhD diss., University of Tennessee, 2012.27.Ceraser, Tyrone Gene, The Estimation of Caloric Expenditure Using Three Triaxial Accelerometers. PhD diss., University of Tennessee, 2012. 28. J. Kate Lyden, Sarah L. Kozey, John W. Staudenmeyer Patty S.Freedson, A comprehensive evaluation of commonly used accelerometer energy expenditure and MET prediction equantions, Eur J Appl Physiol (2011) 111: 187-201 28.J. Kate Lyden, Sarah L. Kozey, John W. Staudenmeyer Patty S.Freedson, A comprehensive evaluation of commonly used accelerometer energy expenditure and MET prediction equantions, Eur J Appl Physiol (2011) 111: 187-201 29. 노비츠키, 조그라프, 측정 결과 오류 평가, 에네르고아톰, 199129. Nowitzki, Jograph, measurement result error evaluation, Energo Atom, 1991 30. Sensors Overview, 구글 출판, 2015년 2월 http://developer.android.com/guide/topics/sensors/sensors_overview.html30.Sensors Overview, published by Google, February 2015 http://developer.android.com/guide/topics/sensors/sensors_overview.html 31. 인간의 심리감정 상태 통제 시스템 기술, 바이브라이미지 8 PR, 엘시스 출판, http://www.psymaker.com/downloads/V18_1ManualRus.pdf31. Human psychological state control system technology, Vibra Image 8 PR, Elsis Publishing, http://www.psymaker.com/downloads/V18_1ManualRus.pdf 32. RU2384967 쯔출린 알렉산드르 콘스탄티노비치 (RU), 파흐미 솨키브 수브히에비치 (RU), 페레스펠로프 아나톨리 비탈에비치 (RU) 이미지 안정화 방법32. RU2384967 Zzcúlin Alexandre Constantinovic (RU), Pachmi Yonkiv Subhiević (RU), Perespelov Anatoly Vitalevich (RU) image stabilization method 33. US 8,896,713 B2 Motion-based video stabilization Brandon Corey et.al.33. US 8,896,713 B2 Motion-based video stabilization Brandon Corey et.al. 34. US 8,159,541 B2 Image stabilization method and apparatus, Stuart McLend.34.US 8,159,541 B2 Image stabilization method and apparatus, Stuart McLend. 35. US 2011/0234825 Accelerometer/gyro-facilitated Video Stabilization, YIIXIII LIU et.al.35.US 2011/0234825 Accelerometer / gyro-facilitated Video Stabilization, YIIXIII LIU et.al.

본 발명은 인간의 정신생리학적 상태 매개변수 측정법의 편의성, 정확성 및 신뢰도를 높일 수 있는 정신생리학적 상태에 관한 정보 획득방법을 제공하고자 함에 목적이 있다.An object of the present invention is to provide a method for acquiring information on a psychophysiological state that can increase convenience, accuracy, and reliability of a method for measuring a psychophysiological state parameter of a human.

본 발명에 있어서 인간의 정신생리학적 상태에 관한 정보 획득 방법은, In the present invention, a method for acquiring information about a human psychophysiological state,

인간의 신체 부위와의 직접 혹은 간접적인 물리적 접촉을 하여 움직임 활동성을 측정하는 움직임 매개변수 측정 수단과, 상기 움직임 매개변수 측정 수단 내부에 장착되고 인간의 신체와 직접 접촉하지 않는 움직임 매개변수 전환 센서와, 상기 움직임 매개변수 측정수단에 의해 측정된 매개변수 수치는 움직임 속도로 전환되어 인간의 움직임 활동성을 분석하는 것을 특징으로 한다.A motion parameter measurement means for measuring movement activity by direct or indirect physical contact with a human body part, and a motion parameter conversion sensor mounted inside the motion parameter measurement means and not in direct contact with the human body , The parameter value measured by the motion parameter measuring means is converted into a movement speed and is characterized by analyzing human motion activity.

또한 상기 움직임 매개변수 측정수단은 모바일 핸드폰이고, 상기 움직임 매개변수 전환센서는 상기 모바일 핸드폰에 장착된 마이크로 전자기계 센서이며, 상기 모바일 핸드폰에 의해 인간의 정신생리학적 혹은 기능적 상태 분석이 이루어지는 것을 특징으로 한다.In addition, the motion parameter measurement means is a mobile cell phone, the motion parameter conversion sensor is a micro electromechanical sensor mounted on the mobile cell phone, characterized in that the analysis of the human psychophysiological or functional state is made by the mobile cell phone do.

아울러 상기 마이크로 전자기계 센서는 움직임 속도의 시간적 의존성을 기록하고, 상기 움직임 속도의 시간적 의존성에서 나타난 주파수 신호(V)와 카메라에 의해 얻어지는 바이브라 이미지 주파수 신호(F1) 사이의 상관관계를 분석하여 정신생리학적 또는 기능적 상태 매개변수를 집계하는 것을 특징으로 하며,In addition, the microelectromechanical sensor records the temporal dependence of the movement speed and analyzes the correlation between the frequency signal (V) and the vibra image frequency signal (F1) obtained by the camera from the temporal dependence of the movement speed. Characterized by the aggregation of physiological or functional state parameters,

상기 정신생리학적 혹은 기능적 상태 매개변수 집계시, 모바일 핸드폰 마이크로전자기계 센서에서 획득한 움직임 속도 매개변수 자료를 모바일 핸드폰 카메라 바이브라이미지 처리 자료와 맞춰보고, 바이브라이미지 수치와 마이크로전자기기에서 나타난 수치 관계를 파악해 바이브라이미지 수정 신호를 획득하는 것을 특징으로 한다.When the psychophysiological or functional state parameters are aggregated, the movement speed parameter data obtained from the mobile cell phone microelectromechanical sensor is matched with the mobile cell phone camera vibra image processing data, and the values displayed by the vibra image value and the microelectronic device. It is characterized by acquiring a correction signal for a vibra image by grasping the relationship.

본 발명은 움직임 매개변수 측정수단에 의해 인간의 움직임 활동성을 측정하고 이를 움직임 속도로 전환하여 움직임 활동성 특징을 분석함으로써, 인간의 정신생리학적 상태 매개변수 측정법의 편의성, 정확성 및 신뢰도를 높일 수 있는 정신생리학적 상태에 관한 정보 획득방법을 제공하는 효과가 있다.The present invention measures a human motion activity by means of a motion parameter measurement means and converts it into a motion speed to analyze the motion activity characteristics, thereby improving the convenience, accuracy, and reliability of the human psychophysiological state parameter measurement method. It has the effect of providing a method for obtaining information about a physiological condition.

도 1에는 접촉식 움직임 매개변수 측정 기기 및 비접촉식 바이브라이미지 방법을 활용한 인간의 정신생리학적 상태에 관한 정보 획득법이 도시되어 있다.
도 2(a, b)에는 활발한 정신생리학적 상태에 있는 접촉식 움직임 기기 및 비접촉식 바이브라이미지 방법으로 정해지는 매개변수 의존성이 나타나 있으며. 도 2a는 시간에 따른 매개변수 의존성, 도 2b에는 매개변수간 상관관계가 제시되어 있다.
도 3(a, b)에는 수동적인 정신생리학적 상태에 있는 접촉식 움직임 기기 및 비접촉식 바이브라이미지 방법으로 정해지는 매개변수 의존성이 나타나 있으며, 도 3a에는 시간에 따른 매개변수 의존성, 3b에는 매개변수간 상관관계가 제시되어 있다.
FIG. 1 shows a method of acquiring information on a psychophysiological state of a human using a contact motion parameter measurement device and a non-contact vibra image method.
2 (a, b) shows parameter dependence determined by a contact-motion device and a non-contact vibra image method in an active psychophysiological state. 2A shows parameter dependence over time, and FIG. 2B shows correlations between parameters.
3 (a, b) shows a parameter dependency determined by a contact motion device and a non-contact vibra image method in a passive psychophysiological state, and FIG. 3a shows a parameter dependence over time and a parameter in 3b Cross-correlation is presented.

이하 본 발명의 바람직한 실시예를 상세히 설명하면 다음과 같다. Hereinafter, a preferred embodiment of the present invention will be described in detail.

인간의 움직임 활동성(motion activity) 특성 측정 및 인간의 움직임 활동성 분석을 바탕으로 하는 정신생리학적(psychophyological) 혹은 기능적(functional) 상태 매개변수(parameters) 집계, 인간의 움직임 활동성 특성 측정을 포함한 인간의 정신생리학적 상태에 관한 정보 획득이 인간의 신체와 직접 혹은 간접적인 물리적 접촉을 하는 움직임 매개변수 측정 방법이 적용됨으로써 기술적 과제가 해결된다. 움직임 매개변수 전환 센서(motion parameter conversion sensor)가 인간의 신체 부위와 직접적인 접촉이 없도록 움직임 매개변수 측정 기기(motion parameter measurement means) 내부에 매개변수 변환 센서가 장착됐으며 움직임 매개변수 측정 수치는 움직임 속도(speed of motion)로 변환된다. Human psychology, including the aggregation of psychophysiological or functional state parameters based on measurement of human motion activity characteristics and analysis of human movement activity, and measurement of human movement activity characteristics The technical task is solved by applying a method of measuring motion parameters that directly or indirectly makes physical contact with the human body to obtain information about the physiological state. The parameter conversion sensor is mounted inside the motion parameter measurement means so that the motion parameter conversion sensor does not come into direct contact with the human body part. speed of motion).

본 발명의 경우 움직임 매개변수 측정 수단으로 핸드폰 혹은 여타 프로세서 기기(전자기기)가 활용되고 움직임 매개변수 전환 기기로는 핸드폰에 장착된 개별 마이크로전자기계 센서가 활용되며 인간의 정신생리학적 혹은 기능적 상태 분석은 핸드폰에 미리 저장된 특수 프로그램을 활용한 핸드폰 프로세서로 이루어진다.In the case of the present invention, a mobile phone or other processor device (electronic device) is used as a means for measuring motion parameters, and an individual microelectromechanical sensor mounted on the phone is used as a device for converting motion parameters, and analysis of a human psychophysiological or functional state Consists of a mobile phone processor that utilizes a special program pre-stored in the mobile phone.

핸드폰 마이크로전자기계 센서는 움직임 속도 매개변수의 시간적 의존성을 기록하는데, 신체 부위의 움직임 측정을 바탕으로 이루어지는 정신생리학적 혹은 기능적 매개변수는 마이크로전자기계 센서에서 획득한 움직임 속도 매개변수의 시간적 의존성을 바탕으로 높은 혹은 낮은 주파수 상관관계를 분석해 집계된다.The cell phone microelectromechanical sensor records the temporal dependence of the motion speed parameter, and the psychophysiological or functional parameter based on the motion measurement of the body part is based on the temporal dependence of the motion speed parameter obtained from the microelectromechanical sensor. It is aggregated by analyzing high or low frequency correlations.

정신생리학적 혹은 기능적 상태 매개변수 집계시 인간의 정신생리학적 상태에 관한 정보 파악을 위해 핸드폰 마이크로전자기계 센서로 획득한 인간의 움직임 속도 매개변수에 관한 자료를 핸드폰 카메라에서 얻어진 인간의 바이브라이미지(vibraimage) 처리 자료와 맞춰보며 바이브라이미지 수정 신호 파악을 위해 현 바이브라이미지 신호 수치와 현 마이크로전자기기 신호 수치간 관계를 파악한다.Human vibra images obtained from cell phone cameras are obtained from mobile phone cameras to obtain data on human motion speed parameters acquired by cell phone microelectromechanical sensors to grasp information about human psychophysiological states when counting psychophysiological or functional state parameters. vibraimage) In order to understand the vibra image correction signal by matching with the processing data, the relationship between the current vibra image signal value and the current microelectronic device signal value is grasped.

이러한 기법으로 추가적인 빛 신호 전환없이 대상물의 이동 및 움직임 활동성의 신체적 특성을 직접적으로 분석할 수 있고 인간의 움직임 활동성 및 전정계 활동 매개변수 파악 정확성이 제고된다. 이렇듯 물리적 움직임(이동, 속도, 가속) 주요 매개변수는 평이한 차별적 관계를 가지며〔18〕 이러한 매개변수를 바탕으로 움직임 매개변수 측정 수단과 함께 이루어지는 자료 처리 시 모든 움직임 매개변수 집계 정확성은 높아진다. 이 경우 인간의 신체 부위와 움직임 매개변수 기기의 직접적인 접촉은 없으며 정신생리학적 상태에 관한 정보 획득을 위해 센서를 소형 측정 기기 내부에 장착할 수 있다. 움직임 속도 매개변수는 모든 움직임 매개변수들 중 가장 높은 정신생리학적 정보성을 보여줬으며 이는 인간의 움직임 에너지 소비와 관련한 대다수 기존 연구가 가속 집계를 바탕으로 이루어진 만큼 예상치 못했던 결과이다〔12, 13〕.With this technique, the physical characteristics of the movement and movement activity of the object can be directly analyzed without additional light signal conversion, and the accuracy of human movement activity and vestibular activity parameter identification can be improved. As such, the main parameters of physical motion (movement, speed, and acceleration) have a simple differential relationship [18]. On the basis of these parameters, the accuracy of counting all motion parameters increases when processing data with the means for measuring motion parameters. In this case, there is no direct contact between the human body part and the motion parameter device, and a sensor can be mounted inside the small measuring device to obtain information about the psychophysiological state. The motion velocity parameter showed the highest psychophysiological information among all the motion parameters, which is an unexpected result as most existing studies related to human motion energy consumption are based on accelerated aggregation [12, 13].

정신생리학적 상태에 관한 미세 움직임 의존성이 전정감정반사로 특징지어진다는 사실은 잘 알려져 있다〔19〕. 인간의 전정기관은 특수 수용기〔20〕의 도움을 받아 3D 상태에서 모든 신체 부위의 불균형을 분석하며 반대 방향으로 이루어지는 불균형한 움직임을 위해 신체 근육을 반사적으로 조종한다. 사실상 마이크로전자기계 시스템이라 불리는 움직임 매개변수 전환 센서(가속도계, 진동 기기, 자이로스코프)는 전정기관과 동일한 기능을 가지고 있다〔21, 22〕. 현대의 움직임 센서는 가속, 코너 혹은 움직임을 측정하며 대개 상호간 세 개의 직각 축에 따라 기술 기기의 도움으로 모든 방향의 움직임을 고려한 독립된 전기 신호로 자료가 전환된다〔23〕. 이렇듯 사실상 모든 핸드폰은 인간의 전정기관과 유사한 기능을 가진 몇몇 센서를 포함하고 있기 때문에 핸드폰의 이동이 인간의 움직임을 따라간다면 인간의 정신생리학적 상태를 통제하는데 활용될 수 있는 것이다. 오늘날 핸드폰의 마이크로전자기계 시스템 센서 활용으로 화면 전환 혹은 게임 어플 등과 같은 기술적 운용 과제가 해결됐다〔24, 25〕. 또한 정신생리학적 매개변수 측정과 유사한 실례로 칼로리 소비 집계〔27, 28〕 혹은 가속도계 신호의 정기적 변화에 따라 이용자의 보행 횟수를 집계〔26〕하는 마이크로전자기계 시스템 센서 정보 활용을 들 수 있다. It is well known that micro-movement dependence on psychophysiological conditions is characterized by vestibular emotional reflection [19]. The human vestibular organ analyzes the imbalance of all body parts in the 3D state with the help of a special receptor [20] and reflexively manipulates the body muscles for unbalanced movement in the opposite direction. In fact, motion parameter change sensors (accelerometers, vibrating devices, gyroscopes) called microelectromechanical systems have the same function as the vestibular organs [21, 22]. Modern motion sensors measure acceleration, corner or motion, and data are converted into independent electrical signals that take into account movement in all directions, usually with the aid of technological devices along three mutually perpendicular axes [23]. As such, virtually every cell phone contains several sensors with functions similar to those of the human vestibular organ, so if the movement of the cell phone follows human motion, it can be used to control the psychophysiological state of humans. Today, technical operation tasks such as screen switching or game applications have been solved by using microelectromechanical system sensors in mobile phones [24, 25]. In addition, the use of microelectromechanical system sensor information for counting the number of steps of a user according to a regular change of the accelerometer signal [27, 28] or caloric consumption counting [27] is an example similar to psychophysiological parameter measurement.

모바일 장치에 장착된 센서 신호의 정신생리학적 정보성과 관련한 핵심은 인간의 신체 부위에 마이크로전자기계 센서를 임의적으로 장착한다는 점을 들 수 있다. 바이브라이미지 기술〔8, 9]에서는 신체 뼈대의 수직유지가 필요하고 신체 역학에 따른 인간의 머리 부위가 이상적인 대상이 되는 만큼 신체 이동이 자연스럽게 통제되며 모든 움직임이 반영된다. 하지만 바지 혹은 윗도리 주머니에 있는 핸드폰은 모바일 기기와 직접적인 접촉을 가진 상체의 움직임을 우선적으로 반영해 준다.The key to the psychophysiological informationality of sensor signals mounted on mobile devices is the fact that the microelectromechanical sensors are randomly mounted on human body parts. In the vibra image technology [8, 9], vertical movement of the body skeleton is required, and as the human head is an ideal object according to body dynamics, body movement is naturally controlled and all movements are reflected. However, the mobile phone in the pants or jacket pockets primarily reflects the movement of the upper body in direct contact with the mobile device.

오늘날 현존하는 물리적 센서(가속, 이동, 진동) 장착이라는 기술적 접근법은 연구 대상에 대한 센서 결합 시 강한 물리적 접촉을 요한다. 자연적으로 대상자 옷의 임의적인 위치에 모바일 기기를 설치할 경우 신체 부위와 필요한 수준의 강한 물리적 접촉이 이루어지지 않으며 임의적인 접촉 위치는 움직임 활동성의 정보성을 보장해주지 않는다. Today, the technical approach of mounting existing physical sensors (acceleration, movement, vibration) requires strong physical contact when combining the sensor with the study object. Naturally, when a mobile device is installed at a random location on a subject's clothing, a strong physical contact with a body part is not required, and the random contact location does not guarantee the information of movement activity.

하지만 본 발명진은 직접적인 물리적 접촉이 이루어지지 않고 신체 부위에 임의적인 장착을 하는 것과 관련해 정보적 신호로 미세 움직임을 통제하게 해주는 속도를 활용할 경우 일반 모바일 장치에 부착된 마이크로전자기계 센서와 같은 움직임 센서에서 정보통계 정신생리학적 신호를 획득하는 것이 가능하다는 사실을 실험적으로 입증할 수 있었다. 정신생리학적 신호를 얻는데 있어서 기초적인 정보성이 되는 것은 측정 물리적 수치의 신호 순간치가 아닌(신체 분위의 임의적 위치에서 이루어지는 접촉은 늦게 이루어질 수 있고 머리 부위의 움직임과 맞아 떨어지지 않을 수 있음) 무엇보다 설정 물리적 수치의 시간적 의존성을 반영해주는 통계 매개변수 통합치 자료이기 때문이다. 이 외에도 실험적으로 입증된 사실은 다양한 신체 부위의 미세 움직임 및 속도 특성은 대상자의 정신생리학적 상태에 따라 좌우되며 움직임 활동성 자체 혹은 거시 움직임에 큰 영향을 받지 않는다는 사실이다. However, the present inventors do not have direct physical contact, but use a speed that allows fine movement to be controlled by an informational signal in connection with arbitrary mounting on a body part, such as a motion sensor such as a microelectromechanical sensor attached to a general mobile device. It was able to prove experimentally that it was possible to acquire psychological signals in information statistics. Setting the basic information in obtaining psychophysiological signals is not the signal instantaneous value of the measured physical value (contact made at an arbitrary position in the body's position may be delayed and may not fall due to the movement of the head). This is because it is a statistical parameter integrated data reflecting the temporal dependence of physical values. In addition to this, the experimentally proven fact is that the fine movement and speed characteristics of various body parts depend on the psychophysiological state of the subject and are not affected by the movement activity itself or macroscopic movement.

공격성, 스트레스, 불안감이 큰 활발한 정신생리학적 상태에서 신체의 미세 움직임 특성(물리적인 측면에서 볼 때 진동)은 정신생리학적 과정으로 결정되며 어깨, 가슴, 엉덩이의 움직임은 머리의 미세 움직임과 높은 연관성이 있었다. 하지만 수동적인 정신생리학적 상태에서는 신체 움직임이 정신생리학적 과정만으로 결정될 경우 이러한 연관성이 떨어진다. 이와 관련한 기술적인 결정은 새롭고 일반 전문가에게는 기술적으로 예측하지 못한 수준이며 산업상 이용가능한 것으로서 본 발명이 제시하고자 하는 부분이다.In an active psychophysiological state with high aggression, stress, and anxiety, the body's micro-motion characteristics (vibration from a physical point of view) are determined by the psychophysiological process, and the movements of the shoulders, chest, and hips are highly correlated with the fine movements of the head. There was. However, in a passive psychophysiological state, this association decreases when body movement is determined only by a psychophysiological process. The technical decision in this regard is new, technically unpredictable to the general expert, and is an industrially available part of the present invention.

이러한 기법은 표준 모바일 기기 마이크로전자기계를 포함한 움직임 기기 신호를 활용해 모바일 기기를 이용하는 인간의 정신생리학적 상태를 분석할 수 있게 해준다. 또한 와이파이 혹은 블루투스와 같은 무선 인터페이스를 활용해 모바일 장치 뿐 아니라 여타 프로세서에서도 인간의 정신생리학적 상태 분석이 가능하다. 이 외에도 정신생리학적 정보의 정보성은 신체 부위의 움직임 센서 장착 위치 및 신체 접촉법이 아닌 측정 수단 자체에서 이루어지는 움직임 속도 전환의 정확성과 정보적 신호 처리법에 따라 결정된다〔16, 29〕.These techniques enable the analysis of the psychophysiological state of a human using a mobile device by utilizing a motion device signal including a standard mobile device microelectromechanical device. In addition, by using a wireless interface such as Wi-Fi or Bluetooth, it is possible to analyze the human psychophysiological state on mobile devices as well as other processors. In addition to this, the informationality of psychophysiological information is determined by the accuracy of the movement speed conversion and the informational signal processing method performed by the measurement means itself, not by the position of the body's motion sensor and the body contact method [16, 29].

다양한 움직임 매개변수 측정법으로 이루어지는 인간의 정신생리학적 상태에 관한 정보 획득과 관련한 제시 안을 살펴보도록 하겠다. Let's look at the suggestions for acquiring information about the psychophysiological state of a human being, which consists of various methods of measuring motion parameters.

인간의 움직임 활동성 특성은 외부 카메라(바이브라이미지 기술)를 활용한 비디오 이미지 및 안드로이드 4.3 운영 시스템이 장착된 삼성 핸드폰 모델 S4(움직임 매개변수 접촉식 설정법)을 활용한 움직임 매개변수 측정으로 파악된다. 핸드폰 마이크로전자기계 신호〔30〕는 엘시스(주)에서 생산된 바이브라이미지 8.1 프로그램으로 처리된다〔31〕. 바이브라이미지 프로그램은 외부 기기에서 획득한 신호와 바이브라이미지 매개변수(바이브라이미지 기술로 정해지는 인간의 정신생리학적 매개변수 포함)간 상관관계를 시각화 처리하여 파악해준다. 또한 바이브라이미지 8.1 프로그램은 안드로이드 OS 표준 기기를 활용해 와이파이 인터페이스로 전달된 핸드폰 마이크로전자기계 신호를 분석해준다〔30〕. 핸드폰 마이크로전자기계 센서 자료 전송 프로그램〔30〕은 미리 핸드폰에 저장 및 보관돼 있다. 실험대상자 1(도. 1)는 컴퓨터 4(도. 1) 모니터가 있는 카메라 3(도. 1) 앞 의자 2(도. 1)에 앉아있고 핸드폰 5은 도.1에서와 같이 다양한 위치에 놓여진다. The characteristics of human motion activity are identified by video images using an external camera (vibra image technology) and motion parameter measurements using a Samsung mobile phone model S4 (motion parameter contact method) equipped with the Android 4.3 operating system. The cell phone microelectromechanical signal [30] is processed by the Vibra Image 8.1 program produced by Elsis Co., Ltd. [31]. The Vibra image program visualizes and correlates the correlation between signals acquired from an external device and vibra image parameters (including human psychophysiological parameters determined by vibra image technology). In addition, the Vibra Image 8.1 program analyzes the microelectromechanical signal of the mobile phone transmitted through the Wi-Fi interface using the Android OS standard device [30]. The cell phone microelectromechanical sensor data transmission program [30] is stored and stored in the cell phone in advance. Subject 1 (Fig. 1) sits on chair 2 (Fig. 1) in front of camera 3 (Fig. 1) with computer 4 (Fig. 1) monitor and cell phone 5 is placed in various positions as in Fig. 1 Lose.

마이크로전자기계 센서에서 획득한 신호의 정신생리학적 정보성을 확인하기 위해 바이브라이미지 8.1 프로그램의 인터페이스상 컴퓨터 화면에 나타난 시각신호 자료를 살펴보도록 하겠다. 도 2에는 기초 정보적 신호로 바이브라이미지 주파수의 빠른 신호 F1(바이브라이미지 기술에 따라 카메라로 결정되는)과 신호 V(핸드폰 가속도계 마이크로전자기계 센서의 움직임 속도 총 벡터를 정하는)가 나와있다. 처음 핸드폰은 대상자의 머리 부위에 위치한다. 이 경우 하나의 신체적 수치, 즉, 인간의 머리부위 움직임이 있을 경우 움직임 속도는 바이브라이미지와 마이크로전자기계 가속도계라는 두 가지 기기로 측정된다. 바이브라이미지 프로그램은 이러한 신호를 처리하고 실험 대상자의 정신생리학적 상태와는 별개로 상호간 상관관계가 높은 연관성을 밝혀준다. In order to confirm the psychophysiological information of the signal obtained from the microelectromechanical sensor, we will examine the visual signal data displayed on the computer screen on the interface of the Vibra Image 8.1 program. FIG. 2 shows a fast signal F1 (determined by a camera according to a vibra image technology) and a signal V (determining the total velocity of motion of the microelectromechanical sensor of the mobile phone accelerometer) as a basic informational signal. The first cell phone is located on the subject's head. In this case, when there is a single physical value, that is, when there is movement of the human head, the movement speed is measured by two devices: a vibra image and a microelectromechanical accelerometer. The Vibra image program processes these signals and reveals a highly correlated relationship independent of the subject's psychophysiological state.

전화기를 머리 부위에서 윗옷 가슴 주머니와 같은 다른 위치로 이동시켰을 경우를 살펴보도록 하겠다. 이 경우 다양한 신체 수치의 측정이 이루어지고 카메라는 여전히 대상자의 머리 부위를 비추며 윗옷 가슴 주머니에 위치한 핸드폰은 대상자의 가슴 쪽 셔츠의 움직임 속도를 측정한다. 이 경우 F1과 V 매개변수간 눈에 띄게 높은 상관관계가 나타나며 실험 대상자는 활발한 운동 상태에 있다고 볼 수 있다. 활발한 운동 기능적 상태 하에 인간의 정신생리학적 상태를 파악할 수 있는데 이 경우 에너지 소비는 3kcal/min 수준을 넘어서고 〔27, 28〕 생리학적 과정 뿐 아니라 활발한 심리 혹은 감정 활동도 알 수 있다. 실례로 평온하게 앉아있는 사람의 생리학적 과정에 대한 에너지 소비는 2kcal/min 수준을 넘지 않는 만큼〔27, 28〕 에너지 소비와 신진대사(metabolism)는 신체기관의 생리학적 과정 뿐 아니라 정신생리학적 과정으로 결정된다는 사실을 알 수 있다. Let's take a look at a case where the phone is moved from the head to another location, such as an upper chest pocket. In this case, various body measurements are made, the camera still illuminates the subject's head, and the mobile phone located in the upper chest pocket measures the movement speed of the subject's chest shirt. In this case, there is a noticeable high correlation between the F1 and V parameters, and the subject can be considered to be in an active state of movement. Under the active motor functional state, it is possible to grasp the psychophysiological state of the human. In this case, energy consumption exceeds 3 kcal / min and [27, 28] not only physiological processes but also active psychological or emotional activity can be known. For example, energy consumption and metabolism are not only the physiological processes of the body organs, but also the psychophysiological processes, as the energy consumption for the physiological process of a sedentary person does not exceed the level of 2 kcal / min [27, 28]. It can be seen that it is determined.

도 2a에는 핸드폰이 윗옷 주머니에 위치한 활발한 기능적 상태에 있는 실험 대상자에게 나타나는 F1 과 V 신호의 시간적 의존성이 나와있다. 이 경우 시간적 의존성의 첫 번째 부분은 최소한의 움직임 활동성 상태(거시적인 움직임 없음)에 있는 경우로 나타났지만 그렇다고 해서 실험 대상자가 수동적인 상태임을 의미하지는 않는다. 그래프 왼쪽 부분은 사실상 에너지 소비에 있어서 오른쪽 부분과 큰 차이가 없다. 굳이 차이를 언급하자면 그래프 왼쪽 부분에서 대상자는 약간의 미세 움직임을 보였고 그래프 오른쪽 부분에서는(9초 후) 거시 움직임을 보인 점이다. 시각적으로 확인할 수 있는 사실은 두 개의 신호가 모두 높은 연관성이 있다는 사실이며 이는 이러한 곡선이 약 0.95 피어슨 상관계수로 나타나는 바이브라이미지 프로그램 수치 집계로 확인된다. 이러한 신호는 상대단위로 표시되는데 이 경우 측정 시 획득한 신체 절대 수치 값이 아닌 모든 신호의 변화 추이가 정보적이다. F1과 V 값의 상관관계 의존성은 도 2b에 나와있다. 흥미로운 사실은 두 개의 정신생리학적 상태(미세 움직임 및 거시 움직임)가 사실상 인간의 머리 및 가슴 부위의 진동 매개변수간 상관관계 수준을 변화시키지 않는다는 점이다. 이러한 유사한 신호간 의존성은 실험 대상자의 다양한 위치의 옷 주머니에 핸드폰을 놓았을 때에도 관찰됐다.2A shows the temporal dependence of the F1 and V signals appearing on the subject in an active functional state where the cell phone is located in the top pocket. In this case, the first part of the temporal dependence appeared to be in a minimally motile state (no macroscopic motion), but this does not mean that the subject is passive. The left part of the graph is virtually no different from the right part in energy consumption. In order to mention the difference, the subject showed slight movement in the left part of the graph and the macro movement in the right part (after 9 seconds) of the graph. Visually, the fact is that both signals are highly correlated, which is confirmed by the vibra image program numerical aggregation, in which these curves are represented by a 0.95 Pearson correlation coefficient. These signals are displayed in relative units. In this case, the change trend of all signals is informative, not the absolute value of the body obtained during measurement. The correlation dependence of F1 and V values is shown in Figure 2b. Interestingly, the two psychophysiological states (fine motion and macroscopic motion) actually do not change the level of correlation between the vibration parameters of the human head and chest. This similar signal-to-signal dependence was observed even when the cell phone was placed in a pocket of clothes at various locations in the test subject.

바이브라이미지 기술 및 움직임 매개변수 측정 기기로 획득한 신호간 유사한 의존성은 움직임 기기의 최초 신호에서만 관찰되는 것이 아닌 활발한 정신생리학적 상태의 경우의 정보통계적 신호에서도 관찰된다〔16〕. 대조를 위해 활용된 신호로 바이브라이미지 주파수 신호 범위 내의 높거나 낮은 주파수의 상관관계와 같은 불안감 T 지표를 선택하는 경우를 실례로 들 수 있다〔16〕. 유사한 방법으로 집계된 신호는 바이브라이미지를 근거해 집계된 불안감 지표와 높은 연관성을 갖지만 이 경우 모바일 핸드폰 자이로스코프 및 가속도계 센서의 움직임 속도에서 획득한 범위를 바탕으로 한다. 더군다나 이러한 높은 연관성은 머리나 윗옷 혹은 바지 주머니와 같은 핸드폰 위치에 큰 의존성이 없다. 심지어 손에 핸드폰을 쥐고 그다지 움직이지 않은 경우에도 비슷한 불안감 수준(옷에서도 마찬가지임)이 나타났다.Similar dependence between signals acquired by vibra imaging technology and motion parameter measurement devices is observed not only in the initial signals of motion devices, but also in statistical information in the case of active psychophysiological conditions [16]. An example of selecting an anxiety T index, such as a correlation between high and low frequencies within a vibra image frequency signal range, is used as a signal for comparison [16]. Signals aggregated in a similar way have a high correlation with anxiety indicators aggregated based on vibra images, but in this case, they are based on the range obtained from the movement speed of the mobile phone gyroscope and accelerometer sensor. Moreover, this high relevance has little dependence on the location of the cell phone, such as the head or the top or trouser pocket. A similar level of anxiety (even in clothes) was observed, even when the mobile phone was held in the hand and not very mobile.

에너지 소비 2kcal/min 수준 미만의 수동적인 정신생리학적 상태(에너지 소비는 주로 생리학적 과정으로 정해짐)에 있는 인간의 경우 상관관계 의존성이 조금 다른 특성을 보인다. 실험 대상자의 핸드폰 위치가 다른 곳으로 이동할 경우 여타 신체 부위의 움직임에 대한 머리 부위의 움직임 의존성 특성이 크게 변화한다. 도 3a에는 핸드폰이 윗옷 주머니에 있는 수동적인 기능적 상태를 보이는 실험 대상자의 F1과 V 신호의 시간적 의존성이 나타나 있다. 시간적 의존성과 관련한 첫 번째 부분은 최소한의 움직임 활동성으로 나타났지만 실험 대상자가 수동적인 상태에 있음을 의미하는 것은 아니다. 그래프 왼쪽 부분은 사실상 오른쪽 부분과 에너지 소비에 있어서 큰 차이가 없지만 굳이 차이를 찾자면 왼쪽 부분에서 실험 대상자가 미세 움직임을 보였고 오른쪽 부분에서는(17초 후) 거시 움직임을 보였다는 점이다. 이에 있어서 매개변수들간 상관관계 수준을 시각적으로 그래프로 평가하는 일은 쉽지 않으며 바이브라이미지 시스템은 신호들간 상당히 낮은 상관관계 계수(0.2 미만)를 보여줬다. In humans with passive psychophysiological conditions of less than 2kcal / min of energy consumption (energy consumption is mainly determined by physiological processes), the correlation dependence is slightly different. When the subject's cell phone location moves to a different location, the movement dependence characteristic of the head region relative to the movement of other body parts changes significantly. Fig. 3a shows the temporal dependence of the F1 and V signals of the test subject in which the mobile phone shows a passive functional state in the top pocket. The first part with respect to temporal dependence showed minimal mobility, but this does not mean that the subject is in a passive state. In the left part of the graph, there is virtually no difference in energy consumption from the right part, but to find the difference, the subject showed fine motion in the left part and macroscopic motion in the right part (after 17 seconds). In this regard, it is not easy to visually evaluate the correlation level between parameters, and the Vibra image system showed a significantly low correlation coefficient (less than 0.2) between signals.

수동적인 정신생리학적 상태에 있어서 F1과 V 수치의 상관관계 의존성은 도 3b에 나타나 있다. 흥미로운 사실은 두 개의 정신생리학적 상태(미세 움직임 및 거시 움직임)에 있어서 사실상 인간의 머리 및 가슴 부위의 진동 매개변수간 낮은 상관관계 수준이 변화되지 않으며 거시 움직임이 이의 증대를 초래하지 않는다는 점이다. 이러한 신호들간 낮은 유사 의존성은 수동적인 상태에 있는 실험 대상자 주머니 속 핸드폰을 다양한 위치에 이동시킬 경우 관찰됐다.The correlation dependence of F1 and V values in a passive psychophysiological state is shown in Figure 3b. Interestingly, the low level of correlation between vibrational parameters of the human head and chest region in two psychophysiological states (fine motion and macroscopic motion) does not change, and macroscopic motion does not result in its augmentation. A low similarity dependency between these signals was observed when the mobile phone in the subject's pocket in a passive state was moved to various locations.

실례로 인간의 신체 부위와 직접 혹은 간접적 물리적 접촉이 있는 움직임 매개변수 측정 수단을 활용해 인간의 활발한 정신생리학적 상태에 관한 정신생리학적 정보를 획득하는 가능성을 알 수 있었다. 이 경우 움직임 매개변수 측정 기기 내부에 움직임 매개변수 전환 센서가 부착되기 때문에 인간의 신체 부위와 직접적인 접촉이 없으며 이후 측정된 움직임 매개변수 값은 움직임 속도로 전환된다. 머리 및 신체 부위의 움직임 매개변수간 상관관계가 없는 것은 인간의 수동적인 정신생리학적 상태를 정보적으로 특징짓는다.For example, the possibility of acquiring psychophysiological information about an active psychophysiological state of a human was found by using a means of measuring motion parameters having direct or indirect physical contact with a human body part. In this case, since the motion parameter conversion sensor is attached to the inside of the motion parameter measurement device, there is no direct contact with the human body part, and the measured motion parameter value is then converted to the motion speed. The lack of correlation between the motion parameters of the head and body parts informally characterizes the passive psychophysiological state of humans.

대상물의 움직임 매개변수 동시 측정의 정확성을 제고시키기 위해 다음의 실험을 진행했다. Microsoft Surface Pro 3 i5 128Gb Oc Windows 8 PC에 설치된 바이브라이미지 8.1 프로그램을 활용해 표준 바이브라이미지 기술을 활용해 대상물의 진동 주파수를 파악했다. 5hz 진동 주파수의 진동을 보이는 명암이 있는 흑백 원형 반구를 대상물로 선정했는데 다른 컴퓨터 모니터에 화면을 띄어 놓고 실험을 진행했다. 이때 우선 기계적 안전성을 위해 Microsoft Surface PRO PC를 고정시켰다. 이 경우 대상물 움직임 주파수 측정 결과는 제시한 이동 주파수와 상당히 비슷한 수치인 5 ± 0.1 hz 수준이 될 것이다.The following experiment was conducted to improve the accuracy of simultaneous measurement of the motion parameters of the object. Microsoft Surface Pro 3 i5 128Gb Oc Using a vibra image 8.1 program installed on a Windows 8 PC, the vibration frequency of the object was determined using standard vibra image technology. A black-and-white circular hemisphere with contrast that exhibits vibration at a frequency of 5hz was selected as an object, but the experiment was conducted with a screen displayed on another computer monitor. At this time, the Microsoft Surface PRO PC was fixed for mechanical safety. In this case, the measurement result of the object's motion frequency will be 5 ± 0.1 hz, which is quite similar to the proposed moving frequency.

이 외에도 핸드폰을 손에 쥐는 것과 거의 비슷하게 모니터와 진동 원형 반구간 거리를 두고 실험을 진행했다. 이 경우 비디오 이미지 안정화 방법이 잘 준수되었음에도 불구하고 측정 주파수 수치는 상당히 큰 결과 분포를 보였는데 자연적으로 측정 오류가 크게 나타났다. 잘 알려진 이미지 안정화 방법〔32, 33, 34, 35〕이 거시 움직임을 어느 정도 안정화시키지만 그럼에도 불구하고 사실상 신체 부위의 미세움직임 안정화 알고리즘 작업이 이루어지기 때문에 카메라의 미세움직임 증대 및 바이브라이미지 오류 증대가 야기된다. 측정 결과는 5 ± 2 hz 수준이 될 것이다. In addition to this, the experiment was conducted at a distance between the monitor and the oscillation circular half-section, almost the same as holding a cell phone in hand. In this case, although the video image stabilization method was well observed, the measurement frequency number showed a fairly large result distribution, and the measurement error was large in nature. The well-known image stabilization method [32, 33, 34, 35] stabilizes macroscopic movements to some extent, but nevertheless, since the micro-motion stabilization algorithm works on the body parts, the camera's micro-motion and vibra image errors increase. Is caused. The measurement result will be 5 ± 2 hz level.

모바일 기기 마이크로전자기계 센서 신호 획득 기능과 바이브라이미지 자료 처리와 함께 이루어지는 신호 동시 기록을 추가해 대상물의 진동 주파수 결정 프로그램을 변경시켰다. 수정된 바이브라이미지 신호를 획득하기 위해서는 현 바이브라이미지 신호 수치와 현 마이크로전자기기 센서 신호 수치간 관계를 파악해야 한다. 이 경우 현대화된 프로그램으로 측정된 대상물 진동 주파수 수치는 사실상 5 ± 0.15 hz 수준이 될 것이다. 이렇듯 진행된 실험으로 마이크로전자기계 센서 및 카메라에서 획득한 움직임 매개변수 자료 동기화는 움직임 활동성 측정 정확성을 제고시키고 자연적으로 인간의 정신생리학적 상태 식별의 정확성 또한 높아진다는 사실을 알 수 있다.The vibration frequency determination program of the target object was changed by adding the signal acquisition function of the mobile device microelectromechanical sensor signal and the simultaneous recording of the vibra image data. In order to obtain a modified vibra image signal, it is necessary to grasp the relationship between the current vibra image signal value and the current microelectronic device sensor signal value. In this case, the object vibration frequency measured by the modernized program will be virtually 5 ± 0.15 hz. As a result of this experiment, it can be seen that synchronization of motion parameter data obtained from microelectromechanical sensors and cameras increases the accuracy of motion activity measurement and naturally increases the accuracy of human psychophysiological state identification.

구체적인 실험 진행을 보여주는 상기 실례는 실질적인 발명품의 가능성을 보여주지만 본 발명의 위 기법이 상기 실례에만 제한적으로 적용되는 것은 아니다. 모바일 기기 및 여타 장치 이용자의 정신생리학적 정보 획득을 위한 본 발명품의 기술적인 결정 및 기법이 활용될 수 있을 것이다. 실례로 모바일 기기에 설치돼 자료 처리 및 보관을 위해 인터넷으로 자료를 보낼 수 있는 특수 프로그램으로 마이크로전자기계 센서 자료에 대한 접근을 할 수 있을 것이다. 이러한 방법은 심혈관계 등과 같은 건강 상태에 관한 생리학적 정보 획득에 활용될 수 있고 정상적인 심장활동 범위에서 벗어날 경우 신호를 보낼 수도 있을 것이다.The above example showing the specific experimental progress shows the possibility of a practical invention, but the above technique of the present invention is not limited to the above example. Technical decisions and techniques of the present invention for obtaining psychophysiological information of users of mobile devices and other devices may be utilized. For example, a special program that can be installed on a mobile device to send data over the Internet for data processing and storage will enable access to microelectromechanical sensor data. This method can be used to obtain physiological information about a health condition such as the cardiovascular system, etc., and may also signal when normal cardiac activity is out of range.

인간의 정신생리학적 및 생리학적 상태에 관한 정보 획득을 위한 모바일 기기 마이크로전자기계시스템 센서 자료 활용은 편의성, 신뢰도라는 측면에서 차별화되며 모바일 기기 적용 분야를 크게 확장시켜 준다.The use of microelectromechanical system sensor data for mobile devices to acquire information about the psychophysiological and physiological state of humans is differentiated in terms of convenience and reliability, and greatly expands the field of mobile device applications.

이상에서 본 발명은 상기 실시예를 참고하여 설명하였지만 본 발명의 기술사상 범위 내에서 다양한 변형실시가 가능함은 물론이다.In the above, the present invention has been described with reference to the above embodiments, but it is of course possible to perform various modifications within the technical scope of the present invention.

Claims (4)

카메라와 마이크로 전자기계를 이용하여 인간의 정신생리학적 상태 정보를 획득하는 정보획득방법에 있어서,
인간의 신체 부위와의 직접 혹은 간접적인 물리적 접촉을 하여 움직임 활동성을 측정하는 움직임 매개변수 측정 수단과,
상기 움직임 매개변수 측정 수단 내부에 장착되고 인간의 신체와 직접 접촉하지 않는 움직임 매개변수 전환 센서와,
상기 움직임 매개변수 측정수단에 의해 측정된 매개변수 수치는 움직임 속도로 전환되어 인간의 움직임 활동성을 분석하며,
상기 움직임 매개변수 측정수단은 모바일 핸드폰 또는 전자기기이고,
상기 움직임 매개변수 전환센서는 상기 모바일 핸드폰 또는 전자기기에 장착된 마이크로 전자기계 센서이며,
상기 마이크로 전자기계 센서는 움직임 속도의 시간적 의존성을 기록하고,
상기 움직임 속도의 시간적 의존성에서 나타난 주파수 신호(V)와 카메라에 의해 얻어지는 바이브라 이미지 주파수 신호(F1) 사이의 상관관계를 분석하여 정신생리학적 또는 기능적 상태 매개변수를 집계하는 것을 특징으로 하는 인간의 정신생리학적 상태에 관한 정보 획득 방법


In the information acquisition method for obtaining the human psychophysiological state information using a camera and a micro-electromechanical,
A motion parameter measuring means for measuring movement activity through direct or indirect physical contact with a human body part,
A motion parameter conversion sensor mounted inside the motion parameter measurement means and not in direct contact with the human body;
The parameter value measured by the motion parameter measuring means is converted into a motion speed to analyze the human motion activity,
The motion parameter measuring means is a mobile phone or an electronic device,
The motion parameter conversion sensor is a micro electromechanical sensor mounted on the mobile phone or electronic device,
The microelectromechanical sensor records the temporal dependence of the speed of movement,
A human being characterized in that a psychophysiological or functional state parameter is aggregated by analyzing a correlation between the frequency signal (V) and the vibra image frequency signal (F1) obtained by the camera in the temporal dependence of the movement speed. Methods of obtaining information about psychophysiological conditions


삭제delete 삭제delete 삭제delete
KR1020177026335A 2015-03-31 2016-02-25 How to obtain information about the human psychophysiological state KR102090988B1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2015111784 2015-03-31
RU2015111784A RU2629247C2 (en) 2015-03-31 2015-03-31 Method of obtaining information on psychophysiological human status
PCT/RU2016/000101 WO2016159825A1 (en) 2015-03-31 2016-02-25 Method for obtaining information regarding psychophysiological state of individual

Publications (2)

Publication Number Publication Date
KR20170133346A KR20170133346A (en) 2017-12-05
KR102090988B1 true KR102090988B1 (en) 2020-03-20

Family

ID=57006133

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177026335A KR102090988B1 (en) 2015-03-31 2016-02-25 How to obtain information about the human psychophysiological state

Country Status (3)

Country Link
KR (1) KR102090988B1 (en)
RU (1) RU2629247C2 (en)
WO (1) WO2016159825A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017169987A (en) * 2016-03-25 2017-09-28 ムノガプローフィリナエ プレドプリヤーチェ エルシス Method of obtaining information regarding psychophysiological state
RU2695888C2 (en) * 2017-03-24 2019-07-29 Общество С Ограниченной Ответственностью "Многопрофильное Предприятие "Элсис" Method for assessing person's psychophysiological state

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2510238C2 (en) * 2009-10-26 2014-03-27 Общество с ограниченной ответственностью "Многопрофильное предприятие "Элсис" (ООО "Многопрофильное предприятие "Элсис") Method for obtaining information on psychophysiological state of living being

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6143583A (en) * 1998-06-08 2000-11-07 Honeywell, Inc. Dissolved wafer fabrication process and associated microelectromechanical device having a support substrate with spacing mesas
RU2257846C1 (en) * 2004-04-28 2005-08-10 Общество с ограниченной ответственностью "ЛАУРУС" Method and device for registering human movements
KR20050115788A (en) * 2004-06-05 2005-12-08 최진관 An apparatus for obtaining data on an object and method thereof
US8152694B2 (en) * 2009-03-16 2012-04-10 Robert Bosch Gmbh Activity monitoring device and method
KR101500888B1 (en) * 2010-10-28 2015-04-01 옵쉐스트바 스 아그라니첸노이 아트베트스트벤노스찌유 "므노고프로필노예 프레드프리야찌예 "엘씨스" Method for obtaining information about the psychophysiological state of a living being
US10330491B2 (en) * 2011-10-10 2019-06-25 Texas Instruments Incorporated Robust step detection using low cost MEMS accelerometer in mobile applications, and processing methods, apparatus and systems

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2510238C2 (en) * 2009-10-26 2014-03-27 Общество с ограниченной ответственностью "Многопрофильное предприятие "Элсис" (ООО "Многопрофильное предприятие "Элсис") Method for obtaining information on psychophysiological state of living being

Also Published As

Publication number Publication date
RU2015111784A (en) 2016-10-20
KR20170133346A (en) 2017-12-05
WO2016159825A1 (en) 2016-10-06
RU2629247C2 (en) 2017-08-28

Similar Documents

Publication Publication Date Title
Wong et al. Clinical applications of sensors for human posture and movement analysis: a review
US20150149116A1 (en) Wearable device and method for controlling the same
JP6122130B2 (en) Cerebral dysfunction evaluation method, cerebral dysfunction evaluation apparatus and program thereof
CN109788920B (en) Information processing apparatus, information processing method, and program
JP6291107B2 (en) Cerebral dysfunction evaluation method, cerebral dysfunction evaluation apparatus and program thereof
CN107683103B (en) System for supporting elderly, infirm and/or diseased people
JP6627112B2 (en) Biological function testing device, method of operating biological function testing device, and program
Bermeo et al. A system to monitor tremors in patients with Parkinson's disease
CN106037701A (en) Biological information processing system, biological information processing device, and method for generating analysis result information
WO2012057646A1 (en) Method for obtaining information about the psychophysiological state of a living being
KR102090988B1 (en) How to obtain information about the human psychophysiological state
KR101670134B1 (en) Diagnosis Apparatus For Dizziness
Figueras et al. Smartphone application for quantitative measurement of Parkinson tremors
JP6597900B2 (en) Biological rhythm detection device, detection method, and detection program
JP2012170740A (en) Energy consumption measurement device, energy consumption measurement method and exercise analysis system
JP6385398B2 (en) Activity amount processing apparatus, activity amount processing method, and activity amount processing program
Balaji et al. A framework for pervasive and ubiquitous geriatric monitoring
JP5709250B2 (en) Upper limb motor function composite diagnostic device
Peter et al. Physiological sensing for affective computing
JP2018149105A (en) Index value calculation device, index value calculation method, and program
Fioretti et al. ADLs detection with a wrist-worn accelerometer in uncontrolled conditions
Poli et al. Identification issues associated with the use of wearable accelerometers in lifelogging
KR20220046734A (en) method and apparatus for detecting potential dangerous living being or abnormal state by using video image
JP2017169987A (en) Method of obtaining information regarding psychophysiological state
WO2014168354A1 (en) Moving-image-based physiological signal detection method, and device using same

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)