KR101765805B1 - 유아 감정상태 분석 방법 및 이를 이용한 심리상태 분석 시스템과 스마트폰 연동 앱 개발 - Google Patents

유아 감정상태 분석 방법 및 이를 이용한 심리상태 분석 시스템과 스마트폰 연동 앱 개발 Download PDF

Info

Publication number
KR101765805B1
KR101765805B1 KR1020150156408A KR20150156408A KR101765805B1 KR 101765805 B1 KR101765805 B1 KR 101765805B1 KR 1020150156408 A KR1020150156408 A KR 1020150156408A KR 20150156408 A KR20150156408 A KR 20150156408A KR 101765805 B1 KR101765805 B1 KR 101765805B1
Authority
KR
South Korea
Prior art keywords
state
infant
voice
psychological
psychological state
Prior art date
Application number
KR1020150156408A
Other languages
English (en)
Other versions
KR20170053906A (ko
Inventor
신수용
이아라
우스만 아슬란
우스만 레한
칸 아슬라
찬드 크리슈나
이혜영
장윤성
이만희
Original Assignee
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단 filed Critical 금오공과대학교 산학협력단
Priority to KR1020150156408A priority Critical patent/KR101765805B1/ko
Publication of KR20170053906A publication Critical patent/KR20170053906A/ko
Application granted granted Critical
Publication of KR101765805B1 publication Critical patent/KR101765805B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

유아 심리상태 분석 시스템은, 유아의 얼굴을 촬영하는 카메라와, 카메라에서 촬영된 유아의 얼굴 촬영영상 중 눈, 눈썹 및 입 부위의 영상을 분리하는 영상처리를 수행하여 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 유아의 심리상태를 분석하는 제어부와, 제어부에서 분석된 결과를 표시하는 휴대용 단말기를 포함한다.

Description

유아 감정상태 분석 방법 및 이를 이용한 심리상태 분석 시스템과 스마트폰 연동 앱 개발{Infant mental state analysis system}
본 발명은 심리상태 분석 기술에 관한 것으로서, 더 상세하게는 유아 심리상태 분석 방법 및 이를 이용한 심리상태 분석 시스템에 관한 것이다.
유아가 있는 장소에 카메라를 설치하여, 유아의 행동을 촬영하고 촬영영상을 무선으로 송신하여 보호자에게 전송하는 시스템이 개발되고 있다.
즉, 유아가 잠들어 있을 때나 보호자가 유아 곁을 떠나 다른 용무를 볼 때도 보호자는 촬영영상을 실시간으로 확인하면서 유아의 상태를 관찰할 수 있다.
이와 같은 종래의 시스템은, 유아의 상태를 실시간으로 관찰할 수 있다는 점에서는 유용하였다. 하지만, 유아의 경우 생체패턴의 변화가 매우 빠르므로, 수면상태에 있다가도 침이 목에 걸리는 등의 급박한 상태가 발생했을 때 그 상태를 즉각 확인하여 조치하기 힘들다. 즉, 보호자가 계속해서 영상을 확인하고 있지 않을 경우, 상기와 같은 상태를 즉각 모니터링 할 수 없는 경우가 발생한다.
종래의 시스템은 유아의 촬영영상을 실시간으로 모니터링 가능하지만, 보호자가 영상을 계속해서 확인하지 않을 경우, 특정 문제가 발생하더라도 그 상태를 즉각 인지할 수 없는 문제점이 발생한다.
이와 같은 문제점을 해결하기 위해 유아의 울음소리가 발생할 경우, 울음소리가 발생했음을 동시에 알려줌으로써, 보호자가 문제상황을 빠르게 인지할 수 있는 시스템이 제안되었다. 하지만 유아의 경우, 사소한 문제에도 모두 울음을 내는 경우가 대부분이므로, 보호자가 단순히 울음소리가 발생했다는 것을 습관적으로 받아들일 수 있어서, 특정 문제가 발생하더라도 그 상태를 즉각 인지할 수 없는 문제가 발생하고 있다.
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 유아의 얼굴 촬영영상 중 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 유아의 심리상태를 분석할 수 있는 유아 심리상태 분석 방법 및 이를 이용한 심리상태 분석 시스템을 제공한다.
본 발명의 일 실시예에 따르면, 유아의 얼굴 촬영영상 중 눈, 눈썹 및 입 부위의 영상을 분리하는 영상 처리 단계; 및 상기 영상 처리 단계에서 처리된 영상에서 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 상기 유아의 심리상태를 분석하는 영상 분석 단계;를 포함하는 유아 심리상태 분석 방법이 제공된다.
또한, 상기 영상 분석 단계는, 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치의 조합에 따라 상기 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 적어도 어느 하나를 대응시키는 것을 특징으로 한다.
또한, 상기 영상 분석 단계의 분석결과에 유아 음성에 따른 심리상태를 추가로 반영하여 최종 심리상태를 산출하는 심리상태 산출단계;를 더 포함하는 것을 특징으로 한다.
또한, 상기 심리상태 산출단계는, 상기 유아 음성에 따른 심리상태의 반영비율을 0% 초과 ~ 100% 중에서 선택 가능한 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따르면, 유아의 얼굴을 촬영하는 카메라; 상기 카메라에서 촬영된 상기 유아의 얼굴 촬영영상 중 눈, 눈썹 및 입 부위의 영상을 분리하는 영상처리를 수행하여 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 상기 유아의 심리상태를 분석하는 제어부; 및 상기 제어부에서 분석된 결과를 표시하는 휴대용 단말기;를 포함하는 유아 심리상태 분석 시스템이 제공된다.
또한, 상기 제어부는, 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치의 조합에 따라 상기 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 적어도 어느 하나를 대응시키는 것을 특징으로 한다.
또한, 상기 제어부는, 유아 음성에 따른 심리상태를 추가로 반영하여 최종 심리상태를 산출하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 유아 음성에 따른 심리상태의 반영비율을 0% 초과 ~ 100% 중에서 선택 가능한 것을 특징으로 한다.
본 발명의 실시예에 따른 유아 심리상태 분석 방법 및 이를 이용한 심리상태 분석 시스템은,
유아의 얼굴 촬영영상 중 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 유아의 심리상태를 분석할 수 있다. 즉, 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치의 조합에 따라 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 적어도 어느 하나를 확인하고, 그 확인 상태를 보호자에게 실시간으로 전송할 수 있다.
따라서 보호자가 유아 곁에 없더라도 유아의 심리상태를 즉각 통보 받아, 유아의 심리상태에 따라 신속하게 대응할 수 있는 장점이 있다.
특히, 보호자가 유아 곁에서 유아를 돌보고 있을지라도, 유아의 얼굴 및 울음소리만으로 그 유아의 심리상태를 정확하게 확인할 수 없는 경우가 발생할 수 있으나, 본 발명의 실시예에 따른 유아 심리상태 분석 시스템에서는 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 적어도 어느 하나의 상태를 확인해서 실시간으로 알려주므로, 보호자가 그 확인상태를 참고하여 유아를 돌볼 수 있다.
도 1은 본 발명의 실시예에 따른 유아 심리상태 분석 시스템의 구성도.
도 2는 눈의 상태, 입의 상태 및 눈썹의 위치를 파악하는 과정을 나타낸 도면.
도 3은 유아의 눈의 상태, 입의 상태 및 눈썹의 위치 조합에 대응되는 유아의 심리상태를 나타낸 도면.
도 4는 도 1의 유아 심리상태 분석 시스템에서 휴대용 단말기에 표시되는 정보를 나타낸 도면.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 유아 심리상태 분석 시스템의 구성도이다.
본 실시예에 따른 유아 심리상태 분석 시스템은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 1을 참조하면, 유아 심리상태 분석 시스템은 카메라(100)와, 제어부(200)와, 휴대용 단말기(300)와, 서버(400)를 포함한다.
상기와 같이 구성되는 유아 심리상태 분석 시스템의 세부구성과 주요동작을 살펴보면 다음과 같다.
카메라(100)는 유아의 얼굴을 촬영한다. 카메라(100)는 동영상 및 정지영상을 촬영할 수 있도록 구성되며, 내부의 모터를 이용하여 회전(PAN), 방향기울기(TILT), 줌(ZOOM) 조정이 가능한 PTZ 카메라로 구성되는 것이 바람직하다.
즉, 카메라(100)는 유아의 얼굴을 위치를 인식하여 얼굴부분을 촬영할 수 있도록 촬영위치를 자동으로 조절할 수 있는 기능이 탑재되는 것이 바람직하다. 이때, 카메라(100)의 촬영영상은 휴대용 단말기(300)로 실시간 전송될 수 있다.
또한, 카메라(100)에는 마이크가 내장되어 있으므로 영상을 촬영하는 동시에 유아의 울음소리를 송출할 수 있다. 또한, 카메라(100)는 야간에 자동으로 적외선 촬영모드로 전환되어 유아의 얼굴 등을 촬영할 수 있다.
제어부(200)는 카메라(100)에서 촬영된 유아의 얼굴 촬영영상 중 눈, 눈썹 및 입 부위의 영상을 분리하는 영상처리를 수행하여 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 유아의 심리상태를 분석한다.
제어부(200)는 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치의 조합에 따라 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 적어도 어느 하나를 대응시킬 수 있다.
즉, 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치의 3가지 조합에 따라 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태가 정의될 수 있는데, 제어부(200)는 이를 분석하여 유아의 심리상태에 대응시키게 된다.
휴대용 단말기(300)는 제어부(200)에서 분석된 결과를 표시한다. 휴대용 단말기(300)는 휴대폰, 스마트폰, 스마트 패드 등과 같이 사용자가 휴대하면서 무선통신으로 데이터를 전송할 수 있는 기기를 총칭하는 것이며, 본 실시예에서는 스마트폰으로 구성된 휴대용 단말기로 가정하고 설명하기로 한다.
보호자, 즉 사용자는 휴대용 단말기(300)를 통해 제어부(200)가 분석한 유아 심리상태의 변화를 즉각 알림 받을 수 있다. 또한, 사용자는 휴대용 단말기(300)를 통해 카메라(100)에서 촬영된 영상을 실시간으로 확인할 수 있다.
카메라(100)는 스피커가 내장될 수 있는데, 스피커가 내장된 경우 휴대용 단말기(300)를 통해 영상을 확인하는 동시에 카메라(100)의 스피커를 통해 사용자의 음성을 송출할 수 있도록 구성된다. 즉, 유아에게 보호자의 음성을 송출하여 심리적으로 안정시킬 수 있도록 구성될 수 있다.
참고적으로 사용자가 제어부(200)에 보호자의 음성을 미리 저장해 둔 경우, 예를 들어 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 각각에 대응하는 보호자의 음성을 미리 저장해 둔 경우,
제어부(200)가 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태를 감지했을 때, 그 파악된 심리상태에 대응하여 미리 저장된 보호자의 음성을 카메라(100)의 스피커를 통해 자동으로 반복 송출하도록 구성될 수 있을 것이다.
이때, 보호자의 음성은 각 심리상태에 대응하여 여러단계로 저장될 수 있다. 예를 들면 화난 상태에 대응하는 1차 보호자 음성과, 1차 보호자 음성 이후에 출력되는 2차 보호자 음성과, 2차 보호자 음성 이후에 출력되는 3차 보호자 음성이 각각 저장될 수 있다.
제어부(200)는 1차 보호자 음성을 출력한 이후에도 유아가 계속해서 화난 상태를 유지할 경우, 자동으로 2차 보호자 음성을 출력한다. 또한, 2차 보호자 음성을 출력한 이후에도 유아가 계속해서 화난 상태를 유지할 경우, 제어부(200)는 자동으로 3차 보호자 음성을 출력한다.
이때, 제어부(200)는 1차 보호자 음성과, 2차 보호자 음성과, 3차 보호자 음성에 대한 결과(심리상태 변화)를 자동으로 산출한 후, 가장 효과가 좋은 보호자 음성 순서대로 출력 순서를 재정렬할 수 있다. 즉, 제어부(200)는 학습을 통해 가장 효과가 좋은 보호자 음성을 출력하도록 제어할 수 있다.
서버(400)는 실시예에 따라 선택적으로 구비될 수 있는데, 제어부(200)에서 분석된 결과가 서버(400)로 전달된 뒤, 서버(400)를 통해 휴대용 단말기(300)에 정보가 전달되도록 구성될 수도 있다.
제어부(200)는 카메라(100)에서 촬영된 유아의 얼굴 촬영영상 중 눈, 눈썹 및 입 부위의 영상을 분리하는 영상처리를 수행하여 눈의 상태, 입의 상태 및 눈썹의 위치를 정확하게 판단할 수 있도록 한다.
이때, 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 유아의 심리상태를 분석하기 전에, 오일러 비디오 확대이론(Eulerian Video Magnification)을 적용하여 영상처리를 수행하는 것이 바람직하다.
즉, 육안으로는 구분하기 어려운 비디오 내의 일시적인 변화를 감지하기 위해, 영상신호를 증폭시켜서 색변화 및 모션 변화를 크게함으로써, 눈의 상태, 입의 상태 및 눈썹의 위치를 보다 정확하게 감지할 수 있다.
유아 얼굴 촬영영상 중 각각의 색변화 및 모션 변화를 증폭하는 영상처리를 제어부(200)에서 진행할 경우, 사람의 육안으로는 구분되지 않는 눈의 상태, 입의 상태 및 눈썹의 위치 변화를 보다 정확하게 감지할 수 있다.
예를 들면 눈의 뜨고 감은 상태는 사람의 눈으로는 5단계 내외로 그 차이를 구분할 수 있으나, 영상신호를 증폭할 경우, 최소 256단계 이상의 차이를 구분할 수 있다. 그 차이의 단계 수는 실시예에 따라 조절될 수 있는데, 기본적으로 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치는 각각 256단계로 구분될 수 있다.
도 2는 눈의 상태, 입의 상태 및 눈썹의 위치를 파악하는 과정을 나타낸 도면이다.
도 2를 참조하면, 제어부(200)는 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치를 격자화된 매트릭스를 기준으로 하여 구분한다.
이와 같이 격자화된 매트릭스를 기준으로 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치를 구분할 경우, 눈, 입, 눈썹의 절대적인 위치를 파악할 수 있을 뿐만 아니라, 눈, 입, 눈썹 사이의 상대적인 위치를 파악할 수 있으므로 보다 정밀하게 눈, 입, 눈썹의 위치조합을 구분할 수 있다.
도 3은 유아의 눈의 상태, 입의 상태 및 눈썹의 위치 조합에 대응되는 유아의 심리상태를 나타낸 도면이다.
도 3을 참조하면, 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치, 즉 3가지 상태 조합에 따른 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태가 대응되어 있다.
이를 다시 <표 1>에 세부적으로 정리하면 다음과 같다.
*Mouth state(open/closed) *Eyes State(open/closed) *Eyebrows Position(up/down) *Reason of Cry
closed (0~255 step) closed (0~255 step) up (0~255 step) sad (0~255 step)
closed (0~255 step) open (0~255 step) down (0~255 step) anger (0~255 step)
closed (0~255 step) open (0~255 step) up (0~255 step) hunger (0~255 step)
open (0~255 step) closed (0~255 step) down (0~255 step) pain (0~255 step)
open (0~255 step) open (0~255 step) raised (0~255 step) fear (0~255 step)
표 1을 참조하면, 눈의 뜨고 감은 상태는 0 ~ 255 단계로 구분되고, 입의 열고 닫은 상태는 0 ~ 255 단계로 구분되고, 눈썹의 높낮이 위치도 0 ~ 255 단계로 구분될 수 있다.
참고적으로 눈의 뜬 상태가 0 ~ 255 단계, 감은 상태 0 ~ 255 단계로 각각 구분되되 눈의 뜬 상태와 감은 상태의 단계가 일정부분 중첩되도록 구분될 수도 있고, 서로 중첩되지 않도록 구분될 수도 있을 것이다. 이는 입의 열고 닫은 상태와 눈썹의 높낮이 상태의 구분에도 각각 적용될 수 있다.
또한, 눈, 입 및 눈썹의 위치 조합에 따른 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태도 각각 0 ~ 255 단계로 구분되어 산출될 수 있다.
예를 들면, 입이 닫혀있고, 눈이 감겨있고, 눈썹이 위로 올라가 있을 경우, 기본적으로 유아의 심리상태는 슬픈 상태로 산출된다. 이때, 입이 닫혀있는 상태, 눈이 감겨있는 상태, 눈썹이 위로 올라가 있는 상태가 각각 세분화되어 분석될 경우, 슬픈 상태도 좀 더 세분화되어 산출될 수 있다. 즉, 슬픈 상태의 정도도 좀 더 세분화되어 산출될 수 있다.
한편, 화난 상태와 배고픈 상태의 경우, 입 및 눈의 위치는 유사하게 고려되고 눈썹의 위치에 따라 그 상태가 산출된다. 즉, 눈썹의 위치가 올라간 경우의 구분 단계(0 ~ 255 단계)와, 눈썹의 위치가 내려간 경우의 구분 단계(0 ~ 255 단계)에 의해서 화난 상태와 배고픈 상태가 구분된다.
이때, 눈썹의 위치가 올라간 경우의 구분 단계(0 ~ 255 단계)와, 눈썹의 위치가 내려간 경우의 구분 단계(0 ~ 255 단계)가 일부 중첩되도록 구분되어 있을 경우,
예를 들어 눈썹의 위치가 올라간 경우(0 ~ 9단계)와 눈썹의 위치가 내려간 경우(0 ~ 9단계)가 실질적으로 동일한 위치일 경우, 제어부(200)는 화난 상태와 배고픈 상태가 동시에 발생했다고 분석할 수 있다.
이때, 제어부(200)는 유아의 음성을 추가적으로 고려하여, 화난 상태와 배고픈 상태 중 어느 상태에 가까운지 최종분석하는 과정을 진행시킬 수 있다.
또한, 제어부(200)는 사용자의 휴대용 단말기(300)로부터 화난 상태와 배고픈 상태 중 어느 상태에 가까운지 피드백 받아서, 차후에 동일한 상태가 발생했을 경우, 피드백 받은 상태에 좀 더 가중치를 부여하도록 학습될 수도 있을 것이다.
본 실시예에서는 화난 상태 및 배고픈 상태를 동시에 고려하는 예시만을 설명하였으나, 이와 같이 음성을 추가적으로 고려하는 점과, 사용자의 휴대용 단말기(300)로부터 피드백 받아 가중치를 부여하는 점은 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 각각의 모든 조합에 적용될 수 있을 것이다.
유아 심리상태 분석 시스템의 제어부(200)는 유아 음성에 따른 심리상태를 추가로 반영하여 최종 심리상태를 산출하도록 구성될 수 있다.
이때, 제어부(200)는 유아 음성에 따른 심리상태의 반영비율을 0% 초과 ~ 100% 중에서 선택하여 음성 반영비율을 조절할 수 있다. 참고적으로 음성 반영비율은 사용자의 설정에 의해서 조절될 수 있으며, 사용자의 피드백에 따른 학습에 의해 반영비율이 자동으로 조절될 수도 있을 것이다. 여기에서 100%가 선택되었을 경우, 얼굴표정으로 산출된 심리상태를 무시하고, 유아 음성으로 산출된 심리상태를 최종 심리상태로 결정한다.
또한, 유아 심리상태 분석 시스템은, 유아의 특정 울음소리가 감지된 이후에, 유아 얼굴 촬영영상 중 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 유아의 심리상태를 분석하도록 구성될 수도 있다.
즉, 단순히 눈, 입, 눈썹의 위치만으로 유아의 심리상태를 분석할 수도 있으나, 유아의 특정 울음소리가 감지된 이후에, 입, 눈썹의 위치를 고려하여 유아의 심리상태를 분석하는 것이 좀 더 정확한 결과를 산출할 수 있다.
또한, 유아 심리상태 분석 시스템은, 유아 얼굴 촬영영상 중 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 어느 하나를 대응시키고, 유아의 울음소리를 감지하여 그 울음소리만으로 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태를 대응시킬 수 있다. 즉, 영상에 따른 심리상태와, 음성에 따른 심리상태를 각각 독립적으로 동시에 산출한다.
즉, 제어부(200)는 울음소리에 대한 기준 데이터를 저장하고 있으며, 카메라(100)에서 전달되는 유아 음성을 제공받아, 저장된 기준 데이터와의 비교를 통해 심리상태에 대응시킨다.
제어부(200)는 유아 음성에 따른 심리상태의 반영비율을 고려하여, 얼굴표정으로 산출된 심리상태 및 유아 음성으로 산출된 심리상태 중 어느 하나를 최종 심리상태로 결정할 수 있다.
이때, 얼굴표정으로 산출된 심리상태 및 유아 음성으로 산출된 심리상태가 동일할 경우에는 반영비율을 고려할 필요가 없으나, 서로 다른 심리상태가 산출되었을 경우, 제어부(200)는 그 반영비율을 고려하여 최종 심리상태를 산출한다.
상술한 바와 같이, 유아 심리상태 분석 시스템에서 처리하는 유아 심리상태 분석 방법은,
유아의 얼굴 촬영영상 중 눈, 눈썹 및 입 부위의 영상을 분리하는 영상 처리 단계와, 영상 처리 단계에서 처리된 영상에서 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 유아의 심리상태를 분석하는 영상 분석 단계를 통해 진행될 수 있다.
이때, 영상 분석 단계는, 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치의 조합에 따라 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 적어도 어느 하나를 대응시킬 수 있다.
또한, 영상 분석 단계의 분석결과에 유아 음성에 따른 심리상태를 추가로 반영하여 최종 심리상태를 산출하는 심리상태 산출단계를 더 포함하여 정확성을 향상시킬 수 있다. 이때, 심리상태 산출단계는, 유아 음성에 따른 심리상태의 반영비율을 0% 초과 ~ 100% 중에서 선택 가능하도록 구성될 수 있다.
도 4는 도 1의 유아 심리상태 분석 시스템에서 휴대용 단말기에 표시되는 정보를 나타낸 도면이다.
도 4를 참조하면, 제어부(200)에서 산출된 심리상태가 사용자의 휴대용 단말기(300)에 무선으로 실시간 전송되어 표시된다. 이때 사용자가 선택시, 카메라(100)에서 촬영된 영상이 표시될 수 있다.
카메라(100)에 적외선 감지기능, 즉 열화상 촬영기능이 탑재되어 있거나, 열감지 센서가 추가로 구비되어 있을 경우, 제어부(200)는 유아의 체온정보를 휴대용 단말기(300)로 전송할 수 있다.
또한, 주변 온도센서 및 습도 센서가 추가로 구비되어 있을 경우, 주변온도 및 습도정보도 휴대용 단말기(300)로 전송될 수 있다.
참고적으로 카메라(100)는 유아의 얼굴 뿐만 아니라 유아의 신체를 주기적으로 촬영할 수 있는데, 제어부(200)는 유아의 신체 촬영영상을 증폭하는 영상처리를 진행한 후, 호흡상태를 산출하여 휴대용 단말기(300)로 전송할 수 있다. 즉, 유아의 미세한 호흡변화를 영상증폭 기술을 활용하여 파악한 후 호흡의 차분함, 가파름, 무호흡 상태 등을 분석한 후 휴대용 단말기(300)로 전송할 수 있다.
이때, 제어부(200)는 유아의 몸 떨림 정도까지 추가로 감지하여 유아의 상태를 파악할 수 있다. 참고적으로, 제어부(200)는 유아의 몸 떨리는 정도를 시간영역에서 주파수 영역으로 변환한 후, 특정 주파수 영역의 크기를 토대로 몸 떨림에 따른 유아상태를 유추하도록 구성될 수 있다.
또한, 휴대용 단말기(300)에 유아의 정보를 입력할 경우, 예방 접종시기, 긴급 치료법, 나이에 따른 추천 이유식 정보가 주기적으로 표시될 수 있다.
본 발명의 실시예에 따른 유아 심리상태 분석 방법 및 이를 이용한 심리상태 분석 시스템은, 유아의 얼굴 촬영영상 중 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 유아의 심리상태를 분석할 수 있다. 즉, 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치의 조합에 따라 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 적어도 어느 하나를 확인하고, 그 확인 상태를 보호자에게 실시간으로 전송할 수 있다.
따라서 보호자가 유아 곁에 없더라도 유아의 심리상태를 즉각 통보 받아, 유아의 심리상태에 따라 신속하게 대응할 수 있는 장점이 있다.
특히, 보호자가 유아 곁에서 유아를 돌보고 있을지라도, 유아의 얼굴 및 울음소리만으로 그 유아의 심리상태를 정확하게 확인할 수 없는 경우가 발생할 수 있으나, 본 발명의 실시예에 따른 유아 심리상태 분석 시스템에서는 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 적어도 어느 하나의 상태를 확인해서 실시간으로 알려주므로, 보호자가 그 확인상태를 참고하여 유아를 돌볼 수 있다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 카메라
200 : 제어부
300 : 휴대용 단말기
400 : 서버

Claims (8)

  1. 유아의 얼굴 촬영영상 중 눈, 눈썹 및 입 부위의 영상을 분리하는 영상 처리 단계; 및
    상기 영상 처리 단계에서 처리된 영상에서 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 상기 유아의 심리상태를 분석하는 영상 분석 단계;를 포함하고,
    상기 영상 분석 단계는, 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치의 조합에 따라 상기 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 적어도 어느 하나를 대응시키고,
    상기 유아가 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 어느 하나의 심리상태인 것으로 파악되었을 경우, 그 파악된 심리상태에 대응하여 미리 저장된 보호자의 음성을 자동출력함에 있어서,
    1차 보호자 음성을 출력한 이후에도 유아가 계속해서 동일한 심리상태를 유지할 경우 자동으로 2차 보호자 음성을 출력하고, 2차 보호자 음성을 출력한 이후에도 유아가 계속해서 동일한 심리상태를 유지할 경우, 자동으로 3차 보호자 음성을 출력하되, 1차 보호자 음성과, 2차 보호자 음성과, 3차 보호자 음성에 대한 결과(심리상태 변화)를 자동으로 산출한 후, 가장 효과가 좋은 보호자 음성 순서대로 출력 순서를 재정렬하며,
    상기 유아의 신체를 주기적으로 촬영한 후, 상기 유아의 몸 떨리는 정도를 시간영역에서 주파수 영역으로 변환한 후, 특정 주파수 영역의 크기를 토대로 몸 떨림에 따른 유아상태를 유추하는 것을 특징으로 하는 유아 심리상태 분석 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 영상 분석 단계의 분석결과에 유아 음성에 따른 심리상태를 추가로 반영하여 최종 심리상태를 산출하는 심리상태 산출단계;를 더 포함하는 것을 특징으로 하는 유아 심리상태 분석 방법.
  4. 제3항에 있어서,
    상기 심리상태 산출단계는,
    상기 유아 음성에 따른 심리상태의 반영비율을 0% 초과 ~ 100% 중에서 선택 가능한 것을 특징으로 하는 유아 심리상태 분석 방법.
  5. 유아의 얼굴을 촬영하는 카메라;
    상기 카메라에서 촬영된 상기 유아의 얼굴 촬영영상 중 눈, 눈썹 및 입 부위의 영상을 분리하는 영상처리를 수행하여 눈의 상태, 입의 상태 및 눈썹의 위치를 토대로 상기 유아의 심리상태를 분석하는 제어부; 및
    상기 제어부에서 분석된 결과를 표시하는 휴대용 단말기;를 포함하고,
    상기 제어부는, 눈의 뜨고 감은 상태, 입의 열고 닫은 상태 및 눈썹의 높낮이 위치의 조합에 따라 상기 유아의 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 적어도 어느 하나를 대응시키고,
    상기 제어부는, 상기 유아가 화난 상태, 고통 상태, 슬픈 상태, 배고픈 상태 및 공포 상태 중 어느 하나의 심리상태인 것으로 파악되었을 경우, 그 파악된 심리상태에 대응하여 미리 저장된 보호자의 음성을 자동출력하도록 제어함에 있어서,
    1차 보호자 음성을 출력한 이후에도 유아가 계속해서 동일한 심리상태를 유지할 경우 자동으로 2차 보호자 음성을 출력하고, 2차 보호자 음성을 출력한 이후에도 유아가 계속해서 동일한 심리상태를 유지할 경우, 자동으로 3차 보호자 음성을 출력하되, 1차 보호자 음성과, 2차 보호자 음성과, 3차 보호자 음성에 대한 결과(심리상태 변화)를 자동으로 산출한 후, 가장 효과가 좋은 보호자 음성 순서대로 출력 순서를 재정렬하며,
    상기 제어부는 상기 유아의 신체를 주기적으로 촬영한 영상을 제공받아 상기 유아의 몸 떨리는 정도를 시간영역에서 주파수 영역으로 변환한 후, 특정 주파수 영역의 크기를 토대로 몸 떨림에 따른 유아상태를 유추하는 것을 특징으로 하는 유아 심리상태 분석 시스템.
  6. 삭제
  7. 제5항에 있어서,
    상기 제어부는,
    유아 음성에 따른 심리상태를 추가로 반영하여 최종 심리상태를 산출하는 것을 특징으로 하는 유아 심리상태 분석 시스템.
  8. 제7항에 있어서,
    상기 제어부는,
    상기 유아 음성에 따른 심리상태의 반영비율을 0% 초과 ~ 100% 중에서 선택 가능한 것을 특징으로 하는 유아 심리상태 분석 시스템.
KR1020150156408A 2015-11-09 2015-11-09 유아 감정상태 분석 방법 및 이를 이용한 심리상태 분석 시스템과 스마트폰 연동 앱 개발 KR101765805B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150156408A KR101765805B1 (ko) 2015-11-09 2015-11-09 유아 감정상태 분석 방법 및 이를 이용한 심리상태 분석 시스템과 스마트폰 연동 앱 개발

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150156408A KR101765805B1 (ko) 2015-11-09 2015-11-09 유아 감정상태 분석 방법 및 이를 이용한 심리상태 분석 시스템과 스마트폰 연동 앱 개발

Publications (2)

Publication Number Publication Date
KR20170053906A KR20170053906A (ko) 2017-05-17
KR101765805B1 true KR101765805B1 (ko) 2017-08-07

Family

ID=59048367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150156408A KR101765805B1 (ko) 2015-11-09 2015-11-09 유아 감정상태 분석 방법 및 이를 이용한 심리상태 분석 시스템과 스마트폰 연동 앱 개발

Country Status (1)

Country Link
KR (1) KR101765805B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046196A (ko) * 2017-10-25 2019-05-07 박은주 다기능 유아 케어 시스템
KR20200028521A (ko) * 2018-09-06 2020-03-17 주식회사 아이앤나 아기 주변 영역을 이용한 아기의 감정 상태 증강 방법
KR102223929B1 (ko) 2019-09-09 2021-03-08 주식회사 단감소프트 영유아용 서비스 제공을 위한 시스템 및 서비스 제공 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102431473B1 (ko) * 2017-07-11 2022-08-16 주식회사 아이앤나 유아의 응급상태 확인을 위한 카메라장치와 그 방법
KR102431475B1 (ko) * 2017-07-11 2022-08-16 주식회사 아이앤나 유아의 보호자 호출을 위한 카메라장치와 그 방법
CN108261178B (zh) * 2018-01-12 2020-08-28 平安科技（深圳）有限公司 动物疼痛指数判断方法、装置及存储介质
KR102044531B1 (ko) * 2018-06-28 2019-12-02 조선대학교산학협력단 영유아의 수면 유도를 위한 스마트 모빌 시스템
CN109800646A (zh) * 2018-12-18 2019-05-24 深圳壹账通智能科技有限公司 婴儿监护方法、装置、计算机设备和存储介质
KR102382669B1 (ko) * 2020-08-14 2022-04-05 이재완 IoT를 이용한 음성 인식 기반 스마트 유아 침대 제어 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083984A (ja) * 1999-09-09 2001-03-30 Alpine Electronics Inc インタフェース装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083984A (ja) * 1999-09-09 2001-03-30 Alpine Electronics Inc インタフェース装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190046196A (ko) * 2017-10-25 2019-05-07 박은주 다기능 유아 케어 시스템
KR102053163B1 (ko) * 2017-10-25 2019-12-06 박은주 다기능 유아 케어 시스템
KR20200028521A (ko) * 2018-09-06 2020-03-17 주식회사 아이앤나 아기 주변 영역을 이용한 아기의 감정 상태 증강 방법
KR102611458B1 (ko) * 2018-09-06 2023-12-11 주식회사 아이앤나 아기 주변 영역을 이용한 아기의 감정 상태 증강 방법
KR102223929B1 (ko) 2019-09-09 2021-03-08 주식회사 단감소프트 영유아용 서비스 제공을 위한 시스템 및 서비스 제공 방법

Also Published As

Publication number Publication date
KR20170053906A (ko) 2017-05-17

Similar Documents

Publication Publication Date Title
KR101765805B1 (ko) 유아 감정상태 분석 방법 및 이를 이용한 심리상태 분석 시스템과 스마트폰 연동 앱 개발
US20230222805A1 (en) Machine learning based monitoring system
US10962808B2 (en) Contact lens with image pickup control
US20160345832A1 (en) System and method for monitoring biological status through contactless sensing
JP5133677B2 (ja) 監視システム
US8644614B2 (en) Image processing apparatus, image processing method, and storage medium
US9408562B2 (en) Pet medical checkup device, pet medical checkup method, and non-transitory computer readable recording medium storing program
US9530299B2 (en) Methods and apparatuses for assisting a visually-impaired user
CN105674504B (zh) 调节空调温度的方法、装置及终端电子设备
US20240122486A1 (en) Physiological monitoring soundbar
CN108882853B (zh) 使用视觉情境来及时触发测量生理参数
KR20180127255A (ko) 열화상 카메라를 이용한 낙상 예측 시스템 및 열화상 카메라를 이용한 낙상 예측 방법
US20180192779A1 (en) Tv bed, tv, bed, and method for operating the same
US10489661B1 (en) Medical environment monitoring system
KR20210012713A (ko) 공부시간 측정 시스템 및 방법
KR20170096901A (ko) 영유아 건강 모니터링 시스템
JP2018007792A (ja) 表情認知診断支援装置
KR20090001848A (ko) 얼굴표정 감시 방법 및 얼굴표정 감시 시스템
JP2007078283A (ja) 空気調和機及び空気調和方法
US10229489B1 (en) Medical environment monitoring system
CN110309693B (zh) 多层次状态侦测系统与方法
US11687049B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
US20210063971A1 (en) Information processing apparatus and non-transitory computer readable medium storing program
WO2021122136A1 (en) Device, system and method for monitoring of a subject
WO2020008995A1 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant