KR101909279B1 - 감정교류형 스마트 요람 시스템 - Google Patents

감정교류형 스마트 요람 시스템 Download PDF

Info

Publication number
KR101909279B1
KR101909279B1 KR1020160005222A KR20160005222A KR101909279B1 KR 101909279 B1 KR101909279 B1 KR 101909279B1 KR 1020160005222 A KR1020160005222 A KR 1020160005222A KR 20160005222 A KR20160005222 A KR 20160005222A KR 101909279 B1 KR101909279 B1 KR 101909279B1
Authority
KR
South Korea
Prior art keywords
emotion
unit
video
state
infant
Prior art date
Application number
KR1020160005222A
Other languages
English (en)
Other versions
KR20170085732A (ko
Inventor
안현식
곽지철
Original Assignee
동명대학교산학협력단
주식회사 엔솔브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동명대학교산학협력단, 주식회사 엔솔브 filed Critical 동명대학교산학협력단
Priority to KR1020160005222A priority Critical patent/KR101909279B1/ko
Publication of KR20170085732A publication Critical patent/KR20170085732A/ko
Application granted granted Critical
Publication of KR101909279B1 publication Critical patent/KR101909279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G06K9/00268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 부모와 유아 간에 원격지에서 서로 감정을 교류하기 위한 기술에 관한 것으로 비디오 신호를 입력하는 영상입력부와 소리를 감지하는 음성입력부, 상태를 감지하는 센서입력부로 구성된 입력부와; 상기 영상입력부와 연결되는 영상해석부와 상기 음성입력부와 연결되는 음성해석부, 상기 센서입력부와 연결되는 센서해석부로 구성되고 각 해석부는 감정상태판단부로 정보를 입력하며 상기 감정상태판단부로부터 결정된 정보가 감정비디오선택부로 연결되는 감정교류모드부와; 상기 감정교류모드부의 선택에 의해 상기 감정비디오의 출력을 선택하는 출력모드선택부; 및 상기 감정비디오의 영상과 음성이 출력되는 출력부를 포함하여 유아에게 부모가 있는 것과 유사한 감정교류를 하도록 영상 및 음성을 제공할 수 있다. 따라서 유아와 부모간에 원격으로 감정을 교류하기 위한 스마트 요람 시스템은 입력된 음성 영상 센서 정보로부터 유아의 감정상태를 판단하고 저장된 감정비디오를 출력하여 유아가 볼 수 있도록 함으로써 부모가 단순히 유아의 상태에 대한 원격감시 뿐 아니라 감정교류도 가능하게 되는 효과를 얻을 수 있다.

Description

감정교류형 스마트 요람 시스템 및 그의 제공방법{Emotion Interactive Typed Smart Cradle System and its method of providing}
본 발명은 감정교류형 스마트 요람에 관한 것으로, 좀 더 구체적으로는 부모와 유아 간에 원격지에서 서로 감정을 교류하기 위한 기술에 관한 것이다.
일반적으로 보호자의 보호를 절대적으로 필요로하는 영유아기는 기본적인 인성이나 지성이 결정되는 시기로 보호자의 노력이 많이는 시기이다. 유아는 인지능력이나 언어구사가 어려워 스스로 원하는 것을 표현할 수 없으므로 수유를 비롯하여 잠 재우기, 달래기 등 보호자의 돌봄이 상시 요구되어 진다. 그러므로 보호자는 유아를 혼자 두고 개인시간을 갖기 어려우며 지속적인 관심이 요구되어 진다.
유아를 개방된 곳에 두는 것은 유아의 사고위험률이 높아 짐으로 그를 방지하기 위해 요람과 같은 공간에 유아를 두어 지속적인 관심을 두어야 한다.
따라서 이와 같은 지속적인 돌보기를 위해 다양한 요람으로는 기존의 요람이나 컴퓨터 기술을 이용한 원격 모니터링 요람의 기술로 요람에 카메라를 이용한 유아의 상태 감시, 유아의 음성의 청취로 통한 감시, 온도센서 등 각종 센서를 이용한 유아의 상태 감지 기능을 확보한 후 이를 원격지에 있는 부모에게 유무선 통신하여 부모가 유아의 상태를 감시할 수 있는 시스템을 제공하고 있다.
전술한 요람을 활용한 장치로 대한민국 등록특허공보 제10-1376022호 "영유아용 스마트 침대장치"는 영유아의 안정된 휴식을 위한 최적의 환경을 제공하고 영유아의 안전을 도모할 수 있는 영유아용 스마트 침대장치에 관한 것을 제공하고 있다.
공개특허공보 제10-2009-0121729호 "영ㆍ유아용 유비쿼터스 안전관리 시스템 및 서비스"는 영유아용 요람 및 모빌 형태의 기구에 장착되는 안전관리 시스템을 이용해 영ㆍ유아의 안전 상태를 측정하고 그 결과 또는(그리고) 그에 대한 해석(예를 들어 사고 발생유무, 엎어져 자는 상황 검출)을 유비쿼터스 센서 네트워크(USN)를 이용하여 감시자(부모 또는 의료진)의 감시용 단말기 혹은 중앙 감시시스템 서버에 전달하여, 영ㆍ유아의 안전관리를 위한 시스템과 그 서비스를 제공하고 있다.
이와 같은 장치, 시스템 및 서비스는 영유아를 돌볼수 있으며 안전 제공한다. 그러나 이와 같은 종래기술은 영유아의 안전과 상태를 주시할 수는 있으나 보호자가 당장 유아를 돌보기 어려운 상황에 처하거나 유아를 안정시키기 위한 감정교류가 어려운 문제점이 있다.
따라서, 본 발명은 이와 같은 종래 기술의 문제점을 해소하기 위해 제안된 것으로, 감정을 교류하도록 최첨단 컴퓨터 기술을 요람에 적용하여 유아의 상태를 감지할 뿐 아니라 유아와 부모의 화상을 통한 감정 교류 음성을 이용한 감정 교류가 가능하게 함으로써 유아가 원격지의 부모로부터 가상의 감정적 의사소통을 하게 되어 유아의 정서의 안정을 도모하고 부모에게 유아와의 감정교류가 가능하게 하도록 하는 감정교류형 스마트 요람 시스템을 제공하는 것을 목적으로 한다.
상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 비디오 신호를 입력하는 영상입력부와 소리를 감지하는 음성입력부, 상태를 감지하는 센서입력부로 구성된 입력부와; 상기 영상입력부와 연결되는 영상해석부와 상기 음성입력부와 연결되는 음성해석부, 상기 센서입력부와 연결되는 센서해석부로 구성되고 각 해석부는 감정상태판단부로 정보를 입력하며 상기 감정상태판단부로부터 결정된 정보가 감정비디오선택부로 연결되는 감정교류모드부와; 상기 감정교류모드부의 선택에 의해 상기 감정비디오의 출력을 선택하는 출력모드선택부; 및 상기 감정비디오의 영상과 음성이 출력되는 출력부를 포함하여 유아에게 부모가 있는 것과 유사한 감정교류를 하도록 영상 및 음성을 제공할 수 있다.
이와 같은 감정교류형 스마트 요람 시스템에서 상기 영상해석부는 영상에 대한 인식 및 얼굴의 특징점 인식을 통해 감정상태를 판단할 수 있다.
이와 같은 감정교류형 스마트 요람 시스템에서 상기 음성해석부는 음성의 강도와 주파수를 측정하여 웨이블렛변환으로 감정상태를 판단할 수 있다.
이와 같은 감정교류형 스마트 요람 시스템에서 상기 센서해석부는 온도로 체온감지하며, 습도센서로 용변의 감지를 통해 감정상태를 판단할 수 있다.
이와 같은 감정교류형 스마트 요람 시스템에서 상기 감정상태판단부는 감정비디오데이터베이스(36)에 부모가 사전에 유아의 감정상태에 따라 대응하는 감정 비디오를 미리 녹화하여 저장하고 저장된 상기 감정 비디오를 선택하여 상기 출력모드선택부로 전달할 수 있다.
이와 같은 감정교류형 스마트 요람 시스템은 상기 출력모드선택부에서 직접교류선택에 의해 온라인 비디오 송수신부로 상기 출력부에 전달되어 유무선인터넷을 통하여 유아와 부모가 직접 화상으로 감정을 교류하는 직접교류모드부를 더 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 비디오 신호를 입력하는 영상입력부와 소리를 감지하는 음성입력부, 상태를 감지하는 센서입력부로 구성된 입력부에 정보가 입력되는 입력단계와; 상기 영상입력부와 연결되는 영상해석부와 상기 음성입력부와 연결되는 음성해석부, 상기 센서입력부와 연결되는 센서해석부로 구성되고 각 해석부로 감정을 해석하는 감정상태판단단계와; 상기 감정상태판단단계로부터 결정된 정보가 감정비디오선택부로 연결되는 감정비디오선택단계와; 상기 감정비디오선택단계의 선택에 의해 출력모드선택부로 감정비디오의 출력을 선택하는 출력모드선택단계; 및 상기 감정비디오의 영상과 음성이 출력부로 출력되는 출력단계를 포함하여 유아에게 부모가 있는 것과 유사한 감정교류를 하도록 영상 및 음성을 제공할 수 있다.
이와 같은 감정교류형 스마트 요람 시스템의 제공방법은 상기 출력모드선택단계의 출력모드선택부에서 직접교류선택에 의해 온라인 비디오 송수신부로 상기 출력부에 전달되어 유무선인터넷을 통하여 유아와 부모가 직접 화상으로 감정을 교류하는 직접교류선택단계를 더 포함할 수 있다.
본 발명에 의한 감정교류형 스마트 요람 시스템 및 그의 방법은 유아와 부모간에 원격으로 감정을 교류하기 위한 스마트요람 시스템으로서 입력된 음성 영상 센서 정보로부터 유아의 감정상태를 판단하고 저장된 감정비디오를 출력하여 유아가 볼 수 있도록 함으로써 부모가 단순히 유아의 상태에 대한 원격감시 뿐 아니라 감정교류도 가능하게 되는 효과를 얻을 수 있다.
도 1은 본 발명의 기술사상에 따른 감정교류형 스마트 요람 시스템을 도시한 도면;
도 2는 본 발명의 바람직한 실시예에 따른 감정교류형 스마트 요람 시스템을 도시한 도면;
도 3은 본 발명의 바람직한 실시예에 따른 감정교류형 스마트 요람 시스템의 제공방법의 플로우차트를 도시한 도면이다.
도 1은 본 발명의 기술사상에 따른 감정교류형 스마트 요람 시스템을 도시한 도면이다.
도 1을 참조하면, 감정교류형 스마트 요람 시스템(10)은 입력부(20), 감정교류모드부(30), 출력모드선택부(40), 출력부(50), 직접교류모드부(60), 인터넷송수신부(70)로 구성될 수 있다.
본 발명은 인지적 기능과 감정적 기능을 제어하기 위한 컴퓨터를 활용한 시스템이며 임베디드시스템이나 SBC(Single Board Computer)등이 요람에 장착되어 있는 형태로 구비될 수 있다.
유아의 상태를 입력하기 위한 입력부(20)는 영상, 음성, 센서를 통하여 유아의 상태를 파악하는 것으로 영상으로 유아의 위치, 표정 등을 파악하여 비디오 신호를 입력하며 유아의 음성, 소리를 입력하고 센서로 체온, 용변상태를 감지할 수 있도록 한다.
감정교류모드부(30)는 부모와 유아가 직접 감정을 교류하는 것이 아니라 사전에 저장된 부모의 감정을 표현하는 감정비디오를 유아의 감정상태를 평가한 후 그에 따라 대응하는 감정비디오를 유아가 볼 수 있도록 한 것으로 부모가 일시적으로 유아의 상태를 감시할 수 없을 경우에 활용될 수 있다.
감정의 종류는 심리학적 연구 결과로 제공되는 감정모델을 이용하는데 가장 기본적인 3가지 구분으로서 쾌와 불쾌 중간이 있으며, 8가지 구분으로서 공포,분노, 슬픔, 기쁨, 좋음, 싫음, 공감, 중간 등으로 구분할 수 있는데 일반적으로는 8가지 구분이 다양한 감정에 대한 반응을 할 수 있는 것이다.
출력모드선택부(40)는 감정교류모드부(30)이나 직접교류모드부(60)를 선택할 수 있는 단계로서 감정교류모드부(30)를 이용한 감정비디오를 제공하거나, 감정비디오를 제공하는 방법 외에도 직접교류모드부(60)를 사용하여 직접교류가 가능하여 온라인으로 비디오 신호를 주고받을 수 있다.
직접교류모드부(60)는 온라인으로 부모와 유아가 비디오 상으로 교류가 가능하여 동영상으로 직접 상태를 확인하거나 말을 주고 받을 수 있는 모드이다.
인터넷송수신부(70)는 유아의 현재 상태를 나타내는 비디오신호를 인터넷송수신으로 통해 부모에게 전달하거나 직접교류모드부(60)의 경우 부모의 동영상을 실시간으로 바로 유아에게 전달할 수 있다.
인터넷송수신부(70)는 유선 무선 인터넷과 연결되며 이와 같은 신호는 스마트 폰이나 데스크탑 등과 연결되어 특수하게 제공되는 어플리케이션에 의해 부모가 유아와 소통 할 수 있다.
출력부(50)는 영상과 음성으로 출력되어 유아가 마치 부모가 있는 것과 유사함 감정교류를 할 수 있다. 즉 감정의 종류에 따라 감정비디오를 영상과 음성으로 출력되도록 하여 유아가 마치 부모가 있는 것과 유사한 감정교류를 할 수 있다.
이하, 본 발명의 바람직한 실시예에 첨부된 도면 도 2 및 도 3에 의거하여 설명한다. 한편, 요람과 각 입력부의 연결 관련 기술, 입력부로 입력된 정보의 해석 관련 기술, 감정비디오데이터베이스(36)에서 감정비디오를 제공하는 알고리즘 관련기술, 영상으로 얼굴의 특정점을 인식하여 캡쳐 후 영상처리 알고리즘 관련 기술, 웨이블렛 변환 관련 기술 등에 대하여 통상 본 발명에 적용되는 분야의 종사자들 및 그들이 관련분야의 종사자들을 통해 통상적으로 알 수 있는 부분들의 도시 및 상세한 설명은 생략하고, 본 발명과 관련된 부분들을 중심으로 도시 및 설명하였다.
도 2는 본 발명의 바람직한 실시예에 따른 감정교류형 스마트 요람 시스템을 도시한 도면이다.
도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 감정교류형 스마트 요람 시스템(10)은 입력부(20), 감정교류모드부(30), 출력모드선택부(40), 출력부(50), 직접교류모드부(60)로 구성된다.
감정교류형 스마트 요람 시스템(10)은 비디오 신호를 입력하는 영상입력부(22)와 소리를 감지하는 음성입력부(23), 상태를 감지하는 센서입력부(21)로 구성된 입력부(20)를 갖는다. 영상입력부(22)와 연결되는 영상해석부(32)와 음성입력부(23)와 연결되는 음성해석부(33), 센서입력부(21)와 연결되는 센서해석부(31)로 구성되고 각 해석부(30)는 감정상태판단부(34)로 정보를 입력하며 감정상태판단부(34)로부터 결정된 정보가 감정비디오선택부(35)로 연결되는 감정교류모드부(30)를 갖는다. 감정교류모드부(30)의 선택에 의해 감정비디오의 출력을 선택하는 출력모드선택부(40)와 감정비디오의 영상과 음성이 출력되는 출력부(50)를 포함하여 유아에게 부모가 있는 것과 유사한 감정교류를 하도록 영상 및 음성을 제공하도록 한다.
영상해석부(32)는 영상에 대한 인식 및 얼굴의 눈, 입모양 등 특징점 인식을 통해 감정상태를 판단하며 입력된 영상을 캡쳐한 후 영상처리 알고리즘에 의해 유아의 표정 인식을 통한 유아의 감정상태를 결정하도록 한다.
음성해석부(33)는 음성의 강도와 주파수를 측정하여 감정을 확률적으로 판단하는데 웨이블렛변환을 활용하여 감정상태를 판단한다.
센서해석부(31)는 온도로 체온감지하며, 습도센서로 용변의 감지를 통해 감정상태를 판단하도록 한다.
감정상태판단부(34)는 전술한 세가지 해석부(30)에서 제공하는 감정상태 정보를 종합하여 최종적으로 유아의 감정상태를 판단하다. 해석의 결과의 종합은 단순한 합에서 부터 경험이나 학습으로 통한 가중치를 줄 수 있으며 학습과정에서 인공신경망과 같은 학습용 인공지능을 활용하도록 한다.
이와 같은 감정상태판단부(34)에서 결정된 감정의 내용은 감정비디오데이터베이스(36)에 부모가 사전에 유아의 감정상태에 따라 대응하는 감정 비디오를 미리 녹화하여 저장하고 저장된 상기 감정비디오를 선택하는 감정비디오선택부(35)를 통해 출력모드선택부(40)로 전달한다.
출력모드선택부(40)에서 직접교류선택에 의해 온라인 비디오 송수신부(61,62)로 출력부(50)에 전달되어 유무선인터넷을 통하여 유아와 부모가 직접 화상으로 감정을 교류하는 직접교류모드부(60)를 더 포함하도록 한다.
직접교류모드부(60)는 원격지의 부모와 유아가 온라인 비디오 신호를 주고 받아서 실시간으로 감정을 교류하기 위한 모드로서 인터넷으로부터 전달받은 비디오신호를 출력모드선택부(40)의 직접교류모드선택에 의해 영상 출력부(51)와 음성 출력부(52)에 전달되어 유아가 부모가 온라인으로 화상 감정교류를 하도록 한다.
비디오수신부(61)와 비디오송신부(62)는 유선 또는 무선 인터넷과 연결되며 스마트폰(63)이나 데스크탑(64) 등의 무선 인터넷이 사용되는 단말기와 연결되어 특수하게 제공되는 어플리케이션에 의해 부모가 유아와 소통하도록 한다.
비디오송신부(62)는 영상 및 음성 뿐 아니라 센서에서 감지된 상태 및 감정의 선택 상태 및 유아에게 제공되고 있는 감정비디오 등을 동시에 전달하여 부모가 종합적으로 유아의 상태를 감시하면서 감정을 교류할 수 있도록 제공한다.
삭제
도 3은 본 발명의 바람직한 실시예에 따른 감정교류형 스마트 요람 시스템의 제공방법의 플로우차트를 도시한 도면이다.
감정교류형 스마트 요람 시스템의 제공방법은 입력단계(s101), 감정상태판단단계(s102), 감정비디오선택단계(s103), 출력모드선택단계(s104), 출력단계(s105)로 구성된다.
비디오 신호를 입력하는 영상입력부(22)와 소리를 감지하는 음성입력부(23), 상태를 감지하는 센서입력부(21)로 구성된 입력부에 정보가 입력되는 입력단계(s101)를 가지며 영상입력부(22)와 연결되는 영상해석부(32)와 음성입력부(23)와 연결되는 음성해석부(33), 센서입력부(21)와 연결되는 센서해석부(31)로 구성되고 각 해석부(30)로 감정을 해석하는 감정상태판단단계(s102)를 가진다. 감정상태판단단계(s102)로부터 결정된 정보가 감정비디오선택부(35)로 연결되는 감정비디오선택단계(s103)후, 감정비디오선택단계(s103)의 선택에 의해 출력모드선택부(40)로 감정비디오의 출력을 선택하는 출력모드선택단계(s104)를 가지며 감정비디오의 영상과 음성이 출력부(50)로 출력되는 출력단계(s105)를 포함하여 유아에게 부모가 있는 것과 유사한 감정교류를 하도록 영상 및 음성을 제공하도록 한다.
출력모드선택단계(s104)의 출력모드선택부(40)에서 직접교류선택에 의해 온라인 비디오 송수신부(61,62)로 출력부(50)에 전달되어 유무선인터넷을 통하여 유아와 부모가 직접 화상으로 감정을 교류하는 직접교류선택단계(s106)를 더 포함하도록 한다.
이와 같은 감정교류형 스마트 요람 시스템 및 그의 방법은 유아와 부모간에 원격으로 감정을 교류하기 위한 스마트요람 시스템으로서 입력된 음성 영상 센서 정보로부터 유아의 감정상태를 판단하고 저장된 감정비디오를 출력하여 유아가 볼 수 있도록 함으로써 부모가 단순히 유아의 상태에 대한 원격감시 뿐 아니라 감정교류도 가능하게 되는 효과를 얻을 수 있다.
상술한 바와 같은, 본 발명의 바람직한 실시예에 따른 감정교류형 스마트 요람 시스템 및 그의 제공방법을 상기한 설명 및 도면에 따라 도시 하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.
10 : 감정교류형 스마트 요람 시스템
20 : 입력부
30 : 감정교류모드부
40 : 출력모드선택부
50 : 출력부
60 : 직접교류모드부
70 : 인터넷송수신부

Claims (8)

  1. 유아의 상태를 입력하기 위해 비디오 신호를 입력하는 영상입력부(22)와 소리를 감지하는 음성입력부(23), 상태를 감지하는 센서입력부(21)로 구성된 입력부(20)와;
    상기 영상입력부(22)와 연결되며 영상에 대한 인식 및 얼굴의 특징점 인식을 통해 감정상태를 판단하는 영상해석부(32)와,
    상기 음성입력부(23)와 연결되며 음성의 강도와 주파수를 측정하여 웨이블렛변환으로 감정상태를 판단하는 음성해석부(33)와,
    상기 센서입력부(21)와 연결되며 온도로 체온감지하고 습도센서로 용변의 감지를 통해 감정상태를 판단하는 센서해석부(31)를 포함하여 구성되고,
    각 해석부(30)는 감정상태판단부(34)로 정보를 입력하며, 상기 감정상태판단부(34)로부터 결정된 정보가 감정비디오선택부(35)로 연결되어 감정비디오를 제공하는 감정교류모드부(30)와;
    상기 감정교류모드부(30) 및 직접교류모드부(60) 중 하나를 실시간으로 선택하여 택일적으로 사용할 수 있는 출력모드선택부(40); 및
    상기 감정비디오를 제공하거나 또는 온라인으로 비디오나 대화를 주고받도록 영상 및 음성이 출력되는 출력부(50)를 포함하여 구성되고,
    영상해석부(32)는 영상에 대한 인식 및 얼굴의 눈, 입모양 등 특징점 인식을 통해 감정상태를 판단하며 입력된 영상을 캡쳐한 후 영상처리 알고리즘에 의해 유아의 표정 인식을 통한 유아의 감정상태를 결정하고, 음성해석부(33)는 음성의 강도와 주파수를 측정하여 감정을 확률적으로 판단하는데 웨이블렛변환을 활용하여 감정상태를 판단하며, 센서해석부(31)는 온도로 체온감지하며, 습도센서로 용변의 감지를 통해 감정상태를 판단하여, 상기 감정상태판단부(34)는 전술한 세가지 해석부(30)에서 제공하는 감정상태 정보를 종합하여 최종적으로 유아의 감정상태를 단순한 합에서 부터 경험이나 학습으로 통한 가중치를 줄 수 있으며 학습과정에서 인공신경망과 같은 학습용 인공지능을 활용하고,
    상기 감정상태판단부(34)는 감정비디오데이터베이스(36)에 부모가 사전에 유아의 감정상태에 따라 대응하는 감정 비디오를 미리 녹화하여 저장하고 저장된 상기 감정 비디오를 선택하여 상기 출력모드선택부(40)로 전달하고,
    상기 감정교류모드부(30)는,
    감정모델을 이용하여 부모의 감정을 표현하는 상기 감정비디오를 사전에 저장하고 유아의 감정상태를 평가한 후, 부모가 일시적으로 유아를 감시할 수 없을 경우에 유아의 감정상태에 대응하는 상기 감정비디오를 제공함으로써 유아에게 부모가 있는 것과 유사한 감정교류를 하도록 영상 및 음성을 제공하고,
    상기 직접교류모드부(60)는,
    온라인 비디오 송수신부(61,62)로 상기 출력부(50)에 전달되어 유무선인터넷을 통하여 유아와 부모가 직접 화상으로 감정을 교류하며,
    상기 감정교류모드부(30)에서 상기 직접교류모드부(60)로 전환 시,
    상기 비디오 송수신부(61,62)의 비디오송신부(62)에서,
    유아의 영상 및 음성과 센서에 감지된 상태 및 감정의 선택 상태, 유아에게 제공되고 있는 감정비디오를 종합적으로 부모에게 전달하여 유아의 상태를 감시하며 감정교류하는 것을 특징으로 하는 감정교류형 스마트 요람 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
KR1020160005222A 2016-01-15 2016-01-15 감정교류형 스마트 요람 시스템 KR101909279B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160005222A KR101909279B1 (ko) 2016-01-15 2016-01-15 감정교류형 스마트 요람 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160005222A KR101909279B1 (ko) 2016-01-15 2016-01-15 감정교류형 스마트 요람 시스템

Publications (2)

Publication Number Publication Date
KR20170085732A KR20170085732A (ko) 2017-07-25
KR101909279B1 true KR101909279B1 (ko) 2018-10-18

Family

ID=59422695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160005222A KR101909279B1 (ko) 2016-01-15 2016-01-15 감정교류형 스마트 요람 시스템

Country Status (1)

Country Link
KR (1) KR101909279B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122870A (ko) * 2021-02-26 2022-09-05 한국광기술원 스마트 미러

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680337A (zh) * 2017-09-22 2018-02-09 魔法生活（武汉）科技公司 一种婴幼儿防误食智能手环
CN108470188B (zh) * 2018-02-26 2022-04-22 北京物灵智能科技有限公司 基于图像分析的交互方法及电子设备
KR102424120B1 (ko) * 2019-03-21 2022-07-21 이근호 성장캡슐을 이용한 유아정보제공장치 및 그 장치의 구동방법
KR102203786B1 (ko) * 2019-11-14 2021-01-15 오로라월드 주식회사 스마트 토이를 이용한 인터렉션 서비스 제공방법 및 시스템
CN117636219B (zh) * 2023-12-04 2024-06-14 浙江大学 一种家庭同胞互动过程中的协作状态分析方法及其系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100337235B1 (ko) * 2000-05-12 2002-05-22 황세연 울음소리를 이용한 유아의 상태분석장치
JP2002149909A (ja) 2000-11-10 2002-05-24 Tomy Co Ltd 幼児管理システム、モニタリング装置および管理サーバ
KR100901740B1 (ko) * 2007-06-27 2009-06-10 전자부품연구원 코쿤형 육아 장치 및 이를 이용한 코쿤형 육아 관리 시스템
KR100904201B1 (ko) * 2008-04-25 2009-06-23 김성완 양방향통신가능한 유아모니터링장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100337235B1 (ko) * 2000-05-12 2002-05-22 황세연 울음소리를 이용한 유아의 상태분석장치
JP2002149909A (ja) 2000-11-10 2002-05-24 Tomy Co Ltd 幼児管理システム、モニタリング装置および管理サーバ
KR100901740B1 (ko) * 2007-06-27 2009-06-10 전자부품연구원 코쿤형 육아 장치 및 이를 이용한 코쿤형 육아 관리 시스템
KR100904201B1 (ko) * 2008-04-25 2009-06-23 김성완 양방향통신가능한 유아모니터링장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220122870A (ko) * 2021-02-26 2022-09-05 한국광기술원 스마트 미러
KR102513289B1 (ko) * 2021-02-26 2023-03-24 한국광기술원 스마트 미러

Also Published As

Publication number Publication date
KR20170085732A (ko) 2017-07-25

Similar Documents

Publication Publication Date Title
KR101909279B1 (ko) 감정교류형 스마트 요람 시스템
US11191432B2 (en) Wearable health monitoring system
US10777048B2 (en) Methods and apparatus regarding electronic eyewear applicable for seniors
US20140234815A1 (en) Apparatus and method for emotion interaction based on biological signals
Rocha et al. Innovations in health care services: The CAALYX system
US10446017B1 (en) Smart personal emergency response systems (SPERS)
US20160345832A1 (en) System and method for monitoring biological status through contactless sensing
US8731512B2 (en) System and method for effecting context-cognizant medical reminders for a patient
CN107658016B (zh) 用于老年保健陪伴的Nounou智能监护系统
IL229370A (en) Interface system and method for providing user interaction with network entities
KR20030001504A (ko) 돌봄을 필요로 하는 사람 및 그/그녀를 돌보는 사람을감시하기 위한 자동 시스템
JP7028787B2 (ja) 視覚的コンテキストを用いる、生理学的パラメータの測定の適時トリガ
KR101759621B1 (ko) 움직임 패턴 및 음향 패턴 감지 기능을 이용한 행동 분석 장치 및 이를 이용한 행동 분석 시스템
CN108074205A (zh) 一种幼儿园管理方法及系统
KR20190073118A (ko) 사용자의 건강 관리를 위한 모니터링 로봇
KR20160120606A (ko) 원격 상담을 위한 양방향 커뮤니케이션 제공 방법, 이를 수행하는 시스템 및 이를 저장하는 기록매체
CN108012560A (zh) 智能婴幼儿监测系统和婴幼儿监测中心及婴幼儿学习接受度检测系统
KR100935879B1 (ko) 친생활 지능형 로봇을 이용한 헬스 케어 및 위험 진단 모니터링 방법 및 시스템
Ma et al. Cloud-based wheelchair assist system for mobility impaired individuals
KR20210089984A (ko) 스마트 거울을 이용한 유아용 손씻기 모니터링 시스템 및 그 방법
Jähne-Raden et al. Wireless sensor network for fall prevention on geriatric wards: A report
JP7405357B2 (ja) 高齢者等見守システム
Perakovic et al. Information and Communication System for informing Users in Traffic Environment–SaforA
TWI656502B (zh) 隨身安全照護方法、裝置及系統
KR101809724B1 (ko) 스마트 미러를 활용한 보육 케어시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)