KR20210072205A - Method for Processing Conversation by Using Baby's Emotional Sate - Google Patents
Method for Processing Conversation by Using Baby's Emotional Sate Download PDFInfo
- Publication number
- KR20210072205A KR20210072205A KR1020190161752A KR20190161752A KR20210072205A KR 20210072205 A KR20210072205 A KR 20210072205A KR 1020190161752 A KR1020190161752 A KR 1020190161752A KR 20190161752 A KR20190161752 A KR 20190161752A KR 20210072205 A KR20210072205 A KR 20210072205A
- Authority
- KR
- South Korea
- Prior art keywords
- baby
- information
- emotional state
- designated
- specified
- Prior art date
Links
- 230000002996 emotional effect Effects 0.000 title claims abstract description 558
- 238000000034 method Methods 0.000 title claims abstract description 224
- 238000012545 processing Methods 0.000 title abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 92
- 230000008451 emotion Effects 0.000 claims description 321
- 230000014509 gene expression Effects 0.000 claims description 187
- 230000008569 process Effects 0.000 claims description 86
- 238000003672 processing method Methods 0.000 claims description 72
- 238000013473 artificial intelligence Methods 0.000 claims description 53
- 230000001815 facial effect Effects 0.000 claims description 50
- 230000004044 response Effects 0.000 claims description 30
- 230000003190 augmentative effect Effects 0.000 claims description 23
- 230000008921 facial expression Effects 0.000 claims description 23
- 206010011469 Crying Diseases 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 19
- 238000003909 pattern recognition Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 210000004709 eyebrow Anatomy 0.000 claims description 7
- 235000019227 E-number Nutrition 0.000 claims description 4
- 239000004243 E-number Substances 0.000 claims description 4
- 208000008784 apnea Diseases 0.000 claims description 4
- 230000036760 body temperature Effects 0.000 claims description 4
- 210000001061 forehead Anatomy 0.000 claims description 4
- 210000004209 hair Anatomy 0.000 claims description 4
- 210000003800 pharynx Anatomy 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 67
- 238000004891 communication Methods 0.000 description 43
- 230000006870 function Effects 0.000 description 20
- 230000005236 sound signal Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 238000013500 data storage Methods 0.000 description 9
- 230000008909 emotion recognition Effects 0.000 description 9
- 239000003623 enhancer Substances 0.000 description 6
- 206010041349 Somnolence Diseases 0.000 description 5
- 238000013507 mapping Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000059 patterning Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010022998 Irritability Diseases 0.000 description 1
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G06K9/00302—
-
- G06K9/62—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
- G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
- G08B21/0211—Combination with medical sensor, e.g. for measuring heart rate, temperature
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Tourism & Hospitality (AREA)
- Emergency Management (AREA)
- Software Systems (AREA)
- Acoustics & Sound (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Medical Informatics (AREA)
- Hospice & Palliative Care (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Mathematical Physics (AREA)
- Cardiology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Heart & Thoracic Surgery (AREA)
- Strategic Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
Abstract
Description
본 발명은 지정된 거점에 구비된 카메라장치를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말의 앱이나 IPTV로 제공하는 중에 상기 사용자 무선단말의 앱이나 IPTV를 통해 사용자가 아기에게 대화한 음성이나 문자에 대응하는 대화 문자열이 인식된 경우 상기 대화 문자열에 대한 사용자 대화 의도를 판별하고 상기 비디오 데이터를 포함하는 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말의 앱이나 IPTV로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 것이다.The present invention provides transmission data including video data of a specific baby in the base through a camera device provided at a designated base through the app or IPTV of the user's wireless terminal while providing the designated user's wireless terminal's app or IPTV. When a dialogue string corresponding to the voice or text that the user has spoken to the baby is recognized, the user's conversation intention for the dialogue string is determined, and each emotion item specified for the specific baby based on one or more data including the video data After generating specific baby emotional state information, virtual object data matching the determined user conversation intention is checked based on this, and a designated part or baby in the baby's face area on the designated video data to be provided to the user's wireless terminal's app or IPTV. By augmenting and providing the area around the face, the baby is processed to respond to the determined user conversation intention based on the baby's emotional state.
종래에 다수개의 웹 PC 카메라가 설치된 병원 또는 조산원 또는 산후 조리원에서 회원으로 가입된 아기의 동영상이나 정지 화상 및 신생아 정보(예컨대, 태몽, 초음파 진단 사진 등)를 인터넷을 통해 회원에게 제공하는 서비스가 제안된 바 있다(특허공개번호 특2001-0091236(2001년10월23일)).A service that provides video or still images and newborn information (e.g., taemong, ultrasound diagnostic photos, etc.) of a baby who has been registered as a member in a hospital or midwifery or postpartum cooking center where multiple web PC cameras are conventionally installed to members through the Internet is proposed. (Patent Publication No. 2001-0091236 (October 23, 2001)).
그러나 종래의 서비스는 단순히 아기의 동영상이나 정지 화상 및 신생아 정보를 인터넷을 통해 제공하는 것으로, 기본 제공되는 아기의 동영상이나 정지 화상 및 신생아 정보 외에 아기의 현재 상태와 관련된 실시간 정보를 자동 파악하거나 아기와 상호 작용하기에는 기술적으로 난해한 문제점을 지니고 있다.However, the conventional service simply provides the baby's video or still image and newborn information through the Internet. It is technically difficult to interact with.
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 아기의 지정된 감정 항목 별 아기 감정 상태 값을 판별하기 위한 감정상태 판별 정보를 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장한 후, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 획득된 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하고, 지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 중에 상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식하고 이에 대응하는 사용자 대화 의도를 판별하고, 상기 감정상태 판별 정보를 통해 상기 사용자 무선단말의 앱이나 IPTV로 제공할 비디오 데이터를 포함하는 하나 이상의 데이터를 판독하는 절차를 수행하여 상기 아기에 대한 지정된 감정 항목 별 아기 감정 상태 값을 판별하고, 상기 산출된 하나 이상의 아기 감정 상태 정보를 이용하여 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하고, 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 중첩 표시함으로써 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공하는 아기의 감정 상태를 이용한 대화 처리 방법을 제공함에 있다.An object of the present invention to solve the above problems is to store emotional state determination information for determining the baby emotional state value for each designated emotional item of the baby, and the baby position for the designated P (P≥2) conversation intentions. Registers and stores R (R≥2) virtual object data corresponding to the response of the operation D/B, and matches the P conversation intentions with R virtual object data based on the baby emotional state information for each specified emotion item. After storing the virtual object matching information, the acquired data including video data obtained by photographing a specific baby in the base through the camera module of the camera device is received and stored in a specific storage area of a specified storage medium, and the specified user While providing transmission data including video data stored in a specific storage area of the storage medium to the app or IPTV of the wireless terminal, a character string corresponding to the user's voice or text acquired through the app or IPTV of the user wireless terminal is checked one or more including video data to be provided to the user's wireless terminal's app or IPTV through the emotional state determination information, recognizing the conversation string the user has spoken to the baby by reading it, and determining the user's conversation intention corresponding thereto A procedure of reading data is performed to determine a baby emotional state value for each designated emotional item for the baby, and using the calculated one or more baby emotional state information to generate baby emotional state information for each designated emotional item, Based on the virtual object matching information and the generated baby emotional state information for each of the n emotion items, virtual object data matching the determined user conversation intention is checked, and the specified part within the baby's face area on the video data or the area around the baby's face By overlapping display, transmission data including video data augmented to respond to the user's conversational intention determined based on the baby's emotional state from the baby's point of view through a designated part in the baby's facial area or a baby's face surrounding area is transmitted to the user for a specified period of time. wireless terminal app An object of the present invention is to provide a conversation processing method using the emotional state of a baby provided by IPTV.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법은, 사운드 입력부와 사운드 출력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서, 지정된 인공지능 기반의 학습(Learning) 과정을 통해 아기 표정에 대응하는 지정된 감정 항목 별 아기 감정 상태 값을 판별하기 위한 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하는 제1 단계와 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 제2 단계와 지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하는 제3 단계와 상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식하는 제4 단계와 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하는 제5 단계와 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 상기 인공지능 기반의 표정 기반 감정상태 판별 정보를 통해 지정된 비디오 데이터를 판독하는 절차를 수행하여 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목을 근거로 상기 비디오 데이터의 아기 표정에 대응하는 n1(1≤n1≤N1)개의 감정 항목 별 아기 감정 상태 값을 판별하는 제6 단계와 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성하는 제7 단계와 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 제8 단계와 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 제9 단계 및 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공하는 제10 단계를 포함하는 것을 특징으로 한다.The dialog processing method using the emotional state of a baby according to the present invention is a method executed through an operation server having a sound input unit, a sound output unit, and a camera module to communicate with a camera device provided at a designated base, the designated artificial intelligence Expression-based emotional state determination information is created and stored in the designated storage area to determine the baby emotional state value for each specified emotional item corresponding to the baby's expression through a learning process based on the baby's expression, and P(P≥2) specified The R (R≥2) virtual object data corresponding to the baby's response to the conversation intention is registered and stored in the operation D/B, and the P conversation intentions and R A first step of storing virtual object matching information for matching virtual object data, and video data encoded in a specified manner by photographing a specific baby in the base through the camera module of the camera device and input through the sound input unit of the camera device A second step of receiving audio data encoded in a specified manner and storing and managing it in a specific storage area of a specified storage medium, and transmission including video data stored in a specific storage area of the storage medium by an app or IPTV of a specified user wireless terminal The third step of performing or maintaining the procedure for providing data, and checking and reading the character string corresponding to the user's voice or text acquired through the app or IPTV of the user's wireless terminal, and the conversation string the user talked to the baby A fourth step of recognizing, a fifth step of determining a user conversation intention corresponding to at least one of the specified P conversation intentions by analyzing the recognized dialogue string, and a time point before, during, or after determining the user conversation intention N1 (1≤N1≤N) items that can be distinguished through a baby expression among N (N≥2) specified baby emotion items by performing a procedure of reading specified video data through the expression-based emotional state determination information based on the artificial intelligence n1 corresponding to the baby expression in the video data based on the baby emotion item A sixth step of determining the baby emotional state value for each (1≤n1≤N1) emotion item and n (1≤n≤N) emotion items specified using the calculated baby emotional state value for each n1 emotion item A seventh step of generating baby emotional state information, r (1≤r≤R) pieces matching the determined user conversation intention based on the virtual object matching information and the generated baby emotional state information for each n emotion items In the eighth step of checking the virtual object data, q (1≤q≤r) virtual object data specified in the designated area in the baby's face area or the area around the baby's face on the video data are superimposed and displayed so that the designated area in the baby's face area or A ninth step of augmenting to respond to the determined user conversational intention based on the baby's emotional state from the baby's point of view through the area around the baby's face, and transmitting data including video data augmented to respond to the determined user conversational intention is designated and a tenth step of providing the application or IPTV of the user's wireless terminal for a certain period of time.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제1 단계는, 지정된 인공지능 기반의 학습(Learning) 과정을 수행하여 지정된 E(E≥2)개의 아기 표정 중 지정된 아기 안면 영역에 대응하는 e(1≤e≤E)개의 아기 표정을 판별하고, 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목을 기반으로 상기 판별된 e개의 아기 표정과 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별하고, 상기 확인된 e개의 아기 표정과 n1개의 아기 감정 항목 간 상관도에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the first step is to perform a designated AI-based learning process, and a designated baby facial area among E (E≥2) baby expressions Determines e(1≤e≤E) baby expressions corresponding to n1 (1≤n1≤N1) baby emotion items having a matching relationship with the e number of baby expressions determined above with and generating expression-based emotional state determination information for determining the baby emotional state value for each emotion item and storing the information in a designated storage area.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제1 단계는, 지정된 E(E≥2)개의 아기 표정 중 지정된 e(1≤e≤E)개의 아기 표정에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 안면 영역을 포함하는 장면에 대응하는 복수의 비디오 정보들을 입력받고, 상기 입력된 복수의 비디오 정보에 대한 n1(1≤n1≤N1)개의 감정 항목 별 아기 감정 상태 값을 출력변수로 설정하는 단계와 상기 입력된 복수의 비디오 정보들에 포함된 아기 안면 영역의 지정된 특징점 간 기하학 관계를 판독하고 패턴 인식하여 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값에 대응하는 P(P≥2)개의 장면 패턴 특성 정보를 추출하여 입력변수(Feature Vectors)로 설정하는 단계와 지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 아기 안면 영역을 포함하는 복수의 장면들 중 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the first step includes: N designated while corresponding to the designated e (1≦e≦E) baby facial expressions among the designated E (E≧2) baby facial expressions Input a plurality of video information corresponding to a scene including N1 (1≤N1≤N) baby emotion items distinguishable through baby expression among (N≥2) baby emotion items and a baby face region with a specified correlation receiving, setting the baby emotional state values for each of n1 (1≤n1≤N1) emotion items for the plurality of input video information as output variables; By reading the geometric relationship between the specified feature points and recognizing the pattern, P(P≥2) pieces of scene pattern characteristic information corresponding to the baby emotional state value for each n1 emotion item corresponding to the baby expression in the baby's facial area are extracted and input variables ( Feature Vectors) and learning more than the specified number of input and output variables through a specified artificial intelligence algorithm, n1 emotions corresponding to the baby's expression in the baby's facial area among a plurality of scenes including the baby's facial area and generating expression-based emotional state determination information for determining the baby emotional state value for each item and storing it in a designated storage area.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서,상기 제1 단계는, 지정된 E(E≥2)개의 아기 표정 중 지정된 e(1≤e≤E)개의 아기 표정에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 안면 영역을 포함하는 장면에 대응하는 복수의 비디오 정보들의 아기 안면 영역의 지정된 특징점 간 기하학 관계를 판독하고 패턴 인식하여 상기 아기 안면 영역의 아기 표정에 대응하는 n1(1≤n1≤N1)개의 감정 항목 별 아기 감정 상태 값의 패턴 특성으로 추출된 P(P≥2)개의 장면 패턴 특성 정보를 입력변수(Feature Vectors)로 입력받고, 상기 P개의 장면 패턴 특성 정보가 추출된 비디오 정보에 대한 n1개의 감정 항목 별 아기 감정 상태 값을 출력변수로 설정하는 단계와 지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 아기 안면 영역을 포함하는 복수의 장면들 중 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the first step includes: N designated while corresponding to the designated e (1≦e≦E) baby facial expressions among the designated E (E≧2) baby facial expressions A plurality of video information corresponding to a scene including N1 (1≤N1≤N) baby emotion items distinguishable through baby expression among (N≥2) baby emotion items and a baby face region with a specified correlation P(P ≥) extracted as pattern characteristics of n1 (1≤n1≤N1) emotion items corresponding to the baby's expression in the baby's facial area by reading the geometric relationship between specified feature points in the facial area and recognizing the pattern 2) receiving the scene pattern characteristic information as input variables (Feature Vectors), and setting the baby emotional state value for each n1 emotional item for the video information from which the P scene pattern characteristic information is extracted as an output variable, and Determining the baby emotional state value for each n1 emotion item corresponding to the baby's expression in the baby's facial area among a plurality of scenes including the baby's facial area by learning more than a specified number of the input and output variables through an artificial intelligence algorithm and generating expression-based emotional state determination information for the purpose and storing it in a designated storage area.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 출력변수는, 상기 비디오 정보에 포함된 상기 아기 안면 영역에 대응하는 e개의 아기 표정 정보와, 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 아기 감정 항목 정보 중 적어도 하나의 정보를 더 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the output variable corresponds to e pieces of baby expression information corresponding to the baby's facial area included in the video information and the baby's expression in the baby's facial area. It is characterized in that it further includes at least one piece of information among the n1 pieces of baby emotion item information.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 P개의 대화 의도는, 아기의 상태를 질의하는 대화 카테고리에 대응하는 대화 의도, 아기의 감정 표현을 유도하는 대화 카테고리에 대응하는 대화 의도, 아기의 반응을 유발하는 대화 카테고리에 대응하는 대화 의도 중 적어도 하나의 대화 의도를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using a baby's emotional state according to the present invention, the P conversation intentions include a dialog intention corresponding to a dialog category querying the baby's state and a dialog corresponding to a dialog category inducing the baby's emotional expression. It characterized in that it comprises at least one conversational intention among the intention and the conversational intention corresponding to the conversational category that induces the reaction of the baby.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서,상기 R개의 가상객체 데이터는, 지정된 대화 의도에 대한 아기 입장의 응답으로서 아기 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 지정된 대화 의도에 대한 아기 입장의 응답에 대응하는 문자열을 말풍선 형태로 표시하여 아기 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the R virtual object data are virtual object data that is displayed overlaid on a designated part in the baby's face area as a response of the baby's position to the designated dialog intention, the designated dialog It is characterized in that the character string corresponding to the response of the baby's position to the intention is displayed in the form of a speech bubble to include at least one virtual object data among virtual object data that is displayed overlaid on the area around the baby's face.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제2 단계는, 상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 포함하는 동영상 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the second step is to receive the moving picture data including the video data and the audio data from the camera device and store and manage the video data including the video data and the audio data in a specific storage area of a designated storage medium. It is characterized in that it is made including the step of.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제2 단계는, 상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 각기 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the second step includes receiving the video data and the audio data from the camera device, respectively, and storing and managing them in a specific storage area of a designated storage medium. It is characterized in that it is done.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제2 단계는, 상기 카메라장치로부터 수신된 상기 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the second step includes synchronizing the time of the video data and audio data received from the camera device and storing them in a specific storage area of a designated storage medium. It is characterized in that it further comprises.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 송신 데이터는, 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터를 더 포함하여 이루어지는 것을 특징으로 한다.In the conversation processing method using the emotional state of a baby according to the present invention, the transmission data is characterized in that it further includes audio data stored in a specific storage area of the storage medium.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 지정된 비디오 데이터는, 지정된 재생 시간 단위 별로 주기적으로 선별되는 비디오 데이터, 지정된 재생 프레임 수 별로 주기적으로 선별되는 비디오 데이터 중 적어도 하나의 비디오 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using a baby's emotional state according to the present invention, the designated video data is at least one of video data periodically selected for each designated playback time unit and video data periodically selected for each designated number of playback frames. It is characterized in that it comprises data.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제4 단계는, 상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 획득된 오디오 데이터를 수신하는 단계 및 상기 수신된 오디오 데이터에 대한 음성 인식을 시도하여 상기 송신 데이터를 시청하는 사용자가 발화한 내용에 대응하는 문자열을 확인하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of the baby according to the present invention, the fourth step comprises the steps of receiving and outputting the transmission data and receiving audio data obtained through an app or IPTV of the user's wireless terminal, and the reception and verifying a character string corresponding to the content uttered by a user viewing the transmission data by attempting voice recognition on the audio data.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 오디오 데이터를 상기 카메라장치로 전송하여 상기 카메라장치의 사운드 출력부를 통해 출력하도록 처리하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using a baby's emotional state according to the present invention, the method further comprising the step of transmitting the audio data to the camera device and outputting the audio data through a sound output unit of the camera device.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제4 단계는, 상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 상기 송신 데이터를 시청하는 사용자가 발화한 음성을 인식한 문자열을 수신하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the fourth step is a voice uttered by a user who views the transmission data through an app of a user wireless terminal receiving and outputting the transmission data or through an IPTV. It is characterized in that it comprises the step of receiving the recognized character string.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제4 단계는, 상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 입력된 문자열을 수신하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the fourth step includes receiving a character string input through an app or IPTV of a user wireless terminal that receives and outputs the transmission data. characterized in that
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제6 단계는, 상기 인공지능 기반의 표정 기반 감정상태 판별 정보를 통해 지정된 비디오 데이터를 판독하는 절차를 수행하여 지정된 E개의 아기 표정 중 상기 비디오 데이터 상의 아기 안면 영역에 대응하는 e개의 아기 표정을 판별하고, 아기 표정을 통해 구별 가능한 N1개의 아기 감정 항목 중 상기 판별된 e개의 아기 표정과 매칭 관계를 지닌 n1개의 아기 감정 항목을 판별하고, 상기 확인된 e개의 아기 표정과 n1개의 아기 감정 항목 간 상관도에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the sixth step is to read the video data specified through the artificial intelligence-based facial expression-based emotional state determination information to perform the specified E baby expressions. Among the N1 baby emotion items that can be distinguished through the baby expression, n1 baby emotion items having a matching relationship with the e number of baby expressions are determined. and determining the baby emotional state value for each n1 emotion item corresponding to the correlation between the identified e baby expressions and the n1 baby emotion items.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제1 단계는, 지정된 인공지능 기반의 학습(Learning) 과정을 통해 아기 울음소리에 대응하는 지정된 감정 항목 별 아기 감정 상태 값을 판별하기 위한 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using a baby's emotional state according to the present invention, the first step is to determine the baby's emotional state value for each designated emotional item corresponding to the baby's cry through a designated artificial intelligence-based learning process. It is characterized in that it further comprises the step of generating the cry-based emotional state determination information for the purpose of storing in a designated storage area.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제1 단계는, 지정된 인공지능 기반의 학습(Learning) 과정을 수행하여 지정된 C(C≥2)개의 아기 울음소리 중 지정된 아기 울음에 대응하는 c(1≤c≤C)개의 아기 울음소리를 판별하고, 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목을 기반으로 상기 판별된 c개의 아기 울음소리와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 아기 감정 항목을 판별하고, 상기 확인된 c개의 아기 울음소리와 n2개의 아기 감정 항목 간 상관도에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the first step is to perform a designated artificial intelligence-based learning process, and a designated baby cries out of C (C≥2) designated baby cries. Identify c(1≤c≤C) baby crying sounds corresponding to , and N2(1≤N2≤N) baby emotion items that can be distinguished through baby crying among the specified N(N≥2) baby emotion items n2 (1≤n2≤N2) baby emotion items having a matching relationship with the c baby cry sounds determined above are determined based on , and in the correlation between the identified c baby cry sounds and n2 baby emotion items and generating cry-based emotional state determination information for determining the baby emotional state value for each of the corresponding n2 emotional items and storing the information in a designated storage area.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제1 단계는, 지정된 C(C≥2)개의 아기 울음소리 중 지정된 c(1≤c≤C)개의 아기 울음소리에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 울음에 대응하는 복수의 오디오 정보들을 입력받고, 상기 입력된 복수의 오디오 정보에 대한 n2(1≤n2≤N2)개의 감정 항목 별 아기 감정 상태 값을 출력변수로 설정하는 단계와 상기 입력된 복수의 오디오 정보들을 판독하고 패턴 인식하여 상기 아기 울음소리에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값에 대응하는 Q(Q≥2)개의 소리 패턴 특성 정보를 추출하여 입력변수(Feature Vectors)로 설정하는 단계와 지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 지정된 오디오 데이터에 포함된 아기 울음소리에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the first step is performed while corresponding to c(1≤c≤C) specified c(1≤c≤C) baby cries among the specified C(C≥2) baby cries. N2 (1≤N2≤N) baby emotion items distinguishable through baby crying among the specified N (N≥2) baby emotion items and a plurality of audio information corresponding to a baby crying with a specified correlation are input, Setting the baby emotional state value for each of n2 (1≤n2≤N2) emotion items for the plurality of input audio information as an output variable, and reading the inputted audio information and pattern recognition to recognize the baby cry Extracting Q (Q≥2) sound pattern characteristic information corresponding to the baby’s emotional state value for each n2 emotional items corresponding to A step of learning the input variable and the output variable to generate cry-based emotional state determination information to determine the baby emotional state value for each n2 emotional items corresponding to the baby cry included in the specified audio data, and store it in the designated storage area It is characterized in that it comprises a.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제1 단계는, 지정된 C(C≥2)개의 아기 울음소리 중 지정된 c(1≤c≤C)개의 아기 울음소리에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 울음에 대응하는 복수의 오디오 정보들을 판독하고 패턴 인식하여 상기 아기 울음소리에 대응하는 n2(1≤n2≤N2)개의 감정 항목 별 아기 감정 상태 값의 패턴 특성으로 추출된 Q(Q≥2)개의 소리 패턴 특성 정보를 입력변수(Feature Vectors)로 입력받고, 상기 Q개의 소리 패턴 특성 정보가 추출된 오디오 정보에 대한 n2개의 감정 항목 별 아기 감정 상태 값을 출력변수로 설정하는 단계와 지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 지정된 오디오 데이터에 포함된 아기 울음소리에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the first step is performed while corresponding to c(1≤c≤C) specified c(1≤c≤C) baby cries among the specified C(C≥2) baby cries. Among the specified N (N≥2) baby emotion items, N2 (1≤N2≤N) baby emotion items that can be distinguished through the cry of a baby and a plurality of audio information corresponding to a baby crying with a specified correlation are read and patterned Q (Q≥2) sound pattern characteristic information extracted as pattern characteristics of baby emotional state values for each n2 (1≤n2≤N2) emotion items corresponding to the baby's cry by recognizing them as input variables (Feature Vectors) Setting the baby emotional state value for each n2 emotional item for audio information from which the Q sound pattern characteristic information is extracted and inputted as an output variable, and the specified number of input variables and output variables through a designated artificial intelligence algorithm It is characterized in that it comprises the step of generating cry-based emotional state determination information to determine the baby emotional state value for each n2 emotional items corresponding to the baby crying sound included in the designated audio data by learning and storing it in a designated storage area. do it with
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 출력변수는, 상기 오디오 정보에 포함된 상기 아기 울음에 대응하는 c개의 아기 울음소리 정보와, 상기 아기 울음소리에 대응하는 n2개의 아기 감정 항목 정보 중 적어도 하나의 정보를 더 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the output variable includes c pieces of baby cry information corresponding to the baby crying included in the audio information, and n2 pieces of information corresponding to the baby cry sound. It characterized in that it further includes at least one piece of information among baby emotion items.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제3 단계는, 상기 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 통해 지정된 오디오 데이터를 판독하는 절차를 수행하여 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목을 근거로 상기 오디오 데이터의 아기 울음소리에 대응하는 n2(1≤n2≤N2)개의 감정 항목 별 아기 감정 상태 값을 판별하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of the baby according to the present invention, the third step is to perform a procedure of reading designated audio data through the artificial intelligence-based cry-based emotional state determination information to determine N (N Based on N2 (1≤N2≤N) baby emotion items that can be distinguished through a baby cry among ≥2) baby emotion items, n2 (1≤n2≤N2) emotions corresponding to the crying sound of the audio data It characterized in that it further comprises the step of determining the baby emotional state value for each item.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제3 단계는, 상기 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 통해 지정된 오디오 데이터를 판독하는 절차를 수행하여 지정된 C개의 아기 울음소리 중 상기 오디오 데이터 상의 아기 울음에 대응하는 c개의 아기 울음소리를 판별하고, 아기 울음소리를 통해 구별 가능한 N2개의 아기 감정 항목 중 상기 판별된 c개의 아기 울음소리와 매칭 관계를 지닌 n2개의 아기 감정 항목을 판별하고, 상기 확인된 c개의 아기 울음소리와 n2개의 아기 감정 항목 간 상관도에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the third step is to perform a procedure of reading designated audio data through the AI-based cry-based emotional state determination information to determine the number of designated C babies. Among the cries, c baby cries corresponding to the cries of the baby on the audio data are determined, and n2 babies having a matching relationship with the c baby cries out of the N2 baby emotion items that can be distinguished through the baby cries. and determining the emotional state values for each n2 emotion items corresponding to the correlation between the identified c baby cry sounds and the n2 baby emotion items.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서,상기 제4 단계는, 상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the fourth step is to additionally use the calculated baby emotional state values for each of the n2 emotional items to generate baby emotional state information for each of the n designated emotional items. It is characterized in that it further comprises the step of
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 제1 단계는, 상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장하는 단계를 더 포함하고, 상기 제2 단계는, 상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터를 수신하고 상기 비디오 데이터와 연계하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 더 포함하며, 상기 제6 단계는, 상기 비디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식하고,상기 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인하고 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 아기 감정 항목을 판별하고,상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 산출하는 단계를 더 포함하고, 상기 제7 단계는, 상기 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using a baby's emotional state according to the present invention, the first step includes sensing of a designated sensing target associated with the baby's emotional expression among sensing data sensed through a sensor module provided in or linked to the camera device. Matching relationship between S (S≥2) sensing value pattern information for data and N3 (1≤N3≤N) baby emotion items that can be distinguished based on the sensing value pattern of the specified sensing target among the N specified baby emotion items Registering and storing sensing-based emotional state determination information including information and the sensing-based correlation numerical relationship information obtained by quantifying the correlation between the S sensed value pattern information and N3 baby emotion items in the operation D/B And, the second step further comprises the step of receiving the sensed data sensed through a sensor module provided in or linked to the camera device and storing and managing the video data in a specific storage area of a designated storage medium, The sixth step is to read sensing data associated with the video data to recognize k (k≥1) sensed value recognition information for the sensing data of a designated sensing target associated with the emotional expression of the specific baby, and the sensing Based on the base emotional state determination information, check the k sensed value recognition information and the s (1≤s≤S) sensed value pattern information that matches the preset reference similarity or more, and check the identified s sensed value pattern information Determines n3 (1≤n3≤N3) baby emotion items having a matching relationship with , and the s sensed value pattern based on a matching ratio between the recognized k sensed value recognition information and the s sensed value pattern information By reading the correlation numerical relationship between the information and the n3 baby emotion items, the baby emotional state value for each n3 emotion items obtained by digitizing the baby emotional state for each n3 emotion items corresponding to the recognized k sensed value recognition information is calculated. The method further includes a step, wherein the seventh step includes additionally using the calculated baby emotional state values for each of the n3 emotion items for each of the n emotion items specified. It characterized in that it further comprises the step of generating the baby emotional state information.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 센서모듈은, 아기의 신체에 착용하여 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈, 지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈 중 적어도 하나의 센서모듈을 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the sensor module includes a wearable sensor module that is worn on the baby's body and senses a designated sensing target, and a designated sensing target of the baby using a designated electromagnetic wave. It characterized in that it comprises at least one sensor module of the radar (Radar) sensor module for sensing the.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 센싱 대상은,아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using a baby's emotional state according to the present invention, the sensing target is characterized in that it comprises at least one of a baby's heartbeat, baby's body temperature, baby's ambient humidity, and baby's apnea.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 S개의 센싱 값 패턴 정보는, 아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징의 범위 정보를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using a baby's emotional state according to the present invention, the S sensed value pattern information is a sensing value characteristic constituting each sensing value pattern for sensing data of a designated sensing target associated with the baby's emotional expression. It is characterized in that it comprises the range information of.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 센싱 값 특징은, 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using a baby's emotional state according to the present invention, the sensed value characteristic is at least one of a change rule characteristic of a sensed value, a characteristic of a change amount of a sensed value, a characteristic of a change rate of a sensed value, and a periodic characteristic of a change of a sensing value; It is characterized in that it comprises a combination of two or more.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 센싱 기반 상관도 수치 관계정보는, 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 한다.In the conversation processing method using the emotional state of a baby according to the present invention, the sensing-based correlation numerical relationship information is matching between sensing value recognition information recognized through sensing data of a specified sensing target and pre-registered sensing value pattern information The correlation calculated through the relational expression proportional to the ratio is also characterized in that it includes numerical information.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 센싱 기반 상관도 수치 관계정보는, 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 한다.In the conversation processing method using the emotional state of a baby according to the present invention, the sensing-based correlation numerical relationship information is between the sensing value recognition information recognized through the sensing data of a specified sensing target and the pre-registered sensing value pattern information. It is characterized in that the correlation for each matching ratio section also includes numerical information.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 n개의 감정 항목 별 아기 감정 상태 정보는, n개의 감정 항목 정보와 각 감정 항목 별 아기 감정 상태의 수치정보를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the baby emotional state information for each n emotional items includes n emotional item information and numerical information on the baby's emotional state for each emotional item. do it with
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 r개의 가상객체 데이터는, 상기 판별된 사용자 대화 의도에 대한 아기 감정 상태 기준의 응답으로서 아기 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 상기 판별된 사용자 대화 의도에 대한 아기 감정 상태 기준 응답에 대응하는 문자열을 말풍선 형태로 표시하여 아기 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the r virtual object data is displayed as a response of the baby's emotional state standard to the determined user's conversation intention, which is displayed overlaid on a designated part in the baby's face area. At least one virtual object data among object data and virtual object data superimposed on the area around the baby's face by displaying a character string corresponding to the baby's emotional state reference response to the determined user's conversation intention in the form of a speech bubble do it with
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 q개의 가상객체 데이터는, 상기 r개의 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the emotional state of a baby according to the present invention, the q virtual object data is characterized in that it includes the r virtual object data.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 q개의 가상객체 데이터는, 상기 r개의 가상객체 데이터 중 상기 판별된 사용자 대화 의도에 가장 부합한 것으로 선별된 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the q virtual object data includes virtual object data selected as the most suitable for the determined user conversation intention among the r virtual object data. characterized by being made.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 q개의 가상객체 데이터는, 상기 r개의 가상객체 데이터 중 아기 안면 영역 내의 동일 부위에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using a baby's emotional state according to the present invention, the q pieces of virtual object data are selected virtual object data to be displayed overlaid on the same part in the baby's face area among the r pieces of virtual object data. It is characterized in that it comprises object data.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 q개의 가상객체 데이터는, 상기 r개의 가상객체 데이터 중 아기 안면 주변의 동일 영역에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using a baby's emotional state according to the present invention, the q pieces of virtual object data are selected virtual object data to be displayed overlaid on the same area around the baby's face among the r pieces of virtual object data. It is characterized in that it comprises object data.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 q개의 가상객체 데이터가 아기 안면 주변 영역에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 비디오 데이터 상의 아기 안면의 지향 방향을 인식하는 단계를 더 포함하며, 상기 제9 단계는, 상기 아기 안면의 지향 방향에 대응하는 아기 안면 주변 영역에 상기 지정된 가상객체 데이터를 중첩 표시하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, when the q virtual object data includes virtual object data designated to be displayed overlaid on the area around the baby's face, the orientation direction of the baby's face on the video data is determined. The method may further include recognizing, and the ninth step may include overlapping and displaying the designated virtual object data in an area around the baby's face corresponding to the orientation direction of the baby's face.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 아기 안면 영역 내의 지정 부위는, 아기의 머리카락 부위, 아기의 이마 부위, 아기의 관자놀이 부위, 아기의 양 눈썹 부위, 아기의 양 안과 양 눈썹 사이 부위, 아기의 양 안 부위, 아기의 양 안 사이 부위, 아기의 양 안 바깥쪽 부위, 아기의 양 안 아래쪽 부위, 아기의 양 광대 부위, 아기의 양 볼 부위, 아기의 콧등 부위, 아기의 코 부위, 아기의 인중 부위, 아기의 입 부위, 아기의 입술 부위, 아기의 입 바깥쪽 부위, 아기의 입 아래쪽 부위, 아기의 턱 부위, 아기의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, the designated part in the baby's facial region is the baby's hair part, the baby's forehead part, the baby's temple part, the baby's eyebrows part, and the baby's ophthalmology part. The area between the eyebrows, the baby's cheeks, the baby's insides, the baby's inside and out, the baby's lower cheeks, the baby's cheeks, the baby's cheeks, the baby's nose, At least one or a combination of two or more of baby's nose, baby's pharynx, baby's mouth, baby's lips, baby's outer mouth, baby's lower mouth, baby's chin, baby's neck It is characterized in that it comprises a.
본 발명에 따른 아기의 감정 상태를 이용한 대화 처리 방법에 있어서, 상기 q개의 가상객체 데이터가 아기 안면 영역 내의 지정 부위에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 비디오 데이터 상의 아기 안면의 지향 방향과 카메라 촬영 방향 간 3차원 좌표계 상의 각도 정보를 산출하는 단계를 더 포함하며, 상기 제9 단계는, 상기 각도 정보를 근거로 상기 지정된 가상객체 데이터의 중첩 표시 방향이 상기 아기 안면 영역 내의 지정 부위 별 방향에 대응하도록 좌표 변환하여 중첩 표시하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the dialog processing method using the baby's emotional state according to the present invention, when the q virtual object data includes virtual object data designated to be displayed overlaid on a designated part in the baby's face area, the orientation of the baby's face on the video data The method further includes calculating angle information on a three-dimensional coordinate system between a direction and a camera shooting direction, wherein the ninth step is that the overlap display direction of the designated virtual object data based on the angle information is a designated part within the baby's face region. It characterized in that it comprises the step of displaying the overlap by transforming the coordinates to correspond to the direction of the star.
본 발명에 따르면, 지정된 거점에 구비된 카메라장치를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말의 앱이나 IPTV로 제공하는 중에 상기 사용자 무선단말의 앱이나 IPTV를 통해 사용자가 아기에게 대화한 음성이나 문자에 대응하는 대화 문자열이 인식된 경우 상기 대화 문자열에 대한 사용자 대화 의도를 판별하고 상기 비디오 데이터를 포함하는 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말의 앱이나 IPTV로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리함으로써, 무선단말의 앱이나 IPTV를 통해 상기 송신 데이터를 시청하는 사용자는 상기 송신 데이터의 비디오 데이터에 대응하는 아기의 영상 화면을 보고 상기 송신 데이터의 오디오 데이터에 대응하는 아기의 소리를 듣는 것 이외에 상기 송신 데이터를 시청하면서 상기 아기와 상호 작용하거나 대화할 수 있는 이점이 있다.According to the present invention, while providing transmission data including video data of a specific baby in the base through a camera device provided at a designated base to the app or IPTV of the designated user's wireless terminal, the user's wireless terminal's app or IPTV When a dialogue string corresponding to the voice or text that the user has spoken to the baby is recognized through the user, the user's conversation intention for the dialogue string is determined, and the specified angle for the specific baby is determined based on one or more data including the video data. After generating baby emotional state information for each emotion item, based on this, virtual object data matching the determined user conversation intention is checked, and a designated part within the baby's face area on the designated video data to be provided to the user's wireless terminal's app or IPTV. By augmenting and providing the area around the baby's face to respond to the user's conversation intention determined based on the baby's emotional state from the baby's point of view, the user watching the transmission data through the app or IPTV of the wireless terminal There is an advantage of being able to interact or talk with the baby while watching the transmission data, in addition to viewing the baby's video screen corresponding to the video data of the transmission data and listening to the baby's sound corresponding to the audio data of the transmission data.
도 1은 본 발명의 실시 방법에 따라 아기의 감정 상태를 처리하여 아기와 대화하는 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 정보 저장/등록 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 지정된 거점의 카메라장치(195)를 통해 획득한 획득 데이터를 전송하여 지정된 저장매체에 저장 관리하는 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따라 비디오 데이터를 포함하는 송신 데이터를 사용자에게 제공하는 중에 사용자가 아기에게 대화한 사용자 대화 의도를 판별하는 과정을 도시한 도면이다.
도 5는 본 발명의 제1 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.
도 6은 본 발명의 제2 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다..
도 7은 본 발명의 제3 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.1 is a diagram showing the configuration of a system for communicating with a baby by processing the emotional state of the baby according to an embodiment of the present invention.
2 is a diagram illustrating an information storage/registration process according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating storage and management of acquired data acquired through the camera device 195 of a designated base according to an embodiment of the present invention and stored in a designated storage medium.
4 is a diagram illustrating a process of determining the user's conversation intention with the baby while the transmission data including video data is provided to the user according to an embodiment of the present invention.
5 is a diagram illustrating a process of responding to a user's conversation intention based on the baby's emotional state according to the first embodiment of the present invention.
6 is a diagram illustrating a process of responding to a user's conversation intention based on the baby's emotional state according to the second embodiment of the present invention.
7 is a diagram illustrating a process of responding to a user's conversation intention based on a baby's emotional state according to a third embodiment of the present invention.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다.Hereinafter, the principle of operation of the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. However, the drawings shown below and the following description are for preferred implementation methods among various methods for effectively explaining the features of the present invention, and the present invention is not limited only to the following drawings and description.
즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)을 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)으로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 동작 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.That is, the following embodiment corresponds to an embodiment of a preferred union type among numerous embodiments of the present invention, and an embodiment in which a specific configuration (or step) is omitted in the following embodiment, or a specific configuration (or step) An embodiment in which the implemented function is divided into a specific configuration (or step), or an embodiment in which the function implemented in two or more configurations (or step) is integrated into any one configuration (or step), of a specific configuration (or step) Embodiments in which the order of operation is replaced, etc. are clearly stated to be within the scope of the present invention, even if not separately mentioned in the following embodiments. Therefore, it is clearly specified that various embodiments corresponding to a subset or a complement can be divided retroactively from the filing date of the present invention based on the following examples.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In addition, in the following description of the present invention, if it is determined that a detailed description of a related well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. And the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of the user or operator. Therefore, the definition should be made based on the content throughout the present invention.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical spirit of the present invention is determined by the claims, and the following examples are one means for efficiently explaining the technical spirit of the present invention to those of ordinary skill in the art to which the present invention belongs. only
도면1은 본 발명의 실시 방법에 따라 아기의 감정 상태를 처리하여 아기와 대화하는 시스템의 구성을 도시한 도면이다.1 is a diagram showing the configuration of a system for communicating with a baby by processing the emotional state of the baby according to the embodiment of the present invention.
보다 상세하게 본 도면1은 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 사용자가 아기에게 대화한 음성이나 문자에 대응하는 대화 문자열이 인식된 경우 상기 대화 문자열에 대한 사용자 대화 의도를 판별하고 상기 비디오 데이터를 포함하는 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 시스템의 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 시스템의 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 1 shows transmission data including video data of a specific baby in the base through the camera device 195 provided at the designated base to the app of the designated user wireless terminal 185 or to the
본 발명의 시스템은, 지정된 거점에 구비되어 피사체를 찰영하고 통신망에 접속 가능한 카메라장치(195)와, 상기 카메라장치(195)의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 획득된 영상 신호를 지정된 방식으로 엔코딩한 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하는 기능, 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 기능, 상기 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 사용자가 아기에게 대화한 음성이나 문자에 대응하는 대화 문자열을 인식하는 기능, 상기 인식된 대화 문자열에 대한 사용자 대화 의도를 판별하는 기능, 상기 카메라장치(195)를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하는 기능, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 상기 생성된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 사용자 대화 의도에 응답하는 가상객체 데이터를 중첩 표시하여 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 기능 중 하나 이상의 기능을 수행하는 운영서버(100)를 포함하여 이루어진다. 상기 운영서버(100)는 독립된 서버 형태, 둘 이상의 서버 조합 형태, 기 구비된 서버를 통해 실행되는 소프트웨어 형태 중 적어도 하나 또는 둘 이상의 조합 형태로 구현될 수 있으며, 상기 운영서버(100)를 구현하는 실시예나 상기 운영서버(100)의 명칭에 의해 본 발명이 한정되지 아니한다.The system of the present invention includes a camera device 195 that is provided at a designated base to photograph a subject and can be connected to a communication network, and an image signal obtained by photographing a specific baby in the base through the camera module of the camera device 195. A function of receiving acquired data including video data encoded in a specified manner and storing it in a specific storage area of a specified storage medium, and transmitting transmission data including video data stored in a specific storage area of the storage medium to the specified user wireless terminal 185 ) of the app or IPTV 190, and while providing the transmission data to the app or IPTV 190 of the designated user wireless terminal 185, the app or IPTV 190 of the user wireless terminal 185 Based on the function of recognizing a dialogue string corresponding to the voice or text that the user has spoken to the baby through, the function of determining the user's conversation intention for the recognized dialogue string, and one or more data obtained through the camera device 195 A function of generating baby emotional state information for each designated emotional item for the specific baby, a designated part in the baby's face area on the designated video data to be provided to the app of the user wireless terminal 185 or the IPTV 190, or the baby's face Operation of performing one or more functions of augmenting the virtual object data responding to the user conversation intention by overlapping and displaying the virtual object data responding to the user conversation intention based on the baby emotional state information for each emotional item generated in the surrounding area It is made including the server (100). The operation server 100 may be implemented in the form of an independent server, a combination of two or more servers, and at least one or a combination of two or more of software executed through a pre-equipped server, and implementing the operation server 100 The present invention is not limited by the embodiment or the name of the operation server 100 .
상기 카메라장치(195)는 지정된 거점에 구비되어 피사체를 촬영하는 카메라를 구비한 단말이나 장치의 총칭으로서, 바람직하게 산후조리원이나 가정집의 아기가 기거하는 공간에 구비되어 상기 공간에 존재하는 특정 아기를 촬영하는 카메라를 구비한 단말이나 장치를 포함할 수 있다. The camera device 195 is a generic term for a terminal or device provided at a designated base and equipped with a camera for photographing a subject. Preferably, it is provided in a space where a baby in a postpartum care center or a home resides, and a specific baby existing in the space is captured. It may include a terminal or device equipped with a camera for photographing.
본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 거점 내의 지정된 피사체를 촬영하는 카메라모듈과, 지정된 통신망에 연결하는 통신모듈 및 상기 카메라모듈을 통해 획득된 영상 신호를 지정된 방식으로 엔코딩한 비디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행하는 제어모듈을 구비한다. According to an embodiment of the present invention, the camera device 195 encodes a video signal obtained through a camera module for photographing a designated subject in a base, a communication module connected to a designated communication network, and the camera module in a designated manner. and a control module for performing a procedure for generating acquired data including data and transmitting it to a designated operation server 100 through the communication module.
상기 카메라모듈은 피사체로부터 반사된 광신호를 입력받는 하나 이상의 렌즈부와, 상기 렌즈부를 통해 입력되는 광신호를 검지하여 전기적 영상 신호로 변환하는 이미지 센서부 및 상기 렌즈부와 이미지 센서부 사이에서 자동초점 기능이나 줌 기능 등을 포함하는 지정된 기능 동작을 구현하는 액츄에이터부(Actuator)를 포함하여 이루어진다. 한편 실시 방법에 따라 상기 카메라모듈은상기 렌즈부와 이미지 센서부 사이에는 야간에도 피사체를 촬영하기 위한 적외선 필터를 포함하는 이상의 필터부를 더 구비할 수 있다. 한편 상기 카메라모듈은 상기 이미지 센서부를 통해 생성된 영상 신호를 제어모듈로 제공하기 위한 PCB를 구비한다. 한편 실시 방법에 따라 상기 카메라모듈은 상기 이미지 센서부를 통해 생성된 영상 신호의 품질 향상을 위해 지정된 절차에 따라 상기 영상 신호를 가공하는 이미지 신호처리 프로세서(Image Signal Processor; ISP)를 더 구비할 수 있다.The camera module includes at least one lens unit that receives an optical signal reflected from a subject, an image sensor unit that detects an optical signal input through the lens unit and converts it into an electrical image signal, and automatically between the lens unit and the image sensor unit. It is made by including an actuator unit (Actuator) for implementing a specified function operation including a focus function or a zoom function. Meanwhile, according to an implementation method, the camera module may further include a filter unit including an infrared filter for photographing a subject even at night between the lens unit and the image sensor unit. Meanwhile, the camera module includes a PCB for providing the image signal generated through the image sensor unit to the control module. Meanwhile, according to the implementation method, the camera module may further include an image signal processing processor (ISP) that processes the image signal according to a specified procedure to improve the quality of the image signal generated through the image sensor unit. .
상기 통신모듈은 패킷 기반의 통신망에 연결하는 모듈의 총칭으로서, 바람직하게 UTP 케이블 등의 유선을 이용하여 통신망에 연결하는 통신모듈과 무선랜을 통해 통신망에 연결하는 통신모듈 중 적어도 하나 또는 둘을 모두 포함할 수 있다. 한편 실시 방법에 따라 상기 통신모듈은 무선랜 이외에 이동통신망이나 별도의 지정된 무선 통신을 통해 통신망에 연결하는 통신모듈을 더(또는 대체) 포함할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. The communication module is a generic term for modules connecting to a packet-based communication network, and preferably includes at least one or both of a communication module connecting to a communication network using a wire such as a UTP cable and a communication module connecting to a communication network through a wireless LAN. may include Meanwhile, according to the implementation method, the communication module may further (or replace) a communication module for connecting to a communication network through a mobile communication network or a separately designated wireless communication in addition to the wireless LAN, and the present invention is not limited thereto.
상기 제어모듈은 상기 카메라모듈을 통해 생성된 영상 신호를 지정된 방식으로 엔코딩하여 비디오 데이터를 생성할 수 있다. 한편 실시 방법에 따라 상기 비디오 데이터는 상기 카메라모듈을 통해 생성되어 상기 제어모듈로 전달될 수 있다. 한편 상기 비디오 데이터는 상기 영상 신호를 촬영한 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. The control module may generate video data by encoding an image signal generated through the camera module in a specified manner. Meanwhile, according to an implementation method, the video data may be generated through the camera module and transmitted to the control module. Meanwhile, the video data may further include a time value (or timestamp) of a time point at which the image signal is captured.
상기 제어모듈은 상기 비디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 한편 실시 방법에 따라 상기 획득 데이터는 상기 비디오 데이터 이외에 오디오 데이터를 더 포함하거나 및/또는 지정된 센서모듈을 통해 센싱된 센싱 데이터를 더 포함할 수 있다. The control module may perform a procedure of generating acquired data including the video data and transmitting it to the designated operation server 100 through the communication module. Meanwhile, according to an implementation method, the acquired data may further include audio data in addition to the video data and/or may further include sensing data sensed through a designated sensor module.
본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 거점 내의 사운드 신호를 입력받는 사운드 입력부를 더 구비하며, 이 경우 상기 제어모듈은 상기 사운드 입력부를 통해 획득된 사운드 신호를 지정된 방식으로 엔코딩한 오디오 데이터를 더 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다.According to the implementation method of the present invention, the camera device 195 further includes a sound input unit for receiving a sound signal in the base, and in this case, the control module encodes the sound signal obtained through the sound input unit in a specified manner. A procedure of generating acquired data further including audio data and transmitting it to a designated operation server 100 through the communication module may be performed.
상기 사운드 입력부는 공기의 진동을 전기적 신호 형태의 사운드 신호로 변환하는 마이크로폰 및 이를 제어모듈과 인터페이스하는 인터페이스부를 포함하여 구성되며, 상기 제어모듈은 상기 사운드 입력부를 통해 획득된 사운드 신호를 지정된 지정된 방식으로 엔코딩하여 오디오 데이터를 생성할 수 있다. 한편 실시 방법에 따라 상기 사운드 입력부가 별도의 모듈 형태로 구현되는 겨우, 상기 오디오 데이터는 상기 사운드 입력부를 통해 카메라모듈을 통해 생성되어 상기 제어모듈로 전달될 수 있다. 한편 상기 오디오 데이터는 상기 사운드 신호를 입력받은 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. The sound input unit is configured to include a microphone that converts air vibration into a sound signal in the form of an electrical signal, and an interface unit for interfacing it with a control module, and the control module converts the sound signal obtained through the sound input unit into a designated and specified method It can be encoded to generate audio data. Meanwhile, when the sound input unit is implemented in the form of a separate module according to the implementation method, the audio data may be generated through the camera module through the sound input unit and transmitted to the control module. Meanwhile, the audio data may further include a time value (or timestamp) of a time point at which the sound signal is input.
상기 카메라장치(195)에 상기 사운드 입력부를 구비하여 상기 사운드 입력부를 통해 획득된 사운드 신호를 엔코딩한 오디오 데이터가 생성되는 경우, 상기 제어모듈은 상기 비디오 데이터와 오디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. When the camera device 195 is provided with the sound input unit to generate audio data obtained by encoding a sound signal obtained through the sound input unit, the control module generates acquired data including the video data and audio data, A procedure of transmitting to the designated operation server 100 through the communication module may be performed.
본 발명의 일 실시 방법에 따르면, 상기 획득 데이터는 상기 비디오 데이터와 오디오 데이터를 지정된 데이터 포맷에 포함하는 동영상 데이터(또는 멀티미디어 데이터) 형태로 생성될 수 있다.According to an embodiment of the present invention, the acquired data may be generated in the form of moving picture data (or multimedia data) including the video data and audio data in a specified data format.
본 발명의 다른 일 실시 방법에 따르면, 상기 획득 데이터는 상기 비디오 데이터와 오디오 데이터를 지정된 각각의 데이터 포맷에 포함하되, 상기 비디오 데이터와 오디오 데이터에 포함된 시간 값(또는 타임스탬프)를 통해 시점을 동기화 가능한 각각의 데이터 형태로 생성될 수 있다.According to another embodiment of the present invention, the acquired data includes the video data and the audio data in each designated data format, but the time value (or timestamp) included in the video data and the audio data is used to determine the viewpoint. Each data type that can be synchronized can be created.
본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 지정된 사운드 신호를 지정된 신호 강도로 출력하는 사운드 출력부를 더 구비할 수 있으며, 이 경우 상기 제어모듈은 지정된 절차에 따라 상기 사운드 출력부를 통해 출력할 사운드 신호에 대응하는 오디오 데이터를 생성하거나 및/또는 지정된 저장영역으로부터 추출하거나 및/또는 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 사운드 출력부를 통해 출력할 사운드 신호에 대응하는 오디오 데이터를 수신하고, 상기 생성/추출/수신된 오디오 데이터에 대응하는 사운드 신호를 상기 사운드 출력부를 통해 출력하도록 처리하는 절차를 수행할 수 있다.According to the embodiment of the present invention, the camera device 195 may further include a sound output unit for outputting a specified sound signal with a specified signal strength. In this case, the control module outputs the sound signal through the sound output unit according to a specified procedure. Audio data corresponding to the sound signal to be output through the sound output unit from the operation server 100 designated through the communication module and/or to generate audio data corresponding to the sound signal to be generated and/or extracted from the designated storage area and/or through the communication module A process of receiving and outputting a sound signal corresponding to the generated/extracted/received audio data through the sound output unit may be performed.
상기 사운드 출력부는 오디오 데이터를 디코딩한 전기적 신호 형태의 사운드 신호를 출력하는 스피커 및 이를 제어모듈과 인터페이스하는 인터페이스부를 포함하여 구성되며, 상기 제어모듈은 상기 사운드 출력부를 통해 출력할 오디오 데이터를 생성하거나 및/또는 지정된 저장영역으로부터 추출하거나 및/또는 상기 통신모듈을 통해 지정된 운영서버(100)로부터 수신하고, 상기 사운드 출력부를 통해 상기 오디오 데이터에 대응하는 사운드 신호를 지정된 신호 강도(예컨대, 카메라장치(195)의 스피커를 통해 출력된 사운드 신호가 지정된 거리 내외로 이격된 아기에게 지정된 소리 크기로 전달되도록 설정된 신호 강도)로 출력할 수 있다. The sound output unit is configured to include a speaker for outputting a sound signal in the form of an electrical signal obtained by decoding audio data and an interface unit for interfacing the same with a control module, wherein the control module generates audio data to be output through the sound output unit, and / or extracted from a designated storage area and / or received from the designated operation server 100 through the communication module, and receives a sound signal corresponding to the audio data through the sound output unit with a specified signal strength (eg, the camera device 195) ), the sound signal output through the speaker can be output with the signal strength set so that it is delivered at the specified sound level to the baby spaced within or outside the specified distance).
본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 지정된 센서를 통해 아기의 지정된 센싱 대상을 센싱하는 센서모듈을 구비하거나 연계될 수 있으며, 상기 제어모듈은 상기 센서모듈을 통해 센싱하여 획득된 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 더 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 바람직하게, 상기 센서모듈을 통해 센싱하는 아기의 지정된 센신 대상은 아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함할 수 있다.According to the implementation method of the present invention, the camera device 195 may be provided with or linked to a sensor module for sensing a designated sensing target of the baby through a designated sensor, and the control module may be configured to detect A procedure of generating acquired data further including sensing data encoded by a sensing signal in a specified manner and transmitting it to the specified operation server 100 through the communication module may be performed. Preferably, the baby's designated sensing target sensed through the sensor module may include at least one of a baby's heartbeat, baby's body temperature, baby's ambient humidity, and baby's apnea.
상기 센서모듈은 아기의 신체 중 지정된 부위에 착용하여 아기의 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈을 포함할 수 있으며, 이 경우 상기 제어모듈은 지정된 근거리 통신(예컨대, 블루투스 등)을 통해 상기 웨어러블 센서모듈과 연계하여 상기 센서모듈을 통해 센싱된 센싱 값에 대응하는 센싱 신호를 수신하거나 또는 상기 센서모듈을 통해 상기 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 수신할 수 있다. The sensor module may include a wearable sensor module that is worn on a designated part of the baby's body and senses a designated sensing target of the baby, in this case, the control module is configured through designated short-distance communication (eg, Bluetooth, etc.) In connection with the wearable sensor module, a sensing signal corresponding to a sensed value sensed through the sensor module may be received, or sensing data obtained by encoding the sensing signal in a specified manner may be received through the sensor module.
한편 상기 센서모듈은 지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈을 포함할 수 있으며, 이 경우 상기 제어모듈은 상기 레이더 센서모듈을 통해 싱된 센싱 값에 대응하는 센싱 신호를 확인하고 지정된 방식으로 엔코딩하여 센싱 데이터를 생성할 수 있다. 한편 상기 레이더 센서모듈은 상기 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 생성하여 상기 제어모듈로 제공할 수 있으며, 이 경우 상기 제어모듈은 상기 레이더 센서모듈로부터 상기 센싱 데이터를 제공받을 수 있다. Meanwhile, the sensor module may include a radar sensor module for sensing a designated sensing target of the baby using a designated electromagnetic wave, in this case, the control module is a sensing signal corresponding to the sensing value sensed through the radar sensor module can be checked and encoded in a specified way to generate sensing data. Meanwhile, the radar sensor module may generate sensing data encoded in a specified manner and provide the sensing data to the control module. In this case, the control module may receive the sensing data from the radar sensor module.
본 발명의 실시 방법에 따르면, 상기 센싱 데이터는 상기 센서모듈을 통해 지정된 센싱 대상을 센싱한 센싱 값을 포함하며, 바람직하게 상기 센서모듈을 통해 상기 센싱 값을 센싱한 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. According to the implementation method of the present invention, the sensed data includes a sensed value sensed by a sensing target designated through the sensor module, and preferably a time value (or timestamp) at the point in time when the sensed value is sensed through the sensor module. ) may be further included.
상기 카메라장치(195)에 상기 센서모듈을 구비하거나 연계시켜 아기의 지정된 센싱 대상을 센싱한 센싱 데이터가 생성되는 경우, 상기 제어모듈은 상기 획득 데이터에 상기 센싱 데이터를 추가하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 바람직하게, 상기 센싱 데이터는 지정된 데이터 포맷에 포함된 형태로 상기 획득 데이터에 포함될 수 있으며, 상기 비디오 데이터와 센싱 데이터에 포함된 시간 값(또는 타임스탬프)를 통해 시점을 동기화 가능한 데이터 형태로 생성될 수 있다.When the camera device 195 is provided with or linked to the sensor module to generate sensing data that senses a designated sensing target of a baby, the control module adds the sensing data to the acquired data and is designated through the communication module. A procedure for transmitting to the operation server 100 may be performed. Preferably, the sensing data may be included in the acquired data in a form included in a specified data format, and a time value (or timestamp) included in the video data and the sensing data may be generated in a data format capable of synchronizing a viewpoint. can
본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 상기 카메라모듈의 촬영 방향을 상/하/좌/우 방향으로 지정된 각도 범위 내로 구동하는 구동모듈을 더 구비하며, 상기 제어모듈은 상기 카메라모듈을 통해 촬영되는 비디오 데이터를 판독하여 아기(또는 아기의 안면)에 대응하거나 아기가 누워 있는 요람이나 이불에 대응하는 객체를 인식하는 과정을 시도할 수 있다. 만약 상기 객체가 인식되지 않는 경우, 상기 제어모듈은 상기 구동모듈을 통해 상기 카메라모듈의 촬영 방향을 지정된 방향으로 지정된 각도 범위만큼 이격하면서 상기 객체가 인식하는 과정을 전 각도 범위에 도달할 때까지 반복할 수 있다. 만약 상기의 인식 과정을 통해 상기 객체가 인식되면, 상기 카메라장치(195)는 상기 인식된 아기의 안면 영역을 상기 비디오 데이터 상의 지정된 영역 내에 존재하도록 촬영방향을 제어하고, 상기 아기의 안면 영역의 움직임이나 이동에 반응하여 상기 아기의 안면 영역을 추적하여 상기 비디오 데이터 상의 지정된 영역 내에 존재하도록 상기 카메라모듈의 촬영방향을 제어할 수 있다. 한편 상기 구동모듈을 통해 상기 카메라모듈의 촬영 방향을 제어하거나 상기 객체를 인식하는 과정은 상기 서버를 통해 실행될 수 있으며, 이에 의해 본 발명이 한정되지 아니한다.According to the embodiment of the present invention, the camera device 195 further includes a driving module for driving the photographing direction of the camera module within a specified angular range in up/down/left/right directions, wherein the control module includes the camera A process of recognizing an object corresponding to a baby (or a baby's face) or a cradle or a blanket on which the baby is lying may be attempted by reading video data captured through the module. If the object is not recognized, the control module repeats the process of recognizing the object while the shooting direction of the camera module is spaced apart by a specified angular range in a specified direction through the driving module until the entire angular range is reached can do. If the object is recognized through the recognition process, the camera device 195 controls the photographing direction so that the recognized facial area of the baby exists within a designated area on the video data, and movement of the baby's face area In response to the movement or tracking the facial area of the baby, it is possible to control the photographing direction of the camera module so that it exists within a designated area on the video data. Meanwhile, the process of controlling the shooting direction of the camera module or recognizing the object through the driving module may be executed through the server, and the present invention is not limited thereto.
본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 램프를 통해 지정된 형상이나 영상을 천정이나 벽면에 투영하는 프로젝터부를 더 구비할 수 있으며, 이 경우 상기 제어모듈은 지정된 절차에 따라 상기 프로젝터부의 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 프로젝터부의 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 프로젝터부의 램프를 온/오프 처리할 수 있다. 한편 상기 프로젝터부를 통해 복수의 필름 중 어느 한 필름으로 선택하여 투영할 형상이나 영상을 선택 가능한 경우, 상기 제어모듈은 지정된 절차에 따라 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리할 수 있다. 한편 상기 프로젝터부를 통해 전자적 형상이나 전자적 영상을 투영 가능한 경우, 상기 제어모듈은 지정된 절차에 따라 지정된 저장영역에 저장된 전자적 형상이나 전자적 영상을 추출하여 상기 프로젝터부를 통해 투영할 형상이나 영상으로 처리하거나 및/또는 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 저장된 전자적 형상이나 전자적 영상을 및/또는 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 수신된 전자적 형상이나 전자적 영상을 상기 프로젝터부를 통해 투영할 형상이나 영상으로 처리하거나 및/또는 램프를 온/오프 처리할 수 있다. According to the implementation method of the present invention, the camera device 195 may further include a projector unit for projecting a specified shape or image through a lamp on the ceiling or wall, in this case, the control module is the projector unit according to a specified procedure The lamp may be turned on/off, or the control module may receive control information for turning on/off the lamp of the projector unit from the designated operation server 100 through the communication module, and transmit the control information. Based on this, it is possible to turn on/off the lamp of the projector unit. On the other hand, when a shape or image to be projected by selecting any one of a plurality of films through the projector unit can be selected, the control module selects a film of the projector unit and/or turns on/off the lamp according to a specified procedure. Alternatively, the control module may receive control information for selecting the film of the projector unit and/or turning on/off the lamp from the designated operation server 100 through the communication module, and receiving the control information It is possible to select a film of the projector unit and/or to turn on/off the lamp on the basis. On the other hand, if an electronic shape or an electronic image can be projected through the projector unit, the control module extracts the electronic shape or electronic image stored in a designated storage area according to a specified procedure and processes it as a shape or image to be projected through the projector unit, and/ Alternatively, the lamp may be turned on/off, or the control module receives the electronic shape or electronic image stored from the designated operation server 100 through the communication module and/or control information for turning the lamp on/off and may process the received electronic shape or electronic image as a shape or image to be projected through the projector unit and/or turn on/off the lamp based on the control information.
상기 사용자 무선단말(185)은 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 사용자가 사용하는 무선통신기기의 총칭으로서, 사용자가 사용하는 휴대폰, 스마트폰, 태블릿PC 등의 각종 무선통신기기를 포함할 수 있다. The user wireless terminal 185 is a generic term for a wireless communication device used by a user to receive transmission data including video data captured through the camera device 195, and is a mobile phone, a smartphone, and a tablet PC used by the user. It may include various wireless communication devices, such as.
본 발명의 실시 방법에 따르면, 상기 사용자 무선단말(185)은 운영서버(100)에 지정된 정보를 등록하고, 상기 운영서버(100)로부터 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받기 위해 앱(Application)이 설치 실행된다. 이하, 별도의 언급이 없더라도 상기 사용자 무선단말(185)을 주체 또는 객체로 하여 구현되는 기능의 설명은 상기 앱을 통해 구현되는 기능임을 밝혀두는 바이다.According to the embodiment of the present invention, the user wireless terminal 185 registers information specified in the operation server 100, and includes video data captured from the operation server 100 through the camera device 195 An application is installed and executed to receive transmission data. Hereinafter, even if there is no separate mention, the description of the function implemented by using the user wireless terminal 185 as a subject or object is to clarify that the function is implemented through the app.
상기 운영서버(100)는 지정된 거점에 구비된 카메라장치(195)와 통신하고 지정된 앱을 설치 실행한 사용자 무선단말(185)의 앱과 통신 가능한 서버의 총칭으로서, 상기 카메라장치(195)의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하는 기능, 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 기능 중 적어도 하나의 기능을 수행하며, 본 발명에 따라 상기 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 사용자가 아기에게 대화한 음성이나 문자에 대응하는 대화 문자열을 인식하는 기능, 상기 인식된 대화 문자열에 대한 사용자 대화 의도를 판별하는 기능, 상기 카메라장치(195)를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하는 기능, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 상기 생성된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 사용자 대화 의도에 응답하는 가상객체 데이터를 중첩 표시하여 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 기능 중 적어도 하나의 기능을 수행한다.The operation server 100 is a generic name of a server capable of communicating with the camera device 195 provided at the designated base and communicating with the app of the user wireless terminal 185 that has installed and executed the designated app, and is the camera of the camera device 195 . A function of photographing a specific baby in the base through a module, receiving acquired data including video data encoded in a specified manner, and storing it in a specific storage area of a specified storage medium, and video data stored in a specific storage area of the storage medium It performs at least one of the functions of providing the transmitted data including the transmitted data to the app of the designated user wireless terminal 185 or the IPTV 190, and according to the present invention, the transmitted data is transmitted to the app of the designated user wireless terminal 185 or A function of recognizing a dialogue string corresponding to the voice or text that the user has spoken to the baby through the app or the IPTV 190 of the user wireless terminal 185 while being provided to the IPTV 190, the recognized dialogue string A function of determining the user's conversation intention, a function of generating baby emotional state information for each specified emotional item for the specific baby based on one or more data acquired through the camera device 195, the user wireless terminal 185 Virtual object data responding to the user's conversation intention based on the baby emotional state information for each emotion item created in a designated part in the baby's face area or in the area around the baby's face on designated video data to be provided to the app or IPTV 190 of At least one of the functions of augmenting to respond to the determined user conversation intention by overlapping display is performed.
본 발명의 실시 방법에 따르면, 상기 송신 데이터는 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터 외에, 상기 비디오 데이터와 연계되어 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터, 또는 상기 비디오 데이터를 포함하는 동영상 데이터의 오디오 데이터를 더 포함할 수 있다.According to an embodiment of the present invention, the transmission data includes, in addition to video data stored in a specific storage area of the storage medium, audio data stored in a specific storage area of the storage medium in association with the video data, or the video data It may further include audio data of video data.
도면1을 참조하면, 상기 운영서버(100)는, 상기 카메라장치(195)를 통해 촬영되는 아기에 대한 지정된 감정 항목 별 아기 감정 상태 값을 판별하기 위한 감정상태 판별 정보를 지정된 저장영역에 저장 관리하는 정보 관리부(105)를 포함한다. Referring to FIG. 1 , the operation server 100 stores and manages emotional state determination information for determining a baby emotional state value for each specified emotional item for a baby photographed through the camera device 195 in a designated storage area. and an information management unit 105 that
상기 정보 관리부(105)는 지정된 인공지능 기반의 학습(Learning) 과정을 통해 아기 표정에 대응하는 지정된 감정 항목 별 아기 감정 상태 값을 판별하기 위한 인공지능 기반의 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하거나, 및/또는 지정된 운영단말로부터 패턴 인식 기반의 표정 기반 감정상태 판별 정보를 등록받아 지정된 저장영역에 저장할 수 있다.The information management unit 105 generates artificial intelligence-based expression-based emotional state determination information for determining the baby emotional state value for each designated emotional item corresponding to the baby's expression through a designated artificial intelligence-based learning process. It may be stored in the storage area, and/or receive pattern recognition-based expression-based emotional state determination information from a designated operating terminal and stored in the designated storage area.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 인공지능 기반의 표정 기반 감정상태 판별 정보를 생성하는 경우, 지정된 인공지능 기반의 지도 학습(Supervised Learning) 과정을 통해 아기 표정에 대응하는 지정된 감정 항목 별 아기 감정 상태 값을 판별하기 위한 인공지능 기반의 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장할 수 있다. According to the implementation method of the present invention, when the information management unit 105 generates artificial intelligence-based expression-based emotional state determination information, a designated designated artificial intelligence-based supervised learning process corresponding to the baby's expression Artificial intelligence-based expression-based emotional state determination information for determining the baby emotional state value for each emotion item may be generated and stored in a designated storage area.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 인공지능 기반의 학습 과정을 수행하여, 지정된 E(E≥2)개의 아기 표정 중 지정된 아기 안면 영역에 대응하는 e(1≤e≤E)개의 아기 표정을 판별하고, 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목을 기반으로 상기 판별된 e개의 아기 표정과 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별하고, 상기 확인된 e개의 아기 표정과 n1개의 아기 감정 항목 간 상관도에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 인공지능 기반의 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장할 수 있다. According to the implementation method of the present invention, the information management unit 105 performs a specified AI-based learning process, and e(1≤e≤e) corresponding to the specified baby facial region among the specified E (E≥2) baby expressions. E) Determining the baby expressions, and based on the N1 (1≤N1≤N) baby emotion items that can be distinguished through the baby expression among the designated N (N≥2) baby emotion items, the e number of baby expressions and Determine n1 (1≤n1≤N1) baby emotion items having a matching relationship, and determine the baby emotional state value for each n1 emotion item corresponding to the correlation between the identified e baby expressions and n1 baby emotion items It is possible to generate facial expression-based emotional state determination information based on artificial intelligence for the purpose of doing so and store it in a designated storage area.
본 발명의 실시 방법에 따르면, 상기 N개의 아기 감정 항목은 '기쁨(喜)', '노여움(怒)', '슬픔(哀)', '즐거움(樂)', '사랑(愛)', '미움(惡)', '욕심(欲)' 등의 기본 감정 중에서 사회화가 진행되지 않거나 성인보다 덜 진행된 아기라도 느낄 수 있는 하나 이상의 감정(예컨대, '기쁨', '노여움', '슬픔', '즐거움' 등)에 대응하는 감정 항목을 포함할 수 있으며, 상기 기본 감정 외에 아기가 느낄 수 있는 다양한 감정(예컨대, '짜증', '외로움', '답답함', '불쾌', '두려움' 등)에 대한 감정 항목을 더 포함하거나 및/또는 상기 기본 감정 중 적어도 하나를 아기의 상황에 맞게 구체화한 감정(예컨대, '욕심' 중 수면욕에 해당하는 '졸림'이나 식욕에 해당하는 '배고픔' 등)에 대응하는 감정 항목을 더 포함할 수 있다. According to the embodiment of the present invention, the N baby emotion items are 'joy (喜)', 'anger (怒)', 'sad (哀)', 'pleasure (樂)', 'love (愛)', Among the basic emotions such as 'hate' and 'lust', one or more emotions (e.g., 'joy', 'anger', 'sadness', It may include an emotional item corresponding to 'pleasure', etc.), and in addition to the basic emotions, various emotions that the baby may feel (eg, 'irritability', 'loneliness', 'stupid', 'displeasure', 'fear', etc.) ), and/or an emotion in which at least one of the basic emotions is embodied according to the baby's situation (e.g., among 'greed', 'drowsiness' corresponding to sleep desire or 'hunger' corresponding to appetite, etc.) ) may further include an emotion item corresponding to the.
한편 상기 인공지능 기반의 표정 기반 감정상태 판별 정보를 생성하는 일 실시예에 따르면, 상기 정보 관리부(105)는 지정된 데이터베이스나 운영단말로부터 지정된 E(E≥2)개의 아기 표정 중 지정된 e(1≤e≤E)개의 아기 표정에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 안면 영역을 포함하는 장면에 대응하는 복수의 비디오 정보를 포함하는 빅 데이터를 입력받고, 상기 입력된 복수의 비디오 정보에 대한 n1(1≤n1≤N1)개의 감정 항목 별 아기 감정 상태 값을 출력변수(Labels)로 설정한 후, 지정된 절차에 따라 상기 입력된 복수의 비디오 정보들에 포함된 아기 안면 영역의 지정된 특징점 간 기하학 관계를 판독하고 패턴 인식하여 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값에 대응하는 P(P≥2)개의 장면 패턴 특성 정보를 추출하고, 상기 추출된 P개의 장면 패턴 특성 정보를 입력변수(Feature Vectors)로 설정하고 지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 아기 안면 영역을 포함하는 복수의 장면들 중 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 인공지능 기반의 표정 기반 감정상태 판별 정보를 생성할 수 있다. 한편 상기 출력변수는 상기 비디오 정보에 포함된 상기 아기 안면 영역에 대응하는 e개의 아기 표정 정보와, 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 아기 감정 항목 정보 중 적어도 하나의 정보를 더 포함할 수 있다. Meanwhile, according to an embodiment of generating the artificial intelligence-based expression-based emotional state determination information, the information management unit 105 may include a specified e(1≤2) among E(E≥2) baby expressions specified from a specified database or operating terminal. The facial area of the baby with the specified correlation with N1 (1≤N1≤N) baby emotion items that can be distinguished through the baby expression among the N (N≥2) specified baby emotion items corresponding to e≤E) baby expressions. Receive big data including a plurality of video information corresponding to the scene including the input, and output variable (Labels) the baby emotional state value for each n1 (1≤n1≤N1) emotion items for the inputted plurality of video information After setting to , according to a specified procedure, geometrical relationships between specified feature points of the baby's facial area included in the input plurality of video information are read and pattern recognized, and n1 emotion items corresponding to the baby's facial expression in the baby's facial area are identified. P(P≥2) pieces of scene pattern characteristic information corresponding to the baby's emotional state value are extracted, the extracted P pieces of scene pattern characteristic information are set as input variables (Feature Vectors), and more than a specified number of Expression-based emotion based on artificial intelligence for learning the input variable and the output variable to determine the baby emotional state value for each n1 emotion item corresponding to the baby expression in the baby face area among a plurality of scenes including the baby face area Status determination information can be generated. Meanwhile, the output variable may further include at least one of e pieces of baby expression information corresponding to the baby facial region included in the video information and n1 pieces of baby emotion item information corresponding to the baby expression of the baby face area. can
또는, 상기 정보 관리부(105)는 지정된 데이터베이스나 운영단말로부터 지정된 E(E≥2)개의 아기 표정 중 지정된 e(1≤e≤E)개의 아기 표정에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 안면 영역을 포함하는 장면에 대응하는 복수의 비디오 정보들을 지정된 절차에 따라 판독하고 패턴 인식하여 상기 아기 안면 영역의 아기 표정에 대응하는 n1(1≤n1≤N1)개의 감정 항목 별 아기 감정 상태 값의 패턴 특성으로 추출된 P(P≥2)개의 장면 패턴 특성 정보를 포함하는 빅 데이터를 입력변수(Feature Vectors)로 입력받고, 상기 P개의 장면 패턴 특성 정보가 추출된 비디오 정보에 대한 n1개의 감정 항목 별 아기 감정 상태 값을 출력변수(Labels)로 설정한 후, 지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 아기 안면 영역을 포함하는 복수의 장면들 중 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 인공지능 기반의 표정 기반 감정상태 판별 정보를 생성할 수 있다. 한편 상기 출력변수는 상기 비디오 정보에 포함된 상기 아기 안면 영역에 대응하는 e개의 아기 표정 정보와, 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 아기 감정 항목 정보 중 적어도 하나의 정보를 더 포함할 수 있다. Alternatively, the information management unit 105 may be configured to correspond to the specified e(1≤e≤E) baby expressions among E(E≥2) baby expressions specified from a specified database or operating terminal, and N(N≥2) specified babies Among the emotion items, a plurality of video information corresponding to a scene including N1 (1≤N1≤N) baby emotion items that can be distinguished through a baby's expression and a baby's facial area with a specified correlation are read according to a specified procedure and pattern recognition big data including P (P≥2) scene pattern characteristic information extracted as pattern characteristics of baby emotional state values for each n1 (1≤n1≤N1) emotion items corresponding to the baby's facial expression in the baby's facial area After receiving as input variables (Feature Vectors) and setting the baby emotional state values for each n1 emotion item for the video information from which the P scene pattern characteristic information is extracted, as output variables (Labels), through the designated artificial intelligence algorithm An artificial intelligence-based method for determining the baby emotional state value for each n1 emotion item corresponding to the baby expression in the baby's facial area among a plurality of scenes including the baby's facial area by learning more than a specified number of the input and output variables Expression-based emotional state determination information may be generated. Meanwhile, the output variable may further include at least one of e pieces of baby expression information corresponding to the baby facial region included in the video information and n1 pieces of baby emotion item information corresponding to the baby expression of the baby face area. can
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 패턴 인식 기반의 표정 기반 감정상태 판별 정보를 생성하는 경우, 상기 정보 관리부(105)는 아기의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 아기 표정 패턴 정보와 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장한다. According to the implementation method of the present invention, when the information management unit 105 generates the expression-based emotional state determination information based on pattern recognition, the information management unit 105 is F (F≥2) present in the baby's facial region. E(E≥2) baby expression pattern information corresponding to the geometric relationship between the keypoints related to the baby's emotional expression among the ten feature points and N1( Expression-based emotion including matching relationship information between 1≤N1≤N) baby emotion items and quantifying the correlation between the E baby expression pattern information and N1 baby emotion items. Register and save the status determination information in the designated operation D/B.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 아기의 안면 영역에 존재하는 F개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E개의 아기 표정 패턴 정보를 등록받고, 상기 E개의 아기 표정 패턴 정보를 지정된 N개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1개의 아기 감정 항목과 매칭하는 매칭 관계정보를 등록받고, 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목을 행 또는 열의 타이틀로 포함하며 상기 표정 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀(Cell)의 정보로 포함하는 테이블 형태의 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장할 수 있다. According to the implementation method of the present invention, the information management unit 105 receives E pieces of baby expression pattern information corresponding to the geometric relationship between the feature points related to the emotional expression of the baby among F feature points existing in the baby's facial area from the designated operation terminal. registration, matching relationship information matching the E pieces of baby expression pattern information with N1 baby emotion items that can be distinguished based on baby expression patterns among the designated N baby emotion items, and the E pieces of baby expression pattern information and N1 Expression-based correlation, which quantifies the correlation between baby emotional items, can be registered and stored in a designated operation D/B by registering numerical relationship information. For example, the information management unit 105 includes the E baby expression pattern information and N1 baby emotion items as row or column titles, and stores the expression-based correlation numerical relationship information into a cell corresponding to each row or column. It is possible to register and store the expression-based emotional state determination information in the form of a table included as the information of the designated operation D/B.
본 발명의 일 실시 방법에 따르면, 상기 E개의 아기 표정 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 표정 패턴에 대응하는 각 특징점 간 기하학 관계 정보를 포함할 수 있다. 바람직하게, 상기 특징점 간 기하학 관계는 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함할 수 있다. 예를들어, 상기 특징점 간 기하학 관계 정보는 지정된 기준 특징점 간 거리 수치를 기준으로 하는 각 특징점 간 거리 수치, 각 특징점 간 각도 수치, 각 특징점 간 거리 수치와 각도 수치의 조합 중 하나 이상의 수치를 포함할 수 있다. According to an embodiment of the present invention, the E pieces of baby expression pattern information may include geometric relationship information between each feature point corresponding to each baby expression pattern associated with the baby's emotional expression. Preferably, the geometric relationship between the feature points may include at least one of a distance relationship between each feature point, an angular relationship between each feature point, and a combination relationship between a distance relationship between each feature point and an angular relationship. For example, the geometric relationship information between the feature points may include at least one of a distance value between each feature point based on a specified reference feature point distance value, an angle value between each feature point, and a combination of a distance value between each feature point and an angle value. can
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 E개의 아기 표정 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 표정 패턴에 대응하는 각 특징점 간 기하학 관계의 범위 정보를 포함할 수 있다. 바람직하게, 상기 특징점 간 기하학 관계는 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함할 수 있다. 예를들어, 상기 특징점 간 기하학 관계의 범위 정보는 지정된 기준 특징점 간 거리 수치를 기준으로 하는 각 특징점 간 거리 수치 범위, 각 특징점 간 각도 수치 범위, 각 특징점 간 거리 수치 범위와 각도 수치 범위의 조합 중 하나 이상의 수치 범위를 포함할 수 있다. Meanwhile, according to another embodiment of the present invention, the E pieces of baby expression pattern information may include range information of a geometric relationship between each feature point corresponding to each baby expression pattern associated with the baby's emotional expression. Preferably, the geometric relationship between the feature points may include at least one of a distance relationship between each feature point, an angular relationship between each feature point, and a combination relationship between a distance relationship between each feature point and an angular relationship. For example, the range information of the geometric relationship between the feature points may include a numerical range of distances between each feature points based on a specified reference numerical distance between feature points, a numerical range of angles between each feature, and a combination of a numerical range of distances between feature points and an angular numerical range It may include more than one numerical range.
본 발명의 일 실시 방법에 따르면, 상기 표정 기반 상관도 수치 관계정보는 아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 표정 기반 상관도 수치 관계정보는 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to an embodiment of the present invention, the expression-based correlation numerical relationship information is a correlation value calculated through a relational expression proportional to the matching ratio between the baby expression recognition information that recognizes the baby's expression and the registered baby expression pattern information. may contain information. For example, the expression-based correlation numerical relationship information may be calculated as smaller numerical information as the matching ratio between the baby expression recognition information and the registered baby expression pattern information is smaller, and the larger the matching ratio is, the larger the numerical information is calculated. can be
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 표정 기반 상관도 수치 관계정보는 아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 표정 기반 상관도 수치 관계정보는 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. On the other hand, according to another embodiment of the present invention, the facial expression-based correlation numerical relationship information is the correlation numerical information for each matching ratio section between the baby expression recognition information that recognizes the baby's expression and the registered baby expression pattern information. may include For example, the expression-based correlation numerical relationship information can be calculated as '0' or numerical information of a specified minimum value when the matching ratio between the baby expression recognition information and the registered baby expression pattern information is a preset minimum ratio section, , when the matching ratio is a preset maximum ratio section, it may be calculated as numerical information of a specified maximum value.
한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 표정 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(155)를 통해 지정된 아기 표정 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 아기 표정 인식 정보가 인식된 후에 상기 카메라장치(195)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 아기의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 아기의 보호자가 아기에게 발화하는 음성 중 아기 감정 인지와 관련된 음성(예컨대, '우리 애기 배고프구나', '우리 애기 똥 ?奐립?', '우리 애기 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 아기 표정 인식 정보가 인식된 후에 보호자의 아기 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 아기 표정 인식 정보를 패턴화함과 동시에 상기 아기 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 아기 감정 항목을 식별하고, 상기 인식된 아기 표정 인식 정보를 패턴화한 아기 표정 패턴 정보와 상기 식별된 음성 인식 기반의 아기 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 표정 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.Meanwhile, according to the implementation method of the present invention, after the expression-based emotional state determination information is registered and stored in the operation D/B through a designated operation terminal, when the designated baby expression recognition information is recognized through the following information recognition unit 155 , the information management unit 105 reads video data received from the camera device 195 and stored in a specific storage area of a designated storage medium after the baby expression recognition information is recognized to recognize an object corresponding to the baby's guardian At the same time, by reading the audio data linked with the video data, the voice related to the baby's emotional recognition among the voices uttered by the baby's guardian to the baby (eg, 'My baby is hungry', 'My baby's poop?', 'My baby is sleepy', etc.) can be performed. If the baby's expression recognition information is recognized and then the parent's voice related to the baby's emotion recognition is recognized, the information management unit 105 patterns the recognized baby's expression recognition information and responds to the baby's emotion recognition related voice at the same time. By repeating the process of identifying a baby emotion item based on voice recognition, and learning a combination of the baby expression pattern information patterned with the recognized baby expression recognition information and the identified voice recognition-based baby emotion item, the expression-based Big data-based accuracy and reliability of emotional state identification information can be continuously improved.
한편 본 발명의 확장 실시예에 따르면, 상기 정보 관리부(105)는 상기 표정 기반 감정상태 판별 정보 외에 상기 카메라장치(195)의 사운드 입력부를 통해 획득된 오디오 데이터를 근거로 아기 울음소리를 인식하여 아기의 감정 상태를 판별하기 위한 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장하거나, 및/또는 상기 카메라장치(195)에 아기의 감정 표현과 연관된 지정된 센싱 대상을 센싱하는 센서모듈이 구비되거나 연계되고 상기 카메라장치(195)로부터 상기 센서모듈을 통해 아기의 지정된 센싱 대상을 센싱하여 획득된 센싱 데이터가 수신되는 경우 상기 센싱 데이터를 이용하여 아기의 감정 상태를 판별하기 위한 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. Meanwhile, according to an extended embodiment of the present invention, the information management unit 105 recognizes a baby cry based on the audio data obtained through the sound input unit of the camera device 195 in addition to the expression-based emotional state determination information. A sensor module for registering and storing cry-based emotional state determination information for determining the emotional state of the operation D/B, and/or sensing a designated sensing target related to the emotional expression of the baby in the camera device 195 is provided Sensing-based emotional state determination for determining the baby's emotional state using the sensing data when sensing data obtained by sensing a designated sensing target of the baby is received from the camera device 195 through the sensor module Information can be registered and stored in operation D/B.
한편 본 발명의 다른 실시예에 따르면, 상기 정보 관리부(105)는 상기 표정 기반 감정상태 판별 정보를 대신(또는 대체)하여 상기 울음소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. 이하, 편의 상 표정 기반 감정상태 판별 정보를 기본 감정상태 판별 정보로 이용하고 상기 울음소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보를 부 감정상태 판별 정보로 이용하는 실시예를 통해 본 발명의 특징을 설명할 것이나, 본 발명의 기술적 특징이 이에 한정되는 것은 아니며, 본 발명의 실시예와 청구범위의 기재에 따라 상기 울음소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보도 기본 감정상태 판별 정보로 이용될 수 있음을 명백하게 밝혀두는 바이다.Meanwhile, according to another embodiment of the present invention, the information management unit 105 operates the cry-based emotional state determination information and/or sensing-based emotional state determination information instead of (or replaces) the expression-based emotional state determination information. It can be registered and stored in D/B, and the present invention is not limited thereto. Hereinafter, for convenience, the present invention through an embodiment in which expression-based emotional state determination information is used as basic emotional state determination information and the cry-based emotional state determination information and/or sensing-based emotional state determination information is used as secondary emotional state determination information will be described, but the technical features of the present invention are not limited thereto, and the cry-based emotional state determination information and/or sensing-based emotional state determination information is also basic according to the embodiments of the present invention and the description of the claims. It is clearly stated that it can be used as emotional state identification information.
본 발명의 확장/다른 실시예에 따르면, 상기 정보 관리부(105)는 지정된 인공지능 기반의 학습(Learning) 과정을 통해 아기 울음소리에 대응하는 지정된 감정 항목 별 아기 감정 상태 값을 판별하기 위한 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하거나, 및/또는 지정된 운영단말로부터 패턴 인식 기반의 울음소리 기반 감정상태 판별 정보를 등록받아 지정된 저장영역에 저장할 수 있다.According to an extension/other embodiment of the present invention, the information management unit 105 is artificial intelligence for determining the baby emotional state value for each designated emotional item corresponding to the baby cry through a designated artificial intelligence-based learning process. Cry-based emotional state determination information may be generated and stored in a designated storage area, and/or pattern recognition-based cry-based emotional state determination information may be registered from a designated operating terminal and stored in a designated storage area.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 생성하는 경우, 지정된 인공지능 기반의 지도 학습(Supervised Learning) 과정을 통해 아기 울음소리에 대응하는 지정된 감정 항목 별 아기 감정 상태 값을 판별하기 위한 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장할 수 있다. According to the implementation method of the present invention, when the information management unit 105 generates artificial intelligence-based cry-based emotional state determination information, it responds to a baby cry through a designated artificial intelligence-based supervised learning process. Artificial intelligence-based cry-based emotional state determination information for determining the baby emotional state value for each specified emotional item can be generated and stored in a designated storage area.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 인공지능 기반의 학습 과정을 수행하여, 지정된 C(C≥2)개의 아기 울음소리 중 지정된 c(1≤c≤C)개의 아기 울음소리를 판별하고, 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목을 기반으로 상기 판별된 c개의 아기 울음소리와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 아기 감정 항목을 판별하고, 상기 확인된 c개의 아기 울음소리와 n2개의 아기 감정 항목 간 상관도에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장할 수 있다. According to the implementation method of the present invention, the information management unit 105 performs a designated AI-based learning process, and c(1≤c≤C) baby cries among the designated C (C≥2) baby cries. The sound is determined, and the matching relationship with the c baby cry sounds determined above based on N2 (1≤N2≤N) baby emotion items that can be distinguished through baby cry among the specified N (N≥2) baby emotion items To determine n2 (1≤n2≤N2) baby emotion items with For artificial intelligence-based cry-based emotional state determination information can be created and stored in a designated storage area.
한편 상기 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 생성하는 일 실시예에 따르면, 상기 정보 관리부(105)는 지정된 데이터베이스나 운영단말로부터 지정된 C(C≥2)개의 아기 울음소리 중 지정된 c(1≤c≤C)개의 아기 울음소리에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 울음에 대응하는 복수의 오디오 정보를 포함하는 빅 데이터를 입력받고, 상기 입력된 복수의 오디오 정보에 대한 n2(1≤n2≤N2)개의 감정 항목 별 아기 감정 상태 값을 출력변수(Labels)로 설정한 후, 지정된 절차에 따라 상기 입력된 복수의 오디오 정보들을 판독하고 패턴 인식하여 상기 아기 울음소리에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값에 대응하는 P(P≥2)개의 장면 패턴 특성 정보를 추출하고, 상기 추출된 P개의 장면 패턴 특성 정보를 입력변수(Feature Vectors)로 설정하고 지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 지정된 오디오 데이터에 포함된 아기 울음소리에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 생성할 수 있다. 한편 상기 출력변수는 상기 오디오 정보에 포함된 상기 아기 울음에 대응하는 c개의 아기 울음소리 정보와, 상기 아기 울음소리에 대응하는 n2개의 아기 감정 항목 정보 중 적어도 하나의 정보를 더 포함할 수 있다. On the other hand, according to an embodiment of generating the artificial intelligence-based cry-based emotional state determination information, the information management unit 105 is a designated c (C ≥ 2) among C (C≥2) baby cries designated from a designated database or operating terminal. Corresponding to 1≤c≤C) baby crying sounds, it has a specified correlation with N2 (1≤N2≤N) baby emotion items that can be distinguished through baby cry among the designated N(N≥2) baby emotion items. Receives big data including a plurality of audio information corresponding to a baby's cry, and sets the baby emotional state value for each n2 (1≤n2≤N2) emotion items for the inputted plurality of audio information as output variables (Labels) After setting, according to a specified procedure, the plurality of input audio information is read and pattern recognized, and P (P≥2) scene pattern characteristics corresponding to the baby emotional state value for each n2 emotional items corresponding to the baby crying sound Extract information, set the extracted P scene pattern characteristic information as input variables (Feature Vectors), and learn more than a specified number of input and output variables through a specified artificial intelligence algorithm to learn baby cries included in the specified audio data It is possible to generate artificial intelligence-based cry-based emotional state determination information for determining the baby emotional state value for each n2 emotional items corresponding to the sound. Meanwhile, the output variable may further include at least one of c pieces of baby cry information corresponding to the baby crying and n2 pieces of baby emotion item information corresponding to the baby cry included in the audio information.
또는, 상기 정보 관리부(105)는 지정된 데이터베이스나 운영단말로부터 지정된 C(C≥2)개의 아기 울음소리 중 지정된 c(1≤c≤C)개의 아기 울음소리에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 울음에 대응하는 복수의 오디오 정보들을 지정된 절차에 따라 판독하고 패턴 인식하여 상기 아기 울음소리에 대응하는 n2(1≤n2≤N2)개의 감정 항목 별 아기 감정 상태 값의 패턴 특성으로 추출된 P(P≥2)개의 장면 패턴 특성 정보를 포함하는 빅 데이터를 입력변수(Feature Vectors)로 입력받고, 상기 P개의 장면 패턴 특성 정보가 추출된 오디오 정보에 대한 n2개의 감정 항목 별 아기 감정 상태 값을 출력변수(Labels)로 설정한 후, 지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 지정된 오디오 데이터에 포함된 아기 울음소리에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 생성할 수 있다. 한편 상기 출력변수는 상기 오디오 정보에 포함된 상기 아기 울음에 대응하는 c개의 아기 울음소리 정보와, 상기 아기 울음소리에 대응하는 n2개의 아기 감정 항목 정보 중 적어도 하나의 정보를 더 포함할 수 있다. Alternatively, the information management unit 105 corresponds to the specified c (1≤c≤C) baby cries among the C (C≥2) specified baby cries from the specified database or operating terminal, and the designated N (N≥2) Among the baby emotion items, N2 (1≤N2≤N) baby emotion items that can be distinguished through the cry of a baby and a plurality of audio information corresponding to a baby crying with a specified correlation are read according to a specified procedure and pattern recognized Big data containing P(P≥2) scene pattern characteristic information extracted as pattern characteristics of baby emotional state values for each n2 (1≤n2≤N2) emotion items corresponding to the baby’s cry is used as input variables (Feature Vectors). ) and set the baby emotional state values for each n2 emotion items for the audio information from which the P scene pattern characteristic information is extracted as output variables (Labels), and then input more than a specified number through a specified artificial intelligence algorithm. By learning the variable and the output variable, it is possible to generate artificial intelligence-based cry-based emotional state determination information for determining the baby emotional state value for each n2 emotional items corresponding to the baby cry included in the specified audio data. Meanwhile, the output variable may further include at least one of c pieces of baby cry information corresponding to the baby crying and n2 pieces of baby emotion item information corresponding to the baby cry included in the audio information.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 패턴 인식 기반의 울음소리 기반 감정상태 판별 정보를 생성하는 경우, 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C(C≥2)개의 아기 울음소리 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 포함하는 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to the implementation method of the present invention, when the information management unit 105 generates pattern recognition-based cry-based emotional state determination information, C (C≥2) pieces of information related to the baby's emotional expression among the baby's cry patterns It includes matching relationship information between baby cry pattern information and N2 (1≤N2≤N) baby emotion items that can be distinguished based on a baby cry pattern among N designated baby emotion items, and the C baby cry pattern information It is possible to register and store cry-based emotional state identification information including numerical relationship information on the cry-based correlation level, which quantifies the correlation between the and N2 baby emotion items, in the operation D/B.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C개의 아기 울음소리 패턴 정보를 등록받고, 상기 C개의 아기 울음소리 패턴 정보를 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2개의 아기 감정 항목과 매칭하는 매칭 관계정보를 등록받고, 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목를 행 또는 열의 타이틀로 포함하며 상기 울음소리 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀의 정보로 포함하는 테이블 형태의 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다According to the implementation method of the present invention, the information management unit 105 registers C pieces of baby cry pattern information related to the emotional expression of a baby among baby cry patterns from a designated operating terminal, and the C pieces of baby cry pattern information to register matching relationship information matching N2 baby emotion items that can be distinguished based on baby cry patterns among the N designated baby emotion items, and calculate the correlation between the C baby cry pattern information and N2 baby emotion items. Numericalized cry-based correlation can also be registered and stored in a designated operation D/B by receiving numerical relationship information. For example, the information management unit 105 includes C baby cry pattern information and N2 baby emotion items as row or column titles, and converts the cry based correlation numerical relationship information into cell information corresponding to each row or column. It is possible to register and store cry-based emotional state determination information in the operation D/B in the form of a table including
본 발명의 일 실시 방법에 따르면, 상기 C개의 아기 울음소리 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 울음소리 패턴을 구성하는 울음소리 특징 정보를 포함할 수 있다. 바람직하게, 상기 울음소리 특징은 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함할 수 있다. According to an embodiment of the present invention, the C pieces of baby cry pattern information may include cry feature information constituting each baby cry pattern related to the emotional expression of the baby. Preferably, the cry characteristics include a frequency band characteristic, an arrangement relational characteristic of a frequency band characteristic, a periodicity characteristic of a frequency band characteristic, a sound intensity characteristic, an arrangement relational characteristic of a sound intensity characteristic, a periodicity characteristic of a sound intensity characteristic, a frequency band characteristic, and It may include one or more characteristics of a combination characteristic of a sound intensity characteristic, a characteristic of an arrangement relationship between a frequency band characteristic and a sound intensity characteristic, and a periodicity characteristic of a frequency band characteristic and a sound intensity characteristic.
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 C개의 아기 울음소리 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 울음소리 패턴을 구성하는 울음소리 특징의 범위 정보를 포함할 수 있다. 바람직하게, 상기 울음소리 특징은 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함할 수 있다. 예를들어, 상기 울음소리 특징의 범위 정보는 각 특징 별 주파수 대역의 허용 범위 및/또는 각 특징 별 소리 강도의 허용 범위를 포함할 수 있다. Meanwhile, according to another embodiment of the present invention, the C pieces of baby cry pattern information may include information on the range of cry characteristics constituting each baby cry pattern related to the emotional expression of the baby. Preferably, the cry characteristics include a frequency band characteristic, an arrangement relational characteristic of a frequency band characteristic, a periodicity characteristic of a frequency band characteristic, a sound intensity characteristic, an arrangement relational characteristic of a sound intensity characteristic, a periodicity characteristic of a sound intensity characteristic, a frequency band characteristic, and It may include one or more characteristics of a combination characteristic of a sound intensity characteristic, a characteristic of an arrangement relationship between a frequency band characteristic and a sound intensity characteristic, and a periodicity characteristic of a frequency band characteristic and a sound intensity characteristic. For example, the range information of the crying sound feature may include an allowable range of a frequency band for each feature and/or an allowable range of a sound intensity for each feature.
본 발명의 일 실시 방법에 따르면, 상기 울음소리 기반 상관도 수치 관계정보는 아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 울음소리 기반 상관도 수치 관계정보는 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to an embodiment of the present invention, the cries-based correlation numerical relationship information is calculated through a relational expression proportional to the matching ratio between the baby cry recognition information that recognizes the baby's cry and the registered baby cry pattern information. The correlation may also include numerical information. For example, the cry-based correlation numerical relationship information may be calculated as smaller numerical information as the matching ratio between the baby cry recognition information and the registered baby cry pattern information is smaller, and the larger the matching ratio is, the larger the numerical relationship information. information can be calculated.
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 울음소리 기반 상관도 수치 관계정보는 아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 울음소리 기반 상관도 수치 관계정보는 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. On the other hand, according to another embodiment of the present invention, the correlation information based on the cry is the correlation between each matching ratio section between the baby cry recognition information that recognizes the baby's cry and the registered baby cry pattern information. It may also include numerical information. For example, the cry-based correlation numerical relationship information is calculated as '0' or numerical information of a specified minimum value when the matching ratio between the baby cry recognition information and the registered baby cry pattern information is a preset minimum ratio section may be, and when the matching ratio is a preset maximum ratio section, it may be calculated as numerical information of a designated maximum value.
한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 울음소리 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(155)를 통해 지정된 아기 울음소리 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 아기 울음소리 인식 정보가 인식된 후에 상기 카메라장치(195)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 아기의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 아기의 보호자가 아기에게 발화하는 음성 중 아기 감정 인지와 관련된 음성(예컨대, '우리 애기 배고프구나', '우리 애기 똥 ?奐립?', '우리 애기 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 아기 울음소리 인식 정보가 인식된 후에 보호자의 아기 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 아기 울음소리 인식 정보를 패턴화함과 동시에 상기 아기 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 아기 감정 항목을 식별하고, 상기 인식된 아기 울음소리 인식 정보를 패턴화한 아기 울음소리 패턴 정보와 상기 식별된 음성 인식 기반의 아기 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 울음소리 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.Meanwhile, according to the implementation method of the present invention, after the cry-based emotional state determination information is registered and stored in the operation D/B through a designated operation terminal, the designated baby cry recognition information is recognized through the following information recognition unit 155 In this case, the information management unit 105 reads the video data received from the camera device 195 and stored in a specific storage area of a designated storage medium after the baby cry recognition information is recognized to correspond to the baby's guardian. At the same time as an object is recognized, audio data linked with the video data is read, and among the voices uttered by the baby's guardian to the baby, the voices related to the baby's emotional recognition (eg, 'our baby is hungry', 'our baby poop? ?', 'My baby is sleepy', etc.) can be performed. If the voice related to the baby emotion recognition of the guardian is recognized after the baby cry recognition information is recognized, the information management unit 105 patterns the recognized baby cry recognition information and the voice related to the baby emotion recognition Repeat the process of identifying the baby emotion item corresponding to the voice recognition and learning the combination of the baby cry pattern information obtained by patterning the recognized baby cry recognition information and the identified voice recognition-based baby emotion item By doing so, it is possible to continuously improve the big data-based accuracy and reliability of the cry-based emotional state determination information.
한편 본 발명의 확장/다른 실시예에 따르면, 상기 정보 관리부(105)는 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다.Meanwhile, according to an extension/another embodiment of the present invention, the information management unit 105 senses a designated sensing target associated with the emotional expression of a baby among sensing data sensed through a sensor module provided in or linked to the camera device 195 . Matching relationship between S (S≥2) sensing value pattern information for data and N3 (1≤N3≤N) baby emotion items that can be distinguished based on the sensing value pattern of the specified sensing target among the N specified baby emotion items It is possible to register and store sensing-based emotional state determination information including sensing-based correlation numerical relationship information, which includes information and quantifies the correlation between the S sensed value pattern information and N3 baby emotion items, in the operation D/B.
본 발명의 실시 방법에 따르면, 상기 센서모듈은 아기의 신체에 착용하여 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈, 지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈 중 적어도 하나의 센서모듈을 포함할 수 있으며, 상기 지정된 센싱 대상은 아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함할 수 있다.According to the embodiment of the present invention, the sensor module is a wearable sensor module that is worn on a baby's body and senses a designated sensing target, and a radar sensor module that senses a designated sensing target of the baby using a designated electromagnetic wave. may include at least one sensor module among, and the designated sensing target may include at least one of a baby's heartbeat, a baby's body temperature, a baby's ambient humidity, and whether the baby is apnea.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S개의 센싱 값 패턴 정보를 등록받고, 상기 S개의 센싱 값 패턴 정보를 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3개의 아기 감정 항목 사이의 매칭 관계정보를 등록받고, 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목을 행 또는 열의 타이틀로 포함하며 센싱 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀의 정보로 포함하는 테이블 형태의 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to the embodiment of the present invention, the information management unit 105 senses a specified sensing target associated with the emotional expression of a baby among sensing data sensed through a sensor module provided in or linked to the camera device 195 from a specified operating terminal. Matching relationship information between N3 baby emotion items, which registers S sensed value pattern information for data, and distinguishes the S sensed value pattern information based on the sensing value pattern of a designated sensing target among the N designated baby emotion items can be registered, the sensing-based correlation numerical relationship information obtained by quantifying the correlation between the S sensed value pattern information and the N3 baby emotion items can be registered and stored in a designated operation D/B. For example, the information management unit 105 includes the S sensed value pattern information and N3 baby emotion items as row or column titles, and includes sensing-based correlation numerical relationship information as cell information corresponding to each row or column. It is possible to register and store sensing-based emotional state determination information in the operation D/B in the form of a table.
본 발명의 일 실시 방법에 따르면, 상기 S개의 센싱 값 패턴 정보는 아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징 정보를 포함할 수 있다. 바람직하게, 상기 센싱 값 특징은 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. According to an embodiment of the present invention, the S sensing value pattern information may include sensing value characteristic information constituting each sensing value pattern for sensing data of a designated sensing target related to the emotional expression of a baby. Preferably, the sensed value characteristic may include at least one or a combination of two or more of a change rule characteristic of a sensed value, a characteristic of a change amount of a sensed value, a characteristic of a change rate of a sensed value, and a characteristic of a periodicity of a change of a sensed value.
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 S개의 센싱 값 패턴 정보는 아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징의 범위 정보를 포함할 수 있다. 바람직하게, 상기 센싱 값 특징은 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 예를들어, 상기 센싱 값 특징의 범위 정보는 각 특징 별 변화 규칙의 허용 범위, 각 특징 별 센싱 값 변화량의 허용 범위, 각 특징 별 센싱 값 변화율의 허용 범위를 포함할 수 있다. Meanwhile, according to another embodiment of the present invention, the S sensed value pattern information includes range information of sensing value features constituting each sensing value pattern for sensing data of a designated sensing target related to the emotional expression of the baby. can Preferably, the sensed value characteristic may include at least one or a combination of two or more of a change rule characteristic of a sensed value, a characteristic of a change amount of a sensed value, a characteristic of a change rate of a sensed value, and a characteristic of a periodicity of a change of a sensed value. For example, the range information of the sensing value feature may include an allowable range of a change rule for each feature, an allowable range of a change amount of a sensing value for each feature, and an allowable range of a sensing value change rate for each feature.
본 발명의 일 실시 방법에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 센싱 기반 상관도 수치 관계정보는 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to an embodiment of the present invention, the sensing-based correlation numerical relationship information is calculated through a relational expression proportional to a matching ratio between sensing value recognition information recognized through sensing data of a specified sensing target and pre-registered sensing value pattern information The correlation may also include numerical information. For example, the sensing-based correlation numerical relationship information may be calculated as small numerical information as the matching ratio between the sensing value recognition information and the previously registered sensing value pattern information is smaller, and the larger the matching ratio is, the larger the numerical information is calculated. can be
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 센싱 기반 상관도 수치 관계정보는 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. Meanwhile, according to another embodiment of the present invention, the sensing-based correlation numerical relationship information is a correlation for each matching ratio section between sensing value recognition information recognized through sensing data of a specified sensing target and pre-registered sensing value pattern information. It may also include numerical information. For example, the sensing-based correlation numerical relationship information may be calculated as '0' or numerical information of a specified minimum value when the matching ratio between the sensing value recognition information and the registered sensing value pattern information is a preset minimum ratio section, , when the matching ratio is a preset maximum ratio section, it may be calculated as numerical information of a specified maximum value.
한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 센싱 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(155)를 통해 지정된 센싱 값 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 센싱 값 인식 정보가 인식된 후에 상기 카메라장치(195)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 아기의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 아기의 보호자가 아기에게 발화하는 음성 중 아기 감정 인지와 관련된 음성(예컨대, '우리 애기 배고프구나', '우리 애기 똥 ?奐립?', '우리 애기 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 센싱 값 인식 정보가 인식된 후에 보호자의 아기 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 센싱 값 인식 정보를 패턴화함과 동시에 상기 아기 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 아기 감정 항목을 식별하고, 상기 인식된 센싱 값 인식 정보를 패턴화한 아기 울음소리 패턴 정보와 상기 식별된 음성 인식 기반의 아기 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 센싱 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.Meanwhile, according to the implementation method of the present invention, after the sensing-based emotional state determination information is registered and stored in the operation D/B through a designated operation terminal, when the specified sensing value recognition information is recognized through the following information recognition unit 155 , the information management unit 105 reads video data received from the camera device 195 and stored in a specific storage area of a designated storage medium after the sensing value recognition information is recognized to recognize an object corresponding to the baby's guardian At the same time, by reading the audio data linked with the video data, the voice related to the baby's emotional recognition among the voices uttered by the baby's guardian to the baby (eg, 'My baby is hungry', 'My baby's poop?', A procedure for recognizing 'My baby is sleepy', etc.) can be performed. If, after the sensing value recognition information is recognized, the voice related to the baby emotion recognition of the guardian is recognized, the information management unit 105 patterns the recognized sensing value recognition information and responds to the voice related to the baby emotion recognition at the same time The sensing by repeating the process of identifying a baby emotion item based on voice recognition, and learning a combination of the baby cry pattern information obtained by patterning the recognized sensing value recognition information and the identified voice recognition-based baby emotion item. It is possible to continuously improve the accuracy and reliability of big data based emotional state identification information.
도면1을 참조하면, 상기 운영서버(100)는, 지정된 P(P≥2)개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하는 가상객체 관리부(110)와, 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하는 정보 매칭부(115)를 포함한다. Referring to FIG. 1, the operation server 100 registers R (R≥2) virtual object data corresponding to the baby's response to the designated P(P≥2) conversation intentions in the operation D/B. A virtual object management unit 110 for storing, and an information matching unit 115 for storing virtual object matching information that matches the P conversation intentions with the R virtual object data based on baby emotional state information for each specified emotion item. do.
상기 가상객체 관리부(110)는 아기의 부모나 친인척 또는 보호자 등이 아기에게 대화를 시도하는 대화 의도를 지정된 카테고리 별로 분류한 P개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R개의 가상객체 데이터를 운영D/B에 등록 저장한다. 예를들어, 상기 P개의 대화 의도는 아기의 상태를 질의하는 대화(예컨대, '우리 애기 졸려?', '배고프니?' 등) 카테고리에 대응하는 대화 의도, 아기의 감정 표현을 유도하는 대화(예컨대, '까꿍~', '도리도리', '잼잼' 등) 카테고리에 대응하는 대화 의도, 아기의 반응을 유발하는 대화(예컨대, '엄마야~', '엄마 어디 있어?' 등) 카테고리에 대응하는 대화 의도 중 적어도 하나의 대화 의도를 포함할 수 있다.The virtual object management unit 110 includes R virtual object data corresponding to the baby's response to the P conversation intentions in which the baby's parents, relatives, or guardians classify the baby's conversation intentions by designated categories. is registered and stored in operation D/B. For example, the P conversation intentions are a conversational intention corresponding to a conversation querying the baby's state (eg, 'is my baby sleepy, 'hungry?', etc.) category, a conversation that induces the baby's emotional expression ( For example, conversation intentions corresponding to categories such as 'peek-a-boo', 'dori-dori', and 'jam jam') At least one of conversation intentions may be included.
본 발명의 실시 방법에 따르면, 상기 R개의 가상객체 데이터는 지정된 대화 의도에 대한 아기 입장의 응답으로서 아기 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 지정된 대화 의도에 대한 아기 입장의 응답에 대응하는 문자열을 말풍선 형태로 표시하여 아기 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함할 수 있다. 한편 상기 아기 안면 영역 내의 지정 부위는 아기의 머리카락 부위, 아기의 이마 부위, 아기의 관자놀이 부위, 아기의 양 눈썹 부위, 아기의 양 안과 양 눈썹 사이 부위, 아기의 양 안 부위, 아기의 양 안 사이 부위, 아기의 양 안 바깥쪽 부위, 아기의 양 안 아래쪽 부위, 아기의 양 광대 부위, 아기의 양 볼 부위, 아기의 콧등 부위, 아기의 코 부위, 아기의 인중 부위, 아기의 입 부위, 아기의 입술 부위, 아기의 입 바깥쪽 부위, 아기의 입 아래쪽 부위, 아기의 턱 부위, 아기의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함할 수 있다.According to the implementation method of the present invention, the R virtual object data corresponds to the response of the baby's position to the designated conversational intention, and the virtual object data overlapped and displayed on the designated part in the baby's face area, and the baby's response to the designated conversational intention The character string to be displayed in the form of a speech bubble may include at least one virtual object data among virtual object data overlapped and displayed on the area around the baby's face. On the other hand, the designated part in the baby's facial area is the baby's hair part, the baby's forehead part, the baby's temple part, the baby's eyebrows, the baby's eyes and both eyebrows, the baby's both eyes, between the baby's eyes region, the inner and outer parts of both sides of the baby, the lower part of both sides of the baby's cheeks, the cheeks of the baby's cheeks, the bridge of the baby's nose, the baby's nose, the baby's pharynx, the baby's mouth It may include at least one or a combination of two or more of the lip region of the baby, the outer part of the baby's mouth, the lower part of the baby's mouth, the chin part of the baby, and the neck part of the baby.
상기 정보 매칭부(115)는 상기 표정 기반 감정상태 판별 정보와 울음소리 기반 감정상태 판별 정보와 센싱 기반 감정상태 판별 정보 중 적어도 하나의 감정상태 판별 정보를 근거로 생성되는 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장한다. 예를들어, 상기 정보 매칭부(115)는 운영D/B 상에 상기 가상객체 매칭 정보를 저장하거나 및/또는 프로그램코드 상에 조건문의 형태로 상기 가상객체 매칭 정보를 저장할 수 있다. The information matching unit 115 is a baby emotional state for each designated emotion item generated based on at least one of the expression-based emotional state determination information, the cry-based emotional state determination information, and the sensing-based emotional state determination information. Virtual object matching information for matching the P conversation intentions and R virtual object data based on the information is stored. For example, the information matching unit 115 may store the virtual object matching information in the operation D/B and/or store the virtual object matching information in the form of a conditional statement in the program code.
도면1을 참조하면, 상기 운영서버(100)는, 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(195)를 매핑하는 정보를 등록받아 지정된 관리D/B에 저장하는 정보 등록부(120)를 포함한다. Referring to Figure 1, the operation server 100, a target to be provided with transmission data including video data of a specific baby in the base through the camera device 195 provided at the designated base, and the camera device ( 195) and includes an information registration unit 120 that receives the mapping information and stores it in a designated management D/B.
상기 카메라장치(195)를 구매하거나 공급받는 사용자가 이용하는 사용자단말을 통해 가입신청정보를 입력하거나 종이 형태의 가입신청서(예컨대, 카메라장치(195)를 이용한 서비스와 IPTV(190)를 결합하는 신청서, 카메라장치(195)를 이용한 서비스와 사용자 무선단말(185)을 결합하는 신청서 등)를 작성한 경우, 상기 정보 등록부(120)는 사용자 단말이나 지정된 등록단말을 통해 상기 가입신청정보나 가입신청서에 대응하는 사용자정보와 상기 사용자에게 제공/공급된 카메라장치(195)를 고유 식별하는 카메라장치(195)정보를 등록받아 관리D/B에 저장할 수 있다. 한편 상기 정보 등록부(120)는 상기 사용자 단말이나 지정된 등록단말을 통해 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 사용자가 이용하는 IPTV(190)로 제공하기 위한 ID/PW정보를 등록받고 상기 사용자정보 및/또는 카메라장치(195)정보와 연계하여 관리D/B에 저장할 수 있다. 한편 본 발명의 실시 방법에 따라 상기 ID/PW정보는 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 웹을 통해 사용자가 이용하는 유선단말이나 무선단말(185)로 제공하기 위해 사용될 수 있으며, 본 발명은 이러한 실시예도 권리범위로 포함할 수 있다. A user who purchases or receives the camera device 195 enters subscription application information through a user terminal or uses a paper-type subscription application (eg, an application for combining the service using the camera device 195 and the IPTV 190 ); When the application for combining the service using the camera device 195 and the user wireless terminal 185, etc.) is prepared, the information registration unit 120 corresponds to the subscription application information or the subscription application through the user terminal or a designated registration terminal. User information and camera device 195 information uniquely identifying the camera device 195 provided/supplied to the user may be registered and stored in the management D/B. Meanwhile, the information registration unit 120 provides ID/PW information for providing transmission data including video data photographed through the camera device 195 to the
한편 상기 사용자가 본인이 사용하는 사용자 무선단말(185)에 지정된 앱을 설치하고 최초(또는 가입 전) 구동 시, 상기 정보 등록부(120)는 상기 사용자 무선단말(185)의 앱으로부터 상기 사용자에 대한 사용자정보와 상기 사용자에게 제공/공급된 카메라장치(195)를 고유 식별하는 카메라장치(195)정보를 등록받아 관리D/B에 저장할 수 있다. 한편 상기 정보 등록부(120)는 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 상기 사용자 무선단말(185)의 앱으로 제공하기 위해 상기 사용자 무선단말(185)의 앱을 고유 식별하는 고유식별정보를 생성하거나 상기 사용자 무선단말(185)의 앱으로부터 제공받고 상기 사용자정보 및/또는 카메라장치(195)정보와 연계하여 관리D/B에 저장할 수 있으며, 상기 고유식별정보를 생성한 경우 상기 사용자 무선단말(185)의 앱으로 제공하여 지정된 저장영역에 저장하도록 처리할 수 있다. 한편 상기 정보 등록부(120)는 상기 사용자 무선단말(185)의 앱으로부터 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 사용자가 이용하는 IPTV(190)로 제공하기 위한 ID/PW정보를 등록받고 상기 사용자정보 및/또는 카메라장치(195)정보와 연계하여 관리D/B에 저장할 수 있다. 한편 본 발명의 실시 방법에 따라 상기 ID/PW정보는 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 웹을 통해 사용자가 이용하는 유선단말이나 무선단말(185)로 제공하기 위해 사용될 수 있으며, 본 발명은 이러한 실시예도 권리범위로 포함할 수 있다. On the other hand, when the user installs a designated app in the user wireless terminal 185 used by the user and operates for the first time (or before subscription), the information registration unit 120 provides information about the user from the app of the user wireless terminal 185. User information and camera device 195 information uniquely identifying the camera device 195 provided/supplied to the user may be registered and stored in the management D/B. On the other hand, the information registration unit 120 is unique to the app of the user wireless terminal 185 in order to provide transmission data including video data captured through the camera device 195 as an app of the user wireless terminal 185 . It is possible to generate unique identification information to identify or receive from the app of the user wireless terminal 185 and store it in the management D/B in connection with the user information and/or camera device 195 information, and generate the unique identification information In one case, it can be provided as an app of the user wireless terminal 185 and stored in a designated storage area. Meanwhile, the information registration unit 120 provides an ID/PW for providing transmission data including video data photographed through the camera device 195 from the app of the user wireless terminal 185 to the
한편 본 발명의 실시 방법에 따르면, 상기 사용자 무선단말(185)의 앱은 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 다른 무선단말(185)의 고유정보(예컨대, 휴대폰번호 등)를 입력/등록할 수 있으며, 이 경우 상기 정보 등록부(120)는 상기 다른 무선단말(185)의 고유정보를 관리D/B에 저장하고, 상기 다른 무선단말(185)의 고유정보를 통해 상기 다른 무선단말(185)에 지정된 앱이 설치되도록 유도하거나 및/또는 상기 다른 무선단말(185)에 설치 실행된 앱을 확인하고, 상기 다른 무선단말(185)의 앱을 고유 식별하는 고유식별정보를 생성하거나 상기 다른 무선단말(185)의 앱으로부터 제공받고 상기 등록되어 있는 카메라장치(195)정보와 연계하여 관리D/B에 저장함으로써, 상기 사용자 무선단말(185)의 앱 이외에 상기 사용자 무선단말(185)의 앱을 통해 지정된 다른 무선단말(185)의 앱을 통해서도 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 수 있도록 처리할 수 있다.On the other hand, according to the implementation method of the present invention, the app of the user wireless terminal 185 is unique information (eg, of the other wireless terminal 185 to be provided with transmission data including the video data captured through the camera device 195) , mobile phone number, etc.) can be input/registered, and in this case, the information registration unit 120 stores the unique information of the other wireless terminal 185 in the management D/B, and the unique information of the other wireless terminal 185 is stored in the management D/B. Inducing the application specified in the other wireless terminal 185 to be installed through the information and/or checking the installed and executed application in the other wireless terminal 185, and uniquely identifying the app of the other wireless terminal 185 In addition to the app of the user wireless terminal 185, by generating unique identification information or storing it in the management D/B in connection with the registered camera device 195 information and provided from the app of the other wireless terminal 185 Transmission data including video data captured through the camera device 195 may be provided through an app of another wireless terminal 185 designated through an app of the user wireless terminal 185 .
도면1을 참조하면, 상기 운영서버(100)는, 지정된 거점에 구비된 카메라장치(195)와의 통신 연결을 관리하는 통신 관리부(125)와, 상기 카메라장치(195)의 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하는 데이터 수신부(130)와, 상기 수신된 획득 데이터를 지정된 저장매체의 특정 저장영역에 저장하여 관리하는 데이터 저장부(135)를 포함한다. 1, the operation server 100 is obtained through a communication management unit 125 that manages a communication connection with a camera device 195 provided at a designated base, and a camera module of the camera device 195, and a data receiving unit 130 for receiving acquisition data including video data encoded in a specified manner, and a data storage unit 135 for storing and managing the received acquired data in a specific storage area of a specified storage medium.
지정된 거점에 구비된 카메라장치(195)에 전원이 입력되면, 상기 카메라장치(195)의 제어모듈은 지정된 절차에 따라 통신모듈을 통해 지정된 운영서버(100)와 지정된 하나 이상의 정보를 교환하여 통신 연결을 요청하며, 상기 통신 관리부(125)는 상기 지정된 정보의 교환을 근거로 상기 카메라장치(195)의 유효성을 인증하여 상기 카메라장치(195)와 통신을 연결한다. When power is input to the camera device 195 provided at the designated base, the control module of the camera device 195 exchanges one or more designated information with the designated operation server 100 through the communication module according to a designated procedure to establish a communication connection. request, and the communication management unit 125 authenticates the validity of the camera device 195 based on the exchange of the specified information, and establishes a communication connection with the camera device 195 .
상기 카메라장치(195)와 통신이 연결되면, 상기 통신 관리부(125)는 상기 카메라장치(195)를 통해 획득된 획득 데이터를 수신하기 위한 일회용주소정보를 동적 생성하여 상기 카메라장치(195)로 제공하며, 이 경우 상기 카메라장치(195)의 제어모듈은 상기 일회용주소정보를 수신하고, 상기 일회용주소정보를 상기 획득 데이터를 전송할 목적지 주소로 설정한 후, 상기 획득된 획득 데이터를 상기 일회용주소에 대응하는 목적지 주소로 전송할 수 있다. 여기서, 상기 일회용주소정보는 주소도메인정보는 동일하되 도메인 이후의 파라미터값이 중복되지 않게 동적 생성된 파라미터값으로 이루어진 주소정보를 포함할 수 있다.When communication with the camera device 195 is connected, the communication management unit 125 dynamically generates disposable address information for receiving the acquired data acquired through the camera device 195 and provides it to the camera device 195 . In this case, the control module of the camera device 195 receives the one-time address information, sets the one-time address information as a destination address to transmit the acquired data, and then sets the acquired acquired data to the one-time address can be sent to a destination address. Here, the one-time address information may include address information composed of dynamically generated parameter values so that the address domain information is the same but the parameter values after the domain are not duplicated.
본 발명의 실시 방법에 따르면, 상기 통신 관리부(125)는 주기적으로 상기 카메라장치(195)에 대한 신규 일회용주소정보를 동적 생성하여 상기 카메라장치(195)로 제공할 수 있으며, 이 경우 상기 카메라장치(195)의 제어모듈은 상기 신규 일회용주소정보를 수신하고, 이전 일회용주소에 대응하는 목적지 주소로 상기 획득 데이터를 전송하는 과정을 인터럽트함과 동시에 이전 일회용주소로 획득 데이터를 전송한 이전 전송 정보를 확인하고, 상기 신규 일회용주소정보를 상기 획득 데이터를 이어서 전송할 신규 목적지 주소로 설정한 후, 상기 이전 전송 정보를 근거로 이전 일회용주소로 전송하던 획득 데이터를 상기 신규 일회용주소에 대응하는 신규 목적지 주소로 이어서 전송할 수 있으며, 상기의 과정은 주기적으로 반복될 수 있다. 이하, 별도의 언급이 없더라도 상기 카메라장치(195)는 상기 일회용주소로 획득 데이터를 전송할 수 있음을 명기하는 바이다. 한편 본 발명의 다른 실시 방법에 따르면, 상기 통신 관리부(125)의 일회용주소정보 생성 내지 적용 과정은 생략 가능하며, 이에 의해 본 발명이 한정되지 아니한다.According to the embodiment of the present invention, the communication management unit 125 may periodically dynamically generate new one-time address information for the camera device 195 and provide it to the camera device 195. In this case, the camera device The control module of (195) receives the new one-time address information, interrupts the process of transmitting the acquired data to the destination address corresponding to the previous one-time address, and at the same time transmits the previous transmission information of transmitting the acquired data to the previous one-time address. After confirming, and setting the new one-time address information as a new destination address to which the acquired data is to be subsequently transmitted, the acquired data transmitted to the previous one-time address based on the previous transmission information is transferred to the new destination address corresponding to the new one-time address. It can then be transmitted, and the above process can be repeated periodically. Hereinafter, it is specified that the camera device 195 can transmit the acquired data to the one-time address even if there is no separate mention. Meanwhile, according to another embodiment of the present invention, the process of generating or applying the one-time address information of the communication management unit 125 may be omitted, and the present invention is not limited thereto.
본 발명의 실시 방법에 따라 상기 카메라장치(195)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터를 저장하여 일정 기간 동안 관리할 수 있다.According to the embodiment of the present invention, when the control module of the camera device 195 transmits acquired data including video data that is acquired through the camera module and encoded in a specified manner, the data receiving unit 130 is the Receives acquisition data including video data obtained through and encoded in a specified manner, and the data storage unit 135 stores the video data of the received acquisition data in a specific storage area of a specified storage medium for a predetermined period can manage
한편 본 발명의 실시 방법에 따라 상기 카메라장치(195)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터와 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터를 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터와 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터와 오디오 데이터를 연계 저장하여 일정 기간 동안 관리한다.On the other hand, according to the implementation method of the present invention, the control module of the camera device 195 is obtained through the camera module and encoded in a specified manner, including video data and audio data obtained through the sound input unit and encoded in a specified manner. When the acquired data is transmitted, the data receiving unit 130 receives acquired data including video data obtained through the camera module and encoded in a specified manner and audio data obtained through the sound input unit and encoded in a specified manner, and , the data storage unit 135 associates and stores the video data and audio data of the received acquired data in a specific storage area of a designated storage medium and manages it for a certain period of time.
본 발명의 실시 방법에 따르면, 상기 카메라장치(195)의 제어모듈은 상기 비디오 데이터와 오디오 데이터를 포함하는 동영상 데이터 형태의 획득 데이터를 전송할 수 있으며, 이 경우 상기 데이터 수신부(130)는 상기 카메라장치(195)로부터 상기 동영상 데이터 형태의 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 동영상 데이터를 저장하여 관리할 수 있다.According to the embodiment of the present invention, the control module of the camera device 195 may transmit acquired data in the form of moving image data including the video data and audio data, and in this case, the data receiving unit 130 is the camera device. Receives the acquired data in the form of moving picture data from 195 , and the data storage unit 135 stores and manages the received moving picture data in a specific storage area of a designated storage medium.
한편 본 발명의 실시 방법에 따르면, 상기 카메라장치(195)의 제어모듈은 상기 비디오 데이터와 상기 오디오 데이터를 각각의 데이터 형태로 포함하는 획득 데이터를 전송할 수 있으며, 이 경우 상기 데이터 수신부(130)는 상기 카메라장치(195)로부터 상기 비디오 데이터와 오디오 데이터를 제각기 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 상기 카메라장치(195)로부터 각기 수신된 상기 비디오 데이터와 오디오 데이터를 연계하여 지정된 저장매체의 특정 저장영역에 저장하여 관리할 수 있다. 바람직하게, 상기 데이터 저장부(135)는 상기 비디오 데이터와 오디오 데이터의 시간 값(또는 타임스탬프)를 기준으로 상기 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장할 수 있다.On the other hand, according to the embodiment of the present invention, the control module of the camera device 195 may transmit the acquired data including the video data and the audio data in the form of respective data, in this case, the data receiving unit 130 Receives acquired data including the video data and audio data from the camera device 195, respectively, and the data storage unit 135 associates the video data and audio data respectively received from the camera device 195 It can be stored and managed in a specific storage area of a designated storage medium. Preferably, the data storage unit 135 may synchronize the times of the video data and the audio data based on the time values (or timestamps) of the video data and the audio data and store them in a specific storage area of a designated storage medium. .
한편 본 발명의 실시 방법에 따라 상기 카메라장치(195)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터 및/또는 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터 외에, 지정된 센서모듈을 통해 센싱되어 지정된 방식으로 엔코딩된 센싱 데이터를 더 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 센싱 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터 및/또는 오디오 데이터와 상기 센싱 데이터를 연계 저장하여 일정 기간 동안 관리할 수 있다. 바람직하게, 상기 데이터 저장부(135)는 상기 비디오 데이터 및/또는 오디오 데이터의 시간 값(또는 타임스탬프)과 상기 센싱 데이터의 시간 값(또는 타임스탬프)을 기준으로 상기 비디오 데이터 및/또는 오디오 데이터의 시간과 상기 센싱 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장할 수 있다.On the other hand, according to the embodiment of the present invention, the control module of the camera device 195 is obtained through the camera module and encoded in a specified manner, in addition to video data and/or audio data obtained through the sound input unit and encoded in a specified manner. , When the acquired data is sensed through the specified sensor module and further includes sensing data encoded in a specified manner, the data receiving unit 130 receives the acquired data including the sensing data, and the data storage unit 135 ) can be managed for a certain period of time by linking and storing the video data and/or audio data of the received acquired data and the sensing data in a specific storage area of a designated storage medium. Preferably, the data storage unit 135 is configured to store the video data and/or audio data based on a time value (or timestamp) of the video data and/or audio data and a time value (or timestamp) of the sensing data. The time of the sensor may be synchronized with the time of the sensed data and stored in a specific storage area of a designated storage medium.
도면1을 참조하면, 상기 운영서버(100)는, 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하는 데이터 제공부(140)와, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식하는 대화 인식부(145)와, 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하는 대화 의도 판별부(150)를 포함한다.Referring to FIG. 1, the operation server 100 provides a procedure for providing transmission data including video data stored in a specific storage area of the storage medium to an app or
상기 데이터 제공부(140)는 상기 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱으로부터의 송신 데이터 요청이나 상기 관리D/B에 저장된 ID/PW정보를 이용한 송신 데이터 요청을 근거로 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하며, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 송신 데이터 제공의 종료/중지에 대응하는 정보가 수신되기 전(또는 지정된 규칙에 따라 종료/중지하기 전)까지 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 유지할 수 있다. The data providing unit 140 is a transmission data request from the app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D / B or transmission data using the ID / PW information stored in the management D / B A procedure of providing transmission data including video data stored in a specific storage area of the storage medium to the app or
본 발명의 실시 방법에 따르면, 상기 송신 데이터는 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터를 더 포함할 수 있다.According to an embodiment of the present invention, the transmission data may further include audio data stored in a specific storage area of the storage medium.
상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 송신 데이터를 제공하는 중에, 상기 대화 인식부(145)는 상기 송신 데이터를 수신하여 출력 중인 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식한다. While providing the transmission data to the app or
본 발명의 제1 문자열 확인 실시예에 따르면, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)에 구비된 사운드 입력부를 통해 입력된 사운드 신호에 대응하는 오디오 데이터를 획득하여 상기 운영서버(100)로 전송할 수 있으며, 상기 대화 인식부(145)는 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 오디오 데이터를 수신할 수 있다. 이 경우 상기 대화 인식부(145)는 상기 수신된 오디오 데이터에 대한 음성 인식을 시도하여 상기 송신 데이터를 시청하는 사용자가 발화한 내용에 대응하는 문자열을 확인하고, 상기 확인된 문자열을 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식할 수 있다. According to the first character string check embodiment of the present invention, the app or
한편 상기 송신 데이터를 수신하여 출력 중인 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 오디오 데이터를 수신하고, 상기 카메라장치(195)에 사운드 출력부가 구비된 경우, 상기 운영서버(100)는 상기 송신 데이터를 수신하여 출력 중인 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 오디오 데이터를 상기 카메라장치(195)로 전송하여 상기 카메라장치(195)의 사운드 출력부를 통해 출력하도록 처리하는 대화 처리부(도시생략)를 더 구비할 수 있다. On the other hand, when receiving the audio data acquired through the app or
본 발명의 제2 문자열 확인 실시예에 따르면, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)에 구비된 사운드 입력부를 통해 입력된 사운드 신호에 대응하는 오디오 데이터를 획득하고 음성 인식을 시도하여 사용자가 발화한 내용에 대응하는 문자열을 확인한 후, 상기 음성 인식한 문자열을 상기 운영서버(100)로 전송할 수 있으며, 상기 대화 인식부(145)는 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 송신 데이터를 시청하는 사용자가 발화한 음성을 인식한 문자열을 수신할 수 있다. 이 경우 상기 대화 인식부(145)는 상기 수신된 문자열을 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식할 수 있다. According to the second character string check embodiment of the present invention, the app or
본 발명의 제3 문자열 확인 실시예에 따르면, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)의 입력수단을 통해 입력된 문자열을 상기 운영서버(100)로 전송할 수 있으며, 상기 대화 인식부(145)는 상기 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 문자열을 수신할 수 있다. 이 경우 상기 대화 인식부(145)는 상기 수신된 문자열을 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식할 수 있다. According to the third character string confirmation embodiment of the present invention, the app or
상기 대화 인식부(145)를 통해 상기 송신 데이터를 시청 중인 사용자가 아기에게 대화한 대화 문자열을 인식한 경우, 상기 대화 의도 판별부(150)는 상기 인식된 대화 문자열을 자연어 처리하고 형태소 또는 구문 별로 분석하여 기 지정된 P개의 대화 의도 중 적어도 하나의 대화 의도에 대응하는 사용자 대화 의도를 판별한다.When the user who is watching the transmission data recognizes the conversation string spoken to the baby through the conversation recognition unit 145, the conversation intention determining unit 150 processes the recognized conversation string in natural language and performs processing for each morpheme or phrase. The analysis is performed to determine a user's conversational intention corresponding to at least one of the preset P conversational intentions.
도면1을 참조하면, 상기 운영서버(100)는, 인공지능 기반의 감정상태 판별 정보를 통해 아기의 지정된 감정 항목 별 아기 감정 상태 값을 판별하는 경우, 상기 인공지능 기반의 감정상태 판별 정보를 통해 상기 카메라장치(195)를 통해 획득되는 비디오 데이터 및/또는 오디오 데이터를 판독하는 절차를 수행하여 지정된 감정 항목 별 아기 감정 상태 값을 판별하는 감정 상태 판별부(165)와, 상기 산출된 하나 이상의 아기 감정 상태 값을 이용하여 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하는 정보 생성부(170)를 포함한다. Referring to Figure 1, the operation server 100, when determining the baby emotional state value for each specified emotional item of the baby through the artificial intelligence-based emotional state determination information, through the artificial intelligence-based emotional state determination information An emotional state determination unit 165 that determines the baby emotional state value for each specified emotional item by performing a procedure of reading video data and/or audio data obtained through the camera device 195, and the calculated one or more babies and an information generating unit 170 for generating baby emotional state information for each specified emotional item by using the emotional state value.
상기 정보 관리부(105)를 통해 인공지능 기반의 표정 기반 감정상태 판별 정보를 생성하여 저장 관리하는 경우, 상기 감정 상태 판별부(165)는 상기 인공지능 기반의 표정 기반 감정상태 판별 정보를 통해 지정된 비디오 데이터를 판독하는 절차를 수행하여 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목을 근거로 상기 비디오 데이터의 아기 표정에 대응하는 n1(1≤n1≤N1)개의 감정 항목 별 아기 감정 상태 값을 판별한다.When the information management unit 105 generates and stores and manages artificial intelligence-based facial expression-based emotional state determination information, the emotional state determination unit 165 provides a video designated through the artificial intelligence-based expression-based emotional state determination information. Based on the N1 (1≤N1≤N) baby emotion items that can be distinguished through the baby expression among the specified N (N≥2) baby emotion items by performing the data reading procedure, the video data corresponding to the baby expression The baby emotional state value for each n1 (1≤n1≤N1) emotion items is determined.
본 발명의 실시 방법에 따르면, 상기 감정 상태 판별부(165)는 상기 인공지능 기반의 표정 기반 감정상태 판별 정보에 대응하는 인공지능 알고리즘을 통해 지정된 비디오 데이터를 판독하는 절차를 수행하여 지정된 E개의 아기 표정 중 상기 비디오 데이터 상의 아기 안면 영역에 대응하는 e개의 아기 표정을 판별하고, 아기 표정을 통해 구별 가능한 N1개의 아기 감정 항목 중 상기 판별된 e개의 아기 표정과 매칭 관계를 지닌 n1개의 아기 감정 항목을 판별하고, 상기 확인된 e개의 아기 표정과 n1개의 아기 감정 항목 간 상관도에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별할 수 있다. According to the implementation method of the present invention, the emotional state determination unit 165 performs a procedure of reading specified video data through an artificial intelligence algorithm corresponding to the artificial intelligence-based expression-based emotional state determination information, and thus designated E babies Among the facial expressions, e baby facial expressions corresponding to the baby facial region on the video data are determined, and n1 baby emotion items having a matching relationship with the e determined baby expression items among the N1 baby emotion items distinguishable through the baby expression are selected. It is possible to determine the baby emotional state value for each n1 emotion items corresponding to the correlation between the identified e baby expressions and the n1 baby emotion items.
상기 정보 생성부(170)는 상기 판별된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성한다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.The information generating unit 170 generates baby emotional state information for each of n (1≤n≤N) designated emotion items that can be displayed on video data by using the determined baby emotional state values for each of the n1 emotion items. Here, the baby emotional state information for each emotion item may include numerical information (or grade information) on the emotional state of the baby for each emotion item.
도면1을 참조하면, 상기 운영서버(100)는, 패턴 인식 기반의 감정상태 판별 정보를 통해 아기의 지정된 감정 항목 별 아기 감정 상태 값을 판별하는 경우, 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 지정된 거점의 카메라장치(195)를 통해 획득된 획득 데이터 중 적어도 하나의 데이터를 판독하여 아기의 감정을 판별하기 위한 지정된 인식 대상의 인식 정보를 인식하는 정보 인식부(155)와, 지정된 감정상태 판별 정보를 근거로 상기 인식된 인식 정보와 기 설정된 기준 유사도 이상 매칭된 지정된 인식 대상의 패턴 정보를 확인하고 상기 확인된 패턴 정보와 매칭 관계를 지닌 하나 이상의 아기 감정 항목을 판별하는 정보 판별부(160)와, 상기 인식 정보와 패턴 정보 간 매칭 비율을 근거로 상기 패턴 정보와 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식 정보에 대응하는 하나 이상의 감정 항목 별 아기 감정 상태를 수치화한 감정 항목 별 아기 감정 상태 값을 판별하는 감정 상태 판별부(165)와, 상기 산출된 하나 이상의 아기 감정 상태 값을 이용하여 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하는 정보 생성부(170)를 포함한다. Referring to Figure 1, the operation server 100, when determining the baby emotional state value for each designated emotional item of the baby through the pattern recognition-based emotional state determination information, before or during the determination of the user conversation intention or An information recognition unit 155 that reads at least one of the acquired data acquired through the camera device 195 of the designated base at a later point in time to recognize recognition information of a designated recognition target for determining the baby's emotion; Based on the designated emotional state determination information, the recognized recognition information and the pattern information of the designated recognition target matched with a preset standard similarity or higher is identified, and information is determined for determining one or more baby emotion items having a matching relationship with the identified pattern information The unit 160, based on the matching ratio between the recognition information and the pattern information, reads a numerical relationship of the correlation between the pattern information and the baby emotion item to digitize the baby emotional state for each one or more emotion items corresponding to the recognition information. An emotional state determining unit 165 for determining the baby emotional state value for each emotional item, and an information generating unit 170 for generating baby emotional state information for each designated emotional item using the calculated one or more baby emotional state values. include
상기 정보 인식부(155)는 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 아기 표정 인식 정보를 인식한다. The information recognition unit 155 reads the designated video data to be provided to the app of the user wireless terminal 185 or the
본 발명의 실시 방법에 따르면, 상기 지정된 비디오 데이터는 지정된 재생 시간 단위 별로 주기적으로 선별되는 비디오 데이터, 지정된 재생 프레임 수 별로 주기적으로 선별되는 비디오 데이터 중 적어도 하나의 비디오 데이터를 포함할 수 있다.According to the embodiment of the present invention, the designated video data may include at least one of video data periodically selected for each designated playback time unit and video data periodically selected for each designated number of playback frames.
상기 정보 인식부(155)는 상기 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는지 확인한다. 만약 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 송신 데이터를 제공하는 경우, 상기 정보 인식부(155)는 상기 송신 데이터의 비디오 데이터 중 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식할 수 있다. The information recognition unit 155 is an IPTV (190) identified/authenticated through an app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B or ID/PW information stored in the management D/B. ) to check whether transmission data including video data stored in a specific storage area of the storage medium is provided. If the transmission data is provided by the app of the user wireless terminal 185 or the
상기 정보 인식부(155)를 통해 i개의 아기 표정 인식 정보가 인식되면, 상기 정보 판별부(160)는 상기 운영D/B에 저장된 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 아기 표정 패턴 정보를 확인한다. 만약 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e개의 아기 표정 패턴 정보가 확인되면, 상기 정보 판별부(160)는 상기 확인된 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별한다. When the i baby facial expression recognition information is recognized through the information recognition unit 155, the information determining unit 160 recognizes the i baby facial expressions based on the facial expression-based emotional state determination information stored in the operation D/B. Check the facial expression pattern information of e (1≤e≤E) babies matching the recognition information and the preset standard similarity. If e pieces of baby expression pattern information matched with the recognized facial expression recognition information of i or more than a preset reference similarity are identified, the information determining unit 160 has a matching relationship with the identified e pieces of baby expression pattern information. n1 (1≤n1≤N1) baby emotion items are identified.
상기 정보 판별부(160)를 통해 i개의 아기 표정 인식 정보에 대응하는 n1개의 아기 감정 항목이 판별되면, 상기 감정 상태 판별부(165)는 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 판별하고, 상기 정보 생성부(170)는 상기 판별된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성한다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When the n1 baby emotion items corresponding to the i baby expression recognition information are determined through the information determining unit 160, the emotional state determining unit 165 is configured to include the recognized i baby expression recognition information and the e babies. Based on the matching ratio between the expression pattern information, the correlation numerical relationship between the e baby expression pattern information and n1 baby emotion items is read, and the baby emotional state for each n1 emotion items corresponding to the recognized i baby expression recognition information is read. Determines the baby emotional state value for each n1 emotion item digitized, and the information generating unit 170 uses the determined baby emotional state value for each n1 emotion item to display the specified n (1≤1) on the video data. Generates baby emotional state information for each n≤N) emotional items. Here, the baby emotional state information for each emotion item may include numerical information (or grade information) on the emotional state of the baby for each emotion item.
한편 상기 정보 관리부(105)를 통해 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 생성하여 저장 관리하는 경우, 상기 감정 상태 판별부(165)는 상기 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 통해 지정된 오디오 데이터를 판독하는 절차를 수행하여 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목을 근거로 상기 오디오 데이터의 아기 울음소리에 대응하는 n2(1≤n2≤N2)개의 감정 항목 별 아기 감정 상태 값을 판별할 수 있다. On the other hand, when the information management unit 105 generates and stores and manages artificial intelligence-based cry-based emotional state determination information, the emotional state determination unit 165 receives the artificial intelligence-based cry-based emotional state determination information. Based on the N2 (1≤N2≤N) baby emotion items that can be distinguished through the cry of a baby among the N (N≥2) specified baby emotion items by performing a procedure of reading the specified audio data through the It is possible to determine the baby emotional state value for each n2 (1≤n2≤N2) emotion items corresponding to the cry.
본 발명의 실시 방법에 따르면, 상기 감정 상태 판별부(165)는 상기 인공지능 기반의 울음소리 기반 감정상태 판별 정보에 대응하는 인공지능 알고리즘을 통해 지정된 오디오 데이터를 판독하는 절차를 수행하여 지정된 C개의 아기 울음소리 중 상기 오디오 데이터 상의 아기 울음에 대응하는 c개의 아기 울음소리를 판별하고, 아기 울음소리를 통해 구별 가능한 N2개의 아기 감정 항목 중 상기 판별된 c개의 아기 울음소리와 매칭 관계를 지닌 n2개의 아기 감정 항목을 판별하고, 상기 확인된 c개의 아기 울음소리와 n2개의 아기 감정 항목 간 상관도에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별할 수 있다. According to the implementation method of the present invention, the emotional state determination unit 165 performs a procedure of reading the specified audio data through an artificial intelligence algorithm corresponding to the artificial intelligence-based cry-based emotional state determination information to determine the number of designated C pieces. Among the baby cries, c baby cries corresponding to baby cries on the audio data are determined, and n 2 baby cries have a matching relationship with the determined c baby cries among the N2 baby emotion items that can be distinguished through the baby cries. It is possible to determine the baby emotion items, and determine the baby emotional state values for each n2 emotion items corresponding to the correlation between the identified c baby cry sounds and the n2 baby emotion items.
한편 상기 정보 관리부(105)를 통해 상기 운영D/B에 패턴 인식 기반의 울음소리 기반 감정상태 판별 정보가 저장된 경우, 상기 정보 인식부(155)는 상기 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 아기에 대한 j(j≥1)개의 아기 울음소리 인식 정보를 인식할 수 있다.On the other hand, when pattern recognition-based cry-based emotional state determination information is stored in the operation D/B through the information management unit 105, the information recognition unit 155 provides audio data of a predetermined section associated with the video data. It is possible to recognize j (j≥1) pieces of baby cry recognition information for the specific baby by reading .
상기 정보 인식부(155)를 통해 j개의 아기 울음소리 인식 정보가 인식되면, 상기 정보 판별부(160)는 상기 운영D/B에 저장된 울음소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c(1≤c≤C)개의 아기 울음소리 패턴 정보를 확인한다. 만약 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c개의 아기 울음소리 패턴 정보가 확인되면, 상기 정보 판별부(160)는 상기 확인된 c개의 아기 울음소리 패턴 정보와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 아기 감정 항목을 판별한다. When j baby cry recognition information is recognized through the information recognizing unit 155, the information determining unit 160 determines the recognized j pieces of information based on the crying sound-based emotional state determination information stored in the operation D/B. Check the c (1≤c≤C) baby cry pattern information that matches the baby cry recognition information and the preset standard similarity level or more. If the recognized j pieces of baby cry recognition information and c pieces of baby cry pattern information matched with more than a preset reference similarity are identified, the information determining unit 160 matches the identified c pieces of baby cry pattern information Identify n2 (1≤n2≤N2) baby emotion items that have a relationship.
상기 정보 판별부(160)를 통해 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 아기 감정 항목이 판별되면, 상기 감정 상태 판별부(165)는 상기 인식된 j개의 아기 울음소리 인식 정보와 상기 c개의 아기 울음소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 아기 울음소리 패턴 정보와 n2개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 감정 항목 별 아기 감정 상태를 수치화한 n2개의 감정 항목 별 아기 감정 상태 값을 판별하고, 상기 정보 생성부(170)는 상기 판별된 n2개의 감정 항목 별 아기 감정 상태 값을 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When the n2 baby emotion items corresponding to the j baby cry recognition information are determined through the information determining unit 160, the emotional state determining unit 165 determines the recognized j baby cry recognition information and the c Based on the matching ratio between the baby cry pattern information, n2 emotions corresponding to the recognized j pieces of baby cry recognition information by reading the correlation numerical relationship between the c baby cry pattern information and n2 baby emotion items It determines the baby emotional state value for each n2 emotional items that digitize the baby emotional state for each item, and the information generating unit 170 uses (additionally) the determined n baby emotional state values for each of the n2 emotional items. It is possible to generate baby emotional state information for each emotion item. Here, the baby emotional state information for each emotion item may include numerical information (or grade information) on the emotional state of the baby for each emotion item.
본 발명의 실시 방법에 따르면, 상기 n1개의 감정 항목 별 아기 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(170)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 'n1개의 감정 항목 별 아기 감정 상태 값 ∩ n2개의 감정 항목 별 아기 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. According to the embodiment of the present invention, when the baby emotional state values for each of the n1 emotion items have been previously calculated, the information generating unit 170 is configured to include the calculated baby emotional state values for each of the n1 emotion items and the calculated n2 emotions. Baby emotional state information for each of the n designated emotion items may be generated by combining the baby emotional state values for each emotion item. Preferably, the baby emotional state information for each n emotion items is a union relationship of 'baby emotional state values for n1 emotion items ∩ baby emotional state values for n2 emotion items', or a subset relationship of the union. .
한편 상기 n1개의 감정 항목 별 아기 감정 상태 값과 n2개의 감정 항목 별 아기 감정 상태 값을 조합하여 n개의 감정 항목 별 아기 감정 상태 정보를 생성 시, 상기 정보 생성부(170)는 상기 n1개의 감정 항목과 n2개의 감정 항목 중 중복되는 감정 항목에 대하여 각 아기 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 울음소리 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 아기 감정 상태 정보를 생성할 수 있다. On the other hand, when generating baby emotional state information for each n emotion items by combining the baby emotional state value for each n1 emotion item and the baby emotional state value for each n2 emotion item, the information generating unit 170 generates the n1 emotion items Among the n2 emotion items, the specified statistical calculation for each baby's emotional state value (for example, the calculation of average value) or the correlation between the emotion item and the expression or cry is assigned to the designated recognition target for overlapping emotion items. Through weighted statistical calculation, baby emotional state information of the overlapping emotion items may be generated.
한편 상기 정보 관리부(105)를 통해 상기 운영D/B에 상기 센싱 기반 감정상태 판별 정보가 저장되고, 상기 저장매체의 특정 저장영역에 비디오 데이터 및/또는 오디오 데이터와 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터가 연계 저장된 경우, 상기 정보 인식부(155)는 상기 비디오 데이터 ??/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식할 수 있다.Meanwhile, the sensing-based emotional state determination information is stored in the operation D/B through the information management unit 105, and video data and/or audio data are provided in a specific storage area of the storage medium and the camera device 195 When the sensed data sensed through the sensor module or the associated sensor module is stored in association, the information recognition unit 155 reads the sensing data associated with the video data ??/or audio data to read the sensing data associated with the emotional expression of the specific baby. It is possible to recognize k (k≥1) pieces of sensing value recognition information for the sensing data of the sensing target.
한편 상기 정보 인식부(155)를 통해 k개의 센싱 값 인식 정보가 인식되면, 상기 정보 판별부(160)는 상기 운영D/B에 저장된 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인한다. 만약 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s개의 센싱 값 패턴 정보가 화긴되면, 상기 정보 판별부(160)는 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 아기 감정 항목을 판별한다. On the other hand, when the k sensed value recognition information is recognized through the information recognition unit 155, the information determining unit 160 detects the k sensed values based on the sensing-based emotional state determination information stored in the operation D/B. Check the value recognition information and s (1≤s≤S) sensed value pattern information that matches the preset reference similarity or more. If the recognized k sensed value recognition information and the s sensed value pattern information matched with more than a preset reference similarity are matched, the information determining unit 160 has a matching relationship with the identified s sensed value pattern information n3 (1≤n3≤N3) baby emotion items are identified.
상기 정보 판별부(160)를 통해 k개의 센싱 값 인식 정보에 대응하는 n3개의 아기 감정 항목이 판별되면, 상기 감정 상태 판별부(165)는 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 판별하고, 상기 정보 생성부(170)는 상기 판별된 n3개의 감정 항목 별 아기 감정 상태 값을 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When n3 baby emotion items corresponding to k sensed value recognition information are determined through the information determining unit 160 , the emotional state determining unit 165 is configured to include the k recognized sensing value recognition information and the s sensing values. Based on the matching ratio between the value pattern information, the correlation numerical relationship between the s sensed value pattern information and the n3 baby emotion items is read, and the baby emotional state for each n3 emotion items corresponding to the recognized k sensed value recognition information. Determines the baby emotional state value for each n3 emotion items digitized, and the information generating unit 170 uses (additionally) the baby emotional state value for each of the n3 emotion items determined. Baby emotion for each n emotion item You can create status information. Here, the baby emotional state information for each emotion item may include numerical information (or grade information) on the emotional state of the baby for each emotion item.
본 발명의 실시 방법에 따르면, 상기 n1개의 감정 항목 별 아기 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(170)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 k개의 센싱 값 인식 정보를 근거로 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 'n1개의 감정 항목 별 아기 감정 상태 값 ∩ n3개의 감정 항목 별 아기 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. According to the embodiment of the present invention, when the baby emotional state values for each of the n1 emotion items have been previously calculated, the information generating unit 170 is configured to include the calculated baby emotional state values for each of the n1 emotion items and the k sensed values. Baby emotional state information for each of the n designated emotion items may be generated by combining the baby emotional state values for each n3 emotion items calculated based on the recognition information. Preferably, the baby emotional state information for each n emotion items is a union relationship of 'baby emotional state values for n1 emotion items ∩ baby emotional state values for n3 emotion items', or a subset relationship of the union. .
한편 상기 n1개의 감정 항목 별 아기 감정 상태 값과 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 n개의 감정 항목 별 아기 감정 상태 정보를 생성 시, 상기 정보 생성부(170)는 상기 n1개의 감정 항목과 n3개의 감정 항목 중 중복되는 감정 항목에 대하여 각 아기 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 지정된 센싱 대상의 센싱 값 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 아기 감정 상태 정보를 생성할 수 있다. On the other hand, when generating baby emotional state information for each n emotion items by combining the baby emotional state values for each of the n1 emotion items and the baby emotional state values for each n3 emotion items, the information generating unit 170 generates the n1 emotion items and n3 emotion items, designated according to a specified statistical calculation for each baby’s emotional state value (for example, an average value calculation calculation) or a correlation between the emotion item and the facial expression or the sensing value of the specified sensing target for overlapping emotion items It is possible to generate baby emotional state information of the overlapping emotion item through statistical calculation in which a specified weight is given to a recognition target.
한편 본 발명의 실시 방법에 따르면, 상기 n1개의 감정 항목 별 아기 감정 상태 값과 상기 j개의 아기 울음소리 인식 정보를 n2개의 감정 항목 별 아기 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(170)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값 및 상기 k개의 센싱 값 인식 정보를 근거로 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 'n1개의 감정 항목 별 아기 감정 상태 값 ∩ n2개의 감정 항목 별 아기 감정 상태 값 ∩ n3개의 감정 항목 별 아기 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. Meanwhile, according to the implementation method of the present invention, when the baby emotional state value for each n1 emotion item and the baby emotional state value for each n2 emotion items for the j baby cry recognition information are previously calculated, the information generating unit 170 ) is the calculated baby emotional state value for each n1 emotion item, the calculated baby emotional state value for each n2 emotion item, and the baby emotional state value for each n3 emotion item calculated based on the k sensed value recognition information By combining, it is possible to generate baby emotional state information for each of the n specified emotional items. Preferably, the baby emotional state information for each of the n emotion items is a union relationship of 'Baby emotional state value for each n1 emotion item ∩ Baby emotional state value for each n2 emotion item ∩ Baby emotional state value for each n3 emotion item', Alternatively, it may be a subset relation of the union.
한편 상기 n1개의 감정 항목 별 아기 감정 상태 값과 n2개의 감정 항목 별 아기 감정 상태 값 및 n3개의 감정 항목 별 아기 감정 상태 값 등을 조합하여 n개의 감정 항목 별 아기 감정 상태 정보를 생성 시, 상기 정보 생성부(170)는 상기 n1개의 감정 항목과 n2개의 감정 항목 및 n3개의 감정 항목 중 중복되는 감정 항목에 대하여 각 아기 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 울음소리 또는 지정된 센싱 대상의 센싱 값 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 아기 감정 상태 정보를 생성할 수 있다. Meanwhile, when generating baby emotional state information for each n emotion item by combining the baby emotional state value for each n1 emotion item, the baby emotional state value for each n2 emotion item, and the baby emotional state value for each n3 emotion item, the information The generating unit 170 performs a specified statistical calculation (eg, an average calculation calculation) for each baby's emotional state value for the overlapping emotion items among the n1 emotion items, the n2 emotion items, and the n3 emotion items or the corresponding emotion item. Baby emotional state information of the overlapping emotion items may be generated through statistical calculation in which a specified weight is given to a specified recognition target according to a correlation between an expression and a cry or a sensing value of a specified sensing target.
도면1을 참조하면, 상기 운영서버(100)는, 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 가상객체 확인부(175)와, 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 대화 응답 증강부(180)와, 아기 입장에서 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 데이터 제공부(140)를 포함한다.Referring to Figure 1, the operation server 100, the virtual object matching information and the r (1≤r≤r) matching the determined user conversation intention based on the baby emotional state information for each of the generated n emotion items. The virtual object check unit 175 that checks R) virtual object data, and q (1≤q≤r) virtual object data specified in the designated part in the baby's face area on the video data or the area around the baby's face are superimposed and displayed. a dialogue response enhancer 180 that augments the user to respond to the determined user conversation intention based on the baby's emotional state from the baby's point of view through a designated part in the baby's face area or the area around the baby's face, and the determined user from the baby's point of view and a data providing unit 140 that provides transmission data including video data augmented to respond to the conversation intention to the app of the user wireless terminal 185 or the
상기 정보 생성부(170)를 통해 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함하는 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 가상객체 확인부(175)는 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인한다. When the baby emotional state information for each n emotion items including numerical information (or grade information) on the emotional state of the baby for each emotion item is generated through the information generating unit 170, the virtual object check unit 175 confirms r (1≤r≤R) virtual object data matching the determined user conversation intention based on the virtual object matching information and the generated baby emotional state information for each of the n emotion items.
본 발명의 실시 방법에 따르면, 상기 r개의 가상객체 데이터는 상기 판별된 사용자 대화 의도에 대한 아기 감정 상태 기준의 응답으로서 아기 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 상기 판별된 사용자 대화 의도에 대한 아기 감정 상태 기준 응답에 대응하는 문자열을 말풍선 형태로 표시하여 아기 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함할 수 있다. 한편 상기 아기 안면 영역 내의 지정 부위는 아기의 머리카락 부위, 아기의 이마 부위, 아기의 관자놀이 부위, 아기의 양 눈썹 부위, 아기의 양 안과 양 눈썹 사이 부위, 아기의 양 안 부위, 아기의 양 안 사이 부위, 아기의 양 안 바깥쪽 부위, 아기의 양 안 아래쪽 부위, 아기의 양 광대 부위, 아기의 양 볼 부위, 아기의 콧등 부위, 아기의 코 부위, 아기의 인중 부위, 아기의 입 부위, 아기의 입술 부위, 아기의 입 바깥쪽 부위, 아기의 입 아래쪽 부위, 아기의 턱 부위, 아기의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함할 수 있다.According to the implementation method of the present invention, the r virtual object data are virtual object data overlapped and displayed on a designated part in the baby's face area as a response of the baby's emotional state standard to the determined user's conversational intention, and the determined user's conversational intention. The character string corresponding to the baby's emotional state reference response to ' may include at least one virtual object data among virtual object data superimposed on the area around the baby's face by displaying the character string in the form of a speech bubble. On the other hand, the designated part in the baby's facial area is the baby's hair part, the baby's forehead part, the baby's temple part, the baby's eyebrows, the baby's eyes and both eyebrows, the baby's both eyes, between the baby's eyes region, the inner and outer parts of both sides of the baby, the lower part of both sides of the baby's cheeks, the cheeks of the baby's cheeks, the bridge of the baby's nose, the baby's nose, the baby's pharynx, the baby's mouth It may include at least one or a combination of two or more of the lip region of the baby, the outer part of the baby's mouth, the lower part of the baby's mouth, the chin part of the baby, and the neck part of the baby.
상기 가상객체 확인부(175)를 통해 상기 가상객체 매칭 정보와 상기 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r개의 가상객체 데이터가 확인되면, 상기 대화 응답 증강부(180)는 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 중첩 표시할 q개의 가상객체 데이터를 확인 또는 선별한다. When r virtual object data matching the determined user conversation intention is confirmed based on the virtual object matching information and the baby emotional state information for each n emotion item through the virtual object check unit 175, the dialogue response The augmentation unit 180 identifies or selects q pieces of virtual object data to be displayed overlaid on a designated part within the baby's face area or on the area around the baby's face on the video data.
본 발명의 제1 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터를 그대로 포함할 수 있다.According to the first virtual object embodiment of the present invention, the q virtual object data may include the r virtual object data as it is.
본 발명의 제2 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 상기 판별된 사용자 대화 의도에 가장 부합한 것으로 선별된 가상객체 데이터를 포함할 수 있다.According to the second virtual object embodiment of the present invention, the q pieces of virtual object data may include virtual object data selected as the most suitable for the determined user conversation intention among the r pieces of virtual object data.
본 발명의 제3 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 아기 안면 영역 내의 동일 부위에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함할 수 있다.According to the third virtual object embodiment of the present invention, the q pieces of virtual object data may include selected virtual object data so that one virtual object data is displayed overlaid on the same part in the baby's face area among the r pieces of virtual object data. can
본 발명의 제4 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 아기 안면 주변의 동일 영역에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함할 수 있다.According to the fourth virtual object embodiment of the present invention, the q pieces of virtual object data may include selected virtual object data so that one virtual object data is displayed overlaid on the same area around the baby's face among the r pieces of virtual object data. can
상기 대화 응답 증강부(180)는 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 상기 제1 내지 제4 가상객체 실시예 중 적어도 하나 또는 둘 이상의 조합에 대응하는 q개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강한다. The dialog response enhancer 180 is configured to generate q virtual object data corresponding to at least one or a combination of two or more of the first to fourth virtual object embodiments in a designated area in the baby's face area or in the area around the baby's face on the video data. By overlapping display, it is reinforced to respond to the determined user conversation intention based on the baby's emotional state from the baby's point of view through a designated part in the baby's facial area or a baby's face surrounding area.
본 발명의 실시 방법에 따르면, 상기 q개의 가상객체 데이터가 아기 안면 주변 영역에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 대화 응답 증강부(180)는 상기 비디오 데이터 상의 아기 안면의 지향 방향을 인식하며, 이 경우 상기 대화 응답 증강부(180)는 상기 아기 안면의 지향 방향에 대응하는 아기 안면 주변 영역에 상기 지정된 가상객체 데이터를 중첩 표시할 수 있다. According to the implementation method of the present invention, when the q virtual object data includes virtual object data designated to be displayed overlaid on the area around the baby's face, the dialog response enhancer 180 is configured to control the orientation direction of the baby's face on the video data. , and in this case, the dialogue response enhancer 180 may display the designated virtual object data overlaid on the area around the baby's face corresponding to the orientation direction of the baby's face.
본 발명의 실시 방법에 따르면, 상기 q개의 가상객체 데이터가 아기 안면 영역 내의 지정 부위에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 대화 응답 증강부(180)는 상기 비디오 데이터 상의 아기 안면의 지향 방향과 카메라 촬영 방향 간 3차원 좌표계 상의 각도 정보를 산출할 수 있으며, 이 경우 상기 대화 응답 증강부(180)는 상기 산출된 각도 정보를 근거로 상기 지정된 가상객체 데이터의 중첩 표시 방향이 상기 아기 안면 영역 내의 지정 부위 별 방향에 대응하도록 좌표 변환하여 중첩 표시할 수 있다. According to the implementation method of the present invention, when the q virtual object data includes virtual object data designated to be displayed overlaid on a designated part in the baby's facial region, the dialog response enhancer 180 is configured to display the image of the baby's face on the video data. It is possible to calculate angle information on a three-dimensional coordinate system between the orientation direction and the camera shooting direction. In this case, the dialog response enhancer 180 determines the overlap display direction of the designated virtual object data based on the calculated angle information. The coordinates can be transformed to correspond to the direction of each designated part within the facial region and displayed overlaid.
상기 데이터 제공부(140)는 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 q개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하며, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력할 수 있다. 바람직하게, 상기 송신 데이터는 상기 비디오 데이터 외에 오디오 데이터를 더 포함할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. The data providing unit 140 superimposes q virtual object data on a designated part in the baby's face area or a baby's face surrounding area, and displays the baby's emotional state from the baby's point of view through the designated part or baby's face surrounding area in the baby's face area. Transmission data including video data augmented to respond to the determined user conversation intention based on the determined time is provided to the app or
도면2는 본 발명의 실시 방법에 따른 정보 저장/등록 과정을 도시한 도면이다.2 is a diagram illustrating an information storage/registration process according to an embodiment of the present invention.
보다 상세하게 본 도면2는 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하기 위한 지정된 인식 대상(예컨대, 아기 표정, 아기 울음소리, 지정된 센서모듈을 통해 아깅의 지정된 센싱 대사을 센싱한 센싱 값 등) 별 감정상태 판별 정보를 저장하거나, 지정된 대화 의도에 대한 아기 입장의 응답에 대응하는 가상객체 데이터를 운영D/B에 저장하고 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 대화 의도와 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하거나, 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(195)를 매핑하는 정보를 등록받아 지정된 관리D/B에 저장하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 2 shows a designated recognition target for generating baby emotional state information for each designated emotional item (eg, a baby expression, a baby cry, a sensing value sensed by sensing a designated sensing line of Agging through a designated sensor module, etc.) Stores emotional state identification information or stores virtual object data corresponding to the baby's response to the specified conversation intention in the operation D/B, and matches the conversation intention and virtual object data based on the baby's emotional state information for each specified emotional item Storing virtual object matching information, or mapping the camera device 195 with a target to be provided with transmission data including video data of a specific baby in the base through the camera device 195 provided at the designated base As shows a process of registering information and storing it in a designated management D/B, those of ordinary skill in the art to which the present invention pertains may refer to and/or modify this figure 2 to various implementation methods for the above process (For example, an implementation method in which some steps are omitted or the order is changed) may be inferred, but the present invention includes all implementation methods inferred above, and the technical characteristics of the implementation method shown in FIG. This is not limited.
도면2를 참조하면, 상기 운영서버(100)는 아기의 감정 상태를 판별하기 위해 인식하도록 적어도 하나의 지정된 인식 대상(예컨대, 아기 표정, 아기 울음소리, 지저된 센서모듈을 통해 아깅의 지정된 센싱 대사을 센싱한 센싱 값 등) 별 감정상태 판별 정보를 지정된 저장영역이나 운영D/B에 저장하여 관리한다(200). 본 발명의 실시 방법에 따르면, 상기 인식 대상 별 감정상태 판별 정보는 인공지능 기반의 감정상태 판별 정보를 포함하거나 및/또는 패턴 인식 기반의 감정상태 판별 정보를 포함할 수 있다. Referring to Figure 2, the operation server 100 recognizes at least one designated recognition target (eg, baby expression, baby cry, and the specified sensing dialogue of Aging through a sensor module) to recognize in order to determine the emotional state of the baby. The sensed value, etc.) is stored and managed in a designated storage area or operation D/B for each emotional state determination information (200). According to the embodiment of the present invention, the emotional state determination information for each recognition target may include artificial intelligence-based emotional state determination information and/or pattern recognition-based emotional state determination information.
도면2를 참조하면, 상기 운영서버(100)는 아기의 부모나 친인척 또는 보호자 등이 아기에게 대화를 시도하는 대화 의도를 지정된 카테고리 별로 분류한 지정된 P개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고(205), 상기 표정 기반 감정상태 판별 정보와 울음소리 기반 감정상태 판별 정보와 센싱 기반 감정상태 판별 정보 중 적어도 하나의 감정상태 판별 정보를 근거로 생성되는 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장한다(210).Referring to Figure 2, the operation server 100 responds to the baby's position response to the designated P conversation intentions of the baby's parents, relatives, or guardians, etc., which classify the conversation intentions that attempt to talk to the baby by specified category Register and store R (R≥2) virtual object data in the operation D/B (205), and at least one of the expression-based emotional state determination information, the cry-based emotional state determination information, and the sensing-based emotional state determination information Virtual object matching information for matching the P conversation intentions and R virtual object data is stored based on the baby emotional state information for each specified emotional item generated based on the emotional state determination information ( 210 ).
도면2를 참조하면, 상기 운영서버(100)는 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(195)를 매핑하기 위해 사용자 무선단말(185)의 앱으로부터 사용자에 대한 사용자정보, 상기 사용자에게 제공/공급된 카메라장치(195)를 고유 식별하는 카메라장치(195)정보, 상기 사용자 무선단말(185)의 앱을 고유 식별하는 고유식별정보 및 상기 사용자가 설정한 ID/PW정보 등을 지정된 절차에 따라 매핑 등록 요청할 수 있으며(215), 상기 운영서버(100)는 상기 사용자 무선단말(185)의 앱으로부터 상기 사용자정보, 카메라장치(195)정보, 고유식별정보 및 ID/PW정보 등을 지정된 절차에 따라 수신하고(220), 상기 사용자정보, 카메라장치(195)정보, 고유식별정보 및 ID/PW정보 등을 지정된 관리Dd/B에 연계 저장한다(225). 한편 실시 방법에 따라 상기 사용자정보와 카메라장치(195)정보 및 ID/PW정보 등은 상기 카메라장치(195)를 구매하거나 공급받는 사용자가 이용하는 사용자단말이나 상기 사용자의 가입신청서를 접수한 지정된 등록단말을 통해 등록될 수 있다.Referring to FIG. 2 , the operation server 100 includes a target to receive transmission data including video data of a specific baby in the base through a camera device 195 provided at a designated base, and the camera device 195 ) to map the user information about the user from the app of the user wireless terminal 185, the camera device 195 information uniquely identifying the camera device 195 provided/supplied to the user, the user wireless terminal 185 The unique identification information for uniquely identifying the app of the user and the ID / PW information set by the user can be requested for mapping registration according to a specified procedure (215), and the operation server 100 is the app of the user wireless terminal 185. Receives the user information, camera device 195 information, unique identification information, and ID/PW information from the user 220 according to a specified procedure, and receives the user information, camera device 195 information, unique identification information and ID/PW information from 220 . Information and the like are linked and stored in the designated management Dd/B (225). Meanwhile, according to the implementation method, the user information, camera device 195 information, ID/PW information, etc. are a user terminal used by a user who purchases or is supplied with the camera device 195 or a designated registered terminal that has received the user's subscription application can be registered through
도면3은 본 발명의 실시 방법에 따라 지정된 거점의 카메라장치(195)를 통해 획득한 획득 데이터를 전송하여 지정된 저장매체에 저장 관리하는 도시한 도면이다.3 is a diagram illustrating storage and management of the acquired data acquired through the camera device 195 of a designated base according to an embodiment of the present invention and stored in a designated storage medium.
보다 상세하게 본 도면3은 지정된 거점에 구비된 카메라장치(195)의 카메라모듈을 통해 획득한 비디오 데이터를 포함하는 획득 데이터를 운영서버(100)로 전송하여 지정된 저자매체의 특정 저장영역에 저장하여 관리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, this figure 3 shows that the acquired data including the video data acquired through the camera module of the camera device 195 provided at the designated base is transmitted to the operation server 100 and stored in a specific storage area of the designated author media. As an illustration of the management process, those of ordinary skill in the art to which the present invention pertains, refer to and/or modify FIG. 3 and various implementation methods for the process (eg, some steps are omitted, or implementation method in which the order is changed), but the present invention is made including all the inferred implementation methods, and the technical characteristics are not limited only to the implementation method shown in FIG. 3 .
도면3을 참조하면, 상기 카메라장치(195)는 동작을 위한 전원 공급이 확인되면(300), 지정된 절차에 따라 통신모듈을 통해 지정된 운영서버(100)와 지정된 하나 이상의 정보를 교환하여 통신 연결을 요청하며(305), 상기 운영서버(100)는 상기 카메라장치(195)와 지정된 정보를 교환하여 상기 카메라장치(195)의 유효성을 인증한 경우(310), 상기 카메라장치(195)와 통신 연결하고(315), 이에 대응하여 상기 카메라장치(195)로 상기 운영서버(100)와 통신이 연결된다(315).Referring to FIG. 3, when the power supply for operation is confirmed (300), the camera device 195 exchanges one or more specified information with a designated operation server 100 through a communication module according to a designated procedure to establish a communication connection. When requesting (305), the operation server 100 authenticates the validity of the camera device 195 by exchanging specified information with the camera device 195 (310), communication connection with the camera device 195 and (315), communication with the operation server 100 is connected to the camera device 195 in response thereto (315).
한편 상기 운영서버(100)는 상기 카메라장치(195)를 통해 획득된 획득 데이터를 수신하기 위한 일회용주소정보를 동적 생성하고(320), 상기 카메라장치(195)로 상기 생성된 일회용주소정보를 제공하며(325), 상기 카메라장치(195)는 상기 운영서버(100)로부터 상기 일회용주소정보를 수신하고(330), 상기 수신된 일회용주소정보를 상기 획득 데이터를 전송할 목적지 주소로 설정할 수 있으며(335), 상기의 일회용주소정보 생성 내지 목적지 주소로 설정하는 과정은 주기적으로(예컨대, 30초 단위) 반복될 수 있다. On the other hand, the operation server 100 dynamically generates (320) one-time address information for receiving the acquired data obtained through the camera device (195), and provides the generated one-time address information to the camera device (195) and (325), the camera device 195 may receive the one-time address information from the operation server 100 (330), and set the received one-time address information as a destination address to transmit the acquired data (335). ), the process of generating the one-time address information or setting the destination address may be repeated periodically (eg, every 30 seconds).
한편 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 비디오 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Meanwhile, the camera device 195 may acquire video data of a baby in a designated base through the camera module ( 340a ), and transmit the acquired data including the video data to a designated destination address ( 345 ).
또는 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 사운드 입력부를 통해 상기 거점 내의 오디오 데이터를 획득한 후(340b), 상기 비디오 데이터와 오디오 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 195 acquires video data of a baby in a designated base through the camera module (340a), and after acquiring audio data in the base through the sound input unit (340b), the video data and the acquired data including audio data may be transmitted to a designated destination address ( 345 ).
또는 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 센서모듈을 통해 아기의 지정된 센싱 대상을 센싱한 센싱 데이터를 획득한 후(340c), 상기 비디오 데이터와 센싱 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 195 acquires video data of a baby in a designated base through the camera module (340a), and after acquiring sensing data sensing a designated sensing target of the baby through the sensor module (340c) ), the acquired data including the video data and the sensing data may be transmitted to a designated destination address ( 345 ).
또는 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 사운드 입력부를 통해 상기 거점 내의 오디오 데이터를 획득하고(340b), 상기 센서모듈을 통해 아기의 지정된 센싱 대상을 센싱한 센싱 데이터를 획득한 후(340c), 상기 비디오 데이터와 오디오 데이터 및 센싱 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 195 acquires video data of a baby in a designated base through the camera module (340a), acquires audio data in the base through the sound input unit (340b), and uses the sensor module After acquiring the sensing data for sensing the baby's designated sensing target ( 340c ), the acquired data including the video data, the audio data, and the sensing data may be transmitted to the designated destination address ( 345 ).
상기 운영서버(100)는 상기 카메라장치(195)로부터 적어도 비디오 데이터를 포함하는 획득 데이터를 수신하고(350), 상기 수신된 획득 데이터(또는 획득 데이터에 포함된 각각의 데이터)를 지정된 저장매체의 특정 저장영역에 저장하여 관리한다(355).The operation server 100 receives the acquired data including at least video data from the camera device 195 (350), and stores the received acquired data (or each data included in the acquired data) of a designated storage medium. It is stored and managed in a specific storage area (355).
도면4는 본 발명의 실시 방법에 따라 비디오 데이터를 포함하는 송신 데이터를 사용자에게 제공하는 중에 사용자가 아기에게 대화한 사용자 대화 의도를 판별하는 과정을 도시한 도면이다.FIG. 4 is a diagram illustrating a process of determining the user's conversation intention with the baby while the transmission data including video data is provided to the user according to an embodiment of the present invention.
보다 상세하게 본 도면4는 카메라장치(195)를 통해 획득되어 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)을 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 통해 아기에게 대화한 사용자 대화 의도를 판별하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. 다만 본 도면4는 편의 상 송신 데터를 출력 중인 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 오디오 데이터가 획득되는 경우에 운영서버(100)에서 상기 오디오 데이터로부터 사용자의 음성을 인식하여 사용자 대화 의도를 판별하는 실시예를 위주로 본 발명의 특징을 설명할 것이나, 이에 의해 본 발명이 한정되지 아니한다.In more detail, FIG. 4 shows transmission data including video data acquired through the camera device 195 and stored in a specific storage area of a specified storage medium to an app or
도면4를 참조하면, 사용자 무선단말(185)의 앱이나 IPTV(190)는 운영서버(100)로 지정된 거점의 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 요청할 수 있으며(400), 이 경우 운영서버(100)는 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 지정된 거점의 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터 요청을 확인한다(405). 만약 상기 송신 데이터 요청을 확인한 경우, 상기 운영서버(100)는 상기 지정된 거점의 카메라장치(195)를 통해 획득된 비디오 데이터를 포함하는 ??득 데이터를 저장하는 지정된 저장매체의 특정 저장영역을 확인하고 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 절차를 수행하거나 이를 유지하며(410), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력한다(415).Referring to FIG. 4 , the app or
한편 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)에 구비된 사운드 입력부를 통해 입력된 사운드 신호에 대응하는 오디오 데이터를 획득할 수 있다(420). 이 경우 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 획득된 오디오 데이터를 운영서버(100)로 전송하며(425), 상기 운영서버(100)는 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 오디오 데이터를 수신할 수 있다(430). 이 경우 상기 운영서버(100)는 상기 수신된 오디오 데이터에 대한 음성 인식을 시도하여 상기 송신 데이터를 시청하는 사용자가 발화한 내용에 대응하는 문자열을 확인하고(435), 상기 확인된 문자열을 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식한다(440). Meanwhile, while the app or
만약 상기 사용자가 아기에게 대화한 대화 문자열이 인식되면, 상기 운영서버(100)는 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별한다(445).If the conversation string that the user has spoken to the baby is recognized, the operation server 100 analyzes the recognized conversation string to determine the user conversation intention corresponding to at least one of the designated P conversation intentions (445).
도면5는 본 발명의 제1 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.5 is a diagram illustrating a process of responding to a user's conversation intention based on a baby's emotional state according to the first embodiment of the present invention.
보다 상세하게 본 도면5는 사용자 대화 의도를 판별하기 전/중/후의 일 시점에 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 지정된 비디오 데이터를 판독하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 5 shows the baby by n emotion items designated by reading the designated video data to be provided to the app or the
도면5를 참조하면, 상기 도면2의 과정을 통해 인공지능 기반의 표정 기반 감정상태 판별 정보를 생성하여 저장한 경우, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점에 상기 인공지능 기반의 표정 기반 감정상태 판별 정보를 통해 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 지정된 비디오 데이터를 판독하는 절차를 수행하여 상기 비디오 데이터의 아기 표정에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별한다(a00). Referring to FIG. 5, when artificial intelligence-based expression-based emotional state determination information is generated and stored through the process of FIG. 2, the operation server 100 stores a specific storage medium specified through the process of FIG. The transmission data including the video data stored in the area is provided to the app of the designated user wireless terminal 185 or the
한편 상기 도면2의 과정을 통해 패턴 인식 기반의 표정 기반 감정상태 판별 정보를 생성하여 저장한 경우, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점에 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식한다(500). On the other hand, when the expression-based emotional state determination information based on pattern recognition is generated and stored through the process of FIG. 2, the operation server 100 stores video data stored in a specific storage area of the storage medium designated through the process of FIG. The user wireless terminal 185 at a point in time before, during, or after determining the user's conversation intention through the process of FIG. 4 while providing transmission data including a specified user wireless terminal 185 to the app or
만약 상기 비디오 데이터를 근거로 i개의 아기 표정 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e개의 아기 표정 패턴 정보를 확인하고(505), 상기 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1개의 아기 감정 항목을 판별한다(510).If the facial expression recognition information of i babies is recognized based on the video data, the operation server 100 determines the recognized i based on the expression-based emotional state determination information stored in the operation D/B through the process of FIG. 2 . The e baby expression pattern information matched with the baby expression recognition information and the preset similarity level or more is checked (505), and n1 baby emotion items having a matching relationship with the e baby expression pattern information are determined (510).
만약 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 아기 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 판별한다(515). If n1 baby emotion items corresponding to the recognized i baby expression recognition information are determined, the operation server 100 determines a matching ratio between the recognized i baby expression recognition information and the e baby expression pattern information. Based on the basis, n1 emotion items obtained by reading the numerical relationship of correlation between the e baby expression pattern information and n1 baby emotion items to quantify the baby emotional state for each n1 emotion items corresponding to the recognized i baby expression recognition information A star baby emotional state value is determined (515).
만약 상기 n1개의 감정 항목 별 아기 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 판별된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한다(520).If the baby emotional state values for each of the n1 emotional items are calculated, the operation server 100 uses the determined baby emotional state values for each of the n1 emotional items to display the baby for each of the n designated emotional items on the video data. Emotional state information is generated ( 520 ).
만약 상기 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(525), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강 처리하며(530), 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 제공한다(535). 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(540). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If the baby emotional state information for each of the n emotion items is generated, the operation server 100 stores the virtual object matching information stored in the operation D/B through the process of FIG. 2 and the baby emotional state for each of the generated n emotion items. Based on the information, r (1≤r≤R) virtual object data matching the determined user conversation intention is checked (525), and a video to be provided to the app of the user wireless terminal 185 or the
도면6은 본 발명의 제2 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.6 is a diagram illustrating a process of responding to a user's conversation intention based on the baby's emotional state according to the second embodiment of the present invention.
보다 상세하게 본 도면6은 지정된 비디오 데이터와 연계된 오디오 데이터를 판독하여 인식된 아기 울음소리 인식 정보를 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 6 shows baby emotional state information for each of n designated emotion items using (additional) baby cry recognition information recognized by reading audio data linked with designated video data, and then determining the determination based on this. By confirming virtual object data matching the user's conversational intention, by augmenting and providing a designated part in the baby's face area or an area around the baby's face on designated video data to be provided to the app or
도면6을 참조하면, 상기 도면2의 과정을 통해 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 생성하여 저장한 경우, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점, 또는 상기 도면5에 도시된 아기 표정 인식 기반의 n1개의 감정 항목 별 아기 감정 상태 값 산출 과정과 연동하여, 상기 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 통해 지정된 비디오 데이터와 연계된 오디오 데이터를 판독하는 절차를 수행하여 상기 오디오 데이터의 아기 울음소리에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 값을 판별한다(b00). Referring to FIG. 6, when artificial intelligence-based cry-based emotional state determination information is generated and stored through the process of FIG. 2, the operation server 100 determines the specific storage medium specified through the process of FIG. A point in time before, during, and after determining the user's conversation intention through the process of FIG. 4 while providing transmission data including video data stored in the storage area to the app of the designated user wireless terminal 185 or to the
한편 상기 도면2의 과정을 통해 패턴 인식 기반의 표정 기반 감정상태 판별 정보를 생성하여 저장한 경우, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점, 또는 상기 도면5에 도시된 아기 표정 인식 기반의 n1개의 감정 항목 별 아기 감정 상태 값 산출 과정과 연동하여, 지정된 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 아기에 대한 j개의 아기 울음소리 인식 정보를 인식한다(600). On the other hand, when the expression-based emotional state determination information based on pattern recognition is generated and stored through the process of FIG. 2, the operation server 100 stores video data stored in a specific storage area of the storage medium designated through the process of FIG. A time point before, during, or after determining the user's conversation intention through the process of FIG. 4, or as shown in FIG. 5, while providing transmission data including In conjunction with the process of calculating the baby emotional state value for each n1 emotion item based on the baby's facial expression recognition, it reads audio data of a certain section linked to the specified video data to recognize the j number of baby cry recognition information for the specific baby. do (600).
만약 상기 오디오 데이터를 근거로 j개의 아기 울음소리 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 울음소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c개의 아기 울음소리 패턴 정보를 확인하고(605), 상기 확인된 c개의 아기 울음소리 패턴 정보와 매칭 관계를 지닌 n2개의 아기 감정 항목을 판별한다(610).If j baby cry recognition information is recognized based on the audio data, the operation server 100 recognizes the recognition based on the crying sound-based emotional state determination information stored in the operation D/B through the process of FIG. 2 . Check the c baby cry pattern information matched with the j pieces of baby cry recognition information and the preset standard similarity or more (605), and n2 baby emotion items having a matching relationship with the identified c baby cry pattern information is determined (610).
만약 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 아기 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 j개의 아기 울음소리 인식 정보와 상기 c개의 아기 울음소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 아기 울음소리 패턴 정보와 n2개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 감정 항목 별 아기 감정 상태를 수치화한 n2개의 감정 항목 별 아기 감정 상태 값을 판별한다(615). If n2 baby emotion items corresponding to the recognized j pieces of baby cry recognition information are determined, the operation server 100 is configured to perform a difference between the recognized j baby cry recognition information and the c baby cry pattern information. Based on the matching ratio, the correlation numerical relationship between the c baby cry pattern information and n2 baby emotion items is read, and the baby emotional state for each n2 emotion items corresponding to the recognized j baby cry recognition information is digitized. A baby emotional state value for each n2 emotion items is determined (615).
만약 상기 n2개의 감정 항목 별 아기 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 판별된 n2개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(620).If the baby emotional state values for each of the n2 emotional items are calculated, the operation server 100 uses the determined baby emotional state values for each of the n2 emotional items to display the baby for each of the n designated emotional items on the video data. Emotional state information may be generated ( 620 ).
한편 상기 n2개의 감정 항목 별 아기 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면5의 과정을 통해 n1개의 감정 항목 별 아기 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 판별된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 n2개의 감정 항목 별 아기 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(620).On the other hand, when the baby emotional state value for each n1 emotion item is calculated through the process of FIG. 5 at a point before, during, or after the baby emotional state value for each of the n2 emotion items is calculated, the operation server 100 is By combining the determined baby emotional state values for each of the n1 emotional items and the baby emotional state values for the n2 emotional items, it is possible to generate baby emotional state information for each of the n designated emotional items that can be displayed on the video data (620). .
만약 상기 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(625), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강 처리하며(630), 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 제공한다(635). 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(640). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If the baby emotional state information for each of the n emotion items is generated, the operation server 100 stores the virtual object matching information stored in the operation D/B through the process of FIG. 2 and the baby emotional state for each of the generated n emotion items. Based on the information, r (1≤r≤R) virtual object data matching the determined user conversation intention is checked (625), and the video to be provided to the app of the user wireless terminal 185 or the
도면7은 본 발명의 제3 실시 방법에 따라 아기 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.7 is a diagram illustrating a process of responding to a user's conversation intention based on the baby's emotional state according to the third embodiment of the present invention.
보다 상세하게 본 도면7은 지정된 비디오 데이터 및/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 인식된 센싱 값 인식 정보를 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 증강하여 제공함으로써 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면7을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면7에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 7 shows that the baby emotional state information for each n emotion items specified by reading the sensing data associated with the specified video data and/or audio data is generated and using (additionally) the recognized sensing value recognition information. Based on the determined virtual object data matching the user's conversational intention, a designated part within the baby's face area or the baby's face area on the designated video data to be provided to the app of the user wireless terminal 185 or
도면7을 참조하면, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점, 또는 상기 도면5에 도시된 아기 표정 인식 기반의 n1개의 감정 항목 별 아기 감정 상태 값 산출 과정과 연동하거나, 또는 상기 도면6에 도시된 아기 울음소리 인식 기반의 n2개의 감정 항목 별 아기 감정 상태 값 산출 과정과 연동하여, 지정된 비디오 데이터 및/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k개의 센싱 값 인식 정보를 인식한다(700). Referring to FIG. 7 , the operation server 100 transmits transmission data including video data stored in a specific storage area of a storage medium designated through the process of FIG. 3 to the app of the designated user wireless terminal 185 or the
만약 상기 센싱 데이터를 근거로 k개의 센싱 값 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s개의 센싱 값 패턴 정보를 확인하고(705), 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3개의 아기 감정 항목을 판별한다(710).If k sensed value recognition information is recognized based on the sensing data, the operation server 100 determines the k recognized based on the sensing-based emotional state determination information stored in the operation D/B through the process of FIG. 2 . Check the s sensed value recognition information and the s sensed value pattern information that is matched with more than a preset reference similarity (705), and n3 baby emotion items having a matching relationship with the s sensed value pattern information are determined (710 ).
만약 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 아기 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 판별한다(715). If n3 baby emotion items corresponding to the recognized k sensed value recognition information are determined, the operation server 100 determines a matching ratio between the recognized k sensed value recognition information and the s sensed value pattern information. Based on the s sensed value pattern information and the correlation numerical relationship between the n3 baby emotion items, the n3 emotion items obtained by digitizing the baby emotional state for each of the n3 emotion items corresponding to the recognized k sensed value recognition information A star baby emotional state value is determined (715).
만약 상기 n3개의 감정 항목 별 아기 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 판별된 n3개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(720).If the baby emotional state values for each of the n3 emotional items are calculated, the operation server 100 uses the determined baby emotional state values for each of the n3 emotional items to display the baby for each of the n designated emotional items on the video data. Emotional state information may be generated ( 720 ).
한편 상기 n3개의 감정 항목 별 아기 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면5의 과정을 통해 n1개의 감정 항목 별 아기 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 판별된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(720).On the other hand, when the baby emotional state value for each n1 emotion item is calculated through the process of FIG. 5 at a time point before, during, or after the baby emotional state value for each of the n3 emotion items is calculated, the operation server 100 is By combining the determined baby emotional state values for each of the n1 emotional items and the n3 emotional state values for each of the n3 emotional items, it is possible to generate baby emotional state information for each of the n designated emotional items that can be displayed on the video data (720). .
또는 상기 n3개의 감정 항목 별 아기 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면5의 과정을 통해 n1개의 감정 항목 별 아기 감정 상태 값이 산출되고 상기 도면6의 과정을 통해 n2개의 감정 항목 별 아기 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 판별된 n1개의 감정 항목 별 아기 감정 상태 값과 n2개의 감정 항목 별 아기 감정 상태 값 및 상기 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(720).Alternatively, at a point in time before, during, or after the baby emotional state values for each of the n3 emotional items are calculated, the baby emotional state values for each n1 emotion items are calculated through the process of FIG. 5, and n2 values of the baby emotional state values are calculated through the process of FIG. When the baby emotional state value for each emotion item is calculated, the operation server 100 determines the baby emotional state value for each of the n1 emotion items, the baby emotional state value for each n2 emotion item, and the baby emotion for each of the n3 emotion items. By combining the state values, it is possible to generate baby emotional state information for each of n designated emotional items that can be displayed on the video data ( 720 ).
만약 상기 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(725), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강 처리하며(730), 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 제공한다(735). 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(740). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If the baby emotional state information for each of the n emotion items is generated, the operation server 100 stores the virtual object matching information stored in the operation D/B through the process of FIG. 2 and the baby emotional state for each of the generated n emotion items. Based on the information, r (1≤r≤R) virtual object data matching the determined user conversation intention is checked (725), and a video to be provided to the app of the user wireless terminal 185 or the
100 : 운영서버
105 : 정보 관리부
110 : 가상객체 관리부
115 : 정보 매칭부
120 : 정보 등록부
125 : 통신 관리부
130 : 데이터 수신부
135 : 데이터 저장부
140 : 데이터 제공부
145 : 대화 인식부
150 : 대화 의도 판별부
155 : 정보 인식부
160 : 정보 판별부
165 : 감정 상태 판별부
170 : 정보 생성부
175 가상객체 확인부
180 : 대화 응답 증강부
185 : 무선단말
190 : IPTV
195 : 카메라장치100: operation server 105: information management unit
110: virtual object management unit 115: information matching unit
120: information register 125: communication management unit
130: data receiving unit 135: data storage unit
140: data providing unit 145: conversation recognition unit
150: conversation intention determining unit 155: information recognition unit
160: information determination unit 165: emotional state determination unit
170: information generation unit 175 virtual object verification unit
180: dialogue response enhancement unit 185: wireless terminal
190: IPTV 195: camera device
Claims (41)
지정된 인공지능 기반의 학습(Learning) 과정을 통해 아기 표정에 대응하는 지정된 감정 항목 별 아기 감정 상태 값을 판별하기 위한 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 아기 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하는 제1 단계;
상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 제2 단계;
지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하는 제3 단계;
상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 아기에게 대화한 대화 문자열을 인식하는 제4 단계;
상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하는 제5 단계;
상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 상기 인공지능 기반의 표정 기반 감정상태 판별 정보를 통해 지정된 비디오 데이터를 판독하는 절차를 수행하여 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목을 근거로 상기 비디오 데이터의 아기 표정에 대응하는 n1(1≤n1≤N1)개의 감정 항목 별 아기 감정 상태 값을 판별하는 제6 단계;
상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성하는 제7 단계;
상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 제8 단계;
비디오 데이터 상의 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 내의 지정 부위나 아기 안면 주변 영역을 통해 아기 입장에서 아기 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 제9 단계; 및
상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공하는 제10 단계;를 포함하는 아기의 감정 상태를 이용한 대화 처리 방법.
A method executed through an operation server having a sound input unit, a sound output unit, and a camera module to communicate with a camera device provided at a designated base,
Through a designated AI-based learning process, expression-based emotional state determination information to determine the baby emotional state value for each specified emotional item corresponding to the baby's expression is created and stored in the designated storage area, and the specified P (P≥ 2) Register and store R (R≥2) virtual object data corresponding to the baby's response to the conversation intentions in the operation D/B, and based on the baby emotional state information for each specified emotion item, the P conversation intentions A first step of storing virtual object matching information that matches the R virtual object data;
Video data encoded in a specified manner by photographing a specific baby in the base through the camera module of the camera device and audio data encoded in a specified manner input through the sound input unit of the camera device are received and stored in a specified storage medium a second step of managing storage in the area;
a third step of performing or maintaining a procedure for providing transmission data including video data stored in a specific storage area of the storage medium to an App or IPTV of a designated user wireless terminal;
a fourth step of identifying and reading a character string corresponding to the user's voice or text acquired through the app or IPTV of the user wireless terminal, and recognizing the conversation string the user talked to the baby;
a fifth step of analyzing the recognized conversation string to determine a user conversation intention corresponding to at least one of the designated P conversation intentions;
Among the N (N≥2) baby emotion items specified by performing a procedure of reading the video data specified through the artificial intelligence-based expression-based emotional state determination information at a time point before, during, or after determining the user's conversation intention Based on the N1 (1≤N1≤N) baby emotion items that can be distinguished through the baby expression, the first method for determining the baby emotional state value for each n1 (1≤n1≤N1) emotion item corresponding to the baby expression in the video data Step 6;
a seventh step of generating baby emotional state information for each n (1≤n≤N) specified emotion items by using the calculated baby emotional state values for each of the n1 emotional items;
an eighth step of identifying r (1≤r≤R) virtual object data matching the determined user conversation intention based on the virtual object matching information and the generated baby emotional state information for each of the n emotion items;
Overlaid display of q (1≤q≤r) virtual object data specified in the designated area within the baby's face area or the area around the baby's face on the video data, and view the baby from the baby's point of view through the designated area in the baby's face area a ninth step of augmenting to respond to the determined user conversation intention based on the emotional state; and
Conversation processing method using a baby's emotional state, including; a 10th step of providing transmission data including video data augmented to respond to the determined user's conversation intention to an app or IPTV of the user's wireless terminal for a specified period of time.
지정된 인공지능 기반의 학습(Learning) 과정을 수행하여 지정된 E(E≥2)개의 아기 표정 중 지정된 아기 안면 영역에 대응하는 e(1≤e≤E)개의 아기 표정을 판별하고, 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목을 기반으로 상기 판별된 e개의 아기 표정과 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별하고, 상기 확인된 e개의 아기 표정과 n1개의 아기 감정 항목 간 상관도에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the first step,
By performing a specified AI-based learning process, e(1≤e≤E) baby expressions corresponding to the specified baby facial area are determined among the specified E(E≥2) baby expressions, and N(N Among ≥2) baby emotion items, n1 (1≤n1≤N1) items having a matching relationship with the e number of baby expressions determined above based on N1 (1≤N1≤N) baby emotion items that can be distinguished through baby expressions Determining baby emotion items, generating expression-based emotional state determination information for determining baby emotional state values for each n1 emotion item corresponding to the correlation between the identified e baby expressions and n1 baby emotion items, and storing the specified Conversation processing method using a baby's emotional state, characterized in that it comprises the step of storing in the area.
지정된 E(E≥2)개의 아기 표정 중 지정된 e(1≤e≤E)개의 아기 표정에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 안면 영역을 포함하는 장면에 대응하는 복수의 비디오 정보들을 입력받고, 상기 입력된 복수의 비디오 정보에 대한 n1(1≤n1≤N1)개의 감정 항목 별 아기 감정 상태 값을 출력변수로 설정하는 단계;
상기 입력된 복수의 비디오 정보들에 포함된 아기 안면 영역의 지정된 특징점 간 기하학 관계를 판독하고 패턴 인식하여 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값에 대응하는 P(P≥2)개의 장면 패턴 특성 정보를 추출하여 입력변수(Feature Vectors)로 설정하는 단계;
지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 아기 안면 영역을 포함하는 복수의 장면들 중 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the first step,
N1 (1≤N1≤) that can be distinguished through the baby expression among the specified N(N≥2) baby emotion items while corresponding to the specified e(1≤e≤E) baby expressions among the specified E(E≥2) baby expressions Receive a plurality of video information corresponding to a scene including N) baby emotion items and a baby facial region having a specified correlation, and n1 (1≤n1≤N1) emotion items for the input plurality of video information setting a star baby emotional state value as an output variable;
By reading the geometric relationship between the specified feature points of the baby's facial area included in the plurality of input video information and recognizing the pattern, P(P() corresponding to the baby's emotional state value for each n1 emotion item corresponding to the baby's expression in the baby's facial area. extracting P≥2) pieces of scene pattern characteristic information and setting them as input variables (Feature Vectors);
Through a designated artificial intelligence algorithm, more than a specified number of the input and output variables are learned to determine the baby's emotional state value for each n1 emotion item corresponding to the baby's expression in the baby's facial area among a plurality of scenes including the baby's facial area Conversation processing method using a baby's emotional state, characterized in that it comprises; generating expression-based emotional state determination information for the purpose of storing the information in a designated storage area.
지정된 E(E≥2)개의 아기 표정 중 지정된 e(1≤e≤E)개의 아기 표정에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정을 통해 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 안면 영역을 포함하는 장면에 대응하는 복수의 비디오 정보들의 아기 안면 영역의 지정된 특징점 간 기하학 관계를 판독하고 패턴 인식하여 상기 아기 안면 영역의 아기 표정에 대응하는 n1(1≤n1≤N1)개의 감정 항목 별 아기 감정 상태 값의 패턴 특성으로 추출된 P(P≥2)개의 장면 패턴 특성 정보를 입력변수(Feature Vectors)로 입력받고, 상기 P개의 장면 패턴 특성 정보가 추출된 비디오 정보에 대한 n1개의 감정 항목 별 아기 감정 상태 값을 출력변수로 설정하는 단계;
지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 아기 안면 영역을 포함하는 복수의 장면들 중 상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 표정 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the first step,
N1 (1≤N1≤) that can be distinguished through the baby expression among the specified N(N≥2) baby emotion items while corresponding to the specified e(1≤e≤E) baby expressions among the specified E(E≥2) baby expressions By reading and pattern recognition geometrical relationships between designated feature points of a baby's facial area of a plurality of video information corresponding to a scene including N) baby emotion items and a baby's facial area having a specified correlation, the baby's facial expression in the baby's facial area P (P≥2) scene pattern characteristic information extracted as pattern characteristics of baby emotional state values for each corresponding n1 (1≤n1≤N1) emotion items are input as input variables (Feature Vectors), and the P scenes setting a baby emotional state value for each n1 emotional item with respect to the video information from which the pattern characteristic information is extracted as an output variable;
Through a designated artificial intelligence algorithm, more than a specified number of the input and output variables are learned to determine the baby's emotional state value for each n1 emotion item corresponding to the baby's expression in the baby's facial area among a plurality of scenes including the baby's facial area Conversation processing method using a baby's emotional state, characterized in that it comprises; generating expression-based emotional state determination information for the purpose of storing the information in a designated storage area.
상기 비디오 정보에 포함된 상기 아기 안면 영역에 대응하는 e개의 아기 표정 정보와,
상기 아기 안면 영역의 아기 표정에 대응하는 n1개의 아기 감정 항목 정보 중 적어도 하나의 정보를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
5. The method of claim 3 or 4, wherein the output variable is
e pieces of baby expression information corresponding to the baby facial region included in the video information;
and at least one piece of information among n1 pieces of baby emotion item information corresponding to the baby's facial expression in the baby's facial area.
아기의 상태를 질의하는 대화 카테고리에 대응하는 대화 의도,
아기의 감정 표현을 유도하는 대화 카테고리에 대응하는 대화 의도,
아기의 반응을 유발하는 대화 카테고리에 대응하는 대화 의도 중 적어도 하나의 대화 의도를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 1, wherein the P conversation intentions are:
conversational intent corresponding to the conversational category inquiring about the baby's condition;
Conversational intentions corresponding to conversational categories that induce the baby's emotional expression;
A dialog processing method using a baby's emotional state, characterized in that it includes at least one dialog intention among dialog intentions corresponding to a dialog category that induces a reaction of the baby.
지정된 대화 의도에 대한 아기 입장의 응답으로서 아기 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터,
지정된 대화 의도에 대한 아기 입장의 응답에 대응하는 문자열을 말풍선 형태로 표시하여 아기 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the R virtual object data,
Virtual object data that is displayed overlaid on a designated part within the baby's face area as a response of the baby's position to the designated conversation intention;
The emotional state of the baby, characterized in that it includes at least one virtual object data among virtual object data that is displayed overlaid on the area around the baby's face by displaying a character string corresponding to the baby's response to the designated conversation intention in the form of a speech bubble How to deal with conversations.
상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 포함하는 동영상 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the second step,
Conversation processing method using a baby's emotional state, characterized in that it comprises the step of receiving the video data including the video data and the audio data from the camera device and storing and managing in a specific storage area of a designated storage medium.
상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 각기 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the second step,
and receiving the video data and audio data from the camera device, respectively, and storing and managing them in a specific storage area of a designated storage medium.
상기 카메라장치로부터 수신된 상기 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
10. The method of claim 9, wherein the second step,
Conversation processing method using a baby's emotional state, characterized in that it further comprises the step of synchronizing the time of the video data and the audio data received from the camera device and storing them in a specific storage area of a designated storage medium.
상기 저장매체의 특정 저장영역에 저장된 오디오 데이터를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the transmission data,
Conversation processing method using a baby's emotional state, characterized in that it further comprises audio data stored in a specific storage area of the storage medium.
지정된 재생 시간 단위 별로 주기적으로 선별되는 비디오 데이터,
지정된 재생 프레임 수 별로 주기적으로 선별되는 비디오 데이터 중 적어도 하나의 비디오 데이터를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method according to claim 1, wherein the designated video data comprises:
Video data that is periodically screened by a specified unit of playing time;
Conversation processing method using a baby's emotional state, characterized in that it includes at least one video data among video data periodically selected for each specified number of reproduction frames.
상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 획득된 오디오 데이터를 수신하는 단계; 및
상기 수신된 오디오 데이터에 대한 음성 인식을 시도하여 상기 송신 데이터를 시청하는 사용자가 발화한 내용에 대응하는 문자열을 확인하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the fourth step,
Receiving the audio data obtained through an app or IPTV of the user wireless terminal receiving and outputting the transmission data; and
Conversation processing method using a baby's emotional state, characterized in that it comprises; verifying a character string corresponding to the content uttered by the user viewing the transmission data by attempting voice recognition on the received audio data.
상기 오디오 데이터를 상기 카메라장치로 전송하여 상기 카메라장치의 사운드 출력부를 통해 출력하도록 처리하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
14. The method of claim 13,
Conversation processing method using a baby's emotional state, characterized in that it further comprises the step of transmitting the audio data to the camera device and outputting it through a sound output unit of the camera device.
상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 상기 송신 데이터를 시청하는 사용자가 발화한 음성을 인식한 문자열을 수신하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the fourth step,
Using the emotional state of a baby, characterized in that it comprises the step of receiving a character string recognizing the voice uttered by the user viewing the transmission data through an app or IPTV of the user's wireless terminal that receives and outputs the transmission data How to handle conversations.
상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 입력된 문자열을 수신하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the fourth step,
Conversation processing method using a baby's emotional state, characterized in that it comprises the step of receiving a character string input through an app or IPTV of the user's wireless terminal receiving and outputting the transmission data.
상기 인공지능 기반의 표정 기반 감정상태 판별 정보를 통해 지정된 비디오 데이터를 판독하는 절차를 수행하여 지정된 E개의 아기 표정 중 상기 비디오 데이터 상의 아기 안면 영역에 대응하는 e개의 아기 표정을 판별하고, 아기 표정을 통해 구별 가능한 N1개의 아기 감정 항목 중 상기 판별된 e개의 아기 표정과 매칭 관계를 지닌 n1개의 아기 감정 항목을 판별하고, 상기 확인된 e개의 아기 표정과 n1개의 아기 감정 항목 간 상관도에 대응하는 n1개의 감정 항목 별 아기 감정 상태 값을 판별하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the sixth step,
By performing a procedure of reading the video data specified through the expression-based emotional state determination information based on the artificial intelligence, the e baby expressions corresponding to the baby face area on the video data are determined among the E baby expressions specified, and the baby expressions are determined. Among the N1 baby emotion items that can be distinguished through the n1 baby emotion items, n1 baby emotion items having a matching relationship with the identified e baby expressions are determined, and n1 corresponding to the correlation between the identified e baby expressions and n1 baby emotion items. A conversation processing method using a baby's emotional state, comprising the step of determining the baby's emotional state value for each emotional item.
지정된 인공지능 기반의 학습(Learning) 과정을 통해 아기 울음소리에 대응하는 지정된 감정 항목 별 아기 감정 상태 값을 판별하기 위한 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the first step,
It further includes the step of generating cry-based emotional state determination information to determine the baby emotional state value for each designated emotional item corresponding to the baby's cry through a designated artificial intelligence-based learning process and storing it in a designated storage area Conversation processing method using the emotional state of the baby, characterized in that made by
지정된 인공지능 기반의 학습(Learning) 과정을 수행하여 지정된 C(C≥2)개의 아기 울음소리 중 지정된 아기 울음에 대응하는 c(1≤c≤C)개의 아기 울음소리를 판별하고, 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목을 기반으로 상기 판별된 c개의 아기 울음소리와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 아기 감정 항목을 판별하고, 상기 확인된 c개의 아기 울음소리와 n2개의 아기 감정 항목 간 상관도에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 18, wherein the first step comprises:
Performs a designated AI-based learning process to determine c(1≤c≤C) baby cries corresponding to the designated baby cry among the designated C (C≥2) baby cries, and determines the designated N( Among the N≥2) baby emotion items, n2 (1≤n2≤) having a matching relationship with the c baby crying sounds determined above based on N2 (1≤N2≤N) baby emotion items that can be distinguished through baby cry sounds. Cry-based emotional state determination information for determining N2) baby emotion items and determining baby emotional state values for each n2 emotion items corresponding to the correlation between the identified c baby cry sounds and n2 baby emotion items Conversation processing method using a baby's emotional state, characterized in that it comprises the step of generating and storing in a designated storage area.
지정된 C(C≥2)개의 아기 울음소리 중 지정된 c(1≤c≤C)개의 아기 울음소리에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 울음에 대응하는 복수의 오디오 정보들을 입력받고, 상기 입력된 복수의 오디오 정보에 대한 n2(1≤n2≤N2)개의 감정 항목 별 아기 감정 상태 값을 출력변수로 설정하는 단계;
상기 입력된 복수의 오디오 정보들을 판독하고 패턴 인식하여 상기 아기 울음소리에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값에 대응하는 Q(Q≥2)개의 소리 패턴 특성 정보를 추출하여 입력변수(Feature Vectors)로 설정하는 단계;
지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 지정된 오디오 데이터에 포함된 아기 울음소리에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 18, wherein the first step comprises:
N2(1) distinguishable through baby cry among N(N≥2) specified baby emotion items while corresponding to specified c(1≤c≤C) baby cries out of C(C≥2) specified baby cries ≤N2≤N) baby emotion items and a plurality of audio information corresponding to a crying baby having a specified correlation are received, and n2 (1≤n2≤N2) baby emotion items for the inputted audio information are received. setting the emotional state value as an output variable;
By reading out the plurality of input audio information and pattern recognition, Q (Q≥2) pieces of sound pattern characteristic information corresponding to the baby emotional state values for each n2 emotion items corresponding to the crying sound are extracted and input variables (Features) Vectors);
Cry-based emotional state determination information for determining the baby emotional state value for each n2 emotional items corresponding to the baby cry included in the specified audio data by learning more than a specified number of the input and output variables through a specified artificial intelligence algorithm Conversation processing method using a baby's emotional state, characterized in that it comprises; generating and storing in a designated storage area.
지정된 C(C≥2)개의 아기 울음소리 중 지정된 c(1≤c≤C)개의 아기 울음소리에 대응하면서 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목과 지정된 상관도를 지닌 아기 울음에 대응하는 복수의 오디오 정보들을 판독하고 패턴 인식하여 상기 아기 울음소리에 대응하는 n2(1≤n2≤N2)개의 감정 항목 별 아기 감정 상태 값의 패턴 특성으로 추출된 Q(Q≥2)개의 소리 패턴 특성 정보를 입력변수(Feature Vectors)로 입력받고, 상기 Q개의 소리 패턴 특성 정보가 추출된 오디오 정보에 대한 n2개의 감정 항목 별 아기 감정 상태 값을 출력변수로 설정하는 단계;
지정된 인공지능 알고리즘을 통해 지정 개수 이상의 상기 입력변수와 출력변수를 학습시켜 지정된 오디오 데이터에 포함된 아기 울음소리에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하기 위한 울음소리 기반 감정상태 판별 정보를 생성하여 지정된 저장영역에 저장하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 18, wherein the first step comprises:
N2(1) distinguishable through baby cry among N(N≥2) specified baby emotion items while corresponding to specified c(1≤c≤C) baby cries out of C(C≥2) specified baby cries ≤N2≤N) baby emotion items and n2 (1≤n2≤N2) baby emotion items corresponding to the baby crying sound by reading a plurality of audio information corresponding to the crying baby with a specified correlation and recognizing the pattern Q (Q≥2) sound pattern characteristic information extracted as the pattern characteristic of the emotional state value is input as an input variable (Feature Vectors), and the Q sound pattern characteristic information is extracted by n2 emotional items for the extracted audio information. setting the baby emotional state value as an output variable;
Cry-based emotional state determination information for determining the baby emotional state value for each n2 emotional items corresponding to the baby cry included in the specified audio data by learning more than a specified number of the input and output variables through a specified artificial intelligence algorithm Conversation processing method using a baby's emotional state, characterized in that it comprises; generating and storing in a designated storage area.
상기 오디오 정보에 포함된 상기 아기 울음에 대응하는 c개의 아기 울음소리 정보와,
상기 아기 울음소리에 대응하는 n2개의 아기 감정 항목 정보 중 적어도 하나의 정보를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
22. The method of claim 20 or 21, wherein the output variable is
c baby cry information corresponding to the baby cry included in the audio information;
Conversation processing method using a baby's emotional state, characterized in that it further comprises at least one piece of information among n2 pieces of baby emotion item information corresponding to the baby's cry.
상기 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 통해 지정된 오디오 데이터를 판독하는 절차를 수행하여 지정된 N(N≥2)개의 아기 감정 항목 중 아기 울음소리를 통해 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목을 근거로 상기 오디오 데이터의 아기 울음소리에 대응하는 n2(1≤n2≤N2)개의 감정 항목 별 아기 감정 상태 값을 판별하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 18, wherein the third step comprises:
N2 (1≤N2≤N) distinguishable through baby cry among N (N≥2) specified baby emotion items by performing a procedure of reading specified audio data through the AI-based cry-based emotional state determination information ) Baby emotion items, characterized in that it further comprises the step of determining the baby emotional state value for each n2 (1≤n2≤N2) emotion items corresponding to the baby cry of the audio data based on the baby emotion items How to handle conversations using state.
상기 인공지능 기반의 울음소리 기반 감정상태 판별 정보를 통해 지정된 오디오 데이터를 판독하는 절차를 수행하여 지정된 C개의 아기 울음소리 중 상기 오디오 데이터 상의 아기 울음에 대응하는 c개의 아기 울음소리를 판별하고, 아기 울음소리를 통해 구별 가능한 N2개의 아기 감정 항목 중 상기 판별된 c개의 아기 울음소리와 매칭 관계를 지닌 n2개의 아기 감정 항목을 판별하고, 상기 확인된 c개의 아기 울음소리와 n2개의 아기 감정 항목 간 상관도에 대응하는 n2개의 감정 항목 별 아기 감정 상태 값을 판별하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 23, wherein the third step comprises:
By performing a procedure of reading designated audio data through the artificial intelligence-based cry-based emotional state determination information, c baby cries corresponding to baby cries on the audio data are determined among C designated baby cries, Among the N2 baby emotion items that can be distinguished through a cry, n2 baby emotion items having a matching relationship with the identified c baby cry are determined, and the correlation between the identified c baby cry and n2 baby emotion items Conversation processing method using a baby's emotional state, comprising the step of determining the baby's emotional state value for each n2 emotional items corresponding to the figure.
상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 23 or 24, wherein the fourth step comprises:
and generating baby emotional state information for each of the n designated emotional items by additionally using the calculated baby emotional state values for each of the n2 emotional items.
상기 제1 단계는,
상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장하는 단계를 더 포함하고,
상기 제2 단계는,
상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터를 수신하고 상기 비디오 데이터와 연계하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 더 포함하며,
상기 제6 단계는,
상기 비디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식하고,
상기 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인하고 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 아기 감정 항목을 판별하고,
상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 산출하는 단계를 더 포함하고,
상기 제7 단계는,
상기 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 1,
The first step is
Among the sensing data sensed through the sensor module provided in or linked to the camera device, S (S≥2) sensing value pattern information for the sensing data of the specified sensing target related to the emotional expression of the baby and the N specified baby emotion items Sensing that quantifies the matching relationship information between N3 (1≤N3≤N) baby emotion items and the correlation between the S sensed value pattern information and N3 baby emotion items that can be distinguished based on the sensing value pattern of the specified sensing target Further comprising the step of registering and storing sensing-based emotional state determination information including numerical relationship information based on correlation in operation D/B,
The second step is
Further comprising the step of receiving sensing data sensed through a sensor module provided in or linked to the camera device, and storing and managing the video data in a specific storage area of a designated storage medium in association with the method,
The sixth step is
Reading the sensing data associated with the video data to recognize k (k≥1) sensing value recognition information for the sensing data of a specified sensing target associated with the emotional expression of the specific baby,
Based on the sensing-based emotional state determination information, s (1≤s≤S) sensed value pattern information matched with the recognized k sensed value recognition information and a preset standard similarity or higher is checked, and the identified s sensed values Identify n3 (1≤n3≤N3) baby emotion items that have a matching relationship with pattern information,
Based on the matching ratio between the recognized k sensed value recognition information and the s sensed value pattern information, the correlation numerical relationship between the s sensed value pattern information and n3 baby emotion items is read, and the recognized k senses Further comprising the step of calculating the baby emotional state value for each n3 emotion items that digitize the baby emotional state for each n3 emotion items corresponding to the value recognition information,
The seventh step is
and generating baby emotional state information for each of the n designated emotional items by additionally using the calculated baby emotional state values for each of the n3 emotional items.
아기의 신체에 착용하여 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈,
지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈 중 적어도 하나의 센서모듈을 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 26, wherein the sensor module,
A wearable sensor module that is worn on the baby's body and senses a specified sensing target,
A dialog processing method using a baby's emotional state, characterized in that it comprises at least one sensor module among radar sensor modules for sensing a designated sensing target of the baby by using a designated electromagnetic wave.
아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
28. The method of claim 26 or 27, wherein the sensing target,
Conversation processing method using a baby's emotional state, characterized in that it comprises at least one of the baby's heartbeat, the baby's body temperature, the baby's ambient humidity, and the baby's apnea.
아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징의 범위 정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 26, wherein the S sensed value pattern information comprises:
Conversation processing method using a baby's emotional state, characterized in that it includes range information of a sensing value characteristic constituting each sensing value pattern for the sensing data of a designated sensing target related to the emotional expression of the baby.
센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
30. The method of claim 29, wherein the sensed value characteristic,
Conversation processing method using a baby's emotional state, characterized in that it comprises at least one or a combination of two or more of the sensing value change rule feature, the sensed value change feature, the sensed value change rate feature, and the sensed value change periodic feature.
지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 26, wherein the sensing-based correlation numerical relationship information,
The emotional state of a baby, characterized in that it includes numerical information on correlation calculated through a relational expression proportional to the matching ratio between the sensing value recognition information recognized through the sensing data of the specified sensing target and the previously registered sensing value pattern information How to deal with conversations.
지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 26, wherein the sensing-based correlation numerical relationship information,
Conversation processing method using a baby's emotional state, characterized in that it includes the correlation numerical information for each matching ratio section between the sensing value recognition information recognized through the sensing data of the specified sensing target and the pre-registered sensing value pattern information .
n개의 감정 항목 정보와 각 감정 항목 별 아기 감정 상태의 수치정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the baby emotional state information for each of the n emotion items,
A dialog processing method using a baby's emotional state, characterized in that it includes n emotional item information and numerical information of the baby's emotional state for each emotional item.
상기 판별된 사용자 대화 의도에 대한 아기 감정 상태 기준의 응답으로서 아기 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터,
상기 판별된 사용자 대화 의도에 대한 아기 감정 상태 기준 응답에 대응하는 문자열을 말풍선 형태로 표시하여 아기 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the r virtual object data,
Virtual object data superimposed on a designated part in the baby's face area as a response of the baby's emotional state standard to the determined user's conversation intention;
The character string corresponding to the baby's emotional state reference response to the determined user's conversation intention is displayed in the form of a speech bubble to display at least one virtual object data among the virtual object data overlapped and displayed in the area around the baby's face. Conversation processing method using emotional state of
상기 r개의 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the q virtual object data,
Conversation processing method using the emotional state of a baby, characterized in that it comprises the r virtual object data.
상기 r개의 가상객체 데이터 중 상기 판별된 사용자 대화 의도에 가장 부합한 것으로 선별된 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the q virtual object data,
Conversation processing method using a baby's emotional state, characterized in that it comprises virtual object data selected as the most suitable for the determined user conversation intention among the r virtual object data.
상기 r개의 가상객체 데이터 중 아기 안면 영역 내의 동일 부위에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the q virtual object data,
and virtual object data selected so that one virtual object data is superimposed and displayed on the same part in the baby's face area among the r virtual object data.
상기 r개의 가상객체 데이터 중 아기 안면 주변의 동일 영역에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
According to claim 1, wherein the q virtual object data,
and virtual object data selected so that one virtual object data is displayed overlaid on the same area around the baby's face among the r virtual object data.
상기 q개의 가상객체 데이터가 아기 안면 주변 영역에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 비디오 데이터 상의 아기 안면의 지향 방향을 인식하는 단계를 더 포함하며,
상기 제9 단계는, 상기 아기 안면의 지향 방향에 대응하는 아기 안면 주변 영역에 상기 지정된 가상객체 데이터를 중첩 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 1,
Recognizing the orientation direction of the baby's face on the video data when the q virtual object data includes virtual object data designated to be displayed overlaid on the area around the baby's face;
The ninth step may include superimposing and displaying the designated virtual object data in an area around the baby's face corresponding to the orientation direction of the baby's face.
아기의 머리카락 부위, 아기의 이마 부위, 아기의 관자놀이 부위, 아기의 양 눈썹 부위, 아기의 양 안과 양 눈썹 사이 부위, 아기의 양 안 부위, 아기의 양 안 사이 부위, 아기의 양 안 바깥쪽 부위, 아기의 양 안 아래쪽 부위, 아기의 양 광대 부위, 아기의 양 볼 부위, 아기의 콧등 부위, 아기의 코 부위, 아기의 인중 부위, 아기의 입 부위, 아기의 입술 부위, 아기의 입 바깥쪽 부위, 아기의 입 아래쪽 부위, 아기의 턱 부위, 아기의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 1, wherein the designated area in the baby's facial region,
Baby's hair area, baby's forehead area, baby's temple area, baby's eyebrow area, baby's eye area between both eyes, baby's eye area, baby's inner area area, baby's inside and outside area , baby's lower cheeks, baby's cheeks, baby's cheeks, baby's nose, baby's nose, baby's pharynx, baby's mouth, baby's lips, outside baby's mouth Conversation processing method using a baby's emotional state, characterized in that it comprises at least one or a combination of two or more of a region, a lower portion of the baby's mouth, a baby's chin, and a baby's neck.
상기 q개의 가상객체 데이터가 아기 안면 영역 내의 지정 부위에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 비디오 데이터 상의 아기 안면의 지향 방향과 카메라 촬영 방향 간 3차원 좌표계 상의 각도 정보를 산출하는 단계를 더 포함하며,
상기 제9 단계는, 상기 각도 정보를 근거로 상기 지정된 가상객체 데이터의 중첩 표시 방향이 상기 아기 안면 영역 내의 지정 부위 별 방향에 대응하도록 좌표 변환하여 중첩 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 감정 상태를 이용한 대화 처리 방법.
The method of claim 1,
Calculating angle information in a three-dimensional coordinate system between the orientation direction of the baby's face on the video data and the camera shooting direction when the q virtual object data includes virtual object data designated to be displayed overlaid on a designated part in the baby's face area further comprising,
The ninth step includes converting the coordinates based on the angle information so that the overlapping display direction of the designated virtual object data corresponds to the direction for each designated part in the baby's face area and displaying the overlapped data. Conversation processing method using emotional state of
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190161752A KR20210072205A (en) | 2019-12-06 | 2019-12-06 | Method for Processing Conversation by Using Baby's Emotional Sate |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190161752A KR20210072205A (en) | 2019-12-06 | 2019-12-06 | Method for Processing Conversation by Using Baby's Emotional Sate |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210072205A true KR20210072205A (en) | 2021-06-17 |
Family
ID=76603609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190161752A KR20210072205A (en) | 2019-12-06 | 2019-12-06 | Method for Processing Conversation by Using Baby's Emotional Sate |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20210072205A (en) |
-
2019
- 2019-12-06 KR KR1020190161752A patent/KR20210072205A/en active Search and Examination
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200090393A1 (en) | Robot and method for operating the same | |
| CN113196803A (en) | Hearing aid system and method | |
| US11948241B2 (en) | Robot and method for operating same | |
| CN111163906B (en) | Mobile electronic device and method of operating the same | |
| JP2016103081A (en) | Conversation analysis device, conversation analysis system, conversation analysis method and conversation analysis program | |
| JP5316248B2 (en) | Video conference device, video conference method, and program thereof | |
| US20210398539A1 (en) | Systems and methods for processing audio and video | |
| Kim et al. | Beginning of a new standard: Internet of Media Things | |
| KR102596833B1 (en) | Method for Providing Augmented Reality by Pet's Emotional Sate using Pet's Peripheral Region Based on Artificial Intelligence | |
| KR102611458B1 (en) | Method for Providing Augmented Reality by Baby's Emotional Sate using Baby's Peripheral Region | |
| KR20210080637A (en) | Method for Displaying Pet's Emotional Sate Based on Artificial Intelligence | |
| JP7123856B2 (en) | Presentation evaluation system, method, trained model and program, information processing device and terminal device | |
| KR102549453B1 (en) | Method for Providing Conversation with Baby using Augmented Reality by Baby's Emotional Sate | |
| KR102596832B1 (en) | Method for Providing Conversation with Pet using Augmented Reality by Pet's Emotional Sate | |
| CN110178159A (en) | Audio/video wearable computer system with integrated form projector | |
| KR102549441B1 (en) | Method for Displaying Baby's Emotional Sate | |
| KR20210072202A (en) | Method for Outputting Infants Emotional Condition | |
| JP2002261966A (en) | Communication support system and photographing equipment | |
| KR20210072205A (en) | Method for Processing Conversation by Using Baby's Emotional Sate | |
| US20230042310A1 (en) | Wearable apparatus and methods for approving transcription and/or summary | |
| KR102549449B1 (en) | Method for Providing Augmented Reality by Emotional Sate of Baby's Face | |
| KR20210080638A (en) | Method for Providing Conversation with Pet using Augmented Reality by Pet's Emotional Sate Based on Artificial Intelligence | |
| JP7189406B2 (en) | Communication device and remote communication system | |
| KR20210072203A (en) | Method for Processing Emotional Sate Information of Baby | |
| WO2019150708A1 (en) | Information processing device, information processing system, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |