KR102549449B1 - Method for Providing Augmented Reality by Emotional Sate of Baby's Face - Google Patents
Method for Providing Augmented Reality by Emotional Sate of Baby's Face Download PDFInfo
- Publication number
- KR102549449B1 KR102549449B1 KR1020180106244A KR20180106244A KR102549449B1 KR 102549449 B1 KR102549449 B1 KR 102549449B1 KR 1020180106244 A KR1020180106244 A KR 1020180106244A KR 20180106244 A KR20180106244 A KR 20180106244A KR 102549449 B1 KR102549449 B1 KR 102549449B1
- Authority
- KR
- South Korea
- Prior art keywords
- baby
- information
- designated
- emotional state
- facial
- Prior art date
Links
- 230000002996 emotional effect Effects 0.000 title claims abstract description 431
- 238000000034 method Methods 0.000 title claims abstract description 204
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 43
- 230000008451 emotion Effects 0.000 claims abstract description 291
- 230000014509 gene expression Effects 0.000 claims abstract description 149
- 230000001815 facial effect Effects 0.000 claims abstract description 80
- 230000005540 biological transmission Effects 0.000 claims abstract description 61
- 230000008921 facial expression Effects 0.000 claims abstract description 56
- 230000002708 enhancing effect Effects 0.000 claims abstract description 22
- 206010011469 Crying Diseases 0.000 claims description 119
- 230000008859 change Effects 0.000 claims description 19
- 210000004709 eyebrow Anatomy 0.000 claims description 6
- 210000000088 lip Anatomy 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 5
- 230000036760 body temperature Effects 0.000 claims description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 4
- 210000001061 forehead Anatomy 0.000 claims description 3
- 210000004209 hair Anatomy 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 210000000216 zygoma Anatomy 0.000 claims 1
- 235000019227 E-number Nutrition 0.000 abstract description 9
- 239000004243 E-number Substances 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 47
- 238000007726 management method Methods 0.000 description 45
- 238000004891 communication Methods 0.000 description 42
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000005236 sound signal Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 9
- 230000008909 emotion recognition Effects 0.000 description 5
- 241001494479 Pecora Species 0.000 description 4
- 206010041349 Somnolence Diseases 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000036528 appetite Effects 0.000 description 1
- 235000019789 appetite Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
- G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 아기의 안면 감정 상태 증강 방법에 관한 것으로, 본 발명에 따른 아기의 안면 감정 상태 증강 방법은, 사운드 입력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서, 아기의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 아기 표정 패턴 정보와 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 운영D/B에 등록 저장하고, 아기 안면 영역 상의 지정 부위를 아기의 감정 상태에 대응시켜 증강하기 위한 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보와 하나 이상의 지정된 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 운영D/B에 등록 저장하는 제1 단계와, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 연계 저장 관리하는 제2 단계와, 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 아기 표정 인식 정보를 인식하는 제3 단계와, 상기 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 아기 표정 패턴 정보를 확인하고 상기 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별하는 제4 단계와, 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 산출하는 제5 단계와, 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성하는 제6 단계와, 상기 가상객체 매칭 정보를 근거로 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 제7 단계와, 아기 안면 영역 상의 지정 부위에 중첩 표시할 p(1≤p≤r)개의 가상객체 데이터를 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하는 제8 단계와, 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 사용자 무선단말의 앱이나 IPTV로 제공하는 제9 단계를 포함한다.The present invention relates to a method for enhancing a facial emotional state of a baby, and the method for enhancing a facial emotional state of a baby according to the present invention is executed through an operating server having a sound input unit and a camera module and communicating with a camera device provided at a designated base. In the method, among the F (F≥2) feature points present in the baby's facial area, E (E≥2) pieces of baby expression pattern information corresponding to geometric relationships between feature points associated with emotional expression of the baby and designated N (N Matching relationship information between N1 (1≤N1≤N) baby emotion items that can be distinguished based on baby expression patterns among ≥2) baby emotion items and correlation between the E baby expression pattern information and N1 baby emotion items is registered and stored in the operation D/B, and R (R≥ 2) The first step of registering and storing virtual object data in the operating D/B, and registering and storing virtual object matching information that matches baby emotional state information for each designated emotion item with one or more designated virtual object data in the operating D/B And, video data encoded in a designated way by photographing a specific baby in the base through the camera module of the camera device and audio data input through the sound input unit of the camera device and encoded in a designated manner are received, A second step of linked storage and management in a specific storage area, reading the designated video data and recognizing f (1≤f≤F) feature points of the face region of a specific baby within the base, and baby among the recognized f feature points A third step of recognizing i (i≥1) pieces of baby facial expression recognition information corresponding to geometrical relationships between feature points associated with emotional expressions of ; and e (1≤e≤E) pieces of baby expression pattern information matched with a preset criterion similarity or higher, and determining n1 (1≤n1≤N1) number of baby emotion items having a matching relationship with the e number of baby expression pattern information In a fourth step, reading the correlation numerical relationship between the e number of baby expression pattern information and the n1 number of baby emotion items based on the matching ratio between the recognized i number of baby expression recognition information and the e number of baby expression pattern information; A fifth step of calculating the baby's emotional state value for each n1 emotion item by digitizing the baby's emotional state for each n1 emotion item corresponding to the recognized i number of facial expression recognition information of the baby; A sixth step of generating baby emotional state information for each n (1≤n≤N) designated emotion items by using state values; and baby emotional state information for each n emotion items generated based on the virtual object matching information. A seventh step of confirming r (1≤r≤R) virtual object data matching the video data; an eighth step of superimposing and displaying a designated region on the baby's facial region displayed on the baby's facial region to augment the designated region on the baby's facial region to correspond to the baby's emotional state information for each of the n emotion items; A ninth step of providing transmission data including video data augmented to correspond to the information to an app or IPTV of a user's wireless terminal.
Description
본 발명은 지정된 거점에 구비된 카메라장치를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말의 앱이나 IPTV로 제공 시 상기 카메라장치를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하고 상기 송신 데이터의 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 대응하는 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하여 제공하는 것이다.In the present invention, when transmission data including video data of a specific baby in the base is provided to an app or IPTV of a designated user's wireless terminal through a camera device provided at a designated base, one or more data acquired through the camera device Based on this, baby emotional state information for each designated emotion item for the specific baby is generated and corresponding to the baby emotional state information for each emotion item generated in a designated area on the baby's face area displayed on the video data of the transmission data. Virtual object data is overlapped and displayed to augment and provide a designated area on the baby's facial area to correspond to the generated emotional state information for each emotion item.
종래에 다수개의 웹 PC 카메라가 설치된 병원 또는 조산원 또는 산후 조리원에서 회원으로 가입된 아기의 동영상이나 정지 화상 및 신생아 정보(예컨대, 태몽, 초음파 진단 사진 등)를 인터넷을 통해 회원에게 제공하는 서비스가 제안된 바 있다(특허공개번호 특2001-0091236(2001년10월23일)).A service that provides video or still images of a baby registered as a member and newborn information (eg, prenatal dream, ultrasound diagnosis picture, etc.) to members through the Internet at a hospital, midwifery center, or postpartum care center where multiple web PC cameras are installed is proposed. (Patent Publication No. 2001-0091236 (October 23, 2001)).
그러나 종래의 서비스는 단순히 아기의 동영상이나 정지 화상 및 신생아 정보를 인터넷을 통해 제공하는 것으로, 기본 제공되는 아기의 동영상이나 정지 화상 및 신생아 정보 외에 아기의 현재 상태와 관련된 실시간 정보를 자동 파악하여 제공하기에는 기술적으로 난해한 문제점을 지니고 있다.However, conventional services simply provide video or still images of babies and information on newborn babies through the Internet. It has technically difficult problems.
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 아기의 감정 상태를 판별하기 위해 인식하도록 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 사이의 매칭 관계정보 및 상기 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 간 상관도를 수치화한 상관도 수치 관계정보를 포함하는 지정된 인식 대상 별 감정상태 판별 정보를 지정된 운영D/B에 등록 저장하고, 아기 안면 영역 상의 지정 부위를 아기의 감정 상태에 대응시켜 증강하기 위한 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보와 하나 이상의 지정된 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 운영D/B에 등록 저장한 후, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 획득된 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하고, 상기 획득 데이터에 포함된 적어도 하나의 데이터를 판독하여 아기의 감정을 판별하기 위한 지정된 인식 대상의 인식 정보를 인식하고, 지정된 인식 대상 별 감정상태 판별 정보를 근거로 상기 인식된 인식 정보와 기 설정된 기준 유사도 이상 매칭된 지정된 인식 대상의 패턴 정보를 확인하고 상기 확인된 패턴 정보와 매칭 관계를 지닌 하나 이상의 아기 감정 항목을 판별하고, 상기 인식 대상의 인식 정보와 패턴 정보 간 매칭 비율을 근거로 상기 패턴 정보와 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식 정보에 대응하는 하나 이상의 감정 항목 별 아기 감정 상태를 수치화한 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 산출된 하나 이상의 아기 감정 상태 정보를 이용하여 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하고, 상기 가상객체 매칭 정보를 근거로 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 매칭되는 가상객체 데이터를 확인하여 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하고, 상기 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 사용자 무선단말의 앱이나 IPTV로 제공하는 아기의 안면 감정 상태 증강 방법을 제공함에 있다.An object of the present invention to solve the above problems is to identify matching relationship information between pattern information of a recognition target designated to be recognized to determine a baby's emotional state and each baby emotion item, and pattern information of the designated recognition target and each Register and store emotional state determination information for each designated recognition target, including correlation numerical correlation information that digitizes the correlation between baby emotion items, in the designated operation D/B, and correspond designated parts on the baby's facial area to the baby's emotional state. After registering and storing the virtual object data for augmentation in the operating D/B, and registering and storing the virtual object matching information matching the baby emotional state information for each designated emotion item with one or more designated virtual object data in the operating D/B, Acquisition data including video data obtained by photographing a specific baby in the base is received through the camera module of the camera device, stored in a specific storage area of a designated storage medium, and at least one data included in the acquisition data is read. To recognize the recognition information of the designated recognition target for determining the baby's emotion, and based on the emotional state determination information for each designated recognition target, the recognized recognition information and the predetermined criterion Similarity or more Matched to check the pattern information of the designated recognition target And determine one or more baby emotion items having a matching relationship with the identified pattern information, and read a numerical relationship of correlation between the pattern information and baby emotion items based on a matching ratio between the recognition information of the recognition target and the pattern information A baby emotional state value for each emotion item, which digitizes the baby's emotional state for each one or more emotion items corresponding to the recognition information, is calculated, and the baby's emotional state information for each designated emotion item is calculated using the calculated one or more baby emotional state information. and, based on the virtual object matching information, check virtual object data that matches the baby's emotional state information for each of the generated emotion items, and superimpose and display the virtual object data on a designated part on the baby's facial area displayed on the video data to display the baby. A designated part on the face area is augmented to correspond to the baby's emotional state information for each emotion category, and transmission data including video data augmented to correspond to the baby's emotional state information for each emotion category is provided to the app or IPTV of the user's wireless terminal. It is to provide a method for enhancing the facial emotional state of a baby.
본 발명에 따른 아기의 안면 감정 상태 증강 방법은, 사운드 입력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서, 아기의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 아기 표정 패턴 정보와 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 운영D/B에 등록 저장하고, 아기 안면 영역 상의 지정 부위를 아기의 감정 상태에 대응시켜 증강하기 위한 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보와 하나 이상의 지정된 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 운영D/B에 등록 저장하는 제1 단계와, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 연계 저장 관리하는 제2 단계와, 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 아기 표정 인식 정보를 인식하는 제3 단계와, 상기 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 아기 표정 패턴 정보를 확인하고 상기 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별하는 제4 단계와, 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 산출하는 제5 단계와, 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성하는 제6 단계와, 상기 가상객체 매칭 정보를 근거로 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 제7 단계와, 아기 안면 영역 상의 지정 부위에 중첩 표시할 p(1≤p≤r)개의 가상객체 데이터를 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하는 제8 단계와, 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 사용자 무선단말의 앱이나 IPTV로 제공하는 제9 단계를 포함한다.A method for enhancing a facial emotional state of a baby according to the present invention is a method executed through an operating server having a sound input unit and a camera module and communicating with a camera device provided at a designated base, F( Based on E(E≥2) baby expression pattern information corresponding to the geometric relationship between feature points related to baby's emotional expression among F≥2) feature points and baby expression pattern among designated N(N≥2) baby emotion items Facial expression including matching relationship information between distinguishable N1 (1≤N1≤N) baby emotion items and expression-based correlation numerical relationship information obtained by quantifying correlations between the E number of baby expression pattern information and N1 baby emotion items Based emotional state discrimination information is registered and stored in the operating D/B, and R (R≥2) virtual object data for augmenting designated areas on the baby's facial area by corresponding to the baby's emotional state are registered and stored in the operating D/B. and a first step of registering and storing virtual object matching information matching the baby's emotional state information for each designated emotion item with one or more designated virtual object data in an operation D/B, and specifying the information within the base through the camera module of the camera device. A second step of receiving video data encoded in a designated manner by photographing the baby and audio data input through a sound input unit of the camera device and encoded in a designated manner, and linking and managing the storage in a specific storage area of a designated storage medium; While reading video data and recognizing f (1≤f≤F) feature points of a specific baby's facial region within the base, i corresponding to a geometric relationship between feature points associated with the baby's emotional expression among the recognized f feature points ( A third step of recognizing i≥1) pieces of baby facial expression recognition information, and e(1≤e≤ E) a fourth step of identifying baby expression pattern information and determining n1 (1≤n1≤N1) number of baby emotion items having a matching relationship with the e number of baby expression pattern information; Based on the matching ratio between information and the e number of baby expression pattern information, a numerical relationship between the e number of baby expression pattern information and the n1 number of baby emotion items is read, and the n1 number corresponding to the recognized i number of baby expression recognition information is read. A fifth step of calculating the baby's emotional state value for each n1 emotion item by digitizing the baby's emotional state for each emotion item; A sixth step of generating baby emotional state information according to the number of emotion items, and r (1≤r≤R) virtual objects matched with the generated baby emotional state information for each n emotion items based on the virtual object matching information A seventh step of checking the data; p(1≤p≤r) pieces of virtual object data to be overlapped and displayed on the designated region on the baby's facial region are overlapped and displayed on the designated region on the baby's facial region displayed on the video data; An eighth step of augmenting a designated area on the baby's face region to correspond to the baby's emotional state information for each of the n emotion items, and transmitting data including video data augmented to correspond to the baby's emotional state information for each of the n emotion items A ninth step of providing information to the app or IPTV of the user's wireless terminal is included.
본 발명에 따르면, 상기 E개의 아기 표정 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 표정 패턴에 대응하는 각 특징점 간 기하학 관계의 범위 정보를 포함할 수 있다.According to the present invention, the E pieces of baby expression pattern information may include range information of a geometric relationship between feature points corresponding to each baby expression pattern associated with the baby's emotional expression.
본 발명에 따르면, 상기 특징점 간 기하학 관계는 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함할 수 있다.According to the present invention, the geometric relationship between feature points may include one or more of a distance relationship between feature points, an angular relationship between feature points, and a combination of a distance relationship and an angular relationship between feature points.
본 발명에 따르면, 상기 표정 기반 상관도 수치 관계정보는 아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다.According to the present invention, the expression-based correlation numerical relationship information may include correlation numerical information calculated through a relational expression proportional to a matching ratio between baby expression recognition information obtained by recognizing the baby's facial expression and pre-registered baby expression pattern information. can
본 발명에 따르면, 상기 표정 기반 상관도 수치 관계정보는 아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다.According to the present invention, the expression-based correlation numerical relationship information may include correlation numerical information for each matching ratio section between baby expression recognition information obtained by recognizing the baby's facial expression and pre-registered baby expression pattern information.
본 발명에 따르면, 상기 제2 단계는 상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 포함하는 동영상 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함할 수 있다.According to the present invention, the second step may include receiving video data including the video data and audio data from the camera device and storing and managing the video data in a specific storage area of a designated storage medium.
본 발명에 따르면, 상기 제2 단계는 상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 각기 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함할 수 있다.According to the present invention, the second step may include receiving the video data and audio data from the camera device and storing and managing them in a specific storage area of a designated storage medium.
본 발명에 따르면, 상기 제2 단계는 상기 카메라장치로부터 수신된 상기 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장하는 단계를 더 포함할 수 있다.According to the present invention, the second step may further include synchronizing the times of the video data and audio data received from the camera device and storing them in a specific storage area of a designated storage medium.
본 발명에 따르면, 상기 송신 데이터는 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터를 더 포함할 수 있다.According to the present invention, the transmission data may further include audio data stored in a specific storage area of the storage medium.
본 발명에 따르면, 상기 지정된 비디오 데이터는 지정된 재생 시간 단위 별로 주기적으로 선별되는 비디오 데이터, 지정된 재생 프레임 수 별로 주기적으로 선별되는 비디오 데이터 중 적어도 하나의 비디오 데이터를 포함할 수 있다.According to the present invention, the designated video data may include at least one of video data periodically selected for each designated playback time unit and video data periodically selected for each designated playback frame number.
본 발명에 따르면, 아기의 안면 감정 상태 증강 방법은, 지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는지 확인하는 단계를 더 포함하며, 상기 제3 단계는 지정된 사용자 무선단말의 앱이나 IPTV로 비디오 데이터를 포함하는 송신 데이터를 제공하는 경우에 상기 송신 데이터의 비디오 데이터 중 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식하는 단계를 포함할 수 있다.According to the present invention, the method for enhancing the facial emotional state of a baby further includes the step of checking whether transmission data including video data stored in a specific storage area of the storage medium is provided to an app or IPTV of a designated user wireless terminal, In the third step, when transmission data including video data is provided to an app or IPTV of a designated user wireless terminal, the designated video data among the video data of the transmission data is read and f The method may include recognizing i pieces of baby expression recognition information corresponding to geometric relationships between feature points associated with emotional expressions of the baby among the recognized f feature points while recognizing the number of feature points.
본 발명에 따르면, 상기 제3 단계는 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터 중 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식하는 단계를 포함하며, 상기 제6 단계는 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 상기 비디오 데이터와 연계 저장하는 단계를 더 포함할 수 있다.According to the present invention, the third step reads the designated video data among the video data stored in a specific storage area of the designated storage medium to recognize the f characteristic points of the face region of the specific baby in the base, and recognizes the recognized f characteristic points. and recognizing i pieces of baby expression recognition information corresponding to a geometric relationship between feature points associated with the baby's emotional expression, wherein the sixth step includes the baby's emotional state information for each of the generated n emotion items and the video data. The step of linking and storing may be further included.
본 발명에 따르면, 상기 제6 단계는 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 상기 비디오 데이터의 지정된 재생 시점과 동기화하는 시간 값(또는 타임스탬프)과 연계하여 저장하는 단계를 포함할 수 있다.According to the present invention, the sixth step may include storing the generated baby emotional state information for each of the n emotion items in association with a time value (or timestamp) synchronized with a designated playback time of the video data. there is.
본 발명에 따르면, 상기 제1 단계는 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C(C≥2)개의 아기 울음소리 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 포함하는 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장하는 단계를 더 포함하고, 상기 제3 단계는 상기 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 아기에 대한 j(j≥1)개의 아기 울음소리 인식 정보를 인식하는 단계를 더 포함하며, 상기 제4 단계는 상기 울음소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c(1≤c≤C)개의 아기 울음소리 패턴 정보를 확인하고 상기 확인된 c개의 아기 울음소리 패턴 정보와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 아기 감정 항목을 판별하는 단계를 더 포함하고, 상기 제5 단계는 상기 인식된 j개의 아기 울음소리 인식 정보와 상기 c개의 아기 울음소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 아기 울음소리 패턴 정보와 n2개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 감정 항목 별 아기 감정 상태를 수치화한 n2개의 감정 항목 별 아기 감정 상태 값을 산출하는 단계를 더 포함하며, 상기 제6 단계는 상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성하는 단계를 더 포함할 수 있다.According to the present invention, the first step is to discriminate based on C (C≥2) pieces of baby crying pattern information associated with emotional expression of a baby among baby crying patterns and baby crying patterns among designated N baby emotion items. Matching relationship information between possible N2 (1≤N2≤N) baby emotion items and cry-based correlation numerical relationship information digitizing the correlation between the C number of baby crying pattern information and the N2 number of baby emotion items Further comprising registering and storing crying sound-based emotional state determination information in an operation D/B, wherein the third step reads the audio data of a certain period associated with the video data and reads the j(j for the specific baby). The step of recognizing ≥1) pieces of baby crying recognition information, wherein the fourth step is based on the crying sound-based emotional state determination information, the recognized j pieces of baby crying sound recognition information have a similarity higher than or equal to a predetermined criterion. Identifying c (1≤c≤C) pieces of matched baby crying pattern information and determining n2 (1≤n2≤N2) number of baby emotion items having a matching relationship with the identified c pieces of baby crying pattern information and wherein the fifth step is performed between the c pieces of baby crying pattern information and the n2 pieces of baby emotion items based on a matching ratio between the recognized j pieces of baby crying sound recognition information and the c pieces of baby crying pattern information. Further comprising the step of reading the correlation numerical relationship and calculating baby emotional state values for each n2 emotion items by digitizing the baby emotional states for each n2 emotion items corresponding to the recognized j number of baby crying sound recognition information, wherein the The sixth step may further include generating baby emotional state information for designated n emotional items by additionally using the calculated baby emotional state values for each n2 emotional items.
본 발명에 따르면, 상기 C개의 아기 울음소리 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 울음소리 패턴을 구성하는 울음소리 특징의 범위 정보를 포함할 수 있다.According to the present invention, the C pieces of baby crying pattern information may include information on a range of features of a crying sound constituting each crying pattern associated with a baby's emotional expression.
본 발명에 따르면, 상기 울음소리 특징은 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함할 수 있다.According to the present invention, the crying feature is a frequency band feature, an arrangement relationship feature of a frequency band feature, a periodicity feature of a frequency band feature, a sound intensity feature, a placement relationship feature of a sound intensity feature, a periodicity feature of a sound intensity feature, a frequency band It may include at least one feature of a combination of features and sound intensity features, a feature of an arrangement relationship between frequency band features and sound intensity features, and a periodicity feature of frequency band features and sound intensity features.
본 발명에 따르면, 상기 울음소리 기반 상관도 수치 관계정보는 아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다.According to the present invention, the cry-based correlation numerical relationship information is a correlation value calculated through a relational expression proportional to a matching ratio between the baby crying recognition information obtained by recognizing the baby's crying and the previously registered baby crying pattern information. information may be included.
본 발명에 따르면, 상기 울음소리 기반 상관도 수치 관계정보는 아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다.According to the present invention, the cry-based correlation numerical relationship information may include correlation numerical information for each matching ratio section between the baby crying recognition information for recognizing the baby's crying and the pre-registered baby crying pattern information. can
본 발명에 따르면, 상기 제1 단계는 상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장하는 단계를 더 포함하고, 상기 제2 단계는 상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터를 수신하고 상기 비디오 데이터와 연계하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 더 포함하며, 상기 제3 단계는 상기 비디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식하는 단계를 더 포함하고, 상기 제4 단계는 상기 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인하고 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 아기 감정 항목을 판별하는 단계를 더 포함하며, 상기 제5 단계는 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 산출하는 단계를 더 포함하고, 상기 제6 단계는 상기 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성하는 단계를 더 포함할 수 있다.According to the present invention, in the first step, S (S≥2) sensed values for the sensing data of a designated sensing target related to the baby's emotional expression among the sensing data sensed through the sensor module provided in or linked to the camera device. Matching relationship information between N3 (1≤N3≤N) baby emotion items that can be distinguished based on the pattern information and the sensing value pattern of the designated sensing target among the designated N baby emotion items and the S sensed value pattern information and the N3 The step of registering and storing sensing-based emotional state determination information including numerical relationship information of a sensing-based correlation obtained by digitizing the degree of correlation between the baby's emotional items in an operation D/B, wherein the second step is provided in the camera device. Receiving sensing data sensed through a sensor module associated with or associated with the video data, and storing and managing the sensing data in a specific storage area of a designated storage medium in association with the video data, wherein the third step is the sensing data associated with the video data. and recognizing k (k≥1) pieces of sensing value recognition information for the sensing data of a designated sensing target associated with the emotional expression of the specific baby, wherein the fourth step is the sensing-based emotional state determination. Based on the information, check the recognized k sensing value recognition information and s (1≤s≤S) pieces of sensing value pattern information that are matched with a preset criterion similarity or higher, and establish a matching relationship with the identified s sensing value pattern information The method further includes determining n3 (1≤n3≤N3) number of baby emotion items, wherein the fifth step is based on a matching ratio between the recognized k sensed value recognition information and the s sensed value pattern information. The baby for each n3 emotion items obtained by reading the correlation numerical relationship between the s sensed value pattern information and the n3 baby emotion items and digitizing the baby's emotional state for each n3 emotion items corresponding to the recognized k sensed value recognition information. Further comprising calculating emotional state values, and the sixth step further includes generating baby emotional state information for each designated n number of emotion items by additionally using the calculated emotional state values of the baby for each n3 number of emotion items. can do.
본 발명에 따르면, 상기 센서모듈은 아기의 신체에 착용하여 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈, 지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈 중 적어도 하나의 센서모듈을 포함할 수 있다.According to the present invention, the sensor module is at least one of a wearable sensor module that senses a designated sensing target worn on the baby's body and a radar sensor module that senses a designated sensing target of the baby using designated electromagnetic waves It may include a sensor module of.
본 발명에 따르면, 상기 센싱 대상은 아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함할 수 있다.According to the present invention, the sensing target may include at least one of the baby's heartbeat, the baby's body temperature, the ambient humidity around the baby, and whether or not the baby is not breathing.
본 발명에 따르면, 상기 S개의 센싱 값 패턴 정보는 아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징의 범위 정보를 포함할 수 있다.According to the present invention, the S pieces of sensing value pattern information may include range information of sensing value characteristics constituting each sensing value pattern for sensing data of a designated sensing target associated with a baby's emotional expression.
본 발명에 따르면, 상기 센싱 값 특징은 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다.According to the present invention, the sensed value feature may include at least one or a combination of two or more of a change rule feature of a sensed value, a change amount feature of a sensed value, a change rate feature of a sensed value, and a periodicity feature of a sensed value change.
본 발명에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다.According to the present invention, the sensing-based correlation numerical relationship information is a correlation numerical value calculated through a relational expression proportional to a matching ratio between the sensing value recognition information recognized through the sensing data of the designated sensing target and the previously registered sensing value pattern information. information may be included.
본 발명에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다.According to the present invention, the sensing-based correlation numerical relationship information may include correlation numerical information for each matching ratio section between sensing value recognition information recognized through sensing data of a designated sensing target and previously registered sensing value pattern information. can
본 발명에 따르면, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 n개의 감정 항목 정보와 각 감정 항목 별 아기 감정 상태의 수치정보를 포함할 수 있다.According to the present invention, the baby's emotional state information for each of the n emotional items may include n emotional item information and numerical information of the baby's emotional state for each of the emotional items.
본 발명에 따르면, 상기 아기 안면 영역 상의 지정 부위는 아기의 머리카락 부위, 아기의 이마 부위, 아기의 관자놀이 부위, 아기의 양 눈썹 부위, 아기의 양 안과 양 눈썹 사이 부위, 아기의 양 안 부위, 아기의 양 안 사이 부위, 아기의 양 안 바깥쪽 부위, 아기의 양 안 아래쪽 부위, 아기의 양 광대 부위, 아기의 양 볼 부위, 아기의 콧등 부위, 아기의 코 부위, 아기의 인중 부위, 아기의 입 부위, 아기의 입술 부위, 아기의 입 바깥쪽 부위, 아기의 입 아래쪽 부위, 아기의 턱 부위, 아기의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함할 수 있다.According to the present invention, the designated area on the baby's face area is the baby's hair area, the baby's forehead area, the baby's temple area, the baby's eyebrow area, the baby's both eyes and the area between both eyebrows, the baby's both eyes area, the baby The area between the inside and outside of the baby, the inside and outside of the baby, the lower inside of the baby, the cheek area of the baby, the cheek of the baby, the bridge of the nose of the baby, the nose of the baby, the philtrum of the baby, and the baby's cheeks It may include at least one or a combination of two or more of a mouth area, a baby's lip area, an area outside the baby's mouth, a area below the baby's mouth, a baby's chin area, and a baby's neck area.
본 발명에 따르면, 아기의 안면 감정 상태 증강 방법은, 상기 비디오 데이터 상의 아기 안면의 지향 방향과 카메라 촬영 방향 간 3차원 좌표계 상의 각도 정보를 산출하는 단계를 더 포함하며, 상기 제8 단계는 상기 각도 정보를 근거로 상기 p개의 가상객체 데이터의 중첩 표시 방향이 상기 아기 안면 영역 상의 지정 부위 별 방향에 대응하도록 좌표 변환하여 중첩 표시하는 단계를 포함할 수 있다.According to the present invention, the method for augmenting the facial emotional state of the baby further includes calculating angle information on a three-dimensional coordinate system between the orientation direction of the baby's face and the camera shooting direction on the video data, and the eighth step is the angle The method may include converting coordinates so that overlapping display directions of the p virtual object data correspond to directions for each designated part on the baby's facial region based on the information, and displaying the overlapping data.
본 발명에 따르면, 지정된 거점에 구비된 카메라장치를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말의 앱이나 IPTV로 제공 시 상기 카메라장치를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하고 상기 송신 데이터의 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 대응하는 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하여 제공함으로써, 무선단말의 앱이나 IPTV를 통해 상기 송신 데이터를 시청하는 사용자는 상기 송신 데이터의 비디오 데이터에 대응하는 아기의 영상 화면을 보고 상기 송신 데이터의 오디오 데이터에 대응하는 아기의 소리를 듣는 것 이외에 상기 비디오 데이터 상의 아기 안면 영역에 중첩 표시되는 가상객체 데이터를 통해 아기의 현재 감정 상태를 직관적으로 실시간 파악할 수 있는 이점이 있다.According to the present invention, when transmission data including video data of a specific baby in a designated base is provided to an app or IPTV of a designated user's wireless terminal through a camera device provided at a designated base, one or more of the camera devices obtained through the camera device are provided. Based on the data, baby emotional state information for each designated emotion item for the specific baby is generated, and baby emotional state information for each generated emotion item is applied to a designated part on the baby's face area displayed on the video data of the transmission data. The corresponding virtual object data is overlapped and displayed to augment and provide a designated area on the baby's face area to correspond to the baby's emotional state information for each emotion item generated, thereby viewing the transmission data through an app of a wireless terminal or IPTV. The user sees the baby's video screen corresponding to the video data of the transmission data and listens to the baby's sound corresponding to the audio data of the transmission data, and through the virtual object data overlapped and displayed on the baby's face area on the video data, the baby It has the advantage of being able to intuitively grasp the current emotional state of the person in real time.
도 1은 본 발명의 실시 방법에 따라 아기의 감정 상태를 증강하는 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 정보 저장/등록 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 지정된 거점의 카메라장치를 통해 획득한 획득 데이터를 전송하여 지정된 저장매체에 저장 관리하는 도시한 도면이다.
도 4는 본 발명의 제1 실시 방법에 따라 아기 감정 상태를 증강한 비디오 데이터를 포함하는 송신 데이터를 제공하는 도시한 도면이다.
도 5는 본 발명의 제2 실시 방법에 따라 아기 감정 상태를 증강한 비디오 데이터를 포함하는 송신 데이터를 제공하는 도시한 도면이다.
도 6은 본 발명의 제3 실시 방법에 따라 아기 감정 상태를 증강한 비디오 데이터를 포함하는 송신 데이터를 제공하는 도시한 도면이다.1 is a diagram showing the configuration of a system for augmenting a baby's emotional state according to an implementation method of the present invention.
2 is a diagram illustrating a process of storing/registering information according to an implementation method of the present invention.
3 is a diagram illustrating how to transmit acquired data obtained through a camera device of a designated base according to an embodiment of the present invention and store and manage the data in a designated storage medium.
4 is a diagram showing transmission data including video data augmented with a baby's emotional state according to a first embodiment of the present invention.
5 is a diagram showing transmission data including video data augmented with a baby's emotional state according to a second embodiment of the present invention.
6 is a diagram showing transmission data including video data augmented with a baby's emotional state according to a third embodiment of the present invention.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다.Hereinafter, the operating principle of the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. However, the drawings shown below and the description below relate to preferred implementation methods among various methods for effectively explaining the features of the present invention, and the present invention is not limited to only the drawings and description below.
즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예 예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)를 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 동작 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.That is, the following examples correspond to examples of preferred union types among numerous embodiments of the present invention, and examples in which specific components (or steps) are omitted or specific components (or steps) are omitted in the following embodiments. An embodiment in which functions implemented in are divided into specific configurations (or steps), or embodiments in which functions implemented in two or more configurations (or steps) are integrated into any one configuration (or steps), specific configurations (or steps) It is clearly stated that the embodiments in which the operation sequence of is replaced are all within the scope of the present invention, even if not separately mentioned in the following embodiments. Therefore, it is clearly stated that various examples corresponding to subsets or complements can be divided retroactively from the filing date of the present invention based on the following examples.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout the present invention.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical spirit of the present invention is determined by the claims, and the following embodiments are a means for efficiently explaining the technical spirit of the present invention to those skilled in the art to which the present invention belongs. only
도면1은 본 발명의 실시 방법에 따라 아기의 감정 상태를 증강하는 시스템의 구성을 도시한 도면이다.Figure 1 is a diagram showing the configuration of a system for augmenting a baby's emotional state according to the implementation method of the present invention.
보다 상세하게 본 도면1은 지정된 거점에 구비된 카메라장치(190)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공 시 상기 카메라장치(190)를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하고 상기 송신 데이터의 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 대응하는 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하여 제공하는 시스템의 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 시스템의 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 1 shows transmission data including video data taken of a specific baby in the designated base through the camera device 190 provided at the designated base to the app or
본 발명의 시스템은, 지정된 거점에 구비되어 피사체를 찰영하고 통신망에 접속 가능한 카메라장치(190)와, 상기 카메라장치(190)의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 획득된 영상 신호를 지정된 방식으로 엔코딩한 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하는 기능, 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공하는 기능, 상기 카메라장치(190)를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하는 기능, 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 대응하는 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하는 기능 중 하나 이상의 기능을 수행하는 운영서버(100)를 포함하여 이루어진다. 상기 운영서버(100)는 독립된 서버 형태, 둘 이상의 서버 조합 형태, 기 구비된 서버를 통해 실행되는 소프트웨어 형태 중 적어도 하나 또는 둘 이상의 조합 형태로 구현될 수 있으며, 상기 운영서버(100)를 구현하는 실시예나 상기 운영서버(100)의 명칭에 의해 본 발명이 한정되지 아니한다.The system of the present invention, through a camera device 190 provided at a designated base and capable of photographing a subject and connecting to a communication network, and a camera module of the camera device 190, video signals obtained by photographing a specific baby in the base A function of receiving acquired data including video data encoded in a designated manner and storing it in a specific storage area of a designated storage medium, and transmitting data including video data stored in a specific storage area of the storage medium to a designated user wireless terminal (180). ) function provided by the app or
상기 카메라장치(190)는 지정된 거점에 구비되어 피사체를 촬영하는 카메라를 구비한 단말이나 장치의 총칭으로서, 바람직하게 산후조리원이나 가정집의 아기가 기거하는 공간에 구비되어 상기 공간에 존재하는 특정 아기를 촬영하는 카메라를 구비한 단말이나 장치를 포함할 수 있다. The camera device 190 is a general term for a terminal or device equipped with a camera that is provided at a designated base and captures a subject, and is preferably provided in a postpartum care center or a space where a baby lives in a home to capture a specific baby existing in the space. It may include a terminal or device equipped with a camera for taking pictures.
본 발명의 실시 방법에 따르면, 상기 카메라장치(190)는 거점 내의 지정된 피사체를 촬영하는 카메라모듈과, 지정된 통신망에 연결하는 통신모듈 및 상기 카메라모듈을 통해 획득된 영상 신호를 지정된 방식으로 엔코딩한 비디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행하는 제어모듈을 구비한다. According to the implementation method of the present invention, the camera device 190 includes a camera module for photographing a designated subject within a base, a communication module connected to a designated communication network, and a video obtained by encoding an image signal obtained through the camera module in a designated manner. Equipped with a control module that performs a procedure of generating acquired data including data and transmitting the data to a designated operation server 100 through the communication module.
상기 카메라모듈은 피사체로부터 반사된 광신호를 입력받는 하나 이상의 렌즈부와, 상기 렌즈부를 통해 입력되는 광신호를 검지하여 전기적 영상 신호로 변환하는 이미지 센서부 및 상기 렌즈부와 이미지 센서부 사이에서 자동초점 기능이나 줌 기능 등을 포함하는 지정된 기능 동작을 구현하는 액츄에이터부(Actuator)를 포함하여 이루어진다. 한편 실시 방법에 따라 상기 카메라모듈은상기 렌즈부와 이미지 센서부 사이에는 야간에도 피사체를 촬영하기 위한 적외선 필터를 포함하는 이상의 필터부를 더 구비할 수 있다. 한편 상기 카메라모듈은 상기 이미지 센서부를 통해 생성된 영상 신호를 제어모듈로 제공하기 위한 PCB를 구비한다. 한편 실시 방법에 따라 상기 카메라모듈은 상기 이미지 센서부를 통해 생성된 영상 신호의 품질 향상을 위해 지정된 절차에 따라 상기 영상 신호를 가공하는 이미지 신호처리 프로세서(Image Signal Processor; ISP)를 더 구비할 수 있다.The camera module includes at least one lens unit that receives an optical signal reflected from a subject, an image sensor unit that detects an optical signal input through the lens unit and converts it into an electrical image signal, and an automatic communication between the lens unit and the image sensor unit. It includes an actuator that implements a designated functional operation including a focus function or a zoom function. Meanwhile, according to the implementation method, the camera module may further include an infrared filter including an infrared filter for photographing a subject even at night between the lens unit and the image sensor unit. Meanwhile, the camera module includes a PCB for providing an image signal generated through the image sensor unit to a control module. Meanwhile, according to the implementation method, the camera module may further include an image signal processor (ISP) that processes the image signal according to a specified procedure to improve the quality of the image signal generated through the image sensor unit. .
상기 통신모듈은 패킷 기반의 통신망에 연결하는 모듈의 총칭으로서, 바람직하게 UTP 케이블 등의 유선을 이용하여 통신망에 연결하는 통신모듈과 무선랜을 통해 통신망에 연결하는 통신모듈 중 적어도 하나 또는 둘을 모두 포함할 수 있다. 한편 실시 방법에 따라 상기 통신모듈은 무선랜 이외에 이동통신망이나 별도의 지정된 무선 통신을 통해 통신망에 연결하는 통신모듈을 더(또는 대체) 포함할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. The communication module is a generic term for modules connected to a packet-based communication network, and preferably includes at least one or both of a communication module connected to a communication network using a wire such as a UTP cable and a communication module connected to a communication network through a wireless LAN. can include Meanwhile, according to the implementation method, the communication module may further (or replace) a communication module connected to a communication network through a mobile communication network or a separately designated wireless communication other than a wireless LAN, and the present invention is not limited thereby.
상기 제어모듈은 상기 카메라모듈을 통해 생성된 영상 신호를 지정된 방식으로 엔코딩하여 비디오 데이터를 생성할 수 있다. 한편 실시 방법에 따라 상기 비디오 데이터는 상기 카메라모듈을 통해 생성되어 상기 제어모듈로 전달될 수 있다. 한편 상기 비디오 데이터는 상기 영상 신호를 촬영한 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. The control module may generate video data by encoding the video signal generated through the camera module in a designated manner. Meanwhile, according to the implementation method, the video data may be generated through the camera module and transmitted to the control module. Meanwhile, the video data may further include a time value (or timestamp) at a point in time at which the video signal was captured.
상기 제어모듈은 상기 비디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 한편 실시 방법에 따라 상기 획득 데이터는 상기 비디오 데이터 이외에 오디오 데이터를 더 포함하거나 및/또는 지정된 센서모듈을 통해 센싱된 센싱 데이터를 더 포함할 수 있다. The control module may perform a procedure of generating acquired data including the video data and transmitting the acquired data to the designated operation server 100 through the communication module. Meanwhile, according to the implementation method, the acquired data may further include audio data in addition to the video data and/or sensing data sensed through a designated sensor module.
본 발명의 실시 방법에 따르면, 상기 카메라장치(190)는 거점 내의 사운드 신호를 입력받는 사운드 입력부를 더 구비하며, 이 경우 상기 제어모듈은 상기 사운드 입력부를 통해 획득된 사운드 신호를 지정된 방식으로 엔코딩한 오디오 데이터를 더 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다.According to the implementation method of the present invention, the camera device 190 further includes a sound input unit for receiving a sound signal within the base, and in this case, the control module encodes the sound signal acquired through the sound input unit in a designated manner. A procedure of generating acquired data further including audio data and transmitting it to the designated operation server 100 through the communication module may be performed.
상기 사운드 입력부는 공기의 진동을 전기적 신호 형태의 사운드 신호로 변환하는 마이크로폰 및 이를 제어모듈과 인터페이스하는 인터페이스부를 포함하여 구성되며, 상기 제어모듈은 상기 사운드 입력부를 통해 획득된 사운드 신호를 지정된 지정된 방식으로 엔코딩하여 오디오 데이터를 생성할 수 있다. 한편 실시 방법에 따라 상기 사운드 입력부가 별도의 모듈 형태로 구현되는 겨우, 상기 오디오 데이터는 상기 사운드 입력부를 통해 카메라모듈을 통해 생성되어 상기 제어모듈로 전달될 수 있다. 한편 상기 오디오 데이터는 상기 사운드 신호를 입력받은 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. The sound input unit includes a microphone that converts air vibration into a sound signal in the form of an electrical signal and an interface unit that interfaces the microphone with a control module. Audio data can be generated by encoding. Meanwhile, when the sound input unit is implemented in the form of a separate module according to the implementation method, the audio data may be generated through the camera module through the sound input unit and transmitted to the control module. Meanwhile, the audio data may further include a time value (or timestamp) at the time of receiving the sound signal.
상기 카메라장치(190)에 상기 사운드 입력부를 구비하여 상기 사운드 입력부를 통해 획득된 사운드 신호를 엔코딩한 오디오 데이터가 생성되는 경우, 상기 제어모듈은 상기 비디오 데이터와 오디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. When the camera device 190 has the sound input unit and audio data encoding the sound signal acquired through the sound input unit is generated, the control module generates acquisition data including the video data and audio data, A procedure for transmitting to the designated operation server 100 through the communication module may be performed.
본 발명의 일 실시 방법에 따르면, 상기 획득 데이터는 상기 비디오 데이터와 오디오 데이터를 지정된 데이터 포맷에 포함하는 동영상 데이터(또는 멀티미디어 데이터) 형태로 생성될 수 있다.According to one embodiment of the present invention, the obtained data may be generated in the form of video data (or multimedia data) including the video data and audio data in a designated data format.
본 발명의 다른 일 실시 방법에 따르면, 상기 획득 데이터는 상기 비디오 데이터와 오디오 데이터를 지정된 각각의 데이터 포맷에 포함하되, 상기 비디오 데이터와 오디오 데이터에 포함된 시간 값(또는 타임스탬프)를 통해 시점을 동기화 가능한 각각의 데이터 형태로 생성될 수 있다.According to another embodiment of the present invention, the acquisition data includes the video data and audio data in each designated data format, and the time value (or timestamp) included in the video data and audio data determines the time point. It can be created in each data type that can be synchronized.
본 발명의 실시 방법에 따르면, 상기 카메라장치(190)는 지정된 사운드 신호를 지정된 신호 강도로 출력하는 사운드 출력부를 더 구비할 수 있으며, 이 경우 상기 제어모듈은 지정된 절차에 따라 상기 사운드 출력부를 통해 출력할 사운드 신호에 대응하는 오디오 데이터를 생성하거나 및/또는 지정된 저장영역으로부터 추출하거나 및/또는 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 사운드 출력부를 통해 출력할 사운드 신호에 대응하는 오디오 데이터를 수신하고, 상기 생성/추출/수신된 오디오 데이터에 대응하는 사운드 신호를 상기 사운드 출력부를 통해 출력하도록 처리하는 절차를 수행할 수 있다.According to the implementation method of the present invention, the camera device 190 may further include a sound output unit for outputting a designated sound signal with a designated signal strength. In this case, the control module outputs the sound through the sound output unit according to a designated procedure. Audio data corresponding to the sound signal to be generated and/or extracted from the designated storage area and/or audio data corresponding to the sound signal to be output through the sound output unit from the operation server 100 designated through the communication module A process of receiving and outputting a sound signal corresponding to the generated/extracted/received audio data through the sound output unit may be performed.
상기 사운드 출력부는 오디오 데이터를 디코딩한 전기적 신호 형태의 사운드 신호를 출력하는 스피커 및 이를 제어모듈과 인터페이스하는 인터페이스부를 포함하여 구성되며, 상기 제어모듈은 상기 사운드 출력부를 통해 출력할 오디오 데이터를 생성하거나 및/또는 지정된 저장영역으로부터 추출하거나 및/또는 상기 통신모듈을 통해 지정된 운영서버(100)로부터 수신하고, 상기 사운드 출력부를 통해 상기 오디오 데이터에 대응하는 사운드 신호를 지정된 신호 강도(예컨대, 카메라장치(190)의 스피커를 통해 출력된 사운드 신호가 지정된 거리 내외로 이격된 아기에게 지정된 소리 크기로 전달되도록 설정된 신호 강도)로 출력할 수 있다. The sound output unit includes a speaker that outputs a sound signal in the form of an electrical signal obtained by decoding audio data and an interface unit that interfaces the same with a control module, wherein the control module generates audio data to be output through the sound output unit, and / or extracted from a designated storage area and / or received from a designated operation server 100 through the communication module, and a sound signal corresponding to the audio data through the sound output unit with a designated signal intensity (eg, camera device 190 ) can be output at a set signal strength so that the sound signal output through the speaker is delivered to the baby at a specified sound volume within or outside the specified distance.
본 발명의 실시 방법에 따르면, 상기 카메라장치(190)는 지정된 센서를 통해 아기의 지정된 센싱 대상을 센싱하는 센서모듈을 구비하거나 연계될 수 있으며, 상기 제어모듈은 상기 센서모듈을 통해 센싱하여 획득된 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 더 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 바람직하게, 상기 센서모듈을 통해 센싱하는 아기의 지정된 센신 대상은 아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함할 수 있다.According to the implementation method of the present invention, the camera device 190 may include or be linked to a sensor module that senses a designated sensing target of the baby through a designated sensor, and the control module senses through the sensor module and obtains A procedure of generating acquired data further including sensing data obtained by encoding a sensing signal in a designated manner and transmitting the obtained data to the designated operation server 100 through the communication module may be performed. Preferably, the baby's designated sensing target sensed through the sensor module may include at least one of the baby's heartbeat, baby's body temperature, ambient humidity around the baby, and whether or not the baby is not breathing.
상기 센서모듈은 아기의 신체 중 지정된 부위에 착용하여 아기의 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈을 포함할 수 있으며, 이 경우 상기 제어모듈은 지저된 근거리 통신(예컨대, 블루투스 등)을 통해 상기 웨어러블 센서모듈과 연계하여 상기 센서모듈을 통해 센싱된 센싱 값에 대응하는 센싱 신호를 수신하거나 또는 상기 센서모듈을 통해 상기 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 수신할 수 있다. The sensor module may include a wearable sensor module that is worn on a designated part of the baby's body and senses a designated sensing target of the baby. In connection with the wearable sensor module, a sensing signal corresponding to a sensing value sensed through the sensor module may be received, or sensing data obtained by encoding the sensing signal in a designated manner may be received through the sensor module.
한편 상기 센서모듈은 지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈을 포함할 수 있으며, 이 경우 상기 제어모듈은 상기 레이더 센서모듈을 통해 싱된 센싱 값에 대응하는 센싱 신호를 확인하고 지정된 방식으로 엔코딩하여 센싱 데이터를 생성할 수 있다. 한편 상기 레이더 센서모듈은 상기 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 생성하여 상기 제어모듈로 제공할 수 있으며, 이 경우 상기 제어모듈은 상기 레이더 센서모듈로부터 상기 센싱 데이터를 제공받을 수 있다. Meanwhile, the sensor module may include a radar sensor module that senses a designated sensing target of the baby using designated electromagnetic waves, and in this case, the control module detects a sensing signal corresponding to a sensing value obtained through the radar sensor module. It is possible to generate sensing data by checking and encoding in a designated manner. Meanwhile, the radar sensor module may generate sensing data obtained by encoding the sensing signal in a designated manner and provide the sensing data to the control module. In this case, the control module may receive the sensing data from the radar sensor module.
본 발명의 실시 방법에 따르면, 상기 센싱 데이터는 상기 센서모듈을 통해 지정된 센싱 대상을 센싱한 센싱 값을 포함하며, 바람직하게 상기 센서모듈을 통해 상기 센싱 값을 센싱한 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. According to the implementation method of the present invention, the sensing data includes a sensing value obtained by sensing a designated sensing target through the sensor module, and preferably a time value (or timestamp) at a point in time when the sensing value is sensed through the sensor module. ) may further include.
상기 카메라장치(190)에 상기 센서모듈을 구비하거나 연계시켜 아기의 지정된 센싱 대상을 센싱한 센싱 데이터가 생성되는 경우, 상기 제어모듈은 상기 획득 데이터에 상기 센싱 데이터를 추가하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 바람직하게, 상기 센싱 데이터는 지정된 데이터 포맷에 포함된 형태로 상기 획득 데이터에 포함될 수 있으며, 상기 비디오 데이터와 센싱 데이터에 포함된 시간 값(또는 타임스탬프)를 통해 시점을 동기화 가능한 데이터 형태로 생성될 수 있다.When sensing data obtained by sensing a designated sensing target of a baby is generated by providing or linking the sensor module to the camera device 190, the control module adds the sensing data to the acquired data to be designated through the communication module. A procedure for transmitting to the operating server 100 may be performed. Preferably, the sensing data may be included in the acquired data in a form included in a designated data format, and may be generated in a data form capable of synchronizing viewpoints through a time value (or timestamp) included in the video data and the sensing data. can
본 발명의 실시 방법에 따르면, 상기 카메라장치(190)는 상기 카메라모듈의 촬영 방향을 상/하/좌/우 방향으로 지정된 각도 범위 내로 구동하는 구동모듈을 더 구비하며, 상기 제어모듈은 상기 카메라모듈을 통해 촬영되는 비디오 데이터를 판독하여 아기(또는 아기의 안면)에 대응하거나 아기가 누워 있는 요람이나 이불에 대응하는 객체를 인식하는 과정을 시도할 수 있다. 만약 상기 객체가 인식되지 않는 경우, 상기 제어모듈은 상기 구동모듈을 통해 상기 카메라모듈의 촬영 방향을 지정된 방향으로 지정된 각도 범위만큼 이격하면서 상기 객체가 인식하는 과정을 전 각도 범위에 도달할 때까지 반복할 수 있다. 만약 상기의 인식 과정을 통해 상기 객체가 인식되면, 상기 카메라장치(190)는 상기 인식된 아기의 안면 영역을 상기 비디오 데이터 상의 지정된 영역 내에 존재하도록 촬영방향을 제어하고, 상기 아기의 안면 영역의 움직임이나 이동에 반응하여 상기 아기의 안면 영역을 추적하여 상기 비디오 데이터 상의 지정된 영역 내에 존재하도록 상기 카메라모듈의 촬영방향을 제어할 수 있다. 한편 상기 구동모듈을 통해 상기 카메라모듈의 촬영 방향을 제어하거나 상기 객체를 인식하는 과정은 상기 서버를 통해 실행될 수 있으며, 이에 의해 본 발명이 한정되지 아니한다.According to the implementation method of the present invention, the camera device 190 further includes a driving module for driving the photographing direction of the camera module within a designated angular range in up/down/left/right directions, and the control module comprises the camera A process of recognizing an object corresponding to a baby (or baby's face) or a cradle or blanket in which a baby is lying may be attempted by reading video data captured through the module. If the object is not recognized, the control module repeats the process of recognizing the object until it reaches the entire angular range while spaced apart by a designated angular range in a designated direction of the photographing direction of the camera module through the driving module. can do. If the object is recognized through the recognition process, the camera device 190 controls the photographing direction so that the recognized baby's face area exists within a designated area on the video data, and the movement of the baby's face area It is possible to control the photographing direction of the camera module so that the face region of the baby is tracked in response to the baby's movement or to exist within a designated region on the video data. Meanwhile, the process of controlling the photographing direction of the camera module or recognizing the object through the driving module may be executed through the server, and the present invention is not limited thereto.
본 발명의 실시 방법에 따르면, 상기 카메라장치(190)는 램프를 통해 지정된 형상이나 영상을 천정이나 벽면에 투영하는 프로젝터부를 더 구비할 수 있으며, 이 경우 상기 제어모듈은 지정된 절차에 따라 상기 프로젝터부의 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 프로젝터부의 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 프로젝터부의 램프를 온/오프 처리할 수 있다. 한편 상기 프로젝터부를 통해 복수의 필름 중 어느 한 필름으로 선택하여 투영할 형상이나 영상을 선택 가능한 경우, 상기 제어모듈은 지정된 절차에 따라 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리할 수 있다. 한편 상기 프로젝터부를 통해 전자적 형상이나 전자적 영상을 투영 가능한 경우, 상기 제어모듈은 지정된 절차에 따라 지정된 저장영역에 저장된 전자적 형상이나 전자적 영상을 추출하여 상기 프로젝터부를 통해 투영할 형상이나 영상으로 처리하거나 및/또는 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 저장된 전자적 형상이나 전자적 영상을 및/또는 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 수신된 전자적 형상이나 전자적 영상을 상기 프로젝터부를 통해 투영할 형상이나 영상으로 처리하거나 및/또는 램프를 온/오프 처리할 수 있다. According to the implementation method of the present invention, the camera device 190 may further include a projector unit for projecting a designated shape or image onto a ceiling or a wall surface through a lamp. In this case, the control module may operate the projector unit according to a designated procedure. The lamp can be turned on/off, or the control module can receive control information for turning on/off the lamp of the projector unit from the operation server 100 designated through the communication module, and the control information Based on this, it is possible to turn on/off the lamp of the projector unit. Meanwhile, when a shape or image to be projected can be selected by selecting one of a plurality of films through the projector unit, the control module selects a film of the projector unit and/or turns on/off the lamp according to a designated procedure. Alternatively, the control module may receive control information for selecting a film of the projector part and/or turning on/off a lamp from the operation server 100 designated through the communication module, and the control information Based on this, a film of the projector unit may be selected and/or a lamp may be turned on/off. Meanwhile, when an electronic shape or electronic image can be projected through the projector unit, the control module extracts the electronic shape or electronic image stored in a designated storage area according to a designated procedure and processes it into a shape or image to be projected through the projector unit, and/or Alternatively, the lamp can be turned on/off, or the control module receives stored electronic shapes or electronic images and/or control information for turning on/off the lamp from the operation server 100 designated through the communication module. Based on the control information, the received electronic shape or electronic image may be processed into a shape or image to be projected through the projector unit and/or a lamp may be turned on/off.
상기 사용자 무선단말(180)은 상기 카메라장치(190)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 사용자가 사용하는 무선통신기기의 총칭으로서, 사용자가 사용하는 휴대폰, 스마트폰, 태블릿PC 등의 각종 무선통신기기를 포함할 수 있다. The user wireless terminal 180 is a general term for a wireless communication device used by a user to receive transmission data including video data photographed through the camera device 190, and is a mobile phone, smart phone, or tablet PC used by the user. It may include various wireless communication devices such as
본 발명의 실시 방법에 따르면, 상기 사용자 무선단말(180)은 운영서버(100)에 지정된 정보를 등록하고, 상기 운영서버(100)로부터 상기 카메라장치(190)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받기 위해 앱(Application)이 설치 실행된다. 이하, 별도의 언급이 없더라도 상기 사용자 무선단말(180)을 주체 또는 객체로 하여 구현되는 기능의 설명은 상기 앱을 통해 구현되는 기능임을 밝혀두는 바이다.According to the implementation method of the present invention, the user wireless terminal 180 registers designated information in the operation server 100, and includes video data taken from the operation server 100 through the camera device 190. To receive transmission data, an application is installed and executed. Hereinafter, even if there is no separate mention, it should be noted that the description of the function implemented using the user wireless terminal 180 as a subject or object is a function implemented through the app.
상기 운영서버(100)는 지정된 거점에 구비된 카메라장치(190)와 통신하고 지정된 앱을 설치 실행한 사용자 무선단말(180)의 앱과 통신 가능한 서버의 총칭으로서, 상기 카메라장치(190)의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하는 기능, 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공하는 기능 중 적어도 하나의 기능을 수행하며, 본 발명에 따라 상기 카메라장치(190)를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 아기에 대한 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하는 기능과, 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 대응하는 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 생성된 각 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하는 기능 중 적어도 하나의 기능을 수행한다.The operation server 100 is a generic term for servers capable of communicating with the camera device 190 provided in a designated base and communicating with the app of the user wireless terminal 180 that has installed and executed the designated app, and is a camera of the camera device 190. A function of receiving acquired data including video data encoded in a designated manner by photographing a specific baby in the base through the module and storing the acquired data in a specific storage area of a designated storage medium, and video data stored in a specific storage area of the storage medium It performs at least one function of providing transmitted data including transmission data to the app of the designated user wireless terminal 180 or to the
본 발명의 실시 방법에 따르면, 상기 송신 데이터는 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터 외에, 상기 비디오 데이터와 연계되어 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터, 또는 상기 비디오 데이터를 포함하는 동영상 데이터의 오디오 데이터를 더 포함할 수 있다.According to the implementation method of the present invention, the transmission data includes, in addition to video data stored in a specific storage area of the storage medium, audio data stored in a specific storage area of the storage medium in association with the video data, or the video data. Audio data of video data may be further included.
도면1을 참조하면, 상기 운영서버(100)는, 아기의 감정 상태를 판별하기 위해 인식하도록 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 사이의 매칭 관계정보 및 상기 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 간 상관도를 수치화한 상관도 수치 관계정보를 포함하는 지정된 인식 대상 별 감정상태 판별 정보를 지정된 운영D/B에 등록 저장하여 관리하는 정보 관리부(105)를 포함한다. Referring to Figure 1, the operation server 100, matching relationship information between the pattern information of the recognition target designated to be recognized to determine the emotional state of the baby and each baby emotion item and the pattern information of the designated recognition target and each and an information management unit 105 for registering, storing, and managing emotional state determination information for each designated recognition target, including numerical correlation information obtained by digitizing the correlation between baby emotion items, in a designated operation DB.
상기 정보 관리부(105)는 아기의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 아기 표정 패턴 정보와 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장한다. The information management unit 105 includes E (E≥2) pieces of baby expression pattern information corresponding to geometric relationships between feature points associated with emotional expression of the baby among F (F≥2) feature points existing in the baby's facial area and designated N It includes matching relationship information between N1 (1≤N1≤N) baby emotion items that can be distinguished based on baby expression patterns among (N≥2) baby emotion items, and includes the E baby expression pattern information and N1 baby emotion items. Register and store facial expression-based emotional state determination information including numerical relationship information based on facial expression-based correlations obtained by digitizing correlations between items in the designated operation D/B.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 아기의 안면 영역에 존재하는 F개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E개의 아기 표정 패턴 정보를 등록받고, 상기 E개의 아기 표정 패턴 정보를 지정된 N개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1개의 아기 감정 항목과 매칭하는 매칭 관계정보를 등록받고, 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목을 행 또는 열의 타이틀로 포함하며 상기 표정 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀(Cell)의 정보로 포함하는 테이블 형태의 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장할 수 있다. According to the implementation method of the present invention, the information management unit 105 receives E pieces of baby expression pattern information corresponding to a geometric relationship between feature points associated with emotional expression of the baby among F feature points existing in the baby's facial area from a designated operating terminal. registration, matching relationship information matching the E number of baby expression pattern information with N1 baby emotion items that can be distinguished based on baby expression patterns among the designated N baby expression patterns is registered, and the E number of baby expression pattern information and N1 baby expression pattern information are registered Expression-based correlation numerical relationship information obtained by digitizing the correlation between the dog's baby emotion items can be registered and stored in a designated operation D/B. For example, the information management unit 105 includes the E number of baby expression pattern information and N1 number of baby emotion items as row or column titles, and the expression-based correlation numerical relationship information in a cell corresponding to each row or column. Expression-based emotional state determination information in the form of a table including information of can be registered and stored in a designated operation D/B.
본 발명의 실시 방법에 따르면, 상기 N개의 아기 감정 항목은 '기쁨(喜)', '노여움(怒)', '슬픔(哀)', '즐거움(樂)', '사랑(愛)', '미움(惡)', '욕심(欲)' 등의 기본 감정 중에서 사회화가 진행되지 않거나 성인보다 덜 진행된 아기라도 느낄 수 있는 하나 이상의 감정(예컨대, '기쁨', '노여움', '슬픔', '즐거움' 등)에 대응하는 감정 항목을 포함할 수 있으며, 상기 기본 감정 외에 아기가 느낄 수 있는 다양한 감정(예컨대, '짜증', '외로움', '답답함', '불쾌', '두려움' 등)에 대한 감정 항목을 더 포함하거나 및/또는 상기 기본 감정 중 적어도 하나를 아기의 상황에 맞게 구체화한 감정(예컨대, '욕심' 중 수면욕에 해당하는 '졸림'이나 식욕에 해당하는 '배고픔' 등)에 대응하는 감정 항목을 더 포함할 수 있다. According to the implementation method of the present invention, the N baby emotion items include 'joy', 'anger', 'sadness', 'joy', 'love', Among the basic emotions such as 'hate' and 'greed', one or more emotions (e.g., 'joy', 'anger', 'sadness', It may include emotion items corresponding to 'joy', etc.), and may include various emotions that the baby may feel in addition to the basic emotions (eg, 'annoyed', 'lonely', 'stuffy', 'unpleasant', 'fear', etc. ) and/or emotions that embody at least one of the basic emotions according to the baby's situation (e.g., 'sleepiness' corresponding to sleep desire among 'greed' or 'hunger' corresponding to appetite, etc.) ) may further include an emotion item corresponding to.
본 발명의 일 실시 방법에 따르면, 상기 E개의 아기 표정 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 표정 패턴에 대응하는 각 특징점 간 기하학 관계 정보를 포함할 수 있다. 바람직하게, 상기 특징점 간 기하학 관계는 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함할 수 있다. 예를들어, 상기 특징점 간 기하학 관계 정보는 지정된 기준 특징점 간 거리 수치를 기준으로 하는 각 특징점 간 거리 수치, 각 특징점 간 각도 수치, 각 특징점 간 거리 수치와 각도 수치의 조합 중 하나 이상의 수치를 포함할 수 있다. According to one implementation method of the present invention, the E pieces of baby expression pattern information may include geometric relationship information between feature points corresponding to each baby expression pattern associated with the baby's emotional expression. Preferably, the geometric relationship between feature points may include one or more of a distance relationship between feature points, an angular relationship between feature points, and a combination of a distance relationship and an angular relationship between feature points. For example, the geometric relationship information between feature points may include one or more of a distance value between each feature point based on a specified distance value between reference feature points, an angle value between each feature point, and a combination of a distance value and an angle value between each feature point. can
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 E개의 아기 표정 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 표정 패턴에 대응하는 각 특징점 간 기하학 관계의 범위 정보를 포함할 수 있다. 바람직하게, 상기 특징점 간 기하학 관계는 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함할 수 있다. 예를들어, 상기 특징점 간 기하학 관계의 범위 정보는 지정된 기준 특징점 간 거리 수치를 기준으로 하는 각 특징점 간 거리 수치 범위, 각 특징점 간 각도 수치 범위, 각 특징점 간 거리 수치 범위와 각도 수치 범위의 조합 중 하나 이상의 수치 범위를 포함할 수 있다. Meanwhile, according to another implementation method of the present invention, the E pieces of baby expression pattern information may include range information of a geometric relationship between feature points corresponding to each baby expression pattern associated with a baby's emotional expression. Preferably, the geometric relationship between feature points may include one or more of a distance relationship between feature points, an angular relationship between feature points, and a combination of a distance relationship and an angular relationship between feature points. For example, the range information of the geometric relationship between feature points may be selected from a combination of a distance numerical range between feature points, a numerical range of angles between feature points, a numerical range of distances between feature points, and a numerical range of angles based on a specified distance value between reference feature points. One or more numerical ranges may be included.
본 발명의 일 실시 방법에 따르면, 상기 표정 기반 상관도 수치 관계정보는 아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 표정 기반 상관도 수치 관계정보는 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to one implementation method of the present invention, the expression-based correlation numerical relationship information is a correlation value calculated through a relational expression proportional to a matching ratio between baby facial expression recognition information obtained by recognizing a baby's facial expression and pre-registered baby facial expression pattern information. information may be included. For example, the expression-based correlation numerical relationship information may be calculated as smaller numerical information as the matching ratio between baby expression recognition information and pre-registered baby facial expression pattern information is smaller, and as the matching ratio is larger, larger numerical information is calculated. It can be.
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 표정 기반 상관도 수치 관계정보는 아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 표정 기반 상관도 수치 관계정보는 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. On the other hand, according to another implementation method of the present invention, the expression-based correlation numerical relationship information includes correlation numerical information for each matching ratio section between the baby expression recognition information for recognizing the baby's facial expression and the previously registered baby expression pattern information. can include For example, the expression-based correlation numerical relationship information may be calculated as '0' or numerical information of a specified minimum value when a matching ratio between baby expression recognition information and pre-registered baby expression pattern information is a preset minimum ratio interval, , When the matching ratio is a preset maximum ratio interval, it can be calculated as numerical information of a designated maximum value.
한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 표정 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(140)를 통해 지정된 아기 표정 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 아기 표정 인식 정보가 인식된 후에 상기 카메라장치(190)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 아기의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 아기의 보호자가 아기에게 발화하는 음성 중 아기 감정 인지와 관련된 음성(예컨대, '우리 애기 배고프구나', '우리 애기 똥 ?奐립?', '우리 애기 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 아기 표정 인식 정보가 인식된 후에 보호자의 아기 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 아기 표정 인식 정보를 패턴화함과 동시에 상기 아기 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 아기 감정 항목을 식별하고, 상기 인식된 아기 표정 인식 정보를 패턴화한 아기 표정 패턴 정보와 상기 식별된 음성 인식 기반의 아기 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 표정 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.On the other hand, according to the implementation method of the present invention, after the facial expression-based emotional state discrimination information is registered and stored in the operating D/B through a designated operating terminal, when designated baby facial expression recognition information is recognized through the following information recognizing unit 140 After the baby expression recognition information is recognized, the information management unit 105 reads video data received from the camera device 190 and stored in a specific storage area of a designated storage medium to recognize an object corresponding to the guardian of the baby. At the same time, by reading the audio data associated with the video data, among the voices spoken by the guardian of the baby to the baby, the voice related to the recognition of the baby's emotion (eg, 'My baby is hungry', 'My baby's poop? 'My baby is sleepy', etc.) can be performed. If the voice related to the baby's emotion recognition is recognized after the baby's expression recognition information is recognized, the information management unit 105 patterns the recognized baby's expression recognition information and simultaneously responds to the voice related to the baby's emotion recognition. By repeating the process of identifying a baby emotion item based on voice recognition and learning a combination of baby expression pattern information patterned with the recognized baby expression recognition information and the identified baby emotion item based on voice recognition, the process is repeated. The big data-based accuracy and reliability of emotional state discrimination information can be continuously improved.
한편 본 발명의 확장 실시예에 따르면, 상기 정보 관리부(105)는 상기 표정 기반 감정상태 판별 정보 외에 상기 카메라장치(190)의 사운드 입력부를 통해 획득된 오디오 데이터를 근거로 아기 울음소리를 인식하여 아기의 감정 상태를 판별하기 위한 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장하거나, 및/또는 상기 카메라장치(190)에 아기의 감정 표현과 연관된 지정된 센싱 대상을 센싱하는 센서모듈이 구비되거나 연계되고 상기 카메라장치(190)로부터 상기 센서모듈을 통해 아기의 지정된 센싱 대상을 센싱하여 획득된 센싱 데이터가 수신되는 경우 상기 센싱 데이터를 이용하여 아기의 감정 상태를 판별하기 위한 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. Meanwhile, according to an extended embodiment of the present invention, the information management unit 105 recognizes the baby's crying based on audio data acquired through the sound input unit of the camera device 190 in addition to the facial expression-based emotional state determination information. A sensor module is provided to register and store cry-based emotional state determination information in the operation D/B for determining the emotional state of the baby, and/or to sense a designated sensing target associated with the baby's emotional expression in the camera device 190. Sensing-based emotional state determination for determining the baby's emotional state using the sensing data when sensing data obtained by sensing a designated sensing target of the baby is received from the camera device 190 through the sensor module. Information can be registered and stored in the operation D/B.
한편 본 발명의 다른 실시예에 따르면, 상기 정보 관리부(105)는 상기 표정 기반 감정상태 판별 정보를 대신(또는 대체)하여 상기 울음소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. 이하, 편의 상 표정 기반 감정상태 판별 정보를 기본 감정상태 판별 정보로 이용하고 상기 울음소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보를 부 감정상태 판별 정보로 이용하는 실시예를 통해 본 발명의 특징을 설명할 것이나, 본 발명의 기술적 특징이 이에 한정되는 것은 아니며, 본 발명의 실시예와 청구범위의 기재에 따라 상기 울음소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보도 기본 감정상태 판별 정보로 이용될 수 있음을 명백하게 밝혀두는 바이다.Meanwhile, according to another embodiment of the present invention, the information management unit 105 operates the crying-based emotional state determination information and/or the sensing-based emotional state determination information in place of (or replacing) the facial expression-based emotional state determination information. It can be registered and stored in D/B, and the present invention is not limited thereby. Hereinafter, for convenience, the present invention uses facial expression-based emotional state determination information as basic emotional state determination information and uses the crying-based emotional state determination information and/or sensing-based emotional state determination information as sub-emotional state determination information. The characteristics of will be described, but the technical features of the present invention are not limited thereto. It is clearly stated that it can be used as emotional state discrimination information.
본 발명의 확장/다른 실시예에 따르면, 상기 정보 관리부(105)는 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C(C≥2)개의 아기 울음소리 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 포함하는 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to an extension/another embodiment of the present invention, the information management unit 105 includes C (C≥2) pieces of baby crying pattern information related to emotional expressions of a baby among baby crying patterns and N baby emotion items specified. Crying including matching relationship information between N2 (1≤N2≤N) number of baby emotion items that can be distinguished based on the baby crying pattern and digitizing the correlation between the C number of baby crying pattern information and N2 number of baby emotion items Crying-based emotional state discrimination information including sound-based correlation numerical relationship information may be registered and stored in the operation D/B.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C개의 아기 울음소리 패턴 정보를 등록받고, 상기 C개의 아기 울음소리 패턴 정보를 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2개의 아기 감정 항목과 매칭하는 매칭 관계정보를 등록받고, 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목를 행 또는 열의 타이틀로 포함하며 상기 울음소리 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀의 정보로 포함하는 테이블 형태의 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다According to the implementation method of the present invention, the information management unit 105 receives C pieces of baby crying pattern information associated with emotional expression of a baby among baby crying patterns from a designated operating terminal, and the C pieces of baby crying pattern information. is registered with matching relationship information that matches N2 baby emotion items that can be distinguished based on baby crying patterns among the designated N baby emotion items, and the correlation between the C baby crying pattern information and the N2 baby emotion items is calculated. Numerical crying sound-based correlation can be registered and stored in a designated operation D/B after receiving registration of numerical relationship information. For example, the information management unit 105 includes C pieces of baby crying pattern information and N2 pieces of baby emotion items as row or column titles, and the crying sound-based correlation numerical relationship information as cell information corresponding to each matrix. Crying-based emotional state determination information in the form of a table containing can be registered and stored in the operating D/B.
본 발명의 일 실시 방법에 따르면, 상기 C개의 아기 울음소리 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 울음소리 패턴을 구성하는 울음소리 특징 정보를 포함할 수 있다. 바람직하게, 상기 울음소리 특징은 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함할 수 있다. According to one embodiment of the present invention, the C pieces of baby crying pattern information may include crying characteristic information constituting each baby crying pattern associated with the baby's emotional expression. Preferably, the crying feature is a frequency band feature, a disposition relationship feature of a frequency band feature, a periodicity feature of a frequency band feature, a sound intensity feature, a placement relationship feature of a sound intensity feature, a periodicity feature of a sound intensity feature, a frequency band feature It may include at least one feature of a combination of sound intensity features, a feature of an arrangement relationship between a frequency band feature and a sound intensity feature, and a periodicity feature of a frequency band feature and a sound intensity feature.
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 C개의 아기 울음소리 패턴 정보는 아기의 감정표현과 연관된 각각의 아기 울음소리 패턴을 구성하는 울음소리 특징의 범위 정보를 포함할 수 있다. 바람직하게, 상기 울음소리 특징은 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함할 수 있다. 예를들어, 상기 울음소리 특징의 범위 정보는 각 특징 별 주파수 대역의 허용 범위 및/또는 각 특징 별 소리 강도의 허용 범위를 포함할 수 있다. Meanwhile, according to another implementation method of the present invention, the C pieces of baby crying pattern information may include range information of crying sound characteristics constituting each baby crying pattern associated with the baby's emotional expression. Preferably, the crying feature is a frequency band feature, a disposition relationship feature of a frequency band feature, a periodicity feature of a frequency band feature, a sound intensity feature, a placement relationship feature of a sound intensity feature, a periodicity feature of a sound intensity feature, a frequency band feature It may include at least one feature of a combination of sound intensity features, a feature of an arrangement relationship between a frequency band feature and a sound intensity feature, and a periodicity feature between a frequency band feature and a sound intensity feature. For example, the range information of the characteristics of crying sound may include an allowable range of a frequency band for each characteristic and/or an allowable range of sound intensity for each characteristic.
본 발명의 일 실시 방법에 따르면, 상기 울음소리 기반 상관도 수치 관계정보는 아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 울음소리 기반 상관도 수치 관계정보는 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to one embodiment of the present invention, the numerical relationship information based on the crying sound is calculated through a relational expression proportional to a matching ratio between the crying sound recognition information obtained by recognizing the baby crying sound and the pre-registered baby crying pattern information. Correlations may also include numerical information. For example, the cry-based correlation numerical relationship information may be calculated as smaller numerical information as the matching ratio between the crying sound recognition information and pre-registered baby crying pattern information is smaller, and the larger the matching ratio, the larger the numerical value. information can be calculated.
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 울음소리 기반 상관도 수치 관계정보는 아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 울음소리 기반 상관도 수치 관계정보는 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. On the other hand, according to another implementation method of the present invention, the cry-based correlation numerical relationship information is the correlation for each matching ratio section between the baby crying recognition information for recognizing the baby's crying and the pre-registered baby crying pattern information. It may also contain numerical information. For example, the cry-based correlation numerical relationship information is calculated as '0' or numerical information of a specified minimum value when the matching ratio between the baby crying sound recognition information and the previously registered baby crying pattern information is a preset minimum ratio interval. It can be, and if the matching ratio is a preset maximum ratio section, it can be calculated as numerical information of the designated maximum value.
한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 울음소리 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(140)를 통해 지정된 아기 울음소리 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 아기 울음소리 인식 정보가 인식된 후에 상기 카메라장치(190)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 아기의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 아기의 보호자가 아기에게 발화하는 음성 중 아기 감정 인지와 관련된 음성(예컨대, '우리 애기 배고프구나', '우리 애기 똥 ?奐립?', '우리 애기 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 아기 울음소리 인식 정보가 인식된 후에 보호자의 아기 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 아기 울음소리 인식 정보를 패턴화함과 동시에 상기 아기 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 아기 감정 항목을 식별하고, 상기 인식된 아기 울음소리 인식 정보를 패턴화한 아기 울음소리 패턴 정보와 상기 식별된 음성 인식 기반의 아기 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 울음소리 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.On the other hand, according to the implementation method of the present invention, after the crying sound-based emotional state determination information is registered and stored in the operating D/B through a designated operating terminal, the designated baby crying sound recognition information is recognized through the following information recognizing unit 140 In this case, the information management unit 105 reads the video data received from the camera device 190 and stored in a specific storage area of a designated storage medium after the baby cry recognition information is recognized to correspond to the guardian of the baby. At the same time as recognizing the object, the audio data associated with the video data is read, and among the voices spoken by the baby's guardian to the baby, the voice related to the baby's emotion recognition (eg, 'My baby is hungry', 'My baby's poop? ?', 'My baby is sleepy', etc.) can be performed. If the voice related to the recognition of the baby's emotion is recognized after the baby's cry recognition information is recognized, the information management unit 105 patterns the recognized baby's cry recognition information and at the same time, the voice related to the baby's emotion is recognized. A process of identifying a baby emotion item based on voice recognition corresponding to and learning a combination of baby crying pattern information patterned from the recognized baby crying sound recognition information and the identified baby emotion item based on voice recognition is repeated. By doing so, it is possible to continuously improve the big data-based accuracy and reliability of the crying-based emotional state discrimination information.
한편 본 발명의 확장/다른 실시예에 따르면, 상기 정보 관리부(105)는 상기 카메라장치(190)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다.Meanwhile, according to an extension/another embodiment of the present invention, the information management unit 105 senses a designated sensing target related to the baby's emotional expression among the sensing data provided in the camera device 190 or sensed through a linked sensor module. Matching relationship between S (S≥2) sensed value pattern information for data and N3 (1≤N3≤N) baby emotion items that can be distinguished based on the sensed value pattern of the designated sensing target among the designated N baby emotion items Sensing-based emotional state determination information including information and sensing-based correlation numerical relationship information obtained by digitizing correlations between the S sensed value pattern information and the N3 baby emotion items may be registered and stored in the operation D/B.
본 발명의 실시 방법에 따르면, 상기 센서모듈은 아기의 신체에 착용하여 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈, 지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈 중 적어도 하나의 센서모듈을 포함할 수 있으며, 상기 지정된 센싱 대상은 아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함할 수 있다.According to the implementation method of the present invention, the sensor module is a wearable sensor module that senses a designated sensing target worn on the baby's body, and a radar sensor module that senses a designated sensing target of the baby using designated electromagnetic waves The designated sensing target may include at least one of the baby's heartbeat, the baby's body temperature, the ambient humidity around the baby, and whether or not the baby is not breathing.
본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 상기 카메라장치(190)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S개의 센싱 값 패턴 정보를 등록받고, 상기 S개의 센싱 값 패턴 정보를 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3개의 아기 감정 항목 사이의 매칭 관계정보를 등록받고, 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목을 행 또는 열의 타이틀로 포함하며 센싱 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀의 정보로 포함하는 테이블 형태의 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to the implementation method of the present invention, the information management unit 105 senses a designated sensing target related to the baby's emotional expression among sensing data provided in or connected to the camera device 190 from a designated operating terminal through a sensor module. Matching relationship information between N3 baby emotion items that can be registered based on the sensed value pattern of the designated sensing target among the N baby emotion items in which S sensed value pattern information for data is registered and the S sensed value pattern information is designated is registered, and sensing-based correlation numerical relationship information obtained by digitizing the correlation between the S sensed value pattern information and the N3 baby emotion items is registered and registered and stored in a designated operation D/B. For example, the information management unit 105 includes the S sensed value pattern information and the N3 baby emotion items as row or column titles, and includes sensing-based correlation numerical relationship information as cell information corresponding to each matrix. Sensing-based emotional state determination information in the form of a table can be registered and stored in the operation D/B.
본 발명의 일 실시 방법에 따르면, 상기 S개의 센싱 값 패턴 정보는 아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징 정보를 포함할 수 있다. 바람직하게, 상기 센싱 값 특징은 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. According to one implementation method of the present invention, the S pieces of sensing value pattern information may include sensing value characteristic information constituting each sensing value pattern for sensing data of a designated sensing target associated with a baby's emotional expression. Preferably, the sensed value feature may include at least one or a combination of two or more of a sensing value change rule feature, a sensed value change rate feature, a sensed value change rate feature, and a sensed value change periodic feature.
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 S개의 센싱 값 패턴 정보는 아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징의 범위 정보를 포함할 수 있다. 바람직하게, 상기 센싱 값 특징은 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 예를들어, 상기 센싱 값 특징의 범위 정보는 각 특징 별 변화 규칙의 허용 범위, 각 특징 별 센싱 값 변화량의 허용 범위, 각 특징 별 센싱 값 변화율의 허용 범위를 포함할 수 있다. Meanwhile, according to another implementation method of the present invention, the S pieces of sensing value pattern information may include range information of sensing value characteristics constituting each sensing value pattern for the sensing data of a designated sensing target related to the emotional expression of the baby. can Preferably, the sensed value feature may include at least one or a combination of two or more of a change rule feature of a sensed value, a change amount feature of a sensed value, a change rate feature of a sensed value, and a periodicity feature of a sensed value change. For example, the range information of the sensing value characteristics may include an allowable range of a change rule for each feature, an allowable range for a sensing value change amount for each feature, and an allowable range for a sensing value change rate for each feature.
본 발명의 일 실시 방법에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 센싱 기반 상관도 수치 관계정보는 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to one embodiment of the present invention, the sensing-based correlation numerical relationship information is calculated through a relational expression proportional to a matching ratio between sensing value recognition information recognized through sensing data of a designated sensing target and previously registered sensing value pattern information. Correlations may also include numerical information. For example, the sensing-based correlation numerical relationship information may be calculated as smaller numerical information as the matching ratio between the sensing value recognition information and pre-registered sensing value pattern information is smaller, and as the matching ratio is larger, larger numerical information may be calculated. It can be.
한편 본 발명의 다른 일 실시 방법에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 센싱 기반 상관도 수치 관계정보는 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. Meanwhile, according to another implementation method of the present invention, the sensing-based correlation numerical relationship information is a correlation for each matching ratio section between sensing value recognition information recognized through sensing data of a designated sensing target and pre-registered sensing value pattern information. It may also contain numerical information. For example, the sensing-based correlation numerical relationship information may be calculated as '0' or numerical information of a specified minimum value when a matching ratio between sensing value recognition information and pre-registered sensing value pattern information is a preset minimum ratio interval, , When the matching ratio is a preset maximum ratio interval, it can be calculated as numerical information of a designated maximum value.
한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 센싱 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(140)를 통해 지정된 센싱 값 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 센싱 값 인식 정보가 인식된 후에 상기 카메라장치(190)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 아기의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 아기의 보호자가 아기에게 발화하는 음성 중 아기 감정 인지와 관련된 음성(예컨대, '우리 애기 배고프구나', '우리 애기 똥 ?奐립?', '우리 애기 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 센싱 값 인식 정보가 인식된 후에 보호자의 아기 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 센싱 값 인식 정보를 패턴화함과 동시에 상기 아기 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 아기 감정 항목을 식별하고, 상기 인식된 센싱 값 인식 정보를 패턴화한 아기 울음소리 패턴 정보와 상기 식별된 음성 인식 기반의 아기 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 센싱 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.On the other hand, according to the implementation method of the present invention, after the sensing-based emotional state discrimination information is registered and stored in the operating D/B through a designated operating terminal, when the designated sensing value recognition information is recognized through the following information recognizing unit 140 After the sensing value recognition information is recognized, the information management unit 105 reads video data received from the camera device 190 and stored in a specific storage area of a designated storage medium to recognize an object corresponding to the guardian of the baby. At the same time, by reading the audio data associated with the video data, among the voices spoken by the baby's guardian to the baby, the voice related to the baby's emotion recognition (eg, 'My baby is hungry', 'My baby's poop? 'My baby is sleepy', etc.) can be performed. If, after the sensing value recognition information is recognized, if the guardian's voice related to recognizing the baby's emotion is recognized, the information management unit 105 patterns the recognized sensing value recognition information and simultaneously responds to the voice related to the baby's emotion recognition. The sensing by repeating a process of identifying a baby emotion item based on voice recognition and learning a combination of baby crying pattern information patterned with the recognized sensing value recognition information and the identified voice recognition based baby emotion item. The big data-based accuracy and reliability of the based emotional state discrimination information can be continuously improved.
도면1을 참조하면, 상기 운영서버(100)는, 아기 안면 영역 상의 지정 부위를 아기의 감정 상태에 대응시켜 증강하기 위한 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하는 가상객체 관리부(110)와, 지정된 감정 항목 별 아기 감정 상태 정보와 하나 이상의 지정된 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 운영D/B에 등록 저장하는 정보 매칭부(115)를 포함한다. Referring to Figure 1, the operation server 100 registers and stores R (R≥2) virtual object data for augmenting a designated area on the baby's facial area by corresponding to the baby's emotional state in the operation D/B. It includes a virtual object management unit 110 and an information matching unit 115 for registering and storing virtual object matching information that matches baby emotional state information for each designated emotion item with one or more designated virtual object data in the operating D/B.
상기 가상객체 관리부(110)는 상기 카메라장치(190)의 카메라모듈을 통해 획득된 비디오 데이터 상에 존재하는 아기 안면 영역 상의 지정 부위를 아기의 감정 상태에 대응시켜 증강하기 위해 상기 아기 안면 영역 상의 지정 부위에 중첩하여 표시 가능한 R개의 가상객체 데이터를 운영D/B에 등록 저장한다. 예를들어, 상기 가상객체 관리부(110)는 지정된 운영단말로부터 아기 안면 영역 상의 지정 부위에 중첩하여 표시 가능한 R개의 가상객체 데이터를 등록받아 운영D/B에 저장할 수 있다. The virtual object management unit 110 is configured to augment a designated area on the baby's facial area existing on the video data obtained through the camera module of the camera device 190 by corresponding to the baby's emotional state. Register and store R virtual object data that can be displayed by overlapping the part in the operation D/B. For example, the virtual object management unit 110 may register R virtual object data that can be displayed by overlapping a designated area on the baby's facial region from a designated operating terminal, and store them in the operating D/B.
본 발명의 실시 방법에 따르면, 상기 아기 안면 영역 상의 지정 부위는 아기의 머리카락 부위, 아기의 이마 부위, 아기의 관자놀이 부위, 아기의 양 눈썹 부위, 아기의 양 안과 양 눈썹 사이 부위, 아기의 양 안 부위, 아기의 양 안 사이 부위, 아기의 양 안 바깥쪽 부위, 아기의 양 안 아래쪽 부위, 아기의 양 광대 부위, 아기의 양 볼 부위, 아기의 콧등 부위, 아기의 코 부위, 아기의 인중 부위, 아기의 입 부위, 아기의 입술 부위, 아기의 입 바깥쪽 부위, 아기의 입 아래쪽 부위, 아기의 턱 부위, 아기의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함할 수 있다. 예를들어, 상기 가상객체 데이터는 '슬픔'이라는 감정 상태를 증강하기 위해 '아기의 양 안 아래쪽 부위'에 중첩하여 표시되는 눈물 흐름 자국 형태의 가상객체 데이터를 포함할 수 있다. According to the implementation method of the present invention, the designated areas on the baby's face region are the baby's hair, the baby's forehead, the baby's temple, the baby's eyebrows, the baby's both eyes and between the eyebrows, and the baby's both eyes. Areas, between the inside of the baby's sheep, outside the inside of the baby's sheep, below the inside of the baby's sheep, on the cheeks of the baby's sheep, on both cheeks of the baby, on the bridge of the baby's nose, on the baby's nose, on the baby's philtrum , At least one or a combination of two or more of the baby's mouth, the baby's lips, the outer part of the baby's mouth, the lower part of the baby's mouth, the baby's chin, and the baby's neck. For example, the virtual object data may include virtual object data in the form of traces of tear flow displayed in an overlapping manner on 'the lower part of the baby's both eyes' in order to enhance the emotional state of 'sadness'.
상기 정보 매칭부(115)는 상기 표정 기반 감정상태 판별 정보와 울음소리 기반 감정상태 판별 정보와 센싱 기반 감정상태 판별 정보 중 적어도 하나의 감정상태 판별 정보를 근거로 생성되는 지정된 감정 항목 별 아기 감정 상태 정보를 상기 R개의 가상객체 데이터 중 하나 이상의 가상객체 데이터와 매칭하는 가상객체 매칭 정보를 운영D/B에 등록 저장한다. 예를들어, 상기 정보 매칭부(115)는 지정된 운영단말로부터 지정된 감정 항목 별 아기 감정 상태 정보와 하나 이상의 지정된 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 등록받아 운영D/B에 등록 저장할 수 있다. The information matching unit 115 is the emotional state of the baby for each designated emotion item generated based on at least one emotional state determination information among the facial expression-based emotional state determination information, crying-based emotional state determination information, and sensing-based emotional state determination information. Virtual object matching information matching information with at least one virtual object data among the R virtual object data is registered and stored in the operation D/B. For example, the information matching unit 115 may register and store virtual object matching information that matches baby emotional state information for each designated emotion item and one or more designated virtual object data from a designated operating terminal, and register and store them in the operating D/B. .
본 발명의 실시 방법에 따르면, 적어도 하나의 감정상태 판별 정보를 근거로 생성되는 지정된 감정 항목 별 아기 감정 상태 정보는 지정된 감정 항목 별 아기 감정 상태에 대한 수치정보를 포함하는데, 상기 가상객체 데이터는 지정된 감정 항목 별 아기 감정 상태에 대한 수치정보에 대응하는 감정의 세기(또는 강도)를 직관적으로 표현 가능한 구조로 이루어질 수 있다. 예를들어, 상기 가상객체 데이터가 '슬픔'이라는 감정 상태를 증강하기 위해 '아기의 양 안 아래쪽 부위'에 중첩하여 표시되는 눈물 흐름 자국 형태의 가상객체 데이터인 경우, 상기 가상객체 데이터는 '슬픔'이라는 감정 항목의 아기 감정 상태에 대한 수치정보이 따라 눈물 흐름 자국의 폭이나 길이 또는 색상이 달라지는 구조로 이루어질 수 있다. According to the implementation method of the present invention, the baby emotional state information for each designated emotional item generated based on at least one emotional state determination information includes numerical information about the baby's emotional state for each designated emotional item, and the virtual object data is designated as A structure capable of intuitively expressing the intensity (or strength) of emotion corresponding to numerical information on the baby's emotional state for each emotion item may be provided. For example, if the virtual object data is virtual object data in the form of traces of tear flow that is overlapped and displayed on 'the lower part of both eyes of the baby' to enhance the emotional state of 'sadness', the virtual object data is 'sadness'. The width, length, or color of the tear flow trace may be configured according to numerical information about the baby's emotional state of the emotion item '.
도면1을 참조하면, 상기 운영서버(100)는, 지정된 거점에 구비된 카메라장치(190)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(190)를 매핑하는 정보를 등록받아 지정된 관리D/B에 저장하는 정보 등록부(120)를 포함한다. Referring to Figure 1, the operation server 100, through the camera device 190 provided in the designated base, the camera device ( 190) and an information registration unit 120 for receiving registered information and storing it in a designated management D/B.
상기 카메라장치(190)를 구매하거나 공급받는 사용자가 이용하는 사용자단말을 통해 가입신청정보를 입력하거나 종이 형태의 가입신청서(예컨대, 카메라장치(190)를 이용한 서비스와 IPTV(185)를 결합하는 신청서, 카메라장치(190)를 이용한 서비스와 사용자 무선단말(180)을 결합하는 신청서 등)를 작성한 경우, 상기 정보 등록부(120)는 사용자 단말이나 지정된 등록단말을 통해 상기 가입신청정보나 가입신청서에 대응하는 사용자정보와 상기 사용자에게 제공/공급된 카메라장치(190)를 고유 식별하는 카메라장치(190)정보를 등록받아 관리D/B에 저장할 수 있다. 한편 상기 정보 등록부(120)는 상기 사용자 단말이나 지정된 등록단말을 통해 상기 카메라장치(190)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 사용자가 이용하는 IPTV(185)로 제공하기 위한 ID/PW정보를 등록받고 상기 사용자정보 및/또는 카메라장치(190)정보와 연계하여 관리D/B에 저장할 수 있다. 한편 본 발명의 실시 방법에 따라 상기 ID/PW정보는 상기 카메라장치(190)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 웹을 통해 사용자가 이용하는 유선단말이나 무선단말(180)로 제공하기 위해 사용될 수 있으며, 본 발명은 이러한 실시예도 권리범위로 포함할 수 있다. A user who purchases or receives the camera device 190 inputs subscription application information through a user terminal or a paper-type subscription application form (eg, an application for combining a service using the camera device 190 and the
한편 상기 사용자가 본인이 사용하는 사용자 무선단말(180)에 지정된 앱을 설치하고 최초(또는 가입 전) 구동 시, 상기 정보 등록부(120)는 상기 사용자 무선단말(180)의 앱으로부터 상기 사용자에 대한 사용자정보와 상기 사용자에게 제공/공급된 카메라장치(190)를 고유 식별하는 카메라장치(190)정보를 등록받아 관리D/B에 저장할 수 있다. 한편 상기 정보 등록부(120)는 상기 카메라장치(190)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 상기 사용자 무선단말(180)의 앱으로 제공하기 위해 상기 사용자 무선단말(180)의 앱을 고유 식별하는 고유식별정보를 생성하거나 상기 사용자 무선단말(180)의 앱으로부터 제공받고 상기 사용자정보 및/또는 카메라장치(190)정보와 연계하여 관리D/B에 저장할 수 있으며, 상기 고유식별정보를 생성한 경우 상기 사용자 무선단말(180)의 앱으로 제공하여 지정된 저장영역에 저장하도록 처리할 수 있다. 한편 상기 정보 등록부(120)는 상기 사용자 무선단말(180)의 앱으로부터 상기 카메라장치(190)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 사용자가 이용하는 IPTV(185)로 제공하기 위한 ID/PW정보를 등록받고 상기 사용자정보 및/또는 카메라장치(190)정보와 연계하여 관리D/B에 저장할 수 있다. 한편 본 발명의 실시 방법에 따라 상기 ID/PW정보는 상기 카메라장치(190)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 웹을 통해 사용자가 이용하는 유선단말이나 무선단말(180)로 제공하기 위해 사용될 수 있으며, 본 발명은 이러한 실시예도 권리범위로 포함할 수 있다. On the other hand, when the user installs a designated app on the user wireless terminal 180 and runs it for the first time (or before signing up), the information registration unit 120 provides information about the user from the app of the user wireless terminal 180. User information and camera device 190 information uniquely identifying the camera device 190 provided/supplied to the user may be registered and stored in the management D/B. Meanwhile, the information registration unit 120 uniquely identifies the app of the user wireless terminal 180 in order to provide transmission data including video data captured through the camera device 190 to the app of the user wireless terminal 180. Generating unique identification information for identifying or being provided from the app of the user wireless terminal 180 and storing it in the management D/B in association with the user information and/or camera device 190 information, and generating the unique identification information In one case, it can be processed to be provided to the app of the user wireless terminal 180 and stored in a designated storage area. Meanwhile, the information registration unit 120 provides an ID/PW for providing transmission data including video data photographed through the camera device 190 from the app of the user wireless terminal 180 to the
한편 본 발명의 실시 방법에 따르면, 상기 사용자 무선단말(180)의 앱은 상기 카메라장치(190)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 다른 무선단말(180)의 고유정보(예컨대, 휴대폰번호 등)를 입력/등록할 수 있으며, 이 경우 상기 정보 등록부(120)는 상기 다른 무선단말(180)의 고유정보를 관리D/B에 저장하고, 상기 다른 무선단말(180)의 고유정보를 통해 상기 다른 무선단말(180)에 지정된 앱이 설치되도록 유도하거나 및/또는 상기 다른 무선단말(180)에 설치 실행된 앱을 확인하고, 상기 다른 무선단말(180)의 앱을 고유 식별하는 고유식별정보를 생성하거나 상기 다른 무선단말(180)의 앱으로부터 제공받고 상기 등록되어 있는 카메라장치(190)정보와 연계하여 관리D/B에 저장함으로써, 상기 사용자 무선단말(180)의 앱 이외에 상기 사용자 무선단말(180)의 앱을 통해 지저된 다른 무선단말(180)의 앱을 통해서도 상기 카메라장치(190)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 수 있도록 처리할 수 있다.On the other hand, according to the implementation method of the present invention, the app of the user wireless terminal 180 is provided with unique information (e.g., , mobile phone number, etc.) can be input/registered. In this case, the information registration unit 120 stores the unique information of the other wireless terminal 180 in the management D/B, and the unique information of the other wireless terminal 180 Inducing the installation of a designated app in the other wireless terminal 180 through information and/or confirming the installed and executed app in the other wireless terminal 180, and uniquely identifying the app of the other wireless terminal 180 In addition to the app of the user wireless terminal 180, by generating unique identification information or receiving it from the app of the other wireless terminal 180 and storing it in the management D/B in association with the registered camera device 190 information. It is also possible to receive transmission data including video data captured through the camera device 190 through an app of another wireless terminal 180 that is provided through an app of the user's wireless terminal 180 .
도면1을 참조하면, 상기 운영서버(100)는, 지정된 거점에 구비된 카메라장치(190)와의 통신 연결을 관리하는 통신 관리부(125)와, 상기 카메라장치(190)의 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하는 데이터 수신부(130)와, 상기 수신된 획득 데이터를 지정된 저장매체의 특정 저장영역에 저장하여 관리하는 데이터 저장부(135)를 포함한다. Referring to Figure 1, the operation server 100 is obtained through a communication management unit 125 that manages a communication connection with a camera device 190 provided in a designated base and a camera module of the camera device 190 It includes a data receiving unit 130 that receives acquired data including video data encoded in a designated manner, and a data storage unit 135 that stores and manages the received acquired data in a specific storage area of a designated storage medium.
지정된 거점에 구비된 카메라장치(190)에 전원이 입력되면, 상기 카메라장치(190)의 제어모듈은 지정된 절차에 따라 통신모듈을 통해 지정된 운영서버(100)와 지정된 하나 이상의 정보를 교환하여 통신 연결을 요청하며, 상기 통신 관리부(125)는 상기 지정된 정보의 교환을 근거로 상기 카메라장치(190)의 유효성을 인증하여 상기 카메라장치(190)와 통신을 연결한다. When power is input to the camera device 190 provided at the designated base, the control module of the camera device 190 exchanges one or more designated information with the designated operation server 100 through the communication module according to the designated procedure to establish a communication connection. request, the communication management unit 125 authenticates the validity of the camera device 190 based on the exchange of the specified information and connects communication with the camera device 190 .
상기 카메라장치(190)와 통신이 연결되면, 상기 통신 관리부(125)는 상기 카메라장치(190)를 통해 획득된 획득 데이터를 수신하기 위한 일회용주소정보를 동적 생성하여 상기 카메라장치(190)로 제공하며, 이 경우 상기 카메라장치(190)의 제어모듈은 상기 일회용주소정보를 수신하고, 상기 일회용주소정보를 상기 획득 데이터를 전송할 목적지 주소로 설정한 후, 상기 획득된 획득 데이터를 상기 일회용주소에 대응하는 목적지 주소로 전송할 수 있다. 여기서, 상기 일회용주소정보는 주소도메인정보는 동일하되 도메인 이후의 파라미터값이 중복되지 않게 동적 생성된 파라미터값으로 이루어진 주소정보를 포함할 수 있다.When communication with the camera device 190 is connected, the communication management unit 125 dynamically generates one-time address information for receiving the acquired data acquired through the camera device 190 and provides it to the camera device 190. In this case, the control module of the camera device 190 receives the one-time address information, sets the one-time address information as a destination address to which the obtained data is transmitted, and then corresponds the acquired data to the one-time address. can be sent to the destination address. Here, the disposable address information may include address information composed of dynamically generated parameter values so that address domain information is the same but parameter values subsequent to the domain do not overlap.
본 발명의 실시 방법에 따르면, 상기 통신 관리부(125)는 주기적으로 상기 카메라장치(190)에 대한 신규 일회용주소정보를 동적 생성하여 상기 카메라장치(190)로 제공할 수 있으며, 이 경우 상기 카메라장치(190)의 제어모듈은 상기 신규 일회용주소정보를 수신하고, 이전 일회용주소에 대응하는 목적지 주소로 상기 획득 데이터를 전송하는 과정을 인터럽트함과 동시에 이전 일회용주소로 획득 데이터를 전송한 이전 전송 정보를 확인하고, 상기 신규 일회용주소정보를 상기 획득 데이터를 이어서 전송할 신규 목적지 주소로 설정한 후, 상기 이전 전송 정보를 근거로 이전 일회용주소로 전송하던 획득 데이터를 상기 신규 일회용주소에 대응하는 신규 목적지 주소로 이어서 전송할 수 있으며, 상기의 과정은 주기적으로 반복될 수 있다. 이하, 별도의 언급이 없더라도 상기 카메라장치(190)는 상기 일회용주소로 획득 데이터를 전송할 수 있음을 명기하는 바이다. 한편 본 발명의 다른 실시 방법에 따르면, 상기 통신 관리부(125)의 일회용주소정보 생성 내지 적용 과정은 생략 가능하며, 이에 의해 본 발명이 한정되지 아니한다.According to the implementation method of the present invention, the communication management unit 125 may periodically dynamically generate new disposable address information for the camera device 190 and provide it to the camera device 190, in which case the camera device The control module in 190 receives the new one-time address information, interrupts the process of transmitting the obtained data to the destination address corresponding to the previous one-time address, and at the same time retrieves the previous transmission information for transmitting the acquired data to the previous one-time address. and after setting the new one-time address information as a new destination address to which the obtained data will be subsequently transmitted, the acquired data transmitted to the previous one-time address based on the previous transmission information is transferred to a new destination address corresponding to the new one-time address. It can then be transmitted, and the above process can be repeated periodically. Hereinafter, it is stipulated that the camera device 190 may transmit acquired data to the disposable address even if there is no separate mention. Meanwhile, according to another implementation method of the present invention, the process of generating or applying the one-time address information of the communication management unit 125 can be omitted, and the present invention is not limited thereby.
본 발명의 실시 방법에 따라 상기 카메라장치(190)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터를 저장하여 일정 기간 동안 관리할 수 있다.According to the embodiment of the present invention, when the control module of the camera device 190 transmits acquired data including video data acquired through the camera module and encoded in a designated manner, the data receiving unit 130 transmits the camera module Acquisition data including video data obtained through and encoded in a designated manner is received, and the data storage unit 135 stores the video data of the received acquired data in a specific storage area of a designated storage medium for a certain period of time. can manage
한편 본 발명의 실시 방법에 따라 상기 카메라장치(190)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터와 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터를 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터와 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터와 오디오 데이터를 연계 저장하여 일정 기간 동안 관리한다.On the other hand, according to the embodiment of the present invention, the control module of the camera device 190 includes video data acquired through the camera module and encoded in a designated manner and audio data obtained through the sound input unit and encoded in a designated manner When the acquired data is transmitted, the data receiving unit 130 receives the acquired data including video data obtained through the camera module and encoded in a designated manner and audio data acquired through the sound input unit and encoded in a designated manner, and , The data storage unit 135 links and stores video data and audio data of the received acquired data in a specific storage area of a designated storage medium and manages them for a certain period of time.
본 발명의 실시 방법에 따르면, 상기 카메라장치(190)의 제어모듈은 상기 비디오 데이터와 오디오 데이터를 포함하는 동영상 데이터 형태의 획득 데이터를 전송할 수 있으며, 이 경우 상기 데이터 수신부(130)는 상기 카메라장치(190)로부터 상기 동영상 데이터 형태의 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 동영상 데이터를 저장하여 관리할 수 있다.According to the implementation method of the present invention, the control module of the camera device 190 may transmit acquired data in the form of video data including the video data and audio data, in which case the data receiving unit 130 may transmit the camera device Acquisition data in the form of video data is received from 190, and the data storage unit 135 can store and manage the received video data in a specific storage area of a designated storage medium.
한편 본 발명의 실시 방법에 따르면, 상기 카메라장치(190)의 제어모듈은 상기 비디오 데이터와 상기 오디오 데이터를 각각의 데이터 형태로 포함하는 획득 데이터를 전송할 수 있으며, 이 경우 상기 데이터 수신부(130)는 상기 카메라장치(190)로부터 상기 비디오 데이터와 오디오 데이터를 제각기 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 상기 카메라장치(190)로부터 각기 수신된 상기 비디오 데이터와 오디오 데이터를 연계하여 지정된 저장매체의 특정 저장영역에 저장하여 관리할 수 있다. 바람직하게, 상기 데이터 저장부(135)는 상기 비디오 데이터와 오디오 데이터의 시간 값(또는 타임스탬프)를 기준으로 상기 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장할 수 있다.Meanwhile, according to the implementation method of the present invention, the control module of the camera device 190 may transmit acquired data including the video data and the audio data in each data form, in which case the data receiving unit 130 Receives acquired data including the video data and audio data respectively from the camera device 190, and the data storage unit 135 links the video data and audio data received from the camera device 190 It can be managed by storing in a specific storage area of a designated storage medium. Preferably, the data storage unit 135 synchronizes the times of the video data and audio data based on time values (or timestamps) of the video data and audio data, and stores them in a specific storage area of a designated storage medium. .
한편 본 발명의 실시 방법에 따라 상기 카메라장치(190)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터 및/또는 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터 외에, 지정된 센서모듈을 통해 센싱되어 지정된 방식으로 엔코딩된 센싱 데이터를 더 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 센싱 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터 및/또는 오디오 데이터와 상기 센싱 데이터를 연계 저장하여 일정 기간 동안 관리할 수 있다. 바람직하게, 상기 데이터 저장부(135)는 상기 비디오 데이터 및/또는 오디오 데이터의 시간 값(또는 타임스탬프)과 상기 센싱 데이터의 시간 값(또는 타임스탬프)을 기준으로 상기 비디오 데이터 및/또는 오디오 데이터의 시간과 상기 센싱 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장할 수 있다.Meanwhile, according to the embodiment of the present invention, the control module of the camera device 190 controls video data acquired through the camera module and encoded in a designated manner, and/or audio data acquired through the sound input unit and encoded in a designated manner, in addition to video data obtained through the camera module and encoded in a designated manner. , when transmitting acquired data further including sensing data sensed through a designated sensor module and encoded in a designated manner, the data receiving unit 130 receives the acquired data including the sensing data, and the data storage unit 135 ) may store video data and/or audio data of the received acquired data and the sensing data in a specific storage area of a designated storage medium and manage them for a certain period of time. Preferably, the data storage unit 135 stores the video data and/or audio data based on a time value (or timestamp) of the video data and/or audio data and a time value (or timestamp) of the sensing data. The time of and the time of the sensing data may be synchronized and stored in a specific storage area of a designated storage medium.
도면1을 참조하면, 상기 운영서버(100)는, 지정된 거점의 카메라장치(190)를 통해 획득된 획득 데이터 중 적어도 하나의 데이터를 판독하여 아기의 감정을 판별하기 위한 지정된 인식 대상의 인식 정보를 인식하는 정보 인식부(140)와, 지정된 감정상태 판별 정보를 근거로 상기 인식된 인식 정보와 기 설정된 기준 유사도 이상 매칭된 지정된 인식 대상의 패턴 정보를 확인하고 상기 확인된 패턴 정보와 매칭 관계를 지닌 하나 이상의 아기 감정 항목을 판별하는 정보 판별부(145)와, 상기 인식 정보와 패턴 정보 간 매칭 비율을 근거로 상기 패턴 정보와 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식 정보에 대응하는 하나 이상의 감정 항목 별 아기 감정 상태를 수치화한 감정 항목 별 아기 감정 상태 값을 산출하는 감정 상태 산출부(150)와, 상기 산출된 하나 이상의 아기 감정 상태 값을 이용하여 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하는 정보 생성부(155)를 포함한다. Referring to Figure 1, the operation server 100 reads at least one of the acquisition data obtained through the camera device 190 of the designated base to obtain recognition information of a designated recognition target for determining the baby's emotion. The recognizing information recognizing unit 140 identifies pattern information of the designated recognition target matched with the recognized recognition information based on the designated emotional state discrimination information and has a matching relationship with the identified pattern information. An information discriminating unit 145 for discriminating one or more baby emotion items, and reading a correlation numerical relationship between the pattern information and baby emotion items based on a matching ratio between the recognition information and the pattern information to obtain one corresponding to the recognition information. Emotional state calculation unit 150 that calculates the baby's emotional state value for each emotion item by digitizing the baby's emotional state for each emotion item, and the baby's emotional state information for each emotion item specified using the one or more calculated baby emotional state values It includes an information generating unit 155 that generates.
본 발명의 제1 아기 감정 상태 생성 실시예에 따르면, 상기 운영서버(100)는 지정된 사용자 무선단말(180)의 앱이나 IPTV(185)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 시점에 상기 송신 데이터에 포함되는 비디오 데이터 및/또는 상기 비디오 데이터와 연계된 데이터(예컨대, 오디오 데이터 및/또는 센싱 데이터 등)를 근거로 지정된 절차에 따라 각 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.According to the first baby emotional state generating embodiment of the present invention, the operation server 100 includes video data stored in a specific storage area of the storage medium as an app or
한편 본 발명의 제2 아기 감정 상태 생성 실시예에 따르면, 상기 운영서버(100)는 지정된 저장매체의 특정 저장영역에 상기 카메라장치(190)로부터 수신된 획득 데이터가 저장된 후, 상기 저장매체의 특정 저장영역에 저장된 획득 데이터를 근거로 지정된 절차에 따라 각 감정 항목 별 아기 감정 상태 정보를 생성하여 상기 획득 데이터와 연계 저장하도록 처리할 수 있으며, 이 경우 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 지정된 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공 시 상기 송신 데이터의 비디오 데이터와 연계된 각 감정 항목 별 아기 감정 상태 정보가 추출될 수 있다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.Meanwhile, according to the second baby emotional state generating embodiment of the present invention, after the operation server 100 stores the obtained data received from the camera device 190 in a specific storage area of a designated storage medium, the specific storage medium Based on the acquired data stored in the storage area, baby emotional state information for each emotion item can be generated according to a specified procedure and processed to be stored in conjunction with the acquired data. In this case, video data stored in a specific storage area of the storage medium When provided to the app of the designated user wireless terminal 180 or the
상기 정보 인식부(140)는 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 아기 표정 인식 정보를 인식한다. The information recognizing unit 140 reads the designated video data and recognizes f (1≤f≤F) feature points of a specific baby's facial region within the base, and among the recognized f feature points associated with the baby's emotional expression. Recognize i (i≥1) pieces of baby expression recognition information corresponding to the geometric relationship between feature points.
본 발명의 실시 방법에 따르면, 상기 지정된 비디오 데이터는 지정된 재생 시간 단위 별로 주기적으로 선별되는 비디오 데이터, 지정된 재생 프레임 수 별로 주기적으로 선별되는 비디오 데이터 중 적어도 하나의 비디오 데이터를 포함할 수 있다.According to the implementation method of the present invention, the specified video data may include at least one of video data periodically selected for each specified playback time unit and video data periodically selected for each specified playback frame number.
본 발명의 제1 아기 감정 상태 생성 실시예의 경우, 상기 정보 인식부(140)는 상기 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(180)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(185)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는지 확인한다. 만약 상기 사용자 무선단말(180)의 앱이나 IPTV(185)로 상기 송신 데이터를 제공하는 경우, 상기 정보 인식부(140)는 상기 송신 데이터의 비디오 데이터 중 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식할 수 있다. In the case of the first baby emotional state generating embodiment of the present invention, the information recognizing unit 140 is an app of the user wireless terminal 180 corresponding to the unique identification information stored in the management D/B or stored in the management D/B. It is checked whether transmission data including video data stored in a specific storage area of the storage medium is provided to the
한편 본 발명의 제2 아기 감정 상태 생성 실시예의 경우, 상기 정보 인식부(140)는 상기 카메라장치(190)로부터 수신된 획득 데이터가 상기 저장매체의 특정 저장영역에 저장된 후 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터 중 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식할 수 있다. Meanwhile, in the case of the second baby emotional state generating embodiment of the present invention, the information recognizing unit 140 stores the acquired data received from the camera device 190 in a specific storage area of the storage medium and then stores the specific storage in the storage medium. Among the video data stored in the area, designated video data is read to recognize f feature points of a specific baby's facial region in the base, and i number corresponding to the geometric relationship between the recognized f feature points associated with the baby's emotional expression are recognized. Baby facial expression recognition information can be recognized.
상기 정보 인식부(140)를 통해 i개의 아기 표정 인식 정보가 인식되면, 상기 정보 판별부(145)는 상기 운영D/B에 저장된 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 아기 표정 패턴 정보를 확인한다. 만약 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e개의 아기 표정 패턴 정보가 확인되면, 상기 정보 판별부(145)는 상기 확인된 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별한다. When the i number of baby facial expression recognition information is recognized through the information recognizing unit 140, the information determining unit 145 determines the recognized i number of baby facial expressions based on the facial expression-based emotional state determination information stored in the operation D/B. E (1 ≤ e ≤ E) pieces of baby expression pattern information matched with the recognition information by a predetermined criterion similarity or higher are checked. If e pieces of baby expression pattern information matched with the recognized i pieces of baby expression recognition information and a preset criterion similarity or higher are identified, the information determining unit 145 has a matching relationship with the identified e pieces of baby expression pattern information. n1 (1≤n1≤N1) number of baby emotion items are determined.
상기 정보 판별부(145)를 통해 i개의 아기 표정 인식 정보에 대응하는 n1개의 아기 감정 항목이 판별되면, 상기 감정 상태 산출부(150)는 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 정보 생성부(155)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성한다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When n1 baby emotion items corresponding to the i baby facial expression recognition information are determined through the information determining unit 145, the emotional state calculating unit 150 determines the i recognized baby facial expression recognition information and the e baby facial expression recognition information. Based on the matching ratio between the expression pattern information, the numerical relationship between the e number of baby expression pattern information and the n1 number of baby emotion items is read, and the baby's emotional state for each n1 number of emotion items corresponding to the recognized i number of baby expression recognition information , and calculates the baby's emotional state values for each n1 emotion items, and the information generator 155 uses the calculated baby's emotional state values for each n1 emotion items to display a designated n (1≤ Baby emotional state information for each n≤N) emotion items is generated. Here, the baby's emotional state information for each emotion item may include numerical information (or grade information) about the baby's emotional state for each emotion item.
한편 본 발명의 제2 아기 감정 상태 생성 실시예에 따라 상기 저장매체의 특정 저장영역에 상기 획득 데이터가 저장된 후 상기 n개의 감정 항목 별 아기 감정 상태 정보가 생성된 경우, 상기 정보 생성부(155)는 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 상기 비디오 데이터와 연계하여 상기 저장매체의 특정 저장영역에 저장할 수 있다. Meanwhile, when the baby emotional state information for each of the n emotion items is generated after the acquired data is stored in a specific storage area of the storage medium according to the second embodiment of generating the baby's emotional state of the present invention, the information generating unit 155 may store the generated baby emotional state information for each of the n emotional items in a specific storage area of the storage medium in association with the video data.
본 발명의 확장/다른 실시예에 따라 상기 운영D/B에 상기 울음소리 기반 감정상태 판별 정보가 저장되고, 상기 저장매체의 특정 저장영역에 비디오 데이터와 오디오 데이터가 연계 저장된 경우, 상기 정보 인식부(140)는 상기 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 아기에 대한 j(j≥1)개의 아기 울음소리 인식 정보를 인식할 수 있다.According to an extended/another embodiment of the present invention, when the cry-based emotional state determination information is stored in the operation D/B and video data and audio data are linked and stored in a specific storage area of the storage medium, the information recognizing unit 140 may read audio data of a certain period associated with the video data to recognize j (j≥1) pieces of baby cry recognition information for the specific baby.
한편 상기 정보 인식부(140)를 통해 j개의 아기 울음소리 인식 정보가 인식되면, 상기 정보 판별부(145)는 상기 운영D/B에 저장된 울음소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c(1≤c≤C)개의 아기 울음소리 패턴 정보를 확인한다. 만약 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c개의 아기 울음소리 패턴 정보가 확인되면, 상기 정보 판별부(145)는 상기 확인된 c개의 아기 울음소리 패턴 정보와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 아기 감정 항목을 판별한다. Meanwhile, when j pieces of baby crying recognition information are recognized through the information recognition unit 140, the information determination unit 145 determines the recognized j based on the emotional state determination information stored in the operating D/B. C (1 ≤ c ≤ C) pieces of baby crying pattern information matched with the dog's crying sound recognition information and a predetermined criterion similarity or higher are checked. If c pieces of baby crying pattern information matched with the recognized j pieces of baby crying sound recognition information and a predetermined criterion similarity or higher are identified, the information determination unit 145 matches the identified c pieces of baby crying pattern information. Determine n2 (1≤n2≤N2) baby emotion items having a relationship.
상기 정보 판별부(145)를 통해 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 아기 감정 항목이 판별되면, 상기 감정 상태 산출부(150)는 상기 인식된 j개의 아기 울음소리 인식 정보와 상기 c개의 아기 울음소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 아기 울음소리 패턴 정보와 n2개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 감정 항목 별 아기 감정 상태를 수치화한 n2개의 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 정보 생성부(155)는 상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When n2 number of baby emotion items corresponding to the j number of baby cry recognition information are determined through the information determination unit 145, the emotional state calculation unit 150 determines the recognized j number of baby cry recognition information and the c Based on the matching ratio between the pieces of baby crying pattern information, the numerical relationship between the c pieces of baby crying pattern information and the n2 baby emotion items is read, and the n2 emotions corresponding to the recognized j pieces of baby crying sound recognition information are read. Calculate the baby's emotional state values for each n2 emotion items by digitizing the baby's emotional state for each item, and the information generating unit 155 uses (additionally) the calculated baby's emotional state values for each n2 emotional items to designate n values. Baby emotional state information for each emotion item may be generated. Here, the baby's emotional state information for each emotion item may include numerical information (or grade information) about the baby's emotional state for each emotion item.
본 발명의 실시 방법에 따르면, 상기 i개의 아기 표정 인식 정보를 근거로 n1개의 감정 항목 별 아기 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(155)는 상기 i개의 아기 표정 인식 정보를 근거로 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 j개의 아기 울음소리 인식 정보를 근거로 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 'n1개의 감정 항목 별 아기 감정 상태 값 ∩ n2개의 감정 항목 별 아기 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. According to the implementation method of the present invention, when the baby's emotional state values for each n1 emotion item are previously calculated based on the i facial expression recognition information of the baby, the information generating unit 155 determines the baby's facial expression recognition information based on the i facial expression recognition information. Baby emotional state information for each n number of designated emotion items is generated by combining the baby's emotional state values for each n1 emotion item calculated as above and the baby's emotional state value for each n2 emotion items calculated based on the j number of baby cry recognition information. can do. Preferably, the emotional state information of the baby for each n emotional items may be a union relation of 'baby emotional state values for n1 emotional items ∩ baby emotional state values for n2 emotional items', or may be a subset relation of the union. .
한편 상기 n1개의 감정 항목 별 아기 감정 상태 값과 n2개의 감정 항목 별 아기 감정 상태 값을 조합하여 n개의 감정 항목 별 아기 감정 상태 정보를 생성 시, 상기 정보 생성부(155)는 상기 n1개의 감정 항목과 n2개의 감정 항목 중 중복되는 감정 항목에 대하여 각 아기 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 울음소리 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 아기 감정 상태 정보를 생성할 수 있다. Meanwhile, when generating baby emotional state information for each n emotion item by combining the baby's emotional state value for each n1 emotion item and the baby's emotional state value for each n2 emotion item, the information generating unit 155 determines the baby's emotional state value for each n1 emotion item. For the overlapping emotion items among the n2 emotion items, a specified statistical operation (eg, average value calculation operation) for each baby emotional state value or a specified recognition target according to the correlation between the corresponding emotion item and facial expression or cry The baby's emotional state information of the overlapping emotion items may be generated through a weighted statistical calculation.
본 발명의 확장/다른 실시예에 따라 상기 운영D/B에 상기 센싱 기반 감정상태 판별 정보가 저장되고, 상기 저장매체의 특정 저장영역에 비디오 데이터 및/또는 오디오 데이터와 상기 카메라장치(190)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터가 연계 저장된 경우, 상기 정보 인식부(140)는 상기 비디오 데이터 ??/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식할 수 있다.According to an extended/another embodiment of the present invention, the sensing-based emotional state determination information is stored in the operation D/B, and video data and/or audio data are stored in a specific storage area of the storage medium and the camera device 190 When sensing data sensed through a provided or linked sensor module is linked and stored, the information recognizing unit 140 reads the sensing data associated with the video data ??/or audio data to obtain information related to the emotional expression of the specific baby. It is possible to recognize k (k≧1) pieces of sensing value recognition information for the sensing data of the designated sensing target.
한편 상기 정보 인식부(140)를 통해 k개의 센싱 값 인식 정보가 인식되면, 상기 정보 판별부(145)는 상기 운영D/B에 저장된 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인한다. 만약 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s개의 센싱 값 패턴 정보가 화긴되면, 상기 정보 판별부(145)는 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 아기 감정 항목을 판별한다. Meanwhile, when k sensing value recognition information is recognized through the information recognition unit 140, the information determination unit 145 determines the recognized k sensing values based on the sensing-based emotional state determination information stored in the operation D/B. s (1≤s≤S) pieces of sensed value pattern information matched with the value recognition information and a predetermined criterion similarity or higher are checked. If the recognized k sensed value recognition information and the s sensed value pattern information matched with the predetermined criterion similarity or higher are matched, the information determining unit 145 has a matching relationship with the identified s sensed value pattern information n3 (1≤n3≤N3) baby emotion items are discriminated.
상기 정보 판별부(145)를 통해 k개의 센싱 값 인식 정보에 대응하는 n3개의 아기 감정 항목이 판별되면, 상기 감정 상태 산출부(150)는 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 산출하고, 상기 정보 생성부(155)는 상기 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 여기서 각 감정 항목 별 아기 감정 상태 정보는 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When n3 baby emotion items corresponding to the k sensing value recognition information are determined through the information determining unit 145, the emotional state calculating unit 150 calculates the recognized k sensing value recognition information and the s sensing value recognition information. Based on the matching ratio between the value pattern information, the numerical relationship between the s sensed value pattern information and the n3 baby emotion items is read, and the emotional state of the baby for each of the n3 emotion items corresponding to the k sensed value recognition information is recognized. and calculates baby emotional state values for each n3 emotion items, and the information generating unit 155 uses (adds) the calculated baby emotional state values for each n3 emotion items to determine baby emotion for each n emotion items. status information can be generated. Here, the baby's emotional state information for each emotion item may include numerical information (or grade information) about the baby's emotional state for each emotion item.
본 발명의 실시 방법에 따르면, 상기 i개의 아기 표정 인식 정보를 근거로 n1개의 감정 항목 별 아기 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(155)는 상기 i개의 아기 표정 인식 정보를 근거로 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 k개의 센싱 값 인식 정보를 근거로 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 'n1개의 감정 항목 별 아기 감정 상태 값 ∩ n3개의 감정 항목 별 아기 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. According to the implementation method of the present invention, when the baby's emotional state values for each n1 emotion item are previously calculated based on the i facial expression recognition information of the baby, the information generating unit 155 determines the baby's facial expression recognition information based on the i facial expression recognition information. Baby emotional state information for each n number of designated emotion items may be generated by combining the baby's emotional state values for each n1 emotion items calculated as above and the baby's emotional state values for each n3 emotion items calculated based on the k sensing value recognition information. can Preferably, the emotional state information of the baby for each n emotional items may be a union relation of 'baby emotional state values for each n1 emotional items ∩ baby emotional state values for each n3 emotional items', or may be a subset relation of the union. .
한편 상기 n1개의 감정 항목 별 아기 감정 상태 값과 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 n개의 감정 항목 별 아기 감정 상태 정보를 생성 시, 상기 정보 생성부(155)는 상기 n1개의 감정 항목과 n3개의 감정 항목 중 중복되는 감정 항목에 대하여 각 아기 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 지정된 센싱 대상의 센싱 값 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 아기 감정 상태 정보를 생성할 수 있다. Meanwhile, when generating baby emotional state information for each n emotion item by combining the baby's emotional state value for each n1 emotion item and the baby's emotional state value for each n3 emotion item, the information generating unit 155 determines the baby's emotional state value for each n1 emotion item. And for the overlapping emotion items among the n3 emotion items, designated according to a specified statistical operation (eg, average value calculation operation) for each baby's emotional state value or a correlation between the corresponding emotion item and the sensed value of the facial expression or designated sensing target The baby's emotional state information of the overlapping emotional items may be generated through a statistical operation in which a designated weight is assigned to a recognition target.
한편 본 발명의 실시 방법에 따르면, 상기 i개의 아기 표정 인식 정보를 근거로 n1개의 감정 항목 별 아기 감정 상태 값과 상기 j개의 아기 울음소리 인식 정보를 n2개의 감정 항목 별 아기 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(155)는 상기 i개의 아기 표정 인식 정보를 근거로 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 j개의 아기 울음소리 인식 정보를 근거로 산출된 n2개의 감정 항목 별 아기 감정 상태 값 및 상기 k개의 센싱 값 인식 정보를 근거로 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 아기 감정 상태 정보는 'n1개의 감정 항목 별 아기 감정 상태 값 ∩ n2개의 감정 항목 별 아기 감정 상태 값 ∩ n3개의 감정 항목 별 아기 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. On the other hand, according to the implementation method of the present invention, based on the i facial expression recognition information of the baby, the baby emotional state value for each n1 emotion item and the j number of baby crying sound recognition information are calculated based on the baby's emotional state value for each n2 emotion item. , the information generating unit 155 calculates the baby's emotional state values for each n1 emotion item calculated based on the i number of baby facial expression recognition information and the n2 emotion items calculated based on the j number of baby cry recognition information. Emotional state information of the baby for each n number of designated emotion items may be generated by combining each baby's emotional state value and the baby's emotional state value for each n3 emotion items calculated based on the k number of sensed value recognition information. Preferably, the baby's emotional state information for each n emotion item is a union relation of 'baby's emotional state value for n1 emotion items ∩ baby's emotional state value for n2 emotion items ∩ baby's emotional state value for n3 emotion items'; Alternatively, it may be a subset relationship of the union.
한편 상기 n1개의 감정 항목 별 아기 감정 상태 값과 n2개의 감정 항목 별 아기 감정 상태 값 및 n3개의 감정 항목 별 아기 감정 상태 값 등을 조합하여 n개의 감정 항목 별 아기 감정 상태 정보를 생성 시, 상기 정보 생성부(155)는 상기 n1개의 감정 항목과 n2개의 감정 항목 및 n3개의 감정 항목 중 중복되는 감정 항목에 대하여 각 아기 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 울음소리 또는 지정된 센싱 대상의 센싱 값 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 아기 감정 상태 정보를 생성할 수 있다. Meanwhile, when the baby's emotional state information for each n emotion item is generated by combining the baby's emotional state value for each n1 emotion item, the baby's emotional state value for each n2 emotion item, and the baby's emotional state value for each n3 emotion item, the information The generation unit 155 performs a designated statistical calculation (eg, average value calculation operation) or a corresponding emotion item for each emotional state value of the baby with respect to the overlapping emotion items among the n1 emotion items, the n2 emotion items, and the n3 emotion items. The baby's emotional state information of the overlapping emotion items may be generated through a statistical operation in which a specified weight is assigned to a designated recognition target according to a correlation between facial expressions, crying sounds, or sensed values of a designated sensing target.
도면1을 참조하면, 상기 운영서버(100)는, 상기 가상객체 매칭 정보를 근거로 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 가상객체 확인부(160)와, 아기 안면 영역 상의 지정 부위에 중첩 표시할 p(1≤p≤r)개의 가상객체 데이터를 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하는 감정 상태 증강부(165)와, 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공하는 데이터 제공부(170)를 포함한다.Referring to Figure 1, the operation server 100, based on the virtual object matching information, generates r (1≤r≤R) virtual object data matched with baby emotional state information for each n emotional items. The virtual object confirmation unit 160 to check, and p(1≤p≤r) virtual object data to be overlapped and displayed on a designated area on the baby's face area are overlapped and displayed on the designated area on the baby's facial area displayed on the video data. emotional state enhancer 165 for augmenting a designated area on the baby's facial region to correspond to the baby's emotional state information for each of the n emotional items, and video data augmented to correspond to the baby's emotional state information for each of the n emotional items It includes a data providing unit 170 that provides transmission data including the user wireless terminal 180 to the app or
상기 정보 생성부(155)를 통해 각 감정 항목 별 아기의 감정 상태에 대한 수치정보(또는 등급정보)를 포함하는 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 가상객체 확인부(160)는 상기 가상객체 매칭 정보를 근거로 운영D/B에 저장된 R개의 가상객체 중 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보에 매칭되는 r개의 가상객체 데이터를 확인한다. When the information generation unit 155 generates baby emotional state information for each n number of emotion items including numerical information (or rating information) on the baby's emotional state for each emotion item, the virtual object confirmation unit 160 checks r virtual object data matched with the baby emotional state information for each of the generated n emotional items among the R virtual objects stored in the operating D/B based on the virtual object matching information.
상기 가상객체 확인부(160)를 통해 상기 n개의 감정 항목 별 아기 감정 상태 정보에 매칭되는 r개의 가상객체 데이터가 확인되면, 상기 감정 상태 증강부(165)는 r개의 가상객체 데이터 중 아기 안면 영역 상의 지정 부위에 중첩 표시 가능한 p개의 가상객체 데이터를 선별한다. 예를들어, 상기 r개의 가상객체 데이터는 아기 안면 영역 상의 동일 부위에 중첩 표시 가능한 둘 이상의 가상객체 데이터를 포함할 수 있는데, 이 경우 상기 감정 상태 증강부(165)는 지정된 절차에 따라 아기 안면 영역 상의 동일 부위에 중첩 표시 가능한 둘 이상의 가상객체 데이터 중 실제 중첩 표시할 어느 한 가상객체 데이터를 선별하는 과정을 통해 p개의 가상객체 데이터를 선별할 수 있다.When r virtual object data matching the baby's emotional state information for each of the n emotional items are identified through the virtual object identification unit 160, the emotional state augmenting unit 165 determines the baby's facial area among the r virtual object data. Select p virtual object data that can be overlapped and displayed on a designated area on the image. For example, the r number of virtual object data may include two or more virtual object data that can be overlapped and displayed on the same area on the baby's facial area. In this case, the emotional state enhancing unit 165 performs a designated procedure on the baby's facial area. It is possible to select p virtual object data through a process of selecting one virtual object data to be actually overlapped and displayed among two or more virtual object data that can be overlapped and displayed on the same part of the image.
아기 안면 영역 상의 지정 부위에 중첩 표시할 p개의 가상객체 데이터가 선별되면, 상기 감정 상태 증강부(165)는 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 상기 선별된 p개의 가상객체 데이터를 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강한다. When p virtual object data to be overlapped and displayed on a designated area on the baby's face area is selected, the emotional state augmenting unit 165 selects the selected p virtual object data on a designated area on the baby's facial area displayed on the video data. is overlapped to augment a designated area on the baby's face region to correspond to the baby's emotional state information for each of the n emotional items.
본 발명의 실시 방법에 따르면, 상기 감정 상태 증강부(165)는 상기 비디오 데이터 상의 아기 안면의 지향 방향과 카메라 촬영 방향 간 3차원 좌표계 상의 각도 정보를 산출하고, 상기 각도 정보를 근거로 상기 p개의 가상객체 데이터의 중첩 표시 방향이 상기 아기 안면 영역 상의 지정 부위 별 방향에 대응하도록 좌표 변환하여 중첩 표시할 수 있다.According to the implementation method of the present invention, the emotional state augmenting unit 165 calculates angle information on a 3D coordinate system between the orientation direction of the baby's face and the camera shooting direction on the video data, and based on the angle information, the p Coordinates may be converted so that the overlapping display direction of the virtual object data corresponds to the direction of each designated part on the baby's facial area, and the overlapping display may be performed.
상기 데이터 제공부(170)는 아기 안면 영역 상의 지정 부위에 p개의 가상객체 데이터를 중첩 표시하여 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공하며, 상기 사용자 무선단말(180)의 앱이나 IPTV(185)는 상기 송신 데이터를 수신하여 출력할 수 있다. 바람직하게, 상기 송신 데이터는 상기 비디오 데이터 외에 오디오 데이터를 더 포함할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. The data providing unit 170 overlaps and displays p pieces of virtual object data on a designated area on the baby's face area, and sends transmission data including augmented video data corresponding to the baby's emotional state information for each of the n emotional items to a designated user wirelessly. It is provided to the app of the terminal 180 or the
도면2는 본 발명의 실시 방법에 따른 정보 저장/등록 과정을 도시한 도면이다.Figure 2 is a diagram illustrating an information storage/registration process according to an embodiment of the present invention.
보다 상세하게 본 도면2는 지정된 각 감정 항목 별 아기 감정 상태 정보를 생성하기 위한 지정된 인식 대상(예컨대, 아기 표정, 아기 울음소리, 지저된 센서모듈을 통해 아깅의 지정된 센싱 대사을 센싱한 센싱 값 등) 별 감정상태 판별 정보를 운영D/B에 저장하거나, 지정된 거점에 구비된 카메라장치(190)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(190)를 매핑하는 정보를 등록받아 지정된 관리D/B에 저장하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, this drawing 2 shows a designated recognition target for generating baby emotional state information for each designated emotion item (eg, baby expression, baby crying, sensing value obtained by sensing a designated sensing line of Aging through a sensor module that has been identified) Each emotional state determination information is stored in the operation D/B, or through the camera device 190 provided at the designated base, the object to be provided with transmission data including video data of a specific baby in the base and the camera device ( 190) is registered and stored in the designated management D/B. If you have ordinary knowledge in the technical field to which the present invention belongs, refer to and / or modify this figure 2 to the above process Various implementation methods (eg, implementation methods in which some steps are omitted or the order is changed) may be inferred, but the present invention includes all implementation methods inferred above, and the implementation shown in FIG. 2 The technical characteristics are not limited only by the method.
도면2를 참조하면, 상기 운영서버(100)는 아기의 감정 상태를 판별하기 위해 인식하도록 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 사이의 매칭 관계정보 및 상기 지정된 인식 대상의 패턴 정보와 각 아기 감정 항목 간 상관도를 수치화한 상관도 수치 관계정보를 포함하는 지정된 인식 대상 별 감정상태 판별 정보를 지정된 운영D/B에 등록 저장하여 관리한다(200).Referring to Figure 2, the operation server 100 is configured to recognize the pattern information of the designated recognition target to determine the baby's emotional state and the matching relationship information between each baby's emotional item and the pattern information of the designated recognition target and each baby. Emotional state discrimination information for each designated recognition target, including numerical correlation information obtained by digitizing the correlation between emotion items, is registered, stored, and managed in a designated operation D/B (200).
본 발명의 실시 방법에 따르면, 상기 운영서버(100)는 아기의 안면 영역에 존재하는 F개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E개의 아기 표정 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장한다. According to the implementation method of the present invention, the operation server 100 includes E pieces of baby expression pattern information corresponding to a geometric relationship between feature points associated with emotional expression of the baby among F feature points existing in the baby's facial area and designated N baby expression pattern information. Expression-based correlation numerical relationship information including matching relationship information between N1 baby emotion items that can be distinguished based on baby expression patterns among emotion items and digitizing the correlation between the E number of baby expression pattern information and N1 baby emotion items Register and store facial expression-based emotional state discrimination information including .
본 발명의 확장/다른 실시예에 따르면, 상기 운영서버(100)는 아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C개의 아기 울음소리 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 포함하는 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to an extension/another embodiment of the present invention, the operation server 100 includes C pieces of baby crying pattern information associated with emotional expressions of a baby among baby crying patterns and baby crying patterns among designated N baby emotion items. Crying sound including matching relationship information between N2 baby emotion items that can be distinguished based on a basis and numerical relationship information of cry-based correlation between the C crying pattern information and the N2 baby emotion items. Based emotional state determination information can be registered and stored in the operation D/B.
한편 본 발명의 확장/다른 실시예에 따르면, 상기 운영서버(100)는 상기 카메라장치(190)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3개의 아기 감정 항목 사이의 매칭 관계정보를 포함하고 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다.Meanwhile, according to an extended/another embodiment of the present invention, the operation server 100 senses a designated sensing target related to the baby's emotional expression among the sensing data provided in the camera device 190 or sensed through a linked sensor module. It includes S sensed value pattern information for data and matching relationship information between N3 baby emotion items that can be distinguished based on the sensing value pattern of the designated sensing target among the designated N baby emotion items, and the S sensed value pattern information and Sensing-based emotional state determination information including numerical relationship information of a sensing-based correlation obtained by quantifying the correlation between N3 baby emotion items may be registered and stored in the operation D/B.
도면2를 참조하면, 상기 운영서버(100)는 아기 안면 영역 상의 지정 부위를 아기의 감정 상태에 대응시켜 증강하기 위한 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고(205), 상기 표정 기반 감정상태 판별 정보와 울음소리 기반 감정상태 판별 정보와 센싱 기반 감정상태 판별 정보 중 적어도 하나의 감정상태 판별 정보를 근거로 생성되는 지정된 감정 항목 별 아기 감정 상태 정보와 하나 이상의 지정된 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 운영D/B에 등록 저장한다(210).Referring to Figure 2, the operation server 100 registers and stores R (R≥2) virtual object data for augmenting a designated part on the baby's facial area in correspondence with the baby's emotional state in the operation D/B ( 205), baby emotional state information for each designated emotion item generated based on at least one emotional state determination information among the facial expression-based emotional state determination information, crying-based emotional state determination information, and sensing-based emotional state determination information, and one or more designated emotional state determination information Virtual object matching information for matching virtual object data is registered and stored in the operating D/B (210).
도면2를 참조하면, 상기 운영서버(100)는 지정된 거점에 구비된 카메라장치(190)를 통해 상기 거점 내의 특정 아기를 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(190)를 매핑하기 위해 사용자 무선단말(180)의 앱으로부터 사용자에 대한 사용자정보, 상기 사용자에게 제공/공급된 카메라장치(190)를 고유 식별하는 카메라장치(190)정보, 상기 사용자 무선단말(180)의 앱을 고유 식별하는 고유식별정보 및 상기 사용자가 설정한 ID/PW정보 등을 지정된 절차에 따라 매핑 등록 요청할 수 있으며(215), 상기 운영서버(100)는 상기 사용자 무선단말(180)의 앱으로부터 상기 사용자정보, 카메라장치(190)정보, 고유식별정보 및 ID/PW정보 등을 지정된 절차에 따라 수신하고(220), 상기 사용자정보, 카메라장치(190)정보, 고유식별정보 및 ID/PW정보 등을 지정된 관리Dd/B에 연계 저장한다(225). 한편 실시 방법에 따라 상기 사용자정보와 카메라장치(190)정보 및 ID/PW정보 등은 상기 카메라장치(190)를 구매하거나 공급받는 사용자가 이용하는 사용자단말이나 상기 사용자의 가입신청서를 접수한 지정된 등록단말을 통해 등록될 수 있다.Referring to Figure 2, the operation server 100 is provided with a camera device 190 provided at a designated base through a camera device 190 to receive transmission data including video data of a specific baby in the base and the camera device 190 ), user information about the user from the app of the user wireless terminal 180, camera device 190 information for uniquely identifying the camera device 190 provided/supplied to the user, and the user wireless terminal 180 Unique identification information for uniquely identifying the app and ID/PW information set by the user may be requested for registration of mapping according to a specified procedure (215), and the operation server 100 may use the app of the user wireless terminal 180 The user information, camera device 190 information, unique identification information, and ID/PW information are received according to a designated procedure (220), and the user information, camera device 190 information, unique identification information, and ID/PW information are received from Information and the like are linked and stored in the designated management Dd/B (225). Meanwhile, according to the implementation method, the user information, camera device 190 information, and ID/PW information are stored in a user terminal used by a user who purchases or receives the camera device 190 or a designated registered terminal that receives the user's subscription application. can be registered through
도면3은 본 발명의 실시 방법에 따라 지정된 거점의 카메라장치(190)를 통해 획득한 획득 데이터를 전송하여 지정된 저장매체에 저장 관리하는 도시한 도면이다.FIG. 3 is a diagram illustrating how to transmit acquired data acquired through the camera device 190 of a designated base according to the implementation method of the present invention and store and manage it in a designated storage medium.
보다 상세하게 본 도면3은 지정된 거점에 구비된 카메라장치(190)의 카메라모듈을 통해 획득한 비디오 데이터를 포함하는 획득 데이터를 운영서버(100)로 전송하여 지정된 저자매체의 특정 저장영역에 저장하여 관리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, this figure 3 transmits the acquired data including video data obtained through the camera module of the camera device 190 provided at the designated base to the operation server 100 and stores it in a specific storage area of the designated author medium. As an illustration of a management process, those of ordinary skill in the art to which the present invention pertains may refer to and/or modify this Figure 3 in various implementation methods for the process (eg, some steps are omitted, or Implementation method with a changed order) can be inferred, but the present invention includes all the implementation methods inferred above, and its technical characteristics are not limited only to the implementation method shown in FIG. 3.
도면3을 참조하면, 상기 카메라장치(190)는 동작을 위한 전원 공급이 확인되면(300), 지정된 절차에 따라 통신모듈을 통해 지정된 운영서버(100)와 지정된 하나 이상의 정보를 교환하여 통신 연결을 요청하며(305), 상기 운영서버(100)는 상기 카메라장치(190)와 지정된 정보를 교환하여 상기 카메라장치(190)의 유효성을 인증한 경우(310), 상기 카메라장치(190)와 통신 연결하고(315), 이에 대응하여 상기 카메라장치(190)로 상기 운영서버(100)와 통신이 연결된다(315).Referring to Figure 3, when the supply of power for operation is confirmed (300), the camera device 190 exchanges one or more specified information with the specified operation server 100 through a communication module according to a specified procedure to establish a communication connection. request (305), and when the operation server 100 exchanges designated information with the camera device 190 and authenticates the validity of the camera device 190 (310), a communication connection with the camera device 190 is made. (315), and communication with the operation server 100 is connected through the camera device 190 (315).
한편 상기 운영서버(100)는 상기 카메라장치(190)를 통해 획득된 획득 데이터를 수신하기 위한 일회용주소정보를 동적 생성하고(320), 상기 카메라장치(190)로 상기 생성된 일회용주소정보를 제공하며(325), 상기 카메라장치(190)는 상기 운영서버(100)로부터 상기 일회용주소정보를 수신하고(330), 상기 수신된 일회용주소정보를 상기 획득 데이터를 전송할 목적지 주소로 설정할 수 있으며(335), 상기의 일회용주소정보 생성 내지 목적지 주소로 설정하는 과정은 주기적으로(예컨대, 30초 단위) 반복될 수 있다. Meanwhile, the operation server 100 dynamically generates (320) disposable address information for receiving the acquisition data acquired through the camera device 190, and provides the generated disposable address information to the camera device 190. (325), the camera device 190 receives the disposable address information from the operation server 100 (330), and sets the received disposable address information as a destination address to which the obtained data is transmitted (335). ), the process of generating disposable address information or setting it as a destination address may be repeated periodically (eg, every 30 seconds).
한편 상기 카메라장치(190)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 비디오 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Meanwhile, the camera device 190 may obtain video data of a baby in a designated base through the camera module (340a), and transmit acquired data including the video data to a designated destination address (345).
또는 상기 카메라장치(190)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 사운드 입력부를 통해 상기 거점 내의 오디오 데이터를 획득한 후(340b), 상기 비디오 데이터와 오디오 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 190 acquires video data of a baby in a designated base through the camera module (340a), acquires audio data within the base through the sound input unit (340b), and then acquires the video data Acquisition data including audio data and may be transmitted to a designated destination address (345).
또는 상기 카메라장치(190)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 센서모듈을 통해 아기의 지정된 센싱 대상을 센싱한 센싱 데이터를 획득한 후(340c), 상기 비디오 데이터와 센싱 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 190 acquires video data of a baby in a designated base through the camera module (340a), and acquires sensing data obtained by sensing a designated sensing target of the baby through the sensor module (340c). ), the acquisition data including the video data and sensing data may be transmitted to a designated destination address (345).
또는 상기 카메라장치(190)는 상기 카메라모듈을 통해 지정된 거점 내의 아기를 촬영한 비디오 데이터를 획득하고(340a), 상기 사운드 입력부를 통해 상기 거점 내의 오디오 데이터를 획득하고(340b), 상기 센서모듈을 통해 아기의 지정된 센싱 대상을 센싱한 센싱 데이터를 획득한 후(340c), 상기 비디오 데이터와 오디오 데이터 및 센싱 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 190 acquires video data of a baby in a designated base through the camera module (340a), acquires audio data within the base through the sound input unit (340b), and uses the sensor module After acquiring sensing data obtained by sensing the baby's designated sensing target (340c), the obtained data including the video data, audio data, and sensing data may be transmitted to the designated destination address (345).
상기 운영서버(100)는 상기 카메라장치(190)로부터 적어도 비디오 데이터를 포함하는 획득 데이터를 수신하고(350), 상기 수신된 획득 데이터(또는 획득 데이터에 포함된 각각의 데이터)를 지정된 저장매체의 특정 저장영역에 저장하여 관리한다(355).The operation server 100 receives acquisition data including at least video data from the camera device 190 (350), and stores the received acquisition data (or each data included in the acquisition data) in a designated storage medium. It is stored and managed in a specific storage area (355).
도면4는 본 발명의 제1 실시 방법에 따라 아기 감정 상태를 증강한 비디오 데이터를 포함하는 송신 데이터를 제공하는 도시한 도면이다.Figure 4 is a diagram showing transmission data including video data augmented with a baby's emotional state according to the first embodiment of the present invention.
보다 상세하게 본 도면4는 지정된 비디오 데이터를 판독하여 인식된 아기 표정 인식 정보를 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한 후 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강한 비디오 데이터를 포함하는 송신 데이터를 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 4 shows a designated part on the baby's face area displayed on the video data after reading designated video data and generating baby emotional state information for each n designated emotion items using recognized baby facial expression recognition information. It shows a process of providing transmission data including video data augmented to correspond to the baby's emotional state information for each of the n emotional items to the app of the user's wireless terminal 180 or the
도면4를 참조하면, 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공하는 시점, 또는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 카메라장치(190)를 통해 획득된 비디오 데이터를 포함하는 획득 데이터가 저장된 후, 상기 운영서버(100)는 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식한다(400). Referring to FIG. 4, when transmission data including video data stored in a specific storage area of a storage medium specified through the process of FIG. 3 is provided to an app or
만약 상기 비디오 데이터를 근거로 i개의 아기 표정 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e개의 아기 표정 패턴 정보를 확인하고(405), 상기 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1개의 아기 감정 항목을 판별한다(410).If i pieces of baby facial expression recognition information are recognized based on the video data, the operation server 100 performs the recognized i based on the facial expression-based emotional state determination information stored in the operation D/B through the process of FIG. 2. E pieces of baby expression pattern information matched with the number of baby expression recognition information and a predetermined criterion similarity or higher are identified (405), and n1 baby emotion items having a matching relationship with the e number of baby expression pattern information are determined (410).
만약 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 아기 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 산출한다(415). If n1 baby emotion items corresponding to the recognized i baby facial expression recognition information are determined, the operation server 100 calculates a matching ratio between the recognized i baby facial expression recognition information and the e baby facial expression pattern information. Based on this, n1 emotion items obtained by reading the correlation numerical relationship between the e number of baby expression pattern information and the n1 number of baby emotion items, and digitizing the baby's emotional state for each n1 emotion item corresponding to the recognized i number of baby expression recognition information. Each baby emotional state value is calculated (415).
만약 상기 n1개의 감정 항목 별 아기 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한다(420).If the baby's emotional state values for each of the n1 emotion items are calculated, the operation server 100 uses the calculated baby's emotional state values for each of the n1 emotion items, and the baby for each of the designated n emotional items that can be displayed on the video data. Emotional state information is generated (420).
만약 상기 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보를 근거로 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(425), 아기 안면 영역 상의 지정 부위에 중첩 표시할 p(1≤p≤r)개의 가상객체 데이터를 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강 처리하며(430), 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(180)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(185)로 제공한다(435). 상기 사용자 무선단말(180)의 앱이나 IPTV(185)는 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(440). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If baby emotional state information for each of the n emotion items is generated, the operation server 100 performs the process of FIG. 2 on the basis of the virtual object matching information stored in the operation D/B for the baby for each of the generated n emotion items. r (1≤r≤R) pieces of virtual object data matching the emotional state information are identified (425), and p (1≤p≤r) pieces of virtual object data to be superimposed and displayed on a designated area on the baby's facial area are selected from the video The specified area on the baby's facial area is augmented to correspond to the baby's emotional state information for each of the n emotion items by overlapping and displaying the specified area on the baby's facial area displayed on the data (430), and the baby for each of the n emotion items The operation server 100 transmits data including video data augmented to correspond to emotional state information through the process of FIG. The ID/PW information stored in the management D/B is provided to the identified/authenticated IPTV 185 (435). The app or
도면5는 본 발명의 제2 실시 방법에 따라 아기 감정 상태를 증강한 비디오 데이터를 포함하는 송신 데이터를 제공하는 도시한 도면이다.5 is a diagram showing transmission data including video data augmented with a baby's emotional state according to a second embodiment of the present invention.
보다 상세하게 본 도면5는 지정된 비디오 데이터와 연계된 오디오 데이터를 판독하여 인식된 아기 울음소리 인식 정보를 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한 후 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강한 비디오 데이터를 포함하는 송신 데이터를 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 5 shows that after reading the audio data associated with the designated video data and using (additionally) the recognized baby crying sound recognition information to generate baby emotional state information for each n designated emotional items, A process of providing transmission data including video data obtained by augmenting a designated area on the displayed baby's facial area to correspond to the baby's emotional state information for each of the n emotion items to the app or
도면5를 참조하면, 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공하는 시점, 또는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 카메라장치(190)를 통해 획득된 비디오 데이터를 포함하는 획득 데이터가 저장된 후, 또는 상기 도면4에 도시된 아기 표정 인식 기반의 n1개의 감정 항목 별 아기 감정 상태 값 산출 과정과 연동하여, 상기 운영서버(100)는 지정된 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 아기에 대한 j개의 아기 울음소리 인식 정보를 인식한다(500). Referring to FIG. 5, when transmission data including video data stored in a specific storage area of a storage medium designated through the process of FIG. 3 is provided to an app or
만약 상기 오디오 데이터를 근거로 j개의 아기 울음소리 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 울음소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c개의 아기 울음소리 패턴 정보를 확인하고(505), 상기 확인된 c개의 아기 울음소리 패턴 정보와 매칭 관계를 지닌 n2개의 아기 감정 항목을 판별한다(510).If j pieces of baby crying recognition information are recognized on the basis of the audio data, the operation server 100 recognizes the crying sound based emotional state determination information stored in the operation D/B through the process of FIG. 2. c pieces of baby crying pattern information that are matched with the j pieces of baby crying sound recognition information having a predetermined criterion similarity or higher (505), and n2 baby emotion items having a matching relationship with the checked c pieces of baby crying pattern information. Determine (510).
만약 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 아기 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 j개의 아기 울음소리 인식 정보와 상기 c개의 아기 울음소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 아기 울음소리 패턴 정보와 n2개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 감정 항목 별 아기 감정 상태를 수치화한 n2개의 감정 항목 별 아기 감정 상태 값을 산출한다(515). If the n2 number of baby emotion items corresponding to the recognized j number of crying sound recognition information are determined, the operation server 100 determines between the recognized j number of baby crying sound recognition information and the c number of baby crying pattern information. Based on the matching ratio, the numerical relationship between the c number of baby cry pattern information and the n2 number of baby emotion items is read, and the emotional state of the baby for each n2 number of emotion items corresponding to the recognized j number of baby cry recognition information is quantified. A baby's emotional state value for each n2 emotion item is calculated (515).
만약 상기 n2개의 감정 항목 별 아기 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(520).If the baby's emotional state values for each of the n2 emotional items are calculated, the operation server 100 uses the calculated baby's emotional state values for each of the n2 emotional items to display the baby for each of the designated n emotional items on the video data. Emotional state information may be generated (520).
한편 상기 n2개의 감정 항목 별 아기 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면4의 과정을 통해 n1개의 감정 항목 별 아기 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 n2개의 감정 항목 별 아기 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(520).On the other hand, when the baby's emotional state values for each n1 emotion item are calculated through the process of FIG. By combining the calculated emotional state values of the baby for each of the n1 emotion items and the emotional state values of the baby for each of the n2 emotion items, baby emotional state information for each of the designated n emotional items that can be displayed on video data may be generated (520). .
만약 상기 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보를 근거로 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(525), 아기 안면 영역 상의 지정 부위에 중첩 표시할 p(1≤p≤r)개의 가상객체 데이터를 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강 처리하며(530), 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(180)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(185)로 제공한다(535). 상기 사용자 무선단말(180)의 앱이나 IPTV(185)는 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(540). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If baby emotional state information for each of the n emotion items is generated, the operation server 100 performs the process of FIG. 2 on the basis of the virtual object matching information stored in the operation D/B for the baby for each of the generated n emotion items. r (1≤r≤R) pieces of virtual object data matching the emotional state information are identified (525), and p (1≤p≤r) pieces of virtual object data to be overlapped and displayed on a designated area on the baby's facial area are selected from the video The specified area on the baby's facial area is augmented to correspond to the baby's emotional state information for each of the n emotion items by overlapping and displaying the specified area on the baby's facial area displayed on the data (530), and the baby for each of the n emotion items The operation server 100 transmits data including video data augmented to correspond to emotional state information through the process of FIG. The ID/PW information stored in the management D/B is provided to the identified/authenticated IPTV 185 (535). The app or
도면6은 본 발명의 제3 실시 방법에 따라 아기 감정 상태를 증강한 비디오 데이터를 포함하는 송신 데이터를 제공하는 도시한 도면이다.FIG. 6 is a diagram showing transmission data including video data in which a baby's emotional state is augmented according to a third embodiment of the present invention.
보다 상세하게 본 도면6은 지정된 비디오 데이터 및/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 인식된 센싱 값 인식 정보를 (추가)이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성한 후 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강한 비디오 데이터를 포함하는 송신 데이터를 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 6 shows that after reading sensing data associated with designated video data and/or audio data and using (additionally) the recognized sensing value recognition information to generate baby emotional state information for each n designated emotion items, Transmission data including video data obtained by augmenting a designated part on the baby's face region displayed on the video data to correspond to the baby's emotional state information for each of the n emotion items is sent to the app or
도면6을 참조하면, 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(180)의 앱이나 IPTV(185)로 제공하는 시점, 또는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 카메라장치(190)를 통해 획득된 비디오 데이터를 포함하는 획득 데이터가 저장된 후, 또는 상기 도면4에 도시된 아기 표정 인식 기반의 n1개의 감정 항목 별 아기 감정 상태 값 산출 과정과 연동하거나, 또는 상기 도면5에 도시된 아기 울음소리 인식 기반의 n2개의 감정 항목 별 아기 감정 상태 값 산출 과정과 연동하여, 상기 운영서버(100)는 지정된 비디오 데이터 및/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k개의 센싱 값 인식 정보를 인식한다(600). Referring to FIG. 6, when transmission data including video data stored in a specific storage area of a storage medium designated through the process of FIG. 3 is provided to a designated app or
만약 상기 센싱 데이터를 근거로 k개의 센싱 값 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s개의 센싱 값 패턴 정보를 확인하고(605), 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3개의 아기 감정 항목을 판별한다(610).If k sensing value recognition information is recognized based on the sensing data, the operation server 100 performs the process of FIG. 2 on the basis of the sensing-based emotional state determination information stored in the operation D/B. s sensed value pattern information matched with the number of sensed value recognition information and a predetermined criterion similarity or higher is checked (605), and n3 baby emotion items having a matching relationship with the identified s sensed value pattern information are determined (610). ).
만약 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 아기 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 산출한다(615). If n3 baby emotion items corresponding to the recognized k sensing value recognition information are determined, the operation server 100 calculates a matching ratio between the recognized k sensing value recognition information and the s sensing value pattern information Based on this, the correlation between the s sensed value pattern information and the n3 baby emotion items is read and the baby's emotional state for each n3 emotion item corresponding to the recognized k sensed value recognition information is digitized n3 emotion items Each baby emotional state value is calculated (615).
만약 상기 n3개의 감정 항목 별 아기 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(620).If the baby's emotional state values for each of the n3 emotional items are calculated, the operation server 100 uses the calculated baby's emotional state values for each of the n3 emotional items to display the baby for each of the designated n emotional items on the video data. Emotional state information may be generated (620).
한편 상기 n3개의 감정 항목 별 아기 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면4의 과정을 통해 n1개의 감정 항목 별 아기 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 상기 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(620).On the other hand, when the baby's emotional state values for each n3 emotion items are calculated through the process of FIG. 4 at a point before, during, or after the baby's emotional state values for each n3 emotion items are calculated, the operation server 100 By combining the calculated emotional state values of the baby for each of the n1 emotion items and the emotional state values of the baby for each of the n3 emotion items, baby emotional state information for each of the designated n emotional items that can be displayed on video data may be generated (620). .
또는 상기 n3개의 감정 항목 별 아기 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면4의 과정을 통해 n1개의 감정 항목 별 아기 감정 상태 값이 산출되고 상기 도면5의 과정을 통해 n2개의 감정 항목 별 아기 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값과 n2개의 감정 항목 별 아기 감정 상태 값 및 상기 n3개의 감정 항목 별 아기 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성할 수 있다(620).Alternatively, at a point in time before, during, or after the baby's emotional state values for each of the n3 emotion items are calculated, the baby's emotional state values for each of n1 emotion items are calculated through the process of FIG. When the baby's emotional state value for each emotion item is calculated, the operation server 100 determines the calculated baby's emotional state value for each n1 emotion item, the baby's emotional state value for each n2 emotion item, and the baby's emotion for each n3 emotion item. By combining the state values, baby emotional state information for each n designated emotional items that can be displayed on the video data may be generated (620).
만약 상기 n개의 감정 항목 별 아기 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보를 근거로 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(625), 아기 안면 영역 상의 지정 부위에 중첩 표시할 p(1≤p≤r)개의 가상객체 데이터를 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강 처리하며(630), 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(180)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(185)로 제공한다(635). 상기 사용자 무선단말(180)의 앱이나 IPTV(185)는 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(640). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If baby emotional state information for each of the n emotion items is generated, the operation server 100 performs the process of FIG. 2 on the basis of the virtual object matching information stored in the operation D/B for the baby for each of the generated n emotion items. r (1≤r≤R) pieces of virtual object data matching the emotional state information are checked (625), and p (1≤p≤r) pieces of virtual object data to be superimposed and displayed on a designated area on the baby's facial area are selected from the video The specified area on the baby's facial area is augmented so as to correspond to the baby's emotional state information for each of the n emotion items by overlapping and displaying the specified area on the baby's facial area displayed on the data (630), and the baby for each of the n emotion items The operation server 100 transmits data including video data augmented to correspond to emotional state information through the process of FIG. The ID/PW information stored in the management D/B is provided to the identified/authenticated IPTV 185 (635). The app or
100 : 운영서버 105 : 정보 관리부
110 : 가상객체 관리부 115 : 정보 매칭부
120 : 정보 등록부 125 : 통신 관리부
130 : 데이터 수신부 135 : 데이터 저장부
140 : 정보 인식부 145 : 정보 판별부
150 : 감정 상태 산출부 155 : 정보 생성부
160 : 가상객체 확인부 165 : 감정 상태 증강부
170 : 데이터 제공부 180 : 무선단말
185 : IPTV 190 : 카메라장치100: operation server 105: information management unit
110: virtual object management unit 115: information matching unit
120: information registration unit 125: communication management unit
130: data receiving unit 135: data storage unit
140: information recognition unit 145: information determination unit
150: emotional state calculator 155: information generator
160: virtual object confirmation unit 165: emotional state enhancement unit
170: data provider 180: wireless terminal
185: IPTV 190: camera device
Claims (28)
아기의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 아기 표정 패턴 정보와 지정된 N(N≥2)개의 아기 감정 항목 중 아기 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 E개의 아기 표정 패턴 정보와 N1개의 아기 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 운영D/B에 등록 저장하고, 아기 안면 영역 상의 지정 부위를 아기의 감정 상태에 대응시켜 증강하기 위한 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 아기 감정 상태 정보와 하나 이상의 지정된 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 운영D/B에 등록 저장하는 제1 단계;
상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 아기를 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 연계 저장 관리하는 제2 단계;
지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 아기 표정 인식 정보를 인식하는 제3 단계;
상기 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 아기 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 아기 표정 패턴 정보를 확인하고 상기 e개의 아기 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 아기 감정 항목을 판별하는 제4 단계;
상기 인식된 i개의 아기 표정 인식 정보와 상기 e개의 아기 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 아기 표정 패턴 정보와 n1개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 아기 표정 인식 정보에 대응하는 n1개의 감정 항목 별 아기 감정 상태를 수치화한 n1개의 감정 항목 별 아기 감정 상태 값을 산출하는 제5 단계;
상기 산출된 n1개의 감정 항목 별 아기 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 아기 감정 상태 정보를 생성하는 제6 단계;
상기 가상객체 매칭 정보를 근거로 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 제7 단계;
아기 안면 영역 상의 지정 부위에 중첩 표시할 p(1≤p≤r)개의 가상객체 데이터를 상기 비디오 데이터 상에 표시되는 아기 안면 영역 상의 지정 부위에 중첩 표시하여 상기 아기 안면 영역 상의 지정 부위를 상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강하는 제8 단계; 및
상기 n개의 감정 항목 별 아기 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 사용자 무선단말의 앱이나 IPTV로 제공하는 제9 단계;를 포함하는 아기의 안면 감정 상태 증강 방법.
In the method executed through an operation server having a sound input unit and a camera module and communicating with a camera device provided in a designated base,
Among the F (F≥2) feature points existing in the baby's facial area, E (E≥2) baby expression pattern information corresponding to the geometric relationship between feature points related to the baby's emotional expression and designated N (N≥2) baby Matching relation information among N1 (1≤N1≤N) baby emotion items that can be distinguished based on baby expression patterns among emotion items and expression based on digitizing the correlation between the E number of baby expression pattern information and N1 baby emotion items R (R≥2) virtual objects for registering and storing facial expression-based emotional state discrimination information including correlation numerical relationship information in the operation D/B, and augmenting designated areas on the baby's facial area in response to the baby's emotional state A first step of registering and storing the data in the operating D/B, and registering and storing virtual object matching information matching the emotional state information of the baby for each designated emotion item with one or more designated virtual object data in the operating D/B;
Through the camera module of the camera device, a specific baby in the base is photographed and video data encoded in a designated method and audio data input through a sound input unit of the camera device and encoded in a designated method are received and stored in a designated storage medium. A second step of linking storage and management to an area;
While recognizing f (1≤f≤F) feature points of a specific baby's facial region in the base by reading designated video data, i corresponding to a geometric relationship between feature points associated with the baby's emotional expression among the recognized f feature points a third step of recognizing (i≥1) pieces of baby expression recognition information;
Based on the facial expression-based emotional state determination information, e (1≤e≤E) pieces of baby expression pattern information matched with the recognized i pieces of baby expression recognition information and a preset criterion similarity or higher are identified, and the e pieces of baby expression pattern information are matched. a fourth step of determining n1 (1≤n1≤N1) number of baby emotion items having a matching relationship with;
Based on the matching ratio between the recognized i baby facial expression recognition information and the e baby facial expression pattern information, a numerical relationship of correlation between the e baby expression pattern information and n1 baby emotion items is read, and the recognized i baby facial expression pattern information is read. a fifth step of calculating the baby's emotional state values for each n1 number of emotion items obtained by digitizing the baby's emotional state for each n1 number of emotion items corresponding to the facial expression recognition information;
a sixth step of generating baby emotional state information for designated n (1≤n≤N) emotion items by using the calculated baby emotional state values for each n1 emotion items;
a seventh step of identifying r (1≤r≤R) virtual object data matched with baby emotional state information for each of the generated n emotion items based on the virtual object matching information;
The p (1≤p≤r) number of virtual object data to be overlapped and displayed on the designated area on the baby's facial area is overlapped and displayed on the designated area on the baby's facial area displayed on the video data, so that the designated area on the baby's facial area is n An eighth step of augmenting to correspond to the emotional state information of the baby for each emotional item of the dog; and
and a ninth step of providing transmission data including video data augmented to correspond to the emotional state information of the baby for each of the n emotion items to an app or an IPTV of the user's wireless terminal.
아기의 감정표현과 연관된 각각의 아기 표정 패턴에 대응하는 각 특징점 간 기하학 관계의 범위 정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 1, wherein the E pieces of baby expression pattern information include:
A method for enhancing a facial emotional state of a baby, characterized in that it includes range information of a geometric relationship between each feature point corresponding to each baby expression pattern associated with the baby's emotional expression.
각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 1 or 2, wherein the geometric relationship between the feature points,
A method for enhancing a facial emotional state of a baby, characterized in that it comprises at least one relationship among a distance relationship between each feature point, an angular relationship between each feature point, and a combination relationship of a distance relationship and an angular relationship between each feature point.
아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 1, wherein the expression-based correlation numerical relationship information,
A method for enhancing a facial emotional state of a baby, characterized in that it includes numerical information of correlation calculated through a relational expression proportional to a matching ratio between baby expression recognition information obtained by recognizing the baby's expression and pre-registered baby expression pattern information.
아기의 표정을 인식한 아기 표정 인식 정보와 기 등록된 아기 표정 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 1, wherein the expression-based correlation numerical relationship information,
A method for enhancing a facial emotional state of a baby, characterized in that it comprises numerical information of correlation for each matching ratio section between the baby's facial expression recognition information and pre-registered baby's facial expression pattern information.
상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 포함하는 동영상 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 1, wherein the second step,
The facial emotional state augmentation method of the baby, characterized in that it comprises the step of receiving moving picture data including the video data and audio data from the camera device and storing and managing them in a specific storage area of a designated storage medium.
상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 각기 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 1, wherein the second step,
and receiving the video data and audio data from the camera device and storing and managing them in a specific storage area of a designated storage medium.
상기 카메라장치로부터 수신된 상기 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 7, wherein the second step,
and synchronizing the times of the video data and audio data received from the camera device and storing them in a specific storage area of a designated storage medium.
상기 저장매체의 특정 저장영역에 저장된 오디오 데이터를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 1, wherein the transmission data,
A method for enhancing a baby's facial emotional state, characterized in that it further comprises audio data stored in a specific storage area of the storage medium.
지정된 재생 시간 단위 별로 주기적으로 선별되는 비디오 데이터,
지정된 재생 프레임 수 별로 주기적으로 선별되는 비디오 데이터 중 적어도 하나의 비디오 데이터를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 1, wherein the designated video data,
Video data that is periodically selected for each specified playback time unit;
A method for enhancing a facial emotional state of a baby, characterized in that it comprises at least one video data among video data periodically selected for each specified reproduction frame number.
지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는지 확인하는 단계를 더 포함하며,
상기 제3 단계는, 지정된 사용자 무선단말의 앱이나 IPTV로 비디오 데이터를 포함하는 송신 데이터를 제공하는 경우에 상기 송신 데이터의 비디오 데이터 중 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
According to claim 1,
Further comprising checking whether transmission data including video data stored in a specific storage area of the storage medium is provided to an app or IPTV of a designated user wireless terminal,
In the third step, when transmission data including video data is provided to an app or IPTV of a designated user wireless terminal, designated video data among video data of the transmission data is read and information about the facial area of a specific baby in the base is read. Recognizing i baby facial expression recognition information corresponding to a geometric relationship between feature points associated with emotional expression of the baby among the recognized f feature points while recognizing f feature points. method.
상기 제3 단계는, 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터 중 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 아기의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 아기의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 아기 표정 인식 정보를 인식하는 단계를 포함하며,
상기 제6 단계는, 상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 상기 비디오 데이터와 연계 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
According to claim 1,
The third step is to read the designated video data among the video data stored in a specific storage area of the designated storage medium to recognize the f feature points of the facial region of the specific baby in the base, and recognize the baby's emotion among the f recognized feature points. Recognizing i baby expression recognition information corresponding to geometric relationships between feature points associated with expressions,
The sixth step further comprises the step of storing the generated baby emotional state information for each of the n emotion items in association with the video data.
상기 생성된 n개의 감정 항목 별 아기 감정 상태 정보를 상기 비디오 데이터의 지정된 재생 시점과 동기화하는 시간 값(또는 타임스탬프)과 연계하여 저장하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 12, wherein the sixth step,
and storing the generated baby emotional state information for each of the n emotion items in association with a time value (or timestamp) synchronizing with a designated playback time of the video data. method.
상기 제1 단계는,
아기의 울음소리 패턴 중 아기의 감정 표현과 연관된 C(C≥2)개의 아기 울음소리 패턴 정보와 지정된 N개의 아기 감정 항목 중 아기 울음소리 패턴을 근거로 구별 가능한 N2(1≤N2≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 C개의 아기 울음소리 패턴 정보와 N2개의 아기 감정 항목 간 상관도를 수치화한 울음소리 기반 상관도 수치 관계정보를 포함하는 울음소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장하는 단계를 더 포함하고,
상기 제3 단계는,
상기 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 아기에 대한 j(j≥1)개의 아기 울음소리 인식 정보를 인식하는 단계를 더 포함하며,
상기 제4 단계는,
상기 울음소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 아기 울음소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c(1≤c≤C)개의 아기 울음소리 패턴 정보를 확인하고 상기 확인된 c개의 아기 울음소리 패턴 정보와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 아기 감정 항목을 판별하는 단계를 더 포함하고,
상기 제5 단계는,
상기 인식된 j개의 아기 울음소리 인식 정보와 상기 c개의 아기 울음소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 아기 울음소리 패턴 정보와 n2개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 아기 울음소리 인식 정보에 대응하는 n2개의 감정 항목 별 아기 감정 상태를 수치화한 n2개의 감정 항목 별 아기 감정 상태 값을 산출하는 단계를 더 포함하며,
상기 제6 단계는,
상기 산출된 n2개의 감정 항목 별 아기 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
According to claim 1,
The first step is
Among the baby's crying patterns, C (C≥2) pieces of baby crying pattern information related to the baby's emotional expression and N2 (1≤N2≤N) pieces of baby crying patterns that can be distinguished based on the baby's crying patterns among the designated N baby emotion items. Operating Crying-based emotional state determination information including matching relationship information between baby emotion items and crying-based correlation numerical relationship information obtained by digitizing the correlation between the C number of baby crying pattern information and N2 baby emotion items D /B further includes the step of registering and saving;
The third step,
Further comprising recognizing j (j≥1) pieces of baby cry recognition information for the specific baby by reading audio data of a certain period associated with the video data,
In the fourth step,
Based on the crying sound-based emotional state determination information, c (1≤c≤C) pieces of baby crying pattern information matched with the recognized j pieces of baby crying sound recognition information and a predetermined criterion similarity or higher are identified, and the identified c Further comprising the step of determining n2 (1≤n2≤N2) number of baby emotion items having a matching relationship with baby crying pattern information;
The fifth step,
Based on the matching ratio between the recognized j pieces of baby crying recognition information and the c pieces of baby crying pattern information, a numerical relationship of correlation between the c pieces of baby crying pattern information and n2 pieces of baby emotion items is read, and the recognized Calculating emotional state values of the baby for each of the n2 emotional items by digitizing the emotional state of the baby for each of the n2 emotional items corresponding to the j crying sound recognition information;
The sixth step,
The facial emotional state augmentation method of the baby, characterized in that it further comprises the step of generating baby emotional state information for each designated n emotional items by additionally using the calculated baby emotional state values for each n2 emotional items.
아기의 감정표현과 연관된 각각의 아기 울음소리 패턴을 구성하는 울음소리 특징의 범위 정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 14, wherein the C pieces of baby crying pattern information,
A method for enhancing a facial emotional state of a baby, characterized in that it comprises information on a range of features of a crying sound constituting each pattern of a baby's crying sound associated with the baby's emotional expression.
주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 15, wherein the cry characteristic,
Frequency band features, arrangement relationship features of frequency band features, periodicity features of frequency band features, sound intensity features, placement relationship features of sound intensity features, periodicity features of sound intensity features, combination features of frequency band features and sound intensity features, frequency A method for enhancing a facial emotional state of a baby, characterized in that it comprises at least one of a feature of an arrangement relationship between a band feature and a sound intensity feature, and a periodic feature of a frequency band feature and a sound intensity feature.
아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 14, wherein the cry-based correlation numerical relationship information,
Augmentation of the baby's facial emotional state, characterized in that it includes numerical information of the correlation calculated through a relational expression proportional to the matching ratio between the baby's crying recognition information and the registered baby's crying pattern information method.
아기의 울음소리를 인식한 아기 울음소리 인식 정보와 기 등록된 아기 울음소리 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 14, wherein the cry-based correlation numerical relationship information,
A method for enhancing the facial emotional state of a baby, characterized in that it includes numerical information of correlation for each matching ratio section between the baby's crying sound recognition information and the registered baby crying pattern information.
상기 제1 단계는,
상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 아기 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 아기 감정 항목 사이의 매칭 관계정보 및 상기 S개의 센싱 값 패턴 정보와 N3개의 아기 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장하는 단계를 더 포함하고,
상기 제2 단계는,
상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터를 수신하고 상기 비디오 데이터와 연계하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 더 포함하며,
상기 제3 단계는,
상기 비디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 아기의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식하는 단계를 더 포함하고,
상기 제4 단계는,
상기 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인하고 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 아기 감정 항목을 판별하는 단계를 더 포함하며,
상기 제5 단계는,
상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 아기 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 아기 감정 상태를 수치화한 n3개의 감정 항목 별 아기 감정 상태 값을 산출하는 단계를 더 포함하고,
상기 제6 단계는,
상기 산출된 n3개의 감정 항목 별 아기 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 아기 감정 상태 정보를 생성하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
According to claim 1,
The first step is
Among the sensing data provided in the camera device or sensed through the associated sensor module, among the S (S≥2) sensed value pattern information and the designated N baby emotion items for the sensing data of the designated sensing target related to the emotional expression of the baby Matching relationship information between N3 (1≤N3≤N) baby emotion items that can be distinguished based on the sensing value pattern of the designated sensing target and the correlation between the S sensing value pattern information and N3 baby emotion items digitized sensing Further comprising the step of registering and storing sensing-based emotional state determination information including based correlation numerical relationship information in an operation D / B,
The second step,
Receiving sensing data sensed through a sensor module provided in or associated with the camera device and storing and managing the sensing data in a specific storage area of a designated storage medium in association with the video data,
The third step,
Reading the sensing data associated with the video data and recognizing k (k≥1) pieces of sensing value recognition information for the sensing data of a designated sensing target associated with the emotional expression of the specific baby;
In the fourth step,
Based on the sensing-based emotional state determination information, s (1≤s≤S) pieces of sensing value pattern information matching the recognized k pieces of sensing value recognition information with a predetermined criterion similarity or higher are checked, and the identified s pieces of sensing values Further comprising the step of determining n3 (1≤n3≤N3) baby emotion items having a matching relationship with the pattern information;
The fifth step,
Based on a matching ratio between the recognized k sensing value recognition information and the s sensing value pattern information, a numerical relationship between the s sensing value pattern information and the n3 baby emotion items is read, and the recognized k sensing value pattern information is read. Calculating the baby's emotional state value for each n3 emotional item by digitizing the baby's emotional state for each n3 emotional item corresponding to the value recognition information;
The sixth step,
The facial emotional state enhancement method of the baby, characterized in that it further comprises the step of generating baby emotional state information for each designated n emotional items by additionally using the calculated baby emotional state values for each of the n3 emotional items.
아기의 신체에 착용하여 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈,
지정된 전자파를 이용하여 아기의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈 중 적어도 하나의 센서모듈을 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 19, wherein the sensor module,
A wearable sensor module worn on the baby's body to sense a designated sensing target;
A method for enhancing a baby's facial emotional state, characterized in that it comprises at least one sensor module among radar sensor modules for sensing a designated sensing target of the baby using designated electromagnetic waves.
아기의 심장박동, 아기의 체온, 아기 주변 습도, 아기의 무호흡 여부 중 적어도 하나를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 19 or 20, wherein the sensing target,
A method for enhancing a facial emotional state of a baby, characterized in that it comprises at least one of the baby's heartbeat, the baby's body temperature, the humidity around the baby, and whether the baby is not breathing.
아기의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징의 범위 정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 19, wherein the S sensed value pattern information comprises:
A method for enhancing a facial emotional state of a baby, characterized in that it comprises range information of a sensing value feature constituting each sensing value pattern for sensing data of a designated sensing target associated with the baby's emotional expression.
센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 22, wherein the sensing value characteristic,
A method for enhancing a facial emotional state of a baby, characterized in that it comprises at least one or a combination of two or more of a sensing value change rule feature, a sensing value change amount feature, a sensing value change rate feature, and a periodic feature of sensing value change.
지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 19, wherein the sensing-based correlation numerical relationship information,
The facial emotional state of the baby, characterized in that it includes numerical information of the correlation calculated through a relational expression proportional to the matching ratio between the sensing value recognition information recognized through the sensing data of the designated sensing target and the previously registered sensing value pattern information augmentation method.
지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 19, wherein the sensing-based correlation numerical relationship information,
A method for enhancing a facial emotional state of a baby, characterized in that it includes numerical information of correlation for each matching ratio section between sensing value recognition information recognized through sensing data of a designated sensing target and pre-registered sensing value pattern information.
n개의 감정 항목 정보와 각 감정 항목 별 아기 감정 상태의 수치정보를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 1, wherein the emotional state information of the baby for each of the n emotional items comprises:
A method for enhancing a facial emotional state of a baby, characterized in that it comprises n emotion item information and numerical information of the baby's emotional state for each emotion item.
아기의 머리카락 부위, 아기의 이마 부위, 아기의 관자놀이 부위, 아기의 양 눈썹 부위, 아기의 양 안과 양 눈썹 사이 부위, 아기의 양 안 부위, 아기의 양 안 사이 부위, 아기의 양 안 바깥쪽 부위, 아기의 양 안 아래쪽 부위, 아기의 양 광대 부위, 아기의 양 볼 부위, 아기의 콧등 부위, 아기의 코 부위, 아기의 인중 부위, 아기의 입 부위, 아기의 입술 부위, 아기의 입 바깥쪽 부위, 아기의 입 아래쪽 부위, 아기의 턱 부위, 아기의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
The method of claim 1, wherein the designated area on the baby's face area,
Baby's hair area, baby's forehead area, baby's temple area, baby's eyebrow area, baby's inner and outer eyebrow area, baby's both inner area, baby's inner and outer area, baby's both inner and outer areas , baby's inner lower part, baby's cheekbones, baby's cheeks, baby's nose, baby's nose, baby's philtrum, baby's mouth, baby's lip, baby's outer mouth A method of enhancing a facial emotional state of a baby, characterized in that it comprises at least one or a combination of two or more of a part, a lower part of the baby's mouth, a part of the baby's chin, and a part of the baby's neck.
상기 비디오 데이터 상의 아기 안면의 지향 방향과 카메라 촬영 방향 간 3차원 좌표계 상의 각도 정보를 산출하는 단계를 더 포함하며,
상기 제8 단계는, 상기 각도 정보를 근거로 상기 p개의 가상객체 데이터의 중첩 표시 방향이 상기 아기 안면 영역 상의 지정 부위 별 방향에 대응하도록 좌표 변환하여 중첩 표시하는 단계를 포함하여 이루어지는 것을 특징으로 하는 아기의 안면 감정 상태 증강 방법.
According to claim 1,
Further comprising calculating angle information on a three-dimensional coordinate system between the orientation direction of the baby's face and the camera photographing direction on the video data,
The eighth step comprises converting coordinates so that the overlapping display direction of the p virtual object data corresponds to the direction of each designated part on the baby's facial area based on the angle information, and displaying the overlapped data. A method for augmenting the facial emotional state of babies.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180106244A KR102549449B1 (en) | 2018-09-06 | 2018-09-06 | Method for Providing Augmented Reality by Emotional Sate of Baby's Face |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180106244A KR102549449B1 (en) | 2018-09-06 | 2018-09-06 | Method for Providing Augmented Reality by Emotional Sate of Baby's Face |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200028520A KR20200028520A (en) | 2020-03-17 |
| KR102549449B1 true KR102549449B1 (en) | 2023-07-03 |
Family
ID=70003990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180106244A KR102549449B1 (en) | 2018-09-06 | 2018-09-06 | Method for Providing Augmented Reality by Emotional Sate of Baby's Face |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102549449B1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013081111A (en) | 2011-10-04 | 2013-05-02 | Olympus Imaging Corp | Imaging device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100330933B1 (en) * | 2000-02-16 | 2002-04-01 | 김덕우 | System and Method for Providing Information Service for Character Terminal and Character Terminal Suitable for the Same |
| KR101498861B1 (en) * | 2014-09-22 | 2015-03-05 | 문지현 | Emotion exchange apparatus and method for providing thereof |
-
2018
- 2018-09-06 KR KR1020180106244A patent/KR102549449B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013081111A (en) | 2011-10-04 | 2013-05-02 | Olympus Imaging Corp | Imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200028520A (en) | 2020-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020204000A1 (en) | Communication assistance system, communication assistance method, communication assistance program, and image control program | |
| US7725547B2 (en) | Informing a user of gestures made by others out of the user's line of sight | |
| CN111163906B (en) | Mobile electronic device and method of operating the same | |
| US8644614B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2020039029A (en) | Video distribution system, video distribution method, and video distribution program | |
| KR101979355B1 (en) | Curator Mirror for Beauty Curation and Its Control Method | |
| KR20200092207A (en) | Electronic device and method for providing graphic object corresponding to emotion information thereof | |
| JP2019086858A (en) | Customer service system and customer service method | |
| JP2012175136A (en) | Camera system and control method of the same | |
| KR102596833B1 (en) | Method for Providing Augmented Reality by Pet's Emotional Sate using Pet's Peripheral Region Based on Artificial Intelligence | |
| Kim et al. | Beginning of a new standard: Internet of Media Things | |
| US11138415B2 (en) | Smart vision sensor system and method | |
| KR102611458B1 (en) | Method for Providing Augmented Reality by Baby's Emotional Sate using Baby's Peripheral Region | |
| CN110178159A (en) | Audio/video wearable computer system with integrated form projector | |
| KR20210080637A (en) | Method for Displaying Pet's Emotional Sate Based on Artificial Intelligence | |
| KR102549441B1 (en) | Method for Displaying Baby's Emotional Sate | |
| KR102549453B1 (en) | Method for Providing Conversation with Baby using Augmented Reality by Baby's Emotional Sate | |
| JP2005117285A (en) | Information input device, communication terminal and communication method | |
| KR102549449B1 (en) | Method for Providing Augmented Reality by Emotional Sate of Baby's Face | |
| KR102596832B1 (en) | Method for Providing Conversation with Pet using Augmented Reality by Pet's Emotional Sate | |
| JP7189406B2 (en) | Communication device and remote communication system | |
| KR20210072202A (en) | Method for Outputting Infants Emotional Condition | |
| KR20210072203A (en) | Method for Processing Emotional Sate Information of Baby | |
| KR20210079478A (en) | Method for Providing Augmented Reality by Emotional Sate of Pet's Face | |
| KR20210079483A (en) | Method for Providing Augmented Reality by Emotional Sate of Pet's Face Based on Artificial Intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |