KR102596832B1

KR102596832B1 - Method for Providing Conversation with Pet using Augmented Reality by Pet's Emotional Sate

Info

Publication number: KR102596832B1
Application number: KR1020190171110A
Authority: KR
Inventors: 김재형; 권봉기
Original assignee: (주)펫펄스랩
Priority date: 2019-12-19
Filing date: 2019-12-19
Publication date: 2023-11-03
Also published as: KR20210079480A

Abstract

본 발명의 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 따르면, 사운드 입력부와 사운드 출력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서, 애완동물의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 애완동물 표정 패턴 정보와 지정된 N(N≥2)개의 애완동물 감정 항목 중 애완동물 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 애완동물 감정 항목 사이의 매칭 관계정보 및 상기 E개의 애완동물 표정 패턴 정보와 N1개의 애완동물 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 운영D/B에 등록 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 애완동물 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하고, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 애완동물을 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하고, 지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하고, 상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식하고, 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하고, 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 애완동물의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 애완동물 표정 인식 정보를 인식하고, 상기 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 애완동물 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 애완동물 표정 패턴 정보를 확인하고 상기 e개의 애완동물 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 애완동물 감정 항목을 판별하고, 상기 인식된 i개의 애완동물 표정 인식 정보와 상기 e개의 애완동물 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 애완동물 표정 패턴 정보와 n1개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 애완동물 표정 인식 정보에 대응하는 n1개의 감정 항목 별 애완동물 감정 상태를 수치화한 n1개의 감정 항목 별 애완동물 감정 상태 값을 산출하고, 상기 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 애완동물 감정 상태 정보를 생성하고, 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고, 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하며, 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공한다.According to the method of providing a conversation with a pet using augmentation of the pet's emotional state of the present invention, the method is executed through an operation server that has a sound input unit, a sound output unit, and a camera module and communicates with a camera device installed at a designated base. , Among the F (F≥2) feature points present in the pet's facial area, E (E≥2) pet expression pattern information corresponding to the geometric relationship between feature points associated with the pet's emotional expression and the designated N (N≥ 2) Matching relationship information between N1 (1≤N1≤N) pet emotion items that can be distinguished based on pet expression patterns among 2) pet emotion items, and the E pet expression pattern information and N1 pet emotions Facial expression-based correlation, which quantifies the correlation between items, facial expression-based emotional state determination information including numerical relationship information is registered and stored in the operation D/B, and the pet's position response to the designated P (P≥2) conversation intentions A virtual device that registers and stores R (R≥2) virtual object data corresponding to Object matching information is stored, and video data encoded in a specified manner by filming a specific pet in the base through the camera module of the camera device and audio data input through the sound input unit of the camera device and encoded in a specified manner are transmitted. Perform or maintain a procedure to receive, store and manage in a specific storage area of a designated storage medium, and provide transmission data including video data stored in a specific storage area of the storage medium to an app or IPTV of a designated user's wireless terminal, Confirm and read the string corresponding to the user's voice or text acquired through the app or IPTV of the user's wireless terminal, recognize the conversation string that the user spoke to the pet, and analyze the recognized conversation string to determine the number of P numbers. Determine a user conversation intention corresponding to at least one of the conversation intentions, read video data specified at a point in time before, during, or after determining the user conversation intention, and f (1) for the facial area of a specific pet in the base While recognizing ≤f≤F) feature points, i (i≥1) pet expression recognition information corresponding to the geometric relationship between feature points related to the emotional expression of the pet among the recognized f feature points is recognized, and the expression-based Based on the emotional state determination information, check the e (1≤e≤E) pet expression pattern information that matches the i recognized pet expression recognition information and the preset standard similarity or higher, and check the e pet expression pattern information. and determine n1 (1≤n1≤N1) pet emotion items that have a matching relationship with the e pet expressions based on the matching ratio between the recognized i pet expression recognition information and the e pet expression pattern information. By reading the correlation and numerical relationship between the pet expression pattern information and n1 pet emotion items, each n1 emotion item corresponding to the recognized i pet expression recognition information, each n1 emotion item that quantifies the pet emotional state. Calculate the pet emotional state value, use the calculated pet emotional state value for each of the n1 emotional items to generate pet emotional state information for each specified n (1≤n≤N) emotional items, and generate the pet emotional state information for each of the n1 emotional items. Based on the matching information and the pet emotional state information for each of the generated n emotion items, r (1 ≤ r ≤ R) virtual object data matching the determined user conversation intention is confirmed, and the pet face in the video data is confirmed. By overlaying the designated q(1≤q≤r) virtual object data on a designated area within the area or the area around the pet's face, the pet is viewed from the pet's perspective through the designated area within the pet's face area or the area around the pet's face. Augmentation is provided to respond to the determined user conversation intention based on the emotional state, and transmission data including video data augmented to respond to the determined user conversation intention is provided to an app or IPTV of the user's wireless terminal for a specified period of time. .

Description

{Method for Providing Conversation with Pet using Augmented Reality by Pet's Emotional Sate}

본 발명은 지정된 거점에 구비된 카메라장치를 통해 상기 거점 내의 특정 애완동물을 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말의 앱이나 IPTV로 제공하는 중에 상기 사용자 무선단말의 앱이나 IPTV를 통해 사용자가 애완동물에게 대화한 음성이나 문자에 대응하는 대화 문자열이 인식된 경우 상기 대화 문자열에 대한 사용자 대화 의도를 판별하고 상기 비디오 데이터를 포함하는 하나 이상의 데이터를 근거로 상기 특정 애완동물에 대한 지정된 각 감정 항목 별 애완동물 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말의 앱이나 IPTV로 제공될 지정된 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 증강하여 제공함으로써 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 것이다.The present invention provides transmission data including video data captured of a specific pet within the designated base to the app or IPTV of the designated user's wireless terminal through a camera device provided at the designated base. When a dialogue string corresponding to a voice or text spoken by a user to a pet is recognized, the user's conversation intention for the dialogue string is determined, and a designated message for the specific pet is determined based on one or more data including the video data. After generating pet emotional state information for each emotional item, virtual object data matching the determined user conversation intention is confirmed based on this, and the pet facial area is displayed on the designated video data to be provided through the app or IPTV of the user's wireless terminal. By augmenting and providing the designated area within the pet or the area around the pet's face, the pet is processed to respond to the determined user's conversation intention based on the pet's emotional state.

종래에 카메라를 이용하여 지정된 장소에 있는 애완동물을 원격으로 관찰하는 장치가 제안된 바 있다(실용신안등록공고 제20-0208356호(2000년12월15일)). Previously, a device for remotely observing pets in a designated location using a camera was proposed (Utility Model Registration Notice No. 20-0208356 (December 15, 2000)).

한편 종래의 애완동물 관찰 장치는 단순히 애완동물을 촬영한 영상을 제공하는 기능만 제공하고 있어, 애완동물을 촬영한 영상 이외에 애완동물의 현재 상태와 관련된 각종 실시간 정보를 자동 자동 파악하거나 애완동물과 실시간 상호 작용하기에는 기술적으로 난해한 문제점을 지니고 있다.Meanwhile, conventional pet observation devices simply provide the function of providing video footage of the pet, and in addition to the video footage of the pet, various real-time information related to the pet's current condition can be automatically determined or the pet can be viewed in real-time. It has technical difficulties in interacting with it.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 애완동물의 감정 상태를 판별하기 위해 인식하도록 지정된 인식 대상의 패턴 정보와 각 애완동물 감정 항목 사이의 매칭 관계정보 및 상기 지정된 인식 대상의 패턴 정보와 각 애완동물 감정 항목 간 상관도를 수치화한 상관도 수치 관계정보를 포함하는 지정된 인식 대상 별 감정상태 판별 정보를 지정된 운영D/B에 등록 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 애완동물 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장한 후, 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 애완동물을 촬영하여 획득된 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하고, 지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 중에 상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식하고 이에 대응하는 사용자 대화 의도를 판별하고, 상기 사용자 무선단말의 앱이나 IPTV로 제공할 비디오 데이터를 포함하는 하나 이상의 데이터를 판독하여 애완동물의 감정을 판별하기 위한 지정된 인식 대상의 인식 정보를 인식하고, 지정된 인식 대상 별 감정상태 판별 정보를 근거로 상기 인식된 인식 정보와 기 설정된 기준 유사도 이상 매칭된 지정된 인식 대상의 패턴 정보를 확인하고 상기 확인된 패턴 정보와 매칭 관계를 지닌 하나 이상의 애완동물 감정 항목을 판별하고, 상기 인식 대상의 인식 정보와 패턴 정보 간 매칭 비율을 근거로 상기 패턴 정보와 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식 정보에 대응하는 하나 이상의 감정 항목 별 애완동물 감정 상태를 수치화한 감정 항목 별 애완동물 감정 상태 값을 산출하고, 상기 산출된 하나 이상의 애완동물 감정 상태 정보를 이용하여 지정된 각 감정 항목 별 애완동물 감정 상태 정보를 생성하고, 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 중첩 표시함으로써 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공하는 애완동물의 감정 상태 증강을 이용한 애완동물과 대화 제공 방법을 제공함에 있다.The purpose of the present invention to solve the above problems is to determine the emotional state of the pet, the pattern information of the recognition target designated to be recognized, the matching relationship information between each pet emotion item, and the pattern information of the designated recognition target. Register and store the emotional state determination information for each designated recognition target, including numerical correlation information, which is a quantified correlation between the correlation between and each pet emotional item, in the designated operation D/B, and store it in the designated P(P≥2) conversation intentions. Register and store R (R≥2) virtual object data corresponding to the pet's response to the operation D/B, and based on the pet emotional state information for each designated emotional item, the P conversation intentions and R virtual objects are stored. After storing virtual object matching information that matches object data, acquisition data including video data obtained by filming a specific pet within the base through the camera module of the camera device is received and stored in a specific storage area of the designated storage medium. The user's voice or text acquired through the app or IPTV of the user's wireless terminal while providing transmission data including video data stored in a specific storage area of the storage medium to the app or IPTV of the designated user's wireless terminal. Confirm and read the corresponding string to recognize the conversation string that the user talked to the pet and determine the user's conversation intention corresponding thereto, and one or more containing video data to be provided to the app or IPTV of the user's wireless terminal. By reading the data, the recognition information of the designated recognition target is recognized to determine the pet's emotions, and based on the emotional state determination information for each designated recognition target, the recognized recognition information is matched with a preset standard similarity level or higher. Confirm pattern information, determine one or more pet emotion items that have a matching relationship with the confirmed pattern information, and determine a correlation between the pattern information and pet emotion items based on the matching ratio between the recognition information of the recognition target and the pattern information. The numerical relationship is read to calculate a pet emotional state value for each emotional item that quantifies the pet emotional state for each one or more emotional items corresponding to the recognition information, and the pet emotional state value for each emotional item is calculated using the calculated one or more pet emotional state information. Generate pet emotional state information for each emotion item, and check virtual object data that matches the determined user conversation intent based on the virtual object matching information and the pet emotional state information for each of the generated n emotion items. By overlaying a designated area within the pet face area or the area around the pet's face on the video data, the determination is made based on the pet's emotional state from the pet's perspective through the designated area within the pet face area or the area around the pet's face. The aim is to provide a method of providing a conversation with a pet using augmentation of the emotional state of the pet by providing transmission data including video data augmented to respond to the user's conversation intention through an app or IPTV on the user's wireless terminal for a specified period of time.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법은, 사운드 입력부와 사운드 출력부 및 카메라모듈을 구비하여 지정된 거점에 구비된 카메라장치와 통신하는 운영서버를 통해 실행되는 방법에 있어서, 애완동물의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 애완동물 표정 패턴 정보와 지정된 N(N≥2)개의 애완동물 감정 항목 중 애완동물 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 애완동물 감정 항목 사이의 매칭 관계정보 및 상기 E개의 애완동물 표정 패턴 정보와 N1개의 애완동물 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 운영D/B에 등록 저장하고, 지정된 P(P≥2)개의 대화 의도에 대한 애완동물 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고, 지정된 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하는 제1 단계와 상기 카메라장치의 카메라모듈을 통해 상기 거점 내의 특정 애완동물을 촬영하여 지정 방식으로 엔코딩된 비디오 데이터와 상기 카메라장치의 사운드 입력부를 통해 입력되어 지정 방식으로 엔코딩된 오디오 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 제2 단계와 지정된 사용자 무선단말의 앱이나 IPTV로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하는 제3 단계와 상기 사용자 무선단말의 앱이나 IPTV를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식하는 제4 단계와 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하는 제5 단계와 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 애완동물의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 애완동물 표정 인식 정보를 인식하는 제6 단계와 상기 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 애완동물 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 애완동물 표정 패턴 정보를 확인하고 상기 e개의 애완동물 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 애완동물 감정 항목을 판별하는 제7 단계와 상기 인식된 i개의 애완동물 표정 인식 정보와 상기 e개의 애완동물 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 애완동물 표정 패턴 정보와 n1개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 애완동물 표정 인식 정보에 대응하는 n1개의 감정 항목 별 애완동물 감정 상태를 수치화한 n1개의 감정 항목 별 애완동물 감정 상태 값을 산출하는 제8 단계와 상기 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값을 이용하여 지정된 n(1≤n≤N)개의 감정 항목 별 애완동물 감정 상태 정보를 생성하는 제9 단계와 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 제10 단계와 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 제11 단계 및 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말의 앱이나 IPTV로 제공하는 제12 단계를 포함하는 것을 특징으로 한다.The method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention is a method that is executed through an operation server that has a sound input unit, a sound output unit, and a camera module and communicates with a camera device installed at a designated base. , Among the F (F≥2) feature points present in the pet's facial area, E (E≥2) pet expression pattern information corresponding to the geometric relationship between feature points associated with the pet's emotional expression and the designated N (N≥ 2) Matching relationship information between N1 (1≤N1≤N) pet emotion items that can be distinguished based on pet expression patterns among 2) pet emotion items, and the E pet expression pattern information and N1 pet emotions Facial expression-based correlation, which quantifies the correlation between items, facial expression-based emotional state determination information including numerical relationship information is registered and stored in the operation D/B, and the pet's position response to the designated P (P≥2) conversation intentions A virtual device that registers and stores R (R≥2) virtual object data corresponding to A first step of storing object matching information and video data encoded in a specified manner by filming a specific pet in the base through the camera module of the camera device and input through a sound input unit of the camera device and encoded in a specified manner A second step of receiving audio data and storing and managing it in a specific storage area of a designated storage medium, and a procedure of providing transmission data including video data stored in a specific storage area of the storage medium to an app or IPTV of a designated user wireless terminal. A third step of performing or maintaining and a fourth step of recognizing a conversation string that the user has spoken to a pet by checking and reading a string corresponding to the user's voice or text acquired through an app or IPTV of the user's wireless terminal. and a fifth step of analyzing the recognized dialogue string to determine user conversation intent corresponding to at least one of the specified P conversation intentions, and reading the specified video data at a point in time before, during, or after determining the user conversation intention. Thus, while recognizing f (1≤f≤F) feature points for the facial area of a specific pet within the base, i (i≥ 1) The sixth step of recognizing pet expression recognition information and e (1≤e≤E) matching the recognized i pet expression recognition information with a preset standard similarity level or higher based on the expression-based emotional state determination information. A seventh step of checking ) pet expression pattern information and determining n1 (1≤n1≤N1) pet emotion items that have a matching relationship with the e pet expression pattern information, and the recognized i pet Based on the matching ratio between the facial expression recognition information and the e pet expression pattern information, the correlation and numerical relationship between the e pet expression pattern information and the n1 pet emotion items are read to recognize the i recognized pet expressions. An eighth step of calculating the pet emotional state value for each n1 emotion items that quantifies the pet emotional state for each n1 emotion items corresponding to the information, and specifying the pet emotional state value for each n1 emotion items calculated above. A ninth step of generating pet emotional state information for n (1≤n≤N) emotional items and the user determined based on the virtual object matching information and the generated pet emotional state information for each n emotional items. Step 10 of checking r (1 ≤ r ≤ R) virtual object data matching the conversation intention and q (1 ≤ q ≤ r) specified in the designated area within the pet face area or the area around the pet face on the video data. An 11th step of overlapping display of the dog's virtual object data and augmenting it to respond to the determined user conversation intention based on the pet's emotional state from the pet's perspective through a designated area within the pet's face area or an area around the pet's face; A twelfth step of providing transmission data including augmented video data to an app or IPTV of the user's wireless terminal for a specified period of time to respond to the determined user conversation intention.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 E개의 애완동물 표정 패턴 정보는, 애완동물의 감정표현과 연관된 각각의 애완동물 표정 패턴에 대응하는 각 특징점 간 기하학 관계의 범위 정보를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the E pet expression pattern information includes the geometry between each feature point corresponding to each pet expression pattern associated with the pet's emotional expression. It is characterized by including information on the scope of the relationship.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 특징점 간 기하학 관계는, 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the emotional state of the pet according to the present invention, the geometric relationship between the feature points includes a distance relationship between each feature point, an angular relationship between each feature point, and a combination relationship of a distance relationship and an angle relationship between each feature point. It is characterized by comprising one or more relationships.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서,상기 표정 기반 상관도 수치 관계정보는, 애완동물의 표정을 인식한 애완동물 표정 인식 정보와 기 등록된 애완동물 표정 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the emotional state of the pet according to the present invention, the facial expression-based correlation numerical relationship information includes pet expression recognition information that recognizes the pet's facial expression and a pre-registered pet facial expression pattern. The correlation calculated through a relational expression proportional to the matching ratio between information is characterized by including numerical information.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서,상기 표정 기반 상관도 수치 관계정보는, 애완동물의 표정을 인식한 애완동물 표정 인식 정보와 기 등록된 애완동물 표정 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the facial expression-based correlation numerical relationship information includes pet facial expression recognition information that recognizes the pet's facial expression and a pre-registered pet facial expression pattern. It is characterized by including numerical information of the correlation for each matching ratio section between information.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 P개의 대화 의도는, 애완동물의 상태를 질의하는 대화 카테고리에 대응하는 대화 의도, 애완동물의 감정 표현을 유도하는 대화 카테고리에 대응하는 대화 의도, 애완동물의 반응을 유발하는 대화 카테고리에 대응하는 대화 의도 중 적어도 하나의 대화 의도를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the emotional state of the pet according to the present invention, the P conversation intentions include conversation intentions corresponding to a conversation category inquiring about the state of the pet, and inducing emotional expression of the pet. It is characterized in that it includes at least one conversation intention among a conversation intention corresponding to a conversation category and a conversation intention corresponding to a conversation category that triggers a reaction of the pet.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 R개의 가상객체 데이터는, 지정된 대화 의도에 대한 애완동물 입장의 응답으로서 애완동물 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 지정된 대화 의도에 대한 애완동물 입장의 응답에 대응하는 문자열을 말풍선 형태로 표시하여 애완동물 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the emotional state of the pet according to the present invention, the R virtual object data is displayed overlaid on a designated portion in the pet's facial area as a response to the pet's position to the designated conversation intention. The virtual object data is characterized by including at least one virtual object data among the virtual object data displayed in the form of a speech bubble that corresponds to the pet's response to the specified conversation intention and displayed overlapping in the area around the pet's face. do.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 제2 단계는, 상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 포함하는 동영상 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the emotional state of the pet according to the present invention, the second step includes receiving video data including the video data and audio data from the camera device and storing the video data in a designated storage medium. It is characterized by including the step of storing and managing in an area.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서,상기 제2 단계는, 상기 카메라장치로부터 상기 비디오 데이터와 오디오 데이터를 각기 수신하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the second step is to receive the video data and the audio data from the camera device and store them in a specific storage area of a designated storage medium. It is characterized by comprising the step of:

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서,상기 제2 단계는, 상기 카메라장치로부터 수신된 상기 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the second step is to synchronize the time of the video data and audio data received from the camera device to a specific storage area of a designated storage medium. It is characterized in that it further includes the step of storing.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 송신 데이터는, 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터를 더 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the transmission data further includes audio data stored in a specific storage area of the storage medium.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서,상기 지정된 비디오 데이터는, 지정된 재생 시간 단위 별로 주기적으로 선별되는 비디오 데이터, 지정된 재생 프레임 수 별로 주기적으로 선별되는 비디오 데이터 중 적어도 하나의 비디오 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the designated video data is selected from among video data periodically selected for each designated playback time unit and video data periodically selected for each designated number of playback frames. It is characterized by including at least one video data.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 제4 단계는, 상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 획득된 오디오 데이터를 수신하는 단계 및 상기 수신된 오디오 데이터에 대한 음성 인식을 시도하여 상기 송신 데이터를 시청하는 사용자가 발화한 내용에 대응하는 문자열을 확인하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the fourth step includes receiving audio data acquired through an app or IPTV of the user's wireless terminal that receives and outputs the transmission data. and attempting voice recognition for the received audio data to confirm a character string corresponding to content uttered by a user watching the transmitted data.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 오디오 데이터를 상기 카메라장치로 전송하여 상기 카메라장치의 사운드 출력부를 통해 출력하도록 처리하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the audio data is transmitted to the camera device and processed to be output through a sound output unit of the camera device. Do it as

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 제4 단계는, 상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 상기 송신 데이터를 시청하는 사용자가 발화한 음성을 인식한 문자열을 수신하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the fourth step includes the user receiving and outputting the transmission data and the user watching the transmission data through an app of a wireless terminal or IPTV. It is characterized in that it includes the step of receiving a character string that recognizes the voice uttered.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 제4 단계는, 상기 송신 데이터를 수신하여 출력하는 사용자 무선단말의 앱이나 IPTV를 통해 입력된 문자열을 수신하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the fourth step includes receiving a string input through an app or IPTV of the user's wireless terminal that receives and outputs the transmission data. It is characterized by comprising:

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 제1 단계는, 애완동물의 동물 소리 패턴 중 애완동물의 감정 표현과 연관된 C(C≥2)개의 동물 소리 패턴 정보와 지정된 N개의 애완동물 감정 항목 중 동물 소리 패턴을 근거로 구별 가능한 N2(1≤N2≤N)개의 애완동물 감정 항목 사이의 매칭 관계정보 및 상기 C개의 동물 소리 패턴 정보와 N2개의 애완동물 감정 항목 간 상관도를 수치화한 동물 소리 기반 상관도 수치 관계정보를 포함하는 동물 소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장하는 단계를 더 포함하고, 상기 제6 단계는, 상기 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 애완동물에 대한 j(j≥1)개의 동물 소리 인식 정보를 인식하는 단계를 더 포함하며, 상기 제7 단계는, 상기 동물 소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 동물 소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c(1≤c≤C)개의 동물 소리 패턴 정보를 확인하고 상기 확인된 c개의 동물 소리 패턴 정보와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 애완동물 감정 항목을 판별하는 단계를 더 포함하고, 상기 제8 단계는, 상기 인식된 j개의 동물 소리 인식 정보와 상기 c개의 동물 소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 동물 소리 패턴 정보와 n2개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 동물 소리 인식 정보에 대응하는 n2개의 감정 항목 별 애완동물 감정 상태를 수치화한 n2개의 감정 항목 별 애완동물 감정 상태 값을 산출하는 단계를 더 포함하며, 상기 제9 단계는, 상기 산출된 n2개의 감정 항목 별 애완동물 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the first step includes C (C≥2) animal sound patterns associated with the emotional expression of the pet among the animal sound patterns of the pet. Matching relationship information between information and N2 (1≤N2≤N) pet emotion items that can be distinguished based on animal sound patterns among the designated N pet emotion items, and the C animal sound pattern information and N2 pet emotions It further includes the step of registering and storing animal sound-based emotional state determination information, which includes animal sound-based correlation and numerical relationship information that quantifies the correlation between items, in the operation D/B, and the sixth step includes the video data and It further includes the step of recognizing j (j ≥ 1) animal sound recognition information for the specific pet by reading audio data of a certain predetermined section, wherein the seventh step is to determine the emotional state based on the animal sound. Based on the information, c (1≤c≤C) animal sound pattern information that matches the j recognized animal sound recognition information and a preset standard similarity level or higher is confirmed, and a matching relationship is established with the confirmed c animal sound pattern information. It further includes the step of determining n2 (1≤n2≤N2) pet emotion items, and the eighth step is to determine a matching ratio between the recognized j animal sound recognition information and the c animal sound pattern information. Based on this, the correlation and numerical relationships between the c animal sound pattern information and the n2 pet emotion items are read, and the n2 pet emotional states for each of the n2 emotional items corresponding to the recognized j animal sound recognition information are quantified. It further includes calculating pet emotional state values for each emotion item, wherein the ninth step further uses the calculated pet emotional state values for each of the n2 emotional items to determine the pet emotional state for each of the n designated emotional items. It is characterized by further including the step of generating information.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 C개의 동물 소리 패턴 정보는, 애완동물의 감정표현과 연관된 각각의 동물 소리 패턴을 구성하는 동물 소리 특징의 범위 정보를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the C animal sound pattern information includes range information of animal sound characteristics constituting each animal sound pattern associated with the emotional expression of the pet. It is characterized by comprising:

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서,상기 동물 소리 특징은, 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using the enhancement of the pet's emotional state according to the present invention, the animal sound characteristics include frequency band characteristics, arrangement relationship characteristics of frequency band characteristics, periodicity characteristics of frequency band characteristics, sound intensity characteristics, and sound. One or more of the following: a placement relationship feature of an intensity feature, a periodicity feature of a sound intensity feature, a combination feature of a frequency band feature and a loudness feature, a placement relationship feature of a frequency band feature and a loudness feature, and a periodicity feature of a frequency band feature and a loudness feature. It is characterized by including features.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 동물 소리 기반 상관도 수치 관계정보는, 애완동물의 동물 소리를 인식한 동물 소리 인식 정보와 기 등록된 동물 소리 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the animal sound-based correlation numerical relationship information includes animal sound recognition information recognizing the pet's animal sound and a pre-registered animal sound pattern. The correlation calculated through a relational expression proportional to the matching ratio between information is characterized by including numerical information.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 동물 소리 기반 상관도 수치 관계정보는, 애완동물의 동물 소리를 인식한 동물 소리 인식 정보와 기 등록된 동물 소리 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the animal sound-based correlation numerical relationship information includes animal sound recognition information recognizing the pet's animal sound and a pre-registered animal sound pattern. It is characterized by including numerical information of the correlation for each matching ratio section between information.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 제1 단계는, 상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 애완동물의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 애완동물 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 애완동물 감정 항목 사이의 매칭 관계정보 및 상기 S개의 센싱 값 패턴 정보와 N3개의 애완동물 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장하는 단계를 더 포함하고, 상기 제2 단계는, 상기 카메라장치에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터를 수신하고 상기 비디오 데이터와 연계하여 지정된 저장매체의 특정 저장영역에 저장 관리하는 단계를 더 포함하며, 상기 제6 단계는, 상기 비디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 애완동물의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식하는 단계를 더 포함하고, 상기 제7 단계는, 상기 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인하고 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 애완동물 감정 항목을 판별하는 단계를 더 포함하며, 상기 제8 단계는, 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 애완동물 감정 상태를 수치화한 n3개의 감정 항목 별 애완동물 감정 상태 값을 산출하는 단계를 더 포함하고, 상기 제9 단계는, 상기 산출된 n3개의 감정 항목 별 애완동물 감정 상태 값을 추가 이용하여 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the emotional state of the pet according to the present invention, the first step is to select information related to the emotional expression of the pet among the sensing data sensed through a sensor module provided or associated with the camera device. N3 (1≤N3≤N) pets that can be distinguished based on S (S≥2) sensing value pattern information for the sensing data of the designated sensing object and the sensing value pattern of the designated sensing object among the designated N pet emotion items. Operating sensing-based emotional state determination information including matching relationship information between animal emotion items and sensing-based correlation numerical relationship information that quantifies the correlation between the S sensing value pattern information and N3 pet emotion items D/B It further includes the step of registering and storing, wherein the second step is to receive sensing data sensed through a sensor module provided or associated with the camera device and store it in a specific storage area of a designated storage medium in association with the video data. It further includes the step of managing, wherein the sixth step reads the sensing data associated with the video data and detects k (k≥1) pieces of sensing data of a designated sensing target associated with the emotional expression of the specific pet. It further includes the step of recognizing value recognition information, wherein the seventh step is s (1 ≤ s) that matches the recognized k pieces of sensing value recognition information with a preset standard similarity or higher based on the sensing-based emotional state determination information. It further includes the step of confirming ≤S) sensing value pattern information and determining n3 (1≤n3≤N3) pet emotion items having a matching relationship with the confirmed s sensing value pattern information, wherein the 8th In the step, the recognition is performed by reading the correlation and numerical relationship between the s sensing value pattern information and the n3 pet emotion items based on the matching ratio between the recognized k sensing value recognition information and the s sensing value pattern information. It further includes the step of calculating pet emotional state values for each of the n3 emotional items, which are quantified pet emotional states for each of the n3 emotional items corresponding to the k sensing value recognition information, and the ninth step is to calculate the pet emotional state value for each of the n3 emotional items. It is characterized in that it further includes the step of generating pet emotional state information for each of the n designated emotional items by additionally using the pet emotional state values for each of the n3 emotional items.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 센서모듈은, 애완동물의 신체에 착용하여 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈, 지정된 전자파를 이용하여 애완동물의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈 중 적어도 하나의 센서모듈을 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the sensor module is a wearable sensor module that is worn on the pet's body and senses a designated sensing target, using designated electromagnetic waves. It is characterized by including at least one sensor module among radar sensor modules that sense a designated sensing target of the pet.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 센싱 대상은, 애완동물의 심장박동, 애완동물의 체온, 애완동물 주변 습도, 애완동물의 무호흡 여부 중 적어도 하나를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the sensing object includes at least one of the pet's heartbeat, the pet's body temperature, the humidity around the pet, and whether the pet is apnea. It is characterized by including.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 S개의 센싱 값 패턴 정보는, 애완동물의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징의 범위 정보를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the S sensing value pattern information includes each sensing value pattern for sensing data of a designated sensing target associated with the emotional expression of the pet. It is characterized by including range information of the constituting sensing value characteristics.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 센싱 값 특징은, 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the sensing value characteristics include a sensing value change rule feature, a sensing value change amount feature, a sensing value change rate feature, and a periodicity feature of the sensing value change. It is characterized by comprising at least one or a combination of two or more.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 센싱 기반 상관도 수치 관계정보는, 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the sensing-based correlation numerical relationship information includes sensing value recognition information recognized through sensing data of a designated sensing target and a pre-registered sensing value. The correlation calculated through a relational expression proportional to the matching ratio between pattern information is characterized by including numerical information.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 센싱 기반 상관도 수치 관계정보는, 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the sensing-based correlation numerical relationship information includes sensing value recognition information recognized through sensing data of a designated sensing target and a pre-registered sensing value. It is characterized by including numerical correlation information for each matching ratio section between pattern information.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 n개의 감정 항목 별 애완동물 감정 상태 정보는, n개의 감정 항목 정보와 각 감정 항목 별 애완동물 감정 상태의 수치정보를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the pet emotional state information for each n emotional item includes n emotional item information and numerical information of the pet emotional state for each emotional item. It is characterized by comprising:

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서,상기 r개의 가상객체 데이터는, 상기 판별된 사용자 대화 의도에 대한 애완동물 감정 상태 기준의 응답으로서 애완동물 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 상기 판별된 사용자 대화 의도에 대한 애완동물 감정 상태 기준 응답에 대응하는 문자열을 말풍선 형태로 표시하여 애완동물 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the emotional state of the pet according to the present invention, the r virtual object data is designated within the pet facial area as a response to the pet emotional state standard for the determined user conversation intention. At least one virtual object of the virtual object data overlaid on the area, and the virtual object data overlaid on the area around the pet's face by displaying a string corresponding to the pet emotional state standard response to the determined user conversation intention in the form of a speech bubble It is characterized by including object data.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 q개의 가상객체 데이터는, 상기 r개의 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the q virtual object data includes the r virtual object data.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 q개의 가상객체 데이터는, 상기 r개의 가상객체 데이터 중 상기 판별된 사용자 대화 의도에 가장 부합한 것으로 선별된 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the q virtual object data is a virtual object selected as the one that best matches the determined user conversation intention among the r virtual object data. It is characterized by including data.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 q개의 가상객체 데이터는, 상기 r개의 가상객체 데이터 중 애완동물 안면 영역 내의 동일 부위에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the q virtual object data overlaps one virtual object data on the same part in the pet facial area among the r virtual object data. It is characterized in that it includes virtual object data selected to be displayed.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 q개의 가상객체 데이터는, 상기 r개의 가상객체 데이터 중 애완동물 안면 주변의 동일 영역에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, the q virtual object data overlaps one virtual object data in the same area around the pet's face among the r virtual object data. It is characterized in that it includes virtual object data selected to be displayed.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 q개의 가상객체 데이터가 애완동물 안면 주변 영역에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 비디오 데이터 상의 애완동물 안면의 지향 방향을 인식하는 단계를 더 포함하며, 상기 제11 단계는, 상기 애완동물 안면의 지향 방향에 대응하는 애완동물 안면 주변 영역에 상기 지정된 가상객체 데이터를 중첩 표시하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, when the q pieces of virtual object data include virtual object data designated to be displayed overlapping in the area around the pet's face, the pet on the video data It further includes the step of recognizing the orientation direction of the animal's face, wherein the eleventh step includes the step of overlapping and displaying the designated virtual object data in the area around the pet's face corresponding to the orientation direction of the pet's face. It is characterized by

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 애완동물 안면 영역 내의 지정 부위는, 애완동물의 머리카락 부위, 애완동물의 이마 부위, 애완동물의 관자놀이 부위, 애완동물의 양 눈썹 부위, 애완동물의 양 안과 양 눈썹 사이 부위, 애완동물의 양 안 부위, 애완동물의 양 안 사이 부위, 애완동물의 양 안 바깥쪽 부위, 애완동물의 양 안 아래쪽 부위, 애완동물의 양 광대 부위, 애완동물의 양 볼 부위, 애완동물의 콧등 부위, 애완동물의 코 부위, 애완동물의 인중 부위, 애완동물의 입 부위, 애완동물의 입술 부위, 애완동물의 입 바깥쪽 부위, 애완동물의 입 아래쪽 부위, 애완동물의 턱 부위, 애완동물의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the emotional state of the pet according to the present invention, the designated area within the facial area of the pet includes the pet's hair area, the pet's forehead area, the pet's temple area, and the pet's facial area. The area between both eyebrows of a pet, the area between the inside of both eyes of a pet, the area between both insides of a pet, the area inside and outside of both sides of a pet, the area below the inside of both sides of a pet, the area below both eyes of a pet Cheek area of both cheeks, pet's bridge of nose, pet's nose area, pet's philtrum area, pet's mouth area, pet's lip area, pet's outer mouth area, pet It is characterized by comprising at least one or a combination of two or more of the lower mouth area of an animal, the jaw area of a pet, and the neck area of a pet.

본 발명에 따른 애완동물의 감정 상태 증강을 이용한 애완동물와 대화 제공 방법에 있어서, 상기 q개의 가상객체 데이터가 애완동물 안면 영역 내의 지정 부위에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 비디오 데이터 상의 애완동물 안면의 지향 방향과 카메라 촬영 방향 간 3차원 좌표계 상의 각도 정보를 산출하는 단계를 더 포함하며, 상기 제11 단계는, 상기 각도 정보를 근거로 상기 지정된 가상객체 데이터의 중첩 표시 방향이 상기 애완동물 안면 영역 내의 지정 부위 별 방향에 대응하도록 좌표 변환하여 중첩 표시하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method of providing a conversation with a pet using augmentation of the pet's emotional state according to the present invention, when the q pieces of virtual object data include virtual object data designated to be displayed overlapping a designated portion within the pet's facial area, the video data It further includes calculating angle information on a three-dimensional coordinate system between the orientation direction of the pet's face and the camera shooting direction, wherein the eleventh step is to determine the overlapping display direction of the specified virtual object data based on the angle information. It is characterized by including the step of converting coordinates to correspond to the direction of each designated area within the pet's facial area and overlapping display.

본 발명에 따르면, 지정된 거점에 구비된 카메라장치를 통해 상기 거점 내의 특정 애완동물을 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말의 앱이나 IPTV로 제공하는 중에 상기 사용자 무선단말의 앱이나 IPTV를 통해 사용자가 애완동물에게 대화한 음성이나 문자에 대응하는 대화 문자열이 인식된 경우 상기 대화 문자열에 대한 사용자 대화 의도를 판별하고 상기 비디오 데이터를 포함하는 하나 이상의 데이터를 근거로 상기 특정 애완동물에 대한 지정된 각 감정 항목 별 애완동물 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말의 앱이나 IPTV로 제공될 지정된 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 증강하여 제공함으로써 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리함으로써, 무선단말의 앱이나 IPTV를 통해 상기 송신 데이터를 시청하는 사용자는 상기 송신 데이터의 비디오 데이터에 대응하는 애완동물의 영상 화면을 보고 상기 송신 데이터의 오디오 데이터에 대응하는 애완동물의 소리를 듣는 것 이외에 상기 송신 데이터를 시청하면서 상기 애완동물과 상호 작용하거나 대화할 수 있는 이점이 있다.According to the present invention, while providing transmission data including video data captured of a specific pet within the designated base through a camera device provided at the designated base to the app or IPTV of the designated user's wireless terminal, the app or IPTV of the user's wireless terminal When a conversation string corresponding to a voice or text message spoken by a user to a pet is recognized through IPTV, the user's conversation intention for the conversation string is determined and the specific pet is identified based on one or more data including the video data. After generating pet emotional state information for each designated emotional item, virtual object data matching the determined user conversation intention is confirmed based on this, and the pet in the designated video data to be provided through the app or IPTV of the user's wireless terminal By augmenting and providing a designated area within the facial area or the area around the pet's face, the transmitted data is processed to respond to the determined user conversation intent based on the pet's emotional state from the pet's perspective, and the transmitted data is transmitted through an app on a wireless terminal or IPTV. The viewing user interacts with the pet while watching the transmission data in addition to viewing the video screen of the pet corresponding to the video data of the transmission data and listening to the sound of the pet corresponding to the audio data of the transmission data. There is an advantage in being able to talk or talk.

도 1은 본 발명의 실시 방법에 따라 애완동물의 감정 상태를 증강하여 애완동물과 대화하는 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 정보 저장/등록 과정을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 지정된 거점의 카메라장치(195)를 통해 획득한 획득 데이터를 전송하여 지정된 저장매체에 저장 관리하는 도시한 도면이다.
도 4는 본 발명의 실시 방법에 따라 비디오 데이터를 포함하는 송신 데이터를 사용자에게 제공하는 중에 사용자가 애완동물에게 대화한 사용자 대화 의도를 판별하는 과정을 도시한 도면이다.
도 5는 본 발명의 제1 실시 방법에 따라 애완동물 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.
도 6은 본 발명의 제2 실시 방법에 따라 애완동물 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.
도 7은 본 발명의 제3 실시 방법에 따라 애완동물 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.Figure 1 is a diagram illustrating the configuration of a system for communicating with a pet by augmenting the emotional state of the pet according to the implementation method of the present invention.
Figure 2 is a diagram illustrating the information storage/registration process according to the implementation method of the present invention.
Figure 3 is a diagram illustrating the transmission of acquisition data obtained through the camera device 195 at a designated base according to the implementation method of the present invention and storing and managing it in a designated storage medium.
FIG. 4 is a diagram illustrating a process of determining the user's conversation intention toward a pet while providing transmission data including video data to the user according to an implementation method of the present invention.
Figure 5 is a diagram illustrating a process of responding to a user's conversation intention based on the pet's emotional state according to the first implementation method of the present invention.
Figure 6 is a diagram illustrating a process of responding to a user's conversation intention based on the pet's emotional state according to the second implementation method of the present invention.
Figure 7 is a diagram illustrating a process of responding to a user's conversation intention based on the pet's emotional state according to the third implementation method of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다.Hereinafter, the operating principle of a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. However, the drawings shown below and the description below are for preferred implementation methods among various methods for effectively explaining the characteristics of the present invention, and the present invention is not limited to the drawings and description below.

즉, 하기의 실시예는 본 발명의 수 많은 실시예 중에 바람직한 합집합 형태의 실시예 예에 해당하며, 하기의 실시예에서 특정 구성(또는 단계)를 생략하는 실시예, 또는 특정 구성(또는 단계)에 구현된 기능을 특정 구성(또는 단계)로 분할하는 실시예, 또는 둘 이상의 구성(또는 단계)에 구현된 기능을 어느 하나의 구성(또는 단계)에 통합하는 실시예, 특정 구성(또는 단계)의 동작 순서를 교체하는 실시예 등은, 하기의 실시예에서 별도로 언급하지 않더라도 모두 본 발명의 권리범위에 속함을 명백하게 밝혀두는 바이다. 따라서 하기의 실시예를 기준으로 부분집합 또는 여집합에 해당하는 다양한 실시예들이 본 발명의 출원일을 소급받아 분할될 수 있음을 분명하게 명기하는 바이다.That is, the following examples correspond to examples of preferred union forms among the numerous embodiments of the present invention, and examples in which specific configurations (or steps) are omitted in the following examples, or specific configurations (or steps) are omitted. An embodiment of dividing the function implemented in a specific configuration (or step), or an embodiment of integrating the function implemented in two or more configurations (or steps) into one configuration (or step), a specific configuration (or step) It is clearly stated that embodiments that replace the operation sequence of all fall within the scope of the present invention even if not separately mentioned in the following embodiments. Therefore, based on the examples below, it is clearly stated that various embodiments corresponding to subsets or complements can be divided retroactively to the filing date of the present invention.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Additionally, in the following description of the present invention, if a detailed description of a related known function or configuration is judged to unnecessarily obscure the gist of the present invention, the detailed description will be omitted. The terms described below are defined in consideration of the functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the overall content of the present invention.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical idea of the present invention is determined by the claims, and the following examples are a means to efficiently explain the advanced technical idea of the present invention to those skilled in the art in the technical field to which the present invention pertains. It's just that.

도면1은 본 발명의 실시 방법에 따라 애완동물의 감정 상태를 증강하여 애완동물과 대화하는 시스템의 구성을 도시한 도면이다.Figure 1 is a diagram showing the configuration of a system for communicating with a pet by augmenting the emotional state of the pet according to the implementation method of the present invention.

보다 상세하게 본 도면1은 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 애완동물을 촬영한 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 사용자가 애완동물에게 대화한 음성이나 문자에 대응하는 대화 문자열이 인식된 경우 상기 대화 문자열에 대한 사용자 대화 의도를 판별하고 상기 비디오 데이터를 포함하는 하나 이상의 데이터를 근거로 상기 특정 애완동물에 대한 지정된 각 감정 항목 별 애완동물 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 증강하여 제공함으로써 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 시스템의 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 시스템의 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, Figure 1 shows transmission data including video data captured of a specific pet within the designated base through a camera device 195 provided at the designated base through an app or IPTV 190 of the designated user wireless terminal 185. If a dialogue string corresponding to a voice or text spoken by the user to a pet is recognized through the app of the user's wireless terminal 185 or IPTV 190, the user's conversation intention for the dialogue string is determined and Based on one or more data including the video data, pet emotional state information is generated for each emotion item specified for the specific pet, and then based on this, virtual object data matching the determined user conversation intention is confirmed. Based on the pet's emotional state from the pet's perspective, the specified area within the pet's face area or the area around the pet's face is augmented and provided on the designated video data to be provided through the app of the user wireless terminal 185 or the IPTV 190. This shows the configuration of a system that processes the device to respond to the determined user conversation intention, and those skilled in the art can understand the configuration of the system by referring to and/or modifying Figure 1. Although various implementation methods (e.g., implementation methods in which some components are omitted, subdivided, or combined) can be inferred, the present invention includes all the implementation methods inferred above, and the implementation shown in Figure 1 The technical features are not limited to the method alone.

본 발명의 시스템은, 지정된 거점에 구비되어 피사체를 찰영하고 통신망에 접속 가능한 카메라장치(195)와, 상기 카메라장치(195)의 카메라모듈을 통해 상기 거점 내의 특정 애완동물을 촬영하여 획득된 영상 신호를 지정된 방식으로 엔코딩한 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하는 기능, 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 기능, 상기 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 사용자가 애완동물에게 대화한 음성이나 문자에 대응하는 대화 문자열을 인식하는 기능, 상기 인식된 대화 문자열에 대한 사용자 대화 의도를 판별하는 기능, 상기 카메라장치(195)를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 애완동물에 대한 지정된 각 감정 항목 별 애완동물 감정 상태 정보를 생성하는 기능, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 상기 생성된 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 사용자 대화 의도에 응답하는 가상객체 데이터를 중첩 표시하여 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 기능 중 하나 이상의 기능을 수행하는 운영서버(100)를 포함하여 이루어진다. 상기 운영서버(100)는 독립된 서버 형태, 둘 이상의 서버 조합 형태, 기 구비된 서버를 통해 실행되는 소프트웨어 형태 중 적어도 하나 또는 둘 이상의 조합 형태로 구현될 수 있으며, 상기 운영서버(100)를 구현하는 실시예나 상기 운영서버(100)의 명칭에 의해 본 발명이 한정되지 아니한다.The system of the present invention includes a camera device 195 provided at a designated location to film a subject and connect to a communication network, and an image signal obtained by photographing a specific pet within the location through the camera module of the camera device 195. A function of receiving acquired data containing video data encoded in a designated manner and storing it in a specific storage area of a designated storage medium, transmitting data containing video data stored in a specific storage area of the storage medium to a designated user wireless terminal ( 185) app or IPTV 190, while providing the transmission data to the designated user wireless terminal 185 app or IPTV 190, the user wireless terminal 185 app or IPTV 190 A function to recognize a dialogue string corresponding to a voice or text spoken by a user to a pet, a function to determine the user's conversation intention for the recognized dialogue string, and one or more data acquired through the camera device 195. Based on this, a function to generate pet emotional state information for each designated emotional item for the specific pet, within the pet facial area on the designated video data to be provided to the app of the user wireless terminal 185 or IPTV 190. Among the functions of augmenting the response to the determined user conversation intention by overlapping display of virtual object data responding to the user conversation intention based on the pet emotional state information for each emotion item generated above in the designated area or the area around the pet's face. It includes an operation server 100 that performs one or more functions. The operating server 100 may be implemented in the form of at least one or a combination of two or more of the following: an independent server, a combination of two or more servers, and software running through a pre-equipped server. The present invention is not limited by the examples or the name of the operation server 100.

상기 카메라장치(195)는 지정된 거점에 구비되어 피사체를 촬영하는 카메라를 구비한 단말이나 장치의 총칭으로서, 바람직하게 동물병원이나 펫카페 또는 가정집 등의 애완동물이 기거하는 공간에 구비되어 상기 공간에 존재하는 특정 애완동물을 촬영하는 카메라를 구비한 단말이나 장치를 포함할 수 있다. The camera device 195 is a general term for a terminal or device equipped at a designated location and equipped with a camera to photograph a subject. It is preferably installed in a space where pets live, such as a veterinary hospital, a pet cafe, or a home, and is provided in the space. It may include a terminal or device equipped with a camera for filming a specific existing pet.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 거점 내의 지정된 피사체를 촬영하는 카메라모듈과, 지정된 통신망에 연결하는 통신모듈 및 상기 카메라모듈을 통해 획득된 영상 신호를 지정된 방식으로 엔코딩한 비디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행하는 제어모듈을 구비한다. According to the implementation method of the present invention, the camera device 195 includes a camera module for photographing a designated subject within the base, a communication module for connecting to a designated communication network, and a video encoding the image signal acquired through the camera module in a designated manner. It is provided with a control module that performs a procedure to generate acquired data including data and transmit it to the designated operation server 100 through the communication module.

상기 카메라모듈은 피사체로부터 반사된 광신호를 입력받는 하나 이상의 렌즈부와, 상기 렌즈부를 통해 입력되는 광신호를 검지하여 전기적 영상 신호로 변환하는 이미지 센서부 및 상기 렌즈부와 이미지 센서부 사이에서 자동초점 기능이나 줌 기능 등을 포함하는 지정된 기능 동작을 구현하는 액츄에이터부(Actuator)를 포함하여 이루어진다. 한편 실시 방법에 따라 상기 카메라모듈은상기 렌즈부와 이미지 센서부 사이에는 야간에도 피사체를 촬영하기 위한 적외선 필터를 포함하는 이상의 필터부를 더 구비할 수 있다. 한편 상기 카메라모듈은 상기 이미지 센서부를 통해 생성된 영상 신호를 제어모듈로 제공하기 위한 PCB를 구비한다. 한편 실시 방법에 따라 상기 카메라모듈은 상기 이미지 센서부를 통해 생성된 영상 신호의 품질 향상을 위해 지정된 절차에 따라 상기 영상 신호를 가공하는 이미지 신호처리 프로세서(Image Signal Processor; ISP)를 더 구비할 수 있다.The camera module includes one or more lens units that receive optical signals reflected from a subject, an image sensor unit that detects optical signals input through the lens unit and converts them into electrical image signals, and an automatic connection between the lens unit and the image sensor unit. It includes an actuator that implements designated functional operations, including focus functions and zoom functions. Meanwhile, depending on the implementation method, the camera module may further include a filter unit between the lens unit and the image sensor unit including an infrared filter for photographing a subject even at night. Meanwhile, the camera module is equipped with a PCB for providing the image signal generated through the image sensor unit to the control module. Meanwhile, depending on the implementation method, the camera module may further be equipped with an image signal processor (ISP) that processes the image signal according to a specified procedure to improve the quality of the image signal generated through the image sensor unit. .

상기 통신모듈은 패킷 기반의 통신망에 연결하는 모듈의 총칭으로서, 바람직하게 UTP 케이블 등의 유선을 이용하여 통신망에 연결하는 통신모듈과 무선랜을 통해 통신망에 연결하는 통신모듈 중 적어도 하나 또는 둘을 모두 포함할 수 있다. 한편 실시 방법에 따라 상기 통신모듈은 무선랜 이외에 이동통신망이나 별도의 지정된 무선 통신을 통해 통신망에 연결하는 통신모듈을 더(또는 대체) 포함할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. The communication module is a general term for modules that connect to a packet-based communication network, and preferably includes at least one or both of a communication module that connects to a communication network using a wire such as a UTP cable and a communication module that connects to a communication network through a wireless LAN. It can be included. Meanwhile, depending on the implementation method, the communication module may further (or replace) include a communication module that connects to the communication network through a mobile communication network or a separately designated wireless communication in addition to the wireless LAN, but the present invention is not limited thereto.

상기 제어모듈은 상기 카메라모듈을 통해 생성된 영상 신호를 지정된 방식으로 엔코딩하여 비디오 데이터를 생성할 수 있다. 한편 실시 방법에 따라 상기 비디오 데이터는 상기 카메라모듈을 통해 생성되어 상기 제어모듈로 전달될 수 있다. 한편 상기 비디오 데이터는 상기 영상 신호를 촬영한 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. The control module may generate video data by encoding the video signal generated through the camera module in a designated manner. Meanwhile, depending on the implementation method, the video data may be generated through the camera module and transmitted to the control module. Meanwhile, the video data may further include a time value (or timestamp) at the time the video signal was captured.

상기 제어모듈은 상기 비디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 한편 실시 방법에 따라 상기 획득 데이터는 상기 비디오 데이터 이외에 오디오 데이터를 더 포함하거나 및/또는 지정된 센서모듈을 통해 센싱된 센싱 데이터를 더 포함할 수 있다. The control module may perform a procedure of generating acquisition data including the video data and transmitting it to the designated operation server 100 through the communication module. Meanwhile, depending on the implementation method, the acquired data may further include audio data in addition to the video data and/or may further include sensing data sensed through a designated sensor module.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 거점 내의 사운드 신호를 입력받는 사운드 입력부를 더 구비하며, 이 경우 상기 제어모듈은 상기 사운드 입력부를 통해 획득된 사운드 신호를 지정된 방식으로 엔코딩한 오디오 데이터를 더 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다.According to the method of implementing the present invention, the camera device 195 further includes a sound input unit that receives a sound signal within the base, and in this case, the control module encodes the sound signal obtained through the sound input unit in a designated manner. A procedure can be performed to generate acquired data further including audio data and transmit it to the designated operation server 100 through the communication module.

상기 사운드 입력부는 공기의 진동을 전기적 신호 형태의 사운드 신호로 변환하는 마이크로폰 및 이를 제어모듈과 인터페이스하는 인터페이스부를 포함하여 구성되며, 상기 제어모듈은 상기 사운드 입력부를 통해 획득된 사운드 신호를 지정된 지정된 방식으로 엔코딩하여 오디오 데이터를 생성할 수 있다. 한편 실시 방법에 따라 상기 사운드 입력부가 별도의 모듈 형태로 구현되는 겨우, 상기 오디오 데이터는 상기 사운드 입력부를 통해 카메라모듈을 통해 생성되어 상기 제어모듈로 전달될 수 있다. 한편 상기 오디오 데이터는 상기 사운드 신호를 입력받은 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. The sound input unit includes a microphone that converts air vibration into a sound signal in the form of an electrical signal, and an interface unit that interfaces the same with a control module, and the control module converts the sound signal obtained through the sound input unit into a sound signal in a designated manner. Audio data can be generated by encoding. Meanwhile, when the sound input unit is implemented in the form of a separate module according to the implementation method, the audio data can be generated through the camera module and transmitted to the control module through the sound input unit. Meanwhile, the audio data may further include a time value (or timestamp) at the time the sound signal is input.

상기 카메라장치(195)에 상기 사운드 입력부를 구비하여 상기 사운드 입력부를 통해 획득된 사운드 신호를 엔코딩한 오디오 데이터가 생성되는 경우, 상기 제어모듈은 상기 비디오 데이터와 오디오 데이터를 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. When the camera device 195 is provided with the sound input unit and audio data encoded by the sound signal acquired through the sound input unit is generated, the control module generates acquired data including the video data and audio data. The transmission procedure to the designated operation server 100 can be performed through the communication module.

본 발명의 일 실시 방법에 따르면, 상기 획득 데이터는 상기 비디오 데이터와 오디오 데이터를 지정된 데이터 포맷에 포함하는 동영상 데이터(또는 멀티미디어 데이터) 형태로 생성될 수 있다.According to one implementation method of the present invention, the acquired data may be generated in the form of video data (or multimedia data) including the video data and audio data in a designated data format.

본 발명의 다른 일 실시 방법에 따르면, 상기 획득 데이터는 상기 비디오 데이터와 오디오 데이터를 지정된 각각의 데이터 포맷에 포함하되, 상기 비디오 데이터와 오디오 데이터에 포함된 시간 값(또는 타임스탬프)를 통해 시점을 동기화 가능한 각각의 데이터 형태로 생성될 수 있다.According to another implementation method of the present invention, the acquired data includes the video data and audio data in each designated data format, and the viewpoint is determined through a time value (or timestamp) included in the video data and audio data. It can be created in each data format that can be synchronized.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 지정된 사운드 신호를 지정된 신호 강도로 출력하는 사운드 출력부를 더 구비할 수 있으며, 이 경우 상기 제어모듈은 지정된 절차에 따라 상기 사운드 출력부를 통해 출력할 사운드 신호에 대응하는 오디오 데이터를 생성하거나 및/또는 지정된 저장영역으로부터 추출하거나 및/또는 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 사운드 출력부를 통해 출력할 사운드 신호에 대응하는 오디오 데이터를 수신하고, 상기 생성/추출/수신된 오디오 데이터에 대응하는 사운드 신호를 상기 사운드 출력부를 통해 출력하도록 처리하는 절차를 수행할 수 있다.According to the implementation method of the present invention, the camera device 195 may further be provided with a sound output unit that outputs a designated sound signal at a designated signal strength, and in this case, the control module outputs the sound through the sound output unit according to a designated procedure. Generate audio data corresponding to the sound signal to be output and/or extract it from a designated storage area and/or extract audio data corresponding to the sound signal to be output through the sound output unit from the operation server 100 designated through the communication module. A procedure may be performed to receive and process a sound signal corresponding to the generated/extracted/received audio data to be output through the sound output unit.

상기 사운드 출력부는 오디오 데이터를 디코딩한 전기적 신호 형태의 사운드 신호를 출력하는 스피커 및 이를 제어모듈과 인터페이스하는 인터페이스부를 포함하여 구성되며, 상기 제어모듈은 상기 사운드 출력부를 통해 출력할 오디오 데이터를 생성하거나 및/또는 지정된 저장영역으로부터 추출하거나 및/또는 상기 통신모듈을 통해 지정된 운영서버(100)로부터 수신하고, 상기 사운드 출력부를 통해 상기 오디오 데이터에 대응하는 사운드 신호를 지정된 신호 강도(예컨대, 카메라장치(195)의 스피커를 통해 출력된 사운드 신호가 지정된 거리 내외로 이격된 애완동물에게 지정된 소리 크기로 전달되도록 설정된 신호 강도)로 출력할 수 있다. The sound output unit includes a speaker that outputs a sound signal in the form of an electrical signal decoded from audio data, and an interface unit that interfaces the speaker with a control module. The control module generates audio data to be output through the sound output unit, and /or extract from a designated storage area and/or receive from the designated operation server 100 through the communication module, and output a sound signal corresponding to the audio data through the sound output unit with a designated signal strength (e.g., camera device 195 The sound signal output through the speaker can be output at a signal strength set to be transmitted at a specified sound volume to pets spaced within or outside a specified distance.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 지정된 센서를 통해 애완동물의 지정된 센싱 대상을 센싱하는 센서모듈을 구비하거나 연계될 수 있으며, 상기 제어모듈은 상기 센서모듈을 통해 센싱하여 획득된 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 더 포함하는 획득 데이터를 생성하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 바람직하게, 상기 센서모듈을 통해 센싱하는 애완동물의 지정된 센싱 대상은 애완동물의 심장박동, 애완동물의 체온, 애완동물 주변 습도, 애완동물의 무호흡 여부 중 적어도 하나를 포함할 수 있다.According to the implementation method of the present invention, the camera device 195 may be provided with or linked to a sensor module that senses a designated sensing target of the pet through a designated sensor, and the control module obtains the sensor by sensing through the sensor module. A procedure can be performed to generate acquired data further including sensing data encoded in a designated manner and transmit it to the designated operation server 100 through the communication module. Preferably, the designated sensing object of the pet sensed through the sensor module may include at least one of the pet's heartbeat, the pet's body temperature, the humidity around the pet, and whether the pet is apnea.

상기 센서모듈은 애완동물의 신체 중 지정된 부위에 착용하여 애완동물의 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈을 포함할 수 있으며, 이 경우 상기 제어모듈은 지정된 근거리 통신(예컨대, 블루투스 등)을 통해 상기 웨어러블 센서모듈과 연계하여 상기 센서모듈을 통해 센싱된 센싱 값에 대응하는 센싱 신호를 수신하거나 또는 상기 센서모듈을 통해 상기 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 수신할 수 있다. The sensor module may include a wearable sensor module that is worn on a designated part of the pet's body and senses a designated sensing target of the pet. In this case, the control module uses designated short-range communication (e.g., Bluetooth, etc.). In connection with the wearable sensor module, a sensing signal corresponding to a sensing value sensed through the sensor module may be received, or sensing data encoded by the sensing signal in a designated manner may be received through the sensor module.

한편 상기 센서모듈은 지정된 전자파를 이용하여 애완동물의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈을 포함할 수 있으며, 이 경우 상기 제어모듈은 상기 레이더 센서모듈을 통해 싱된 센싱 값에 대응하는 센싱 신호를 확인하고 지정된 방식으로 엔코딩하여 센싱 데이터를 생성할 수 있다. 한편 상기 레이더 센서모듈은 상기 센싱 신호를 지정된 방식으로 엔코딩한 센싱 데이터를 생성하여 상기 제어모듈로 제공할 수 있으며, 이 경우 상기 제어모듈은 상기 레이더 센서모듈로부터 상기 센싱 데이터를 제공받을 수 있다. Meanwhile, the sensor module may include a radar sensor module that senses a designated sensing target of a pet using designated electromagnetic waves. In this case, the control module performs sensing corresponding to the sensing value received through the radar sensor module. Sensing data can be generated by checking the signal and encoding it in a specified way. Meanwhile, the radar sensor module can generate sensing data encoded by the sensing signal in a designated manner and provide it to the control module. In this case, the control module can receive the sensing data from the radar sensor module.

본 발명의 실시 방법에 따르면, 상기 센싱 데이터는 상기 센서모듈을 통해 지정된 센싱 대상을 센싱한 센싱 값을 포함하며, 바람직하게 상기 센서모듈을 통해 상기 센싱 값을 센싱한 시점의 시간 값(또는 타임스탬프)를 더 포함할 수 있다. According to the implementation method of the present invention, the sensing data includes a sensing value obtained by sensing a designated sensing target through the sensor module, and preferably includes a time value (or timestamp) at the time of sensing the sensing value through the sensor module. ) may further be included.

상기 카메라장치(195)에 상기 센서모듈을 구비하거나 연계시켜 애완동물의 지정된 센싱 대상을 센싱한 센싱 데이터가 생성되는 경우, 상기 제어모듈은 상기 획득 데이터에 상기 센싱 데이터를 추가하여 상기 통신모듈을 통해 지정된 운영서버(100)로 전송하는 절차를 수행할 수 있다. 바람직하게, 상기 센싱 데이터는 지정된 데이터 포맷에 포함된 형태로 상기 획득 데이터에 포함될 수 있으며, 상기 비디오 데이터와 센싱 데이터에 포함된 시간 값(또는 타임스탬프)를 통해 시점을 동기화 가능한 데이터 형태로 생성될 수 있다.When the camera device 195 is equipped with or linked to the sensor module to generate sensing data that senses a designated sensing target of a pet, the control module adds the sensing data to the acquired data and transmits the information to the camera device 195 through the communication module. The transmission procedure to the designated operation server 100 can be performed. Preferably, the sensing data may be included in the acquired data in a form included in a designated data format, and may be generated in a form of data whose viewpoint can be synchronized through a time value (or timestamp) included in the video data and the sensing data. You can.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 상기 카메라모듈의 촬영 방향을 상/하/좌/우 방향으로 지정된 각도 범위 내로 구동하는 구동모듈을 더 구비하며, 상기 제어모듈은 상기 카메라모듈을 통해 촬영되는 비디오 데이터를 판독하여 애완동물(또는 애완동물의 안면)에 대응하거나 애완동물이 누워 있는 패드에 대응하는 객체를 인식하는 과정을 시도할 수 있다. 만약 상기 객체가 인식되지 않는 경우, 상기 제어모듈은 상기 구동모듈을 통해 상기 카메라모듈의 촬영 방향을 지정된 방향으로 지정된 각도 범위만큼 이격하면서 상기 객체가 인식하는 과정을 전 각도 범위에 도달할 때까지 반복할 수 있다. 만약 상기의 인식 과정을 통해 상기 객체가 인식되면, 상기 카메라장치(195)는 상기 인식된 애완동물의 안면 영역을 상기 비디오 데이터 상의 지정된 영역 내에 존재하도록 촬영방향을 제어하고, 상기 애완동물의 안면 영역의 움직임이나 이동에 반응하여 상기 애완동물의 안면 영역을 추적하여 상기 비디오 데이터 상의 지정된 영역 내에 존재하도록 상기 카메라모듈의 촬영방향을 제어할 수 있다. 한편 상기 구동모듈을 통해 상기 카메라모듈의 촬영 방향을 제어하거나 상기 객체를 인식하는 과정은 상기 서버를 통해 실행될 수 있으며, 이에 의해 본 발명이 한정되지 아니한다.According to the implementation method of the present invention, the camera device 195 further includes a driving module that drives the shooting direction of the camera module in the up/down/left/right directions within a specified angle range, and the control module controls the camera. By reading video data captured through the module, you can attempt to recognize an object that corresponds to a pet (or the pet's face) or the pad on which the pet is lying. If the object is not recognized, the control module moves the shooting direction of the camera module through the drive module by a specified angle range in a specified direction and repeats the process of recognizing the object until the entire angle range is reached. can do. If the object is recognized through the above recognition process, the camera device 195 controls the shooting direction so that the recognized facial area of the pet is within a designated area on the video data, and the facial area of the pet It is possible to track the pet's facial area in response to its movement or movement and control the shooting direction of the camera module so that it exists within a designated area on the video data. Meanwhile, the process of controlling the shooting direction of the camera module or recognizing the object through the drive module may be performed through the server, but the present invention is not limited thereto.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)는 램프를 통해 지정된 형상이나 영상을 천정이나 벽면에 투영하는 프로젝터부를 더 구비할 수 있으며, 이 경우 상기 제어모듈은 지정된 절차에 따라 상기 프로젝터부의 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 프로젝터부의 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 프로젝터부의 램프를 온/오프 처리할 수 있다. 한편 상기 프로젝터부를 통해 복수의 필름 중 어느 한 필름으로 선택하여 투영할 형상이나 영상을 선택 가능한 경우, 상기 제어모듈은 지정된 절차에 따라 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 프로젝터부의 필름을 선택하거나 및/또는 램프를 온/오프 처리할 수 있다. 한편 상기 프로젝터부를 통해 전자적 형상이나 전자적 영상을 투영 가능한 경우, 상기 제어모듈은 지정된 절차에 따라 지정된 저장영역에 저장된 전자적 형상이나 전자적 영상을 추출하여 상기 프로젝터부를 통해 투영할 형상이나 영상으로 처리하거나 및/또는 램프를 온/오프 처리할 수 있으며, 또는 상기 제어모듈은 상기 통신모듈을 통해 지정된 운영서버(100)로부터 저장된 전자적 형상이나 전자적 영상을 및/또는 램프를 온/오프 처리하기 위한 제어정보를 수신할 수 있으며, 상기 제어정보를 근거로 상기 수신된 전자적 형상이나 전자적 영상을 상기 프로젝터부를 통해 투영할 형상이나 영상으로 처리하거나 및/또는 램프를 온/오프 처리할 수 있다. According to the implementation method of the present invention, the camera device 195 may further include a projector unit that projects a designated shape or image onto the ceiling or wall through a lamp, and in this case, the control module operates the projector unit according to a designated procedure. The lamp can be turned on/off, or the control module can receive control information for turning on/off the lamp of the projector unit from the designated operation server 100 through the communication module, and the control module can receive the control information. Based on this, the lamp of the projector unit can be turned on/off. Meanwhile, when it is possible to select a shape or image to be projected by selecting one of a plurality of films through the projector unit, the control module selects the film of the projector unit and/or turns on/off the lamp according to a designated procedure. Alternatively, the control module may receive control information for selecting the film of the projector unit and/or turning on/off the lamp from the designated operation server 100 through the communication module, and may receive the control information. Based on this, the film of the projector unit can be selected and/or the lamp can be turned on/off. Meanwhile, when an electronic shape or electronic image can be projected through the projector unit, the control module extracts the electronic shape or electronic image stored in a designated storage area according to a designated procedure and processes it into a shape or image to be projected through the projector unit, and/ Alternatively, the lamp can be turned on/off, or the control module receives the stored electronic shape or electronic image from the designated operation server 100 through the communication module and/or control information for turning the lamp on/off. Based on the control information, the received electronic shape or electronic image can be processed into a shape or image to be projected through the projector unit, and/or the lamp can be turned on/off.

상기 사용자 무선단말(185)은 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 사용자가 사용하는 무선통신기기의 총칭으로서, 사용자가 사용하는 휴대폰, 스마트폰, 태블릿PC 등의 각종 무선통신기기를 포함할 수 있다. The user wireless terminal 185 is a general term for wireless communication devices used by the user who will receive transmission data including video data captured through the camera device 195, such as a mobile phone, smartphone, or tablet PC used by the user. It may include various wireless communication devices such as.

본 발명의 실시 방법에 따르면, 상기 사용자 무선단말(185)은 운영서버(100)에 지정된 정보를 등록하고, 상기 운영서버(100)로부터 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받기 위해 앱(Application)이 설치 실행된다. 이하, 별도의 언급이 없더라도 상기 사용자 무선단말(185)을 주체 또는 객체로 하여 구현되는 기능의 설명은 상기 앱을 통해 구현되는 기능임을 밝혀두는 바이다.According to the implementation method of the present invention, the user wireless terminal 185 registers specified information in the operation server 100 and includes video data captured through the camera device 195 from the operation server 100. An application is installed and executed to receive transmission data. Hereinafter, unless otherwise stated, the description of the function implemented using the user wireless terminal 185 as the subject or object will be made clear that it is a function implemented through the app.

상기 운영서버(100)는 지정된 거점에 구비된 카메라장치(195)와 통신하고 지정된 앱을 설치 실행한 사용자 무선단말(185)의 앱과 통신 가능한 서버의 총칭으로서, 상기 카메라장치(195)의 카메라모듈을 통해 상기 거점 내의 특정 애완동물을 촬영하여 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하여 지정된 저장매체의 특정 저장영역에 저장하는 기능, 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 기능 중 적어도 하나의 기능을 수행하며, 본 발명에 따라 상기 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 사용자가 애완동물에게 대화한 음성이나 문자에 대응하는 대화 문자열을 인식하는 기능, 상기 인식된 대화 문자열에 대한 사용자 대화 의도를 판별하는 기능, 상기 카메라장치(195)를 통해 획득된 하나 이상의 데이터를 근거로 상기 특정 애완동물에 대한 지정된 각 감정 항목 별 애완동물 감정 상태 정보를 생성하는 기능, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 상기 생성된 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 사용자 대화 의도에 응답하는 가상객체 데이터를 중첩 표시하여 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 기능 중 적어도 하나의 기능을 수행한다.The operation server 100 is a general term for a server that communicates with the camera device 195 provided at a designated base and can communicate with the app of the user wireless terminal 185 that installs and executes the designated app, and is the camera of the camera device 195. A function to receive acquisition data including video data encoded in a designated manner by filming a specific pet in the base through a module and store it in a specific storage area of a designated storage medium, video data stored in a specific storage area of the storage medium performs at least one of the functions of providing transmission data including the app of the designated user wireless terminal 185 or the IPTV 190, and provides the transmission data to the app of the designated user wireless terminal 185 according to the present invention. A function to recognize a dialogue string corresponding to a voice or text spoken by the user to a pet through an app of the user's wireless terminal 185 or IPTV 190 while being provided through IPTV 190, the recognized dialogue string A function to determine the user's conversation intention, a function to generate pet emotional state information for each emotion item specified for the specific pet based on one or more data acquired through the camera device 195, and the user wireless The user's conversation intention based on the pet emotional state information for each emotion item generated in the designated area within the pet face area or the area around the pet face on the designated video data to be provided through the app of the terminal 185 or the IPTV 190. At least one of the functions of augmenting the response to the determined user conversation intention is performed by overlapping and displaying virtual object data that responds to the above.

본 발명의 실시 방법에 따르면, 상기 송신 데이터는 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터 외에, 상기 비디오 데이터와 연계되어 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터, 또는 상기 비디오 데이터를 포함하는 동영상 데이터의 오디오 데이터를 더 포함할 수 있다.According to an implementation method of the present invention, the transmission data includes, in addition to video data stored in a specific storage area of the storage medium, audio data stored in a specific storage area of the storage medium in connection with the video data, or the video data. Audio data of the video data may be further included.

도면1을 참조하면, 상기 운영서버(100)는, 애완동물의 감정 상태를 판별하기 위해 인식하도록 지정된 인식 대상의 패턴 정보와 각 애완동물 감정 항목 사이의 매칭 관계정보 및 상기 지정된 인식 대상의 패턴 정보와 각 애완동물 감정 항목 간 상관도를 수치화한 상관도 수치 관계정보를 포함하는 지정된 인식 대상 별 감정상태 판별 정보를 지정된 운영D/B에 등록 저장하여 관리하는 정보 관리부(105)를 포함한다. Referring to Figure 1, the operation server 100 provides pattern information of a recognition target designated to be recognized to determine the emotional state of a pet, matching relationship information between each pet emotion item, and pattern information of the designated recognition target. It includes an information management unit 105 that registers, stores, and manages emotional state determination information for each designated recognition target, including numerical relationship information, which quantifies the correlation between each pet emotion item, in a designated operation DB.

상기 정보 관리부(105)는 애완동물의 안면 영역에 존재하는 F(F≥2)개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E(E≥2)개의 애완동물 표정 패턴 정보와 지정된 N(N≥2)개의 애완동물 감정 항목 중 애완동물 표정 패턴을 근거로 구별 가능한 N1(1≤N1≤N)개의 애완동물 감정 항목 사이의 매칭 관계정보를 포함하고 상기 E개의 애완동물 표정 패턴 정보와 N1개의 애완동물 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장한다. The information management unit 105 provides E (E≥2) pet expression pattern information corresponding to the geometric relationship between feature points associated with the emotional expression of the pet among the F (F≥2) feature points present in the facial area of the pet. Contains matching relationship information between N1 (1≤N1≤N) pet emotion items that can be distinguished based on pet expression patterns among the specified N (N≥2) pet emotion items, and the E pet expressions Expression-based emotional state determination information, which includes facial expression-based correlation and numerical relationship information that quantifies the correlation between pattern information and N1 pet emotion items, is registered and stored in the designated operation D/B.

본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 애완동물의 안면 영역에 존재하는 F개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E개의 애완동물 표정 패턴 정보를 등록받고, 상기 E개의 애완동물 표정 패턴 정보를 지정된 N개의 애완동물 감정 항목 중 애완동물 표정 패턴을 근거로 구별 가능한 N1개의 애완동물 감정 항목과 매칭하는 매칭 관계정보를 등록받고, 상기 E개의 애완동물 표정 패턴 정보와 N1개의 애완동물 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 상기 E개의 애완동물 표정 패턴 정보와 N1개의 애완동물 감정 항목을 행 또는 열의 타이틀로 포함하며 상기 표정 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀(Cell)의 정보로 포함하는 테이블 형태의 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장할 수 있다. According to the implementation method of the present invention, the information management unit 105 receives E pet expressions corresponding to the geometric relationship between feature points associated with the emotional expression of the pet among the F feature points present in the facial area of the pet from the designated operating terminal. Pattern information is registered, and matching relationship information is registered for matching the E pet expression pattern information with N1 pet emotion items that can be distinguished based on the pet expression pattern among the N designated pet emotion items, and the E Expression-based correlation numerical relationship information, which quantifies the correlation between the pet facial expression pattern information and N1 pet emotion items, can be registered and stored in the designated operating D/B. For example, the information management unit 105 includes the E pet expression pattern information and N1 pet emotion items as titles of rows or columns, and stores the facial expression-based correlation numerical relationship information in cells corresponding to each row and column ( The facial expression-based emotional state determination information in the form of a table included as information in the cell can be registered and stored in the designated operation D/B.

본 발명의 실시 방법에 따르면, 상기 N개의 애완동물 감정 항목은 '기쁨(喜)', '노여움(怒)', '슬픔(哀)', '즐거움(樂)', '사랑(愛)', '미움(惡)', '욕심(欲)' 등의 기본 감정 중에서 무리 생활하거나 보호자와 함께 생활하는 중에 느낄 수 있는 하나 이상의 감정(예컨대, '기쁨', '노여움', '슬픔', '즐거움' 등)에 대응하는 감정 항목을 포함할 수 있으며, 상기 기본 감정 외에 애완동물이 느낄 수 있다고 상정되는 다양한 감정(예컨대, '짜증', '외로움', '답답함', '불쾌', '두려움' 등)에 대한 감정 항목을 더 포함하거나 및/또는 상기 기본 감정 중 적어도 하나를 애완동물의 상황에 맞게 구체화한 감정(예컨대, '욕심' 중 수면욕에 해당하는 '졸림'이나 식욕에 해당하는 '배고픔' 등)에 대응하는 감정 항목을 더 포함할 수 있다. According to the implementation method of the present invention, the N pet emotion items include 'joy', 'anger', 'sadness', 'joy', and 'love'. Among the basic emotions such as 'hatred' and 'greed', one or more emotions that can be felt while living in a group or with a guardian (e.g., 'joy', 'anger', 'sadness', ' may include emotion items corresponding to 'pleasure', etc.), and in addition to the basic emotions above, various emotions that pets are assumed to feel (e.g., 'annoyance', 'lonely', 'frustration', 'displeasure', 'fear') ', etc.) and/or an emotion that embodies at least one of the above basic emotions to suit the pet's situation (e.g., 'sleepiness' corresponding to the desire to sleep among 'greed', or '' corresponding to appetite) It may further include emotional items corresponding to 'hunger', etc.).

본 발명의 일 실시 방법에 따르면, 상기 E개의 애완동물 표정 패턴 정보는 애완동물의 감정표현과 연관된 각각의 애완동물 표정 패턴에 대응하는 각 특징점 간 기하학 관계 정보를 포함할 수 있다. 바람직하게, 상기 특징점 간 기하학 관계는 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함할 수 있다. 예를들어, 상기 특징점 간 기하학 관계 정보는 지정된 기준 특징점 간 거리 수치를 기준으로 하는 각 특징점 간 거리 수치, 각 특징점 간 각도 수치, 각 특징점 간 거리 수치와 각도 수치의 조합 중 하나 이상의 수치를 포함할 수 있다. According to one implementation method of the present invention, the E pet expression pattern information may include geometric relationship information between each feature point corresponding to each pet expression pattern associated with the pet's emotional expression. Preferably, the geometric relationship between the feature points may include one or more of a distance relationship between each feature point, an angle relationship between each feature point, and a combination relationship of a distance relationship and an angle relationship between each feature point. For example, the geometric relationship information between feature points may include one or more of a distance value between each feature point based on a specified distance value between reference feature points, an angle value between each feature point, and a combination of the distance value and angle value between each feature point. You can.

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 E개의 애완동물 표정 패턴 정보는 애완동물의 감정표현과 연관된 각각의 애완동물 표정 패턴에 대응하는 각 특징점 간 기하학 관계의 범위 정보를 포함할 수 있다. 바람직하게, 상기 특징점 간 기하학 관계는 각 특징점 간 거리 관계, 각 특징점 간 각도 관계, 각 특징점 간 거리 관계와 각도 관계의 조합 관계 중 하나 이상의 관계를 포함할 수 있다. 예를들어, 상기 특징점 간 기하학 관계의 범위 정보는 지정된 기준 특징점 간 거리 수치를 기준으로 하는 각 특징점 간 거리 수치 범위, 각 특징점 간 각도 수치 범위, 각 특징점 간 거리 수치 범위와 각도 수치 범위의 조합 중 하나 이상의 수치 범위를 포함할 수 있다. Meanwhile, according to another implementation method of the present invention, the E pet expression pattern information may include range information of the geometric relationship between each feature point corresponding to each pet expression pattern associated with the pet's emotional expression. Preferably, the geometric relationship between the feature points may include one or more of a distance relationship between each feature point, an angle relationship between each feature point, and a combination relationship of a distance relationship and an angle relationship between each feature point. For example, the range information of the geometric relationship between feature points may be a combination of the distance value range between each feature point based on the specified reference feature point distance value, the angle value range between each feature point, and the distance value range and angle value range between each feature point. May contain one or more numerical ranges.

본 발명의 일 실시 방법에 따르면, 상기 표정 기반 상관도 수치 관계정보는 애완동물의 표정을 인식한 애완동물 표정 인식 정보와 기 등록된 애완동물 표정 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 표정 기반 상관도 수치 관계정보는 애완동물 표정 인식 정보와 기 등록된 애완동물 표정 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to one implementation method of the present invention, the facial expression-based correlation numerical relationship information is calculated through a relational expression proportional to the matching ratio between pet facial expression recognition information that recognizes the pet's facial expression and pre-registered pet facial expression pattern information. Correlation may also include numerical information. For example, the facial expression-based correlation numerical relationship information may be calculated as smaller numerical information as the matching ratio between pet facial expression recognition information and pre-registered pet facial expression pattern information decreases, and as the matching ratio increases, numerical information becomes larger. It can be calculated as

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 표정 기반 상관도 수치 관계정보는 애완동물의 표정을 인식한 애완동물 표정 인식 정보와 기 등록된 애완동물 표정 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 표정 기반 상관도 수치 관계정보는 애완동물 표정 인식 정보와 기 등록된 애완동물 표정 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. Meanwhile, according to another implementation method of the present invention, the facial expression-based correlation numerical relationship information is the correlation for each matching ratio section between pet facial expression recognition information that recognizes the pet's facial expression and pre-registered pet facial expression pattern information. Numerical information may be included. For example, the facial expression-based correlation numerical relationship information may be calculated as '0' or numerical information of the specified minimum value when the matching ratio between pet facial expression recognition information and pre-registered pet facial expression pattern information is a preset minimum ratio range. And, if the matching ratio is a preset maximum ratio section, it can be calculated as numerical information of the specified maximum value.

한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 표정 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(155)를 통해 지정된 애완동물 표정 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 애완동물 표정 인식 정보가 인식된 후에 상기 카메라장치(195)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 애완동물의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 애완동물의 보호자가 애완동물에게 발화하는 음성 중 애완동물 감정 인지와 관련된 음성(예컨대, '우리 xx 배고프구나', '우리 xx 똥 ?奐립?', '우리 xx 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 애완동물 표정 인식 정보가 인식된 후에 보호자의 애완동물 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 애완동물 표정 인식 정보를 패턴화함과 동시에 상기 애완동물 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 애완동물 감정 항목을 식별하고, 상기 인식된 애완동물 표정 인식 정보를 패턴화한 애완동물 표정 패턴 정보와 상기 식별된 음성 인식 기반의 애완동물 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 표정 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.Meanwhile, according to the implementation method of the present invention, the expression-based emotional state determination information is registered and stored in the operation D/B through a designated operation terminal, and then the designated pet expression recognition information is recognized through the information recognition unit 155. In this case, the information management unit 105 reads the video data received from the camera device 195 and stored in a specific storage area of the designated storage medium after the pet facial expression recognition information is recognized to correspond to the pet's guardian. At the same time as recognizing the object, the audio data associated with the video data is read to recognize the pet's emotions among the voices spoken by the pet's guardian to the pet (e.g., 'Our xx is hungry', 'Our xx poop') '奐lip?', 'We xx are sleepy', etc.) can be performed. If a voice related to the guardian's pet emotion recognition is recognized after the pet expression recognition information is recognized, the information management unit 105 patterns the recognized pet expression recognition information and simultaneously performs the pet emotion recognition and Identify voice recognition-based pet emotion items corresponding to related voices, and learn a combination of pet expression pattern information patterned from the recognized pet expression recognition information and the identified voice recognition-based pet emotion items. By repeating the process, the big data-based accuracy and reliability of the facial expression-based emotional state determination information can be continuously improved.

한편 본 발명의 확장 실시예에 따르면, 상기 정보 관리부(105)는 상기 표정 기반 감정상태 판별 정보 외에 상기 카메라장치(195)의 사운드 입력부를 통해 획득된 오디오 데이터를 근거로 애완동물의 동물 소리를 인식하여 애완동물의 감정 상태를 판별하기 위한 동물 소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장하거나, 및/또는 상기 카메라장치(195)에 애완동물의 감정 표현과 연관된 지정된 센싱 대상을 센싱하는 센서모듈이 구비되거나 연계되고 상기 카메라장치(195)로부터 상기 센서모듈을 통해 애완동물의 지정된 센싱 대상을 센싱하여 획득된 센싱 데이터가 수신되는 경우 상기 센싱 데이터를 이용하여 애완동물의 감정 상태를 판별하기 위한 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. Meanwhile, according to an expanded embodiment of the present invention, the information management unit 105 recognizes the animal sound of a pet based on audio data acquired through the sound input unit of the camera device 195 in addition to the facial expression-based emotional state determination information. Register and store animal sound-based emotional state determination information in the operation DB to determine the emotional state of the pet, and/or sense a designated sensing object associated with the emotional expression of the pet in the camera device 195. When a sensor module is provided or connected and sensing data obtained by sensing a designated sensing target of a pet is received from the camera device 195 through the sensor module, the emotional state of the pet is determined using the sensing data. Sensing-based emotional state determination information can be registered and stored in the operation DB.

한편 본 발명의 다른 실시예에 따르면, 상기 정보 관리부(105)는 상기 표정 기반 감정상태 판별 정보를 대신(또는 대체)하여 상기 동물 소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. 이하, 편의 상 표정 기반 감정상태 판별 정보를 기본 감정상태 판별 정보로 이용하고 상기 동물 소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보를 부 감정상태 판별 정보로 이용하는 실시예를 통해 본 발명의 특징을 설명할 것이나, 본 발명의 기술적 특징이 이에 한정되는 것은 아니며, 본 발명의 실시예와 청구범위의 기재에 따라 상기 동물 소리 기반 감정상태 판별 정보 및/또는 센싱 기반 감정상태 판별 정보도 기본 감정상태 판별 정보로 이용될 수 있음을 명백하게 밝혀두는 바이다.Meanwhile, according to another embodiment of the present invention, the information management unit 105 operates the animal sound-based emotional state determination information and/or sensing-based emotional state determination information in place of (or replacing) the facial expression-based emotional state determination information. It can be registered and stored in D/B, but the present invention is not limited thereto. Hereinafter, for convenience, the present invention will be described through an embodiment in which facial expression-based emotional state determination information is used as basic emotional state determination information and the animal sound-based emotional state determination information and/or sensing-based emotional state determination information are used as secondary emotional state determination information. The features will be described, but the technical features of the present invention are not limited thereto, and according to the embodiments and claims of the present invention, the animal sound-based emotional state determination information and/or the sensing-based emotional state determination information are also basic. We make it clear that it can be used as emotional state determination information.

본 발명의 확장/다른 실시예에 따르면, 상기 정보 관리부(105)는 애완동물의 동물 소리 패턴 중 애완동물의 감정 표현과 연관된 C(C≥2)개의 동물 소리 패턴 정보와 지정된 N개의 애완동물 감정 항목 중 동물 소리 패턴을 근거로 구별 가능한 N2(1≤N2≤N)개의 애완동물 감정 항목 사이의 매칭 관계정보를 포함하고 상기 C개의 동물 소리 패턴 정보와 N2개의 애완동물 감정 항목 간 상관도를 수치화한 동물 소리 기반 상관도 수치 관계정보를 포함하는 동물 소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to an extension/another embodiment of the present invention, the information management unit 105 includes C (C≥2) animal sound pattern information associated with the emotional expression of the pet among the pet animal sound patterns and N designated pet emotions. Among the items, it includes matching relationship information between N2 (1≤N2≤N) pet emotion items that can be distinguished based on animal sound patterns, and quantifies the correlation between the C animal sound pattern information and N2 pet emotion items. Animal sound-based emotional state determination information, including animal sound-based correlation and numerical relationship information, can be registered and stored in the operation D/B.

본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 애완동물의 동물 소리 패턴 중 애완동물의 감정 표현과 연관된 C개의 동물 소리 패턴 정보를 등록받고, 상기 C개의 동물 소리 패턴 정보를 지정된 N개의 애완동물 감정 항목 중 동물 소리 패턴을 근거로 구별 가능한 N2개의 애완동물 감정 항목과 매칭하는 매칭 관계정보를 등록받고, 상기 C개의 동물 소리 패턴 정보와 N2개의 애완동물 감정 항목 간 상관도를 수치화한 동물 소리 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 C개의 동물 소리 패턴 정보와 N2개의 애완동물 감정 항목를 행 또는 열의 타이틀로 포함하며 상기 동물 소리 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀의 정보로 포함하는 테이블 형태의 동물 소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다According to the implementation method of the present invention, the information management unit 105 registers C animal sound pattern information related to the emotional expression of the pet among the animal sound patterns of the pet from the designated operating terminal, and the C animal sound pattern information Register matching relationship information that matches N2 pet emotion items that can be distinguished based on animal sound patterns among the N designated pet emotion items, and the correlation between the C animal sound pattern information and N2 pet emotion items. Animal sound-based correlations can also be registered and stored in a designated operating DB by registering numerical relationship information. For example, the information management unit 105 includes C animal sound pattern information and N2 pet emotion items as row or column titles, and converts the animal sound-based correlation numerical relationship information into information of cells corresponding to each row and column. Animal sound-based emotional state determination information in table form can be registered and stored in the operation D/B.

본 발명의 일 실시 방법에 따르면, 상기 C개의 동물 소리 패턴 정보는 애완동물의 감정표현과 연관된 각각의 동물 소리 패턴을 구성하는 동물 소리 특징 정보를 포함할 수 있다. 바람직하게, 상기 동물 소리 특징은 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함할 수 있다. According to one implementation method of the present invention, the C animal sound pattern information may include animal sound characteristic information constituting each animal sound pattern associated with the emotional expression of the pet. Preferably, the animal sound features include a frequency band feature, a placement relationship feature of the frequency band feature, a periodicity feature of the frequency band feature, a sound intensity feature, a placement relationship feature of the sound intensity feature, a periodicity feature of the sound intensity feature, and a frequency band feature. It may include one or more features among a combination feature of sound intensity features, an arrangement relationship feature of frequency band features and sound intensity features, and a periodicity feature of frequency band features and sound intensity features.

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 C개의 동물 소리 패턴 정보는 애완동물의 감정표현과 연관된 각각의 동물 소리 패턴을 구성하는 동물 소리 특징의 범위 정보를 포함할 수 있다. 바람직하게, 상기 동물 소리 특징은 주파수 대역 특징, 주파수 대역 특징의 배치 관계 특징, 주파수 대역 특징의 주기성 특징, 소리 강도 특징, 소리 강도 특징의 배치 관계 특징, 소리 강도 특징의 주기성 특징, 주파수 대역 특징과 소리 강도 특징의 조합 특징, 주파수 대역 특징과 소리 강도 특징의 배치 관계 특징, 주파수 대역 특징과 소리 강도 특징의 주기성 특징 중 하나 이상의 특징을 포함할 수 있다. 예를들어, 상기 동물 소리 특징의 범위 정보는 각 특징 별 주파수 대역의 허용 범위 및/또는 각 특징 별 소리 강도의 허용 범위를 포함할 수 있다. Meanwhile, according to another implementation method of the present invention, the C animal sound pattern information may include range information of animal sound features constituting each animal sound pattern associated with the emotional expression of the pet. Preferably, the animal sound features include a frequency band feature, a placement relationship feature of the frequency band feature, a periodicity feature of the frequency band feature, a sound intensity feature, a placement relationship feature of the sound intensity feature, a periodicity feature of the sound intensity feature, and a frequency band feature. It may include one or more features among a combination feature of sound intensity features, an arrangement relationship feature of frequency band features and sound intensity features, and a periodicity feature of frequency band features and sound intensity features. For example, the range information of the animal sound features may include an allowable range of frequency bands for each feature and/or an allowable range of sound intensity for each feature.

본 발명의 일 실시 방법에 따르면, 상기 동물 소리 기반 상관도 수치 관계정보는 애완동물의 동물 소리를 인식한 동물 소리 인식 정보와 기 등록된 동물 소리 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 동물 소리 기반 상관도 수치 관계정보는 동물 소리 인식 정보와 기 등록된 동물 소리 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to one implementation method of the present invention, the animal sound-based correlation numerical relationship information is calculated through a relational expression proportional to the matching ratio between animal sound recognition information that recognizes the animal sound of a pet and pre-registered animal sound pattern information. Correlation may also include numerical information. For example, the animal sound-based correlation numerical relationship information may be calculated as small numerical information as the matching ratio between animal sound recognition information and pre-registered animal sound pattern information decreases, and as the matching ratio increases, it may be calculated as large numerical information. can be calculated.

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 동물 소리 기반 상관도 수치 관계정보는 애완동물의 동물 소리를 인식한 동물 소리 인식 정보와 기 등록된 동물 소리 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 동물 소리 기반 상관도 수치 관계정보는 동물 소리 인식 정보와 기 등록된 동물 소리 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. Meanwhile, according to another implementation method of the present invention, the animal sound-based correlation numerical relationship information is the correlation for each matching ratio section between animal sound recognition information that recognizes the animal sound of a pet and pre-registered animal sound pattern information. Numerical information may be included. For example, the animal sound-based correlation numerical relationship information can be calculated as '0' or numerical information of the specified minimum value when the matching ratio between animal sound recognition information and pre-registered animal sound pattern information is a preset minimum ratio range. And, if the matching ratio is a preset maximum ratio section, it can be calculated as numerical information of the specified maximum value.

한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 동물 소리 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(155)를 통해 지정된 동물 소리 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 동물 소리 인식 정보가 인식된 후에 상기 카메라장치(195)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 애완동물의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 애완동물의 보호자가 애완동물에게 발화하는 음성 중 애완동물 감정 인지와 관련된 음성(예컨대, '우리 xx 배고프구나', '우리 xx 똥 ?奐립?', '우리 xx 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 동물 소리 인식 정보가 인식된 후에 보호자의 애완동물 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 동물 소리 인식 정보를 패턴화함과 동시에 상기 애완동물 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 애완동물 감정 항목을 식별하고, 상기 인식된 동물 소리 인식 정보를 패턴화한 동물 소리 패턴 정보와 상기 식별된 음성 인식 기반의 애완동물 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 동물 소리 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.Meanwhile, according to the implementation method of the present invention, after the animal sound-based emotional state determination information is registered and stored in the operation D/B through a designated operation terminal, the designated animal sound recognition information is recognized through the following information recognition unit 155. In this case, after the animal sound recognition information is recognized, the information management unit 105 reads the video data received from the camera device 195 and stored in a specific storage area of the designated storage medium to create an object corresponding to the pet's guardian. At the same time, the audio data associated with the video data is read to recognize the pet's emotions among the voices spoken by the pet's guardian to the pet (e.g., 'Our xx is hungry', 'Our xx poop?'). You can perform a recognition procedure such as 'Good lip?', 'We xx are sleepy,' etc. If a voice related to the guardian's pet emotion recognition is recognized after the animal sound recognition information is recognized, the information management unit 105 patterns the recognized animal sound recognition information and simultaneously generates a voice related to the pet emotion recognition. Repeat the process of identifying the corresponding voice recognition-based pet emotion item and learning a combination of the animal sound pattern information patterned from the recognized animal sound recognition information and the identified voice recognition-based pet emotion item. By doing so, the big data-based accuracy and reliability of the animal sound-based emotional state determination information can be continuously improved.

한편 본 발명의 확장/다른 실시예에 따르면, 상기 정보 관리부(105)는 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 애완동물의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S(S≥2)개의 센싱 값 패턴 정보와 지정된 N개의 애완동물 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3(1≤N3≤N)개의 애완동물 감정 항목 사이의 매칭 관계정보를 포함하고 상기 S개의 센싱 값 패턴 정보와 N3개의 애완동물 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다.Meanwhile, according to an expansion/another embodiment of the present invention, the information management unit 105 selects a designated sensing target related to the emotional expression of the pet among the sensing data sensed through a sensor module provided or linked to the camera device 195. Between S (S≥2) sensing value pattern information for the sensing data and N3 (1≤N3≤N) pet emotion items that can be distinguished based on the sensing value pattern of the designated sensing target among the N designated pet emotion items. Registering sensing-based emotional state determination information including matching relationship information and numerical relationship information between the S sensing value pattern information and N3 pet emotion items. You can save it.

본 발명의 실시 방법에 따르면, 상기 센서모듈은 애완동물의 신체에 착용하여 지정된 센싱 대상을 센싱하는 웨어러블(Wearable) 센서모듈, 지정된 전자파를 이용하여 애완동물의 지정된 센싱 대상을 센싱하는 레이더(Radar) 센서모듈 중 적어도 하나의 센서모듈을 포함할 수 있으며, 상기 지정된 센싱 대상은 애완동물의 심장박동, 애완동물의 체온, 애완동물 주변 습도, 애완동물의 무호흡 여부 중 적어도 하나를 포함할 수 있다.According to the method of implementing the present invention, the sensor module is a wearable sensor module that is worn on the pet's body to sense a designated sensing target, and a radar that senses the pet's designated sensing target using designated electromagnetic waves. It may include at least one sensor module among the sensor modules, and the designated sensing target may include at least one of the pet's heartbeat, the pet's body temperature, the humidity around the pet, and whether the pet is apnea.

본 발명의 실시 방법에 따르면, 상기 정보 관리부(105)는 지정된 운영단말로부터 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 애완동물의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S개의 센싱 값 패턴 정보를 등록받고, 상기 S개의 센싱 값 패턴 정보를 지정된 N개의 애완동물 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3개의 애완동물 감정 항목 사이의 매칭 관계정보를 등록받고, 상기 S개의 센싱 값 패턴 정보와 N3개의 애완동물 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 등록받아 지정된 운영D/B에 등록 저장할 수 있다. 예를들어, 상기 정보 관리부(105)는 상기 S개의 센싱 값 패턴 정보와 N3개의 애완동물 감정 항목을 행 또는 열의 타이틀로 포함하며 센싱 기반 상관도 수치 관계정보를 각 행열에 대응하는 셀의 정보로 포함하는 테이블 형태의 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to the implementation method of the present invention, the information management unit 105 selects a designated sensing target associated with the emotional expression of the pet among the sensing data sensed through a sensor module provided or linked to the camera device 195 from a designated operating terminal. S sensing value pattern information for the sensing data is registered, and the S sensing value pattern information is divided into N3 pet emotion items that can be distinguished based on the sensing value pattern of the designated sensing target among the N designated pet emotion items. Matching relationship information can be registered, and sensing-based correlation numerical relationship information that quantifies the correlation between the S sensing value pattern information and N3 pet emotion items can be registered and stored in a designated operating DB. For example, the information management unit 105 includes the S sensing value pattern information and N3 pet emotion items as row or column titles, and stores sensing-based correlation numerical relationship information as information in cells corresponding to each row and column. Sensing-based emotional state determination information in the form of a table can be registered and stored in the operation D/B.

본 발명의 일 실시 방법에 따르면, 상기 S개의 센싱 값 패턴 정보는 애완동물의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징 정보를 포함할 수 있다. 바람직하게, 상기 센싱 값 특징은 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. According to an implementation method of the present invention, the S sensing value pattern information may include sensing value characteristic information constituting each sensing value pattern for sensing data of a designated sensing target associated with the pet's emotional expression. Preferably, the sensing value feature may include at least one or a combination of two or more of a sensing value change rule feature, a sensing value change amount feature, a sensing value change rate feature, and a sensing value change periodicity feature.

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 S개의 센싱 값 패턴 정보는 애완동물의 감정표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 각각의 센싱 값 패턴을 구성하는 센싱 값 특징의 범위 정보를 포함할 수 있다. 바람직하게, 상기 센싱 값 특징은 센싱 값의 변화 규칙 특징, 센싱 값의 변화량 특징, 센싱 값 변화율 특징, 센싱 값 변화의 주기성 특징 중 적어도 하나 또는 둘 이상의 조합을 포함할 수 있다. 예를들어, 상기 센싱 값 특징의 범위 정보는 각 특징 별 변화 규칙의 허용 범위, 각 특징 별 센싱 값 변화량의 허용 범위, 각 특징 별 센싱 값 변화율의 허용 범위를 포함할 수 있다. Meanwhile, according to another implementation method of the present invention, the S sensing value pattern information includes range information of sensing value features that constitute each sensing value pattern for sensing data of a designated sensing target associated with the pet's emotional expression. can do. Preferably, the sensing value feature may include at least one or a combination of two or more of a sensing value change rule feature, a sensing value change amount feature, a sensing value change rate feature, and a sensing value change periodicity feature. For example, the range information of the sensing value features may include an allowable range of change rules for each feature, an allowable range of the amount of change in sensing value for each feature, and an allowable range of the rate of change of the sensing value for each feature.

본 발명의 일 실시 방법에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율에 비례하는 관계식을 통해 산출되는 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 센싱 기반 상관도 수치 관계정보는 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율이 작을수록 작은 수치정보로 산출될 수 있으며, 상기 매칭 비율을 클수록 큰 수치정보로 산출될 수 있다. According to an implementation method of the present invention, the sensing-based correlation numerical relationship information is calculated through a relational expression proportional to the matching ratio between sensing value recognition information recognized through sensing data of a designated sensing target and pre-registered sensing value pattern information. The correlation may also include numerical information. For example, the sensing-based correlation numerical relationship information may be calculated as small numerical information as the matching ratio between sensing value recognition information and pre-registered sensing value pattern information is small, and as the matching ratio is large, it may be calculated as large numerical information. It can be.

한편 본 발명의 다른 일 실시 방법에 따르면, 상기 센싱 기반 상관도 수치 관계정보는 지정된 센싱 대상의 센싱 데이터를 통해 인식된 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 사이의 각 매칭 비율 구간 별 상관도 수치정보를 포함할 수 있다. 예를들어, 상기 센싱 기반 상관도 수치 관계정보는 센싱 값 인식 정보와 기 등록된 센싱 값 패턴 정보 간 매칭 비율이 기 설정된 최소 비율 구간인 경우 '0'이나 지정된 최소값의 수치정보로 산출될 수 있으며, 상기 매칭 비율이 기 설정된 최대 비율 구간인 경우 지정된 최대값의 수치정보로 산출될 수 있다. Meanwhile, according to another implementation method of the present invention, the sensing-based correlation numerical relationship information is the correlation for each matching ratio section between sensing value recognition information recognized through sensing data of a designated sensing target and pre-registered sensing value pattern information. It may also include numerical information. For example, the sensing-based correlation numerical relationship information may be calculated as numerical information of '0' or a specified minimum value when the matching ratio between sensing value recognition information and pre-registered sensing value pattern information is a preset minimum ratio range, , if the matching ratio is a preset maximum ratio section, it can be calculated as numerical information of the specified maximum value.

한편 본 발명의 실시 방법에 따르면, 지정된 운영단말을 통해 상기 운영D/B에 상기 센싱 기반 감정상태 판별 정보가 등록 저장된 후, 하기 정보 인식부(155)를 통해 지정된 센싱 값 인식 정보가 인식된 경우, 상기 정보 관리부(105)는 상기 센싱 값 인식 정보가 인식된 후에 상기 카메라장치(195)로부터 수신되어 지정된 저장매체의 특정 저장영역에 저장되는 비디오 데이터를 판독하여 애완동물의 보호자에 대응하는 객체를 인식함과 동시에 상기 비디오 데이터와 연계된 오디오 데이터를 판독하여 애완동물의 보호자가 애완동물에게 발화하는 음성 중 애완동물 감정 인지와 관련된 음성(예컨대, '우리 xx 배고프구나', '우리 xx 똥 ?奐립?', '우리 xx 졸리구나' 등)을 인식하는 절차를 수행할 수 있다. 만약 센싱 값 인식 정보가 인식된 후에 보호자의 애완동물 감정 인지와 관련된 음성이 인식된 경우, 상기 정보 관리부(105)는 상기 인식된 센싱 값 인식 정보를 패턴화함과 동시에 상기 애완동물 감정 인지와 관련된 음성에 대응하는 음성 인식 기반의 애완동물 감정 항목을 식별하고, 상기 인식된 센싱 값 인식 정보를 패턴화한 동물 소리 패턴 정보와 상기 식별된 음성 인식 기반의 애완동물 감정 항목의 조합을 학습하는 과정을 반복함으로써 상기 센싱 기반 감정상태 판별 정보의 빅데이터 기반 정확도와 신뢰도를 지속적으로 향상시킬 수 있다.Meanwhile, according to the implementation method of the present invention, after the sensing-based emotional state determination information is registered and stored in the operation D/B through a designated operation terminal, when the designated sensing value recognition information is recognized through the information recognition unit 155 below , the information management unit 105 reads the video data received from the camera device 195 and stored in a specific storage area of the designated storage medium after the sensing value recognition information is recognized, and creates an object corresponding to the pet's guardian. At the same time as recognition, the audio data associated with the video data is read, and among the voices spoken by the pet guardian to the pet, voices related to the recognition of the pet's emotions (e.g., 'Our xx is hungry', 'Our xx poop? 奐'Lip?', 'We xx are sleepy', etc.) can be performed. If a voice related to the guardian's pet emotion recognition is recognized after the sensing value recognition information is recognized, the information management unit 105 patterns the recognized sensing value recognition information and simultaneously generates a voice related to the pet emotion recognition. Repeat the process of identifying a voice recognition-based pet emotion item corresponding to the recognized sensing value recognition information and learning a combination of animal sound pattern information patterned and the identified voice recognition-based pet emotion item. By doing so, the big data-based accuracy and reliability of the sensing-based emotional state determination information can be continuously improved.

도면1을 참조하면, 상기 운영서버(100)는, 지정된 P(P≥2)개의 대화 의도에 대한 애완동물 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하는 가상객체 관리부(110)와, 지정된 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하는 정보 매칭부(115)를 포함한다. Referring to Figure 1, the operation server 100 sends R (R ≥ 2) virtual object data corresponding to the pet's response to the designated P (P ≥ 2) conversation intentions to the operation D/B. A virtual object management unit 110 that registers and stores, and an information matching unit 115 that stores virtual object matching information that matches the P conversation intentions and R virtual object data based on pet emotional state information for each designated emotion item. Includes.

상기 가상객체 관리부(110)는 애완동물의 부모나 친인척 또는 보호자 등이 애완동물에게 대화를 시도하는 대화 의도를 지정된 카테고리 별로 분류한 P개의 대화 의도에 대한 애완동물 입장의 응답에 대응하는 R개의 가상객체 데이터를 운영D/B에 등록 저장한다. 예를들어, 상기 P개의 대화 의도는 애완동물의 상태를 질의하는 대화(예컨대, '우리 xx 졸려?', '배고프니?' 등) 카테고리에 대응하는 대화 의도, 애완동물의 감정 표현을 유도하는 대화(예컨대, '까꿍~' 등) 카테고리에 대응하는 대화 의도, 애완동물의 반응을 유발하는 대화(예컨대, '엄마야~', '엄마 어디 있어?' 등) 카테고리에 대응하는 대화 의도 중 적어도 하나의 대화 의도를 포함할 수 있다.The virtual object management unit 110 classifies the conversation intentions in which the pet's parents, relatives, or guardians attempt to talk to the pet into R numbers corresponding to the pet's response to the P conversation intentions classified into designated categories. Register and store virtual object data in the operation database. For example, the P conversation intentions are conversation intentions that correspond to categories of conversations inquiring about the pet's condition (e.g., 'Are we xx sleepy?', 'Are you hungry?', etc.), and induce the pet's emotional expression. At least one of the following: a conversation intention corresponding to the category of conversation (e.g., 'Peekaboo~', etc.), and a conversation intention corresponding to the category of conversation that triggers a response from the pet (e.g., 'Mommy~', 'Where's mom?', etc.) It may include the intention of the conversation.

본 발명의 실시 방법에 따르면, 상기 R개의 가상객체 데이터는 지정된 대화 의도에 대한 애완동물 입장의 응답으로서 애완동물 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 지정된 대화 의도에 대한 애완동물 입장의 응답에 대응하는 문자열을 말풍선 형태로 표시하여 애완동물 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함할 수 있다. 한편 상기 애완동물 안면 영역 내의 지정 부위는 애완동물의 머리카락 부위, 애완동물의 이마 부위, 애완동물의 관자놀이 부위, 애완동물의 양 눈썹 부위, 애완동물의 양 안과 양 눈썹 사이 부위, 애완동물의 양 안 부위, 애완동물의 양 안 사이 부위, 애완동물의 양 안 바깥쪽 부위, 애완동물의 양 안 아래쪽 부위, 애완동물의 양 광대 부위, 애완동물의 양 볼 부위, 애완동물의 콧등 부위, 애완동물의 코 부위, 애완동물의 인중 부위, 애완동물의 입 부위, 애완동물의 입술 부위, 애완동물의 입 바깥쪽 부위, 애완동물의 입 아래쪽 부위, 애완동물의 턱 부위, 애완동물의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함할 수 있다.According to the method of implementing the present invention, the R virtual object data is virtual object data overlaid on a designated part in the pet's face area as a response of the pet's position to the specified conversation intention, and the pet's position to the specified conversation intention. A string corresponding to the response may be displayed in the form of a speech bubble to include at least one virtual object data among the virtual object data displayed overlapping the area around the pet's face. Meanwhile, the designated areas within the pet's facial area include the pet's hair area, the pet's forehead area, the pet's temple area, the pet's both eyebrows area, the area between both eyes of the pet and both eyebrows, and both eyes of the pet. Area, the area between the inside of both the pet's sheep, the area outside the inside of the pet's sheep, the inner and lower part of the pet's sheep, the cheek area of the pet's both cheeks, the bridge of the pet's nose, the pet's At least one of the nose area, the pet's philtrum area, the pet's mouth area, the pet's lips area, the outer area of the pet's mouth, the lower part of the pet's mouth, the pet's jaw area, and the pet's neck area. Or it may include two or more combination sites.

상기 정보 매칭부(115)는 상기 표정 기반 감정상태 판별 정보와 동물 소리 기반 감정상태 판별 정보와 센싱 기반 감정상태 판별 정보 중 적어도 하나의 감정상태 판별 정보를 근거로 생성되는 지정된 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장한다. 예를들어, 상기 정보 매칭부(115)는 운영D/B 상에 상기 가상객체 매칭 정보를 저장하거나 및/또는 프로그램코드 상에 조건문의 형태로 상기 가상객체 매칭 정보를 저장할 수 있다. The information matching unit 115 generates pet emotions for each designated emotion item based on at least one of the facial expression-based emotional state determination information, animal sound-based emotional state determination information, and sensing-based emotional state determination information. Based on the status information, virtual object matching information that matches the P conversation intentions and R virtual object data is stored. For example, the information matching unit 115 may store the virtual object matching information on an operating database and/or store the virtual object matching information in the form of a conditional statement on a program code.

도면1을 참조하면, 상기 운영서버(100)는, 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 애완동물을 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(195)를 매핑하는 정보를 등록받아 지정된 관리D/B에 저장하는 정보 등록부(120)를 포함한다. Referring to Figure 1, the operation server 100 is configured to receive transmission data including video data captured of a specific pet within the designated base through a camera device 195 provided at the designated base and the camera device. It includes an information register 120 that registers information mapping 195 and stores it in a designated management DB.

상기 카메라장치(195)를 구매하거나 공급받는 사용자가 이용하는 사용자단말을 통해 가입신청정보를 입력하거나 종이 형태의 가입신청서(예컨대, 카메라장치(195)를 이용한 서비스와 IPTV(190)를 결합하는 신청서, 카메라장치(195)를 이용한 서비스와 사용자 무선단말(185)을 결합하는 신청서 등)를 작성한 경우, 상기 정보 등록부(120)는 사용자 단말이나 지정된 등록단말을 통해 상기 가입신청정보나 가입신청서에 대응하는 사용자정보와 상기 사용자에게 제공/공급된 카메라장치(195)를 고유 식별하는 카메라장치(195)정보를 등록받아 관리D/B에 저장할 수 있다. 한편 상기 정보 등록부(120)는 상기 사용자 단말이나 지정된 등록단말을 통해 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 사용자가 이용하는 IPTV(190)로 제공하기 위한 ID/PW정보를 등록받고 상기 사용자정보 및/또는 카메라장치(195)정보와 연계하여 관리D/B에 저장할 수 있다. 한편 본 발명의 실시 방법에 따라 상기 ID/PW정보는 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 웹을 통해 사용자가 이용하는 유선단말이나 무선단말(185)로 제공하기 위해 사용될 수 있으며, 본 발명은 이러한 실시예도 권리범위로 포함할 수 있다. The user who purchases or receives the camera device 195 enters subscription application information through the user terminal used or submits a paper subscription application form (e.g., an application for combining the service using the camera device 195 and IPTV 190, When an application for combining a service using the camera device 195 and the user wireless terminal 185 is created, the information register 120 provides information corresponding to the subscription application information or subscription application through the user terminal or a designated registration terminal. User information and camera device 195 information that uniquely identifies the camera device 195 provided/provided to the user can be registered and stored in the management DB. Meanwhile, the information registration unit 120 provides ID/PW information for providing transmission data including video data captured through the camera device 195 to the IPTV 190 used by the user through the user terminal or a designated registration terminal. can be registered and stored in the management DB in connection with the user information and/or camera device 195 information. Meanwhile, according to the implementation method of the present invention, the ID/PW information is used to provide transmission data including video data captured through the camera device 195 to the wired terminal or wireless terminal 185 used by the user through the web. It can be used, and the present invention can also include these embodiments in its scope of rights.

한편 상기 사용자가 본인이 사용하는 사용자 무선단말(185)에 지정된 앱을 설치하고 최초(또는 가입 전) 구동 시, 상기 정보 등록부(120)는 상기 사용자 무선단말(185)의 앱으로부터 상기 사용자에 대한 사용자정보와 상기 사용자에게 제공/공급된 카메라장치(195)를 고유 식별하는 카메라장치(195)정보를 등록받아 관리D/B에 저장할 수 있다. 한편 상기 정보 등록부(120)는 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 상기 사용자 무선단말(185)의 앱으로 제공하기 위해 상기 사용자 무선단말(185)의 앱을 고유 식별하는 고유식별정보를 생성하거나 상기 사용자 무선단말(185)의 앱으로부터 제공받고 상기 사용자정보 및/또는 카메라장치(195)정보와 연계하여 관리D/B에 저장할 수 있으며, 상기 고유식별정보를 생성한 경우 상기 사용자 무선단말(185)의 앱으로 제공하여 지정된 저장영역에 저장하도록 처리할 수 있다. 한편 상기 정보 등록부(120)는 상기 사용자 무선단말(185)의 앱으로부터 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 사용자가 이용하는 IPTV(190)로 제공하기 위한 ID/PW정보를 등록받고 상기 사용자정보 및/또는 카메라장치(195)정보와 연계하여 관리D/B에 저장할 수 있다. 한편 본 발명의 실시 방법에 따라 상기 ID/PW정보는 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 웹을 통해 사용자가 이용하는 유선단말이나 무선단말(185)로 제공하기 위해 사용될 수 있으며, 본 발명은 이러한 실시예도 권리범위로 포함할 수 있다. Meanwhile, when the user installs the designated app on the user wireless terminal 185 and runs it for the first time (or before signing up), the information register 120 provides information about the user from the app of the user wireless terminal 185. User information and camera device 195 information that uniquely identifies the camera device 195 provided/provided to the user can be registered and stored in the management database. Meanwhile, the information registration unit 120 uniquely configures the app of the user wireless terminal 185 to provide transmission data including video data captured through the camera device 195 to the app of the user wireless terminal 185. Unique identification information may be generated or provided from the app of the user wireless terminal 185 and stored in the management DB in connection with the user information and/or camera device 195 information, and the unique identification information may be generated. In one case, it can be processed by providing it as an app of the user's wireless terminal 185 and storing it in a designated storage area. Meanwhile, the information registration unit 120 provides an ID/PW for providing transmission data including video data captured through the camera device 195 from the app of the user wireless terminal 185 to the IPTV 190 used by the user. Information can be registered and stored in the management DB in connection with the user information and/or camera device 195 information. Meanwhile, according to the implementation method of the present invention, the ID/PW information is used to provide transmission data including video data captured through the camera device 195 to the wired terminal or wireless terminal 185 used by the user through the web. It can be used, and the present invention can also include these embodiments in its scope of rights.

한편 본 발명의 실시 방법에 따르면, 상기 사용자 무선단말(185)의 앱은 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 다른 무선단말(185)의 고유정보(예컨대, 휴대폰번호 등)를 입력/등록할 수 있으며, 이 경우 상기 정보 등록부(120)는 상기 다른 무선단말(185)의 고유정보를 관리D/B에 저장하고, 상기 다른 무선단말(185)의 고유정보를 통해 상기 다른 무선단말(185)에 지정된 앱이 설치되도록 유도하거나 및/또는 상기 다른 무선단말(185)에 설치 실행된 앱을 확인하고, 상기 다른 무선단말(185)의 앱을 고유 식별하는 고유식별정보를 생성하거나 상기 다른 무선단말(185)의 앱으로부터 제공받고 상기 등록되어 있는 카메라장치(195)정보와 연계하여 관리D/B에 저장함으로써, 상기 사용자 무선단말(185)의 앱 이외에 상기 사용자 무선단말(185)의 앱을 통해 지정된 다른 무선단말(185)의 앱을 통해서도 상기 카메라장치(195)를 통해 촬영된 비디오 데이터를 포함하는 송신 데이터를 제공받을 수 있도록 처리할 수 있다.Meanwhile, according to the implementation method of the present invention, the app of the user wireless terminal 185 provides unique information (e.g., , mobile phone number, etc.) can be entered/registered, and in this case, the information register 120 stores the unique information of the other wireless terminal 185 in the management database, and the unique information of the other wireless terminal 185 is stored in the management D/B. Guide the specified app to be installed on the other wireless terminal 185 through the information and/or confirm the app installed and executed on the other wireless terminal 185, and uniquely identify the app of the other wireless terminal 185. By generating unique identification information or receiving it from the app of the other wireless terminal 185 and storing it in the management DB in connection with the registered camera device 195 information, the user other than the app of the wireless terminal 185 Transmission data including video data captured through the camera device 195 can be processed so that it can be received through the app of another wireless terminal 185 designated through the app of the user wireless terminal 185.

도면1을 참조하면, 상기 운영서버(100)는, 지정된 거점에 구비된 카메라장치(195)와의 통신 연결을 관리하는 통신 관리부(125)와, 상기 카메라장치(195)의 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하는 데이터 수신부(130)와, 상기 수신된 획득 데이터를 지정된 저장매체의 특정 저장영역에 저장하여 관리하는 데이터 저장부(135)를 포함한다. Referring to Figure 1, the operation server 100 is obtained through the communication management unit 125, which manages the communication connection with the camera device 195 provided at the designated base, and the camera module of the camera device 195. It includes a data receiver 130 that receives acquired data including video data encoded in a designated manner, and a data storage unit 135 that stores and manages the received acquired data in a specific storage area of a designated storage medium.

지정된 거점에 구비된 카메라장치(195)에 전원이 입력되면, 상기 카메라장치(195)의 제어모듈은 지정된 절차에 따라 통신모듈을 통해 지정된 운영서버(100)와 지정된 하나 이상의 정보를 교환하여 통신 연결을 요청하며, 상기 통신 관리부(125)는 상기 지정된 정보의 교환을 근거로 상기 카메라장치(195)의 유효성을 인증하여 상기 카메라장치(195)와 통신을 연결한다. When power is input to the camera device 195 provided at the designated base, the control module of the camera device 195 exchanges one or more designated information with the designated operation server 100 through the communication module according to the designated procedure to establish communication. Requesting, the communication management unit 125 authenticates the validity of the camera device 195 based on the exchange of the specified information and connects communication with the camera device 195.

상기 카메라장치(195)와 통신이 연결되면, 상기 통신 관리부(125)는 상기 카메라장치(195)를 통해 획득된 획득 데이터를 수신하기 위한 일회용주소정보를 동적 생성하여 상기 카메라장치(195)로 제공하며, 이 경우 상기 카메라장치(195)의 제어모듈은 상기 일회용주소정보를 수신하고, 상기 일회용주소정보를 상기 획득 데이터를 전송할 목적지 주소로 설정한 후, 상기 획득된 획득 데이터를 상기 일회용주소에 대응하는 목적지 주소로 전송할 수 있다. 여기서, 상기 일회용주소정보는 주소도메인정보는 동일하되 도메인 이후의 파라미터값이 중복되지 않게 동적 생성된 파라미터값으로 이루어진 주소정보를 포함할 수 있다.When communication with the camera device 195 is connected, the communication management unit 125 dynamically generates disposable address information for receiving acquired data obtained through the camera device 195 and provides it to the camera device 195. In this case, the control module of the camera device 195 receives the disposable address information, sets the disposable address information as a destination address to transmit the acquired data, and then corresponds the obtained acquired data to the disposable address. It can be sent to the destination address. Here, the disposable address information may include address information composed of dynamically generated parameter values so that the address domain information is the same but parameter values after the domain do not overlap.

본 발명의 실시 방법에 따르면, 상기 통신 관리부(125)는 주기적으로 상기 카메라장치(195)에 대한 신규 일회용주소정보를 동적 생성하여 상기 카메라장치(195)로 제공할 수 있으며, 이 경우 상기 카메라장치(195)의 제어모듈은 상기 신규 일회용주소정보를 수신하고, 이전 일회용주소에 대응하는 목적지 주소로 상기 획득 데이터를 전송하는 과정을 인터럽트함과 동시에 이전 일회용주소로 획득 데이터를 전송한 이전 전송 정보를 확인하고, 상기 신규 일회용주소정보를 상기 획득 데이터를 이어서 전송할 신규 목적지 주소로 설정한 후, 상기 이전 전송 정보를 근거로 이전 일회용주소로 전송하던 획득 데이터를 상기 신규 일회용주소에 대응하는 신규 목적지 주소로 이어서 전송할 수 있으며, 상기의 과정은 주기적으로 반복될 수 있다. 이하, 별도의 언급이 없더라도 상기 카메라장치(195)는 상기 일회용주소로 획득 데이터를 전송할 수 있음을 명기하는 바이다. 한편 본 발명의 다른 실시 방법에 따르면, 상기 통신 관리부(125)의 일회용주소정보 생성 내지 적용 과정은 생략 가능하며, 이에 의해 본 발명이 한정되지 아니한다.According to the implementation method of the present invention, the communication management unit 125 can periodically dynamically generate new disposable address information for the camera device 195 and provide it to the camera device 195, in this case. The control module at (195) receives the new disposable address information, interrupts the process of transmitting the acquired data to the destination address corresponding to the previous disposable address, and simultaneously transmits the previous transmission information that transmitted the acquired data to the previous disposable address. After confirming and setting the new disposable address information as a new destination address to which the acquired data will be subsequently transmitted, based on the previous transmission information, the acquired data that was transmitted to the previous disposable address is transferred to the new destination address corresponding to the new disposable address. It can then be transmitted, and the above process can be repeated periodically. Hereinafter, it is specified that the camera device 195 can transmit acquired data to the disposable address even if not otherwise stated. Meanwhile, according to another implementation method of the present invention, the process of generating or applying disposable address information of the communication management unit 125 can be omitted, and the present invention is not limited thereto.

본 발명의 실시 방법에 따라 상기 카메라장치(195)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터를 저장하여 일정 기간 동안 관리할 수 있다.According to the implementation method of the present invention, when the control module of the camera device 195 transmits acquired data including video data obtained through the camera module and encoded in a specified manner, the data receiver 130 receives the camera module. Receives acquired data including video data acquired through and encoded in a designated manner, and the data storage unit 135 stores the video data of the received acquired data in a specific storage area of a designated storage medium for a certain period of time. It can be managed.

한편 본 발명의 실시 방법에 따라 상기 카메라장치(195)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터와 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터를 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터와 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터와 오디오 데이터를 연계 저장하여 일정 기간 동안 관리한다.Meanwhile, according to the implementation method of the present invention, the control module of the camera device 195 includes video data obtained through the camera module and encoded in a designated manner and audio data acquired through the sound input unit and encoded in a designated manner. When the acquired data is transmitted, the data receiving unit 130 receives acquired data including video data acquired through the camera module and encoded in a designated manner and audio data acquired through the sound input unit and encoded in a designated manner. , the data storage unit 135 stores the video data and audio data of the received acquisition data in a specific storage area of a designated storage medium and manages them for a certain period of time.

본 발명의 실시 방법에 따르면, 상기 카메라장치(195)의 제어모듈은 상기 비디오 데이터와 오디오 데이터를 포함하는 동영상 데이터 형태의 획득 데이터를 전송할 수 있으며, 이 경우 상기 데이터 수신부(130)는 상기 카메라장치(195)로부터 상기 동영상 데이터 형태의 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 동영상 데이터를 저장하여 관리할 수 있다.According to the implementation method of the present invention, the control module of the camera device 195 may transmit acquired data in the form of moving image data including the video data and audio data, and in this case, the data receiver 130 may transmit the acquired data to the camera device 195. Acquired data in the form of video data is received from 195, and the data storage unit 135 can store and manage the received video data in a specific storage area of a designated storage medium.

한편 본 발명의 실시 방법에 따르면, 상기 카메라장치(195)의 제어모듈은 상기 비디오 데이터와 상기 오디오 데이터를 각각의 데이터 형태로 포함하는 획득 데이터를 전송할 수 있으며, 이 경우 상기 데이터 수신부(130)는 상기 카메라장치(195)로부터 상기 비디오 데이터와 오디오 데이터를 제각기 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 상기 카메라장치(195)로부터 각기 수신된 상기 비디오 데이터와 오디오 데이터를 연계하여 지정된 저장매체의 특정 저장영역에 저장하여 관리할 수 있다. 바람직하게, 상기 데이터 저장부(135)는 상기 비디오 데이터와 오디오 데이터의 시간 값(또는 타임스탬프)를 기준으로 상기 비디오 데이터와 오디오 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장할 수 있다.Meanwhile, according to the implementation method of the present invention, the control module of the camera device 195 can transmit acquired data including the video data and the audio data in separate data forms, and in this case, the data receiver 130 Acquired data including the video data and audio data are received from the camera device 195, and the data storage unit 135 links the video data and audio data respectively received from the camera device 195. It can be managed by storing it in a specific storage area of a designated storage medium. Preferably, the data storage unit 135 may synchronize the times of the video data and audio data based on the time values (or timestamps) of the video data and audio data and store them in a specific storage area of a designated storage medium. .

한편 본 발명의 실시 방법에 따라 상기 카메라장치(195)의 제어모듈이 상기 카메라모듈을 통해 획득되어 지정된 방식으로 엔코딩된 비디오 데이터 및/또는 상기 사운드 입력부를 통해 획득되어 지정된 방식으로 엔코딩된 오디오 데이터 외에, 지정된 센서모듈을 통해 센싱되어 지정된 방식으로 엔코딩된 센싱 데이터를 더 포함하는 획득 데이터를 전송하면, 상기 데이터 수신부(130)는 상기 센싱 데이터를 포함하는 획득 데이터를 수신하고, 상기 데이터 저장부(135)는 지정된 저장매체의 특정 저장영역에 상기 수신된 획득 데이터의 비디오 데이터 및/또는 오디오 데이터와 상기 센싱 데이터를 연계 저장하여 일정 기간 동안 관리할 수 있다. 바람직하게, 상기 데이터 저장부(135)는 상기 비디오 데이터 및/또는 오디오 데이터의 시간 값(또는 타임스탬프)과 상기 센싱 데이터의 시간 값(또는 타임스탬프)을 기준으로 상기 비디오 데이터 및/또는 오디오 데이터의 시간과 상기 센싱 데이터의 시간을 동기화시켜 지정된 저장매체의 특정 저장영역에 저장할 수 있다.Meanwhile, according to the implementation method of the present invention, the control module of the camera device 195 is configured to output video data acquired through the camera module and encoded in a designated manner and/or audio data acquired through the sound input unit and encoded in a designated manner. , when acquired data further including sensing data sensed through a designated sensor module and encoded in a designated manner is transmitted, the data receiving unit 130 receives acquired data including the sensing data, and the data storage unit 135 ) can store the video data and/or audio data of the received acquisition data and the sensing data in a specific storage area of a designated storage medium and manage them for a certain period of time. Preferably, the data storage unit 135 stores the video data and/or audio data based on the time value (or timestamp) of the video data and/or audio data and the time value (or timestamp) of the sensing data. The time of the sensing data can be synchronized with the time of the sensing data and stored in a specific storage area of a designated storage medium.

도면1을 참조하면, 상기 운영서버(100)는, 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하거나 유지하는 데이터 제공부(140)와, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식하는 대화 인식부(145)와, 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별하는 대화 의도 판별부(150)를 포함한다.Referring to Figure 1, the operation server 100 performs a procedure for providing transmission data including video data stored in a specific storage area of the storage medium to the app of the designated user wireless terminal 185 or IPTV 190. The data providing unit 140 performs or maintains, and identifies and reads a string corresponding to the user's voice or text obtained through the app of the user's wireless terminal 185 or IPTV 190, so that the user can provide the pet to the user. It includes a conversation recognition unit 145 that recognizes a conversation string, and a conversation intention determination unit 150 that analyzes the recognized conversation string and determines a user conversation intention corresponding to at least one of the designated P conversation intentions. .

상기 데이터 제공부(140)는 상기 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱으로부터의 송신 데이터 요청이나 상기 관리D/B에 저장된 ID/PW정보를 이용한 송신 데이터 요청을 근거로 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 수행하며, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 송신 데이터 제공의 종료/중지에 대응하는 정보가 수신되기 전(또는 지정된 규칙에 따라 종료/중지하기 전)까지 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는 절차를 유지할 수 있다. The data provider 140 requests transmission data from an app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B or transmits data using the ID/PW information stored in the management D/B. Based on the request, a procedure is performed to provide transmission data including video data stored in a specific storage area of the storage medium to the app or IPTV 190 of the user wireless terminal 185, and the user wireless terminal 185 Includes video data stored in a specific storage area of the storage medium until information corresponding to termination/suspension of provision of the transmission data is received from the app or IPTV 190 (or before termination/suspension according to specified rules). The procedure for providing transmission data can be maintained.

본 발명의 실시 방법에 따르면, 상기 송신 데이터는 상기 저장매체의 특정 저장영역에 저장된 오디오 데이터를 더 포함할 수 있다.According to the implementation method of the present invention, the transmission data may further include audio data stored in a specific storage area of the storage medium.

상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 송신 데이터를 제공하는 중에, 상기 대화 인식부(145)는 상기 송신 데이터를 수신하여 출력 중인 상기 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 확인하고 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식한다. While providing the transmission data to the app or IPTV 190 of the user wireless terminal 185, the conversation recognition unit 145 receives the transmission data and outputs it to the app or IPTV of the user wireless terminal 185. The string corresponding to the user's voice or text obtained through (190) is checked and read to recognize the conversation string that the user spoke to the pet.

본 발명의 제1 문자열 확인 실시예에 따르면, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)에 구비된 사운드 입력부를 통해 입력된 사운드 신호에 대응하는 오디오 데이터를 획득하여 상기 운영서버(100)로 전송할 수 있으며, 상기 대화 인식부(145)는 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 오디오 데이터를 수신할 수 있다. 이 경우 상기 대화 인식부(145)는 상기 수신된 오디오 데이터에 대한 음성 인식을 시도하여 상기 송신 데이터를 시청하는 사용자가 발화한 내용에 대응하는 문자열을 확인하고, 상기 확인된 문자열을 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식할 수 있다. According to the first string confirmation embodiment of the present invention, the app or IPTV 190 of the user wireless terminal 185 is provided in the user wireless terminal 185 or IPTV 190 while receiving and outputting the transmission data. Audio data corresponding to the sound signal input through the sound input unit can be acquired and transmitted to the operation server 100, and the conversation recognition unit 145 can be connected to the app of the user wireless terminal 185 or IPTV 190. The audio data can be received from. In this case, the conversation recognition unit 145 attempts voice recognition for the received audio data, confirms a string corresponding to the content uttered by the user watching the transmitted data, and reads the confirmed string to determine the user's voice. You can recognize the dialogue string spoken to your pet.

한편 상기 송신 데이터를 수신하여 출력 중인 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 오디오 데이터를 수신하고, 상기 카메라장치(195)에 사운드 출력부가 구비된 경우, 상기 운영서버(100)는 상기 송신 데이터를 수신하여 출력 중인 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 획득된 오디오 데이터를 상기 카메라장치(195)로 전송하여 상기 카메라장치(195)의 사운드 출력부를 통해 출력하도록 처리하는 대화 처리부(도시생략)를 더 구비할 수 있다. On the other hand, when audio data acquired through the app or IPTV 190 of the user wireless terminal 185 that is receiving and outputting the transmission data is received, and the camera device 195 is equipped with a sound output unit, the operation server ( 100) transmits the audio data acquired through the app or IPTV 190 of the user wireless terminal 185 that is receiving and outputting the transmission data to the camera device 195 and connects the sound output unit of the camera device 195 to the camera device 195. It may further include a dialogue processing unit (not shown) that processes output through the display.

본 발명의 제2 문자열 확인 실시예에 따르면, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)에 구비된 사운드 입력부를 통해 입력된 사운드 신호에 대응하는 오디오 데이터를 획득하고 음성 인식을 시도하여 사용자가 발화한 내용에 대응하는 문자열을 확인한 후, 상기 음성 인식한 문자열을 상기 운영서버(100)로 전송할 수 있으며, 상기 대화 인식부(145)는 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 송신 데이터를 시청하는 사용자가 발화한 음성을 인식한 문자열을 수신할 수 있다. 이 경우 상기 대화 인식부(145)는 상기 수신된 문자열을 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식할 수 있다. According to the second string confirmation embodiment of the present invention, the app or IPTV 190 of the user wireless terminal 185 is provided in the user wireless terminal 185 or IPTV 190 while receiving and outputting the transmission data. After obtaining audio data corresponding to the sound signal input through the sound input unit and attempting voice recognition to confirm the string corresponding to the content uttered by the user, the voice-recognized string can be transmitted to the operation server 100. In addition, the conversation recognition unit 145 can receive a string that recognizes the voice uttered by the user watching the transmission data from the app of the user's wireless terminal 185 or the IPTV 190. In this case, the conversation recognition unit 145 can read the received character string and recognize the conversation string that the user spoke to the pet.

본 발명의 제3 문자열 확인 실시예에 따르면, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)의 입력수단을 통해 입력된 문자열을 상기 운영서버(100)로 전송할 수 있으며, 상기 대화 인식부(145)는 상기 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 문자열을 수신할 수 있다. 이 경우 상기 대화 인식부(145)는 상기 수신된 문자열을 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식할 수 있다. According to the third string confirmation embodiment of the present invention, the app of the user wireless terminal 185 or the IPTV 190 inputs the input of the user wireless terminal 185 or the IPTV 190 while receiving and outputting the transmission data. The input string can be transmitted to the operation server 100 through a means, and the conversation recognition unit 145 can receive the string from an app of the user wireless terminal 185 or IPTV 190. In this case, the conversation recognition unit 145 can read the received character string and recognize the conversation string that the user spoke to the pet.

상기 대화 인식부(145)를 통해 상기 송신 데이터를 시청 중인 사용자가 애완동물에게 대화한 대화 문자열을 인식한 경우, 상기 대화 의도 판별부(150)는 상기 인식된 대화 문자열을 자연어 처리하고 형태소 또는 구문 별로 분석하여 기 지정된 P개의 대화 의도 중 적어도 하나의 대화 의도에 대응하는 사용자 대화 의도를 판별한다.When the conversation recognition unit 145 recognizes the conversation string in which the user watching the transmission data spoke to the pet, the conversation intent determination unit 150 processes the recognized conversation string into natural language and uses morphemes or phrases to The user's conversation intention corresponding to at least one conversation intention among the pre-designated P conversation intentions is determined by analyzing them individually.

도면1을 참조하면, 상기 운영서버(100)는, 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 지정된 거점의 카메라장치(195)를 통해 획득된 획득 데이터 중 적어도 하나의 데이터를 판독하여 애완동물의 감정을 판별하기 위한 지정된 인식 대상의 인식 정보를 인식하는 정보 인식부(155)와, 지정된 감정상태 판별 정보를 근거로 상기 인식된 인식 정보와 기 설정된 기준 유사도 이상 매칭된 지정된 인식 대상의 패턴 정보를 확인하고 상기 확인된 패턴 정보와 매칭 관계를 지닌 하나 이상의 애완동물 감정 항목을 판별하는 정보 판별부(160)와, 상기 인식 정보와 패턴 정보 간 매칭 비율을 근거로 상기 패턴 정보와 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식 정보에 대응하는 하나 이상의 감정 항목 별 애완동물 감정 상태를 수치화한 감정 항목 별 애완동물 감정 상태 값을 산출하는 감정 상태 산출부(165)와, 상기 산출된 하나 이상의 애완동물 감정 상태 값을 이용하여 지정된 각 감정 항목 별 애완동물 감정 상태 정보를 생성하는 정보 생성부(170)를 포함한다. Referring to Figure 1, the operation server 100 reads at least one of the acquired data obtained through the camera device 195 at the designated base at a point in time before, during, or after determining the user's conversation intention. an information recognition unit 155 that recognizes recognition information of a designated recognition object for determining the pet's emotions, and a designated recognition object that matches the recognized recognition information with a preset standard similarity level or higher based on the designated emotional state determination information. An information determination unit 160 that checks the pattern information and determines one or more pet emotion items having a matching relationship with the confirmed pattern information, and determines the pattern information and the pet based on the matching ratio between the recognition information and the pattern information. an emotional state calculation unit 165 that reads correlation numerical relationships between animal emotional items and calculates a pet emotional state value for each emotional item that quantifies the pet emotional state for one or more emotional items corresponding to the recognition information; It includes an information generation unit 170 that generates pet emotional state information for each designated emotional item using the calculated one or more pet emotional state values.

상기 정보 인식부(155)는 상기 사용자 대화 의도를 판별하기 전 또는 중 또는 후의 일 시점에 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 애완동물의 안면 영역에 대한 f(1≤f≤F)개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i(i≥1)개의 애완동물 표정 인식 정보를 인식한다. The information recognition unit 155 reads designated video data to be provided to the app of the user wireless terminal 185 or the IPTV 190 at a point in time before, during, or after determining the user's conversation intention, and detects a specific pet within the base. While recognizing f (1≤f≤F) feature points of the animal's facial area, i (i≥1) pet expressions correspond to geometric relationships between feature points associated with the pet's emotional expression among the recognized f feature points. Recognize recognition information.

본 발명의 실시 방법에 따르면, 상기 지정된 비디오 데이터는 지정된 재생 시간 단위 별로 주기적으로 선별되는 비디오 데이터, 지정된 재생 프레임 수 별로 주기적으로 선별되는 비디오 데이터 중 적어도 하나의 비디오 데이터를 포함할 수 있다.According to the implementation method of the present invention, the designated video data may include at least one of video data periodically selected for each designated playback time unit and video data periodically selected for each designated number of playback frames.

상기 정보 인식부(155)는 상기 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 제공하는지 확인한다. 만약 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 상기 송신 데이터를 제공하는 경우, 상기 정보 인식부(155)는 상기 송신 데이터의 비디오 데이터 중 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 애완동물의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 애완동물 표정 인식 정보를 인식할 수 있다. The information recognition unit 155 is an app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B or an IPTV (190) identified/authenticated through the ID/PW information stored in the management D/B. ) to check whether transmission data including video data stored in a specific storage area of the storage medium is provided. If the transmission data is provided to the app of the user wireless terminal 185 or the IPTV 190, the information recognition unit 155 reads the designated video data among the video data of the transmission data and determines the While recognizing f feature points of the animal's facial area, i pet expression recognition information corresponding to the geometric relationship between feature points related to the emotional expression of the pet among the recognized f feature points can be recognized.

상기 정보 인식부(155)를 통해 i개의 애완동물 표정 인식 정보가 인식되면, 상기 정보 판별부(160)는 상기 운영D/B에 저장된 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 애완동물 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e(1≤e≤E)개의 애완동물 표정 패턴 정보를 확인한다. 만약 상기 인식된 i개의 애완동물 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e개의 애완동물 표정 패턴 정보가 확인되면, 상기 정보 판별부(160)는 상기 확인된 e개의 애완동물 표정 패턴 정보와 매칭 관계를 지닌 n1(1≤n1≤N1)개의 애완동물 감정 항목을 판별한다. When i pet facial expression recognition information is recognized through the information recognition unit 155, the information determination unit 160 determines the i pet based on the facial expression-based emotional state determination information stored in the operation D/B. Check e (1≤e≤E) pet expression pattern information that matches the animal expression recognition information and a preset standard similarity level or higher. If e pet expression pattern information that matches the i recognized pet expression recognition information and a preset standard similarity level or higher is confirmed, the information determination unit 160 matches the identified e pet expression pattern information. Determine n1 (1≤n1≤N1) pet emotion items with relationships.

상기 정보 판별부(160)를 통해 i개의 애완동물 표정 인식 정보에 대응하는 n1개의 애완동물 감정 항목이 판별되면, 상기 감정 상태 산출부(165)는 상기 인식된 i개의 애완동물 표정 인식 정보와 상기 e개의 애완동물 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 애완동물 표정 패턴 정보와 n1개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 애완동물 표정 인식 정보에 대응하는 n1개의 감정 항목 별 애완동물 감정 상태를 수치화한 n1개의 감정 항목 별 애완동물 감정 상태 값을 산출하고, 상기 정보 생성부(170)는 상기 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n(1≤n≤N)개의 감정 항목 별 애완동물 감정 상태 정보를 생성한다. 여기서 각 감정 항목 별 애완동물 감정 상태 정보는 각 감정 항목 별 애완동물의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When n1 pet emotion items corresponding to the i pet expression recognition information are determined through the information determination unit 160, the emotional state calculation unit 165 selects the i recognized pet expression recognition information and the Based on the matching ratio between the e pet expression pattern information, the correlation numerical relationship between the e pet expression pattern information and the n1 pet emotion items is read, and n1 corresponding to the recognized i pet expression recognition information is read. The pet emotional state value for each n1 emotional item is calculated, which quantifies the pet emotional state for each emotional item, and the information generator 170 uses the calculated pet emotional state value for each n1 emotional item to create a video video. Generates pet emotional state information for each n (1≤n≤N) specified emotional items that can be displayed on the data. Here, the pet emotional state information for each emotional item may include numerical information (or rating information) about the pet's emotional state for each emotional item.

본 발명의 확장/다른 실시예에 따라 상기 운영D/B에 상기 동물 소리 기반 감정상태 판별 정보가 저장되고, 상기 저장매체의 특정 저장영역에 비디오 데이터와 오디오 데이터가 연계 저장된 경우, 상기 정보 인식부(155)는 상기 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 애완동물에 대한 j(j≥1)개의 동물 소리 인식 정보를 인식할 수 있다.According to an extended/different embodiment of the present invention, when the animal sound-based emotional state determination information is stored in the operating D/B, and video data and audio data are linked and stored in a specific storage area of the storage medium, the information recognition unit (155) may recognize j (j ≥ 1) animal sound recognition information for the specific pet by reading audio data of a certain section associated with the video data.

한편 상기 정보 인식부(155)를 통해 j개의 동물 소리 인식 정보가 인식되면, 상기 정보 판별부(160)는 상기 운영D/B에 저장된 동물 소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 동물 소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c(1≤c≤C)개의 동물 소리 패턴 정보를 확인한다. 만약 상기 인식된 j개의 동물 소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c개의 동물 소리 패턴 정보가 확인되면, 상기 정보 판별부(160)는 상기 확인된 c개의 동물 소리 패턴 정보와 매칭 관계를 지닌 n2(1≤n2≤N2)개의 애완동물 감정 항목을 판별한다. Meanwhile, when j pieces of animal sound recognition information are recognized through the information recognition unit 155, the information determination unit 160 determines the j pieces of recognized animal sound-based emotional state information stored in the operation D/B. Confirm c (1≤c≤C) animal sound pattern information that matches the animal sound recognition information and a preset standard similarity level or higher. If c animal sound pattern information that matches the recognized j animal sound recognition information and a preset standard similarity or higher is confirmed, the information determination unit 160 has a matching relationship with the confirmed c animal sound pattern information. Determine n2 (1≤n2≤N2) pet emotion items.

상기 정보 판별부(160)를 통해 j개의 동물 소리 인식 정보에 대응하는 n2개의 애완동물 감정 항목이 판별되면, 상기 감정 상태 산출부(165)는 상기 인식된 j개의 동물 소리 인식 정보와 상기 c개의 동물 소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 동물 소리 패턴 정보와 n2개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 동물 소리 인식 정보에 대응하는 n2개의 감정 항목 별 애완동물 감정 상태를 수치화한 n2개의 감정 항목 별 애완동물 감정 상태 값을 산출하고, 상기 정보 생성부(170)는 상기 산출된 n2개의 감정 항목 별 애완동물 감정 상태 값을 (추가)이용하여 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성할 수 있다. 여기서 각 감정 항목 별 애완동물 감정 상태 정보는 각 감정 항목 별 애완동물의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When n2 pet emotion items corresponding to the j animal sound recognition information are determined through the information determination unit 160, the emotional state calculation unit 165 determines the j animal sound recognition information and the c Based on the matching ratio between the animal sound pattern information, the correlation and numerical relationship between the c animal sound pattern information and the n2 pet emotion items are read, and the n2 pet emotion items corresponding to the recognized j animal sound recognition information are read. Calculate pet emotional state values for each of the n2 emotion items that quantify the animal's emotional state, and the information generator 170 uses (additionally) the calculated pet emotional state values for each of the n2 emotional items to specify n designated emotional state values. You can generate pet emotional state information for each emotional item. Here, the pet emotional state information for each emotional item may include numerical information (or rating information) about the pet's emotional state for each emotional item.

본 발명의 실시 방법에 따르면, 상기 i개의 애완동물 표정 인식 정보를 근거로 n1개의 감정 항목 별 애완동물 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(170)는 상기 i개의 애완동물 표정 인식 정보를 근거로 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값과 상기 j개의 동물 소리 인식 정보를 근거로 산출된 n2개의 감정 항목 별 애완동물 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 애완동물 감정 상태 정보는 'n1개의 감정 항목 별 애완동물 감정 상태 값 ∩ n2개의 감정 항목 별 애완동물 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. According to the implementation method of the present invention, when the pet emotional state value for each n1 emotion item is already calculated based on the i pet facial expression recognition information, the information generator 170 recognizes the i pet facial expressions. Pet emotional state values for n1 emotional items calculated based on the information and pet emotional state values for n2 emotional items calculated based on the j animal sound recognition information to designate n pets for each emotional item. Emotional state information can be generated. Preferably, the pet emotional state information for each n emotional item is a union relationship of 'pet emotional state value for n1 emotional items ∩ pet emotional state value for n2 emotional items', or a subset relationship of the union. It can be.

한편 상기 n1개의 감정 항목 별 애완동물 감정 상태 값과 n2개의 감정 항목 별 애완동물 감정 상태 값을 조합하여 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성 시, 상기 정보 생성부(170)는 상기 n1개의 감정 항목과 n2개의 감정 항목 중 중복되는 감정 항목에 대하여 각 애완동물 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 동물 소리 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 애완동물 감정 상태 정보를 생성할 수 있다. Meanwhile, when generating pet emotional state information for each n emotional item by combining the pet emotional state value for each n1 emotional item and the pet emotional state value for each n2 emotional item, the information generator 170 generates pet emotional state information for each n1 emotional item. For the dog's emotional item and the overlapping emotional items among the n2 emotional items, the designated statistical operation (e.g., average value calculation operation) for each pet's emotional state value or the correlation between the emotional item and the facial expression or animal sound is specified. Pet emotional state information of the overlapping emotional items can be generated through statistical calculations that apply specified weights to the recognition target.

본 발명의 확장/다른 실시예에 따라 상기 운영D/B에 상기 센싱 기반 감정상태 판별 정보가 저장되고, 상기 저장매체의 특정 저장영역에 비디오 데이터 및/또는 오디오 데이터와 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터가 연계 저장된 경우, 상기 정보 인식부(155)는 상기 비디오 데이터 ??/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 애완동물의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k(k≥1)개의 센싱 값 인식 정보를 인식할 수 있다.According to an extended/different embodiment of the present invention, the sensing-based emotional state determination information is stored in the operating D/B, and video data and/or audio data and the camera device 195 are stored in a specific storage area of the storage medium. When sensing data sensed through a provided or linked sensor module is linked and stored, the information recognition unit 155 reads the sensing data linked to the video data??/or audio data to determine the emotional expression and expression of the specific pet. K (k≥1) pieces of sensing value recognition information about sensing data of a designated sensing target can be recognized.

한편 상기 정보 인식부(155)를 통해 k개의 센싱 값 인식 정보가 인식되면, 상기 정보 판별부(160)는 상기 운영D/B에 저장된 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s(1≤s≤S)개의 센싱 값 패턴 정보를 확인한다. 만약 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s개의 센싱 값 패턴 정보가 화긴되면, 상기 정보 판별부(160)는 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3(1≤n3≤N3)개의 애완동물 감정 항목을 판별한다. Meanwhile, when k sensing value recognition information is recognized through the information recognition unit 155, the information determination unit 160 recognizes the k sensing values based on the sensing-based emotional state determination information stored in the operation D/B. Check s (1≤s≤S) sensing value pattern information that matches the value recognition information and a preset standard similarity level or higher. If the s sensing value pattern information that matches the recognized k sensing value recognition information and a preset standard similarity or higher is identified, the information determination unit 160 determines the s sensing value pattern information having a matching relationship with the confirmed s sensing value pattern information. Determine n3 (1≤n3≤N3) pet emotion items.

상기 정보 판별부(160)를 통해 k개의 센싱 값 인식 정보에 대응하는 n3개의 애완동물 감정 항목이 판별되면, 상기 감정 상태 산출부(165)는 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 애완동물 감정 상태를 수치화한 n3개의 감정 항목 별 애완동물 감정 상태 값을 산출하고, 상기 정보 생성부(170)는 상기 산출된 n3개의 감정 항목 별 애완동물 감정 상태 값을 (추가)이용하여 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성할 수 있다. 여기서 각 감정 항목 별 애완동물 감정 상태 정보는 각 감정 항목 별 애완동물의 감정 상태에 대한 수치정보(또는 등급정보)를 포함할 수 있다.When n3 pet emotion items corresponding to the k sensing value recognition information are determined through the information determination unit 160, the emotional state calculation unit 165 determines the k sensing value recognition information and the s Based on the matching ratio between the sensing value pattern information, the correlation numerical relationship between the s sensing value pattern information and the n3 pet emotion items is read, and the n3 pet emotion items corresponding to the recognized k sensing value recognition information are read. Calculate pet emotional state values for each of the n3 emotion items that quantify the animal's emotional state, and the information generator 170 uses (additionally) the calculated pet emotional state values for each of the n3 emotional items to specify n designated emotional state values. You can generate pet emotional state information for each emotional item. Here, the pet emotional state information for each emotional item may include numerical information (or rating information) about the pet's emotional state for each emotional item.

본 발명의 실시 방법에 따르면, 상기 i개의 애완동물 표정 인식 정보를 근거로 n1개의 감정 항목 별 애완동물 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(170)는 상기 i개의 애완동물 표정 인식 정보를 근거로 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값과 상기 k개의 센싱 값 인식 정보를 근거로 산출된 n3개의 감정 항목 별 애완동물 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 애완동물 감정 상태 정보는 'n1개의 감정 항목 별 애완동물 감정 상태 값 ∩ n3개의 감정 항목 별 애완동물 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. According to the implementation method of the present invention, when the pet emotional state value for each n1 emotion item is already calculated based on the i pet facial expression recognition information, the information generator 170 recognizes the i pet facial expressions. Pet emotional state values for n1 emotional items calculated based on information and pet emotional state values for n3 emotional items calculated based on the k sensing value recognition information. Pets for n emotional items specified. Emotional state information can be generated. Preferably, the pet emotional state information for each n emotional item is a union relationship of 'pet emotional state value for n1 emotional items ∩ pet emotional state value for n3 emotional items', or a subset relationship of the union. It can be.

한편 상기 n1개의 감정 항목 별 애완동물 감정 상태 값과 n3개의 감정 항목 별 애완동물 감정 상태 값을 조합하여 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성 시, 상기 정보 생성부(170)는 상기 n1개의 감정 항목과 n3개의 감정 항목 중 중복되는 감정 항목에 대하여 각 애완동물 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 지정된 센싱 대상의 센싱 값 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 애완동물 감정 상태 정보를 생성할 수 있다. Meanwhile, when generating pet emotional state information for each n emotion item by combining the pet emotional state value for each n1 emotional item and the pet emotional state value for each n3 emotional item, the information generator 170 generates pet emotional state information for each n1 emotional item. For the dog's emotion item and the n3 emotion items that overlap, a specified statistical operation (e.g., average value calculation operation) for each pet's emotional state value or a correlation between the emotion item and the facial expression or the sensing value of the designated sensing object. Pet emotional state information of the overlapping emotional items can be generated through a statistical operation that assigns a designated weight to a designated recognition target according to the relationship.

한편 본 발명의 실시 방법에 따르면, 상기 i개의 애완동물 표정 인식 정보를 근거로 n1개의 감정 항목 별 애완동물 감정 상태 값과 상기 j개의 동물 소리 인식 정보를 n2개의 감정 항목 별 애완동물 감정 상태 값이 기 산출된 경우, 상기 정보 생성부(170)는 상기 i개의 애완동물 표정 인식 정보를 근거로 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값과 상기 j개의 동물 소리 인식 정보를 근거로 산출된 n2개의 감정 항목 별 애완동물 감정 상태 값 및 상기 k개의 센싱 값 인식 정보를 근거로 산출된 n3개의 감정 항목 별 애완동물 감정 상태 값을 조합하여 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성할 수 있다. 바람직하게, 상기 n개의 감정 항목 별 애완동물 감정 상태 정보는 'n1개의 감정 항목 별 애완동물 감정 상태 값 ∩ n2개의 감정 항목 별 애완동물 감정 상태 값 ∩ n3개의 감정 항목 별 애완동물 감정 상태 값'의 합집합 관계이거나, 또는 상기 합집합의 부분집합 관계일 수 있다. Meanwhile, according to the implementation method of the present invention, based on the i pet facial expression recognition information, the pet emotional state value for each n1 emotional item and the j animal sound recognition information are converted into a pet emotional state value for each n2 emotional item. In the case of pre-calculation, the information generator 170 generates pet emotional state values for each n1 emotion items calculated based on the i pet facial expression recognition information and n2 calculated based on the j animal sound recognition information. By combining the pet emotional state values for each emotional item and the pet emotional state values for each n3 emotional items calculated based on the k sensing value recognition information, pet emotional state information for each n designated emotional items can be generated. there is. Preferably, the pet emotional state information for each n emotion item is 'pet emotional state value for n1 emotional items ∩ pet emotional state value for n2 emotional items ∩ pet emotional state value for n3 emotional items.' It may be a union relationship, or a subset relationship of the union.

한편 상기 n1개의 감정 항목 별 애완동물 감정 상태 값과 n2개의 감정 항목 별 애완동물 감정 상태 값 및 n3개의 감정 항목 별 애완동물 감정 상태 값 등을 조합하여 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성 시, 상기 정보 생성부(170)는 상기 n1개의 감정 항목과 n2개의 감정 항목 및 n3개의 감정 항목 중 중복되는 감정 항목에 대하여 각 애완동물 감정 상태 값에 대한 지정된 통계 연산(예컨대, 평균 값 산출 연산)이나 해당 감정 항목과 표정 또는 동물 소리 또는 지정된 센싱 대상의 센싱 값 사이의 상관 관계에 따라 지정된 인식 대상에 지정된 가중치를 부여한 통계 연산을 통해 상기 중복되는 감정 항목의 애완동물 감정 상태 정보를 생성할 수 있다. Meanwhile, the pet emotional state value for each n1 emotional item, the pet emotional state value for each n2 emotional item, and the pet emotional state value for each n3 emotional item are combined to generate pet emotional state information for each n emotional item. At this time, the information generator 170 performs a designated statistical operation (e.g., average value calculation operation) for each pet emotional state value for overlapping emotional items among the n1 emotional items, n2 emotional items, and n3 emotional items. ) or through a statistical operation that assigns a specified weight to the specified recognition target according to the correlation between the corresponding emotional item and the facial expression, animal sound, or sensing value of the specified sensing target, pet emotional state information of the overlapping emotional item can be generated. there is.

도면1을 참조하면, 상기 운영서버(100)는, 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하는 가상객체 확인부(175)와, 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강하는 대화 응답 증강부(180)와, 애완동물 입장에서 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 데이터 제공부(140)를 포함한다.Referring to Figure 1, the operation server 100 is configured to match r (1 ≤ r A virtual object confirmation unit 175 that checks ≤R) virtual object data, and q (1≤q≤r) virtual object data specified in a designated area within the pet face area or an area around the pet face on the video data. A conversation response enhancer 180 that overlaps and augments the response to the determined user conversation intention based on the pet's emotional state from the pet's perspective through a designated area within the pet's face area or an area around the pet's face; A data provider 140 that provides transmission data including augmented video data to the app or IPTV 190 of the user wireless terminal 185 for a specified period of time to respond to the determined user conversation intention from the pet's perspective. Includes.

상기 정보 생성부(170)를 통해 각 감정 항목 별 애완동물의 감정 상태에 대한 수치정보(또는 등급정보)를 포함하는 n개의 감정 항목 별 애완동물 감정 상태 정보가 생성되면, 상기 가상객체 확인부(175)는 상기 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인한다. When pet emotional state information for n emotional items including numerical information (or rating information) about the emotional state of the pet for each emotional item is generated through the information generation unit 170, the virtual object confirmation unit ( 175) identifies r (1 ≤ r ≤ R) virtual object data matching the determined user conversation intention based on the virtual object matching information and the pet emotional state information for each of the generated n emotional items.

본 발명의 실시 방법에 따르면, 상기 r개의 가상객체 데이터는 상기 판별된 사용자 대화 의도에 대한 애완동물 감정 상태 기준의 응답으로서 애완동물 안면 영역 내의 지정 부위에 중첩 표시되는 가상객체 데이터, 상기 판별된 사용자 대화 의도에 대한 애완동물 감정 상태 기준 응답에 대응하는 문자열을 말풍선 형태로 표시하여 애완동물 안면 주변 영역에 중첩 표시되는 가상객체 데이터 중 적어도 하나의 가상객체 데이터를 포함할 수 있다. 한편 상기 애완동물 안면 영역 내의 지정 부위는 애완동물의 머리카락 부위, 애완동물의 이마 부위, 애완동물의 관자놀이 부위, 애완동물의 양 눈썹 부위, 애완동물의 양 안과 양 눈썹 사이 부위, 애완동물의 양 안 부위, 애완동물의 양 안 사이 부위, 애완동물의 양 안 바깥쪽 부위, 애완동물의 양 안 아래쪽 부위, 애완동물의 양 광대 부위, 애완동물의 양 볼 부위, 애완동물의 콧등 부위, 애완동물의 코 부위, 애완동물의 인중 부위, 애완동물의 입 부위, 애완동물의 입술 부위, 애완동물의 입 바깥쪽 부위, 애완동물의 입 아래쪽 부위, 애완동물의 턱 부위, 애완동물의 목 부위 중 적어도 하나 또는 둘 이상의 조합 부위를 포함할 수 있다.According to the implementation method of the present invention, the r virtual object data is virtual object data overlaid on a designated area in the pet facial area as a response to the pet emotional state standard for the determined user conversation intention, and the determined user A string corresponding to a response based on the pet's emotional state for conversation intent may be displayed in the form of a speech bubble and may include at least one virtual object data among the virtual object data displayed overlapping in the area around the pet's face. Meanwhile, the designated areas within the pet's facial area include the pet's hair area, the pet's forehead area, the pet's temple area, the pet's both eyebrows area, the area between both eyes of the pet and both eyebrows, and both eyes of the pet. Area, the area between the inside of both the pet's sheep, the area outside the inside of the pet's sheep, the inner and lower part of the pet's sheep, the cheek area of the pet's sheep, the cheek area of the pet, the bridge of the pet's nose, the pet's At least one of the nose area, the pet's philtrum area, the pet's mouth area, the pet's lips area, the outer area of the pet's mouth, the lower part of the pet's mouth, the pet's jaw area, and the pet's neck area. Or it may include two or more combination sites.

상기 가상객체 확인부(175)를 통해 상기 가상객체 매칭 정보와 상기 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r개의 가상객체 데이터가 확인되면, 상기 대화 응답 증강부(180)는 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 중첩 표시할 q개의 가상객체 데이터를 확인 또는 선별한다. When r virtual object data matching the determined user conversation intent is confirmed based on the virtual object matching information and the pet emotional state information for each of the n emotional items through the virtual object confirmation unit 175, the conversation The response enhancer 180 confirms or selects q pieces of virtual object data to be displayed overlaid on a designated area within the pet's face area or the area around the pet's face on the video data.

본 발명의 제1 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터를 그대로 포함할 수 있다.According to the first virtual object embodiment of the present invention, the q virtual object data may include the r virtual object data as is.

본 발명의 제2 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 상기 판별된 사용자 대화 의도에 가장 부합한 것으로 선별된 가상객체 데이터를 포함할 수 있다.According to the second virtual object embodiment of the present invention, the q pieces of virtual object data may include virtual object data selected as the one that best matches the determined user conversation intention among the r pieces of virtual object data.

본 발명의 제3 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 애완동물 안면 영역 내의 동일 부위에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함할 수 있다.According to the third virtual object embodiment of the present invention, the q virtual object data includes virtual object data selected so that one virtual object data is displayed overlapping on the same part in the pet facial area among the r virtual object data. can do.

본 발명의 제4 가상객체 실시예에 따르면, 상기 q개의 가상객체 데이터는 상기 r개의 가상객체 데이터 중 애완동물 안면 주변의 동일 영역에 하나의 가상객체 데이터를 중첩 표시되도록 선별된 가상객체 데이터를 포함할 수 있다.According to the fourth virtual object embodiment of the present invention, the q virtual object data includes virtual object data selected so that one virtual object data is displayed overlapping in the same area around the pet's face among the r virtual object data. can do.

상기 대화 응답 증강부(180)는 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 상기 제1 내지 제4 가상객체 실시예 중 적어도 하나 또는 둘 이상의 조합에 대응하는 q개의 가상객체 데이터를 중첩 표시하여 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강한다. The conversation response enhancer 180 creates q virtual objects corresponding to at least one or a combination of two or more of the first to fourth virtual object embodiments in a designated area within the pet face area or the area around the pet face on the video data. The data is displayed overlapping and augmented to respond to the determined user conversation intention based on the pet's emotional state from the pet's perspective through a designated area within the pet's face area or an area around the pet's face.

본 발명의 실시 방법에 따르면, 상기 q개의 가상객체 데이터가 애완동물 안면 주변 영역에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 대화 응답 증강부(180)는 상기 비디오 데이터 상의 애완동물 안면의 지향 방향을 인식하며, 이 경우 상기 대화 응답 증강부(180)는 상기 애완동물 안면의 지향 방향에 대응하는 애완동물 안면 주변 영역에 상기 지정된 가상객체 데이터를 중첩 표시할 수 있다. According to the implementation method of the present invention, when the q pieces of virtual object data include virtual object data designated to be displayed overlapping in the area around the pet's face, the conversation response enhancer 180 is configured to display the pet's face on the video data. The orientation direction is recognized, and in this case, the conversation response enhancer 180 may overlay and display the specified virtual object data in the area around the pet's face corresponding to the orientation direction of the pet's face.

본 발명의 실시 방법에 따르면, 상기 q개의 가상객체 데이터가 애완동물 안면 영역 내의 지정 부위에 중첩 표시하도록 지정된 가상객체 데이터를 포함하는 경우, 상기 대화 응답 증강부(180)는 상기 비디오 데이터 상의 애완동물 안면의 지향 방향과 카메라 촬영 방향 간 3차원 좌표계 상의 각도 정보를 산출할 수 있으며, 이 경우 상기 대화 응답 증강부(180)는 상기 산출된 각도 정보를 근거로 상기 지정된 가상객체 데이터의 중첩 표시 방향이 상기 애완동물 안면 영역 내의 지정 부위 별 방향에 대응하도록 좌표 변환하여 중첩 표시할 수 있다. According to the implementation method of the present invention, when the q pieces of virtual object data include virtual object data designated to be displayed overlapping a designated portion within the pet's facial area, the conversation response enhancer 180 is configured to display the pet on the video data. It is possible to calculate angle information on a three-dimensional coordinate system between the orientation direction of the face and the camera shooting direction. In this case, the conversation response enhancer 180 determines the overlapping display direction of the specified virtual object data based on the calculated angle information. Coordinates can be converted to correspond to the direction of each designated part within the pet's facial area and displayed overlapping.

상기 데이터 제공부(140)는 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 q개의 가상객체 데이터를 중첩 표시하여 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 지정된 일정 시간 동안 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하며, 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력할 수 있다. 바람직하게, 상기 송신 데이터는 상기 비디오 데이터 외에 오디오 데이터를 더 포함할 수 있으며, 이에 의해 본 발명이 한정되지 아니한다. The data provider 140 displays q virtual object data overlaid on a designated area within the pet face area or an area around the pet's face, allowing the pet to enter through the designated area within the pet face area or the area around the pet's face. Provides transmission data including augmented video data to the app or IPTV 190 of the designated user's wireless terminal 185 for a designated period of time to respond to the user's conversation intention determined based on the pet's emotional state, and The app of the user wireless terminal 185 or the IPTV 190 can receive and output the transmission data. Preferably, the transmission data may further include audio data in addition to the video data, but the present invention is not limited thereto.

도면2는 본 발명의 실시 방법에 따른 정보 저장/등록 과정을 도시한 도면이다.Figure 2 is a diagram illustrating the information storage/registration process according to the implementation method of the present invention.

보다 상세하게 본 도면2는 지정된 각 감정 항목 별 애완동물 감정 상태 정보를 생성하기 위한 지정된 인식 대상(예컨대, 애완동물 표정, 애완동물의 동물 소리, 지정된 센서모듈을 통해 아깅의 지정된 센싱 대사을 센싱한 센싱 값 등) 별 감정상태 판별 정보를 운영D/B에 저장하거나, 지정된 대화 의도에 대한 애완동물 입장의 응답에 대응하는 가상객체 데이터를 운영D/B에 저장하고 지정된 감정 항목 별 애완동물 감정 상태 정보를 근거로 대화 의도와 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장하거나, 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 애완동물을 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(195)를 매핑하는 정보를 등록받아 지정된 관리D/B에 저장하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, Figure 2 shows a designated recognition target (e.g., a pet's facial expression, a pet's animal sound, and a designated sensing line of the aging through a designated sensor module) to generate pet emotional state information for each designated emotional item. value, etc.) is stored in the operation D/B, or virtual object data corresponding to the pet's response to the designated conversation intention is stored in the operation D/B, and pet emotional state information is stored for each specified emotion item. Based on this, virtual object matching information that matches conversation intention and virtual object data is stored, or transmission data including video data captured of a specific pet within the designated base is provided through the camera device 195 provided at the designated base. This shows the process of registering information mapping the camera device 195 with the target to be received and storing it in a designated management database. For those skilled in the art, refer to Figure 2. And/or modifications may be made to infer various implementation methods for the above process (e.g., implementation methods in which some steps are omitted or the order is changed), but the present invention includes all the inferred implementation methods, The technical features are not limited to the implementation method shown in Figure 2.

도면2를 참조하면, 상기 운영서버(100)는 애완동물의 감정 상태를 판별하기 위해 인식하도록 지정된 인식 대상의 패턴 정보와 각 애완동물 감정 항목 사이의 매칭 관계정보 및 상기 지정된 인식 대상의 패턴 정보와 각 애완동물 감정 항목 간 상관도를 수치화한 상관도 수치 관계정보를 포함하는 지정된 인식 대상 별 감정상태 판별 정보를 지정된 운영D/B에 등록 저장하여 관리한다(200).Referring to Figure 2, the operation server 100 includes pattern information of a recognition target designated to be recognized in order to determine the emotional state of a pet, matching relationship information between each pet emotion item, and pattern information of the designated recognition target. Emotional state determination information for each designated recognition target, including numerical relationship information and a quantified correlation between each pet emotional item, is registered and stored in the designated operation DB and managed (200).

본 발명의 실시 방법에 따르면, 상기 운영서버(100)는 애완동물의 안면 영역에 존재하는 F개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 E개의 애완동물 표정 패턴 정보와 지정된 N개의 애완동물 감정 항목 중 애완동물 표정 패턴을 근거로 구별 가능한 N1개의 애완동물 감정 항목 사이의 매칭 관계정보를 포함하고 상기 E개의 애완동물 표정 패턴 정보와 N1개의 애완동물 감정 항목 간 상관도를 수치화한 표정 기반 상관도 수치 관계정보를 포함하는 표정 기반 감정상태 판별 정보를 지정된 운영D/B에 등록 저장한다. According to the implementation method of the present invention, the operation server 100 provides E pet expression pattern information corresponding to the geometric relationship between feature points associated with the emotional expression of the pet among the F feature points present in the facial area of the pet and the designated It includes matching relationship information between N1 pet emotion items that can be distinguished based on pet expression patterns among N pet emotion items, and quantifies the correlation between the E pet expression pattern information and N1 pet emotion items. Expression-based emotional state determination information, including facial expression-based correlation and numerical relationship information, is registered and stored in the designated operation D/B.

본 발명의 확장/다른 실시예에 따르면, 상기 운영서버(100)는 애완동물의 동물 소리 패턴 중 애완동물의 감정 표현과 연관된 C개의 동물 소리 패턴 정보와 지정된 N개의 애완동물 감정 항목 중 동물 소리 패턴을 근거로 구별 가능한 N2개의 애완동물 감정 항목 사이의 매칭 관계정보를 포함하고 상기 C개의 동물 소리 패턴 정보와 N2개의 애완동물 감정 항목 간 상관도를 수치화한 동물 소리 기반 상관도 수치 관계정보를 포함하는 동물 소리 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다. According to an extension/another embodiment of the present invention, the operation server 100 provides C animal sound pattern information related to the emotional expression of the pet among the pet animal sound patterns and animal sound pattern information among the N designated pet emotion items. Contains matching relationship information between N2 pet emotion items that can be distinguished based on, and animal sound-based correlation numerical relationship information that quantifies the correlation between the C animal sound pattern information and N2 pet emotion items. Animal sound-based emotional state determination information can be registered and stored in the operation database.

한편 본 발명의 확장/다른 실시예에 따르면, 상기 운영서버(100)는 상기 카메라장치(195)에 구비되거나 연계된 센서모듈을 통해 센싱된 센싱 데이터 중 애완동물의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 S개의 센싱 값 패턴 정보와 지정된 N개의 애완동물 감정 항목 중 지정된 센싱 대상의 센싱 값 패턴을 근거로 구별 가능한 N3개의 애완동물 감정 항목 사이의 매칭 관계정보를 포함하고 상기 S개의 센싱 값 패턴 정보와 N3개의 애완동물 감정 항목 간 상관도를 수치화한 센싱 기반 상관도 수치 관계정보를 포함하는 센싱 기반 감정상태 판별 정보를 운영D/B에 등록 저장할 수 있다.Meanwhile, according to an extension/another embodiment of the present invention, the operation server 100 selects a designated sensing target related to the emotional expression of the pet among the sensing data sensed through a sensor module provided or linked to the camera device 195. Contains matching relationship information between S sensing value pattern information for sensing data and N3 pet emotion items that can be distinguished based on the sensing value pattern of a designated sensing target among the designated N pet emotion items, and the S sensing values Sensing-based emotional state determination information, including numerical relationship information and sensing-based correlation that quantifies the correlation between pattern information and N3 pet emotional items, can be registered and stored in the operation D/B.

도면2를 참조하면, 상기 운영서버(100)는 애완동물의 부모나 친인척 또는 보호자 등이 애완동물에게 대화를 시도하는 대화 의도를 지정된 카테고리 별로 분류한 지정된 P개의 대화 의도에 대한 애완동물 입장의 응답에 대응하는 R(R≥2)개의 가상객체 데이터를 운영D/B에 등록 저장하고(205), 상기 표정 기반 감정상태 판별 정보와 동물 소리 기반 감정상태 판별 정보와 센싱 기반 감정상태 판별 정보 중 적어도 하나의 감정상태 판별 정보를 근거로 생성되는 지정된 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 P개의 대화 의도와 R개의 가상객체 데이터를 매칭하는 가상객체 매칭 정보를 저장한다(210).Referring to Figure 2, the operation server 100 classifies the conversation intentions of the pet's parents, relatives, or guardians attempting to talk to the pet by designated categories. R (R≥2) virtual object data corresponding to the response is registered and stored in the operation D/B (205), and among the facial expression-based emotional state determination information, animal sound-based emotional state determination information, and sensing-based emotional state determination information Virtual object matching information that matches the P conversation intentions and R virtual object data is stored based on pet emotional state information for each designated emotional item generated based on at least one emotional state determination information (210).

도면2를 참조하면, 상기 운영서버(100)는 지정된 거점에 구비된 카메라장치(195)를 통해 상기 거점 내의 특정 애완동물을 촬영한 비디오 데이터를 포함하는 송신 데이터를 제공받을 대상과 상기 카메라장치(195)를 매핑하기 위해 사용자 무선단말(185)의 앱으로부터 사용자에 대한 사용자정보, 상기 사용자에게 제공/공급된 카메라장치(195)를 고유 식별하는 카메라장치(195)정보, 상기 사용자 무선단말(185)의 앱을 고유 식별하는 고유식별정보 및 상기 사용자가 설정한 ID/PW정보 등을 지정된 절차에 따라 매핑 등록 요청할 수 있으며(215), 상기 운영서버(100)는 상기 사용자 무선단말(185)의 앱으로부터 상기 사용자정보, 카메라장치(195)정보, 고유식별정보 및 ID/PW정보 등을 지정된 절차에 따라 수신하고(220), 상기 사용자정보, 카메라장치(195)정보, 고유식별정보 및 ID/PW정보 등을 지정된 관리Dd/B에 연계 저장한다(225). 한편 실시 방법에 따라 상기 사용자정보와 카메라장치(195)정보 및 ID/PW정보 등은 상기 카메라장치(195)를 구매하거나 공급받는 사용자가 이용하는 사용자단말이나 상기 사용자의 가입신청서를 접수한 지정된 등록단말을 통해 등록될 수 있다.Referring to Figure 2, the operation server 100 is configured to receive transmission data including video data captured of a specific pet within the designated base through the camera device 195 provided at the designated base and the camera device ( 195), user information about the user from the app of the user wireless terminal 185, camera device 195 information uniquely identifying the camera device 195 provided/supplied to the user, and the user wireless terminal 185 ) of the app and the ID/PW information set by the user may be requested for mapping registration (215) according to a designated procedure, and the operation server 100 may request registration of the user's wireless terminal (185). Receive (220) the user information, camera device 195 information, unique identification information, and ID/PW information from the app according to a designated procedure, and receive the user information, camera device 195 information, unique identification information, and ID/PW information, etc. PW information, etc. are linked and stored in the designated management Dd/B (225). Meanwhile, depending on the implementation method, the user information, camera device 195 information, ID/PW information, etc. are stored in a user terminal used by the user who purchases or receives the camera device 195 or a designated registration terminal that receives the user's application for membership. It can be registered through .

도면3은 본 발명의 실시 방법에 따라 지정된 거점의 카메라장치(195)를 통해 획득한 획득 데이터를 전송하여 지정된 저장매체에 저장 관리하는 도시한 도면이다.Figure 3 is a diagram showing how acquired data acquired through the camera device 195 at a designated base is transmitted and stored and managed in a designated storage medium according to the implementation method of the present invention.

보다 상세하게 본 도면3은 지정된 거점에 구비된 카메라장치(195)의 카메라모듈을 통해 획득한 비디오 데이터를 포함하는 획득 데이터를 운영서버(100)로 전송하여 지정된 저자매체의 특정 저장영역에 저장하여 관리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, Figure 3 shows that the acquired data, including video data acquired through the camera module of the camera device 195 provided at the designated base, is transmitted to the operation server 100 and stored in a specific storage area of the designated author media. As a illustration of the management process, those of ordinary skill in the art to which the present invention pertains can refer to Figure 3 and/or modify various implementation methods for the process (e.g., some steps are omitted, or However, the present invention includes all of the above inferred implementation methods, and its technical features are not limited to only the implementation method shown in Figure 3.

도면3을 참조하면, 상기 카메라장치(195)는 동작을 위한 전원 공급이 확인되면(300), 지정된 절차에 따라 통신모듈을 통해 지정된 운영서버(100)와 지정된 하나 이상의 정보를 교환하여 통신 연결을 요청하며(305), 상기 운영서버(100)는 상기 카메라장치(195)와 지정된 정보를 교환하여 상기 카메라장치(195)의 유효성을 인증한 경우(310), 상기 카메라장치(195)와 통신 연결하고(315), 이에 대응하여 상기 카메라장치(195)로 상기 운영서버(100)와 통신이 연결된다(315).Referring to Figure 3, when the power supply for operation is confirmed (300), the camera device 195 establishes a communication connection by exchanging one or more designated information with the designated operation server 100 through a communication module according to a designated procedure. A request is made (305), and when the operation server 100 authenticates the validity of the camera device 195 by exchanging specified information with the camera device 195 (310), a communication connection is made with the camera device 195. (315), and correspondingly, communication is established with the operation server 100 through the camera device 195 (315).

한편 상기 운영서버(100)는 상기 카메라장치(195)를 통해 획득된 획득 데이터를 수신하기 위한 일회용주소정보를 동적 생성하고(320), 상기 카메라장치(195)로 상기 생성된 일회용주소정보를 제공하며(325), 상기 카메라장치(195)는 상기 운영서버(100)로부터 상기 일회용주소정보를 수신하고(330), 상기 수신된 일회용주소정보를 상기 획득 데이터를 전송할 목적지 주소로 설정할 수 있으며(335), 상기의 일회용주소정보 생성 내지 목적지 주소로 설정하는 과정은 주기적으로(예컨대, 30초 단위) 반복될 수 있다. Meanwhile, the operation server 100 dynamically generates disposable address information for receiving acquired data obtained through the camera device 195 (320), and provides the generated disposable address information to the camera device 195. (325), the camera device 195 may receive the disposable address information from the operation server 100 (330), and set the received disposable address information as a destination address to transmit the acquired data (335). ), the above process of generating disposable address information or setting it as a destination address may be repeated periodically (e.g., every 30 seconds).

한편 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 애완동물을 촬영한 비디오 데이터를 획득하고(340a), 상기 비디오 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Meanwhile, the camera device 195 can acquire video data of a pet within a designated base through the camera module (340a), and transmit the acquired data including the video data to the designated destination address (345).

또는 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 애완동물을 촬영한 비디오 데이터를 획득하고(340a), 상기 사운드 입력부를 통해 상기 거점 내의 오디오 데이터를 획득한 후(340b), 상기 비디오 데이터와 오디오 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 195 acquires video data of a pet within a designated base through the camera module (340a), acquires audio data within the base through the sound input unit (340b), and then acquires video data of a pet within the designated base (340b). Acquired data including data and audio data can be transmitted to a designated destination address (345).

또는 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 애완동물을 촬영한 비디오 데이터를 획득하고(340a), 상기 센서모듈을 통해 애완동물의 지정된 센싱 대상을 센싱한 센싱 데이터를 획득한 후(340c), 상기 비디오 데이터와 센싱 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 195 obtains video data capturing a pet within a designated base through the camera module (340a), and acquires sensing data sensing a designated sensing target of the pet through the sensor module. (340c), the acquired data including the video data and sensing data can be transmitted to a designated destination address (345).

또는 상기 카메라장치(195)는 상기 카메라모듈을 통해 지정된 거점 내의 애완동물을 촬영한 비디오 데이터를 획득하고(340a), 상기 사운드 입력부를 통해 상기 거점 내의 오디오 데이터를 획득하고(340b), 상기 센서모듈을 통해 애완동물의 지정된 센싱 대상을 센싱한 센싱 데이터를 획득한 후(340c), 상기 비디오 데이터와 오디오 데이터 및 센싱 데이터를 포함하는 획득 데이터를 지정된 목적지 주소로 전송할 수 있다(345). Alternatively, the camera device 195 acquires video data of a pet within a designated base through the camera module (340a), acquires audio data within the base through the sound input unit (340b), and uses the sensor module. After obtaining sensing data for sensing the designated sensing target of the pet (340c), the acquired data including the video data, audio data, and sensing data can be transmitted to the designated destination address (345).

상기 운영서버(100)는 상기 카메라장치(195)로부터 적어도 비디오 데이터를 포함하는 획득 데이터를 수신하고(350), 상기 수신된 획득 데이터(또는 획득 데이터에 포함된 각각의 데이터)를 지정된 저장매체의 특정 저장영역에 저장하여 관리한다(355).The operation server 100 receives acquired data including at least video data from the camera device 195 (350), and stores the received acquired data (or each data included in the acquired data) in a designated storage medium. It is managed by storing it in a specific storage area (355).

도면4는 본 발명의 실시 방법에 따라 비디오 데이터를 포함하는 송신 데이터를 사용자에게 제공하는 중에 사용자가 애완동물에게 대화한 사용자 대화 의도를 판별하는 과정을 도시한 도면이다.Figure 4 is a diagram illustrating the process of determining the user's conversation intention when talking to a pet while providing transmission data including video data to the user according to the implementation method of the present invention.

보다 상세하게 본 도면4는 카메라장치(195)를 통해 획득되어 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 중에 상기 사용자 무선단말(185)의 앱이나 IPTV(190)을 통해 획득된 사용자의 음성이나 문자에 대응하는 문자열을 통해 애완동물에게 대화한 사용자 대화 의도를 판별하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. 다만 본 도면4는 편의 상 송신 데터를 출력 중인 사용자 무선단말(185)의 앱이나 IPTV(190)를 통해 오디오 데이터가 획득되는 경우에 운영서버(100)에서 상기 오디오 데이터로부터 사용자의 음성을 인식하여 사용자 대화 의도를 판별하는 실시예를 위주로 본 발명의 특징을 설명할 것이나, 이에 의해 본 발명이 한정되지 아니한다.In more detail, Figure 4 provides transmission data including video data acquired through the camera device 195 and stored in a specific storage area of a designated storage medium to an app or IPTV 190 of the designated user wireless terminal 185. The present invention illustrates a process of determining the user's conversation intention when talking to a pet through a string corresponding to the user's voice or text acquired through an app of the user wireless terminal 185 or IPTV 190. Those of ordinary skill in the art can infer various implementation methods for the above process (for example, implementation methods in which some steps are omitted or the order is changed) by referring to and/or modifying Figure 4. However, the present invention includes all the implementation methods inferred above, and its technical features are not limited to only the implementation method shown in Figure 4. However, in Figure 4, for convenience, when audio data is acquired through an app of the user wireless terminal 185 or IPTV 190 that is outputting transmission data, the operation server 100 recognizes the user's voice from the audio data and The features of the present invention will be described focusing on an embodiment of determining the user's conversation intention, but the present invention is not limited thereto.

도면4를 참조하면, 사용자 무선단말(185)의 앱이나 IPTV(190)는 운영서버(100)로 지정된 거점의 애완동물을 촬영한 비디오 데이터를 포함하는 송신 데이터를 요청할 수 있으며(400), 이 경우 운영서버(100)는 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 지정된 거점의 애완동물을 촬영한 비디오 데이터를 포함하는 송신 데이터 요청을 확인한다(405). 만약 상기 송신 데이터 요청을 확인한 경우, 상기 운영서버(100)는 상기 지정된 거점의 카메라장치(195)를 통해 획득된 비디오 데이터를 포함하는 ??득 데이터를 저장하는 지정된 저장매체의 특정 저장영역을 확인하고 상기 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하는 절차를 수행하거나 이를 유지하며(410), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 수신하여 출력한다(415).Referring to Figure 4, the app of the user wireless terminal 185 or the IPTV 190 may request transmission data including video data taken of a pet at a base designated by the operation server 100 (400), and In this case, the operation server 100 confirms a request for transmission data including video data captured of a pet at a designated base from the app of the user wireless terminal 185 or the IPTV 190 (405). If the transmission data request is confirmed, the operation server 100 confirms a specific storage area of the designated storage medium that stores the video data obtained through the camera device 195 of the designated base. and perform or maintain a procedure (410) for providing transmission data including video data stored in a specific storage area of the storage medium to the app or IPTV 190 of the user wireless terminal 185, and the user wireless terminal 185 The app (185) or IPTV (190) receives and outputs the transmitted data (415).

한편 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 송신 데이터를 출력하는 중에 상기 사용자 무선단말(185)이나 IPTV(190)에 구비된 사운드 입력부를 통해 입력된 사운드 신호에 대응하는 오디오 데이터를 획득할 수 있다(420). 이 경우 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 획득된 오디오 데이터를 운영서버(100)로 전송하며(425), 상기 운영서버(100)는 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로부터 상기 오디오 데이터를 수신할 수 있다(430). 이 경우 상기 운영서버(100)는 상기 수신된 오디오 데이터에 대한 음성 인식을 시도하여 상기 송신 데이터를 시청하는 사용자가 발화한 내용에 대응하는 문자열을 확인하고(435), 상기 확인된 문자열을 판독하여 상기 사용자가 애완동물에게 대화한 대화 문자열을 인식한다(440). Meanwhile, while the app of the user wireless terminal 185 or the IPTV 190 is outputting the transmission data, the audio corresponding to the sound signal input through the sound input unit provided in the user wireless terminal 185 or the IPTV 190 is output. Data can be acquired (420). In this case, the app or IPTV 190 of the user wireless terminal 185 transmits the acquired audio data to the operation server 100 (425), and the operation server 100 transmits the acquired audio data to the operation server 100. The audio data can be received from an app or IPTV (190) (430). In this case, the operation server 100 attempts voice recognition for the received audio data, confirms a string corresponding to the content uttered by the user watching the transmitted data (435), reads the confirmed string, and The conversation string spoken by the user to the pet is recognized (440).

만약 상기 사용자가 애완동물에게 대화한 대화 문자열이 인식되면, 상기 운영서버(100)는 상기 인식된 대화 문자열을 분석하여 지정된 P개의 대화 의도 중 적어도 하나에 대응하는 사용자 대화 의도를 판별한다(445).If the conversation string that the user communicated with the pet is recognized, the operation server 100 analyzes the recognized conversation string and determines the user's conversation intention corresponding to at least one of the designated P conversation intentions (445) .

도면5는 본 발명의 제1 실시 방법에 따라 애완동물 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.Figure 5 is a diagram illustrating a process of responding to a user's conversation intention based on the pet's emotional state according to the first implementation method of the present invention.

보다 상세하게 본 도면5는 사용자 대화 의도를 판별하기 전/중/후의 일 시점에 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 지정된 비디오 데이터를 판독하여 인식된 애완동물 표정 인식 정보를 이용하여 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 증강하여 제공함으로써 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면5를 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면5에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, Figure 5 shows pet facial expression recognition information recognized by reading designated video data to be provided to the app of the user wireless terminal 185 or the IPTV 190 at a point in time before/during/after determining the user's conversation intention. After generating pet emotional state information for each of the n designated emotional items using this, virtual object data matching the determined user conversation intention is confirmed based on this, and the app or IPTV 190 of the user wireless terminal 185 It shows the process of responding to the determined user conversation intent based on the pet's emotional state from the pet's perspective by augmenting and providing a designated area within the pet's face area or the area around the pet's face on the designated video data to be provided. As such, those skilled in the art to which the present invention pertains can refer to and/or modify Figure 5 to provide various implementation methods for the above process (e.g., an implementation method in which some steps are omitted or the order is changed). ) can be inferred, but the present invention includes all of the above inferred implementation methods, and its technical features are not limited to only the implementation method shown in Figure 5.

도면5를 참조하면, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점에 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 지정된 비디오 데이터를 판독하여 상기 거점 내의 특정 애완동물의 안면 영역에 대한 f개의 특징점을 인식하면서 상기 인식된 f개의 특징점 중 애완동물의 감정 표현과 연관된 특징점 간 기하학 관계에 대응하는 i개의 애완동물 표정 인식 정보를 인식한다(500). Referring to Figure 5, the operation server 100 transmits transmission data including video data stored in a specific storage area of the storage medium designated through the process of Figure 3 to the app or IPTV 190 of the designated user wireless terminal 185. ), and reads the designated video data to be provided to the app of the user wireless terminal 185 or the IPTV 190 at a certain point before/during/after determining the user's conversation intention through the process of Figure 4, and provides While recognizing f feature points for the facial area of a specific pet, i pet expression recognition information corresponding to the geometric relationship between feature points related to the emotional expression of the pet among the recognized f feature points is recognized (500).

만약 상기 비디오 데이터를 근거로 i개의 애완동물 표정 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 표정 기반 감정상태 판별 정보를 근거로 상기 인식된 i개의 애완동물 표정 인식 정보와 기 설정된 기준 유사도 이상 매칭된 e개의 애완동물 표정 패턴 정보를 확인하고(505), 상기 e개의 애완동물 표정 패턴 정보와 매칭 관계를 지닌 n1개의 애완동물 감정 항목을 판별한다(510).If i pet facial expression recognition information is recognized based on the video data, the operation server 100 recognizes the pet based on the facial expression-based emotional state determination information stored in the operation D/B through the process of Figure 2. Confirm e pet expression pattern information that matches i pet expression recognition information and a preset standard similarity level or higher (505), and determine n1 pet emotion items that have a matching relationship with the e pet expression pattern information. Do (510).

만약 상기 인식된 i개의 애완동물 표정 인식 정보에 대응하는 n1개의 애완동물 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 i개의 애완동물 표정 인식 정보와 상기 e개의 애완동물 표정 패턴 정보 간 매칭 비율을 근거로 상기 e개의 애완동물 표정 패턴 정보와 n1개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 i개의 애완동물 표정 인식 정보에 대응하는 n1개의 감정 항목 별 애완동물 감정 상태를 수치화한 n1개의 감정 항목 별 애완동물 감정 상태 값을 산출한다(515). If n1 pet emotion items corresponding to the recognized i pet expression recognition information are determined, the operation server 100 provides the recognized i pet expression recognition information and the e pet expression pattern information. Based on the matching ratio, the correlation and numerical relationship between the e pet expression pattern information and the n1 pet emotion items are read, and the pet emotion for each n1 emotion item corresponding to the recognized i pet expression recognition information is read. Calculate the pet emotional state value for each n1 emotional item that quantifies the state (515).

만약 상기 n1개의 감정 항목 별 애완동물 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성한다(520).If the pet emotional state values for each of the n1 emotional items are calculated, the operation server 100 uses the calculated pet emotional state values for each of the n1 emotional items to specify n emotional items that can be displayed on the video data. Generates star pet emotional state information (520).

만약 상기 n개의 감정 항목 별 애완동물 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(525), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강 처리하며(530), 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 제공한다(535). 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 n개의 감정 항목 별 애완동물 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(540). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If the pet emotion state information for each of the n emotion items is generated, the operation server 100 uses the virtual object matching information stored in the operation D/B through the process of Figure 2 and the pet for each of the generated n emotion items. Based on the emotional state information, r (1 ≤ r ≤ R) virtual object data matching the determined user conversation intention is confirmed (525) and provided to the app of the user wireless terminal 185 or IPTV 190. By superimposing q(1≤q≤r) virtual object data on a designated area within the pet face area or the area around the pet face on the video data to be viewed, the designated area within the pet face area or the area around the pet face is displayed. Augmented processing is performed to respond to the determined user conversation intention based on the pet's emotional state from the pet's point of view (530), and augmented to respond to the determined user conversation intention based on the pet's emotional state from the pet's point of view. The operation server 100 transmits the transmission data including video data to the app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B or the ID stored in the management D/B through the process of Figure 2. /Provided through IPTV (190) identified/authenticated through PW information (535). The app or IPTV 190 of the user wireless terminal 185 receives and outputs transmission data including video data augmented to correspond to the pet emotional state information for each of the n emotional items (540). Preferably, the transmission data may further include audio data associated with the video data.

도면6은 본 발명의 제2 실시 방법에 따라 애완동물 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.Figure 6 is a diagram illustrating a process of responding to a user's conversation intention based on the pet's emotional state according to the second implementation method of the present invention.

보다 상세하게 본 도면6은 지정된 비디오 데이터와 연계된 오디오 데이터를 판독하여 인식된 동물 소리 인식 정보를 (추가)이용하여 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 증강하여 제공함으로써 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, Figure 6 shows that the animal sound recognition information recognized by reading the audio data associated with the designated video data is used to generate pet emotional state information for each of the n designated emotional items, and then determines the information based on this. By confirming the virtual object data that matches the user's conversation intention, the designated area within the pet's face area or the area around the pet's face on the designated video data to be provided to the app of the user wireless terminal 185 or IPTV 190 is augmented. This illustrates a processing process from the pet's perspective to respond to the determined user's conversation intention based on the pet's emotional state. Those of ordinary skill in the art to which the present invention pertains will refer to Figure 6. And/or modifications may be made to infer various implementation methods for the above process (e.g., implementation methods in which some steps are omitted or the order is changed), but the present invention includes all the inferred implementation methods, The technical features are not limited to only the implementation method shown in Figure 6.

도면6을 참조하면, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점, 또는 상기 도면5에 도시된 애완동물 표정 인식 기반의 n1개의 감정 항목 별 애완동물 감정 상태 값 산출 과정과 연동하여, 지정된 비디오 데이터와 연계된 일정 일정 구간의 오디오 데이터를 판독하여 상기 특정 애완동물에 대한 j개의 동물 소리 인식 정보를 인식한다(600). Referring to Figure 6, the operation server 100 transmits transmission data including video data stored in a specific storage area of the storage medium designated through the process of Figure 3 to the app or IPTV 190 of the designated user wireless terminal 185. ) while providing at a point before/during/after determining the user's conversation intention through the process of Figure 4, or a pet emotional state value calculation process for each n1 emotion items based on pet facial expression recognition shown in Figure 5. In conjunction with , audio data of a certain section associated with designated video data is read to recognize j pieces of animal sound recognition information for the specific pet (600).

만약 상기 오디오 데이터를 근거로 j개의 동물 소리 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 동물 소리 기반 감정상태 판별 정보를 근거로 상기 인식된 j개의 동물 소리 인식 정보와 기 설정된 기준 유사도 이상 매칭된 c개의 동물 소리 패턴 정보를 확인하고(605), 상기 확인된 c개의 동물 소리 패턴 정보와 매칭 관계를 지닌 n2개의 애완동물 감정 항목을 판별한다(610).If j animal sound recognition information is recognized based on the audio data, the operation server 100 recognizes the animal sound based emotional state determination information stored in the operation D/B through the process of Figure 2. Confirm c animal sound pattern information that matches j animal sound recognition information and a preset standard similarity level or higher (605), and determine n2 pet emotion items that have a matching relationship with the confirmed c animal sound pattern information. (610).

만약 상기 인식된 j개의 동물 소리 인식 정보에 대응하는 n2개의 애완동물 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 j개의 동물 소리 인식 정보와 상기 c개의 동물 소리 패턴 정보 간 매칭 비율을 근거로 상기 c개의 동물 소리 패턴 정보와 n2개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 j개의 동물 소리 인식 정보에 대응하는 n2개의 감정 항목 별 애완동물 감정 상태를 수치화한 n2개의 감정 항목 별 애완동물 감정 상태 값을 산출한다(615). If n2 pet emotion items corresponding to the recognized j animal sound recognition information are determined, the operation server 100 determines a matching ratio between the recognized j animal sound recognition information and the c animal sound pattern information. Based on this, the correlation and numerical relationship between the c animal sound pattern information and n2 pet emotion items are read, and n2 quantifies the pet emotional state for each n2 emotion items corresponding to the recognized j animal sound recognition information. Calculate the pet emotional state value for each emotional item of the dog (615).

만약 상기 n2개의 감정 항목 별 애완동물 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 산출된 n2개의 감정 항목 별 애완동물 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성할 수 있다(620).If the pet emotional state values for each of the n2 emotional items are calculated, the operation server 100 uses the calculated pet emotional state values for each of the n2 emotional items to designate n emotional items that can be displayed on the video data. Star pet emotional state information can be generated (620).

한편 상기 n2개의 감정 항목 별 애완동물 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면5의 과정을 통해 n1개의 감정 항목 별 애완동물 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값과 상기 n2개의 감정 항목 별 애완동물 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성할 수 있다(620).Meanwhile, when the pet emotional state value for each of the n1 emotional items is calculated through the process of Figure 5 at a point in time before, during, or after the n2 emotional state values are calculated, the operation server (100) ) combines the calculated pet emotional state values for each n1 emotional items and the pet emotional state values for each n2 emotional items to generate pet emotional state information for each n designated emotional items that can be displayed on video data. Can (620).

만약 상기 n개의 감정 항목 별 애완동물 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(625), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강 처리하며(630), 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 제공한다(635). 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 n개의 감정 항목 별 애완동물 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(640). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If the pet emotion state information for each of the n emotion items is generated, the operation server 100 uses the virtual object matching information stored in the operation D/B through the process of Figure 2 and the pet for each of the generated n emotion items. Based on the emotional state information, r (1 ≤ r ≤ R) virtual object data matching the determined user conversation intention is confirmed (625) and provided to the app of the user wireless terminal 185 or IPTV 190. By superimposing q(1≤q≤r) virtual object data on a designated area within the pet face area or the area around the pet face on the video data to be viewed, the designated area within the pet face area or the area around the pet face is displayed. Augmented processing is performed to respond to the determined user conversation intention based on the pet's emotional state from the pet's point of view (630), and augmented to respond to the determined user conversation intention based on the pet's emotional state from the pet's point of view. The operation server 100 transmits the transmission data including video data to the app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B or the ID stored in the management D/B through the process of Figure 2. /Provided through IPTV (190) identified/authenticated through PW information (635). The app or IPTV 190 of the user wireless terminal 185 receives and outputs transmission data including video data augmented to correspond to the pet emotional state information for each of the n emotional items (640). Preferably, the transmission data may further include audio data associated with the video data.

도면7은 본 발명의 제3 실시 방법에 따라 애완동물 감정 상태를 근거로 사용자 대화 의도에 응답하는 과정을 도시한 도면이다.Figure 7 is a diagram illustrating a process of responding to a user's conversation intention based on the pet's emotional state according to the third implementation method of the present invention.

보다 상세하게 본 도면7은 지정된 비디오 데이터 및/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 인식된 센싱 값 인식 정보를 (추가)이용하여 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성한 후 이를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 가상객체 데이터를 확인하여 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공될 지정된 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 증강하여 제공함으로써 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 처리하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면7을 참조 및/또는 변형하여 상기 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면7에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, Figure 7 shows that the sensing data associated with the designated video data and/or audio data is read and the recognized sensing value recognition information is (additionally) used to generate pet emotional state information for each of the n designated emotional items. Based on this, virtual object data matching the determined user conversation intent is confirmed, and a designated area or pet face within the pet face area on the designated video data to be provided to the app of the user wireless terminal 185 or the IPTV 190 is identified. This shows a process of processing the pet to respond to the determined user conversation intention based on the pet's emotional state by augmenting the surrounding area. Those skilled in the art will understand that Various implementation methods for the above process (e.g., implementation methods in which some steps are omitted or the order is changed) can be inferred by referring to and/or modifying Figure 7, but the present invention covers all of the inferred implementation methods. It is included, and its technical features are not limited to only the implementation method shown in Figure 7.

도면7을 참조하면, 상기 운영서버(100)는 상기 도면3의 과정을 통해 지정된 저장매체의 특정 저장영역에 저장된 비디오 데이터를 포함하는 송신 데이터를 지정된 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공하면서 상기 도면4의 과정을 통해 사용자 대화 의도를 판별하기 전/중/후의 일 시점, 또는 상기 도면5에 도시된 애완동물 표정 인식 기반의 n1개의 감정 항목 별 애완동물 감정 상태 값 산출 과정과 연동하거나, 또는 상기 도면6에 도시된 동물 소리 인식 기반의 n2개의 감정 항목 별 애완동물 감정 상태 값 산출 과정과 연동하여, 지정된 비디오 데이터 및/또는 오디오 데이터와 연계된 센싱 데이터를 판독하여 상기 특정 애완동물의 감정 표현과 연관된 지정된 센싱 대상의 센싱 데이터에 대한 k개의 센싱 값 인식 정보를 인식한다(700). Referring to Figure 7, the operation server 100 transmits transmission data including video data stored in a specific storage area of the designated storage medium through the process of Figure 3 to the app or IPTV 190 of the designated user wireless terminal 185. ) while providing at a point before/during/after determining the user's conversation intention through the process of Figure 4, or a pet emotional state value calculation process for each n1 emotion items based on pet facial expression recognition shown in Figure 5. or in conjunction with the pet emotional state value calculation process for each n2 emotional items based on animal sound recognition shown in Figure 6, the sensing data linked to the specified video data and/or audio data is read and the specific K sensing value recognition information for sensing data of a designated sensing object related to the pet's emotional expression is recognized (700).

만약 상기 센싱 데이터를 근거로 k개의 센싱 값 인식 정보가 인식되면, 상기 운영서버(100)는 상기 도면2의 과정을 통해 운영D/B에 저장된 센싱 기반 감정상태 판별 정보를 근거로 상기 인식된 k개의 센싱 값 인식 정보와 기 설정된 기준 유사도 이상 매칭된 s개의 센싱 값 패턴 정보를 확인하고(705), 상기 확인된 s개의 센싱 값 패턴 정보와 매칭 관계를 지닌 n3개의 애완동물 감정 항목을 판별한다(710).If k sensing value recognition information is recognized based on the sensing data, the operation server 100 recognizes the k based on the sensing-based emotional state determination information stored in the operation D/B through the process of Figure 2. Confirm s sensing value pattern information that matches the s sensing value recognition information and more than a preset standard similarity (705), and determine n3 pet emotion items that have a matching relationship with the confirmed s sensing value pattern information ( 710).

만약 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 애완동물 감정 항목이 판별되면, 상기 운영서버(100)는 상기 인식된 k개의 센싱 값 인식 정보와 상기 s개의 센싱 값 패턴 정보 간 매칭 비율을 근거로 상기 s개의 센싱 값 패턴 정보와 n3개의 애완동물 감정 항목 간 상관도 수치 관계를 판독하여 상기 인식된 k개의 센싱 값 인식 정보에 대응하는 n3개의 감정 항목 별 애완동물 감정 상태를 수치화한 n3개의 감정 항목 별 애완동물 감정 상태 값을 산출한다(715). If n3 pet emotion items corresponding to the recognized k sensing value recognition information are determined, the operation server 100 sets a matching ratio between the recognized k sensing value recognition information and the s sensing value pattern information. Based on this, the correlation and numerical relationship between the s sensing value pattern information and the n3 pet emotion items are read, and n3 quantifies the pet emotional state for each of the n3 emotion items corresponding to the recognized k sensing value recognition information. Calculate the pet emotional state value for each emotional item of the dog (715).

만약 상기 n3개의 감정 항목 별 애완동물 감정 상태 값이 산출되면, 상기 운영서버(100)는 상기 산출된 n3개의 감정 항목 별 애완동물 감정 상태 값을 이용하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성할 수 있다(720).If the pet emotional state values for each of the n3 emotional items are calculated, the operation server 100 uses the calculated pet emotional state values for each of the n3 emotional items to designate n emotional items that can be displayed on the video data. Star pet emotional state information can be generated (720).

한편 상기 n3개의 감정 항목 별 애완동물 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면5의 과정을 통해 n1개의 감정 항목 별 애완동물 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값과 상기 n3개의 감정 항목 별 애완동물 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성할 수 있다(720).Meanwhile, when the pet emotional state value for each of the n1 emotional items is calculated through the process of Figure 5 at a point in time before, during, or after the n3 emotional state values are calculated, the operation server (100) ) combines the calculated pet emotional state values for each of the n1 emotional items with the pet emotional state values for each of the n3 emotional items to generate pet emotional state information for each of the n designated emotional items that can be displayed on the video data. Can (720).

또는 상기 n3개의 감정 항목 별 애완동물 감정 상태 값이 산출되기 전 또는 중 또는 후의 일 시점에 상기 도면5의 과정을 통해 n1개의 감정 항목 별 애완동물 감정 상태 값이 산출되고 상기 도면6의 과정을 통해 n2개의 감정 항목 별 애완동물 감정 상태 값이 산출된 경우, 상기 운영서버(100)는 상기 산출된 n1개의 감정 항목 별 애완동물 감정 상태 값과 n2개의 감정 항목 별 애완동물 감정 상태 값 및 상기 n3개의 감정 항목 별 애완동물 감정 상태 값을 조합하여 비디오 데이터 상에 표시 가능한 지정된 n개의 감정 항목 별 애완동물 감정 상태 정보를 생성할 수 있다(720).Or, at a point in time before, during, or after the pet emotional state value for each of the n3 emotional items is calculated, the pet emotional state value for each n1 emotional item is calculated through the process of Figure 5, and the pet emotional state value is calculated through the process of Figure 6. When n2 pet emotional state values are calculated for each emotion item, the operation server 100 calculates the pet emotional state value for each n1 emotional item, the pet emotional state value for each n2 emotional item, and the n3 emotional state values. By combining the pet emotional state values for each emotional item, pet emotional state information for each n designated emotional items that can be displayed on the video data can be generated (720).

만약 상기 n개의 감정 항목 별 애완동물 감정 상태 정보가 생성되면, 상기 운영서버(100)는 도면2의 과정을 통해 운영D/B에 저장된 가상객체 매칭 정보와 상기 생성된 n개의 감정 항목 별 애완동물 감정 상태 정보를 근거로 상기 판별된 사용자 대화 의도에 매칭되는 r(1≤r≤R)개의 가상객체 데이터를 확인하고(725), 상기 사용자 무선단말(185)의 앱이나 IPTV(190)로 제공할 비디오 데이터 상의 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역에 지정된 q(1≤q≤r)개의 가상객체 데이터를 중첩 표시하여 상기 애완동물 안면 영역 내의 지정 부위나 애완동물 안면 주변 영역을 통해 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강 처리하며(730), 애완동물 입장에서 애완동물 감정 상태를 근거로 상기 판별된 사용자 대화 의도에 응답하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 상기 운영서버(100)는 도면2의 과정을 통해 관리D/B에 저장된 고유식별정보에 대응하는 사용자 무선단말(185)의 앱이나 상기 관리D/B에 저장된 ID/PW정보를 통해 식별/인증된 IPTV(190)로 제공한다(735). 상기 사용자 무선단말(185)의 앱이나 IPTV(190)는 상기 n개의 감정 항목 별 애완동물 감정 상태 정보에 대응하도록 증강된 비디오 데이터를 포함하는 송신 데이터를 수신하여 출력한다(740). 바람직하게, 상기 송신 데이터는 상기 비디오 데이터와 연계된 오디오 데이터를 더 포함할 수 있다.If the pet emotion state information for each of the n emotion items is generated, the operation server 100 uses the virtual object matching information stored in the operation D/B through the process of Figure 2 and the pet for each of the generated n emotion items. Based on the emotional state information, r (1 ≤ r ≤ R) virtual object data matching the determined user conversation intention is confirmed (725) and provided to the app of the user wireless terminal 185 or IPTV 190. By superimposing q(1≤q≤r) virtual object data on a designated area within the pet face area or the area around the pet face on the video data to be viewed, the designated area within the pet face area or the area around the pet face is displayed. Augmented processing is performed to respond to the determined user conversation intention based on the pet's emotional state from the pet's point of view (730), and augmented to respond to the determined user conversation intention based on the pet's emotional state from the pet's point of view. The operation server 100 transmits the transmission data including video data to the app of the user wireless terminal 185 corresponding to the unique identification information stored in the management D/B or the ID stored in the management D/B through the process of Figure 2. /Provided through IPTV (190) identified/authenticated through PW information (735). The app or IPTV 190 of the user wireless terminal 185 receives and outputs transmission data including video data augmented to correspond to the pet emotional state information for each of the n emotional items (740). Preferably, the transmission data may further include audio data associated with the video data.

100 : 운영서버 105 : 정보 관리부
110 : 가상객체 관리부 115 : 정보 매칭부
120 : 정보 등록부 125 : 통신 관리부
130 : 데이터 수신부 135 : 데이터 저장부
140 : 데이터 제공부 145 : 대화 인식부
150 : 대화 의도 판별부 155 : 정보 인식부
160 : 정보 판별부 165 : 감정 상태 산출부
170 : 정보 생성부\ 175 : 가상객체 확인부
180 : 대화 응답 증강부 185 : 무선단말
190 : IPTV 195 : 카메라장치100: Operation server 105: Information management department
110: Virtual object management unit 115: Information matching unit
120: Information Register 125: Communication Management Department
130: data receiving unit 135: data storage unit
140: data provision unit 145: conversation recognition unit
150: conversation intention determination unit 155: information recognition unit
160: Information determination unit 165: Emotional state calculation unit
170: Information generation unit\ 175: Virtual object confirmation unit
180: conversation response enhancer 185: wireless terminal
190: IPTV 195: Camera device

Claims

In a method that is executed through an operating server that has a sound input unit, a sound output unit, and a camera module and communicates with a camera device installed at a designated base,
Among the F (F≥2) feature points present in the pet's facial area, E (E≥2) pet expression pattern information corresponding to the geometric relationship between feature points associated with the pet's emotional expression and the designated N (N≥2) ) of pet emotion items, matching relationship information between N1 (1≤N1≤N) pet emotion items that can be distinguished based on pet expression patterns, and the E pet expression pattern information and N1 pet emotion items Facial expression-based correlation, which quantifies the correlation between relationships, facial expression-based emotional state determination information including numerical relationship information is registered and stored in the operation D/B, and the pet's response to the designated P (P≥2) conversation intentions is stored. A virtual object that registers and stores corresponding R (R≥2) virtual object data in the operation database and matches the P conversation intentions and R virtual object data based on pet emotional state information for each designated emotional item. A first step of storing matching information;
Video data encoded in a designated manner by filming a specific pet in the base through the camera module of the camera device and audio data encoded in a designated manner input through the sound input unit of the camera device are received to specify a designated storage medium. A second step of storing and managing in a storage area;
A third step of performing or maintaining a procedure for providing transmission data including video data stored in a specific storage area of the storage medium to an app or IPTV of a designated user wireless terminal;
A fourth step of recognizing a conversation string spoken by the user to a pet by checking and reading a string corresponding to the user's voice or text acquired through an app or IPTV of the user's wireless terminal;
A fifth step of analyzing the recognized conversation string to determine user conversation intention corresponding to at least one of the designated P conversation intentions;
By reading designated video data at a point in time before, during, or after determining the user's conversation intention, f (1≤f≤F) feature points of the facial area of a specific pet within the base are recognized, and the recognized f A sixth step of recognizing i (i ≥ 1) pet expression recognition information corresponding to the geometric relationship between feature points associated with the emotional expression of the pet among the feature points;
Based on the facial expression-based emotional state determination information, e (1≤e≤E) pet expression pattern information that matches the i recognized pet expression recognition information and a preset standard similarity level or higher is confirmed, and the e pets are identified. A seventh step of determining n1 (1≤n1≤N1) pet emotion items that have a matching relationship with facial expression pattern information;
Based on the matching ratio between the recognized i pet expression recognition information and the e pet expression pattern information, the correlation and numerical relationship between the e pet expression pattern information and the n1 pet emotion items are read and the recognition is made. An eighth step of calculating the pet emotional state value for each n1 emotional item, which quantifies the pet emotional state for each n1 emotional item corresponding to the i pet facial expression recognition information;
A ninth step of generating pet emotional state information for each designated n (1≤n≤N) emotional items using the calculated pet emotional state values for each of the n1 emotional items;
A tenth step of confirming r (1≤r≤R) virtual object data matching the determined user conversation intention based on the virtual object matching information and the pet emotional state information for each of the generated n emotional items;
By overlapping and displaying q(1≤q≤r) virtual object data specified on a designated area within the pet face area or the area around the pet face on the video data, the designated area within the pet face area or the area around the pet face is displayed. An 11th step of augmenting the pet to respond to the determined user conversation intention based on the pet's emotional state; and
A twelfth step of providing transmission data including video data augmented to respond to the determined user conversation intention to an app or IPTV of the user's wireless terminal for a specified period of time; a pet using augmentation of the emotional state of the pet including; How to provide dialogue.

The method of claim 1, wherein the E pet expression pattern information is:
A method of providing a conversation with a pet using augmentation of the emotional state of a pet, comprising information on the range of geometric relationships between each feature point corresponding to each pet facial expression pattern associated with the pet's emotional expression.

The method of claim 1 or 2, wherein the geometric relationship between the feature points is:
A method of providing a conversation with a pet using augmentation of the emotional state of a pet, which includes one or more of the following relationships: a distance relationship between each feature point, an angle relationship between each feature point, and a combination relationship of a distance relationship and an angle relationship between each feature point.

The method of claim 1, wherein the facial expression-based correlation numerical relationship information is,
Augmentation of the pet's emotional state, characterized in that it includes correlation numerical information calculated through a relational expression proportional to the matching ratio between pet expression recognition information that recognizes the pet's facial expression and pre-registered pet facial expression pattern information. How to provide conversation with your pet using .

The method of claim 1, wherein the facial expression-based correlation numerical relationship information is,
A pet using augmentation of the pet's emotional state, characterized in that it includes correlation numerical information for each matching ratio section between pet facial expression recognition information that recognizes the pet's facial expression and pre-registered pet facial expression pattern information. How to provide dialogue.

The method of claim 1, wherein the P conversation intentions are:
conversation intent corresponding to the conversation category querying the pet's condition;
conversational intent corresponding to the conversational category that elicits the pet's emotional expression;
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, characterized in that it includes at least one conversation intention among the conversation intentions corresponding to the conversation category that triggers the pet's response.

The method of claim 1, wherein the R virtual object data is:
Virtual object data overlaid on a designated area within the pet's facial area as a response from the pet's position to the designated conversation intent,
A character string corresponding to the pet's response to the designated conversation intention is displayed in the form of a speech bubble and includes at least one virtual object data among the virtual object data displayed overlapping the area around the pet's face. A method of providing conversation with a pet using emotional state augmentation.

The method of claim 1, wherein the second step is:
Providing a conversation with a pet using augmentation of the emotional state of the pet, comprising the step of receiving video data including the video data and audio data from the camera device and storing and managing the video data in a specific storage area of a designated storage medium. method.

The method of claim 1, wherein the second step is:
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, comprising the step of receiving the video data and the audio data from the camera device and storing and managing them in a specific storage area of a designated storage medium.

The method of claim 9, wherein the second step is,
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, further comprising the step of synchronizing the time of the video data and the audio data received from the camera device and storing them in a specific storage area of a designated storage medium. .

The method of claim 1, wherein the transmitted data is:
A method of providing a conversation with a pet using augmentation of the pet's emotional state, further comprising audio data stored in a specific storage area of the storage medium.

The method of claim 1, wherein the designated video data is:
Video data periodically selected by specified playback time units,
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, comprising at least one video data among video data periodically selected for a specified number of playback frames.

The method of claim 1, wherein the fourth step is:
Receiving audio data obtained through an app or IPTV of a user wireless terminal that receives and outputs the transmission data; and
Attempting voice recognition for the received audio data to identify a character string corresponding to content uttered by a user watching the transmitted data; A pet using augmentation of the pet's emotional state, comprising: How to provide dialogue.

According to clause 13,
A method of providing a conversation with a pet using augmentation of the pet's emotional state, further comprising transmitting the audio data to the camera device and processing the audio data to be output through a sound output unit of the camera device.

The method of claim 1, wherein the fourth step is:
Augmenting the emotional state of the pet, comprising the step of receiving a string that recognizes a voice uttered by a user watching the transmitted data through an app of a user's wireless terminal that receives and outputs the transmitted data or IPTV. How to provide conversation with your pet using .

The method of claim 1, wherein the fourth step is:
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, comprising the step of receiving a string input through an app or IPTV of the user's wireless terminal that receives and outputs the transmission data.

According to clause 1,
The first step is,
Among the pet's animal sound patterns, C (C≥2) animal sound pattern information related to the pet's emotional expression and N2 (1≤N2≤N) that can be distinguished based on the animal sound pattern among the N designated pet emotion items. Animal sound-based emotional state determination information including matching relationship information between pet emotion items and animal sound-based correlation numerical relationship information that quantifies the correlation between the C animal sound pattern information and N2 pet emotion items. Further comprising the step of registering and saving in the operation D/B,
The sixth step is,
Further comprising the step of recognizing j (j ≥ 1) animal sound recognition information for the specific pet by reading audio data of a certain section associated with the video data,
The seventh step is,
Based on the animal sound-based emotional state determination information, c (1 ≤ c ≤ C) animal sound pattern information that matches the recognized j animal sound recognition information and a preset standard similarity level or higher is confirmed, and the confirmed c animals are identified. Further comprising the step of determining n2 (1≤n2≤N2) pet emotion items having a matching relationship with sound pattern information,
The eighth step is,
Based on the matching ratio between the j recognized animal sound recognition information and the c animal sound pattern information, the correlation numerical relationship between the c animal sound pattern information and the n2 pet emotion items is read, and the recognized j animal sound pattern information is read. It further includes calculating a pet emotional state value for each n2 emotional items that quantifies the pet emotional state for each n2 emotional items corresponding to animal sound recognition information,
The ninth step is,
The step of generating pet emotional state information for each designated n emotion items by additionally using the calculated pet emotional state values for each of the n2 emotional items. How to talk to animals.

The method of claim 17, wherein the C animal sound pattern information is:
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, comprising including information on the range of animal sound characteristics that make up each animal sound pattern associated with the emotional expression of the pet.

The method of claim 18, wherein the animal sound characteristics are:
Frequency band feature, placement relationship feature of frequency band feature, periodicity feature of frequency band feature, sound intensity feature, placement relationship feature of sound intensity feature, periodicity feature of sound intensity feature, combination feature of frequency band feature and sound intensity feature, frequency A method of providing a conversation with a pet using augmentation of the emotional state of a pet, comprising one or more of the following features: an arrangement relationship feature of a band feature and a sound intensity feature, and a periodicity feature of a frequency band feature and a sound intensity feature.

The method of claim 17, wherein the animal sound-based correlation numerical relationship information is,
Augmentation of the pet's emotional state, which includes correlation numerical information calculated through a relational expression proportional to the matching ratio between the animal sound recognition information that recognizes the pet's animal sound and the already registered animal sound pattern information. How to provide conversation with your pet.

The method of claim 17, wherein the animal sound-based correlation numerical relationship information is,
A conversation with a pet using augmentation of the pet's emotional state, characterized in that it includes correlation numerical information for each matching rate section between the animal sound recognition information that recognizes the animal sound of the pet and the already registered animal sound pattern information. How to provide.

According to clause 1,
The first step is,
Among the sensing data sensed through a sensor module provided in or connected to the camera device, S (S ≥ 2) sensing value pattern information for the sensing data of the designated sensing target related to the emotional expression of the pet and the designated N pet emotions Matching relationship information between N3 (1≤N3≤N) pet emotion items that can be distinguished based on the sensing value pattern of the designated sensing target among the items, and correlation between the S sensing value pattern information and N3 pet emotion items Further comprising the step of registering and storing sensing-based emotional state determination information including quantified sensing-based correlation and numerical relationship information in the operation D/B,
The second step is,
It further includes the step of receiving sensing data sensed through a sensor module provided in or linked to the camera device and storing and managing the video data in a specific storage area of a designated storage medium,
The sixth step is,
Further comprising the step of reading sensing data associated with the video data to recognize k (k≥1) sensing value recognition information for the sensing data of a designated sensing target associated with the emotional expression of the specific pet,
The seventh step is,
Based on the sensing-based emotional state determination information, check s (1 ≤ s ≤ S) sensing value pattern information that matches the recognized k sensing value recognition information and a preset standard similarity or higher, and select the confirmed s sensing values. It further includes the step of determining n3 (1≤n3≤N3) pet emotion items that have a matching relationship with the pattern information,
The eighth step is,
Based on the matching ratio between the recognized k sensing value recognition information and the s sensing value pattern information, the correlation numerical relationship between the s sensing value pattern information and the n3 pet emotion items is read to determine the k recognized It further includes the step of calculating pet emotional state values for each n3 emotional items that quantify the pet emotional states for each n3 emotional items corresponding to the sensing value recognition information,
The ninth step is,
The step of generating pet emotional state information for each of the designated n emotion items by additionally using the calculated pet emotional state values for each of the n3 emotion items. Pet using emotional state augmentation of the pet. How to talk to animals.

The method of claim 22, wherein the sensor module:
Wearable sensor module that is worn on the pet's body to sense a designated sensing target,
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, comprising at least one sensor module among radar sensor modules that senses a designated sensing target of the pet using designated electromagnetic waves.

The method of claim 22 or 23, wherein the sensing object is,
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, which includes at least one of the pet's heartbeat, the pet's body temperature, the humidity around the pet, and whether the pet is apnea.

The method of claim 22, wherein the S sensing value pattern information is:
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, characterized in that it includes information on the range of sensing value characteristics that constitute each sensing value pattern for the sensing data of a designated sensing object associated with the emotional expression of the pet. .

The method of claim 25, wherein the sensing value characteristic is:
A conversation with a pet using augmentation of the pet's emotional state, which includes at least one or a combination of two or more of the following: a sensing value change rule feature, a sensing value change amount feature, a sensing value change rate feature, and a periodicity feature of the sensing value change. How to provide.

The method of claim 22, wherein the sensing-based correlation numerical relationship information is,
An emotional state of a pet, characterized in that it includes correlation numerical information calculated through a relational expression proportional to the matching ratio between sensing value recognition information recognized through sensing data of a designated sensing target and pre-registered sensing value pattern information. A method of providing conversation with a pet using augmentation.

The method of claim 22, wherein the sensing-based correlation numerical relationship information is,
A pet using augmentation of the pet's emotional state, characterized in that it includes correlation numerical information for each matching ratio section between sensing value recognition information recognized through sensing data of a designated sensing target and pre-registered sensing value pattern information. How to talk to animals.

The method of claim 1, wherein the pet emotional state information for each of the n emotional items is:
A method of providing a conversation with a pet using augmentation of the pet's emotional state, comprising n emotional item information and numerical information of the pet's emotional state for each emotional item.

The method of claim 1, wherein the r virtual object data are:
Virtual object data overlaid on a designated area within the pet's facial area as a response to the pet emotional state standard for the determined user conversation intention,
Characterized by displaying a string corresponding to the pet emotional state standard response to the determined user conversation intention in the form of a speech bubble and including at least one virtual object data among virtual object data displayed overlapping in the area around the pet's face. A method of providing conversation with a pet using augmentation of the pet's emotional state.

The method of claim 1, wherein the q virtual object data are:
A method of providing a conversation with a pet using augmentation of the pet's emotional state, comprising the r virtual object data.

The method of claim 1, wherein the q virtual object data are:
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, characterized in that it includes virtual object data selected as the one that best matches the determined user conversation intention among the r pieces of virtual object data.

The method of claim 1, wherein the q virtual object data are:
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, characterized in that among the r pieces of virtual object data, virtual object data is selected to be displayed overlapping one virtual object data in the same part of the pet's facial area. .

The method of claim 1, wherein the q virtual object data are:
A method of providing a conversation with a pet using augmentation of the emotional state of the pet, characterized in that among the r virtual object data, virtual object data is selected to be displayed overlapping one virtual object data in the same area around the pet's face. .

According to clause 1,
When the q pieces of virtual object data include virtual object data designated to be displayed overlapping the area around the pet's face, it further includes recognizing the orientation direction of the pet's face on the video data,
The 11th step includes displaying the designated virtual object data over an area around the pet's face corresponding to the orientation direction of the pet's face. How to provide dialogue.

The method of claim 1, wherein the designated area within the facial area of the pet is,
The pet's hair area, the pet's forehead area, the pet's temple area, the pet's both eyebrows area, the area between both eyes of the pet and both eyebrows, the area between both eyes of the pet, the area between both eyes of the pet, The inner and outer part of the pet's sheep, the inner and lower part of the pet's sheep, the cheek area of the pet's sheep, the cheek area of the pet, the bridge of the pet's nose, the nose of the pet, the philtrum of the pet, the pet It consists of at least one or a combination of two or more of the mouth area of an animal, the lip area of a pet, the outside area of the pet's mouth, the lower part of the mouth of a pet, the jaw area of a pet, and the neck area of a pet. A method of providing conversation with a pet using augmentation of the pet's emotional state.

According to clause 1,
When the q pieces of virtual object data include virtual object data designated to be displayed overlapping a designated portion within the pet's face area, calculate angle information on a three-dimensional coordinate system between the orientation direction of the pet's face on the video data and the camera shooting direction. It further includes the step of:
The 11th step is to transform the coordinates so that the overlapping display direction of the designated virtual object data corresponds to the direction of each designated part within the pet facial area based on the angle information, and overlapping display. A method of providing conversation with a pet using augmentation of the pet's emotional state.