WO2020045789A1 - 반려동물의 감정 상태 감지 시스템 및 방법 - Google Patents

반려동물의 감정 상태 감지 시스템 및 방법 Download PDF

Info

Publication number
WO2020045789A1
WO2020045789A1 PCT/KR2019/005198 KR2019005198W WO2020045789A1 WO 2020045789 A1 WO2020045789 A1 WO 2020045789A1 KR 2019005198 W KR2019005198 W KR 2019005198W WO 2020045789 A1 WO2020045789 A1 WO 2020045789A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
pet
companion animal
sound
state information
Prior art date
Application number
PCT/KR2019/005198
Other languages
English (en)
French (fr)
Inventor
김정엽
Original Assignee
(주) 너울정보
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 너울정보 filed Critical (주) 너울정보
Priority to US17/270,715 priority Critical patent/US11406301B2/en
Publication of WO2020045789A1 publication Critical patent/WO2020045789A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/06—Arrangements of multiple sensors of different types

Definitions

  • the present invention relates to a method and apparatus for detecting an emotional state of a companion animal, and more particularly, to a state information collecting device having a microphone, a temperature sensor, an acceleration sensor, and the like, capable of detecting a sound, body temperature, and activity of the companion animal. And the emotional state detection system of the pet to analyze the information collected by the state information collecting device to transmit the emotional state information of the companion animal to the portable terminal possessed by the companion animal, etc. And to a method.
  • Pet experts say, "Modern people are betrayed by humans and comforted by raising their pets who like and follow them.” Real pets give people emotional stability. In fact, pets have proven effective in preventing depression in people living alone.
  • Korean Patent Publication No. 2016-0062800 which is worn on a pet, checks a pulse and body temperature to generate a sensing signal through a pet-suit (pet-suit), and through learning from the sensing signal transmitted from the pet suit.
  • a "pet management system and method using a pet suit” has been proposed to provide an optimal environment for a pet by grasping a pet's condition to accurately determine the pet's condition.
  • Pet suits known in the prior patent document is a pulse sensor for generating a pulse signal by checking the pulse of the pet; A temperature sensor generating a temperature signal by checking a body temperature of the pet; A control unit for transmitting and controlling a pulse signal and a temperature signal; And a communication unit for transmitting a pulse signal and a temperature signal to a local server.
  • the above-described conventional pet suit was intended to check the condition of the pet simply by measuring only the pulse or body temperature, but in the case of pets are various in size and hairy or small, the technique to accurately measure the pulse of the pet There is a problem that can not solve the problem.
  • An object of the present invention is to propose a system and method for detecting a pet's emotional state that can transmit a pet's emotional state to a caregiver's mobile terminal in real time by analyzing sound, ie, sound characteristics of the pet.
  • a method for detecting an emotional state of a companion animal is provided.
  • the sound received through the microphone in the step (c) is sampled at a predetermined sampling period in the time domain and then converted into a digital signal and transmitted to the companion animal emotion analysis server of the step (d), and the state information is It is characterized in that any one of a variety of emotional state of the pet.
  • the feature information extraction of step (e) may consist of extracting spectrogram information for time and frequency domains from the digital information of the sound.
  • the microphone and sound sensor to collect the sound of the companion animal
  • the temperature sensor to collect the body temperature of the companion animal
  • the acceleration sensor to collect the amount of activity of the companion animal
  • Apparatus for collecting state information worn on the body of the person
  • extracting feature information of the sound information of the companion animal transmitted from the state information collecting device selecting the emotion state information of the companion animal corresponding to the extracted feature information from the database, and wirelessly selecting the emotion state information of the selected companion animal.
  • It may include; and a companion animal emotion analysis server for transmitting to the mobile terminal of the companion of the companion animal via a communication network.
  • the companion animal's sound received through the microphone and sound sensor of the state information collecting device is sampled at a predetermined sampling period in the time domain, and then converted into a digital signal and transmitted to the companion animal emotion analysis server.
  • the companion animal emotion analysis server may extract feature information from the digital information of the sound as spectrogram information for a time and frequency domain.
  • the companion animal emotion analysis server may combine the at least one or more of the temperature information and the activity information of the companion animal collected by the temperature sensor and the acceleration sensor of the state information collection device with the sound information to store the emotion state information of the companion animal. You can choose from.
  • the pet's sound can be precisely analyzed and transmitted in real time to the mobile terminal possessed by the guardian of the pet.
  • the pet guardian can grasp the emotional state of the pet in real time and take a predetermined action through a mobile terminal possessed by him or her at a short distance or a remote location.
  • FIG. 1 is a conceptual diagram of an entire system for detecting an emotional state of a companion animal according to the present invention.
  • FIG. 2 is a flowchart conceptually illustrating a method for detecting an emotional state of a companion animal proposed in the present invention.
  • Figure 3 shows an experimental example of the emotional state detection method of the dog as a companion animal.
  • 4 is an example of waveforms, melspectrograms, and MFCC characteristic vectors of an audio signal in a fear state among pet sounds.
  • 5 is an example of a waveform, a Mel-spectrogram, and an MFCC characteristic vector of an audio signal of anger in a companion animal sound.
  • 6 is an example of waveforms, Mel-spectrograms, and MFCC characteristic vectors of an audio signal in a sad state among pet sounds.
  • FIG. 1 is a conceptual diagram of an entire system for detecting an emotional state of a companion animal according to the present invention.
  • the emotional state detection system of a companion animal includes a state information collection device worn on a body of a companion animal, a companion animal emotion analysis server wirelessly linked with a state information collection device, and various companion animals.
  • the mobile terminal includes a database in which the learned information on the emotion information is stored, and a predetermined application that is wirelessly interoperable with the companion animal emotion analysis server.
  • the state information collection device attached to the body of the companion animal to collect the emotional state information of the companion animal proposed in the present invention the microphone and sound sensor for collecting the sound of the companion animal, the temperature sensor for collecting the body temperature of the companion animal, the companion animal It includes an acceleration sensor for collecting the amount of activity of the wireless communication module, such as a memory chip for storing the collected information, WiFi communication module for transmitting to an external companion animal emotion analysis server, for the operation of the sensor and the wireless communication module It may include a battery for supplying power.
  • the state information collecting device may further include an input unit of a button or a touch screen type, and may select a type of companion animal wearing the state information collecting device through the input unit.
  • the state information collection device proposed in the present invention may be manufactured by wearing on the neck of the companion animal or may be implemented in a harness hemline method. That is, those skilled in the art may implement the state information collecting device proposed by the present invention in various ways by adding various types of devices determined to properly collect the sound, body temperature, and activity of the pet.
  • the acceleration sensor of the present invention may be composed of at least one acceleration sensor.
  • it can be installed in the neck of the companion animal, the ankle of the companion animal. That is, according to an embodiment of the present invention, in order to collect the amount of activity of the pet in various aspects, it can be installed at any part of the pet's neck, or the ankle or thigh of the pet.
  • the senor may be attached to both the ankle of the pet, in which case four acceleration sensors may be used.
  • accelerometer may collect the pet's activity from various aspects.
  • the status information collected from each acceleration sensor may be configured by wire connection with the status information collecting device, but the short range wireless communication May be transmitted wirelessly.
  • the state information collection device is implemented as a neckband device worn on the pet's neck
  • the four acceleration sensors worn on the ankle of the pet are wirelessly communicated with the collar device, which is the state information collection device, respectively.
  • the collar device which is the state information collection device, respectively.
  • the information receiving of the acceleration sensor of the present invention may be variously designed by selecting either wired or short-range wireless communication.
  • FIG. 2 is a flowchart conceptually illustrating a method for detecting an emotional state of a companion animal proposed in the present invention.
  • the emotional state detection method of the companion animal of the present invention (1) through the microphone and sound sensor, temperature sensor, or acceleration sensor sound information, body temperature information, acceleration information (activity amount information) Collecting at the state information collecting device; (2) analyzing the emotional state of the companion animal by transmitting sound information, body temperature information, acceleration information (activity amount information) to the companion animal emotion analysis server; And (3) wirelessly transmitting the analyzed emotion information of the companion animal to a portable terminal possessed by the owner (or guardian) of the companion animal.
  • the mobile terminal is capable of transmitting and receiving data with the companion animal emotion analysis server, and a predetermined app for outputting the emotion state information of the pet transmitted from the companion animal emotion analysis server is installed.
  • An emotional state detection method of a companion animal may be composed of the following steps.
  • the sound received through the microphone in the step (c) is sampled at a predetermined sampling period in the time domain and then converted into a digital signal and transmitted to the companion animal emotion analysis server of the step (d), and the state information is
  • the pet may include various emotional states (eg, angry state, surprised state, welcome state, sick state, happy state, etc.).
  • the feature information extraction of the above step (e) may be composed of extracting the spectrogram information for the time and frequency domain of the digital information of the sound.
  • One of the main technical ideas of the present invention described above is how to extract the feature point of the sound of the companion animal.
  • FIG. 3 a characteristic of the sound (sound) of a specific kind of dog, which is a kind of pet, is shown.
  • This feature extraction was performed in the following manner.
  • Feature vector extraction method is important to extract from the original signal to contain the key information according to the purpose of the task to be performed.
  • audio classification deep learning algorithms frequently use Mel-spectrogram.
  • a dog's bark is a noise-like signal made from a combination of various frequency components rather than the presence or absence of certain harmonic components, such as a musical signal. Therefore, the tone information is considered more important, and the MFCC (Mel-frequency cepstral coefficient) component was extracted and compared with Mel-spectrogram, a commonly used characteristic vector, and spectrogram, a more basic characteristic.
  • MFCC Mel-frequency cepstral coefficient
  • Spectrograms are shown in units of frequency (Hz), and there is too much information to use for direct speech classification, so the classification algorithm is likely to learn local features rather than important features.
  • One of the frequently suggested ways to abbreviate the information, including the entire frequency range represented by the spectrogram, is to pass the spectrogram through the audio filter bank.
  • Mel-spectrograms abbreviate spectrogram information using mel filter banks with output similar to the human cochlea. In humans, low frequencies separate adjacent frequencies well, but the higher the frequency, the lower the ability to distinguish. The mel filter bank is designed to borrow this and to increase the window size at higher frequencies.
  • MFCC was also used, which is to convert the Mel-spectrogram to a logscale and then take a discrete cosine transform (DCT). This process removes some of the smaller coefficients.
  • DCT discrete cosine transform
  • Figure 4 is an example of the waveform, Mel-spectrogram, MFCC characteristic vector of the audio signal in the fear state of the companion animal sound
  • Figure 5 is the waveform
  • Mel-spectrogram, MFCC characteristic vector of the audio signal in the anger state 6 is a waveform
  • FIG. 7 is a waveform, Mel-spectrogram, MFCC characteristic vector of an audio signal in a happy state, which are various patterns according to the types of pets. Can be arranged.
  • the experimental results are databased and based on this, when the companion animal's sound is input through the microphone and the sound sensor, the pet's emotional state can be estimated with a predetermined probability.
  • the reason for using the acceleration sensor in the present invention is to analyze the acceleration information of the acceleration sensor (module) attached to the neck or four ankles in addition to the sound analysis of the companion pets only sound only This is because it can be more precise than analyzing the emotional state.
  • the barking sound in a tense state often causes the foot to be anchored to the ground, so the accelerometer attached to the ankle often has little change in information.
  • a cheerful sound is barked, and in this case, the information value of the acceleration sensor attached to the front foot and the acceleration information value range of the back foot on the ground may be completely different.
  • the state in consideration of the change in the movement of the forefoot and hind paws according to the emotional state of the pet in addition to the sound of the companion animal in consideration of the predetermined sound and the change of behavior or posture of the companion animal barking together
  • the state can be analyzed more precisely.
  • a GPS module to the state information collecting device so as to determine the location of the pet, and with an acceleration sensor module that can be attached to an external server or ankle through a communication unit of the state information collecting device. Wireless communication was possible.
  • the pet's emotional state information it is possible to analyze the pet's emotional state information more accurately by combining the animal's sound information input through the microphone and the sound sensor and the activity information input through the acceleration sensor and the temperature information input through the temperature sensor.
  • the body abnormality can be checked by checking whether the animal has an abnormal temperature or activity.
  • the present invention detects the sound information and motion information of the pet, analyzes the emotional state of the companion animal, and transmits the analyzed emotional state information to the mobile terminal of the pet's guardian (including the pet owner) to transmit the emotional state. It can be applied to the pet's emotional state detection system.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Hospice & Palliative Care (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 반려동물의 사운드, 체온, 활동량을 감지할 수 있는 마이크, 온도 센서, 가속도 센서를 갖는 상태 정보 수집 장치를 반려동물의 신체 일측에 착용시킨 후 상태 정보 수집 장치에서 수집한 이들 정보를 분석하여 반려동물의 감정 상태 정보를 반려동물의 소유자 등이 소지하고 있는 휴대 단말기로 전송할 수 있도록 한 반려동물의 감정 상태 감지 방법에 관한 것으로, 본 발명에 따른 반려동물의 감정 상태 감지 방법은, 반려동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려동물의 신체 일측에 착용시키는 단계; 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려동물의 종류를 선택하여 입력시키는 단계; 소정 시간 단위로 상기 반려동물의 사운드를 상기 상태 정보 수집 장치의 일 구성 요소인 마이크를 통하여 수신하는 단계; 상기 반려동물의 종류 정보와 상기 사운드 정보를 무선 통신망을 이용하여 반려동물 감정 분석 서버로 전송하는 단계; 상기 사운드 정보의 특징 정보를 추출하는 단계; 상기 반려동물의 종류 정보 및 상기 특징 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계; 상기 상태 정보를 무선 통신망을 이용하여 반려동물 보호자의 휴대 단말기로 전송하는 단계;를 포함한다.

Description

반려동물의 감정 상태 감지 시스템 및 방법
본 발명은 반려동물의 감정 상태를 감지하는 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 반려동물의 사운드, 체온, 활동량을 감지할 수 있는 마이크, 온도 센서, 가속도 센서 등을 갖는 상태 정보 수집 장치를 반려동물의 신체 일측에 착용시킨 후 상태 정보 수집 장치에서 수집한 정보를 분석하여 반려동물의 감정 상태 정보를 반려동물의 소유자 등이 소지하고 있는 휴대 단말기로 전송하도록 하는 반려동물의 감정 상태 감지 시스템 및 방법에 관한 것이다.
얼마 전까지만 해도 가정에서 기르는 개와 고양이를 애완동물이라 했지만 요즈음은 반려동물이라고 한다. 이는 주인의 즐거움이나 이익을 위한 수단으로 길러지는 동물이 아닌, 생명으로서 존중되며 사람과 더불어 살면서 교감하는 가족의 일원으로서의 동물을 의미한다. 핵가족화하고 독립적인 현대사회에서는 감정적 교류를 동물을 통해 하려는 경향이 있어 반려동물의 소유가 늘어나고 있으며, 우리나라도 등록된 반려동물의 수가 100만 마리를 초과하였다고 알려져 있고, 반려동물산업을 육성하는 정부 정책도 제시되고 있는 실정이다.
반려동물이 인간의 삶의 질을 향상시키는 데 긍정적인 역할을 한다는 많은 연구결과가 있다. 어린이에게는 사회성과 정서 발달에 도움을 주고, 책임감과 남을 이해하는 마음을 키워주며 언어습득 능력도 촉진시키고, 생명의 존엄성을 일깨워준다고 하며, 노인에게는 육체적·정신적 건강을 잘 유지하게 하고, 긍정적인 사고와 생활 만족도를 높여 준다고 알려져 있다.
반려동물 전문가들은 "현대인들이 인간들에 배신당하고 지친 마음을 자신을 좋아하고 따르는 반려동물을 키우면서 위로로 삼는 경우"가 많으며, "실제 반려동물들이 사람들에게 정서적으로 안정감을 준다"고 입을 모으고 있다. 실제 반려동물은 혼자 사는 사람들의 우울증 예방에도 효과가 있는 것으로 입증되고 있다.
그러나 반려동물을 바라보는 우리의 시각은 아직도 애완동물 수준에서 벗어나지 못하는 부분이 여전히 있다.
이 때문에, 사람과 더불어 살아가는 반려동물을 위해 무엇을 어떻게 해야 할 것인가에 대하여 고민할 필요한데, 이를 위해서는 사람과 마찬가지로 반려동물들의 감정 상태를 먼저 이해할 필요가 있다.
이러한 필요성에 기초하여 대한민국 공개특허 제2016-0062800호에 애완동물에 착용되어 맥박 및 체온을 체크하여 센싱신호를 생성하는 펫 수트(pet-suit)와, 펫 수트로부터 전송된 센싱신호로부터 학습을 통해 애완동물 상태를 파악하여 애완동물의 상태를 정확하게 파악함으로써 애완동물에게 최적의 환경을 제공하기 위한 "펫 수트를 이용한 애완 동물 관리 시스템 및 방법"이 제안되었다.
상기 선행 공개특허 문헌에 공지되어 있는 펫 수트는 애완동물의 맥박을 체크하여 맥박신호를 생성하는 맥박센서; 애완동물의 체온을 체크하여 온도신호를 생성하는 온도센서; 맥박신호와 온도신호를 전송 제어하는 제어부; 및 맥박신호와 온도신호를 로컬 서버로 전송하는 통신부를 포함하고 있다.
그러나, 상기한 종래의 펫 수트는 단순히 맥박 내지 체온만을 측정하여 애완 동물의 상태를 체크하고자 하였으나, 애완 동물의 경우 몸집이 다양하고 털이 많거나 적은 경우도 있어 애완 동물의 맥박을 정확히 측정하고자 하는 기술에 대한 문제를 해소할 수 없다는 문제점 등을 안고 있다.
본 발명은 반려동물이 내는 소리, 즉 사운드 특성을 분석하여 반려동물의 감정 상태를 정확히 실시간으로 보호자의 휴대 단말기로 전송하여 줄 수 있는 반려동물 감정 상태 감지 시스템 및 방법을 제안하는 것을 목적으로 한다.
본 발명의 주요 기술적 사상을 포함하는 반려동물의 감정 상태 감지 방법은,
(a) 반려동물의 사운드를 입력받는 마이크, 상기 반려동물의 체온을 감지하는 온도 감지 센서, 상기 반려동물의 활동량을 감지하는 3축 가속도 센서를 포함하는 상태 정보 수집 장치를 반려동물의 신체에 착용시키는 단계;
(b) 상기 반려동물의 사운드 발생시 소정 시간 동안 상기 상태 정보 수집 장치에 상기 사운드 정보를 저장하는 단계;
(c) 상기 마이크, 상기 온도 감지 센서, 및 상기 3축 가속도 센서에서 감지된 상기 반려동물의 사운드 정보, 체온 정보, 및 활동량 정보를 무선 통신을 통하여 반려동물 감정 분석 서버로 전송하는 단계;
(d) 상기 반려동물 감정 분석 서버에서 상기 사운드 정보, 체온 정보, 및 활동량 정보를 취합하여 상기 반려동물의 감정 정보를 도출하는 단계;
(e) 상기 반려동물 감정 분석 서버에서 상기 반려동물의 보호자의 휴대 단말기로 상기 반려동물의 상기 감정 상태 정보를 전송하는 단계;
를 포함하는 것을 특징으로 한다.
본 발명의 다른 한 형태에 따른 반려동물의 감정 상태 감지 방법은,
(a) 반려동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려동물의 신체 일측에 착용시키는 단계;
(b) 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려동물의 종류를 선택하여 입력시키는 단계;
(c) 소정 시간 단위로 상기 반려동물의 사운드를 상기 상태 정보 수집 장치의 일 구성 요소인 마이크를 통하여 수신하는 단계;
(d) 상기 반려동물의 종류 정보와 상기 사운드 정보를 무선 통신망을 이용하여 반려동물 감정 분석 서버로 전송하는 단계;
(e) 상기 사운드 정보의 특징 정보를 추출하는 단계;
(f) 상기 반려동물의 종류 정보 및 상기 특징 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계;
(g) 상기 상태 정보를 무선 통신망을 이용하여 반려동물 보호자의 휴대 단말기로 전송하는 단계;로 이루어지며,
상기 단계 (c)에서 상기 마이크를 통하여 수신된 상기 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 (d) 단계의 상기 반려동물 감정 분석 서버로 전송되고, 상기 상태 정보는 상기 반려동물의 다양한 감정 상태 중의 어느 하나인 것을 특징으로 한다.
본 발명에 있어서, 단계 (e)의 상기 특징 정보 추출은 상기 사운드의 상기 디지털 정보를 시간 및 주파수 영역에 대한 스펙트로그램 정보를 추출하는 것으로 이루어질 수 있다.
그리고 본 발명의 반려동물의 감정 상태 감지 시스템은, 반려동물의 사운드를 수집하는 마이크 및 사운드 센서, 반려동물의 체온을 수집하는 온도 센서, 반려동물의 활동량을 수집하는 가속도 센서를 포함하며, 반려동물의 신체에 착용되는 상태 정보 수집 장치; 및, 상기 상태 정보 수집 장치로부터 전송된 반려동물의 사운드 정보의 특징 정보를 추출하고, 추출된 특징 정보에 대응하는 반려동물의 감정 상태 정보를 데이터베이스로부터 선택하고, 선택한 반려동물의 감정 상태 정보를 무선 통신망을 통해 반려동물의 보호자의 휴대 단말기로 전송하는 반려동물 감정 분석 서버;를 포함할 수 있다.
상기 상태 정보 수집 장치의 마이크 및 사운드 센서를 통하여 수신된 반려동물의 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 반려동물 감정 분석 서버로 전송된다.
상기 반려동물 감정 분석 서버는 상기 사운드의 상기 디지털 정보를 시간 및 주파수 영역에 대한 스펙트로그램 정보로 특징 정보 추출을 수행할 수 있다.
또한 상기 반려동물 감정 분석 서버는 상기 상태 정보 수집 장치의 온도 센서와 가속도 센서에 의해 수집된 반려동물의 체온 정보와 활동량 정보 중 적어도 하나 이상을 상기 사운드 정보와 조합하여 반려동물의 감정 상태 정보를 데이터베이스로부터 선택할 수 있다.
본 발명에서 제안하는 반려동물의 감정 상태 감지 시스템 및 방법을 실시하는 경우 다음과 같은 효과가 있다.
첫째, 반려동물의 사운드를 정밀 분석하여 반려동물의 감정 상태를 반려동물의 보호자가 소지하고 있는 휴대 단말기로 실시간 전송할 수 있다.
둘째, 반려동물의 감정 상태에 따라 달라지는 사운드의 주파수 스펙트럼 분석 결과를 반려동물의 체온 정보와 연동시킴으로써 반려동물의 감정 상태를 보다 더욱 정확히 파악할 수 있다.
셋째, 반려동물 보호자는 근거리 또는 원격지에서 자신이 소지한 휴대 단말기를 통하여 반려동물의 감정 상태를 실시간으로 파악할 수 있고 소정의 조치를 취할 수도 있다.
도 1은 본 발명에 따른 반려동물의 감정 상태 감지하기 위한 전체 시스템의 개념도이다.
도 2는 본 발명에서 제안하는 반려동물의 감정 상태 감지 방법을 개념적으로 설명하는 흐름도이다.
도 3은 반려동물로서 강아지의 감정 상태 감지 방법을 실시한 실험예를 나타낸 것이다.
도 4는 반려동물 사운드 중 두려운 상태의 오디오 신호의 파형, Melspectrogram, MFCC 특성 벡터의 일예이다.
도 5는 반려동물 사운드 중 분노인 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
도 6은 반려동물 사운드 중 슬픈 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
도 7은 반려동물 사운드 중 기쁜 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
이하에서는 도면 등을 참조하여 본 발명에서 제안하는 반려동물의 감정 상태 감지 시스템 및 방법에 대하여 설명하기로 한다.
도 1은 본 발명에 따른 반려동물의 감정 상태 감지하기 위한 전체 시스템의 개념도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 반려동물의 감정 상태 감지 시스템은 반려동물의 신체에 착용되는 상태 정보 수집 장치, 상태 정보 수집 장치와 무선 연동되는 반려동물 감정 분석 서버, 다양한 반려동물의 감정 정보에 대한 학습된 정보가 저장된 데이터베이스, 및 반려동물 감정 분석 서버와 무선 연동 가능한 소정의 앱(application)이 설치되어 있는 휴대 단말기로 이루어진다.
본 발명에서 제안하는 반려동물의 신체에 부착되어 반려동물의 감정 상태 정보를 수집하는 상태 정보 수집 장치는 반려동물의 사운드를 수집하는 마이크 및 사운드 센서, 반려동물의 체온을 수집하는 온도 센서, 반려동물의 활동량을 수집하는 가속도 센서를 포함하며, 수집된 정보를 저장하기 위한 메모리 칩, 외부의 반려동물 감정 분석 서버로 전송하기 위한 WiFi 통신모듈과 같은 무선통신모듈, 센서 및 무선통신모듈의 작동을 위한 전원을 공급하는 배터리 등을 포함할 수 있다.
본 발명의 실시를 위하여 이들 3 종류의 센서를 모두 사용할 수도 있지만 필요에 따라 특정 센서를 사용하지 않을 수도 있다.
참고로, 상태 정보 수집 장치는 버튼 또는 터치스크린 타입의 입력부가 더 제공될 수 있으며, 입력부를 통하여 상태정보 수집 장치를 착용하는 반려동물의 종류를 선택할 수 있다.
더불어, 본 발명에서 제안하는 상태 정보 수집 장치는 반려동물의 목에 착용하는 방식으로 제작할 수도 있고 하네스 가슴줄 방식으로도 구현할 수 있을 것이다. 즉, 당업자는 반려동물의 사운드, 체온, 활동량을 제대로 수집할 수 있다고 판단되는 다양한 형태의 장치를 부가하여 본 발명에서 제안하는 상태 정보 수집 장치를 다양한 방식으로 구현할 수 있을 것이다.
따라서, 반려동물의 신체에 착용되어 반려동물의 사운드, 온도 또는 활동량을 수집할 수 있는 모든 종류의 장치는 본 발명에서 의미하는 상태 정보 수집장치에 포함되는 것으로 해석되어야 할 것이다.
참고로, 본 발명의 가속도 센서는 적어도 하나 이상의 가속도 센서로 구성될 수 있다. 예컨대, 반려동물의 목, 반려동물의 발목 등에 설치 가능하다. 즉, 본 발명의 실시 양태에 따라, 반려동물의 활동량을 다각적인 측면에서 수집하기 위하여 반려동물의 목, 또는 반려동물의 발목이나 허벅지 등 임의의 부위에 설치 가능하다.
예컨대, 반려동물의 앞발 또는 뒷발의 활동량을 체크하기 위하여 반려동물의 발목에 모두 센서를 부착할 수 있으며 이 경우 4 개의 가속도 센서가 사용될 수 있다.
더불어, 반려견의 목에 가속도 센서를 추가하는 경우 총 5개의 가속도 센서를 통하여 반려동물의 활동량을 다각적인 측면에서 수집할 수도 있을 것이다.
참고로, 위의 경우와 같이 적어도 하나 이상의 가속도 센서를 사용하여 반려동물의 활동량을 체크하는 경우에 각 가속도 센서에서 수집된 상태 정보는 상태 정보 수집 장치와 유선으로 연결되어 구성할 수도 있으나 근거리 무선 통신에 의하여 무선으로 전송될 수도 있을 것이다.
예를 들어, 상태 정보 수집 장치가 반려동물의 목에 착용되는 목줄(목밴드) 장치로 구현되는 경우, 반려동물의 발목 등에 착용되는 4개의 가속도 센서는 상태 정보 수집 장치인 목줄 장치와 각각 무선 통신이 가능한 가속도 센서 모듈로 구현될 수 있다. 즉, 목줄과 무선 통신이 가능하도록 근거리 무선 통신 기능이 구비되는 4개의 가속도 센서 모듈로 구성될 수 있을 것이다. 따라서, 본 발명의 가속도 센서의 정보 수신은 유선 혹은 근거리 무선 통신 중 어느 하나로 선택하여 다양하게 설계 가능할 것이다.
도 2는 본 발명에서 제안하는 반려동물의 감정 상태 감지 방법을 개념적으로 설명하는 흐름도이다.
도 2에 도시된 바와 같이, 본 발명의 반려동물의 감정 상태 감지 방법은, (1) 마이크 및 사운드 센서, 온도 센서, 또는 가속도 센서를 통하여 반려동물의 사운드 정보, 체온 정보, 가속도 정보(활동량 정보)를 상태 정보 수집 장치에서 수집하는 단계; (2) 사운드 정보, 체온 정보, 가속도 정보(활동량 정보)를 반려동물 감정 분석 서버로 전송하여 반려동물의 감정 상태를 분석하는 단계; (3) 분석한 반려동물의 감정 정보를 반려동물의 소유자(또는 보호자) 등이 소지하고 있는 휴대 단말기로 무선 전송하는 단계로 이루어진다. 참고로, 휴대 단말기에는 반려동물 감정 분석 서버와 데이터 송수신이 가능하며, 반려동물 감정 분석 서버로부터 전송된 반려동물의 감정 상태 정보를 출력하는 소정의 앱이 설치되어 있다.
이하에서는 본 발명에서 제안하는 반려동물의 감정 상태 감지 방법의 핵심적인 기술적 사상에 대하여 보다 구체적으로 상세히 설명하고자 한다.
본 발명의 일 실시예인 반려동물의 감정 상태 감지 방법은 다음과 같은 단계로 구성될 수 있다.
(a) 반려동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려동물의 신체 일측에 착용시키는 단계;
(b) 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려동물의 종류를 선택하여 입력시키는 단계;
(c) 소정 시간 단위로 상기 반려동물의 사운드를 상기 상태 정보 수집 장치의 일 구성 요소인 마이크를 통하여 수신하는 단계;
(d) 상기 반려동물의 종류 정보와 상기 사운드 정보를 무선 통신망을 이용하여 반려동물 감정 분석 서버로 전송하는 단계;
(e) 상기 사운드 정보의 특징 정보를 추출하는 단계;
(f) 상기 반려동물의 종류 정보 및 상기 특징 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계;
(g) 상기 상태 정보를 무선 통신망을 이용하여 상기 반려동물의 보호자의 휴대 단말기로 전송하는 단계;를 포함한다.
상기 단계 (c)에서 상기 마이크를 통하여 수신된 상기 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 (d) 단계의 상기 반려동물 감정 분석 서버로 전송되고, 상기 상태 정보는 상기 반려동물의 다양한 감정 상태(예컨대, 화난 상태, 놀란 상태, 반기는 상태, 아픈 상태, 행복한 상태 등)를 포함할 수 있다.
한편, 본 발명에 있어서, 전술한 단계 (e)의 상기 특징 정보 추출은 상기 사운드의 상기 디지털 정보를 시간 및 주파수 영역에 대한 스펙트로그램 정보를 추출하는 것으로 이루어질 수 있다.
전술한 본 발명의 주요 기술적 사상 중의 하나는 반려동물의 사운드의 특징점을 어떻게 추출하는 가에 있다.
본 발명에서는 다양한 실험을 통하여 반려동물 사운드의 특징을 추출하고자 하였다.
도 3은 본 발명에서 실시한 실험의 일예이다.
도 3에 도시된 바와 같이 반려동물의 일종인 특정 종류의 강아지의 소리(사운드)의 특징이 도시되어 있다
이처럼, 본 발명에서는 반려동물의 사운드에 대하여 시간, 주파수, short time energy, short time zero crossing, spectrum flatness measure 등과 관련되어 다양한 특징들을 추출하고 이를 데이터베이스화 하였다.
이러한 특징 추출은 다음과 같은 방식으로 실시되었다.
[특징 벡터 추출 (Feature Extraction)]
특징 벡터 추출 방법은 수행하고자 하는 작업의 목적에 맞게 핵심적인 정보를 잘 담을 수 있도록 원 신호로부터 추출하는 것이 중요하다. 일반적으로 오디오 분류 딥러닝 알고리즘은 멜 스펙트로그램(Mel-spectrogram)을 많이 사용한다.
하지만 반려견이 짖는 소리는 음악 신호처럼 특정 화성적 성분(harmonic components)의 유무가 중요하기 보다는 다양한 주파수 성분들의 조합으로 만들어진 노이즈같은 신호이다. 따라서 음색에 대한 정보가 더 중요하다고 고려되어 MFCC(Mel-frequency cepstral coefficient)성분을 추출하여 일반적으로 사용되는 특성 벡터인 Mel-spectrogram과 더 기본적인 특성인 spectrogram과 비교 실험을 하였다.
스펙트로그램(Spectrogram)
시간에 따른 1차원 벡터인 음향 신호를 딥러닝에 활용될 수 있는 형태로 변환하기 위해 STFT(Short-Time Fourier Transform)을 통해 시간-주파수 벡터로 변환한 결과이다. 시간-주파수 표현(time-frequency representation)의 가장 기본적인 형태로 주파수마다의 에너지 정보를 0~sampling frequency/2(Hz)로 이루어진 벡터로 표현한다. 보통 세로축은 주파수 정보를 가로축은 시간 정보를 나타낸다.
멜 스펙트로그램(Mel-spectrogram)
스펙트로그램(Spectrogram)은 주파수(Hz)단위로 나타나 있는데 이를 직접 음성 분류에 활용하기에는 정보가 너무 많아 분류 알고리즘이 중요한 특성이 아닌 지엽적인 특성을 학습할 가능성이 높다. Spectrogram이 표현하는 전체 주파수 영역을 포함하면서 그 정보를 축약하는 방법 중 하나로 자주 제안되는 것이 spectrogram을 audio filter bank에 통과시키는 것이다.
멜 스펙트로그램(Mel-spectrogram)은 인간의 달팽이관과 유사한 출력을 갖는 mel filter bank를 사용해서 spectrogram의 정보를 축약한다. 사람의 경우 저주파의 경우 인접한 주파수를 잘 분리하지만 고주파 대역으로 올라갈수록 주파수 구분 능력이 떨어진다. mel filter bank는 이를 차용해 고주파일수록 window size가 커지도록 설계되었다.
MFCC(mel-frequency cepstral coefficient)
본 발명에서는 추가적으로 MFCC도 사용하였는데, 이는 상기 멜 스펙트로그램(Mel-spectrogram)을 logscale로 바꾼 다음, 이산 코사인 변환(DCT)를 취하는 것이다. 이 과정에서 값이 작은 일부 계수(coefficient)를 제거한다. 벡터 추출하는 알고리즘 코드는 오디오정보분석 연구에서 많이 사용되고 있는 파이썬 기반의 오픈 라이브러리 Librosa를 기반으로 한다.
본 발명에 있어서, 도 4는 반려동물 사운드 중 두려운 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이고, 도 5는 분노인 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터이고, 도 6은 슬픈 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터이고, 도 7은 기쁜 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터이며 이는 반려동물의 종류에 따라 다양한 패턴으로 정리될 수 있다.
본 발명에서는 이러한 실험 결과를 데이터베이스화하고 이를 기초로 반려동물의 사운드가 마이크 및 사운드 센서를 통하여 입력되는 경우 소정의 확률로 반려동물의 감정 상태를 추정할 수 있도록 하였다
더불어, 본 발명의 실시와 관련하여, 본 발명에서 가속도 센서를 활용하는 이유는 반려동물의 사운드 분석 이외에 목 또는 4 발목에 부착된 가속도 센서(모듈)의 가속도 정보를 함께 분석하는 경우 사운드만으로 반려동물의 감정 상태를 분석하는 경우보다 더 정밀할 수 있기 때문이다.
예컨대, 긴장한 상태에서 으르렁 거리는 소리를 짖는 경우 발이 지면에 고정된 경우가 많은 관계로 4 발목에 부착된 가속도 센서의 정보 변화가 적은 경우가 많은 반면, 반려동물의 기분이 좋은 상태인 경우 앞발을 들은 상태에서 경쾌한 소리를 짖는 경우가 많고 이러한 경우 앞발에 부착된 가속도 센서의 정보치와 지면을 딛고 있는 뒷발의 가속도 정보치 범위는 전혀 상이할 수 있다.
본 발명에서는 이처럼 반려동물의 사운드 이외에 반려동물의 감정 상태에 따라 앞발 및 뒷발의 움직임 변화가 상이하다는 점에 착안하여 반려동물이 짖는 소정의 사운드와 행동이나 자세의 변화를 함께 고려하여 반려동물의 감정 상태를 보다 정밀하게 분석할 수 있도록 하였다.
추가로, 본 발명에서는 반려동물의 위치를 파악할 수 있도록 상태 정보 수집 장치에 GPS 모듈을 부가할 수 있도록 하였으며, 상태 정보 수집 장치의 통신부를 통하여 외부 서버 또는 발목 등에 부착될 수 있는 가속도 센서 모듈과의 무선 통신이 가능할 수 있도록 하였다.
또한 마이크 및 사운드 센서를 통해 입력되는 반려동물의 사운드 정보와 가속도 센서를 통해 입력되는 활동량 정보와 함께, 온도 센서를 통해 입력되는 체온 정보를 조합하여 반려동물의 감정 상태 정보를 더욱 정확하게 분석할 수 있으며, 이와 함께 반려동물의 체온 이상과 활동량 이상 여부를 통해 신체 이상을 체크할 수도 있다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
본 발명은 반려동물의 사운드 정보 및 움직임 정보를 감지하여 반려 동물의 감정 상태를 분석하고, 분석된 감정 상태 정보를 반려동물의 보호자(반려동물 소유자를 포함함)의 휴대 단말기로 전송하여 감정 상태를 인지할 수 있도록 하는 반려동물 감정 상태 감지 시스템에 적용할 수 있다.

Claims (8)

  1. (a) 반려동물의 사운드를 입력받는 마이크 및 사운드 센서, 상기 반려동물의 체온을 감지하는 온도 감지 센서, 상기 반려동물의 활동량을 감지하는 3축 가속도 센서를 포함하는 상태 정보 수집 장치를 반려동물의 신체에 착용시키는 단계;
    (b) 상기 반려동물의 사운드 발생시 소정 시간 동안 상기 상태 정보 수집 장치에 상기 사운드 정보를 저장하는 단계;
    (c) 상기 마이크 및 사운드 센서, 상기 온도 감지 센서, 및 상기 3축 가속도 센서에서 감지된 상기 반려동물의 사운드 정보, 체온 정보, 및 활동량 정보를 무선 통신을 통하여 반려동물 감정 분석 서버로 전송하는 단계;
    (d) 상기 반려동물 감정 분석 서버에서 상기 사운드 정보, 체온 정보, 및 활동량 정보를 취합하여 상기 반려동물의 감정 정보를 도출하는 단계;
    (e) 상기 반려동물 감정 분석 서버에서 상기 반려동물의 보호자의 휴대 단말기로 상기 반려동물의 상기 감정 상태 정보를 전송하는 단계;
    를 포함하는 반려동물의 감정 상태 감지 방법.
  2. 반려동물의 감정 상태 감지 방법으로서,
    (a) 반려동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려 동물의 신체 일측에 착용시키는 단계;
    (b) 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려동물의 종류를 선택하여 입력시키는 단계;
    (c) 소정 시간 단위로 상기 반려동물의 사운드를 상기 상태 정보 수집 장치의 일 구성 요소인 마이크 및 사운드 센서를 통하여 수신하는 단계;
    (d) 상기 반려동물의 종류 정보와 상기 사운드 정보를 무선 통신망을 이용하여 반려동물 감정 분석 서버로 전송하는 단계;
    (e) 상기 사운드 정보의 특징 정보를 추출하는 단계;
    (f) 상기 반려동물의 종류 정보 및 상기 특징 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계;
    (g) 상기 상태 정보를 무선 통신망을 이용하여 상기 반려동물의 휴대 단말기로 전송하는 단계;로 이루어지며,
    상기 단계 (c)에서 상기 마이크 및 사운드 센서를 통하여 수신된 상기 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 (d) 단계의 상기 반려동물 감정 분석 서버로 전송되고,
    상기 상태 정보는 상기 반려동물의 다양한 감정 상태 중의 어느 하나인 반려동물의 감정 상태 감지 방법.
  3. 제 2 항에 있어서,
    상기 단계 (e)의 상기 특징 정보 추출은
    상기 사운드의 디지털 정보를 시간 및 주파수 영역에 대한 스펙트로그램 정보로 추출하는 것으로 이루어지는 반려동물의 감정 상태 감지 방법.
  4. 반려동물의 감정 상태 감지 방법으로서,
    (a) 반려동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려 동물의 신체 일측에 착용시키는 단계;
    (b) 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려동물의 종류를 선택하여 입력시키는 단계;
    (c) 소정 시간 단위로 상기 상태 정보 수집 장치의 마이크 및 사운드 센서, 온도 센서, 가속도 센서로부터 상기 반려동물의 사운드, 체온, 활동량 정보를 수집하는 단계;
    (d) 상기 반려동물의 종류 정보와 상기 사운드 정보, 상기 체온 정보, 상기 활동량 정보를 무선 통신망을 이용하여 반려동물 감정 분석 서버로 전송하는 단계;
    (e) 상기 사운드 정보의 특징 정보를 추출하는 단계;
    (f) 상기 반려동물의 종류 정보 및 상기 특징 정보와 상기 체온 정보 및 상기 활동량 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계;
    (g) 상기 상태 정보를 무선 통신망을 이용하여 상기 반려동물의 휴대 단말기로 전송하는 단계;로 이루어지며,
    상기 단계 (c)에서 상기 마이크 및 사운드 센서를 통하여 수신된 상기 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 (d) 단계의 상기 반려동물 감정 분석 서버로 전송되며,
    상기 상태 정보는 상기 반려동물의 다양한 감정 상태 중의 어느 하나인 반려동물의 감정 상태 감지 방법.
  5. 반려동물의 사운드를 수집하는 마이크 및 사운드 센서, 반려동물의 체온을 수집하는 온도 센서, 반려동물의 활동량을 수집하는 가속도 센서를 포함하며, 반려동물의 신체에 착용되는 상태 정보 수집 장치; 및,
    상기 상태 정보 수집 장치로부터 전송된 반려동물의 사운드 정보의 특징 정보를 추출하고, 추출된 특징 정보에 대응하는 반려동물의 감정 상태 정보를 데이터베이스로부터 선택하고, 선택한 반려동물의 감정 상태 정보를 무선 통신망을 통해 반려동물의 보호자의 휴대 단말기로 전송하는 반려동물 감정 분석 서버;
    를 포함하는 반려동물의 감정 상태 감지 시스템.
  6. 제 5 항에 있어서,
    상기 상태 정보 수집 장치의 마이크 및 사운드 센서를 통하여 수신된 반려동물의 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 반려동물 감정 분석 서버로 전송되는 반려동물의 감정 상태 감지 시스템.
  7. 제 5 항에 있어서,
    상기 반려동물 감정 분석 서버는 상기 사운드의 상기 디지털 정보를 시간 및 주파수 영역에 대한 스펙트로그램 정보로 특징 정보 추출을 수행하는 반려동물의 감정 상태 감지 시스템.
  8. 제 5 항에 있어서,
    상기 반려동물 감정 분석 서버는 상기 상태 정보 수집 장치의 온도 센서와 가속도 센서에 의해 수집된 반려동물의 체온 정보와 활동량 정보 중 적어도 하나 이상을 상기 사운드 정보와 조합하여 반려동물의 감정 상태 정보를 데이터베이스로부터 선택하는 반려동물의 감정 상태 감지 시스템.
PCT/KR2019/005198 2018-08-30 2019-04-30 반려동물의 감정 상태 감지 시스템 및 방법 WO2020045789A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/270,715 US11406301B2 (en) 2018-08-30 2019-04-30 System and method for detecting emotional state of pet

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180102429A KR20200025283A (ko) 2018-08-30 2018-08-30 반려동물의 감정 상태 감지 방법
KR10-2018-0102429 2018-08-30

Publications (1)

Publication Number Publication Date
WO2020045789A1 true WO2020045789A1 (ko) 2020-03-05

Family

ID=69642999

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005198 WO2020045789A1 (ko) 2018-08-30 2019-04-30 반려동물의 감정 상태 감지 시스템 및 방법

Country Status (3)

Country Link
US (1) US11406301B2 (ko)
KR (1) KR20200025283A (ko)
WO (1) WO2020045789A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643724A (zh) * 2021-07-06 2021-11-12 中国科学院声学研究所南海研究站 一种基于时-频双分支特征的猕猴情绪识别方法及系统
WO2022138839A1 (ja) * 2020-12-24 2022-06-30 Ａｓｓｅｓｔ株式会社 動物意思判別プログラム
WO2024080429A1 (ko) * 2022-10-14 2024-04-18 (주)펫펄스랩 자동차 반려동물 모드 제공방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3991121A1 (en) * 2019-06-26 2022-05-04 Mars, Incorporated System and method for wellness assessment of a pet
KR102637243B1 (ko) * 2021-11-30 2024-02-16 (주)씨앤아이 토탈솔루션 반려동물의 건강상태 모니터링 시스템을 이용한 반려동물의 돌출행동 차단 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110011768A (ko) * 2009-07-29 2011-02-09 에스케이 텔레콤주식회사 무선 근거리 기반 생체 신호 측정 단말기 및 방법
KR20160081468A (ko) * 2014-12-31 2016-07-08 홍상민 반려동물의 지능적인 먹이 공급장치 및 이를 이용한 스마트 피딩 시스템
KR20170014208A (ko) * 2015-07-29 2017-02-08 주식회사 퍼플마린 반려 동물용 통신 장치
KR20180034143A (ko) * 2016-09-27 2018-04-04 크루셜텍 (주) 동물용 체온 센서 모듈
KR20180076468A (ko) * 2016-12-28 2018-07-06 남궁성 IoT 기술과 자기주도형 학습 알고리즘기반의 인공지능 애완동물용 하우스 및 시스템

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100455286B1 (ko) * 2002-01-11 2004-11-06 삼성전자주식회사 생리신호획득 및 해석을 이용한 동물의 상태 파악 방법 및장치
JP2008538520A (ja) * 2005-04-20 2008-10-30 ヴィーヴォメトリックス インコーポレイテッド ヒト以外の動物の非侵襲的生理学的モニタシステム及び方法
WO2007020589A1 (en) * 2005-08-19 2007-02-22 Koninklijke Philips Electronics N.V. A training device and a method for training an animal to adapt its behavior to various environments
US9675051B2 (en) * 2014-07-21 2017-06-13 Nicholas Jay Bonge, JR. Wireless animal training, monitoring and remote control system
US9807983B2 (en) * 2014-08-22 2017-11-07 Panasonic Intellectual Property Corporation Of America Device control method for estimating a state of an animal and for determining a control detail for an electronic device
WO2016077816A1 (en) * 2014-11-14 2016-05-19 Siegel, John System and method for animal data collection and analytics
CN107846869A (zh) * 2015-03-05 2018-03-27 珠海进峰科技有限公司 动物监测装置
US20160302393A1 (en) * 2015-04-20 2016-10-20 Smilables Inc. Intelligent pet monitoring system
US20170064924A1 (en) * 2015-09-05 2017-03-09 Alison A. Stout Animal Olfaction Training Apparatus and Method
TWI573560B (zh) * 2016-08-30 2017-03-11 Nuworld Corp Pet response identification system
KR101785888B1 (ko) * 2017-01-18 2017-10-17 이동환 이종동물 양방향 커뮤니케이션 서비스 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110011768A (ko) * 2009-07-29 2011-02-09 에스케이 텔레콤주식회사 무선 근거리 기반 생체 신호 측정 단말기 및 방법
KR20160081468A (ko) * 2014-12-31 2016-07-08 홍상민 반려동물의 지능적인 먹이 공급장치 및 이를 이용한 스마트 피딩 시스템
KR20170014208A (ko) * 2015-07-29 2017-02-08 주식회사 퍼플마린 반려 동물용 통신 장치
KR20180034143A (ko) * 2016-09-27 2018-04-04 크루셜텍 (주) 동물용 체온 센서 모듈
KR20180076468A (ko) * 2016-12-28 2018-07-06 남궁성 IoT 기술과 자기주도형 학습 알고리즘기반의 인공지능 애완동물용 하우스 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022138839A1 (ja) * 2020-12-24 2022-06-30 Ａｓｓｅｓｔ株式会社 動物意思判別プログラム
CN113643724A (zh) * 2021-07-06 2021-11-12 中国科学院声学研究所南海研究站 一种基于时-频双分支特征的猕猴情绪识别方法及系统
WO2024080429A1 (ko) * 2022-10-14 2024-04-18 (주)펫펄스랩 자동차 반려동물 모드 제공방법

Also Published As

Publication number Publication date
US20220000404A1 (en) 2022-01-06
US11406301B2 (en) 2022-08-09
KR20200025283A (ko) 2020-03-10

Similar Documents

Publication Publication Date Title
WO2020045789A1 (ko) 반려동물의 감정 상태 감지 시스템 및 방법
Chen et al. Bathroom activity monitoring based on sound
WO2018080124A2 (ko) 딥 러닝 신경망 기반의 보안 시스템 및 그 제어 방법
WO2021066279A1 (ko) 블록체인 기반 반려동물 관리시스템 및 그것을 이용한 관리방법
WO2015111771A1 (ko) 음주 판별 방법, 이를 수행하기 위한 기록매체 및 단말기
CN108935188A (zh) 猪只疾病识别方法、装置及电子设备
Pham MobiCough: real-time cough detection and monitoring using low-cost mobile devices
Wade et al. Design and implementation of an instrumented cane for gait recognition
CN113397494A (zh) 动物体征监测装置和方法及智能可穿戴装置
KR20110073172A (ko) 손목 착용형 낙상 감지 장치 및 방법과 이를 이용한 낙상 감지 시스템
Chuah et al. Smartphone based autism social alert system
CN108958482A (zh) 一种基于卷积神经网络的相似性动作识别装置及方法
Chapron et al. Highly accurate bathroom activity recognition using infrared proximity sensors
CN107105092A (zh) 一种基于动态时间规整的人体跌倒识别方法
Fleury et al. A multimodal corpus recorded in a health smart home
Mirshekari et al. Calibration-free footstep frequency estimation using structural vibration
Fan et al. Fall detection with unobtrusive infrared array sensors
JP2019175052A (ja) 介護行為推定システム
von Glasersfeld Signs, communication, and language
WO2018147654A1 (ko) 펫 동작 구분 방법 및 이를 이용하는 장치
TWI401061B (zh) 活動力監測方法與系統
WO2021256889A1 (ko) 오디오 인식을 활용한 라이프로그 장치 및 그 방법
FR2806193B1 (fr) Appareil de comptage de personnes ou d'objets
CN219921037U (zh) 动物体征监测装置和动物智能可穿戴装置
Garcia-Constantino et al. Semi-automated Annotation of Audible Home Activities

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19856193

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 12.07.2021)

122 Ep: pct application non-entry in european phase

Ref document number: 19856193

Country of ref document: EP

Kind code of ref document: A1