KR20200025283A - 반려동물의 감정 상태 감지 방법 - Google Patents
반려동물의 감정 상태 감지 방법 Download PDFInfo
- Publication number
- KR20200025283A KR20200025283A KR1020180102429A KR20180102429A KR20200025283A KR 20200025283 A KR20200025283 A KR 20200025283A KR 1020180102429 A KR1020180102429 A KR 1020180102429A KR 20180102429 A KR20180102429 A KR 20180102429A KR 20200025283 A KR20200025283 A KR 20200025283A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- companion animal
- sound
- state
- state information
- Prior art date
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 15
- 241001465754 Metazoa Species 0.000 claims abstract description 133
- 230000002996 emotional effect Effects 0.000 claims abstract description 37
- 230000000694 effects Effects 0.000 claims abstract description 15
- 230000036760 body temperature Effects 0.000 claims abstract description 13
- 230000001133 acceleration Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 5
- 230000037081 physical activity Effects 0.000 claims description 3
- 230000008909 emotion recognition Effects 0.000 claims 2
- 239000013598 vector Substances 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 9
- 210000003423 ankle Anatomy 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 241000282472 Canis lupus familiaris Species 0.000 description 4
- 241000282412 Homo Species 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 210000002683 foot Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000004744 fore-foot Anatomy 0.000 description 2
- 210000000548 hind-foot Anatomy 0.000 description 2
- 238000010419 pet care Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/06—Arrangements of multiple sensors of different types
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Environmental Sciences (AREA)
- Social Psychology (AREA)
- Signal Processing (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychology (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
본 발명은 반려 동물의 사운드, 체온, 활동량을 감지할 수 있는 마이크, 온도 센서, 가속도 센서를 갖는 상태 정보 수집 장치를 반려 동물의 신체 일측에 착용시킨 후 상태 정보 수집 장치에서 수집한 이들 정보를 분석하여 반려 동물의 감정 상태 정보를 반려 동물의 소유자 등이 소지하고 있는 휴대 단말기로 전송하도록 하는 반려동물의 감정 상태 감지 방법에 관한 것이다.
본 발명의 주요 기술적 사상을 포함하는 반려 동물의 감정 상태 감지 방법은
(a) 반려 동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려 동물의 신체 일측에 착용시키는 단계;
(b) 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려 동물의 종류를 선택하여 입력시키는 단계;
(c) 소정 시간 단위로 상기 반려 동물의 사운드를 상기 상태 정보 수집 장치의 일 구성 요소인 마이크를 통하여 수신하는 단계;
(d) 상기 반려 동물의 종류 정보와 상기 사운드 정보를 무선 통신망을 이용하여 반려 동물 감정 분석 서버로 전송하는 단계;
(e) 상기 사운드 정보의 특징 정보를 추출하는 단계;
(f) 상기 반려 동물의 종류 정보 및 상기 특징 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계;
(g) 상기 상태 정보를 무선 통신망을 이용하여 상기 반려 동물의 휴대 단말기로 전송하는 단계;로 이루어지며,
상기 단계 (c)에서 상기 마이크를 통하여 수신된 상기 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 (d) 단계의 상기 반려 동물 감정 분석 서버로 전송되고,
상기 상태 정보는 상기 반려 동물의 다양한 감정 상태 중의 어느 하나인 것을 특징으로 한다.
본 발명에서 제안하는 반려동물의 감정 상태 감지 방법을 실시하는 경우 다음과 같은 효과가 있다.
1. 반려 동물의 사운드를 정밀 분석하여 반려 동물의 감정 상태를 반려 동물의 보호자가 소지하고 있는 단말기로 실시간 전송할 수 있다.
2. 반려 동물의 감정 상태에 따라 달라지는 사운드의 주파수 스펙트럼 분석 결과를 반려 동물의 체온 정보와 연동시킴으로써 반려 동물의 감정 상태를 보다 더욱 정확히 파악할 수 있다.
3. 반려 동물 보호자는 근거리 또는 원격지에서 자신이 소지한 휴대 단말기를 통하여 반려 동물의 감정 상태를 실시간으로 파악할 수 있고 소정의 조치를 취할 수도 있다.
본 발명의 주요 기술적 사상을 포함하는 반려 동물의 감정 상태 감지 방법은
(a) 반려 동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려 동물의 신체 일측에 착용시키는 단계;
(b) 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려 동물의 종류를 선택하여 입력시키는 단계;
(c) 소정 시간 단위로 상기 반려 동물의 사운드를 상기 상태 정보 수집 장치의 일 구성 요소인 마이크를 통하여 수신하는 단계;
(d) 상기 반려 동물의 종류 정보와 상기 사운드 정보를 무선 통신망을 이용하여 반려 동물 감정 분석 서버로 전송하는 단계;
(e) 상기 사운드 정보의 특징 정보를 추출하는 단계;
(f) 상기 반려 동물의 종류 정보 및 상기 특징 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계;
(g) 상기 상태 정보를 무선 통신망을 이용하여 상기 반려 동물의 휴대 단말기로 전송하는 단계;로 이루어지며,
상기 단계 (c)에서 상기 마이크를 통하여 수신된 상기 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 (d) 단계의 상기 반려 동물 감정 분석 서버로 전송되고,
상기 상태 정보는 상기 반려 동물의 다양한 감정 상태 중의 어느 하나인 것을 특징으로 한다.
본 발명에서 제안하는 반려동물의 감정 상태 감지 방법을 실시하는 경우 다음과 같은 효과가 있다.
1. 반려 동물의 사운드를 정밀 분석하여 반려 동물의 감정 상태를 반려 동물의 보호자가 소지하고 있는 단말기로 실시간 전송할 수 있다.
2. 반려 동물의 감정 상태에 따라 달라지는 사운드의 주파수 스펙트럼 분석 결과를 반려 동물의 체온 정보와 연동시킴으로써 반려 동물의 감정 상태를 보다 더욱 정확히 파악할 수 있다.
3. 반려 동물 보호자는 근거리 또는 원격지에서 자신이 소지한 휴대 단말기를 통하여 반려 동물의 감정 상태를 실시간으로 파악할 수 있고 소정의 조치를 취할 수도 있다.
Description
본 발명은 반려동물의 감정 상태를 감지하는 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 반려 동물의 사운드, 체온, 활동량을 감지할 수 있는 마이크, 온도 센서, 가속도 센서를 갖는 상태 정보 수집 장치를 반려 동물의 신체 일측에 착용시킨 후 상태 정보 수집 장치에서 수집한 이들 정보를 분석하여 반려 동물의 감정 상태 정보를 반려 동물의 소유자 등이 소지하고 있는 휴대 단말기로 전송하도록 하는 반려동물의 감정 상태 감지 방법에 관한 것이다.
얼마 전까지만 해도 가정에서 기르는 개와 고양이를 애완동물이라 했지만 요즈음은 반려동물이라고 한다. 이는 주인의 즐거움이나 이익을 위한 수단으로 길러지는 동물이 아닌, 생명으로서 존중되며 사람과 더불어 살면서 교감하는 가족의 일원으로서의 동물을 의미한다. 핵가족화하고 독립적인 현대사회에서는 감정적 교류를 동물을 통해 하려는 경향이 있어 반려동물의 소유가 늘어나고 있으며, 우리나라도 등록된 반려동물의 수가 100만 마리를 초과하였다고 알려져 있고, 반려동물산업을 육성하는 정부 정책도 제시되고 있는 실정이다.
반려동물이 인간의 삶의 질을 향상시키는 데 긍정적인 역할을 한다는 많은 연구결과가 있다. 어린이에게는 사회성과 정서 발달에 도움을 주고, 책임감과 남을 이해하는 마음을 키워주며 언어습득 능력도 촉진시키고, 생명의 존엄성을 일깨워준다고 하며, 노인에게는 육체적·정신적 건강을 잘 유지하게 하고, 긍정적인 사고와 생활 만족도를 높여 준다고 알려져 있다.
반려동물 전문가들은 "현대인들이 인간들에 배신당하고 지친 마음을 자신을 좋아하고 따르는 반려동물을 키우면서 위로로 삼는 경우"가 많으며, "실제 반려동물들이 사람들에게 정서적으로 안정감을 준다"고 입을 모으고 있다. 실제 반려동물은 혼자 사는 사람들의 우울증 예방에도 효과가 있는 것으로 입증되고 있다.
그러나 반려동물을 바라보는 우리의 시각은 아직도 애완동물 수준에서 벗어나지 못하는 부분이 여전히 있다.
이 때문에, 사람과 더불어 살아가는 반려동물을 위해 무엇을 어떻게 해야 할 것인가에 대하여 고민할 필요한데, 이를 위해서는 사람과 마찬가지로 반려 동물들의 감정 상태를 먼저 이해할 필요가 있다.
이러한 필요성에 기초하여 특허출원번호가 제10-2014-0165345호이고, 발명의 명칭이 "펫 수트를 이용한 애완 동물 관리 시스템 및 방법 "인 선행 특허 문헌에서는 애완동물에 착용되어 맥박 및 체온을 체크하여 센싱신호를 생성하는 펫 수트와, 펫 수트로부터 전송된 센싱신호로부터 학습을 통해 애완동물 상태를 파악하여 애완동물의 상태를 정확하게 파악함으로써 애완동물에게 최적의 환경을 제공하기 위한 기술을 제안한 바 있다.
위 선행 특허 문헌에 공지되어 있는 펫 수트는 애완동물의 맥박을 체크하여 맥박신호를 생성하는 맥박센서; 애완동물의 체온을 체크하여 온도신호를 생성하는 온도센서; 맥박신호와 온도신호를 전송 제어하는 제어부; 및 맥박신호와 온도신호를 로컬 서버로 전송하는 통신부를 포함하고 있다.
그러나, 위 선행 특허 문헌에 개시되어 있는 펫 수트는 단순히 맥박 내지 체온만을 측정하여 애완 동물의 상태를 체크하고자 하였으나, 애완 동물의 경우 몸집이 다양하고 털이 많거나 적은 경우도 있어 애완 동물의 맥박을 정확히 측정하고자 하는 기술에 대한 문제를 해소할 수 없다는 문제점 등을 안고 있다.
본 발명은 반려 동물의 소리 즉 사운드 특성을 분석하여 반려 동물의 감정 상태를 정확히 실시간으로 보호자의 휴대 단말기로 전송하여 줄 수 있는 반려 동물 감정 상태 감지 방법을 제안하는 것을 목적으로 한다.
본 발명의 주요 기술적 사상을 포함하는 반려 동물의 감정 상태 감지 방법은
(a) 반려 동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려 동물의 신체 일측에 착용시키는 단계;
(b) 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려 동물의 종류를 선택하여 입력시키는 단계;
(c) 소정 시간 단위로 상기 반려 동물의 사운드를 상기 상태 정보 수집 장치의 일 구성 요소인 마이크를 통하여 수신하는 단계;
(d) 상기 반려 동물의 종류 정보와 상기 사운드 정보를 무선 통신망을 이용하여 반려 동물 감정 분석 서버로 전송하는 단계;
(e) 상기 사운드 정보의 특징 정보를 추출하는 단계;
(f) 상기 반려 동물의 종류 정보 및 상기 특징 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계;
(g) 상기 상태 정보를 무선 통신망을 이용하여 상기 반려 동물의 휴대 단말기로 전송하는 단계;로 이루어지며,
상기 단계 (c)에서 상기 마이크를 통하여 수신된 상기 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 (d) 단계의 상기 반려 동물 감정 분석 서버로 전송되고,
상기 상태 정보는 상기 반려 동물의 다양한 감정 상태 중의 어느 하나인 것을 특징으로 한다.
본 발명에 있어서, 단계 (e)의 상기 특징 정보 추출은 상기 사운드의 상기 디지털 정보를 시간 및 주파수 영역에 대한 스펙트로그램 정보를 추출하는 것으로 이루어 질 수 있다.
본 발명에서 제안하는 반려동물의 감정 상태 감지 방법을 실시하는 경우 다음과 같은 효과가 있다.
1. 반려 동물의 사운드를 정밀 분석하여 반려 동물의 감정 상태를 반려 동물의 보호자가 소지하고 있는 단말기로 실시간 전송할 수 있다.
2. 반려 동물의 감정 상태에 따라 달라지는 사운드의 주파수 스펙트럼 분석 결과를 반려 동물의 체온 정보와 연동시킴으로써 반려 동물의 감정 상태를 보다 더욱 정확히 파악할 수 있다.
3. 반려 동물 보호자는 근거리 또는 원격지에서 자신이 소지한 휴대 단말기를 통하여 반려 동물의 감정 상태를 실시간으로 파악할 수 있고 소정의 조치를 취할 수도 있다.
도 1은 본 발명에 따른 반려동물의 감정 상태 감지하기 위한 전체 시스템의 개념도이다.
도 2는 본 발명에서 제안하는 반려동물의 감정 상태 감지 방법을 개념적으로 설명하는 흐름도이다.
도 3은 본 발명에서 실시한 실험의 일예이다.
도 4는 반려 동물 사운드 중 두려운 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
도 5는 분노인 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
도 6은 슬픈 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
도 7은 기쁜 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
도 2는 본 발명에서 제안하는 반려동물의 감정 상태 감지 방법을 개념적으로 설명하는 흐름도이다.
도 3은 본 발명에서 실시한 실험의 일예이다.
도 4는 반려 동물 사운드 중 두려운 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
도 5는 분노인 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
도 6은 슬픈 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
도 7은 기쁜 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이다.
이하에서는 도면 등을 참조하여 본 발명에서 제안하는 반려동물의 감정 상태 감지 방법에 대하여 설명하기로 한다.
도 1은 본 발명에 따른 반려동물의 감정 상태 감지하기 위한 전체 시스템의 개념도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 반려동물의 감정 상태 감지 시스템은 반려 동물의 신체에 부착되는 상태 정보 수집 장치, 상태 정보 수집 장치와 무선 연동되는 반려 동물 감성 분석 서버, 다양한 반려 동물의 감정 정보에 대한 학습된 정보가 저장된 데이터베이스, 및 반려 동물 감성 분석 서버와 무선 연동 가능한 소정의 앱이 설치되어 있는 휴대 단말기로 이루어진다.
본 발명에서 제안하는 반려 동물의 신체에 부착되어 반려 동물의 감정 상태 정보를 수집하는 상태 정보 수집 장치는 반려 동물의 사운드를 수집하는 마이크, 반려 동물의 체온을 수집하는 온도 센서, 반려 동물의 활동량을 수집하는 가속도 센서를 포함할 수 있다.
본 발명의 실시를 위하여 이들 3 종류의 센서를 모두 사용할 수도 있지만 필요에 따라 특정 센서를 사용하지 않을 수도 있다.
참고로, 상태 정보 수집 장치는 버튼 또는 터치스크린 타입의 입력부가 더 제공될 수 있으며 입력부를 통하여 상태정보 수집 장치를 착용하는 반려 동물의 종류를 선택할 수 있다.
더불어, 본 발명에서 제안하는 상태 정보 수집 장치는 반려 동물의 목에 착용하는 방식으로 제작할 수도 있고 하네스 가슴줄 방식으로도 구현할 수 있을 것이다. 즉, 당업자는 반려 동물의 사운드, 체온, 활동량을 제대로 수집할 수 있다고 판단되는 다양한 형태의 장치를 부가하여 본 발명에서 제안하는 상태 정보 수집 장치를 다양한 방식으로 구현할 수 있을 것이다.
따라서, 반려 동물의 신체에 착용되어 반려 동물의 사운드, 온도 또는 활동량을 수집할 수 있는 모든 종류의 장치는 본 발명에서 의미하는 상태 정보 수집장치에 포함되는 것으로 해석되어야 할 것이다.
참고로, 본 발명의 가속도 센서는 적어도 하나 이상의 가속도 센서로 구성될 수 있다.
예컨대, 반려 동물의 목, 반려동물의 발목 등에 설치 가능하다
즉, 본 발명의 실시 양태에 따라, 반려 동물의 활동량을 다각적인 측면에서 수집하기 위하여 반려 동물의 목, 또는 반려 동물의 발목이나 허벅지 등에 설치 가능하다.
예컨대, 반려 동물의 앞발 또는 뒷발의 활동량을 체크하기 위하여 반려 동물의 발목에 모두 센서를 부착할 수 있으며 이 경우 4 개의 가속도 센서가 사용될 수 있다.
더불어, 반려견의 목에 가속도 센서를 추가하는 경우 총 5개의 가속도 센서를 통하여 반려 동물의 활동량을 다각적인 측면에서 수집할 수도 있을 것이다.
참고로, 위의 경우와 같이 적어도 하나 이상의 가속도 센서를 사용하여 반려 동물의 활동량을 체크하는 경우에 각 가속도 센서에서 수집된 상태 정보는 상태 정보 수집 장치와 유선으로 연결되어 구성할 수도 있으나 근거리 무선 통신에 의하여 무선으로 전송될 수도 있을 것이다.
예를 들어, 상태 정보 수집 장치가 반려 동물의 목에 착용되는 목줄(목밴드) 장치로 구현되는 경우, 반려 동물의 발목 등에 착용되는 4개의 가속도 센서는 상태 정보 수집 장치인 목줄 장치와 각기 무선 통신이 가능한 가속도 센서 모듈로 구현될 수 있다. 즉, 목줄과 무선 통신이 가능하도록 근거리 무선 통신 기능이 구비되는 4개의 가속도 센서 모듈로 구성될 수 있을 것이다 따라서, 본 발명의 가속도 센서의 정보 수신은 유선 혹은 근거리 무선 통신 중 어느 하나로 선택하여 다양하게 설계 가능할 것이다.
도 2는 본 발명에서 제안하는 반려동물의 감정 상태 감지 방법을 개념적으로 설명하는 흐름도이다.
도 2에 도시된 바와 같이, 본 발명의 반려동물의 감정 상태 감지 방법은 (1)마이크, 온도 센서, 또는 가속도 센서를 통하여 반려 동물의 사운드 정보, 체온 정보, 가속도 정보(활동량 정보)를 상태 정보 수집 장치에서 수집하는 단계; (2) 사운드 정보, 체온 정보, 가속도 정보(활동량 정보)를 반려 동물 감정 분석 서버로 전송하여 반려 동물의 감정 상태를 분석하는 단계; (3) 분석한 반려 동물의 감정 정보를 반려 동물의 사용자 등이 소지하고 있는 휴대 단말기로 무선 전송하는 단계로 이루어진다. 참고로, 휴대 단말기에는 반려 동물 감정 분석 서버와 데이터 송수신이 가능한 소정의 앱이 설치되어 있다.
이하에서는 본 발명에서 제안하는 반려동물의 감정 상태 감지 방법의 핵심적인 기술적 사상에 대하여 보다 구체적으로 상세히 설명하고자 한다.
본 발명의 일 실시예인 반려동물의 감정 상태 감지 방법은 다음과 같은 단계로 구성될 수 있다.
(a) 반려 동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려 동물의 신체 일측에 착용시키는 단계;
(b) 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려 동물의 종류를 선택하여 입력시키는 단계;
(c) 소정 시간 단위로 상기 반려 동물의 사운드를 상기 상태 정보 수집 장치의 일 구성 요소인 마이크를 통하여 수신하는 단계;
(d) 상기 반려 동물의 종류 정보와 상기 사운드 정보를 무선 통신망을 이용하여 반려 동물 감정 분석 서버로 전송하는 단계;
(e) 상기 사운드 정보의 특징 정보를 추출하는 단계;
(f) 상기 반려 동물의 종류 정보 및 상기 특징 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계;
(g) 상기 상태 정보를 무선 통신망을 이용하여 상기 반려 동물의 휴대 단말기로 전송하는 단계;로 이루어지며,
상기 단계 (c)에서 상기 마이크를 통하여 수신된 상기 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 (d) 단계의 상기 반려 동물 감정 분석 서버로 전송되고,
상기 상태 정보는 상기 반려 동물의 다양한 감정 상태(예컨대, 화난 상태, 놀란 상태, 반기는 상태, 아픈 상태, 행복한 상태 등) 중 어느 하나일 수 있다.
한편, 본 발명에 있어서, 전술한 단계 (e)의 상기 특징 정보 추출은 상기 사운드의 상기 디지털 정보를 시간 및 주파수 영역에 대한 스펙트로그램 정보를 추출하는 것으로 이루어질 수 있다.
전술한 본 발명의 주요 기술적 사상 중의 하나는 반려 동물의 사운드의 특징점을 어떻게 추출하는 가에 있다.
본 발명에서는 다양한 실험을 통하여 반려 동물 사운드의 특징을 추출하고자 하였다.
도 3은 본 발명에서 실시한 실험의 일예이다.
도시된 바와 같이 반려 동물의 일종인 특정 종류의 강아지의 소리(사운드)의 특징이 도시되어 있다
이처럼, 본 발명에서는 반려 동물의 사운드에 대하여 시간, 주파수, short time energy, short time zero crossing, spectrum flatness measure 등과 관련되어 다양한 특징들을 추출하고 이를 데이터베이스화 하였다.
이러한 특징 추출은 다음과 같은 방식으로 실시되었다.
[특징 벡터 추출 (Feature Extraction)]
특징 벡터 추출 방법은 수행하고자 하는 작업의 목적에 맞게 핵심적인 정보를 잘 담을 수 있도록 원 신호로부터 추출하는 것이 중요하다. 일반적으로 오디오 분류 딥러닝 알고리즘은 멜 스펙트로그램(Mel-spectrogram)을 많이 사용한다.
하지만 반려견이 짖는 소리는 음악 신호처럼 특정 화성적 성분(harmonic components)의 유무가 중요하기 보다는 다양한 주파수 성분들의 조합으로 만들어진
노이즈같은 신호이다. 따라서 음색에 대한 정보가 더 중요하다고 고려되어 MFCC(Mel-frequency cepstral coefficient)성분을 추출하여 일반적으로 사용되는 특성 벡터인 Mel-spectrogram과 더 기본적인 특성인 spectrogram와 비교 실험을 하였다.
A Spectrogram(스펙트로그램)
시간에 따른 1차원 벡터인 음향 신호를 딥러닝에 활용될 수 있는 형태로 변환하기 위해 STFT(Short-Time Fourier Transform)을 통해 시간-주파수 벡터로 변환한 결과이다. 시간-주파수 표현(time-frequency representation)의 가장 기본적인 형태로 주파수마다의 에너지 정보를 0~sampling frequency/2(Hz)로 이루어진 벡터로 표현한다. 보통 세로축은 주파수 정보를 가로축은 시간 정보를 나타낸다.
B Mel-spectrogram(멜 스펙트로그램)
Spectrogram은 주파수(Hz)단위로 나타나 있는데 이를 직접 음성 분류에 활용하기에는 정보가 너무 많아 분류 알고리즘이 중요한 특성이 아닌 지엽적인 특성을 학습할 가능성이 높다. Spectrogram이 표현하는 전체 주파수 영역을 포함하면서 그 정보를 축약하는 방법 중 하나로 자주 제안되는 것이 spectrogram을 audio filter bank에 통과시키는 것이다.
Mel-spectrogram은 인간의 달팽이관과 유사한 출력을 갖는 mel filter bank를 사용해서 spectrogram의 정보를 축약한다. 사람의 경우 저주파의 경우 인접한 주파수를 잘 분리하지만 고주파 대역으로 올라갈수록 주파수 구분 능력이 떨어진다. mel filter bank는 이를 차용해 고주파일수록 window size가 커지도록 설계되었다.
C. MFCC(mel-frequency cepstral coefficient)
본 발명에서는 추가적으로 MFCC도 사용하였는데, 이는 앞의 Mel-spectrogram을 logscale로 바꾼 다음, 이산 코사인 변환(DCT)를 취하는 것이다. 이 과정에서 값이 작은 일부 coefficient를 제거한다. 벡터 추출하는 알고리즘 코드는 오디오정보분석 연구에서 많이 사용되고 있는 파이썬 기반의 오픈 라이브러리 Librosa를 기반으로 한다.
본 발명에 있어서, 도 4는 반려 동물 사운드 중 두려운 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터의 일예이고, 도 5는 분노인 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터이고, 도 6은 슬픈 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터이고, 도 7은 기쁜 상태의 오디오 신호의 파형, Mel-spectrogram, MFCC 특성 벡터이며 이는 반려 동물의 종류에 따라 다양한 패턴으로 정리될 수 있다.
본 발명에서는 이러한 실험 결과를 데이터베이스화하고 이를 기초로 반려 동물의 사운드가 마이크를 통하여 입력되는 경우 소정의 확률로 반려 동물의 감정 상태를 추정할 수 있도록 하였다
더불어, 본 발명의 실시와 관련하여, 본 발명에서 가속도 센서를 활용하는 이유는 반려 동물의 사운드 분석 이외에 목 또는 4 발목에 부착된 가속도 센서(모듈)의 가속도 정보를 함께 분석하는 경우 사운드만으로 반려 동물의 감정 상태를 분석하는 경우보다 더 정밀할 수 있기 때문이다.
예컨대, 긴장한 상태에서 으르렁 거리는 소리를 짖는 경우 발이 지면에 고정된 경우가 많은 관계로 4 발목에 부착된 가속도 센서의 정보 변화가 적은 경우가 많은 반면, 반려 동물의 기분이 좋은 상태인 경우 앞발을 들은 상태에서 경쾌한 소리를 짖는 경우가 많고 이러한 경우 앞발에 부착된 가속도 센서의 정보치와 지면을 딛고 있는 뒷발의 가속도 정보치 범위는 전혀 상이할 수 있다.
본 발명에서는 이처럼 반려 동물의 사운드 이외에 반려 동물의 감정 상태에 따라 앞발 및 뒷발의 움직임 변화가 상이하다는 점에 착안하여 반려 동물이 짖는 소정의 사운드와 행동이나 자세의 변화를 함께 고려하여 반려 동물의 감정 상태를 보다 정밀하게 분석할 수 있도록 하였다.
추가로, 본 발명에서는 반려 동물의 위치를 파악할 수 있도록 상태 정보 수집 장치에 GPS 모듈을 부가할 수 있도록 하였으며, 상태 정보 수집 장치의 통신부를 통하여 외부 서버 또는 발목 등에 부착될 수 있는 가속도 센서 모듈과의 무선 통신이 가능할 수 있도록 하였다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
Claims (4)
- (a) 반려 동물의 사운드를 입력받는 마이크, 상기 반려 동물의 체온을 감지하는 온도 감지 센서, 상기 반려 동물의 활동량을 감지하는 3축 가속도 센서를 갖는 반려 동물 감정 인식 장치를 상기 반려 동물의 신체에 착용시키는 단계;
(b) 상기 반려 동물의 사운드 발생시 소정 시간 동안 상기 반려 동물 감정 인식 장치에 상기 사운드 정보를 저장하는 단계;
(c) 상기 마이크, 상기 온도 감지 센서, 및 상기 3축 가속도 센서에서 감지된 상기 반려 동물의 상기 사운드 정보, 체온 정보, 및 활동량 정보를 무선 통신을 통하여 생체정보수집서버로 전송하는 단계;
(d) 상기 생체정보수집서버에서 상기 사운드 정보, 체온 정보, 및 활동량 정보를 취합하여 상기 반려 동물의 감정 정보를 도출하는 단계;
(e) 상기 생체정보수집서버에서 상기 반려 동물 소유자의 휴대 단말기로 상기 반려 동물의 상기 감정 정보를 전송하는 것을 특징으로 하는 반려동물의 감정 상태 감지 방법.
- 반려동물의 감정 상태 감지 방법으로서,
(a) 반려 동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려 동물의 신체 일측에 착용시키는 단계;
(b) 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려 동물의 종류를 선택하여 입력시키는 단계;
(c) 소정 시간 단위로 상기 반려 동물의 사운드를 상기 상태 정보 수집 장치의 일 구성 요소인 마이크를 통하여 수신하는 단계;
(d) 상기 반려 동물의 종류 정보와 상기 사운드 정보를 무선 통신망을 이용하여 반려 동물 감정 분석 서버로 전송하는 단계;
(e) 상기 사운드 정보의 특징 정보를 추출하는 단계;
(f) 상기 반려 동물의 종류 정보 및 상기 특징 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계;
(g) 상기 상태 정보를 무선 통신망을 이용하여 상기 반려 동물의 휴대 단말기로 전송하는 단계;로 이루어지며,
상기 단계 (c)에서 상기 마이크를 통하여 수신된 상기 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 (d) 단계의 상기 반려 동물 감정 분석 서버로 전송되고,
상기 상태 정보는 상기 반려 동물의 다양한 감정 상태 중의 어느 하나인 것을 특징으로 하는 반려동물의 감정 상태 감지 방법. - 제 2 항에 있어서,
단계 (e)의 상기 특징 정보 추출은
상기 사운드의 상기 디지털 정보를 시간 및 주파수 영역에 대한 스펙트로그램 정보를 추출하는 것으로 이루어지는 것을 특징으로 하는 반려동물의 감정 상태 감지 방법.
- 반려동물의 감정 상태 감지 방법으로서,
(a) 반려 동물의 상태 정보를 수신하는 상태 정보 수집 장치를 상기 반려 동물의 신체 일측에 착용시키는 단계;
(b) 상기 상태 정보 수집 장치의 입력부를 통하여 상기 반려 동물의 종류를 선택하여 입력시키는 단계;
(c) 소정 시간 단위로 상기 상태 정보 수집 장치의 마이크, 온도 센서, 가속도 센서로부터 상기 반려 동물의 사운드, 체온, 활동량 정보를 수집하는 단계;
(d) 상기 반려 동물의 종류 정보와 상기 사운드 정보, 상기 체온 정보, 상기 활동량 정보를 무선 통신망을 이용하여 반려 동물 감정 분석 서버로 전송하는 단계;
(e) 상기 사운드 정보의 특징 정보를 추출하는 단계;
(f) 상기 반려 동물의 종류 정보 및 상기 특징 정보와 상기 체온 정보 및 상기 활동량 정보에 대응하는 소정의 상태 정보를 데이터베이스에서 선택하는 단계;
(g) 상기 상태 정보를 무선 통신망을 이용하여 상기 반려 동물의 휴대 단말기로 전송하는 단계;로 이루어지며,
상기 단계 (c)에서 상기 마이크를 통하여 수신된 상기 사운드는 시간 영역에서 소정의 샘플링 주기로 샘플링된 후 디지털 신호로 변환되어 상기 (d) 단계의 상기 반려 동물 감정 분석 서버로 전송되며,
상기 상태 정보는 상기 반려 동물의 다양한 감정 상태 중의 어느 하나인 것을 특징으로 하는 반려동물의 감정 상태 감지 방법.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180102429A KR20200025283A (ko) | 2018-08-30 | 2018-08-30 | 반려동물의 감정 상태 감지 방법 |
US17/270,715 US11406301B2 (en) | 2018-08-30 | 2019-04-30 | System and method for detecting emotional state of pet |
PCT/KR2019/005198 WO2020045789A1 (ko) | 2018-08-30 | 2019-04-30 | 반려동물의 감정 상태 감지 시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180102429A KR20200025283A (ko) | 2018-08-30 | 2018-08-30 | 반려동물의 감정 상태 감지 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20200025283A true KR20200025283A (ko) | 2020-03-10 |
Family
ID=69642999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180102429A KR20200025283A (ko) | 2018-08-30 | 2018-08-30 | 반려동물의 감정 상태 감지 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11406301B2 (ko) |
KR (1) | KR20200025283A (ko) |
WO (1) | WO2020045789A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230081681A (ko) * | 2021-11-30 | 2023-06-07 | (주)씨앤아이 토탈솔루션 | 반려동물의 건강상태 모니터링 시스템을 이용한 반려동물의 돌출행동 차단 장치 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3145234A1 (en) * | 2019-06-26 | 2020-12-30 | Mars, Incorporated | System and method for wellness assessment |
JP2022101295A (ja) * | 2020-12-24 | 2022-07-06 | Assest株式会社 | 動物意思判別プログラム |
CN113643724B (zh) * | 2021-07-06 | 2023-04-28 | 中国科学院声学研究所南海研究站 | 一种基于时-频双分支特征的猕猴情绪识别方法及系统 |
KR20240052298A (ko) * | 2022-10-14 | 2024-04-23 | (주)펫펄스랩 | 자동차 반려동물 모드 제공방법 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100455286B1 (ko) * | 2002-01-11 | 2004-11-06 | 삼성전자주식회사 | 생리신호획득 및 해석을 이용한 동물의 상태 파악 방법 및장치 |
AU2006236306A1 (en) * | 2005-04-20 | 2006-10-26 | Vivometrics, Inc. | Systems and methods for non-invasive physiological monitoring of non-human animals |
WO2007020589A1 (en) * | 2005-08-19 | 2007-02-22 | Koninklijke Philips Electronics N.V. | A training device and a method for training an animal to adapt its behavior to various environments |
KR101656699B1 (ko) * | 2009-07-29 | 2016-09-12 | 에스케이플래닛 주식회사 | 무선 근거리 기반 생체 신호 측정 단말기 및 방법 |
US9675051B2 (en) * | 2014-07-21 | 2017-06-13 | Nicholas Jay Bonge, JR. | Wireless animal training, monitoring and remote control system |
US9807983B2 (en) * | 2014-08-22 | 2017-11-07 | Panasonic Intellectual Property Corporation Of America | Device control method for estimating a state of an animal and for determining a control detail for an electronic device |
CA2963984C (en) * | 2014-11-14 | 2020-02-25 | Siegel, John | System and method for animal data collection and analytics |
KR101756360B1 (ko) * | 2014-12-31 | 2017-07-11 | 홍상민 | 반려동물의 지능적인 먹이 공급장치 및 이를 이용한 스마트 피딩 시스템 |
AU2016228129B2 (en) * | 2015-03-05 | 2020-10-29 | Alpha Vet Tech Holdings Pty Ltd | Animal monitoring device |
US20160302393A1 (en) * | 2015-04-20 | 2016-10-20 | Smilables Inc. | Intelligent pet monitoring system |
KR101762780B1 (ko) * | 2015-07-29 | 2017-07-28 | 주식회사 퍼플마린 | 반려 동물용 통신 장치 |
US20170064924A1 (en) * | 2015-09-05 | 2017-03-09 | Alison A. Stout | Animal Olfaction Training Apparatus and Method |
TWI573560B (zh) * | 2016-08-30 | 2017-03-11 | Nuworld Corp | Pet response identification system |
KR20180034143A (ko) * | 2016-09-27 | 2018-04-04 | 크루셜텍 (주) | 동물용 체온 센서 모듈 |
KR101931004B1 (ko) | 2016-12-28 | 2018-12-19 | 남궁성 | IoT 기술과 자기주도형 학습 알고리즘기반의 인공지능 애완동물용 하우스 및 시스템 |
KR101785888B1 (ko) * | 2017-01-18 | 2017-10-17 | 이동환 | 이종동물 양방향 커뮤니케이션 서비스 제공 방법 |
-
2018
- 2018-08-30 KR KR1020180102429A patent/KR20200025283A/ko unknown
-
2019
- 2019-04-30 WO PCT/KR2019/005198 patent/WO2020045789A1/ko active Application Filing
- 2019-04-30 US US17/270,715 patent/US11406301B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230081681A (ko) * | 2021-11-30 | 2023-06-07 | (주)씨앤아이 토탈솔루션 | 반려동물의 건강상태 모니터링 시스템을 이용한 반려동물의 돌출행동 차단 장치 |
Also Published As
Publication number | Publication date |
---|---|
WO2020045789A1 (ko) | 2020-03-05 |
US11406301B2 (en) | 2022-08-09 |
US20220000404A1 (en) | 2022-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20200025283A (ko) | 반려동물의 감정 상태 감지 방법 | |
Silva et al. | Exploring Low Cost Laser Sensors to Identify Flying Insect Species: Evaluation of Machine Learning and Signal Processing Methods | |
US11771372B2 (en) | In-ear nonverbal audio events classification system and method | |
Hetzroni et al. | Toward practical acoustic red palm weevil detection | |
JPWO2018043235A1 (ja) | 音源の方向を認識する自律行動型ロボット | |
Min et al. | Automatic characterization and detection of behavioral patterns using linear predictive coding of accelerometer sensor data | |
Fleury et al. | Sound and speech detection and classification in a health smart home | |
WO2019242155A1 (zh) | 基于声音识别的健康管理方法、装置和计算机设备 | |
Pham | MobiCough: real-time cough detection and monitoring using low-cost mobile devices | |
Cuan et al. | Gender determination of domestic chicks based on vocalization signals | |
CN108882851A (zh) | 频率分析反馈系统和方法 | |
CN113397494A (zh) | 动物体征监测装置和方法及智能可穿戴装置 | |
CN108207700A (zh) | 奶牛信息监测方法及系统 | |
KR20160065378A (ko) | 애견 감정 표현 장치 | |
CN109487876B (zh) | 一种马桶的智能识别检测方法及系统 | |
KR102364172B1 (ko) | 가축 발성음 센싱 시스템 및 방법 | |
Huang et al. | A scene adaption framework for infant cry detection in obstetrics | |
TWI401061B (zh) | 活動力監測方法與系統 | |
US10789432B2 (en) | Tracklets | |
Adavanne et al. | Convolutional recurrent neural networks for bird audio detection | |
Yang et al. | Person authentication using finger snapping—a new biometric trait | |
KR102270637B1 (ko) | 보호자와의 상호작용에 기반한 반려동물 행동 분석 방법 | |
Rodriguez et al. | Waah: Infants cry classification of physiological state based on audio features | |
KR20170087225A (ko) | 동물의 음성 분석정보를 제공하는 장치, 방법 및 기록매체 | |
KR20130110572A (ko) | 소리 정보를 이용한 소 발정기 탐지 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant |