KR20180092291A - 펫 동작 구분 방법 및 이를 이용하는 장치 - Google Patents

펫 동작 구분 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
KR20180092291A
KR20180092291A KR1020180015458A KR20180015458A KR20180092291A KR 20180092291 A KR20180092291 A KR 20180092291A KR 1020180015458 A KR1020180015458 A KR 1020180015458A KR 20180015458 A KR20180015458 A KR 20180015458A KR 20180092291 A KR20180092291 A KR 20180092291A
Authority
KR
South Korea
Prior art keywords
pet
information
sensor
classifying
feature
Prior art date
Application number
KR1020180015458A
Other languages
English (en)
Inventor
최윤희
김건하
유광호
김경수
Original Assignee
만도헬라일렉트로닉스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 만도헬라일렉트로닉스(주) filed Critical 만도헬라일렉트로닉스(주)
Priority to PCT/KR2018/001693 priority Critical patent/WO2018147654A1/ko
Publication of KR20180092291A publication Critical patent/KR20180092291A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

펫 동작 구분 방법 및 이를 이용하는 장치가 개시된다. 본 발명의 일실시예에 따른 펫 동작 구분 방법은 펫의 움직임에 따른 제1 정보를 펫에 부착된 제1 센서를 통해 획득하는 단계와, 펫이 내는 소리에 대한 제2 정보를 제2 센서를 통해 획득하는 단계와, 제1 정보에서 제1 특징을 분류하는 단계와, 제2 정보에서 제2 특징을 분류하는 단계 및 제1 특징 및 제2 특징에 대응하는 펫의 상태나 동작을 추정하는 단계를 포함한다.

Description

펫 동작 구분 방법 및 이를 이용하는 장치{METHOD FOR DISTINGUISHING THE OPERATION OF PET AND APPARATUS USING THE SAME}
본 발명은 펫 동작 구분 방법 및 이를 이용하는 장치에 관한 것으로, 보다 상세하게는, 센서 융합을 활용한 펫 동작 구분 방법 및 이를 이용하는 장치에 관한 것이다.
최근 스마트폰과 함께 웨어러블 장치를 사용하는 추세가 증가하고 있다. 웨어러블 장치는 안경이나 시계, 의복과 같이 인체에 착용할 수 있는 컴퓨터를 의미한다. 그에 따라 웨어러블 장치는 언제 어디서나 쉽게 사용할 수 있으며, 착용이 편리하다. 웨어러블 장치는 주로 스마트 와치와 같은 시계 형태와 같이 손목에 착용하도록 출시되고 있으며, 그 외에 머리나 발목에 착용할 수 있는 형태로도 출시되고 있다.
이러한 웨어러블 장치는 개, 고양이 등의 애완동물(이하, 통칭하여 '펫'이라고 칭함)의 목줄에도 적용되고 있다. 펫(pets)용 웨어러블 장치는 펫의 운동 상태 또는 건강 상태를 체크하거나 펫의 위치를 제공하는 데 사용되고 있다.
한편, 펫용 웨어러블 장치는 펫의 건강 상태를 체크하거나 위치를 제공하는데 이용될 뿐 펫의 동작을 구분하는 용도로는 개발되지 않고 있으며, 특히 펫의 동작을 구분하여 펫 관리에 이용하거나 펫과 사람 간의 의사소통 영역을 넓히는데 활용되고 있지 않으며, 따라서 그러한 펫 동작 구분 장치에 대한 요구가 크게 증가하고 있는 실정이다.
국내 공개특허공보 제10-2016-0108491호(2016.09.19.)
본 발명의 실시예는 센서 융합을 활용하여 세분화된 펫의 행위들을 정밀하게 구분하는 펫 동작 구분 방법 및 이를 이용하는 장치를 제공하고자 한다.
본 발명의 일 측면에 따르면, 펫(Pet)의 움직임에 따른 제1 정보를 상기 펫에 부착된 제1 센서를 통해 획득하는 단계; 상기 펫이 내는 소리에 대한 제2 정보를 제2 센서를 통해 획득하는 단계; 상기 제1 정보에서 제1 특징을 분류하는 단계;
상기 제2 정보에서 제2 특징을 분류하는 단계; 및 상기 제1 특징 및 상기 제2 특징에 대응하는 상기 펫의 상태나 동작을 추정하는 단계를 포함하는 펫 동작 구분 방법이 제공될 수 있다.
또한, 상기 제1 특징을 분류하는 단계는, 상기 제1 정보에 포함된 가속도 정보에서 각축별 출력신호의 진폭, 평균값, 영역, 주성분 분석(Principal Component Analysis ; PCA), 표준편차, 주파수, RSS(Root Sum Square), 오일러각(Euler angle), 쿼터니언(Quaternion), 자코비안(Jacobian) 행렬 또는 이들의 조합을 가진 가속도 센서 출력 패턴을 추출하거나, 상기 제1 정보에 포함된 각속도 정보에서 각축별 출력신호의 진폭, 평균값, 영역, 주성분 분석, 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 또는 이들의 조합을 가진 각속도 센서 출력 패턴을 추출하고, 상기 추출된 가속도 출력 패턴, 상기 추출된 각속도 출력 패턴 혹은 상기 추출된 가속도 출력 패턴과 상기 추출된 각속도 출력 패턴의 조합을 이용하여 상기 제1 특징을 분류할 수 있다.
또한, 상기 제2 특징을 분류하는 단계는, 상기 제2 정보에서 기설정된 진폭, 주파수, 조성, 음정, 제로크로싱레이트(Zerocrossing rate), MFCC(Mel-frequency Cepstral Coefficients), 전력 에너지 또는 이들의 조합을 가진 소리 센서 출력 패턴을 추출하고, 상기 추출된 소리 센서 출력 패턴을 이용하여 상기 제2 특징을 분류할 수 있다.
또한, 상기 추정하는 단계는, 상기 제1 특징 및 제2 특징에 대응하는 센서 데이터 패턴과 상기 펫의 행위들에 대응하는 행위 판별 패턴의 유사성 정도를 비교하여 상기 제1 특징 및 상기 제2 특징에 대응하는 상기 펫의 상태나 동작을 추정할 수 있다.
또한, 상기 행위들은 짖음(barking), 울부짖음(howling), 신음함(moaning), 씹음(chewing), 핥음(licking), 헐떡거림(panting), 벌름거림(sniffing), 기침함(coughing), 응가함(poo), 쉬함(pee), 물마심(drinking) 및 밥먹음(meal eating) 중 적어도 하나를 포함할 수 있다.
또한, 상기 센서 데이터 패턴은, 상기 추출된 가속도 출력 패턴, 상기 추출된 각속도 출력 패턴 및 상기 추출된 소리 센서 출력 패턴의 조합 신호일 수 있다.
본 발명의 다른 측면에 따르면, 프로그램을 저장하는 메모리; 및 상기 메모리에 연결되어 상기 프로그램을 실행하는 프로세서를 포함하고, 상기 프로세서는, 상기 프로그램에 의해, 펫의 움직임에 따른 제1 정보를 상기 펫에 부착된 제1 센서를 통해 획득하고, 상기 펫이 내는 소리에 대한 제2 정보를 제2 센서를 통해 획득하고, 상기 제1 정보에서 제1 특징을 분류하고, 상기 제2 정보에서 제2 특징을 분류하고, 상기 제1 특징 및 제2 특징에 대응하는 상기 펫의 상태나 동작을 추정하는 펫 동작 구분 장치가 제공될 수 있다.
또한, 상기 프로세서는 상기 펫에 부착되는 웨어러블 장치에 탑재될 수 있다.
본 발명의 또 다른 측면에 따르면, 펫의 움직임에 따른 가속도와 각속도를 포함하는 제1 정보를 감지하는 감지하는 관성센서; 상기 펫이 내는 소리를 포함하는 제2 정보를 감지하는 소리센서; 상기 관성센서를 통해 감지된 제1 정보를 수신하고 상기 소리센서를 통해 감지된 제2 정보를 수신하는 정보획득부; 상기 관성센서에 의해 감지된 관성신호의 진폭, 평균값, 영역, 주성분 분석, 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 또는 이들이 조합된 제1 특징들이 저장되고, 상기 소리센서에 의해 감지된 소리신호의 주파수, 조성, 음정, 제로크로싱 레이트, MFCC, 전력에너지 또는 이들이 조합된 제2 특징들이 저장된 레퍼런스 저장부; 상기 레퍼런스 저장부에 저장된 제1 특징들 중에서 상기 정보획득부에 수신된 제1 정보에 대응하는 제1 특징을 추출하여 분류하고, 상기 레퍼런스 저장부에 저장된 제2 특징들 중에서 상기 정보획득부에 수신된 제2 정보에 대응하는 제2 특징을 추출하여 분류하는 특징분류부; 및 상기 분류된 제1 특징 및 제2 특징에 대응하는 펫의 행위를 판별하는 행위판별부를 포함하는 펫 동작 구분 장치가 제공될 수 있다.
본 발명의 또 다른 측면에 따르면, 펫에 착용되는 웨어러블 장치로서, 상기 펫의 움직임에 따른 제1 정보를 상기 펫에 부착된 제1 센서를 통해 획득하는 제1 데이터 입력부; 상기 펫이 내는 소리에 대한 제2 정보를 제2 센서를 통해 획득하는 제2 데이터 입력부; 상기 제1 정보에서 제1 특징을 분류하는 제1 분류부; 상기 제2 정보에서 제2 특징을 분류하는 제2 분류부; 상기 제1 특징 및 제2 특징에 대응하는 상기 펫의 상태나 동작을 추정하는 추정부; 및 상기 제1 데이터 입력부, 상기 제2 데이터 입력부, 상기 제1 분류부, 상기 제2 분류부, 상기 추정부, 또는 이들의 조합을 수용하며 상기 펫에 부착되는 하우징을 포함하는 웨어러블 장치가 제공될 수 있다.
또한, 상기 추정부는, 상기 제1 특징 및 제2 특징에 대응하는 센서 데이터 패턴과 상기 펫의 행위들에 대응하는 행위 판별 패턴과의 유사도를 비교할 수 있다.
또한, 상기 행위들은 짖음(barking), 울부짐음(howling), 신음함(moaning), 씹음(chewing), 핥음(licking), 헐떡거림(panting), 벌름거림(sniffing), 기침함(coughing), 응가함(poo), 쉬함(pee), 마심(drinking) 및 밥먹음(meal eating) 중 적어도 하나를 포함하는 웨어러블 장치.
또한, 상기 센서 데이터 패턴은, 상기 제1 정보에 포함된 가속도 정보에서 각축별 출력신호의 진폭, 평균값, 영역, 주성분 분석, 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 또는 이들이 조합된 가속도 센서 출력 패턴; 상기 제1 정보에 포함된 각속도 정보에서 각축별 출력신호의 진폭, 평균값, 영역, 주성분 분석, 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 또는 이들이 조합된 각속도 센서 출력 패턴; 상기 제2 정보에서 기설정된 진폭, 주파수, 조성, 음정, 제로크로싱레이트, MFCC, 전력 에너지 또는 이들이 조합된 소리 센서 출력 패턴의 조합 신호를 포함할 수 있다.
본 발명의 실시예에 의하면, 마이크 센서를 포함한 센서 융합에 기반하여 다양하게 세분화된 펫의 행위 또는 동작을 정확하게 판별할 수 있다. 일례로, 밥을 먹을 행위에서도 밥을 먹는지 혹은 물을 마시는지를 판별할 수 있고, 배변에 있어서도 응가를 하는지 혹은 쉬를 하는지 (또는 했는지)를 판별할 수 있다.
또한, 본 발명의 실시예에 의하면, 정확한 배변 활동을 확인하는 것을 통해 펫의 건강 이상 신호를 추적할 수 있다. 그것은 배변 주기 등의 배변 활동이 펫의 건강 상태를 가늠하기 좋은 방법 중 하나이기 때문이다. 아울러, 주인 몰래 배변 활동을 하는 펫의 습관을 확인하고, 이에 기반하여 펫에 대하여 원하는 훈육을 수행할 수 있다.
또한, 본 발명의 실시예에 의하면, 다양하게 세분화된 펫의 행위들을 판별할 수 있을 뿐만 아니라 다양하게 구분된 펫의 행위들을 통해 펫의 감성을 판별할 수 있는 효과를 얻을 수 있다. 일례로, 마이크를 통해 획득한 음성데이터를 활용하여 펫의 감정 상태를 추출할 수 있다. 애견의 경우, 짖음(barking), 울부짖음(howling), 신음함(moaning), 핥음(licking) 등의 행위 구분을 통해 펫의 감정 상태를 추측할 수 있고, 이를 통해 애견과 사람 간의 의사소통을 원활하게 하는데 기여할 수 있다.
도 1은 본 발명의 일실시예에 따른 펫 동작 구분 방법을 이용하는 장치를 장착한 펫에 대한 개략도이다.
도 2는 본 발명의 일실시예에 따른 펫 동작 구분 방법을 설명하기 위한 흐름도이다.
도 3a 및 도 3b는 본 발명의 일실시예에 따른 펫 동작 구분 방법에 채용할 수 있는 펫 센서 데이터를 설명하기 위한 예시도이다.
도 4는 본 발명의 일실시예에 따른 펫 동작 구분 방법에서 제1 센서 출력 패턴과 제2 센서 출력 패턴을 조합하는 것을 설명하기 위한 예시도이다.
도 5는 본 발명의 다른 실시예에 따른 펫 동작 구분 방법을 이용하는 장치에 채용할 수 있는 소리센서모듈에 대한 개략적인 블록도이다.
도 6은 본 발명의 다른 실시예에 따른 펫 동작 구분 방법을 이용하는 장치에 채용할 수 있는 관성센서모듈에 대한 개략적인 블록도이다.
도 7은 본 발명의 다른 실시예에 따른 펫 동작 구분 방법을 이용하는 장치의 개략적인 블록도이다.
도 8은 본 발명의 다른 실시예에 따른 펫 동작 구분 방법을 이용하는 장치에 탑재되어 펫 동작 구분 방법을 수행하는 소프트웨어 모듈을 설명하기 위한 개략적인 블록도이다.
도 9는 본 발명의 또 다른 실시예에 따른 펫 동작 구분 방법을 이용하는 장치의 블록도이다.
이하에서는 본 발명의 실시예들을 첨부 도면을 참조하여 상세히 설명한다. 이하에 소개되는 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 충분히 전달할 수 있도록 하기 위해 예로서 제공하는 것이다. 본 발명은 이하 설명되는 실시예들에 한정하지 않고 다른 형태로 구체화할 수도 있다. 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 도면에서 생략하였으며 도면들에 있어서, 구성요소의 폭, 길이, 두께 등은 편의를 위하여 과장하여 표현할 수 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.
도 1은 본 발명의 일실시예에 따른 펫 동작 구분 방법을 이용하는 장치를 장착한 펫에 대한 개략도이다.
도 1을 참조하면, 본 실시예에 따른 펫 동작 구분 방법을 이용하는 장치(이하, 펫 동작 구분 장치)는, 펫(P)의 목줄(8)에 설치되는 소리센서모듈(10)과 관성센서모듈(20)을 포함할 수 있다.
소리센서모듈(10)은 관성센서모듈(20)과 이격 배치될 수 있으나, 이에 한정되지 않고, 관성센서모듈(20)의 하우징 내에 일체로 설치될 수 있다.
소리센서모듈(10)의 하우징 내에 관성센서모듈(20)이 일체로 설치될 수 있음은 물론이다.
펫 동작 구분 장치는 소리센서모듈(10) 및/또는 관성센서모듈(20)에 구비되는 통신유닛을 통해 외부와 통신할 수 있다.
통신유닛은 소리센서에서 획득되는 소리데이터나 이 소리데이터에 대응하는 제2 정보를 신호 처리 장치에 전달할 수 있다.
통신유닛은 관성센서에서 획득되는 데이터나 이 데이터에 대응하는 제1 정보를 신호 처리 장치에 전달할 수 있다.
신호 처리 장치는 유선 및/또는 무선 네트워크를 통해 소리센서모듈(10) 및/또는 관성센서모듈(20)과 연결되고, 신호나 데이터를 처리하는 디지털 신호 처리장치나 컴퓨팅 장치를 포함할 수 있다. 디지털 신호 장치나 컴퓨팅 장치는 개인 정보 단말이나 휴대 단말 등을 포함할 수 있고, 휴대 단말은 소위 스마트폰이나 스마트 패드 등을 포함할 수 있다.
이와 같이, 본 실시예에 따른 펫 동작 구분 장치는 펫이 착용하는 목줄(8)에 적어도 일부 구성요소들이 배치되는 웨어러블 장치를 포함할 수 있다. 즉, 웨어러블 장치는 소리센서모듈(10)에 포함되는 소리센서와 관성센서모듈(20)에 포함되는 관성센서를 포함할 수 있다. 소리센서는 마이크(mic), 마이크 센서, MIC 음성 센서 등을 포함할 수 있다. 관성센서는 3축 가속도 센서 또는 3축 가속도 센서와 3축 각속도 센서의 조합을 포함하는 다축 관성센서(3~10 DoF(Degree of Freedom) 센서)를 포함할 수 있다.
관성센서는 펫의 모션에 따른 관성 신호를 입력받는다.
소리센서는 펫의 음성 신호를 입력받는다.
본 실시예에서는 관성센서와 소리센서의 센서 융합(Sensor fusion)을 이용하여 펫의 구체적인 활동을 구분한다. 예를 들어, 먹기와 마시기는 물을 마시는 소리의 유무를 통해 구별할 수 있다. 또한, 대변 또는 소변 활동시에 발생하는 소리의 유무를 통해 대변과 소변의 활동을 구별할 수 있다.
이를 위해 소리센서에 의해 수집된 데이터에서 특징을 추출한다. 소리 데이터에서의 특징 추출에는 주파수, 조성(장조), 음정(음 높이의 차이), 제로크로싱레이트(Zerocrossing rate), MFCC(Mel-frequency Cepstral Coefficients), 에너지 특징(Energy feature)을 포함한 다양한 특징이 추출될 수 있다.
관성센서에 의해 수집된 데이터에서 특징을 추출한다. 관성 데이터에서의 특징 추출에는 각 축에 대한 신호의 진폭, 평균값, 영역, 표준편차, 주성분분석(Principal Component Analysis ; PCA), 표준편차, 주파수, RSS(Root Sum Square), 오일러각(Euler angle), 쿼터니언(Quaternion), 자코비안(Jacobian) 행렬 및 이를 조합한 다양한 특징이 추출될 수 있다.
또한, 소리센서의 특징 벡터와 관성센서 특징 벡터의 조합으로 추출할 수 있는 행위들의 판별 확률 분포를 모델링할 수 있다. 판별 또는 이를 위한 모델링에는 다양한 기계학습 알고리즘을 사용할 수 있다.
행위 판별은 기계학습 패턴 알고리즘 내 학습된 행위 판별 패턴과 센서 출력 패턴의 유사성 정도를 비교하여 판단할 수 있다.
소리센서 데이터를 추가로 활용했을 시에 판별 가능한 행위는 짖음(barking), 울부짖음(howling), 신음함(moaning), 씹음(chewing), 핥음(licking), 헐떡거림(panting), 벌름거림(sniffing), 기침함(coughing), 응가함(poo), 쉬함(pee), 물마심(drinking) 및 밥먹음(meal eating)을 포함할 수 있다.
도 2는 본 발명의 일실시예에 따른 펫 동작 구분 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 펫 동작 구분 방법은 정보획득, 특징분류 및 행위판별의 단계들을 포함한다. 펫 동작 구분 방법은 입력되는 디지털 신호에 기초하여 컴퓨팅 연산을 수행할 수 있는 장치에서 수행될 수 있다. 이러한 장치는 컴퓨팅 장치, 신호 처리 장치, 컨트롤러, 마이컴 등으로 지칭될 수 있다. 또한, 웨어러블 형태로 펫에 착용될 수 있다. 여기서, 펫(pet)은 반려동물(companion animal)로도 지칭될 수 있다.
구체적으로, 펫 동작 구분 방법은, 먼저 펫(Pet)의 움직임에 따른 제1 정보를 획득한다(S21). 제1 정보는 펫에 부착된 제1 센서를 통해 획득될 수 있다. 제1 센서는 관성 센서를 포함할 수 있다. 관성 센서는 가속도 센서와 각속도 센서의 개별 및 조합으로써 지칭될 수 있다. 여기서, 보통의 경우는 6축 관성센서로서 X, Y, Z축을 기준으로 가속도를 측정하는 가속도센서와 X, Y, Z축을 중심으로 회전하는 각속도인 롤(roll), 피치(pitch), 요(yaw)를 측정하는 3축 각속도센서를 포함할 수 있다. 6축 관성 센서는 기본적으로 움직이는 물체의 자세를 측정할 때 많이 사용된다. 6축 관성 센서는 MEMS(Micro Electro Mechanical Systems) 기술을 적용한 칩형태를 가질 수 있다.
다음, 펫이 내는 소리에 대한 제2 정보를 획득한다(S22). 제2 정보는 펫에 부착되거나 펫 주위에 배치되는 제2 센서를 통해 획득될 수 있다. 제2 센서는 마이크 혹은 소리센서를 포함할 수 있다.
전술한 제1 정보의 획득과 제2 정보의 획득은 순서없이 수행되거나, 임의의 순서를 갖고 수행되거나, 동시에 수행될 수 있다.
다음, 제1 정보에서 제1 특징을 분류할 수 있다(S23). 제1 정보는 가속도에 대한 제1A 정보와 각속도에 대한 제1B 정보를 포함할 수 있다. 제1A 정보 또는 이에 대응하는 제1A 특징은 각 축별 출력신호의 진폭, 평균값, 영역, 주성분 분석(PCA), 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 및 이들의 조합을 가진 제1 센서 출력 패턴(가속도 센서 출력 패턴)을 가질 수 있다. 또한, 제1B 정보 또는 이에 대응하는 제1B 특징은 각 축별 출력신호의 진폭, 평균값, 영역, PCA, 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 및 이들의 조합을 가진 제1 센서 출력 패턴(각속도 센서 출력 패턴)을 가질 수 있다.
다음, 제2 정보에서 제2 특징을 분류할 수 있다(S24). 제2 정보는 소리 정보를 포함할 수 있다. 소리 정보 또는 이에 대응하는 제2 특징은 기설정 조건하에서 스케일링되어 기설정 진폭, 주파수 또는 이들의 조합을 가진 제2 센서 출력 패턴으로 변환될 수 있다.
전술한 제1 특징의 분류와 제2 특징의 분류는 임의의 순서를 갖고 수행되거나, 순서없이 무작위로 수행되거나, 동시에 수행될 수 있다.
다음, 제1 특징 및 제2 특징에 대응하는 펫의 행위들 즉, 펫의 상태나 동작을 추정할 수 있다. 펫 행위의 추정을 위해, 추정부 또는 행위판별부는 제1 특징 및 제2 특징에 대응하는 센서 데이터 패턴과 펫의 행위들에 대응하는 행위 판별 패턴과의 유사성 정도(유사도)를 비교하고(S25), 비교 결과에 따라 제1 및 제2 특징에 대응하는 펫의 행위를 판별할 수 있다(S26). 센서 데이터 패턴은 제1 센서 출력 패턴, 제2 센서 출력 패턴 및 조합 신호 패턴을 포함할 수 있다.
전술한 펫의 행위들은 짖음(barking), 울부짖음(howling), 신음함(moaning), 씹음(chewing), 핥음(licking), 헐떡거림(panting), 벌름거림(sniffing), 기침함(coughing), 응가함(poo), 쉬함(pee), 물마심(drinking) 및 밥먹음(meal eating)을 포함할 수 있다.
펫의 행위를 판별하기 위해, 펫 동작 구분 방법을 이용하는 장치는, 다양한 기계학습 알고리즘을 사용할 수 있다. 일례로, 타겟의 움직임 및/또는 활동에 대한 데이터의 특징을 분류하는 알고리즘을 이용할 수 있다. 이러한 알고리즘은 뉴럴 네트워크(neural network), 서포트 벡터 머신(support vector machine), 베이지안 네트워크(Bayesian network), 나이브 베이즈 분류기(Naive Bayes classifier), 결정트리(decision tree), k-최근 접점(k-nearest neighbour, KNN) 접근법, 부스팅(boosting), 동적 베이지안 네트워크(DBN), 은닉 마르코프 모델(Hidden Markov Model, HMM), 강화 학습(reinforcement learning), 로지스틱 회귀(logistic regression), 유전 알고리즘(genetic algorithm), 가우시안 프로세스(Gaussian process) 등을 포함할 수 있다.
본 실시예에 의하면, 제1 센서로 펫의 움직임을 추정하기 위해 펫의 각속도와 가속도를 측정한 센서 데이터의 특징을 분류하고 제2 센서로 펫이 내는 소리의 특징을 분류하여 융합함으로써 펫의 더 많은 동작을 구분할 수 있다. 특히, 관성 센서만으로 구분하기 쉽지 않은 펫의 행동에 대해서도 구분가능하다.
상기의 관성센서만을 사용하는 구분하기 어려운 펫의 행위들로는 신음소리를 내거나(moaning), 기침을 하거나(coughing), 씹거나(chewing), 핥거나(licking), 헥헥거리거나 헐떡거리거나(panting), 킁킁거리거나 혹은 벌름거리거나(sniffing), 물마시거나(drinking), 밥먹거나(meal eating), 으르렁거리거나(growling), 헥헥거리거나(panting), 응가하거나(poo), 쉬하는(pee) 행위 등이 있다.
도 3a 및 도 3b는 본 발명의 일실시예에 따른 펫 동작 구분 방법에 채용할 수 있는 펫 센서 데이터를 설명하기 위한 예시도이다.
도 3a를 참조하면, 실제 3축의 가속도 센서의 출력이 각기 다른 행동으로 구별되는 것을 볼 수 있다. 사각형은 도 2의 S23에서 특징을 추출하는 최소 연산 단위를 표현한 것으로 일정 크기의 이동창(Moving window)으로 계산되어 연산의 양을 조절할 수 있다.
도 3b에는 실제 음성 데이터의 출력이 각기 다른 소리행위로 구별되는 예시가 나타나 있다.
또한, 펫 동작 구분 방법에서는 제1 센서 출력 패턴과 제2 센서 출력 패턴을 조합한 조합 신호를 생성할 수 있다. 조합 신호는 센서 데이터 패턴을 포함할 수 있다. 이러한 센서 데이터 패턴은 미리 설정된 펫의 특정 동작에 대응할 수 있다. 본 실시예에서 상기의 특정 동작은 위에서 설명한 관성 센서만을 이용하여 구분하기 어려운 펫의 상태, 동작 또는 행위를 포함할 수 있다.
도 4는 본 발명의 일실시예에 따른 펫 동작 구분 방법에서 제1 센서 출력 패턴과 제2 센서 출력 패턴을 조합하는 것을 설명하기 위한 예시도이다.
도 4를 참조하면, 제1 센서 출력 패턴과 제2 센서 출력 패턴을 조합하는 예시가 나타나 있다. 모션과 소리에서 모두 산출될 수 있는 Eating과 Drinking의 경우 별도의 출력 이동창(window)을 적용한다.
출력 이동창은 패턴 매칭 결과값을 연속하여 저장할 수 있는 크기로 출력값을 평균 내어 구할 수 있다. 예를 들어 Eating의 경우 소리 판단 결과의 출력값을 8개 담을 수 있는 이동창 안에서 4개 이상 Eating이라고 감지되면 그 기간 동안은 Eating이라고 판단한다.
소리 이동창과 유사한 시간적 길이가 되도록 모션에도 같은 방식의 출력 이동창을 적용한다.
두 이동창 모두에서 Eating이라고 산출된 경우 Eating 상태로 판단한다. 즉 일정 크기의 이동창 안에서 각 행위의 대표값을 선정할 수 있고 각 행위의 대표값의 유사도에 따라 행동 판단의 정확도를 높일 수 있다.
도 5는 본 발명의 다른 실시예에 따른 펫 동작 구분 방법을 이용하는 장치에 채용할 수 있는 소리센서모듈에 대한 개략적인 블록도이다.
도 5를 참조하면, 소리센서모듈(10)은 소리센서(12) 및 통신유닛(14)을 포함할 수 있다. 소리센서모듈(10)은 펫이 착용하는 목줄에 설치되거나 혹은 이 목줄에 설치된 관성센서 혹은 펫 동작 구분 장치의 하우징 내에 설치될 수 있다. 또한, 구현에 따라서, 펫이 활동하는 영역 내에서 펫이 내는 소리를 검출할 수 있는 적어도 한 곳에 배치되는 적어도 하나의 소리센서(12)를 포함할 수 있다.
또한, 소리센서(12)는 적어도 하나의 통신유닛(14)에 연결될 수 있다. 물론, 통신유닛(14)는 소리센서(12)의 하우징 내에 일체로 구비될 수 있으나, 이에 한정되지 않으며, 복수의 소리센서들이 하나의 통신유닛(14)을 통해 외부 장치(펫 동작 구분 장치 등)와의 통신을 통해 신호 및 데이터를 송수신할 수 있다.
통신 유닛(14)은 유선 네트워크, 무선 네트워크 또는 이들의 조합 네트워크를 지원하는 장치일 수 있다. 유선 네트워크는 직렬 통신, 이더넷 등을 포함할 수 있고, 무선 네트워크는 WiFi, Bluetooth 등의 근거리 무선 통신 네트워크나 Wibro, CDMA, GSM, FSDPA, FSPA+, W-CDMA, LTE, LTE-A 등의 이동통신망을 포함할 수 있다.
전술한 소리센서(12)의 작동 원리를 좀더 구체적으로 설명하면 다음과 같다.
소정 비트율(예컨대, 8kbps)로 샘플링된 음성 신호(소리 신호)를 전처리하여 음성의 특징을 검출하고 데이터의 특징을 구분하는데 다양한 기계학습알고리즘을 사용할 수 있다.
전처리는 파워(Power), 해밍 윈도우(Hamming Window), 프리엠퍼시스(Preemphasis) 등의 계산 과정을 의미한다. 전처리 과정 후 소리 데이터에서의 특징 추출에는 주파수, 조성(장조), 음정(음 높이의 차이), 제로크로싱레이트(Zerocrossing rate), MFCC(Mel-frequency Cepstral Coefficients), 에너지 특징(Energy feature)을 포함한 다양한 특징이 추출될 수 있다. 다음으로 이러한 특징값을 분류하는 기계학습 알고리즘으로 뉴럴 네트워크(neural network), 서포트 벡터 머신(support vector machine), 베이지안 네트워크(Bayesian network), 나이브 베이즈 분류기(Naive Bayes classifier), 결정트리(decision tree), k-최근 접점(k-nearest neighbour, KNN) 접근법, 부스팅(boosting), 동적 베이지안 네트워크(DBN), 은닉 마르코프 모델(Hidden Markov Model, HMM), 강화 학습(reinforcement learning), 로지스틱 회귀(logistic regression), 유전 알고리즘(genetic algorithm), 가우시안 프로세스(Gaussian process) 등이 사용될 수 있다.
이와 같이, 펫이 내는 소리가 인식되면, 펫 동작 구분 장치는 관성센서로부터 추정된 펫의 현재 상태나 동작과 함께 앞서 인식된 소리 데이터 패턴을 기설정 패턴과 비교하여 펫의 동작을 판별할 수 있게 된다.
도 6은 본 발명의 다른 실시예에 따른 펫 동작 구분 방법을 이용하는 장치에 채용할 수 있는 관성센서모듈에 대한 개략적인 블록도이다.
도 6을 참조하면, 관성센서모듈(20)은 관성센서(22) 및 통신유닛(24)을 포함할 수 있다. 관성센서모듈(20)은 펫이 착용하는 목줄 등에 설치되거나 혹은 피부조직에 직접 부착되거나 피부조직 하부에 삽입될 수 있다.
관성센서(22)는 x축, y축 및 z축의 자이로 또는 기울기를 검출하고, 3축 각속도를 측정할 수 있다. 관성센서(22)로 일정 시간 동안 측정되는 센서 데이터에 기초하여 펫의 동작을 추정할 수 있다. 이때, 펫의 동작을 정밀하게 구분하기 위해, 센서 데이터는 가속도와 각속도 각각에 대한 센서 출력 패턴으로 준비되고, 소리 출력 패턴과 함께 펫의 동작을 구분하는데 이용될 수 있다.
통신유닛(24)은 관성센서(22)에 연결되고, 관성센서(22)의 검출 신호나 검출 신호에 대응하는 제1 정보를 펫 동작 구분 장치에 전달하는 것을 제외하고 소리센서모듈(10)의 통신유닛(14)과 실질적으로 동일할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 펫 동작 구분 방법을 이용하는 장치의 개략적인 블록도이다.
도 7을 참조하면, 펫 동작 구분 장치(100)는, 관성센서모듈(20), 프로세서(30) 및 메모리(40)를 포함할 수 있고, 네트워크를 통해 소리센서모듈(10)과 연결될 수 있다.
프로세서(30)는 메모리(40)에 연결되어 메모리(40)에 저장된 프로그램을 실행할 수 있다. 일례로, 프로세서(30)는, 프로그램을 실행하여, 펫(Pet)의 움직임에 따라 펫에 부착된 제1 센서를 통해 획득되는 제1 정보에서 제1 특징을 분류하고, 하고, 펫이 내는 소리에 대하여 제2 센서를 통해 획득한 제2 정보에서 제2 특징을 분류하고, 제1 특징 및 제2 특징에 대응하는 펫의 행위를 판별하도록 동작할 수 있다.
전술한 프로세서(30)는 하나 이상의 코어와 캐시 메모리를 포함할 수 있다. 프로세서(30)가 멀티 코어 구조를 가지는 경우, 멀티 코어(multi-core)는 두 개 이상의 독립 코어를 단일 집적 회로로 이루어진 하나의 패키지로 통합한 것을 지칭할 수 있다. 또한, 프로세서(30)가 단일 코어 구조를 가지는 경우, 단일 코어(single core)는 중앙 처리 장치(CPU)를 지칭할 수 있다. 중앙처리장치는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으나, 이에 한정되지는 않는다. 여기서, 코어는 처리할 명령어를 저장하는 레지스터(register), 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU), 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 내부 컨트롤유닛(control unit), 내부 버스 등을 구비할 수 있다.
또한, 프로세서(30)는 하나 이상의 데이터 프로세서, 이미지 프로세서, 코덱(CODEC) 또는 이들의 조합을 포함할 수 있으며, 이에 한정되지 않는다. 프로세서(30)는 주변장치 인터페이스와 메모리 인터페이스를 포함할 수 있다.
전술한 구성의 프로세서(30)는 메모리(40)에 저장되어 있는 특정한 소프트웨어 모듈(명령어 세트)을 실행하여 해당 모듈에 대응하는 특정한 여러 가지의 기능을 수행할 수 있다.
메모리(40)는 하나 이상의 자기 디스크 저장 장치와 같은 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리, 하나 이상의 광 저장 장치 및/또는 플래시 메모리를 포함할 수 있다. 메모리(40)는 컴퓨터로 읽을 수 있는 매체(기록매체)로 대체될 수 있다. 그 경우, 컴퓨터 판독 가능 매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 하드웨어 장치는 본 실시예의 방법을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
메모리(40)는 본 실시예의 펫 동작 구분 방법의 적어도 일부 기능을 구현하기 위한 소프트웨어 혹은 프로그램을 직접 저장하거나 캐리어 형태로 원격지에 전송받도록 구현될 수 있다. 전술한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하는 형태로 구현될 수 있다. 컴퓨터 판독 가능 매체는 본 실시예의 펫 동작 구분 방법의 구현을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것을 포함할 수 있다.
한편, 펫 동작 구분 장치(100)는 관성센서모듈(20)을 포함하고, 하우징 외부의 소리센서모듈(10)과 연결되도록 구성된 것으로 설명하나, 본 발명은 그러한 구성을 한정되지 않고, 펫 동작 구분 장치(100)가 소리센서모듈(10)을 포함하고, 외부의 관성센서모듈과 네트워크를 연결되도록 구성될 수 있다.
도 8은 본 발명의 다른 실시예에 따른 펫 동작 구분 방법을 이용하는 장치에 탑재되어 펫 동작 구분 방법을 수행하는 소프트웨어 모듈을 설명하기 위한 개략적인 블록도이다.
도 8을 참조하면, 펫 동작 구분 장치는, 펫에 착용되는 웨어러블 장치로서, 메모리(40)에 소프트웨어 모듈을 저장하거나 탑재할 수 있다.
소프트웨어 모듈은 제1 데이터 입력부(41), 제2 데이터 입력부(42), 제1 분류부(43), 제2 분류부(44) 및 추정부(45)를 포함할 수 있다. 소프트웨어 모듈은 각 기능부에 대응하는 명령어나 프로그램 형태로 메모리(40)의 소정 영역에 저장될 수 있다.
상기한 소프트웨어 모듈은 칩 형태로 마련될 수 있다.
제1 데이터 입력부(41)는 펫(Pet)의 움직임에 따른 제1 정보를 펫에 부착된 제1 센서를 통해 획득할 수 있다. 제1 데이터 입력부(41)는 제1 센서에서 입력되는 신호나 데이터를 수신하는 수단이나 이에 상응하는 기능을 수행하는 구성부일 수 있다. 이 경우, 제1 데이터 입력부(41)는 연결 배선, 네트워크 케이블 포트, 무선 통신 모듈의 수신단을 포함할 수 있다.
또한, 구현에 따라서, 제1 데이터 입력부(41)는 주기적으로 혹은 간헐적으로 제1 센서의 저장유닛에 접근하여 저장유닛에 기록된 데이터(제1 정보)를 읽어내는 수단이나 구성부를 포함하도록 구현될 수 있다.
제2 데이터 입력부(42)는 펫이 내는 소리에 대한 제2 정보를 제2 센서를 통해 획득할 수 있다. 제2 데이터 입력부(42)는 소리 데이터를 처리하는 것을 제외하고 전술한 제1 데이터 입력부(41)와 실질적으로 동일할 수 있다.
제1 분류부(43)는 제1 정보에서 제1 특징을 분류할 수 있다. 제2 분류부(44)는 제2 정보에서 제2 특징을 분류할 수 있다.
추정부(45)는 제1 특징 및 제2 특징에 대응하는 펫의 상태나 동작을 추정할 수 있다.
제1 분류부(43), 제2 분류부(44) 및 추정부(45)는 도 1 내지 도 4를 참조한 설명에서 그 구성이나 동작 및 작용효과에 대하여 상세히 설명하였으므로 이 요소들에 대한 상세한 설명은 생략한다.
펫 동작 구분 장치는 제1 데이터 입력부(41), 제2 데이터 입력부(42), 제1 분류부(43), 제2 분류부(44), 추정부(45), 또는 이들의 조합을 수용하며 펫에 부착되는 하우징을 포함하는 웨어러블 장치로 구현될 수 있다.
도 9는 본 발명의 또 다른 실시예에 따른 펫 동작 구분 방법을 이용하는 장치의 블록도이다.
도 9를 참조하면, 펫 동작 구분 장치(100A)는 정보획득부(51), 특징분류부(53) 및 행위판별부(55)를 포함할 수 있다. 이러한 구성요소들은 프로세서나 메모리에 프로그램 모듈 형태로 탑재되거나 저장될 수 있으나, 이에 한정되지 않고, 각각의 해당 기능을 수행하는 하드웨어 모듈이나 구성부의 조립체 형태로 구현될 수 있다. 하드웨어 구성부는 디지털 신호 처리 장치를 포함할 수 있다.
정보획득부(51)는 도 8의 제1 데이터 입력부(41)와 제2 데이터 입력부(42)의 기능을 수행할 수 있다.
정보획득부(51)는 제1 센서(22a)로부터 펫의 움직임에 따른 가속도 데이터와 각속도 데이터를 수신할 수 있다.
정보획득부(51)는 제2 센서(12a)로부터 펫이 내는 소리에 대한 소리 데이터를 수신할 수 있다.
제1 센서(22a)는 관성센서모듈에 탑재될 수 있다. 제2 센서(12a)는 소리센서모듈에 탑재될 수 있다.
특징분류부(53)는 도 8의 제1 분류부(43)와 제2 분류부(44)의 기능을 수행할 수 있다.
특징분류부(53)는 제1 센서(22a)를 통해 검출된 펫의 움직임에 따른 가속도 데이터와 각속도 데이터에서 제1 특징인 제1 센서 출력 패턴을 추출하고, 제2 센서(12a)를 통해 검출된 펫이 내는 소리에 대한 소리 데이터에서 제2 특징인 제2 센서 출력 패턴을 추출할 수 있도록 레퍼런스 저장부(52)와 연동할 수 있다.
레퍼런스 저장부(52)는 가속도 데이터와 각속도 데이터에서 제1 특징을 추출하기 위한 기준 정보로서, 신호의 진폭, 평균값, 영역, PCA, 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 등의 정보들을 저장할 수 있다.
레퍼런스 저장부(52)는 소리 데이터에서 제2 특징을 추출하기 위한 각종 기준 정보로서, 신호의 주파수, 조성, 음정, 제로크로싱 레이트, MFCC, 전력에너지 등의 정보들을 저장할 수 있다.
레퍼런스 저장부(52)는 펫 동작 구분 장치(100A)에 탑재될 수 있으나, 이에 한정되지 않고, 네트워크를 통해 연결되는 외부 장치에 배치될 수 있다.
행위판별부(55)는 도 8의 추정부(45)의 기능을 수행할 수 있다.
행위판별부(55)는 다양한 기계학습 알고리즘을 사용하여 모델링을 수행하는 모델링부(54)와 연동할 수 있다.
행위판별부(55)는 모델링부(54)를 통해 학습된 동작 패턴과 실제 센서 데이터 패턴의 유사성 정보를 비교하여 펫의 동작을 판별할 수 있다.
한편, 펫 동작 구분 장치(100A)는, 제2센서(12a), 제1센서(22a), 정보획득부(51), 레퍼런스 저장부(52), 특징분류부(53), 모델링부(54), 행위판별부(55)를 포함하여 구성될 수 있으며, 그 경우, 또 다른 펫 동작 구분 장치(100B)로 지칭될 수 있다. 이러한 펫 동작 구분 장치(100B)는 펫의 목줄에 착용되는 웨어러블 장치 형태로 제작될 수 있다.
10 : 소리센서모듈 20 : 관성센서모듈
30 : 프로세서 40 : 메모리
41 : 제1 데이터 입력부 42 : 제2 데이터 입력부
43 : 제1 분류부 44 : 제2 분류부
45 : 추정부 51 : 정보획득부
52 : 레퍼런스 저장부 53 : 특징분류부
54 : 모델링부 55 : 행위판별부
100 : 펫 동작 구분 장치

Claims (13)

  1. 펫(Pet)의 움직임에 따른 제1 정보를 상기 펫에 부착된 제1 센서를 통해 획득하는 단계;
    상기 펫이 내는 소리에 대한 제2 정보를 제2 센서를 통해 획득하는 단계;
    상기 제1 정보에서 제1 특징을 분류하는 단계;
    상기 제2 정보에서 제2 특징을 분류하는 단계; 및
    상기 제1 특징 및 상기 제2 특징에 대응하는 상기 펫의 상태나 동작을 추정하는 단계를 포함하는 펫 동작 구분 방법.
  2. 제1항에 있어서,
    상기 제1 특징을 분류하는 단계는, 상기 제1 정보에 포함된 가속도 정보에서 각축별 출력신호의 진폭, 평균값, 영역, 주성분 분석(Principal Component Analysis ; PCA), 표준편차, 주파수, RSS(Root Sum Square), 오일러각(Euler angle), 쿼터니언(Quaternion), 자코비안(Jacobian) 행렬 또는 이들의 조합을 가진 가속도 센서 출력 패턴을 추출하거나, 상기 제1 정보에 포함된 각속도 정보에서 각축별 출력신호의 진폭, 평균값, 영역, 주성분 분석, 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 또는 이들의 조합을 가진 각속도 센서 출력 패턴을 추출하고, 상기 추출된 가속도 출력 패턴, 상기 추출된 각속도 출력 패턴 혹은 상기 추출된 가속도 출력 패턴과 상기 추출된 각속도 출력 패턴의 조합을 이용하여 상기 제1 특징을 분류하는 펫 동작 구분 방법.
  3. 제2항에 있어서,
    상기 제2 특징을 분류하는 단계는, 상기 제2 정보에서 기설정된 진폭, 주파수, 조성, 음정, 제로크로싱레이트(Zerocrossing rate), MFCC(Mel-frequency Cepstral Coefficients), 전력 에너지 또는 이들의 조합을 가진 소리 센서 출력 패턴을 추출하고, 상기 추출된 소리 센서 출력 패턴을 이용하여 상기 제2 특징을 분류하는 펫 동작 구분 방법.
  4. 제3항에 있어서,
    상기 추정하는 단계는, 상기 제1 특징 및 제2 특징에 대응하는 센서 데이터 패턴과 상기 펫의 행위들에 대응하는 행위 판별 패턴의 유사성 정도를 비교하여 상기 제1 특징 및 상기 제2 특징에 대응하는 상기 펫의 상태나 동작을 추정하는 펫 동작 구분 방법.
  5. 제4항에 있어서,
    상기 행위들은 짖음(barking), 울부짖음(howling), 신음함(moaning), 씹음(chewing), 핥음(licking), 헐떡거림(panting), 벌름거림(sniffing), 기침함(coughing), 응가함(poo), 쉬함(pee), 물마심(drinking) 및 밥먹음(meal eating) 중 적어도 하나를 포함하는 펫 동작 구분 방법.
  6. 제4항에 있어서,
    상기 센서 데이터 패턴은, 상기 추출된 가속도 출력 패턴, 상기 추출된 각속도 출력 패턴 및 상기 추출된 소리 센서 출력 패턴의 조합 신호인 펫 동작 구분 방법.
  7. 프로그램을 저장하는 메모리; 및
    상기 메모리에 연결되어 상기 프로그램을 실행하는 프로세서를 포함하고,
    상기 프로세서는, 상기 프로그램에 의해, 펫의 움직임에 따른 제1 정보를 상기 펫에 부착된 제1 센서를 통해 획득하고, 상기 펫이 내는 소리에 대한 제2 정보를 제2 센서를 통해 획득하고, 상기 제1 정보에서 제1 특징을 분류하고, 상기 제2 정보에서 제2 특징을 분류하고, 상기 제1 특징 및 제2 특징에 대응하는 상기 펫의 상태나 동작을 추정하는 펫 동작 구분 장치.
  8. 제7항에 있어서,
    상기 프로세서는 상기 펫에 부착되는 웨어러블 장치에 탑재되는 펫 동작 구분 장치.
  9. 펫의 움직임에 따른 가속도와 각속도를 포함하는 제1 정보를 감지하는 감지하는 관성센서;
    상기 펫이 내는 소리를 포함하는 제2 정보를 감지하는 소리센서;
    상기 관성센서를 통해 감지된 제1 정보를 수신하고 상기 소리센서를 통해 감지된 제2 정보를 수신하는 정보획득부;
    상기 관성센서에 의해 감지된 관성신호의 진폭, 평균값, 영역, 주성분 분석, 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 또는 이들이 조합된 제1 특징들이 저장되고, 상기 소리센서에 의해 감지된 소리신호의 주파수, 조성, 음정, 제로크로싱 레이트, MFCC, 전력에너지 또는 이들이 조합된 제2 특징들이 저장된 레퍼런스 저장부;
    상기 레퍼런스 저장부에 저장된 제1 특징들 중에서 상기 정보획득부에 수신된 제1 정보에 대응하는 제1 특징을 추출하여 분류하고, 상기 레퍼런스 저장부에 저장된 제2 특징들 중에서 상기 정보획득부에 수신된 제2 정보에 대응하는 제2 특징을 추출하여 분류하는 특징분류부; 및
    상기 분류된 제1 특징 및 제2 특징에 대응하는 펫의 행위를 판별하는 행위판별부를 포함하는 펫 동작 구분 장치.
  10. 펫에 착용되는 웨어러블 장치로서,
    상기 펫의 움직임에 따른 제1 정보를 상기 펫에 부착된 제1 센서를 통해 획득하는 제1 데이터 입력부;
    상기 펫이 내는 소리에 대한 제2 정보를 제2 센서를 통해 획득하는 제2 데이터 입력부;
    상기 제1 정보에서 제1 특징을 분류하는 제1 분류부;
    상기 제2 정보에서 제2 특징을 분류하는 제2 분류부;
    상기 제1 특징 및 제2 특징에 대응하는 상기 펫의 상태나 동작을 추정하는 추정부; 및
    상기 제1 데이터 입력부, 상기 제2 데이터 입력부, 상기 제1 분류부, 상기 제2 분류부, 상기 추정부, 또는 이들의 조합을 수용하며 상기 펫에 부착되는 하우징을 포함하는 웨어러블 장치.
  11. 제10항에 있어서,
    상기 추정부는, 상기 제1 특징 및 제2 특징에 대응하는 센서 데이터 패턴과 상기 펫의 행위들에 대응하는 행위 판별 패턴과의 유사도를 비교하는 웨어러블 장치.
  12. 제11항에 있어서,
    상기 행위들은 짖음(barking), 울부짐음(howling), 신음함(moaning), 씹음(chewing), 핥음(licking), 헐떡거림(panting), 벌름거림(sniffing), 기침함(coughing), 응가함(poo), 쉬함(pee), 마심(drinking) 및 밥먹음(meal eating) 중 적어도 하나를 포함하는 웨어러블 장치.
  13. 제11항에 있어서,
    상기 센서 데이터 패턴은, 상기 제1 정보에 포함된 가속도 정보에서 각축별 출력신호의 진폭, 평균값, 영역, 주성분 분석, 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 또는 이들이 조합된 가속도 센서 출력 패턴; 상기 제1 정보에 포함된 각속도 정보에서 각축별 출력신호의 진폭, 평균값, 영역, 주성분 분석, 표준편차, 주파수, RSS, 오일러각, 쿼터니언, 자코비안 행렬 또는 이들이 조합된 각속도 센서 출력 패턴; 상기 제2 정보에서 기설정된 진폭, 주파수, 조성, 음정, 제로크로싱레이트, MFCC, 전력 에너지 또는 이들이 조합된 소리 센서 출력 패턴의 조합 신호를 포함하는 웨어러블 장치.
KR1020180015458A 2017-02-08 2018-02-08 펫 동작 구분 방법 및 이를 이용하는 장치 KR20180092291A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2018/001693 WO2018147654A1 (ko) 2017-02-08 2018-02-08 펫 동작 구분 방법 및 이를 이용하는 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170017699 2017-02-08
KR20170017699 2017-02-08

Publications (1)

Publication Number Publication Date
KR20180092291A true KR20180092291A (ko) 2018-08-17

Family

ID=63408252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180015458A KR20180092291A (ko) 2017-02-08 2018-02-08 펫 동작 구분 방법 및 이를 이용하는 장치

Country Status (1)

Country Link
KR (1) KR20180092291A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210099952A (ko) * 2020-02-05 2021-08-13 서울과학기술대학교 산학협력단 반려동물의 감정 및 상태 분석을 이용한 스마트 홈케어 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160108491A (ko) 2014-01-31 2016-09-19 애플 인크. 웨어러블 디바이스의 착용 의존적 동작

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160108491A (ko) 2014-01-31 2016-09-19 애플 인크. 웨어러블 디바이스의 착용 의존적 동작

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210099952A (ko) * 2020-02-05 2021-08-13 서울과학기술대학교 산학협력단 반려동물의 감정 및 상태 분석을 이용한 스마트 홈케어 시스템

Similar Documents

Publication Publication Date Title
US12072348B2 (en) Fall detection system using a combination of accelerometer, audio input and magnetometer
Hakim et al. Smartphone based data mining for fall detection: Analysis and design
Wang et al. Fall detection based on dual-channel feature integration
JP4048492B2 (ja) 音声対話装置及び方法並びにロボット装置
CN109152542A (zh) 用于检测何时传感器被穿戴的系统和方法
KR102449905B1 (ko) 전자 장치 및 이의 제어 방법
CN113330392A (zh) 用于确定包括多个动作的任务的电子装置和方法
Khokhlov et al. Design of activity recognition systems with wearable sensors
US10824224B2 (en) Vertical motion simulator and method of implementing virtual reality of vertical motion using the same
Hausberger et al. IMU-based smart fitness devices for weight training
KR101941604B1 (ko) 웨어러블 장치의 위치를 추정하는 방법 및 이를 이용하는 장치
KR20180092291A (ko) 펫 동작 구분 방법 및 이를 이용하는 장치
Achour et al. Classification of dairy cows’ behavior by energy-efficient sensor
WO2018147654A1 (ko) 펫 동작 구분 방법 및 이를 이용하는 장치
CN210078765U (zh) 基于可穿戴传感器的动作捕捉识别与评估装置
WO2018014432A1 (zh) 语音应用触发控制方法、装置及终端
CN109993312B (zh) 一种设备及其信息处理方法、计算机存储介质
KR20200054379A (ko) Cnn-lstm 및 복잡 활동 처리를 사용하는 반려 동물의 배설 행동 검출 방법 및 시스템
Shi et al. Internet-of-Things Behavior Monitoring System Based on Wearable Inertial Sensors for Classifying Dairy Cattle Health Using Machine Learning
US10488924B2 (en) Wearable device, and method of inputting information using the same
KR20130020821A (ko) 가축의 운동패턴 분석 시스템
Fataniya et al. Comprehensive analysis of deep learning-based human activity recognition approaches based on accuracy
Nooruddin On the Design of Efficient Deep Learning Methods for Human Activity Recognition in Resource Constrained Devices
Skoglund et al. Activity tracking using ear-level accelerometers
CN105286806A (zh) 一种测量温度的方法及终端

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180208

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190910

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20191119

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20190910

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I