KR102457230B1 - 빅데이터 학습을 통한 반려동물 판단예측 시스템 - Google Patents

빅데이터 학습을 통한 반려동물 판단예측 시스템 Download PDF

Info

Publication number
KR102457230B1
KR102457230B1 KR1020220023565A KR20220023565A KR102457230B1 KR 102457230 B1 KR102457230 B1 KR 102457230B1 KR 1020220023565 A KR1020220023565 A KR 1020220023565A KR 20220023565 A KR20220023565 A KR 20220023565A KR 102457230 B1 KR102457230 B1 KR 102457230B1
Authority
KR
South Korea
Prior art keywords
companion animal
information
big data
analysis unit
user terminal
Prior art date
Application number
KR1020220023565A
Other languages
English (en)
Inventor
구태형
주현식
박현우
오태진
김기락
강민선
김효윤
강진우
김문겸
김태환
Original Assignee
주식회사 에드위너
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에드위너 filed Critical 주식회사 에드위너
Application granted granted Critical
Publication of KR102457230B1 publication Critical patent/KR102457230B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

본 발명은 반려동물에 대한 빅데이터를 수집하는 데이터 수집부; 상기 빅데이터를 분석하여 반려동물의 행동, 감정 및 질병에 대한 상태정보를 생성하는 데이터 분석부; 및 상기 상태정보에 기초하여 현재 반려동물에게 요구되는 조언정보 또는 추천정보를 생성하는 교감부를 포함하는, 빅데이터 학습을 통한 반려동물 판단예측 시스템에 관한 것이다.

Description

빅데이터 학습을 통한 반려동물 판단예측 시스템 {Companion animal judgment and prediction system through big data learning}
본 발명은 빅데이터 학습을 통한 반려동물 판단예측 시스템에 관한 것으로, 더욱 상세하게는 반려동물의 빅데이터에 대한 확장 분석과 비교 분석의 결과에 기반하여 반려동물의 다양한 상태를 예측하고, 행동, 치료, 음식 등에 대하여 조언하거나 추천하며, 이를 통해 반려동물의 성향이나 이상행동에 대해 분석하여 이상행동을 예측할 수 있는 빅데이터 학습을 통한 반려동물 판단예측 시스템에 관한 것이다.
1인가구 증가와 저출산, 고령화에 따라, 반려동물을 키우는 가정이 매년 증가하고 있으며, 반려동물 1,500만 시대가 도래하고 있다.
그리고, 과거에는 반려동물이 사람들의 즐거움 또는 필요에 의한 수단이었다면, 현재는 반려동물이 친구 또는 가족의 일원으로 인식이 많이 바뀌고 있는 추세이다. 따라서, 최근 들어 반려동물의 건강에 관심을 갖는 사람들이 많이 늘고 있다.
반려동물이 가족의 일원이 되었지만, 말을 하지 못하기 때문에 직접적은 소통은 어려우며, 반려동물이 아프더라 도 그 증상을 쉽게 알아차리기가 힘들어 많은 불편함을 갖고 있다. 또한, 반려동물의 감정 또는 건강상태를 알 수 없어 답답한 사용자가 늘고 있다.
최근 웨어러블 업계에서 반려동물을 위한 펫 웨어러블(Pet Wearable)의 존재감이 점차 부각되고 있으며, 미국 샌프란시스코에 위치한 휘슬 랩(Whistle Lab)은 애완견을 위한 활동 추적 단말기인 '휘슬 활동 모니터(Whistle Activity Monitor, 이하 휘슬)'를 제작해 판매하고 있다.
그러나, 반려동물의 심박, 체온, 움직임, 위치정보 등의 정보를 웨어러블 센서를 통해 실시간으로 수집하고, 이를 융, 복합 빅데이터 방법론에 의해 빅데이터 의사결정 시스템을 제공함으로 반려동물과 사람과의 더 깊고 의미 있는 교감이 가능한 빅데이터 인텔리전스 정보 기술을 제공하도록 하기 위한 시스템을 구현하여 애완동물을 관리하지 못하고 있다. 또한 경제적 부담은 물론, 공동 생활환경에서의 사회적 문제를 해결하기 위한 방안으로 부각되고 있다.
또한, 데이터를 기반으로 하는 AI 알고리즘의 특성상 다양한 조건 값에서의 충분한 테스트베드가 필요하지만, 반려동물과 관련된 공신력 있는 현장 데이터가 절대적으로 부족하며, 정보의 분석 및 접근 방법(알고리즘)이 부재하다는 문제점이 있다.
한편, 전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
한국공개특허 제10-2020-0071837호 한국등록특허 제10-2179104호
본 발명의 일측면은 반려동물의 빅데이터에 대한 확장 분석과 비교 분석의 결과에 기반하여 반려동물의 다양한 상태를 예측하고, 행동, 치료, 음식 등에 대하여 조언하거나 추천하며, 이를 통해 반려동물의 성향이나 이상행동에 대해 분석하여 이상행동을 예측할 수 있는 빅데이터 학습을 통한 반려동물 판단예측 시스템을 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템은, 반려동물에 대한 빅데이터를 수집하는 데이터 수집부; 상기 빅데이터를 분석하여 반려동물의 행동, 감정 및 질병에 대한 상태정보를 생성하는 데이터 분석부; 상기 상태정보에 기초하여 현재 반려동물에게 요구되는 조언정보 또는 추천정보를 생성하는 교감부를 포함한다.
상기 데이터 분석부는,
상기 빅데이터를 분석하여 반려동물의 행동 패턴에 따른 감정정보를 생성하는 감정 분석부; 및
상기 빅데이터를 분석하여 반려동물의 건강상태를 나타내는 건강정보를 생성하는 건강 분석부를 포함한다.
상기 감정 분석부는,
상기 빅데이터에 포함된 정보들 중 반려동물의 모습이 촬영된 촬영영상으로부터 자세정보를 추정하기 위해, 반려동물의 귀 객체 및 꼬리객체를 추출하고,
추출된 꼬리객체를 상단 꼬리객체, 중단 꼬리객체 및 하단 꼬리객체(t3)로 3분할하고,
상기 귀 객체, 상기 상단 꼬리객체, 상기 중단 꼬리객체 및 상기 하단 꼬리객체(t3)의 중심점을 각각 추출하고,
귀 객체의 중심점과 하단 꼬리객체의 중심점를 연결하는 제1 선분, 하단 꼬리객체와 중단 꼬리객체를 연결하는 제2 선분 및 중단 꼬리객체와 상단 꼬리객체를 연결하는 제3 선분을 생성하여, 상기 제1 선분, 상기 제2 선분 및 상기 제3 선분으로 구성된 자세정보를 생성한다.
상기 감정 분석부는,
상기 제1 선분의 크기와 방향을 나타내는 제1 특징벡터, 상기 제2 선분의 크기와 방향을 나타내는 제2 특징벡터 및 상기 제3 선분의 크기와 방향을 나타내는 제3 특징벡터를 생성하고, 상기 제1 특징벡터, 상기 제2 특징벡터 및 상기 제3 특징벡터를 미리 학습된 인공 신경망에 입력하여 인공 신경망의 출력값에 기초하여 촬영된 영상으로부터 반려동물의 감정정보를 추출한다.
상기 건강 분석부는,
상기 감정정보를 분석하여 반려동물이 치료가 요구되는 상태인 것으로 판단되면, 상기 빅데이터에 포함된 정보들 중 반려동물의 과거 진료기록 정보에 기초하여 반려동물의 질병을 추정하고, 추정된 질병을 치료하기 위한 동물병원을 검색하여 반려동물의 주인이 소지한 사용자 단말기로 전송하는 것을 특징으로 한다.
상술한 본 발명의 일측면에 따르면, 반려동물의 빅데이터(종, 나이, 성별, 계절, 환경, 사료종류, 급식량, 활동패턴, 질병 진료기록 등)를 취합하고 분석하여 통계에 따라 성향예측, 질병 예방, 각각의 분야에서 활용할 수 있는 기준점을 제시할 수 있다.
또한, 반려동물의 데이터에 대한 확장 분석과 비교 분석의 결과에 기반하여 반려동물의 다양한 상태를 예측하고 행동, 치료, 음식 등에 대하여 조언하거나 추천할 수 있음. 이를 통해 반려동물의 성향이나 이상행동에 대해 분석하여 이상행동을 예측할 수 있다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템의 전체 구성이 도시된 도면이다.
도 2 및 도 3은 도 1의 관리서버의 구체적인 구성이 도시된 도면이다.
도 4 및 도 5는 자세정보를 추정하는 구체적인 일 예가 도시된 도면이다.
도 6 및 도 7은 자세정보로부터 감정정보를 추정하는 구체적인 일 예가 도시된 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템의 개략적인 구성이 도시된 개념도이다.
본 발명에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템은 반려동물의 빅데이터에 대한 확장 분석과 비교 분석의 결과에 기반하여 반려동물의 다양한 상태를 예측하고, 행동, 치료, 음식 등에 대하여 조언하거나 추천하며, 이를 통해 반려동물의 성향이나 이상행동에 대해 분석하여 이상행동을 예측할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템은, 웨어러블 장치(100), 반려동물 관리서버(200) 및 사용자 단말(300)을 포함한다.
웨어러블 장치(100) 반려동물에 장착되어 반려동물에 대한 생체정보와, 반려동물이 생활하는 생활환경에 대한 환경정보를 센싱한다. 이를 위해, 웨어러블 장치(100)는 반려동물의 심박수, 체온, 맥박 등과 같은 바이오 신호를 센싱하는 바이오 센서와, 반려동물의 소리를 감지할 수 있는 마이크 모듈을 포함할 수 있다. 이 외에도, 웨어러블 장치(100)는 반려동물을 촬영하는 카메라 모듈과, 관리서버(200) 및 사용자 단말(300)과 무선통신을 수행하기 위한 통신 모듈과, 사용자의 목소리를 재생하는 스피커 모듈과, 사용자 단말(300)로부터 전송되는 영상을 표시하는 디스플레이 모듈 등이 구비될 수 있다.
사용자 단말(300)은 반려동물의 보호자인 사용자가 휴대하는 장치로, 스마트폰(smartphone), 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
반려동물 관리서버(200)는 상기 웨어러블 장치 및 상기 반려동물의 주인이 소지한 사용자 단말과 통신하며, 상기 웨어러블 장치 및 상기 사용자 단말을 통해 반려동물과 사용자가 원격지에서도 교감할 수 있도록, 빅데이터 및 인공 신경망을 이용하여 반려동물의 현재상태를 추정하고, 추정된 결과에 기초하여 반려동물에게 필요한 서비스를 제공한다.
도 2를 참조하면, 반려동물 관리서버(200)는 데이터 수집부(210), 데이터 분석부(220) 및 교감부(230)를 포함한다.
데이터 수집부(210)는 반려동물에 대한 빅데이터를 수집한다.
여기서, 반려동물에 대한 빅데이터는 반려동물의 종, 연령, 성별, 환경, 사료 종류, 급식량, 활동 패턴, 촬영영상, 진료기록 등과 같이 반려동물에 대한 다양한 정보들을 포함할 수 있다.
데이터 수집부(210)는 웨어러블 장치(100) 뿐만 아니라 동물병원, 웹페이지 등 다양한 경로를 통해 이러한 반려동물에 대한 빅데이터를 수집할 수 있다.
데이터 분석부(220)는 빅데이터를 분석하여 반려동물의 행동, 감정 및 질병에 대한 상태정보를 생성한다.
이를 위해, 데이터 분석부(220)는 도 3에 도시된 바와 같이 감정 분석부(221) 및 건강 분석부(222)를 포함한다.
감정 분석부(221)는 상기 빅데이터를 분석하여 반려동물의 행동 패턴에 따른 감정정보를 생성한다.
구체적으로, 감정 분석부(221)는 상기 빅데이터에 포함된 정보들 중 반려동물의 모습이 촬영된 촬영영상을 영상 분석하여 반려동물의 자세정보를 분석하고, 분석된 자세정보에 기초하여 감정정보를 생성한다.
이를 위해, 감정 분석부(221)는 촬영영상으로부터 자세정보를 추정하기 위해, 반려동물의 귀 객체 및 꼬리객체를 추출한다. 일반적으로, 반려동물의 귀는 한 쌍이나, 양쪽 귀 중 어느 하나의 귀를 귀 객체로 설정한다. 영상으로부터 특정 객체를 검출하고, 검출된 객체의 형태를 구분하는 기술은 영상처리 기술 분야에서 이미 널리 알려진 기술이므로, 구체적인 설명은 생략하기로 한다.
감정 분석부(221)는 도 3에 도시된 바와 같이 검출된 꼬리객체를 3분할하여 상단 꼬리객체(t1), 중단 꼬리객체(t2) 및 하단 꼬리객체(t3)로 구분한다.
감정 분석부(221)는 도 4에 도시된 바와 같이 귀 객체(e), 상단 꼬리객체(t1), 중단 꼬리객체(t2) 및 하단 꼬리객체(t3)의 중심점을 추출하고, 귀 객체(e)의 중심점(P1)과 하단 꼬리객체(t3)의 중심점(P2)를 연결하는 제1 선분(L1), 하단 꼬리객체(t3)와 중단 꼬리객체(t2)를 연결하는 제2 선분(L2) 및 중단 꼬리객체(t2)와 상단 꼬리객체(t1)를 연결하는 제3 선분(L3)을 생성한다. 즉, 본 발명에서의 자세정보는 제1 선분(L1), 제2 선분(L2) 및 제3 선분(L3)으로 구성된다.
감정 분석부(221)는 자세정보로부터 감정정보를 추정하기 위해, 제1 선분(L1)의 크기와 방향을 나타내는 제1 특징벡터, 제2 선분(L2)의 크기와 방향을 나타내는 제2 특징벡터 및 제3 선분(L3)의 크기와 방향을 나타내는 제3 특징벡터를 생성하고, 생성된 세 개의 특징벡터를 미리 학습된 인공 신경망에 입력하여 인공 신경망의 출력값에 기초하여 촬영된 영상으로부터 반려동물의 감정정보를 추출할 수 있다.
여기서, 인공 신경망은 입력층, 은닉층 및 출력층으로 구성된 심층 신경망으로, 이러한 심층 신경망의 구조는 이미 널리 알려져 있으므로 구체적인 설명은 생략하기로 한다.
이후, 도 5 및 도 6에 도시된 바와 감정 분석부(221)는 현재 시점까지 소정 시간 간격마다 수집되는 촬영영상으로부터 누적 판단된 자세정보의 변화량에 기초하여 다음 주기에 수집될 촬영영상의 자세정보를 예측한다. 감정 분석부(221)는 빅데이터 분석을 통해 분석 대상인 반려동물과 동종 또는 유사종의 다른 반려동물에 대한 자세정보 변화 패턴을 분석하여 다음 주기에 수집될 촬영영상의 자세정보를 예측할 수 있다.
감정 분석부(221)는 현재까지 수집된 촬영영상에서 관측되는 반려동물의 자세정보를 기초로, 다음 번 수집될 것으로 예측되는 촬영영상에서의 자세정보를 추정하고, 다음 주기에 실제로 수집되는 촬영영상에서의 자세정보를 추정된 자세정보와 비교하여 두 자세정보 간의 유사도를 산출한다.
감정 분석부(221)는 상기 유사도가 미리 설정된 기준 유사도 이상인 것으로 판단되면, 예측된 자세정보에 대응되는 예측 감정정보를 생성하고, 상기 유사도가 상기 기준 유사도 미만인 것으로 판단되면, 새로운 행동패턴 예측을 위해 유사도가 기준 유사도 미만인 것으로 판단된 시점 이후에 수집되는 촬영영상을 분석하여 자세정보를 다시 모델링하는 것을 특징으로 한다.
건강 분석부(222)는 상기 빅데이터를 분석하여 반려동물의 건강상태를 나타내는 건강정보를 생성한다.
상기 건강 분석부는, 상기 예측 감정정보를 분석하여 반려동물이 치료가 요구되는 상태인 것으로 판단되면, 상기 빅데이터에 포함된 정보들 중 반려동물의 과거 진료기록 정보에 기초하여 반려동물의 질병을 추정하고, 추정된 질병을 치료하기 위한 동물병원을 검색하여 반려동물의 주인이 소지한 사용자 단말기로 전송하는 것을 특징으로 한다.
원격진료지원부(230)는 사용자 단말(300)이 건강 분석부에 의해 추천된 동물병원을 이용하기 위한 일련의 서비스를 제공할 수 있다. 특히, 원격진료지원부(230)는 사용자 단말(300)에 의해 선택(예약)된 동물병원을 이용하여 반려동물이 원격진료 서비스를 제공받도록 할 수 있다.
이를 위해, 원격진료지원부(230)는 사용자 단말(300)에 의해 선택된 동물병원에서 근무하는 의료인이 소지한 의료인 단말과 사용자 단말(300)의 영상통화 서비스를 제공한다.
이때, 원격진료지원부는 화상통화 과정에서 발생되는 영상을 분석하여 사용자 또는 의료인(수의사)이 가리키는 대상을 부각시켜 표시할 수 있다.
이를 위해, 원격진료지원부는 화상통화 과정에서 발생되는 사용자 단말로부터 수집되는 촬영영상을 분석하여, 촬영영상에 포함된 객체를 구분한다. 상술한 바와 같이, 영상 또는 이미지로부터 객체를 구분하는 기술은 이미 공지된 기술이므로, 구체적인 설명은 생략하기로 한다.
원격진료지원부는 사용자 단말로부터 수집되는 촬영영상에서, 반려동물로 구분된 객체를 핵심객체로 설정하고, 설정된 핵심객체가 화상통화 과정에서 사용자 단말 및 의료인 단말의 화면에 공통으로 표시되도록 한다.
이후, 원격진료지원부는 화상통화 과정에서 설정된 핵심객체에서 사용자가 지시하는 대상에 대한 정보를 화면에 부각시켜 표시할 수 있다. 예를 들어, 원격진료지원부는 사용자가 핵심객체에서 사용자 단말의 화면을 통해 터치한 지점을 하이라이트 처리를 한 영상을 의료인 단말로 제공하거나, 사용자가 가리키는 지점에 마커를 삽입한 영상을 의료인 단말로 제공할 수 있다. 따라서, 사용자는 화상통화 과정에서 반려동물의 어떤 신체부위에서 문제가 발생하였는지에 대한 정보를 즉각적으로 의료인에게 전달할 수 있다.
원격진료지원부는 핵심객체에 대한 3차원 가상객체를 생성한다. 원격진료지원부는 생성된 3차원 가상객체가 영상통화 과정에서 핵심객체의 일측에 함께 표시되도록 할 수 있다.
원격진료지원부는 의료인이 의료인 단말을 통해 3차원 가상객체를 조작하는 것으로 확인되면, 의료인 단말로부터 수신되는 3차원 가상객체에 대한 조작신호에 기초하여 영상통화 과정에서 공통 배경영상에 함께 표시되는 3차원 가상객체를 실시간으로 확대, 축소, 회전, 이동시킨다. 이에 따라, 사용자는 의료인이 어떤 반려동물의 어떤 신체부위를 어떻게 다루는지에 대한 정보를 실시간 변형되는 3차원 객체를 통해 제공받을 수 있어 원격진료라 하더라도 용이하게 의료정보를 제공할 수 있다.
교감부(240)는 상기 상태정보에 기초하여 현재 반려동물에게 요구되는 조언정보 또는 추천정보를 생성한다.
일 실시예에서, 교감부(240)는 상기 빅데이터에 포함된 정보들 중 반려동물의 생활환경이 촬영된 촬영영상을 영상 분석하여 장난감 객체를 추출하고, 추출된 장난감 객체에 대응되는 기준 이미지를 상기 장난감 객체와 비교하여 상기 장난감 객체에 대한 마모도를 산출하고, 산출된 마모도가 미리 설정된 기준값 이하인 것으로 판단되면 장난감 교체를 위한 알림 메시지를 생성할 수 있다.
일 실시예에서, 교감부(240)는 상기 감정정보에 대응되는 자연어를 멀티미디어 메시지 형태로 반려동물의 주인이 소지한 사용자 단말기에 전달하고, 반려동물과 사용자가 주고받는 메시지에 포함된 키워드를 추출하여 추출된 키워드에 대한 검색 결과를 제공하며, 사물인터넷을 이용하여 사용자 단말로부터 수신된 메시지에 대한 제어신호를 상기 반려동물 주변에 위치한 가정 내 전자기기로 전송할 수 있다.
이를 위해, 교감부(240)는 상기 생성부에서 생성된 캐릭터객체 및 자연어를 이용하여 상기 반려동물의 주인이 소지한 사용자 단말로 전송할 멀티미디어 메시지를 생성한다.
교감부(240)는 반려동물을 캐릭터화한 캐릭터객체를 생성하고, 생성된 캐릭터객체가 현재 시점에서 촬영된 자세정보에 대응되는 포즈를 갖도록 변형시킬 수 있다.
또한, 교감부(240)는 생성된 대화형 메시지를 사용자 단말(300)에 미리 설치되는 챗봇 애플리케이션을 통해 전송할 수 있다.
이때, 교감부(240)는 대화형 메시지를 구성하는 자연어 중 핵심 키워드를 추출하고, 추출된 핵심 키워드를 해시태그로 자동 구성하여 대화형 메시지와 함께 표시하는 것을 특징으로 한다. 이에 따라, 사용자는 해시태그를 클릭하거나 선택하게 되면 대화형 메시지에 대응되는 추천 상호작용에 대한 정보를 자동으로 제공받을 수 있다.
예컨대, 사용자가 #심심이라는 태그를 선택하는 경우, 반려동물이 심심하다고 느끼는 원인에 대한 정보가 기록된 웹페이지화면이 나타날 수 있으며, #놀이라는 태그를 선택하는 경우 원격지에서 반려동물과 놀아줄 수 있는 다양한 제시안들이 표시될 수 있다.
더욱 구체적으로, 사용자는 #놀이를 선택했을 때 출력되는 복수의 콘텐츠 중 TV 틀어주기라는 항목을 선택하게 되는 경우, 교감부(240)는 TV 전원을 ON 시키는 제어신호를 생성할 수 있다. 이후, 관리서버(200)는 생성된 제어신호를 반려동물이 착용한 웨어러블 장치(100)로 전송하며, 웨어러블 장치(100)는 수신된 제어신호를 방사하여 가정 내의 TV가 이를 수신하게 되면 TV의 전원이 켜지게 되어 반려동물의 흥미를 유발시킬 수 있다. 이와 같은 방법으로, 관리서버(200)는 반려동물의 감정상태에 대응되는 상호작용을 홈 네트워크를 구축하는 사물인터넷을 이용하여 원격에서도 제공할 수 있도록 한다.
본 발명에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템은 반려동물의 빅데이터에 대한 확장 분석과 비교 분석의 결과에 기반하여 반려동물의 다양한 상태를 예측하고, 행동, 치료, 음식 등에 대하여 조언하거나 추천하며, 이를 통해 반려동물의 성향이나 이상행동에 대해 분석하여 이상행동을 예측할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템은, 웨어러블 장치(100), 반려동물 관리서버(200) 및 사용자 단말(300)을 포함한다.
웨어러블 장치(100) 반려동물에 장착되어 반려동물에 대한 생체정보와, 반려동물이 생활하는 생활환경에 대한 환경정보를 센싱한다. 이를 위해, 웨어러블 장치(100)는 반려동물의 심박수, 체온, 맥박 등과 같은 바이오 신호를 센싱하는 바이오 센서와, 반려동물의 소리를 감지할 수 있는 마이크 모듈을 포함할 수 있다. 이 외에도, 웨어러블 장치(100)는 반려동물을 촬영하는 카메라 모듈과, 관리서버(200) 및 사용자 단말(300)과 무선통신을 수행하기 위한 통신 모듈과, 사용자의 목소리를 재생하는 스피커 모듈과, 사용자 단말(300)로부터 전송되는 영상을 표시하는 디스플레이 모듈 등이 구비될 수 있다.
사용자 단말(300)은 반려동물의 보호자인 사용자가 휴대하는 장치로, 스마트폰(smartphone), 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
반려동물 관리서버(200)는 상기 웨어러블 장치 및 상기 반려동물의 주인이 소지한 사용자 단말과 통신하며, 상기 웨어러블 장치 및 상기 사용자 단말을 통해 반려동물과 사용자가 원격지에서도 교감할 수 있도록, 빅데이터 및 인공 신경망을 이용하여 반려동물의 현재상태를 추정하고, 추정된 결과에 기초하여 반려동물에게 필요한 서비스를 제공한다.
도 2를 참조하면, 반려동물 관리서버(200)는 데이터 수집부(210), 데이터 분석부(220) 및 교감부(230)를 포함한다.
데이터 수집부(210)는 반려동물에 대한 빅데이터를 수집한다.
여기서, 반려동물에 대한 빅데이터는 반려동물의 종, 연령, 성별, 환경, 사료 종류, 급식량, 활동 패턴, 촬영영상, 진료기록 등과 같이 반려동물에 대한 다양한 정보들을 포함할 수 있다.
데이터 수집부(210)는 웨어러블 장치(100) 뿐만 아니라 동물병원, 웹페이지 등 다양한 경로를 통해 이러한 반려동물에 대한 빅데이터를 수집할 수 있다.
데이터 분석부(220)는 빅데이터를 분석하여 반려동물의 행동, 감정 및 질병에 대한 상태정보를 생성한다.
이를 위해, 데이터 분석부(220)는 도 3에 도시된 바와 같이 감정 분석부(221) 및 건강 분석부(222)를 포함한다.
감정 분석부(221)는 상기 빅데이터를 분석하여 반려동물의 행동 패턴에 따른 감정정보를 생성한다.
구체적으로, 감정 분석부(221)는 상기 빅데이터에 포함된 정보들 중 반려동물의 모습이 촬영된 촬영영상을 영상 분석하여 반려동물의 자세정보를 분석하고, 분석된 자세정보에 기초하여 감정정보를 생성한다.
이를 위해, 감정 분석부(221)는 촬영영상으로부터 자세정보를 추정하기 위해, 반려동물의 귀 객체 및 꼬리객체를 추출한다. 일반적으로, 반려동물의 귀는 한 쌍이나, 양쪽 귀 중 어느 하나의 귀를 귀 객체로 설정한다. 영상으로부터 특정 객체를 검출하고, 검출된 객체의 형태를 구분하는 기술은 영상처리 기술 분야에서 이미 널리 알려진 기술이므로, 구체적인 설명은 생략하기로 한다.
감정 분석부(221)는 도 3에 도시된 바와 같이 검출된 꼬리객체를 3분할하여 상단 꼬리객체(t1), 중단 꼬리객체(t2) 및 하단 꼬리객체(t3)로 구분한다.
감정 분석부(221)는 도 4에 도시된 바와 같이 귀 객체(e), 상단 꼬리객체(t1), 중단 꼬리객체(t2) 및 하단 꼬리객체(t3)의 중심점을 추출하고, 귀 객체(e)의 중심점(P1)과 하단 꼬리객체(t3)의 중심점(P2)를 연결하는 제1 선분(L1), 하단 꼬리객체(t3)와 중단 꼬리객체(t2)를 연결하는 제2 선분(L2) 및 중단 꼬리객체(t2)와 상단 꼬리객체(t1)를 연결하는 제3 선분(L3)을 생성한다. 즉, 본 발명에서의 자세정보는 제1 선분(L1), 제2 선분(L2) 및 제3 선분(L3)으로 구성된다.
감정 분석부(221)는 자세정보로부터 감정정보를 추정하기 위해, 제1 선분(L1)의 크기와 방향을 나타내는 제1 특징벡터, 제2 선분(L2)의 크기와 방향을 나타내는 제2 특징벡터 및 제3 선분(L3)의 크기와 방향을 나타내는 제3 특징벡터를 생성하고, 생성된 세 개의 특징벡터를 미리 학습된 인공 신경망에 입력하여 인공 신경망의 출력값에 기초하여 촬영된 영상으로부터 반려동물의 감정정보를 추출할 수 있다.
여기서, 인공 신경망은 입력층, 은닉층 및 출력층으로 구성된 심층 신경망으로, 이러한 심층 신경망의 구조는 이미 널리 알려져 있으므로 구체적인 설명은 생략하기로 한다.
이후, 도 5 및 도 6에 도시된 바와 감정 분석부(221)는 현재 시점까지 소정 시간 간격마다 수집되는 촬영영상으로부터 누적 판단된 자세정보의 변화량에 기초하여 다음 주기에 수집될 촬영영상의 자세정보를 예측한다. 감정 분석부(221)는 빅데이터 분석을 통해 분석 대상인 반려동물과 동종 또는 유사종의 다른 반려동물에 대한 자세정보 변화 패턴을 분석하여 다음 주기에 수집될 촬영영상의 자세정보를 예측할 수 있다.
감정 분석부(221)는 현재까지 수집된 촬영영상에서 관측되는 반려동물의 자세정보를 기초로, 다음 번 수집될 것으로 예측되는 촬영영상에서의 자세정보를 추정하고, 다음 주기에 실제로 수집되는 촬영영상에서의 자세정보를 추정된 자세정보와 비교하여 두 자세정보 간의 유사도를 산출한다.
감정 분석부(221)는 상기 유사도가 미리 설정된 기준 유사도 이상인 것으로 판단되면, 예측된 자세정보에 대응되는 예측 감정정보를 생성하고, 상기 유사도가 상기 기준 유사도 미만인 것으로 판단되면, 새로운 행동패턴 예측을 위해 유사도가 기준 유사도 미만인 것으로 판단된 시점 이후에 수집되는 촬영영상을 분석하여 자세정보를 다시 모델링하는 것을 특징으로 한다.
건강 분석부(222)는 상기 빅데이터를 분석하여 반려동물의 건강상태를 나타내는 건강정보를 생성한다.
상기 건강 분석부는, 상기 예측 감정정보를 분석하여 반려동물이 치료가 요구되는 상태인 것으로 판단되면, 상기 빅데이터에 포함된 정보들 중 반려동물의 과거 진료기록 정보에 기초하여 반려동물의 질병을 추정하고, 추정된 질병을 치료하기 위한 동물병원을 검색하여 반려동물의 주인이 소지한 사용자 단말기로 전송하는 것을 특징으로 한다.
원격진료지원부(230)는 사용자 단말(300)이 건강 분석부에 의해 추천된 동물병원을 이용하기 위한 일련의 서비스를 제공할 수 있다. 특히, 원격진료지원부(230)는 사용자 단말(300)에 의해 선택(예약)된 동물병원을 이용하여 반려동물이 원격진료 서비스를 제공받도록 할 수 있다.
이를 위해, 원격진료지원부(230)는 사용자 단말(300)에 의해 선택된 동물병원에서 근무하는 의료인이 소지한 의료인 단말과 사용자 단말(300)의 영상통화 서비스를 제공한다.
이때, 원격진료지원부는 화상통화 과정에서 발생되는 영상을 분석하여 사용자 또는 의료인(수의사)이 가리키는 대상을 부각시켜 표시할 수 있다.
이를 위해, 원격진료지원부는 화상통화 과정에서 발생되는 사용자 단말로부터 수집되는 촬영영상을 분석하여, 촬영영상에 포함된 객체를 구분한다. 상술한 바와 같이, 영상 또는 이미지로부터 객체를 구분하는 기술은 이미 공지된 기술이므로, 구체적인 설명은 생략하기로 한다.
원격진료지원부는 사용자 단말로부터 수집되는 촬영영상에서, 반려동물로 구분된 객체를 핵심객체로 설정하고, 설정된 핵심객체가 화상통화 과정에서 사용자 단말 및 의료인 단말의 화면에 공통으로 표시되도록 한다.
이후, 원격진료지원부는 화상통화 과정에서 설정된 핵심객체에서 사용자가 지시하는 대상에 대한 정보를 화면에 부각시켜 표시할 수 있다. 예를 들어, 원격진료지원부는 사용자가 핵심객체에서 사용자 단말의 화면을 통해 터치한 지점을 하이라이트 처리를 한 영상을 의료인 단말로 제공하거나, 사용자가 가리키는 지점에 마커를 삽입한 영상을 의료인 단말로 제공할 수 있다. 따라서, 사용자는 화상통화 과정에서 반려동물의 어떤 신체부위에서 문제가 발생하였는지에 대한 정보를 즉각적으로 의료인에게 전달할 수 있다.
원격진료지원부는 핵심객체에 대한 3차원 가상객체를 생성한다. 원격진료지원부는 생성된 3차원 가상객체가 영상통화 과정에서 핵심객체의 일측에 함께 표시되도록 할 수 있다.
원격진료지원부는 의료인이 의료인 단말을 통해 3차원 가상객체를 조작하는 것으로 확인되면, 의료인 단말로부터 수신되는 3차원 가상객체에 대한 조작신호에 기초하여 영상통화 과정에서 공통 배경영상에 함께 표시되는 3차원 가상객체를 실시간으로 확대, 축소, 회전, 이동시킨다. 이에 따라, 사용자는 의료인이 어떤 반려동물의 어떤 신체부위를 어떻게 다루는지에 대한 정보를 실시간 변형되는 3차원 객체를 통해 제공받을 수 있어 원격진료라 하더라도 용이하게 의료정보를 제공할 수 있다.
교감부(240)는 상기 상태정보에 기초하여 현재 반려동물에게 요구되는 조언정보 또는 추천정보를 생성한다.
일 실시예에서, 교감부(240)는 상기 빅데이터에 포함된 정보들 중 반려동물의 생활환경이 촬영된 촬영영상을 영상 분석하여 장난감 객체를 추출하고, 추출된 장난감 객체에 대응되는 기준 이미지를 상기 장난감 객체와 비교하여 상기 장난감 객체에 대한 마모도를 산출하고, 산출된 마모도가 미리 설정된 기준값 이하인 것으로 판단되면 장난감 교체를 위한 알림 메시지를 생성할 수 있다.
일 실시예에서, 교감부(240)는 상기 감정정보에 대응되는 자연어를 멀티미디어 메시지 형태로 반려동물의 주인이 소지한 사용자 단말기에 전달하고, 반려동물과 사용자가 주고받는 메시지에 포함된 키워드를 추출하여 추출된 키워드에 대한 검색 결과를 제공하며, 사물인터넷을 이용하여 사용자 단말로부터 수신된 메시지에 대한 제어신호를 상기 반려동물 주변에 위치한 가정 내 전자기기로 전송할 수 있다.
이를 위해, 교감부(240)는 상기 생성부에서 생성된 캐릭터객체 및 자연어를 이용하여 상기 반려동물의 주인이 소지한 사용자 단말로 전송할 멀티미디어 메시지를 생성한다.
교감부(240)는 반려동물을 캐릭터화한 캐릭터객체를 생성하고, 생성된 캐릭터객체가 현재 시점에서 촬영된 자세정보에 대응되는 포즈를 갖도록 변형시킬 수 있다.
또한, 교감부(240)는 생성된 대화형 메시지를 사용자 단말(300)에 미리 설치되는 챗봇 애플리케이션을 통해 전송할 수 있다.
이때, 교감부(240)는 대화형 메시지를 구성하는 자연어 중 핵심 키워드를 추출하고, 추출된 핵심 키워드를 해시태그로 자동 구성하여 대화형 메시지와 함께 표시하는 것을 특징으로 한다. 이에 따라, 사용자는 해시태그를 클릭하거나 선택하게 되면 대화형 메시지에 대응되는 추천 상호작용에 대한 정보를 자동으로 제공받을 수 있다.
예컨대, 사용자가 #심심이라는 태그를 선택하는 경우, 반려동물이 심심하다고 느끼는 원인에 대한 정보가 기록된 웹페이지화면이 나타날 수 있으며, #놀이라는 태그를 선택하는 경우 원격지에서 반려동물과 놀아줄 수 있는 다양한 제시안들이 표시될 수 있다.
더욱 구체적으로, 사용자는 #놀이를 선택했을 때 출력되는 복수의 콘텐츠 중 TV 틀어주기라는 항목을 선택하게 되는 경우, 교감부(240)는 TV 전원을 ON 시키는 제어신호를 생성할 수 있다. 이후, 관리서버(200)는 생성된 제어신호를 반려동물이 착용한 웨어러블 장치(100)로 전송하며, 웨어러블 장치(100)는 수신된 제어신호를 방사하여 가정 내의 TV가 이를 수신하게 되면 TV의 전원이 켜지게 되어 반려동물의 흥미를 유발시킬 수 있다. 이와 같은 방법으로, 관리서버(200)는 반려동물의 감정상태에 대응되는 상호작용을 홈 네트워크를 구축하는 사물인터넷을 이용하여 원격에서도 제공할 수 있도록 한다.
본 발명에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템은 반려동물의 빅데이터에 대한 확장 분석과 비교 분석의 결과에 기반하여 반려동물의 다양한 상태를 예측하고, 행동, 치료, 음식 등에 대하여 조언하거나 추천하며, 이를 통해 반려동물의 성향이나 이상행동에 대해 분석하여 이상행동을 예측할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템은, 웨어러블 장치(100), 반려동물 관리서버(200) 및 사용자 단말(300)을 포함한다.
웨어러블 장치(100) 반려동물에 장착되어 반려동물에 대한 생체정보와, 반려동물이 생활하는 생활환경에 대한 환경정보를 센싱한다. 이를 위해, 웨어러블 장치(100)는 반려동물의 심박수, 체온, 맥박 등과 같은 바이오 신호를 센싱하는 바이오 센서와, 반려동물의 소리를 감지할 수 있는 마이크 모듈을 포함할 수 있다. 이 외에도, 웨어러블 장치(100)는 반려동물을 촬영하는 카메라 모듈과, 관리서버(200) 및 사용자 단말(300)과 무선통신을 수행하기 위한 통신 모듈과, 사용자의 목소리를 재생하는 스피커 모듈과, 사용자 단말(300)로부터 전송되는 영상을 표시하는 디스플레이 모듈 등이 구비될 수 있다.
사용자 단말(300)은 반려동물의 보호자인 사용자가 휴대하는 장치로, 스마트폰(smartphone), 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
반려동물 관리서버(200)는 상기 웨어러블 장치 및 상기 반려동물의 주인이 소지한 사용자 단말과 통신하며, 상기 웨어러블 장치 및 상기 사용자 단말을 통해 반려동물과 사용자가 원격지에서도 교감할 수 있도록, 빅데이터 및 인공 신경망을 이용하여 반려동물의 현재상태를 추정하고, 추정된 결과에 기초하여 반려동물에게 필요한 서비스를 제공한다.
도 2를 참조하면, 반려동물 관리서버(200)는 데이터 수집부(210), 데이터 분석부(220) 및 교감부(230)를 포함한다.
데이터 수집부(210)는 반려동물에 대한 빅데이터를 수집한다.
여기서, 반려동물에 대한 빅데이터는 반려동물의 종, 연령, 성별, 환경, 사료 종류, 급식량, 활동 패턴, 촬영영상, 진료기록 등과 같이 반려동물에 대한 다양한 정보들을 포함할 수 있다.
데이터 수집부(210)는 웨어러블 장치(100) 뿐만 아니라 동물병원, 웹페이지 등 다양한 경로를 통해 이러한 반려동물에 대한 빅데이터를 수집할 수 있다.
데이터 분석부(220)는 빅데이터를 분석하여 반려동물의 행동, 감정 및 질병에 대한 상태정보를 생성한다.
이를 위해, 데이터 분석부(220)는 도 3에 도시된 바와 같이 감정 분석부(221) 및 건강 분석부(222)를 포함한다.
감정 분석부(221)는 상기 빅데이터를 분석하여 반려동물의 행동 패턴에 따른 감정정보를 생성한다.
구체적으로, 감정 분석부(221)는 상기 빅데이터에 포함된 정보들 중 반려동물의 모습이 촬영된 촬영영상을 영상 분석하여 반려동물의 자세정보를 분석하고, 분석된 자세정보에 기초하여 감정정보를 생성한다.
이를 위해, 감정 분석부(221)는 촬영영상으로부터 자세정보를 추정하기 위해, 반려동물의 귀 객체 및 꼬리객체를 추출한다. 일반적으로, 반려동물의 귀는 한 쌍이나, 양쪽 귀 중 어느 하나의 귀를 귀 객체로 설정한다. 영상으로부터 특정 객체를 검출하고, 검출된 객체의 형태를 구분하는 기술은 영상처리 기술 분야에서 이미 널리 알려진 기술이므로, 구체적인 설명은 생략하기로 한다.
감정 분석부(221)는 도 3에 도시된 바와 같이 검출된 꼬리객체를 3분할하여 상단 꼬리객체(t1), 중단 꼬리객체(t2) 및 하단 꼬리객체(t3)로 구분한다.
감정 분석부(221)는 도 4에 도시된 바와 같이 귀 객체(e), 상단 꼬리객체(t1), 중단 꼬리객체(t2) 및 하단 꼬리객체(t3)의 중심점을 추출하고, 귀 객체(e)의 중심점(P1)과 하단 꼬리객체(t3)의 중심점(P2)를 연결하는 제1 선분(L1), 하단 꼬리객체(t3)와 중단 꼬리객체(t2)를 연결하는 제2 선분(L2) 및 중단 꼬리객체(t2)와 상단 꼬리객체(t1)를 연결하는 제3 선분(L3)을 생성한다. 즉, 본 발명에서의 자세정보는 제1 선분(L1), 제2 선분(L2) 및 제3 선분(L3)으로 구성된다.
감정 분석부(221)는 자세정보로부터 감정정보를 추정하기 위해, 제1 선분(L1)의 크기와 방향을 나타내는 제1 특징벡터, 제2 선분(L2)의 크기와 방향을 나타내는 제2 특징벡터 및 제3 선분(L3)의 크기와 방향을 나타내는 제3 특징벡터를 생성하고, 생성된 세 개의 특징벡터를 미리 학습된 인공 신경망에 입력하여 인공 신경망의 출력값에 기초하여 촬영된 영상으로부터 반려동물의 감정정보를 추출할 수 있다.
여기서, 인공 신경망은 입력층, 은닉층 및 출력층으로 구성된 심층 신경망으로, 이러한 심층 신경망의 구조는 이미 널리 알려져 있으므로 구체적인 설명은 생략하기로 한다.
이후, 도 5 및 도 6에 도시된 바와 감정 분석부(221)는 현재 시점까지 소정 시간 간격마다 수집되는 촬영영상으로부터 누적 판단된 자세정보의 변화량에 기초하여 다음 주기에 수집될 촬영영상의 자세정보를 예측한다. 감정 분석부(221)는 빅데이터 분석을 통해 분석 대상인 반려동물과 동종 또는 유사종의 다른 반려동물에 대한 자세정보 변화 패턴을 분석하여 다음 주기에 수집될 촬영영상의 자세정보를 예측할 수 있다.
감정 분석부(221)는 현재까지 수집된 촬영영상에서 관측되는 반려동물의 자세정보를 기초로, 다음 번 수집될 것으로 예측되는 촬영영상에서의 자세정보를 추정하고, 다음 주기에 실제로 수집되는 촬영영상에서의 자세정보를 추정된 자세정보와 비교하여 두 자세정보 간의 유사도를 산출한다.
감정 분석부(221)는 상기 유사도가 미리 설정된 기준 유사도 이상인 것으로 판단되면, 예측된 자세정보에 대응되는 예측 감정정보를 생성하고, 상기 유사도가 상기 기준 유사도 미만인 것으로 판단되면, 새로운 행동패턴 예측을 위해 유사도가 기준 유사도 미만인 것으로 판단된 시점 이후에 수집되는 촬영영상을 분석하여 자세정보를 다시 모델링하는 것을 특징으로 한다.
건강 분석부(222)는 상기 빅데이터를 분석하여 반려동물의 건강상태를 나타내는 건강정보를 생성한다.
상기 건강 분석부는, 상기 예측 감정정보를 분석하여 반려동물이 치료가 요구되는 상태인 것으로 판단되면, 상기 빅데이터에 포함된 정보들 중 반려동물의 과거 진료기록 정보에 기초하여 반려동물의 질병을 추정하고, 추정된 질병을 치료하기 위한 동물병원을 검색하여 반려동물의 주인이 소지한 사용자 단말기로 전송하는 것을 특징으로 한다.
원격진료지원부(230)는 사용자 단말(300)이 건강 분석부에 의해 추천된 동물병원을 이용하기 위한 일련의 서비스를 제공할 수 있다. 특히, 원격진료지원부(230)는 사용자 단말(300)에 의해 선택(예약)된 동물병원을 이용하여 반려동물이 원격진료 서비스를 제공받도록 할 수 있다.
이를 위해, 원격진료지원부(230)는 사용자 단말(300)에 의해 선택된 동물병원에서 근무하는 의료인이 소지한 의료인 단말과 사용자 단말(300)의 영상통화 서비스를 제공한다.
이때, 원격진료지원부는 화상통화 과정에서 발생되는 영상을 분석하여 사용자 또는 의료인(수의사)이 가리키는 대상을 부각시켜 표시할 수 있다.
이를 위해, 원격진료지원부는 화상통화 과정에서 발생되는 사용자 단말로부터 수집되는 촬영영상을 분석하여, 촬영영상에 포함된 객체를 구분한다. 상술한 바와 같이, 영상 또는 이미지로부터 객체를 구분하는 기술은 이미 공지된 기술이므로, 구체적인 설명은 생략하기로 한다.
원격진료지원부는 사용자 단말로부터 수집되는 촬영영상에서, 반려동물로 구분된 객체를 핵심객체로 설정하고, 설정된 핵심객체가 화상통화 과정에서 사용자 단말 및 의료인 단말의 화면에 공통으로 표시되도록 한다.
이후, 원격진료지원부는 화상통화 과정에서 설정된 핵심객체에서 사용자가 지시하는 대상에 대한 정보를 화면에 부각시켜 표시할 수 있다. 예를 들어, 원격진료지원부는 사용자가 핵심객체에서 사용자 단말의 화면을 통해 터치한 지점을 하이라이트 처리를 한 영상을 의료인 단말로 제공하거나, 사용자가 가리키는 지점에 마커를 삽입한 영상을 의료인 단말로 제공할 수 있다. 따라서, 사용자는 화상통화 과정에서 반려동물의 어떤 신체부위에서 문제가 발생하였는지에 대한 정보를 즉각적으로 의료인에게 전달할 수 있다.
원격진료지원부는 핵심객체에 대한 3차원 가상객체를 생성한다. 원격진료지원부는 생성된 3차원 가상객체가 영상통화 과정에서 핵심객체의 일측에 함께 표시되도록 할 수 있다.
원격진료지원부는 의료인이 의료인 단말을 통해 3차원 가상객체를 조작하는 것으로 확인되면, 의료인 단말로부터 수신되는 3차원 가상객체에 대한 조작신호에 기초하여 영상통화 과정에서 공통 배경영상에 함께 표시되는 3차원 가상객체를 실시간으로 확대, 축소, 회전, 이동시킨다. 이에 따라, 사용자는 의료인이 어떤 반려동물의 어떤 신체부위를 어떻게 다루는지에 대한 정보를 실시간 변형되는 3차원 객체를 통해 제공받을 수 있어 원격진료라 하더라도 용이하게 의료정보를 제공할 수 있다.
교감부(240)는 상기 상태정보에 기초하여 현재 반려동물에게 요구되는 조언정보 또는 추천정보를 생성한다.
일 실시예에서, 교감부(240)는 상기 빅데이터에 포함된 정보들 중 반려동물의 생활환경이 촬영된 촬영영상을 영상 분석하여 장난감 객체를 추출하고, 추출된 장난감 객체에 대응되는 기준 이미지를 상기 장난감 객체와 비교하여 상기 장난감 객체에 대한 마모도를 산출하고, 산출된 마모도가 미리 설정된 기준값 이하인 것으로 판단되면 장난감 교체를 위한 알림 메시지를 생성할 수 있다.
일 실시예에서, 교감부(240)는 상기 감정정보에 대응되는 자연어를 멀티미디어 메시지 형태로 반려동물의 주인이 소지한 사용자 단말기에 전달하고, 반려동물과 사용자가 주고받는 메시지에 포함된 키워드를 추출하여 추출된 키워드에 대한 검색 결과를 제공하며, 사물인터넷을 이용하여 사용자 단말로부터 수신된 메시지에 대한 제어신호를 상기 반려동물 주변에 위치한 가정 내 전자기기로 전송할 수 있다.
이를 위해, 교감부(240)는 상기 생성부에서 생성된 캐릭터객체 및 자연어를 이용하여 상기 반려동물의 주인이 소지한 사용자 단말로 전송할 멀티미디어 메시지를 생성한다.
교감부(240)는 반려동물을 캐릭터화한 캐릭터객체를 생성하고, 생성된 캐릭터객체가 현재 시점에서 촬영된 자세정보에 대응되는 포즈를 갖도록 변형시킬 수 있다.
또한, 교감부(240)는 생성된 대화형 메시지를 사용자 단말(300)에 미리 설치되는 챗봇 애플리케이션을 통해 전송할 수 있다.
이때, 교감부(240)는 대화형 메시지를 구성하는 자연어 중 핵심 키워드를 추출하고, 추출된 핵심 키워드를 해시태그로 자동 구성하여 대화형 메시지와 함께 표시하는 것을 특징으로 한다. 이에 따라, 사용자는 해시태그를 클릭하거나 선택하게 되면 대화형 메시지에 대응되는 추천 상호작용에 대한 정보를 자동으로 제공받을 수 있다.
예컨대, 사용자가 #심심이라는 태그를 선택하는 경우, 반려동물이 심심하다고 느끼는 원인에 대한 정보가 기록된 웹페이지화면이 나타날 수 있으며, #놀이라는 태그를 선택하는 경우 원격지에서 반려동물과 놀아줄 수 있는 다양한 제시안들이 표시될 수 있다.
더욱 구체적으로, 사용자는 #놀이를 선택했을 때 출력되는 복수의 콘텐츠 중 TV 틀어주기라는 항목을 선택하게 되는 경우, 교감부(240)는 TV 전원을 ON 시키는 제어신호를 생성할 수 있다. 이후, 관리서버(200)는 생성된 제어신호를 반려동물이 착용한 웨어러블 장치(100)로 전송하며, 웨어러블 장치(100)는 수신된 제어신호를 방사하여 가정 내의 TV가 이를 수신하게 되면 TV의 전원이 켜지게 되어 반려동물의 흥미를 유발시킬 수 있다. 이와 같은 방법으로, 관리서버(200)는 반려동물의 감정상태에 대응되는 상호작용을 홈 네트워크를 구축하는 사물인터넷을 이용하여 원격에서도 제공할 수 있도록 한다.
본 발명에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템은 반려동물의 빅데이터에 대한 확장 분석과 비교 분석의 결과에 기반하여 반려동물의 다양한 상태를 예측하고, 행동, 치료, 음식 등에 대하여 조언하거나 추천하며, 이를 통해 반려동물의 성향이나 이상행동에 대해 분석하여 이상행동을 예측할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 빅데이터 학습을 통한 반려동물 판단예측 시스템은, 웨어러블 장치(100), 반려동물 관리서버(200) 및 사용자 단말(300)을 포함한다.
웨어러블 장치(100) 반려동물에 장착되어 반려동물에 대한 생체정보와, 반려동물이 생활하는 생활환경에 대한 환경정보를 센싱한다. 이를 위해, 웨어러블 장치(100)는 반려동물의 심박수, 체온, 맥박 등과 같은 바이오 신호를 센싱하는 바이오 센서와, 반려동물의 소리를 감지할 수 있는 마이크 모듈을 포함할 수 있다. 이 외에도, 웨어러블 장치(100)는 반려동물을 촬영하는 카메라 모듈과, 관리서버(200) 및 사용자 단말(300)과 무선통신을 수행하기 위한 통신 모듈과, 사용자의 목소리를 재생하는 스피커 모듈과, 사용자 단말(300)로부터 전송되는 영상을 표시하는 디스플레이 모듈 등이 구비될 수 있다.
사용자 단말(300)은 반려동물의 보호자인 사용자가 휴대하는 장치로, 스마트폰(smartphone), 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
반려동물 관리서버(200)는 상기 웨어러블 장치 및 상기 반려동물의 주인이 소지한 사용자 단말과 통신하며, 상기 웨어러블 장치 및 상기 사용자 단말을 통해 반려동물과 사용자가 원격지에서도 교감할 수 있도록, 빅데이터 및 인공 신경망을 이용하여 반려동물의 현재상태를 추정하고, 추정된 결과에 기초하여 반려동물에게 필요한 서비스를 제공한다.
도 2를 참조하면, 반려동물 관리서버(200)는 데이터 수집부(210), 데이터 분석부(220) 및 교감부(230)를 포함한다.
데이터 수집부(210)는 반려동물에 대한 빅데이터를 수집한다.
여기서, 반려동물에 대한 빅데이터는 반려동물의 종, 연령, 성별, 환경, 사료 종류, 급식량, 활동 패턴, 촬영영상, 진료기록 등과 같이 반려동물에 대한 다양한 정보들을 포함할 수 있다.
데이터 수집부(210)는 웨어러블 장치(100) 뿐만 아니라 동물병원, 웹페이지 등 다양한 경로를 통해 이러한 반려동물에 대한 빅데이터를 수집할 수 있다.
데이터 분석부(220)는 빅데이터를 분석하여 반려동물의 행동, 감정 및 질병에 대한 상태정보를 생성한다.
이를 위해, 데이터 분석부(220)는 도 3에 도시된 바와 같이 감정 분석부(221) 및 건강 분석부(222)를 포함한다.
감정 분석부(221)는 상기 빅데이터를 분석하여 반려동물의 행동 패턴에 따른 감정정보를 생성한다.
구체적으로, 감정 분석부(221)는 상기 빅데이터에 포함된 정보들 중 반려동물의 모습이 촬영된 촬영영상을 영상 분석하여 반려동물의 자세정보를 분석하고, 분석된 자세정보에 기초하여 감정정보를 생성한다.
이를 위해, 감정 분석부(221)는 촬영영상으로부터 자세정보를 추정하기 위해, 반려동물의 귀 객체 및 꼬리객체를 추출한다. 일반적으로, 반려동물의 귀는 한 쌍이나, 양쪽 귀 중 어느 하나의 귀를 귀 객체로 설정한다. 영상으로부터 특정 객체를 검출하고, 검출된 객체의 형태를 구분하는 기술은 영상처리 기술 분야에서 이미 널리 알려진 기술이므로, 구체적인 설명은 생략하기로 한다.
감정 분석부(221)는 도 3에 도시된 바와 같이 검출된 꼬리객체를 3분할하여 상단 꼬리객체(t1), 중단 꼬리객체(t2) 및 하단 꼬리객체(t3)로 구분한다.
감정 분석부(221)는 도 4에 도시된 바와 같이 귀 객체(e), 상단 꼬리객체(t1), 중단 꼬리객체(t2) 및 하단 꼬리객체(t3)의 중심점을 추출하고, 귀 객체(e)의 중심점(P1)과 하단 꼬리객체(t3)의 중심점(P2)를 연결하는 제1 선분(L1), 하단 꼬리객체(t3)와 중단 꼬리객체(t2)를 연결하는 제2 선분(L2) 및 중단 꼬리객체(t2)와 상단 꼬리객체(t1)를 연결하는 제3 선분(L3)을 생성한다. 즉, 본 발명에서의 자세정보는 제1 선분(L1), 제2 선분(L2) 및 제3 선분(L3)으로 구성된다.
감정 분석부(221)는 자세정보로부터 감정정보를 추정하기 위해, 제1 선분(L1)의 크기와 방향을 나타내는 제1 특징벡터, 제2 선분(L2)의 크기와 방향을 나타내는 제2 특징벡터 및 제3 선분(L3)의 크기와 방향을 나타내는 제3 특징벡터를 생성하고, 생성된 세 개의 특징벡터를 미리 학습된 인공 신경망에 입력하여 인공 신경망의 출력값에 기초하여 촬영된 영상으로부터 반려동물의 감정정보를 추출할 수 있다.
여기서, 인공 신경망은 입력층, 은닉층 및 출력층으로 구성된 심층 신경망으로, 이러한 심층 신경망의 구조는 이미 널리 알려져 있으므로 구체적인 설명은 생략하기로 한다.
이후, 도 5 및 도 6에 도시된 바와 감정 분석부(221)는 현재 시점까지 소정 시간 간격마다 수집되는 촬영영상으로부터 누적 판단된 자세정보의 변화량에 기초하여 다음 주기에 수집될 촬영영상의 자세정보를 예측한다. 감정 분석부(221)는 빅데이터 분석을 통해 분석 대상인 반려동물과 동종 또는 유사종의 다른 반려동물에 대한 자세정보 변화 패턴을 분석하여 다음 주기에 수집될 촬영영상의 자세정보를 예측할 수 있다.
감정 분석부(221)는 현재까지 수집된 촬영영상에서 관측되는 반려동물의 자세정보를 기초로, 다음 번 수집될 것으로 예측되는 촬영영상에서의 자세정보를 추정하고, 다음 주기에 실제로 수집되는 촬영영상에서의 자세정보를 추정된 자세정보와 비교하여 두 자세정보 간의 유사도를 산출한다.
감정 분석부(221)는 상기 유사도가 미리 설정된 기준 유사도 이상인 것으로 판단되면, 예측된 자세정보에 대응되는 예측 감정정보를 생성하고, 상기 유사도가 상기 기준 유사도 미만인 것으로 판단되면, 새로운 행동패턴 예측을 위해 유사도가 기준 유사도 미만인 것으로 판단된 시점 이후에 수집되는 촬영영상을 분석하여 자세정보를 다시 모델링하는 것을 특징으로 한다.
건강 분석부(222)는 상기 빅데이터를 분석하여 반려동물의 건강상태를 나타내는 건강정보를 생성한다.
상기 건강 분석부는, 상기 예측 감정정보를 분석하여 반려동물이 치료가 요구되는 상태인 것으로 판단되면, 상기 빅데이터에 포함된 정보들 중 반려동물의 과거 진료기록 정보에 기초하여 반려동물의 질병을 추정하고, 추정된 질병을 치료하기 위한 동물병원을 검색하여 반려동물의 주인이 소지한 사용자 단말기로 전송하는 것을 특징으로 한다.
원격진료지원부(230)는 사용자 단말(300)이 건강 분석부에 의해 추천된 동물병원을 이용하기 위한 일련의 서비스를 제공할 수 있다. 특히, 원격진료지원부(230)는 사용자 단말(300)에 의해 선택(예약)된 동물병원을 이용하여 반려동물이 원격진료 서비스를 제공받도록 할 수 있다.
이를 위해, 원격진료지원부(230)는 사용자 단말(300)에 의해 선택된 동물병원에서 근무하는 의료인이 소지한 의료인 단말과 사용자 단말(300)의 영상통화 서비스를 제공한다.
이때, 원격진료지원부는 화상통화 과정에서 발생되는 영상을 분석하여 사용자 또는 의료인(수의사)이 가리키는 대상을 부각시켜 표시할 수 있다.
이를 위해, 원격진료지원부는 화상통화 과정에서 발생되는 사용자 단말로부터 수집되는 촬영영상을 분석하여, 촬영영상에 포함된 객체를 구분한다. 상술한 바와 같이, 영상 또는 이미지로부터 객체를 구분하는 기술은 이미 공지된 기술이므로, 구체적인 설명은 생략하기로 한다.
원격진료지원부는 사용자 단말로부터 수집되는 촬영영상에서, 반려동물로 구분된 객체를 핵심객체로 설정하고, 설정된 핵심객체가 화상통화 과정에서 사용자 단말 및 의료인 단말의 화면에 공통으로 표시되도록 한다.
이후, 원격진료지원부는 화상통화 과정에서 설정된 핵심객체에서 사용자가 지시하는 대상에 대한 정보를 화면에 부각시켜 표시할 수 있다. 예를 들어, 원격진료지원부는 사용자가 핵심객체에서 사용자 단말의 화면을 통해 터치한 지점을 하이라이트 처리를 한 영상을 의료인 단말로 제공하거나, 사용자가 가리키는 지점에 마커를 삽입한 영상을 의료인 단말로 제공할 수 있다. 따라서, 사용자는 화상통화 과정에서 반려동물의 어떤 신체부위에서 문제가 발생하였는지에 대한 정보를 즉각적으로 의료인에게 전달할 수 있다.
원격진료지원부는 핵심객체에 대한 3차원 가상객체를 생성한다. 원격진료지원부는 생성된 3차원 가상객체가 영상통화 과정에서 핵심객체의 일측에 함께 표시되도록 할 수 있다.
원격진료지원부는 의료인이 의료인 단말을 통해 3차원 가상객체를 조작하는 것으로 확인되면, 의료인 단말로부터 수신되는 3차원 가상객체에 대한 조작신호에 기초하여 영상통화 과정에서 공통 배경영상에 함께 표시되는 3차원 가상객체를 실시간으로 확대, 축소, 회전, 이동시킨다. 이에 따라, 사용자는 의료인이 어떤 반려동물의 어떤 신체부위를 어떻게 다루는지에 대한 정보를 실시간 변형되는 3차원 객체를 통해 제공받을 수 있어 원격진료라 하더라도 용이하게 의료정보를 제공할 수 있다.
교감부(240)는 상기 상태정보에 기초하여 현재 반려동물에게 요구되는 조언정보 또는 추천정보를 생성한다.
일 실시예에서, 교감부(240)는 상기 빅데이터에 포함된 정보들 중 반려동물의 생활환경이 촬영된 촬영영상을 영상 분석하여 장난감 객체를 추출하고, 추출된 장난감 객체에 대응되는 기준 이미지를 상기 장난감 객체와 비교하여 상기 장난감 객체에 대한 마모도를 산출하고, 산출된 마모도가 미리 설정된 기준값 이하인 것으로 판단되면 장난감 교체를 위한 알림 메시지를 생성할 수 있다.
일 실시예에서, 교감부(240)는 상기 감정정보에 대응되는 자연어를 멀티미디어 메시지 형태로 반려동물의 주인이 소지한 사용자 단말기에 전달하고, 반려동물과 사용자가 주고받는 메시지에 포함된 키워드를 추출하여 추출된 키워드에 대한 검색 결과를 제공하며, 사물인터넷을 이용하여 사용자 단말로부터 수신된 메시지에 대한 제어신호를 상기 반려동물 주변에 위치한 가정 내 전자기기로 전송할 수 있다.
이를 위해, 교감부(240)는 상기 생성부에서 생성된 캐릭터객체 및 자연어를 이용하여 상기 반려동물의 주인이 소지한 사용자 단말로 전송할 멀티미디어 메시지를 생성한다.
교감부(240)는 반려동물을 캐릭터화한 캐릭터객체를 생성하고, 생성된 캐릭터객체가 현재 시점에서 촬영된 자세정보에 대응되는 포즈를 갖도록 변형시킬 수 있다.
또한, 교감부(240)는 생성된 대화형 메시지를 사용자 단말(300)에 미리 설치되는 챗봇 애플리케이션을 통해 전송할 수 있다.
이때, 교감부(240)는 대화형 메시지를 구성하는 자연어 중 핵심 키워드를 추출하고, 추출된 핵심 키워드를 해시태그로 자동 구성하여 대화형 메시지와 함께 표시하는 것을 특징으로 한다. 이에 따라, 사용자는 해시태그를 클릭하거나 선택하게 되면 대화형 메시지에 대응되는 추천 상호작용에 대한 정보를 자동으로 제공받을 수 있다.
예컨대, 사용자가 #심심이라는 태그를 선택하는 경우, 반려동물이 심심하다고 느끼는 원인에 대한 정보가 기록된 웹페이지화면이 나타날 수 있으며, #놀이라는 태그를 선택하는 경우 원격지에서 반려동물과 놀아줄 수 있는 다양한 제시안들이 표시될 수 있다.
더욱 구체적으로, 사용자는 #놀이를 선택했을 때 출력되는 복수의 콘텐츠 중 TV 틀어주기라는 항목을 선택하게 되는 경우, 교감부(240)는 TV 전원을 ON 시키는 제어신호를 생성할 수 있다. 이후, 관리서버(200)는 생성된 제어신호를 반려동물이 착용한 웨어러블 장치(100)로 전송하며, 웨어러블 장치(100)는 수신된 제어신호를 방사하여 가정 내의 TV가 이를 수신하게 되면 TV의 전원이 켜지게 되어 반려동물의 흥미를 유발시킬 수 있다. 이와 같은 방법으로, 관리서버(200)는 반려동물의 감정상태에 대응되는 상호작용을 홈 네트워크를 구축하는 사물인터넷을 이용하여 원격에서도 제공할 수 있도록 한다.
이와 같은, 빅데이터 학습을 통한 반려동물 판단예측 시스템을 제공하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 웨어러블 장치
200: 관리서버
300: 사용자 단말

Claims (5)

  1. 반려동물에 대한 빅데이터를 수집하는 데이터 수집부;
    상기 빅데이터를 분석하여 반려동물의 행동, 감정 및 질병에 대한 상태정보를 생성하는 데이터 분석부; 및
    상기 상태정보에 기초하여 현재 반려동물에게 요구되는 조언정보 또는 추천정보를 생성하는 교감부를 포함하는, 빅데이터 학습을 통한 반려동물 판단예측 시스템에 있어서,
    상기 데이터 분석부는,
    상기 빅데이터를 분석하여 반려동물의 행동 패턴에 따른 감정정보를 생성하는 감정 분석부; 및
    상기 빅데이터를 분석하여 반려동물의 건강상태를 나타내는 건강정보를 생성하는 건강 분석부를 포함하고,
    상기 감정 분석부는,
    상기 빅데이터에 포함된 정보들 중 반려동물의 모습이 촬영된 촬영영상으로부터 자세정보를 추정하기 위해, 반려동물의 귀 객체 및 꼬리객체를 추출하고, 추출된 꼬리객체를 상단 꼬리객체, 중단 꼬리객체 및 하단 꼬리객체로 3분할하고, 상기 귀 객체, 상기 상단 꼬리객체, 상기 중단 꼬리객체 및 상기 하단 꼬리객체의 중심점을 각각 추출하고, 귀 객체의 중심점과 하단 꼬리객체의 중심점를 연결하는 제1 선분, 하단 꼬리객체와 중단 꼬리객체를 연결하는 제2 선분 및 중단 꼬리객체와 상단 꼬리객체를 연결하는 제3 선분을 생성하여, 상기 제1 선분, 상기 제2 선분 및 상기 제3 선분으로 구성된 자세정보를 생성하고, 상기 제1 선분의 크기와 방향을 나타내는 제1 특징벡터, 상기 제2 선분의 크기와 방향을 나타내는 제2 특징벡터 및 상기 제3 선분의 크기와 방향을 나타내는 제3 특징벡터를 생성하고, 상기 제1 특징벡터, 상기 제2 특징벡터 및 상기 제3 특징벡터를 미리 학습된 인공 신경망에 입력하여 인공 신경망의 출력값에 기초하여 촬영된 영상으로부터 반려동물의 감정정보를 추출하고, 현재 시점까지 소정 시간 간격마다 수집되는 촬영영상으로부터 누적 판단된 자세정보의 변화량에 기초하여 다음 주기에 수집될 촬영영상의 자세정보를 예측하고, 다음 주기에 실제로 수집되는 촬영영상에서의 자세정보를 추정된 자세정보와 비교하여 두 자세정보 간의 유사도를 산출하여 상기 유사도가 미리 설정된 기준 유사도 이상인 것으로 판단되면, 예측된 자세정보에 대응되는 예측 감정정보를 생성하고,
    상기 빅데이터 학습을 통한 반려동물 판단예측 시스템은,
    동물병원에서 근무하는 의료인이 소지한 의료인 단말과 사용자 단말기 간 화상통화 서비스를 제공하는 원격진료지원부를 더 포함하고,
    상기 원격진료지원부는,
    화상통화 과정에서 발생되는 사용자 단말로부터 수집되는 촬영영상을 분석하고, 촬영영상에 포함된 객체를 구분하여 반려동물로 구분된 객체를 핵심객체로 설정하고, 설정된 핵심객체가 화상통화 과정에서 사용자 단말 및 의료인 단말의 화면에 공통으로 표시되도록 하고,
    사용자 단말의 화면을 통해 터치한 핵심객체의 특정 지점을 하이라이트 처리한 영상을 의료인 단말로 제공하거나, 사용자가 가리키는 지점에 마커를 삽입한 영상을 의료인 단말로 제공하고,
    핵심객체에 대한 3차원 가상객체를 생성하여, 생성된 3차원 3가상객체가 핵심객체의 일측에 함께 표시되도록 제어하되,
    의료인이 의료인 단말을 통해 3차원 가상객체를 조작하는 것으로 확인되면, 의료인 단말로부터 수신되는 3차원 가상객체에 대한 조작신호에 기초하여 영상통화 과정에서 공통 배경영상에 함께 표시되는 3차원 가상객체를 실시간으로 확대, 축소, 회전, 이동시키는 것을 특징으로 하는, 빅데이터 학습을 통한 반려동물 판단예측 시스템.
  2. 제1항에 있어서,
    상기 빅데이터는,
    반려동물의 종, 연령, 성별, 환경, 사료 종류, 급식량, 활동 패턴, 촬영영상 및 진료기록 중 적어도 하나를 포함하는, 빅데이터 학습을 통한 반려동물 판단예측 시스템.
  3. 제1항에 있어서,
    상기 인공 신경망은,
    입력층, 은닉층 및 출력층으로 구성된 심층 신경망인 것을 특징으로 하는, 빅데이터 학습을 통한 반려동물 판단예측 시스템.
  4. 제1항에 있어서,
    상기 감정 분석부는,
    상기 유사도가 상기 기준 유사도 미만인 것으로 판단되면, 새로운 행동패턴 예측을 위해 유사도가 기준 유사도 미만인 것으로 판단된 시점 이후에 수집되는 촬영영상을 분석하여 자세정보를 다시 모델링하는 것을 특징으로 하는, 빅데이터 학습을 통한 반려동물 판단예측 시스템.
  5. 제1항에 있어서,
    상기 건강 분석부는,
    상기 감정정보를 분석하여 반려동물이 치료가 요구되는 상태인 것으로 판단되면, 상기 빅데이터에 포함된 정보들 중 반려동물의 과거 진료기록 정보에 기초하여 반려동물의 질병을 추정하고, 추정된 질병을 치료하기 위한 동물병원을 검색하여 반려동물의 주인이 소지한 사용자 단말기로 전송하는 것을 특징으로 하는, 빅데이터 학습을 통한 반려동물 판단예측 시스템.
KR1020220023565A 2021-09-01 2022-02-23 빅데이터 학습을 통한 반려동물 판단예측 시스템 KR102457230B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210116085 2021-09-01
KR1020210116085 2021-09-01

Publications (1)

Publication Number Publication Date
KR102457230B1 true KR102457230B1 (ko) 2022-10-24

Family

ID=83805811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220023565A KR102457230B1 (ko) 2021-09-01 2022-02-23 빅데이터 학습을 통한 반려동물 판단예측 시스템

Country Status (1)

Country Link
KR (1) KR102457230B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190061423A (ko) * 2017-11-28 2019-06-05 지봉근 반려동물 관리 시스템
KR20200071837A (ko) 2018-12-03 2020-06-22 정진해 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법
KR102179104B1 (ko) 2019-11-12 2020-11-16 주식회사 씨앤디랩 빅데이터 기반의 반려동물 맞춤형 서비스 정보 제공 시스템
KR20210001199A (ko) * 2019-06-27 2021-01-06 김성훈 빅데이터를 이용한 반려동물 건강관리 서비스방법
KR102255520B1 (ko) * 2020-11-27 2021-05-25 임수진 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템
KR102270637B1 (ko) * 2020-02-11 2021-06-29 한국기술교육대학교 산학협력단 보호자와의 상호작용에 기반한 반려동물 행동 분석 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190061423A (ko) * 2017-11-28 2019-06-05 지봉근 반려동물 관리 시스템
KR20200071837A (ko) 2018-12-03 2020-06-22 정진해 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법
KR20210001199A (ko) * 2019-06-27 2021-01-06 김성훈 빅데이터를 이용한 반려동물 건강관리 서비스방법
KR102179104B1 (ko) 2019-11-12 2020-11-16 주식회사 씨앤디랩 빅데이터 기반의 반려동물 맞춤형 서비스 정보 제공 시스템
KR102270637B1 (ko) * 2020-02-11 2021-06-29 한국기술교육대학교 산학협력단 보호자와의 상호작용에 기반한 반려동물 행동 분석 방법
KR102255520B1 (ko) * 2020-11-27 2021-05-25 임수진 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템

Similar Documents

Publication Publication Date Title
US11908245B2 (en) Monitoring and analyzing body language with machine learning, using artificial intelligence systems for improving interaction between humans, and humans and robots
KR102022893B1 (ko) 반려동물 케어 방법 및 이를 이용하는 시스템
CN109074117B (zh) 提供基于情绪的认知助理系统、方法及计算器可读取媒体
CN104850846B (zh) 一种基于深度神经网络的人体行为识别方法及识别系统
US20170095192A1 (en) Mental state analysis using web servers
US20170011258A1 (en) Image analysis in support of robotic manipulation
US20200342979A1 (en) Distributed analysis for cognitive state metrics
US20180285528A1 (en) Sensor assisted mental health therapy
CN109475294A (zh) 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
KR102255520B1 (ko) 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템
US20190108191A1 (en) Affective response-based recommendation of a repeated experience
Ogawa et al. Favorite video classification based on multimodal bidirectional LSTM
US11430561B2 (en) Remote computing analysis for cognitive state data metrics
CN105264560A (zh) 基于社交图谱的推荐系统、设备和方法
US11327320B2 (en) Electronic device and method of controlling the same
EP3819851A1 (en) Electronic device and method for controlling same
KR101562247B1 (ko) 라이프 스타일 분석 시스템 및 방법
US20190008466A1 (en) Life log utilization system, life log utilization method, and recording medium
Mansoor et al. A machine learning approach for non-invasive fall detection using Kinect
KR20150000590A (ko) 라이프스타일 데이터 관리 시스템 및 방법
JP2019020882A (ja) ライフログ活用システム、方法及びプログラム
Eldib et al. Discovering activity patterns in office environment using a network of low-resolution visual sensors
KR102457230B1 (ko) 빅데이터 학습을 통한 반려동물 판단예측 시스템
WO2020222157A1 (en) Method and system for tracking, analyzing and reacting to user behaviour in digital and physical spaces
KR20170080551A (ko) 라이프스타일 데이터 관리 시스템 및 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant