KR102255520B1 - 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템 - Google Patents

빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템 Download PDF

Info

Publication number
KR102255520B1
KR102255520B1 KR1020200163369A KR20200163369A KR102255520B1 KR 102255520 B1 KR102255520 B1 KR 102255520B1 KR 1020200163369 A KR1020200163369 A KR 1020200163369A KR 20200163369 A KR20200163369 A KR 20200163369A KR 102255520 B1 KR102255520 B1 KR 102255520B1
Authority
KR
South Korea
Prior art keywords
companion animal
information
natural language
user terminal
user
Prior art date
Application number
KR1020200163369A
Other languages
English (en)
Inventor
임수진
Original Assignee
임수진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임수진 filed Critical 임수진
Priority to KR1020200163369A priority Critical patent/KR102255520B1/ko
Application granted granted Critical
Publication of KR102255520B1 publication Critical patent/KR102255520B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K15/00Devices for taming animals, e.g. nose-rings or hobbles; Devices for overturning animals in general; Training or exercising equipment; Covering boxes
    • A01K15/02Training or exercising equipment, e.g. mazes or labyrinths for animals ; Electric shock devices ; Toys specially adapted for animals
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00Other apparatus for animal husbandry
    • A01K29/005Monitoring or measuring activity, e.g. detecting heat or mating
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30Transportation; Communications
    • G06Q50/40
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Abstract

본 발명은 반려동물에 부착되어 상기 반려동물의 생체정보와, 상기 반려동물 주변의 환경정보를 수집하는 웨어러블 장치; 및 상기 웨어러블 장치 및 상기 반려동물의 주인이 소지한 사용자 단말과 통신하며, 상기 웨어러블 장치 및 상기 사용자 단말을 통해 반려동물과 사용자가 원격지에서도 교감할 수 있도록, 수집되는 반려동물 관련 빅데이터를 기초로 감정패턴 데이터인 감정정보를 생성하고, 상기 감정정보에 대응되는 자연어를 멀티미디어 메시지 형태로 상기 사용자 단말기에 전달하고, 반려동물과 사용자가 주고받는 메시지에 포함된 키워드를 추출하여 추출된 키워드에 대한 검색 결과를 제공하며, 사물인터넷을 이용하여 상기 사용자 단말로부터 수신된 메시지에 대한 제어신호를 상기 반려동물 주변에 위치한 개정 내 전자기기로 전송하는 관리서버를 포함하는, 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템에 관한 것이다.

Description

빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템 {Companion animal communication device and system through artificial intelligence natural language message delivery based on big data analysis}
본 발명은 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템에 관한 것으로, 반려동물을 캐릭터화 하여, 빅데이터 수집과 분석과 실시간 외부정보와 반려동물에 장착된 감정선 체크 장치를 통해 새로운 감정선을 구성하여 인공지능을 통해 패턴형 자연어로 조합하여 채팅봇을 통해 대화로 반려동물과 교감할 수 있는 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템에 관한 것이다.
1인가구 증가와 저출산, 고령화에 따라, 반려동물을 키우는 가정이 매년 증가하고 있으며, 반려동물 1,500만 시대가 도래하고 있다.
그리고, 과거에는 반려동물이 사람들의 즐거움 또는 필요에 의한 수단이었다면, 현재는 반려동물이 친구 또는 가족의 일원으로 인식이 많이 바뀌고 있는 추세이다. 따라서, 최근 들어 반려동물의 건강에 관심을 갖는 사람들이 많이 늘고 있다.
반려동물이 가족의 일원이 되었지만, 말을 하지 못하기 때문에 직접적은 소통은 어려우며, 반려동물이 아프더라 도 그 증상을 쉽게 알아차리기가 힘들어 많은 불편함을 갖고 있다. 또한, 반려동물의 감정 또는 건강상태를 알 수 없어 답답한 사용자가 늘고 있다.
최근 웨어러블 업계에서 반려동물을 위한 펫 웨어러블(Pet Wearable)의 존재감이 점차 부각되고 있으며, 미국 샌프란시스코에 위치한 휘슬 랩(Whistle Lab)은 애완견을 위한 활동 추적 단말기인 '휘슬 활동 모니터(Whistle Activity Monitor, 이하 휘슬)'를 제작해 판매하고 있다.
그러나, 반려동물의 심박, 체온, 움직임, 위치정보 등의 정보를 웨어러블 센서를 통해 실시간으로 수집하고, 이를 융,복합 빅데이터 방법론에 의해 빅데이터 의사결정 시스템을 제공함으로 반려동물과 사람과의 더 깊고 의미 있는 교감이 가능한 빅데이터 인텔리전스 정보 기술을 제공하도록 하기 위한 시스템을 구현하여 애완동물을 관리하지 못하고 있다. 또한 경제적 부담은 물론, 공동 생활환경에서의 사회적 문제를 해결하기 위한 방안으로 부각되고 있다.
즉, 종래 반려동물과의 교감 시스템은 단순히 반려동물의 신체 상태 정보, 활동량 또는 식사량 등만이 반려동물 주인에게 일방적으로 제공하는 것에 그치는 문제가 발생하였고, 또한 반려동물 주인은 반려동물과 계속적으로 함께하지 않는 이상 반려동물의 감정 상태를 쉽게 파악할 수 없는 문제가 발생하였다.
한편, 전술한 배경 기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
한국공개특허 제10-2020-0071837호 한국공개특허 제10-2019-0125668호
본 발명의 일측면은 반려동물의 감정을 빅데이터 시스템을 통해 제공하는 것이 아닌, 실제 반려동물의 감정을 파악하여 전달하여 실제 소통 환경을 제공하는 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템을 제공한다.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템은, 반려동물에 부착되어 상기 반려동물의 생체정보와, 상기 반려동물 주변의 환경정보를 수집하는 웨어러블 장치; 및 상기 웨어러블 장치 및 상기 반려동물의 주인이 소지한 사용자 단말과 통신하며, 상기 웨어러블 장치 및 상기 사용자 단말을 통해 반려동물과 사용자가 원격지에서도 교감할 수 있도록, 수집되는 반려동물 관련 빅데이터를 기초로 감정패턴 데이터인 감정정보를 생성하고, 상기 감정정보에 대응되는 자연어를 멀티미디어 메시지 형태로 상기 사용자 단말기에 전달하고, 반려동물과 사용자가 주고받는 메시지에 포함된 키워드를 추출하여 추출된 키워드에 대한 검색 결과를 제공하며, 사물인터넷을 이용하여 상기 사용자 단말로부터 수신된 메시지에 대한 제어신호를 상기 반려동물 주변에 위치한 개정 내 전자기기로 전송하는 관리서버를 포함한다.
상기 관리서버는,
상기 생체정보, 상기 환경정보, 상기 생체정보에 대한 반려동물 행동분석 정보 및 상기 반려동물에 대한 의료정보를 수집하는 수집부;
상기 수집부로 수집된 각각의 정보에 가중치를 부여하고, 가중치가 부여된 상기 생체정보, 상기 환경정보, 상기 반려동물 행동분석정보 및 상기 의료정보에 기초하여 상기 반려동물에 대한 감정정보를 생성하는 분석부; 및
상기 반려동물에 대한 캐릭터객체를 생성하고, 인공 신경망을 이용하여 상기 감정정보로부터 자연어를 생성하는 생성부; 및
상기 생성부에서 생성된 캐릭터객체 및 자연어를 이용하여 상기 반려동물의 주인이 소지한 사용자 단말로 전송할 멀티미디어 메시지를 생성하는 구현부를 포함하고,
상기 분석부는,
상기 생체정보를 미리 저장된 생체정보-감정 테이블과 비교하여 상기 생체정보에 대한 기본 감정정보를 생성하고, 상기 환경정보, 상기 반려동물 행동분석정보 및 상기 의료정보에 기초하여 상기 기본 감정정보에 대한 분석정보를 생성하고,
상기 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템은, 상기 반려동물의 생활반경 내에 설치되어 상기 반려동물을 촬영하는 촬영장치를 더 포함하고,
상기 생성부는,
상기 촬영장치로부터 수신되는 촬영영상을 분석하여, n번째 프레임에서 관측되는 반려동물의 자세정보 및 상기 기본 감정정보를 기초로, n+1번째 프레임에서의 자세정보를 추정하고, n+1번째 프레임에서의 추정된 자세정보, n번째 프레임에서 관측되는 반려동물의 자세정보를 기 학습된 인공 신경망의 입력값으로 입력하여 상기 반려동물의 실제 감정정보를 추정하는 감정정보 추정 단계를 수행하고,
상기 감정정보 추정 단계를 프레임마다 반복 수행하여 복수의 실제 감정정보를 생성하고, 생성된 복수의 실제 감정정보 각각에 대응되는 자연어를 생성하여 생성된 복수의 자연어를 기초로 상기 사용자 단말로 전송할 메시지를 생성하되,
상기 실제 감정정보를 이용하여 상기 인공 신경망의 예측 노드와 숨겨진 계층 간의 가중치를 학습하고, 학습 결과에 따라 예측 노드와 숨겨진 계층 간의 가중치를 제외한 나머지 가중치를 재조정하여 누락된 자연어를 생성하여 상기 사용자 단말로 전송할 메시지를 생성하는 것을 특징으로 한다.
상술한 본 발명의 일측면에 따르면, 반려동물의 감정을 직접 센서 분석을 통해 파악하고, 반려동물의 감정과 실시간 외부정보를 조합하여 인물 캐릭터화하여 자연어 대화를 구현하여 반려동물 주인에게 전달 가능한 효과를 얻을 수 있고, 그 결과, 반려동물 주인은 인물 캐릭터화된 반려동물의 자연어 메세지 전달을 통해, 반려동물과 산책, 놀이, 먹이주기 등과 같은 대응을 통한 교감을 실현시킬 수 있고, 사용자의 대응 및 교감 정도에 따라 반려동물의 인물 캐릭터가 성장하여, 사용자와 반려동물과의 친밀도를 높일 수 있다.
또한, 사용자 모바일 기기의 앱 내에 설치되어 대화형식으로 소통하므로, 실제 대화를 하고 있다는 느낌을 받을 수 있고, 언제 어디서나 반려동물과 교감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템의 개략적인 구성이 도시된 도면이다.
도 2는 도 1의 관리서버의 구체적인 구성이 도시된 도면이다.
도 3은 메시지 생성의 구체적인 과정이 도시된 도면이다.
도 4는 사용자 단말에 표시되는 멀티미디어 메시지의 일 예가 도시된 도면이다.
도 5는 사물인터넷을 이용하여 반려동물과 교감하는 일 예가 도시된 도면이다.
도 6은 본 발명의 다른 실시예에 따른 관리서버의 구성이 도시된 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템의 개략적인 구성이 도시된 개념도이다.
본 발명에 따른 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템(1000)은 반려동물에 부착된 웨어러블 장치 및 반려동물의 주인이 소지한 사용자 단말을 통해 반려동물과 사용자가 원격지에서도 교감할 수 있도록, 인공 신경망을 이용하여 반려동물의 감정상태를 메시지 형태로 상기 사용자 단말로 전달한다.
구체적으로, 본 발명의 일 실시예에 따른 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템은, 웨어러블 장치(100), 관리서버(200) 및 사용자 단말(300)을 포함한다.
웨어러블 장치(100) 반려동물에 장착되어 반려동물에 대한 생체정보와, 반려동물이 생활하는 생활환경에 대한 환경정보를 센싱한다. 이를 위해, 웨어러블 장치(100)는 반려동물의 심박수, 체온, 맥박 등과 같은 바이오 신호를 센싱하는 바이오 센서와, 반려동물의 소리를 감지할 수 있는 마이크 모듈을 포함할 수 있다. 이 외에도, 웨어러블 장치(100)는 반려동물을 촬영하는 카메라 모듈과, 관리서버(200) 및 사용자 단말(300)과 무선통신을 수행하기 위한 통신 모듈과, 사용자의 목소리를 재생하는 스피커 모듈과, 사용자 단말(300)로부터 전송되는 영상을 표시하는 디스플레이 모듈 등이 구비될 수 있다.
사용자 단말(300)은 반려동물의 보호자인 사용자가 휴대하는 장치로, 스마트폰(smartphone), 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
관리서버(200)는 상기 웨어러블 장치 및 상기 반려동물의 주인이 소지한 사용자 단말과 통신하며, 상기 웨어러블 장치 및 상기 사용자 단말을 통해 반려동물과 사용자가 원격지에서도 교감할 수 있도록, 인공 신경망을 이용하여 반려동물의 감정상태를 메시지 형태로 상기 사용자 단말로 전달하고, 사물인터넷을 이용하여 메시지에 대한 제어신호를 가정 내 전자기기로 전송한다.
도 2를 참조하면, 관리서버(200)는 수집부(210), 분석부(220), 생성부(230) 및 구현부(240)를 포함한다.
수집부(210)는 상기 생체정보, 상기 환경정보, 상기 생체정보에 대한 반려동물 행동분석 정보 및 상기 반려동물에 대한 의료정보를 수집한다.
분석부(220)는 상기 수집부로 수집된 각각의 정보에 가중치를 부여하고, 가중치가 부여된 상기 생체정보, 상기 환경정보, 상기 반려동물 행동분석정보 및 상기 의료정보에 기초하여 상기 반려동물에 대한 감정정보를 생성한다.
구체적으로, 분석부(220)는 상기 생체정보를 미리 저장된 생체정보-감정 테이블과 비교하여 상기 생체정보에 대한 기본 감정정보를 생성하고, 상기 환경정보, 상기 반려동물 행동분석정보 및 상기 의료정보에 기초하여 상기 기본 감정정보에 대한 분석정보를 생성한다.
생성부(230)는 상기 반려동물에 대한 캐릭터객체를 생성하고, 인공 신경망을 이용하여 상기 감정정보로부터 자연어를 생성한다.
이를 위해, 본 발명에 따른 상기 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템(1000)은 촬영장치를 더 포함한다.
촬영장치는 카메라, CCTV 등과 같은 장치로, 반려동물이 생활하는 생활반경 내에 설치되어 상기 반려동물을 촬영하여 촬영영상을 생성하고, 이를 관리서버(200)로 실시간 전송할 수 있다.
이때, 상기 생성부(230)는, 상기 촬영장치로부터 수신되는 촬영영상을 분석하여 특정 프레임에서의 반려동물의 자세정보를 추정한다. 즉, 생성부(230)는 촬영영상을 분석하여 현재 반려동물이 어떤 자세를 취하고 있는지(웅크리고 있는지, 기지개를 펴고 있는지 등)에 대한 정보를 매 프레임별로 분석할 수 있다. 영상으로부터 특정 객체를 검출하고, 검출된 객체의 형태를 구분하는 기술은 영상처리 기술 분야에서 이미 널리 알려진 기술이므로, 구체적인 설명은 생략하기로 한다.
한편, 생성부(230)는 특정 프레임(n번째 프레임)에서 관측되는 반려동물의 자세정보 및 상기 기본 감정정보를 기초로, 다음 프레임(n+1번째 프레임)에서의 자세정보를 추정하고, n+1번째 프레임에서의 추정된 자세정보, n번째 프레임에서 관측되는 반려동물의 자세정보를 기 학습된 인공 신경망의 입력값으로 입력하여 상기 반려동물의 실제 감정정보를 추정하는 감정정보 추정 단계를 수행할 수 있다.
생성부(230)는 전처리된 정보를 바탕으로 회귀 신경망을 통해 지속적으로 행동을 인식한다. 구체적으로, 검출된 n번째 프레임에서의 자세 정보 및 n번째 프레임에 대응되는 생체정보를 기초로 생성되는 기본 감정정보를 미리 학습된 회귀 신경망을 통해 모델링하여, 행동 인식이 가능하도록 인식 전용 노드를 지정한다. 생성부(230)는, 실시간 처리 단계 및 시험 단계에서 주어진 입력에 대응하여 출력되는 인식 전용 노드를 학습할 때, 반려동물의 특정 행동 벡터들과 비교하여 가장 가까운 행동(자세)을 추출한다.
생성부(230)는 전처리된 정보를 바탕으로 지속적으로 관련 감정 후보군들을 도출한다. 구체적으로, n번째 프레임에서의 기본 감정정보 및 자세 정보를 자가 부호화망을 통해 객체 관계를 모델링하여, 자가 부호화 결과인 실제 감정정보를 출력한다.
이후, 생성부(230)는 도 3에 도시된 바와 같이 상술한 감정정보 추정 단계를 프레임마다 반복 수행하여 복수의 실제 감정정보를 생성하고, 생성된 복수의 실제 감정정보 각각에 대응되는 자연어를 생성하여 생성된 복수의 자연어를 기초로 상기 사용자 단말로 전송할 메시지를 생성한다.
이때, 생성부(230)는 상기 실제 감정정보를 이용하여 상기 인공 신경망의 예측 노드와 숨겨진 계층 간의 가중치를 학습하고, 학습 결과에 따라 예측 노드와 숨겨진 계층 간의 가중치를 제외한 나머지 가중치를 재조정하여 누락된 자연어를 생성하여 상기 사용자 단말로 전송할 메시지를 생성하는 것을 특징으로 한다.
구현부(240)는 상기 생성부에서 생성된 캐릭터객체 및 자연어를 이용하여 상기 반려동물의 주인이 소지한 사용자 단말로 전송할 멀티미디어 메시지를 생성한다.
도 4는 구현부(240)에서 생성된 멀티미디어 메시지의 일 예가 도시된 도면이다. 도시된 바와 같이, 구현부(240)는 반려동물을 캐릭터화한 캐릭터객체(C)를 생성하고, 생성된 캐릭터객체(C)가 현재 시점에서 촬영된 자세정보에 대응되는 포즈를 갖도록 변형시킬 수 있다.
또한, 구현부(240)는 생성부(230)에 의해 생성된 대화형 메시지(M)를 사용자 단말(300)에 미리 설치되는 챗봇 애플리케이션을 통해 전송할 수 있다.
이때, 구현부(240)는 대화형 메시지(M)를 구성하는 자연어 중 핵심 키워드를 추출하고, 추출된 핵심 키워드를 해시태그로 자동 구성하여 대화형 메시지(M)와 함께 표시하는 것을 특징으로 한다. 이에 따라, 사용자는 해시태그를 클릭하거나 선택하게 되면 대화형 메시지(M)에 대응되는 추천 상호작용에 대한 정보를 자동으로 제공받을 수 있다.
예컨대, 사용자가 #심심이라는 태그를 선택하는 경우, 반려동물이 심심하다고 느끼는 원인에 대한 정보가 기록된 웹페이지화면이 나타날 수 있으며, #놀이라는 태그를 선택하는 경우 원격지에서 반려동물과 놀아줄 수 있는 다양한 제시안들이 표시될 수 있다.
더욱 구체적으로, 사용자는 #놀이를 선택했을 때 출력되는 복수의 콘텐츠 중 TV 틀어주기라는 항목을 선택하게 되는 경우, 구현부(240)는 TV 전원을 ON 시키는 제어신호를 생성할 수 있다. 이후, 관리서버(200)는 생성된 제어신호를 반려동물이 착용한 웨어러블 장치(100)로 전송하며, 웨어러블 장치(100)는 수신된 제어신호를 방사하여 가정 내의 TV가 이를 수신하게 되면 TV의 전원이 켜지게 되어 반려동물의 흥미를 유발시킬 수 있다. 이와 같은 방법으로, 관리서버(200)는 반려동물의 감정상태에 대응되는 상호작용을 홈 네트워크를 구축하는 사물인터넷을 이용하여 원격에서도 제공할 수 있도록 한다.
몇몇 다른 실시예에서, 본 발명에 따른 사용자 단말(200)은 영상통화 과정에서 수집되는 촬영영상을 기초로 상호교감을 위한 미션을 생성할 수 있으며, 또한 촬영영상을 분석하여 반려동물이 선호하는 장난감 및 그 장난감의 마모도를 자동을 분석하여 사용자에게 그에 따른 정보를 제공할 수 있다. 이와 관련하여, 도 2를 함께 참조하여 설명하기로 한다.
구체적으로, 본 발명의 다른 실시예에 따른 관리서버(200a)는, 도 2에 도시된 본 발명의 일 실시예에 따른 관리서버(200)의 구성에서 영상통화 수행부(250), 상호교감부(260) 및 선호도분석부(270)를 더 포함하는 것을 특징으로 한다.
영상통화 수행부(250)는 반려동물의 생활반경에 배치된 단말인 반려동물과 단말(100)과 영상 통화를 수행할 수 있다. 영상통화 수행부(250)는 영상통화 과정에서 생성되는 촬영영상을 누적 수집할 수 있다. 영상통화 수행부(250)는 반려동물 단말(100)로부터 전송되는 반려동물측 영상과 사용자 단말(200)에서 촬영되는 사용자측 영상을 구분하여 관리할 수 있다.
상호교감부(260)는 영상통화 수행부(250)에 의해 누적 수집되는 촬영영상을 기초로 사용자와 반려동물의 교감을 위한 미션정보를 생성하여 표시할 수 있다.
이를 위해, 상호교감부(260)는 반려동물이 선호하는 사용자의 자세정보를 추출할 수 있다. 즉, 상호교감부(260)는 사용자가 어떠한 포즈를 취했을 때 반려동물이 좋아하는지를 분석하여, 다음 영상통화 때 사용자가 동일한 포즈를 취하도록 하여 원격지에서도 반려동물과 사용자의 교감이 형성되도록 유도할 수 있다.
구체적으로, 상호교감부(260)는 반려동물측 촬영영상 반려동물에 대응되는 영역을 추출하고, 추출된 영역을 분석하여 상기 반려동물의 표정을 판단할 수 있다. 상호교감부(260)는 기 공지된 다양한 영상분석 및 표정분석 알고리즘을 이용하여 촬영영상에 포함된 반려동물의 기분을 추정할 수 있다.
이 과정에서, 상호교감부(260)는 반려동물의 표정이 기쁨인 것으로 판단되는 시점에서 관리서버(200)를 이용 중인 사용자를 촬영하여 상기 반려동물이 선호하는 사용자의 자세정보를 추출할 수 있다. 예컨대, 상호교감부(260)는 반려동물측 촬영영상을 분석하여 반려동물이 행복하다고 느끼는 시점에서의 사용자측 촬영영상을 분석하여 해당 시점에 사용자가 하이파이브 포즈를 취한 것으로 판단되면, 하이파이브 포즈를 자세정보로 추출할 수 있다.
이후, 상호교감부(260)는 추출된 상기 자세정보에 대응되는 미션정보를 생성할 수 있다. 이와 관련하여, 도 3을 함께 참조하여 설명하기로 한다.
도 3은 상호교감부(260)에서 미션정보를 생성하는 구체적인 일 예가 도시된 도면이다.
구체적으로, 상호교감부(260)는 상기 자세정보의 외곽선 형상에 대응되는 상기 UI객체를 생성할 수 있다. 상술한 예시에서, 상호교감부(260)는 하이파이브 포즈인 사용자의 손바닥의 외곽선 형상에 대응되는 UI객체(A)를 생성할 수 있다. 하지만, UI객체의 종류는 상술한 예시에 한정되는 것은 아니며 추정된 사용자의 자세정보에 따라 다양한 형태로 생성될 수 있다.
상호교감부(260)는 영상통화 과정에서 사용자의 화면영역에 UI객체(A)를 배치하여 상호교감과 관련된 미션정보를 생성할 수 있다.
이후, 상호교감부(260)는 영상통화 과정에서 촬영되는 사용자 측의 촬영영상을 기초로 상기 미션정보의 달성여부를 판단할 수 있다. 상호교감부(260)는 사용자측 촬영영상으로부터 손바닥 객체를 추출하고, 손바닥 객체가 UI객체(A)가 배치된 영역 상에 형성되어있는지 여부를 판단할 수 있다. 상호교감부(260)는 UI객체(A) 상에 손바닥 객체가 소정 비율 이상 위치한 것으로 확인되면 미션을 달성한 것으로 판단하여 소정의 리워드를 지급할 수 있다.
선호도분석부(270)는 반려동물측 촬영영상을 기초로 상기 생활반경 내에 배치된 장난감의 마모도를 판단하여 알림 메시지를 생성할 수 있다.
상기 선호도분석부(270)는, 상기 촬영영상으로부터 적어도 하나의 장난감 객체를 추출할 수 있다. 예컨대, 선호도분석부(270)는 기 구축된 영상분석 알고리즘을 통해 반려동물측 촬영영상의 복수의 영역으로 레이블링하고, 각각의 레이블링된 영역이 어떠한 객체에 해당되는지를 판단할 수 있다.
선호도분석부(270)는 기 저장된 서로 다른 종류의 복수의 장난감 이미지와 비교하여 반려동물측 촬영영상으로부터 추출된 상기 장난감 객체의 종류를 구분할 수 있다. 구체적으로, 선호도분석부(270)는 사용자로부터 미리 입력된 반려동물의 장난감 이미지를 수집하고, 이를 추출된 장난감 객체와 비교하여 사용자가 반려동물에게 지급한 장난감 중 촬영영상에 포함된 장난감이 어떤 종류의 장난감인지를 구분할 수 있다.
선호도분석부(270)는 구분된 장난감 객체와 동종의 장난감에 대한 기준 이미지와 상기 장난감 객체를 비교하여 유사도를 산출하며, 산출된 상기 유사도를 기초로 상기 장난감의 마모도를 판단할 수 있다. 예를 들어, 선호도분석부(270)는 기준 이미지와 상기 장난감 객체가 80%일치하는 것으로 확인되면, 반려동물에 지급된 장난감이 20% 마모된 것으로 판단할 수 있다.
여기서, 기준 이미지는 다양한 방법으로 수집할 수 있다. 예컨대, 선호도분석부(270)는 사용자가 새로운 장난감의 구입 시, 해당 장난감에 대한 이미지를 촬영하도록 요구함으로써, 마모되지 않은 상태의 장난감 이미지인 기준 이미지를 수집할 수 있다. 또는, 선호도분석부(270)는 외부 서버와의 통신을 통해 사용자로부터 입력된 장난감 정보에 대응되는 기준 이미지를 검색하여 수집할 수 있다.
한편 선호도분석부(270)는, 서로 다른 종류의 장난감 객체 중 상기 마모도가 기준값 이상인 장난감의 구매를 추천하는 메시지를 생성하여 표시할 수 있다.
도 7은 본 발명의 일 실시예에 따른 반려동물 돌봄 방법의 개략적인 흐름이 도시된 순서도이다.
본 발명에 따른 반려동물 돌봄 방법은 상술한 본 발명에 따른 관리서버(200)에 의해 수행될 수 있다. 이를 위해, 본 발명에 따른 관리서버(200)는 후술하는 반려동물 돌봄 방법을 구성하는 각 단계를 수행하기 위한 애플리케이션(소프트웨어)가 미리 설치될 수 있다.
관리서버(200)는 반려동물 단말(100)과의 영상 통화를 통해 촬영영상을 수집할 수 있다(41).
관리서버(200)는 반려동물의 생활반경에 배치된 반려동물 단말(100)과 영상 통화를 수행하여 영상통화 과정에서 생성되는 촬영영상을 누적 수집할 수 있다.
관리서버(200)는 실시간 수집되는 촬영영상을 기초로 반려동물과 사용자의 상호교감을 위한 미션정보인 UI객체를 생성할 수 있다(42).
관리서버(200)는 상기 촬영영상을 기초로 상기 반려동물이 선호하는 사용자의 자세정보를 추출할 수 있으며, 구체적으로는 상기 자세정보를 추출하는 것은, 상기 촬영영상으로부터 반려동물에 대응되는 영역을 추출하고, 추출된 영역을 분석하여 상기 반려동물의 표정을 판단하되, 상기 반려동물의 표정이 기쁨인 것으로 판단되는 시점에서 상기 관리서버를 이용 중인 사용자를 촬영하여 상기 반려동물이 선호하는 사용자의 자세정보를 추출할 수 있다.
관리서버(200)는 추출된 자세정보의 외곽선 형상에 대응되는 상기 UI객체를 생성하고, 영상통화 과정에서 사용자의 화면영역에 상기 UI객체를 배치하여 상호교감과 관련된 미션정보를 생성하고, 영상통화 과정에서 촬영되는 사용자 측의 촬영영상을 기초로 상기 미션정보의 달성여부를 판단할 수 있다.
또한, 관리서버(200)는 촬영영상을 분석하여 반려동물의 장난감 마모도를 판단하고, 이에 따른 구매 장난감을 추천할 수 있다(43).
관리서버(200)는 상기 촬영영상으로부터 적어도 하나의 장난감 객체를 추출하고, 기 저장된 서로 다른 종류의 복수의 장난감 이미지와 비교하여 추출된 상기 장난감 객체의 종류를 구분하고, 구분된 장난감 객체와 동종의 장난감에 대한 기준 이미지와 상기 장난감 객체를 비교하여 유사도를 산출하며, 산출된 상기 유사도를 기초로 상기 장난감의 마모도를 판단하는 것일 수 있다. 관리서버(200)는 서로 다른 종류의 장난감 객체 중 상기 마모도가 기준값 이상인 장난감의 구매를 추천하는 메시지를 생성하여 표시할 수 있다.
이와 같은, 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 방법을 제공하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 웨어러블 장치
200: 관리서버
300: 사용자 단말

Claims (2)

  1. 반려동물에 부착되어 상기 반려동물의 생체정보와, 상기 반려동물 주변의 환경정보를 수집하는 웨어러블 장치; 및
    상기 웨어러블 장치 및 상기 반려동물의 주인이 소지한 사용자 단말과 통신하며, 상기 웨어러블 장치 및 상기 사용자 단말을 통해 반려동물과 사용자가 원격지에서도 교감할 수 있도록, 수집되는 반려동물 관련 빅데이터를 기초로 감정패턴 데이터인 감정정보를 생성하고, 상기 감정정보에 대응되는 자연어를 멀티미디어 메시지 형태로 상기 사용자 단말기에 전달하고, 반려동물과 사용자가 주고받는 메시지에 포함된 키워드를 추출하여 추출된 키워드에 대한 검색 결과를 제공하며, 사물인터넷을 이용하여 상기 사용자 단말로부터 수신된 메시지에 대한 제어신호를 상기 반려동물 주변에 위치한 가정 내 전자기기로 전송하는 관리서버를 포함하는, 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템에 있어서,
    상기 관리서버는,
    상기 생체정보, 상기 환경정보, 상기 생체정보에 대한 반려동물 행동분석 정보 및 상기 반려동물에 대한 의료정보를 수집하는 수집부;
    상기 수집부로 수집된 각각의 정보에 가중치를 부여하고, 가중치가 부여된 상기 생체정보, 상기 환경정보, 상기 반려동물 행동분석정보 및 상기 의료정보에 기초하여 상기 반려동물에 대한 감정정보를 생성하는 분석부; 및
    상기 반려동물에 대한 캐릭터객체를 생성하고, 인공 신경망을 이용하여 상기 감정정보로부터 자연어를 생성하는 생성부; 및
    상기 생성부에서 생성된 캐릭터객체 및 자연어를 이용하여 상기 반려동물의 주인이 소지한 사용자 단말로 전송할 멀티미디어 메시지를 생성하는 구현부를 포함하고,
    상기 분석부는,
    상기 생체정보를 미리 저장된 생체정보-감정 테이블과 비교하여 상기 생체정보에 대한 기본 감정정보를 생성하고, 상기 환경정보, 상기 반려동물 행동분석정보 및 상기 의료정보에 기초하여 상기 기본 감정정보에 대한 분석정보를 생성하고,
    상기 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템은, 상기 반려동물의 생활반경 내에 설치되어 상기 반려동물을 촬영하는 촬영장치를 더 포함하고,
    상기 생성부는,
    상기 촬영장치로부터 수신되는 촬영영상을 분석하여, n번째 프레임에서 관측되는 반려동물의 자세정보 및 상기 기본 감정정보를 기초로, n+1번째 프레임에서의 자세정보를 추정하고, n+1번째 프레임에서의 추정된 자세정보, n번째 프레임에서 관측되는 반려동물의 자세정보를 기 학습된 인공 신경망의 입력값으로 입력하여 상기 반려동물의 실제 감정정보를 추정하는 감정정보 추정 단계를 수행하고,
    상기 감정정보 추정 단계를 프레임마다 반복 수행하여 복수의 실제 감정정보를 생성하고, 생성된 복수의 실제 감정정보 각각에 대응되는 자연어를 생성하여 생성된 복수의 자연어를 기초로 상기 사용자 단말로 전송할 메시지를 생성하고,
    상기 구현부는,
    상기 멀티미디어 메시지에 포함된 대화형 메시지 구성하는 자연어 중 핵심 키워드를 추출하고, 추출된 핵심 키워드를 해시태그로 변환하여 상기 대화형 메시지의 하단에 표시되도록 하되,
    사용자로부터 상기 해시태그가 선택된 것으로 확인되면, 상기 핵심 키워드와 관련된 적어도 하나의 콘텐츠가 상기 사용자 단말에 표시되도록 제어하며,
    상기 사용자 단말에 표시되는 복수의 핵심 키워드 관련 콘텐츠 중, 사용자로부터 TV 틀어주기와 관련된 콘텐츠가 선택된 것으로 확인되면, TV 전원을 ON 시키는 제어신호를 생성하여 상기 웨어러블 장치로 전송하고,
    상기 웨어러블 장치는,
    수신된 상기 제어신호를 방사하여 가정 내 TV로 전송하는 것을 특징으로 하는, 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 시스템.
  2. 삭제
KR1020200163369A 2020-11-27 2020-11-27 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템 KR102255520B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200163369A KR102255520B1 (ko) 2020-11-27 2020-11-27 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200163369A KR102255520B1 (ko) 2020-11-27 2020-11-27 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템

Publications (1)

Publication Number Publication Date
KR102255520B1 true KR102255520B1 (ko) 2021-05-25

Family

ID=76145256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200163369A KR102255520B1 (ko) 2020-11-27 2020-11-27 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102255520B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102366054B1 (ko) * 2021-11-10 2022-02-23 안지선 말을 이용한 힐링 시스템
KR102457230B1 (ko) * 2021-09-01 2022-10-24 주식회사 에드위너 빅데이터 학습을 통한 반려동물 판단예측 시스템
KR102623455B1 (ko) 2023-03-30 2024-01-10 (주)케이아이테크노 반려견 소음감소를 위한 노이즈캔슬링 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160065377A (ko) * 2014-11-28 2016-06-09 금오공과대학교 산학협력단 동물 감정 표현 장치와 동물 감정 유발 장치가 쌍을 이루어 상호작용하는 동물 감정 표현 시스템
CN110334595A (zh) * 2019-05-29 2019-10-15 北京迈格威科技有限公司 一种犬尾运动的识别方法、装置、系统及存储介质
KR20190125668A (ko) 2018-04-30 2019-11-07 서현민 반려동물의 감정상태 분석장치 및 방법
KR20200071837A (ko) 2018-12-03 2020-06-22 정진해 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법
KR102174198B1 (ko) * 2020-06-12 2020-11-04 박정훈 사물 인터넷 기반의 반려동물 소통기능 제공장치 및 방법, 사용자 단말기

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160065377A (ko) * 2014-11-28 2016-06-09 금오공과대학교 산학협력단 동물 감정 표현 장치와 동물 감정 유발 장치가 쌍을 이루어 상호작용하는 동물 감정 표현 시스템
KR20190125668A (ko) 2018-04-30 2019-11-07 서현민 반려동물의 감정상태 분석장치 및 방법
KR20200071837A (ko) 2018-12-03 2020-06-22 정진해 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법
CN110334595A (zh) * 2019-05-29 2019-10-15 北京迈格威科技有限公司 一种犬尾运动的识别方法、装置、系统及存储介质
KR102174198B1 (ko) * 2020-06-12 2020-11-04 박정훈 사물 인터넷 기반의 반려동물 소통기능 제공장치 및 방법, 사용자 단말기

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102457230B1 (ko) * 2021-09-01 2022-10-24 주식회사 에드위너 빅데이터 학습을 통한 반려동물 판단예측 시스템
KR102366054B1 (ko) * 2021-11-10 2022-02-23 안지선 말을 이용한 힐링 시스템
KR102623455B1 (ko) 2023-03-30 2024-01-10 (주)케이아이테크노 반려견 소음감소를 위한 노이즈캔슬링 시스템

Similar Documents

Publication Publication Date Title
EP3596656B1 (en) Monitoring and analyzing body language with machine learning, using artificial intelligence systems for improving interaction between humans, and humans and robots
KR102255520B1 (ko) 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템
US9514419B2 (en) Estimating affective response to a token instance of interest utilizing a model for predicting interest in token instances
US20210097281A9 (en) Systems and methods for using persistent, passive, electronic information capturing devices
CN109074117B (zh) 提供基于情绪的认知助理系统、方法及计算器可读取媒体
US20190102706A1 (en) Affective response based recommendations
US8886581B2 (en) Affective response predictor for a stream of stimuli
KR102185469B1 (ko) 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법
US20150058081A1 (en) Selecting a prior experience similar to a future experience based on similarity of token instances and affective responses
CN109475294A (zh) 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
US20200143286A1 (en) Affective Response-based User Authentication
Akhtar et al. Visual nonverbal behavior analysis: The path forward
Mousannif et al. The human face of mobile
Kosiedowski et al. On applying ambient intelligence to assist people with profound intellectual and multiple disabilities
KR102457230B1 (ko) 빅데이터 학습을 통한 반려동물 판단예측 시스템
NL2020989B1 (en) Monitoring and analyzing body language with machine learning, using artificial intelligence systems for improving interaction between humans, and humans and robots.
Lim Emotions, behaviour and belief regulation in an intelligent guide with attitude
KR102366054B1 (ko) 말을 이용한 힐링 시스템
Etesam et al. Emotional Theory of Mind: Bridging Fast Visual Processing with Slow Linguistic Reasoning
Pandey et al. Techniques for Behavior Lie Detection with the Aid of Physiological Signals: A Review
CN116704828A (zh) 语言及认知辅助系统及方法
Knight An architecture for sensate robots: real time social-gesture recognition using a full body array of touch sensors

Legal Events

Date Code Title Description
GRNT Written decision to grant