KR20200117142A

KR20200117142A - 애완동물 인터랙션 장치

Info

Publication number: KR20200117142A
Application number: KR1020190038851A
Authority: KR
Inventors: 조진성; 권륜환; 이찬주
Original assignee: 경희대학교 산학협력단
Priority date: 2019-04-03
Filing date: 2019-04-03
Publication date: 2020-10-14
Also published as: KR102172648B1

Abstract

본 발명의 실시예에 따른 애완동물 인터랙션 장치는 채팅창을 이용한 애완동물 인터랙션 장치로서, 사용자로부터 입력되는 텍스트 데이터를 음성데이터로 변환하는 데이터 변환부, 상기 음성데이터를 출력하는 스피커, 상기 애완동물의 음성정보가 입력되는 마이크, 적어도 하나 이상의 영상촬영 카메라, 상기 영상촬영 카메라로부터 수신한 영상정보로부터 애완동물을 판정하는 객체인식부, 영상촬영 카메라로부터 수신한 영상정보와 애완동물의 음성정보를 수신하여 상기 애완동물의 감정상태를 예측하는 감정판단부 및 상기 애완동물의 감정상태와 매칭된 텍스트 데이터를 추출하는 데이터 추출부를 포함한다.

Description

애완동물 인터랙션 장치{INTERACTION APPARATUS FOR ANIMAL COMPANION}

본 발명은 애완동물 인터랙션 장치에 관한 것으로서, 보다 상세하게는 애완동물과 채팅을 통해서 상호 교감할 수 있는 장치에 관한 것이다.

최근 애완동물을 키우는 가정이 급속도로 늘어나면서, 애완동물은 단순한 동물이 아닌 반려자로서 매우 소중한 존재가 되어 가고 있다. 이에 따라, 사람들은 애완 동물의 병을 치료하거나 예방하기 위해 동물 병원에 가게 되며, 미용실에 데려가서 털을 예쁘게 깎거나, 매일 산책을 시켜주는 등 많은 노력을 하고 있다.

하지만, 현대인들은 혼자 사는 사람들과, 맞벌이 부부가 많기 때문에 사람들이 직장에 있는 동안 애완동물이 집에 혼자 남게 되는 경우가 많이 생기고 있다. 이 경우, 개 또는 고양이와 같은 애완동물은 혼자 스트레스를 받아 불안해지거나, 우울증에 걸리는 등 병에 걸리기 쉽다.

따라서, 애완동물의 주인이 집 밖에 있을 때에도, 애완동물의 상태를 확인하고, 애완동물을 마치 옆에 있는 것처럼 보호하는 것이 필요한 상황이다

대한민국 공개특허 제2016-0100103호(애완동물 모니터링 장치, 제어단말 및 그 방법)에 의하면 애완동물을 모니터링하기 위한 카메라와 마이크가 구비되어 있고, 애완동물의 활동량, 체온, 심장박동수 등을 측정하는 상태체크부가 마련되어 있어, 사용자는 자신의 제어단말을 통해서 집안에 홀로 남겨져 있는 애완동물의 상태를 체크한다. 또한, 애완동물의 소리를 통해서 기분을 분석하기도 한다.

그러나 위 "103"특허에 의하면 카메라가 애완동물에 부착되어 있어 애완동물을 직접 촬영할 수는 없으며, 애완동물의 감정상태를 애완동물의 소리로만 판단하게되어 정확도가 떨어진다. 또한, 사용자의 음성은 구비되어 있는 스피커를 통해서 일방향으로 전달되기만 할 뿐, 애완동물의 감정상태를 사용자에게 직접 전달할 수 있는 상호교감은 불가능한 시스템이다.

대한민국 공개특허 제2016-0100103호(2016.08.23) 일본 공개특허 제2009-536472호(2007.03.05)

본 발명의 목적은 애완동물의 건강상태, 감정상태를 예측하여 사용자가 직감할 수 있는 텍스트로 표현하고, 애완동물과 사용자간의 원거리 교감이 가능하도록 하는 시스템을 제공하는데 있다.

또한, 본 발명의 실시예에 따른 애완동물 인터랙션 장치는 상기 객체인식부를 통해서 판정된 애완동물의 체온을 측정하는 열화상카메라 및 상기 애완동물의 움직임을 감지하는 동작감지센서를 더 포함할 수 있다.

또한, 본 발명의 실시예에 따른 애완동물 인터랙션 장치는 상기 적어도 하나 이상의 영상촬영 카메라로부터 수신되는 영상정보와 상기 객체인식부에서 판정된 애완동물을 특정하여 상기 애완동물의 위치를 인식하는 위치인식부를 더 포함할 수 있다.

또한, 본 발명의 실시예에 따른 애완동물 인터랙션 장치는 상기 동작감지센서에 의해서 애완동물의 움직임이 감지되거나 사용자로부터 상기 텍스트 데이터가 입력되는 경우, 장치를 활성화 시키는 전원부를 더 포함할 수 있다.

여기서, 상기 객체인식부는 딥러닝 R-CNN 알고리즘을 수행함으로서 애완동물을 인식할 수 있다.

여기서, 상기 감정판단부는 제1영상정보로부터 애완동물의 얼굴을 인식하고, 상기 얼굴로부터 얼굴요소를 추출하여 복수의 감정에 대한 상기 얼굴요소 변화패턴과 제1음성정보를 추출하는 추출모듈, 상기 복수의 감정에 따른 상기 얼굴요소 변화패턴 및 제1음성정보를 저장하는 스토리지 및 제2영상정보로부터 애완동물의 얼굴요소 변화패턴을 추출하고, 추출된 얼굴요소 변화패턴과 제2음성정보로부터 상기 스토리지에 저장된 얼굴요소 변화패턴 및 제1음성정보와의 일치여부를 판정하여 애완동물의 감정을 인식하는 인식모듈을 포함할 수 있다.

여기서, 상기 인식모듈은 상기 애완동물의 위치에 따른 감정을 고려하여 애완동물의 감정을 판단할 수 있다.

여기서, 상기 복수의 감정은 기쁨, 놀람, 슬픔, 분노 및 공포 중 적어도 하나를 포함할 수 있다.

여기서, 상기 얼굴요소는 애완동물의 눈, 귀, 입 및 치아 중 적어도 어느 하나를 포함할 수 있다.

여기서, 상기 감정판단부는 제3영상정보로부터 애완동물의 행동을 인식하고, 행동 변화패턴과 제1음성정보를 추출하는 추출모듈, 상기 복수의 감정에 따른 상기 행동 변화패턴 및 제1음성정보를 저장하는 스토리지 및 제4영상정보로부터 애완동물의 행동 변화패턴을 추출하고, 추출된 행동 변화패턴과 제3음성정보로부터 상기 스토리지에 저장된 행동 변화패턴 및 제1음성정보와의 일치여부를 판정하여 애완동물의 감정을 인식하는 인식모듈을 포함할 수 있다.

본 발명의 실시예에 따른 애완동물 인터랙션 시스템은 애완동물 인터랙션 장치 및 설치되어 있는 앱을 실행하여 상기 애완동물 인터랙션 장치와 연결되고, 입력창을 통해서 텍스트를 송신하는 사용자 단말기를 포함한다.

본 발명의 실시예에 따른 애완동물 인터랙션 방법은 애완동물 인터랙션 장치에 의해서 수행되는 인터랙션 방법으로서, 애완동물의 움직임을 감지하거나 사용자로부터 텍스트 데이터를 수신하는 단계, 적어도 하나 이상의 영상촬영 카메라로 촬영된 영상을 이용하여 애완동물을 인식하는 단계, 상기 애완동물의 얼굴요소를 추출하는 단계, 상기 애완동물의 얼굴요소 변화패턴 및 음성정보를 이용하여 감정을 인식하는 단계 및 상기 애완동물의 감정과 텍스트를 매칭하고, 상기 텍스트를 송신하는 단계를 포함한다.

여기서, 상기 감정을 인식하는 단계는 상기 애완동물의 위치정보를 고려하여 감정을 인식할 수 있다.

본 발명의 또 다른 실시예에 따른 애완동물 인터랙션 방법은 애완동물 인터랙션 장치에 의해서 수행되는 인터랙션 방법으로서, 애완동물의 움직임을 감지하거나 사용자로부터 텍스트 데이터를 수신하는 단계, 적어도 하나 이상의 영상촬영 카메라로 촬영된 영상을 이용하여 애완동물을 인식하는 단계, 상기 애완동물 행동 변화패턴을 추출하는 단계, 상기 애완동물 행동 변화패턴 및 음성정보를 이용하여 감정을 인식하는 단계 및 상기 애완동물의 감정과 텍스트를 매칭하고, 상기 텍스트를 송신하는 단계를 포함한다.

본 발명의 실시예에 따른 애완동물 인터랙션 시스템에 의하면, 다음과 같은 효과가 있다.

첫째, 애완동물의 감정상태를 정확하게 예측하여, 사용자와의 내밀한 교감이 가능하도록 한다.

둘째, 애완동물의 건강상태를 파악하여 신속하게 조치를 취할 수 있도록 한다.

셋째, 음성통화가 불가능한 상황에서도 애완동물과의 교감이 가능하다.

도 1은 본 발명의 실시예에 따른 애완동물 인터랙션 장치의 기능블록도이다.
도 2는 본 발명의 실시예에 따른 애완동물 인터랙션 장치의 센서블록 구성요소 설치 예시도이다.
도 3은 본 발명의 실시예에 따른 감정판단부의 상세기능블록도이다.
도 4는 애완동물들의 표정사진 예시이다.
도 5은 애완동물의 자세사진 예시이다.
도 6은 본 발명의 또 다른 양태에 따른 애완동물 인터랙션 시스템의 구조도이다.
도 7은 본 발명의 실시예에 따른 애완동물 인터랙션 방법의 순서도이다.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다.

제1, 제2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 모듈, 블록 및 부는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 당해 분야에 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 설명한다. 하기에서 본 발명의 실시 예를 설명함에 있어, 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

이하, 본 발명에 따른 애완동물 인터랙션 장치를 도면을 참고하여 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 애완동물 인터랙션 장치의 기능블록도이다.

도 1에 도시된 바와 같이 본 발명의 실시예에 따른 애완동물 인터랙션 장치(1)는 채팅창을 이용한 애완동물 인터랙션 장치로서, 사용자로부터 입력되는 텍스트 데이터를 음성데이터로 변환하는 데이터 변환부(210), 상기 음성데이터를 출력하는 스피커(410), 상기 애완동물의 음성정보가 입력되는 마이크(140), 적어도 하나 이상의 영상촬영 카메라(110), 상기 영상촬영 카메라로부터 수신한 영상정보로부터 애완동물을 판정하는 객체인식부(220), 영상촬영 카메라로부터 수신한 영상정보와 애완동물의 음성정보를 수신하여 상기 애완동물의 감정상태를 예측하는 감정판단부(230) 및 상기 애완동물의 감정상태와 매칭된 텍스트 데이터를 추출하는 데이터 추출부(240)를 포함한다.

또한, 본 발명의 실시예에 따른 애완동물 인터랙션 장치(1)는 열화상카메라(120), 동작감지센서(130), 위치인식부(250), 전원부(310)를 더 포함할 수 있다.

설명의 편의상 도 1에 도시된 바와 같이 본 발명의 실시예에 따른 애완동물 인터랙션 장치의 구성요소를 센서블록(100)과 결정블록(200)으로 구분하여 기술한다.

센서블록(100)은 영상촬영카메라(110), 열화상카메라(120), 동작감지센서(130) 및 마이크(140)를 포함한다.

영상촬영카메라(110)는 집안의 천장이나 벽면에 설치되거나 바닥에서 일정높이로 거치되어 설치될 수 있다. 영상촬영카메라(110)는 돔 카메라, 하우징 카메라, 적외선 뷸렛카메라, 줌렌즈박스카메라 등 다양한 종류일 수 있으며, 바람직하게는 적어도 하나 이상의 영상촬영카메라(110)는 단일한 종류의 카메라가 복수개 설치될 수 있다.

영상촬영카메라(110)는 집안의 곳곳에 설치되어 촬영된 영상정보를 객체인식부(220) 등으로 전송한다.

열화상카메라(120)는 피사체, 즉 애완동물의 체온을 측정한다. 열화상카메라(120)는 열을 추적, 탐지하여 영상으로 보여주는 장치이다. 애완동물이 건강한 정상상태인지 판단하기 위해, 열화상카메라(120)를 통해서 촬영된 열화상영상과 현재상태의 열화상영상을 비교하여 애완동물이 발열하는지를 판단할 수 있다. 또한, 열화상카메라(120)를 통해서 입력되는 열화상영상이 정상상태가 아니라고 판단되는 경우 애완동물 인터랙션 장치(1)는 사용자 단말기로 애완동물 건강이 이상이 있음을 채팅창을 통해서 전달할 수도 있다.

열화상카메라(120)는 적외선파장을 발산하여 애완동물의 움직임을 촬영하는 나이트 비전(night vision) 또는 애완동물의 온도에 따라 방출되는 파장의 빛을 검출하는 열화상 카메라 일 수 있으나 반드시 이에 제한되는 것은 아니다.

동작감지센서(130)는 실내에서 애완동물의 움직임 여부를 센싱한다. 주로 PIR(Positive Infrared)센서를 이용하여 주변에서 발생하는 움직임을 센싱한다.

PIR센서는 검출영역이 비교적 좁아 광각렌즈 등을 함께 사용하여 검출영역을 넓히는 것이 바람직하다.

마이크(140)는 실내에 설치되어 애완동물의 음성정보를 수신하여 감정판단부(230)로 전송한다.

도 2는 본 발명의 실시예에 따른 애완동물 인터랙션 장치의 센서블록 구성요소 설치 예시도이다.

도 2에 도시된 바와 같이 거실, 침실 1, 침실 2, 주방/식당, 욕실 등으로 구별되어 있는 실내에서 복수개의 영상촬영카메라(110)와 열화상카메라(120), 복수개의 동작감지센서(130), 마이크(140)가 설치될 수 있다. 실내구조에 따라 최대한 사각지대가 없도록 설치될 수 있으며, 설치되어 있는 복수개의 영상촬영카메라(110)와 복수개의 동작감지센서(130)는 설치되어 있는 위치에 따라 개별 ID가 부여될 수 있으며, 어느 장소에서 촬영되었는지, 동작이 감지되었는지에 대한 정보가 메타데이터 형식으로 결정블록(200)으로 전송될 수 있다.

본 발명의 실시예에 따른 결정블록(200)은 데이터 변환부(210), 객체인식부(220), 감정판단부(230), 데이터 추출부(240), 위치인식부(250)로 구성된다.

데이터 변환부(210)는 사용자로부터 입력되는 텍스트 데이터를 음성데이터로 변환하여 실내에 설치되어 있는 스피커(140)로 출력하도록 한다. 특히 기 저장되어 있는 사용자의 음성을 활용하여 실제 애완동물의 주인인 사용자의 음성이 출력될 수 있도록 음성데이터로의 변환을 수행한다.

객체인식부(220)는 영상촬영카메라(110)를 통해서 입력된 영상을 분석하여 애완동물을 판정한다. 객체 인식부(220)는 딥러닝 기반의 R-CNN(Region proposal Convolutional Neural Network) 알고리즘을 수행함으로서 애완동물을 인식할 수 있다. R-CNN알고리즘은 기존 sliding window방식의 비효율성을 개선하기 위해 영상정보에서 물체가 있을 법한 영역을 빠른 속도로 찾아내는 알고리즘으로, Region proposal 알고리즘을 CNN에 도입한 알고리즘이며, 빠른 속도로 객체를 인식할 수 있는 알고리즘이다.

R-CNN에 의한 객체인식방법은 기 공지된 기술로서 자세한 설명은 생략한다.

객체인식부(220)는 단순히 애완동물임을 인식하는 것 이외에 복수의 애완동물이 실내에 있는 상황에서 개별 객체(애완동물)를 특정하여 인식하는 기능을 수행할 수 있다.

감정판단부(230)는 영상촬영카메라(110)로부터 수신한 영상정보와 애완동물의 음성정보를 수신하여 애완동물의 감정상태를 판단한다.

도 3은 본 발명의 실시예에 따른 감정판단부의 상세기능블록도이다.

도 4는 애완동물들의 표정사진 예시이다.

도 5은 애완동물의 자세사진 예시이다.

도 3에 도시된 바와 같이 감정판단부(230)는 추출모듈(231), 스토리지(233) 및 인식모듈(235)을 포함한다.

추출모듈(231)은 제1영상정보로부터 애완동물의 얼굴을 인식하고, 얼굴로부터 얼굴요소를 추출하여 복수의 감정에 대한 얼굴요소의 변화패턴과 제1음성정보를 추출한다. 추출모듈(231)은 애완동물의 감정을 판단하기 위한 기준이 되는 데이터를 추출한다.

얼굴요소는 애완동물의 눈, 귀, 입 및 치아 중 적어도 어느 하나의 요소를 포함하고, 복수의 감정은 애완동물의 기쁨, 놀람, 슬픔, 분노 및 공포 중 적어도 어느 하나의 감정을 포함한다.

스토리지(233)는 복수의 감정에 따른 얼굴요소의 변화패턴 및 제1음성정보를 서로 매칭시켜 저장한다. 스토리지(233)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

인식모듈(235)은 실시간으로 또는 일시적으로 제공되는 제2영상정보로부터 애완동물의 얼굴요소 변화패턴을 추출하고, 실시간으로 또는 일시적으로 제공되는 제2음성정보를 스토리지(233)에 저장되어 있는 얼굴요소의 변화패턴 및 제1음성정보와의 일치 또는 유사여부를 판정하여 싱크로율이 높은 감정상태를 현재 애완동물의 감정상태로 인식하게 된다.

얼굴요소의 변화패턴에 따른 싱크로율을 판정하는 방법은 스토리지에 저장되어 있는 얼굴요소의 변화패턴에서 x, y 좌표의 특징점을 추출한다. 또한, 실시간 입력되는 제2영상정보에서의 x', y'좌표와 스토리지에 저장된 얼굴요소의 변화패턴 특징점 x, y를 비교하고, 벡터값을 계산하여 최소값을 갖는 변화패턴을 인식하는 방법이 고려될 수 있으나, 반드시 이에 제한되는 것은 아니다.

도 4와 같이 분노감정을 느끼고 있는 애완동물들도 서로 다양한 형태의 얼굴요소 변화패턴이 도출된다. 먼저 애완동물(a)는 얼굴요소 중 입과 치아부분의 변화가 감지되고 있으며, 귀가 좌우측방향으로 전개되어 있는 변화패턴이 도출되었다. 애완동물(b)는 귀가 아래로 쳐지고 아래 치아부분이 도드라지게 돌출되는 변화패턴이 도출되었다. 마지막으로 애완동물(c)는 귀가 상측방향으로 곧게 서고 위, 아래 치아부분이 돌출되며 입을 크게 벌린 상태의 변화패턴이 도출되었다.

인식모듈(235)은 도 4와 같은 얼굴요소의 변화패턴을 분노로 정의하고 현재 애완동물이 분노감정상태에 있다고 판정한다. 음성정보 또한, 감정인식을 위한 자료로 활용된다. 특히, 분노, 놀람의 감정상태에서의 얼굴요소 변화패턴이 유사한 경우 싱크로율을 결정하는데 있어서 음성정보를 활용하여 제1음성정보와 제2음성정보의 일치율에 의해서 판정할 수도 있다.

또한, 본 발명의 또 다른 실시예에 따른 감정판단부(230)는 도 5에 도시된 바와 같이 애완동물 행동의 변화패턴과 음성정보를 이용하여 애완동물의 감정을 인식할 수 있다.

추출모듈(231)은 제3영상정보로부터 애완동물의 행동을 인식하고, 행동 변화패턴과 제1음성정보를 추출하고, 스토리지(233)는 복수의 감정에 따른 상기 행동 변화패턴 및 제1음성정보를 저장한다. 또한, 인식모듈(235)은 제4영상정보로부터 애완동물의 행동 변화패턴을 추출하고, 추출된 행동 변화패턴과 제3음성정보로부터 상기 스토리지에 저장된 행동 변화패턴 및 제1음성정보와의 일치여부를 판정하여 애완동물의 감정을 인식한다.

도 5에서 (a)와 같은 기쁨감정의 행동과 (b)와 같은 놀람감정의 행동을 제3영상정보로 스토리지(233)에 저장하고, 입력되는 제4영상정보와 비교하여 애완동물의 행동 변화패턴에 따른 감정을 인식한다.

데이터 추출부(240)는 애완동물의 감정상태와 매칭된 텍스트 데이터를 추출한다.

특히 데이터 추출부(240)에는 애완동물의 감정상태별로 기 저장되어 있는 시나리오 스크립트가 저장되어 있어, 사용자가 단말기 등을 통해서 입력한 텍스트를 스피커(410)를 통해서 출력할 경우 애완동물의 감정상태를 판정하여 실제 사용자가 보낸 텍스트에 대응하는 텍스트 데이터를 추출하여 사용자의 단말기로 전송한다.

위치인식부(250)는 적어도 하나 이상의 영상촬영카메라(110)로부터 수신되는 영상정보와 객체인식부(220)에서 판정된 애완동물을 특정하여 애완동물의 위치를 인식한다. 위치인식부(250)는 어느 위치에 있는 영상촬영카메라 영상에서 애완동물이 검출되었는지를 판단하여 애완동물의 실시간 위치를 판단한다. 이러한 위치인식부(250)에서 인식한 애완동물의 위치정보는 이하 설명하게 될 위치관계에 따른 애완동물의 감정판단의 또 다른 요소로 활용될 수 있다.

인식모듈(235)은 애완동물의 위치에 따른 감정을 고려하여 애완동물의 감정을 판정할 수 있다. 도 2에 의하면, 영역에 대한 애착이 있는 애완동물은 환경이 변하거나 특정환경에서 민감한 반응을 보이는 경우가 많다. 이러한 점을 고려하여 애완동물의 감정을 판단하는데 있어서 실내 특정위치를 고려할 수 있다.

예를 들어, 현관과 식당이 인접해 있는 구역인 b구역에 애완동물이 위치해 있는데, 얼굴요소의 변화패턴을 도출할 영상정보가 입수되지 않았거나, 채팅창을 통해 사용자와 대화내용을 교환하는 중에 으르렁거리거나 짖는 음성정보가 입수된 경우, 인식모듈(235)은 애완동물의 분노감정으로 인식하여 분노감정의 시나리오 스크립트를 사용자에게 보낼 수도 있으나, b구역에 현관이 인접해 있다는 특성상, 현관밖에서 들리는 소리에 의한 애완동물의 반응으로 판단하여 애완동물의 기존 감정으로 채팅대화를 이어갈 수 있다.

또한, 애완동물이 주로 생활하는 a구역과 애완동물이 잠을 자는 c구역에서 분노를 표출하는 얼굴요소 또는 행동의 변화패턴이 추출되더라도 기지개를 켜거나 하품을 하는 등의 평온/기쁨의 감정으로 판정할 수도 있다.

전원부(310)는 동작감지센서(130)에 의해서 애완동물의 움직임이 감지되거나 사용자로부터 텍스트 데이터가 입력된 경우 본 발명의 실시예에 따른 애완동물 인터랙션 장치를 활성화 시킨다. 또한, 기 설정된 시간동안 애완동물의 움직임이 전혀 감지되지 않았고, 사용자로부터 텍스트 데이터의 입력이 없는 경우, 애완동물 인터랙션 장치를 불활성상태로 유지시킴으로서, 전력의 낭비, 데이터의 손실, 네트워크 트래픽 등을 줄일 수 있다.

도 6은 본 발명의 또 다른 양태에 따른 애완동물 인터랙션 시스템의 구조도이다.

도 6에 도시된 바와 같이 애완동물 인터랙션 시스템은 앞서 설명한 애완동물 인터랙션 장치(1)와 사용자 단말기(2)로 구성될 수 있다.

사용자가 단말기(2)의 애플리케이션을 실행하면, 사용자 단말기(2)는 애완동물 인터랙션 장치(1)와 연결된다. 애완동물 인터랙션 장치(1)에는 무선통신모듈(미도시)이 별도로 설치되어 있고, 관련된 자세한 설명은 생략한다.

사용자가 텍스트를 채팅창에 입력하면 전원부(310)는 애완동물 인터랙션 장치(1)를 활성화 시키고, 텍스트 변환부(210)에서 입력된 텍스트를 음성데이터로 변환하여 스피커(410)를 통해 출력한다. 영상촬영카메라(110)는 영상정보를 객체인식부(220)로 전송하고, 마이크(140)는 애완동물의 음성정보를 감정판단부(230)로 전송한다. 객체인식부(220)는 영상정보에서 애완동물을 판정하고, 애완동물의 감정상태를 입력된 영상정보와 음성정보를 이용하여 예측하게 되고, 데이터 추출부(240)는 예측된 애완동물의 감정에 맞는 시나리오 스크립트를 사용자의 텍스트 입력 순서에 대응되도록 사용자 단말기(2)로 전송한다.

예를 들어, 도 6에 도시된 채팅창과 같이 애완동물의 감정상태가 기쁨인 경우, 사용자가 "밥 먹었어?"라는 텍스트를 보내면 애완동물의 감정상태에 따라 애완동물 인터랙션 장치(1)는 "오빠 먹을때 같이 먹을꺼야"라는 기 저장된 텍스트를 채팅창에 입력하게 된다. 만일 감정상태가 슬픔인 경우, 애완동물 인터랙션 장치는 사용자의 "밥 먹었어?"라는 텍스트에 "밥 맛이 없어..."라는 텍스트를 채팅창에 입력할 수도 있다.

이처럼 본 발명의 실시예에 따른 애완동물 인터랙션 시스템은 카카오톡, 네이버 라인 등과 같은 모바일 메시지 서비스를 이용하여 사용될 수도 있다.

도 7은 본 발명의 실시예에 따른 애완동물 인터랙션 방법의 순서도이다.

도 7에 도시된 바와 같이 본 발명의 또 다른 양태에 따른 애완동물 인터랙션 방법은 애완동물 인터랙션 장치에 의해서 수행되며, 애완동물의 움직임을 감지하거나 사용자로부터 텍스트 데이터를 수신하는 단계(S100), 적어도 하나 이상의 영상촬영 카메라로 촬영된 영상을 이용하여 애완동물을 인식하는 단계(S200), 상기 애완동물의 얼굴요소를 추출하는 단계(S300), 상기 애완동물의 얼굴요소 변화패턴 및 음성정보를 이용하여 감정을 인식하는 단계(S400) 및 상기 애완동물의 감정과 텍스트를 매칭하고, 상기 텍스트를 송신하는 단계(S500)를 포함한다.

애완동물의 움직임을 감지하거나 사용자로부터 텍스트 데이터를 수신하는 단계(S100)는 동작감지센서를 통해서 애완동물의 움직임을 감지하거나 사용자의 애플리케이션 실행에 따라 입력된 텍스트에 의해서 장치가 활성화 되는 단계이다.

적어도 하나 이상의 영상촬영 카메라로 촬영된 영상을 이용하여 애완동물을 인식하는 단계(S200)는 영상촬영 카메라를 통해 촬영된 영상에서 객체인 애완동물을 구별하는 단계로서, 앞서 설명한 R-CNN 알고리즘 등을 통해서 객체인식이 가능하다.

상기 애완동물의 얼굴요소를 추출하는 단계(S300)는 애완동물의 감정을 예측하기 위해서 눈, 귀, 입 및 치아 중 적어도 어느 하나를 포함하는 얼굴요소를 추출하는 단계이다. 보다 상세하게는 얼굴요소의 특징점을 x, y 좌표로 표현하는 단계를 포함할 수도 있다.

상기 애완동물의 얼굴요소 변화패턴 및 음성정보를 이용하여 감정을 인식하는 단계(S400)는 얼굴요소 변화패턴 및 음성정보를 통해 애완동물의 감정이 기쁨, 슬픔, 놀람, 분노 및 공포 중 적어도 어느 하나에 해당하는 지를 판정하는 단계이다.

또한, 감정을 인식하는 단계(S400)는 애완동물의 위치정보를 고려하여 감정을 인식하는 추가요소를 반영하여 감정을 인식하는 단계도 포함할 수 있다.

상기 애완동물의 감정과 텍스트를 매칭하고, 상기 텍스트를 송신하는 단계(S500)는 기 저장되어 있는 시나리오 스크립트를 활용하여 애완동물의 감정에 맞는 시나리오 스크립트를 추출하고, 사용자에 의해서 입력되는 텍스트에 대응하는 애완동물 텍스트를 채팅창에 전송하는 단계이다.

또한, 본 발명의 또 다른 실시예에 따른 애완동물 인터랙션 방법은 앞선 실시예와 달리 행동변화 패턴을 활용하는 방법을 고려하는 것이다.

본 발명의 실시예에 따른 애완동물 인터랙션 방법은 애완동물의 움직임을 감지하거나 사용자로부터 텍스트 데이터를 수신하는 단계, 적어도 하나 이상의 영상촬영 카메라로 촬영된 영상을 이용하여 애완동물을 인식하는 단계, 상기 애완동물 행동 변화패턴을 추출하는 단계, 상기 애완동물 행동 변화패턴 및 음성정보를 이용하여 감정을 인식하는 단계 및 상기 애완동물의 감정과 텍스트를 매칭하고, 상기 텍스트를 송신하는 단계를 포함한다.

앞선 실시예와 감정을 인식하는 방법을 얼굴요소의 변화패턴이 아닌 애완동물의 행동 변화패턴을 고려하여 인식하는 방법이며, 애완동물의 위치정보를 고려하여 감정을 인식하는 것도 추가적으로 고려될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능뿐만 아니라 각각의 구성 요소들에 대한 설계 및 파라미터 최적화는 별도의 소프트웨어 모듈로도 구현될 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(controller) 또는 프로세서(processor)에 의해 실행될 수 있다.

100 센서블록 110 영상촬영카메라
120 열화상카메라 130 동작감지센서
140 마이크 200 결정블록
210 데이터 변환부 220 객체인식부
230 감정판단부 240 데이터 추출부
250 위치인식부 310 전원부
410 스피커

Claims

채팅창을 이용한 애완동물 인터랙션 장치로서,
사용자로부터 입력되는 텍스트 데이터를 음성데이터로 변환하는 데이터 변환부;
상기 음성데이터를 출력하는 스피커;
상기 애완동물의 음성정보가 입력되는 마이크;
적어도 하나 이상의 영상촬영 카메라;
상기 영상촬영 카메라로부터 수신한 영상정보로부터 애완동물을 판정하는 객체인식부;
영상촬영 카메라로부터 수신한 영상정보와 애완동물의 음성정보를 수신하여 상기 애완동물의 감정상태를 예측하는 감정판단부; 및
상기 애완동물의 감정상태와 매칭된 텍스트 데이터를 추출하는 데이터 추출부를 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치.
제1항에 있어서,
상기 객체인식부를 통해서 판정된 애완동물의 체온을 측정하는 열화상카메라; 및
상기 애완동물의 움직임을 감지하는 동작감지센서를 더 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치.
제2항에 있어서,
상기 적어도 하나 이상의 영상촬영 카메라로부터 수신되는 영상정보와 상기 객체인식부에서 판정된 애완동물을 특정하여 상기 애완동물의 위치를 인식하는 위치인식부를 더 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치.
제2항에 있어서,
상기 동작감지센서에 의해서 애완동물의 움직임이 감지되거나 사용자로부터 상기 텍스트 데이터가 입력되는 경우, 장치를 활성화 시키는 전원부를 더 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치.
제3항에 있어서,
상기 객체인식부는 딥러닝 R-CNN 알고리즘을 수행함으로서 애완동물을 인식하는 것을 특징으로 하는 애완동물 인터랙션 장치.
제3항에 있어서,
상기 감정판단부는
제1영상정보로부터 애완동물의 얼굴을 인식하고, 상기 얼굴로부터 얼굴요소를 추출하여 복수의 감정에 대한 상기 얼굴요소 변화패턴과 제1음성정보를 추출하는 추출모듈;
상기 복수의 감정에 따른 상기 얼굴요소 변화패턴 및 제1음성정보를 저장하는 스토리지; 및
제2영상정보로부터 애완동물의 얼굴요소 변화패턴을 추출하고, 추출된 얼굴요소 변화패턴과 제2음성정보로부터 상기 스토리지에 저장된 얼굴요소 변화패턴 및 제1음성정보와의 일치여부를 판정하여 애완동물의 감정을 인식하는 인식모듈을 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치.
제6항에 있어서,
상기 인식모듈은 상기 애완동물의 위치에 따른 감정을 고려하여 애완동물의 감정을 판단하는 것을 특징으로 하는 애완동물 인터랙션 장치.
제6항에 있어서,
상기 복수의 감정은 기쁨, 놀람, 슬픔, 분노 및 공포 중 적어도 하나를 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치.
제6항에 있어서,
상기 얼굴요소는 애완동물의 눈, 귀, 입 및 치아 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치.
제3항에 있어서,
상기 감정판단부는
제3영상정보로부터 애완동물의 행동을 인식하고, 행동 변화패턴과 제1음성정보를 추출하는 추출모듈;
상기 복수의 감정에 따른 상기 행동 변화패턴 및 제1음성정보를 저장하는 스토리지; 및
제4영상정보로부터 애완동물의 행동 변화패턴을 추출하고, 추출된 행동 변화패턴과 제3음성정보로부터 상기 스토리지에 저장된 행동 변화패턴 및 제1음성정보와의 일치여부를 판정하여 애완동물의 감정을 인식하는 인식모듈을 포함하는 것을 특징으로 하는 애완동물 인터랙션 장치.
제1항 내지 제10항 중 어느 한 항의 애완동물 인터랙션 장치; 및
설치되어 있는 앱을 실행하여 상기 애완동물 인터랙션 장치와 연결되고, 입력창을 통해서 텍스트를 송신하는 사용자 단말기를 포함하는 것을 특징으로 하는 애완동물 인터랙션 시스템.
애완동물 인터랙션 장치에 의해서 수행되는 인터랙션 방법으로서,
(a) 애완동물의 움직임을 감지하거나 사용자로부터 텍스트 데이터를 수신하는 단계;
(b) 적어도 하나 이상의 영상촬영 카메라로 촬영된 영상을 이용하여 애완동물을 인식하는 단계;
(c) 상기 애완동물의 얼굴요소를 추출하는 단계;
(d) 상기 애완동물의 얼굴요소 변화패턴 및 음성정보를 이용하여 감정을 인식하는 단계; 및
(e) 상기 애완동물의 감정과 텍스트를 매칭하고, 상기 텍스트를 송신하는 단계를 포함하는 것을 특징으로 하는 애완동물 인터랙션 방법.
제12항에 있어서,
상기 얼굴요소는 애완동물의 눈, 귀, 입 및 치아 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 애완동물 인터랙션 방법.
제12항에 있어서,
상기 (d)단계는 상기 애완동물의 위치정보를 고려하여 감정을 인식하는 것을 특징으로 하는 애완동물 인터랙션 방법.
애완동물 인터랙션 장치에 의해서 수행되는 인터랙션 방법으로서,
(a) 애완동물의 움직임을 감지하거나 사용자로부터 텍스트 데이터를 수신하는 단계;
(b) 적어도 하나 이상의 영상촬영 카메라로 촬영된 영상을 이용하여 애완동물을 인식하는 단계;
(c) 상기 애완동물 행동 변화패턴을 추출하는 단계;
(d) 상기 애완동물 행동 변화패턴 및 음성정보를 이용하여 감정을 인식하는 단계; 및
(e) 상기 애완동물의 감정과 텍스트를 매칭하고, 상기 텍스트를 송신하는 단계를 포함하는 것을 특징으로 하는 애완동물 인터랙션 방법.
제15항에 있어서,
상기 (d)단계는 상기 애완동물의 위치정보를 고려하여 감정을 인식하는 것을 특징으로 하는 애완동물 인터랙션 방법.