KR102022883B1 - 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 방법 및 장치 - Google Patents

Abstract

애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 방법 및 장치가 개시된다. 그래픽 사용자 인터페이스 제공방법은, 디스플레이 화면을 포함하는 전자 장치에서 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스를 제공하는 방법으로서, 애완동물에 부착된 모바일 디바이스 내의 자이로 센서 및 가속도 센서에서 획득한 센싱 값들에 기초하여 애완동물의 행동을 분석하는 단계, 애완동물의 행동을 분석한 행동추론 데이터를 서버로 전송하는 단계, 및 서버 측에서 전자 장치에 제공하는 위젯 화면을 통해 애완동물의 행태 또는 감정을 출력하는 단계를 포함한다.

Description

애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING A GRAPHIC USER INTERFACE THAT SHOWS BEHAVIOR AND EMOTION OF A PET}

본 발명의 실시예는 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 방법 및 장치에 관한 것이다.

애완동물은 통상 인간이 주로 즐거움을 위해 사육하는 동물을 지칭한다. 최근 애완동물은 인간의 즐거움을 위한 장난감이 아니라 삶에서의 친구 혹은 반려자로서 대우하자는 의미에서 반려동물이란 표현으로 상당히 대중화되고 있다.

이러한 애완동물에 대한 케어(care)나 의사소통을 위한 다양한 연구 노력이 진행되고 있다. 일례로, 미국공개특허공보 제2010-0302004호의 "Device and method for remotely monitoring animal behavior"에서는 말(horse) 등의 동물에 센서를 부착하고, 센서 유닛을 통해 움직임 데이터를 생성하고, 원격지로 전송된 움직임 데이터를 분석하여 특정 모션 발생을 검출하고, 미리 준비된 네트워크 결정 알고리즘을 토대로 동물의 특정 행동 패턴을 식별하는 모니터링 장치와 방법을 개시한다.

상기 공보의 장치와 방법에 의하면, 관리자의 개입을 요구하는 고통 상황 등과 같은 특정 행동 패턴을 감지하여 관리자에게 전달하고, 그에 의해 동물을 효과적으로 케어가능함을 개시한다.

하지만, 전술한 종래 기술은 동물의 특정 행동 패턴을 식별하나, 특정 행동 패턴이 말이 쓰러지는 등의 특정 상황에 대한 것이므로, 행동 패턴의 식별에 있어 매우 제한적인 한계가 있다. 따라서, 전술한 종래 기술은 다양한 종류와 크기를 갖는 개, 고양이 등의 동물에 적용하기는 어렵다.

또한, 개, 고양이 등의 동물을 케어하고 이러한 동물과 의사소통하기 위한 방안으로 상기의 종래기술을 사용하기는 불가능하다. 이처럼, 개, 고양이 등의 동물을 케어하면서 이들 동물과 의사소통할 수 있는 방안이 요구되고 있으나 실제로 적용가능한 기술은 전무한 실정이다.

본 발명은 개, 고양이 등의 다양한 애완동물을 효과적으로 케어하고 이들 애완동물과 효과적으로 의사소통할 수 있는 방법을 제공하기 위해 도출된 것으로, 본 발명의 목적은 애완동물의 행태와 감정을 신뢰도 높게 보여줄 수 있는 그래픽 사용자 인터페이스 제공 방법 및 장치를 제공하는데 있다.

본 발명의 다른 목적은, 애완동물의 기분이나 상태를 애완동물 주인이 언제 어디서든 모바일 단말의 애플리케이션을 통해 파악할 수 있도록 펫케어 환경을 제공하고, 애완동물의 니즈(needs), 건강 상태 등을 예측하여 사용자의 서비스 요구를 충족시킬 수 있는, 그래픽 사용자 인터페이스 제공 방법 및 장치를 제공하는데 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 그래픽 사용자 인터페이스 제공방법은, 디스플레이 화면을 포함하는 전자 장치에서 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스를 제공하는 방법으로서, 애완동물에 부착된 모바일 디바이스 내의 자이로 센서 및 가속도 센서에서 획득한 센싱 값들에 기초하여 애완동물의 행동을 분석하는 단계; 상기 애완동물의 행동을 분석한 행동추론 데이터를 서버로 전송하는 단계; 및 상기 서버 측에서 상기 전자 장치에 제공하는 위젯 화면을 통해 상기 애완동물의 행태 또는 감정을 출력하는 단계를 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 그래픽 사용자 인터페이스 제공장치는, 디스플레이 화면을 포함하고 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스를 제공하는 장치로서, 애완동물에 부착된 모바일 디바이스 내의 자이로 센서 및 가속도 센서에서 획득한 센싱 값들에 기초하여 애완동물의 행동을 분석하는 분석부; 상기 애완동물의 행동을 분석한 행동추론 데이터를 서버로 전송하는 전송부; 및 상기 서버 측에서 상기 전자 장치에 제공하는 위젯 화면을 통해 상기 애완동물의 행태 또는 감정을 출력하는 출력부를 포함한다.

상술한 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 방법 및 장치를 사용하는 경우, 사용자는 모바일 단말을 통해 간편하게 애완동물의 기분이나 상태를 파악할 수 있고, 이를 통해 애완동물과 사용자 사이의 커뮤니케이션 증진과 더불어 애완동물의 복지 향상에 기여할 수 있다.

또한, 모바일 디바이스 또는 센서 디바이스에 적용된 다양한 센서 기술을 이용하여 애완동물의 행동을 분석하고 이를 사용자 단말의 애플리케이션 상에서 실시간 위젯 형태로 보여줄 수 있다.

도 1은 본 발명의 일실시예에 따른 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 장치를 이용하는 시스템(이하, 애완동물 케어 시스템이라 한다)의 전체 구성에 대한 블록도이다.
도 2는 도 1의 애완동물 케어 시스템에 채용할 수 있는 웨어러블 센서를 설명하기 위한 예시도이다.
도 3은 본 발명의 일실시예에 따른 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 장치(이하, 인터페이스 제공 장치라고 한다)를 탑재하는 사용자 단말의 개략적인 정면도이다.
도 4는 도 3의 사용자 단말에 대한 블록도이다.
도 5는 도 4의 사용자 단말에 탑재되는 인터페이스 제공 장치의 분석부의 주요 동작을 설명하기 위한 순서도이다.
도 6은 도 4의 사용자 단말에 탑재되는 인터페이스 제공 장치의 작동 원리를 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 채용할 수 있는 센서 데이터를 설명하기 위한 도면이다.
도 8은 도 7의 센서 데이터에서 애완동물의 행동을 추론하는 동작 원리를 설명하기 위한 도면이다.
도 9는 도 7의 센서 데이터에서 애완동물의 행동을 추론하는 동작 원리의 다른 예를 설명하기 위한 도면이다.
도 10은 도 4의 사용자 단말에서 수집되는 소리 데이터를 설명하기 위한 도면이다.
도 11은 도 1의 시스템 내 분석 서버에서 채용할 수 있는 행동-상태 매트릭스를 예시한 도면이다.
도 12는 도 11의 행동-상태 매트릭스를 이용한 애완동물의 상태추론 과정을 설명하기 위한 도면이다.
도 13은 도 11의 행동-상태 매트릭스를 이용하여 애완동물의 기분이나 상태를 추론하는 과정을 설명하기 위한 도면이다.
도 14 내지 도 22는 도 3의 사용자 단말의 그래픽 사용자 인터페이스의 작동 원리를 설명하기 위한 예시도들이다.
도 23 내지 도 27은 도 3의 사용자 단말의 그래픽 사용자 인터페이스의 작동 원리의 또 다른 실시예를 설명하기 위한 예시도들이다.
도 28은 본 발명의 또 다른 실시예에 따른 인터페이스 제공 장치를 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 '연결된다' 혹은 '접속된다'라고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되거나 또는 접속되는 것어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결된다' 혹은 '직접 접속된다' 라고 언급된 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, '포함한다', '가진다' 등과 관련된 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 장치를 이용하는 시스템(이하, 애완동물 케어 시스템이라 한다)의 전체 구성에 대한 블록도이다. 도 2는 도 1의 애완동물 케어 시스템에 채용할 수 있는 웨어러블 센서를 설명하기 위한 예시도이다.

도 1 및 도 2를 참조하면, 본 실시예에 따른 애완동물 케어 시스템은, 디바이스(10), 게이트웨이(30), 모바일 단말(50) 및 서비스 제공 시스템(100)을 포함한다. 서비스 제공 시스템(100)은 모니터링 시스템, 호스트 시스템 등으로 지칭될 수 있다. 모바일 단말(50)은 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스를 제공하는 장치에 대응할 수 있다.

각 구성요소를 좀더 구체적으로 설명하면, 디바이스(10)는 웨어러블 디바이스를 지칭할 수 있고, 애완동물(2)이나 반려동물에 착용되는 센서를 포함할 수 있다. 센서는 가속도 센서(3), 자이로(gyro) 센서(5), 온도 센서(7), 증폭형 압력 센서, 소리 센서, 카메라 등을 포함할 수 있다. 자이로 센서(5)는 각속도 센서로 지칭될 수 있다.

디바이스(10)는 반려동물의 소리를 녹음할 수 있는 마이크로폰(9)을 구비할 수 있다. 이러한 디바이스(10)는 강아지 등의 반려동물의 목에 착용되는 목걸이 형태를 구비할 수 있으나, 이에 한정되지는 않는다. 구현에 따라서 개(dog)에게 정해진 시간에 먹이를 배출하는 피더(feeder)에 마이크로폰(9), 카메라(미도시) 등이 설치되는 것을 포함할 수 있다.

또한, 디바이스(10)는 블루투스 모듈(도 6의 10a 참조)을 탑재하고 무선 통신 방식으로 게이트웨이(30)이나 모바일 단말(50)에 연결되어 신호 및 데이터를 송수신할 수 있다. 전술한 디바이스(10)는 센서를 탑재하므로 센서 디바이스로 지칭될 수 있고, 센서를 탑재하고 반려동물(2)에 착용되는 형태인 경우 웨어러블 장치로 지칭될 수 있다.

게이트웨이(30)는 여러 웨어러블 장치들이나 서로 다른 종류의 센서들과 서비스 제공 시스템(100) 사이를 연결한다. 게이트웨이(30)는 서로 다른 통신 네트워크나 서로 다른 프로토콜을 사용하는 네트워크 사이의 통신을 지원한다. 서로 다른 프로토콜을 적절하게 변환할 수 있다. 게이트웨이(30)는 OSI(open system interconnecion reference model) 참조 모델의 전계층을 인식하여 전송 방식의 다른 통신망을 흡수하고, 서로 다른 기종들도 서로 접속 가능하게 지원하도록 설치될 수 있다.

본 실시예에서, 게이트웨이(30)는 블루투스(bluetooth) 무선 통신 방식으로 디바이스(10)와 연결될 수 있다. 블루투스 무선 통신 방식은 BLE(bluetooth low energy)를 포함할 수 있다. 물론, 게이트웨이(30)는 구현에 따라서 비콘, WiFi 등의 다른 근거리 무선 네트워크(wireless local area network) 방식을 지원할 수 있다. 또한, 게이트웨이(30)는 유선 네트워크, 무선 네트워크 또는 이들의 조합 네트워크를 지원할 수 있다. 유선 네트워크는 직렬 통신, 이더넷 등을 포함할 수 있고, 무선 네트워크는 WiFi, bluetooth 등의 근거리 무선 통신 네트워크나 와이브로(Wibro), 코드분할다중접속(CDMA), 직교주파수다중접속(FDMA), LTE(long term evolution), LTE-A(LET-advanced), WiMAX2 등의 광대역 무선 네트워크를 포함할 수 있다.

가정 또는 구내 게이트웨어의 경우, 반려동물 사용자는 게이트웨이(30)에 접속 가능한 사용자 단말을 통해 센서 데이터의 적어도 일부 예컨대, 영상 데이터나 소리 데이터 등을 획득하고, 이를 통해 반려동물의 상태를 실시간 확인할 수 있다(도 6의 S68 참조).

모바일 단말(50)은 웨어러블 센서를 포함한 디바이스(10)에 연결될 수 있다. 모바일 단말(50)은 디바이스(10)와 서비스 제공 시스템(100) 사이의 신호 및 데이터 송수신을 중계할 수 있다. 또한, 모바일 단말(50)은 센서 데이터의 일부를 처리하거나 표시하거나 출력할 수 있다. 모바일 단말(50)은 연결 기능, 중계 기능, 데이터 처리 기능 등을 위한 애플리케이션을 탑재할 수 있다. 애플리케이션은 '펫버디(pet buddy)' 등의 이름으로 지칭될 수 있다. 전술한 모바일 단말(50)은 특정 반려동물이 착용하고 있는 디바이스 측면에서 해당 반려동물의 소유주의 사용자 단말일 수 있다.

디바이스(10)의 센서에서 측정되는 데이터는 센서 데이터 또는 활동 데이터를 포함한다. 센서 데이터는 체온, 가속도, 각속도, 소리, 영상 등의 신호 및 데이터를 포함할 수 있다. 특히, 센서 데이터는 적어도 가속도 데이터 및 각속도 데이터를 포함할 수 있다. 이하의 설명에서는 광의적으로 또한 설명의 편의상 센서 데이터가 활동 데이터를 포함하는 것으로 가정한다.

서비스 제공 시스템(100)은, 시스템 환경(110), 애플리케이션 프로그래밍 인터페이스(application programming interface, API)(130), 분석서버(150) 및 SNS서버(170)를 포함할 수 있다. 서비스 제공 시스템(100)은 애완동물 상태 분석 방법을 이용하고 애완동물의 기분이나 상태와 관련된 정보를 온라인이나 커뮤니티를 통해 공유하는 경우, 온라인 서비스 제공 시스템, 커뮤니티 서비스 제공 시스템, 케어 서비스 서버 시스템 등으로 지칭될 수 있다.

서비스 제공 시스템(100)은 클라우드 계층 구조를 구비할 수 있다. 일례로, 서비스 제공 시스템(100)은 SaaS(software as a service), PaaS(platform as a service), IaaS(Infrastructure as a service) 또는 이들의 조합을 제공할 수 있다.

SaaS는 주문형 소프트웨어로서 지칭될 수 있다. 중앙 서버 또는 SaaS(software as a service)로서 소프트웨어 및 관련 데이터를 호스팅하도록 구성될 수 있다. 그리고 사용자 단말은 응용 프로그램(application), 웹 브라우저 등의 클라이언트를 통해 중앙 서버나 SaaS에 접속할 수 있다.

PaaS는 인터넷 기반 컴퓨팅의 일종인 클라우딩 컴퓨팅을 지원하는 클라우드 컴퓨팅 서비스로서 지칭될 수 있다. 여기에서 중앙 서버는 구성 가능한 컴퓨터 자원-일례로, 컴퓨터 네트워크, 서버, 스토리지, 애플리케이션, 서비스 등을 포함함-에 대해 사용자 단말이 어디서나 접근(주문형 접근) 가능하도록 설치될 수 있다. PaaS는 고객이나 프로그래머가 애플리케이션을 개발, 실행 및 관리할 수 있게 하는 플랫폼을 제공하며, 개발자가 필요로 하는 개발 요소들을 웹에서 쉽게 빌려쓸 수 있도록 구성될 수 있다. 인터넷 사이트 등에서 제공되는 공개 API는 PaaS의 일종이다.

IssS는 서버, 스토리지, 네트워크를 가상화 환경으로 만들어 필요에 따라 인프라 자원을 사용할 수 있도록 서비스한다. IaaS는 서버 가상화, 게이트웨이 가상화, 사용자 단말 가상화 등의 기술이 선택적으로 적용될 수 있다.

전술한 서비스 제공 시스템(100)에 있어서, 시스템 환경(110)은, 하드웨어적으로 컨트롤러를 구비하거나 프로세서 및 메모리를 구비하고, 소프트웨어적으로 소정의 서버와, 서버에 포함되는 멀티코어, 가상머신, 소트웨어 기반 비디오/오디오 캡쳐, 인코딩부, 스트리밍부 등에서 선택되는 적어도 일부의 기능부 혹은 구성부를 구비할 수 있다. 시스템 환경(110)은 클라우드 컴퓨팅 서버를 포함할 수 있다.

API(130)는 센서 데이터 수집과 실시간 스트리밍을 지원할 수 있다. 또한, API(130)는 원격관리; 데이터베이스 설정관리; 원격관리, 설정변경, 에러 처리 등을 위한 로깅, 데이터의 송수신 주기, 카메라 온/오프, 해상도 조정, 로그 검색 등을 위한 상태 모니터링을 수행하도록 설치될 수 있다.

즉, API(130)는 시스템 환경(110)에 연결되어 게이트웨이(30) 또는 모바일 단말(50)과 신호 및 데이터를 송수신할 수 있다. API(130)는 게이트웨이(30) 및 모바일 단말(50)과 연결되는 센서 네트워크의 센서 유닛들에서 검출되는 검출 신호나 데이터를 수집할 수 있다. 이 경우, API(130)는 정보획득부로서 기능할 수 있다.

또한, API(130)는 게이트웨이(30)를 통한 사용자 단말이나 모바일 단말의 접속을 허용하여 이들과 연동하는 수단이나 이러한 수단에 대응하는 구성부일 수 있다. 즉, API(130)는 디바이스(10)의 센서와 게이트웨이(30)를 포함하는 센서 네트워크의 관리 서버의 적어도 일부 기능부나 이러한 기능부에 대응하는 기능을 수행하는 일부 구성부를 포함할 수 있다.

분석서버(150)는, 협의의 의미에서 하드웨어적인 애완동물 상태 분석 시스템이나 애완동물 상태 분석 방법을 구현하는 시스템(소프트웨어적 측면)으로 구현될 수 있다. 이 경우, 분석서버(150)는 액션 배열 생성부와 상태 추론부를 구비할 수 있다.

또한, 분석서버(150)는 실시간 분석 하부구조(real-time analytics infrastructure)를 구비할 수 있다. 실시간 분석 하부구조는 실시간 분석 엔진(real-time analytics engine)과 데이터 스트림 관리 시스템(data stream management system)을 구비한다. 그리고 실시간 분석 엔진은 행동 인식 모델(behavior recognition model), 활동량 모델(calorie model) 등을 포함할 수 있다.

전술한 경우, 분석서버(150)는 디바이스(10)의 센서 데이터를 획득하여 특징을 분류하는 특징분류부 또는 이러한 특징분류부를 포함하는 액션 배열 생성부와, 분류된 특징에 기초하여 반려동물의 행위를 판별하는 행위판별부 또는 이러한 행위판별부에 기초하여 애완동물의 기분이나 상태를 식별하는 상태 추론부를 구비할 수 있다. 이러한 특징분류부, 액션 배열 생성부, 행위판별부, 상태 추론부의 구성부는 소프트웨어 모듈 형태로 상기의 메모리에 저장되고, 메모리에 연결되는 프로세서에 의해 수행되어 해당 기능을 수행하도록 구현될 수 있으나, 이에 한정되지는 않는다.

또한, 분석서버(150)는 디바이스(10)의 센서와 게이트웨이(30)를 포함하는 센서 네트워크의 관리 서버의 적어도 일부 기능부나 이러한 기능부에 대응하는 기능을 수행하는 일부 구성부를 포함할 수 있다. 분석서버(150)는 데이터 스트림 관리 시스템을 구비할 수 있다.

일례로, 분석서버(150)는 관리 서버로서 센서 데이터를 시계열 데이터로 변환하여 실시간 분석 엔진에 전달할 수 있다. 그 경우, 실시간 분석 엔진은 행동 인식 모델에 기초하여 시계열 데이터를 분석하고 그 결과를 API(130)를 통해 반려동물 사용자나 다른 사용자(의사 등)에게 제공할 수 있다. 여기서, 분석 결과는 시간 흐름에 따른 반려동물의 상태들이 나열된 정보 또는 데이터를 지칭할 수 있다.

분석서버(150)의 데이터 스트림 관리 시스템은 시계열 데이터를 행동 인식 모델에 기초하여 분석된 반려동물의 일련의 상태들과 매칭시켜 저장할 수 있다.

또한, 분석서버(150)는 시나리오 기반 컴퓨팅을 수행할 수 있다. 시나리오 기반 컴퓨팅은 이상상태(Urgency) 알람, 건강상태 알람(healthcare alert) 등을 위한 스트림 처리(stream processing)를 포함하는 실시간 컴퓨팅(real-time computing); 매시간, 3시간마다, 6시간마다 등의 데이터 생성을 위한 백그라운드 처리(background processing)를 포함하는 일괄 컴퓨팅(batch computing); 및 클라이언트/서버 처리(client/server processing)를 포함하는 주문형 컴퓨팅(on-demand computing)을 포함할 수 있다.

실시간 컴퓨팅에서는, 애완동물 측으로부터의 센서 데이터를 행동 인식 모델을 통해 분석하고 분석 결과를 사용자 단말에 제공하면서 이와 함께 행동 인식 모델을 통해 분석된 데이터를 데이터베이스에 저장하고 해당 데이터 및 관련 정보를 사용자 단말에 검색할 수 있도록 서비스할 수 있다. 그 경우, 사용자 단말(혹은 사용자 단말에 탑재된 애플리케이션)은 상기의 센서 데이터의 제공 주체인 애완동물이 지금 바로 무엇을 하고 있는지 혹은 어떤 상태인지를 확인할 수 있도록, 그리고 사용자가 직관적으로 이해할 수 있도록 미리 정해진 그래픽, 텍스트, 동영상 또는 이들의 조합 형태로 해당 정보를 검색, 질의 또는 출력할 수 있다.

일괄 컴퓨팅에서는, 애완동물 측으로부터의 센서 데이터를 데이터베이스에 저장하고, 데이터베이스에 저장된 센서 데이터를 감정 인식 모델을 통해 분석하고 센서 데이터와 매칭시켜 다시 데이터베이스에 저장하고, 사용자 단말의 애플리케이션의 검색/질의에 따라 대응 센서 데이터의 분석 결과를 사용자 단말에 제공할 수 있다. 그 경우, 사용자는 오늘 집에 혼자 있는 반려동물이 매시간 또는 소정 기간의 시간동안 무엇을 느끼는지 확인할 수 있다.

주문형 컴퓨팅에서는, 애완동물 측으로부터의 센서 데이터를 데이터베이스에 저장하고, 일정 시간 또는 일정 기간 동안의 센서 데이터에 대한 사용자 단말로부터의 실행 요청 신호에 따라 해당 센서 데이터를 검색하고 검색한 센서 데이터를 활동량 모델을 통해 분석한 후, 분석 결과를 사용자 단말에 제공할 수 있다. 전술한 경우, 사용자 단말은 해당 시간이나 기간 동안의 활동량을 칼로리 수치로 출력할 수 있고, 사용자는 칼로리 수치를 확인하고 이를 토대로 오늘 자신의 반려동물에게 운동이 더 필요한지를 판단할 수 있다.

SNS서버(170)는 모바일 단말(50), 애완동물 주인의 사용자 단말, 관련 의사 등의 다른 사용자의 사용자 단말에 애완동물 상태 분석 등과 관련된 온라인 서비스, 커뮤니티 서비스, 소셜 네트워크 서비스 등을 제공할 수 있다. SNS서버(170)는 사용자들 간의 정보 공유를 위해 리더 영역과 슬레이브 영역으로 구분하거나, 팔로워와 팔로우로 구분하도록 설치될 수 있다.

또한, SNS서버(170)는 기존의 소셜 네트워크 서비스(social network service or social networking service; SNS)와 연동할 수 있다. 기존의 소셜 네트워크 서비스는 페이스북(Facebook.com), 트위터(Twitter.com), 카카오톡(Kakaotalk; kakao.com), 밴드(Band; band.us) 등을 포함한다.

또한, 도 1에 도시하지는 않았지만, 서비스 제공 시스템(100)은 모바일 단말이나 사용자 단말과 연동하며 사용자 단말에 위젯 혹은 그래픽 사용자 인터페이스를 제공하는 앱 서버(도 6의 190 참조)를 포함하거나 이러한 앱 서버에 연결될 수 있다.

전술한 구성에 의하면, 애완동물의 주인이나 다른 사용자의 사용자 단말은 서비스 제공 시스템의 데이터베이스, 또는 센서 네트워크의 관리 서버에 접속하여 서비스 제공 시스템에서 제공하는 센서 데이터에 기초한 시계열 데이터, 애완동물의 행동 분석 결과, 애완동물의 기준이나 상태 정보를 획득하고, 이를 이용하여 애완동물을 케어하거나 반려동물과 의사소통할 수 있다.

또한, 전술한 구성에 의하면, 사물인터넷(internet of things)과 같은 접속 환경을 가지는 클라우드 기반의 펫버디 인프라스트럭쳐를 제공할 수 있다. 또한, 웨어러블 장치를 포함하는 사물인터넷 장치에서 생성된 다량의 데이터에서 반려동물의 행동, 감정, 운동 효과 등을 분석하고, 분석 결과를 다양한 서비스에 활용할 수 있다. 또한, 분석 결과는 반려동물 주인의 사용자 데이터 또는 수의사의 전문가 데이터로 확장되거나 비교될 수 있다. 전술한 수집 데이터, 분석 데이터, 사용자 데이터, 전문가 데이터, 또는 이들의 조합은 빅데이터(big data)로 지칭될 수 있다.

도 3은 본 발명의 일실시예에 따른 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 장치(이하, 인터페이스 제공 장치라고 한다)를 탑재하는 사용자 단말의 개략적인 정면도이다.

도 3을 참조하면, 본 실시예에 따른 인터페이스 제공 장치는 모바일 단말 또는 사용자 단말(50)에 탑재될 수 있다. 인터페이스 제공 장치는 소프트웨어 모듈이나 애플리케이션 형태로 사용자 단말(50)에 탑재될 수 있다.

인터페이스 제공 장치를 구현하는 소프트웨어 모듈이나 애플리케이션은 앱스토어 또는 이와 유사한 온라인 마켓에서 사용자 단말(50)에 다운로드되어 설치될 수 있다. 물론, 구현에 따라서 인터페이스 제공 장치는 적어도 일부 구성요소가 하드웨어적으로 탑재된 사용자 단말, 모바일 단말 등의 전자 장치에서 구현되거나 인터페이스 제공 장치를 위한 전용 하드웨어 장치로 구현될 수 있다. 이하에서는 설명의 편의상 소프트웨어 모듈로 구현된 경우를 중심으로 설명하기로 한다.

사용자 단말(50)에 탑재된 인터페이스 제공 장치는 사용자 단말의 디스플레이 화면(간략히 화면이라 한다, 500)에 위젯 형태의 사용자 인터페이스 혹은 그래픽 기반의 사용자 인터페이스를 제공할 수 있다. 위젯 형태의 사용자 인터페이스는 애플리케이션의 일종으로서 그래픽 기반의 사용자 인터페이스를 포함할 수 있다. 이하에서는 위젯 형태의 사용자 인터페이스를 간략히 행동 위젯으로 지칭하기로 한다.

행동 위젯은 화면(500)에 케어 대상 애완동물의 메인프로필 표시영역(501), 일일 필요 섭취 칼로리와 운동량, 운동시간 표시영역(502), 애완동물의 행태나 감정을 표시하는 분석정보 표시영역(503), 복수의 메뉴항목들을 나열한 메뉴영역(504)를 포함할 수 있다. 각 표시영역은 제1 영역 내지 제3 영역으로 각각 지칭될 수 있다.

메인프로필 표시영역인 제1 영역(501)은 애완동물의 사진과 이름, 생일 등이 표시되고, 사진이나 프로필을 변경할 수 있는 프로필 연결 아이콘을 구비할 수 있다. 메뉴영역(504)은 애완동물의 소유자 혹은 사용자와 관련된 페이지와 연결되는 사용자 메뉴, 애완동물과 관련된 페이지와 연결되는 애완동물 메뉴, 애완동물의 행태, 감정, 기분, 상태 또는 이들의 조합에 대한 정보를 실시간 업데이트하기 위한 업데이터 메뉴(505), 애완동물 케어에 관련된 다이어리 페이지와 연결되는 다이어리 메뉴, 기타 위젯 기본 설정이나 위젯 동작 설정 등을 위한 메뉴 등을 구비할 수 있다.

분석정보 표시영역인 제3 영역(503)은 카메라 연결 아이콘(506a), 마이크로폰 연결 아이콘(506b) 등을 구비할 수 있다. 사용자가 카메라 연결 아이콘(506a)을 클릭하거나 선택하면, 행동 위젯은 카메라 연결 아이콘(506a)에 대해 설정된 사용자 입력이나 명령 신호에 따라 애완동물의 웨어러블 디바이스나 애완동물 거주영역 주변에 설치된 카메라를 사용자 단말(50)과 연결할 수 있다. 또한, 위의 경우와 유사하게, 사용자가 마이크로폰 연결 아이콘(506b)을 클릭하거나 선택하면, 행동 위젯은 마이크로폰 연결 아이콘(506b)에 대해 설정된 사용자 입력이나 명령 신호에 따라 애완동물의 웨어러블 디바이스나 애완동물 거주영역 주변에 설치된 마이크로폰을 사용자 단말(50)과 연결할 수 있다. 위와 같은 동작을 위해 행동 위젯은 사용자 단말(50)에 대한 해당 제어 권한을 미리 획득한 상태일 수 있다.

도 4는 도 3의 사용자 단말에 대한 블록도이다.

도 4를 참조하면, 본 실시예에 따른 사용자 단말(50)은 제어부(51), 메모리(52), 제1 통신부(53), 제2 통신부(54) 및 입출력장치(55)를 구비하고, 디바이스(도 1의 10 참조)와 근거리 무선 통신을 통해 연결되어 센서 데이터를 받고, 센서 데이터 또는 센서 데이터에서 애완동물의 행동을 추론한 행동추론 데이터를 서버나 서비스 제공 시스템으로 전송할 수 있다. 서버는 분석서버, 앱서버 등을 포함할 수 있다.

또한, 사용자 단말(50)은 분석서버나 앱서버에 위젯 데이터를 요청하고, 앱 서버로부터 행동위젯 데이터를 받고, 행동위젯 데이터에 포함된 애완동물의 행태, 감정, 기분, 상태 또는 이들의 조합 정보를 디스플레이 화면에 표시할 수 있다.

본 실시예에 따른 사용자 단말(50)에 있어서, 제어부(51)는 메모리(52), 제1 통신부(53), 제2 통신부(54) 및 입출력장치(55)를 포함한 구성요소들 간의 상호 동작과 장치 전반의 동작을 제어한다. 제어부(51)는 프로세서 또는 마이크로프로세서를 포함할 수 있다.

메모리(52)는 저장장치로서 인터페이스 제공 방법을 구현하는 일련의 절차를 기록한 프로그램이나 소프트웨어 모듈을 저장할 수 있다. 메모리(52)는 사용자 단말(50)의 동작에 필요한 프로그램 등을 저장할 수 있다. 프로그램은 운영체제 등을 포함할 수 있다. 메모리(52)는 제어부(51)의 기판이나 하드웨어 상에 일체로 설치될 수 있다.

제1 통신부(53)는 블루투스, WiFi 등의 근거리 무선 통신을 지원할 수 있다. 블루투스는 BLE(bluetooth low energy)를 포함할 수 있다. 제1 통신부(53) 및 제어부(51)의 조합은 디바이스에서 송출되는 신호에서 디바이스의 식별자를 인식하고, 해당 디바이스와의 연결을 설정하며, 해당 디바이스에 센서 데이터를 요청하고, 해당 디바이스로부터 센서 데이터를 수신할 수 있다.

제2 통신부(54)는 와이브로(Wibro), 코드분할다중접속(CDMA), 직교주파수다중접속(FDMA), LTE(long term evolution), LTE-A(LET-advanced), WiMAX2 등의 광대역 무선 네트워크, 위성 네트워크 등을 통한 무선 데이터 통신을 지원할 수 있다. 제2 통신부(54) 및 제어부(51)의 조합은 서비스 제공 시스템이나 서버와의 무선 접속을 설정하고, 서버 측에 센서 데이터나 행동추론 데이터를 전송하고, 서버 측으로부터 행동위젯 데이터를 수신할 수 있다.

입출력장치(55)는 디스플레이 장치, 키보드, 스피커, 마이크, 터치 스크린 등을 포함할 수 있다. 입출력장치(55)와 제어부(51)의 조합은 행동위젯을 통해 애완동물의 행태, 감정, 기분, 상태 또는 이들의 조합을 보여주고, 앱 서버에 행동위젯 데이터를 요청하여 실시간 행동위젯 콘텐츠를 업데이트할 수 있다. 행동위젯은 위젯 애플리케이션이나 위젯 화면을 포함할 수 있다.

한편, 사용자 단말(50)에 탑재되는 인터페이스 제공 장치는 분석부(521), 전송부(522) 및 출력부(523)를 구비할 수 있다. 또한, 인터페이스 제공 장치는 구현에 따라서 획득부(524)를 더 구비할 수 있다. 분석부(521), 전송부(522), 출력부(523) 및 획득부(522)는 소프트웨어 모듈 형태로 메모리(52)에 저장되고, 제어부(51)에 의해 수행되어 해당 기능을 구현할 수 있다.

분석부(521)는 애완동물에 부착된 모바일 디바이스 내의 자이로 센서 및 가속도 센서에서 획득한 센싱 값들에 기초하여 애완동물의 행동을 분석한다. 분석부(521)는 고속 푸리에 변환 기반의 알고리즘을 포함할 수 있다.

전송부(522)는 애완동물의 행동을 분석한 행동추론 데이터를 서버로 전송한다. 전송부(522)는 통신 모듈을 포함할 수 있다.

출력부(523)는 서버 측에서 전자 장치 즉 사용자 단말(50)에 제공하는 위젯 화면을 통해 애완동물의 행태 또는 감정을 디스플레이 화면에 출력한다.

획득부(524)는 위젯 화면에서 사용자 입력이나 명령 신호를 획득한다. 획득부(524)는 아날로그 디지털 변환 회로나 이 회로에 연결되는 신호 입력부를 포함할 수 있다.

도 5는 도 4의 사용자 단말에 탑재되는 인터페이스 제공 장치의 분석부의 주요 동작을 설명하기 위한 순서도이다.

본 실시예에 따른 인터페이스 제공 장치는 센서 데이터와 행동위젯 데이터를 구분하여 분석서버와 앱서버에 전송할 수 있다.

이를 위해, 인터페이스 제공 장치의 분석부는, 도 5에 도시한 바와 같이, 먼저 시계열적으로 입력되는 센서 데이터를 인식된 디바이스별로 배열하거나 저장한다(S51). 여기서 인식된 디바이스는 고유 성질의 파라미터를 측정하는 센서를 지칭하는 것으로, 단일 디바이스에 복수의 센서들이 탑재되는 경우, 각 센서별로 센서 데이터가 배열되거나 저장될 수 있다.

다음, 구분 배열되는 각 센서 데이터가 분석 필요 데이터인지를 판단한다(S52). 물론, 본 단계(S52)는 분석이 불필요한 데이터인지를 판단하도록 설정될 수 있다.

상기 단계(S52)의 판단 결과, 분석 필요 데이터이면, 분석부는 분석 서버로 전송하기 위한 데이터 셋을 생성한다(S53). 이러한 데이터 셋은 센서 로 데이터(sensor raw data)에 대응될 수 있으며, 가속도 데이터와 각속도 데이터를 포함할 수 있다. 또한, 데이터 셋은 행동추론 데이터로서 가속도 데이터와 각속도 데이터에서 추론된 애완동물의 행동추론 데이터일 수 있다.

한편, 상기 단계(S52)의 판단 결과, 분석 필요 데이터가 아니면, 분석부는 앱 서버로 전송하기 위한 데이터 셋을 생성할 수 있다(S54). 앱 서버로 전송되는 데이터 셋은 카메라 영상, 소리 데이터 등으로 사용자 단말이나 소셜 네트워크 서비스 서버에서 바로 이용할 수 있는 데이터를 포함할 수 있다.

도 6은 도 4의 사용자 단말에 탑재되는 인터페이스 제공 장치의 작동 원리를 설명하기 위한 흐름도이다.

도 6을 참조하면, 본 실시예에 따른 애완동물 상태 분석 시스템은, 분석 서버(150)를 포함하고, 블루투스 장치(BLE Device, 10a)를 통해 수집되는 센서 데이터를 사용자 단말의 애플리케이션(user terminal application, UT App., 50a)을 통해 수신할 수 있다. 애완동물 상태 분석 시스템은 분석 서버(150)에 연결되는 앱 서버(190)를 더 포함하거나 별도의 앱 서버(190)와 연동할 수 있다. 블루투스 장치(10a)는 애완동물에 착용되는 웨어러블 장치일 수 있다. 사용자 단말 애플리케이션(50a)은 간략히 유저 앱으로 지칭될 수 있다.

애완동물 상태 분석 시스템의 작동 원리를 좀더 구체적으로 설명하면, 먼저 블루투스 장치(10a)는 주기적으로 활성화(wake up)되어 수집되는 데이터를 무선 송출(broadcast)할 수 있다(S61). 데이터의 식별을 위해 송출되는 데이터는 UUID(universally unique identifier)와 같은 식별자를 포함할 수 있다.

다음, 유저 앱(50a)은 식별자를 통해 블루투스 장치(10a)를 인식하고 소정의 접속 절차에 따라 블루투스 장치(10a)와 연결되고 센서 데이터를 요청(request sensor data)할 수 있다(S62). 센서 데이터는 3축 가속도 데이터와 3축 각속도 데이터를 포함할 수 있고, 구현에 따라서 소리 데이터를 포함할 수 있다. 블루투스 장치(10a)는 유저 앱(50a)의 요청에 따라 센서 데이터를 유저 앱(50a)에 제공(response sensor data)할 수 있다(S63).

다음, 유저 앱(50a)은 분석이 필요한 데이터(이하, sensor raw data)를 주기적으로 분석 서버(150)에 전송할 수 있다(S64). 이때, 센서 로 데이터(sensor raw data)는 데이터 종류 및 전송 정책에 따라 데이터량에 상당한 차이가 있다. 따라서, 분석 서버(150)는 유저 앱(50a) 및/또는 분석 서버(150) 사이에는 데이터 종류 및 전송 정책의 미리 결정되어 있을 수 있다. 물론, 데이터 종류 및 전송 정책은 실시간 조정 가능하게 사용자 인터페이스와 결합된 형태로 유저 앱(50a) 및/또는 분석 서버(150)에 설정될 수 있다.

다음, 분석 서버(150)는 분석 완료 패턴 정보를 주기적으로 앱 서버(190) 등에 제공할 수 있다(S65). 분석 완료 패턴 정보는 애완동물의 기분이나 상태에 관한 정보를 포함할 수 있으며, 이러한 정보는 앱 서버(190) 등을 통해 사용자 단말이나 소셜 네트워크 서비스 등에 제공될 수 있다.

한편, 유저 앱(50a)은 분석이 불필요한 데이터를 주기적으로 혹은 간헐적으로 앱 서버(190)에 전송할 수 있다(S66). 분석이 불필요한 데이터는 영상 데이터, 소리 데이터 등을 포함할 수 있고, 분석이 필요한 데이터와 부분적으로 중복될 수 있다. 이러한 분석이 불필요한 데이터는 앱 서버(190)를 통해 사용자 단말에서 직접 이용할 수 있도록 중계되거나 제공될 수 있다.

또한, 유저 앱(50a)은 앱 서버(190)에 애완동물의 패턴 데이터를 요청할 수 있다(S67). 그 경우, 앱 서버(50a)는 사용자의 요청에 따라 애완동물의 패턴 데이터를 유저 앱(50a)에 제공할 수 있다(S68).

본 실시예에 의하면, 분석 서버(150) 또는 앱 서버(190)는 유저 앱(50a)의 중계를 통해 디바이스에서 전송되는 센서 데이터를 수신할 수 있다. 이때, 유저 앱(50a)은 미리 설정된 기준에 따라 분석이 필요한 데이터를 분석 서버(150)에 전송하고 분석이 필요하지 않은 데이터를 앱 서버(190)에 전송할 수 있다. 그리고, 유저 앱(50a)은 애완동물의 기분이나 상태를 표현하는 최종 패턴 데이터를 앱 서버(190)에 요청하여 획득하고 사용자 단말의 화면에 표시하거나 사용자 단말에서 출력할 수 있다.

또한, 본 실시예에 의하면, 인터페이스 제공 장치는 분석서버 및 앱서버와 연동하여 애완동물에 인접하게 위치하는 모바일 디바이스의 센서 데이터를 획득하고, 센서 데이터의 일부를 처리하여 애완동물의 형태나 감정에 대한 행동위젯 데이터를 실시간 화면에 표시할 수 있다.

도 7은 본 발명의 실시예에 채용할 수 있는 센서 데이터를 설명하기 위한 도면이다. 도 8은 도 7의 센서 데이터에서 애완동물의 행동을 추론하는 동작 원리를 설명하기 위한 도면이다.

본 실시예에 따른 사용자 단말이나 사용자 단말에 탑재되는 행동위젯은, 센서 데이터에서 애완동물의 행동을 분석하고 분석한 행동/액션을 시계열적으로 배열한 액션 배열을 생성할 수 있다. 액션 배열은 복수의 시계열 센서 데이터에 대한 애완동물의 연속적인 행동들에 대한 정보를 포함할 수 있다. 연속적인 행동들에 대한 정보는 중단없는 시간의 연속이 아닌 시간 흐름에 따른 일련의 행동들에 대한 정보 또는 그 집합일 수 있다.

센서 데이터는 도 7에 도시한 바와 같이 3축 가속도 데이터(ACC_X, ACC_Y, ACC_Z)와 3축 각속도 데이터(GYR_X, GYR_Y, GYR_Z)를 포함할 수 있다. 3축 가속도 데이터는 애완동물에 착용된 웨어러블 센서에서 획득될 수 있다. 이 웨어러블 센서는 가속도 센서와 자이로 센서를 포함할 수 있다. 자이로 센서를 6축 자이로 센서일 수 있으나, 이에 한정되지는 않는다.

또한, 액션 배열 생성부(152)는 시계열 상의 센서 데이터에 대히 미리 설정된 윈도우 사이즈에서 각각 나타나는 가속도 성분과 각속도 성분에 의해 결정되거나 라벨(label)되는 분석 결과를 애완동물의 행동으로 선택, 추출 혹은 결정할 수 있다. 즉, 도 7에서 특정 시점(t1)이나 특정 시점을 포함하는 단위 윈도우 구간에서 3축 가속도 데이터와 3축 각속도 데이터 각각은 특정한 파형 패턴들을 나타내며 이들의 조합은 애완동물의 특정 행동과 매칭되도록 설정될 수 있다.

일례로, 도 8에 도시한 바와 같이, 애완동물이 개(a dog)인 경우, 애완동물이 서 있는 상태는 (a)에 도시된 고속 푸리에 변환(fast fourier transform, FFT) 특징에 대응하고, 애완동물이 걷고 있는 행동은 (b)에 도시된 FFT 특징에 대응하며, 애완동물이 달리고 있는 행동은 (c)에 도시된 FFT 특징에 대응할 수 있다.

도 8의 (b)는 도 8의 (a)와 대비할 대, 점선 E1으로 표시된 부분과 같이 일정 이상 레벨의 이벤트가 일정 시간 동안 일정 횟수(예컨대, 1회 이하)인 경우에 대응될 수 있다. 그리고 도 8의 (c)는 일정 시간 동안 일정 이상 레벨의 이벤트가 점선 E2 및 E3으로 표시된 부분들과 같이 일정 횟수(예컨대, 2회 이상)인 경우에 대응될 수 있다. 도 8의 (b) 및 (c)에서의 일정 이상 레벨은 각 그래프에서 볼 수 있듯이 그 기준값이 서로 상이할 수 있다.

전술한 실시예에 의하면, 애완동물의 행동들은 각 행동별 혹은 미리 설정된 클래스별 특정 FFT 특징으로 구분할 수 있다. 여기서, FFT 특징은 FFT 주기성을 포함할 수 있다. 이러한 분류 기준과 방식을 이용하면, 사용자 단말이나 행동위젯에서 애완동물의 다양한 상태나 동적 동작을 구분하는 것이 가능하다.

고속 푸리에 변환 기반으로 애완동물의 행동을 추론하는 과정을 예시하면, 사용자 단말이나 행동위젯은 주파수 분석부, FFT(fast fourier transform) 적용부 및 합산부를 구비할 수 있다.

전술한 경우, 주파수 분석부는 가속도 센서 및 각속도 센서의 데이터에 포함된 주파수 정보를 분석한다. 주파수 정보 내 주파수들은 미리 설정된 반려동물의 상태나 행동들에 따라 복수의 구간으로 구분될 수 있다.

FFT(fast fourier transform) 적용부는 직각좌표계의 3축 각각에 대한 센싱 값들에 대해 고속 푸리에 변환을 적용할 수 있다. 또한, FFT 적용부는 센서 데이터의 가속도 및 각속도 센싱 값들에 포함된 직각좌표계의 3축 각각에 대응하는 센싱 값들에 대해 고속 푸리에 변환을 수행할 수 있다.

합산부는 FFT 적용부(1523)에서 고속 푸리에 변환이 적용된 3축 가속도 데이터 및 3축 각속도 데이터를 각각 합산한다. 즉, 합산부는 FFT 적용부에서 고속 푸리에 변환이 적용된 3축 가속도 데이터 및 3축 각속도 데이터를 복수의 구간으로 각각 나누어 FFT 결과를 합산할 수 있다.

또한, 합산부는 구현에 따라서 4개의 구간으로 나눈 3축 가속도 데이터를 합산하여 4개의 특징 값을 추출하고, 4개의 구간으로 나눈 3축 각속도 데이터를 합산하여 또 다른 4개의 특징 값을 추출할 수 있다. 구간은 애완동물의 행위에 대응하는 주요 주파수 대역으로 설정될 수 있다.

예를 들어, 눕거나 앉거나 서있기 구간(자세, posture 구간이라 함)은 0 내지 1 구간으로 0.8㎐ 이하의 주파수 대역에 대응하고, 걷기(walking) 구간은 2 내지 4 구간으로 0.8㎐ 초과에서 3.1㎐ 이하의 주파수 대역에 대응하고, 빨리 걷기(fast walking) 또는 마시기(drinking) 구간은 5 내지 8 구간으로 3.1㎐ 초과에서 6.4㎐ 이하의 주파수 대역에 대응하고, 흔들기(shaking) 또는 달리기(running) 구간은 9 내지 13 구간으로 6.4㎐ 초과에서 10.1㎐ 이하의 주파수 대역에 대응할 수 있다. 이러한 구간의 갯수나 구간 사이즈는 클래스에 따라 다를 수 있다. 클래스는 미리 설정된 애완동물의 적어도 하나의 특정 행위에 대응될 수 있다.

위와 같은 구간의 분할(segmentation)에 의하면, 애완동물의 행동 구분에 대한 정확성을 향상시킬 수 있다. 더욱이, 애완동물의 동작이나 행위들에 대하여 미리 구분된 주요 행위나 동작을 제1 세그멘테이션하고, 주요 행위나 동작의 변형 행위나 동작을 제2 세그멘테이션하여 적용하면, 애완동물의 특정 행동에 대한 구분 정확도는 약간 떨어질 수 있으나, 전체적인 행동 분석의 신뢰도는 크게 향상시킬 수 있다. 그것은 주요 행위나 동작에 대하여만 분석하지 않고, 실질적으로 그리고 상대적으로 애완동물의 행위나 동작 전체에 대하여 분석하고자 하는 것으로 누락되는 분석 데이터를 차단하여 분석 신뢰도를 높일 수 있다. 이 경우, 센서 데이터량, 데이터 처리량 및 데이터 처리 시간이 증가하므로, 고속 데이터 처리 환경에 적용하는 것이 바람직하다.

전술한 실시예에서, 소정의 시간 동안의 제1 및 제2 세그멘테이션들의 정확도 및 센서 데이터 중 태깅한 데이터의 백분율을 곱으로 행동 분류의 예측정확도 지수를 계산할 수 있다. 그 경우, 애완동물의 행동 분류 또는 행동 분석에 대한 예측정확도 지수는 SNS 서버나 앱 서버를 통해 게이트웨이나 모바일 단말 혹은 사용자 단말에 제공될 수 있다.

도 9는 도 7의 센서 데이터에서 애완동물의 행동을 추론하는 동작 원리의 다른 예를 설명하기 위한 도면이다.

본 실시예에 따른 행동 위젯이나 행동 위젯이 탑재된 전자 장치는, 센서 데이터에서 애완동물의 행동(action)을 분석하거나 추론한다.

일례로, 도 9에 도시한 바와 같이, 사용자 단말에 대응하는 전자 장치나 행동 위젯은 시계열적으로 입력되는 센서 데이터(sensor data)에서 윈도우 구간들(w1 ~ w6)에서 주파수를 분석하여 각 윈도우 구간에 대응하는 행동(action)을 선택할 수 있다. 윈도우 구간들 간의 시간 길이(p1, p2)는 서로 동일하거나 다를 수 있다.

애완동물의 행동에 대응한 액션 배열의 원소(cue, 70)는 서기(standing, S), 걷기(walking, W), 눕기(lying, L) 등을 포함할 수 있다. 액션 배열의 원소는 큐(queue)일 수 있으며, 그 경우, 액션 배열의 원소는 먼저 입력된 데이터가 먼저 출력되는 구조로 저장되거나 처리될 수 있다.

도 10은 도 4의 사용자 단말에서 수집되는 소리 데이터를 설명하기 위한 도면이다.

본 실시예에 따른 행동위젯이나 이를 탑재한 전자 장치는, 센서 데이터에 포함된 소리 데이터를 더 이용하도록 구현될 수 있다. 소리 데이터는 애완동물에 착용되는 웨어리블 센서나 마이크로폰(도 2의 참조부호 9 참조) 혹은 애완동물 주변에 설치되는 다른 마이크로폰에 의해 수집될 수 있다.

소리 데이터를 FFT 변환하면, 애완동물의 행동이나 상태를 반영하는 소리 데이터에서는 일정 패턴를 나타낸다. 예를 들면, 짖기(barking)에 대응하는 소리 데이터는 도 10의 (a) 또는 (b)에 도시한 바와 같은 주파수 형태를 나타내고, 으르렁거리기(growling)에 대응하는 소리 데이터는 도 10의 (c) 또는 (d)에 도시한 바와 같은 주파수 형태를 나타낸다. 독특한 주파수 형태의 소리 데이터는 짖기 또는 으르렁거리기 외에 울부짖기(howling), 징징거리기(whining) 등에서도 나타난다. 도 10에서 각 소리 데이터는 윈도우 사이즈로 설정되는 0.5초 구간에서 추출한 데이터에 대응된다.

이와 같이, 소리 데이터를 소정 구간의 윈도우 사이즈에서 추출하고, 추출한 소리 데이터에 기초하여 애완동물의 기분이나 상태를 식별할 수 있다. 특히, 본 실시예에서는 가속도 데이터와 각속도 데이터를 포함한 센서 데이터와 상기의 소리 데이터를 조합하여 애완동물의 행동을 좀더 정확하게 식별하거나 추론할 수 있다.

일례로, 시계열적으로 입력되거나 배열되는 3축 가속도 데이터와 3축 각속도 데이터의 특정 시점을 포함한 윈도우 사이즈(구간)에서 애완동물의 행동을 추론할 때, 해당 특정 시점을 포함한 윈도우 사이즈 범위에 대응하는 소리 데이터에 기초하여 애완동물의 특정 구간에서의 행동 추론을 보정하거나, 행동 추론에 대한 가중치의 적용 여부를 결정하거나, 행동 추론에 대한 가중치를 세기/수준을 조정할 수 있다.

전술한 소리 데이터는 복수의 소리 데이터가 혼합된 매시업 데이터(mash up data)일 수 있으며, 그 경우, 사용자 단말, 전자 장치 또는 행동 위젯은 데이터 변환 및 정규화 과정을 위한 수단이나 이러한 수단에 상응하는 기능을 수행하는 구성부를 추가로 구비할 수 있다. 또한, 소리 데이터는 FFT, MFCC(mel-frequency cepstral coefficient) 등을 통한 분석이나 사운드 카드(sound card) 등을 통한 자동 인식에 의해 획득될 수 있다. 아울러, 소리 데이터는 윈도우 사이즈나 분석 시점 등에 따라 인식 기준이 달라질 수 있으므로, 센서 데이터의 추출/분석 시점에 대응하여 추출하여 이용하는 것이 바람직하다.

또한, 전술한 소리 데이터는 기본적인 틀로서 패턴 인식 방법들 중 하나인 k-최근접 이웃 알고리즘(fast k nearest neighbor, KNN 또는 k-NN)을 사용하는 분석 서버의 분류기를 통해 인식될 수 있다. KNN 분류기는 소리 데이터의 윈도우 구간에서 특징을 추출하는 특징 추출부, 특징 추출부에서 추출된 데이터 셋(트레이닝 셋 또는 'training set'이라고도 함)을 KNN을 통해 학습하는 학습부, 학습부에서 인식된 KNN 클래스를 다시 결합하여 결과 셋(result set)을 생성하는 결과셋 생성부, 결과셋 생성부에서 생성된 결과 셋 데이터에서 애완동물의 특정 기분이나 상태에 대한 최대 확률을 인식하는 확률 인식부를 구비할 수 있다. 특징 추출부에서 소리 데이터는 MFCC를 통해 분할될 수 있다. 최대 확률은 가장 높은 빈도의 클래스에 대응될 수 있다. 여기서 클래스는 미리 설정된 애완동물의 기분이나 상태에 대응될 수 있다.

전술한 KNN 분류기는 KNN을 통해 도출된 예측 클래스에 대한 확률 추가로 가장 높은 빈도의 클래스를 추출함으로써 애완동물의 기분이나 상태에 대한 최종 인식의 정확도를 크게 향상시킬 수 있다.

도 11은 도 1의 시스템 내 분석 서버에서 채용할 수 있는 행동-상태 매트릭스를 예시한 도면이다.

본 실시예에 따른 행동 위젯이나 이를 탑재한 전자 장치로부터 센서 데이터, 액션 배열 또는 행동추론 데이터를 받는 분석 서버는 액션 배열에 대응하는 애완동물의 기분이나 상태를 추론한다. 이때, 분석 서버는, 미리 설정된 액션-상태 테이블(152)을 이용하여 애완동물의 기분이나 상태를 추론할 수 있다.

액션-상태 테이블(152)은 미리 설정된 애완동물의 기분이나 상태를 가로열 또는 세로열 항목으로 구비하고, 미리 설정된 애완동물의 행동을 세로열 또는 가로열 항목으로 구비할 수 있다.

애완동물의 행동은 눕기(lying; lie down), 앉기(sitting), 서기(standing), 떨기(오한, 전율; shievering), 짖기(barking), 먹기(eating), 마시기(drinking), 점프하기(jumping), 걷기(walking), 빨리 걷기(fast walking), 달리기(running), 흔들기(shaking), 씹기(chewing), 배설하기(excreting), 앞발로 차거나 긁기(pawing), 털기(shakeoff), 냄새맡기(sniffing), 세게 때리기(licking), 헐떡거리기(panting), 웅크리기(crouch) 등에서 선택되는 복수의 행동을 포함할 수 있다.

애완동물의 행동은 FFT 적용부에 의해 적용가능한 행동들에 대하여 선택적으로 설정될 수 있다. 본 실시예에서는 기본적으로 눕기(lying), 앉기(sitting), 서기(standing), 떨림(오한, 전율), 짖기(barking), 먹기(eating), 마시기(drinking), 점프하기(jumping), 걷기(walking), 빨리 걷기(fast walking), 달리기(running) 및 흔들어 털기(shaking)를 기본 행동들로 설정하나, 이에 한정되지는 않는다.

애완동물의 기분이나 상태는 고통(pain), 배고픔(hunger), 공포(fear), 외로움(loneliness), 즐거움(enjoy), 편안함(comfort), 위안(fright) 또는 이들의 조합을 포함할 수 있다.

전술한 액션-상태 테이블(152)은 수의사, 동물학자 등의 전문가가 실제 애완동물의 기분이나 상태를 판단한 자료와 대조하여 그 신뢰도를 향상시킨 것일 수 있다.

본 실시예에 의하면, 액션 배열 생성부(152)에서 생성되는 액션 배열에 따라 액션-상태 테이블을 통해 신속하고 정확하게 애완동물의 기분이나 상태를 분석할 수 있다.

도 12는 도 11의 행동-상태 매트릭스를 이용한 애완동물의 상태추론 과정을 설명하기 위한 도면이다.

본 실시예에서, 분석 서버는 도 11을 참조하여 앞서 설명한 행동-상태 매트릭스를 참조하여 액션 배열에 대한 포인팅 작업을 수행할 수 있다. 포인팅 작업은 가로, 세로, 대각선 등의 방향이나 배열에서 액션 배열 내 FFT 값들의 배열과 가장 유사한 상태 포인트를 만드는 것을 포함할 수 있다.

다시 말하면, 도 12에 도시한 바와 같이, 걷기 구간에 대응하는 제1 행동(A1) 구간에서의 1회 타임의 걷기 행위(W)와, 눕기 구간에 대응하는 제2 행동(A2) 구간에서의 2회 타임의 눕기 행위(L, L)와, 서기 구간에 대응하는 제3 행동(A3) 구간에서의 3회 타임의 서기 행위(S, S, S)의 그룹으로 정의되는 특정한 일련의 행동에 기초하여 애완동물의 기분이 상태를 추론할 수 있다.

도 13은 도 11의 행동-상태 매트릭스를 이용하여 애완동물의 기분이나 상태를 추론하는 과정을 설명하기 위한 도면이다.

도 13에 도시한 바와 같이, 먼저 제1 단계에서, 액션 배열을 생성할 수 있다(S131). 액션 배열, Action[6]은 {walking, lying, lying, standing, standing, standing}의 집합으로 생성될 수 있다.

다음, 액션-상태 매트릭스(도 11의 152 참조)을 참조하여 액션 배열에 대한 포인팅 작업을 수행하여 상태 포인트를 만들 수 있다(S132). 상태 포인트, StatePoint[6]는 {23, -2, -4, 10, 1, 14}의 집합으로 생성될 수 있다.

다음, 상태 포인트 내 각 특징 값이 가리키는 최고 상태를 추론한다(S133). 상기 상태 포인트에 대한 최고 상태, MaxState(StatePoint[])는 특정 상태 인덱스인 "0"을 가질 수 있다. 상태 인덱스는 애완동물의 기분이나 상태를 숫자로 표시한 것으로, 0은 고통(pain), 1은 배고픔(hunger), 2는 공포(fear), 3은 외로움(loneliness), 4는 즐거움(enjoy) 그리고 5는 편안함(comfort)에 각각 대응할 수 있다.

상기의 일련의 과정들에 의하면, 본 실시예에 따른 애완동물 상태 분석 방법은 현재 애완동물의 기분이나 상태를 "고통(Pain)"으로 분석할 수 있다(S134). 이러한 분석 결과는 시스템의 설정이나 사용자 계정 내 메뉴/항목의 설정에 따라 사용자의 모바일 단말로 실시간 전달되어 사용자가 자신의 애완동물을 케어하도록 알림 서비스를 제공할 수 있다.

본 실시예에 의하면, 모바일 디바이스에 적용중인 다양한 센서 기술을 활용하여 애완동물의 행동(action)과 상태(state)를 간편하고 정확하게 추론할 수 있다. 또한, 추론한 애완동물의 행동과 상태에 기초하여 애완동물의 기분을 파악하고, 이러한 파악 정보나 애완동물의 니즈 예측 정보를 애완동물의 주인 등에게 제공하여 주인을 통해 애완동물에게 필요한 니즈를 제공하도록 할 수 있고, 그에 의해 애완동물의 케어나 복지를 향상시킬 수 있다. 게다가, 애완동물의 기분이나 상태를 애완동물의 소유자에게 제공함으로써 애완동물과 사람 사이의 커뮤니케이션을 도와줄 수 있다.

도 14 내지 도 22는 도 3의 사용자 단말의 그래픽 사용자 인터페이스의 작동 원리를 설명하기 위한 예시도들이다.

도 14를 참조하면, 본 실시예에 따른 전자 장치 또는 이에 대응하는 사용자 단말(50)은 디스플레이 화면(500)에서 카메라 링크 아이콘을 클릭할 때 실시간으로 애완동물 주위에 설치된 특정 카메라에 연결되고 카메라의 영상을 받아 화면의 적어도 일부 영역에 표시할 수 있다.

실시간 카메라 영상(513)은 화면(500)의 제3 영역에 표시될 수 있다. 이때 마이크 아이콘을 선택하면, 애완동물 주변에 설치된 마이크로폰이나 애완동물의 웨어러블 디바이스에 설치된 마이크로폰(도 2의 9 참조)에 연결되고 마이크로폰의 활성화에 따라 소리 데이터를 획득할 수 있다. 이 경우, 사용자 단말(50)은 앱 서버에 소리 데이터를 요청하고, 수신한 소리 데이터를 실시간 영상과 동기하여 출력할 수 있다.

또한, 사용자 단말(50)이나 이에 탑재되는 행동위젯은 카메라 아이콘을 선택하면 현재의 영상을 캡쳐하거나 현재의 카메라 연결을 종료하도록 설정될 수 있다.

그리고, 메뉴영역(504)에서 특정 메뉴 아이콘이나 메뉴항목이 선택되면 해당 화면, 페이지, 레이어 또는 링크 대상으로 진행할 수 있다.

또한, 메뉴역역(504)에서 메뉴항목을 선택하여 행동위젯의 색상, 배경 등을 사용자 임의로 설정하는 것이 가능하다.

일례로, 도 15에 도시한 바와 같이, 행동위젯은 화면(500) 상단에서 애완동물의 이름과 사진을 흰색 바탕에 표시하고, 하단에서 애완동물의 감정 추론 결과인 'I'm Hungry' 및 하루동안 섭취한 칼로리인 250㎉를 그래픽과 문자로 각각 표시할 수 있다. 하루동안 섭취한 칼로리는 애완동물에게 먹이를 자동 공급하는 피더(feeder)의 센서 데이터에 기초하여 계산될 수 있다.

또한, 도 16에 도시한 바와 같이, 행동위젯은 화면(500)에 활동성(activity)과 감정(emotion)을 직관적인 사용자 인터페이스(user interface, UI)를 사용하여 표시할 수 있다. 직관적인 인터페이스는 비율에 대한 문자와 이 문자에 대응하는 이미지를 포함할 수 있고, 픽토그램(pictogram)을 사용하여 구현될 수 있다.

활동성이나 감정에 대한 추론 결과에 따라, 행동위젯은 이상행동 알람(516)을 표시할 수 있다. 이상행동 알람은 '반려견(puppy happy)의 상태에 이상이 있는 것 같습니다. 확인해 주십시오' 등과 같은 안내 문구를 포함할 수 있다.

또한, 이상행동 알람(516) 영역이 클릭되면, 행동위젯은 이상행동 알람에 대한 좀더 구체적인 세부정보를 확장 윈도우 등의 형태로 안내할 수 있다. 일례로, 행동위젯은 세부정보로서 '밥먹은지 6시간이 지났습니다' 등과 같은 안내 문구를 추가로 제공하도록 설치될 수 있다.

전술한 이상행동 알람은 애완동물의 행태, 감정 또는 활동 패턴의 분석에 따른 결과에서 고통, 공포, 외로움 각각이 소정의 기준값이나 최대값 이상인 경우, 혹은 상기 감정들의 수치를 더한 값이나 비율이 단위 시간당 40%를 넘거나 상기의 상태가 일정 시간(예컨대, 5분) 이상 지속되는 경우에 발생될 수 있다.

한편, 행동위젯은, 도 17의 (a)에 도시한 바와 같이, 이상행동 알람(516)을 표시하는 영역에 병원찾기와 관련된 아이콘(516a)을 추가하여 사용자가 링크를 통해 제공되는 병원 안내를 통해 사용자 또는 애완동물 주변의 동물병원을 빠르고 쉽게 찾을 수 있도록 서비스할 수 있다. 아울러, 행동위젯은 이상행동 알람의 내용에 따라 병원찾기 아이콘(516a)을 운동코스찾기, 친구찾기 등의 다른 아이콘으로 대체할 수 있다.

또한, 행동위젯은, 도 17의 (b)에 도시한 바와 같이, 이상행동 알람의 세부정보를 표시하는 서브영역(516s)에 세부정보에 따라 소정의 사용자 인터페이스를 추가할 수 있다. 일례로, 행동위젯은 서브영역(516s)에 밥주기와 관련된 아이콘(516b)을 추가하고, 사용자가 밥주기 아이콘(516b)을 클릭할 때, 애완동물 주변에 설치된 피더에서 일정량의 사료가 배출되도록 동작할 수 있다. 아울러, 행동위젯은 서브영역(516s)에 세일(sale)과 관련된 아이콘(516c)을 추가하고, 사용자가 세일 아이콘(516c)을 선택할 때, 애완동물 사료 구매와 관련된 정보나 애완동물 사료 판매 정보 등을 제공할 수 있다.

한편, 사용자 단말(50)의 화면(500) 하단의 메뉴영역에서 애완동물 메뉴가 선택되면, 행동위젯은 도 18에 도시한 바와 같이 애완동물의 프로필과 하루 일정 등 애완동물에 대한 상세 정보을 표시하는 애완동물 프로필 화면(517)을 출력할 수 있다.

또한, 사용자 단말(50)의 화면(500) 하단의 메뉴영역에서 다이어리(diary) 메뉴가 선택되면, 행동위젯은 도 19에 도시한 바와 같이 화면(500)의 상단 영역(518)에 달력을 표시하고, 하단 영역(518a)에 SNS 친구들의 사진을 표시할 수 있다. 친구들의 사진에는 각 친구의 SNS 페이지에 연결되는 링크가 구비될 수 있다.

한편, 상기의 화면들 중 적어도 어느 하나에 추가되는 차트(chart) 아이콘이 클릭되거나, 화면(500)의 제2 영역(도 3의 502 참조)이 선택되면, 행동위젯은 도 20에 도시한 바와 같이 오늘의 애완동물의 활동상황과 감정을 그래프로 표시할 수 있다. 이러한 그래프는 화면의 중간 영역(519)에 표시될 수 있다. 아울러, 행동위젯은 상기의 감정 그래프 하단의 다른 항목에 대한 아이콘이 선택될 때 해당 그래프를 화면에 표시할 수 있다. 다른 항목은 무게(weight), 음식(food), 놀이(play), 칼로리(calorie) 등을 포함할 수 있다.

또한, 상기 중간 영역(519) 아래쪽의 하부 영역(519a)에는 애완동물의 감정이나 기분에 대한 6개의 아이콘들 중 그래프에 대응하는 아이콘이 강조되어 표시될 수 있다. 6개의 아이콘들은 즐거움(happy), 고통(pain), 고통(fear), 외로움(lonely), 배고픔(hungry) 및 편안함(comport)을 포함할 수 있다.

한편, 상기의 화면들 중 적어도 어느 하나에 추가되는 주변친구(friend around) 아이콘이 클릭되거나, 화면(500)의 메뉴영역 내 주변친구 항목이 선택되면, 행동위젯은 도 21에 도시한 바와 같이 마을의 지도 페이지(520)와 함께 친구사람, 친구개, 감성 장소(EQ place) 등의 세부항목들을 표시할 수 있다. 세부항목들 중 카메라가 선택되면 미리 설정된 증강현실 서비스가 구동하여 사용자 단말의 현재 위치에서 카메라로 촬영되는 영상 상에 상기의 세부항목들을 증강현실 형태로 표시할 수 있다.

증강현실 화면은 구글지도 등과 같이 인터넷 상에서 서비스되는 지도 상에 아이콘 형태의 세부항목을 중첩한 형태로 표시될 수 있다. 또한, 증강현실 화면은 지도 상에 내 주변의 가족, 친구, 팔로잉, 팔로워를 아이콘이나 3차원 객체 형태로 함께 표시할 수 있다. 또한, 사용자나 다른 사람들의 위치 정보에 대한 이용이 허용된 경우 실시간 위치가 표시되고, 위치 정보의 이용이 허용되지 않은 경우 개인정보나 프로필에 등록된 주소에 대응하는 위치가 반영되어 표시될 수 있다. 상기의 세부항목들은 지도 영상에 중첩되는 레이어 형태로 표현될 수 있다.

한편, 사용자 단말의 화면에 추가되는 증강현실(augmented reality, AR) 아이콘이 클릭되거나, 화면(500)의 메뉴영역 내 AR 항목이 선택되면, 행동위젯은 도 22에 도시한 바와 같이 디스플레이 화면(500)에 증강현실 화면(530)을 표시할 수 이다. 그 경우, 행동위젯은 주변친구 서비스와 유사하게 화면(500)에 출력되는 카메라의 실시간 영상에 영상 내 주소에 위치하거나 대응하는 주변친구나 애완동물을 표시할 수 있다. 이러한 주변친구 아이콘(532)은 증강현실 서비스의 소정 항목(일례로, 타겟)으로 이용될 수 있다.

도 23 내지 도 27은 도 3의 사용자 단말의 그래픽 사용자 인터페이스의 작동 원리의 또 다른 실시예를 설명하기 위한 예시도들이다.

도 23을 참조하면, 본 실시예에 따른 전자 장치 또는 이에 대응하는 사용자 단말(50)은 디스플레이 화면(500)에서 애완동물의 행태, 감정, 기분, 상태 또는 이들의 조합을 행동위젯을 통해 표시할 수 있다.

행동위젯은 메인화면(540)의 우측 상단에 표시된 온/오프 스위치에 의해 활성 또는 비활성될 수 있다. 메인화면(540)에는 애완동물의 현재 상태, 예컨대 "똘망이가 자고 있어요~"와 강아지가 잠자는 이미지가 표시될 수 있다. 이미지는 애완동물의 다른 상태 즉, 서기, 걷기, 빨리 걷기, 달리기 등의 행태에 따라 다른 이미지들(541, 542, 543, 544) 중 어느 하나로 대체될 수 있다.

또한, 행동위젯은 메인화면(540)의 하부측에 6개의 대표 감정들에 대한 픽토그램(545)에서 현재의 애완동물의 행태나 상태에 해당하는 하나를 강조하여 애완동물의 감정이나 기분을 표시할 수 있다. 물론, 메인화면(540), 이미지 및 픽토그램(545) 중 어느 하나에는 연결 링크가 설정되어 해당 페이지나 사이트로 연결될 수 있다. 연결 링크는 하이퍼링크에 대응될 수 있다.

메인화면(540), 이미지 및 픽토그램(545) 중 어느 하나가 선택되면, 행동위젯은 도 24에 도시한 바와 같이 애완동물의 활동량을 보여주는 화면(이하, 활동량 화면, 546)을 표시할 수 있다. 활동량은 픽토그램 형태의 메인이미지와 놀이, 활동, 휴식, 기타, 칼로리를 각각 표시하는 서브이미지들로 표시될 수 있다.

또한, 활동량 화면(546)의 특정 영역이나 이미지가 클릭되면, 행동위젯은 도 25에 도시한 바와 같이 각 활동량에 대한 상세정보를 함께 보여주는 화면(이하, 활동량 상세화면, 547)을 표시할 수 있다. 활동량 상세정보는 요구/필요 활동량에 대한 현재 활동량을 점수(point) 형태로 표시하거나, 전일활동량을 참조할 수 있는 연결 링크를 제공하거나, 놀이, 활동, 휴식, 이상행동에 대한 요구/필요 시간에 대한 이행 시간 형태로 표시될 수 있다.

한편, 메인화면, 활동량 화면, 또는 활동량 상세화면에서 사용자 단말의 화면(500) 좌측 상단에 표시되는 메뉴 항목이 선택되면, 행동위젯은 도 26에 도시한 바와 같이 내계정, 프로필, 알림장, 이상행동 알림, 칼로리 계산, 산택다이어리, 설정, 로그아웃의 항목들이 나열되는 메뉴보드(548)를 중첩 레이어 형태로 표시할 수 있다.

한편, 메인화면, 활동량 화면, 또는 활동량 상세화면에 추가되는 활동로그 아이콘이 클릭되거나, 메뉴보드(548)의 칼로리 계산 등의 항목 내 활동로그 항목이 선택되면, 행동위젯은 도 27에 도시한 바와 같이 애완동물의 활동로그와 관련된 화면(이하 활동로그 화면, 549)을 표시할 수 있다.

활동로그 화면(549)은 간헐적으로 혹은 주기적으로 애완동물의 상태를 해당 시간과 함께 문자 형태로 시간 흐름 순으로 표시할 수 있다. 본 실시예에서 행동위젯은 애완동물 행태나 감정 정보를 활동로그 화면(549)에서 문자 형태로 표시하나, 이에 한정되지 않고, 이미지 형태로 표시할 수 있음은 물론이다(도 23의 541 내지 544 참조).

도 28은 본 발명의 또 다른 실시예에 따른 인터페이스 제공 장치를 설명하기 위한 도면이다.

도 28을 참조하면, 본 실시예에 따른 인터페이스 제공 장치는 서버와 연동하여 반려동물의 행위와 활동 패턴을 분석하는 알고리즘이나 모델을 훈련시킬 수 있다. 이를 위해, 인터페이스 제공 장치에 대응하는 사용자 단말(50)은 훈련용 사용자 인터페이스(552)를 제공할 수 있다. 훈련용 사용자 인터페이스(552)는 위젯 애플리케이션의 일부 기능으로 구현될 수 있다.

훈련용 사용자 인터페이스(552)는 애완동물의 현재 행태에 대한 가속도 데이터를 화면의 표시하는 데이터영역(554)과 데이터영역(554)의 주변에 나열되는 행태유형에 대한 아이콘들(556)을 구비할 수 있다.

사용자는 반려동물의 행태에 대한 실시간 센싱 데이터에 대응하는 애완동물을 행동을 직접 보면서 그에 맞는 행동 유형의 아이콘을 선택하여 데이터영역(554)으로 이동시킬 수 있다. 이 경우, 위젯 애플리케이션이나 사용자 단말은 서로 대응되는 센서 데이터와 사용자 입력 데이터를 함께 분석서버로 전송할 수 있다.

분석서버는 센서 데이터와 사용자 입력 데이터에 기초하여 분석 알고리즘을 훈련시킬 수 있다. 분석 알고리즘은 인공지능, 딥러닝, 기계학습 등을 이용하도록 구현될 수 있다.

전술한 바와 같이, 본 실시예에 의하면 모바일 디바이스 또는 센서 디바이스에 적용된 다양한 센서 기술을 이용하여 애완동물의 행동을 추론하고 이를 토대로 분석한 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 또는 이를 포함하는 행동위젯을 효과적으로 제공할 수 있으며, 이에 의해 사용자는 모바일 단말, 컴퓨팅 장치 혹은 기타 전자 장치에 대응하는 사용자 단말을 통해 간편하게 애완동물의 행태, 감정, 기분 또는 상태를 파악할 수 있다. 따라서, 애완동물과 사용자 사이의 커뮤니케이션 증진과 더불어 애완동물의 복지 향상에 기여할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

1. 디스플레이 화면을 포함하는 전자 장치에서 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스를 제공하는 방법으로서,
   애완동물에 부착된 모바일 디바이스 내의 자이로 센서 및 가속도 센서를 포함한 센서에서 획득한 센싱 값들에 기초하여 애완동물의 행동을 분석하는 단계;
   상기 애완동물의 행동을 분석한 행동추론 데이터를 서버로 전송하는 단계; 및
   상기 서버 측에서 상기 모바일 디바이스를 포함한 전자 장치에 제공하는 위젯 화면을 통해 상기 애완동물의 행태 또는 감정을 출력하는 단계를 포함하며,
   상기 위젯 화면은 상기 전자 장치에 탑재되는 위젯 애플리케이션에 의해 제어되고,
   상기 센서의 센서 데이터는 상기 애완동물의 온도를 측정하는 온도 센서로부터의 온도 데이터, 상기 애완동물의 소리를 주파수 신호 형태로 변환하는 마이크로폰로부터의 소리 데이터, 상기 애완동물을 촬영하는 카메라로부터의 영상 데이터, 또는 이들의 조합을 더 포함하며,
   상기 위젯 애플리케이션은 상기 센서 데이터 중 분석할 데이터를 분석 서버로 전송하고, 상기 분석할 데이터가 아닌 데이터를 앱 서버로 전송하는,
   애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
2. 청구항 1에 있어서,
   상기 위젯 화면에서 사용자 입력이나 명령 신호를 획득하는 단계를 더 포함하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
3. 청구항 2에 있어서,
   상기 사용자 입력은 이상행동 알람에 대한 사용자 인터페이스에서 생성되고,
   사용자 단말의 제어부는 상기 사용자 입력에 따라 미리 설정된 사이트, 서버 또는 지정 단말을 연결하거나, 미리 설정된 관련 상품 판매 사이트나 상점 홈페이지를 연결하거나, 미리 설정된 화면을 출력하는,
   애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
4. 삭제
5. 청구항 1에 있어서,
   상기 위젯 애플리케이션은 상기 애완동물의 행태 또는 감정에 따라 위젯 화면의 이미지를 변경하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
6. 청구항 1에 있어서,
   상기 위젯 애플리케이션은 상기 애완동물의 행태 또는 감정의 분석 결과에 따른 이상행동 알람을 상기 위젯 화면에 표시하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
7. 청구항 6에 있어서,
   상기 위젯 애플리케이션은 상기 이상행동 알람의 세부정보에 대응하는 연결 링크를 상기 이상행동 알람의 표시영역에 추가하여 표시하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
8. 삭제
9. 삭제
10. 청구항 1에 있어서,
    상기 위젯 애플리케이션은 현재 위치에 인접하게 위치하는 주변친구나 소셜 네트워크 서비스에서 설정된 친구들 중 일부에 대한 정보를 상기 화면에 출력되는 지도 상에 표시하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
11. 청구항 1에 있어서,
    상기 위젯 애플리케이션은 상기 전자 장치의 카메라에 의해 실시간 촬영되는 주변 영상 상에 현재 위치에 인접하게 위치하는 주변친구나 소셜 네트워크 서비스에서 설정된 친구들 중 일부에 대한 정보를 중첩하여 표시하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
12. 청구항 1에 있어서,
    상기 전자 장치 또는 상기 위젯 애플리케이션은 딥러닝 또는 인공지능 기반의 분석부를 구비하고, 상기 화면에 제공되는 훈련용 사용자 인터페이스를 통해 입력되는 신호 또는 데이터에 기초하여 딥러닝 또는 인공지능의 모델이나 알고리즘을 훈련시키기 위한 정보를 생성하여 서버로 전송하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
13. 청구항 1에 있어서,
    상기 서버는 상기 행동추론 데이터에 기초하여 상기 애완동물의 행태나 감정을 분석하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
14. 청구항 13에 있어서,
    상기 서버는 상기 행동추론 데이터에 포함된 시계열적 액션 배열과 상기 애완동물의 행태나 감정에 대응하여 미리 설정된 상태를 매칭하는 행동-상태 매트릭스를 사용하여 상기 애완동물의 행동을 상기 애완동물의 상태, 행태 또는 감정으로 분석하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공방법.
15. 디스플레이 화면을 포함하고 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스를 제공하는 장치로서,
    애완동물에 부착된 모바일 디바이스 내의 자이로 센서 및 가속도 센서를 포함한 센서에서 획득한 센싱 값들에 기초하여 애완동물의 행동을 분석하는 분석부;
    상기 애완동물의 행동을 분석한 행동추론 데이터를 서버로 전송하는 전송부; 및
    상기 서버 측에서 상기 모바일 디바이스를 포함한 전자 장치에 제공하는 위젯 화면을 통해 상기 애완동물의 행태 또는 감정을 출력하는 출력부를 포함하며,
    상기 위젯 화면은 상기 전자 장치에 탑재되는 위젯 애플리케이션에 의해 제어되고,
    상기 센서의 센서 데이터는 상기 애완동물의 온도를 측정하는 온도 센서로부터의 온도 데이터, 상기 애완동물의 소리를 주파수 신호 형태로 변환하는 마이크로폰로부터의 소리 데이터, 상기 애완동물을 촬영하는 카메라로부터의 영상 데이터, 또는 이들의 조합을 더 포함하며,
    상기 위젯 애플리케이션은 상기 센서 데이터 중 분석할 데이터를 분석 서버로 전송하고, 상기 분석할 데이터가 아닌 데이터를 앱 서버로 전송하는,
    애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공장치.
16. 청구항 15에 있어서,
    상기 위젯 화면에서 사용자 입력 또는 명령 신호를 획득하는 획득부를 더 포함하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공장치.
17. 청구항 15에 있어서,
    상기 분석부, 상기 전송부 및 상기 출력부를 소프트웨어 모듈 형태로 저장하는 메모리, 및 상기 메모리에 연결되고 상기 소프트웨어 모듈을 실행하는 프로세서를 더 포함하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공장치.
18. 청구항 17에 있어서,
    상기 프로세서에 연결되고 근거리 무선 네트워크를 통해 상기 센서 데이터를 수신하는 제1 통신부와 광대역 무선 통신이나 위성 통신 네트워크를 통해 상기 서버와 신호 및 데이터를 송수신하는 제2 통신부를 더 포함하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공장치.
19. 청구항 17에 있어서,
    상기 프로세서는 상기 위젯 화면을 제어하는 위젯 애플리케이션을 탑재하고,
    상기 위젯 애플리케이션은,
    상기 애완동물의 행태 또는 감정에 따라 위젯 화면의 이미지를 변경하거나,
    상기 애완동물의 행태 또는 감정의 분석 결과에 따른 이상행동 알람을 상기 위젯 화면에 표시하거나,
    상기 이상행동 알람의 세부정보에 대응하는 연결 링크를 상기 이상행동 알람의 표시영역에 추가하여 표시하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공장치.
20. 청구항 17에 있어서,
    상기 프로세서는 상기 위젯 화면을 제어하는 위젯 애플리케이션을 탑재하고,
    상기 위젯 애플리케이션에 포함되는 상기 분석부는, 딥러닝 또는 인공지능 기반으로 상기 화면에 제공되는 훈련용 사용자 인터페이스를 통해 입력되는 신호 또는 데이터에 기초하여 딥러닝 또는 인공지능의 모델이나 알고리즘을 훈련시키기 위한 정보를 생성하여 서버로 전송하는, 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공장치.

Images