KR20230033208A - 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템 및 방법 - Google Patents
반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템 및 방법 Download PDFInfo
- Publication number
- KR20230033208A KR20230033208A KR1020210115013A KR20210115013A KR20230033208A KR 20230033208 A KR20230033208 A KR 20230033208A KR 1020210115013 A KR1020210115013 A KR 1020210115013A KR 20210115013 A KR20210115013 A KR 20210115013A KR 20230033208 A KR20230033208 A KR 20230033208A
- Authority
- KR
- South Korea
- Prior art keywords
- companion animal
- image
- companion
- guardian
- communication
- Prior art date
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 904
- 230000006854 communication Effects 0.000 title claims abstract description 387
- 238000004891 communication Methods 0.000 title claims abstract description 386
- 230000008921 facial expression Effects 0.000 title claims abstract description 251
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002452 interceptive effect Effects 0.000 claims abstract description 37
- 238000010195 expression analysis Methods 0.000 claims description 106
- 230000014509 gene expression Effects 0.000 claims description 93
- 238000012545 processing Methods 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 114
- 230000002093 peripheral effect Effects 0.000 description 77
- 238000004458 analytical method Methods 0.000 description 69
- 230000006870 function Effects 0.000 description 39
- 230000003542 behavioural effect Effects 0.000 description 38
- 235000013305 food Nutrition 0.000 description 29
- 230000009471 action Effects 0.000 description 28
- 241000282472 Canis lupus familiaris Species 0.000 description 20
- 239000000284 extract Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 238000012546 transfer Methods 0.000 description 18
- 238000012549 training Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000012360 testing method Methods 0.000 description 12
- 235000011888 snacks Nutrition 0.000 description 10
- 230000036541 health Effects 0.000 description 9
- 235000012054 meals Nutrition 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 241001125929 Trisopterus luscus Species 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000036528 appetite Effects 0.000 description 3
- 235000019789 appetite Nutrition 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 230000037213 diet Effects 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 208000021760 high fever Diseases 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 206010025482 malaise Diseases 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- -1 Chrome Chemical compound 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 244000228957 Ferula foetida Species 0.000 description 1
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000013872 defecation Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Environmental Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Animal Husbandry (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Biodiversity & Conservation Biology (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biophysics (AREA)
- Human Computer Interaction (AREA)
- Telephonic Communication Services (AREA)
- Operations Research (AREA)
Abstract
본 발명은 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템 및 방법에 관한 것이다. 본 발명에 따른 커뮤니케이션 서비스 시스템은 반려동물의 입력에 따라 반려동물의 욕구에 관한 신호를 발생시키는 반려동물용 입력장치; 상기 반려동물용 입력장치와 근거리 통신을 통해 상기 신호를 전달받고, 네트워크를 통해 하기 커뮤니케이션 서버로 상기 신호를 전달하는 신호 중개장치; 상기 신호를 기초로 상기 반려동물의 대화형 메시지를 생성하고, 상기 대화형 메시지와 함께 상기 반려동물의 이미지를 하기의 반려동물 보호자 단말기에 제공하는 커뮤니케이션 서버; 및 상기 반려동물과 상기 반려동물의 보호자 간의 채팅 화면을 제공하고, 상기 대화형 메시지와 이미지를 채팅 화면에 출력하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기;를 포함한다.
Description
본 발명은 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템 및 방법에 관한 것으로, 보다 상세하게는 반려동물 이미지에서 학습한 표정을 이용한 메신저 서비스, 표정 분석 서비스, 이모티콘을 제공하는 시스템 및 방법에 관한 것이다.
2020년 말 기준, 우리나라의 반려동물 양육 가구수는 604만 가구로서 전체 가구의 29.7%에 달하며, 양육 인구는 1448만명인것으로 추정된다. 또한 2021년 현재를 기준으로 반려견은 586만 마리, 반려묘는 211만 마리로 추정된다. 그에 따라 반려동물 관련 시장규모는 2018년 2조 8900억원에서 2021년 6조원을 넘어설 것으로 전망된다. 반려동물용 물품은 물론이고 반려동물과 그 보호자를 위한 다양한 서비스가 개발되고 있는 추세이다.
한편, 반려동물 양육실태에 관한 설문 조사에서 절반 이상의 반려동물 보호자가 반려동물을 키우는 주된 이유로 '가족구성원으로서 주는 정서적 안정감 및 행복감'을 언급하고 있다. 또한 반려동물은 취약계층에게 책임감 증가와 외로움 감소라는 긍정적인 효과를 미치는 것으로도 조사되었다. 이에 비추어 볼 때, 보호자가 출근하거나 외출하여 반려동물과 분리되는 경우에도 반려동물과의 유대감과 친밀감을 높일 수 있는 구체적인 방안이 필요하다.
또한, 10대와 20대 반려동물 보호자들 사이에서는 자신의 일상과 함께 자신이 양육하고 있는 반려동물의 모습을 SNS를 통해 타인과 공유하는 문화가 형성되고 있으며, 반려동물만의 SNS 계정을 개설하는 모습도 나타나고 있다. 따라서 이에 부응하여 반려동물의 이미지나 동영상을 활용하여 보호자들 간의 교류를 더욱 증진시키고 반려동물 보호자의 만족도를 높일 수 있는 섬세하고 감성적인 접근 방안이 필요하다.
본 발명은 상기와 같은 배경에서 도출된 것으로, 보호자가 수집한 반려동물의 이미지에서 학습한 표정을 이용하여 반려동물과의 소통 및 반려동물 보호자 간의 교류의 질을 향상시키기 위한 커뮤니케이션 서비스 시스템 및 방법을 제공함에 그 목적이 있다.
더욱 상세하게는, 반려동물을 의인화한 채팅 형식의 커뮤니케이션 과정에서 상황에 적절한 반려동물의 표정을 담고 있는 이미지를 삽입하여 반려동물과의 유대감과 친밀감을 향상시키는 시스템 및 방법을 제공한다. 또한, 상기 반려동물 이미지를 이용하여 반려동물 SNS 계정에서 자신이나 타인의 반려동물의 표정을 분석할 수 있는 인터페이스를 구성하여 반려동물 보호자 간의 교류를 증대시키는 시스템 및 방법을 제공한다. 또한, 상기 반려동물 이미지를 메신저나 SNS에서 사용할 수 있는 이모티콘으로 변환하여 자신이 사용하거나 이모티콘 구매 플랫폼에 등록시켜 판매할 수 있도록 하는 시스템 및 방법을 제공함에 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템은 반려동물의 입력에 따라 반려동물의 욕구에 관한 신호를 발생시키는 반려동물용 입력장치; 상기 반려동물용 입력장치와 근거리 통신을 통해 상기 신호를 전달받고, 네트워크를 통해 하기 커뮤니케이션 서버로 상기 신호를 전달하는 신호 중개장치; 상기 신호를 기초로 상기 반려동물의 대화형 메시지를 생성하고, 상기 대화형 메시지와 함께 상기 반려동물의 이미지를 하기의 반려동물 보호자 단말기에 제공하는 커뮤니케이션 서버; 및 상기 반려동물과 상기 반려동물의 보호자 간의 채팅 화면을 제공하고, 상기 대화형 메시지와 이미지를 채팅 화면에 출력하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기;를 포함한다.
상기 커뮤니케이션 서버는 상기 신호 중개장치 및 커뮤니케이션 플랫폼과 신호 및 데이터를 송수신하는 통신부; 상기 반려동물의 욕구에 관한 신호에 기초하여 상기 커뮤니케이션 플랫폼으로 송신할 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 선정하는 제어부; 및 상기 제어부가 선정할 수 있는 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 저장하는 저장부;를 포함할 수 있다.
상기 커뮤니케이션 서버는 상기 반려동물의 이미지를 이용하여 반려동물 표정모델을 생성하는 학습부를 더 포함할 수 있다. 상기 반려동물 표정모델은 상기 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 모델을 의미한다.
상기 학습부는 상기 반려동물 보호자의 채팅 앱을 통한 대화 내용을 기계학습하여, 상기 반려동물의 욕구에 관한 신호를 구어체 메시지로 표현할 수 있게 하는 딥러닝 모델을 생성하는 메시지 학습모듈; 상기 반려동물의 이미지를 이용하여 상기 반려동물 표정모델을 생성하는 표정 학습모듈; 및 상기 딥러닝 모델과 상기 반려동물 표정모델을 실행하여 추론 결과를 얻는 모델 관리자;를 포함할 수 있다.
또한 상기 커뮤니케이션 서버는 반려동물의 이미지를 이용하여 이모티콘을 생성하는 이모티콘 생성부를 더 포함할 수 있다.
상기 커뮤니케이션 플랫폼은 상기 반려동물과 상기 반려동물의 보호자 간의 채팅 화면을 제공하고, 상기 대화형 메시지와 이미지를 채팅 화면에 출력하는 메시지 인터페이스; 및 상기 반려동물의 이미지와 소정 개수의 선택지를 표시한 화면을 제공하는 표정 분석 인터페이스;를 포함할 수 있다. 상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭이 기재된 것을 의미한다.
그리고 본 발명의 다른 실시예에 따른 커뮤니케이션 서비스 시스템은, 반려동물 보호자로부터 원격 제어신호를 입력받고, 하기 커뮤니케이션 서버에 상기 원격 제어신호를 송신하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기; 상기 원격제어신호를 하기 신호 중개장치로 송신하는 커뮤니케이션 서버; 및 상기 원격제어신호에 따라 상기 반려동물 보호자의 음성정보를 내장된 스피커를 통해 출력하는 신호 중개장치;를 포함한다.
그리고 본 발명의 또 다른 실시예에 따른 커뮤니케이션 서비스 시스템은, 반려동물 보호자로부터 반려동물에게 보낼 메시지를 입력받고, 하기 커뮤니케이션 서버에 상기 메시지를 송신하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기; 상기 메시지를 기반으로 반려동물 보호자의 음성을 합성하고, 상기 합성된 음성정보를 하기 신호 중개장치로 송신하는 커뮤니케이션 서버; 및 상기 합성된 음성정보를 내장된 스피커를 통해 출력하는 신호 중개장치;를 포함한다.
그리고 본 발명의 일 실시예에 따른 커뮤니케이션 서버는, 반려동물의 욕구에 관한 신호를 수신하고, 상기 반려동물의 보호자 단말기로 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 송신하는 통신부; 상기 반려동물의 욕구에 관한 신호에 기초하여 상기 보호자 단말기로 송신할 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 선정하는 제어부; 및 상기 제어부가 선정할 수 있는 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 저장하는 저장부;를 포함한다.
상기 커뮤니케이션 서버는 상기 반려동물의 이미지를 이용하여 반려동물 표정모델을 생성하는 학습부를 더 포함할 수 있다. 상기 반려동물 표정모델은 상기 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 것을 의미한다.
그리고 본 발명의 일 실시예에 따른, 반려동물 전용 커뮤니케이션 플랫폼에서 메신저 인터페이스를 운용하는 방법은 반려동물과의 채팅 창에 상기 반려동물의 대화형 메시지나 상기 반려동물의 이미지 중 적어도 하나를 표시하는 원인이 되는 특정한 이벤트가 발생하는 단계; 상기 이벤트 발생을 계기로 하여 정보 수집을 통해 상황을 판단하는 단계; 상기 판단된 상황에 따라 상기 채팅 창에 출력될 메시지 및 이미지 중 적어도 하나를 선정하는 단계; 및 상기 채팅 창에 상기 선정 결과를 출력하는 단계;를 포함한다.
상기 반려동물의 이미지는 상기 판단된 상황에 매핑되는 상기 반려동물의 표정이 나타난 것일 수 있다.
상기 특정한 이벤트는 반려동물 입력신호의 수신, 반려동물 입력신호 이후 보호자 피드백이 없이 일정 시간 경과, 광고 수신, 날씨정보 수신 및 특정 시각 도래 중 적어도 하나일 수 있으며, 상기 상황을 판단하기 위해 수집되는 정보는 반려동물 입력신호의 종류, 반려동물 입력신호에 따른 메시지 출력 이후 경과시간, 광고의 종류, 날씨예보의 변동 내용과 반려동물 보호자 단말기의 위치 정보 및 반려동물 보호자가 채팅 창에 발신한 메시지 중 적어도 하나일 수 있다.
그리고 본 발명의 일 실시예에 따른 반려동물 전용 커뮤니케이션 플랫폼의 표정 분석 실행 방법은 표정 분석 대상이 되는 반려동물을 선택하는 단계; 상기 반려동물의 이미지를 선정하는 단계; 반려동물의 이미지에 나타난 반려동물의 표정에 관한 복수 개의 선택지를 제시하는 단계; 및 표정 분석 서비스의 사용자가 선택한 선택지에 기재된 표정과 상기 반려동물의 이미지에 기 부여된 표정 레이블의 일치 여부를 상기 사용자의 단말기 화면에 출력하는 단계;를 포함한다.
상기 복수 개의 선택지를 제시하는 단계 이전에 상기 반려동물에 관한 표정모델을 실행하는 단계를 더 포함할 수 있다. 상기 복수 개의 선택지를 제시하는 단계에서 상기 표정모델의 실행 결과를 상기 선택지에 반영할 수 있다. 상기 표정모델은 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 것을 의미한다.
또한, 상기 사용자의 단말기 화면에 출력하는 단계 이후에 상기 반려동물 이미지에 대한 1명 이상의 사용자의 표정 선택 결과를 집계하여 화면에 출력하는 단계를 더 포함할 수 있다.
그리고 본 발명의 일 실시예에 따른 반려동물 이모티콘 생성 방법은 이모티콘으로 변환할 반려동물 이미지를 상기 반려동물의 이미지가 업로드되어 있는 갤러리에서 선택하는 단계; 상기 선택된 이미지를 가공하여 이모티콘을 생성하는 단계; 및 상기 이모티콘에 태그를 부여하는 단계;를 포함한다.
본 발명의 일 실시예에 따르면, 반려동물을 의인화하여 채팅형식의 커뮤니케이션을 하는 과정에서 반려동물의 표정을 담고 있는 이미지를 삽입하여 반려동물의 보호자가 반려동물에 대해 느끼는 유대감과 친밀감을 향상시키는 효과가 있다.
본 발명의 일 실시예에 따르면, 반려동물의 욕구와 행동 정보를 반려동물 보호자에게 반려동물의 이미지를 동반한 메시지 형태로 제공할 수 있어, 반려동물 보호자는 보다 친숙하고 인간적인 방식을 통해 반려동물의 모니터링 정보를 제공받을 수 있다는 효과가 있다.
본 발명의 일 실시예에 따르면, 반려동물 이미지를 이용하여 반려동물 SNS 계정에서 반려동물의 표정을 분석할 수 있는 인터페이스를 구성하여 반려동물 보호자 간의 교류를 증대시키는 효과가 있다.
본 발명의 일 실시예에 따르면, 유명인의 반려동물이나 유튜브/TV 등의 매체를 통해 유명해진 반려동물의 SNS 계정의 방문자는 해당 반려동물의 이미지를 보면서 표정을 분석할 수 있는 즐거운 시간을 가질 수 있으며, 해당 계정의 운영자는 홍보 효과를 누릴 수 있다.
본 발명의 일 실시예에 따르면, 반려동물의 이미지/동영상 조회는 물론 반려동물의 표정분석 또는 행동분석을 통해 반려동물 SNS 계정의 콘텐츠를 풍부하게 하여, 해당 계정의 방문자를 증가시킬 수 있다. 또한 이를 통해 반려동물의 보호자는 반려동물 SNS 계정으로부터 링크로 연결되는 자신의 SNS 계정의 팔로워를 증가시킬 수 있고, 유튜브 채널의 구독자 수를 증가시킬 수 있다.
본 발명의 일 실시예에 따르면, 반려동물 이미지를 메신저나 SNS에서 사용할 수 있는 이모티콘으로 변환하여 일상적인 감정을 표현하는 소통수단으로 활용함으로써 사용자의 흥미를 유발할 수 있고, 자신의 반려동물에 대한 애착이 증대되며, 이모티콘 구매 플랫폼에 등록시켜 판매함으로써 수익을 창출할 수 있는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템의 구성을 나타낸 블록도.
도 2는 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템의 커뮤니케이션 서버 구성을 나타낸 블록도.
도 3은 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 학습부 구성을 나타낸 블록도.
도 4는 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 저장부 구성을 나타낸 블록도.
도 5는 본 발명의 일 실시예에 따른, 반려동물 보호자 단말기에 설치된 커뮤니케이션 플랫폼의 구성을 나타낸 블록도.
도 6은 본 발명의 일 실시예에 따른 메신저 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도.
도 7은 본 발명의 일 실시예에 따른 메신저 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도.
도 8은 본 발명의 일 실시예에 따른 표정 분석 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도.
도 9는 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼의 메신저 인터페이스에서 반려동물의 이미지를 사용하는 방법을 설명하기 위한 흐름도.
도 10은 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼의 표정 분석 실행 방법을 설명하기 위한 흐름도.
도 11은 본 발명의 일 실시예에 따른 반려동물 이미지를 이모티콘으로 변환한 후 태깅하는 방법을 설명하기 위한 흐름도.
도 2는 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템의 커뮤니케이션 서버 구성을 나타낸 블록도.
도 3은 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 학습부 구성을 나타낸 블록도.
도 4는 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 저장부 구성을 나타낸 블록도.
도 5는 본 발명의 일 실시예에 따른, 반려동물 보호자 단말기에 설치된 커뮤니케이션 플랫폼의 구성을 나타낸 블록도.
도 6은 본 발명의 일 실시예에 따른 메신저 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도.
도 7은 본 발명의 일 실시예에 따른 메신저 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도.
도 8은 본 발명의 일 실시예에 따른 표정 분석 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도.
도 9는 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼의 메신저 인터페이스에서 반려동물의 이미지를 사용하는 방법을 설명하기 위한 흐름도.
도 10은 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼의 표정 분석 실행 방법을 설명하기 위한 흐름도.
도 11은 본 발명의 일 실시예에 따른 반려동물 이미지를 이모티콘으로 변환한 후 태깅하는 방법을 설명하기 위한 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 본 명세서에서, '적어도 하나의'라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, '적어도 하나의'라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한 각 구성요소가 단수 또는 복수로 구비되는 것은 실시예에 따라 변경가능하다 할 것이다.
본 명세서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 명세서에서, '적어도 하나의'라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, '적어도 하나의'라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한 각 구성요소가 단수 또는 복수로 구비되는 것은 실시예에 따라 변경가능하다 할 것이다.
본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
도 1은 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템의 구성을 나타낸 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른, 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템은 반려동물용 입력장치(100), 신호 중개장치(200), 커뮤니케이션 서버(300) 및 반려동물 보호자 단말기(400)를 포함한다.
본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템은 반려동물용 입력장치(100)의 버튼을 통해 반려동물의 욕구를 전달받아 이를 반려동물 보호자 단말기(400)에 있는 반려동물 전용 커뮤니케이션 플랫폼(이하 커뮤니케이션 플랫폼, 410, 도5 참조)이나 기존의 메신저 어플로 전달하여 반려동물과의 소통을 할 수 있는 시스템이다.
반려동물은 반려동물용 입력장치(100)의 버튼을 사용하여 자신의 욕구를 표현하도록 훈련될 수 있다. 훈련된 반려동물은 자신의 욕구를 푸쉬 버튼이나 터치 버튼으로 표현하는데 집안의 보호자 등이 부재중일 경우에도 확인 및 그에 대한 대처가 가능하도록 사물 인터넷 기술이 도입된다.
반려동물용 입력장치(100)는 훈련을 통해 반려동물의 욕구를 표현할 수 있도록 하는 상이한 형태의 버튼으로 구현될 수 있다. 반려동물용 입력장치(100)를 통해 반려동물의 욕구 정보를 수집할 수 있다. 수집한 상기 욕구 정보를 반려동물 보호자에게 전송하여 반려동물 보호자가 이를 인지하고 원격으로 반려동물에게 다시 음성, 사진 등으로 피드백할 수 있는 소통 가능한 대화 창구를 만들 수 있다.
즉, 반려동물이 훈련에 의해 그 욕구를 반려동물용 입력장치(100)의 버튼을 통해 표현하면, 커뮤니케이션 서버(300)는 버튼 입력을 데이터화, 정제 처리하고, 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)은 이를 마치 반려동물이 실제 언어를 이용하여 대화를 하는 것처럼 소통하게 할 수 있다.
반려동물용 입력장치(100)의 버튼은 터치버튼 또는 가압버튼일 수 있다. 상기 버튼은 복수개의 버튼으로 구성되어, 각각 다른 요청내용과 매칭될 수 있다. 예를 들어, 각 버튼은 급식, 놀이기구 동작, 영상 통화, 주인의 음성, 가전기기(TV, 오디오, 에어컨, 선풍기)의 동작 등 반려동물이 그 보호자에 요청할 수 있는 내용과 매칭될 수 있다. 상기 버튼은 반려동물이 훈련에 의해 선택할 수 있는 정도의 갯수와 형태, 색깔로 구현됨이 바람직하다. 상기 버튼의 갯수와 형태, 색깔은 다양하게 변형가능하다.
예를 들어 ☆모양 버튼을 누르면 사료를 요청할 경우, ○모양 버튼을 누르면 놀이기구가 수행되도록, □모양 버튼이 눌리면 주인과 영상 통화기능을 수행하도록, △모양 버튼을 누르면 에어컨이나 TV가 켜지도록 반려동물이 인식 가능한 상황들에 매칭될 수 있다. 또한, 엄마, 주인, ~하자, 주세요, 달라 등 실제 생활에서 사용되는 어휘들이 매칭될 수도 있다.
반려동물이 반려동물용 입력장치(100)의 버튼을 누르면 반려동물용 입력장치(100)에서 신호(이하 '반려동물 입력신호'로 약칭함)가 발생한다. 중개장치(200)에서는 커뮤니케이션 서버(300)로 반려동물 입력신호를 송신한다. 다른 예로, 반려동물용 입력장치(100)은 신호 중개장치(200)와 커뮤니케이션 서버(300)를 경유하여 반려동물 보호자 단말기(400)로 반려동물 입력신호를 전달한다.
커뮤니케이션 서버(300)는 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)으로 반려동물 입력신호에 따른 내용을 정제하여 전달한다. 커뮤니케이션 플랫폼(410)은 상기 내용을 수신하여 메신저 인터페이스(411)를 통해 반려동물 보호자와 반려동물 간 쌍방향 소통이 가능한 메신저 화면을 반려동물 보호자에게 제공한다. 또는 반려동물 보호자 단말기(400)에서 구동되는 기존의 채팅 전용 앱과 연동되어 쌍방향 소통이 가능하게 구현될 수 있다.
본 발명의 일 실시예에서 반려동물용 입력장치(100)의 버튼이 눌리면 녹음된 내용이나 저장된 특수음이 재생되도록 스피커를 포함할 수 있다. 또한 상기 버튼에 LED와 같은 발광장치가 내장되도록 하여 상기 버튼이 눌리면 해당 발광장치가 켜지도록 구현될 수 있다. 다른 예로, 반려동물용 입력장치(100)는 설정정보를 통해 특정 시간 대에 특정 버튼이 발광하도록 동작하여, 특정 시간대에 반려동물이 발광된 버튼을 누르도록 유도할 수 있다.
또한 반려동물용 입력장치(100)는 신호 중개장치(200)와 근거리 통신망을 통해 연결된다. 반려동물용 입력장치(100)는 그 버튼이 눌릴 경우에 해당 버튼이 눌렸음을 감지하는 신호를 신호 중개장치(200)로 전송하기 위해 블루투스 모듈과 같은 근거리 무선 통신모듈을 포함한다.
신호 중개장치(200)는 반려동물용 입력장치(100)에서 전달된 입력 신호를 커뮤니케이션 서버(300)로 전달한다. 다른 예로, 신호 중개장치(200)는 반려동물용 입력장치(100)에서 전달된 입력 신호를 커뮤니케이션 서버(300)를 경유하여 반려동물 보호자 단말기(400)로 전달한다.
신호 중개장치(200)는 카메라 및 통신 모듈을 포함한다. 또한 신호 중개장치(200)는 초음파 센서, 소리감지 센서, NFC 센서, RFID 센서 등 반려동물의 상태를 확인할 수 있는 다양한 센서 모듈 중 적어도 하나 이상을 포함할 수 있다.
본 발명의 일 실시예에 있어서 신호 중개장치(200)의 통신 모듈은 무선랜이나, 블루투스, 적외선 센서와 같은 근거리 무선 통신 기능을 수행한다. 또한, IR 센서를 포함하여 댁내 가전기기(주변기기)인 TV, 에어컨 등으로 리모트컨트롤러 신호를 송출할 수 있는 기술적 구성을 포함한다.
본 발명의 다른 실시예에 있어서 신호 중개장치(200)는 반려동물용 입력장치(100)과 유선(예를 들어 LAN)으로 연결될 수 있다.
본 발명의 일 실시예에 있어서 신호 중개장치(200)는 카메라로 촬영된 영상을 커뮤니케이션 서버(300) 또는 반려동물 보호자 단말기(400)로 전송해줄 수 있다. 이때 반려동물 보호자 단말기(400)는 복수개의 신호 중개장치(200)와 통신을 수행할 수 있다.
또한 신호 중개장치(200)는 커뮤니케이션 서버(300)와 네트워크 통신을 수행하는 통신 모듈을 포함한다. 일 실시예에 있어서 신호 중개장치(200)는 반려동물용 입력장치(100)들 중 어느 반려동물용 입력장치(100)가 입력되었는지 분별 가능하도록 반려동물용 입력장치(100)의 입력 신호(이하 반려동물 입력신호)를 커뮤니케이션 서버(300)로 전송하고, 커뮤니케이션 서버(300)를 통해 수신되는 원격 제어신호를 댁내 가전기기, 즉 식욕이나, 유희욕구를 충족시켜줄 수 있는 주변기기로 전달한다. 본 발명의 '원격 제어신호'는 반려동물 입력신호에 매칭되는 주변기기의 동작을 제어하기 위한 신호이며 이후에도 동일한 의미로 사용된다. 원격 제어신호는 사료 급식기의 사료 지급을 수행하도록 제어하는 신호, 간식 급식기의 간식 지급을 수행하도록 제어하는 신호, 공놀이 기계의 동작 신호와 같이 다양한 주변기기의 동작을 제어할 수 있는 제어신호를 포함한다.
신호 중개장치(200)는 원격 제어신호에 따라 주변기기의 동작을 제어한다. 주변기기는 원격 제어신호로 동작할 수 있고, 반려동물의 욕구를 충족시켜 줄 수 있는 다양한 기기를 포함한다.
주변기기는 반려동물의 식욕을 해결하기 위한 사료 급식기나 간식 급식기, 반려동물의 유희욕구를 해결하기 위한 강아지 레이저기계나 공놀이기계, 반려동물의 보호자를 찾는 욕구해결을 위한 영상통화기기 중 하나를 포함한다. 그러나 이에 한정되는 것은 아니고 원격 제어신호에 의해 동작하며 반려동물의 욕구를 만족시켜줄 수 있는 다양한 장치 및 기기들을 포괄하도록 해석된다.
또한 주변기기는 신호 중개장치(200)에 탑재되는 스피커 또는 물리적으로 별개의 스피커를 통해 반려동물 보호자 음성을 출력하여 반려동물의 욕구에 대한 피드백을 하도록 구현될 수도 있다. 그러나 이에 한정되는 것은 아니고 다양한 기기들을 포괄하도록 해석된다. 이때 영상 통화 기기는 물리적으로 신호 중개장치(200)에 탑재된 기능으로 구현 가능하다.
본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템은 착용형 생체측정모듈(예를 들어 목걸이 형태)을 더 포함할 수 있고, 착용형 생체측정모듈은 반려동물의 몸통에 접촉되도록 착용되어 반려동물의 생체신호를 측정하기 위한 적어도 하나 이상의 생체전극센서를 포함한다. 여기서, 생체신호는 근전도, 골전도, 맥박수(심박수), 체온, 호흡수에 관한 신호 중 하나일 수 있으며, 이에 제한되지 않는다.
또한, 착용형 생체측정모듈은 반려동물의 음성을 실시간으로 수집하기 위한 마이크를 포함할 수 있다.
또한, 착용형 생체측정모듈은 근거리 통신망을 이용하여 반려동물의 생체신호 및 음성정보를 신호 중개장치(200)로 전달할 수 있다. 신호 중개장치(200)는 전달받은 생체신호 및 음성정보를 커뮤니케이션 서버(300)이나 커뮤니케이션 서버(300)을 경유하여 반려동물 보호자 단말기(400)에 전달할 수 있다.
한편, 신호 중개장치(200)는 반려동물 보호자의 음성정보를 출력하기 위한 스피커를 포함할 수 있다. 신호 중개장치(200)는 커뮤니케이션 서버(300)로부터 수신한 원격 제어신호에 따라 해당하는 반려동물 보호자의 음성정보를 스피커를 통해 출력할 수 있다. 예를 들어, 상기 반려동물 보호자의 음성정보는 '잘했어', '좋아', '착하지' 와 같은 긍정 언어, '안돼', '하지마'와 같은 부정 언어일 수 있다.
또한 반려동물 보호자의 음성정보는 반려동물 보호자 단말기(400)에 설치된 커뮤니케이션 플랫폼(410)의 메신저 인터페이스(411)를 통해 반려동물 보호자가 입력한 메시지에 따라 합성된 음성정보일 수 있다. 예를 들어, 반려동물 보호자가 상기 메신저 인터페이스(411)를 통해 반려동물에게 보낼 메시지를 입력하면, 이 메시지를 커뮤니케이션 서버(300)가 수신하여 이를 기반으로 반려동물 보호자의 음성을 합성하여 합성된 음성정보를 신호 중개장치(200)로 송신하고, 신호 중개장치(200)가 상기 합성된 음성을 스피커를 통해 출력할 수 있다.
신호 중개장치(200)은 커뮤니케이션 서버(300)와 네트워크로 통신한다.
여기서, 네트워크는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스 (Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
신호 중개장치(200)는 반려동물용 입력장치(100)에서 전송된 입력신호에 따라 주변기기들의 동작을 온/오프할 수 있다. 여기서, 주변기기들은 선풍기, 에어컨, TV, 사료급식기, 간식급식기, 놀이기구 등 통신제어가 가능한 IoT 기기일 수 있다. 신호 중개장치(200)와 주변기기들은 홈 네트워크로 연결된다.
신호 중개장치(200)는 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)에서 입력한 주변기기정보를 등록한 후, 커뮤니케이션 플랫폼(410)에서 지정한 주변기기 동작설정정보를 기초로 반려동물용 입력장치(100)에서 전송된 입력신호로 동작 가능한 주변기기들을 설정, 수정 및 추가할 수 있다.
신호 중개장치(200)는 카메라, 스피커 및 녹음기를 더 포함할 수 있고, 카메라 촬영 이미지/동영상 또는 녹음된 소리를 파일이나 스트리밍 형태로 커뮤니케이션 서버(300)로 제공할 수 있다. 또한 신호 중개장치(200)는 반려동물이 반려동물용 입력장치(100)의 버튼을 누르는 순간의 이미지나 반려동물이 상기 버튼을 누르기 직전의 일정 시간 또는 직후의 일정 시간의 동영상을 커뮤니케이션 서버(300)의 통신부(310)로 전달할 수 있다.
본 발명의 일 실시예에 있어서 반려동물용 입력장치(100) 또는 신호 중개장치(200)가 반려동물 인식용 내장 칩이나 외장 칩을 인식할 수 있는 칩 인식부를 구비할 수 있다. 반려동물용 입력장치(100)에 칩 인식부가 구비된 경우, 반려동물용 입력장치(100)는 입력신호와 칩 인식 신호를 신호 중개장치(200)에 전달한다. 커뮤니케이션 서버(300)는 신호 중개장치(200)로부터 입력 신호와 함께 칩 인식 신호를 수신하여 어떤 반려동물의 입력 신호인지 식별할 수 있다. 또한 필요에 따라 커뮤니케이션 서버(300)는 상기 입력 신호와 상기 반려동물의 식별 정보를 반려동물 보호자 단말기(400)로 전달할 수 있다.
상기 반려동물 식별을 위한 칩 인식 기술로는 RFID나 NFC 기술이 사용될 수 있으나 이에 한정되지는 않는다.
또한, 본 발명의 일 실시예에 있어서 반려동물용 입력장치(100) 또는 신호 중개장치(200)가 반려동물의 비문을 인식할 수 있는 비문인식부를 구비할 수 있다. 반려동물의 코 주름무늬(비문)는 반려동물 마다 다르며, 반려동물의 노화로 바뀌지 않으므로 반려동물의 식별 방법으로 사용할 수 있다. 상기 비문인식부는 카메라로 촬영한 반려동물의 영상을 기초로 딥러닝 등의 인공지능을 이용하여 반려동물의 식별 신호를 생성할 수 있다. 반려동물용 입력장치(100)에 비문인식부가 있는 경우 반려동물용 입력장치(100)은 상기 식별 신호를 신호 중개장치(200)에 전달한다. 신호 중개장치(200)은 반려동물용 입력장치(100)으로부터 전달받은 식별 신호 또는 자체적으로 생성한 식별 신호를 커뮤니케이션 서버(300)로 송신한다. 커뮤니케이션 서버(300)는 신호 중개장치(200)로부터 입력 신호와 함께 상기 식별 신호를 수신하여 어떤 반려동물의 입력 신호인지 식별할 수 있다. 커뮤니케이션 서버(300)는 상기 입력 신호와 상기 반려동물의 식별 정보를 반려동물 보호자 단말기(400)로 전달할 수 있다.
커뮤니케이션 서버(300)는 신호 중개장치(200) 및 반려동물 보호자 단말기(400)와 데이터를 수신하는 무선 LAN 통신 모듈을 포함하는 서비스 서버로 구현된다. 일 실시예에 있어서 커뮤니케이션 서버(300)는 반려동물 입력신호를 수신한 시각, 소정 시간 동안의 상기 입력신호의 전달 횟수, 반려동물 보호자의 언어 내용을 기초로 기계 학습(machine learning)을 수행하고 자연어 처리로 호출, 요구 메시지를 추출하여 반려동물 보호자 단말기(400)로 제공할 수 있다. 상기 반려동물 보호자의 언어 내용은 카카오톡과 같은 메신저에서의 채팅 내용, SNS(예를 들어 트위터, 페이스북 또는 인스타그램)에 게시한 내용, 반려동물과의 채팅 창에 입력한 내용과 입력 시의 음성 정보가 포함될 수 있으나, 이에 한정되지는 않는다.
또한 커뮤니케이션 서버(300)는 반려동물 보호자 단말기(400)로 채팅 형식으로 영상(이미지, 동영상)이나 텍스트(메시지)를 전송한다.
커뮤니케이션 서버(300)는 소정 시간 내에 동일한 복수의 반려동물 입력신호를 통신부(310)를 통해 수신하는 경우(반려동물용 입력장치(100)의 특정 버튼이 반복적으로 눌리는 경우) 현재의 시간정보와 이전의 주변기기 실행 데이터를 통해 선별적으로 반려동물 보호자 단말기(400)로 내용을 보낼 수 있다. 또한 반려동물 보호자는 반려동물의 욕구 해소와 관련된 주변기기의 사용횟수, 사용 시간 등을 설정하여 욕구 버튼이 눌리더라도 음성출력, LED 점등이 작동하지 않게 비활성화할 수 있다. 예를 들어 소정 시간 이내에 반복해서 욕구 버튼이 눌리는 경우에는 그 작동을 비활성화할 수 있다.
커뮤니케이션 서버(300)는 주변기기로부터 반려동물의 욕구 해소에 대한 피드백을 수신하고 반려동물 보호자 단말기(400)로 전달하도록 구현될 수 있다.
커뮤니케이션 서버(300)는 반려동물의 생체정보, 행동패턴정보, 입력패드의 입력정보를 기초로 반려동물의 헬스케어 정보를 생성하여 반려동물 보호자 단말기(400)로 제공할 수 있다.
또한, 커뮤니케이션 서버(300)는 반려동물 보호자 단말기(400)에서 전송된 시간대별 주변기기 동작정보를 제공받아 시간대별, 일일별 반려동물의 주변기기 이용율 통계정보를 반려동물 보호자 단말기(400)로 제공할 수 있다.
커뮤니케이션 서버(300)에 대한 상세 내용은 도 2를 참조하여 후술한다.
반려동물 보호자 단말기(400)는 반려동물 보호자가 소지한다. 반려동물 보호자 단말기(400)에 탑재되어 실행되는 반려동물 전용 커뮤니케이션 플랫폼(410)은 반려동물과의 채팅 기능을 제공하고, 반려동물의 표정을 분석하는 기능을 제공하며, 신호 중개장치(200)로 음성을 전송하거나 영상통화기능을 수행할 수 있다. 또한 커뮤니케이션 플랫폼(410)은 반려동물의 이미지를 기초로 생성된 이모티콘을 선택하는 화면을 제공할 수 있다.
본 발명의 일 실시예에 있어서 반려동물 보호자는 반려동물 보호자 단말기(400)에서 실행되는 커뮤니케이션 플랫폼(410)을 통해 반려동물 입력신호(반려동물의 욕구를 표현하는 신호)에 대응되는 원격 제어신호를 입력한다. 커뮤니케이션 플랫폼(410)은 커뮤니케이션 서버(300)의 통신부(310)에 상기 원격 제어신호를 송신한다. 통신부(310)는 상기 원격 제어신호를 수신하고, 상기 원격 제어신호를 신호 중개장치(200)로 송신한다.
본 발명의 다른 실시예에 있어서 커뮤니케이션 플랫폼(410)은 댁내 구비되는 주변기기로 원격 제어신호를 생성하여 전송할 수도 있다.
본 발명의 또 다른 실시예에 있어서 반려동물 보호자는 반려동물 보호자 단말기(400)에서 실행되는 커뮤니케이션 플랫폼(410) 뿐 아니라 주변기기로 원격 제어신호를 전송할 수 있는 다양한 어플리케이션을 통해 원격 제어신호를 입력하는 것도 가능하다.
즉 반려동물 보호자는 반려동물 보호자 단말기(400)에서 실행되는 커뮤니케이션 플랫폼(410) 뿐만 아니라 신호 중개장치(200)와 연결되어 있지 않은 주변기기의 경우 커뮤니케이션 플랫폼(410)에서 반려동물의 욕구에 대응되는 주변기기를 조작할 수 있는 다른 어플을 호출, 작동, 가동시켜 주변기기로 직접 원격 제어신호를 전달하여 실행시킬 수 있다.
추가적으로 커뮤니케이션 서버(300)는 기존의 반려동물의 급식기 업체, 장난감 업체, 헬스 케어 업체와 같이 주변기기로 적용 가능한 기기 업체로부터 일 실시예에 따른 반려동물 의사소통 서비스(API:application programming interface 서비스) 연동에 따른 서비스 월이용료를 받아 수익 창출을 할 수 있는 비즈니스 모델을 제공할 수 있다.
구체적으로 반려동물에게 반려동물용 입력장치(100) 교육 필요시에 전문가가 집으로 방문하여 반려동물을 교육하거나, 인근의 반려동물 교육 장소등을 소개하여 반려동물이 반려동물용 입력장치(100) 교육을 받을 수 있도록 필요한 정보들을 제공하거나 전문가 교육 예약 처리를 해줄 수 있다.
또한 반려동물 보호자 단말기(400)에서 실행되는 커뮤니케이션 플랫폼(410)을 통해 펫호텔, 펫 미용실, 펫 사료와 같은 펫 용품 광고 기능을 제공함으로써 광고 수수료로 인한 수익 창출효과를 볼 수 있는 비즈니스 모델을 제공할 수도 있다. 이때 광고 기능 제공시에 반려동물이 대화형식으로 어떤 욕구를 요청하는 느낌이 들도록 구성하여 반려동물을 키우는 반려동물 보호자에게 광고 효과를 극대화 시킬 수 있다.
일 실시예에 있어서 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)은 펫 호텔에 구비되는 신호 중개장치(200)에 연결되어 통신할 수 있다.
즉, 신호 중개장치(200)가 구비된 펫 호텔에 반려동물을 맡길 경우에 펫 호텔의 독립적인 공간에 반려동물을 위치시키고 그 안에 반려동물용 입력장치(100), 주변기기 등을 제공한다. 그리고 반려동물이 기존에 사용하던 반려동물용 입력장치(100)의 버튼, 패턴 등을 설정하면, 펫 호텔에 있는 반려동물과도 동일하게 소통할 수 있다.
한편, 커뮤니케이션 플랫폼(410)은 원격 제어신호를 송신하는 시점을 미리 설정하는 기능을 제공할 수 있다. 예를 들어 사료나 간식을 지급할 시간을 미리 설정하여 사료 급식기 또는 간식 급식기로 원격 제어신호를 일정 시간 간격으로 송출하도록 설정, 편집할 수 있다. 또는 특정 시간에 사료 또는 간식을 지급하도록 원격 제어신호를 송출하도록 설정, 편집하는 것도 가능하다.
반려동물에게 지급될 수 있는 사료나 간식의 양을 제한하도록 설정하는 것도 가능하다.
반려동물이 하루에 먹을 양을 조정한 뒤, 반려동물이 요청할 때마다 사료를 지급한다. 그리고 반려동물이 설정된 양의 사료를 다 먹으면 반려동물용 입력장치(100)의 사료 급식 요청 버튼을 비활성화시켜 반려동물이 상기 버튼을 누르더라도 LED가 점등되지 않고 소리가 출력되지 않도록 할 수 있다. 이에 따라 반려동물이 소리가 나지 않고 점등되지 않는 것을 보고 먹을 수 없다는 것을 교육할 수 있다.
이때 비활성화 상태에서 반려동물이 반려동물용 입력장치(100)의 버튼을 누르면 보호자에게 푸쉬 형태로 메시지를 전달하여 보호자가 이를 확인할 수 있고, 희망 시 반려동물에게 추가적인 사료를 지급할 수 있다.
이를 통해 시간에 맞춰 사료를 주더라도 반려동물이 저녁에 사료를 한꺼번에 먹고 구토하는 일을 사전에 방지할 수 있으며, 반려동물의 건강관리 및 식이 조절이 가능해진다.
추가적으로 사료 또는 간식이 지급되도록 설정된 시간에 신호 중개장치(200) 또는 사료 급식기나 간식 급식기 자체 내에 구비되는 스피커를 통해 "밥 먹자~", "간식 먹자~"와 같은 반려동물 보호자 음성 신호가 출력되도록 직접 음성 녹음 파일을 생성하여 저장하고, 출력 시기를 설정하는 기능을 더 제공할 수 있다.
커뮤니케이션 플랫폼(410)은 네트워크를 통하여 반려동물 보호자 단말기(400)에 설치 또는 구동되는 애플리케이션, 프로그램, 웹 페이지 등을 포함할 수 있다.
여기서, 상기 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up languge)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 구글 크롬(Chrome), 익스플로러(Explorer), 사파리(Safari), 파이어폭스(Firefox), 오페라(Opera), 안드로이드(Android), UC 브라우저(UC Browser), 삼성 인터넷(Samsung Internet), 노키아(Nokia) 등을 포함한다.
또한, 애플리케이션은 단말 상의 응용프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다. 앱(app)은 모바일 콘텐츠를 자유롭게 사고 파는 가상의 장터인 애플리케이션 마켓에서 다운로드 받아서 설치할 수 있다.
본 발명의 또 다른 양상에 따르면 커뮤니케이션 서버(300)가 반려동물 보호자 단말기(400)에 일체로 탑재되는 것도 가능하다. 이 경우 반려동물 보호자 단말기(400)에 설치된 커뮤니케이션 플랫폼(410)을 통해 커뮤니케이션 서버(300)의 기능을 수행할 수 있도록 구현된다. 이에 따라 물리적으로 별개의 서비스 서버를 구동시키는 데 따른 데이터 사용비용을 절약할 수 있다.
반려동물 보호자 단말기(400)는 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기에 적용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템의 커뮤니케이션 서버 구성을 나타낸 블록도이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른, 커뮤니케이션 서비스 시스템의 커뮤니케이션 서버(300)는 통신부(310), 학습부(320), 제어부(330) 및 저장부(340)를 포함한다. 그리고 커뮤니케이션 서버(300)는 이모티콘 생성부(350)를 더 포함할 수 있다. 또한 커뮤니케이션 서버(300)는 회원관리부, 주변기기 관리부, 광고정보 제공부 및 플랫폼 제공부를 더 포함할 수 있다.
통신부(310)는 신호 중개장치(200)와 데이터를 송신/수신한다. 또한 통신부(310)는 커뮤니케이션 플랫폼(410)과 데이터를 송신/수신한다. 통신부(310)가 신호 중개장치(200) 및 커뮤니케이션 플랫폼(410)과 주고 받는 데이터에는 이미지, 동영상, 텍스트 등 모든 형태의 데이터가 포함된다.
통신부(310)는 반려동물 입력신호를 신호 중개장치(200)로부터 수신하며, 반려동물 보호자 단말기(400)에서 구동되는 커뮤니케이션 플랫폼(410)으로 상기 반려동물의 입력신호를 전달한다.
커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411)를 통해 상기 반려동물의 입력신호를 구어체로 변환하여 반려동물 보호자에게 전달한다.
반려동물 보호자는 커뮤니케이션 플랫폼(410)이 제공하는 메신저 인터페이스(411)를 통해 반려동물의 욕구를 파악할 수 있다.
또한 통신부(310)는 반려동물 입력신호에 매칭되는 주변기기에 대한 원격 제어신호를 신호 중개장치(200)에 송신할 수 있다.
또한 통신부(310)는 신호 중개장치(200)로부터 반려동물 입력신호와 함께 칩 인식 신호를 수신한다. 통신부(310)는 칩 인식 신호를 반려동물의 식별코드로 하여 커뮤니케이션 서버(300) 내부에 전달하거나, 칩 인식 신호를 별도의 반려동물 식별코드로 변환하여 커뮤니케이션 서버(300) 내부에 전달할 수 있다. 학습부(320), 제어부(330), 저장부(340)는 반려동물의 식별코드를 기준으로 모델이나 데이터를 구분한다. 예를 들어 표정모델/행동모델을 생성/갱신하거나, 메시지를 생성/추출하거나, 이미지/동영상을 저장/추출할 때 해당 반려동물의 식별코드를 이용하여 데이터를 구분하여 처리한다.
본 발명의 다른 실시예에서, 통신부(310)는 반려동물 보호자 단말기(400)에서 구동되는 커뮤니케이션 플랫폼(410)을 통해 상기 반려동물 입력신호와 매칭되는 주변기기에 대한 원격 제어신호를 수신하면, 주변기기로 직접 제어 신호의 전송이 가능한지 여부를 확인한다. 그리고 주변기기로 직접 제어 신호의 전송이 가능하면 통신부(310)가 원격 제어신호를 주변기기로 전달한다. 주변기기로 직접 제어 신호의 전송이 가능하지 않은 경우에는, 반려동물 보호자 단말기(400)에 별도로 설치되는 주변기기의 원격 제어 기능을 수행하는 어플리케이션을 먼저 가동시키고, 주변기기의 원격 제어 기능을 수행하는 어플리케이션을 통해 원격 제어신호를 주변기기로 전달할 수 있다.
통신부(310)는 반려동물 보호자의 메시지를 반려동물 보호자 단말기(400)로부터 수신할 수 있다.
또한 통신부(310)는 커뮤니케이션 플랫폼(410)의 표정모델 및 행동모델 실행 명령, 모델 실행에 필요한 이미지(또는 이미지 DB(342)에서 이미지를 추출할 수 있는 이미지 식별코드)와 동영상(또는 동영상 DB(343)에서 동영상을 추출할 수 있는 동영상 식별코드)를 수신할 수 있다. 표정모델 실행 명령이나 행동모델 실행 명령이 수신된 경우 통신부(310)는 모델 관리자(324)에 수신한 내용을 전달한다.
또한 통신부(310)는 제어부(330)에서 생성한 메시지, 메시지 DB(341)에서 추출한 메시지, 반려동물의 이미지와 동영상, 반려동물의 이미지를 변환하여 생성된 이모티콘, 반려동물 표정분석용 데이터를 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)에 전달할 수 있다. 이 경우 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 메시지, 이미지 또는 동영상을 메신저 인터페이스(411)을 통해 표시한다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 반려동물의 이미지와 반려동물 표정분석용 데이터(표정의 명칭)를 표정 분석 인터페이스(412)을 통해 표시할 수 있다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 반려동물의 동영상과 반려동물 행동분석용 데이터(행동의 명칭)를 행동 분석 인터페이스(413)을 통해 표시할 수 있다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 이모티콘을 이모티콘 인터페이스(414)를 통해 표시할 수 있다.
또한 통신부(310)는 신호 중개장치(200)로부터 반려동물을 촬영한 이미지나 동영상 또는 반려동물의 음성 정보를 수신할 수 있다. 통신부(310)는 상기 이미지/동영상/음성 정보를 제어부(330)로 전달한다.
통신부(310)는 외부의 광고정보를 수신할 수 있다. 외부의 광고정보가 수신되면, 통신부(310)는 상기 정보를 광고정보 제공부 또는 제어부(330)에 전달한다.
또한 통신부(310)는 착용형 생체측정모듈이 신호 중개장치(200)를 경유하여 송신한 반려동물의 생체신호 및 음성정보를 수신할 수 있다. 통신부(310)는 상기 생체신호 및 음성정보를 주변기기 관리부와 제어부(330)에 전달한다.
또한, 본 발명의 일 실시예에 따른 통신부(310)는 반려동물 식별 정보를 반려동물 보호자 단말기(400)에 전달할 수 있다. 반려동물 보호자는 복수의 반려동물을 키우는 경우 상기 반려동물 식별 정보에 따라 어떤 반려동물이 반려동물용 입력장치(100)의 버튼을 눌렀는지를 확인할 수 있다.
통신부(310)가 지원하는 통신 방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들 간의 근거리 무선 통신 방식으로 데이터 송수신을 수행할 수 있다.
여기서 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다.
또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수도 있으나, 이에 제한되지는 않는다.
학습부(320)는 반려동물 보호자가 모델 학습용으로 선정한 반려동물의 이미지를 이용하여 인공지능(기계학습)을 통해 반려동물 표정모델(이하 표정모델)이나 반려동물 행동모델(이하 행동모델)을 생성하고 저장한다. 표정모델은 반려동물의 이미지에 나타난 반려동물의 표정의 추론 결과를 출력한다. 행동모델은 반려동물에 관한 동영상에 나타난 반려동물의 행동의 추론 결과를 출력한다. 상세한 내용은 도 3을 참조하여 후술한다.
본 발명의 일 실시예에서 제어부(330)는 반려동물 입력신호 수신 등의 이벤트가 발생하면, 입력신호의 종류, 반려동물 입력신호 이후의 경과 시간, 수신한 광고나 날씨정보의 종류, 현재 시각, 반려동물 보호자 단말기(400)에 저장된 스케줄 정보, 반려동물 보호자의 현재 위치 등의 정보를 바탕으로 반려동물이나 반려동물 보호자의 상황을 판단한다.
상기 이벤트는 메시지 인터페이스(411)가 반려동물과의 채팅 창에 메시지, 이미지 및 이모티콘 중 적어도 하나를 표시하는 원인이 되는 사건을 말한다. 상기 이벤트의 예를 들면, 반려동물 입력신호의 수신, 반려동물 입력신호 이후 보호자 피드백이 없이 일정 시간 경과, 광고 수신, 날씨정보 수신, 특정 시각 도래, 반려동물의 생체정보의 변화, 반려동물의 특정 행동패턴의 감지, 반려동물 생체신호의 이상 징후 발생 등이 있다. 그러나 이에 한정되는 것은 아니다.
반려동물 입력신호를 통신부(310)에서 수신하는 경우, 메신저 인터페이스(411)에서 반려동물의 욕구가 표현된 메시지에 대해 반려동물 보호자의 피드백이 소정 시간 동안 없는 경우, 반려동물 보호자가 메신저 인터페이스(411)를 통해 송출한 메시지에 특정한 키워드가 포함되어 있는 경우, 외부의 서버로부터 날씨나 광고 정보가 통신부(310)로 수신되는 경우에 상기 이벤트가 발생할 수 있다. 그러나 이에 한정되는 것은 아니다.
제어부(330)는 상기 판단된 상황에 따라 메신저 인터페이스(411)에 출력될 메시지, 이미지 및 이모티콘 중 적어도 하나(이하 '메시지 등'으로 표기함)를 정한다. 즉, 제어부(330)는 판단된 상황에 따라 메시지를 생성하거나, 메시지를 메시지 DB(341)에서 추출하거나, 반려동물의 이미지를 이미지 DB(342)에서 추출하거나, 이모티콘을 이모티콘 DB(344)에서 추출할 수 있다. 제어부(330)는 상황 판단의 결과로 특정한 키워드를 선정하여, 메시지 DB(341)에서 상기 키워드에 해당하는 메시지를 추출할 수 있다. 제어부(330)는 생성하거나 추출한 메시지가 단수일 경우, 해당 메시지를 커뮤니케이션 플랫폼(410)에 전달할 메시지로 선정한다. 제어부(330)는 생성하거나 추출한 메시지가 복수일 경우, 랜덤 또는 일정한 규칙에 따라 커뮤니케이션 플랫폼(410)에 전달할 메시지를 선정할 수 있다.
또한 제어부(330)는 상황 판단의 결과로 특정한 키워드와 매핑되는 특정한 반려동물의 표정을 선정하여, 이미지 DB(342)에서 상기 표정에 해당하는 반려동물의 이미지를 추출할 수 있다. 제어부(330)는 상기 추출된 이미지가 단수일 경우 해당 이미지를 커뮤니케이션 플랫폼(410)에 전달할 이미지로 선정한다. 제어부(330)는 상기 추출된 이미지가 복수일 경우, 랜덤으로 또는 일정한 규칙에 따라 커뮤니케이션 플랫폼(410)에 전달할 이미지를 선정할 수 있다.
또한 제어부(330)는 설정에 따라 상기 이미지와 함께 또는 상기 이미지를 대신하여, 커뮤니케이션 플랫폼(410)에 전달할 이모티콘을 선정할 수 있다. 커뮤니케이션 플랫폼(410)에 이모티콘을 전달하는 경우, 제어부(330)는 상황 판단의 결과로 특정한 키워드와 매핑되는 특정한 태그를 선정하여, 이모티콘 DB(344)에서 상기 태그에 해당하는 이모티콘을 추출할 수 있다. 이 경우 제어부(330)는 상기 추출된 이모티콘이 단수일 경우 해당 이모티콘을 커뮤니케이션 플랫폼(410)에 전달할 이모티콘으로 선정한다. 또한 제어부(330)는 상기 추출된 이모티콘이 복수일 경우, 랜덤 또는 일정한 규칙에 따라 커뮤니케이션 플랫폼(410)에 전달할 이모티콘을 선정할 수 있다.
이벤트 발생에 따른 상황 판단 로직, 상황 판단 결과 도출된 키워드와 표정 명칭(또는 태그)의 매핑 테이블은 제어부(330)의 내부 저장소 또는 저장부(340)에 저장된다. 상기 로직과 매핑 테이블은 주기적으로 또는 임의적으로 업데이트될 수 있다.
예를 들어, ① 반려동물이 반려동물용 입력장치(100)의 '사료'라는 키워드가 매칭된 ☆모양 버튼을 눌러 사료 요청 입력신호를 발생시켜 통신부(310)에 수신된 상황일 경우, 제어부(330)는 "배고파"라는 메시지를 생성하거나, '급식' 키워드를 선정하여 메시지 DB(341)에서 '급식' 키워드에 해당하는 "배고파"라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '급식' 키워드와 매핑되는 표정인 '간절함'에 해당하는 반려동물의 이미지를 추출할 수 있다. ② 사료 요청 입력신호 수신 후 반려동물 보호자의 반응이 10분 동안 없는 상황일 경우, 제어부(330)는 "나 배고프다니깐?"이라는 메시지를 생성하거나, '급식지연' 키워드를 선정하여 메시지 DB(341)에서 '급식지연' 키워드에 해당하는 "나 배고프다니깐?"이라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '급식' 키워드와 매핑되는 표정인 '토라짐'에 해당하는 반려동물의 이미지를 추출할 수 있다. ③ 반려동물 보호자 단말기(400)의 위치가 자택으로부터 일정 거리이상 떨어져 있고, 신호 중개장치(200)에서 반려동물의 인식 칩을 통해 반려동물이 자택에 있는 것으로 파악되며, 반려동물 보호자 단말기(400)의 위치에 일정 시간 이내 강우가 예보된 상황일 경우, 제어부(330)는 "형~ 비 온다는데, 우산 챙겨 갔어?"라는 메시지를 생성하거나, '강우' 키워드를 선정하여 메시지 DB(341)에서 '강우' 키워드에 해당하는 "형~ 비 온다는데, 우산 챙겨 갔어?"라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '강우' 키워드와 매핑되는 표정인 '걱정'에 해당하는 반려동물의 이미지를 추출할 수 있다. ④ 반려동물 보호자의 자택 주변에 애견카페가 개업했다는 광고를 외부로부터 수신한 상황일 경우, 제어부(330)는 "형~ 우리집 근처에 애견카페 생겼대! 나랑 같이 가자!!"라는 메시지를 생성하거나, '애견카페' 키워드를 선정하여 메시지 DB(341)에서 '애견카페' 키워드에 해당하는 "형~ 우리집 근처에 애견카페 생겼대! 나랑 같이 가자!!"라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '애견카페' 키워드와 매핑되는 표정인 '신남'에 해당하는 반려동물의 이미지를 추출할 수 있다. ⑤ 착용형 생체측정모듈의 측정 결과 반려동물의 체온이 39도를 초과하는 것으로 나타난 경우, 제어부(330)는 "형~ 나 열이 많이 나는 것 같아... ㅠㅠ"라는 메시지를 생성하거나, '고열' 키워드를 선정하여 메시지 DB(341)에서 "형~ 나 열이 많이 나는 것 같아... ㅠㅠ"라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '고열' 키워드와 매핑되는 표정인 '시무룩함'에 해당하는 반려동물의 이미지를 추출할 수 있다.
제어부(330)는 제어부(330)는 이와 같이 정한 메시지 등이 통신부(310)를 통해 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)으로 전달되도록 한다. 커뮤니케이션 플랫폼(410)은 전달받은 메시지 등을 메신저 인터페이스(411)에 표시한다.
본 발명의 다른 실시예에 있어서, 제어부(330)는 신호 중개장치(200)이 보낸 반려동물의 촬영 이미지나 동영상이나 음성 정보를 통신부(310)를 통해 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)으로 전달되도록 한다. 커뮤니케이션 플랫폼(410)은 전달받은 이미지/동영상/음성 정보 중 적어도 하나를 메신저 인터페이스(411)에 표시할 수 있다.
본 발명의 일 양상에 있어서, 제어부(330)는 반려동물 입력신호를 구어체 메시지로 변환하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다. 커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411)의 채팅 기능을 통해 반려동물 보호자에게 상기 구어체 메시지를 전달한다.
본 발명의 다른 양상에 있어서, 제어부(330)는 반려동물의 입력신호에 따른 키워드를 파악하고, 메시지 DB(341)에 기 저장된 대화체 문장들 중 상기 키워드를 포함하는 문장을 선별한다. 통신부(310)는 상기 문장을 커뮤니케이션 플랫폼(410)에 전달한다. 커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411)의 채팅 기능을 통해 반려동물 보호자에게 상기 문장을 전달한다.
예를 들어 '사료'라는 키워드가 매칭된 ☆모양 버튼 입력신호가 수신되면 '배가 고파요', '식사시간! 저도 함께해요'와 같이 해당 욕구를 표현할 수 있는 구어체 문장들 중 하나를 선별하여 반려동물 보호자 단말기(400)의 채팅 창을 통해 전달한다.
본 발명의 추가적인 양상에 따라 제어부(330)는 카메라로부터 수신되는 반려동물촬영 영상에 기반하여 반려동물의 입력신호를 구어체 메시지로 변환한다. 통신부(310)는 상기 구어체 메시지를 커뮤니케이션 플랫폼(410)에 전달한다. 커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411)의 채팅 기능을 통해 반려동물 보호자에게 상기 구어체 메시지를 전달한다.
예를 들어 사료 급식기에서 사료가 제공된 이후에 반려동물이 사료를 먹고 자리를 사료 급식기에서 멀어진 경우에 "다 먹었어요"와 같은 상황을 알리는 구어체 메시지를 전달할 수 있다.
이때, 반려동물 보호자의 설정에 의해 커뮤니케이션 플랫폼(410)은 반려동물의 입력신호를 구어체로 변환하여 전달하거나, 구어체로 변환하지 않고 상태 알림 메시지로 전달할 수 있다. 즉, 단순히 반려동물의 동작 상태, 욕구 상태를 인지할 수 있는 키워드 또는 문장 형태의 알림 메시지로 전달되는 것도 가능하다.
제어부(330)는 커뮤니케이션 플랫폼(410)에서 표정 분석이나 행동 분석이 진행되는 경우, 상기 분석의 진행에 필요한 이미지, 동영상, 데이터를 수집하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 하는 기능을 수행한다.
본 발명의 일 실시예에 있어서 제어부(330)는 상기 분석에 사용될 이미지나 동영상을 이미지 DB(342)나 동영상 DB(343)에서 랜덤으로 추출하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다.
본 발명의 다른 실시예에 있어서 제어부(330)는 반려동물 보호자가 상기 분석에 사용되는 것으로 지정한 이미지나 동영상을 이미지 DB(342)나 동영상 DB(343)에서 추출하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다.
또한 제어부(330)는 상기 분석에 사용될 이미지나 동영상을 모델 관리자(324)에 전달하고 표정모델이나 행동모델의 추론 결과를 모델 관리자(324)로부터 받는다. 제어부(330)는 소정 개수 범위에서 모델에서 확률이 높은 것으로 추론된 표정/행동을 선정하고, 임의의 표정/행동을 추가하여 선택지를 생성한다. 선택지의 개수는 제한이 없다. 예를 들어, 제어부(330)는 분석에 사용될 반려동물의 이미지의 표정모델 추론 결과, 가장 확률이 높은 표정으로 '당황(60%)', 그 다음으로 확률이 높은 표정으로 '두려움(30%)'이 나타난 경우, 여기에 임의로 '행복함'이라는 표정을 추가하여 3개의 선택지를 생성할 수 있다. 제어부(330)는 생성한 선택지를 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다. 표정 분석 인터페이스(412)나 행동 분석 인터페이스(413)에서는 상기 선택지를 화면에 출력하여 반려동물 보호자 또는 사용자가 선택할 수 있도록 한다. 제어부(330)는 반려동물 보호자의 표정/행동 선택 결과가 표정모델/행동모델의 추론 결과와 불일치하는 경우, 이를 피드백으로 삼아 표정 학습모듈(322)이나 행동 학습모듈(323)에 전달하여 표정모델이나 행동모델을 다시 학습하도록 할 수 있다.
본 발명의 일 실시예에 있어서 제어부(330)는 반려동물 촬영 영상에 기반하여 버튼을 누른 반려동물의 식별 동작을 수행하거나, 반려동물 촬영 영상을 반려동물 보호자 단말기(400)로 제공하여 반려동물 보호자가 직접 확인할 수 있도록 한다.
본 발명의 일 실시예에 있어서 반려동물용 입력장치(100) 또는 신호 중개장치(200)가 반려동물 인식용 내장 칩이나 외장 칩을 인식할 수 있는 칩 인식부를 구비할 수 있다. 통신부(310)는 신호 중개장치(200)의 칩 인식부로부터 칩 인식 신호가 수신되면 제어부(330)로 전달한다. 제어부(330)는 상기 칩 인식 신호로부터 반려동물의 식별 정보를 생성하여 통신부(310)를 통해 반려동물 보호자 단말기(400)에 전달되도록 할 수 있다.
이에 따라 반려동물 보호자가 복수의 반려동물을 양육하는 상황에서도 반려동물별로 메시지/이미지/동영상 등 데이터 구분 처리가 가능하다.
또한 어떤 반려동물이 버튼을 눌렀는지를 정확히 파악할 수 있고 이에 따라 반려동물 별로 건강 관리 및 식단 관리가 가능하다.
예를 들어 카메라로 촬영된 영상에서 반려동물이 사료급식기 주변에서 일정 시간이상 대기하거나, 소변 패드에서 일정 시간을 정체할 경우에 "배고파요"와 같은 식욕을 나타내는 메시지를 출력하거나, "시원하다~"와 같은 배변 후 메시지를 생성하여 출력할 수 있다. 이때 카메라는 신호 중개장치(200)에 탑재된 것일 수 있다. 그러나 이에 한정되는 것은 아니다.
저장부(340)는 메신저 인터페이스(411)에서 제공하는 채팅 화면에 표시될 수 있는 메시지, 반려동물의 이미지를 저장한다. 저장부(340)는 메신저 인터페이스(411)에 표시될 수 있는 반려동물의 동영상을 저장할 수 있다. 저장부(340)는 반려동물의 식별코드별로 저장하는 데이터를 구분할 수 있다.
또한 저장부(340)는 반려동물 보호자가 커뮤니케이션 플랫폼(410)의 갤러리에 업로드한 반려동물의 이미지나 동영상을 저장한다.
저장부(340)에 저장된 반려동물의 이미지나 동영상에는 해당 반려동물의 표정이나 행동의 레이블이 부여될 수 있다. 상기 레이블은 학습부(320)가 저장하고 있는 표정모델이 생성한 것이거나, 반려동물 보호자가 직접 입력한 것일 수 있다.
또한 저장부(340)는 이모티콘 생성부(350)가 생성한 이모티콘을 저장한다. 상기 이모티콘은 반려동물의 이미지를 기초로 생성된 이모티콘이다.
저장부(340)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
본 발명의 일 실시예에 있어서 저장부(340)는 반려동물 입력신호에 따른 반려동물의 욕구를 파악하기 위한 프로그램, 반려동물 보호자 단말기(400)에서 구동되는 커뮤니케이션 플랫폼(410)의 구동에 필요한 프로그램, 반려동물 보호자 단말기(400)로부터 수신되는 원격 제어신호를 반려동물 보호자와 매칭되는 신호 중개장치(200)로 전달하기 위해 필요한 프로그램 및 프로그램 구동에 필요한 데이터들을 저장한다.
이모티콘 생성부(350)는 이미지 DB(342)에 저장된 반려동물의 이미지를 이용하여 이모티콘을 생성한다. 상기 반려동물의 이미지는 이모티콘 인터페이스(414)를 통해 반려동물 보호자가 지정한 이미지일 수 있다.
본 발명의 일 실시예에서, 이모티콘 생성부(350)는 반려동물의 이미지를 축소하거나, 특정 영역을 추출하여 채팅 화면이나 SNS 화면에서 사용되기에 적합한 소정의 크기가 되도록 이모티콘을 생성할 수 있다.
본 발명의 다른 실시예에서, 이모티콘 생성부(350)는 딥러닝 기법을 사용하여 반려동물의 이미지를 변환하여 이모티콘을 생성할 수 있다. 이 때 사용될 수 있는 딥러닝 기법으로서 GAN을 예로 들 수 있으나 이에 제한되지는 않는다.
이모티콘 생성부(350)은 이미지 DB(342)에서 추출한 반려동물의 이미지에 표정 레이블이 부여되어 있는 경우 이 레이블을 이모티콘의 태그로 하여 이모티콘과 함께 이모티콘 DB(344)에 전달한다. 이모티콘 DB(344)는 이모티콘의 태그와 이모티콘을 매칭하여 함께 저장한다.
이모티콘 생성부(350)은 이미지 DB(342)에서 추출한 반려동물의 이미지에 표정 레이블이 부여되어 있지 않은 경우, 모델 관리자(324)가 해당 이미지에 나타난 반려동물의 표정을 판단하도록 하여, 이를 이모티콘의 태그로 하여 이모티콘과 함께 이모티콘 DB(344)에 전달한다. 이모티콘 DB(344)는 이모티콘의 태그와 이모티콘을 매칭하여 함께 저장한다. 한편, 이모티콘 인터페이스(414)의 사용자는, 상기 반려동물의 이미지에 표정 레이블이 부여가 되지 않는 경우 또는 상기 반려동물의 이미지에 표정 레이블이 부여되었는지 여부와 무관하게 이모티콘 인터페이스(414)를 통하여 이모티콘에 임의로 태그를 부여할 수 있다.
커뮤니케이션 서버(300)의 회원 관리부는 IoT 기반의 반려동물 관리 서비스를 이용하는 회원정보를 등록 및 관리한다. 여기서, 회원정보는 회원 가입에 필요한 필수정보(이름, 연락처)가 포함된다. 또한 회원정보는 반려동물용 입력장치(100)의 ID, 회원이 이용하는 신호 중개장치(200)의 ID, 연동되는 주변기기 정보를 포함할 수 있다.
커뮤니케이션 서버(300)의 주변기기 관리부는 회원이 등록한 신호 중개장치(200)가 수집한 정보 및 제어정보를 모니터링한다. 신호 중개장치(200)가 수집한 정보에는 반려동물용 입력장치(100)가 신호 중개장치(200)로 전송한 입력신호가 포함된다.
또한, 주변기기 관리부는 반려동물 보호자 단말기(400)에서 신호 중개장치(200)의 주변기기 연동 설정값(제어대상)을 변경한 변경정보를 모니터링할 수 있다.
따라서, 주변기기 관리부는 신호 중개장치(200)에서 제어하는 주변기기들의 동작정보, 주변기기들을 제어하기 위한 제어정보를 모니터링하고, 모니터링한 정보를 기록(등록) 저장한다.
한편, 주변기기들의 동작정보는 주변기기들의 동작(가동)시간, 전력소비량, 배출량(사료 급식기의 경우) 등을 포함하는 정보일 수 있다. 여기서, 동작정보는 신호 중개장치(200)와 연동되는 주변기기들을 제어한 제어정보를 포함한다.
다음으로, 주변기기 관리부는 반려동물 입력단말에서 입력된 입력정보와 반려동물 보호자 단말기(400)에서 설정한 시간대별 주변기기동작 설정정보가 상이할 경우, 긍정 및 부정 중 어느 하나의 피드백 정보를 신호 중개장치(200)로 제공할 수 있다. 여기서, 피드백 정보는 반려동물 보호자의 음성정보로서, '안돼', '하지마'와 같은 부정 언어, '잘했어', '좋아', '착하지'와 같은 긍정 언어를 포함하는 반려동물 보호자 발화정보일 수 있다.
예를 들어, 반려동물 보호자 단말기(400)에서 사료 급식기의 먹이 배출시간을 1시간 단위로 설정되었다고 가정하고, 반려동물이 반려동물용 입력장치(100)의 사료 요청 버튼을 지속적으로 누를 경우에, 통신부(310)는 신호 중개장치(200)로부터 해당 입력신호를 수신하여 주변기기 관리부에 전달하며, 반려동물 입력신호의 입력 시간과 반려동물 보호자가 설정한 시간이 다를 경우, 주변기기 관리부는 상술한 부정 언어를 포함하는 반려동물 보호자 발화정보를 통신부(310)를 통해 신호 중개장치(200)로 제공하며, 신호 중개장치(200)는 수신한 부정 언어를 포함하는 반려동물 보호자 발화정보를 스피커로 출력할 수 있다.
반대로, 반려동물이 반려동물용 입력장치(100)의 사료 요청 버튼을 반려동물 보호자가 지시한 횟수 또는 시간에 누를 경우, 주변기기 관리부는 상술한 긍정 언어를 포함하는 반려동물 보호자 발화정보를 통신부(310)를 통해 신호 중개장치(200)로 제공하며, 신호 중개장치(200)는 수신한 긍정 언어를 포함하는 반려동물 보호자 발화정보를 스피커로 출력할 수 있다.
다른 예로, 주변기기 관리부는 신호 중개장치(200) 내에 반려동물 보호자가 녹음한 긍정 및 부정언어가 포함된 발화정보를 저장하고 있을 경우, 긍정언어 및 부정언어가 포함된 반려동물 보호자 발화 출력지시정보만을 제공할 수도 있다.
한편, 주변기기 관리부는 기 설정된 기간동안 신호 중개장치(200)에서 제어하는 주변기기들의 동작정보, 주변기기들을 제어하기 위한 제어정보, 반려동물 생체정보를 기반으로 반려동물의 식사시간, 놀이시간, TV 시청시간, 취침시간을 분석하고, 분석된 정보를 기초로 반려동물의 행동패턴 분석을 수행한다.
또한, 주변기기 관리부는 기 설정된 기간동안 수집한 반려동물의 생체정보와 식사량, 놀이시간, 취침시간을 기초로 건강상태 분석을 수행한다. 주변기기 관리부는 반려동물의 건강에 이상 징후가 있다고 판단되면, 이를 메시지 생성 이벤트로 삼아 제어부(330)에 전달한다. 제어부(330)는 건강 이상 징후에 관한 메시지를 생성하여, 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 메시지를 전달함으로써 메신저 인터페이스(411)에 반려동물의 건강 이상 징후에 관한 메시지가 출력되도록 한다. 예를 들어 반려동물의 분당 호흡수가 정상범위보다 많다거나, 반려동물의 분당 맥박수가 견종/나이에 따른 분당 정상맥박수를 초과한다거나, 반려동물의 체온이 섭씨 39도를 초과한다거나 하는 경우 주변기기 관리부는 이 내용을 제어부(330)에 전달한다.
또한, 주변기기 관리부는 분석한 행동패턴이 기록된 일, 월 시간표 및 헬스케어 보고서(통계치)를 반려동물 보호자 단말기(400)로 제공할 수 있다.
커뮤니케이션 서버(300)의 광고정보 제공부는 반려동물 상품업체에서 상품 광고정보를 제공하는 구성일 수 있다.
커뮤니케이션 서버(300)의 플랫폼 제공부는 반려동물 보호자 단말기(400)로 커뮤니케이션 플랫폼(410)을 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 학습부 구성을 나타낸 블록도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 학습부(320)는 메시지 학습모듈(321), 표정 학습모듈(322), 모델 관리자(324)을 포함한다. 또한 학습부(320)는 행동 학습모듈(323)을 더 포함할 수 있다.
메시지 학습모듈(321)은 반려동물 보호자의 채팅 앱을 통한 대화 내용을 기계학습하여, 딥러닝 모델을 생성하고 모델 관리자(324)의 내부 저장소에 저장한다.
그리고 메시지 학습모듈(321)은 채팅 앱에서 사용되는 반려동물 보호자와 상대방 간의 질의 문답 내용, 대화 내용 및 문장에 포함되는 키워드를 기계학습하여 딥러닝 모델을 갱신함으로써, 딥러닝 모델이 커뮤니케이션 플랫폼(410)의 채팅 기능을 통해 반려동물의 욕구 내지 의사 표시를 구어체 메시지로 표현함에 최적화될 수 있게 한다. 이에 따라 반려동물 보호자와 반려동물의 현실감 있는 채팅이 가능하다.
표정 학습모듈(322)은 반려동물의 이미지를 학습하여 반려동물 표정모델(이하 표정모델)을 생성 또는 갱신한다. 표정모델은 반려동물의 표정을 추론하는데 사용된다.
반려동물 보호자는 커뮤니케이션 플랫폼(410)의 갤러리에 반려동물의 이미지나 동영상을 업로드할 수 있다. 업로드한 이미지는 저장부(340)의 이미지 DB(342)에 저장되고, 업로드한 동영상은 저장부(340)의 동영상 DB(343)에 저장된다.
표정모델을 생성하고자 하는 반려동물 보호자는 표정 분석 인터페이스(412)에서 제공하는 학습 화면을 통해 갤러리에 업로드된 반려동물의 이미지 중 모델 학습용 이미지를 선정한다. 모델 학습용 이미지는 반려동물의 표정이 담긴 이미지가 바람직하다. 반려동물 보호자는 학습용 이미지를 좌우 또는 상하로 넘기면서 반려동물의 이미지 별로 표정을 레이블링(labeling)한다.
이 때 표정 분석 인터페이스(412)는 상기 학습 화면에서 반려동물 보호자가 레이블링할 수 있는 표정을 제시하여 선택하도록 할 수 있다. 예를 들어, 표정 분석 인터페이스(412)는 반려동물의 이미지에 나타난 반려동물의 표정으로서 행복함, 좋음, 신남, 싫음, 토라짐, 짜증남, 슬픔, 궁금함, 당황, 두려움, 걱정, 실망, 간절함, 분노, 피곤함, 졸림, 시무룩함, 불쌍함 등의 표정을 제시하여 반려동물 보호자가 레이블을 선택하도록 할 수 있다. 여기서, 표정 분석 인터페이스(412)는 커뮤니케이션 서버(300)에 저장되어 있는 표정모델을 실행한 결과에 따라 확률이 높은 순서대로 수 개의 표정을 선정하여 제시할 수 있다.
또한 반려동물 보호자는 표정 레이블을 직접 입력하거나, 반려동물 보호자는 이미지 DB(342)에 저장되어 있고 표정 레이블이 부여되어 있는 반려동물 이미지를 선택하는 방식으로 모델 학습용 이미지를 선정할 수 있다.
표정 학습모듈(322)은 레이블이 부여된 반려동물 이미지를 이미지 DB(342)에 전달하고, 이미지 DB(342)는 이를 저장한다.
표정 학습모듈(322)은 모델 학습용으로 선정된 반려동물의 이미지의 학습을 통해 표정모델을 생성/갱신한다. 표정 학습모듈(322)은 견종이나 반려동물 별로 별도의 표정모델을 생성/갱신할 수 있다.
표정 학습모듈(322)은 모델 학습용 이미지를 전처리하여 노이즈를 제거하고, 전처리된 이미지에서 반려동물의 얼굴을 인식한다. 그리고 표정 학습모듈(322)은 딥러닝 기법을 이용하여 반려동물의 얼굴에서 표정을 판단하기 위한 특징을 추출한다. 특징 추출(feature extraction)을 위한 딥러닝 기법으로서 autoencoder, deep autoencoder, CNN 모델 등이 사용될 수 있으나 이에 한정되지 않는다.
표정 학습모듈(322)은 추출된 특징을 사용하여 모델 관리자(324)에 저장되어 있는 모델(예를 들어 SVM, KSVM, DNN 모델) 중 어느 하나의 모델을 학습시켜 표정모델을 생성한다. 또한 표정 학습모듈(322)은 기 생성된 표정모델을 다시 학습시켜 갱신할 수 있다.
반려동물 보호자는 표정 분석 인터페이스(412)의 학습 화면에서 표정모델을 테스트할 수 있다. 이 경우 반려동물 보호자는 갤러리에서 임의의 반려동물 이미지를 선택하여 표정모델을 테스트할 수 있다. 반려동물 보호자는 표정 추론 결과에 대해 만족하지 못할 경우 표정 분석 인터페이스(412) 학습 화면에서 피드백을 할 수 있다. 상기 피드백에 따라 학습용 이미지가 추가적으로 선정되어 다시 학습이 진행되어 표정모델이 갱신되거나, 학습모델이 변경된 후(예를 들어, SVM을 KSVM이나 DNN으로) 다시 학습을 진행되어 다른 표정모델이 생성될 수 있다.
표정 학습모듈(322)은 표정모델을 모델 관리자(324)에 전달하고, 모델 관리자(324)는 표정모델을 내부 저장소에 저장한다.
상기 표정모델의 학습이나 테스트 과정에서 사용되는 반려동물의 이미지는 이미지 DB(342)에서 대상 견종이나 반려동물에 해당하는 이미지를 추출하여 사용한다.
또한 반려동물 보호자가 표정 분석 인터페이스(412)에서 학습과 테스트를 진행하는 과정에서 커뮤니케이션 플랫폼(410)은 통신부(310)에 표정모델 학습/테스트 요청 메시지, 반려동물 이미지를 DB에서 추출하기 위한 필드(견종, 반려동물 식별코드), 추론결과에 대한 피드백 및 선정된 레이블(표정의 명칭)을 전달하며, 통신부(310)는 커뮤니케이션 플랫폼(410)으로 반려동물의 이미지와 표정모델의 추론결과를 전달한다. 또한 통신부(310)는 커뮤니케이션 플랫폼(410)으로부터 표정모델 학습 요청이 있는 경우 표정 학습모듈(322)에 전달하여 학습이 수행되도록 한다.
본 발명의 다른 실시예로, 설정에 따라(예를 들어, 매일 특정시간에) 메신저 인터페이스(411)에서 챗봇 형식으로 대화형 메시지와 표정에 관한 선택지를 화면에 출력하여 반려동물의 보호자로 하여금 반려동물의 이미지를 확인하고 표정에 관한 선택지 중 하나를 선택함으로써 표정 레이블이 없는 이미지에 표정을 레이블링(labeling)할 수 있다. 상기 선택지에 다른 선택지를 제시하도록 요구하는 선택지나 이번에 선택하지 않고 넘어가는 선택지가 추가될 수 있다.
예를 들어, 메신저 인터페이스(411)의 채팅 창에서 ① 반려동물의 이미지, ② "우리 코코가 어떤 표정을 짓고 있나요?"라는 대화형 메시지 및 ③ "1: 행복, 2: 화남..."이라는 선택지를 출력하고, 반려동물의 보호자가 채팅 창에서 1을 응답하면, 해당 반려동물의 이미지에는 '행복'이 레이블링되어 이미지 DB(342)에 저장된다. 이와 같은 방법으로 표정 레이블이 부여되지 않았던 이미지에 표정을 레이블링할 수 있다.
커뮤니케이션 서버(300)의 제어부(330)는 이미지 DB(342)에 저장되어 있는 반려동물의 이미지 중 표정 레이블이 없는 이미지를 랜덤으로 또는 일정한 규칙에 따라 선정한다. 제어부(330)는 반려동물의 이미지에 대응되는 반려동물의 이름을 이용하여 메시지를 생성한다. 또한 제어부(330)는 선정된 반려동물의 이미지를 표정 모델에 입력하여 상기 표정 모델을 실행하고, 그 결과로 나타나는 표정별 확률에 따라 소정 개수만큼 추출할 수 있다. 또한 제어부(330)는 내부 저장소에 저장된 표정 목록에서 표정 명칭을 임의 추출하여 선택지를 생성(선정)할 수 있다. 표정 목록은 커뮤니케이션 플랫폼(410)에 기 저장된 것이거나 제어부(330)의 내부 저장소에 저장되어 있는 것일 수 있다.
제어부(330)는 선정된 반려동물의 이미지, 생성된 메시지와 선택지를 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다.
커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411)의 채팅 창에서 전달받은 이미지, 메시지, 선택지를 출력한다. 커뮤니케이션 플랫폼(410)은 반려동물 보호자의 선택 결과를 통신부(310)로 전달하며, 제어부(330)는 반려동물 보호자가 선택한 표정을 해당 반려동물 이미지와 매칭시켜 이미지 DB(342)로 전달하고, 이미지 DB(342)는 해당 표정 레이블을 해당 반려동물 이미지와 매칭시켜 저장한다. 만약 반려동물 보호자가 선택한 선택지가 다른 선택지를 제시하도록 요구하는 것이라면, 상기 표정모델 실행 결과 중 선택지로 선정되지 않은 표정을 소정 개수 추출하거나 내부 저장소에 저장된 표정 목록에서 표정 명칭을 임의 추출하여 선택지를 생성하고, 상기 반려동물의 이미지, 메시지와 다시 생성한 선택지를 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다. 그 이후의 과정은 전술한 바와 같다.
이와 같은 방법으로 반려동물의 표정 레이블을 지속적으로 이미지 DB에 추가할 수 있다.
행동 학습모듈(323)은 반려동물의 동영상을 학습하여 반려동물 행동모델(이하 행동모델)을 생성하거나 갱신한다. 행동모델은 반려동물의 동작/상태(이하 행동)를 추론하는데 사용된다.
행동모델을 생성하고자 하는 반려동물 보호자는 행동 분석 인터페이스(413)에서 제공하는 학습 화면을 통해 갤러리에 업로드된 반려동물의 동영상 중 모델 학습용 동영상을 선정한다. 모델 학습용 동영상은 반려동물의 동작이나 상태가 담긴 동영상이 바람직하다. 반려동물 보호자는 학습용 동영상을 좌우 또는 상하로 넘기고, 필요에 따라 해당 동영상을 재생하면서 반려동물의 동영상 별로 반려동물의 행동을 레이블링(labeling)한다. 이 때 행동 분석 인터페이스(413)는 상기 학습 화면에서 반려동물 보호자가 레이블링할 수 있는 행동을 제시하여 선택하도록 할 수 있다. 예를 들어, 행동 분석 인터페이스(413)는 반려동물의 동영상에 나타난 ① 앉기, 서기, 눕기, 엎드리기, 걷기, 뛰기, 점프, 몸 털기, 꼬리 흔들기, 짖음, 마운팅 등의 동작 또는 ② 배고픔, 경계, 몸이 아픔, 산책 가고 싶음, 관심을 끌고 싶음, 배변 하고 싶음(화장실에 가고 싶음), 흥분, 화남, 발정 등의 상태를 제시하여 반려동물 보호자가 레이블을 선택하도록 할 수 있다. 여기서, 행동 분석 인터페이스(413)는 커뮤니케이션 서버(300)에 저장되어 있는 기존의 행동모델을 실행한 결과에 따라 확률이 높은 순서대로 수 개의 행동을 선정하여 제시할 수 있다.
또한 반려동물 보호자는 행동 레이블을 직접 입력하거나, 반려동물 보호자는 동영상 DB(343)에 저장되어 있고 행동 레이블이 부여되어 있는 반려동물 동영상을 선택하는 방식으로 모델 학습용 동영상을 선정할 수 있다.
행동 학습모듈(323)은 레이블이 부여된 반려동물 동영상을 동영상 DB(343)에 전달하고, 동영상 DB(343)는 이를 저장한다.
행동 학습모듈(323)은 모델 학습용으로 선정된 반려동물의 동영상의 학습을 통해 행동모델을 생성/갱신한다. 행동 학습모듈(323)은 견종이나 반려동물 별로 별도의 행동모델을 생성/갱신할 수 있다.
행동 학습모듈(323)은 모델 학습용 동영상을 전처리한다. 상기 전처리 과정에서 노이즈 제거 또는 이미지/음성 추출이 수행될 수 있다. 행동 학습모듈(323)은 전처리된 이미지(정적 데이터)나 동영상(동적 데이터)에서 객체(반려동물)을 탐지한다. 객체 탐지에는 YOLO(You Only Look Once), R-CNN(Region-based CNN) 모델이 사용될 수 있으나 이에 한정되지 않는다. 그리고 행동 학습모듈(323)은 반려동물의 행동을 판단하기 위한 특징을 지정하거나 추출한다. 특징을 지정하는 방법(hand-crafted feature)으로서 Dense Trajectories나 HOG(Histogram of Oriented Gradients)가 이용될 수 있다. 또한 특징 추출(feature extraction)을 위해 딥러닝 기법으로서 RNN(Recurrent Neural Network) 모델이나 CNN 모델이 사용될 수 있다. 그러나 특징 지정이나 추출을 위한 기법은 상기 내용에 한정되지 않는다.
행동 학습모듈(323)은 추출된 특징을 사용하여 모델 관리자(324)에 저장되어 있는 모델(예를 들어, SVM이나 AdaBoost) 중 어느 하나의 모델을 학습시켜 행동모델을 생성한다. 또한 행동 학습모듈(323)은 기 생성된 행동모델을 다시 학습시켜 갱신할 수 있다.
반려동물 보호자는 행동 분석 인터페이스(413)의 학습 화면에서 행동모델을 테스트할 수 있다. 이 경우 반려동물 보호자는 갤러리에서 임의의 반려동물 동영상을 선택하여 행동모델을 테스트할 수 있다. 반려동물 보호자는 행동 추론 결과에 대해 만족하지 못할 경우 행동 분석 인터페이스(413) 학습 화면에서 피드백을 할 수 있다. 상기 피드백에 따라 학습용 동영상이 추가적으로 선정되어 다시 학습이 진행되어 행동모델이 갱신되거나, 학습모델이 변경되어(예를 들어, SVM을 SVM과 AdaBoost의 앙상블로 변경) 다시 학습을 진행되어 다른 행동모델이 생성될 수 있다.
행동 학습모듈(323)은 행동모델을 모델 관리자(324)에 전달하고, 모델 관리자(324)는 행동모델을 내부 저장소에 저장한다.
상기 행동모델의 학습이나 테스트 과정에서 사용되는 반려동물의 동영상은 동영상 DB(343)에서 대상 견종이나 반려동물에 해당하는 동영상을 추출하여 사용한다.
또한 반려동물 보호자가 행동 분석 인터페이스(413)에서 학습과 테스트를 진행하는 과정에서 커뮤니케이션 플랫폼(410)은 통신부(310)에 행동모델 학습/테스트 요청 메시지, 반려동물 동영상을 DB에서 추출하기 위한 필드(견종, 반려동물 식별코드), 추론결과에 대한 피드백 및 선정된 레이블(행동의 명칭)을 전달하며, 통신부(310)는 커뮤니케이션 플랫폼(410)으로 반려동물의 동영상과 행동모델의 추론결과를 전달한다. 또한 통신부(310)는 커뮤니케이션 플랫폼(410)으로부터 행동모델 학습 요청이 있는 경우 행동 학습모듈(323)에 전달하여 학습이 수행되도록 한다.
모델 관리자(324)는 표정 학습모듈(322)의 표정 학습이나 행동 학습모듈(323)의 행동 학습의 대상이 되는 학습 전 모델(예를 들면 SVM)을 내부 저장소에 저장한다. 또한 모델 관리자(324)는 모델 학습 과정에서 필요한, 객체 탐지 모델 또는 특징 추출에 사용되는 딥러닝 모델(예를 들면 CNN)을 내부 저장소에 저장한다. 또한 모델 관리자(324)는 표정 학습모듈(322)이 생성하거나 갱신한 표정모델과 행동 학습모듈(323)이 생성하거나 갱신한 행동모델을 내부 저장소에 저장한다. 또한 모델 관리자(324)는 표정 분석 인터페이스(412)나 행동 분석 인터페이스(413)에서 진행되는 테스트나 표정 분석, 행동 분석의 진행에 따라 표정모델이나 행동모델을 실행하여 추론 결과를 얻는다.
모델 관리자(324)는 상기 추론 결과가 통신부(310)를 통해 커뮤니케이션 플랫폼(410)으로 전달되도록 한다. 또한 모델 관리자(324)는 상기 추론 결과를 제어부(330)로 전달하여 제어부(330)가 표정 분석이나 행동 분석의 선택지를 생성할 때 추론 결과를 사용할 수 있도록 할 수 있다.
도 4는 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 저장부 구성을 나타낸 블록도이다.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른, 커뮤니케이션 서버의 저장부(340)는 메시지 DB(341), 이미지 DB(342), 동영상 DB(343)를 포함한다. 그리고 저장부(340)는 이모티콘 DB(344)를 더 포함할 수 있다.
메시지 DB(341)는 메신저 인터페이스(411)에서 제공하는 채팅 화면에 표시될 수 있는 메시지를 저장한다. 메시지 DB(341)에 저장되는 각 메시지에는 키워드가 부여된다. 제어부(330)에서 상황에 맞는 메시지를 추출하고자 할 때 상황에 따라 매핑된 키워드를 메시지 DB(341)에서 추출한 후 채팅 화면에 표시될 메시지를 선정한다.
이미지 DB(342)는 반려동물 보호자가 커뮤니케이션 플랫폼(410)의 갤러리에 업로드한 반려동물의 이미지를 저장한다. 또한 이미지 DB(342)는 메신저 인터페이스(411)에서 제공하는 채팅 화면에 표시될 수 있는 반려동물의 이미지를 저장한다. 이미지 DB(342)에 저장되는 반려동물의 이미지에는 표정 레이블이 부여될 수 있다. 상기 레이블은 모델 관리자(324)의 표정모델 실행 결과로 인해 생성된 것이거나, 반려동물 보호자가 직접 입력한 것일 수 있다.
동영상 DB(343)는 메신저 인터페이스(411)에 표시될 수 있는 반려동물의 동영상을 저장한다. 또한 동영상 DB(343)는 반려동물 보호자가 커뮤니케이션 플랫폼(410)의 갤러리에 업로드한 반려동물의 동영상을 저장한다. 동영상 DB(343)에 저장되는 반려동물의 이미지에는 행동 레이블이 부여될 수 있다. 상기 레이블은 모델 관리자(324)의 행동모델 실행 결과로 인해 생성된 것이거나, 반려동물 보호자가 직접 입력한 것일 수 있다.
이모티콘 DB(344)는 이모티콘 생성부(350)가 생성한 이모티콘을 저장한다. 상기 이모티콘은 반려동물의 이미지를 기초로 생성된 이모티콘이다. 상기 이모티콘은 메신저 인터페이스(411)의 채팅 화면, 반려동물 보호자 단말기(400)에 설치된 채팅 앱, SNS에서 사용될 수 있다. 또한, 반려동물 보호자는 상기 이모티콘을 자신이 사용할 수 있음은 물론, 외부의 이모티콘 구매 플랫폼에 등록시켜 판매할 수 있을 것이다.
도 5는 본 발명의 일 실시예에 따른, 반려동물 보호자 단말기에 설치된 커뮤니케이션 플랫폼의 구성을 나타낸 블록도이다.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411), 표정 분석 인터페이스(412), 행동 분석 인터페이스(413)를 포함한다. 또한 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼(410)은 이모티콘 인터페이스(414)를 더 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼(410)은 반려동물 전용 SNS 인터페이스를 더 포함할 수 있다.
또한 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼(410)은 주변기기 관리 인터페이스 및 반려동물 관리 인터페이스를 더 포함할 수 있다.
커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 메시지, 이미지 또는 동영상을 메신저 인터페이스(411)를 통해 표시한다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 반려동물의 이미지와 반려동물 표정분석용 데이터(표정의 명칭)를 표정 분석 인터페이스(412)를 통해 표시한다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 반려동물의 동영상과 반려동물 행동분석용 데이터(행동의 명칭)를 행동 분석 인터페이스(413)를 통해 표시한다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 이모티콘을 이모티콘 인터페이스(414)를 통해 표시한다.
커뮤니케이션 플랫폼(410)은 반려동물 보호자는 물론이고 임의의 타인 또는 접근을 허가받은 타인이 네트워크에 접속하여 표정 분석 인터페이스(412)와 행동 분석 인터페이스(413)가 제공하는 표정 분석 또는 행동 분석 서비스를 이용할 수 있도록 한다.
메신저 인터페이스(411)는 반려동물의 보호자가 반려동물 간 채팅하는 것과 같은 환경(이하 반려동물 채팅 창)을 제공한다. 메신저 인터페이스(411)는 채팅 기능을 이용하여 대화하는 것처럼 반려동물의 욕구를 전달한다. 즉, 메신저 인터페이스(411)는 반려동물을 의인화한 채팅 형식의 커뮤니케이션 방법을 제공한다. 상기 반려동물의 욕구는 반려동물 입력신호를 기초로 하여 판단할 수 있다. 커뮤니케이션 서버(300)의 제어부(330)는 특정 이벤트가 발생하면 상황을 판단하여 메신저 인터페이스(411)에 출력될 메시지를 선정하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 상기 메시지가 전달되도록 한다. 또한 제어부(330)는 메시지와 함께 반려동물의 이미지가 전달되도록 할 수 있다. 커뮤니케이션 플랫폼(410)은 통신부(310)로부터 메시지 등을 전달받으면 반려동물의 메시지(대화형 메시지)인 것처럼 반려동물 채팅 창에 출력한다.
또한, 메신저 인터페이스(411)는 반려동물 보호자 단말기(400)의 위치정보, 날씨, 교통혼잡도, 현재시간, 뉴스 등의 정보를 활용하여 반려동물과 관련된 상품/서비스, 반려동물 보호자의 맞춤형 상품/서비스에 대한 광고 메시지를 대화형 문장으로 기록한 메시지를 표시하는 기능을 제공할 수 있다.
대화형 메시지의 일 예로, ① 현재 위치, 시간 등에 따라 일정 시간내 반려동물 보호자가 집에 도착하지 않을 경우, 반려동물 보호자 단말기(400)로 "형 오늘 조금 늦어? 그러면 밥 먼저 먹고 있을까?" 와 같은 대화형 메시지를 표시할 수 있다. 또한, ② 반려동물 보호자가 버스정류장, 지하철에 도착하거나, 이동하고 있는 경우 "형 버스 잘탔어?, 지하철 잘 탔어?, 오늘은 회사말고 출장가??" 와 같은 대화형 메시지를 표시할 수 있다. 또한, ③ 반려동물 보호자의 직장이 위치한 곳에 일기예보상에 비가 내릴 가능성이 있거나, 황사 등으로 인하여 주인에게 "형 출근잘했어? 오늘 오후부터 비가온다네 ㅠㅜ 내가 챙겨줘야 했는데" 등의 대화형 메시지를 표시할 수 있다. 또한, ④ 대화형 메시지가 광고 형태일 경우 "형 오늘 넷플릭스에서 000가 새로 방영한대 이따 퇴근길에 봐 ㅎㅎ", "누나 오늘 SBS에서 신작 000가 9시부터 첫방송 시작한대 나랑같이보자~ㅎㅎ", "형 여기 우리집 근처에 애견카페 생겼대 나랑같이 가자!!" 등의 대화형 광고메시지를 제공할 수 있다.
한편, 메신저 인터페이스(411)는 상기 대화형 메시지와 함께 커뮤니케이션 서버(300)에서 전달받은 반려동물의 표정이 담긴 이미지(이하 반려동물 표정 이미지)나 반려동물의 동영상을 채팅 창에 출력할 수 있다. 예를 들어, 반려동물 표정 이미지 중 ①의 경우 '간절함'에 해당하는 이미지, ②의 경우 '궁금함'에 해당하는 이미지, ③의 경우 '걱정'에 해당하는 이미지, ④의 경우 '신남'에 해당하는 이미지를 출력할 수 있다. 이러한 이미지는 커뮤니케이션 서버(300)에 있는 제어부(330)가 상황 판단에 따른 키워드에 매핑되는 표정에 해당하는 반려동물 이미지를 이미지 DB(342)에서 추출한 후 선정할 수 있고, 커뮤니케이션 플랫폼(410)에서 선정할 수도 있다.
표정 분석 인터페이스(412)는 반려동물의 이미지와 소정 개수의 선택지를 표시한 화면을 제공한다. 예를 들어, 표정 분석 인터페이스(412)는 반려동물의 이미지에 담긴 반려동물의 표정이 무엇인지 물어보는, 객관식 퀴즈 형태의 화면을 제공할 수 있다. 상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭으로 하는 것이 바람직하다. 표정 분석 인터페이스(412)의 사용자가 상기 선택지 중 하나를 선택하면, 표정 분석 인터페이스(412)는 상기 이미지에 부여되어 있는 표정 레이블과 사용자가 선택한 선택지의 일치 여부를 표시한다. 표정 분석 인터페이스(412)의 사용자는 반려동물의 보호자는 물론이고 접근 권한이 있는 타인이 될 수 있다.
본 발명의 일 실시예에서, 반려동물 보호자의 반려동물이 복수일 경우, 표정 분석 인터페이스(412)는 사용자가 복수의 반려동물 중 어느 반려동물을 대상으로 표정 분석을 할 것인지 선택하도록 할 수 있다. 만약 커뮤니케이션 플랫폼(410)의 반려동물 전용 SNS 인터페이스가 제공하는 특정 반려동물의 SNS 계정을 통해 표정 분석 서비스를 이용하는 경우 해당 반려동물을 대상으로 표정 분석 화면을 제공한다.
표정 분석 대상 반려동물이 정해진 경우, 표정 분석 인터페이스(412)는 해당 반려동물에 관한 이미지를 랜덤으로 선정하거나, 사용자가 지정한 해당 반려동물 이미지를 기준으로 표정 분석을 진행한다. 표정 분석 인터페이스(412)는 사용자가 표정 분석을 위해 이미지를 지정할 수 있도록 해당 반려동물 이미지의 썸네일(thumbnail)을 화면에 표시할 수 있다.
표정 분석 대상 이미지가 정해진 경우, 표정 분석 인터페이스(412)는 해당 이미지와 소정 개수의 선택지를 화면에 표시한다. 상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭으로 하는 것이 바람직하다. 복수의 선택지에 표시할 표정의 명칭들은 상기 이미지에 부여된 표정 레이블과 함께 커뮤니케이션 서버(300)에 있는 표정모델이 표정 분석 대상의 이미지로 표정을 추론한 결과를 기초로 정할 수 있다. 또한 복수의 선택지에 표시할 표정의 명칭들은 상기 추론 결과와 표정 목록에서 랜덤으로 추출한 표정 명칭을 혼합하여 구성할 수 있다. 상기 표정 목록은 커뮤니케이션 플랫폼(410)에 기 저장된 것이거나 제어부(330)의 내부 저장소에 저장되어 있는 것일 수 있다.
예를 들어 표정 분석 인터페이스(412)가 제시할 표정 선택지가 4개로 설정이 되어 있고, 표정 분석 대상의 이미지에 부여되어 있는 표정 레이블이 '당황'이고, 상기 이미지로 해당 반려동물의 표정모델이 추론한 결과가 '당황(60%)', '두려움(30%)', '걱정(8%)', '궁금함(2%)'으로 나타난 경우, 제어부(330)는 '당황', '두려움', '걱정'의 3개 선택지에 랜덤으로 추출한 표정인 '행복함'을 추가하여 4개의 선택지를 구성하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)으로 전달되도록 할 수 있다.
표정 분석 인터페이스(412)의 사용자가 화면에 제시된 선택지 중 하나의 표정을 선택한 경우, 표정 분석 인터페이스(412)는 사용자가 선택한 표정과 표정 분석 대상의 이미지에 부여되어 있는 표정 레이블의 일치 여부를 화면에 표시할 수 있다. 또한 표정 분석 대상의 이미지에 표정 레이블이 부여되어 있지 않은 경우, 표정 분석 인터페이스(412)는 사용자가 선택한 표정과 표정 모델의 추론 결과 중 가장 높은 확률을 가지는 표정의 일치 여부를 화면에 표시할 수 있다.
예를 들어, 표정 분석 대상의 이미지에 부여되어 있는 표정 레이블이 '당황'이고, 선택지로 '당황', '두려움', '걱정', '행복함'이 표정 분석 인터페이스(412) 화면에 제시되었고, 사용자가 선택지 중 '두려움'을 선택한 경우, 표정 분석 인터페이스(412)는 사용자가 선택한 표정이 상기 표정 레이블과 일치하지 않음을 화면에 표시할 수 있다.
한편, 표정 분석 인터페이스(412)의 사용자가 반려동물 보호자이고, 반려동물 보호자가 표정 분석 화면에서 선택한 표정이 표정 모델의 추론 결과와 일치하지 않는 경우, 이를 피드백으로 삼아 커뮤니케이션 플랫폼(410)이 불일치 내용을 통신부(310)로 전달하여, 표정 학습모듈(322)이 표정모델을 다시 학습하도록 할 수 있다.
본 발명의 다른 실시예에서, 표정 분석 인터페이스(412)는, 반려동물 보호자가 지정한 반려동물의 특정 이미지에 대해 표정 분석 인터페이스(412)에 접속한 타인들의 표정 선택 결과를 집계하여 화면에 출력할 수 있다. 예를 들어 반려동물 보호자가 지정한 반려동물 이미지의 표정 레이블이 '당황'이고, 일정 기간 동안 10명이 표정 분석 인터페이스(412)에 접속하여 6명이 '당황', 3명이 '두려움', 1명이 '행복함'을 선택한 경우, 표정 분석 인터페이스(412)는 텍스트 형태나 파이 차트(pie chart)나 히스토그램 등의 그래프 형태로 타인의 표정 분석 집계 결과를 표시할 수 있다. 상기 집계 결과는 맞은 수(비율)와 틀린 수(비율)를 비교하는 형태일 수도 있고, 표정별 선택 개수나 비율을 나타내는 형태일 수도 있다.
한편, 표정 분석 인터페이스(412)는 표정모델을 생성하거나 갱신할 수 있는 화면을 제공한다. 표정모델을 생성/갱신하고자 하는 반려동물 보호자는 표정 분석 인터페이스(412)에서 제공하는 학습 화면을 통해 갤러리에 업로드된 반려동물의 이미지 중 모델 학습용 이미지를 선정한다. 모델 학습용 이미지는 반려동물의 표정이 담긴 이미지가 바람직하다. 반려동물 보호자는 학습용 이미지를 좌우 또는 상하로 넘기면서 반려동물의 이미지 별로 표정을 레이블링(labeling)한다.
이 때 표정 분석 인터페이스(412)는 상기 학습 화면에서 반려동물 보호자가 레이블링할 수 있는 표정을 제시하여 선택하도록 할 수 있다. 예를 들어, 표정 분석 인터페이스(412)는 반려동물의 이미지에 나타난 반려동물의 표정으로서 행복함, 좋음, 신남, 싫음, 토라짐, 짜증남, 슬픔, 궁금함, 당황, 두려움, 걱정, 실망, 간절함, 분노, 피곤함, 졸림, 시무룩함, 불쌍함 등의 표정을 제시하여 반려동물 보호자가 레이블을 선택하도록 할 수 있다. 여기서, 표정 분석 인터페이스(412)는 커뮤니케이션 서버(300)에 저장되어 있는 기존의 표정모델을 실행한 결과에 따라 확률이 높은 순서대로 수 개의 표정을 선정하여 제시할 수 있다.
또한 반려동물 보호자는 표정 레이블을 직접 입력하거나, 반려동물 보호자는 이미지 DB(342)에 저장되어 있고 표정 레이블이 부여되어 있는 반려동물 이미지를 선택하는 방식으로 모델 학습용 이미지를 선정할 수 있다.
표정 학습모듈(322)은 레이블이 부여된 반려동물 이미지를 이미지 DB(342)에 전달하고, 이미지 DB(342)는 이를 저장한다.
표정 학습모듈(322)은 모델 학습용으로 선정된 반려동물의 이미지의 학습을 통해 표정모델을 생성/갱신한다. 표정 학습모듈(322)은 견종이나 반려동물 별로 별도의 표정모델을 생성/갱신할 수 있다.
행동 분석 인터페이스(413)는 반려동물의 동영상과 소정 개수의 선택지를 표시한 화면을 제공한다. 예를 들어, 행동 분석 인터페이스(413)는 반려동물의 동영상에 담긴 반려동물의 행동이 무엇인지 물어보는, 객관식 퀴즈 형태의 화면을 제공할 수 있다. 상기 선택지는 상기 동영상에 있는 반려동물이 가질 수 있는 행동의 명칭으로 하는 것이 바람직하다. 행동 분석 인터페이스(413)의 사용자가 상기 선택지 중 하나를 선택하면, 행동 분석 인터페이스(413)는 상기 동영상에 부여되어 있는 행동 레이블과 사용자가 선택한 선택지의 일치 여부를 표시한다. 행동 분석 인터페이스(413)의 사용자는 반려동물의 보호자는 물론이고 접근 권한이 있는 타인이 될 수 있다.
본 발명의 일 실시예에서, 반려동물 보호자의 반려동물이 복수일 경우, 행동 분석 인터페이스(413)는 사용자가 복수의 반려동물 중 어느 반려동물을 대상으로 행동 분석을 할 것인지 선택하도록 할 수 있다. 만약 커뮤니케이션 플랫폼(410)의 반려동물 전용 SNS 인터페이스가 제공하는 특정 반려동물의 SNS 계정을 통해 행동 분석 서비스를 이용하는 경우 해당 반려동물을 대상으로 행동 분석 화면을 제공한다.
행동 분석 대상 반려동물이 정해진 경우, 행동 분석 인터페이스(413)는 해당 반려동물에 관한 동영상을 랜덤으로 선정하거나, 사용자가 지정한 해당 반려동물 동영상을 기준으로 행동 분석을 진행한다. 행동 분석 인터페이스(413)는 사용자가 행동 분석을 위해 동영상을 지정할 수 있도록 해당 반려동물 동영상의 썸네일(thumbnail)을 화면에 표시할 수 있다.
행동 분석 대상 동영상이 정해진 경우, 행동 분석 인터페이스(413)는 해당 동영상과 소정 개수의 선택지를 화면에 표시한다. 상기 선택지는 상기 동영상에 있는 반려동물이 가질 수 있는 행동의 명칭으로 하는 것이 바람직하다. 복수의 선택지에 표시할 행동의 명칭들은 상기 동영상에 부여된 행동 레이블과 함께 커뮤니케이션 서버(300)에 있는 행동모델이 행동 분석 대상의 동영상으로 행동을 추론한 결과를 기초로 정할 수 있다. 또한 복수의 선택지에 표시할 행동의 명칭들은 상기 추론 결과와 행동 목록에서 랜덤으로 추출한 행동 명칭을 혼합하여 구성할 수 있다. 상기 행동 목록은 커뮤니케이션 플랫폼(410)에 기 저장된 것이거나 제어부(330)의 내부 저장소에 저장되어 있는 것일 수 있다.
예를 들어 행동 분석 인터페이스(413)가 제시할 행동 선택지가 4개로 설정이 되어 있고, 행동 분석 대상의 동영상에 부여되어 있는 행동 레이블이 '산책 가고 싶음'이고, 상기 동영상으로 해당 반려동물의 행동모델이 추론한 결과가 '산책 가고 싶음(50%)', '관심을 끌고 싶음(30%)', '배고픔(15%)', '화남(2%)'으로 나타난 경우, 제어부(330)는 '산책 가고 싶음', '관심을 끌고 싶음', '배고픔'의 3개 선택지에 랜덤으로 추출한 행동인 '화장실에 가고 싶음'을 추가하여 4개의 선택지를 구성하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)으로 전달되도록 할 수 있다.
행동 분석 인터페이스(413)의 사용자가 화면에 제시된 선택지 중 하나의 행동을 선택한 경우, 행동 분석 인터페이스(413)는 사용자가 선택한 행동과 행동 분석 대상의 동영상에 부여되어 있는 행동 레이블의 일치 여부를 화면에 표시할 수 있다. 또한 행동 분석 대상의 동영상에 행동 레이블이 부여되어 있지 않은 경우, 행동 분석 인터페이스(413)는 사용자가 선택한 행동과 행동 모델의 추론 결과 중 가장 높은 확률을 가지는 행동의 일치 여부를 화면에 표시할 수 있다.
예를 들어, 행동 분석 대상의 동영상에 부여되어 있는 행동 레이블이 '산책 가고 싶음'이고, 선택지로 '산책 가고 싶음', '관심을 끌고 싶음', '배고픔', '화장실에 가고 싶음'이 행동 분석 인터페이스(413) 화면에 제시되었고, 사용자가 선택지 중 '관심을 끌고 싶음'을 선택한 경우, 행동 분석 인터페이스(413)는 사용자가 선택한 행동이 상기 행동 레이블과 일치하지 않음을 화면에 표시할 수 있다.
한편, 행동 분석 인터페이스(413)의 사용자가 반려동물 보호자이고, 반려동물 보호자가 행동 분석 화면에서 선택한 행동이 행동 모델의 추론 결과와 일치하지 않는 경우, 이를 피드백으로 삼아 커뮤니케이션 플랫폼(410)이 불일치 내용을 통신부(310)로 전달하여, 행동 학습모듈(323)이 행동모델을 다시 학습하도록 할 수 있다.
본 발명의 다른 실시예에서, 행동 분석 인터페이스(413)는, 반려동물 보호자가 지정한 반려동물의 특정 동영상에 대해 행동 분석 인터페이스(413)에 접속한 타인들의 행동 선택 결과를 집계하여 화면에 출력할 수 있다. 예를 들어 반려동물 보호자가 지정한 반려동물 동영상의 행동 레이블이 '산책 가고 싶음'이고, 일정 기간 동안 10명이 행동 분석 인터페이스(413)에 접속하여 4명이 '산책 가고 싶음', 3명이 '화장실에 가고 싶음', 3명이 '관심을 끌고 싶음'을 선택한 경우, 행동 분석 인터페이스(413)는 텍스트 형태나 파이 차트(pie chart)나 히스토그램 등의 그래프 형태로 타인의 행동 분석 집계 결과를 표시할 수 있다. 상기 집계 결과는 맞은 수(비율)와 틀린 수(비율)를 비교하는 형태일 수도 있고, 행동별 선택 개수나 비율을 나타내는 형태일 수도 있다.
한편, 행동 분석 인터페이스(413)는 행동모델을 생성하거나 갱신할 수 있는 화면을 제공한다. 행동모델을 생성/갱신하고자 하는 반려동물 보호자는 행동 분석 인터페이스(413)에서 제공하는 학습 화면을 통해 갤러리에 업로드된 반려동물의 동영상 중 모델 학습용 동영상을 선정한다. 모델 학습용 동영상은 반려동물의 행동이 담긴 동영상이 바람직하다. 반려동물 보호자는 학습용 동영상을 좌우 또는 상하로 넘기고, 필요에 따라 해당 동영상을 재생하면서 반려동물의 동영상 별로 행동을 레이블링(labeling)한다.
이 때 행동 분석 인터페이스(413)는 상기 학습 화면에서 반려동물 보호자가 레이블링할 수 있는 행동을 제시하여 선택하도록 할 수 있다. 예를 들어, 행동 분석 인터페이스(413)는 반려동물의 동영상에 나타난 ① 앉기, 서기, 눕기, 엎드리기, 걷기, 뛰기, 점프, 몸 털기, 꼬리 흔들기, 짖음, 마운팅 등의 동작 또는 ② 배고픔, 경계, 몸이 아픔, 산책 가고 싶음, 관심을 끌고 싶음, 배변 하고 싶음(화장실에 가고 싶음), 흥분, 화남, 발정 등의 상태를 제시하여 반려동물 보호자가 레이블을 선택하도록 할 수 있다. 여기서, 행동 분석 인터페이스(413)는 커뮤니케이션 서버(300)에 저장되어 있는 기존의 행동모델을 실행한 결과에 따라 확률이 높은 순서대로 수 개의 행동을 선정하여 제시할 수 있다.
또한 반려동물 보호자는 행동 레이블을 직접 입력하거나, 반려동물 보호자는 동영상 DB(343)에 저장되어 있고 행동 레이블이 부여되어 있는 반려동물 동영상을 선택하는 방식으로 모델 학습용 동영상을 선정할 수 있다.
행동 학습모듈(323)은 레이블이 부여된 반려동물 동영상을 동영상 DB(343)에 전달하고, 동영상 DB(343)는 이를 저장한다.
행동 학습모듈(323)은 모델 학습용으로 선정된 반려동물의 동영상의 학습을 통해 행동모델을 생성/갱신한다. 행동 학습모듈(323)은 견종이나 반려동물 별로 별도의 행동모델을 생성/갱신할 수 있다.
이모티콘 인터페이스(414)는 커뮤니케이션 플랫폼(410)의 갤러리에 저장된 반려동물의 이미지를 이용하여 이모티콘을 생성할 수 있는 화면(이하 '이모티콘 생성 화면')을 제공한다. 또한 이모티콘 인터페이스(414)는 반려동물 보호자 단말기(400)의 채팅 앱이나 인터넷 화면, SNS 화면에서 상기 생성한 이모티콘을 사용할 수 있는 화면을 제공한다.
또한 이모티콘 인터페이스(414)는 외부의 이모티콘 구매 플랫폼과 연동되어 생성한 이모티콘을 상기 이모티콘 구매 플랫폼에 업로드할 수 있도록 지원하는 화면을 제공할 수 있다. 이와 같은 방법으로 반려동물 보호자는 자신의 반려동물의 이미지를 변환한 이모티콘을 판매하여 수익을 창출할 수 있다.
이모티콘 인터페이스(414)의 이모티콘 생성 화면에서 반려동물 보호자가 반려동물의 이미지를 갤러리에서 선택하면, 이모티콘 생성부(350)는 반려동물의 이미지를 축소하거나, 특정 영역을 추출하여 채팅 화면이나 SNS 화면에서 사용되기에 적합한 소정의 크기가 되도록 이모티콘을 생성할 수 있다. 이모티콘 생성부(350)은 이미지 DB(342)에서 추출한 반려동물의 이미지에 표정 레이블이 부여되어 있는 경우 이 레이블을 이모티콘의 태그로 하여 이모티콘과 함께 이모티콘 DB(344)에 전달한다. 이모티콘 DB(344)는 이모티콘의 태그와 이모티콘을 매칭하여 함께 저장한다. 반려동물의 보호자는 이모티콘 인터페이스(414)를 통해, 이모티콘 생성 과정에서 직접 이모티콘에 태그를 부여할 수 있고, 이모티콘 DB(344)에 저장된 이모티콘에 부여된 태그를 수정할 수도 있다.
커뮤니케이션 플랫폼(410)의 반려동물 전용 SNS 인터페이스는 개별 반려동물에 관한 SNS 계정(이하 '반려동물 SNS 계정')을 개설할 수 있는 환경을 제공한다. 상기 반려동물 전용 SNS 인터페이스는 반려동물 SNS 계정에 반려동물 보호자가 해당 반려동물에 관한 글(예를 들어 '게시판')이나 해당 반려동물의 이미지 또는 동영상을 게시할 수 있는 인터페이스(예를 들어 '갤러리')를 제공한다. 반려동물 전용 SNS 인터페이스는 반려동물의 보호자에게 자신의 반려동물 SNS 계정에 게시된 글이나 이미지 또는 동영상을 수정하거나 삭제할 수 있는 권한을 부여한다. 또한 반려동물 전용 SNS 인터페이스는 임의의 또는 접근이 허용된 타인이 상기 SNS 계정을 방문하여 반려동물에 관한 글에 댓글을 달거나, 반려동물의 이미지 또는 동영상에 평가, 추천, 댓글을 남길 수 있는 환경을 제공한다. 또한 반려동물 보호자는 반려동물 전용 SNS 인터페이스를 통해 자신이 개설한 다른 SNS 계정(예를 들어 인스타그램, 페이스북), 자신의 블로그나 유튜브 계정으로 연결되는 링크를 제공할 수 있다. 또한 반려동물 전용 SNS 인터페이스는, 반려동물 SNS 계정을 방문한 타인이 표정 분석 인터페이스(412)나 행동 분석 인터페이스(413)에서 제공하는 서비스에 접근할 수 있는 버튼이나 링크를 제공할 수 있다.
커뮤니케이션 플랫폼(410)의 주변기기 관리 인터페이스는 반려동물용 입력장치(100), 착용형 생체측정모듈, 신호 중개장치(200), 상기 신호 중개장치(200)와 홈 네트워크로 연동하여 제어되는 주변기기(에어컨, 선풍기, 스마트 TV 등) 중 적어도 어느 하나를 등록하기 위한 인터페이스이다.
또한, 상기 주변기기 관리 인터페이스는 지정한 주변기기 동작설정정보를 기초로 반려동물용 입력장치(100)에서 전송된 입력신호로 동작 가능한 주변기기들을 설정, 수정 및 추가하는 기능을 지원한다.
또한, 상기 주변기기 관리 인터페이스는 등록한 주변기기들의 동작횟수를 제한 설정하는 기능을 지원할 수 있다.
상술한 동작횟수 제한설정 기능은 후술하는 반려동물 관리 인터페이스의 피드백 정보 제공 기능과 연동될 수 있다. 이에 대한 보다 상세한 설명은 반려동물 관리 인터페이스의 기능설명에서 보다 상세하게 설명하도록 한다.
상기 주변기기 관리 인터페이스는 반려동물용 입력장치(100)의 입력신호에 따라 신호 중개장치(200)에서 제어하는 주변기기들의 동작결과를 모니터링하여 표시하는 기능을 지원한다.
커뮤니케이션 플랫폼(410)의 반려동물 관리 인터페이스는 반려동물용 입력장치(100)에서 발생하는 반려동물 입력신호를 모니터링하여 반려동물용 입력장치(100)의 특정 버튼의 입력횟수 및 입력패턴을 표시하는 기능을 지원한다.
상기 반려동물 관리 인터페이스는 반려동물의 행동에 대한 피드백 정보를 설정 및 변경하는 기능을 지원한다. 여기서, 피드백 정보는 반려동물 보호자의 음성정보로서, '안돼', '하지마'와 같은 부정 언어, '잘했어', '좋아', '착하지'와 같은 긍정 언어를 포함하는 반려동물 보호자 발화정보일 수 있다.
상기 피드백 정보는 주변기기 관리 인터페이스에서 반려동물 보호자가 설정한 주변기기들의 동작횟수 제한설정값에 따라 제공될 수 있다.
예를 들어, 반려동물 보호자 단말기(400)에서 사료 급식기의 먹이 배출시간이 1시간 단위로 설정되었다고 가정하고, 반려동물이 반려동물용 입력장치(100)의 사료 요청 버튼을 지속적으로 누를 경우에, 통신부(310)는 신호 중개장치(200)로부터 해당 입력신호를 수신하여 주변기기 관리부에 전달하며, 반려동물 입력신호의 입력 시간과 반려동물 보호자가 설정한 시간이 서로 다를 경우, 주변기기 관리부는 상술한 부정 언어를 포함하는 반려동물 보호자 발화정보를 통신부(310)를 통해 신호 중개장치(200)로 제공하며, 신호 중개장치(200)는 수신한 부정 언어를 포함하는 반려동물 보호자 발화정보를 스피커로 출력할 수 있다.
반대로, 반려동물이 반려동물용 입력장치(100)의 사료 요청 버튼을 반려동물 보호자가 지시한 횟수 또는 시간에 누를 경우, 주변기기 관리부는 상술한 긍정 언어를 포함하는 반려동물 보호자 발화정보를 통신부(310)를 통해 신호 중개장치(200)로 제공하며, 신호 중개장치(200)는 수신한 긍정 언어를 포함하는 반려동물 보호자 발화정보를 스피커로 출력할 수 있다.
다른 예로, 주변기기 관리부는 신호 중개장치(200) 내에 반려동물 보호자가 녹음한 긍정 및 부정언어가 포함된 발화정보를 저장하고 있을 경우, 긍정언어 및 부정언어가 포함된 반려동물 보호자발화 출력지시정보만을 제공할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 메신저 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도이다.
본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼(410)의 메신저 인터페이스(411)는 도 6과 같이 채팅 기능을 이용하여 대화하는 것처럼 반려동물의 욕구를 전달한다.
통신부(310)에서 반려동물 입력신호를 수신하면 제어부(330)는 대화를 시작하기 위한 내용을 통신부(310)를 통해 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)에 전달되도록 한다. 이때 제어부(330)는 시각정보와 반려동물 보호자 단말기(400)에 저장된 스케줄 정보, 위치 정보에 기반하여 상황에 맞는 적절한 메시지를 생성하거나 키워드를 이용하여 메시지 DB(341)에서 메시지를 추출/선정한다. 통신부(310)는 이 메시지를 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)에 전달한다.
이때 통신부(310)에 반려동물 입력신호가 수신되지 않아도 제어부(330)가 시각정보, 반려동물 보호자 단말기(400)에 저장된 스케줄 정보, 반려동물 보호자 위치를 기반으로 메시지를 임의로 생성하도록 구현될 수 있다. 생성된 메시지는 통신부(310)가 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)에 전달한다.
본 발명의 다른 실시예로서, 제어부(330)는 메시지 학습모듈(321)에서의 학습 내용에 기반하여 대화 메시지를 생성할 수 있다. 커뮤니케이션 플랫폼(410)은 반려동물 보호자 단말기(400)에서 실행되는 채팅 앱의 타인과의 채팅 내용을 통신부(310)로 전달하고, 학습부(320)의 메시지 학습모듈(321)은 상기 채팅 내용을 통신부(310)에서 전달받아 기계학습을 통해 딥러닝 모델을 생성하거나 갱신한다. 제어부(330)는 상황 판단의 결과로 특정한 키워드를 선정하여, 메시지 DB(341)에서 상기 키워드에 해당하는 메시지를 추출하거나 선정한 키워드를 이용하여 딥러닝 모델을 실행하여 그 결과를 바탕으로 대화 메시지를 생성한다. 상기 추출되거나 생성된 메시지는 통신부(310)를 통해 커뮤니케이션 플랫폼(410)으로 전달하고, 메시지 DB(341)에 저장한다. 메시지 DB(341)에 저장된 메시지는 그 이후에 추출되어 다시 사용될 수 있다.
본 발명의 또 다른 실시예로서, 커뮤니케이션 플랫폼(410)은 메시지 학습모듈(321)에서의 학습 내용에 기반하여 대화 메시지를 생성한다. 이때 반려동물 보호자 단말기(400)에서 실행되는 채팅 앱을 통해 타인과의 채팅 내용을 모니터링하고, 반려동물 보호자의 채팅 내용에 기반한 메시지를 생성하여 출력하는 것도 가능하다. 물론 이때, 타인과 대화 내용과의 연동 여부는 반려동물 보호자의 선택에 의해 결정됨이 바람직하다.
커뮤니케이션 플랫폼(410)은 생성하거나 전달받은 메시지를 메신저 인터페이스(411)에 표시한다(a).
그리고 반려동물 보호자는 커뮤니케이션 플랫폼(410)의 메신저 인터페이스(411)를 통해 응답함으로써 피드백을 입력할 수 있다(b).
이후 제어부(330)는 반려동물의 입력신호에 따라 반려동물의 상황을 판단하여 적절한 구어체의 메시지를 생성한다. 통신부(310)는 생성된 구어체 메시지를 커뮤니케이션 플랫폼(410)에 전달한다. 예를 들어, 제어부(330)는 반려동물의 입력신호가 사료 요청에 관한 것이면 반려동물이 사료를 먹고 싶은 상황으로 판단하여 반려동물이 사료를 달라고 하는 구어체 메시지를 생성한다. 커뮤니케이션 플랫폼(410)은 전달받은 메시지를 메신저 인터페이스(411)에 표시한다(c).
이때 반려동물 보호자의 피드백이 입력되기까지 지연시간이 기준시간 이상 입력되면 "대답을 왜 늦게 해?", "무슨 일 있어?", "힝"과 같이 상황에 맞는 대화 내용을 더 입력함으로써 반려동물이 아니라 다른 사람과 채팅하는 것과 같은 현실감을 줄 수 있다.
이후에 반려동물 보호자는 커뮤니케이션 플랫폼(410)을 통해 즉각적으로 "사료 주기" 메뉴를 선택하는 것이 가능하다.
그러면 댁내 구비되는 신호 중개장치(200)를 통해 반려동물 입력신호에 대응되는 주변기기로 원격 제어신호를 전송한다. 이 경우 IoT 기능을 가지는 신호 중개장치(200)가 사료 급식기로 사료를 지급하도록 제어신호를 전송하고, 사료 급식기에서 사료 지급 통보 및 사료 급식기 주변을 촬영한 영상을 커뮤니케이션 플랫폼(410)의 채팅창을 통해 업로드할 수 있다.
또한 신호 중개장치(200)는 사료 급식기에서 사료 지급을 완료한 후에 사료 지급이 완료되었음을 알리는 메시지를 획득하여 커뮤니케이션 서버(300)로 전송한다. 통신부(310)는 이 메시지를 커뮤니케이션 플랫폼(410)에 전달한다. 그러면 반려동물 보호자는 메신저 인터페이스(411)에서 사료 지급기에 의해 반려동물에게 사료가 지급되었음을 알리는 메시지를 확인할 수 있다(d).
또한 반려동물 보호자는 반려동물과의 채팅창에서 반려동물이 사료를 먹는 영상을 실시간으로 확인할 수 있다. 사료를 지급한 후에 소정의 시간이 지나거나, 사료 급식기 주변을 촬영한 영상에서 반려동물 객체가 사라지면 욕구 해소에 관한 메시지를 메신저 인터페이스(411)을 통해 더 출력할 수 있다(e).
추가적인 양상에 있어서 커뮤니케이션 플랫폼(410)은 전문가 코칭 기능을 더 제공할 수 있다. 반려동물의 훈련에 필요한 정보나, 행동 유형에 따른 분석 내용 등을 반려동물 전문가에게 직접 질의하고 문답 받는 형식으로 전문가 코칭 기능을 제공한다.
전문가 코칭 기능은 예를 들어 게시판에 업로드하고 답변을 입력받는 형태로 구현되거나, 반려동물 행동 교정사와 같은 전문가와 채팅을 통해 대화가 가능하도록 전문가와 채팅 채널을 생성해주는 형태로 구현될 수 있다. 그러나 이에 한정되는 것은 아니다.
도 7은 본 발명의 일 실시예에 따른 메신저 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도이다.
본 발명의 일 실시예에서 통신부(310)가 외부에서 광고를 수신하면, 통신부(310)는 광고정보 제공부나 제어부(330)에 상기 광고 정보를 전달하고, 제어부(330)는 상황 판단 결과에 따라 광고 내용을 담은 대화형 메시지를 생성하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달할 수 있다. 예를 들어, 반려동물 보호자의 자택 주변에 애견카페가 개업했다는 광고를 통신부(310)가 외부로부터 수신하여 제어부(330)에 전달한 경우, 제어부(330)는 상황 판단의 결과로 "형~ 우리집 근처에 애견카페 생겼대! 나랑 같이 가자!!"라는 메시지를 생성하거나, '애견카페' 키워드를 선정하여 메시지 DB(341)에서 '애견카페' 키워드에 해당하는 "형~ 우리집 근처에 애견카페 생겼대! 나랑 같이 가자!!"라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '애견카페' 키워드와 매핑되는 표정인 '신남'에 해당하는 반려동물의 이미지를 추출할 수 있다. 제어부(330)가 상황을 판단하는 과정에서 반려동물 보호자 단말기(400)의 위치정보, 날씨, 교통혼잡도, 현재시간, 뉴스 등의 정보를 활용할 수 있다.
제어부(330)는 제어부(330)는 이와 같이 정한 메시지 등이 통신부(310)를 통해 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)으로 전달되도록 한다. 커뮤니케이션 플랫폼(410)은 전달받은 메시지 등을 메신저 인터페이스(411)에 표시한다.
도 8은 본 발명의 일 실시예에 따른 표정 분석 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도이다.
본 발명의 일 실시예에서 표정 분석 인터페이스(412)는 반려동물의 이미지와 소정 개수의 선택지를 표시한 화면을 제공한다.
상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭으로 하는 것이 바람직하다. 표정 분석 인터페이스(412)의 사용자가 상기 선택지 중 하나를 선택하면, 표정 분석 인터페이스(412)는 상기 이미지에 부여되어 있는 표정 레이블과 사용자가 선택한 선택지의 일치 여부를 표시한다. 표정 분석 인터페이스(412)의 사용자는 반려동물의 보호자는 물론이고 접근 권한이 있는 타인이 될 수 있다.
표정 분석 인터페이스(412)는 해당 반려동물에 관한 이미지를 랜덤으로 선정하거나, 사용자가 지정한 해당 반려동물 이미지를 기준으로 표정 분석을 진행한다. 표정 분석 인터페이스(412)는 선정되거나 지정된 반려동물의 이미지와 소정 개수의 선택지를 화면에 표시한다(예시에는 3개). 상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭으로 하는 것이 바람직하다. 복수의 선택지에 표시할 표정의 명칭들은 상기 이미지에 부여된 표정 레이블과 함께 커뮤니케이션 서버(300)에 있는 표정모델이 표정 분석 대상의 이미지로 표정을 추론한 결과를 기초로 정할 수 있다. 또한 복수의 선택지에 표시할 표정의 명칭들은 상기 추론 결과와 표정 목록에서 랜덤으로 추출한 표정 명칭을 혼합하여 구성할 수 있다. 상기 표정 목록은 커뮤니케이션 플랫폼(410)에 기 저장된 것이거나 제어부(330)의 내부 저장소에 저장되어 있는 것일 수 있다.
예를 들어 표정 분석 인터페이스(412)가 제시할 표정 선택지가 3개로 설정이 되어 있고, 표정 분석 대상의 이미지에 부여되어 있는 표정 레이블이 '당황'이고, 상기 이미지로 해당 반려동물의 표정모델이 추론한 결과가 '당황(60%)', '두려움(30%)', '걱정(8%)', '궁금함(2%)'으로 나타난 경우, 제어부(330)는 '당황', '두려움'의 2개 선택지에 랜덤으로 추출한 표정인 '행복함'을 추가하여 3개의 선택지를 구성하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)으로 전달되도록 할 수 있다. 표정 분석 인터페이스(412)는 표정 분석 대상 이미지와 커뮤니케이션 플랫폼(410)이 전달받은 3개의 선택지('당황', '두려움', '행복함')를 화면에 표시한다. 표정 분석 인터페이스(412)의 사용자가 화면에 제시된 선택지 중 하나의 표정을 선택한 경우, 표정 분석 인터페이스(412)는 사용자가 선택한 표정과 표정 분석 대상의 이미지에 부여되어 있는 표정 레이블(예시에서는 '당황')의 일치 여부를 화면에 표시할 수 있다. 예를 들어 사용자가 '당황'을 선택하는 경우 표정 분석 인터페이스(412)는 사용자가 선택한 표정이 표정 레이블('당황')과 일치하므로 '맞습니다!'라는 메시지를 화면에 출력할 수 있고, 사용자가 '행복함'을 선택하는 경우 사용자가 선택한 표정이 표정 레이블('당황')과 불일치하므로 '아닙니다!'라는 메시지를 화면에 출력할 수 있다.
한편, 표정 분석 인터페이스(412)의 사용자가 반려동물 보호자이고, 반려동물 보호자가 표정 분석 화면에서 선택한 표정이 표정 모델의 추론 결과와 일치하지 않는 경우, 이를 피드백으로 삼아 커뮤니케이션 플랫폼(410)이 불일치 내용을 통신부(310)로 전달하여, 표정 학습모듈(322)이 표정모델을 다시 학습하도록 할 수 있다.
도 9는 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼의 메신저 인터페이스에서 반려동물 이미지를 사용하는 방법을 설명하기 위한 흐름도이다.
S510은 이벤트 발생 단계이다. 상기 이벤트는 메시지 인터페이스(411)가 반려동물과의 채팅 창에 메시지나 이미지 중 적어도 하나를 표시하는 원인이 되는 사건을 말한다. 상기 이벤트의 예를 들면, 반려동물 입력신호의 수신, 반려동물 입력신호 이후 보호자 피드백이 없이 일정 시간 경과, 광고 수신, 날씨정보 수신, 특정 시각 도래가 있다. 그러나 이에 한정되는 것은 아니다.
S520은 상황 판단 단계이다. 제어부(330)는 이벤트 발생을 계기로 하여 정보를 수집하고, 이를 토대로 구체적인 상황을 판단하여 특정 키워드를 도출한다. 즉, 제어부(330)는 반려동물 입력신호의 종류, 반려동물 입력신호에 따른 메시지 출력 이후 경과시간, 광고의 종류, 날씨예보의 변동 내용과 현재 반려동물 보호자 단말기(400)의 위치 정보, 반려동물 보호자가 송출한 메시지(반려동물 보호자가 채팅 창에 발신한 메시지)에 특정한 단어의 포함 여부 등의 정보를 토대로 특정 키워드를 도출한다. 다만, 키워드 도출에 사용되는 정보가 이에 한정되는 것은 아니다.
S530은 메시지와 이미지 추출 단계이다. 제어부(330)는 상기 판단된 상황, 즉 도출된 키워드에 따라 메신저 인터페이스(411)의 반려동물과의 채팅 창에 출력될 메시지, 이미지 및 이모티콘 중 적어도 하나(이하 '메시지 등'으로 표기함)를 선정한다. 즉, 제어부(330)는 도출된 키워드에 따라, 메시지를 생성하거나, 메시지를 메시지 DB(341)에서 추출한다. 또한 제어부(330)는 도출된 키워드와 매핑되는 표정 명칭에 해당하는 반려동물의 이미지를 이미지 DB(342)에서 추출할 수 있다. 추출한 메시지와 이미지가 복수일 경우 일정한 규칙에 따라 또는 랜덤으로 메신저 인터페이스(411) 화면에 출력할 메시지와 이미지를 결정한다. 설정에 따라 메시지 및 이미지 중 적어도 하나가 선정될 수 있다.
S540은 선정한 메시지와 이미지를 메신저 인터페이스(411) 화면(채팅 창)에 출력하는 단계이다.
도 10은 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼의 표정 분석 실행 방법을 설명하기 위한 흐름도이다.
S610은 표정 분석 대상이 되는 반려동물을 선택하는 단계이다. 반려동물 보호자의 반려동물이 복수일 경우, 표정 분석 인터페이스(412)는 사용자가 복수의 반려동물 중 어느 반려동물을 대상으로 표정 분석을 할 것인지 선택하도록 할 수 있다. 만약 커뮤니케이션 플랫폼(410)의 반려동물 전용 SNS 인터페이스가 제공하는 특정 반려동물의 SNS 계정을 통해 표정 분석 서비스를 이용하는 경우 해당 반려동물을 대상으로 한다.
S620은 해당 반려동물의 이미지를 선정하는 단계이다. 표정 분석 인터페이스(412)는 해당 반려동물에 관한 이미지를 랜덤으로 선정하거나, 사용자가 지정한 해당 반려동물 이미지를 기준으로 표정 분석을 진행한다. 표정 분석 인터페이스(412)는 사용자가 표정 분석을 위해 이미지를 지정할 수 있도록 해당 반려동물 이미지의 썸네일(thumbnail)을 화면에 표시할 수 있다.
S630은 표정모델을 실행하는 단계이다. 커뮤니케이션 플랫폼(410)이 커뮤니케이션 서버(300)의 통신부(310)로 표정모델 실행 명령을 전달하면, 통신부(310)는 이를 모델 관리자(324)에 전달한다. 모델 관리자(324)는 표정 분석 인터페이스(412)나 행동 분석 인터페이스(413)에서 진행되는 테스트나 표정 분석, 행동 분석의 진행에 따라 표정모델이나 행동모델을 실행하여 추론 결과를 얻는다.
S640은 분석 대상인 반려동물의 이미지에 나타난 반려동물의 표정에 관한 복수 개의 선택지를 제시하는 단계이다. 상기 선택지의 수는 설정에 따라 정해진다. 예를 들어 선택지의 수를 3개로 할 수 있다. 복수의 선택지에 표시할 표정의 명칭들은 상기 이미지에 부여된 표정 레이블과 함께 커뮤니케이션 서버(300)에 있는 표정모델이 표정 분석 대상의 이미지로 표정을 추론한 결과를 기초로 정할 수 있다. 이미지에 부여된 표정 레이블이 없는 경우, 상기 추론 결과만을 기초로 정할 수 있다. 상기 복수의 선택지는 상기 표정 레이블 및/또는 상기 추론 결과에 표정 목록에서 랜덤으로 추출한 표정 명칭을 혼합하여 구성할 수 있다. 상기 표정 목록은 커뮤니케이션 플랫폼(410)에 기 저장된 것이거나 제어부(330)의 내부 저장소에 저장되어 있는 것일 수 있다.
이와 같이 선택지가 구성되면, 표정 분석 인터페이스(412)에 분석 대상인 반려동물의 이미지와 함께 선택지를 제시한다.
S650은 사용자가 반려동물의 표정을 선택하였을 때, 선택한 표정이 상기 반려동물의 이미지에 기 부여된 표정 레이블과 일치하는지 여부 또는 표정 모델의 추론 결과(가장 확률이 높은 표정)와 일치하는지 여부를 판단하여 일치 여부에 관한 메시지를 사용자 단말기 화면에 출력하는 단계이다.
S650 단계 이후에, 반려동물 보호자가 지정한 반려동물의 특정 이미지에 대해 표정 분석 인터페이스(412)에 접속한 타인들의 표정 선택 결과를 집계하여 화면에 출력하는 단계가 추가될 수 있다. 예를 들어 반려동물 보호자가 지정한 반려동물 이미지의 표정 레이블이 '당황'이고, 일정 기간 동안 10명이 표정 분석 인터페이스(412)에 접속하여 6명이 '당황', 3명이 '두려움', 1명이 '행복함'을 선택한 경우, 표정 분석 인터페이스(412)는 텍스트 형태나 파이 차트(pie chart)나 히스토그램 등의 그래프 형태로 타인의 표정 분석 집계 결과를 표시할 수 있다. 상기 집계 결과는 맞은 수(비율)와 틀린 수(비율)를 비교하는 형태일 수도 있고, 표정별 선택 개수나 비율을 나타내는 형태일 수도 있다.
도 11은 본 발명의 일 실시예에 따른 반려동물 이미지를 이모티콘으로 변환한 후 태깅하는 방법을 설명하기 위한 흐름도이다.
S710은 이모티콘으로 변환할 반려동물 이미지를 선택하는 단계이다. 이모티콘 인터페이스(414)의 이모티콘 생성 화면에서 반려동물 보호자가 반려동물의 이미지를 갤러리에서 선택한다. 반려동물 보호자는 S710 단계에 앞서 커뮤니케이션 플랫폼(410)의 갤러리에 반려동물의 이미지를 업로드할 수 있다.
S720은 상기 선택된 이미지를 가공하여 이모티콘을 생성하는 단계이다. 이모티콘 생성부(350)는 반려동물의 이미지를 축소하거나, 특정 영역을 추출하여 채팅 화면이나 SNS 화면에서 사용되기에 적합한 소정의 크기가 되도록 이모티콘을 생성한다.
S730은 상기 이모티콘에 태그를 부여하는 단계이다. 이모티콘 생성부(350)은 이미지 DB(342)에서 추출한 반려동물의 이미지에 표정 레이블이 부여되어 있는 경우 이 레이블을 이모티콘의 태그로 할 수 있다. 또한 이모티콘 인터페이스(414)의 사용자(반려동물의 보호자)는 표정 레이블이 반려동물의 이미지에 부여되어 있는지와 무관하게 직접 이모티콘에 태그를 부여할 수 있다.
S740은 상기 태그가 부여된 이모티콘을 이모티콘 DB에 저장하는 단계이다.
이모티콘 생성부(350)은 이모티콘의 태그와 이모티콘을 함께 이모티콘 DB(344)에 전달하고, 이모티콘 DB(344)는 이모티콘의 태그와 이모티콘이 매칭되도록 하여 저장한다.
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
참고로, 본 발명의 실시예에 따른 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터를 이용하거나 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터를 이용하거나 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.
100: 반려동물용 입력장치
200: 신호 중개장치
300: 커뮤니케이션 서버
310: 통신부
320: 학습부
321: 메시지 학습모듈
322: 표정 학습모듈
323: 행동 학습모듈
324: 모델 관리자
330: 제어부
340: 저장부
341: 메시지 DB
342: 이미지 DB
343: 동영상 DB
344: 이모티콘 DB
350: 이모티콘 생성부
400: 반려동물 보호자 단말기
410: 커뮤니케이션 플랫폼
411: 메신저 인터페이스
412: 표정 분석 인터페이스
413: 행동 분석 인터페이스
414: 이모티콘 인터페이스
200: 신호 중개장치
300: 커뮤니케이션 서버
310: 통신부
320: 학습부
321: 메시지 학습모듈
322: 표정 학습모듈
323: 행동 학습모듈
324: 모델 관리자
330: 제어부
340: 저장부
341: 메시지 DB
342: 이미지 DB
343: 동영상 DB
344: 이모티콘 DB
350: 이모티콘 생성부
400: 반려동물 보호자 단말기
410: 커뮤니케이션 플랫폼
411: 메신저 인터페이스
412: 표정 분석 인터페이스
413: 행동 분석 인터페이스
414: 이모티콘 인터페이스
Claims (17)
- 반려동물의 입력에 따라 반려동물의 욕구에 관한 신호를 발생시키는 반려동물용 입력장치;
상기 반려동물용 입력장치와 근거리 통신을 통해 상기 신호를 전달받고, 네트워크를 통해 하기 커뮤니케이션 서버로 상기 신호를 전달하는 신호 중개장치;
상기 신호를 기초로 상기 반려동물의 대화형 메시지를 생성하고, 상기 대화형 메시지와 함께 상기 반려동물의 이미지를 하기의 반려동물 보호자 단말기에 제공하는 커뮤니케이션 서버; 및
상기 반려동물과 상기 반려동물의 보호자 간의 채팅 화면을 제공하고, 상기 대화형 메시지와 이미지를 채팅 화면에 출력하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기;
를 포함하는 커뮤니케이션 서비스 시스템. - 제1항에 있어서,
상기 커뮤니케이션 서버는
상기 신호 중개장치 및 커뮤니케이션 플랫폼과 신호 및 데이터를 송수신하는 통신부;
상기 반려동물의 욕구에 관한 신호에 기초하여 상기 커뮤니케이션 플랫폼으로 송신할 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 선정하는 제어부; 및
상기 제어부가 선정할 수 있는 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 저장하는 저장부;를 포함하는 것인
커뮤니케이션 서비스 시스템. - 제2항에 있어서,
상기 커뮤니케이션 서버는
상기 반려동물의 이미지를 이용하여 반려동물 표정모델을 생성하는 학습부를 더 포함하고,
상기 반려동물 표정모델은
상기 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 것인 커뮤니케이션 서비스 시스템. - 제3항에 있어서,
상기 학습부는
상기 반려동물 보호자의 채팅 앱을 통한 대화 내용을 기계학습하여, 상기 반려동물의 욕구에 관한 신호를 구어체 메시지로 표현할 수 있게 하는 딥러닝 모델을 생성하는 메시지 학습모듈;
상기 반려동물의 이미지를 이용하여 상기 반려동물 표정모델을 생성하는 표정 학습모듈; 및
상기 딥러닝 모델과 상기 반려동물 표정모델을 실행하여 추론 결과를 얻는 모델 관리자;를 포함하는 것인 커뮤니케이션 서비스 시스템. - 제2항에 있어서,
상기 커뮤니케이션 서버는
반려동물의 이미지를 이용하여 이모티콘을 생성하는 이모티콘 생성부를 더 포함하는 것인
커뮤니케이션 서비스 시스템. - 제1항에 있어서,
상기 커뮤니케이션 플랫폼은
상기 반려동물과 상기 반려동물의 보호자 간의 채팅 화면을 제공하고, 상기 대화형 메시지와 이미지를 채팅 화면에 출력하는 메시지 인터페이스; 및
상기 반려동물의 이미지와 소정 개수의 선택지를 표시한 화면을 제공하는 표정 분석 인터페이스;를 포함하고,
상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭이 기재된 것인
커뮤니케이션 서비스 시스템. - 반려동물 보호자로부터 원격 제어신호를 입력받고, 하기 커뮤니케이션 서버에 상기 원격 제어신호를 송신하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기;
상기 원격제어신호를 하기 신호 중개장치로 송신하는 커뮤니케이션 서버; 및
상기 원격제어신호에 따라 상기 반려동물 보호자의 음성정보를 내장된 스피커를 통해 출력하는 신호 중개장치;
를 포함하는 커뮤니케이션 서비스 시스템. - 반려동물 보호자로부터 반려동물에게 보낼 메시지를 입력받고, 하기 커뮤니케이션 서버에 상기 메시지를 송신하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기;
상기 메시지를 기반으로 반려동물 보호자의 음성을 합성하고, 상기 합성된 음성정보를 하기 신호 중개장치로 송신하는 커뮤니케이션 서버; 및
상기 합성된 음성정보를 내장된 스피커를 통해 출력하는 신호 중개장치;
를 포함하는 커뮤니케이션 서비스 시스템. - 반려동물의 욕구에 관한 신호를 수신하고, 상기 반려동물의 보호자 단말기로 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 송신하는 통신부;
상기 반려동물의 욕구에 관한 신호에 기초하여 상기 보호자 단말기로 송신할 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 선정하는 제어부; 및
상기 제어부가 선정할 수 있는 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 저장하는 저장부;를 포함하는 것인
커뮤니케이션 서버. - 제9항에 있어서,
상기 반려동물의 이미지를 이용하여 반려동물 표정모델을 생성하는 학습부를 더 포함하고,
상기 반려동물 표정모델은
상기 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 것인
커뮤니케이션 서버. - 반려동물과의 채팅 창에 상기 반려동물의 대화형 메시지나 상기 반려동물의 이미지 중 적어도 하나를 표시하는 원인이 되는 특정한 이벤트가 발생하는 단계;
상기 이벤트 발생을 계기로 하여 정보 수집을 통해 상황을 판단하는 단계;
상기 판단된 상황에 따라 상기 채팅 창에 출력될 메시지 및 이미지 중 적어도 하나를 선정하는 단계; 및
상기 채팅 창에 상기 선정 결과를 출력하는 단계;를 포함하는
반려동물 전용 커뮤니케이션 플랫폼에서 메신저 인터페이스를 운용하는 방법. - 제11항에 있어서,
상기 반려동물의 이미지는
상기 판단된 상황에 매핑되는 상기 반려동물의 표정이 나타난 것인
반려동물 전용 커뮤니케이션 플랫폼에서 메신저 인터페이스를 운용하는 방법. - 제11항에 있어서,
상기 특정한 이벤트는 반려동물 입력신호의 수신, 반려동물 입력신호 이후 보호자 피드백이 없이 일정 시간 경과, 광고 수신, 날씨정보 수신 및 특정 시각 도래 중 적어도 하나이며,
상기 상황을 판단하기 위해 수집되는 정보는 반려동물 입력신호의 종류, 반려동물 입력신호에 따른 메시지 출력 이후 경과시간, 광고의 종류, 날씨예보의 변동 내용과 반려동물 보호자 단말기의 위치 정보 및 반려동물 보호자가 채팅 창에 발신한 메시지 중 적어도 하나인 것인
반려동물 전용 커뮤니케이션 플랫폼의 메신저 인터페이스 운용 방법. - 표정 분석 대상이 되는 반려동물을 선택하는 단계;
상기 반려동물의 이미지를 선정하는 단계;
반려동물의 이미지에 나타난 반려동물의 표정에 관한 복수 개의 선택지를 제시하는 단계; 및
표정 분석 서비스의 사용자가 선택한 선택지에 기재된 표정과 상기 반려동물의 이미지에 기 부여된 표정 레이블의 일치 여부를 상기 사용자의 단말기 화면에 출력하는 단계;를 포함하는
반려동물 전용 커뮤니케이션 플랫폼의 표정 분석 실행 방법. - 제14항에 있어서,
상기 복수 개의 선택지를 제시하는 단계 이전에 상기 반려동물에 관한 표정모델을 실행하는 단계를 더 포함하고
상기 복수 개의 선택지를 제시하는 단계는
상기 표정모델의 실행 결과를 상기 선택지에 반영하는 것이며
상기 표정모델은 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 것인
반려동물 전용 커뮤니케이션 플랫폼의 표정 분석 실행 방법. - 제14항에 있어서,
상기 사용자의 단말기 화면에 출력하는 단계 이후에
상기 반려동물 이미지에 대한 1명 이상의 사용자의 표정 선택 결과를 집계하여 화면에 출력하는 단계를 더 포함하는
반려동물 전용 커뮤니케이션 플랫폼의 표정 분석 실행 방법. - 이모티콘으로 변환할 반려동물 이미지를 상기 반려동물의 이미지가 업로드되어 있는 갤러리에서 선택하는 단계;
상기 선택된 이미지를 가공하여 이모티콘을 생성하는 단계; 및
상기 이모티콘에 태그를 부여하는 단계;를 포함하는
반려동물 이모티콘 생성 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210115013A KR20230033208A (ko) | 2021-08-30 | 2021-08-30 | 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템 및 방법 |
| PCT/KR2021/017671 WO2023033256A1 (ko) | 2021-08-30 | 2021-11-26 | 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210115013A KR20230033208A (ko) | 2021-08-30 | 2021-08-30 | 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230033208A true KR20230033208A (ko) | 2023-03-08 |
Family
ID=85411451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210115013A KR20230033208A (ko) | 2021-08-30 | 2021-08-30 | 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230033208A (ko) |
| WO (1) | WO2023033256A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180090637A (ko) | 2017-02-03 | 2018-08-13 | 주식회사 창의산업 | 고양이와의 의사소통을 위한 시스템 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005177129A (ja) * | 2003-12-19 | 2005-07-07 | Nippon Telegr & Teleph Corp <Ntt> | ペットコミュニケーション装置 |
| KR101622035B1 (ko) * | 2014-08-20 | 2016-05-19 | 한양대학교 에리카산학협력단 | 게임 서비스 제공 장치 및 게임 서비스 제공 방법 |
| CN106372059B (zh) * | 2016-08-30 | 2018-09-11 | 北京百度网讯科技有限公司 | 信息输入方法和装置 |
| CN109107166B (zh) * | 2018-08-24 | 2023-03-17 | 腾讯科技（深圳）有限公司 | 虚拟宠物的繁育方法、装置、设备及存储介质 |
| KR102185469B1 (ko) * | 2018-12-03 | 2020-12-02 | 정진해 | 인공지능을 이용한 반려동물 감성봇 장치 및 이를 이용한 교감 방법 |
| KR102174198B1 (ko) * | 2020-06-12 | 2020-11-04 | 박정훈 | 사물 인터넷 기반의 반려동물 소통기능 제공장치 및 방법, 사용자 단말기 |
-
2021
- 2021-08-30 KR KR1020210115013A patent/KR20230033208A/ko active IP Right Grant
- 2021-11-26 WO PCT/KR2021/017671 patent/WO2023033256A1/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180090637A (ko) | 2017-02-03 | 2018-08-13 | 주식회사 창의산업 | 고양이와의 의사소통을 위한 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023033256A1 (ko) | 2023-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11934186B2 (en) | Augmented reality in a vehicle configured for changing an emotional state of a rider | |
| KR102174198B1 (ko) | 사물 인터넷 기반의 반려동물 소통기능 제공장치 및 방법, 사용자 단말기 | |
| US10554870B2 (en) | Wearable apparatus and methods for processing image data | |
| CN112199002B (zh) | 基于虚拟角色的交互方法及装置、存储介质、计算机设备 | |
| US20180144649A1 (en) | Smart toy interaction using image analysis | |
| AU2017228574A1 (en) | Apparatus and methods for providing a persistent companion device | |
| KR20190020513A (ko) | 반려동물 케어 방법 및 이를 이용하는 시스템 | |
| KR102022883B1 (ko) | 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 방법 및 장치 | |
| JP2016513918A (ja) | マルチメディアプレゼンテーションシステム | |
| US11144955B2 (en) | Communication system and communication control method | |
| CN104769645A (zh) | 虚拟伴侣 | |
| KR102255520B1 (ko) | 빅데이터 분석 기반의 인공지능 자연어 메시지 전달을 통한 반려동물 의사전달 장치 및 시스템 | |
| US20160066547A1 (en) | Assisted Animal Activities | |
| US20150022329A1 (en) | Assisted Animal Communication | |
| Paasovaara et al. | The secret life of my dog: design and evaluation of paw tracker concept | |
| KR102395641B1 (ko) | 반려동물 종합 관리 시스템 | |
| KR20210147206A (ko) | 반려동물 맞춤상품 제공을 위한 문진 서비스 제공 시스템 | |
| CN111869226A (zh) | 显示装置及其控制方法 | |
| US20150107530A1 (en) | Assisted animal activities | |
| KR20230033208A (ko) | 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템 및 방법 | |
| US20170186281A1 (en) | Method for Slot Machine Game Using Advertisement Data Streaming | |
| Yovel et al. | AI and the Doctor Dolittle challenge | |
| WO2019225889A1 (ko) | 현실의 소통대상을 투영하는 가상 메신저 시스템 | |
| KR102366054B1 (ko) | 말을 이용한 힐링 시스템 | |
| US20240206431A1 (en) | Systems, methods and devices for communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |