KR20230033208A - System and method for communication service using facial expressions learned from images of companion animal - Google Patents
System and method for communication service using facial expressions learned from images of companion animal Download PDFInfo
- Publication number
- KR20230033208A KR20230033208A KR1020210115013A KR20210115013A KR20230033208A KR 20230033208 A KR20230033208 A KR 20230033208A KR 1020210115013 A KR1020210115013 A KR 1020210115013A KR 20210115013 A KR20210115013 A KR 20210115013A KR 20230033208 A KR20230033208 A KR 20230033208A
- Authority
- KR
- South Korea
- Prior art keywords
- companion animal
- image
- companion
- guardian
- communication
- Prior art date
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 904
- 230000006854 communication Effects 0.000 title claims abstract description 387
- 238000004891 communication Methods 0.000 title claims abstract description 386
- 230000008921 facial expression Effects 0.000 title claims abstract description 251
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002452 interceptive effect Effects 0.000 claims abstract description 37
- 238000010195 expression analysis Methods 0.000 claims description 106
- 230000014509 gene expression Effects 0.000 claims description 93
- 238000012545 processing Methods 0.000 claims description 12
- 238000013136 deep learning model Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract 1
- 230000006399 behavior Effects 0.000 description 114
- 230000002093 peripheral effect Effects 0.000 description 77
- 238000004458 analytical method Methods 0.000 description 69
- 230000006870 function Effects 0.000 description 39
- 230000003542 behavioural effect Effects 0.000 description 38
- 235000013305 food Nutrition 0.000 description 29
- 230000009471 action Effects 0.000 description 28
- 241000282472 Canis lupus familiaris Species 0.000 description 20
- 239000000284 extract Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 238000012546 transfer Methods 0.000 description 18
- 238000012549 training Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 238000012360 testing method Methods 0.000 description 12
- 235000011888 snacks Nutrition 0.000 description 10
- 230000036541 health Effects 0.000 description 9
- 235000012054 meals Nutrition 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 241001125929 Trisopterus luscus Species 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000036528 appetite Effects 0.000 description 3
- 235000019789 appetite Nutrition 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 230000037213 diet Effects 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 208000021760 high fever Diseases 0.000 description 2
- 235000003642 hunger Nutrition 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 206010025482 malaise Diseases 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- -1 Chrome Chemical compound 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 244000228957 Ferula foetida Species 0.000 description 1
- 206010037180 Psychiatric symptoms Diseases 0.000 description 1
- 206010047700 Vomiting Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000013872 defecation Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- 230000008673 vomiting Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/30—Transportation; Communications
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
Description
본 발명은 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템 및 방법에 관한 것으로, 보다 상세하게는 반려동물 이미지에서 학습한 표정을 이용한 메신저 서비스, 표정 분석 서비스, 이모티콘을 제공하는 시스템 및 방법에 관한 것이다.The present invention relates to a communication service system and method using facial expressions learned from companion animal images, and more particularly, to a system and method for providing a messenger service, facial expression analysis service, and emoticons using facial expressions learned from companion animal images. will be.
2020년 말 기준, 우리나라의 반려동물 양육 가구수는 604만 가구로서 전체 가구의 29.7%에 달하며, 양육 인구는 1448만명인것으로 추정된다. 또한 2021년 현재를 기준으로 반려견은 586만 마리, 반려묘는 211만 마리로 추정된다. 그에 따라 반려동물 관련 시장규모는 2018년 2조 8900억원에서 2021년 6조원을 넘어설 것으로 전망된다. 반려동물용 물품은 물론이고 반려동물과 그 보호자를 위한 다양한 서비스가 개발되고 있는 추세이다.As of the end of 2020, the number of households raising companion animals in Korea is 6.04 million, accounting for 29.7% of all households, and the number of households raising companion animals is estimated to be 14.48 million. Also, as of 2021, it is estimated that there are 5.86 million companion dogs and 2.11 million companion cats. Accordingly, the size of the companion animal-related market is expected to exceed KRW 6 trillion in 2021 from KRW 2.89 trillion in 2018. Various services for companion animals and their guardians as well as articles for companion animals are being developed.
한편, 반려동물 양육실태에 관한 설문 조사에서 절반 이상의 반려동물 보호자가 반려동물을 키우는 주된 이유로 '가족구성원으로서 주는 정서적 안정감 및 행복감'을 언급하고 있다. 또한 반려동물은 취약계층에게 책임감 증가와 외로움 감소라는 긍정적인 효과를 미치는 것으로도 조사되었다. 이에 비추어 볼 때, 보호자가 출근하거나 외출하여 반려동물과 분리되는 경우에도 반려동물과의 유대감과 친밀감을 높일 수 있는 구체적인 방안이 필요하다.Meanwhile, in a survey on the status of raising companion animals, more than half of companion animal guardians cited 'emotional stability and happiness as a family member' as the main reason for raising companion animals. In addition, it was also investigated that companion animals have positive effects such as increased responsibility and reduced loneliness for the vulnerable. In light of this, even if the guardian goes to work or goes out and is separated from the companion animal, a specific plan is needed to increase the bond and intimacy with the companion animal.
또한, 10대와 20대 반려동물 보호자들 사이에서는 자신의 일상과 함께 자신이 양육하고 있는 반려동물의 모습을 SNS를 통해 타인과 공유하는 문화가 형성되고 있으며, 반려동물만의 SNS 계정을 개설하는 모습도 나타나고 있다. 따라서 이에 부응하여 반려동물의 이미지나 동영상을 활용하여 보호자들 간의 교류를 더욱 증진시키고 반려동물 보호자의 만족도를 높일 수 있는 섬세하고 감성적인 접근 방안이 필요하다.In addition, among companion animal guardians in their teens and twenties, a culture of sharing their daily life and the companion animal they are raising with others through SNS is forming, and it is appearance is also appearing. Therefore, in response to this, it is necessary to develop a delicate and emotional approach that can further promote exchanges between guardians and increase the satisfaction of companion animal guardians by using images or videos of companion animals.
본 발명은 상기와 같은 배경에서 도출된 것으로, 보호자가 수집한 반려동물의 이미지에서 학습한 표정을 이용하여 반려동물과의 소통 및 반려동물 보호자 간의 교류의 질을 향상시키기 위한 커뮤니케이션 서비스 시스템 및 방법을 제공함에 그 목적이 있다.The present invention was derived from the above background, and provides a communication service system and method for improving the quality of communication with companion animals and exchanges between companion animal guardians using expressions learned from images of companion animals collected by guardians. Its purpose is to provide.
더욱 상세하게는, 반려동물을 의인화한 채팅 형식의 커뮤니케이션 과정에서 상황에 적절한 반려동물의 표정을 담고 있는 이미지를 삽입하여 반려동물과의 유대감과 친밀감을 향상시키는 시스템 및 방법을 제공한다. 또한, 상기 반려동물 이미지를 이용하여 반려동물 SNS 계정에서 자신이나 타인의 반려동물의 표정을 분석할 수 있는 인터페이스를 구성하여 반려동물 보호자 간의 교류를 증대시키는 시스템 및 방법을 제공한다. 또한, 상기 반려동물 이미지를 메신저나 SNS에서 사용할 수 있는 이모티콘으로 변환하여 자신이 사용하거나 이모티콘 구매 플랫폼에 등록시켜 판매할 수 있도록 하는 시스템 및 방법을 제공함에 그 목적이 있다.More specifically, a system and method are provided for improving bond and intimacy with a companion animal by inserting an image containing the expression of a companion animal appropriate to the situation in a chatting communication process in which the companion animal is anthropomorphic. In addition, a system and method for increasing exchanges between companion animal guardians by constructing an interface capable of analyzing facial expressions of one's own or others' companion animal in a companion animal SNS account using the companion animal image are provided. Another object of the present invention is to provide a system and method for converting the companion animal image into an emoticon usable in a messenger or SNS so that the user can use it or register it on an emoticon purchase platform and sell it.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템은 반려동물의 입력에 따라 반려동물의 욕구에 관한 신호를 발생시키는 반려동물용 입력장치; 상기 반려동물용 입력장치와 근거리 통신을 통해 상기 신호를 전달받고, 네트워크를 통해 하기 커뮤니케이션 서버로 상기 신호를 전달하는 신호 중개장치; 상기 신호를 기초로 상기 반려동물의 대화형 메시지를 생성하고, 상기 대화형 메시지와 함께 상기 반려동물의 이미지를 하기의 반려동물 보호자 단말기에 제공하는 커뮤니케이션 서버; 및 상기 반려동물과 상기 반려동물의 보호자 간의 채팅 화면을 제공하고, 상기 대화형 메시지와 이미지를 채팅 화면에 출력하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기;를 포함한다.In order to achieve the above object, a communication service system according to an embodiment of the present invention includes an input device for a companion animal generating a signal related to a companion animal's desire according to an input of the companion animal; a signal relaying device that receives the signal through short-range communication with the companion animal input device and transmits the signal to a communication server through a network; a communication server generating an interactive message of the companion animal based on the signal and providing the image of the companion animal together with the interactive message to a companion animal guardian terminal described below; and a companion animal guardian terminal equipped with a communication platform that provides a chatting screen between the companion animal and the guardian of the companion animal and outputs the interactive message and image on the chatting screen.
상기 커뮤니케이션 서버는 상기 신호 중개장치 및 커뮤니케이션 플랫폼과 신호 및 데이터를 송수신하는 통신부; 상기 반려동물의 욕구에 관한 신호에 기초하여 상기 커뮤니케이션 플랫폼으로 송신할 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 선정하는 제어부; 및 상기 제어부가 선정할 수 있는 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 저장하는 저장부;를 포함할 수 있다.The communication server includes a communication unit for transmitting and receiving signals and data to and from the signal mediation device and the communication platform; a controller that selects an interactive message of the companion animal and an image of the companion animal to be transmitted to the communication platform based on the signal related to the desire of the companion animal; and a storage unit that stores an interactive message of the companion animal and an image of the companion animal that can be selected by the control unit.
상기 커뮤니케이션 서버는 상기 반려동물의 이미지를 이용하여 반려동물 표정모델을 생성하는 학습부를 더 포함할 수 있다. 상기 반려동물 표정모델은 상기 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 모델을 의미한다.The communication server may further include a learning unit generating a companion animal expression model using the companion animal image. The companion animal expression model refers to a model that infers the expression of the companion animal shown in the image from the image of the companion animal.
상기 학습부는 상기 반려동물 보호자의 채팅 앱을 통한 대화 내용을 기계학습하여, 상기 반려동물의 욕구에 관한 신호를 구어체 메시지로 표현할 수 있게 하는 딥러닝 모델을 생성하는 메시지 학습모듈; 상기 반려동물의 이미지를 이용하여 상기 반려동물 표정모델을 생성하는 표정 학습모듈; 및 상기 딥러닝 모델과 상기 반려동물 표정모델을 실행하여 추론 결과를 얻는 모델 관리자;를 포함할 수 있다.The learning unit machine-learns conversation contents of the companion animal guardian through the chatting app, and a message learning module that generates a deep learning model enabling signals related to the companion animal's desire to be expressed as colloquial messages; a facial expression learning module for generating the companion animal expression model using the image of the companion animal; and a model manager that obtains an inference result by executing the deep learning model and the companion animal expression model.
또한 상기 커뮤니케이션 서버는 반려동물의 이미지를 이용하여 이모티콘을 생성하는 이모티콘 생성부를 더 포함할 수 있다.In addition, the communication server may further include an emoticon generating unit generating an emoticon using an image of a companion animal.
상기 커뮤니케이션 플랫폼은 상기 반려동물과 상기 반려동물의 보호자 간의 채팅 화면을 제공하고, 상기 대화형 메시지와 이미지를 채팅 화면에 출력하는 메시지 인터페이스; 및 상기 반려동물의 이미지와 소정 개수의 선택지를 표시한 화면을 제공하는 표정 분석 인터페이스;를 포함할 수 있다. 상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭이 기재된 것을 의미한다.The communication platform includes a message interface that provides a chatting screen between the companion animal and a guardian of the companion animal and outputs the interactive message and image to the chatting screen; and a facial expression analysis interface providing a screen displaying an image of the companion animal and a predetermined number of options. The option means that the name of the facial expression that the companion animal in the image can have is described.
그리고 본 발명의 다른 실시예에 따른 커뮤니케이션 서비스 시스템은, 반려동물 보호자로부터 원격 제어신호를 입력받고, 하기 커뮤니케이션 서버에 상기 원격 제어신호를 송신하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기; 상기 원격제어신호를 하기 신호 중개장치로 송신하는 커뮤니케이션 서버; 및 상기 원격제어신호에 따라 상기 반려동물 보호자의 음성정보를 내장된 스피커를 통해 출력하는 신호 중개장치;를 포함한다.Further, a communication service system according to another embodiment of the present invention includes a companion animal guardian terminal equipped with a communication platform for receiving a remote control signal from a companion animal guardian and transmitting the remote control signal to the following communication server; a communication server that transmits the remote control signal to the following signal relaying device; and a signal relaying device that outputs voice information of the companion animal guardian through a built-in speaker according to the remote control signal.
그리고 본 발명의 또 다른 실시예에 따른 커뮤니케이션 서비스 시스템은, 반려동물 보호자로부터 반려동물에게 보낼 메시지를 입력받고, 하기 커뮤니케이션 서버에 상기 메시지를 송신하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기; 상기 메시지를 기반으로 반려동물 보호자의 음성을 합성하고, 상기 합성된 음성정보를 하기 신호 중개장치로 송신하는 커뮤니케이션 서버; 및 상기 합성된 음성정보를 내장된 스피커를 통해 출력하는 신호 중개장치;를 포함한다.Further, a communication service system according to another embodiment of the present invention includes a companion animal guardian terminal equipped with a communication platform for receiving a message to be sent to the companion animal from a companion animal guardian and transmitting the message to the following communication server; A communication server that synthesizes the companion animal guardian's voice based on the message and transmits the synthesized voice information to the following signal relaying device; and a signal relaying device that outputs the synthesized voice information through a built-in speaker.
그리고 본 발명의 일 실시예에 따른 커뮤니케이션 서버는, 반려동물의 욕구에 관한 신호를 수신하고, 상기 반려동물의 보호자 단말기로 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 송신하는 통신부; 상기 반려동물의 욕구에 관한 신호에 기초하여 상기 보호자 단말기로 송신할 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 선정하는 제어부; 및 상기 제어부가 선정할 수 있는 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 저장하는 저장부;를 포함한다.Further, the communication server according to an embodiment of the present invention includes a communication unit that receives a signal related to a companion animal's desire and transmits an interactive message of the companion animal and an image of the companion animal to a terminal of the guardian of the companion animal; a control unit that selects an interactive message of the companion animal and an image of the companion animal to be transmitted to the guardian terminal based on the signal related to the desire of the companion animal; and a storage unit that stores an interactive message of the companion animal and an image of the companion animal that can be selected by the control unit.
상기 커뮤니케이션 서버는 상기 반려동물의 이미지를 이용하여 반려동물 표정모델을 생성하는 학습부를 더 포함할 수 있다. 상기 반려동물 표정모델은 상기 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 것을 의미한다.The communication server may further include a learning unit generating a companion animal expression model using the companion animal image. The companion animal expression model means inferring the expression of the companion animal shown in the image from the image of the companion animal.
그리고 본 발명의 일 실시예에 따른, 반려동물 전용 커뮤니케이션 플랫폼에서 메신저 인터페이스를 운용하는 방법은 반려동물과의 채팅 창에 상기 반려동물의 대화형 메시지나 상기 반려동물의 이미지 중 적어도 하나를 표시하는 원인이 되는 특정한 이벤트가 발생하는 단계; 상기 이벤트 발생을 계기로 하여 정보 수집을 통해 상황을 판단하는 단계; 상기 판단된 상황에 따라 상기 채팅 창에 출력될 메시지 및 이미지 중 적어도 하나를 선정하는 단계; 및 상기 채팅 창에 상기 선정 결과를 출력하는 단계;를 포함한다.And, according to an embodiment of the present invention, a method of operating a messenger interface in a communication platform dedicated to companion animals is a cause of displaying at least one of an interactive message of the companion animal or an image of the companion animal in a chat window with the companion animal. Step of generating a specific event that becomes; Determining a situation through information collection based on the occurrence of the event; selecting at least one of a message and an image to be output to the chatting window according to the determined situation; and outputting the selection result to the chatting window.
상기 반려동물의 이미지는 상기 판단된 상황에 매핑되는 상기 반려동물의 표정이 나타난 것일 수 있다.The image of the companion animal may be an expression of the companion animal mapped to the determined situation.
상기 특정한 이벤트는 반려동물 입력신호의 수신, 반려동물 입력신호 이후 보호자 피드백이 없이 일정 시간 경과, 광고 수신, 날씨정보 수신 및 특정 시각 도래 중 적어도 하나일 수 있으며, 상기 상황을 판단하기 위해 수집되는 정보는 반려동물 입력신호의 종류, 반려동물 입력신호에 따른 메시지 출력 이후 경과시간, 광고의 종류, 날씨예보의 변동 내용과 반려동물 보호자 단말기의 위치 정보 및 반려동물 보호자가 채팅 창에 발신한 메시지 중 적어도 하나일 수 있다.The specific event may be at least one of reception of a companion animal input signal, elapse of a certain time without guardian feedback after the companion animal input signal, reception of an advertisement, reception of weather information, and arrival of a specific time, and information collected to determine the situation. At least among the type of companion animal input signal, the elapsed time after message output according to the companion animal input signal, the type of advertisement, the change in weather forecast, the location information of the companion animal guardian terminal, and the message sent by the companion animal guardian to the chat window can be one
그리고 본 발명의 일 실시예에 따른 반려동물 전용 커뮤니케이션 플랫폼의 표정 분석 실행 방법은 표정 분석 대상이 되는 반려동물을 선택하는 단계; 상기 반려동물의 이미지를 선정하는 단계; 반려동물의 이미지에 나타난 반려동물의 표정에 관한 복수 개의 선택지를 제시하는 단계; 및 표정 분석 서비스의 사용자가 선택한 선택지에 기재된 표정과 상기 반려동물의 이미지에 기 부여된 표정 레이블의 일치 여부를 상기 사용자의 단말기 화면에 출력하는 단계;를 포함한다.In addition, a method for executing facial expression analysis of a communication platform dedicated to companion animals according to an embodiment of the present invention includes selecting a companion animal to be subjected to facial expression analysis; selecting an image of the companion animal; Presenting a plurality of options regarding the expression of the companion animal shown in the image of the companion animal; and outputting, on the screen of the terminal of the user, whether the facial expression described in the option selected by the user of the facial expression analysis service matches the facial expression label previously assigned to the image of the companion animal.
상기 복수 개의 선택지를 제시하는 단계 이전에 상기 반려동물에 관한 표정모델을 실행하는 단계를 더 포함할 수 있다. 상기 복수 개의 선택지를 제시하는 단계에서 상기 표정모델의 실행 결과를 상기 선택지에 반영할 수 있다. 상기 표정모델은 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 것을 의미한다.A step of executing a facial expression model for the companion animal may be further included prior to the step of presenting the plurality of options. In the step of presenting the plurality of options, an execution result of the facial expression model may be reflected on the options. The expression model means inferring the expression of the companion animal shown in the image from the image of the companion animal.
또한, 상기 사용자의 단말기 화면에 출력하는 단계 이후에 상기 반려동물 이미지에 대한 1명 이상의 사용자의 표정 선택 결과를 집계하여 화면에 출력하는 단계를 더 포함할 수 있다.In addition, after the step of displaying the output on the screen of the terminal of the user, the step of aggregating the selection result of the expression of one or more users for the companion animal image and outputting the aggregated result to the screen may be further included.
그리고 본 발명의 일 실시예에 따른 반려동물 이모티콘 생성 방법은 이모티콘으로 변환할 반려동물 이미지를 상기 반려동물의 이미지가 업로드되어 있는 갤러리에서 선택하는 단계; 상기 선택된 이미지를 가공하여 이모티콘을 생성하는 단계; 및 상기 이모티콘에 태그를 부여하는 단계;를 포함한다.And, the companion animal emoticon generation method according to an embodiment of the present invention includes selecting a companion animal image to be converted into an emoticon from a gallery in which the companion animal image is uploaded; generating an emoticon by processing the selected image; and assigning a tag to the emoticon.
본 발명의 일 실시예에 따르면, 반려동물을 의인화하여 채팅형식의 커뮤니케이션을 하는 과정에서 반려동물의 표정을 담고 있는 이미지를 삽입하여 반려동물의 보호자가 반려동물에 대해 느끼는 유대감과 친밀감을 향상시키는 효과가 있다.According to one embodiment of the present invention, in the process of anthropomorphizing a companion animal and communicating in the form of a chat, an image containing the expression of the companion animal is inserted to improve the bond and intimacy felt by the guardian of the companion animal with the companion animal there is
본 발명의 일 실시예에 따르면, 반려동물의 욕구와 행동 정보를 반려동물 보호자에게 반려동물의 이미지를 동반한 메시지 형태로 제공할 수 있어, 반려동물 보호자는 보다 친숙하고 인간적인 방식을 통해 반려동물의 모니터링 정보를 제공받을 수 있다는 효과가 있다.According to one embodiment of the present invention, the companion animal's desire and behavior information can be provided to the companion animal guardian in the form of a message accompanied by the companion animal's image, so the companion animal guardian can learn about the companion animal in a more familiar and humane way. There is an effect that monitoring information can be provided.
본 발명의 일 실시예에 따르면, 반려동물 이미지를 이용하여 반려동물 SNS 계정에서 반려동물의 표정을 분석할 수 있는 인터페이스를 구성하여 반려동물 보호자 간의 교류를 증대시키는 효과가 있다.According to an embodiment of the present invention, an interface capable of analyzing a companion animal's expression in a companion animal SNS account using a companion animal image is configured, thereby increasing exchanges between companion animal guardians.
본 발명의 일 실시예에 따르면, 유명인의 반려동물이나 유튜브/TV 등의 매체를 통해 유명해진 반려동물의 SNS 계정의 방문자는 해당 반려동물의 이미지를 보면서 표정을 분석할 수 있는 즐거운 시간을 가질 수 있으며, 해당 계정의 운영자는 홍보 효과를 누릴 수 있다.According to one embodiment of the present invention, visitors to SNS accounts of celebrities' companion animals or companion animals that have become famous through media such as YouTube/TV can have a fun time analyzing expressions while viewing images of the companion animals. and the operator of the account can enjoy the publicity effect.
본 발명의 일 실시예에 따르면, 반려동물의 이미지/동영상 조회는 물론 반려동물의 표정분석 또는 행동분석을 통해 반려동물 SNS 계정의 콘텐츠를 풍부하게 하여, 해당 계정의 방문자를 증가시킬 수 있다. 또한 이를 통해 반려동물의 보호자는 반려동물 SNS 계정으로부터 링크로 연결되는 자신의 SNS 계정의 팔로워를 증가시킬 수 있고, 유튜브 채널의 구독자 수를 증가시킬 수 있다.According to an embodiment of the present invention, it is possible to increase the number of visitors to a companion animal SNS account by enriching the contents of a companion animal SNS account through a companion animal image/video search as well as expression analysis or behavior analysis of the companion animal. In addition, through this, the guardian of the companion animal can increase the number of followers of his or her SNS account that is linked through the link from the companion animal SNS account, and increase the number of subscribers to the YouTube channel.
본 발명의 일 실시예에 따르면, 반려동물 이미지를 메신저나 SNS에서 사용할 수 있는 이모티콘으로 변환하여 일상적인 감정을 표현하는 소통수단으로 활용함으로써 사용자의 흥미를 유발할 수 있고, 자신의 반려동물에 대한 애착이 증대되며, 이모티콘 구매 플랫폼에 등록시켜 판매함으로써 수익을 창출할 수 있는 효과도 있다.According to one embodiment of the present invention, by converting a companion animal image into an emoticon that can be used in a messenger or SNS and using it as a means of communication expressing everyday emotions, it is possible to arouse the user's interest and develop attachment to his/her companion animal. This increases, and there is also an effect of generating revenue by registering and selling emoticons on the emoticon purchase platform.
도 1은 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템의 구성을 나타낸 블록도.
도 2는 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템의 커뮤니케이션 서버 구성을 나타낸 블록도.
도 3은 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 학습부 구성을 나타낸 블록도.
도 4는 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 저장부 구성을 나타낸 블록도.
도 5는 본 발명의 일 실시예에 따른, 반려동물 보호자 단말기에 설치된 커뮤니케이션 플랫폼의 구성을 나타낸 블록도.
도 6은 본 발명의 일 실시예에 따른 메신저 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도.
도 7은 본 발명의 일 실시예에 따른 메신저 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도.
도 8은 본 발명의 일 실시예에 따른 표정 분석 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도.
도 9는 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼의 메신저 인터페이스에서 반려동물의 이미지를 사용하는 방법을 설명하기 위한 흐름도.
도 10은 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼의 표정 분석 실행 방법을 설명하기 위한 흐름도.
도 11은 본 발명의 일 실시예에 따른 반려동물 이미지를 이모티콘으로 변환한 후 태깅하는 방법을 설명하기 위한 흐름도.1 is a block diagram showing the configuration of a communication service system according to an embodiment of the present invention;
2 is a block diagram showing the configuration of a communication server of a communication service system according to an embodiment of the present invention;
3 is a block diagram showing the configuration of a learning unit of a communication server according to an embodiment of the present invention.
4 is a block diagram showing the configuration of a storage unit of a communication server according to an embodiment of the present invention;
5 is a block diagram showing the configuration of a communication platform installed in a companion animal guardian terminal according to an embodiment of the present invention.
6 is a reference diagram illustrating an example of a screen provided by a messenger interface according to an embodiment of the present invention;
7 is a reference diagram illustrating an example of a screen provided by a messenger interface according to an embodiment of the present invention;
8 is a reference diagram illustrating an example of a screen provided by a facial expression analysis interface according to an embodiment of the present invention.
9 is a flowchart illustrating a method of using an image of a companion animal in a messenger interface of a communication platform according to an embodiment of the present invention.
10 is a flowchart for explaining a method of performing facial expression analysis in a communication platform according to an embodiment of the present invention.
11 is a flowchart illustrating a method of tagging after converting a companion animal image into an emoticon according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention belongs. It is provided to fully inform the holder of the scope of the invention, and the present invention is only defined by the scope of the claims. Meanwhile, terms used in this specification are for describing the embodiments and are not intended to limit the present invention.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 본 명세서에서, '적어도 하나의'라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, '적어도 하나의'라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한 각 구성요소가 단수 또는 복수로 구비되는 것은 실시예에 따라 변경가능하다 할 것이다. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. In this specification, the term 'at least one' is defined as a term including singular and plural, and even if the term 'at least one' does not exist, each component may exist in singular or plural, and singular or plural. It will be self-evident that it can mean. In addition, it will be possible to change that each component is provided in singular or plural numbers according to embodiments.
본 명세서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다. In this specification, expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, “A or B,” “at least one of A and B,” or “at least one of A or B” (1) includes at least one A, (2) includes at least one B, Or (3) may refer to all cases including at least one A and at least one B.
본 명세서에서, '적어도 하나의'라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, '적어도 하나의'라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한 각 구성요소가 단수 또는 복수로 구비되는 것은 실시예에 따라 변경가능하다 할 것이다. In this specification, the term 'at least one' is defined as a term including singular and plural, and even if the term 'at least one' does not exist, each component may exist in singular or plural, and singular or plural. It will be self-evident that it can mean. In addition, it will be possible to change that each component is provided in singular or plural numbers according to embodiments.
본 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.As used herein, "comprises" and/or "comprising" means that a stated component, step, operation, and/or element is one or more other components, steps, operations, and/or elements. Existence or additions are not excluded.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate overall understanding in describing the present invention, the same reference numerals will be used for the same means regardless of the drawing numbers.
도 1은 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템의 구성을 나타낸 블록도이다. 1 is a block diagram showing the configuration of a communication service system according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른, 반려동물 이미지에서 학습한 표정을 이용한 커뮤니케이션 서비스 시스템은 반려동물용 입력장치(100), 신호 중개장치(200), 커뮤니케이션 서버(300) 및 반려동물 보호자 단말기(400)를 포함한다.As shown in FIG. 1, the communication service system using facial expressions learned from companion animal images according to an embodiment of the present invention includes a companion
본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템은 반려동물용 입력장치(100)의 버튼을 통해 반려동물의 욕구를 전달받아 이를 반려동물 보호자 단말기(400)에 있는 반려동물 전용 커뮤니케이션 플랫폼(이하 커뮤니케이션 플랫폼, 410, 도5 참조)이나 기존의 메신저 어플로 전달하여 반려동물과의 소통을 할 수 있는 시스템이다.The communication service system according to an embodiment of the present invention receives a companion animal's desire through a button of the companion
반려동물은 반려동물용 입력장치(100)의 버튼을 사용하여 자신의 욕구를 표현하도록 훈련될 수 있다. 훈련된 반려동물은 자신의 욕구를 푸쉬 버튼이나 터치 버튼으로 표현하는데 집안의 보호자 등이 부재중일 경우에도 확인 및 그에 대한 대처가 가능하도록 사물 인터넷 기술이 도입된다. Companion animals can be trained to express their desires using buttons of the companion
반려동물용 입력장치(100)는 훈련을 통해 반려동물의 욕구를 표현할 수 있도록 하는 상이한 형태의 버튼으로 구현될 수 있다. 반려동물용 입력장치(100)를 통해 반려동물의 욕구 정보를 수집할 수 있다. 수집한 상기 욕구 정보를 반려동물 보호자에게 전송하여 반려동물 보호자가 이를 인지하고 원격으로 반려동물에게 다시 음성, 사진 등으로 피드백할 수 있는 소통 가능한 대화 창구를 만들 수 있다.The
즉, 반려동물이 훈련에 의해 그 욕구를 반려동물용 입력장치(100)의 버튼을 통해 표현하면, 커뮤니케이션 서버(300)는 버튼 입력을 데이터화, 정제 처리하고, 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)은 이를 마치 반려동물이 실제 언어를 이용하여 대화를 하는 것처럼 소통하게 할 수 있다.That is, when a companion animal expresses its desire through a button of the companion
반려동물용 입력장치(100)의 버튼은 터치버튼 또는 가압버튼일 수 있다. 상기 버튼은 복수개의 버튼으로 구성되어, 각각 다른 요청내용과 매칭될 수 있다. 예를 들어, 각 버튼은 급식, 놀이기구 동작, 영상 통화, 주인의 음성, 가전기기(TV, 오디오, 에어컨, 선풍기)의 동작 등 반려동물이 그 보호자에 요청할 수 있는 내용과 매칭될 수 있다. 상기 버튼은 반려동물이 훈련에 의해 선택할 수 있는 정도의 갯수와 형태, 색깔로 구현됨이 바람직하다. 상기 버튼의 갯수와 형태, 색깔은 다양하게 변형가능하다.The button of the companion
예를 들어 ☆모양 버튼을 누르면 사료를 요청할 경우, ○모양 버튼을 누르면 놀이기구가 수행되도록, □모양 버튼이 눌리면 주인과 영상 통화기능을 수행하도록, △모양 버튼을 누르면 에어컨이나 TV가 켜지도록 반려동물이 인식 가능한 상황들에 매칭될 수 있다. 또한, 엄마, 주인, ~하자, 주세요, 달라 등 실제 생활에서 사용되는 어휘들이 매칭될 수도 있다. For example, press the ☆ button to request food, press the ○ button to operate rides, press the □ button to make a video call with the owner, and press the △ button to turn on the air conditioner or TV. Animals can be matched to recognizable situations. In addition, words used in real life, such as mother, owner, let's do, please, and differ, may be matched.
반려동물이 반려동물용 입력장치(100)의 버튼을 누르면 반려동물용 입력장치(100)에서 신호(이하 '반려동물 입력신호'로 약칭함)가 발생한다. 중개장치(200)에서는 커뮤니케이션 서버(300)로 반려동물 입력신호를 송신한다. 다른 예로, 반려동물용 입력장치(100)은 신호 중개장치(200)와 커뮤니케이션 서버(300)를 경유하여 반려동물 보호자 단말기(400)로 반려동물 입력신호를 전달한다.When a companion animal presses a button of the companion
커뮤니케이션 서버(300)는 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)으로 반려동물 입력신호에 따른 내용을 정제하여 전달한다. 커뮤니케이션 플랫폼(410)은 상기 내용을 수신하여 메신저 인터페이스(411)를 통해 반려동물 보호자와 반려동물 간 쌍방향 소통이 가능한 메신저 화면을 반려동물 보호자에게 제공한다. 또는 반려동물 보호자 단말기(400)에서 구동되는 기존의 채팅 전용 앱과 연동되어 쌍방향 소통이 가능하게 구현될 수 있다.The
본 발명의 일 실시예에서 반려동물용 입력장치(100)의 버튼이 눌리면 녹음된 내용이나 저장된 특수음이 재생되도록 스피커를 포함할 수 있다. 또한 상기 버튼에 LED와 같은 발광장치가 내장되도록 하여 상기 버튼이 눌리면 해당 발광장치가 켜지도록 구현될 수 있다. 다른 예로, 반려동물용 입력장치(100)는 설정정보를 통해 특정 시간 대에 특정 버튼이 발광하도록 동작하여, 특정 시간대에 반려동물이 발광된 버튼을 누르도록 유도할 수 있다.In one embodiment of the present invention, a speaker may be included so that recorded contents or stored special sounds are reproduced when a button of the companion
또한 반려동물용 입력장치(100)는 신호 중개장치(200)와 근거리 통신망을 통해 연결된다. 반려동물용 입력장치(100)는 그 버튼이 눌릴 경우에 해당 버튼이 눌렸음을 감지하는 신호를 신호 중개장치(200)로 전송하기 위해 블루투스 모듈과 같은 근거리 무선 통신모듈을 포함한다.In addition, the companion
신호 중개장치(200)는 반려동물용 입력장치(100)에서 전달된 입력 신호를 커뮤니케이션 서버(300)로 전달한다. 다른 예로, 신호 중개장치(200)는 반려동물용 입력장치(100)에서 전달된 입력 신호를 커뮤니케이션 서버(300)를 경유하여 반려동물 보호자 단말기(400)로 전달한다. The
신호 중개장치(200)는 카메라 및 통신 모듈을 포함한다. 또한 신호 중개장치(200)는 초음파 센서, 소리감지 센서, NFC 센서, RFID 센서 등 반려동물의 상태를 확인할 수 있는 다양한 센서 모듈 중 적어도 하나 이상을 포함할 수 있다.The
본 발명의 일 실시예에 있어서 신호 중개장치(200)의 통신 모듈은 무선랜이나, 블루투스, 적외선 센서와 같은 근거리 무선 통신 기능을 수행한다. 또한, IR 센서를 포함하여 댁내 가전기기(주변기기)인 TV, 에어컨 등으로 리모트컨트롤러 신호를 송출할 수 있는 기술적 구성을 포함한다. In one embodiment of the present invention, the communication module of the
본 발명의 다른 실시예에 있어서 신호 중개장치(200)는 반려동물용 입력장치(100)과 유선(예를 들어 LAN)으로 연결될 수 있다. In another embodiment of the present invention, the
본 발명의 일 실시예에 있어서 신호 중개장치(200)는 카메라로 촬영된 영상을 커뮤니케이션 서버(300) 또는 반려동물 보호자 단말기(400)로 전송해줄 수 있다. 이때 반려동물 보호자 단말기(400)는 복수개의 신호 중개장치(200)와 통신을 수행할 수 있다.In one embodiment of the present invention, the
또한 신호 중개장치(200)는 커뮤니케이션 서버(300)와 네트워크 통신을 수행하는 통신 모듈을 포함한다. 일 실시예에 있어서 신호 중개장치(200)는 반려동물용 입력장치(100)들 중 어느 반려동물용 입력장치(100)가 입력되었는지 분별 가능하도록 반려동물용 입력장치(100)의 입력 신호(이하 반려동물 입력신호)를 커뮤니케이션 서버(300)로 전송하고, 커뮤니케이션 서버(300)를 통해 수신되는 원격 제어신호를 댁내 가전기기, 즉 식욕이나, 유희욕구를 충족시켜줄 수 있는 주변기기로 전달한다. 본 발명의 '원격 제어신호'는 반려동물 입력신호에 매칭되는 주변기기의 동작을 제어하기 위한 신호이며 이후에도 동일한 의미로 사용된다. 원격 제어신호는 사료 급식기의 사료 지급을 수행하도록 제어하는 신호, 간식 급식기의 간식 지급을 수행하도록 제어하는 신호, 공놀이 기계의 동작 신호와 같이 다양한 주변기기의 동작을 제어할 수 있는 제어신호를 포함한다.In addition, the
신호 중개장치(200)는 원격 제어신호에 따라 주변기기의 동작을 제어한다. 주변기기는 원격 제어신호로 동작할 수 있고, 반려동물의 욕구를 충족시켜 줄 수 있는 다양한 기기를 포함한다. The
주변기기는 반려동물의 식욕을 해결하기 위한 사료 급식기나 간식 급식기, 반려동물의 유희욕구를 해결하기 위한 강아지 레이저기계나 공놀이기계, 반려동물의 보호자를 찾는 욕구해결을 위한 영상통화기기 중 하나를 포함한다. 그러나 이에 한정되는 것은 아니고 원격 제어신호에 의해 동작하며 반려동물의 욕구를 만족시켜줄 수 있는 다양한 장치 및 기기들을 포괄하도록 해석된다. Peripheral devices include one of the following: a feed feeder or snack feeder to solve the companion animal's appetite, a dog laser machine or ball machine to solve the companion animal's need for play, and a video call device to solve the companion animal's need to find a guardian. . However, it is not limited thereto, and is interpreted to cover various devices and devices that operate by remote control signals and can satisfy the needs of companion animals.
또한 주변기기는 신호 중개장치(200)에 탑재되는 스피커 또는 물리적으로 별개의 스피커를 통해 반려동물 보호자 음성을 출력하여 반려동물의 욕구에 대한 피드백을 하도록 구현될 수도 있다. 그러나 이에 한정되는 것은 아니고 다양한 기기들을 포괄하도록 해석된다. 이때 영상 통화 기기는 물리적으로 신호 중개장치(200)에 탑재된 기능으로 구현 가능하다.In addition, the peripheral device may be implemented to provide feedback on the companion animal's desire by outputting the companion animal guardian's voice through a speaker mounted in the
본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템은 착용형 생체측정모듈(예를 들어 목걸이 형태)을 더 포함할 수 있고, 착용형 생체측정모듈은 반려동물의 몸통에 접촉되도록 착용되어 반려동물의 생체신호를 측정하기 위한 적어도 하나 이상의 생체전극센서를 포함한다. 여기서, 생체신호는 근전도, 골전도, 맥박수(심박수), 체온, 호흡수에 관한 신호 중 하나일 수 있으며, 이에 제한되지 않는다.The communication service system according to an embodiment of the present invention may further include a wearable biometric module (for example, in the form of a necklace), and the wearable biometric module is worn so as to come into contact with the companion animal's torso. It includes at least one bioelectrode sensor for measuring a signal. Here, the biosignal may be one of signals related to electromyography, bone conduction, pulse rate (heart rate), body temperature, and respiratory rate, but is not limited thereto.
또한, 착용형 생체측정모듈은 반려동물의 음성을 실시간으로 수집하기 위한 마이크를 포함할 수 있다.In addition, the wearable biometric module may include a microphone for collecting the companion animal's voice in real time.
또한, 착용형 생체측정모듈은 근거리 통신망을 이용하여 반려동물의 생체신호 및 음성정보를 신호 중개장치(200)로 전달할 수 있다. 신호 중개장치(200)는 전달받은 생체신호 및 음성정보를 커뮤니케이션 서버(300)이나 커뮤니케이션 서버(300)을 경유하여 반려동물 보호자 단말기(400)에 전달할 수 있다.In addition, the wearable biometric module can transmit the biosignal and voice information of the companion animal to the signal
한편, 신호 중개장치(200)는 반려동물 보호자의 음성정보를 출력하기 위한 스피커를 포함할 수 있다. 신호 중개장치(200)는 커뮤니케이션 서버(300)로부터 수신한 원격 제어신호에 따라 해당하는 반려동물 보호자의 음성정보를 스피커를 통해 출력할 수 있다. 예를 들어, 상기 반려동물 보호자의 음성정보는 '잘했어', '좋아', '착하지' 와 같은 긍정 언어, '안돼', '하지마'와 같은 부정 언어일 수 있다. Meanwhile, the
또한 반려동물 보호자의 음성정보는 반려동물 보호자 단말기(400)에 설치된 커뮤니케이션 플랫폼(410)의 메신저 인터페이스(411)를 통해 반려동물 보호자가 입력한 메시지에 따라 합성된 음성정보일 수 있다. 예를 들어, 반려동물 보호자가 상기 메신저 인터페이스(411)를 통해 반려동물에게 보낼 메시지를 입력하면, 이 메시지를 커뮤니케이션 서버(300)가 수신하여 이를 기반으로 반려동물 보호자의 음성을 합성하여 합성된 음성정보를 신호 중개장치(200)로 송신하고, 신호 중개장치(200)가 상기 합성된 음성을 스피커를 통해 출력할 수 있다. Also, the voice information of the companion animal guardian may be voice information synthesized according to a message input by the companion animal guardian through the
신호 중개장치(200)은 커뮤니케이션 서버(300)와 네트워크로 통신한다.The
여기서, 네트워크는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스 (Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.Here, the network refers to a connection structure capable of exchanging information between nodes such as a plurality of terminals and servers, and examples of such networks include RF, 3rd Generation Partnership Project (3GPP) network, and Long Term Evolution (LTE) ) network, 5GPP (5th Generation Partnership Project) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide Area Network), PAN (Personal Area Network), Bluetooth (Bluetooth) network, NFC network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc. are included, but are not limited thereto.
신호 중개장치(200)는 반려동물용 입력장치(100)에서 전송된 입력신호에 따라 주변기기들의 동작을 온/오프할 수 있다. 여기서, 주변기기들은 선풍기, 에어컨, TV, 사료급식기, 간식급식기, 놀이기구 등 통신제어가 가능한 IoT 기기일 수 있다. 신호 중개장치(200)와 주변기기들은 홈 네트워크로 연결된다.The
신호 중개장치(200)는 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)에서 입력한 주변기기정보를 등록한 후, 커뮤니케이션 플랫폼(410)에서 지정한 주변기기 동작설정정보를 기초로 반려동물용 입력장치(100)에서 전송된 입력신호로 동작 가능한 주변기기들을 설정, 수정 및 추가할 수 있다.After registering the peripheral device information input from the
신호 중개장치(200)는 카메라, 스피커 및 녹음기를 더 포함할 수 있고, 카메라 촬영 이미지/동영상 또는 녹음된 소리를 파일이나 스트리밍 형태로 커뮤니케이션 서버(300)로 제공할 수 있다. 또한 신호 중개장치(200)는 반려동물이 반려동물용 입력장치(100)의 버튼을 누르는 순간의 이미지나 반려동물이 상기 버튼을 누르기 직전의 일정 시간 또는 직후의 일정 시간의 동영상을 커뮤니케이션 서버(300)의 통신부(310)로 전달할 수 있다. The
본 발명의 일 실시예에 있어서 반려동물용 입력장치(100) 또는 신호 중개장치(200)가 반려동물 인식용 내장 칩이나 외장 칩을 인식할 수 있는 칩 인식부를 구비할 수 있다. 반려동물용 입력장치(100)에 칩 인식부가 구비된 경우, 반려동물용 입력장치(100)는 입력신호와 칩 인식 신호를 신호 중개장치(200)에 전달한다. 커뮤니케이션 서버(300)는 신호 중개장치(200)로부터 입력 신호와 함께 칩 인식 신호를 수신하여 어떤 반려동물의 입력 신호인지 식별할 수 있다. 또한 필요에 따라 커뮤니케이션 서버(300)는 상기 입력 신호와 상기 반려동물의 식별 정보를 반려동물 보호자 단말기(400)로 전달할 수 있다.In one embodiment of the present invention, the companion
상기 반려동물 식별을 위한 칩 인식 기술로는 RFID나 NFC 기술이 사용될 수 있으나 이에 한정되지는 않는다.RFID or NFC technology may be used as the chip recognition technology for companion animal identification, but is not limited thereto.
또한, 본 발명의 일 실시예에 있어서 반려동물용 입력장치(100) 또는 신호 중개장치(200)가 반려동물의 비문을 인식할 수 있는 비문인식부를 구비할 수 있다. 반려동물의 코 주름무늬(비문)는 반려동물 마다 다르며, 반려동물의 노화로 바뀌지 않으므로 반려동물의 식별 방법으로 사용할 수 있다. 상기 비문인식부는 카메라로 촬영한 반려동물의 영상을 기초로 딥러닝 등의 인공지능을 이용하여 반려동물의 식별 신호를 생성할 수 있다. 반려동물용 입력장치(100)에 비문인식부가 있는 경우 반려동물용 입력장치(100)은 상기 식별 신호를 신호 중개장치(200)에 전달한다. 신호 중개장치(200)은 반려동물용 입력장치(100)으로부터 전달받은 식별 신호 또는 자체적으로 생성한 식별 신호를 커뮤니케이션 서버(300)로 송신한다. 커뮤니케이션 서버(300)는 신호 중개장치(200)로부터 입력 신호와 함께 상기 식별 신호를 수신하여 어떤 반려동물의 입력 신호인지 식별할 수 있다. 커뮤니케이션 서버(300)는 상기 입력 신호와 상기 반려동물의 식별 정보를 반려동물 보호자 단말기(400)로 전달할 수 있다.In addition, in one embodiment of the present invention, the companion
커뮤니케이션 서버(300)는 신호 중개장치(200) 및 반려동물 보호자 단말기(400)와 데이터를 수신하는 무선 LAN 통신 모듈을 포함하는 서비스 서버로 구현된다. 일 실시예에 있어서 커뮤니케이션 서버(300)는 반려동물 입력신호를 수신한 시각, 소정 시간 동안의 상기 입력신호의 전달 횟수, 반려동물 보호자의 언어 내용을 기초로 기계 학습(machine learning)을 수행하고 자연어 처리로 호출, 요구 메시지를 추출하여 반려동물 보호자 단말기(400)로 제공할 수 있다. 상기 반려동물 보호자의 언어 내용은 카카오톡과 같은 메신저에서의 채팅 내용, SNS(예를 들어 트위터, 페이스북 또는 인스타그램)에 게시한 내용, 반려동물과의 채팅 창에 입력한 내용과 입력 시의 음성 정보가 포함될 수 있으나, 이에 한정되지는 않는다. The
또한 커뮤니케이션 서버(300)는 반려동물 보호자 단말기(400)로 채팅 형식으로 영상(이미지, 동영상)이나 텍스트(메시지)를 전송한다.In addition, the
커뮤니케이션 서버(300)는 소정 시간 내에 동일한 복수의 반려동물 입력신호를 통신부(310)를 통해 수신하는 경우(반려동물용 입력장치(100)의 특정 버튼이 반복적으로 눌리는 경우) 현재의 시간정보와 이전의 주변기기 실행 데이터를 통해 선별적으로 반려동물 보호자 단말기(400)로 내용을 보낼 수 있다. 또한 반려동물 보호자는 반려동물의 욕구 해소와 관련된 주변기기의 사용횟수, 사용 시간 등을 설정하여 욕구 버튼이 눌리더라도 음성출력, LED 점등이 작동하지 않게 비활성화할 수 있다. 예를 들어 소정 시간 이내에 반복해서 욕구 버튼이 눌리는 경우에는 그 작동을 비활성화할 수 있다.When the
커뮤니케이션 서버(300)는 주변기기로부터 반려동물의 욕구 해소에 대한 피드백을 수신하고 반려동물 보호자 단말기(400)로 전달하도록 구현될 수 있다.The
커뮤니케이션 서버(300)는 반려동물의 생체정보, 행동패턴정보, 입력패드의 입력정보를 기초로 반려동물의 헬스케어 정보를 생성하여 반려동물 보호자 단말기(400)로 제공할 수 있다.The
또한, 커뮤니케이션 서버(300)는 반려동물 보호자 단말기(400)에서 전송된 시간대별 주변기기 동작정보를 제공받아 시간대별, 일일별 반려동물의 주변기기 이용율 통계정보를 반려동물 보호자 단말기(400)로 제공할 수 있다.In addition, the
커뮤니케이션 서버(300)에 대한 상세 내용은 도 2를 참조하여 후술한다.Details of the
반려동물 보호자 단말기(400)는 반려동물 보호자가 소지한다. 반려동물 보호자 단말기(400)에 탑재되어 실행되는 반려동물 전용 커뮤니케이션 플랫폼(410)은 반려동물과의 채팅 기능을 제공하고, 반려동물의 표정을 분석하는 기능을 제공하며, 신호 중개장치(200)로 음성을 전송하거나 영상통화기능을 수행할 수 있다. 또한 커뮤니케이션 플랫폼(410)은 반려동물의 이미지를 기초로 생성된 이모티콘을 선택하는 화면을 제공할 수 있다. The companion
본 발명의 일 실시예에 있어서 반려동물 보호자는 반려동물 보호자 단말기(400)에서 실행되는 커뮤니케이션 플랫폼(410)을 통해 반려동물 입력신호(반려동물의 욕구를 표현하는 신호)에 대응되는 원격 제어신호를 입력한다. 커뮤니케이션 플랫폼(410)은 커뮤니케이션 서버(300)의 통신부(310)에 상기 원격 제어신호를 송신한다. 통신부(310)는 상기 원격 제어신호를 수신하고, 상기 원격 제어신호를 신호 중개장치(200)로 송신한다.In one embodiment of the present invention, the companion animal guardian transmits a remote control signal corresponding to a companion animal input signal (a signal expressing the companion animal's desire) through the
본 발명의 다른 실시예에 있어서 커뮤니케이션 플랫폼(410)은 댁내 구비되는 주변기기로 원격 제어신호를 생성하여 전송할 수도 있다.In another embodiment of the present invention, the
본 발명의 또 다른 실시예에 있어서 반려동물 보호자는 반려동물 보호자 단말기(400)에서 실행되는 커뮤니케이션 플랫폼(410) 뿐 아니라 주변기기로 원격 제어신호를 전송할 수 있는 다양한 어플리케이션을 통해 원격 제어신호를 입력하는 것도 가능하다.In another embodiment of the present invention, the companion animal guardian may input a remote control signal through various applications capable of transmitting remote control signals to peripheral devices as well as the
즉 반려동물 보호자는 반려동물 보호자 단말기(400)에서 실행되는 커뮤니케이션 플랫폼(410) 뿐만 아니라 신호 중개장치(200)와 연결되어 있지 않은 주변기기의 경우 커뮤니케이션 플랫폼(410)에서 반려동물의 욕구에 대응되는 주변기기를 조작할 수 있는 다른 어플을 호출, 작동, 가동시켜 주변기기로 직접 원격 제어신호를 전달하여 실행시킬 수 있다.That is, the companion animal guardian not only uses the
추가적으로 커뮤니케이션 서버(300)는 기존의 반려동물의 급식기 업체, 장난감 업체, 헬스 케어 업체와 같이 주변기기로 적용 가능한 기기 업체로부터 일 실시예에 따른 반려동물 의사소통 서비스(API:application programming interface 서비스) 연동에 따른 서비스 월이용료를 받아 수익 창출을 할 수 있는 비즈니스 모델을 제공할 수 있다.In addition, the
구체적으로 반려동물에게 반려동물용 입력장치(100) 교육 필요시에 전문가가 집으로 방문하여 반려동물을 교육하거나, 인근의 반려동물 교육 장소등을 소개하여 반려동물이 반려동물용 입력장치(100) 교육을 받을 수 있도록 필요한 정보들을 제공하거나 전문가 교육 예약 처리를 해줄 수 있다.Specifically, if the companion animal needs training on the companion
또한 반려동물 보호자 단말기(400)에서 실행되는 커뮤니케이션 플랫폼(410)을 통해 펫호텔, 펫 미용실, 펫 사료와 같은 펫 용품 광고 기능을 제공함으로써 광고 수수료로 인한 수익 창출효과를 볼 수 있는 비즈니스 모델을 제공할 수도 있다. 이때 광고 기능 제공시에 반려동물이 대화형식으로 어떤 욕구를 요청하는 느낌이 들도록 구성하여 반려동물을 키우는 반려동물 보호자에게 광고 효과를 극대화 시킬 수 있다.In addition, by providing an advertising function for pet products such as pet hotels, pet beauty salons, and pet food through the
일 실시예에 있어서 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)은 펫 호텔에 구비되는 신호 중개장치(200)에 연결되어 통신할 수 있다.In one embodiment, the
즉, 신호 중개장치(200)가 구비된 펫 호텔에 반려동물을 맡길 경우에 펫 호텔의 독립적인 공간에 반려동물을 위치시키고 그 안에 반려동물용 입력장치(100), 주변기기 등을 제공한다. 그리고 반려동물이 기존에 사용하던 반려동물용 입력장치(100)의 버튼, 패턴 등을 설정하면, 펫 호텔에 있는 반려동물과도 동일하게 소통할 수 있다.That is, when leaving a companion animal in a pet hotel equipped with the signal
한편, 커뮤니케이션 플랫폼(410)은 원격 제어신호를 송신하는 시점을 미리 설정하는 기능을 제공할 수 있다. 예를 들어 사료나 간식을 지급할 시간을 미리 설정하여 사료 급식기 또는 간식 급식기로 원격 제어신호를 일정 시간 간격으로 송출하도록 설정, 편집할 수 있다. 또는 특정 시간에 사료 또는 간식을 지급하도록 원격 제어신호를 송출하도록 설정, 편집하는 것도 가능하다.Meanwhile, the
반려동물에게 지급될 수 있는 사료나 간식의 양을 제한하도록 설정하는 것도 가능하다.You can also set limits on the amount of food or treats that can be given to your pet.
반려동물이 하루에 먹을 양을 조정한 뒤, 반려동물이 요청할 때마다 사료를 지급한다. 그리고 반려동물이 설정된 양의 사료를 다 먹으면 반려동물용 입력장치(100)의 사료 급식 요청 버튼을 비활성화시켜 반려동물이 상기 버튼을 누르더라도 LED가 점등되지 않고 소리가 출력되지 않도록 할 수 있다. 이에 따라 반려동물이 소리가 나지 않고 점등되지 않는 것을 보고 먹을 수 없다는 것을 교육할 수 있다.After adjusting the amount that the companion animal eats per day, feed is provided whenever the companion animal requests. In addition, when the companion animal finishes the set amount of food, the feed request button of the companion
이때 비활성화 상태에서 반려동물이 반려동물용 입력장치(100)의 버튼을 누르면 보호자에게 푸쉬 형태로 메시지를 전달하여 보호자가 이를 확인할 수 있고, 희망 시 반려동물에게 추가적인 사료를 지급할 수 있다.At this time, when the companion animal presses the button of the companion
이를 통해 시간에 맞춰 사료를 주더라도 반려동물이 저녁에 사료를 한꺼번에 먹고 구토하는 일을 사전에 방지할 수 있으며, 반려동물의 건강관리 및 식이 조절이 가능해진다.Through this, even if the food is given on time, it is possible to prevent the companion animal from eating food all at once and vomiting in the evening, and it is possible to manage the health of the companion animal and control the diet.
추가적으로 사료 또는 간식이 지급되도록 설정된 시간에 신호 중개장치(200) 또는 사료 급식기나 간식 급식기 자체 내에 구비되는 스피커를 통해 "밥 먹자~", "간식 먹자~"와 같은 반려동물 보호자 음성 신호가 출력되도록 직접 음성 녹음 파일을 생성하여 저장하고, 출력 시기를 설정하는 기능을 더 제공할 수 있다.In addition, at a time set to provide food or snacks, a companion animal guardian voice signal such as "Let's eat" or "Let's eat snacks" is output through the signal
커뮤니케이션 플랫폼(410)은 네트워크를 통하여 반려동물 보호자 단말기(400)에 설치 또는 구동되는 애플리케이션, 프로그램, 웹 페이지 등을 포함할 수 있다.The
여기서, 상기 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up languge)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 구글 크롬(Chrome), 익스플로러(Explorer), 사파리(Safari), 파이어폭스(Firefox), 오페라(Opera), 안드로이드(Android), UC 브라우저(UC Browser), 삼성 인터넷(Samsung Internet), 노키아(Nokia) 등을 포함한다. Here, the web browser is a program that allows users to use World Wide Web (WWW) services, and means a program that receives and displays hypertext described in HTML (hyper text mark-up languge), for example, Google Chrome ( Including Chrome, Explorer, Safari, Firefox, Opera, Android, UC Browser, Samsung Internet, Nokia, etc. do.
또한, 애플리케이션은 단말 상의 응용프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다. 앱(app)은 모바일 콘텐츠를 자유롭게 사고 파는 가상의 장터인 애플리케이션 마켓에서 다운로드 받아서 설치할 수 있다.In addition, an application means an application on a terminal, and includes, for example, an app executed on a mobile terminal (smart phone). Apps can be downloaded and installed from the application market, a virtual marketplace where mobile contents are freely bought and sold.
본 발명의 또 다른 양상에 따르면 커뮤니케이션 서버(300)가 반려동물 보호자 단말기(400)에 일체로 탑재되는 것도 가능하다. 이 경우 반려동물 보호자 단말기(400)에 설치된 커뮤니케이션 플랫폼(410)을 통해 커뮤니케이션 서버(300)의 기능을 수행할 수 있도록 구현된다. 이에 따라 물리적으로 별개의 서비스 서버를 구동시키는 데 따른 데이터 사용비용을 절약할 수 있다.According to another aspect of the present invention, it is also possible that the
반려동물 보호자 단말기(400)는 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal), 디지털 사이니지 장치 등과 같은 다양한 단말기에 적용될 수 있다.The companion
도 2는 본 발명의 일 실시예에 따른 커뮤니케이션 서비스 시스템의 커뮤니케이션 서버 구성을 나타낸 블록도이다. 2 is a block diagram showing the configuration of a communication server of a communication service system according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른, 커뮤니케이션 서비스 시스템의 커뮤니케이션 서버(300)는 통신부(310), 학습부(320), 제어부(330) 및 저장부(340)를 포함한다. 그리고 커뮤니케이션 서버(300)는 이모티콘 생성부(350)를 더 포함할 수 있다. 또한 커뮤니케이션 서버(300)는 회원관리부, 주변기기 관리부, 광고정보 제공부 및 플랫폼 제공부를 더 포함할 수 있다.As shown in FIG. 2 , the
통신부(310)는 신호 중개장치(200)와 데이터를 송신/수신한다. 또한 통신부(310)는 커뮤니케이션 플랫폼(410)과 데이터를 송신/수신한다. 통신부(310)가 신호 중개장치(200) 및 커뮤니케이션 플랫폼(410)과 주고 받는 데이터에는 이미지, 동영상, 텍스트 등 모든 형태의 데이터가 포함된다. The
통신부(310)는 반려동물 입력신호를 신호 중개장치(200)로부터 수신하며, 반려동물 보호자 단말기(400)에서 구동되는 커뮤니케이션 플랫폼(410)으로 상기 반려동물의 입력신호를 전달한다. The
커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411)를 통해 상기 반려동물의 입력신호를 구어체로 변환하여 반려동물 보호자에게 전달한다.The
반려동물 보호자는 커뮤니케이션 플랫폼(410)이 제공하는 메신저 인터페이스(411)를 통해 반려동물의 욕구를 파악할 수 있다.The companion animal guardian can grasp the needs of the companion animal through the
또한 통신부(310)는 반려동물 입력신호에 매칭되는 주변기기에 대한 원격 제어신호를 신호 중개장치(200)에 송신할 수 있다.In addition, the
또한 통신부(310)는 신호 중개장치(200)로부터 반려동물 입력신호와 함께 칩 인식 신호를 수신한다. 통신부(310)는 칩 인식 신호를 반려동물의 식별코드로 하여 커뮤니케이션 서버(300) 내부에 전달하거나, 칩 인식 신호를 별도의 반려동물 식별코드로 변환하여 커뮤니케이션 서버(300) 내부에 전달할 수 있다. 학습부(320), 제어부(330), 저장부(340)는 반려동물의 식별코드를 기준으로 모델이나 데이터를 구분한다. 예를 들어 표정모델/행동모델을 생성/갱신하거나, 메시지를 생성/추출하거나, 이미지/동영상을 저장/추출할 때 해당 반려동물의 식별코드를 이용하여 데이터를 구분하여 처리한다.In addition, the
본 발명의 다른 실시예에서, 통신부(310)는 반려동물 보호자 단말기(400)에서 구동되는 커뮤니케이션 플랫폼(410)을 통해 상기 반려동물 입력신호와 매칭되는 주변기기에 대한 원격 제어신호를 수신하면, 주변기기로 직접 제어 신호의 전송이 가능한지 여부를 확인한다. 그리고 주변기기로 직접 제어 신호의 전송이 가능하면 통신부(310)가 원격 제어신호를 주변기기로 전달한다. 주변기기로 직접 제어 신호의 전송이 가능하지 않은 경우에는, 반려동물 보호자 단말기(400)에 별도로 설치되는 주변기기의 원격 제어 기능을 수행하는 어플리케이션을 먼저 가동시키고, 주변기기의 원격 제어 기능을 수행하는 어플리케이션을 통해 원격 제어신호를 주변기기로 전달할 수 있다.In another embodiment of the present invention, when the
통신부(310)는 반려동물 보호자의 메시지를 반려동물 보호자 단말기(400)로부터 수신할 수 있다. The
또한 통신부(310)는 커뮤니케이션 플랫폼(410)의 표정모델 및 행동모델 실행 명령, 모델 실행에 필요한 이미지(또는 이미지 DB(342)에서 이미지를 추출할 수 있는 이미지 식별코드)와 동영상(또는 동영상 DB(343)에서 동영상을 추출할 수 있는 동영상 식별코드)를 수신할 수 있다. 표정모델 실행 명령이나 행동모델 실행 명령이 수신된 경우 통신부(310)는 모델 관리자(324)에 수신한 내용을 전달한다.In addition, the
또한 통신부(310)는 제어부(330)에서 생성한 메시지, 메시지 DB(341)에서 추출한 메시지, 반려동물의 이미지와 동영상, 반려동물의 이미지를 변환하여 생성된 이모티콘, 반려동물 표정분석용 데이터를 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)에 전달할 수 있다. 이 경우 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 메시지, 이미지 또는 동영상을 메신저 인터페이스(411)을 통해 표시한다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 반려동물의 이미지와 반려동물 표정분석용 데이터(표정의 명칭)를 표정 분석 인터페이스(412)을 통해 표시할 수 있다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 반려동물의 동영상과 반려동물 행동분석용 데이터(행동의 명칭)를 행동 분석 인터페이스(413)을 통해 표시할 수 있다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 이모티콘을 이모티콘 인터페이스(414)를 통해 표시할 수 있다. In addition, the
또한 통신부(310)는 신호 중개장치(200)로부터 반려동물을 촬영한 이미지나 동영상 또는 반려동물의 음성 정보를 수신할 수 있다. 통신부(310)는 상기 이미지/동영상/음성 정보를 제어부(330)로 전달한다.Also, the
통신부(310)는 외부의 광고정보를 수신할 수 있다. 외부의 광고정보가 수신되면, 통신부(310)는 상기 정보를 광고정보 제공부 또는 제어부(330)에 전달한다.The
또한 통신부(310)는 착용형 생체측정모듈이 신호 중개장치(200)를 경유하여 송신한 반려동물의 생체신호 및 음성정보를 수신할 수 있다. 통신부(310)는 상기 생체신호 및 음성정보를 주변기기 관리부와 제어부(330)에 전달한다.In addition, the
또한, 본 발명의 일 실시예에 따른 통신부(310)는 반려동물 식별 정보를 반려동물 보호자 단말기(400)에 전달할 수 있다. 반려동물 보호자는 복수의 반려동물을 키우는 경우 상기 반려동물 식별 정보에 따라 어떤 반려동물이 반려동물용 입력장치(100)의 버튼을 눌렀는지를 확인할 수 있다.In addition, the
통신부(310)가 지원하는 통신 방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들 간의 근거리 무선 통신 방식으로 데이터 송수신을 수행할 수 있다.The communication method supported by the
여기서 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다.Here, the network includes a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), a broadband network (BBN), and the Internet. may include one or more arbitrary networks.
또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수도 있으나, 이에 제한되지는 않는다.In addition, the network may include any one or more of network topologies including, but not limited to, a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, and the like. don't
학습부(320)는 반려동물 보호자가 모델 학습용으로 선정한 반려동물의 이미지를 이용하여 인공지능(기계학습)을 통해 반려동물 표정모델(이하 표정모델)이나 반려동물 행동모델(이하 행동모델)을 생성하고 저장한다. 표정모델은 반려동물의 이미지에 나타난 반려동물의 표정의 추론 결과를 출력한다. 행동모델은 반려동물에 관한 동영상에 나타난 반려동물의 행동의 추론 결과를 출력한다. 상세한 내용은 도 3을 참조하여 후술한다. The
본 발명의 일 실시예에서 제어부(330)는 반려동물 입력신호 수신 등의 이벤트가 발생하면, 입력신호의 종류, 반려동물 입력신호 이후의 경과 시간, 수신한 광고나 날씨정보의 종류, 현재 시각, 반려동물 보호자 단말기(400)에 저장된 스케줄 정보, 반려동물 보호자의 현재 위치 등의 정보를 바탕으로 반려동물이나 반려동물 보호자의 상황을 판단한다.In an embodiment of the present invention, when an event such as reception of a companion animal input signal occurs, the
상기 이벤트는 메시지 인터페이스(411)가 반려동물과의 채팅 창에 메시지, 이미지 및 이모티콘 중 적어도 하나를 표시하는 원인이 되는 사건을 말한다. 상기 이벤트의 예를 들면, 반려동물 입력신호의 수신, 반려동물 입력신호 이후 보호자 피드백이 없이 일정 시간 경과, 광고 수신, 날씨정보 수신, 특정 시각 도래, 반려동물의 생체정보의 변화, 반려동물의 특정 행동패턴의 감지, 반려동물 생체신호의 이상 징후 발생 등이 있다. 그러나 이에 한정되는 것은 아니다.The event refers to an event that causes the
반려동물 입력신호를 통신부(310)에서 수신하는 경우, 메신저 인터페이스(411)에서 반려동물의 욕구가 표현된 메시지에 대해 반려동물 보호자의 피드백이 소정 시간 동안 없는 경우, 반려동물 보호자가 메신저 인터페이스(411)를 통해 송출한 메시지에 특정한 키워드가 포함되어 있는 경우, 외부의 서버로부터 날씨나 광고 정보가 통신부(310)로 수신되는 경우에 상기 이벤트가 발생할 수 있다. 그러나 이에 한정되는 것은 아니다.When a companion animal input signal is received by the
제어부(330)는 상기 판단된 상황에 따라 메신저 인터페이스(411)에 출력될 메시지, 이미지 및 이모티콘 중 적어도 하나(이하 '메시지 등'으로 표기함)를 정한다. 즉, 제어부(330)는 판단된 상황에 따라 메시지를 생성하거나, 메시지를 메시지 DB(341)에서 추출하거나, 반려동물의 이미지를 이미지 DB(342)에서 추출하거나, 이모티콘을 이모티콘 DB(344)에서 추출할 수 있다. 제어부(330)는 상황 판단의 결과로 특정한 키워드를 선정하여, 메시지 DB(341)에서 상기 키워드에 해당하는 메시지를 추출할 수 있다. 제어부(330)는 생성하거나 추출한 메시지가 단수일 경우, 해당 메시지를 커뮤니케이션 플랫폼(410)에 전달할 메시지로 선정한다. 제어부(330)는 생성하거나 추출한 메시지가 복수일 경우, 랜덤 또는 일정한 규칙에 따라 커뮤니케이션 플랫폼(410)에 전달할 메시지를 선정할 수 있다. The
또한 제어부(330)는 상황 판단의 결과로 특정한 키워드와 매핑되는 특정한 반려동물의 표정을 선정하여, 이미지 DB(342)에서 상기 표정에 해당하는 반려동물의 이미지를 추출할 수 있다. 제어부(330)는 상기 추출된 이미지가 단수일 경우 해당 이미지를 커뮤니케이션 플랫폼(410)에 전달할 이미지로 선정한다. 제어부(330)는 상기 추출된 이미지가 복수일 경우, 랜덤으로 또는 일정한 규칙에 따라 커뮤니케이션 플랫폼(410)에 전달할 이미지를 선정할 수 있다. In addition, the
또한 제어부(330)는 설정에 따라 상기 이미지와 함께 또는 상기 이미지를 대신하여, 커뮤니케이션 플랫폼(410)에 전달할 이모티콘을 선정할 수 있다. 커뮤니케이션 플랫폼(410)에 이모티콘을 전달하는 경우, 제어부(330)는 상황 판단의 결과로 특정한 키워드와 매핑되는 특정한 태그를 선정하여, 이모티콘 DB(344)에서 상기 태그에 해당하는 이모티콘을 추출할 수 있다. 이 경우 제어부(330)는 상기 추출된 이모티콘이 단수일 경우 해당 이모티콘을 커뮤니케이션 플랫폼(410)에 전달할 이모티콘으로 선정한다. 또한 제어부(330)는 상기 추출된 이모티콘이 복수일 경우, 랜덤 또는 일정한 규칙에 따라 커뮤니케이션 플랫폼(410)에 전달할 이모티콘을 선정할 수 있다. In addition, the
이벤트 발생에 따른 상황 판단 로직, 상황 판단 결과 도출된 키워드와 표정 명칭(또는 태그)의 매핑 테이블은 제어부(330)의 내부 저장소 또는 저장부(340)에 저장된다. 상기 로직과 매핑 테이블은 주기적으로 또는 임의적으로 업데이트될 수 있다.A situation judgment logic according to event occurrence and a mapping table of keywords and expression names (or tags) derived as a result of situation judgment are stored in the internal storage of the
예를 들어, ① 반려동물이 반려동물용 입력장치(100)의 '사료'라는 키워드가 매칭된 ☆모양 버튼을 눌러 사료 요청 입력신호를 발생시켜 통신부(310)에 수신된 상황일 경우, 제어부(330)는 "배고파"라는 메시지를 생성하거나, '급식' 키워드를 선정하여 메시지 DB(341)에서 '급식' 키워드에 해당하는 "배고파"라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '급식' 키워드와 매핑되는 표정인 '간절함'에 해당하는 반려동물의 이미지를 추출할 수 있다. ② 사료 요청 입력신호 수신 후 반려동물 보호자의 반응이 10분 동안 없는 상황일 경우, 제어부(330)는 "나 배고프다니깐?"이라는 메시지를 생성하거나, '급식지연' 키워드를 선정하여 메시지 DB(341)에서 '급식지연' 키워드에 해당하는 "나 배고프다니깐?"이라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '급식' 키워드와 매핑되는 표정인 '토라짐'에 해당하는 반려동물의 이미지를 추출할 수 있다. ③ 반려동물 보호자 단말기(400)의 위치가 자택으로부터 일정 거리이상 떨어져 있고, 신호 중개장치(200)에서 반려동물의 인식 칩을 통해 반려동물이 자택에 있는 것으로 파악되며, 반려동물 보호자 단말기(400)의 위치에 일정 시간 이내 강우가 예보된 상황일 경우, 제어부(330)는 "형~ 비 온다는데, 우산 챙겨 갔어?"라는 메시지를 생성하거나, '강우' 키워드를 선정하여 메시지 DB(341)에서 '강우' 키워드에 해당하는 "형~ 비 온다는데, 우산 챙겨 갔어?"라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '강우' 키워드와 매핑되는 표정인 '걱정'에 해당하는 반려동물의 이미지를 추출할 수 있다. ④ 반려동물 보호자의 자택 주변에 애견카페가 개업했다는 광고를 외부로부터 수신한 상황일 경우, 제어부(330)는 "형~ 우리집 근처에 애견카페 생겼대! 나랑 같이 가자!!"라는 메시지를 생성하거나, '애견카페' 키워드를 선정하여 메시지 DB(341)에서 '애견카페' 키워드에 해당하는 "형~ 우리집 근처에 애견카페 생겼대! 나랑 같이 가자!!"라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '애견카페' 키워드와 매핑되는 표정인 '신남'에 해당하는 반려동물의 이미지를 추출할 수 있다. ⑤ 착용형 생체측정모듈의 측정 결과 반려동물의 체온이 39도를 초과하는 것으로 나타난 경우, 제어부(330)는 "형~ 나 열이 많이 나는 것 같아... ㅠㅠ"라는 메시지를 생성하거나, '고열' 키워드를 선정하여 메시지 DB(341)에서 "형~ 나 열이 많이 나는 것 같아... ㅠㅠ"라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '고열' 키워드와 매핑되는 표정인 '시무룩함'에 해당하는 반려동물의 이미지를 추출할 수 있다. For example, ① when a companion animal presses a ☆-shaped button matched with the keyword 'food' of the companion
제어부(330)는 제어부(330)는 이와 같이 정한 메시지 등이 통신부(310)를 통해 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)으로 전달되도록 한다. 커뮤니케이션 플랫폼(410)은 전달받은 메시지 등을 메신저 인터페이스(411)에 표시한다. The
본 발명의 다른 실시예에 있어서, 제어부(330)는 신호 중개장치(200)이 보낸 반려동물의 촬영 이미지나 동영상이나 음성 정보를 통신부(310)를 통해 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)으로 전달되도록 한다. 커뮤니케이션 플랫폼(410)은 전달받은 이미지/동영상/음성 정보 중 적어도 하나를 메신저 인터페이스(411)에 표시할 수 있다. In another embodiment of the present invention, the
본 발명의 일 양상에 있어서, 제어부(330)는 반려동물 입력신호를 구어체 메시지로 변환하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다. 커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411)의 채팅 기능을 통해 반려동물 보호자에게 상기 구어체 메시지를 전달한다.In one aspect of the present invention, the
본 발명의 다른 양상에 있어서, 제어부(330)는 반려동물의 입력신호에 따른 키워드를 파악하고, 메시지 DB(341)에 기 저장된 대화체 문장들 중 상기 키워드를 포함하는 문장을 선별한다. 통신부(310)는 상기 문장을 커뮤니케이션 플랫폼(410)에 전달한다. 커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411)의 채팅 기능을 통해 반려동물 보호자에게 상기 문장을 전달한다.In another aspect of the present invention, the
예를 들어 '사료'라는 키워드가 매칭된 ☆모양 버튼 입력신호가 수신되면 '배가 고파요', '식사시간! 저도 함께해요'와 같이 해당 욕구를 표현할 수 있는 구어체 문장들 중 하나를 선별하여 반려동물 보호자 단말기(400)의 채팅 창을 통해 전달한다.For example, when a ☆-shaped button input signal matched with the keyword 'food' is received, 'I'm hungry', 'meal time! One of the colloquial sentences that can express the corresponding desire, such as 'I'm with you' is selected and delivered through the chat window of the companion
본 발명의 추가적인 양상에 따라 제어부(330)는 카메라로부터 수신되는 반려동물촬영 영상에 기반하여 반려동물의 입력신호를 구어체 메시지로 변환한다. 통신부(310)는 상기 구어체 메시지를 커뮤니케이션 플랫폼(410)에 전달한다. 커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411)의 채팅 기능을 통해 반려동물 보호자에게 상기 구어체 메시지를 전달한다.According to an additional aspect of the present invention, the
예를 들어 사료 급식기에서 사료가 제공된 이후에 반려동물이 사료를 먹고 자리를 사료 급식기에서 멀어진 경우에 "다 먹었어요"와 같은 상황을 알리는 구어체 메시지를 전달할 수 있다.For example, when a companion animal eats food and moves away from the feeder after food is provided from the feeder, a colloquial message indicating a situation such as "I'm done" can be delivered.
이때, 반려동물 보호자의 설정에 의해 커뮤니케이션 플랫폼(410)은 반려동물의 입력신호를 구어체로 변환하여 전달하거나, 구어체로 변환하지 않고 상태 알림 메시지로 전달할 수 있다. 즉, 단순히 반려동물의 동작 상태, 욕구 상태를 인지할 수 있는 키워드 또는 문장 형태의 알림 메시지로 전달되는 것도 가능하다.At this time, the
제어부(330)는 커뮤니케이션 플랫폼(410)에서 표정 분석이나 행동 분석이 진행되는 경우, 상기 분석의 진행에 필요한 이미지, 동영상, 데이터를 수집하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 하는 기능을 수행한다. When facial expression analysis or behavior analysis is performed in the
본 발명의 일 실시예에 있어서 제어부(330)는 상기 분석에 사용될 이미지나 동영상을 이미지 DB(342)나 동영상 DB(343)에서 랜덤으로 추출하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다.In one embodiment of the present invention, the
본 발명의 다른 실시예에 있어서 제어부(330)는 반려동물 보호자가 상기 분석에 사용되는 것으로 지정한 이미지나 동영상을 이미지 DB(342)나 동영상 DB(343)에서 추출하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다.In another embodiment of the present invention, the
또한 제어부(330)는 상기 분석에 사용될 이미지나 동영상을 모델 관리자(324)에 전달하고 표정모델이나 행동모델의 추론 결과를 모델 관리자(324)로부터 받는다. 제어부(330)는 소정 개수 범위에서 모델에서 확률이 높은 것으로 추론된 표정/행동을 선정하고, 임의의 표정/행동을 추가하여 선택지를 생성한다. 선택지의 개수는 제한이 없다. 예를 들어, 제어부(330)는 분석에 사용될 반려동물의 이미지의 표정모델 추론 결과, 가장 확률이 높은 표정으로 '당황(60%)', 그 다음으로 확률이 높은 표정으로 '두려움(30%)'이 나타난 경우, 여기에 임의로 '행복함'이라는 표정을 추가하여 3개의 선택지를 생성할 수 있다. 제어부(330)는 생성한 선택지를 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다. 표정 분석 인터페이스(412)나 행동 분석 인터페이스(413)에서는 상기 선택지를 화면에 출력하여 반려동물 보호자 또는 사용자가 선택할 수 있도록 한다. 제어부(330)는 반려동물 보호자의 표정/행동 선택 결과가 표정모델/행동모델의 추론 결과와 불일치하는 경우, 이를 피드백으로 삼아 표정 학습모듈(322)이나 행동 학습모듈(323)에 전달하여 표정모델이나 행동모델을 다시 학습하도록 할 수 있다.In addition, the
본 발명의 일 실시예에 있어서 제어부(330)는 반려동물 촬영 영상에 기반하여 버튼을 누른 반려동물의 식별 동작을 수행하거나, 반려동물 촬영 영상을 반려동물 보호자 단말기(400)로 제공하여 반려동물 보호자가 직접 확인할 수 있도록 한다.In one embodiment of the present invention, the
본 발명의 일 실시예에 있어서 반려동물용 입력장치(100) 또는 신호 중개장치(200)가 반려동물 인식용 내장 칩이나 외장 칩을 인식할 수 있는 칩 인식부를 구비할 수 있다. 통신부(310)는 신호 중개장치(200)의 칩 인식부로부터 칩 인식 신호가 수신되면 제어부(330)로 전달한다. 제어부(330)는 상기 칩 인식 신호로부터 반려동물의 식별 정보를 생성하여 통신부(310)를 통해 반려동물 보호자 단말기(400)에 전달되도록 할 수 있다.In one embodiment of the present invention, the companion
이에 따라 반려동물 보호자가 복수의 반려동물을 양육하는 상황에서도 반려동물별로 메시지/이미지/동영상 등 데이터 구분 처리가 가능하다.Accordingly, even in a situation where a companion animal guardian raises multiple companion animals, it is possible to classify and process data such as messages/images/videos for each companion animal.
또한 어떤 반려동물이 버튼을 눌렀는지를 정확히 파악할 수 있고 이에 따라 반려동물 별로 건강 관리 및 식단 관리가 가능하다.In addition, it is possible to accurately determine which companion animal pressed the button, and accordingly, it is possible to manage health and diet for each companion animal.
예를 들어 카메라로 촬영된 영상에서 반려동물이 사료급식기 주변에서 일정 시간이상 대기하거나, 소변 패드에서 일정 시간을 정체할 경우에 "배고파요"와 같은 식욕을 나타내는 메시지를 출력하거나, "시원하다~"와 같은 배변 후 메시지를 생성하여 출력할 수 있다. 이때 카메라는 신호 중개장치(200)에 탑재된 것일 수 있다. 그러나 이에 한정되는 것은 아니다.For example, in the video captured by the camera, when a companion animal waits for a certain amount of time around a feeder or stays on a urine pad for a certain amount of time, a message indicating appetite such as "I'm hungry" is output, or "It's cool~" It is possible to generate and output a message after defecation such as At this time, the camera may be mounted on the
저장부(340)는 메신저 인터페이스(411)에서 제공하는 채팅 화면에 표시될 수 있는 메시지, 반려동물의 이미지를 저장한다. 저장부(340)는 메신저 인터페이스(411)에 표시될 수 있는 반려동물의 동영상을 저장할 수 있다. 저장부(340)는 반려동물의 식별코드별로 저장하는 데이터를 구분할 수 있다. The
또한 저장부(340)는 반려동물 보호자가 커뮤니케이션 플랫폼(410)의 갤러리에 업로드한 반려동물의 이미지나 동영상을 저장한다.In addition, the
저장부(340)에 저장된 반려동물의 이미지나 동영상에는 해당 반려동물의 표정이나 행동의 레이블이 부여될 수 있다. 상기 레이블은 학습부(320)가 저장하고 있는 표정모델이 생성한 것이거나, 반려동물 보호자가 직접 입력한 것일 수 있다.An image or video of a companion animal stored in the
또한 저장부(340)는 이모티콘 생성부(350)가 생성한 이모티콘을 저장한다. 상기 이모티콘은 반려동물의 이미지를 기초로 생성된 이모티콘이다. In addition, the
저장부(340)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.The
본 발명의 일 실시예에 있어서 저장부(340)는 반려동물 입력신호에 따른 반려동물의 욕구를 파악하기 위한 프로그램, 반려동물 보호자 단말기(400)에서 구동되는 커뮤니케이션 플랫폼(410)의 구동에 필요한 프로그램, 반려동물 보호자 단말기(400)로부터 수신되는 원격 제어신호를 반려동물 보호자와 매칭되는 신호 중개장치(200)로 전달하기 위해 필요한 프로그램 및 프로그램 구동에 필요한 데이터들을 저장한다.In one embodiment of the present invention, the
이모티콘 생성부(350)는 이미지 DB(342)에 저장된 반려동물의 이미지를 이용하여 이모티콘을 생성한다. 상기 반려동물의 이미지는 이모티콘 인터페이스(414)를 통해 반려동물 보호자가 지정한 이미지일 수 있다. The
본 발명의 일 실시예에서, 이모티콘 생성부(350)는 반려동물의 이미지를 축소하거나, 특정 영역을 추출하여 채팅 화면이나 SNS 화면에서 사용되기에 적합한 소정의 크기가 되도록 이모티콘을 생성할 수 있다.In one embodiment of the present invention, the
본 발명의 다른 실시예에서, 이모티콘 생성부(350)는 딥러닝 기법을 사용하여 반려동물의 이미지를 변환하여 이모티콘을 생성할 수 있다. 이 때 사용될 수 있는 딥러닝 기법으로서 GAN을 예로 들 수 있으나 이에 제한되지는 않는다.In another embodiment of the present invention, the
이모티콘 생성부(350)은 이미지 DB(342)에서 추출한 반려동물의 이미지에 표정 레이블이 부여되어 있는 경우 이 레이블을 이모티콘의 태그로 하여 이모티콘과 함께 이모티콘 DB(344)에 전달한다. 이모티콘 DB(344)는 이모티콘의 태그와 이모티콘을 매칭하여 함께 저장한다.The
이모티콘 생성부(350)은 이미지 DB(342)에서 추출한 반려동물의 이미지에 표정 레이블이 부여되어 있지 않은 경우, 모델 관리자(324)가 해당 이미지에 나타난 반려동물의 표정을 판단하도록 하여, 이를 이모티콘의 태그로 하여 이모티콘과 함께 이모티콘 DB(344)에 전달한다. 이모티콘 DB(344)는 이모티콘의 태그와 이모티콘을 매칭하여 함께 저장한다. 한편, 이모티콘 인터페이스(414)의 사용자는, 상기 반려동물의 이미지에 표정 레이블이 부여가 되지 않는 경우 또는 상기 반려동물의 이미지에 표정 레이블이 부여되었는지 여부와 무관하게 이모티콘 인터페이스(414)를 통하여 이모티콘에 임의로 태그를 부여할 수 있다. When the expression label is not assigned to the companion animal image extracted from the
커뮤니케이션 서버(300)의 회원 관리부는 IoT 기반의 반려동물 관리 서비스를 이용하는 회원정보를 등록 및 관리한다. 여기서, 회원정보는 회원 가입에 필요한 필수정보(이름, 연락처)가 포함된다. 또한 회원정보는 반려동물용 입력장치(100)의 ID, 회원이 이용하는 신호 중개장치(200)의 ID, 연동되는 주변기기 정보를 포함할 수 있다. The member management unit of the
커뮤니케이션 서버(300)의 주변기기 관리부는 회원이 등록한 신호 중개장치(200)가 수집한 정보 및 제어정보를 모니터링한다. 신호 중개장치(200)가 수집한 정보에는 반려동물용 입력장치(100)가 신호 중개장치(200)로 전송한 입력신호가 포함된다. The peripheral device management unit of the
또한, 주변기기 관리부는 반려동물 보호자 단말기(400)에서 신호 중개장치(200)의 주변기기 연동 설정값(제어대상)을 변경한 변경정보를 모니터링할 수 있다.In addition, the peripheral device management unit may monitor the change information obtained by changing the peripheral device linkage setting value (control target) of the
따라서, 주변기기 관리부는 신호 중개장치(200)에서 제어하는 주변기기들의 동작정보, 주변기기들을 제어하기 위한 제어정보를 모니터링하고, 모니터링한 정보를 기록(등록) 저장한다.Accordingly, the peripheral device management unit monitors operation information of peripheral devices controlled by the
한편, 주변기기들의 동작정보는 주변기기들의 동작(가동)시간, 전력소비량, 배출량(사료 급식기의 경우) 등을 포함하는 정보일 수 있다. 여기서, 동작정보는 신호 중개장치(200)와 연동되는 주변기기들을 제어한 제어정보를 포함한다.Meanwhile, the operation information of the peripheral devices may be information including operation (operation) time of the peripheral devices, power consumption, amount of discharge (in the case of a feed feeder), and the like. Here, the operation information includes control information for controlling peripheral devices interworking with the
다음으로, 주변기기 관리부는 반려동물 입력단말에서 입력된 입력정보와 반려동물 보호자 단말기(400)에서 설정한 시간대별 주변기기동작 설정정보가 상이할 경우, 긍정 및 부정 중 어느 하나의 피드백 정보를 신호 중개장치(200)로 제공할 수 있다. 여기서, 피드백 정보는 반려동물 보호자의 음성정보로서, '안돼', '하지마'와 같은 부정 언어, '잘했어', '좋아', '착하지'와 같은 긍정 언어를 포함하는 반려동물 보호자 발화정보일 수 있다.Next, if the input information input from the companion animal input terminal and the peripheral device operation setting information for each time zone set in the companion
예를 들어, 반려동물 보호자 단말기(400)에서 사료 급식기의 먹이 배출시간을 1시간 단위로 설정되었다고 가정하고, 반려동물이 반려동물용 입력장치(100)의 사료 요청 버튼을 지속적으로 누를 경우에, 통신부(310)는 신호 중개장치(200)로부터 해당 입력신호를 수신하여 주변기기 관리부에 전달하며, 반려동물 입력신호의 입력 시간과 반려동물 보호자가 설정한 시간이 다를 경우, 주변기기 관리부는 상술한 부정 언어를 포함하는 반려동물 보호자 발화정보를 통신부(310)를 통해 신호 중개장치(200)로 제공하며, 신호 중개장치(200)는 수신한 부정 언어를 포함하는 반려동물 보호자 발화정보를 스피커로 출력할 수 있다.For example, assuming that the food discharge time of the feeder is set in units of 1 hour in the companion
반대로, 반려동물이 반려동물용 입력장치(100)의 사료 요청 버튼을 반려동물 보호자가 지시한 횟수 또는 시간에 누를 경우, 주변기기 관리부는 상술한 긍정 언어를 포함하는 반려동물 보호자 발화정보를 통신부(310)를 통해 신호 중개장치(200)로 제공하며, 신호 중개장치(200)는 수신한 긍정 언어를 포함하는 반려동물 보호자 발화정보를 스피커로 출력할 수 있다. Conversely, when the companion animal presses the food request button of the companion
다른 예로, 주변기기 관리부는 신호 중개장치(200) 내에 반려동물 보호자가 녹음한 긍정 및 부정언어가 포함된 발화정보를 저장하고 있을 경우, 긍정언어 및 부정언어가 포함된 반려동물 보호자 발화 출력지시정보만을 제공할 수도 있다.As another example, if the peripheral device management unit stores speech information including positive and negative languages recorded by companion animal guardians in the
한편, 주변기기 관리부는 기 설정된 기간동안 신호 중개장치(200)에서 제어하는 주변기기들의 동작정보, 주변기기들을 제어하기 위한 제어정보, 반려동물 생체정보를 기반으로 반려동물의 식사시간, 놀이시간, TV 시청시간, 취침시간을 분석하고, 분석된 정보를 기초로 반려동물의 행동패턴 분석을 수행한다.On the other hand, the peripheral device management unit based on operation information of the peripheral devices controlled by the
또한, 주변기기 관리부는 기 설정된 기간동안 수집한 반려동물의 생체정보와 식사량, 놀이시간, 취침시간을 기초로 건강상태 분석을 수행한다. 주변기기 관리부는 반려동물의 건강에 이상 징후가 있다고 판단되면, 이를 메시지 생성 이벤트로 삼아 제어부(330)에 전달한다. 제어부(330)는 건강 이상 징후에 관한 메시지를 생성하여, 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 메시지를 전달함으로써 메신저 인터페이스(411)에 반려동물의 건강 이상 징후에 관한 메시지가 출력되도록 한다. 예를 들어 반려동물의 분당 호흡수가 정상범위보다 많다거나, 반려동물의 분당 맥박수가 견종/나이에 따른 분당 정상맥박수를 초과한다거나, 반려동물의 체온이 섭씨 39도를 초과한다거나 하는 경우 주변기기 관리부는 이 내용을 제어부(330)에 전달한다.In addition, the peripheral device management unit analyzes the health condition based on the biometric information of the companion animal collected during a predetermined period, the amount of food eaten, the time spent playing, and the time spent sleeping. If the peripheral device management unit determines that there is an abnormality in the companion animal's health, it is transmitted to the
또한, 주변기기 관리부는 분석한 행동패턴이 기록된 일, 월 시간표 및 헬스케어 보고서(통계치)를 반려동물 보호자 단말기(400)로 제공할 수 있다.In addition, the peripheral device management unit may provide the companion
커뮤니케이션 서버(300)의 광고정보 제공부는 반려동물 상품업체에서 상품 광고정보를 제공하는 구성일 수 있다. The advertisement information provider of the
커뮤니케이션 서버(300)의 플랫폼 제공부는 반려동물 보호자 단말기(400)로 커뮤니케이션 플랫폼(410)을 제공할 수 있다. The platform providing unit of the
도 3은 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 학습부 구성을 나타낸 블록도이다. 3 is a block diagram showing the configuration of a learning unit of a communication server according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 학습부(320)는 메시지 학습모듈(321), 표정 학습모듈(322), 모델 관리자(324)을 포함한다. 또한 학습부(320)는 행동 학습모듈(323)을 더 포함할 수 있다.As shown in FIG. 3 , the
메시지 학습모듈(321)은 반려동물 보호자의 채팅 앱을 통한 대화 내용을 기계학습하여, 딥러닝 모델을 생성하고 모델 관리자(324)의 내부 저장소에 저장한다. The
그리고 메시지 학습모듈(321)은 채팅 앱에서 사용되는 반려동물 보호자와 상대방 간의 질의 문답 내용, 대화 내용 및 문장에 포함되는 키워드를 기계학습하여 딥러닝 모델을 갱신함으로써, 딥러닝 모델이 커뮤니케이션 플랫폼(410)의 채팅 기능을 통해 반려동물의 욕구 내지 의사 표시를 구어체 메시지로 표현함에 최적화될 수 있게 한다. 이에 따라 반려동물 보호자와 반려동물의 현실감 있는 채팅이 가능하다.In addition, the
표정 학습모듈(322)은 반려동물의 이미지를 학습하여 반려동물 표정모델(이하 표정모델)을 생성 또는 갱신한다. 표정모델은 반려동물의 표정을 추론하는데 사용된다. The facial
반려동물 보호자는 커뮤니케이션 플랫폼(410)의 갤러리에 반려동물의 이미지나 동영상을 업로드할 수 있다. 업로드한 이미지는 저장부(340)의 이미지 DB(342)에 저장되고, 업로드한 동영상은 저장부(340)의 동영상 DB(343)에 저장된다.The companion animal guardian may upload an image or video of the companion animal to the gallery of the
표정모델을 생성하고자 하는 반려동물 보호자는 표정 분석 인터페이스(412)에서 제공하는 학습 화면을 통해 갤러리에 업로드된 반려동물의 이미지 중 모델 학습용 이미지를 선정한다. 모델 학습용 이미지는 반려동물의 표정이 담긴 이미지가 바람직하다. 반려동물 보호자는 학습용 이미지를 좌우 또는 상하로 넘기면서 반려동물의 이미지 별로 표정을 레이블링(labeling)한다.A companion animal guardian who wants to create a facial expression model selects an image for model learning among companion animal images uploaded to the gallery through a learning screen provided by the facial
이 때 표정 분석 인터페이스(412)는 상기 학습 화면에서 반려동물 보호자가 레이블링할 수 있는 표정을 제시하여 선택하도록 할 수 있다. 예를 들어, 표정 분석 인터페이스(412)는 반려동물의 이미지에 나타난 반려동물의 표정으로서 행복함, 좋음, 신남, 싫음, 토라짐, 짜증남, 슬픔, 궁금함, 당황, 두려움, 걱정, 실망, 간절함, 분노, 피곤함, 졸림, 시무룩함, 불쌍함 등의 표정을 제시하여 반려동물 보호자가 레이블을 선택하도록 할 수 있다. 여기서, 표정 분석 인터페이스(412)는 커뮤니케이션 서버(300)에 저장되어 있는 표정모델을 실행한 결과에 따라 확률이 높은 순서대로 수 개의 표정을 선정하여 제시할 수 있다. At this time, the facial
또한 반려동물 보호자는 표정 레이블을 직접 입력하거나, 반려동물 보호자는 이미지 DB(342)에 저장되어 있고 표정 레이블이 부여되어 있는 반려동물 이미지를 선택하는 방식으로 모델 학습용 이미지를 선정할 수 있다.In addition, the companion animal guardian may directly input a facial expression label, or the companion animal guardian may select an image for model training by selecting a companion animal image stored in the
표정 학습모듈(322)은 레이블이 부여된 반려동물 이미지를 이미지 DB(342)에 전달하고, 이미지 DB(342)는 이를 저장한다.The facial
표정 학습모듈(322)은 모델 학습용으로 선정된 반려동물의 이미지의 학습을 통해 표정모델을 생성/갱신한다. 표정 학습모듈(322)은 견종이나 반려동물 별로 별도의 표정모델을 생성/갱신할 수 있다.The facial
표정 학습모듈(322)은 모델 학습용 이미지를 전처리하여 노이즈를 제거하고, 전처리된 이미지에서 반려동물의 얼굴을 인식한다. 그리고 표정 학습모듈(322)은 딥러닝 기법을 이용하여 반려동물의 얼굴에서 표정을 판단하기 위한 특징을 추출한다. 특징 추출(feature extraction)을 위한 딥러닝 기법으로서 autoencoder, deep autoencoder, CNN 모델 등이 사용될 수 있으나 이에 한정되지 않는다.The facial
표정 학습모듈(322)은 추출된 특징을 사용하여 모델 관리자(324)에 저장되어 있는 모델(예를 들어 SVM, KSVM, DNN 모델) 중 어느 하나의 모델을 학습시켜 표정모델을 생성한다. 또한 표정 학습모듈(322)은 기 생성된 표정모델을 다시 학습시켜 갱신할 수 있다.The facial
반려동물 보호자는 표정 분석 인터페이스(412)의 학습 화면에서 표정모델을 테스트할 수 있다. 이 경우 반려동물 보호자는 갤러리에서 임의의 반려동물 이미지를 선택하여 표정모델을 테스트할 수 있다. 반려동물 보호자는 표정 추론 결과에 대해 만족하지 못할 경우 표정 분석 인터페이스(412) 학습 화면에서 피드백을 할 수 있다. 상기 피드백에 따라 학습용 이미지가 추가적으로 선정되어 다시 학습이 진행되어 표정모델이 갱신되거나, 학습모델이 변경된 후(예를 들어, SVM을 KSVM이나 DNN으로) 다시 학습을 진행되어 다른 표정모델이 생성될 수 있다.The companion animal guardian may test the expression model on the learning screen of the
표정 학습모듈(322)은 표정모델을 모델 관리자(324)에 전달하고, 모델 관리자(324)는 표정모델을 내부 저장소에 저장한다.The facial
상기 표정모델의 학습이나 테스트 과정에서 사용되는 반려동물의 이미지는 이미지 DB(342)에서 대상 견종이나 반려동물에 해당하는 이미지를 추출하여 사용한다.As for the image of the companion animal used in the process of learning or testing the expression model, an image corresponding to the target breed of dog or companion animal is extracted from the
또한 반려동물 보호자가 표정 분석 인터페이스(412)에서 학습과 테스트를 진행하는 과정에서 커뮤니케이션 플랫폼(410)은 통신부(310)에 표정모델 학습/테스트 요청 메시지, 반려동물 이미지를 DB에서 추출하기 위한 필드(견종, 반려동물 식별코드), 추론결과에 대한 피드백 및 선정된 레이블(표정의 명칭)을 전달하며, 통신부(310)는 커뮤니케이션 플랫폼(410)으로 반려동물의 이미지와 표정모델의 추론결과를 전달한다. 또한 통신부(310)는 커뮤니케이션 플랫폼(410)으로부터 표정모델 학습 요청이 있는 경우 표정 학습모듈(322)에 전달하여 학습이 수행되도록 한다.In addition, while the companion animal guardian proceeds with learning and testing in the
본 발명의 다른 실시예로, 설정에 따라(예를 들어, 매일 특정시간에) 메신저 인터페이스(411)에서 챗봇 형식으로 대화형 메시지와 표정에 관한 선택지를 화면에 출력하여 반려동물의 보호자로 하여금 반려동물의 이미지를 확인하고 표정에 관한 선택지 중 하나를 선택함으로써 표정 레이블이 없는 이미지에 표정을 레이블링(labeling)할 수 있다. 상기 선택지에 다른 선택지를 제시하도록 요구하는 선택지나 이번에 선택하지 않고 넘어가는 선택지가 추가될 수 있다.In another embodiment of the present invention, according to the settings (for example, at a specific time every day), the
예를 들어, 메신저 인터페이스(411)의 채팅 창에서 ① 반려동물의 이미지, ② "우리 코코가 어떤 표정을 짓고 있나요?"라는 대화형 메시지 및 ③ "1: 행복, 2: 화남..."이라는 선택지를 출력하고, 반려동물의 보호자가 채팅 창에서 1을 응답하면, 해당 반려동물의 이미지에는 '행복'이 레이블링되어 이미지 DB(342)에 저장된다. 이와 같은 방법으로 표정 레이블이 부여되지 않았던 이미지에 표정을 레이블링할 수 있다.For example, in the chat window of the
커뮤니케이션 서버(300)의 제어부(330)는 이미지 DB(342)에 저장되어 있는 반려동물의 이미지 중 표정 레이블이 없는 이미지를 랜덤으로 또는 일정한 규칙에 따라 선정한다. 제어부(330)는 반려동물의 이미지에 대응되는 반려동물의 이름을 이용하여 메시지를 생성한다. 또한 제어부(330)는 선정된 반려동물의 이미지를 표정 모델에 입력하여 상기 표정 모델을 실행하고, 그 결과로 나타나는 표정별 확률에 따라 소정 개수만큼 추출할 수 있다. 또한 제어부(330)는 내부 저장소에 저장된 표정 목록에서 표정 명칭을 임의 추출하여 선택지를 생성(선정)할 수 있다. 표정 목록은 커뮤니케이션 플랫폼(410)에 기 저장된 것이거나 제어부(330)의 내부 저장소에 저장되어 있는 것일 수 있다.The
제어부(330)는 선정된 반려동물의 이미지, 생성된 메시지와 선택지를 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다.The
커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411)의 채팅 창에서 전달받은 이미지, 메시지, 선택지를 출력한다. 커뮤니케이션 플랫폼(410)은 반려동물 보호자의 선택 결과를 통신부(310)로 전달하며, 제어부(330)는 반려동물 보호자가 선택한 표정을 해당 반려동물 이미지와 매칭시켜 이미지 DB(342)로 전달하고, 이미지 DB(342)는 해당 표정 레이블을 해당 반려동물 이미지와 매칭시켜 저장한다. 만약 반려동물 보호자가 선택한 선택지가 다른 선택지를 제시하도록 요구하는 것이라면, 상기 표정모델 실행 결과 중 선택지로 선정되지 않은 표정을 소정 개수 추출하거나 내부 저장소에 저장된 표정 목록에서 표정 명칭을 임의 추출하여 선택지를 생성하고, 상기 반려동물의 이미지, 메시지와 다시 생성한 선택지를 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달되도록 한다. 그 이후의 과정은 전술한 바와 같다.The
이와 같은 방법으로 반려동물의 표정 레이블을 지속적으로 이미지 DB에 추가할 수 있다.In this way, the expression label of the companion animal can be continuously added to the image DB.
행동 학습모듈(323)은 반려동물의 동영상을 학습하여 반려동물 행동모델(이하 행동모델)을 생성하거나 갱신한다. 행동모델은 반려동물의 동작/상태(이하 행동)를 추론하는데 사용된다. The
행동모델을 생성하고자 하는 반려동물 보호자는 행동 분석 인터페이스(413)에서 제공하는 학습 화면을 통해 갤러리에 업로드된 반려동물의 동영상 중 모델 학습용 동영상을 선정한다. 모델 학습용 동영상은 반려동물의 동작이나 상태가 담긴 동영상이 바람직하다. 반려동물 보호자는 학습용 동영상을 좌우 또는 상하로 넘기고, 필요에 따라 해당 동영상을 재생하면서 반려동물의 동영상 별로 반려동물의 행동을 레이블링(labeling)한다. 이 때 행동 분석 인터페이스(413)는 상기 학습 화면에서 반려동물 보호자가 레이블링할 수 있는 행동을 제시하여 선택하도록 할 수 있다. 예를 들어, 행동 분석 인터페이스(413)는 반려동물의 동영상에 나타난 ① 앉기, 서기, 눕기, 엎드리기, 걷기, 뛰기, 점프, 몸 털기, 꼬리 흔들기, 짖음, 마운팅 등의 동작 또는 ② 배고픔, 경계, 몸이 아픔, 산책 가고 싶음, 관심을 끌고 싶음, 배변 하고 싶음(화장실에 가고 싶음), 흥분, 화남, 발정 등의 상태를 제시하여 반려동물 보호자가 레이블을 선택하도록 할 수 있다. 여기서, 행동 분석 인터페이스(413)는 커뮤니케이션 서버(300)에 저장되어 있는 기존의 행동모델을 실행한 결과에 따라 확률이 높은 순서대로 수 개의 행동을 선정하여 제시할 수 있다.A companion animal guardian who wants to create a behavior model selects a video for model learning among companion animal videos uploaded to the gallery through a learning screen provided by the
또한 반려동물 보호자는 행동 레이블을 직접 입력하거나, 반려동물 보호자는 동영상 DB(343)에 저장되어 있고 행동 레이블이 부여되어 있는 반려동물 동영상을 선택하는 방식으로 모델 학습용 동영상을 선정할 수 있다.In addition, the companion animal guardian may select a video for model learning by directly inputting a behavior label or by selecting a companion animal video stored in the
행동 학습모듈(323)은 레이블이 부여된 반려동물 동영상을 동영상 DB(343)에 전달하고, 동영상 DB(343)는 이를 저장한다.The
행동 학습모듈(323)은 모델 학습용으로 선정된 반려동물의 동영상의 학습을 통해 행동모델을 생성/갱신한다. 행동 학습모듈(323)은 견종이나 반려동물 별로 별도의 행동모델을 생성/갱신할 수 있다.The
행동 학습모듈(323)은 모델 학습용 동영상을 전처리한다. 상기 전처리 과정에서 노이즈 제거 또는 이미지/음성 추출이 수행될 수 있다. 행동 학습모듈(323)은 전처리된 이미지(정적 데이터)나 동영상(동적 데이터)에서 객체(반려동물)을 탐지한다. 객체 탐지에는 YOLO(You Only Look Once), R-CNN(Region-based CNN) 모델이 사용될 수 있으나 이에 한정되지 않는다. 그리고 행동 학습모듈(323)은 반려동물의 행동을 판단하기 위한 특징을 지정하거나 추출한다. 특징을 지정하는 방법(hand-crafted feature)으로서 Dense Trajectories나 HOG(Histogram of Oriented Gradients)가 이용될 수 있다. 또한 특징 추출(feature extraction)을 위해 딥러닝 기법으로서 RNN(Recurrent Neural Network) 모델이나 CNN 모델이 사용될 수 있다. 그러나 특징 지정이나 추출을 위한 기법은 상기 내용에 한정되지 않는다.The
행동 학습모듈(323)은 추출된 특징을 사용하여 모델 관리자(324)에 저장되어 있는 모델(예를 들어, SVM이나 AdaBoost) 중 어느 하나의 모델을 학습시켜 행동모델을 생성한다. 또한 행동 학습모듈(323)은 기 생성된 행동모델을 다시 학습시켜 갱신할 수 있다.The
반려동물 보호자는 행동 분석 인터페이스(413)의 학습 화면에서 행동모델을 테스트할 수 있다. 이 경우 반려동물 보호자는 갤러리에서 임의의 반려동물 동영상을 선택하여 행동모델을 테스트할 수 있다. 반려동물 보호자는 행동 추론 결과에 대해 만족하지 못할 경우 행동 분석 인터페이스(413) 학습 화면에서 피드백을 할 수 있다. 상기 피드백에 따라 학습용 동영상이 추가적으로 선정되어 다시 학습이 진행되어 행동모델이 갱신되거나, 학습모델이 변경되어(예를 들어, SVM을 SVM과 AdaBoost의 앙상블로 변경) 다시 학습을 진행되어 다른 행동모델이 생성될 수 있다.The companion animal guardian can test the behavior model on the learning screen of the
행동 학습모듈(323)은 행동모델을 모델 관리자(324)에 전달하고, 모델 관리자(324)는 행동모델을 내부 저장소에 저장한다.The
상기 행동모델의 학습이나 테스트 과정에서 사용되는 반려동물의 동영상은 동영상 DB(343)에서 대상 견종이나 반려동물에 해당하는 동영상을 추출하여 사용한다. As for the video of the companion animal used in the course of learning or testing the behavior model, a video corresponding to the target dog species or companion animal is extracted from the
또한 반려동물 보호자가 행동 분석 인터페이스(413)에서 학습과 테스트를 진행하는 과정에서 커뮤니케이션 플랫폼(410)은 통신부(310)에 행동모델 학습/테스트 요청 메시지, 반려동물 동영상을 DB에서 추출하기 위한 필드(견종, 반려동물 식별코드), 추론결과에 대한 피드백 및 선정된 레이블(행동의 명칭)을 전달하며, 통신부(310)는 커뮤니케이션 플랫폼(410)으로 반려동물의 동영상과 행동모델의 추론결과를 전달한다. 또한 통신부(310)는 커뮤니케이션 플랫폼(410)으로부터 행동모델 학습 요청이 있는 경우 행동 학습모듈(323)에 전달하여 학습이 수행되도록 한다.In addition, while the companion animal guardian proceeds with learning and testing in the
모델 관리자(324)는 표정 학습모듈(322)의 표정 학습이나 행동 학습모듈(323)의 행동 학습의 대상이 되는 학습 전 모델(예를 들면 SVM)을 내부 저장소에 저장한다. 또한 모델 관리자(324)는 모델 학습 과정에서 필요한, 객체 탐지 모델 또는 특징 추출에 사용되는 딥러닝 모델(예를 들면 CNN)을 내부 저장소에 저장한다. 또한 모델 관리자(324)는 표정 학습모듈(322)이 생성하거나 갱신한 표정모델과 행동 학습모듈(323)이 생성하거나 갱신한 행동모델을 내부 저장소에 저장한다. 또한 모델 관리자(324)는 표정 분석 인터페이스(412)나 행동 분석 인터페이스(413)에서 진행되는 테스트나 표정 분석, 행동 분석의 진행에 따라 표정모델이나 행동모델을 실행하여 추론 결과를 얻는다. The
모델 관리자(324)는 상기 추론 결과가 통신부(310)를 통해 커뮤니케이션 플랫폼(410)으로 전달되도록 한다. 또한 모델 관리자(324)는 상기 추론 결과를 제어부(330)로 전달하여 제어부(330)가 표정 분석이나 행동 분석의 선택지를 생성할 때 추론 결과를 사용할 수 있도록 할 수 있다. The
도 4는 본 발명의 일 실시예에 따른 커뮤니케이션 서버의 저장부 구성을 나타낸 블록도이다. 4 is a block diagram showing the configuration of a storage unit of a communication server according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 본 발명의 일 실시예에 따른, 커뮤니케이션 서버의 저장부(340)는 메시지 DB(341), 이미지 DB(342), 동영상 DB(343)를 포함한다. 그리고 저장부(340)는 이모티콘 DB(344)를 더 포함할 수 있다.As shown in FIG. 4 , the
메시지 DB(341)는 메신저 인터페이스(411)에서 제공하는 채팅 화면에 표시될 수 있는 메시지를 저장한다. 메시지 DB(341)에 저장되는 각 메시지에는 키워드가 부여된다. 제어부(330)에서 상황에 맞는 메시지를 추출하고자 할 때 상황에 따라 매핑된 키워드를 메시지 DB(341)에서 추출한 후 채팅 화면에 표시될 메시지를 선정한다. The
이미지 DB(342)는 반려동물 보호자가 커뮤니케이션 플랫폼(410)의 갤러리에 업로드한 반려동물의 이미지를 저장한다. 또한 이미지 DB(342)는 메신저 인터페이스(411)에서 제공하는 채팅 화면에 표시될 수 있는 반려동물의 이미지를 저장한다. 이미지 DB(342)에 저장되는 반려동물의 이미지에는 표정 레이블이 부여될 수 있다. 상기 레이블은 모델 관리자(324)의 표정모델 실행 결과로 인해 생성된 것이거나, 반려동물 보호자가 직접 입력한 것일 수 있다. The
동영상 DB(343)는 메신저 인터페이스(411)에 표시될 수 있는 반려동물의 동영상을 저장한다. 또한 동영상 DB(343)는 반려동물 보호자가 커뮤니케이션 플랫폼(410)의 갤러리에 업로드한 반려동물의 동영상을 저장한다. 동영상 DB(343)에 저장되는 반려동물의 이미지에는 행동 레이블이 부여될 수 있다. 상기 레이블은 모델 관리자(324)의 행동모델 실행 결과로 인해 생성된 것이거나, 반려동물 보호자가 직접 입력한 것일 수 있다. The
이모티콘 DB(344)는 이모티콘 생성부(350)가 생성한 이모티콘을 저장한다. 상기 이모티콘은 반려동물의 이미지를 기초로 생성된 이모티콘이다. 상기 이모티콘은 메신저 인터페이스(411)의 채팅 화면, 반려동물 보호자 단말기(400)에 설치된 채팅 앱, SNS에서 사용될 수 있다. 또한, 반려동물 보호자는 상기 이모티콘을 자신이 사용할 수 있음은 물론, 외부의 이모티콘 구매 플랫폼에 등록시켜 판매할 수 있을 것이다. The
도 5는 본 발명의 일 실시예에 따른, 반려동물 보호자 단말기에 설치된 커뮤니케이션 플랫폼의 구성을 나타낸 블록도이다. 5 is a block diagram showing the configuration of a communication platform installed in a companion animal guardian terminal according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼(410)은 메신저 인터페이스(411), 표정 분석 인터페이스(412), 행동 분석 인터페이스(413)를 포함한다. 또한 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼(410)은 이모티콘 인터페이스(414)를 더 포함할 수 있다. As shown in FIG. 5 , the
또한 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼(410)은 반려동물 전용 SNS 인터페이스를 더 포함할 수 있다.In addition, the
또한 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼(410)은 주변기기 관리 인터페이스 및 반려동물 관리 인터페이스를 더 포함할 수 있다.In addition, the
커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 메시지, 이미지 또는 동영상을 메신저 인터페이스(411)를 통해 표시한다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 반려동물의 이미지와 반려동물 표정분석용 데이터(표정의 명칭)를 표정 분석 인터페이스(412)를 통해 표시한다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 반려동물의 동영상과 반려동물 행동분석용 데이터(행동의 명칭)를 행동 분석 인터페이스(413)를 통해 표시한다. 또한, 커뮤니케이션 플랫폼(410)은 통신부(310)에서 전달받은 이모티콘을 이모티콘 인터페이스(414)를 통해 표시한다. The
커뮤니케이션 플랫폼(410)은 반려동물 보호자는 물론이고 임의의 타인 또는 접근을 허가받은 타인이 네트워크에 접속하여 표정 분석 인터페이스(412)와 행동 분석 인터페이스(413)가 제공하는 표정 분석 또는 행동 분석 서비스를 이용할 수 있도록 한다. In the
메신저 인터페이스(411)는 반려동물의 보호자가 반려동물 간 채팅하는 것과 같은 환경(이하 반려동물 채팅 창)을 제공한다. 메신저 인터페이스(411)는 채팅 기능을 이용하여 대화하는 것처럼 반려동물의 욕구를 전달한다. 즉, 메신저 인터페이스(411)는 반려동물을 의인화한 채팅 형식의 커뮤니케이션 방법을 제공한다. 상기 반려동물의 욕구는 반려동물 입력신호를 기초로 하여 판단할 수 있다. 커뮤니케이션 서버(300)의 제어부(330)는 특정 이벤트가 발생하면 상황을 판단하여 메신저 인터페이스(411)에 출력될 메시지를 선정하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 상기 메시지가 전달되도록 한다. 또한 제어부(330)는 메시지와 함께 반려동물의 이미지가 전달되도록 할 수 있다. 커뮤니케이션 플랫폼(410)은 통신부(310)로부터 메시지 등을 전달받으면 반려동물의 메시지(대화형 메시지)인 것처럼 반려동물 채팅 창에 출력한다. The
또한, 메신저 인터페이스(411)는 반려동물 보호자 단말기(400)의 위치정보, 날씨, 교통혼잡도, 현재시간, 뉴스 등의 정보를 활용하여 반려동물과 관련된 상품/서비스, 반려동물 보호자의 맞춤형 상품/서비스에 대한 광고 메시지를 대화형 문장으로 기록한 메시지를 표시하는 기능을 제공할 수 있다.In addition, the
대화형 메시지의 일 예로, ① 현재 위치, 시간 등에 따라 일정 시간내 반려동물 보호자가 집에 도착하지 않을 경우, 반려동물 보호자 단말기(400)로 "형 오늘 조금 늦어? 그러면 밥 먼저 먹고 있을까?" 와 같은 대화형 메시지를 표시할 수 있다. 또한, ② 반려동물 보호자가 버스정류장, 지하철에 도착하거나, 이동하고 있는 경우 "형 버스 잘탔어?, 지하철 잘 탔어?, 오늘은 회사말고 출장가??" 와 같은 대화형 메시지를 표시할 수 있다. 또한, ③ 반려동물 보호자의 직장이 위치한 곳에 일기예보상에 비가 내릴 가능성이 있거나, 황사 등으로 인하여 주인에게 "형 출근잘했어? 오늘 오후부터 비가온다네 ㅠㅜ 내가 챙겨줘야 했는데" 등의 대화형 메시지를 표시할 수 있다. 또한, ④ 대화형 메시지가 광고 형태일 경우 "형 오늘 넷플릭스에서 000가 새로 방영한대 이따 퇴근길에 봐 ㅎㅎ", "누나 오늘 SBS에서 신작 000가 9시부터 첫방송 시작한대 나랑같이보자~ㅎㅎ", "형 여기 우리집 근처에 애견카페 생겼대 나랑같이 가자!!" 등의 대화형 광고메시지를 제공할 수 있다.As an example of an interactive message, ① If the companion animal guardian does not arrive home within a certain time according to the current location, time, etc., the companion
한편, 메신저 인터페이스(411)는 상기 대화형 메시지와 함께 커뮤니케이션 서버(300)에서 전달받은 반려동물의 표정이 담긴 이미지(이하 반려동물 표정 이미지)나 반려동물의 동영상을 채팅 창에 출력할 수 있다. 예를 들어, 반려동물 표정 이미지 중 ①의 경우 '간절함'에 해당하는 이미지, ②의 경우 '궁금함'에 해당하는 이미지, ③의 경우 '걱정'에 해당하는 이미지, ④의 경우 '신남'에 해당하는 이미지를 출력할 수 있다. 이러한 이미지는 커뮤니케이션 서버(300)에 있는 제어부(330)가 상황 판단에 따른 키워드에 매핑되는 표정에 해당하는 반려동물 이미지를 이미지 DB(342)에서 추출한 후 선정할 수 있고, 커뮤니케이션 플랫폼(410)에서 선정할 수도 있다.Meanwhile, the
표정 분석 인터페이스(412)는 반려동물의 이미지와 소정 개수의 선택지를 표시한 화면을 제공한다. 예를 들어, 표정 분석 인터페이스(412)는 반려동물의 이미지에 담긴 반려동물의 표정이 무엇인지 물어보는, 객관식 퀴즈 형태의 화면을 제공할 수 있다. 상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭으로 하는 것이 바람직하다. 표정 분석 인터페이스(412)의 사용자가 상기 선택지 중 하나를 선택하면, 표정 분석 인터페이스(412)는 상기 이미지에 부여되어 있는 표정 레이블과 사용자가 선택한 선택지의 일치 여부를 표시한다. 표정 분석 인터페이스(412)의 사용자는 반려동물의 보호자는 물론이고 접근 권한이 있는 타인이 될 수 있다. The facial
본 발명의 일 실시예에서, 반려동물 보호자의 반려동물이 복수일 경우, 표정 분석 인터페이스(412)는 사용자가 복수의 반려동물 중 어느 반려동물을 대상으로 표정 분석을 할 것인지 선택하도록 할 수 있다. 만약 커뮤니케이션 플랫폼(410)의 반려동물 전용 SNS 인터페이스가 제공하는 특정 반려동물의 SNS 계정을 통해 표정 분석 서비스를 이용하는 경우 해당 반려동물을 대상으로 표정 분석 화면을 제공한다.In one embodiment of the present invention, if the companion animal guardian has a plurality of companion animals, the facial
표정 분석 대상 반려동물이 정해진 경우, 표정 분석 인터페이스(412)는 해당 반려동물에 관한 이미지를 랜덤으로 선정하거나, 사용자가 지정한 해당 반려동물 이미지를 기준으로 표정 분석을 진행한다. 표정 분석 인터페이스(412)는 사용자가 표정 분석을 위해 이미지를 지정할 수 있도록 해당 반려동물 이미지의 썸네일(thumbnail)을 화면에 표시할 수 있다.When a companion animal to be analyzed for expression is determined, the
표정 분석 대상 이미지가 정해진 경우, 표정 분석 인터페이스(412)는 해당 이미지와 소정 개수의 선택지를 화면에 표시한다. 상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭으로 하는 것이 바람직하다. 복수의 선택지에 표시할 표정의 명칭들은 상기 이미지에 부여된 표정 레이블과 함께 커뮤니케이션 서버(300)에 있는 표정모델이 표정 분석 대상의 이미지로 표정을 추론한 결과를 기초로 정할 수 있다. 또한 복수의 선택지에 표시할 표정의 명칭들은 상기 추론 결과와 표정 목록에서 랜덤으로 추출한 표정 명칭을 혼합하여 구성할 수 있다. 상기 표정 목록은 커뮤니케이션 플랫폼(410)에 기 저장된 것이거나 제어부(330)의 내부 저장소에 저장되어 있는 것일 수 있다.When the target image for expression analysis is determined, the
예를 들어 표정 분석 인터페이스(412)가 제시할 표정 선택지가 4개로 설정이 되어 있고, 표정 분석 대상의 이미지에 부여되어 있는 표정 레이블이 '당황'이고, 상기 이미지로 해당 반려동물의 표정모델이 추론한 결과가 '당황(60%)', '두려움(30%)', '걱정(8%)', '궁금함(2%)'으로 나타난 경우, 제어부(330)는 '당황', '두려움', '걱정'의 3개 선택지에 랜덤으로 추출한 표정인 '행복함'을 추가하여 4개의 선택지를 구성하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)으로 전달되도록 할 수 있다.For example, the facial expression options to be presented by the facial
표정 분석 인터페이스(412)의 사용자가 화면에 제시된 선택지 중 하나의 표정을 선택한 경우, 표정 분석 인터페이스(412)는 사용자가 선택한 표정과 표정 분석 대상의 이미지에 부여되어 있는 표정 레이블의 일치 여부를 화면에 표시할 수 있다. 또한 표정 분석 대상의 이미지에 표정 레이블이 부여되어 있지 않은 경우, 표정 분석 인터페이스(412)는 사용자가 선택한 표정과 표정 모델의 추론 결과 중 가장 높은 확률을 가지는 표정의 일치 여부를 화면에 표시할 수 있다.When the user of the facial
예를 들어, 표정 분석 대상의 이미지에 부여되어 있는 표정 레이블이 '당황'이고, 선택지로 '당황', '두려움', '걱정', '행복함'이 표정 분석 인터페이스(412) 화면에 제시되었고, 사용자가 선택지 중 '두려움'을 선택한 경우, 표정 분석 인터페이스(412)는 사용자가 선택한 표정이 상기 표정 레이블과 일치하지 않음을 화면에 표시할 수 있다.For example, the facial expression label assigned to the image of the facial expression analysis target is 'embarrassed', and 'embarrassed', 'fear', 'worry', and 'happy' are presented on the screen of the facial
한편, 표정 분석 인터페이스(412)의 사용자가 반려동물 보호자이고, 반려동물 보호자가 표정 분석 화면에서 선택한 표정이 표정 모델의 추론 결과와 일치하지 않는 경우, 이를 피드백으로 삼아 커뮤니케이션 플랫폼(410)이 불일치 내용을 통신부(310)로 전달하여, 표정 학습모듈(322)이 표정모델을 다시 학습하도록 할 수 있다.Meanwhile, if the user of the facial
본 발명의 다른 실시예에서, 표정 분석 인터페이스(412)는, 반려동물 보호자가 지정한 반려동물의 특정 이미지에 대해 표정 분석 인터페이스(412)에 접속한 타인들의 표정 선택 결과를 집계하여 화면에 출력할 수 있다. 예를 들어 반려동물 보호자가 지정한 반려동물 이미지의 표정 레이블이 '당황'이고, 일정 기간 동안 10명이 표정 분석 인터페이스(412)에 접속하여 6명이 '당황', 3명이 '두려움', 1명이 '행복함'을 선택한 경우, 표정 분석 인터페이스(412)는 텍스트 형태나 파이 차트(pie chart)나 히스토그램 등의 그래프 형태로 타인의 표정 분석 집계 결과를 표시할 수 있다. 상기 집계 결과는 맞은 수(비율)와 틀린 수(비율)를 비교하는 형태일 수도 있고, 표정별 선택 개수나 비율을 나타내는 형태일 수도 있다.In another embodiment of the present invention, the facial
한편, 표정 분석 인터페이스(412)는 표정모델을 생성하거나 갱신할 수 있는 화면을 제공한다. 표정모델을 생성/갱신하고자 하는 반려동물 보호자는 표정 분석 인터페이스(412)에서 제공하는 학습 화면을 통해 갤러리에 업로드된 반려동물의 이미지 중 모델 학습용 이미지를 선정한다. 모델 학습용 이미지는 반려동물의 표정이 담긴 이미지가 바람직하다. 반려동물 보호자는 학습용 이미지를 좌우 또는 상하로 넘기면서 반려동물의 이미지 별로 표정을 레이블링(labeling)한다.Meanwhile, the facial
이 때 표정 분석 인터페이스(412)는 상기 학습 화면에서 반려동물 보호자가 레이블링할 수 있는 표정을 제시하여 선택하도록 할 수 있다. 예를 들어, 표정 분석 인터페이스(412)는 반려동물의 이미지에 나타난 반려동물의 표정으로서 행복함, 좋음, 신남, 싫음, 토라짐, 짜증남, 슬픔, 궁금함, 당황, 두려움, 걱정, 실망, 간절함, 분노, 피곤함, 졸림, 시무룩함, 불쌍함 등의 표정을 제시하여 반려동물 보호자가 레이블을 선택하도록 할 수 있다. 여기서, 표정 분석 인터페이스(412)는 커뮤니케이션 서버(300)에 저장되어 있는 기존의 표정모델을 실행한 결과에 따라 확률이 높은 순서대로 수 개의 표정을 선정하여 제시할 수 있다.At this time, the facial
또한 반려동물 보호자는 표정 레이블을 직접 입력하거나, 반려동물 보호자는 이미지 DB(342)에 저장되어 있고 표정 레이블이 부여되어 있는 반려동물 이미지를 선택하는 방식으로 모델 학습용 이미지를 선정할 수 있다.In addition, the companion animal guardian may directly input a facial expression label, or the companion animal guardian may select an image for model training by selecting a companion animal image stored in the
표정 학습모듈(322)은 레이블이 부여된 반려동물 이미지를 이미지 DB(342)에 전달하고, 이미지 DB(342)는 이를 저장한다.The facial
표정 학습모듈(322)은 모델 학습용으로 선정된 반려동물의 이미지의 학습을 통해 표정모델을 생성/갱신한다. 표정 학습모듈(322)은 견종이나 반려동물 별로 별도의 표정모델을 생성/갱신할 수 있다.The facial
행동 분석 인터페이스(413)는 반려동물의 동영상과 소정 개수의 선택지를 표시한 화면을 제공한다. 예를 들어, 행동 분석 인터페이스(413)는 반려동물의 동영상에 담긴 반려동물의 행동이 무엇인지 물어보는, 객관식 퀴즈 형태의 화면을 제공할 수 있다. 상기 선택지는 상기 동영상에 있는 반려동물이 가질 수 있는 행동의 명칭으로 하는 것이 바람직하다. 행동 분석 인터페이스(413)의 사용자가 상기 선택지 중 하나를 선택하면, 행동 분석 인터페이스(413)는 상기 동영상에 부여되어 있는 행동 레이블과 사용자가 선택한 선택지의 일치 여부를 표시한다. 행동 분석 인터페이스(413)의 사용자는 반려동물의 보호자는 물론이고 접근 권한이 있는 타인이 될 수 있다. The
본 발명의 일 실시예에서, 반려동물 보호자의 반려동물이 복수일 경우, 행동 분석 인터페이스(413)는 사용자가 복수의 반려동물 중 어느 반려동물을 대상으로 행동 분석을 할 것인지 선택하도록 할 수 있다. 만약 커뮤니케이션 플랫폼(410)의 반려동물 전용 SNS 인터페이스가 제공하는 특정 반려동물의 SNS 계정을 통해 행동 분석 서비스를 이용하는 경우 해당 반려동물을 대상으로 행동 분석 화면을 제공한다.In one embodiment of the present invention, when a companion animal guardian has a plurality of companion animals, the
행동 분석 대상 반려동물이 정해진 경우, 행동 분석 인터페이스(413)는 해당 반려동물에 관한 동영상을 랜덤으로 선정하거나, 사용자가 지정한 해당 반려동물 동영상을 기준으로 행동 분석을 진행한다. 행동 분석 인터페이스(413)는 사용자가 행동 분석을 위해 동영상을 지정할 수 있도록 해당 반려동물 동영상의 썸네일(thumbnail)을 화면에 표시할 수 있다.When a companion animal to be analyzed for behavior is determined, the
행동 분석 대상 동영상이 정해진 경우, 행동 분석 인터페이스(413)는 해당 동영상과 소정 개수의 선택지를 화면에 표시한다. 상기 선택지는 상기 동영상에 있는 반려동물이 가질 수 있는 행동의 명칭으로 하는 것이 바람직하다. 복수의 선택지에 표시할 행동의 명칭들은 상기 동영상에 부여된 행동 레이블과 함께 커뮤니케이션 서버(300)에 있는 행동모델이 행동 분석 대상의 동영상으로 행동을 추론한 결과를 기초로 정할 수 있다. 또한 복수의 선택지에 표시할 행동의 명칭들은 상기 추론 결과와 행동 목록에서 랜덤으로 추출한 행동 명칭을 혼합하여 구성할 수 있다. 상기 행동 목록은 커뮤니케이션 플랫폼(410)에 기 저장된 것이거나 제어부(330)의 내부 저장소에 저장되어 있는 것일 수 있다.When a behavioral analysis target video is determined, the
예를 들어 행동 분석 인터페이스(413)가 제시할 행동 선택지가 4개로 설정이 되어 있고, 행동 분석 대상의 동영상에 부여되어 있는 행동 레이블이 '산책 가고 싶음'이고, 상기 동영상으로 해당 반려동물의 행동모델이 추론한 결과가 '산책 가고 싶음(50%)', '관심을 끌고 싶음(30%)', '배고픔(15%)', '화남(2%)'으로 나타난 경우, 제어부(330)는 '산책 가고 싶음', '관심을 끌고 싶음', '배고픔'의 3개 선택지에 랜덤으로 추출한 행동인 '화장실에 가고 싶음'을 추가하여 4개의 선택지를 구성하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)으로 전달되도록 할 수 있다.For example, four behavioral options to be presented by the
행동 분석 인터페이스(413)의 사용자가 화면에 제시된 선택지 중 하나의 행동을 선택한 경우, 행동 분석 인터페이스(413)는 사용자가 선택한 행동과 행동 분석 대상의 동영상에 부여되어 있는 행동 레이블의 일치 여부를 화면에 표시할 수 있다. 또한 행동 분석 대상의 동영상에 행동 레이블이 부여되어 있지 않은 경우, 행동 분석 인터페이스(413)는 사용자가 선택한 행동과 행동 모델의 추론 결과 중 가장 높은 확률을 가지는 행동의 일치 여부를 화면에 표시할 수 있다.When the user of the
예를 들어, 행동 분석 대상의 동영상에 부여되어 있는 행동 레이블이 '산책 가고 싶음'이고, 선택지로 '산책 가고 싶음', '관심을 끌고 싶음', '배고픔', '화장실에 가고 싶음'이 행동 분석 인터페이스(413) 화면에 제시되었고, 사용자가 선택지 중 '관심을 끌고 싶음'을 선택한 경우, 행동 분석 인터페이스(413)는 사용자가 선택한 행동이 상기 행동 레이블과 일치하지 않음을 화면에 표시할 수 있다.For example, the behavioral label given to the video subject to behavioral analysis is 'I want to go for a walk', and 'I want to go for a walk', 'I want to draw attention', 'I want to go to the bathroom' as an option are actions If it is presented on the screen of the
한편, 행동 분석 인터페이스(413)의 사용자가 반려동물 보호자이고, 반려동물 보호자가 행동 분석 화면에서 선택한 행동이 행동 모델의 추론 결과와 일치하지 않는 경우, 이를 피드백으로 삼아 커뮤니케이션 플랫폼(410)이 불일치 내용을 통신부(310)로 전달하여, 행동 학습모듈(323)이 행동모델을 다시 학습하도록 할 수 있다.On the other hand, if the user of the
본 발명의 다른 실시예에서, 행동 분석 인터페이스(413)는, 반려동물 보호자가 지정한 반려동물의 특정 동영상에 대해 행동 분석 인터페이스(413)에 접속한 타인들의 행동 선택 결과를 집계하여 화면에 출력할 수 있다. 예를 들어 반려동물 보호자가 지정한 반려동물 동영상의 행동 레이블이 '산책 가고 싶음'이고, 일정 기간 동안 10명이 행동 분석 인터페이스(413)에 접속하여 4명이 '산책 가고 싶음', 3명이 '화장실에 가고 싶음', 3명이 '관심을 끌고 싶음'을 선택한 경우, 행동 분석 인터페이스(413)는 텍스트 형태나 파이 차트(pie chart)나 히스토그램 등의 그래프 형태로 타인의 행동 분석 집계 결과를 표시할 수 있다. 상기 집계 결과는 맞은 수(비율)와 틀린 수(비율)를 비교하는 형태일 수도 있고, 행동별 선택 개수나 비율을 나타내는 형태일 수도 있다.In another embodiment of the present invention, the
한편, 행동 분석 인터페이스(413)는 행동모델을 생성하거나 갱신할 수 있는 화면을 제공한다. 행동모델을 생성/갱신하고자 하는 반려동물 보호자는 행동 분석 인터페이스(413)에서 제공하는 학습 화면을 통해 갤러리에 업로드된 반려동물의 동영상 중 모델 학습용 동영상을 선정한다. 모델 학습용 동영상은 반려동물의 행동이 담긴 동영상이 바람직하다. 반려동물 보호자는 학습용 동영상을 좌우 또는 상하로 넘기고, 필요에 따라 해당 동영상을 재생하면서 반려동물의 동영상 별로 행동을 레이블링(labeling)한다.Meanwhile, the
이 때 행동 분석 인터페이스(413)는 상기 학습 화면에서 반려동물 보호자가 레이블링할 수 있는 행동을 제시하여 선택하도록 할 수 있다. 예를 들어, 행동 분석 인터페이스(413)는 반려동물의 동영상에 나타난 ① 앉기, 서기, 눕기, 엎드리기, 걷기, 뛰기, 점프, 몸 털기, 꼬리 흔들기, 짖음, 마운팅 등의 동작 또는 ② 배고픔, 경계, 몸이 아픔, 산책 가고 싶음, 관심을 끌고 싶음, 배변 하고 싶음(화장실에 가고 싶음), 흥분, 화남, 발정 등의 상태를 제시하여 반려동물 보호자가 레이블을 선택하도록 할 수 있다. 여기서, 행동 분석 인터페이스(413)는 커뮤니케이션 서버(300)에 저장되어 있는 기존의 행동모델을 실행한 결과에 따라 확률이 높은 순서대로 수 개의 행동을 선정하여 제시할 수 있다.At this time, the
또한 반려동물 보호자는 행동 레이블을 직접 입력하거나, 반려동물 보호자는 동영상 DB(343)에 저장되어 있고 행동 레이블이 부여되어 있는 반려동물 동영상을 선택하는 방식으로 모델 학습용 동영상을 선정할 수 있다.In addition, the companion animal guardian may select a video for model learning by directly inputting a behavior label or by selecting a companion animal video stored in the
행동 학습모듈(323)은 레이블이 부여된 반려동물 동영상을 동영상 DB(343)에 전달하고, 동영상 DB(343)는 이를 저장한다.The
행동 학습모듈(323)은 모델 학습용으로 선정된 반려동물의 동영상의 학습을 통해 행동모델을 생성/갱신한다. 행동 학습모듈(323)은 견종이나 반려동물 별로 별도의 행동모델을 생성/갱신할 수 있다.The
이모티콘 인터페이스(414)는 커뮤니케이션 플랫폼(410)의 갤러리에 저장된 반려동물의 이미지를 이용하여 이모티콘을 생성할 수 있는 화면(이하 '이모티콘 생성 화면')을 제공한다. 또한 이모티콘 인터페이스(414)는 반려동물 보호자 단말기(400)의 채팅 앱이나 인터넷 화면, SNS 화면에서 상기 생성한 이모티콘을 사용할 수 있는 화면을 제공한다. The
또한 이모티콘 인터페이스(414)는 외부의 이모티콘 구매 플랫폼과 연동되어 생성한 이모티콘을 상기 이모티콘 구매 플랫폼에 업로드할 수 있도록 지원하는 화면을 제공할 수 있다. 이와 같은 방법으로 반려동물 보호자는 자신의 반려동물의 이미지를 변환한 이모티콘을 판매하여 수익을 창출할 수 있다. In addition, the
이모티콘 인터페이스(414)의 이모티콘 생성 화면에서 반려동물 보호자가 반려동물의 이미지를 갤러리에서 선택하면, 이모티콘 생성부(350)는 반려동물의 이미지를 축소하거나, 특정 영역을 추출하여 채팅 화면이나 SNS 화면에서 사용되기에 적합한 소정의 크기가 되도록 이모티콘을 생성할 수 있다. 이모티콘 생성부(350)은 이미지 DB(342)에서 추출한 반려동물의 이미지에 표정 레이블이 부여되어 있는 경우 이 레이블을 이모티콘의 태그로 하여 이모티콘과 함께 이모티콘 DB(344)에 전달한다. 이모티콘 DB(344)는 이모티콘의 태그와 이모티콘을 매칭하여 함께 저장한다. 반려동물의 보호자는 이모티콘 인터페이스(414)를 통해, 이모티콘 생성 과정에서 직접 이모티콘에 태그를 부여할 수 있고, 이모티콘 DB(344)에 저장된 이모티콘에 부여된 태그를 수정할 수도 있다.When a companion animal guardian selects an image of a companion animal from the gallery on the emoticon creation screen of the
커뮤니케이션 플랫폼(410)의 반려동물 전용 SNS 인터페이스는 개별 반려동물에 관한 SNS 계정(이하 '반려동물 SNS 계정')을 개설할 수 있는 환경을 제공한다. 상기 반려동물 전용 SNS 인터페이스는 반려동물 SNS 계정에 반려동물 보호자가 해당 반려동물에 관한 글(예를 들어 '게시판')이나 해당 반려동물의 이미지 또는 동영상을 게시할 수 있는 인터페이스(예를 들어 '갤러리')를 제공한다. 반려동물 전용 SNS 인터페이스는 반려동물의 보호자에게 자신의 반려동물 SNS 계정에 게시된 글이나 이미지 또는 동영상을 수정하거나 삭제할 수 있는 권한을 부여한다. 또한 반려동물 전용 SNS 인터페이스는 임의의 또는 접근이 허용된 타인이 상기 SNS 계정을 방문하여 반려동물에 관한 글에 댓글을 달거나, 반려동물의 이미지 또는 동영상에 평가, 추천, 댓글을 남길 수 있는 환경을 제공한다. 또한 반려동물 보호자는 반려동물 전용 SNS 인터페이스를 통해 자신이 개설한 다른 SNS 계정(예를 들어 인스타그램, 페이스북), 자신의 블로그나 유튜브 계정으로 연결되는 링크를 제공할 수 있다. 또한 반려동물 전용 SNS 인터페이스는, 반려동물 SNS 계정을 방문한 타인이 표정 분석 인터페이스(412)나 행동 분석 인터페이스(413)에서 제공하는 서비스에 접근할 수 있는 버튼이나 링크를 제공할 수 있다. The companion animal SNS interface of the
커뮤니케이션 플랫폼(410)의 주변기기 관리 인터페이스는 반려동물용 입력장치(100), 착용형 생체측정모듈, 신호 중개장치(200), 상기 신호 중개장치(200)와 홈 네트워크로 연동하여 제어되는 주변기기(에어컨, 선풍기, 스마트 TV 등) 중 적어도 어느 하나를 등록하기 위한 인터페이스이다. The peripheral device management interface of the
또한, 상기 주변기기 관리 인터페이스는 지정한 주변기기 동작설정정보를 기초로 반려동물용 입력장치(100)에서 전송된 입력신호로 동작 가능한 주변기기들을 설정, 수정 및 추가하는 기능을 지원한다.In addition, the peripheral device management interface supports a function of setting, modifying, and adding peripheral devices operable with an input signal transmitted from the companion
또한, 상기 주변기기 관리 인터페이스는 등록한 주변기기들의 동작횟수를 제한 설정하는 기능을 지원할 수 있다.In addition, the peripheral device management interface may support a function of limiting the number of operations of registered peripheral devices.
상술한 동작횟수 제한설정 기능은 후술하는 반려동물 관리 인터페이스의 피드백 정보 제공 기능과 연동될 수 있다. 이에 대한 보다 상세한 설명은 반려동물 관리 인터페이스의 기능설명에서 보다 상세하게 설명하도록 한다.The above-described function of setting a limit on the number of operations may be interlocked with a function of providing feedback information of a companion animal management interface to be described later. A more detailed description of this will be described in more detail in the functional description of the companion animal management interface.
상기 주변기기 관리 인터페이스는 반려동물용 입력장치(100)의 입력신호에 따라 신호 중개장치(200)에서 제어하는 주변기기들의 동작결과를 모니터링하여 표시하는 기능을 지원한다.The peripheral device management interface supports a function of monitoring and displaying operation results of peripheral devices controlled by the
커뮤니케이션 플랫폼(410)의 반려동물 관리 인터페이스는 반려동물용 입력장치(100)에서 발생하는 반려동물 입력신호를 모니터링하여 반려동물용 입력장치(100)의 특정 버튼의 입력횟수 및 입력패턴을 표시하는 기능을 지원한다. The companion animal management interface of the
상기 반려동물 관리 인터페이스는 반려동물의 행동에 대한 피드백 정보를 설정 및 변경하는 기능을 지원한다. 여기서, 피드백 정보는 반려동물 보호자의 음성정보로서, '안돼', '하지마'와 같은 부정 언어, '잘했어', '좋아', '착하지'와 같은 긍정 언어를 포함하는 반려동물 보호자 발화정보일 수 있다.The companion animal management interface supports a function of setting and changing feedback information on the behavior of the companion animal. Here, the feedback information is voice information of the companion animal guardian, which includes negative language such as 'no' and 'don't do it' and positive language such as 'good job', 'good', and 'not nice'. can
상기 피드백 정보는 주변기기 관리 인터페이스에서 반려동물 보호자가 설정한 주변기기들의 동작횟수 제한설정값에 따라 제공될 수 있다. The feedback information may be provided according to a set value limiting the number of operations of the peripheral devices set by the companion animal guardian in the peripheral device management interface.
예를 들어, 반려동물 보호자 단말기(400)에서 사료 급식기의 먹이 배출시간이 1시간 단위로 설정되었다고 가정하고, 반려동물이 반려동물용 입력장치(100)의 사료 요청 버튼을 지속적으로 누를 경우에, 통신부(310)는 신호 중개장치(200)로부터 해당 입력신호를 수신하여 주변기기 관리부에 전달하며, 반려동물 입력신호의 입력 시간과 반려동물 보호자가 설정한 시간이 서로 다를 경우, 주변기기 관리부는 상술한 부정 언어를 포함하는 반려동물 보호자 발화정보를 통신부(310)를 통해 신호 중개장치(200)로 제공하며, 신호 중개장치(200)는 수신한 부정 언어를 포함하는 반려동물 보호자 발화정보를 스피커로 출력할 수 있다.For example, assuming that the food discharge time of the feeder is set in units of 1 hour in the companion
반대로, 반려동물이 반려동물용 입력장치(100)의 사료 요청 버튼을 반려동물 보호자가 지시한 횟수 또는 시간에 누를 경우, 주변기기 관리부는 상술한 긍정 언어를 포함하는 반려동물 보호자 발화정보를 통신부(310)를 통해 신호 중개장치(200)로 제공하며, 신호 중개장치(200)는 수신한 긍정 언어를 포함하는 반려동물 보호자 발화정보를 스피커로 출력할 수 있다. Conversely, when the companion animal presses the food request button of the companion
다른 예로, 주변기기 관리부는 신호 중개장치(200) 내에 반려동물 보호자가 녹음한 긍정 및 부정언어가 포함된 발화정보를 저장하고 있을 경우, 긍정언어 및 부정언어가 포함된 반려동물 보호자발화 출력지시정보만을 제공할 수도 있다.As another example, when the peripheral device management unit stores speech information including positive and negative languages recorded by companion animal guardians in the
도 6은 본 발명의 일 실시예에 따른 메신저 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도이다. 6 is a reference diagram illustrating an example of a screen provided by a messenger interface according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼(410)의 메신저 인터페이스(411)는 도 6과 같이 채팅 기능을 이용하여 대화하는 것처럼 반려동물의 욕구를 전달한다.The
통신부(310)에서 반려동물 입력신호를 수신하면 제어부(330)는 대화를 시작하기 위한 내용을 통신부(310)를 통해 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)에 전달되도록 한다. 이때 제어부(330)는 시각정보와 반려동물 보호자 단말기(400)에 저장된 스케줄 정보, 위치 정보에 기반하여 상황에 맞는 적절한 메시지를 생성하거나 키워드를 이용하여 메시지 DB(341)에서 메시지를 추출/선정한다. 통신부(310)는 이 메시지를 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)에 전달한다.When a companion animal input signal is received by the
이때 통신부(310)에 반려동물 입력신호가 수신되지 않아도 제어부(330)가 시각정보, 반려동물 보호자 단말기(400)에 저장된 스케줄 정보, 반려동물 보호자 위치를 기반으로 메시지를 임의로 생성하도록 구현될 수 있다. 생성된 메시지는 통신부(310)가 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)에 전달한다.At this time, even if the companion animal input signal is not received by the
본 발명의 다른 실시예로서, 제어부(330)는 메시지 학습모듈(321)에서의 학습 내용에 기반하여 대화 메시지를 생성할 수 있다. 커뮤니케이션 플랫폼(410)은 반려동물 보호자 단말기(400)에서 실행되는 채팅 앱의 타인과의 채팅 내용을 통신부(310)로 전달하고, 학습부(320)의 메시지 학습모듈(321)은 상기 채팅 내용을 통신부(310)에서 전달받아 기계학습을 통해 딥러닝 모델을 생성하거나 갱신한다. 제어부(330)는 상황 판단의 결과로 특정한 키워드를 선정하여, 메시지 DB(341)에서 상기 키워드에 해당하는 메시지를 추출하거나 선정한 키워드를 이용하여 딥러닝 모델을 실행하여 그 결과를 바탕으로 대화 메시지를 생성한다. 상기 추출되거나 생성된 메시지는 통신부(310)를 통해 커뮤니케이션 플랫폼(410)으로 전달하고, 메시지 DB(341)에 저장한다. 메시지 DB(341)에 저장된 메시지는 그 이후에 추출되어 다시 사용될 수 있다.As another embodiment of the present invention, the
본 발명의 또 다른 실시예로서, 커뮤니케이션 플랫폼(410)은 메시지 학습모듈(321)에서의 학습 내용에 기반하여 대화 메시지를 생성한다. 이때 반려동물 보호자 단말기(400)에서 실행되는 채팅 앱을 통해 타인과의 채팅 내용을 모니터링하고, 반려동물 보호자의 채팅 내용에 기반한 메시지를 생성하여 출력하는 것도 가능하다. 물론 이때, 타인과 대화 내용과의 연동 여부는 반려동물 보호자의 선택에 의해 결정됨이 바람직하다.As another embodiment of the present invention, the
커뮤니케이션 플랫폼(410)은 생성하거나 전달받은 메시지를 메신저 인터페이스(411)에 표시한다(a).The
그리고 반려동물 보호자는 커뮤니케이션 플랫폼(410)의 메신저 인터페이스(411)를 통해 응답함으로써 피드백을 입력할 수 있다(b).In addition, the companion animal guardian may input feedback by responding through the
이후 제어부(330)는 반려동물의 입력신호에 따라 반려동물의 상황을 판단하여 적절한 구어체의 메시지를 생성한다. 통신부(310)는 생성된 구어체 메시지를 커뮤니케이션 플랫폼(410)에 전달한다. 예를 들어, 제어부(330)는 반려동물의 입력신호가 사료 요청에 관한 것이면 반려동물이 사료를 먹고 싶은 상황으로 판단하여 반려동물이 사료를 달라고 하는 구어체 메시지를 생성한다. 커뮤니케이션 플랫폼(410)은 전달받은 메시지를 메신저 인터페이스(411)에 표시한다(c).Thereafter, the
이때 반려동물 보호자의 피드백이 입력되기까지 지연시간이 기준시간 이상 입력되면 "대답을 왜 늦게 해?", "무슨 일 있어?", "힝"과 같이 상황에 맞는 대화 내용을 더 입력함으로써 반려동물이 아니라 다른 사람과 채팅하는 것과 같은 현실감을 줄 수 있다.At this time, if the delay time until the companion animal guardian's feedback is entered is more than the standard time, by entering more conversation contents suitable for the situation, such as "Why are you replying late?", "What's wrong?", "Hing", It can give you a real feeling like chatting with other people.
이후에 반려동물 보호자는 커뮤니케이션 플랫폼(410)을 통해 즉각적으로 "사료 주기" 메뉴를 선택하는 것이 가능하다.Afterwards, the companion animal guardian can immediately select the “feed cycle” menu through the
그러면 댁내 구비되는 신호 중개장치(200)를 통해 반려동물 입력신호에 대응되는 주변기기로 원격 제어신호를 전송한다. 이 경우 IoT 기능을 가지는 신호 중개장치(200)가 사료 급식기로 사료를 지급하도록 제어신호를 전송하고, 사료 급식기에서 사료 지급 통보 및 사료 급식기 주변을 촬영한 영상을 커뮤니케이션 플랫폼(410)의 채팅창을 통해 업로드할 수 있다.Then, the remote control signal is transmitted to the peripheral device corresponding to the companion animal input signal through the
또한 신호 중개장치(200)는 사료 급식기에서 사료 지급을 완료한 후에 사료 지급이 완료되었음을 알리는 메시지를 획득하여 커뮤니케이션 서버(300)로 전송한다. 통신부(310)는 이 메시지를 커뮤니케이션 플랫폼(410)에 전달한다. 그러면 반려동물 보호자는 메신저 인터페이스(411)에서 사료 지급기에 의해 반려동물에게 사료가 지급되었음을 알리는 메시지를 확인할 수 있다(d).In addition, the signal
또한 반려동물 보호자는 반려동물과의 채팅창에서 반려동물이 사료를 먹는 영상을 실시간으로 확인할 수 있다. 사료를 지급한 후에 소정의 시간이 지나거나, 사료 급식기 주변을 촬영한 영상에서 반려동물 객체가 사라지면 욕구 해소에 관한 메시지를 메신저 인터페이스(411)을 통해 더 출력할 수 있다(e).In addition, the companion animal guardian can check the video of the companion animal eating food in real time in the chat window with the companion animal. If a predetermined time elapses after the food is supplied, or if the companion animal object disappears from the image taken around the feeder, a message about relieving the need may be further output through the messenger interface 411 (e).
추가적인 양상에 있어서 커뮤니케이션 플랫폼(410)은 전문가 코칭 기능을 더 제공할 수 있다. 반려동물의 훈련에 필요한 정보나, 행동 유형에 따른 분석 내용 등을 반려동물 전문가에게 직접 질의하고 문답 받는 형식으로 전문가 코칭 기능을 제공한다.In a further aspect, the
전문가 코칭 기능은 예를 들어 게시판에 업로드하고 답변을 입력받는 형태로 구현되거나, 반려동물 행동 교정사와 같은 전문가와 채팅을 통해 대화가 가능하도록 전문가와 채팅 채널을 생성해주는 형태로 구현될 수 있다. 그러나 이에 한정되는 것은 아니다.The expert coaching function may be implemented, for example, in the form of uploading to a bulletin board and receiving answers, or may be implemented in the form of creating a chat channel with an expert so as to be able to chat with an expert such as a companion animal behavior corrector. However, it is not limited thereto.
도 7은 본 발명의 일 실시예에 따른 메신저 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도이다. 7 is a reference diagram illustrating an example of a screen provided by a messenger interface according to an embodiment of the present invention.
본 발명의 일 실시예에서 통신부(310)가 외부에서 광고를 수신하면, 통신부(310)는 광고정보 제공부나 제어부(330)에 상기 광고 정보를 전달하고, 제어부(330)는 상황 판단 결과에 따라 광고 내용을 담은 대화형 메시지를 생성하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)에 전달할 수 있다. 예를 들어, 반려동물 보호자의 자택 주변에 애견카페가 개업했다는 광고를 통신부(310)가 외부로부터 수신하여 제어부(330)에 전달한 경우, 제어부(330)는 상황 판단의 결과로 "형~ 우리집 근처에 애견카페 생겼대! 나랑 같이 가자!!"라는 메시지를 생성하거나, '애견카페' 키워드를 선정하여 메시지 DB(341)에서 '애견카페' 키워드에 해당하는 "형~ 우리집 근처에 애견카페 생겼대! 나랑 같이 가자!!"라는 메시지를 추출할 수 있고, 이미지 DB(342)에서 '애견카페' 키워드와 매핑되는 표정인 '신남'에 해당하는 반려동물의 이미지를 추출할 수 있다. 제어부(330)가 상황을 판단하는 과정에서 반려동물 보호자 단말기(400)의 위치정보, 날씨, 교통혼잡도, 현재시간, 뉴스 등의 정보를 활용할 수 있다. In one embodiment of the present invention, when the
제어부(330)는 제어부(330)는 이와 같이 정한 메시지 등이 통신부(310)를 통해 반려동물 보호자 단말기(400)의 커뮤니케이션 플랫폼(410)으로 전달되도록 한다. 커뮤니케이션 플랫폼(410)은 전달받은 메시지 등을 메신저 인터페이스(411)에 표시한다. The
도 8은 본 발명의 일 실시예에 따른 표정 분석 인터페이스에서 제공하는 화면의 예시를 나타낸 참고도이다. 8 is a reference diagram illustrating an example of a screen provided by a facial expression analysis interface according to an embodiment of the present invention.
본 발명의 일 실시예에서 표정 분석 인터페이스(412)는 반려동물의 이미지와 소정 개수의 선택지를 표시한 화면을 제공한다. In one embodiment of the present invention, the facial
상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭으로 하는 것이 바람직하다. 표정 분석 인터페이스(412)의 사용자가 상기 선택지 중 하나를 선택하면, 표정 분석 인터페이스(412)는 상기 이미지에 부여되어 있는 표정 레이블과 사용자가 선택한 선택지의 일치 여부를 표시한다. 표정 분석 인터페이스(412)의 사용자는 반려동물의 보호자는 물론이고 접근 권한이 있는 타인이 될 수 있다.Preferably, the option is the name of a facial expression that the companion animal in the image may have. When the user of the facial
표정 분석 인터페이스(412)는 해당 반려동물에 관한 이미지를 랜덤으로 선정하거나, 사용자가 지정한 해당 반려동물 이미지를 기준으로 표정 분석을 진행한다. 표정 분석 인터페이스(412)는 선정되거나 지정된 반려동물의 이미지와 소정 개수의 선택지를 화면에 표시한다(예시에는 3개). 상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭으로 하는 것이 바람직하다. 복수의 선택지에 표시할 표정의 명칭들은 상기 이미지에 부여된 표정 레이블과 함께 커뮤니케이션 서버(300)에 있는 표정모델이 표정 분석 대상의 이미지로 표정을 추론한 결과를 기초로 정할 수 있다. 또한 복수의 선택지에 표시할 표정의 명칭들은 상기 추론 결과와 표정 목록에서 랜덤으로 추출한 표정 명칭을 혼합하여 구성할 수 있다. 상기 표정 목록은 커뮤니케이션 플랫폼(410)에 기 저장된 것이거나 제어부(330)의 내부 저장소에 저장되어 있는 것일 수 있다.The
예를 들어 표정 분석 인터페이스(412)가 제시할 표정 선택지가 3개로 설정이 되어 있고, 표정 분석 대상의 이미지에 부여되어 있는 표정 레이블이 '당황'이고, 상기 이미지로 해당 반려동물의 표정모델이 추론한 결과가 '당황(60%)', '두려움(30%)', '걱정(8%)', '궁금함(2%)'으로 나타난 경우, 제어부(330)는 '당황', '두려움'의 2개 선택지에 랜덤으로 추출한 표정인 '행복함'을 추가하여 3개의 선택지를 구성하여 통신부(310)를 통해 커뮤니케이션 플랫폼(410)으로 전달되도록 할 수 있다. 표정 분석 인터페이스(412)는 표정 분석 대상 이미지와 커뮤니케이션 플랫폼(410)이 전달받은 3개의 선택지('당황', '두려움', '행복함')를 화면에 표시한다. 표정 분석 인터페이스(412)의 사용자가 화면에 제시된 선택지 중 하나의 표정을 선택한 경우, 표정 분석 인터페이스(412)는 사용자가 선택한 표정과 표정 분석 대상의 이미지에 부여되어 있는 표정 레이블(예시에서는 '당황')의 일치 여부를 화면에 표시할 수 있다. 예를 들어 사용자가 '당황'을 선택하는 경우 표정 분석 인터페이스(412)는 사용자가 선택한 표정이 표정 레이블('당황')과 일치하므로 '맞습니다!'라는 메시지를 화면에 출력할 수 있고, 사용자가 '행복함'을 선택하는 경우 사용자가 선택한 표정이 표정 레이블('당황')과 불일치하므로 '아닙니다!'라는 메시지를 화면에 출력할 수 있다.For example, the facial expression options to be presented by the facial
한편, 표정 분석 인터페이스(412)의 사용자가 반려동물 보호자이고, 반려동물 보호자가 표정 분석 화면에서 선택한 표정이 표정 모델의 추론 결과와 일치하지 않는 경우, 이를 피드백으로 삼아 커뮤니케이션 플랫폼(410)이 불일치 내용을 통신부(310)로 전달하여, 표정 학습모듈(322)이 표정모델을 다시 학습하도록 할 수 있다.Meanwhile, if the user of the facial
도 9는 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼의 메신저 인터페이스에서 반려동물 이미지를 사용하는 방법을 설명하기 위한 흐름도이다. 9 is a flowchart illustrating a method of using a companion animal image in a messenger interface of a communication platform according to an embodiment of the present invention.
S510은 이벤트 발생 단계이다. 상기 이벤트는 메시지 인터페이스(411)가 반려동물과의 채팅 창에 메시지나 이미지 중 적어도 하나를 표시하는 원인이 되는 사건을 말한다. 상기 이벤트의 예를 들면, 반려동물 입력신호의 수신, 반려동물 입력신호 이후 보호자 피드백이 없이 일정 시간 경과, 광고 수신, 날씨정보 수신, 특정 시각 도래가 있다. 그러나 이에 한정되는 것은 아니다.S510 is an event generating step. The event refers to an event that causes the
S520은 상황 판단 단계이다. 제어부(330)는 이벤트 발생을 계기로 하여 정보를 수집하고, 이를 토대로 구체적인 상황을 판단하여 특정 키워드를 도출한다. 즉, 제어부(330)는 반려동물 입력신호의 종류, 반려동물 입력신호에 따른 메시지 출력 이후 경과시간, 광고의 종류, 날씨예보의 변동 내용과 현재 반려동물 보호자 단말기(400)의 위치 정보, 반려동물 보호자가 송출한 메시지(반려동물 보호자가 채팅 창에 발신한 메시지)에 특정한 단어의 포함 여부 등의 정보를 토대로 특정 키워드를 도출한다. 다만, 키워드 도출에 사용되는 정보가 이에 한정되는 것은 아니다.S520 is a situation judgment step. The
S530은 메시지와 이미지 추출 단계이다. 제어부(330)는 상기 판단된 상황, 즉 도출된 키워드에 따라 메신저 인터페이스(411)의 반려동물과의 채팅 창에 출력될 메시지, 이미지 및 이모티콘 중 적어도 하나(이하 '메시지 등'으로 표기함)를 선정한다. 즉, 제어부(330)는 도출된 키워드에 따라, 메시지를 생성하거나, 메시지를 메시지 DB(341)에서 추출한다. 또한 제어부(330)는 도출된 키워드와 매핑되는 표정 명칭에 해당하는 반려동물의 이미지를 이미지 DB(342)에서 추출할 수 있다. 추출한 메시지와 이미지가 복수일 경우 일정한 규칙에 따라 또는 랜덤으로 메신저 인터페이스(411) 화면에 출력할 메시지와 이미지를 결정한다. 설정에 따라 메시지 및 이미지 중 적어도 하나가 선정될 수 있다.S530 is a message and image extraction step. The
S540은 선정한 메시지와 이미지를 메신저 인터페이스(411) 화면(채팅 창)에 출력하는 단계이다. S540 is a step of outputting the selected message and image on the
도 10은 본 발명의 일 실시예에 따른 커뮤니케이션 플랫폼의 표정 분석 실행 방법을 설명하기 위한 흐름도이다. 10 is a flowchart for explaining a method of performing facial expression analysis in a communication platform according to an embodiment of the present invention.
S610은 표정 분석 대상이 되는 반려동물을 선택하는 단계이다. 반려동물 보호자의 반려동물이 복수일 경우, 표정 분석 인터페이스(412)는 사용자가 복수의 반려동물 중 어느 반려동물을 대상으로 표정 분석을 할 것인지 선택하도록 할 수 있다. 만약 커뮤니케이션 플랫폼(410)의 반려동물 전용 SNS 인터페이스가 제공하는 특정 반려동물의 SNS 계정을 통해 표정 분석 서비스를 이용하는 경우 해당 반려동물을 대상으로 한다.S610 is a step of selecting a companion animal to be analyzed for expression. If the companion animal guardian has a plurality of companion animals, the facial
S620은 해당 반려동물의 이미지를 선정하는 단계이다. 표정 분석 인터페이스(412)는 해당 반려동물에 관한 이미지를 랜덤으로 선정하거나, 사용자가 지정한 해당 반려동물 이미지를 기준으로 표정 분석을 진행한다. 표정 분석 인터페이스(412)는 사용자가 표정 분석을 위해 이미지를 지정할 수 있도록 해당 반려동물 이미지의 썸네일(thumbnail)을 화면에 표시할 수 있다.S620 is a step of selecting an image of the corresponding companion animal. The
S630은 표정모델을 실행하는 단계이다. 커뮤니케이션 플랫폼(410)이 커뮤니케이션 서버(300)의 통신부(310)로 표정모델 실행 명령을 전달하면, 통신부(310)는 이를 모델 관리자(324)에 전달한다. 모델 관리자(324)는 표정 분석 인터페이스(412)나 행동 분석 인터페이스(413)에서 진행되는 테스트나 표정 분석, 행동 분석의 진행에 따라 표정모델이나 행동모델을 실행하여 추론 결과를 얻는다. S630 is a step of executing a facial expression model. When the
S640은 분석 대상인 반려동물의 이미지에 나타난 반려동물의 표정에 관한 복수 개의 선택지를 제시하는 단계이다. 상기 선택지의 수는 설정에 따라 정해진다. 예를 들어 선택지의 수를 3개로 할 수 있다. 복수의 선택지에 표시할 표정의 명칭들은 상기 이미지에 부여된 표정 레이블과 함께 커뮤니케이션 서버(300)에 있는 표정모델이 표정 분석 대상의 이미지로 표정을 추론한 결과를 기초로 정할 수 있다. 이미지에 부여된 표정 레이블이 없는 경우, 상기 추론 결과만을 기초로 정할 수 있다. 상기 복수의 선택지는 상기 표정 레이블 및/또는 상기 추론 결과에 표정 목록에서 랜덤으로 추출한 표정 명칭을 혼합하여 구성할 수 있다. 상기 표정 목록은 커뮤니케이션 플랫폼(410)에 기 저장된 것이거나 제어부(330)의 내부 저장소에 저장되어 있는 것일 수 있다.S640 is a step of presenting a plurality of options for the facial expressions of the companion animal shown in the image of the companion animal to be analyzed. The number of options is determined according to settings. For example, you can set the number of choices to three. The names of facial expressions to be displayed in the plurality of options may be determined based on the result of inferring facial expressions from the facial expression analysis target image by the facial expression model in the
이와 같이 선택지가 구성되면, 표정 분석 인터페이스(412)에 분석 대상인 반려동물의 이미지와 함께 선택지를 제시한다.When the options are configured in this way, the options are presented along with the image of the companion animal to be analyzed on the facial
S650은 사용자가 반려동물의 표정을 선택하였을 때, 선택한 표정이 상기 반려동물의 이미지에 기 부여된 표정 레이블과 일치하는지 여부 또는 표정 모델의 추론 결과(가장 확률이 높은 표정)와 일치하는지 여부를 판단하여 일치 여부에 관한 메시지를 사용자 단말기 화면에 출력하는 단계이다.S650 determines, when the user selects a companion animal's expression, whether the selected expression matches a facial expression label assigned to the companion animal image or matches the inference result of the expression model (the most probable expression) This is a step of outputting a message on whether or not matching occurs on the screen of the user terminal.
S650 단계 이후에, 반려동물 보호자가 지정한 반려동물의 특정 이미지에 대해 표정 분석 인터페이스(412)에 접속한 타인들의 표정 선택 결과를 집계하여 화면에 출력하는 단계가 추가될 수 있다. 예를 들어 반려동물 보호자가 지정한 반려동물 이미지의 표정 레이블이 '당황'이고, 일정 기간 동안 10명이 표정 분석 인터페이스(412)에 접속하여 6명이 '당황', 3명이 '두려움', 1명이 '행복함'을 선택한 경우, 표정 분석 인터페이스(412)는 텍스트 형태나 파이 차트(pie chart)나 히스토그램 등의 그래프 형태로 타인의 표정 분석 집계 결과를 표시할 수 있다. 상기 집계 결과는 맞은 수(비율)와 틀린 수(비율)를 비교하는 형태일 수도 있고, 표정별 선택 개수나 비율을 나타내는 형태일 수도 있다.After step S650 , a step of aggregating facial expression selection results of others accessing the facial
도 11은 본 발명의 일 실시예에 따른 반려동물 이미지를 이모티콘으로 변환한 후 태깅하는 방법을 설명하기 위한 흐름도이다. 11 is a flowchart illustrating a method of tagging after converting a companion animal image into an emoticon according to an embodiment of the present invention.
S710은 이모티콘으로 변환할 반려동물 이미지를 선택하는 단계이다. 이모티콘 인터페이스(414)의 이모티콘 생성 화면에서 반려동물 보호자가 반려동물의 이미지를 갤러리에서 선택한다. 반려동물 보호자는 S710 단계에 앞서 커뮤니케이션 플랫폼(410)의 갤러리에 반려동물의 이미지를 업로드할 수 있다.S710 is a step of selecting a companion animal image to be converted into an emoticon. On the emoticon creation screen of the
S720은 상기 선택된 이미지를 가공하여 이모티콘을 생성하는 단계이다. 이모티콘 생성부(350)는 반려동물의 이미지를 축소하거나, 특정 영역을 추출하여 채팅 화면이나 SNS 화면에서 사용되기에 적합한 소정의 크기가 되도록 이모티콘을 생성한다.S720 is a step of generating an emoticon by processing the selected image. The
S730은 상기 이모티콘에 태그를 부여하는 단계이다. 이모티콘 생성부(350)은 이미지 DB(342)에서 추출한 반려동물의 이미지에 표정 레이블이 부여되어 있는 경우 이 레이블을 이모티콘의 태그로 할 수 있다. 또한 이모티콘 인터페이스(414)의 사용자(반려동물의 보호자)는 표정 레이블이 반려동물의 이미지에 부여되어 있는지와 무관하게 직접 이모티콘에 태그를 부여할 수 있다.S730 is a step of assigning a tag to the emoticon. If a facial expression label is assigned to the image of a companion animal extracted from the
S740은 상기 태그가 부여된 이모티콘을 이모티콘 DB에 저장하는 단계이다. S740 is a step of storing the tagged emoticon in an emoticon DB.
이모티콘 생성부(350)은 이모티콘의 태그와 이모티콘을 함께 이모티콘 DB(344)에 전달하고, 이모티콘 DB(344)는 이모티콘의 태그와 이모티콘이 매칭되도록 하여 저장한다.The
전술한 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.The above method may be implemented as an application or implemented in the form of program instructions that can be executed through various computer components and recorded on a computer readable recording medium. The computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.Program instructions recorded on the computer-readable recording medium may be those specially designed and configured for the present invention, or those known and usable to those skilled in the art of computer software.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CDROMs and DVDs, and magneto-optical media such as floptical disks. , and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes such as those produced by a compiler. The hardware device may be configured to act as one or more software modules to perform processing according to the present invention and vice versa.
참고로, 본 발명의 실시예에 따른 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다. For reference, components according to an embodiment of the present invention may be implemented in software or hardware form such as a Field Programmable Gate Array (FPGA) or Application Specific Integrated Circuit (ASIC), and may perform predetermined roles.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.However, 'components' are not meant to be limited to software or hardware, and each component may be configured to be in an addressable storage medium or configured to reproduce one or more processors.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.Thus, as an example, a component includes components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, sub routines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.Components and the functionality provided within them may be combined into fewer components or further separated into additional components.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터를 이용하거나 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터를 이용하거나 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.At this time, it will be understood that each block of the process flow chart diagrams and combinations of the flow chart diagrams can be performed by computer program instructions. These computer program instructions may be embodied in a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that the instructions executed by the processor of the computer or other programmable data processing equipment are described in the flowchart block(s). It creates means to perform functions. These computer program instructions may use a computer or may be stored in a computer readable memory, which may be directed to a computer or other programmable data processing equipment to implement function in a particular manner, and thus may be used or computer readable. The instructions stored in the memory are also capable of producing an article of manufacture containing instruction means that perform the functions described in the flowchart block(s). The computer program instructions can also be loaded on a computer or other programmable data processing equipment, so that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to generate computer or other programmable data processing equipment. Instructions for performing processing equipment may also provide steps for performing the functions described in the flowchart block(s).
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Additionally, each block may represent a module, segment, or portion of code that includes one or more executable instructions for executing specified logical function(s). It should also be noted that in some alternative implementations it is possible for the functions mentioned in the blocks to occur out of order. For example, two blocks shown in succession may in fact be executed substantially concurrently, or the blocks may sometimes be executed in reverse order depending on their function.
이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.At this time, the term '~unit' used in this embodiment means software or a hardware component such as FPGA or ASIC, and '~unit' performs certain roles. However, '~ part' is not limited to software or hardware. '~bu' may be configured to be in an addressable storage medium and may be configured to reproduce one or more processors. Therefore, as an example, '~unit' refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables. Functions provided within components and '~units' may be combined into smaller numbers of components and '~units' or further separated into additional components and '~units'. In addition, components and '~units' may be implemented to play one or more CPUs in a device or a secure multimedia card.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.In the above, the configuration of the present invention has been described in detail with reference to the accompanying drawings, but this is only an example, and various modifications and changes within the scope of the technical idea of the present invention to those skilled in the art to which the present invention belongs Of course this is possible. Therefore, the scope of protection of the present invention should not be limited to the above-described embodiments, but should be defined by the description of the claims below.
100: 반려동물용 입력장치
200: 신호 중개장치
300: 커뮤니케이션 서버
310: 통신부
320: 학습부
321: 메시지 학습모듈
322: 표정 학습모듈
323: 행동 학습모듈
324: 모델 관리자
330: 제어부
340: 저장부
341: 메시지 DB
342: 이미지 DB
343: 동영상 DB
344: 이모티콘 DB
350: 이모티콘 생성부
400: 반려동물 보호자 단말기
410: 커뮤니케이션 플랫폼
411: 메신저 인터페이스
412: 표정 분석 인터페이스
413: 행동 분석 인터페이스
414: 이모티콘 인터페이스100: companion animal input device
200: signal broker
300: communication server
310: communication department
320: learning unit
321: message learning module
322: facial expression learning module
323: action learning module
324: model manager
330: control unit
340: storage unit
341: Message DB
342: image DB
343: video DB
344: emoticon DB
350: emoticon generating unit
400: companion animal guardian terminal
410: communication platform
411: messenger interface
412: facial expression analysis interface
413: behavior analysis interface
414: emoticon interface
Claims (17)
상기 반려동물용 입력장치와 근거리 통신을 통해 상기 신호를 전달받고, 네트워크를 통해 하기 커뮤니케이션 서버로 상기 신호를 전달하는 신호 중개장치;
상기 신호를 기초로 상기 반려동물의 대화형 메시지를 생성하고, 상기 대화형 메시지와 함께 상기 반려동물의 이미지를 하기의 반려동물 보호자 단말기에 제공하는 커뮤니케이션 서버; 및
상기 반려동물과 상기 반려동물의 보호자 간의 채팅 화면을 제공하고, 상기 대화형 메시지와 이미지를 채팅 화면에 출력하는 커뮤니케이션 플랫폼이 탑재된 반려동물 보호자 단말기;
를 포함하는 커뮤니케이션 서비스 시스템.a companion animal input device that generates a signal related to the companion animal's desire according to the companion animal's input;
a signal relaying device that receives the signal through short-range communication with the companion animal input device and transmits the signal to a communication server through a network;
a communication server generating an interactive message of the companion animal based on the signal and providing the image of the companion animal together with the interactive message to a companion animal guardian terminal described below; and
a companion animal guardian terminal equipped with a communication platform that provides a chatting screen between the companion animal and the guardian of the companion animal and outputs the interactive message and image on the chatting screen;
A communication service system comprising a.
상기 커뮤니케이션 서버는
상기 신호 중개장치 및 커뮤니케이션 플랫폼과 신호 및 데이터를 송수신하는 통신부;
상기 반려동물의 욕구에 관한 신호에 기초하여 상기 커뮤니케이션 플랫폼으로 송신할 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 선정하는 제어부; 및
상기 제어부가 선정할 수 있는 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 저장하는 저장부;를 포함하는 것인
커뮤니케이션 서비스 시스템.According to claim 1,
The communication server
a communication unit for transmitting and receiving signals and data to and from the signal mediation device and the communication platform;
a controller that selects an interactive message of the companion animal and an image of the companion animal to be transmitted to the communication platform based on the signal related to the desire of the companion animal; and
A storage unit for storing an interactive message of the companion animal and an image of the companion animal that can be selected by the control unit;
Communication service system.
상기 커뮤니케이션 서버는
상기 반려동물의 이미지를 이용하여 반려동물 표정모델을 생성하는 학습부를 더 포함하고,
상기 반려동물 표정모델은
상기 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 것인 커뮤니케이션 서비스 시스템.According to claim 2,
The communication server
Further comprising a learning unit for generating a companion animal expression model using the image of the companion animal,
The companion animal facial expression model
A communication service system that infers the expression of the companion animal shown in the image from the image of the companion animal.
상기 학습부는
상기 반려동물 보호자의 채팅 앱을 통한 대화 내용을 기계학습하여, 상기 반려동물의 욕구에 관한 신호를 구어체 메시지로 표현할 수 있게 하는 딥러닝 모델을 생성하는 메시지 학습모듈;
상기 반려동물의 이미지를 이용하여 상기 반려동물 표정모델을 생성하는 표정 학습모듈; 및
상기 딥러닝 모델과 상기 반려동물 표정모델을 실행하여 추론 결과를 얻는 모델 관리자;를 포함하는 것인 커뮤니케이션 서비스 시스템.According to claim 3,
The learning department
A message learning module for generating a deep learning model enabling signals related to the companion animal's desire to be expressed in colloquial messages by machine learning conversation contents of the companion animal guardian through the chatting app;
a facial expression learning module for generating the companion animal expression model using the image of the companion animal; and
A communication service system comprising a; model manager that obtains an inference result by executing the deep learning model and the companion animal expression model.
상기 커뮤니케이션 서버는
반려동물의 이미지를 이용하여 이모티콘을 생성하는 이모티콘 생성부를 더 포함하는 것인
커뮤니케이션 서비스 시스템.According to claim 2,
The communication server
Further comprising an emoticon generating unit for generating an emoticon using an image of a companion animal
Communication service system.
상기 커뮤니케이션 플랫폼은
상기 반려동물과 상기 반려동물의 보호자 간의 채팅 화면을 제공하고, 상기 대화형 메시지와 이미지를 채팅 화면에 출력하는 메시지 인터페이스; 및
상기 반려동물의 이미지와 소정 개수의 선택지를 표시한 화면을 제공하는 표정 분석 인터페이스;를 포함하고,
상기 선택지는 상기 이미지에 있는 반려동물이 가질 수 있는 표정의 명칭이 기재된 것인
커뮤니케이션 서비스 시스템.According to claim 1,
The communication platform
a message interface for providing a chatting screen between the companion animal and the guardian of the companion animal, and outputting the interactive message and image on the chatting screen; and
A facial expression analysis interface providing a screen displaying the image of the companion animal and a predetermined number of options;
The option is the one in which the name of the facial expression that the companion animal in the image can have is described.
Communication service system.
상기 원격제어신호를 하기 신호 중개장치로 송신하는 커뮤니케이션 서버; 및
상기 원격제어신호에 따라 상기 반려동물 보호자의 음성정보를 내장된 스피커를 통해 출력하는 신호 중개장치;
를 포함하는 커뮤니케이션 서비스 시스템.A companion animal guardian terminal equipped with a communication platform that receives a remote control signal from a companion animal guardian and transmits the remote control signal to the following communication server;
a communication server that transmits the remote control signal to the following signal relaying device; and
a signal relaying device outputting voice information of the companion animal guardian through a built-in speaker according to the remote control signal;
A communication service system comprising a.
상기 메시지를 기반으로 반려동물 보호자의 음성을 합성하고, 상기 합성된 음성정보를 하기 신호 중개장치로 송신하는 커뮤니케이션 서버; 및
상기 합성된 음성정보를 내장된 스피커를 통해 출력하는 신호 중개장치;
를 포함하는 커뮤니케이션 서비스 시스템.A companion animal guardian terminal equipped with a communication platform that receives a message to be sent to the companion animal from the companion animal guardian and transmits the message to the following communication server;
A communication server that synthesizes the companion animal guardian's voice based on the message and transmits the synthesized voice information to the following signal relaying device; and
a signal relaying device outputting the synthesized voice information through a built-in speaker;
A communication service system comprising a.
상기 반려동물의 욕구에 관한 신호에 기초하여 상기 보호자 단말기로 송신할 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 선정하는 제어부; 및
상기 제어부가 선정할 수 있는 상기 반려동물의 대화형 메시지와 상기 반려동물의 이미지를 저장하는 저장부;를 포함하는 것인
커뮤니케이션 서버.a communication unit that receives a signal related to a companion animal's desire and transmits an interactive message of the companion animal and an image of the companion animal to a terminal of the guardian of the companion animal;
a control unit that selects an interactive message of the companion animal and an image of the companion animal to be transmitted to the guardian terminal based on the signal related to the desire of the companion animal; and
A storage unit for storing an interactive message of the companion animal and an image of the companion animal that can be selected by the control unit;
communication server.
상기 반려동물의 이미지를 이용하여 반려동물 표정모델을 생성하는 학습부를 더 포함하고,
상기 반려동물 표정모델은
상기 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 것인
커뮤니케이션 서버.According to claim 9,
Further comprising a learning unit for generating a companion animal expression model using the image of the companion animal,
The companion animal facial expression model
Inferring the expression of the companion animal shown in the image from the image of the companion animal
communication server.
상기 이벤트 발생을 계기로 하여 정보 수집을 통해 상황을 판단하는 단계;
상기 판단된 상황에 따라 상기 채팅 창에 출력될 메시지 및 이미지 중 적어도 하나를 선정하는 단계; 및
상기 채팅 창에 상기 선정 결과를 출력하는 단계;를 포함하는
반려동물 전용 커뮤니케이션 플랫폼에서 메신저 인터페이스를 운용하는 방법.generating a specific event that causes at least one of an interactive message of the companion animal or an image of the companion animal to be displayed in a chat window with the companion animal;
Determining a situation through information collection based on the occurrence of the event;
selecting at least one of a message and an image to be output to the chatting window according to the determined situation; and
Outputting the selection result to the chatting window; comprising
How to operate a messenger interface in a communication platform dedicated to companion animals.
상기 반려동물의 이미지는
상기 판단된 상황에 매핑되는 상기 반려동물의 표정이 나타난 것인
반려동물 전용 커뮤니케이션 플랫폼에서 메신저 인터페이스를 운용하는 방법.According to claim 11,
The image of the companion animal
The facial expression of the companion animal mapped to the determined situation appears
How to operate a messenger interface in a communication platform dedicated to companion animals.
상기 특정한 이벤트는 반려동물 입력신호의 수신, 반려동물 입력신호 이후 보호자 피드백이 없이 일정 시간 경과, 광고 수신, 날씨정보 수신 및 특정 시각 도래 중 적어도 하나이며,
상기 상황을 판단하기 위해 수집되는 정보는 반려동물 입력신호의 종류, 반려동물 입력신호에 따른 메시지 출력 이후 경과시간, 광고의 종류, 날씨예보의 변동 내용과 반려동물 보호자 단말기의 위치 정보 및 반려동물 보호자가 채팅 창에 발신한 메시지 중 적어도 하나인 것인
반려동물 전용 커뮤니케이션 플랫폼의 메신저 인터페이스 운용 방법.According to claim 11,
The specific event is at least one of reception of a companion animal input signal, elapse of a certain time without guardian feedback after the companion animal input signal, reception of an advertisement, reception of weather information, and the arrival of a specific time,
The information collected to determine the above situation is the type of companion animal input signal, the elapsed time after the message output according to the companion animal input signal, the type of advertisement, the change in weather forecast, the location information of the companion animal guardian terminal, and the companion animal guardian is at least one of the messages sent to the chat window
How to operate the messenger interface of a communication platform dedicated to companion animals.
상기 반려동물의 이미지를 선정하는 단계;
반려동물의 이미지에 나타난 반려동물의 표정에 관한 복수 개의 선택지를 제시하는 단계; 및
표정 분석 서비스의 사용자가 선택한 선택지에 기재된 표정과 상기 반려동물의 이미지에 기 부여된 표정 레이블의 일치 여부를 상기 사용자의 단말기 화면에 출력하는 단계;를 포함하는
반려동물 전용 커뮤니케이션 플랫폼의 표정 분석 실행 방법.selecting a companion animal to be subjected to facial expression analysis;
selecting an image of the companion animal;
Presenting a plurality of options regarding the expression of the companion animal shown in the image of the companion animal; and
Outputting, on the screen of the terminal of the user, whether the facial expression described in the option selected by the user of the facial expression analysis service matches the facial expression label previously assigned to the image of the companion animal;
A method for performing facial expression analysis on a communication platform dedicated to companion animals.
상기 복수 개의 선택지를 제시하는 단계 이전에 상기 반려동물에 관한 표정모델을 실행하는 단계를 더 포함하고
상기 복수 개의 선택지를 제시하는 단계는
상기 표정모델의 실행 결과를 상기 선택지에 반영하는 것이며
상기 표정모델은 반려동물의 이미지로부터 상기 이미지에 나타난 상기 반려동물의 표정을 추론하는 것인
반려동물 전용 커뮤니케이션 플랫폼의 표정 분석 실행 방법.According to claim 14,
Further comprising the step of executing a facial expression model for the companion animal before the step of presenting the plurality of options,
The step of presenting the plurality of options is
The execution result of the facial expression model is reflected in the selection
The expression model is to infer the expression of the companion animal shown in the image from the image of the companion animal
A method for performing facial expression analysis on a communication platform dedicated to companion animals.
상기 사용자의 단말기 화면에 출력하는 단계 이후에
상기 반려동물 이미지에 대한 1명 이상의 사용자의 표정 선택 결과를 집계하여 화면에 출력하는 단계를 더 포함하는
반려동물 전용 커뮤니케이션 플랫폼의 표정 분석 실행 방법.According to claim 14,
After the step of outputting on the screen of the user's terminal
Further comprising the step of aggregating one or more user's facial expression selection results for the companion animal image and outputting them on a screen
A method for performing facial expression analysis on a communication platform dedicated to companion animals.
상기 선택된 이미지를 가공하여 이모티콘을 생성하는 단계; 및
상기 이모티콘에 태그를 부여하는 단계;를 포함하는
반려동물 이모티콘 생성 방법.selecting a companion animal image to be converted into an emoticon from a gallery where the companion animal image is uploaded;
generating an emoticon by processing the selected image; and
Adding a tag to the emoticon; including
How to create a pet emoticon.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210115013A KR20230033208A (en) | 2021-08-30 | 2021-08-30 | System and method for communication service using facial expressions learned from images of companion animal |
| PCT/KR2021/017671 WO2023033256A1 (en) | 2021-08-30 | 2021-11-26 | Communication service system and method using facial expressions learned from images of companion animal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210115013A KR20230033208A (en) | 2021-08-30 | 2021-08-30 | System and method for communication service using facial expressions learned from images of companion animal |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230033208A true KR20230033208A (en) | 2023-03-08 |
Family
ID=85411451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210115013A KR20230033208A (en) | 2021-08-30 | 2021-08-30 | System and method for communication service using facial expressions learned from images of companion animal |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230033208A (en) |
| WO (1) | WO2023033256A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180090637A (en) | 2017-02-03 | 2018-08-13 | 주식회사 창의산업 | System for communicating with a cat |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005177129A (en) * | 2003-12-19 | 2005-07-07 | Nippon Telegr & Teleph Corp <Ntt> | Pet communication apparatus |
| KR101622035B1 (en) * | 2014-08-20 | 2016-05-19 | 한양대학교 에리카산학협력단 | An appratus for providing a game service and a method thereof |
| CN106372059B (en) * | 2016-08-30 | 2018-09-11 | 北京百度网讯科技有限公司 | Data inputting method and device |
| CN110420465A (en) * | 2018-08-24 | 2019-11-08 | 腾讯科技（深圳）有限公司 | Mating system, device, equipment and the storage medium of virtual pet |
| KR102185469B1 (en) * | 2018-12-03 | 2020-12-02 | 정진해 | Companion Animal Emotion Bots Device using Artificial Intelligence and Communion Method |
| KR102174198B1 (en) * | 2020-06-12 | 2020-11-04 | 박정훈 | Apparatus and Method for Communicating with a Pet based on Internet of Things(IoT), User terminal therefor |
-
2021
- 2021-08-30 KR KR1020210115013A patent/KR20230033208A/en not_active Application Discontinuation
- 2021-11-26 WO PCT/KR2021/017671 patent/WO2023033256A1/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180090637A (en) | 2017-02-03 | 2018-08-13 | 주식회사 창의산업 | System for communicating with a cat |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023033256A1 (en) | 2023-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11934186B2 (en) | Augmented reality in a vehicle configured for changing an emotional state of a rider | |
| KR102174198B1 (en) | Apparatus and Method for Communicating with a Pet based on Internet of Things(IoT), User terminal therefor | |
| Martin et al. | Smiles as multipurpose social signals | |
| AU2014236686B2 (en) | Apparatus and methods for providing a persistent companion device | |
| Hirskyj-Douglas et al. | Seven years after the manifesto: Literature review and research directions for technologies in animal computer interaction | |
| US20180144649A1 (en) | Smart toy interaction using image analysis | |
| CN112199002B (en) | Interaction method and device based on virtual role, storage medium and computer equipment | |
| KR20190020513A (en) | Pet care method and system using the same | |
| KR102022883B1 (en) | Method and apparatus for providing a graphic user interface that shows behavior and emotion of a pet | |
| US20210406956A1 (en) | Communication system and communication control method | |
| JP2016513918A (en) | Multimedia presentation system | |
| US11832589B2 (en) | Animal communication assistance system | |
| CN104769645A (en) | Virtual companion | |
| KR102255520B1 (en) | Companion animal communication device and system through artificial intelligence natural language message delivery based on big data analysis | |
| US20160066547A1 (en) | Assisted Animal Activities | |
| US11033002B1 (en) | System and method for selecting and executing training protocols for autonomously training an animal | |
| US20150022329A1 (en) | Assisted Animal Communication | |
| North et al. | Frameworks for ACI: animals as stakeholders in the design process | |
| CN111869226A (en) | Display device and control method thereof | |
| US20150107530A1 (en) | Assisted animal activities | |
| KR20230033208A (en) | System and method for communication service using facial expressions learned from images of companion animal | |
| US20170186281A1 (en) | Method for Slot Machine Game Using Advertisement Data Streaming | |
| WO2019225889A1 (en) | Virtual messenger system projecting real conversation counterpart | |
| KR102439152B1 (en) | Internet of Things System for Dog Management | |
| KR102366054B1 (en) | Healing system using equine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |