WO2023163426A1 - 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스 - Google Patents

메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스 Download PDF

Info

Publication number
WO2023163426A1
WO2023163426A1 PCT/KR2023/001940 KR2023001940W WO2023163426A1 WO 2023163426 A1 WO2023163426 A1 WO 2023163426A1 KR 2023001940 W KR2023001940 W KR 2023001940W WO 2023163426 A1 WO2023163426 A1 WO 2023163426A1
Authority
WO
WIPO (PCT)
Prior art keywords
pet
real
time
map
metaverse
Prior art date
Application number
PCT/KR2023/001940
Other languages
English (en)
French (fr)
Inventor
양두환
조성호
Original Assignee
주식회사 펌킨컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220070327A external-priority patent/KR20230127828A/ko
Application filed by 주식회사 펌킨컴퍼니 filed Critical 주식회사 펌킨컴퍼니
Publication of WO2023163426A1 publication Critical patent/WO2023163426A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Definitions

  • the present invention relates to a real-time pet status check method using metaverse and a device performing the same. More specifically, the indoor space where the pet is located is implemented as a virtual space, and the current status of the pet's real-time location, movement, emotion, etc. can be checked and monitored in the implemented virtual space. It relates to a method for checking animal status and a device for performing the same.
  • the monitoring method using CCTV has a problem in that it is not possible to observe the pet out of the camera's field of view, and the pet's health, emotion, exercise state, etc. cannot be monitored, and only the pet's image can be checked.
  • the present invention is intended to solve the above-mentioned problems, by constructing an indoor space as a metaverse space, and showing the movement and state of pets in the room in the metaverse space, the state of pets in the house without time and place limitations. It is intended to provide a real-time pet status check method using a metaverse that can be checked and a device that performs it.
  • the metaverse shows various current conditions of the pet, such as the real-time location, current emotions, current exercise status, and current health status of the pet through the metaverse, so that the user can monitor all the status of the pet in real time. It is intended to provide a real-time pet status checking method and a device for performing the same.
  • Receiving current information of the pet in real time from an external device; estimating a current state of the pet based on the current information of the pet; and providing the 3D map and information on the estimated current state of the pet to the user terminal so that the user terminal implements the virtual space and indicates the current state of the pet in the virtual space. can do.
  • the receiving of the current information of the pet may include receiving real-time distance information between the pet and each of the location measuring devices from a plurality of location measuring devices installed in the real space, and estimating the current state of the pet.
  • the real-time location of the pet may be calculated on the 3D map based on the real-time distance information.
  • the real-time distance information may be measured using Time of Flight (ToF) of signals transmitted and received between each location measurer and a location tag attached to the pet.
  • TOF Time of Flight
  • each of the location measuring device and the location tag may perform wireless communication using a UWB (Ultra Wide Band) method.
  • UWB Ultra Wide Band
  • the 3D map includes coordinate information of each of the position measuring devices
  • the step of estimating the current state of the pet may include the coordinate information of each of the plurality of position measuring devices and the real-time distance information, A real-time location of the pet may be calculated from the dimensional map.
  • the 3D map may be generated based on the image of the real space and a corner point designated by a user on the image of the real space.
  • 3D coordinates of the designated corner point may be calculated through ray intersection.
  • the generating of the 3D map of the virtual space may include an intersection point between a viewing frustum of the image in the real space and the 3D map at a point corresponding to the viewing frustum, and the real space.
  • the step of receiving the current information of the pet receiving the heartbeat signal and the motion signal of the pet from a smart leash worn on the pet, and estimating the current state of the pet, inferring the emotion of the pet from the heartbeat signal using a first artificial intelligence model; and inferring the movement state of the pet using a second artificial intelligence model from the motion signal and the calculated real-time location of the pet.
  • the current situation of the pet is inferred using a third artificial intelligence model and the future Predicting the situation; may further include.
  • a device that performs a real-time pet status checking method using a metaverse implements an external device and a virtual space that transmits current information of the pet in real time, and the pet Communication unit for communicating with the user terminal indicating the current state of; and at least one processor functionally coupled to the communication unit, wherein the at least one processor generates a 3D map of the virtual space from an image of the real space to correspond to the real space, and the external The current state of the pet is estimated based on the current information of the pet received in real time from the device, and the user terminal implements the virtual space and indicates the current state of the pet in the virtual space.
  • a 3D map and estimated current state information of the pet may be provided to the user terminal.
  • the communication unit receives real-time distance information between the pet and the location measurers, respectively, from a plurality of position measurers installed in the real space, and the at least one processor, based on the real-time distance information, A real-time location of the pet may be calculated from the dimensional map.
  • a real-time pet status checking method using a metaverse and a device performing the same according to an embodiment of the present invention build an indoor space as a metaverse space, and the movement and status of pets in the room are stored in the metaverse space. By showing it, you can check the condition of your household pet without restrictions on time and place.
  • the user can easily build an indoor metaverse environment similar to a real house.
  • the location of the pet located indoors can be accurately identified.
  • the metaverse shows various current conditions of the pet, such as the real-time location, current emotions, current exercise status, and current health status of the pet, so that the user can monitor all conditions of the pet in real time.
  • FIG. 1 is a schematic diagram of a system environment for performing a real-time pet status checking method using a metaverse according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a system environment for performing a real-time pet status checking method using a metaverse according to an embodiment of the present invention.
  • FIG. 3 is a schematic diagram showing the concept of a real-time pet status checking method using a metaverse according to an embodiment of the present invention.
  • FIG. 4 is a view showing a smart leash attached to a pet according to an embodiment of the present invention.
  • FIG. 5 is a view showing a smart leash according to an embodiment of the present invention.
  • FIG. 6 is a block diagram showing the configuration of a smart leash according to an embodiment of the present invention.
  • FIG. 7 is a view showing a position measuring device installed in an indoor space according to an embodiment of the present invention.
  • FIG. 8 is a block diagram showing the configuration of a device according to an embodiment of the present invention.
  • FIG. 9 is a flowchart of a real-time pet status checking method using a metaverse according to an embodiment of the present invention.
  • FIG. 10 is a schematic diagram illustrating a concept in which a device according to an embodiment of the present invention generates a 3D map using an image of a real space.
  • FIG. 11 is a schematic diagram illustrating a concept in which a device according to an embodiment of the present invention performs image mapping using an image of a real space.
  • FIG. 12 is a flowchart of a method for estimating emotional and motion states of a pet according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating steps in which a third artificial intelligence determines a current situation and a future situation of a pet according to an embodiment of the present invention.
  • FIG. 14 is a schematic diagram illustrating a concept in which a device according to an embodiment of the present invention determines a state and situation of a pet using an artificial intelligence model.
  • 15 is a schematic diagram for explaining an algorithm for estimating a current emotion of a pet by a first artificial intelligence model according to an embodiment of the present invention.
  • 16 is a diagram illustrating contents of heart rate variability feature data according to an embodiment of the present invention.
  • FIG. 17 is a schematic diagram illustrating content inferring emotion by a first artificial intelligence model generated using collational learning of an estimator according to an embodiment of the present invention.
  • each component is listed and described as each component for convenience of description, and at least two components of each component may be combined to form one component, or one component may be divided into a plurality of components to perform a function.
  • An integrated embodiment and a separate embodiment of each of these components are also included in the scope of the present invention unless departing from the essence of the present invention.
  • FIG. 1 is a schematic diagram of a system environment for performing a real-time pet status checking method using a metaverse according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of a real-time pet using a metaverse according to an embodiment of the present invention. It is a block diagram showing the configuration of the system environment that performs the status check method.
  • 3 is a schematic diagram showing the concept of a real-time pet status checking method using a metaverse according to an embodiment of the present invention
  • FIG. 4 shows a smart leash attached to a pet according to an embodiment of the present invention. is the drawing shown.
  • 5 is a diagram showing a smart leash according to an embodiment of the present invention
  • FIG. 6 is a block diagram showing the configuration of a smart leash according to an embodiment of the present invention.
  • 7 is a view showing a position measuring device installed in an indoor space according to an embodiment of the present invention
  • FIG. 8 is a block diagram showing the configuration of a device according to an embodiment of the present invention.
  • the system environment for performing the real-time pet status checking method using the metaverse includes a device 100, an external device, a smart leash 200, and a location measuring device. (300) and a user terminal (400).
  • the device 100 is a device that performs a real-time pet status checking method using the metaverse, and receives various information through communication with the smart leash 200, the location measuring device 300, and the user terminal 400 to actually A 3D map 2 of the virtual space corresponding to the space 1 may be created, or the current state of the pet 10 may be estimated.
  • the current state of the pet 10 may include a current location, a current emotion, a current movement, a current health state, and the like of the pet 10 .
  • the smart leash 200 is a device for collecting current information of the pet 10 in order for the device 100 to estimate the current state of the pet 10, and includes a belt 210, a control box 220, and heart rate measurement.
  • a sensor 230 may be included.
  • the current information of the pet 10 may include a current heartbeat signal, a movement signal including acceleration and rotation states, and a current location of the pet 10 .
  • the control box 220 includes an IMU (Inertial Measurement Unit) sensor 221, a heart rate sensor 230 for measuring the acceleration and rotation of the pet 10, in order to collect current information of the pet 10, and It may include a communication module 222 for transmitting IMU sensor 221 data to the device 100 and a location tag 223 for measuring distances (d 1 , d 2 , d 3 ) with the location finder 300. there is.
  • the control box 220 may further include a microphone 224 for acquiring the voice of the pet (10).
  • the location measuring device 300 is an anchor installed in the indoor space to determine the location of the pet 10 in the room, and may be installed in plurality. In one embodiment, each position measuring device 300 measures the distance to the smart leash 200, and the device 100 measures each distance (d 1 , d 2 , d 3 ) using the pet indoors. Information on each distance (d 1 , d 2 , d 3 ) measured by the device 100 may be transmitted to determine the current location of the animal 10 .
  • An anchor is a communication device fixed at a specific point, and a location tag 223 communicating with the anchor may be provided in the smart leash 200 that moves in real time.
  • the position measuring device 300 and the smart leash 200 may measure each distance (d 1 , d 2 , d 3 ) using UWB (Ultra Wide Band) positioning.
  • UWB technology is a wireless communication technology that uses a very wide frequency bandwidth of up to 500 MHz. Because it uses an ultra-wide frequency bandwidth, it is possible to measure very detailed distances. can be utilized for
  • the position finder 300 communicates with the smart leash 200 through a UWB communication protocol to measure each distance (d 1 , d 2 , d 3 ) using the arrival time of a communication wave or using the transfer transmission/reception angle of an antenna.
  • the position measuring device 300 may use TWR (Two Way Ranging) and TDOA (Time Difference Of Arrival) methods when measuring distance using radio wave arrival time, and when measuring distance using signal angle, signal arrival angle AoA (Angle of Arrival) method that utilizes can be used.
  • the TWR method is a method in which transmitting and receiving devices are connected point-to-point and measure distance in two-way communication, and the distance between both ends can be calculated by measuring the signal transmission time.
  • the location finder 300 exchanges a message including time information between the transmitter and receiver with the location tag 223, and uses Time of Flight (ToF) to determine the current real-time distance (d) between the location finder 300 and the location tag 223. 1 , d 2 , d 3 ) can be measured.
  • TOF Time of Flight
  • the TDOA method may be a method in which the positioning target smart leash 200 unidirectionally transmits a signal to the position finder 300 to measure the distance.
  • the smart leash 200 broadcasts a message in all directions, and a plurality of position measuring devices 300 in the vicinity may receive the message.
  • the device 100 may determine the location of the smart leash 200 by collecting data of the entire location measuring devices 300 and calculating a time difference between each location measuring device 300 . Therefore, unlike the TWR method, the TDOA method may require time synchronization between the position measuring device 300 and the smart leash 200.
  • the position measuring device 300 transmits the measured distance (d 1 , d 2 , d 3 ) information to the device 100 in real time, and the device 100 receives the distance (d 1 , d 2 ) from the position measuring device 300. , d 3 )
  • the location tag 223, that is, the real-time location of the pet 10 may be estimated using triangulation based on the information. In this embodiment, since the device 100 calculates the location of the location tag 223 using a triangulation method, at least three or more location measuring devices 300 may be required.
  • the user terminal 400 is a terminal used by a user, and acquires an image of a real space so that the device 100 generates a 3D map 2 and transmits the image to the device 100, or 3 images received from the device 100. Based on the dimensional map (2), an indoor metaverse space (3), which is a virtual space, can be implemented. In addition, the current state of the pet 10 received from the device 100 can be displayed in the indoor metaverse space 3 implemented.
  • Device 100 may include a processor 110, a communication unit 120 and a memory 130.
  • the device 100 may communicate with the smart leash 200 , the location measuring device 300 and the user terminal 400 through the communication unit 120 .
  • the communication unit 120 may have different communication protocols for communicating with each device according to an embodiment.
  • the memory 130 may store a program, application, or command for performing a real-time pet status check method using the metaverse, or may store the smart leash 200, the location measuring device 300, and the user terminal 400. It can store transmitted and received information.
  • the processor 110 may perform a real-time pet status check method using a metaverse using programs, applications, commands, or various information stored in the memory 130 .
  • a portion described as being performed by the device 100 may be understood as being performed by the processor 110 of the device 100 .
  • the device 100 and the user terminal 400 include a smart phone, a tablet computer, a desktop computer, a laptop computer, a workstation, a server computer, It may be one of personal digital assistants (PDAs), portable computers, handheld game devices, navigation devices, smart TVs, wearable devices, and vehicle computers, but is not limited thereto.
  • PDAs personal digital assistants
  • portable computers handheld game devices, navigation devices, smart TVs, wearable devices, and vehicle computers, but is not limited thereto.
  • FIG. 9 is a flowchart of a real-time pet status checking method using a metaverse according to an embodiment of the present invention
  • FIG. 10 is a 3D map using a real space image by a device according to an embodiment of the present invention. It is a schematic diagram showing the concept of creation.
  • 11 is a schematic diagram illustrating a concept in which a device according to an embodiment of the present invention performs image mapping using an image of a real space.
  • the pet state checking method includes generating a 3D map 2 of the virtual space (S110), receiving current information of the pet 10 (S120), and estimating the current state of the pet 10. It may include a step (S130) and a step (S140) of providing the 3D map 2 and information on the estimated current state of the pet 10 to the user terminal 400.
  • the step of generating the 3D map 2 of the virtual space (S110) is, from the image 21 of the real space to correspond to the real space where the pet 10 is located 3 of the virtual space It may be a step of generating a dimensional map (2).
  • the real space may mean an indoor space of a house.
  • the device 100 captures the image 21 of the real space and the image 21 of the real space from the user terminal 400.
  • the IMU (Inertial Measurement Unit) sensor information 22 is received, and based on this, the location of the user and the location of each feature can be determined and corrected in real time using SLAM (24, Simultaneous localization and mapping).
  • the device 100 may generate the 3D map 2 by using the previously designated corner points 23 included in the image 21 of the real space and transmitted as feature point data.
  • the pre-designated corner point 23 may be designated on the real space image 21 by a user.
  • the user may take a picture using the camera of the user terminal 400 so that the corner portion of the wall surface appears, and display the corner point in each picture.
  • the device 100 may reduce a calculation processing load by calculating the 3D coordinates 25 of the designated corner point 23 through ray intersection.
  • the viewing frustum 31 of the image in the real space and the 3D map 2 of a point corresponding to the viewing frustum 31 By calculating the coordinates of the intersection point 32 and the designated corner point 23 of the image 21 in the real space, the image segments 33-1 and 33-2 of the wall of the 3D map 2 are extracted. Mapping can be done.
  • the device 100 of the present invention allows the user to create a metaverse space, which is a virtual space of the real space, simply by capturing an image of the real space.
  • receiving the current information of the pet 10 may be a step of receiving the current information of the pet 10 in real time from the external device (200, 300).
  • the external devices 200 and 300 are the smart leash 200 and the location measuring device 300
  • the device 100 is the current real-time heart rate signal and movement signal of the pet 10 from the smart leash 200. and receive current real-time distance information between the location measuring device 300 and the pet 10 from each location measuring device 300 .
  • the step of estimating the current state of the pet 10 is, the current real-time heart rate signal, movement signal and location of the pet 10 and the pet 10 It may be a step of estimating the current state of the pet 10 using current real-time distance information.
  • the device 100 uses the distance between the location measuring device 300 and the smart leash 200 received from each location measuring device 300
  • the position of the pet 10 may be estimated by performing triangulation on the 3D map 2 .
  • the device 100 calculates the location of the pet 10 on the 3D map by substituting each distance information received based on the generated 3D map 2 and the coordinate information on which the location finder is installed on the 3D map.
  • the user terminal 400 in the step of providing the 3D map 2 and information on the estimated current state of the pet 10 to the user terminal 400 (S140), the user terminal 400 provides the 3D map ( 2) to implement the metaverse space (3) based on and to indicate the current state of the pet (10) in the metaverse space (3), the three-dimensional map (2) and device 100 generated by the device (100) ) may be a step of providing information on the current state of the pet 10 estimated by the user terminal 400 .
  • the user terminal 400 implements the real space 1 where the pet 10 is located as a virtual space metaverse space 3, and the location and emotional state of the pet 10 in the metaverse space 3 , It is possible to expose information such as exercise state so that the user can monitor the state of the pet 10 in real time.
  • FIG. 12 is a flowchart of a method for estimating emotional and motor states of a pet according to an embodiment of the present invention
  • FIG. 13 is a current situation and future situation of a third artificial intelligence pet according to an embodiment of the present invention. It is a flow chart showing the steps of determining.
  • 14 is a schematic diagram illustrating a concept in which a device according to an embodiment of the present invention determines the state and situation of a pet using an artificial intelligence model
  • FIG. 15 is a first artificial intelligence model according to an embodiment of the present invention. It is a schematic diagram to explain the algorithm for estimating the pet's current emotion.
  • FIG. 16 is a diagram showing the contents of heart rate variability feature data according to an embodiment of the present invention
  • FIG. It is a schematic diagram showing the contents of the inference.
  • the step of estimating the current state of the pet 10 is to infer the emotion of the pet 10 using the first artificial intelligence model from the heart rate signal. It may include a step (S131) and a step (S132) of inferring the movement state of the pet 10 by using the second artificial intelligence model from the motion signal and the calculated real-time location of the pet 10.
  • the device 100 may extract heart rate variance feature data based on the heart rate signal received from the smart leash 200.
  • the heart rate variability feature data is a numerical value used for heart rate variability (HRV) analysis.
  • Heart rate variability (HRV) analysis may include information such as Mean_NNI, SDNN, pNN50, RMSSD, Median_NN, Mean_HR, STD_HR, LF/HF ratio, and SampEn. Description of the corresponding value is described in the table shown in FIG. 16, and specific details will be omitted since HRV analysis is a well-known technique.
  • the device 100 may estimate the emotion of the pet based on the extracted heart rate variability feature data using the first artificial intelligence model 510 that has been learned in advance.
  • the first artificial intelligence model 510 may be a classification model learned with the heart rate variability feature data labeled with different emotional states.
  • supervised learning may be used for learning
  • classification model may be a multilayer extreme learning machine (MLELM).
  • the first artificial intelligence model 510 may be generated using contrastive learning in which the extracted heart rate variability feature data is grouped by predetermined time zone.
  • contrastive learning in which the extracted heart rate variability feature data is grouped by predetermined time zone.
  • unsupervised learning based on collational learning that learns a process of clustering similar features may be used.
  • clustering learning based on a time window frame can be effective.
  • the device 100 uses the second artificial intelligence model 520 based on the motion signal received from the smart leash 200 to pet 10 ) can be estimated.
  • the exercise state may be divided into a 'resting state', a 'walking state', and a 'running state'.
  • the motion signal may include one or more of a 3-axis acceleration signal and a 3-axis rotation signal according to time.
  • the device 100 may analyze the voice information of the pet 10 obtained from the smart leash 200 .
  • the device 100 may analyze the health information of the pet 10 based on the exercise state or voice information of the pet 10 using this, and the pet 10 from the calculated heart rate of the pet 10 It is also possible to estimate the emotion of the pet 10 by further including the motion state or voice information of the.
  • the step of estimating the current status of the pet in the step of estimating the current status of the pet (S130), The current situation of the pet is inferred using the third artificial intelligence model 530 based on the emotions of the pet inferred by the first artificial intelligence model 510 and the exercise state inferred by the second artificial intelligence model 520. and predicting a future situation (S150) may be further included.
  • the device 100 includes the current emotional state, current health state, current movement state, current movement state, and current movement of the pet 10 inferred using the first artificial intelligence model 510 and the second artificial intelligence model 520.
  • the current situation of the pet is inferred based on each of the inferred states, and the future situation of the pet can be predicted by complexly recognizing the inferred current situation.
  • the device 100 may infer that the current pet is 'running at high speed in an angry and excited state' based on each state inferred using the third artificial intelligence model 530 .
  • the device 100 uses the third artificial intelligence model 530, based on the currently inferred situation, 'excited time is long during the day, and there are many cases of running during the excited time, so excessive exercise compared to body weight is performed. Therefore, it is possible to predict the future situation of the pet, such as 'there is a high possibility of strain on the leg joints'.
  • the device 100 uses the first artificial intelligence model 510 and the second artificial intelligence model 520 to infer the current state of the pet, such as emotions and motions, and based on the inferred current state, the third artificial intelligence By predicting the future situation using the intelligence model 530, it is possible to provide the user with an advanced pet companion environment and to buy time to respond to the future situation.
  • the real-time pet status checking method using the metaverse of the present invention and the device performing the same can stably measure the pet's heart rate and exercise status, and based on this, continuously and accurately monitor the pet's emotional and health status. can do.
  • a service that allows pets and humans to communicate can be provided based on emotion estimation.
  • various embodiments described in this specification may be implemented by hardware, middleware, microcode, software, and/or combinations thereof.
  • various embodiments may include one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), ), processors, controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or combinations thereof.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • processors controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or combinations thereof.
  • Such hardware and the like may be implemented within the same device or within separate devices to support the various operations and functions described herein. Additionally, components, units, modules, components, etc., described as "-units" in the present invention may be implemented together or separately as separate but interoperable logic devices. Depiction of different features for modules, units, etc. is intended to highlight different functional embodiments and does not necessarily mean that they must be realized by separate hardware components. Rather, functionality associated with one or more modules or units may be performed by separate hardware components or integrated within common or separate hardware components.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Physiology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Environmental Sciences (AREA)
  • Cardiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Animal Husbandry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스가 개시된다. 본 발명의 일 실시예에 따른, 애완동물의 현재 상태를 가상공간에서 나타내도록 디바이스가 수행하는 메타버스를 활용한 실시간 애완동물 상태확인 방법은, 상기 애완동물이 위치하는 실제공간에 대응되도록 상기 실제공간의 이미지로부터 상기 가상공간의 3차원 맵(Map)을 생성하는 단계, 외부 장치로부터 실시간으로 상기 애완동물의 현재 정보를 수신하는 단계, 상기 애완동물의 상기 현재 정보를 기초로 상기 애완동물의 현재 상태를 추정하는 단계 및 사용자 단말기가 상기 가상공간을 구현하고 상기 가상공간에서 상기 애완동물의 현재 상태를 나타내도록, 상기 3차원 맵 및 추정한 상기 애완동물의 현재 상태의 정보를 상기 사용자 단말기에게 제공하는 단계를 포함한다.

Description

메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스
본 발명은 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스에 관한 것이다. 더 자세하게는, 애완동물이 위치한 실내공간을 가상공간으로 구현하고, 구현한 가상공간에서 애완동물의 실시간 위치, 움직임, 감정 등의 현재 상태를 확인하고 모니터링할 수 있는, 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스에 관한 것이다.
애완동물을 양육하는 가구는 지속해서 증가하는 추세이다. 이 같은 추세에 맞춰 애완동물과 관련된 서비스를 제공하는 펫 테크 기술은 꾸준히 제시되고 있다. 특히, CCTV를 이용하여 집 내에서 홀로 남겨진 애완동물을 모니터링하는 펫 테크 기술에 대한 수요가 증가하고 있다.
그러나 CCTV를 이용한 모니터링 방법은 카메라의 화각에서 벗어난 애완동물을 관찰할 수 없을 뿐 아니라, 애완동물의 건강, 감정, 운동 상태 등을 모니터링할 수 없고 단순히 애완동물의 영상만 확인가능한 문제가 있다.
따라서, 사용자가 원하는 실시간, 실제적으로 애완동물을 모니터링하는 수요가 만족되지 않는 경우가 많으며, 애완동물의 건강 및 감정에 대한 모니터링에 대한 해결책은 전무한 실정이다.
본 발명은 상술한 문제점을 해결하기 위한 것으로서, 실내 공간을 메타버스 공간으로 구축하고, 실내에서의 애완동물의 움직임과 상태를 메타버스 공간에 보여줌으로써 시간과 장소에 제한없이 집안 애완동물의 상태를 확인할 수 있는 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스를 제공하고자 한다.
또한, 사용자가 용이하게 실제 집안과 유사한 실내 메타버스 환경을 구축할 수 있는 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스를 제공하고자 한다.
또한, 실내에 위치한 애완동물의 위치를 정확히 파악할 수 있는 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스를 제공하고자 한다.
또한, 메타버스를 통해 애완동물의 실시간 위치, 현재 감정, 현재 운동 상태, 현재 건강 상태 등 애완동물의 다양한 현재 상태를 보여줌으로써 사용자가 애완동물의 모든 상태를 실시간으로 모니터링할 수 있는 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스를 제공하고자 한다.
본 발명의 해결 과제들은 이상에서 언급한 내용으로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른, 애완동물의 현재 상태를 가상공간에서 나타내도록 디바이스가 수행하는 메타버스를 활용한 실시간 애완동물 상태확인 방법은, 상기 애완동물이 위치하는 실제공간에 대응되도록 상기 실제공간의 이미지로부터 상기 가상공간의 3차원 맵(Map)을 생성하는 단계; 외부 장치로부터 실시간으로 상기 애완동물의 현재 정보를 수신하는 단계; 상기 애완동물의 상기 현재 정보를 기초로 상기 애완동물의 현재 상태를 추정하는 단계; 및 사용자 단말기가 상기 가상공간을 구현하고 상기 가상공간에서 상기 애완동물의 현재 상태를 나타내도록, 상기 3차원 맵 및 추정한 상기 애완동물의 현재 상태의 정보를 상기 사용자 단말기에게 제공하는 단계;를 포함할 수 있다.
또한, 상기 애완동물의 현재 정보를 수신하는 단계는, 상기 실제공간에 설치된 복수의 위치 측정기로부터, 상기 애완동물과 상기 위치 측정기 각각과의 실시간 거리 정보를 수신하고, 상기 애완동물의 현재 상태를 추정하는 단계는, 상기 실시간 거리 정보를 기초로 상기 3차원 맵에서 상기 애완동물의 실시간 위치를 산출할 수 있다.
또한, 상기 실시간 거리 정보는, 각각의 상기 위치 측정기와 상기 애완동물에 부착된 위치 태그와의 송수신 신호의 ToF(Time of Flight)를 이용하여 측정할 수 있다.
또한, 각각의 상기 위치 측정기와 상기 위치 태그는, UWB(Ultra Wide Band) 방식으로 무선통신을 할 수 있다.
또한, 상기 3차원 맵은, 상기 위치 측정기 각각의 좌표 정보를 포함하고, 상기 애완동물의 현재 상태를 추정하는 단계는, 상기 복수의 위치 측정기 각각의 좌표 정보 및 상기 실시간 거리 정보를 이용하여 상기 3차원 맵에서 상기 애완동물의 실시간 위치를 산출할 수 있다.
또한, 상기 가상공간의 3차원 맵을 생성하는 단계는, 상기 실제공간의 이미지와 상기 실제공간의 이미지 상에서 사용자에 의해 지정된 코너 지점을 기초로 상기 3차원 맵을 생성할 수 있다.
또한, 상기 가상공간의 3차원 맵을 생성하는 단계는, 레이 인터섹션(Ray Intersection)을 통해 상기 지정된 코너 지점의 3차원 좌표를 산출할 수 있다.
또한, 상기 가상공간의 3차원 맵을 생성하는 단계는, 상기 실제공간의 이미지의 뷰잉 프로스텀(Viewing Frustum)과 상기 뷰잉 프로스텀에 대응되는 지점의 상기 3차원 맵과의 교차점 및, 상기 실제공간의 이미지의 상기 지정된 코너 지점의 좌표를 산출하여 상기 3차원 맵의 벽면의 이미지 세그먼트를 추출하여 매핑(Mapping)할 수 있다.
또한, 상기 애완동물의 현재 정보를 수신하는 단계는, 상기 애완동물에 착용되는 스마트 목줄로부터, 상기 애완동물의 심박신호 및 움직임신호를 수신하고, 상기 애완동물의 현재 상태를 추정하는 단계는, 상기 심박신호로부터 제1 인공지능 모델을 이용하여 상기 애완동물의 감정을 추론하는 단계; 및 상기 움직임신호와 산출하는 상기 애완동물의 실시간 위치로부터 제2 인공지능 모델을 이용하여 상기 애완동물의 운동상태를 추론하는 단계;를 포함할 수 있다.
또한, 상기 제1 인공지능 모델이 추론한 상기 애완동물의 감정과 상기 제2 인공지능 모델이 추론한 상기 운동상태에 기초하여 제3 인공지능 모델을 이용하여 상기 애완동물의 현재 상황을 추론하고 미래 상황을 예측하는 단계;를 더 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른, 메타버스를 활용한 실시간 애완동물 상태확인 방법을 수행하는 디바이스는, 상기 애완동물의 현재 정보를 실시간으로 송신하는 외부 장치 및 가상공간을 구현하고 상기 애완동물의 현재 상태를 나타내는 사용자 단말기와 통신하는 통신부; 및 상기 통신부와 기능적으로 결합되는 적어도 하나의 프로세서;를 포함하고, 상기 적어도 하나의 프로세서는, 실제공간에 대응되도록 상기 실제공간의 이미지로부터 가상공간의 3차원 맵(Map)을 생성하고, 상기 외부 장치로부터 실시간으로 수신한 상기 애완동물의 현재 정보를 기초로 상기 애완동물의 현재 상태를 추정하며, 상기 사용자 단말기가 상기 가상공간을 구현하고 상기 가상공간에서 상기 애완동물의 현재 상태를 나타내도록, 상기 3차원 맵 및 추정한 상기 애완동물의 현재 상태의 정보를 상기 사용자 단말기에게 제공할 수 있다.
또한, 상기 통신부는, 상기 실제공간에 설치된 복수의 위치 측정기로부터, 상기 애완동물과 상기 위치 측정기 각각과의 실시간 거리 정보를 수신하고, 상기 적어도 하나의 프로세서는, 상기 실시간 거리 정보를 기초로 상기 3차원 맵에서 상기 애완동물의 실시간 위치를 산출할 수 있다.
본 발명의 일 실시예에 따른 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스는, 실내 공간을 메타버스 공간으로 구축하고, 실내에서의 애완동물의 움직임과 상태를 메타버스 공간에 보여줌으로써 시간과 장소에 제한없이 집안 애완동물의 상태를 확인할 수 있다.
또한, 사용자가 용이하게 실제 집안과 유사한 실내 메타버스 환경을 구축할 수 있다.
또한, 실내에 위치한 애완동물의 위치를 정확히 파악할 수 있다.
또한, 메타버스를 통해 애완동물의 실시간 위치, 현재 감정, 현재 운동 상태, 현재 건강 상태 등 애완동물의 다양한 현재 상태를 보여줌으로써 사용자가 애완동물의 모든 상태를 실시간으로 모니터링할 수 있다.
본 발명의 효과들은 이상에서 언급한 내용으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 메타버스를 활용한 실시간 애완동물 상태확인 방법을 수행하는 시스템 환경의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 메타버스를 활용한 실시간 애완동물 상태확인 방법을 수행하는 시스템 환경의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 메타버스를 활용한 실시간 애완동물 상태확인 방법의 개념을 나타낸 모식도이다.
도 4는 본 발명의 일 실시예에 따른 스마트 목줄이 애완동물에 부착된 모습을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 스마트 목줄을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 스마트 목줄의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 실내 공간에 설치된 위치 측정기를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 디바이스의 구성을 나타낸 블록도이다.
도 9는 본 발명의 일 실시예에 따른 메타버스를 활용한 실시간 애완동물 상태확인 방법의 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 디바이스가 실제공간의 이미지를 이용하여 3차원 맵을 생성하는 개념을 나타낸 모식도이다.
도 11은 본 발명의 일 실시예에 따른 디바이스가 실제공간의 이미지를 이용하여 이미지 매핑을 수행하는 개념을 나타낸 모식도이다.
도 12는 본 발명의 일 실시예에 따른 애완동물의 감정 및 운동상태를 추정하는 방법의 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 제3 인공지능이 애완동물의 현재 상황 및 미래 상황을 판단하는 단계를 나타낸 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 디바이스가 인공지능 모델을 이용하여 애완동물의 상태 및 상황을 판단하는 개념을 나타낸 모식도이다.
도 15는 본 발명의 일 실시예에 따른 제1 인공지능 모델이 애완동물의 현재 감정을 추정하는 알고리즘을 설명하기 위한 모식도이다.
도 16은 본 발명의 일 실시예에 따른 심박변동피처 데이터의 내용을 나타낸 도면이다.
도 17은 본 발명의 일 실시예에 따른 추정부의 대조 학습을 이용하여 생성한 제1 인공지능 모델이 감정을 추론하는 내용을 나타낸 모식도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예가 상세하게 설명된다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고, 도면에서 본 발명의 실시예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도로 사용된 것이 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 명세서에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 이하의 실시예들은 당 업계에서 평균적인 지식을 가진 자에게 보다 명확하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시예에 대하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 메타버스를 활용한 실시간 애완동물 상태확인 방법을 수행하는 시스템 환경의 개략도이고, 도 2는 본 발명의 일 실시예에 따른 메타버스를 활용한 실시간 애완동물 상태확인 방법을 수행하는 시스템 환경의 구성을 나타낸 블록도이다. 도 3은 본 발명의 일 실시예에 따른 메타버스를 활용한 실시간 애완동물 상태확인 방법의 개념을 나타낸 모식도이며, 도 4는 본 발명의 일 실시예에 따른 스마트 목줄이 애완동물에 부착된 모습을 나타낸 도면이다. 도 5는 본 발명의 일 실시예에 따른 스마트 목줄을 나타낸 도면이고, 도 6은 본 발명의 일 실시예에 따른 스마트 목줄의 구성을 나타낸 블록도이다. 도 7은 본 발명의 일 실시예에 따른 실내 공간에 설치된 위치 측정기를 나타낸 도면이며, 도 8은 본 발명의 일 실시예에 따른 디바이스의 구성을 나타낸 블록도이다.
도 1 내지 도 8을 참조하면, 본 발명의 일 실시예에 따른 메타버스를 활용한 실시간 애완동물 상태확인 방법을 수행하는 시스템 환경은 디바이스(100)와 외부 장치인 스마트 목줄(200), 위치 측정기(300) 및 사용자 단말기(400)를 포함할 수 있다.
디바이스(100)는 메타버스를 활용한 실시간 애완동물 상태확인 방법을 수행하는 장치로서, 스마트 목줄(200), 위치 측정기(300) 및 사용자 단말기(400)와 서로 통신을 통해 각종 정보를 수신하여 실제공간(1)에 대응되는 가상공간의 3차원 맵(2)을 생성하거나, 애완동물(10)의 현재 상태를 추정할 수 있다. 여기서, 애완동물(10)의 현재 상태는 애완동물(10)의 현재 위치, 현재 감정, 현재 움직임, 현재 건강 상태 등을 포함할 수 있다.
스마트 목줄(200)은 디바이스(100)가 애완동물(10)의 현재 상태를 추정하기 위해 애완동물(10)의 현재 정보를 수집하는 장치로서, 벨트(210), 컨트롤 박스(220) 및 심박측정센서(230)를 포함할 수 있다. 여기서, 애완동물(10)의 현재 정보는 애완동물(10)의 현재 심박 신호, 가속 및 회전 상태를 포함하는 움직임 신호, 현재 위치 등을 포함할 수 있다. 컨트롤 박스(220)는 애완동물(10)의 현재 정보를 수집하기 위해, 애완동물(10)의 가속 및 회전 상태를 측정하는 IMU(Inertial Measurement Unit) 센서(221), 심박측정센서(230)와 IMU 센서(221) 데이터를 디바이스(100)로 송신하는 통신 모듈(222) 및 위치 측정기(300)와의 거리(d1, d2, d3)를 측정하기 위한 위치 태그(223)를 포함할 수 있다. 또한, 컨트롤 박스(220)는, 실시예에 따라, 애완동물(10)의 음성을 획득하는 마이크(224)도 더 포함할 수 있다.
위치 측정기(300)는 실내에서 애완동물(10)의 위치를 파악하기 위해 실내 공간 내에 설치되는 앵커(Anchor)로서, 복수개가 설치될 수 있다. 일 실시예에 있어서, 각 위치 측정기(300)는 스마트 목줄(200)과의 거리를 측정하고, 디바이스(100)가 측정한 각 거리(d1, d2, d3)를 이용하여 실내에서 애완동물(10)의 현재 위치를 파악하도록 디바이스(100)로 측정한 각 거리(d1, d2, d3) 정보를 송신할 수 있다. 앵커는 특정지점에 고정된 통신 장치이며, 실시간으로 이동하는 스마트 목줄(200)에는 앵커와 통신하는 위치 태그(223)가 마련될 수 있다.
일 실시예에 있어서, 위치 측정기(300)와 스마트 목줄(200)은 UWB(Ultra Wide Band) 측위을 이용하여 각 거리(d1, d2, d3)를 측정할 수 있다. UWB 기술은 500MHz에 이르는 매우 넓은 주파수 대역폭(Bandwidth)을 이용하는 무선통신 기술로, 초광대역의 주파수 대역폭을 사용하기 때문에 매우 세밀한 거리측정이 가능해서, 기존 WIFI나 블루투스로 시도했으나 잘 안되었던 실내 위치 측정에 활용될 수 있다.
예컨대, 위치 측정기(300)는 UWB 통신 프로토콜로 스마트 목줄(200)과 통신하여 통신 전파 도달시간을 이용하거나 안테나의 전사 송수신 각도를 이용하여 각 거리(d1, d2, d3)를 측정할 수 있다. 위치 측정기(300)는 전파 도달시간을 이용하여 거리를 측정할 때는 TWR(Two Way Ranging)과 TDOA(Time Difference Of Arrival) 방식을 이용할 수 있고, 신호각도를 이용하여 거리를 측정할 때는 신호 도달각도를 활용하는 AoA(Angle of Arrival) 방식을 이용할 수 있다.
여기서, TWR 방식은 송수신 장치가 점대점(Point-to-Point)로 연결되어 양방향 통신(Two Way)으로 거리를 측정(Ranging)하는 방식으로, 신호 전송시간을 측정하여 양단 간 거리가 계산될 수 있다. 위치 측정기(300)는 송수신기 간 시간정보가 포함된 메시지를 위치 태그(223)와 교환하여, ToF(Time of Flight)를 이용하여 위치 측정기(300)와 위치 태그(223)와의 현재 실시간 거리(d1, d2, d3)를 측정할 수 있다.
TDOA 방식은 측위대상 스마트 목줄(200)이 신호를 단방향으로 위치 측정기(300)로 전송해서 거리를 측정하는 방식일 수 있다. 스마트 목줄(200)이 전방위로 메시지를 브로드캐스팅하고, 주변에 있는 복수의 위치 측정기(300)가 메시지를 수신할 수 있다. 디바이스(100)는 전체 위치 측정기(300)의 데이터를 모아서 각 위치 측정기(300)간 시간 차이를 계산하여 스마트 목줄(200)의 위치를 파악할 수 있다. 따라서, TDOA 방식을 TWR 방식과 달리 위치 측정기(300)와 스마트 목줄(200)간 시간 동기화가 필요할 수 있다.
위치 측정기(300)는 측정한 거리(d1, d2, d3) 정보를 실시간으로 디바이스(100)에 송신하고 디바이스(100)는 위치 측정기(300)로부터 수신하는 거리(d1, d2, d3) 정보를 기초로 삼각측량을 이용하여 위치 태그(223), 즉 애완동물(10)의 실시간 위치를 추정할 수 있다. 본 실시예에서, 디바이스(100)는 삼각측량 방식을 이용해 위치 태그(223)의 위치를 산출하므로, 적어도 3개 이상의 위치 측정기(300)가 필요할 수 있다.
사용자 단말기(400)는 사용자가 사용하는 단말기로서, 디바이스(100)가 3차원 맵(2)을 생성하도록 실제공간의 이미지를 획득하여 디바이스(100)로 전송하거나, 디바이스(100)로부터 수신한 3차원 맵(2)을 기초로 가상공간인 실내 메타버스 공간(3)을 구현할 수 있다. 또한, 디바이스(100)로부터 수신한 애완동물(10)의 현재 상태를 구현한 실내 메타버스 공간(3)에 나타낼 수 있다.
본 발명의 일 실시예에 따른 디바이스(100)는 프로세서(110), 통신부(120) 및 메모리(130)를 포함할 수 있다.
디바이스(100)는 통신부(120)를 통해 스마트 목줄(200), 위치 측정기(300) 및 사용자 단말기(400)와 통신할 수 있다. 이때, 통신부(120)는 실시예에 따라 각각의 장치와 통신하는 통신 프로토콜은 서로 다를 수 있다.
메모리(130)는 메타버스를 활용한 실시간 애완동물 상태확인 방법을 수행하기 위한 프로그램, 어플리케이션 또는 명령어 등이 저장될 수 있거나, 스마트 목줄(200), 위치 측정기(300) 및 사용자 단말기(400)와 송수신하는 정보를 저장할 수 있다.
프로세서(110)는 메모리(130)에 저장된 프로그램, 어플리케이션, 명령어 또는 각종 정보를 이용하여 메타버스를 활용한 실시간 애완동물 상태확인 방법을 수행할 수 있다. 이하, 디바이스(100)가 수행하는 것으로 설명되는 부분은 디바이스(100)의 프로세서(110)가 수행하는 것으로 이해될 수 있다.
일 실시예에서, 디바이스(100) 및 사용자 단말기(400)는 스마트폰(Smart phone), 태블릿(Tablet) 컴퓨터, 데스크탑(Desktop) 컴퓨터, 랩탑(Laptop) 컴퓨터, 워크스테이션(workstation), 서버 컴퓨터, PDA(Personal Digital Assistants), 포터블(portable) 컴퓨터, 휴대용 게임기, 네비게이션(Navigation) 장치, 스마트 TV, 웨어러블 디바이스(Wearable device), 차량의 컴퓨터 중 하나일 수 있으며, 이들에 제한되지 않는다.
도 9는 본 발명의 일 실시예에 따른 메타버스를 활용한 실시간 애완동물 상태확인 방법의 흐름도이고, 도 10은 본 발명의 일 실시예에 따른 디바이스가 실제공간의 이미지를 이용하여 3차원 맵을 생성하는 개념을 나타낸 모식도이다. 도 11은 본 발명의 일 실시예에 따른 디바이스가 실제공간의 이미지를 이용하여 이미지 매핑을 수행하는 개념을 나타낸 모식도이다.
도 1 내지 도3, 도 9 내지 도 11을 참조하면, 본 발명의 일 실시예에 따른 애완동물(10)의 현재 상태를 가상공간에서 나타내도록 디바이스(100)가 수행하는 메타버스를 활용한 실시간 애완동물 상태확인 방법은, 가상공간의 3차원 맵(2)을 생성하는 단계(S110), 애완동물(10)의 현재 정보를 수신하는 단계(S120), 애완동물(10)의 현재 상태를 추정하는 단계(S130) 및, 3차원 맵(2) 및 추정한 애완동물(10)의 현재 상태의 정보를 사용자 단말기(400)에게 제공하는 단계(S140)를 포함할 수 있다.
일 실시예에 있어서, 가상공간의 3차원 맵(2)을 생성하는 단계(S110)는, 애완동물(10)이 위치하는 실제공간에 대응되도록 실제공간의 이미지(21)로부터 상기 가상공간의 3차원 맵(2)을 생성하는 단계일 수 있다. 여기서, 실제공간은 집의 실내공간을 의미할 수 있다. 가상공간의 3차원 맵을 생성하는 단계(S110)에서, 디바이스(100)는 사용자 단말기(400)으로부터 실제공간의 이미지(21)와 실제공간의 이미지(21)를 촬상할 때의 사용자 단말기(400)의 IMU(Inertial Measurement Unit) 센서 정보(22)를 수신하고, 이를 기초로 SLAM(24, Simultaneous localization and mapping)을 이용하여 사용자의 위치 및 각 피처의 위치를 파악하고 실시간으로 교정할 수 있다. 이때, 디바이스(100)는 실제공간의 이미지(21)에 포함되어 송신되는 미리 지정된 코너 지점(23)을 특징점 데이터로 이용하여 3차원 맵(2)을 생성할 수 있다. 미리 지정된 코너 지점(23)은 사용자에 의해 실제공간 이미지(21) 상에 지정될 수 있다. 이를 위해, 사용자는 사용자 단말기(400)의 카메라를 이용하여 벽면의 코너 부분이 나오도록 사진을 촬영하고, 각각의 사진에서 코너 지점 표시할 수 있다. 디바이스(100)는 레이 인터섹션(Ray Intersection)을 통해 지정된 코너 지점(23)의 3차원 좌표(25)를 산출함으로써 계산 처리 부하를 줄일 수 있다.
또한, 가상공간의 3차원 맵을 생성하는 단계(S110)는, 상기 실제공간의 이미지의 뷰잉 프로스텀(31, Viewing Frustum)과 뷰잉 프로스텀(31)에 대응되는 지점의 3차원 맵(2)과의 교차점(32) 및, 실제공간의 이미지(21)의 지정된 코너 지점(23)의 좌표를 산출하여 3차원 맵(2)의 벽면의 이미지 세그먼트(33-1, 33-2)를 추출하여 매핑(Mapping)할 수 있다.
본 발명의 디바이스(100)는 사용자가 실제공간의 이미지를 촬상하는 것만으로 실제공간의 가상공간인, 메타버스 공간을 생성하게 할 수 있다.
일 실시예에 있어서, 애완동물(10)의 현재 정보를 수신하는 단계(S120)는, 외부 장치(200, 300)로부터 실시간으로 애완동물(10)의 현재 정보를 수신하는 단계일 수 있다. 본 실시예에서, 외부 장치(200, 300)는 스마트 목줄(200) 및 위치 측정기(300)로서, 디바이스(100)는 스마트 목줄(200)로부터 애완동물(10)의 현재 실시간 심박 신호 및 움직임 신호를 수신하고, 각 위치 측정기(300)로부터 해당 위치 측정기(300)와 애완동물(10)과의 현재 실시간 거리 정보를 수신할 수 있다.
일 실시예에 있어서, 애완동물(10)의 현재 상태를 추정하는 단계(S130)는, 애완동물(10)의 현재 실시간 심박 신호, 움직임 신호 및 위치 측정기(300)와 애완동물(10)과의 현재 실시간 거리 정보를 이용하여 애완동물(10)의 현재 상태를 추정하는 단계일 수 있다.
애완동물(10)의 현재 상태를 추정하는 단계(S130)에서, 디바이스(100)는 각각의 위치 측정기(300)에서 수신되는 해당 위치 측정기(300)와 스마트 목줄(200)과의 거리를 이용하여 3차원 맵(2) 상에서 삼각측량을 수행하여 애완동물(10)의 위치를 추정할 수 있다. 디바이스(100)는 생성한 3차원 맵(2)과 3차원 맵 상의 위치 측정기가 설치된 좌표 정보를 기초로 수신한 각각의 거리 정보를 대입하여 3차원 맵 상에서 애완동물(10)의 위치를 산출할 수 있다.
일 실시예에 있어서, 3차원 맵(2) 및 추정한 애완동물(10)의 현재 상태의 정보를 사용자 단말기(400)에게 제공하는 단계(S140)는, 사용자 단말기(400)가 3차원 맵(2)을 기초로 메타버스 공간(3)을 구현하고 메타버스 공간(3)에서 애완동물(10)의 현재 상태를 나타내도록, 디바이스(100)가 생성한 3차원 맵(2) 및 디바이스(100)가 추정한 애완동물(10)의 현재 상태의 정보를 사용자 단말기(400)에게 제공하는 단계일 수 있다. 사용자 단말기(400)는 애완동물(10)이 위치하고 있는 실제 공간(1)을 가상 공간인 메타버스 공간(3)으로 구현하고, 메타버스 공간(3)에서 애완동물(10)의 위치, 감정상태, 운동상태 등의 정보를 노출시켜 사용자가 실시간으로 애완동물(10)의 상태를 모니터링하도록 할 수 있다.
도 12는 본 발명의 일 실시예에 따른 애완동물의 감정 및 운동상태를 추정하는 방법의 흐름도이고, 도 13은 본 발명의 일 실시예에 따른 제3 인공지능이 애완동물의 현재 상황 및 미래 상황을 판단하는 단계를 나타낸 흐름도이다. 도 14는 본 발명의 일 실시예에 따른 디바이스가 인공지능 모델을 이용하여 애완동물의 상태 및 상황을 판단하는 개념을 나타낸 모식도이며, 도 15는 본 발명의 일 실시예에 따른 제1 인공지능 모델이 애완동물의 현재 감정을 추정하는 알고리즘을 설명하기 위한 모식도이다. 도 16은 본 발명의 일 실시예에 따른 심박변동피처 데이터의 내용을 나타낸 도면이며, 도 17은 본 발명의 일 실시예에 따른 추정부의 대조 학습을 이용하여 생성한 제1 인공지능 모델이 감정을 추론하는 내용을 나타낸 모식도이다.
도 9, 도 12 내지 도 17를 참조하면, 애완동물(10)의 현재 상태를 추정하는 단계(S130)는 상기 심박신호로부터 제1 인공지능 모델을 이용하여 애완동물(10)의 감정을 추론하는 단계(S131) 및 움직임신호와 산출하는 애완동물(10)의 실시간 위치로부터 제2 인공지능 모델을 이용하여 애완동물(10)의 운동상태를 추론하는 단계(S132)를 포함할 수 있다.
애완동물(10)의 감정을 추론하는 단계(S131)에서, 디바이스(100)는 스마트 목줄(200)에서 수신되는 심박신호를 기초로 심박변동피처(Heart Rate Variance Feature) 데이터를 추출할 수 있다. 여기서, 상기 심박변동피처 데이터는 심박변이(HRV) 분석에 사용하는 수치값이다.
심박변이(HRV) 분석은, Mean_NNI, SDNN, pNN50, RMSSD, Median_NN, Mean_HR, STD_HR, LF/HF ratio, SampEn 등의 정보를 포함할 수 있다. 해당값에 대한 설명은 도 16에 도시된 표에 기재되어 있으며, 구체적인 내용은 HRV 분석이 공지된 기술이므로 생략하기로 한다.
또한, 디바이스(100)는 미리 학습된 제1 인공지능 모델(510)을 이용하여, 추출한 상기 심박변동피처 데이터를 기초로 애완동물의 감정을 추정할 수 있다. 제1 인공지능 모델(510)은, 서로 다른 감정 상태로 라벨링(Labeling)된 상기 심박변동피처 데이터로 학습된 분류 모델일 수 있다. 이때, 학습은 지도 학습을 이용할 수 있고, 상기 분류 모델은 MLELM(Multilayer Extreme Learning Machine)일 수 있다.
또는, 다른 실시예로, 도 17에 도시된 것과 같이, 제1 인공지능 모델(510)은, 추출한 상기 심박변동피처 데이터를 미리 지정된 시간대별로 묶는 대조 학습(Contrastive leaning)을 이용하여 생성할 수 있다. 이때, 유사한 특징(feature)을 클러스터링하는 과정을 학습하는 대조 학습 기반의 비지도 학습을 이용할 수 있다. 감정의 경우, 가까운 시간대의 감정은 유사하므로 타임 윈도우 프레임(Time Window Frame)기반의 군집(Clustering) 학습은 효과적일 수 있다.
애완동물(10)의 운동상태를 추론하는 단계(S132)에서, 디바이스(100)는 제2 인공지능 모델(520)을 이용하여 스마트 목줄(200)에서 수신되는 움직임신호를 기초로 애완동물(10)의 운동상태를 추정할 수 있다. 여기서, 상기 운동상태는 ‘휴식 상태’, ‘걷는 상태’ 및 ‘달리는 상태’로 구분될 수 있다. 상기 움직임신호는 시간에 따른, 3축 가속도 신호 및 3축 회전 신호 중 하나 이상을 포함할 수 있다. 디바이스(100)는 스마트 목줄(200)에서 획득한 애완동물(10)의 음성 정보를 분석할 수 있다. 디바이스(100)는 이를 이용해 애완동물(10)의 운동상태 또는 음성 정보를 기초로 애완동물(10)의 건강 정보를 분석할 수 있고, 산출한 애완동물(10)의 심박수에서 애완동물(10)의 운동상태 또는 음성 정보를 더 포함하여 애완동물(10)의 감정을 추정할 수도 있다.
도 13에 도시된 것과 같이, 본 발명의 일 실시예에 따른 디바이스(100)가 수행하는 메타버스를 활용한 실시간 애완동물 상태확인 방법은, 애완동물의 현재 상태를 추정하는 단계(S130)에서 제1 인공지능 모델(510)이 추론한 애완동물의 감정과 제2 인공지능 모델(520)이 추론한 운동상태에 기초하여 제3 인공지능 모델(530)을 이용하여 상기 애완동물의 현재 상황을 추론하고 미래 상황을 예측하는 단계(S150)를 더 포함할 수 있다.
디바이스(100)는 제1 인공지능 모델(510)과 제2 인공지능 모델(520)을 이용해 추론한 애완동물(10)의 현재 감정 상태, 현재 건강 상태, 현재 운동 상태, 현재 움직임 상태, 현재 이동 상태 등을 메타버스 공간에서 나타내는 동시에, 추론한 각각의 상태들을 기초로 애완동물의 현재 상황을 추론하고, 추론한 현재 상황을 복합적으로 인지하여 애완동물의 미래 상황을 예측할 수 있다.
예컨대, 디바이스(100)는 제3 인공지능 모델(530)을 이용하여 추론된 각각의 상태들을 기초로 현재 애완동물이'화가 난 흥분한 상태에서 높은 속도로 달리는 상황'이라고 추론할 수 있다. 또한, 디바이스(100)는 제3 인공지능 모델(530)을 이용하여, 현재 추론된 상황에 기초하여 '하루 중 흥분하는 시간이 길고, 흥분하는 시간 동안 달리는 경우가 많아 체중에 비해 과도한 운동이 수행되고 있으므로 다리 관절에 무리가 올 가능성이 높음'과 같은 애완동물의 미래 상황을 예측할 수 있다.
이처럼, 디바이스(100)는 제1 인공지능 모델(510)과 제2 인공지능 모델(520)을 이용하여 애완동물의 감정과 운동 등 현재 상태를 추론하고, 추론한 현재 상태를 기초로 제3 인공지능 모델(530)을 이용해 미래 상황을 예측함으로써, 사용자에게 고도화된 애견 반려 환경 제공할 수 있고, 미래 상황에 대한 대응가능한 시간을 벌어줄 수 있다.
본 발명의 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스는 안정적으로 애완동물의 심박수 및 운동상태를 측정할 수 있고, 이를 기반으로 애완동물의 감정 및 건강상태를 지속적으로 정확하게 모니터링할 수 있다.
또한, 단순히 애완동물의 영상을 실시간으로 확인하는 것이 아니라, 매우 정밀한 실내 측위 기술을 이용하여 실시간으로 애완동물의 움직임을 트레킹하므로 애완동물의 실시간 위치뿐 아니라 실내에서의 애완동물의 생활 패턴의 정보도 획득할 수 있다.
또한, 실제 실내의 공간과 동일한 가상 공간을 메타버스 공간으로 구현함으로써 집 외부에 있더라도 집 내부에 있는 것처럼 애완동물을 케어할 수 있다.
또한, 또한, 말이 통하지 않는(Non-Verbal) 상황에서 애완동물의 이상행동, 건강상태, 질병 상황, 탐지 행동 판별 및 예측할 수 있고, 예측 정보를 이용하여 동물 보험 서비스 등 다양한 펫 테크 분야에 응용할 수 있는 기반을 제공할 수 있다.
또한, 감정 추정을 기반으로 애완동물과 인간이 소통할 수 있는 서비스를 제공할 수도 있다.
본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.
이러한 하드웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 컴포넌트들 내에 통합될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (12)

  1. 애완동물의 현재 상태를 가상공간에서 나타내도록 디바이스가 수행하는 메타버스를 활용한 실시간 애완동물 상태확인 방법으로서,
    상기 애완동물이 위치하는 실제공간에 대응되도록 상기 실제공간의 이미지로부터 상기 가상공간의 3차원 맵(Map)을 생성하는 단계;
    외부 장치로부터 실시간으로 상기 애완동물의 현재 정보를 수신하는 단계;
    상기 애완동물의 상기 현재 정보를 기초로 상기 애완동물의 현재 상태를 추정하는 단계; 및
    사용자 단말기가 상기 가상공간을 구현하고 상기 가상공간에서 상기 애완동물의 현재 상태를 나타내도록, 상기 3차원 맵 및 추정한 상기 애완동물의 현재 상태의 정보를 상기 사용자 단말기에게 제공하는 단계;를 포함하는 것인 메타버스를 활용한 실시간 애완동물 상태확인 방법.
  2. 제1항에 있어서,
    상기 애완동물의 현재 정보를 수신하는 단계는, 상기 실제공간에 설치된 복수의 위치 측정기로부터, 상기 애완동물과 상기 위치 측정기 각각과의 실시간 거리 정보를 수신하고,
    상기 애완동물의 현재 상태를 추정하는 단계는, 상기 실시간 거리 정보를 기초로 상기 3차원 맵에서 상기 애완동물의 실시간 위치를 산출하는 것인 메타버스를 활용한 실시간 애완동물 상태확인 방법.
  3. 제2항에 있어서,
    상기 실시간 거리 정보는, 각각의 상기 위치 측정기와 상기 애완동물에 부착된 위치 태그와의 송수신 신호의 ToF(Time of Flight)를 이용하여 측정하는 것인 메타버스를 활용한 실시간 애완동물 상태확인 방법.
  4. 제3항에 있어서,
    각각의 상기 위치 측정기와 상기 위치 태그는, UWB(Ultra Wide Band) 방식으로 무선통신을 하는 것인 메타버스를 활용한 실시간 애완동물 상태확인 방법.
  5. 제2항에 있어서,
    상기 3차원 맵은, 상기 위치 측정기 각각의 좌표 정보를 포함하고,
    상기 애완동물의 현재 상태를 추정하는 단계는, 상기 복수의 위치 측정기 각각의 좌표 정보 및 상기 실시간 거리 정보를 이용하여 상기 3차원 맵에서 상기 애완동물의 실시간 위치를 산출하는 것인 메타버스를 활용한 실시간 애완동물 상태확인 방법.
  6. 제1항에 있어서,
    상기 가상공간의 3차원 맵을 생성하는 단계는,
    상기 실제공간의 이미지와 상기 실제공간의 이미지 상에서 사용자에 의해 지정된 코너 지점을 기초로 상기 3차원 맵을 생성하는 것인 메타버스를 활용한 실시간 애완동물 상태확인 방법.
  7. 제6항에 있어서,
    상기 가상공간의 3차원 맵을 생성하는 단계는,
    레이 인터섹션(Ray Intersection)을 통해 상기 지정된 코너 지점의 3차원 좌표를 산출하는 것인 메타버스를 활용한 실시간 애완동물 상태확인 방법.
  8. 제6항에 있어서,
    상기 가상공간의 3차원 맵을 생성하는 단계는,
    상기 실제공간의 이미지의 뷰잉 프로스텀(Viewing Frustum)과 상기 뷰잉 프로스텀에 대응되는 지점의 상기 3차원 맵과의 교차점 및, 상기 실제공간의 이미지의 상기 지정된 코너 지점의 좌표를 산출하여 상기 3차원 맵의 벽면의 이미지 세그먼트를 추출하여 매핑(Mapping)하는 것인 메타버스를 활용한 실시간 애완동물 상태확인 방법.
  9. 제2항에 있어서,
    상기 애완동물의 현재 정보를 수신하는 단계는,
    상기 애완동물에 착용되는 스마트 목줄로부터, 상기 애완동물의 심박신호 및 움직임신호를 수신하고,
    상기 애완동물의 현재 상태를 추정하는 단계는,
    상기 심박신호로부터 제1 인공지능 모델을 이용하여 상기 애완동물의 감정을 추론하는 단계; 및
    상기 움직임신호와 산출하는 상기 애완동물의 실시간 위치로부터 제2 인공지능 모델을 이용하여 상기 애완동물의 운동상태를 추론하는 단계;를 포함하는 것인 메타버스를 활용한 실시간 애완동물 상태확인 방법.
  10. 제9항에 있어서,
    상기 제1 인공지능 모델이 추론한 상기 애완동물의 감정과 상기 제2 인공지능 모델이 추론한 상기 운동상태에 기초하여 제3 인공지능 모델을 이용하여 상기 애완동물의 현재 상황을 추론하고 미래 상황을 예측하는 단계;를 더 포함하는 것인 메타버스를 활용한 실시간 애완동물 상태확인 방법.
  11. 메타버스를 활용한 실시간 애완동물 상태확인 방법을 수행하는 디바이스로서,
    상기 애완동물의 현재 정보를 실시간으로 송신하는 외부 장치 및 가상공간을 구현하고 상기 애완동물의 현재 상태를 나타내는 사용자 단말기와 통신하는 통신부; 및
    상기 통신부와 기능적으로 결합되는 적어도 하나의 프로세서;를 포함하고,
    상기 적어도 하나의 프로세서는,
    실제공간에 대응되도록 상기 실제공간의 이미지로부터 가상공간의 3차원 맵(Map)을 생성하고,
    상기 외부 장치로부터 실시간으로 수신한 상기 애완동물의 현재 정보를 기초로 상기 애완동물의 현재 상태를 추정하며,
    상기 사용자 단말기가 상기 가상공간을 구현하고 상기 가상공간에서 상기 애완동물의 현재 상태를 나타내도록, 상기 3차원 맵 및 추정한 상기 애완동물의 현재 상태의 정보를 상기 사용자 단말기에게 제공하는 디바이스.
  12. 제11항에 있어서,
    상기 통신부는, 상기 실제공간에 설치된 복수의 위치 측정기로부터, 상기 애완동물과 상기 위치 측정기 각각과의 실시간 거리 정보를 수신하고,
    상기 적어도 하나의 프로세서는, 상기 실시간 거리 정보를 기초로 상기 3차원 맵에서 상기 애완동물의 실시간 위치를 산출하는 것인 디바이스.
PCT/KR2023/001940 2022-02-25 2023-02-09 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스 WO2023163426A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0025282 2022-02-25
KR20220025282 2022-02-25
KR10-2022-0070327 2022-06-09
KR1020220070327A KR20230127828A (ko) 2022-02-25 2022-06-09 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스

Publications (1)

Publication Number Publication Date
WO2023163426A1 true WO2023163426A1 (ko) 2023-08-31

Family

ID=87766334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/001940 WO2023163426A1 (ko) 2022-02-25 2023-02-09 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스

Country Status (1)

Country Link
WO (1) WO2023163426A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200030326A (ko) * 2018-09-12 2020-03-20 주식회사 케이티 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램
KR102139922B1 (ko) * 2019-08-26 2020-07-31 이경연 반려동물 행동 감시 케어시스템
KR20210015226A (ko) * 2019-08-01 2021-02-10 주식회사 다비오 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법
KR20210080637A (ko) * 2019-12-19 2021-07-01 주식회사 비즈모델라인 인공지능 기반 애완동물의 감정 상태 표시 방법
KR102434203B1 (ko) * 2021-11-05 2022-08-22 주식회사 펫픽 메타버스 플랫폼 네트워킹 기반 실시간 반려동물 모니터링 및 케어를 위한 온라인 펫시터 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200030326A (ko) * 2018-09-12 2020-03-20 주식회사 케이티 단말의 싱글 카메라를 이용한 혼합 현실 제작 방법, 장치 및 컴퓨터 프로그램
KR20210015226A (ko) * 2019-08-01 2021-02-10 주식회사 다비오 객체 인식 기반 실내 측위를 위한 단말장치, 서비스 서버 및 그 방법
KR102139922B1 (ko) * 2019-08-26 2020-07-31 이경연 반려동물 행동 감시 케어시스템
KR20210080637A (ko) * 2019-12-19 2021-07-01 주식회사 비즈모델라인 인공지능 기반 애완동물의 감정 상태 표시 방법
KR102434203B1 (ko) * 2021-11-05 2022-08-22 주식회사 펫픽 메타버스 플랫폼 네트워킹 기반 실시간 반려동물 모니터링 및 케어를 위한 온라인 펫시터 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MYUNG-HEE KIM: "Pet metaverse emerges... Status management in virtual space", PET METAVERSE EMERGES... STATUS MANAGEMENT IN VIRTUAL SPACE, 14 December 2021 (2021-12-14), XP093086830, Retrieved from the Internet <URL:https://n.news.naver.com/mnews/article/030/0002987794> [retrieved on 20230928] *

Similar Documents

Publication Publication Date Title
WO2022186411A1 (ko) 로케이션 기반 스마트홈 제어 방법 및 시스템
Sunny et al. Applications and challenges of human activity recognition using sensors in a smart environment
WO2018217060A1 (en) Method and wearable device for performing actions using body sensor array
US20090198374A1 (en) Nursing system
CN106092091B (zh) 电子机器设备
US10789832B2 (en) System and method for preventing false alarms due to display images
WO2022182096A1 (en) Real-time limb motion tracking
CN107160392A (zh) 基于视觉定位和跟随的方法、装置及终端设备和机器人
KR20120103943A (ko) 로봇의 위치 인식 장치 및 방법
Wilson et al. Crossmotion: fusing device and image motion for user identification, tracking and device association
WO2021125578A1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
WO2023027421A1 (ko) 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치
WO2021112283A1 (ko) 홈 로봇 및 홈 디바이스 연동을 통한 스마트 홈 안전 모니터링 시스템
WO2023163426A1 (ko) 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스
WO2024090786A1 (ko) 레이더 데이터에 기반한 낙상 감지 모델의 학습 방법
CN111630346A (zh) 基于图像和无线电词语的移动设备的改进定位
WO2015108401A1 (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
WO2023096394A1 (ko) 자세유형 판별을 위한 서버 및 그 동작방법
KR20230127828A (ko) 메타버스를 활용한 실시간 애완동물 상태확인 방법 및 이를 수행하는 디바이스
WO2022214809A1 (en) Velocity of an individual detected in a video feed provided by a camera serves as criterion for detecting a fall of the individual.
Hamanaka et al. System for Detecting Kindergartners’ Potential Emergency Situations
TWM625774U (zh) 基於深度影像的被照護者行為分析的照護檢測系統
WO2019199035A1 (ko) 시선 추적 시스템 및 방법
JP6839137B2 (ja) 支援装置及びプログラム
WO2015182967A1 (ko) 매칭시스템 및 매칭방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23760300

Country of ref document: EP

Kind code of ref document: A1