WO2022201293A1 - 情報処理装置、情報処理方法、及び、記録媒体 - Google Patents

情報処理装置、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2022201293A1
WO2022201293A1 PCT/JP2021/011934 JP2021011934W WO2022201293A1 WO 2022201293 A1 WO2022201293 A1 WO 2022201293A1 JP 2021011934 W JP2021011934 W JP 2021011934W WO 2022201293 A1 WO2022201293 A1 WO 2022201293A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
pet
message information
server
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/011934
Other languages
English (en)
French (fr)
Inventor
景 新見
広子 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
NEC Solution Innovators Ltd
Original Assignee
NEC Corp
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, NEC Solution Innovators Ltd filed Critical NEC Corp
Priority to US18/269,463 priority Critical patent/US20240048522A1/en
Priority to PCT/JP2021/011934 priority patent/WO2022201293A1/ja
Priority to JP2023508209A priority patent/JPWO2022201293A5/ja
Publication of WO2022201293A1 publication Critical patent/WO2022201293A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Definitions

  • the present invention relates to technology for transmitting messages related to animals.
  • Patent Document 1 describes a system that detects the state of a pet using a sensor terminal, generates first-person utterance data based on the detected data, and uses an interactive SNS to interact with an owner or other users.
  • One object of the present invention is to send appropriate message information to the owner based on the pet's condition.
  • an information processing device includes: determination means for determining the state of the target animal based on the physical quantity of information related to the movement or behavior of the target animal; transmitting means for transmitting message information corresponding to the determined state to the terminal device; Prepare.
  • an information processing method comprises: Determining the state of the target animal based on the physical amount of information related to the movement or behavior of the target animal; Message information corresponding to the determined state is transmitted to the terminal device.
  • the recording medium comprises Determining the state of the target animal based on the physical amount of information related to the movement or behavior of the target animal; A program is recorded that causes a computer to execute a process of transmitting message information corresponding to the determined state to the terminal device.
  • FIG. 1 shows the overall configuration of a communication system to which an information processing device is applied; An example of the floor plan of the owner's house is shown. It is a block diagram which shows the structure of a home system.
  • 2 is a block diagram showing the configuration of a pet terminal;
  • FIG. 3 is a block diagram showing configurations of a server and a user terminal;
  • FIG. An example of judging the state of a pet when using vibration frequency as a physical quantity will be shown.
  • An example of message information according to the state of a pet or a change in the state is shown.
  • 4 shows an example of sending message information by a server.
  • 8 is a flowchart of message information transmission processing;
  • FIG. 11 is a block diagram showing the functional configuration of an information processing apparatus according to a third embodiment;
  • FIG. 10 is a flowchart of processing by an information processing apparatus according to a third embodiment;
  • FIG. 1 shows the overall configuration of a communication system to which an information processing device according to the present disclosure is applied.
  • the communication system 1 includes a home system 100 installed at a pet owner's home 5, a server 200, and a user terminal 300 used by the pet owner.
  • a pet P is staying at the owner's house 5, and a pet terminal 20 is attached to the pet P.
  • - ⁇ A fixed camera 15 is installed at a predetermined place in the home 5.
  • - ⁇ Home system 100 and server 200 can communicate by wire or wirelessly.
  • the server 200 and the owner's user terminal 300 can be wirelessly communicated.
  • the server 200 As a basic operation, the server 200 generates message information regarding the pet P based on the pet P's location, behavior, state, etc. (hereinafter collectively referred to as "pet P state”), It is transmitted to the owner's user terminal 300 via SNS (Social Network Service).
  • SMS Social Network Service
  • “message information” includes text messages, stamps, images, and the like.
  • the server 200 transmits message information that well represents the state of the pet P at that time to the owner's user terminal 300 via the interactive SNS.
  • the owner can know the state of the pet P by viewing the message information transmitted to the user terminal 300 .
  • the generated message information should be based on the pet P's behavior, location, and state. Also, the transmission timing of the message information can be arbitrarily set. For example, message information may be transmitted starting from the pet side when the pet's state changes. Also, the message information may be transmitted based on the owner's request. An interactive dialogue is also possible, such as the pet P returning an image, a message, or a stamp in response to an image or message sent by the owner. For example, when the owner sends a message "Have you eaten?" Also, the message information may be transmitted from the pet side at regular time intervals.
  • Fig. 2 shows an example of the floor plan of the owner's home 5.
  • the home 5 has an entrance, a hall, a bathroom, a toilet, a living room, a kitchen, a balcony, and the like.
  • a door separating each space is basically open, and the pet P can freely move between each space.
  • Each space is provided with a fixed camera 15 for photographing the pet P and the like.
  • a part of the space of the home 5 is designated as a space in which the pet P is not allowed to enter (hereinafter referred to as a "prohibited space").
  • the entry-prohibited space includes a space in which the pet P is not allowed to enter because it is dangerous and a space in which the pet P is not allowed to enter because it is playing a trick.
  • the bathroom, toilet, kitchen, and balcony shown in gray are determined as entry-prohibited spaces.
  • FIG. 3 is a block diagram showing the configuration of the home system 100 installed in the home 5.
  • home system 100 includes home terminal 10 , fixed camera 15 , microphone 16 , automatic feeder 17 , pet toilet 18 , and speaker 19 .
  • the home system 100 does not have to include all of the above configurations, and may have a partial configuration.
  • Home terminal 10 is, for example, a terminal device such as a PC, tablet, or smartphone, and includes communication unit 11 , processor 12 , memory 13 , and recording medium 14 .
  • the communication unit 11 communicates with external devices. Specifically, the communication unit 11 wirelessly communicates with the pet terminal 20 attached to the pet P using, for example, Bluetooth (registered trademark). Also, the communication unit 11 communicates with the server 200 by wire or wirelessly.
  • the processor 12 is a computer such as a CPU (Central Processing Unit), and controls the entire home terminal 10 by executing a program prepared in advance.
  • the processor 12 may be a GPU (Graphics Processing Unit), FPGA (Field-Programmable Gate Array), DSP (Demand-Side Platform), ASIC (Application Specific Integrated Circuit), or the like.
  • Processor 12 transmits information about pets to server 200 by executing a program prepared in advance.
  • the memory 13 is composed of ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the memory 13 stores various programs executed by the processor 12 .
  • the memory 13 is also used as a working memory while the processor 12 is executing various processes.
  • the recording medium 14 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or semiconductor memory, and is configured to be detachable from the home terminal 10 .
  • the recording medium 14 records various programs executed by the processor 12 .
  • home terminal 10 transmits data regarding the state of pet P to server 200
  • a program recorded in recording medium 14 is loaded into memory 13 and executed by processor 12 . Images captured by the fixed camera 15 , sounds collected by the microphone 16 , information received from the pet terminal 20 , and the like are temporarily stored in the memory 13 .
  • the fixed camera 15 is installed at a predetermined position inside the home 5. Basically, a necessary number of fixed cameras 15 are installed so as to cover the entire space in which the pet P can move. be.
  • the fixed camera 15 is always in operation, takes a moving image of the shooting range, and transmits the moving image to the home terminal 10. - ⁇
  • a microphone 16 is installed in each space of the home 5.
  • the microphone 16 may be integrated with the fixed camera 15 .
  • the microphone 16 collects sounds generated in each space and transmits the collected sounds to the home terminal 10 .
  • the home terminal 10 transmits the sound collected by the microphone 16 to the server 200 .
  • the automatic feeder 17 is installed in the dining space of the living room as shown in FIG.
  • the automatic feeder 17 is a device that feeds the pet P when the owner is absent. For example, at a preset time, the automatic feeder 17 automatically feeds food to a pet tableware or the like, and sends a notification to the home terminal 10 that the pet P has been fed.
  • Home terminal 10 transmits a notification from automatic feeder 17 to server 200 .
  • Home terminal 10 also transmits to server 200 an image captured by fixed camera 15 around the time when the notification was received.
  • the pet toilet 18 is installed in the toilet space of the living room as shown in FIG.
  • the pet toilet 18 includes, for example, a water supply sheet and a sensor, detects that the pet P has excreted, and notifies the home terminal 10 of the excretion.
  • Home terminal 10 transmits a notification from pet toilet 18 to server 200 .
  • Home terminal 10 also transmits to server 200 an image captured by fixed camera 15 around the time when the notification was received.
  • the speaker 19 is installed in the living room of the home 5 or in an entry-prohibited space, and outputs warning sounds and messages to the pet P. For example, when the pet P enters a restricted space, if the owner records an angry voice at the pet P (such as "Don't enter there"), even when the owner is not there, the pet can be harassed. The same voice can be output.
  • FIG. 4 is a block diagram showing the configuration of the pet terminal 20 attached to the pet P. As shown in FIG. The pet terminal 20 is attached to the pet instead of the collar of the pet P, or is attached to the collar worn by the pet. Pet terminal 20 includes communication unit 21 , processor 22 , memory 23 , pet camera 24 , acceleration sensor 25 , air pressure sensor 26 , biosensor 27 , and microphone 28 .
  • the communication unit 21 communicates with external devices. Specifically, the communication unit 21 wirelessly communicates with the home terminal 10 by, for example, Bluetooth.
  • the processor 22 is a computer such as a CPU, and controls the entire pet terminal 20 by executing a program prepared in advance.
  • the processor 12 periodically transmits information acquired by the pet camera 24, the sensors 25 to 27, and the microphone 28 to the home terminal 10 by executing a program prepared in advance.
  • the memory 23 is composed of ROM, RAM, and the like.
  • the memory 23 stores various programs executed by the processor 22 .
  • the memory 23 is also used as a working memory while the processor 22 is executing various processes.
  • the memory 23 temporarily stores the information acquired by the pet camera 24, the sensors 25 to 27 and the microphone 28.
  • the pet camera 24 is a camera for capturing images from the pet's line of sight.
  • the pet camera 24 may be configured to detect the orientation of the neck of the pet P to determine the photographing direction, or may be mounted near the head of the pet P, and the front of the pet P may be wide-angle. It may be used as a camera for photographing.
  • the pet camera 24 captures an area including the line-of-sight direction of the pet P and transmits the captured image to the home terminal 10 . Thereby, the home terminal 10 can acquire the image of the pet's line of sight.
  • the acceleration sensor 25 is a 3-axis acceleration sensor, measures the movement of the pet P in 3-axis directions, and transmits the results to the home terminal 10 .
  • the acceleration sensor 25 can output the pet P's exercise amount, vibration frequency, and the like.
  • the server 200 can estimate the amount of activity of the pet P and the like.
  • the atmospheric pressure sensor 26 measures the atmospheric pressure at the location of the pet P and transmits it to the home terminal 10 .
  • the server 200 can detect the vertical movement of the pet P, for example, the number of movements such as jumping, the distance, the accumulated distance, and the like. Also, although not shown in FIG. 4, a gyro sensor may be used.
  • a 6-axis sensor in which a 3-axis acceleration sensor and a 3-axis gyro sensor (a 3-axis angular velocity sensor) are integrated may be used.
  • the sensor is not limited to the above as long as it is a sensor capable of measuring the amount of activity of an animal.
  • the biological sensor 27 is a sensor that measures the biological information of the pet P. For example, the body temperature, heart rate, and respiratory rate of the pet P are measured and transmitted to the home terminal 10 .
  • the home terminal 10 transmits the acquired biometric information to the server 200 .
  • the microphone 28 collects sounds around the pet P and transmits them to the home terminal 10 .
  • the home terminal 10 transmits the collected sound to the server 200 .
  • the server 200 can estimate the state of the pet P, such as barking or barking, based on the received sound.
  • the server 200 can estimate the motion state, mental state, and the like of the pet P based on, for example, sounds of the pet P running around and breathing sounds.
  • FIG. 5A is a block diagram showing the configuration of the server 200. As shown in FIG. The server 200 transmits and receives messages to and from the user terminal 300 using an interactive SNS.
  • the server 200 includes a communication unit 211 , a processor 212 , a memory 213 , a recording medium 214 and a database 215 .
  • the communication unit 211 transmits and receives data to and from an external device. Specifically, the communication unit 211 transmits and receives information between the home terminal 10 and the owner's user terminal 300 .
  • the processor 212 is a computer such as a CPU, and controls the entire server 200 by executing a program prepared in advance. Note that processor 212 may be a GPU, FPGA, DSP, ASIC, or the like. Specifically, the processor 212 transmits message information to the owner's user terminal 300 through the interactive SNS. Processor 212 is an example of determination means and transmission means.
  • the memory 213 is composed of ROM, RAM, and the like. The memory 213 is also used as working memory during execution of various processes by the processor 212 .
  • the recording medium 214 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or a semiconductor memory, and is configured to be removable from the server 200 .
  • a recording medium 214 records various programs executed by the processor 212 .
  • the database 215 stores information and images received from the home terminal 10 through the communication unit 211. That is, message information and images sent and received by many users of the user terminals 300 are stored in the database 215 .
  • the database 215 also stores the transmission timing of message information and prepared message information (for example, predetermined messages, stamps, etc.) for each user.
  • Database 215 is an example of a storage unit.
  • the server 200 may include an input unit such as a keyboard and a mouse, and a display unit such as a liquid crystal display for the administrator or the like to issue instructions or input.
  • FIG. 5B is a block diagram showing the internal configuration of the user terminal 300 used by the owner.
  • the user terminal 300 is, for example, a smartphone, tablet, PC, or the like.
  • User terminal 300 includes communication unit 311 , processor 312 , memory 313 , and touch panel 314 .
  • the communication unit 311 transmits and receives data to and from an external device. Specifically, the communication unit 311 transmits and receives information to and from the server 200 .
  • the processor 312 is a computer such as a CPU, and controls the entire user terminal 300 by executing a program prepared in advance.
  • processor 312 may be a GPU, FPGA, DSP, ASIC, or the like.
  • a messaging application for an interactive SNS executed by the server 200 is installed in the user terminal 300 .
  • a "messaging application” is an application that enables the exchange of message information such as text messages, stamps, still images, and videos.
  • Processor 312 receives the transmitted message information via server 200 by the messaging application and displays it on touch panel 314 .
  • Processor 312 also transmits the message information input by the owner to server 200 using the messaging application.
  • the memory 313 is composed of ROM, RAM, and the like.
  • the memory 313 is also used as working memory during execution of various processes by the processor 312 .
  • the touch panel 314 displays message information received by the user terminal 300 .
  • the touch panel 314 also functions as a user input device.
  • the server 200 transmits appropriate message information to the owner's user terminal 300 based on the state of the pet P.
  • the server 200 determines the state of the pet P based on the magnitude of the physical quantity related to the movement and behavior of the pet P, and transmits message information according to the determined state to the owner's user terminal 300. .
  • the server 200 acquires physical quantities relating to the movement and behavior of the pet P from the pet terminal 20 and determines the state of the pet P.
  • FIG. 6 shows an example of judging the state of a pet when using the vibration frequency acquired from the pet terminal 20 as a physical quantity. Note that the vibration frequency is merely an example of a physical quantity that indicates the state of the pet P, and is not limited to this.
  • FIG. 6 shows a graph of the frequency of the pet P measured by the pet terminal 20.
  • the server 200 classifies the state of the pet P into states 1 to 3 based on the frequency of vibration. Note that this classification is merely an example, and the classification method of the state of the pet P is not limited to this.
  • State 1 is a state in which the value of the vibration frequency is less than the threshold TH1, and the pet P is sleeping.
  • State 2 is a state in which the value of the vibration frequency is equal to or greater than the threshold TH1 and less than the threshold TH2, and is a state in which the pet P makes short or small movements (hereinafter also referred to as "small movement state").
  • State 3 is when the value of the vibration frequency is equal to or greater than the threshold TH2, and is a state in which the pet P makes long or large movements (hereinafter also referred to as a "large movement state"). As shown in FIG. 6, the state of the pet P changes from moment to moment based on changes in the vibration frequency.
  • the server 200 determines message information to be sent to the owner according to the state of the pet P. Note that the server 200 may determine message information according to changes in the state of the pet P over time.
  • FIG. 7 shows an example of message information prepared according to the state of the pet P or a change in the state. Note that the message information in FIG. 7 is merely an example, and message information other than these may be used.
  • the server 200 randomly selects one or a plurality of pieces of message information from a plurality of pieces of message information prepared according to each state or state change, and transmits the message information to the user terminal 300 .
  • the server 200 selects message information indicating that the pet P is sleeping, such as “sleeping” or “sleeping”.
  • state 2 small motion state
  • the server 200 selects message information representing that the pet P is awake and performing daily activities, such as “waking up” or “walking around”.
  • state 3 high movement state
  • the server 200 selects message information indicating that the pet P is in an active state, such as "walk” or “dash”. In this way, by using the magnitude of the physical quantity related to the motion and behavior of the pet P, it is possible to finely determine the state of the pet P, including the magnitude (degree) of the motion and behavior.
  • server 200 selects message information according to the change. For example, as shown in FIG. 7, when the state of the pet P changes from state 1 (sleeping state) to state 2 (slightly moving state), the server 200 outputs a message such as "Wake up” or "Good morning”. Select message information. Also, when the state of the pet P changes from state 2 (small motion state) to state 3 (large motion state), the server 200 selects message information such as "I'm fine! and "I'm having fun.” Message information such as that illustrated in FIG. 7 is similarly selected for other state changes.
  • a text message is used as the message information, but a stamp, an image, or the like may be used.
  • the status of pet P is classified into three, but one status may be further subdivided.
  • state 1 (sleeping state) may be subdivided into "deep sleep”, “light sleep”, “just lying down”, and the like.
  • the server 200 may subdivide the state 1 by subdividing the thresholds used for classifying the states 1-3. For example, when the vibration frequency threshold TH1 is "10", the server 200 determines that the vibration frequencies "0" to "3" are sound sleep, and the vibration frequencies "4" to "7” are light sleep, Vibrations of "8" to "10” may be determined as lying down.
  • the server 200 may combine the value of the vibration frequency and the value of another sensor to determine a subdivided classification.
  • the sleeping state may be subdivided based on the pet P's biological information such as body temperature, heart rate, and respiratory rate.
  • the frequency is used as the physical quantity used to determine the state of the pet P, but various other physical quantities can be used as long as they are physical quantities that indicate information about the movement and behavior of the pet P. can.
  • the amount of activity, acceleration, heart rate, respiration rate, etc. of the pet P can be used instead of the vibration frequency.
  • physical quantities indirectly obtained from other information may be used.
  • the amount of activity of the pet P may be quantified by image analysis processing of images captured by a camera, analysis of sound collected by a microphone, and the like, and the state of the pet P may be determined using this.
  • the state of the pet P is determined based on the frequency, which is one physical quantity, but the state of the pet P may be determined based on a combination of multiple physical quantities.
  • a combination of a plurality of physical quantities may be classified into a plurality of states, and message information may be stored in association with the plurality of states.
  • state determination method is not limited to the method described above.
  • the server 200 basically randomly selects message information prepared for each state or state change of the pet P as illustrated in FIG. 7, and transmits the selected message information to the user terminal 300 of the owner. Also, the server 200 may select message information according to the time or time period instead of selecting message information at random. For example, the server 200 selects "Good morning”, “Wake up”, etc. when the pet P starts its activity in the morning, and selects "Good job", etc. in the evening when the owner's work is likely to end. You may Further, the server 200 may select message information to be transmitted based on a history of message information transmitted in the past. For example, message information sent in the past two to three days may be excluded from options so that the message information to be sent does not become one pattern.
  • the server 200 may select message information to be transmitted according to the attributes of the owner.
  • the owner's attributes include the owner's character, gender, age, and the number of years the pet has been kept.
  • the server 200 prepares in advance corresponding information about the attribute of the owner, the transmission frequency of the message information, the content and type of the message information to be transmitted, and the like. Note that this correspondence information may be generated in advance based on, for example, the results of questionnaires to a large number of pet lovers.
  • the owner sets his own attribute information and stores it in the server 200.
  • - ⁇ Server 200 selects and transmits message information based on the attribute information set by the owner. For example, if the owner is anxious, the server 200 may continuously transmit a plurality of pieces of message information or increase the frequency of message information transmission.
  • the server 200 may change the message information to be sent to the owner according to the attributes and personality of the pet.
  • pet attributes include pet types (eg, dogs, cats, rabbits, hamsters, birds, etc.), pet breeds, ages, genders, personalities, and the like.
  • the personality of the pet may be inferred based on the type, sex, age, etc. of the pet, or may be set in advance by the owner. For example, dogs are relatively obedient to their owners, cats are capricious, and Chihuahuas are small but strong-willed.
  • the server 200 may change the tone of the message information according to the type, age, personality, etc. of the pet P. For example, the server 200 waits for the return of the owner, but if the pet P has a kind personality, it sends message information such as "I wonder if it's time to go home yet.” !” or other message information may be transmitted.
  • the server 200 may occasionally transmit message information unrelated to the pet P status determination result.
  • message information meaningless or message information unrelated to the behavior of the pet P may be sent to the owner about once or twice a day. Thereby, the entertainment value in the dialogue with the pet P can be enhanced.
  • FIG. 8 shows an example of message information transmission by the server 200 .
  • FIG. 8 is a display example of message information on the user terminal 300 of the owner. Assume that the owner's name is "Ichiro" and the pet P's name is "John".
  • the owner sends message information "What are you doing?"
  • the pet P is in the state 1 (sleeping state)
  • the server 200 transmits the message information "Relaxing..” corresponding to the state 1 to the owner, as illustrated in FIG.
  • the owner has sent message information "Are you taking a nap?".
  • the server 200 responds to the change from state 1 to state 2 by saying “wake up”, as illustrated in FIG. Send message information.
  • the owner sends message information "Did you sleep well?"
  • the server 200 responds to the change from state 2 to state 3 by sending the message "I want to go for a walk” as illustrated in FIG. !” is sent.
  • the owner sends message information saying, "Be a good boy and wait for me.”
  • appropriate message information is transmitted to the owner's user terminal 300 according to the state of the pet P or changes in the state, so that the owner can keep up with the state of the pet P that changes from moment to moment. You can see the corresponding message information.
  • FIG. 9 is a flowchart of message information transmission processing executed by the server 200 . This processing is realized by the processor 212 shown in FIG. 5 executing a program prepared in advance.
  • the server 200 receives the output information of each sensor of the pet terminal 20 attached to the pet P, the fixed camera 15, the microphone 16, the automatic feeder 17, the pet toilet 18, etc. from the home terminal 10 (step S11). ).
  • the server 200 determines the state of the pet P based on the information acquired in step S11 (step S12). Specifically, the server 200 determines the state of the pet P based on the physical quantity (the vibration frequency in the above example) included in the information acquired from the home terminal 10 . Next, the server 200 determines message information based on the determined state or state change of the pet P (step S13), and transmits the message information to the owner's user terminal 300 (step S14).
  • the server 200 determines whether or not to end the message information transmission process (step S15).
  • the owner operates the user terminal 300 to turn on the message information transmission processing by the server 200 when going out, and turns off the message information transmission processing when returning home. Therefore, the message information transmission process continues until the owner turns it off, and when the owner turns off the message information transmission process (step S15: Yes), the message information transmission process ends.
  • step S15 is not limited to the above.
  • the server 200 determines whether or not the owner is at home based on the location information of the user terminal 300 or other information, it is possible not to send the message information.
  • the server 200 determines whether or not the owner is at home based on the location information of the user terminal 300, and does not transmit the message information when it is determined that the owner is at home.
  • the owner's position information can be obtained by GPS or the like, for example.
  • the user terminal 300 may determine whether or not the owner is at home by connecting to the home Wi-Fi, and may not transmit the message information if it is determined that the owner is at home.
  • the server 200 performs state analysis and the like based on the information received.
  • the state of the pet P is determined by going there.
  • the home terminal 10 may perform part of the processing for determining the state of the pet, and the processing result may be transmitted to the server 200 .
  • the home terminal 10 may perform feature extraction from the image and transmit the result to the server 200 . Accordingly, the communication load from the home terminal 10 to the server 200 and the processing load on the server 200 can be reduced.
  • ⁇ Second embodiment> information acquired by various devices installed in the home 5 and the pet terminal 20 is transmitted to the server 200, and the server 200 determines the state of the pet P and transmits message information to the user terminal 300. is sending to Alternatively, the functions of the server 200 may be performed by the home terminal 10 of the home system. That is, the home terminal 10 determines the state of the pet P based on information output from various devices installed in the home and the pet terminal 20, determines message information based on the determination result, and sends it to the user terminal 300. You may send.
  • an interactive SNS messaging application is installed on the home terminal 10 .
  • the home terminal 10 determines the state of the pet P, the home terminal 10 transmits message information to the owner's user terminal 300 using the messaging application.
  • the transmitted message information is transmitted to the owner's user terminal 300 by the interactive SNS of the server 200 .
  • the second embodiment is the same as the first embodiment except for the above points.
  • FIG. 10 is a block diagram showing the functional configuration of the information processing apparatus according to the third embodiment.
  • An information processing apparatus 50 of the third embodiment includes determination means 51 and transmission means 52 .
  • the determining means 51 determines the state of the target animal based on the physical quantity of information regarding the movement or behavior of the target animal.
  • the transmitting means 52 transmits message information according to the determined state to the terminal device.
  • FIG. 11 is a flowchart of processing by the information processing device 50.
  • the determining means 51 determines the state of the target animal based on the physical quantity of information regarding the movement or behavior of the target animal (step S31).
  • the transmitting means 52 transmits message information corresponding to the determined state to the terminal device (step S32). According to the information processing device 50 of the third embodiment, appropriate message information according to the state of the target animal can be transmitted to the owner's terminal device.
  • Appendix 2 The information processing apparatus according to appendix 1, wherein the determination means determines the state of the target animal based on the magnitude of the physical quantity.
  • Appendix 3 The information processing apparatus according to appendix 1 or 2, wherein the determination means determines the state of the target animal based on the time change of the physical quantity.
  • the determination means determines to which of a plurality of states the state of the target animal corresponds, 4.
  • the information processing apparatus according to any one of appendices 1 to 3, wherein the transmission means transmits message information corresponding to the determined state.
  • Appendix 5 A storage unit that stores message information in association with each of the plurality of states, 5.
  • the information processing apparatus according to any one of appendices 4, wherein the transmission unit acquires message information corresponding to the determined state from the storage unit and transmits the message information.
  • Appendix 6 The information processing apparatus according to any one of appendices 1 to 5, wherein the transmission means transmits message information according to time or time slot.
  • Appendix 7 The information processing apparatus according to any one of appendices 1 to 5, wherein the physical quantity includes at least one of vibration frequency, acceleration, heart rate, and respiration rate measured by a sensor attached to the target animal.
  • a recording medium recording a program for causing a computer to execute a process of transmitting message information corresponding to a determined state to a terminal device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)

Abstract

情報処理装置は、判定手段と、送信手段とを備える。判定手段は、対象動物の動き又は振る舞いに関する情報の物理量に基づいて対象動物の状態を判定する。送信手段は、判定された状態に応じたメッセージ情報を端末装置へ送信する。

Description

情報処理装置、情報処理方法、及び、記録媒体
　本発明は、動物に関連するメッセージを送信する技術に関する。
　ペットの飼い主は、仕事中や外出時などに、家にいるペットの状態や行動などを把握しておきたいという要求がある。特許文献１は、センサ端末によりペットの状態を検出し、検出データに基づいて一人称の発言データを生成し、対話型ＳＮＳを利用して飼い主や他のユーザとの対話を行うシステムを記載している。
国際公開ＷＯ２０１６／１２５４７８号公報
　特許文献１のようにペットの状態に基づいて対話メッセージを送信する場合、メッセージ送信のトリガとなるペットの状態や行動は様々であるのに対し、飼い主に送信されるメッセージは単純化、ワンパターン化しやすい傾向がある。ペットと快適な対話を楽しむためには、ペットの状態に応じた適切なメッセージを飼い主に送信することが望まれる。
　本発明の１つの目的は、ペットの状態に基づいて適切なメッセージ情報を飼い主に送信することにある。
　上記の課題を解決するため、本発明の一つの観点では、情報処理装置は、
　対象動物の動き又は振る舞いに関する情報の物理量に基づいて前記対象動物の状態を判定する判定手段と、
　判定された状態に応じたメッセージ情報を端末装置へ送信する送信手段と、
　を備える。
　本発明の他の観点では、情報処理方法は、
　対象動物の動き又は振る舞いに関する情報の物理量に基づいて前記対象動物の状態を判定し、
　判定された状態に応じたメッセージ情報を端末装置へ送信する。
　本発明のさらに他の観点では、記録媒体は、
　対象動物の動き又は振る舞いに関する情報の物理量に基づいて前記対象動物の状態を判定し、
　判定された状態に応じたメッセージ情報を端末装置へ送信する処理をコンピュータに実行させるプログラムを記録する。
　本開示によれば、ペットの状態に基づいて適切なメッセージ情報を飼い主に送信することが可能となる。
情報処理装置を適用した通信システムの全体構成を示す。 飼い主の自宅の間取り図の一例を示す。 自宅システムの構成を示すブロック図である。 ペット端末の構成を示すブロック図である。 サーバ及びユーザ端末の構成を示すブロック図である。 物理量として振動数を用いた場合にペットの状態を判定する例を示す。 ペットの状態又は状態の変化に応じたメッセージ情報の例を示す。 サーバによるメッセージ情報の送信例を示す。 メッセージ情報送信処理のフローチャートである。 第３実施形態の情報処理装置の機能構成を示すブロック図である。 第３実施形態の情報処理装置による処理のフローチャートである。
　＜第１実施形態＞
　［全体構成］
　図１は、本開示に係る情報処理装置を適用した通信システムの全体構成を示す。通信システム１は、ペットの飼い主の自宅５に設置された自宅システム１００と、サーバ２００と、飼い主の使用するユーザ端末３００とを含む。飼い主の自宅５には、ペットＰが滞在しており、ペットＰにはペット端末２０が取り付けられている。また、自宅５には所定の場所に固定カメラ１５が設置されている。自宅システム１００とサーバ２００とは、有線又は無線により通信可能である。また、サーバ２００と飼い主のユーザ端末３００とは無線通信可能である。
　基本的な動作として、サーバ２００は、ペットＰの場所、行動、状態など（以下、総称して「ペットＰの状態」とも呼ぶ。）に基づいて、ペットＰに関するメッセージ情報を生成し、対話型ＳＮＳ（Ｓｏｃｉａｌ　Ｎｅｔｗｏｒｋ　Ｓｅｒｖｉｃｅ）を介して飼い主のユーザ端末３００へ送信する。ここで、「メッセージ情報」は、テキストメッセージ、スタンプ、画像などを含むものとする。
　具体的には、サーバ２００は、送信タイミングが来ると、そのときのペットＰの状態をよく表すメッセージ情報を、対話型ＳＮＳを介して飼い主のユーザ端末３００へ送信する。飼い主は、ユーザ端末３００に送信されたメッセージ情報を見ることにより、ペットＰの状態を知ることができる。
　生成されるメッセージ情報は、ペットＰの行動、場所、状態に基づいていればよい。また、メッセージ情報の送信タイミングは任意に設定することができる。例えば、ペットの状態が変化したときに、ペット側が起点となってメッセージ情報が送信されてもよい。また、飼い主の要求に基づいてメッセージ情報が送信されてもよい。飼い主からの画像やメッセージの送信に対して、ペットＰが画像やメッセージやスタンプを返信するような、インタラクティブな対話も可能である。例えば、飼い主が「ご飯食べた？」というメッセージを送信したときに、ペットＰがご飯の画像とスタンプを返信するような対話が可能である。また、ペット側から一定時間間隔でメッセージ情報を送信するようにしてもよい。
　図２は、飼い主の自宅５の間取り図の一例を示す。自宅５は、玄関、ホール、浴室、トイレ、居間、キッチン、バルコニーなどを有する。各スペースを仕切るドアは基本的に解放されており、ペットＰは各スペースを自由に移動することができる。各スペースには、ペットＰの様子などを撮影するための固定カメラ１５が設置されている。自宅５のスペースのうちの一部は、ペットＰが入ってはいけないスペース（以下、「進入禁止スペース」と呼ぶ。）に決められている。なお、進入禁止スペースは、ペットＰにとって危険なので進入させないスペースと、ペットＰが悪戯をするので進入させないスペースとを含む。図２の例では、グレーで示す浴室、トイレ、キッチン、バルコニーが進入禁止スペースに決められている。
　［自宅システム］
　図３は、自宅５に設置される自宅システム１００の構成を示すブロック図である。図３の例では、自宅システム１００は、自宅端末１０と、固定カメラ１５と、マイク１６と、自動給餌器１７と、ペットトイレ１８と、スピーカ１９とを含む。但し、自宅システム１００は上記の構成の全てを含まなくてもよく、一部の構成でもよい。自宅端末１０は、例えば、ＰＣ、タブレット、スマートフォンなどの端末装置であり、通信部１１と、プロセッサ１２と、メモリ１３と、記録媒体１４とを備える。
　通信部１１は、外部装置との通信を行う。具体的に、通信部１１は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などにより、ペットＰに取り付けられたペット端末２０と無線通信する。また、通信部１１は、サーバ２００と有線又は無線により通信する。
　プロセッサ１２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、自宅端末１０の全体を制御する。なお、プロセッサ１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ　Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などであってもよい。プロセッサ１２は、予め用意されたプログラムを実行することにより、ペットに関する情報をサーバ２００へ送信する。
　メモリ１３は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２により実行される各種のプログラムを記憶する。また、メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。
　記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、自宅端末１０に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。自宅端末１０がサーバ２００へペットＰの状態に関するデータを送信する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。また、固定カメラ１５が撮影した画像、マイク１６が集音した音、ペット端末２０から受信した情報などは、一時的にメモリ１３に記憶される。
　固定カメラ１５は、自宅５内の予め決められた位置に設置されている。基本的には、ペットＰが移動できる全スペースをカバーするように必要な数の固定カメラ１５が設置されており、特に固定カメラ１５はペットＰの進入禁止スペース付近を撮影可能な位置に設置される。固定カメラ１５は常時動作しており、撮影範囲の動画を撮影して自宅端末１０へ送信する。
　マイク１６は、自宅５の各スペースに設置される。マイク１６は、固定カメラ１５と一体化されたものでもよい。マイク１６は、各スペースにおいて生じた音を集音し、自宅端末１０へ送信する。自宅端末１０は、マイク１６で集音された音をサーバ２００へ送信する。
　自動給餌器１７は、図２に示すように居間の食事スペースに設けられる。自動給餌器１７は、飼い主が不在のときにペットＰに餌を与える装置である。例えば、自動給餌器１７は、予め設定した時刻になると、ペット用の食器などに自動的に餌を供給するとともに、ペットＰに餌を与えたことを示す通知を自宅端末１０へ送信する。自宅端末１０は、自動給餌器１７からの通知をサーバ２００へ送信する。また、自宅端末１０は、通知を受信した時刻付近で固定カメラ１５が撮影した画像をサーバ２００へ送信する。
　ペットトイレ１８は、図２に示すように居間のトイレスペースに設置される。ペットトイレ１８は、例えば給水シートとセンサなどを備え、ペットＰが排泄したことを検出して、自宅端末１０へ通知する。自宅端末１０は、ペットトイレ１８からの通知をサーバ２００へ送信する。また、自宅端末１０は、通知を受信した時刻付近で固定カメラ１５が撮影した画像をサーバ２００へ送信する。
　スピーカ１９は、自宅５の居間や進入禁止スペースなどに設置され、ペットＰに対する警告音やメッセージなどを出力する。例えば、ペットＰが進入禁止スペースに入ったときに飼い主がペットＰを怒る声（「そこは入っちゃだめだよ。」など）を録音しておけば、飼い主がいないときでも、ペットに対して同じ声を出力することができる。
　［ペット端末］
　図４は、ペットＰに取り付けられるペット端末２０の構成を示すブロック図である。ペット端末２０は、例えばペットＰの首輪の代わりにペットに取り付けられるか、又は、ペットが着けている首輪に対して取り付けられる。ペット端末２０は、通信部２１と、プロセッサ２２と、メモリ２３と、ペットカメラ２４と、加速度センサ２５と、気圧センサ２６と、生体センサ２７と、マイク２８とを備える。
　通信部２１は、外部装置との通信を行う。具体的に、通信部２１は、例えばＢｌｕｅｔｏｏｔｈなどにより自宅端末１０と無線通信する。
　プロセッサ２２は、ＣＰＵなどのコンピュータであり、予め用意されたプログラムを実行することにより、ペット端末２０の全体を制御する。プロセッサ１２は、予め用意されたプログラムを実行することにより、ペットカメラ２４、各センサ２５～２７及びマイク２８により取得した情報を定期的に自宅端末１０へ送信する。
　メモリ２３は、ＲＯＭ、ＲＡＭなどにより構成される。メモリ２３は、プロセッサ２２により実行される各種のプログラムを記憶する。また、メモリ２３は、プロセッサ２２による各種の処理の実行中に作業メモリとしても使用される。さらに、メモリ２３は、ペットカメラ２４、各センサ２５～２７及びマイク２８が取得した情報を一時的に記憶する。
　ペットカメラ２４は、ペット目線の画像を撮影するためのカメラである。ペットカメラ２４は、例えば、ペットＰの首の向きを検出して撮影方向を決定するように構成してもよく、ペットＰの頭部付近に装着してもよく、ペットＰの前方を広角に撮影するカメラとしてもよい。ペットカメラ２４は、ペットＰの視線方向を含む領域を撮影し、撮影画像を自宅端末１０へ送信する。これにより、自宅端末１０はペット目線の画像を取得することができる。
　加速度センサ２５は、３軸の加速度センサであり、ペットＰの３軸方向の運動を測定して自宅端末１０へ送信する。具体的に、加速度センサ２５は、ペットＰの運動量、振動数などを出力することができる。加速度センサ２５の出力に基づいて、サーバ２００は、ペットＰの活動量などを推定することができる。気圧センサ２６は、ペットＰの場所の気圧を測定して自宅端末１０へ送信する。気圧センサ２６の出力に基づいて、サーバ２００ははペットＰの上下方向の動き、例えばジャンプなどの運動の回数、距離、累積距離などを検出することができる。また、図４には図示していないが、ジャイロセンサを用いてもよい。また、３軸加速度センサと３軸ジャイロセンサ（３軸の角速度センサ）が一体となった６軸センサを用いてもよい。なお、センサは、動物の活動量を計測可能なセンサであれば、上記に限定されない。
　生体センサ２７は、ペットＰの生体情報を計測するセンサであり、例えばペットＰの体温、心拍数、呼吸数などを計測して自宅端末１０へ送信する。自宅端末１０は、取得した生体情報をサーバ２００へ送信する。
　マイク２８は、ペットＰの周辺の音を集音し、自宅端末１０へ送信する。自宅端末１０は、集音された音をサーバ２００へ送信する。サーバ２００は、受信した音に基づいて、ペットＰが鳴いている、吠えているなどの状態を推定することができる。サーバ２００は、例えばペットＰが走り回る音や呼吸音などに基づいて、ペットの運動状態や精神状態などを推定することができる。
　［サーバ］
　図５（Ａ）は、サーバ２００の構成を示すブロック図である。サーバ２００は、ユーザ端末３００との間において、対話型ＳＮＳによるメッセージの送受信を実行する。サーバ２００は、通信部２１１と、プロセッサ２１２と、メモリ２１３と、記録媒体２１４と、データベース２１５と、を備える。
　通信部２１１は、外部装置との間でデータの送受信を行う。具体的に、通信部２１１は、自宅端末１０、及び、飼い主のユーザ端末３００との間で情報を送受信する。
　プロセッサ２１２は、ＣＰＵなどのコンピュータであり、予め用意されたプログラムを実行することにより、サーバ２００の全体を制御する。なお、プロセッサ２１２は、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣなどであってもよい。具体的に、プロセッサ２１２は、対話型ＳＮＳによりメッセージ情報を飼い主のユーザ端末３００に送信する。プロセッサ２１２は、判定手段及び送信手段の一例である。
　メモリ２１３は、ＲＯＭ、ＲＡＭなどにより構成される。メモリ２１３は、プロセッサ２１２による各種の処理の実行中に作業メモリとしても使用される。記録媒体２１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、サーバ２００に対して着脱可能に構成される。記録媒体２１４は、プロセッサ２１２が実行する各種のプログラムを記録している。
　データベース２１５は、通信部２１１を通じて自宅端末１０から受信した情報や画像を記憶する。即ち、多数のユーザ端末３００のユーザが送受信したメッセージ情報や画像がデータベース２１５に保存される。また、データベース２１５には、ユーザ毎に、メッセージ情報の送信タイミングや、予め用意されたメッセージ情報（例えば、所定のメッセージ、スタンプなど）を記憶している。データベース２１５は記憶部の一例である。なお、サーバ２００は、管理者などが指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。
　［ユーザ端末］
　図５（Ｂ）は、飼い主が使用するユーザ端末３００の内部構成を示すブロック図である。ユーザ端末３００は、例えばスマートフォン、タブレット、ＰＣなどである。ユーザ端末３００は、通信部３１１と、プロセッサ３１２と、メモリ３１３と、タッチパネル３１４と、を備える。
　通信部３１１は、外部装置との間でデータの送受信を行う。具体的に、通信部３１１は、サーバ２００との間で情報を送受信する。
　プロセッサ３１２は、ＣＰＵなどのコンピュータであり、予め用意されたプログラムを実行することにより、ユーザ端末３００の全体を制御する。なお、プロセッサ３１２は、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣなどであってもよい。具体的に、ユーザ端末３００には、サーバ２００が実行する対話型ＳＮＳ用のメッセージングアプリがインストールされる。「メッセージングアプリ」とは、テキストメッセージ、スタンプ、静止画、動画などのメッセージ情報の交換を可能にするアプリである。プロセッサ３１２は、メッセージングアプリにより、送信されたメッセージ情報をサーバ２００を介して受信し、タッチパネル３１４に表示する。また、プロセッサ３１２は、メッセージングアプリにより、飼い主が入力したメッセージ情報をサーバ２００へ送信する。
　メモリ３１３は、ＲＯＭ、ＲＡＭなどにより構成される。メモリ３１３は、プロセッサ３１２による各種の処理の実行中に作業メモリとしても使用される。タッチパネル３１４は、ユーザ端末３００が受信したメッセージ情報を表示する。また、タッチパネル３１４は、ユーザの入力装置としても機能する。
　［メッセージ情報の送信］
　次に、飼い主のユーザ端末３００へのメッセージ情報の送信について説明する。本実施形態では、サーバ２００は、ペットＰの状態に基づいて適切な内容のメッセージ情報を飼い主のユーザ端末３００へ送信する。より具体的には、サーバ２００は、ペットＰの動きや振る舞いに関する物理量の大きさに基づいてペットＰの状態を判定し、判定された状態に応じたメッセージ情報を飼い主のユーザ端末３００へ送信する。
　（ペットの状態の判定）
　サーバ２００は、ペットＰの動きや振る舞いに関する物理量をペット端末２０から取得し、ペットＰの状態を判定する。図６は、ペット端末２０から取得した振動数を物理量として使用する場合にペットの状態を判定する例を示す。なお、振動数はペットＰの状態を示す物理量の一例に過ぎず、これに限定されるものではない。
　図６は、ペット端末２０が計測したペットＰの振動数のグラフを示す。この例では、サーバ２００は、振動数に基づいてペットＰの状態を状態１～３に分類する。なお、この分類は一例に過ぎず、ペットＰの状態の分類方法はこれに限定されるものではない。状態１は、振動数の値が閾値ＴＨ１未満の場合であり、ペットＰが寝ている状態である。状態２は、振動数の値が閾値ＴＨ１以上、閾値ＴＨ２未満の場合であり、ペットＰが短い動き又は小さい動きを行っている状態である（以下、「小さい動き状態」とも呼ぶ。）。状態３は、振動数の値が閾値ＴＨ２以上の場合であり、ペットＰが長い動き又は大きい動きを行っている状態（以下、「大きい動き状態」とも呼ぶ。）である。図６に示すように、ペットＰの状態は、振動数の変化に基づいて時々刻々と変化する。
　サーバ２００は、ペットＰの状態に応じて飼い主に送信するメッセージ情報を決定する。なお、サーバ２００は、ペットＰの状態の時間変化に応じてメッセージ情報を決定してもよい。図７は、ペットＰの状態又は状態の変化に応じて用意されたメッセージ情報の例を示す。なお、図７のメッセージ情報は単なる例示であり、これら以外のメッセージ情報を用いてもよい。サーバ２００は、各状態又は状態の変化に応じて用意された複数のメッセージ情報から、ランダムに１つ又は複数のメッセージ情報を選択して、ユーザ端末３００へ送信する。
　ペットＰが状態１（寝ている状態）にある場合、サーバ２００は、例えば「睡眠中」、「寝てるよ～」など、ペットＰが寝ている状態であることを表すメッセージ情報を選択する。ペットＰが状態２（小さい動き状態）にある場合、サーバ２００は、例えば「起きてるよ」、「うろうろ」など、ペットＰが起きて日常的な活動を行っていることを表すメッセージ情報を選択する。ペットＰが状態３（大きい動き状態）にある場合、サーバ２００は、例えば「お散歩」、「ダッシュ」など、ペットＰが活動的な状態にあることを表すメッセージ情報を選択する。このように、ペットＰの動きや振る舞いに関する物理量の大きさを用いることで、動きや振る舞いの大きさ（程度）を含めてペットＰの状態を細かく判定することが可能となる。
　また、ペットＰの状態が状態１～３のうちの１つの状態から他の状態に変化した場合、サーバ２００は、その変化に応じたメッセージ情報を選択する。例えば、図７に示すように、ペットＰの状態が状態１（寝ている状態）から状態２（小さい動き状態）に変化した場合、サーバ２００は、「起きた～」、「おはよう」などのメッセージ情報を選択する。また、ペットＰの状態が状態２（小さい動き状態）から状態３（大きい動き状態）に変化した場合、サーバ２００は、例えば「元気！」、「楽しいよ」などのメッセージ情報を選択する。他の状態変化についても同様に図７に例示するようなメッセージ情報が選択される。このように、ペットＰの動きや振る舞いに関する物理量の時間変化を用いることで、時々刻々と変化するペットＰの状態をより詳細に判定することが可能となる。なお、図７の例では、メッセージ情報としてテキストメッセージを用いているが、スタンプや画像などを用いてもよい。
　上記の例では、ペットＰの状態を３つに分類しているが、その１つの状態をさらに細分化してもよい。例えば、状態１（寝ている状態）を、「熟睡」、「浅い睡眠」、「横になっているだけ」などに細分化してもよい。この場合、サーバ２００は、状態１～３の分類に用いた閾値を細分化することにより、状態１を細分化してもよい。例えば、振動数の閾値ＴＨ１が「１０」である場合、サーバ２００は、振動数「０」～「３」を熟睡と判定し、振動数「４」～「７」を浅い睡眠と判定し、振動数「８」～「１０」を横になっているだけと判定してもよい。その代わりに、サーバ２００は、振動数の値と、他のセンサの値などを組み合わせて細分化した分類を決定してもよい。具体的には、振動数の値に加えて、ペットＰの生体情報、例えば体温、心拍数、呼吸数などに基づいて、寝ている状態を細分化してもよい。
　上記の例では、ペットＰの状態の判定に使用する物理量として振動数を使用しているが、ペットＰの動きや振る舞いに関する情報を示す物理量であれば、他の様々な物理量を使用することができる。例えば、振動数の代わりに、ペットＰの活動量、加速度、心拍数、呼吸数などを用いることができる。また、センサなどにより直接計測される物理量だけでなく、他の情報から間接的に得られる物理量を使用してもよい。例えば、カメラの撮影画像に対する画像分析処理や、マイクにより集音した音の分析などによりペットＰの活動量などを数値化し、これを用いてペットＰの状態を判定してもよい。
　上記の例では、１つの物理量である振動数に基づいてペットＰの状態を判定しているが、複数の物理量の組み合わせに基づいてペットＰの状態を判定してもよい。その場合には、複数の物理量の組み合わせを複数の状態に分類し、それら複数の状態に対応付けてメッセージ情報を記憶しておけばよい。
　なお、状態の判定方法は上記で説明した方法に限定されない。
　（メッセージ情報）
　上述のように、サーバ２００は、基本的に図７に例示するようにペットＰの状態又は状態の変化毎に用意したメッセージ情報をランダムに選択し、飼い主のユーザ端末３００へ送信する。また、サーバ２００は、ランダムにメッセージ情報を選択する代わりに、時刻や時間帯に応じてメッセージ情報を選択してもよい。例えば、サーバ２００は、朝にペットＰが活動を開始した場合には「おはよう」、「起きた」などを選択し、飼い主の仕事が終わりそうな夕方の時間帯には「お疲れ様」などを選択してもよい。また、サーバ２００は、過去に送信したメッセージ情報の履歴に基づいて、送信するメッセージ情報を選択してもよい。例えば、送信するメッセージ情報がワンパターンにならないように、過去２～３日の間に送信したメッセージ情報を選択肢から除外してもよい。
　サーバ２００は、飼い主の属性などに応じて、送信するメッセージ情報を選択してもよい。飼い主の属性としては、飼い主の性格、性別、年齢、ペットを飼っている年数などが挙げられる。サーバ２００においては、飼い主の属性と、メッセージ情報の送信頻度や送信するメッセージ情報の内容、種類などについての対応情報を予め用意しておく。なお、この対応情報は、例えば多数のペット愛好家に対するアンケート結果などに基づいて予め生成されてもよい。飼い主は、自分の属性情報を設定してサーバ２００に記憶する。サーバ２００は、飼い主により設定された属性情報に基づいて、メッセージ情報を選択し送信する。例えば、サーバ２００は、飼い主が心配性である場合には、続けて複数のメッセージ情報を送信したり、メッセージ情報の送信頻度を高くしたりしてもよい。
　サーバ２００は、ペットの属性や性格などに応じて、飼い主に送信するメッセージ情報を変化させてもよい。具体的に、ペットの属性とは、ペットの種類（例えば、犬、猫、うさぎ、ハムスター、鳥など）、ペットの品種、年齢、性別、性格などを含む。なお、ペットの性格は、ペットの種類や性別、年齢などに基づいて推測されてもよいし、飼い主によって予め設定されてもよい。例えば、犬は比較的飼い主に従順である、猫は気まぐれである、チワワは体は小さいけど性格は強気であるなどである。
　例えば、サーバ２００は、ペットＰの種類、年齢、性格などに応じて、メッセージ情報の口調を変えてもよい。例えば、サーバ２００は、飼い主の帰りを待つがペットＰがやさしい性格である場合、「帰りはまだかな．．」などのメッセージ情報を送り、ペットＰが強い性格である場合、「はやく帰ってこいよ！」などのメッセージ情報を送信してもよい。
　また、サーバ２００は、時々ペットＰの状態判定の結果に無関係なメッセージ情報を送信してもよい。例えば、１日に１～２回程度、意味のないメッセージ情報やペットＰの振る舞いと関係のないメッセージ情報を飼い主に送信してもよい。これにより、ペットＰとの対話におけるエンターテイメント性を高めることができる。
　（メッセージ情報の送信例）
　図８は、サーバ２００によるメッセージ情報の送信例を示す。図８は、飼い主のユーザ端末３００におけるメッセージ情報の表示例である。なお、飼い主の名前を「一郎」とし、ペットＰの名前を「ジョン」とする。
　まず、飼い主が「何してるの？」というメッセージ情報を送信する。このとき、ペットＰは状態１（寝ている状態）であり、サーバ２００は、図７に例示するように、状態１に対応する「スヤスヤ..」というメッセージ情報を飼い主に送信する。これに対して、飼い主は「お昼寝中か．．」というメッセージ情報を送信している。
　その後、ペットＰの状態が状態１から状態２（小さい動き状態）に変化すると、サーバ２００は、図７に例示するように、状態１から状態２への変化に対応する「起きた～」というメッセージ情報を送信する。これに対し、飼い主は「よく眠れたかい？」というメッセージ情報を送信している。
　その後、ペットＰの状態がさらに状態２から状態３（大きい動き状態）に変化すると、サーバ２００は、図７に例示するように、状態２から状態３への変化に対応する「お散歩行きたい！」というメッセージ情報を送信する。これに対し、飼い主は「いい子で待ってて」というメッセージ情報を送信している。
　その後、ペットＰの状態が状態３から状態２に戻ると、サーバ２００は、図７に例示するように、状態３から状態２への変化に対応する「早く帰ってきて～」というメッセージ情報を送信する。
　このように、本実施形態によれば、ペットＰの状態又は状態の変化に応じて適切なメッセージ情報が飼い主のユーザ端末３００へ送信されるので、飼い主は時々刻々と変化するペットＰの状態に応じたメッセージ情報を見ることができる。
　［メッセージ情報送信処理］
　図９は、サーバ２００が実行するメッセージ情報送信処理のフローチャートである。この処理は、図５に示すプロセッサ２１２が、予め用意されたプログラムを実行することにより実現される。
　まず、サーバ２００は、自宅端末１０から、ペットＰに取り付けられているペット端末２０の各センサ、固定カメラ１５、マイク１６、自動給餌器１７、ペットトイレ１８などの出力情報を受信する（ステップＳ１１）。
　次に、サーバ２００は、ステップＳ１１で取得した情報に基づいて、ペットＰの状態を判定する（ステップＳ１２）。具体的には、サーバ２００は、自宅端末１０から取得した情報に含まれる物理量（上記の例では、振動数）に基づいて、ペットＰの状態を判定する。次に、サーバ２００は、判定したペットＰの状態又は状態の変化に基づき、メッセージ情報を決定し（ステップＳ１３）、飼い主のユーザ端末３００へ送信する（ステップＳ１４）。
　次に、サーバ２００は、メッセージ情報送信処理を終了するか否かを判定する（ステップＳ１５）。通常、飼い主は外出時にユーザ端末３００を操作して、サーバ２００によるメッセージ情報送信処理をオンにし、帰宅したときにメッセージ情報送信処理をオフにする。よって、飼い主がオフにするまでメッセージ情報送信処理が継続され、飼い主がメッセージ情報送信処理をオフにすると（ステップＳ１５：Ｙｅｓ）、メッセージ情報送信処理は終了する。
　なお、ステップＳ１５における処理は上記に限定されない。例えば、サーバ２００は、ユーザ端末３００の位置情報やその他の情報に基づいて飼い主が自宅にいると判定した場合に、メッセ―ジ情報を送信しないようにすることも可能である。具体的には、サーバ２００は、ユーザ端末３００の位置情報に基づいて、飼い主が自宅にいるか否かを判定し、自宅にいると判定された場合にはメッセージ情報を送信しないようにする。なお、飼い主の位置情報は、例えばＧＰＳなどにより取得することができる。また、ユーザ端末３００が自宅のＷｉ－Ｆｉへ接続することにより、飼い主が自宅にいるか否かを判定し、自宅にいると判定された場合にはメッセージ情報を送信しないようにしてもよい。
　［変形例］
　上記の第１実施形態では、基本的に自宅５に設置された各種の装置やペット端末２０により取得された情報がそのままサーバ２００へ送信され、サーバ２００が受信した情報に基づいて状態分析などを行ってペットＰの状態を判定している。その代わりに、ペットの状態を判定するための処理の一部を自宅端末１０で行い、その処理結果をサーバ２００へ送信することとしてもよい。例えば、自宅端末１０側で画像からの特徴量抽出などを行い、その結果をサーバ２００へ送信するようにしてもよい。これにより、自宅端末１０からサーバ２００への通信負荷、及び、サーバ２００における処理負荷を軽減することができる。
　＜第２実施形態＞
　上記の第１実施形態では、自宅５に設置された各種の装置やペット端末２０により取得された情報をサーバ２００へ送信し、サーバ２００がペットＰの状態を判定してメッセージ情報をユーザ端末３００へ送信している。その代わりに、サーバ２００の機能を自宅システムの自宅端末１０が行ってもよい。即ち、自宅端末１０は、自宅に設置された各種の装置やペット端末２０から出力された情報に基づいてペットＰの状態を判定し、判定結果に基づいてメッセージ情報を決定してユーザ端末３００へ送信してもよい。
　この場合、自宅端末１０には対話型ＳＮＳのメッセージングアプリがインストールされる。自宅端末１０は、ペットＰの状態を判定したときに、飼い主のユーザ端末３００を宛先としてメッセージ情報をメッセージングアプリにより送信する。送信されたメッセージ情報は、サーバ２００の対話型ＳＮＳにより、飼い主のユーザ端末３００へ送信される。なお、上記の点以外は、第２実施形態は第１実施形態と同様である。
　＜第３実施形態＞
　図１０は、第３実施形態の情報処理装置の機能構成を示すブロック図である。第３実施形態の情報処理装置５０は、判定手段５１と、送信手段５２とを備える。判定手段５１は、対象動物の動き又は振る舞いに関する情報の物理量に基づいて対象動物の状態を判定する。送信手段５２は、判定された状態に応じたメッセージ情報を端末装置へ送信する。
　図１１は、情報処理装置５０による処理のフローチャートである。判定手段５１は、対象動物の動き又は振る舞いに関する情報の物理量に基づいて対象動物の状態を判定する（ステップＳ３１）。送信手段５２は、判定された状態に応じたメッセージ情報を端末装置へ送信する（ステップＳ３２）。第３実施形態の情報処理装置５０によれば、対象動物の状態に応じた適切なメッセージ情報を飼い主の端末装置へ送信することができる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　対象動物の動き又は振る舞いに関する情報の物理量に基づいて前記対象動物の状態を判定する判定手段と、
　判定された状態に応じたメッセージ情報を端末装置へ送信する送信手段と、
　を備える情報処理装置。
　（付記２）
　前記判定手段は、前記物理量の大きさに基づいて、前記対象動物の状態を判定する付記１に記載の情報処理装置。
　（付記３）
　前記判定手段は、前記物理量の時間変化に基づいて、前記対象動物の状態を判定する付記１又は２に記載の情報処理装置。
　（付記４）
　前記判定手段は、前記対象動物の状態が複数の状態のいずれに該当するかを判定し、
　前記送信手段は、判定された状態に対応するメッセージ情報を送信する付記１乃至３のいずれか一項に記載の情報処理装置。
　（付記５）
　前記複数の状態の各々に対応付けてメッセージ情報を記憶した記憶部を備え、
　前記送信手段は、判定された状態に対応するメッセージ情報を前記記憶部から取得して送信する付記４のいずれか一項に記載の情報処理装置。
　（付記６）
　前記送信手段は、時刻又は時間帯に応じたメッセージ情報を送信する付記１乃至５のいずれか一項に記載の情報処理装置。
　（付記７）
　前記物理量は、前記対象動物に取り付けたセンサにより計測された振動数、加速度、心拍数、呼吸数の少なくとも１つを含む付記１乃至５のいずれか一項に記載の情報処理装置。
　（付記８）
　対象動物の動き又は振る舞いに関する情報の物理量に基づいて前記対象動物の状態を判定し、
　判定された状態に応じたメッセージ情報を端末装置へ送信する情報処理方法。
　（付記９）
　対象動物の動き又は振る舞いに関する情報の物理量に基づいて前記対象動物の状態を判定し、
　判定された状態に応じたメッセージ情報を端末装置へ送信する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態及び実施例を参照して本発明を説明したが、本発明は上記実施形態及び実施例に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０　自宅端末
　１５　固定カメラ
　１６　マイク
　１７　自動給餌器
　１８　ペットトイレ
　１９　スピーカ
　２０　ペット端末
　２４　ペットカメラ
　２７　生体センサ
　１００　自宅システム
　２００　サーバ
　３００　ユーザ端末

Claims (9)

  1. 　対象動物の動き又は振る舞いに関する情報の物理量に基づいて前記対象動物の状態を判定する判定手段と、
    　判定された状態に応じたメッセージ情報を端末装置へ送信する送信手段と、
    　を備える情報処理装置。
  2. 　前記判定手段は、前記物理量の大きさに基づいて、前記対象動物の状態を判定する請求項１に記載の情報処理装置。
  3. 　前記判定手段は、前記物理量の時間変化に基づいて、前記対象動物の状態を判定する請求項１又は２に記載の情報処理装置。
  4. 　前記判定手段は、前記対象動物の状態が複数の状態のいずれに該当するかを判定し、
    　前記送信手段は、判定された状態に対応するメッセージ情報を送信する請求項１乃至３のいずれか一項に記載の情報処理装置。
  5. 　前記複数の状態の各々に対応付けてメッセージ情報を記憶した記憶部を備え、
    　前記送信手段は、判定された状態に対応するメッセージ情報を前記記憶部から取得して送信する請求項４のいずれか一項に記載の情報処理装置。
  6. 　前記送信手段は、時刻又は時間帯に応じたメッセージ情報を送信する請求項１乃至５のいずれか一項に記載の情報処理装置。
  7. 　前記物理量は、前記対象動物に取り付けたセンサにより計測された振動数、加速度、心拍数、呼吸数の少なくとも１つを含む請求項１乃至５のいずれか一項に記載の情報処理装置。
  8. 　対象動物の動き又は振る舞いに関する情報の物理量に基づいて前記対象動物の状態を判定し、
    　判定された状態に応じたメッセージ情報を端末装置へ送信する情報処理方法。
  9. 　対象動物の動き又は振る舞いに関する情報の物理量に基づいて前記対象動物の状態を判定し、
    　判定された状態に応じたメッセージ情報を端末装置へ送信する処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2021/011934 2021-03-23 2021-03-23 情報処理装置、情報処理方法、及び、記録媒体 Ceased WO2022201293A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/269,463 US20240048522A1 (en) 2021-03-23 2021-03-23 Processing device, information processing method, and recording medium
PCT/JP2021/011934 WO2022201293A1 (ja) 2021-03-23 2021-03-23 情報処理装置、情報処理方法、及び、記録媒体
JP2023508209A JPWO2022201293A5 (ja) 2021-03-23 情報処理装置、情報処理方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/011934 WO2022201293A1 (ja) 2021-03-23 2021-03-23 情報処理装置、情報処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2022201293A1 true WO2022201293A1 (ja) 2022-09-29

Family

ID=83396460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011934 Ceased WO2022201293A1 (ja) 2021-03-23 2021-03-23 情報処理装置、情報処理方法、及び、記録媒体

Country Status (2)

Country Link
US (1) US20240048522A1 (ja)
WO (1) WO2022201293A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034377A (ja) * 2000-07-25 2002-02-05 Denso Corp ペットの代行管理方法及びそれを行う管理局及び飼い主の通信端末
JP2006042670A (ja) * 2004-08-04 2006-02-16 Daikin Ind Ltd ペット健康管理システム
WO2016125478A1 (ja) * 2015-02-06 2016-08-11 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
US20200281165A1 (en) * 2019-03-06 2020-09-10 Honeywell International Inc. Pet monitoring system
JP2020170916A (ja) * 2019-04-02 2020-10-15 パナソニックＩｐマネジメント株式会社 情報処理装置、及び、情報処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002034377A (ja) * 2000-07-25 2002-02-05 Denso Corp ペットの代行管理方法及びそれを行う管理局及び飼い主の通信端末
JP2006042670A (ja) * 2004-08-04 2006-02-16 Daikin Ind Ltd ペット健康管理システム
WO2016125478A1 (ja) * 2015-02-06 2016-08-11 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
US20200281165A1 (en) * 2019-03-06 2020-09-10 Honeywell International Inc. Pet monitoring system
JP2020170916A (ja) * 2019-04-02 2020-10-15 パナソニックＩｐマネジメント株式会社 情報処理装置、及び、情報処理方法

Also Published As

Publication number Publication date
JPWO2022201293A1 (ja) 2022-09-29
US20240048522A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
US20240164348A1 (en) Animal collar device for monitoring animal
KR102139922B1 (ko) 반려동물 행동 감시 케어시스템
KR102022893B1 (ko) 반려동물 케어 방법 및 이를 이용하는 시스템
US11026612B2 (en) Information processing system, information processing device, storage medium storing information processing program, and information processing method
US10600303B2 (en) Pet owner evaluation system
AU2014321857B2 (en) Animal monitor
US8890871B2 (en) Method and arrangement for monitoring the path of an animal or a human in the home
JP2016146070A (ja) 情報処理装置、情報処理方法および情報処理システム
KR102022883B1 (ko) 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 방법 및 장치
US20240251758A1 (en) Animal monitoring system, animal monitoring server, animal monitoring method, animal monitoring program, and rectal temperature estimation model
KR20190028021A (ko) 센서 기술을 활용한 애완동물 상태 분석 방법 및 시스템
JP2010068268A (ja) 愛玩動物再現システムおよび愛玩動物再現プログラム
KR20230052343A (ko) 실시간 반려동물 행동 감시 케어시스템
WO2022201293A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
CN111701251A (zh) 一种智能宠物玩具系统
JP7624675B2 (ja) 通信システム
WO2022074828A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
WO2023191044A1 (ja) 動物管理装置、プログラム、及び動物の体調出力方法
WO2022074829A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
WO2023144877A1 (ja) 動物管理支援装置、動物管理支援方法、及び、記録媒体
WO2022074830A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
WO2023119396A1 (ja) 動物行動予測装置、動物行動予測方法、及び、記録媒体
KR20190003148U (ko) 반려동물 헬스케어 제품 및 시스템
KR102845529B1 (ko) 이상 활력징후 탐지에 따른 반려동물 심리안정 시스템
US20260047560A1 (en) Systems for taking care of dog

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21932903

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023508209

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18269463

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21932903

Country of ref document: EP

Kind code of ref document: A1