WO2023187865A1 - 情報処理装置、情報処理方法、及び、記録媒体 - Google Patents

情報処理装置、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2023187865A1
WO2023187865A1 PCT/JP2022/014858 JP2022014858W WO2023187865A1 WO 2023187865 A1 WO2023187865 A1 WO 2023187865A1 JP 2022014858 W JP2022014858 W JP 2022014858W WO 2023187865 A1 WO2023187865 A1 WO 2023187865A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
state
pet
target organism
image
Prior art date
Application number
PCT/JP2022/014858
Other languages
English (en)
French (fr)
Inventor
尊裕 中川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/014858 priority Critical patent/WO2023187865A1/ja
Publication of WO2023187865A1 publication Critical patent/WO2023187865A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present disclosure relates to technology for estimating illness or injury and searching for a coping method.
  • Patent Document 1 describes a health diagnosis device that estimates a pet's illness from a video of the pet.
  • Patent Document 1 Even according to Patent Document 1, it is difficult for pet owners to take appropriate treatment for their pets.
  • One objective of the present disclosure is to provide an information processing device that can provide information necessary for a user to take appropriate treatment for illness or injury.
  • an information processing device includes: an image acquisition means for acquiring an image of the target organism taken with a terminal device; a state estimating means for estimating the state of the target organism from the image using a machine learning model that has learned the relationship between the image of the target organism and the state of the target organism; an information search means for searching for coping information for dealing with the condition of the target organism; output means for outputting the countermeasure information to the terminal device; equipped with
  • an information processing method includes: Obtain an image of the target organism taken with a terminal device, Estimating the state of the target organism from the image using a machine learning model that has learned the relationship between the image of the target organism and the state of the target organism, searching for coping information for dealing with the condition of the target organism; The countermeasure information is output to the terminal device.
  • the recording medium includes: Obtain an image of the target organism taken with a terminal device, Estimating the state of the target organism from the image using a machine learning model that has learned the relationship between the image of the target organism and the state of the target organism, searching for coping information for dealing with the condition of the target organism; A program is recorded that causes a computer to execute a process of outputting the countermeasure information to the terminal device.
  • a user can take appropriate treatment for illness or injury.
  • FIG. 1 shows an overall configuration of a communication system to which an information processing device according to a first embodiment is applied.
  • FIG. 2 is a block diagram showing the configuration of a server and a user terminal.
  • FIG. 2 is a block diagram showing the configuration of a pet terminal.
  • FIG. 2 is a block diagram showing the functional configuration of a server.
  • FIG. 2 is a block diagram showing the functional configuration of the learning device.
  • An example of countermeasure information is shown below.
  • An example of displaying countermeasure information is shown below.
  • It is a flowchart of display processing by an information processing device.
  • It is a block diagram showing the functional composition of modification 1 of a 1st embodiment.
  • FIG. 2 is a block diagram showing the functional configuration of an information processing device according to a second embodiment. It is a flowchart of processing by the information processing device of a 2nd embodiment.
  • FIG. 1 shows the overall configuration of a communication system to which an information processing device according to the present disclosure is applied.
  • Communication system 1 includes a server 200 and a user terminal 300 used by an owner. Further, there is a pet P within a predetermined range of the owner, and a pet terminal 20 is attached to the pet P.
  • the server 200 and the owner's user terminal 300 can communicate wirelessly. Further, the user terminal 300 and the pet terminal 20 can communicate wirelessly. Note that it is not essential to provide the pet terminal 20.
  • the owner makes a predetermined statement such as "hospital”.
  • the user terminal 300 recognizes the owner's predetermined statement, the user terminal 300 activates the camera and shoots a video of the pet P. Then, the user terminal 300 transmits the shot video (hereinafter also referred to as “shot video”) to the server 200.
  • the server 200 estimates the state of the pet P from the video captured by the user terminal 300 by image analysis using AI (Artificial Intelligence) or the like. Then, the server 200 searches for countermeasure information based on the estimated state of the pet P, and transmits the search results to the user terminal 300. This allows the owner to understand how to deal with the illness or injury of the pet P.
  • AI Artificial Intelligence
  • the state of the pet P is the state of the pet P being sick or injured.
  • sick states include coughing, convulsions, etc.
  • the condition of the injury includes the size of the wound, the degree of bleeding, etc.
  • the server 200 estimates the state of the pet P from the behavior and appearance of the pet P included in the video shot by the user terminal 300.
  • Coping information is information about how to deal with illness or injury.
  • the treatment information includes treatment methods for illnesses and injuries, hospital information, and the like.
  • the server 200 searches for appropriate treatment information, such as appropriate treatment methods and hospital information, depending on the condition of the pet P.
  • FIG. 2A is a block diagram showing the configuration of the server 200.
  • the server 200 mainly includes a communication unit 211, a processor 212, a memory 213, a recording medium 214, and a database (DB) 215.
  • DB database
  • the communication unit 211 sends and receives data to and from external devices. Specifically, the communication unit 211 transmits and receives information to and from the owner's user terminal 300.
  • the processor 212 is a computer such as a CPU (Central Processing Unit), and controls the entire server 200 by executing a program prepared in advance.
  • the processor 212 includes a GPU (Graphics Processing Unit), an FPGA (Field-Programmable Gate Array), a DSP (Demand-Side Platform), and an ASIC (Application ation Specific Integrated Circuit).
  • the memory 213 is composed of ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the memory 213 is also used as a working memory while the processor 212 executes various processes. Furthermore, the memory 213 temporarily stores a series of moving images shot by the user terminal 300 under the control of the processor 212 . This moving image is stored in the memory 213 in association with, for example, the owner's identification information and time stamp information.
  • the recording medium 214 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or a semiconductor memory, and is configured to be removably attached to the server 200.
  • the recording medium 214 records various programs executed by the processor 212.
  • the database (DB) 215 stores countermeasure information for each pet condition.
  • the DB 215 may include an external storage device such as a hard disk connected to or built into the server 200, or may include a removable storage medium such as a flash memory. Note that instead of providing the DB 215 in the server 200, the DB 215 may be provided in an external server or the like, and the countermeasure information may be acquired from the server through communication.
  • the server 200 may include an input unit such as a keyboard and a mouse, and a display unit such as a liquid crystal display for an administrator or the like to give instructions and input.
  • an input unit such as a keyboard and a mouse
  • a display unit such as a liquid crystal display for an administrator or the like to give instructions and input.
  • FIG. 2(B) is a block diagram showing the internal configuration of the user terminal 300 used by the owner.
  • the user terminal 300 is, for example, a terminal device such as smart glasses or a smartphone.
  • the user terminal 300 includes a communication section 311, a processor 312, a memory 313, a display section 314, a camera 315, a microphone 316, and a GPS receiver 317.
  • the communication unit 311 transmits and receives data to and from an external device. Specifically, the communication unit 311 transmits and receives information to and from the server 200.
  • the processor 312 is a computer such as a CPU, and controls the entire user terminal 300 by executing a program prepared in advance.
  • the processor 312 may be a GPU, FPGA, DSP, ASIC, or the like.
  • the processor 312 transmits the moving image shot by the camera 315 to the server 200 by executing a program prepared in advance.
  • the memory 313 is composed of ROM, RAM, etc. Memory 313 stores various programs executed by processor 312. The memory 313 is also used as a working memory while the processor 312 executes various processes.
  • the moving image captured by the camera 315 is stored in the memory 313 and then transmitted to the server 200.
  • the display unit 314 is, for example, a liquid crystal display device, and displays a moving image captured by the camera 315, countermeasure information received by the user terminal 300, and the like.
  • the camera 315 is a camera that photographs the user's field of view.
  • the camera 315 photographs the user's field of view, including objects such as pets, and transmits it to the server 200.
  • the server 200 can acquire a captured video of a subject such as a pet.
  • the microphone 316 collects the user's voice and surrounding sounds and transmits them to the server 200.
  • the server 200 can estimate the state of the pet P based on, for example, the sound of the pet P running around, the cry of the pet P, and the like.
  • the GPS receiver 317 generates latitude and longitude location information representing the current location of the user terminal 300.
  • FIG. 3 is a block diagram showing the configuration of the pet terminal 20 attached to the pet P.
  • the pet terminal 20 is attached to the pet instead of, for example, the collar of the pet P, or attached to a collar worn by the pet.
  • the pet terminal 20 includes a communication unit 21, a processor 22, a memory 23, a pet camera 24, an acceleration sensor 25, an atmospheric pressure sensor 26, a biological sensor 27, and a microphone 28.
  • the communication unit 21 communicates with external devices. Specifically, the communication unit 21 wirelessly communicates with the user terminal 300 using, for example, Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • the processor 22 is a computer such as a CPU, and controls the entire pet terminal 20 by executing a program prepared in advance.
  • the processor 22 periodically transmits information acquired by each sensor to the user terminal 300 by executing a program prepared in advance.
  • the memory 23 is composed of ROM, RAM, etc.
  • the memory 23 stores various programs executed by the processor 22.
  • the memory 23 is also used as a working memory while the processor 22 is executing various processes. Furthermore, the memory 23 temporarily stores information detected by each sensor.
  • the pet camera 24 is a camera for capturing images from the pet's perspective.
  • the pet camera 24 may be configured to detect the direction of the pet P's neck to determine the shooting direction, and may be attached near the head of the pet P, so as to capture the front of the pet P at a wide angle. It may also be used as a camera to take pictures.
  • the pet camera 24 photographs an area including the line of sight direction of the pet P, and transmits the photographed image to the user terminal 300. Thereby, the user terminal 300 can acquire an image from the pet's perspective.
  • the acceleration sensor 25 is a 3-axis acceleration sensor, and measures the movement of the pet P in the 3-axis directions and transmits it to the user terminal 300. Based on the output of the acceleration sensor 25, the user terminal 300 can estimate the amount of activity of the pet P. Moreover, the atmospheric pressure sensor 26 measures the atmospheric pressure at the location of the pet P and transmits it to the user terminal 300. Based on the output of the atmospheric pressure sensor 26, the user terminal 300 can detect vertical movements of the pet P, such as jumping. Further, although not shown in FIG. 3, a gyro sensor may be used. Alternatively, a 6-axis sensor in which a 3-axis acceleration sensor and a 3-axis gyro sensor (3-axis angular velocity sensor) are integrated may be used. Note that the sensor is not limited to the above as long as it is a sensor that can measure the amount of activity of the animal.
  • the biosensor 27 is a sensor that measures biometric information of the pet P, for example, measures the pet's P's body temperature, heart rate, breathing rate, etc., and transmits the measured information to the user terminal 300.
  • the microphone 28 collects sounds around the pet P and transmits them to the user terminal 300.
  • FIG. 4 is a block diagram showing the functional configuration of the server 200.
  • the server 200 includes an image acquisition section 411, a state estimation section 412, an information search section 413, and an information transmission section 414.
  • a captured video is input to the server 200 from the user terminal 300.
  • the captured video is input to the image acquisition unit 411.
  • the image acquisition unit 411 outputs the captured video to the state estimation unit 412.
  • the state estimation unit 412 performs image analysis based on the captured video obtained from the image acquisition unit 411 and estimates the state of the pet P.
  • the state estimating unit 412 recognizes the behavior and appearance of the pet P included in the captured video using an image recognition model prepared in advance, and estimates the state of the pet P.
  • This image recognition model is a machine learning model trained in advance to estimate the state of the animal, and is also referred to as a "state estimation model” hereinafter.
  • the state estimation unit 412 estimates the state of the pet P, and outputs the estimated state of the pet P to the information search unit 413.
  • the information search unit 413 searches the DB 215 for countermeasure information based on the state of the pet P acquired from the state estimation unit 412.
  • the DB 215 includes a treatment DB 215a and a hospital DB 215b.
  • the treatment DB 215a stores treatment methods for each pet condition.
  • the information search unit 413 searches the treatment DB 215a for a treatment method according to the condition of the pet P.
  • the hospital DB 215b stores hospital information for each pet condition.
  • the information search unit 413 searches the treatment DB 215b for hospital information according to the condition of the pet P. Note that although the information search unit 413 searches for countermeasure information from the database 215, the information search unit 413 may search for countermeasure information from the Internet instead.
  • the information search unit 413 outputs the state of the pet P and the countermeasure information acquired from the state estimation unit 412 to the information transmission unit 414.
  • the information transmitting unit 414 outputs the countermeasure information acquired from the information searching unit 413 to the user terminal 300.
  • the owner of the pet P does not need to investigate the disease or injury of the pet P, and can concentrate on treating the pet P.
  • the information transmitting unit 414 may transmit the condition of the pet P to the hospital in advance. This makes it possible for hospital personnel to know in advance about the symptoms of the pet P who is expected to visit the hospital.
  • the state estimation unit 412 may also estimate attribute information of the pet P, which will be described later, and output it to the information search unit 413.
  • the attribute information includes the type of animal, and for example, the state estimating unit 412 estimates the type of animal of the pet P, such as pet P being a dog and pet P being a cat.
  • the information search unit 413 searches for countermeasure information from the database 215 or the Internet based on the state of the pet P and the attribute information of the pet P acquired from the state estimation unit 412. Thereby, the information search unit 413 searches for treatment methods for each type of animal, such as treatment methods for dogs and treatment methods for cats, and hospital information for each type of animal, such as specialized hospitals for dogs and specialized hospitals for cats. This makes it possible for the owner of the pet P to grasp treatment information that is more suitable for the pet P.
  • FIG. 5 is a block diagram showing a state estimation model learning method, and includes learning data 511 and a learning device 512.
  • the learning data 511 is still image data or video data (hereinafter also referred to as "teacher data") that has been labeled in advance.
  • the training data is created by extracting an area in which an animal is captured from still image data or video data of an animal, and adding a label related to the animal's behavior, appearance, etc. to the extracted area.
  • An animal's behavior and appearance include the symptoms that appear when the animal is sick or injured (hereinafter also referred to as the "animal condition").
  • the learning device 512 Based on the learning data 511, the learning device 512 generates a state estimation model that has learned the relationship between the image of the animal and the state of the animal.
  • the state estimation unit 412 estimates the state of the pet P included in the input captured video using the generated state estimation model. For example, the state estimation unit 412 outputs estimation results such as that the pet P is coughing or that the pet P is bleeding.
  • the learning device 512 uses animal images and animal It is possible to generate a state estimation model that has learned the relationship between the state and the type of animal.
  • the state estimation unit 412 can estimate the type of animal of the pet P and the state of the pet P from the input captured video using the generated state estimation model.
  • the state estimation unit 412 can output estimation results such as that the dog is coughing, the dog is bleeding, and the cat is coughing.
  • FIG. 6 shows an example of treatment method and hospital information as treatment information.
  • FIG. 6(A) is an example of a treatment method, and includes a treatment method 611 and an explanatory video 612.
  • the treatment method 611 is text information or image information describing a treatment method for an illness or injury. Methods for treating illnesses and injuries include, for example, methods for fixing fractures and methods for artificial respiration.
  • the information search unit 413 searches for the above treatment methods depending on the condition of the pet P.
  • the explanatory video 612 is a video about how to treat an illness or injury, and includes a demonstration video of the treatment.
  • the explanatory video 612 is used, for example, when it is difficult to perform a treatment using information on the treatment method 611 alone, such as artificial respiration for a dog.
  • FIG. 6(B) is an example of hospital information, and includes basic information 613 and map information 614.
  • the basic information 613 is basic information regarding the hospital, and includes the hospital name, the animal being treated, the medical department, the hospital address, the hospital telephone number, and the like.
  • the information search unit 413 searches for hospital information according to the type of pet P and the condition of pet P. For example, if the pet P is a dog and the pet P has an injury, the information search unit 413 searches for a hospital that includes dogs as a subject of medical treatment and surgery as a medical subject. Further, the information search unit 413 searches for a hospital within a predetermined range from the user terminal 300 based on the location information of the user terminal 300 and the address of the hospital.
  • Map information 614 is route information from the current location to the hospital.
  • the map information 614 includes information such as a map displaying the route from the current location to the hospital and the time required from the current location to the hospital.
  • FIG. 7 shows a display example of countermeasure information transmitted through display processing by the information processing device.
  • the treatment method shown in FIG. 6(A) and the hospital information shown in FIG. 6(B) are displayed as handling information in the user terminal 300.
  • smart glasses As the user terminal 300, the owner of the pet P can treat the pet P with both hands while viewing the treatment information.
  • other glasses-shaped wearable terminals such as AR (Augmented Reality) glasses, MR (Mixed Reality) glasses, and VR (Virtual Reality) glasses may be used.
  • FIG. 8 is a flowchart of display processing by the information processing device. This processing is realized by the processor 212 shown in FIG. 2 executing a program prepared in advance and operating as each element shown in FIG. 4.
  • the owner of the pet P makes a predetermined comment such as "hospital” when the pet P is sick or injured.
  • the user terminal 300 recognizes the owner's predetermined statement and starts capturing a video.
  • the user terminal 300 transmits the captured video to the server 200.
  • the image acquisition unit 411 of the server 200 acquires a captured video from the user terminal 300 (step S11).
  • the image acquisition unit 411 outputs the captured video to the state estimation unit 412.
  • the state estimating unit 412 estimates the state of the pet P based on the captured video acquired from the image acquiring unit 411 using a previously learned state estimation model (step S12).
  • the state of the pet P is the state of the pet P being sick or injured.
  • the state estimation unit 412 outputs the estimation result to the information search unit 413.
  • the information search unit 413 searches the database 215 for countermeasure information based on the state of the pet P acquired from the state estimation unit 412 (step S13).
  • Treatment information is stored in the database 215 for each pet condition.
  • the treatment information also includes treatment methods for illnesses and injuries, hospital information, and the like.
  • the information search unit 413 may search for countermeasure information from the Internet.
  • the information search unit 413 outputs the searched countermeasure information to the information transmission unit 414.
  • the information transmitting unit 414 transmits the countermeasure information acquired from the information searching unit 413 to the user terminal 300 (step S14). Then, the process ends.
  • the server 200 estimates the state of the pet P based on the video captured by the user terminal 300. Instead, the server 200 may estimate the state of the pet P using biometric information of the pet P in addition to the captured video.
  • FIG. 9 shows the functional configuration of the server 200a of the first modification.
  • a sensor information acquisition unit 415 is provided in the server 200a.
  • the sensor information acquisition unit 415 acquires biometric information of the pet P detected by the pet terminal 20 from the user terminal 300.
  • the biological information of the pet P includes body temperature, heart rate, breathing rate, etc.
  • the sensor information acquisition unit 415 outputs the acquired biological information of the pet P to the state estimation unit 412.
  • the state estimation model used by the state estimation unit 412 is a trained model that has been trained in advance to estimate the state of the pet based on the captured video and biological information.
  • the state estimation unit 412 estimates the behavior of the pet P and the appearance of the pet P based on the captured video. Further, the state estimating unit 412 estimates whether the pet P's body temperature, heart rate, breathing rate, etc. are normal or abnormal based on the pet P's biological information. For example, the state estimating unit 412 estimates the body temperature of the pet P to be "abnormal" when the body temperature of the pet P is equal to or higher than a predetermined threshold value TH1, or when the body temperature of the pet P is equal to or less than a predetermined threshold value TH2.
  • the state estimation unit 412 estimates the body temperature of the pet P to be "normal”. Then, the state estimating unit 412 integrates the results estimated from the photographed video and the biometric information of the pet P, and outputs the result as the state of the pet P to the information searching unit 413.
  • the state estimating unit 412 may, for example, say, “Pet P is coughing, body temperature is normal, heart rate is normal, breathing rate is normal” or “Pet P is coughing, body temperature is abnormal (high), heart rate is abnormal.”
  • the state of the pet P such as "(high), abnormal respiratory rate (high)" is output to the information search unit 413.
  • the information search unit 413 searches for countermeasure information from the DB 215 or the Internet based on the state of the pet P acquired from the state estimation unit 412.
  • the DB 215 stores countermeasure information for each state of the pet P in advance.
  • the information search unit 413 outputs the searched countermeasure information to the information transmission unit 414.
  • the information transmitting unit 414 then transmits the countermeasure information acquired from the information searching unit 413 to the user terminal 300.
  • the server 200 can narrow the search range from among the many treatment information included in the DB 215, narrow down the search, and more It becomes possible to acquire countermeasure information suitable for P. Note that it is not essential to estimate the state of the pet using biometric information from the pet terminal 20 as described above.
  • the server 200 estimates the state of the pet P based on the video taken of the pet P and sends countermeasure information to the user terminal 300.
  • the server 200 may estimate the condition of the person based on a video of the person, and send countermeasure information to the user terminal 300. This allows the user to obtain appropriate treatment information for people who cannot verbally communicate the symptoms of illness or injury, such as infants.
  • the server 200 estimates the state of the pet P, but in addition to the state of the target creature such as the pet P, the server 200 may also estimate the attribute information of the target creature.
  • the attribute information includes the type of living thing such as a human, a dog, or a cat, the age of an infant, a young child, an elderly person, etc., and gender.
  • the state estimating unit 412 estimates the state of the target creature and the attribute information of the target creature from the captured video using an image recognition model prepared in advance.
  • the state estimation unit 412 outputs the state of the target organism and the attribute information of the target organism to the information search unit 413.
  • the information search unit 413 searches for countermeasure information from the database 215 or the Internet based on the state of the target creature and the attribute information of the target creature acquired from the state estimation unit 412.
  • the database 215 stores countermeasure information in advance for each state of the target creature and for each attribute information of the target creature. For example, if the condition of the target creature is a burn injury and the attribute information of the target creature is an infant, the information search unit 413 searches for information on treatment methods for infant burns, information on pediatric hospitals, and the like. This allows the user to grasp countermeasure information that is more suitable for the target organism.
  • the server 200 searches for countermeasure information according to the state of the pet P at that time, and searches for the response information on the owner's user terminal. Sending to 300.
  • the server 200 uses past video footage of the pet P to detect behavior that could lead to illness or injury in the pet P (hereinafter also referred to as "risk behavior"), and alert the owner's user terminal 300 to the behavior. You may also send a message of encouragement.
  • the videos taken in the past of the pet P include videos taken of the pet P's daily life, videos taken when the pet P was sick or injured, and the like.
  • the server 200 detects the risk behavior of the pet P from past captured videos of the pet P using an image recognition model prepared in advance.
  • the risk behavior of the pet P includes, for example, the pet P engaging in behavior that poses a risk of accidental ingestion, and the pet P engaging in behavior that portends epilepsy. Then, the server 200 transmits a warning message to the owner's user terminal 300 when the number of risk behaviors of the pet P exceeds a predetermined number. This allows the owner to prevent the pet P from getting sick or injured in advance.
  • the information acquired by the user terminal 300 is basically transmitted as is to the server 200, and the server 200 estimates the state of the pet P based on the received information and sends countermeasure information to the user terminal 300. is being sent to. Instead, the user terminal 300 may estimate the state of the pet P and search for countermeasure information. Thereby, the communication load from the user terminal 300 to the server 200 can be reduced. In these cases, the user terminal 300 is an example of an information processing device.
  • the user terminal 300 searches for treatment information, if the treatment information includes hospital information, it may ask the user to confirm by voice whether or not to contact the hospital. If the user replies that the user will contact the hospital, the user terminal 300 may start a phone call application and make a call to the hospital. This allows the user to confirm in advance with the hospital whether the hospital can accept emergency patients.
  • FIG. 10 is a block diagram showing the functional configuration of the information processing device 50 of the second embodiment.
  • the information processing device 50 of the second embodiment includes an image acquisition means 51, a state estimation means 52, an information search means 53, and an output means 54.
  • FIG. 11 is a flowchart of processing by the information processing device 50.
  • the image acquisition means 51 acquires an image of the target organism photographed with a terminal device (step S51).
  • the state estimating means 52 estimates the state of the target creature from the image using a machine learning model that has learned the relationship between the image of the target creature and the state of the target creature (step S52).
  • the information search means 53 searches for countermeasure information for dealing with the condition of the target organism (step S53).
  • the output means 54 outputs the countermeasure information to the terminal device (step S54).
  • the user is able to take appropriate treatment for the disease or injury of the target organism.
  • an image acquisition means for acquiring an image of the target organism taken with a terminal device; a state estimating means for estimating the state of the target organism from the image using a machine learning model that has learned the relationship between the image of the target organism and the state of the target organism; an information search means for searching for coping information for dealing with the condition of the target organism; output means for outputting the countermeasure information to the terminal device;
  • An information processing device comprising:
  • Additional note 2 comprising a sensor information acquisition means for acquiring biological information of the target organism, The information processing device according to supplementary note 1, wherein the state estimating means estimates the state of the target organism based on the image and the biological information.
  • the treatment information includes a treatment method for the illness or injury,
  • the information processing device according to supplementary note 1 or 2, wherein the output means transmits treatment information including the treatment method.
  • the handling information includes hospital information, The information processing device according to any one of Supplementary Notes 1 to 3, wherein the output means transmits treatment information including the hospital information.
  • the state estimating means estimates attribute information of the target organism,
  • the information processing device according to any one of Supplementary Notes 1 to 4, wherein the information search means searches for countermeasure information based on the state and attribute information of the target creature.
  • the target organism is a pet animal
  • the attribute information is the type of the pet
  • the information processing device according to appendix 5, wherein the information search means searches for hospital information regarding a hospital that treats the pet based on the type of the pet.
  • the state estimating means estimates a behavior that may lead to illness or injury of the target organism from the image,
  • the information processing device according to supplementary note 1, wherein the output means outputs the estimation result of the state estimation means to the terminal device.
  • Pet terminal 200 Server 215 Database (DB) 300 User terminal 411 Image acquisition unit 412 State estimation unit 413 Information search unit 414 Information transmission unit 511 Learning data 512 Learning device

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

情報処理装置は、画像取得手段と、状態推定手段と、情報検索手段と、出力手段とを備える。画像取得手段は、対象生物を端末装置で撮影した画像を取得する。状態推定手段は、対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定する。情報検索手段は、前記対象生物の状態に対処するための対処情報を検索する。出力手段は、前記対処情報を前記端末装置へ出力する。

Description

情報処理装置、情報処理方法、及び、記録媒体
　本開示は、病気や怪我を推定し対処方法を検索する技術に関する。
　愛玩動物（以下、「ペット」と呼ぶ。）が病気や怪我をしたとき、ペットの飼い主は適切な処置をする必要がある。例えば、特許文献１では、ペットを撮影した動画から、ペットの病気を推定する健康診断装置を記載している。
特開２０１４－２２３０６３号公報
　しかし、特許文献１によっても、ペットの飼い主がペットに対し適切な処置をすることは難しい。
　本開示の１つの目的は、病気や怪我に対し、ユーザが適切な処置を行うために必要な情報を提供することが可能な情報処理装置を提供することにある。
　上記の課題を解決するため、本開示の一つの観点では、情報処理装置は、
　対象生物を端末装置で撮影した画像を取得する画像取得手段と、
　対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定する状態推定手段と、
　前記対象生物の状態に対処するための対処情報を検索する情報検索手段と、
　前記対処情報を前記端末装置へ出力する出力手段と、
　を備える
　本開示の他の観点では、情報処理方法は、
　対象生物を端末装置で撮影した画像を取得し、
　対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定し、
　前記対象生物の状態に対処するための対処情報を検索し、
　前記対処情報を前記端末装置へ出力する。
　本開示のさらに他の観点では、記録媒体は、
　対象生物を端末装置で撮影した画像を取得し、
　対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定し、
　前記対象生物の状態に対処するための対処情報を検索し、
　前記対処情報を前記端末装置へ出力する処理をコンピュータに実行させるプログラムを記録する。
　本開示によれば、病気や怪我に対し、ユーザは適切な処置をすることが可能となる。
第１実施形態に係る情報処理装置を適用した通信システムの全体構成を示す。 サーバ及びユーザ端末の構成を示すブロック図である。 ペット端末の構成を示すブロック図である。 サーバの機能構成を示すブロック図である。 学習装置の機能構成を示すブロック図である。 対処情報の一例を示す。 対処情報の表示例を示す。 情報処理装置による表示処理のフローチャートである。 第１実施形態の変形例１の機能構成を示すブロック図である。 第２実施形態の情報処理装置の機能構成を示すブロック図である。 第２実施形態の情報処理装置による処理のフローチャートである。
　＜第１実施形態＞
　［全体構成］
　図１は、本開示に係る情報処理装置を適用した通信システムの全体構成を示す。通信システム１は、サーバ２００と、飼い主の使用するユーザ端末３００とを含む。また、飼い主の所定の範囲内にはペットＰがおり、ペットＰにはペット端末２０が取り付けられている。サーバ２００と飼い主のユーザ端末３００とは無線通信可能である。また、ユーザ端末３００とペット端末２０は無線通信可能である。なお、ペット端末２０を設けることは必須ではない。
　基本的な動作として、ペットＰに病気の症状があらわれたときや、ペットＰが怪我をしたときに、飼い主は、「病院」など所定の発言をする。ユーザ端末３００は、飼い主の所定の発言を認識すると、カメラを起動し、ペットＰの動画を撮影する。そして、ユーザ端末３００は、撮影した動画（以下、「撮影動画」とも呼ぶ。）をサーバ２００へ送信する。サーバ２００は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）の画像解析などによって、ユーザ端末３００の撮影動画から、ペットＰの状態を推定する。そして、サーバ２００は、推定したペットＰの状態に基づいて、対処情報を検索し、検索結果をユーザ端末３００へ送信する。これにより、飼い主は、ペットＰの病気や怪我の対処方法を把握することができる。
　ペットＰの状態とは、ペットＰの病気や怪我の状態である。例えば、病気の状態には、咳をしている、痙攣をしているなどがある。また、怪我の状態には、傷の大きさ、出血の程度などがある。サーバ２００は、ユーザ端末３００の撮影動画に含まれるペットＰの行動及び外観から、ペットＰの状態を推定する。対処情報とは、病気や怪我の対処方法に関する情報である。対処情報には、病気や怪我の処置方法や病院情報などが含まれる。サーバ２００は、ペットＰの状態に応じて、適切な処置方法や病院情報などの対処情報を検索する。
　［サーバ］
　図２（Ａ）は、サーバ２００の構成を示すブロック図である。サーバ２００は、主に、通信部２１１と、プロセッサ２１２と、メモリ２１３と、記録媒体２１４と、データベース（ＤＢ）２１５と、を備える。
　通信部２１１は、外部装置との間でデータの送受信を行う。具体的に、通信部２１１は、飼い主のユーザ端末３００との間で情報を送受信する。
　プロセッサ２１２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、サーバ２００の全体を制御する。なお、プロセッサ２１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、ＤＳＰ（Ｄｅｍａｎｄ－Ｓｉｄｅ　Ｐｌａｔｆｏｒｍ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などであってもよい。
　メモリ２１３は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などにより構成される。メモリ２１３は、プロセッサ２１２による各種の処理の実行中に作業メモリとしても使用される。また、メモリ２１３は、プロセッサ２１２の制御に基づき、ユーザ端末３００が撮影した一連の動画を一時的に記憶する。この動画は、例えば、飼い主の識別情報、及び、タイムスタンプの情報等と関連付けられてメモリ２１３に記憶される。
　記録媒体２１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、サーバ２００に対して着脱可能に構成される。記録媒体２１４は、プロセッサ２１２が実行する各種のプログラムを記録している。
　データベース（ＤＢ）２１５には、ペットの状態毎に対処情報が記憶されている。ＤＢ２１５は、サーバ２００に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。なお、ＤＢ２１５をサーバ２００に備える代わりに、外部のサーバなどにＤＢ２１５を設け、通信により当該サーバから対処情報を取得するようにしてもよい。
　なお、サーバ２００は、管理者などが指示や入力を行うためのキーボード、マウスなどの入力部、及び、液晶ディスプレイなどの表示部を備えていてもよい。
　［ユーザ端末］
　図２（Ｂ）は、飼い主が使用するユーザ端末３００の内部構成を示すブロック図である。ユーザ端末３００は、例えば、スマートグラスやスマートフォンなどの端末装置である。ユーザ端末３００は、通信部３１１と、プロセッサ３１２と、メモリ３１３と、表示部３１４と、カメラ３１５と、マイク３１６と、ＧＰＳ受信機３１７と、を備える。
　通信部３１１は、外部装置との間でデータの送受信を行う。具体的に、通信部３１１は、サーバ２００との間で情報を送受信する。
　プロセッサ３１２は、ＣＰＵなどのコンピュータであり、予め用意されたプログラムを実行することにより、ユーザ端末３００の全体を制御する。なお、プロセッサ３１２は、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣなどであってもよい。プロセッサ３１２は、予め用意されたプログラムを実行することにより、カメラ３１５により撮影した動画をサーバ２００へ送信する。
　メモリ３１３は、ＲＯＭ、ＲＡＭなどにより構成される。メモリ３１３は、プロセッサ３１２により実行される各種のプログラムを記憶する。また、メモリ３１３は、プロセッサ３１２による各種の処理の実行中に作業メモリとしても使用される。カメラ３１５により撮影された動画は、メモリ３１３に記憶された後、サーバ２００へ送信される。表示部３１４は、例えば液晶表示装置などであり、カメラ３１５により撮影された動画や、ユーザ端末３００が受信した対処情報などを表示する。
　カメラ３１５は、ユーザの視界を撮影するカメラである。カメラ３１５は、ペットなどの被写体を含むユーザの視界を撮影し、サーバ２００へ送信する。これにより、サーバ２００は、ペットなどの被写体の撮影動画を取得することができる。マイク３１６は、ユーザの音声や周辺の音を集音し、サーバ２００へ送信する。サーバ２００は、例えば、ペットＰが走り回る音やペットＰの鳴き声などに基づいて、ペットＰの状態を推定することができる。ＧＰＳ受信機３１７は、ユーザ端末３００の現在位置を表す緯度及び経度の位置情報を生成する。
　［ペット端末］
　図３は、ペットＰに取り付けられるペット端末２０の構成を示すブロック図である。ペット端末２０は、例えばペットＰの首輪の代わりにペットに取り付けられるか、又は、ペットが着けている首輪に対して取り付けられる。ペット端末２０は、通信部２１と、プロセッサ２２と、メモリ２３と、ペットカメラ２４と、加速度センサ２５と、気圧センサ２６と、生体センサ２７と、マイク２８とを備える。
　通信部２１は、外部装置との通信を行う。具体的に、通信部２１は、例えばＷｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などによりユーザ端末３００と無線通信する。
　プロセッサ２２は、ＣＰＵなどのコンピュータであり、予め用意されたプログラムを実行することにより、ペット端末２０の全体を制御する。プロセッサ２２は、予め用意されたプログラムを実行することにより、各センサにより取得した情報を定期的にユーザ端末３００へ送信する。
　メモリ２３は、ＲＯＭ、ＲＡＭなどにより構成される。メモリ２３は、プロセッサ２２により実行される各種のプログラムを記憶する。また、メモリ２３は、プロセッサ２２による各種の処理の実行中に作業メモリとしても使用される。さらに、メモリ２３は、各センサが検出した情報を一時的に記憶する。
　ペットカメラ２４は、ペット目線の画像を撮影するためのカメラである。ペットカメラ２４は、例えば、ペットＰの首の向きを検出して撮影方向を決定するように構成してもよく、ペットＰの頭部付近に装着してもよく、ペットＰの前方を広角に撮影するカメラとしてもよい。ペットカメラ２４は、ペットＰの視線方向を含む領域を撮影し、撮影画像をユーザ端末３００へ送信する。これにより、ユーザ端末３００はペット目線の画像を取得することができる。
　加速度センサ２５は、３軸の加速度センサであり、ペットＰの３軸方向の運動を測定してユーザ端末３００へ送信する。加速度センサ２５の出力に基づいて、ユーザ端末３００は、ペットＰの活動量などを推定することができる。また、気圧センサ２６は、ペットＰの場所の気圧を測定してユーザ端末３００へ送信する。気圧センサ２６の出力に基づいて、ユーザ端末３００はペットＰの上下方向の動き、例えばジャンプなどを検出することができる。また、図３には図示していないが、ジャイロセンサを用いてもよい。また、３軸加速度センサと３軸ジャイロセンサ（３軸の角速度センサ）が一体となった６軸センサを用いてもよい。なお、センサは、動物の活動量を計測可能なセンサであれば、上記に限定されない。
　生体センサ２７は、ペットＰの生体情報を計測するセンサであり、例えば、ペットＰの体温、心拍数、呼吸数などを計測してユーザ端末３００へ送信する。マイク２８は、ペットＰの周辺の音を集音し、ユーザ端末３００へ送信する。
　［機能構成］
　図４は、サーバ２００の機能構成を示すブロック図である。サーバ２００は、機能的には、画像取得部４１１と、状態推定部４１２と、情報検索部４１３と、情報送信部４１４と、を含む。
　サーバ２００には、ユーザ端末３００から撮影動画が入力される。撮影動画は、画像取得部４１１に入力される。画像取得部４１１は、撮影動画を状態推定部４１２へ出力する。
　状態推定部４１２は、画像取得部４１１から取得した撮影動画に基づいて画像解析を行い、ペットＰの状態を推定する。状態推定部４１２は、予め用意された画像認識モデルなどを用いて、撮影動画に含まれるペットＰの行動及び外観を認識し、ペットＰの状態を推定する。この画像認識モデルは、動物の状態を推定するように予め学習された機械学習モデルであり、以下、「状態推定モデル」とも呼ぶ。状態推定部４１２は、ペットＰの状態を推定し、推定したペットＰの状態を情報検索部４１３へ出力する。
　情報検索部４１３は、状態推定部４１２から取得したペットＰの状態に基づいて、ＤＢ２１５から対処情報を検索する。ＤＢ２１５は、処置ＤＢ２１５ａと、病院ＤＢ２１５ｂとを含む。処置ＤＢ２１５ａには、ペットの状態毎に処置方法が記憶されている。情報検索部４１３は、処置ＤＢ２１５ａからペットＰの状態に応じた処置方法を検索する。また、病院ＤＢ２１５ｂには、ペットの状態毎に病院情報が記憶されている。情報検索部４１３は、処置ＤＢ２１５ｂからペットＰの状態に応じた病院情報を検索する。なお、情報検索部４１３は、データベース２１５から対処情報を検索しているが、その代わりに、情報検索部４１３は、インターネットから対処情報を検索してもよい。情報検索部４１３は、状態推定部４１２から取得したペットＰの状態と、対処情報を情報送信部４１４へ出力する。
　情報送信部４１４は、情報検索部４１３から取得した対処情報を、ユーザ端末３００へ出力する。これにより、ペットＰの飼い主は、ペットＰの病気や怪我について調査する必要がなくなり、ペットＰの処置に集中することが可能となる。また、情報送信部４１４は、ペットＰの状態を事前に病院へ送信してもよい。これにより、病院の関係者は、これから来院すると思われるペットＰの症状について事前に把握することが可能となる。
　なお、状態推定部４１２は、ペットＰの状態に加え、後述するペットＰの属性情報を推定し、情報検索部４１３へ出力してもよい。属性情報には動物の種類が含まれ、例えば、状態推定部４１２は、ペットＰは犬、ペットＰは猫、などペットＰの動物の種類を推定する。情報検索部４１３は、状態推定部４１２から取得したペットＰの状態とペットＰの属性情報に基づいて、データベース２１５もしくはインターネットから対処情報を検索する。これにより、情報検索部４１３は、犬の処置方法、猫の処置方法などの動物の種類別の処置方法や、犬の専門病院、猫の専門病院などの動物の種類別の病院情報を検索することが可能となり、ペットＰの飼い主は、よりペットＰに適した対処情報を把握することができる。
　［状態推定モデルの学習］
　次に、状態推定部４１２が用いる状態推定モデルの学習の一例を説明する。状態推定モデルは、いわゆる教師あり学習によって生成される。図５は、状態推定モデルの学習方法を示すブロック図であり、学習データ５１１と、学習装置５１２と、を含む。
　学習データ５１１は、事前にラベル付けされた静止画データ又は動画データ（以下、「教師データ」とも呼ぶ。）である。教師データは、動物を撮影した静止画データ又は動画データから動物が写っている領域を抽出し、抽出した領域に動物の行動や外観などに関するラベルを付与することで作成される。動物の行動や外観には、動物が病気や怪我をしたときにあらわれる症状が含まれている（以下、「動物の状態」とも呼ぶ。）。学習装置５１２は、学習データ５１１をもとに、動物の画像と動物の状態との関係を学習した状態推定モデルを生成する。状態推定部４１２は、生成された状態推定モデルを用いて、入力された撮影動画に含まれるペットＰの状態を推定する。例えば、状態推定部４１２は、ペットＰが咳をしている、ペットＰが出血しているなどの推定結果を出力する。
　また、動物の行動や外観に関するラベルに加え、動物の種類に関するラベルが付与された静止画データ又は動画データを教師データとして機械学習に用いることで、学習装置５１２は、動物の画像と、動物の状態と、動物の種類との関係を学習した状態推定モデルを生成することができる。これにより、状態推定部４１２は、生成された状態推定モデルを用いて、入力された撮影動画からペットＰの動物の種類とペットＰの状態を推定することができる。例えば、状態推定部４１２は、犬が咳をしている、犬が出血している、猫が咳をしているなどの推定結果を出力することができる。
　［対処情報の例］
　次に、情報検索部４１３が検索する対処情報について説明する。図６は、対処情報として、処置方法と病院情報の一例を示す。
　図６（Ａ）は、処置方法の一例であり、処置方法６１１と、説明動画６１２とが含まれる。処置方法６１１は、病気や怪我の処置方法を記載したテキスト情報もしくは画像情報である。病気や怪我の処置方法には、例えば、骨折部の固定方法や人工呼吸の方法などがある。情報検索部４１３は、ペットＰの状態に応じて、上記のような処置方法を検索する。説明動画６１２は、病気や怪我の処置方法に関する動画であり、処置の実演動画などが含まれる。説明動画６１２は、例えば、犬の人工呼吸など、処置方法６１１の情報のみでは処置をすることが難しい場合に用いられる。
　図６（Ｂ）は、病院情報の一例であり、基本情報６１３と、地図情報６１４とが含まれる。基本情報６１３は、病院に関する基本情報であり、病院名、診療対象の動物、診療科目、病院の住所、病院の電話番号などが含まれる。情報検索部４１３は、ペットＰの種類、及びペットＰの状態に応じて病院情報を検索する。例えば、ペットＰが犬であり、ペットＰに外傷がある場合は、情報検索部４１３は、診療対象に犬を含み、かつ診療科目に外科を含む病院を検索する。また、情報検索部４１３は、ユーザ端末３００の位置情報と病院の住所とに基づいて、ユーザ端末３００から所定の範囲内にある病院を検索する。地図情報６１４は、現在位置から病院までの経路情報である。地図情報６１４には、現在位置から病院までのルートを表示した地図や、現在位置から病院までの所要時間などの情報が含まれる。
　［表示例］
　次に、ユーザ端末３００による表示例を説明する。図７は、情報処理装置による表示処理により送信された対処情報の表示例を示す。図７の表示例では、ユーザ端末３００内に、対処情報として、図６（Ａ）の処置方法と、図６（Ｂ）の病院情報が表示されている。ペットＰの飼い主は、ユーザ端末３００としてスマートグラスを用いることで、対処情報を見ながら、ペットＰの処置を両手で行うことが可能となる。なお、スマートグラスの代わりに、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）グラスやＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）グラス、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）グラスなど、他のメガネ型のウェアラブル端末を用いてもよい。
　［表示処理］
　次に、上記のような表示を行う表示処理について説明する。図８は、情報処理装置による表示処理のフローチャートである。この処理は、図２に示すプロセッサ２１２が予め用意されたプログラムを実行し、図４に示す各要素として動作することにより実現される。
　まず、ペットＰの飼い主は、ペットＰが病気や怪我をしたときに、「病院」など所定の発言をする。ユーザ端末３００は飼い主の所定の発言を認識し、動画の撮影を開始する。そして、ユーザ端末３００は撮影動画をサーバ２００へ送信する。サーバ２００の画像取得部４１１は、ユーザ端末３００から撮影動画を取得する（ステップＳ１１）。画像取得部４１１は、撮影動画を状態推定部４１２へ出力する。次に、状態推定部４１２は、予め学習済みの状態推定モデルを用いて、画像取得部４１１から取得した撮影動画に基づいて、ペットＰの状態を推定する（ステップＳ１２）。ペットＰの状態とは、ペットＰの病気や怪我の状態である。状態推定部４１２は、推定結果を情報検索部４１３へ出力する。
　次に、情報検索部４１３は、状態推定部４１２から取得したペットＰの状態を基に、データベース２１５から、対処情報を検索する（ステップＳ１３）。対処情報は、ペットの状態毎にデータベース２１５に記憶されている。また、対処情報には、病気や怪我の処置方法や病院情報などが含まれる。なお、情報検索部４１３は、インターネットから対処情報を検索してもよい。情報検索部４１３は、検索した対処情報を情報送信部４１４へ出力する。次に、情報送信部４１４は、情報検索部４１３から取得した対処情報をユーザ端末３００へ送信する（ステップＳ１４）。そして、処理は終了する。
　［変形例］
　次に、第１実施形態の変形例を説明する。以下の変形例は、適宜組み合わせて第１実施形態に適用することができる。
　（変形例１）
　上記の第１実施形態では、サーバ２００は、ユーザ端末３００の撮影動画に基づいてペットＰの状態を推定している。その代わりに、サーバ２００は、撮影動画に加え、ペットＰの生体情報を用いて、ペットＰの状態を推定してもよい。図９は、変形例１のサーバ２００ａの機能構成を示す。図示のように、変形例１では、サーバ２００ａにセンサ情報取得部４１５を設ける。センサ情報取得部４１５は、ユーザ端末３００から、ペット端末２０が検出したペットＰの生体情報を取得する。ペットＰの生体情報には、体温、心拍数、呼吸数などが含まれる。センサ情報取得部４１５は、取得したペットＰの生体情報を状態推定部４１２へ出力する。
　状態推定部４１２が使用する状態推定モデルは、撮影動画及び生体情報に基づいてペットの状態を推定するように予め学習された学習済みのモデルとする。状態推定部４１２は、撮影動画に基づいて、ペットＰの行動やペットＰの外観を推定する。また、状態推定部４１２は、ペットＰの生体情報に基づいて、ペットＰの体温、心拍数、呼吸数などが正常か異常かを推定する。例えば、状態推定部４１２は、ペットＰの体温が所定の閾値ＴＨ１以上の場合、もしくはペットＰの体温が所定の閾値ＴＨ２以下の場合は、ペットＰの体温を「異常」と推定する。一方、状態推定部４１２は、ペットＰの体温が所定の閾値ＴＨ１未満、かつ所定の閾値ＴＨ２よりも高い場合は、ペットＰの体温を「正常」と推定する。そして、状態推定部４１２は、撮影動画とペットＰの生体情報から推定された結果を統合し、ペットＰの状態として情報検索部４１３へ出力する。状態推定部４１２は、例えば、「ペットＰは咳をしている、体温正常、心拍数正常、呼吸数正常」や、「ペットＰは咳をしている、体温異常（高い）、心拍数異常（高い）、呼吸数異常（多い）」などのペットＰの状態を、情報検索部４１３へ出力する。
　情報検索部４１３は、状態推定部４１２から取得したペットＰの状態に基づいて、ＤＢ２１５もしくはインターネットから対処情報を検索する。ＤＢ２１５には、予めペットＰの状態毎に対処情報が記憶されている。情報検索部４１３は、検索した対処情報を情報送信部４１４へ出力する。そして、情報送信部４１４は、情報検索部４１３から取得した対処情報をユーザ端末３００へ送信する。
　上記のように、サーバ２００は、撮影動画に加えペットＰの生体情報を用いることで、ＤＢ２１５に含まれる多くの対処情報の中から検索範囲を狭めて、絞り込んで検索することができ、よりペットＰに適した対処情報を取得することが可能となる。なお、上記のようにペット端末２０からの生体情報を用いて、ペットの状態を推定することは必須ではない。
　（変形例２）
　上記の第１実施形態では、サーバ２００は、ペットＰを撮影した動画を基に、ペットＰの状態を推定し、対処情報をユーザ端末３００へ送信しているが、対象となる生物（「対象生物」とも呼ぶ。）はペットに限らない。例えば、サーバ２００は、人間を撮影した動画を基に、人間の状態を推定し、対処情報をユーザ端末３００へ送信してもよい。これにより、ユーザは、例えば、乳幼児など、病気や怪我の症状を言葉で伝えられない人について、適切な対処情報を取得することが可能となる。
　（変形例３）
　上記の第１実施形態では、サーバ２００は、ペットＰの状態を推定しているが、サーバ２００は、ペットＰなどの対象生物の状態に加え、対象生物の属性情報を推定してもよい。属性情報には、人間、犬、猫などの生物の種類や、乳児、幼児、高齢者などの年代や、性別などが含まれる。状態推定部４１２は、予め用意された画像認識モデルなどを用いて、撮影動画から対象生物の状態と対象生物の属性情報とを推定する。状態推定部４１２は、対象生物の状態と対象生物の属性情報とを情報検索部４１３へ出力する。そして、情報検索部４１３は、状態推定部４１２から取得した対象生物の状態と対象生物の属性情報とに基づいて、データベース２１５もしくはインターネットから対処情報を検索する。なお、データベース２１５には、予め対象生物の状態毎及び対象生物の属性情報毎に対処情報が記憶されている。例えば、対象生物の状態が火傷であり、対象生物の属性情報が乳児である場合は、情報検索部４１３は、乳児の火傷の処置方法や小児科病院の情報などを検索する。これにより、ユーザは、より対象生物に適した対処情報を把握することが可能となる。
　（変形例４）
　上記の第１実施形態では、ペットＰの飼い主が「病院」などの所定の発言をすることで、サーバ２００は、そのときのペットＰの状態に応じた対処情報を検索し、飼い主のユーザ端末３００へ送信している。サーバ２００は、上記に加え、ペットＰの過去の撮影動画を用いて、ペットＰの病気や怪我につながる行動（以下、「リスク行動」とも呼ぶ。）を検知し、飼い主のユーザ端末３００へ注意喚起のメッセージを送信してもよい。ペットＰの過去の撮影動画には、ペットＰの日常を撮影した動画や、ペットＰが病気や怪我をしたときに撮影した動画などが含まれる。サーバ２００は、予め用意された画像認識モデルなどを用いて、ペットＰの過去の撮影動画からペットＰのリスク行動を検知する。ペットＰのリスク行動には、例えば、ペットＰが誤飲の恐れがある行動をしている、ペットＰがてんかんの予兆行動をしているなどがある。そして、サーバ２００は、ペットＰのリスク行動の回数が所定の回数を超えた場合に、飼い主のユーザ端末３００へ注意喚起のメッセージを送信する。これにより、飼い主はペットＰの病気や怪我を事前に防ぐことが可能となる。
　（変形例５）
　上記の第１実施形態では、基本的にユーザ端末３００により取得された情報がそのままサーバ２００へ送信され、サーバ２００は受信した情報に基づいてペットＰの状態を推定し、対処情報をユーザ端末３００に送信している。その代わりに、ユーザ端末３００がペットＰの状態を推定し対処情報を検索してもよい。これにより、ユーザ端末３００からサーバ２００への通信負荷を軽減することができる。これらの場合、ユーザ端末３００は情報処理装置の一例である。
　また、ユーザ端末３００は、対処情報を検索した際に、対処情報に病院情報が含まれている場合は、ユーザに対し、病院へ連絡するか否かを音声確認してもよい。ユーザから病院へ連絡すると返答があった場合は、ユーザ端末３００は、通話アプリを起動し病院へ電話をしてもよい。これにより、ユーザは、急患の受け入れが可能か事前に病院へ確認することができる。
　＜第２実施形態＞
　図１０は、第２実施形態の情報処理装置５０の機能構成を示すブロック図である。第２実施形態の情報処理装置５０は、画像取得手段５１と、状態推定手段５２と、情報検索手段５３と、出力手段５４とを備える。
　図１１は、情報処理装置５０による処理のフローチャートである。画像取得手段５１は、対象生物を端末装置で撮影した画像を取得する（ステップＳ５１）。状態推定手段５２は、対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定する（ステップＳ５２）。情報検索手段５３は、前記対象生物の状態に対処するための対処情報を検索する（ステップＳ５３）。出力手段５４は、前記対処情報を前記端末装置へ出力する（ステップＳ５４）。
　第２実施形態の情報処理装置５０によれば、ユーザは、対象生物の病気や怪我に対し、適切な処置をすることが可能となる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　対象生物を端末装置で撮影した画像を取得する画像取得手段と、
　対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定する状態推定手段と、
　前記対象生物の状態に対処するための対処情報を検索する情報検索手段と、
　前記対処情報を前記端末装置へ出力する出力手段と、
　を備える情報処理装置。
　（付記２）
　前記対象生物の生体情報を取得するセンサ情報取得手段を備え、
　前記状態推定手段は、前記画像と前記生体情報に基づいて、前記対象生物の状態を推定する付記１に記載の情報処理装置。
　（付記３）
　前記対処情報は、病気や怪我の処置方法を含み、
　前記出力手段は、前記処置方法を含む対処情報を送信する付記１又は２に記載の情報処理装置。
　（付記４）
　前記対処情報は、病院情報を含み、
　前記出力手段は、前記病院情報を含む対処情報を送信する付記１乃至３のいずれか一項に記載の情報処理装置。
　（付記５）
　前記状態推定手段は、前記対象生物の属性情報を推定し、
　前記情報検索手段は、前記対象生物の状態と属性情報に基づいて、対処情報を検索する付記１乃至４のいずれか一項に記載の情報処理装置。
　（付記６）
　前記対象生物は愛玩動物であり、
　前記属性情報は前記愛玩動物の種類であり、
　前記情報検索手段は、前記愛玩動物の種類に基づいて、当該愛玩動物の対処を行う病院に関する病院情報を検索する付記５に記載の情報処理装置。
　（付記７）
　前記出力手段は、前記状態推定手段の推定結果を医療従事者の端末に出力する付記１に記載の情報処理装置。
　（付記８）
　前記状態推定手段は、前記画像から前記対象生物の病気やけがにつながる行動を推定し、
　前記出力手段は、前記状態推定手段の推定結果を前記端末装置へ出力する付記１に記載の情報処理装置。
　（付記９）
　対象生物を端末装置で撮影した画像を取得し、
　対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定し、
　前記対象生物の状態に対処するための対処情報を検索し、
　前記対処情報を前記端末装置へ出力する情報処理方法。
　（付記１０）
　対象生物を端末装置で撮影した画像を取得し、
　対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定し、
　前記対象生物の状態に対処するための対処情報を検索し、
　前記対処情報を前記端末装置へ出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　２０　　ペット端末
　２００　サーバ
　２１５　データベース（ＤＢ）
　３００　ユーザ端末
　４１１　画像取得部
　４１２　状態推定部
　４１３　情報検索部
　４１４　情報送信部
　５１１　学習データ
　５１２　学習装置

Claims (10)

  1. 　対象生物を端末装置で撮影した画像を取得する画像取得手段と、
    　対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定する状態推定手段と、
    　前記対象生物の状態に対処するための対処情報を検索する情報検索手段と、
    　前記対処情報を前記端末装置へ出力する出力手段と、
    　を備える情報処理装置。
  2. 　前記対象生物の生体情報を取得するセンサ情報取得手段を備え、
    　前記状態推定手段は、前記画像と前記生体情報に基づいて、前記対象生物の状態を推定する請求項１に記載の情報処理装置。
  3. 　前記対処情報は、病気や怪我の処置方法を含み、
    　前記出力手段は、前記処置方法を含む対処情報を送信する請求項１又は２に記載の情報処理装置。
  4. 　前記対処情報は、病院情報を含み、
    　前記出力手段は、前記病院情報を含む対処情報を送信する請求項１乃至３のいずれか一項に記載の情報処理装置。
  5. 　前記状態推定手段は、前記対象生物の属性情報を推定し、
    　前記情報検索手段は、前記対象生物の状態と属性情報に基づいて、対処情報を検索する請求項１乃至４のいずれか一項に記載の情報処理装置。
  6. 　前記対象生物は愛玩動物であり、
    　前記属性情報は前記愛玩動物の種類であり、
    　前記情報検索手段は、前記愛玩動物の種類に基づいて、当該愛玩動物の対処を行う病院に関する病院情報を検索する請求項５に記載の情報処理装置。
  7. 　前記出力手段は、前記状態推定手段の推定結果を医療従事者の端末に出力する請求項１に記載の情報処理装置。
  8. 　前記状態推定手段は、前記画像から前記対象生物の病気やけがにつながる行動を推定し、
    　前記出力手段は、前記状態推定手段の推定結果を前記端末装置へ出力する請求項１に記載の情報処理装置。
  9. 　対象生物を端末装置で撮影した画像を取得し、
    　対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定し、
    　前記対象生物の状態に対処するための対処情報を検索し、
    　前記対処情報を前記端末装置へ出力する情報処理方法。
  10. 　対象生物を端末装置で撮影した画像を取得し、
    　対象生物の画像と前記対象生物の状態との関係を学習した機械学習モデルを用いて、前記画像から前記対象生物の状態を推定し、
    　前記対象生物の状態に対処するための対処情報を検索し、
    　前記対処情報を前記端末装置へ出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2022/014858 2022-03-28 2022-03-28 情報処理装置、情報処理方法、及び、記録媒体 WO2023187865A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/014858 WO2023187865A1 (ja) 2022-03-28 2022-03-28 情報処理装置、情報処理方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/014858 WO2023187865A1 (ja) 2022-03-28 2022-03-28 情報処理装置、情報処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2023187865A1 true WO2023187865A1 (ja) 2023-10-05

Family

ID=88199632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014858 WO2023187865A1 (ja) 2022-03-28 2022-03-28 情報処理装置、情報処理方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2023187865A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101002A (ko) * 2018-02-22 2019-08-30 주식회사 오션아이 애완동물의 건강 상태 관리 방법 및 시스템
JP2019170180A (ja) * 2018-03-27 2019-10-10 東京電力ホールディングス株式会社 ペット動画解析装置、ペット動画解析システム、ペット動画解析方法、及びプログラム
WO2022050092A1 (ja) * 2020-09-01 2022-03-10 パナソニックＩｐマネジメント株式会社 ペット状況推定システム、ペットカメラ、サーバ、ペット状況推定方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190101002A (ko) * 2018-02-22 2019-08-30 주식회사 오션아이 애완동물의 건강 상태 관리 방법 및 시스템
JP2019170180A (ja) * 2018-03-27 2019-10-10 東京電力ホールディングス株式会社 ペット動画解析装置、ペット動画解析システム、ペット動画解析方法、及びプログラム
WO2022050092A1 (ja) * 2020-09-01 2022-03-10 パナソニックＩｐマネジメント株式会社 ペット状況推定システム、ペットカメラ、サーバ、ペット状況推定方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TATEBA, SHOTA: "Detection of dangerous behavior in elderly people using depth images", IEICE TECHNICAL REPORT, NC, vol. 112, no. 227 (NC2012-37), 27 September 2012 (2012-09-27), pages 7 - 9, XP009549394 *

Similar Documents

Publication Publication Date Title
US10602964B2 (en) Location, activity, and health compliance monitoring using multidimensional context analysis
US20180263703A1 (en) Enhanced diagnostics for a telepresence robot
US8647268B2 (en) Patient monitoring apparatus
US7502498B2 (en) Patient monitoring apparatus
CN103300819B (zh) 学习病人监控和干预系统
US11523773B2 (en) Biofeedback for therapy in virtual and augmented reality
KR101584090B1 (ko) 미러 디바이스, 웨어러블 디바이스 및 이를 이용한 운동 관리 시스템
EP3432772B1 (en) Using visual context to timely trigger measuring physiological parameters
US20220301666A1 (en) System and methods of monitoring a patient and documenting treatment
JP2023513424A (ja) 患者が自分で抜管する尤度を決定すること
KR102188076B1 (ko) 노년층 피보호자를 모니터링하기 위한 IoT 기술을 이용하는 방법 및 그 장치
KR102171742B1 (ko) 노인 케어 시스템 및 그 방법
WO2023187865A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
CA2977384A1 (en) Portable health monitor
US20160354023A1 (en) Delirium detection system and method
US20220226600A1 (en) Systems and methods for minimizing cognitive decline using augmented reality
JP7489248B2 (ja) 情報処理システム、情報処理方法、及び、情報処理プログラム
Madhu et al. IoT-Enabled Applications for Elderly Support and Care: A Systematic Review
JP7161812B1 (ja) 意識状態解析装置及びプログラム、並びに観察システム
KR20230056857A (ko) 인공지능 기반의 반려동물 및 사용자 건강상태 모니터링 시스템
GB2618780A (en) Health tracking method and system
WO2024038313A1 (en) Animal care management system and method thereof
Roy et al. 10 IoT-Based An Vehicle Healthcare Moving
Roy et al. An IoT-Based Moving Vehicle Healthcare Service
JP2024082513A (ja) 情報処理装置、情報処理システム及び情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22935020

Country of ref document: EP

Kind code of ref document: A1