WO2023053642A1 - 検知装置、検知方法、及びプログラム - Google Patents

検知装置、検知方法、及びプログラム Download PDF

Info

Publication number
WO2023053642A1
WO2023053642A1 PCT/JP2022/025830 JP2022025830W WO2023053642A1 WO 2023053642 A1 WO2023053642 A1 WO 2023053642A1 JP 2022025830 W JP2022025830 W JP 2022025830W WO 2023053642 A1 WO2023053642 A1 WO 2023053642A1
Authority
WO
WIPO (PCT)
Prior art keywords
physical condition
information
detection
natural person
acquired
Prior art date
Application number
PCT/JP2022/025830
Other languages
English (en)
French (fr)
Inventor
浩志 竹村
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2023053642A1 publication Critical patent/WO2023053642A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/60Healthcare; Welfare
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/20Analytics; Diagnosis

Definitions

  • the present disclosure relates to technology for detecting the occurrence of allergic symptoms.
  • Patent Literature 1 discloses a technique for detecting the occurrence of allergic symptoms from temperature, blood flow, and blood vessel diameter by wearing a detection device so as to make contact with the skin of a natural person.
  • Patent Document 1 In the technology disclosed in Patent Document 1, in a nursery school or the like with a large number of infants, it is necessary to have each infant wear a detection device in order to detect the occurrence of allergic symptoms, which is time-consuming. There was a problem.
  • An object of the present disclosure is to solve such problems, and to provide a detection device that can easily detect the occurrence of allergic symptoms.
  • the detection device includes image acquisition means for acquiring data of an image captured by an imaging device; means, and detection means for detecting that a natural person has an allergic symptom based on the physical condition information.
  • FIG. 1 is a block diagram showing an example of the configuration of a detection system according to Embodiment 1;
  • FIG. 3 is a block diagram showing an example of a hardware configuration of each device included in the detection system according to Embodiment 1.
  • FIG. 3 is a block diagram showing an example of the functional block configuration of each device included in the detection system according to Embodiment 1.
  • FIG. 4 is a flow chart showing an example of the flow of processing for detecting the occurrence of allergic symptoms according to the first embodiment.
  • FIG. 11 is a block diagram showing an example of the functional block configuration of each device included in the detection system according to the second embodiment;
  • FIG. 11 is a flow chart showing an example of the flow of processing for generating a learned model according to the second embodiment;
  • FIG. 10 is a flow chart showing an example of the flow of processing for detecting the occurrence of allergic symptoms according to the second embodiment.
  • FIG. 1 is a block diagram showing an example of the configuration of a detection system 1 according to Embodiment 1. As shown in FIG. The detection system 1 has an imaging device 100 , a detection device 103 and an information processing device 104 . As an example, the detection system 1 will be described below as being applied to a facility such as a nursery school that takes care of infants and the like.
  • the imaging device 100 is a camera such as a network camera, digital still camera, or digital video camera, and has an imaging device 101 and a notification device 102 .
  • the imaging device 101 images the kindergarten children 107 and 108 to be monitored and generates an image obtained by the imaging.
  • the imaging device 100 transmits image data (hereinafter referred to as “image data”) generated by the imaging device 101 to the detection device 103 via the network.
  • the notification device 102 outputs a notification sound or voice for guiding the children 107 and 108 to be monitored to the imaging range of the imaging device 101 or the like.
  • a plurality of imaging devices 100 may be arranged at different positions and angles in order to capture the children 107 and 108 to be monitored in a wider range without omission.
  • the detection device 103 receives the image data transmitted from the imaging device 100 via the network, and detects an immediate allergy (hereinafter simply referred to as “allergy”) to the children 107 and 108 shown in the image based on the image data. ) is detected.
  • the detection device 103 transmits the allergy detection result as notification information to the information processing device 104 via the network.
  • the information processing device 104 is a terminal such as a tablet, a smartphone, or a PC (Personal Computer), has a display device 105 and a notification device 106, and is owned by the monitor 109.
  • the display device 105 receives the notification information transmitted by the detection device 103 via the network, and displays and outputs the notification content indicated by the notification information so as to be visible to the monitor 109 .
  • the notifier 106 receives the notification information transmitted by the detection device 103 via the network, and outputs notification content indicated by the notification information by notification sound or voice.
  • the notifier 102 is illustrated as a speaker built into the imaging device 100, but this is only an example of the mode in the present embodiment, and an audio output device or the like having equivalent functions You can replace it with another device.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of each device included in the detection system 1 according to the first embodiment.
  • the imaging device 100 has a CPU 211 , a ROM 212 , a RAM 213 , an HDD 214 , a communication section 215 , an imaging section 216 and a notification section 217 , each of which is communicably connected via a bus 218 .
  • the CPU 211 uses the RAM 213 as a work memory and executes programs stored in the ROM 212 to perform various calculations.
  • the imaging unit 216 is an image sensor such as a CMOS provided in the imaging device 101 and generates image data based on the electrical signal output by the imaging unit 216 .
  • the HDD 214 stores programs executed by the CPU 211, image data, and the like.
  • a communication unit 215 is an interface for communicating with an external device such as a network device or a USB device, and performs data communication via a network or data transmission/reception with an external device.
  • the notification unit 217 is an audio output device such as a speaker, and outputs a notification sound or voice received from the detection device 103 to guide the children 107 and 108 to the imaging range of the imaging device 101 or the like.
  • the detection device 103 has a CPU 221, a ROM 222, a RAM 223, an HDD 224, and a communication unit 225, and each configuration is connected by a bus 226 so as to be communicable.
  • the CPU 221 uses the RAM 223 as a work memory and executes programs stored in the ROM 222 to perform various calculations.
  • the HDD 224 stores programs executed by the CPU 221, physical condition history information, action history information, and the like, which will be described later.
  • the communication unit 225 is an interface for communicating with an external device such as a network device or a USB device, and performs data communication via a network or data transmission/reception with the external device.
  • the information processing device 104 has a CPU 231, a ROM 232, a RAM 233, an HDD 234, a communication section 235, a display section 236, and a notification section 237, each configuration being communicably connected via a bus 238.
  • the CPU 231 uses the RAM 233 as a work memory and executes programs stored in the ROM 232 to perform various calculations.
  • the HDD 234 stores programs executed by the CPU 231 and notification information received from the detection device 103 .
  • the communication unit 235 is an interface for communicating with an external device such as a network device or a USB device, and performs data communication via a network or data transmission/reception with the external device.
  • the display unit 236 is a display device such as a liquid crystal monitor, and displays and outputs the notification content indicated by the notification information received from the detection device 103 so that the monitor 109 can see it.
  • the display unit 236 also includes a device with an input function such as a touch panel.
  • the notification unit 237 is an audio output device such as a speaker, and outputs the notification content indicated by the notification information received from the detection device 103 by notification sound or voice. Note that although the imaging device 100 and the detection device 103 are illustrated as different devices in FIG. They may be configured as the same device.
  • FIG. 3 is a block diagram showing an example of the functional block configuration of each device included in the detection system 1 according to the first embodiment.
  • the imaging device 100 has an imaging device 101 and a notification device 102, as also shown in FIG.
  • the information processing device 104 has a display device 105 and a notification device 106, as also shown in FIG. Descriptions of the imaging device 101, the notification device 102, the display device 105, and the notification device 106 are omitted because they have been described above.
  • the detection device 103 has an image acquisition unit 301 , a physical condition acquisition unit 302 , a detection unit 303 , a behavior acquisition unit 304 , an output unit 305 and a guidance unit 307 . Details of the processing of each unit of the detection device 103 will be described later.
  • sensing device 103 may include dedicated processing circuitry to perform one or more functions.
  • the processing circuit is realized by ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), or the like.
  • the processing circuit may be implemented by a DSP (Digital Signal Processor).
  • a method for detecting the onset of allergy will be described.
  • allergens in ingested food are absorbed from the intestine and reach the skin, bronchial mucosa, nasal mucosa, conjunctiva, or the like via blood.
  • IgE antibodies produced against this allergen sensitize mast cells to release chemical mediators and cause various allergic symptoms.
  • mucocutaneous symptoms, gastrointestinal symptoms, respiratory symptoms, and systemic symptoms occur most frequently in that order, and it is known that 90% of allergic symptoms occur mucocutaneous symptoms.
  • Skin and mucosal symptoms include urticaria, erythema, angioedema, eczema, pruritus, conjunctival hyperemia, eyelid edema, and the like.
  • gastrointestinal allergic symptoms include abdominal pain, vomiting, diarrhea, etc.
  • respiratory symptoms include runny nose, intermittent sneezing or coughing.
  • a severe allergy such as anaphylaxis develops, activity decreases and disturbance of consciousness occurs.
  • the detection device 103 acquires the physical condition characteristic quantity corresponding to these allergy symptoms from the image, and detects the onset of allergy based on the acquired physical condition characteristic quantity.
  • the image acquisition unit 301 acquires image data from the imaging device 100 . Specifically, the image acquisition unit 301 acquires the image data by receiving the image data transmitted from the imaging device 101 of the imaging apparatus 100 via the network. The image data acquired by the image acquisition unit 301 is output to the physical condition acquisition unit 302 and the behavior acquisition unit 304 . The image data may be output to the guidance section 307 in addition to the physical condition acquisition section 302 and the behavior acquisition section 304 .
  • the physical condition acquisition unit 302 acquires information (hereinafter referred to as "physical condition information") for specifying the physical condition of the children 107 and 108 in the image. Specifically, the physical condition acquiring unit 302 acquires the physical condition feature quantity corresponding to the allergic symptom of each kindergarten child 107, 108 as the physical condition information of the kindergarten child 107, 108 by analyzing the image. The physical condition acquisition unit 302 generates a physical condition history table that manages the acquired physical condition characteristic amount for each kindergartener in chronological order. The physical condition acquisition unit 302 stores the generated physical condition history table in the RAM 223, the HDD 224, or the like.
  • FIG. 4 is an explanatory diagram for explaining an example of an induction condition table and a physical condition history table according to the first embodiment.
  • FIG. 4B is an explanatory diagram for explaining an example of the physical condition history table generated by the physical condition acquisition unit 302 according to the first embodiment.
  • FIG. 4A will be described later.
  • the physical condition history table stores the physical condition feature amount for each child in chronological order, which is acquired by the physical condition acquiring unit 302 by analyzing the image.
  • the date and time column stores the date and time when the image was captured
  • the person ID column stores information such as a number that is associated with each child and can uniquely identify the child. be done.
  • the skin disease column stores values obtained by quantifying the degree of occurrence of skin diseases such as hives or erythema. For example, a state in which no skin disease has developed on the skin surface that can be confirmed from the image data is defined as "A0", and as symptoms can be confirmed and the severity of the symptoms increases, "A1", “A2", and "A3". defined step by step. If the image cannot be analyzed because the distance between the imaging device 101 and the child is long, for example, "N/A" is stored.
  • values obtained by quantifying the degree of onset of conjunctival hyperemia are stored.
  • a state in which conjunctival hyperemia that can be confirmed from the image data has not developed is defined as "B0", and as symptoms can be confirmed and the severity of the symptoms increases, "B1", “B2", and "B3" are graded. defined in If the image data could not be analyzed, for example, "N/A" is stored.
  • the runny nose column stores values that quantify the degree of onset of runny nose.
  • C0 is defined as a state in which there is no runny nose that can be confirmed from the image data
  • C1", “C2”, and “C3” are defined in stages as the symptoms can be confirmed and the severity of the symptoms increases. If the image data could not be analyzed, for example, "N/A” is stored.
  • the runny nose column may store the number of times of wiping or wiping the nose with a hand or arm as a value indicating the degree of onset of runny nose.
  • the column of scratching behavior stores values obtained by quantifying the degree of scratching behavior.
  • the degree of itching which is a symptom of allergy, is estimated from the child's itching behavior. For example, the number of times of itching confirmed from image data within a predetermined period is stored as the degree of itching behavior. If the image data could not be analyzed, for example, "N/A" is stored.
  • the level of consciousness column stores values obtained by quantifying the degree of disturbance of consciousness. As the degree of disturbance of consciousness, an evaluation index such as the Japan Coma Scale (JCS) or the Glasgow Coma Scale (GCS) may be used. For example, when the child shown in the image data does not move or move during a predetermined period, a value corresponding to the period of no movement is stored as the degree of disturbance of consciousness.
  • physical condition feature values that can be acquired from image data as allergy symptoms may be stored in the physical condition history table.
  • the degree of cyanosis can be obtained from the color change of a specific site such as lips or nails.
  • the number of occurrences of sneezing or coughing can be confirmed from image data within a predetermined period, and the number of occurrences can be obtained as the degree of intermittent sneezing or coughing.
  • the column of skin diseases stores the numerical value of the degree of onset of the whole body. may be managed by dividing the degree of
  • an example of summarizing the physical condition feature amounts of skin symptoms as one skin disease was shown, but instead of summarizing them as one, specific symptoms such as urticaria, angioedema, eczema, and erythema You may distinguish a physical condition feature-value.
  • the specific name of symptoms such as skin diseases is not specified, and the condition of skin color associated with skin diseases, the size of the range of onset of skin diseases, or the number of sites of onset of skin diseases You may use it as a feature-value.
  • an example is shown in which the number of itching behaviors of the whole body is quantified and stored in the itching behavior column. , the number of scratching behaviors for each site may be divided and managed.
  • the detection unit 303 detects that the child has an allergic symptom based on the physical condition information. Specifically, the detection unit 303 compares a predetermined threshold value with the physical condition characteristic amount acquired by the physical condition acquisition unit 302, and detects whether or not the child has an allergic symptom.
  • a detection method in the detection unit 303 will be described with reference to FIG.
  • FIG. 4A is an explanatory diagram for explaining an example of the triggering condition table according to the first embodiment.
  • the induction condition table is a table in which threshold values used by the detection unit 303 to detect whether or not an allergic symptom has occurred are managed for each kindergartener.
  • the induction condition table is stored in the RAM 223, HDD 224, or the like, for example, and the detection unit 303 acquires the induction condition table by reading the induction condition table stored in the RAM 223, HDD 224, or the like.
  • the person ID column stores information such as a number associated with each kindergartener to uniquely identify the kindergartener, similar to the person ID column shown in FIG. 4(b).
  • the skin disease, conjunctival hyperemia, runny nose, itching behavior, and consciousness level columns store, for example, threshold values and determination conditions for developing allergic symptoms for each kindergarten child corresponding to the person ID. ing.
  • the thresholds and determination conditions shown in FIG. 4A are predetermined for each kindergartener, for example.
  • the skin disease column stores determination conditions for determining whether or not an allergic symptom has occurred from the onset of the skin disease. For example, ">A0", which is the skin disease determination condition for a child whose record number is 1, determines that an allergic symptom occurs when the degree of skin disease onset is greater than A0.
  • the column of consciousness level stores determination conditions for determining whether or not the symptoms of anaphylaxis are occurring from the degree of consciousness level. For example, if the child's level of consciousness is less than E1, it is determined that there is a possibility that anaphylaxis symptoms have occurred.
  • the detection unit 303 detects each value of the most recent physical condition feature amount of a certain child in the physical condition history table shown in FIG. It is determined whether or not the determination conditions shown are satisfied. Based on the determination, the detection unit 303 detects whether or not the child has an allergic symptom.
  • the threshold values and determination conditions shown in FIG. 4(a) may be updated when the child is entrusted to a nursery school, such as when attending a kindergarten. Processing for updating the threshold value and determination condition, that is, processing for updating the trigger condition table will be described later.
  • the behavior acquisition unit 304 acquires information indicating the behavior of each kindergartener as behavior information by analyzing the image. Specifically, the behavior acquisition unit 304 analyzes the image to determine whether each kindergarten child “eats”, “picks up something to eat”, “exercises”, or “warms up in a bathtub”. , etc., and acquires behavior information indicating the identified behavior. Furthermore, based on the acquired behavior information, the behavior acquisition unit 304 generates behavior history information that manages behavior information for each kindergartener in chronological order. Immediate food allergy or food-dependent exercise-induced anaphylaxis is known to develop within about 2 hours after ingestion of food. Therefore, for example, the action history information manages, in chronological order, action information acquired during a predetermined period such as two hours before the current time (hereinafter referred to as "past two hours"). good too.
  • the output unit 305 generates notification information based on the detection result of the detection unit 303 and outputs the generated notification information to the display device 105 or notification device 106 included in the information processing device 104 .
  • the output unit 305 may change the content of notification information to be generated according to the detection result of the detection unit 303 . For example, when the degree of skin disease exceeds the threshold, the output unit 305 outputs “Mr. please confirm. ” and output the notification information. Also, for example, when the degree of disturbance of consciousness exceeds a threshold value, notification information with content such as "Mr. XX's consciousness level has decreased. Please check.”
  • the display 105 displays and outputs the contents of the notification information in a state that can be visually recognized by the supervisor 109, and the notifier 106 outputs the contents of the notification information by notification sound or voice.
  • the output unit 305 causes the information processing apparatus 104 to display the action history information acquired by the action acquisition unit 304 corresponding to the child detected by the detection unit 303 as having an allergic symptom.
  • the display device 105 displays and outputs the notification content indicated by the notification information and the action history of the child indicated by the action history information.
  • Action history is output by notification sound or voice.
  • the guidance unit 307 guides the child to be monitored so that the physical condition acquisition unit 302 can acquire the physical condition characteristic quantity. Specifically, for example, the guidance unit 307 guides the child to a position where the physical condition acquisition unit 302 can acquire the physical condition characteristic amount. The guidance unit 307 may guide the child to a posture in which the physical condition acquisition unit 302 can acquire the physical condition characteristic amount.
  • the guidance unit 307 generates guidance information for guiding the kindergartener, and outputs the generated guidance information to the notification device 102 included in the imaging device 100 .
  • the notification device 102 outputs the guidance content indicated by the guidance information by notification sound or voice.
  • FIG. 5 is a flowchart showing an example of the flow of update processing of the trigger condition table according to the first embodiment.
  • symbol "S" means step.
  • the detection device 103 acquires a physical condition feature amount. Details of the processing of S501 will be described later with reference to FIG.
  • the detection unit 303 uses the threshold value for determining whether or not an allergic symptom is occurring in the induction condition table shown in FIG. And determination conditions are determined, and the trigger condition table is updated.
  • the detection device 103 ends the processing of the flowchart shown in FIG.
  • the detection unit 303 sets the threshold and determination conditions so that it is determined that an allergic symptom has occurred when even a small amount of skin disease has developed. is determined to be ">A0”, and the trigger condition table is updated. Similarly, for the column corresponding to each physical condition characteristic amount, the determination condition using the degree of onset acquired in S501 as a threshold is determined, and the trigger condition table is updated.
  • the degree of skin disease detected in S501 is "A1”
  • the degree of skin disease detected in S501 is "A1”
  • the degree of skin disease detected in S501 is "A1”
  • the degree of skin disease detected in S501 is "A1”
  • the degree of skin disease detected in S501 is "A1”
  • the degree of skin disease detected in S501 is "A1”
  • the degree of skin disease detected in S501 is "A1”
  • the degree of skin disease detected in S501 is "A1”
  • the degree of skin disease detected in S501 is "A1”
  • the degree of skin disease detected in S501 is "A1
  • the process of updating the induction condition table may be performed based on the physical condition feature quantity acquired at any timing as long as it is effective as a threshold value for comparing the physical condition feature quantity. For example, physical condition characteristics acquired at the timing immediately after a child enters a nursery school, such as when attending kindergarten, or immediately before an action that is considered to be a cause of immediate allergic symptoms such as eating, exercising, or injection. You can do it based on
  • FIG. 6 is a flow chart showing an example of the flow of a physical condition characteristic amount acquisition process according to the first embodiment.
  • the image acquisition unit 301 acquires image data.
  • the image acquisition unit 301 analyzes the image and identifies the person who was imaged, that is, the kindergartener who is the person in the image. In the following description, it is assumed that the person is the kindergartener 107 .
  • the behavior acquisition unit 304 acquires behavior information. The behavior acquisition unit 304 generates behavior history information for chronologically managing behavior information for each kindergartener based on the behavior information obtained.
  • the physical condition acquisition unit 302 analyzes the image and acquires the physical condition characteristic amount of the child 107 .
  • the physical condition acquisition unit 302 determines whether or not the physical condition characteristic amount could be acquired in S604. Note that the determination in S605 may be for determining whether or not all of the plurality of physical condition feature amounts have been acquired, and may be for determining whether or not a predetermined physical condition feature amount has been acquired. good. If it is determined in S605 that the physical condition characteristic amount could not be acquired, in S606 the guiding unit 307 provides guidance information for guiding the child 107 to acquire the physical condition characteristic amount that could not be acquired in S604. is generated and output. The guidance unit 307 outputs guidance information to the notification device 102 to cause the notification device 102 to output a notification sound or voice for guiding the child 107 to guide the child 107 .
  • the guidance unit 307 guides the child 107 to a position where the physical condition characteristic amount can be acquired by image analysis. Generate guidance information for Specifically, for example, in this case, the guidance unit 307 generates guidance information for causing the notifier 102 to output a voice such as "Mr. XX, please come here.” Further, for example, when the physical condition characteristic value cannot be acquired because the child is facing the image pickup device 101, the guidance unit 307 outputs a voice such as “Mr. Generate guidance information for output to .
  • the guidance unit 307 when acquiring the physical condition feature amount of the degree of skin disease in a part hidden by clothing such as the abdomen, the guidance unit 307 causes the notifier 102 to output a voice such as "Mr. XX, please show your stomach.” Generate guidance information for In the case where the child 107 cannot move alone or cannot understand the content of the notification, guidance information may be generated to prompt the supervisor 109 to change the position or posture of the child 107. good.
  • the detection device 103 executes the processes of S604 and S605 again. If it is determined in S605 that the physical condition characteristic amount has been acquired, the detection device 103 ends the processing of the flowchart shown in FIG.
  • FIG. 7 is a flowchart showing an example of the flow of processing for detecting the occurrence of allergic symptoms according to the first embodiment. It should be noted that the processing of the flowchart shown in FIG. 7 is repeatedly executed, for example, each time a predetermined period elapses.
  • the detection device 103 acquires the physical condition characteristic quantity of the kindergartener.
  • the processing of S701 is the same as the physical condition feature amount acquisition processing described with reference to FIG. 6, and thus description thereof is omitted.
  • the physical condition acquisition unit 302 associates the physical condition characteristic quantity acquired in S701 with the person ID of the kindergartener and stores and saves it in the physical condition history table.
  • the detection unit 303 determines whether or not the child has an allergic symptom. Specifically, the detection unit 303 determines whether or not the physical condition characteristic amount of the child acquired in S701 satisfies the determination condition stored in the record of the child in the trigger condition table. It is determined whether or not the child has an allergic symptom. More specifically, for example, in the determination, the detection unit 303 determines whether at least one of the physical condition characteristic amounts acquired in S701 satisfies the determination condition. If it is determined in S703 that the determination conditions are satisfied, the detecting device 103 assumes that an allergic symptom is occurring and executes the processes of S704 and S705.
  • the detecting device 103 terminates the processing of the flowchart shown in FIG. 7 assuming that an allergic symptom has not occurred. If the value of the physical condition characteristic value acquired in S701 is "N/A" indicating that it could not be acquired, the detection unit 303 ignores the physical condition characteristic value and performs the above determination. You can choose not to do it.
  • the output unit 305 acquires action history information corresponding to the child.
  • the output unit 305 may acquire, as action history information, action information acquired in a predetermined period such as the past two hours from among the action history information corresponding to the child.
  • the action history information is generated in S603 shown in FIG. good.
  • the detection apparatus 103 stores image data acquired in a predetermined period such as the past two hours in the RAM 223 or the HDD 224, and stores the stored image data in S704. Read out and analyze the image to generate and acquire action history information.
  • the output of the notification information is prioritized to generate the action history information so as not to delay the timing of outputting the notification information, which will be described later. Processing may be skipped.
  • the output unit 305 After S704, in S705, the output unit 305 generates notification information, and sends the generated notification information and the action history information acquired in S704 to the display device 105 or the notification device 106 included in the information processing apparatus 104. output.
  • the detection device 103 ends the processing of the flowchart shown in FIG. After the processing of the flowchart shown in FIG. 7 is completed, the detecting device 103 repeatedly executes the processing of the flowchart shown in FIG. 7 after a predetermined period has elapsed.
  • FIG. 2 A detection device 103a according to the second embodiment will be described with reference to FIGS. 8 to 10.
  • FIG. The detection system according to the second embodiment is obtained by changing the detection device 103 included in the detection system according to the first embodiment to a detection device 103a.
  • the imaging device 100 and the information processing device 104 according to the second embodiment are the same as the imaging device 100 and the information processing device 104 according to the first embodiment, so descriptions thereof will be omitted.
  • the detection device 103 according to the first embodiment detects whether or not an allergic symptom is occurring from the physical condition feature quantity acquired by analyzing the image and the determination condition stored in the induction condition table. .
  • the detecting device 103a acquires the degree of induction of allergy using the acquired physical condition feature amount, and detects whether or not an allergic symptom is occurring based on the magnitude of the degree of induction. It is a thing.
  • FIG. 8 is a block diagram showing an example of the functional block configuration of each device included in the detection system according to the second embodiment.
  • the detection device 103 a includes an image acquisition unit 301 , a physical condition acquisition unit 302 , a detection unit 303 , a behavior acquisition unit 304 , an output unit 305 , and a guidance unit 307 , as well as a model generation unit 801 and an information acquisition unit 802 . That is, the detection device 103a is obtained by adding a model generation unit 801 and an information acquisition unit 802 to the detection device 103 according to the first embodiment.
  • the detection device 103a has the same hardware configuration as the detection device 103 according to the first embodiment, which is shown in FIG. 2 as an example. That is, the functions of the functional blocks shown in FIG. 8 are implemented by the CPU 221 of the detection device 103a executing a program, for example.
  • the processing of each part of the detection device 103a will be explained.
  • the model generation unit 801 causes a previously prepared learning model that has not yet been learned or is in the process of learning to learn the physical condition feature amount acquired by the physical condition acquisition unit 302 as learning data, and creates a learned model that infers the degree of allergy induction. Generate. That is, the model generation unit 801 generates a learned model for inferring the degree of induction by machine learning using one or more physical condition feature values as explanatory variables and the degree of induction as an objective variable.
  • the degree of induction for example, an evaluation index such as the Brighton classification or the severity classification presented by the Japanese Society of Allergology may be used.
  • the relationship between the degree of induction and the physical condition feature quantity is expressed, for example, as shown in (Equation 1) below.
  • Induction level ⁇ 0 + (severity of skin disease) x ⁇ 1 + (severity of conjunctival hyperemia) x ⁇ 2 + (severity of runny nose) x ⁇ 3 + (severity of itching behavior) x ⁇ 4 + ...
  • Equation 1 is a trained model generated by machine learning using a linear regression model, but machine learning using a linear regression model is only an example, and the method of machine learning is not limited to this. do not have.
  • the learned model may be generated by machine learning using a technique other than linear regression models such as SVM (support vector machine).
  • the model generation unit 801 may also generate a plurality of learned models by dividing into predetermined categories such as by physique, age, sex, race, or health condition. The model generation unit 801 saves the generated trained model in the RAM 223, HDD 224, or the like.
  • FIG. 9 is a flowchart illustrating an example of the flow of processing for generating a trained model according to the second embodiment.
  • the image acquisition unit 301 acquires image data.
  • the physical condition acquisition unit 302 analyzes the image and acquires the physical condition characteristic amount of the child.
  • the model generating unit 801 uses the physical condition feature quantity acquired in S902 as learning data to allow a previously prepared learning model that has not yet been learned or is in the process of learning to learn.
  • the model generation unit 801 determines whether or not learning to the learning model is completed by comparing with, for example, a predetermined number of times of learning or learning time.
  • the detection device 103a If it is determined in S904 that the learning has not been completed, the detection device 103a returns to the processing of S901 and repeats the processing from S901 to S904 until it is determined that the learning has been completed in S904. Execute. If it is determined in S904 that the learning has been completed, in S905 the model generation unit 801 sets the learning model that has been learned so far as a learned model to estimate the degree of induction of allergy. to generate After S905, in S906, the model generation unit 801 outputs the generated learned model to the HDD 224 or the like, and stores and saves the learned model to the HDD 224 or the like. After S906, the detection device 103a ends the processing of the flowchart shown in FIG.
  • the detection unit 303 inputs the physical condition feature amount acquired by the physical condition acquisition unit 302 to the learned model generated by the model generation unit 801 as an explanatory variable, and determines the induction level output by the learned model as an inference result. to get Next, the detection unit 303 compares a predetermined triggering degree threshold with the acquired triggering degree to detect whether or not the child has an allergic symptom.
  • the output unit 305 generates notification information based on the detection result of the detection unit 303 and outputs the generated notification information to the display device 105 or notification device 106 included in the information processing device 104 .
  • the output unit 305 may change the content of notification information to be generated according to the detection result of the detection unit 303 . Specifically, for example, the output unit 305 changes the content of notification information to be generated according to the magnitude of the acquired induction degree. The content of notification may be changed according to the degree of induction calculated in S1001. For example, when the degree of induction is a value corresponding to mild symptoms, the output unit 305 generates and outputs notification information such as “Mr. do.
  • notification information with content such as "Mr. .
  • the display 105 displays and outputs the contents of the notification information in a state that can be visually recognized by the supervisor 109, and the notifier 106 outputs the contents of the notification information by notification sound or voice.
  • the output unit 305 may generate and output notification information for causing the notification device 106 to output an alarm sound.
  • the output unit 305 in addition to the notification information, receives the action history information acquired by the action acquisition unit 304, similarly to the output unit 305 according to the first embodiment. can be output to
  • the detection unit 303 may have a function to update the learned model. Specifically, for example, the detection unit 303 updates the learned model by performing additional learning on the generated learned model.
  • the output unit 305 generates request information for requesting feedback of the notification result from the monitor 109, and, in addition to the notification information, outputs the generated request information to the display device 105 or Output to the notifier 106 .
  • the request information is information for causing the display device 105 or the notification device 106 to output, for example, "Have you had any allergic symptoms? Feedback for induction determination.”
  • the monitor 109 performs an operation input to the information processing device 104 indicating whether or not an allergic symptom is actually occurring.
  • the information processing device 104 outputs information corresponding to the operation input to the detection device 103a as feedback information.
  • the feedback information output by the information processing device 104 is acquired by the information acquisition unit 802 .
  • the detection unit 303 updates the learned model based on the feedback information acquired by the information acquisition unit 802 . For example, when the content of the feedback information is "No" as an answer to "Have you had any allergic symptoms?", it can be said that the accuracy of the learned model is low.
  • the detection unit 303 uses the feedback information acquired by the information acquisition unit 802 as teacher data to update the learned model by performing supervised learning on the learned model. By updating the learned model in this way, it is possible to improve the accuracy of estimation of the degree of induction by the learned model.
  • the monitor 109 may input an appropriate induction level when receiving a request for feedback of the notification result from the detection device 103a.
  • the information acquisition unit 802 acquires information indicating the degree of induction input by the observer 109 as feedback information
  • the detection unit 303 acquires the degree of induction output by the trained model as the inference result indicated by the feedback information. Update the trained model to match the trigger level.
  • FIG. 10 is a flowchart showing an example of the flow of processing for detecting the occurrence of allergic symptoms according to the second embodiment. Note that the processing of the flowchart shown in FIG. 10 is repeatedly executed, for example, each time a predetermined period elapses. In FIG. 10, the description of the components denoted by the same reference numerals as in FIG. 7 will be omitted.
  • the detection device 103a sequentially executes the processes of S701 and S702. After S702, in S1001, the detection unit 303 inputs the physical condition feature amount acquired in S701 to the learned model, and acquires the induction level output by the learned model as an inference result.
  • the detection unit 303 first acquires the trained model saved in S906 by reading it from the HDD 224 or the like. Next, the physical condition feature quantity acquired in S701 is input to the acquired trained model as an explanatory variable to infer the degree of induction, and the degree of induction, which is the inference result output as the objective variable, is acquired.
  • the detection unit 303 determines whether or not an allergic symptom has occurred. Specifically, the detection unit 303 determines whether or not an allergic symptom is occurring by determining whether or not the degree of induction acquired in S1001 exceeds a predefined threshold. The detection unit 303 determines that an allergic symptom occurs when the degree of induction exceeds the threshold, and determines that an allergic symptom does not occur when the degree of induction does not exceed the threshold. If it is determined in S1002 that the degree of induction does not exceed the threshold, the detection device 103a ends the processing of the flowchart of FIG. When it is determined in S1002 that the degree of induction exceeds the threshold, the detection device 103a sequentially executes the processes of S704 and S705.
  • the output unit 305 After S705, in S1004, the output unit 305 generates request information, outputs the generated request information to the information processing apparatus 104, and sends the notification output in S705 to the monitor 109 such as a user. Request feedback on the content of information.
  • the detection device 103a updates the learned model according to the details of the response from the supervisor 109 to the feedback request in S1004. Specifically, first, the information acquisition unit 802 acquires feedback information indicating the content of the operation input for the answer by the monitor 109 . Next, the detection unit 303 updates the learned model based on the feedback information acquired by the information acquisition unit 802 .
  • the detection device 103a ends the processing of the flowchart in FIG. The detecting device 103a repeatedly executes the process of the flowchart shown in FIG. 10 after a predetermined period of time has elapsed after the process of the flowchart shown in FIG. 10 is completed.
  • the detection unit 303 determines whether or not an allergic symptom is occurring based on the degree of induction acquired using the learned model generated by the model generation unit 801. However, it is not limited to this. For example, the detection unit 303 acquires the coefficients ⁇ 0, ⁇ 1, ⁇ 2, ⁇ 3, and ⁇ 4 by calculating the degree of induction using the predetermined formula 1, and determines whether an allergic symptom has occurred. It may be determined whether
  • the present embodiment it is possible to easily detect the occurrence of allergic symptoms without having a natural person wear the detection device. Further, according to the present embodiment, by detecting the occurrence of an allergic symptom based on the degree of induction derived using a plurality of physical condition feature values, it is possible to detect the occurrence of an allergic symptom based on the physical condition feature value itself. By comparison, highly accurate detection can be performed. Furthermore, according to the present embodiment, the learned model, which is the result of learning by machine learning, is caused to infer the degree of induction, and the occurrence of allergic symptoms is detected based on the degree of induction, which is the inference result of the learned model. Highly accurate detection can be performed. Furthermore, by receiving feedback from the observer 109, it is possible to improve the accuracy of the derived induction level.
  • the detection systems according to Embodiments 1 and 2 are applied to facilities such as nursery schools that take care of infants, etc., and are applied to children in nursery schools as objects to be monitored. It is not limited to this. For example, facilities may be replaced with residences, workplaces, commercial facilities, etc., and monitoring targets may be replaced with adults.
  • the detection devices 103 and 103a acquire the physical condition characteristic amount by analyzing the image as an example, but the acquisition method for acquiring the physical condition characteristic amount is different from this. It is not limited.
  • the detection devices 103 and 103a may acquire the physical condition feature amount by voice analysis in addition to acquiring the physical condition feature amount by image analysis.
  • the detection system collects sound using a sound collector (not shown in FIG. 1) built into the imaging device 100 or a sound collector such as a microphone installed in the facility.
  • the detection device of the detection system acquires data of the sound collected by the sound collector and analyzes the sound to determine whether the sound caused by the occurrence of allergic symptoms or the utterance by the monitored object, etc.
  • a physical condition characteristic quantity is acquired based on a phrase or the like.
  • the detection devices 103 and 103a according to Embodiments 1 and 2 acquire physical condition characteristics such as intermittent sneezing or coughing from image data. These physical condition feature quantities can be acquired with higher accuracy.
  • a phrase such as "itchy” obtained from the voice analysis result and the itching behavior obtained from the image analysis result the accuracy of acquiring the physical condition feature value corresponding to the degree of itching sensation is increased. be able to.
  • the detection devices 103 and 103a detect the occurrence of food allergy as an immediate allergy, but the type of allergy to be detected is not limited to this.
  • the detection devices 103 and 103a may be used to detect the occurrence of allergic symptoms associated with vaccination such as influenza vaccine or corona vaccine.
  • the guidance unit 307 may generate guidance information for acquiring the degree of skin disease in the vaccinated site as the physical condition characteristic amount, and output the guidance information so that the non-vaccinated person can check it.
  • the timer is measured for 30 minutes from the time of vaccination, and if the occurrence of allergic symptoms cannot be confirmed after 30 minutes have passed, the monitor or the contact person cannot confirm the adverse reactions that are allergic symptoms. Notification information to that effect may be output.
  • the detection devices 103 and 103a according to Embodiments 1 and 2 are intended to detect the occurrence of allergic symptoms with a natural person as the monitoring target, but the monitoring target is not limited to this.
  • the detection devices 103 and 103a may replace a natural person with an animal such as a dog or a cat as a monitoring target.
  • Allergic diseases such as food allergy and atopic dermatitis have been confirmed in dogs and cats.
  • food allergy in dogs causes allergic symptoms similar to those in humans, such as skin symptoms, itching, vomiting, and diarrhea. It has been known.
  • food allergies in dogs show itching behavior such as constant scratching of the face after meals, and skin disease symptoms occur on the face, tip, perianal area, armpit, fingers, or between the paws.
  • the physical condition acquisition unit 302 acquires the dog's physical condition characteristic amount by analyzing the image.
  • the guiding unit 307 outputs the owner's pre-recorded voice, notification information for generating a sound that attracts the dog's interest, or notification information for outputting the movement or display of an object that attracts the dog's interest. By doing so, the monitoring target may be guided to a position where the physical condition characteristic value can be obtained.
  • the present disclosure supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or storage medium, and one or more processors in the computer of the system or device read and execute the program. processing is also feasible. It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Medical Informatics (AREA)
  • Marketing (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Strategic Management (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Bioethics (AREA)
  • Epidemiology (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

検知装置は、まず、撮像装置による撮像により得られた画像のデータを取得する。次に、取得した画像に基づいて、画像に写る自然人の体調を特定するための体調情報を取得する。次に、取得した体調情報に基づいて自然人にアレルギー症状が発生していることを検知する。

Description

検知装置、検知方法、及びプログラム
 本開示は、アレルギー症状の発生を検知する技術に関する。
 近年、アレルギーを疾患する人が増加している。その中でも特に食物アレルギー等の即時型のアレルギーが急増しており、2015年の日本国総務省における「乳幼児の食物アレルギー対策に関する実施調査」では日本国内の調査対象の約9割の保育所に食物アレルギーを有する園児等が在籍するとされる。アレルギー症状は重篤化することもあるため、アレルギー症状の発生を早期に発見することが求められている。日常生活において、非侵襲な測定によりアレルギー症状が発生していることを検知する技術が知られている。特許文献1には、自然人の皮膚に接触するように検知装置を装着させることで、温度、血流量、及び血管径からアレルギー症状が発生していることを検知する技術が開示されている。
特開2017-184844号公報
 特許文献1に開示された技術には、多数の乳幼児を有する保育所等においては、アレルギー症状の発生を検知するために、乳幼児の一人ひとりに検知装置を装着させる必要があるため、手間が掛かるという問題点があった。本開示は、このような問題点を解決するものであって、簡便にアレルギー症状の発生を検知することができる検知装置を提供することを目的とする。
 本開示に係る検知装置は、撮像装置による撮像により得られた画像のデータを取得する画像取得手段と、画像に基づいて、画像に写る自然人の体調を特定するための体調情報を取得する体調取得手段と、体調情報に基づいて、自然人にアレルギー症状が発生していることを検知する検知手段と、を有する。
 本開示によれば、簡便にアレルギー症状の発生を検知することができる。
 本開示の更なる特徴は、添付の図面を参照して行う以下の実施形態の説明より明らかになる。
実施形態1に係る検知システムの構成の一例を示すブロック図である。 実施形態1に係る検知システムが有する各装置のハードウェア構成の一例を示すブロック図である。 実施形態1に係る検知システムが有する各装置の機能ブロックの構成の一例を示すブロック図である。 実施形態1に係る誘発条件テーブル及び体調履歴テーブルの一例を説明するための説明図である。 実施形態1に係る誘発条件テーブルの更新処理の流れの一例を示すフローチャートである。 実施形態1に係る体調特徴量の取得処理の流れの一例を示すフローチャートである。 実施形態1に係るアレルギー症状の発生の検知処理の流れの一例を示すフローチャートである。 実施形態2に係る検知システムが有する各装置の機能ブロックの構成の一例を示すブロック図である。 実施形態2に係る学習済モデルの生成処理の流れの一例を示すフローチャートである。 実施形態2に係るアレルギー症状の発生の検知処理の流れの一例を示すフローチャートである。
 以下、本開示の実施形態について図面を用いて説明する。なお、以下の実施形態に示す構成は一例に過ぎず、本開示の範囲をその構成のみに限定するものではない。
[実施形態1]
 図1から図7までを参照して、実施形態1に係る検知装置103について説明する。図1は、実施形態1に係る検知システム1の構成の一例を示すブロック図である。検知システム1は、撮像装置100、検知装置103、及び情報処理装置104を有する。以下、一例として、検知システム1は、幼児等を預かる保育所等の施設に適用されているものとして説明する。
 撮像装置100は、ネットワークカメラ、デジタルスチルカメラ、又はデジタルビデオカメラ等のカメラであり、撮像器101及び通知器102を有する。撮像器101は、監視対象の園児107,108を撮像し、撮像により得た画像を生成する。撮像装置100は、撮像器101により生成された画像のデータ(以下「画像データ」という。)を、ネットワークを介して検知装置103に対して送信する。通知器102は、監視対象である園児107,108を撮像器101の撮像範囲等に誘導するための通知音又は音声を出力する。撮像装置100は、監視対象の園児107,108をより広範囲に漏れなく捉えるために、複数台を異なる位置、角度で配置してもよい。
 検知装置103は、撮像装置100から送信された画像データを、ネットワークを介して受信し、画像データに基づいて、画像に写る園児107,108に即時型のアレルギー(以下、単に「アレルギー」という。)が発症しているか否かの検知を行う。検知装置103は、アレルギーの検知結果を通知情報として、ネットワークを介して情報処理装置104に送信する。
 情報処理装置104は、タブレット、スマートフォン、又はPC(Personal Computer)等の端末であり、表示器105及び通知器106を有し、監視者109が所有する。表示器105は、検知装置103が送信した通知情報をネットワークを介して受信して、通知情報が示す通知内容を監視者109に対して視認可能に表示出力する。通知器106は、検知装置103が送信した通知情報をネットワークを介して受信して、通知情報が示す通知内容を通知音又は音声により出力する。なお、図1では、通知器102は、撮像装置100に内蔵されたスピーカとして図示しているが、これは、本実施形態における様態のあくまで一例であり、同等の機能を有する音声出力装置等の別のデバイスに置き換えてよい。
 図2は、実施形態1に係る検知システム1が有する各装置のハードウェア構成の一例を示すブロック図である。撮像装置100は、CPU211、ROM212、RAM213、HDD214、通信部215、撮像部216、及び通知部217を有し、それぞれの構成は、バス218により通信可能に接続されている。CPU211は、RAM213をワークメモリとして、ROM212に格納されたプログラムを実行して各種演算を行う。撮像部216は、撮像器101に備えられたCMOS等のイメージセンサであって、撮像部216が出力する電気信号に基づいて画像データが生成される。HDD214は、CPU211により実行されるプログラム、及び画像データ等を格納する。通信部215は、ネットワーク機器又はUSBデバイスといった外部装置と通信するためのインターフェースであり、ネットワークを介したデータ通信、又は外部装置との間のデータの送受信を行う。通知部217は、スピーカ等の音声出力デバイスであり、検知装置103から受信した園児107,108を撮像器101の撮像範囲等に誘導するための通知音又は音声等を出力する。
 検知装置103は、CPU221、ROM222、RAM223、HDD224、及び通信部225を有し、それぞれの構成は、バス226により通信可能に接続されている。CPU221は、RAM223をワークメモリとして、ROM222に格納されたプログラムを実行して各種演算を行う。HDD224は、CPU221により実行されるプログラム、並びに、後述する体調履歴情報及び行動履歴情報等を格納する。通信部225は、ネットワーク機器又はUSBデバイスといった外部装置と通信するためのインターフェースであり、ネットワークを介したデータ通信又は外部装置との間のデータの送受信を行う。
 情報処理装置104は、CPU231、ROM232、RAM233、HDD234、通信部235、表示部236、及び通知部237を有し、それぞれの構成は、バス238により通信可能に接続されている。CPU231は、RAM233をワークメモリとして、ROM232に格納されたプログラムを実行して各種演算を行う。HDD234は、CPU231により実行されるプログラム、及び検知装置103から受信した通知情報を格納する。通信部235は、ネットワーク機器又はUSBデバイスといった外部装置と通信するためのインターフェースであり、ネットワークを介したデータ通信、又は外部装置との間のデータの送受信を行う。表示部236は、液晶モニター等の表示デバイスであり、検知装置103から受信した通知情報が示す通知内容を監視者109に対して視認可能に表示出力する。本実施形態において、表示部236には、タッチパネル等の入力機能を備えたものも含まれる。通知部237は、スピーカ等の音声出力デバイスであり、検知装置103から受信した通知情報が示す通知内容を、通知音又は音声により出力する。なお、図2では、撮像装置100と検知装置103とは互いに異なる別の装置として図示しているが、これは、本実施形態における様態のあくまで一例であり、撮像装置100と検知装置103とを同一の装置として構成してもよい。
 図3は、実施形態1に係る検知システム1が有する各装置の機能ブロックの構成の一例を示すブロック図である。撮像装置100は、図1にも示すように、撮像器101及び通知器102を有する。情報処理装置104は、図1にも示すように、表示器105及び通知器106を有する。撮像器101、通知器102、表示器105、及び通知器106については、上述したため説明を省略する。検知装置103は、画像取得部301、体調取得部302、検知部303、行動取得部304、出力部305、及び誘導部307を有する。検知装置103が有する各部の処理の詳細については後述する。図3に示す機能ブロックが有する機能は、前述したように、各装置が有するCPU211,221,231がプログラムを実行することにより実現されるが、CPU211,221,231が全ての機能を実現する必要はない。例えば、検知装置103は、1つ以上の機能を実現する専用の処理回路を備えてもよい。ここで、処理回路は、ASIC(Application Specific Integrated Circuit)、又はFPGA(Field Programmable Gate Array)等により実現される。処理回路は、DSP(デジタルシグナルプロセッサ)により実現されてもよい。
 本実施形態に係るアレルギーの発症の検知方法について説明する。即時型の食物アレルギーでは、摂取した食物内のアレルゲンが腸から吸収され、血液を介して皮膚、気管支粘膜、鼻粘膜、又は結膜等に到達する。このアレルゲンに対して産生されたIgE抗体がマスト細胞に感作することで、化学伝達物質が放出され各種のアレルギー症状が発生する。アレルギー症状としては、皮膚粘膜症状、消化器症状、呼吸器症状、全身性症状の順で発生頻度が高く、アレルギーが発症した場合、その9割に皮膚粘膜症状が発生すると知られている。皮膚粘膜症状としては、蕁麻疹、紅斑、血管性浮腫、湿疹、掻痒感、結膜充血、又は眼瞼浮腫等が挙げられる。また、消化器系のアレルギー症状としては、腹痛、嘔吐、又は下痢等が挙げられ、呼吸器症状としては、鼻水、又は、間欠性のくしゃみ若しくは咳が挙げられる。また、アナフィラキシー等の重度のアレルギーが発症した場合、活動性が低下し、意識障害が発生することが知られている。本実施形態に係る検知装置103は、これらのアレルギーの症状に対応する体調特徴量として画像から取得し、取得した体調特徴量に基づいてアレルギーの発症を検知する。
 検知装置103が有する各部の処理について説明する。画像取得部301は、撮像装置100から画像のデータを取得する。具体的には、画像取得部301は、撮像装置100が有する撮像器101から送信された画像データをネットワークを介して受信することにより、当該画像データを取得する。画像取得部301により取得された画像データは、体調取得部302及び行動取得部304に対して出力される。画像データは、体調取得部302及び行動取得部304に加えて、誘導部307に対して出力されてもよい。
 体調取得部302は、画像取得部301が取得した画像に基づいて、画像に写る園児107,108の体調を特定するための情報(以下「体調情報」という。)を取得する。具体的には、体調取得部302は、画像を解析することにより、園児毎に園児107,108のアレルギーの症状に対応する体調特徴量を、園児107,108の体調情報として取得する。体調取得部302は、取得した体調特徴量を園児毎に時系列に管理する体調履歴テーブルを生成する。体調取得部302は、生成した体調履歴テーブルを、RAM223又はHDD224等に保存する。
 図4(b)を参照して、体調取得部302が取得する体調特徴量、及び体調取得部302が生成する体調履歴テーブルについて説明する。図4は、実施形態1に係る誘発条件テーブル及び体調履歴テーブルの一例を説明するための説明図である。具体的には、図4(b)は、実施形態1に係る体調取得部302が生成する体調履歴テーブルの一例を説明するための説明図である。図4(a)については後述する。体調履歴テーブルは、体調取得部302が画像を解析することにより取得した、園児毎の体調特徴量を時系列に格納したものである。
 図4(b)において、日時の列には、画像が撮像された日時が格納され、人IDの列には、各園児に対応付けられて園児を一意に識別可能な番号等の情報が格納される。また、皮膚疾患の列には、蕁麻疹又は紅斑等の皮膚疾患の発症の程度が数値化された値が格納される。例えば、画像データから確認できる皮膚面に皮膚疾患が発症していない状態を「A0」とし、症状が確認でき、且つ、症状の程度が重症化するに従い「A1」、「A2」、「A3」と段階的に定義する。なお、撮像器101と園児との間の距離が遠い等、画像が解析できなかった場合には、例えば、「N/A」が格納される。また、結膜充血の列では、結膜充血の発症の程度が数値化された値が格納される。例えば、画像データから確認できる結膜充血が発症していない状態を「B0」とし、症状が確認でき、且つ、症状の程度が重症化するに従い「B1」、「B2」、「B3」と段階的に定義する。なお、画像データが解析できなかった場合には、例えば、「N/A」が格納される。
 また、鼻水の列には、鼻水の発症の程度が数値化された値が格納される。例えば、画像データから確認できる鼻水が出ていない状態を「C0」とし、症状が確認でき、且つ、症状の程度が重症化するに従い「C1」、「C2」、「C3、と段階的に定義する。なお、画像データが解析できなかった場合には、例えば、「N/A」が格納される。鼻水の列には、鼻を手又は腕等で拭いたり拭ったりする動作の回数を、鼻水の発症の程度を示す値として格納してもよい。掻痒行動の列には、掻痒行動の程度が数値化された値が格納される。アレルギーの症状である掻痒感の程度を園児の掻痒行動から推定する。例えば、予め定められた期間内に画像データから確認できた掻痒の回数を掻痒行動の程度として格納する。なお、画像データが解析できなかった場合には、例えば、「N/A」が格納される。意識レベルの列には、意識障害の程度が数値化された値が格納される。意識障害の程度として、例えばジャパン・コーマ・スケール(JCS)又はグラスゴー・コーマ・スケール(GCS)といった評価指標を利用してもよい。例えば、予め定められた期間内に画像データに写る園児に移動又は動作等の動きがないときに、動きのない期間に応じた値を意識障害の程度として格納する。
 その他、アレルギーの症状として画像データから取得可能な体調特徴量を体調履歴テーブルに格納してもよい。例えば、アレルギーの発症により呼吸困難になりチアノーゼが発症しているとき、唇又は爪等が青白くなることが知られている。そのため、チアノーゼの程度を唇又は爪等の特定部位の色変化から取得することができる。また、予め定められた期間内の画像データからくしゃみ又は咳の発生回数を確認して、当該発生回数を間欠性のくしゃみ又は咳の程度として取得することができる。
 上述の説明では、皮膚疾患の列には、全身の発症の程度が数値化された値が格納される例を示したが、顔、掌、及び四肢等の部位に分けて、各部位における発症の程度を分けて管理してもよい。また、上述の説明では、皮膚症状の体調特徴量を1つの皮膚疾患としてまとめる例を示したが、1つにまとめず、蕁麻疹、血管性浮腫、湿疹、及び紅斑等といった具体的な症状毎に体調特徴量を区別してもよい。また、上述の説明では、皮膚疾患等の具体的な症状名を特定せず、皮膚疾患に伴う皮膚の色の状態、皮膚疾患の発症範囲の大きさ、又は皮膚疾患の発症部位の数を体調特徴量として利用してもよい。また、上述の説明では、掻痒行動の列には、全身の掻痒行動の回数が数値化された値が格納される例を示したが、眼瞼、口唇、顔面、及び四肢等の部位に分けて、各部位に対する掻痒行動の回数を分けて管理してもよい。
 検知部303は、体調情報に基づいて、園児にアレルギー症状が発生していることを検知する。具体的には、検知部303は、予め定められた閾値と、体調取得部302が取得した体調特徴量とを比較して、園児にアレルギー症状が発生しているか否かを検知する。図4(a)を参照して、検知部303における検知方法について説明する。図4(a)は、実施形態1に係る誘発条件テーブルの一例を説明するための説明図である。誘発条件テーブルは、検知部303が、アレルギー症状が発生しているか否かを検知する際に用いる閾値が園児毎に管理されたテーブルである。誘発条件テーブルは、例えば、RAM223又はHDD224等に保存されており、検知部303は、RAM223又はHDD224等に保存された誘発条件テーブルを読み出すことにより、誘発条件テーブルを取得する。図4(a)において、人IDの列には、図4(b)に示す人IDの列と同様の、各園児に対応付けられて園児を一意に識別可能な番号等の情報が格納されている。また、皮膚疾患、結膜充血、鼻水、掻痒行動、及び意識レベルの各列には、例えば、人IDに対応する園児毎に、アレルギー症状が発症しているとされる閾値及び判定条件が格納されている。図4(a)に示す閾値及び判定条件は、例えば、園児毎に予め定められている。
 具体的には、図4(a)において、皮膚疾患の列には、皮膚疾患の発症状況からアレルギー症状が発生しているか否かを判定するための判定条件が格納されている。例えば、レコードNoが1に対応する園児の皮膚疾患の判定条件である「>A0」は、皮膚疾患の発症の程度がA0より大きくなった場合に、アレルギー症状が発生していると判定することを意味する。また、意識レベルの列には、意識レベルの程度からアナフィラキシーの症状が発生しているか否かを判定するための判定条件が格納されている。例えば、レコードNoが1に対応する園児の皮膚疾患の判定条件である「<E1」は、意識レベルの程度がE1より小さくなった場合、アナフィラキシーの症状が発生している可能性があると判定することを意味する。ただし、午睡の時間帯等の予め意識レベルが低下することが想定される時間帯では、誤検知を防止のために当該判定条件を利用しないようにしてもよい。検知部303は、図4(b)に示す体調履歴テーブルにおけるある園児の直近の体調特徴量の各値と、図4(a)に示す当該園児に対応する閾値とが図4(a)に示す判定条件を満たすか否かを判定する。当該判定により、検知部303は、当該園児にアレルギー症状が発生いているか否かを検知する。
 即時型の食物アレルギーは、アトピー性皮膚炎と合併することが多いことが知られており、食物アレルギーの症状が発生していなくても、既にアトピー性皮膚炎による皮膚疾患が発症している場合がある。例えば、既にアトピー性皮膚炎による皮膚疾患が発症している状態で園児が保育所に預けられた場合、預けられたとき発症していた皮膚疾患がより悪化したときに、即時型のアレルギー症状が発生していると判定されることが望ましい。したがって、図4(a)に示す閾値及び判定条件は、登園時等の園児が保育所に預けられたとき等に更新されるものであってもよい。閾値及び判定条件の更新処理、すなわち、誘発条件テーブルの更新処理については後述する。
 行動取得部304は、画像を解析することにより各園児の行動を示す情報を行動情報として取得する。具体的には、行動取得部304は、画像を解析することにより各園児の「食事をする」、「物を拾って口にする」、「運動する」、又は「湯船に入って体を温める」等といった行動を特定して、特定した行動を示す行動情報を取得する。更に、行動取得部304は、取得した行動情報に基づいて、園児毎の行動情報を時系列に管理する行動履歴情報を生成する。即時型の食物アレルギー、又は、食物依存性運動誘発アナフィラキシーは、食物の摂取等をした時点からおよそ2時間以内に発症することが知られている。そのため、例えば、行動履歴情報は、現在の時点から2時間前まで(以下「過去2時間」という。)等の予め定められた期間に取得された行動情報を時系列に管理するものであってもよい。
 出力部305は、検知部303における検知結果に基づいて通知情報を生成し、生成した通知情報を情報処理装置104が有する表示器105又は通知器106に対して出力する。出力部305は、検知部303における検知結果に応じて、生成する通知情報の内容を変えてもよい。例えば、出力部305は、皮膚疾患の程度が閾値を超えた場合には、「○○(「○○」は、例えば、園児の氏名等。)さんに皮膚疾患がみられます。確認してください。」等の内容の通知情報を生成して出力する。また、例えば、意識障害の程度が閾値を超えた場合には、「○○さんの意識レベルが低下しています。確認してください。」等の内容の通知情報を生成して出力する。表示器105は、通知情報の内容を監視者109が視認可能な状態で表示出力し、通知器106は、通知情報の内容を通知音又は音声により出力する。
 出力部305は、通知情報に加えて、行動取得部304により取得された、検知部303によりアレルギー症状が発生していると検知された園児に対応する行動履歴情報を情報処理装置104が有する表示器105又は通知器106に対して出力してもよい。この場合、表示器105は、通知情報が示す通知内容と行動履歴情報が示す園児の行動の履歴とを表示出力し、通知器106は、通知情報が示す通知内容と行動履歴情報が示す園児の行動の履歴とを通知音又は音声により出力する。出力部305が行動履歴情報を出力することにより、監視者109は、当該園児の行動履歴からアレルギー症状が発生した原因を特定することができる。結果として、監視者109は、アレルギー症状の発生後の対応を迅速に行うこと、又は、今後の予防策を講じることができる。
 誘導部307は、体調取得部302が体調特徴量を取得可能な状態になるように、監視対象である園児を誘導する。具体的には、例えば、誘導部307は、体調取得部302が体調特徴量を取得可能な位置に園児を誘導する。誘導部307は、体調取得部302が体調特徴量を取得可能な姿勢に園児を誘導してもよい。誘導部307は、園児を誘導するための誘導情報を生成して、生成した誘導情報を撮像装置100が有する通知器102に対して出力する。通知器102は、誘導情報が示す誘導内容を通知音又は音声により出力する。
 図5を参照して、誘発条件テーブルの更新処理の流れについて説明する。図5は、実施形態1に係る誘発条件テーブルの更新処理の流れの一例を示すフローチャートである。なお、以下の説明において記号「S」はステップを意味する。まず、S501にて、検知装置103は、体調特徴量を取得する。S501の処理の詳細については、図6を参照して後述する。次に、S502にて、検知部303は、S501にて取得した体調特徴量に基づいて、図4(a)に示す誘発条件テーブルにおけるアレルギー症状が発生しているか否かを判定するための閾値及び判定条件を決定して、誘発条件テーブルを更新する。S502の後、検知装置103は、図5に示すフローチャートの処理を終了する。
 例えば、S501にて取得した皮膚疾患の発症の程度が「A0」だった場合、検知部303は、皮膚疾患が少しでも発症した場合にアレルギー症状が発生したと判定されるように閾値及び判定条件を「>A0」に決定して、誘発条件テーブルを更新する。同様に各体調特徴量に対応する列についても、S501にて取得した発症の程度を閾値とした判定条件に決定して、誘発条件テーブルを更新する。また、登園時等の園児が保育所に預けられたときに既にアトピー性皮膚炎による皮膚疾患が発症している場合等、S501にて検出した皮膚疾患の程度が「A1」だった場合には、レコードNoの2に対応する皮膚疾患の列のように「>A1」とする。このように判定条件を決定することで、現在よりも症状が悪化した場合にのみ、即時型のアレルギー症状が発生していると判定することができる。誘発条件テーブルの更新処理は、体調特徴量を比較するための閾値として有効なものであれば、どのようなタイミングで取得した体調特徴量に基づいて行ってもよい。例えば、登園時等の園児が保育所に入った直後、又は、食事、運動、若しくは注射等の即時型のアレルギー症状の発生要因として考えられる行動の直前等のタイミングで取得した体調特徴量に基づいて行ってもよい。
 図6を参照して、体調特徴量の取得処理の流れについて説明する。図6は、実施形態1に係る体調特徴量の取得処理の流れの一例を示すフローチャートである。まず、S601にて、画像取得部301は、画像データを取得する。次に、S602にて、画像取得部301は、画像を解析して、撮像された人物、すなわち、画像に写る人物である園児を特定する。以下、当該人物は、園児107であるものとして説明する。次に、S603にて、行動取得部304は、行動情報を取得する。行動取得部304は、取得した行動情報に基づいて、園児毎の行動情報を時系列に管理する行動履歴情報を生成する。次に、S604にて、体調取得部302は、画像を解析して、園児107の体調特徴量を取得する。次に、S605にて、体調取得部302は、S604にて体調特徴量が取得できたか否かを判定する。なお、S605の判定は、複数の体調特徴量の全てを取得できたか否かを判定するものであってよく、予め定められた体調特徴量が取得できたか否かを判定するものであってもよい。S605にて体調特徴量が取得できなかったと判定された場合、S606にて、誘導部307は、S604にて取得できなかった体調特徴量を取得するために、園児107を誘導するための誘導情報を生成して出力する。誘導部307は、誘導情報を通知器102に対して出力することにより、通知器102に園児107を誘導するための通知音又は音声を出力させて、園児107を誘導する。
 例えば、園児107が撮像器101から遠い位置にいたために結膜充血の体調特徴量を取得できなかった場合、誘導部307は、画像解析により当該体調特徴量を取得できる位置まで園児107を誘導するための誘導情報を生成する。具体的には、例えば、当該場合、誘導部307は、「○○さん、こちらに来てください」等の音声を通知器102に出力させるための誘導情報を生成する。また、例えば、園児が撮像器101に背を向けていたために当該体調特徴量を取得できなかった場合、誘導部307は、「○○さん、こちらを見てください」等の音声を通知器102に出力させるための誘導情報を生成する。また、腹部等の衣類に隠れた部位の皮膚疾患の程度の体調特徴量を取得する場合、誘導部307は、「○○さん、お腹をみせてください」等の音声を通知器102に出力させるための誘導情報を生成する。園児107が単独では移動できない、又は通知内容を理解できない月齢又は年齢等の場合、監視者109に対して園児107の位置又は姿勢等を変えてさせることを促すような誘導情報を生成してもよい。S606の後、検知装置103は、S604及びS605の処理を再度実行する。S605にて体調特徴量が取得できたと判定された場合、検知装置103は、図6に示すフローチャートの処理を終了する。
 図7を参照して、アレルギー症状の発生の検知処理の流れについて説明する。図7は、実施形態1に係るアレルギー症状の発生の検知処理の流れの一例を示すフローチャートである。なお、図7に示すフローチャートの処理は、例えば、予め定められた期間の経過毎に繰り返して実行される。まず、S701にて、検知装置103は、園児の体調特徴量を取得する。S701の処理は、図6を参照して説明した体調特徴量の取得処理と同等であるため、説明を省略する。次に、S702にて、体調取得部302は、S701にて取得された体調特徴量を園児の人IDに対応付けて体調履歴テーブルに格納して保存する。
 次に、S703にて、検知部303は、園児にアレルギー症状が発生しているか否かを判定する。具体的には、検知部303は、S701にて取得された園児の体調特徴量が、誘発条件テーブルにおける当該園児のレコードに格納された判定条件を満たしているか否かを判定することにより、当該園児にアレルギー症状が発生しているか否かを判定する。より具体的には、例えば、検知部303は、当該判定において、S701にて取得された体調特徴量のうちの少なくとも1つが判定条件を満たしているか否かを判定する。S703にて判定条件を満たしていると判定された場合、アレルギー症状が発生しているものとして、検知装置103は、S704及びS705の処理を実行する。S703にて判定条件を満たしていないと判定された場合、アレルギー症状は発生していないものとして、検知装置103は、図7に示すフローチャートの処理を終了する。なお、S701にて取得された体調特徴量の値が、取得できなかったことを表す「N/A」だった場合、検知部303は、当該体調特徴量については無視して、上述の判定を行わないようにしてもよい。
 S703にて判定条件を満たしていると判定された場合、S704にて、出力部305は、当該園児に対応する行動履歴情報を取得する。具体的には、例えば、出力部305は、当該園児に対応する行動履歴情報のうち、過去2時間等の予め定められた期間に取得された行動情報を、行動履歴情報として取得してもよい。なお、本実施形態では、行動履歴情報は、図6に示すS603にて生成されるものとして説明したが、検知装置103は、S704の処理にて、行動履歴情報を生成して取得してもよい。具体的には、例えば、検知装置103は、過去2時間等の予め定められた期間に取得した画像データをRAM223又はHDD224等に保存しておき、S704にて、保存しておいた画像データを読み出し、画像を解析して行動履歴情報を生成して取得する。この場合、行動履歴情報を生成する処理に時間を要するときは、後述する通知情報の出力のタイミングが遅れてしまうことがないように、通知情報の出力を優先して、行動履歴情報を生成する処理をスキップしてもよい。
 S704の後、S705にて、出力部305は、通知情報を生成し、生成した通知情報、及び、S704にて取得した行動履歴情報を情報処理装置104が有する表示器105又は通知器106に対して出力する。S705の後、検知装置103は、図7に示すフローチャートの処理を終了する。検知装置103は、図7に示すフローチャートの処理を終了後、予め定められた期間の経過後に、図7に示すフローチャートの処理を繰り返して実行する。
 以上のように、本実施形態によれば、検知装置を自然人に装着させることなく、簡便にアレルギー症状の発生を検知することができる。
 なお、本開示は、自然人に限らず、犬や猫、家畜動物など、自然人以外の動物にも適用することが可能である。
[実施形態2]
 図8から図10までを参照して、実施形態2に係る検知装置103aについて説明する。実施形態2に係る検知システムは、実施形態1に係る検知システムが有する検知装置103が検知装置103aに変更されたものである。実施形態2に係る撮像装置100及び情報処理装置104は、実施形態1に係る撮像装置100及び情報処理装置104と同様のものであるため説明を省略する。実施形態1に係る検知装置103は、画像を解析することにより取得した体調特徴量と、誘発条件テーブルに格納された判定条件とからアレルギー症状が発生しているか否かを検知するものであった。これに対して、実施形態2に係る検知装置103a、取得した体調特徴量を用いてアレルギーの誘発度を取得し、誘発度の大きさに基づいてアレルギー症状が発生しているか否かを検知するものである。
 図8は、実施形態2に係る検知システムが有する各装置の機能ブロックの構成の一例を示すブロック図である。検知装置103aは、画像取得部301、体調取得部302、検知部303、行動取得部304、出力部305、及び誘導部307に加えて、モデル生成部801及び情報取得部802を有する。すなわち、検知装置103aは、実施形態1に係る検知装置103にモデル生成部801及び情報取得部802が追加されたものである。
 なお、検知装置103aは、図2に一例として示す、実施形態1に係る検知装置103と同様のハードウェア構成を有する。すなわち、図8に示す機能ブロックが有する機能は、例えば、検知装置103aが有するCPU221がプログラムを実行することにより実現される。
 検知装置103aが有する各部の処理について説明する。画像取得部301、体調取得部302、行動取得部304、及び誘導部307は、実施形態1に係る検知装置103が有する画像取得部301、体調取得部302、行動取得部304、及び誘導部307と同様であるため、説明を省略する。
 モデル生成部801は、体調取得部302により取得された体調特徴量を学習データとして、予め用意された未学習又は学習途中の学習モデルに学習させて、アレルギーの誘発度を推論する学習済モデルを生成する。すなわち、モデル生成部801は、1以上の体調特徴量を説明変数として誘発度を目的変数とした機械学習により、誘発度を推論する学習済モデルを生成する。誘発度としては、例えば、ブライトン分類又は日本アレルギー学会が提示する重症度分類といった評価指標を利用してもよい。誘発度と体調特徴量との関係は、例えば、以下に示す(式1)のように表される。
(式1)
 誘発度=β0+(皮膚疾患の程度)×β1+(結膜充血の程度)×β2+(鼻水の程度)×β3+(掻痒行動の程度)×β4+・・・
 ここで、β0、β1、β2、β3、及びβ4は、学習済モデルにおいて決定される係数である。(式1)は、線形回帰モデルによる機械学習により生成された学習済モデルであるが、線形回帰モデルによる機械学習は、あくまで一例であって、機械学習の手法は、これに限定されるものではない。具体的には、例えば、学習済モデルは、SVM(サポートベクタマシン)等の線形回帰モデルとは異なる他の手法による機械学習により生成されたものであってもよい。また、モデル生成部801は、体格別、年齢別、性別別、人種別、又は健康状態別等の予め定められた区分に分けて、複数の学習済モデルを生成してもよい。モデル生成部801は、生成した学習済モデルを、RAM223又はHDD224等に保存する。
 図9を参照して、学習済モデルの生成処理に流れについて説明する。図9は、実施形態2に係る学習済モデルの生成処理の流れの一例を示すフローチャートである。まず、S901にて、画像取得部301は、画像データを取得する。次に、S902にて、体調取得部302は、画像を解析して、園児の体調特徴量を取得する。次に、S903にて、モデル生成部801は、S902にて取得した体調特徴量を学習データとして利用して、予め用意された未学習又は学習途中の学習モデルに学習させる。次に、S904にて、モデル生成部801は、例えば、予め定められた学習回数又は学習時間等と比較することにより、学習モデルへの学習が完了したか否かを判定する。
 S904にて学習が完了していないと判定された場合、検知装置103aは、S901の処理に戻って、S904にて学習が完了したと判定されるまで間、S901からS904までの処理を繰り返して実行する。S904にて学習が完了したと判定された場合、S905にて、モデル生成部801は、これまでに学習させた学習モデルを学習済モデルとすることにより、アレルギーの誘発度を推定する学習済モデルを生成する。S905の後、S906にて、モデル生成部801は、HDD224等に生成した学習済モデルを出力して、HDD224等に学習済モデルを記憶させて保存する。S906の後、検知装置103aは、図9に示すフローチャートの処理を終了する。
 検知部303は、まず、モデル生成部801により生成された学習済モデルに、体調取得部302により取得された体調特徴量を説明変数として入力して、学習済モデルが推論結果として出力する誘発度を取得する。次に、検知部303は、予め定められた誘発度の閾値と取得した誘発度とを比較して、園児にアレルギー症状が発生しているか否かを検知する。
 出力部305は、検知部303における検知結果に基づいて通知情報を生成し、生成した通知情報を情報処理装置104が有する表示器105又は通知器106に対して出力する。出力部305は、検知部303における検知結果に応じて、生成する通知情報の内容を変えてもよい。具体的には、例えば、出力部305は、取得した誘発度の大きさに応じて生成する通知情報の内容を変更する。通知内容はS1001で算出した誘発度に応じて変えてもよい。出力部305は、例えば、誘発度が軽症に準じる値だった場合には、「○○さんにアレルギーの症状がみられます。確認してください。」等の内容の通知情報を生成して出力する。また、例えば、誘発度が重症に準じる値だった場合には、「○○さんがアナフィラキシーの症状がみられます。今すぐ確認してください。」等の内容の通知情報を生成して出力する。表示器105は、通知情報の内容を監視者109が視認可能な状態で表示出力し、通知器106は、通知情報の内容を通知音又は音声により出力する。誘発度が重症に準じる値だった場合、出力部305は、通知器106に警報音を出力させるための通知情報を生成して出力してもよい。なお、出力部305は、実施形態1に係る出力部305と同様に、通知情報に加えて、行動取得部304により取得された行動履歴情報を情報処理装置104が有する表示器105又は通知器106に対して出力してもよい。
 検知部303は、学習済モデルを更新する機能を有していてもよい。具体的には、例えば、検知部303は、生成した学習済モデルに対して追加の学習をさせることにより、学習済モデルを更新する。この場合、出力部305は、監視者109に対し、通知結果のフィードバックを要求するための要求情報を生成し、通知情報に加えて、生成した要求情報を情報処理装置104が有する表示器105又は通知器106に対して出力する。ここで、要求情報とは、表示器105又は通知器106に、例えば、「アレルギー症状は出ていましたか?誘発判定にフィードバックします。」といった内容を出力させるための情報である。例えば、監視者109は、実際にアレルギー症状が発生しているか否かのいずれかを示す操作入力を情報処理装置104に対して行う。情報処理装置104は、当該操作入力に対応する情報をフィードバック情報として、検知装置103aに対して出力する。
 情報処理装置104により出力されたフィードバック情報は、情報取得部802により取得される。検知部303は、情報取得部802により取得されたフィードバック情報に基づいて学習済モデルを更新する。例えば、フィードバック情報の内容が「アレルギー症状が出ていましたか?」に対する回答として「いいえ」であった場合、学習済モデルの精度が低いといえる。具体的には、例えば、検知部303は、情報取得部802により取得されたフィードバック情報を教師データとして利用して、学習済モデルに教師あり学習をさせることにより学習済モデルを更新する。このように学習済モデルを更新することにより、学習済モデルによる誘発度の推定の精度を上げることができる。なお、監視者109は、検知装置103aから通知結果のフィードバックの要求を受けた際に、適切な誘発度を入力してもよい。この場合、情報取得部802は、監視者109により入力された誘発度を示す情報をフィードバック情報として取得し、検知部303は、学習済モデルが推論結果と出力する誘発度が、フィードバック情報が示す誘発度となるように学習済モデルを更新する。
 図10を参照して、アレルギー症状の発生の検知処理の流れについて説明する。図10は、実施形態2に係るアレルギー症状の発生の検知処理の流れの一例を示すフローチャートである。なお、図10に示すフローチャートの処理は、例えば、予め定められた期間の経過毎に繰り返して実行される。図10において、図7と同一の符号を付したものについては説明を省略する。まず、検知装置103aは、S701及びS702の処理を順次実行する。S702の後、S1001にて、検知部303は、S701にて取得した体調特徴量を学習済モデルに入力して、学習済モデルが推論結果として出力する誘発度を取得する。具体的には、検知部303は、まず、S906にて保存された学習済モデルを、HDD224等から読み出すことにより取得する。次に、取得した学習済モデルに、S701にて取得した体調特徴量を説明変数として入力して誘発度を推論させて、目的変数として出力される推論結果である誘発度を取得する。
 次に、S1002にて、検知部303は、アレルギー症状が発生しているか否かを判定する。具体的には、検知部303は、S1001にて取得した誘発度が、予め定義した閾値を超えるか否かを判定することにより、アレルギー症状が発生しているか否かを判定する。検知部303は、誘発度が当該閾値を超えている場合、アレルギー症状が発生していると判定し、誘発度が閾値を超えていない場合、アレルギー症状が発生していないと判定する。S1002にて誘発度が閾値を超えていないと判定された場合、検知装置103aは、図10のフローチャートの処理を終了する。S1002にて誘発度が閾値を超えていると判定された場合、検知装置103aは、S704及びS705の処理を順次実行する。
 S705の後、S1004にて、出力部305は、要求情報を生成し、生成した要求情報を情報処理装置104に対して出力して、ユーザ等の監視者109に対し、S705にて出力した通知情報の内容についてのフィードバックを要求する。S1004の後、S1005にて、検知装置103aは、S1004におけるフィードバックの要求に対する監視者109からの回答の内容に従い、学習済モデルを更新する。具体的には、まず、情報取得部802は、監視者109による回答のための操作入力の内容を示すフィードバック情報を取得する。次に、検知部303は、情報取得部802により取得されたフィードバック情報に基づいて学習済モデルを更新する。S1005の後、検知装置103aは、図10のフローチャートの処理を終了する。検知装置103aは、図10に示すフローチャートの処理を終了後、予め定められた期間の経過後に、図10に示すフローチャートの処理を繰り返して実行する。
 なお、上述の説明では、一例として、検知部303は、モデル生成部801により生成された学習済モデルを用いて取得された誘発度に基づいて、アレルギー症状が発生しているか否かを判定するものとして説明したが、これに限定されるものでない。例えば、検知部303は、上述のβ0、β1、β2、β3、及びβ4等の係数を予め定めた式1を用いて、誘発度を算出することにより取得して、アレルギー症状が発生しているか否かを判定してもよい。
 以上のように、本実施形態によれば、検知装置を自然人に装着させることなく、簡便にアレルギー症状の発生を検知することができる。また、本実施形態によれば、複数の体調特徴量を用いて導出した誘発度に基づいてアレルギー症状の発生を検知することにより、体調特徴量自体に基づいてアレルギー症状の発生を検知する場合と比較して、精度の高い検知を行うことができる。更に、本実施形態によれば、機械学習による学習結果である学習済モデルに誘発度を推論させて、学習済モデルの推論結果である誘発度に基づいてアレルギー症状の発生を検知することにより、精度の高い検知を行うことができる。更にまた、監視者109からのフィードバックを受けることにより、導出する誘発度の精度を向上させることができる。
[実施形態3]
 実施形態1及び2に係る検知システムは、一例として、幼児等を預かる保育所等の施設に適用し、監視対象として保育所における園児に適用するものであったが、施設及び監視対象については、これに限定されるものではない。例えば、施設を住宅、職場、商業施設等に置き換えたり、監視対象を成人等に置き換えたりしてもよい。
 また、実施形態1及び2に係る検知装置103,103aは、一例として、画像を解析することにより体調特徴量を取得するものであったが、体調特徴量を取得の取得方法については、これに限定されるものではない。例えば、検知装置103,103aは、画像解析による体調特徴量の取得に加えて、音声解析による体調特徴量の取得を行ってもよい。具体的には、例えば、検知システムは、図1には不図示の、撮像装置100に内蔵された集音器、又は施設内に設置されたマイク等の集音器により音声を集音する。更に、当該検知システムが有する検知装置は、集音器により集音された音声のデータを取得し、当該音声を解析することにより、アレルギー症状の発生に起因する音声又は監視対象等により発言された語句等に基づいて体調特徴量を取得する。
 また、実施形態1及び2に係る検知装置103,103aは、画像データから間欠性のくしゃみ又は咳といった体調特徴量を取得するものであったが、集音した音声の解析結果を組み合わせることにより、より高い精度でこれらの体調特徴量を取得できる。また、例えば、音声の解析結果により得た「痒い」等の語句と、画像の解析結果により得た掻痒行動とを組み合わせることにより、掻痒感の程度に対応する体調特徴量の取得の精度を高めることができる。更に、例えば、「痛い」等の語句又は泣き声等から、腹痛等の画像データからでは解析して取得することが困難な体調特徴量を取得することができる。
 また、実施形態1及び2に係る検知装置103,103a、即時型のアレルギーとして食物アレルギーの発生を検知するものであったが、検知するアレルギーの種類はこれに限定されるものではない。例えば、検知装置103,103aは、インフルエンザワクチン又はコロナワクチン等のワクチン接種に伴うアレルギー症状の発生の検知として使用してもよい。この場合、誘導部307は、ワクチンを接種した部位の皮膚疾患の程度を体調特徴量として取得するための誘導情報を生成して、非接種者に対して確認可能に出力してもよい。また、ワクチン接種後はアレルギー症状の発生の確認までに、30分程度の経過観察が必要とされている。そのため、ワクチンを接種した時点から30分間のタイマ計測を行い、30分経過後にアレルギー症状の発生が確認できなかった場合、監視者又は被接触者に対し、アレルギー症状である副反応が確認できなかった旨の通知情報を出力してもよい。
 実施形態1及び2に係る検知装置103,103a、自然人を監視対象としてアレルギー症状の発生を検知するものであったが、監視対象はこれに限定されるものではない。例えば、検知装置103,103aは、監視対象については自然人に替えて、犬又は猫等の動物に置き換えてもよい。犬又は猫にも食物アレルギー又はアトピー性皮膚炎等のアレルギー疾患が確認されており、例えば、犬の食物アレルギーでは、皮膚症状、掻痒感、嘔吐、下痢といった人と同様のアレルギー症状が発生することが知られている。具体的には、犬の食物アレルギーでは、食事後にしきりに顔を掻く等の掻痒行動がみられ、顔面、先端部、肛門周囲、わき、指、又は肉球の間等に皮膚疾患の症状が発生すると言われている。体調取得部302は、画像を解析することにより犬の体調特徴量を取得する。誘導部307は、予め録音済の飼い主の声、若しくは、犬が興味を引く音等を発生させるための通知情報、若しくは犬が興味を引く物体の移動又は表示を出力させるための通知情報を出力することにより、監視対象を体調特徴量が取得可能な位置に誘導してもよい。
[その他の実施形態]
 本開示は、上述の実施形態の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
 なお、本開示はその開示の範囲内において、各実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、又は、各実施形態において任意の構成要素の省略が可能である。
 本開示は上記実施の形態に制限されるものではなく、本開示の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本開示の範囲を公にするために以下の請求項を添付する。
 本願は、2021年9月30日提出の日本国特許出願特願2021-161328を基礎として優先権主張するものであり、その記載内容の全てをここに援用する。 

Claims (17)

  1.  撮像装置による撮像により得られた画像のデータを取得する画像取得手段と、
     前記画像に基づいて、前記画像に写る自然人の体調を特定するための体調情報を取得する体調取得手段と、
     前記体調情報に基づいて、前記自然人にアレルギー症状が発生していることを検知する検知手段と、
     を有すること
     を特徴とする検知装置。
  2.  前記体調情報は、前記自然人の、皮膚疾患、蕁麻疹、紅斑、血管性浮腫、湿疹、掻痒行動、結膜充血、眼瞼浮腫、チアノーゼ、鼻水、くしゃみ、咳、活動性、及び意識レベルのうちの少なくとも1つの程度を示す情報であること
     を特徴とする請求項1に記載の検知装置。
  3.  前記体調情報は、前記自然人の、皮膚疾患に伴う皮膚の色の状態、皮膚疾患の発症範囲の大きさ、皮膚疾患の発症部位の数、及び皮膚疾患の程度のうちの少なくとも1つを示す情報であること
     を特徴とする請求項1又は2に記載の検知装置。
  4.  前記体調取得手段が前記体調情報を取得可能な状態に監視対象の前記自然人を誘導する誘導手段、
     を更に有すること
     を特徴とする請求項1乃至3のいずれか1項に記載の検知装置。
  5.  前記誘導手段は、前記体調取得手段が前記体調情報を取得可能な位置に前記監視対象の前記自然人を誘導すること
     を特徴とする請求項4に記載の検知装置。
  6.  前記誘導手段は、前記体調取得手段が前記体調情報を取得可能な姿勢に前記監視対象の前記自然人を誘導すること
     を特徴とする請求項4又は5に記載の検知装置。
  7.  前記検知手段は、予め定められた閾値と、前記体調取得手段が取得した前記体調情報とを比較して、前記自然人にアレルギー症状が発生しているか否かを検知すること
     を特徴とする請求項1乃至6のいずれか1項に記載の検知装置。
  8.  前記体調取得手段は、前記自然人にアレルギー症状が発生していない状態において、当該自然人の前記体調情報を前記閾値として予め取得すること
     を特徴とする請求項7に記載の検知装置。
  9.  前記検知手段は、前記体調取得手段により取得された前記体調情報に基づいて、アレルギーの誘発度を取得し、予め定められた誘発度の閾値と取得した前記誘発度とを比較して、前記自然人にアレルギー症状が発生しているか否かを検知すること
     を特徴とする請求項1乃至8のいずれか1項に記載の検知装置。
  10.  前記検知手段は、前記体調取得手段により取得された前記体調情報を、アレルギーの誘発度を推論する学習済モデルに入力することにより得た推論結果を誘発度として取得し、
     前記学習済モデルは、自然人の体調を特定するための体調情報を学習データとして学習モデルに学習させた学習結果であること
     を特徴とする請求項1乃至9のいずれか1項に記載の検知装置。
  11.  前記体調取得手段により取得された前記体調情報を学習データとして学習モデルに学習させて、アレルギーの誘発度を推論する学習済モデルを生成するモデル生成手段、
     を更に有すること
     を特徴とする請求項10に記載の検知装置。
  12.  前記検知手段の検知結果に基づいて、通知情報を出力する出力手段、
     を更に有すること
     を特徴とする請求項1乃至11のいずれか1項に記載の検知装置。
  13.  前記出力手段は、前記検知結果に応じて通知情報の内容を変えること
     を特徴とする請求項12に記載の検知装置。
  14.  前記画像に基づいて前記自然人の行動を示す情報を取得し、取得した前記行動を示す情報を行動履歴情報として取得する行動取得手段、
     を更に有し、
     前記出力手段は、前記通知情報に加えて、前記行動履歴情報を出力すること
     を特徴とする請求項12又は13に記載の検知装置。
  15.  ユーザによる操作入力に基づく、前記自然人にアレルギー症状が発生しているか否かを示す情報を取得する情報取得手段、
     を更に有し、
     前記検知手段は、前記情報取得手段により取得された、前記自然人にアレルギー症状が発生しているか否かを示す情報を、アレルギー症状の発生の検知にフィードバックすること
     を特徴とする請求項1乃至14のいずれか1項に記載の検知装置。
  16.  撮像装置による撮像により得られた画像のデータを取得する画像取得工程と、
     前記画像に基づいて、前記画像に写る自然人の体調を特定するための体調情報を取得する体調取得工程と、
     前記体調情報に基づいて、前記自然人にアレルギー症状が発生していることを検知する検知工程と、
     を有すること
     を特徴とする検知方法。
  17.  コンピュータを、請求項1乃至15のいずれか1項に記載の検知装置として動作させるためのプログラム。
PCT/JP2022/025830 2021-09-30 2022-06-28 検知装置、検知方法、及びプログラム WO2023053642A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021161328A JP2023050946A (ja) 2021-09-30 2021-09-30 検知装置、検知方法、及びプログラム
JP2021-161328 2021-09-30

Publications (1)

Publication Number Publication Date
WO2023053642A1 true WO2023053642A1 (ja) 2023-04-06

Family

ID=85780580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/025830 WO2023053642A1 (ja) 2021-09-30 2022-06-28 検知装置、検知方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2023050946A (ja)
WO (1) WO2023053642A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012110703A (ja) * 2010-11-23 2012-06-14 General Electric Co <Ge> 包括的な保健評価を実行するためのシステム及び方法
US20160256097A1 (en) * 2015-03-06 2016-09-08 Scanit Technologies, Inc. Pollen sampling and retrieval triggered by a user's allergic reactions
US20200085311A1 (en) * 2015-06-14 2020-03-19 Facense Ltd. Detecting a transient ischemic attack using photoplethysmogram signals
CN112819770A (zh) * 2021-01-26 2021-05-18 中国人民解放军陆军军医大学第一附属医院 碘对比剂过敏监测方法及系统
CN112998657A (zh) * 2021-02-24 2021-06-22 西安交通大学医学院第一附属医院 一种预防皮肤过敏的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012110703A (ja) * 2010-11-23 2012-06-14 General Electric Co <Ge> 包括的な保健評価を実行するためのシステム及び方法
US20160256097A1 (en) * 2015-03-06 2016-09-08 Scanit Technologies, Inc. Pollen sampling and retrieval triggered by a user's allergic reactions
US20200085311A1 (en) * 2015-06-14 2020-03-19 Facense Ltd. Detecting a transient ischemic attack using photoplethysmogram signals
CN112819770A (zh) * 2021-01-26 2021-05-18 中国人民解放军陆军军医大学第一附属医院 碘对比剂过敏监测方法及系统
CN112998657A (zh) * 2021-02-24 2021-06-22 西安交通大学医学院第一附属医院 一种预防皮肤过敏的方法及系统

Also Published As

Publication number Publication date
JP2023050946A (ja) 2023-04-11

Similar Documents

Publication Publication Date Title
Riaboff et al. Predicting livestock behaviour using accelerometers: A systematic review of processing techniques for ruminant behaviour prediction from raw accelerometer data
Taramasco et al. A novel monitoring system for fall detection in older people
Aziz et al. Validation of accuracy of SVM-based fall detection system using real-world fall and non-fall datasets
US10736582B2 (en) Monitoring and tracking system, method, article and device
EP3394825B1 (en) Platform and system for digital personalized medicine
Broadbent et al. Acceptance of healthcare robots for the older population: Review and future directions
Den Uijl et al. External validation of a collar-mounted triaxial accelerometer for second-by-second monitoring of eight behavioural states in dogs
US11270565B2 (en) Electronic device and control method therefor
Alemdar et al. Daily life behaviour monitoring for health assessment using machine learning: bridging the gap between domains
Chen et al. Accelerometer-based fall detection using feature extraction and support vector machine algorithms
CN110765972A (zh) 一种动物的监控方法、装置、电子设备及存储介质
WO2016125478A1 (ja) 情報処理装置、情報処理方法および情報処理システム
Sharma et al. Unobtrusive and pervasive monitoring of geriatric subjects for early screening of mild cognitive impairment
JP2022071523A (ja) 健康管理装置および健康管理システム
Thornton et al. Using unsupervised machine learning to quantify physical activity from accelerometry in a diverse and rapidly changing population
WO2023053642A1 (ja) 検知装置、検知方法、及びプログラム
Cho et al. Roles of artificial intelligence in wellness, healthy living, and healthy status sensing
Eun et al. Development of personalized urination recognition technology using smart bands
US11972336B2 (en) Machine learning platform and system for data analysis
JP2024514908A (ja) ペットの健康状態を検出するシステム、その方法、および、その装置
Vega Monitoring Parkinson's Disease Progression Using Behavioural Inferences, Mobile Devices and Web Technologies
US20210142047A1 (en) Salient feature extraction using neural networks with temporal modeling for real time incorporation (sentri) autism aide
Meegahapola et al. Quantified canine: Inferring dog personality from wearables
Fahim et al. Tracking the sedentary lifestyle using smartphone: A pilot study
Feil-Seifer et al. Dry your eyes: examining the roles of robots for childcare applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22875521

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE