WO2021095767A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2021095767A1
WO2021095767A1 PCT/JP2020/042073 JP2020042073W WO2021095767A1 WO 2021095767 A1 WO2021095767 A1 WO 2021095767A1 JP 2020042073 W JP2020042073 W JP 2020042073W WO 2021095767 A1 WO2021095767 A1 WO 2021095767A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
person
drink
type
information
Prior art date
Application number
PCT/JP2020/042073
Other languages
English (en)
French (fr)
Inventor
健介 上田
信貴 松嶌
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to US17/769,927 priority Critical patent/US20220386797A1/en
Priority to JP2021556122A priority patent/JP7284829B2/ja
Publication of WO2021095767A1 publication Critical patent/WO2021095767A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G23/00—Other table equipment
    • A47G23/10—Devices for counting or marking the number of consumptions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Definitions

  • the present invention relates to an information processing device.
  • Non-Patent Document 1 when a plurality of people eat food on a platter, the image of the table is divided into a plurality of areas, and it is determined whether or not the food is eaten in each area, and the food is eaten. In some cases, a technique for recording the amount of food consumed by a person associated with an area is disclosed.
  • the food may be transferred from the platter to the plate and the food may be eaten from the plate.
  • the amount of food on the platter decreases, it is determined that the person has eaten even though he / she has just moved to the plate and has not eaten the food, so that it is not possible to accurately identify the amount of food eaten by the person. ..
  • the information processing apparatus includes a first-class vessel in which foods and drinks consumed by a plurality of persons are placed and a part of the foods and drinks. Based on the table in which a plurality of two types of vessels are arranged, an acquisition unit that acquires moving image information indicating a moving image obtained by photographing the plurality of persons, and the moving image information.
  • the first identification information that identifies each of the plurality of persons
  • the second identification information that identifies each of the first type vessel and the second type plurality of vessels
  • the second that identifies the type of food and drink is a first-class vessel in which foods and drinks consumed by a plurality of persons are placed and a part of the foods and drinks.
  • the amount of food and drink placed in the first type container at the time of determination is the amount of food and drink placed in the first type container before a predetermined period from the time of the determination.
  • a second determination unit that determines whether a person has ingested food or drink served in the first type of vessel, or whether the food or drink has been transferred to one of the plurality of vessels of the second type.
  • the determination result of the second determination unit indicates that the one person has ingested the food and drink served in the first type of vessel, the amount of the food and drink ingested by the one person, the one person ,
  • an intake information generation unit that generates intake information that associates the types of the food and drink, and the estimation unit has transferred the food and drink to the one vessel based on the determination result of the second determination unit.
  • the amount of food and drink placed in the one vessel of the second type is increased by the amount of decrease in the food and drink placed in the first type vessel.
  • the amount of food eaten by a person can be accurately specified.
  • FIG. 1 is a diagram showing an outline of the food amount estimation system 1.
  • the meal amount estimation system 1 provides a service of estimating the meal amount of the person U by imaging the person U during the meal.
  • the amount of food is the amount of food and drink ingested by person U.
  • Food or drink is one of drinks and foods.
  • the amount of food and drink is, for example, the number of calories or grams of food if the food or drink is food, and the number of calories or liters of the drink if the food or drink is a drink.
  • “person U eats food and drink” is simply explained as “person U eats food", and the amount of food is specifically eaten by person U. Explain that it is the number of calories in food.
  • the meal amount estimation system 1 includes an information processing device 10 and an imaging device 90.
  • the information processing device 10 is a computer used in the meal amount estimation system 1.
  • the information processing device 10 is attached to the ceiling of the room LR.
  • the image pickup device 90 is attached to the information processing device 10.
  • a person U_1 and a person U_2 are eating in a room LR.
  • the plurality of persons is not limited to two, and may be three or more.
  • reference codes such as person U_1 and person U_2 are used to distinguish elements of the same type. On the other hand, when the same kind of elements are not distinguished, only the common code among the reference codes is used like the person U.
  • Room LR is provided with a dining table Tb.
  • a platter CP on which the food FD eaten by the person U is placed and a plurality of plates SP are arranged.
  • the platter CP is an example of "a first-class vessel in which food and drinks consumed by a plurality of people are served".
  • the platter CP may be one or a plurality.
  • the plurality of plates SP is an example of "a plurality of vessels of the second type in which a part of food and drink is placed".
  • the dining table Tb is an example of "a table in which a container filled with food and drink consumed by a plurality of people and a plurality of plates are arranged".
  • a plate SP_1 used by the person U_1 and a plate SP_2 used by the person U_2 are arranged on the dining table Tb.
  • the number of plate SPs is not limited to 2, and may be 3 or more.
  • a tong TO used for separating the food FD is arranged on the platter CP.
  • the food FD is placed on the platter CP, and each person U divides the food FD on the platter CP into the plate SP and eats the food FD divided on the plate SP. I have a habit.
  • the person U may eat the food FD directly from the platter CP while eating the food FD served on the plate SP.
  • the plate SP is a plate used to separate food FDs for each person. Generally, the plate SP is smaller than the platter CP.
  • Tong TO is an example of "a device for moving food and drink”.
  • the device for moving food and drink is referred to as "moving device”.
  • the moving device is roughly classified into a device for moving the food FD to separate the food FD and a device for moving the food FD to directly eat the food FD.
  • the devices for moving the food FD to separate the food FD are, for example, tongs TO, chopsticks (long chopsticks for separating), and a spoon for separating.
  • the devices for moving the food FD to eat the food FD directly from the platter CP are, for example, chopsticks, a spoon SO shown in FIG. 7, a knife, and a fork.
  • FIG. 2 is a block diagram illustrating the hardware configuration of the meal amount estimation system 1.
  • the food amount estimation system 1 includes an information processing device 10 and an image pickup device 90 as illustrated in FIG.
  • the imaging device 90 generates the moving image information MI shown in FIG. 3 by imaging the dining table Tb in which the platter CP and the plurality of pans SP are arranged, and the plurality of persons U.
  • the moving image information MI has an image information PI indicating a still image P for each of the plurality of frames.
  • the moving image information MI has image information PI_1 to PI_N.
  • N is an integer greater than or equal to 2.
  • the image pickup apparatus 90 may image the whole body of the person U, or may image the periphery of the abdomen of the person U.
  • the image pickup apparatus 90 includes, for example, an image pickup optical system and an image pickup element.
  • the imaging optical system is an optical system including at least one imaging lens.
  • the imaging optical system may include various optical elements such as a prism, or may include a zoom lens, a focus lens, and the like.
  • the image sensor is composed of, for example, a sensor such as a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary MOS) image sensor.
  • CCD Charge Coupled Device
  • CMOS Complementary MOS
  • the information processing device 10 includes a processing device 20, a storage device 30, a communication device 40, and a bus 19.
  • the processing device 20, the storage device 30, and the communication device 40 are accessed from each other via a bus 19 for communicating information.
  • the bus 19 may be composed of a single bus, or may be composed of different buses between the devices.
  • the processing device 20 is a processor that controls the entire information processing device 10, and is composed of a central processing unit (CPU: Central Processing Unit) including an interface, an arithmetic unit, registers, and the like.
  • CPU Central Processing Unit
  • a part or all of the functions of the processing device 20 are realized by hardware such as DSP (Digital Signal Processor), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array). You may.
  • the processing device 20 executes various processes in parallel or sequentially.
  • the storage device 30 is a recording medium that can be read by the processing device 20, and stores a plurality of programs including the control program PRa executed by the processing device 20 and various information used by the processing device 20.
  • the storage device 30 is composed of, for example, one or more types of storage circuits such as ROM (ReadOnlyMemory), EPROM (ErasableProgrammableROM), EEPROM (ElectricallyErasableProgrammableROM), and RAM (RandomAccessMemory).
  • the communication device 40 is a device that communicates with another device, and the communication device 40 is also referred to as, for example, a network device, a network controller, a network card, or a communication module.
  • the communication device 40 can communicate with the image pickup device 90.
  • FIG. 3 is a block diagram showing a function of the meal amount estimation system 1.
  • the processing device 20 reads the control program PRa from the storage device 30. By executing the control program PRa, the processing device 20 includes an acquisition unit 21, an identification information generation unit 22, a specific unit 23, an estimation unit 24, a first determination unit 25, a second determination unit 26, and a third determination unit 28. And, it functions as an intake information generation unit 29.
  • the acquisition unit 21 acquires the moving image information MI from the image pickup device 90.
  • the moving image information MI shows a moving image obtained by taking an image of a dining table Tb in which a platter CP and a plurality of plates SP are arranged, and a plurality of persons U by an imaging device 90.
  • the identification information generation unit 22 identifies each of the plurality of persons U based on the moving image information MI, the person identification information UID, the plate identification information PID that identifies each of the platter CP and the plurality of plates SP, and the food. Generates food identification information FTID that identifies the type of food.
  • the person identification information UID is an example of "first identification information”.
  • the dish identification information PID is an example of "second identification information”.
  • the food identification information FTID is an example of "third identification information”.
  • the types of food are, for example, noodle dishes, vegetable dishes, meat dishes, seafood dishes and the like.
  • the identification information generation unit 22 identifies the person U, the plate, and the type of food FD by extracting the features of the still image P for each of the plurality of frames included in the moving image information MI. ..
  • the identification information generation unit 22 adds identification information unique to the person U, the plate, and the type of food based on the identification result.
  • the identification information generation unit 22 assigns the same identification information to the same person U, the plate, and the type of food existing in different frames.
  • the reference code given to the person U is used as the person identification information UID.
  • the person identification information UID of the person U_1 is "U_1".
  • the dish identification information PID the reference code assigned to the platter CP and the dish SP is used.
  • the food identification information FTID is, for example, FT_1 indicating a noodle dish, FT_1 indicating a vegetable dish, and the like.
  • the identification information generation unit 22 identifies a plate larger than a predetermined size as a platter CP, and identifies a plate having a predetermined size or less as a plate SP.
  • the size of the platter CP is such that the diameter of the platter is 25 cm or more.
  • the size of the plate SP is such that the diameter of the plate is between 10 cm and 15 cm. Therefore, the predetermined size is, for example, a value in which the diameter of the dish is larger than 15 cm and less than 25 cm.
  • a part or all of the platter CP is colored in the first color in advance, and a part or all of the plate SP is colored in the second color. Then, if the color of the image of the plate included in the still image P is the first color, the identification information generation unit 22 identifies the plate of the first color as the platter CP. If the color of the plate included in the still image P is the second color, the identification information generation unit 22 identifies the plate of the second color as the plate SP.
  • the identification unit 23 specifies which of the plurality of persons U each of the plurality of dish SPs corresponds to, based on the moving image information MI. For example, the identification unit 23 specifies the association between the plate SP and the person U according to any one of the two identification methods shown below.
  • the specific unit 23 determines the distance between each of the plurality of person U and the plate SP to be specified for the association with any of the plurality of person U among the plurality of plate SP. calculate.
  • the “dish SP to be specified” is an example of the “one vessel” in the specific unit 23.
  • the identification unit 23 identifies the person U located at the shortest distance from the calculated plurality of distances as the person U corresponding to the plate SP of the identification target of the association.
  • the distance between the plate SP and the person U has, for example, the following two modes.
  • the distance in the first aspect is the distance from the end of the person U closest to the person U to the end of the person U closest to the person U.
  • the distance in the second aspect is the distance from the center of gravity of the plate SP to the center of gravity of the person U.
  • the center of gravity is a point where the total sum of the first moments of the cross section becomes zero in the target shape when viewed in a plane, and in the case of a rectangular shape, it means an intersection of diagonal lines.
  • the distance between the plate SP and the person U will be described as the second aspect.
  • FIG. 4 is a diagram showing a first specific method in the specific unit 23.
  • FIG. 4 illustrates a still image P_x indicated by any of the image information PI_x included in the moving image information MI.
  • x is any integer from 1 to N.
  • the still image P_x illustrated in FIG. 4 includes an image of a person U_1, an image of a person U_2, an image of a platter CP, an image of a plate SP_1, an image of a plate SP_2, an image of food FD_CP, an image of food FD_SP1, and Includes an image of food FD_SP2.
  • Food FD_CP is the food served on the platter CP.
  • Food FD_SP1 is the food set aside in the plate SP_1.
  • Food FD_SP2 is the food set aside in the plate SP_2.
  • the specific unit 23 calculates the distance SL between the plate SP_1 and each of the plurality of persons U based on the still image P_x. For example, the specific unit 23 calculates the distance SL_1 between the plate SP_1 and the person U_1 and the distance SL_2 between the plate SP_1 and the person U_1.
  • the black circle in the person U_1 indicates the center of gravity of the person U_1
  • the black circle in the person U_2 indicates the center of gravity of the person U_2
  • the black circle in the plate SP_1 indicates the center of gravity of the plate SP_1.
  • the identification unit 23 identifies the person U_1 located at the shortest distance SL_1 among the distance SL_1 and the distance SL_1 as the person U corresponding to the plate SP_1. Although not shown in FIG. 4, the identification unit 23 also specifies the plate SP_2 as the identification target of the association, and identifies the person U corresponding to the plate SP_2 according to the same method as that of the plate SP_1. To do.
  • the identification unit 23 may specify the person U corresponding to the plate SP for each of the plurality of still images P. preferable. The identification unit 23 identifies the person U who is most frequently identified as the person U corresponding to the plate SP as the person U corresponding to the plate SP.
  • the identification unit 23 identifies the moving device that overlaps the plate SP based on the moving image information MI.
  • the identification unit 23 identifies the person U of the hand holding the specified moving device as the person U corresponding to the plate SP.
  • the specific unit 23 extracts the image information PI indicating the still image P in which the plate SP and the moving device overlap from the moving image information MI, and analyzes the still image P indicated by the extracted image information PI. , Identify the person U in the hand holding the moving device.
  • the specific unit 23 extracts a plurality of image information PIs indicating a still image P in which the plate SP and the moving device overlap from the moving image information MI, and a plurality of image information PIs. For each of the image information PIs, it is preferable to specify the person U corresponding to the plate SP to be specified for the association.
  • the identification unit 23 specifies the person U who has been identified most frequently as the person U corresponding to the plate SP to be specified for the association as the person U corresponding to the plate SP to be specified for the association. ..
  • the identification unit 23 outputs the association information RI indicating the association between the plate SP and the person U.
  • FIG. 5 is a diagram showing an example of the association information RI.
  • the association information RI shows the association between the plate identification information PID indicating the plate SP and the person identification information UID indicating the person U corresponding to the plate SP.
  • the association information RI indicates that the plate SP_1 is associated with the person U_1 and the plate SP_2 is associated with the person U_2.
  • a plurality of plate SPs may be associated with the same person U. This is because one person U may use a plate SP corresponding to each of the plurality of food FDs so that the tastes of the plurality of food FDs are not mixed. For example, when a person U uses a plate SP for meat cooking and a plate SP for seafood cooking, there are two plate SPs associated with the person U. Further, there may be a person U who cannot be associated with the plate SP. Therefore, the number of persons U and the number of dishes SP may be the same as each other or may be different from each other.
  • the estimation unit 24 estimates the amount of food FD placed on each of the platter CP and the plurality of plate SPs based on the moving image information MI.
  • the storage device 30 stores the number of calories per unit area of the food FD for each type of food FD.
  • the storage device 30 stores that the number of calories per unit area of the noodle dish is c1 calories.
  • the number of calories per unit area of the vegetable dish is c2 calories
  • the number of calories per unit area of the meat dish is c3 calories
  • the number of calories per unit area of the seafood dish is c4 calories.
  • c1, c2, c3, and c4 are real numbers greater than 0.
  • the estimation unit 24 measures the area of the food FD image included in the still image P in the still image P indicated by the image information PI included in the moving image information MI, and divides the obtained area by the unit area to obtain a value. , The value obtained by multiplying the number of calories corresponding to the type of food FD identified by the identification information generation unit 22 is estimated as the amount of food FD.
  • the estimation unit 24 determines the platter CP and the platter CP based on the image information PI indicating the still image P in which the platter CP and the plurality of pans SP are not blocked by the object. Estimate the amount of food FD served in each of the plurality of pans SP.
  • the above-mentioned objects are, for example, a person U, a moving device, a cup, and the like.
  • the fact that the platter CP and the plurality of pans SP are not obstructed by an object means that all of the platter CP and the plurality of pans SP may not be obstructed by the object, and a part of the platter CP and the plurality of pans SP may be unobstructed. A part of the plate SP of any of the SPs may not be obstructed by an object.
  • the fact that the platter CP and the plurality of pans SP are not blocked by the object will be described as the fact that all of the platter CP and the plurality of pans SP are not obstructed by the object.
  • FIG. 6 is a diagram showing an example of a still image P in which the platter CP and the plurality of plate SPs are not blocked by an object.
  • FIG. 6 illustrates a still image P_x indicated by the image information PI_x included in the moving image information MI and a still image P_y indicated by the image information PI_y.
  • the still image P_x illustrated in FIG. 6 is the same as the still image P_x illustrated in FIG.
  • Hand HD includes an image of a person U_1, an image of a person U_2, an image of a platter CP, an image of a plate SP_1, an image of a plate SP_2, an image of food FD_CP, an image of food FD_SP1, and In addition to the image of food FD_SP2, the image of tong TO and the image of hand HD are included.
  • Hand HD has a tong TO.
  • the drawing of the arm portion corresponding to the hand HD is omitted.
  • the estimation unit 24 estimates the amount of food FD placed on each of the platter CP and the plurality of plates based on the image information PI_x indicating the still image P_x.
  • the estimation unit 24 outputs a food amount information FI indicating the amount of food FD placed on each of the platter CP and the plurality of plate SPs.
  • the food amount information FI indicates the number of calories of food FD_CP placed on the platter CP and the number of calories of food FD_SP placed on each of the plurality of plate SPs.
  • the first determination unit 25 reduced the amount of food FD_CP placed on the platter CP as compared with the amount of food FD_CP placed on the platter CP a predetermined period before the determination time. Judge whether or not.
  • the predetermined period may be any length of time, but is preferably determined in consideration of the standard rate at which a person eats food. For example, the predetermined period may be a period of 1 minute or more and 5 minutes or less.
  • the first determination unit 25 has a predetermined threshold value obtained by subtracting the amount of food FD_CP placed on the current (at the time of determination) platter CP from the amount of food FD_CP placed on the platter CP before the determination period. If it is the above, it is determined that the amount of food FD_CP placed on the platter CP has decreased.
  • the second determination unit 26 When the determination result of the first determination unit 25 is affirmative, the second determination unit 26 directly eats the food FD_CP of the platter CP among the plurality of persons U based on the moving image information MI. Or, it is determined whether the food FD_CP has been transferred from the platter CP to one of the plurality of plate SPs.
  • One person U is an example of "one person”.
  • the second determination unit 26 uses one of the two determination methods shown below.
  • the second determination unit 26 determines that the amount of food FD_SPi placed on each plate SP_i of the plurality of plates SP is the food placed on each plate SP_i for a predetermined period before the determination time. It is determined whether or not the amount of FD_SP is increased as compared with the amount of FD_SP. i is each integer from 1 to the total number of dishes SP. When there is a plate SP_i with an increased food FD_SP, the second determination unit 26 determines that the food FD_CP has been transferred to a certain plate SP. On the other hand, if there is no plate SP with increased food FD_SP, it means that a person U ate food FD_CP directly from the platter CP. Therefore, the second determination unit 26 determines that one person U has eaten the food FD_CP of the platter CP.
  • the second determination unit 26 tracks the destination of the food FD_CP placed on the platter CP based on the moving image information MI. To start that. Next, the second determination unit 26 identifies the person U of the hand holding the moving device carrying the food FD_CH being tracked based on the moving image information MI. Then, the second determination unit 26 determines whether or not the food FD_CH being tracked has disappeared without being transferred to the plurality of pans SP based on the moving image information MI. When the food FD_CH disappears, the person U of the hand holding the moving device is the person U who ate the food FD directly from the platter CP.
  • the person U of the hand holding the moving device is the platter. It is determined that the person U has eaten the food FD on the CP. On the other hand, the second determination unit 26 determines that when the food FD_CH being tracked is transferred to a certain plate SP among the plurality of plate SPs, it is transferred to a certain plate SP.
  • FIG. 7 is a diagram showing a second determination method in the second determination unit 26.
  • FIG. 7 illustrates a still image P_a indicated by the image information PI_a included in the moving image information MI, a still image P_b indicated by the image information PI_b, and a still image P_c indicated by the image information PI_c.
  • a, b, and c are integers from 1 to N and have a relationship of a ⁇ b ⁇ c.
  • the still image P_a, the still image P_b, and the still image P_c include an image of a person U_1, an image of a person U_2, an image of a platter CP, an image of a plate SP_1, an image of a plate SP_2, an image of food FD_CP, and food FD_SP1. And the image of food FD_SP2, as well as the image of spoon SO and the image of hand HD are included.
  • the first determination unit 25 determines that the amount of food FD_CP placed on the platter CP is reduced as compared with the food FD_CP placed on the platter CP when the still image P_a is imaged. To do. Therefore, the second determination unit 26 starts tracking the destination of the food FD_CP placed on the platter CP based on the still image P_b. From the timing when the still image P_b is obtained, the second determination unit 26 starts tracking the food FD_CH placed on the spoon SO.
  • the food FD_CH to be tracked is the food that was a part of the food FD_CP placed on the platter CP when the still image P_a was imaged.
  • the second determination unit 26 identifies the person U of the hand holding the spoon SO carrying the food FD_CH to be tracked.
  • the second determination unit 26 extracts the contour of the arm of the hand holding the moving device, and determines the person U connected to the contour of the extracted arm as the person of the hand holding the moving device. Specify as U.
  • the second determination unit 26 calculates the distance between the hand holding the moving device and each of the plurality of persons U, and positions the distance at the shortest distance among the calculated plurality of distances.
  • the person U to be used is specified as the person U of the hand holding the moving device.
  • the distance between the hand holding the moving device and the person U has, for example, the following two modes.
  • the distance in the first aspect is the distance from the end of the hand holding the moving device closest to the person U to the end of the person U closest to the hand holding the moving device.
  • the distance in the second aspect is the distance from the center of gravity of the hand holding the moving device to the center of gravity of the person U. In the following, the distance between the hand holding the moving device and the person U will be described as the second aspect.
  • the second determination unit 26 calculates the distance HL_1 between the hand HD holding the spoon SO and the person U_1 and the distance HL_2 between the hand HD and the person U_1, respectively.
  • the black circle in the person U_1 indicates the center of gravity of the person U_1
  • the black circle in the person U_2 indicates the center of gravity of the person U_2
  • the black circle in the hand HD indicates the center of gravity of the hand HD.
  • the second determination unit 26 identifies the person U_2 located at the shortest distance HL_2 among the distance HL_1 and the distance HL_2 as the person U of the hand holding the spoon SO.
  • the food FD_CH to be tracked disappears without being transferred to a plurality of pans SP. Therefore, the second determination unit 26 determines that the person U_2 specified as the person U of the hand holding the spoon SO has eaten the food FD placed on the platter CP.
  • the amount of food FD_SP placed on one plate SP among the plurality of plate SPs is the food placed on one plate SP before a predetermined period from the time of determination. It is determined whether or not the amount of FD_SP is reduced as compared with the amount of FD_SP.
  • the intake information generation unit 29 generates the intake information TI based on the determination results of the second determination unit 26 and the third determination unit 28, and the association information RI output by the specific unit 23. There are two triggers for generating intake information TI as shown below.
  • the first opportunity is when the determination result of the second determination unit 26 indicates that one person U has eaten the food FD_CP served on the platter CP.
  • the intake information generation unit 29 generates an intake information TI that associates the amount of food FD eaten by this person U, this person U, and the type of food FD eaten by this person U. More specifically, the intake information TI is information in which the amount of the food FD, the person identification information UID that identifies the person U who ate the food FD, and the FTID that identifies the type of the food FD are associated with each other.
  • the estimation unit 24 sets the amount of food FD_SP placed on the plate SP as the platter CP. Increase the amount of food FD_CP served on the plate by the amount of decrease.
  • the second opportunity is when the determination result of the third determination unit 28 is affirmative, that is, when the amount of food FD_SP placed on one plate SP decreases.
  • the intake information generation unit 29 associates the person U associated with the plate SP, the amount of food FD reduced from the food FD_SP served on the plate SP, and the type of the food FD. Generate information TI.
  • FIG. 8 is a diagram showing an example of the stored contents of the intake information TI.
  • FIG. 8 illustrates intake information TI_1 to intake information TI_M.
  • M is an integer of 1 or more.
  • the intake information TI illustrated in FIG. 8 is information in which time information and intake mode information are associated with each other, in addition to the person identification information UID, the amount of food FD, and the food identification information FTID.
  • the time information and the intake mode information may not be included in the intake information TI.
  • the time information indicates the time when the person U ate the food FD.
  • the intake mode information indicates whether the person U ate the food FD directly from the platter CP or the food FD from the plate SP.
  • the intake information generation unit 29 generates the intake information TI_1 and the intake information TI_2 by the second trigger described above, and generates the intake information TI_M by the first trigger.
  • the intake information TI_1 indicates that at 12:00:01, the person U_1 ate the type of food corresponding to FT_1 from the plate SP_1 for xx calories.
  • the intake information generation unit 29 outputs the generated intake information TI to the storage device 30 or the communication device 40.
  • FIG. 9, FIG. 10, FIG. 11A, and FIG. 11B are flowcharts showing the operation of the meal amount estimation system 1. There are, for example, the following two triggers for starting the operations illustrated in FIGS. 9, 10, 11A, and 11B.
  • the first opportunity is when the person U finishes the meal and the imaging device 90 generates the moving image information MI showing the moving image including the image of the person U who is eating.
  • the second opportunity is when the image pickup apparatus 90 generates moving image information MI including a predetermined number of still images P.
  • the processing device 20 acquires the moving image information MI from the image pickup device 90 by functioning as the acquisition unit 21 (step S1). Next, the processing device 20 functions as the identification information generation unit 22, and thereby, a plurality of persons U, a platter CP, a plurality of plate SPs, and a type of food FD served on the platter CP or the plate SP. And are identified (step S2).
  • the processing device 20 functions as the specific unit 23 to specify which of the plurality of persons U each of the plurality of dish SPs corresponds to (step S3).
  • the processing device 20 functions as the estimation unit 24 to estimate the amount of food served in each of the platter CP and the plates of the plurality of SPs based on the extracted frame (step S4).
  • the processing device 20 functions as the estimation unit 24 to select a frame group in which the amount of food FD can be detected from the moving image information MI as the frame set A (step S5).
  • the processing device 20 functions as the estimation unit 24 to select a frame group capable of accurately detecting the amount of food as the frame set B (step S6).
  • the frame group in which the amount of food can be detected with high accuracy is, in other words, the frame group in which the platter CP and the plurality of plate SPs are not blocked by an object.
  • the processing device 20 selects the first frame in the frame set B as the frame X (step S11). Next, the processing device 20 selects the frame next to the frame X in the frame set B as the frame Y (step S12). Then, the processing device 20 functions as the first determination unit 25 or the third determination unit 28, so that the food FD placed on each of the platter CP or the plurality of plate SPs in the frame Y as compared with the frame X It is determined whether the reduction amount ⁇ FD is equal to or greater than a predetermined threshold value (step S13).
  • the processing apparatus 20 determines whether any of the reduced amount ⁇ FD_CP and the reduced amount ⁇ FD_SPi shown below is equal to or greater than a predetermined threshold value.
  • i is each integer from 1 to the total number of dishes SP.
  • ⁇ FD_CP Food served on platter CP in frame X FD_CP-Food served on platter CP in frame Y FD_CP
  • ⁇ FD_SPi Food served on the plate SP_i in frame X FD_SPi-Food served on the plate SP_i in frame Y FD_SPi
  • step S13 If the determination result in step S13 is affirmative, the processing device 20 stores information indicating the time from frame X to frame Y in the storage device 30 as reduction period information (step S15). Subsequently, the processing device 20 stores the reduced amount ⁇ FD, which is equal to or greater than a predetermined threshold value, in the storage device 30 (step S16). The processing device 20 stores the dish identification information PID of the dish corresponding to the reduction amount ⁇ FD which is equal to or more than a predetermined threshold value in the storage device 30 (step S17). The decrease period information, the decrease amount ⁇ FD, and the dish identification information PID are associated with each other and stored in the storage device 30.
  • the processing device 20 updates the subsequent frame group after the frame Y in the frame set B as a new frame set B (step S18). If the position of the frame Y in the frame set B is the end, the number of frames included in the updated frame set B is 0.
  • the processing device 20 determines whether or not the updated frame set B has one or more frames (step S19). If the determination result in step S19 is affirmative, the processing apparatus 20 returns the processing to step S11.
  • step S19 When the determination result in step S19 is negative, that is, when the frame set B has no frame, in FIG. 11A, the processing device 20 is reduced by one or more stored in the storage device 30 in the processing of step S15. Among the period information, the decrease period information indicating the oldest time is selected (step S31).
  • step S13 determines whether or not there is a frame next to the frame Y in the frame set B. (Step S21). If the determination result in step S21 is affirmative, the processing device 20 selects the frame next to the frame Y in the frame set B as the frame Y (step S22), and executes the process of step S13 again. On the other hand, if the determination result in step S21 is negative, the processing device 20 executes the process in step S31.
  • the processing device 20 selects from the frame set A a frame group included in the time indicated by the selected reduction period information as the frame set C (step S32).
  • the processing device 20 refers to the dish identification information PID stored in the process of step S17, and determines whether the dish with reduced food FD is the platter CP or the dish SP. Specifically, the processing device 20 determines whether or not the dish with reduced food FD is a platter CP (step S33). When the determination result is affirmative, that is, when the dish with reduced food FD is the platter CP (step S33: Yes), the processing device 20 functions as the second determination unit 26, whereby the platter in the frame set C It starts to track the destination of the food FD_CP on the CP (step S34).
  • the processing device 20 functions as the second determination unit 26 to identify the person U of the hand holding the table utensil carrying the food FD_CH to be tracked (step S35).
  • the processing device 20 causes the identified person U to eat the food FD directly from the platter CP or the food FD to take the plate based on the destination of the food FD_CH to be tracked. Determine if it has been transferred to the SP.
  • the processing device 20 determines whether or not the specified person U has eaten the food FD directly from the platter CP (step S36).
  • step S33 the processing device 20 may determine whether or not the plate with reduced food FD is the platter SP, instead of determining whether or not the plate with reduced food FD is the platter CP. Similarly, in step S36, the processing device 20 determines whether the food FD has been transferred to the pan SP instead of determining whether the identified person U has eaten the food FD directly from the platter CP. You may.
  • step S36 If the identified person U eats the food FD directly from the platter CP, in other words, if the food FD_CH to be tracked disappears without being transferred to the plurality of pans SP (step S36: Yes), the processing device 20 By functioning as the intake information generation unit 29, the reduction amount ⁇ FD of the food FD, the person U who ate directly from the platter CP, and the intake information TI corresponding to the type of the food FD are generated (step S37). On the other hand, when the determination result in step S36 is negative, that is, when the food FD_CH being tracked is transferred to the pan SP (step S36: No), the processing device 20 functions as the estimation unit 24 to track the food FD_CH. The amount of food FD placed on the plate SP to which the food FD_CH inside is transferred is increased by the decrease amount ⁇ FD of the food FD (step S38).
  • step S33 When the determination result in step S33 is negative, that is, when the dish with reduced food FD is the dish SP (step S33: No), the processing device 20 functions as the intake information generation unit 29, thereby causing the food FD.
  • the amount of decrease ⁇ FD, the person U corresponding to the plate SP with reduced food FD, and the intake information TI corresponding to the type of food FD are generated (step S39).
  • step S40 determines whether or not all the reduction period information has been selected. If the determination result in step S40 is negative, that is, if there is a reduction period information that has not yet been selected, the processing device 20 displays the reduction period information indicating the next oldest time after the time indicated by the currently selected reduction period information. It is selected (step S41), and the process of step S32 is executed. On the other hand, when the determination result in step S40 is affirmative, that is, when all the reduction period information is selected, the processing apparatus 20 ends the series of processes shown in FIGS. 9, 10, 11A, and 11B.
  • the processing device 20 when the amount of food FD_CP placed on the platter CP decreases, one person U eats the food FD of the platter CP, or the food FD takes a plurality of food FDs. It is determined whether or not the dish SP has been transferred to a certain dish SP. When one person U eats the food FD of the platter CP, the processing device 20 associates the amount of food FD eaten directly from the platter CP, the person U eaten directly from the platter CP, and the type of food FD. Generate information TI.
  • the processing device 20 since the processing device 20 generates the intake information TI indicating that the person U ate the food FD directly from the platter CP, even if there is a person U who ate directly from the platter CP, the person The amount of food in U can be accurately specified.
  • the processing device 20 when the amount of food FD placed on one of the plurality of dish SPs is reduced, the processing device 20 is used as a dish SP having a reduced amount of food FD and a reduced amount of food FD. Generates intake information TI that associates the corresponding person U and the type of food FD. As described above, since the processing device 20 generates the intake information TI indicating that the person U has eaten the food from the plate SP, the amount of food of the person U even when the food is divided into the plate SP. Can be accurately identified.
  • the first specific method in the specific unit 23 among the plurality of plate SPs, the distances between the plate SP to be specified for the association and each of the plurality of persons U are calculated, and the calculated plurality of plates SP.
  • the person U located at the shortest distance from the distances of the above is specified as the person U corresponding to the plate SP of the specific target.
  • the first specific method does not have to search for the still image P in which the plate SP and the moving device overlap. Therefore, according to the first identification method, the person U corresponding to the plate SP can be easily identified as compared with the second identification method.
  • the estimation unit 24 uses the large plate CP and the large plate CP and the large plate CP and the plurality of plate SPs based on the image information PI showing the still image P in which the large plate CP and the plurality of plate SPs are not blocked by the object among the image information PIs of the moving image information MI. Estimate the amount of food FD served in each of the plurality of pans SP. When the amount of food FD is estimated using the still image P in which either the platter CP or the plurality of plate SPs is blocked by the object, the amount of food FD is larger than the actual amount when the food FD is hidden in the object. Is mispresumed to be a small amount. Therefore, the estimation unit 24 can improve the estimation accuracy of the amount of food FD by using the image information PI showing the still image P in which the platter CP and the plurality of plate SPs are not obstructed by the object.
  • the second determination unit 26 starts tracking the destination of the food FD placed on the platter CP based on the moving image information MI. .. Then, the second determination unit 26 identifies the person U of the hand holding the moving device carrying the moving food FD_CH, and when the moving food FD_CH disappears without being transferred to the plurality of pans SP. It is determined that the person U in the hand holding the moving device ate the food FD_CP served on the platter CP. Since it has been confirmed that the moving food FD_CH disappears without being transferred to the plurality of pans SP, it is accurately determined that the food FD was eaten directly from the platter CP.
  • the second determination unit 26 sets the hand holding the platter CP and each of the plurality of persons U based on the moving image information MI. The distance is calculated, and the person U located at the shortest distance among the plurality of calculated distances is specified as the person U of the hand holding the platter CP.
  • the method for identifying the second aspect does not have to extract the contour of the arm of the hand holding the moving device as compared with the method for identifying the first aspect. Therefore, according to the identification method of the second aspect, the person U of the hand holding the moving device can be easily identified as compared with the identification method of the first aspect.
  • the platter CP has been described as an example of a first-class vessel in which food and drinks ingested by a plurality of people are placed, but the first-class vessel is not limited to a plate.
  • the first type of vessel may be a pot, a rice bowl, or the like.
  • the rice chest is a chest for transferring cooked rice from the kettle.
  • the plurality of trays SP is an example of a plurality of vessels of the second type in which a part of food and drink is placed, but the vessels of the second type are limited to plates. Absent.
  • the second type of vessel may be a drinking water used to separate food and drink in a pot, or a bowl used to separate rice in a rice bowl. Drinking water is a small bowl with a protruding edge.
  • the plate SP is generally smaller than the platter CP, but the present invention is not limited to this.
  • the food served on each of the plurality of platter CPs may be moved to the same plate SP.
  • the plate CP and the plate SP may have substantially the same size, or the plate SP may be larger than the plate CP.
  • the identification information generation unit 22 uses the method other than the above-mentioned second method of identifying the plate CP and the plate SP as a method.
  • the platter CP and the pan SP may be discriminated by using the third identification method or the fourth identification method shown below.
  • the identification information generation unit 22 identifies the plate on which the food FD is placed as a platter CP and the plate on which the food FD is not placed as a plate SP at the time when the meal is started. ..
  • the identification information generation unit 22 identifies the platter CP and the plate SP by the person U pointing at the platter CP and the plate SP.
  • the fourth identification method will be described in more detail.
  • the meal amount estimation system 1 has a speaker.
  • the identification information generation unit 22 causes the speaker to output a voice saying "Please point to the platter for a predetermined number of seconds."
  • the identification information generation unit 22 analyzes the moving image information indicating the moving image captured by the imaging device 90 after the above-mentioned audio output, and identifies the dish pointed by the person U as a platter CP for a predetermined number of seconds. To do.
  • the identification information generation unit 22 tells the speaker, "Point to the plate for a predetermined number of seconds. After a predetermined number of seconds, point to the plate that is not pointing for a predetermined number of seconds.
  • the identification information generation unit 22 analyzes the moving image information indicating the moving image captured by the imaging device 90 after the above-mentioned audio output, and uses the dish pointed by the person U as the taking dish SP for a predetermined number of seconds. Identify.
  • the food FD is separated from the platter CP into the plate SP and eaten by the person U.
  • the food FD was eaten by the person U via at most two dishes, but is not limited to this.
  • the food FD may be eaten by the person U via three or more dishes.
  • the information processing device 10 is attached to the ceiling of the room LR, but the present invention is not limited to this.
  • the information processing device 10 may be attached to the upper surface of the top plate of the dining table Tb.
  • the information processing device 10 may be installed outside the room LR.
  • the information processing device 10 accesses the image pickup device 90 via a mobile communication network or a network such as the Internet.
  • the information processing device 10 assumes a non-portable computer mounted on the ceiling of the room LR, but is not limited to this, and is not limited to this, and is a portable terminal such as a smartphone or a tablet terminal. It may be a device.
  • the information processing device 10 does not have the image pickup device 90, but may have the image pickup device 90.
  • each functional block (components) are realized by any combination of hardware and / or software. Further, the means for realizing each functional block is not particularly limited. That is, each functional block may be realized by one physically and / or logically coupled device, or directly and / or indirectly by two or more physically and / or logically separated devices. (For example, wired and / or wireless) may be connected and realized by these a plurality of devices.
  • the input / output information and the like may be stored in a specific place (for example, a memory) or may be managed by a management table. Input / output information and the like can be overwritten, updated, or added. The output information and the like may be deleted. The input information or the like may be transmitted to another device.
  • the determination may be made by a value represented by 1 bit (0 or 1) or by a boolean value (Boolean: true or false). , May be done by numerical comparison (eg, comparison with a given value).
  • the storage device 30 is a recording medium that can be read by the processing device 20, and examples thereof include a ROM and a RAM.
  • Disks Blu-ray (registered trademark) disks, smart cards, flash memory devices (for example, cards, sticks, key drives), CD-ROMs (Compact Disc-ROM), registers, removable disks, hard disks, floppy systems (registered trademarks). ) Disks, magnetic strips, databases, servers and other suitable storage media.
  • the program may also be transmitted from the network.
  • the program may also be transmitted from the communication network via a telecommunication line.
  • Each of the above-described aspects includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA (registered trademark). , GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), LTE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-WideBand), Bluetooth (registered trademark) ), Other systems that utilize suitable systems and / or next-generation systems that are extended based on them.
  • the information, signals, and the like described may be represented using any of a variety of different techniques.
  • data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.
  • the terms described herein and / or the terms necessary for understanding the present specification may be replaced with terms having the same or similar meanings.
  • Each function illustrated in FIG. 3 is realized by any combination of hardware and software. Further, each function may be realized by a single device, or may be realized by two or more devices configured as separate bodies from each other.
  • the software uses wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave to websites, servers, or other When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
  • wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave to websites, servers, or other
  • the information, parameters, etc. may be represented by absolute values, relative values from predetermined values, or other corresponding information. May be good.
  • the information processing device 10 includes a case where it is a mobile station.
  • Mobile stations can be used by those skilled in the art as subscriber stations, mobile units, subscriber units, wireless units, remote units, mobile devices, wireless devices, wireless communication devices, remote devices, mobile subscriber stations, access terminals, mobile terminals, wireless. It may also be referred to as a terminal, remote terminal, handset, user agent, mobile client, client, or some other suitable term.
  • 1 food amount estimation system, 10 ... information processing device, 20 ... processing device, 21 ... acquisition unit, 22 ... identification information generation unit, 23 ... specific unit, 24 ... estimation unit, 25 ... first judgment unit, 26 ... 2 Judgment unit, 28 ... 3rd judgment unit, 29 ... Intake information generation unit, 30 ... Storage device, 90 ... Imaging device, CP ... Large plate, FD ... Food, MI ... Moving image information, P ... Still image, PI ... Image Information, TO ... Tong, U ... Person.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Nutrition Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置は、動画像情報を取得する取得部と、複数の人物の各々、大皿及び複数の取り皿の各々、並びに、飲食物の種別を識別する識別情報生成部と、大皿及び複数の取り皿の各々の飲食物の量を推定する推定部と、大皿の飲食物の量が減少したか否かを判定する第１判定部と、第１判定部の判定結果が肯定を示す場合、複数の人物のうち一の人物が大皿の飲食物を摂取したか、又は当該飲食物が複数の取り皿のうち一の取り皿に移されたかを判定する第２判定部と、一の人物が大皿の飲食物を摂取したことを示す場合、一の人物が摂取した飲食物の量、一の人物、及び、当該飲食物の種別を対応付ける摂取情報を生成する摂取情報生成部とを備え、推定部は、一の取り皿に飲食物が移された場合、一の取り皿の飲食物の量を、大皿の飲食物が減少した量だけ増加させる。

Description

情報処理装置
　本発明は、情報処理装置に関する。
　近年、健康的思考の高まりに伴い、食事量を記録する人が増えている。そこで、食事量を簡単に記録するために、食事量を記録するサービスが提案されている。例えば、非特許文献１には、大皿に盛られた食べ物を複数の人物が食べる場合に、食卓を撮像した画像を複数の領域に区分けし、領域ごとに食べ物を食べたかを判定し、食べた場合には領域に対応付けられた人物の食事量を記録する技術が開示されている。
大塚雄一郎ほか２名，"会食状況認識によるテーブル型リアルタイム料理推薦システム"，情報処理学会研究報告，Ｖｏｌ．２０１１－ＤＮ－７８　Ｎｏ．８，２０１１／１／２１
　しかしながら、実際の食事では、人物によっては、大皿から取り皿に食べ物を移して、取り皿から料理を食べることがある。従来技術では、大皿に盛られた食べ物が減少した場合、取り皿に移動しただけで食べ物を食べていないにも関わらず食べたと判定されるため、人物の食事量を正確に特定することができない。
　以上の課題を解決するために、本発明の好適な態様に係る情報処理装置は、複数の人物が摂取する飲食物が盛られた第１種別の器と前記飲食物の一部が盛られる第２種別の複数の器とが配置された卓、及び、前記複数の人物を、撮像することによって得られた動画像を示す動画像情報を取得する取得部と、前記動画像情報に基づいて、前記複数の人物の各々を識別する第１識別情報、前記第１種別の器及び前記第２種別の複数の器の各々を識別する第２識別情報、並びに、前記飲食物の種別を識別する第３識別情報を生成する識別情報生成部と、前記動画像情報に基づいて、前記第１種別の器及び前記第２種別の複数の器の各々に盛られた前記飲食物の量を推定する推定部と、前記動画像情報に基づいて、判定時点における前記第１種別の器に盛られた飲食物の量が、当該判定時点より所定期間前の前記第１種別の器に盛られた飲食物の量と比較して減少したか否かを判定する第１判定部と、前記第１判定部の判定結果が肯定を示す場合、前記動画像情報に基づいて、前記複数の人物のうち一の人物が前記第１種別の器に盛られた飲食物を摂取したか、又は当該飲食物が前記第２種別の複数の器のうち一の器に移されたかを判定する第２判定部と、前記一の人物が前記第１種別の器に盛られた飲食物を摂取したことを前記第２判定部の判定結果が示す場合、前記一の人物が摂取した飲食物の量、前記一の人物、及び、当該飲食物の種別を対応付ける摂取情報を生成する摂取情報生成部とを備え、前記推定部は、前記第２判定部の判定結果が前記一の器に前記飲食物が移されたことを示す場合、前記第２種別の前記一の器に盛られた飲食物の量を、前記第１種別の器に盛られた飲食物が減少した量だけ増加させる。
　本発明によれば、人物の食事量を正確に特定できる。
食事量推定システム１の概要を示す図。 食事量推定システム１のハードウェア構成を例示するブロック図。 食事量推定システム１の機能を示すブロック図。 特定部２３における第１の特定方法を示す図。 対応付け情報ＲＩの一例を示す図。 大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていない静止画像Ｐの一例を示す図。 第２判定部２６における第２の判定方法を示す図。 摂取情報ＴＩの記憶内容の一例を示す図。 食事量推定システム１の動作を示すフローチャートを示す図（その１）。 食事量推定システム１の動作を示すフローチャートを示す図（その２）。 食事量推定システム１の動作を示すフローチャートを示す図（その３）。 食事量推定システム１の動作を示すフローチャートを示す図（その４）。
１．実施形態
　以下、本実施形態に係る食事量推定システム１を説明する。
１．１．食事量推定システム１の概要
　図１は、食事量推定システム１の概要を示す図である。食事量推定システム１は、食事中の人物Ｕを撮像することにより、人物Ｕの食事量を推定するサービスを提供する。食事量は、人物Ｕが摂取した飲食物の量である。飲食物(food or drink)とは、飲み物及び食べ物の一方である。飲食物の量は、例えば、飲食物が食べ物であれば食べ物のカロリー数又はグラム数であり、飲食物が飲み物であれば飲み物のカロリー数又はリットル数である。以下では、説明の簡略化のため、「人物Ｕが飲食物を摂取する」を、単に、「人物Ｕが食べ物を食べる」として説明し、食事量は、具体的には、人物Ｕが食べた食べ物のカロリー数であるとして説明する。
　食事量推定システム１は、情報処理装置１０と、撮像装置９０とを含む。情報処理装置１０は、食事量推定システム１に用いられるコンピュータである。図１の例示では、情報処理装置１０は、部屋ＬＲの天井に取り付けられている。撮像装置９０は、情報処理装置１０に取り付けられている。
　部屋ＬＲ内において、複数の人物Ｕが食事を取っている。図１の例示では、複数の人物Ｕの一例として人物Ｕ＿１と人物Ｕ＿２とが、部屋ＬＲ内で食事を取っている。複数の人物は、２人に限らず、３人以上でもよい。以下の説明では、同種の要素を区別する場合、人物Ｕ＿１及び人物Ｕ＿２のように参照符号を使用する。一方、同種の要素を区別しない場合、人物Ｕのように、参照符号のうちの共通符号だけを使用する。
　部屋ＬＲには、食卓Ｔｂが設けられている。食卓Ｔｂには、人物Ｕが食べる食べ物ＦＤが盛られた大皿ＣＰと、複数の取り皿ＳＰとが配置されている。大皿ＣＰは、「複数の人物が摂取する飲食物が盛られた第１種別の器」の一例である。大皿ＣＰは、１つでもよいし複数でもよい。複数の取り皿ＳＰは、「飲食物の一部が盛られる第２種別の複数の器」の一例である。食卓Ｔｂは、「複数の人物が摂取する飲食物が盛られた器と複数の取り皿とが配置された卓」の一例である。
　図１の例示では、食卓Ｔｂには、複数の取り皿ＳＰの一例として、人物Ｕ＿１が用いる取り皿ＳＰ＿１と、人物Ｕ＿２が用いる取り皿ＳＰ＿２とが配置されている。取り皿ＳＰの数は２に限らず、３以上でもよい。更に、大皿ＣＰには、食べ物ＦＤを取り分けるために用いるトングＴＯが配置されている。地域によっては、図１の例示のように、大皿ＣＰに食べ物ＦＤを盛り、各人物Ｕは、大皿ＣＰに盛られた食べ物ＦＤを取り皿ＳＰに取り分け、取り皿ＳＰに取り分けた食べ物ＦＤを食べる習慣がある。また、人物Ｕは、取り皿ＳＰに盛られた食べ物ＦＤを食べる一方で、大皿ＣＰから直接食べ物ＦＤを食べることがある。取り皿ＳＰは、食べ物ＦＤを各自に取り分けるために用いる皿である。一般的に、取り皿ＳＰは、大皿ＣＰより小さい。
　トングＴＯは、「飲食物を移動させる器具」の一例である。以下の記載では、飲食物を移動させる器具を、「移動用器具」と称する。移動用器具は、大別して、食べ物ＦＤを取り分けるために食べ物ＦＤを移動させる器具と、食べ物ＦＤを直接食べるために食べ物ＦＤを移動させる器具とがある。食べ物ＦＤを取り分けるために食べ物ＦＤを移動させる器具は、例えば、トングＴＯ、菜箸(取り分け用の長い箸)、及び、取り分け用のスプーンである。食べ物ＦＤを大皿ＣＰから直接食べるために食べ物ＦＤを移動させる器具は、例えば、箸、図７に示すスプーンＳＯ、ナイフ、及び、フォークである。
　図２は、食事量推定システム１のハードウェア構成を例示するブロック図である。食事量推定システム１は、図１の例示のように、情報処理装置１０及び撮像装置９０を備える。
　撮像装置９０は、大皿ＣＰと複数の取り皿ＳＰとが配置された食卓Ｔｂ、及び、複数の人物Ｕを撮像することによって、図３に示す動画像情報ＭＩを生成する。動画像情報ＭＩは、複数のフレームの各々について静止画像Ｐを示す画像情報ＰＩを有する。動画像情報ＭＩは、画像情報ＰＩ＿１～ＰＩ＿Ｎを有する。Ｎは、２以上の整数である。撮像装置９０は、人物Ｕの全身を撮像してもよいし、人物Ｕの腹部周辺を撮像してもよい。撮像装置９０は、例えば撮像光学系及び撮像素子を含む。撮像光学系は、少なくとも１つの撮像レンズを含む光学系である。撮像光学系は、プリズム等の各種の光学素子を備えてもよいし、ズームレンズやフォーカスレンズ等を備えてもよい。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary MOS）イメージセンサ等のセンサで構成される。
　情報処理装置１０は、処理装置２０、記憶装置３０、通信装置４０、及び、バス１９を備える。処理装置２０、記憶装置３０、及び、通信装置４０は、情報を通信するためのバス１９を介して互いにアクセスされる。バス１９は、単一のバスによって構成されてもよいし、装置間で異なるバスで構成されてもよい。
　処理装置２０は、情報処理装置１０の全体を制御するプロセッサであり、インタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置２０の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで実現してもよい。処理装置２０は、各種の処理を並列的又は逐次的に実行する。
　記憶装置３０は、処理装置２０が読取可能な記録媒体であり、処理装置２０が実行する制御プログラムＰＲａを含む複数のプログラム、及び、処理装置２０が使用する各種の情報を記憶する。記憶装置３０は、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の記憶回路の１種別以上で構成される。
　通信装置４０は、他の装置と通信する機器であり、通信装置４０は、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード又は通信モジュールとも表記される。通信装置４０は、撮像装置９０と通信可能である。
１．２．食事量推定システム１の機能
　図３は、食事量推定システム１の機能を示すブロック図である。処理装置２０は、記憶装置３０から制御プログラムＰＲａを読み取る。処理装置２０は、制御プログラムＰＲａを実行することによって、取得部２１、識別情報生成部２２、特定部２３、推定部２４、第１判定部２５、第２判定部２６、第３判定部２８、及び、摂取情報生成部２９として機能する。
　取得部２１は、撮像装置９０から、動画像情報ＭＩを取得する。動画像情報ＭＩは、大皿ＣＰと複数の取り皿ＳＰとが配置された食卓Ｔｂ、及び、複数の人物Ｕを撮像装置９０が撮像することによって得られた動画像を示す。
　識別情報生成部２２は、動画像情報ＭＩに基づいて、複数の人物Ｕの各々を識別する人物識別情報ＵＩＤ、大皿ＣＰ及び複数の取り皿ＳＰの各々を識別する皿識別情報ＰＩＤ、及び、食べ物の種別を識別する食べ物識別情報ＦＴＩＤを生成する。人物識別情報ＵＩＤは、「第１識別情報」の一例である。皿識別情報ＰＩＤは、「第２識別情報」の一例である。食べ物識別情報ＦＴＩＤは、「第３識別情報」の一例である。食べ物の種別は、例えば、麺料理、野菜料理、肉料理、及び、魚介料理等である。例えば、識別情報生成部２２は、動画像情報ＭＩに含まれる複数のフレームの各々について、静止画像Ｐが有する特徴を抽出することによって、人物Ｕと、皿と、食べ物ＦＤの種別とを識別する。識別情報生成部２２は、識別結果に基づいて、人物Ｕと、皿と、食べ物の種別とに固有の識別情報を付与する。識別情報生成部２２は、異なるフレームに存在する同一の人物Ｕ、皿、及び、食べ物の種別について、同一の識別情報を付与する。
　本実施形態では、説明の簡略化のため、人物識別情報ＵＩＤとして、人物Ｕに付与した参照符号を用いる。例えば、人物Ｕ＿１の人物識別情報ＵＩＤは、「Ｕ＿１」である。同様に、皿識別情報ＰＩＤとして、大皿ＣＰ及び取り皿ＳＰに付与した参照符号を用いる。食べ物識別情報ＦＴＩＤは、例えば、麺料理を示すＦＴ＿１及び野菜料理を示すＦＴ＿２等である。
　大皿ＣＰと取り皿ＳＰとの識別方法は、例えば、以下に示す２つの方法がある。第１の識別方法において、識別情報生成部２２は、所定の大きさより大きい皿を大皿ＣＰとして識別し、所定の大きさ以下の皿を取り皿ＳＰとして識別する。一般的には、大皿ＣＰの大きさは、皿の直径が２５ｃｍ以上である。取り皿ＳＰの大きさは、皿の直径が１０ｃｍから１５ｃｍまでの間である。従って、所定の大きさは、例えば、皿の直径が１５ｃｍより大きく２５ｃｍ未満の値である。第２の識別方法において、予め、大皿ＣＰの一部又は全部を第１色に着色しておき、取り皿ＳＰの一部又は全部を第２色に着色しておく。そして、識別情報生成部２２は、静止画像Ｐに含まれる皿の像の色が第１色であれば、第１色の皿を大皿ＣＰと識別する。識別情報生成部２２は、静止画像Ｐに含まれる皿の色が第２色であれば、第２色の皿を取り皿ＳＰと識別する。
　特定部２３は、動画像情報ＭＩに基づいて、複数の取り皿ＳＰの各々が、複数の人物Ｕのうちいずれの人物Ｕに対応するかを特定する。例えば、特定部２３は、以下に示す２つの特定方法のうちのいずれか一つの方法に従って、取り皿ＳＰと人物Ｕとの対応付けを特定する。
　第１の特定方法において、特定部２３は、複数の取り皿ＳＰのうち、複数の人物Ｕのいずれかとの対応付けの特定対象とする取り皿ＳＰと、複数の人物Ｕの各々との距離を算出する。「特定対象とする取り皿ＳＰ」は、特定部２３における「一の器」の一例である。そして、特定部２３は、算出された複数の距離の中から最も短い距離に位置する人物Ｕを、対応付けの特定対象の取り皿ＳＰに対応する人物Ｕとして特定する。取り皿ＳＰと人物Ｕとの距離は、例えば、以下に示す２つの態様がある。第１の態様における距離は、取り皿ＳＰにおける人物Ｕに最も近い端部から、人物Ｕにおける取り皿ＳＰに最も近い端部までの距離である。第２の態様における距離は、取り皿ＳＰの重心から人物Ｕの重心までの距離である。なお、重心とは、平面視したときに、対象となる形状において断面１次モーメントの総和がゼロになる地点であり、矩形形状であれば対角線の交点をいう。以下では、取り皿ＳＰと人物Ｕとの距離は、第２の態様であるとして説明する。
　図４は、特定部２３における第１の特定方法を示す図である。図４では、動画像情報ＭＩに含まれるいずれかの画像情報ＰＩ＿ｘが示す静止画像Ｐ＿ｘを例示する。ｘは、１からＮまでのいずれかの整数である。図４に例示する静止画像Ｐ＿ｘには、人物Ｕ＿１の像、人物Ｕ＿２の像、大皿ＣＰの像、取り皿ＳＰ＿１の像、取り皿ＳＰ＿２の像、食べ物ＦＤ＿ＣＰの像、食べ物ＦＤ＿ＳＰ１の像、及び、食べ物ＦＤ＿ＳＰ２の像が含まれる。食べ物ＦＤ＿ＣＰは、大皿ＣＰに盛られた食べ物である。食べ物ＦＤ＿ＳＰ１は、取り皿ＳＰ＿１に取り分けられた食べ物である。食べ物ＦＤ＿ＳＰ２は、取り皿ＳＰ＿２に取り分けられた食べ物である。特定部２３は、静止画像Ｐ＿ｘに基づいて、取り皿ＳＰ＿１と複数の人物Ｕの各々との距離ＳＬを算出する。例えば、特定部２３は、取り皿ＳＰ＿１と人物Ｕ＿１との距離ＳＬ＿１と、取り皿ＳＰ＿１と人物Ｕ＿２との距離ＳＬ＿２とを算出する。図４では、人物Ｕ＿１内の黒丸が人物Ｕ＿１の重心を示し、人物Ｕ＿２内の黒丸が人物Ｕ＿２の重心を示し、取り皿ＳＰ＿１内の黒丸が取り皿ＳＰ＿１の重心を示す。図４の例示のように、特定部２３は、距離ＳＬ＿１と距離ＳＬ＿２とのうち、最も短い距離ＳＬ＿１に位置する人物Ｕ＿１を、取り皿ＳＰ＿１に対応する人物Ｕとして特定する。図４には示していないが、特定部２３は、取り皿ＳＰ＿２についても、取り皿ＳＰ＿２を対応付けの特定対象とし、取り皿ＳＰ＿１と同様の方法に従って、取り皿ＳＰ＿２に対応する人物Ｕを特定する。
　第１の特定方法において、取り皿ＳＰに対応する人物Ｕの特定精度を高めるために、特定部２３は、複数の静止画像Ｐの各々について、取り皿ＳＰに対応する人物Ｕを特定することが好ましい。特定部２３は、取り皿ＳＰに対応する人物Ｕとして特定された回数が最も多い人物Ｕを、取り皿ＳＰに対応する人物Ｕとして特定する。
　第２の特定方法において、特定部２３は、動画像情報ＭＩに基づいて、取り皿ＳＰに重なる移動用器具を特定する。特定部２３は、特定した移動用器具を持つ手の人物Ｕを、取り皿ＳＰに対応する人物Ｕとして特定する。例えば、特定部２３は、動画像情報ＭＩのうち、取り皿ＳＰと移動用器具とが重なる静止画像Ｐを示す画像情報ＰＩを抽出し、抽出した画像情報ＰＩが示す静止画像Ｐを解析して、移動用器具を持つ手の人物Ｕを特定する。
　第２の特定方法において特定精度を高めるために、特定部２３は、動画像情報ＭＩのうち、取り皿ＳＰと移動用器具とが重なる静止画像Ｐを示す画像情報ＰＩを複数抽出し、複数の画像情報ＰＩの各々について、対応付けの特定対象とする取り皿ＳＰに対応する人物Ｕを特定することが好ましい。特定部２３は、対応付けの特定対象とする取り皿ＳＰに対応する人物Ｕとして特定された回数が最も多い人物Ｕを、対応付けの特定対象とする取り皿ＳＰに対応する人物Ｕとして特定する。
　特定部２３は、取り皿ＳＰと人物Ｕとの対応付けを示す対応付け情報ＲＩを出力する。
　図５は、対応付け情報ＲＩの一例を示す図である。対応付け情報ＲＩは、取り皿ＳＰを示す皿識別情報ＰＩＤと、取り皿ＳＰに対応する人物Ｕを示す人物識別情報ＵＩＤとの対応付けを示す。図５の例示では、対応付け情報ＲＩは、取り皿ＳＰ＿１が人物Ｕ＿１に対応付けられており、取り皿ＳＰ＿２が人物Ｕ＿２に対応付けられていることを示す。
　なお、図５では例示していないが、複数の取り皿ＳＰが、同一の人物Ｕに対応付けられてもよい。複数の食べ物ＦＤの味が混ざらないように、ある一人の人物Ｕが、複数の食べ物ＦＤの各々に対応する取り皿ＳＰを用いることがあるためである。例えば、ある人物Ｕが、肉料理用の取り皿ＳＰと、魚介料理用の取り皿ＳＰとを用いている場合、ある人物Ｕに対応付けられる取り皿ＳＰは、２つである。また、取り皿ＳＰに対応付けられない人物Ｕがいてもよい。従って、人物Ｕの数と取り皿ＳＰの数とは、互いに一致してもよいし、互いに異なってもよい。
　説明を図３に戻す。推定部２４は、動画像情報ＭＩに基づいて、大皿ＣＰ及び複数の取り皿ＳＰの各々に盛られた食べ物ＦＤの量を推定する。例えば、記憶装置３０が、食べ物ＦＤの種別ごとに、食べ物ＦＤの単位面積当たりのカロリー数を記憶しておく。記憶内容の一例として、記憶装置３０は、麺料理の単位面積当たりのカロリー数がｃ１カロリーであることを記憶する。同様に、記憶装置３０は、野菜料理の単位面積当たりのカロリー数がｃ２カロリーであり、肉料理の単位面積当たりのカロリー数がｃ３カロリーであり、魚介料理の単位面積当たりのカロリー数がｃ４カロリーであることを記憶する。ｃ１、ｃ２、ｃ３、及び、ｃ４は、０より大きい実数である。推定部２４は、動画像情報ＭＩに含まれる画像情報ＰＩが示す静止画像Ｐにおいて、静止画像Ｐに含まれる食べ物ＦＤの像の面積を測定し、得られた面積を単位面積で除した値に、識別情報生成部２２が識別した食べ物ＦＤの種別に対応したカロリー数を乗じた値を、食べ物ＦＤの量として推定する。
　推定部２４は、動画像情報ＭＩに含まれる複数の画像情報ＰＩのうち、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていない静止画像Ｐを示す画像情報ＰＩに基づいて、大皿ＣＰ及び複数の取り皿ＳＰの各々に盛られた食べ物ＦＤの量を推定する。前述の物体は、例えば、人物Ｕ、移動用器具、及び、コップ等である。大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていないとは、大皿ＣＰ及び複数の取り皿ＳＰの全てが物体に遮られていなくてもよいし、大皿ＣＰの一部及び複数の取り皿ＳＰのいずれかの取り皿ＳＰの一部が物体に遮られていなくてもよい。以下の説明では、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていないとは、大皿ＣＰ及び複数の取り皿ＳＰの全てが物体に遮られていないこととして説明する。
　図６は、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていない静止画像Ｐの一例を示す図である。図６では、動画像情報ＭＩに含まれる画像情報ＰＩ＿ｘが示す静止画像Ｐ＿ｘと、画像情報ＰＩ＿ｙが示す静止画像Ｐ＿ｙとを例示する。図６に例示する静止画像Ｐ＿ｘは、図４に例示する静止画像Ｐ＿ｘと同一である。図６に例示する静止画像Ｐ＿ｙには、人物Ｕ＿１の像、人物Ｕ＿２の像、大皿ＣＰの像、取り皿ＳＰ＿１の像、取り皿ＳＰ＿２の像、食べ物ＦＤ＿ＣＰの像、食べ物ＦＤ＿ＳＰ１の像、及び、食べ物ＦＤ＿ＳＰ２の像に加えて、トングＴＯの像及び手ＨＤの像が含まれる。手ＨＤは、トングＴＯを持っている。図６では、図面の煩雑化を防ぐため、手ＨＤに対応する腕部分の描画を省略している。
　静止画像Ｐ＿ｘにおいて、大皿ＣＰ及び複数の取り皿ＳＰの各々を遮る物体がない。一方、静止画像Ｐ＿ｙにおいて、大皿ＣＰの一部がトングＴＯによって遮られている。従って、推定部２４は、静止画像Ｐ＿ｘを示す画像情報ＰＩ＿ｘに基づいて、大皿ＣＰ及び複数の取り皿の各々に盛られた食べ物ＦＤの量を推定する。
　推定部２４は、大皿ＣＰ及び複数の取り皿ＳＰの各々に盛られた食べ物ＦＤの量を示す食べ物量情報ＦＩを出力する。食べ物量情報ＦＩは、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰのカロリー数と、複数の取り皿ＳＰの各々に盛られた食べ物ＦＤ＿ＳＰのカロリー数とを示す。
　説明を図３に戻す。第１判定部２５は、動画像情報ＭＩに基づいて、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量が、判定時点より所定期間前の大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量と比較して減少したか否かを判定する。所定期間は、どのような時間長の期間でもよいが、人が食べ物を食べる標準的な速度を考慮して定められることが好ましい。例えば、所定期間は、1分以上５分以下の期間であってもよい。第１判定部２５は、判定時点より所定期間前の大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量から、現在(判定時点)の大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量を減じた値が所定の閾値以上である場合、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量が減少したと判定する。
　第２判定部２６は、第１判定部２５の判定結果が肯定の場合、動画像情報ＭＩに基づいて、複数の人物Ｕのうち、ある一人の人物Ｕが大皿ＣＰの食べ物ＦＤ＿ＣＰを直接食べたか、又は複数の取り皿ＳＰのうち、ある一つの取り皿ＳＰに大皿ＣＰから食べ物ＦＤ＿ＣＰが移されたかを判定する。ある一人の人物Ｕは、「一の人物」の一例である。例えば、第２判定部２６は、以下に示す２つの判定方法のいずれか一方の方法を用いる。
　第１の判定方法において、第２判定部２６は、複数の取り皿ＳＰの各取り皿ＳＰ＿ｉに盛られた食べ物ＦＤ＿ＳＰｉの量が、判定時点より所定期間前の各取り皿ＳＰ＿ｉに盛られた食べ物ＦＤ＿ＳＰの量と比較して増加したか否かを判定する。ｉは、１から取り皿ＳＰの総数までの各整数である。食べ物ＦＤ＿ＳＰが増加した取り皿ＳＰ＿ｉがある場合、第２判定部２６は、ある一つの取り皿ＳＰに食べ物ＦＤ＿ＣＰが移されたと判定する。一方、食べ物ＦＤ＿ＳＰが増加した取り皿ＳＰが１つもない場合、ある人物Ｕが大皿ＣＰから食べ物ＦＤ＿ＣＰを直接食べたことを意味する。よって、第２判定部２６は、ある一人の人物Ｕが大皿ＣＰの食べ物ＦＤ＿ＣＰを食べたと判定する。
　第２の判定方法において、第２判定部２６は、第１判定部２５の判定結果が肯定を示す場合、動画像情報ＭＩに基づいて、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの移動先を追跡することを開始する。次に、第２判定部２６は、動画像情報ＭＩに基づいて、追跡中の食べ物ＦＤ＿ＣＨを運ぶ移動用器具を持つ手の人物Ｕを特定する。そして、第２判定部２６は、動画像情報ＭＩに基づいて、追跡中の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰに移されることなく消滅したか否かを判定する。食べ物ＦＤ＿ＣＨが消滅した場合、移動用器具を持つ手の人物Ｕが大皿ＣＰから食べ物ＦＤを直接食べた人物Ｕであるから、第２判定部２６は、移動用器具を持つ手の人物Ｕが大皿ＣＰに盛られた食べ物ＦＤを食べた人物Ｕであると判定する。一方、第２判定部２６は、追跡中の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰのうち、ある一つの取り皿ＳＰに移された場合、ある一つの取り皿ＳＰに移されたと判定する。
　図７は、第２判定部２６における第２の判定方法を示す図である。図７では、動画像情報ＭＩに含まれる画像情報ＰＩ＿ａが示す静止画像Ｐ＿ａと、画像情報ＰＩ＿ｂが示す静止画像Ｐ＿ｂと、画像情報ＰＩ＿ｃが示す静止画像Ｐ＿ｃとを例示する。ａ、ｂ、及び、ｃは、１からＮまでの整数であり、ａ＜ｂ＜ｃの関係を有する。
　静止画像Ｐ＿ａ、静止画像Ｐ＿ｂ、及び、静止画像Ｐ＿ｃには、人物Ｕ＿１の像、人物Ｕ＿２の像、大皿ＣＰの像、取り皿ＳＰ＿１の像、取り皿ＳＰ＿２の像、食べ物ＦＤ＿ＣＰの像、食べ物ＦＤ＿ＳＰ１の像、及び、食べ物ＦＤ＿ＳＰ２の像に加えて、スプーンＳＯの像及び手ＨＤの像が含まれる。
　静止画像Ｐ＿ｂに基づいて、第１判定部２５は、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量が、静止画像Ｐ＿ａを撮像した時の大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰと比較して減少したと判定する。従って、第２判定部２６は、静止画像Ｐ＿ｂに基づいて、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの移動先を追跡することを開始する。静止画像Ｐ＿ｂが得られたタイミングから、第２判定部２６は、スプーンＳＯに盛られた食べ物ＦＤ＿ＣＨの追跡を開始する。追跡対象の食べ物ＦＤ＿ＣＨは、静止画像Ｐ＿ａを撮像した時には大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの一部であった食べ物である。第２判定部２６は、追跡対象の食べ物ＦＤ＿ＣＨを運ぶスプーンＳＯを持つ手の人物Ｕを特定する。
　移動用器具を持つ手の人物Ｕの特定方法としては、以下に示す２つの態様がある。第１の態様の特定方法において、第２判定部２６は、移動用器具を持つ手の腕の輪郭を抽出して、抽出した腕の輪郭と繋がる人物Ｕを、移動用器具を持つ手の人物Ｕとして特定する。
　第２の態様の特定方法において、第２判定部２６は、移動用器具を持つ手と複数の人物Ｕの各々との距離を算出し、算出された複数の距離の中から最も短い距離に位置する人物Ｕを、移動用器具を持つ手の人物Ｕとして特定する。移動用器具を持つ手と人物Ｕとの距離は、例えば、以下に示す２つの態様がある。第１の態様における距離は、移動用器具を持つ手における人物Ｕに最も近い端部から、人物Ｕにおける移動用器具を持つ手に最も近い端部までの距離である。第２の態様における距離は、移動用器具を持つ手の重心から人物Ｕの重心までの距離である。以下では、移動用器具を持つ手と人物Ｕとの距離は、第２の態様であるとして説明する。
　静止画像Ｐ＿ｂの例示において、第２判定部２６は、スプーンＳＯを持つ手ＨＤと人物Ｕ＿１との距離ＨＬ＿１と、手ＨＤと人物Ｕ＿２との距離ＨＬ＿２とをそれぞれ算出する。静止画像Ｐ＿ｂにおいて、人物Ｕ＿１内の黒丸が人物Ｕ＿１の重心を示し、人物Ｕ＿２内の黒丸が人物Ｕ＿２の重心を示し、手ＨＤ内の黒丸が手ＨＤの重心を示す。静止画像Ｐ＿ｂの例示のように、第２判定部２６は、距離ＨＬ＿１と距離ＨＬ＿２とのうち、最も短い距離ＨＬ＿２に位置する人物Ｕ＿２を、スプーンＳＯを持つ手の人物Ｕとして特定する。
　静止画像Ｐ＿ｃでは、追跡対象の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰに移されることなく消滅している。従って、第２判定部２６は、スプーンＳＯを持つ手の人物Ｕとして特定した人物Ｕ＿２が大皿ＣＰに盛られた食べ物ＦＤを食べたと判定する。
　説明を図３に戻す。第３判定部２８は、複数の取り皿ＳＰのうち、ある一つの取り皿ＳＰに盛られた食べ物ＦＤ＿ＳＰの量が、判定時点より所定期間前における、ある一つの取り皿ＳＰに盛られた食べ物ＦＤ＿ＳＰの量と比較して減少したか否かを判定する。
　摂取情報生成部２９は、第２判定部２６、及び、第３判定部２８の判定結果、並びに、特定部２３が出力した対応付け情報ＲＩに基づいて、摂取情報ＴＩを生成する。摂取情報ＴＩを生成する契機は、以下に示す２つの契機がある。
　第１の契機は、第２判定部２６の判定結果が、ある一人の人物Ｕが大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰを食べたことを示す場合である。この場合、摂取情報生成部２９は、この人物Ｕが食べた食べ物ＦＤの量、この人物Ｕ、及び、この人物Ｕが食べた食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する。より詳細には、摂取情報ＴＩは、食べ物ＦＤの量と、食べ物ＦＤを食べた人物Ｕを識別する人物識別情報ＵＩＤと、食べ物ＦＤの種別を識別するＦＴＩＤとを対応付けた情報である。第２判定部２６の判定結果が、ある一つの取り皿ＳＰに食べ物が移されたことを示す場合には、推定部２４は、この取り皿ＳＰに盛られた食べ物ＦＤ＿ＳＰの量を、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰが減少した量だけ増加させる。
　第２の契機は、第３判定部２８の判定結果が肯定である場合、すなわち、ある一つの取り皿ＳＰに盛られた食べ物ＦＤ＿ＳＰの量が減少した場合である。この場合、摂取情報生成部２９は、この取り皿ＳＰに対応付けられた人物Ｕ、この取り皿ＳＰに盛られた食べ物ＦＤ＿ＳＰから減少した食べ物ＦＤの量、及び、この食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する。
　図８は、摂取情報ＴＩの記憶内容の一例を示す図である。図８は、摂取情報ＴＩ＿１～摂取情報ＴＩ＿Ｍを例示する。Ｍは、１以上の整数である。図８に例示する摂取情報ＴＩは、人物識別情報ＵＩＤ、食べ物ＦＤの量、及び、食べ物識別情報ＦＴＩＤに加えて、時刻情報と、摂取態様情報とを対応付けた情報である。時刻情報及び摂取態様情報は、摂取情報ＴＩに含まれていなくてもよい。時刻情報は、人物Ｕが食べ物ＦＤを食べた時刻を示す。摂取態様情報は、人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べたか、又は、取り皿ＳＰから食べ物ＦＤを食べたかを示す。
　摂取情報生成部２９は、上述の第２の契機によって摂取情報ＴＩ＿１及び摂取情報ＴＩ＿２を生成しており、第１の契機によって摂取情報ＴＩ＿Ｍを生成する。摂取情報ＴＩ＿１は、１２時０分１秒に、人物Ｕ＿１が、ＦＴ＿１に対応する食べ物の種別を、ｘｘカロリー分、取り皿ＳＰ＿１から食べたことを示す。
　摂取情報生成部２９は、生成した摂取情報ＴＩを、記憶装置３０又は通信装置４０に出力する。
１．３．食事量推定システム１の動作
　図９～図１１Ｂを用いて、食事量推定システム１の動作について説明する。
　図９、図１０、図１１Ａ、及び図１１Ｂは、食事量推定システム１の動作を示すフローチャートである。図９、図１０、図１１Ａ、及び図１１Ｂに例示する動作が開始する契機は、例えば、以下に示す２つの契機がある。第１の契機は、人物Ｕが食事を終了し、撮像装置９０が、食事中の人物Ｕの像が含まれた動画像を示す動画像情報ＭＩを生成した場合である。第２の契機は、撮像装置９０が、所定数の静止画像Ｐを含む動画像情報ＭＩを生成した場合である。
　処理装置２０は、取得部２１として機能することにより、撮像装置９０から、動画像情報ＭＩを取得する（ステップＳ１）。次に、処理装置２０は、識別情報生成部２２として機能することにより、複数の人物Ｕと、大皿ＣＰと、複数の取り皿ＳＰと、大皿ＣＰ又は取り皿ＳＰに盛られた食べ物ＦＤの種別とを識別する（ステップＳ２）。
　そして、処理装置２０は、特定部２３として機能することにより、複数の取り皿ＳＰの各々が、複数の人物Ｕのうちいずれの人物Ｕに対応するかを特定する（ステップＳ３）。次に、処理装置２０は、推定部２４として機能することにより、抽出したフレームに基づいて、大皿ＣＰと複数ＳＰの取り皿の各々とに盛られた食べ物の量を推定する（ステップＳ４）。処理装置２０は、推定部２４として機能することにより、動画像情報ＭＩから、食べ物ＦＤの量を検出できたフレーム群をフレームセットＡとして選択する（ステップＳ５）。更に、処理装置２０は、推定部２４として機能することにより、精度良く食べ物の量を検出できたフレーム群をフレームセットＢとして選択する（ステップＳ６）。精度良く食べ物の量を検出できたフレーム群は、言い換えれば、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていないフレーム群である。
　図１０において、処理装置２０は、フレームセットＢのうち先頭のフレームをフレームＸとして選択する（ステップＳ１１）。次に、処理装置２０は、フレームセットＢにおけるフレームＸの次のフレームを、フレームＹとして選択する（ステップＳ１２）。そして、処理装置２０は、第１判定部２５又は第３判定部２８として機能することにより、フレームＸと比較した、フレームＹにおける大皿ＣＰ又は複数の取り皿ＳＰの各々に盛られた食べ物ＦＤの減少量ΔＦＤが所定の閾値以上かを判定する（ステップＳ１３）。言い換えると、ステップＳ１３の処理では、処理装置２０は、下記に示す減少量ΔＦＤ＿ＣＰ及び減少量ΔＦＤ＿ＳＰｉのうちいずれかが所定の閾値以上かを判定する。ｉは、１から取り皿ＳＰの総数までの各整数である。
　ΔＦＤ＿ＣＰ＝フレームＸにおける大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰ－フレームＹにおける大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰ
　ΔＦＤ＿ＳＰｉ＝フレームＸにおける取り皿ＳＰ＿ｉに盛られた食べ物ＦＤ＿ＳＰｉ－フレームＹにおける取り皿ＳＰ＿ｉに盛られた食べ物ＦＤ＿ＳＰｉ
　ステップＳ１３の判定結果が肯定である場合、処理装置２０は、フレームＸからフレームＹまでの時間を示す情報を、減少期間情報として記憶装置３０に記憶させる（ステップＳ１５）。続けて、処理装置２０は、所定の閾値以上である減少量ΔＦＤを、記憶装置３０に記憶する（ステップＳ１６）。処理装置２０は、所定の閾値以上である減少量ΔＦＤに対応する皿の皿識別情報ＰＩＤを記憶装置３０に記憶する（ステップＳ１７）。減少期間情報と、減少量ΔＦＤと、皿識別情報ＰＩＤとは相互に対応付けられて記憶装置３０に記憶される。
　そして、処理装置２０は、フレームセットＢにおけるフレームＹの次以降のフレーム群を新たなフレームセットＢとして更新する（ステップＳ１８）。フレームセットＢにおけるフレームＹの位置が末尾であれば、更新後のフレームセットＢに含まれるフレームの数は０である。
　処理装置２０は、更新後のフレームセットＢが１以上のフレームを有するか否かを判定する（ステップＳ１９）。ステップＳ１９の判定結果が肯定である場合、処理装置２０は、処理をステップＳ１１に戻す。
　ステップＳ１９の判定結果が否定である場合、即ち、フレームセットＢが１つもフレームを有しない場合、図１１Ａにおいて、処理装置２０は、ステップＳ１５の処理で記憶装置３０に記憶された１以上の減少期間情報のうち、最も古い時間を示す減少期間情報を選択する（ステップＳ３１）。
　ステップＳ１３の判定結果が否定である場合、即ち、減少量ΔＦＤ＿ＣＰ及び減少量ΔＦＤ＿ＳＰｉの全てが所定の閾値未満である場合、処理装置２０は、フレームセットＢにおけるフレームＹの次のフレームがあるか否かを判定する（ステップＳ２１）。ステップＳ２１の判定結果が肯定である場合、処理装置２０は、フレームセットＢにおけるフレームＹの次のフレームを、フレームＹとして選択し（ステップＳ２２）、再びステップＳ１３の処理を実行する。一方、ステップＳ２１の判定結果が否定である場合、処理装置２０は、ステップＳ３１の処理を実行する。
　ステップＳ３１の処理終了後、処理装置２０は、フレームセットＡから、選択した減少期間情報が示す時間に含まれるフレーム群を、フレームセットＣとして選択する（ステップＳ３２）。
　処理装置２０は、ステップＳ１７の処理によって記憶した皿識別情報ＰＩＤを参照して、食べ物ＦＤが減少した皿が大皿ＣＰか又は取り皿ＳＰかを判定する。具体的には、処理装置２０は、食べ物ＦＤが減少した皿が大皿ＣＰか否かを判定する（ステップＳ３３）。判定結果が肯定の場合、すなわち、食べ物ＦＤが減少した皿が大皿ＣＰである場合（ステップＳ３３：Yes）、処理装置２０は、第２判定部２６として機能することにより、フレームセットＣにおいて、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの移動先を追跡することを開始する（ステップＳ３４）。続けて、処理装置２０は、第２判定部２６として機能することにより、追跡対象の食べ物ＦＤ＿ＣＨを運ぶ食卓用器具を持つ手の人物Ｕを特定する（ステップＳ３５）。処理装置２０は、第２判定部２６として機能することにより、追跡対象の食べ物ＦＤ＿ＣＨの移動先に基づいて、特定された人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べたか、又は食べ物ＦＤが取り皿ＳＰに移されたかを判定する。具体的には、処理装置２０は、特定された人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べたか否かを判定する（ステップＳ３６）。
　なお、ステップＳ３３においては、処理装置２０は、食べ物ＦＤが減少した皿が大皿ＣＰか否かを判定する代わりに食べ物ＦＤが減少した皿が取り皿ＳＰか否かを判定してもよい。同様に、ステップＳ３６においては、処理装置２０は、特定された人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べたか否かを判定する代わりに食べ物ＦＤが取り皿ＳＰに移されたか否かを判定してもよい。
　特定された人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べた場合、言い換えれば、追跡対象の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰに移されることなく消滅した場合（ステップＳ３６：Yes）、処理装置２０は、摂取情報生成部２９として機能することにより、食べ物ＦＤの減少量ΔＦＤ、大皿ＣＰから直接食べた人物Ｕ、及び、食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する（ステップＳ３７）。一方、ステップＳ３６における判定結果が否定の場合、すなわち、追跡中の食べ物ＦＤ＿ＣＨが取り皿ＳＰに移された場合（ステップＳ３６：No）、処理装置２０は、推定部２４として機能することにより、追跡中の食べ物ＦＤ＿ＣＨが移された取り皿ＳＰに盛られた食べ物ＦＤの量を、食べ物ＦＤの減少量ΔＦＤだけ増加する（ステップＳ３８）。
　ステップＳ３３の判断結果が否定の場合、すなわち、食べ物ＦＤが減少した皿が取り皿ＳＰである場合（ステップＳ３３：No）、処理装置２０は、摂取情報生成部２９として機能することにより、食べ物ＦＤの減少量ΔＦＤ、食べ物ＦＤが減少した取り皿ＳＰに対応する人物Ｕ、及び、食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する（ステップＳ３９）。
　ステップＳ３７の処理終了後、ステップＳ３８の処理終了後、又は、ステップＳ３９の処理終了後、処理装置２０は、全ての減少期間情報を選択したか否かを判定する（ステップＳ４０）。ステップＳ４０の判定結果が否定である場合、すなわちまだ選択していない減少期間情報がある場合、処理装置２０は、現在選択中の減少期間情報が示す時間の次に古い時間を示す減少期間情報を選択し（ステップＳ４１）、ステップＳ３２の処理を実行する。一方、ステップＳ４０の判定結果が肯定である場合、すなわち全ての減少期間情報を選択した場合、処理装置２０は、図９、図１０、図１１Ａ、及び図１１Ｂに示す一連の処理を終了する。
　以上の説明によれば、処理装置２０は、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量が減少した場合に、ある一人の人物Ｕが大皿ＣＰの食べ物ＦＤを食べたか、又は食べ物ＦＤが複数の取り皿ＳＰのうち、ある一つの取り皿ＳＰに移されたかを判定する。ある一人の人物Ｕが大皿ＣＰの食べ物ＦＤを食べた場合、処理装置２０は、大皿ＣＰから直接食べた食べ物ＦＤの量、大皿ＣＰから直接食べた人物Ｕ、及び、食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する。以上のように、処理装置２０は、人物Ｕが大皿ＣＰから直接食べ物ＦＤを食べたことを示す摂取情報ＴＩを生成するため、大皿ＣＰから直接食べた人物Ｕがいる場合であっても、人物Ｕの食事量を正確に特定できる。
　また、処理装置２０は、複数の取り皿ＳＰのうち、ある一つの取り皿ＳＰに盛られた食べ物ＦＤの量が減少した場合、食べ物ＦＤが減少した量、食べ物ＦＤが減少した取り皿ＳＰに対応する人物Ｕ、及び、食べ物ＦＤの種別を対応付ける摂取情報ＴＩを生成する。以上のように、処理装置２０は、人物Ｕが取り皿ＳＰから食べ物を食べたことを示す摂取情報ＴＩを生成するため、取り皿ＳＰに食べ物を取り分ける場合であっても、人物Ｕの食事量を正確に特定できる。
　また、特定部２３における第１の特定方法として、複数の取り皿ＳＰのうち、対応付けの特定対象とする取り皿ＳＰと、複数の人物Ｕの各々との距離を算出し、算出された複数の距離の中から最も短い距離に位置する人物Ｕを、特定対象の取り皿ＳＰに対応する人物Ｕとして特定する。第１の特定方法は、第２の特定方法と比較すると、取り皿ＳＰと移動用器具とが重なる静止画像Ｐを探索しなくてよい。従って、第１の特定方法によれば、第２の特定方法と比較して、取り皿ＳＰに対応する人物Ｕを容易に特定できる。
　また、推定部２４は、動画像情報ＭＩが有する各画像情報ＰＩのうち、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていない静止画像Ｐを示す画像情報ＰＩに基づいて、大皿ＣＰ及び複数の取り皿ＳＰの各々に盛られた食べ物ＦＤの量を推定する。大皿ＣＰ又は複数の取り皿ＳＰのいずれかが物体によって遮られている静止画像Ｐを用いて食べ物ＦＤの量を推定すると、物体に食べ物ＦＤが隠れている場合に、食べ物ＦＤの量が実際よりも少ない量であると誤推定してしまう。そこで、大皿ＣＰ及び複数の取り皿ＳＰが物体によって遮られていない静止画像Ｐを示す画像情報ＰＩを用いることにより、推定部２４は、食べ物ＦＤの量の推定精度を向上できる。
　また、第２判定部２６は、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰの量が減少した場合、動画像情報ＭＩに基づいて、大皿ＣＰに盛られた食べ物ＦＤの移動先を追跡することを開始する。そして、第２判定部２６は、移動中の食べ物ＦＤ＿ＣＨを運ぶ移動用器具を持つ手の人物Ｕを特定し、移動中の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰに移されることなく消滅した場合に、移動用器具を持つ手の人物Ｕが、大皿ＣＰに盛られた食べ物ＦＤ＿ＣＰを食べたと判定する。移動中の食べ物ＦＤ＿ＣＨが複数の取り皿ＳＰに移されることなく消滅していることが確認されているため、大皿ＣＰから食べ物ＦＤを直接食べたことが正確に判定される。
　また、移動用器具を持つ手の人物Ｕの第２の態様の特定方法として、第２判定部２６は、動画像情報ＭＩに基づいて、大皿ＣＰを持つ手と複数の人物Ｕの各々との距離を算出し、算出された複数の距離の中から最も短い距離に位置する人物Ｕを、大皿ＣＰを持つ手の人物Ｕとして特定する。第２の態様の特定方法は、第１の態様の特定方法と比較して、移動用器具を持つ手の腕の輪郭を抽出しなくてよい。従って、第２の態様の特定方法によれば、第１の態様の特定方法と比較して、移動用器具を持つ手の人物Ｕを容易に特定できる。
２．変形例
　以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲内で適宜に併合され得る。なお、以下に例示する変形例において作用や機能が実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
（１）実施形態において、大皿ＣＰは、複数の人物が摂取する飲食物が盛られた第１種別の器の一例であると説明したが、第１種別の器は、皿に限らない。例えば、第１種別の器は、鍋及び飯櫃等でもよい。飯櫃は、炊き上がった飯を釜から移し入れておく為の櫃である。
（２）上述した各態様において、複数の取り皿ＳＰは、飲食物の一部が盛られる第２種別の複数の器の一例であると説明したが、第２種別の器は、皿に限らない。例えば、第２種別の器は、鍋内の飲食物を取り分ける為に用いる呑水でもよいし、飯櫃内の飯を取り分ける為に用いる茶碗でもよい。呑水とは、縁の一部が突出した小鉢である。
（３）上述した各態様において、一般的に、取り皿ＳＰは大皿ＣＰより小さいことを記載したが、これに限らない。例えば、人物Ｕによっては、複数の大皿ＣＰの各々に盛られた食べ物を、同一の取り皿ＳＰに移動させる場合がある。この場合、取り皿ＳＰに複数の種別の食べ物ＦＤを盛るため、大皿ＣＰと取り皿ＳＰとがほぼ同一の大きさである場合もあるし、取り皿ＳＰが大皿ＣＰより大きい場合もある。
　大皿ＣＰと取り皿ＳＰとがほぼ同一の大きさであり、大きさでは区別できない場合、識別情報生成部２２は、上述した大皿ＣＰと取り皿ＳＰとの第２の識別方法以外の方法として、例えば、下記に示す第３の識別方法又は第４の識別方法を用いて大皿ＣＰと取り皿ＳＰとを識別してもよい。第３の識別方法において、識別情報生成部２２は、食事を開始した時点において、食べ物ＦＤが盛られた皿を大皿ＣＰとして識別し、食べ物ＦＤが盛られていない皿を取り皿ＳＰとして識別する。第４の識別方法において、識別情報生成部２２は、人物Ｕが大皿ＣＰと取り皿ＳＰとを指差すことにより、大皿ＣＰと取り皿ＳＰとを識別する。より詳細に第４の識別方法を説明する。前提として、食事量推定システム１は、スピーカを有する。識別情報生成部２２は、スピーカに、「大皿を所定の秒数間指差して下さい」という旨の音声を出力させる。識別情報生成部２２は、前述の音声出力後において撮像装置９０が撮像した動画像を示す動画像情報を解析して、所定の秒数の間、人物Ｕが指差した皿を大皿ＣＰとして識別する。同様に、識別情報生成部２２は、スピーカに、「取り皿を所定の秒数間指差して下さい。所定の秒数経過後、指差ししていない取り皿を所定の秒数間指差して下さい」という旨の音声を出力させる。識別情報生成部２２は、前述の音声出力後において撮像装置９０が撮像した動画像を示す動画像情報を解析して、所定の秒数の間、人物Ｕが指差した皿を取り皿ＳＰとして識別する。
（４）上述した各態様において、食べ物ＦＤは、大皿ＣＰから取り皿ＳＰに取り分けられ、人物Ｕに食べられる。このように、上述した各態様では、食べ物ＦＤは、多くとも２つの皿を経由して人物Ｕに食べられていたが、これに限らない。例えば、食べ物ＦＤは、３つ以上の皿を経由して人物Ｕに食べられてもよい。
（５）上述した各態様において、取り皿ＳＰに盛られた食べ物ＦＤが減少した場合、人物Ｕに食べられる場合のみを記載したが、食べ物ＦＤが取り皿ＳＰから大皿ＣＰに戻される場合もあるし、食べ物ＦＤが他の取り皿ＳＰに移動する場合もある。処理装置２０は、取り皿ＳＰに盛られた食べ物ＦＤが減少した場合に食べ物ＦＤの移動先を追跡することにより、食べ物ＦＤが人物Ｕに食べられたか、食べ物ＦＤが大皿ＣＰに戻されたか、又は、食べ物ＦＤが他の取り皿に移動したかを特定することができる。
（６）上述した各態様において、取り分ける飲食物として、食べ物を用いて説明したが、飲み物でもよい。例えば、底の深い大皿ＣＰ内のスープを、底の深い取り皿ＳＰに取り分ける場合であっても、上述した各態様を適用できる。
（７）上述した各態様において、情報処理装置１０は、部屋ＬＲの天井に取り付けられていたが、これに限らない。例えば、情報処理装置１０は、食卓Ｔｂの天板上面に取り付けられてもよい。又は、情報処理装置１０は、部屋ＬＲの外部に設置されていてもよい。部屋ＬＲの外部に情報処理装置１０が設置される場合、情報処理装置１０は、撮像装置９０に対して、移動体通信網又はインターネット等のネットワークを介してアクセスする。
（８）上述した各態様において、情報処理装置１０は、部屋ＬＲの天井に取り付けられた、可搬型でないコンピュータを想定しているが、これに限らず、スマートフォン又はタブレット端末等の可搬型の端末装置でもよい。
（９）上述した各態様において、情報処理装置１０は、撮像装置９０を有さないが、撮像装置９０を有してもよい。
（１０）上述した各態様の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
（１１）上述した各態様における処理手順、シーケンス、フローチャートなどは、矛盾のない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
（１２）上述した各態様において、入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
（１３）上述した各態様において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
（１４）上述した各態様では、記憶装置３０は、処理装置２０が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ－ＲＯＭ（Compact　Disc－ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、ネットワークから送信されても良い。また、プログラムは、電気通信回線を介して通信網から送信されても良い。
（１５）上述した各態様は、ＬＴＥ（Long　Term　Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ　３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future　Radio　Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra　Mobile　Broadband）、ＩＥＥＥ　８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ　８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ　８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
（１６）上述した各態様において、説明した情報及び信号などは、様々な異なる技術の何れかを使用して表されてもよい。例えば、上述の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
（１７）図３に例示された各機能は、ハードウェア及びソフトウェアの任意の組み合わせによって実現される。また、各機能は、単体の装置によって実現されてもよいし、相互に別体で構成された２個以上の装置によって実現されてもよい。
（１８）上述した各実施形態で例示したプログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はハードウェア記述言語と呼ばれるか、他の名称によって呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順又は機能等を意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
（１９）上述した各実施形態において、情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。
（２０）上述したパラメータに使用する名称はいかなる点においても限定的なものではない。更に、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。
（２１）上述した各実施形態において、情報処理装置１０は、移動局である場合が含まれる。移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。
（２２）上述した各実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
（２３）本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。従って、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
（２４）上述した各実施形態において「含む(ｉｎｃｌｕｄｉｎｇ)」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。更に、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
（２５）本願の全体において、例えば、英語におけるa、an及びtheのように、翻訳によって冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数を含む。
（２６）本発明が本明細書中に説明した実施形態に限定されないことは当業者にとって明白である。本発明は、特許請求の範囲の記載に基づいて定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施できる。従って、本明細書の記載は、例示的な説明を目的とし、本発明に対して何ら制限的な意味を有さない。また、本明細書に例示した態様から選択された複数の態様を組み合わせてもよい。
　１…食事量推定システム、１０…情報処理装置、２０…処理装置、２１…取得部、２２…識別情報生成部、２３…特定部、２４…推定部、２５…第１判定部、２６…第２判定部、２８…第３判定部、２９…摂取情報生成部、３０…記憶装置、９０…撮像装置、ＣＰ…大皿、ＦＤ…食べ物、ＭＩ…動画像情報、Ｐ…静止画像、ＰＩ…画像情報、ＴＯ…トング、Ｕ…人物。

Claims (6)

  1. 　複数の人物が摂取する飲食物が盛られた第１種別の器と前記飲食物の一部が盛られる第２種別の複数の器とが配置された卓、及び、前記複数の人物を、撮像することによって得られた動画像を示す動画像情報を取得する取得部と、
    　前記動画像情報に基づいて、前記複数の人物の各々を識別する第１識別情報、前記第１種別の器及び前記第２種別の複数の器の各々を識別する第２識別情報、並びに、前記飲食物の種別を識別する第３識別情報を生成する識別情報生成部と、
    　前記動画像情報に基づいて、前記第１種別の器及び前記第２種別の複数の器の各々に盛られた前記飲食物の量を推定する推定部と、
    　前記動画像情報に基づいて、判定時点における前記第１種別の器に盛られた飲食物の量が、当該判定時点より所定期間前の前記第１種別の器に盛られた飲食物の量と比較して減少したか否かを判定する第１判定部と、
    　前記第１判定部の判定結果が肯定を示す場合、前記動画像情報に基づいて、前記複数の人物のうち一の人物が前記第１種別の器に盛られた飲食物を摂取したか、又は当該飲食物が前記第２種別の複数の器のうち一の器に移されたかを判定する第２判定部と、
    　前記一の人物が前記第１種別の器に盛られた飲食物を摂取したことを前記第２判定部の判定結果が示す場合、前記一の人物が摂取した飲食物の量、前記一の人物、及び、当該飲食物の種別を対応付ける摂取情報を生成する摂取情報生成部とを備え、
    　前記推定部は、前記第２判定部の判定結果が前記一の器に前記飲食物が移されたことを示す場合、前記第２種別の前記一の器に盛られた飲食物の量を、前記第１種別の器に盛られた飲食物が減少した量だけ増加させる、
    　情報処理装置。
  2. 　前記動画像情報に基づいて、前記第２種別の複数の器の各々が、前記複数の人物のうちいずれの人物に対応するかを特定する特定部と、
    　判定時点における前記第２種別の複数の器のうち一の器に盛られた飲食物の量が、当該判定時点より前記所定期間前の前記一の器に盛られた飲食物の量と比較して減少したか否かを判定する第３判定部とを備え、
    　前記摂取情報生成部は、前記第３判定部の判定結果が肯定を示す場合、前記第２種別の前記一の器に対応する人物、前記第３判定部による判定時点より前記所定期間前の時点の前記一の器に盛られた飲食物から減少した飲食物の量、及び、当該飲食物の種別を対応付ける摂取情報を生成する、
    　請求項１に記載の情報処理装置。
  3. 　前記特定部は、
    　前記第２種別の複数の器のうち一の器と、前記複数の人物の各々との距離を算出し、
    　当該複数の人物について算出された複数の距離の中から最も短い距離に位置する人物を、前記一の器に対応する人物として特定する、
    　請求項２に記載の情報処理装置。
  4. 　前記動画像情報は、複数のフレームの各々について静止画像を示す画像情報を有し、
    　前記推定部は、前記複数のフレームにそれぞれ対応する複数の画像情報のうち、前記第１種別の器及び前記第２種別の複数の器のいずれもが物体によって遮られていない静止画像を示す画像情報に基づいて、前記第１種別の器及び前記第２種別の複数の器の各々に盛られた前記飲食物の量を推定する、
    　請求項１から３のいずれか１項に記載の情報処理装置。
  5. 　前記第２判定部は、
    　前記第１判定部の判定結果が肯定を示す場合、前記動画像情報に基づいて、前記第１種別の器に盛られた飲食物の移動先を追跡することを開始し、
    　前記動画像情報に基づいて、当該飲食物を移動させる器具を持つ手の人物を特定し、
    　前記動画像情報に基づいて、当該飲食物が前記第２種別の複数の器に移されることなく消滅した場合に、前記器具を持つ手の人物が前記第１種別の器に盛られた飲食物を摂取した前記一の人物であると判定する、
    　請求項１から４のいずれか１項に記載の情報処理装置。
  6. 　前記第２判定部は、
    　前記動画像情報に基づいて、前記器具を持つ手と前記複数の人物の各々との距離を算出し、前記複数の人物について算出された複数の距離の中から最も短い距離に位置する人物を、前記器具を持つ手の人物として特定する、
    　請求項５に記載の情報処理装置。
PCT/JP2020/042073 2019-11-15 2020-11-11 情報処理装置 WO2021095767A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/769,927 US20220386797A1 (en) 2019-11-15 2020-11-11 Information processing apparatus
JP2021556122A JP7284829B2 (ja) 2019-11-15 2020-11-11 情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-206663 2019-11-15
JP2019206663 2019-11-15

Publications (1)

Publication Number Publication Date
WO2021095767A1 true WO2021095767A1 (ja) 2021-05-20

Family

ID=75912698

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042073 WO2021095767A1 (ja) 2019-11-15 2020-11-11 情報処理装置

Country Status (3)

Country Link
US (1) US20220386797A1 (ja)
JP (1) JP7284829B2 (ja)
WO (1) WO2021095767A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102670002B1 (ko) * 2023-02-15 2024-05-28 한윤희 식단 모니터링 기능을 구비한 급식 관리 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011028382A (ja) * 2009-07-22 2011-02-10 Kddi Corp 利用者毎に食事の栄養成分を管理する栄養管理サーバ及び栄養管理方法
JP2015146168A (ja) * 2014-02-04 2015-08-13 株式会社吉田製作所 食生活管理プログラム、食生活管理方法、および食生活管理装置
JP2018049393A (ja) * 2016-09-20 2018-03-29 ヤフー株式会社 健康管理装置、健康管理システム、及び健康管理方法
JP2018106580A (ja) * 2016-12-28 2018-07-05 キヤノンマーケティングジャパン株式会社 情報処理装置、システム、及びそれらの制御方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011028382A (ja) * 2009-07-22 2011-02-10 Kddi Corp 利用者毎に食事の栄養成分を管理する栄養管理サーバ及び栄養管理方法
JP2015146168A (ja) * 2014-02-04 2015-08-13 株式会社吉田製作所 食生活管理プログラム、食生活管理方法、および食生活管理装置
JP2018049393A (ja) * 2016-09-20 2018-03-29 ヤフー株式会社 健康管理装置、健康管理システム、及び健康管理方法
JP2018106580A (ja) * 2016-12-28 2018-07-05 キヤノンマーケティングジャパン株式会社 情報処理装置、システム、及びそれらの制御方法、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102670002B1 (ko) * 2023-02-15 2024-05-28 한윤희 식단 모니터링 기능을 구비한 급식 관리 시스템

Also Published As

Publication number Publication date
JPWO2021095767A1 (ja) 2021-05-20
JP7284829B2 (ja) 2023-05-31
US20220386797A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
KR102003149B1 (ko) 정보 생성 방법 및 디바이스
US9159088B2 (en) Generating a location-aware preference and restriction-based customized menu
JP6299744B2 (ja) 情報処理装置および記憶媒体
US20140095479A1 (en) Device, method, and system for recipe recommendation and recipe ingredient management
US10013755B2 (en) Information processing apparatus and information processing method
WO2018233489A1 (zh) 用餐推荐方法及装置
CN105844445B (zh) 信息提供方法、服务器以及信息提供系统
Bruno et al. A survey on automated food monitoring and dietary management systems
US11763437B2 (en) Analyzing apparatus and method, and image capturing system
CN109493254A (zh) 一种菜品制作排序与催菜方法、装置以及菜品处理系统
US20170169189A1 (en) Method and apparatus for receiving nutritional information via a network
CN109431288A (zh) 一种电饭煲控制方法、装置、存储介质及电饭煲
US20190080629A1 (en) Monitoring food intake
JP2021513708A (ja) 食品を分類する方法及びシステム
WO2021095767A1 (ja) 情報処理装置
CN106096993A (zh) 餐馆推荐方法及装置、电子设备
CN107851183A (zh) 用于提供食谱的系统和方法
JP2010061381A (ja) 自動レシピ作成装置およびプログラム
CN112053428A (zh) 一种识别食物所含营养信息的方法及装置
CN109300526A (zh) 一种推荐方法及移动终端
CN107657992A (zh) 基于饮食的医疗服务系统
US11928150B1 (en) Image-based item identification
CN111863194A (zh) 一种饮食信息的展示方法、装置、设备及存储介质
CN109074861A (zh) 食物监测系统
US20220171837A1 (en) Information processing apparatus, information processing method, and food preservation apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20887659

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021556122

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20887659

Country of ref document: EP

Kind code of ref document: A1