WO2023095526A1 - プログラム、端末装置、およびレシピ表示システム - Google Patents

プログラム、端末装置、およびレシピ表示システム Download PDF

Info

Publication number
WO2023095526A1
WO2023095526A1 PCT/JP2022/039905 JP2022039905W WO2023095526A1 WO 2023095526 A1 WO2023095526 A1 WO 2023095526A1 JP 2022039905 W JP2022039905 W JP 2022039905W WO 2023095526 A1 WO2023095526 A1 WO 2023095526A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
refrigerator
unit
information
camera
Prior art date
Application number
PCT/JP2022/039905
Other languages
English (en)
French (fr)
Inventor
ザリナ ラフィー
愼一 堀井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023095526A1 publication Critical patent/WO2023095526A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present disclosure relates to programs, terminal devices, and recipe display systems.
  • Patent Document 1 discloses a technique for providing a camera on the top of a refrigerator, capturing an image when an object passing through the opening of the refrigerator is detected, and managing food stored in the refrigerator based on the image capturing result.
  • the present disclosure provides a program, a terminal device, and a recipe display system that can suggest recipes for foods stored in a refrigerator.
  • a program according to the present disclosure causes a processor of a terminal device to obtain a type of food stored in the refrigerator from a photographed image of the refrigerator photographed from above the front of the refrigerator, and obtain a recipe corresponding to the food stored in the refrigerator. It functions as a terminal control unit that displays information on the display unit.
  • the terminal device acquires the type of food stored in the refrigerator from the photographed image of the refrigerator photographed from above the front of the refrigerator, and displays recipe information corresponding to the food stored in the refrigerator on the display unit. It has a terminal control unit that displays on.
  • a recipe display system includes a food recognition unit that acquires the type of food stored in the refrigerator from a photographed image of the refrigerator taken from above the front of the refrigerator; and a terminal device for displaying corresponding recipe information on a display unit.
  • the program, the terminal device, and the recipe display system according to the present disclosure can display the recipe information of the food acquired from the photographed image of the refrigerator on the touch panel, and can propose the recipe information of the food stored in the refrigerator. Usability can be improved.
  • FIG. 1 is a diagram showing the configuration of an article management system
  • FIG. 2 is a front view of the detection device as seen from the front side
  • FIG. 3 is a plan view of the detection device viewed from the right side
  • FIG. 4 is a block diagram showing the configuration of the detection device
  • FIG. 5 is a block diagram showing the configuration of a terminal device and an article management server
  • FIG. 6 is a diagram showing an example of a record stored in an article management DB
  • FIG. 7 is a diagram showing a display example of the terminal device by the application execution unit
  • FIG. 8 is a diagram showing an example of food list display
  • FIG. 9 is a flow chart showing the operation of the detection device
  • FIG. 10 is a flowchart showing the operation of the food detection device and food management server
  • FIG. 11 is a flowchart showing the operation of the terminal device and the food management server
  • the present disclosure provides a program, a terminal device, and a recipe display system capable of suggesting recipes for foods stored in a refrigerator.
  • FIG. 1 is a diagram showing the configuration of a food management system 1000. As shown in FIG. 1
  • the food management system 1000 is a system that manages the remaining amount of food stored in the refrigerator 1, the storage start date when storage is started, the expiration date or expiration date of the expiration date, etc.
  • a food management system 1000 includes a refrigerator 1 .
  • a refrigerator 1 has a main box body 10 with an open front surface.
  • a refrigerator compartment 11 an ice making compartment 12 , a fresh freezing compartment 13 , a freezing compartment 14 and a vegetable compartment 15 are formed in the main box body 10 .
  • a left door 11A and a rotary right door 11B are provided at the front opening of the refrigerator compartment 11 .
  • the ice making compartment 12, the fresh freezing compartment 13, the freezing compartment 14, and the vegetable compartment 15 are provided with drawers 12A, 13A, 14A, and 15A for storing foods, respectively.
  • doors when the left door 11A and the right door 11B are not distinguished from each other, they will be collectively referred to as "doors” with the symbol "11C”.
  • the drawers 12A, 13A, 14A, and 15A are not distinguished, they are collectively referred to as "drawers” with the reference numeral "16A”.
  • the food management system 1000 includes a food detection device 2.
  • the food detection device 2 is a device for detecting food entering and leaving the refrigerator 1 , and is provided on the upper surface of the refrigerator 1 as an upper portion of the refrigerator 1 .
  • FIG. 2 is a front view of the refrigerator 1 and the food detection device 2.
  • FIG. 3 is a diagram of the refrigerator 1 and the food detection device 2 as viewed from the right side.
  • Refrigerator 1 shown in FIG. 3 has drawer 15A in an open state, that is, in a drawn-out state.
  • the X-axis, Y-axis, and Z-axis are illustrated.
  • the X-axis, Y-axis, and Z-axis are orthogonal to each other.
  • the Z-axis indicates the vertical direction.
  • the X-axis and Y-axis are parallel to the horizontal direction.
  • the X-axis indicates the horizontal direction.
  • the Y-axis indicates the front-rear direction.
  • the positive direction of the X-axis indicates the right direction.
  • the positive direction of the Y-axis indicates the forward direction.
  • the positive direction of the Z-axis indicates the upward direction.
  • the food detection device 2 has a refrigerator camera 21 and a drawer camera 22.
  • the food detection device 2 is provided on the upper surface of the refrigerator 1 so that the refrigerator compartment camera 21 and the drawer camera 22 photograph the front surface of the refrigerator 1 from above the front of the refrigerator 1 .
  • the refrigerator compartment camera 21 is a camera for detecting food entering and leaving the refrigerator compartment 11 .
  • the photographing range of the refrigerator compartment camera 21 is set to a range in which food entering and leaving the refrigerator compartment 11 can be photographed from the upper front of the refrigerator 1 .
  • the photographing range of the refrigerator camera 21 includes the range A1 shown in FIG. 2 when viewed from the front.
  • the range A1 includes door pockets 11A1, 11A2, 11A3, and 11A4 provided on the left door 11A, door pockets 11B1, 11B2, 11B3, and 11B4 provided on the right door 11B, and a refrigerator when the left door 11A and the right door 11B are open.
  • This range includes the opening of the chamber 11 .
  • the shooting range of the refrigerator camera 21 includes the range A3 shown in FIG. 3 in a side view.
  • the range A3 is a range that includes the open door 11C to the front ends of the shelves 111, 112, 113, and 114 in the front-rear direction, and a range that includes the opening of the refrigerator compartment 11 in the vertical direction.
  • the shelves 111, 112, 113, and 114 are members provided in the refrigerating chamber 11 and partitioning the refrigerating chamber 11 into a plurality of areas.
  • the drawer camera 22 is a camera for detecting food entering and leaving the ice making compartment 12, the fresh freezing compartment 13, the freezing compartment 14, and the vegetable compartment 15.
  • the photographing range of the drawer camera 22 is set to a range in which foods entering and leaving the ice making compartment 12, the fresh freezing compartment 13, the freezing compartment 14, and the vegetable compartment 15 can be photographed from the upper front of the refrigerator 1.
  • the shooting range of the drawer camera 22 includes the range A2 shown in FIG. 2 when viewed from the front.
  • Range A2 is a range including drawers 12A, 13A, 14A, and 15A in front view of refrigerator 1 .
  • the photographing range of the drawer camera 22 includes the range A4 shown in FIG. 3 in a side view.
  • Range A4 is a range that includes the upper surfaces of drawers 12A, 13A, 14A, and 15A in the drawn-out state in the front-rear direction.
  • the food detection device 2 has a left door ranging sensor 23, a right door ranging sensor 24, and a drawer ranging sensor 25.
  • the left door ranging sensor 23, the right door ranging sensor 24, and the drawer ranging sensor 25 correspond to an example of an open/close sensor.
  • open/close range sensor when the left door range sensor 23, the right door range sensor 24, and the drawer range sensor 25 are not distinguished, they are referred to as “open/close range sensor” and denoted by "28".
  • the opening/closing distance measuring sensor 28 outputs the detected value to the sensor module control section 211 which will be described later.
  • the left door ranging sensor 23 is a ranging sensor for detecting the open/closed state of the left door 11A.
  • the left door ranging sensor 23 detects the distance to the left door 11A as the open/closed state of the left door 11A.
  • the right door ranging sensor 24 is a ranging sensor for detecting the open/closed state of the right door 11B.
  • the right door ranging sensor 24 detects the distance from the right door 11B as the open/closed state of the right door 11B.
  • the drawer ranging sensor 25 is a ranging sensor for detecting the open/closed state of each of the drawers 12A, 13A, 14A, and 15A. It should be noted that drawers 12A, 13A, 14A, and 15A being in an open state means that they are pulled out from the corresponding storage chambers. Further, when the drawers 12A, 13A, 14A, and 15A are in a closed state, it means that they are housed in the corresponding housing chambers. The drawer ranging sensor 25 detects the distance between each of the drawers 12A, 13A, 14A and 15 as the open/closed state of each of the drawers 12A, 13A, 14A and 15A.
  • the food detection device 2 has an illuminance sensor 26 and a motion sensor 27.
  • the illuminance sensor 26 and the motion sensor 27 output detection values to the sensor module control section 211 .
  • the illuminance sensor 26 detects the illuminance of the place where the food detection device 2 is placed, that is, the place where the refrigerator 1 is placed.
  • the human sensor 27 detects a person existing around the refrigerator 1 .
  • human sensor 27 is provided in front of food detection device 2 and detects a person present in front of refrigerator 1 around refrigerator 1 .
  • FIG. 2 the drawer distance measuring sensor 25, the drawer camera 22, and the refrigerator compartment camera 21 are shown arranged side by side in this order in the horizontal direction.
  • FIG. 3 the drawer distance measuring sensor 25, the drawer camera 22, and the refrigerator compartment camera 21 are shown arranged in this order in the front-rear direction.
  • this is an illustration for the food detection device 2 and may not be provided as in FIG.
  • the food management system 1000 includes a terminal device 3 having a touch panel 32 .
  • the terminal device 3 is configured by, for example, a smart phone or a tablet terminal.
  • the terminal device 3 is installed with an application program for managing food stored in the refrigerator 1, and communicates with the food management server 4 by the function of the application.
  • an application program for managing food stored in the refrigerator 1 is referred to as a "food management application” and denoted by "323".
  • the user P who is at home is indicated by a solid line
  • the user P who is out of the home H is indicated by a dotted line.
  • the food management server 4 connects to the global network GN via the communication device 5 or not via the communication device 5 by the function of the food management application 323. communicate with
  • the terminal device 3 communicates with the food management server 4 without going through the communication device 5 by the function of the food management application 323 .
  • the communication device 5 connects to the global network GN including the Internet, telephone network, and other communication networks, and communicates with the food management server 4 connected to the global network GN.
  • the communication device 5 is an interface device for connecting the terminal device 3 to the global network GN.
  • the communication device 5 has functions such as a modem function, a router function, and a NAT (Network Address Translation) function.
  • the communication device 5 transfers data transmitted and received between the terminal device 3 and the food management server 4 connected to the global network GN.
  • the food management system 1000 includes a food management server 4.
  • the food management server 4 is a server device that manages food stored in the refrigerator 1, and is connected to the global network GN.
  • the food management server 4 is represented by one block, but this does not necessarily mean that the food management server 4 is composed of a single server device.
  • the food management server 4 may be configured including a plurality of server devices with different processing contents.
  • FIG. 4 is a block diagram showing the configuration of the food detection device 2. As shown in FIG.
  • the food detection device 2 comprises a sensor module 210 , a camera module 220 and a power supply 230 .
  • the sensor module 210 includes a sensor module control unit 211, a sensor unit 212, and a sensor-side inter-module communication unit 213.
  • the sensor module control unit 211 includes a sensor processor 2111, which is a processor that executes programs such as a CPU and MPU, and a sensor storage unit 2112, and controls each unit of the sensor module 210.
  • the sensor module control unit 211 executes various processes through cooperation of hardware and software such that the sensor processor 2111 reads out the control program 2113 stored in the sensor storage unit 2112 and executes processing.
  • the sensor storage unit 2112 has a storage area for storing programs executed by the sensor processor 2111 and data processed by the sensor processor 2111.
  • the sensor storage unit 2112 stores a control program 2113 executed by the sensor processor 2111, setting data 2114 related to setting of the sensor module 210, and various other data.
  • the sensor storage unit 2112 has a nonvolatile storage area.
  • the sensor storage unit 2112 may include a volatile storage area and configure a work area for the sensor processor 2111 .
  • the sensor unit 212 includes a left door range sensor 23, a right door range sensor 24, a drawer range sensor 25, an illuminance sensor 26, and a motion sensor 27. 211. Note that the sensor unit 212 may include sensors other than the five types of sensors described above.
  • the sensor-side inter-module communication unit 213 includes communication hardware such as communication circuits and connectors conforming to a predetermined communication standard, and communicates with the camera module 220 under the control of the sensor module control unit 211 .
  • the camera module 220 includes a camera module control section 221, an imaging section 222, a camera module communication section 223, and a camera side inter-module communication section 224.
  • a camera module control unit 221, a camera processor 2211 that executes programs such as a CPU and MPU, and a camera storage unit 2212 are provided, and each unit of the camera module 220 is controlled.
  • the camera module control unit 221 executes various processes through cooperation of hardware and software such that the camera processor 2211 reads out the control program 2213 stored in the camera storage unit 2212 and executes processing.
  • the camera module control unit 221 reads out and executes the control program 2213 to function as a detection value processing unit 221A, an imaging control unit 221B, a moving image processing unit 221C, and a food detection unit 221D.
  • the camera storage unit 2212 has a storage area for storing programs executed by the camera processor 2211 and data processed by the camera processor 2211 .
  • the camera storage unit 2212 stores a control program 2213 executed by the camera processor 2211, setting data 2214 relating to setting of the camera module 220, a food detection device ID 2215, and various other data.
  • the food detection device ID 2215 will be described later.
  • the camera storage unit 2212 has a nonvolatile storage area. Also, the camera storage unit 2212 may include a volatile storage area and configure a work area for the camera processor 2211 .
  • the photographing unit 222 includes a refrigerator camera 21 and a drawer camera 22.
  • the imaging unit 222 outputs the imaging results of each of the refrigerator camera 21 and the drawer camera 22 to the camera module control unit 221 .
  • the refrigerator camera 21 and the drawer camera 22 capture moving images. Therefore, the photographing unit 222 outputs moving image data to the camera module control unit 221 as the photographing result.
  • the camera module communication unit 223 includes communication hardware such as a communication circuit and connectors conforming to a predetermined communication standard, and communicates with the food management server 4 under the control of the camera module control unit 221.
  • the communication standard used by the camera module communication unit 223 is exemplified by the wireless communication standard, but may be the wired communication standard.
  • the camera-side inter-module communication unit 224 includes communication hardware such as communication circuits and connectors conforming to a predetermined communication standard, and communicates with the sensor module 210 under the control of the camera module control unit 221 .
  • the camera module control section 221 functions as a detection value processing section 221A, a shooting control section 221B, a moving image processing section 221C, and a food detection section 221D.
  • the detection value processing unit 221A determines whether each of the left door 11A, the right door 11B, and the drawers 12A, 13A, 14A, and 15A is open or closed based on the detection values of various sensors output from the sensor module 210. do. For example, the detection value processing unit 221A determines whether the state is open or closed based on whether the detection value is below a predetermined threshold. Note that this predetermined threshold value may differ for each of the left door 11A, right door 11B, and drawers 12A, 13A, 14A, and 15A. When the detected value processing unit 221A determines that one of them is open, it outputs open/closed state information indicating the open state to the shooting control unit 221B and the moving image processing unit 221C.
  • the detection value processing unit 221A determines that the left door 11A, the right door 11B, the drawers 12A, 13A, 14A, and 15A are all closed, the detection value processing unit 221A captures the open/closed state information indicating the closed state. It outputs to the control section 221B and the moving image processing section 221C.
  • the detection value processing unit 221A determines whether or not there is a person around the refrigerator 1 based on the detection values of the illuminance sensor 26 and the human sensor 27 output from the sensor module 210 . For example, the detection value processing unit 221A determines whether or not there is a person around the refrigerator 1 based on whether or not the detection value is below a predetermined threshold. When the detection value processing unit 221A determines that a person exists around the refrigerator 1, the detection value processing unit 221A outputs person presence/absence information indicating that a person exists to the imaging control unit 221B. When the detection value processing unit 221A determines that no person exists around the refrigerator 1, the detection value processing unit 221A outputs person presence/absence information indicating that no person exists to the imaging control unit 221B.
  • the photographing control unit 221B controls the photographing unit 222 to cause the refrigerator camera 21 and the drawer camera 22 to photograph moving images.
  • the moving image processing unit 221C performs various processes on the photographed results of the refrigerator camera 21 and the drawer camera 22, and stores the processed photographed results in the camera storage unit 2212.
  • the food detection unit 221D detects food entering and leaving the refrigerator 1 based on the imaging results of the refrigerator camera 21 and the drawer camera 22.
  • the power supply unit 230 includes hardware such as a circuit for supplying power, and supplies power to each of the sensor module 210 and the camera module 220 .
  • the power supply unit 230 may be configured to supply power in parallel to each of the sensor module 210 and the camera module 220 as in the present embodiment, or may supply power to the other module via one of the modules. It may be configured to supply.
  • the power supply unit 230 of the present embodiment supplies power to each of the sensor module 210 and camera module 220 based on power supplied from the external commercial AC power supply 7 .
  • Commercial AC power supply 7 corresponds to an example of a commercial power supply.
  • the power cable of the food detection device 2 is connected to the commercial AC power supply 7, the power supply unit 230 receives power from the commercial AC power supply 7 via the power cable, and the sensor module 210 operates based on the supplied power. and camera module 220 .
  • the power supply unit 230 includes, as hardware, for example, a circuit that converts alternating current to direct current, a circuit that lowers the voltage, and the like.
  • the supply source for supplying power to the power supply unit 230 is not limited to the external commercial AC power supply 7, and may be the refrigerator 1 or a battery. If the supply source is the former, the power supply unit 230 and the refrigerator 1 are provided with hardware conforming to the USB power supply standard. In the former case, the USB cable of the food detection device 2 is connected to the USB port of the refrigerator 1, and the refrigerator 1 supplies power to the power supply unit 230 via the USB cable. If the source is the latter, the food detection device 2 is equipped with a battery.
  • FIG. 5 is a block diagram showing the configuration of the terminal device 3 and the food management server 4.
  • the food management server 4 includes a server control section 40 and a server communication section 41.
  • the server control unit 40 includes a server processor 410 that executes programs such as a CPU and MPU, and a server storage unit 420, and controls each unit of the food management server 4.
  • the server control unit 40 executes various processes through cooperation of hardware and software such that the server processor 410 reads out the control program 421 stored in the server storage unit 420 and executes processing.
  • Server control unit 40 functions as food recognition unit 4100 by reading and executing control program 421 .
  • the server storage unit 420 has storage areas for storing programs executed by the server processor 410 and data processed by the server processor 410 .
  • the server storage unit 420 stores a control program 421 executed by the server processor 410, setting data 422 relating to settings of the food management server 4, a food management database 423, and various other data.
  • the server storage unit 420 has a non-volatile storage area.
  • the server storage unit 420 may also include a volatile storage area and configure a work area for the server processor 410 .
  • the server storage unit 420 has a recipe information database 424 .
  • the recipe information database 424 stores a plurality of recipe information corresponding to the type of food.
  • the recipe information database 424 may be provided in another communicable server, or may be provided in the terminal device 3 or the refrigerator 1 .
  • FIG. 6 is a diagram showing an example of the food management database 423. As shown in FIG.
  • the food management database 423 is a database that stores various information related to the food stored in the refrigerator 1 .
  • One record R stored in the food management database 423 includes user ID 4231, food detection device ID 2215, food name information 4232, remaining amount information 4233, storage location information 4234, storage start date information 4235, expiration date information 4236, expiration date It has notification timing information 4237 , new notification timing information 4238 and food image data 4239 .
  • one record R stored in the food management database 423 may further have one or more different types of information.
  • the user ID 4231 is identification information that identifies the user P who uses the food management application 323, and is appropriately assigned to the user P who uses the food management application 323.
  • the food detection device ID 2215 is identification information for identifying the food detection device 2.
  • the food detection device ID 2215 is, for example, the production number of the food detection device 2, the serial number of the food detection device 2, the production number of the camera module 220, the serial number of the camera module 220, and the like.
  • the food name information 4232 is information indicating the name of the food.
  • one or more items of food name information 4232 are associated with a user ID 4231 .
  • the remaining amount information 4233 is information indicating the remaining amount of food. In one record R, the same number of remaining amount information 4233 as the food name information 4232 associated with the user ID 4231 is associated. The remaining amount of food indicated by the remaining amount information 4233 in FIG. 6 is indicated in units corresponding to the name of the food. The remaining amount indicated by the remaining amount information 4233 is appropriately updated by the server control unit 40 .
  • the storage location information 4234 is information indicating the storage location of the food.
  • storage location information 4234 indicates one of storage chambers of refrigerator 1 as a storage location.
  • the same number of storage location information 4234 as food name information 4232 associated with a user ID 4231 are associated.
  • the preservation start date information 4235 is information indicating the preservation start date of the food.
  • the storage start date information 4235 of the same number as the food name information 4232 associated with the user ID 4231 are associated.
  • the expiry date information 4236 is information indicating the expiry date or expiry date of the food. In one record R, the same number of expiration date information 4236 as food name information 4232 associated with a user ID 4231 is associated.
  • the deadline date notification timing information 4237 is information indicating the timing of notifying the user P of the deadline indicated by the corresponding deadline date information 4236. As shown in FIG. 6, the timing indicated by the due date notification timing information 4237 is the timing of how many days before the due date indicated by the due date information 4236 . In one record R, the same number of expiration date notification timing information 4237 as food name information 4232 associated with a user ID 4231 are associated.
  • the new notification timing information 4238 is information indicating the timing for notifying that food has been newly stored in the refrigerator 1 . As shown in FIG. 6, the timing indicated by the new notification timing information 4238 is the number of days from the save start date indicated by the save start date information 4235 .
  • the food image data 4239 is image data of a food image FG, which is an image of food.
  • FG an image of food.
  • the same number of food image data 4239 as the food name information 4232 corresponding to the user ID 4231 are associated.
  • the server communication unit 41 includes communication hardware such as communication circuits and connectors conforming to a predetermined communication standard, and is controlled by the server control unit 40 to connect devices connected to the global network GN and predetermined communication hardware. Communicate according to communication standards. In this embodiment, the server communication unit 41 communicates with the food detection device 2 and the terminal device 3 .
  • server control section 40 functions as food recognition section 4100 .
  • the food recognition unit 4100 recognizes the food detected by the food detection device 2 .
  • the food image data 4239 includes not only the food image data 4239 of individual foods, but also the food image data F inside the refrigerator compartment 11 , the vegetable compartment 15 and the freezer compartment 14 of the refrigerator 1 . That is, the food image data F inside the refrigerator compartment 11 is the food image data F of the entire inside of the refrigerator compartment 11 photographed by the refrigerator compartment camera 21 . The food image data F inside the vegetable compartment 15 and the freezer compartment 14 is the inside image data of the entire freezer compartment 14 and the vegetable compartment 15 photographed by the drawer camera 22 .
  • the terminal device 3 includes a terminal control section 30 , a terminal communication section 31 and a touch panel 32 .
  • the terminal control unit 30 includes a terminal processor 310, which is a processor that executes programs such as a CPU and MPU, and a terminal storage unit 320, and controls each unit of the terminal device 3.
  • the terminal control unit 30 executes various processes through the cooperation of hardware and software such that the terminal processor 310 reads out the control program 321 stored in the terminal storage unit 320 and executes processing.
  • a food management application 323 is installed in the terminal device 3 in advance. Food management application 323 is a program that is read from terminal storage unit 320 and executed by terminal processor 310 to cause terminal control unit 30 to function as application execution unit 3100 .
  • the terminal storage unit 320 has a storage area for storing programs executed by the terminal processor 310 and data processed by the terminal processor 310 .
  • the terminal storage unit 320 stores a control program 321 executed by the terminal processor 310, setting data 322 relating to settings of the terminal device 3, a food management application 323, a user ID 4231, and various other data.
  • the terminal storage unit 320 has a nonvolatile storage area.
  • the terminal storage unit 320 may include a volatile storage area and configure a work area for the terminal processor 310 .
  • the terminal communication unit 31 includes communication hardware such as a communication circuit conforming to a predetermined communication standard, and communicates with devices connected to the global network GN according to the predetermined communication standard under the control of the terminal control unit 30.
  • terminal communication unit 31 communicates with food management server 4 according to a predetermined communication standard under the control of application execution unit 3100 .
  • the communication standard used by the terminal communication unit 31 is exemplified by the wireless communication standard, but may be the wired communication standard.
  • the touch panel 32 includes a display panel such as a liquid crystal display panel, and a touch sensor provided over the display panel or integrally therewith.
  • the display panel displays various images under the control of the terminal control section 30 .
  • the touch sensor detects touch operations and outputs them to the terminal control unit 30 .
  • the terminal control unit 30 executes processing corresponding to the touch operation based on the input from the touch sensor.
  • the touch panel 32 corresponds to the display section of the invention.
  • the terminal control section 30 functions as the application executing section 3100 .
  • the application execution unit 3100 controls the terminal communication unit 31 to transmit and receive various information to and from the food management server 4 .
  • the application executing unit 3100 transmits and receives various information to and from the food management server 4 via the communication device 5 when the terminal device 3 and the communication device 5 can be connected for communication. It transmits and receives various information to and from the food management server 4 . Therefore, even if the user P is not located in or around the home H, the terminal device 3 can transmit and receive various information to and from the food management server 4 by the function of the food management application 323 .
  • the application execution unit 3100 causes the touch panel 32 to display a user interface related to management of food stored in the refrigerator 1 .
  • this user interface will be referred to as "food management UI” and denoted by "3200".
  • the application execution unit 3100 displays the food management UI 3200 on the touch panel 32, thereby providing the user P with various information related to the food stored in the refrigerator 1, and various inputs related to the food stored in the refrigerator 1. is received from user P.
  • FIG. 7 is a diagram showing a display example of the terminal device 3 by the application execution unit 3100. As shown in FIG. In FIG. 7, a plurality of operation tabs 300 are provided below the display screen of the touch panel 32 . The operation tabs 300 are provided with five operation tabs 300 of "refrigerator compartment", “vegetable compartment”, “freezer compartment”, “recipe search", and "message memo".
  • the application executing part controls the terminal communication part 31 to display the food image data of the entire refrigerating room 11 stored in the food management database 423 of the food management server 4. It is received and displayed on the touch panel 32 .
  • the terminal communication unit 31 is controlled to receive the food image data of the entire vegetable room 15 stored in the food management database 423 of the food management server 4, and display it on the touch panel 32. display.
  • FIG. 8 shows an example of displaying food image data F for the entire vegetable compartment 15 .
  • the terminal communication unit 31 is controlled by the application execution unit, the recipe information database 424 of the food management server 4 is searched, and the food image data of the entire vegetable compartment 15 is retrieved.
  • the recipe information R corresponding to the food displayed in F is received.
  • the terminal control unit 30 displays the received recipe information R on the touch panel 32 .
  • the recipe information R can also be displayed for each food item displayed in the food image data F in the vegetable compartment 15 .
  • the user can arbitrarily select the food in the vegetable compartment 15 and display the recipe information R of the selected food.
  • the desired food based on the food image data F of the entire vegetable compartment 15 displayed on the touch panel 32, the user selects the desired food.
  • FIG. 7 shows an example in which an image of cabbage is selected.
  • the terminal control unit 30 surrounds the selected food with a rectangular frame 301 to specify the image.
  • the terminal control unit 30 determines which food is the selected food.
  • the terminal control unit 30 determines the recognition result of the selected food. For example, as a result of recognizing food, when it is determined that the probability is 80% cabbage, 15% lettuce, and 5% Chinese cabbage, the terminal control unit 30 gives priority to the recipe information R of the food with the highest recognition result probability. to display.
  • the recipe information R using cabbage, the recipe information R using lettuce, and the recipe information R using Chinese cabbage are displayed in this order.
  • the recognized food names may be displayed on the touch panel 32 in descending order of probability based on the recognition result, and the user may specify the food name.
  • the terminal control unit 30 searches the recipe information database 424 for recipe information R corresponding to the specified food name, and displays the recipe information R on the touch panel 32 .
  • the recipe information R may be displayed in order from the food stored in the refrigerator 1 on the earliest date.
  • FIG. 8 is a diagram showing an example of food list display. As shown in FIG. 8, the food list L is displayed in order from the food stored in the refrigerator 1 on the earliest date. By selecting an arbitrary food item from the food list L screen, the user causes the terminal control unit 30 to extract the recipe information R of the corresponding food item from the recipe information database 424 and display it on the touch panel 32 .
  • the order of priority of foods to be displayed in the food list L may be set to an arbitrary order of priority instead of the date of receipt.
  • an inventory list of foods stored in the refrigerator compartment 11, the vegetable compartment 15, and the freezer compartment 14 may be displayed, and the food whose recipe information R is to be displayed may be selected from the food inventory list.
  • the recipe information R may be displayed by having the user input the foods that the user wants to use one by one.
  • FIG. 9 is a flow chart showing the operation of the food detection device 2.
  • the sensor module 210 transmits detection values of various sensors of the sensor unit 212 to the camera module 220 through the sensor-side inter-module communication unit 213, and the camera module 220 224 receives the detection value.
  • the detection value processing unit 221A executes processing based on various detection values received from the sensor module 210.
  • the shooting control unit 221B of the camera module 220 determines whether or not there is a person around the refrigerator 1 (step SA1).
  • step SA1 When the photographing control unit 221B acquires the person presence/absence information indicating the presence of a person from the detection value processing unit 221A, the photographing control unit 221B makes an affirmative determination in step SA1, and the detection value processing unit 221A indicates that the person does not exist. When the person presence/absence information is acquired, a negative determination is made in step SA1.
  • step SA3 When the photographing control unit 221B determines that a person exists around the refrigerator 1 (step SA1: YES), it starts photographing moving images with the refrigerator camera 21 and the drawer camera 22 (step SA3).
  • step SA1 NO
  • step SA2 any one of the left door 11A, right door 11B, drawers 12A, 13A, 14, and 15A is open.
  • the photographing control unit 221B acquires the open/closed state information indicating the open state from the detection value processing unit 221A, it makes an affirmative determination in step SA2. A negative determination is made at SA2.
  • step SA2 NO
  • the process returns to step SA1, and the step SA1 is performed again. process.
  • step SA2 determines that any one of the left door 11A, right door 11B, drawers 12A, 13A, 14A, and 15A is open (step SA2: YES), it executes the process of step SA3.
  • step SA3 the moving image processing unit 221C of the camera module 220 executes the processing of steps SA4 to SA8 for each frame that constitutes the moving image.
  • the moving image processing unit 221C acquires open/close state information from the detection value processing unit 221A (step SA4).
  • the moving image processing unit 221C reduces the photographed image for one frame for each photographed result of the refrigerator camera 21 and the drawer camera 22 (step SA5).
  • Reduction here means so-called resizing.
  • the moving image processing unit 221C associates the reduced captured image for one frame with the open/close state information acquired in step SA4, and stores them in the camera storage unit 2212 (step SA6). Note that the moving image processing unit 221C arranges and stores them in time series each time step SA6 is performed.
  • step SA7 the imaging control unit 221B determines whether or not there is a person around the refrigerator 1 (step SA7).
  • step SA7 determines that there is a person around the refrigerator 1 (step SA7: YES)
  • the moving image processing unit 221C executes the processing from step SA4 onwards again.
  • step SA7 determines that there is no person around the refrigerator 1
  • step SA8 determines that there is no person around the refrigerator 1
  • the left door 11A, right door 11B, drawers 12A, 13A, 14A, and 15A are opened as in step SA2. are closed (step SA8).
  • step SA8 NO
  • the moving image processing unit 221C repeats step The processing after SA4 is executed.
  • step SA8 YES
  • step SA9 the photographing control unit 221B determines that the left door 11A, the right door 11B, and the drawers 12A, 13A, 14A, and 15A are all closed.
  • FIG. 10 is a flow chart showing operations of the food detection device 2 and the food management server 4. As shown in FIG. 10, a flowchart FB shows the operation of the food detection device 2. FIG. Also, in FIG. 10 , a flowchart FC shows the operation of the food management server 4 .
  • the food detection unit 221D of the camera module 220 of the food detection device 2 determines whether or not the camera storage unit 2212 stores a moving image, which is the photographed result of the refrigerator camera 21 and the drawer camera 22 (step SB1). ).
  • step SB1 determines that the moving image is not stored in the camera storage unit 2212 (step SB1: NO), it executes the process of step SB1 again.
  • step SB2 when the food detection unit 221D determines that the moving image is stored in the camera storage unit 2212 (step SB1: YES), it executes effective frame determination processing (step SB2).
  • the valid frame determination process determines valid frames from the frames constituting the moving image stored in the camera storage unit 2212, extracts frames determined as valid frames from the moving image, and extracts frames not specified as valid frames. is a process of discarding from the moving image.
  • the effective frame is a frame in which an image appears when at least one of the left door 11A, right door 11B, drawers 12A, 13A, 14A and 15A is open.
  • the food detection unit 221D detects the food that has been put into and taken out of the refrigerator 1 from the valid frames (step SB3).
  • the type of food and the accommodation room into which the food is taken are also detected for the detected food.
  • the food detection unit 221D detects the type of food with a broader classification than the name of the food. For example, if the food item that has actually been received and delivered is milk, the food detection unit 221D detects the type of food item as "packed drink" in step SB3.
  • the food detection unit 221D detects food that has entered or left the refrigerator 1 from the effective frame, based on feature amounts such as shape and color. Also, for example, the food detection unit 221D detects the type of food that has been detected based on feature amounts such as shape and color. In addition, for example, the food detection unit 221D detects the accommodation room into which the detected food has been put in and taken out, based on the type of camera, the size of the drawer 16A captured in the effective frame, and the like. Data necessary for detection in step SB3 is stored in a storage area that can be acquired by the camera module control section 221 .
  • the food detection unit 221D determines whether it is possible to detect food that has been put into or taken out of the refrigerator 1 from the effective frame (step SB4).
  • step SB4 NO
  • the process returns to step SB1, and the processes from step SB1 onward are executed again.
  • the food detection unit 221D may discard valid frames after the negative determination is made in step SB4 until step SB1 is executed again. As a result, it is possible to prevent unwanted moving images in which food cannot be detected from being kept stored in the camera storage unit 2212 .
  • step SB4 determines that the food loaded/unloaded into/from the refrigerator 1 has been detected (step SB4: YES)
  • the food detection unit 221D performs loading/unloading determination processing (step SB5).
  • the entering/leaving determination process is a process for determining whether the food detected in step SB3 is the food stored in the refrigerator 1 or the food that has been taken out.
  • the food detection unit 221D determines the moving direction of the image of the food detected in step SB3 in the moving image based on the valid frames in the entering/leaving determination process.
  • Food detection unit 221D determines that the detected food is food stored from refrigerator 1 when the moving direction of the food image is backward, that is, in the direction toward refrigerator 1 .
  • Food detection unit 221D determines that the detected food is food taken out of refrigerator 1 when the moving direction of the image of the food is forward, that is, the direction away from refrigerator 1 .
  • the food detection unit 221D cuts out the food image FG of the detected food from the effective frame (step SB6).
  • the clipped food image FG will be referred to as "the clipped food image”.
  • the food detection unit 221D transmits food management request information requesting the food management server 4 to manage food to the food management server 4 through the camera module communication unit 223 (step SB7).
  • the food management request information transmitted to the food management server 4 includes the food detection device ID 2215 stored by the camera storage unit 2212 . Moreover, the food management request information transmitted to the food management server 4 includes date and time information indicating the date and time when the moving image was taken. In addition, the food management request information transmitted to the food management server 4 includes image data of the cut-out food image, storage/delivery determination result information indicating the determination result of the storage/delivery determination process, and detected It includes storage location information 4234 indicating the destination of receipt or delivery, and food type information indicating the type of detected food.
  • the food recognition unit 4100 of the server control unit 40 of the food management server 4 determines whether or not food management request information has been received by the server communication unit 41 (step SC1).
  • step SC1 NO
  • the process of step SC1 is executed again.
  • step SC1 determines that the food management request information has been received (step SC1: YES)
  • the food recognition unit 4100 performs food recognition processing based on the clipped food image indicated by the image data included in the food management request information (Ste SC2).
  • the food recognition process in the present embodiment is a process of recognizing food from cut-out food images and acquiring food image FG and food name information 4232 for the recognized food from the food information database.
  • the food information database is a database that stores information related to food. For example, image data of food image FG and food name information 4232 are stored for each food.
  • the food information database may be stored in the food management server 4 or may be stored in a device with which the food management server 4 can communicate.
  • the food recognition unit 4100 identifies the food image FG that has the highest degree of matching with the cut-out food image from the food images FG stored in the food information database.
  • the matching degree is calculated by a predetermined algorithm based on feature amounts such as shape and color, for example. Then, the food recognition unit 4100 recognizes that the food indicated by the identified food image FG is the food indicated by the clipped food image.
  • the food recognition unit 4100 may recognize food by AI (Artificial Intelligence). For example, machine learning processing is performed to learn feature amounts such as the color and shape of food from food images FG for teachers, and a learned model is constructed in advance. This trained model is stored in the server storage unit 420 .
  • the food recognition unit 4100 uses the food image FG included in the food management request information as input data, refers to the trained model, and recognizes the food indicated by the food image FG.
  • this learned model may be stored in a device other than the food management server 4 connected to the global network GN, and the food may be recognized by the food management server 4 .
  • the food recognition unit 4100 transmits the food image included in the food management request information to the device that stores the trained model, and acquires the food identification result from this device. Then, the food recognition unit 4100 recognizes the food indicated by the acquired identification result as the food indicated by the clipped food image.
  • the food recognition unit 4100 After recognizing the food, the food recognition unit 4100 acquires the food image FG and food name information 4232 for the recognized food from the food information database.
  • the food recognition unit 4100 updates the food management database 423 based on the results of the food recognition processing (step SC3).
  • step SC3 will be described in detail.
  • the food recognition unit 4100 identifies from the food management database 423 the record R having the food detection device ID 2125 included in the food management request information.
  • the food recognizing unit 4100 determines whether the recognized food is the food stored in the refrigerator 1 or the food delivered from the refrigerator 1 based on the storage/delivery determination result information included in the received food management request information. Determine if there is
  • the food recognition unit 4100 determines that the recognized food is the food taken out of the refrigerator 1, the food recognition unit 4100 updates information associated with the food name information 4232 of the recognized food in the specified record R. More specifically, food recognition unit 4100 performs processing to reduce the remaining amount indicated by remaining amount information 4233 .
  • the quantity to be reduced is calculated based on the food image FG included in the food management request information, for example, during food recognition processing.
  • the food recognition unit 4100 may blank the storage start date indicated by the storage start date information 4235 and the expiration date indicated by the expiration date information 4236 .
  • the food recognition unit 4100 determines that the recognized food is the food stored in the refrigerator 1, the food name information 4232 of the recognized food is stored in the identified record R for the food that has been stored in the past. Update the information corresponding to . More specifically, food recognition unit 4100 performs processing to increase the remaining amount indicated by remaining amount information 4233 . The amount to be increased is calculated based on the clipped food image included in the food management request information, for example, during food recognition processing. In addition, the food recognition unit 4100 changes the date indicated by the date and time information included in the food management request information to the storage start date indicated by the storage start date information 4235 .
  • the food recognition unit 4100 acquires the expiration date based on the date indicated by the date and time information included in the food management request information by a predetermined method such as calculation or inquiry, and obtains the expiration date indicated by the expiration date information 4236. Process to change the date.
  • the food recognition unit 4100 determines that the recognized food is the food stored in the refrigerator 1, the food that has not been stored in the past is newly assigned to the user ID 4231 of the identified record R. associated various information.
  • Various information associated with the user ID 4231 of the identified record R includes food name information 4232, remaining amount information 4233, storage location information 4234, storage start date information 4235, expiration date information 4236, expiration date notification timing information 4237, new Notification timing information 4238 and food image data 4239 are included.
  • the food name information 4232 is the food name information 4232 acquired during the food recognition processing.
  • the remaining amount information 4233 indicates the remaining amount calculated based on the clipped food image included in the food management request information during the food recognition processing, for example.
  • Storage location information 4234 is storage location information 4234 included in food management request information.
  • Storage start date information 4235 indicates the date indicated by the date and time information included in the food management request information.
  • the expiration date information 4236 indicates the expiration date based on the date indicated by the date and time information included in the food management request information, or a blank.
  • the deadline date notification timing information 4237 and the new notification timing information 4238 indicate default timings or blanks.
  • the food image data 4239 indicates the food image FG acquired during the food recognition processing.
  • the food detection device 2 determines an effective frame from the moving image of the imaging result, detects food from the effective frame, and cuts out the food image FG of the detected food from the effective frame. .
  • the food management server 4 recognizes the food from the clipped food image. With such a division of roles, the food can be recognized by the food management server 4 while suppressing the amount of data that the food detection device 2 transmits to the food management server 4 . Therefore, in the food management system 1000, it is possible to recognize the food that has been put in and taken out of the refrigerator 1 while suppressing an increase in communication traffic.
  • FIG. 11 is a flow chart showing the display operation of the recipe information R.
  • FIG. 4 is a flow chart showing operations of the food detection device 2 and the food management server 4;
  • a flowchart SD shows the operation of the terminal device 3
  • a flowchart SE shows the operation of the food management server 4.
  • the "recipe search" tab is operated. (SD2: YES), based on the food image data F of the entire vegetable compartment 15 displayed on the touch panel 32, the user selects the desired food (SD3). Subsequently, the terminal control unit 30 determines which food is the selected food (SD4). The terminal control unit 30 determines the probability of the food recognition result (SD5), and requests the recipe information R of the recognized food from the food management server 4 (SD6).
  • food management server 4 When food management server 4 receives a request for food recipe information R (SE1), food management server 4 retrieves corresponding food recipe information R from recipe information database 424 (SE2). The food management server 4 transmits the recipe information R of the taken food to the terminal device 3 (SDE).
  • SE1 request for food recipe information
  • SE2 recipe information database 424
  • the terminal device 3 When the terminal device 3 receives the recipe information R from the food management server 4 (SD7), it displays the received recipe information R on the touch panel 32 (SD8).
  • the processor of the terminal device 3 acquires the type of food stored in the refrigerator 1 from the photographed image of the refrigerator 1 photographed from above the front of the refrigerator 1, and 1 functions as a terminal control unit 30 that displays recipe information R corresponding to the food stored in the storage unit 1 on a touch panel 32 (display unit).
  • the recipe information R of the food acquired from the photographed image of the refrigerator 1 can be displayed on the touch panel 32, the recipe information R of the food stored in the refrigerator 1 can be proposed, and usability can be improved. can be done.
  • the terminal control unit 30 acquires the recipe information R according to the food stored in the refrigerator 1 from the recipe information database 424 in which the recipe information R is stored. ). Thereby, the recipe information R of the food stored in the refrigerator 1 can be retrieved from the recipe information database 424 and displayed on the touch panel 32 .
  • terminal control unit 30 displays image data of food stored in refrigerator 1 and recipe information R at the same time.
  • the recipe information R corresponding to the image data of the food can be confirmed.
  • the terminal control unit 30 preferentially displays the recipe information R of foods with high recognition probability based on the recognition probability of the type of food based on the image data of the ingredients.
  • necessary recipe information R can be obtained by preferentially displaying the recipe information R of the food having a high probability of recognition result of the type of food.
  • the terminal control unit 30 displays the recipe information R in order from the food stored in the refrigerator 1 on the earliest date.
  • the recipe information R of the food stored in the refrigerator 1 with an old date, it is possible to effectively utilize the food.
  • the terminal device 3 acquires the type of food stored in the refrigerator 1 from the photographed image of the refrigerator 1 photographed from above the front of the refrigerator 1, and the food stored in the refrigerator 1
  • a terminal control unit 30 is provided for displaying corresponding recipe information R on a touch panel 32 (display unit).
  • the recipe information R of the food acquired from the photographed image of the refrigerator 1 can be displayed on the touch panel 32, and the recipe information R of the food stored in the refrigerator 1 can be easily acquired, improving usability. can be planned.
  • the recipe display system includes a food recognition unit that acquires the type of food stored in the refrigerator 1 from a photographed image of the refrigerator 1 photographed from above the front of the refrigerator 1; and a terminal device 3 for displaying recipe information R corresponding to the food recognized in the above on a touch panel 32 (display unit).
  • a food recognition unit that acquires the type of food stored in the refrigerator 1 from a photographed image of the refrigerator 1 photographed from above the front of the refrigerator 1
  • a terminal device 3 for displaying recipe information R corresponding to the food recognized in the above on a touch panel 32 (display unit).
  • the user selects the desired food based on the food image data F of the entire vegetable compartment 15 displayed on the touch panel 32.
  • food can be selected.
  • recipes may be proposed in the order of combination with the highest probability of a plurality of food items.
  • FIG. 7 when the user selects cabbage, a plurality of food options may be displayed next to the cabbage. The user may then select one or more food items to suggest recipes.
  • FIG. 8 the image information of the food is displayed, but the name of the food may be displayed together with the image information or instead of the image information.
  • a plurality of food options based on image information may be displayed.
  • food options may be displayed in descending order of probability based on image information.
  • Recipes may be suggested by the user selecting foods displayed as options. As a result, it is possible to select a food and propose a recipe in a state where the food surrounded by the rectangular frame 301 is not fixed.
  • the sensor module 210 and the camera module 220 are separate pairs, but they may be integrated.
  • the open/close sensor of the present invention is a range sensor that measures distance, but the open/close sensor of the present invention may detect the open/close state of the door 11C and the drawer 16A. , for example, a camera.
  • the food detection device 2 is illustrated as a separate device from the refrigerator 1, but the food detection device 2 may be a device that is incorporated in the refrigerator 1 and provided in the refrigerator 1.
  • the types of chambers formed in the main casing 10 of the refrigerator 1 are not limited to the refrigerating chamber 11, the ice making chamber 12, the fresh freezing chamber 13, the freezing chamber 14, and the vegetable chamber 15. Further types of rooms may be formed. Also, the number of doors provided at the front opening of the refrigerator compartment 11 may be one.
  • FIGS. 4 and 5 are examples, and the specific implementation is not particularly limited. That is, it is not always necessary to mount hardware corresponding to each part individually, and it is of course possible to adopt a configuration in which one processor executes a program to realize the function of each part. Further, part of the functions implemented by software in the above-described embodiments may be implemented by hardware, or part of the functions implemented by hardware may be implemented by software. In addition, specific detailed configurations of other parts of the food detection device 2, the terminal device 3, and the food management server 4 can be arbitrarily changed without departing from the gist of the present invention.
  • the operation step units shown in FIGS. 8 and 9 are divided according to main processing contents in order to facilitate understanding of the operation of each part of the food management system 1000.
  • the method of division and names do not limit the present invention. It may be divided into more steps depending on the processing contents. Also, one step unit may be divided to include more processes. Also, the order of the steps may be changed as appropriate within the scope of the present invention.
  • the program according to the present invention can be used to suggest recipes for foods stored in a refrigerator.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Devices That Are Associated With Refrigeration Equipment (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

冷蔵庫に入庫されている食品のレシピを提案することのできるプログラム、端末装置、およびレシピ表示システムを提供する。　本開示のプログラムは、端末装置のプロセッサーを、冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得し、前記冷蔵庫に収容された食品に応じたレシピ情報を表示部に表示する端末制御部として機能させる。これにより、冷蔵庫の撮影画像から取得した食品のレシピ情報をタッチパネルに表示させることができ、冷蔵庫に収納された食品のレシピ情報を提案することができ、使い勝手の向上を図ることができる。

Description

プログラム、端末装置、およびレシピ表示システム
　本開示は、プログラム、端末装置、およびレシピ表示システムに関する。
　特許文献１は、冷蔵庫の上部にカメラを設け、冷蔵庫の開口部を通過する物体を検出した際に撮影を実行し、撮影結果に基づいて冷蔵庫に収容される食品を管理する技術を開示する。
特開２０１９－０７０４７６号公報
　本開示は、冷蔵庫に入庫されている食品のレシピを提案することのできるプログラム、端末装置、およびレシピ表示システムを提供する。
　この明細書には、２０２１年１１月２９日に出願された日本国特許出願・特願２０２１－１９３５９４号の全ての内容が含まれるものとする。
　本開示におけるプログラムは、端末装置のプロセッサーを、冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得し、前記冷蔵庫に収容された食品に応じたレシピ情報を表示部に表示する端末制御部として機能させる。
　本開示における端末装置は、冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得し、前記冷蔵庫に収容された前記食品に応じたレシピ情報を表示部に表示する端末制御部を備える。
　本開示におけるレシピ表示システムは、冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された前記食品の種類を取得する食品認識部と、前記食品認識部で認識された食品に応じたレシピ情報を表示部に表示する端末装置とを備えた。
　本開示におけるプログラム、端末装置、およびレシピ表示システムは、冷蔵庫の撮影画像から取得した食品のレシピ情報をタッチパネルに表示させることができ、冷蔵庫に収納された食品のレシピ情報を提案することができ、使い勝手の向上を図ることができる。
図１は、物品管理システムの構成を示す図 図２は、検出装置を前方側からみた正面図 図３は、検出装置を右方側からみた平面図 図４は、検出装置の構成を示すブロック図 図５は、端末装置及び物品管理サーバーの構成を示すブロック図 図６は、物品管理ＤＢが格納するレコードの一例を示す図 図７は、アプリ実行部による端末装置の表示例を示す図 図８は、食品リスト表示の例を示す図 図９は、検出装置の動作を示すフローチャート 図１０は、食品検出装置及び食品管理サーバーの動作を示すフローチャート 図１１は、端末装置及び食品管理サーバーの動作を示すフローチャート
　（本開示の基礎となった知見等）
　発明者らが本開示に想到するに至った当時、冷蔵庫に入出庫される食品を検出する技術があった。
　しかしながら、従来の技術では、冷蔵庫に入出庫される食品を管理する際に、食品を用いたレシピを提案する機能は有していないという課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
　そこで、本開示は、冷蔵庫に入庫されている食品のレシピを提案することのできるプログラム、端末装置、およびレシピ表示システムを提供する。
　以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。
　（実施の形態１）
　まず、実施の形態１について説明する。
　［１－１－１．食品管理システムの構成］
　図１は、食品管理システム１０００の構成を示す図である。
　食品管理システム１０００は、冷蔵庫１が収容する食品について、残量や、保存が開始された保存開始日、賞味期限または消費期限の期限日等を管理するシステムである。
　食品管理システム１０００は、冷蔵庫１を備える。冷蔵庫１は、前面が開口した主箱体１０を備える。主箱体１０には、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５が形成されている。冷蔵室１１の前面の開口部には、回転式の左ドア１１Ａ及び右ドア１１Ｂが設けられている。製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５のそれぞれには、食品を収容する引出１２Ａ、１３Ａ、１４Ａ、１５Ａが設けられている。
　以下の説明において、左ドア１１Ａ及び右ドア１１Ｂを区別しない場合、「ドア」といい「１１Ｃ」の符号を付して総称する。また、以下の説明において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを区別しない場合、「引出」といい「１６Ａ」の符号を付して総称する。
　食品管理システム１０００は、食品検出装置２を備える。食品検出装置２は、冷蔵庫１に入出庫される食品を検出する装置であり、冷蔵庫１の上部として冷蔵庫１の上面に設けられる。
　ここで、図２及び図３を参照して食品検出装置２の構成について説明する。
　図２は、冷蔵庫１及び食品検出装置２を前方側からみた図である。図２に示す冷蔵庫１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である。図３は、冷蔵庫１及び食品検出装置２を右側からみた図である。図３に示す冷蔵庫１は、引出１５Ａが、開状態、すなわち引き出された状態である。
　図２及び図３では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示す。Ｙ軸は前後方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。
　食品検出装置２は、冷蔵室用カメラ２１及び引出用カメラ２２を有する。食品検出装置２は、冷蔵庫１の前上方から冷蔵室用カメラ２１及び引出用カメラ２２が冷蔵庫１の前面を撮影するように、冷蔵庫１の上面に設けられる。
　冷蔵室用カメラ２１は、冷蔵室１１に入出庫される食品を検出するためのカメラである。
　冷蔵室用カメラ２１の撮影範囲は、冷蔵室１１に入出庫される食品を冷蔵庫１の前上方から撮影可能な範囲に設定される。
　例えば、冷蔵室用カメラ２１の撮影範囲は、正面視において、図２に示す範囲Ａ１を含む。範囲Ａ１は、左ドア１１Ａ及び右ドア１１Ｂが開状態において、左ドア１１Ａに設けられるドアポケット１１Ａ１、１１Ａ２、１１Ａ３、１１Ａ４、右ドア１１Ｂに設けられるドアポケット１１Ｂ１、１１Ｂ２、１１Ｂ３、１１Ｂ４、及び冷蔵室１１の開口部を含む範囲である。また、冷蔵室用カメラ２１の撮影範囲は、側面視において、図３に示す範囲Ａ３を含む。範囲Ａ３は、前後方向において、開状態のドア１１Ｃから、棚１１１、１１２、１１３、１１４の前方端部までを含む範囲であり、且つ、上下方向において冷蔵室１１の開口部を含む範囲である。なお、棚１１１、１１２、１１３、１１４は、冷蔵室１１内に設けられ冷蔵室１１を複数エリアに区画する部材である。
　引出用カメラ２２は、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５に入出庫される食品を検出するためのカメラである。
　引出用カメラ２２の撮影範囲は、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５の各々に入出庫される食品を冷蔵庫１の前上方から撮影可能な範囲に設定される。
　例えば、引出用カメラ２２の撮影範囲は、正面視において、図２に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫１の正面視において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを含む範囲である。また、引出用カメラ２２の撮影範囲は、側面視において、図３に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、引き出された状態の引出１２Ａ、１３Ａ、１４Ａ、１５Ａの上面を含む範囲である。
　食品検出装置２は、左ドア用測距センサー２３、右ドア用測距センサー２４、及び引出用測距センサー２５を有する。左ドア用測距センサー２３、右ドア用測距センサー２４、及び引出用測距センサー２５は、開閉センサーの一例に対応する。以下の説明において、左ドア用測距センサー２３、右ドア用測距センサー２４、及び引出用測距センサー２５を区別しない場合、「開閉用測距センサー」といい「２８」の符号を付す。開閉用測距センサー２８は、検出値を後述するセンサーモジュール制御部２１１に出力する。
　左ドア用測距センサー２３は、左ドア１１Ａの開閉状態を検出するための測距センサーである。左ドア用測距センサー２３は、左ドア１１Ａの開閉状態として、左ドア１１Ａとの間の距離を検出する。
　右ドア用測距センサー２４は、右ドア１１Ｂの開閉状態を検出するための測距センサーである。右ドア用測距センサー２４は、右ドア１１Ｂの開閉状態として、右ドア１１Ｂとの間の距離を検出する。
　引出用測距センサー２５は、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの各々の開閉状態を検出するための測距センサーである。なお、引出１２Ａ、１３Ａ、１４Ａ、１５Ａが開状態であるとは、対応する収容室から引き出された状態である。また、引出１２Ａ、１３Ａ、１４Ａ、１５Ａが閉状態であるとは、対応する収容室に収容された状態である。引出用測距センサー２５は、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの各々の開閉状態として、引出１２Ａ、１３Ａ、１４Ａ、１５の各々との間の距離を検出する。
　食品検出装置２は、照度センサー２６及び人感センサー２７を有する。照度センサー２６及び人感センサー２７は、検出値をセンサーモジュール制御部２１１に出力する。
　照度センサー２６は、食品検出装置２が配置される場所、すなわち冷蔵庫１が配置される場所の照度を検出する。
　人感センサー２７は、冷蔵庫１の周囲に存在する人物を検出する。本実施の形態では、人感センサー２７は、食品検出装置２の前面に設けられ、冷蔵庫１の周囲において冷蔵庫１の前方に存在する人物を検出する。
　なお、図２では、引出用測距センサー２５、引出用カメラ２２、及び冷蔵室用カメラ２１が左右方向においてこの順番で並んで設けられているように図示している。しかしながら、これは、食品検出装置２の説明便宜のための図示であり、図２のように設けられていなくてもよい。
　また、図３では、引出用測距センサー２５、引出用カメラ２２、及び冷蔵室用カメラ２１が前後方向においてこの順番で並んで設けられているように図示している。しかしながら、これは、食品検出装置２のための図示であり、図３のように設けられていなくてもよい。
　図１の説明に戻り、食品管理システム１０００は、タッチパネル３２を有する端末装置３を備える。端末装置３は、例えばスマートフォンやタブレット端末により構成される。端末装置３は、冷蔵庫１に収容される食品を管理するためのアプリケーションプログラムがインストールされており、当該アプリケーションの機能によって食品管理サーバー４と通信する。
　以下の説明では、冷蔵庫１に収容される食品を管理するためのアプリケーションプログラムを、「食品管理用アプリ」といい「３２３」の符号を付す。
　図１では、在宅するユーザーＰを実線で示し、自宅Ｈから外出したユーザーＰを点線で示している。端末装置３は、在宅するユーザーＰに使用される場合、食品管理用アプリ３２３の機能によって、通信装置５を介して、或いは通信装置５を介さずに、グローバルネットワークＧＮに接続する食品管理サーバー４と通信する。また、端末装置３は、自宅Ｈから外出したユーザーＰに使用される場合、食品管理用アプリ３２３の機能によって、通信装置５を介すことなく食品管理サーバー４と通信する。
　通信装置５は、インターネット、電話網、その他の通信網を含むグローバルネットワークＧＮに接続し、グローバルネットワークＧＮに接続する食品管理サーバー４と通信する。通信装置５は、端末装置３をグローバルネットワークＧＮに接続するためのインターフェイス装置である。通信装置５は、モデムに係る機能や、ルーター機能、ＮＡＴ（Network Address Translation）機能等の機能を有する。通信装置５は、端末装置３と、グローバルネットワークＧＮに接続する食品管理サーバー４との間で送受信されるデータを転送する。
　食品管理システム１０００は、食品管理サーバー４を備える。食品管理サーバー４は、冷蔵庫１に収容される食品を管理するサーバー装置であり、グローバルネットワークＧＮに接続する。なお、各図では、食品管理サーバー４を、１つのブロックによって表現するが、これは必ずしも食品管理サーバー４が単一のサーバー装置により構成されることを意味するものではない。例えば、食品管理サーバー４は、処理内容が異なる複数のサーバー装置を含んで構成されたものでもよい。
　［１－１－２．食品検出装置・食品管理サーバー・端末装置の構成］
　次に、食品検出装置２、端末装置３、及び食品管理サーバー４の構成について説明する。
　図４は、食品検出装置２の構成を示すブロック図である。
　食品検出装置２は、センサーモジュール２１０、カメラモジュール２２０、及び電力供給部２３０を備える。
　センサーモジュール２１０は、センサーモジュール制御部２１１、センサー部２１２、及びセンサー側モジュール間通信部２１３を備える。
　センサーモジュール制御部２１１は、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーであるセンサープロセッサー２１１１、及び、センサー記憶部２１１２を備え、センサーモジュール２１０の各部を制御する。センサーモジュール制御部２１１は、センサープロセッサー２１１１が、センサー記憶部２１１２に記憶された制御プログラム２１１３を読み出して処理を実行するように、ハードウェア及びソフトウェアの協働により各種処理を実行する。
　センサー記憶部２１１２は、センサープロセッサー２１１１が実行するプログラムや、センサープロセッサー２１１１に処理されるデータを記憶する記憶領域を有する。センサー記憶部２１１２は、センサープロセッサー２１１１が実行する制御プログラム２１１３、センサーモジュール２１０の設定に係る設定データ２１１４、その他の各種データを記憶する。センサー記憶部２１１２は、不揮発性の記憶領域を有する。また、センサー記憶部２１１２は、揮発性の記憶領域を備え、センサープロセッサー２１１１のワークエリアを構成してもよい。
　センサー部２１２は、左ドア用測距センサー２３、右ドア用測距センサー２４、引出用測距センサー２５、照度センサー２６、及び人感センサー２７を備え、センサーごとに検出値をセンサーモジュール制御部２１１に出力する。なお、センサー部２１２は、上記５種のセンサー以外のセンサーを備えていてもよい。
　センサー側モジュール間通信部２１３は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、センサーモジュール制御部２１１の制御に従って、カメラモジュール２２０と通信する。
　カメラモジュール２２０は、カメラモジュール制御部２２１、撮影部２２２、カメラモジュール通信部２２３、及びカメラ側モジュール間通信部２２４を備える。
　カメラモジュール制御部２２１、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーであるカメラプロセッサー２２１１、及びカメラ記憶部２２１２を備え、カメラモジュール２２０の各部を制御する。カメラモジュール制御部２２１は、カメラプロセッサー２２１１が、カメラ記憶部２２１２に記憶された制御プログラム２２１３を読み出して処理を実行するように、ハードウェア及びソフトウェアの協働により各種処理を実行する。カメラモジュール制御部２２１は、制御プログラム２２１３を読み出して実行することにより、検出値処理部２２１Ａ、撮影制御部２２１Ｂ、動画像処理部２２１Ｃ、及び食品検出部２２１Ｄとして機能する。
　カメラ記憶部２２１２は、カメラプロセッサー２２１１が実行するプログラムや、カメラプロセッサー２２１１に処理されるデータを記憶する記憶領域を有する。カメラ記憶部２２１２は、カメラプロセッサー２２１１が実行する制御プログラム２２１３、カメラモジュール２２０の設定に係る設定データ２２１４、食品検出装置ＩＤ２２１５、その他の各種データを記憶する。食品検出装置ＩＤ２２１５については後述する。カメラ記憶部２２１２は、不揮発性の記憶領域を有する。また、カメラ記憶部２２１２は、揮発性の記憶領域を備え、カメラプロセッサー２２１１のワークエリアを構成してもよい。
　撮影部２２２は、冷蔵室用カメラ２１と引出用カメラ２２とを備える。撮影部２２２は、冷蔵室用カメラ２１及び引出用カメラ２２の各々の撮影結果をカメラモジュール制御部２２１に出力する。本実施の形態では、冷蔵室用カメラ２１及び引出用カメラ２２は、動画像を撮影する。そのため、撮影部２２２は、撮影結果として動画像のデータをカメラモジュール制御部２２１に出力する。
　カメラモジュール通信部２２３は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、カメラモジュール制御部２２１の制御で食品管理サーバー４と通信する。本実施の形態では、カメラモジュール通信部２２３が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。
　カメラ側モジュール間通信部２２４は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、カメラモジュール制御部２２１の制御に従って、センサーモジュール２１０と通信する。
　上述したように、カメラモジュール制御部２２１は、検出値処理部２２１Ａ、撮影制御部２２１Ｂ、動画像処理部２２１Ｃ、及び食品検出部２２１Ｄとして機能する。
　検出値処理部２２１Ａは、センサーモジュール２１０から出力される各種センサーの検出値に基づいて、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの各々について開状態か閉状態かを判定する。例えば、検出値処理部２２１Ａは、検出値が所定の閾値を下回るか否かに基づいて、開状態か閉状態かを判定する。なお、この所定の閾値は、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａごとに異なっていてもよい。検出値処理部２２１Ａは、いずれかが開状態であると判定した場合、開状態であることを示す開閉状態情報を、撮影制御部２２１Ｂ及び動画像処理部２２１Ｃに出力する。また、検出値処理部２２１Ａは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれも閉状態であると判定した場合、閉状態であることを示す開閉状態情報を、撮影制御部２２１Ｂ及び動画像処理部２２１Ｃに出力する。
　また、検出値処理部２２１Ａは、センサーモジュール２１０から出力される照度センサー２６及び人感センサー２７の検出値に基づいて、冷蔵庫１の周囲に人物が存在するか否かを判定する。例えば、検出値処理部２２１Ａは、検出値が所定の閾値を下回るか否かに基づいて、冷蔵庫１の周囲に人物が存在するか否かを判定する。検出値処理部２２１Ａは、冷蔵庫１の周囲に人物が存在すると判定した場合、人物が存在することを示す人物存在有無情報を、撮影制御部２２１Ｂに出力する。また、検出値処理部２２１Ａは、冷蔵庫１の周囲に人物が存在しないと判定した場合、人物が存在しないことを示す人物存在有無情報を、撮影制御部２２１Ｂに出力する。
　撮影制御部２２１Ｂは、撮影部２２２を制御して、冷蔵室用カメラ２１及び引出用カメラ２２に動画像を撮影させる。
　動画像処理部２２１Ｃは、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果に各種処理を行い、処理を施した撮影結果をカメラ記憶部２２１２に記憶させる。
　食品検出部２２１Ｄは、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果に基づいて、冷蔵庫１に入出庫される食品を検出する。
　電力供給部２３０は、電力を供給する回路等のハードウェアを備え、センサーモジュール２１０及びカメラモジュール２２０の各々に電力を供給する。電力供給部２３０は、本実施の形態のように、センサーモジュール２１０及びカメラモジュール２２０の各々に並列して電力を供給する構成でもよいし、いずれか一方のモジュールを介して他のモジュールに電力を供給する構成でもよい。
　本実施の形態の電力供給部２３０は、外部の商用交流電源７から供給された電力に基づいて、センサーモジュール２１０及びカメラモジュール２２０の各々に電力を供給する。商用交流電源７は、商用電源の一例に対応する。食品検出装置２の電源ケーブルが商用交流電源７に接続されており、電力供給部２３０は、電源ケーブルを介して商用交流電源７から電力供給を受け、供給された電力に基づいて、センサーモジュール２１０及びカメラモジュール２２０の各々に電力を供給する。電力供給部２３０は、ハードウェアとして、例えば、交流を直流に変換する回路や、降圧する回路等を備える。
　なお、電力供給部２３０に電力を供給する供給元は、外部の商用交流電源７に限定されず、冷蔵庫１或いはバッテリーでもよい。供給元が前者の場合、電力供給部２３０及び冷蔵庫１は、ＵＳＢの給電可能な規格に従ったハードウェアを備える。そして、供給元が前者の場合では、食品検出装置２のＵＳＢケーブルが冷蔵庫１のＵＳＢポートに接続し、ＵＳＢケーブルを介して冷蔵庫１が電力供給部２３０に電力を供給する。供給元が後者の場合、食品検出装置２は、バッテリーを備える。
　図５は、端末装置３と食品管理サーバー４の構成を示すブロック図である。
　まず、食品管理サーバー４の構成について説明する。
　食品管理サーバー４は、サーバー制御部４０及びサーバー通信部４１を備える。
　サーバー制御部４０は、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーであるサーバープロセッサー４１０、及び、サーバー記憶部４２０を備え、食品管理サーバー４の各部を制御する。サーバー制御部４０は、サーバープロセッサー４１０が、サーバー記憶部４２０に記憶された制御プログラム４２１を読み出して処理を実行するように、ハードウェア、及びソフトウェアの協働により各種処理を実行する。サーバー制御部４０は、制御プログラム４２１を読み出して実行することにより、食品認識部４１００として機能する。
　サーバー記憶部４２０は、サーバープロセッサー４１０が実行するプログラムや、サーバープロセッサー４１０により処理されるデータを記憶する記憶領域を有する。サーバー記憶部４２０は、サーバープロセッサー４１０が実行する制御プログラム４２１、食品管理サーバー４の設定に係る設定データ４２２、食品管理データベース４２３、その他の各種データを記憶する。サーバー記憶部４２０は、不揮発性の記憶領域を有する。また、サーバー記憶部４２０は、揮発性の記憶領域を備え、サーバープロセッサー４１０のワークエリアを構成してもよい。
　また、本実施の形態においては、サーバー記憶部４２０は、レシピ情報データベース４２４を備えている。レシピ情報データベース４２４は、食品の種類に応じた複数のレシピ情報を記憶する。
　なお、レシピ情報データベース４２４は、他の通信可能なサーバーに設けてもよいし、端末装置３または冷蔵庫１に設けるようにしてもよい。
　図６は、食品管理データベース４２３の一例を示す図である。
　食品管理データベース４２３は、冷蔵庫１が収容する食品に係る各種情報を格納するデータベースである。
　食品管理データベース４２３が格納する１件のレコードＲは、ユーザーＩＤ４２３１、食品検出装置ＩＤ２２１５、食品名情報４２３２、残量情報４２３３、保存場所情報４２３４、保存開始日情報４２３５、期限日情報４２３６、期限日通知タイミング情報４２３７、新規通知タイミング情報４２３８、及び食品画像データ４２３９を有する。
　なお、食品管理データベース４２３が格納する１件のレコードＲは、さらに１又は複数の別種類の情報を有していてもよい。
　ユーザーＩＤ４２３１は、食品管理用アプリ３２３を利用するユーザーＰを識別する識別情報であり、食品管理用アプリ３２３を利用するユーザーＰに対して適切に割り当てられる。
　食品検出装置ＩＤ２２１５は、食品検出装置２を識別するための識別情報である。食品検出装置ＩＤ２２１５は、例えば、食品検出装置２の製造番号や、食品検出装置２のシリアル番号、カメラモジュール２２０の製造番号、カメラモジュール２２０のシリアル番号等である。
　食品名情報４２３２は、食品の名称を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対して、１又は複数の食品名情報４２３２が対応付けられる。
　残量情報４２３３は、食品の残量を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の残量情報４２３３が対応付けられる。図６の残量情報４２３３が示す食品の残量は、食品の名称に対応する単位で示されている。残量情報４２３３が示す残量は、サーバー制御部４０によって適切に更新される。
　保存場所情報４２３４は、食品の保存場所を示す情報である。本実施の形態では、保存場所情報４２３４は、保存場所として、冷蔵庫１が有する収容室のいずれかを示す。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の保存場所情報４２３４が対応付けられる。
　保存開始日情報４２３５は、食品の保存開始日を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の保存開始日情報４２３５が対応付けられる。
　期限日情報４２３６は、食品の賞味期限または消費期限の期限日を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の期限日情報４２３６が対応付けられる。
　期限日通知タイミング情報４２３７は、対応付く期限日情報４２３６が示す期限日を、ユーザーＰに通知するタイミングを示す情報である。図６に示すように、期限日通知タイミング情報４２３７が示すタイミングは、期限日情報４２３６が示す期限日から何日前といったタイミングである。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の期限日通知タイミング情報４２３７が対応付けられる。
　新規通知タイミング情報４２３８は、新規に食品が冷蔵庫１に収容されたことを通知するタイミングを示す情報である。図６に示すように、新規通知タイミング情報４２３８が示すタイミングは、保存開始日情報４２３５が示す保存開始日から何日間といったタイミングである。
　食品画像データ４２３９は、食品の画像である食品画像ＦＧの画像データである。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の食品画像データ４２３９が対応付けられる。
　図５の説明に戻り、サーバー通信部４１は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、サーバー制御部４０の制御により、グローバルネットワークＧＮと接続する機器と所定の通信規格に従って通信する。本実施の形態においてサーバー通信部４１は、食品検出装置２及び端末装置３と通信する。
　上述した通り、サーバー制御部４０は、食品認識部４１００として機能する。
　食品認識部４１００は、食品検出装置２が検出した食品を認識する。
　また、食品画像データ４２３９は、個々の食品の食品画像データ４２３９のみならず、冷蔵庫１の冷蔵室１１、野菜室１５、冷凍室１４の庫内の食品画像データＦも含む。
　すなわち、冷蔵室１１の庫内の食品画像データＦは、冷蔵室用カメラ２１により撮影された冷蔵室１１の庫内全体の食品画像データＦである。
　野菜室１５および冷凍室１４の庫内の食品画像データＦは、引出用カメラ２２により撮影された、冷凍室１４、および野菜室１５全体の庫内画像データである。
　次に、端末装置３の機能的構成について説明する。
　端末装置３は、端末制御部３０、端末通信部３１、及びタッチパネル３２を備える。
　端末制御部３０は、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーである端末プロセッサー３１０、及び端末記憶部３２０を備え、端末装置３の各部を制御する。端末制御部３０は、端末プロセッサー３１０が、端末記憶部３２０に記憶された制御プログラム３２１を読み出して処理を実行するように、ハードウェア及びソフトウェアの協働により各種処理を実行する。端末装置３には、食品管理用アプリ３２３が事前にインストールされる。食品管理用アプリ３２３は、端末プロセッサー３１０により端末記憶部３２０から読み出されて実行されることで、端末制御部３０を、アプリ実行部３１００として機能させるプログラムである。
　端末記憶部３２０は、端末プロセッサー３１０が実行するプログラムや、端末プロセッサー３１０により処理されるデータを記憶する記憶領域を有する。端末記憶部３２０は、端末プロセッサー３１０が実行する制御プログラム３２１、端末装置３の設定に係る設定データ３２２、食品管理用アプリ３２３、ユーザーＩＤ４２３１、その他の各種データを記憶する。端末記憶部３２０は、不揮発性の記憶領域を有する。また、端末記憶部３２０は、揮発性の記憶領域を備え、端末プロセッサー３１０のワークエリアを構成してもよい。
　端末通信部３１は、所定の通信規格に従った通信回路等の通信ハードウェアを備え、端末制御部３０の制御により、グローバルネットワークＧＮと接続する機器と所定の通信規格に従って通信する。本実施の形態において端末通信部３１は、アプリ実行部３１００の制御に従って、食品管理サーバー４と所定の通信規格に従って通信する。本実施の形態では、端末通信部３１が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。
　タッチパネル３２は、液晶表示パネル等の表示パネルと、表示パネルに重ねて、或いは一体に設けられたタッチセンサーとを備える。表示パネルは、端末制御部３０の制御で、各種画像を表示する。タッチセンサーは、タッチ操作を検出し、端末制御部３０に出力する。端末制御部３０は、タッチセンサーからの入力に基づいて、タッチ操作に対応する処理を実行する。タッチパネル３２は、本発明の表示部に対応する。
　上記の通り、端末制御部３０は、アプリ実行部３１００として機能する。
　アプリ実行部３１００は、端末通信部３１を制御して、食品管理サーバー４と各種情報を送受信する。アプリ実行部３１００は、端末装置３と通信装置５とが通信接続が可能である場合、通信装置５を介して食品管理サーバー４と各種情報を送受信し、そうでない場合、通信装置５を介さず食品管理サーバー４と各種情報を送受信する。このため、ユーザーＰが自宅Ｈ内或いは自宅Ｈの周辺に位置しなくても、端末装置３は、食品管理用アプリ３２３の機能によって、食品管理サーバー４と各種情報を送受信できる。
　また、アプリ実行部３１００は、冷蔵庫１に収容される食品を管理に係るユーザーインターフェースを、タッチパネル３２に表示させる。以下の説明において、このユーザーインターフェースを、「食品管理用ＵＩ」といい「３２００」の符号を付す。アプリ実行部３１００は、食品管理用ＵＩ３２００をタッチパネル３２に表示させることで、冷蔵庫１に収容される食品に係る各種情報をユーザーＰに提供し、また、冷蔵庫１に収容される食品に係る各種入力をユーザーＰから受け付ける。
　上記の通り、端末制御部３０は、アプリ実行部３１００として機能する。
　アプリ実行部３１００は、端末通信部３１を制御して、食品管理サーバー４のレシピ情報データベース４２４に記憶された各種レシピ情報を受信する。
　図７は、アプリ実行部３１００による端末装置３の表示例を示す図である。
　図７では、タッチパネル３２の表示画面の下方に、複数の操作タブ３００を備えている。
　操作タブ３００は、「冷蔵室」、「野菜室」、「冷凍室」、「レシピ検索」、「メッセージメモ」の５つの操作タブ３００が設けられている。
　ユーザーが「冷蔵室」の操作タブ３００を操作すると、アプリ実行部により端末通信部３１を制御して、食品管理サーバー４の食品管理データベース４２３に格納されている冷蔵室１１全体の食品画像データを受信し、タッチパネル３２に表示させる。
　「野菜室」の操作タブ３００を操作すると、端末通信部３１を制御して、食品管理サーバー４の食品管理データベース４２３に格納されている野菜室１５全体の食品画像データを受信し、タッチパネル３２に表示させる。図８は野菜室１５全体の食品画像データＦを表示している例を示している。
　この状態で、「レシピ検索」の操作タブ３００を操作すると、アプリ実行部により端末通信部３１を制御して、食品管理サーバー４のレシピ情報データベース４２４を検索し、野菜室１５全体の食品画像データＦに表示されている食品に応じたレシピ情報Ｒを受信する。端末制御部３０は、受信したレシピ情報Ｒをタッチパネル３２に表示する。
　この場合、レシピ情報Ｒは、野菜室１５の食品画像データＦに表示されている食品ごとに表示することもできる。
　また、野菜室１５の食品をユーザーが任意に選択し、この選択した食品のレシピ情報Ｒを表示させることもできる。
　この場合は、タッチパネル３２に表示されている野菜室１５全体の食品画像データＦに基づいて、ユーザーが所望の食品を選択する。図７においては、キャベツの画像を選択した例を示している。キャベツの画像が選択されると、端末制御部３０により選択された食品を四角枠３０１で囲って画像を特定する。
　端末制御部３０は、選択された食品がいずれの食品であるかを判断する。
　端末制御部３０は、選択され食品の認識結果を判断する。例えば、食品の認識を行った結果、その確率が、キャベツ８０％、レタス１５％、白菜５％と判断した場合、端末制御部３０は、認識結果の確率が上位の食品のレシピ情報Ｒを優先して表示させる。
　この場合は、キャベツを使ったレシピ情報Ｒ、レタスを使ったレシピ情報Ｒ、白菜を使ったレシピ情報Ｒの順で、表示させる。
　この場合に、認識結果に基づいて、認識された食品名を確率の高い順でタッチパネル３２に表示し、ユーザーに食品名を指定させるようにしてもよい。
　ユーザーにより食品名が指定された場合には、端末制御部３０は、指定された食品名に応じたレシピ情報Ｒをレシピ情報データベース４２４で検索し、そのレシピ情報Ｒをタッチパネル３２に表示させる。
　「レシピ検索」の操作タブ３００を操作した場合に、冷蔵庫１に入庫された日付が古い食品から順にレシピ情報Ｒを表示させるようにしてもよい。
　図８は、食品リスト表示の例を示す図である。
　図８に示すように、冷蔵庫１に入庫された日付が古い食品から順に食品リストＬを表示させている。
　ユーザーは、この食品リストＬの画面から、任意の食品を選択することで、端末制御部３０により、対応する食品のレシピ情報Ｒをレシピ情報データベース４２４から取出してタッチパネル３２に表示させる。
　なお、食品リストＬに表示させる食品の優先順位を、入庫の日付ではなく、任意の優先順位を設定できるようにしてもよい。
　さらに、冷蔵室１１、野菜室１５、冷凍室１４に入庫されている食品の在庫リストを表示させ、この食品在庫リストからレシピ情報Ｒを表示させる食品を選択させるようにしてもよい。
　また、ユーザーが使いたい食品を逐次入力させることで、レシピ情報Ｒを表示させるようにしてもよい。
　［１－２－１．食品の撮影動作］
　次に、食品の管理に係わる食品管理システム１０００の各部の動作について説明する。
　まず、冷蔵室用カメラ２１及び引出用カメラ２２の撮影に係わる食品検出装置２の動作について説明する。
　図９は、食品検出装置２の動作を示すフローチャートである。
　図９に示す動作では、センサー部２１２が有する各種センサーの検出値を、センサーモジュール２１０がセンサー側モジュール間通信部２１３によってカメラモジュール２２０に送信し、且つ、カメラモジュール２２０がカメラ側モジュール間通信部２２４によって当該検出値を受信している。そして、図８に示す動作では、検出値処理部２２１Ａがセンサーモジュール２１０から受信した各種の検出値に基づいて処理を実行している。
　カメラモジュール２２０の撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在するか否かを判別する（ステップＳＡ１）。
　撮影制御部２２１Ｂは、検出値処理部２２１Ａから、人物が存在することを示す人物存在有無情報を取得した場合、ステップＳＡ１において肯定判別し、検出値処理部２２１Ａから、人物が存在しないことを示す人物存在有無情報を取得した場合、ステップＳＡ１において否定判別する。
　撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在すると判別した場合（ステップＳＡ１：ＹＥＳ）、冷蔵室用カメラ２１及び引出用カメラ２２による動画像の撮影を開始する（ステップＳＡ３）。
　一方、撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在しないと判別した場合（ステップＳＡ１：ＮＯ）、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４、１５Ａのいずれかが開状態であるか否かを判別する（ステップＳＡ２）。
　撮影制御部２２１Ｂは、検出値処理部２２１Ａから開状態を示す開閉状態情報を取得した場合、ステップＳＡ２において肯定判別し、検出値処理部２２１Ａから閉状態を示す開閉状態情報を取得した場合、ステップＳＡ２において否定判別する。
　撮影制御部２２１Ｂは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４、１５Ａのいずれも開状態でないと判別した場合（ステップＳＡ２：ＮＯ）、処理をステップＳＡ１に戻し、再度、ステップＳＡ１の処理を実行する。
　撮影制御部２２１Ｂは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれかが開状態であると判別した場合（ステップＳＡ２：ＹＥＳ）、ステップＳＡ３の処理を実行する。
　ステップＳＡ３において撮影が開始すると、カメラモジュール２２０の動画像処理部２２１Ｃは、動画像を構成するフレームごとに、ステップＳＡ４－ステップＳＡ８の処理を実行する。
　冷蔵室用カメラ２１及び引出用カメラ２２によって撮影を開始すると、動画像処理部２２１Ｃは、開閉状態情報を検出値処理部２２１Ａから取得する（ステップＳＡ４）。
　次いで、動画像処理部２２１Ｃは、冷蔵室用カメラ２１及び引出用カメラ２２の各々の撮影結果について、１フレーム分の撮影画像を縮小する（ステップＳＡ５）。ここでいう縮小とは、いわゆるリサイズである。
　動画像処理部２２１Ｃは、縮小した１フレーム分の撮影画像と、ステップＳＡ４で取得した開閉状態情報とを対応付けて、カメラ記憶部２２１２に記憶する（ステップＳＡ６）。なお、動画像処理部２２１Ｃは、ステップＳＡ６を行うたびに、時系列に並べて記憶していく。
　次いで、撮影制御部２２１Ｂは、ステップＳＡ１と同様に、冷蔵庫１の周囲に人物が存在するか否かを判別する（ステップＳＡ７）。
　撮影制御部２２１Ｂが、冷蔵庫１の周囲に人物が存在すると判別した場合（ステップＳＡ７：ＹＥＳ）、動画像処理部２２１Ｃは、再度、ステップＳＡ４以降の処理を実行する。
　一方、撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在しないと判別した場合（ステップＳＡ７：ＮＯ）、ステップＳＡ２と同様に、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれもが閉状態であるか否かを判別する（ステップＳＡ８）。
　撮影制御部２２１Ｂが、左ドア１１Ａ、右ドア１１Ｂ、及び引出１２Ａ、１３Ａ、１４Ａ、１５Ａの全てが閉状態でないと判別した場合（ステップＳＡ８：ＮＯ）、動画像処理部２２１Ｃは、再度、ステップＳＡ４以降の処理を実行する。
　一方、撮影制御部２２１Ｂが、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれもが閉状態であると判別した場合（ステップＳＡ８：ＹＥＳ）、冷蔵室用カメラ２１及び引出用カメラ２２による撮影を終了する（ステップＳＡ９）。
　［１－２－２．食品の管理動作］
　次に、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果に基づく食品の管理に係わる動作について説明する。
　図１０は、食品検出装置２及び食品管理サーバー４の動作を示すフローチャートである。図１０において、フローチャートＦＢは、食品検出装置２の動作を示す。また、図１０において、フローチャートＦＣは、食品管理サーバー４の動作を示す。
　食品検出装置２のカメラモジュール２２０の食品検出部２２１Ｄは、カメラ記憶部２２１２に、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果である動画像が記憶されたか否かを判別する（ステップＳＢ１）。
　食品検出部２２１Ｄは、動画像がカメラ記憶部２２１２に記憶されていないと判別した場合（ステップＳＢ１：ＮＯ）、再度、ステップＳＢ１の処理を実行する。
　一方、食品検出部２２１Ｄは、動画像がカメラ記憶部２２１２に記憶されたと判別した場合（ステップＳＢ１：ＹＥＳ）、有効フレーム判定処理を実行する（ステップＳＢ２）。
　有効フレーム判定処理は、カメラ記憶部２２１２に記憶された動画像を構成するフレームから有効フレームを判定し、有効フレームとして判定されたフレームを動画像から抽出する一方、有効フレームとして特定されなかったフレームについては動画像から破棄する処理である。有効フレームとは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの少なくともいずれかが開状態である場合の像が写るフレームである。
　食品検出部２２１Ｄは、有効フレーム判定処理を実行すると、有効フレームから、冷蔵庫１に入出庫された食品を検出する（ステップＳＢ３）。ステップＳＢ３の処理では、有効フレームから食品が検出できた場合、検出できた食品について食品の種類及び入出庫された収容室も併せて検出する。なお、食品検出部２２１Ｄは、食品の種類として、食品名より広義な分類で検出する。例えば実際に入出庫された食品が牛乳である場合、食品検出部２２１Ｄは、ステップＳＢ３において、食品の種類を、「パックの飲料物」と検出する。
　例えば、食品検出部２２１Ｄは、形状や色等の特徴量に基づいて、有効フレームから冷蔵庫１に入出庫された食品を検出する。また、例えば、食品検出部２２１Ｄは、形状や色等の特徴量に基づいて、検出できた食品の種類を検出する。また、例えば、食品検出部２２１Ｄは、カメラの種類や、有効フレームに写る引出１６Ａのサイズ等に基づいて、検出できた食品が入出庫された収容室を検出する。
　ステップＳＢ３において検出に必要なデータは、カメラモジュール制御部２２１が取得可能な記憶領域に記憶されている。
　食品検出部２２１Ｄは、有効フレームから、冷蔵庫１に入出庫された食品を検出できか否かを判別する（ステップＳＢ４）。
　食品検出部２２１Ｄは、有効フレームから冷蔵庫１に入出庫された食品を検出できなかったと判別した場合（ステップＳＢ４：ＮＯ）、処理をステップＳＢ１に戻し、再度、ステップＳＢ１以降の処理を実行する。なお、ステップＳＢ４において否定判別してからステップＳＢ１を再度実行するまでの間に、食品検出部２２１Ｄは、有効フレームの破棄を行ってもよい。これにより、食品が検出できなかった不要な動画像がカメラ記憶部２２１２に記憶され続けることを防止できる。
　一方、食品検出部２２１Ｄは、冷蔵庫１に入出庫された食品を検出できたと判別した場合（ステップＳＢ４：ＹＥＳ）、入出庫判定処理を行う（ステップＳＢ５）。
　入出庫判定処理は、ステップＳＢ３が検出できた食品が、冷蔵庫１に入庫された食品であるか出庫された食品であるかを判定する処理である。
　例えば、食品検出部２２１Ｄは、入出庫判定処理において、ステップＳＢ３で検出できた食品の像の動画像における移動方向を、有効フレームに基づいて判定する。食品検出部２２１Ｄは、食品の像の移動方向が、後方、すなわち冷蔵庫１に近づく方向である場合、検出した食品が冷蔵庫１から入庫された食品であると判定する。また、食品検出部２２１Ｄは、食品の像の移動方向が、前方、すなわち冷蔵庫１から離れる方向である場合、検出した食品が冷蔵庫１から出庫された食品であると判定する。
　次いで、食品検出部２２１Ｄは、検出できた食品の食品画像ＦＧを有効フレームから切り出す（ステップＳＢ６）。以下の説明において、切り出された食品画像ＦＧを「切り出し食品画像」という。
　食品検出部２２１Ｄは、食品管理サーバー４に食品の管理を要求する食品管理要求情報を、カメラモジュール通信部２２３により食品管理サーバー４に送信する（ステップＳＢ７）。
　食品管理サーバー４に送信される食品管理要求情報は、カメラ記憶部２２１２が記憶する食品検出装置ＩＤ２２１５を含む。
　また、食品管理サーバー４に送信される食品管理要求情報は、動画像の撮影が行われた日時を示す日時情報を含む。
　また、食品管理サーバー４に送信される食品管理要求情報は、ステップＳＢ３において検出された食品ごとに、切り出し食品画像の画像データ、入出庫判定処理の判定結果を示す入出庫判定結果情報、検出した入庫先又は出庫先を示す保存場所情報４２３４、及び検出した食品の種類を示す食品種類情報を含む。
　フローチャートＦＣを参照し、食品管理サーバー４のサーバー制御部４０の食品認識部４１００は、サーバー通信部４１により、食品管理要求情報を受信したか否かを判別する（ステップＳＣ１）。
　食品認識部４１００は、食品管理要求情報を受信していないと判別した場合（ステップＳＣ１：ＮＯ）、再度、ステップＳＣ１の処理を実行する。
　一方、食品認識部４１００は、食品管理要求情報を受信したと判別した場合（ステップＳＣ１：ＹＥＳ）、食品管理要求情報に含まれる画像データが示す切り出し食品画像に基づいて、食品認識処理を行う（ステップＳＣ２）。
　本実施の形態における食品認識処理は、切り出し食品画像から食品を認識し、認識した食品について食品画像ＦＧと食品名情報４２３２とを食品情報データベースから取得する処理である。
　食品情報データベースは、食品に係わる情報を格納するデータベースであり、例えば、食品ごとに、食品画像ＦＧの画像データ及び食品名情報４２３２を格納する。食品情報データベースは、食品管理サーバー４に記憶されていてもよいし、食品管理サーバー４が通信可能な機器に記憶されていてもよい。
　例えば、食品の認識は、以下のように行われる。
　食品認識部４１００は、食品情報データベースに格納される食品画像ＦＧから、切り出し食品画像と最も一致度の高い食品画像ＦＧを特定する。一致度は、例えば、形状や、色等の特徴量に基づいて所定のアルゴリズムにより算出される。そして、食品認識部４１００は、特定した食品画像ＦＧが示す食品が、切り出し食品画像が示す食品であると認識する。
　なお、食品認識部４１００は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）によって食品認識を行ってもよい。例えば教師用の食品画像ＦＧから食品の色や形状等の特徴量を学習する機械学習処理を行い、学習済みモデルを構築しておく。この学習済みモデルは、サーバー記憶部４２０に記憶させておく。食品認識部４１００は、食品管理要求情報に含まれる食品画像ＦＧを入力データとして、学習済みモデルを参照し当該食品画像ＦＧが示す食品を認識する。ここで、この学習済みモデルがグローバルネットワークＧＮに接続する食品管理サーバー４以外の機器に記憶させており、食品管理サーバー４において食品を認識する構成でもよい。この構成の場合、食品認識部４１００は、食品管理要求情報に含まれる食品画像を、学習済みモデルを記憶する機器に送信し、この機器から食品の特定結果を取得する。そして、食品認識部４１００は、取得した特定結果が示す食品を、切り出し食品画像が示す食品であると認識する。
　食品認識部４１００は、食品の認識を行うと、認識した食品について食品画像ＦＧ及び食品名情報４２３２を、食品情報データベースから取得する。
　次いで、食品認識部４１００は、食品認識処理を行うと、食品認識処理の処理結果に基づいて食品管理データベース４２３を更新する（ステップＳＣ３）。
　ここで、ステップＳＣ３について詳述する。
　まず、食品認識部４１００は、食品管理要求情報に含まれる食品検出装置ＩＤ２１２５を有するレコードＲを食品管理データベース４２３から特定する。
　次いで、食品認識部４１００は、受信した食品管理要求情報に含まれる入出庫判定結果情報に基づいて、認識した食品が、冷蔵庫１に入庫された食品であるか、冷蔵庫１から出庫された食品であるかを判定する。
　食品認識部４１００は、認識した食品が、冷蔵庫１から出庫された食品であると判定した場合、特定したレコードＲにおいて、認識した食品の食品名情報４２３２に対応付く情報を更新する。
　より具体的には、食品認識部４１００は、残量情報４２３３が示す残量を減らす処理を行う。減らす数量は、例えば食品認識処理の際に、食品管理要求情報に含まれる食品画像ＦＧに基づいて算出される。ここで、更新後の残量情報４２３３がゼロを示す場合、食品認識部４１００は、保存開始日情報４２３５が示す保存開始日、及び期限日情報４２３６が示す期限日をブランクにしてもよい。
　食品認識部４１００は、認識した食品が、冷蔵庫１に入庫された食品であると判定した場合、過去に入庫したことのある食品については、特定したレコードＲにおいて、認識した食品の食品名情報４２３２に対応付く情報を更新する。
　より具体的には、食品認識部４１００は、残量情報４２３３が示す残量を増やす処理を行う。増やす数量は、例えば食品認識処理の際に、食品管理要求情報に含まれる切り出し食品画像に基づいて算出される。また、食品認識部４１００は、食品管理要求情報に含まれる日時情報が示す日付を、保存開始日情報４２３５が示す保存開始日に変更する処理を行う。また、食品認識部４１００は、演算や問い合わせ等の所定の方法によって、食品管理要求情報に含まれる日時情報が示す日付に基づく期限日を取得し、期限日情報４２３６が示す期限日を取得した期限日に変更する処理を行う。
　また、食品認識部４１００は、認識した食品が、冷蔵庫１に入庫された食品であると判定した場合、過去に入庫したことのない食品については、特定したレコードＲのユーザーＩＤ４２３１に対して、新たな各種情報を対応付ける。
　特定したレコードＲのユーザーＩＤ４２３１に対応付けられる各種情報には、食品名情報４２３２、残量情報４２３３、保存場所情報４２３４、保存開始日情報４２３５、期限日情報４２３６、期限日通知タイミング情報４２３７、新規通知タイミング情報４２３８、及び食品画像データ４２３９が含まれる。
　ここで、食品名情報４２３２は、食品認識処理の際に取得した食品名情報４２３２である。
　また、残量情報４２３３は、例えば、食品認識処理の際に、食品管理要求情報に含まれる切り出し食品画像に基づいて算出された残量を示す。
　また、保存場所情報４２３４は、食品管理要求情報に含まれる保存場所情報４２３４である。
　また、保存開始日情報４２３５は、食品管理要求情報に含まれる日時情報が示す日付を示す。
　また、期限日情報４２３６は、食品管理要求情報に含まれる日時情報が示す日付に基づく期限日、或いはブランクを示す。
　また、期限日通知タイミング情報４２３７及び新規通知タイミング情報４２３８は、デフォルトのタイミング、或いはブランクを示す。
　また、食品画像データ４２３９は、食品認識処理の際に取得した食品画像ＦＧを示す。
　以上のようにして、食品管理システム１０００では、食品検出装置２が、撮影結果の動画像から有効フレームを判定し、有効フレームから食品を検出し、検出した食品の食品画像ＦＧを有効フレームから切り出す。そして、食品管理システム１０００では、食品管理サーバー４が、切り出し食品画像から食品の認識を行う。このような役割分担により、食品検出装置２が食品管理サーバー４に送信するデータ量を抑えつつ食品管理サーバー４において食品の認識ができる。よって、食品管理システム１０００において、通信量の増大を抑制しつつ、冷蔵庫１に入出庫された食品を認識できる。
　［１－２－３．レシピ情報の表示動作］
　次に、レシピ情報Ｒの表示動作について説明する。
　図１１は、レシピ情報Ｒの表示動作を示すフローチャートである。
　食品検出装置２及び食品管理サーバー４の動作を示すフローチャートである。図１１において、フローチャートＳＤは、端末装置３の動作を示し、フローチャートＳＥは、食品管理サーバー４の動作を示す。
　図１１に示すように、端末装置３のタッチパネル３２に冷蔵庫１（野菜室１５）の庫内全体の食品画像データＦを表示させた状態で（ＳＤ１）、「レシピ検索」タブが操作されると（ＳＤ２：ＹＥＳ）、タッチパネル３２に表示されている野菜室１５全体の食品画像データＦに基づいて、ユーザーが所望の食品を選択する（ＳＤ３）。
　続いて、端末制御部３０は、選択された食品がいずれの食品であるかを判断する（ＳＤ４）。
　端末制御部３０は、食品の認識結果の確率を判断し（ＳＤ５）、認識された食品のレシピ情報Ｒを食品管理サーバー４に要求する（ＳＤ６）。
　食品管理サーバー４は、食品のレシピ情報Ｒの要求があったら（ＳＥ１）、レシピ情報データベース４２４から対応する食品のレシピ情報Ｒを取出す（ＳＥ２）。
　食品管理サーバー４は、取出した食品のレシピ情報Ｒを端末装置３に送信する（ＳＤＥ）。
　端末装置３は、食品管理サーバー４からレシピ情報Ｒを受信したら（ＳＤ７）、受信したレシピ情報Ｒをタッチパネル３２に表示させる（ＳＤ８）。
　［１－３．効果等］
　以上、説明したように、本実施の形態においては、端末装置３のプロセッサーを、冷蔵庫１の前上方から撮影された冷蔵庫１の撮影画像から冷蔵庫１に収容された食品の種類を取得し、冷蔵庫１に収容された食品に応じたレシピ情報Ｒをタッチパネル３２（表示部）に表示する端末制御部３０として機能させる。
　これにより、冷蔵庫１の撮影画像から取得した食品のレシピ情報Ｒをタッチパネル３２に表示させることができ、冷蔵庫１に収納された食品のレシピ情報Ｒを提案することができ、使い勝手の向上を図ることができる。
　また、本実施の形態においては、端末制御部３０は、レシピ情報Ｒが格納されたレシピ情報データベース４２４から、冷蔵庫１に収容された食品に応じたレシピ情報Ｒを取得し、タッチパネル３２（表示部）に表示させる。
　これにより、冷蔵庫１に収容された食品のレシピ情報Ｒをレシピ情報データベース４２４から取出してタッチパネル３２に表示させることができる。
　また、本実施の形態においては、端末制御部３０は、冷蔵庫１に収容された食品の画像データと、レシピ情報Ｒとを同時に表示させる。
　これにより、食品の画像データとレシピ情報Ｒとを同時に表示させることで、食品の画像データに応じたレシピ情報Ｒを確認することができる。
　また、本実施の形態においては、端末制御部３０は、食材の画像データに基づいて、食品の種類の認識確率に基づいて、認識確率の高い食品のレシピ情報Ｒを優先して表示させる。
　これにより、食品の種類の認識結果の確率が高い食品のレシピ情報Ｒを優先的に表示させることで、必要なレシピ情報Ｒを得ることができる。
　また、本実施の形態においては、端末制御部３０は、冷蔵庫１に入庫された日付が古い食品から順にレシピ情報Ｒを表示する。
　これにより、冷蔵庫１に入庫された日付が古い食品のレシピ情報Ｒを表示させることで、食品の有効活用を図ることができる。
　また、本実施の形態においては、端末装置３は、冷蔵庫１の前上方から撮影された冷蔵庫１の撮影画像から冷蔵庫１に収容された食品の種類を取得し、冷蔵庫１に収容された食品に応じたレシピ情報Ｒをタッチパネル３２（表示部）に表示する端末制御部３０を備える。
　これにより、冷蔵庫１の撮影画像から取得した食品のレシピ情報Ｒをタッチパネル３２に表示させることができ、冷蔵庫１に収納された食品のレシピ情報Ｒを容易に取得することができ、使い勝手の向上を図ることができる。
　また、本実施の形態においては、レシピ表示システムは、冷蔵庫１の前上方から撮影された冷蔵庫１の撮影画像から前記冷蔵庫１に収容された食品の種類を取得する食品認識部と、食品認識部で認識された食品に応じたレシピ情報Ｒをタッチパネル３２（表示部）に表示する端末装置３とを備えた。
　これにより、冷蔵庫１の撮影画像から取得した食品のレシピ情報Ｒをタッチパネル３２に表示させることができ、冷蔵庫１に収納された食品のレシピ情報Ｒを容易に取得することができ、使い勝手の向上を図ることができる。
　（他の実施の形態）
　以上のように、本出願において開示する例示として、上記実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下、他の実施の形態を例示する。
　上述した実施の形態においては、タッチパネル３２に表示されている野菜室１５全体の食品画像データＦに基づいて、ユーザーが所望の食品を選択するようにしているが、この場合に、ユーザーは、複数の食品を選択することができるようにしてもよい。この場合に、複数の食品の確率の高い組みあわせ順にレシピを提案するようにしてもよい。
　また、例えば、図７で示したように、キャベツをユーザーが選択した場合に、キャベツの横に複数の食品の選択肢を表示するようにしてもよい。その後、ユーザーが１つまたは複数の食品を選択することで、レシピを提案するようにしてもよい。
　さらに、図８においては、食品の画像情報を表示するようにしているが、画像情報とともに、または画像情報に代えて食品名を表示するようにしてもよい。
　また、例えば、図７に示す四角枠３０１を選択することで、画像情報に基づく複数の食品の選択肢を表示させるようにしてもよい。この場合、例えば、画像情報に基づいて、確率の高い順に食品の選択肢を表示させるようにしてもよい。
　そして、ユーザーが選択肢として表示された食品を選択することで、レシピを提案するようにしてもよい。
　これにより、四角枠３０１で囲まれた食品が確定していない状態で、食品を選択してレシピを提案することが可能となる。
　上述した実施の形態では、センサーモジュール２１０とカメラモジュール２２０とが別対である場合を例に挙げたが、一体で構成されてもよい。
　例えば、上述した実施の形態では、本発明の開閉センサーとして、距離を測定する測距センサーを例示したが、本発明の開閉センサーは、ドア１１Ｃ及び引出１６Ａの開閉状態を検出可能であればよく、例えばカメラでもよい。
　例えば、上述した実施の形態では、食品検出装置２を冷蔵庫１と別体の装置として例示したが、食品検出装置２は、冷蔵庫１に組み込まれ冷蔵庫１が備える装置でもよい。
　例えば、冷蔵庫１の主箱体１０に形成される部屋の種類は、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５に限定されず、少なくてもよいし、さらに別の種類の部屋が形成されてもよい。また、冷蔵室１１の前面の開口部に設けられるドアの数は、１つでもよい。
　図４及び図５に示した各部は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、食品検出装置２、端末装置３、及び食品管理サーバー４の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
　また、例えば、図８、図９に示す動作のステップ単位は、食品管理システム１０００の各部の動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。
　なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　以上のように、本発明に係るプログラムは、冷蔵庫に収納された食品のレシピを提案することできる用途に利用可能である。
　１　冷蔵庫
　２　食品検出装置
　３　端末装置
　４　食品管理サーバー
　５　通信装置
　７　商用交流電源
　１１　冷蔵室
　１２　製氷室
　１３　新鮮凍結室
　１４　冷凍室
　１５　野菜室
　２１　冷蔵室用カメラ
　２２　引出用カメラ
　３０　端末制御部
　３１　端末通信部
　３２　タッチパネル
　４０　サーバー制御部
　４１　サーバー通信部
　３００　操作タブ
　３０１　四角枠
　３１０　端末プロセッサー
　３２０　端末記憶部
　３２１　制御プログラム
　３２２　設定データ
　３２３　食品管理用アプリ
　４１０　サーバープロセッサー
　４２０　サーバー記憶部
　４２１　制御プログラム
　４２２　設定データ
　４２３　食品管理データベース
　４２４　レシピ情報データベース
　ＧＮ　グローバルネットワーク
　Ｆ　食品画像データ
　Ｒ　レシピ情報
　Ｌ　食品リスト

Claims (7)

  1. 　端末装置のプロセッサーを、
    　冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得し、前記冷蔵庫に収容された食品に応じたレシピ情報を表示部に表示する端末制御部として機能させる、
    　プログラム。
  2. 　前記端末制御部は、
    　レシピ情報が格納されたレシピ情報データベースから、前記冷蔵庫に収容された食品に応じたレシピ情報を取得し、前記表示部に表示させる、
    　請求項１に記載のプログラム。
  3. 　前記端末制御部は、
    　前記冷蔵庫に収容された食品の画像データと、前記レシピ情報とを同時に表示させる、
    　請求項２に記載のプログラム。
  4. 　前記端末制御部は、
    　前記食品の画像データに基づいて、食品の種類の認識確率に基づいて、認識確率の高い食品のレシピ情報を優先して表示させる、
    　請求項３に記載のプログラム。
  5. 　前記端末制御部は、
    　前記冷蔵庫に入庫された日付が古い食品から順にレシピ情報を表示する、
    　請求項１から請求項４のいずれか一項に記載のプログラム。
  6. 　冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得し、前記冷蔵庫に収容された前記食品に応じたレシピ情報を表示部に表示する端末制御部を備える、
    　端末装置。
  7. 　冷蔵庫の前上方から撮影された前記冷蔵庫の撮影画像から前記冷蔵庫に収容された食品の種類を取得する食品認識部と、
    　前記食品認識部で認識された食品に応じたレシピ情報を表示部に表示する端末装置とを備えた、
    　レシピ表示システム。
PCT/JP2022/039905 2021-11-29 2022-10-26 プログラム、端末装置、およびレシピ表示システム WO2023095526A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021193594A JP2023079899A (ja) 2021-11-29 2021-11-29 プログラム、端末装置、およびレシピ表示システム
JP2021-193594 2021-11-29

Publications (1)

Publication Number Publication Date
WO2023095526A1 true WO2023095526A1 (ja) 2023-06-01

Family

ID=86539344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/039905 WO2023095526A1 (ja) 2021-11-29 2022-10-26 プログラム、端末装置、およびレシピ表示システム

Country Status (2)

Country Link
JP (1) JP2023079899A (ja)
WO (1) WO2023095526A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306797A (ja) * 2000-04-26 2001-11-02 Sharp Corp 食品情報の処理方法および装置、ならびに情報処理端末装置
JP2002188882A (ja) * 2000-12-19 2002-07-05 Matsushita Refrig Co Ltd 食品情報表示装置とその装置を備えた冷蔵庫
JP2020041714A (ja) * 2018-09-06 2020-03-19 東芝ライフスタイル株式会社 冷蔵庫システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306797A (ja) * 2000-04-26 2001-11-02 Sharp Corp 食品情報の処理方法および装置、ならびに情報処理端末装置
JP2002188882A (ja) * 2000-12-19 2002-07-05 Matsushita Refrig Co Ltd 食品情報表示装置とその装置を備えた冷蔵庫
JP2020041714A (ja) * 2018-09-06 2020-03-19 東芝ライフスタイル株式会社 冷蔵庫システム

Also Published As

Publication number Publication date
JP2023079899A (ja) 2023-06-08

Similar Documents

Publication Publication Date Title
JP7182139B2 (ja) 食品検出装置、及び食品管理システム
CN112984913B (zh) 物品显示系统
JP7281755B2 (ja) 冷蔵庫
JP2022162054A (ja) 食品管理システム
JP2022103368A (ja) 冷蔵庫
WO2023095526A1 (ja) プログラム、端末装置、およびレシピ表示システム
JP2022162053A (ja) 食品管理システム、及び冷蔵庫
JP2024016290A (ja) 撮影装置
JP7300631B2 (ja) 撮影装置、及び撮影装置の制御方法
WO2022180951A1 (ja) プログラム、端末装置、及び端末装置の制御方法
WO2022180950A1 (ja) プログラム、端末装置、及び端末装置の制御方法
JP2024058085A (ja) 物品管理システム、物品管理システムの制御方法、物品管理装置、及びプログラム
JP7289083B2 (ja) 冷蔵庫
JP7289084B2 (ja) 冷蔵庫
WO2023095533A1 (ja) 検出システム、プログラム及び入出庫管理方法
JP2023079897A (ja) プログラム、端末装置、端末装置の制御方法、及び表示システム
JP2023099664A (ja) 冷蔵庫
KR20210109223A (ko) 다수 개의 기기의 구동 시간을 동기화하기 위한 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898310

Country of ref document: EP

Kind code of ref document: A1