WO2023166917A1 - 食材管理システム、食材管理方法及びプログラム - Google Patents

食材管理システム、食材管理方法及びプログラム Download PDF

Info

Publication number
WO2023166917A1
WO2023166917A1 PCT/JP2023/003789 JP2023003789W WO2023166917A1 WO 2023166917 A1 WO2023166917 A1 WO 2023166917A1 JP 2023003789 W JP2023003789 W JP 2023003789W WO 2023166917 A1 WO2023166917 A1 WO 2023166917A1
Authority
WO
WIPO (PCT)
Prior art keywords
ingredients
storage
stored
food
refrigerator
Prior art date
Application number
PCT/JP2023/003789
Other languages
English (en)
French (fr)
Inventor
愼一 堀井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023166917A1 publication Critical patent/WO2023166917A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present disclosure relates to a food ingredient management system, food ingredient management method and program.
  • Patent Document 1 discloses a technique for providing a camera on the top of a refrigerator, capturing an image when an object passing through the opening of the refrigerator is detected, and managing food stored in the refrigerator based on the image capturing result.
  • the present disclosure provides a food material management system, a food material management method, and a program that improve user convenience.
  • a food management system includes an imaging device that captures an image of a storage room of a storage, and acquires the color of the food stored in the storage based on the captured image captured by the imaging device, and the food stored in the storage. are classified based on the color of the food, a control device that calculates the ratio of the food classified into each color to the food stored in the storage, and displays the calculated ratio on the information processing device; Prepare.
  • a food management system includes an imaging device that captures an image of a storage room of a storage, and based on the captured image captured by the imaging device, determines the food to be stored in the storage, and determines the nutrients contained in the stored food. is obtained, and the food ingredients stored in the storage room are classified based on the nutrients contained in the food ingredients, and the ratio of the food ingredients classified as food ingredients containing each nutrient to the food ingredients stored in the storage room is calculated. and a control device that calculates and displays the calculated ratio on the information processing device.
  • the food management method acquires the color of the food stored in the storage based on the captured image captured in the storage room of the storage, and determines the food stored in the storage based on the color of the food. Then, the ratio of the ingredients classified into each color to the ingredients stored in the storage is calculated, and the calculated ratio is displayed on the information processing device.
  • the food material management method in the present disclosure determines the food material to be stored in the storage based on the captured image captured in the storage room of the storage, acquires the nutrients contained in the food to be stored, and stores it in the storage room.
  • the stored foodstuffs are classified based on the nutrients of the foodstuffs, the ratio of the foodstuffs classified as the foodstuffs containing each nutrient to the foodstuffs stored in the storage is calculated, and the calculated ratio is sent to the information. display on the processor.
  • the program in the present disclosure causes a computer to acquire the color of the food material stored in the storage room based on the captured image captured in the storage room of the storage room, and the food material to be stored in the storage room based on the color of the food material. and calculating the ratio of the ingredients classified into each color to the ingredients stored in the storage, and causing the information processing device to display the calculated ratio.
  • the program according to the present disclosure causes a computer to determine ingredients to be stored in the storage based on captured images captured in the storage room of the storage, acquire nutrients contained in the stored ingredients, and store in the storage room. classify the food ingredients according to the nutrients of the food ingredients, calculate the ratio of the ingredients classified as the food ingredients containing each nutrient to the food ingredients stored in the storage, and send the calculated ratio to the information processing Execute the processing to be displayed on the device.
  • the food material management system, food material management method, and program according to the present disclosure classify the food materials stored in the storage room based on the color and nutrients of the food materials, and the food materials classified according to each color and each nutrient are stored in the storage room.
  • the food materials classified according to each color and each nutrient are stored in the storage room.
  • FIG. 1 is a diagram showing an example of the system configuration of an article management system
  • FIG. 2 is a diagram showing an example of the configuration of an identification information database
  • FIG. 3 is a diagram showing an example of the configuration of the ingredients management database
  • FIG. 4 is a diagram showing an example of the configuration of an article management database
  • FIG. 5 is a diagram showing an example of the configuration of an open state management database
  • Figure 6 is a front view of the refrigerator
  • FIG. 7 is a block diagram showing the configuration of an imaging device
  • FIG. 8 is a top view of the refrigerator
  • FIG. 9 is a diagram showing an example of an image captured by a refrigerator camera
  • FIG. 10 is a diagram showing an example of an image captured by a drawer camera;
  • FIG. 11 is a diagram showing boundaries between the first, second, third, and fourth regions;
  • FIG. 12 is a diagram for explaining the entering/leaving determination image;
  • FIG. 13 is a flowchart showing the operation of the imaging device;
  • FIG. 14 is a flow chart showing the operation of the article management system
  • FIG. 15 is a flowchart showing the operation of the article management server
  • FIG. 16 is a diagram showing an example of an initial screen;
  • FIG. 17 is a diagram showing an example of a color balance display screen;
  • FIG. 18 is a diagram showing an example of a recommendation screen;
  • FIG. 19 is a diagram showing an example of a nutrient display screen;
  • FIG. 20 is a diagram showing an example of a recipe search screen;
  • FIG. 21 is a diagram showing an example of an ingredient correction screen;
  • FIG. 22 is a flowchart showing the operation of the information processing device
  • FIG. 23 is a flowchart showing the operation of the information processing device
  • FIG. 24 is
  • the present disclosure provides a food material management system, a food material management method, and a program that improve user convenience.
  • FIG. 1 is a diagram showing an example of the system configuration of an article management system 1.
  • the article management system 1 includes an imaging device 3 , an information processing device 6 and an article management server 8 .
  • the imaging device 3 , the information processing device 6 and the article management server 8 are interconnected via a network 10 .
  • the imaging device 3 and the information processing device 6 are connected to the network 10 by wireless connection, but may be connected by wire.
  • imaging devices 3 and information processing devices 6 are shown in FIG.
  • the number of imaging devices 3 and information processing devices 6 is not limited to the same number. It is also possible to visually recognize with the information processing device 6 .
  • the imaging device 3 is installed on the top surface of the refrigerator 2.
  • the imaging device 3 includes a plurality of cameras, and when the door and drawers of the refrigerator 2 are opened, it captures an image of the inside of the refrigerator, such as the refrigerator compartment and the vegetable compartment.
  • a captured image is generated by capturing an image of the article.
  • An image captured by the camera may be a moving image or a still image.
  • the articles to be stored in the refrigerator 2 or the articles to be delivered from the refrigerator 2 include food and food materials, and storage containers containing food or food materials.
  • the imaging device 3 analyzes the generated captured image to detect the article and the marker ID attached to the article.
  • a marker is attached to the storage container, and the marker includes a marker ID that is identification information of the marker.
  • the imaging device 3 generates upload data including a captured image and a marker ID, and transmits the generated upload data to the article management server 8 .
  • the article management server 8 manages articles stored in the refrigerator 2 based on the upload data received from the imaging device 3 . For example, the article management server 8 manages the date and time when the article was put into the refrigerator 2, the elapsed time after the article was put into the refrigerator 2, and the like. In addition, the article management server 8 determines the number of times the door of the refrigerator 2 has been opened and closed, and the accommodation area of the refrigerator 2 in which articles that have been stored for a certain period of time or more have been stored. The article management server 8 transmits these pieces of information to the information processing device 6 and displays them on the touch panel 63 of the information processing device 6 .
  • the information processing device 6 is a portable computer such as a smartphone or tablet computer.
  • a notebook or desktop personal computer may be used.
  • the information processing device 6 downloads images and information selected by the user's operation from the article management server 8, and generates the application screen 700 based on the downloaded images and information.
  • the information processing device 6 displays the generated application screen 700 on the touch panel 63 .
  • the information processing device 6 includes a first communication module 61 , a touch panel 63 and a first controller 65 .
  • the first communication module 61 is a communication interface having an interface circuit conforming to wireless communication standards.
  • the first communication module 61 communicates with the article management server 8 under the control of the first control section 65 .
  • the communication standard used by the first communication module 61 is a wireless communication standard, but may be a wired communication standard.
  • the touch panel 63 includes a display panel such as a liquid crystal display panel and a touch sensor. Touch panel 63 outputs coordinate information indicating the position of the touched display panel to first control unit 65 .
  • the first control unit 65 is a computer device that includes a first memory 67 and a first processor 69 .
  • the first memory 67 includes ROM (Read Only Memory) and RAM (Random Access Memory). Illustration of ROM and RAM is omitted.
  • the ROM stores, as control programs executed by the first processor 69, an article management application program 675, setting information of the information processing device 6, and the like.
  • An application program is hereinafter referred to as an application.
  • the RAM is used as a calculation area for the first processor 69 .
  • the first processor 69 is an arithmetic processing unit such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit).
  • the first processor 69 may be composed of a single processor, or may be composed of a plurality of processors. Also, the first processor 69 may be composed of a part or all of the first memory 67 or a SoC (System-on-a-chip) integrated with other circuits. Also, the first processor 69 may be configured by a combination of a CPU that executes a program and a DSP that executes predetermined arithmetic processing. Furthermore, all the functions of the first processor 69 may be implemented in hardware, or may be configured using a programmable device.
  • the first processor 69 functions as an application execution unit 695 by executing an article management application 675.
  • Application execution unit 695 communicates with article management server 8 through first communication module 61 and receives data for application screen 700 to be displayed on touch panel 63 .
  • the application execution unit 695 causes the touch panel 63 to display an application screen 700 as a user interface for managing the items stored in the refrigerator 2 .
  • Application execution unit 695 displays application screen 700 on touch panel 63 to provide the user with various types of information about the items stored in refrigerator 2 and accept various inputs from the user regarding the items stored in refrigerator 2 .
  • the article management server 8 has a second communication module 81 and a second control section 83 .
  • the article management server 8 corresponds to a control device.
  • the second communication module 81 is a communication interface equipped with an interface circuit or the like conforming to a predetermined communication standard.
  • the second communication module 81 is wired to the network 10 and performs data communication with the imaging device 3 and the information processing device 6 .
  • the second control unit 83 has a second memory 85 and a second processor 87 .
  • the second memory 85 includes auxiliary storage devices such as ROM, RAM, HDD (Hard Disk Drive) and SSD (Solid State Drive). Illustration of ROM, RAM and HDD is omitted. ROM stores a control program 851 . The RAM is used as a calculation area for the second processor 87 .
  • the auxiliary storage stores an identification information database 91, a food management database 93, an item management database 95, and an open state management database 97.
  • the database is abbreviated as DB.
  • the second processor 87 is an arithmetic processing unit such as a CPU or MPU.
  • the second processor 87 may be composed of a single processor, or may be composed of a plurality of processors. Also, the second processor 87 may be configured by an SoC integrated with part or all of the second memory 85 or other circuits. Also, the second processor 87 may be configured by a combination of a CPU that executes programs and a DSP that executes predetermined arithmetic processing. Furthermore, all the functions of the first processor 69 may be implemented in hardware, or may be configured using a programmable device.
  • the second processor 87 functions as a processing unit 871 by reading and executing the control program 851 stored in the second memory 85 .
  • FIG. 2 is a diagram showing an example of the configuration of the identification information database 91.
  • the identification information database 91 is a database in which identification information is registered.
  • account information 911, communication information 912, and imaging device ID 913 are registered as one record.
  • the account information 911 is information identifying an account assigned to the user of the article management application 675 .
  • the communication information 912 is address information such as an IP address used for communication with the information processing device 6 .
  • the imaging device ID 913 is an ID for identifying the imaging device 3 installed at the user's home.
  • FIG. 3 is a diagram showing an example of the configuration of the ingredient management DB 93.
  • the ingredients management DB 93 is a database generated for each account information 911, and includes one record of ingredients name information 931, color information 932, nutrient information 933, storage date/time information 934, ingredients image 935, accommodation area 936, and delivery date/time information 937. registered as.
  • the food name information 931 is information indicating the name of the food stored in the refrigerator 2 .
  • the processing unit 871 determines the ingredients captured in the captured image uploaded from the imaging device 3 .
  • the processing unit 871 determines the food based on the color, shape, etc. of the item, and registers the determination result as the food name information 931 .
  • the color of the ingredient in the ingredient name information 931 is registered in the color information 932 .
  • the color information 932 may include the color inside the food, or the color of the appearance of the food.
  • the processing unit 871 acquires color information of the determined food.
  • a database in which the colors of ingredients are registered in advance may be stored in the second memory 85, and the color information may be obtained by referring to this database, or the color information of the ingredients may be obtained from another server (not shown). may be obtained.
  • the processing unit 871 registers the acquired color as the color information 932 .
  • the processing unit 871 may register, as the color information 932, the total area of each color for one image obtained by capturing the entire drawer 27A of the vegetable compartment 27 and the like.
  • the nutrient information 933 registers information on nutrients contained in the ingredients of the ingredient name information 931.
  • the processing unit 871 acquires nutrients contained in the determined food.
  • a database in which the nutrients contained in foods are registered in advance may be stored in the second memory 85, and nutrient information may be obtained by referring to this database, or the ingredients may be obtained from another server (not shown). nutrient information may be obtained.
  • the processing unit 871 registers the acquired nutrients as the nutrient information 933 .
  • Nutrients to be registered in the nutrient information 933 may be main (for example, two) nutrients contained in the food material, and need not be all nutrients contained in the food material.
  • the storage date/time information 934 indicates the date/time when the ingredients of the ingredients name information 931 were stored in the refrigerator 2 .
  • the processing unit 871 registers the date and time when the upload data is received from the imaging device 3 as the warehousing date and time information 934 . Note that the warehousing date/time information 934 may be registered based on the date/time information uploaded from the imaging device 3 .
  • a captured image uploaded from the imaging device 3 is registered in the food image 935 .
  • the imaging device 3 captures an image of the inside of the refrigerator 2 to generate a captured image.
  • the imaging device 3 cuts out an image of the range in which the article is imaged from the generated captured image as an article image.
  • the imaging device 3 uploads upload data including the clipped article image to the article management server 8 .
  • the processing unit 871 extracts an article image from the upload data, and registers the article image in the ingredient image 935 when ingredients are detected from the extracted article image.
  • the accommodation area 936 is information indicating the accommodation area of the refrigerator 2 in which the ingredients are accommodated.
  • the processing unit 871 extracts information indicating the accommodation area from the upload data, and registers the extracted information indicating the accommodation area in the accommodation area 936 .
  • Identification numbers are given to the plurality of storage areas provided in the refrigerator 2 . An identification number is registered in the accommodation area 936 as information indicating the accommodation area.
  • the delivery date and time information 937 indicates the date and time when the food item of the food name information 931 was delivered from the refrigerator 2 .
  • the processing unit 871 registers the date and time when the upload data is received from the imaging device 3 in the shipping date and time information 937 .
  • the delivery date/time information 937 may be registered based on the date/time information uploaded from the imaging device 3 . In some cases, foodstuffs are taken out of the refrigerator 2 for cooking or the like, and then put back into the refrigerator 2 . Therefore, even if the processing unit 871 determines that the food has been taken out of the refrigerator 2, it does not delete the record of the food material management DB 93 until a certain period of time has passed. When the used ingredient is restocked, the processing unit 871 deletes the record of the shipping date/time information 937 or registers a new warehousing date/time in the warehousing date/time information 934 .
  • FIG. 4 is a diagram showing an example of the configuration of the article management DB 95.
  • the article management DB 95 is a database generated for each account information 911, in which a marker ID 951, article image 952, warehousing date/time information 953, storage area 954, and warehousing date/time information 955 are registered as one record.
  • the marker ID 951 is information included in the upload data received from the imaging device 3.
  • the imaging device 3 detects the marker attached to the article from the captured image and acquires the marker ID assigned to the detected marker.
  • the imaging device 3 transmits the acquired marker ID to the article management server 8 as upload data.
  • the processing unit 871 extracts the marker ID from the received upload data and registers the extracted marker ID in the marker ID 951 .
  • a captured image uploaded from the imaging device 3 is registered as the article image 952 .
  • the imaging device 3 uploads the upload data including the cut-out article image to the article management server 8 .
  • the processing unit 871 registers the article image extracted from the upload data in the article image 952 . If the upload data contains a marker ID, an article image that is stored in advance in the article management server 8 and that corresponds to the marker ID may be registered in the article image 952 . In this case, the user takes an image of the article with the marker ID and sends the image of the taken article to the article management server 8 .
  • the processing unit 871 associates the received article image with the marker ID and registers them in the article management DB 95 .
  • the storage date/time information 953 indicates the date/time when the item with the marker ID was stored in the refrigerator 2 .
  • the processing unit 871 registers the date and time when the upload data is received from the imaging device 3 in the warehousing date and time information 953 .
  • the storage area 954 is information indicating the storage area of the refrigerator 2 in which the article is stored.
  • the processing unit 871 extracts information indicating the accommodation area from the upload data, and registers the extracted information indicating the accommodation area in the accommodation area 954 .
  • the delivery date and time information 955 indicates the date and time when the article with the marker ID was delivered from the refrigerator 2 .
  • the processing unit 871 registers the date and time when the upload data is received from the imaging device 3 in the shipping date and time information 955 .
  • An article may be taken out of the refrigerator 2 for cooking or the like, and then put back into the refrigerator 2 . Therefore, even if the processing unit 871 determines that the food has been taken out of the refrigerator 2, it does not delete the record of the food material management DB 93 until a certain period of time has passed.
  • the processing unit 871 deletes the record of the shipping date/time information 955 or registers a new warehousing date/time in the warehousing date/time information 953 .
  • FIG. 5 is a diagram showing an example of the configuration of the open state management DB 97.
  • the open state management DB 97 is a database generated for each account information 911, and includes a column 971 for recording the opening date and time of the refrigerator compartment 21, a column 972 for recording the opening date and time of the vegetable compartment 27, and a column 972 for recording the opening date and time of the freezer compartment 26. It has a column 973 for The date and time when the left door 22 or the right door 23 of the refrigerator compartment 21 is opened is registered in the column 971 for recording the date and time when the refrigerator compartment 21 is opened. The date and time when the drawer 27A of the vegetable compartment 27 was pulled out is registered in the column 972 for recording the date and time when the vegetable compartment 27 was opened.
  • the date and time when the drawer 26A of the freezer compartment 26 was pulled out is registered in the column 973 for recording the date and time when the freezer compartment 26 was opened. Further, data that has passed a certain period of time after being registered in the open state management DB 97 is deleted from the open state management DB 97 .
  • FIG. 6 is a front view of the refrigerator 2, showing a state in which the left door 22 and the right door 23 of the refrigerator 2 are opened.
  • the X-axis, Y-axis and Z-axis shown in FIG. 6 are three axes orthogonal to each other.
  • the X-axis direction corresponds to the left-right direction
  • the positive direction of the X-axis corresponds to the right direction.
  • the Y-axis direction corresponds to the front-rear direction
  • the positive direction of the Y-axis corresponds to the front direction.
  • the X-axis corresponds to the vertical direction
  • the positive direction of the Z-axis corresponds to the upward direction.
  • the refrigerator 2 has a heat-insulating box body 20 that is a box-shaped member that forms the main body of the refrigerator 2 .
  • the box body 20 has a configuration in which a space between the outer box and the inner box is filled with a heat insulating material.
  • the illustration of the outer box and the inner box is omitted.
  • the outer box is made of, for example, a metal plate such as iron or a hard resin such as ABS resin.
  • the inner box is made of hard resin such as ABS resin, for example. Hard urethane foam, for example, is adopted as the heat insulating material.
  • the heat insulating material is not limited to this, and may be any material that has heat insulating properties and can be filled in the space between the outer box and the inner box.
  • the internal space of the refrigerator 2 is partitioned into a plurality of spaces by partition members.
  • the internal space is partitioned into five spaces, and the five spaces function as a refrigerating compartment 21, an ice making compartment 24, a fresh freezing compartment 25, a freezing compartment 26 and a vegetable compartment 27, respectively.
  • the refrigerating compartment 21, the ice making compartment 24, the fresh freezing compartment 25, the freezing compartment 26, and the vegetable compartment 27 correspond to storage compartments.
  • the ice making compartment 24, the fresh freezing compartment 25, the freezing compartment 26 and the vegetable compartment 27 are provided with drawers 24A, 25A, 26A and 27A, respectively, in which articles can be stored.
  • the refrigerator compartment 21 is closed by a left door 22 and a right door 23, the ice making compartment 24 is closed by a drawer 24A, the fresh freeze compartment 25 is closed by a drawer 25A, the freezer compartment 26 is closed by a drawer 26A, The vegetable compartment 27 is closed by a drawer 27A.
  • Refrigerator compartment 21 is provided with shelves 211 , 213 , 215 and 217 , and refrigerator compartment 21 is divided into five spaces by these shelf boards 211 , 213 , 215 and 217 .
  • the refrigerator compartment 21 partitioned by the shelf plate 211 and located at the top in the Z-axis direction is referred to as a first refrigerator compartment 21A.
  • the refrigerator compartment 21 that is partitioned by the shelf board 211 and the shelf board 213 and located second from the top in the Z-axis direction is referred to as a second refrigerator compartment 21B.
  • the refrigerator compartment 21 partitioned by the shelf board 213 and the shelf board 215 and positioned third from the top in the Z-axis direction is called a third refrigerator compartment 21C.
  • the refrigerating compartment 21 that is partitioned by the shelf board 215 and the shelf board 217 and positioned fourth from the top in the Z-axis direction is called a fourth refrigerating compartment 21D.
  • the refrigerating compartment 21 that is partitioned by the shelf plate 217 and positioned at the bottom in the Z-axis direction is called a chilling compartment 28 .
  • the chilled compartment 28 is a storage compartment having an internal temperature lower than that of the refrigerator compartment 21 .
  • the chilled compartment 28 is provided with a drawer 28A capable of storing articles.
  • a left door 22 and a right door 23 of a rotary double door are provided on the front face of the refrigerator 2 located in the positive direction of the Y axis.
  • the left door 22 is provided with four left door pockets.
  • the left door 22 is provided with a first left door pocket 221, a second left door pocket 223, a third left door pocket 225, and a fourth left door pocket 227 in order from the top in the Z-axis direction.
  • the right door 23 is provided with four right door pockets.
  • the right door 23 is provided with a first right door pocket 231, a second right door pocket 233, a third right door pocket 235, and a fourth right door pocket 237 in order from the top in the Z-axis direction.
  • FIG. 7 is a block diagram showing the configuration of the imaging device 3. As shown in FIG. The configuration of the imaging device 3 will be described with reference to FIG.
  • the imaging device 3 includes a sensor board 30 and a camera board 40 .
  • the sensor board 30 is a signal processing board that processes and converts signals output from various sensors.
  • the sensor board 30 is connected with a left door range sensor 31 , a right door range sensor 32 , a drawer range sensor 33 , and a human sensor 34 .
  • the left door ranging sensor 31, the right door ranging sensor 32, and the drawer ranging sensor 33 correspond to open/close sensors.
  • the camera board 40 is a signal processing board that processes signals output by the camera module and generates captured images.
  • the camera board 40 is connected with a third communication module 41 , a refrigerator camera 42 and a drawer camera 43 as camera modules, and a light emitting device 44 .
  • the left door ranging sensor 31 detects the distance to the left door 22 .
  • Left door ranging sensor 31 outputs a signal indicating the detected distance to left door 22 to third control section 430 .
  • the right door ranging sensor 32 detects the distance to the right door 23 .
  • the right door ranging sensor 32 outputs a signal indicating the detected distance to the right door 23 to the third control unit 430 .
  • FIG. 8 is a top view of the refrigerator 2 viewed from above.
  • the left door distance measuring sensor 31 includes a light emitting element that emits detection light and a light receiving element that receives light reflected by the left door 22 from the detection light.
  • the right door distance measuring sensor 32 also includes a light emitting element that emits detection light and a light receiving element that receives the reflected light of the detection light reflected by the right door 23 . Illustration of the light-emitting element and the light-receiving element is omitted.
  • the light-emitting element is provided in the positive direction of the Y-axis direction with respect to the light-receiving element. Thereby, the detection range of the distance measuring sensor can be widened.
  • the left door distance measuring sensor 31 has a light-emitting element and a light-receiving element installed so as to be inclined at a predetermined angle with respect to the positive direction of the Y-axis. The same applies to the right door distance measuring sensor 32 .
  • the detection light emitted from the light emitting element is reflected inside the left door 22 and above in the Z-axis direction.
  • the detection light emitted from the light emitting element is reflected inside the left door 22 and above in the Z-axis direction.
  • the area inside the left door 22 and between the upper edge of the left door 22 and the gasket provided on the left door 22 reflects.
  • the left door 22 is open by detecting the light reflected by the upper part of the left door 22 in the Z-axis direction with the light receiving element. For example, when compared with the signal when the left door 22 is closed, if the signal changes by a predetermined value or more, it is determined that the left door 22 is open. Similarly, when the right door 23 is opened at a predetermined angle or more, the detection light emitted from the light emitting element is reflected inside the right door 23 and reflected at the upper part in the Z-axis direction. Further, when the right door 23 is closed, the detection light emitted from the light emitting element is reflected inside the right door 23 and above in the Z-axis direction.
  • the reflection occurs in the area inside the right door 23 and between the upper edge of the right door 23 and the gasket provided on the right door 23 .
  • the light receiving element By detecting the light reflected by the upper part of the right door 23 in the Z-axis direction with the light receiving element, it is determined that the right door 23 is open. For example, when compared with the signal when the right door 23 is closed, if the signal changes by a predetermined value or more, it is determined that the right door 23 is open.
  • the inside of the left door 22 is the side facing the interior of the refrigerator 2 when the left door 22 is closed. The same is true for the inside of the right door 23 .
  • the drawer distance measuring sensor 33 is a sensor that detects the distance to the drawers 24A, 25A, 26A, 27A, and 28A.
  • a light-emitting element that emits detection light and a light-receiving element that receives reflected light of the detection light are installed facing vertically downward, which is the positive direction of the Z-axis. Illustration of the light-emitting element and the light-receiving element is omitted.
  • the light-receiving element receives light reflected by any one of the drawers 24A, 25A, 26A, and 27A. Which of the drawers 24A, 25A, 26A, and 27A has been drawn is determined from the change in the time from when the light-emitting element emits the detection light until when the light-receiving element receives the reflected light.
  • the drawer distance measuring sensor 33 outputs a signal indicating the distance to the drawers 24A, 25A, 26A, and 27A to the third control section 430 .
  • the human sensor 34 detects the approach of a person.
  • the human sensor 34 may be of infrared, ultrasonic, or visible light type.
  • the human sensor 34 detects the approach of a person and outputs a sensor signal indicating the approach of the person to the third control unit 430 .
  • a first I/F circuit 310 and a signal processing section 330 are mounted on the sensor substrate 30 .
  • the signal processing unit 330 has a third memory 340 and a third processor 350 .
  • the first I/F circuit 310 and the signal processing section 330 may be configured by SoC (System-on-a-chip).
  • a first I/F circuit 310 is a communication interface with the camera board 40 .
  • the first I/F circuit 310 includes a cable connection port and an interface circuit compatible with communication standards.
  • the signal processing unit 330 is a computer device that includes a third memory 340 and a third processor 350 .
  • the third memory 340 comprises ROM and RAM.
  • the ROM stores a control program 345 executed by the third processor 350 .
  • the RAM is used as a calculation area for the third processor 350 .
  • the third processor 350 is composed of a CPU, an MPU, and the like.
  • the third processor 350 is an arithmetic processing unit such as a CPU or MPU.
  • the third processor 350 may be composed of a single processor, or may be composed of multiple processors.
  • the third processor 350 may be configured by an SoC integrated with part or all of the third memory 340 or other circuits.
  • the third processor 350 may be configured by a combination of a CPU that executes programs and a DSP that executes predetermined arithmetic processing.
  • all the functions of the third processor 350 may be implemented in hardware, or may be configured using a programmable device.
  • the signal processing unit 330 performs processing such as A/D conversion on the signals input from the left door ranging sensor 31, the right door ranging sensor 32, the drawer ranging sensor 33, and the motion sensor 34. and outputs the processed data to the third control unit 430 .
  • the processed data is called sensor data.
  • the third communication module 41 has a connector, a communication circuit, etc., is connected to the network 10 according to communication standards such as Wi-Fi (registered trademark), and performs mutual data communication with the article management server 8.
  • Wi-Fi registered trademark
  • the refrigerator camera 42 is a camera equipped with an imaging device such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal Oxide Semiconductor) sensor. Refrigerator camera 42 captures an image under the control of third control section 430 and outputs a captured image generated by the imaging to third control section 430 .
  • the captured image may be a still image or a moving image.
  • FIG. 9 is a diagram showing an example of an image captured by the refrigerator camera 42.
  • the angle of view of the refrigerator camera 42 is wider than the angle of view of the drawer camera 43.
  • - ⁇ A part of the refrigerator compartment 21, the left door 22, the right door 23, the detection area TA, and the like are imaged in the captured image of the refrigerator compartment camera 42.
  • FIG. The detection area TA is an area within the front area formed in front of the chilled compartment 28 on the bottom surface inside the refrigerating compartment 21 .
  • the detection area TA of the present embodiment is an area smaller than the front area, but may have the same area.
  • the imaging device 3 detects an article entering the refrigerator 2 or an article leaving the refrigerator 2 in the detection area TA.
  • FIG. 10 is a diagram showing an example of an image captured by the drawer camera 43.
  • the drawer camera 43 is also a camera equipped with an imaging device such as a CCD sensor or a CMOS sensor.
  • the drawer camera 43 also starts imaging under the control of the third control section 430 .
  • the drawer camera 43 also generates a captured image and outputs the generated captured image to the third control section 430 .
  • the captured image may be a still image or a moving image.
  • FIG. 10 shows an image of the freezer compartment 26 pulled out from the inside of the refrigerator 2 as an example of the image captured by the drawer camera 43 .
  • the light emitting device 44 includes a light emitting element such as an LED (Light Emitting Diode), and emits light or lights under the control of the third control section 430 .
  • a light emitting element such as an LED (Light Emitting Diode)
  • a second I/F circuit 410 and a third control section 430 are mounted on the camera board 40 .
  • the second I/F circuit 410 and the third control section 430 may be configured by SoC.
  • a second I/F circuit 410 is a communication interface with the sensor board 30 .
  • the second I/F circuit 410 includes a cable connection port and an interface circuit compatible with communication standards.
  • the third control unit 430 is a computer device that includes a fourth memory 440 and a fourth processor 450 .
  • the fourth memory 440 includes ROM and RAM. Illustration of ROM and RAM is omitted.
  • the ROM stores the control program 441 executed by the fourth processor 450, the imaging device ID 443, and the captured image.
  • the imaging device ID 443 is identification information that uniquely identifies the imaging device 3 .
  • the fourth processor 450 is an arithmetic processing unit such as a CPU or MPU.
  • the fourth processor 450 may be composed of a single processor, or may be composed of multiple processors.
  • the fourth processor 450 may be configured by an SoC integrated with part or all of the fourth memory 440 and other circuits.
  • the fourth processor 450 may be configured by a combination of a CPU that executes programs and a DSP that executes predetermined arithmetic processing.
  • all the functions of the fourth processor 450 may be implemented in hardware, or may be configured using a programmable device.
  • the third control unit 430 functions as a person presence determination unit 451 , an opening/closing determination unit 452 , an imaging control unit 453 , an entry/exit determination unit 454 , an acquisition unit 455 and a data generation unit 456 .
  • the person presence determination unit 451 determines whether or not a person exists around the refrigerator 2 based on the detection value of the human sensor 34 . For example, the human presence determination unit 451 determines that a person exists around the refrigerator 2 when the detection value of the human sensor 34 is equal to or greater than a predetermined value, and determines that a person exists around the refrigerator 2 when it is less than the predetermined value. Decide not to.
  • the open/close determination unit 452 determines whether or not the left door 22 is open based on sensor data input from the left door ranging sensor 31 . Further, the open/close determination unit 452 determines whether or not the right door 23 is open based on sensor data input from the right door distance measuring sensor 32 . Based on the sensor data input from the drawer distance measuring sensor 33, the open/close determination unit 452 determines whether any of the drawers 24A, 25A, 26A, 27A, and 28A has been pulled out of the refrigerator 2. determine whether or not
  • the imaging control unit 453 causes the refrigerator camera 42 and the drawer camera 43 to start imaging. After that, the imaging control unit 453 lights or blinks the light emitting device 44 to notify the user of the start of imaging.
  • the image capturing control unit 453 terminates the image capturing of the refrigerator compartment camera 42 and the drawer camera 43 . After that, the imaging control unit 453 turns off the light emitting device 44 .
  • the imaging control unit 453 determines that one of the left door 22 and the right door 23 is open, or that one of the drawers 24A, 25A, 26A, 27A, and 28A is open. , the recording of the refrigerator camera 42 and the drawer camera 43 is started. The imaging control unit 453 stores the input captured image in the fourth memory 440 . Further, the imaging control unit 453 determines that both the left door 22 and the right door 23 are closed and that all of the drawers 24A, 25A, 26A, 27A, and 28A are closed. When determined, the recording of the refrigerator camera 42 and the drawer camera 43 is ended.
  • the imaging control unit 453 may cause the refrigerator camera 42 to start recording when the opening/closing determination unit 452 determines that one of the left door 22 and the right door 23 is open.
  • the imaging control section 453 may store the input captured image in the fourth memory 440 .
  • the imaging control unit 453 may terminate the recording of the refrigerator camera 42 .
  • the imaging control unit 453 may cause the drawer camera 43 to start recording when the opening/closing determination unit 452 determines that any one of the drawers 24A, 25A, 26A, 27A, and 28A is open.
  • the imaging control section 453 may store the input captured image in the fourth memory 440 .
  • the imaging control unit 453 may cause the drawer camera 43 to end recording.
  • the entry/exit determination unit 454 performs image analysis on the captured image to detect foodstuffs, foodstuffs, and storage containers that are articles. In addition, the entry/exit determination unit 454 determines whether the detected article is stored in the refrigerator 2 or is retrieved from the refrigerator 2 .
  • FIG. 11 is a diagram showing boundaries between the first region R1, the second region R2, the third region R3 and the fourth region R4. A case of detecting an article BP marked with a marker MK will be described below.
  • the entering/leaving determination unit 454 sets a first region R1, a second region R2, a third region R3, and a fourth region R4 in the captured image.
  • the first region R1 is a region corresponding to the refrigerator compartment 21 in the captured image.
  • the second region R2 is a region corresponding to the left door 22 in the captured image.
  • the third region R3 is a region corresponding to the right door region 23 in the captured image.
  • the fourth region R4 is a region corresponding to the outside of the refrigerator 2 in the captured image.
  • the entering/leaving determination unit 454 sets the preset range of the captured image to the first region R1.
  • Boundary lines 501 shown in FIG. 11 correspond to boundaries between the first region R1, the second region R2, the third region R3, and the fourth region R4.
  • the second region R2 corresponding to the left door 22 and the third region R3 corresponding to the right door 23 are changed depending on the degree of opening of the left door 22 or the right door 23 opened and closed by the user.
  • the entering/leaving determination unit 454 detects the edges of the first left door pocket 221 to the fourth left door pocket 227 of the left door 22 and the edges of the first right door pocket 231 to the fourth right door pocket 237 of the right door 23. to detect
  • the entering/leaving determination unit 454 determines the second region R2 and the third region R2. Set the range of R3. Also, marks or the like may be arranged at the ends of the first left door pocket 221 to the fourth left door pocket 227 and the first right door pocket 231 to the fourth right door pocket 237 . The entering/leaving determination unit 454 sets the ranges of the second region R2 and the third region R3 based on the position of the mark detected from the captured image.
  • the entering/leaving determination unit 454 sets a region other than the set first region R1, second region R2, and third region R3 as a fourth region R4 outside the refrigerator compartment 21 .
  • a boundary line 502 shown in FIG. 11 indicates the boundary of the second region R2, and a boundary line 503 indicates the boundary of the third region R3.
  • the entering/leaving determination unit 454 may set the range of the second region R2 based on sensor data input from the left door ranging sensor 31. Further, the entering/leaving determination unit 454 may set the range of the third region R3 based on sensor data input from the right door ranging sensor 32 .
  • the entering/leaving determination unit 454 analyzes the captured image to detect the image of the article BP and the marker MK.
  • the entering/leaving determination unit 454 detects the article BP and the marker MK from the area corresponding to the detection area TA of the captured image.
  • the entering/leaving determination unit 454 detects the article BP and the marker MK, for example, based on changes in brightness and color in the detection area TA.
  • the entering/leaving determination unit 454 detects the trajectory of the moving article BP and the marker MK by performing image analysis on the continuously captured images.
  • the warehousing/dispatching determination unit 454 determines in which of the first region R1, the second region R2, and the third region R3 the trajectory of the detected marker MK ends, and determines in which region the article BP enters the warehouse. determine whether the In addition, the entering/leaving determination unit 454 determines that the article BP has been taken out of the refrigerating compartment 21 when the trajectory of the detected marker MK ends in the fourth region R4.
  • FIG. 12 is a diagram for explaining the entering/leaving determination image.
  • the warehousing/dispatching determination unit 454 superimposes the warehousing/dispatching determination image HG on the captured image to determine whether the article BP is warehousing or warehousing.
  • FIG. 12 shows a case in which an entry/exit determination image HG is superimposed on a captured image of a scene in which an article BP with a marker MK is stored in the refrigerator compartment 21 .
  • the entering/leaving determination image HG has a boundary line L1.
  • the boundary line L1 is a line that extends from the left end to the right end of the entering/leaving determination image HG in the figure, substantially in the center of the entering/leaving determination image HG.
  • Boundary line L ⁇ b>1 is located in front of refrigerator 2 from the opening of refrigerator compartment 21 captured in the image captured by camera 42 for refrigerator compartment.
  • the image area of the entering/leaving determination image HG is divided into a first area HA1 and a second area HA2 by a boundary line L1.
  • the first area HA1 corresponds to the front side of the refrigerator 2 from the opening of the refrigerator compartment 21 captured in the image captured by the refrigerator compartment camera 42 when the entering/leaving determination image HG is superimposed on the captured image.
  • the second area HA2 corresponds to the rear side of the refrigerator 2 from the opening of the refrigerator compartment 21 captured in the image captured by the refrigerator compartment camera 42 when the entering/leaving determination image HG is superimposed on the captured image.
  • the entering/leaving determination unit 454 analyzes the captured image on which the entering/leaving determination image HG is superimposed to determine whether the marker MK detected in the detection area TA has moved to the first area HA1 or moved to the second area HA2. determine whether it did. When the entering/leaving determination unit 454 determines that the marker MK detected within the detection area TA has moved to the first area HA1, it determines that the detected article BP is the article BP discharged from the refrigerator compartment 21 . On the other hand, when the marker MK detected within the detection area TA moves to the second area HA2, the entering/leaving determination unit 454 determines that the detected article BP is the article BP that has entered the refrigerator compartment 21 .
  • the entering/leaving determination unit 454 determines the accommodation area in which the goods BP have been stored.
  • the entry/exit determination unit 454 analyzes the captured image to identify the storage area of the refrigerator compartment 21 in which the article BP is stored. Then, the entering/leaving determination unit 454 determines the storage area in which the article BP is stored, based on the moving direction of the marker MK and the layout of a plurality of storage areas provided within the storage. For example, the tips of the left door 22 or the right door 23 of the shelf boards 211, 213, 215, 217 of the refrigerator 2 and the door pockets are provided with marks for identifying storage areas.
  • the entering/leaving determination unit 454 detects a mark that identifies the storage area from the captured image, and specifies the storage area based on the positional relationship between the detected mark and the marker MK attached to the article BP.
  • the entering/leaving determination unit 454 may determine whether or not the article BP is the article BP re-stored in the refrigerator 2 . For example, when user P takes food out of the refrigerator 2 for use, uses part of the food taken out, and restocks the remaining food in the refrigerator 2, or stores the food in the storage container that is the article BP. A case is assumed in which the food is used, the food is newly replenished in the storage container, and the food is restocked in the refrigerator 2 .
  • the object to be detected from the captured image is the article BP with the marker MK attached. can do.
  • the warehousing/delivery determination unit 454 detects foodstuffs and foodstuffs based on the color and shape of the image captured in the captured image, and the detected foodstuffs and foodstuffs are stored in the same manner as in the case of the article BP to which the marker MK is attached. It is determined whether it has been delivered or taken out.
  • the acquisition unit 455 analyzes the marker MK detected by the entering/leaving determination unit 454 and acquires the marker ID.
  • the marker ID is identification information of the marker MK given to the marker MK.
  • the obtaining unit 455 obtains the marker ID included in the QR code.
  • Acquisition unit 455 temporarily stores the acquired marker ID in fourth memory 440 .
  • the data generation unit 456 generates upload data.
  • Upload data is data to be uploaded to the article management server 8 .
  • the data generation unit 456 transmits the generated upload data to the article management server 8 .
  • the uploaded data includes the image of the article, the storage area information, the imaging device ID, the information indicating whether the article was put in or taken out, the date and time of entry or departure, information on the door or drawer that was opened or pulled out, etc. is included.
  • the information when the goods are stored is called warehousing information, and the information when the goods are taken out is called warehousing information.
  • the article image is an image obtained by cutting out the range in which the article is imaged from the captured image.
  • the upload data includes an article image, accommodation area information, imaging device ID, date and time of entry or exit, entry information or exit information, opened or withdrawn
  • a marker ID is included in addition to the door or drawer information.
  • the upload data which door or drawer was opened or pulled out, and date and time information.
  • FIG. 13 is a flowchart showing the operation of the imaging device 3.
  • FIG. The operation of the imaging device 3 will be described with reference to the flowchart shown in FIG.
  • Third control unit 430 determines whether or not there is a person around refrigerator 2 based on sensor data from human sensor 34 (step SA1).
  • step SA2 When the third control unit 430 determines that there is a person around the refrigerator 2 (step SA1/YES), it causes the refrigerator compartment camera 42 and the drawer camera 43 to start imaging (step SA2).
  • the third control unit 430 determines whether at least one of the left door 22 and the right door 23 is open, or whether any one of the drawers 24A, 25A, 26A, 27A, and 28A is open. is determined (step SA3).
  • step SA3/NO the third control unit 430 process.
  • the third control unit 430 If at least one of the left door 22 and the right door 23 is open, or if any one of the drawers 24A, 25A, 26A, 27A, and 28A is open (step SA3/YES), the third control unit 430 , store the captured images captured by the refrigerator camera 42 and the drawer camera 43 in the fourth memory 440, and start recording the captured images (step SA4).
  • the third control unit 430 reads the captured image from the fourth memory 440, and determines whether or not the marker and the article are detected within the detection area TA based on the read captured image (step SA5).
  • the third control unit 430 determines that the marker and the article have been detected within the detection area TA (step SA5/YES), it reads the marker ID from the detected marker (step SA7). After that, the third control unit 430 cuts out an article image, which is an image in which the article is imaged, from the captured image (step SA8).
  • the third control unit 430 cuts out an article image, which is an image of the article, in the captured image (Ste SA8).
  • the third control unit 430 performs entering/leaving determination based on the captured image recorded in the fourth memory 440 (step SA9).
  • the third control unit 430 determines that the article has been stored, the article image of the article that has been put in, the accommodation area where the article has been put in, and the time at which the article has been put in are stored in the fourth memory 440 in association with each other.
  • the third control unit 430 causes the fourth memory 440 to store the article image of the delivered article and the delivery time in association with each other.
  • the third control unit 430 controls when at least one of the left door 22 and the right door 23 is opened, or when any one of the drawers 24A, 25A, 26A, and 27A is pulled out, but there is no goods entering or leaving the warehouse. If so, the fourth memory 440 stores the information of the door or drawer that was opened or pulled out and the date and time information.
  • step SA11 determines whether or not the open door and drawer are closed.
  • step SA11/NO determines whether or not the open door and drawer are closed.
  • step SA12 when the third control unit 430 determines that the open door and the drawer are closed (step SA11/YES), the recording of the captured image in the fourth memory 440 is finished (step SA12).
  • step SA13 determines whether or not there are people around the refrigerator 2 (step SA13).
  • step SA13/YES determines that a person exists around refrigerator 2
  • the third control unit 430 determines that there is no person around the refrigerator 2 (step SA13/NO), it causes the refrigerator camera 42 and the drawer camera 43 to end imaging (step SA14).
  • step SA14 After performing the process of step SA14, the third control unit 430 shifts the process to step SA1 and performs the process from step SA1 onwards again.
  • FIG. 14 is a flow chart showing the operation of the article management system 1. As shown in FIG. 14, a flowchart FB shows the operation of the imaging device 3, and a flowchart FC shows the operation of the goods management server 8. As shown in FIG. 14, a flowchart FB shows the operation of the imaging device 3, and a flowchart FC shows the operation of the goods management server 8. As shown in FIG. 14, a flowchart FB shows the operation of the imaging device 3, and a flowchart FC shows the operation of the goods management server 8. As shown in FIG.
  • the third control unit 430 determines whether or not a trigger for transmitting the upload data to the article management server 8 has occurred (step SB1). As a trigger for transmitting the upload data, it is determined that an article has entered or left the warehouse, and the determination result is stored in the fourth memory 440 .
  • the trigger may be the end of the recording of the image captured by the refrigerator camera 42, the current time reaching a predetermined time, or the like.
  • the third control unit 430 acquires upload data from the fourth memory 440 (step SB2).
  • the upload data includes an article image, storage area information, imaging device ID, warehousing information or warehousing information, warehousing date and time or warehousing date and time, information on opened or pulled out doors or drawers, and the like. Also, if the article is an article with a marker MK attached, the marker ID is included in addition to the above upload data.
  • the upload data contains information on doors or drawers that have been opened or pulled out, and date and time information.
  • the third control unit 430 transmits the generated upload data to the article management server 8 (step SB3). After that, the third control unit 430 returns to the determination of step SB1.
  • the second control unit 83 of the article management server 8 determines whether or not the upload data has been received (step SC1).
  • step SC1/NO When the second control unit 83 determines that the upload data has not been received (step SC1/NO), it makes the determination of step SC1 again.
  • the second control unit 83 determines that the upload data has been received (step SC1/YES)
  • the second control unit 83 stores the received upload data in the second memory 85 and is updated (step SC2).
  • the second control unit 83 may update any of the ingredients management DB 93 , the article management DB 95 and the open state management DB 97 .
  • the second control unit 83 acquires account information 911 associated with the imaging device ID included in the received upload data from the identification information DB 91 .
  • the second control unit 83 updates any one of the ingredients management DB 93, the goods management DB 95, and the open state management DB 97 corresponding to the acquired account information 911.
  • FIG. the second control unit 83 may update any of the ingredients management DB 93 , the article management DB 95 and the open state management DB 97 .
  • the second control unit 83 updates the article management DB 95 when the received upload data contains a marker ID.
  • the second control unit 83 registers the marker ID, article image, warehousing date/time or warehousing date/time, and accommodation area included in the upload data in the article management DB 95 .
  • the second control unit 83 identifies the item from the item image and acquires the color information and nutrient information of the identified item.
  • the second control unit 83 registers the food name of the specified food in the food material name information 931 of the food material management DB 93 .
  • the second control unit 83 also registers the acquired color information and nutrient information of the article in the color information 932 and nutrient information 933 of the food material management DB 93 .
  • the second control unit 83 registers the product image included in the upload data in the food image 935, and registers the date and time of arrival or departure and the accommodation area in the date and time of arrival 934 or departure date and time 937 and the accommodation area 936, respectively. .
  • the second control unit 83 updates the open state management DB 97 based on the information about the opened or pulled out door or drawer included in the upload data.
  • the second control unit 83 classifies the ingredients based on the color information 932 and the nutrient information 933 based on the data registered in the ingredients management DB 93 .
  • the second control unit 83 classifies the foodstuffs stored in the refrigerator 2 for each color indicated by the color information 932, and calculates the number of foodstuffs classified into each color. Further, the second control unit 83 divides the number of ingredients classified into each color by the number of ingredients stored in the refrigerator 2 to calculate the ratio of the ingredients classified into each color.
  • the second control unit 83 transmits the calculated proportion of the ingredients classified into each color to the information processing device 6 when receiving the acquisition request.
  • the second control unit 83 classifies the ingredients stored in the refrigerator 2 based on the nutrients indicated by the nutrient information 933 . For example, the second control unit 83 classifies foods into foods containing vitamin A and foods containing protein. In addition, since food contains a plurality of nutrients, the same food may be classified into a plurality of nutrients.
  • the second control unit 83 counts the number of classified ingredients for each nutrient.
  • the number of foods classified by nutrients may be counted in consideration of the number of the same foods.
  • the second control unit 83 divides the number of foodstuffs counted for each nutrient by the number of foodstuffs stored in the refrigerator 2 to calculate the proportion of the foodstuffs classified for each nutrient.
  • the second control unit 83 transmits the calculated ratio of the ingredients classified into each nutrient to the information processing device 6 when receiving an acquisition request.
  • FIG. 15 is a flow chart showing the operation of the article management server 8.
  • the second control unit 83 of the article management server 8 determines whether or not there is a data acquisition request with account information from the information processing device 6 (step SD1). If there is no data acquisition request (step SD1/NO), the second control unit 83 waits to start processing until a data acquisition request is made.
  • the second control unit 83 When the second control unit 83 receives the data acquisition request (step SD1/YES), it determines whether the data registered in the ingredients management DB 93, the goods management DB 95, and the open state management DB 97 corresponding to the received account information have been updated. (Step SD2).
  • the second control unit 83 notifies the information processing device 6 that there is no updated data (Ste SD4). If there is no updated data, the previous data may be transmitted.
  • the second control unit 83 updates the updated data to the ingredients management DB 93, the goods management DB 95. Alternatively, it acquires from the open state management DB 97 and transmits the acquired data to the information processing device 6 as update data (step SD3).
  • FIG. 16 the application screen 700 displayed on the touch panel 63 of the information processing device 6 will be described with reference to FIGS. 16 to 21.
  • FIG. 16 the application screen 700 displayed on the touch panel 63 of the information processing device 6 will be described with reference to FIGS. 16 to 21.
  • FIG. 16 is a diagram showing an initial screen 710. As shown in FIG. When article management application 675 is selected and activated, application execution unit 695 displays initial screen 710 shown in FIG. An initial screen 710 displays a captured image 711 inside the refrigerator 2 , a menu button 712 , a refrigerator compartment button 713 , a vegetable compartment button 714 , a freezer compartment button 715 , a recipe search button 716 and a memo button 717 .
  • the menu button 712 is a button for switching screens displayed as the application screen 700 .
  • a color balance display screen 720 By operating the menu button 712, a color balance display screen 720, a nutrient display screen 740, and a recipe search screen 750 can be displayed.
  • a refrigerator compartment button 713, a vegetable compartment button 714, and a freezer compartment button 715 are buttons for switching display targets. For example, by pressing the refrigerator compartment button 713 on the initial screen 710, the captured image of the refrigerator compartment 21 is displayed, and by pressing the vegetable compartment button 714 on the initial screen 710, the captured image of the vegetable compartment 27 is displayed. . Also, by pressing a freezer compartment button 715 on the initial screen 710, a captured image of the freezer compartment 26 is displayed.
  • a recipe search button 716 is a button that is pressed when searching for a recipe. By pressing the recipe search button 716, a list of ingredients stored in the refrigerator 2 is displayed. By selecting ingredients that the user wants to use from the listed ingredients, it is possible to search for dishes using the selected ingredients.
  • a memo button 717 is a button that is pressed when recording a memo. For example, when food is stored in the refrigerator 2, memos such as dishes using the food and expiration date can be recorded.
  • FIG. 17 is a diagram showing a color balance display screen 720.
  • the color balance display screen 720 is a screen that displays the color balance of the ingredients stored in the refrigerator 2 .
  • period selection buttons 721A and 721B, a color balance display field 723, and a recommended ingredients display field 726 are displayed.
  • the period selection buttons 721A and 721B are buttons for selecting the period during which the ingredients are stored.
  • the period selection button 721A is associated with one week, and the period selection button 721B is associated with one month.
  • the period selection button 721A is selected, the color balance of the ingredients stored in the refrigerator 2 during the most recent week is displayed.
  • the period selection button 721B is selected, the color balance of the ingredients stored in the refrigerator 2 is displayed for one month.
  • a period display 724 and a color balance display 725 are displayed in the color balance display field 723 .
  • a period display 724 is a display that indicates the period that is the target of the color balance display 725 .
  • the color balance display 725 displays the proportion of all foodstuffs stored in the refrigerator 2 during the period indicated by the period display 724 by color.
  • the ratio by color is the ratio of the ingredients classified into each color to the ingredients stored in the refrigerator 2 .
  • FIG. 17 shows an example in which the percentages of all foodstuffs by color are displayed in a pie chart, but the percentages by color are not limited to pie charts, and may be, for example, bar graphs.
  • the color balance display 725 is displayed based on the color of the ingredients determined by the article management server 8 when the ingredients are stored in the refrigerator 2 .
  • the color of the ingredients may be acquired from another server via a network such as the Internet, or may be registered in the article management server 8 as a database in advance.
  • the article management server 8 manages the storage and delivery of foodstuffs and the color of the stored foodstuffs by means of the storage/delivery management DB 95 .
  • Recommended ingredients are displayed in the recommended ingredients display field 726 based on the color balance display 725 .
  • a threshold value is set for the ratio of each color to the whole, and ingredients with a lower ratio than the set threshold value are displayed as recommended ingredients.
  • the number of ingredients is counted for each color in a preset period such as one month, and ingredients whose counted number of ingredients is less than a preset threshold value are displayed. good too.
  • FIG. 18 shows a recommendation screen 730 that is displayed when one of the ingredients displayed in the recommended ingredients display field 726 is selected.
  • a recommended dish display field 731 and a recommended restaurant display field 733 are displayed on the recommendation screen 730 .
  • the recommended dish display column 731 dishes using the ingredients selected in the recommended ingredient display column 726 are displayed.
  • the menu of the selected dish is displayed.
  • the recommended restaurant display field 733 recommended restaurants that serve dishes using the ingredients selected in the recommended food ingredient display field 726 are displayed. Specifically, the recommended restaurant display field 733 displays the URL (Uniform Resource Locator) of the recommended restaurant and dishes using the selected ingredients. Note that the recommended shop display field 733 may display information on shops that sell the selected ingredients.
  • URL Uniform Resource Locator
  • the most deficient color representative ingredients may be displayed, and the recommended ingredients display column 726, the recommended dish display column 731, and the recommended restaurant display column 733 may be displayed on one screen.
  • FIG. 19 is a diagram showing a nutrient display screen 740.
  • the nutrient display screen 740 is a screen that displays the nutrients of the ingredients stored in the refrigerator 2 .
  • period selection buttons 741A and 741B, a nutrient display field 743, and a recommended ingredient display field 746 are displayed.
  • the period selection buttons 741A and 741B are buttons for selecting the period during which the ingredients are stored.
  • the period selection buttons 741A and 741B are buttons similar to the period selection buttons 721A and 721B, and the period selection button 741A is associated with one week, and the period selection button 741B is associated with one month.
  • a period display 744 and a nutrient display 745 are displayed in the nutrient display column 743 .
  • the period display 744 is a display indicating the period covered by the nutrient display 745, similarly to the period display 724.
  • FIG. The nutrient display 745 displays the ratio of nutrients contained in all the foods stored in the refrigerator 2 during the period indicated by the period display 744 .
  • FIG. 19 shows an example of displaying the percentages of nutrients contained in all foodstuffs in a pie chart, but the percentages by color are not limited to pie charts, and may be bar charts, for example.
  • the article management server 8 determines the stored food and acquires nutrients contained in the determined food. Nutrients contained in foods may be acquired from another server via a network such as the Internet, or may be registered in the article management server 8 in advance as a database.
  • the recommended food display column 746 displays recommended food ingredients based on the nutrient display 745. For each nutrient, a threshold is set for the ratio of each nutrient to the whole, and ingredients containing nutrients with a ratio lower than the set threshold are displayed as recommended ingredients.
  • the number of foodstuffs is counted for each nutrient in a preset period such as one month, and the foodstuffs whose counted number of foodstuffs is less than a preset threshold value are displayed. good too.
  • the recommendation screen 730 shown in FIG. 18 is also displayed.
  • the representative ingredients of the most deficient nutrients may be displayed, and the recommended ingredient display column 746, the recommended dish display column 731, and the recommended restaurant display column 733 may be displayed on one screen.
  • FIG. 20 is a diagram showing an example of a recipe search screen 750.
  • a recipe search screen 750 is displayed by pressing the menu button 712 or recipe search button 715 .
  • a recipe search screen 750 displays an ingredient image 751 , an ingredient name 752 , a correction button 753 , a check box 754 and an enter button 755 .
  • the food image 751 is an image cut out from the captured image captured by the imaging device 3 when the food is stored in the refrigerator 2 .
  • the ingredient name 752 is the ingredient name determined by the article management server 8 based on the captured image of the imaging device 3 .
  • a correction button 753 is a button for correcting the ingredient name 753 when the correspondence between the ingredient image 751 and the ingredient name 752 is incorrect.
  • a check box 754 is a box that is turned on when selecting ingredients to be used for cooking.
  • application execution unit 695 outputs the recommended dish for which check box 754 is turned on and the recipe of this dish as an application. Display on the screen 500 .
  • the ingredients displayed on the recipe search screen 750 are displayed according to the preset display order of the ingredients.
  • the setting of the food display order includes, for example, order of color balance, order of nutrients, and order of elapsed time.
  • the order of color balance is a setting for preferentially displaying ingredients in descending order of proportion to the total ingredients stored in the refrigerator 2 than a threshold value. As described above, each color of food has a threshold value for the proportion of the food to the whole food. In the order of color balance, ingredients that occupy a lower ratio than the threshold value to the whole ingredients are preferentially displayed.
  • the nutrient order is a setting that preferentially displays ingredients that contain nutrients that account for a ratio lower than the threshold value in the total ingredients stored in the refrigerator 2.
  • a threshold value for the ratio of the nutrients to the whole foodstuff is set for each nutrient.
  • the nutrient that accounts for the whole nutrient ratio is lower than the threshold value is preferentially displayed.
  • the order of elapsed time is a setting in which the ingredients are displayed in order of the elapsed time since they were accommodated in the refrigerator 2 .
  • FIG. 21 shows an ingredient correction screen 760 displayed when the correction button 753 is pressed on the recipe search screen 750 .
  • a food material name 761 , a food material image 762 , a food material name input field 763 , an enter button 764 , and a food material candidate display field 765 are displayed on the food material correction screen 760 .
  • the ingredient name 761 displays the ingredient name determined by the article management server 8 based on the captured image, that is, the same ingredient name as the ingredient name 752 displayed on the recipe search screen 750 .
  • the ingredient image 762 is the same image as the ingredient image 751 displayed on the recipe search screen 750 .
  • the ingredient name entry field 763 is an entry field for the user to enter the ingredient name.
  • the confirm button 764 is a button for confirming the ingredient name entered in the ingredient name input field 763 .
  • the food candidate display field 765 displays food candidates predicted by the article management server 8 or the application execution unit 695 based on the food image 762 .
  • the article management server 8 or the application execution unit 695 displays ingredients similar in color and shape to the ingredients of the ingredient image 762 as ingredients candidates.
  • the user selects an ingredient candidate displayed in ingredient candidate display field 765 , the name of the selected ingredient is displayed in ingredient name input field 763 . After that, when the user presses the confirm button 764, the correspondence between the food image 762 and the food name is changed.
  • FIGS. 22 and 23 are flowcharts showing the operation of the information processing apparatus. The operation of the information processing device 6 will be described with reference to the flow charts of FIGS. 22 and 23.
  • FIG. When the article management application 675 is selected and starts operating, the application execution unit 695 communicates with the article management server 8 and acquires updated data (step SE1). Next, application execution unit 695 displays initial screen 710 as application screen 700 (step SE2).
  • the application execution unit 695 determines whether or not the menu button 712 has been pressed to select the display of the color balance display screen 720 (step SE3). If the display of color balance display screen 720 is selected (step SE3/YES), application execution unit 695 causes touch panel 63 to display color balance display screen 720 (step SE4).
  • step SE5 determines whether or not a recommended ingredient has been selected. If a recommended ingredient is selected (step SE5/YES), application execution unit 695 displays recommendation screen 730 shown in FIG. 18 (step SE5). A recommended dish display field 731 and a recommended restaurant display field 733 are displayed on the recommendation screen 730 .
  • step SE7 determines whether or not the nutrient display screen 740 is selected.
  • step SE7/YES When the nutrient display screen 740 is selected (step SE7/YES), the application execution unit 695 causes the touch panel 63 to display the nutrient display screen 740 shown in FIG. 19 (step SE8). If nutrient display screen 740 has not been selected (step SE7/NO), application execution unit 695 returns to step SE3 and determines whether display of color balance display screen 720 has been selected.
  • step SE5 determines whether or not a recommended ingredient has been selected.
  • step SE6 determines whether or not a recommended ingredient has been selected.
  • step SE9 determines whether or not one of the recommended dishes displayed on the recommendation screen 730 has been selected.
  • step SE10 displays the recipe of the selected recommended dish (step SE10).
  • step SE10 determines whether or not display of color balance display screen 720 has been selected.
  • step SE9/NO determines whether or not a recommended restaurant displayed on the recommendation screen 730 has been selected.
  • step SE11/YES application execution unit 695 displays the homepage of the selected shop (step SE12).
  • step SE12/NO the application execution unit 695 returns to the determination of step SE3 and determines whether display of the color balance display screen 720 has been selected.
  • step SE5 determines whether recipe search has been selected.
  • step SE13/NO application execution unit 695 executes processing corresponding to the received operation (step SE14). Also, when the recipe search is selected (step SE13/YES), the application execution unit 695 determines whether or not the food display order is color balance display (step S15).
  • step SE15/YES application execution unit 695 sets the display order of the food contained in refrigerator 2 based on the color balance (step SE16), and displays the food in the set display order. is displayed (step SE18).
  • the application executing unit 695 preferentially displays the ingredients in descending order of the ratio of the color to the total ingredients stored in the refrigerator 2 than the threshold value.
  • step SE15/NO application execution unit 695 sets the display order of ingredients stored in refrigerator 2 based on nutrients (step SE17), Ingredients are displayed (step SE18).
  • the application executing unit 695 preferentially displays the ingredients in descending order of the ratio of nutrients to the total ingredients stored in the refrigerator 2 that is lower than the threshold value.
  • step SE19 the application execution unit 695 determines whether the decision button 755 has been pressed and the selection of ingredients has been completed. If enter button 755 has not been pressed (step SE19/NO), application execution unit 695 waits until enter button 755 is pressed.
  • step SE19/YES When the decision button 755 is pressed and the ingredients have been selected (step SE19/YES), the application execution unit 695 searches for dishes containing the selected ingredients and displays the searched dishes (step SE20). Then, application execution unit 695 determines whether or not one of the displayed dishes has been selected (step SE21).
  • step SE21/NO If one of the displayed dishes is not selected (step SE21/NO), the application execution unit 695 waits until the dish is selected. When a dish is selected (step SE21/YES), application execution unit 695 displays the recipe of the selected dish (step SE22). Thereafter, application execution unit 695 returns to the determination of step SE3, and determines whether or not display of color balance display screen 720 has been selected.
  • the foodstuff management system 1 includes the imaging device 3 and the goods management server 8 .
  • the imaging device 3 images the inside of the refrigerator compartment 21 of the refrigerator 2 to generate a captured image.
  • An article management server 8 acquires the color of food stored in the refrigerator 2 based on the captured image captured by the imaging device 3, and classifies the food stored in the refrigerator compartment 21 based on the color of the food.
  • the article management server 8 causes the information processing device 6 to display the ratio of the food items classified into each color to the food items stored in the refrigerator 2 .
  • the user when purchasing ingredients or cooking, the user can refer to the ratio of ingredients for each color displayed on the information processing device 6 to purchase ingredients with good color balance, or to purchase ingredients with good color balance. you can have a good meal. Therefore, user convenience can be improved.
  • the product management server 8 of the food material system 1 determines the food stored in the refrigerator 2 based on the captured image captured by the imaging device 3, and acquires nutrients contained in the stored food.
  • the article management server 8 calculates the ratio of each nutrient to the nutrients contained in the foodstuff stored in the refrigerator compartment 21 and causes the information processing device 6 to display the calculated ratio.
  • the user can refer to the proportion of each nutrient displayed on the information processing device 6 when purchasing ingredients or cooking, thereby purchasing and eating ingredients without imbalance in nutrients. It is possible to improve user convenience.
  • the product management server 8 causes the information processing device 6 to display a recipe containing ingredients with a color whose ratio is smaller than the threshold, or recipes containing ingredients with a color whose ratio is smaller than the threshold.
  • the article management server 8 causes the information processing device 6 to display ingredients containing nutrients whose ratio is smaller than the threshold value, or recipes containing ingredients.
  • the article management server 8 counts the number of ingredients for each color during a preset period, and causes the information processing device 6 to display ingredients whose counted number of ingredients is less than a threshold value or recipes containing ingredients. .
  • the goods management server 8 counts the number of foodstuffs for each nutrient contained in the foodstuffs in a preset period, and processes information on foodstuffs whose counted number of foodstuffs is less than a threshold value or recipes containing foodstuffs. display on the device 6.
  • the article management server 8 causes the information processing device 6 to display the ingredients stored in the refrigerator compartment 21 in order from the color of the ingredients that account for the ratio of the ingredients in the refrigerator 2 to the ingredients stored in the refrigerator 2 that is smaller than the threshold value.
  • the information processing device 6 is caused to display a recipe of a dish containing ingredients.
  • the information processing device 6 displays the ingredients in descending order of the proportion of the ingredients contained in the refrigerator 2 from the threshold value. Therefore, it is possible to allow the user to select foodstuffs with a small proportion, thereby improving convenience for the user.
  • the article management server 8 causes the information processing device 6 to display the ingredients stored in the refrigerating compartment 21 in descending order of the ratio of nutrients contained in the ingredients stored in the refrigerator 2 from the threshold value, and selects the ingredients.
  • the information processing device 6 is caused to display the recipe of the dish containing the ingredients.
  • the information processing device 6 displays the ingredients in descending order of the ratio of nutrients smaller than the threshold value. Therefore, it is possible to allow the user to select foodstuffs with a small proportion, thereby improving convenience for the user.
  • the first embodiment has been described as an example disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to embodiments with modifications, replacements, additions, omissions, and the like.
  • the refrigerator 2 was exemplified as the storage of the present disclosure.
  • the storage of the present disclosure is not limited to the refrigerator 2, but may be other storage such as a freezer or a room temperature storage.
  • the refrigerator compartment 21 was exemplified as the storage compartment of the present disclosure.
  • the storage compartments of the present disclosure are not limited to refrigeration compartment 21 , but may be ice compartment 24 , fresh freeze compartment 25 , freezer compartment 26 and vegetable compartment 27 .
  • the storage of the present disclosure is a storage other than the refrigerator 2
  • the storage of the present disclosure corresponds to the storage of the storage other than the refrigerator 2 .
  • FIG. 24 is a diagram showing boundary lines between the fifth region R5, the sixth region R6, the seventh region R7, and the eighth region R8.
  • the vegetable compartment 27 pulled out from the inside of the refrigerator will be described as an example.
  • the storage/delivery determining unit 454 analyzes the captured image to identify the storage area of the vegetable compartment 27 in which the article is stored. For example, it is determined that the storage area for the articles stored in the fifth region R5 is the fifth region R5. The sixth region R6, the seventh region R7, and the eighth region R8 are similarly determined. That is, the accommodation area is specified from a single image obtained by imaging the entire vegetable compartment 27 . This simplifies the system configuration of the article management system 1 . Note that the processing unit 871 of the article management server 8 may specify the accommodation area.
  • the captured image of the vegetable compartment 27 is transmitted from the imaging device 3 to the article management server 8, and based on the received captured image, the processing unit 871 identifies the storage area and stores it in the food material management DB or the article management DB. Register an area.
  • the vegetable compartment 27 may be divided into arbitrary regions such as two regions.
  • the human presence determination unit 451 determines whether or not there is a person around the refrigerator 2 based on the detection value of the human sensor 34 .
  • the human presence determining unit 451 may perform determination based on detection values of an illuminance sensor, an electrostatic sensor provided in the grip portion of the refrigerator 2, or the like, instead of the human sensor 34.
  • FIG. In the case of this electrostatic sensor, the refrigerator 2 and the imaging device 3 can communicate, and the refrigerator 2 transmits the detection value of the electrostatic sensor to the imaging device 3 .
  • the refrigerator camera 42 and the drawer camera 43 may be configured as one camera.
  • the angle of view of the camera may be changed according to the opening/closing state of the door of the refrigerator 2 .
  • the imaging device 3 does not need to be equipped with a plurality of cameras, thus simplifying the system configuration.
  • the information processing device 6 may operate as a control device.
  • the information processing device 6 stores the data of the ingredients management DB 93, the article management DB 95, and the open state management DB 97.
  • FIG. The information processing device 6 appropriately updates the data in the food ingredient management DB 93, the article management DB 95, and the open state management DB 97 in the same manner as the article management server 8 described above.
  • the article management system 1 does not need to be provided with the article management server 8, and the system configuration is simplified.
  • the types of chambers formed in the box body 20 of the refrigerator 2 include storage chambers other than the refrigerating chamber 21, the ice making chamber 24, the fresh freezing chamber 25, the freezing chamber 26, and the vegetable chamber 27.
  • the ice making compartment 24, the fresh freezing compartment 25, the freezing compartment 26 and the vegetable compartment 27 may be omitted.
  • the number of doors provided at the front opening of refrigerator compartment 21 may be one.
  • the initial screen 710 shown in FIG. 16 may display a captured image of an area corresponding to the left door 22 between the left door 22 and the refrigerator compartment 21 .
  • the initial screen 710 may display a captured image of a region corresponding to the right door 23 between the right door 23 and the refrigerator compartment 21 .
  • the first processor 69, the second processor 87 and the fourth processor 450 may be composed of a single processor, or may be composed of a plurality of processors.
  • the first processor 69, second processor 87 and fourth processor 450 may be hardware programmed to implement the corresponding functional units. That is, the first processor 69, the second processor 87 and the fourth processor 450 are configured by, for example, ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • the configurations of the imaging device 3, the information processing device 6, and the article management server 8 shown in FIGS. 1 and 5 are examples, and the specific implementation is not particularly limited. In other words, it is not always necessary to mount hardware corresponding to each part individually, and it is of course possible to adopt a configuration in which one processor executes a program to realize the function of each part. Further, part of the functions implemented by software in the above-described embodiments may be implemented by hardware, or part of the functions implemented by hardware may be implemented by software. In addition, the specific detailed configurations of other units of the imaging device 3, the information processing device 6, and the article management server 8 can be arbitrarily changed within the scope of the present disclosure.
  • the control program 851 executed by the second control unit 83 can also be realized by recording the control program 851 on a portable information recording medium.
  • information recording media include magnetic recording media such as hard disks, optical recording media such as CDs, and semiconductor storage devices such as USB (Universal Serial Bus) memories and SSD (Solid State Drives). It is also possible to use
  • the first processor 69, the second processor 87, the third processor 350 and the fourth processor 450 may be composed of a single processor, or may be composed of a plurality of processors. These processors may be hardware programmed to implement corresponding functional units. That is, these processors may be configured by, for example, ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the configuration of the information processing device 6 and the article management server 8 shown in FIG. 1 and the configuration of the imaging device 3 shown in FIG. 7 are examples, and the specific implementation is not particularly limited. In other words, it is not always necessary to mount hardware corresponding to each part individually, and it is possible to have a configuration in which one processor executes a program to realize the function of each part. Further, part of the functions implemented by software in the above-described embodiments may be implemented by hardware, or part of the functions implemented by hardware may be implemented by software.
  • the operation step units shown in FIGS. 13, 14, 15, 22 and 23 are divided according to the main processing contents for easy understanding of the operation. Actions are not limited by methods or names. It may be divided into more steps depending on the processing contents. Also, one step unit may be divided to include more processes. Also, the order of the steps may be changed as appropriate within the scope of the present disclosure.
  • the refrigerator and storage according to the present invention can be used for applications that use photographed images showing the conditions inside the storage.
  • Article Management System 2 Refrigerator 3 Imaging Device 6 Information Processing Device 8 Article Management Server 10 Network 20 Box 21 Cold Room 22 Left Door 23 Right Door 30 Sensor Board 31 Left Door Distance Sensor 32 Right Door Distance Sensor 33 Drawer distance measuring sensor 34 motion sensor 35 sensor board 40 camera board 41 third communication module 42 refrigerator camera 43 drawer camera 44 light emitting device 61 first communication module 63 touch panel 65 first control section 67 first memory 69 first Processor 81 Second communication module 83 Second control unit 85 Second memory 87 Second processor 91 Identification information database 93 Ingredient management database 95 Goods management database 97 Open state management database 310 First I/F circuit 330 Signal processing unit 340 Third memory 345 control program 350 third processor 410 second I/F circuit 430 third control unit 440 fourth memory 441 control program 443 imaging device ID 450 Fourth processor 451 Person presence determination unit 452 Open/close determination unit 453 Imaging control unit 454 Delivery determination unit 455 Acquisition unit 456 Data generation unit 459 Fourth processor 675 Article management application 695 Application execution unit 700 Application screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Thermal Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本開示は、ユーザの利便性を向上させた食材管理システム、食材管理方法及びプログラムを提供する。　本開示における食材管理システムは、貯蔵庫の貯蔵室内を撮像する撮像装置と、前記撮像装置が撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材の色を取得し、前記貯蔵庫に貯蔵された食材を、前記食材の色に基づいて分類し、各色に分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、算出した前記割合を情報処理装置に表示させる制御装置と、を備える。

Description

食材管理システム、食材管理方法及びプログラム
　本開示は、食材管理システム、食材管理方法及びプログラムに関する。
　特許文献１は、冷蔵庫の上部にカメラを設け、冷蔵庫の開口部を通過する物体を検出した際に撮影を実行し、撮影結果に基づいて冷蔵庫に収容される食品を管理する技術を開示する。
特開２０１９－０７０４７６号公報
　本開示は、ユーザの利便性を向上させた食材管理システム、食材管理方法及びプログラムを提供する。
　この明細書には、２０２２年３月２日に出願された日本国特許出願・特願２０２２－０３１８７６号の全ての内容が含まれる。
　本開示における食材管理システムは、貯蔵庫の貯蔵室内を撮像する撮像装置と、前記撮像装置が撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材の色を取得し、前記貯蔵庫に貯蔵された食材を、前記食材の色に基づいて分類し、各色に分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、算出した前記割合を情報処理装置に表示させる制御装置と、を備える。
　本開示における食材管理システムは、貯蔵庫の貯蔵室内を撮像する撮像装置と、前記撮像装置が撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材を判定し、前記入庫される食材に含まれる栄養素を取得し、前記貯蔵室に貯蔵された食材を、前記食材に含まれる栄養素に基づいて分類し、各栄養素を含む食材として分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、算出した前記割合を前記情報処理装置に表示させる制御装置と、を備える。
　本開示における食材管理方法は、貯蔵庫の貯蔵室内を撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材の色を取得し、前記貯蔵室に入庫される食材を、前記食材の色に基づいて分類し、各色に分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、算出した前記割合を情報処理装置に表示させる。
　また、本開示における食材管理方法は、貯蔵庫の貯蔵室内を撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材を判定し、前記入庫される食材に含まれる栄養素を取得し、前記貯蔵室に貯蔵された食材を、前記食材の栄養素に基づいて分類し、各栄養素を含む食材として分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、算出した前記割合を前記情報処理装置に表示させる。
　本開示におけるプログラムは、コンピュータに、貯蔵庫の貯蔵室内を撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材の色を取得し、前記貯蔵室に入庫される食材を、前記食材の色に基づいて分類し、各色に分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、算出した前記割合を情報処理装置に表示させる処理を実行させる。
　本開示におけるプログラムは、コンピュータに、貯蔵庫の貯蔵室内を撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材を判定し、前記入庫される食材に含まれる栄養素を取得し、前記貯蔵室に貯蔵された食材を、前記食材の栄養素に基づいて分類し、各栄養素を含む食材として分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、算出した前記割合を前記情報処理装置に表示させる処理を実行させる。
　本開示における食材管理システム、食材管理方法及びプログラムは、貯蔵室に入庫される食材を、食材の色や栄養素に基づいて分類し、各色や各栄養素に分類された食材が、貯蔵庫内に貯蔵された食材に占める割合を情報処理装置に表示させるため、食材を色バランスや栄養素を元に購入したり、色バランスや栄養素バランスよく食事したりすることができる。このため、ユーザの利便性を向上させることができる。
図１は、物品管理システムのシステム構成の一例を示す図 図２は、識別情報データベースの構成の一例を示す図 図３は、食材管理データベースの構成の一例を示す図 図４は、物品管理データベースの構成の一例を示す図 図５は、開状態管理データベースの構成の一例を示す図 図６は、冷蔵庫の正面図 図７は、撮像装置の構成を示すブロック図 図８は、冷蔵庫の上面図 図９は、冷蔵室用カメラの撮像画像の一例を示す図 図１０は、引き出し用カメラの撮像画像の一例を示す図 図１１は、第１領域、第２領域、第３領域及び第４領域の境界線を示す図 図１２は、入出庫判定画像を説明するための図 図１３は、撮像装置の動作を示すフローチャート 図１４は、物品管理システムの動作を示すフローチャート 図１５は、物品管理サーバの動作を示すフローチャート 図１６は、初期画面の一例を示す図 図１７は、色バランス表示画面の一例を示す図 図１８は、おすすめ画面の一例を示す図 図１９は、栄養素表示画面の一例を示す図 図２０は、レシピ検索画面の一例を示す図 図２１は、食材修正画面の一例を示す図 図２２は、情報処理装置の動作を示すフローチャート 図２３は、情報処理装置の動作を示すフローチャート 図２４は、引き出し用カメラの撮像画像であり、第５領域、第６領域、第７領域及び第８領域の境界線を示す図
　（本開示の基礎となった知見等）
　発明者らが本開示に想到するに至った当時、冷蔵庫などの貯蔵庫をカメラにより撮像し、カメラにより撮像された撮像画像から、貯蔵庫に収容された食材の情報を表示する技術はあった。しかしながら、従来の技術は、貯蔵庫に収容された食材の色や、栄養素について簡単に知る術がないという課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
　そこで、本開示は、ユーザの利便性を向上させた食材管理システム、食材管理方法及びプログラムを提供する。
　以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。
　（実施の形態１）
　［１．システム構成］
　図１は、物品管理システム１のシステム構成の一例を示す図である。
　物品管理システム１は、撮像装置３と、情報処理装置６と、物品管理サーバ８と、を備える。撮像装置３、情報処理装置６及び物品管理サーバ８は、ネットワーク１０を介して相互に接続される。撮像装置３と情報処理装置６とは、無線接続によってネットワーク１０に接続されるが、有線による接続であってもよい。
　図１には、撮像装置３及び情報処理装置６をそれぞれ１台ずつ示すが、撮像装置３及び情報処理装置６は、物品管理システム１に登録されたユーザ数に対応して複数設けられる。また、撮像装置３と情報処理装置６との数は同数とは限らず、例えば、家庭内で複数のユーザがそれぞれ情報処理装置６を使用し、物品管理サーバ８から提供される画像や情報を情報処理装置６で視認することも可能である。
　撮像装置３は、冷蔵庫２の天面に設置される。撮像装置３は、複数のカメラを備え、冷蔵庫２のドアや引き出しが開かれると、冷蔵室や野菜室等の庫内を撮像し、冷蔵庫２内に入庫される物品や、冷蔵庫２から出庫される物品を撮像した撮像画像を生成する。カメラが撮像する画像は、動画像であってもよいし、静止画像であってもよい。また、冷蔵庫２に入庫される物品、又は冷蔵庫２から出庫される物品には、食品や食材、食品又は食材を収容した保存容器が含まれる。
　撮像装置３は、生成した撮像画像を画像解析して物品や、物品に付されたマーカーＩＤを検出する。保存容器にはマーカーが付されており、マーカーにはマーカーの識別情報であるマーカーＩＤが含まれる。撮像装置３は、撮像画像やマーカーＩＤを含むアップロードデータを生成し、生成したアップロードデータを物品管理サーバ８に送信する。
　物品管理サーバ８は、撮像装置３から受信したアップロードデータに基づき、冷蔵庫２に収容された物品を管理する。
　例えば、物品管理サーバ８は、物品が冷蔵庫２に入庫された入庫日時や、物品が冷蔵庫２に入庫されてからの経過時間等を管理する。また、物品管理サーバ８は、冷蔵庫２のドアが開閉された回数や、一定時間以上が経過した物品が収容された冷蔵庫２の収容エリアを判定する。物品管理サーバ８は、これらの情報を情報処理装置６に送信し、情報処理装置６のタッチパネル６３に表示させる。
　情報処理装置６は、スマートフォンやタブレットコンピュータ等の携帯型のコンピュータである。また、情報処理装置６として、ノート型やデスクトップ型のパーソナルコンピュータを用いてもよい。情報処理装置６は、例えば、ユーザの操作により選択された画像や情報を物品管理サーバ８からダウンロードし、ダウンロードした画像や情報に基づいてアプリ画面７００を生成する。情報処理装置６は、生成したアプリ画面７００をタッチパネル６３に表示させる。
　［２．情報処理装置の構成］
　情報処理装置６は、第１通信モジュール６１、タッチパネル６３及び第１制御部６５を備える。
　第１通信モジュール６１は、無線通信の通信規格に従ったインターフェイス回路を有する通信インターフェイスである。第１通信モジュール６１は、第１制御部６５の制御に従って物品管理サーバ８と通信する。本実施の形態では、第１通信モジュール６１が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。
　タッチパネル６３は、液晶表示パネル等の表示パネルと、タッチセンサとを備える。タッチパネル６３は、タッチされた表示パネルの位置を示す座標情報を第１制御部６５に出力する。
　第１制御部６５は、第１メモリ６７及び第１プロセッサ６９を備えるコンピュータ装置である。
　第１メモリ６７は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）とを備える。ＲＯＭ及びＲＡＭの図示は省略する。ＲＯＭは、第１プロセッサ６９が実行する制御プログラムとして、物品管理アプリケーションプログラム６７５や、情報処理装置６の設定情報等を記憶する。以下、アプリケーションプログラムをアプリと表記する。ＲＡＭは、第１プロセッサ６９の演算領域として使用される。
　第１プロセッサ６９は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）や、ＭＰＵ（Ｍｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の演算処理装置である。第１プロセッサ６９は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、第１プロセッサ６９は、第１メモリ６７の一部又は全部や、その他の回路と統合されたＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）により構成してもよい。また、第１プロセッサ６９は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、第１プロセッサ６９の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
　第１プロセッサ６９は、物品管理アプリ６７５を実行することでアプリ実行部６９５として機能する。アプリ実行部６９５は、第１通信モジュール６１により物品管理サーバ８と通信し、タッチパネル６３に表示させるアプリ画面７００のデータを受信する。
　また、アプリ実行部６９５は、冷蔵庫２に収容された物品を管理するユーザーインターフェースとして、アプリ画面７００をタッチパネル６３に表示させる。アプリ実行部６９５は、アプリ画面７００をタッチパネル６３に表示させ、冷蔵庫２が収容する物品の各種情報をユーザに提供し、また、冷蔵庫２が収容する物品に対する各種入力をユーザから受け付ける。
　［３．物品管理サーバの構成］
　物品管理サーバ８は、第２通信モジュール８１及び第２制御部８３を備える。物品管理サーバ８は、制御装置に相当する。
　第２通信モジュール８１は、所定の通信規格に従ったインターフェイス回路等を備える通信インターフェイスである。第２通信モジュール８１は、ネットワーク１０に有線接続し、撮像装置３や情報処理装置６と相互にデータ通信を行う。
　第２制御部８３は、第２メモリ８５及び第２プロセッサ８７を備える。
　第２メモリ８５は、ＲＯＭ、ＲＡＭ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の補助記憶装置を備える。ＲＯＭ、ＲＡＭ及びＨＤＤの図示は省略する。
　ＲＯＭは、制御プログラム８５１を記憶する。ＲＡＭは、第２プロセッサ８７の演算領域として使用される。
　補助記憶装置は、識別情報データベース９１、食材管理データベース９３、物品管理データベース９５及び開状態管理データベース９７を記憶する。以下、データベースをＤＢと略記する。
　第２プロセッサ８７は、ＣＰＵやＭＰＵ等の演算処理装置である。第２プロセッサ８７は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、第２プロセッサ８７は、第２メモリ８５の一部又は全部や、その他の回路と統合されたＳｏＣにより構成してもよい。また、第２プロセッサ８７は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、第１プロセッサ６９の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
　第２プロセッサ８７は、第２メモリ８５が記憶する制御プログラム８５１を読み出して実行することにより処理部８７１として機能する。
　ここで、図２～図５を参照しながら、識別情報データベース９１、食材管理データベース９３、物品管理データベース９５及び開状態管理データベース９７の構成について説明する。
　図２は、識別情報データベース９１の構成の一例を示す図である。
　識別情報データベース９１は、識別情報を登録したデータベースである。
　識別情報データベース９１には、アカウント情報９１１、通信情報９１２及び撮像装置ＩＤ９１３が１レコードとして登録される。
　アカウント情報９１１は、物品管理アプリ６７５のユーザに割り当てられたアカウントを識別する情報である。
　通信情報９１２は、情報処理装置６との通信に使用するＩＰアドレス等のアドレス情報である。
　撮像装置ＩＤ９１３は、ユーザ宅に設置された撮像装置３を識別するＩＤである。
　図３は、食材管理ＤＢ９３の構成の一例を示す図である。
　食材管理ＤＢ９３は、アカウント情報９１１ごとに生成されるデータベースであり、食材名情報９３１、色情報９３２、栄養素情報９３３、入庫日時情報９３４、食材画像９３５、収容エリア９３６、出庫日時情報９３７が１レコードとして登録される。
　食材名情報９３１は、冷蔵庫２に入庫された食材の名称を示す情報である。
　処理部８７１は、撮像装置３からアップロードされる撮像画像に撮像された食材を判定する。処理部８７１は、物品の色や形状等に基づいて食材を判定し、判定結果を食材名情報９３１として登録する。
　色情報９３２には、食材名情報９３１の食材の色が登録される。なお、色情報９３２は、食材の中の色を含んでもよいし、食材の外観の色を含んでもよい。
　処理部８７１は、撮像画像から食材を判定すると、判定した食材の色情報を取得する。食材の色は、予め食材の色を登録したデータベースを第２メモリ８５に記憶させ、このデータベースを参照して色情報を取得してもよいし、不図示の他のサーバから食材の色情報を取得してもよい。処理部８７１は、取得した色を色情報９３２として登録する。なお、処理部８７１は、野菜室２７等の引き出し２７Ａの全体を撮像した一枚の画像に対して、各色の面積の累計を色情報９３２として登録してもよい。
　栄養素情報９３３には、食材名情報９３１の食材に含まれる栄養素の情報が登録される。処理部８７１は、撮像画像から食材を判定すると、判定した食材に含まれる栄養素を取得する。食材に含まれる栄養素は、予め食材に含まれる栄養素を登録したデータベースを第２メモリ８５に記憶させ、このデータベースを参照して栄養素情報を取得してもよいし、不図示の他のサーバから食材の栄養素情報を取得してもよい。処理部８７１は、取得した栄養素を栄養素情報９３３として登録する。栄養素情報９３３に登録する栄養素は、その食材に含まれる主要（例えば、２つ）な栄養素であればよく、食材に含まれるすべての栄養素である必要はない。
　入庫日時情報９３４は、食材名情報９３１の食材が冷蔵庫２に入庫された日時を示す。処理部８７１は、撮像装置３からアップロードデータを受信した日時を入庫日時情報９３４として登録する。なお、入庫日時情報９３４は、撮像装置３からアップロードされる日時情報に基づいて登録されてもよい。
　食材画像９３５には、撮像装置３からアップロードされた撮像画像が登録される。
　撮像装置３は、冷蔵庫２の庫内を撮像して撮像画像を生成する。撮像装置３は、生成した撮像画像から物品が撮像された範囲の画像を、物品画像として切り出す。撮像装置３は、切り出した物品画像を含むアップロードデータを物品管理サーバ８にアップロードする。処理部８７１は、アップロードデータから物品画像を取り出し、取り出した物品画像から食材が検出された場合、物品画像を食材画像９３５に登録する。
　収容エリア９３６は、食材が収容された冷蔵庫２の収容エリアを示す情報である。処理部８７１は、アップロードデータから収容エリアを示す情報を取り出し、取り出した収容エリアを示す情報を収容エリア９３６に登録する。冷蔵庫２が備える複数の収容エリアには、識別番号が付与されている。収容エリア９３６には、収容エリアを示す情報として識別番号が登録される。
　出庫日時情報９３７は、食材名情報９３１の食材が冷蔵庫２から出庫された日時を示す。処理部８７１は、撮像装置３からアップロードデータを受信した日時を出庫日時情報９３７に登録する。なお、出庫日時情報９３７は、撮像装置３からアップロードされる日時情報に基づいて登録されてもよい。食材は、調理等のために、冷蔵庫２から取り出され、その後、冷蔵庫２の庫内に再度、収容される場合がある。このため、処理部８７１は、冷蔵庫２から食材が出庫されたと判定しても、一定時間を経過するまでは、食材管理ＤＢ９３のレコードを削除しない。処理部８７１は、使用した食材が再入庫された場合、出庫日時情報９３７のレコードを削除するか、入庫日時情報９３４に新たな入庫日時を登録する。
　図４は、物品管理ＤＢ９５の構成の一例を示す図である。
　物品管理ＤＢ９５は、アカウント情報９１１ごとに生成されるデータベースであり、マーカーＩＤ９５１、物品画像９５２、入庫日時情報９５３、収容エリア９５４、出庫日時情報９５５が１レコードとして登録される。
　マーカーＩＤ９５１は、撮像装置３から受信するアップロードデータに含まれる情報である。撮像装置３は、撮像画像から物品に付されたマーカーを検出し、検出したマーカーに付与されたマーカーＩＤを取得する。撮像装置３は、取得したマーカーＩＤをアップロードデータとして物品管理サーバ８に送信する。処理部８７１は、受信したアップロードデータからマーカーＩＤを取り出し、取り出したマーカーＩＤをマーカーＩＤ９５１に登録する。
　物品画像９５２には、撮像装置３からアップロードされた撮像画像が登録される。
　上述のように撮像装置３は、切り出した物品画像を含むアップロードデータを物品管理サーバ８にアップロードする。
　処理部８７１は、アップロードデータにマーカーＩＤが含まれる場合、このアップロードデータから取り出した物品画像を物品画像９５２に登録する。
　なお、アップロードデータにマーカーＩＤが含まれる場合、予め物品管理サーバ８に保存され、マーカーＩＤと対応している物品画像を物品画像９５２に登録してもよい。この場合、ユーザはマーカーＩＤが付された物品をカメラで撮影し、撮影した物品画像を物品管理サーバ８に送信する。処理部８７１は、受信した物品画像とマーカーＩＤを対応付けて物品管理ＤＢ９５に登録する。
　入庫日時情報９５３は、マーカーＩＤの物品が冷蔵庫２に入庫された日時を示す。処理部８７１は、撮像装置３からアップロードデータを受信した日時を入庫日時情報９５３に登録する。
　収容エリア９５４は、物品が収容された冷蔵庫２の収容エリアを示す情報である。処理部８７１は、アップロードデータから収容エリアを示す情報を取り出し、取り出した収容エリアを示す情報を収容エリア９５４に登録する。
　出庫日時情報９５５は、マーカーＩＤの物品が冷蔵庫２から出庫された日時を示す。処理部８７１は、撮像装置３からアップロードデータを受信した日時を出庫日時情報９５５に登録する。物品は、調理等のために、冷蔵庫２から取り出され、その後、冷蔵庫２の庫内に再度、収容される場合がある。このため、処理部８７１は、冷蔵庫２から食材が出庫されたと判定しても、一定時間を経過するまでは、食材管理ＤＢ９３のレコードを削除しない。処理部８７１は、物品が再入庫された場合、出庫日時情報９５５のレコードを削除するか、入庫日時情報９５３に新たな入庫日時を登録する。
　図５は、開状態管理ＤＢ９７の構成の一例を示す図である。
　開状態管理ＤＢ９７は、アカウント情報９１１ごとに生成されるデータベースであり、冷蔵室２１の開日時を記録するカラム９７１、野菜室２７の開日時を記録するカラム９７２、冷凍室２６の開日時を記録するカラム９７３を備える。
　冷蔵室２１の開日時を記録するカラム９７１には、冷蔵室２１の左ドア２２又は右ドア２３が開かれた日時が登録される。
　野菜室２７の開日時を記録するカラム９７２には、野菜室２７の引き出し２７Ａが引き出された日時が登録される。
　冷凍室２６の開日時を記録するカラム９７３には、冷凍室２６の引き出し２６Ａが引き出された日時が登録される。
　また、開状態管理ＤＢ９７に登録されてから一定時間を経過したデータは、開状態管理ＤＢ９７から削除される。
　［４．冷蔵庫の構成］
　ここで、撮像装置３が載置された冷蔵庫２の構成について説明する。
　図６は、冷蔵庫２の正面図であって、冷蔵庫２が具備する左ドア２２及び右ドア２３を開いた状態を示す図である。図６に示すＸ軸、Ｙ軸及びＺ軸は、互いに直交する３軸である。図面視で、Ｘ軸方向は左右方向に対応し、Ｘ軸の正方向は右方向に対応する。図面視で、Ｙ軸方向は前後方向に対応し、Ｙ軸の正方向は前方向に対応する。図面視で、Ｘ軸は上下方向に対応し、Ｚ軸の正方向は上方向に対応する。
　冷蔵庫２は、断熱性を有し、冷蔵庫２の本体を形成する箱状部材である箱体２０を備える。
　箱体２０は、外箱と内箱との間の空間に断熱材を充填した構成を備える。外箱及び内箱の図示は省略する。外箱は、例えば、鉄などの金属板やＡＢＳ樹脂等の硬質樹脂等で形成される。内箱は、例えば、ＡＢＳ樹脂等の硬質樹脂で形成される。断熱材は、例えば、硬質ウレタンフォームが採用される。なお、断熱材は、これに限らず、断熱性を有し、外箱と内箱との間の空間に充填可能な材料であればよい。
　冷蔵庫２の内部空間は、仕切り部材によって複数の空間に仕切られる。本実施形態では、内部空間は、５つの空間に仕切られ、５つの空間が、それぞれ、冷蔵室２１、製氷室２４、新鮮凍結室２５、冷凍室２６及び野菜室２７として機能する。冷蔵室２１、製氷室２４、新鮮凍結室２５、冷凍室２６及び野菜室２７は、貯蔵室に相当する。製氷室２４、新鮮凍結室２５、冷凍室２６及び野菜室２７は、物品を収容可能な引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａをそれぞれ備える。
　冷蔵室２１は、左ドア２２及び右ドア２３により閉塞され、製氷室２４は、引き出し２４Ａにより閉塞され、新鮮凍結室２５は、引き出し２５Ａにより閉塞され、冷凍室２６は、引き出し２６Ａによって閉塞され、野菜室２７は、引き出し２７Ａにより閉塞される。
　冷蔵室２１には、棚板２１１、２１３、２１５、２１７が設けられ、冷蔵室２１はこれら棚板２１１、２１３、２１５、２１７により５つの空間に区切られる。
　棚板２１１により区切られ、Ｚ軸方向の最も上に位置する冷蔵室２１を第１冷蔵室２１Ａという。棚板２１１と棚板２１３とにより区切られ、Ｚ軸方向の上から２番目に位置する冷蔵室２１を第２冷蔵室２１Ｂという。棚板２１３と棚板２１５とにより区切られ、Ｚ軸方向の上から３番目に位置する冷蔵室２１を第３冷蔵室２１Ｃという。棚板２１５と棚板２１７とにより区切られ、Ｚ軸方向の上から４番目に位置する冷蔵室２１を第４冷蔵室２１Ｄという。棚板２１７により区切られ、Ｚ軸方向の最も下に位置する冷蔵室２１をチルド室２８という。チルド室２８は、庫内温度が冷蔵室２１より低い収容室である。チルド室２８には、物品を収容可能な引き出し２８Ａが設けられる。
　Ｙ軸の正方向に位置する冷蔵庫２の前面には、回転式であって、観音開きの左ドア２２及び右ドア２３が設けられる。
　左ドア２２には、４つの左ドアポケットが設けられる。左ドア２２には、Ｚ軸方向の上から順に、第１左ドアポケット２２１、第２左ドアポケット２２３、第３左ドアポケット２２５、第４左ドアポケット２２７が設けられる。
　右ドア２３には、４つの右ドアポケットが設けられる。右ドア２３には、Ｚ軸方向の上から順に、第１右ドアポケット２３１、第２右ドアポケット２３３、第３右ドアポケット２３５、第４右ドアポケット２３７が設けられる。
　［５．撮像装置の構成］
　図７は、撮像装置３の構成を示すブロック図である。
　図７を参照しながら撮像装置３の構成について説明する。
　撮像装置３は、センサ基板３０と、カメラ基板４０とを備える。
　センサ基板３０は、各種センサから出力される信号を処理及び変換する信号処理ボードである。センサ基板３０には、左ドア用測距センサ３１、右ドア用測距センサ３２、引き出し用測距センサ３３、人感センサ３４が接続される。左ドア用測距センサ３１、右ドア用測距センサ３２及び引出用測距センサ３３は、開閉センサに相当する。
　カメラ基板４０は、カメラモジュールが出力した信号を処理して撮像画像を生成する信号処理ボードである。カメラ基板４０には、第３通信モジュール４１、カメラモジュールとしての冷蔵室用カメラ４２及び引き出し用カメラ４３、発光装置４４が接続される。
　左ドア用測距センサ３１は、左ドア２２との距離を検出する。左ドア用測距センサ３１は、検出した左ドア２２との距離を示す信号を第３制御部４３０に出力する。
　右ドア用測距センサ３２は、右ドア２３との距離を検出する。右ドア用測距センサ３２は、検出した右ドア２３との距離を示す信号を第３制御部４３０に出力する。
　図８は、冷蔵庫２を上から見た上面図である。
　左ドア用測距センサ３１は、検出光を射出する発光素子と、検出光が左ドア２２で反射した反射光を受光する受光素子とを備える。右ドア用測距センサ３２も、検出光を射出する発光素子と、検出光が右ドア２３で反射した反射光を受光する受光素子とを備える。発光素子及び受光素子の図示は省略する。発光素子は受光素子よりもＹ軸方向の正方向に設けられる。これにより、測距センサの検出範囲を広くできる。
　左ドア用測距センサ３１は、Ｙ軸の正方向に対して所定角度傾くように発光素子及び受光素子が設置される。右ドア用測距センサ３２についても同様である。左ドア２２が、所定角度以上、開いた状態では、発光素子から射出される検出光が、左ドア２２の内側であって、Ｚ軸方向の上部で反射する。また、左ドア２２が、閉まった状態では、発光素子から射出される検出光が、左ドア２２の内側であって、Ｚ軸方向の上部で反射する。例えば、左ドア２２の内側であって、左ドア２２の上端と左ドア２２に設けられたガスケットとの間の領域で反射する。左ドア２２のＺ軸方向の上部で反射した反射光を受光素子で検出することで、左ドア２２が開状態であると判定される。例えば、左ドア２２の閉まった状態における信号と比較し、所定値以上変化した場合は、左ドア２２が開状態であると判定される。同様に、右ドア２３が、所定角度以上、開いた状態では、発光素子から射出される検出光が、右ドア２３の内側で反射であって、Ｚ軸方向の上部で反射する。また、右ドア２３が、閉まった状態では、発光素子から射出される検出光が、右ドア２３の内側であって、Ｚ軸方向の上部で反射する。例えば、右ドア２３の内側であって、右ドア２３の上端と右ドア２３に設けられたガスケットとの間の領域で反射する。右ドア２３のＺ軸方向の上部で反射した反射光を受光素子で検出することで、右ドア２３が開状態であると判定される。例えば、右ドア２３の閉まった状態における信号と比較し、所定値以上変化した場合は、右ドア２３が開状態であると判定される。左ドア２２の内側とは、左ドア２２が閉状態となったときに、冷蔵庫２の庫内に面する側である。右ドア２３の内側についても同様である。
　引き出し用測距センサ３３は、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａとの距離を検出するセンサである。引き出し用測距センサ３３は、検出光を射出する発光素子と、検出光の反射光を受光する受光素子とが、Ｚ軸方向の正方向である鉛直下方向に向けて設置される。発光素子及び受光素子の図示は省略する。
　引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａが冷蔵庫２の庫内から引き出されることで、発光素子が射出した検出光が引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれかで反射する。受光素子は、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれかで反射した反射光を受光する。発光素子で検出光を射出してから、受光素子で反射光を受光するまでの時間の変化により、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれが引き出されたのかを判定する。引き出し用測距センサ３３は、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａとの距離との距離を示す信号を第３制御部４３０に出力する。
　人感センサ３４は、人の接近を検知する。人感センサ３４は、赤外線式、超音波式、可視光式のいずれの形式であってもよい。人感センサ３４は、人の接近を検知し、人の接近を示すセンサ信号を第３制御部４３０に出力する。
　センサ基板３０には、第１Ｉ／Ｆ回路３１０及び信号処理部３３０が搭載される。信号処理部３３０は、第３メモリ３４０及び第３プロセッサ３５０を備える。第１Ｉ／Ｆ回路３１０及び信号処理部３３０は、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）により構成してもよい。
　第１Ｉ／Ｆ回路３１０は、カメラ基板４０との通信インターフェイスである。第１Ｉ／Ｆ回路３１０は、ケーブルを接続するポートと、通信規格に対応したインターフェイス回路とを備える。
　信号処理部３３０は、第３メモリ３４０及び第３プロセッサ３５０を備えるコンピュータ装置である。
　第３メモリ３４０は、ＲＯＭ及びＲＡＭを備える。ＲＯＭは、第３プロセッサ３５０が実行する制御プログラム３４５を記憶する。ＲＡＭは、第３プロセッサ３５０の演算領域として使用される。
　第３プロセッサ３５０は、ＣＰＵやＭＰＵ等により構成される。
　第３プロセッサ３５０は、ＣＰＵやＭＰＵ等の演算処理装置である。第３プロセッサ３５０は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、第３プロセッサ３５０は、第３メモリ３４０の一部又は全部や、その他の回路と統合されたＳｏＣにより構成してもよい。また、第３プロセッサ３５０は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、第３プロセッサ３５０の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
　信号処理部３３０は、左ドア用測距センサ３１、右ドア用測距センサ３２、引き出し用測距センサ３３及び人感センサ３４から入力される信号に、例えば、Ａ／Ｄ変換等の処理を施し、処理後のデータを第３制御部４３０に出力する。処理後のデータをセンサデータという。
　第３通信モジュール４１は、コネクタや通信回路等を備え、Ｗｉ－Ｆｉ（登録商標）等の通信規格に従ってネットワーク１０に接続し、物品管理サーバ８と相互にデータ通信を行う。
　冷蔵室用カメラ４２は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）センサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子を備えたカメラである。冷蔵室用カメラ４２は、第３制御部４３０の制御に従って撮像し、撮像により生成した撮像画像を第３制御部４３０に出力する。撮像画像は、静止画像であってもよいし、動画像であってもよい。
　図９は、冷蔵室用カメラ４２の撮像画像の一例を示す図である。
　冷蔵室用カメラ４２の画角は、引き出し用カメラ４３の画角よりも広い。冷蔵室用カメラ４２の撮像画像には、冷蔵室２１の一部や、左ドア２２や右ドア２３、検出領域ＴＡ等が撮像される。検出領域ＴＡは、冷蔵室２１内の底面においてチルド室２８の前方に形成された前方領域内の領域である。本実施形態の検出領域ＴＡは、前方領域より面積の小さい領域を例示するが、同じ面積でもよい。撮像装置３は、この検出領域ＴＡにおいて、冷蔵庫２に入庫される物品、又は冷蔵庫から出庫される物品を検出する。
　図１０は、引き出し用カメラ４３の撮像画像の一例を示す図である。
　引き出し用カメラ４３もＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子を備えたカメラである。引き出し用カメラ４３も、第３制御部４３０の制御に従って撮像を開始する。引き出し用カメラ４３も撮像画像を生成し、生成した撮像画像を第３制御部４３０に出力する。撮像画像は、静止画像であってもよいし、動画像であってもよい。
　図１０には、引き出し用カメラ４３の撮像画像の一例として、冷蔵庫２の庫内から引き出された冷凍室２６を撮像した撮像を示す。
　発光装置４４は、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等の発光素子を備え、第３制御部４３０の制御に従って発光又は点灯する。
　カメラ基板４０には、第２Ｉ／Ｆ回路４１０及び第３制御部４３０が搭載される。
　第２Ｉ／Ｆ回路４１０及び第３制御部４３０は、ＳｏＣにより構成してもよい。
　第２Ｉ／Ｆ回路４１０は、センサ基板３０との通信インターフェイスである。第２Ｉ／Ｆ回路４１０は、ケーブルを接続するポートと、通信規格に対応したインターフェイス回路とを備える。
　第３制御部４３０は、第４メモリ４４０及び第４プロセッサ４５０を備えるコンピュータ装置である。
　第４メモリ４４０は、ＲＯＭ及びＲＡＭを備える。ＲＯＭ及びＲＡＭの図示は省略する。ＲＯＭは、第４プロセッサ４５０が実行する制御プログラム４４１や撮像装置ＩＤ４４３、撮像画像を記憶する。撮像装置ＩＤ４４３は、撮像装置３を一意に特定する識別情報である。
　第４プロセッサ４５０は、ＣＰＵやＭＰＵ等の演算処理装置である。第４プロセッサ４５０は、単一のプロセッサにより構成してもよいし、複数のプロセッサにより構成することも可能である。また、第４プロセッサ４５０は、第４メモリ４４０の一部又は全部や、その他の回路と統合されたＳｏＣにより構成してもよい。また、第４プロセッサ４５０は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、第４プロセッサ４５０の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。
　第３制御部４３０は、制御プログラム４４１を実行することにより、人物存在判定部４５１、開閉判定部４５２、撮像制御部４５３、入出庫判定部４５４、取得部４５５及びデータ生成部４５６として機能する。
　人物存在判定部４５１は、人感センサ３４の検出値に基づいて、冷蔵庫２の周辺に人が存在するか否かを判定する。例えば、人物存在判定部４５１は、人感センサ３４の検出値が所定値以上である場合、冷蔵庫２の周辺に人が存在すると判定し、所定値を下回る場合、冷蔵庫２の周辺に人が存在しないと判定する。
　開閉判定部４５２は、左ドア用測距センサ３１から入力されるセンサデータに基づき、左ドア２２の状態が開状態であるか否かを判定する。また、開閉判定部４５２は、右ドア用測距センサ３２から入力されるセンサデータに基づき、右ドア２３の状態が開状態であるか否かを判定する。
　また、開閉判定部４５２は、引き出し用測距センサ３３から入力されるセンサデータに基づき、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれかが冷蔵庫２の庫内から引き出された状態であるか否かを判定する。
　撮像制御部４５３は、人物存在判定部４５１が冷蔵庫２の周辺に人が存在すると判定した場合、冷蔵室用カメラ４２及び引き出し用カメラ４３に撮像を開始させる。その後、撮像制御部４５３は、発光装置４４を点灯又は点滅させ、撮像の開始をユーザに通知する。撮像制御部４５３は、人物存在判定部４５１が冷蔵庫２の周辺に人が存在しないと判定した場合、冷蔵室用カメラ４２及び引き出し用カメラ４３の撮像を終了させる。その後、撮像制御部４５３は、発光装置４４を消灯させる。
　また、撮像制御部４５３は、左ドア２２及び右ドア２３のいずれか一方が開状態である、もしくは、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれかが開状態であると開閉判定部４５２により判定された場合、冷蔵室用カメラ４２及び引き出し用カメラ４３の録画を開始させる。撮像制御部４５３は、入力される撮像画像を第４メモリ４４０に記憶させる。また、撮像制御部４５３は、左ドア２２及び右ドア２３のいずれもが閉状態である、かつ、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれもが閉状態であると開閉判定部４５２により判定された場合、冷蔵室用カメラ４２及び引き出し用カメラ４３の録画を終了させる。
　なお、なお、撮像制御部４５３は、左ドア２２及び右ドア２３のいずれか一方が開状態であると開閉判定部４５２が判定した場合、冷蔵室用カメラ４２の録画を開始させてもよい。撮像制御部４５３は、入力される撮像画像を第４メモリ４４０に記憶させてもよい。また、撮像制御部４５３は、左ドア２２及び右ドア２３のいずれもが閉状態であると開閉判定部４５２により判定された場合、冷蔵室用カメラ４２の録画を終了させてもよい。
　また、撮像制御部４５３は、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれかが開状態であると開閉判定部４５２により判定された場合、引き出し用カメラ４３の録画を開始させてもよい。また、撮像制御部４５３は、入力される撮像画像を第４メモリ４４０に記憶させてもよい。撮像制御部４５３は、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれもが閉状態であると開閉判定部４５２により判定された場合、引き出し用カメラ４３の録画を終了させてもよい。
　入出庫判定部４５４は、撮像画像を画像解析して物品である食材や食品、保存容器を検出する。また、入出庫判定部４５４は、検出した物品が冷蔵庫２内に入庫されるのか、冷蔵庫２から出庫されるのかを判定する。
　図１１及び図１２を参照しながら撮像画像から物品を検出し、入出庫を判定する処理について説明する。図１１は、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４の境界線を示す図である。以下では、マーカーＭＫが付された物品ＢＰを検出する場合について説明する。
　まず、入出庫判定部４５４は、撮像画像に、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４を設定する。第１領域Ｒ１は、撮像画像において、冷蔵室２１に対応する領域である。第２領域Ｒ２は、撮像画像において、左ドア２２に対応する領域である。第３領域Ｒ３は、撮像画像において、右ドア領域２３に対応する領域である。第４領域Ｒ４は、撮像画像において、冷蔵庫２の庫外に対応する領域である。
　冷蔵室２１に対応する第１領域Ｒ１は、ユーザが開閉する左ドア２２や右ドア２３の開度が異なっても、撮像画像における第１領域Ｒ１の範囲は常に一定である。このため、入出庫判定部４５４は、撮像画像の予め設定された範囲を第１領域Ｒ１に設定する。図１１に示す境界線５０１が、第１領域Ｒ１と、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４との境界に対応する。
　また、左ドア２２に対応する第２領域Ｒ２や、右ドア２３に対応する第３領域Ｒ３は、ユーザが開閉する左ドア２２や右ドア２３の開度によって領域が変更される。このため、入出庫判定部４５４は、例えば、左ドア２２の第１左ドアポケット２２１～第４左ドアポケット２２７や、右ドア２３の第１右ドアポケット２３１～第４右ドアポケット２３７のエッジを検出する。
　入出庫判定部４５４は、検出した第１左ドアポケット２２１～第４左ドアポケット２２７や、第１右ドアポケット２３１～第４右ドアポケット２３７のエッジに基づいて第２領域Ｒ２及び第３領域Ｒ３の範囲を設定する。
　また、第１左ドアポケット２２１～第４左ドアポケット２２７や、第１右ドアポケット２３１～第４右ドアポケット２３７の端部にマーク等を配置してもよい。入出庫判定部４５４は、撮像画像から検出したマークの位置に基づいて第２領域Ｒ２及び第３領域Ｒ３の範囲を設定する。また、入出庫判定部４５４は、設定した第１領域Ｒ１、第２領域Ｒ２及び第３領域Ｒ３以外の領域を、冷蔵室２１の庫外である第４領域Ｒ４に設定する。図１１に示す境界線５０２が第２領域Ｒ２の境界を示し、境界線５０３が第３領域Ｒ３の境界を示す。
　なお、入出庫判定部４５４は、左ドア用測距センサ３１から入力されるセンサデータに基づいて第２領域Ｒ２の範囲を設定してもよい。また、入出庫判定部４５４は、右ドア用測距センサ３２から入力されるセンサデータに基づいて第３領域Ｒ３の範囲を設定してもよい。
　入出庫判定部４５４は、撮像画像を画像解析して、物品ＢＰやマーカーＭＫの画像を検出する。入出庫判定部４５４は、撮像画像の検出領域ＴＡに対応する領域から物品ＢＰやマーカーＭＫを検出する。入出庫判定部４５４は、例えば、検出領域ＴＡでの輝度や色の変化に基づいて物品ＢＰやマーカーＭＫを検出する。
　また、入出庫判定部４５４は、連続して撮像された撮像画像を画像解析することで、移動する物品ＢＰやマーカーＭＫの軌跡を検出する。
　入出庫判定部４５４は、検出したマーカーＭＫの軌跡が、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３のいずれの領域で終了したのかを判定して、物品ＢＰがいずれの領域に入庫されたのかを判定する。また、入出庫判定部４５４は、検出したマーカーＭＫの軌跡が、第４領域Ｒ４で終了した場合、物品ＢＰが冷蔵室２１の庫外に取り出されたと判定する。
　図１２は、入出庫判定画像を説明するための図である。
　入出庫判定部４５４は、撮像画像に入出庫判定画像ＨＧを重畳させて、物品ＢＰの入庫と、出庫とを判定する。
　図１２には、マーカーＭＫが付された物品ＢＰを冷蔵室２１に入庫させるシーンを撮像した撮像画像に、入出庫判定画像ＨＧを重畳した場合を示す。
　入出庫判定画像ＨＧは、境界線Ｌ１を有する。
　境界線Ｌ１は、入出庫判定画像ＨＧの図中略中央において、入出庫判定画像ＨＧの図中左端から右端まで延びる線である。境界線Ｌ１は、冷蔵室用カメラ４２の撮像画像に撮像された冷蔵室２１の開口部より冷蔵庫２の前方に位置する。
　入出庫判定画像ＨＧの画像領域は、境界線Ｌ１によって、第１領域ＨＡ１と第２領域ＨＡ２とに分割される。第１領域ＨＡ１は、撮像画像に入出庫判定画像ＨＧが重畳された際、冷蔵室用カメラ４２の撮像画像に撮像された冷蔵室２１の開口部より冷蔵庫２の前方側に対応する。第２領域ＨＡ２は、撮像画像に入出庫判定画像ＨＧが重畳された際、冷蔵室用カメラ４２の撮像画像に撮像された冷蔵室２１の開口部より冷蔵庫２の後方側に対応する。
　入出庫判定部４５４は、入出庫判定画像ＨＧが重畳された撮像画像を解析することで、検出領域ＴＡで検出されたマーカーＭＫが、第１領域ＨＡ１に移動したのか、第２領域ＨＡ２に移動したのかを判定する。入出庫判定部４５４は、検出領域ＴＡ内で検出されたマーカーＭＫが第１領域ＨＡ１に移動したと判定した場合、検出した物品ＢＰが冷蔵室２１から出庫された物品ＢＰであると判定する。一方、入出庫判定部４５４は、検出領域ＴＡ内で検出されたマーカーＭＫが第２領域ＨＡ２に移動した場合、検出した物品ＢＰが冷蔵室２１に入庫された物品ＢＰであると判定する。
　入出庫判定部４５４は、物品ＢＰが庫内に入庫されたと判定した場合、物品ＢＰが入庫された収容エリアを判定する。入出庫判定部４５４は、撮像画像を解析して、物品ＢＰが入庫された冷蔵室２１の収容エリアを特定する。そして、入出庫判定部４５４は、マーカーＭＫの移動方向と、庫内に複数設けられた収容エリアの庫内における配置と、に基づき、物品ＢＰが収容された収容エリアを判定する。
　例えば、冷蔵庫２の棚板２１１、２１３、２１５、２１７の左ドア２２又は右ドア２３の先端や、ドアポケットの各々には、収容エリアを識別するマークが付されている。入出庫判定部４５４は、撮像画像から収容エリアを識別するマークを検出し、検出したマークと、物品ＢＰに付されたマーカーＭＫとの位置関係に基づいて、収容エリアを特定する。
　また、入出庫判定部４５４は、物品ＢＰが冷蔵庫２の庫内に再入庫された物品ＢＰであるか否かを判定してもよい。例えば、ユーザＰが使用するために冷蔵庫２から食材を取り出し、取り出した食材の一部を使用して、残った食材を冷蔵庫２に再入庫させる場合や、物品ＢＰである保存容器内に保存した食材を使用し、保存容器内に新たに食材を補充して冷蔵庫２に再入庫させる場合が想定される。
　上述の説明では、撮像画像から検出する対象が、マーカーＭＫが付された物品ＢＰである場合について説明したが、マーカーＭＫが付されていない物品である食材や食品であっても、同様で検出することができる。
　入出庫判定部４５４は、撮像画像に撮像された画像の色や形状に基づいて食材や食品を検出し、マーカーＭＫが付された物品ＢＰの場合と同様にして、検出した食材や食品が入庫されたのか出庫されたのかを判定する。
　取得部４５５は、入出庫判定部４５４が検出したマーカーＭＫを解析して、マーカーＩＤを取得する。マーカーＩＤは、マーカーＭＫに付与されたマーカーＭＫの識別情報である。例えば、マーカーＭＫがＱＲコード（登録商標）等の二次元コードである場合、取得部４５５は、ＱＲコードに含まれるマーカーＩＤを取得する。取得部４５５は、取得したマーカーＩＤを第４メモリ４４０に一時的に記憶させる。
　データ生成部４５６は、アップロードデータを生成する。アップロードデータは、物品管理サーバ８にアップロードする対象のデータである。データ生成部４５６は、生成したアップロードデータを物品管理サーバ８に送信する。
　アップロードデータには、物品画像、収容エリア情報、撮像装置ＩＤ、物品が入庫されたのか、出庫されたのかを示す情報、入庫日時又は出庫日時、開かれた又は引き出されたドア又は引き出しの情報等が含まれる。物品が入庫された場合の情報を入庫情報といい、物品が出庫された場合の情報を出庫情報という。物品画像は、撮像画像のうち、物品が撮像された範囲を切り出した画像である。
　また、物品が、マーカーＭＫが付された物品である場合、アップロードデータには、物品画像、収容エリア情報、撮像装置ＩＤ、入庫日時又は出庫日時、入庫情報又は出庫情、開かれた又は引き出されたドア又は引き出しの情報に加え、マーカーＩＤが含まれる。
　また、左ドア２２及び右ドア２３の少なくとも一方が開かれた場合や、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれかが引き出されたが、物品が入庫や出庫されなかった場合、アップロードデータには、開かれた又は引き出されたドア又は引き出しの情報と、日時情報とが含まれる。
　［６．撮像装置の動作］
　図１３は、撮像装置３の動作を示すフローチャートである。
　図１３に示すフローチャートを参照しながら撮像装置３の動作を説明する。
　第３制御部４３０は、人感センサ３４のセンサデータに基づき、冷蔵庫２の周辺に人が存在するか否かを判定する（ステップＳＡ１）。
　第３制御部４３０は、冷蔵庫２の周辺に人が存在すると判別した場合（ステップＳＡ１／ＹＥＳ）、冷蔵室用カメラ４２及び引き出し用カメラ４３に撮像を開始させる（ステップＳＡ２）。
　次に、第３制御部４３０は、左ドア２２及び右ドア２３の少なくとも一方が開状態であるか、もしくは、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれかが開状態であるか否かを判定する（ステップＳＡ３）。
　第３制御部４３０は、左ドア２２及び右ドア２３が開状態ではないかつ、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれもが開状態ではない場合（ステップＳＡ３／ＮＯ）、ステップＳＡ１３の処理を行う。
　第３制御部４３０は、左ドア２２及び右ドア２３の少なくとも一方が開状態である、もしくは、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａ、２８Ａのいずれかが開状態である場合（ステップＳＡ３／ＹＥＳ）、冷蔵室用カメラ４２及び引き出し用カメラ４３が撮像した撮像画像を第４メモリ４４０に記憶させ、撮像画像の記録を開始する（ステップＳＡ４）。
　次に、第３制御部４３０は、第４メモリ４４０から撮像画像を読み出し、読み出した撮像画像に基づいて、検出領域ＴＡ内においてマーカー及び物品を検出したか否かを判定する（ステップＳＡ５）。
　第３制御部４３０は、検出領域ＴＡ内においてマーカー及び物品を検出したと判定した場合（ステップＳＡ５／ＹＥＳ）、検出したマーカーからマーカーＩＤを読み出す（ステップＳＡ７）。その後、第３制御部４３０は、撮像画像において、物品が撮像された画像である物品画像を切り出す（ステップＳＡ８）。
　また、第３制御部４３０は、検出領域ＴＡ内においてマーカーが検出されず、物品だけを検出した場合（ステップＳＡ６／ＹＥＳ）、撮像画像において、物品が撮像された画像である物品画像を切り出す（ステップＳＡ８）。
　次に、第３制御部４３０は、第４メモリ４４０に記録した撮像画像に基づいて、入出庫判定を行う（ステップＳＡ９）。第３制御部４３０は、物品が入庫されたと判定した場合、入庫された物品の物品画像と、物品が入庫された収容エリアと、入庫された時刻と、を対応づけて第４メモリ４４０に記憶させる。また、第３制御部４３０は、物品が出庫されたと判定した場合、出庫された物品の物品画像と、出庫された時刻とを対応づけて第４メモリ４４０に記憶させる。
　また、第３制御部４３０は、左ドア２２及び右ドア２３の少なくとも一方が開かれた場合や、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれかが引き出されたが、物品の入庫や出庫がなかった場合、開かれた又は引き出されたドア又は引き出しの情報と、日時情報とを第４メモリ４４０に記憶させる。
　次に、第３制御部４３０は、開状態のドア及び引き出しが閉状態になったか否かを判定する（ステップＳＡ１１）。第３制御部４３０は、ドア及び引き出しが閉状態になっていないと判定した場合（ステップＳＡ１１／ＮＯ）、処理をステップＳＡ５に移す。
　一方、第３制御部４３０は、開状態のドア及び引き出しが閉状態になったと判定した場合（ステップＳＡ１１／ＹＥＳ）、撮像画像の第４メモリ４４０への録画を終了する（ステップＳＡ１２）。
　次に、第３制御部４３０は、冷蔵庫２の周辺に人が存在するか否かを判定する（ステップＳＡ１３）。第３制御部４３０は、冷蔵庫２の周辺に人が存在すると判定した場合（ステップＳＡ１３／ＹＥＳ）、処理をステップＳＡ３に移す。
　一方、第３制御部４３０は、冷蔵庫２の周辺に人が存在しないと判定した場合（ステップＳＡ１３／ＮＯ）、冷蔵室用カメラ４２及び引き出し用カメラ４３に撮像を終了させる（ステップＳＡ１４）。
　第３制御部４３０は、ステップＳＡ１４の処理を行うと、処理をステップＳＡ１に移し、再度、ステップＳＡ１以降の処理を行う。
　［７．撮像装置の動作及び物品管理サーバの動作］
　図１４は、物品管理システム１の動作を示すフローチャートである。
　図１４において、フローチャートＦＢは撮像装置３の動作を示し、フローチャートＦＣは物品管理サーバ８の動作を示す。
　フローチャートＦＢで示すように、第３制御部４３０は、アップロードデータを物品管理サーバ８に送信するトリガーが発生したか否かを判定する（ステップＳＢ１）。アップロードデータを送信するトリガーとして、物品が入庫又は出庫された判定され、判定結果を第４メモリ４４０に記憶させたこと、が挙げられる。この他に、冷蔵室用カメラ４２の撮像画像の録画が終了したことや、現在時刻が予め定められた時刻に至ったこと等をトリガーとしてもよい。
　第３制御部４３０は、トリガーが発生した場合（ステップＳＢ１／ＹＥＳ）、第４メモリ４４０からアップロードデータを取得する（ステップＳＢ２）。
　アップロードデータには、物品画像、収容エリア情報、撮像装置ＩＤ、入庫情報又は出庫情報、入庫日時又は出庫日時、開かれた又は引き出されたドア又は引き出しの情報等が含まれる。また、物品が、マーカーＭＫが付された物品である場合、上記アップロードデータに加え、マーカーＩＤが含まれる。
　また、また、左ドア２２及び右ドア２３の少なくとも一方が開かれた場合や、引き出し２４Ａ、２５Ａ、２６Ａ、２７Ａのいずれかが引き出されたが、物品が入庫や出庫されなかった場合、アップロードデータには、開かれた又は引き出されたドア又は引き出しの情報と、日時情報とが含まれる。
　第３制御部４３０は、生成したアップロードデータを物品管理サーバ８に送信する（ステップＳＢ３）。その後、第３制御部４３０は、ステップＳＢ１の判定に戻る。
　次に、物品管理サーバ８の動作を、フローチャートＦＣを参照しながら説明する。物品管理サーバ８の第２制御部８３は、アップロードデータを受信したか否かを判定する（ステップＳＣ１）。
　第２制御部８３は、アップロードデータを受信していないと判定した場合（ステップＳＣ１／ＮＯ）、再度、ステップＳＣ１の判定を行う。
　一方、第２制御部８３は、アップロードデータを受信したと判定した場合（ステップＳＣ１／ＹＥＳ）、受信したアップロードデータを第２メモリ８５に記憶させ、食材管理ＤＢ９３、物品管理ＤＢ９５、開状態管理ＤＢ９７のいずれかを更新する（ステップＳＣ２）。なお、第２制御部８３は、食材管理ＤＢ９３、物品管理ＤＢ９５、開状態管理ＤＢ９７のいずれも更新してもよい。
　第２制御部８３は、受信したアップロードデータに含まれる撮像装置ＩＤに対応づけられたアカウント情報９１１を識別情報ＤＢ９１から取得する。
　第２制御部８３は、取得したアカウント情報９１１に対応する食材管理ＤＢ９３、物品管理ＤＢ９５、開状態管理ＤＢ９７のいずれかを更新する。なお、第２制御部８３は、食材管理ＤＢ９３、物品管理ＤＢ９５、開状態管理ＤＢ９７のいずれも更新してもよい。
　第２制御部８３は、受信したアップロードデータにマーカーＩＤが含まれる場合、物品管理ＤＢ９５を更新する。第２制御部８３は、アップロードデータに含まれるマーカーＩＤ、物品画像、入庫日時又は出庫日時、及び収容エリアを物品管理ＤＢ９５に登録する。
　また、第２制御部８３は、受信したアップロードデータにマーカーＩＤが含まれない場合、物品画像から物品を特定し、特定した物品の色情報や栄養素情報を取得する。第２制御部８３は、特定した食材の食材名を食材管理ＤＢ９３の食材名情報９３１に登録する。また、第２制御部８３は、取得した物品の色情報や栄養素情報を、食材管理ＤＢ９３の色情報９３２や、栄養素情報９３３に登録する。さらに、第２制御部８３は、アップロードデータに含まれる物品画像を食材画像９３５に登録し、入庫日時又は出庫日時、及び収容エリアを、それぞれ入庫日時９３４又は出庫日時９３７、収容エリア９３６に登録する。
　また、第２制御部８３は、アップロードデータに含まれる、開かれた又は引き出されたドア又は引き出しの情報に基づいて開状態管理ＤＢ９７を更新する。
　さらに、第２制御部８３は、食材管理ＤＢ９３に登録したデータに基づき、食材を色情報９３２や、栄養素情報９３３に基づいて分類する。
　第２制御部８３は、冷蔵庫２に収容された食材を、色情報９３２が示す色ごとに分類し、各色に分類された食材数を算出する。また、第２制御部８３は、各色に分類された食材数を、冷蔵庫２に収容された食材数で除算して、各色に分類された食材が占める割合を算出する。第２制御部８３は、算出した各色に分類された食材が占める割合を、取得要求を受信したときに、情報処理装置６に送信する。
　また、第２制御部８３は、冷蔵庫２に収容された食材を、栄養素情報９３３が示す栄養素に基づいて分類する。例えば、第２制御部８３は、ビタミンＡが含まれる食材、タンパク質が含まれる食材といったように分類していく。また、食材には、複数の栄養素が含まれるため、複数の栄養素に同一の食材を分類してもよい。
　第２制御部８３は、分類した食材数を栄養素ごとに計数する。冷蔵庫２に同一食材が複数収容されている場合は、同一食材の数も考慮して栄養素ごとに分類した食材の数を計数してもよい。
　次に、第２制御部８３は、栄養素ごとに計数した食材数を、冷蔵庫２に収容された食材数で除算して、各栄養素に分類された食材が占める割合を算出する。第２制御部８３は、算出した各栄養素に分類された食材が占める割合を、取得要求を受信したときに、情報処理装置６に送信する。
　［８．物品管理サーバの動作］
　図１５は、物品管理サーバ８の動作を示すフローチャートである。
　物品管理サーバ８の第２制御部８３は、情報処理装置６からアカウント情報を伴ったデータの取得要求があるか否かを判定する（ステップＳＤ１）。第２制御部８３は、データの取得要求がない場合（ステップＳＤ１／ＮＯ）、データの取得要求があるまで処理の開始を待機する。
　第２制御部８３は、データの取得要求を受信すると（ステップＳＤ１／ＹＥＳ）、受信したアカウント情報に対応する食材管理ＤＢ９３、物品管理ＤＢ９５及び開状態管理ＤＢ９７に登録されたデータが更新されたか否かを判定する（ステップＳＤ２）。
　第２制御部８３は、食材管理ＤＢ９３、物品管理ＤＢ９５及び開状態管理ＤＢ９７に登録されたデータに更新がない場合（ステップＳＤ２／ＮＯ）、更新データがない旨を情報処理装置６に通知する（ステップＳＤ４）。なお、更新データがない場合、前回のデータを送信してもよい。
　また、第２制御部８３は、食材管理ＤＢ９３、物品管理ＤＢ９５及び開状態管理ＤＢ９７に登録されたデータに更新がある場合（ステップＳＤ２／ＹＥＳ）、更新されたデータを食材管理ＤＢ９３、物品管理ＤＢ９５又は開状態管理ＤＢ９７から取得し、取得したデータを更新データとして情報処理装置６に送信する（ステップＳＤ３）。
　［９．アプリ画面７００の構成］
　ここで、情報処理装置６のタッチパネル６３に表示されるアプリ画面７００について図１６～図２１を参照しながら説明する。
　図１６は、初期画面７１０を示す図である。
　アプリ実行部６９５は、物品管理アプリ６７５が選択されて起動すると、図１６に示す初期画面７１０を表示させる。
　初期画面７１０には、冷蔵庫２の庫内の撮像画像７１１や、メニューボタン７１２、冷蔵室ボタン７１３、野菜室ボタン７１４、冷凍室ボタン７１５、レシピ検索ボタン７１６及びメモボタン７１７が表示される。
　メニューボタン７１２は、アプリ画面７００として表示する画面を切り替えるボタンである。メニューボタン７１２を操作することにより、色バランス表示画面７２０や栄養素表示画面７４０、レシピ検索画面７５０を表示することができる。
　冷蔵室ボタン７１３、野菜室ボタン７１４及び冷凍室ボタン７１５は、表示対象を切り替えるボタンである。例えば、初期画面７１０の冷蔵室ボタン７１３を押下することで、冷蔵室２１の撮像画像が表示され、初期画面７１０の野菜室ボタン７１４を押下することで、野菜室２７の撮像画像が表示される。また、初期画面７１０の冷凍室ボタン７１５を押下することで、冷凍室２６の撮像画像が表示される。
　レシピ検索ボタン７１６は、レシピを検索するときに押下するボタンである。
　レシピ検索ボタン７１６を押下することで、冷蔵庫２に収容された食材が一覧表示される。ユーザが一覧表示された食材から使用したい食材を選択することで、選択された食材を使用した料理を検索することができる。
　メモボタン７１７は、メモを記録するときに押下するボタンである。例えば、食材を冷蔵庫２に収容するときに、この食材を使用する料理や使用期限等のメモを記録することができる。
　図１７は、色バランス表示画面７２０を示す図である。
　色バランス表示画面７２０は、冷蔵庫２に収容された食材の色バランスを表示した画面である。色バランス表示画面７２０には、期間選択ボタン７２１Ａ及び７２１Ｂと、色バランス表示欄７２３と、おすすめ食材表示欄７２６とが表示される。
　期間選択ボタン７２１Ａ及び７２１Ｂは、食材が収容された期間を選択するボタンである。期間選択ボタン７２１Ａは一週間が対応づけられ、期間選択ボタン７２１Ｂは一ヶ月が対応づけられる。
　期間選択ボタン７２１Ａが選択された場合、直近、一週間の間に冷蔵庫２に収容された食材の色バランスが表示される。期間選択ボタン７２１Ｂが選択された場合、一ヶ月の間に、冷蔵庫２に収容された食材の色バランスが表示される。
　色バランス表示欄７２３には、期間表示７２４と、色バランス表示７２５とが表示される。期間表示７２４は、色バランス表示７２５の対象となる期間を示す表示である。色バランス表示７２５は、期間表示７２４が示す期間に冷蔵庫２に収容された全食材の色別の割合が表示される。色別の割合は、各色に分類された食材が、冷蔵庫２内に収容された食材に占める割合である。図１７には、全食材の色別の割合を円グラフにより表示した例を示すが、色別の割合は円グラフに限定されず、例えば、棒グラフであってもよい。色バランス表示７２５は、冷蔵庫２への食材の収容時に、物品管理サーバ８が判定した食材の色に基づいて表示される。食材の色は、インターネット等のネットワークを介して別のサーバから取得してもよいし、予め、物品管理サーバ８にデータベースとして登録しておいてもよい。物品管理サーバ８は、入出庫管理ＤＢ９５により食材の入庫及び出庫と、入庫された食材の色とを管理する。
　おすすめ食材表示欄７２６には、色バランス表示７２５に基づいて、おすすめ食材が表示される。緑色や赤色等の各色には、各色が全体に占める割合のしきい値が設定されており、設定されたしきい値よりも割合が低い色の食材がおすすめ食材として表示される。
　また、おすすめ食材表示欄７２６には、１ヶ月等の予め設定された期間において、食材数を色ごとに計数し、計数した食材数が予め設定されたしきい値よりも少ない食材を表示させてもよい。
　図１８は、おすすめ食材表示欄７２６に表示された食材の１つが選択された場合に表示されるおすすめ画面７３０を示す図である。
　おすすめ画面７３０には、おすすめ料理表示欄７３１や、おすすめのお店表示欄７３３が表示される。
　おすすめ料理表示欄７３１には、おすすめ食材表示欄７２６で選択された食材を使った料理が表示される。表示された料理の１つがユーザにより選択されると、選択された料理のメニューが表示される。
　おすすめのお店表示欄７３３には、おすすめ食材表示欄７２６で選択された食材を使った料理を提供するおすすめのお店が表示される。具体的には、おすすめのお店表示欄７３３には、おすすめのお店のＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）や、選択された食材を使った料理が表示される。なお、おすすめのお店表示欄７３３には、選択された食材を販売しているお店の情報を表示してもよい。
　なお、最も不足している色の代表食材を表示し、おすすめ食材表示欄７２６、おすすめ料理表示欄７３１、おすすめのお店表示欄７３３を一つの画面に表示してもよい。
　図１９は、栄養素表示画面７４０を示す図である。
　栄養素表示画面７４０は、冷蔵庫２に収容された食材の栄養素を表示した画面である。栄養素表示画面７４０には、期間選択ボタン７４１Ａ及び７４１Ｂと、栄養素表示欄７４３と、おすすめ食材表示欄７４６とが表示される。
　期間選択ボタン７４１Ａ及び７４１Ｂは、食材が収容された期間を選択するボタンである。期間選択ボタン７４１Ａ及び７４１Ｂは、期間選択ボタン７２１Ａ及び７２１Ｂと同様のボタンであり、期間選択ボタン７４１Ａは一週間が対応づけられ、期間選択ボタン７４１Ｂは一ヶ月が対応づけられる。
　栄養素表示欄７４３には、期間表示７４４と、栄養素表示７４５とが表示される。
　期間表示７４４は、期間表示７２４と同様に、栄養素表示７４５の対象となる期間を示す表示である。
　栄養素表示７４５は、期間表示７４４が示す期間に冷蔵庫２に収容された全食材に含まれる栄養素の割合が表示される。図１９には、全食材に含まれる栄養素の割合を円グラフにより表示した例を示すが、色別の割合は円グラフに限定されず、例えば、棒グラフであってもよい。物品管理サーバ８は、冷蔵庫２に食材が収容されるときに、収容される食材を判定し、判定した食材に含まれる栄養素を取得する。食品に含まれる栄養素は、インターネット等のネットワークを介して別のサーバから取得してもよいし、予め、物品管理サーバ８にデータベースとして登録しておいてもよい。
　おすすめ食材表示欄７４６は、おすすめ食材表示欄７２６と同様に、栄養素表示７４５に基づいて、おすすめ食材が表示される。各栄養素には、各栄養素が全体に占める割合のしきい値が設定されており、設定されたしきい値よりも割合が低い栄養素を含む食材がおすすめ食材として表示される。
　また、おすすめ食材表示欄７４６には、１ヶ月等の予め設定された期間において、食材数を栄養素ごとに計数し、計数した食材数が予め設定されたしきい値よりも少ない食材を表示させてもよい。おすすめ食材表示欄７４６に表示された食材の１つが選択された場合も、図１８に示すおすすめ画面７３０が表示される。
　なお、最も不足している栄養素の代表食材を表示し、おすすめ食材表示欄７４６、おすすめ料理表示欄７３１、おすすめのお店表示欄７３３を一つの画面に表示してもよい。
　図２０は、レシピ検索画面７５０の一例を示す図である。
　レシピ検索画面７５０は、メニューボタン７１２や、レシピ検索ボタン７１５を押下することで表示される。
　レシピ検索画面７５０には、食材画像７５１、食材名７５２、修正ボタン７５３、チェックボックス７５４、決定ボタン７５５が表示される。
　食材画像７５１は、食材が冷蔵庫２に収容されるときに、撮像装置３が撮像した撮像画像から切り出した画像である。
　食材名７５２は、物品管理サーバ８が、撮像装置３の撮像画像に基づいて判定した食材名である。
　修正ボタン７５３は、食材画像７５１と食材名７５２との対応が誤っているときに、食材名７５３を修正するボタンである。
　チェックボックス７５４は、料理に使用する食材を選択するときにオンするボックスである。
　アプリ実行部６９５は、少なくとも１つの食材のチェックボックス７５４がオンに設定され、決定ボタン７５５が押下されることで、チェックボックス７５４がオンに設定されたおすすめ料理と、この料理のレシピとをアプリ画面５００に表示させる。
　レシピ検索画面７５０に表示される食材は、予め設定された食材表示順に従って表示される。食材表示順の設定には、例えば、色バランス順と、栄養素順と、経過時間順とが含まれる。
　色バランス順は、冷蔵庫２に収容された食材全体に占める割合がしきい値よりも低い食材から優先的に表示させる設定である。上述したように、食材の色には、食材全体に占める割合のしきい値が色ごとに設定されている。色バランス順では、この食材全体に占める割合がしきい値よりも低い食材を優先的に表示させる。
　栄養素順は、冷蔵庫２に収容された食材全体に占める割合がしきい値よりも低い栄養素を含む食材から優先的に表示させる設定である。上述したように、食材に含まれる栄養素には、食材全体に占める割合のしきい値が栄養素ごとに設定されている。栄養素順では、この栄養素全体に占める割合がしきい値よりも低い栄養素を優先的に表示させる。
　経過時間順は、食材が冷蔵庫２に収容されてからの経過時間順に表示させる設定である。
　時間が経過したものからレシピ検索画面７５０に表示させることで、食材が賞味期限切れを低減することができる。
　図２１は、レシピ検索画面７５０において、修正ボタン７５３が押下された場合に表示される食材修正画面７６０を示す図である。
　食材修正画面７６０には、食材名７６１、食材画像７６２、食材名入力欄７６３、確定ボタン７６４、食材候補表示欄７６５が表示される。
　食材名７６１は、物品管理サーバ８が撮像画像に基づいて判定した食材名、すなわち、レシピ検索画面７５０に表示された食材名７５２と同一の食材名が表示される。
　食材画像７６２は、レシピ検索画面７５０に表示された食材画像７５１と同一の画像である。
　食材名入力欄７６３は、ユーザが食材名を入力する入力欄である。
　確定ボタン７６４は、食材名入力欄７６３に入力された食材名を確定させるボタンである。
　食材候補表示欄７６５は、食材画像７６２に基づき、物品管理サーバ８又はアプリ実行部６９５が予測した食材の候補が表示される。物品管理サーバ８又はアプリ実行部６９５は、食材画像７６２の色や形状が、食材画像７６２の食材と類似する食材を食材候補として表示させる。
　ユーザにより食材候補表示欄７６５に表示された食材の候補が選択されると、選択された食材の名称が、食材名入力欄７６３に表示される。その後、ユーザにより確定ボタン７６４が押下されることで、食材画像７６２と食材名の対応づけが変更される。
　なお、ユーザにより食材名入力欄７６３に入力されると、入力された食材の名称が、食材入力欄７６３に表示され、その後、ユーザにより確定ボタン７６４が押下されることで、食材画像７６２と食材名の対応づけが変更されてもよい。
　［１０．動作］
　図２２及び図２３は、情報処理装置の動作を示すフローチャートである。
　図２２及び図２３のフローチャートを参照しながら情報処理装置６の動作を説明する。
　アプリ実行部６９５は、物品管理アプリ６７５が選択されて動作を開始すると、物品管理サーバ８と通信し、更新のあった更新データを取得する（ステップＳＥ１）。次に、アプリ実行部６９５は、アプリ画面７００として初期画面７１０を表示させる（ステップＳＥ２）。
　次に、アプリ実行部６９５は、メニューボタン７１２が押下され、色バランス表示画面７２０の表示が選択されたか否かを判定する（ステップＳＥ３）。アプリ実行部６９５は、色バランス表示画面７２０の表示が選択された場合（ステップＳＥ３／ＹＥＳ）色バランス表示画面７２０をタッチパネル６３に表示させる（ステップＳＥ４）。
　次に、アプリ実行部６９５は、おすすめ食材が選択されたか否かを判定する（ステップＳＥ５）。アプリ実行部６９５は、おすすめ食材が選択された場合（ステップＳＥ５／ＹＥＳ）、図１８に示すおすすめ画面７３０を表示させる（ステップＳＥ５）。おすすめ画面７３０には、おすすめ料理表示欄７３１や、おすすめのお店表示欄７３３が表示される。
　また、アプリ実行部６９５は、ステップＳＥ３において、色バランス表示画面７２０の表示が選択されていない場合（ステップＳＥ３／ＮＯ）、栄養素表示画面７４０が選択されたか否かを判定する（ステップＳＥ７）。
　アプリ実行部６９５は、栄養素表示画面７４０が選択された場合（ステップＳＥ７／ＹＥＳ）、図１９に示す栄養素表示画面７４０をタッチパネル６３に表示させる（ステップＳＥ８）。アプリ実行部６９５は、栄養素表示画面７４０が選択されていない場合（ステップＳＥ７／ＮＯ）、ステップＳＥ３に戻り、色バランス表示画面７２０の表示が選択されたか否かを判定する。
　次に、アプリ実行部６９５は、おすすめ食材が選択されたか否かを判定する（ステップＳＥ５）。アプリ実行部６９５は、おすすめ食材が選択された場合（ステップＳＥ５／ＹＥＳ）、図１８に示すおすすめ画面７３０を表示させる（ステップＳＥ６）。
　次に、アプリ実行部６９５は、おすすめ画面７３０に表示されたおすすめ料理の１つが選択されたか否かを判定する（ステップＳＥ９）。アプリ実行部６９５は、おすすめ料理が選択されると（ステップＳＥ９／ＹＥＳ）、選択されたおすすめ料理のレシピを表示させる（ステップＳＥ１０）。その後、アプリ実行部６９５は、ステップＳＥ３の判定に戻り、色バランス表示画面７２０の表示が選択されたか否かを判定する。
　また、アプリ実行部６９５は、おすすめ料理が選択されていない場合（ステップＳＥ９／ＮＯ）、おすすめ画面７３０に表示されたおすすめのお店が選択されたか否かを判定する（ステップＳＥ１１）。アプリ実行部６９５は、おすすめのお店が選択された場合（ステップＳＥ１１／ＹＥＳ）、選択されたお店のホームページを表示させる（ステップＳＥ１２）。
　また、アプリ実行部６９５は、おすすめのお店が選択されていない場合（ステップＳＥ１２／ＮＯ）、ステップＳＥ３の判定に戻り、色バランス表示画面７２０の表示が選択されたか否かを判定する。
　次に、ステップＳＥ５の判定が否定判定であった場合のアプリ実行部６９５の動作について図２３に示すフローチャートを参照しながら説明する。
　アプリ実行部６９５は、ステップＳＥ５でおすすめ食材が選択されていない場合（ステップＳＥ５／ＮＯ）、レシピ検索が選択されたか否かを判定する（ステップＳＥ１３）。
　アプリ実行部６９５は、レシピ検索が選択されていない場合（ステップＳＥ１３／ＮＯ）、受け付けた操作に対応した処理を実行する（ステップＳＥ１４）。
　また、アプリ実行部６９５は、レシピ検索が選択された場合（ステップＳＥ１３／ＹＥＳ）、食材表示順が色バランス表示であるか否かを判定する（ステップＳ１５）。
　アプリ実行部６９５は、食材表示順が色バランスである場合（ステップＳＥ１５／ＹＥＳ）、色バランスに基づいて冷蔵庫２に収容された食材の表示順を設定し（ステップＳＥ１６）、設定した表示順に食材を表示させる（ステップＳＥ１８）。アプリ実行部６９５は、冷蔵庫２に収容された食材全体に占める割合がしきい値よりも低い色の食材から優先的に表示させる。
　また、アプリ実行部６９５は、食材表示順が色バランスではない場合（ステップＳＥ１５／ＮＯ）、栄養素に基づいて冷蔵庫２に収容された食材の表示順を設定し（ステップＳＥ１７）、設定した表示順に食材を表示させる（ステップＳＥ１８）。アプリ実行部６９５は、冷蔵庫２に収容された食材全体に占める割合がしきい値よりも低い栄養素を含む食材から優先的に表示させる。
　次に、アプリ実行部６９５は、決定ボタン７５５が押下され、食材の選択が完了したか否かを判定する（ステップＳＥ１９）。アプリ実行部６９５は、決定ボタン７５５が押下されていない場合（ステップＳＥ１９／ＮＯ）、決定ボタン７５５が押下されるまで待機する。
　アプリ実行部６９５は、決定ボタン７５５が押下され、食材の選択が完了すると（ステップＳＥ１９／ＹＥＳ）、選択された食材を含む料理を検索し、検索した料理を表示させる（ステップＳＥ２０）。そして、アプリ実行部６９５は、表示した料理の１つが選択されたか否かを判定する（ステップＳＥ２１）。
　アプリ実行部６９５は、表示した料理の１つが選択されていない場合（ステップＳＥ２１／ＮＯ）、料理が選択されるまで待機する。アプリ実行部６９５は、料理が選択されると（ステップＳＥ２１／ＹＥＳ）、選択された料理のレシピを表示させる（ステップＳＥ２２）。その後、アプリ実行部６９５は、ステップＳＥ３の判定に戻り、色バランス表示画面７２０の表示が選択されたか否かを判定する。
　［１１．効果等］
　以上説明したように、食材管理システム１は、撮像装置３と、物品管理サーバ８とを備える。
　撮像装置３は、冷蔵庫２の冷蔵室２１内を撮像して撮像画像を生成する。
　物品管理サーバ８は、撮像装置３が撮像した撮像画像に基づいて冷蔵庫２に入庫される食材の色を取得し、冷蔵室２１に入庫される食材を、食材の色に基づいて分類する。
　物品管理サーバ８は、各色に分類された食材が、冷蔵庫２内に収容された食材に占める割合を情報処理装置６に表示させる。
　これにより、ユーザは、食材を購入するときや料理をするときに、情報処理装置６に表示された色ごとの食材の割合を参考にすることで、食材を色バランスよく購入したり、色バランスのよい食事をしたりすることができる。このため、ユーザの利便性を向上させることができる。
　食材システム１の物品管理サーバ８は、撮像装置３が撮像した撮像画像に基づいて冷蔵庫２に入庫される食材を判定し、入庫される食材に含まれる栄養素を取得する。
　物品管理サーバ８は、各栄養素が、冷蔵室２１に収容された食材に含まれる栄養素に占める割合を算出し、算出した前記割合を情報処理装置６に表示させる。
　これにより、ユーザは、食材を購入するときや料理をするときに、情報処理装置６に表示された各栄養素が占める割合を参考にすることで、食材を栄養素の偏りなく購入したり食したりすることができ、ユーザの利便性を向上させることができる。
　物品管理サーバ８は、割合がしきい値よりも小さい色の食材、又は、割合がしきい値よりも小さい色の食材を含むレシピを情報処理装置６に表示させる。
　これにより、ユーザは、不足しがちな色の食材を購入したり、食したりすることができる。
　物品管理サーバ８は、物品管理サーバ８は、割合がしきい値よりも小さい栄養素を含む食材、又は、食材を含むレシピを情報処理装置６に表示させる。
　これにより、ユーザは、不足しがちな栄養素を含む食材を購入したり、食したりすることができる。
　物品管理サーバ８は、予め設定された期間において、食材の数を色ごとに計数し、計数した食材の数がしきい値よりも少ない食材、又は食材を含むレシピを情報処理装置６に表示させる。
　これにより、ユーザは、不足しがちな色の食材を購入したり、食したりすることができる。
　物品管理サーバ８は、予め設定された期間において、食材の数を、食材に含まれる栄養素ごとに計数し、計数した食材の数がしきい値よりも少ない食材、又は食材を含むレシピを情報処理装置６に表示させる。
　これにより、ユーザは、不足しがちな栄養素を含む食材を購入したり、食したりすることができる。
　物品管理サーバ８は、冷蔵室２１に収容された食材を、冷蔵庫２内に収容された食材に占める割合がしきい値よりも小さい色の食材から順に情報処理装置６に表示させ、選択された食材を含む料理のレシピを情報処理装置６に表示させる。
　この構成によれば、冷蔵庫２内に収容された食材に占める割合がしきい値よりも小さい色の食材から順に情報処理装置６に表示させる。このため、ユーザに割合が少ない食材を選択させることができ、ユーザの利便性を向上させることができる。
　物品管理サーバ８は、冷蔵室２１に収容された食材を、冷蔵庫２内に収容された食材に含まれる栄養素の割合がしきい値よりも小さい食材から順に情報処理装置６に表示させ、選択された食材を含む料理のレシピを情報処理装置６に表示させる。
　この構成によれば、冷蔵庫２内に収容された食材の栄養素のうち、割合がしきい値よりも小さい栄養素の食材から順に情報処理装置６に表示させる。このため、ユーザに割合が少ない食材を選択させることができ、ユーザの利便性を向上させることができる。
　（他の実施の形態）
　以上のように、本出願において開示する例示として、上記実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下、他の実施の形態を例示する。
　上述した実施の形態では、本開示の貯蔵庫として冷蔵庫２を例示した。しかしながら、本開示の貯蔵庫は、冷蔵庫２に限定されず、冷凍庫や、常温保存庫などの他の貯蔵庫でもよい。
　上述した実施の形態では、本開示の貯蔵室として冷蔵室２１を例示した。しかしながら、本開示の貯蔵室は冷蔵室２１に限定されず、製氷室２４、新鮮凍結室２５、冷凍室２６及び野菜室２７でもよい。また、本開示の貯蔵庫が冷蔵庫２以外の貯蔵庫である場合、本開示の貯蔵室は、冷蔵庫２以外の貯蔵庫の貯蔵室に対応する。
　図２４を参照しながら撮像画像から物品を検出し、収容エリアを判定する処理について説明する。図２４は、第５領域Ｒ５、第６領域Ｒ６、第７領域Ｒ７、第８領域Ｒ８の境界線を示す図である。以下では、庫内から引き出された野菜室２７を例に説明する。
　入出庫判定部４５４は、撮像画像を解析して、物品が入庫された野菜室２７の収容エリアを特定する。例えば、第５領域Ｒ５に収容されている物品の収容エリアは、第５領域Ｒ５であると判定する。また、第６領域Ｒ６、第７領域Ｒ７、第８領域Ｒ８も同様に判定する。即ち、野菜室２７全体を撮像した一枚の画像から収容エリアを特定する。これにより、物品管理システム１はシステム構成が簡素となる。
　なお、物品管理サーバ８の処理部８７１が収容エリアを特定してもよい。この構成の場合、野菜室２７の撮像画像を撮像装置３から物品管理サーバ８に送信し、受信した撮像画像に基づき、処理部８７１が収容エリアを特定し、食材管理ＤＢ又は物品管理ＤＢに収容エリアを登録する。
　なお、野菜室２７を２つの領域等、任意の領域に分割してもよい。
　上述した実施の形態では、人物存在判定部４５１が人感センサ３４の検出値に基づいて、冷蔵庫２の周辺に人が存在するか否かを判定する構成を例示した。しかしながら、人物存在判定部４５１は、人感センサ３４の代わりに、照度センサや、冷蔵庫２の把持部に設けられる静電センサ等の検出値に基づいて判定してもよい。この静電センサの場合、冷蔵庫２と撮像装置３とが通信可能であり、冷蔵庫２は、静電センサの検出値を撮像装置３に送信する。
　他の実施の形態では、冷蔵室用カメラ４２及び引き出し用カメラ４３は、一つのカメラとして構成されていてもよい。この構成の場合、冷蔵庫２の扉の開閉状況により、カメラの画角を変更してもよい。これにより、撮像装置３は複数のカメラを具備する必要がなくシステム構成が簡易となる。
　他の実施の形態では、情報処理装置６が制御装置として動作してもよい。この構成の場合、食材管理ＤＢ９３、物品管理ＤＢ９５及び開状態管理ＤＢ９７のデータを情報処理装置６が記憶する。情報処理装置６は、食材管理ＤＢ９３、物品管理ＤＢ９５及び開状態管理ＤＢ９７のデータを、上述した物品管理サーバ８と同様に適宜更新する。これにより、物品管理システム１は物品管理サーバ８を具備する必要がなくシステム構成が簡易となる。
　他の実施の形態では、冷蔵庫２の箱体２０に形成される部屋の種類は、冷蔵室２１、製氷室２４、新鮮凍結室２５、冷凍室２６、及び野菜室２７以外の収容室があってもよいし、製氷室２４、新鮮凍結室２５、冷凍室２６及び野菜室２７の少なくともいずれかがなくてもよい。また、他の実施の形態では、冷蔵室２１の前面の開口部に設けられるドアの数は、１つでもよい。
　図１６に示す初期画面７１０には、左ドア２２のみ開状態となった場合、左ドア２２と冷蔵室２１のうち左ドア２２に対応する領域が撮像された撮像画像を表示してもよい。
　同様に、初期画面７１０には、右ドア２３のみ開状態となった場合、右ドア２３と冷蔵室２１のうち右ドア２３に対応する領域が撮像された撮像画像を表示してもよい。
　また、第１プロセッサ６９、第２プロセッサ８７及び第４プロセッサ４５０は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。第１プロセッサ６９、第２プロセッサ８７及び第４プロセッサ４５０は、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、第１プロセッサ６９、第２プロセッサ８７及び第４プロセッサ４５０は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）で構成される。
　図１及び図５に示した撮像装置３、情報処理装置６及び物品管理サーバ８の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、撮像装置３、情報処理装置６及び物品管理サーバ８の他の各部の具体的な細部構成についても、本開示の趣旨を逸脱しない範囲で任意に変更可能である。
　第２制御部８３が実行する制御プログラム８５１は、可搬型の情報記録媒体に制御プログラム８５１を記録させた状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、ＣＤ等の光学的記録媒体、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。
　第１プロセッサ６９、第２プロセッサ８７、第３プロセッサ３５０及び第４プロセッサ４５０は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。これらプロセッサは、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、これらプロセッサは、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）で構成されてもよい。
　図１に示した情報処理装置６及び物品管理サーバ８の構成、及び図７に示した撮像装置３の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。
　図１３、図１４、図１５、図２２及び図２３に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、動作が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本開示の趣旨に支障のない範囲で適宜に入れ替えてもよい。
　なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　以上のように、本発明に係る冷蔵庫、及び貯蔵庫は、貯蔵庫の庫内状況が写る撮影画像を使用する用途に利用可能である。
　１　物品管理システム
　２　冷蔵庫
　３　撮像装置
　６　情報処理装置
　８　物品管理サーバ
　１０　ネットワーク
　２０　箱体
　２１　冷蔵室
　２２　左ドア
　２３　右ドア
　３０　センサ基板
　３１　左ドア用測距センサ
　３２　右ドア用測距センサ
　３３　引き出し用測距センサ
　３４　人感センサ
　３５　センサ基板
　４０　カメラ基板
　４１　第３通信モジュール
　４２　冷蔵室用カメラ
　４３　引き出し用カメラ
　４４　発光装置
　６１　第１通信モジュール
　６３　タッチパネル
　６５　第１制御部
　６７　第１メモリ
　６９　第１プロセッサ
　８１　第２通信モジュール
　８３　第２制御部
　８５　第２メモリ
　８７　第２プロセッサ
　９１　識別情報データベース
　９３　食材管理データベース
　９５　物品管理データベース
　９７　開状態管理データベース
　３１０　第１Ｉ／Ｆ回路
　３３０　信号処理部
　３４０　第３メモリ
　３４５　制御プログラム
　３５０　第３プロセッサ
　４１０　第２Ｉ／Ｆ回路
　４３０　第３制御部
　４４０　第４メモリ
　４４１　制御プログラム
　４４３　撮像装置ＩＤ
　４５０　第４プロセッサ
　４５１　人物存在判定部
　４５２　開閉判定部
　４５３　撮像制御部
　４５４　出庫判定部
　４５５　取得部
　４５６　データ生成部
　４５９　第４プロセッサ
　６７５　物品管理アプリ
　６９５　アプリ実行部
　７００　アプリ画面

Claims (12)

  1. 　貯蔵庫の貯蔵室内を撮像する撮像装置と、
    　前記撮像装置が撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材の色を取得し、
    　前記貯蔵庫に貯蔵された食材を、前記食材の色に基づいて分類し、
    　各色に分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、
    　算出した前記割合を情報処理装置に表示させる制御装置と、
    　を備える、食材管理システム。
  2. 　貯蔵庫の貯蔵室内を撮像する撮像装置と、
    　前記撮像装置が撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材を判定し、
    　前記入庫される食材に含まれる栄養素を取得し、
    　前記貯蔵室に貯蔵された食材を、前記食材に含まれる栄養素に基づいて分類し、
    　各栄養素を含む食材として分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、
    　算出した前記割合を情報処理装置に表示させる制御装置と、
    　を備える、食材管理システム。
  3. 　前記制御装置は、前記割合がしきい値よりも小さい色に分類された食材、又は前記しきい値よりも小さい色に分類された食材を含む料理のレシピを前記情報処理装置に表示させる、請求項１記載の食材管理システム。
  4. 　前記制御装置は、前記割合がしきい値よりも小さい栄養素を含む食材、又は前記しきい値よりも小さい栄養素に分類された食材を含む料理のレシピを前記情報処理装置に表示させる、請求項２記載の食材管理システム。
  5. 　前記制御装置は、予め設定された期間において、食材の色ごとに食材数を計数し、計数した食材数がしきい値よりも少ない食材、又は食材を含む料理のレシピを前記情報処理装置に表示させる、請求項１又は３記載の食材管理システム。
  6. 　前記制御装置は、予め設定された期間において、栄養素ごとに、前記栄養素に分類された食材数を計数し、計数した食材数がしきい値よりも少ない食材、又は食材を含む料理のレシピを前記情報処理装置に表示させる、請求項２又は４記載の食材管理システム。
  7. 　前記制御装置は、前記貯蔵庫に収容された食材を、前記貯蔵庫に収容された食材に占める割合がしきい値よりも小さい色の食材の順に前記情報処理装置に表示させ、
    　選択された食材を含む料理のレシピを前記情報処理装置に表示させる、請求項１、３、５のいずれか一項に記載の食材管理システム。
  8. 　前記制御装置は、前記貯蔵庫に収容された食材を、前記貯蔵庫に収容された食材に占める割合がしきい値よりも小さい栄養素を含む食材の順に前記情報処理装置に表示させ、
    　選択された食材を含む料理のレシピを前記情報処理装置に表示させる、請求項２、４、６のいずれ一項に記載の食材管理システム。
  9. 　貯蔵庫の貯蔵室内を撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材の色を取得し、
    　前記貯蔵室に入庫される食材を、前記食材の色に基づいて分類し、
    　各色に分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、
    　算出した前記割合を情報処理装置に表示させる、食材管理方法。
  10. 　貯蔵庫の貯蔵室内を撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材を判定し、
    　前記入庫される食材に含まれる栄養素を取得し、
    　前記貯蔵室に貯蔵された食材を、前記食材の栄養素に基づいて分類し、
    　各栄養素を含む食材として分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、
    　算出した前記割合を情報処理装置に表示させる、食材管理方法。
  11. 　コンピュータに、
    　貯蔵庫の貯蔵室内を撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材の色を取得し、
    　前記貯蔵室に入庫される食材を、前記食材の色に基づいて分類し、
    　各色に分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、
    　算出した前記割合を情報処理装置に表示させる、
    　処理を実行させるプログラム。
  12. 　コンピュータに、
    　貯蔵庫の貯蔵室内を撮像した撮像画像に基づいて前記貯蔵庫に入庫される食材を判定し、
    　前記入庫される食材に含まれる栄養素を取得し、
    　前記貯蔵室に貯蔵された食材を、前記食材の栄養素に基づいて分類し、
    　各栄養素を含む食材として分類された食材が、前記貯蔵庫内に貯蔵された食材に占める割合を算出し、
    　算出した前記割合を情報処理装置に表示させる、
    　処理を実行させるプログラム。
     
PCT/JP2023/003789 2022-03-02 2023-02-06 食材管理システム、食材管理方法及びプログラム WO2023166917A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022031876A JP2023127906A (ja) 2022-03-02 2022-03-02 食材管理システム、食材管理方法及びプログラム
JP2022-031876 2022-03-02

Publications (1)

Publication Number Publication Date
WO2023166917A1 true WO2023166917A1 (ja) 2023-09-07

Family

ID=87883305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/003789 WO2023166917A1 (ja) 2022-03-02 2023-02-06 食材管理システム、食材管理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2023127906A (ja)
WO (1) WO2023166917A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000121239A (ja) * 1998-10-20 2000-04-28 Matsushita Refrig Co Ltd 在庫管理付き食品庫
JP2000310478A (ja) * 1999-04-27 2000-11-07 Nitsuten Kk 食品庫管理シートセット
JP2000348122A (ja) * 1999-06-09 2000-12-15 Matsushita Electric Ind Co Ltd 履歴データベース装置
JP2001165554A (ja) * 1999-12-09 2001-06-22 Nippon Telegraph & Telephone East Corp 冷蔵庫
JP2012003319A (ja) * 2010-06-14 2012-01-05 Sharp Corp 献立決定支援装置、献立決定支援プログラムおよび献立決定支援プログラムを記憶した記憶媒体
JP2018124058A (ja) * 2013-03-29 2018-08-09 パナソニックＩｐマネジメント株式会社 冷蔵庫および冷蔵庫システム
US20200219606A1 (en) * 2017-08-30 2020-07-09 Samsung Electronics Co., Ltd. Refrigerator

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000121239A (ja) * 1998-10-20 2000-04-28 Matsushita Refrig Co Ltd 在庫管理付き食品庫
JP2000310478A (ja) * 1999-04-27 2000-11-07 Nitsuten Kk 食品庫管理シートセット
JP2000348122A (ja) * 1999-06-09 2000-12-15 Matsushita Electric Ind Co Ltd 履歴データベース装置
JP2001165554A (ja) * 1999-12-09 2001-06-22 Nippon Telegraph & Telephone East Corp 冷蔵庫
JP2012003319A (ja) * 2010-06-14 2012-01-05 Sharp Corp 献立決定支援装置、献立決定支援プログラムおよび献立決定支援プログラムを記憶した記憶媒体
JP2018124058A (ja) * 2013-03-29 2018-08-09 パナソニックＩｐマネジメント株式会社 冷蔵庫および冷蔵庫システム
US20200219606A1 (en) * 2017-08-30 2020-07-09 Samsung Electronics Co., Ltd. Refrigerator

Also Published As

Publication number Publication date
JP2023127906A (ja) 2023-09-14

Similar Documents

Publication Publication Date Title
CN112984913B (zh) 物品显示系统
US11556889B2 (en) Object recognition system for an appliance and method for managing household inventory of consumables
US10330377B2 (en) Refrigeration appliance comprising a camera module
JP6570898B2 (ja) 食材位置提示方法及び冷蔵庫
KR102619657B1 (ko) 냉장고와 서버 및 서버의 제어 방법
KR102003149B1 (ko) 정보 생성 방법 및 디바이스
US20210405598A1 (en) Foodstuff sensing appliance
JP6157822B2 (ja) 冷蔵庫
US20220284684A1 (en) Augmented reality feedback of inventory for an appliance
US20210196081A1 (en) Systems and methods for automated cooking
KR20140139736A (ko) 냉장고 및 그 제어 방법
EP3014475A2 (en) Local storage and conditioning systems for nutritional substances
WO2006035714A1 (ja) 食品管理方法及びシステム
WO2023166917A1 (ja) 食材管理システム、食材管理方法及びプログラム
KR20150124155A (ko) 냉장고 및 그 제어방법
WO2023166916A1 (ja) 物品管理システム、物品管理方法及びプログラム
WO2019234997A1 (ja) 食品管理システム
JP7113281B2 (ja) 冷蔵庫
KR20220100408A (ko) 냉장고 및 그 제어 방법
CN113465266A (zh) 一种食材存储管理方法、智能冰箱及服务器
WO2023095533A1 (ja) 検出システム、プログラム及び入出庫管理方法
JP2020003207A (ja) 食品管理方法、食品管理システム、冷蔵庫
JP4205635B2 (ja) 物品検出システム
JP2023100328A (ja) 食品管理システム、食品貯蔵庫およびプログラム
JP7075852B2 (ja) 冷蔵庫システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23763179

Country of ref document: EP

Kind code of ref document: A1