WO2022180951A1 - プログラム、端末装置、及び端末装置の制御方法 - Google Patents

プログラム、端末装置、及び端末装置の制御方法 Download PDF

Info

Publication number
WO2022180951A1
WO2022180951A1 PCT/JP2021/042222 JP2021042222W WO2022180951A1 WO 2022180951 A1 WO2022180951 A1 WO 2022180951A1 JP 2021042222 W JP2021042222 W JP 2021042222W WO 2022180951 A1 WO2022180951 A1 WO 2022180951A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
food
case
refrigerator
information
Prior art date
Application number
PCT/JP2021/042222
Other languages
English (en)
French (fr)
Inventor
ザリナ ラフィー
愼一 堀井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202180094504.2A priority Critical patent/CN116888416A/zh
Publication of WO2022180951A1 publication Critical patent/WO2022180951A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D11/00—Self-contained movable devices, e.g. domestic refrigerators
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features

Definitions

  • the present disclosure provides a program, a terminal device, and a control method of the terminal device that allow the user to intuitively grasp the food stored in the drawer of the refrigerator and improve the user's convenience.
  • the food management system 1000 is a system for managing the storage date and time of storage in the refrigerator 1 for the food stored in the refrigerator 1 .
  • the refrigerator 1 corresponds to an example of the storage of the present disclosure.
  • Food corresponds to an example of an article of the present disclosure.
  • the communication device 5 connects to the global network GN including the Internet, telephone network, and other communication networks, and communicates with the food management server 4 connected to the global network GN.
  • the communication device 5 is an interface device for connecting the terminal device 3 to the global network GN.
  • the food management system 1000 includes a food management server 4.
  • Food management server 4 is a server device that manages food in refrigerator 1 and is connected to global network GN.
  • the food management server 4 is represented by one block, but this does not necessarily mean that the food management server 4 is composed of a single server device.
  • the food management server 4 may be configured including a plurality of server devices with different processing contents.
  • FIG. 2-4 the X, Y, and Z axes are illustrated.
  • the X-axis, Y-axis, and Z-axis are orthogonal to each other.
  • the Z-axis indicates the vertical direction.
  • the X-axis and Y-axis are parallel to the horizontal direction.
  • the X-axis indicates the horizontal direction, and also indicates the width direction of the refrigerator 1 and the camera unit 2 .
  • the Y-axis indicates the front-rear direction, and also indicates the depth direction of the refrigerator 1 and the camera unit 2 .
  • the positive direction of the X-axis indicates the right direction.
  • the positive direction of the Y-axis indicates the forward direction.
  • the positive direction of the Z-axis indicates the upward direction.
  • the left door ranging sensor 209 is a ranging sensor for detecting the open/closed state of the left door 11A.
  • the left door distance measuring sensor 209 detects the distance from the left door 11A as the open/closed state of the left door 11A.
  • the right door ranging sensor 210 is a ranging sensor for detecting the open/closed state of the right door 11B.
  • the right door distance measuring sensor 210 detects the distance from the right door 11B as the open/closed state of the right door 11B.
  • the camera unit 2 has a human sensor 212 .
  • the human sensor 212 outputs the detection value to the camera unit control section 20 .
  • a human sensor 212 is provided at a predetermined position of the photographing member 202 .
  • the human sensor 212 corresponds to an example of the "sensor" of the present disclosure.
  • the arrangement order and installation positions of the sensors and cameras in FIGS. 4 and 5 are shown for convenience of explanation of the camera unit 2. 5 are not limited to the arrangement order and installation position.
  • the camera unit control section 20 includes a camera unit processor 220 such as a CPU (Central Processing Unit) or MPU (Micro-processing unit), and a camera unit storage section 230 .
  • the camera unit control section 20 controls each section of the camera unit 2 by having the camera unit processor 220 read out and execute a control program stored in the camera unit storage section 230 .
  • the camera unit processor 220 executes a control program stored in the camera unit storage unit 230 to control a camera unit communication control unit 221, a detection value processing unit 222, an imaging control unit 223, a recording control unit 224, and a food detection unit. 225.
  • the camera unit storage section 230 includes a memory that stores programs executed by the camera unit processor 220 and data processed by the camera unit processor 220 .
  • the camera unit storage section 230 stores a control program executed by the camera unit processor 220, a camera unit ID 4112 that is identification information of the camera unit 2, and various other data.
  • the camera unit storage section 230 has a non-volatile storage area.
  • the camera unit storage section 230 may include a volatile storage area and configure a work area for the camera unit processor 220 .
  • the camera unit communication section 21 is a communication interface equipped with a communication circuit, connector, etc. according to a predetermined communication standard, and communicates with the food management server 4 and the terminal device 3 under the control of the camera unit control section 20.
  • the communication standard used by the camera unit communication section 21 is exemplified by the wireless communication standard, but may be the wired communication standard.
  • the sensor unit 22 includes a left door ranging sensor 209, a right door ranging sensor 210, a drawer ranging sensor 211, and a motion sensor 212, and outputs detection values to the camera unit control unit 20 for each sensor. .
  • the power supply section 24 includes hardware such as a power supply circuit, and supplies power to each section of the camera unit 2 .
  • the power cable 7 of the camera unit 2 is connected to the commercial AC power supply 8, and the power supply unit 24 supplies power to each of the camera units 2 based on the power supplied from the external commercial AC power supply 8. to power the
  • the supply source for supplying power to the power supply unit 24 is not limited to the external commercial AC power supply 8, and may be the refrigerator 1 or a battery. If the supply source is the former, the power supply unit 24 and the refrigerator 1 are provided with hardware such as a port that complies with the USB power supply standard. In the former case, the USB cable of the camera unit 2 is connected to the USB port of the refrigerator 1, and the refrigerator 1 supplies power to the power supply unit 24 via the USB cable. If the supply source is the latter, the camera unit 2 is equipped with a battery.
  • the camera unit control section 20 functions as a camera unit communication control section 221 , detection value processing section 222 , photography control section 223 , recording control section 224 and food detection section 225 .
  • the food detection unit 225 corresponds to an example of an article detection unit.
  • the detection value processing unit 222 determines whether each of the left door 11A, the right door 11B, and the drawers 14A, 15A is open or closed based on the detection values output from the sensor unit 22. When the detection value processing unit 222 determines that either the left door 11A or the right door 11B is open, the door open state information indicating that the door 11C is open is sent to the recording control unit 224 and food detection. Output to unit 225 . Further, when the detection value processing unit 222 determines that both the left door 11A and the right door 11B are closed, the detection value processing unit 222 transmits door closed state information indicating that the door 11C is closed to the recording control unit 224 and the food product. Output to the detection unit 225 .
  • the food detection unit 225 detects food that has been put into or taken out of the refrigerator 1 based on the recorded file 231 stored in the camera unit storage unit 230 .
  • the server storage unit 410 has a memory that stores programs executed by the server processor 400 and data processed by the server processor 400 .
  • the server storage unit 410 stores a control program executed by the server processor 400, a refrigerator compartment food management database 411, a withdrawal food management database 412, and various other data.
  • the server storage unit 410 has a non-volatile storage area.
  • the server storage unit 410 may comprise a volatile storage area and constitute a work area of the server processor 400 .
  • FIG. 8 is a diagram showing an example of one record stored in the refrigerator compartment food management database 411.
  • the refrigerating compartment food management database 411 is a database that stores various types of information related to foods stored in the refrigerating compartment 11 .
  • one record stored in the refrigerating compartment food management database 411 is referred to as a "refrigerating compartment food management record" and denoted by "RR".
  • Refrigerator compartment food management record RR includes account ID 4111, camera unit ID 4112, refrigerator model information 4113, image data in refrigerator compartment 4114, storage availability information 4115, food image data 4116, storage date and time information 4117, division area number 4118, memo It has input presence/absence information 4119 , memo information 4130 , deletion information 4131 , and deletion date/time information 4132 .
  • the refrigerating compartment interior image data 4114 is image data of an image showing the interior of the refrigerating compartment 11 of the refrigerator 1 .
  • An image showing the interior of the refrigerator compartment 11 is hereinafter referred to as a "image inside the refrigerator compartment” and is denoted by "RG".
  • the refrigerator interior image data 4114 indicates the refrigerator interior image RG corresponding to the model indicated by the associated refrigerator model information 4113 in the same record.
  • the refrigerator interior image RG corresponds to an example of the refrigerator interior image.
  • the storage date and time information 4117 is information indicating the storage date and time when the food was stored in the refrigerator 1 .
  • the withdrawal food management record HR has an account ID 4111, camera unit ID 4112, update date/time information 4121, upper case information 4122, and lower case information 4124.
  • the update date/time information 4121 is information indicating the date and time when the contents of the food withdrawal management record HR were updated.
  • the upper case information 4122 includes upper case image data 4123, food image data 4116, memo input presence/absence information 4119, and memo information 4130.
  • the upper case image data 4123 is image data of the upper case image JCG, which is the image of the upper case JCA.
  • the upper case image JCG is an image captured by the drawer camera 204 .
  • the upper case image JCG corresponds to an example of the first case image of the present disclosure.
  • the lower case image data 4125 is image data of the lower case image GCG, which is the image of the lower case GCA.
  • a lower case image GCG is an image captured by the drawer camera 204 .
  • the lower case image GCG corresponds to an example of the second case image of the present disclosure.
  • case image when the upper case image JCG and the lower case image GCG are not distinguished from each other, they are referred to as a "case image" and denoted by "CG".
  • the server communication unit 41 is a communication interface having a configuration related to communication such as a radio circuit and an antenna according to a predetermined communication standard, and is connected to a device connected to the global network GN according to the predetermined communication standard. connect.
  • the server communication section 41 communicates with the camera unit 2 and the terminal device 3 .
  • the server communication control unit 401 communicates with the camera unit 2 and the terminal device 3 via the server communication unit 41.
  • the information processing section 402 performs various information processing based on information received by the server communication control section 401 from the camera unit 2 and the terminal device 3 .
  • the terminal device 3 includes a terminal control section 30 , a terminal communication section 31 and a touch panel 32 .
  • the touch panel 32 corresponds to an example of the display section.
  • the terminal storage unit 310 has a memory that stores programs executed by the terminal processor 300 and data processed by the terminal processor 300 .
  • the terminal storage unit 310 stores a control program executed by the terminal processor 300, a food management application 311, an account ID 4111, and various other data.
  • the terminal storage unit 310 has a nonvolatile storage area.
  • the terminal storage unit 310 may include a volatile storage area and constitute a work area of the terminal processor 300 .
  • the terminal communication unit 31 is a communication interface having a configuration such as a radio circuit and an antenna according to a predetermined communication standard, and communicates with devices connected to the global network GN according to the predetermined communication standard.
  • the wireless communication standard is exemplified as the communication standard used by the terminal communication unit 31 .
  • the camera unit 2 is separate from the refrigerator 1. - ⁇ Therefore, the camera unit 2 is installed by the user P on the upper surface 10B of the refrigerator 1 . As described above, the position regulating member 205 regulates the position of the camera unit 2 in the front-rear direction of the refrigerator 1 , so the user P adjusts the position of the refrigerator 1 in the left-right direction when installing the camera unit 2 .
  • a plurality of methods for adjusting the position of the camera unit 2 in the horizontal direction of the refrigerator 1 are exemplified below.
  • user P uses application UI 320 .
  • the application executing unit 301 causes the touch panel 32 to display the application UI 320 of the adjustment screen GM1.
  • FIG. 11 is a diagram showing an example of the adjustment screen GM1.
  • the adjustment screen GM1 is provided with a shooting result display area HA1.
  • the photographing result display area HA1 is a rectangular area, and is an area for displaying the photographing result of either the refrigerator camera 203 or the drawer camera 204 .
  • a line L1 extending in the vertical direction is provided at substantially the center in the left-right direction in the figure in the imaging result display area HA1.
  • FIG. 12 is a diagram showing an example of the central position recording sheet CY.
  • the center position recording sheet CY is a sheet on which a center mark MR2 indicating the center position of the refrigerator 1 in the horizontal direction is recorded.
  • a left edge mark MR1 indicating the left edge position of the refrigerator 1 in the left-right direction and a right edge mark MR3 indicating the right edge position of the refrigerator 1 in the left-right direction are recorded on the center position recording sheet CY.
  • the center position recording paper CY is bundled together with the refrigerator 1 and delivered to the user P.
  • the camera unit 2 may or may not be included together with the central position recording sheet CY and the refrigerator 1 .
  • the central position recording sheet CY packed together with the refrigerator 1 has a length corresponding to the width of the refrigerator 1 from the left end mark MR1 to the right end mark MR3.
  • the camera unit 2 can perform various detections in the same way as the first position adjustment.
  • FIG. 13 is a flowchart FA showing the operation of the camera unit 2.
  • the sensor section 22 outputs detection values of each sensor to the camera unit control section 20.
  • the detection value processing unit 222 executes processing based on various detection values received from the sensor unit 22 .
  • step SA2 When the detection value processing unit 222 determines that a person exists around the refrigerator 1 (step SA1: YES), it outputs presence/absence information indicating the presence of a person to the imaging control unit 223 (step SA2).
  • the shooting control unit 223 causes the refrigerator camera 203 and the drawer camera 204 to start shooting (step SA3).
  • the detection value processing unit 222 determines whether any of the left door 11A, the right door 11B, the drawers 14A and 15A is open based on the detection values of various sensors output from the sensor unit 22. (step SA4).
  • step SA4 determines that none of the left door 11A, right door 11B, drawers 14A and 15A is open (step SA4: NO), it performs the processing of step SA16.
  • step SA4 determines that any one of the left door 11A, the right door 11B, and the drawers 14A and 15A is open (step SA4: YES)
  • the detection value processing unit 222 determines whether the door 11C is open or whether the drawer 14A, 15A is opened (step SA5).
  • step SA6 When the detection value processing unit 222 determines that the door 11C is open (step SA5: door), it outputs door open state information to the recording control unit 224 (step SA6).
  • the recording control unit 224 starts recording the photographed result of the refrigerator camera 203 (step SA7).
  • the detection value processing unit 222 determines whether or not the door 11C is closed (step SA8).
  • the recording control unit 224 ends the recording of the imaging result of the refrigerator camera 203 (step SA10).
  • one recording file 231 of the refrigerator camera 203 is generated in the camera unit storage section 230 .
  • step SA5 when the detection value processing unit 222 determines that one of the drawers 14A and 15A is in the open state (step SA5: drawer), the detection value processing unit 222 outputs the drawer open state information to the recording control unit 224 ( Step SA11).
  • the recording control unit 224 starts recording the photographed result of the drawer camera 204 (step SA12).
  • the detection value processing unit 222 determines whether or not one of the open drawers 14A and 15A is closed (step SA13).
  • the recording control unit 224 ends the recording of the imaging result of the drawer camera 204 (step SA15).
  • one recording file 231 of the withdrawal camera 204 is generated in the camera unit storage section 230 .
  • the detection value processing unit 222 determines whether or not there is a person around the refrigerator 1 (step SA16).
  • step SA16 determines that there is a person around the refrigerator 1 (step SA16: YES), it performs the processing from step SA4 onwards again.
  • step SA16 determines that no person exists around the refrigerator 1 (step SA16: NO)
  • the shooting control unit 223 causes the refrigerator camera 203 and the drawer camera 204 to finish shooting (step SA18).
  • FIG. 14 is a flow chart showing the operation of the food management system 1000.
  • a flowchart FB shows the operation of the camera unit 2
  • a flowchart FC shows the operation of the food management server 4. As shown in FIG.
  • the food detection section 225 of the camera unit 2 determines whether or not the recording file 231 is stored in the camera unit storage section 230 (step SB1).
  • the food detection unit 225 detects food from the recorded file 231 of the refrigerator camera 203 based on the feature amount such as shape and color. Data necessary for food detection is stored in a storage area that can be acquired by the food detection unit 225 .
  • the food detection unit 225 determines whether food has been detected from the recorded file 231 of the refrigerator camera 203 (step SB4).
  • step SB4 NO
  • the process proceeds to step SB10.
  • the entering/leaving determination process is a process for determining whether the food detected in step SB3 is the food stored in the refrigerator 1 or the food unloaded from the refrigerator 1.
  • the warehousing/leaving determination image HG is superimposed on the moving image indicated by the recording file 231 of the refrigerator camera 203 .
  • FIG. 15 is a diagram for explaining the entering/leaving determination image HG.
  • the entering/leaving judgment image HG shown in FIG. 15 is superimposed on the moving image in which the user P places the egg pack into the refrigerator 1 .
  • the entering/leaving determination image HG is provided with a boundary line L2.
  • Boundary line L2 has boundary lines L21, L22, L23, L24, and L25.
  • the boundary line L21 is a line that extends rightward from the left end of the entering/leaving determination image HG in the figure at the upper part of the entering/leaving determination image HG.
  • the boundary line L22 is a line connecting the right end of the boundary line L21 and the left end of the boundary line L23.
  • the boundary line L23 is a line that extends rightward from the position in the horizontal direction of the right end of the boundary line L21 at the approximate center in the vertical direction of the entering/leaving determination image HG.
  • the image area of the entering/leaving determination image HG is divided by the boundary line L2 into a concave area HG1 that is a concave area and a convex area HG2 that is a convex area.
  • the food detection unit 225 performs image analysis on the moving image on which the entering/leaving determination image HG is superimposed to determine whether the food detected in step SB3 has progressed from the convex region HG2 to the concave region HG1, or has moved from the concave region HG1. It is determined whether or not the state has progressed to the shape region HG2.
  • the food detection unit 225 determines that the food detected in step SB3 has progressed from the convex region HG2 to the concave region HG1, the food detection unit 225 determines that the food detected in step SB3 has entered the refrigerator 1 .
  • the food detection unit 225 determines that the food detected in step SB3 has progressed from the concave region HG1 to the convex region HG2, the food detection unit 225 determines that the food detected in step SB3 has left the refrigerator 1 .
  • the food detection unit 225 performs division area number identification processing (step SB6).
  • the division area number identification process is a process of identifying the division area BA corresponding to the accommodation area where the food detected in step SB3 was received and delivered, and identifying the division area number 4118 assigned to the identified division area BA.
  • the food detection unit 225 uses image analysis to identify the housing area of the refrigerator compartment 11 into which the food detected in step SB3 was taken in and out. Also, for example, a mark for identifying a storage area is attached to the tip of each shelf 112 and each door pocket 111, and the food detection unit 225 detects the position of this mark and the detected food in the moving image. Identify containment areas based on relationships. Next, the food detection unit 225 determines which divided area BA of the refrigerator interior image RG corresponds to the identified accommodation area, and identifies the divided area number 4118 assigned to the identified divided area BA. Note that the correspondence between the accommodation area, the divided area BA, and the divided area number 4118 is stored in the camera unit storage section 230 as data.
  • the food detection unit 225 cuts out an image of each food detected in step SB3 from the recorded file 231 of the refrigerator camera 203 (step SB7).
  • the image of the food cut out from the result of photographing by the camera 213 is referred to as a "photographed food image” and is denoted by "FG".
  • the photographed food image FG corresponds to an example of the food image of the present disclosure.
  • the first update information generated in step SB8 includes the camera unit ID 4112 of the camera unit storage section 230.
  • the first update information generated in step SB8 includes date and time information indicating the date and time when the recording file 231 of the refrigerator camera 203 was generated.
  • the first update information generated in step SB8 includes the food image data 4116 indicating the photographed food image FG cut out in step SB7 and the determination result of the storage/delivery determination process for each food detected in step SB3. It includes the entering/leaving determination result information and the division area number 4118 specified in the division area number specifying process.
  • the camera unit communication control section 221 transmits the first update information generated by the food detection section 225 to the food management server 4 (step SB9).
  • the food detection unit 225 deletes the recorded file 231 from the camera unit storage unit 230 (step SB10).
  • step SB2 when the food detection unit 225 determines that the file is the recorded file 231 of the drawer camera 204 (step SB2: drawer camera), the upper part of the moving image of the recorded file 231 of the drawer camera 204 It is determined whether or not at least one of the case JCA and the lower case GCA has been drawn by a predetermined threshold or more (step SB11).
  • step SB11: NO When the food detection unit 225 determines that neither the upper case JCA nor the lower case GCA has been pulled out by the predetermined threshold value or more (step SB11: NO), it performs the process of step SB18.
  • step SB12 the food detection unit 225 cuts out the upper case image JCG from the recording file 231 when only the upper case JCA is extracted by a predetermined threshold value or more.
  • step SB12 the food detection unit 225 cuts out the lower case image GCG from the recording file 231 when only the lower case GCA is extracted by a predetermined threshold value or more.
  • step SB12 the food detection unit 225 cuts out the upper case image JCG and the lower case image GCG from the recording file 231 when the upper case JCA and the lower case GCA are extracted by a predetermined threshold value or more.
  • the food detection unit 225 detects food from the clipped case image CG (step SB13).
  • the food detection unit 225 determines whether food has been detected from the case image CG (step SB14).
  • step SB14 determines that food cannot be detected (step SB14: NO)
  • it performs the processing of step SB16.
  • step SB14 determines that food has been detected (step SB14: YES)
  • it cuts out a photographed food image FG for each detected food from the case image CG (step SB15).
  • step SB16 the food detection unit 225 generates second update information
  • the second update information generated in step SB16 includes the camera unit ID 4112 in the camera unit storage section 230, the upper case image data group, and the lower case image Contains data groups.
  • the upper case image data group includes upper case image data 4123 representing the clipped upper case image JCG and food image data 4116 representing the photographed food image FG clipped from the upper case image JCG.
  • the lower case image data group includes lower case image data 4125 representing the cut-out lower case image GCG and food image data 4116 representing the photographed food image FG cut out from the lower case image GCG. If a negative determination is made in step SB14, food image data 4116 is not included in this second update information.
  • the camera unit communication control section 221 transmits the second update information generated by the food detection section 225 to the food management server 4 (step SB17).
  • the food detection section 225 deletes the recorded file 231 from the camera unit storage section 230 (step SB18).
  • the server communication control unit 401 of the food management server 4 determines whether or not update information of either the first update information or the second update information has been received (step SC1).
  • step SC1 When it is determined that the server communication control unit 401 has received update information (step SC1: YES), the information processing unit 402 updates the database based on the update information received by the server communication control unit 401 (step SC2).
  • step SC2 will be described in detail.
  • the information processing unit 402 identifies the withdrawal food management record HR having the camera unit ID 4112 included in the second update information.
  • the information processing unit 402 converts the upper case image data 4123 and the food image data 4116 included in the upper case information 4122 of the identified food management record HR to It updates to the data which the 2nd update information has.
  • the information processing unit 402 converts the lower case image data 4125 and the food image data 4116 included in the lower case information 4124 of the identified food management record HR to It updates to the data which the 2nd update information has.
  • the information processing unit 402 processes the upper case image data 4123 and the food
  • the image data 4116 is appropriately updated to the data contained in the upper case image data group.
  • the information processing section 402 updates the lower case image data 4125 and the food image data 4116 included in the lower case information 4124 of the specified withdrawn food management record HR to the data included in the lower case image data group.
  • the information processing section 402 also updates the update date/time information 4121 of the identified food management record HR with information indicating the date and time when the food management record HR was updated.
  • the application UI 320 displays a screen related to the refrigerator compartment 11 and a screen related to the drawer-type storage compartment.
  • FIG. 16 is a diagram showing an example of the refrigerator home screen GM2.
  • the default food image display area HA2 displays the refrigerator interior image RG in a state where the left door pocket image RG1 and the right door pocket image RG3 are cut off. In the food image display area HA2, a scroll operation in the horizontal direction of the drawing is accepted from the user P. FIG. The food image display area HA2 changes the display range of the refrigerator interior image RG according to the scroll amount and scroll direction of the received scroll operation.
  • the food image display area HA2 displays the refrigerator interior image RG in which the right door pocket image RG3 is completely cut off.
  • the photographed food image FG and the memo input icon MIC follow the change in the display range of the refrigerator interior image RG, in other words, move along with the movement of the superimposed divided area BA.
  • the memo input icon MIC will be described later.
  • the food image display area HA2 When displaying a plurality of photographed food images FG in one divided area BA, the food image display area HA2 is displayed side by side in the horizontal direction of the drawing.
  • the food image display area HA2 can simultaneously display up to five photographed food images FG side by side in one divided area BA.
  • the food image display area HA2 receives a scroll operation from the user P when there are six or more photographed food images FG to be displayed in one divided area BA.
  • a divided area BA of 1 displays photographed food images FG after the sixth sheet when a scroll operation is received.
  • the maximum number of images that can be displayed side by side is maintained.
  • the photographed food images FG after the sixth one are displayed according to the amount of scrolling.
  • the food image display area HA2 hides the first to fifth displayed photographed food images FG according to the amount of scrolling and the number of photographed food images FG to be displayed.
  • the first and subsequent photographed food images FG are displayed.
  • the memo input icon MIC moves following the movement of the associated photographed food image FG. That is, when the associated photographed food image FG is hidden by the scrolling operation, the memo input icon MIC is also hidden.
  • the user P performs a predetermined touch operation such as a long press operation on the photographed food image FG for which he/she wishes to enter a memo on the refrigerator home screen GM2.
  • a predetermined touch operation such as a long press operation on the photographed food image FG for which he/she wishes to enter a memo on the refrigerator home screen GM2.
  • the application executing unit 301 displays a memo edited image MHG in association with the photographed food image FG on which the predetermined touch operation is performed.
  • the memo edit image MHG has a memo input area MNA, a memo save button B1, a memo delete button B2, and a food delete button B3.
  • the memo input area MNA is an area for inputting memos.
  • Application execution unit 301 displays a software keyboard on touch panel 32 when memo input area MNA is touch-operated. Then, application execution unit 301 inputs a memo corresponding to the operation on the software keyboard into memo input area MNA.
  • the erase memo button B2 is a button for erasing the entered memo.
  • the memo erase button B2 is touch-operated, the memo input to the photographed food image FG is erased.
  • the food delete button B3 is a button for deleting the photographed food image FG from the food image display area HA2.
  • the food image display area HA2 has a list display button B4.
  • the list display button B4 is a touch-operable software button.
  • the refrigerator list screen GM3 includes an accommodation list screen GM31, a new addition list screen GM32, and a deletion target list screen GM33.
  • FIG. 18 is a diagram showing the accommodation list screen GM31.
  • the accommodation list screen GM31 has a first switching button B5 and a second switching button B6.
  • the first switching button B5 is a software button for switching the arrangement order of the first food information J21 displayed in the contained food information display area HA3 to the next order. That is, when the first switching button B5 is touch-operated, the stored food information display area HA3 changes the first food information J21 having the photographed food image FG with the memo input to the photographed food image FG without the memo input. is displayed higher than the first food information J21 having It should be noted that displaying in a higher position means displaying so that the amount of scrolling when displaying is reduced.
  • the stored food information display area HA3 displays the food information J2 with the older storage date and time indicated by the storage date and time information 4117 at a higher level. do. Further, when there are a plurality of pieces of first food information J21 having photographed food images FG with no memo input, the stored food information display area HA3 displays the first food information J21 with the older storage date and time indicated by the storage date and time information 4117 as a higher rank food item. to display.
  • the accommodation list screen GM31 on the left side of FIG. 18 shows the accommodation list screen GM31 when the first switching button B5 is touch-operated.
  • the second switching button B6 is a software button for switching the arrangement order of the first food information J21 displayed in the contained food information display area HA3 to the next order. That is, when the second switching button B6 is touch-operated, the stored food information display area HA3 displays the first food information J21 side by side for each divided area BA. The order in which the divided areas BA are arranged may be an order predetermined by the user P. The stored food information display area HA3 displays the first food information J21 in one divided area BA in the same order as when the first switching button B5 is touch-operated. Note that the accommodation list screen GM31 on the right side of FIG. 18 shows the accommodation list screen GM31 when the second switching button B6 is touch-operated.
  • the accommodation list screen GM31 has an accommodation list display button B7, a new addition list display button B8, and a deletion target list display button B9.
  • the display accommodation list button B7 is a software button for switching the screen displayed by the application UI320 to the accommodation list screen GM31.
  • the new addition list display button B8 is a software button for switching the screen displayed by the application UI 320 to the new addition list screen GM32.
  • the deletion target list display button B9 is a software button for switching the screen displayed by the application UI 320 to the deletion target list screen GM33.
  • Each piece of first food information J21 displayed in the newly added food information display area HA4 receives a predetermined touch operation on the photographed food image FG.
  • the first edited image HNG1 is displayed in association with the photographed food image FG subjected to the predetermined touch operation.
  • the first edited image HNG1 has a food item deletion button B10, an area correction button B11, and a return button B12.
  • the food delete button B10 is a software button for deleting the food indicated by the photographed food image FG associated with the first edited image HNG1 from the refrigerator compartment home screen GM2 when touch-operated.
  • the area correction button B11 is a software button for correcting the division area BA indicated by the division area information J3 when touch-operated.
  • the return button B12 is a software button for stopping the display of the first edited image HNG1.
  • the newly added food information display area HA4 has a food information addition button B13 at the end of the list of the first food information J21.
  • the food information addition button B13 is a software button for manually adding new first food information J21. A procedure for adding the first food information J21 will be described with reference to FIG.
  • FIG. 20 is a diagram for explaining the procedure for adding the first food information J21.
  • the food information addition list screen GM4 When the food information addition button B13 is touch-operated, the food information addition list screen GM4 is displayed on the application UI320.
  • the food information addition list screen GM4 has a plurality of add buttons B14, which are software buttons.
  • the food information addition list screen GM4 also has a blank image BG and a food name input area SNA for inputting food names. When the blank image BG is touch-operated, the blank image BG becomes an image showing the food name input in the food name input area SNA.
  • the image RG inside the refrigerator compartment is displayed on the application UI320.
  • the displayed refrigerator interior image RG is an image in which each of the divided areas BA is assigned a divided area number 4118, and each of the divided areas BA can be selected by a touch operation.
  • the divided area BA is selected in the refrigerator interior image RG, the following first food information J21 is added to the application UI320.
  • the first food information J21 to be added includes the image of the food corresponding to the touch-operated add button B14, the storage date and time information 4117 indicating the date and time when the first food information J21 was added as the storage date and time, and the selected division.
  • the food image indicated by the added first food information J21 may be an icon.
  • the image superimposed on the refrigerator interior image RG of the refrigerator home screen GM2 is the shadow food image FG.
  • An icon is displayed in the indoor image RG together with the photographed food image FG.
  • the procedure for adding the first food information J21 may include a procedure for the user P to input the storage date and time.
  • the first food information J21 to be added includes accommodation date/time information 4117 indicating the accommodation date/time input by the user P.
  • the new addition list screen GM32 has an accommodation list display button B7, a new addition list display button B8, and a deletion target list display button B9.
  • FIG. 21 is a diagram showing an example of the deletion target list screen GM33.
  • the photographed food image FG receives a predetermined touch operation.
  • the second edited image HNG2 is displayed in association with the photographed food image FG subjected to the predetermined touch operation.
  • FIG. 22 is a flow chart showing the operation of the food management system 1000.
  • a flow chart FD shows the operation of the terminal device 3
  • a flow chart FE shows the operation of the food management server 4.
  • the application execution unit 301 of the terminal device 3 determines whether or not to request the refrigerator compartment food management record RR from the food management server 4 (step SD1).
  • the application execution unit 301 makes an affirmative determination in step SD1. Further, for example, when a touch operation instructing display update is performed on the refrigerator compartment home screen GM2, the application execution unit 301 makes an affirmative determination in step SD1.
  • step SD1 When the application execution unit 301 determines to request the refrigerator management record RR (step SD1: YES), the application execution unit 301 transmits first record request information requesting the refrigerator management record RR to the food management server 4 (step SD2). .
  • Account ID 4111 stored in terminal storage unit 310 is included in the first record request information transmitted in step SD2.
  • the server communication control unit 401 of the food management server 4 receives the first record request information through the server communication unit 41 (step SE1).
  • the information processing section 402 identifies the refrigerator food management record RR including the account ID 4111 included in the first record request information received by the server communication control section 401 from the refrigerator compartment food management database 411 (step SE2).
  • the server communication control unit 401 transmits the refrigerator compartment food management record RR specified by the information processing unit 402 to the terminal device 3 (step SE3).
  • the information processing unit 402 updates the incoming/outgoing information 4115 of the transmitted refrigerating compartment food management record RR to information indicating "none".
  • step SD3 upon receiving the refrigerator compartment food management record RR from the food management server 4 (step SD3), the application execution unit 301 of the terminal device 3 executes the refrigerator compartment 11 based on the refrigerator compartment food management record RR. is generated (step SD4).
  • Step SD4 will be described in detail.
  • Application execution unit 301 generates refrigerator home screen GM2 that displays refrigerator interior image RG indicated by refrigerator interior image data 4114 included in refrigerator food management record RR in food image display area HA2.
  • Application execution unit 301 also generates refrigerator home screen GM2 in which photographed food image FG indicated by food management image data 4116 is superimposed on divided area BA indicated by divided area number 4118 for each subrecord. Further, when memo input presence/absence information 4119 indicates that there is a memo, application execution unit 301 generates refrigerator home screen GM2 displaying memo input icon MIC in association with photographed food image FG for each subrecord.
  • step SD4 will be described in detail.
  • Application execution unit 301 generates first food information J21 for each food image data 4116 .
  • This first food information J21 includes the photographed food image FG indicated by the food image data 4116, the storage date/time information 4117 associated with this food image data 4116, and the divided areas indicated by the color of the divided area BA indicated by the divided area number 4118. Contains information J3.
  • the application execution unit 301 generates an accommodation list screen GM31 that displays a list of the first food information J21 related to the sub-records associated with the deletion information 4131 that does not indicate deletion targets.
  • the application executing unit 301 displays a list of the first food information J21 that the storage date and time indicated by the storage date and time information 4117 indicates a date and time within a predetermined period from the current time, among the first food information J21 displayed on the storage list screen GM31.
  • a new addition list screen GM32 is generated.
  • step SD4 will be described in detail.
  • Application execution unit 301 generates second food information J22 for each food image data 4116 .
  • the second food information J22 includes the photographed food image FG indicated by the food image data 4116, the deletion date/time information 4132 associated with the food image data 4116, and the divided area information indicated by the color of the divided area BA indicated by the divided area number 4118. Including J3. Then, the application execution unit 301 generates a deletion target list screen GM33 that lists the generated second food information J22.
  • the application execution unit 301 displays a screen related to the refrigerator compartment 11 in response to the touch operation (step SD5). It should be noted that, if the entry/exit presence/absence information 4115 of the refrigerator compartment food management record RR received in step SD3 indicates "yes", when the refrigerator compartment home screen GM2 is displayed for the first time in step SD5, the application executing unit 301 displays the refrigerator compartment home screen GM2. The home screen GM2 pops up to the effect that there is a new entry/exit.
  • the application execution unit 301 transmits to the food management server 4 information for updating the sub-record related to the photographed food image FG to be operated.
  • This information includes deletion information 4131 indicating deletion targets.
  • the food management server 4 appropriately updates the subrecords based on the received information.
  • the application execution unit 301 transmits to the food management server 4 information for adding a sub-record related to the added first food information J21.
  • the food management server 4 appropriately updates the subrecords based on the received information.
  • FIG. 23 is a diagram showing an example of the vegetable room home screen GM5.
  • the vegetable room home screen GM5 has a case image display area HA6.
  • the case image display area HA6 is an area for displaying the case image CG.
  • the case image display area HA6 displays the upper case image JCG superimposed on the lower case image GCG.
  • the upper case image JCG is superimposed on the entire image area of the lower case image GCG, and only the upper case image JCG is displayed.
  • Each of the case images CG displayed in the case image display area HA6 accepts memo input.
  • the memo input procedure is the same as in the refrigerator compartment 11, except that the image operated by the user P is the photographed food image FG or the case image CG.
  • the memo input icon MIC associated with the upper case image JCG moves following the movement of the upper case image JCG.
  • the vegetable room home screen GM5 has a list display button B17.
  • the list display button B17 is a touch-operable software button.
  • the vegetable room home screen GM5 may have a switch button for switching the case image CG displayed in the case image display area HA6 to the upper case image JCG or the lower case image GCG.
  • the application execution unit 301 switches the case image CG to be displayed to the upper case image JCG or the lower case image GCG in accordance with the operation of the switch button.
  • FIG. 24 is a diagram showing an example of the food image list screen GM6.
  • the food image list screen GM6 has update date/time information 4121.
  • the food image list screen GM6 of FIG. 24 has update date/time information 4121 indicating the update date/time of "12/1 10:05".
  • the food image list screen GM6 displays a list of photographed food images FG for each case.
  • the photographed food image FG displayed in association with the item of the upper case JCA is an image cut from the upper case image JCG.
  • the photographed food image FG displayed in association with the item of the lower case GCA is an image cut from the lower case image GCG.
  • FIG. 25 is a flow chart showing the operation of the food management system 1000.
  • a flowchart FF shows the operation of the terminal device 3
  • a flowchart FJ shows the operation of the food management server 4.
  • the application execution unit 301 makes an affirmative determination in step SF1. Further, for example, when a touch operation instructing update of the display is performed on the vegetable room home screen GM5, the application execution unit 301 makes an affirmative determination in step SF1.
  • step SF1 determines to request the withdrawal management record RR (step SF1: YES)
  • it transmits second record request information requesting the withdrawal management record HR to the food management server 4 (step SF2).
  • Account ID 4111 stored in terminal storage unit 310 is included in the second record request information transmitted in step SF2.
  • the server communication control unit 401 of the food management server 4 receives the second record request information (step SJ1).
  • the information processing section 402 identifies the withdrawal management record HR including the account ID 4111 included in the second record request information received by the server communication control section 401 from the withdrawal food management database 412 (step SJ2).
  • the server communication control unit 401 transmits the withdrawal management record HR specified by the information processing unit 402 to the terminal device 3 (step SJ3).
  • step SF3 when the application execution unit 301 of the terminal device 3 receives the withdrawal food management record HR from the food management server 4 (step SF3), it generates a screen related to the vegetable compartment 15 (step SF4).
  • Step SF4 will be described in detail.
  • the application executing unit 301 displays a case image in which the upper case image JCG indicated by the upper case image data 4123 included in the same record is superimposed on the lower case image GCG indicated by the lower case image data 4125 included in the withdrawal food management record HR.
  • a vegetable room home screen GM5 having an area HA6 is generated.
  • the application execution unit 301 generates the vegetable room home screen GM5 displaying the memo input icon MIC in association with the corresponding case image CG.
  • step SF4 will be described in detail.
  • Application execution unit 301 generates food image list screen GM6 in which photographed food images FG indicated by food image data 4116 are arranged for each case CA.
  • the application execution unit 301 displays a screen related to the vegetable compartment 15 in response to the touch operation (step SF5).
  • the application execution unit 301 transmits information for updating the memo input presence/absence information 4119 and the memo information 4130 to the food management server 4 .
  • This information includes information indicating whether the operation target is the upper case image JCG or the lower case image GCG, memo input presence/absence information 4119 indicating that there is a memo, and memo information 4130 indicating the input memo.
  • the food management server 4 appropriately updates the withdrawal food management record HR based on the received information.
  • the application execution unit 301 transmits information for updating the memo input presence/absence information 4119 and the memo information 4130 to the food management server 4.
  • This information includes information indicating whether the memo is to be erased from the upper case image JCG or the lower case image GCG, and memo input presence/absence information 4119 indicating that there is no memo.
  • the food management server 4 appropriately updates the withdrawal food management record HR based on the received information.
  • the vegetable compartment 15 is exemplified as the drawer-type storage compartment described with reference to FIGS. 23-25.
  • the database shown in FIG. 10 is a database that stores various information related to food in the freezer compartment 14 .
  • the camera unit 2 includes the main body 201 installed on the upper surface 10B of the refrigerator 1 and the camera 213 extending from the main body 201 to the front of the refrigerator 1 and capturing an image of the refrigerator 1 from the upper front to the lower. and a photographing member 202 provided.
  • the main body 201 includes a position regulating member 205 that contacts the front edge 10A of the refrigerator 1 and regulates the position of the photographing member 202 in the front-rear direction of the refrigerator 1 .
  • the position regulating member 205 is a position regulating piece that extends downward from the bottom surface 206 of the main body 201 in the installed state.
  • the position of the camera unit 2 can be regulated using the gap formed between the main box body 10 and the door 11C. Therefore, since the camera unit 2 can be installed in the existing refrigerator 1, even in the existing refrigerator 1, the food entering and leaving the refrigerator 1 can be photographed with high accuracy.
  • the position regulating member 205 is formed shorter than the length up to the packing provided between the refrigerator 1 and the door 11C of the refrigerator 1 .
  • the position of the camera unit 2 can be regulated using the gap formed between the main box body 10 and the door 11C without hindering the cooling effect of the refrigerator compartment 11. Therefore, the food entering and leaving the refrigerator 1 can be photographed with high accuracy without impairing the cooling effect of the refrigerator compartment 11 .
  • the position regulating member 205 extends in the width direction of the main body 201.
  • the installation posture of the camera unit 2 can be stabilized. Therefore, it is possible to photograph the food entering and leaving the refrigerator 1 with higher accuracy.
  • the position regulating member 205 has a mark 207 for adjusting the position of the camera unit 2 in the width direction of the refrigerator 1.
  • the user P can easily install the camera unit 2 in the center of the refrigerator 1 in the horizontal direction. Therefore, the user P can easily install the camera unit 2 so that the food entering and leaving the refrigerator 1 can be photographed with higher accuracy.
  • the camera unit 2 includes a camera 213 that captures a moving image of the refrigerator 1 from above the front of the refrigerator 1 and a motion sensor 212 that detects whether or not a person is present around the refrigerator 1.
  • a photographing control unit 223 causes the camera 213 to start photographing, and the camera 213 photographs at a predetermined timing after the photographing control unit 223 causes the camera 213 to start photographing.
  • a recording control unit 224 for starting recording of the result.
  • the control method of the camera unit 2 is such that when the motion sensor 212 for detecting whether or not a person exists around the refrigerator 1 detects that a person exists around the refrigerator 1, the camera 213 is caused to start photographing. , at a predetermined timing after the camera 213 has started photographing, recording of the photographed result of the camera 213 is started.
  • the camera unit 2 and the control method of the camera unit 2 when the motion sensor 212 detects that a person is present around the refrigerator 1, the camera 213 is caused to start photographing, thereby opening the door 11C or the drawer of the refrigerator 1. It is possible to increase the possibility that the food taken in and out of the refrigerator 1 before the door 16A is opened is included in the photographed result of the camera 213. Therefore, it is possible to accurately photograph the food entering and leaving the refrigerator 1 .
  • the recording control unit 224 starts recording the shooting result of the camera 213 when the door 11C or the drawer 16A of the refrigerator 1 is opened.
  • the recording control unit 224 can suppress an increase in the data volume of the recording file 231, it is possible to prevent an increase in the processing targets of the food detection unit 225 and an increase in the processing time and processing load of the food detection unit 225. can be prevented.
  • recording ends at the timing when it is highly probable that food has finished entering and leaving the warehouse.
  • the recording control unit 224 can suppress an increase in the data volume of the recording file 231, it is possible to prevent an increase in the processing targets of the food detection unit 225 and an increase in the processing time and processing load of the food detection unit 225. can be prevented.
  • the recording control unit 224 When recording is stopped, the recording control unit 224 generates one recorded file 231 of the photographed results from when the door 11C or drawer 16A of the refrigerator 1 is opened until it is closed.
  • the photographed result from the time when the door 11C or the drawer 16A of the refrigerator 1 is opened until it is closed is generated as one recorded file 231, an increase in the data capacity of the one recorded file 231 is suppressed.
  • One recording file 231 can be quickly generated.
  • one recorded file 231 can be generated quickly while suppressing an increase in the data volume of one recorded file 231, the food detection unit 225 can quickly Processing related to the recorded file 231 can be started.
  • the shooting control unit 223 causes the camera 213 to finish shooting.
  • the human detection sensor 212 detects that there is no person around the refrigerator 1, the camera 213 is allowed to finish photographing, so that the camera 213 photographs in a situation where no food is loaded or unloaded from the refrigerator 1. can be prevented. Therefore, food entering and leaving the refrigerator 1 can be accurately photographed while preventing an increase in power consumption.
  • the camera unit 2 includes a food detection section 225 that detects food entering and leaving the refrigerator 1 based on the recording result of the recording control section 224 .
  • the food can be detected based on the photographing results of the food entering and leaving the refrigerator 1 with high accuracy, so the food entering and leaving the refrigerator 1 can be detected with high accuracy.
  • control method of the terminal device 3 is to display the image RG inside the refrigerator compartment, and in the image RG inside the refrigerator compartment displayed, a divided area BA corresponding to the accommodation area of the food accommodated in the refrigerator compartment 11 is photographed. A food image FG is displayed.
  • the terminal device 3, and the control method of the terminal device 3 in the image showing the inside of the refrigerator compartment, the image is divided into divided areas BA corresponding to storage areas of food stored in the refrigerator. A food image FG is displayed. Therefore, the user P can intuitively grasp what kind of food is stored in the refrigerator compartment 11 .
  • the photographed image of the food actually stored in the refrigerator 1 is provided to the user P, the user P can more intuitively know what kind of food is stored in the refrigerator compartment 11. can be comprehended.
  • the refrigerator interior image RG is an image corresponding to the model of the refrigerator 1 used by the user P of the terminal device 3 .
  • the refrigerator interior image RG is divided into a plurality of divided areas BA.
  • the number of divided areas BA included in the refrigerator interior image RG is the number corresponding to the model of the refrigerator 1 used by the user P of the terminal device 3 .
  • the user P can grasp what kind of food is stored in the storage area of the refrigerator compartment 11 of the refrigerator 1 that is actually used. Therefore, the user P can more intuitively grasp what kind of food is stored in the refrigerator compartment 11 .
  • the application execution unit 301 displays the photographed food images FG switchably within the range of the upper limit number.
  • the application execution unit 301 receives memo input from the user P of the terminal device 3 for each photographed food image FG, and displays a memo input icon MIC indicating that the memo has been received in association with the photographed food image FG.
  • user P can grasp which food the memo was input for. Therefore, the user P can intuitively grasp what kind of food is stored in the refrigerator compartment 11, and can also grasp which food has a memo input.
  • the food management application 311 is an application program that can be installed on the terminal device 3.
  • the terminal device 3 also includes a touch panel 32 and an application execution unit 301 that displays an image captured by the drawer camera 204 .
  • the application execution unit 301 can display the upper case image JCG and the lower case image GCG, and accepts memo input from the user P of the terminal device 3 for each of the upper case image JCG and the lower case image GCG.
  • the application executing unit 301 displays a memo input icon MIC indicating that the memo has been input in association with the upper case image JCG.
  • the memo input icon MIC is displayed in association with the lower case image GCG.
  • control method of the terminal device 3 is capable of displaying the upper case image JCG and the lower case image GCG, and inputting a memo from the user P of the terminal device 3 to each of the upper case image JCG and the lower case image GCG. is received, and when a memo input is received from the user P for the upper case image JCG, a memo input icon MIC indicating that the memo input has been received is displayed in association with the upper case image JCG, and is displayed on the lower case image GCG. On the other hand, when a memo input from the user P is received, the memo input icon MIC is displayed in association with the lower case image GCG.
  • the application executing unit 301 displays the upper case image JCG superimposed on the lower case image GCG, and when receiving an operation to move the upper case image JCG from the user P, moves the first case image to display the lower case image JCG. Display GCG.
  • the lower case image GCG can be displayed in a manner in which the actual case CA is moved. Therefore, the user P can more intuitively grasp the food stored in the drawer 16A of the refrigerator 1, and the convenience for the user P can be improved.
  • the application execution unit 301 moves the memo input icon MIC together with the upper case image JCG.
  • the association between the upper case image JCG and the memo input icon MIC can be maintained. Therefore, even when the user P moves the upper case image JCG, the user P can appropriately grasp which image the memo input icon MIC relates to, and the convenience for the user P can be improved.
  • the case image CG to be displayed can be easily switched by operating the switch button, so the convenience for the user P can be improved.
  • the case image CG can be a photographed image that captures as much food as possible, so that the user P can intuitively grasp the food stored in the drawer 16A of the refrigerator 1, and the convenience of the user P is increased. can be improved.
  • the food management application 311 is an application program that can be installed on the terminal device 3.
  • the terminal device 3 that does not have the function of displaying the case image CG and the function of receiving the input of the memo for the displayed case image CG can be changed to these functions.
  • Embodiment 2 Next, Embodiment 2 will be described.
  • the same components as those of the food management system 1000 of the first embodiment are denoted by the same reference numerals, and detailed descriptions thereof are appropriately omitted.
  • FIG. 26 is a block diagram showing configurations of the terminal device 3 and the food management server 4 according to the second embodiment. 26 and 7, the server processor 400 according to the second embodiment executes the control program stored in the server storage unit 410 to control the server communication control unit 401 and the information processing unit 402. In addition, it functions as the food recognition unit 403 .
  • the food recognition unit 403 performs food recognition processing based on the photographed food image FG indicated by the food image data 4116 included in each of the first update information and the second update information.
  • the food recognition process is a process of recognizing food from the photographed food image FG and acquiring from the icon database an icon indicating the same type of food as the recognized food.
  • This icon database stores an icon representing the food for each food.
  • this icon will be referred to as a food icon.
  • the icon database may be stored in the food management server 4 or may be stored in an external device with which the food management server 4 can communicate.
  • the food icon corresponds to an example of the food image of the present disclosure.
  • the food recognition unit 403 recognizes food as follows.
  • the food recognition unit 403 identifies, from the images stored in the food image database, an image that has the highest degree of matching with the photographed food image FG indicated by the food image data 4116 included in the update information.
  • the food image database is a database in which image data is stored for each food. The degree of matching is determined based on feature amounts such as shape and color, for example. Then, the food recognition unit 403 recognizes that the food associated with the specified image is the food indicated by the food image data 4116 included in the update information.
  • the food recognition unit 403 transmits the food image data 4116 included in the update information to the device that stores the learned model, and acquires the food identification result from this device. Then, the food recognition unit 403 recognizes the food indicated by the acquired identification result as the food indicated by the photographed food image FG indicated by the food image data 4116 included in the update information.
  • the food recognition unit 403 After recognizing the food, the food recognition unit 403 acquires the food icon of the recognized food from the icon database.
  • the icon data of the food icon acquired by the food recognition unit 403 is appropriately stored instead of or together with the food image data 4116 included in the refrigerator compartment food management record RR. Further, in Embodiment 2, the icon data of the food icon acquired by the food recognition unit 403 is appropriately stored in place of or together with the food image data 4116 of the withdrawn food management record HR.
  • the app UI 320 can display food icons instead of photographed food images FG.
  • the position regulating member 205 has the mark 207 at the center of the main body 201 in the left-right direction.
  • the position of the mark 207 is not limited to the center of the main body 201 in the horizontal direction.
  • the position of the mark 207 may be other than the center of the main body 201 in the horizontal direction.
  • each mark is appropriately recorded on the center position recording paper CY so that the camera unit 2 whose position is adjusted with reference to the mark 207 can appropriately perform various detections.
  • the refrigerator interior image RG which is an image of the refrigerator compartment 11 viewed from the front when the left door 11A and the right door 11B are open, is exemplified as the refrigerator interior image of the present disclosure.
  • the refrigerator interior image of the present disclosure is not limited to this refrigerator interior image RG, and may be an image of a refrigerator viewed from the front when the one-sided door is open, or an image of the interior of one refrigerator.
  • the refrigerator 1 including a refrigerator compartment and a freezer compartment an image of the inside of the refrigerator 1 when the door is open may be viewed from the front.
  • the shooting range of the drawer camera 204 may be a range combining one or more arbitrary drawer-type storage rooms according to the types of drawer-type storage rooms on the screen displayed by the application UI 320 .
  • the main body 201 and the imaging member 202 included in the camera unit 2 may be configured separately.
  • the camera unit 2 may be configured to transmit the case image CG to the food management server 4 even if the case image CG has not been pulled out by a predetermined threshold.
  • the food management server 4 stores the case image CG in the case where more than a predetermined threshold has not been withdrawn, and provides the terminal device 3 with the case image CG.
  • the application execution unit 301 displays this case image CG on the application UI 320 so as to be replaceable with each of the upper case image JCG and the lower case image GCG.
  • the user P installs the camera unit 2 in the refrigerator 1, but the camera unit 2 may be installed in the refrigerator 1 before being shipped.
  • the motion sensor 212 was exemplified as the sensor of the present disclosure.
  • the sensor of the present disclosure is not limited to the motion sensor 212, and may be an illuminance sensor, an electrostatic sensor provided in the grip of the refrigerator 1, or the like.
  • refrigerator 1 and camera unit 2 can communicate, and refrigerator 1 transmits the detection value of the electrostatic sensor to camera unit 2 .
  • the terminal device 3 may store the refrigerator compartment food management record RR and the drawer food management record HR, and the food management application 311 may manage various information related to food detected by the camera unit 2 .
  • the application execution unit 301 appropriately updates the contents of each record stored by the terminal device 3 in the same manner as the food management server 4 described above.
  • the food management system 1000 does not need to have the food management server 4, and the system configuration is simplified.
  • the application execution unit 301 may function as the food recognition unit 403 .
  • the types of rooms formed in the main casing 10 of the refrigerator 1 are not limited to the refrigerator compartment 11, the ice making compartment 12, the fresh freezing compartment 13, the freezing compartment 14, and the vegetable compartment 15. Further types of rooms may be formed. Also, the number of doors provided at the front opening of the refrigerator compartment 11 may be one.
  • the number of cases provided by the drawers 14A and 15A is not limited to two, and may be more.
  • one case corresponds to the first case of the present disclosure
  • the lower case of this certain case corresponds to the second case of the present disclosure.
  • the camera unit processor 220, the terminal processor 300, and the server processor 400 may be composed of a single processor, or may be composed of multiple processors.
  • the program, terminal device, and terminal device control method according to the present invention can be used to display an image of a case in a drawer-type accommodation room.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Devices That Are Associated With Refrigeration Equipment (AREA)

Abstract

冷蔵庫の引出に収容されている食品をユーザーが直感的に把握でき、且つユーザーの利便性を向上できるプログラム、端末装置、及び端末装置の制御方法を提供する。　プログラムは、端末装置のコンピューターを、第１ケース、及び前記第１ケースの下段ケースである第２ケースを有する冷蔵庫の引出を撮影する引出用カメラの撮影画像を表示する表示制御部として機能させ、前記表示制御部は、第１ケース画像、及び第２ケース画像を表示可能であり、前記第１ケース画像及び前記第２ケース画像に対して、ユーザーからメモの入力を受け付け、前記第１ケース画像に対してメモの入力を受け付けた場合、メモ入力画像を前記第１ケース画像に関連付けて表示し、前記第２ケース画像に対してメモの入力を受け付けた場合、前記メモ入力画像を前記第２ケース画像に関連付けて表示する。

Description

プログラム、端末装置、及び端末装置の制御方法
　本開示は、プログラム、端末装置、及び端末装置の制御方法に関する。
　特許文献１は、冷蔵庫の開口部を通過する物体を検出した際に、冷蔵庫の上部に設置されたカメラが撮影を実行し、撮影結果に基づいて冷蔵庫に収容される食品の情報を冷蔵庫や端末装置が表示する技術を開示する。
特開２０１９－０７０４７６号公報
　本開示は、冷蔵庫の引出に収容されている食品をユーザーが直感的に把握でき、且つユーザーの利便性を向上できるプログラム、端末装置、及び端末装置の制御方法を提供する。
　本開示におけるプログラムは、表示部を備える端末装置のコンピューターを、第１ケース、及び前記第１ケースの下段ケースである第２ケースを有する冷蔵庫の引出を撮影する引出用カメラの撮影画像を表示する表示制御部として機能させ、前記表示制御部は、前記第１ケースの前記撮影画像である第１ケース画像、及び前記第２ケースの前記撮影画像である第２ケース画像を表示可能であり、前記第１ケース画像及び前記第２ケース画像の各々に対して、前記端末装置のユーザーからメモの入力を受け付け、前記第１ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力画像を前記第１ケース画像に関連付けて表示し、前記第２ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、前記メモ入力画像を前記第２ケース画像に関連付けて表示する。
　また、本開示における端末装置は、表示部と、第１ケース、及び前記第１ケースの下段ケースである第２ケースを有する冷蔵庫の引出を撮影する引出用カメラの撮影画像を表示する表示制御部と、を備え、前記表示制御部は、前記第１ケースの前記撮影画像である第１ケース画像、及び前記第２ケースの前記撮影画像である第２ケース画像を表示可能であり、前記第１ケース画像及び前記第２ケース画像の各々に対して、ユーザーからメモの入力を受け付け、前記第１ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力画像を前記第１ケース画像に関連付けて表示し、前記第２ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、前記メモ入力画像を前記第２ケース画像に関連付けて表示する。
　また、本開示における端末装置の制御方法は、第１ケース、及び前記第１ケースの下段ケースである第２ケースを有する冷蔵庫の引出を撮影する引出用カメラの撮影画像を表示する端末装置の制御方法であって、前記第１ケースの前記撮影画像である第１ケース画像、及び前記第２ケースの前記撮影画像である第２ケース画像を表示可能であり、前記第１ケース画像及び前記第２ケース画像の各々に対して、前記端末装置のユーザーからメモの入力を受け付け、前記第１ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力画像を前記第１ケース画像に関連付けて表示し、前記第２ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、前記メモ入力画像を前記第２ケース画像に関連付けて表示する。
　なお、この明細書には、２０２１年２月２５日に出願された日本国特許出願・特願２０２１－０２９０１３号の全ての内容が含まれるものとする。
　本開示におけるプログラム、端末装置、及び端末装置の制御方法は、引出が有するケースの撮影画像が表示され、且つ、この表示される撮影画像にユーザーがメモを入力できる。そのため、冷蔵庫の引出に収容されている食品をユーザーが直感的に把握でき、且つユーザーの利便性を向上できる。
図１は、実施の形態１における食品管理システムの構成を示す図 図２は、実施の形態１における冷蔵庫に設置されたカメラユニットを右方側から見た側面図 図３は、実施の形態１における主箱体の前端縁に当接している位置規制部材を左前方側から見た斜視図 図４は、実施の形態１における冷蔵庫及びカメラユニットを前方側から見た正面図 図５は、実施の形態１における冷蔵庫及びカメラユニットを右側から見た平面図 図６は、実施の形態１におけるカメラユニットの構成を示すブロック図 図７は、実施の形態１における端末装置及び食品管理サーバーの構成を示すブロック図 図８は、実施の形態１における冷蔵室管理データベースの一例を示す図 図９は、実施の形態１における冷蔵室庫内画像の一例を示す図 図１０は、実施の形態１における引出管理データベースの一例を示す図 図１１は、実施の形態１における調整用画面の一例を示す図 図１２は、実施の形態１における中央位置記録用紙の一例を示す図 図１３は、実施の形態１におけるカメラユニットの動作を示すフローチャート 図１４は、実施の形態１における食品管理システムの動作を示すフローチャート 図１５は、実施の形態１における入出庫判定画像を説明するための図 図１６は、実施の形態１における冷蔵室ホーム画面の一例を示す図 図１７は、実施の形態１におけるメモの入力手順を示す図 図１８は、実施の形態１における収容リスト画面の一例を示す図 図１９は、実施の形態１における新規追加リスト画面の一例を示す図 図２０は、実施の形態１における食品情報の追加手順を説明するための図 図２１は、実施の形態１における削除対象リスト画面の一例を示す図 図２２は、実施の形態１における食品管理システムの動作を示すフローチャート 図２３は、実施の形態１における野菜室ホーム画面の一例を示す図 図２４は、実施の形態１における食品画像リスト画面の一例を示す図 図２５は、実施の形態１における食品管理システムの動作を示すフローチャート 図２６は、実施の形態２における端末装置及び食品管理サーバーの構成を示すブロック図
　（本開示の基礎となった知見等）
　発明者らが本開示に想到するに至った当時、冷蔵庫に収容される食品のリストを端末装置が表示する技術があった。しかしながら、従来の技術では、食品のリストが単に表示されるだけでは野菜室や冷凍室等の引き出し式収容室にどのような食品が収容されているのかをユーザーが直感的に把握できない、と言う課題を発明者らは発見した。また、従来の技術では、食品のリストを単に表示させるだけではユーザーがこのリストを見ることしかできないため、ユーザーの利便性向上に改善の余地がある、と言う課題を発明者らは発見した。そして、発明者らは、これら課題を解決するために、本開示の主題を構成するに至った。
　そこで、本開示は、冷蔵庫の引出に収容されている食品をユーザーが直感的に把握でき、且つユーザーの利便性を向上できるプログラム、端末装置、及び端末装置の制御方法を提供する。
　以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。
　（実施の形態１）
　まず、実施の形態１について説明する。
　［１－１．構成］
　［１－１－１．食品管理システムの構成］
　図１は、食品管理システム１０００の構成を示す図である。
　食品管理システム１０００は、冷蔵庫１が収容する食品について、冷蔵庫１に収容された収容日時等を管理するシステムである。
　冷蔵庫１は、本開示の貯蔵庫の一例に対応する。食品は、本開示の物品の一例に対応する。
　食品管理システム１０００は、冷蔵庫１を備える。冷蔵庫１は、前面が開口した主箱体１０を備える。主箱体１０には、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５が形成されている。冷蔵室１１の前面の開口部には、回転式の左ドア１１Ａ及び右ドア１１Ｂが設けられている。製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５のそれぞれには、食品を収容する引出１２Ａ、１３Ａ、１４Ａ、１５Ａが設けられている。本開示の引出１４Ａ、１５Ａは、上段ケースＪＣＡと下段ケースＧＣＡとの２つのケースＣＡを備えている。
　上段ケースＪＣＡは、本開示の第１ケースの一例に対応する。下段ケースＧＣＡは、本開示の第２ケースの一例に対応する。
　以下の説明において、左ドア１１Ａ及び右ドア１１Ｂを区別しない場合、「ドア」といい「１１Ｃ」の符号を付す。また、以下の説明において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを区別しない場合、「引出」といい「１６Ａ」の符号を付す。
　食品管理システム１０００は、カメラユニット２を備える。カメラユニット２は、撮影を行い、撮影画像から冷蔵庫１に入出庫される食品を検出する装置である。カメラユニット２は、冷蔵庫１の主箱体１０の上面１０Ｂに設けられる。
　カメラユニット２は、本開示の撮影装置の一例に対応する。
　食品管理システム１０００は、端末装置３を備える。端末装置３は、例えばスマートフォンやタブレット端末である。端末装置３は、冷蔵庫１の食品を管理するためのアプリケーションプログラムがインストールされており、このアプリケーションプログラムの機能によって食品管理サーバー４と通信する。
　以下の説明では、このアプリケーションプログラムを、「食品管理アプリ」といい「３１１」の符号を付す。
　食品管理アプリ３１１は、本開示のプログラム及びアプリケーションプログラムの一例に対応する。
　図１では、在宅するユーザーＰを実線で示し、自宅Ｈから外出したユーザーＰを点線で示している。端末装置３は、在宅するユーザーＰに使用される場合、食品管理アプリ３１１の機能によって、通信装置５を介して、或いは通信装置５を介さずに、食品管理サーバー４と通信する。また、端末装置３は、自宅Ｈから外出したユーザーＰに使用され、且つ、通信装置５と通信接続を確立できない場合、食品管理アプリ３１１の機能によって、通信装置５を介すことなく食品管理サーバー４と通信する。
　通信装置５は、インターネット、電話網、その他の通信網を含むグローバルネットワークＧＮに接続し、グローバルネットワークＧＮに接続する食品管理サーバー４と通信する。通信装置５は、端末装置３をグローバルネットワークＧＮに接続するためのインターフェイス装置である。
　食品管理システム１０００は、食品管理サーバー４を備える。食品管理サーバー４は、冷蔵庫１の食品を管理するサーバー装置であり、グローバルネットワークＧＮに接続する。なお、各図では、食品管理サーバー４を、１つのブロックによって表現するが、これは必ずしも食品管理サーバー４が単一のサーバー装置により構成されることを意味していない。例えば、食品管理サーバー４は、処理内容が異なる複数のサーバー装置を含んで構成されたものでもよい。
　次に、カメラユニット２、端末装置３、及び食品管理サーバー４の構成について説明する。
　［１－１－２．カメラユニットの構成］
　図２－図４を参照してカメラユニット２について説明する。
　図２－図４では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示し、また、冷蔵庫１及びカメラユニット２の幅方向を示す。Ｙ軸は前後方向を示し、また、冷蔵庫１及びカメラユニット２の奥行き方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。
　図２は、冷蔵庫１に設置されたカメラユニット２を右方側から見た側面図である。図３は、主箱体１０の前端縁１０Ａに当接している位置規制部材２０５を左前方側から見た斜視図である。
　図２及び図３で示すように、カメラユニット２は、主箱体１０の上面１０Ｂに設置される外観箱状の本体２０１を備える。さらに、カメラユニット２は、本体２０１の前部上方に、本体２０１から前方に延在する撮影部材２０２を備える。撮影部材２０２は、冷蔵室用カメラ２０３及び引出用カメラ２０４を備える。冷蔵室用カメラ２０３及び引出用カメラ２０４の各々は、撮影部材２０２の下部において本体２０１より前方に設けられる。
　本体２０１は、主箱体１０の前端縁１０Ａに当接することで、冷蔵庫１の前後方向における撮影部材２０２の位置を規制する位置規制部材２０５を備える。位置規制部材２０５は、設置状態において本体２０１の底面２０６から下方に延びる位置規制片である。位置規制部材２０５は、本体２０１の前面において本体２０１の左右方向に延在し、本体２０１の左右方向の中央にマーク２０７を有する。このマーク２０７は、カメラユニット２の左右方向における中央の位置を示す。
　位置規制部材２０５の長さは、設置状態において、主箱体１０の上面１０Ｂから冷蔵庫１とドア１１Ｃとの間に設けられるパッキンまでの長さより短く形成されている。より詳細には、位置規制部材２０５の長さは、設置状態において、主箱体１０の上面１０Ｂから、ドア１１Ｃの内面上部において上面１０Ｂと略並行に設けられたドアパッキンまでの長さより短く形成されている。
　本体２０１は、内蔵するマグネット２０８によって、位置規制部材２０５により規制された位置で固定される。本体２０１を固定する手段は、マグネット２０８に限定されず、両面テープ等の他の手段でもよい。
　図４は、冷蔵庫１及びカメラユニット２を前方側からみた正面図である。図４に示す冷蔵庫１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である。図５は、冷蔵庫１及びカメラユニット２を右側からみた平面図である。図５に示す冷蔵庫１は、引出１５Ａが、開状態、すなわち引き出された状態である。図４及び図５に示すカメラユニット２は、冷蔵庫１の左右方向の略中央にマーク２０７が位置し、前端縁１０Ａに位置規制部材２０５が当接している。
　カメラユニット２は、冷蔵室用カメラ２０３及び引出用カメラ２０４を有する。
　冷蔵室用カメラ２０３は、冷蔵庫１の前上方から下方を撮影することで、冷蔵室１１に入出庫される食品を撮影する。
　例えば、冷蔵室用カメラ２０３の撮影範囲は、前面視において、図４に示す範囲Ａ１を含む。範囲Ａ１は、ドア１１Ｃが開状態において、ドア１１Ｃに設けられるドアポケット１１１、及び冷蔵室１１の前面の開口部を含む範囲である。また、冷蔵室用カメラ２０３の撮影範囲は、側面視において、図５に示す範囲Ａ３を含む。範囲Ａ３は、前後方向において、開状態のドア１１Ｃから、棚１１２の前端部までを含む範囲であり、且つ、上下方向において冷蔵室１１の開口部を含む範囲である。
　引出用カメラ２０４は、冷蔵庫１の前上方から下方を撮影することで、引き出し式収容室に入出庫される食品を撮影する。
　例えば、引出用カメラ２０４の撮影範囲は、前面視において、図４に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫１の前面視において、引出１６Ａを含む範囲である。また、引出用カメラ２０４の撮影範囲は、側面視において、図５に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、最も引き出された状態の引出１６Ａを含む範囲である。
　カメラユニット２は、左ドア用測距センサー２０９、右ドア用測距センサー２１０、及び引出用測距センサー２１１を有する。
　左ドア用測距センサー２０９は、左ドア１１Ａの開閉状態を検出するための測距センサーである。左ドア用測距センサー２０９は、左ドア１１Ａの開閉状態として、左ドア１１Ａとの離間距離を検出する。
　右ドア用測距センサー２１０は、右ドア１１Ｂの開閉状態を検出するための測距センサーである。右ドア用測距センサー２１０は、右ドア１１Ｂの開閉状態として、右ドア１１Ｂとの離間距離を検出する。
　引出用測距センサー２１１は、引出１６Ａの開閉状態を検出するための測距センサーである。なお、引出１６Ａが開状態であるとは、対応する引き出し式収容室から引き出された状態である。また、引出１６Ａが閉状態であるとは、対応する引き出し式収容室に収容された状態である。引出用測距センサー２１１は、引出１６Ａの開閉状態として、引出１６Ａとの離間距離を検出する。
　本実施の形態では、引出用測距センサー２１１は、引出１４Ａ、１５Ａの各々の開閉状態を検出する。
　カメラユニット２は、人感センサー２１２を有する。人感センサー２１２は、検出値をカメラユニット制御部２０に出力する。人感センサー２１２は、撮影部材２０２の所定の位置に設けられる。
　人感センサー２１２は、本開示の「センサー」の一例に対応する。
　なお、図４及び図５における各センサー及び各カメラの並び順及び設置位置は、カメラユニット２の説明便宜のための図示されたものであり、これらの並び順及び設置位置は、図４及び図５が示す並び順及び設置位置に限定されない。
　図６は、カメラユニット２の構成を示すブロック図である。
　カメラユニット２は、カメラユニット制御部２０、カメラユニット通信部２１、センサー部２２、撮影部２３、及び電力供給部２４を備える。
　カメラユニット制御部２０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-processing unit）等のプロセッサーであるカメラユニットプロセッサー２２０、及びカメラユニット記憶部２３０を備える。カメラユニット制御部２０は、カメラユニットプロセッサー２２０が、カメラユニット記憶部２３０が記憶する制御プログラムを読み出して実行することにより、カメラユニット２の各部を制御する。カメラユニットプロセッサー２２０は、カメラユニット記憶部２３０に記憶された制御プログラムを実行することで、カメラユニット通信制御部２２１、検出値処理部２２２、撮影制御部２２３、録画制御部２２４、及び食品検出部２２５として機能する。
　カメラユニット記憶部２３０は、カメラユニットプロセッサー２２０が実行するプログラムや、カメラユニットプロセッサー２２０に処理されるデータを記憶するメモリーを備える。カメラユニット記憶部２３０は、カメラユニットプロセッサー２２０が実行する制御プログラム、カメラユニット２の識別情報であるカメラユニットＩＤ４１１２、その他の各種データを記憶する。カメラユニット記憶部２３０は、不揮発性の記憶領域を有する。また、カメラユニット記憶部２３０は、揮発性の記憶領域を備え、カメラユニットプロセッサー２２０のワークエリアを構成してもよい。
　カメラユニット通信部２１は、所定の通信規格に従った通信回路やコネクタ等を備える通信インターフェイスであり、カメラユニット制御部２０の制御で食品管理サーバー４及び端末装置３と通信する。本実施の形態では、カメラユニット通信部２１が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。
　センサー部２２は、左ドア用測距センサー２０９、右ドア用測距センサー２１０、引出用測距センサー２１１、及び人感センサー２１２を備え、センサーごとに検出値をカメラユニット制御部２０に出力する。
　撮影部２３は、冷蔵室用カメラ２０３と引出用カメラ２０４とを備える。撮影部２３は、冷蔵室用カメラ２０３及び引出用カメラ２０４の各々の撮影結果をカメラユニット制御部２０に出力する。冷蔵室用カメラ２０３及び引出用カメラ２０４は、動画像を撮影する。
　以下、冷蔵室用カメラ２０３及び引出用カメラ２０４を区別しない場合、「カメラ」といい「２１３」の符号を付す。
　電力供給部２４は、電力供給回路等のハードウェアを備え、カメラユニット２の各部に電力を供給する。本実施の形態では、カメラユニット２の電源ケーブル７が商用交流電源８に接続されており、電力供給部２４は、外部の商用交流電源８から供給された電力に基づいて、カメラユニット２の各々に電力を供給する。
　なお、電力供給部２４に電力を供給する供給元は、外部の商用交流電源８に限定されず、冷蔵庫１或いはバッテリーでもよい。供給元が前者の場合、電力供給部２４及び冷蔵庫１は、ＵＳＢ給電が可能な規格に従ったポート等のハードウェアを備える。そして、供給元が前者の場合では、カメラユニット２のＵＳＢケーブルが冷蔵庫１のＵＳＢポートに接続し、ＵＳＢケーブルを介して冷蔵庫１が電力供給部２４に電力を供給する。供給元が後者の場合、カメラユニット２は、バッテリーを備える。
　上述したように、カメラユニット制御部２０は、カメラユニット通信制御部２２１、検出値処理部２２２、撮影制御部２２３、録画制御部２２４、及び食品検出部２２５として機能する。
　食品検出部２２５は、物品検出部の一例に対応する。
　カメラユニット通信制御部２２１は、カメラユニット通信部２１を介して、食品管理サーバー４と通信する。
　検出値処理部２２２は、センサー部２２から出力される各センサーの検出値に基づいて、左ドア１１Ａ、右ドア１１Ｂ、引出１４Ａ、１５Ａの各々について開状態か閉状態かを判定する。検出値処理部２２２は、左ドア１１Ａ、右ドア１１Ｂのいずれかが開状態であると判定した場合、ドア１１Ｃが開状態であることを示すドア開状態情報を、録画制御部２２４及び食品検出部２２５に出力する。また、検出値処理部２２２は、左ドア１１Ａ、右ドア１１Ｂのいずれも閉状態であると判定した場合、ドア１１Ｃが閉状態であることを示すドア閉状態情報を、録画制御部２２４及び食品検出部２２５に出力する。検出値処理部２２２は、引出１４Ａ、１５Ａのいずれかが開状態であると判定した場合、引出１４Ａ、１５Ａのいずれかが開状態であることを示す引出開状態情報を、録画制御部２２４及び食品検出部２２５に出力する。また、検出値処理部２２２は、引出１４Ａ、１５Ａのいずれも閉状態であると判定した場合、引出１４Ａ、１５Ａが閉状態であることを示す引出閉状態情報を、録画制御部２２４及び食品検出部２２５に出力する。
　また、検出値処理部２２２は、センサー部２２から出力される人感センサー２１２の検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判定する。検出値処理部２２２は、冷蔵庫１の周辺に人が存在すると判定した場合、人が存在することを示す存在有無情報を、撮影制御部２２３に出力する。また、検出値処理部２２２は、冷蔵庫１の周辺に人が存在しないと判定した場合、人が存在しないことを示す存在有無情報を、撮影制御部２２３に出力する。
　撮影制御部２２３は、人が存在することを示す存在有無情報を検出値処理部２２２が出力した場合、冷蔵室用カメラ２０３及び引出用カメラ２０４に撮影を開始させる。撮影制御部２２３は、人が存在しないことを示す存在有無情報を検出値処理部２２２が出力した場合、冷蔵室用カメラ２０３及び引出用カメラ２０４に撮影を終了させる。
　録画制御部２２４は、ドア開状態情報を検出値処理部２２２が出力した場合、冷蔵室用カメラ２０３の撮影結果の録画を開始する。録画制御部２２４は、ドア閉状態情報を検出値処理部２２２が出力した場合、開始した冷蔵室用カメラ２０３の撮影結果の録画を終了する。また、録画制御部２２４は、引出開状態情報を検出値処理部２２２が出力した場合、引出用カメラ２０４の撮影結果の録画を開始する。録画制御部２２４は、引出閉状態情報を検出値処理部２２２が出力した場合、開始した引出用カメラ２０４の撮影結果の録画を終了する。録画制御部２２４は、録画を終了すると、録画を開始してから終了するまでの動画像を１の録画ファイル２３１として生成し、カメラユニット記憶部２３０に記憶させる。
　食品検出部２２５は、カメラユニット記憶部２３０に記憶された録画ファイル２３１に基づいて、冷蔵庫１に入出庫された食品を検出する。
　図７は、端末装置３及び食品管理サーバー４の構成を示すブロック図である。
　［１－１－３．食品管理サーバーの構成］
　まず、食品管理サーバー４の構成について説明する。
　食品管理サーバー４は、サーバー制御部４０及びサーバー通信部４１を備える。
　サーバー制御部４０は、ＣＰＵやＭＰＵ等のプロセッサーであるサーバープロセッサー４００、及びサーバー記憶部４１０を備える。サーバー制御部４０は、サーバープロセッサー４００が、サーバー記憶部４１０に記憶された制御プログラムを読み出して実行することにより、食品管理サーバー４の各部を制御する。サーバープロセッサー４００は、サーバー記憶部４１０が記憶する制御プログラムを実行することで、サーバー通信制御部４０１及び情報処理部４０２として機能する。
　サーバー記憶部４１０は、サーバープロセッサー４００が実行するプログラムや、サーバープロセッサー４００により処理されるデータを記憶するメモリーを有する。サーバー記憶部４１０は、サーバープロセッサー４００が実行する制御プログラム、冷蔵室食品管理データベース４１１、引出食品管理データベース４１２、その他の各種データを記憶する。サーバー記憶部４１０は、不揮発性の記憶領域を有する。サーバー記憶部４１０は、揮発性の記憶領域を備え、サーバープロセッサー４００のワークエリアを構成してもよい。
　図８は、冷蔵室食品管理データベース４１１が格納する１件のレコードの一例を示す図である。
　冷蔵室食品管理データベース４１１は、冷蔵室１１が収容する食品に係る各種情報を格納するデータベースである。
　以下の説明において、冷蔵室食品管理データベース４１１が格納する１件のレコードを、「冷蔵室食品管理レコード」といい「ＲＲ」の符号を付す。
　冷蔵室食品管理レコードＲＲは、アカウントＩＤ４１１１、カメラユニットＩＤ４１１２、冷蔵庫機種情報４１１３、冷蔵室庫内画像データ４１１４、入出庫有無情報４１１５、食品画像データ４１１６、収容日時情報４１１７、分割エリア番号４１１８、メモ入力有無情報４１１９、メモ情報４１３０、削除情報４１３１、及び削除日時情報４１３２を有する。
　アカウントＩＤ４１１１は、食品管理アプリ３１１を利用するユーザーＰに割り当てられたアカウントを識別する識別情報である。
　冷蔵庫機種情報４１１３は、同じレコードで対応付くアカウントＩＤ４１１１が示すユーザーＰが使用する冷蔵庫１の機種を示す情報である。
　冷蔵室庫内画像データ４１１４は、冷蔵庫１の冷蔵室１１の庫内を示す画像の画像データである。以下、冷蔵室１１の庫内を示す画像を、「冷蔵室庫内画像」といい「ＲＧ」の符号を付す。冷蔵室庫内画像データ４１１４は、同じレコードで対応付く冷蔵庫機種情報４１１３が示す機種に対応した冷蔵室庫内画像ＲＧを示す。
　冷蔵室庫内画像ＲＧは、庫内画像の一例に対応する。
　図９は、冷蔵室庫内画像ＲＧの一例を示す図である。
　図９に示す冷蔵室庫内画像ＲＧは、左ドアポケット画像ＲＧ１、冷蔵室前面画像ＲＧ２、及び右ドアポケット画像ＲＧ３を含む。図９に示す冷蔵室庫内画像ＲＧは、左ドアポケット画像ＲＧ１、冷蔵室前面画像ＲＧ２、及び右ドアポケット画像ＲＧ３が、図中左からこの順に並んでいる。左ドアポケット画像ＲＧ１は、左ドア１１Ａに形成されたドアポケット１１１を示す画像である。冷蔵室前面画像ＲＧ２は、左ドア１１Ａと右ドア１１Ｂとが開状態である場合の冷蔵室１１を正面から見た画像である。右ドアポケット画像ＲＧ３は、右ドア１１Ｂに形成されたドアポケット１１１を示す画像である。
　冷蔵室庫内画像ＲＧは、画像領域が複数のエリアに分割されている。この各エリアを、「分割エリア」といい「ＢＡ」の符号を付す。図９で示す冷蔵室庫内画像ＲＧは、１５の分割エリアＢＡに分割されている。分割エリアＢＡの各々には、互いに異なる番号が割り当てられている。以下の説明では、この番号を分割エリア番号といい「４１１８」の符号を付す。なお、図９では、どの分割エリアＢＡにどの分割エリア番号が割り当てられているかを便宜的に図示しており、後述する冷蔵室ホーム画面ＧＭ２に表示される冷蔵室庫内画像ＲＧにおいては分割エリア番号４１１８が表示されない。
　図８の説明に戻り、入出庫有無情報４１１５は、新規の入出庫が有ったか否かを示す情報である。
　食品画像データ４１１６は、食品の画像データである。本実施の形態において、この食品画像データ４１１６が示す画像は、冷蔵室用カメラ２０３の撮影画像である。
　収容日時情報４１１７は、食品が冷蔵庫１に収容された収容日時を示す情報である。
　冷蔵室食品管理レコードＲＲは、食品画像データ４１１６ごとに分割エリア番号４１１８を有する。
　メモ入力有無情報４１１９は、メモの入力が有るか無いかを示す情報である。
　メモ情報４１３０は、入力されたメモを示す情報である。
　削除情報４１３１は、対応付くサブレコードが、冷蔵室食品管理レコードＲＲから削除対象のサブレコードであるか否かを示す情報である。サブレコードとは、冷蔵室食品管理レコードＲＲに格納されるレコードであって、食品画像データ４１１６、収容日時情報４１１７、分割エリア番号４１１８、メモ入力有無情報４１１９、及びメモ情報４１３０を有する。
　削除日時情報４１３２は、対応付くサブレコードが、削除対象とされた日時を示す情報である。後述する情報処理部４０２は、削除情報４１３１が削除対象を示す場合、所定のタイミングで、サブレコードと、このサブレコードに対応付く削除情報４１３１及び削除日時情報４１３２とを、冷蔵室食品管理レコードＲＲから削除する。
　図１０は、引出食品管理データベース４１２が格納する１件のレコードを示す図である。
　引出食品管理データベース４１２は、引き出し式収容室の食品に係る各種情報を格納するデータベースである。なお、引出食品管理データベース４１２は、図２３－図２５を参照した説明においては野菜室１５に係わるデータベースである。
　以下の説明において、引出食品管理データベース４１２が格納する１件のレコードを、「引出食品管理レコード」といい「ＨＲ」の符号を付す。
　引出食品管理レコードＨＲは、アカウントＩＤ４１１１、カメラユニットＩＤ４１１２、更新日時情報４１２１、上段ケース情報４１２２、及び下段ケース情報４１２４を有する。
　更新日時情報４１２１は、引出食品管理レコードＨＲの内容を更新した日時を示す情報である。
　上段ケース情報４１２２は、上段ケース画像データ４１２３、食品画像データ４１１６、メモ入力有無情報４１１９、及びメモ情報４１３０を有する。
　上段ケース画像データ４１２３は、上段ケースＪＣＡの画像である上段ケース画像ＪＣＧの画像データである。上段ケース画像ＪＣＧは、引出用カメラ２０４の撮影画像である。
　上段ケース画像ＪＣＧは、本開示の第１ケース画像の一例に対応する。
　本実施の形態において、上段ケース情報４１２２が有する食品画像データ４１１６が示す画像は、上段ケース画像ＪＣＧから切り出された画像である。
　下段ケース情報４１２４は、下段ケース画像データ４１２５、食品画像データ４１１６、メモ入力有無情報４１１９、及びメモ情報４１３０を有する。
　下段ケース画像データ４１２５は、下段ケースＧＣＡの画像である下段ケース画像ＧＣＧの画像データである。下段ケース画像ＧＣＧは、引出用カメラ２０４の撮影画像である。
　下段ケース画像ＧＣＧは、本開示の第２ケース画像の一例に対応する。
　以下、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧを区別しない場合、「ケース画像」といい「ＣＧ」の符号を付す。
　本実施の形態において、下段ケース情報４１２４が有する食品画像データ４１１６が示す画像は、下段ケース画像ＧＣＧから切り出された画像である。
　図７の説明に戻り、サーバー通信部４１は、所定の通信規格に従った無線回路やアンテナ等の通信に係わる構成を備える通信インターフェイスであり、所定の通信規格に従ってグローバルネットワークＧＮと接続する機器と通信する。本実施形態においてサーバー通信部４１は、カメラユニット２及び端末装置３と通信する。
　上述したように、サーバー制御部４０は、サーバー通信制御部４０１及び情報処理部４０２として機能する。
　サーバー通信制御部４０１は、サーバー通信部４１を介して、カメラユニット２及び端末装置３と通信する。
　情報処理部４０２は、カメラユニット２及び端末装置３からサーバー通信制御部４０１が受信した情報に基づいて、各種の情報処理を行う。
　［１－１－４．端末装置の構成］
　次に、端末装置３の機能的構成について説明する。
　端末装置３は、端末制御部３０、端末通信部３１、及びタッチパネル３２を備える。
　タッチパネル３２は、表示部の一例に対応する。
　端末制御部３０は、ＣＰＵやＭＰＵ等のプロセッサーである端末プロセッサー３００、及び端末記憶部３１０を備える。端末制御部３０は、端末プロセッサー３００が、端末記憶部３１０に記憶された制御プログラムを読み出して実行することにより、端末装置３の各部を制御する。端末装置３には、食品管理アプリ３１１がインストールされている。端末プロセッサー３００は、食品管理アプリ３１１を読み出して実行することで、アプリ実行部３０１として機能する。
　端末プロセッサー３００は、本開示のコンピューターの一例に対応する。また、アプリ実行部３０１は、本開示の表示制御部の一例に対応する。
　端末記憶部３１０は、端末プロセッサー３００が実行するプログラムや、端末プロセッサー３００により処理されるデータを記憶するメモリーを有する。端末記憶部３１０は、端末プロセッサー３００が実行する制御プログラム、食品管理アプリ３１１、アカウントＩＤ４１１１、その他の各種データを記憶する。端末記憶部３１０は、不揮発性の記憶領域を有する。また、端末記憶部３１０は、揮発性の記憶領域を備え、端末プロセッサー３００のワークエリアを構成してもよい。
　端末通信部３１は所定の通信規格に従った無線回路やアンテナ等の構成を備える通信インターフェイスであり、所定の通信規格に従って、グローバルネットワークＧＮと接続する機器と通信する。本開示では、端末通信部３１が使用する通信規格として無線通信規格を例示する。
　タッチパネル３２は、液晶表示パネル等の表示パネルと、表示パネルに重ねて、或いは一体に設けられたタッチセンサーとを備える。
　上記の通り、端末制御部３０は、アプリ実行部３０１として機能する。
　アプリ実行部３０１は、端末通信部３１を介して、食品管理サーバー４と各種情報を送受信する。
　また、アプリ実行部３０１は、冷蔵庫１の食品の管理に係るユーザーインターフェースを、タッチパネル３２に表示させる。以下の説明において、このユーザーインターフェースを、「アプリＵＩ」といい「３２０」の符号を付す。アプリ実行部３０１は、アプリＵＩ３２０をタッチパネル３２に表示させることで、冷蔵庫１の食品に係る各種情報をユーザーＰに提供し、また、冷蔵庫１の食品に係る各種入力をユーザーＰから受け付ける。
　［１－２．動作］
　次に、食品管理システム１０００に係わる各部の動作について説明する。
　［１－２－１．カメラユニットの設置］
　カメラユニット２は、冷蔵庫１と別体である。そのため、カメラユニット２は、ユーザーＰによって冷蔵庫１の上面１０Ｂに設置される。上述したように位置規制部材２０５が、冷蔵庫１の前後方向におけるカメラユニット２の位置を規制するため、ユーザーＰは、カメラユニット２の設置を行う際、冷蔵庫１の左右方向における位置を調整する。
　以下、冷蔵庫１の左右方向におけるカメラユニット２の位置調整の方法を複数例示する。
　［１－２－１－１．第１の位置調整］
　第１の位置調整では、ユーザーＰがアプリＵＩ３２０を用いる。
　第１の位置調整では、アプリ実行部３０１は、調整用画面ＧＭ１のアプリＵＩ３２０をタッチパネル３２に表示させる。
　図１１は、調整用画面ＧＭ１の一例を示す図である。
　調整用画面ＧＭ１は、撮影結果表示領域ＨＡ１が設けられる。撮影結果表示領域ＨＡ１は、矩形の領域であり、冷蔵室用カメラ２０３及び引出用カメラ２０４のいずれかの撮影結果を表示する領域である。撮影結果表示領域ＨＡ１には、図中の左右方向における略中央に、上下方向に延びる線Ｌ１が設けられている。
　調整用画面ＧＭ１は、調整方法情報Ｊ１を含む。調整方法情報Ｊ１は、撮影結果表示領域ＨＡ１に写る冷蔵庫１の左右方向の中心が、撮影結果表示領域ＨＡ１に設けられた線Ｌ１となるように位置調整することを促す。
　ユーザーＰは、調整方法情報Ｊ１が示す調整方法に従って、カメラユニット２を冷蔵庫１に設置する。これにより、カメラユニット２は、冷蔵室用カメラ２０３及び引出用カメラ２０４の各々が、冷蔵庫１に入出庫される食品を撮影範囲に含ませることができるようになる。また、カメラユニット２は、具備する各測距センサーが、対応するドア１１Ｃ又は引出１６Ａの開閉を検出できるようになる。
　第１の位置調整においては、カメラユニット２が、冷蔵室用カメラ２０３及び引出用カメラ２０４のいずれかの撮影結果を端末装置３に送信する。なお、第１の位置調整において、カメラユニット２と端末装置３とは、食品管理サーバー４を介し、或いは、近距離無線通信等によって直接通信する。
　カメラユニット２のカメラユニット通信制御部２２１は、冷蔵室用カメラ２０３及び引出用カメラ２０４のいずれかの撮影結果を、端末装置３に送信する。そして、アプリ実行部３０１は、受信した撮影結果を撮影結果表示領域ＨＡ１に表示する。
　［１－２－１－２．第２の位置調整］
　第２の位置調整では、ユーザーＰが中央位置記録用紙ＣＹを用いる。
　図１２は、中央位置記録用紙ＣＹの一例を示す図である。
　中央位置記録用紙ＣＹは、冷蔵庫１の左右方向における中央の位置を示す中央マークＭＲ２が記録された用紙である。中央位置記録用紙ＣＹには、中央マークＭＲ２以外に、冷蔵庫１の左右方向における左端の位置を示す左端マークＭＲ１、及び冷蔵庫１の左右方向における右端の位置を示す右端マークＭＲ３が記録されている。
　中央位置記録用紙ＣＹは、冷蔵庫１と共に同梱されユーザーＰに届く。なお、カメラユニット２は、中央位置記録用紙ＣＹ及び冷蔵庫１と共に同梱されていてもよいし、同梱されていなくてもよい。冷蔵庫１と共に同梱された中央位置記録用紙ＣＹは、左端マークＭＲ１から右端マークＭＲ３までの長さが、この冷蔵庫１の幅に対応した長さである。
　第２の位置調整において、ユーザーＰは、中央位置記録用紙ＣＹを用いて、冷蔵庫１の左右方向における中央の位置がどこであるかを把握する。例えば、ユーザーＰは、左端マークＭＲ１が冷蔵庫１の左端、右端マークＭＲ３が冷蔵庫１の右端となるように、中央位置記録用紙ＣＹを冷蔵庫１に貼り付け、中央マークＭＲ２を目印として冷蔵庫１の左右方向における中央の位置を把握する。そして、ユーザーＰは、カメラユニット２の位置規制部材２０５が有するマーク２０７が、把握した中央の位置となるように、カメラユニット２の位置を調整する。
　第２の位置調整によって、カメラユニット２は、第１の位置調整と同様に、各種検出ができるようになる。
　［１－２－１－３．第３の位置調整］
　第３の位置調整では、冷蔵庫１の所定の位置に、冷蔵庫１の左右方向における中央の位置を示すマークが付されている。第３の位置調整では、位置規制部材２０５が有するマーク２０７と、冷蔵庫１に付されたマークとを用いる。
　第３の位置調整において、ユーザーＰは、冷蔵庫１の左右方向において、冷蔵庫１に付されたマークの位置と、位置規制部材２０５が有するマーク２０７の位置とが一致するように、カメラユニット２を位置調整する。
　第３の位置調整によって、カメラユニット２は、第１の位置調整と同様に、各種検出ができるようになる。
　次に、カメラユニット２が冷蔵庫１に設置された後の食品管理システム１０００の動作について説明する。
　［１－２－２．録画に係わる動作］
　まず、録画に係わる動作について説明する。
　図１３は、カメラユニット２の動作を示すフローチャートＦＡである。
　図１３に示す動作では、センサー部２２が各センサーの検出値を、カメラユニット制御部２０に出力している。そして、図１３に示す動作では、検出値処理部２２２がセンサー部２２から受信した各種の検出値に基づいて処理を実行している。
　検出値処理部２２２は、人感センサー２１２の検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判別する（ステップＳＡ１）。
　検出値処理部２２２は、冷蔵庫１の周辺に人が存在すると判別した場合（ステップＳＡ１：ＹＥＳ）、人が存在することを示す存在有無情報を、撮影制御部２２３に出力する（ステップＳＡ２）。
　撮影制御部２２３は、検出値処理部２２２から、人が存在することを示す存在有無情報が入力されると、冷蔵室用カメラ２０３及び引出用カメラ２０４に撮影を開始させる（ステップＳＡ３）。
　次いで、検出値処理部２２２は、センサー部２２から出力される各種センサーの検出値に基づいて、左ドア１１Ａ、右ドア１１Ｂ、引出１４Ａ、１５Ａのいずれかが開状態になったか否かを判別する（ステップＳＡ４）。
　検出値処理部２２２は、左ドア１１Ａ、右ドア１１Ｂ、引出１４Ａ、１５Ａのいずれも開状態になっていないと判別した場合（ステップＳＡ４：ＮＯ）、ステップＳＡ１６の処理を行う。
　検出値処理部２２２は、左ドア１１Ａ、右ドア１１Ｂ、引出１４Ａ、１５Ａのいずれかが開状態になったと判別した場合（ステップＳＡ４：ＹＥＳ）、ドア１１Ｃが開状態になったか、引出１４Ａ、１５Ａのいずれかが開状態になったかを判別する（ステップＳＡ５）。
　検出値処理部２２２は、ドア１１Ｃが開状態になったと判別した場合（ステップＳＡ５：ドア）、ドア開状態情報を録画制御部２２４に出力する（ステップＳＡ６）。
　次いで、録画制御部２２４は、検出値処理部２２２からドア開状態情報が入力されると、冷蔵室用カメラ２０３の撮影結果の録画を開始する（ステップＳＡ７）。
　次いで、検出値処理部２２２は、ドア１１Ｃが閉状態になったか否か判別する（ステップＳＡ８）。
　検出値処理部２２２は、ドア１１Ｃが閉状態になったと判別した場合（ステップＳＡ８：ＹＥＳ）、ドア閉状態情報を録画制御部２２４に出力する（ステップＳＡ９）。
　次いで、録画制御部２２４は、検出値処理部２２２からドア閉状態情報が入力されると、冷蔵室用カメラ２０３の撮影結果の録画を終了する（ステップＳＡ１０）。これにより、カメラユニット記憶部２３０には、冷蔵室用カメラ２０３の録画ファイル２３１が１つ生成される。
　ステップＳＡ５の説明に戻り、検出値処理部２２２は、引出１４Ａ、１５Ａのいずれかが開状態になったと判別した場合（ステップＳＡ５：引出）、引出開状態情報を録画制御部２２４に出力する（ステップＳＡ１１）。
　次いで、録画制御部２２４は、検出値処理部２２２から引出閉状態情報が入力されると、引出用カメラ２０４の撮影結果の録画を開始する（ステップＳＡ１２）。
　次いで、検出値処理部２２２は、開いていた引出１４Ａ、１５Ａのいずれかが閉状態になったか否か判別する（ステップＳＡ１３）。
　検出値処理部２２２は、開いていた引出１４Ａ、１５Ａのいずれかが閉状態になったと判別した場合（ステップＳＡ１３：ＹＥＳ）、引出閉状態情報を録画制御部２２４に出力する（ステップＳＡ１４）。
　次いで、録画制御部２２４は、検出値処理部２２２から引出閉状態情報が入力されると、引出用カメラ２０４の撮影結果の録画を終了する（ステップＳＡ１５）。これにより、カメラユニット記憶部２３０には、引出用カメラ２０４の録画ファイル２３１が１つ生成される。
　検出値処理部２２２は、冷蔵庫１の周辺に人が存在するか否かを判別する（ステップＳＡ１６）。
　検出値処理部２２２は、冷蔵庫１の周辺に人が存在すると判別した場合（ステップＳＡ１６：ＹＥＳ）、再度、ステップＳＡ４以降の処理を行う。
　一方、検出値処理部２２２は、冷蔵庫１の周辺に人が存在しないと判別した場合（ステップＳＡ１６：ＮＯ）、人が存在しないことを示す存在有無情報を、撮影制御部２２３に出力する（ステップＳＡ１７）。
　撮影制御部２２３は、検出値処理部２２２から、人が存在しないことを示す存在有無情報が入力されると、冷蔵室用カメラ２０３及び引出用カメラ２０４に撮影を終了させる（ステップＳＡ１８）。
　［１－２－３．食品の検出に係わる動作］
　次に、食品の検出に係わる動作について説明する。
　図１４は、食品管理システム１０００の動作を示すフローチャートである。
　図１４において、フローチャートＦＢはカメラユニット２の動作を示し、フローチャートＦＣは食品管理サーバー４の動作を示す。
　カメラユニット２の食品検出部２２５は、カメラユニット記憶部２３０に録画ファイル２３１が記憶されたか否かを判別する（ステップＳＢ１）。
　食品検出部２２５は、カメラユニット記憶部２３０に、録画ファイル２３１が記憶されたと判別した場合（ステップＳＢ１：ＹＥＳ）、記憶された録画ファイル２３１が、冷蔵室用カメラ２０３の録画ファイル２３１か引出用カメラ２０４の録画ファイル２３１かを判別する（ステップＳＢ２）。ステップＳＢ２の判別は、検出値処理部２２２が出力する情報により判別する。
　食品検出部２２５は、冷蔵室用カメラ２０３の録画ファイル２３１であると判別した場合（ステップＳＢ２：冷蔵室用カメラ）、記憶された録画ファイル２３１に基づいて、食品を検出する（ステップＳＢ３）。
　ステップＳＢ３において、例えば、食品検出部２２５は、形状や色等の特徴量に基づいて、冷蔵室用カメラ２０３の録画ファイル２３１から食品を検出する。食品検出に必要なデータは、食品検出部２２５が取得可能な記憶領域に記憶されている。
　食品検出部２２５は、冷蔵室用カメラ２０３の録画ファイル２３１から食品を検出できたか否かを判別する（ステップＳＢ４）。
　食品検出部２２５は、冷蔵室用カメラ２０３の録画ファイル２３１から食品を検出できなかったと判別した場合（ステップＳＢ４：ＮＯ）、処理をステップＳＢ１０に移行させる。
　一方、食品検出部２２５は、冷蔵室用カメラ２０３の録画ファイル２３１から食品を検出できた場合（ステップＳＢ４：ＹＥＳ）、入出庫判定処理を行う（ステップＳＢ５）。
　入出庫判定処理は、ステップＳＢ３で検出した食品が、冷蔵庫１に入庫された食品であるか冷蔵庫１から出庫された食品であるかを判定する処理である。入出庫判定処理では、冷蔵室用カメラ２０３の録画ファイル２３１が示す動画像に対して、入出庫判定画像ＨＧを重畳させる。
　図１５は、入出庫判定画像ＨＧを説明するための図である。
　図１５に示す入出庫判定画像ＨＧは、ユーザーＰが卵パックを冷蔵庫１に入庫させる動画像に重畳された場合を示している。
　入出庫判定画像ＨＧは、境界線Ｌ２が設けられている。
　境界線Ｌ２は、境界線Ｌ２１、Ｌ２２、Ｌ２３、Ｌ２４、Ｌ２５を有する。境界線Ｌ２１は、入出庫判定画像ＨＧの図中上部において、入出庫判定画像ＨＧの図中左端から右方に延びる線である。境界線Ｌ２２は、境界線Ｌ２１の右端と境界線Ｌ２３の左端を結ぶ線である。境界線Ｌ２３は、入出庫判定画像ＨＧの上下方向における略中央において、境界線Ｌ２１の右端の左右方向における位置から右方に延びる線である。境界線Ｌ２４は、境界線Ｌ２３の右端と境界線Ｌ２４の左端を結ぶ線である。境界線Ｌ２５は、入出庫判定画像ＨＧの上部において、境界線Ｌ２３の右端の左右方向における位置から入出庫判定画像ＨＧの右端まで右方に延びる線である。
　入出庫判定画像ＨＧの画像領域は、境界線Ｌ２によって、凹状の領域である凹状領域ＨＧ１と、凸状の領域である凸状領域ＨＧ２とに分割される。
　食品検出部２２５は、入出庫判定画像ＨＧが重畳された動画像において画像解析を行うことで、ステップＳＢ３で検出した食品が、凸状領域ＨＧ２から凹状領域ＨＧ１に進んだか、凹状領域ＨＧ１から凸状領域ＨＧ２に進んだか、を判別する。食品検出部２２５は、ステップＳＢ３で検出した食品が、凸状領域ＨＧ２から凹状領域ＨＧ１に進んだと判別した場合、ステップＳＢ３で検出した食品が、冷蔵庫１に入庫されたと判定する。一方、食品検出部２２５は、ステップＳＢ３で検出した食品が、凹状領域ＨＧ１から凸状領域ＨＧ２に進んだと判別した場合、ステップＳＢ３で検出した食品が、冷蔵庫１から出庫されたと判定する。
　図１４のフローチャートＦＢの説明に戻り、食品検出部２２５は、分割エリア番号特定処理を行う（ステップＳＢ６）。
　分割エリア番号特定処理は、ステップＳＢ３で検出した食品が入出庫された収容エリアに対応する分割エリアＢＡを特定し、特定した分割エリアＢＡに割り当てられた分割エリア番号４１１８を特定する処理である。
　例えば、食品検出部２２５は、画像解析によって、ステップＳＢ３で検出した食品が入出庫された冷蔵室１１の収容エリアを特定する。また、例えば、棚１１２の各々の先端、及びドアポケット１１１の各々の中に収容エリアを識別するマークが付されていて、食品検出部２２５は、動画像におけるこのマークと検出した食品との位置関係に基づいて、収容エリアを特定する。次いで、食品検出部２２５は、特定した収容エリアが、冷蔵室庫内画像ＲＧのどの分割エリアＢＡに該当するかを判別し、判別した分割エリアＢＡに割り当てられた分割エリア番号４１１８を特定する。なお、収容エリアと分割エリアＢＡと分割エリア番号４１１８の対応関係は、データとしてカメラユニット記憶部２３０に記憶されている。
　食品検出部２２５は、分割エリア番号特定処理を行うと、冷蔵室用カメラ２０３の録画ファイル２３１から、ステップＳＢ３で検出した食品ごと、食品の画像を切り出す（ステップＳＢ７）。以下、カメラ２１３の撮影結果から切り出された食品の画像を、「撮影食品画像」といい「ＦＧ」の符号を付す。
　撮影食品画像ＦＧは、本開示の食品画像の一例に対応する。
　次いで、食品検出部２２５は、第１更新情報を生成する（ステップＳＢ８）。
　ステップＳＢ８で生成される第１更新情報は、カメラユニット記憶部２３０のカメラユニットＩＤ４１１２を含む。
　また、ステップＳＢ８で生成される第１更新情報は、冷蔵室用カメラ２０３の録画ファイル２３１が生成された日時を示す日時情報を含む。
　また、ステップＳＢ８で生成される第１更新情報は、ステップＳＢ３において検出された食品ごとに、ステップＳＢ７で切り出された撮影食品画像ＦＧを示す食品画像データ４１１６、入出庫判定処理の判定結果を示す入出庫判定結果情報、及び、分割エリア番号特定処理で特定した分割エリア番号４１１８を含む。
　次いで、カメラユニット通信制御部２２１は、食品検出部２２５が生成した第１更新情報を食品管理サーバー４に送信する（ステップＳＢ９）。
　食品検出部２２５は、録画ファイル２３１をカメラユニット記憶部２３０から消去する（ステップＳＢ１０）。
　ステップＳＢ２の説明に戻り、食品検出部２２５は、引出用カメラ２０４の録画ファイル２３１であると判別した場合（ステップＳＢ２：引出用カメラ）、引出用カメラ２０４の録画ファイル２３１の動画像に写る上段ケースＪＣＡ及び下段ケースＧＣＡの少なくともいずれかが所定の閾値以上引き出されたか否かを判別する（ステップＳＢ１１）。
　例えば、食品検出部２２５は、形状や色等の特徴量に基づいて、動画像においてケースＣＡを区別する。そして、食品検出部２２５は、録画ファイル２３１の画像解析によって、上段ケースＪＣＡ及び下段ケースＧＣＡが冷蔵庫１に対して所定の閾値以上引き出されたか否かを判別する。
　また、例えば、上段ケースＪＣＡと下段ケースＧＣＡとには各々所定の位置にケースＣＡを識別するマークが付されていて、食品検出部２２５は、動画像からこのマークを読み取ることで、動画像におけるケースＣＡを区別する。そして、食品検出部２２５は、動画像におけるこのマークの移動距離を算出することで、冷蔵庫１に対して所定の閾値以上引き出されたか否かを判定する。
　食品検出部２２５は、上段ケースＪＣＡ及び下段ケースＧＣＡのいずれも所定の閾値以上引き出されていないと判別した場合（ステップＳＢ１１：ＮＯ）、ステップＳＢ１８の処理を行う。
　一方、食品検出部２２５は、上段ケースＪＣＡ及び下段ケースＧＣＡの少なくともいずれかが所定の閾値以上引き出されたと判別した場合（ステップＳＢ１１：ＹＥＳ）、録画ファイル２３１からケース画像ＣＧを切り出す（ステップＳＢ１２）。
　ステップＳＢ１２において、食品検出部２２５は、上段ケースＪＣＡのみ所定の閾値以上引き出された場合、録画ファイル２３１から上段ケース画像ＪＣＧを切り出す。
　ステップＳＢ１２において、食品検出部２２５は、下段ケースＧＣＡのみ所定の閾値以上引き出された場合、録画ファイル２３１から下段ケース画像ＧＣＧを切り出す。
　ステップＳＢ１２において、食品検出部２２５は、上段ケースＪＣＡ及び下段ケースＧＣＡが所定の閾値以上引き出された場合、録画ファイル２３１から上段ケース画像ＪＣＧと下段ケース画像ＧＣＧを切り出す。
　次いで、食品検出部２２５は、切り出したケース画像ＣＧから食品を検出する（ステップＳＢ１３）。
　次いで、食品検出部２２５は、ケース画像ＣＧから食品を検出できたか否かを判別する（ステップＳＢ１４）。
　食品検出部２２５は、食品を検出できないと判別した場合（ステップＳＢ１４：ＮＯ）、ステップＳＢ１６の処理を行う。
　一方、食品検出部２２５は、食品を検出できたと判別した場合（ステップＳＢ１４：ＹＥＳ）、ケース画像ＣＧから、検出した食品ごとに撮影食品画像ＦＧを切り出す（ステップＳＢ１５）。
　次いで、食品検出部２２５は、第２更新情報を生成する（ステップＳＢ１６）。
　上段ケース画像ＪＣＧのみ切り出された場合、ステップＳＢ１６で生成される第２更新情報は、カメラユニット記憶部２３０のカメラユニットＩＤ４１１２、切り出された上段ケース画像ＪＣＧを示す上段ケース画像データ４１２３、及び、上段ケース画像ＪＣＧから切り出された撮影食品画像ＦＧを示す食品画像データ４１１６を含む。なお、ステップＳＢ１４で否定判別がなされた場合、この第２更新情報には、食品画像データ４１１６が含まれない。
　また、下段ケース画像ＧＣＧのみ切り出された場合、ステップＳＢ１６で生成される第２更新情報は、カメラユニット記憶部２３０のカメラユニットＩＤ４１１２、切り出された下段ケース画像ＧＣＧを示す下段ケース画像データ４１２５、及び、下段ケース画像ＧＣＧから切り出された撮影食品画像ＦＧを示す食品画像データ４１１６を含む。なお、ステップＳＢ１４で否定判別がなされた場合、この第２更新情報には、食品画像データ４１１６が含まれない。
　また、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧが切り出された場合、ステップＳＢ１６で生成される第２更新情報は、カメラユニット記憶部２３０のカメラユニットＩＤ４１１２、上段ケース画像データ群、及び、下段ケース画像データ群を含む。上段ケース画像データ群は、切り出された上段ケース画像ＪＣＧを示す上段ケース画像データ４１２３、及び、上段ケース画像ＪＣＧから切り出された撮影食品画像ＦＧを示す食品画像データ４１１６を含む。下段ケース画像データ群は、切り出された下段ケース画像ＧＣＧを示す下段ケース画像データ４１２５、及び、下段ケース画像ＧＣＧから切り出された撮影食品画像ＦＧを示す食品画像データ４１１６を含む。なお、ステップＳＢ１４で否定判別がなされた場合、この第２更新情報には、食品画像データ４１１６が含まれない。
　次いで、カメラユニット通信制御部２２１は、食品検出部２２５が生成した第２更新情報を食品管理サーバー４に送信する（ステップＳＢ１７）。
　次いで、食品検出部２２５は、録画ファイル２３１をカメラユニット記憶部２３０から消去する（ステップＳＢ１８）。
　フローチャートＦＣで示すように、食品管理サーバー４のサーバー通信制御部４０１は、第１更新情報及び第２更新情報のいずれかの更新情報を受信したか否かを判別する（ステップＳＣ１）。
　サーバー通信制御部４０１が更新情報を受信したと判別した場合（ステップＳＣ１：ＹＥＳ）、情報処理部４０２は、サーバー通信制御部４０１が受信した更新情報に基づいてデータベースを更新する（ステップＳＣ２）。
　ステップＳＣ２について詳述する。
　サーバー通信制御部４０１が受信した更新情報が第１更新情報である場合、情報処理部４０２は、第１更新情報に含まれるカメラユニットＩＤ４１１２を有する冷蔵室食品管理レコードＲＲを特定する。そして、情報処理部４０２は、特定した冷蔵室食品管理レコードＲＲの入出庫有無情報４１１５を、「有り」を示す情報に更新する。
　次いで、第１更新情報が含む入出庫判定結果情報が入庫を示す場合、情報処理部４０２は、サブレコードを生成し、生成したサブレコードにブランクの削除情報４１３１及び削除日時情報４１３２を対応付けて、特定した冷蔵室食品管理レコードＲＲに格納する。ここで生成されるサブレコードは、第１更新情報が含む食品画像データ４１１６、第１更新情報が含む日時情報と同じ日時を示す収容日時情報４１１７、第１更新情報が含む分割エリア番号４１１８、ブランクのメモ入力有無情報４１１９、及びブランクのメモ情報４１３０を含む。
　また、第１更新情報が含む入出庫判定結果情報が出庫を示す場合、情報処理部４０２は、第１更新情報が含む食品画像データ４１１６が示す撮影食品画像ＦＧと、一致度が高い撮影食品画像ＦＧを示す食品画像データ４１１６を含むサブレコードを冷蔵室食品管理レコードＲＲから特定する。この特定は、第１更新情報が含む食品画像データ４１１６ごとに行われる。そして、情報処理部４０２は、特定したサブレコードに対応付く削除情報４１３１を、削除対象であることを示す情報に更新する。また、情報処理部４０２は、特定したサブレコードに対応付く削除日時情報４１３２を、削除日時として現在日時を示す情報に更新する。
　さらに、ステップＳＣ２について詳述する。
　サーバー通信制御部４０１が受信した更新情報が第２更新情報である場合、情報処理部４０２は、第２更新情報に含まれるカメラユニットＩＤ４１１２を有する引出食品管理レコードＨＲを特定する。
　上段ケース画像ＪＣＧのみ切り出された場合の第２更新情報である場合、情報処理部４０２は、特定した引出食品管理レコードＨＲの上段ケース情報４１２２が有する上段ケース画像データ４１２３及び食品画像データ４１１６を、第２更新情報が有するデータに更新する。
　下段ケース画像ＧＣＧのみ切り出された場合の第２更新情報である場合、情報処理部４０２は、特定した引出食品管理レコードＨＲの下段ケース情報４１２４が有する下段ケース画像データ４１２５及び食品画像データ４１１６を、第２更新情報が有するデータに更新する。
　上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧが切り出された場合の第２更新情報である場合、情報処理部４０２は、特定した引出食品管理レコードＨＲの上段ケース情報４１２２が有する上段ケース画像データ４１２３及び食品画像データ４１１６を、上段ケース画像データ群が含むデータに適切に更新する。また、情報処理部４０２は、特定した引出食品管理レコードＨＲの下段ケース情報４１２４が有する下段ケース画像データ４１２５及び食品画像データ４１１６を、下段ケース画像データ群が含むデータに更新する。
　また、情報処理部４０２は、特定した引出食品管理レコードＨＲの更新日時情報４１２１を、引出食品管理レコードＨＲを更新した日時を示す情報に更新する。
　［１－２－４．アプリＵＩに係わる動作］
　次に、アプリＵＩ３２０に係わる動作について説明する。
　本実施の形態では、アプリＵＩ３２０において、冷蔵室１１に係わる画面と、引き出し式収容室に係わる画面とが表示される。
　［１－２－４－１．冷蔵室に係わる画面］
　冷蔵室１１に係わる画面は、冷蔵室ホーム画面ＧＭ２、冷蔵室リスト画面ＧＭ３、及び食品情報追加リスト画面ＧＭ４を含む。
　図１６は、冷蔵室ホーム画面ＧＭ２の一例を示す図である。
　冷蔵室ホーム画面ＧＭ２は、食品画像表示領域ＨＡ２を有する。
　食品画像表示領域ＨＡ２は、撮影食品画像ＦＧを表示する領域である。食品画像表示領域ＨＡ２は、冷蔵室庫内画像ＲＧを表示し、この冷蔵室庫内画像ＲＧに重畳させて撮影食品画像ＦＧを表示する。撮影食品画像ＦＧの各々は、冷蔵室庫内画像ＲＧにおいて、食品画像データ４１１６に対応付く分割エリア番号４１１８が示す分割エリアＢＡに、重畳して表示される。
　図１６の食品画像表示領域ＨＡ２は、図９に示す冷蔵室庫内画像ＲＧを表示している。例えば、冷蔵室食品管理レコードＲＲにおいて、図１６の撮影食品画像ＦＧ１を示す食品画像データ４１１６には、「４」の分割エリア番号４１１８が対応付けられているとする。この場合、撮影食品画像ＦＧ１は、「４」の分割エリア番号４１１８が割り当てられた分割エリアＢＡに重畳して表示される。
　デフォルトの食品画像表示領域ＨＡ２は、左ドアポケット画像ＲＧ１及び右ドアポケット画像ＲＧ３が見切れた状態で、冷蔵室庫内画像ＲＧを表示する。食品画像表示領域ＨＡ２では、ユーザーＰから、図の左右方向におけるスクロール操作を受け付ける。食品画像表示領域ＨＡ２は、受け付けたスクロール操作のスクロール量及びスクロール方向に応じて、冷蔵室庫内画像ＲＧの表示範囲を変更する。
　例えば、スクロール方向が右方であって、左ドアポケット画像ＲＧ１の左端まで表示させるスクロール量であったとする。この場合、食品画像表示領域ＨＡ２は、右ドアポケット画像ＲＧ３が完全に見切れた冷蔵室庫内画像ＲＧを表示する。なお、撮影食品画像ＦＧ及びメモ入力アイコンＭＩＣは、冷蔵室庫内画像ＲＧの表示範囲の変更に追従して、換言すれば重畳された分割エリアＢＡの移動に伴って、移動する。メモ入力アイコンＭＩＣについては後述する。
　食品画像表示領域ＨＡ２は、１の分割エリアＢＡにおいて複数の撮影食品画像ＦＧを表示する場合、図の左右方向に並べて表示する。食品画像表示領域ＨＡ２は、１の分割エリアＢＡにおいて、最大５枚の撮影食品画像ＦＧを同時に並べて表示可能である。食品画像表示領域ＨＡ２は、１の分割エリアＢＡにおいて６枚以上の表示対象の撮影食品画像ＦＧがある場合、ユーザーＰからスクロール操作を受け付ける。１の分割エリアＢＡは、スクロール操作を受け付けたときに、６枚目以降の撮影食品画像ＦＧを表示する。食品画像表示領域ＨＡ２は、１の分割エリアＢＡにおいて表示対象の撮影食品画像ＦＧが６枚以上あり、且つ、左右方向へのスクロール操作を受け付けた場合、並べて表示可能な最大枚数を維持しつつ、スクロール量に応じて、６枚目以降の撮影食品画像ＦＧを表示させる。この際、食品画像表示領域ＨＡ２は、スクロール量と表示対象の撮影食品画像ＦＧの枚数とに応じて、表示していた１枚目から５枚目までの撮影食品画像ＦＧを非表示にしたり、６枚目以降の撮影食品画像ＦＧの後から１枚目以降の撮影食品画像ＦＧを表示させたりする。なお、メモ入力アイコンＭＩＣは、関連付く撮影食品画像ＦＧの移動に追従して移動する。すなわち、関連付く撮影食品画像ＦＧがスクロール操作によって非表示になると、メモ入力アイコンＭＩＣも非表示になる。
　食品画像表示領域ＨＡ２が表示する撮影食品画像ＦＧの各々は、メモの入力を受け付ける。メモは、ユーザーＰが冷蔵庫１の食品に対して残したいとする情報である。
　図１７は、メモの入力手順を示す図である。
　ユーザーＰは、冷蔵室ホーム画面ＧＭ２において、メモを入力したいとする撮影食品画像ＦＧに対し、長押し操作等の所定のタッチ操作を行う。アプリ実行部３０１は、１の撮影食品画像ＦＧに対して所定のタッチ操作を受け付けると、所定のタッチ操作がされた撮影食品画像ＦＧに関連付けてメモ編集画像ＭＨＧを表示する。
　メモ編集画像ＭＨＧは、メモ入力領域ＭＮＡ、メモ保存ボタンＢ１、メモ消去ボタンＢ２、及び食品削除ボタンＢ３を有する。
　メモ入力領域ＭＮＡは、メモを入力するための領域である。アプリ実行部３０１は、メモ入力領域ＭＮＡがタッチ操作されるとタッチパネル３２にソフトウェアキーボードを表示させる。そして、アプリ実行部３０１は、ソフトウェアキーボードに対する操作に対応したメモを、メモ入力領域ＭＮＡに入力する。
　メモ保存ボタンＢ１は、メモ入力領域ＭＮＡで入力されたメモを保存するためのソフトウェアボタンである。メモ保存ボタンＢ１は、メモ入力領域ＭＮＡにメモが入力されていない場合、タッチ操作できない。メモ保存ボタンＢ１がタッチ操作されると、アプリ実行部３０１は、冷蔵室１１に係わる画面において、メモが入力された撮影食品画像ＦＧを、メモが入力されていない撮影食品画像ＦＧの表示態様と異なる表示態様で、表示する。本実施の形態では、アプリ実行部３０１は、メモが入力された撮影食品画像ＦＧの枠を異なる色で表示し、且つ、メモが入力された撮影食品画像ＦＧに、メモが入力されたことを示すアイコンであるメモ入力アイコンＭＩＣを関連付けて表示する。メモ入力アイコンＭＩＣは、タッチ操作可能である。メモ入力アイコンＭＩＣがタッチ操作されると、アプリＵＩ３２０においては、入力されたメモが表示される。
　メモ入力アイコンＭＩＣは、本開示のメモ入力画像の一例に対応する。
　メモ消去ボタンＢ２は、入力されたメモを消去するためのボタンである。メモ消去ボタンＢ２がタッチ操作されると、撮影食品画像ＦＧに入力されたメモが消去される。
　食品削除ボタンＢ３は、食品画像表示領域ＨＡ２から撮影食品画像ＦＧを削除するためのボタンである。
　図１６の冷蔵室ホーム画面ＧＭ２の説明に戻り、食品画像表示領域ＨＡ２には、リスト表示ボタンＢ４を有する。リスト表示ボタンＢ４は、タッチ操作可能なソフトウェアボタンである。
　リスト表示ボタンＢ４がタッチ操作されると、アプリＵＩ３２０においては、冷蔵室リスト画面ＧＭ３に画面遷移する。
　冷蔵室リスト画面ＧＭ３は、収容リスト画面ＧＭ３１、新規追加リスト画面ＧＭ３２、及び削除対象リスト画面ＧＭ３３を含む。
　収容リスト画面ＧＭ３１について説明する。
　図１８は、収容リスト画面ＧＭ３１を示す図である。
　収容リスト画面ＧＭ３１は、収容食品情報表示領域ＨＡ３を有する。収容食品情報表示領域ＨＡ３は、冷蔵室１１が収容している食品ごとに、第１食品情報Ｊ２１を一覧表示する。第１食品情報Ｊ２１は、撮影食品画像ＦＧ、収容日時情報４１１７、及び、分割エリア情報Ｊ３を含む。分割エリア情報Ｊ３は、分割エリアＢＡが色で示された冷蔵室庫内画像ＲＧである。
　第１食品情報Ｊ２１の撮影食品画像ＦＧは、メモが入力されている場合、枠が異なる色で表示され、メモ入力アイコンＭＩＣが関連付いて表示される。なお、収容食品情報表示領域ＨＡ３においては、図の上下方向においてスクロール操作が可能である。ユーザーＰは、収容食品情報表示領域ＨＡ３においてスクロール操作を行うことで、収容食品情報表示領域ＨＡ３に表示しきれない第１食品情報Ｊ２１を表示させることがきる。
　収容リスト画面ＧＭ３１は、第１切替ボタンＢ５及び第２切替ボタンＢ６を有する。
　第１切替ボタンＢ５は、収容食品情報表示領域ＨＡ３が表示する第１食品情報Ｊ２１の並び順を、次の並び順に切り替えるためのソフトウェアボタンである。
　すなわち、第１切替ボタンＢ５がタッチ操作されると、収容食品情報表示領域ＨＡ３は、メモが入力された撮影食品画像ＦＧを有する第１食品情報Ｊ２１を、メモが入力されていない撮影食品画像ＦＧを有する第１食品情報Ｊ２１より上位にして表示する。なお、上位にして表示するとは、表示する際のスクロール量が少なくなるように表示することを意味する。また、収容食品情報表示領域ＨＡ３は、メモが入力された撮影食品画像ＦＧを有する第１食品情報Ｊ２１が複数ある場合、収容日時情報４１１７が示す収容日時が古い食品情報Ｊ２を、上位にして表示する。また、収容食品情報表示領域ＨＡ３は、メモが入力されていない撮影食品画像ＦＧを有する第１食品情報Ｊ２１が複数ある場合、収容日時情報４１１７が示す収容日時が古い第１食品情報Ｊ２１を、上位にして表示する。
　なお、図１８の図中左の収容リスト画面ＧＭ３１は、第１切替ボタンＢ５がタッチ操作された場合の収容リスト画面ＧＭ３１を示している。
　第２切替ボタンＢ６は、収容食品情報表示領域ＨＡ３が表示する第１食品情報Ｊ２１の並び順を、次の並び順に切り替えるためのソフトウェアボタンである。
　すなわち、第２切替ボタンＢ６がタッチ操作されると、収容食品情報表示領域ＨＡ３は、分割エリアＢＡごとに、第１食品情報Ｊ２１を並べて表示する。分割エリアＢＡごとの並び順は、ユーザーＰが予め定めた順番でもよい。収容食品情報表示領域ＨＡ３は、１の分割エリアＢＡにおいては、第１切替ボタンＢ５がタッチ操作された場合の並び順と同じ並びで、第１食品情報Ｊ２１を表示する。
　なお、図１８の図中右の収容リスト画面ＧＭ３１は、第２切替ボタンＢ６がタッチ操作された場合の収容リスト画面ＧＭ３１を示している。
　収容リスト画面ＧＭ３１は、収容リスト表示ボタンＢ７、新規追加リスト表示ボタンＢ８、及び削除対象リスト表示ボタンＢ９を有する。
　収容リスト表示ボタンＢ７は、アプリＵＩ３２０が表示する画面を収容リスト画面ＧＭ３１に切り替えるためのソフトウェアボタンである。
　新規追加リスト表示ボタンＢ８は、アプリＵＩ３２０が表示する画面を新規追加リスト画面ＧＭ３２に切り替えるためのソフトウェアボタンである。
　削除対象リスト表示ボタンＢ９は、アプリＵＩ３２０が表示する画面を削除対象リスト画面ＧＭ３３に切り替えるためのソフトウェアボタンである。
　図１９は、新規追加リスト画面ＧＭ３２の一例を示す図である。
　新規追加リスト画面ＧＭ３２は、新規追加食品情報表示領域ＨＡ４を有する。新規追加食品情報表示領域ＨＡ４は、新規で冷蔵室１１に収容された食品に関する第１食品情報Ｊ２１を、一覧表示する。なお、新規で冷蔵室１１に収容された食品とは、現在日時から所定期間（例えば３日）内に収容された食品を意味する。新規追加食品情報表示領域ＨＡ４は、新規で収容された食品に該当する食品の第１食品情報Ｊ２１を、収容日時情報４１１７が示す収容日時が新しい順に上位にして表示する。
　新規追加食品情報表示領域ＨＡ４が表示する第１食品情報Ｊ２１の各々は、撮影食品画像ＦＧに対して所定のタッチ操作を受け付ける。新規追加リスト画面ＧＭ３２では、所定のタッチ操作された撮影食品画像ＦＧに関連付いて、第１編集画像ＨＮＧ１が表示される。
　第１編集画像ＨＮＧ１は、食品削除ボタンＢ１０、エリア修正ボタンＢ１１、及び戻るボタンＢ１２を有する。
　食品削除ボタンＢ１０は、タッチ操作されると第１編集画像ＨＮＧ１が関連付けれた撮影食品画像ＦＧが示す食品を、冷蔵室ホーム画面ＧＭ２からの削除対象とするためのソフトウェアボタンである。
　エリア修正ボタンＢ１１は、タッチ操作されると分割エリア情報Ｊ３が示す分割エリアＢＡを修正するためのソフトウェアボタンである。
　戻るボタンＢ１２は、第１編集画像ＨＮＧ１の表示を止めるためのソフトウェアボタンである。
　新規追加食品情報表示領域ＨＡ４は、第１食品情報Ｊ２１の一覧の最後に、食品情報追加ボタンＢ１３を有する。食品情報追加ボタンＢ１３は、新たな第１食品情報Ｊ２１を手動で追加するためのソフトウェアボタンである。
　図２０を参照して、第１食品情報Ｊ２１の追加手順について説明する。
　図２０は、第１食品情報Ｊ２１の追加手順を説明するための図である。
　食品情報追加ボタンＢ１３がタッチ操作されると、アプリＵＩ３２０においては、食品情報追加リスト画面ＧＭ４が表示される。食品情報追加リスト画面ＧＭ４は、ソフトウェアボタンである追加ボタンＢ１４を複数有する。また、食品情報追加リスト画面ＧＭ４は、ブランク画像ＢＧと、食品名を入力する食品名入力領域ＳＮＡとを有する。ブランク画像ＢＧがタッチ操作されると、ブランク画像ＢＧ内では、食品名入力領域ＳＮＡに入力された食品名を示す画像になる。
　食品情報追加リスト画面ＧＭ４において追加ボタンＢ１４がタッチ操作されると、アプリＵＩ３２０においては、冷蔵室庫内画像ＲＧが表示される。ここで、表示される冷蔵室庫内画像ＲＧは、分割エリアＢＡの各々に分割エリア番号４１１８が付された状態の画像であって、分割エリアＢＡの各々をタッチ操作により選択可能である。この冷蔵室庫内画像ＲＧにおいて分割エリアＢＡが選択されると、アプリＵＩ３２０においては、次の第１食品情報Ｊ２１が追加される。
　すなわち、追加される第１食品情報Ｊ２１は、タッチ操作された追加ボタンＢ１４に対応する食品の画像、収容日時として第１食品情報Ｊ２１を追加した日時を示す収容日時情報４１１７、及び選択された分割エリアＢＡを示す分割エリア情報Ｊ３である。なお、追加される第１食品情報Ｊ２１が示す食品の画像は、アイコンでもよい。本実施の形態では、冷蔵室ホーム画面ＧＭ２の冷蔵室庫内画像ＲＧに重畳される画像が、影食品画像ＦＧであることを前提としているが、第１食品情報Ｊ２１が追加された場合、冷蔵室庫内画像ＲＧには、撮影食品画像ＦＧと共にアイコンが表示される。
　なお、第１食品情報Ｊ２１の追加手順において、収容日時をユーザーＰが入力する手順があってもよい。この場合、追加される第１食品情報Ｊ２１は、ユーザーＰが入力した収容日時を示す収容日時情報４１１７を含む。
　図１９の説明に戻り、新規追加リスト画面ＧＭ３２は、収容リスト表示ボタンＢ７、新規追加リスト表示ボタンＢ８、及び削除対象リスト表示ボタンＢ９を有する。
　図２１は、削除対象リスト画面ＧＭ３３の一例を示す図である。
　削除対象リスト画面ＧＭ３３は、削除対象食品情報表示領域ＨＡ５を有する。削除対象食品情報表示領域ＨＡ５は、削除対象の食品ごとに、第２食品情報Ｊ２２を一覧表示する。なお、削除対象の食品とは、冷蔵室ホーム画面ＧＭ２から削除する対象の食品、及び、冷蔵室１１から出庫されたと判定された食品を示す。第２食品情報Ｊ２２は、撮影食品画像ＦＧ、削除日時情報４１３２、及び分割エリア情報Ｊ３を含む。削除対象リスト画面ＧＭ３３は、第２食品情報Ｊ２２を、削除日時が新しい順に上位にして表示する。
　削除対象食品情報表示領域ＨＡ５が表示する第２食品情報Ｊ２２の各々は、撮影食品画像ＦＧが所定のタッチ操作を受け付ける。削除対象リスト画面ＧＭ３３では、所定のタッチ操作された撮影食品画像ＦＧに関連付いて第２編集画像ＨＮＧ２が表示される。
　第２編集画像ＨＮＧ２は、削除取り消しボタンＢ１５、及び戻るボタンＢ１６を有する。
　削除取り消しボタンＢ１５は、第２編集画像ＨＮＧ２が関連付けれた撮影食品画像ＦＧを、冷蔵室ホーム画面ＧＭ２に表示される画像とするためのソフトウェアボタンである。
　戻るボタンＢ１６は、第２編集画像ＨＮＧ２の表示を止めるためのソフトウェアボタンである。
　［１－２－４－２．食品管理システムの動作］
　次に、冷蔵室１１に係わる画面を表示する場合の食品管理システム１０００の動作について説明する。
　図２２は、食品管理システム１０００の動作を示すフローチャートである。図２２において、フローチャートＦＤは端末装置３の動作を示し、フローチャートＦＥは食品管理サーバー４の動作を示す。
　端末装置３のアプリ実行部３０１は、食品管理サーバー４から、冷蔵室食品管理レコードＲＲを要求するか否かを判別する（ステップＳＤ１）。
　例えば、アプリ実行部３０１は、アプリＵＩ３２０において、冷蔵室ホーム画面ＧＭ２の表示を指示するタッチ操作を受け付けた場合に、ステップＳＤ１において肯定判別する。
　また、例えば、アプリ実行部３０１は、冷蔵室ホーム画面ＧＭ２において表示の更新を指示するタッチ操作がなされた場合、ステップＳＤ１において肯定判別する。
　アプリ実行部３０１は、冷蔵室管理レコードＲＲを要求すると判別した場合（ステップＳＤ１：ＹＥＳ）、冷蔵室管理レコードＲＲを要求する第１レコード要求情報を、食品管理サーバー４に送信する（ステップＳＤ２）。ステップＳＤ２で送信される第１レコード要求情報には、端末記憶部３１０が記憶するアカウントＩＤ４１１１が含まれる。
　フローチャートＦＦで示すように、食品管理サーバー４のサーバー通信制御部４０１は、サーバー通信部４１によって第１レコード要求情報を受信する（ステップＳＥ１）。
　次いで、情報処理部４０２は、サーバー通信制御部４０１が受信した第１レコード要求情報に含まれるアカウントＩＤ４１１１を含む冷蔵庫食品管理レコードＲＲを、冷蔵室食品管理データベース４１１から特定する（ステップＳＥ２）。
　そして、サーバー通信制御部４０１は、情報処理部４０２が特定した冷蔵室食品管理レコードＲＲを端末装置３に送信する（ステップＳＥ３）。なお、情報処理部４０２は、送信した冷蔵室食品管理レコードＲＲの入出庫有無情報４１１５を、「無し」を示す情報に更新する。
　フローチャートＦＤを参照して、端末装置３のアプリ実行部３０１は、冷蔵室食品管理レコードＲＲを食品管理サーバー４から受信すると（ステップＳＤ３）、この冷蔵室食品管理レコードＲＲに基づいて、冷蔵室１１に係わる画面を生成する（ステップＳＤ４）。
　ステップＳＤ４について詳述する。
　アプリ実行部３０１は、冷蔵室食品管理レコードＲＲに含まれる冷蔵室庫内画像データ４１１４が示す冷蔵室庫内画像ＲＧを、食品画像表示領域ＨＡ２に表示させる冷蔵室ホーム画面ＧＭ２を生成する。
　また、アプリ実行部３０１は、サブレコードごとに、分割エリア番号４１１８が示す分割エリアＢＡに、食品管理画像データ４１１６が示す撮影食品画像ＦＧを重畳した冷蔵室ホーム画面ＧＭ２を生成する。
　また、アプリ実行部３０１は、メモ入力有無情報４１１９がメモが有ることを示す場合、サブレコードごとに、メモ入力アイコンＭＩＣを撮影食品画像ＦＧに関連付けて表示した冷蔵室ホーム画面ＧＭ２を生成する。
　さらに、ステップＳＤ４について詳述する。
　アプリ実行部３０１は、食品画像データ４１１６ごとに第１食品情報Ｊ２１を生成する。この第１食品情報Ｊ２１は、食品画像データ４１１６が示す撮影食品画像ＦＧ、この食品画像データ４１１６に対応付く収容日時情報４１１７、及び、分割エリア番号４１１８が示す分割エリアＢＡが色で示した分割エリア情報Ｊ３を含む。そして、アプリ実行部３０１は、削除対象を示さない削除情報４１３１が対応付くサブレコードに関する第１食品情報Ｊ２１を一覧表示する収容リスト画面ＧＭ３１を生成する。また、アプリ実行部３０１は、収容リスト画面ＧＭ３１が表示する第１食品情報Ｊ２１のうち、収容日時情報４１１７が示す収容日時が現在時刻から所定期間内の日時を示す第１食品情報Ｊ２１を一覧表示する新規追加リスト画面ＧＭ３２を生成する。
　さらに、ステップＳＤ４について詳述する。
　アプリ実行部３０１は、食品画像データ４１１６ごとに第２食品情報Ｊ２２を生成する。第２食品情報Ｊ２２は、食品画像データ４１１６が示す撮影食品画像ＦＧ、この食品画像データ４１１６に対応付く削除日時情報４１３２、及び、分割エリア番号４１１８が示す分割エリアＢＡが色で示した分割エリア情報Ｊ３含む。そして、アプリ実行部３０１は、生成した第２食品情報Ｊ２２を一覧表示する削除対象リスト画面ＧＭ３３を生成する。
　フローチャートＦＤの説明に戻り、アプリ実行部３０１は、タッチ操作に応じて、冷蔵室１１に係わる画面を表示する（ステップＳＤ５）。なお、ステップＳＤ３で受信した冷蔵室食品管理レコードＲＲの入出庫有無情報４１１５が「有り」を示す場合、ステップＳＤ５で初めて冷蔵室ホーム画面ＧＭ２を表示する際に、アプリ実行部３０１は、冷蔵室ホーム画面ＧＭ２に、新規の入出庫があった旨をポップアップする。
　次に、冷蔵室１１に係わる画面上で操作された場合の食品管理システム１０００の動作について説明する。
　アプリ実行部３０１は、メモ保存ボタンＢ１がタッチ操作された場合、操作対象の撮影食品画像ＦＧに関するサブレコードを更新させる情報を、食品管理サーバー４に送信する。この情報には、メモが有ることを示すメモ入力有無情報４１１９、及び入力されたメモを示すメモ情報４１３０を含む。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。
　アプリ実行部３０１は、メモ消去ボタンＢ２がタッチ操作された場合、操作対象の撮影食品画像ＦＧに関するサブレコードを更新させる情報を、食品管理サーバー４に送信する。この情報には、メモの入力が無いことを示すメモ入力有無情報４１１９を含む。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。
　アプリ実行部３０１は、食品削除ボタンＢ３、Ｂ１０がタッチ操作された場合、操作対象の撮影食品画像ＦＧに関するサブレコードを更新させる情報を、食品管理サーバー４に送信する。この情報には、削除対象を示す削除情報４１３１を含む。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。
　アプリ実行部３０１は、エリア修正ボタンＢ１１がタッチ操作され分割エリアＢＡが修正された場合、操作対象の撮影食品画像ＦＧに関するサブレコードを更新させる情報を、食品管理サーバー４に送信する。この情報には、修正後の分割エリアＢＡの分割エリア番号４１１８を含む。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。
　アプリ実行部３０１は、図２０に示す追加手順で第１食品情報Ｊ２１が追加した場合、追加した第１食品情報Ｊ２１に関するサブレコードを追加させる情報を、食品管理サーバー４に送信する。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。
　アプリ実行部３０１は、削除取り消しボタンＢ１５がタッチ操作された場合、操作対象の撮影食品画像ＦＧに関するサブレコードを更新させる情報を、食品管理サーバー４に送信する。この情報には、ブランクを示す削除情報４１３１を含む。食品管理サーバー４は、受信した情報に基づいて適切にサブレコードを更新する。
　［１－２－４－３．引き出し式収容室に係わる画面］
　次に、引き出し式収容室に係わる画面について説明する。図２３－図２５を用いた説明では、引き出し式収容室として野菜室１５を例示する。この説明では、図１０に示すデータベースは、野菜室１５の食品に係わる各種情報を格納するデータベースである。
　野菜室１５に係わる画面は、野菜室ホーム画面ＧＭ５及び食品画像リスト画面ＧＭ６を含む。
　図２３は、野菜室ホーム画面ＧＭ５の一例を示す図である。
　野菜室ホーム画面ＧＭ５は、ケース画像表示領域ＨＡ６を有する。
　ケース画像表示領域ＨＡ６は、ケース画像ＣＧを表示する領域である。ケース画像表示領域ＨＡ６は、下段ケース画像ＧＣＧに重畳した上段ケース画像ＪＣＧを表示する。デフォルトのケース画像表示領域ＨＡ６は、下段ケース画像ＧＣＧの画像領域全域に上段ケース画像ＪＣＧが重畳していて、上段ケース画像ＪＣＧのみが表示されている。
　ケース画像表示領域ＨＡ６は、図の上下方向におけるスクロール操作を受け付ける。ケース画像表示領域ＨＡ６は、受け付けたスクロール操作のスクロール量及びスクロール方向に応じて、上段ケース画像ＪＣＧの表示範囲を変更する。例えば、受け付けたスクロール操作のスクロール方向が上方である場合、ケース画像表示領域ＨＡ６は、一部が見切れた上段ケース画像ＪＣＧを表示する。ケース画像表示領域ＨＡ６では、上段ケース画像ＪＣＧが上方に移動すると、上段ケース画像ＪＣＧが重畳されていた下段ケース画像ＧＣＧが表示されることとなる。
　ケース画像表示領域ＨＡ６が表示するケース画像ＣＧの各々は、メモの入力を受け付ける。なお、メモの入力の手順は、冷蔵室１１の場合と比較し、ユーザーＰが操作する画像が撮影食品画像ＦＧであるかケース画像ＣＧであるかが異なるだけで、手順は同じである。なお、図２３で示すように、上段ケース画像ＪＣＧに関連付けられたメモ入力アイコンＭＩＣは、上段ケース画像ＪＣＧの移動に追従して移動する。
　野菜室ホーム画面ＧＭ５には、リスト表示ボタンＢ１７を有する。リスト表示ボタンＢ１７は、タッチ操作可能なソフトウェアボタンである。
　リスト表示ボタンＢ１７がタッチ操作されると、アプリＵＩ３２０においては、食品画像リスト画面ＧＭ６が表示される。
　なお、野菜室ホーム画面ＧＭ５は、ケース画像表示領域ＨＡ６が表示するケース画像ＣＧを、上段ケース画像ＪＣＧ又は下段ケース画像ＧＣＧに切り替える切替ボタンを有していてもよい。この構成の場合、アプリ実行部３０１は、この切替ボタンに対する操作に応じて、表示するケース画像ＣＧを上段ケース画像ＪＣＧ又は下段ケース画像ＧＣＧに切り替える。
　図２４は、食品画像リスト画面ＧＭ６の一例を示す図である。
　食品画像リスト画面ＧＭ６は、更新日時情報４１２１を有する。図２４の食品画像リスト画面ＧＭ６は、「１２／１　１０：０５」の更新日時を示す更新日時情報４１２１を有する。
　食品画像リスト画面ＧＭ６は、ケースごとに、撮影食品画像ＦＧを一覧表示する。上段ケースＪＣＡの項目に関連付けられて表示される撮影食品画像ＦＧは、上段ケース画像ＪＣＧから切り取られた画像である。下段ケースＧＣＡの項目に関連付けられて表示される撮影食品画像ＦＧは、下段ケース画像ＧＣＧから切り取られた画像である。
　［１－２－４－５．食品管理システムの動作］
　次に、野菜室１５に係わる画面を表示する場合の食品管理システム１０００の動作について説明する。
　図２５は、食品管理システム１０００の動作を示すフローチャートである。図１１において、フローチャートＦＦは端末装置３の動作を示し、フローチャートＦＪは食品管理サーバー４の動作を示す。
　端末装置３のアプリ実行部３０１は、食品管理サーバー４から、引出管理レコードＨＲを要求するか否かを判別する（ステップＳＦ１）。
　例えば、アプリ実行部３０１は、アプリＵＩ３２０において、野菜室ホーム画面ＧＭ５の表示を指示するタッチ操作を受け付けた場合に、ステップＳＦ１において肯定判別する。
　また、例えば、アプリ実行部３０１は、野菜室ホーム画面ＧＭ５において表示の更新を指示するタッチ操作がなされた場合、ステップＳＦ１において肯定判別する。
　アプリ実行部３０１は、引出管理レコードＲＲを要求すると判別した場合（ステップＳＦ１：ＹＥＳ）、引出管理レコードＨＲを要求する第２レコード要求情報を、食品管理サーバー４に送信する（ステップＳＦ２）。ステップＳＦ２で送信される第２レコード要求情報には、端末記憶部３１０が記憶するアカウントＩＤ４１１１が含まれる。
　フローチャートＦＪを参照し、食品管理サーバー４のサーバー通信制御部４０１は、第２レコード要求情報を受信する（ステップＳＪ１）。
　次いで、情報処理部４０２は、サーバー通信制御部４０１が受信した第２レコード要求情報に含まれるアカウントＩＤ４１１１を含む引出管理レコードＨＲを、引出食品管理データベース４１２から特定する（ステップＳＪ２）。
　そして、サーバー通信制御部４０１は、情報処理部４０２が特定した引出管理レコードＨＲを端末装置３に送信する（ステップＳＪ３）。
　フローチャートＦＪを参照して、端末装置３のアプリ実行部３０１は、引出食品管理レコードＨＲを食品管理サーバー４から受信すると（ステップＳＦ３）、野菜室１５に係わる画面を生成する（ステップＳＦ４）。
　ステップＳＦ４について詳述する。
　アプリ実行部３０１は、引出食品管理レコードＨＲに含まれる下段ケース画像データ４１２５が示す下段ケース画像ＧＣＧに、同じレコードに含まれる上段ケース画像データ４１２３が示す上段ケース画像ＪＣＧを重畳させたケース画像表示領域ＨＡ６を有する野菜室ホーム画面ＧＭ５を生成する。
　また、アプリ実行部３０１は、メモ入力有無情報４１１９がメモがあることを示す場合、メモ入力アイコンＭＩＣを対応するケース画像ＣＧに関連付けて表示した野菜室ホーム画面ＧＭ５を生成する。
　さらに、ステップＳＦ４について詳述する。
　アプリ実行部３０１は、ケースＣＡごとに、食品画像データ４１１６が示す撮影食品画像ＦＧを並べた食品画像リスト画面ＧＭ６を生成する。
　フローチャートＦＦの説明に戻り、アプリ実行部３０１は、タッチ操作に応じて、野菜室１５に係わる画面を表示する（ステップＳＦ５）。
　次に、野菜室１５に係わる画面上で操作された場合の食品管理システム１０００の動作について説明する。
　アプリ実行部３０１は、メモ保存ボタンＢ１がタッチ操作された場合、メモ入力有無情報４１１９及びメモ情報４１３０を更新させる情報を、食品管理サーバー４に送信する。この情報には、操作対象が上段ケース画像ＪＣＧか下段ケース画像ＧＣＧであるかを示す情報、メモが有ることを示すメモ入力有無情報４１１９、及び入力されたメモを示すメモ情報４１３０を含む。食品管理サーバー４は、受信した情報に基づいて引出食品管理レコードＨＲを適切に更新する。
　アプリ実行部３０１は、メモ消去ボタンＢ２がタッチ操作された場合、メモ入力有無情報４１１９及びメモ情報４１３０を更新させる情報を、食品管理サーバー４に送信する。この情報には、メモの消去対象が上段ケース画像ＪＣＧか下段ケース画像ＧＣＧであるかを示す情報、メモが無いことを示すメモ入力有無情報４１１９を含む。食品管理サーバー４は、受信した情報に基づいて引出食品管理レコードＨＲを適切に更新する。
　なお、図２３－図２５を用いて説明した引き出し式収容室として野菜室１５を例示した。しかしながら、図２３－図２５が示す画面表示及び食品管理システム１０００の動作は、冷凍室１４に関しても同様に行われてもよい。この場合、図１０に示すデータベースは、冷凍室１４の食品に係わる各種情報を格納するデータベースを示す。
　［１－３．効果］
　以上、説明したように、カメラユニット２は、冷蔵庫１の上面１０Ｂに設置される本体２０１と、本体２０１から冷蔵庫１の前方に延在し、冷蔵庫１の前上方から下方を撮影するカメラ２１３を備えた撮影部材２０２と、を備える。本体２０１は、冷蔵庫１の前端縁１０Ａに当接し、冷蔵庫１の前後方向における撮影部材２０２の位置を規制する位置規制部材２０５を備える。
　これによれば、位置規制部材２０５によって冷蔵庫１の前後方向における撮影部材２０２の位置が規制されるため、カメラ２１３が冷蔵庫１の前上方から下方を撮影できる位置に規定される。そのため、冷蔵庫１に入出庫される食品をカメラ２１３の撮影結果に精度良く含めることができ、冷蔵庫１に入出庫される食品を精度良く撮影できる。
　位置規制部材２０５は、設置状態において本体２０１の底面２０６から下方に延びる位置規制片である。
　これによれば、主箱体１０とドア１１Ｃとの間に形成された隙間を利用してカメラユニット２の位置を規制できる。よって、既存の冷蔵庫１に対してカメラユニット２を設置できるため、既存の冷蔵庫１においても、冷蔵庫１に入出庫される食品を精度良く撮影できる。
　位置規制部材２０５は、冷蔵庫１と冷蔵庫１のドア１１Ｃとの間に設けられるパッキンまでの長さより短く形成されている。
　これによれば、冷蔵室１１の冷却効果を阻害することなく、主箱体１０とドア１１Ｃとの間に形成された隙間を利用してカメラユニット２の位置を規制できる。よって、冷蔵室１１の冷却効果を阻害することなく、冷蔵庫１に入出庫される食品を精度良く撮影できる。
　位置規制部材２０５は、本体２０１の幅方向に延在する。
　これによれば、主箱体１０に当接する面積を広く確保できるため、カメラユニット２の設置姿勢を安定させることができる。よって、冷蔵庫１に入出庫される食品をより精度良く撮影できる。
　位置規制部材２０５は、冷蔵庫１の幅方向におけるカメラユニット２の位置を調整するためのマーク２０７を有する。
　これによれば、マーク２０７を目印にすることで、ユーザーＰは、冷蔵庫１の左右方向においてカメラユニット２を簡単に設置できる。よって、冷蔵庫１に入出庫される食品を精度良く撮影できるように、ユーザーＰが簡単にカメラユニット２を設置できる。
　位置規制部材２０５は、本体２０１の幅方向の中央にマーク２０７を有する。
　これによれば、マーク２０７を目印にすることで、ユーザーＰは、冷蔵庫１の左右方向の中央にカメラユニット２を簡単に設置できる。よって、冷蔵庫１に入出庫される食品をより精度良く撮影できるように、ユーザーＰが簡単にカメラユニット２を設置できる。
　また、説明したように、カメラユニット２は、冷蔵庫１の前上方から冷蔵庫１を動画像により撮影するカメラ２１３と、冷蔵庫１の周辺に人が存在するか否かを検出する人感センサー２１２が冷蔵庫１の周辺に人が存在すると検出した場合、カメラ２１３に撮影を開始させる撮影制御部２２３と、撮影制御部２２３がカメラ２１３に撮影を開始させた後の所定のタイミングに、カメラ２１３の撮影結果の録画を開始する録画制御部２２４と、を備える。
　また、カメラユニット２の制御方法は、冷蔵庫１の周辺に人が存在するか否かを検出する人感センサー２１２が冷蔵庫１の周辺に人が存在すると検出した場合、カメラ２１３に撮影を開始させ、カメラ２１３に撮影を開始させた後の所定のタイミングに、カメラ２１３の撮影結果の録画を開始する。
　カメラユニット２、及びカメラユニット２の制御方法によれば、人感センサー２１２が冷蔵庫１の周辺に人が存在すると検出した場合、カメラ２１３に撮影を開始させることで、冷蔵庫１のドア１１Ｃ又は引出１６Ａが開く前に冷蔵庫１に入出庫される食品をカメラ２１３の撮影結果に含められる可能性を高めることができる。そのため、冷蔵庫１に入出庫される食品を精度良く撮影できる。
　録画制御部２２４は、撮影制御部２２３がカメラ２１３に撮影を開始させた後、冷蔵庫１のドア１１Ｃ又は引出１６Ａが開いた場合に、カメラ２１３の撮影結果の録画を開始する。
　これによれば、食品の入出庫が開始される可能性の高いタイミングで録画を開始するため、冷蔵庫１に食品が入出庫されない状況で不必要に録画が行われることを抑制できる。また、録画制御部２２４は、録画ファイル２３１のデータ容量が増大することを抑制できるため、食品検出部２２５の処理対象が増大して、食品検出部２２５の処理時間及び処理負荷が増大することを防止できる。
　録画制御部２２４は、録画を開始した後に、開いていた冷蔵庫１のドア１１Ｃ又は引出１６Ａが閉まった場合、録画を停止する。
　これによれば、食品の入出庫が終了した可能性の高いタイミングで録画を終了するため、冷蔵庫１に食品が入出庫されない状況で不必要に録画が行われることを抑制できる。また、録画制御部２２４は、録画ファイル２３１のデータ容量が増大することを抑制できるため、食品検出部２２５の処理対象が増大して、食品検出部２２５の処理時間及び処理負荷が増大することを防止できる。
　録画制御部２２４は、録画を停止すると、冷蔵庫１のドア１１Ｃ又は引出１６Ａが開いてから閉じるまでの撮影結果を１の録画ファイル２３１として生成する。
　これによれば、冷蔵庫１のドア１１Ｃ又は引出１６Ａが開いてから閉じるまでの撮影結果を１の録画ファイル２３１として生成するため、１の録画ファイル２３１のデータ容量が増大することを抑制しつつ、速やかに１の録画ファイル２３１を生成できる。また、１の録画ファイル２３１のデータ容量が増大することを抑制しつつ、速やかに１の録画ファイル２３１を生成できるため、食品検出部２２５は、冷蔵庫１に食品が入出庫された後に、速やかに録画ファイル２３１に係わる処理を開始できる。
　撮影制御部２２３は、録画制御部２２４が録画を停止した後に、人感センサー２１２が冷蔵庫１の周辺に人が存在しないと検出した場合、カメラ２１３に撮影を終了させる。
　これによれば、人感センサー２１２が冷蔵庫１の周辺に人が存在しないと検出した場合、カメラ２１３に撮影を終了させるため、冷蔵庫１に食品が入出庫されない状況でカメラ２１３が撮影を行うことを防止できる。よって、消費電力の増大を防止しつつ、冷蔵庫１に入出庫される食品を精度良く撮影できる。
　カメラユニット２は、録画制御部２２４の録画結果に基づいて冷蔵庫１に入出庫される食品を検出する食品検出部２２５を備える。
　これによれば、冷蔵庫１に入出庫される食品を精度良く撮影した撮影結果に基づいて食品を検出できるため、冷蔵庫１に入出庫される食品を精度良く検出できる。
　また、説明したように、食品管理アプリ３１１は、タッチパネル３２を備える端末装置３の端末プロセッサー３００を、タッチパネル３２によって、冷蔵室庫内画像ＲＧを表示し、表示した冷蔵室庫内画像ＲＧにおいて、冷蔵室１１に収容される食品の収容エリアと対応する分割エリアＢＡに、撮影食品画像ＦＧを表示するアプリ実行部３０１として機能させる。
　また、端末装置３は、タッチパネル３２と、タッチパネル３２によって、冷蔵室庫内画像ＲＧを表示し、表示した冷蔵室庫内画像ＲＧにおいて、冷蔵室１１に収容される食品の収容エリアと対応する分割エリアＢＡに、撮影食品画像ＦＧを表示するアプリ実行部３０１と、を備える。
　また、端末装置３の制御方法は、冷蔵室庫内画像ＲＧを表示し、表示した冷蔵室庫内画像ＲＧにおいて、冷蔵室１１に収容される食品の収容エリアと対応する分割エリアＢＡに、撮影食品画像ＦＧを表示する。
　この食品管理アプリ３１１、端末装置３、及び端末装置３の制御方法によれば、冷蔵室の庫内を示す画像内において、冷蔵庫に収容される食品の収容エリアと対応する分割エリアＢＡにこの撮影食品画像ＦＧが表示される。よって、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰが直感的に把握できる。
　撮影食品画像ＦＧは、冷蔵室用カメラ２０３の撮影画像である。
　これによれば、実際に冷蔵庫１に収容されている食品の撮影画像がユーザーＰに提供されるため、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰがより直感的に把握できる。
　冷蔵室庫内画像ＲＧは、端末装置３のユーザーＰが使用する冷蔵庫１の機種に応じた画像である。
　これによれば、実際に使用している冷蔵庫１の冷蔵室１１に対応した冷蔵室庫内画像ＲＧがユーザーＰに提供されるため、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰがより直感的に把握できる。
　冷蔵室庫内画像ＲＧは、複数の分割エリアＢＡに分割されている。冷蔵室庫内画像ＲＧが有する分割エリアＢＡの数は、端末装置３のユーザーＰが使用する冷蔵庫１の機種に応じた数である。
　これによれば、実際に使用している冷蔵庫１の冷蔵室１１の収容エリアにどのような食品が収容されているかをユーザーＰが把握できる。よって、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰがより直感的に把握できる。
　アプリ実行部３０１は、１の分割エリアＢＡに複数の撮影食品画像ＦＧを表示する場合、複数の撮影食品画像ＦＧを並べて表示する。
　これによれば、分割エリアＢＡごと、複数の撮影食品画像ＦＧを見易く表示できるため、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰが直感的に且つ容易に把握できる。
　１の分割エリアＢＡには、同時に表示可能な撮影食品画像ＦＧの上限数が設定されている。
　これによれば、１の分割エリアＢＡに表示される撮影食品画像ＦＧが多い場合に視認性が低下することを防止できる。よって、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰが直感的に且つ容易に把握できる。
　アプリ実行部３０１は、１の分割エリアＢＡにおいて表示対象の撮影食品画像ＦＧの数が上限数を上回る場合、上限数の範囲において撮影食品画像ＦＧを切替可能に表示する。
　これによれば、１の分割エリアＢＡに表示される撮影食品画像ＦＧが多い場合に視認性が低下することを防止しつつ、表示しきれない撮影食品画像ＦＧをユーザーＰが視認できる。
　アプリ実行部３０１は、端末装置３のユーザーＰからメモの入力を撮影食品画像ＦＧごとに受け付け、メモを受け付けたことを示すメモ入力アイコンＭＩＣを撮影食品画像ＦＧに関連付けて表示する。
　これによれば、ユーザーＰがどの食品に対してメモが入力されたのかを把握できる。よって、冷蔵室１１に収容されている食品がどのような食品であるかをユーザーＰが直感的に把握できると共に、どの食品にメモが入力されたのかも把握できる。
　食品管理アプリ３１１は、端末装置３にインストール可能なアプリケーションプログラムである。
　これによれば、冷蔵室庫内画像ＲＧと撮影食品画像ＦＧとを表示する機能を有していない端末装置３を、食品管理アプリ３１１のインストールによって、これら画像を表示できる端末装置３とすることができる。
　また、説明したように、食品管理アプリ３１１は、タッチパネル３２を備える端末装置３の端末プロセッサー３００を、上段ケースＪＣＡ及び下段ケースＧＣＡを有する冷蔵庫１の引出１６Ａを撮影する引出用カメラ２０４の撮影画像を表示するアプリ実行部３０１として機能させる。アプリ実行部３０１は、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧを表示可能であり、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧの各々に対して、端末装置３のユーザーＰからメモの入力を受け付ける。アプリ実行部３０１は、上段ケース画像ＪＣＧに対してユーザーＰからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力アイコンＭＩＣを上段ケース画像ＪＣＧに関連付けて表示し、下段ケース画像ＧＣＧに対してユーザーＰからのメモの入力を受け付けた場合、メモ入力アイコンＭＩＣを下段ケース画像ＧＣＧに関連付けて表示する。
　また、端末装置３は、タッチパネル３２と、引出用カメラ２０４の撮影画像を表示するアプリ実行部３０１と、を備える。アプリ実行部３０１は、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧを表示可能であり、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧの各々に対して、端末装置３のユーザーＰからメモの入力を受け付ける。アプリ実行部３０１は、上段ケース画像ＪＣＧに対してユーザーＰからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力アイコンＭＩＣを上段ケース画像ＪＣＧに関連付けて表示し、下段ケース画像ＧＣＧに対してユーザーＰからのメモの入力を受け付けた場合、メモ入力アイコンＭＩＣを下段ケース画像ＧＣＧに関連付けて表示する。
　また、端末装置３の制御方法は、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧを表示可能であり、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧの各々に対して、端末装置３のユーザーＰからメモの入力を受け付け、上段ケース画像ＪＣＧに対してユーザーＰからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力アイコンＭＩＣを上段ケース画像ＪＣＧに関連付けて表示し、下段ケース画像ＧＣＧに対してユーザーＰからのメモの入力を受け付けた場合、メモ入力アイコンＭＩＣを下段ケース画像ＧＣＧに関連付けて表示する。
　これによれば、食品管理アプリ３１１、端末装置３、及び端末装置３の制御方法は、引出１６Ａが有するケースＣＡの撮影画像が表示され、且つ、この表示される撮影画像にユーザーＰがメモを入力できる。そのため、冷蔵庫１の引出１６Ａに収容されている食品をユーザーＰが直感的に把握でき、且つユーザーＰの利便性を向上できる。
　アプリ実行部３０１は、下段ケース画像ＧＣＧに重畳して上段ケース画像ＪＣＧを表示し、上段ケース画像ＪＣＧを移動させる操作をユーザーＰから受け付けた場合、前記第１ケース画像を移動させて下段ケース画像ＧＣＧを表示する。
　これによれば、実際のケースＣＡを移動させる態様で、下段ケース画像ＧＣＧを表示できる。よって、冷蔵庫１の引出１６Ａに収容されている食品をユーザーＰがより直感的に把握でき、且つユーザーＰの利便性を向上できる。
　アプリ実行部３０１は、上段ケース画像ＪＣＧに関連付けてメモ入力アイコンＭＩＣを表示している場合、上段ケース画像ＪＣＧと共にメモ入力アイコンＭＩＣを移動させる。
　これによれば、上段ケース画像ＪＣＧをユーザーＰが移動させた場合でも、上段ケース画像ＪＣＧとメモ入力アイコンＭＩＣとの関連付けを維持できる。よって、上段ケース画像ＪＣＧをユーザーＰが移動させた場合でも、メモ入力アイコンＭＩＣがどの画像に関することであるかを適切にユーザーＰが把握でき、ユーザーＰの利便性を向上できる。
　アプリ実行部３０１は、表示する撮影画像を上段ケース画像ＪＣＧ又は下段ケース画像ＧＣＧに切り替える切替ボタンを表示し、切替ボタンに対する操作に応じて、表示する撮影画像を上段ケース画像ＪＣＧ又は下段ケース画像ＧＣＧに切り替える。
　これによれば、切替ボタンの操作によって表示するケース画像ＣＧを簡単に切り替えれるため、ユーザーＰの利便性を向上できる。
　上段ケース画像ＪＣＧは、上段ケースＪＣＡが冷蔵庫１に対して所定の閾値以上引き出された場合の撮影画像である。下段ケース画像ＧＣＧは、下段ケースＧＣＡが冷蔵庫１に対して所定の閾値以上引き出された場合の撮影画像である。
　これによれば、食品ができるだけ多く写る撮影画像をケース画像ＣＧとすることができるため、冷蔵庫１の引出１６Ａに収容されている食品をユーザーＰが直感的に把握でき、且つユーザーＰの利便性を向上できる。
　食品管理アプリ３１１は、端末装置３にインストール可能なアプリケーションプログラムである。
　これによれば、ケース画像ＣＧを表示する機能と表示されたケース画像ＣＧに対してメモの入力を受け付ける機能とを有していない端末装置３を、食品管理アプリ３１１のインストールによって、これら機能を有する端末装置３とすることができる。
　（実施の形態２）
　次に、実施の形態２について説明する。実施の形態２の説明では、実施の形態１の食品管理システム１０００の各部の構成要素と同じ構成要素については、同一の符号を付して詳細な説明を適宜に省略する。
　［２－１．構成］
　図２６は、実施の形態２における端末装置３及び食品管理サーバー４の構成を示すブロック図である。
　図２６と図７とを比較して明らかなとおり、実施の形態２におけるサーバープロセッサー４００は、サーバー記憶部４１０に記憶される制御プログラムを実行することで、サーバー通信制御部４０１及び情報処理部４０２に加え、食品認識部４０３として機能する。
　食品認識部４０３は、第１更新情報及び第２更新情報の各々に含まれる食品画像データ４１１６が示す撮影食品画像ＦＧに基づいて、食品認識処理を行う。
　食品認識処理は、撮影食品画像ＦＧから食品を認識し、認識した食品と同じ種類の食品を示すアイコンをアイコンデータベースから取得する処理である。このアイコンデータベースは、食品ごとに、食品を示すアイコンを格納する。以下、このアイコンを、食品アイコンという。アイコンデータベースは、食品管理サーバー４に記憶されていてもよいし、食品管理サーバー４が通信可能な外部の機器に記憶されていてもよい。
　本実施の形態において、食品アイコンは、本開示の食品画像の一例に対応する。
　例えば、食品認識部４０３は、以下のように食品の認識を行う。
　食品認識部４０３は、食品画像データベースに格納される画像から、更新情報に含まれる食品画像データ４１１６が示す撮影食品画像ＦＧと最も一致度の高い画像を特定する。食品画像データベースは、食品ごとに画像データが格納されたデータベースである。一致度は、例えば形状や色等の特徴量に基づいて判断される。そして、食品認識部４０３は、特定した画像に対応付く食品が、更新情報に含まれる食品画像データ４１１６が示す食品であると認識する。
　なお、食品認識部４０３は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）によって食品の認識を行ってもよい。例えば教師用の撮影食品画像ＦＧから食品の色や形状等の特徴量を学習する機械学習処理を行い、学習済みモデルを構築しておく。この学習済みモデルは、サーバー記憶部４１０に記憶させておく。食品認識部４０３は、更新情報に含まれる食品画像データ４１１６を入力データとして、学習済みモデルを参照し撮影食品画像ＦＧが示す食品を認識する。ここで、この学習済みモデルがグローバルネットワークＧＮに接続する食品管理サーバー４以外の機器に記憶させており、食品管理サーバー４において食品を認識する構成でもよい。この構成の場合、食品認識部４０３は、更新情報に含まれる食品画像データ４１１６を、学習済みモデルを記憶する機器に送信し、この機器から食品の特定結果を取得する。そして、食品認識部４０３は、取得した特定結果が示す食品を、更新情報が含む食品画像データ４１１６が示す撮影食品画像ＦＧが示す食品であると認識する。
　食品認識部４０３は、食品の認識を行うと、認識した食品の食品アイコンを、アイコンデータベースから取得する。そして、実施の形態２では、冷蔵室食品管理レコードＲＲが有する食品画像データ４１１６の代わりに或いは共に、食品認識部４０３が取得した食品アイコンのアイコンデータが適切に格納される。また、実施の形態２では、引出食品管理レコードＨＲが有する食品画像データ４１１６の代わりに或いは共に、食品認識部４０３が取得した食品アイコンのアイコンデータが適切に格納される。
　これにより、実施の形態２は、アプリＵＩ３２０において、撮影食品画像ＦＧの代わりに食品アイコンを表示できる。
　［２－２．効果等］
　実施の形態２によれば、実施の形態１と同様の効果を奏する。
　（他の実施の形態）
　以上のように、本出願において開示する例示として、上記実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下、他の実施の形態を例示する。
　上述した実施の形態では、貯蔵庫として冷蔵庫１を例示した。しかしながら、本開示の貯蔵庫は、冷蔵庫１に限定されず、例えばオフィス等に設置される倉庫でもよい。上述した実施の形態では、本開示の物品として食品を例示したが、本開示の物品は食品に限定されず、貯蔵庫に応じて書物等の他の物品でもよい。
　上述した実施の形態では、位置規制部材２０５が本体２０１の左右方向の中央にマーク２０７を有する構成を例示した。しかしながら、マーク２０７の位置は、本体２０１の左右方向の中央に限定されない。マーク２０７の位置は、本体２０１の左右方向の中央以外でもよい。この場合、中央位置記録用紙ＣＹでは、マーク２０７を基準に位置調整されたカメラユニット２が適切に各種検出を行えるように、各マークが適切に記録されている。
　上述した実施の形態では、本開示の庫内画像として、左ドア１１Ａと右ドア１１Ｂとが開状態である場合の冷蔵室１１を正面から見た画像である冷蔵室庫内画像ＲＧを例示した。しかしながら、本開示の庫内画像は、この冷蔵室庫内画像ＲＧに限定されず、片開きのドアが開状態である場合の冷蔵室を正面から見た画像でもよいし、１の庫内が冷蔵室と冷凍室とを含む場合の冷蔵庫１において、ドアが開状態である場合のこの１の庫内を正面から見た画像でもよい。
　引出用カメラ２０４の撮影範囲は、アプリＵＩ３２０が表示する上記画面の引き出し式収容室の種類に応じて、１又は複数の任意の引き出し式収容室を組み合わせた範囲としてもよい。
　食品管理システム１０００は、収容日時以外に、残量や期限日等の他の要素を管理してもよい。
　カメラユニット２が備える本体２０１と撮影部材２０２とは別体で構成されてもよい。
　カメラユニット２は、所定の閾値以上引き出されなかった場合もケース画像ＣＧを食品管理サーバー４に送信する構成としてもよい。この構成の場合、食品管理サーバー４は、所定の閾値以上引き出されなかった場合のケース画像ＣＧを記憶し、端末装置３に提供する。そして、アプリ実行部３０１は、上段ケース画像ＪＣＧ及び下段ケース画像ＧＣＧの各々と差し替え可能に、このケース画像ＣＧをアプリＵＩ３２０において表示する。
　上述した実施の形態では、ユーザーＰがカメラユニット２を冷蔵庫１に設置する場合を例示したが、カメラユニット２は冷蔵庫１に設置された状態で出荷されてもよい。
　サーバープロセッサー４００が食品検出部２２５として機能し、カメラユニットプロセッサー２２０は食品検出部２２５として機能しない構成でもよい。この構成の場合、カメラユニット２は、録画ファイル２３１を食品管理サーバー４に送信する。
　上述した実施の形態では、本開示のセンサーとして、人感センサー２１２を例示した。しかしながら、本開示のセンサーは、人感センサー２１２に限定されず、照度センサーや、冷蔵庫１の把持部に設けられる静電センサー等でもよい。この静電センサーの場合、冷蔵庫１とカメラユニット２とが通信可能であり、冷蔵庫１は、静電センサーの検出値をカメラユニット２に送信する。
　冷蔵室食品管理レコードＲＲ及び引出食品管理レコードＨＲを端末装置３が記憶し、カメラユニット２が検出する食品に係る各種情報を食品管理アプリ３１１が管理する構成でもよい。この構成の場合、アプリ実行部３０１は、端末装置３が記憶する各レコードの内容を、上述した食品管理サーバー４と同様に適宜更新する。これにより、食品管理システム１０００は食品管理サーバー４を具備する必要がなくシステム構成が簡易となる。また、この構成の場合、アプリ実行部３０１は、食品認識部４０３として機能してもよい。
　例えば、冷蔵庫１の主箱体１０に形成される部屋の種類は、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５に限定されず、少なくてもよいし、さらに別の種類の部屋が形成されてもよい。また、冷蔵室１１の前面の開口部に設けられるドアの数は、１つでもよい。
　例えば、引出１４Ａ、１５Ａが備えるケースは、２段に限定されず、さらに多くても良い。この場合、あるケースが本開示の第１ケースに相当し、このあるケースの下段のケースが、本開示の第２ケースに相当する。
　例えば、カメラユニットプロセッサー２２０、端末プロセッサー３００、及びサーバープロセッサー４００は、単一のプロセッサーにより構成されてもよいし、複数のプロセッサーにより構成されていてもよい。
　図６、図７、及び図２６に示した各部は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、カメラユニット２、端末装置３、及び食品管理サーバー４の他の各部の具体的な細部構成についても、本開示の趣旨を逸脱しない範囲で任意に変更可能である。
　また、例えば、図１３、図１４、図２２、及び図２５に示す動作のステップ単位は、食品管理システム１０００の各部の動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本開示が限定されることはない。
　なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　以上のように、本発明に係るプログラム、端末装置、及び端末装置の制御方法は、引き出し式収容室が有するケースの画像を表示する用途に利用可能である。
　１　冷蔵庫（貯蔵庫）
　２　カメラユニット（撮影装置）
　３　端末装置
　４　食品管理サーバー
　１０　主箱体
　１０Ａ　前端縁
　１０Ｂ　上面
　１１　冷蔵室
　１１Ａ　左ドア
　１１Ｂ　右ドア
　１１Ｃ　ドア
　１２　製氷室（引き出し式収容室）
　１２Ａ、１３Ａ、１４Ａ、１５Ａ、１６Ａ　引出
　１３　新鮮凍結室（引き出し式収容室）
　１４　冷凍室（引き出し式収容室）
　１５　野菜室（引き出し式収容室）
　３２　タッチパネル（表示部）
　２０１　本体
　２０２　撮影部材
　２０３　冷蔵室用カメラ
　２０４　引出用カメラ
　２０５　位置規制部材
　２０６　底面
　２０７　マーク
　２１２　人感センサー（センサー）
　２１３　カメラ
　２２３　撮影制御部
　２２４　録画制御部
　２２５　食品検出部（物品検出部）
　２３１　録画ファイル
　３００　端末プロセッサー（コンピューター）
　３０１　アプリ実行部（表示制御部）
　３１１　食品管理アプリ（プログラム、アプリケーションプログラム）
　１０００　食品管理システム
　ＢＡ　分割エリア（エリア）
　ＦＧ、ＦＧ１　撮影食品画像（食品画像）
　ＧＣＡ　下段ケース（第２ケース）
　ＧＣＧ　下段ケース画像（第２ケース画像）
　ＪＣＡ　上段ケース（第１ケース）
　ＪＣＧ　上段ケース画像（第１ケース画像）
　ＭＩＣ　メモ入力アイコン（メモ入力画像）
　Ｐ　ユーザー
　ＲＧ　冷蔵室庫内画像（庫内画像）

Claims (8)

  1. 　表示部を備える端末装置のコンピューターを、
    　第１ケース、及び前記第１ケースの下段ケースである第２ケースを有する冷蔵庫の引出を撮影する引出用カメラの撮影画像を表示する表示制御部として機能させ、
    　前記表示制御部は、
    　前記第１ケースの前記撮影画像である第１ケース画像、及び前記第２ケースの前記撮影画像である第２ケース画像を表示可能であり、
    　前記第１ケース画像及び前記第２ケース画像の各々に対して、前記端末装置のユーザーからメモの入力を受け付け、
    　前記第１ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力画像を前記第１ケース画像に関連付けて表示し、
    　前記第２ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、前記メモ入力画像を前記第２ケース画像に関連付けて表示する、
    　プログラム。
  2. 　表示制御部は、
    　前記第２ケース画像に重畳して前記第１ケース画像を表示し、
    　前記第１ケース画像を移動させる操作を前記ユーザーから受け付けた場合、前記第１ケース画像を移動させて前記第２ケース画像を表示する、
    　請求項１に記載のプログラム。
  3. 　前記表示制御部は、
    　前記第１ケース画像に関連付けて前記メモ入力画像を表示している場合、前記第１ケース画像と共に前記メモ入力画像を移動させる、
    　請求項２に記載のプログラム。
  4. 　前記表示制御部は、
    　表示する撮影画像を前記第１ケース画像又は前記第２ケース画像に切り替える切替ボタンを表示し、
    　前記切替ボタンに対する操作に応じて、表示する撮影画像を前記第１ケース画像又は前記第２ケース画像に切り替える、
    　請求項１に記載のプログラム。
  5. 　前記第１ケース画像は、前記第１ケースが前記冷蔵庫に対して所定の閾値以上引き出された場合の前記撮影画像であり、
    　前記第２ケース画像は、前記第２ケースが前記冷蔵庫に対して所定の閾値以上引き出された場合の前記撮影画像である、
    　請求項１から４のいずれか一項に記載のプログラム。
  6. 　前記端末装置がインストール可能なアプリケーションプログラムである、
    　請求項１から５のいずれか一項に記載のプログラム。
  7. 　表示部と、
    　第１ケース、及び前記第１ケースの下段ケースである第２ケースを有する冷蔵庫の引出を撮影する引出用カメラの撮影画像を表示する表示制御部と、を備え、
    　前記表示制御部は、
    　前記第１ケースの前記撮影画像である第１ケース画像、及び前記第２ケースの前記撮影画像である第２ケース画像を表示可能であり、
    　前記第１ケース画像及び前記第２ケース画像の各々に対して、ユーザーからメモの入力を受け付け、
    　前記第１ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力画像を前記第１ケース画像に関連付けて表示し、
    　前記第２ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、前記メモ入力画像を前記第２ケース画像に関連付けて表示する、
    　端末装置。
  8. 　第１ケース、及び前記第１ケースの下段ケースである第２ケースを有する冷蔵庫の引出を撮影する引出用カメラの撮影画像を表示する端末装置の制御方法であって、
    　前記第１ケースの前記撮影画像である第１ケース画像、及び前記第２ケースの前記撮影画像である第２ケース画像を表示可能であり、
    　前記第１ケース画像及び前記第２ケース画像の各々に対して、前記端末装置のユーザーからメモの入力を受け付け、
    　前記第１ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、メモの入力を受け付けたことを示すメモ入力画像を前記第１ケース画像に関連付けて表示し、
    　前記第２ケース画像に対して前記ユーザーからメモの入力を受け付けた場合、前記メモ入力画像を前記第２ケース画像に関連付けて表示する、
    　端末装置の制御方法。
PCT/JP2021/042222 2021-02-25 2021-11-17 プログラム、端末装置、及び端末装置の制御方法 WO2022180951A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202180094504.2A CN116888416A (zh) 2021-02-25 2021-11-17 程序、终端装置和终端装置的控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-029013 2021-02-25
JP2021029013A JP7407383B2 (ja) 2021-02-25 2021-02-25 プログラム、端末装置、及び端末装置の制御方法

Publications (1)

Publication Number Publication Date
WO2022180951A1 true WO2022180951A1 (ja) 2022-09-01

Family

ID=83047924

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042222 WO2022180951A1 (ja) 2021-02-25 2021-11-17 プログラム、端末装置、及び端末装置の制御方法

Country Status (3)

Country Link
JP (2) JP7407383B2 (ja)
CN (1) CN116888416A (ja)
WO (1) WO2022180951A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018016054A1 (ja) * 2016-07-21 2018-01-25 三菱電機株式会社 冷蔵庫システム
JP2018124053A (ja) * 2018-02-20 2018-08-09 三菱電機株式会社 冷蔵庫
US20200088463A1 (en) * 2018-09-18 2020-03-19 Samsung Electronics Co., Ltd. Refrigerator and method of controlling thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104247445B (zh) * 2013-02-20 2018-10-12 松下电器（美国）知识产权公司 便携信息终端的控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018016054A1 (ja) * 2016-07-21 2018-01-25 三菱電機株式会社 冷蔵庫システム
JP2018124053A (ja) * 2018-02-20 2018-08-09 三菱電機株式会社 冷蔵庫
US20200088463A1 (en) * 2018-09-18 2020-03-19 Samsung Electronics Co., Ltd. Refrigerator and method of controlling thereof

Also Published As

Publication number Publication date
CN116888416A (zh) 2023-10-13
JP7407383B2 (ja) 2024-01-04
JP2023168435A (ja) 2023-11-24
JP2022130060A (ja) 2022-09-06

Similar Documents

Publication Publication Date Title
JP2024016290A (ja) 撮影装置
EP3001267B1 (en) Work management system and work management method
JP2023111969A (ja) 撮影装置、及び撮影装置の制御方法
JP7182139B2 (ja) 食品検出装置、及び食品管理システム
WO2022180951A1 (ja) プログラム、端末装置、及び端末装置の制御方法
WO2022180950A1 (ja) プログラム、端末装置、及び端末装置の制御方法
WO2022049921A1 (ja) 食品管理システム
WO2022049920A1 (ja) 食品管理システム、及び冷蔵庫
WO2023095536A1 (ja) 検出装置、検出装置の制御方法、及びプログラム
WO2023095526A1 (ja) プログラム、端末装置、およびレシピ表示システム
WO2023095533A1 (ja) 検出システム、プログラム及び入出庫管理方法
KR20020055517A (ko) 냉장고의 보관 리스트 작성 시스템 및 그 제어방법
JP2024058085A (ja) 物品管理システム、物品管理システムの制御方法、物品管理装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21928045

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180094504.2

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21928045

Country of ref document: EP

Kind code of ref document: A1