WO2023095533A1 - 検出システム、プログラム及び入出庫管理方法 - Google Patents

検出システム、プログラム及び入出庫管理方法 Download PDF

Info

Publication number
WO2023095533A1
WO2023095533A1 PCT/JP2022/040154 JP2022040154W WO2023095533A1 WO 2023095533 A1 WO2023095533 A1 WO 2023095533A1 JP 2022040154 W JP2022040154 W JP 2022040154W WO 2023095533 A1 WO2023095533 A1 WO 2023095533A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
article
refrigerator
image
unit
Prior art date
Application number
PCT/JP2022/040154
Other languages
English (en)
French (fr)
Inventor
愼一 堀井
拓 仮屋崎
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023095533A1 publication Critical patent/WO2023095533A1/ja

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices

Definitions

  • the present disclosure relates to a detection system, a program, and an incoming/outgoing management method.
  • Patent Document 1 an object passing through an opening provided in a containment chamber is detected by a passing object detection unit, an image is captured by a camera when the object is detected by the passing object detection unit, and an image obtained by the capturing.
  • a refrigerator that acquires information on articles stored in a storage room from a storage room.
  • the present disclosure provides a detection system, a program, and an entry/exit management method that can more reliably acquire information on articles entering or leaving the refrigerator.
  • a detection device is a detection system that includes a marker attached to an article and a detection device that detects the marker, and the detection device detects the refrigerator door when the refrigerator door is open.
  • a program causes a computer installed in a detection device that detects a marker attached to an article to store a range including at least a part of the interior of the refrigerator when the door of the refrigerator is open.
  • the image of the marker is detected from the photographed image by the photographing unit from above, and the article with the marker is stored in the warehouse based on the detected image of the marker, or A process of judging whether the article with the marker has been taken out of the warehouse is executed.
  • a warehouse entry/exit management method is a warehouse entry/exit management method for managing entry/exit of articles into/from a refrigerator, and includes at least part of the interior of the refrigerator when the door of the refrigerator is in an open state.
  • the range is photographed from above by the photographing unit, the image of the marker attached to the article is detected from the photographed image, and the article with the marker is detected based on the detected image of the marker. Entry into the warehouse or exit of the marked article from the warehouse is determined.
  • the detection system, program, and storage/delivery management method according to the present disclosure can more reliably acquire information on articles entering or leaving the refrigerator.
  • FIG. 1 is a diagram showing the configuration of an article management system
  • FIG. 2 is a front view of the detection device
  • FIG. 3 is a right side view of the detection device
  • FIG. 4 is a block diagram showing the configuration of the detection system
  • FIG. 5 is a diagram showing an example of a marker attached to an article
  • FIG. 6 is a block diagram showing the configuration of a terminal device and an article management server
  • FIG. 7 is a diagram showing an example of a record stored in an article management DB
  • FIG. 8 is a flow chart showing the operation of the detection device
  • FIG. 9 is an explanatory diagram explaining the detection area
  • FIG. 10 is an enlarged view of the detection area photographed in the recorded image.
  • FIG. 11 is an explanatory diagram for explaining the extraction range
  • FIG. 11 is an explanatory diagram for explaining the extraction range
  • FIG. 12 is an explanatory diagram for explaining entering/leaving judgment
  • FIG. 13 is an explanatory diagram for explaining the entering/leaving judgment
  • FIG. 14 is a flow chart showing the operation of the article management system
  • FIG. 15 is a flow chart showing the operation of the article management system
  • FIG. 16 is a diagram showing an example of an input screen
  • the present disclosure provides a detection system, a program, and an entry/exit management method that can more reliably acquire information on articles entering or leaving the refrigerator.
  • FIG. 1 is a diagram showing the configuration of an article management system 1000. As shown in FIG.
  • the article management system 1000 is a system for managing the name of the article BP, the storage start date and time of the article BP stored in the refrigerator compartment 11, and the like, for the article BP stored in the refrigerator compartment 11.
  • FIG. 1 is a diagram showing the configuration of an article management system 1000. As shown in FIG.
  • the article management system 1000 is a system for managing the name of the article BP, the storage start date and time of the article BP stored in the refrigerator compartment 11, and the like, for the article BP stored in the refrigerator compartment 11.
  • the goods BP include food and containers containing food.
  • the article BP managed by the article management system 1000 is an article with a marker MK attached.
  • the marker MK may be a marker printed on the article BP or a marker attached to the article BP.
  • the marker MK functions as a mark for making the attached article BP the object of management in the article management system 1000 .
  • the marker MK may be a two-dimensional code such as a QR code (registered trademark), a bar code, or a character string, and the specific mode is not limited.
  • An article management system 1000 includes a refrigerator 1 .
  • a refrigerator 1 has a main box body 10 with an open front surface.
  • a refrigerator compartment 11 an ice making compartment 12 , a fresh freezing compartment 13 , a freezing compartment 14 and a vegetable compartment 15 are formed in the main box body 10 .
  • a chilled compartment 11D is provided inside the refrigerator compartment 11.
  • the front opening of the refrigerator compartment 11 is provided with a rotary left door 11A and a rotary right door 11B.
  • the ice making compartment 12, the fresh freezing compartment 13, the freezing compartment 14, and the vegetable compartment 15 are provided with drawers 12A, 13A, 14A, and 15A, respectively, for storing articles BP.
  • the article management system 1000 includes a detection device 2.
  • the detection device 2 detects articles BP stored in the refrigerator 1 . Further, the detection device 2 detects the article BP that is delivered from the refrigerator 1 .
  • the detection device 2 is provided on an upper surface 10 ⁇ /b>A that is an upper portion of the main housing 10 of the refrigerator 1 .
  • An article management system 1000 includes a terminal device 3 .
  • the terminal device 3 is, for example, a smart phone or a tablet terminal.
  • the terminal device 3 is installed with an application program for managing the articles BP stored in the refrigerator compartment 11, and communicates with the article management server 4 by the function of this application program.
  • this application program is referred to as an "item management application” and denoted by "311".
  • the user P who is at home is indicated by a solid line
  • the user P who is out of the home H is indicated by a dotted line.
  • the terminal device 3 communicates with the article management server 4 via the communication device 5 or not via the communication device 5 by the function of the article management application 311 .
  • the function of the product management application 311 enables the terminal device 3 to access the article management server without the communication device 5 . Communicate with 4.
  • the communication device 5 connects to the communication network NW and communicates with the article management server 4 via the communication network NW.
  • the communication network NW is a network composed of a public line network, a leased line, other communication lines, and various types of communication equipment, and is not limited to specific aspects.
  • the communication network NW may be a wide area network.
  • the communication network NW may be configured to include at least one of a wireless communication circuit and a wired communication circuit.
  • the communication device 5 functions as an interface device for connecting the detection device 2 and the terminal device 3 to the communication network NW.
  • the item management system 1000 includes an item management server 4.
  • the article management server 4 is a server device that manages articles BP stored in the refrigerator compartment 11 .
  • the article management server 4 connects to the communication network NW.
  • the article management server 4 is represented by one block, but this does not necessarily mean that the article management server 4 is composed of a single server device.
  • the article management server 4 may be configured including a plurality of server devices with different processing contents.
  • FIG. 2 and 3 illustrate the X-axis, Y-axis, and Z-axis.
  • the X-axis, Y-axis, and Z-axis are orthogonal to each other.
  • the Z-axis indicates the vertical direction.
  • the X-axis and Y-axis are parallel to the horizontal direction.
  • the X-axis indicates the horizontal direction.
  • the Y-axis indicates the front-rear direction.
  • the positive direction of the X-axis indicates the right direction.
  • the positive direction of the Y-axis indicates the forward direction.
  • the positive direction of the Z-axis indicates the upward direction.
  • FIG. 2 is a front view of the refrigerator 1.
  • FIG. 3 is a right side view of the refrigerator 1 and the detection device 2.
  • FIG. Refrigerator 1 shown in FIG. 3 has drawer 15A in an open state, that is, in a drawn-out state.
  • the detection device 2 includes a refrigerator camera 27 and a drawer camera 28 .
  • a camera with a wider angle of view than the drawer camera 28 is used as the refrigerator compartment camera 27 .
  • Refrigerating-compartment camera 27 photographs the refrigerator 1 from the upper front to the lower in a state where detecting device 2 is installed on the upper portion of refrigerator 1 .
  • the refrigerator compartment camera 27 captures an image of a range including at least part of the interior of the refrigerator 1 from above.
  • the refrigerator camera 27 corresponds to the "shooting unit" of the present disclosure.
  • the photographing range of the refrigerator camera 27 includes the range A1 shown in FIG. 2 when viewed from the front side of the refrigerator 1 .
  • the range A1 is a range including the door pocket 111 of the door 11C and the opening of the refrigerator compartment 11 when the left door 11A and the right door 11B are open.
  • the shooting range of the refrigerator compartment camera 27 includes the range A3 shown in FIG. 3 when viewed from the right side of the refrigerator 1 .
  • Range A3 is a range that includes the open door 11C to the front end of the shelf 112 in the front-rear direction, and a range that includes the opening of the refrigerator compartment 11 in the vertical direction.
  • the drawer camera 28 photographs the lower front of the refrigerator 1 from the upper front.
  • the photographing range of the drawer camera 28 includes the range A2 shown in FIG. 2 when viewed from the front side of the refrigerator 1 .
  • Range A2 is a range including drawer 16A when viewed from the front side of refrigerator 1 .
  • the photographing range of the drawer camera 28 includes the range A4 shown in FIG. 3 when viewed from the right side of the refrigerator 1 .
  • Range A4 is a range including drawer 16A in the most pulled out state in the front-rear direction.
  • the detection device 2 includes a left door ranging sensor 23 , a right door ranging sensor 24 , and a drawer ranging sensor 25 .
  • the left door ranging sensor 23 is a ranging sensor.
  • the left door distance measuring sensor 23 detects the distance between the left door 11A and the left door distance measuring sensor 23 at a predetermined cycle, and outputs a detection value indicating the detected distance to the detector processor 20 .
  • the right door ranging sensor 24 is a ranging sensor.
  • the right door distance measuring sensor 24 detects the distance between the right door 11B and the right door distance measuring sensor 24 at a predetermined cycle, and outputs a detection value indicating the detected distance to the detector processor 20 .
  • the drawer ranging sensor 25 is a ranging sensor.
  • the drawer distance measuring sensor 25 detects the distance between the drawer 16A and the drawer distance measuring sensor 25 at a predetermined cycle, and outputs a detection value indicating the detected distance to the detector processor 20 .
  • the left door ranging sensor 23, right door ranging sensor 24, and drawer ranging sensor 25 may be optical ranging sensors or ultrasonic ranging sensors.
  • the detection device 2 includes a human sensor 26.
  • the human sensor 26 outputs a detection value to the detection device processor 20 at predetermined intervals.
  • the human sensor 26 may be an infrared sensor, an ultrasonic sensor, or a visible light sensor.
  • FIG. 4 is a block diagram showing the configuration of the detection system 100.
  • the detection system 100 includes a marker MK attached to the article BP and a detection device 2 that detects the marker MK.
  • the detection device 2 is a computer device comprising a detection device processor 20, which is a processor such as a CPU (Central Processing Unit) or MPC (Micro-processing unit), and a detection device memory 21, which is a memory for storing programs and data. .
  • the detection device memory 21 corresponds to the storage section of the present disclosure.
  • the detection device memory 21 has a non-volatile storage area. Further, the detection device memory 21 may be configured to include a volatile storage area in addition to the nonvolatile storage area.
  • the detector memory 21 stores programs executed by the detector processor 20 and data processed by the detector processor 20 .
  • the detecting device memory 21 stores a control program 211, a detecting device ID (Identification) 212, voice data 213, communication information 214, etc. as programs and data.
  • the detection device ID 212 is identification information of the detection device 2 .
  • Examples of the detection device ID 212 include a serial number and a manufacturing number.
  • the audio data 213 is audio data output by the speaker 29 from the notification unit 209 .
  • the communication information 214 may be, for example, address information such as an IP address used for communication with the article management server 4 , or may be the email address of the user P who owns the terminal device 3 .
  • the detector processor 20 includes a detector communication unit 22, a left door distance sensor 23, a right door distance sensor 24, a drawer distance sensor 25, a motion sensor 26, a refrigerator camera 27, and a drawer camera. 28 and a speaker 29 are connected. Devices other than these devices may be connected to detector processor 20 .
  • the detection device communication unit 22 is a communication device having a communication circuit, a connector, etc., conforming to a predetermined communication standard. communicate with the management server 4;
  • the communication standard used by the detecting device communication unit 22 is a wireless communication standard, but may be a wired communication standard.
  • the detecting device processor 20 reads out and executes a control program 211 stored in the detecting device memory 21, thereby performing a detecting device communication control unit 201, a human presence determination unit 202, an open/close determination unit 203, a photographing control unit 204, and a recording control. It functions as a unit 205 , a detection unit 206 , an entry/exit determination unit 207 , an acquisition unit 208 , a notification unit 209 and a generation unit 210 .
  • the entering/leaving determination unit 207 corresponds to the determination unit of the present disclosure.
  • the detection device communication control unit 201 communicates with the article management server 4 via the detection device communication unit 22 .
  • the person presence determination unit 202 determines whether or not a person exists around the refrigerator 1 based on the detection value output by the human sensor 26 . For example, when the human sensor 26 outputs a detection value equal to or greater than a predetermined value, the human presence determining unit 202 determines that a person exists around the refrigerator 1, and the human sensor 26 outputs a detection value lower than the predetermined value. If so, it is determined that there is no person around the refrigerator 1 . When the person presence determination unit 202 determines that a person exists around the refrigerator 1 , the person presence determination unit 202 outputs first presence information indicating that a person exists to the imaging control unit 204 . Further, when the person presence determination unit 202 determines that no person exists around the refrigerator 1 , the person presence determination unit 202 outputs second presence information indicating that no person exists to the imaging control unit 204 .
  • the open/close determination unit 203 determines whether the left door 11A is open or closed based on the detection value of the left door distance measuring sensor 23 .
  • the open/close determination unit 203 determines that the left door 11A is open when a detection value with a larger separation distance than the detection value corresponding to the closed state of the left door 11A is input from the left door ranging sensor 23 .
  • the open/close determination unit 203 determines whether the right door 11B is open or closed based on the detection value of the right door distance measuring sensor 24 .
  • the open/close determination unit 203 determines that the right door 11B is open when a detection value with a larger separation distance than the detection value corresponding to the closed state of the right door 11B is input from the right door distance measuring sensor 24 .
  • the open/close determination unit 203 determines whether the drawer 16A is open or closed according to the distance indicated by the detection value of the drawer distance measuring sensor 25 .
  • the open/close determination unit 203 determines that at least one of the left door 11A and the right door 11B is open, the first door open/close information indicating that the door 11C is open is sent to the recording control unit 205 and the notification unit. 209.
  • the open/close determination unit 203 determines that the left door 11A and the right door 11B are closed, the second door open/close information indicating that the left door 11A and the right door 11B are closed is sent to the recording control unit 205. Output.
  • the open/close determination unit 203 outputs the first drawer open/close information to the recording control unit 205 when determining that at least one of the drawers 16A is open.
  • the first drawer opening/closing information is information that notifies that at least one of the drawers 16A is in an open state.
  • the open/close determination unit 203 outputs the second drawer open/close information to the recording control unit 205 when determining that all the drawers 16A are closed.
  • the second drawer opening/closing information is information that notifies that all of the drawers 16A are closed.
  • the shooting control unit 204 causes the refrigerator camera 27 and the drawer camera 28 to start shooting. After the refrigerator camera 27 and the drawer camera 28 start photographing, the photographing control unit 204 causes the refrigerator camera 27 and the drawer camera 28 to photograph when the second presence information is input from the person presence determination unit 202 . terminate.
  • the recording control unit 205 When the first door open/close information is input from the open/close determination unit 203 , the recording control unit 205 records the captured image captured by the refrigerator camera 27 in the detection device memory 21 . That is, the recording control unit 205 starts recording.
  • the captured image recorded in the detector memory 21 is hereinafter referred to as a recorded image 215 .
  • the recording control unit 205 outputs recording start information indicating that recording has started to the notification unit 209 .
  • the recording control unit 205 finishes recording the captured image in the detection device memory 21 . That is, the recording control unit 205 ends recording. Further, when the first drawer opening/closing information is input from the opening/closing determination unit 203 , the recording control unit 205 records the captured image captured by the drawer camera 28 in the detection device memory 21 . Further, when the second drawer opening/closing information is input from the opening/closing determination unit 203, the recording control unit 205 ends the recording of the captured image captured by the drawer camera 28. FIG.
  • the detection unit 206 Based on the recorded image 215 recorded in the detection device memory 21 , the detection unit 206 detects the image of the marker MK attached to the article BP entering the refrigerating room 11 or the image of the article BP leaving the refrigerating room 11 . The image of the attached marker MK is detected. The details of the detection method of the detection unit 206 will be described later. When detecting the image of the marker MK, the detection unit 206 notifies the notification unit 209 of the detection of the image of the marker MK.
  • the entry/exit determination unit 207 performs entry/exit determination processing. Entry/exit determination processing is processing for determining whether the article BP with the image of the marker MK is stored in the refrigerating compartment 11 or taken out from the refrigerating compartment 11 .
  • the article BP is the article BP attached with the marker MK whose image is detected by the detection unit 206 .
  • the details of the determination method of the entering/leaving determination unit 207 will be described later.
  • the entering/leaving determination unit 207 outputs to the notification unit 209 that the entering/leaving determination process has ended.
  • the acquisition unit 208 analyzes the image of the marker MK detected by the detection unit 206 and acquires the marker ID 4123.
  • the marker ID 4123 is marker MK identification information given to the marker MK.
  • the obtaining unit 208 obtains the marker ID 4123 included in the QR code.
  • the acquisition unit 208 temporarily stores the acquired marker ID 4123 in the detection device memory 21 .
  • FIG. 5 is a diagram showing an example of the marker MK attached to the article BP.
  • the marker MK will be described with reference to FIG. FIG. 5 shows a case where the article BP is a food storage container, but the food itself may be the article BP and the food may be provided with a marker MK.
  • cooked food cooked by the user P is stored in the storage container.
  • the marker MK includes a background area MKA and a pattern image MKB formed within the background area MKA.
  • the background area MKA is a rectangular area, for example, an area formed in a single color.
  • the color of the background area MKA is preferably a color that does not hinder detection of the pattern image MKB when detecting the pattern image MKB from the recorded image 215 .
  • the pattern image MKB may be a two-dimensional code such as a QR code, or a one-dimensional code such as a barcode. Also, the production number attached to the packaging of the food may be used as the marker MK. Furthermore, a sticker printed with a serial number, which is the pattern image MKB, may be attached to the article BP and used as the marker MK.
  • the notification unit 209 makes various notifications by causing the speaker 29 to output the sound indicated by the audio data 213 stored in the detection device memory 21 .
  • the notification unit 209 notifies the user P when recording start information is input from the recording control unit 205 and the image of the marker MK is detected by the detection unit 206 . Further, the notification unit 209 notifies the user P when recording start information is input from the recording control unit 205 and the entering/leaving determination processing of the entering/leaving determination unit 207 is completed.
  • the generation unit 210 generates upload data.
  • the upload data is data to be uploaded to the article management server 4 .
  • the generation unit 210 causes the detection device communication control unit 201 to transmit the generated upload data to the article management server 4 .
  • FIG. 6 is a block diagram showing the configuration of the terminal device 3 and the article management server 4. As shown in FIG. First, the configuration of the article management server 4 will be described.
  • the article management server 4 includes a server processor 40 such as a CPU or MPC, a server memory 41 that stores programs and data, and a server communication unit 42 .
  • the server processor 40 functions as a server communication control unit 401 and a server processing unit 402 by reading and executing a control program 411 stored in the server memory 41 .
  • the server memory 41 stores programs executed by the server processor 40 and data processed by the server processor 40 .
  • the server memory 41 stores a control program 411 executed by the server processor 40, an article management DB (database) 412, and various other data.
  • the server memory 41 has a nonvolatile storage area.
  • the server memory 41 may also include a volatile storage area and constitute a work area for the server processor 40 .
  • FIG. 7 is a diagram showing an example of a record R stored in the article management DB 412.
  • One record R stored in the article management DB 412 has an account ID 4121, communication information 4122, detection device ID 212, and one or more sub-records SR.
  • Sub-record SR is a record stored within record R.
  • One sub-record SR has marker ID 4123 , article name information 4124 , accommodation area information 4125 , accommodation start date and time information 4126 , and article image data 4127 .
  • the account ID 4121 is identification information that identifies the account assigned to the user P who uses the article management application 311.
  • the communication information 4122 is address information such as an IP address used for communication with the terminal device 3 used by the user P.
  • the product name information 4124 is information indicating the product name, which is the name of the product BP.
  • the accommodation area information 4125 is information indicating the accommodation area.
  • the accommodation area indicated by the accommodation area information 4125 is the area in the refrigerator compartment 11 .
  • the accommodation area information 4125 of this embodiment indicates a number assigned to the accommodation area as the accommodation area.
  • the storage start date and time information 4126 is information indicating the date and time when the refrigerator compartment 11 was stored.
  • the article image data 4127 is the image data of the article image BPG, which is the image of the article BP.
  • the server communication unit 42 is a communication interface including a communication circuit or the like conforming to a predetermined communication standard, and communicates with devices connected to the communication network NW according to the predetermined communication standard. In this embodiment, the server communication unit 42 communicates with the detection device 2 and the terminal device 3 .
  • the server processor 40 functions as the server communication control unit 401 and the server processing unit 402.
  • the server communication control unit 401 communicates with the detection device 2 and the terminal device 3 via the server communication unit 42 .
  • the server processing unit 402 performs various information processing with the detection device 2 and the terminal device 3 as clients.
  • the terminal device 3 includes a terminal processor 30 such as a CPU or MPC, a terminal memory 31 that stores programs and data, a terminal communication unit 32 , and a touch panel 33 .
  • the terminal processor 30 functions as an application execution unit 300 by reading out and executing an article management application 311 stored in the terminal memory 31 .
  • the terminal memory 31 stores programs executed by the terminal processor 30 and data processed by the terminal processor 30 .
  • the terminal memory 31 stores an article management application 311 executed by the terminal processor 30 and various other data.
  • the terminal memory 31 has a nonvolatile storage area.
  • the terminal memory 31 may also include a volatile storage area and constitute a work area for the terminal processor 30 .
  • the terminal communication unit 32 is a communication interface having communication circuits, connectors, and the like conforming to a predetermined communication standard, and communicates with the article management server 4 under the control of the terminal processor 30 .
  • the communication standard used by the terminal communication unit 32 is exemplified by the wireless communication standard, but may be the wired communication standard.
  • the touch panel 33 includes a display panel such as a liquid crystal display panel, and a touch sensor provided over the display panel or integrally therewith.
  • the terminal processor 30 functions as the application executing section 300 .
  • Application execution unit 300 communicates with article management server 4 via terminal communication unit 32 .
  • the application execution unit 300 causes the touch panel 33 to display a user interface related to management of articles housed in the refrigerator 1 .
  • this user interface is referred to as "application UI” and denoted by "330".
  • the application execution unit 300 provides the user P with various information related to the goods BP stored in the refrigerator 1, and allows the user to make various inputs related to the goods BP stored in the refrigerator 1. received from P.
  • FIG. 8 is a flow chart showing the operation of the detection device 2. As shown in FIG.
  • the person presence determination unit 202 determines whether or not a person exists around the refrigerator 1 (step SA1).
  • the photographing control unit 204 causes the refrigerator camera 27 and the drawer camera 28 to start photographing (step SA2). ).
  • the open/close determination unit 203 determines whether or not the door 11C is opened (step SA3).
  • step SA3 determines that the door 11C is not in the open state (step SA3: NO)
  • the detection device processor 20 performs the process of step SA14.
  • step SA4 When the open/close determination unit 203 determines that the door 11C is open (step SA3: YES), the recording control unit 205 starts recording the image captured by the refrigerator camera 27 (step SA4).
  • the notification unit 209 notifies the user P that the detection of the article BP has started through the speaker 29 (step SA5).
  • the detection unit 206 determines whether or not the marker MK has been detected within the detection area TA based on the recorded image 215 whose recording has been started by the process of step SA4 (step SA6).
  • FIG. 9 is an explanatory diagram for explaining the detection area TA.
  • the detection area TA is an area within the front area MA formed in front of the chilled compartment 11D on the bottom surface inside the refrigerating compartment 11 .
  • the detection area TA of this embodiment is an area smaller than the front area MA, but may have the same area.
  • the detection unit 206 analyzes the recorded image 215 whose recording has started, and determines whether or not the marker MK has been detected within the detection area TA.
  • the detection unit 206 recognizes the marker MK appearing in the recorded image 215 from, for example, feature amounts such as shape and color. Note that FIG. 9 shows a case where the marker MK is not positioned within the detection area TA. Therefore, in the case shown in FIG. 9, the detection unit 206 determines that the marker MK is not detected within the detection area TA.
  • step SA6 when the detection unit 206 determines that the marker MK is not detected within the detection area TA (step SA6: NO), the process proceeds to step SA12.
  • step SA6 determines that the marker MK has been detected within the detection area TA (step SA6: YES), it reads the marker ID 4123 from the detected marker MK (step SA7).
  • the detection unit 206 cuts out the cutout range KH from the recorded image 215 (step SA8) to generate the article image BPG. That is, the image captured in the clipping range KH of the recorded image 215 becomes the article image BPG.
  • the cutout range KH will be described with reference to FIG.
  • FIG. 10 is an explanatory diagram for explaining the cutout range KH.
  • the detection unit 206 sets the extraction range KH based on the calculated coordinates of the four vertices C1, C2, C3, and C4, for example.
  • the detection unit 206 sets a coordinate range obtained by adding or subtracting a preset setting value to or from the coordinates of the four vertices C1, C2, C3, and C4 as the extraction range KH.
  • the cutout range KH may be larger or smaller than the background area MKA.
  • the preset setting values may differ between the vertical direction and the horizontal direction.
  • the detection unit 206 may generate a difference image between before the article BP is detected and after the article BP is detected, and set the range where the difference occurs in the image as the clipping range KH.
  • FIG. 11 illustrates a case where the cutout range KH is narrower than the detection area TA, but the cutout range KH may be the same area as the detection area TA.
  • the marker MK is detected within the detection area TA and the cutout range KH of the recorded image 215 is set. contains an image of the article BP, detection of the marker MK may begin.
  • the notification unit 209 notifies the user P that the article BP has been detected through the speaker 29 (step SA9).
  • the warehousing/leaving determination unit 207 performs warehousing/leaving determination based on the recorded image 215 recorded in the detection device memory 21 (step SA10).
  • the entry/exit determination in step SA10 is a process of determining whether the article BP of the article image BPG cut out in step SA8 is the article BP that has been stored in the refrigerator 1 or the article BP that has been taken out from the refrigerator 1. be.
  • the entering/leaving determination unit 207 analyzes the recorded image 215 and sets the first area R1, the second area R2, the third area R3, and the fourth area R4.
  • the first region R ⁇ b>1 is a region corresponding to the refrigerator compartment 11 .
  • the second area R2 is an area corresponding to the left door 11A.
  • the third region R3 is a region corresponding to the right door region 11B.
  • a fourth region R4 is a region corresponding to the outside of the refrigerator 1 .
  • FIG. 12 is an explanatory diagram for explaining entering/leaving determination, and is a diagram showing boundary lines among the first area R1, the second area R2, the third area R3, and the fourth area R4.
  • the range of the first region R1 in the recorded image 215 is always constant even if the opening degrees of the left door 11A and the right door 11B that are opened and closed by the user are different. Therefore, the entering/leaving determination unit 207 sets the preset range of the recorded image 215 to the first area R1.
  • Boundary lines 501 shown in FIG. 12 correspond to the boundaries between the first region R1, the second region R2, the third region R3 and the fourth region R4.
  • the second area R2 corresponding to the left door 11A and the third area R3 corresponding to the right door 11B are changed depending on the degree of opening of the left door 11A or the right door 11B opened and closed by the user. For this reason, the entering/leaving determination unit 207 detects, for example, the edges of the door pockets 111 provided on the left door 11A and the right door 11B, and based on the detected edges of the door pocket 111, the second region R2 and the third region R2 are detected. Set the range of region R3.
  • a mark or the like for identifying the door pocket 111 is arranged at the end of the door pocket 111 of the left door 11A or the right door 11B, and the entering/leaving determination unit 207 detects the position of the mark detected from the recorded image 215, You may set the range of 2nd area
  • the entering/leaving determination unit 207 sets a region other than the set first region R1, second region R2, and third region R3 as a fourth region R4 outside the refrigerator compartment 11 .
  • a boundary line 502 shown in FIG. 12 indicates the boundary of the second region R2, and a boundary line 503 indicates the boundary of the third region R3.
  • the entering/leaving determination unit 207 detects the trajectory of the moving marker MK by analyzing the recorded images 215 that are continuously shot.
  • the warehousing/dispatching determination unit 207 determines in which of the first region R1, the second region R2, and the third region R3 the trajectory of the detected marker MK ends, and determines in which region the article BP enters the warehouse. determine whether the In addition, the entering/leaving determination unit 207 determines that the article BP has been taken out of the refrigerator compartment 11 when the track of the detected marker MK ends in the fourth region R4.
  • FIG. 13 is a diagram for explaining the entering/leaving determination image HG.
  • the entering/leaving determination unit 207 may superimpose the entering/leaving determination image HG on the recorded image 215 to determine whether the article BP has entered or left the warehouse.
  • FIG. 13 shows a case where an entry/exit determination image HG is superimposed on a recorded image 215 photographing a scene in which an article BP with a marker MK is put into the refrigerator compartment 11 .
  • the entering/leaving determination image HG has a boundary line L1.
  • the boundary line L1 is a line that extends from the left end to the right end of the entering/leaving determination image HG in the figure, substantially in the center of the entering/leaving determination image HG.
  • Boundary line L ⁇ b>1 is located in front of refrigerator 1 from the opening of refrigerator compartment 11 captured by camera 27 for refrigerator compartment.
  • the image area of the entering/leaving determination image HG is divided into a first area HA1 and a second area HA2 by a boundary line L1.
  • the first area HA1 corresponds to the front side of the refrigerator 1 from the opening of the refrigerator compartment 11 captured by the refrigerator compartment camera 27 when the entry/exit determination image HG is superimposed on the recorded image 215 .
  • the second area HA2 corresponds to the rear side of the refrigerator 1 from the opening of the refrigerator compartment 11 captured by the refrigerator compartment camera 27 when the entry/exit determination image HG is superimposed on the recorded image 215 .
  • the entering/leaving determination unit 207 analyzes the recorded image 215 superimposed with the entering/leaving determination image HG to determine whether the marker MK detected in the detection area TA has moved to the first area HA1 or moved to the second area HA2. Determine if it has moved.
  • the entering/leaving determination unit 207 determines that the marker MK detected within the detection area TA has moved to the first area HA1
  • the article BP detected by the detection unit 206 is the article BP that has been delivered from the refrigerator compartment 11. I judge.
  • the entering/leaving determination unit 207 determines that the article BP detected by the detection unit 206 is the article BP stored in the refrigerator compartment 11. judge.
  • the entering/leaving determination unit 207 determines the accommodation area in which the goods BP have been stored.
  • the entry/exit determination unit 207 analyzes the recorded image 215 to identify the storage area of the refrigerator compartment 11 in which the article is stored. Then, the entering/leaving determination unit 207 determines the storage area in which the article BP is stored, based on the moving direction of the marker MK and the arrangement of the plurality of storage areas provided in the storage. For example, the tip of the shelf 112 of the refrigerator 1 on the side of the door 11C and each of the door pockets 111 are provided with marks for identifying storage areas.
  • the entry/exit determination unit 207 detects a mark for identifying a storage area from the recorded image 215, and identifies the storage area based on the positional relationship between the detected mark and the marker MK attached to the article BP.
  • the entering/leaving determination unit 207 may determine whether or not the article BP is an article that has been re-stored in the refrigerator 1 . For example, when user P takes food out of the refrigerator 1 for use, uses part of the food taken out, and restocks the remaining food in the refrigerator 1, or stores the food in the storage container that is the article BP. A case is assumed in which the food is used, the food is newly replenished in the storage container, and the food is restocked in the refrigerator 1 .
  • the entering/leaving determination unit 207 determines that the article BP is re-entered into the refrigerator 1. determined to have been In addition, in the warehousing/dispatching determination unit 207, the acquisition unit 208 acquires the same ID as the marker ID 4123 attached to the article BP determined to be out of the warehouse. It is determined that the item has been restocked within 1.
  • the entering/leaving determination unit 207 may cause the terminal device 3 to display a guide to inquire whether the food is new or not, via the article management server 4 .
  • the entering/leaving determination unit 207 outputs a voice from the speaker 29 inquiring whether or not the food is new, and causes the user P to operate the terminal device 3 to input a setting as to whether or not the article BP is new. You may let A display panel is provided in the detection device 2, and a remote control for operating the detection device 2 is provided, and a guidance for inquiring whether the food is new is displayed on the display panel, and the operation of the user P in response to this guidance is controlled by the remote control. may be accepted by
  • the entry/exit determination unit 207 determines that the article BP is stored in the warehouse, it stores the result of the determination of whether or not the article is received in the storage in the detection device memory 21 . In addition to the determination result, the entering/leaving determination unit 207 also obtains the marker ID 4123 of the article BP, the article image BPG obtained by cutting out the clipping range KH from the recorded image 215, and the storage area information 4125 indicating the storage area in which the article BP is stored. Stored in detector memory 21 . Further, when the entry/exit determination unit 207 determines that the article BP has been restocked in the refrigerator 1 , the determination result of restocking is stored in the detection device memory 21 .
  • the entry/exit determination unit 207 determines that the article BP has been delivered from the warehouse, it stores the determination result of the delivery determination in the detection device memory 21 .
  • the entering/leaving determination unit 207 causes the detector memory 21 to store the marker ID 4123 of the article BP and the article image BPG obtained by clipping the clipping range KH of the recorded image 215, in addition to this determination result.
  • the notification unit 209 notifies the user P through the speaker 29 that the detected article BP has been determined to be entering/leaving. (Step SA11).
  • the open/close determination unit 203 determines whether or not the door 11C that was open has closed (step SA12).
  • step SA12 NO
  • the detection device processor 20 shifts the process to step SA6.
  • step SA12 determines that the open door 11C is closed
  • step SA13 the recording control unit 205 finishes recording the captured image captured by the refrigerator camera 27.
  • the person presence determination unit 202 determines whether or not there is a person around the refrigerator 1 (step SA14).
  • step SA14 YES
  • the detection device processor 20 shifts the process to step SA3.
  • the photographing control unit 204 causes the refrigerator camera 27 and the drawer camera 28 to finish photographing. (Step SA15).
  • step SA15 After performing the processing of step SA15, the detection device processor 20 shifts the processing to step SA1 and performs the processing from step SA1 onwards again.
  • FIG. 14 is a flow chart showing the operation of the article management system 1000. As shown in FIG. In FIG. 14, a flowchart FB shows the operation of the detection device 2 and a flowchart FC shows the operation of the article management server 4 .
  • the generation unit 210 of the detection device 2 determines whether or not a trigger for transmitting the upload data to the article management server 4 has occurred (step SB1).
  • the entry/exit determination unit 207 causes the detection device memory 21 to store the determination result of the entry/exit determination process.
  • the trigger may be the completion of the recording of the image captured by the refrigerator camera 27, the arrival of the current time at a predetermined time, or the like.
  • the generation unit 210 determines whether the determination result of the warehousing/delivery determination process is warehousing or warehousing (step SB2).
  • the generation unit 210 generates the first upload data (step SB3).
  • the first upload data includes a marker ID 4123, an article image, storage area information 4125, and a detection device ID 212.
  • the generation unit 210 includes determination information of re-entry into the first upload data.
  • the generation unit 210 outputs the generated first upload data to the detection device communication control unit 201 .
  • the detecting device communication control section 201 transmits the input first upload data to the article management server 4 (step SB4). After that, the generation unit 210 proceeds to the determination of step SB7.
  • step SB5 when it is determined in step SB2 to indicate delivery (step SB2: delivery), the generation unit 210 generates second upload data (step SB5).
  • the second upload data includes the marker ID 4123, article image, and detection device ID 212.
  • the generation unit 210 outputs the generated second upload data to the detection device communication control unit 201 .
  • the detecting device communication control section 201 transmits the input second upload data to the article management server 4 (step SB6).
  • the generation unit 210 determines whether or not another determination result of the warehousing/delivery determination process is recorded in the detection device memory 21 (step SB7). If another determination result of the entering/leaving determination process is recorded in the detecting device memory 21 (step SB7: YES), the generation unit 210 returns the process to step SB2, and performs the processes after step SB2 again. On the other hand, when the other determination result of the entering/leaving determination process is not recorded in the detecting device memory 21 (step SB7: NO), the generation unit 210 returns the process to step SB1, and performs the process after step SB1 again. .
  • the server communication control unit 401 of the article management server 4 determines whether or not any one of the first upload data and the second upload data has been received (step SC1).
  • step SC1 determines that the upload data has not been received (step SC1: NO)
  • step SC1 determines that the upload data has not been received
  • step SC2 when the server communication control unit 401 determines that upload data has been received (step SC1: YES), the server processing unit 402 updates the article management DB 412 based on the upload data received by the server communication control unit 401. (Step SC2).
  • Step SC2 will be described in detail.
  • the server processing unit 402 identifies the record R having the detection device ID 212 included in the first upload data from the article management DB 412 .
  • the server processing unit 402 stores the next sub-record SR in the specified record R.
  • the stored sub-record SR contains marker ID 4123, accommodation area information 4125, and article image data 4127 included in the first upload data, blank article name information 4124, and accommodation start date/time information 4126 indicating the accommodation start date/time. Store in association.
  • the server processing unit 402 does not generate a new record R or sub-record SR when the first upload data includes determination information about restocking.
  • the server processing unit 402 acquires the marker ID 4123 from the first upload data and determines whether or not there is information for updating the sub-record SR corresponding to the acquired marker ID 4123 .
  • the server processing unit 402 updates the accommodation area information 4125 of the sub-record SR when the accommodation area is changed.
  • the server processing unit 402 When the upload data received by the server communication control unit 401 is the second upload data, the server processing unit 402 identifies the record R having the detection device ID 212 and the marker ID 4123 included in the second upload data from the article management DB 412. . Next, the server processing unit 402 deletes the sub-record SR having the marker ID 4123 included in the second upload data from the specified record R.
  • FIG. 15 is a flow chart showing the operation of the article management system 1000. As shown in FIG. In FIG. 15, a flow chart FD shows the operation of the article management server 4, and a flow chart FE shows the operation of the terminal device 3. FIG.
  • the server communication control unit 401 of the article management server 4 determines whether or not the new sub-record SR is stored in the article management DB 412 (step SD1).
  • the server communication control unit 401 of the article management server 4 determines that the sub-record SR is stored in the article management DB 412 (step SD1: YES), it transmits input screen data to the terminal device 3 (step SD2).
  • the input screen data is data for displaying the input screen NG on the application UI.
  • the input screen NG is a screen for accepting input of an article name, which is the name of the article BP.
  • Step SD2 will be explained.
  • the server communication control unit 401 generates display data including the marker ID 4123 and article image data 4127 included in the newly stored sub-record SR.
  • the server communication control unit 401 transmits the generated input screen data to the terminal device 3 based on the communication information 4122 of the record R to which the sub-record SR has been added.
  • the application execution unit 300 of the terminal device 3 receives input screen data from the article management server 4 (step SE1).
  • the application execution unit 300 causes the touch panel 33 to display the application UI 330 displaying the input screen NG (step SE2).
  • FIG. 16 is a diagram showing an example of an input screen NG.
  • the input screen NG displays an article image BPG.
  • the article image BPG displayed on the input screen NG is the article image BPG indicated by the article image data 4127 included in the new article notification information.
  • the input screen NG displays an input field NL for entering the product name.
  • the user P of the terminal device 3 inputs the product name in the input field NL displayed on the input screen NG.
  • the input screen NG in FIG. 16 illustrates a case where a product name such as a boiled egg is input in the input field NL.
  • the input screen NG displays the confirmation button B1.
  • the confirm button B1 is a software button for confirming the content entered in the input field NL.
  • step SE3 the update information transmitted in step SE3 includes article name information indicating the article name input on the input screen NG and the marker ID 4123 included in the input screen data.
  • the server communication control unit 401 of the article management server 4 receives update information from the terminal device 3 (step SD3).
  • the server processing unit 402 updates the article management DB 412 based on the update information received in step SD3 (step SD4).
  • Step SD4 will be described in detail.
  • the server processing unit 402 identifies the sub-record SR having the marker ID included in the update information from the item management DB 412 .
  • the server processing unit 402 updates the product name information 4124 of the specified sub-record SR to the product name information 4124 included in the update information.
  • the detection system 100 of this embodiment includes the marker MK attached to the article BP and the detection device 2 that detects the marker MK.
  • the detection device 2 includes a refrigerator camera 27 , a detection unit 206 and an entry/exit determination unit 207 .
  • the refrigerator compartment camera 27 photographs a range including the inside of the refrigerator 1 from above.
  • the detection unit 206 detects the image of the marker MK from the captured image captured by the refrigerator camera 27 . Based on the image of the marker MK detected by the detection unit 206, the entering/leaving determination unit 207 determines whether the article BP marked with the marker MK enters the warehouse or leaves the warehouse.
  • the article BP by detecting the image of the marker MK attached to the article BP, it is determined whether the article BP is entered into the warehouse or the article BP is taken out of the warehouse. For example, by attaching a different marker MK to each article BP, it is possible to enhance the judgment system of the article BP and more reliably acquire information on the article BP entering or leaving the refrigerator.
  • the detection unit 206 detects the marker MK within a preset detection area TA of the captured image.
  • the detection time of the marker MK can be shortened, and the processing load of the detection device 2 can be reduced.
  • the entering/leaving determination unit 207 determines whether the article BP has entered or left the warehouse based on the moving direction of the marker MK.
  • the entering/leaving determination unit 207 After detecting the marker MK in the detection area TA, the entering/leaving determination unit 207 detects the movement of the marker MK to the area of the photographed image corresponding to the door pocket 111 of the door 11C. It is determined that the article BP has entered the warehouse.
  • the entering/leaving determination unit 207 determines the storage area in which the article BP is stored based on the moving direction of the marker MK and the layout of the plurality of storage areas provided within the storage. Determine area.
  • the detector 2 comprises a detector memory 21 that stores communication information 214 .
  • the marker MK includes a rectangular background area MKA and a pattern image MKB formed in the background area MKA and corresponding to the identification information given to the marker.
  • the entering/leaving determination unit 207 calculates the area of the background area MKA photographed in the photographed images in the order in which the photographed images are photographed, and when no change is detected in the calculated area of the background area MKA, the area is determined by the image of the marker. The range of the captured image is cut out and the cut out image is transmitted to the destination indicated by the communication information 214 .
  • an image of the stationary article BP can be cut out and transmitted to the transmission destination of the communication information 214. For this reason, for example, by registering the IP address of the article management server 4 and the mail address of the user P who owns the terminal device 3 as the communication information 214, the image of the article BP stored in the refrigerator 1 can be displayed. can be confirmed.
  • the detection device 2 includes an acquisition unit 208 that acquires identification information corresponding to the pattern image MKB detected by the detection unit 206 .
  • the acquisition unit 208 acquires the same identification information within a preset set time
  • the entry/exit determination unit 207 determines that the detected article BP with the marker MK has entered the warehouse again.
  • the entering/leaving determination unit 207 determines that the article BP corresponding to the identification information is It is determined that the product has entered the warehouse again.
  • the first embodiment has been described as an example disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to embodiments with modifications, replacements, additions, omissions, and the like.
  • the detection device 2 may send the generated article image BPG to the email address of the user P as the communication information 214 .
  • the article image BPG is transmitted to the terminal device 3 without going through the article management server 4, and the time until the article image BPG is displayed on the terminal device 3 can be shortened.
  • the article management server 4 may also manage other items such as the remaining amount of the article BP, the expiry date of the article BP, and the expiration date of the article BP.
  • the article management server 4 sets a notification date to be notified to the user P based on the expiration date.
  • the notification date may be, for example, the same day as the expiration date, or may be the day before the expiration date.
  • the user P may operate the terminal device 3 to set the notification date for each article BP.
  • An article management server 4 causes a detection device 2 or a terminal device 3 to notify that there is an article BP for which the notification date has been set, when the food, which is the article BP, has not been taken out of the refrigerator 1 by the set notification date. .
  • the human presence determination unit 202 may perform determination based on detection values of an illuminance sensor, an electrostatic sensor provided in the grip of the refrigerator 1, or the like, instead of the human sensor 26.
  • FIG. In the case of this electrostatic sensor, the refrigerator 1 and the detection device 2 can communicate, and the refrigerator 1 transmits the detection value of the electrostatic sensor to the detection device 2 .
  • the terminal device 3 may store the record R.
  • the application execution unit 300 appropriately updates the contents of the record R stored in the terminal device 3 in the same manner as the article management server 4 described above.
  • the article management system 1000 does not need to have the article management server 4, and the system configuration is simplified.
  • the types of compartments formed in the main box body 10 of the refrigerator 1 include storage compartments other than the refrigerating compartment 11, the ice making compartment 12, the fresh freezing compartment 13, the freezing compartment 14, and the vegetable compartment 15.
  • the ice making compartment 12, the fresh freezing compartment 13, the freezing compartment 14, and the vegetable compartment 15 may be omitted.
  • the number of doors provided at the front opening of refrigerator compartment 11 may be one.
  • the detection device processor 20, the terminal processor 30, and the server processor 40 may be composed of a single processor, or may be composed of multiple processors.
  • Detector processor 20, terminal processor 30, and server processor 40 may be hardware programmed to implement the corresponding functional units. That is, the detection device processor 20, the terminal processor 30, and the server processor 40 are configured by, for example, ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the configuration of the detection device 2 shown in FIG. 4 and the configuration of the terminal device 3 and the article management server 4 shown in FIG. 6 are examples, and the specific implementation is not particularly limited. In other words, it is not always necessary to mount hardware corresponding to each part individually, and it is of course possible to adopt a configuration in which one processor executes a program to realize the function of each part. Further, part of the functions implemented by software in the above-described embodiments may be implemented by hardware, or part of the functions implemented by hardware may be implemented by software. In addition, the specific detailed configurations of other units of the detection device 2, the terminal device 3, and the article management server 4 can be arbitrarily changed within the scope of the present disclosure.
  • the operation step units shown in FIGS. 8, 14 and 15 are divided according to the main processing content in order to facilitate understanding of the operation. is not limited. It may be divided into more steps depending on the processing contents. Also, one step unit may be divided to include more processes. Also, the order of the steps may be changed as appropriate within the scope of the present disclosure.
  • the control program 211 executed by the detection device processor 20 can also be realized by recording the control program 211 on a portable information recording medium.
  • Information recording media include magnetic recording media such as hard disks, optical recording media such as CDs, semiconductor storage devices such as USB (Universal Serial Bus) memories and SSD (Solid State Drives), but other recording media It is also possible to use
  • the detection device, the control method of the detection device, and the program of the present disclosure can be used to detect articles being put in and out of the refrigerator.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Devices That Are Associated With Refrigeration Equipment (AREA)

Abstract

本開示は、冷蔵庫に入庫、又は冷蔵庫から出庫される物品の情報をより確実に取得することができる検出システム、プログラム及び入出庫管理方法を提供する。　検出システム１００は、物品に付されたマーカーＭＫと、マーカーＭＫを検出する検出装置２と、を備えるシステムであって、検出装置２は、冷蔵庫１のドアが開状態であるときに、冷蔵庫１の庫内の少なくとも一部を含む範囲を庫内の上方から撮影する冷蔵室用カメラ２７と、冷蔵室用カメラ２７が撮影した撮影画像からマーカーＭＫの画像を検出する検出部２０６と、検出部２０６が検出したマーカーＭＫの画像に基づき、マーカーＭＫが付された物品の庫内への入庫、又は、物品の庫内からの出庫を判定する入出庫判定部２０７と、を備える。

Description

検出システム、プログラム及び入出庫管理方法
　本開示は、検出システム、プログラム及び入出庫管理方法に関する。
　特許文献１は、収容室に設けられた開口部を通過する物体を通過物体検出部により検出し、通過物体検出部により物体が検出されたときにカメラによる撮像を行い、撮像により得られた画像から、収容室に入庫される物品の情報を取得する冷蔵庫を開示する。
特開２０１９－０７０４７６号公報
　本開示は、冷蔵庫に入庫、又は冷蔵庫から出庫される物品の情報をより確実に取得することができる検出システム、プログラム及び入出庫管理方法を提供する。
　この明細書には、２０２１年１１月２９日に出願された日本国特許出願・特願２０２１－１９３５８９号の全ての内容が含まれる。
　本開示における検出装置は、物品に付されたマーカーと、前記マーカーを検出する検出装置と、を備える検出システムであって、前記検出装置は、冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影する撮影部と、前記撮影部が撮影した撮影画像から前記マーカーの画像を検出する検出部と、前記検出部が検出した前記マーカーの画像に基づき、前記マーカーが付された物品の前記庫内への入庫、又は、前記物品の前記庫内からの出庫を判定する判定部と、を備える。
　本開示におけるプログラムは、物品に付されたマーカーを検出する検出装置に搭載されたコンピューターに、冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影部に撮影させ、撮影された撮影画像から前記マーカーの画像を検出し、検出した前記マーカーの画像に基づいて、前記マーカーが付された物品の庫内への入庫、又は、前記マーカーが付された物品の前記庫内からの出庫を判定する、処理を実行させる。
　本開示における入出庫管理方法は、冷蔵庫への物品の入出庫を管理する入出庫管理方法であって、前記冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影部に撮影させ、撮影された撮影画像から物品に付されたマーカーの画像を検出し、検出した前記マーカーの画像に基づいて、前記マーカーが付された物品の前記庫内への入庫、又は、前記マーカーが付された物品の前記庫内からの出庫を判定する。
　本開示における検出システム、プログラム及び入出庫管理方法は、冷蔵庫に入庫、又は冷蔵庫から出庫される物品の情報をより確実に取得することができる。
図１は、物品管理システムの構成を示す図 図２は、検出装置の正面図 図３は、検出装置の右側面図 図４は、検出システムの構成を示すブロック図 図５は、物品に付されたマーカーの一例を示す図 図６は、端末装置及び物品管理サーバの構成を示すブロック図 図７は、物品管理ＤＢが格納するレコードの一例を示す図 図８は、検出装置の動作を示すフローチャート 図９は、検出領域を説明する説明図 図１０は、録画画像に撮影された検出領域を拡大して表示した図 図１１は、切り出し範囲を説明する説明図 図１２は、入出庫判定を説明する説明図 図１３は、入出庫判定を説明する説明図 図１４は、物品管理システムの動作を示すフローチャート 図１５は、物品管理システムの動作を示すフローチャート 図１６は、入力画面の一例を示す図
　（本開示の基礎となった知見等）
　発明者らが本開示に想到するに至った当時、冷蔵庫に入出庫される物品を検出する技術があった。しかしながら、従来の技術では、冷蔵庫に入出庫される物品の情報をより確実に取得したいという課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
　そこで、本開示は、冷蔵庫に入庫、又は冷蔵庫から出庫される物品の情報をより確実に取得することができる検出システム、プログラム及び入出庫管理方法を提供する。
　以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
　なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。
　（実施の形態１）
　実施の形態１について説明する。
　［１．構成］
　［１－１．物品管理システムの構成］
　図１は、物品管理システム１０００の構成を示す図である。
　物品管理システム１０００は、冷蔵室１１が収容する物品ＢＰについて、物品ＢＰの名称や、冷蔵室１１に収容された収容開始日時などを管理するシステムである。
　本実施の形態において、物品ＢＰは、食品や、食品を収容する容器などを含む。また、本実施の形態において、物品管理システム１０００で管理される物品ＢＰは、マーカーＭＫが付された物品である。マーカーＭＫは、物品ＢＰに印刷されたマーカーでもよいし、物品ＢＰに貼り付けられたマーカーでもよい。マーカーＭＫは、付された物品ＢＰを、物品管理システム１０００において管理対象とするための目印として機能する。マーカーＭＫは、ＱＲコード（登録商標）などの２次元コードでもよいし、バーコードでもよいし、文字列でもよく、具体的な態様は制限されない。
　物品管理システム１０００は、冷蔵庫１を備える。冷蔵庫１は、前面が開口した主箱体１０を備える。主箱体１０には、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５が形成されている。冷蔵室１１内には、チルド室１１Ｄが設けられている。冷蔵室１１の前面の開口部には、回転式の左ドア１１Ａと回転式の右ドア１１Ｂとが設けられている。製氷室１２、新鮮凍結室１３、冷凍室１４、野菜室１５のそれぞれには、物品ＢＰを収容する引出１２Ａ、１３Ａ、１４Ａ、１５Ａがそれぞれ設けられている。
　以下の説明において、左ドア１１Ａ及び右ドア１１Ｂを区別しない場合、「ドア」といい「１１Ｃ」の符号を付す。また、以下の説明において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを区別しない場合、「引出」といい「１６Ａ」の符号を付す。
　物品管理システム１０００は、検出装置２を備える。検出装置２は、冷蔵庫１に入庫される物品ＢＰを検出する。また、検出装置２は、冷蔵庫１から出庫される物品ＢＰを検出する。検出装置２は、冷蔵庫１の主箱体１０の上部である上面１０Ａに設けられる。
　物品管理システム１０００は、端末装置３を備える。端末装置３は、例えばスマートフォンやタブレット端末である。端末装置３は、冷蔵室１１が収容する物品ＢＰを管理するためのアプリケーションプログラムがインストールされており、このアプリケーションプログラムの機能によって物品管理サーバ４と通信する。
　以下の説明では、このアプリケーションプログラムを、「物品管理アプリ」といい「３１１」の符号を付す。
　図１では、在宅するユーザＰを実線で示し、自宅Ｈから外出したユーザＰを点線で示している。端末装置３は、在宅するユーザＰに使用される場合、物品管理アプリ３１１の機能によって、通信装置５を介して、或いは通信装置５を介さずに、物品管理サーバ４と通信する。また、端末装置３は、自宅Ｈから外出したユーザＰに使用され、且つ、通信装置５と通信接続を確立できない場合、物品管理アプリ３１１の機能によって、通信装置５を介すことなく物品管理サーバ４と通信する。
　通信装置５は、通信ネットワークＮＷに接続し、通信ネットワークＮＷを介して物品管理サーバ４と通信する。通信ネットワークＮＷは、公衆回線網、専用線、その他の通信回線、及び、各種の通信設備で構成されるネットワークであり、具体的な態様は制限されない。例えば、通信ネットワークＮＷは、広域ネットワークでもよい。通信ネットワークＮＷは、無線通信回路及び有線通信回路の少なくともいずれかを含む構成でもよい。通信装置５は、検出装置２及び端末装置３を通信ネットワークＮＷに接続するためのインターフェイス装置として機能する。
　物品管理システム１０００は、物品管理サーバ４を備える。物品管理サーバ４は、冷蔵室１１が収容する物品ＢＰを管理するサーバ装置である。物品管理サーバ４は、通信ネットワークＮＷに接続する。なお、各図では、物品管理サーバ４を、１つのブロックによって表現するが、これは必ずしも物品管理サーバ４が単一のサーバ装置により構成されることを意味していない。例えば、物品管理サーバ４は、処理内容が異なる複数のサーバ装置を含んで構成されてもよい。
　［１－２．検出装置の構成］
　図２及び図３を参照して検出装置２について説明する。
　図２及び図３では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示す。Ｙ軸は前後方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。
　図２は、冷蔵庫１の正面図である。図２に示す冷蔵庫１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である。図３は、冷蔵庫１及び検出装置２の右側面図である。図３に示す冷蔵庫１は、引出１５Ａが、開状態、すなわち引き出された状態である。
　検出装置２は、冷蔵室用カメラ２７及び引出用カメラ２８を備える。
　冷蔵室用カメラ２７には、引出用カメラ２８よりも画角が広いカメラが用いられる。冷蔵室用カメラ２７は、検出装置２が冷蔵庫１の上部に設置された状態において、冷蔵庫１の前上方から下方を撮影する。冷蔵室用カメラ２７は、冷蔵庫１のドア１１Ｃが開状態であるときに、冷蔵庫１の庫内の少なくとも一部を含む範囲を庫内の上方から撮影する。冷蔵室用カメラ２７は、本開示の「撮影部」に相当する。
　例えば、冷蔵室用カメラ２７の撮影範囲は、冷蔵庫１の前方側からみて、図２に示す範囲Ａ１を含む。範囲Ａ１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である場合に、ドア１１Ｃのドアポケット１１１、及び冷蔵室１１の開口部を含む範囲である。また、冷蔵室用カメラ２７の撮影範囲は、冷蔵庫１の右方側からみて、図３に示す範囲Ａ３を含む。範囲Ａ３は、前後方向において、開状態のドア１１Ｃから棚１１２の前端部までを含む範囲であり、且つ、上下方向において、冷蔵室１１の開口部を含む範囲である。
　引出用カメラ２８は、冷蔵庫１の前上方から下方を撮影する。
　例えば、引出用カメラ２８の撮影範囲は、冷蔵庫１の前方側からみて、図２に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫１の前方側からみて、引出１６Ａを含む範囲である。また、例えば、引出用カメラ２８の撮影範囲は、冷蔵庫１の右方側からみて、図３に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、最も引き出された状態の引出１６Ａを含む範囲である。
　検出装置２は、左ドア用測距センサ２３、右ドア用測距センサ２４、及び引出用測距センサ２５を備える。
　左ドア用測距センサ２３は、測距センサである。左ドア用測距センサ２３は、所定の周期で、左ドア１１Ａと左ドア用測距センサ２３との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
　右ドア用測距センサ２４は、測距センサである。右ドア用測距センサ２４は、所定の周期で、右ドア１１Ｂと右ドア用測距センサ２４との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
　引出用測距センサ２５は、測距センサである。引出用測距センサ２５は、所定の周期で、引出１６Ａと引出用測距センサ２５との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
　左ドア用測距センサ２３、右ドア用測距センサ２４、及び引出用測距センサ２５は、光学式の測距センサでもよいし、超音波式の測距センサでもよい。
　検出装置２は、人感センサ２６を備える。人感センサ２６は、所定の周期で検出値を検出装置プロセッサ２０に出力する。人感センサ２６は、赤外線式のセンサでも、超音波式のセンサでも、可視光式のセンサでもよい。
　なお、図２及び図３における各カメラ及び各センサの並び順及び設置位置は、検出装置２の説明便宜のための図示されたものであり、各カメラ及び各センサの並び順及び設置位置は、図２及び図３が示す並び順及び設置位置に限定されない。
　図４は、検出システム１００の構成を示すブロック図である。
　検出システム１００は、物品ＢＰに付されたマーカーＭＫと、マーカーＭＫを検出する検出装置２と、を備える。
　検出装置２は、ＣＰＵ（Central Processing Unit）やＭＰＣ（Micro-processing unit）等のプロセッサである検出装置プロセッサ２０と、プログラムやデータを記憶するメモリである検出装置メモリ２１とを備えるコンピューター装置である。検出装置メモリ２１は、本開示の記憶部に相当する。
　検出装置メモリ２１は、不揮発性の記憶領域を有する。また、検出装置メモリ２１は、不揮発性の記憶領域に加え、揮発性の記憶領域を備える構成としてもよい。検出装置メモリ２１は、検出装置プロセッサ２０が実行するプログラムや、検出装置プロセッサ２０に処理されるデータを記憶する。検出装置メモリ２１は、プログラムやデータとして、制御プログラム２１１、検出装置ＩＤ（Identification）２１２、音声データ２１３、通信情報２１４等を記憶する。
　検出装置ＩＤ２１２は、検出装置２の識別情報である。検出装置ＩＤ２１２としては、シリアル番号や製造番号が例に挙げられる。
　音声データ２１３は、通知部２０９がスピーカ２９によって出力する音声のデータである。
　通信情報２１４は、例えば、物品管理サーバ４との通信に用いるＩＰアドレス等のアドレス情報であってもよいし、端末装置３を所持するユーザＰのメールアドレスであってもよい。
　検出装置プロセッサ２０には、検出装置通信ユニット２２、左ドア用測距センサ２３、右ドア用測距センサ２４、引出用測距センサ２５、人感センサ２６、冷蔵室用カメラ２７、引出用カメラ２８及びスピーカ２９が接続される。検出装置プロセッサ２０には、これらデバイス以外のデバイスが接続していてもよい。
　検出装置通信ユニット２２は、所定の通信規格に従った通信回路やコネクタなどを有する通信装置であり、検出装置プロセッサ２０の制御に従い、検出装置メモリ２１に記憶した通信情報２１４の通信先である物品管理サーバ４と通信する。本実施の形態では、検出装置通信ユニット２２が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。
　検出装置プロセッサ２０は、検出装置メモリ２１に記憶された制御プログラム２１１を読み出して実行することにより、検出装置通信制御部２０１、人物存在判定部２０２、開閉判定部２０３、撮影制御部２０４、録画制御部２０５、検出部２０６、入出庫判定部２０７、取得部２０８、通知部２０９及び生成部２１０として機能する。入出庫判定部２０７は、本開示の判定部に相当する。
　検出装置通信制御部２０１は、検出装置通信ユニット２２を介して、物品管理サーバ４と通信する。
　人物存在判定部２０２は、人感センサ２６が出力する検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判定する。例えば、人物存在判定部２０２は、所定値以上の検出値を人感センサ２６が出力した場合、冷蔵庫１の周辺に人が存在すると判定し、所定値を下回る検出値を人感センサ２６が出力した場合、冷蔵庫１の周辺に人が存在しないと判定する。人物存在判定部２０２は、冷蔵庫１の周辺に人が存在すると判定した場合、人が存在することを示す第１存在情報を撮影制御部２０４に出力する。また、人物存在判定部２０２は、冷蔵庫１の周辺に人が存在しないと判定した場合、人が存在しないことを示す第２存在情報を撮影制御部２０４に出力する。
　開閉判定部２０３は、左ドア用測距センサ２３の検出値に基づいて、左ドア１１Ａが開状態であるのか閉状態であるのかを判定する。開閉判定部２０３は、左ドア１１Ａが閉状態に対応する検出値より離間距離が大きい検出値を、左ドア用測距センサ２３から入力した場合、左ドア１１Ａが開状態であると判定する。
　開閉判定部２０３は、右ドア用測距センサ２４の検出値に基づいて、右ドア１１Ｂが開状態か閉状態かを判定する。開閉判定部２０３は、右ドア１１Ｂが閉状態に対応する検出値より離間距離が大きい検出値を、右ドア用測距センサ２４から入力した場合、右ドア１１Ｂが開状態であると判定する。
　また、開閉判定部２０３は、引出用測距センサ２５の検出値が示す離間距離に応じて、引出１６Ａが開状態であるのか閉状態であるのかを判定する。
　開閉判定部２０３は、左ドア１１Ａ及び右ドア１１Ｂの少なくとも一方が開状態であると判定した場合、ドア１１Ｃが開状態であることを示す第１ドア開閉情報を、録画制御部２０５及び通知部２０９に出力する。開閉判定部２０３は、左ドア１１Ａ及び右ドア１１Ｂが閉状態であると判定した場合、左ドア１１Ａ及び右ドア１１Ｂが閉状態であることを示す第２ドア開閉情報を、録画制御部２０５に出力する。
　開閉判定部２０３は、引出１６Ａの少なくとも一方が開状態であると判定した場合、第１引出開閉情報を録画制御部２０５に出力する。第１引出開閉情報は、引出１６Ａの少なくとも一方が開状態であることを通知する情報である。
　開閉判定部２０３は、引出１６Ａのいずれも閉状態であると判定した場合、第２引出開閉情報を録画制御部２０５に出力する。第２引出開閉情報は、引出１６Ａのいずれもが閉状態であることを通知する情報である。
　撮影制御部２０４は、人物存在判定部２０２から第１存在情報が入力されると、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を開始させる。撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８の撮影開始後、人物存在判定部２０２から第２存在情報が入力されると、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を終了させる。
　録画制御部２０５は、開閉判定部２０３から第１ドア開閉情報が入力されると、冷蔵室用カメラ２７が撮影した撮影画像を検出装置メモリ２１に記録する。すなわち、録画制御部２０５は、録画を開始する。検出装置メモリ２１に記録した撮影画像を、以下、録画画像２１５という。録画制御部２０５は、録画を開始すると、録画を開始したことを示す録画開始情報を通知部２０９に出力する。
　録画制御部２０５は、開閉判定部２０３から第２ドア開閉情報が入力されると、撮影画像の検出装置メモリ２１への記録を終了する。すなわち、録画制御部２０５は、録画を終了する。
　また、録画制御部２０５は、開閉判定部２０３から第１引出開閉情報が入力されると、引出用カメラ２８が撮影した撮影画像を検出装置メモリ２１に記録する。また、録画制御部２０５は、開閉判定部２０３から第２引出開閉情報が入力されると、引出用カメラ２８が撮影した撮影画像の録画を終了する。
　検出部２０６は、検出装置メモリ２１に記録された録画画像２１５に基づいて、冷蔵室１１に入庫される物品ＢＰに付されたマーカーＭＫの画像、又は、冷蔵室１１から出庫される物品ＢＰに付されたマーカーＭＫの画像を検出する。検出部２０６の検出方法の詳細については後述する。検出部２０６は、マーカーＭＫの画像を検出した場合、マーカーＭＫの画像を検出したことを通知部２０９に通知する。
　入出庫判定部２０７は、入出庫判定処理を行う。入出庫判定処理は、マーカーＭＫの画像が付された物品ＢＰが冷蔵室１１に入庫されたのか、冷蔵室１１から出庫されたのかを判定する処理である。物品ＢＰは、検出部２０６が、画像を検出したマーカーＭＫが付された物品ＢＰである。入出庫判定部２０７の判定方法の詳細については後述する。入出庫判定部２０７は、入出庫判定処理が終了すると、入出庫判定処理が終了したことを通知部２０９に出力する。
　取得部２０８は、検出部２０６が検出したマーカーＭＫの画像を解析して、マーカーＩＤ４１２３を取得する。マーカーＩＤ４１２３は、マーカーＭＫに付与されたマーカーＭＫの識別情報である。例えば、マーカーＭＫの画像がＱＲコード等の二次元コードである場合、取得部２０８は、ＱＲコードに含まれるマーカーＩＤ４１２３を取得する。取得部２０８は、取得したマーカーＩＤ４１２３を検出装置メモリ２１に一時的に記憶させる。
　図５は、物品ＢＰに付されたマーカーＭＫの一例を示す図である。
　ここで、図５を参照しながらマーカーＭＫについて説明する。図５には、物品ＢＰが食品の保存容器である場合を示すが、食材自体を物品ＢＰとし、食材にマーカーＭＫを付与してもよい。保存容器の中には、例えば、ユーザＰが調理した調理済みの料理が保存される。
　マーカーＭＫは、背景領域ＭＫＡと、背景領域ＭＫＡ内に形成されたパターン画像ＭＫＢとを含む。背景領域ＭＫＡは、矩形の領域であって、例えば、単色で形成された領域である。背景領域ＭＫＡの色は、録画画像２１５からパターン画像ＭＫＢを検出するときに、パターン画像ＭＫＢの検出を阻害しない色が好ましい。
　パターン画像ＭＫＢは、ＱＲコード等の二次元コードであってもよいし、バーコード等の一次元コードであってもよい。また、食品の包装に付された製造番号をマーカーＭＫとして使用してもよい。さらに、パターン画像ＭＫＢであるシリアル番号が印刷されたシールを物品ＢＰに貼り付けてマーカーＭＫとして用いてもよい。
　通知部２０９は、検出装置メモリ２１に記憶されている音声データ２１３が示す音声をスピーカ２９に出力させることで、各種の通知を行う。通知部２０９は、録画制御部２０５から録画開始情報が入力され、検出部２０６によりマーカーＭＫの画像が検出されると、ユーザＰに通知を行う。また、通知部２０９は、録画制御部２０５から録画開始情報が入力され、入出庫判定部２０７の入出庫判定処理が終了すると、ユーザＰに通知を行う。
　生成部２１０は、アップロードデータを生成する。アップロードデータは、物品管理サーバ４にアップロードする対象のデータである。生成部２１０は、検出装置通信制御部２０１に、生成したアップロードデータを物品管理サーバ４に送信させる。
　［１－３．物品管理サーバの構成］
　図６は、端末装置３及び物品管理サーバ４の構成を示すブロック図である。
　まず、物品管理サーバ４の構成について説明する。
　物品管理サーバ４は、ＣＰＵやＭＰＣ等のプロセッサであるサーバプロセッサ４０、プログラムやデータを記憶するメモリであるサーバメモリ４１、及びサーバ通信ユニット４２を備える。
　サーバプロセッサ４０は、サーバメモリ４１が記憶する制御プログラム４１１を読み出して実行することにより、サーバ通信制御部４０１及びサーバ処理部４０２として機能する。
　サーバメモリ４１は、サーバプロセッサ４０が実行するプログラムや、サーバプロセッサ４０に処理されるデータを記憶する。サーバメモリ４１は、サーバプロセッサ４０が実行する制御プログラム４１１、物品管理ＤＢ（database）４１２、その他の各種データを記憶する。サーバメモリ４１は、不揮発性の記憶領域を有する。また、サーバメモリ４１は、揮発性の記憶領域を備え、サーバプロセッサ４０のワークエリアを構成してもよい。
　図７は、物品管理ＤＢ４１２が格納するレコードＲの一例を示す図である。
　物品管理ＤＢ４１２が格納する１件のレコードＲは、アカウントＩＤ４１２１と、通信情報４１２２、検出装置ＩＤ２１２、及び、１又は複数のサブレコードＳＲを有する。サブレコードＳＲは、レコードＲ内に格納されるレコードである。１件のサブレコードＳＲは、マーカーＩＤ４１２３、物品名情報４１２４、収容エリア情報４１２５、収容開始日時情報４１２６、及び物品画像データ４１２７を有する。
　アカウントＩＤ４１２１は、物品管理アプリ３１１を利用するユーザＰに割り当てられたアカウントを識別する識別情報である。
　通信情報４１２２は、ユーザＰが使用する端末装置３と通信に使用するＩＰアドレス等のアドレス情報である。
　物品名情報４１２４は、物品ＢＰの名称である物品名を示す情報である。
　収容エリア情報４１２５は、収容エリアを示す情報である。収容エリア情報４１２５が示す収容エリアは、冷蔵室１１におけるエリアである。本実施形態の収容エリア情報４１２５は、収容エリアとして、収容エリアに割り当てられた数字を示す。
　収容開始日時情報４１２６は、冷蔵室１１に収容された日時を示す情報である。
　物品画像データ４１２７は、物品ＢＰの画像である物品画像ＢＰＧの画像データである。
　図６の説明に戻り、サーバ通信ユニット４２は、所定の通信規格に従った通信回路などを備える通信インターフェイスであり、所定の通信規格に従って通信ネットワークＮＷと接続する機器と通信する。本実施形態においてサーバ通信ユニット４２は、検出装置２及び端末装置３と通信する。
　上述したように、サーバプロセッサ４０は、サーバ通信制御部４０１及びサーバ処理部４０２として機能する。
　サーバ通信制御部４０１は、サーバ通信ユニット４２を介して、検出装置２及び端末装置３と通信する。
　サーバ処理部４０２は、検出装置２及び端末装置３をクライアントとして各種の情報処理を行う。
　［１－４．端末装置の構成］
　次に、端末装置３の機能的構成について説明する。
　端末装置３は、ＣＰＵやＭＰＣ等のプロセッサである端末プロセッサ３０、プログラムやデータを記憶するメモリである端末メモリ３１、端末通信ユニット３２、及び、タッチパネル３３を備える。
　端末プロセッサ３０は、端末メモリ３１が記憶する物品管理アプリ３１１を読み出して実行することにより、アプリ実行部３００として機能する。
　端末メモリ３１は、端末プロセッサ３０が実行するプログラムや、端末プロセッサ３０に処理されるデータを記憶する。端末メモリ３１は、端末プロセッサ３０が実行する物品管理アプリ３１１、その他の各種データを記憶する。端末メモリ３１は、不揮発性の記憶領域を有する。また、端末メモリ３１は、揮発性の記憶領域を備え、端末プロセッサ３０のワークエリアを構成してもよい。
　端末通信ユニット３２は、所定の通信規格に従った通信回路やコネクタなどを有する通信インターフェイスであり、端末プロセッサ３０の制御に従って物品管理サーバ４と通信する。本実施の形態では、端末通信ユニット３２が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。
　タッチパネル３３は、液晶表示パネル等の表示パネルと、表示パネルに重ねて、或いは一体に設けられたタッチセンサーとを備える。
　上述した通り、端末プロセッサ３０は、アプリ実行部３００として機能する。
　アプリ実行部３００は、端末通信ユニット３２を介して、物品管理サーバ４と通信する。
　また、アプリ実行部３００は、冷蔵庫１が収容する物品の管理に係るユーザーインターフェースを、タッチパネル３３に表示させる。以下の説明において、このユーザーインターフェースを、「アプリＵＩ」といい「３３０」の符号を付す。アプリ実行部３００は、アプリＵＩ３３０をタッチパネル３３に表示させることで、冷蔵庫１が収容する物品ＢＰに係る各種情報をユーザＰに提供し、また、冷蔵庫１が収容する物品ＢＰに係る各種入力をユーザＰから受け付ける。
　［２．動作］
　次に、物品管理システム１０００の各部の動作について説明する。
　［２－１．物品の検出に係わる動作］
　まず、冷蔵室１１に入出庫される物品ＢＰの検出に係わる動作について説明する。
　図８は、検出装置２の動作を示すフローチャートである。
　人物存在判定部２０２は、冷蔵庫１の周辺に人が存在するか否かを判定する（ステップＳＡ１）。
　人物存在判定部２０２が、冷蔵庫１の周辺に人が存在すると判別した場合（ステップＳＡ１：ＹＥＳ）、撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を開始させる（ステップＳＡ２）。
　次いで、開閉判定部２０３は、ドア１１Ｃが開状態になったか否かを判定する（ステップＳＡ３）。
　開閉判定部２０３が、ドア１１Ｃが開状態になっていないと判定した場合（ステップＳＡ３：ＮＯ）、検出装置プロセッサ２０は、ステップＳＡ１４の処理を行う。
　開閉判定部２０３が、ドア１１Ｃが開状態になったと判定した場合（ステップＳＡ３：ＹＥＳ）、録画制御部２０５は、冷蔵室用カメラ２７が撮影した撮影画像の録画を開始する（ステップＳＡ４）。
　次いで、通知部２０９は、スピーカ２９によって、物品ＢＰの検出を開始したことをユーザＰに通知する（ステップＳＡ５）。
　次いで、検出部２０６は、ステップＳＡ４の処理によって記録が開始された録画画像２１５に基づいて、検出領域ＴＡ内においてマーカーＭＫを検出したか否かを判定する（ステップＳＡ６）。
　図９を参照して、検出領域ＴＡについて説明する。
　図９は、検出領域ＴＡを説明する説明図である。
　検出領域ＴＡは、冷蔵室１１内の底面においてチルド室１１Ｄの前方に形成された前方領域ＭＡ内の領域である。本実施形態の検出領域ＴＡは、前方領域ＭＡより面積の小さい領域を例示するが、同じ面積でもよい。
　検出部２０６は、記録が開始された録画画像２１５を解析して、検出領域ＴＡ内においてマーカーＭＫを検出したか否かを判定する。検出部２０６は、例えば、形状や色などの特徴量から録画画像２１５に写るマーカーＭＫを認識する。なお、図９は、マーカーＭＫが検出領域ＴＡ内に位置していない場合を示している。従って、図９に示す場合では、検出部２０６は、検出領域ＴＡ内においてマーカーＭＫを検出していないと判定する。
　図８のフローチャートの説明に戻り、検出部２０６は、検出領域ＴＡ内においてマーカーＭＫを検出していないと判定した場合（ステップＳＡ６：ＮＯ）、処理をステップＳＡ１２に移す。
　一方、検出部２０６は、検出領域ＴＡ内においてマーカーＭＫを検出したと判定した場合（ステップＳＡ６：ＹＥＳ）、検出したマーカーＭＫからマーカーＩＤ４１２３を読み出す（ステップＳＡ７）。
　次いで、検出部２０６は、録画画像２１５から切り出し範囲ＫＨを切り出して（ステップＳＡ８）、物品画像ＢＰＧを生成する。すなわち、録画画像２１５の切り出し範囲ＫＨに撮像された画像が、物品画像ＢＰＧとなる。切り出し範囲ＫＨについて図１０を参照して説明する。
　図１０は、切り出し範囲ＫＨを説明する説明図である。
　検出部２０６は、例えば、算出済みの４頂点Ｃ１、Ｃ２、Ｃ３及びＣ４の座標に基づいて切り出し範囲ＫＨを設定する。例えば、検出部２０６は、４頂点Ｃ１、Ｃ２、Ｃ３及びＣ４の座標に、予め設定された設定値を加算又は減算した座標の範囲を切り出し範囲ＫＨに設定する。このとき、切り出し範囲ＫＨは、背景領域ＭＫＡよりも大きくても小さくてもよい。また、予め設定された設定値は、縦方向と横方向とで値が異なっていてもよい。
　また、検出部２０６は、物品ＢＰが検出される前と、物品ＢＰが検出された後との差分画像を生成し、画像に差が生じた範囲を切り出し範囲ＫＨに設定してもよい。
　また、図１１では、切り出し範囲ＫＨが検出領域ＴＡより狭い範囲である場合を例示しているが、切り出し範囲ＫＨは、検出領域ＴＡと同じ領域としてもよい。
　また、本実施形態では、検出領域ＴＡ内においてマーカーＭＫを検出して、録画画像２１５の切り出し範囲ＫＨを設定したが、録画画像２１５から検出領域ＴＡを切り出し、切り出した検出領域ＴＡの録画画像２１５に物品ＢＰの画像が含まれている場合に、マーカーＭＫの検出を開始してもよい。
　図８のフローチャートの説明に戻り、検出部２０６が物品画像ＢＰＧを切り出すと、通知部２０９は、物品ＢＰを検出したことを、スピーカ２９によってユーザＰに通知する（ステップＳＡ９）。
　次いで、入出庫判定部２０７は、検出装置メモリ２１に記録した録画画像２１５に基づいて、入出庫判定を行う（ステップＳＡ１０）。
　ステップＳＡ１０の入出庫判定は、ステップＳＡ８で切り出された物品画像ＢＰＧの物品ＢＰが、冷蔵庫１に入庫された物品ＢＰであるのか、冷蔵庫１から出庫された物品ＢＰであるのかを判定する処理である。
　入出庫判定部２０７は、録画画像２１５を画像解析して第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４を設定する。第１領域Ｒ１は、冷蔵室１１に対応する領域である。第２領域Ｒ２は、左ドア１１Ａに対応する領域である。第３領域Ｒ３は、右ドア領域１１Ｂに対応する領域である。第４領域Ｒ４は、冷蔵庫１の庫外に対応する領域である。
　図１２は、入出庫判定を説明する説明図であり、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４の境界線を示す図である。
　冷蔵室１１に対応する第１領域Ｒ１は、ユーザが開閉する左ドア１１Ａや右ドア１１Ｂの開度が異なっても、録画画像２１５における第１領域Ｒ１の範囲は常に一定である。このため、入出庫判定部２０７は、録画画像２１５の予め設定された範囲を第１領域Ｒ１に設定する。図１２に示す境界線５０１が、第１領域Ｒ１と、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４との境界に対応する。
　また、左ドア１１Ａに対応する第２領域Ｒ２や、右ドア１１Ｂに対応する第３領域Ｒ３は、ユーザが開閉する左ドア１１Ａや右ドア１１Ｂの開度によって領域が変更される。このため、入出庫判定部２０７は、例えば、左ドア１１Ａや、右ドア１１Ｂに設けられたドアポケット１１１のエッジを検出し、検出したドアポケット１１１のエッジに基づいて第２領域Ｒ２及び第３領域Ｒ３の範囲を設定する。また、左ドア１１Ａや右ドア１１Ｂのドアポケット１１１の端部に、ドアポケット１１１を識別するマーク等を配置し、入出庫判定部２０７は、録画画像２１５から検出したマークの位置に基づいて第２領域Ｒ２及び第３領域Ｒ３の範囲を設定してもよい。また、入出庫判定部２０７は、設定した第１領域Ｒ１、第２領域Ｒ２及び第３領域Ｒ３以外の領域を、冷蔵室１１の庫外である第４領域Ｒ４に設定する。図１２に示す境界線５０２が第２領域Ｒ２の境界を示し、境界線５０３が第３領域Ｒ３の境界を示す。
　入出庫判定部２０７は、連続して撮影された録画画像２１５を解析することで、移動するマーカーＭＫの軌跡を検出する。入出庫判定部２０７は、検出したマーカーＭＫの軌跡が、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３のいずれの領域で終了したのかを判定して、物品ＢＰがいずれの領域に入庫されたのかを判定する。また、入出庫判定部２０７は、検出したマーカーＭＫの軌跡が、第４領域Ｒ４で終了した場合、物品ＢＰが冷蔵室１１の庫外に取り出されたと判定する。
　図１３は、入出庫判定画像ＨＧを説明するための図である。
　また、入出庫判定部２０７は、録画画像２１５に入出庫判定画像ＨＧを重畳させて、物品ＢＰの入庫と、出庫を判定してもよい。
　図１３には、マーカーＭＫが付された物品ＢＰを冷蔵室１１に入庫させるシーンを撮影した録画画像２１５に、入出庫判定画像ＨＧを重畳した場合を示す。
　入出庫判定画像ＨＧは、境界線Ｌ１を有する。
　境界線Ｌ１は、入出庫判定画像ＨＧの図中略中央において、入出庫判定画像ＨＧの図中左端から右端まで延びる線である。境界線Ｌ１は、冷蔵室用カメラ２７の撮影結果に写る冷蔵室１１の開口部より冷蔵庫１の前方に位置する。
　入出庫判定画像ＨＧの画像領域は、境界線Ｌ１によって、第１領域ＨＡ１と第２領域ＨＡ２とに分割される。第１領域ＨＡ１は、録画画像２１５に入出庫判定画像ＨＧが重畳された際、冷蔵室用カメラ２７の撮影結果に写る冷蔵室１１の開口部より冷蔵庫１の前方側に対応する。第２領域ＨＡ２は、録画画像２１５に入出庫判定画像ＨＧが重畳された際、冷蔵室用カメラ２７の撮影結果に写る冷蔵室１１の開口部より冷蔵庫１の後方側に対応する。
　入出庫判定部２０７は、入出庫判定画像ＨＧが重畳された録画画像２１５を解析することで、検出領域ＴＡで検出されたマーカーＭＫが、第１領域ＨＡ１に移動したのか、第２領域ＨＡ２に移動したのかを判定する。入出庫判定部２０７は、検出領域ＴＡ内で検出されたマーカーＭＫが第１領域ＨＡ１に移動したと判定した場合、検出部２０６が検出した物品ＢＰが冷蔵室１１から出庫された物品ＢＰであると判定する。一方、入出庫判定部２０７は、検出領域ＴＡ内で検出されたマーカーＭＫが第２領域ＨＡ２に移動した場合、検出部２０６が検出した物品ＢＰが冷蔵室１１に入庫された物品ＢＰであると判定する。
　入出庫判定部２０７は、物品ＢＰが庫内に入庫されたと判定した場合、物品ＢＰが入庫された収容エリアを判定する。入出庫判定部２０７は、録画画像２１５を解析して、物品が入庫された冷蔵室１１の収容エリアを特定する。そして、入出庫判定部２０７は、マーカーＭＫの移動方向と、庫内に複数設けられた収容エリアの庫内における配置と、に基づき、物品ＢＰが収容された収容エリアを判定する。
　例えば、冷蔵庫１の棚１１２のドア１１Ｃ側の先端や、ドアポケット１１１の各々には、収容エリアを識別するマークが付されている。入出庫判定部２０７は、録画画像２１５から収容エリアを識別するマークを検出し、検出したマークと、物品ＢＰに付されたマーカーＭＫとの位置関係に基づいて、収容エリアを特定する。
　また、入出庫判定部２０７は、物品ＢＰが冷蔵庫１の庫内に再入庫された物品であるか否かを判定してもよい。例えば、ユーザＰが使用するために冷蔵庫１から食材を取り出し、取り出した食材の一部を使用して、残った食材を冷蔵庫１に再入庫させる場合や、物品ＢＰである保存容器内に保存した食材を使用し、保存容器内に新たに食材を補充して冷蔵庫１に再入庫させる場合が想定される。
　入出庫判定部２０７は、取得部２０８により取得済みのマーカーＩＤ４１２３と同一のマーカーＩＤを、予め設定された設定時間内に再度、取得部２０８が取得した場合、物品ＢＰが冷蔵庫１内に再入庫されたと判定する。また、入出庫判定部２０７は、出庫と判定した物品ＢＰに付されたマーカーＩＤ４１２３と同一のＩＤを取得部２０８が取得し、入出庫判定処理の判定結果が入庫である場合、物品ＢＰが冷蔵庫１内に再入庫されたと判定する。
　このとき、入出庫判定部２０７は、食品が新しくなったか否かを問い合わせる案内を、物品管理サーバ４を介して端末装置３に表示させてもよい。また、入出庫判定部２０７は、スピーカ２９から食品が新しくなったか否かを問い合わせる音声を出力し、ユーザＰに、端末装置３を操作させて、物品ＢＰが新しくなったか否かの設定を入力させてもよい。また、検出装置２に表示パネルを設けると共に、検出装置２を操作するリモコンを設けて、表示パネルに、食品が新しくなったか否かを問い合わせる案内を表示させ、この案内に対するユーザＰの操作をリモコンにより受け付けてもよい。
　入出庫判定部２０７は、庫内に物品ＢＰが入庫されたと判定した場合、入庫判定との判定結果を検出装置メモリ２１に記憶させる。入出庫判定部２０７は、この判定結果の他に、物品ＢＰのマーカーＩＤ４１２３や、録画画像２１５から切り出し範囲ＫＨを切り出した物品画像ＢＰＧ、物品ＢＰが収容された収納エリアを示す収容エリア情報４１２５を検出装置メモリ２１に記憶させる。また、入出庫判定部２０７は、物品ＢＰが冷蔵庫１内に再入庫されたと判定した場合、再入庫との判定結果を検出装置メモリ２１に記憶させる。
　また、入出庫判定部２０７は、庫内から物品ＢＰが出庫されたと判定した場合、出庫判定との判定結果を検出装置メモリ２１に記憶させる。入出庫判定部２０７は、この判定結果の他に、物品ＢＰのマーカーＩＤ４１２３や、録画画像２１５の切り出し範囲ＫＨを切り出した物品画像ＢＰＧを検出装置メモリ２１に記憶させる。
　図８のフローチャートの説明に戻り、入出庫判定部２０７が入出庫判定を行うと、通知部２０９は、検出された物品ＢＰの入出庫が判定されたことを、スピーカ２９によってユーザＰに通知する（ステップＳＡ１１）。
　次いで、開閉判定部２０３は、開いていたドア１１Ｃが閉状態になったか否かを判定する（ステップＳＡ１２）。
　開閉判定部２０３が、開いていたドア１１Ｃが閉状態になっていないと判定した場合（ステップＳＡ１２：ＮＯ）、検出装置プロセッサ２０は、処理をステップＳＡ６に移す。
　一方、開閉判定部２０３が、開いていたドア１１Ｃが閉状態になったと判定した場合（ステップＳＡ１２：ＹＥＳ）、録画制御部２０５は、冷蔵室用カメラ２７が撮影した撮影画像の録画を終了する（ステップＳＡ１３）。
　次いで、人物存在判定部２０２は、冷蔵庫１の周辺に人が存在するか否かを判定する（ステップＳＡ１４）。
　人物存在判定部２０２が、冷蔵庫１の周辺に人が存在すると判定した場合（ステップＳＡ１４：ＹＥＳ）、検出装置プロセッサ２０は、処理をステップＳＡ３に移す。
　一方、人物存在判定部２０２が、冷蔵庫１の周辺に人が存在しないと判定した場合（ステップＳＡ１４：ＮＯ）、撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を終了させる（ステップＳＡ１５）。
　検出装置プロセッサ２０は、ステップＳＡ１５の処理を行うと、処理をステップＳＡ１に移し、再度、ステップＳＡ１以降の処理を行う。
　［２－２．アップロードデータの送信に係わる動作］
　次に、アップロードデータの送信に係わる物品管理システム１０００の動作について説明する。
　図１４は、物品管理システム１０００の動作を示すフローチャートである。
　図１４において、フローチャートＦＢは検出装置２の動作を示し、フローチャートＦＣは物品管理サーバ４の動作を示す。
　フローチャートＦＢで示すように、検出装置２の生成部２１０は、アップロードデータを物品管理サーバ４に送信するトリガーが発生したか否かを判定する（ステップＳＢ１）。
　アップロードデータを送信するトリガーとして、入出庫判定部２０７が、入出庫判定処理の判定結果を検出装置メモリ２１に記憶させたこと、が挙げられる。この他に、冷蔵室用カメラ２７の撮影画像の録画が終了したことや、現在時刻が予め定められた時刻に至ったこと等をトリガーとしてもよい。
　生成部２１０は、トリガーが発生した場合（ステップＳＢ１：ＹＥＳ）、入出庫判定処理の判定結果が入庫であるのか、出庫であるのかを判定する（ステップＳＢ２）。生成部２１０は、入出庫判定処理の判定結果が入庫である場合（ステップＳＢ：入庫）、第１アップロードデータを生成する（ステップＳＢ３）。第１アップロードデータには、マーカーＩＤ４１２３や、物品画像、収容エリア情報４１２５、検出装置ＩＤ２１２が含まれる。また、入出庫判定処理により再入庫と判定された場合、生成部２１０は、再入庫との判定情報を第１アップロードデータに含ませる。
　生成部２１０は、生成した第１アップロードデータを検出装置通信制御部２０１に出力する。検出装置通信制御部２０１は、入力された第１アップロードデータを物品管理サーバ４に送信する（ステップＳＢ４）。その後、生成部２１０は、ステップＳＢ７の判定に移行する。
　また、ステップＳＢ２において、出庫を示すと判定した場合（ステップＳＢ２：出庫）、生成部２１０は、第２アップロードデータを生成する（ステップＳＢ５）。第２アップロードデータには、マーカーＩＤ４１２３や、物品画像、検出装置ＩＤ２１２が含まれる。
　生成部２１０は、生成した第２アップロードデータを検出装置通信制御部２０１に出力する。検出装置通信制御部２０１は、入力された第２アップロードデータを物品管理サーバ４に送信する（ステップＳＢ６）。
　次いで、生成部２１０は、入出庫判定処理の他の判定結果が検出装置メモリ２１に記録されているか否かを判定する（ステップＳＢ７）。生成部２１０は、入出庫判定処理の他の判定結果が検出装置メモリ２１に記録されている場合（ステップＳＢ７：ＹＥＳ）、処理をステップＳＢ２に戻し、再度、ステップＳＢ２以降の処理を行う。一方、生成部２１０は、入出庫判定処理の他の判定結果が検出装置メモリ２１に記録されていない場合（ステップＳＢ７：ＮＯ）、処理をステップＳＢ１に戻し、再度、ステップＳＢ１以降の処理を行う。
　次に、物品管理サーバ４の動作を、フローチャートＦＣを参照しながら説明する。物品管理サーバ４のサーバ通信制御部４０１は、第１アップロードデータ及び第２アップロードデータのいずれかのアップロードデータを受信したか否かを判定する（ステップＳＣ１）。
　サーバ通信制御部４０１は、アップロードデータを受信していないと判定した場合（ステップＳＣ１：ＮＯ）、再度、ステップＳＣ１の判定を行う。
　一方、サーバ通信制御部４０１が、アップロードデータを受信したと判定した場合（ステップＳＣ１：ＹＥＳ）、サーバ処理部４０２は、サーバ通信制御部４０１が受信したアップロードデータに基づいて物品管理ＤＢ４１２を更新する（ステップＳＣ２）。
　ステップＳＣ２について詳述する。
　サーバ通信制御部４０１が受信したアップロードデータが第１アップロードデータである場合、サーバ処理部４０２は、第１アップロードデータに含まれる検出装置ＩＤ２１２を有するレコードＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したレコードＲに対して、次のサブレコードＳＲを格納する。格納されるサブレコードＳＲは、第１アップロードデータに含まれるマーカーＩＤ４１２３、収容エリア情報４１２５、及び物品画像データ４１２７と、ブランクの物品名情報４１２４と、収容開始日時を示す収容開始日時情報４１２６とを対応付けて格納する。
　また、サーバ処理部４０２は、第１アップロードデータに再入庫との判定情報が含まれる場合、新たなレコードＲや、サブレコードＳＲの生成は行わない。この場合、サーバ処理部４０２は、第１アップロードデータからマーカーＩＤ４１２３を取得し、取得したマーカーＩＤ４１２３に対応するサブレコードＳＲを更新する情報があるか否かを判定する。例えば、サーバ処理部４０２は、収容エリアが変更された場合には、サブレコードＳＲの収容エリア情報４１２５を更新する。
　サーバ通信制御部４０１が受信したアップロードデータが第２アップロードデータである場合、サーバ処理部４０２は、第２アップロードデータに含まれる検出装置ＩＤ２１２とマーカーＩＤ４１２３とを有するレコードＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したレコードＲから、第２アップロードデータに含まれるマーカーＩＤ４１２３を有するサブレコードＳＲを消去する。
　［２－３．物品名の登録に係わる動作］
　次に、物品名の登録に係わる物品管理システム１０００の動作について説明する。
　図１５は、物品管理システム１０００の動作を示すフローチャートである。
　図１５において、フローチャートＦＤは物品管理サーバ４の動作を示し、フローチャートＦＥは端末装置３の動作を示す。
　フローチャートＦＤで示すように、物品管理サーバ４のサーバ通信制御部４０１は、新たなサブレコードＳＲが物品管理ＤＢ４１２に格納されたか否かを判定する（ステップＳＤ１）。
　物品管理サーバ４のサーバ通信制御部４０１は、サブレコードＳＲが物品管理ＤＢ４１２に格納されたと判定した場合（ステップＳＤ１：ＹＥＳ）、入力画面データを端末装置３に送信する（ステップＳＤ２）。
　入力画面データは、入力画面ＮＧをアプリＵＩにおいて表示させるデータである。入力画面ＮＧは、物品ＢＰの名称である物品名の入力を受け付ける画面である。
　ステップＳＤ２について説明する。
　サーバ通信制御部４０１は、新たに格納されたサブレコードＳＲに含まれるマーカーＩＤ４１２３と物品画像データ４１２７とを含む表示データを生成する。次いで、サーバ通信制御部４０１は、サブレコードＳＲが追加されたレコードＲが有する通信情報４１２２に基づいて、生成した入力画面データを端末装置３に送信する。
　フローチャートＦＥで示すように、端末装置３のアプリ実行部３００は、物品管理サーバ４から入力画面データを受信する（ステップＳＥ１）。
　次いで、アプリ実行部３００は、入力画面ＮＧを表示したアプリＵＩ３３０をタッチパネル３３に表示させる（ステップＳＥ２）。
　図１６は、入力画面ＮＧの一例を示す図である。
　入力画面ＮＧは、物品画像ＢＰＧを表示する。入力画面ＮＧが表示する物品画像ＢＰＧは、新規物品通知情報に含まれる物品画像データ４１２７が示す物品画像ＢＰＧである。
　入力画面ＮＧは、物品名を入力する入力欄ＮＬを表示する。入力画面ＮＧが表示する入力欄ＮＬには、端末装置３のユーザＰによって物品名が入力される。図１６の入力画面ＮＧでは、ゆで卵との物品名が入力欄ＮＬに入力されている場合を例示している。
　入力画面ＮＧは、確定ボタンＢ１を表示する。確定ボタンＢ１は、入力欄ＮＬに入力された内容を確定するためのソフトウェアボタンである。
　図１５のフローチャートの説明に戻り、アプリ実行部３００は、ユーザＰによって物品名が入力され（ステップＳＸ１）、ユーザＰによって確定ボタンＢ１が操作されると（ステップＳＣ３）、更新情報を物品管理サーバ４に送信する（ステップＳＥ３）。ステップＳＥ３で送信される更新情報には、入力画面ＮＧで入力された物品名を示す物品名情報、及び入力画面データに含まれるマーカーＩＤ４１２３を含む。
　フローチャートＦＤで示すように、物品管理サーバ４のサーバ通信制御部４０１は、端末装置３から更新情報を受信する（ステップＳＤ３）。
　次いで、サーバ処理部４０２は、ステップＳＤ３で受信された更新情報に基づいて物品管理ＤＢ４１２を更新する（ステップＳＤ４）。
　ステップＳＤ４について詳述する。
　サーバ処理部４０２は、更新情報に含まれるマーカーＩＤを有するサブレコードＳＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したサブレコードＳＲの物品名情報４１２４を、更新情報が含む物品名情報４１２４に更新する。
　［３．効果等］
　以上説明したように本実施形態の検出システム１００は、物品ＢＰに付されたマーカーＭＫと、マーカーＭＫを検出する検出装置２と、を備える。
　検出装置２は、冷蔵室用カメラ２７、検出部２０６及び入出庫判定部２０７を備える。
　冷蔵室用カメラ２７は、冷蔵庫１のドア１１Ｃが開状態であるときに、冷蔵庫１の庫内を含む範囲を庫内の上方から撮影する。
　検出部２０６は、冷蔵室用カメラ２７が撮影した撮影画像からマーカーＭＫの画像を検出する。
　入出庫判定部２０７は、検出部２０６が検出したマーカーＭＫの画像に基づき、マーカーＭＫが付された物品ＢＰの庫内への入庫、又は、物品ＢＰの庫内からの出庫を判定する。
　従って、物品ＢＰに付されたマーカーＭＫの画像を検出することで、物品ＢＰの庫内への入庫、又は、物品ＢＰの庫内からの出庫が判定される。例えば、物品ＢＰごとに異なるマーカーＭＫを付することで、物品ＢＰの判定制度を高め、冷蔵庫に入庫、又は冷蔵庫から出庫される物品ＢＰの情報をより確実に取得することができる。
　検出部２０６は、撮影画像の予め設定された検出領域ＴＡ内においてマーカーＭＫを検出する。
　従って、マーカーＭＫの検出時間を短縮し、検出装置２の処理負荷を軽減することができる。
　入出庫判定部２０７は、検出領域ＴＡ内においてマーカーＭＫを検出後、マーカーＭＫの移動方向に基づいて物品ＢＰが庫内に入庫したのか、庫内から出庫したのかを判定する。
　従って、マーカーＭＫが付された物品ＢＰが冷蔵庫１の庫内に入庫されたのか、庫内から出庫したのかを判定することができる。
　入出庫判定部２０７は、検出領域ＴＡ内においてマーカーＭＫを検出後、ドア１１Ｃのドアポケット１１１に対応する撮影画像の領域内へのマーカーＭＫの移動が検出された場合、マーカーＭＫが付された物品ＢＰが庫内に入庫したと判定する。
　従って、マーカーＭＫが付された物品ＢＰのドアポケット１１１への収容を精度よく検出することができる。
　入出庫判定部２０７は、検出領域ＴＡにおいてマーカーＭＫを検出後、マーカーＭＫの移動方向と、庫内に複数設けられた収容エリアの庫内における配置と、に基づき、物品ＢＰが収容された収容エリアを判定する。
　従って、マーカーＭＫが付された物品ＢＰが、冷蔵庫１の庫内に複数設けられた収容エリアのどこに収容されたのかを判定することができる。
　検出装置２は、通信情報２１４を記憶する検出装置メモリ２１を備える。
　マーカーＭＫは、矩形形状の背景領域ＭＫＡと、背景領域ＭＫＡ内に形成され、マーカーに付与された識別情報に対応したパターン画像ＭＫＢと、を含む。
　入出庫判定部２０７は、撮影画像に撮影された背景領域ＭＫＡの面積を、撮影画像の撮影順に算出し、算出した背景領域ＭＫＡの面積に変化が検出されなくなると、マーカーの画像により決定される撮影画像の範囲を切り出し、切り出した画像を、通信情報２１４が示す送信先に送信する。
　従って、静止した物品ＢＰの画像を切り出して、通信情報２１４の送信先に送信することができる。このため、例えば、通信情報２１４として、物品管理サーバ４のＩＰアドレスや、端末装置３を所持するユーザＰのメールアドレスを登録しておくことで、冷蔵庫１内に収容された物品ＢＰの画像を確認することができる。
　検出装置２は、検出部２０６が検出したパターン画像ＭＫＢに対応した識別情報を取得する取得部２０８を備える。
　入出庫判定部２０７は、予め設定された設定時間内に取得部２０８が同一の識別情報を取得した場合、検出したマーカーＭＫが付された物品ＢＰが再度、庫内に入庫したと判定する。
　従って、冷蔵庫１内から取り出された物品ＢＰの庫内への再入庫を判定することができる。
　また、入出庫判定部２０７は、取得部２０８が取得した識別情報が、出庫と判定した物品ＢＰに付されたマーカーＭＫから検出した識別情報と同一である場合、識別情報に対応した物品ＢＰが再度、庫内に入庫したと判定する。
　従って、冷蔵庫１内から取り出された物品ＢＰの庫内への再入庫を判定することができる。
　（他の実施の形態）
　以上のように、本出願において開示する例示として、上記実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
　そこで、以下、他の実施の形態を例示する。
　例えば、検出装置２は、録画画像２１５から切り出し範囲ＫＨを切り出して物品画像ＢＰＧを生成すると、生成した物品画像ＢＰＧを、通信情報２１４としてのユーザＰのメールアドレス宛てに送信してもよい。これにより物品画像ＢＰＧが物品管理サーバ４を介することなく、端末装置３に送信され、端末装置３に物品画像ＢＰＧが表示されるまでの時間を短縮させることができる。
　また、物品管理サーバ４は、収容開始日時以外に、物品ＢＰの残量や、物品ＢＰの消費期限日、物品ＢＰの賞味期限日などの他の項目も管理してもよい。
　物品管理サーバ４は、消費期限日に基づき、ユーザＰに通知する通知日を設定する。通知日は、例えば、消費期限日と同日であってもよいし、消費期限日の前日であってもよい。また、ユーザＰが端末装置３を操作して、物品ＢＰごとに通知日を設定してもよい。
　物品管理サーバ４は、設定された通知日までに、物品ＢＰである食品が冷蔵庫１から出庫されていない場合、通知日となった物品ＢＰがあることを検出装置２や端末装置３により通知させる。
　上述した実施の形態では、人物存在判定部２０２が人感センサ２６の検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判定する構成を例示した。しかしながら、人物存在判定部２０２は、人感センサ２６の代わりに、照度センサや、冷蔵庫１の把持部に設けられる静電センサ等の検出値に基づいて判定してもよい。この静電センサの場合、冷蔵庫１と検出装置２とが通信可能であり、冷蔵庫１は、静電センサの検出値を検出装置２に送信する。
　上述した実施の形態では、物品ＢＰの冷蔵庫１の庫内への入庫と、庫内からの出庫とを判定したが、物品ＢＰが新鮮凍結室１３や冷凍室１４、野菜室１５等のいずれに入庫されたのかを録画画像２１５から判定することもできる。また、カメラの設置位置や、設置台数を変更することで、これら新鮮凍結室１３や冷凍室１４、野菜室１５のいずれに物品ＢＰが保存されたのかの判定精度を高めることも可能である。
　他の実施の形態では、レコードＲを端末装置３が記憶してもよい。この構成の場合、アプリ実行部３００は、端末装置３が記憶するレコードＲの内容を、上述した物品管理サーバ４と同様に適宜更新する。これにより、物品管理システム１０００は物品管理サーバ４を具備する必要がなくシステム構成が簡易となる。
　他の実施の形態では、冷蔵庫１の主箱体１０に形成される部屋の種類は、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５以外の収容室があってもよいし、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５の少なくともいずれかがなくてもよい。また、他の実施の形態では、冷蔵室１１の前面の開口部に設けられるドアの数は、１つでもよい。
　例えば、検出装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。検出装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、検出装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）で構成される。
　図４に示した検出装置２の構成、及び図６に示した端末装置３及び物品管理サーバ４の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、検出装置２、端末装置３、及び物品管理サーバ４の他の各部の具体的な細部構成についても、本開示の趣旨を逸脱しない範囲で任意に変更可能である。
　図８、図１４及び図１５に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、動作が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本開示の趣旨に支障のない範囲で適宜に入れ替えてもよい。
　検出装置プロセッサ２０が実行する制御プログラム２１１は、可搬型の情報記録媒体に制御プログラム２１１を記録させた状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、ＣＤ等の光学的記録媒体、ＵＳＢ（Universal Serial Bus）メモリやＳＳＤ（Solid State Drive）等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。
　なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示の検出装置、検出装置の制御方法、及びプログラムは、冷蔵庫に入出庫される物品を検出する用途に利用可能である。
　１　冷蔵庫
　２　検出装置
　５　通信装置
　１１　冷蔵室
　１１Ｃ　ドア
　２０　検出装置プロセッサ
　２７　冷蔵室用カメラ
　２９　スピーカ
　２０２　人物存在判定部
　２０３　開閉判定部
　２０４　撮影制御部
　２０６　検出部
　２０７　入出庫判定部
　２０８　通知部
　２１１　制御プログラム
　ＢＰ　物品
　ＭＫ　マーカー
　ＭＫＡ　背景領域
　ＭＫＢ　パターン画像
　ＴＡ　検出領域

Claims (10)

  1. 　物品に付されたマーカーと、前記マーカーを検出する検出装置と、を備える検出システムであって、
    　前記検出装置は、
    　冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影する撮影部と、
    　前記撮影部が撮影した撮影画像から前記マーカーの画像を検出する検出部と、
    　前記検出部が検出した前記マーカーの画像に基づき、前記マーカーが付された物品の前記庫内への入庫、又は、前記物品の前記庫内からの出庫を判定する判定部と、
    　を備える、検出システム。
  2. 　前記検出部は、前記撮影画像の予め設定された検出領域内において前記マーカーを検出する、請求項１記載の検出システム。
  3. 　前記判定部は、前記検出領域内において前記マーカーを検出後、前記マーカーの移動方向に基づいて前記物品が前記庫内に入庫したのか、前記庫内から出庫したのかを判定する、請求項１又は２記載の検出システム。
  4. 　前記判定部は、前記検出領域内において前記マーカーを検出後、前記ドアのドアポケットに対応する前記撮影画像の領域内への前記マーカーの移動が検出された場合、前記マーカーが付された物品が前記庫内に入庫したと判定する、請求項３記載の検出システム。
  5. 　前記判定部は、前記検出領域内において前記マーカーを検出後、前記マーカーの移動方向と、前記庫内に複数設けられた収容エリアの前記庫内における配置と、に基づき、前記物品が収容された収容エリアを判定する、請求項３又は４記載の検出システム。
  6. 　前記検出装置は、通信情報を記憶する記憶部を備え、
    　前記マーカーは、矩形形状の背景領域と、前記背景領域内に形成され、前記マーカーに付与された識別情報に対応したパターン画像と、を含み、
    　前記判定部は、前記撮影画像に撮影された前記背景領域の面積を、前記撮影画像の撮影順に算出し、算出した前記背景領域の面積に変化が検出されなくなると、前記マーカーの画像により決定される前記撮影画像の範囲を切り出し、切り出した前記画像を、前記通信情報が示す送信先に送信する、請求項１から５のいずれか一項に記載の検出システム。
  7. 　前記検出部が検出した前記パターン画像に対応した識別情報を取得する取得部を備え、
    　前記判定部は、前記予め設定された設定時間内に前記取得部が同一の識別情報を取得した場合、検出したマーカーが付された物品が再度、前記庫内に入庫したと判定する、請求項６記載の検出システム。
  8. 　前記検出部が検出した前記パターン画像に対応した識別情報を取得する取得部を備え、
    　前記判定部は、前記取得部が取得した前記識別情報が、出庫と判定した物品に付された前記マーカーから検出した前記識別情報と同一である場合、前記識別情報に対応した物品が再度、前記庫内に入庫したと判定する、請求項６記載の検出システム。
  9. 　物品に付されたマーカーを検出する検出装置に搭載されたコンピューターに、
    　冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影部に撮影させ、
    　撮影された撮影画像から前記マーカーの画像を検出し、
    　検出した前記マーカーの画像に基づいて、前記マーカーが付された物品の庫内への入庫、又は、前記マーカーが付された物品の前記庫内からの出庫を判定する、処理を実行させる、プログラム。
  10. 　冷蔵庫への物品の入出庫を管理する入出庫管理方法であって、
    　前記冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影部に撮影させ、
    　撮影された撮影画像から物品に付されたマーカーの画像を検出し、
    　検出した前記マーカーの画像に基づいて、前記マーカーが付された物品の前記庫内への入庫、又は、前記マーカーが付された物品の前記庫内からの出庫を判定する、
    　入出庫管理方法。
PCT/JP2022/040154 2021-11-29 2022-10-27 検出システム、プログラム及び入出庫管理方法 WO2023095533A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021193589A JP2023079894A (ja) 2021-11-29 2021-11-29 検出システム、プログラム及び入出庫管理方法
JP2021-193589 2021-11-29

Publications (1)

Publication Number Publication Date
WO2023095533A1 true WO2023095533A1 (ja) 2023-06-01

Family

ID=86539369

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040154 WO2023095533A1 (ja) 2021-11-29 2022-10-27 検出システム、プログラム及び入出庫管理方法

Country Status (2)

Country Link
JP (1) JP2023079894A (ja)
WO (1) WO2023095533A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014070796A (ja) * 2012-09-28 2014-04-21 Sharp Corp 庫内撮影装置および冷蔵庫
JP2016006379A (ja) * 2015-10-15 2016-01-14 三菱電機株式会社 冷蔵庫
JP2017215067A (ja) * 2016-05-30 2017-12-07 シャープ株式会社 在庫管理装置および在庫管理方法
JP2020061744A (ja) * 2013-08-27 2020-04-16 東芝ライフスタイル株式会社 カメラシステム、冷蔵庫

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014070796A (ja) * 2012-09-28 2014-04-21 Sharp Corp 庫内撮影装置および冷蔵庫
JP2020061744A (ja) * 2013-08-27 2020-04-16 東芝ライフスタイル株式会社 カメラシステム、冷蔵庫
JP2016006379A (ja) * 2015-10-15 2016-01-14 三菱電機株式会社 冷蔵庫
JP2017215067A (ja) * 2016-05-30 2017-12-07 シャープ株式会社 在庫管理装置および在庫管理方法

Also Published As

Publication number Publication date
JP2023079894A (ja) 2023-06-08

Similar Documents

Publication Publication Date Title
US10621401B2 (en) Self-service parcel terminal with optimized shelving arrangement
US11829835B2 (en) Self-service parcel terminal with optimized shelving arrangement
JP6570898B2 (ja) 食材位置提示方法及び冷蔵庫
JP2016023854A (ja) 判定装置、および、判定方法
JP7182139B2 (ja) 食品検出装置、及び食品管理システム
US20200394375A1 (en) Self-Service Parcel Terminal with Optimized Shelving Arrangement
US20210216955A1 (en) Augmented reality based package finding assistance system
KR102145607B1 (ko) 전기제품
JP2023076756A (ja) パントリー、及び住宅
WO2023095533A1 (ja) 検出システム、プログラム及び入出庫管理方法
JP2024016290A (ja) 撮影装置
WO2023095536A1 (ja) 検出装置、検出装置の制御方法、及びプログラム
JP2020087051A (ja) 物品管理システム
CN112648791A (zh) 冷却对象的对象重量的确定
JP2022162053A (ja) 食品管理システム、及び冷蔵庫
JP7113281B2 (ja) 冷蔵庫
JP2022162054A (ja) 食品管理システム
WO2022181575A1 (ja) 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法
WO2022180953A1 (ja) 撮影装置、及び撮影装置の制御方法
WO2023166916A1 (ja) 物品管理システム、物品管理方法及びプログラム
WO2023166917A1 (ja) 食材管理システム、食材管理方法及びプログラム
JP6704761B2 (ja) 監視カメラシステム
JP2023079897A (ja) プログラム、端末装置、端末装置の制御方法、及び表示システム
JP7407383B2 (ja) プログラム、端末装置、及び端末装置の制御方法
JP7453133B2 (ja) 貯蔵庫、貯蔵システム及び画像認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898317

Country of ref document: EP

Kind code of ref document: A1