WO2022181575A1 - 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法 - Google Patents

入出庫管理装置、入出庫管理システム、及び、入出庫管理方法 Download PDF

Info

Publication number
WO2022181575A1
WO2022181575A1 PCT/JP2022/007105 JP2022007105W WO2022181575A1 WO 2022181575 A1 WO2022181575 A1 WO 2022181575A1 JP 2022007105 W JP2022007105 W JP 2022007105W WO 2022181575 A1 WO2022181575 A1 WO 2022181575A1
Authority
WO
WIPO (PCT)
Prior art keywords
storage
unit
door
images
refrigerator
Prior art date
Application number
PCT/JP2022/007105
Other languages
English (en)
French (fr)
Inventor
和寛 持永
拓 仮屋崎
渉 須田
愼一 堀井
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to US18/546,576 priority Critical patent/US20240233384A9/en
Priority to CN202280015508.1A priority patent/CN116917678A/zh
Priority to JP2023502416A priority patent/JP7475000B2/ja
Publication of WO2022181575A1 publication Critical patent/WO2022181575A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D23/00—General constructional features
    • F25D23/02—Doors; Covers
    • F25D23/028—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/02—Sensors detecting door opening

Definitions

  • the present disclosure relates to a warehousing/dispatching management device, a warehousing/dispatching management system, and a warehousing/dispatching management method.
  • Patent Literature 1 discloses a refrigerator entry/exit management system.
  • the entry/exit management system disclosed in Patent Literature 1 uses a learning model to determine entry/exit of an object to/from a refrigerator. This learning model outputs the determination result of entry/exit when the information acquired by the sensor provided in the refrigerator is input.
  • the present disclosure provides a storage/retrieval management device, a storage/retrieval management system, and a storage/retrieval management method that can improve the accuracy of determining whether an object is to be stored/retrieved from/to a storage.
  • a storage/retrieval management apparatus captures a plurality of images of a storage, which has a main body and a door attached to the main body, in a state where the door is open from above the storage.
  • an imaging unit a setting unit that sets boundary lines along the contours of the main body and the door in the plurality of images, and whether or not an object appearing in the plurality of images has moved beyond the set boundary lines and a determination unit that determines whether the object enters the storage or the object leaves the storage based on the above.
  • An entry/exit management system captures a plurality of images of a storage, which has a main body and a door attached to the main body, in a state where the door is open from above the storage.
  • an imaging unit a setting unit that sets boundary lines along the contours of the main body and the door in the plurality of images, and whether or not an object appearing in the plurality of images has moved beyond the set boundary lines and a determination unit that determines whether the object enters the storage or the object leaves the storage based on the above.
  • a storage entry/exit management method captures a plurality of images of a storage, which has a main body and a door attached to the main body, in a state where the door is open from above the storage.
  • an imaging step a setting step of setting a boundary line along the contours of the main body and the door in the plurality of images; and whether or not an object appearing in the plurality of images has moved beyond the set boundary line.
  • a determining step of determining whether the object enters the storage or leaves the storage based on the above.
  • a storage/retrieval management device, a storage/retrieval management system, and a storage/retrieval management method can improve the determination accuracy of the storage/retrieval of an object.
  • FIG. 1 is a block diagram showing the functional configuration of a warehousing/dispatching management system according to the embodiment.
  • FIG. 2 is an external view of a refrigerator and a storage/retrieval management device included in the storage/retrieval management system according to the embodiment.
  • FIG. 3 is a flowchart of operation example 1 of the entering/leaving management system according to the embodiment.
  • FIG. 4 is a diagram illustrating an example of a moving image captured by an imaging unit and boundary lines set in the moving image.
  • FIG. 5 is a diagram illustrating another example of a moving image captured by the imaging unit and boundary lines set in the moving image.
  • FIG. 6 is a diagram showing an example of setting information.
  • FIG. 7 is a diagram showing an example of food management information.
  • FIG. 1 is a block diagram showing the functional configuration of a warehousing/dispatching management system according to the embodiment.
  • FIG. 2 is an external view of a refrigerator and a storage/retrieval management device
  • FIG. 8 is a diagram showing an example of a moving image captured by the imaging unit when the door pocket is provided with the marker.
  • FIG. 9 is a sequence diagram of operation example 2 of the entering/leaving management system according to the embodiment.
  • FIG. 10 is a diagram showing an example of a display screen showing the content of food management information.
  • FIG. 11 is a sequence diagram of operation example 3 of the entering/leaving management system according to the embodiment.
  • FIG. 12 is a diagram showing an example of a notification screen.
  • FIG. 13 is a block diagram showing the functional configuration of a storage/delivery management system according to a modification.
  • each figure is a schematic diagram and is not necessarily strictly illustrated. Moreover, in each figure, the same code
  • FIG. 1 is a block diagram showing the functional configuration of a warehousing/dispatching management system according to the embodiment.
  • the entry/exit management system 10 shown in FIG. 1 is a system for managing the food stored in the refrigerator 20 .
  • the entry/exit management system 10 includes a refrigerator 20 , an entry/exit management device 30 , a server device 40 , and an information terminal 50 .
  • the refrigerator 20 is an example of a storage, and is installed in the user's home or the like to refrigerate food.
  • FIG. 2 is an external view of the refrigerator 20 (and the entering/leaving management device 30).
  • the refrigerator 20 includes a main body 21, a door 22 for accessing a first storage compartment 23 in the main body 21, and a plurality of shelves 24 provided in the first storage compartment 23. , a drawer 25 .
  • the refrigerator 20 enters a state in which food can be placed on each of the plurality of shelves 24 (that is, food can be stored in the first storage chamber 23).
  • the refrigerator 20 is ready to store food in the door pocket 22 a provided inside the door 22 .
  • the refrigerator 20 when the drawer 25 is opened, the refrigerator 20 is ready to store food in the second storage chamber 26 inside the drawer 25 .
  • the refrigerator 20 has two doors 22 covering the first storage chamber 23, but the number of the doors 22 covering the first storage chamber 23 may be one.
  • the entry/exit management device 30 is, for example, attached to the top surface of the refrigerator 20 and performs information processing for managing food stored in the refrigerator 20 .
  • the entering/leaving management device 30 is retrofitted to the existing refrigerator 20 , for example, but may be incorporated in the refrigerator 20 . That is, the entering/leaving management device 30 may be a device separate from the refrigerator 20 or may be a device manufactured integrally with the refrigerator 20 .
  • the entering/leaving management apparatus 30 includes an imaging unit 31 , a distance measuring unit 32 , an information processing unit 33 , a storage unit 34 , a communication unit 35 and a notification unit 36 .
  • the imaging unit 31 captures, from above the refrigerator 20, a moving image showing how food is put in and taken out of the refrigerator 20. That is, the imaging unit 31 captures, for example, a moving image of the refrigerator 20 with the door 22 open from above the refrigerator 20 .
  • the moving image includes the door 22, the door pocket 22a, the first storage room 23, the shelf 24, the drawer 25, the floor of the indoor space in front of the refrigerator 20, and the like as imaging targets.
  • the imaging unit 31 is realized by, for example, a camera having a fisheye lens, but may be realized by a camera having a normal lens.
  • the imaging unit 31 may generate a plurality of images (still images) by capturing images of objects being taken in and out of the refrigerator 20 at preset time intervals, and does not necessarily capture moving images. No need. Further, although the imaging unit 31 is attached to the housing of the entering/leaving management apparatus 30 , it may be attached to the refrigerator 20 away from the housing of the entering/leaving management apparatus 30 . That is, the imaging unit 31 may be retrofitted to the refrigerator 20 . In this case, the imaging unit 31 has a magnet, a suction cup, a clip, or the like as a structure that can be retrofitted to the refrigerator 20 .
  • the distance measurement unit 32 measures the distance from the distance measurement unit 32 to the door 22 at the top of the refrigerator 20 . In other words, the distance measurement unit 32 measures the degree of opening of the door 22 .
  • the distance measurement unit 32 is implemented by, for example, an infrared distance measurement sensor.
  • the distance measuring unit 32 can individually measure the distance from the distance measuring unit 32 to the right door 22 and the distance from the distance measuring unit 32 to the left door 22 .
  • the distance measuring unit 32 is used to measure the degree of opening of the door 22.
  • the entering/leaving management device 30 may include another sensor such as an angle sensor for measuring the degree of opening (opening angle) of the door 22 instead of the distance measuring unit 32 .
  • a sensor for measuring the degree of opening of door 22 may be provided by refrigerator 20 , and in this case, entry/exit management device 30 may not include a sensor for measuring the degree of opening of door 22 .
  • the information processing section 33 performs information processing for managing food stored in the refrigerator 20 .
  • the information processing section 33 is realized by, for example, a microcomputer, but may be realized by a processor or a dedicated circuit.
  • the information processing section 33 has a setting section 37, a determination section 38, and a tracking section 39 as functional components.
  • the functions of the setting unit 37 , the determination unit 38 , and the tracking unit 39 are realized by, for example, executing a computer program stored in the storage unit 34 by a microcomputer or the like that constitutes the information processing unit 33 . Details of the functions of the setting unit 37, the determination unit 38, and the tracking unit 39 will be described later.
  • the storage unit 34 is a storage device that stores a computer program executed by the information processing unit 33 and various types of information necessary for the information processing (setting information described later, food management information, etc.).
  • the storage unit 34 is implemented by, for example, a semiconductor memory.
  • the communication unit 35 is a communication circuit for the warehousing/dispatching management device 30 to communicate with the server device 40 via the wide area communication network 60 .
  • the communication unit 35 is, for example, a wireless communication circuit that performs wireless communication, but may be a wired communication circuit that performs wired communication.
  • a communication standard for communication performed by the communication unit 35 is not particularly limited.
  • the notification unit 36 notifies when the type of food being taken in and out of the refrigerator 20 cannot be determined.
  • the notification unit 36 is realized by, for example, a speaker or a buzzer, and performs notification by outputting sound.
  • the server device 40 is a computer located outside the facility where the refrigerator 20 is installed, and is specifically a cloud server. Server device 40 performs information processing for presenting information about food stored in refrigerator 20 . Server device 40 is an example of a notification device, and performs information processing for notifying information about food stored in refrigerator 20 .
  • the server device 40 includes a communication section 41 , an information processing section 42 and a storage section 43 .
  • the communication unit 41 is a communication circuit for the server device 40 to communicate with the warehousing/delivery management device 30 and the information terminal 50 via the wide area communication network 60 .
  • the communication unit 35 is, for example, a wired communication circuit that performs wired communication, but may be a wireless communication circuit that performs wireless communication.
  • a communication standard for communication performed by the communication unit 41 is not particularly limited.
  • the information processing unit 42 performs information processing for presenting or notifying information regarding food stored in the refrigerator 20 .
  • the information processing unit 42 is realized by, for example, a microcomputer, but may be realized by a processor or a dedicated circuit.
  • the information processing section 42 has a presentation section 44 and a notification section 45 as functional components.
  • the functions of the presentation unit 44 and the notification unit 45 are realized, for example, by executing a computer program stored in the storage unit 43 by a microcomputer or the like that constitutes the information processing unit 42 . Details of the functions of the presentation unit 44 and the notification unit 45 will be described later.
  • the storage unit 43 is a storage device that stores computer programs executed by the information processing unit 42 and various types of information necessary for the above information processing.
  • the storage unit 43 is implemented by, for example, a semiconductor memory.
  • the information terminal 50 is an information terminal owned by a user.
  • the user uses the information terminal 50 to receive notifications from the server device 40 .
  • the information terminal 50 is, for example, a portable information terminal such as a smart phone or a tablet terminal, but may be a stationary information terminal such as a personal computer.
  • FIG. 3 is a flowchart of operation example 1 of the warehousing/delivery management system 10 .
  • FIG. 4 is a diagram showing an example of a moving image captured by the imaging unit 31.
  • the imaging range of the imaging unit 31 includes part of the main body 21 (in other words, part of the first storage room 23 ) and parts of the two doors 22 .
  • FIG. 4 also shows a boundary line (thick line) used for determination of food storage or food delivery determination, but this boundary line is not imaged by the imaging unit 31, It is virtual.
  • the setting unit 37 sets boundary lines along the contours of the main body 21 and the door 22 in the moving image (S13).
  • the boundary line that follows the contours of the main body 21 and the door 22 does not have a strict meaning, but generally means that it follows the contours of the main body 21 and the door 22 .
  • three points R1, R2, and R3 are defined for the door 22 on the right side as seen from the user, and three points R1, R2, and R3 are defined for the door 22 on the left side as seen from the user.
  • Boundary lines are defined at points L1, L2, and L3.
  • a boundary line is set to a polygonal line connecting these six points. It can be said that the boundary line indicates the boundary between the refrigerator 20 and the floor surface in the moving image.
  • FIG. 5 is a diagram showing boundary lines when the door 22 is opened wider than in FIG.
  • the storage unit 34 stores in advance setting information for setting the boundary line.
  • FIG. 6 is a diagram showing an example of setting information. Numerical values in the setting information in FIG. 6 are temporary numerical values for explanation.
  • the distance from the distance measuring unit 32 to the right door 22 is associated with the coordinates of the points R1, R2, and R3. , and coordinates of points L1, L2, and L3.
  • the setting unit 37 identifies coordinates of points R1, R2, R3, L1, L2, and L3 corresponding to the measurement results of the distance measuring unit 32 in the setting information, and connects the identified coordinates. Polylines can be set as boundaries.
  • the degree of opening of the door 22 is divided into four stages, but it may be divided into five stages or more, or may be divided into three stages or less.
  • the setting unit 37 can set one of a plurality of boundary line candidates predetermined by the setting information as the boundary line according to the degree of opening of the door 22 .
  • the setting unit 37 obtains the average value and variance of the most recent N (N is a natural number) measurement results (data), and adopts the average value as an effective distance only when the variance is less than or equal to a predetermined value. do.
  • the tracking unit 39 detects food in the video (S14) and tracks the detected food (S15).
  • Various existing algorithms such as R-CNN (Regions with Convolutional Neural Networks) are used for food detection.
  • the tracking unit 39 detects the food detected in step S14 (hereinafter also referred to as the tracking target) in the next frame (hereinafter also referred to as the current frame) of the frame (hereinafter referred to as the previous frame) in which the food is shown. Even detect food.
  • the tracking unit 39 determines the food that is closest to the position of the tracking target in the previous frame among the food items shown in the current frame as the movement destination of the tracking target. By repeating such processing, the tracking unit 39 can track the food detected in step S14.
  • the tracking unit 39 may further extract the image feature amount of the food detected in step S14 and track the food using the image feature amount as supplementary information.
  • the tracking unit 39 determines the destination of the tracking target based on, for example, the distance from the tracking target of the food detected in the current frame and the similarity of the image feature amount detected in the current frame to the tracking target. You may As a result, it is possible to improve the tracking accuracy of the food.
  • this food tracking method is just an example, and other existing algorithms may be used for food tracking.
  • the judgment unit 38 judges whether the food is received or when the food is delivered (S16).
  • the determination unit 38 determines that the food has been taken out when the tracked food moves from the refrigerator 20 side to the indoor side and crosses the boundary line in the moving image. In addition, when the tracked food moves from the indoor side to the refrigerator 20 side and crosses the boundary line in the moving image, the determination unit 38 determines that the food has been stored.
  • the determination unit 38 determines the type of food that has entered or left the warehouse (S17).
  • the determination unit 38 determines the type of food using, for example, a machine learning model.
  • the types of foods are, for example, beverages, vegetables, and meat, but may be more detailed types than these.
  • the type of food may be determined at the same time as detection of the food in step S14, in which case step S17 can be omitted.
  • FIG. 7 is a diagram showing an example of food management information.
  • the food management information is information indicating the breakdown of food items stored in the refrigerator 20 .
  • food types and quantities are associated with each other.
  • the determination unit 38 reduces the quantity of beverage in the food management information by one.
  • the determination part 38 increments the quantity of vegetables in food management information by one, when it determines with vegetables having been stocked in step S16 and step S17.
  • the entry/exit management system 10 (the entry/exit management device 30) sets a boundary line along the contours of the main unit 21 and the door 22 in the moving image, and the food displayed in the moving image crosses the set boundary line. Entry/exit of food into/from refrigerator 20 (entry of food into/from refrigerator 20 or exit of food from refrigerator 20) is determined based on whether or not.
  • the entry/exit management system 10 makes it easier to determine whether food enters or leaves the refrigerator 20 compared to the case where a boundary line irrelevant to the contour is set. Accuracy can be improved.
  • the warehousing/dispatching management system 10 can, in particular, accurately determine the warehousing/dispatching of food to/from the door pocket 22a.
  • the method of setting the boundary line along the contours of the main body portion 21 and the door 22 is not limited to the method described above.
  • the setting unit 37 may set the boundary line by performing image processing on the moving image.
  • the setting unit 37 can extract the contours of the main body 21 and the door 22 by performing edge detection on the moving image, and use the extracted contours as boundary lines.
  • FIG. 8 is a diagram showing an example of a moving image captured by the imaging section 31 when the marker 27 is provided on the door pocket 22a.
  • the setting unit 37 can set one of a plurality of boundary line candidates predetermined by the setting information as the boundary line according to the detected degree of opening of the door 22 .
  • the determination unit 38 uses the notification unit 36 to indicate that the food type cannot be determined. may be notified.
  • the notification unit 36 is implemented by a speaker
  • the notification unit 36 outputs a voice message or the like indicating that the food type cannot be determined.
  • the notification unit 36 is realized by a light-emitting element
  • the notification unit 36 notifies that the type of food cannot be determined by light emission.
  • the user can take measures such as manually correcting the food management information.
  • FIG. 9 is a sequence diagram of operation example 2 of the warehousing/dispatching management system 10. As shown in FIG.
  • the communication unit 35 of the incoming/outgoing management device 30 transmits the food management information to the server device 40 (S21).
  • the communication unit 41 of the server device 40 receives the food management information, and the presentation unit 44 stores the received food management information in the storage unit 43 (S22).
  • the communication unit 35 of the warehousing/dispatching management apparatus 30 transmits food management information to the server device 40, for example, each time a warehousing determination or a warehousing determination of food is performed.
  • the communication unit 35 of the entering/leaving management device 30 transmits the food management information to the server device 40 each time the opened door 22 is closed. Thereby, the latest food management information is stored in the storage unit 43 of the server device 40 .
  • the food management information may be transmitted from the storage/delivery management device 30 to the server device 40 periodically, such as once at a predetermined time.
  • the information terminal 50 operation is received (S23), and a presentation request is transmitted to the server device 40 based on the received predetermined operation (S24).
  • the communication unit 41 of the server device 40 receives the presentation request.
  • the presentation unit 44 transmits presentation information for presenting the content of the food management information stored in the storage unit 43 to the information terminal 50 based on the received presentation request (S25). More specifically, the transmission of the presentation information is performed by the communication unit 41 .
  • the information terminal 50 receives the presentation information, and displays a display screen showing the contents of the food management information on the display unit of the information terminal 50 based on the received presentation information (S26).
  • FIG. 10 is a diagram showing an example of a display screen showing the content of food management information.
  • the user of the storage/delivery management system 10 can check the food stored in the refrigerator 20 at home from outside.
  • FIG. 11 is a sequence diagram of operation example 3 of the warehousing/dispatching management system 10. As shown in FIG.
  • the communication unit 35 of the storage/delivery management device 30, transmits the storage/delivery information to the server device 40 each time the food storage determination or delivery determination is performed (S31).
  • the entry/exit information is an example of information indicating that food has been taken in and out of the refrigerator 20 .
  • the communication unit 41 of the server device 40 receives the entering/leaving information, and the notification unit 45 determines whether the user is away from home (S32). In other words, the notification unit 45 determines whether or not the entering/leaving information is received while the user is absent from the vicinity of the refrigerator 20 .
  • the information terminal 50 has a position measuring unit such as a GPS (Global Positioning System) module, and periodically transmits position information to the server device 40 .
  • the notification unit 45 can determine whether the user is away from home based on the received location information.
  • the position (coordinates) of the user's home is registered in the storage unit 43 in advance.
  • the user may operate the information terminal 50 to notify the server device 40 that he/she is not at home.
  • the notification unit 45 can regard that the user is absent from home when the absent mode is operating based on the report.
  • the notification unit 45 When the notification unit 45 determines that the user is away from home, it transmits notification information to the information terminal 50 (S33). More specifically, the notification information is transmitted by the communication unit 41 .
  • the information terminal 50 receives the notification information and displays the notification screen based on the received notification information (S34).
  • FIG. 12 is a diagram showing an example of a notification screen. On the other hand, if it is determined in step S32 that the user is at home (not absent), the processes of steps S33 and S34 are not performed.
  • the entering/leaving management system 10 can store entering/leaving information indicating that an object has entered the refrigerator 20 or has left the refrigerator 20 while the user is not around the refrigerator 20.
  • the information terminal 50 owned by the user is notified. This allows the user to recognize that food was taken in and out of refrigerator 20 while the user was away from refrigerator 20 .
  • FIG. 13 is a block diagram showing the functional configuration of a warehousing/dispatching management system according to such a modification.
  • the entry/exit management system 10 a includes a refrigerator 20 , an entry/exit management device 30 a , a server device 40 a , and an information terminal 50 .
  • the difference from the warehousing/dispatching management system 10 is that the server device 40a (more specifically, the information processing unit 42) is provided with the setting unit 46, the determination unit 47, and the tracking unit 48, instead of the warehousing/dispatching management device 30a.
  • the setting unit 46 is a component having substantially the same function as the setting unit 37
  • the determination unit 47 is a component having substantially the same function as the determination unit 38
  • the tracking unit 48 is a component that performs tracking. It is a component having substantially the same function as the portion 39 .
  • the server device 40a acquires the measurement result of the distance measuring unit 32 and the moving image captured by the imaging unit 31 from the entering/leaving management device 30a, thereby determining the boundary line. Processing from setting (step S13) to updating food management information (step S18) can be performed.
  • the refrigerator 20 may be a general household refrigerator, a product display refrigerator used in a retail store such as a convenience store, or a commercial refrigerator. There may be.
  • the refrigerator 20 is an example of a storage, and the present disclosure can also be implemented as other storage without a refrigeration function.
  • the articles (in other words, objects) stored in the storage are not limited to foods, and may be other articles. It is conceivable that items other than food may be stored in the refrigerator 20 .
  • the entering/leaving management apparatus 30 captures a plurality of images of the refrigerator 20 having the main body 21 and the door 22 attached to the main body 21 with the door 22 open from above the refrigerator 20 .
  • a setting unit 37 for setting boundary lines along the contours of the main body 21 and the door 22 in a plurality of images; and whether or not an object appearing in the plurality of images has moved beyond the set boundary lines and a determination unit 38 that determines whether an object enters the refrigerator 20 or leaves the refrigerator 20 based on the above.
  • Refrigerator 20 is an example of a storage.
  • Such an entry/exit management device 30 can improve the accuracy of determining whether an object enters/exits the refrigerator 20 compared to the case where the boundary line is set regardless of the contours of the main body 21 and the door 22 . .
  • the setting unit 37 sets one of a plurality of predetermined boundary line candidates as the boundary line according to the degree of opening of the door 22 .
  • Such a warehousing/delivery management device 30 can set one of a plurality of predetermined boundary line candidates as a boundary line.
  • the setting unit 37 sets a boundary line by performing image processing on a plurality of images.
  • Such a warehousing/delivery management device 30 can set a boundary line by performing image processing on a plurality of images.
  • the determination unit 38 further determines the type of the object.
  • the entering/leaving management device 30 further includes a notification unit 36 that notifies when the type of an object cannot be determined.
  • the user can take measures such as manually correcting the food management information.
  • the imaging unit 31 has a structure that can be retrofitted to the refrigerator 20 .
  • Such an imaging unit 31 can be retrofitted to the refrigerator 20 .
  • the entering/leaving management system 10 also includes an entering/leaving management device 30 and a server device 40 .
  • the server device 40 includes a communication unit 41 that receives storage/retrieval information indicating that an object has been stored in the refrigerator 20 or that an object has been retrieved from the refrigerator 20 from the storage/retrieval management device 30, and a user of the refrigerator 20.
  • a notification unit 45 that notifies the information terminal 50 owned by the user when the entering/leaving information is received while the user is away from the refrigerator 20 .
  • the user can recognize that food was taken in and out of the refrigerator 20 while the user was absent from the vicinity of the refrigerator 20.
  • the entry/exit management system 10 also includes a main body 21 and an imaging unit 31 that captures a plurality of images from above the refrigerator 20 with the door 22 of the refrigerator 20 having the door 22 attached to the main body 21 open. , a setting unit 37 that sets boundary lines along the contours of the main body 21 and the door 22 in a plurality of images, and based on whether or not an object appearing in the plurality of images has moved beyond the set boundary lines, A judgment unit 38 for judging whether an object enters the refrigerator 20 or leaves the refrigerator.
  • the setting unit 37 and the determining unit 38 may be provided by the server device 40a as in the entering/leaving management system 10a.
  • Such an entry/exit management system 10 can improve the accuracy of determining whether an object enters/exits the refrigerator 20 compared to a case in which boundary lines are set irrelevant to the contours of the main body 21 and the door 22 . .
  • the entry/exit management method executed by a computer displays a plurality of images of a refrigerator 20 having a main body 21 and a door 22 attached to the main body 21 with the door 22 open.
  • Such an entry/exit management method can improve the accuracy of determining whether an object enters/exits the refrigerator 20 compared to a case in which boundary lines are set irrelevant to the contours of the main body 21 and the door 22 .
  • the warehousing/dispatching management system was realized by a plurality of devices, but it may be realized by a single device.
  • the warehousing/dispatching management system may be implemented as a single device corresponding to the warehousing/dispatching management device of the above embodiment, or may be implemented as a single device corresponding to the server device.
  • the incoming/outgoing warehousing management system is implemented by a plurality of devices, the components provided in the incoming/outgoing warehousing management system may be distributed to the plurality of devices in any way.
  • the communication method between devices in the above embodiment is not particularly limited.
  • a relay device (not shown) may intervene in communication between devices.
  • the information transmission paths described in the above embodiments are not limited to the transmission paths shown in the sequence diagrams.
  • the processing executed by a specific processing unit may be executed by another processing unit.
  • the order of multiple processes may be changed, and multiple processes may be executed in parallel.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by reading and executing a software program recorded in a recording medium such as a hard disk or a semiconductor memory by a program execution unit such as a CPU or processor.
  • each component may be realized by hardware.
  • each component may be a circuit (or integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits. These circuits may be general-purpose circuits or dedicated circuits.
  • general or specific aspects of the present disclosure may be implemented in a system, apparatus, method, integrated circuit, computer program, or recording medium such as a computer-readable CD-ROM. Also, general or specific aspects of the present disclosure may be implemented in any combination of systems, devices, methods, integrated circuits, computer programs and recording media.
  • the present disclosure may be implemented as a method for managing incoming/outgoing objects executed by a computer, or may be implemented as a program for causing a computer to execute the incoming/outgoing object management method.
  • the present disclosure may be implemented as a computer-readable non-transitory recording medium on which such programs are recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Thermal Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

入出庫管理装置（３０）は、本体部、及び、本体部に取り付けられたドアを有する冷蔵庫（２０）のドアが開いた状態の複数の画像を冷蔵庫（２０）の上方から撮像する撮像部（３１）と、複数の画像において本体部及びドアの輪郭に沿う境界線を設定する設定部（３７）と、複数の画像に映る物体が設定された境界線を超えて移動したか否かに基づいて、物体の冷蔵庫（２０）への入庫または物体の冷蔵庫からの出庫を判定する判定部（３８）とを備える。

Description

入出庫管理装置、入出庫管理システム、及び、入出庫管理方法
　本開示は、入出庫管理装置、入出庫管理システム、及び、入出庫管理方法に関する。
　従来、物体が収納される収納庫に関する技術が提案されている。特許文献１には、冷蔵庫の入出庫管理システムが開示されている。特許文献１に開示された入出庫管理システムは、学習モデルを用いて冷蔵庫への物体の入出庫を判定する。この学習モデルは、冷蔵庫に設けられたセンサにより取得された情報が入力されると入出庫の判定結果を出力する。
特開２０２０－４１７６１号公報
　本開示は、収納庫への物体の入出庫の判定精度の向上を図ることができる入出庫管理装置、入出庫管理システム、及び、入出庫管理方法を提供する。
　本開示の一態様に係る入出庫管理装置は、本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像部と、前記複数の画像において前記本体部及び前記ドアの輪郭に沿う境界線を設定する設定部と、前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定部とを備える。
　本開示の一態様に係る入出庫管理システムは、本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像部と、前記複数の画像において前記本体部及び前記ドアの輪郭に沿う境界線を設定する設定部と、前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定部とを備える。
　本開示の一態様に係る入出庫管理方法は、本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像ステップと、前記複数の画像において前記本体部及び前記ドアの輪郭に沿う境界線を設定する設定ステップと、前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定ステップとを含む。
　本開示の一態様に係る入出庫管理装置、入出庫管理システム、及び、入出庫管理方法は、収納庫への物体の入出庫の判定精度の向上を図ることができる。
図１は、実施の形態に係る入出庫管理システムの機能構成を示すブロック図である。 図２は、実施の形態に係る入出庫管理システムが備える冷蔵庫及び入出庫管理装置の外観図である。 図３は、実施の形態に係る入出庫管理システムの動作例１のフローチャートである。 図４は、撮像部によって撮像される動画、及び、動画内で設定される境界線の一例を示す図である。 図５は、撮像部によって撮像される動画、及び、動画内で設定される境界線の別の一例を示す図である。 図６は、設定情報の一例を示す図である。 図７は、食品管理情報の一例を示す図である。 図８は、ドアポケットにマーカが設けられている場合に撮像部によって撮像される動画の一例を示す図である。 図９は、実施の形態に係る入出庫管理システムの動作例２のシーケンス図である。 図１０は、食品管理情報の内容を示す表示画面の一例を示す図である。 図１１は、実施の形態に係る入出庫管理システムの動作例３のシーケンス図である。 図１２は、通知画面の一例を示す図である。 図１３は、変形例に係る入出庫管理システムの機能構成を示すブロック図である。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
　（実施の形態）
　［構成］
　まず、実施の形態に係る入出庫管理システムの構成について説明する。図１は、実施の形態に係る入出庫管理システムの機能構成を示すブロック図である。
　図１に示される入出庫管理システム１０は、冷蔵庫２０内に収納された食品を管理するためのシステムである。入出庫管理システム１０は、冷蔵庫２０と、入出庫管理装置３０と、サーバ装置４０と、情報端末５０とを備える。
　冷蔵庫２０は、収納庫の一例であり、ユーザの自宅などに設置され、食品を冷蔵する。図２は、冷蔵庫２０（及び入出庫管理装置３０）の外観図である。図２に示されるように、冷蔵庫２０は、本体部２１と、本体部２１内の第一収納室２３へアクセスするためのドア２２と、第一収納室２３に設けられた複数の棚２４と、引き出し２５とを備える。ドア２２が開けられれば、冷蔵庫２０は、複数の棚２４のそれぞれに食品を載置する（つまり、第一収納室２３に食品を収納する）ことができる状態となる。また、ドア２２が開けられれば、冷蔵庫２０は、ドア２２の内側に設けられたドアポケット２２ａに食品を収納することができる状態となる。また、引き出し２５が開けられれば、冷蔵庫２０は、引き出し２５内の第二収納室２６に食品を収納することができる状態となる。図２の例では、冷蔵庫２０は、第一収納室２３を覆うドア２２を２つ備えているが、第一収納室２３を覆うドア２２は１つであってもよい。
　入出庫管理装置３０は、例えば、冷蔵庫２０の上面に取り付けられ、冷蔵庫２０内に収納された食品を管理するための情報処理を行う。入出庫管理装置３０は、例えば、既存の冷蔵庫２０に後付けされるが、冷蔵庫２０に内蔵されてもよい。つまり、入出庫管理装置３０は、冷蔵庫２０と別体の装置であってもよいし、冷蔵庫２０と一体的に製造された装置であってもよい。図１に示されるように、入出庫管理装置３０は、撮像部３１と、測距部３２と、情報処理部３３と、記憶部３４と、通信部３５と、報知部３６とを備える。
　撮像部３１は、冷蔵庫２０へ食品が出し入れされるときの様子を示す動画を、冷蔵庫２０の上方から撮像する。つまり、撮像部３１は、例えば、ドア２２が開いた状態の冷蔵庫２０の動画を、冷蔵庫２０の上方から撮像する。動画には、ドア２２、ドアポケット２２ａ、第一収納室２３、棚２４、引き出し２５、及び、冷蔵庫２０の前方の室内空間の床などが撮像対象として含まれる。撮像部３１は、例えば、魚眼レンズを有するカメラによって実現されるが、通常のレンズを有するカメラによって実現されてもよい。
　なお、撮像部３１は、冷蔵庫２０へ物体が出し入れされるときの様子を、あらかじめ設定された時間間隔で撮像することで複数の画像（静止画）を生成してもよく、必ずしも動画を撮像する必要はない。また、撮像部３１は、入出庫管理装置３０の筐体に取り付けられているが、入出庫管理装置３０の筐体から離れて冷蔵庫２０に取り付けられてもよい。つまり、撮像部３１は、冷蔵庫２０に後付けされてもよい。この場合、撮像部３１は、冷蔵庫２０に後付け可能な構造として、磁石、吸盤、または、クリップなどを有する。
　測距部３２は、冷蔵庫２０の上部において、測距部３２からドア２２までの距離を計測する。つまり、測距部３２は、ドア２２の開き具合を計測する。測距部３２は、例えば、赤外線測距センサによって実現される。測距部３２は、測距部３２から右側のドア２２までの距離、及び、測距部３２から左側のドア２２までの距離を個別に計測することができる。
　なお、後述のように、測距部３２は、ドア２２の開き具合を計測するために使用される。入出庫管理装置３０は、測距部３２に代えて、角度センサなどの、ドア２２の開き具合（開き角度）を計測する他のセンサを備えてもよい。また、ドア２２の開き具合を計測するセンサは、冷蔵庫２０によって備えられてもよく、この場合、入出庫管理装置３０はドア２２の開き具合を計測するセンサを備えていなくてもよい。
　情報処理部３３は、冷蔵庫２０内に収納された食品を管理するための情報処理を行う。情報処理部３３は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。情報処理部３３は、機能的な構成要素として、設定部３７、判定部３８、及び、追尾部３９を有する。設定部３７、判定部３８、追尾部３９の機能は、例えば、情報処理部３３を構成するマイクロコンピュータ等が記憶部３４に記憶されたコンピュータプログラムを実行することにより実現される。設定部３７、判定部３８、及び、追尾部３９の機能の詳細については後述される。
　記憶部３４は、情報処理部３３が実行するコンピュータプログラム、及び、上記情報処理に必要な各種情報（後述の設定情報、及び、食品管理情報など）が記憶される記憶装置である。記憶部３４は、例えば、半導体メモリによって実現される。
　通信部３５は、入出庫管理装置３０がサーバ装置４０と広域通信ネットワーク６０を介して通信を行うための通信回路である。通信部３５は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。通信部３５が行う通信の通信規格については特に限定されない。
　報知部３６は、冷蔵庫２０に出し入れされる食品の種別が判定不可能である場合に報知を行う。報知部３６は、例えば、スピーカまたはブザーなどによって実現され、出音により報知を行うが、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）などの発光素子によって実現され、発光により報知行ってもよい。
　サーバ装置４０は、冷蔵庫２０が設置された施設外に位置するコンピュータであり、具体的には、クラウドサーバである。サーバ装置４０は、冷蔵庫２０内に収納された食品に関する情報を提示するための情報処理を行う。また、サーバ装置４０は、通知装置の一例であり、冷蔵庫２０内に収納された食品に関する情報を通知するための情報処理を行う。サーバ装置４０は、通信部４１と、情報処理部４２と、記憶部４３とを備える。
　通信部４１は、サーバ装置４０が入出庫管理装置３０及び情報端末５０と広域通信ネットワーク６０を介して通信を行うための通信回路である。通信部３５は、例えば、有線通信を行う有線通信回路であるが、無線通信を行う無線通信回路であってもよい。通信部４１が行う通信の通信規格については特に限定されない。
　情報処理部４２は、冷蔵庫２０内に収納された食品に関する情報を提示または通知するための情報処理を行う。情報処理部４２は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。情報処理部４２は、機能的な構成要素として、提示部４４及び通知部４５を有する。提示部４４及び通知部４５の機能は、例えば、情報処理部４２を構成するマイクロコンピュータ等が記憶部４３に記憶されたコンピュータプログラムを実行することにより実現される。提示部４４及び通知部４５の機能の詳細については後述される。
　記憶部４３は、情報処理部４２が実行するコンピュータプログラム、及び、上記情報処理に必要な各種情報が記憶される記憶装置である。記憶部４３は、例えば、半導体メモリによって実現される。
　情報端末５０は、ユーザが所有する情報端末である。ユーザはサーバ装置４０から通知を受けるために情報端末５０を使用する。情報端末５０は、例えば、スマートフォンまたはタブレット端末などの携帯型の情報端末であるが、パーソナルコンピュータなどの据え置き型の情報端末であってもよい。
　［動作例１］
　次に、入出庫管理システム１０の動作例１として、食品の入庫または出庫の管理動作について説明する。図３は、入出庫管理システム１０の動作例１のフローチャートである。
　まず、判定部３８は、測距部３２の計測結果に基づいて、２つのドア２２の少なくとも一方が開いたと判定すると（Ｓ１１）、撮像部３１を起動し、撮像部３１による動画の撮像を開始する（Ｓ１２）。図４は、撮像部３１によって撮像される動画の一例を示す図である。図４に示されるように、撮像部３１の撮像範囲には、本体部２１の一部（言い換えれば、第一収納室２３の一部）と、２つのドア２２の一部とが含まれる。なお、図４には、食品の入庫判定、または、食品の出庫判定に用いられる境界線（太線）も合わせて図示されているが、この境界線は撮像部３１によって撮像されるものではなく、仮想的なものである。
　次に、設定部３７は、動画において本体部２１及びドア２２の輪郭に沿う境界線を設定する（Ｓ１３）。本体部２１及びドア２２の輪郭に沿う境界線とは、厳密な意味ではなく、おおむね本体部２１及びドア２２の輪郭に沿うことを意味する。例えば、図４に示されるように、ユーザから見て右側のドア２２に対して、点Ｒ１、点Ｒ２、及び、点Ｒ３の３点が規定され、ユーザから見て左側のドア２２に対して境界線は、点Ｌ１、点Ｌ２、及び、点Ｌ３が規定される。境界線は、これら６つの点を結んだ折れ線に設定される。境界線は、動画内における冷蔵庫２０と床面との境界を示しているともいえる。
　なお、設定部３７は、ドア２２の開き具合に応じて境界線を動的に変更する。図５は、図４よりもドア２２が大きく開いているときの境界線を示す図である。このようにドア２２の開き具合に応じて境界線を動的に変更するために、記憶部３４には、境界線を設定するための設定情報があらかじめ記憶される。図６は、設定情報の一例を示す図である。図６の設定情報中の数値は、説明のための仮の数値である。
　図６の設定情報においては、測距部３２から右側のドア２２までの距離と、点Ｒ１、点Ｒ２、及び、点Ｒ３の座標とが対応付けられ、測距部３２から左側のドア２２までの距離と点Ｌ１、点Ｌ２、及び、点Ｌ３の座標とが対応付けられている。設定部３７は、設定情報において、測距部３２の計測結果に該当する点Ｒ１、点Ｒ２、点Ｒ３、点Ｌ１、点Ｌ２、及び、点Ｌ３の座標を特定し、特定した座標を結んだ折れ線を境界線として設定することができる。なお、図６の設定情報においては、ドア２２の開き具合が４段階に区分されているが、５段階以上に区分されていてもよいし、３段階以下に区分されていてもよい。
　このように、設定部３７は、ドア２２の開き具合に応じて、設定情報によってあらかじめ定められた複数の境界線候補のうちの１つを境界線として設定することができる。なお、設定部３７は、例えば、直近のＮ個（Ｎは自然数）の計測結果（データ）の平均値及び分散を求め、分散が所定値以下の場合のみ、その平均値を有効な距離として採用する。
　次に、追尾部３９は、動画に映る食品を検出し（Ｓ１４）、検出した食品を追尾する（Ｓ１５）。食品の検出には、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎｓ　ｗｉｔｈ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ）などの既存の各種アルゴリズムが用いられる。追尾部３９は、例えば、ステップＳ１４で検出された食品（以下、追尾対象とも記載される）が映るフレーム（以下、前フレームとも記載される）の次のフレーム（現フレームとも記載される）においても食品を検出する。追尾部３９は、現フレームに映る食品のうち、前フレームにおける追尾対象の位置に対して最も近い場所にある食品を追尾対象の移動先として決定する。このような処理を繰り返すことにより、追尾部３９は、ステップＳ１４において検出された食品を追尾することができる。
　なお、追尾部３９は、さらに、ステップＳ１４で検出された食品の画像特徴量を抽出し、画像特徴量を補助的な情報として用いて食品の追尾を行ってもよい。追尾部３９は、例えば、現フレームにおいて検出された食品の追尾対象からの距離、及び、現フレームにおいて検出された画像特徴量の追尾対象との類似度に基づいて、追尾対象の移動先を決定してもよい。これにより、食品の追尾精度の向上を図ることができる。
　また、このような食品の追尾の方法は一例であり、食品の追尾には、既存の他のアルゴリズムが用いられてもよい。
　次に、判定部３８は、食品の入庫判定、または、食品の出庫判定を行う（Ｓ１６）。判定部３８は、動画において、追尾中の食品が冷蔵庫２０側から室内側へ移動して境界線を越えた場合に、当該食品が出庫されたと判定する。また、判定部３８は、動画において、追尾中の食品が室内側から冷蔵庫２０側へ移動して境界線を越えた場合に、当該食品が入庫されたと判定する。
　なお、冷蔵庫２０の右側のドア２２が閉じている場合、追尾中の食品が右側のドア２２に対して定められた境界線を越えることはないので、右側のドア２２に対して定められた境界線を用いた判定は行われない。冷蔵庫２０の左側のドア２２が閉じている場合、追尾中の食品が左側のドア２２に対して定められた境界線を越えることはないので、右側のドア２２に対して定められた境界線を用いた判定は行われない。
　次に、判定部３８は、入庫または出庫された食品の種別を判定する（Ｓ１７）。判定部３８は、例えば、機械学習モデルを用いて食品の種別を判定する。食品の種別とは、例えば、飲料、野菜、食肉などであるが、これよりも細かい種別であってもよい。なお、食品の種別は、ステップＳ１４における食品の検出時に合わせて判定されてもよく、この場合、ステップＳ１７は省略可能である。
　次に、判定部３８は、ステップＳ１６及びステップＳ１７の判定結果に基づいて、記憶部３４に記憶された食品管理情報を更新する（Ｓ１８）。図７は、食品管理情報の一例を示す図である。食品管理情報は、冷蔵庫２０内に収納されている食品の内訳を示す情報である。図７に示されるように、食品管理情報においては、例えば、食品の種別と、数量とが対応付けられている。判定部３８は、例えば、ステップＳ１６及びステップＳ１７において飲料が出庫されたと判定した場合には、食品管理情報における飲料の数量を１つ減らす。また、判定部３８は、ステップＳ１６及びステップＳ１７において野菜が入庫されたと判定した場合には、食品管理情報における野菜の数量を１つ増やす。
　その後、測距部３２の計測結果に基づいて、判定部３８により２つのドア２２の両方が閉じたと判定されると（Ｓ１９）、動作は終了となる。
　以上説明したように、入出庫管理システム１０（入出庫管理装置３０）は、動画において本体部２１及びドア２２の輪郭に沿う境界線を設定し、動画に映る食品が設定された境界線を超えるか否かに基づいて、食品の冷蔵庫２０へ入出庫（食品の冷蔵庫２０への入庫、または、食品の冷蔵庫２０からの出庫）を判定する。入出庫管理システム１０は、本体部２１及びドア２２の輪郭に沿う境界線を設定することで、輪郭に無関係な境界線が設定される場合に比べて、食品の冷蔵庫２０への入出庫の判定精度を向上することができる。入出庫管理システム１０は、特に、ドアポケット２２ａに対する食品の入出庫を正確に判定することができる。
　なお、本体部２１及びドア２２の輪郭に沿う境界線の設定方法は、上述の方法に限定されない。例えば、設定部３７は、動画に対して画像処理を行うことにより、境界線を設定してもよい。設定部３７は、具体的には、動画に対してエッジ検出を行うことで本体部２１及びドア２２の輪郭を抽出し、抽出した輪郭を境界線として使用することができる。
　あるいは、図８に示されるように、ドア２２もしくはドアポケット２２ａの撮像部３１の撮像領域に入る部分にマーカ２７が設けられていれば、設定部３７は、マーカ２７の移動する軌跡及び停止位置を検出することで、ドア２２の開き具合を検出することができる。図８は、ドアポケット２２ａにマーカ２７が設けられている場合に撮像部３１によって撮像される動画の一例を示す図である。この場合、設定部３７は、検出したドア２２の開き具合に応じて、設定情報によってあらかじめ定められた複数の境界線候補のうちの１つを境界線として設定することができる。
　また、ステップＳ１７において食品の種別の判定に失敗した場合、つまり、食品の種別が判定不可能である場合に、判定部３８は、報知部３６を用いて食品の種別が判定不可能であることを報知してもよい。例えば、報知部３６がスピーカによって実現される場合、報知部３６は、食品の種別が判定不可能であることを示す音声メッセージ等を出力する。報知部３６が発光素子によって実現される場合、報知部３６は、発光により食品の種別が判定不可能であることを報知する。
　このように、食品の種別の判定に失敗した場合にその旨が報知されれば、ユーザは、食品管理情報を手動で修正するなどの対処を行うことができる。
　［動作例２］
　次に、入出庫管理システム１０の動作例２として、冷蔵庫２０内に収納された食品の提示動作について説明する。図９は、入出庫管理システム１０の動作例２のシーケンス図である。
　入出庫管理装置３０の通信部３５は、食品管理情報をサーバ装置４０へ送信する（Ｓ２１）。サーバ装置４０の通信部４１は、食品管理情報を受信し、提示部４４は、受信された食品管理情報を記憶部４３に記憶する（Ｓ２２）。入出庫管理装置３０の通信部３５は、例えば、食品の入庫判定または出庫判定が行われるごとに食品管理情報をサーバ装置４０へ送信する。あるいは、入出庫管理装置３０の通信部３５は、開いたドア２２が閉じられるごとに食品管理情報をサーバ装置４０へ送信する。これにより、最新の食品管理情報がサーバ装置４０の記憶部４３に記憶される。なお、食品管理情報は、所定時間に１回など定期的に入出庫管理装置３０からサーバ装置４０へ送信されてもよい。
　一方、ユーザは、外出先などから情報端末５０に対して冷蔵庫２０内に収納された食品（食品管理情報の内容）を確認するための所定の操作を行うと、情報端末５０はこのような所定の操作を受け付け（Ｓ２３）、受け付けられた所定の操作に基づいて、提示要求をサーバ装置４０へ送信する（Ｓ２４）。
　サーバ装置４０の通信部４１は、提示要求を受信する。提示部４４は、受信された提示要求に基づいて、記憶部４３に記憶された食品管理情報の内容を提示するための提示情報を情報端末５０へ送信する（Ｓ２５）。提示情報の送信は、より具体的には、通信部４１によって行われる。
　情報端末５０は、提示情報を受信し、受信した提示情報に基づいて、食品管理情報の内容を示す表示画面を情報端末５０が備える表示部に表示する（Ｓ２６）。図１０は、食品管理情報の内容を示す表示画面の一例を示す図である。
　このように、入出庫管理システム１０のユーザは、外出先などから自宅の冷蔵庫２０に収納された食品を確認することができる。
　［動作例３］
　次に、入出庫管理システム１０の動作例３として、ユーザが自宅に不在時に冷蔵庫２０へ食品の入出庫が行われたことの通知動作について説明する。図１１は、入出庫管理システム１０の動作例３のシーケンス図である。
　入出庫管理装置３０の通信部３５は、例えば、食品の入庫判定または出庫判定が行われるごとに入出庫情報をサーバ装置４０へ送信する（Ｓ３１）。入出庫情報は、冷蔵庫２０へ食品が出し入れされたことを示す情報の一例である。
　サーバ装置４０の通信部４１は、入出庫情報を受信し、通知部４５は、ユーザが自宅に不在であるか否かを判定する（Ｓ３２）。言い換えれば、通知部４５は、ユーザが冷蔵庫２０の周辺に不在である期間に入出庫情報が受信されたか否かを判定する。
　例えば、情報端末５０は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）モジュールなどの位置計測部を有し、定期的に位置情報をサーバ装置４０へ送信する。この場合、通知部４５は、受信された位置情報に基づいて、ユーザが自宅に不在であるか否かを判定することができる。なお、ユーザの自宅の位置（座標）は、あらかじめ記憶部４３に登録される。
　また、位置情報を使用する方法に代えて、ユーザは、情報端末５０を操作することによりサーバ装置４０に自宅に不在であることを申告してもよい。この場合、通知部４５は、上記申告に基づく不在モードの動作中であることを、ユーザが自宅に不在であるとみなすことができる。
　通知部４５は、ユーザが自宅に不在であると判定すると、通知情報を情報端末５０へ送信する（Ｓ３３）。通知情報の送信は、より具体的には、通信部４１によって行われる。
　情報端末５０は、通知情報を受信し、受信した通知情報に基づいて通知画面を表示する（Ｓ３４）。図１２は、通知画面の一例を示す図である。一方、ステップＳ３２においてユーザが自宅にいる（不在ではない）と判定された場合、ステップＳ３３及びステップＳ３４の処理は行われない。
　このように、入出庫管理システム１０は、ユーザが冷蔵庫２０の周辺に不在である期間に、冷蔵庫２０へ物体が入庫されたこと、または、冷蔵庫から物体が出庫されたことを示す入出庫情報が受信された場合に、ユーザが所有する情報端末５０へ通知を行う。これにより、ユーザは、冷蔵庫２０の周辺に不在である期間に冷蔵庫２０へ食品が出し入れされたことを認識することができる。
　［変形例］
　上記実施の形態では、境界線の設定（ステップＳ１３）から食品管理情報の更新（ステップＳ１８）までの処理は、入出庫管理装置３０によって行われたが、サーバ装置４０によって行われてもよい。図１３は、このような変形例に係る入出庫管理システムの機能構成を示すブロック図である。
　図１３に示されるように、入出庫管理システム１０ａは、冷蔵庫２０と、入出庫管理装置３０ａと、サーバ装置４０ａと、情報端末５０とを備える。入出庫管理システム１０との違いは、入出庫管理装置３０ａではなく、サーバ装置４０ａ（より詳細には情報処理部４２）が設定部４６、判定部４７、及び、追尾部４８を備えている点である。設定部４６は、設定部３７と実質的に同一の機能を有する構成要素であり、判定部４７は、判定部３８と実質的に同一の機能を有する構成要素であり、追尾部４８は、追尾部３９と実質的に同一の機能を有する構成要素である。
　このような入出庫管理システム１０ａにおいては、サーバ装置４０ａは、測距部３２の計測結果、及び、撮像部３１によって撮像された動画などを入出庫管理装置３０ａから取得することで、境界線の設定（ステップＳ１３）から食品管理情報の更新（ステップＳ１８）までの処理を行うことができる。
　なお、境界線の設定（ステップＳ１３）から食品管理情報の更新（ステップＳ１８）までの処理は、一部が入出庫管理装置３０ａによって行われ、他の一部がサーバ装置４０ａによって行われてもよい。
　［その他の変形例］
　上記実施の形態において、冷蔵庫２０は、一般家庭用の冷蔵庫であってもよいし、コンビニエンスストアなどの小売店で用いられる商品展示用の冷蔵庫であってもよいし、その他の業務用の冷蔵庫であってもよい。
　また、冷蔵庫２０内に単一種別の食品が収納されるような場合には、食品の種別の判定は行われなくてもよい。
　また、冷蔵庫２０は、収納庫の一例であり、本開示は、冷蔵機能を有しない他の収納庫としても実現できる。また、収納庫に収納される物品（言い換えれば、物体）は、食品に限定されず、その他の物品であってもよい。冷蔵庫２０に食品以外の物品が収納されるような場合も考えられる。
　［効果等］
　以上説明したように、入出庫管理装置３０は、本体部２１、及び、本体部２１に取り付けられたドア２２を有する冷蔵庫２０のドア２２が開いた状態の複数の画像を冷蔵庫２０の上方から撮像する撮像部３１と、複数の画像において本体部２１及びドア２２の輪郭に沿う境界線を設定する設定部３７と、複数の画像に映る物体が設定された境界線を超えて移動したか否かに基づいて、物体の冷蔵庫２０への入庫または物体の冷蔵庫からの出庫を判定する判定部３８とを備える。冷蔵庫２０は、収納庫の一例である。
　このような入出庫管理装置３０は、本体部２１及びドア２２の輪郭に無関係な境界線が設定される場合に比べて、物体の冷蔵庫２０への入出庫の判定精度の向上を図ることができる。
　また、例えば、設定部３７は、ドア２２の開き具合に応じて、あらかじめ定められた複数の境界線候補のうちの１つを境界線として設定する。
　このような入出庫管理装置３０は、あらかじめ定められた複数の境界線候補のうちの１つを境界線として設定することができる。
　また、例えば、設定部３７は、複数の画像に対して画像処理を行うことにより、境界線を設定する。
　このような入出庫管理装置３０は、複数の画像に対して画像処理を行うことにより、境界線を設定することができる。
　また、例えば、判定部３８は、さらに、物体の種別を判定する。入出庫管理装置３０は、さらに、物体の種別が判定不可能である場合に報知を行う報知部３６を備える。
　このような入出庫管理装置３０の報知によれば、ユーザは、食品管理情報を手動で修正するなどの対処を行うことができる。
　また、例えば、撮像部３１は、冷蔵庫２０に後付け可能な構造を有する。
　このような撮像部３１は、冷蔵庫２０に後付けすることができる。
　また、入出庫管理システム１０は、入出庫管理装置３０と、サーバ装置４０とを備える。サーバ装置４０は、冷蔵庫２０へ物体が入庫されたこと、または、冷蔵庫２０から物体が出庫されたことを示す入出庫情報を入出庫管理装置３０から受信する通信部４１と、冷蔵庫２０のユーザが冷蔵庫２０の周辺に不在である期間に入出庫情報が受信された場合に、ユーザが所有する情報端末５０へ通知を行う通知部４５とを備える。
　このような入出庫管理システム１０の通知によれば、ユーザは、冷蔵庫２０の周辺に不在である期間に冷蔵庫２０へ食品が出し入れされたことを認識することができる。
　また、入出庫管理システム１０は、本体部２１、及び、本体部２１に取り付けられたドア２２を有する冷蔵庫２０のドア２２が開いた状態の複数の画像を冷蔵庫２０の上方から撮像する撮像部３１と、複数の画像において本体部２１及びドア２２の輪郭に沿う境界線を設定する設定部３７と、複数の画像に映る物体が設定された境界線を超えて移動したか否かに基づいて、物体の冷蔵庫２０への入庫または物体の冷蔵庫からの出庫を判定する判定部３８とを備える。入出庫管理システム１０ａのように、設定部３７及び判定部３８（設定部４６及び判定部４７）は、サーバ装置４０ａによって備えられる場合もある。
　このような入出庫管理システム１０は、本体部２１及びドア２２の輪郭に無関係な境界線が設定される場合に比べて、物体の冷蔵庫２０への入出庫の判定精度の向上を図ることができる。
　また、入出庫管理システム１０などのコンピュータが実行する入出庫管理方法は、本体部２１、及び、本体部２１に取り付けられたドア２２を有する冷蔵庫２０のドア２２が開いた状態の複数の画像を冷蔵庫２０の上方から撮像する撮像ステップと、複数の画像において本体部２１及びドア２２の輪郭に沿う境界線を設定する設定ステップと、複数の画像に映る物体が設定された境界線を超えて移動したか否かに基づいて、物体の冷蔵庫２０への入庫または物体の冷蔵庫からの出庫を判定する判定ステップとを含む。
　このような入出庫管理方法は、本体部２１及びドア２２の輪郭に無関係な境界線が設定される場合に比べて、物体の冷蔵庫２０への入出庫の判定精度の向上を図ることができる。
　（その他の実施の形態）
　以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。
　例えば、上記実施の形態では、入出庫管理システムは、複数の装置によって実現されたが、単一の装置によって実現されてもよい。例えば、入出庫管理システムは、上記実施の形態の入出庫管理装置に相当する単一の装置として実現されてもよいし、サーバ装置に相当する単一の装置として実現されてもよい。入出庫管理システムが複数の装置によって実現される場合、入出庫管理システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。
　また、例えば、上記実施の形態における装置間の通信方法については特に限定されるものではない。また、装置間の通信においては、図示されない中継装置が介在してもよい。また、上記実施の形態で説明された情報の伝達経路は、シーケンス図に示される伝達経路に限定されない。
　例えば、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本開示は、コンピュータによって実行される物体の入出庫管理方法として実現されてもよいし、入出庫管理方法をコンピュータに実行させるためのプログラムとして実現されてもよい。本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
　１０、１０ａ　入出庫管理システム
　２０　冷蔵庫（収納庫）
　２１　本体部
　２２　ドア
　２２ａ　ドアポケット
　２３　第一収納室
　２４　棚
　２６　第二収納室
　３０、３０ａ　入出庫管理装置
　３１　撮像部
　３２　測距部
　３３、４２　情報処理部
　３４、４３　記憶部
　３５、４１　通信部
　３６　報知部
　３７、４４　設定部
　３８、４７　判定部
　３９、４８　追尾部
　４０、４０ａ　サーバ装置（通知装置）
　４４　提示部
　４５　通知部
　５０　情報端末
　６０　広域通信ネットワーク

Claims (10)

  1. 　本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像部と、
    　前記複数の画像において前記本体部及び前記ドアの輪郭に沿う境界線を設定する設定部と、
    　前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定部とを備える
    　入出庫管理装置。
  2. 　前記設定部は、前記ドアの開き具合に応じて、あらかじめ定められた複数の境界線候補のうちの１つを前記境界線として設定する
    　請求項１に記載の入出庫管理装置。
  3. 　前記設定部は、前記複数の画像に対して画像処理を行うことにより、前記境界線を設定する
    　請求項１に記載の入出庫管理装置。
  4. 　前記判定部は、さらに、前記物体の種別を判定し、
    　前記入出庫管理装置は、さらに、前記物体の種別が判定不可能である場合に報知を行う報知部を備える
    　請求項１～３のいずれか１項に記載の入出庫管理装置。
  5. 　前記撮像部は、前記収納庫に後付け可能な構造を有する
    　請求項１～４のいずれか１項に記載の入出庫管理装置。
  6. 　前記収納庫は、冷蔵庫である
    　請求項１～５のいずれか１項に記載の入出庫管理装置。
  7. 　請求項１～６のいずれか１項に記載の入出庫管理装置と、
    　通知装置とを備え、
    　前記通知装置は、
    　前記収納庫へ前記物体が入庫されたこと、または、前記収納庫から前記物体が出庫されたことを示す情報を前記入出庫管理装置から受信する通信部と、
    　前記収納庫のユーザが前記収納庫の周辺に不在である期間に前記情報が受信された場合に、前記ユーザが所有する情報端末へ通知を行う通知部とを備える
    　入出庫管理システム。
  8. 　本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像部と、
    　前記複数の画像において前記本体部及び前記ドアの輪郭に沿う境界線を設定する設定部と、
    　前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定部とを備える
    　入出庫管理システム。
  9. 　本体部、及び、前記本体部に取り付けられたドアを有する収納庫の前記ドアが開いた状態の複数の画像を前記収納庫の上方から撮像する撮像ステップと、
    　前記複数の画像において前記本体部及び前記ドアの輪郭に沿う境界線を設定する設定ステップと、
    　前記複数の画像に映る物体が設定された前記境界線を超えて移動したか否かに基づいて、前記物体の前記収納庫への入庫または前記物体の前記収納庫からの出庫を判定する判定ステップとを含む
    　入出庫管理方法。
  10. 　請求項９に記載の入出庫管理方法をコンピュータに実行させるためのプログラム。
PCT/JP2022/007105 2021-02-25 2022-02-22 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法 WO2022181575A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/546,576 US20240233384A9 (en) 2021-02-25 2022-02-22 Storage-retrieval management device, storage-retrieval management system, and storage-retrieval management method
CN202280015508.1A CN116917678A (zh) 2021-02-25 2022-02-22 出入库管理装置、出入库管理系统、以及出入库管理方法
JP2023502416A JP7475000B2 (ja) 2021-02-25 2022-02-22 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021028423 2021-02-25
JP2021-028423 2021-02-25

Publications (1)

Publication Number Publication Date
WO2022181575A1 true WO2022181575A1 (ja) 2022-09-01

Family

ID=83048107

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/007105 WO2022181575A1 (ja) 2021-02-25 2022-02-22 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法

Country Status (4)

Country Link
US (1) US20240233384A9 (ja)
JP (1) JP7475000B2 (ja)
CN (1) CN116917678A (ja)
WO (1) WO2022181575A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024089973A1 (ja) * 2022-10-27 2024-05-02 パナソニックＩｐマネジメント株式会社 入出庫管理システム、及び、入出庫管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015081762A (ja) * 2013-10-24 2015-04-27 三菱電機株式会社 冷蔵庫
JP2016023854A (ja) * 2014-07-18 2016-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 判定装置、および、判定方法
JP2017215067A (ja) * 2016-05-30 2017-12-07 シャープ株式会社 在庫管理装置および在庫管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015081762A (ja) * 2013-10-24 2015-04-27 三菱電機株式会社 冷蔵庫
JP2016023854A (ja) * 2014-07-18 2016-02-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 判定装置、および、判定方法
JP2017215067A (ja) * 2016-05-30 2017-12-07 シャープ株式会社 在庫管理装置および在庫管理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024089973A1 (ja) * 2022-10-27 2024-05-02 パナソニックＩｐマネジメント株式会社 入出庫管理システム、及び、入出庫管理方法

Also Published As

Publication number Publication date
JPWO2022181575A1 (ja) 2022-09-01
US20240135715A1 (en) 2024-04-25
CN116917678A (zh) 2023-10-20
US20240233384A9 (en) 2024-07-11
JP7475000B2 (ja) 2024-04-26

Similar Documents

Publication Publication Date Title
US11816897B2 (en) Information processing apparatus, information processing method, and information processing program
JP6938116B2 (ja) 在庫管理装置および在庫管理方法
WO2022181573A1 (ja) 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法
US20160088262A1 (en) Method For Managing Storage Product In Refrigerator Using Image Recognition, And Refrigerator For Same
KR102003691B1 (ko) 소품 등록 시스템
JP2017174272A (ja) 情報処理装置及びプログラム
JP6687199B2 (ja) 商品棚位置登録プログラム、及び情報処理装置
WO2022181575A1 (ja) 入出庫管理装置、入出庫管理システム、及び、入出庫管理方法
US11335010B2 (en) Methods for viewing and tracking stored items
JP2016081364A (ja) 情報通知プログラム及び情報処理装置
US11288506B2 (en) Refrigerator appliances and methods for tracking stored items
JP5654110B2 (ja) 監視方法およびカメラ
JP6775467B2 (ja) 物品収納装置及び物品管理システム
JP6176563B2 (ja) 商品販売装置
CN113470250A (zh) 售卖柜、监控方法、服务器、系统及计算机可读存储介质
JPWO2018174080A1 (ja) 物品管理システム及び物品管理方法
KR20180090724A (ko) 냉장고 제어 방법 및 냉장고 제어 장치
JP2023122404A (ja) 教師データ作成システム、及び、教師データ作成方法
WO2024089973A1 (ja) 入出庫管理システム、及び、入出庫管理方法
CN112487962A (zh) 一种物品信息确定方法、装置、存储介质及电子装置
CN114209188B (zh) 陈列柜中物品陈列角度的调整方法、陈列柜及存储介质
CN112307807B (zh) 图像识别方法、图像识别装置及冰箱
US20230316755A1 (en) Refrigerator appliance and methods for tracking stored items in a freezer chamber
CN115100779A (zh) 零售装置
CN117367022A (zh) 完整运动轨迹的生成方法、制冷设备和计算机存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22759611

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023502416

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18546576

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280015508.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22759611

Country of ref document: EP

Kind code of ref document: A1