WO2023145686A1 - 食品廃棄量管理制御装置、食品廃棄量管理システム、および食品廃棄量管理方法 - Google Patents

食品廃棄量管理制御装置、食品廃棄量管理システム、および食品廃棄量管理方法 Download PDF

Info

Publication number
WO2023145686A1
WO2023145686A1 PCT/JP2023/001910 JP2023001910W WO2023145686A1 WO 2023145686 A1 WO2023145686 A1 WO 2023145686A1 JP 2023001910 W JP2023001910 W JP 2023001910W WO 2023145686 A1 WO2023145686 A1 WO 2023145686A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
unit
time
image
disposal
Prior art date
Application number
PCT/JP2023/001910
Other languages
English (en)
French (fr)
Inventor
健一 柿本
涼平 渡邊
郁人 ▲高▼嵜
賀美 井上
Original Assignee
株式会社J-オイルミルズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社J-オイルミルズ filed Critical 株式会社J-オイルミルズ
Priority to JP2023576897A priority Critical patent/JPWO2023145686A1/ja
Publication of WO2023145686A1 publication Critical patent/WO2023145686A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/30Administration of product recycling or disposal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions

Definitions

  • the present invention relates to a food waste management control device, a food waste management system, and a food waste management method.
  • fried food fried in a fryer installed in a store is displayed in a hot showcase (also called hotters, hot stockers, heat storage, etc.), which is a display shelf with a heat retention function.
  • the hot showcase has a function of managing the state of the display space in order to display the fried food while maintaining it in a state suitable for sale.
  • Patent Document 1 discloses that the internal temperature of a hot showcase is set or changed to a temperature suitable for the food based on information such as the storage temperature range of the displayed food and the optimum temperature range for offering to customers.
  • a showcase internal temperature setting device is disclosed.
  • an object of the present invention is to provide a food waste amount management control device, a food waste amount management system, and a food waste amount management method capable of accurately recording the amount of food waste of cooked food displayed on a display shelf. is to provide
  • the present invention provides a food waste amount management control device for managing and controlling the amount of waste of cooked food displayed on a display shelf, wherein a plurality of food waste displayed on the display shelf
  • An image acquisition unit that acquires an image including the food, an identification information generation unit that generates identification information for individually identifying the surface image of each food displayed on the display shelf, and the image acquisition unit an individual surface image management unit that individually associates and manages the identification information generated by the identification information generation unit with respect to each of the surface images included in the acquired image; and the individual surface image management unit.
  • a time measuring unit that measures the time that the surface image associated with the identification information is included in the image, and the measured time measured by the time measuring unit is measured when the food is discarded.
  • a discard determination unit that determines whether or not a predetermined reference time has been reached as a reference for the elapsed time of the and a waste amount recording unit for recording the amount of food waste.
  • FIG. 1 is a perspective view showing one configuration example of a hot showcase; FIG. It is the top view which looked at the inside of the hot showcase from the back side.
  • It is a system block diagram which shows one structural example of a fried food waste amount management system.
  • It is a block diagram which shows an example of the hardware constitutions of a fried food disposal amount management control apparatus. It is a graph which shows the transition of the deteriorated flavor with respect to time obtained by the sensory evaluation.
  • It is a functional block diagram which shows the function which the fried food waste amount management control apparatus which concerns on 1st Embodiment has.
  • It is a flowchart which shows the flow of the process performed with the fried food waste amount management control apparatus which concerns on 1st Embodiment.
  • FIG. 10 is a graph showing the transition of the color component R value with respect to the elapsed time obtained by photographing the fried chicken displayed in the hot showcase as a still image and analyzing the image.
  • FIG. 10 is a graph showing transition of color component G value with respect to elapsed time obtained by photographing fried chicken displayed in a hot showcase as a still image and analyzing the image; FIG. FIG.
  • FIG. 10 is a graph showing transition of color component B value with respect to elapsed time obtained by photographing fried chicken displayed in a hot showcase as a still image and analyzing the image;
  • FIG. 10 is a graph showing the transition of the color component R value with respect to the elapsed time obtained when the fried chicken displayed in the hot showcase is photographed as a moving image and the image is analyzed.
  • 10 is a graph showing the transition of the color component G value with respect to the elapsed time obtained when the fried chicken displayed in the hot showcase is photographed as a moving image and the image is analyzed.
  • 10 is a graph showing the transition of the color component B value with respect to the elapsed time obtained when the fried chicken displayed in the hot showcase is photographed as a moving image and the image is analyzed.
  • 10 is a graph showing the transition of the color component R value with respect to the elapsed time obtained by photographing the croquettes displayed in the hot showcase as a still image and analyzing the image.
  • 10 is a graph showing the transition of the color component G value with respect to the elapsed time obtained by photographing the croquettes displayed in the hot showcase as a still image and analyzing the image.
  • 10 is a graph showing the transition of the color component B value with respect to the elapsed time obtained by photographing the croquettes displayed in the hot showcase as a still image and analyzing the image.
  • 10 is a graph showing the transition of the color component R value with respect to the elapsed time obtained when the croquettes displayed in the hot showcase are photographed as a moving image and the image is analyzed.
  • 10 is a graph showing the transition of the color component G value with respect to the elapsed time obtained when the croquettes displayed in the hot showcase are photographed as a moving image and the image is analyzed.
  • 10 is a graph showing the transition of the color component B value with respect to the elapsed time obtained when the croquettes displayed in the hot showcase are photographed as a moving image and the image is analyzed.
  • 10 is a graph showing the transition of the color component R value with respect to elapsed time obtained by photographing hash potatoes displayed in a hot showcase as a still image and analyzing the image.
  • 10 is a graph showing the transition of the color component G value with respect to the elapsed time obtained by photographing hash potatoes displayed in a hot showcase as a still image and analyzing the image.
  • FIG. 10 is a graph showing the transition of the color component B value with respect to the elapsed time obtained by photographing hash potatoes displayed in a hot showcase as a still image and analyzing the image. It is a functional block diagram which shows the function which the fried food waste amount management control apparatus which concerns on 2nd Embodiment has. It is a flowchart which shows the flow of the process performed with the fried food waste amount management control apparatus which concerns on 2nd Embodiment. It is a graph which shows transition of the average area with respect to elapsed time obtained when three fried chicken displayed in the hot showcase are image
  • FIG. 10 is a diagram showing an example of sales tongs and disposal tongs that are used as a basis for determining whether or not fried food has been moved, which is determined by the fried food disposal amount management control device according to the third embodiment.
  • FIG. 10 is a diagram showing another example of sales tongs and disposal tongs that are used as a basis for determining whether or not fried food has been moved, which is determined by the fried food disposal amount management control device according to the third embodiment.
  • FIG. 10 is a diagram showing an example of distinguishing sales tongs and disposal tongs using NFC technology in the fried food disposal amount management control device according to the third embodiment. It is a functional block diagram which shows the function which the fried food waste amount management control apparatus which concerns on 3rd Embodiment has.
  • the fried food waste amount management system is installed, for example, in a hot showcase installed near the accounting place of a small store such as a convenience store, or in a delicatessen section (food section) such as a supermarket.
  • This is a system for managing the amount of waste of cooked foods, especially fried foods (for example, fried chicken, croquettes, French fries, etc.) displayed on display shelves such as showcases.
  • “Discarded amount” of cooked food refers to the amount of cooked food that reaches the point of disposal (expressed by number, mass, volume, etc.).
  • the "disposal point” of cooked food means that the flavor of the cooked food has deteriorated due to the passage of a predetermined time from the time of completion of cooking, making it unsuitable for sale to customers. means time.
  • the "disposal point” is arbitrarily set by the manufacturer or retail store according to the type of cooked food. Therefore, the "time of disposal” includes not only the so-called “expiration date” but also the "best before date”.
  • the meaning includes “recording the amount of waste”.
  • “to manage the amount of waste” involves not only recording the actual amount of waste, but also predicting the point of disposal of food that has not reached the point of disposal, and calculating the amount of waste (estimated amount of waste) calculation, and determination of the next cooking schedule for the food based on the estimated disposal time and the estimated amount of waste in order to reduce the amount of waste.
  • FIG. 1 is a perspective view showing one configuration example of the hot showcase 1.
  • FIG. FIG. 2 is a plan view of the inside of the hot showcase 1 as seen from the rear side.
  • the hot showcase 1 is an example of a display shelf for fried foods that is installed in a retail store such as a convenience store, and on which fried foods X cooked in the store are displayed.
  • the internal space of the hot showcase 1, that is, the display space in which the fried food X is displayed is kept at an appropriate temperature so that the display environment of the fried food X can be maintained under suitable conditions, and the fried food X in a more suitable state is sold to the customer. managed to make it possible.
  • FIG. 1 three shelves 11, 12, 13 are provided in the hot showcase 1, and several kinds of fried foods X are displayed on each shelf 11, 12, 13. A plurality of fried foods X are arranged on the same tray 2 by type.
  • three trays 2 are placed on each shelf 11, 12, and 13, respectively.
  • the upper shelf of the hot showcase 1 is the first shelf 11
  • the middle shelf is the second shelf 12
  • the lower shelf is is the third shelf 13 .
  • the hot showcase 1 is provided with three cameras 5 as imaging devices for capturing images including a plurality of fried foods X displayed on the shelves 11, 12, and 13. .
  • the camera 5 is arranged on one end side of the top surface of each shelf 11, 12, 13, but an image including all of the plurality of fried foods X displayed in the hot showcase 1 can be taken. If possible, there are no particular restrictions on the number of cameras 5 and their mounting positions.
  • a plurality of cameras 5 are installed as shown in FIG. By doing so, it is sufficient that an overall image including all of the plurality of fried foods X and surface images of the individual fried foods X can be photographed.
  • an overall image including all of the plurality of fried foods X and a surface image of each fried food X can be photographed. good too.
  • a video camera capable of capturing moving images is used as the camera 5, and images including individual movements of the fried foods X in the hot showcase 1 are captured. Individual fried foods X displayed in the hot showcase 1 are not always placed in the same position as they were placed immediately after being fried.
  • the fried food X is placed on the tray 2 arranged on one of the shelves 11, 12, 13 in the hot showcase 1A.
  • the position of the fried food X may be changed in the tray 2 of the tray 2, or the fried food X may be moved to a tray 2 different from the tray 2 on which the fried food X was initially placed.
  • the camera 5 shoots the state of each shelf 11, 12, 13 as a moving image, thereby shooting an image including the movement (positional movement, etc.) of each fried food X included in the moving image as a whole image. Based on this moving image, by executing the processing in the fried food waste amount management control device 4, which will be described later, even if the individual fried food X placed on each shelf 11, 12, 13 is moved, the individual fried food X can be identified. By tracking while moving, the passage of time can be obtained individually.
  • the camera 5 does not necessarily have to be a video camera capable of capturing moving images, and may be any camera capable of acquiring images of the fried food X continuously over time.
  • it may be a camera such as a still camera that can take only still images. In that case, it is sufficient that the individual movements of the fried foods X in the hot showcase 1 can be captured continuously to the extent that they can be acquired as image data.
  • FIG. 3 is a system configuration diagram showing a configuration example of the fried food waste amount management system 3.
  • FIG. 4 is a configuration diagram showing an example of the hardware configuration of the fried food disposal amount management control device 4. As shown in FIG.
  • the fried food waste amount management system 3 as shown in FIG. and a management server 321 .
  • Each controller 311 and management server 321 are directly or indirectly connected to enable information communication with each other via a communication network N such as an Internet line.
  • Each controller 311 is a fried food waste amount management control device 4 that manages and controls the amount of fried food X that is displayed in the hot showcase 1 (i.e., manages and controls the amount of cooked food that is displayed on the display shelf). food waste amount management control device).
  • Each controller 311 has a function related to the management of the amount of fried food X disposed of by the control device 4 for managing the amount of disposed fried food X.
  • each controller 311 has a function to perform environmental management such as the overall temperature and humidity in the hot showcase 1. It also has a function related to state management of various devices provided in each store 31 .
  • the management server 321 executes, for example, processing related to sales management of each store 31 .
  • each hot showcase 1 is communicatively connected to each controller 311 .
  • the communication means may be wired or wireless.
  • the hot showcase 1 as a function of detecting the state of the fried foods X displayed on each shelf 11, 12, 13, transmits information representing the state of each fried food X to the management server 321 as detection information. It just needs to have the function.
  • the function of transmitting detection data to the management server 321 may be implemented without the controller 311 .
  • the hot showcase 1 has a configuration that enables direct communication with the management server 321 , detection data can be directly transmitted to the management server 321 without going through the controller 311 .
  • each controller 311 includes a CPU (Central Processing Unit) 301, a RAM (Random Access Memory) 302, a ROM (Read Only Memory) 303, an HDD (Hard Disk Drive) 304, An I/F (Interface) 305 may be provided. These components are assumed to be connected via a common bus 306 respectively.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • HDD Hard Disk Drive
  • I/F Interface
  • the CPU 301 is computing means and controls the operation of the controller 311 as a whole.
  • a RAM 302 is a volatile storage medium from which information can be read and written at high speed, and is used as a work area when the CPU 301 processes image information, for example.
  • the ROM 303 is a read-only non-volatile storage medium and stores programs such as firmware.
  • the HDD 304 is a non-volatile storage medium that can read and write information and has a large storage capacity, and stores an OS (Operating System), control programs and application programs for executing various types of information processing described later. .
  • OS Operating System
  • the HDD 304 can be replaced by, for example, an SSD (Solid State Drive) regardless of the type of device as long as it implements the functions of storing and managing information as a non-volatile storage medium.
  • the I/F 305 is a connection interface with the communication network N, and is connected with a communication module 313 that realizes information communication with devices other than the controller 311 such as a sensor, a monitor 312 that displays a user interface, and the like. .
  • the monitor 312 displays the management status of the hot showcase 1, the state of the fried food X on display, the number of discarded fried food X (discarded amount), the cooking schedule for the next fried food X, and the like. It is installed near the hot showcase 1, for example.
  • Each controller 311 having such a hardware configuration implements a processing function of the control program stored in the ROM 303 and the control program and application program loaded from the storage medium such as the HDD 304 to the RAM 302 by the arithmetic function of the CPU 301. It is an information processing device that By executing these information processes, a software control section including various functional modules in each controller 311 is configured. A functional block that implements the function of each controller 311 is configured by a combination of the software control unit configured in this way and the hardware resources including the configuration described above.
  • management server 321 shown in FIG. 3 also has the same hardware configuration as each controller 311, and each configuration executes the control program and application program stored in the respective storage media to control the management server.
  • a functional block that implements the functions of H.321 is configured.
  • the specific information processing for managing the disposal timing of the plurality of fried foods X displayed in the hot showcase 1 is executed by the fried food disposal amount management control device 4 .
  • the fried food disposal amount management control device 4 may have all of its functions implemented in the store software on the controller 311 side or the head office software on the management server 321 side, or the functions may be distributed between the store software and the head office software. may have been
  • Fig. 5 is a graph showing the transition of the deteriorated flavor of fried food over time obtained by sensory evaluation.
  • the horizontal axis indicates the elapsed time from the time when the fried food to be evaluated is fried, and the vertical axis converts the flavor of the fried food into a predetermined evaluation point, and the cumulative value of the points is the deterioration of the flavor. It is the degree of "degraded flavor”.
  • the deteriorated flavor value is low, it is assumed that the fried food is less deteriorated and is maintained in a suitable state. Conversely, if the value of degraded flavor is high, it is presumed that the fried food has deteriorated and is approaching the point of disposal. Therefore, based on whether the deteriorated flavor exceeds a predetermined threshold, it is possible to determine whether or not the fried food has reached the point of disposal.
  • fried foods generally have an increased deteriorated flavor (the deterioration of the flavor becomes stronger) as the time elapsed from the time of frying increases. That is, based on FIG. 5, it can be said that the flavor of fried food deteriorates with the lapse of time.
  • FIG. 6 is a functional block diagram showing the functions of the fried food disposal amount management control device 4 according to the first embodiment.
  • FIG. 7 is a flow chart showing the flow of processing executed by the fried food disposal amount management control device 4 according to the first embodiment.
  • the fried food disposal amount management control device 4 includes, for example, an image acquisition unit 41, an identification information generation unit 42, an individual surface image management unit 43, a time measurement unit 44, a disposal determination unit 45, and a disposal amount recording unit 46. , a notification unit 47 and a storage unit 40 .
  • the image acquisition unit 41 acquires images including a plurality of fried foods X for each of the shelves 11, 12, and 13 captured by each camera 5.
  • the identification information generation unit 42 generates identification information that individually identifies the surface images of the plurality of fried foods X displayed in the hot showcase 1A. Note that the identification information generated by the identification information generation unit 42 may be stored in the storage unit 40 .
  • the individual surface image management unit 43 manages the identification information generated by the identification information generation unit 42 in association with the surface image of each fried food X included in the image acquired by the image acquisition unit 41 .
  • each fried food X For the surface image of each fried food X, for example, image processing is performed to extract the outline of each fried food X included in the image captured by each camera 5, and the image area of each fried food X is specified. can be obtained from the image obtained by the image obtaining unit 41 .
  • the individual surface image management unit 43 associates, in addition to the identification information generated by the identification information generation unit 42, type information specifying the type of the fried food X with the surface image of each fried food X. to manage.
  • the type of each fried food X is identified by comparing it with a reference sample image. Note that the sample images are stored in the storage unit 40 .
  • the type of each fried food X can be identified by manually inputting the type of fried food X by an employee of the store via the monitor 312, for example, when the monitor 312 has a function as an input terminal. is. Note that the type information of the fried food X is stored in the storage unit 40 .
  • the surface image of the croquette X1 is extracted from the image, and the extracted surface image is managed in association with the identification information "3-L-1" and the type information "croquette".
  • each tray 2 can be generated as follows: position (1, 2, 3, . . . ) in
  • position (1, 2, 3, . . . ) is the left end side of the hot showcase 1 on the third shelf 13 when lifted up (when placed in the hot showcase 1 for the first time). It shows that it is the first fried food X (croquette X1) placed on the tray 2.
  • the first fried food X placed on the tray 2 means "the first fried food X placed on the tray 2" when no fried food X is placed on the tray 2 (when it is empty).
  • the third element constituting the identification information represents the cumulative number of fried foods X placed on the tray 2 on the left end side of the shelf 13 on the third stage.
  • the identification information is only information for individually identifying the fried foods X displayed in the hot showcase 1 at a certain point in time. Therefore, the "first fried food X" may indicate the cumulative number from the initial state of the hot showcase 1, or return to the initial state (zero) at a certain point, and then repeat the individual It may be given so that the fried food X can be distinguished. Therefore, as exemplified in the present embodiment, the number indicating the third element that constitutes the identification information is not limited to being a serial number, and may be randomly assigned. It doesn't matter if it can be individually identifiable.
  • the time measurement unit 44 measures the elapsed time after the surface image associated with the identification information and type information by the individual surface image management unit 43 is included in the image acquired by the image acquisition unit 41 . That is, the time measuring unit 44 continues to measure the time that the fried food X stays in the hot showcase 1 starting from the time when the fried food X is fried and placed in the hot showcase 1 . When the fried food X is taken out from the hot showcase 1, the elapsed time for the fried food X is reset.
  • the discard determination unit 45 determines whether or not the elapsed time (measurement time) of each piece of fried food X measured by the time measuring unit 44 reaches a reference time set in advance as a reference for discarding the fried food X. judge.
  • This "reference time” is stored in the storage unit 40, and may be set to a specific time when the fried food X should be discarded. time) may be set. For example, the time 10 minutes before the disposal time may be set as a reference.
  • the "reference time" is set in association with the type information associated by the individual surface image management unit 43.
  • the reference time corresponds to the threshold value for individually determining whether the fried food X has passed the disposal time.
  • the relationship between the elapsed time from the time when the specific fried food X has been fried and the deterioration of the flavor may differ depending on the type of fried food.
  • the determination accuracy can be improved by setting the type information indicating the type of each fried food X in association with the reference time.
  • the reference time does not necessarily need to be set based on the type information, and may be set to a predetermined time regardless of the type of fried food X.
  • the discard amount recording unit 46 records in the storage unit 40 the number of fried foods X determined by the discard determining unit 45 that the measurement time has reached the reference time (that is, has reached the point of disposal) as the discard amount.
  • the notification unit 47 outputs to the monitor 312 a notification signal for notifying the employee of the store 31 of the amount of fried food X discarded recorded by the disposal amount recording unit 46 .
  • the notification unit 47 not only provides a notification signal related to the amount of fried food X to be discarded, but also a warning signal for notifying that the fried food X determined by the discard determination unit 45 to have reached the point of disposal needs to be discarded. etc. may be output to the monitor 312 .
  • the information (signal) output from the notification unit 47 is not limited in its type, expression format, and notification format as long as it is information that can prompt the store employee to discard the fried food X. .
  • the image acquisition unit 41 acquires images (a plurality of fried foods X displayed in the hot showcase 1) captured by the respective cameras 5 in a photographing step. ) is acquired (step S401; image acquisition step).
  • the identification information generation unit 42 generates identification information for individually identifying the surface images of the plurality of fried foods X included in the image acquired in step S401 (step S402; identification information generation step).
  • the individual surface image management unit 43 extracts the surface image of each fried food X from the image acquired in step S401, and stores the extracted surface image with the identification information generated in step S402 and the storage unit 40
  • the type information read out from is associated and managed (step S403; individual surface image management step).
  • the time measurement unit 44 measures the time during which each surface image associated with the identification information and type information is included in the image acquired in step S401 in step S403 (step S404; time measurement step).
  • the disposal determination unit 45 determines whether or not the measurement time measured in step S404 reaches the reference time for each fried food X (step S405; disposal determination step).
  • the discard amount recording unit 46 records the number of fried foods X for which it is determined in step S405 that the measurement time has reached the reference time (measurement time ⁇ reference time) (step S405/YES) as the discard amount in the storage unit 40. (step S406; waste amount recording step).
  • the notification unit 47 outputs to the monitor 312 a notification signal for notifying the amount of discarded fried food X recorded in step S406 (step S407), and the process in the discarded fried food amount management control device 4 ends. .
  • the discarded amount of the fried food X is displayed on the monitor 312 (informing step).
  • step S405 the fried food X whose measurement time has reached the reference time is not included in the hot showcase 1, that is, only the fried food X whose measurement time has not reached the reference time (measurement time ⁇ reference time) is hot. If it is determined that it is displayed in the showcase 1 (step S405/NO), it is determined whether or not there is fried food X whose surface image is out of the image acquired in step S401 (step S408). .
  • step S408 For the fried food X whose surface image is out of the acquired image in step S408 (step S408/YES), the processing in the fried food waste amount management control device 4 ends.
  • step S408/NO the fried food X whose surface image is not deviated from the acquired image in step S408 (step S408/NO), that is, the time during which it is continuously displayed in the hot showcase 1 and displayed in the hot showcase
  • the process returns to step S401 to repeat the process.
  • a plurality of fried foods X displayed in the hot showcase 1 are photographed continuously or intermittently by the camera 5, and the individual fried foods X are identified based on the photographed images. Even when moving within the hot showcase 1, it is possible to accurately determine the disposal point of each fried food X. As a result, the number of fried foods X that have reached the point of disposal can also be accurately grasped, so that the amount of fried foods X discarded can be accurately recorded.
  • FIG. 8 is a flow chart showing the flow of processing executed by the fried food disposal amount management control device 4 according to the modification of the first embodiment.
  • the fried food disposal amount management control device 4 includes processing when the fried food X is once taken out of the hot showcase 1 and returned to the hot showcase 1 again.
  • the image acquisition unit 41 acquires an image including a plurality of fried foods X displayed in the hot showcase 1A (step S410), similar to step S401 in the first embodiment.
  • the fried food waste amount management control device 4 stores the surface images of the individual fried foods X included in the image acquired this time in the storage unit 40. It is determined whether or not it is stored, that is, whether or not it is included in the image acquired in the past step S410 (step S411).
  • the "surface image related information” is information that can be obtained from the surface image of each fried food X extracted from the image taken by the camera 5, and specifically, the color tone (color composition), size, and shape. Therefore, the "surface image-related information” may include the surface image itself, or may include information in which information such as feature points included in the surface image is structured. In any case, the “surface image-related information” is an information group that can determine whether or not the elapsed time was measured in the past for the fried food X included in the image (acquired image) acquired in step S410. If it is
  • step S411 If it is determined in step S411 that the surface image to be determined is not associated with the surface image-related information stored in the storage unit 40 (step S411/NO), the identification information and type information are newly associated (step S412). Note that there may be a plurality of surface images to be determined in step S411. In that case, the determination in step S411 is performed for each of the plurality of surface images.
  • step S411 the surface image to be determined is associated with the surface image-related information stored in the storage unit 40. If it is the surface image of the fried food X determined to be included in the acquired image in step S410 (step S411 / YES), the identification information and type information stored in the storage unit 40 for the corresponding surface image are associated (step S413).
  • the time measurement unit 44 measures the time during which the surface image is included in the acquired image from the measurement time serving as the starting point (step S414 ).
  • step S412 the time measurement unit 44 newly measures the time during which the surface image is included in the acquired image, starting from the current time.
  • step S413 the time measuring unit 44 resumes measuring the time during which the surface image is included in the acquired image, starting from the measurement time immediately before the surface image is out of the acquired screen in the previous time. . That is, for the fried food X once taken out of the hot showcase 1 and returned to the hot showcase 1 again, the measurement of the time during which the surface image is included in the acquired image is restarted.
  • the disposal determination unit 45 determines whether or not the measurement time measured in step S414 reaches the reference time for each fried food X (step S415).
  • the discard amount recording unit 46 determines that the measurement time has reached the reference time (measurement time ⁇ reference time) in step S415 (step S415/YES).
  • the number of X is recorded in the storage unit 40 as the discard amount (step S416).
  • the notification unit 47 outputs to the monitor 312 a notification signal for notifying the discard amount of the fried food X recorded in step S416 (step S417).
  • the processing in the fried food disposal amount management control device 4 according to the modified example ends.
  • step S415 when it is determined in step S415 that only the fried food X whose measured time has not reached the reference time (measured time ⁇ reference time) is displayed in the hot showcase 1 (step S415/NO), the first Similar to step S408 in the embodiment, it is determined whether or not there is a fried food X whose surface image is out of the image acquired in step S410 (step S418).
  • step S418 If it is determined in step S418 that there is no fried food X whose surface image is out of the acquired image (step S418/NO), the process returns to step S410.
  • step S418 for the fried food X whose surface image is out of the acquired image in step S418 (step S418 / YES), the timing at which it is determined that the surface image of the fried food X is out of the acquired image, that is, "YES" in step S418
  • the measurement time up to the timing, the identification information, the type information, and the surface image-related information assigned to the surface image of the fried food X are stored in the storage unit 40 (step S419).
  • the surface image-related information used in step S411, the identification information and type information used in step S413, and the measurement time immediately before the surface image is removed from the acquisition screen used in step S414 are all stored in the storage unit 40 in step S419. is information stored in
  • the processing executed by the fried food waste amount management control device 4 includes the processing when the fried food X is once taken out of the hot showcase 1 and returned to the hot showcase 1 again. , it is possible to more accurately determine when to discard a plurality of fried foods X displayed in the hot showcase 1, and to record the amount of fried foods X to be disposed of more accurately.
  • the fried food waste amount management control device 4 automatically performs processing, Not limited to this, for example, when the fried food X is taken out from the hot showcase 1, the employee of the store 31 manually inputs the identification information of the fried food X to the input terminal or the like, and the fried food waste amount The management control device 4 may use the input identification information to determine whether the fried food X is new.
  • the fried food waste amount management control device 4A in addition to the elapsed time from the time of frying of the fried food X, based on an index (deterioration index) that changes according to the deterioration of the flavor of the fried food X to determine when to discard the
  • the deterioration index used for managing the fried food X at the time of disposal is an index that has been confirmed to function for grasping the state of the fried food X, and in addition to the color component of the fried food X, for example, the size of the fried food X weight, weight, water content, volatile content, volatile content composition, acid number, anisidine number, carbonyl number, peroxide number, iodine number, and polar compound content.
  • the color component of the fried food X is mentioned as an example and demonstrated as a deterioration index used for management of the time of disposal of the fried food X.
  • Fig. 9 is a graph showing the transition of the color depth of fried food against the elapsed time obtained by sensory evaluation.
  • the horizontal axis indicates the elapsed time from the fried food to be evaluated, and the vertical axis indicates the index value of the “color depth” of the fried food.
  • fried foods generally have an index indicating surface color depth that increases as the elapsed time from the time of frying increases. That is, fried foods tend to darken in color over time.
  • the color of the surface of the fried food is state data indicating the state of the fried food and also corresponds to temporal change data that indicates the temporal change of the fried food.
  • the value of the "degraded flavor" shown in Fig. 5 also increases as the elapsed time from the time of frying increases. Therefore, there is a correlation between the color intensity of the surface of the fried food and the deterioration of the flavor of the fried food.
  • the fried food waste amount management control device 4A identifies the surface image of the individual fried food X from the still image or moving image taken by each camera 5, calculates the RGB values of the pixels (each pixel) constituting the surface image, and calculates these RGB values are analyzed as color components of each fried food X.
  • the method of analyzing the color of each fried food X does not necessarily have to be the RGB method, and as another analysis method, for example, wavelength analysis of still images or moving images captured by each camera 5 may be performed.
  • a moving image a still image is extracted from the moving image at a predetermined sampling time, and the color component of each fried food X corresponding to a predetermined elapsed time is analyzed using the still image as an analysis target.
  • the RGB value is used as an index indicating the color of the fried food X, but it is not limited to this, for example, it is expressed by the three elements of hue (Hue), saturation (Saturation), and lightness (Value). Other color indices such as HSV may be used.
  • FIG. 10A is a graph showing the transition of the color component R value with respect to the elapsed time obtained when the fried chicken displayed in the hot showcase 1 is photographed as a still image and the image is analyzed.
  • FIG. 10B is a graph showing the transition of the color component G value with respect to the elapsed time obtained by photographing the fried chicken displayed in the hot showcase 1 as a still image and analyzing the image.
  • FIG. 10C is a graph showing the transition of the color component B value with respect to the elapsed time obtained by photographing the fried chicken displayed in the hot showcase 1 as a still image and analyzing the image.
  • FIG. 11A is a graph showing the transition of the color component R value with respect to the elapsed time obtained when the fried chicken displayed in the hot showcase 1 is photographed as a moving image and the image is analyzed.
  • FIG. 11B is a graph showing the transition of the color component G value with respect to the elapsed time obtained when the fried chicken displayed in the hot showcase 1 is photographed as a moving image and the image is analyzed.
  • FIG. 11C is a graph showing the transition of the color component B value with respect to the elapsed time obtained when the fried chicken displayed in the hot showcase 1 is photographed as a moving image and the image is analyzed.
  • the R component tends to decrease as a whole as 4 hours, 6 hours, and 7 hours pass from the time of frying, as in the case of analyzing the color component from the still image of fried chicken.
  • the content of the G component decreased 4 hours after the frying compared to the contents at the time of the frying and after 2 hours, and further decreased 7 hours after the frying.
  • the component B tends to slightly increase as the time passes from the time of frying to 4 hours, 6 hours, and 7 hours.
  • FIG. 12A is a graph showing the transition of the color component R value with respect to the elapsed time obtained when the croquettes displayed in the hot showcase 1 are photographed as still images and the images are analyzed.
  • FIG. 12B is a graph showing the transition of the color component G value with respect to the elapsed time obtained when the croquettes displayed in the hot showcase 1 are photographed as still images and the images are analyzed.
  • FIG. 12C is a graph showing the transition of the color component B value with respect to the elapsed time obtained by photographing the croquettes displayed in the hot showcase 1 as a still image and analyzing the image.
  • FIG. 13A is a graph showing the transition of the color component R value with respect to the elapsed time obtained when the croquettes displayed in the hot showcase 1 are photographed as a moving image and the image is analyzed.
  • FIG. 13B is a graph showing the transition of the color component G value with respect to the elapsed time obtained when the croquettes displayed in the hot showcase 1 are photographed as a moving image and the image is analyzed.
  • FIG. 13C is a graph showing the transition of the color component B value with respect to the elapsed time obtained when the croquettes displayed in the hot showcase 1 are photographed as a moving image and the image is analyzed.
  • FIG. 14A is a graph showing the transition of the color component R value with respect to the elapsed time obtained when hash potatoes displayed in the hot showcase 1 are photographed as still images and the images are analyzed.
  • FIG. 14B is a graph showing the transition of the color component G value with respect to the elapsed time obtained by photographing hash potatoes displayed in the hot showcase 1 as a still image and analyzing the image.
  • FIG. 14C is a graph showing the transition of the color component B value with respect to the elapsed time obtained by photographing hash potatoes displayed in the hot showcase 1 as a still image and analyzing the image.
  • the fried food X displayed in the hot showcase 1 tends to change color over time from the time of frying (experimentally confirmed fried chicken, croquettes, and hash potatoes, especially, It is possible to set in advance a discarding reference value (reference RGB value) that serves as a discarding criterion for judging the discarding point of the fried food X.
  • a discarding reference value reference RGB value
  • the discard standard value may be set uniformly to a predetermined value regardless of the type of fried food X, or may be set to a different value for each type of fried food X.
  • the same trend is observed for fried chicken and croquettes (the R component decreases, and the G and B components increase.
  • the tendency is different between fried chicken and croquette (in fried chicken, all the R, G, and B components are reduced, In the croquettes, there is no change in the R component, and increases in the G and B components).
  • the discard reference value may be set to a predetermined value regardless of the type of fried food X. Further, when analyzing color components from a still image, by setting the discard reference value to a different value for each type of fried food X, the fried food waste amount management control device 4A can more accurately determine the time of disposal. can be done.
  • the method of setting the discard reference value may be dynamically changed depending on whether the format of the input data to the fried food discard amount management control device 4A is a still image or a moving image.
  • 11A to 11C and 13A to 13C are mainly due to differences in shooting conditions such as the angle of view of each camera 5, exposure time, and lighting in the hot showcase 1. Therefore, the method of setting the discard reference value may be changed according to the imaging conditions.
  • FIG. 15 the function of the fried food waste amount management control device 4A will be described with reference to FIGS. 15 and 16.
  • FIG. 15 the function of the fried food waste amount management control device 4A will be described with reference to FIGS. 15 and 16.
  • FIG. 15 is a functional block diagram showing the functions of the fried food disposal amount management control device 4A according to the second embodiment.
  • FIG. 16 is a flow chart showing the flow of processing executed by the fried food disposal amount management control device 4A according to the second embodiment.
  • a fried food waste amount management control device 4A includes an image acquisition unit 41, an identification information generation unit 42, an individual surface image management unit 43, a time measurement unit 44, a waste determination unit 45A, and a waste amount recording unit.
  • a section 46A, a notification section 47, a storage section 40A, and an analysis section 48 are further included.
  • the analysis unit 48 analyzes the color components (RGB values) from the surface image of each fried food X. Specifically, the analysis unit 48 identifies an analysis area that constitutes a predetermined pixel group from the image area of each fried food X identified by the individual surface image management unit 43 . Then, the R component, G component, and B component of each pixel included in the specified analysis area are obtained and analyzed.
  • RGB values color components
  • the analysis unit 48 may specify the analysis area by a predetermined number of pixels regardless of the size of the image area of the fried food X, or the pixels sampled at a constant rate with respect to the number of pixels included in the image area. You may specify an analysis region by
  • the disposal determination unit 45A in addition to determining whether or not the measurement time measured by the time measurement unit 44 has reached the reference time, the disposal determination unit 45A further determines whether the individual fried foods X analyzed by the analysis unit 48 and a color component (color component reference value) set in advance as a reference for judging the disposal time of the fried food X, it is determined whether or not each fried food X has reached the disposal time.
  • the "color component reference value" is stored in the storage unit 40A, and may be set to a value (RGB value) based on the type information associated with the individual surface image management unit 43, or may be set to the type information. It may be set to a predetermined value regardless.
  • the discard amount recording unit 46A stores the number of pieces of fried food X determined by the discard determination unit 45A that the measurement time has reached the reference time and has reached the point of discard based on the color component as the discard amount. Record at 40A. Therefore, even if the fried food X for which the measurement time has been determined to have reached the reference time by the disposal determination unit 45A, the disposal amount recording unit 46A is not determined to have reached the disposal point based on the color component. shall not be recorded as waste.
  • the time measurement unit 44 executes the process of step S404, while the analysis unit
  • the color components (RGB values) of fried food X are analyzed from the surface image (step S421; analysis step).
  • the discard determination unit 45A further determines that the fried food X determined in step S405 that the measurement time has reached the reference time (measurement time ⁇ reference time) is further processed based on the color components analyzed in step S421. has reached the point of disposal (step S422).
  • the discard amount recording unit 46 records the number of fried foods X determined to be discarded based on the color components in step S422 (step S422/YES) as the discard amount (step S423).
  • the process returns to step S421 to repeat the process.
  • the fried food disposal amount management control device 4A in the disposal determination unit 45A, based on the color component of the fried food X in addition to the elapsed time from the fried time of the fried food X, at the time of disposal By determining whether or not it has reached, the accuracy of the determination of the disposal point of the fried food X is improved, and the disposal amount of the fried food X can be recorded more accurately.
  • the color component of each fried food X is analyzed from the surface image of the fried food X, and the color component is used as the deterioration index of the fried food X.
  • the deterioration index of the fried food X is the color
  • the area indicating the size of the fried food X may be used.
  • FIG. 17 is a graph showing the transition of the average area with respect to the elapsed time obtained when three fried chickens displayed in the hot showcase 1 are photographed as still images and the images are analyzed.
  • the horizontal axis indicates the elapsed time from the time when the fried chicken to be evaluated is fried
  • the vertical axis indicates the average value of the areas of the three fried chickens calculated by image analysis. ” is an indexed value.
  • the area (average area) of fried chicken which is an indicator of size, decreases as the time elapsed from the time of frying increases. That is, fried chicken tends to decrease in size over time.
  • the value of "degraded flavor" shown in FIG. 5 increases as the elapsed time increases. Also, as described above, the average area decreases as the elapsed time increases. Therefore, there is a correlation between the reduction in fried food area (average area) and the reduced flavor of fried food.
  • the fried food disposal amount management control device 4A uses the area, that is, the size of the fried food X displayed in the hot showcase 1 as a deterioration index used for managing the fried food X at the time of disposal. It is also possible to determine when to discard the fried food X based on the change in thickness. In this case, the analysis unit 48 analyzes the individual image of each fried food X extracted from each surface image, and calculates the area of each fried food X.
  • FIG. 18A is a diagram showing an example of sales tongs P and disposal tongs Q that serve as a basis for determining the presence or absence of movement of fried foods X determined by the fried food disposal amount management control device 4B according to the third embodiment.
  • FIG. 18B is a diagram showing another example of sales tongs P and disposal tongs Q.
  • the fried food waste amount management control device 4B by identifying the tongs, which are one form of clamps used when moving the position of the fried food X, from the image acquired by the image acquisition unit 41, , the number of fried foods X actually discarded by the employee of the store 31 (discarded amount) is counted at the point of discarding.
  • the tongs used to take out the fried food X displayed in the hot showcase 1 are used when the fried food X is purchased by a customer and an employee of the store 31 delivers the fried food X to the customer.
  • the color of the sales tongs P and the disposal tongs Q are different, for example, the sales tongs P are silver and the disposal tongs Q are gold.
  • the disposal tongs Q are sanded to show the difference in color between the sales tongs P and the disposal tongs Q. As shown in FIG. 18A, the color of the sales tongs P and the disposal tongs Q are different, for example, the sales tongs P are silver and the disposal tongs Q are gold.
  • the disposal tongs Q are sanded to show the difference in color between the sales tongs P and the disposal tongs Q.
  • each camera 5 captures an image including not only a plurality of fried foods X displayed in the hot showcase 1, but also sales tongs P and disposal tongs Q.
  • each camera 5 has an angle of view set so that the sales tongs P and disposal tongs Q can be obtained.
  • FIG. 19 the functions of the fried food disposal amount management control device 4B according to this embodiment will be described with reference to FIGS. 19 and 20.
  • FIG. 19 the functions of the fried food disposal amount management control device 4B according to this embodiment will be described with reference to FIGS. 19 and 20.
  • FIG. 19 is a functional block diagram showing the functions of the fried food disposal amount management control device 4B according to the third embodiment.
  • FIG. 20 is a flow chart showing the flow of processing executed by the fried food disposal amount management control device 4B according to the third embodiment.
  • the fried food disposal amount management control device 4B includes an image acquisition unit 41, an identification information generation unit 42, an individual surface image management unit 43, a time measurement unit 44, a disposal determination unit 45, and a disposal It includes an amount recording unit 46B, a notification unit 47B, and a storage unit 40B, and further includes a movement determination unit 49.
  • the movement determination unit 49 determines whether the fried food X displayed in the hot showcase 1 is sandwiched between the disposal tongs Q and moved out of the hot showcase 1. determine whether or not
  • the movement determining unit 49 stores data indicating a first element specifying the selling tongs P stored in advance in the storage unit 40B (first information indicating the selling tongs P, which is silver in color) and The tongs included in the image acquired by the image acquisition unit 41 based on the data indicating the second element specifying the disposal tongs Q (the second information indicating the disposal tongs Q having a gold color) tongs P for disposal or tongs Q for disposal.
  • the storage unit 40B does not necessarily store both the data indicating the first element identifying the selling tongs P and the data indicating the second element identifying the discarding tongs Q. Data indicating either one of the elements (the first information that the sales tongue P is silver or the second information that the disposal tongue Q is gold) may be stored.
  • the disposal amount recording unit 46B is sandwiched between the disposal tongs Q and moved out of the hot showcase 1.
  • the number of fried foods X is recorded in the storage unit 40B as the amount of waste.
  • the notification unit 47B outputs a notification signal for notifying the discard amount of the fried food X recorded in the discard amount recording unit 46B, and also outputs the fried food X that has reached the point of disposal to the outside of the hot showcase 1 by the disposal tongs Q. If it has not been moved, a warning signal is output to the monitor 312 to prompt the employee of the store 31 to discard it.
  • the movement determination unit 49 moves to step S401 for fried food X for which it is determined that the measurement time has reached the reference time (measurement time ⁇ reference time) in step S405 (step S405/YES). Based on the image acquired in the step S431, it is determined whether or not the hot showcase 1 has been sandwiched between the disposal tongs Q and moved to the outside of the hot showcase 1 (step S431).
  • the disposal amount recording unit 46B stores the number of the fried foods X determined to have been sandwiched between the disposal tongs Q and moved to the outside of the hot showcase 1 in step S431 (step S431/YES) as the disposal amount. It is recorded in the section 40B (step S432).
  • the notification unit 47B outputs to the monitor 312 a notification signal for notifying the amount of discarded food recorded in step S432 (step S407), and the processing in the discarded fried food amount management control device 4B ends.
  • step S431 determines whether the fried food X that has reached the point of disposal has been sandwiched between the disposal tongs Q and moved to the outside of the hot showcase 1 (step S431/NO), that is, it has reached the point of disposal. If the fried food X remains in the hot showcase 1, the notification unit 47B outputs to the monitor 312 a warning signal prompting its disposal (step S433), and the processing in the fried food disposal amount management control device 4B ends.
  • step S405 determines whether the fried food X displayed in the hot showcase 1 It is determined whether or not there is any fried food X that has been sandwiched between sales tongs P and moved to the outside of the hot showcase 1 (step S434).
  • step S434 If it is determined in step S434 that there is fried food X that has been sandwiched between sales tongs P and moved to the outside of the hot showcase 1 (step S434/YES), the process in the fried food waste management control device 4B ends. On the other hand, if it is determined in step S434 that there is no fried food X sandwiched between sales tongs P and moved outside the hot showcase 1 (step S434/NO), the process returns to step S401 to repeat the process.
  • the fried food disposal amount management control device 4B records the number of fried foods X actually moved out of the hot showcase 1 by the disposal tongs Q as the disposal amount. It is possible to record the amount of discarded food more accurately than when recording the number of pieces of fried food X that have been determined to have reached the above as the amount of discarded food.
  • the notification unit 47 outputs a warning signal to the monitor 312 so that the store 31 is closed. It is possible to prevent a situation in which an employee forgets to dispose of the fried food X and accidentally sells the fried food X, which is no longer suitable for sale, to a customer.
  • the sales tongs P and disposal tongs Q are different in color as a whole, they do not necessarily have to have different colors as a whole, and as shown in FIG. good too.
  • the selling tongs P and the discarding tongs Q differ only in the shape of the part where the fried food X is sandwiched.
  • QR code registered trademark
  • second information information indicating the disposal tongs Q
  • an image captured by the camera 5 that is, acquired by the image acquisition unit 41
  • the sales tongs P and disposal tongs Q may be identified by reading the QR code from the printed image).
  • the QR code is not necessarily attached to the disposal tongs Q, and even if the sales tongs P are attached with a QR code having information (first information) indicating the sales tongs P Also, both sales tongs P and disposal tongs Q may each have a QR code attached.
  • a predetermined mark is attached to the side of the disposal tongs Q (or sales tongs P), and the image captured by the camera 5 is Sales tongs P and disposal tongs Q may be identified based on the indicia included. In other words, as long as the selling tongs P and the discarding tongs Q can be identified from the image captured by the camera 5, there is no particular limitation on the mode.
  • wireless communication technologies such as NFC (Near Field Communication) and RFID (Radio Frequency Identification) may be used to identify sales tongs P and disposal tongs Q.
  • NFC Near Field Communication
  • RFID Radio Frequency Identification
  • FIG. 18C is a diagram showing an example of distinguishing sales tongs P and disposal tongs Q using NFC technology.
  • an NFC tag 91 with an IC chip built-in is attached to the disposal tong Q.
  • Information (second information) indicating the disposal tongs Q is recorded in the IC chip of the NFC tag 91 .
  • the NFC tag 91 is attached to the end of the disposal tongs Q opposite to the portion where the fried food X is sandwiched, but the attachment position is not particularly limited.
  • a reading terminal 92 as a dedicated terminal for reading the NFC tag 91 is provided near the hot showcase 1 .
  • the NFC tag 91 of the disposal tongs Q is held over the reading terminal 92, and then the fried food X is sandwiched between the disposal tongs Q and taken out of the hot showcase 1. .
  • the reading terminal 92 is communicably connected to the fried food waste amount management control device 4B, and when the NFC tag 91 is read, information indicating the disposal tongs Q is output to the fried food waste amount management control device 4B.
  • the fried food disposal amount management control device 4B acquires the information indicating the disposal tongs Q output from the reading terminal 92, the tongs included in the image acquired by the image acquisition unit 41 immediately after that are the disposal tongs Q. Determine that there is.
  • the store employee does not necessarily have to hold the NFC tag 91 of the disposal tongs Q over the reading terminal 92 before sandwiching the fried foods X between the disposal tongs Q.
  • the NFC tag 91 of the disposal tongs Q may be held over the reading terminal 92 .
  • the fried food disposal amount management control device 4B acquires the information indicating the disposal tongs Q output from the reading terminal 92, the tongs included in the image acquired by the image acquisition unit 41 immediately before that is acquired. It is judged to be a tong Q for disposal.
  • the NFC tag 91 is attached to the disposal tongs Q, but this is not the only option, and the sales tongs P may have an NFC tag containing an IC chip in which information indicating the sales tongs P is recorded. Both the sales tongs P and the disposal tongs Q may each have an NFC tag attached.
  • the dedicated terminal can read multiple RFID tags at once.
  • FIG. 21 is a functional block diagram showing the functions of the fried food waste amount management system 3C according to the fourth embodiment.
  • a fried food waste amount management system 3C includes a fried food waste amount management control device 4C that manages and controls the amount of fried food X thrown away, and a learned product capable of distinguishing sales tongs P and disposal tongs Q. and a learning device 7 that generates a model.
  • the learning device 7 will be mainly described as a device that generates a learned model capable of distinguishing between sales tongs P and disposal tongs Q.
  • the trained model capable of discriminating between tongs Q for cooking create a trained model capable of judging the point of disposal of fried food X and a trained model capable of identifying the type of fried food X. It is also possible to In this case, the accuracy of the discard determination of the fried food X in the discard determination unit 45C and the accuracy of association with the type information of the fried food X in the individual surface image management unit 43C are further improved.
  • the fried food waste amount management control device 4C includes an image acquisition unit 41C, an identification information generation unit 42C, an individual surface image management unit 43C, a time measurement unit 44C, a waste determination unit 45C, a waste amount recording unit 46C, and a notification.
  • a unit 47C, a movement determination unit 49C, a storage unit 40C, and a communication unit 400 are further included.
  • the storage unit 40C have functions similar to those of the fried food waste amount management control device 4B according to the third embodiment already described. Therefore, the fried food waste amount management control device 4C can realize the same processing flow as the processing flow in the fried food waste amount management control device 4B.
  • the learning device 7 uses, for example, linear regression, support vector machine (SVM), bagging, boosting, adaboost, decision tree, random Forest, logistic regression, neural network, deep learning, convolutional neural network (CNN), recurrent neural network (RNN)), LSTM (Long Short-Term Memory), etc., among deep learning, calibration curve (model formula ).
  • SVM support vector machine
  • bagging boosting, adaboost, decision tree
  • random Forest logistic regression
  • neural network deep learning
  • CNN convolutional neural network
  • RNN recurrent neural network
  • LSTM Long Short-Term Memory
  • Types of linear regression include simple regression, multiple regression, partial least squares (PLS: Partial Least Squares) regression, orthogonal projection partial least squares (OPLS: Orthogonal Partial Least Squares) regression, etc., and are selected from these. One or more can be used.
  • PLS Partial Least Squares
  • OPLS orthogonal projection partial least squares
  • Simple regression is a method of predicting one objective variable with one explanatory variable
  • multiple regression is a method of predicting one objective variable with multiple explanatory variables.
  • (orthogonal projection) partial least squares regression is a method of extracting principal components so that the covariance between principal components, which are a small number of feature quantities (obtained by principal component analysis of only explanatory variables) and the objective variable, is maximized. is.
  • (Orthogonal projection) partial least squares regression is a suitable technique when the number of explanatory variables is greater than the number of samples and when the correlation between the explanatory variables is high.
  • the calibration curve obtained by machine learning and regression analysis in the learning device 7 includes data indicating the first element that identifies the selling tongs P and the second element that identifies the disposal tongs Q stored in the storage unit 40C. By being applied to the indicated data, it becomes possible to provide the result of application to the movement determination unit 49C.
  • the generation of a trained model in the learning device 7 may be executed for each user who creates and inputs data.
  • the fried food waste amount management control device 4C uses only the learned model generated by each user's own data provision. As a result, it is possible to make a determination that is specific to the environment of the hot showcase 1 for each user.
  • the learning model generation in the learning device 7 may be performed without distinguishing between users who create and input data.
  • a learning model can be generated using a larger amount of data.
  • characteristics type of tongs, etc.
  • elements related to characteristics color, shape, etc.
  • the selling tongs P and disposal tongs are used as input data.
  • Q the selling tongs P and disposal tongs
  • the learning device 7 includes a communication unit 70, a data acquisition unit 71, an estimation unit 72, a learned model generation unit 73, and an update unit 74.
  • the communication unit 400 of the fried food waste amount management control device 4C and the communication unit 70 of the learning device 7 provide functions including an interface for mutual information communication via the communication network N.
  • the data acquisition unit 71 of the learning device 7 uses the image data of the sales tongs P and the disposal tongs Q acquired by the image acquisition unit 41 of the fried food disposal amount management control device 4C and the determination result of the movement determination unit 49C. and the data concerned are acquired via the communication unit 70 .
  • the estimating unit 72 estimates the first element that identifies the selling tongue P and the second element that identifies the discarding tongue Q based on the determination result of the movement determining unit 49C acquired by the data acquiring unit 71 . For example, the estimating unit 72 estimates that the color is silver as the first factor that identifies the selling tongs P, and that the color is gold as the second factor that identifies the disposal tongs Q.
  • the learned model generating unit 73 generates data indicating the first element and the second element estimated by the estimating unit 72, the images of the selling tongs P and the discarding tongs Q acquired by the data acquiring unit 71, and the like. Use it to perform machine learning and regression analysis to generate a trained model.
  • the updating unit 74 updates the first element that identifies the sales tongs P stored in the storage unit 40C of the fried food waste amount management control device 4C. and the data indicating the second element identifying the disposal tong Q are updated.
  • the learning device 7 which is a separate device from the fried food waste amount management control device 4C, has the function of generating a learned model capable of distinguishing between the sales tongs P and the disposal tongs Q. , but it is not limited to this, and may be held in the fried food waste amount management control device 4C.
  • FIG. 22 a fried food disposal amount management control device 4D according to a fifth embodiment will be described with reference to FIGS. 22 and 23.
  • FIG. 22 a fried food disposal amount management control device 4D according to a fifth embodiment will be described with reference to FIGS. 22 and 23.
  • FIG. 22 is a functional block diagram showing the functions of the fried food waste amount management control device 4D according to the fifth embodiment.
  • FIG. 22 is a flow chart showing the flow of processing executed by the fried food disposal amount management control device 4D according to the fifth embodiment.
  • the fried food disposal amount management control device 4D predicts the disposal time point for the fried food X determined not to have reached the disposal time point by the disposal determination unit 45, and determines the amount of fried food X to be discarded at the predicted disposal time point. It has a function of calculating the amount of waste and determining the next cooking schedule based on the predicted time of disposal and the amount of waste.
  • the fried food disposal amount management control device 4D includes an image acquisition unit 41, an identification information generation unit 42, an individual surface image management unit 43, a time measurement unit 44, a disposal determination unit 45, and a disposal It includes an amount recording unit 46B, a notification unit 47D, and a storage unit 40, and further includes a disposal point prediction unit 81, a disposal amount prediction unit 82, and a cooking schedule determination unit 83.
  • the discard point prediction unit 81 predicts the discard point of the fried food X for which the discard determination unit 45 has determined that the measured time has not reached the reference time (measured time ⁇ reference time). Specifically, the disposal point prediction unit 81 subtracts the measured time from the reference time to calculate the time from the current time to the reference time (for example, two hours left), For example, it is predicted that the disposal point will be reached at 0:00 two hours later.
  • the discard amount prediction unit 82 calculates the number of fried foods X to be discarded at the predicted discard time predicted by the discard time prediction unit 81 as the predicted discard amount. For example, if there are 5 pieces of fried food X that will be discarded at 0:00, which is the predicted discard time, the discard amount prediction unit 82 sets the predicted discard amount to 5 pieces.
  • the cooking schedule determination unit 83 determines the cooking schedule for the next fried food X based on the predicted discard time predicted by the discard time prediction unit 81 and the predicted discard amount predicted by the discard amount prediction unit 82 . For example, when it is predicted that there are five pieces of fried food X that will be discarded at 0:00 two hours from the current time, the cooking schedule determination unit 83 does not increase the amount of fried food X discarded in the future. Then, a schedule is determined such that three pieces of fried food X will be cooked at ⁇ hour ⁇ minute after 1 hour and 30 minutes from the current time.
  • the notification unit 47D sends a schedule signal indicating the next cooking schedule determined by the cooking schedule determination unit 83 to the monitor 312 in addition to the notification signal for notifying the waste amount recorded by the waste amount recording unit 46. Output.
  • the disposal point prediction unit 81 determines in step S405 that the measurement time has not reached the reference time (step S405/NO), and in step S408, determines that the surface image has not deviated from the acquired image.
  • the discard time point of the determined (step S408/NO) fried food X is predicted (step S441).
  • the discard amount prediction unit 82 calculates the number of fried foods X to be discarded at the predicted discard time predicted in step S441, that is, the predicted discard amount (step S442).
  • the cooking schedule determination unit 83 determines the next cooking schedule for the fried food X based on the predicted discard time predicted in step S441 and the predicted discard amount predicted in step S442 (step S443).
  • the notification unit 47D outputs a schedule signal indicating the contents of the cooking schedule determined in step S443 to the monitor 312 (step S444), and the processing in the fried food waste amount management control device 4D ends.
  • the fried food disposal amount management control device 4D predicts the disposal time point and the disposal amount of the fried food X determined by the disposal determination unit 45 not to have reached the disposal time point, and based on the predicted disposal time point and the predicted disposal amount, Since the cooking schedule can be determined, it is possible to adjust the cooking schedule in advance and take measures to prevent an increase in the amount of fried food X discarded.
  • the cooking schedule determining unit 83 determines the predicted discard amount calculated by the discard amount predicting unit 82, the past sales number of the fried food X at the same point as the predicted discard point predicted by the discard point predicting unit 81, and the discard amount.
  • the next number of fried foods X to be cooked may be determined based on the quantity data.
  • the cooking schedule determination unit 83 determines that the next time fried foods X will be sold.
  • the number of cooking is 6.
  • the cooking schedule determining unit 83 may determine the next number of fried foods X to be cooked using a prediction model of the number of fried foods X sold.
  • the prediction model for the number of sales of fried food X includes, for example, information related to the location of the store 31 where the hot showcase 1 is installed, the population composition ratio around the store 31, the past weather information around the store 31, the store 31 It is generated by performing machine learning and regression analysis using supervised data including data indicating peripheral event information, past sales of fried food X, and past amount of fried food X discarded.
  • “Information related to the location of the store 31” is information such as a residential area, an office area, or an entertainment district.
  • the "population ratio of the surroundings of the store 31” is information such as the ratio of males and females, the ratio of males and females by age, or the ratio of adults to minors.
  • “Past weather information around the store 31 ” is information including the weather, temperature, and humidity around the store 31 .
  • the 'event information around the store 31' is information such as that a sporting event (for example, a sporting match or sports competition) will be held near the store 31 five days later.
  • FIG. 24 is a functional block diagram showing the functions of the fried food waste amount management control device 4E according to the sixth embodiment.
  • FIG. 25 is a flow chart showing the flow of processing executed by the fried food disposal amount management control device 4E according to the sixth embodiment.
  • the fried food disposal amount management control device 4E includes an image acquisition unit 41, an identification information generation unit 42, an individual surface image management unit 43, a time measurement unit 44, and a disposal determination unit. unit 45, a waste amount recording unit 46B, a notification unit 47D, a storage unit 40, a waste point prediction unit 81, a waste amount prediction unit 82, and a cooking schedule determination unit 83E, and further, display number calculation A unit 84 and a remaining number calculation unit 85 are included.
  • the display number calculation unit 84 calculates the number of fried foods X included in the image acquired by the image acquisition unit 41 as the current display number in the hot showcase 1 .
  • the remaining number calculation unit 85 subtracts the predicted discard amount calculated by the discard amount prediction unit 82 from the current display number calculated by the display number calculation unit 84, and the hot show is performed after the predicted discard time has passed. The remaining number of fried foods X remaining in the case 1 is calculated.
  • the cooking schedule determination unit 83E determines the next number of fried foods X to be cooked according to the remaining number of fried foods X calculated by the remaining number calculation unit 85. For example, when the number of fried foods X to be sold at the store 31 is 10, if the remaining quantity calculating unit 85 calculates that the remaining quantity in the hot showcase 1 is 4, the cooking schedule determining unit 83 , the number of fried foods X to be cooked next time is set to 6.
  • the image acquisition unit 41 detects a plurality of fried foods X displayed in the hot showcase 1. An image is acquired again (step S451).
  • the display number calculation unit 84 calculates the number of fried foods X included in the image acquired in step S451 as the current display number (step S452).
  • the remaining number calculation unit 85 calculates the predicted discard amount based on the current display number calculated in step S452 and the predicted discard amount calculated in step S442. The remaining number of fried foods X in the hot showcase 1 at that time is calculated (step S453).
  • the cooking schedule determining unit 83E determines the next number of fried foods X to be cooked according to the remaining number of fried foods X calculated in step S453, and based on the predicted disposal time predicted in step S441. The next cooking start time is determined (step S454).
  • the notification unit 47 outputs a schedule signal indicating the cooking schedule determined in step S454 to the monitor 312 (step S444), and the processing in the fried food waste amount management control device 4E ends.
  • the present invention has been described above.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • part of the configuration of this embodiment can be replaced with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of this embodiment.
  • the hot showcase 1 provided with three shelves 11, 12, and 13 has been described as one aspect of the display shelf on which a plurality of fried foods X are displayed.
  • a tray or the like is also included, and the form is not limited as long as the fried food X can be displayed.
  • the fried food waste amount management control devices 4, 4A to 4E for managing the waste amount of the plurality of fried food items X displayed in the hot showcase were described as the food waste amount management control device.
  • it may be a steamed food waste amount management control device that manages a plurality of Chinese steamed buns displayed in a steamer.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Sustainable Development (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Processing Of Solid Wastes (AREA)

Abstract

陳列棚に陳列された調理済みの食品の廃棄量の記録を精度良く行うことが可能な食品廃棄量管理制御装置、食品廃棄量管理システム、および食品廃棄量管理方法を提供する。 揚げ物Xの廃棄量を管理制御する揚げ物廃棄量管理制御装置4であって、ホットショーケース1内に陳列されている複数の揚げ物Xを含む画像を取得する画像取得部41と、個々の揚げ物Xの表面画像を個別に識別する識別情報を生成する識別情報生成部42と、個々の表面画像に対して識別情報を個別に関連付けて管理する個別表面画像管理部43と、識別情報が関連付けられた表面画像が画像に含まれている時間をそれぞれ計測する時間計測部44と、計測時間が揚げ物Xを廃棄する際の基準時間に至っているか否かを判定する廃棄判定部45と、計測時間が基準時間に至っているとの判定結果に基づいて、揚げ物Xの廃棄量を記録する廃棄量記録部46と、を含む。

Description

食品廃棄量管理制御装置、食品廃棄量管理システム、および食品廃棄量管理方法
 本発明は、食品廃棄量管理制御装置、食品廃棄量管理システム、および食品廃棄量管理方法に関する。
 近年、持続可能な開発目標(Sustainable Development Goals、持続可能な開発のための2030アジェンダ、平成27(2015)年9月25日国連サミット採択、以下「SDGs」という)の推進に向けた取り組みが行われている。それに伴い、持続可能な生産消費形態の確保などのため、廃棄物の発生防止、廃棄物の削減、ならびに製品の再生利用および再利用によって廃棄物の発生を大幅に削減することなどを目指す技術が知られている。
 スーパーマーケットやコンビニエンスストアなど、特に食品を取り扱う小売店舗では、商品の廃棄処分を最低限にし、また、顧客の購買意欲を高めるため、陳列棚に陳列された商品は、可能な限り新鮮な状態や出来立ての状態を維持しておくことが求められる。例えば、店舗内に備え付けられたフライヤーで揚げられた揚げ物は、保温機能を備えた陳列棚であるホットショーケース(ホッターズやホットストッカー、保温庫などとも称される)内に陳列される。ホットショーケースは、揚げ物を販売に適した状態に維持しながら陳列させるために、陳列空間の状態を管理する機能を備える。
 特許文献1には、ホットショーケースの庫内温度を、陳列されている食品の保存温度範囲や顧客への最適提供温度範囲などの情報に基づいて、その食品に適した温度に設定または変更することができるショーケースの庫内温度設定装置が開示されている。
特開2005-83602号公報
 ホットショーケースに陳列される揚げ物など、陳列棚に陳列されている調理済み食品には、品質を維持するための様々な管理指標が設けられている。それらの中で容易に計測可能な管理指標としては、調理済み食品の中でも、例えば、揚げ物では「揚げ上がり時からの経過時間」がある。一般的に、揚げ物の風味は、時間経過に伴って低下していくことが知られている。したがって、特許文献1に開示された技術を適用して、ホットショーケース内の庫内温度を揚げ物に適した温度になるよう管理を行った場合であっても、長時間に亘ってホットショーケース内に陳列され続けた揚げ物は、風味が損なわれて販売に向かない状態になり廃棄されることになる。
 この場合において、陳列棚に陳列される揚げ物は、複数個であることがほとんどであり、さらに、個々の揚げ物が、揚げ上がり直後に置かれた位置と同じ位置に常に置かれ続けるとは限らない。そのため、店舗の従業員が、個々の揚げ物に関して、揚げ上がり時刻の記録の他に、最初に配置した位置および後に動かした際の位置までも細かく記録し続けなければ、揚げ上がり時刻からの経過時間による廃棄時点の判定を正確に行うことができなくなる。
 揚げ物の廃棄時点を正確に判定することができなければ、まだ廃棄する必要のない揚げ物までも無駄に廃棄してしまうことになりかねない。また、揚げ物の欠品状態を避けるために、陳列棚に同時に陳列しておく揚げ物の個数を増やした場合には、個々の揚げ物の廃棄時点の判定がさらに困難となる。このような状況下では、正確な揚げ物の廃棄量を記録することが難しい。
 そこで、本発明の目的は、陳列棚に陳列された調理済みの食品の廃棄量の記録を精度良く行うことが可能な食品廃棄量管理制御装置、食品廃棄量管理システム、および食品廃棄量管理方法を提供することにある。
 上記の目的を達成するために、本発明は、陳列棚に陳列される調理済みの食品の廃棄量を管理制御する食品廃棄量管理制御装置であって、前記陳列棚に陳列されている複数の前記食品を含む画像を取得する画像取得部と、前記陳列棚に陳列されている個々の前記食品の表面画像を個別に識別する識別情報を生成する識別情報生成部と、前記画像取得部にて取得された前記画像に含まれる個々の前記表面画像に対して、前記識別情報生成部にて生成された前記識別情報を個別に関連付けて管理する個別表面画像管理部と、前記個別表面画像管理部にて前記識別情報が関連付けられた前記表面画像が前記画像に含まれている時間をそれぞれ計測する時間計測部と、前記時間計測部にてそれぞれ計測された計測時間が、前記食品を廃棄する際の経過時間の基準として予め設定された基準時間に至っているか否かを判定する廃棄判定部と、前記廃棄判定部での前記計測時間が前記基準時間に至っているとの判定結果に基づいて、前記食品の廃棄量を記録する廃棄量記録部と、を含むことを特徴とする。
 本発明によれば、陳列棚に陳列された調理済みの食品の廃棄量の記録を精度良く行うことができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
ホットショーケースの一構成例を示す斜視図である。 ホットショーケース内を背面側から見た平面図である。 揚げ物廃棄量管理システムの一構成例を示すシステム構成図である。 揚げ物廃棄量管理制御装置のハードウェア構成の一例を示す構成図である。 官能評価で得られた時間経過に対する劣化風味の推移を示すグラフである。 第1実施形態に係る揚げ物廃棄量管理制御装置が有する機能を示す機能ブロック図である。 第1実施形態に係る揚げ物廃棄量管理制御装置で実行される処理の流れを示すフローチャートである。 第1実施形態の変形例に係る揚げ物廃棄量管理制御装置で実行される処理の流れを示すフローチャートである。 官能評価で得られた経過時間に対する揚げ物の色の濃さの推移を示すグラフである。 ホットショーケース内に陳列されたフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。 ホットショーケース内に陳列されたフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。 ホットショーケース内に陳列されたフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。 ホットショーケース内に陳列されたフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。 ホットショーケース内に陳列されたフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。 ホットショーケース内に陳列されたフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。 ホットショーケース内に陳列されたコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。 ホットショーケース内に陳列されたコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。 ホットショーケース内に陳列されたコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。 ホットショーケース内に陳列されたコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。 ホットショーケース内に陳列されたコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。 ホットショーケース内に陳列されたコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。 ホットショーケース内に陳列されたハッシュポテトを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。 ホットショーケース内に陳列されたハッシュポテトを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。 ホットショーケース内に陳列されたハッシュポテトを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。 第2実施形態に係る揚げ物廃棄量管理制御装置が有する機能を示す機能ブロック図である。 第2実施形態に係る揚げ物廃棄量管理制御装置で実行される処理の流れを示すフローチャートである。 ホットショーケース内に陳列された3つのフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する平均面積の推移を示すグラフである。 第3実施形態に係る揚げ物廃棄量管理制御装置において判定される揚げ物の移動の有無についての判定元となる販売用トングおよび廃棄用トングの一例を示す図である。 第3実施形態に係る揚げ物廃棄量管理制御装置において判定される揚げ物の移動の有無についての判定元となる販売用トングおよび廃棄用トングの他の例を示す図である。 第3実施形態に係る揚げ物廃棄量管理制御装置においてNFC技術を用いて販売用トングと廃棄用トングとを識別する場合の例を示す図である。 第3実施形態に係る揚げ物廃棄量管理制御装置が有する機能を示す機能ブロック図である。 第3実施形態に係る揚げ物廃棄量管理制御装置で実行される処理の流れを示すフローチャートである。 第4実施形態に係る揚げ物廃棄量管理システムが有する機能を示す機能ブロック図である。 第5実施形態に係る揚げ物廃棄量管理制御装置が有する機能を示す機能ブロック図である。 第5実施形態に係る揚げ物廃棄量管理制御装置で実行される処理の流れを示すフローチャートである。 第6実施形態に係る揚げ物廃棄量管理制御装置が有する機能を示す機能ブロック図である。 第6実施形態に係る揚げ物廃棄量管理制御装置で実行される処理の流れを示すフローチャートである。
 本発明の各実施形態に係る揚げ物廃棄量管理システムは、例えば、コンビニエンスストアなどの小規模店舗の会計場所の近傍に設置されるホットショーケースや、スーパーマーケットなどの総菜売場(食品売場)に設置されるショーケースなどの陳列棚に陳列される調理済みの食品、特に、揚げ物(例えば、フライドチキンやコロッケ、フライドポテトなど)の廃棄量を管理するシステムである。
 調理済みの食品の「廃棄量」は、廃棄時点に至った調理済みの食品の量(個数、質量、および体積などにより表される)を指す。調理済みの食品の「廃棄時点」とは、調理が完了した時点から所定の時間が経過したことにより、その調理済みの食品の風味が低下したことで、顧客への販売に向かない状態になる時点を意味する。「廃棄時点」は、調理済みの食品の種類などに応じて、製造元や小売店の側で任意に設定されるものである。したがって、この「廃棄時点」には、いわゆる「消費期限」のみならず、「賞味期限」も含まれる。
 なお、各実施形態において「廃棄量を管理する」および「廃棄量の管理」をいう表現を用いるとき、その意味には、「廃棄量を記録する」ことが含まれる。また、「廃棄量を管理する」には、実際の廃棄量の記録に留まらず、廃棄時点が到来していない食品の廃棄時点を予測し、予測廃棄時点での廃棄量(予測廃棄量)を算出する処理や、廃棄量を削減するための、予測廃棄時点および予測廃棄量に基づいた食品の次回の調理スケジュールの決定処理などが含まれる。
<ホットショーケース1の構成>
 まず、陳列棚の一態様であるホットショーケース1の一構成例について、図1および図2を参照して説明する。
 図1は、ホットショーケース1の一構成例を示す斜視図である。図2は、ホットショーケース1内を背面側から見た平面図である。
 ホットショーケース1は、例えばコンビニエンスストアなどの小売店の店舗内に備え付けられ、店舗内で調理された揚げ物Xが陳列される揚げ物用の陳列棚の一例である。ホットショーケース1の内部空間、すなわち揚げ物Xが陳列される陳列空間は、揚げ物Xの陳列環境を好適な条件で維持可能な適温に保たれており、より好適な状態の揚げ物Xを顧客に販売可能とするために管理されている。
 図1では、ホットショーケース1内に3つの棚11,12,13が設けられており、数種の揚げ物Xが、それぞれの棚11,12,13において複数個陳列されている。複数の揚げ物Xはそれぞれ、種類別に同一のトレイ2に並べられている。図1では、トレイ2は各棚11,12,13に3枚ずつ置かれているものを例示している。なお、以下の説明において、各棚11,12,13を区別するために、ホットショーケース1の上段の棚を1段目の棚11、中段の棚を2段目の棚12、下段の棚を3段目の棚13とする。
 図2に示すように、ホットショーケース1内には、各棚11,12,13に陳列されている複数の揚げ物Xを含む画像を撮影する撮影装置としてのカメラ5が3台設けられている。図2では、各棚11,12,13における天面部の一端側にカメラ5が配置されているが、ホットショーケース1内に陳列中の複数の揚げ物Xの全てを含む画像を撮影することができれば、カメラ5の台数や取り付け位置については特に制限はない。
 なお、カメラ5の画角設定において各棚11,12,13に陳列されている複数の揚げ物Xの全てを含む画像を取得し得ない場合は、図2に示すようにカメラ5を複数台設置することで、複数の揚げ物Xの全てを含む全体画像と、個々の揚げ物Xとしての表面画像と、を撮影できればよい。また、例えば、1台のカメラ5で画角設定を可変させることで、同様に、複数の揚げ物Xの全てを含む全体画像と個々の揚げ物Xとしての表面画像とを撮影できるように構成してもよい。
 カメラ5には、動画を撮影することが可能なビデオカメラが用いられ、ホットショーケース1内における揚げ物Xの個々の動きを含んだ画像が撮影される。ホットショーケース1内に陳列中の個々の揚げ物Xは、揚げ上がり直後に置かれた位置と同じ位置に常に置かれているとは限らない。
 例えば、揚げ物Xは、揚げ上がり直後に、ホットショーケース1A内の各棚11,12,13のいずれかに配置されたトレイ2に置かれるが、最初に揚げ物Xが置かれたトレイ2と同一のトレイ2内においてその揚げ物Xの位置が変わることもあれば、最初に揚げ物Xが置かれたトレイ2とは異なるトレイ2に、その揚げ物Xが移動されることもある。
 そこで、カメラ5は、各棚11,12,13の様子を動画として撮影することにより、動画に含まれる個々の揚げ物Xの動き(位置の移動など)を含んだ画像を全体画像として撮影する。この動画に基づき、後述する揚げ物廃棄量管理制御装置4における処理を実行することにより、各棚11,12,13に置かれた個々の揚げ物Xが移動されても、個々の揚げ物Xを識別しながら追跡することで、時間の経過を個別に取得することができる。
 なお、カメラ5は、必ずしも動画を撮影することが可能なビデオカメラでなくともよく、時間的に連続して揚げ物Xの画像を取得できるものであればよい。例えば、スチルカメラなど静止画のみを撮影することが可能なカメラであってもよい。その場合、ホットショーケース1内における揚げ物Xの個々の動きを画像データとして取得することができる程度に連写できればよい。
<揚げ物廃棄量管理システム3の全体構成>
 次に、揚げ物廃棄量管理システム3の全体構成について、図3および図4を参照して説明する。
 図3は、揚げ物廃棄量管理システム3の一構成例を示すシステム構成図である。図4は、揚げ物廃棄量管理制御装置4のハードウェア構成の一例を示す構成図である。
 揚げ物廃棄量管理システム3は、図3に示すように、例えばコンビニエンスストアチェーンなどを構成する複数の店舗31にそれぞれ設置されたコントローラ311と、複数の店舗31を管轄する本部センター32に設置された管理サーバ321と、によって構成される。各コントローラ311と管理サーバ321とは、例えばインターネット回線などの通信ネットワークNを介して、直接的にまたは間接的に互いに情報通信可能に接続されている。
 各コントローラ311は、ホットショーケース1内に陳列された揚げ物Xの廃棄量を管理制御する揚げ物廃棄量管理制御装置4(すなわち、陳列棚に陳列される調理済みの食品の廃棄量を管理制御する食品廃棄量管理制御装置)の一態様である。なお、各コントローラ311は、揚げ物廃棄量管理制御装置4が有する揚げ物Xの廃棄量管理に係る機能の他に、例えば、ホットショーケース1内の全体温度や湿度などの環境管理を行うための機能や、各店舗31内に備えられた種々の機器の状態管理に係る機能なども有している。他方、管理サーバ321では、例えば、各店舗31の売り上げ管理に係る処理などが実行される。
 なお、図3において、各ホットショーケース1は、各コントローラ311に対して通信可能に接続されるものとする。この場合、通信手段としては、有線、無線を問わない。また、ホットショーケース1には、各棚11,12,13に陳列されている揚げ物Xの状態を検出する機能として、個々の揚げ物Xの状態を表す情報を検出情報として管理サーバ321に送信する機能を備えればよい。
 なお、管理サーバ321へ検出データを送信する機能は、コントローラ311を介さずに実現されてもよい。例えば、ホットショーケース1が管理サーバ321と直接的に通信可能となる構成を備える場合は、コントローラ311を介することなく、検出データを直接的に管理サーバ321に送信することができる。
 図4に示すように、各コントローラ311はいずれも、CPU(Central Processing Unit)301と、RAM(Random Access Memory)302と、ROM(Read Only Memory)303と、HDD(Hard Disk Drive)304と、I/F(Interface)305と、を備えればよい。これらの各構成は、共通バス306を介してそれぞれ接続されているものとする。
 CPU301は、演算手段であり、コントローラ311全体の動作を制御する。RAM302は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、例えばCPU301が画像情報を処理する際の作業領域として用いられる。ROM303は、読み出し専用の不揮発性の記憶媒体であり、ファームウェアなどのプログラムが格納されている。
 HDD304は、情報の読み書きが可能であって記憶容量が大きい不揮発性の記憶媒体であり、OS(Operating System)や後述する各種の情報処理を実行するための制御プログラムおよびアプリケーションプログラムなどが格納される。なお、HDD304は、不揮発性の記憶媒体として情報の格納および管理の機能を実現するものであれば、デバイスの種類は問わず、例えばSSD(Solid State Drive)などで代用することも可能である。
 I/F305は、通信ネットワークNとの接続インターフェースであって、センサなどのコントローラ311以外の他の装置との情報通信を実現する通信モジュール313やユーザインターフェースを表示するモニタ312などが接続されている。
 モニタ312は、具体的には、ホットショーケース1の管理状況や陳列中の揚げ物Xの状態、廃棄された揚げ物Xの個数(廃棄量)、次回の揚げ物Xの調理スケジュールなどを表示するものであり、例えばホットショーケース1の近くに設置される。
 このようなハードウェア構成を備える各コントローラ311は、ROM303に格納された制御プログラムや、HDD304などの記憶媒体からRAM302にロードされた制御プログラムおよびアプリケーションプログラムを、CPU301が備える演算機能によって処理機能を実現する情報処理装置である。これら情報処理の実行によって、各コントローラ311における種々の機能モジュールを含むソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、上述した構成を含むハードウェア資源との組み合わせによって、各コントローラ311の機能を実現する機能ブロックが構成される。
 なお、図3に示す管理サーバ321も、各コントローラ311と同様のハードウェア構成を備えており、各構成は、それぞれが備える記憶媒体に記憶されている制御プログラムおよびアプリケーションプログラムの実行によって、管理サーバ321の機能を実現する機能ブロックが構成される。
 ホットショーケース1内に陳列中の複数の揚げ物Xの廃棄時期の管理に対する具体的な情報処理は、揚げ物廃棄量管理制御装置4が実行する。揚げ物廃棄量管理制御装置4は、その機能の全部がコントローラ311側の店舗ソフトウェアまたは管理サーバ321側の本部ソフトウェアに実装されていてもよいし、店舗ソフトウェアと本部ソフトウェアとに機能を分散して実装されていてもよい。
<揚げ物Xの風味の劣化について>
 次に、ホットショーケース1内に陳列中の複数の揚げ物Xの風味の劣化に関し、図5~10を参照して説明する。なお、以下において、「揚げ物」に関する経時変化の傾向や特徴などの一般的な考察を記載している箇所では、単に「揚げ物」とし、符号Xを付していない。
 図5は、官能評価で得られた時間経過に対する揚げ物の劣化風味の推移を示すグラフである。
 図5において、横軸は、評価対象の揚げ物の揚げ上がり時刻からの経過時間を示し、縦軸は、揚げ物の風味を所定の評価ポイントに換算して、そのポイントの累積値を風味が劣化した度合いとする「劣化風味」としたものである。
 すなわち、劣化風味の値が低ければ揚げ物の劣化が少なく、好適な状態が維持されていると推測される。逆に、劣化風味の値が高ければ揚げ物の劣化が進行して廃棄時点に近づいていると推測される。したがって、劣化風味が所定の閾値を超えるか否かに基づいて、揚げ物が廃棄時点に至っているか否かの判定を行うことができる。
 図5に示すように、一般的に、揚げ物は、揚げ上がり時刻からの経過時間が長くなるにつれて劣化風味が増加する(風味の劣化が強くなる)。すなわち、図5に基づけば、揚げ物の風味は、時間の経過に伴って低下するといえる。
 したがって、ホットショーケース1内に陳列中の複数の揚げ物Xのうち、揚げ上がり時から所定の時間が経過したものについては、風味が低下して顧客への販売に向かない状態になっていると推測可能であるため、所定の経過時間に至った揚げ物Xは廃棄の対象(販売停止の対象)となる。
<第1実施形態>
 次に、第1実施形態に係る揚げ物廃棄量管理制御装置4について、図6および図7を参照して説明する。
 図6は、第1実施形態に係る揚げ物廃棄量管理制御装置4が有する機能を示す機能ブロック図である。図7は、第1実施形態に係る揚げ物廃棄量管理制御装置4で実行される処理の流れを示すフローチャートである。
 揚げ物廃棄量管理制御装置4は、例えば、画像取得部41と、識別情報生成部42と、個別表面画像管理部43と、時間計測部44と、廃棄判定部45と、廃棄量記録部46と、報知部47と、記憶部40と、を含む。
 画像取得部41は、各カメラ5が撮影した棚11,12,13ごとの複数の揚げ物Xを含む画像を取得する。
 識別情報生成部42は、ホットショーケース1A内に陳列されている複数の揚げ物Xの表面画像を個別に識別する識別情報を生成する。なお、識別情報生成部42にて生成された識別情報は、記憶部40に記憶しておいてもよい。
 個別表面画像管理部43は、画像取得部41にて取得された画像に含まれる個々の揚げ物Xの表面画像に対し、識別情報生成部42にて生成された識別情報を関連付けて管理する。
 なお、個々の揚げ物Xの表面画像は、例えば、各カメラ5が撮影した画像に含まれる個々の揚げ物Xの輪郭を抽出する画像処理を実行して個々の揚げ物Xの画像領域が特定されることにより、画像取得部41にて取得された画像から取得することができる。
 本実施形態では、個別表面画像管理部43は、識別情報生成部42にて生成された識別情報に加えて、揚げ物Xの種別を特定する種別情報を、個々の揚げ物Xの表面画像に関連付けて管理する。各揚げ物Xの種別の特定は、基準となるサンプル画像と比較することにより行われる。なお、サンプル画像は記憶部40に記憶されている。その他、各揚げ物Xの種別の特定は、例えば、モニタ312が入力端末としての機能を有している場合に、モニタ312を介して店舗の従業員が揚げ物Xの種別を手入力することでも可能である。なお、揚げ物Xの種別情報は、記憶部40に記憶されている。
 例えば、図1に示すホットショーケース1内における3段目の棚13に陳列中のコロッケX1に対し、個別表面画像管理部43は、3段目の棚13に対応するカメラ5で撮影された画像からそのコロッケX1の表面画像を抽出し、抽出した表面画像に「3-L-1」という識別情報と共に、「コロッケ」という種別情報を関連付けて管理する。
 識別情報の生成方法については特に制限はないが、一例として、揚げ上がり時における「棚の段(1段目・2段目・3段目)-列(左・中央・右)-各トレイ2内での位置(1・2・3・・・)」のように生成することができる。例えば、「3-L-1」とは、揚げ上がり時(ホットショーケース1内に初めて配置される時)において、3段目の棚13におけるホットショーケース1の背面側から見て左端側のトレイ2に置かれた1つ目の揚げ物X(コロッケX1)であることを示している。
 ここで、「トレイ2に置かれた1つ目の揚げ物X」とは、当該トレイ2に揚げ物Xが全く置かれていないとき(空のとき)に、「最初に置かれた揚げ物X」を意味する。この場合、識別情報を構成する3番目の要素は、3段目の棚13の左端側のトレイ2に置かれた揚げ物Xの累積数を表すものとなる。
 ただし、識別情報は、あくまでもある時点においてホットショーケース1内に陳列されている揚げ物Xを個別に識別するための情報である。したがって、「1つ目の揚げ物X」は、ホットショーケース1の初期状態からの累積数を示したものであってもよいし、ある時点において初期状態(ゼロ)に一旦戻り、再度、個々の揚げ物Xを区別可能となるように付与されるものであってもよい。よって、本実施形態において例示したように、識別情報を構成する3番目の要素を示す数字は、連番であることに限定されず、ランダムに付与されるものであってもよく、揚げ物Xを個別に識別可能なものにできれば構わない。
 時間計測部44は、個別表面画像管理部43にて識別情報および種別情報が関連付けられた表面画像が、画像取得部41にて取得された画像に含まれてからの経過時間を計測する。すなわち、時間計測部44は、揚げ物Xが揚げ上がってホットショーケース1内に置かれた時点から起算されて、その揚げ物Xがホットショーケース1内に留まり続けている時間を計測し続ける。なお、揚げ物Xがホットショーケース1内から取り出されたときは、その揚げ物Xに関する経過時間はリセットされる。
 廃棄判定部45は、時間計測部44にて計測された個々の揚げ物Xの経過時間(計測時間)が、揚げ物Xを廃棄する際の基準として予め設定された基準時間にそれぞれ至っているか否かを判定する。
 この「基準時間」は、記憶部40に記憶されており、揚げ物Xを廃棄すべき時間とする特定の時間を設定してもよいし、特定の時間に対して余裕を持った時間(特定の時間以前)を設定してもよい。例えば、廃棄時間の10分前の時間を基準として設定してもよい。
 また、本実施形態では、「基準時間」は、個別表面画像管理部43にて関連付けられた種別情報に関連付けられて設定される。上述したように、基準時間は揚げ物Xに関する廃棄時間の経過を個別に判定するための閾値に相当する。特定の揚げ物Xの揚げ上がり時刻からの経過時間と風味の低下との関係は揚げ物の種別によって異なる場合がある。
 したがって、個々の揚げ物Xの種別を示す種別情報と基準時間とを関連付けて設定されることにより、判定精度を向上することができる。なお、基準時間は、必ずしも種別情報に基づいて設定される必要はなく、揚げ物Xの種別によらず所定の時間に設定されていてもよい。
 廃棄量記録部46は、廃棄判定部45にて計測時間が基準時間に至っている(すなわち、廃棄時点に至っている)と判定された揚げ物Xの個数を廃棄量として記憶部40に記録する。
 報知部47は、廃棄量記録部46にて記録された揚げ物Xの廃棄量を店舗31の従業員に知らせるための報知信号をモニタ312に対して出力する。なお、報知部47は、揚げ物Xの廃棄量に係る報知信号のみならず、廃棄判定部45にて廃棄時点に至っていると判定された揚げ物Xについて廃棄が必要であることを知らせるための警告信号などをモニタ312に対して出力してもよい。
 この場合、モニタ312の表示において、揚げ物Xの廃棄量と廃棄が必要である揚げ物Xの数との間に相違があるときには、店舗31の従業員は、ホットショーケース1内に廃棄し忘れている揚げ物Xが残っていることを気づくことができる。
 なお、報知部47において出力される情報(信号)は、揚げ物Xの廃棄を店舗の従業員などに促すことができる情報であれば、その種類および表現形式や報知形式が限定されるものではない。
 図7に示すように、揚げ物廃棄量管理制御装置4は、まず、画像取得部41が、撮影ステップにて各カメラ5により撮影された画像(ホットショーケース1内に陳列中の複数の揚げ物Xを含む画像)を取得する(ステップS401;画像取得ステップ)。
 続いて、識別情報生成部42は、ステップS401において取得された画像に含まれる複数の揚げ物Xの表面画像を個別に識別する識別情報を生成する(ステップS402;識別情報生成ステップ)。
 次に、個別表面画像管理部43は、ステップS401において取得された画像から個々の揚げ物Xの表面画像を抽出し、抽出した表面画像に対して、ステップS402において生成された識別情報および記憶部40から読み出した種別情報を関連付けて管理する(ステップS403;個別表面画像管理ステップ)。
 次に、時間計測部44は、ステップS403において識別情報および種別情報が関連付けられた各表面画像がステップS401において取得される画像に含まれている時間を計測する(ステップS404;時間計測ステップ)。
 次に、廃棄判定部45は、個々の揚げ物Xに対し、ステップS404において計測された計測時間が基準時間に至っているか否かを判定する(ステップS405;廃棄判定ステップ)。
 続いて、廃棄量記録部46は、ステップS405において計測時間が基準時間に至っている(計測時間≧基準時間)と判定された(ステップS405/YES)揚げ物Xの個数を、廃棄量として記憶部40に記録する(ステップS406;廃棄量記録ステップ)。
 そして、報知部47は、ステップS406において記録された揚げ物Xの廃棄量を報知するための報知信号をモニタ312に対して出力し(ステップS407)、揚げ物廃棄量管理制御装置4における処理が終了する。これにより、モニタ312には、揚げ物Xの廃棄量が表示される(報知ステップ)。
 また、ステップS405において、計測時間が基準時間に至っている揚げ物Xがホットショーケース1内に含まれていない、すなわち、計測時間が基準時間に至っていない(計測時間<基準時間)揚げ物Xだけがホットショーケース1内に陳列していると判定された場合については(ステップS405/NO)、ステップS401において取得される画像から表面画像が外れた揚げ物Xがあるか否かを判定する(ステップS408)。
 ステップS408において取得画像から表面画像が外れた揚げ物Xについては(ステップS408/YES)、揚げ物廃棄量管理制御装置4内での処理を終了する。
 一方で、ステップS408において取得画像から表面画像が外れていない揚げ物X(ステップS408/NO)、すなわち、ホットショーケース1内に継続して陳列され、かつホットショーケース1内に陳列されている時間(計測時間)が基準時間未満である揚げ物Xについては、ステップS401に戻って処理を繰り返す。
 このように、ホットショーケース1内に陳列中の複数の揚げ物Xを継続的あるいは断続的にカメラ5で撮影し、撮影された画像に基づいて個々の揚げ物Xを識別することにより、揚げ物Xがホットショーケース1内で移動した場合であっても、個々の揚げ物Xの廃棄時点を正確に判定することが可能となる。これにより、廃棄時点に至った揚げ物Xの個数についても正確に把握することができるため、揚げ物Xの廃棄量の記録を精度良く行うことが可能となる。
(変形例)
 次に、第1実施形態の変形例に係る揚げ物廃棄量管理制御装置4について、図8を参照して説明する。なお、図8において、実施形態に係る揚げ物廃棄量管理制御装置4について説明したものと共通する構成要素については、同一の符号を付してその説明を省略する。以下、第2~第6実施形態についても同様とする。
 図8は、第1実施形態の変形例に係る揚げ物廃棄量管理制御装置4で実行される処理の流れを示すフローチャートである。
 本変形例に係る揚げ物廃棄量管理制御装置4は、揚げ物Xが一旦ホットショーケース1内から取り出されて再びホットショーケース1内に戻された場合の処理を含む。
 まず、画像取得部41は、第1実施形態におけるステップS401と同様に、ホットショーケース1A内に陳列中の複数の揚げ物Xを含む画像を取得する(ステップS410)。
 続いて、揚げ物廃棄量管理制御装置4は、記憶部40に記憶されている表面画像関連情報に基づいて、今回取得された画像に含まれる個々の揚げ物Xの表面画像が、記憶部40にすでに記憶されたものであるか否か、すなわち過去のステップS410において取得された画像に含まれるものであるか否かを判定する(ステップS411)。
 ここで、「表面画像関連情報」とは、カメラ5で撮影された画像から抽出された個々の揚げ物Xの表面画像から取得可能な情報であって、具体的には、揚げ物Xの色調(色成分)、大きさ、および形状を含む情報である。したがって、「表面画像関連情報」は、表面画像そのものを含んでもよいし、表面画像に含まれる特徴点などの情報を構造化した情報を含むものでもよい。いずれにせよ、「表面画像関連情報」は、ステップS410において取得された画像(取得画像)に含まれる揚げ物Xに対して、過去において経過時間の計測をしていたか否かを判定可能な情報群であればよい。
 ステップS411において判定対象の表面画像が記憶部40に記憶されている表面画像関連情報に関連付けられているものではないと判定された場合(ステップS411/NO)、該当する表面画像に対して識別情報および種別情報を新規に関連付ける(ステップS412)。なお、ステップS411における判定対象となる表面画像は複数存在する可能性がある。その場合、複数の表面画像の各々においてステップS411の判定を行う。
 一方、ステップS411において判定対象の表面画像が記憶部40に記憶されている表面画像関連情報に関連付けられているものである、すなわち、当該判定処理の直前に実行されているステップS410ではなく、以前のステップS410に係る取得画像に含まれていたと判定された揚げ物Xの表面画像であれば(ステップS411/YES)、該当する表面画像に対して記憶部40に記憶されている識別情報および種別情報を関連付ける(ステップS413)。
 次に、時間計測部44は、ステップS412あるいはステップS413において関連付けられた識別情報および種別情報に基づいて、起点となる計測時間から表面画像が取得画像に含まれている時間を計測する(ステップS414)。
 具体的には、ステップS412からステップS414に進んだ場合、時間計測部44は、現時点を起点として表面画像が取得画像に含まれている時間を新規に計測する。他方、ステップS413からステップS414に進んだ場合、時間計測部44は、前回における表面画像が取得画面から外れる直前の計測時間を起点として表面画像が取得画像に含まれている時間の計測を再開する。すなわち、一旦ホットショーケース1内から取り出されて再びホットショーケース1内に戻された揚げ物Xについては、表面画像が取得画像に含まれている時間の計測が再開されることになる。
 そして、廃棄判定部45は、第1実施形態におけるステップS405と同様に、個々の揚げ物Xに対し、ステップS414において計測された計測時間が基準時間に至っているか否かを判定する(ステップS415)。
 続いて、廃棄量記録部46は、第1実施形態におけるステップS406と同様に、ステップS415において計測時間が基準時間に至っている(計測時間≧基準時間)と判定された(ステップS415/YES)揚げ物Xの個数を、廃棄量として記憶部40に記録する(ステップS416)。
 そして、報知部47は、第1実施形態におけるステップS407と同様に、ステップS416において記録された揚げ物Xの廃棄量を報知するための報知信号をモニタ312に対して出力し(ステップS417)、本変形例に係る揚げ物廃棄量管理制御装置4における処理が終了する。
 また、ステップS415において計測時間が基準時間に至っていない(計測時間<基準時間)揚げ物Xだけがホットショーケース1内に陳列していると判定された場合については(ステップS415/NO)、第1実施形態におけるステップS408と同様に、ステップS410において取得される画像から表面画像が外れた揚げ物Xがあるか否かを判定する(ステップS418)。
 ステップS418において取得画像から表面画像が外れた揚げ物Xがないと判定された場合には(ステップS418/NO)、そのままステップS410の処理に戻る。
 一方、ステップS418において取得画像から表面画像が外れた揚げ物Xについては(ステップS418/YES)、当該揚げ物Xに係る表面画像が取得画像から外れたと判定されたタイミング、すなわちステップS418において「YES」とされたタイミングまでの計測時間、当該揚げ物Xに係る表面画像に対して付与されていた識別情報、種別情報、および表面画像関連情報をそれぞれ記憶部40に記憶して(ステップS419)、ステップS401の処理に戻る。
 すなわち、ステップS411において用いられる表面画像関連情報、ステップS413において用いられる識別情報および種別情報、ならびにステップS414において用いられる表面画像が取得画面から外れる直前の計測時間はいずれも、ステップS419において記憶部40に記憶された情報である。
 このように、揚げ物廃棄量管理制御装置4で実行される処理の中に、揚げ物Xが一旦ホットショーケース1内から取り出されて再びホットショーケース1内に戻された場合の処理を含むことにより、ホットショーケース1内に陳列される複数の揚げ物Xの廃棄時点の判定をより精度良く行うことができ、揚げ物Xの廃棄量をより精度良く記録することが可能となる。
 なお、揚げ物Xが一旦ホットショーケース1内から取り出されて再びホットショーケース1内に戻された場合について、本変形例では、揚げ物廃棄量管理制御装置4にて自動で処理を行ったが、これに限らず、例えば、揚げ物Xがホットショーケース1内から取り出される際に、店舗31の従業員が、該当する揚げ物Xの識別情報を入力端末などに手動で入力しておき、揚げ物廃棄量管理制御装置4が、入力された識別情報を用いて揚げ物Xが新規であるか否かを判定してもよい。
<第2実施形態>
 次に、第2実施形態に係る揚げ物廃棄量管理制御装置4Aについて、図9~16を参照して説明する。
 本実施形態に係る揚げ物廃棄量管理制御装置4Aは、揚げ物Xの揚げ上がり時からの経過時間に加えて、揚げ物Xの風味の低下に応じて変化する指標(劣化指標)に基づいて、揚げ物Xの廃棄時点を判定する。
 まず、揚げ物の風味の低下に応じて変化する指標について、図9~15を参照して説明する。
 揚げ物Xの廃棄時点の管理に用いる劣化指標としては、揚げ物Xの状態の把握に対して機能することが確認されている指標であって、揚げ物Xの色成分の他、例えば、揚げ物Xの大きさ、重さ、水分量、揮発性成分量、揮発性成分組成、酸価、アニシジン価、カルボニル価、過酸化物価、ヨウ素価、および極性化合物量を含む。なお、以下では、揚げ物Xの廃棄時点の管理に用いる劣化指標として、揚げ物Xの色成分を例に挙げて説明する。
 図9は、官能評価で得られた経過時間に対する揚げ物の色の濃さの推移を示すグラフである。図9において、横軸は、評価対象の揚げ物の揚げ上がり時刻からの経過時間を示し、縦軸は、揚げ物の「色の濃さ」を指標化した値を示している。
 図9に示すように、揚げ物は、一般に、揚げ上がり時からの経過時間が長くなるにつれて表面の色の濃さを示す指標が増加する。すなわち、揚げ物は、時間の経過に応じて表面の色が濃くなる傾向を示す。揚げ物の表面の色は、揚げ物の状態を示す状態データであると共に、揚げ物の経時変化を示す経時変化データに相当する。
 ここで、図5に示した「劣化風味」も、揚げ上がり時刻からの経過時間が長くなるにつれて、その値が増加する。したがって、揚げ物の表面の色の濃さと揚げ物の風味の低下との間には相関がある。
 揚げ物廃棄量管理制御装置4Aは、各カメラ5で撮影された静止画または動画から個別の揚げ物Xの表面画像を特定し、表面画像を構成する画素(各ピクセル)のRGB値を算出し、これらRGB値を各揚げ物Xの色成分として解析する。
 なお、各揚げ物Xの色の解析方法は必ずしもRGB法である必要はなく、その他の解析方法として、例えば、各カメラ5で撮影された静止画または動画の波長解析を行ってもよい。また、動画の場合には、予め規定するサンプリング時間において動画から静止画を抽出し、その静止画を解析対象として、所定の経過時間に対応する各揚げ物Xの色成分を解析する。さらに、本実施形態では、揚げ物Xの色を示す指標として、RGB値を用いたが、これに限らず、例えば、色相(Hue)・彩度(Saturation)・明度(Value)の3要素で表現するHSVなどの他の色指標を用いても良い。
 次に、出願人が、カメラ5を用いて得られる揚げ物Xの画像と同様の画像を用いて、揚げ物Xの経時的な「色の濃さ」を確認するための色成分(R成分、G成分、B成分)ごとの解析を行い、その経時的な傾向を実験的に確認した例を、図10~14に示すグラフを参照して説明する。
 図10Aは、ホットショーケース1内に陳列されたフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。図10Bは、ホットショーケース1内に陳列されたフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。図10Cは、ホットショーケース1内に陳列されたフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。
 図10A~Cに示すように、ホットショーケース1内に陳列されたフライドチキンの静止画から色成分を解析した場合、揚げ上がり時(=0h)から2時間経過後(=2h)では、R成分、G成分、およびB成分のすべてが減少している。そして、揚げ上がり時から4時間、6時間、7時間と時間経過が進むにつれて、R成分、G成分、およびB成分のすべてにおいて、全体的な減少傾向が見られる。
 図11Aは、ホットショーケース1内に陳列されたフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。図11Bは、ホットショーケース1内に陳列されたフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。図11Cは、ホットショーケース1内に陳列されたフライドチキンを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。
 図11A~Cに示すように、ホットショーケース1内に陳列されたフライドチキンの動画から色成分を解析した場合、揚げ上がり時(=0h)から2時間経過後(=2h)では、R成分は減少しているが、他方、G成分およびB成分は増加している。
 そして、R成分は、フライドチキンの静止画から色成分を解析した場合と同様に、揚げ上がり時から4時間、6時間、7時間経過するにつれて、全体として減少する傾向が見られる。一方、G成分は、揚げ上がり時から4時間経過後では、揚げ上がり時および2時間経過後における含量よりも減少しており、揚げ上がり時から7時間経過後では、さらに減少している。また、B成分は、揚げ上がり時から4時間、6時間、7時間と時間経過が進むにつれて、全体として僅かながら増加する傾向が見られる。
 図12Aは、ホットショーケース1内に陳列されたコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。図12Bは、ホットショーケース1内に陳列されたコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。図12Cは、ホットショーケース1内に陳列されたコロッケを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。
 図12A~Cに示すように、ホットショーケース1内に陳列されたコロッケの静止画から色成分を解析した場合、揚げ上がり時(=0h)から2時間経過後(=2h)では、R成分は変化がないが、他方、G成分およびB成分は増加している。
 図13Aは、ホットショーケース1内に陳列されたコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。図13Bは、ホットショーケース1内に陳列されたコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。図13Cは、ホットショーケース1内に陳列されたコロッケを動画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。
 図13A~Cに示すように、ホットショーケース1内に陳列されたコロッケの動画から色成分を解析した場合、揚げ上がり時(=0h)から2時間経過後(=2h)では、R成分は減少しているが、他方、G成分およびB成分は、コロッケの静止画から色成分を解析した場合と同様に増加している。
 図14Aは、ホットショーケース1内に陳列されたハッシュポテトを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分R値の推移を示すグラフである。図14Bは、ホットショーケース1内に陳列されたハッシュポテトを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分G値の推移を示すグラフである。図14Cは、ホットショーケース1内に陳列されたハッシュポテトを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する色成分B値の推移を示すグラフである。
 図14A~Cに示すように、ホットショーケース1内に陳列中のハッシュポテトの静止画から色成分を解析した場合、揚げ上がり時(=0h)から2時間経過後(=2h)では、R成分およびG成分は減少し、他方、B成分は、増加している。そして、R成分は、揚げ上がり時から4時間、6時間経過するにつれて減少し、7時間経過後では、僅かながら増加する傾向が見られる。他方、G成分およびB成分はそれぞれ、揚げ上がり時から4時間、6時間、7時間と時間経過が進むにつれて、全体として減少する傾向が見られる。
 このように、ホットショーケース1内に陳列された揚げ物Xに対し、揚げ上がり時からの時間経過に伴う色の変化の傾向(実験的に確認したフライドチキン、コロッケ、およびハッシュポテトでは、特に、揚げ上がり時から2時間経過後に顕著に現れた)に基づいて、揚げ物Xの廃棄時点を判定する廃棄判定基準となる廃棄基準値(基準RGB値)を予め設定することができる。
 なお、この廃棄基準値は、揚げ物Xの種別によらず所定の値に一律に設定してもよいし、揚げ物Xの種別ごとに異なる値に設定してもよい。例えば、図11A~Cおよび図13A~Cに示すように、動画から色成分を解析した場合には、フライドチキンとコロッケとで同じ傾向(R成分は減少し、G成分およびB成分は増加している)が見られるが、静止画から色成分を解析した場合には、フライドチキンとコロッケとで異なる傾向(フライドチキンではR成分、G成分、およびB成分のすべてにおいて減少しているが、コロッケではR成分は変化がなく、G成分およびB成分は増加している)が見られる。
 したがって、動画から色成分を解析する場合には、廃棄基準値を揚げ物Xの種別によらず所定の値に設定してもよい。また、静止画から色成分を解析する場合には、廃棄基準値を揚げ物Xの種別ごとに異なる値に設定することで、揚げ物廃棄量管理制御装置4Aは廃棄時点の判定をより精度よく行うことができる。
 以上のように、揚げ物廃棄量管理制御装置4Aへの入力データの形式が、静止画であるか、動画であるかに応じて、廃棄基準値の設定の仕方を動的に変更してもよい。また、図11A~Cおよび図13A~Cに示されたRGB値の変化の傾向は、各カメラ5の画角や露光時間、ホットショーケース1内の照明などの撮影条件の違いが主な要因であると考えられるため、撮影条件に応じて廃棄基準値の設定の仕方を変更してもよい。
 次に、揚げ物廃棄量管理制御装置4Aの機能について、図15および図16を参照して説明する。
 図15は、第2実施形態に係る揚げ物廃棄量管理制御装置4Aが有する機能を示す機能ブロック図である。図16は、第2実施形態に係る揚げ物廃棄量管理制御装置4Aで実行される処理の流れを示すフローチャートである。
 本実施形態に係る揚げ物廃棄量管理制御装置4Aは、画像取得部41と、識別情報生成部42と、個別表面画像管理部43と、時間計測部44と、廃棄判定部45Aと、廃棄量記録部46Aと、報知部47と、記憶部40Aと、を含み、さらに解析部48を含む。
 解析部48は、個々の揚げ物Xの表面画像から色成分(RGB値)を解析する。具体的には、解析部48は、個別表面画像管理部43にて特定された個々の揚げ物Xの画像領域から所定の画素群を構成する解析領域を特定する。そして、特定された解析領域に含まれる各画素のR成分、G成分、B成分を取得および解析する。
 なお、解析部48は、揚げ物Xの画像領域の大きさによらず所定の画素数によって解析領域を特定してもよいし、画像領域に含まれる画素数に対して一定の割合でサンプリングした画素によって解析領域を特定してもよい。
 本実施形態では、廃棄判定部45Aは、時間計測部44にて計測された計測時間が基準時間に至っているか否かについての判定に加えて、さらに、解析部48で解析された個々の揚げ物Xの色成分と、その揚げ物Xの廃棄時点を判定する基準として予め設定された色成分(色成分基準値)と、に基づいて、個々の揚げ物Xが廃棄時点に至っているか否かを判定する。
 「色成分基準値」は、記憶部40Aに記憶されており、個別表面画像管理部43にて関連付けられた種別情報に基づいた値(RGB値)に設定されていてもよいし、種別情報によらず所定の値に設定されていてもよい。
 また、廃棄量記録部46Aは、廃棄判定部45Aにおいて計測時間が基準時間に至っており、かつ、色成分に基づいて廃棄時点に至っていると判定された揚げ物Xの個数を、廃棄量として記憶部40Aに記録する。したがって、廃棄量記録部46Aは、廃棄判定部45Aにおいて計測時間が基準時間に至っていると判定された揚げ物Xであっても、色成分に基づいて廃棄時点に至っていると判定されなかった場合には、廃棄量として記録しない。
 図16に示すように、揚げ物廃棄量管理制御装置4Aでは、時間計測部44が、ステップS404の処理を実行する他方で、解析部48が、ステップS403において識別情報および種別情報が関連付けられた各表面画像から揚げ物Xの色成分(RGB値)を解析する(ステップS421;解析ステップ)。
 そして、廃棄判定部45Aは、ステップS405において計測時間が基準時間に至っている(計測時間≧基準時間)と判定した揚げ物Xについて、さらに、ステップS421において解析された色成分に基づいて、その揚げ物Xが廃棄時点に至っているか否かを判定する(ステップS422)。
 続いて、廃棄量記録部46は、ステップS422において色成分に基づき廃棄時点に至っている(ステップS422/YES)と判定された揚げ物Xの個数を廃棄量として記録する(ステップS423)。一方、ステップS422において色成分に基づき廃棄時点に至っていると判定された揚げ物Xがなかった場合には(ステップS422/NO)、ステップS421に戻って処理を繰り返す。
 このように、本実施形態に係る揚げ物廃棄量管理制御装置4Aは、廃棄判定部45Aにおいて、揚げ物Xの揚げ上がり時刻からの経過時間に加えて、揚げ物Xの色成分に基づいて、廃棄時点に至っているか否かを判定することにより、揚げ物Xの廃棄時点の判定の精度が向上し、揚げ物Xの廃棄量をより精度良く記録することができる。
 なお、本実施形態では、揚げ物Xの表面画像から個々の揚げ物Xの色成分を解析し、揚げ物Xの劣化指標として色成分を用いていたが、前述したように、揚げ物Xの劣化指標は色成分以外でもよく、例えば、揚げ物Xの大きさを示す面積であってもよい。
 図17は、ホットショーケース1内に陳列された3つのフライドチキンを静止画として撮影し、その画像を解析した場合に得られた経過時間に対する平均面積の推移を示すグラフである。図17において、横軸は、評価対象であるフライドチキンの揚げ上がり時刻からの経過時間を示し、縦軸は、画像解析によって算出された3つのフライドチキンそれぞれの面積の平均値である「平均面積」を指標化した値を示している。
 図17に示すグラフによれば、フライドチキンは、揚げ上がり時からの経過時間が長くなるにつれて大きさを示す指標である面積(平均面積)が減少している。すなわち、フライドチキンは、時間の経過に応じて大きさが小さくなる傾向を示す。
 ここで、図5に示した「劣化風味」は経過時間が長くなるにつれて、その値が増加する。また、経過時間が長くなるにつれて平均面積も減少することは、上述のとおりである。したがって、揚げ物の面積(平均面積)の減少と揚げ物の風味の低下との間には相関がある。
 そこで、揚げ物廃棄量管理制御装置4Aは、ホットショーケース1内に陳列中の揚げ物Xの面積、すなわち大きさを、揚げ物Xの廃棄時点の管理に用いる劣化指標として用いることで、揚げ物Xの大きさの変化に基づいて揚げ物Xの廃棄時点を判定することもできる。なお、この場合には、解析部48は、各表面画像から抽出された個々の揚げ物Xの個別画像を解析して個々の揚げ物Xの面積を算出する。
<第3実施形態>
 次に、第3実施形態に係る揚げ物廃棄量管理制御装置4Bについて、図18~20を参照して説明する。
 図18Aは、第3実施形態に係る揚げ物廃棄量管理制御装置4Bにおいて判定される揚げ物Xの移動の有無についての判定元となる販売用トングPおよび廃棄用トングQの一例を示す図である。図18Bは、販売用トングPおよび廃棄用トングQの他の例を示す図である。
 本実施形態に係る揚げ物廃棄量管理制御装置4Bでは、画像取得部41にて取得された画像から、揚げ物Xの位置を移動する際に用いられる挟持具の一態様であるトングを識別することにより、廃棄時点に至って店舗31の従業員によって実際に廃棄された揚げ物Xの個数(廃棄量)をカウントする。
 ホットショーケース1内に陳列されている揚げ物Xをホットショーケース1の外に取り出す際に用いられるトングには、顧客によって揚げ物Xが購入されて店舗31の従業員がその顧客に当該揚げ物Xを提供する場合に用いられる販売用挟持具としての販売用トングP、および、廃棄時点に至った揚げ物Xを店舗31の従業員が廃棄する場合に用いられる廃棄用挟持具としての廃棄用トングQの2種類がある。
 例えば、図18Aに示すように、販売用トングPは銀色であって、廃棄用トングQは金色であるなど、販売用トングPの色と廃棄用トングQの色とが異なっている。図18Aでは、廃棄用トングQを砂地で示すことで、販売用トングPと廃棄用トングQとの色の違いを示している。
 本実施形態では、各カメラ5は、ホットショーケース1内に陳列されている複数の揚げ物Xのみならず、販売用トングPおよび廃棄用トングQを含む画像を撮影する。換言すれば、各カメラ5は、販売用トングPおよび廃棄用トングQを取得可能に画角設定されている。
 次に、本実施形態に係る揚げ物廃棄量管理制御装置4Bの機能について、図19および図20を参照して説明する。
 図19は、第3実施形態に係る揚げ物廃棄量管理制御装置4Bが有する機能を示す機能ブロック図である。図20は、第3実施形態に係る揚げ物廃棄量管理制御装置4Bで実行される処理の流れを示すフローチャートである。
 図19に示すように、揚げ物廃棄量管理制御装置4Bは、画像取得部41と、識別情報生成部42と、個別表面画像管理部43と、時間計測部44と、廃棄判定部45と、廃棄量記録部46Bと、報知部47Bと、記憶部40Bと、を含み、さらに移動判定部49を含む。
 移動判定部49は、画像取得部41にて取得された画像に基づいて、ホットショーケース1内に陳列されている揚げ物Xが廃棄用トングQに挟まれてホットショーケース1の外に移動されたか否かを判定する。
 具体的には、移動判定部49は、記憶部40Bに予め記憶されている販売用トングPを特定する第1要素を示すデータ(色が銀色という、販売用トングPを示す第1情報)および廃棄用トングQを特定する第2要素を示すデータ(色が金色という、廃棄用トングQを示す第2情報)に基づいて、画像取得部41にて取得された画像に含まれるトングが、販売用トングPおよび廃棄用トングQのうちのいずれであるかを判定する。
 なお、記憶部40Bには、必ずしも販売用トングPを特定する第1要素を示すデータ、および、廃棄用トングQを特定する第2要素を示すデータの両方が記憶されている必要はなく、少なくともいずれか一方の要素を示すデータ(販売用トングPは銀色という第1情報もしくは廃棄用トングQは金色という第2情報)が記憶されていればよい。
 廃棄量記録部46Bは、移動判定部49において画像に含まれるトングが廃棄用トングQであると判定された場合に、その廃棄用トングQで挟まれてホットショーケース1の外に移動された揚げ物Xの個数を廃棄量として記憶部40Bに記録する。
 報知部47Bは、廃棄量記録部46Bにて記録された揚げ物Xの廃棄量を報知するための報知信号の他、廃棄時点に至った揚げ物Xが廃棄用トングQによってホットショーケース1の外に移動されなかった場合には、店舗31の従業員に対して廃棄を促すための警告信号を、モニタ312に対して出力する。
 図20に示すように、ステップS405において計測時間が基準時間に至った(計測時間≧基準時間)と判定された(ステップS405/YES)揚げ物Xに対して、移動判定部49は、ステップS401にて取得される画像に基づいて、廃棄用トングQで挟まれてホットショーケース1の外部に移動されたか否かを判定する(ステップS431)。
 続いて、廃棄量記録部46Bは、ステップS431において廃棄用トングQで挟まれてホットショーケース1の外部に移動されたと判定された(ステップS431/YES)揚げ物Xの個数を、廃棄量として記憶部40Bに記録する(ステップS432)。
 そして、報知部47Bは、ステップS432において記録された廃棄量を報知するための報知信号をモニタ312に対して出力し(ステップS407)、揚げ物廃棄量管理制御装置4Bにおける処理が終了する。
 他方、ステップS431において廃棄時点に至った揚げ物Xが廃棄用トングQで挟まれてホットショーケース1の外部に移動されたと判定されなかった場合(ステップS431/NO)、すなわち、廃棄時点に至った揚げ物Xがホットショーケース1内に残っている場合、報知部47Bは、廃棄を促す警告信号をモニタ312に対して出力し(ステップS433)、揚げ物廃棄量管理制御装置4Bにおける処理が終了する。
 また、ステップS405において計測時間が基準時間に至った揚げ物Xがないと判定された場合には(ステップS405/NO)、移動判定部49は、ホットショーケース1内に陳列されている揚げ物Xの中に、販売用トングPで挟まれてホットショーケース1の外部に移動された揚げ物Xがあるか否かを判定する(ステップS434)。
 ステップS434において販売用トングPで挟まれてホットショーケース1の外部に移動された揚げ物Xがあると判定された場合(ステップS434/YES)、揚げ物廃棄量管理制御装置4Bにおける処理が終了する。一方、ステップS434において販売用トングPで挟まれてホットショーケース1の外部に移動された揚げ物Xがないと判定された場合(ステップS434/NO)、ステップS401に戻って処理を繰り返す。
 このように、揚げ物廃棄量管理制御装置4Bは、実際に廃棄用トングQによってホットショーケース1の外に移動された揚げ物Xの個数を廃棄量として記録するため、廃棄判定部45にて廃棄時点に至ったと判定された揚げ物Xの個数を廃棄量として記録する場合よりも正確な廃棄量を記録することができる。
 また、廃棄時点に至った揚げ物Xが廃棄用トングQによってホットショーケース1の外に移動されなかった場合に、報知部47が、モニタ312に対して警告信号を出力することにより、店舗31の従業員が廃棄を忘れて、販売に向かなくなった揚げ物Xを誤って顧客に販売してしまうといった事態を未然に防ぐことができる。
 なお、販売用トングPと廃棄用トングQとは、全体の色が異なっていたが、必ずしも全体の色が異なっている必要はなく、図18Bに示すように、一部の形状が異なっていてもよい。図18Bでは、販売用トングPと廃棄用トングQとは、揚げ物Xを挟持する部分の形状のみが異なっている。
 また、例えば、廃棄用トングQに、廃棄用トングQを示す情報(第2情報)を有するQRコード(登録商標)を取り付け、カメラ5で撮影された画像(すなわち、画像取得部41にて取得された画像)から当該QRコードを読み取ることで、販売用トングPと廃棄用トングQとを識別してもよい。
 なお、QRコードの取付位置については特に制限はなく、カメラ5で撮影可能な位置であればよい。
 また、この場合において、必ずしも廃棄用トングQにQRコードが取り付けられている必要はなく、販売用トングPに販売用トングPを示す情報(第1情報)を有するQRコードが取り付けられていてもよく、また、販売用トングPおよび廃棄用トングQの両方にそれぞれQRコードが取り付けられていてもよい。
 また、QRコード(二次元コード)やバーコード(一次元コード)などのコードの他、廃棄用トングQ(あるいは販売用トングP)側に所定の目印を付け、カメラ5で撮影された画像に含まれる当該目印に基づいて、販売用トングPと廃棄用トングQとを識別してもよい。すなわち、カメラ5で撮影された画像から販売用トングPと廃棄用トングQとが識別可能であれば、その態様については特に制限はない。
 またさらに、例えば、NFC(Near Field Communication)およびRFID(Radio Frequency Identification)などの無線通信技術を用いて、販売用トングPと廃棄用トングQとを識別してもよい。
 図18Cは、NFC技術を用いて販売用トングPと廃棄用トングQとを識別する場合の例を示す図である。
 図18Cに示すように、廃棄用トングQには、ICチップが内蔵されたNFCタグ91が取り付けられている。このNFCタグ91のICチップには、廃棄用トングQを示す情報(第2情報)が記録されている。なお、図18Cでは、NFCタグ91は、廃棄用トングQのうち、揚げ物Xを挟持する部分とは反対側の端部に取り付けられているが、取付位置については特に制限はない。ホットショーケース1の近くには、NFCタグ91を読み取るための専用端末としての読み取り端末92が設けられている。
 例えば、店舗の従業員は、揚げ物Xを廃棄する際には、廃棄用トングQのNFCタグ91を読み取り端末92にかざし、その後、揚げ物Xを廃棄用トングQで挟んでホットショーケース1から取り出す。
 読み取り端末92は、揚げ物廃棄量管理制御装置4Bと通信可能に接続されており、NFCタグ91を読み取ると、廃棄用トングQを示す情報が揚げ物廃棄量管理制御装置4Bに出力する。
 揚げ物廃棄量管理制御装置4Bは、読み取り端末92から出力された廃棄用トングQを示す情報を取得すると、その直後に画像取得部41にて取得された画像に含まれるトングが廃棄用トングQであると判定する。
 なお、店舗の従業員は、必ずしも揚げ物Xを廃棄用トングQで挟む前に廃棄用トングQのNFCタグ91を読み取り端末92にかざさなくてもよく、揚げ物Xを廃棄用トングQで挟んでホットショーケース1から取り出した後に、廃棄用トングQのNFCタグ91を読み取り端末92にかざしてもよい。この場合には、揚げ物廃棄量管理制御装置4Bは、読み取り端末92から出力された廃棄用トングQを示す情報を取得すると、その直前に画像取得部41にて取得された画像に含まれるトングが廃棄用トングQであると判定する。
 なお、図18Cでは、廃棄用トングQにNFCタグ91が取り付けられていたが、これに限られず、販売用トングPに販売用トングPを示す情報が記録されたICチップを内蔵するNFCタグが取り付けられていてもよく、また、販売用トングPおよび廃棄用トングQの両方にそれぞれNFCタグが取り付けられていてもよい。
 RFIDを用いた場合についても、NFCを用いた場合と同様であり、販売用トングPを示す第1情報が書き込まれたRFIDタグおよび廃棄用トングQを示す第2情報が書き込まれたRFIDタグのうちの少なくとも一方を専用端末で読み取ることにより、販売用トングPと廃棄用トングQとを識別することができる。
 なお、このRFIDタグを用いた場合には、NFCタグやコードなどと異なり、専用端末は複数のRFIDタグをいっぺんに読み取ることが可能である。
<第4実施形態>
 次に、第4実施形態に係る揚げ物廃棄量管理システム3Cについて、図21を参照して説明する。
 図21は、第4実施形態に係る揚げ物廃棄量管理システム3Cが有する機能を示す機能ブロック図である。
 本実施形態に係る揚げ物廃棄量管理システム3Cは、揚げ物Xの廃棄量を管理制御する揚げ物廃棄量管理制御装置4Cと、販売用トングPと廃棄用トングQとを判別することが可能な学習済モデルを生成する学習装置7と、を含んで構成されている。
 以下では、主に、販売用トングPと廃棄用トングQとを判別することが可能な学習済モデルを生成する装置として学習装置7を説明するが、学習装置7は、販売用トングPと廃棄用トングQとを判別することが可能な学習済モデル以外に、揚げ物Xの廃棄時点を判定することが可能な学習済モデルや、揚げ物Xの種別を特定することが可能な学習済モデルを作成することも可能である。この場合、廃棄判定部45Cにおける揚げ物Xの廃棄判定の精度や個別表面画像管理部43Cにおける揚げ物Xの種別情報の関連付けの精度がより向上する。
 揚げ物廃棄量管理制御装置4Cは、画像取得部41Cと、識別情報生成部42Cと、個別表面画像管理部43Cと、時間計測部44Cと、廃棄判定部45Cと、廃棄量記録部46Cと、報知部47Cと、移動判定部49Cと、記憶部40Cと、を含み、さらに通信部400を含む。
 画像取得部41Cと、識別情報生成部42Cと、個別表面画像管理部43Cと、時間計測部44Cと、廃棄判定部45Cと、廃棄量記録部46Cと、報知部47Cと、移動判定部49Cと、記憶部40Cと、は、いずれもすでに説明した第3実施形態に係る揚げ物廃棄量管理制御装置4Bにおける機能と同様の機能を有する。したがって、揚げ物廃棄量管理制御装置4Cは、揚げ物廃棄量管理制御装置4Bにおける処理フローと同様の処理フローを実現することができるものである。
 学習装置7は、記憶部40Cにすでに記憶されている基準値データ(説明変数)から、例えば、線形回帰、サポートベクターマシン(SVM:Support Vector Machine)、バギング、ブースティング、アダブースト、決定木、ランダムフォレスト、ロジスティック回帰、ニューラルネットワーク、ディープラーニング、ディープラーニングの中でも畳み込みニューラルネットワーク(Convolurional Neural Network(CNN)、Recurrent Neural Network(RNN))、LSTM(Long Short-Term Memory)などにより、検量線(モデル式)を作成する。
 線形回帰(分析)の種別は、単回帰、重回帰、部分最小二乗(PLS:Partial Least Squares)回帰、直交射影部分最小二乗(OPLS:Orthogonal Partial Least Squares)回帰等があるが、これらから選ばれる1種以上を利用することができる。
 単回帰は、1つの目的変数を1つの説明変数で予測する手法であり、重回帰は、1つの目的変数を複数の説明変数で予測する手法である。また、(直交射影)部分最小二乗回帰は、少数の特徴量である主成分(説明変数のみの主成分分析で得られる)と目的変数の共分散が最大になるように主成分を抽出する手法である。(直交射影)部分最小二乗回帰は、説明変数の数がサンプルの数よりも多いとき、そして、説明変数の間の相関が高いときに適した手法である。
 学習装置7における機械学習や回帰分析によって得られた検量線は、記憶部40Cに記憶されている販売用トングPを特定する第1要素を示すデータや廃棄用トングQを特定する第2要素を示すデータに適用されることにより、その適用結果を移動判定部49Cに対して提供することが可能となる。
 なお、学習装置7における学習済モデルの生成は、データを作成し入力するユーザ単位で実行されてもよい。この場合、揚げ物廃棄量管理制御装置4Cは、各ユーザの自らのデータの提供により生成された学習済モデルのみを利用する。これによって、各ユーザのホットショーケース1の環境に特化した判定を行うことができる。
 また、学習装置7における学習モデルの生成は、データを作成し入力するユーザ単位を区別することなく行ってもよい。この場合、より大量のデータを利用して学習モデルを生成できる。そして、生成された学習モデルを利用するときには、各ユーザ単位で予め規定する特性(トングの種類など)および特性に係る要素(色や形状など)を入力データとして、販売用トングPと廃棄用トングQとを判定する。これによって、複数のユーザのホットショーケース1の環境に基づいて、より大量の機械学習や回帰分析をした学習済モデルを利用して、精度の高い判定を行うことができる。
 学習装置7は、通信部70と、データ取得部71と、推定部72と、学習済モデル生成部73と、更新部74と、を含む。
 揚げ物廃棄量管理制御装置4Cの通信部400と学習装置7の通信部70とは、通信ネットワークNを介して、相互に情報通信を行うためのインターフェースを含む機能を提供する。
 学習装置7のデータ取得部71は、揚げ物廃棄量管理制御装置4Cの画像取得部41にて取得された販売用トングPおよび廃棄用トングQの画像データと、移動判定部49Cでの判定結果に係るデータと、を、通信部70を介して取得する。
 推定部72は、データ取得部71にて取得された移動判定部49Cの判定結果に基づいて、販売用トングPを特定する第1要素および廃棄用トングQを特定する第2要素を推定する。例えば、推定部72は、販売用トングPを特定する第1要素として色が銀色であることを、廃棄用トングQを特定する第2要素として色が金色であることを推定する。
 学習済モデル生成部73は、推定部72にて推定された第1要素および第2要素を示すデータや、データ取得部71にて取得された販売用トングPおよび廃棄用トングQの画像などを用いて機械学習や回帰分析を行い、学習済モデルを生成する。
 更新部74は、学習済モデル生成部73にて生成された学習済モデルに基づいて、揚げ物廃棄量管理制御装置4Cの記憶部40Cに記憶されている販売用トングPを特定する第1要素を示すデータおよび廃棄用トングQを特定する第2要素を示すデータを更新する。
 なお、本実施形態では、販売用トングPと廃棄用トングQとを判別することが可能な学習済モデルを生成する機能を、揚げ物廃棄量管理制御装置4Cとは別の装置である学習装置7に持たせていたが、これに限らず、揚げ物廃棄量管理制御装置4C内に持たせても良い。
<第5実施形態>
 次に、第5実施形態に係る揚げ物廃棄量管理制御装置4Dについて、図22および図23を参照して説明する。
 図22は、第5実施形態に係る揚げ物廃棄量管理制御装置4Dが有する機能を示す機能ブロック図である。図22は、第5実施形態に係る揚げ物廃棄量管理制御装置4Dで実行される処理の流れを示すフローチャートである。
 本実施形態に係る揚げ物廃棄量管理制御装置4Dは、廃棄判定部45において廃棄時点に至っていないと判定された揚げ物Xに対して廃棄時点を予測し、予測した廃棄時点で廃棄となる揚げ物Xの廃棄量を算出し、予測した廃棄時点および予測した廃棄量に基づいて、次回の調理スケジュールを決定する機能を有する。
 図22に示すように、揚げ物廃棄量管理制御装置4Dは、画像取得部41と、識別情報生成部42と、個別表面画像管理部43と、時間計測部44と、廃棄判定部45と、廃棄量記録部46Bと、報知部47Dと、記憶部40と、を含み、さらに廃棄時点予測部81と、廃棄量予測部82と、調理スケジュール決定部83と、を含む。
 廃棄時点予測部81は、廃棄判定部45において計測時間が基準時間に至っていない(計測時間<基準時間)と判定された揚げ物Xの廃棄時点を予測する。具体的には、廃棄時点予測部81は、基準時間から計測時間を減算して現時点から基準時間に至るまでの時間(例えば、あと2時間など)を算出し、対象の揚げ物Xが現在時刻から例えば2時間後の〇時〇〇分に廃棄時点に至ることを予測する。
 廃棄量予測部82は、廃棄時点予測部81にて予測された予測廃棄時点で廃棄される揚げ物Xの個数を予測廃棄量として算出する。例えば、廃棄量予測部82は、予測廃棄時点となる〇時〇〇分で廃棄される揚げ物Xが5個ある場合は、予測廃棄量を5個とする。
 調理スケジュール決定部83は、廃棄時点予測部81にて予測された予測廃棄時点および廃棄量予測部82にて予測された予測廃棄量に基づいて、次回の揚げ物Xの調理スケジュールを決定する。例えば、調理スケジュール決定部83は、現在時刻から2時間後の〇時〇〇分で廃棄される揚げ物Xが5個あると予測されている場合、今後の揚げ物Xの廃棄量が増加しないように調整し、現在時刻から1時間30分後の△時△△分に3個の揚げ物Xを調理するといったスケジュールを決める。
 報知部47Dは、廃棄量記録部46にて記録された廃棄量を報知する報知信号の他、調理スケジュール決定部83にて決定された次回の調理スケジュールを示すスケジュール信号を、モニタ312に対して出力する。
 図23に示すように、廃棄時点予測部81は、ステップS405において計測時間が基準時間に至っていないと判定され(ステップS405/NO)、かつ、ステップS408において取得画像から表面画像が外れていないと判定された(ステップS408/NO)揚げ物Xの廃棄時点を予測する(ステップS441)。
 続いて、廃棄量予測部82は、ステップS441にて予測された予測廃棄時点で廃棄される揚げ物Xの個数、すなわち予測廃棄量を算出する(ステップS442)。
 次に、調理スケジュール決定部83は、ステップS441にて予測された予測廃棄時点およびステップS442にて予測された予測廃棄量に基づいて、揚げ物Xの次回の調理スケジュールを決定する(ステップS443)。
 そして、報知部47Dは、ステップS443にて決定された調理スケジュールの内容を示すスケジュール信号をモニタ312に対して出力し(ステップS444)、揚げ物廃棄量管理制御装置4Dにおける処理が終了する。
 このように、揚げ物廃棄量管理制御装置4Dでは、廃棄判定部45にて廃棄時点に至っていないと判定された揚げ物Xについて廃棄時点および廃棄量を予測し、予測廃棄時点および予測廃棄量に基づいて調理スケジュールを決めることができるため、事前に調理スケジュールを調整して揚げ物Xの廃棄量が増加しないように対策を講じることが可能となる。
 なお、調理スケジュール決定部83は、廃棄量予測部82にて算出された予測廃棄量と、廃棄時点予測部81にて予測された予測廃棄時点と同時点における過去の揚げ物Xの販売数および廃棄量に係るデータと、に基づいて、揚げ物Xの次回の調理数を決定してもよい。
 例えば、廃棄時点予測部81にて予測された予測廃棄時点と同時点における過去1カ月の14時以降の揚げ物Xの販売数が6個の場合、調理スケジュール決定部83は、揚げ物Xの次回の調理数を6個とする。
 また、調理スケジュール決定部83は、揚げ物Xの販売数の予測モデルを用いて、揚げ物Xの次回の調理数を決定してもよい。揚げ物Xの販売数の予測モデルは、例えば、ホットショーケース1が設置された店舗31の立地に係る情報、店舗31の周辺の人口構成比、店舗31の周辺における過去の気象情報、店舗31の周辺のイベント情報、揚げ物Xの過去の販売数、および、揚げ物Xの過去の廃棄量を示すデータを含む教師データを用いて機械学習や回帰分析を行うことにより生成される。
 「店舗31の立地に係る情報」とは、住宅街、オフィス街、あるいは歓楽街などといった情報である。「店舗31の周辺の人口構成比」とは、男女比、年齢別の男女比、あるいは成人と未成年者との比などの情報である。「店舗31の周辺における過去の気象情報」とは、店舗31の周辺における天気、温度、および湿度を含めた情報である。「店舗31の周辺のイベント情報」とは、5日後に店舗31の近隣でスポーツイベント(例えば、スポーツ試合やスポーツ大会)が開催されるなどといった情報である。
<第6実施形態>
 次に、第6実施形態に係る揚げ物廃棄量管理制御装置4Eについて、図24および図25を参照して説明する。
 図24は、第6実施形態に係る揚げ物廃棄量管理制御装置4Eが有する機能を示す機能ブロック図である。図25は、第6実施形態に係る揚げ物廃棄量管理制御装置4Eで実行される処理の流れを示すフローチャートである。
 本実施形態に係る揚げ物廃棄量管理制御装置4Eは、図24に示すように、画像取得部41と、識別情報生成部42と、個別表面画像管理部43と、時間計測部44と、廃棄判定部45と、廃棄量記録部46Bと、報知部47Dと、記憶部40と、廃棄時点予測部81と、廃棄量予測部82と、調理スケジュール決定部83Eと、を含み、さらに、陳列数算出部84と、残数算出部85と、を含む。
 陳列数算出部84は、画像取得部41にて取得される画像に含まれる揚げ物Xの個数をホットショーケース1内における現在の陳列数として算出する。
 残数算出部85は、陳列数算出部84にて算出された現在の陳列数から、廃棄量予測部82にて算出された予測廃棄量を減算して、予測廃棄時点を経過した後にホットショーケース1内に残る揚げ物Xの残数を算出する。
 調理スケジュール決定部83Eは、残数算出部85にて算出された揚げ物Xの残数に応じた次回の揚げ物Xの調理数を決定する。例えば、店舗31において販売したい揚げ物Xの個数が10個である場合において、残数算出部85にてホットショーケース1内の残数が4個であると算出されると、調理スケジュール決定部83は、次回の揚げ物Xの調理数を6個とする。
 図25に示すように、ステップS407において報知部47が廃棄量に係る報知信号をモニタ312に対して出力すると、画像取得部41は、ホットショーケース1内に陳列中の複数の揚げ物Xを含む画像を再度取得する(ステップS451)。
 続いて、陳列数算出部84は、ステップS451において取得された画像に含まれる揚げ物Xの個数を現在の陳列数として算出する(ステップS452)。
 また、ステップS442において予測廃棄量が算出されると、残数算出部85は、ステップS452で算出された現在の陳列数と、ステップS442で算出された予測廃棄量と、に基づいて、予測廃棄時点でのホットショーケース1内の揚げ物Xの残数を算出する(ステップS453)。
 次に、調理スケジュール決定部83Eは、ステップS453にて算出された揚げ物Xの残数に応じた次回の揚げ物Xの調理数を決定すると共に、ステップS441にて予測された予測廃棄時点に基づいて次回の調理開始時刻を決定する(ステップS454)。
 そして、報知部47は、ステップS454において決定された調理スケジュールを示すスケジュール信号をモニタ312に対して出力し(ステップS444)、揚げ物廃棄量管理制御装置4Eにおける処理が終了する。
 以上、本発明の実施形態について説明した。なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、本実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、本実施形態の構成に他の実施形態の構成を加えることも可能である。またさらに、本実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
 例えば、上記実施形態では、複数の揚げ物Xが陳列される陳列棚の一態様として3つの棚11,12,13を備えたホットショーケース1について説明したが、陳列棚は、必ずしも複数段の棚を備えたものである必要はなく、例えばトレイなども含まれ、揚げ物Xが陳列可能な形態であればその態様について限定されるものではない。
 また、上記実施形態では、食品廃棄量管理制御装置として、ホットショーケース内に陳列された複数の揚げ物Xの廃棄量を管理する揚げ物廃棄量管理制御装置4,4A~4Eについて説明したが、これに限らず、例えば、スチーマー内に陳列された複数の中華まんを管理する蒸し物廃棄量管理制御装置などであってもよい。
1:ホットショーケース(陳列棚)
3,3C:揚げ物廃棄量管理システム(食品廃棄量管理システム)
4,4A,4B,4C,4D,4E:揚げ物廃棄量管理制御装置(食品廃棄量管理制御装置)
5:カメラ(撮影装置)
31:店舗
41,41C:画像取得部
42,42C:識別情報生成部
43,43C:個別表面画像管理部
44,44C:時間計測部
45,45A,45C:廃棄判定部
46,46A,46B,46C:廃棄量記録部
47,47B,47C,47D:報知部
48:解析部
49,49C:移動判定部
81:廃棄時点予測部
82:廃棄量予測部
83,83E:調理スケジュール決定部
84:陳列数算出部
85:残数算出部
92:読み取り端末(専用端末)
P:販売用トング(販売用挟持具)
Q:廃棄用トング(廃棄用挟持具)
X:揚げ物(食品)

Claims (12)

  1.  陳列棚に陳列される調理済みの食品の廃棄量を管理制御する食品廃棄量管理制御装置であって、
     前記陳列棚に陳列されている複数の前記食品を含む画像を取得する画像取得部と、
     前記陳列棚に陳列されている個々の前記食品の表面画像を個別に識別する識別情報を生成する識別情報生成部と、
     前記画像取得部にて取得された前記画像に含まれる個々の前記表面画像に対して、前記識別情報生成部にて生成された前記識別情報を個別に関連付けて管理する個別表面画像管理部と、
     前記個別表面画像管理部にて前記識別情報が関連付けられた前記表面画像が前記画像に含まれている時間をそれぞれ計測する時間計測部と、
     前記時間計測部にてそれぞれ計測された計測時間が、前記食品を廃棄する際の経過時間の基準として予め設定された基準時間に至っているか否かを判定する廃棄判定部と、
     前記廃棄判定部での前記計測時間が前記基準時間に至っているとの判定結果に基づいて、前記食品の廃棄量を記録する廃棄量記録部と、を含む
    ことを特徴とする食品廃棄量管理制御装置。
  2.  請求項1に記載の食品廃棄量管理制御装置であって、
     前記個別表面画像管理部は、
     前記識別情報に加えて、前記食品の種別を特定する種別情報を、個々の前記表面画像に対して関連付けて管理し、
     前記廃棄判定部は、
     前記時間計測部にてそれぞれ計測された前記計測時間が、前記個別表面画像管理部にて関連付けられた前記種別情報に基づいた前記基準時間に至っているか否かを判定する
    ことを特徴とする食品廃棄量管理制御装置。
  3.  請求項1に記載の食品廃棄量管理制御装置であって、
     前記個別表面画像管理部にて前記識別情報が関連付けられた前記表面画像について、前記食品の色成分または大きさを解析する解析部をさらに含み、
     前記廃棄判定部は、
     前記解析部にて解析された色成分または大きさと、前記食品の廃棄時期を判定する基準として予め設定された色成分または大きさと、に基づいて、個々の前記食品が廃棄時点に至っているか否かをさらに判定する
    ことを特徴とする食品廃棄量管理制御装置。
  4.  請求項1に記載の食品廃棄量管理制御装置であって、
     前記廃棄判定部にて前記計測時間が前記基準時間に至っていると判定された前記食品が、前記基準時間に至った前記食品を廃棄する場合における位置の移動に用いられる廃棄用挟持具に挟まれて前記陳列棚の外に移動されたか否かを判定する移動判定部をさらに含み、
     前記廃棄量記録部は、
     前記移動判定部にて前記廃棄用挟持具で挟まれて前記陳列棚の外に移動されたと判定された前記食品の個数に基づいて、前記食品の廃棄量を記録する
    ことを特徴とする食品廃棄量管理制御装置。
  5.  請求項4に記載の食品廃棄量管理制御装置であって、
     前記移動判定部は、
     前記画像取得部にて取得された前記画像、または、専用端末によって読み取り可能なコードあるいはタグに含まれる情報であって、前記陳列棚に陳列されている複数の前記食品のうち顧客によって購入された前記食品の位置の移動に用いられる販売用挟持具を示す第1情報、および、前記廃棄用挟持具を示す第2情報のうち、少なくともいずれか一方の情報に基づいて、前記陳列棚の外に移動された前記食品を挟む挟持具が、前記販売用挟持具および前記廃棄用挟持具のうちのいずれであるかを判定する
    ことを特徴とする食品廃棄量管理制御装置。
  6.  請求項4に記載の食品廃棄量管理制御装置であって、
     前記移動判定部は、
     前記陳列棚に陳列されている複数の前記食品のうち顧客によって購入された前記食品の位置の移動に用いられる販売用挟持具を特定する第1要素を示すデータ、および、前記廃棄用挟持具を特定する第2要素を示すデータのうち少なくともいずれかのデータを含む教師データを用いて生成された学習済モデルを用いて、前記画像取得部にて取得された前記画像から、前記陳列棚の外に移動された前記食品を挟む挟持具が、前記販売用挟持具および前記廃棄用挟持具のうちのいずれであるかを判定する
    ことを特徴とする食品廃棄量管理制御装置。
  7.  請求項1に記載の食品廃棄量管理制御装置であって、
     前記廃棄判定部にて前記計測時間が前記基準時間に至っていないと判定された前記食品の廃棄時点を予測する廃棄時点予測部と、
     前記廃棄時点予測部にて予測された予測廃棄時点で廃棄される前記食品の個数を予測廃棄量として算出する廃棄量予測部と、
     前記廃棄時点予測部にて予測された前記予測廃棄時点および前記廃棄量予測部にて算出された前記予測廃棄量に基づいて、前記食品の次回の調理スケジュールを決定する調理スケジュール決定部と、をさらに含む
    ことを特徴とする食品廃棄量管理制御装置。
  8.  請求項7に記載の食品廃棄量管理制御装置であって、
     前記画像取得部にて取得される前記画像に含まれる前記食品の個数を前記陳列棚における現在の陳列数として算出する陳列数算出部と、
     前記陳列数算出部にて算出された前記陳列数から前記廃棄量予測部にて算出された前記予測廃棄量を減算して、前記予測廃棄時点を経過した後に前記陳列棚に残る前記食品の残数を算出する残数算出部と、をさらに含み、
     前記調理スケジュール決定部は、
     前記残数算出部にて算出された前記食品の残数に応じた前記食品の次回の調理数を決定する
    ことを特徴とする食品廃棄量管理制御装置。
  9.  請求項7に記載の食品廃棄量管理制御装置であって、
     前記調理スケジュール決定部は、
     前記廃棄量予測部にて算出された前記予測廃棄量と、前記廃棄時点予測部にて予測された前記予測廃棄時点と同時点における過去の前記食品の販売数および廃棄量に係るデータと、に基づいて、前記食品の次回の調理数を決定する
    ことを特徴とする食品廃棄量管理制御装置。
  10.  請求項7に記載の食品廃棄量管理制御装置であって、
     前記調理スケジュール決定部は、
     前記陳列棚が設置された店舗の立地に係る情報、前記店舗の周辺の人口構成比、前記店舗の周辺における過去の気象情報、前記店舗の周辺のイベント情報、前記食品の過去の販売数、および、前記食品の過去の廃棄量を示すデータを含む教師データを用いて生成された前記食品の販売数の予測モデルを用いて、前記食品の次回の調理数を決定する
    ことを特徴とする食品廃棄量管理制御装置。
  11.  陳列棚に陳列される調理済みの食品の廃棄量を管理する食品廃棄量管理システムであって、
     前記陳列棚に陳列されている複数の前記食品を含む画像を撮影する撮影装置と、
     前記陳列棚に陳列されている個々の前記食品の廃棄量を管理制御する食品廃棄量管理制御装置と、を備え、
     前記食品廃棄量管理制御装置は、
     前記撮影装置から出力される前記画像を取得し、
     前記陳列棚に陳列されている複数の前記食品の表面画像を個別に識別する識別情報を生成し、
     取得された前記画像に含まれる個々の前記表面画像に対して、生成した前記識別情報を関連付けて管理し、
     前記識別情報が関連付けられた前記表面画像が前記画像に含まれている時間をそれぞれ計測し、
     計測されたそれぞれの計測時間が、前記食品を廃棄する際の経過時間の基準として予め設定された基準時間に至っているか否かを判定し、
     前記計測時間が前記基準時間に至っているとの判定結果に基づいて、前記食品の廃棄量を記録する
    ことを特徴とする食品廃棄量管理システム。
  12.  陳列棚に陳列されている調理済みの食品を複数含む画像を撮影する撮影装置と、前記陳列棚に陳列されている個々の前記食品の廃棄量を管理制御する食品廃棄量管理制御装置と、を用いて、前記食品の廃棄量を管理するための食品廃棄量管理方法であって、
     前記撮影装置が、前記陳列棚に陳列されている複数の前記食品を含む画像を撮影する撮影ステップと、
     前記食品廃棄量管理制御装置が、前記撮影ステップにて撮影された前記画像を取得する画像取得ステップと、
     前記食品廃棄量管理制御装置が、前記陳列棚に陳列されている複数の前記食品の表面画像を個別に識別する識別情報を生成する識別情報生成ステップと、
     前記食品廃棄量管理制御装置が、前記画像取得ステップにて取得された前記画像に含まれる個々の前記表面画像に対して、前記識別情報生成ステップにて生成された前記識別情報を関連付けて管理する個別表面画像管理ステップと、
     前記食品廃棄量管理制御装置が、前記個別表面画像管理ステップにて前記識別情報が関連付けられた前記表面画像が前記画像に含まれている時間をそれぞれ計測する時間計測ステップと、
     前記食品廃棄量管理制御装置が、前記時間計測ステップにてそれぞれ計測された計測時間が、前記食品を廃棄する際の経過時間の基準として予め設定された基準時間に至っているか否かを判定する廃棄判定ステップと、
     前記食品廃棄量管理制御装置が、前記廃棄判定ステップでの前記計測時間が前記基準時間に至っているとの判定結果に基づいて、前記食品の廃棄量を記録する廃棄量記録ステップと、を含む
    ことを特徴とする食品廃棄量管理方法。
PCT/JP2023/001910 2022-01-28 2023-01-23 食品廃棄量管理制御装置、食品廃棄量管理システム、および食品廃棄量管理方法 WO2023145686A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023576897A JPWO2023145686A1 (ja) 2022-01-28 2023-01-23

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-012062 2022-01-28
JP2022012062 2022-01-28

Publications (1)

Publication Number Publication Date
WO2023145686A1 true WO2023145686A1 (ja) 2023-08-03

Family

ID=87472038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/001910 WO2023145686A1 (ja) 2022-01-28 2023-01-23 食品廃棄量管理制御装置、食品廃棄量管理システム、および食品廃棄量管理方法

Country Status (2)

Country Link
JP (1) JPWO2023145686A1 (ja)
WO (1) WO2023145686A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003835A (ja) * 2006-06-22 2008-01-10 Sanyo Electric Co Ltd 食品廃棄物量管理システム
WO2021090699A1 (ja) * 2019-11-06 2021-05-14 株式会社J-オイルミルズ 揚げ物陳列管理装置及び揚げ物陳列管理方法
WO2021187544A1 (ja) * 2020-03-18 2021-09-23 京セラ株式会社 資源回収システム、サーバ装置、及び方法
WO2021251139A1 (ja) * 2020-06-09 2021-12-16 株式会社J-オイルミルズ 揚げ物廃棄時期管理装置、揚げ物廃棄時期管理システム、および揚げ物廃棄時期管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003835A (ja) * 2006-06-22 2008-01-10 Sanyo Electric Co Ltd 食品廃棄物量管理システム
WO2021090699A1 (ja) * 2019-11-06 2021-05-14 株式会社J-オイルミルズ 揚げ物陳列管理装置及び揚げ物陳列管理方法
WO2021187544A1 (ja) * 2020-03-18 2021-09-23 京セラ株式会社 資源回収システム、サーバ装置、及び方法
WO2021251139A1 (ja) * 2020-06-09 2021-12-16 株式会社J-オイルミルズ 揚げ物廃棄時期管理装置、揚げ物廃棄時期管理システム、および揚げ物廃棄時期管理方法

Also Published As

Publication number Publication date
JPWO2023145686A1 (ja) 2023-08-03

Similar Documents

Publication Publication Date Title
US20210272064A1 (en) System and a Method for Managing Inventory
US20170249617A1 (en) Weighing system
US20230140684A1 (en) Edible oil deterioration level determination device, edible oil deterioration level determination system, edible oil deterioration level determination method, edible oil deterioration level determination program, edible oil deterioration level learning device, learned model for use in edible oil deterioration level determination, and edible oil exchange system
US20240159659A1 (en) Determination device, learning device, determination system, determination method, learning method, and program
JP6395657B2 (ja) サーバおよびプログラム
JP2023021124A (ja) 揚げ物廃棄時期管理装置、揚げ物廃棄時期管理システム、および揚げ物廃棄時期管理方法
JP2019152934A (ja) 在庫監視システム
JP2013210953A (ja) 情報端末及びプログラム
JP7565246B2 (ja) 加熱状態識別装置、加熱制御装置、加熱制御方法、加熱状態識別システム、及び加熱制御システム
JP2023054824A (ja) 食品廃棄時期管理装置、食品廃棄時期管理システム、および食品廃棄時期管理方法
JP6369319B2 (ja) 売上処理装置、および客層別商品人気分析方法
US20120166356A1 (en) Information terminal and sales data display method
CN107833403A (zh) 商品登记装置及商品登记方法、终端设备
WO2023145686A1 (ja) 食品廃棄量管理制御装置、食品廃棄量管理システム、および食品廃棄量管理方法
JP2016115113A (ja) 商品登録装置、及び、当該商品登録装置の商品特定方法
JP7266157B1 (ja) 食品廃棄時点管理制御装置、食品廃棄時点管理システム、および食品廃棄時点管理方法
US10719703B2 (en) Non-transitory computer-readable storage medium for storing line-of-sight analysis program, line-of-sight analysis method, and line-of-sight analysis apparatus
WO2023106034A1 (ja) 食品販売促進制御装置、食品販売促進システム、および食品販売促進方法
KR102611452B1 (ko) 인공지능(ai) 기반 비대면 qsc 점검 솔루션 시스템
WO2023054100A1 (ja) 食用油の劣化度判定装置、食用油の劣化度判定システム、食用油の劣化度判定方法、食用油の劣化度学習装置、および食用油の劣化度判定に用いられる学習済モデル
AU2014240256A1 (en) Method and system for identifying at least one shopping item
JP6528397B2 (ja) 売上処理装置、商品人気分析方法およびプログラム
CN109146554A (zh) 一种智能货柜及对智能货柜中商品进行推荐方法
JP7337625B2 (ja) 購買行動データ収集システム、及び購買行動データ収集プログラム
US20220084050A1 (en) Information processing system, information processing apparatus, and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23746898

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023576897

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE