WO2022059404A1 - 携帯端末及びおしぼり管理システム - Google Patents

携帯端末及びおしぼり管理システム Download PDF

Info

Publication number
WO2022059404A1
WO2022059404A1 PCT/JP2021/029993 JP2021029993W WO2022059404A1 WO 2022059404 A1 WO2022059404 A1 WO 2022059404A1 JP 2021029993 W JP2021029993 W JP 2021029993W WO 2022059404 A1 WO2022059404 A1 WO 2022059404A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
estimation
image
learning model
hand towels
Prior art date
Application number
PCT/JP2021/029993
Other languages
English (en)
French (fr)
Inventor
康行 堺
拓 渡辺
Original Assignee
Ｆｓｘ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｆｓｘ株式会社 filed Critical Ｆｓｘ株式会社
Priority to JP2021560852A priority Critical patent/JP7004375B1/ja
Priority to CN202180006691.4A priority patent/CN114746866B/zh
Priority to US17/755,088 priority patent/US11854250B2/en
Publication of WO2022059404A1 publication Critical patent/WO2022059404A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00—Counting of objects distributed at random, e.g. on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to a mobile terminal for estimating the number of used hand towels in a collection box and a hand towel management system.
  • Hand towels rented out to restaurants, etc. are collected in a state where they are randomly placed in a collection box after being used at the restaurant.
  • a delivery person who delivers and collects hand towels needs to check the number of used hand towels in the collection box in order to know the number of hand towels to be delivered next time and the number of lost hand towels.
  • the work of counting hand towels one by one is inefficient, and there is no time to count them. Therefore, the delivery person visually recognizes the amount of hand towels in the collection box and estimates the number of hand towels from the rule of thumb.
  • the individual counting system described in Patent Document 1 targets moving individuals such as fish, and is not a system for counting non-moving objects such as hand towels.
  • the size of the hand towel is fixed and it does not move, the density is not constant because it is stored unevenly in the collection box, and it is not possible to calculate the number of hand towels in the collection box based on the volume of the collection box. Can not.
  • the weight of the used hand towels is also different, and even if the same hand towels are used, the weights of the used hand towels are different from those of the used hand towels. It is also not possible to calculate the number of hand towels inside based on the weight of the collection box containing the hand towels.
  • An object of the present invention is to provide a mobile terminal and a hand towel management system capable of quickly estimating the number of used hand towels stored in a collection box.
  • the mobile terminal of the present invention includes a store that delivers hand towels, the type of hand towel used by the store, the number of hand towels delivered to the store, the number of hand towels collected from the store, and the stock of the hand towels in the store.
  • An information receiving unit that receives pre-collection store information including the number of sheets from the core system, a shooting unit that captures the used hand towels contained in the collection box from above, and the used hand towels housed in the collection box from above.
  • Acquires a learning model storage unit that stores a learning model trained by a neural network that uses the captured learning image as an input value and the number of used hand towels as an output value, and an estimation image captured by the photographing unit.
  • the mobile terminal of the present invention includes a modified number acquisition unit for acquiring a modified number of corrected images of the estimation result, and the information transmitting unit transmits the collected store information to which the modified number is added to the core system.
  • the learning model was deeply trained by the neural network using the learning image and the corrected estimation image obtained in the past as the input value of the estimation result.
  • the next deep learning model the number of used squeezers in the uncorrected estimation image which is the estimation image taken in the past and the estimation result is not corrected is estimated, and the learning image, the above. It is a secondary deep learning model obtained by deep learning by the neural network using the corrected estimation image and the uncorrected estimation image estimated using the primary learning model as input values.
  • the learning model storage unit of the mobile terminal of the present invention extracts the contours of the outer frame of the collection box and the outer edge of the used hand towel group housed in the collection box from the learning image, and extracts the above. It is characterized by storing the learning model in which a parameter for estimating the number of used hand towels is incorporated from the contour of the outer edge of the used hand towel group with respect to the outer frame of the collection box.
  • the live view image is displayed on the display unit, and the position of the outer frame of the collection box with respect to the photographing range is set to a predetermined position.
  • a display control unit that displays a guide frame for guiding so as to be, and a photography control unit that causes the imaging unit to capture the estimation image when the position of the outer frame of the collection box becomes a predetermined position. It is characterized by being prepared.
  • the display unit displays the live view image and the position of the outer frame of the collection box with respect to the imaging range is set to a predetermined position.
  • a determination unit that determines whether or not there is a predetermined interval, a counting unit that counts the number determined by the determination unit that the position of the outer frame of the collection box is at a predetermined position, and a counting unit that counts the number.
  • the photographing unit further includes a photographing control unit for photographing the estimation image, and the photographing control unit is preset by the determination unit not to be in the predetermined position. It is characterized in that the count by the counting unit is reset when the determination is made consecutively.
  • the learning model storage unit of the mobile terminal of the present invention stores the learning model trained using the learning image in which the image data outside the outer frame of the collection box is deleted, and the estimation unit stores the learning model. It is characterized in that the number of used squeezers is estimated by using the estimation image in which the image data outside the outer frame of the collection box is deleted.
  • the mobile terminal of the present invention further includes a density detection unit for detecting the density of the used hand towel in the collection box based on the estimation image, and the estimation unit is detected by the density detection unit. It is characterized in that the number of used hand towels is estimated using the density.
  • the mobile terminal of the present invention further includes a density input unit for inputting whether or not the density of the used hand towel in the collection box is larger than a predetermined density, and the estimation unit is input by the density input unit. It is characterized in that the number of used hand towels is estimated using the input result.
  • the portable terminal of the present invention further includes a calculation unit that performs a calculation regarding the number of used hand towels, the photographing unit captures a plurality of the estimation images, and the estimation unit captures a plurality of the estimation units.
  • the number of used hand towels in the image is estimated respectively, the calculation unit calculates the average value of a plurality of estimation results estimated by the estimation unit, and the display unit calculates the calculation by the calculation unit. It is characterized in that the average value is displayed as the estimation result.
  • the mobile terminal of the present invention further includes an abnormal value detecting unit for detecting an abnormal value of the plurality of estimation results, and the arithmetic unit is the plurality of units excluding the abnormal value detected by the abnormal value detecting unit. It is characterized in that the average value of the estimation result of is calculated.
  • the portable terminal of the present invention further includes a type acquisition unit for acquiring the type of hand towel and a correction coefficient storage unit for storing a correction coefficient based on the weight of the hand towel set for each type of hand towel.
  • the estimation unit acquires the correction coefficient of the type of hand towel acquired by the type acquisition unit from the correction coefficient storage unit, and corrects the number of used hand towels using the acquired correction coefficient. It is a feature.
  • the portable terminal of the present invention is characterized by including a color correction unit that corrects the color of the collection box appearing in the estimation image to the color or an approximate color of the collection box appearing in the learning image.
  • the mobile terminal of the present invention includes a store that delivers hand towels, the type of hand towel used by the store, the number of hand towels delivered to the store, the number of hand towels collected from the store, and the hand towel in the store.
  • An information receiving unit that receives pre-collection store information including the number of stocks in stock from the core system, a shooting unit that photographs the first used hand towel contained in the collection box from above, and the collection that is different from the first used hand towel.
  • a learning model storage unit that stores a training model trained by a neural network that uses a training image of the second used hand towel housed in a box as an input value and the number of the first used hand towel as an output value.
  • the estimation is based on the estimation unit that estimates the number of the first used hand towels by the neural network, the display unit that displays the estimation result estimated by the estimation unit, and the pre-collection store information received by the information receiving unit. It is characterized by including an information transmission unit that transmits the store information after collection to which the result is added to the core system.
  • the squeeze management system of the present invention is a squeeze management system including the mobile terminal and the core system of the present invention, and the core system stores in an information storage unit for storing pre-collection store information and the information storage unit.
  • the transmission unit that transmits the pre-collection store information to the mobile terminal, the reception unit that receives the post-collection store information transmitted from the mobile terminal, and the post-collection store information received from the reception unit are described above. It is characterized by including an update unit for updating the store information before collection by storing the information in the information storage unit.
  • the present invention it is possible to provide a mobile terminal and a hand towel management system capable of quickly estimating the number of used hand towels stored in a collection box.
  • FIG. 1 is a block diagram for explaining a configuration of a hand towel management system according to a first embodiment.
  • the hand towel management system 1 according to the first embodiment is a system for managing the number of hand towels rented to a store such as a restaurant, and as shown in FIG. 1, a plurality of smartphones 2a and 2b. , 2c, cloud server 4, and core system 6.
  • the smartphones 2a to 2c are mobile terminals (mobile information terminals) owned by a delivery person who delivers hand towels to the store and collects used hand towels from the store, and may be tablets or the like.
  • the cloud server 4 is a server that collects and stores data uploaded from smartphones 2a to 2c, and may be another server such as a physical server.
  • the core system 6 is a personal computer or the like arranged inside the company.
  • the smartphones 2a to 2c, the cloud server 4, and the core system 6 are connected to each other by the network 8. Note that FIG. 1 illustrates a case where three smartphones 2a to 2c are connected to the network 8, but in reality, a large number of smartphones having the same configuration as the smartphones 2a to 2c are connected to the network 8. It is connected.
  • the case where the cloud server 4 and the core system 6 are connected by the network 8 is taken as an example, but a system in which the server and the core system are integrally formed, that is, a server function is provided.
  • a core system may be used.
  • FIG. 2 is a block diagram showing the system configuration of the smartphone 2a.
  • the smartphone 2a includes a hand towel number estimation system that estimates the number of used hand towels stored in a collection box when a delivery person collects used hand towels using artificial intelligence (AI), as shown in FIG.
  • a control unit 10 that collectively controls each unit of the smartphone 2a is provided.
  • An input unit 12, a photographing unit 14, a data storage unit 16, a display unit 18, and a communication unit 20 are connected to the control unit 10.
  • the input unit 12 is a touch panel, a button, or the like, and when collecting used hand towels, inputs information on the store using the hand towel (store code), the type of hand towel (whether it is hand towel A or hand towel B), and the like (FIG. 3). Further, the input unit 12 inputs whether or not the density of used hand towels in the collection box is higher than the predetermined density (whether it is “gyugyu” or “fluffy”) (see FIG. 3).
  • the photographing unit 14 is a camera or the like, and when collecting used hand towels according to the instruction of the control unit 10 (shooting control unit 31 described later), the used hand towels housed in the collection box are photographed from above. do. In this embodiment, the photographing unit 14 captures three estimation images (images of used hand towels housed in a collection box taken from above).
  • the data storage unit 16 temporarily stores information necessary for arithmetic processing by the control unit 10, such as an image taken by the photographing unit 14. Further, the data storage unit 16 includes a first learning model 22 and a second learning model 23 used for estimation by the estimation unit 32, which will be described later, a store information 24 regarding a store where a delivery person collects used hand towels, and a store information 24. A correction coefficient 26 or the like defined for each type of hand towel is stored.
  • the first learning model 22 and the second learning model 23 are models trained in advance to estimate the number of used hand towels stored in the collection box using AI, and are preliminarily incorporated into the hand towel number estimation system. It has been.
  • the first learning model 22 and the second learning model 23 are based on a neural network in which a learning image of a used hand towel housed in a collection box taken from above is used as an input value and the number of used hand towels is used as an output value. It is a trained model. Further, in the first learning model 22 and the second learning model 23, a group of used hand towels housed in the outer frame of the collection box and the collection box from the training image (all used hand towels housed in the collection box). A parameter for extracting the outline of the outer edge of the hand towel and estimating the number of used hand towels from the outline of the outer edge of the used hand towel group for the outer frame of the extracted collection box is also incorporated.
  • the neural network is divided into an input layer, an intermediate layer, and an output layer.
  • the input layer data in which the learning image is separated into pixels is input, and the outline of the image is extracted from the input data.
  • image analysis is performed on the contour of the image extracted in the input layer, and in the output layer, the estimated number of used hand towels is output based on the result of the image analysis in the intermediate layer.
  • the neural network mathematically calculates the number of hand towels (for example, 5 to 320) from the brightness value of 0 to 1 ⁇ the number of pixels for each pixel of the image.
  • Convolutional layers, pooling layers, dropout layers, fully connected layers and flattening layers are used in combination as intermediate layers, and each layer stores hundreds to tens of millions of parameters. Then, by tuning using a large number of learning images, the weighting of the above parameters of each layer is changed so that the most accurate result (correct number of hand towels) can be obtained from the input layer to the output layer via the intermediate layer. ing.
  • the second learning model 23 is the used hand towels housed in the collection box.
  • This is a learning model when the density is less than or equal to a predetermined density (in the case of "fluffy"). That is, even if the hand towels are the same and the volume of the hand towels in the collection box is the same in the case of "gyugyu” and the case of "fluffy", the number of hand towels is naturally different, but in this embodiment. Is improving the accuracy of hand towel estimation by dividing the learning model into the first learning model 22 and the second learning model 23 according to the density.
  • hand towel A and hand towel B having the same size and different thickness that is, hand towel A and hand towel B having different weights and volumes depending on the thickness are managed.
  • the first learning model 22 and the second learning model 23 are models trained on hand towel A.
  • the store information 24 includes a delivery course (delivery area) code, a store code, a type of hand towel (wet towel A or B), the average number of hand towels collected most recently, the number of hand towels delivered last time, and the number of hand towels collected last time. , And pre-collection store information such as the number of hand towels in stock at the store is included.
  • the correction coefficient 26 is a coefficient defined for each type of hand towel (in this embodiment, hand towels A and B). Since the first learning model 22 and the second learning model 23 are models trained on the hand towel A, the correction coefficient of the hand towel A (standard hand towel) is 1, or the hand towel A is the standard hand towel. It is stored in part 16. Further, the correction coefficient of the hand towel B is set from the weight and the number of hand towels B with respect to the reference hand towel, and is stored in the data storage unit 16 (correction coefficient 26).
  • the display unit 18 is a liquid crystal display panel or the like, and displays a screen for inputting store and hand towel information according to instructions from the control unit 10 (display control unit 34 described later) and an estimation result by the estimation unit 32 (described later).
  • Display the screen etc. 3 to 5 are diagrams showing a display example in the display unit 18 of the smartphone 2a according to this embodiment. 3 to 5 will be described later.
  • the communication unit 20 communicates with the cloud server 4 and the core system 6 via the network 8. Specifically, the communication unit 20 describes the store information included in the delivery course input via the input unit 12, that is, the store that delivers the hand towel, the type of hand towel used by the store, according to the instruction of the control unit 10. Average number of hand towels collected most recently, number of hand towels delivered last time, number of hand towels collected last time, number of hand towels in stock at stores, store information before collection such as hand towel delivery stop flag to stores, network from core system 6 Receive via 8. Further, the communication unit 20 adds the collection date, the estimated number of used hand towels, the shooting position information, and the like to the pre-collection store information received from the core system 6 according to the instruction of the control unit 10, and adds the post-collection store information. It is transmitted to the cloud server 4 via the network 8.
  • the communication unit 20 describes the store information included in the delivery course input via the input unit 12, that is, the store that delivers the hand towel, the type of hand towel used by the store, according to the instruction of the control unit 10. Average
  • control unit 10 includes an acquisition unit 30, a shooting control unit 31, an estimation unit 32, a detection unit 33, a calculation unit 35, and a display control unit 34.
  • the acquisition unit 30 acquires various information such as a store code input via the input unit 12 and an image captured by the photographing unit 14. Further, the acquisition unit 30 acquires information necessary for arithmetic processing by the control unit 10 from the data storage unit 16.
  • the photographing control unit 31 outputs an estimation image to the photographing unit 14. Let me shoot.
  • the estimation unit 32 uses the first learning model 22 or the second learning model 23 stored in the data storage unit 16 to capture a used hand towel stored in the collection box by the photographing unit 14 from above. From, estimate the number of used hand towels. At this time, the estimation unit 32 inputs the first learning model 22 by the input unit 12 when the density of the used hand towel input by the input unit 12 is larger than the predetermined density (when “Gyugyu” is selected). When the density of used hand towels is less than or equal to a predetermined density (when "fluffy” is selected), the number of used hand towels is estimated using the second learning model 23.
  • the pixel data of the estimation image is input to the input layer of the neural network, the contour of the image is extracted from the pixel data, the contour of the image extracted by the input layer is analyzed in the intermediate layer, and the output layer is performed.
  • the estimated number of used squeezers estimated from the result of image analysis in the intermediate layer is output.
  • the outline of the outer frame of the collection box and the outer edge of the used hand towel group housed in the collection box is also extracted from the estimation image, and used from the outline of the outer edge of the used hand towel group with respect to the extracted outer frame of the collection box.
  • the estimated number of used hand towels is output using the parameters for estimating the number of hand towels.
  • the estimated number of used hand towels estimated using the first learning model 22 or the second learning model 23 is the estimated number of hand towels A. Therefore, in the case of the hand towel B, the estimation unit 32 acquires the correction coefficient of the hand towel B from the correction coefficient 26 of the data storage unit 16 via the acquisition unit 30, and the hand towel B is obtained from the estimated number of hand towels A. The estimated number of used hand towels is corrected using the correction coefficient of hand towel B so that the result is the estimated number of hand towels.
  • the detection unit 33 detects an abnormal value of a plurality (three) estimation results by the estimation unit 32. Specifically, when the difference between the first estimation result and the other estimation results exceeds the threshold value, the detection unit 33 determines the first estimation result as an abnormal value, and the second and third estimation results. The same judgment is made for the estimation result of.
  • the calculation unit 35 performs a calculation regarding the number of used hand towels. In particular, the calculation unit 35 calculates the average value of a plurality (three) estimation results estimated by the estimation unit 32. Further, when an abnormal value is detected in the detection unit 33, the calculation unit 35 calculates the average value of a plurality (two) estimation results excluding the abnormal value detected by the detection unit 33.
  • the display control unit 34 has a screen 18a for inputting the store and hand towel information shown in FIG. 3, a collection registration screen 18b showing the estimation result by the estimation unit 32 shown in FIG. 4, and a delivery registration showing the appropriate number of hand towels delivered in FIG.
  • the screen 18c and the like are displayed on the display unit 18. Further, the display control unit 34 displays the live view image on the display unit 18 when the imaging unit 14 captures the estimation image, and guides the guide frames 19a and 19b to guide the position of the outer frame of the collection box with respect to the imaging range. Is displayed (see FIG. 3). Since the configurations of the smartphones 2b and 2c are the same as the configurations of the smartphone 2a, the description thereof will be omitted.
  • the cloud server 4 includes a control unit 36 that collectively controls each unit of the cloud server 4.
  • a data storage unit 38 and a communication unit 40 are connected to the control unit 36.
  • the data storage unit 38 stores the collected store information transmitted from the smartphones 2a to 2c after the used hand towels have been collected.
  • the communication unit 40 communicates with the smartphones 2a to 2c and the core system 6 via the network 8. Specifically, the communication unit 40 adds the collection date, the estimated number of used hand towels, the shooting position information, and the like to the store information before collection according to the instruction of the control unit 36, and adds the store information after collection to each smartphone. Received from 2a to 2c via the network 8. Further, the communication unit 40 transmits the collected store information received from the smartphones 2a to 2c to the core system 6 via the network 8 according to the instruction of the control unit 36.
  • the core system 6 includes a control unit 42 that collectively manages overall information regarding hand towels and, as shown in FIG. 1, controls each unit of the core system 6.
  • An input unit 44, a display unit 46, a data storage unit 48, and a communication unit 50 are connected to the control unit 42.
  • the input unit 44 is a keyboard, a mouse, or the like, and outputs the input result input by the user of the core system 6 to the control unit 42.
  • the display unit 46 is a liquid crystal panel or the like, and displays delivery course information, store information, hand towel information, and the like.
  • the data storage unit 48 contains delivery course information 52, which is information about a delivery course (delivery area) including a delivery course code, store information 54, which is information about a store that delivers hand towels, and information about types of hand towels.
  • a certain hand towel information 56, a login authentication key of another user (delivery person), an expiration date of the authentication key, a user name, a password, a affiliation company name, a hand towel delivery number unit (package unit) of the affiliation company, and the like are stored.
  • the communication unit 50 communicates with each smartphone 2a to 2c and the cloud server 4 via the network 8. Specifically, the communication unit 50 transmits the store information including the delivery course code as the store information before collection to the smartphones 2a to 2c via the network 8 according to the instruction of the control unit 42. Further, the communication unit 50 network the collected store information from the cloud server 4 by adding the collection date, the estimated number of used hand towels, the shooting position information, and the like to the store information before collection according to the instruction of the control unit 42. Receive via 8. The control unit 42 updates the store information 54 by storing the collected store information received from the cloud server 4 in the data storage unit 48.
  • FIG. 6 is a flowchart for explaining a process executed by the hand towel management system 1 in order to estimate the number of used hand towels stored in the collection box.
  • the delivery staff confirms the delivery course to be used for hand towel collection on the day, inputs the delivery course code via the input unit 12 (enters the "course" shown in FIG. 3), and then controls the smartphone 2a possessed by the delivery staff.
  • the unit 10 acquires the store information (store information before collection) included in the delivery course from the core system 6 (step S10).
  • the control unit 10 acquires the delivery course code input by the delivery staff via the input unit 12, and transmits the acquired delivery course code to the core system 6 via the communication unit 20 and the network 8. And request to provide the store information included in the delivery course.
  • the control unit 42 of the core system 6 receives the delivery course code transmitted from the smartphone 2a and the request for providing the store information included in the delivery course via the network 8 and the communication unit 50.
  • control unit 42 reads the store information of the store code associated with the delivery course code from the data storage unit 48, and transmits the store information to the smartphone 2a via the communication unit 50 and the network 8.
  • the control unit 10 of the smartphone 2a receives the store information included in the delivery course via the network 8 and the communication unit 20, and stores the store information in the data storage unit 16 as the store information 24.
  • the display of the control unit 10 is displayed.
  • the control unit 34 causes the display unit 18 to display the screen 18a shown in FIG. 3 (step S11).
  • the display control unit 34 also causes the display unit 18 to display the guide frames 19a and 19b that guide the position of the outer frame of the collection box with respect to the shooting range of the live view image 58 to a predetermined position.
  • the control unit 10 confirms the store code, the hand towel type, and the hand towel density input via the input unit 12.
  • control unit 10 confirms whether or not the outer frame of the collection box is accommodated between the guide frame 19a and the guide frame 19b displayed in the live view image 58.
  • all the store codes may be read from the store information 24 in advance so that the store code can be selected in the pull-down format.
  • the type of hand towel associated with the store code (type of hand towel contracted by the store) is read from the store information 24, and the type of hand towel is automatically selected. May be good.
  • FIG. 3 the case where "Oshibori A" and "Gyugyu" are selected is illustrated.
  • the delivery staff taps the "No delivery” button shown in Fig. 3.
  • the control unit 10 confirms that the "no delivery” button has been tapped via the input unit 12, the control unit 10 transfers the post-collection store information to the data storage unit 16 by adding the delivered flag to the pre-collection store information related to the store. It is stored, the processing of steps S12 to S16 is skipped, and the processing of step S17 described later is executed.
  • the delivery staff taps the "No collection” button shown in Fig. 3.
  • the control unit 10 confirms that the "no collection” button has been tapped via the input unit 12, the control unit 10 sets the number of used hand towels collected related to the store to 0 and skips the processes of steps S12 to S16. Then, the display control unit 34 of the control unit 10 displays the delivery registration screen 18c shown in FIG. 5 on the display unit 18 without displaying the collection registration screen 18b shown in FIG. 4, and the control unit 10 displays the delivery registration screen 18c shown in FIG. The process of S17 is executed.
  • the shooting control unit 31 of the control unit 10 After confirming that the outer frame of the collection box is contained between the guide frame 19a and the guide frame 19b displayed in the live view image 58, the shooting control unit 31 of the control unit 10 (step S12).
  • the photographing unit 14 is made to take an image for estimation (step S13).
  • the photographing unit 14 captures an estimation image
  • the control unit 10 acquires the estimation image captured by the photographing unit 14, and stores the estimation image in the data storage unit 16.
  • the shooting control unit 31 determines that the image for estimation by the delivery person is displayed.
  • the shooting unit 14 may be configured to shoot the estimation image.
  • step S14 determines whether or not the estimation image taken in step S13 is the third estimation image (step S14), and is not the third image (first or second image). In the case of (step S14: No), the operations of steps S12 and S13 are repeated. On the other hand, in the case of the third sheet (step S14: Yes), the estimation unit 32 of the control unit 10 estimates the number of used hand towels (step S15).
  • the estimation unit 32 confirms whether the selection of the hand towel density entered in the input form is "gyugyu” or "fluffy", and in the case of "gyugyu”, learning from the data storage unit 16 when the density is larger than the predetermined density.
  • the first learning model 22 which is a model is read.
  • the second learning model 23 which is a learning model in the case of a predetermined density or less, is read from the data storage unit 16.
  • the estimation unit 32 confirms whether the selection of the hand towel type entered in the input form is "wet towel A” or "wet towel B", and in the case of "wet towel B", the hand towel is squeezed from the correction coefficient 26 of the data storage unit 16. Read the correction coefficient of B.
  • the estimation unit 32 estimates the number of used hand towels using the first learning model 22.
  • the hand towel density is "Gyugyu” and the hand towel type is "Hand towel B”
  • the number of used hand towels is estimated using the first learning model 22, and then the estimation result is multiplied by the correction coefficient of hand towel B.
  • the number of used hand towels is estimated using the second learning model 23.
  • the hand towel density is "fluffy” and the hand towel type is "wet towel B”
  • the number of used hand towels is estimated using the second learning model 23, and then the estimation result is multiplied by the correction coefficient of hand towel B. Correct the number of hand towels.
  • the estimation unit 32 extracts the outline of the image, the outline of the outer edge of the used hand towel group for the outer frame of the collection box, and the like by using the estimation image as an input value, and uses it for the outer frame of the collection box.
  • the estimated number of used hand towels is output as an output value using hundreds to tens of millions of parameters including a parameter for estimating the number of used hand towels from the contour of the outer edge of the hand towel group.
  • the estimation unit 32 performs the above estimation for each of the three images captured by the photographing unit 14, and transmits the three estimation results to the detection unit 33.
  • the detection unit 33 detects whether or not there is an abnormal value among the three estimation results, and transmits information on the abnormal value such as the presence or absence of the abnormal value to the calculation unit 35.
  • the calculation unit 35 calculates the average value of the three estimation results when the detection unit 33 does not detect the abnormal value, and when the detection unit 33 detects the abnormal value, the calculation unit 35 detects the abnormality by the detection unit 33. Calculate the average value of the two estimation results excluding the value.
  • the control unit 10 When the control unit 10 finishes estimating the number of used hand towels, the control unit 10 displays the collection registration screen 18b shown in FIG. 4 on the display unit 18 via the display control unit 34 (step S16).
  • the estimation results illustrated in FIG. 4 are 73 images, and the image 60 shown in FIG. 4 is an image taken by the photographing unit 14 and used for estimating the number of hand towels by the estimation unit 32.
  • the display control unit 34 of the control unit 10 confirms the input of the OK button from the delivery staff via the input unit 12
  • the delivery registration screen 18c shown in FIG. 5 is displayed on the display unit 18.
  • the appropriate number of delivered sheets illustrated in FIG. 5 is 80, which is the result of selecting the number closest to the estimated number of 73 from the options of 0, 40, 80, and 120.
  • the appropriate number of delivered sheets can be corrected by the delivery staff via the input unit 12. For example, if the store is closed and the next delivery is not required, 0 bottles will be delivered. It is also possible to select with. It is also possible to enter a number other than 0, 40, 80, and 120 in the other fields. Then, the control unit 10 transmits the collected store information including the estimation result and the number of delivered sheets to the cloud server 4 via the communication unit 20 (step S17).
  • step S17 instead of performing each store one by one, the collected store information is stored in the data storage unit 16, and the collected store information of several stores is collectively transmitted to the cloud server 4. May be good.
  • the core system 6 receives the store information after collection from the cloud server 4 as necessary, and updates the store information 54 of the data storage unit 48.
  • the hand towel management system 1 it is possible to quickly estimate the number of collected used hand towels without counting the number of hand towels one by one.
  • the number of used hand towels contracted, the number of additional hand towels due to seasonal fluctuations, the number of hand towels collected, the number of lost hand towels, the number of hand towels in stock at the store, etc. can be appropriately determined.
  • the smartphones 2a to 2c according to the first embodiment even a delivery person who has little experience in collecting hand towels can easily estimate the number of used hand towels. In addition, even when various delivery staff collect hand towels, the number of used hand towels can be estimated evenly.
  • the acquisition unit 30 acquires the estimation image captured by the imaging unit 14 has been described as an example, but the image or communication unit stored in the data storage unit 16 has been described.
  • the image received via 20 may be acquired as an estimation image.
  • the photographing unit 14 captures three (plural) estimation images has been described as an example, but the photographing unit 14 captures one estimation image. You may do it. In this case, it is not necessary to include the detection unit 33 and the calculation unit 35, and the estimation result by the estimation unit 32 is output.
  • the detection unit 33 detects that one estimation result is an abnormal value when the difference between one estimation result and the other two estimation results exceeds the threshold value. ing. That is, the abnormal value is detected by comparing with the estimation results of the other two, but the abnormal value is detected by comparing with the estimation results of other days (or other months and other same days of the week) in the same store. You may do it. Specifically, if the number of hand towels estimated by the detection unit 33 is 150 on the same day even though the number of hand towels on the other day is 40 to 60, the estimation result on the day is an abnormal value.
  • the control unit 10 instructs the imaging control unit 31 to perform re-imaging.
  • the collected store information is transmitted to the core system 6 via the cloud server 4 in the smartphones 2a to 2c, but the collected store information is transmitted to the data storage unit 16 of the smartphones 2a to 2c.
  • the configuration may be such that the data is temporarily stored in the cloud server 4, and after the delivery course is completed, the data is collectively transmitted to the cloud server 4 or the core system 6.
  • the delivery person inputs whether or not the density of the hand towel contained in the collection box is higher than the predetermined density via the input unit 12, but based on the estimation image. It may be configured to detect the density of hand towels. Specifically, the hand towel portion and the non-wet towel portion (the gap between the hand towel and the hand towel) are extracted from the image analysis of the estimation image, and the hand towel density is detected based on the extraction result.
  • the first learning model 22 is used when the density of the hand towels contained in the collection box is larger than the predetermined density
  • the second learning model 23 is used when the density is less than the predetermined density.
  • a learning model density discrimination learning model
  • the density discrimination learning model is used to discriminate whether or not the density is higher than the predetermined density
  • the first learning model 22 or the second learning model 23 is selected from the discrimination result.
  • the pixel data of the learning image or the estimation image input to the input layer may be limited to the pixel data of the image only inside the outer frame of the collection box set by the setting unit 31. That is, the learning image and the estimation image in which the pixel data of the image outside the outer frame of the collection box is deleted (the learning image in which the pixel data of the image determined to be outside the outer frame of the collection box is 0) and the estimation image. An image for estimation) may be used. As a result, it is possible to prevent a decrease in accuracy due to the reflection of an object outside the box, which is originally unrelated to the number of sheets information, and it is possible to improve the efficiency of estimating the number of hand towels.
  • the hand towel management system according to the second embodiment of the present invention will be described with reference to the drawings.
  • the same reference numerals are used for the same configurations as those of the hand towel management system 1 shown in FIGS. 1 and 2, and the illustration and description thereof will be omitted.
  • the display control unit 34 replaces the screen 18a shown in FIG. 3 with the screen 18d for inputting the store and hand towel information shown in FIG. 7, and the collection registration screen 18b shown with FIG.
  • the collection registration screen 18e or the like showing the estimation result by the estimation unit 32 shown in FIG. 8 is displayed on the display unit 18.
  • the estimated number of sheets by the estimation unit 32 can be arbitrarily modified.
  • the screen 18e shown in FIG. 8 is displayed on the display unit 18, and when the delivery person presses (touches) the number correction button via the input unit 12, a screen for inputting the number of hand towels is displayed on the display unit 18. Is displayed.
  • the delivery staff inputs the number of hand towels via the input unit 12
  • the number of hand towels entered by the delivery staff is added to the store information after collection as a corrected number result (correct label)
  • the cloud server 4 is added via the communication unit 20. Will be sent to.
  • the standard learning model 61 (see FIG. 9), the first type learning model, and the first type learning model, and It is equipped with a second type learning model.
  • the standard learning model 61 is a learning model for estimating the number of standard color (for example, white) and standard size hand towels A housed in the collection box of standard color (for example, orange).
  • the estimated number of used hand towels is calculated by using the correction coefficient of hand towel B so that the result of the estimated number of hand towels A using the standard learning model 61 becomes the result of the estimated number of hand towels B.
  • the size of the hand towel B is different from the size of the hand towel A, but the difference in size between the hand towels A and B is smaller than the size difference between the hand towels A and C and the hand towels A and D.
  • the estimated number of hand towels B can be estimated using the standard learning model 61 for hand towel A and the correction coefficient, but the estimated number of hand towels C and D is significantly different from the size of hand towel A, so standard learning. It is difficult to estimate by the model 61 and the correction coefficient.
  • the first type learning model is a learning model for estimating the number of standard color hand towels C stored in the standard color collection box. Wet towels C have a larger (or smaller) size than hand towels A and B and are in less demand than hand towels A.
  • the second type learning model is a learning model for estimating the number of standard color hand towels D housed in the standard color collection box. The hand towel D is different in size from the hand towel C, has a size larger (or smaller) than the hand towels A and B, and is in less demand than the hand towels A and C.
  • the standard learning model 61, the first type learning model, and the second type learning model are models trained in advance using AI, like the first learning model 22 and the like according to the first embodiment.
  • the standard learning model 61 is a learning model created by primary processing and secondary processing.
  • the corrected estimation image data 64A which is the estimation image data 64 taken so far and has been corrected by the input unit 12, is added to the learning image data 62 for deep learning.
  • the first-order deep learning model 66 is created.
  • the learning image data 62, the corrected estimation image data 64A, and the uncorrected estimation image data 64B which is the estimation image data 64 taken so far and whose number is not corrected are primary.
  • a secondary deep learning model that is, a standard learning model 61, is created by deep learning using the labeled data 64C whose number is estimated (labeled) by the deep learning model 66.
  • the uncorrected estimation image data 64B whose number is not corrected should not be used as it is as the learning image data. This is because it is not possible to determine whether or not the information on the number of hand towels included in the uncorrected estimation image data 64B is the actual number or the approximate number (correct label).
  • the labeled data 64C The number of squeezed estimates is closer to the correct answer label than that of the uncorrected estimation image data 64B.
  • the standard learning model (secondary deep learning model) 61 based on the training image data 62, the corrected estimation image data 64A, and the labeled data 64C is based on the training image data 62 and the corrected estimation image data 64A. Since there is more image data to be trained than in the primary deep learning model 66, the degree of perfection is high and the accuracy of estimating the number of squeezed sheets is also improved. Further, since the image data 64 for estimation contains noise peculiar to the hand towel collection place, for example, reflection of the ground on which the collection box is placed, reflection of shade, etc., as compared with the image data 62 for learning. , Parameters that cannot be acquired from the learning image data 62 can be acquired from the estimation image data 64.
  • the first type learning model (second type learning model) has the same parameters as those of the standard learning model 61 in the shallow layer (input layer and intermediate layer close to the input layer) where the feature extraction (image analysis) of the image is performed. Learning created by learning using the learning image data of Oshibori C (Oshibori D) in the deep layer (intermediate layer close to the output layer and output layer) where the number of squeezed pieces is estimated by diversion (fine tuning). It is a model.
  • the demand for hand towel C (wet towel D) is less than that for hand towel A, and the learning image data and estimation image data for hand towel C (wet towel D) are less than those for hand towel A.
  • FIG. 10 is a graph showing the correct answer label of the first type learning model and the average squared error of the estimated number of sheets, and (A) is the first type learning learned from scratch using the learning image data of the squeeze B.
  • the model, (B), is a learning model created by fine-tuning the parameters of the trained model that is open to the public in the shallow layer and training using the learning image data of the squeeze C in the deep layer, (C). ) Is a learning model created by fine-tuning the parameters of the standard learning model 61 in the shallow layer and training using the learning image data of the squeeze C in the deep layer. As shown in FIG.
  • (C) clearly has a smaller error between the correct label and the estimated number of sheets than (A) and (B), and it is better to fine-tune the parameters of the model with a large number of data in the shallow layer. It is possible to create a highly accurate learning model.
  • the smartphone 2a is provided with a color correction unit.
  • the color correction unit detects the color of the estimation image captured by the photographing unit 14, that is, the number of bytes of the RGB color composed of 3 bytes (RGB), and before estimating the number of used hand towels.
  • the color of the estimation image captured by the photographing unit 14 is corrected.
  • the color of the collection box in the estimation image taken by the photographing unit 14 is used in the learning image used when creating the standard learning model 61, the first type learning model, and the second type learning model. Correct the color of the collection box (standard color) or a similar color.
  • the number of bytes of the color of the collection box in the estimation image taken by the photographing unit 14 is set to X. Y.
  • the color (standard color) of the collection box in the learning image is R1. G1.
  • R. G. B X. Y.
  • the colors of the hand towels A to D are white (255, 255, 255), the colors of the hand towels A to D do not change even if the color is converted.
  • FIG. 11 is a flowchart for explaining a process executed by the hand towel management system in order to estimate the number of used hand towels stored in the collection box.
  • the control unit 10 acquires the store information before collection (step S20). Since the process of step S20 is the same as the process of step S10 shown in FIG. 6, the description thereof will be omitted.
  • the display control unit 34 of the control unit 10 causes the display unit 18 to display the screen 18d shown in FIG. 7 (step S21).
  • the control unit 10 confirms the store code input via the input unit 12, and reads the type of hand towel (type of hand towel contracted by the store) associated with the store code from the store information 24. .. Note that FIG. 7 illustrates a case where the hand towel A contracted by the store with the store code “XXXX” is selected.
  • control unit 10 selects a learning model to be used for estimating the number of used hand towels based on the type of hand towel, and reads the selected learning model (step S22). That is, the standard learning model 61 when the hand towel A is selected, the standard learning model 61 and the correction coefficient when the hand towel B is selected, and the first type learning model when the hand towel C is selected. , When hand towel D is selected, the second type learning model is read.
  • FIG. 12 is a flowchart for explaining a process executed by the photographing control unit 31 in order to cause the photographing unit 14 to capture an estimation image.
  • the photographing control unit 31 sets the value of N1 (N1 is an integer of 0 or more) counted by the first counter (not shown) to 0, and N2 (N2 is an integer of 0 or more) counted by the second counter (not shown).
  • the value is set to 0 (step S40).
  • the first counter is a counter that counts the number of times that the position of the outer frame of the collection box is determined to be in a predetermined position
  • the second counter is a counter in which the position of the outer frame of the collection box is not in the predetermined position. It is a counter that counts the number of times it is determined.
  • the photographing control unit 31 determines whether or not the position of the outer frame of the collection box is at a predetermined position, specifically, whether or not the outer frame of the collection box fits in the outer frame of the live view image 58. Determination (step S41).
  • the imaging control unit 31 performs the determination in step S41 at predetermined intervals, and in this embodiment, the determination is performed 30 times per second, but even if the determination is performed less than 30 times per second or more than 30 times per second. good.
  • step S41 When it is determined in step S41 that the outer frame of the collection box fits in the outer frame of the live view image 58 (step S42: Yes), the shooting control unit 31 sets the value of N2 to 0 (step S43). , Add 1 to the value of N1 (step S44).
  • step S45 the imaging control unit 31 determines whether or not the value of N1 has reached 10 (step S45), and if it is determined that the value of N1 is 10 (step S45: Yes), the imaging unit 14 To take an image for estimation (step S46). That is, the shooting unit 14 automatically shoots without receiving a shooting instruction from the delivery staff via the input unit 12.
  • step S45: No the photographing control unit 31 returns to the process of step S41 and repeats the processes after step S41.
  • step S41 when it is determined in step S41 that the outer frame of the collection box does not fit in the outer frame of the live view image 58 (step S42: No), the shooting control unit 31 adds 1 to the value of N2 (step). S47). Next, the photographing control unit 31 determines whether or not the value of N2 is 5 (step S48), and if it is determined that the value of N2 is 5 (step S48: Yes), the process of step S30. Return to, and the process after step S30 is repeated. On the other hand, when it is determined that the value of N2 is not 5 (step S48: No), the photographing control unit 31 returns to the process of step S41 and repeats the processes after step S41.
  • the shooting control unit 31 outputs an estimation image to the shooting unit 14. Let me shoot.
  • the photographing unit 14 shoots when the value of N1 is 10, but the photographing unit 14 may shoot when the value of N1 is less than 10 or exceeds 10.
  • the first counter is reset when the value of N2 is 5, but the first counter may be reset when the value of N2 is less than 5 or exceeds 5. ..
  • the control unit 10 corrects the color of the collection box reflected in the estimation image taken in step S23 (step S24). Specifically, the control unit 10 detects the number of bytes of the RGB color composed of 3 bytes (RGB) of the estimation image in the color correction unit, and R.I. G. Color conversion is performed by exchanging the byte array of B. Then, the control unit 10 uses the colors (standard colors) of the collection box in the learning image used when creating the standard learning model 61, the first type learning model, and the second type learning model from the six types of color conversion. ) Is selected.
  • the estimation unit 32 of the control unit 10 estimates the number of used hand towels (step S25).
  • the estimation unit 32 estimates the number of used hand towels using the standard learning model 61.
  • the type of hand towel is "wet towel B”
  • the number of used hand towels is estimated using the first learning model 22, and then the estimated result is multiplied by the correction coefficient of hand towel B to correct the number of used hand towels. ..
  • the type of hand towel is "wet towel C”
  • the number of used hand towels is estimated using the first type learning model.
  • the type of hand towel is "wet towel D”
  • the specific processing is the same as the processing in step S15 shown in FIG. 6, the description thereof will be omitted.
  • step S26 the control unit 10 determines whether or not the number correction button has been pressed by the delivery person via the input unit 12 (step S27).
  • step S27: Yes the control unit 10 causes the display unit 18 to display a number correction input screen (not shown) via the display control unit 34 (step S27: Yes).
  • step S28 the control unit 10 acquires the corrected number of used hand towels (corrected number of estimation results) input by the delivery staff via the input unit 12, and collects the input number as the corrected number result (correct answer label).
  • step S27 when the OK button is pressed without pressing the number correction button in step S27 (step S27: No), the display control unit 34 of the control unit 10 displays the delivery registration screen 18c shown in FIG. It is displayed on the unit 18 and proceeds to the process of step S29. Since the specific processing is the same as the processing in step S17 shown in FIG. 6, the description thereof will be omitted.
  • the number of collected used hand towels can be quickly estimated without counting the number of used hand towels one by one.
  • the number of hand towels contracted, the number of additional hand towels due to seasonal fluctuations, the number of hand towels collected, the number of lost hand towels, the number of hand towels in stock at the store, etc. can be appropriately determined. Can be managed.
  • the smartphones 2a to 2c according to the second embodiment even a delivery person who has little experience in collecting hand towels can easily estimate the number of used hand towels. In addition, even when various delivery staff collect hand towels, the number of used hand towels can be estimated evenly.
  • the standard learning model 61 which is a secondary deep learning model
  • the number of used hand towels can be estimated accurately.
  • it is determined a predetermined number of times that the outer frame of the collection box fits in the outer frame of the live view image 58 and then automatically taken an unrelated image or an image in which the outer frame of the collection box does not fit is taken. This can be avoided, and as a result, it is possible to suppress a decrease in the accuracy of the estimated number of used hand towels.
  • the parameters of the standard learning model 61 having a large number of data are finely tuned, so that the parameters are highly accurate. You can create a learning model.
  • the color correction unit since the color correction unit is provided, the color of the learning image collection box used for creating the learning model and the estimation taken by the photographing unit 14 When the color of the collection box of the image for estimation is different, the color of the collection box of the estimation image can be easily approximated to the color of the collection box of the learning image. Therefore, it is possible to suppress a decrease in the accuracy of the estimated number of used hand towels due to the different colors of the collection boxes.
  • the smartphones 2a to 2c according to the second embodiment are provided with a color correction unit, and perform a process of approximating the color of the collection box for the estimation image to the color of the collection box for the learning image.
  • the learning model created for each of the six types in which the RGB byte arrangements are exchanged may be mounted without providing the color correction unit. In this case, the color of the collection box of the estimation image is detected, and the optimum learning model is selected based on the detection result.
  • delivery course information 54 ... store information, 56 ... squeezing information, 61 ... standard learning model, 62 ... learning image data, 64 ... estimation image data, 64A ... corrected image data, 64B ... Image data for uncorrected estimation, 66 ... Primary deep learning model.

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

【課題】　回収ボックスに収容された使用済おしぼりの枚数を迅速に推計することができる携帯端末を提供する。 【解決手段】　おしぼりを配送する店舗、店舗が利用するおしぼりの種類、店舗へ納品したおしぼりの枚数、店舗から回収したおしぼりの枚数及び店舗におけるおしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する情報受信部と、回収ボックスに収容された使用済おしぼりを上方から撮影する撮影部と、回収ボックスに収容された使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、撮影部により撮影された推計用画像を取得する画像取得部と、学習モデル記憶部に記憶されている学習モデルを用いて、画像取得部により取得した推計用画像からニューラルネットワークにより使用済おしぼりの枚数を推計する推計部と、推計部により推計された推計結果を表示する表示部と、情報受信部により受信した回収前店舗情報に、推計結果を追加した回収後店舗情報を基幹システムに送信する情報送信部とを備える。

Description

携帯端末及びおしぼり管理システム
　本発明は、回収ボックス内の使用済おしぼりの枚数を推計する携帯端末及びおしぼり管理システムに関するものである。
　飲食店などに貸し出されるおしぼりは、飲食店で使用された後、回収ボックス内に無造作に入れられた状態で回収される。おしぼりの配送及び回収を行う配送員は、次回おしぼりを納品する枚数や紛失したおしぼりの枚数を把握するために、回収ボックス内にある使用済おしぼりの枚数を確認する必要がある。しかしながら、おしぼりを一枚一枚数える作業は非効率的であり、もとより数える時間はない。したがって、配送員は回収ボックス内にあるおしぼりの量を視認して、経験則からおしぼりの枚数を推測する。
　しかしながら、おしぼり回収経験の浅い配送員にとっておしぼりの枚数を推測することは困難である。また、様々な配送員がおしぼりの枚数を推測するため推測枚数にムラが生じる。よって、おしぼりを計数するシステムを構築することが望まれている。例えば、個体を計数するシステムとして特許文献１記載の個体計数システムが知られている。
特開２０１９－１５３０７７号公報
　特許文献１記載の個体計数システムは、魚などの移動する個体を計数対象としており、おしぼりのように動かない物体を計数するシステムでない。おしぼりはサイズが決まっており、動くこともないが、回収ボックス内に不均一に収容されるため、密度が一定でなく、回収ボックス内のおしぼりの枚数を回収ボックスの体積に基づき算出することはできない。また、使用済おしぼりに含まれる水分量はそれぞれ異なることから使用済おしぼりの重さも各々異なり、且つ同一のおしぼりであっても使用前のおしぼりと使用済おしぼりとでは重さが異なるため、回収ボックス内のおしぼりの枚数をおしぼりが収容された回収ボックスの重さに基づき算出することもできない。
　本発明の目的は、回収ボックス内に収容された使用済おしぼりの枚数を迅速に推計することができる携帯端末及びおしぼり管理システムを提供することである。
　本発明の携帯端末は、おしぼりを配送する店舗、前記店舗が利用する前記おしぼりの種類、前記店舗へ納品した前記おしぼりの枚数、前記店舗から回収した前記おしぼりの枚数及び前記店舗における前記おしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する情報受信部と、回収ボックスに収容された使用済おしぼりを上方から撮影する撮影部と、前記回収ボックスに収容された前記使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、前記撮影部により撮影された推計用画像を取得する画像取得部と、前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記画像取得部により取得した前記推計用画像から前記ニューラルネットワークにより前記使用済おしぼりの枚数を推計する推計部と、前記推計部により推計された推計結果を表示する表示部と、前記情報受信部により受信した前記回収前店舗情報に、前記推計結果を追加した回収後店舗情報を前記基幹システムに送信する情報送信部とを備えることを特徴とする。
　また、本発明の携帯端末は、前記推計結果を修正した修正枚数を取得する修正枚数取得部を備え、前記情報送信部は、前記修正枚数を追加した前記回収後店舗情報を前記基幹システムに送信し、前記学習モデルは、前記学習用画像及び過去に撮影された前記推計用画像であって前記推計結果を修正した修正済推計用画像を前記入力値とする前記ニューラルネットワークにより深層学習させた１次深層学習モデルを用いて、過去に撮影された前記推計用画像であって前記推計結果を修正していない無修正推計用画像における前記使用済おしぼりの枚数を推計し、前記学習用画像、前記修正済推計用画像及び前記１次学習モデルを用いて推計された前記無修正推計用画像を前記入力値とする前記ニューラルネットワークにより深層学習させた２次深層学習モデルであることを特徴とする。
　また、本発明の携帯端末の前記学習モデル記憶部は、前記学習用画像から前記回収ボックスの外枠及び前記回収ボックスに収容された使用済おしぼり群の外縁の輪郭を抽出し、抽出された前記回収ボックスの外枠に対する前記使用済おしぼり群の外縁の輪郭から前記使用済おしぼりの枚数を推計するためのパラメーターが組み込まれた前記学習モデルを記憶することを特徴とする。
　また、本発明の携帯端末は、前記撮影部により前記推計用画像を撮影する際、前記表示部にライブビュー画像を表示させると共に、撮影範囲に対する前記回収ボックスの外枠の位置が所定の位置となるようにガイドするガイド枠を表示させる表示制御部と、前記回収ボックスの外枠の位置が所定の位置となった際、前記撮影部に前記推計用画像を撮影させる撮影制御部と、を更に備えることを特徴とする。
　また、本発明の携帯端末は、前記撮影部により前記推計用画像を撮影する際、前記表示部にライブビュー画像を表示させると共に、撮影範囲に対する前記回収ボックスの外枠の位置が所定の位置にあるか否かを所定間隔毎に判定する判定部と、前記判定部により前記回収ボックスの外枠の位置が所定の位置にあると判定された数をカウントする計数部と、前記計数部によりカウントされた数が所定数に達した際、前記撮影部に前記推計用画像を撮影させる撮影制御部と、を更に備え、前記撮影制御部は、前記判定部により前記所定の位置にないと予め設定された回数連続で判定された際、前記計数部によるカウントをリセットすることを特徴とする。
　また、本発明の携帯端末の前記学習モデル記憶部は、前記回収ボックスの外枠より外側の画像データを削除した前記学習用画像を用いて学習させた前記学習モデルを記憶し、前記推計部は、前記回収ボックスの外枠より外側の画像データを削除した前記推計用画像を用いて前記使用済おしぼりの枚数を推計することを特徴とする。
　また、本発明の携帯端末は、前記推計用画像に基づいて前記回収ボックス内における前記使用済おしぼりの密度を検出する密度検出部を更に備え、前記推計部は、前記密度検出部により検出された前記密度を用いて前記使用済おしぼりの枚数を推計することを特徴とする。
　また、本発明の携帯端末は、前記回収ボックス内における前記使用済おしぼりの密度が所定密度より大きいか否かを入力する密度入力部を更に備え、前記推計部は、前記密度入力部により入力された入力結果を用いて前記使用済おしぼりの枚数を推計することを特徴とする。
　また、本発明の携帯端末は、前記使用済おしぼりの枚数に関する演算を行う演算部を更に備え、前記撮影部は、複数の前記推計用画像を撮影し、前記推計部は、複数の前記推計用画像内の前記使用済おしぼりの枚数をそれぞれ推計し、前記演算部は、前記推計部により推計された複数の推計結果の平均値を算出し、前記表示部は、前記演算部により算出された前記平均値を前記推計結果として表示することを特徴とする。
　また、本発明の携帯端末は、前記複数の推計結果の異常値を検出する異常値検出部を更に備え、前記演算部は、前記異常値検出部により検出された前記異常値を除いた前記複数の推計結果の前記平均値を算出することを特徴とする。
　また、本発明の携帯端末は、おしぼりの種類を取得する種類取得部と、前記おしぼりの種類毎に設定された前記おしぼりの重さに基づく補正係数を記憶する補正係数記憶部と、を更に備え、前記推計部は、前記種類取得部により取得した前記おしぼりの種類の前記補正係数を前記補正係数記憶部から取得し、取得した前記補正係数を用いて前記使用済おしぼりの枚数を補正することを特徴とする。
　また、本発明の携帯端末は、前記推計用画像に写る前記回収ボックスの色を、前記学習用画像に写る前記回収ボックスの色または近似色に補正する色補正部を備えることを特徴とする。
　また、本発明の携帯端末は、おしぼりを配送する店舗、前記店舗が利用する前記おしぼりの種類、前記店舗へ納品した前記おしぼりの枚数、前記店舗から回収した前記おしぼりの枚数及び前記店舗における前記おしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する情報受信部と、回収ボックスに収容された第１使用済おしぼりを上方から撮影する撮影部と、前記第１使用済おしぼりと異なる前記回収ボックスに収容された第２使用済おしぼりを上方から撮影した学習用画像を入力値とし前記第１使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、前記撮影部により撮影された推計用画像を取得する画像取得部と、前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記画像取得部により取得した前記推計用画像から前記ニューラルネットワークにより前記第１使用済おしぼりの枚数を推計する推計部と、前記推計部により推計された推計結果を表示する表示部と、前記情報受信部により受信した前記回収前店舗情報に、前記推計結果を追加した回収後店舗情報を前記基幹システムに送信する情報送信部と、を備えることを特徴とする。
　また、本発明のおしぼり管理システムは、本発明の携帯端末及び基幹システムを備えるおしぼり管理システムであって、前記基幹システムは、回収前店舗情報を記憶する情報記憶部と、前記情報記憶部に記憶されている前記回収前店舗情報を前記携帯端末に送信する送信部と、前記携帯端末から送信される回収後店舗情報を受信する受信部と、前記受信部より受信した前記回収後店舗情報を前記情報記憶部に記憶させることにより、前記回収前店舗情報を更新する更新部と、を備えることを特徴とする。
　本発明によれば、回収ボックス内に収容された使用済おしぼりの枚数を迅速に推計することができる携帯端末及びおしぼり管理システムを提供することができる。
第１の実施の形態に係るおしぼり管理システムの構成を示すブロック図である。 第１の実施の形態に係るスマートフォンのシステム構成を示すブロック図である。 第１の実施の形態に係るスマートフォンの表示部における表示例を示す図である。 第１の実施の形態に係るスマートフォンの表示部における表示例を示す図である。 第１の実施の形態に係るスマートフォンの表示部における表示例を示す図である。 第１の実施の形態に係るおしぼり管理システムが回収ボックスに収容された使用済おしぼりの枚数を推計するために実行する処理について説明するためのフローチャートである。 第２の実施の形態に係るスマートフォンの表示部における表示例を示す図である。 第２の実施の形態に係るスマートフォンの表示部における表示例を示す図である。 第２の実施の形態に係る標準学習モデルについて説明するための図である。 第２の実施の形態に係る第１種類学習モデルの正解ラベルと推計結果との平均二乗誤差を示すグラフである。 第２の実施の形態に係るおしぼり管理システムが回収ボックスに収容された使用済おしぼりの枚数を推計するために実行する処理について説明するためのフローチャートである。 第２の実施の形態に係る撮影制御部が推計用画像を撮影するために実行する処理について説明するためのフローチャートである。
　以下、図面を参照して本発明の第１の実施の形態に係るおしぼり管理システムについて説明する。図１は、第１の実施の形態に係るおしぼり管理システムの構成について説明するためのブロック図である。第１の実施の形態に係るおしぼり管理システム１は、飲食店等の店舗に貸し出される貸しおしぼりの枚数等を管理するためのシステムであって、図１に示すように、複数のスマートフォン２ａ，２ｂ，２ｃ、クラウドサーバ４及び基幹システム６を備えている。
　スマートフォン２ａ～２ｃは、店舗におしぼりを配送し且つ店舗から使用済おしぼりを回収する配送員が所持する携帯端末（携帯情報端末）であって、タブレット等でもよい。クラウドサーバ４は、スマートフォン２ａ～２ｃからアップロードされるデータを収集及び保管するサーバであって、物理サーバなど他のサーバでもよい。基幹システム６は、社屋内に配置されるパソコン等である。スマートフォン２ａ～２ｃ、クラウドサーバ４及び基幹システム６は、ネットワーク８により互いに接続されている。なお、図１においては、３台のスマートフォン２ａ～２ｃがネットワーク８に接続されている場合を例示しているが、実際にはスマートフォン２ａ～２ｃと同様の構成を有する多数のスマートフォンがネットワーク８に接続されている。また、この実施の形態においては、クラウドサーバ４及び基幹システム６がネットワーク８により接続される場合を例に挙げているが、サーバと基幹システムとが一体に形成されたシステム、即ちサーバ機能を備えた基幹システムを用いてもよい。
　図２は、スマートフォン２ａのシステム構成を示すブロック図である。スマートフォン２ａは、配送員が使用済おしぼりを回収する際に、回収ボックスに収容されている使用済おしぼりの枚数を、人口知能（ＡＩ）を用いて推計するおしぼり枚数推計システムを含み、図２に示すように、スマートフォン２ａの各部を統括的に制御する制御部１０を備えている。制御部１０には、入力部１２、撮影部１４、データ記憶部１６、表示部１８及び通信部２０が接続されている。
　入力部１２は、タッチパネル及びボタン等であって、使用済おしぼりを回収する際、おしぼりを使用した店舗の情報（店コード）及びおしぼりの種類（おしぼりＡかおしぼりＢか）等を入力する（図３参照）。また、入力部１２は、回収ボックス内における使用済おしぼりの密度が所定密度より大きいか否か（「ぎゅうぎゅう」か「ふわふわ」か）を入力する（図３参照）。撮影部１４は、カメラ等であって、制御部１０（後述する撮影制御部３１）の指示にしたがって、使用済おしぼりを回収する際、回収ボックス内に収容されている使用済おしぼりを上方から撮影する。この実施の形態では、撮影部１４は、３枚の推計用画像（回収ボックスに収容されている使用済おしぼりを上方から撮影した画像）を撮影する。
　データ記憶部１６には、撮影部１４により撮影された画像等、制御部１０による演算処理に必要な情報が一時的に記憶される。また、データ記憶部１６には、後述する推計部３２による推計の際に使用される第１学習モデル２２及び第２学習モデル２３、配送員が使用済おしぼりを回収する店舗に関する店舗情報２４、並びにおしぼりの種類毎に定められている補正係数２６等が記憶されている。
　第１学習モデル２２及び第２学習モデル２３は、ＡＩを用いて回収ボックスに収容されている使用済おしぼりの枚数を推計するために予め学習させたモデルであって、おしぼり枚数推計システムに予め組み込まれている。なお、第１学習モデル２２及び第２学習モデル２３は、回収ボックスに収容された使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させたモデルである。また、第１学習モデル２２及び第２学習モデル２３には、学習用画像から回収ボックスの外枠及び回収ボックスに収容された使用済おしぼり群（回収ボックスの収容されているすべての使用済おしぼり）の外縁の輪郭を抽出し、抽出された回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭から使用済おしぼりの枚数を推計するためのパラメーターも組み込まれている。
　ニューラルネットワークは入力層、中間層及び出力層に分けられ、入力層では、学習用画像を画素にまでばらばらにしたデータが入力され、入力されたデータから画像の輪郭が抽出される。次に中間層では、入力層にて抽出された画像の輪郭について画像解析が行われ、出力層では中間層にて画像解析された結果に基づいて使用済おしぼりの推計枚数結果が出力される。なお、ニューラルネットワークは、画像の画素毎の明度値０～１×画素数からおしぼりの枚数値（例えば５～３２０枚）を数学的に演算する。中間層には畳み込み層、プーリング層、ドロップアウト層、全結合層及び平坦化層が組み合わせて使用されており、各層には数百～数千万個のパラメーターが保存されている。そして、多数の学習用画像を用いてチューニングさせることにより、入力層から中間層を経て出力層にできるだけ正確な結果（正確なおしぼり枚数）を導き出せるように、各層の上記パラメーターの重みづけを変化させている。
　ここで、第１学習モデル２２は回収ボックスに収容された使用済おしぼりの密度が所定密度より大きい場合（「ぎゅうぎゅう」の場合）、第２学習モデル２３は回収ボックスに収容された使用済おしぼりの密度が所定密度以下の場合（「ふわふわ」の場合）における学習モデルである。即ち、「ぎゅうぎゅう」の場合と「ふわふわ」の場合とでは、おしぼりが同一であって回収ボックス内のおしぼりの体積が同一であっても、当然におしぼりの枚数は異なるが、この実施の形態においては、密度によって学習モデルを第１学習モデル２２及び第２学習モデル２３に分けることによりおしぼり枚数推計精度を向上させている。
　なお、この実施の形態に係るおしぼり管理システムにおいては、同一の大きさ及び異なる厚さを有するおしぼりＡ及びおしぼりＢ、即ち厚さの違いにより重さ及び体積が異なるおしぼりＡ及びおしぼりＢを管理しているものとし、第１学習モデル２２及び第２学習モデル２３は、おしぼりＡについて学習させたモデルとする。
　店舗情報２４には、配送コース（配送エリア）コード、店コード、おしぼりの種類（おしぼりＡまたはＢ）、直近任意回数のおしぼり回収実績平均枚数、前回納品したおしぼりの枚数、前回回収したおしぼりの枚数、及び店舗におけるおしぼり在庫枚数等の回収前店舗情報が含まれている。補正係数２６は、おしぼりの種類毎（この実施の形態においては、おしぼりＡ及びＢ）に定められている係数である。なお、第１学習モデル２２及び第２学習モデル２３がおしぼりＡについて学習させたモデルであるから、おしぼりＡ（基準のおしぼり）の補正係数が１、またはおしぼりＡが基準のおしぼりである旨データ記憶部１６に記憶されている。また、おしぼりＢの補正係数は、基準のおしぼりに対するおしぼりＢの重さと枚数から設定され、データ記憶部１６（補正係数２６）に記憶されている。
　表示部１８は、液晶表示パネル等であって、制御部１０（後述する表示制御部３４）の指示にしたがって店舗及びおしぼり情報を入力する画面及び推計部３２（後述する）による推計結果を表示する画面等を表示する。図３～図５は、この実施の形態に係るスマートフォン２ａの表示部１８における表示例を示す図である。図３～図５については、後述する。
　通信部２０は、ネットワーク８を介してクラウドサーバ４及び基幹システム６と通信する。具体的には、通信部２０は、制御部１０の指示にしたがって、入力部１２を介して入力された配送コースに含まれる店舗情報、即ちおしぼりを配送する店舗、店舗が利用するおしぼりの種類、直近任意回数のおしぼり回収実績平均数、前回納品したおしぼりの枚数、前回回収したおしぼりの枚数、店舗におけるおしぼり在庫枚数、及び店舗へのおしぼり納品停止フラグ等の回収前店舗情報、基幹システム６からネットワーク８を介して受信する。また、通信部２０は、制御部１０の指示にしたがって、基幹システム６から受信した回収前店舗情報に、回収日、使用済おしぼりの推計枚数及び撮影位置情報等を追加した回収後店舗情報を、クラウドサーバ４にネットワーク８を介して送信する。
　また、制御部１０は、取得部３０、撮影制御部３１、推計部３２、検出部３３、演算部３５及び表示制御部３４を備えている。取得部３０は、入力部１２を介して入力された店コード等の各種情報及び撮影部１４により撮影された画像を取得する。また、取得部３０は、制御部１０による演算処理に必要な情報をデータ記憶部１６から取得する。撮影制御部３１は、表示部１８に表示される外側のガイド枠１９ａ及び内側のガイド枠１９ｂ（図３参照）の間に回収ボックスの外枠が収まった際、撮影部１４に推計用画像を撮影させる。
　推計部３２は、データ記憶部１６に記憶されている第１学習モデル２２または第２学習モデル２３を用いて、撮影部１４により回収ボックスに収容された使用済おしぼりを上方から撮影した推計用画像から、使用済おしぼりの枚数を推計する。このとき、推計部３２は、入力部１２により入力された使用済おしぼりの密度が所定密度より大きい場合（「ぎゅうぎゅう」が選択されている場合）第１学習モデル２２を、入力部１２により入力された使用済おしぼりの密度が所定密度以下の場合（「ふわふわ」が選択されている場合）第２学習モデル２３を用いて、使用済おしぼりの枚数を推計する。即ち、ニューラルネットワークの入力層に推計用画像の画素データが入力され、画素データから画像の輪郭が抽出され、中間層において入力層にて抽出された画像の輪郭について画像解析が行われ、出力層において中間層にて画像解析された結果から推計された使用済おしぼりの推計枚数結果が出力される。このとき、推計用画像から回収ボックスの外枠及び回収ボックスに収容された使用済おしぼり群の外縁の輪郭も抽出され、抽出された回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭から使用済おしぼりの枚数を推計するためのパラメーターを用いて使用済おしぼりの推計枚数結果が出力される。
　なお、第１学習モデル２２または第２学習モデル２３を用いて推計される使用済おしぼりの推計枚数結果は、おしぼりＡの推計枚数結果である。したがって、推計部３２は、おしぼりＢの場合にあっては、取得部３０を介してデータ記憶部１６の補正係数２６からおしぼりＢの補正係数を取得し、おしぼりＡの推計枚数結果からおしぼりＢの推計枚数結果となるように、おしぼりＢの補正係数を用いて使用済おしぼりの推計枚数を補正する。
　検出部３３は、推計部３２による複数（３個）の推計結果の異常値を検出する。具体的には、検出部３３は、１個目の推計結果と他の推計結果との差が閾値を超えている場合、１個目の推計結果を異常値と判別し、２番目及び３番目の推計結果についても同様の判別を行う。演算部３５は、使用済おしぼりの枚数に関する演算を行う。特に、演算部３５は、推計部３２により推計された複数（３個）の推計結果の平均値を算出する。また、演算部３５は、検出部３３において異常値が検出された場合、検出部３３により検出された異常値を除いた複数（２個）の推計結果の平均値を算出する。
　表示制御部３４は、図３に示す店舗及びおしぼり情報を入力する画面１８ａ、図４に示す推計部３２による推計結果を示す回収登録画面１８ｂ及び図５に示すおしぼりの適正納品枚数を示す納品登録画面１８ｃ等を表示部１８に表示させる。また、表示制御部３４は、撮影部１４により推計用画像を撮影する際、表示部１８にライブビュー画像を表示させると共に、撮影範囲に対する回収ボックスの外枠の位置をガイドするガイド枠１９ａ，１９ｂを表示させる（図３参照）。なお、スマートフォン２ｂ及び２ｃの構成は、スマートフォン２ａの構成と同一のため、説明を省略する。
　次に、クラウドサーバ４の構成について説明する。クラウドサーバ４は、図１に示すように、クラウドサーバ４の各部を統括的に制御する制御部３６を備えている。制御部３６には、データ記憶部３８及び通信部４０が接続されている。
　データ記憶部３８には、使用済おしぼりの回収を終えた後に各スマートフォン２ａ～２ｃより送信される回収後店舗情報が記憶されている。通信部４０は、ネットワーク８を介して各スマートフォン２ａ～２ｃ及び基幹システム６と通信する。具体的には、通信部４０は、制御部３６の指示にしたがって、回収前の店舗情報に、回収日、使用済おしぼりの推計枚数及び撮影位置情報等を追加した回収後店舗情報を、各スマートフォン２ａ～２ｃからネットワーク８を介して受信する。また、通信部４０は、制御部３６の指示にしたがって、各スマートフォン２ａ～２ｃより受信した回収後店舗情報を、基幹システム６にネットワーク８を介して送信する。
　次に、基幹システム６の構成について説明する。基幹システム６は、貸しおしぼりに関する全体的な情報を統括して管理し、図１に示すように、基幹システム６の各部を統括的に制御する制御部４２を備えている。制御部４２には、入力部４４、表示部４６、データ記憶部４８及び通信部５０が接続されている。
　入力部４４は、キーボードやマウス等であって、基幹システム６のユーザーにより入力された入力結果を制御部４２に出力する。表示部４６は、液晶パネル等であって、配送コース情報、店舗情報及びおしぼり情報等の表示を行う。データ記憶部４８には、配送コースコードを含む配送コース（配送エリア）に関する情報である配送コース情報５２、貸しおしぼりを納品している店舗の情報である店舗情報５４、おしぼりの種類等に関する情報であるおしぼり情報５６、並びにその他ユーザー（配送員）のログイン認証キー、認証キーの有効期限、ユーザー名、パスワード、所属会社名及び所属会社のおしぼり納品枚数単位（パッケージ単位）等が記憶されている。
　通信部５０は、ネットワーク８を介して各スマートフォン２ａ～２ｃ及びクラウドサーバ４と通信する。具体的には、通信部５０は、制御部４２の指示にしたがって、配送コースコードが含まれる店舗情報を回収前店舗情報として、各スマートフォン２ａ～２ｃにネットワーク８を介して送信する。また、通信部５０は、制御部４２の指示にしたがって、回収前の店舗情報に、回収日、使用済おしぼりの推計枚数及び撮影位置情報等を追加した回収後店舗情報を、クラウドサーバ４からネットワーク８を介して受信する。制御部４２は、クラウドサーバ４から受信した回収後店舗情報をデータ記憶部４８に記憶させることにより、店舗情報５４を更新する。
　次に、図面を参照して、第１の実施の形態に係るおしぼり管理システム１を用いて回収ボックスに収容された使用済おしぼりの枚数を推計するおしぼり枚数推計方法について説明する。図６は、回収ボックスに収容された使用済おしぼりの枚数を推計するためにおしぼり管理システム１が実行する処理について説明するためのフローチャートである。
　まず、配送員が当日おしぼり回収で回る配送コースを確認し、入力部１２を介して配送コースコードを入力（図３に示す「コース」を入力）した後、配送員が所持するスマートフォン２ａの制御部１０は、配送コースに含まれる店舗情報（回収前店舗情報）を、基幹システム６から取得する（ステップＳ１０）。具体的には、制御部１０は、入力部１２を介して配送員より入力された配送コースコードを取得し、通信部２０及びネットワーク８を介して、取得した配送コースコードを基幹システム６に送信し、配送コースに含まれる店舗情報を提供するよう要求する。基幹システム６の制御部４２は、ネットワーク８及び通信部５０を介して、スマートフォン２ａから送信された配送コースコード及び配送コースに含まれる店舗情報の提供要求を受信する。そして、制御部４２は、配送コースコードに紐付けされた店コードの店舗情報を、データ記憶部４８から読み込み、通信部５０及びネットワーク８を介して、スマートフォン２ａに送信する。スマートフォン２ａの制御部１０は、ネットワーク８及び通信部２０を介して、配送コースに含まれる店舗情報を受信し、データ記憶部１６に店舗情報２４として記憶させる。
　次に、配送員が最初の店舗に到着し使用済おしぼりを回収する際、スマートフォン２ａが配送員から入力部１２を操作することによりおしぼり枚数の推計開始の指示を受けると、制御部１０の表示制御部３４は、表示部１８に図３に示す画面１８ａを表示させる（ステップＳ１１）。この際、表示制御部３４は、ライブビュー画像５８の撮影範囲に対する回収ボックスの外枠の位置が所定の位置となるようにガイドするガイド枠１９ａ，１９ｂも表示部１８に表示させる。そして、制御部１０は、入力部１２を介して入力された店コード、おしぼり種類及びおしぼり密度を確認する。更に、制御部１０は、ライブビュー画像５８内に表示されているガイド枠１９ａとガイド枠１９ｂとの間に回収ボックスの外枠が収まっているか否かを確認する。このとき、予め店舗情報２４からすべての店コードを読み込み、店コードをプルダウン形式で選択できるようにしてもよい。また、店コードが入力されると、店舗情報２４から店コードに紐付けされているおしぼりの種類（店舗が契約しているおしぼりの種類）を読み込み、おしぼりの種類を自動で選択するようにしてもよい。なお、図３においては、「おしぼりＡ」及び「ぎゅうぎゅう」が選択されている場合を例示している。
　なお、配送コースに含まれているが、当日おしぼりの配送を要しない（おしぼりの回収も納品もなし）店舗については、配送員が図３に示す「配送なし」ボタンをタップする。制御部１０は、入力部１２を介して「配送なし」ボタンがタップされたことを確認すると、該店舗に係る回収前店舗情報に配送済フラグを追加した回収後店舗情報をデータ記憶部１６に記憶させ、ステップＳ１２～Ｓ１６の処理をスキップして後述するステップＳ１７の処理を実行する。
　また、配送コースに含まれているが、当日おしぼりの回収を要しない（おしぼりの納品のみ有り）店舗については、配送員が図３に示す「回収なし」ボタンをタップする。制御部１０は、入力部１２を介して「回収なし」ボタンがタップされたことを確認すると、該店舗に係る使用済おしぼり回収枚数を０とし、ステップＳ１２～Ｓ１６の処理をスキップする。そして、制御部１０の表示制御部３４は、図４に示す回収登録画面１８ｂを表示させることなく、図５に示す納品登録画面１８ｃを表示部１８に表示させ、制御部１０は、後述するステップＳ１７の処理を実行する。
　制御部１０の撮影制御部３１は、ライブビュー画像５８内に表示されているガイド枠１９ａとガイド枠１９ｂとの間に回収ボックスの外枠が収まっていることを確認した後（ステップＳ１２）、撮影部１４に推計用画像を撮影させる（ステップＳ１３）。撮影部１４は推計用画像を撮影し、制御部１０は撮影部１４により撮影された推計用画像を取得し、データ記憶部１６に推計用画像を記憶させる。なお、ライブビュー画像５８内に表示されているガイド枠１９ａとガイド枠１９ｂとの間に回収ボックスの外枠が収まっていることを確認した後、撮影制御部３１が配送員による推計用画像の撮影指示を許可し、配送員から入力部１２を介して撮影指示を受け取ると、撮影部１４に推計用画像を撮影させる構成にしてもよい。
　次に、制御部１０は、ステップＳ１３において撮影された推計用画像が３枚目の推計用画像であるか否かを判別し（ステップＳ１４）、３枚目でない（１枚目または２枚目である）場合には（ステップＳ１４：Ｎｏ）、ステップＳ１２及びＳ１３の動作を繰り返す。一方、３枚目である場合には（ステップＳ１４：Ｙｅｓ）、制御部１０の推計部３２は、使用済おしぼりの枚数を推計する（ステップＳ１５）。
　まず、推計部３２は、入力フォームに入力されたおしぼり密度の選択が「ぎゅうぎゅう」か「ふわふわ」かを確認し、「ぎゅうぎゅう」の場合には、データ記憶部１６から所定密度より大きい場合の学習モデルである第１学習モデル２２を読み込む。一方、「ふわふわ」の場合には、データ記憶部１６から所定密度以下の場合の学習モデルである第２学習モデル２３を読み込む。更に、推計部３２は、入力フォームに入力されたおしぼり種類の選択が「おしぼりＡ」か「おしぼりＢ」かを確認し、「おしぼりＢ」の場合にはデータ記憶部１６の補正係数２６からおしぼりＢの補正係数を読み込む。
　そして、推計部３２は、おしぼり密度が「ぎゅうぎゅう」且つおしぼり種類が「おしぼりＡ」の場合には、第１学習モデル２２を用いて使用済おしぼりの枚数を推計する。おしぼり密度が「ぎゅうぎゅう」且つおしぼり種類が「おしぼりＢ」の場合には、第１学習モデル２２を用いて使用済おしぼりの枚数を推計後、推計結果におしぼりＢの補正係数を掛け合わせることにより使用済おしぼりの枚数を補正する。おしぼり密度が「ふわふわ」且つおしぼり種類が「おしぼりＡ」の場合には、第２学習モデル２３を用いて使用済おしぼりの枚数を推計する。おしぼり密度が「ふわふわ」且つおしぼり種類が「おしぼりＢ」の場合には、第２学習モデル２３を用いて使用済おしぼりの枚数を推計後、推計結果におしぼりＢの補正係数を掛け合わせることにより使用済おしぼりの枚数を補正する。
　具体的には、推計部３２は、推計用画像を入力値としてニューラルネットワークにより画像の輪郭、回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭等を抽出し、回収ボックスの外枠に対する使用済おしぼり群の外縁の輪郭から使用済おしぼりの枚数を推計するためのパラメーターを含む数百～数千万個のパラメーターを用いて出力値として使用済おしぼりの推定枚数結果を出力する。
　推計部３２は、撮影部１４により撮影された３枚の画像それぞれに対して上述の推計を行い、検出部３３に３個の推計結果を送信する。検出部３３は、３個の推計結果の中に異常値があるか否かを検出し、演算部３５に異常値の有無等の異常値に関する情報を送信する。演算部３５は、検出部３３により異常値が検出されなかった場合、３個の推計結果の平均値を算出し、検出部３３により異常値が検出された場合、検出部３３により検出された異常値を除いた２個の推計結果の平均値を算出する。
　制御部１０は、使用済おしぼりの枚数の推計を終えると、表示制御部３４を介して、図４に示す回収登録画面１８ｂを表示部１８に表示させる（ステップＳ１６）。図４に例示する推計結果は７３枚であり、図４に示す画像６０は撮影部１４により撮影され且つ推計部３２によるおしぼり枚数の推計に用いられた画像である。そして、制御部１０の表示制御部３４は、配送員から入力部１２を介してＯＫボタンの入力を確認すると、図５に示す納品登録画面１８ｃを表示部１８に表示させる。図５に例示する適正納品枚数は８０本であり、これは０本・４０本・８０本・１２０本の選択肢の中から推定枚数７３枚に最も近い枚数が選択された結果である。適正納品枚数については、配送員により入力部１２を介して訂正可能である。例えば、店舗が休業日であるなど次回の納品を必要としない場合には０本、店舗が時節柄等の理由により通常より多い（少ない）納品を希望する場合には１２０本（４０本）をマニュアルで選択することも可能である。また、その他の欄に０本・４０本・８０本・１２０本以外の枚数を入力することも可能である。そして制御部１０は、通信部２０を介して、推定結果及び納品枚数等を追加した回収後店舗情報をクラウドサーバ４に送信する（ステップＳ１７）。
　図６のフローチャートに示す処理を、配送コースに含まれるすべての店舗に対して行う。なお、ステップＳ１７の処理は、一店一店行う代わりに、回収後店舗情報をデータ記憶部１６に記憶させておき、数店舗の回収後店舗情報をまとめてクラウドサーバ４に送信するようにしてもよい。基幹システム６は、必要に応じてクラウドサーバ４から回収後店舗情報を受信し、データ記憶部４８の店舗情報５４を更新する。
　第１の実施の形態に係るおしぼり管理システム１によれば、回収された使用済おしぼりの枚数を一枚一枚数えることなく、迅速に推計することができる。そして、使用済おしぼりの枚数を店舗ごとに管理することにより、おしぼりの契約枚数、季節変動に伴う追加枚数、おしぼりの回収枚数、紛失したおしぼりの枚数、店舗に在庫されている枚数等を適切に管理することができる。また、第１の実施の形態に係るスマートフォン２ａ～２ｃによれば、おしぼり回収経験の浅い配送員であっても使用済おしぼりの枚数を容易に推計することができる。また、様々な配送員がおしぼりを回収する場合であっても使用済おしぼりの枚数をムラなく推計することができる。
　なお、上述の実施の形態においては、取得部３０が撮影部１４により撮影された推計用画像を取得する場合を例に挙げて説明したが、データ記憶部１６に記憶されている画像または通信部２０を介して受信した画像を推計用画像として取得してもよい。
　また、上述の実施の形態においては、撮影部１４が３枚（複数）の推計用画像を撮影する場合を例に挙げて説明したが、撮影部１４が１枚の推計用画像を撮影する構成にしてもよい。この場合には、検出部３３及び演算部３５を備える必要はなく、推計部３２による推計結果を出力する。
　また、上述の実施の形態においては、検出部３３が１個の推計結果と他２個の推計結果との差が閾値を超えている場合に１個の推計結果が異常値であると検出している。即ち、他２個の推計結果との比較から異常値を検出しているが、同一店舗における他日（若しくは他の月・他の同じ曜日）の推計結果との比較から異常値を検出する構成にしてもよい。具体的には、検出部３３は、同一店舗にて他日のおしぼり推計枚数が４０～６０枚であるにも拘わらず、当日の推計結果が１５０枚である場合、当日の推計結果が異常値であると検出し、制御部１０は、撮影制御部３１に再撮影するよう指示する。
　また、上述の実施の形態においては、スマートフォン２ａ～２ｃにおいて回収後店舗情報をクラウドサーバ４を介して基幹システム６に送信しているが、回収後店舗情報をスマートフォン２ａ～２ｃのデータ記憶部１６に一旦保存し、配送コースを回り終えた後、クラウドサーバ４または基幹システム６に一括送信する構成にしてもよい。
　また、上述の実施の形態においては、回収ボックスに収容されているおしぼりの密度が所定密度より大きいか否かを配送員が入力部１２を介して入力しているが、推計用画像に基づいておしぼりの密度を検出する構成にしてもよい。具体的には、推計用画像の画像解析からおしぼりの部分とおしぼりでない部分（おしぼりとおしぼりとの間の隙間）とを抽出し、抽出結果に基づいておしぼりの密度を検出する。
　また、上述の実施の形態においては、回収ボックスに収容されているおしぼりの密度が所定密度より大きい場合には第１学習モデル２２、所定密度以下の場合には第２学習モデル２３を用いておしぼりの枚数を推計しているが、所定密度より大きいか否かを判別するための学習モデル（密度判別学習モデル）を搭載してもよい。この場合には、密度判別学習モデルを用いて所定密度より大きいか否かを判別し、判別結果から第１学習モデル２２または第２学習モデル２３を選択する。
　また、上述の実施の形態においてニューラルネットワークを用いて第１学習モデル２２または第２学習モデル２３を作成する際、及び第１学習モデル２２または第２学習モデル２３を用いて使用済おしぼりの枚数を推計する際、入力層に入力される学習用画像または推計用画像の画素データを、設定部３１により設定された回収ボックスの外枠より内側のみの画像の画素データに限定してもよい。即ち、回収ボックスの外枠より外側の画像の画素データを削除した学習用画像及び推計用画像（回収ボックスの外枠より外側であると判別された画像の画素データを０とした学習用画像及び推計用画像）を用いてもよい。これにより枚数情報とは本来無関係の箱外部の物体の写り込みによる精度低下を防止でき、おしぼり枚数の推計に係る効率化を図ることができる。
　次に、図面を参照して本発明の第２の実施の形態に係るおしぼり管理システムについて説明する。なお、この第２の実施の形態に係るおしぼり管理システムについては、図１及び図２に示すおしぼり管理システム１の構成と同一の構成には同一の符号を用い、その図示及び説明を省略する。
　第２の実施の形態に係る表示制御部３４は、図３に示す画面１８ａに代えて、図７に示す店舗及びおしぼり情報を入力する画面１８ｄ、図４に示す回収登録画面１８ｂに代えて、図８に示す推計部３２による推計結果を示す回収登録画面１８ｅ等を表示部１８に表示させる。また、第２の実施の形態に係るおしぼり管理システムにおいては、推計部３２による推計枚数を任意に修正することができる。具体的には、表示部１８に図８に示す画面１８ｅが表示され、配送員が入力部１２を介して枚数修正ボタンを押下（タッチ）すると、表示部１８におしぼりの枚数を入力する画面が表示される。配送員が入力部１２を介しておしぼりの枚数を入力すると、配送員が入力したおしぼりの枚数が修正枚数結果（正解ラベル）として回収後店舗情報に追加され、通信部２０を介してクラウドサーバ４に送信される。
　また、第２の実施の形態に係るスマートフォン２ａは、図２に示す第１学習モデル２２及び第２学習モデル２３に代えて、標準学習モデル６１（図９参照）、第１種類学習モデル、及び第２種類学習モデルを備えている。
　標準学習モデル６１は、標準色（例えばオレンジ色）の回収ボックスに収容される標準色（例えば白色）及び標準サイズのおしぼりＡの枚数を推計するための学習モデルである。なお、おしぼりＢの場合にあっては、標準学習モデル６１を用いたおしぼりＡの推計枚数結果からおしぼりＢの推計枚数結果となるように、おしぼりＢの補正係数を用いて使用済おしぼりの推計枚数を補正する。おしぼりＢのサイズはおしぼりＡのサイズと異なるが、おしぼりＡ及びＢのサイズの差は、おしぼりＡ及びＣやおしぼりＡ及びＤのサイズ差と比較して小さい。したがって、おしぼりＢの推計枚数は、おしぼりＡのための標準学習モデル６１及び補正係数を用いて推計可能であるが、おしぼりＣ及びＤの推計枚数は、おしぼりＡのサイズと大きく異なるため、標準学習モデル６１及び補正係数による推計が困難である。
　第１種類学習モデルは、標準色の回収ボックスに収容される標準色のおしぼりＣの枚数を推計するための学習モデルである。おしぼりＣは、おしぼりＡ及びＢより大きい（または小さい）サイズを有し、おしぼりＡより需要が少ない。第２種類学習モデルは、標準色の回収ボックスに収容される標準色のおしぼりＤの枚数を推計するための学習モデルである。おしぼりＤは、おしぼりＣと異なるサイズであって、おしぼりＡ及びＢより大きい（または小さい）サイズを有し、おしぼりＡ及びＣより需要が少ない。
　標準学習モデル６１、第１種類学習モデル、及び第２種類学習モデルは、第１の実施の形態に係る第１学習モデル２２等と同様に、ＡＩを用いて予め学習させたモデルである。標準学習モデル６１は、図９に示すように、１次処理及び２次処理され作成された学習モデルである。１次処理においては、学習用画像データ６２に、これまでに撮影された推計用画像データ６４であって入力部１２において枚数修正された修正済推計用画像データ６４Ａを追加して深層学習させた１次深層学習モデル６６を作成する。
　２次処理においては、学習用画像データ６２、修正済推計用画像データ６４Ａ、及びこれまでに撮影された推計用画像データ６４であって枚数修正されなかった無修正推計用画像データ６４Ｂを１次深層学習モデル６６により枚数推計（ラベリング）させたラベリング済データ６４Ｃを用いて深層学習させた２次深層学習モデル、即ち標準学習モデル６１を作成する。
　一般的に学習させる画像データが多いほど高精度な学習モデルを作成することができるが、枚数修正されなかった無修正推計用画像データ６４Ｂをそのまま学習用画像データとして用いるべきでない。無修正推計用画像データ６４Ｂに含まれるおしぼり推計枚数の情報が実際の枚数または近似枚数（正解ラベル）であるか否か判別できないからである。しかしながら、初期学習モデル（学習用画像データ６２のみを用いて学習させた学習モデル）より精度が上がった１次深層学習モデル６６により無修正推計用画像データ６４Ｂをラベリングするため、ラベリング済データ６４Ｃのおしぼり推計枚数は、無修正推計用画像データ６４Ｂのそれと比較して正解ラベルに近い。そして、学習用画像データ６２、修正済推計用画像データ６４Ａ及びラベリング済データ６４Ｃに基づく標準学習モデル（２次深層学習モデル）６１は、学習用画像データ６２及び修正済推計用画像データ６４Ａに基づく１次深層学習モデル６６より、学習させる画像データが多いため、完成度が高く、おしぼりの枚数推計精度も向上する。また、推計用画像データ６４は、学習用画像データ６２と比較して、おしぼり回収場所特有のノイズ、例えば回収ボックスが置かれている地面の映り込み、日影の映り込みなどを含んでいるため、学習用画像データ６２から取得することができないパラメーターを推計用画像データ６４から取得することができる。
　第１種類学習モデル（第２種類学習モデル）は、画像の特徴抽出（画像解析）が行われる浅い層（入力層及び入力層に近い中間層）において標準学習モデル６１のパラメーターと同一のパラメーターを転用（ファインチューニング）し、おしぼり枚数の推計が行われる深い層（出力層に近い中間層及び出力層）においておしぼりＣ（おしぼりＤ）の学習用画像データを用いて学習させることにより作成された学習モデルである。おしぼりＣ（おしぼりＤ）はおしぼりＡと比較して需要が少なく、おしぼりＣ（おしぼりＤ）の学習用画像データ及び推計用画像データはおしぼりＡのそれより少ない。したがって、おしぼりＣ（おしぼりＤ）の学習用画像データ及び推計用画像データを用いてモデルを作成した場合、学習させる画像データが少ないため画像の特徴抽出を正確に行うことができず、高精度な学習モデルを作成することができない。しかしながら、第１種類学習モデル（第２種類学習モデル）は、データ数が多い標準学習モデル６１のパラメーターを転用（ファインチューニング）するため、学習させるデータの少ないおしぼりＣ（おしぼりＤ）についても高精度なモデルを作成することができる。
　図１０は、第１種類学習モデルの正解ラベル及び推計枚数の平均二乗誤差を示すグラフであって、（Ａ）は、おしぼりＢの学習用画像データを用いて一から学習させた第１種類学習モデル、（Ｂ）は、浅い層において一般公開されている学習済モデルのパラメーターをファインチューニングし、深い層においておしぼりＣの学習用画像データを用いて学習させることにより作成された学習モデル、（Ｃ）は、浅い層において標準学習モデル６１のパラメーターをファインチューニングし、深い層においておしぼりＣの学習用画像データを用いて学習させることにより作成された学習モデルである。図１０に示すように、（Ｃ）は（Ａ）及び（Ｂ）と比較して明らかに正解ラベルと推計枚数との誤差が少なく、浅い層においてデータ数の多いモデルのパラメーターをファインチューニングしたほうが高精度な学習モデルを作成することができる。
　また、第２の実施の形態に係るスマートフォン２ａは、色補正部を備えている。色補正部は、撮影部１４により撮影された推計用画像の色、即ち３バイト（Ｒ．Ｇ．Ｂ）で構成されるＲＧＢカラーのバイト数を検出し、使用済おしぼりの枚数を推計する前に、撮影部１４により撮影された推計用画像の色を補正する。具体的には、撮影部１４により撮影された推計用画像内の回収ボックスの色を、標準学習モデル６１、第１種類学習モデル及び第２種類学習モデルを作成する際に用いた学習用画像内の回収ボックスの色（標準色）若しくは近似する色に補正する。撮影部１４により撮影された推計用画像内の回収ボックスの色のバイト数をＸ．Ｙ．Ｚ、学習用画像内の回収ボックスの色（標準色）をＲ１．Ｇ１．Ｂ１とした場合、（１）Ｒ．Ｇ．Ｂ＝Ｘ．Ｙ．Ｚのバイト配列を（２）Ｒ．Ｂ．Ｇ＝Ｘ．Ｙ．Ｚ、（３）Ｇ．Ｒ．Ｂ＝Ｘ．Ｙ．Ｚ、（４）Ｇ．Ｂ．Ｒ＝Ｘ．Ｙ．Ｚ、（５）Ｂ．Ｒ．Ｇ＝Ｘ．Ｙ．Ｚ及び（６）Ｂ．Ｇ．Ｒ＝Ｘ．Ｙ．Ｚに入れ替えることにより色変換し、（１）～（６）の中から最も近似する値（Ｘ．Ｙ．Ｚ≒Ｒ１．Ｇ１．Ｂ１）を選択する。この実施の形態では、おしぼりＡ～Ｄの色は白（２５５，２５５，２５５）であるから色変換してもおしぼりＡ～Ｄの色は変化しない。
　次に、図面を参照して、第２の実施の形態に係るおしぼり管理システムを用いて回収ボックスに収容された使用済おしぼりの枚数を推計するおしぼり枚数推計方法について説明する。図１１は、回収ボックスに収容された使用済おしぼりの枚数を推計するためにおしぼり管理システムが実行する処理について説明するためのフローチャートである。
　まず、制御部１０は、回収前店舗情報を取得する（ステップＳ２０）。なお、ステップＳ２０の処理は、図６に示すステップＳ１０の処理と同一のため、説明を省略する。次に、制御部１０の表示制御部３４は、表示部１８に図７に示す画面１８ｄを表示させる（ステップＳ２１）。そして、制御部１０は、入力部１２を介して入力された店コードを確認し、店舗情報２４から店コードに紐付けされているおしぼりの種類（店舗が契約しているおしぼりの種類）を読み込む。なお、図７においては、店コード「ＸＸＸＸ」の店舗が契約しているおしぼりＡが選択されている場合を例示している。
　次に、制御部１０は、おしぼりの種類に基づき、使用済おしぼりの枚数推計に用いる学習モデルを選択し、選択された学習モデルを読み込む（ステップＳ２２）。即ち、おしぼりＡが選択されている場合には標準学習モデル６１、おしぼりＢが選択されている場合には標準学習モデル６１及び補正係数、おしぼりＣが選択されている場合には第１種類学習モデル、おしぼりＤが選択されている場合には第２種類学習モデルを読み込む。
　次に、制御部１０の撮影制御部３１は、ライブビュー画像５８内の所定の位置（この実施の形態においてはライブビュー画像５８の外枠）に回収ボックスの外枠が収まっていることを確認した後、撮影部１４に推計用画像を撮影させる（ステップＳ２３）。図１２は、撮影部１４に推計用画像を撮影させるために撮影制御部３１が実行する処理について説明するためのフローチャートである。
　まず、撮影制御部３１は、図示しない第１カウンターによりカウントされるＮ１（Ｎ１は０以上の整数）の値を０、図示しない第２カウンターによりカウントされるＮ２（Ｎ２は０以上の整数）の値を０に設定する（ステップＳ４０）。なお、第1カウンターは、回収ボックスの外枠の位置が所定の位置にあると判定された回数をカウントするカウンターであり、第２カウンターは、回収ボックスの外枠の位置が所定の位置にないと判定された回数をカウントするカウンターである。
　次に、撮影制御部３１は、回収ボックスの外枠の位置が所定の位置にあるか否か、具体的にはライブビュー画像５８の外枠に回収ボックスの外枠が収まっているか否かを判定する（ステップＳ４１）。なお、撮影制御部３１は、ステップＳ４１における判定を所定間隔毎に行っており、この実施の形態においては１秒間に３０回行っているが、１秒間に３０回未満または３０回超過行ってもよい。
　ステップＳ４１においてライブビュー画像５８の外枠に回収ボックスの外枠が収まっていると判定された場合（ステップＳ４２：Ｙｅｓ）、撮影制御部３１は、Ｎ２の値を０に設定し（ステップＳ４３）、Ｎ１の値に１を追加する（ステップＳ４４）。次に、撮影制御部３１は、Ｎ１の値が１０に達したか否かを判定し（ステップＳ４５）、Ｎ１の値が１０であると判定された場合（ステップＳ４５：Ｙｅｓ）、撮影部１４に推計用画像を撮影させる（ステップＳ４６）。即ち、撮影部１４は、配送員から入力部１２を介して撮影指示を受けることなく、オートで撮影する。一方、Ｎ１の値が１０でないと判定された場合（ステップＳ４５：Ｎｏ）、撮影制御部３１は、ステップＳ４１の処理に戻り、ステップＳ４１以降の処理を繰り返す。
　一方、ステップＳ４１においてライブビュー画像５８の外枠に回収ボックスの外枠が収まっていないと判定された場合（ステップＳ４２：Ｎｏ）、撮影制御部３１は、Ｎ２の値に１を追加する（ステップＳ４７）。次に、撮影制御部３１は、Ｎ２の値が５であるか否かを判定し（ステップＳ４８）、Ｎ２の値が５であると判定された場合（ステップＳ４８：Ｙｅｓ）、ステップＳ３０の処理に戻り、ステップＳ３０以降の処理を繰り返す。一方、Ｎ２の値が５でないと判定された場合（ステップＳ４８：Ｎｏ）、撮影制御部３１は、ステップＳ４１の処理に戻り、ステップＳ４１以降の処理を繰り返す。
　即ち、撮影制御部３１は、ライブビュー画像５８の外枠に回収ボックスの外枠が収まっていると１０回判定されると（第１カウンターのＮ１＝１０）、撮影部１４に推計用画像を撮影させる。一方、ライブビュー画像５８の外枠に回収ボックスの外枠が収まっていないと５回連続で判定されると（第２カウンターのＮ２＝５）、第１カウンターをリセットする（Ｎ１＝０）。なお、この実施の形態においては、Ｎ１の値が１０のときに撮影部１４が撮影するが、Ｎ１の値が１０未満または１０超過のときに撮影部１４が撮影するよう設定してもよい。同様に、この実施の形態においては、Ｎ２の値が５のときに第１カウンターをリセットするが、Ｎ２の値が５未満または５超過のときに第１カウンターをリセットするよう設定してもよい。
　次に、制御部１０は、ステップＳ２３において撮影した推計用画像に写る回収ボックスの色を補正する（ステップＳ２４）。具体的には、制御部１０は、色補正部において推計用画像の３バイト（Ｒ．Ｇ．Ｂ）で構成されるＲＧＢカラーのバイト数を検出し、Ｒ．Ｇ．Ｂのバイト配列を入れ替えることにより色変換する。そして制御部１０は、色変換した６種類の中から、標準学習モデル６１、第１種類学習モデル及び第２種類学習モデルを作成する際に用いた学習用画像内の回収ボックスの色（標準色）に最も近似するものを選択する。
　次に、制御部１０の推計部３２は、使用済おしぼりの枚数を推計する（ステップＳ２５）。推計部３２は、おしぼりの種類が「おしぼりＡ」の場合には標準学習モデル６１を用いて使用済おしぼりの枚数を推計する。おしぼりの種類が「おしぼりＢ」の場合には第１学習モデル２２を用いて使用済おしぼりの枚数を推計後、推計結果におしぼりＢの補正係数を掛け合わせることにより使用済おしぼりの枚数を補正する。おしぼりの種類が「おしぼりＣ」の場合には第１種類学習モデルを用いて使用済おしぼりの枚数を推計する。おしぼりの種類が「おしぼりＤ」の場合には第２種類学習モデルを用いて使用済おしぼりの枚数を推計する。具体的な処理については、図６に示すステップＳ１５の処理と同一のため、説明を省略する。
　制御部１０は、使用済おしぼりの枚数の推計を終えると、表示制御部３４を介して、図８に示す回収登録画面１８ｅを表示部１８に表示させる（ステップＳ２６）。次に、制御部１０は、配送員により入力部１２を介して枚数修正ボタンが押下されたか否かを判別する（ステップＳ２７）。ステップＳ２７において枚数修正ボタンが押下されたと判別された場合には（ステップＳ２７：Ｙｅｓ）、制御部１０は、表示制御部３４を介して、図示しない枚数修正入力画面を表示部１８に表示させる（ステップＳ２８）。そして、制御部１０は、配送員により入力部１２を介して入力された使用済おしぼりの修正枚数（推計結果の修正枚数）を取得し、入力された枚数を修正枚数結果（正解ラベル）として回収後店舗情報に追加する。そして、制御部１０の表示制御部３４は、配送員から入力部１２を介してＯＫボタンの入力を確認すると、図５に示す納品登録画面１８ｃを表示部１８に表示させ、ステップＳ２９の処理に進む。
　一方、ステップＳ２７において枚数修正ボタンが押下されずに、ＯＫボタンが押下された場合には（ステップＳ２７：Ｎｏ）、制御部１０の表示制御部３４は、図５に示す納品登録画面１８ｃを表示部１８に表示させ、ステップＳ２９の処理に進む。具体的な処理については、図６に示すステップＳ１７の処理と同一のため、説明を省略する。
　第２の実施の形態に係るおしぼり管理システムによれば、回収された使用済おしぼりの枚数を一枚一枚数えることなく、迅速に推計することができる。そして、使用済おしぼりの枚数を店舗ごとに管理することにより、おしぼりの契約枚数、季節変動に伴う追加枚数、おしぼりの回収枚数、紛失したおしぼりの枚数、店舗に在庫されている枚数等を適切に管理することができる。
　また、第２の実施の形態に係るスマートフォン２ａ～２ｃによれば、おしぼり回収経験の浅い配送員であっても使用済おしぼりの枚数を容易に推計することができる。また、様々な配送員がおしぼりを回収する場合であっても使用済おしぼりの枚数をムラなく推計することができる。
　また、第２の実施の形態に係るスマートフォン２ａ～２ｃによれば、２次深層学習モデルである標準学習モデル６１を用いるため、使用済おしぼりの枚数を精度よく推計することができる。また、ライブビュー画像５８の外枠に回収ボックスの外枠が収まっていると所定回数判定されてから自動で撮影するため、関係ない画像または回収ボックスの外枠が収まっていない画像等の撮影を回避することができ、ひいては使用済おしぼりの推計枚数の精度低下を抑制することができる。また、学習用画像データ及び推計用画像データの少ないおしぼりＣ及びＤの第１種類学習モデル及び第２種類学習モデルにおいて、データ数が多い標準学習モデル６１のパラメーターをファインチューニングするため、高精度な学習モデルを作成することができる。
　また、第２の実施の形態に係るスマートフォン２ａ～２ｃによれば、色補正部を備えているため、学習モデル作成に用いた学習用画像の回収ボックスの色と撮影部１４により撮影された推計用画像の回収ボックスの色とが異なる場合、推計用画像の回収ボックスの色を学習用画像の回収ボックスの色に手軽に近似させることができる。したがって、回収ボックスの色が異なることによる使用済おしぼりの推計枚数の精度低下を抑制することができる。
　なお、第２の実施の形態に係るスマートフォン２ａ～２ｃおいては、色補正部を備え、推計用画像の回収ボックスの色を学習用画像の回収ボックスの色に近似させる処理を行っているが、色補正部を備えずに、ＲＧＢのバイト配列を入れ替えた６種類それぞれについて作成された学習モデルを搭載する構成にしてもよい。この場合には、推計用画像の回収ボックスの色を検出し、検出結果に基づいて最適な学習モデルを選択する。
　１…おしぼり管理システム、２ａ～２ｃ…スマートフォン、４…クラウドサーバ、６…基幹システム、８…ネットワーク、１０…制御部、１２…入力部、１４…撮影部、１６…データ記憶部、１８…表示部、２０…通信部、２２…第１学習モデル、２３…第２学習モデル、２４…店舗情報、２６…補正係数、３０…取得部、３１…撮影制御部、３２…推計部、３３…検出部、３４…表示制御部、３５…演算部、３６…制御部、３８…データ記憶部、４０…通信部、４２…制御部、４４…入力部、４６…表示部、４８…データ記憶部、５０…通信部、５２…配送コース情報、５４…店舗情報、５６…おしぼり情報、６１…標準学習モデル、６２…学習用画像データ、６４…推計用画像データ、６４Ａ…修正済画像データ、６４Ｂ…無修正推計用画像データ、６６…１次深層学習モデル。
 

Claims (14)

  1. 　おしぼりを配送する店舗、前記店舗が利用する前記おしぼりの種類、前記店舗へ納品した前記おしぼりの枚数、前記店舗から回収した前記おしぼりの枚数及び前記店舗における前記おしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する情報受信部と、
    　回収ボックスに収容された使用済おしぼりを上方から撮影する撮影部と、
    　前記回収ボックスに収容された前記使用済おしぼりを上方から撮影した学習用画像を入力値とし該使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、
    　前記撮影部により撮影された推計用画像を取得する画像取得部と、
    　前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記画像取得部により取得した前記推計用画像から前記ニューラルネットワークにより前記使用済おしぼりの枚数を推計する推計部と、
    　前記推計部により推計された推計結果を表示する表示部と、
    　前記情報受信部により受信した前記回収前店舗情報に、前記推計結果を追加した回収後店舗情報を前記基幹システムに送信する情報送信部と、
    を備えることを特徴とする携帯端末。
  2. 　前記推計結果を修正した修正枚数を取得する修正枚数取得部を備え、
    　前記情報送信部は、前記修正枚数を追加した前記回収後店舗情報を前記基幹システムに送信し、
    　前記学習モデルは、
    　　前記学習用画像及び過去に撮影された前記推計用画像であって前記推計結果を修正した修正済推計用画像を前記入力値とする前記ニューラルネットワークにより深層学習させた１次深層学習モデルを用いて、過去に撮影された前記推計用画像であって前記推計結果を修正していない無修正推計用画像における前記使用済おしぼりの枚数を推計し、
    　　前記学習用画像、前記修正済推計用画像及び前記１次学習モデルを用いて推計された前記無修正推計用画像を前記入力値とする前記ニューラルネットワークにより深層学習させた２次深層学習モデルであることを特徴とする請求項１記載の携帯端末。
  3. 　前記学習モデル記憶部は、前記学習用画像から前記回収ボックスの外枠及び前記回収ボックスに収容された使用済おしぼり群の外縁の輪郭を抽出し、抽出された前記回収ボックスの外枠に対する前記使用済おしぼり群の外縁の輪郭から前記使用済おしぼりの枚数を推計するためのパラメーターが組み込まれた前記学習モデルを記憶することを特徴とする請求項１または請求項２記載の携帯端末。
  4. 　前記撮影部により前記推計用画像を撮影する際、前記表示部にライブビュー画像を表示させると共に、撮影範囲に対する前記回収ボックスの外枠の位置が所定の位置となるようにガイドするガイド枠を表示させる表示制御部と、
    　前記回収ボックスの外枠の位置が所定の位置となった際、前記撮影部に前記推計用画像を撮影させる撮影制御部と、
    を更に備えることを特徴とする請求項１～請求項３の何れか一項に記載の携帯端末。
  5. 　前記撮影部により前記推計用画像を撮影する際、前記表示部にライブビュー画像を表示させると共に、撮影範囲に対する前記回収ボックスの外枠の位置が所定の位置にあるか否かを所定間隔毎に判定する判定部と、
    　前記判定部により前記回収ボックスの外枠の位置が所定の位置にあると判定された数をカウントする計数部と、
    　前記計数部によりカウントされた数が所定数に達した際、前記撮影部に前記推計用画像を撮影させる撮影制御部と、
    を更に備え、
    　前記撮影制御部は、前記判定部により前記所定の位置にないと予め設定された回数連続で判定された際、前記計数部によるカウントをリセットすることを特徴とする請求項１～請求項３の何れか一項に記載の携帯端末。
  6. 　前記学習モデル記憶部は、前記回収ボックスの外枠より外側の画像データを削除した前記学習用画像を用いて学習させた前記学習モデルを記憶し、
    　前記推計部は、前記回収ボックスの外枠より外側の画像データを削除した前記推計用画像を用いて前記使用済おしぼりの枚数を推計することを特徴とする請求項１～請求項４の何れか一項に記載の携帯端末。
  7. 　前記推計用画像に基づいて前記回収ボックス内における前記使用済おしぼりの密度を検出する密度検出部を更に備え、
    　前記推計部は、前記密度検出部により検出された前記密度を用いて前記使用済おしぼりの枚数を推計することを特徴とする請求項１～請求項５の何れか一項に記載の携帯端末。
  8. 　前記回収ボックス内における前記使用済おしぼりの密度が所定密度より大きいか否かを入力する密度入力部を更に備え、
    　前記推計部は、前記密度入力部により入力された入力結果を用いて前記使用済おしぼりの枚数を推計することを特徴とする請求項１～請求項５の何れか一項に記載の携帯端末。
  9. 　前記使用済おしぼりの枚数に関する演算を行う演算部を更に備え、
    　前記撮影部は、複数の前記推計用画像を撮影し、
    　前記推計部は、複数の前記推計用画像内の前記使用済おしぼりの枚数をそれぞれ推計し、
    　前記演算部は、前記推計部により推計された複数の推計結果の平均値を算出し、
    　前記表示部は、前記演算部により算出された前記平均値を前記推計結果として表示することを特徴とする請求項１～請求項８の何れか一項に記載の携帯端末。
  10. 　前記複数の推計結果の異常値を検出する異常値検出部を更に備え、
    　前記演算部は、前記異常値検出部により検出された前記異常値を除いた前記複数の推計結果の前記平均値を算出することを特徴とする請求項９記載の携帯端末。
  11. 　おしぼりの種類を取得する種類取得部と、
    　前記おしぼりの種類毎に設定された前記おしぼりの重さに基づく補正係数を記憶する補正係数記憶部と、を更に備え、
    　前記推計部は、前記種類取得部により取得した前記おしぼりの種類の前記補正係数を前記補正係数記憶部から取得し、取得した前記補正係数を用いて前記使用済おしぼりの枚数を補正することを特徴とする請求項１～請求項１０の何れか一項に記載の携帯端末。
  12. 　前記推計用画像に写る前記回収ボックスの色を、前記学習用画像に写る前記回収ボックスの色または近似色に補正する色補正部を備えることを特徴とする請求項１～請求項１１の何れか一項に記載の携帯端末。
  13. 　おしぼりを配送する店舗、前記店舗が利用する前記おしぼりの種類、前記店舗へ納品した前記おしぼりの枚数、前記店舗から回収した前記おしぼりの枚数及び前記店舗における前記おしぼりの在庫枚数を含む回収前店舗情報を基幹システムから受信する情報受信部と、
    　回収ボックスに収容された第１使用済おしぼりを上方から撮影する撮影部と、
    　前記第１使用済おしぼりと異なる前記回収ボックスに収容された第２使用済おしぼりを上方から撮影した学習用画像を入力値とし前記第１使用済おしぼりの枚数を出力値とするニューラルネットワークにより学習させた学習モデルを記憶する学習モデル記憶部と、
    　前記撮影部により撮影された推計用画像を取得する画像取得部と、
    　前記学習モデル記憶部に記憶されている前記学習モデルを用いて、前記画像取得部により取得した前記推計用画像から前記ニューラルネットワークにより前記第１使用済おしぼりの枚数を推計する推計部と、
    　前記推計部により推計された推計結果を表示する表示部と、
    　前記情報受信部により受信した前記回収前店舗情報に、前記推計結果を追加した回収後店舗情報を前記基幹システムに送信する情報送信部と、
    を備えることを特徴とする携帯端末。
  14. 　請求項１～請求項１３の何れか一項に記載の携帯端末及び基幹システムを備えるおしぼり管理システムであって、
    　前記基幹システムは、
    　　回収前店舗情報を記憶する情報記憶部と、
    　　前記情報記憶部に記憶されている前記回収前店舗情報を前記携帯端末に送信する送信部と、
    　　前記携帯端末から送信される回収後店舗情報を受信する受信部と、
    　　前記受信部より受信した前記回収後店舗情報を前記情報記憶部に記憶させることにより、前記回収前店舗情報を更新する更新部と、
    を備えることを特徴とするおしぼり管理システム。
     
PCT/JP2021/029993 2020-09-16 2021-08-17 携帯端末及びおしぼり管理システム WO2022059404A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021560852A JP7004375B1 (ja) 2020-09-16 2021-08-17 携帯端末及びおしぼり管理システム
CN202180006691.4A CN114746866B (zh) 2020-09-16 2021-08-17 便携终端及湿毛巾管理系统
US17/755,088 US11854250B2 (en) 2020-09-16 2021-08-17 Portable terminal and oshibori management system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020155461 2020-09-16
JP2020-155461 2020-09-16

Publications (1)

Publication Number Publication Date
WO2022059404A1 true WO2022059404A1 (ja) 2022-03-24

Family

ID=80775726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029993 WO2022059404A1 (ja) 2020-09-16 2021-08-17 携帯端末及びおしぼり管理システム

Country Status (1)

Country Link
WO (1) WO2022059404A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001321736A (ja) * 2000-05-15 2001-11-20 Duskin Co Ltd 長尺帯状体連続洗浄装置
JP2002032844A (ja) * 2000-07-14 2002-01-31 Masayuki Suzuki おしぼり自動販売回収装置
CN202013324U (zh) * 2011-03-15 2011-10-19 顾金华 基于机器视觉毛巾布的特征检测装置
WO2019045091A1 (ja) * 2017-09-04 2019-03-07 日本電気株式会社 情報処理装置、計数システム、計数方法およびプログラム記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001321736A (ja) * 2000-05-15 2001-11-20 Duskin Co Ltd 長尺帯状体連続洗浄装置
JP2002032844A (ja) * 2000-07-14 2002-01-31 Masayuki Suzuki おしぼり自動販売回収装置
CN202013324U (zh) * 2011-03-15 2011-10-19 顾金华 基于机器视觉毛巾布的特征检测装置
WO2019045091A1 (ja) * 2017-09-04 2019-03-07 日本電気株式会社 情報処理装置、計数システム、計数方法およびプログラム記憶媒体

Similar Documents

Publication Publication Date Title
CN111080493B (zh) 一种菜品信息识别方法、装置及菜品自助结算系统
TWI496092B (zh) 臉部認證裝置、人物影像檢索系統、臉部認證裝置控制程式、電腦可讀取之記錄媒體、及臉部認證裝置之控制方法
CN108320404A (zh) 基于神经网络的商品识别方法、装置、自助收银台
CN107169861A (zh) 网点销售服务系统及方法
JP7036401B2 (ja) 学習用サーバ、不足学習用画像収集支援システム、及び不足学習用画像推定プログラム
WO2016206344A1 (zh) 白平衡处理方法、装置和计算机存储介质
CN107547852A (zh) 一种大数据存储系统
CN104112188A (zh) 自助式全自动智能称重管理系统
JP2018532988A5 (ja)
US10210602B2 (en) System and method for normalized focal length profiling
CN110490348A (zh) 服务安排方法和相关装置
CN110647941A (zh) 基于卷积神经网络的蔬菜识别方法及设备
WO2022059404A1 (ja) 携帯端末及びおしぼり管理システム
JP7004375B1 (ja) 携帯端末及びおしぼり管理システム
CN110019953A (zh) 一种有效载荷图像数据实时快视系统
JP7336503B2 (ja) サーバ及びおしぼり管理システム
US20080170761A1 (en) Method for image auto-selection and computer system thereof
CN107609513A (zh) 视频类型确定方法及装置
CN108256729B (zh) 评价方法、装置、电子设备及计算机可读存储介质
CN110307571A (zh) 一种油烟机的烟雾识别效果交互方法、系统和油烟机
CN110659615A (zh) 基于人脸识别的客群流量及结构化分析系统及方法
KR20130095486A (ko) 차량 고객 관리 시스템 및 방법
CN114612897A (zh) 一种智能果蔬称重打票方法、装置、电子设备及存储介质
CN115587829A (zh) 一种菜品推荐方法及系统
JP2021018580A (ja) 通信携帯端末及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021560852

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21869091

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21869091

Country of ref document: EP

Kind code of ref document: A1