WO2021171762A1 - 飲料供給装置及び再学習済みモデル生成システム - Google Patents

飲料供給装置及び再学習済みモデル生成システム Download PDF

Info

Publication number
WO2021171762A1
WO2021171762A1 PCT/JP2020/047871 JP2020047871W WO2021171762A1 WO 2021171762 A1 WO2021171762 A1 WO 2021171762A1 JP 2020047871 W JP2020047871 W JP 2020047871W WO 2021171762 A1 WO2021171762 A1 WO 2021171762A1
Authority
WO
WIPO (PCT)
Prior art keywords
beverage
unit
determination
information
beverage information
Prior art date
Application number
PCT/JP2020/047871
Other languages
English (en)
French (fr)
Inventor
幸秀 持田
江利川　肇
Original Assignee
富士電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士電機株式会社 filed Critical 富士電機株式会社
Publication of WO2021171762A1 publication Critical patent/WO2021171762A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B67—OPENING, CLOSING OR CLEANING BOTTLES, JARS OR SIMILAR CONTAINERS; LIQUID HANDLING
    • B67D—DISPENSING, DELIVERING OR TRANSFERRING LIQUIDS, NOT OTHERWISE PROVIDED FOR
    • B67D1/00—Apparatus or devices for dispensing beverages on draught
    • B67D1/08—Details

Definitions

  • the present invention relates to a beverage supply device and a re-learned model generation system that make it possible to improve the determination accuracy of the learned model itself for determining the beverage information of the cup.
  • beverage supply devices such as coffee machines have been installed in stores such as convenience stores.
  • the beverage supply device produces a beverage by, for example, grinding coffee beans and extracting dripping, and supplies the beverage to a cup arranged in the beverage supply unit.
  • Beverages are discharged and supplied from the nozzles constituting the unit (see, for example, Patent Document 1).
  • cup identification was automatically performed, and beverages corresponding to the cup identification were supplied to the cup.
  • the determination accuracy of the beverage information in the cup may decrease.
  • the learned model for determining the beverage information obtained by supervised learning using the captured image whose determination result of the beverage information of the cup is known as teacher data the captured image of the determination target is input and the beverage information of the cup is input. It has been proposed to determine. By using this trained model, it is possible to improve the determination accuracy of the beverage information of the cup even in various installation environments.
  • the present invention has been made in view of the above, and is a beverage supply device and a re-learned model generation that can improve the determination accuracy of the learned model itself for determining the beverage information for determining the beverage information of the cup.
  • the purpose is to provide a system.
  • the present invention is a beverage supply device for supplying a beverage produced by the beverage generation unit to a cup arranged in the beverage supply unit.
  • the captured image to be determined using an imaging unit that acquires an captured image and a learned model for determining beverage information obtained by supervised learning using the captured image whose determination result of the beverage information of the cup is known as teacher data.
  • the determination unit for determining the beverage information of the cup and the beverage information determined by the determination unit are unknown or uncertain, the input captured image and related metadata are stored in the beverage supply device.
  • the output control unit that stores or externally outputs to the unit and provides the stored or externally output captured image and related metadata for re-learning of the trained model, and the determination unit determine the determination of the beverage information.
  • the beverage supply control unit that controls the production and supply of the beverage indicated by the determined beverage information is provided.
  • the determination unit determines that the beverage information is definite when the output value of the beverage information output from the learned model is equal to or greater than the first probability, and the beverage information. If the output value of the beverage information is less than the first probability and greater than or equal to the second probability, it is determined that the beverage information is uncertain, and if the output value of the beverage information is less than the second probability, the beverage information is unknown.
  • the beverage supply control unit controls the generation and supply of the beverage with the determined beverage information when the beverage information is definite, and the output control unit controls the generation and supply of the beverage with the determined beverage information when the beverage information is uncertain.
  • the repositioning of the cup is guided to make the judgment of the beverage information again, and the input captured image and the related metadata are stored or externally output to the storage unit as the judgment uncertain data, and the beverage information is unknown.
  • the input captured image and related metadata may be stored in the storage unit or output externally as undetermined data.
  • the image pickup unit that acquires the image captured image of the cup arranged in the beverage supply unit and the image pickup image in which the determination result of the beverage information of the cup is known are used as teacher data for supervised learning to determine the beverage information.
  • the determination unit that inputs the captured image to be determined and determines the beverage information of the cup and the beverage information determined by the determination unit are unknown or uncertain, they are input using the trained model for.
  • the captured image and related metadata are stored or externally output to a storage unit in the beverage supply device as undetermined judgment data or uncertain judgment data, respectively, and the stored or externally output captured image and related metadata have been learned.
  • the trained model is re-learned using the acquired image as teacher data by using the image obtained from the beverage supply device and the image captured from the beverage supply device when the beverage information is unknown or uncertain and related metadata. It includes a retrained model generator that trains and updates the trained model to a retrained retrained model.
  • the retrained model generation device includes a management server that stores and manages the determination unknown data and the determination uncertain data output from the plurality of beverage supply devices in the above invention.
  • the determination unknown data and the determination uncertain data may be acquired from the management server.
  • the present invention it is possible to improve the determination accuracy of the learned model itself for determining the beverage information for determining the beverage information of the cup.
  • FIG. 1 is a perspective view showing an external configuration of a beverage supply device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically showing the configuration of the control system of the beverage supply device shown in FIG.
  • FIG. 3 is a front view showing the configuration of the beverage supply unit shown in FIG.
  • FIG. 4 is a cross-sectional view showing the configuration of the beverage supply unit shown in FIG.
  • FIG. 5 is an explanatory diagram illustrating a determination process of beverage information using the trained model.
  • FIG. 6 is a flowchart showing a beverage supply control processing procedure by the control unit.
  • FIG. 7 is a block diagram showing a configuration of a retrained model generation system.
  • FIG. 8 is a sequence diagram showing a retraining process of the trained model in the retrained model generation system.
  • FIG. 1 is a perspective view showing an external configuration of a beverage supply device 1 according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically showing the configuration of the control system of the beverage supply device 1.
  • FIG. 2 is a front view showing the configuration of the beverage supply unit 22 shown in FIG.
  • FIG. 4 is a cross-sectional view showing the configuration of the beverage supply unit 22 shown in FIG.
  • the beverage supply device 1 illustrated here is a coffee machine installed in a store such as a convenience store, for example, and is subjected to, for example, coffee bean grinding and dripping extraction processing into a bottomed cylindrical cup C which is a container.
  • a coffee beverage containing a milk beverage such as a cafe latte is supplied.
  • the beverage supply device 1 includes a main body cabinet 10 and a front door 20.
  • the main body cabinet 10 has a substantially rectangular shape with an open front surface. Inside the main body cabinet 10, a beverage generation unit 11 for producing a beverage (for example, coffee) is provided.
  • the front door 20 is a door body having a size sufficient to close the opening on the front surface of the main body cabinet 10.
  • the front door 20 is provided on one side edge portion on the front side of the main body cabinet 10 so as to be swingable around the central axis of a shaft portion (not shown) extending in the vertical direction, and is provided on the front surface of the main body cabinet 10. It is possible to open and close the opening of.
  • the front surface of the front door 20 constitutes a customer service surface, and a display unit 21, a beverage supply unit 22, and an opening / closing door 22a are provided.
  • the display unit 21 is composed of, for example, a liquid crystal touch panel, and has an input unit 21a capable of displaying various information and performing an input operation such as a touch operation.
  • the beverage supply unit 22 is configured by providing a recess on the lower side of the display unit 21.
  • the beverage supply unit 22 has a nozzle 23, a stage 24, a rear wall 25, and side walls 26L and 26R (see FIGS. 3 and 4).
  • the nozzle 23 discharges the beverage produced by the beverage generation unit 11 downward.
  • the stage 24 is provided in the lower region of the nozzle 23.
  • the stage 24 is a mounting portion on which the cup C is mounted, and is provided with an arc-shaped stopper 24a. Further, the stage 24 is formed with a plurality of passage holes 24b through which the beverage discharged from the nozzle 23 and not supplied to the cup C is passed (see FIG. 4), and below the plurality of passage holes 24b for storing the beverage.
  • a tray (not shown) is provided.
  • the rear wall 25 covers the rear surface of the stage 24.
  • the side walls 26L and 26R cover both side surfaces of the stage 24.
  • the side walls 26L and 26R are provided so that the mutual distance gradually increases from both side edges of the rear wall 25 toward the front.
  • the opening / closing door 22a is made of a translucent material such as a transparent resin, and has a size sufficient to cover the inlet 27 of the beverage supply unit 22.
  • the left end of the opening / closing door 22a is pivotally supported by the front door 20 and can swing along the front-rear direction. That is, the opening / closing door 22a can swing along the front-rear direction in a manner of approaching and separating from the beverage supply unit 22, and the entrance of the beverage supply unit 22 when swinging backward in a manner of approaching the beverage supply unit 22.
  • the 27 can be closed, and the inlet 27 can be opened when swinging forward in a manner of separating from the beverage supply unit 22.
  • the beverage supply device 1 includes a cup detection unit 31, a light projection unit 32, an image pickup unit 33, a light-shielding plate 34, a door open / close detection unit 35, a door open / close lock mechanism 36, and a control unit 40.
  • the cup detection unit 31 is composed of, for example, an optical sensor or the like, and detects whether or not the cup C is arranged in the beverage supply unit 22, that is, whether or not the cup C is placed on the stage 24.
  • the cup detection unit 31 gives the detection result of the presence or absence of the cup C to the control unit 40.
  • the light projecting unit 32 is provided on the left side wall 26L and the right side wall 26R of the beverage supply unit 22.
  • the light projecting unit 32 is, for example, an LED, and irradiates the surface of the cup C placed on the stage 24 with light.
  • the light projecting portion 32 is provided above the side walls 26L and 26R, respectively, so that light can be emitted from diagonally above the upper peripheral surface of the cup C.
  • the imaging unit 33 is provided at the lower part of the left side wall 26L of the beverage supply unit 22 and acquires an image including the cup C.
  • the door open / close detection unit 35 is provided near the entrance 27 of the beverage supply unit 22, and is composed of, for example, an optical sensor or the like.
  • the door opening / closing detection unit 35 detects the opening / closing of the entrance 27 by the opening / closing door 22a, and more specifically, detects whether the entrance 27 is closed, that is, whether or not the opening / closing door 22a is closed. be.
  • the door open / close detection unit 35 gives the control unit 40 a detection result of whether or not the open / close door 22a is closed.
  • the door opening / closing lock mechanism 36 is provided near the entrance 27 of the beverage supply unit 22.
  • the door opening / closing lock mechanism 36 has a lock state in which the opening / closing door 22a that closes the entrance 27 is held in a closed state and the opening / closing door 22a is restricted from swinging forward, and the opening / closing door 22a. Can be selectively switched between a release state that allows the door to swing forward.
  • the door opening / closing lock mechanism 36 is switched in response to a command from the control unit 40.
  • the communication unit 42 is a communication interface that connects to the management server via the network N described later by a communication method such as LTE (registered trademark).
  • the communication unit 42 may be connected to the network N via a short-range wireless communication function such as WiFi (registered trademark).
  • the control unit 40 connects the beverage generation unit 11, the display unit 21, the cup detection unit 31, the light projecting unit 32, the imaging unit 33, the door open / close detection unit 35, the door open / close lock mechanism 36, and the communication unit 42, and connects the storage unit 41.
  • the operation of each of these parts is controlled in an integrated manner according to the programs and data stored in the door.
  • the control unit 40 is a control unit that controls the entire device, and includes a determination unit 40a, a beverage supply control unit 40b, and an output control unit 40c.
  • the determination unit 40a is a determination target captured by the imaging unit 33 using a learned model M for determining beverage information obtained by supervised learning using an image captured in which the determination result of the beverage information of the cup C is known as teacher data.
  • the captured image is input to determine the beverage information of the cup C.
  • Beverage information includes cup size, supplied beverage content, and the like, for example, a large size ice latte.
  • the determination unit 40a determines that the beverage information is definite, and the output value of the beverage information is less than the first probability. If it is equal to or higher than the second probability, it is determined that the beverage information is uncertain, and if the output value of the beverage information is less than the second probability, it is determined that the beverage information is unknown.
  • the output control unit 40c guides the repositioning of the cup C to determine the beverage information again, and determines the input captured image and the related metadata as uncertain data.
  • the input image and related metadata are stored in the storage unit 41 as the determination unknown data D1 or externally managed as D2. Let the server output externally.
  • the beverage supply control unit 40b controls the generation and supply of the beverage with the confirmed beverage information.
  • FIG. 5 is an explanatory diagram illustrating a beverage information determination process using the trained model M.
  • the probability P of one beverage information is output.
  • the trained model M outputs a probability determined for each combination beverage information such as cup size, ice or hot, and beverage type.
  • the beverage information is a combination of two types of cup sizes, "regular” and “large”, two types of "ice” and “hot”, and two types of "coffee” and "cafe latte”. It becomes the kind of beverage information.
  • the trained model M outputs the probabilities for each of the eight types of beverage information, and outputs the beverage information having the maximum probability and the probability P.
  • the determination unit 40a determines the beverage information, and the determined beverage information is used by the beverage supply control unit 40b. To supply beverages.
  • the determination unit 40a When the output value of the probability P is 0.8 (second probability) or more and less than 0.9, the determination unit 40a considers that the determination of the beverage information is uncertain and guides the cup C to be repositioned. After that, the determination uncertain data D2 is output to the storage unit 41 or the management server. Further, when the output value of the probability P is less than 0.8, the determination unit 40a outputs the determination unknown data D1 to the storage unit 41 or the management server, assuming that the determination of the beverage information is unknown. The uncertain determination data D2 and the unknown determination data D1 will be provided for re-learning of the trained model M.
  • the trained model M is a multi-layer neural network in which supervised learning is performed using teacher data consisting of a set of input data whose beverage information is a known captured image and correct answer data (beverage information). (CNN).
  • CNN correct answer data
  • supervised learning for example, if the correct answer data called beverage information is obtained by using an image taken with known beverage information as input data, parameters such as path weights between neurons are changed by backpropagation, and thus multi-layered learning is performed. It becomes possible to train a neural network (CNN).
  • CNN neural network
  • the trained model M generation process may be performed on a large-scale computer or the cloud.
  • the trained model M is, for example, a convolution layer (Convolution), a convolution layer (Convolution), an average pooling layer (Average Pooling), a convolution layer (Convolution), an average pooling layer (Average Pooling), and a fully connected layer (Fully). Connect), fully connected layer (Fully Connect) and output layer (Softmax) are connected in sequence. If the captured image D is input to the first convolution layer (Convolution), the probability of each beverage information is output from the last output layer (Softmax).
  • the convolution layer generates a feature map by convolving a filter into a nearby node in the previous layer in order to extract local features.
  • the feature map output from the convolution layer which is the previous layer, is further reduced to a new feature map in order to summarize the local features.
  • the hidden layer of the multi-layer neural network (CNN) is formed by the convolutional layer and the average pooling layer.
  • the fully connected layer combines the feature map from which the feature portion is extracted into one node, and outputs the value converted by a predetermined activation function.
  • a well-known technique such as Rectified Linear Unit
  • the output layer converts the output (characteristic variable) from the fully connected layer into a probability using a softmax function, and outputs the probability of being correctly classified. You can also add a dropout layer to avoid overfitting.
  • VGG16 which is a trained model trained with an existing large-scale image data set
  • the VGG 16 consists of a total of 16 layers, including 13 convolution layers and 3 fully connected layers.
  • the trained model M1 of the present embodiment is trained, if the fully connected layer of VGG16 is removed, a new fully connected layer is added, the weights up to the 14th layer are not updated, and only the 15th and subsequent layers are trained. While inheriting the high feature extraction of VGG16, it is possible to construct a trained model with a small amount of teacher data and high accuracy in a short time.
  • control unit 40 first determines whether or not the cup C is detected by the cup detection unit 31 in the beverage supply unit 22 (step S101). That is, the cup detection unit 31 detects whether or not the cup C is placed on the stage 24.
  • step S101 Yes
  • the control unit 40 determines whether or not the opening / closing door 22a is closed based on the detection result of the door opening / closing detection unit 35 (step S102). ). If the opening / closing door 22a is not closed (step S102: No), the determination process of step S102 is repeated.
  • step S102 when the opening / closing door 22a is closed (step S102: Yes), the control unit 40 acquires the captured image D captured by the imaging unit 33 (step S103). After that, the determination unit 40a inputs the captured image as input data into the trained model M, acquires the probability of the beverage information of the cup C, and performs a process of determining the beverage information (step S104). After that, it is determined whether the determination result of the determination unit 40a is confirmed, uncertain, or unknown (step S105).
  • step S105 confirmation
  • the control unit 40 touches the display unit 21 with the display of the beverage to be supplied to the determined cup C and the touch of the input unit 21a on which the confirmation wording is displayed.
  • Guidance display is performed (step S106).
  • control unit 40 determines whether or not the input unit 21a has been touched (step S107). When the input unit 21a is not touched (step S107: No), the control unit 40 repeats the determination process of step S107. On the other hand, when the input unit 21a is touched (step S107: Yes), the control unit 40 locks the opening / closing door 22a in the closed state by using the door opening / closing lock mechanism 36 (step S108), and the beverage generation unit 11 is contacted. The beverage to be supplied is produced and supplied (step S109).
  • control unit 40 determines whether or not the beverage supply by the beverage generation unit 11 has been completed (step S110). If the beverage supply has not been completed (step S110: No), the control unit 40 returns to step S109 to continue the process of producing and supplying the beverage.
  • step S110 Yes
  • the control unit 40 unlocks the closed state of the opening / closing door 22a by the door opening / closing lock mechanism 36 (step S111), and ends this process.
  • step S105 uncertain
  • the control unit 40 guides the replacement of the cup C (step S112), and then outputs the determination uncertain data D2 to the storage unit 41 or the like. Then (step S113), this process is terminated.
  • step S105 unknown
  • the control unit 40 outputs the determination unknown data D1 to the storage unit 41 or the like (step S114), and ends this process.
  • FIG. 7 is a block diagram showing a configuration of the retrained model generation system 100.
  • the retrained model generation system 100 includes a plurality of beverage supply devices 1-1 to 1-n corresponding to the beverage supply device 1, a management server 101, and a retrained model generation device 102. , Connected to network N.
  • the determination unknown data D1 and the determination uncertain data D2 generated in each beverage supply device 1-1 to 1-n are collectively stored in the management server 101.
  • the relearned model generation device 102 periodically acquires the determination unknown data D1 and the determination uncertain data D2 stored in the management server 101.
  • the re-learning processing unit 201 generates a re-learned model M'which is a re-learning of the learned model M using the acquired undetermined determination data D1 and uncertain determination data D2 as teacher data.
  • the retrained model generation device 102 replaces the retrained model M'with each beverage supply device 1 in order to update the trained model M of the beverage supply devices 1-1 to 1-n to the retrained model M'. Deliver to -1 to 1-n.
  • FIG. 8 is a sequence diagram showing the retraining process of the trained model M in the retrained model generation system 100.
  • each beverage supply device 1-1 to 1-n transmits the determination unknown data D1 and the determination uncertain data D2 to the management server 101 (step S201).
  • the retrained model generation device 102 acquires the determination unknown data D1 and the determination uncertain data D2 from the management server 101 (step S202).
  • the re-learned model generation device 102 performs a re-learning process to generate a re-learned model M'that is a re-learning of the learned model M using the determination unknown data D1 and the determination uncertain data D2 (step S203). ).
  • the retrained model generation device 102 delivers the generated retrained model M'to each beverage supply device 1-1 to 1-n (step S204).
  • the learned model M is updated to the retrained model M'by feeding back the determination result in the actual environment in which the beverage supply devices 1, 1-1 to 1-n are arranged. Therefore, the accuracy of discriminating the beverage information of the cup can be further improved.
  • each configuration shown in the above embodiment is a schematic function, and does not necessarily have to be physically shown. That is, the form of distribution / integration of each device and component is not limited to the one shown in the figure, and all or part of the device and components are functionally or physically distributed / integrated in arbitrary units according to various usage conditions. Can be configured.
  • Beverage supply device 10
  • Main body cabinet 11
  • Beverage generation unit 20
  • Front door 21
  • Input unit 22
  • Open / close door 23
  • Nozzle 24
  • Stopper 24b Pass hole 25
  • Rear wall 26L, 26R Side wall 27 Entrance
  • Cup detection unit 32
  • Floodlight unit 33
  • Imaging unit 35
  • Door open / close detection unit 36
  • Door open / close lock mechanism 40
  • Control unit 40a Judgment unit 40b
  • Beverage supply control unit 40c
  • Storage unit 42
  • Communication unit 100
  • Re-learned model Generation system 101
  • Management server 102
  • Re-learned model generator 201
  • Re-learning processing unit C
  • Captured image D1
  • Judgment unknown data D2
  • Judgment uncertain data M Learned model
  • M'Re-learned model M'Re-learned model

Landscapes

  • Devices For Dispensing Beverages (AREA)
  • Image Analysis (AREA)
  • Apparatus For Making Beverages (AREA)
  • Beverage Vending Machines With Cups, And Gas Or Electricity Vending Machines (AREA)

Abstract

カップの飲料情報を判定する飲料情報判定用の学習済みモデル自体の判定精度を高めることを可能にする飲料供給装置及び再学習済みモデル生成システムを提供することを目的とする。このため、カップＣの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルＭを用いて、判定対象の撮像画像を入力してカップＣの飲料情報を判定する判定部４０ａと、判定部４０ａが判定した飲料情報が不明あるいは不確定である場合、入力された撮像画像及び関連するメタデータを記憶部４１に記憶あるいは外部出力し、記憶あるいは外部出力された撮像画像及び関連するメタデータを学習済みモデルＭの再学習のために提供する出力制御部４０ｃと、判定部４０ａによって飲料情報の判定が確定である場合、確定した飲料情報が示す飲料の生成及び供給を制御する飲料供給制御部４０ｂと、を備える。

Description

飲料供給装置及び再学習済みモデル生成システム
　本発明は、カップの飲料情報を判定する飲料情報判定用の学習済みモデル自体の判定精度を高めることを可能にする飲料供給装置及び再学習済みモデル生成システムに関する。
　従来、例えばコンビニエンスストア等の店舗には、コーヒーマシン等の飲料供給装置が設置されている。飲料供給装置は、利用者により飲料が選択された場合に、例えばコーヒー豆挽き及びドリッピングの抽出処理等を行って飲料を生成し、飲料供給部に配置されたカップに対して、該飲料供給部を構成するノズルより飲料を吐出して供給するものである（例えば、特許文献１参照）。
　そして、飲料供給部の載置部に載置されたカップに飲料を供給する場合、載置部に載置されたカップの画像を撮像し、この撮像画像内のカップの色情報や輝度情報などをもとにカップ識別を自動で行い、カップ識別に対応した飲料をカップに供給するようにしていた。
特開２００９－２７４７６７号公報
　しかしながら、飲料供給装置が設置される設置環境、例えば外来光や照明光の強度や色温度等が変化すると、カップの飲料情報の判定精度が低下してしまう場合がある。
　そこで、カップの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルを用いて、判定対象の撮像画像を入力してカップの飲料情報を判定することが提案されている。この学習済みモデルを用いると、種々の設置環境であっても、カップの飲料情報の判定精度を高めることができる。
　しかし、教師有り学習は、種々の設置環境を推定した膨大な教師データを用いていても、具体的に予想できない設置環境などが生じると、学習済みモデルを用いても判定精度が低下してしまうという課題があった。
　本発明は、上記に鑑みてなされたものであって、カップの飲料情報を判定する飲料情報判定用の学習済みモデル自体の判定精度を高めることを可能にする飲料供給装置及び再学習済みモデル生成システムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明は、飲料供給部に配置されたカップに対して、飲料生成部で生成した飲料を供給する飲料供給装置であって、前記カップの撮像画像を取得する撮像部と、前記カップの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルを用いて、判定対象の前記撮像画像を入力して前記カップの飲料情報を判定する判定部と、前記判定部が判定した飲料情報が不明あるいは不確定である場合、入力された撮像画像及び関連するメタデータを飲料供給装置内の記憶部に記憶あるいは外部出力し、記憶あるいは外部出力された撮像画像及び関連するメタデータを前記学習済みモデルの再学習のために提供する出力制御部と、前記判定部によって飲料情報の判定が確定である場合、確定した飲料情報が示す飲料の生成及び供給を制御する飲料供給制御部と、を備える。
　また、本発明は、上記の発明において、前記判定部は、前記学習済みモデルから出力された飲料情報の出力値が第１の確率以上の場合、飲料情報が確定であると判定し、飲料情報の出力値が前記第１の確率未満かつ第２の確率以上の場合、飲料情報が不確定であると判定し、飲料情報の出力値が前記第２の確率未満の場合、飲料情報が不明であると判定し、前記飲料供給制御部は、飲料情報が確定である場合、確定した飲料情報の飲料の生成及び供給を制御し、前記出力制御部は、飲料情報が不確定である場合、前記カップの置き直しを案内して再度の飲料情報の判定を行わせるとともに、入力された撮像画像及び関連するメタデータを判定不確定データとして前記記憶部に記憶あるいは外部出力させ、飲料情報が不明である場合、入力された撮像画像及び関連するメタデータを判定不明データとして前記記憶部に記憶あるいは外部出力させるようにしてもよい。
　また、本発明は、飲料供給部に配置されたカップの撮像画像を取得する撮像部と、前記カップの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルを用いて、判定対象の前記撮像画像を入力して前記カップの飲料情報を判定する判定部と、前記判定部が判定した飲料情報が不明あるいは不確定である場合、入力された撮像画像及び関連するメタデータをそれぞれ判定不明データあるいは判定不確定データとして飲料供給装置内の記憶部に記憶あるいは外部出力し、記憶あるいは外部出力された撮像画像及び関連するメタデータを前記学習済みモデルの再学習のために提供する出力制御部と、前記判定部によって飲料情報の判定が確定である場合、確定した飲料情報が示す飲料の生成及び供給を制御する飲料供給制御部と、を備えた飲料供給装置と、前記飲料供給装置から取得した、飲料情報が不明あるいは不確定である場合の撮像画像及び関連するメタデータを用い、取得した前記撮像画像を教師データとして前記学習済みモデルを再学習し、前記学習済みモデルを、再学習された再学習済みモデルに更新する再学習済みモデル生成装置と、を備える。
　また、本発明は、上記の発明において、複数の前記飲料供給装置から出力される前記判定不明データ及び前記判定不確定データを記憶して管理する管理サーバを備え、前記再学習済みモデル生成装置は、前記管理サーバから前記判定不明データ及び前記判定不確定データを取得するようにしてもよい。
　本発明によれば、カップの飲料情報を判定する飲料情報判定用の学習済みモデル自体の判定精度を高めることを可能にする。
図１は、本発明の実施の形態である飲料供給装置の外観構成を示す斜視図である。 図２は、図１に示した飲料供給装置の制御系の構成を模式的に示すブロック図である。 図３は、図１に示した飲料供給部の構成を示す正面図である。 図４は、図１に示した飲料供給部の構成を示す断面図である。 図５は、学習済みモデルを用いた飲料情報の判定処理を説明する説明図である。 図６は、制御部による飲料供給制御処理手順を示すフローチャートである。 図７は、再学習済みモデル生成システムの構成を示すブロック図である。 図８は、再学習済みモデル生成システムにおける学習済みモデルの再学習処理を示すシーケンス図である。
　以下、添付図面を参照してこの発明を実施するための形態について説明する。
＜全体構成＞
　図１は、本発明の実施の形態である飲料供給装置１の外観構成を示す斜視図である。また、図２は、飲料供給装置１の制御系の構成を模式的に示すブロック図である。また、図２は、図１に示した飲料供給部２２の構成を示す正面図である。また、図４は、図１に示した飲料供給部２２の構成を示す断面図である。
　ここで例示する飲料供給装置１は、例えばコンビニエンスストア等の店舗に設置されるコーヒーマシンであり、例えばコーヒー豆挽き及びドリッピングの抽出処理を行って、容器である有底円筒状のカップＣに、例えばカフェラテ等の乳飲料を含んだコーヒー飲料を供給するものである。
　飲料供給装置１は、本体キャビネット１０及び前面扉２０を備えている。本体キャビネット１０は、前面が開口した略直方状の形態を成すものである。この本体キャビネット１０の内部には、飲料（例えばコーヒー）を生成する飲料生成部１１が設けてある。
　前面扉２０は、本体キャビネット１０の前面の開口を閉塞するのに十分な大きさを有する扉体である。この前面扉２０は、本体キャビネット１０の前方側の一側縁部において、上下方向に沿って延在する図示せぬ軸部の中心軸回りに揺動可能に設けてあり、本体キャビネット１０の前面の開口を開閉することが可能である。
　前面扉２０は、前面が接客面を構成しており、表示部２１、飲料供給部２２及び開閉扉２２ａが設けてある。表示部２１は、例えば液晶タッチパネルで構成されており、各種情報を表示するとともに、タッチ操作等の入力操作が可能な入力部２１ａを有している。
　飲料供給部２２は、表示部２１の下方側に凹部を設けることにより構成してある。この飲料供給部２２は、ノズル２３、ステージ２４、後壁２５、及び、側壁２６Ｌ，２６Ｒを有している（図３，４参照）。ノズル２３は、飲料生成部１１で生成された飲料を下方に向けて吐出するものである。ステージ２４は、ノズル２３の下方域に設けてある。ステージ２４は、カップＣを載置させる載置部であり、円弧状のストッパ２４ａが設けてある。また、ステージ２４には、ノズル２３から吐出されてカップＣに供給されなかった飲料を通過させる複数の通過孔２４ｂが形成されており（図４参照）、その下方には飲料を貯留するためのトレイ（図示せず）が設けてある。
　後壁２５は、ステージ２４の後面を覆うものである。側壁２６Ｌ，２６Ｒは、ステージ２４の両側面を覆うものである。側壁２６Ｌ，２６Ｒは、後壁２５の両側縁部から前方に向けて相互間隔が漸次増大するように設けられている。
　開閉扉２２ａは、例えば透明な樹脂等の透光性材料により構成されるものであり、飲料供給部２２の入口２７を覆うのに十分な大きさを有している。開閉扉２２ａは、左側端部が前面扉２０に軸支されており、前後方向に沿って揺動可能なものである。つまり、開閉扉２２ａは、飲料供給部２２に近接離反する態様で前後方向に沿って揺動可能であり、飲料供給部２２に近接する態様で後方に揺動する場合に飲料供給部２２の入口２７を閉成させることが可能であり、飲料供給部２２から離隔する態様で前方に揺動する場合に入口２７を開成させることが可能である。
　図２に示すように、飲料供給装置１は、カップ検出部３１、投光部３２、撮像部３３、遮光板３４、扉開閉検知部３５、扉開閉ロック機構３６及び制御部４０を備える。
　カップ検出部３１は、例えば光センサ等により構成されるもので、飲料供給部２２におけるカップＣの配置の有無、すなわちステージ２４にカップＣが載置されたか否かを検出するものである。カップ検出部３１は、カップＣの有無の検出結果を制御部４０に与える。
　投光部３２は、図３及び図４に示すように、飲料供給部２２における左方の側壁２６Ｌ及び右方の側壁２６Ｒに設けてある。投光部３２は、例えばＬＥＤであり、ステージ２４に載置されたカップＣの表面に対して光照射を行う。投光部３２は、カップＣの上部周面に対して斜め上方から光を照射することができるように、それぞれ側壁２６Ｌ，２６Ｒの上方部に設けてある。
　撮像部３３は、飲料供給部２２における左方の側壁２６Ｌの下部に設けられ、カップＣを含む画像を取得する。
　扉開閉検知部３５は、飲料供給部２２の入口２７の近傍に設けてあり、例えば光センサ等で構成してある。この扉開閉検知部３５は、開閉扉２２ａによる入口２７の開閉を検知するものであり、より詳細には、入口２７が閉成、すなわち開閉扉２２ａが閉となるか否かを検知するものである。扉開閉検知部３５は、開閉扉２２ａが閉となるか否かの検知結果を制御部４０に与える。
　扉開閉ロック機構３６は、飲料供給部２２の入口２７の近傍に設けてある。この扉開閉ロック機構３６は、入口２７を閉成する開閉扉２２ａが閉となる状態を保持させて該開閉扉２２ａが前方に向けて揺動することを規制するロック状態と、該開閉扉２２ａが前方に向けて揺動することを許容する解除状態との間で択一的に切替可能なものである。扉開閉ロック機構３６の切り替えは、制御部４０からの指令に応じて行われる。
　通信部４２は、例えばＬＴＥ（登録商標）などの通信方式により、後述するネットワークＮを介して管理サーバに接続する通信インタフェースである。なお、通信部４２は、ＷｉＦｉ（登録商標）などの近距離無線通信機能を介してネットワークＮに接続するようにしてもよい。
　制御部４０は、飲料生成部１１、表示部２１、カップ検出部３１、投光部３２、撮像部３３、扉開閉検知部３５、扉開閉ロック機構３６、通信部４２を接続し、記憶部４１に記憶されたプログラムやデータにしたがって、これら各部の動作を統括的に制御するものである。
　制御部４０は、装置全体を制御する制御部であり、判定部４０ａ、飲料供給制御部４０ｂ及び出力制御部４０ｃを有する。判定部４０ａは、カップＣの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルＭを用いて、撮像部３３が撮像した判定対象の撮像画像を入力してカップＣの飲料情報を判定する。飲料情報は、カップサイズや供給飲料内容等であり、例えば、ラージサイズのアイスカフェラテである。
　判定部４０ａは、学習済みモデルＭから出力された飲料情報の出力値が第１の確率以上の場合、飲料情報が確定であると判定し、飲料情報の出力値が前記第１の確率未満かつ第２の確率以上の場合、飲料情報が不確定であると判定し、飲料情報の出力値が前記第２の確率未満の場合、飲料情報が不明であると判定する。
　出力制御部４０ｃは、飲料情報が不確定である場合、カップＣの置き直しを案内して再度の飲料情報の判定を行わせるとともに、入力された撮像画像及び関連するメタデータを判定不確定データＤ２として記憶部４１に記憶あるいは外部の管理サーバに外部出力させ、飲料情報が不明である場合、入力された撮像画像及び関連するメタデータを判定不明データＤ１として記憶部４１に記憶あるいは外部の管理サーバに外部出力させる。
　飲料供給制御部４０ｂは、飲料情報が確定である場合、確定した飲料情報の飲料の生成及び供給を制御する。
＜学習済みモデルを用いた飲料情報の判定処理＞
　図５は、学習済みモデルＭを用いた飲料情報の判定処理を説明する説明図である。図５に示すように、学習済みモデルＭに撮像部３３が撮像した撮像画像Ｄが入力されると、１つの飲料情報の確率Ｐを出力する。具体的には、学習済みモデルＭは、例えば、カップサイズ、アイスかホットか、飲料種などの組み合わせた飲料情報ごとに判定した確率を出力する。例えば、カップサイズが「レギュラー」と「ラージ」の２種類、「アイス」か「ホット」かの２種類、「コーヒー」か「カフェラテ」かの２種類の組み合わせた飲料情報であり、ここでは８種類の飲料情報となる。学習済みモデルＭは、８種類の飲料情報ごとに確率を出力し、その最大確率をもつ飲料情報とその確率Ｐを出力する。
　判定部４０ａは、この確率Ｐの出力値が０．９（第１の確率）以上である場合、飲料情報の判定が確定されてものして、この判定された飲料情報を飲料供給制御部４０ｂに出力して飲料供給を行わせる。
　判定部４０ａは、確率Ｐの出力値が０．８（第２の確率）以上０．９未満である場合、飲料情報の判定が不確定であるとして、カップＣの置き直しの案内を行わせ、その後、判定不確定データＤ２を記憶部４１あるいは管理サーバに出力する。また、判定部４０ａは、確率Ｐの出力値が０．８未満である場合、飲料情報の判定が不明であるとして、判定不明データＤ１を記憶部４１あるいは管理サーバに出力する。これら判定不確定データＤ２や判定不明データＤ１は、学習済みモデルＭの再学習のために提供されることになる。
　なお、学習済みモデルＭは、上記したように、飲料情報が既知の撮像画像である入力データと正解データ（飲料情報）とのセットからなる教師データを用いた教師有り学習を行った多層ニューラルネットワーク（ＣＮＮ）である。教師有り学習は、例えば、飲料情報が既知の撮像画像を入力データとして、飲料情報という正解データが得られたならば、バックプロパゲーションによってニューロン間のパスの重み等のパラメータを変動させ、もって多層ニューラルネットワーク（ＣＮＮ）に学習させることが可能となる。なお、通常、教師有り学習を行う場合には大量の教師データを用いて学習を行わねばならず、一つの学習についても多大な時間がかかることになる。そこで、学習済みモデルＭの生成処理を、大型計算機又はクラウド上で行うようにしてもよい。
　学習済みモデルＭは、例えば、コンボリューション層（Convolution）、コンボリューション層（Convolution）、アベレージプーリング層（Average　Pooling）、コンボリューション層（Convolution）、アベレージプーリング層（Average　Pooling）、全結合層（Fully　Connect）、全結合層（Fully　Connect）及び出力層（Softmax）が順次接続される。最初のコンボリューション層（Convolution）に対して撮像画像Ｄが入力されたならば、最後尾の出力層（Softmax）から各飲料情報の確率が出力される。
　ここで、コンボリューション層は、局所的な特徴を抽出するために、前層で近くにあるノードにフィルタを畳み込んで特徴マップを生成する。アベレージプーリング層は、局所的な特徴をまとめあげるために、前層であるコンボリューション層から出力された特徴マップをさらに縮小して新たな特徴マップとする。このように、多層ニューラルネットワーク（ＣＮＮ）の隠れ層は、コンボリューション層とアベレージプーリング層により形成される。全結合層は、特徴部分が取り出された特徴マップを一つのノードに結合し、所定の活性化関数によって変換された値を出力する。この活性化関数には、周知技術であるＲｅＬＵ（Rectified　Linear　Unit）等を用いることができる。出力層は、全結合層からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれ正しく分類される確率を出力する。また、オーバーフィッティングを避けるためにドロップアウト層を追加することもできる。
　なお、既存の大規模画像データセットで学習させた学習済モデルであるＶＧＧ１６などを用いてもよい。ＶＧＧ１６は１３層の畳み込み層と３層の全結合層との計１６層からなる。本実施の形態の学習済モデルＭ１を学習させる場合、ＶＧＧ１６の全結合層を外して新たに全結合層を追加し、１４層までの重みを更新させず、１５層以降のみを学習させると、ＶＧＧ１６の高い特徴量抽出を継承しつつ、少ない教師データ、かつ、短時間に精度の高い学習済モデルを構築することができる。
＜飲料供給制御処理＞
　次に、図６に示したフローチャートを参照して制御部４０による飲料供給制御処理手順について説明する。
　図６に示すように、制御部４０は、まず、カップ検出部３１によりカップＣが飲料供給部２２に有ると検出されたか否かを判断する（ステップＳ１０１）。すなわち、カップ検出部３１は、カップＣがステージ２４に載置されたか否かを検出する。
　カップＣが有ると検出された場合（ステップＳ１０１：Ｙｅｓ）、制御部４０は、扉開閉検知部３５の検知結果をもとに、開閉扉２２ａが閉であるか否かを判断する（ステップＳ１０２）。開閉扉２２ａが閉でない場合（ステップＳ１０２：Ｎｏ）には、ステップＳ１０２の判断処理を繰り返す。
　一方、制御部４０は、開閉扉２２ａが閉である場合（ステップＳ１０２：Ｙｅｓ）には、撮像部３３が撮像した撮像画像Ｄを取得する（ステップＳ１０３）。その後、判定部４０ａは、この撮像画像を入力データとして学習済みモデルＭに入力して、カップＣの飲料情報の確率を取得して飲料情報を判定する処理を行う（ステップＳ１０４）。その後、判定部４０ａの判定結果が、確定か、不確定か、不明かを判定する（ステップＳ１０５）。
　判定結果が確定である場合（ステップＳ１０５：確定）、制御部４０は、表示部２１に対して、判定したカップＣに供給する飲料の表示と、確認の文言が表示された入力部２１ａのタッチを案内する案内表示を行う（ステップＳ１０６）。
　その後、制御部４０は、入力部２１ａがタッチされたか否かを判断する（ステップＳ１０７）。入力部２１ａがタッチされない場合（ステップＳ１０７：Ｎｏ）、制御部４０は、ステップＳ１０７の判断処理を繰り返す。一方、入力部２１ａがタッチされた場合（ステップＳ１０７：Ｙｅｓ）、制御部４０は、扉開閉ロック機構３６を用いて開閉扉２２ａを閉状態にロックし（ステップＳ１０８）、飲料生成部１１に対して、供給する飲料の生成及び供給の処理を行わせる（ステップＳ１０９）。
　その後、制御部４０は、飲料生成部１１による飲料供給が終了したか否かを判断する（ステップＳ１１０）。飲料供給が終了していない場合（ステップＳ１１０：Ｎｏ）には、制御部４０は、ステップＳ１０９に戻って飲料の生成及び供給の処理を続行する。
　一方、飲料供給が終了した場合（ステップＳ１１０：Ｙｅｓ）には、制御部４０は、扉開閉ロック機構３６による開閉扉２２ａの閉状態のロックを解除し（ステップＳ１１１）、本処理を終了する。
　一方、判定結果が不確定である場合（ステップＳ１０５：不確定）、制御部４０は、カップＣの置き直しを案内し（ステップＳ１１２）、その後、判定不確定データＤ２を記憶部４１等に出力して（ステップＳ１１３）、本処理を終了する。
　また、判定結果が不明である場合（ステップＳ１０５：不明）、制御部４０は、判定不明データＤ１を記憶部４１等に出力して（ステップＳ１１４）、本処理を終了する。
＜再学習モデル生成システム＞
　図７は、再学習済みモデル生成システム１００の構成を示すブロック図である。図７に示すように、再学習済みモデル生成システム１００は、飲料供給装置１に対応する複数の飲料供給装置１－１～１－ｎ、管理サーバ１０１、及び、再学習済みモデル生成装置１０２は、ネットワークＮに接続される。なお、図７では、各飲料供給装置１－１～１－ｎで発生した判定不明データＤ１及び判定不確定データＤ２は、管理サーバ１０１にまとめて記憶されている。
　再学習済みモデル生成装置１０２は、定期的に管理サーバ１０１が記憶する判定不明データＤ１及び判定不確定データＤ２を取得する。再学習処理部２０１は、取得した判定不明データＤ１及び判定不確定データＤ２を教師データとして学習済みモデルＭを再学習した再学習済みモデルＭ´を生成する。その後、再学習済みモデル生成装置１０２は、飲料供給装置１－１～１－ｎの学習済みモデルＭを再学習済みモデルＭ´に更新すべく、再学習済みモデルＭ´を各飲料供給装置１－１～１－ｎに配信する。
　図８は、再学習済みモデル生成システム１００における学習済みモデルＭの再学習処理を示すシーケンス図である。図８に示すように、まず、各飲料供給装置１－１～１－ｎは、判定不明データＤ１及び判定不確定データＤ２を管理サーバ１０１に送信する（ステップＳ２０１）。その後、再学習済みモデル生成装置１０２は、管理サーバ１０１から判定不明データＤ１及び判定不確定データＤ２を取得する（ステップＳ２０２）。
　その後、再学習済みモデル生成装置１０２は、判定不明データＤ１及び判定不確定データＤ２を用いて学習済みモデルＭを再学習させた再学習済みモデルＭ´を生成する再学習処理を行う（ステップＳ２０３）。その後、再学習済みモデル生成装置１０２は、生成した再学習済みモデルＭ´を各飲料供給装置１－１～１－ｎに配信する（ステップＳ２０４）。この再学習済みモデルＭ´を受信した各飲料供給装置１－１～１－ｎは、学習済みモデルＭを再学習済みモデルＭ´に更新し（ステップＳ２０５）、本処理を終了する。
　本実施の形態では、飲料供給装置１，１－１～１－ｎが配置された実環境上の判定結果をフィードバックして、学習済みモデルＭを再学習済みモデルＭ´に更新するようにしているので、カップの飲料情報の判別精度をさらに向上させることができる。
　なお、上記の実施の形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置及び構成要素の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
　１，１－１～１－ｎ　飲料供給装置
　１０　本体キャビネット
　１１　飲料生成部
　２０　前面扉
　２１　表示部
　２１ａ　入力部
　２２　飲料供給部
　２２ａ　開閉扉
　２３　ノズル
　２４　ステージ
　２４ａ　ストッパ
　２４ｂ　通過孔
　２５　後壁
　２６Ｌ，２６Ｒ　側壁
　２７　入口
　３１　カップ検出部
　３２　投光部
　３３　撮像部
　３５　扉開閉検知部
　３６　扉開閉ロック機構
　４０　制御部
　４０ａ　判定部
　４０ｂ　飲料供給制御部
　４０ｃ　出力制御部
　４１　記憶部
　４２　通信部
　１００　再学習済みモデル生成システム
　１０１　管理サーバ
　１０２　再学習済みモデル生成装置
　２０１　再学習処理部
　Ｃ　カップ
　Ｄ　撮像画像
　Ｄ１　判定不明データ
　Ｄ２　判定不確定データ
　Ｍ　学習済みモデル
　Ｍ´　再学習済みモデル

Claims (4)

  1. 　飲料供給部に配置されたカップに対して、飲料生成部で生成した飲料を供給する飲料供給装置であって、
    　前記カップの撮像画像を取得する撮像部と、
    　前記カップの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルを用いて、判定対象の前記撮像画像を入力して前記カップの飲料情報を判定する判定部と、
    　前記判定部が判定した飲料情報が不明あるいは不確定である場合、入力された撮像画像及び関連するメタデータを飲料供給装置内の記憶部に記憶あるいは外部出力し、記憶あるいは外部出力された撮像画像及び関連するメタデータを前記学習済みモデルの再学習のために提供する出力制御部と、
    　前記判定部によって飲料情報の判定が確定である場合、確定した飲料情報が示す飲料の生成及び供給を制御する飲料供給制御部と、
    　を備える飲料供給装置。
  2. 　前記判定部は、前記学習済みモデルから出力された飲料情報の出力値が第１の確率以上の場合、飲料情報が確定であると判定し、飲料情報の出力値が前記第１の確率未満かつ第２の確率以上の場合、飲料情報が不確定であると判定し、飲料情報の出力値が前記第２の確率未満の場合、飲料情報が不明であると判定し、
    　前記飲料供給制御部は、飲料情報が確定である場合、確定した飲料情報の飲料の生成及び供給を制御し、
    　前記出力制御部は、飲料情報が不確定である場合、前記カップの置き直しを案内して再度の飲料情報の判定を行わせるとともに、入力された撮像画像及び関連するメタデータを判定不確定データとして前記記憶部に記憶あるいは外部出力させ、飲料情報が不明である場合、入力された撮像画像及び関連するメタデータを判定不明データとして前記記憶部に記憶あるいは外部出力させる
    　請求項１に記載の飲料供給装置。
  3. 　飲料供給部に配置されたカップの撮像画像を取得する撮像部と、
    　前記カップの飲料情報の判定結果が既知の撮像画像を教師データとして教師有り学習を行った飲料情報判定用の学習済みモデルを用いて、判定対象の前記撮像画像を入力して前記カップの飲料情報を判定する判定部と、
    　前記判定部が判定した飲料情報が不明あるいは不確定である場合、入力された撮像画像及び関連するメタデータをそれぞれ判定不明データあるいは判定不確定データとして飲料供給装置内の記憶部に記憶あるいは外部出力し、記憶あるいは外部出力された撮像画像及び関連するメタデータを前記学習済みモデルの再学習のために提供する出力制御部と、
    　前記判定部によって飲料情報の判定が確定である場合、確定した飲料情報が示す飲料の生成及び供給を制御する飲料供給制御部と、
    　を備えた飲料供給装置と、
    　前記飲料供給装置から取得した、飲料情報が不明あるいは不確定である場合の撮像画像及び関連するメタデータを用い、取得した前記撮像画像を教師データとして前記学習済みモデルを再学習し、前記学習済みモデルを、再学習された再学習済みモデルに更新する再学習済みモデル生成装置と、
    　を備える再学習済みモデル生成システム。
  4. 　複数の前記飲料供給装置から出力される前記判定不明データ及び前記判定不確定データを記憶して管理する管理サーバを備え、
    　前記再学習済みモデル生成装置は、前記管理サーバから前記判定不明データ及び前記判定不確定データを取得する
    　請求項３に記載の再学習済みモデル生成システム。
PCT/JP2020/047871 2020-02-26 2020-12-22 飲料供給装置及び再学習済みモデル生成システム WO2021171762A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-030561 2020-02-26
JP2020030561A JP7484215B2 (ja) 2020-02-26 2020-02-26 飲料供給装置及び再学習済みモデル生成システム

Publications (1)

Publication Number Publication Date
WO2021171762A1 true WO2021171762A1 (ja) 2021-09-02

Family

ID=77489929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047871 WO2021171762A1 (ja) 2020-02-26 2020-12-22 飲料供給装置及び再学習済みモデル生成システム

Country Status (2)

Country Link
JP (1) JP7484215B2 (ja)
WO (1) WO2021171762A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240104911A1 (en) * 2020-12-08 2024-03-28 Hutzper Inc. Information processing device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017224184A (ja) * 2016-06-16 2017-12-21 株式会社日立製作所 機械学習装置
US20190138858A1 (en) * 2017-11-08 2019-05-09 Andras Lelkes Filling device
JP2019101508A (ja) * 2017-11-28 2019-06-24 パナソニックＩｐマネジメント株式会社 飲料提供システム
JP2019131209A (ja) * 2018-01-29 2019-08-08 パナソニックＩｐマネジメント株式会社 飲料提供システム、飲料提供方法、飲料提供プログラム
CN111329355A (zh) * 2020-02-28 2020-06-26 联想(北京)有限公司 控制出液装置的方法及出液装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017224184A (ja) * 2016-06-16 2017-12-21 株式会社日立製作所 機械学習装置
US20190138858A1 (en) * 2017-11-08 2019-05-09 Andras Lelkes Filling device
JP2019101508A (ja) * 2017-11-28 2019-06-24 パナソニックＩｐマネジメント株式会社 飲料提供システム
JP2019131209A (ja) * 2018-01-29 2019-08-08 パナソニックＩｐマネジメント株式会社 飲料提供システム、飲料提供方法、飲料提供プログラム
CN111329355A (zh) * 2020-02-28 2020-06-26 联想(北京)有限公司 控制出液装置的方法及出液装置

Also Published As

Publication number Publication date
JP2021133955A (ja) 2021-09-13
JP7484215B2 (ja) 2024-05-16

Similar Documents

Publication Publication Date Title
US10984282B2 (en) Neural vending machine
US20210022547A1 (en) Monitoring system for an apparatus for making beverages
WO2019184646A1 (zh) 货品识别方法及装置、货柜
US9406184B2 (en) System and method for analyzing and/or estimating state of banknote processing apparatus
WO2021171762A1 (ja) 飲料供給装置及び再学習済みモデル生成システム
CN205862460U (zh) 一种智能交接存放设备
AU2019233095A1 (en) Vending device and method
CN106663251A (zh) 计算机控制的无人值守的自动结账商店销售点及相关方法
CN108292455A (zh) 用于家具、橱柜或储物柜的电子锁和电子锁定系统
NO20141151A1 (no) Salgsautomat
KR20190099151A (ko) 식기 세척기와 통신하는 서버
KR20220091227A (ko) 재활용 회수 장치 및 이를 이용한 리워드 포인트 지급 방법
WO2016199074A1 (en) Universal coin sorter and coin counting machine
CN208027468U (zh) 无人售货设备和无人售货系统
Jadli et al. Toward a deep smart waste management system based on pattern recognition and transfer learning
US10853701B2 (en) Filling device
US20140244529A1 (en) Banknote Processing Apparatus for Detecting, Reporting, and Integrally Managing Counterfeit Banknotes and Method of Controlling the Same
CN101541943A (zh) 培养箱、预订时间管理方法和程序
US11799682B2 (en) Oven appliance with smart protected user detection
CN206761167U (zh) 一种酒柜
CN106462295A (zh) 操作输入的光学检测装置、自动售货机和操作输入的光学检测方法
JP2018142193A (ja) ロッカーシステム
US20240027982A1 (en) Household appliances intentional input detection
WO2019216102A1 (ja) 飲料供給装置
KR20220148264A (ko) 약제 계수 및 포장 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20921207

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20921207

Country of ref document: EP

Kind code of ref document: A1