WO2019146515A1 - 飲料提供システム、飲料提供方法、飲料提供プログラム - Google Patents

飲料提供システム、飲料提供方法、飲料提供プログラム Download PDF

Info

Publication number
WO2019146515A1
WO2019146515A1 PCT/JP2019/001409 JP2019001409W WO2019146515A1 WO 2019146515 A1 WO2019146515 A1 WO 2019146515A1 JP 2019001409 W JP2019001409 W JP 2019001409W WO 2019146515 A1 WO2019146515 A1 WO 2019146515A1
Authority
WO
WIPO (PCT)
Prior art keywords
beverage
information
image
input image
determination
Prior art date
Application number
PCT/JP2019/001409
Other languages
English (en)
French (fr)
Inventor
幸 田岡
三木　匡
將太 中島
基 神
伴　泰浩
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2019146515A1 publication Critical patent/WO2019146515A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D25/00—Details of other kinds or types of rigid or semi-rigid containers
    • B65D25/20—External fittings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B67—OPENING, CLOSING OR CLEANING BOTTLES, JARS OR SIMILAR CONTAINERS; LIQUID HANDLING
    • B67D—DISPENSING, DELIVERING OR TRANSFERRING LIQUIDS, NOT OTHERWISE PROVIDED FOR
    • B67D1/00—Apparatus or devices for dispensing beverages on draught
    • B67D1/08—Details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present disclosure generally relates to a beverage providing system, a beverage providing method, and a beverage providing program, and more particularly, to a beverage providing system, a beverage providing method, and a beverage providing program for providing a user's desired beverage from a plurality of available beverages. About.
  • Patent Document 1 discloses a system (beverage provision system) for providing a mixed product (beverage) to be dispensed from a product dispenser.
  • the system includes a code generation module operable to receive data associated with a number of product recipes and generate a machine readable item according to a mixed recipe including the plurality of product recipes. The machine readable item configures the product dispenser to dispense the blended recipe.
  • Patent Document 1 a beverage providing system
  • a machine-readable item is read by a product dispenser to provide a mixed product (beverage) according to a recipe corresponding to the machine-readable item by the product dispenser.
  • a mixed product beverage
  • the system of Patent Document 1 in order to receive provision of a beverage desired by the user, it is necessary to perform an operation of reading the machine-readable item into the product dispenser, which takes time and effort.
  • An object of the present disclosure is to provide a beverage providing system, a beverage providing method, and a beverage providing program that can reduce the time and effort of the user when providing the user's desired beverage.
  • a beverage providing system includes an image acquisition unit, an information acquisition unit, and a control unit.
  • the image acquisition unit is configured to acquire an input image that is an image of the appearance of the beverage container in the supply location where the beverage is poured from the beverage discharge device.
  • the information acquisition unit is determined based on a position on the input image of a difference area having a difference between the input image and a reference image which is an image serving as a reference of the appearance of the beverage container appearing in the input image. It is configured to obtain beverage information.
  • the control unit is configured to cause the beverage discharge device to discharge a beverage based on the beverage information acquired by the information acquisition unit.
  • the beverage providing method includes the step of acquiring an input image that is an image of the appearance of the beverage container at the providing location where the beverage is poured from the beverage discharge device.
  • the beverage provision method is determined based on the position on the input image of a difference area having a difference between the input image and a reference image that is an image serving as a reference of the appearance of the beverage container appearing in the input image.
  • the beverage providing program when executed by one or more processors, provides the one or more processors with a first instruction, a second instruction, and a third instruction.
  • the first instruction is an instruction to acquire an input image which is an image of the appearance of the beverage container at the supply location where the beverage is poured from the beverage discharge device.
  • the second instruction is determined based on a position on the input image of a difference area having a difference between the input image and a reference image which is an image serving as a reference of the appearance of the beverage container appearing in the input image. It is an instruction to acquire beverage information.
  • the third instruction is an instruction to cause the beverage discharge device to discharge a beverage based on the beverage information.
  • a beverage providing system includes an image acquisition unit, an information acquisition unit, and a control unit.
  • the image acquisition unit is configured to acquire an input image that is an image of the appearance of the beverage container in the supply location where the beverage is poured from the beverage discharge device.
  • the information acquisition unit is configured to acquire beverage information corresponding to description information obtained from a difference between the input image and a reference image that is an image serving as a reference of the appearance of the beverage container appearing in the input image.
  • Ru The control unit is configured to cause the beverage discharge device to discharge a beverage based on the beverage information acquired by the information acquisition unit.
  • the beverage providing method includes the step of acquiring an input image that is an image of the appearance of the beverage container at the providing location where the beverage is poured from the beverage discharge device.
  • the beverage providing method further includes the step of acquiring beverage information corresponding to description information obtained from a difference between the input image and a reference image which is an image serving as a reference of the appearance of the beverage container appearing in the input image. Including. And a step of causing the beverage discharge device to discharge a beverage based on the beverage information.
  • the beverage providing program when executed by one or more processors, provides the one or more processors with a first instruction, a second instruction, and a third instruction.
  • the first instruction is an instruction to acquire an input image which is an image of the appearance of the beverage container at the supply location where the beverage is poured from the beverage discharge device.
  • the second instruction is an instruction to acquire beverage information corresponding to the description information obtained from the difference between the input image and a reference image which is an image serving as a reference of the appearance of the beverage container appearing in the input image.
  • the third instruction is an instruction to cause the beverage discharge device to discharge a beverage based on the beverage information.
  • FIG. 1 is a schematic view of the beverage providing system of the first embodiment.
  • FIG. 2 is a block diagram of the beverage providing system of the first embodiment.
  • FIG. 3 is an example of the image of the container for drinks in Embodiment 1.
  • FIG. 4 is an example of an image of the beverage container in the first embodiment.
  • FIG. 5 is an example of the image of the container for drinks in Embodiment 1.
  • FIG. 6 is an example of an image of the beverage container in the first embodiment.
  • FIG. 7 is an explanatory diagram of a method of determining the position of the difference area in the first embodiment.
  • FIG. 8 is a flowchart of the operation of the beverage delivery system of the first embodiment.
  • 9A and 9B are explanatory diagrams of the operation of the beverage providing system of the first embodiment.
  • FIG. 10 is a block diagram of a beverage providing system according to a second embodiment.
  • FIG. 11 is an example of an image of the beverage container in the second embodiment.
  • FIG. 12 is an example of an image of the beverage container in the second embodiment.
  • FIG. 13 is an example of an image of the beverage container in the second embodiment.
  • FIG. 14 is an example of an image of the beverage container in the second embodiment.
  • FIG. 15 is a flowchart of the operation of the beverage providing system of the second embodiment.
  • FIG. 16 is a block diagram of a beverage providing system according to a third embodiment.
  • FIG. 17 is an example of an image of the beverage container in the third embodiment.
  • FIG. 18 is an example of an image of the beverage container in the third embodiment.
  • FIG. 19 is an example of an image of the beverage container in the third embodiment.
  • FIG. 11 is an example of an image of the beverage container in the second embodiment.
  • FIG. 12 is an example of an image of the beverage container in the second embodiment.
  • FIG. 13 is
  • FIG. 20 is a flowchart of the operation of the beverage delivery system in the third embodiment.
  • FIG. 21 is a schematic view of a beverage providing system according to a fourth embodiment.
  • FIG. 22 is a block diagram of the beverage delivery system in the fourth embodiment.
  • FIG. 23 is an example of the image of the container for drinks in the modification 1.
  • FIG. 24 is an example of the image of the container for drinks in the modification 1.
  • FIG. 25 is an example of an image of the beverage container in the second modification.
  • FIG. 26 is an example of an image of the beverage container in the second modification.
  • FIG. 27 is an example of an image of the beverage container in the third modification.
  • FIG. 28 is an explanatory diagram of a method of determining the position of the difference area in the fourth modification.
  • FIG. 1 shows a beverage providing system 10 according to the first embodiment.
  • the beverage providing system 10 of the first embodiment is configured by the beverage dispenser 20 alone.
  • the beverage dispenser 20 includes the beverage discharge device 24 that pours the beverage to the supply location 101, and starts the discharge of the beverage from the beverage discharge device 24 when the discharge button 211 is operated.
  • the beverage dispenser 20 when the beverage container 70 is previously placed at the provision location 101, the beverage discharged from the beverage discharge device 24 can be received by the beverage container 70.
  • the drink provision system 10 (drink dispenser 20) is provided with the image acquisition part F11, the information acquisition part F13, and the control part F14, as shown in FIG.
  • the image acquisition unit F11 acquires input images P11 to P13 (see FIGS. 4 to 6) which are images of the appearance of the beverage container 70 at the supply location 101 where the beverage is poured from the beverage discharge device 24.
  • the information acquisition unit F13 acquires beverage information.
  • the beverage information is a difference area A10 (see FIG. 4 to FIG. 4) in which there is a difference between the input images P11 to P13 and the reference image P10 (see FIG. 3) which is an image serving as a reference of the appearance of the beverage container 70 shown in the input images P11 to P13. It is determined based on the positions on the input images P11 to P13 (see FIG. 6).
  • the control unit F14 causes the beverage discharge device 24 to discharge the beverage based on the beverage information acquired by the information acquisition unit F13.
  • the beverage information for determining the beverage (the beverage provided by the beverage dispenser 20 to the user) discharged from the beverage discharge device 24 is the difference area A10 on the input images P11 to P13. It is decided based on the position of. For example, from the beverage providing system 10, the user places the beverage container 70 in which the description information 80 (see FIGS. 4 to 6) is handwritten at a predetermined position so that the difference area A10 is extracted. It becomes possible to receive provision of the drink corresponding to the position of the description information 80.
  • the operation of placing the beverage container 70 to which the descriptive information 80 is attached to the provision location 101 doubles as the operation of selecting a beverage desired by the user from a plurality of types of beverages that can be provided by the beverage provision system 10. Therefore, it is possible to omit the work of selecting a desired beverage from a plurality of types of beverages. As described above, according to the beverage providing system 10, it is possible to reduce the time and effort of the user when providing the beverage desired by the user. Moreover, since the drink provision system 10 of Embodiment 1 is comprised by the drink dispenser 20 independent, the drink provision system 10 can be easily installed as a stand-alone type drink dispenser.
  • the drink dispenser 20 constituting the beverage providing system 10 of the first embodiment will be further described.
  • the drink dispenser 20 is provided with the input part 21, the camera 22, the output part 23, the drink discharge apparatus 24, the memory
  • the input unit 21 is a device for the user to operate the beverage providing system 10 (beverage dispenser 20) and input information.
  • the input unit 21 includes an ejection button 211 and a touch pad 212 (see FIG. 1).
  • the discharge button 211 is a button for starting the discharge of the beverage from the beverage discharge device 24.
  • the touch pad 212 is used for the operation of the beverage delivery system 10 and the input of information.
  • the ejection button 211 is not essential.
  • the touch pad 212 may also serve as a discharge button, or the discharge of the beverage from the beverage discharge device 24 may be started when a predetermined time has elapsed since the determination of the beverage to be discharged or the determination of the beverage to be discharged.
  • the camera 22 is a device for obtaining an image of the provision location 101. As shown in FIG. 1, the camera 22 is installed such that the provision location 101 falls within the imaging range.
  • the provision place 101 is a place where a user who intends to receive provision of a beverage by the beverage provision system 10 places the container 70 for beverage.
  • the camera 22 is a device for obtaining an image (hereinafter also referred to as an input image) of the appearance of the beverage container 70 at the providing location 101.
  • the container 70 for drinks generally assumes the container which a person uses in order to drink a drink. Examples of the container 70 for beverage include cups (teacup cups, tea cups, mugs, etc.), glasses (tumbler glasses, wine glasses, champagne glasses, brandy glasses, cocktail glasses, goblets, etc.), teacups, cups.
  • FIGS. 3 to 6 show the images P10 to P13 generated by the camera 22.
  • FIG. The same beverage container 70 is shown in the images P10 to P13.
  • the description information 80 is handwritten on the side surface (outer surface) of the beverage container 70.
  • the description information 80 is a so-called check mark.
  • the descriptive information 80 is not a check mark, but a character (alphabet etc.), a figure (illustration of an organism or article etc.), a symbol (.o slashed., +, .DELTA. Etc.) or a color (green, red, blue etc.) It may be information indicating binding.
  • the image P10 shows the appearance of the beverage container 70 without the description information 80.
  • a plurality of determination areas (first to third determination areas) Z11 to Z13 are set on the appearance of the beverage container 70.
  • the first determination area Z11 is, for example, an area occupying a place having a ratio of 5% to 35% to the height of the beverage container 70.
  • the second determination area Z12 is, for example, an area occupying a place having a ratio of 35% to 65% to the height of the beverage container 70.
  • the third determination region Z13 is, for example, a region occupying a place having a ratio of 65% to 95% to the height of the beverage container 70.
  • On the side surface (outer surface) of the beverage container 70 three check boxes 71 to 73 are printed as marks of the first to third judgment areas Z11 to Z13.
  • the three check boxes 71 to 73 have the same size and are arranged at regular intervals along the height of the beverage container 70.
  • the output unit 23 is a device for presenting information to the user.
  • the output unit 23 has a display 231, as shown in FIG.
  • the display 231 is, for example, a thin display device such as a liquid crystal display or an organic EL display.
  • the touch pad 212 of the input unit 21 is disposed so as to overlap the display surface of the display 231 of the output unit 23, and the touch pad 212 and the display 231 constitute a touch panel.
  • the beverage dispensing device 24 is a device for pouring a beverage to the provision location 101 of the beverage dispenser 20 according to the provided beverage information.
  • the beverage information may include multiple items.
  • the plurality of items include an item (basic item) corresponding to the type of beverage and one or more items (adjustment item) corresponding to the adjustment of the beverage.
  • the basic items indicate basic information for identifying the type of beverage.
  • the basic information may be information related to hemorrhoids. Examples of basic information about salmon are espresso (hot / ice), cappuccino (hot / ice), latte (hot / ice), americano (hot / ice), cafe mocha (hot ice), white mocha (hot / ice) Can be mentioned.
  • the basic information may be information on juices such as orange juice and apple juice.
  • the basic information may be information on carbonated beverages such as cider and cola.
  • the basic information may be information on tea such as black tea, green tea, oolong tea and the like.
  • the basic information may be information on soups such as corn soup and onion soup.
  • the basic information may be information on sweetness of chilled sweet potato, sweet sake, azalea, shiruko and the like.
  • the basic information may be information on alcoholic beverages such as beer, shochu, whiskey, brandy, wine, highball, coffee high, amaretto cafe, cocktails and the like.
  • the highball is a beverage (generally 1: 3) in which a whiskey and a carbonated beverage such as carbonated water are mixed.
  • Tung high is a beverage (generally 1: 2 or 1: 4) mixed with shochu and soft drinks.
  • Amaretto cafe is a beverage (generally 100 ml of salmon and 10 to 15 ml of amaretto) in which amaretto (liqueur) is mixed with a rice cake.
  • the adjustment item indicates adjustment information for adjusting the beverage.
  • the adjustment information is information for adjusting the finish of the beverage.
  • An example of the adjustment information is the amount of beverage.
  • the contents of the adjustment information may vary depending on the basic information.
  • examples of adjusting information include: thickness of chewing, amount of chewing, amount of milk foam, extraction temperature, type of milk, amount of milk, type of syrup or sauce, An amount of syrup or sauce may be mentioned.
  • examples of the adjustment information include the sweetness of juice and the amount of juice.
  • the adjustment information include the strength of carbonation and the amount of carbonated beverages.
  • examples of the adjustment information include the thickness of tea and the amount of tea.
  • examples of the adjustment information include the type of whiskey and the ratio of whiskey to carbonated water.
  • examples of the adjustment information include the type of shochu and the ratio of shochu to soft drinks.
  • the basic information does not include the information of hot or ice, the information of whether it is hot or ice may be used as the adjustment information.
  • the beverage discharge device 24 is designed to be able to provide the beverage specified in the beverage information. Since such a well-known structure can be suitably employ
  • the storage device 25 is used to store information necessary for processing in the beverage providing system 10.
  • the storage device 25 is a read only memory (ROM), a random access memory (RAM), an electrically erasable programmable read only memory (EEPROM), or the like.
  • the storage device 25 stores a database D11.
  • beverage information is registered in association with a plurality of determination areas (first to third determination areas Z11 to Z13) of the beverage container 70. That is, the database D11 indicates the correspondence between the determination area of the beverage container 70 and the beverage information.
  • Table 1 shows an example of the data structure of the database D11. In order to simplify the description, in Table 1, the beverage information includes only basic items. That is, in Table 1, the beverage information matches the basic item.
  • the processing unit 26 is an electrical circuit that controls the operation of the beverage dispenser 20.
  • the processing unit 26 may be realized by, for example, one or more processors (microprocessors) and one or more memories. That is, the one or more processors function as the processing unit 26 by executing one or more programs stored in one or more memories.
  • the one or more programs may be pre-recorded in the memory, or may be provided by being recorded on a non-transitory recording medium such as a memory card through a telecommunication line such as the Internet.
  • the processing unit 26 includes an image acquisition unit F11, a determination unit F12, an information acquisition unit F13, and a control unit F14.
  • the image acquisition unit F ⁇ b> 11, the determination unit F ⁇ b> 12, the information acquisition unit F ⁇ b> 13, and the control unit F ⁇ b> 14 do not necessarily indicate a substantial configuration, but indicate functions implemented by the processing unit 26.
  • the image acquisition unit F ⁇ b> 11 acquires an image of the provision place 101 where the beverage is poured from the beverage discharge device 24.
  • the image acquisition unit F11 acquires an input image that is an image of the appearance of the beverage container 70 in the provision location 101 where the beverage is poured from the beverage discharge device 24.
  • An image of the serving location 101 (in particular, an input image) is generated by the camera 22. Therefore, the image acquisition unit F11 acquires an input image from the camera 22. Then, the image acquisition unit F11 gives the image (input image) acquired from the camera 22 to the determination unit F12.
  • the determination unit F12 is configured to determine whether the beverage container 70 is placed at the providing location 101. Based on the image generated by the camera 22, the determination unit F12 determines whether the beverage container 70 is shown in the image. For example, the determination unit F12 executes a process of detecting an edge from the image, and determines whether the beverage container 70 is reflected in the image based on whether or not the edge corresponding to the beverage container 70 is detected. In addition, since a conventionally well-known method can be utilized as a method of such edge detection, detailed description is abbreviate
  • the determination unit F12 determines that the beverage container 70 is placed at the provision location 101, it starts the process of determining the beverage information.
  • the process of determining the beverage information may be started when it is determined that the beverage container 70 is placed at the provision location 101, or may be started after a predetermined time has elapsed from that point.
  • the determination unit F12 determines the beverage information based on the position on the input image of the difference area A10 (see FIGS. 4 to 6) where there is a difference between the input image and the reference image.
  • the reference image is an image serving as a reference of the appearance of the beverage container 70 shown in the input image.
  • the determination unit F12 gives the determined beverage information to the information acquisition unit F13.
  • the determination unit F12 will be described in more detail below. First, upon obtaining an input image from the image acquisition unit F11, the determination unit F12 acquires a reference image corresponding to the input image. The reference image is stored in the storage device 25. The determination unit F12 extracts a difference area A10 from the difference between the input image and the reference image. For example, in FIGS. 4 to 6, the pixel group constituting the description information 80 is extracted as the difference area A10. For example, the determination unit F12 generates a difference image between the input image and the reference image, and extracts pixels in which the pixel value exceeds the threshold in the difference image. Then, if the plurality of extracted pixels are adjacent to one another, the determination unit F12 classifies the plurality of pixels into the same group. By this, a difference area A10 as shown in FIGS. 4 to 6 is extracted. In addition, since the extraction method of such difference area
  • the determination unit F12 specifies locations of a plurality of determination areas (first to third determination areas Z11 to Z13) in the input image.
  • the determination unit F12 detects the edge of the beverage container 70 in the input image, and identifies the region where the beverage container 70 exists.
  • judgment part F12 acquires the size in the perpendicular direction of the field where container 70 for drinks exists as height of container 70 for drinks.
  • the determination unit F12 acquires ratio information.
  • the ratio information indicates the ratio of each of the first to third determination areas Z11 to Z13 to the height of the beverage container 70.
  • the ratio of the first determination area Z11 to the height of the beverage container 70 is 5% to 35%.
  • the ratio of the second determination area Z12 to the height of the beverage container 70 is 35% to 65%.
  • the ratio of the third determination area Z13 to the height of the beverage container 70 is 65% to 95%.
  • the ratio information is stored in the storage device 25.
  • the determination unit F12 specifies the locations of the first to third determination areas Z11 to Z13 based on the height and ratio information of the beverage container 70 shown in the input image.
  • the determination unit F12 determines which of the first to third determination areas Z11 to Z13 the difference area A10 exists.
  • the determination unit F12 determines the reference point R10 of the difference area A10 (see FIG. 7).
  • the reference point R10 is a point that is the center of gravity of a triangle that approximates the description information 80.
  • the reference point R10 may be a point corresponding to any one of the vertex and the center of a triangle obtained by approximating the descriptive information 80.
  • the reference point R10 may be a point that is the center of the difference area A10. In the example shown in FIG. 7, the reference point R10 of the difference area A11 is within the second determination area Z12.
  • the determination unit F12 determines that the difference region A10 is present in the second determination region Z12. As described above, the determination unit F12 determines which of the plurality of determination areas Z11 to Z13 the reference point R10 of the difference area A10 is included in, and determines the determination area including the reference point among the plurality of determination areas Z11 to Z13. It is determined that there is a difference area A10. Thereby, as shown in FIG. 7, even if the difference area A10 spans the second determination area Z12 and the third determination area Z13, the difference area A10 falls into either the second determination area Z12 or the third determination area Z13. You can decide if there is.
  • the determination unit F12 refers to the database D11 (see Table 1) of the storage device 25 and extracts the beverage information corresponding to the determination region where the difference region A10 is.
  • the determination unit F12 determines the beverage information extracted from the database D11 as beverage information corresponding to the input image. Then, the determination unit F12 gives the determined beverage information to the information acquisition unit F13.
  • the determination unit F12 determines that the difference area A10 is in the first determination area Z11. Since the beverage information corresponding to the first determination area Z11 in the database D11 is "Americano (hot)", the determination unit F12 provides beverage information indicating "Americano (hot)" to the information acquisition unit F13.
  • the determination unit F12 determines that the difference area A10 is in the second determination area Z12. Since the beverage information corresponding to the second determination area Z12 in the database D11 is "white mocha (hot)", the determination unit F12 gives beverage information indicating "white mocha (hot)" to the information acquisition unit F13.
  • the determination unit F12 determines that the difference region A10 is in the third determination region Z13. Since the beverage information corresponding to the third determination area Z13 in the database D11 is "cafe latte (hot)", the determination unit F12 provides the information acquisition unit F13 with beverage information indicating "cafe latte (hot)".
  • the determination unit F12 gives default beverage information to the information acquisition unit F13.
  • the default beverage information may be, for example, "black coffee (hot)”. That is, if the determination unit F12 can not extract the difference region A10, or if the difference region A10 is not present in any of the first to third determination regions Z11 to Z13, “black coffee (hot)” as the beverage information To the information acquisition unit F13.
  • the display 231 reads the description information 80. You may display a message notifying you of the failure.
  • the information acquisition unit F13 acquires beverage information determined based on the position on the input image of the difference area A10 in which there is a difference between the input image and the reference image.
  • the beverage information is given from the determination unit F12 to the information acquisition unit F13 as described above. That is, the information acquisition unit F13 acquires, from the determination unit F12, beverage information determined based on the position on the input image of the difference area A10 in which there is a difference between the input image and the reference image.
  • the information acquisition unit F13 gives the beverage information acquired from the determination unit F12 to the control unit F14.
  • the control unit F14 is configured to give beverage information to the beverage discharge device 24 and cause the beverage discharge device 24 to discharge a beverage based on the beverage information. More specifically, the control unit F14 drinks the beverage based on the beverage information acquired by the information acquiring unit F13, and the first mode in which the beverage selected by the touch pad 212 of the input unit 21 is ejected from the beverage ejection device 24 And a second mode for causing the discharge device 24 to discharge. The first mode and the second mode are switched according to the input by the Dutch pad 121.
  • the control unit F14 displays the order screen on the display 231 of the output unit 23 in the first mode.
  • the order screen displays a plurality of buttons for the user to select a beverage through the touch pad 212.
  • the control unit F14 acquires beverage information of the beverage corresponding to the selected button.
  • the discharge button 211 of the input unit 21 is operated (pressed) by the user, the control unit F14 supplies the acquired beverage information to the beverage discharge device 24 to start the discharge of the beverage.
  • the first mode is not essential.
  • the control unit F14 causes the display 231 of the output unit 23 to display a confirmation screen in the second mode.
  • the control part F14 will display a confirmation screen on the display 231 based on the received drink information, if drink information is received from the information acquisition part F13.
  • the confirmation screen displays a label for displaying the beverage information. Then, when the discharge button 211 of the input unit 21 is operated (pressed) by the user while the confirmation screen is displayed, the control unit F14 supplies the beverage information to the beverage discharge device 24 to start the discharge of the beverage.
  • the processing unit 26 is realized by one or more processors and one or more memories. That is, the processing unit 26 is realized by one or more processors executing a program (drink supply program).
  • the beverage providing program when executed by the one or more processors, provides the one or more processors with a first instruction, a second instruction, and a third instruction.
  • the first instruction is an instruction to acquire an input image that is an image of the appearance of the beverage container 70 in the provision location 101 where the beverage is poured from the beverage discharge device 24.
  • the second instruction is the position on the input image of the difference area A10 having a difference between the input image (obtained by the first instruction) and the reference image that is the image serving as the reference of the appearance of the beverage container 70 captured in the input image It is an instruction to acquire beverage information determined based on.
  • the third instruction is an instruction to cause the beverage discharge device 24 to discharge the beverage based on the beverage information (obtained by the second instruction). According to such a beverage providing program, as with the beverage providing system 10, it is possible to reduce the time and effort of the user when providing the user's desired beverage.
  • the processing unit 26 executes the following beverage providing method.
  • the beverage providing method includes a first step, a second step, and a third step.
  • the first step is a step of acquiring an input image which is an image of the appearance of the beverage container 70 at the supply location 101 where the beverage is poured from the beverage discharge device 24.
  • the second step is to determine the beverage information determined based on the position on the input image of the difference area A10 having a difference between the input image and the reference image which is the image serving as the reference of the appearance of the beverage container 70 shown in the input image. It is a step to acquire.
  • the third step is a step of causing the beverage discharge device 24 to discharge the beverage based on the beverage information. According to such a beverage providing method, as with the beverage providing system 10, it is possible to reduce the time and effort of the user when providing the beverage desired by the user.
  • the image acquisition unit F11 acquires an input image and gives it to the determination unit F12 (step S102). Thereby, the determination unit F12 extracts a difference area A10 between the input image and the reference image (step S103).
  • the determination unit F12 determines which of the first to third determination areas Z11 to Z13 the difference area A10 is in (steps S104, S106, and S108). If the difference area A10 is in the first determination area Z11 (step S104: Yes), the determination unit F12 proceeds to step S105. In step S105, the determination unit F12 acquires beverage information (first beverage information) corresponding to the first determination region Z11 from the database D11. When the difference area A10 is in the second determination area Z12 (Step S104: No, Step S106: Yes), the determination unit F12 proceeds to Step S107. In step S107, the determination unit F12 acquires beverage information (second beverage information) corresponding to the second determination area Z12 from the database D11.
  • Step S104 When the difference area A10 is in the third determination area Z13 (Step S104: No, Step S106: No, Step S108: Yes), the determination unit F12 proceeds to Step S109.
  • step S109 the determination unit F12 acquires beverage information (third beverage information) corresponding to the third determination region Z13 from the database D11.
  • Step S110 the determination unit F12 acquires default beverage information (fourth beverage information) from the database D11. The beverage information (one of the first to fourth beverage information) acquired by the determination unit F12 in this manner is passed to the control unit F14 via the information acquisition unit F13.
  • step S111 the control unit F14 displays the beverage information on the confirmation screen (step S111).
  • step S112: Yes when the discharge button 211 is operated within a predetermined time (step S112: Yes), the control unit F14 proceeds to step S113.
  • step S113 the control unit F14 causes the beverage discharge device 24 to discharge the beverage corresponding to the beverage information acquired from the information acquisition unit F13.
  • the predetermined time passes while the discharge button 211 is not operated (step S112: No)
  • the processing is completed without the beverage being discharged from the beverage discharge device 24.
  • beverage information is determined according to the place (determination area Z11 to Z13) where the description information 80 is located.
  • the determination unit F12 may display an error message or the like on the display 231.
  • the content itself of the description information 80 is not particularly taken into consideration. Therefore, the description information 80 should just be what the drink provision system 10 can recognize as difference area
  • FIGS. 9A and 9B an example of use of the beverage delivery system 10 will be described with reference to FIGS. 9A and 9B.
  • the beverage providing system 10 is installed at a cafe store and the cafe staff member 60 uses the beverage providing system 10 to provide a beverage according to a customer's order will be described.
  • the user 60 provides the beverage providing system 10 with the beverage container 70 in which the description information 80 is written in the determination area (the first determination area Z11) corresponding to the beverage ordered by the customer (for example, Americano (hot)). Place at location 101 (see FIG. 9A).
  • the drink provision system 10 extracts the drink information (Americano (hot)) corresponding to the position (1st determination area Z11) of difference area A10 on an input image from the database D11. And the drink provision system 10 displays the extracted drink information on a confirmation screen.
  • the user 60 confirms the beverage information on the confirmation screen, and operates the discharge button 211 if there is no problem (see FIG. 9B).
  • the beverage providing system 10 discharges the beverage corresponding to the extracted beverage information from the beverage discharge device 24.
  • the user 60 simply places the beverage container 70 in which the descriptive information 80 is written in the place corresponding to the beverage ordered by the customer in the provision place 101 of the beverage provision system 10, and operates the discharge button 211, The customer's ordered beverage can be poured into the beverage container 70.
  • the user who writes the descriptive information 80 in the beverage container 70 based on the customer's order and the user who places the beverage container 70 in the provision location 101 of the beverage provision system 10 may be different users.
  • the cashier staff receiving the customer's order may write on the beverage container 70, and the kitchen staff may place the beverage container 70 at the provision location 101 of the beverage providing system 10.
  • the cashier staff who receives the customer's order may write to the beverage container 70, and the customer may place the beverage container 70 at the provision location 101 of the beverage provision system 10.
  • FIG. 10 shows a beverage providing system 10A of the second embodiment.
  • the beverage providing system 10A is configured by the beverage dispenser 20 (see FIG. 1) alone as in the first embodiment.
  • the drink provision system 10A is provided with the input part 21, the camera 22, the output part 23, the drink discharge apparatus 24, the memory
  • the storage device 25A is used to store information necessary for processing in the beverage providing system 10A.
  • the storage device 25A is, for example, a ROM, a RAM, or an EEPROM.
  • the storage device 25A stores a database D11A different from the database D11.
  • the beverage information includes a plurality of items (first to third items).
  • the first to third determination areas Z11 to Z13 of the beverage container 70 correspond to the first to third items of the beverage information, respectively.
  • the first item corresponds to the basic item
  • the second and third items correspond to the adjustment item.
  • the second item is the type of syrup or sauce
  • the third item is the type of milk.
  • the contents (basic information, adjustment information) of the items are registered in association with the description information for each of the first to third determination areas Z11 to Z13.
  • the descriptive information is information indicating characters, figures, symbols or colors or their combination (see Table 2).
  • the database D11A indicates, for each determination area of the beverage container 70, the correspondence between the contents of the item (basic information, adjustment information) and the description information.
  • the contents of the items are associated one-to-one with the description information, but the same contents may be associated with a plurality of description information.
  • FIGS. 11 to 15 show images P21 to P24 generated by the camera 22.
  • FIG. in the images P21 to P24 the same beverage container 70 as the image P10 (see FIG. 3) is shown.
  • the description information 81 is handwritten on the side surface of the beverage container 70.
  • the description information 81 and 82 are handwritten on the side surface of the beverage container 70.
  • the description information 83 and 84 are handwritten on the side surface of the beverage container 70.
  • the description information 81, 82, 85 is handwritten on the side surface of the beverage container 70.
  • the image P10 shows the appearance of the beverage container 70 without the description information.
  • a plurality of judgment areas (first to third judgment areas) Z11 to Z13 are set on the appearance of the beverage container 70.
  • the processing unit 26A is an electrical circuit that controls the operation of the beverage dispenser.
  • the processing unit 26A can be realized by, for example, one or more processors (microprocessors) and one or more memories.
  • the processing unit 26A includes an image acquisition unit F11, a determination unit F12A, an information acquisition unit F13, and a control unit F14.
  • the determination unit F12A determines the beverage information based on the position on the input image of the difference area having the difference between the input image and the reference image. In particular, the determination unit F12A determines the plurality of items (first to third items) of the beverage information based on the presence or absence of the difference region in the plurality of determination regions (first to third determination regions) Z11 to Z13. Configured Further, the determination unit F12A is configured to determine the beverage information based on the description information obtained from the difference area in addition to the presence or absence of the difference area. Here, the determination unit F12A can obtain the description information from the difference area by using conventionally well-known recognition techniques for characters, symbols, figures, and the like. In such recognition techniques, pattern matching, learned models, etc. may be used.
  • the determination unit F12A upon obtaining an input image from the image acquisition unit F11, acquires a reference image corresponding to the input image.
  • the determination unit F12A extracts a difference area from the difference between the input image and the reference image. For example, when the image P21 is an input image, a pixel group constituting the description information 81 "A" is extracted as a difference area A11 from the difference between the image P21 and the image P10.
  • a pixel group constituting the description information 82 "S" is extracted as a difference area A12 from the difference between the image P22 and the image P10.
  • the pixel group constituting the description information 83 "WM” is extracted as the difference area A13 from the difference between the image P23 and the image P10, and further, the description information 84 "A"
  • the pixel group which comprises these is extracted as difference area A14.
  • a pixel group constituting the description information 85 "V” is extracted as a difference area A15 from the difference between the image P24 and the image P10. . Note that such an extraction method of difference areas A11 to A15 may be a conventionally known method, and thus detailed description will be omitted.
  • the determination unit F12A specifies the locations of a plurality of determination regions (first to third determination regions Z11 to Z13) in the input image.
  • the determination unit F12A determines which of the first to third determination areas Z11 to Z13 the extracted difference area is in.
  • one difference area A11 is extracted, and it is determined that the difference area A11 is in the first determination area Z11.
  • two difference areas A11 and A12 are extracted, it is determined that the difference area A11 is in the first determination area Z11, and the difference area A12 is determined in the third determination area Z13.
  • two difference areas A13 and A14 are extracted, it is determined that the difference area A13 is in the first determination area Z11, and the difference area A14 is determined in the second determination area Z12.
  • the difference area A11 is determined to be in the first determination area Z11
  • the difference area A12 is determined to be in the third determination area Z13
  • the area A15 is determined to be in the second determination area Z12.
  • the determination unit F12A refers to the database D11A (see Table 2) of the storage device 25A, extracts the contents of the first to third items of the beverage information, and determines the beverage information. Then, the determination unit F12A provides the determined beverage information to the information acquisition unit F13. When there is no difference area in the first to third determination areas Z11 to Z13, the determination unit F12A sets the content of the item as the default content.
  • the default content of the first item is, for example, "black coffee (hot)”.
  • the default content of the second and third items is, for example, "none”. That is, since the second and third items are adjustment items, it is considered that adjustment is not performed when there is no difference area.
  • the determination unit F12A extracts “Americano (hot)”, which is the content of the item corresponding to the description information 81 obtained from the difference area A11, from the database D11A.
  • the determination unit F12A sets the contents of the second and third items to "none" because there is no difference area for the second item and the third item.
  • the determination unit F12A determines that the content of the first item is "Americano (hot)", the content of the second item is "none", and the content of the third item is "none” for the beverage information. Do.
  • the determination unit F12A extracts “Americano (hot)”, which is the content of the item corresponding to the description information 81 (“A”) obtained from the difference area A11, from the database D11A. Further, for the third item, the determination unit F12A extracts “soy milk” which is the content of the item corresponding to the description information 82 (“S”) obtained from the difference area A12 from the database D11A. The determination unit F12A sets the content of the second item to "none" because there is no difference area for the second item. Thus, the determination unit F12A determines that the content of the first item is “Americano (hot)”, the content of the second item is “none”, and the content of the third item is “soy milk” for beverage information. Do.
  • the determination unit F12A extracts “white mocha (hot)”, which is the content of the item corresponding to the description information 83 (“WM”) obtained from the difference area A13, from the database D11A. Further, for the second item, the determination unit F12A extracts “almond syrup” which is the content of the item corresponding to the description information 84 (“A”) obtained from the difference area A14 from the database D11A. The determination unit F12A sets the content of the third item to "none" because there is no difference area for the third item. In this manner, the determination unit F12A determines that the content of the first item is "white mocha (hot)”, the content of the second item is “almond syrup”, and the content of the third item is "none” for the beverage information Decide.
  • difference areas A11, A15, and A12 exist in the first, second, and third determination areas Z11, Z12, and Z13, respectively.
  • the determination unit F12A extracts “Americano (hot)”, which is the content of the item corresponding to the description information 81 (“A”) obtained from the difference area A11, from the database D11A.
  • the determination unit F12A extracts "vanilla syrup”, which is the content of the item corresponding to the description information 85 (“V”) obtained from the difference area A15, from the database D11A.
  • the determination unit F12A extracts “soy milk”, which is the content of the item corresponding to the description information 82 (“S”) obtained from the difference area A12, from the database D11A.
  • the determination unit F12A determines that the content of the first item is “Americano (hot)”, the content of the second item is “vanilla syrup”, and the content of the third item is “soy milk” for beverage information. decide.
  • step S201: Yes the image acquisition unit F11 acquires an input image and gives it to the determination unit F12A (step S202).
  • the determination unit F12A extracts the difference area between the input image and the reference image (step S203).
  • the determination unit F12A determines the content of the first item of the beverage information based on the difference area in the first determination area Z11 (S204). Here, if there is a difference area, the content of the first item is set based on the description information obtained from the difference area. If there is no difference area, the content of the first item is set to the default content. In addition, the determination unit F12A determines the content of the second item of the beverage information based on the difference area in the second determination area Z12 (S205). Here, if there is a difference area, the content of the second item is set based on the description information obtained from the difference area. If there is no difference area, the content of the second item is set to the default content.
  • the determination unit F12A determines the content of the third item of the beverage information based on the difference area in the third determination area Z13 (S206). Here, if there is a difference area, the content of the third item is set based on the description information obtained from the difference area. If there is no difference area, the content of the third item is set to the default content.
  • the determination unit F12A determines the contents of the first to third items (S204 to S206), whereby the determination unit F12A determines the beverage information. Then, the beverage information determined by the determination unit F12A is passed to the control unit F14 via the information acquisition unit F13.
  • the control unit F14 displays the beverage information on the confirmation screen (step S207).
  • the confirmation screen when the discharge button 211 is operated within a predetermined time (step S208: Yes), the control unit F14 proceeds to step S209.
  • the control unit F14 causes the beverage discharge device 24 to discharge the beverage corresponding to the beverage information acquired from the information acquisition unit F13.
  • the predetermined time passes while the discharge button 211 is not operated (step S208: No)
  • the processing is completed without the beverage being discharged from the beverage discharge device 24.
  • the beverage information is determined according to the place (determination area) where the description information 80 is located and the content of the description information 80.
  • the plurality of difference regions are allowed to be in different determination regions, but are not allowed to be in the same determination region. Therefore, when a plurality of difference areas are extracted in the same determination area, the determination unit F12A may display an error message or the like on the display 231.
  • beverage providing system 10A a usage example of the beverage providing system 10A will be briefly described.
  • a beverage providing system 10A is installed at a cafe store and a user who is a staff of the cafe uses the beverage providing system 10A to provide a beverage according to a customer's order.
  • the descriptive information 81, 85, 82 will be the first, second and second of the beverage container 70.
  • [3] Write in the judgment areas Z11, Z12, and Z13, and place them in the provision place 101.
  • the beverage providing system 10A is based on the input image and the position and description information of the difference area, the beverage information (the first item "Americano (hot)", the second item “vanilla syrup", the third item “soy milk”) To determine). Then, the beverage providing system 10A displays the beverage information on the confirmation screen. The user confirms the beverage information on the confirmation screen, and may operate the discharge button 211 if there is no problem. Thus, the beverage providing system 10A discharges the beverage corresponding to the extracted beverage information from the beverage discharge device 24.
  • the user places the beverage container 70 in which the description information is written at the predetermined position according to the beverage ordered by the customer at the provision location 101 of the beverage provision system 10A, and operates the discharge button 211,
  • the ordered beverage can be poured into the beverage container 70.
  • the user and the beverage container 70 write the descriptive information 81, 85, 82 in the first, second and third judgment areas Z11, Z12, Z13 of the beverage container 70 based on the customer's order.
  • the users placed in the provision location 101 may be different users.
  • the cashier staff who receives the customer's order may write on the beverage container 70, and the kitchen staff may place the beverage container 70 at the provision location 101.
  • the cashier staff who receives the customer's order may write on the beverage container 70, and the customer may place the beverage container 70 at the provision location 101.
  • FIG. 16 shows a beverage providing system 10B of the third embodiment.
  • the beverage providing system 10B of the third embodiment is configured solely with the beverage dispenser 20 (see FIG. 1).
  • the drink provision system 10B is provided with the image acquisition part F11, the information acquisition part F13, and the control part F14, as shown in FIG.
  • the image acquisition unit F11 acquires input images P30 to P32 (see FIGS. 17 to 19) which are images of the appearance of the beverage container 700 at the supply location 101 where the beverage is poured from the beverage discharge device 24.
  • the information acquisition unit F13 acquires beverage information.
  • the beverage information is a difference area A16, A17 (see FIG. 17) having a difference between the input images P30 to P32 and the reference image P30 (see FIG. 17) which is an image serving as a reference of the appearance of the beverage container 700 shown in the input images P30 to P32. 18 and the description information 86 and 87 obtained from FIG.
  • the control unit F14 causes the beverage discharge device 24 to discharge the beverage based on the beverage information acquired by the information acquisition unit F13.
  • beverage information for determining the beverage to be discharged from the beverage discharge device 24 is determined based on the description information 86, 87 obtained from the difference areas A16 and A17 on the input images P31 to P32. ing. Therefore, the user can receive the provision of the beverage corresponding to the descriptive information 86, 87 attached to the beverage container 700 from the beverage provision system 10B by placing the beverage container 700 at the provision location 101. That is, the operation of placing the beverage container 700 at the provision location 101 after attaching the descriptive information 86 and 87 also serves as the operation of selecting the beverage desired by the user from a plurality of types of beverages that can be provided by the beverage provision system 10B. ing.
  • the beverage providing system 10B it is possible to omit the work of selecting a desired beverage from a plurality of types of beverages. As described above, according to the beverage providing system 10B, it is possible to reduce the time and effort of the user when providing the beverage desired by the user. Moreover, since the drink provision system 10B of Embodiment 3 is comprised by the drink dispenser 20 independent, the drink provision system 10B can be easily installed as a stand-alone type drink dispenser.
  • the drink provision system 10B is provided with the input part 21, the camera 22, the output part 23, the drink discharge apparatus 24, the memory
  • the storage device 25B is used to store information necessary for processing in the beverage providing system 10B.
  • the storage device 25B is a ROM, a RAM, an EEPROM or the like.
  • the storage device 25B stores a database D11B different from the databases D11 and D11A.
  • the beverage information includes only basic items. Beverage information (basic item) is registered in the database D11B in association with the description information. Descriptive information is information which shows a character, a figure, a symbol, a color, or a combination of these. That is, the database D11B indicates the correspondence between the beverage information and the description information.
  • Table 3 shows an example of the data structure of the database D11B. In Table 3, although the beverage information is associated with the description information in a one-to-one relationship, the same beverage information may be associated with a plurality of description information.
  • FIGS. 17 to 19 show images P30 to P32 generated by the camera 22.
  • FIG. The same beverage container 700 is shown in the images P30 to P32.
  • the description information 86 is handwritten on the side surface of the beverage container 700.
  • the description information 87 is handwritten on the side surface of the beverage container 700.
  • the image P30 shows the appearance of the beverage container 700 without the description information.
  • the processing unit 26B is an electrical circuit that controls the operation of the beverage dispenser 20.
  • the processing unit 26B can be realized by, for example, one or more processors (microprocessors) and one or more memories.
  • the processing unit 26B includes an image acquisition unit F11, a determination unit 12B, an information acquisition unit F13B, and a control unit F14.
  • the determination unit F12B is configured to determine the beverage information based on the description information obtained from the difference area having the difference between the input image and the reference image.
  • the determination unit F12B can obtain the description information from the difference area by using conventionally known recognition techniques for characters, symbols, figures, and the like. In such recognition techniques, pattern matching, learned models, etc. may be used.
  • the determination unit F12B upon obtaining an input image from the image acquisition unit F11, acquires a reference image corresponding to the input image.
  • the determination unit F12B extracts a difference area from the difference between the input image and the reference image.
  • the image P30 is used as a reference image.
  • a pixel group constituting the description information 86 of "o" is extracted as a difference area A16 from the difference between the image P31 and the image P30.
  • the pixel group constituting the description information 87 "+" is extracted as the difference area A17 from the difference between the image P32 and the image P30.
  • region A16, A17 may be a conventionally well-known method, detailed description is abbreviate
  • the determination unit F12B refers to the database D11B (see Table 3) of the storage device 25B, extracts the beverage information corresponding to the description information, and determines the beverage information. Then, the determination unit F12B provides the determined beverage information to the information acquisition unit F13. When the difference area can not be extracted from the input image, the determination unit F12B sets the beverage information as default beverage information.
  • the default beverage information is, for example, "black coffee (hot)".
  • the determination unit F12B determines "Americano (hot)” as the beverage information for the image P31.
  • “cappuccino (hot)” which is the content of the item corresponding to the description information 87 obtained from the difference area A17, is extracted from the database D11B.
  • the determination unit F12B determines "Americano (hot)” as beverage information for the image P32.
  • the processing unit 26 is realized by one or more processors and one or more memories. That is, the processing unit 26 is realized by one or more processors executing a program (drink supply program).
  • the beverage providing program when executed by the one or more processors, provides the one or more processors with a first instruction, a second instruction, and a third instruction.
  • the first instruction is an instruction to acquire input images P30 to P32, which are images of the appearance of the beverage container 700 at the supply location 101 where the beverage is poured from the beverage discharge device 24.
  • the second instruction acquires beverage information corresponding to the description information 86, 87 obtained from the difference areas A16 and A17 having the difference between the input image P30 to P32 (obtained by the first instruction) and the reference image P30.
  • the third instruction is an instruction to cause the beverage discharge device 24 to discharge the beverage based on the beverage information (obtained by the second instruction). According to such a beverage providing program, as with the beverage providing system 10B, it is possible to reduce the time and effort of the user when providing the user's desired beverage.
  • the processing unit 26 executes the following beverage providing method.
  • the beverage providing method includes a first step, a second step, and a third step.
  • the first step is a step of acquiring input images P30 to P32 which are images of the appearance of the beverage container 700 at the supply location 101 where the beverage is poured from the beverage discharge device 24.
  • the second step is a step of acquiring beverage information corresponding to the description information 86 and 87 obtained from the difference areas A16 and A17 having the difference between the input images P30 to P32 and the reference image P30.
  • the reference image P30 is an image serving as a reference of the appearance of the beverage container 700 captured in the input images P30 to P32.
  • the third step includes the step of discharging the beverage based on the beverage information to the beverage discharge device 24.
  • a beverage providing method as with the beverage providing system 10B, it is possible to reduce the time and effort of the user when providing the user's desired beverage.
  • step S301: Yes the image acquisition unit F11 acquires an input image and gives it to the determination unit F12B (step S302).
  • the determination unit F12B extracts a difference area between the input image and the reference image (step S303).
  • the determination unit F12B acquires description information from the extracted difference area (S303), and acquires beverage information from the database D11B based on the description information (S304).
  • the determination unit F12B determines the beverage information.
  • the beverage information determined by the determination unit F12B is passed to the control unit F14 through the information acquisition unit F13.
  • step S306 When the beverage information is received, the control unit F14 displays the beverage information on the confirmation screen (step S306).
  • the confirmation screen when the discharge button 211 is operated within a predetermined time (step S307: Yes), the control unit F14 proceeds to step S308.
  • step S308 the control unit F14 causes the beverage discharge device 24 to discharge the beverage corresponding to the beverage information acquired from the information acquisition unit F13.
  • the predetermined time passes while the discharge button 211 is not operated (step S307: No)
  • the processing is completed without the beverage being discharged from the beverage discharge device 24.
  • the beverage information is determined by the contents of the description information 80 regardless of the location of the description information 80.
  • the drink provision system 10B of this embodiment it is not permitted that several difference area
  • the user may first write the descriptive information in the beverage container 700 and go to the provision location 101.
  • the descriptive information 86 may be written to the beverage container 700 and placed in the provision location 101 as shown in FIG.
  • Beverage providing system 10B determines beverage information based on the description information obtained from the difference area extracted from the input image in which beverage container 700 appears.
  • the drink provision system 10B displays the confirmation screen about drink information.
  • the user confirms the beverage information on the confirmation screen, and may operate the discharge button 211 if there is no problem.
  • the beverage providing system 10B discharges the beverage corresponding to the extracted beverage information from the beverage discharge device 24.
  • the user places the beverage container 700 in which the descriptive information corresponding to the desired beverage is written in the provision location 101 of the beverage provision system 10B, and operates the discharge button 211 to use the desired beverage as a beverage. It can be poured into container 700.
  • the user who writes the description information in the beverage container 700 and the user who places the beverage container 700 in the provision location 101 may be different users.
  • the cashier staff who receives the customer's order may write in the beverage container 700, and the kitchen staff may place the beverage container 700 in the provision location 101.
  • the cashier staff who receives the customer's order may write on the beverage container 700 and the customer may place the beverage container 700 at the provision location 101.
  • FIG. 21 shows a beverage providing system 10C of the fourth embodiment.
  • Beverage providing system 10C includes one or more beverage dispensers 20C and server 30.
  • the server 30 can communicate with each other via the beverage dispenser 20C and the communication network 50.
  • the communication network 50 may be configured not only by a network conforming to a single communication protocol but also by a plurality of networks conforming to different communication protocols.
  • the communication protocol may be selected from various well-known wired and wireless communication standards. Further, as an example of the wireless communication protocol, a standard of wireless LAN (Local Area Network) (for example, Wi-Fi (registered trademark)) can be mentioned.
  • the communication network 50 may include data communication equipment such as repeater hubs, switching hubs, bridges, gateways, routers and the like.
  • the beverage dispenser 20C includes an input unit 21, a camera 22, an output unit 23, a beverage discharge device 24, a processing unit 26C, and a communication unit 27.
  • the beverage dispenser 20C does not have the storage device 25. That is, the beverage dispenser 20C does not have the function of storing the database D11.
  • the communication unit 27 realizes communication via the communication network 50.
  • the communication unit 27 conforms to a communication protocol corresponding to communication via the communication network 50.
  • the processing unit 26C is an electric circuit that controls the operation of the beverage dispenser 20C.
  • the processing unit 26C can be realized by, for example, one or more processors (microprocessors) and one or more memories. As shown in FIG. 22, the processing unit 26C includes an image acquisition unit F11, an information acquisition unit F13, and a control unit F14. However, unlike the processing unit 26, the processing unit 26C does not have the determination unit F12.
  • the server 30 includes a communication unit 31, a processing unit 32, and a storage device 33, as shown in FIG.
  • the communication unit 31 realizes communication via the communication network 50.
  • the communication unit 31 conforms to a communication protocol corresponding to communication via the communication network 50.
  • the processing unit 32 is an electric circuit that controls the operation of the server 30.
  • the processing unit 32 can be realized by, for example, one or more processors (microprocessors) and one or more memories. That is, the processor functions as the processing unit 32 by executing one or more programs stored in one or more memories. The one or more programs may be pre-recorded in the memory, or may be provided by being recorded on a non-transitory recording medium such as a memory card through a telecommunication line such as the Internet.
  • the processing unit 32 has a determination unit F12, as shown in FIG.
  • the storage device 33 has a function of storing the database D11.
  • the database D11 of the server 30 may be shared by the plurality of beverage dispensers 20C.
  • the database D11 may be provided corresponding to each of the plurality of beverage dispensers 20C.
  • the image acquisition part F11, the determination part F12, the information acquisition part F13, and the control part F14 of the drink provision system 10C are the same as the drink provision system 10. However, in the beverage providing system 10C, since the determination unit F12 is in the server 30, the image acquisition unit F11 and the information acquisition unit F13 access the determination unit F12 via the communication network 50. That is, the image acquisition unit F11 provides the image of the providing place 101 acquired from the camera 22 to the determination unit F12 via the communication network 50. In addition, the information acquisition unit F13 acquires beverage information from the determination unit F12 via the communication network 50.
  • Such a beverage providing system 10C operates in the same manner as the beverage providing system 10. Therefore, it is possible to reduce the time and effort of the user when providing the beverage desired by the user.
  • the drink provision system 10C contains the server 30, and not the drink dispenser 20C but the server 30 has the determination part F12. Therefore, the determination unit F12 can be easily updated.
  • An example of updating of the determination unit F12 is updating of a method (program) of extraction of a difference area. By updating the determination unit F12, it is possible to improve the accuracy of the determination in the determination unit F12.
  • An image P40 shown in FIG. 23 and an image P41 shown in FIG. 24 show an example in which first to third determination areas Z21 to Z23 different from the first to third determination areas Z11 to Z13 of the first embodiment are set.
  • the first to third determination areas Z21 to Z23 are rectangular areas. That is, unlike the first to third determination areas Z11 to Z13, the first to third determination areas Z21 to Z23 have a limited range also in the horizontal direction.
  • the reference points of the first to third determination areas Z21 to Z23 coincide with the centers of the check boxes 71 to 73.
  • the determination unit determines the locations of the plurality of determination areas Z21 to Z23 based on the plurality of marks (check boxes 71 to 73) on the appearance of the beverage container 70 captured in the input image. decide.
  • the shapes of the first to third determination regions Z21 to Z23 are not limited to rectangular shapes, and may be circular shapes, polygonal shapes, or other shapes.
  • the first to third determination areas Z21 to Z23 may be in the same range as the check boxes 71 to 73. However, if the first to third determination areas Z21 to Z23 are wider than the check boxes 71 to 73, positional deviation from the check boxes 71 to 73 of the description information can be permitted to some extent.
  • An image P50 shown in FIG. 25 and an image P60 shown in FIG. 26 show a beverage container 710 in which first to third horizontal lines 711 to 713 parallel to each other are drawn as marks.
  • the user may write the description information in the beverage container 710 with the first to third horizontal lines 711 to 713 as markers.
  • the description information 88 is a horizontal line drawn along the third horizontal line 713, and is extracted as the difference area A18.
  • the description information 89 is a horizontal line drawn along the third horizontal line 713, and is extracted as the difference area A19.
  • the image P50 of FIG. 25 shows a beverage container 710 in which first to third horizontal lines 711 to 713 parallel to each other are drawn as marks.
  • the description information 88 is a horizontal line drawn along the third horizontal line 713, and is extracted as the difference area A18.
  • the description information 89 is a horizontal line drawn along the third horizontal line 713, and is extracted as the difference area A19.
  • first to third determination areas Z31 to Z33 similar to the first to third determination areas Z11 to Z13 of the first and second embodiments are set.
  • first to third determination areas Z41 to Z43 similar to the first to third determination areas Z21 to Z23 of the first modification are set.
  • the plurality of marks on the appearance of the beverage container is not limited to the check box. Also, the mark is not limited to a check box or a horizontal line, and may be a symbol, figure, etc. other than these.
  • FIG. 27 An image P70 shown in FIG. 27 shows the beverage container 720 in which the first to sixth determination regions Z51 to Z56 are set.
  • the beverage container 720 In the beverage container 720, six check boxes 721 to 726 corresponding to the first to sixth determination areas Z51 to Z56 are printed. Six check boxes 721 to 726 are arranged in a matrix.
  • the number of check boxes in the height direction of the beverage container 720 is three, and the number of check boxes in the circumferential direction of the beverage container 720 is two.
  • the first to sixth determination areas Z51 to Z56 correspond to a plurality of items of the beverage information, respectively.
  • the number of the plurality of determination areas is not particularly limited, and may be appropriately set according to the number of items of the beverage information.
  • the plurality of determination areas do not necessarily have to be aligned in the height direction of the beverage container, and may be aligned in the circumferential direction of the beverage container.
  • the judgment area can be set to a desired position on the appearance of the beverage container in consideration of the actual use mode and design of the beverage container.
  • the determination unit F12 may determine which of the plurality of determination areas the difference area is in, by a method different from that of the first embodiment. For example, the determination unit F12 may determine which of the plurality of determination areas the difference area is in, based on the distance between the difference area and the determination area. Hereinafter, a method of such determination will be described with reference to FIG.
  • the determination unit F12 determines a reference point R10 of the difference area A10 and reference points R11 to R13 of the first to third determination areas Z11 to Z13. Then, the determination unit F12 obtains distances L1 to L3 between the reference points R11 to R13 of the first to third determination areas Z11 to Z13 and the reference point R10 of the difference area A10.
  • the determination unit F12 determines which of the determined distances L1 to L3 is the shortest, and determines that the difference region A10 is present in the determination region where the distance is the shortest. In the example of FIG. 28, the distance L2 is the shortest. Therefore, the determination unit F12 determines that the second determination region Z12 includes the difference region A10. As described above, the determination unit F12 is configured to determine distances L1 to L3 between the reference points R11 to R13 of the plurality of determination areas Z11 to Z13 and the reference point R10 of the difference area A10. Then, the determination unit F12 is configured to determine that the difference area A10 exists in the determination area where the distance is the shortest among the plurality of determination areas Z11 to Z13.
  • the reference point R10 of the difference area A10 is a point that is the center of gravity of a triangle that approximates the description information 80.
  • reference points R11 to R13 of the first to third determination areas Z11 to Z13 are, for example, points that are centers of the first to third determination areas Z11 to Z13 (here, centers of the check boxes 71 to 73). Point).
  • the reference point of the determination area is not limited to the point that is the center of the determination area, and can be set as appropriate, such as a point that is the center of gravity of the determination area.
  • an image of what the user actually wrote may be used.
  • the image of "A” actually written by the user can be used.
  • the burden on the process of obtaining the description information from the difference area can be reduced.
  • the information of the user (staff) who attached the descriptive information to the beverage container is, for example, an external device such as a register of the store where the beverage providing system 10A is installed or a attendance control system Can be obtained from
  • the beverage provision system 10A gives the beverage provision system 10A the ID of the staff at which the register is input.
  • the beverage providing system 10A acquires the ID of the staff who is at work from the work time management system, it is possible to narrow down the images used for the determination of the description information.
  • the determination unit F12A can acquire the ID of the staff from the external device. The above technology can be applied to the third embodiment.
  • the control unit F14 may have a function of performing adjustment processing.
  • An adjustment function is a process which changes the content of the adjustment item contained in the drink information which the information acquisition part F13 acquired according to the input from a user, and adjusts drink information.
  • the contents of the adjustment item can be changed on the confirmation screen.
  • the confirmation screen may display a label corresponding to the content of the adjustment item. Then, by selecting a label corresponding to the content of the adjustment item by the touch pad 212 of the input unit 21, the content of the adjustment item can be changed.
  • the adjustment function it is possible to change the content of the adjustment item of the beverage information (content of the finish of the beverage) without changing the basic item of the beverage information (that is, the type of the beverage).
  • the correspondence between the determination area and the beverage information may be stored for each of the beverage containers. That is, different correspondences may be used depending on the application, type, and size of the beverage container.
  • the determination unit F12 may determine the beverage container shown in the input image, and extract the beverage information from the database D11 based on the combination of the beverage container and the determination area.
  • the correspondence between the determination area and the beverage information is different depending on whether the beverage container is for hot (for example, opaque) or cold (for example, transparent).
  • the correspondence between the combination of the determination area and the description information and the beverage information may be stored for each of the beverage containers.
  • the correspondence between the description information and the beverage information may be stored for each of the beverage containers.
  • the locations of the first to third determination areas Z11 to Z13 are the ratio of the height of the beverage container 710 and the height of the beverage container 710 shown in the input image to the plurality of determination areas Z11 to Z13. It can be determined based on Therefore, in this case, the marks (check boxes 71 to 73) may be omitted.
  • the position of the camera 22 is not particularly limited.
  • the camera 22 may be disposed so that the appearance of the beverage container 70 can be photographed.
  • the camera 22 is arranged to photograph the beverage container 70 obliquely from above, but may be arranged to photograph the beverage container 70 from the side.
  • the determination unit F12 may perform detection of the beverage container 70 using a sensor (for example, a proximity sensor, an acceleration sensor) or the like instead of the image generated by the camera 22. Further, the determination unit F12 may start the determination process in response to the operation of the separately provided start button. In this case, step S101 in the flowchart of FIG. 8 may be read as "whether the start button has been operated". The same applies to the determination units F12A and F12B in the second and third embodiments.
  • the determination unit F12 extracts the difference area from the comparison between the entire input image and the whole reference image, and determines which determination area the difference area is in. However, the determination unit F12 may extract the difference region by comparing the input image and the reference image for each determination region. That is, the determination unit F12 may extract the difference area by comparing the portions to be the same determination area in the input image and the reference image. The same applies to the determination unit F12A of the second embodiment.
  • the determination unit F12 may determine the beverage information based on the description information obtained from the difference area A10, as in the determination unit F12A.
  • the beverage information may include two items of the basic item and the adjustment item, and may be adjustment information indicating whether the adjustment item is hot or ice.
  • the determination unit F12 determines the content of the basic item based on which determination region the difference region A10 is in, and determines the content of the adjustment item based on the description information 80 obtained from the difference region A10. Good.
  • the determination unit F12 may select the content of the basic item from Americano, White Mocha, and cafe Latte based on the determination region where the difference region A10 is located.
  • the determination unit F12 may select hot as the adjustment information if the color of the description information 80 is red, and may select ice as the adjustment information if the color is blue.
  • control unit F14 may provide the beverage discharge device 24 with the acquired beverage information to start the discharge of the beverage. That is, step S112 of the flowchart of FIG. 8, step S208 of the flowchart of FIG. 15, and step S307 of the flowchart of FIG. 20 may be omitted.
  • the server 30 of the fourth embodiment has the determination unit F12 of the first embodiment, but may have the determination unit F12A of the second embodiment or the determination unit F12B of the third embodiment.
  • the determination units F12A and F12B in the case where acquisition of the description information from the difference area is performed by the learned model, the databases (D11A and D11B) are provided corresponding to the plurality of beverage dispensers, respectively. It is also good. For example, when a business owner who operates a cafe installs a plurality of beverage dispensers in a plurality of stores, the cafe staff becomes the user of the beverage dispenser. In this case, it is the staff of the same store who use the beverage dispenser in the store. Therefore, by performing learning on the user's descriptive information for each beverage dispenser 20, it is possible to improve the determination accuracy of the descriptive information.
  • the determination unit F12 is provided not in the beverage dispenser 20C but in the server 30.
  • the beverage provision system (10; 10A to 10C) may be configured by a plurality of computers, and the function of the beverage provision system (in particular, the functions of the determination units F12, F12A, and F12B) includes a plurality of devices. It may be dispersed in Furthermore, at least a part of the functions of the beverage providing system may be realized by, for example, cloud (cloud computing).
  • the execution subject of the beverage providing system in the present disclosure described above includes a computer system.
  • a computer system has a processor and memory as hardware.
  • the processor executes the program stored in the memory of the computer system to realize the function as the execution subject of the beverage providing system in the present disclosure.
  • the program may be pre-recorded in the memory of the computer system, but may be provided through a telecommunication line. Also, the program may be provided by being recorded in a non-transitory recording medium such as a memory card readable by a computer system, an optical disk, a hard disk drive and the like.
  • a processor of a computer system is configured of one or more electronic circuits including a semiconductor integrated circuit (IC) or a large scale integrated circuit (LSI).
  • the plurality of electronic circuits may be integrated into one chip or may be distributed to a plurality of chips.
  • the plurality of chips may be integrated into one device or may be distributed to a plurality of devices.
  • the beverage providing system (10; 10A; 10C) includes an image acquisition unit (F11), an information acquisition unit (F13), and a control unit (F14).
  • the image acquisition unit (F11) receives input images (P10 to P13; P21 to P24) which are images of the appearance of the beverage container (70) at the supply location (101) where the beverage is poured from the beverage discharge device (24). Configured to acquire.
  • the information acquisition unit (F13) is configured to acquire beverage information.
  • the beverage information is on the input image (P10 to P13; P21 to P24) of a difference area (A10 to A15) having a difference between the input image (P10 to P13; P21 to P24) and the reference image (P10).
  • the reference image (P10) is an image serving as a reference of the appearance of the beverage container (70) captured in the input image (P10 to P13; P21 to P24).
  • the control unit (F14) is configured to cause the beverage discharge device (24) to discharge a beverage based on the beverage information acquired by the information acquisition unit (F13). According to the first aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60).
  • the beverage delivery system (10; 10A; 10C) of the second aspect can be realized by combination with the first aspect.
  • the beverage delivery system (10; 10A; 10C) further includes a determination unit (F12; F12A).
  • the determination unit (F12; F12A) determines the beverage information based on the position of the difference area (A10 to A15) on the input image (P10 to P13; P21 to P24), and the information acquisition unit (F13) Configured to give). According to the second aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60).
  • the beverage delivery system (10; 10C) of the third aspect can be realized by combination with the second aspect.
  • the determination unit (F12) sets the difference region (Z11 to Z13) in any of a plurality of determination regions (Z11 to Z13) on the appearance of the beverage container (70) shown in the input image (P10 to P13) A10) It is comprised so that the said drink information may be determined based on existence. According to the third aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60).
  • the beverage delivery system (10A) of the fourth aspect can be realized by a combination with the second aspect.
  • the beverage information includes a plurality of items.
  • the plurality of items correspond to the plurality of judgment areas (Z11 to Z13) on the appearance of the beverage container (70) shown in the input image (P10; P21 to P24).
  • the determination unit (F12A) is configured to determine the plurality of items based on the presence or absence of the difference region (A11 to A15) in the plurality of determination regions (Z11 to Z13). According to the fourth aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60).
  • the beverage delivery system (10A) of the fifth aspect can be realized by a combination with the fourth aspect.
  • the plurality of items include an item corresponding to the type of beverage and an item corresponding to adjustment of the beverage. According to the fifth aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60).
  • the beverage delivery system (10; 10A; 10C) of the sixth aspect can be realized by combination with any one of the third to fifth aspects.
  • the determination unit (F12; F12A) determines which of the plurality of determination areas (Z11 to Z13) the reference point (R10) of the difference area (A10 to A15) is included in Configured as.
  • the determination unit (F12; F12A) determines that the difference area (A10 to A15) exists in a determination area (Z11 to Z13) including the reference point among the plurality of determination areas (Z11 to Z13). Configured According to the sixth aspect, it is possible to improve the determination accuracy of the place of the difference area (A10 to A15).
  • the beverage delivery system (10; 10A; 10C) of the seventh aspect can be realized by combination with any one of the third to fifth aspects.
  • the determination unit (F12; F12A) determines the reference points (R11 to R13) of the plurality of determination areas (Z11 to Z13) and the reference points (R10) of the difference areas (A10 to A15).
  • the difference regions (A10 to A15) are in the determination regions (Z11 to Z13) where the distances (L1 to L3) are shortest among the plurality of determination regions (Z11 to Z13). It is configured to determine that there is.
  • the determination accuracy of the location of the difference area (A10 to A15) can be improved.
  • the beverage delivery system (10; 10A; 10C) of the eighth aspect can be realized by combination with any one of the third to seventh aspects.
  • the determination unit (F12; F12A) is a container for a beverage (70) in which the locations of the plurality of determination areas (Z11 to Z13) are shown in the input image (P10 to P13; P21 to P24) It is configured to determine based on a plurality of landmarks (71 to 73) on the appearance of. According to the eighth aspect, it is possible to improve the determination accuracy of the place of the determination area (Z11 to Z13).
  • the beverage delivery system (10; 10A; 10C) of the ninth aspect can be realized by combination with any one of the third to seventh aspects.
  • the determination unit (F12; F12A) is a container for a beverage (70) in which the locations of the plurality of determination areas (Z11 to Z13) are shown in the input image (P10 to P13; P21 to P24). Configured to determine based on the height and percentage information of the The ratio information indicates the ratio of each of the plurality of determination areas (Z11 to Z13) to the height of the beverage container (70). According to the ninth aspect, it is possible to improve the determination accuracy of the place of the determination area (Z11 to Z13).
  • the beverage delivery system (10A) of the tenth aspect can be realized by combination with any one of the second to ninth aspects.
  • the determination unit (F12A) is configured to determine the beverage information based on the description information (80 to 85) obtained from the difference area (A10 to A15). According to the tenth aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60).
  • an input image (P10 to P13; P21 to P24) which is an image of the appearance of the beverage container (70) in the provision location (101) for pouring the beverage from the beverage discharge device (24) Including the steps of obtaining
  • the beverage providing method includes the step of acquiring beverage information.
  • the beverage information is on the input image (P10 to P13; P21 to P24) of a difference area (A10 to A15) having a difference between the input image (P10 to P13; P21 to P24) and the reference image (P10). It is decided based on the position of.
  • the reference image (P10) is an image serving as a reference of the appearance of the beverage container (70) captured in the input image (P10 to P13; P21 to P24). Furthermore, the beverage providing method includes the step of discharging the beverage based on the beverage information to the beverage discharge device (24). According to the eleventh aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60). In addition, the beverage provision method of the eleventh aspect may include one or more of various steps that can be executed by the second to tenth beverage provision systems, as necessary.
  • the beverage provision program when executed by one or more processors, provides the one or more processors with a first instruction, a second instruction, and a third instruction.
  • the first instruction is an instruction to acquire an input image (P10 to P13; P21 to P24) which is an image of the appearance of the beverage container (70) at the supply location (101) where the beverage is poured from the beverage discharge device (24). It is.
  • the second instruction is an instruction to acquire beverage information.
  • the beverage information is on the input image (P10 to P13; P21 to P24) of a difference area (A10 to A15) having a difference between the input image (P10 to P13; P21 to P24) and the reference image (P10). It is decided based on the position of.
  • the reference image (P10) is an image serving as a reference of the appearance of the beverage container (70) captured in the input image (P10 to P13; P21 to P24).
  • the third instruction is an instruction to cause the beverage discharge device (24) to discharge a beverage based on the beverage information. According to the twelfth aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60).
  • the beverage providing program of the twelfth aspect may include one or more of various instructions that can be used in the second to tenth beverage providing systems, as necessary.
  • the beverage providing system (10B) includes an image acquisition unit (F11), an information acquisition unit (F13B), and a control unit (F14).
  • the image acquisition unit (F11) acquires an input image (P30 to P32) that is an image of the appearance of the beverage container (700) in the supply location (101) where the beverage is poured from the beverage discharge device (24).
  • the information acquisition unit (F13) is a beverage corresponding to the description information (86, 87) obtained from the difference area (A16, A17) having the difference between the input image (P30 to P32) and the reference image (P30). Configured to get information.
  • the reference image (P30) is an image serving as a reference of the appearance of the beverage container (700), which is captured in the input image (P30 to P32).
  • the control unit (F14) is configured to cause the beverage discharge device (24) to discharge a beverage based on the beverage information acquired by the information acquisition unit (F13). According to the thirteenth aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60).
  • the beverage provision method of the fourteenth aspect is a step of acquiring an input image (P30 to P32) that is an image of the appearance of the beverage container (700) in the provision location (101) where the beverage is poured from the beverage discharge device (24). including. Further, the beverage providing method includes beverage information corresponding to description information (86, 87) obtained from a difference area (A16, A17) having a difference between the input image (P30 to P32) and the reference image (P30). Including the steps of obtaining The reference image (P30) is an image serving as a reference of the appearance of the beverage container (700) which is captured in the input image (P30 to P32). Furthermore, the beverage providing method includes the step of discharging the beverage based on the beverage information to the beverage discharge device (24). According to the fourteenth aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60).
  • the beverage provision program when executed by the one or more processors, provides the one or more processors with a first instruction, a second instruction, and a third instruction.
  • the first instruction is an instruction to acquire an input image (P30 to P32) which is an image of the appearance of the beverage container (700) in the supply location (101) where the beverage is poured from the beverage discharge device (24).
  • the second instruction acquires beverage information corresponding to the description information (86, 87) obtained from the difference area (A16, A17) having a difference between the input image (P30 to P32) and the reference image (P30) It is an instruction to do.
  • the third instruction is an instruction to cause the beverage discharge device (24) to discharge a beverage based on the beverage information. According to the fifteenth aspect, it is possible to reduce the effort of the user (60) when providing the desired beverage of the user (60).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Devices For Dispensing Beverages (AREA)
  • Details Of Rigid Or Semi-Rigid Containers (AREA)
  • Image Analysis (AREA)

Abstract

課題は、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる飲料提供システム、飲料提供方法、及び飲料提供プログラムを提供することである。飲料提供システム（１０）は、画像取得部（Ｆ１１）と、情報取得部（Ｆ１３）と、制御部（Ｆ１４）と、を備える。画像取得部（Ｆ１１）は、飲料吐出装置（２４）から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得する。情報取得部（Ｆ１３）は、入力画像と入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分のある差分領域の、入力画像上の位置に基づいて、飲料情報を取得する。制御部（Ｆ１４）は、情報取得部（Ｆ１３）で取得された飲料情報に基づく飲料を飲料吐出装置（２４）に吐出させる。

Description

飲料提供システム、飲料提供方法、飲料提供プログラム
　本開示は、一般に、飲料提供システム、飲料提供方法、及び飲料提供プログラムに関し、特に、複数種類の提供可能な飲料からユーザの希望する飲料を提供する飲料提供システム、飲料提供方法、及び飲料提供プログラムに関する。
　特許文献１は、製品ディスペンサから分配する混合製品（飲料）を提供するためのシステム（飲料提供システム）を開示する。特許文献１では、システムは、多数の製品レシピと関連付けられたデータを受信し、多数の製品レシピを含む混合レシピに従って機械可読アイテムを生成するように動作可能なコード生成モジュールを含む。機械可読アイテムは、混合レシピを分配するように製品ディスペンサを構成する。
　特許文献１のシステム（飲料提供システム）では、機械可読アイテムを製品ディスペンサに読み込ませることで、製品ディスペンサが機械可読アイテムに対応するレシピに従って、混合製品（飲料）を提供する。特許文献１のシステムでは、ユーザが希望する飲料の提供を受けるためには、毎回、機械可読アイテムを製品ディスペンサに読み込ませる作業を行う必要があり、手間がかかっていた。
特表２０１５－５２００７９号公報
　本開示の課題は、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる飲料提供システム、飲料提供方法、及び飲料提供プログラムを提供することである。
　本開示の一態様の飲料提供システムは、画像取得部と、情報取得部と、制御部と、を備える。前記画像取得部は、飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得するように構成される。前記情報取得部は、前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分のある差分領域の、前記入力画像上の位置に基づいて決定される飲料情報を取得するように構成される。前記制御部は、前記情報取得部で取得された飲料情報に基づく飲料を前記飲料吐出装置に吐出させるように構成される。
　本開示の一態様の飲料提供方法は、飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得するステップを含む。また、前記飲料提供方法は、前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分のある差分領域の、前記入力画像上の位置に基づいて決定される飲料情報を取得するステップを含む。更に、前記飲料提供方法と、前記飲料情報に基づく飲料を前記飲料吐出装置に吐出させるステップと、を含む。
　本開示の一態様の飲料提供プログラムは、１以上のプロセッサにより実行されると、前記１以上のプロセッサに、第１指示と、第２指示と、第３指示とを与える。前記第１指示は、飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得する指示である。前記第２指示は、前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分のある差分領域の、前記入力画像上の位置に基づいて決定される飲料情報を取得する指示である。前記第３指示は、前記飲料情報に基づく飲料を前記飲料吐出装置に吐出させる指示である。
　本開示の一態様の飲料提供システムは、画像取得部と、情報取得部と、制御部と、を備える。前記画像取得部は、飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得するように構成される。前記情報取得部は、前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分から得られた記述情報に対応する飲料情報を取得するように構成される。前記制御部は、前記情報取得部で取得された飲料情報に基づく飲料を前記飲料吐出装置に吐出させるように構成される。
　本開示の一態様の飲料提供方法は、飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得するステップを含む。また、前記飲料提供方法は、前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分から得られた記述情報に対応する飲料情報を取得するステップを含む。更に、前記飲料提供方法と、前記飲料情報に基づく飲料を前記飲料吐出装置に吐出させるステップと、を含む。
　本開示の一態様の飲料提供プログラムは、１以上のプロセッサにより実行されると、前記１以上のプロセッサに、第１指示と、第２指示と、第３指示とを与える。前記第１指示は、飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得する指示である。前記第２指示は、前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分から得られた記述情報に対応する飲料情報を取得する指示である。前記第３指示は、前記飲料情報に基づく飲料を前記飲料吐出装置に吐出させる指示である。
図１は、実施形態１の飲料提供システムの概略図である。 図２は、実施形態１の飲料提供システムのブロック図である。 図３は、実施形態１における飲料用容器の画像の一例である。 図４は、実施形態１における飲料用容器の画像の一例である。 図５は、実施形態１における飲料用容器の画像の一例である。 図６は、実施形態１における飲料用容器の画像の一例である。 図７は、実施形態１における差分領域の位置の判定方法の説明図である。 図８は、実施形態１の飲料提供システムの動作のフローチャートである。 図９Ａ及び図９Ｂは、実施形態１の飲料提供システムの動作の説明図である。 図１０は、実施形態２の飲料提供システムのブロック図である。 図１１は、実施形態２における飲料用容器の画像の一例である。 図１２は、実施形態２における飲料用容器の画像の一例である。 図１３は、実施形態２における飲料用容器の画像の一例である。 図１４は、実施形態２における飲料用容器の画像の一例である。 図１５は、実施形態２の飲料提供システムの動作のフローチャートである。 図１６は、実施形態３の飲料提供システムのブロック図である。 図１７は、実施形態３における飲料用容器の画像の一例である。 図１８は、実施形態３における飲料用容器の画像の一例である。 図１９は、実施形態３における飲料用容器の画像の一例である。 図２０は、実施形態３における上記飲料提供システムの動作のフローチャートである。 図２１は、実施形態４の飲料提供システムの概略図である。 図２２は、実施形態４における上記飲料提供システムのブロック図である。 図２３は、変形例１における飲料用容器の画像の一例である。 図２４は、変形例１における飲料用容器の画像の一例である。 図２５は、変形例２における飲料用容器の画像の一例である。 図２６は、変形例２における飲料用容器の画像の一例である。 図２７は、変形例３における飲料用容器の画像の一例である。 図２８は、変形例４における差分領域の位置の判定方法の説明図である。
１．実施形態
１．１　実施形態１
１．１．１　概要
　図１は、実施形態１の飲料提供システム１０を示す。実施形態１の飲料提供システム１０は、飲料ディスペンサ２０単独で構成されている。飲料ディスペンサ２０は、提供場所１０１に飲料を注ぐ飲料吐出装置２４を有しており、吐出ボタン２１１が操作されると飲料吐出装置２４からの飲料の吐出を開始する。飲料ディスペンサ２０では、予め提供場所１０１に飲料用容器７０を置いておけば、飲料吐出装置２４から吐出される飲料を飲料用容器７０で受けることができる。
　飲料提供システム１０（飲料ディスペンサ２０）は、図２に示すように、画像取得部Ｆ１１と、情報取得部Ｆ１３と、制御部Ｆ１４と、を備えている。画像取得部Ｆ１１は、飲料吐出装置２４から飲料を注ぐ提供場所１０１にある飲料用容器７０の外観の画像である入力画像Ｐ１１～Ｐ１３（図４～図６参照）を取得する。情報取得部Ｆ１３は、飲料情報を取得する。飲料情報は、入力画像Ｐ１１～Ｐ１３と入力画像Ｐ１１～Ｐ１３に写る飲料用容器７０の外観の基準となる画像である参照画像Ｐ１０（図３参照）との差分のある差分領域Ａ１０（図４～図６参照）の、入力画像Ｐ１１～Ｐ１３上の位置に基づいて決定される。制御部Ｆ１４は、情報取得部Ｆ１３で取得された飲料情報に基づく飲料を飲料吐出装置２４に吐出させる。
　このように飲料提供システム１０（飲料ディスペンサ２０）では、飲料吐出装置２４から吐出される飲料（飲料ディスペンサ２０がユーザに提供する飲料）を決める飲料情報が、入力画像Ｐ１１～Ｐ１３上の差分領域Ａ１０の位置に基づいて決定されている。例えば、ユーザは、差分領域Ａ１０が抽出されるように所定の位置に記述情報８０（図４～図６参照）を手書きした飲料用容器７０を提供場所１０１に置くことで、飲料提供システム１０から記述情報８０の位置に対応する飲料の提供を受けることが可能になる。つまり、記述情報８０を付けた飲料用容器７０を提供場所１０１に置くという作業が、飲料提供システム１０で提供可能な複数種類の飲料からユーザの希望する飲料を選択する作業を兼ねている。そのため、複数種類の飲料から希望する飲料を選択する作業の省略が可能である。このように、飲料提供システム１０によれば、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる。また、実施形態１の飲料提供システム１０は、飲料ディスペンサ２０単独で構成されているため、飲料提供システム１０をスタンドアローンタイプの飲料ディスペンサとして容易に設置することができる。
１．１．２　構成
　以下、実施形態１の飲料提供システム１０を構成する飲料ディスペンサ２０について更に説明する。飲料ディスペンサ２０は、図２に示すように、入力部２１と、カメラ２２と、出力部２３と、飲料吐出装置２４と、記憶装置２５と、処理部２６と、を備えている。
　入力部２１は、ユーザによる飲料提供システム１０（飲料ディスペンサ２０）の操作及び情報の入力のための装置である。入力部２１は、吐出ボタン２１１と、タッチパッド２１２と、を有している（図１参照）。吐出ボタン２１１は、飲料吐出装置２４からの飲料の吐出を開始させるためのボタンである。タッチパッド２１２は、飲料提供システム１０の操作及び情報の入力のために用いられる。なお、吐出ボタン２１１は必須ではない。例えば、タッチパッド２１２が吐出ボタンを兼ねてもよいし、吐出する飲料の決定時又は吐出する飲料の決定から所定時間経過時に飲料吐出装置２４からの飲料の吐出を開始してもよい。
　カメラ２２は、提供場所１０１の画像を得るための装置である。カメラ２２は、図１に示すように、提供場所１０１が撮像範囲に収まるように設置されている。提供場所１０１は、飲料提供システム１０により飲料の提供を受けようとするユーザが、飲料用容器７０を置く場所である。異なる言い方をすれば、カメラ２２は、提供場所１０１にある飲料用容器７０の外観の画像（以下、入力画像ともいう）を得るための装置である。なお、飲料用容器７０は、一般に、人が飲料を飲むために使用する容器を想定している。飲料用容器７０の例としては、カップ（珈琲カップ、ティーカップ、マグカップ等）、グラス（タンブラーグラス、ワイングラス、シャンパングラス、ブランデーグラス、カクテルグラス、ゴブレット等）、茶碗、杯が挙げられる。
　ここで、図３～図６は、カメラ２２で生成された画像Ｐ１０～Ｐ１３を示す。画像Ｐ１０～画像Ｐ１３には、同じ飲料用容器７０が写っている。ただし、画像Ｐ１１～Ｐ１３では、飲料用容器７０の側面（外面）に、記述情報８０が手書きされている。記述情報８０は、いわゆるチェックマークである。なお、記述情報８０は、チェックマークではなく、文字（アルファベット等）、図形（生物や物品のイラスト等）、記号（〇、＋、△等）若しくは色彩（緑、赤、青等）又はこれらの結合を示す情報であってよい。これに対して、画像Ｐ１０は、記述情報８０がない飲料用容器７０の外観を示している。本実施形態では、飲料用容器７０の外観上に複数の判定領域（第１～第３判定領域）Ｚ１１～Ｚ１３が設定されている。第１判定領域Ｚ１１は、例えば、飲料用容器７０の高さに対する割合が５％～３５％の場所を占める領域である。第２判定領域Ｚ１２は、例えば、飲料用容器７０の高さに対する割合が３５％～６５％の場所を占める領域である。第３判定領域Ｚ１３は、例えば、飲料用容器７０の高さに対する割合が６５％～９５％の場所を占める領域である。飲料用容器７０の側面（外面）には、第１～第３判定領域Ｚ１１～Ｚ１３の目印として３つのチェックボックス７１～７３が印刷されている。３つのチェックボックス７１～７３は、同じ大きさであり、飲料用容器７０の高さに沿って一定間隔で並んでいる。
　出力部２３は、ユーザに情報を提示するための装置である。出力部２３は、図１に示すように、ディスプレイ２３１を有する。ディスプレイ２３１は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどの薄型のディスプレイ装置である。飲料ディスペンサ２０では、入力部２１のタッチパッド２１２が出力部２３のディスプレイ２３１の表示面に重ねて配置されており、タッチパッド２１２とディスプレイ２３１とがタッチパネルを構成している。
　飲料吐出装置２４は、与えられた飲料情報に応じて飲料ディスペンサ２０の提供場所１０１に飲料を注ぐための装置である。
　飲料情報は、複数の項目を含み得る。複数の項目は、飲料の種類に対応する項目（基本項目）と、飲料の調整に対応する１以上の項目（調整項目）と、を含む。
　基本項目は、飲料の種類を特定するための基本情報を示す。例えば、基本情報は、珈琲に関する情報であってもよい。珈琲に関する基本情報の例としては、エスプレッソ（ホット／アイス）、カプチーノ（ホット／アイス）、カフェラテ（ホット／アイス）、アメリカーノ（ホット／アイス）、カフェモカ（ホット・アイス）、ホワイトモカ（ホット／アイス）が挙げられる。また、基本情報は、オレンジジュース、りんごジュース等のジュースに関する情報であってもよい。また、基本情報は、サイダー、コーラ等の炭酸飲料に関する情報であってもよい。また、基本情報は、紅茶、緑茶、ウーロン茶等のお茶に関する情報であってもよい。また、基本情報は、コーンスープ、オニオンスープ等のスープに関する情報であってもよい。また、基本情報は、冷やし飴、甘酒、ぜんざい、しるこ等の甘味に関する情報であってもよい。また、基本情報は、ビール、焼酎、ウィスキー、ブランデー、ワイン、ハイボール、酎ハイ、アマレットカフェ、カクテル等のアルコール飲料に関する情報であってもよい。ここで、ハイボールは、ウィスキーと炭酸水等の炭酸飲料を混合した飲料（一般的には１：３）である。酎ハイは焼酎とソフトドリンクを混合（一般的には１：２もしくは１：４）した飲料である。アマレットカフェは、珈琲にアマレット（リキュール）を混合した飲料（一般的には珈琲１００ｍｌ、アマレット１０～１５ｍｌ）である。
　調整項目は、飲料の調整をするための調整情報を示す。例えば、調整情報は、飲料の仕上がりを調整するための情報である。調整情報の例としては、飲料の量が挙げられる。調整情報の内容は、基本情報に応じて変わり得る。例えば、基本情報が珈琲に関する情報である場合、調整情報の例としては、珈琲の濃さ、珈琲の量、ミルクフォームの量、抽出温度、ミルクの種類、ミルクの量、シロップ又はソースの種類、シロップ又はソースの量が挙げられる。例えば、基本情報がジュースに関する情報である場合、調整情報の例としては、ジュースの甘さ、ジュースの量が挙げられる。例えば、基本情報が炭酸飲料に関する情報である場合、調整情報の例としては、炭酸の強さ、炭酸飲料の量が挙げられる。例えば、基本情報がお茶に関する情報である場合、調整情報の例としては、お茶の濃さ、お茶の量が挙げられる。例えば、基本情報がハイボールの場合、調整情報の例としては、ウィスキーの種類、ウィスキーと炭酸水の比率が挙げられる。基本情報が酎ハイの場合、調整情報の例としては、焼酎の種類、焼酎とソフトドリンクの比率が挙げられる。また、基本情報にホットかアイスの情報が含まれていない場合には、ホットかアイスかの情報を、調整情報としてもよい。
　飲料吐出装置２４は、飲料情報で特定される飲料を提供することが可能なように設計される。このような飲料吐出装置２４には、飲料情報に合わせて、適宜、従来周知の構成を採用できるから詳細な説明は省略する。
　記憶装置２５は、飲料提供システム１０での処理に必要な情報を記憶するために用いられる。記憶装置２５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等である。記憶装置２５は、データベースＤ１１を記憶している。
　データベースＤ１１には、飲料情報が、飲料用容器７０の複数の判定領域（第１～第３判定領域Ｚ１１～Ｚ１３）に対応付けて登録されている。つまり、データベースＤ１１は、飲料用容器７０の判定領域と飲料情報との対応関係を示す。表１に、データベースＤ１１のデータ構造の例を示す。なお、説明を簡単にするために、表１において、飲料情報は、基本項目のみを含むものとしている。つまり、表１では、飲料情報は基本項目と一致している。
Figure JPOXMLDOC01-appb-T000001
　処理部２６は、飲料ディスペンサ２０の動作を制御する電気回路である。処理部２６は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラムを実行することで、処理部２６として機能する。１以上のプログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
　処理部２６は、図２に示すように、画像取得部Ｆ１１と、判定部Ｆ１２と、情報取得部Ｆ１３と、制御部Ｆ１４と、を有している。画像取得部Ｆ１１と、判定部Ｆ１２と、情報取得部Ｆ１３と、制御部Ｆ１４とは実体のある構成を示しているわけではなく、処理部２６によって実現される機能を示している。
　画像取得部Ｆ１１は、飲料吐出装置２４から飲料を注ぐ提供場所１０１の画像を取得する。特に、画像取得部Ｆ１１は、飲料吐出装置２４から飲料を注ぐ提供場所１０１にある飲料用容器７０の外観の画像である入力画像を取得する。提供場所１０１の画像（特に、入力画像）は、カメラ２２によって生成される。そのため、画像取得部Ｆ１１は、カメラ２２から入力画像を取得する。そして、画像取得部Ｆ１１は、カメラ２２から取得した画像（入力画像）を判定部Ｆ１２に与える。
　判定部Ｆ１２は、提供場所１０１に飲料用容器７０が置かれているかどうかを判断するように構成される。判定部Ｆ１２は、カメラ２２で生成された画像をもとにして、画像に飲料用容器７０が写っているかどうかを判断する。例えば、判定部Ｆ１２は、画像からエッジを検出する処理を実行し、飲料用容器７０に対応するエッジを検出したかどうかにより、画像に飲料用容器７０が写っているかどうかを判断する。なお、このようなエッジの検出の方法としては、従来周知の方法を利用できるから、詳細な説明は省略する。
　判定部Ｆ１２は、提供場所１０１に飲料用容器７０が置かれていると判断すると、飲料情報を決定する処理を開始する。飲料情報を決定する処理は、提供場所１０１に飲料用容器７０が置かれていると判断した時点に開始してもよいし、当該時点から所定時間の経過後に開始してもよい。
　判定部Ｆ１２は、入力画像と参照画像との差分のある差分領域Ａ１０（図４～図６参照）の入力画像上の位置に基づいて飲料情報を決定する。参照画像は、入力画像に写る飲料用容器７０の外観の基準となる画像である。例えば、画像Ｐ１０～Ｐ１３に関しては、記述情報８０のない飲料用容器７０の画像Ｐ１０が、参照画像として利用される。なお、画像Ｐ１０～Ｐ１３はいずれも入力画像として入力され得る。そして、判定部Ｆ１２は、決定した飲料情報を情報取得部Ｆ１３に与える。
　以下、判定部Ｆ１２について更に詳細に説明する。まず、判定部Ｆ１２は、画像取得部Ｆ１１から入力画像を得ると、入力画像に対応する参照画像を取得する。参照画像は、記憶装置２５に記憶されている。判定部Ｆ１２は、入力画像と参照画像との差分から、差分領域Ａ１０を抽出する。例えば、図４～図６では、記述情報８０を構成する画素群が、差分領域Ａ１０として抽出される。例えば、判定部Ｆ１２は、入力画像と参照画像との差分画像を生成し、差分画像において画素値が閾値を超える画素を抽出する。そして、判定部Ｆ１２は、抽出された複数の画素が互いに隣接していれば、同一のグループに分類する。これによって、図４～図６に示すような差分領域Ａ１０が抽出される。なお、このような差分領域Ａ１０の抽出方法は、従来周知の方法であって良いから、詳細な説明を省略する。
　次に、判定部Ｆ１２は、入力画像において、複数の判定領域（第１～第３判定領域Ｚ１１～Ｚ１３）の場所を特定する。まず、判定部Ｆ１２は、入力画像において、飲料用容器７０のエッジを検出して、飲料用容器７０が存在する領域を特定する。そして、判定部Ｆ１２は、飲料用容器７０が存在する領域の垂直方向における寸法を、飲料用容器７０の高さとして取得する。判定部Ｆ１２は、割合情報を取得する。割合情報は、飲料用容器７０の高さに対する第１～第３判定領域Ｚ１１～Ｚ１３のそれぞれの割合を示す。第１判定領域Ｚ１１の飲料用容器７０の高さに対する割合は、５％～３５％である。第２判定領域Ｚ１２の飲料用容器７０の高さに対する割合は、３５％～６５％である。第３判定領域Ｚ１３の飲料用容器７０の高さに対する割合は、６５％～９５％である。割合情報は、記憶装置２５に記憶されている。そして、判定部Ｆ１２は、入力画像に写る飲料用容器７０の高さと割合情報に基づいて第１～第３判定領域Ｚ１１～Ｚ１３の場所を特定する。
　次に、判定部Ｆ１２は、第１～第３判定領域Ｚ１１～Ｚ１３のいずれに差分領域Ａ１０があるかを判定する。この場合において、判定部Ｆ１２は、差分領域Ａ１０の基準点Ｒ１０を決定する（図７参照）。ここでは、基準点Ｒ１０は、記述情報８０を近似した三角形の重心となる点である。この他、基準点Ｒ１０は、記述情報８０を近似した三角形の頂点及び中心のいずれかに対応する点であってもよい。また、基準点Ｒ１０は、差分領域Ａ１０の中心となる点であってもよい。図７に示す例では、差分領域Ａ１１の基準点Ｒ１０が第２判定領域Ｚ１２内にある。よって、判定部Ｆ１２は、第２判定領域Ｚ１２に差分領域Ａ１０があると判断する。このように、判定部Ｆ１２は、差分領域Ａ１０の基準点Ｒ１０が複数の判定領域Ｚ１１～Ｚ１３のいずれに含まれるかを判定し、複数の判定領域Ｚ１１～Ｚ１３のうち基準点を含む判定領域に差分領域Ａ１０があると判定する。これにより、図７に示すように、差分領域Ａ１０が第２判定領域Ｚ１２と第３判定領域Ｚ１３とにまたがっていても、差分領域Ａ１０が第２判定領域Ｚ１２と第３判定領域Ｚ１３のどちらにあるかを決定できる。
　次に、判定部Ｆ１２は、記憶装置２５のデータベースＤ１１（表１参照）を参照して、差分領域Ａ１０がある判定領域に対応する飲料情報を抽出する。判定部Ｆ１２は、データベースＤ１１から抽出した飲料情報を、入力画像に対応する飲料情報として決定する。そして、判定部Ｆ１２は、決定した飲料情報を情報取得部Ｆ１３に与える。図４に示す画像Ｐ１１が入力画像である場合、判定部Ｆ１２は、差分領域Ａ１０が第１判定領域Ｚ１１にあると判定する。データベースＤ１１において第１判定領域Ｚ１１に対応する飲料情報は「アメリカーノ（ホット）」であるから、判定部Ｆ１２は、「アメリカーノ（ホット）」を示す飲料情報を情報取得部Ｆ１３に与える。図５に示す画像Ｐ１２が入力画像である場合、判定部Ｆ１２は、差分領域Ａ１０が第２判定領域Ｚ１２にあると判定する。データベースＤ１１において第２判定領域Ｚ１２に対応する飲料情報は、「ホワイトモカ（ホット）」であるから、判定部Ｆ１２は、「ホワイトモカ（ホット）」を示す飲料情報を情報取得部Ｆ１３に与える。図６に示す画像Ｐ１３が入力画像である場合、判定部Ｆ１２は、差分領域Ａ１０が第３判定領域Ｚ１３にあると判定する。データベースＤ１１において第３判定領域Ｚ１３に対応する飲料情報は「カフェラテ（ホット）」であるから、判定部Ｆ１２は、「カフェラテ（ホット）」を示す飲料情報を情報取得部Ｆ１３に与える。ここで、図３に示す画像Ｐ１０が入力画像である場合、差分領域Ａ１０が存在しない。このような場合、判定部Ｆ１２は、デフォルトの飲料情報を情報取得部Ｆ１３に与える。デフォルトの飲料情報は、例えば、「ブラックコーヒー（ホット）」であってよい。つまり、判定部Ｆ１２は、差分領域Ａ１０を抽出できなかった場合、あるいは、差分領域Ａ１０が第１～第３判定領域Ｚ１１～Ｚ１３のいずれにもない場合、飲料情報として「ブラックコーヒー（ホット）」を情報取得部Ｆ１３に与える。なお、判定部Ｆ１２は、差分領域Ａ１０を抽出できなかった場合、あるいは、差分領域Ａ１０が第１～第３判定領域Ｚ１１～Ｚ１３のいずれにもない場合、ディスプレイ２３１に、記述情報８０の読み取りに失敗したことを通知するメッセージを表示してもよい。
　情報取得部Ｆ１３は、入力画像と参照画像との差分のある差分領域Ａ１０の入力画像上の位置に基づいて決定される飲料情報を取得する。この飲料情報は、上述したように、判定部Ｆ１２から情報取得部Ｆ１３に与えられる。つまり、情報取得部Ｆ１３は、入力画像と参照画像との差分のある差分領域Ａ１０の入力画像上の位置に基づいて決定される飲料情報を判定部Ｆ１２から取得する。情報取得部Ｆ１３は、判定部Ｆ１２から取得した飲料情報を制御部Ｆ１４に与える。
　制御部Ｆ１４は、飲料吐出装置２４に飲料情報を与えて飲料情報に基づく飲料を飲料吐出装置２４に吐出させるように構成される。より詳細には、制御部Ｆ１４は、入力部２１のタッチパッド２１２で選択された飲料を飲料吐出装置２４から吐出させる第１モードと、情報取得部Ｆ１３で取得された飲料情報に基づく飲料を飲料吐出装置２４に吐出させる第２モードとを有している。第１モードと第２モードとは、ダッチパッド１２１による入力に応じて切り替えられる。
　制御部Ｆ１４は、第１モードでは、注文画面を出力部２３のディスプレイ２３１に表示させる。注文画面は、ユーザがタッチパッド２１２により飲料を選択するための複数のボタンを表示する。注文画面において複数のボタンのいずれかが選択されると、制御部Ｆ１４は、選択されたボタンに対応する飲料の飲料情報を取得する。そして、入力部２１の吐出ボタン２１１がユーザにより操作（押圧）されると、制御部Ｆ１４は、取得した飲料情報を飲料吐出装置２４に与えて飲料の吐出を開始させる。なお、第１モードは必須ではない。
　制御部Ｆ１４は、第２モードでは、確認画面を出力部２３のディスプレイ２３１に表示させる。制御部Ｆ１４は、情報取得部Ｆ１３から飲料情報を受け取ると、受け取った飲料情報に基づいて、確認画面をディスプレイ２３１に表示させる。確認画面は、飲料情報を表示するラベルを表示する。そして、確認画面の表示中に、入力部２１の吐出ボタン２１１がユーザにより操作（押圧）されると、制御部Ｆ１４は、飲料情報を飲料吐出装置２４に与えて飲料の吐出を開始させる。
　以上述べたように、処理部２６は、１以上のプロセッサと１以上のメモリとにより実現されている。つまり、処理部２６は、１以上のプロセッサがプログラム（飲料提供プログラム）を実行することにより実現される。飲料提供プログラムは、１以上のプロセッサに実行されると、１以上のプロセッサに、第１指示と、第２指示と、第３指示と、を与える。第１指示は、飲料吐出装置２４から飲料を注ぐ提供場所１０１にある飲料用容器７０の外観の画像である入力画像を取得する指示である。第２指示は、（第１指示で取得された）入力画像と入力画像に写る飲料用容器７０の外観の基準となる画像である参照画像との差分のある差分領域Ａ１０の入力画像上の位置に基づいて決定される飲料情報を取得する指示である。第３指示は、（第２指示で取得された）飲料情報に基づく飲料を飲料吐出装置２４に吐出させる指示である。このような飲料提供プログラムによれば、飲料提供システム１０と同様に、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる。
　換言すれば、処理部２６は、下記の飲料提供方法を実行しているといえる。飲料提供方法は、第１ステップと、第２ステップと、第３ステップとを含む。第１ステップは、飲料吐出装置２４から飲料を注ぐ提供場所１０１にある飲料用容器７０の外観の画像である入力画像を取得するステップである。第２ステップは、入力画像と入力画像に写る飲料用容器７０の外観の基準となる画像である参照画像との差分のある差分領域Ａ１０の入力画像上の位置に基づいて決定される飲料情報を取得するステップである。第３ステップは、飲料情報に基づく飲料を飲料吐出装置２４に吐出させるステップである。このような飲料提供方法によれば、飲料提供システム１０と同様に、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる。
１．１．３　動作
　次に、飲料提供システム１０（飲料ディスペンサ２０）の動作について図８のフローチャートを参照して説明する。
　飲料ディスペンサ２０の提供場所１０１にユーザにより飲料用容器７０が置かれると（ステップＳ１０１：Ｙｅｓ）、画像取得部Ｆ１１は、入力画像を取得し、判定部Ｆ１２に与える（ステップＳ１０２）。これによって、判定部Ｆ１２は、入力画像と参照画像との差分領域Ａ１０を抽出する（ステップＳ１０３）。
　判定部Ｆ１２は、差分領域Ａ１０が第１～第３判定領域Ｚ１１～Ｚ１３のいずれにあるかを判定する（ステップＳ１０４，Ｓ１０６，Ｓ１０８）。差分領域Ａ１０が第１判定領域Ｚ１１にある場合（ステップＳ１０４：Ｙｅｓ）、判定部Ｆ１２は、ステップＳ１０５へ進む。ステップＳ１０５では、判定部Ｆ１２は、第１判定領域Ｚ１１に対応する飲料情報（第１飲料情報）をデータベースＤ１１から取得する。差分領域Ａ１０が第２判定領域Ｚ１２にある場合（ステップＳ１０４：Ｎｏ、ステップＳ１０６：Ｙｅｓ）、判定部Ｆ１２は、ステップＳ１０７へ進む。ステップＳ１０７では、判定部Ｆ１２は、第２判定領域Ｚ１２に対応する飲料情報（第２飲料情報）をデータベースＤ１１から取得する。差分領域Ａ１０が第３判定領域Ｚ１３にある場合（ステップＳ１０４：Ｎｏ、ステップＳ１０６：Ｎｏ、ステップＳ１０８：Ｙｅｓ）、判定部Ｆ１２は、ステップＳ１０９へ進む。ステップＳ１０９では、判定部Ｆ１２は、第３判定領域Ｚ１３に対応する飲料情報（第３飲料情報）をデータベースＤ１１から取得する。差分領域Ａ１０が第１～第３判定領域Ｚ１１～Ｚ１３のいずれにもない場合（ステップＳ１０４：Ｎｏ、ステップＳ１０６：Ｎｏ、ステップＳ１０８：Ｎｏ）、判定部Ｆ１２は、ステップＳ１１０へ進む。ステップＳ１１０では、判定部Ｆ１２は、デフォルトの飲料情報（第４飲料情報）をデータベースＤ１１から取得する。このようにして判定部Ｆ１２で取得された飲料情報（第１～第４飲料情報のいずれか）は、情報取得部Ｆ１３を経て制御部Ｆ１４へ渡される。
　これによって、制御部Ｆ１４は、確認画面により飲料情報を表示する（ステップＳ１１１）。確認画面において、所定時間内に吐出ボタン２１１が操作されると（ステップＳ１１２：Ｙｅｓ）、制御部Ｆ１４は、ステップＳ１１３へ進む。ステップＳ１１３では、制御部Ｆ１４は、情報取得部Ｆ１３から取得した飲料情報に対応する飲料を飲料吐出装置２４から吐出させる。一方、吐出ボタン２１１が操作されないまま所定時間が経過すると（ステップＳ１１２：Ｎｏ）、飲料が飲料吐出装置２４から吐出されることなく処理が終了する。
　このように、本実施形態の飲料提供システム１０では、記述情報８０のある場所（判定領域Ｚ１１～Ｚ１３）によって、飲料情報が決定される。特に、本実施形態の飲料提供システム１０では、複数の判定領域から１つだけを記述情報によって選択する。そのため、本実施形態の飲料提供システム１０では、複数の差分領域が存在することが許容されていない。よって、複数の差分領域が抽出された場合には、判定部Ｆ１２は、エラーメッセージ等をディスプレイ２３１に表示してもよい。また、飲料提供システム１０では、記述情報８０の内容自体は特に参酌されない。したがって、記述情報８０は、飲料提供システム１０が差分領域Ａ１０として認識できるものであればよい。
１．１．４　使用方法
　次に、飲料提供システム１０の使用例について図９Ａ及び図９Ｂを参照して説明する。一例として、飲料提供システム１０がカフェの店舗に設置され、カフェのスタッフであるユーザ６０が顧客の注文に応じて飲料を提供するために飲料提供システム１０を使用する場合について説明する。この場合、ユーザ６０は、顧客の注文した飲料（例えば、アメリカーノ（ホット））に対応する判定領域（第１判定領域Ｚ１１）に記述情報８０を書き入れた飲料用容器７０を飲料提供システム１０の提供場所１０１に置く（図９Ａ参照）。これにより、飲料提供システム１０は、入力画像上の差分領域Ａ１０の位置（第１判定領域Ｚ１１）に対応する飲料情報（アメリカーノ（ホット））をデータベースＤ１１から抽出する。そして、飲料提供システム１０は、抽出した飲料情報を確認画面に表示する。ユーザ６０は、確認画面により飲料情報を確認し、問題なければ、吐出ボタン２１１を操作する（図９Ｂ参照）。これにより、飲料提供システム１０は、抽出した飲料情報に対応する飲料を飲料吐出装置２４から吐出させる。このように、ユーザ６０は、顧客の注文した飲料に対応する場所に記述情報８０を書いた飲料用容器７０を飲料提供システム１０の提供場所１０１に置いて、吐出ボタン２１１を操作するだけで、顧客の注文した飲料を飲料用容器７０に注ぐことができる。
　ここで、顧客の注文に基づき飲料用容器７０に記述情報８０を書き込むユーザと飲料用容器７０を飲料提供システム１０の提供場所１０１に置くユーザは異なるユーザであってもよい。例えば、顧客の注文を受け付けるレジ担当のスタッフが飲料用容器７０への書き込みを行い、厨房担当のスタッフが飲料用容器７０を飲料提供システム１０の提供場所１０１に置くとしてもよい。また例えば、顧客の注文を受け付けるレジ担当のスタッフが飲料用容器７０への書き込みを行い、顧客が飲料用容器７０を飲料提供システム１０の提供場所１０１に置くとしてもよい。
１．２　実施形態２
　図１０は、実施形態２の飲料提供システム１０Ａを示す。飲料提供システム１０Ａは、実施形態１と同様に飲料ディスペンサ２０（図１参照）単独で構成されている。飲料提供システム１０Ａは、図１０に示すように、入力部２１と、カメラ２２と、出力部２３と、飲料吐出装置２４と、記憶装置２５Ａと、処理部２６Ａと、を備えている。
　記憶装置２５Ａは、飲料提供システム１０Ａでの処理に必要な情報を記憶するために用いられる。記憶装置２５Ａは、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等である。記憶装置２５Ａは、データベースＤ１１とは異なるデータベースＤ１１Ａを記憶している。
　下記の表２に、データベースＤ１１Ａのデータ構造の例を示す。本実施形態では、飲料情報は、複数の項目（第１～第３項目）を含んでいる。飲料用容器７０の第１～第３判定領域Ｚ１１～Ｚ１３は、飲料情報の第１～第３項目にそれぞれ対応している。第１項目は、基本項目に対応し、第２及び第３項目は、調整項目に対応する。特に、第２項目は、シロップ又はソースの種類であり、第３項目は、ミルクの種類である。データベースＤ１１Ａには、第１～第３判定領域Ｚ１１～Ｚ１３毎に、項目の内容（基本情報、調整情報）が記述情報に対応付けて登録されている。記述情報は、文字、図形、記号若しくは色彩又はこれらの結合を示す情報である（表２参照）。つまり、データベースＤ１１Ａは、飲料用容器７０の判定領域毎に、項目の内容（基本情報、調整情報）と記述情報との対応関係を示す。なお、表２では、項目の内容が記述情報に一対一に関連付けられているが、複数の記述情報に同一の内容が関連付けられていてもよい。
Figure JPOXMLDOC01-appb-T000002
　ここで、図１１～図１５は、カメラ２２で生成された画像Ｐ２１～Ｐ２４を示す。画像Ｐ２１～画像Ｐ２４には、画像Ｐ１０（図３参照）と同じ飲料用容器７０が写っている。ただし、画像Ｐ２１では、飲料用容器７０の側面に、記述情報８１が手書きされている。同様に、画像Ｐ２２では、飲料用容器７０の側面に、記述情報８１，８２が手書きされている。画像Ｐ２３では、飲料用容器７０の側面に、記述情報８３，８４が手書きされている。画像Ｐ２４では、飲料用容器７０の側面に、記述情報８１，８２，８５が手書きされている。これに対して、画像Ｐ１０は、記述情報がない飲料用容器７０の外観を示している。本実施形態では、実施形態１と同様に、飲料用容器７０の外観上に複数の判定領域（第１～第３判定領域）Ｚ１１～Ｚ１３が設定されている。
　処理部２６Ａは、飲料ディスペンサの動作を制御する電気回路である。処理部２６Ａは、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとにより実現され得る。処理部２６Ａは、図１０に示すように、画像取得部Ｆ１１と、判定部Ｆ１２Ａと、情報取得部Ｆ１３と、制御部Ｆ１４と、を有している。
　判定部Ｆ１２Ａは、入力画像と参照画像との差分のある差分領域の入力画像上の位置に基づいて飲料情報を決定する。特に、判定部Ｆ１２Ａは、複数の判定領域（第１～第３判定領域）Ｚ１１～Ｚ１３における差分領域の有無に基づいて飲料情報の複数の項目（第１～第３項目）を決定するように構成される。また、判定部Ｆ１２Ａは、差分領域の有無に加えて、差分領域から得られた記述情報に基づいて飲料情報を決定するように構成される。ここで、判定部Ｆ１２Ａは、従来周知の文字、記号、及び図形等の認識技術を利用して、差分領域から記述情報を得ることができる。このような認識技術では、パターンマッチング及び学習済みモデル等が利用され得る。
　以下、判定部Ｆ１２Ａについて更に詳細に説明する。まず、判定部Ｆ１２Ａは、画像取得部Ｆ１１から入力画像を得ると、入力画像に対応する参照画像を取得する。判定部Ｆ１２Ａは、入力画像と参照画像との差分から、差分領域を抽出する。例えば、画像Ｐ２１が入力画像である場合、画像Ｐ２１と画像Ｐ１０との差分から、「Ａ」という記述情報８１を構成する画素群が、差分領域Ａ１１として抽出される。例えば、画像Ｐ２２が入力画像である場合、画像Ｐ２２と画像Ｐ１０との差分から、差分領域Ａ１１に加えて、「Ｓ」という記述情報８２を構成する画素群が差分領域Ａ１２として抽出される。例えば、画像Ｐ２３が入力画像である場合、画像Ｐ２３と画像Ｐ１０との差分から、「ＷＭ」という記述情報８３を構成する画素群が差分領域Ａ１３として抽出され、更に、「Ａ」という記述情報８４を構成する画素群が差分領域Ａ１４として抽出される。例えば、画像Ｐ２４が入力画像である場合、画像Ｐ２４と画像Ｐ１０との差分から、差分領域Ａ１１，Ａ１２に加えて、「Ｖ」という記述情報８５を構成する画素群が差分領域Ａ１５として抽出される。なお、このような差分領域Ａ１１～Ａ１５の抽出方法は、従来周知の方法であって良いから、詳細な説明を省略する。
　次に、判定部Ｆ１２Ａは、実施形態１の判定部Ｆ１２と同様に、入力画像において、複数の判定領域（第１～第３判定領域Ｚ１１～Ｚ１３）の場所を特定する。
　次に、判定部Ｆ１２Ａは、抽出した差分領域が第１～第３判定領域Ｚ１１～Ｚ１３のいずれにあるかを判定する。画像Ｐ２１では、１つの差分領域Ａ１１が抽出されており、差分領域Ａ１１は第１判定領域Ｚ１１にあると判定される。画像Ｐ２２では、２つの差分領域Ａ１１，Ａ１２が抽出されており、差分領域Ａ１１は第１判定領域Ｚ１１にあると判定され、差分領域Ａ１２は第３判定領域Ｚ１３にあると判定される。画像Ｐ２３では、２つの差分領域Ａ１３，Ａ１４が抽出されており、差分領域Ａ１３は第１判定領域Ｚ１１にあると判定され、差分領域Ａ１４は第２判定領域Ｚ１２にあると判定される。画像Ｐ２４では、３つの差分領域Ａ１１，Ａ１２，Ａ１５が抽出されており、差分領域Ａ１１は第１判定領域Ｚ１１にあると判定され、差分領域Ａ１２は第３判定領域Ｚ１３にあると判定され、差分領域Ａ１５は第２判定領域Ｚ１２にあると判定される。
　次に、判定部Ｆ１２Ａは、記憶装置２５ＡのデータベースＤ１１Ａ（表２参照）を参照して、飲料情報の第１～第３項目の内容を抽出して、飲料情報を決定する。そして、判定部Ｆ１２Ａは、決定した飲料情報を情報取得部Ｆ１３に与える。なお、第１～第３判定領域Ｚ１１～Ｚ１３において差分領域がない場合、判定部Ｆ１２Ａは、項目の内容をデフォルトの内容に設定する。第１項目のデフォルトの内容は、例えば、「ブラックコーヒー（ホット）」である。第２及び第３項目のデフォルトの内容は、例えば、「なし」である。つまり、第２及び第３項目は調整項目であるから、差分領域がない場合には、調整を行わないとみなしている。
　画像Ｐ２１が入力画像である場合、第１判定領域Ｚ１１に差分領域Ａ１１があり、第２判定領域Ｚ１２及び第３判定領域Ｚ１３には差分領域がない。判定部Ｆ１２Ａは、第１項目については、差分領域Ａ１１から得られた記述情報８１に対応する項目の内容である「アメリカーノ（ホット）」をデータベースＤ１１Ａから抽出する。判定部Ｆ１２Ａは、第２項目及び第３項目については、差分領域がないことから、第２及び第３項目の内容を「なし」に設定する。このようにして、判定部Ｆ１２Ａは、飲料情報について、第１項目の内容が「アメリカーノ（ホット）」、第２項目の内容が「なし」、第３項目の内容が「なし」であると決定する。
　画像Ｐ２２が入力画像である場合、第１及び第３判定領域Ｚ１１，Ｚ１３にそれぞれ差分領域Ａ１１，Ａ１２があり、第２判定領域Ｚ１２には差分領域がない。判定部Ｆ１２Ａは、第１項目については、差分領域Ａ１１から得られた記述情報８１（「Ａ」）に対応する項目の内容である「アメリカーノ（ホット）」をデータベースＤ１１Ａから抽出する。また、判定部Ｆ１２Ａは、第３項目については、差分領域Ａ１２から得られた記述情報８２（「Ｓ」）に対応する項目の内容である「豆乳」をデータベースＤ１１Ａから抽出する。判定部Ｆ１２Ａは、第２項目については、差分領域がないことから、第２項目の内容を「なし」に設定する。このようにして、判定部Ｆ１２Ａは、飲料情報について、第１項目の内容が「アメリカーノ（ホット）」、第２項目の内容が「なし」、第３項目の内容が「豆乳」であると決定する。
　画像Ｐ２３が入力画像である場合、第１及び第２判定領域Ｚ１１，Ｚ１２にそれぞれ差分領域Ａ１３，Ａ１４があり、第３判定領域Ｚ１３には差分領域がない。判定部Ｆ１２Ａは、第１項目については、差分領域Ａ１３から得られた記述情報８３（「ＷＭ」）に対応する項目の内容である「ホワイトモカ（ホット）」をデータベースＤ１１Ａから抽出する。また、判定部Ｆ１２Ａは、第２項目については、差分領域Ａ１４から得られた記述情報８４（「Ａ」）に対応する項目の内容である「アーモンドシロップ」をデータベースＤ１１Ａから抽出する。判定部Ｆ１２Ａは、第３項目については、差分領域がないことから、第３項目の内容を「なし」に設定する。このようにして、判定部Ｆ１２Ａは、飲料情報について、第１項目の内容が「ホワイトモカ（ホット）」、第２項目の内容が「アーモンドシロップ」、第３項目の内容が「なし」であると決定する。
　画像Ｐ２４が入力画像である場合、第１、第２及び第３判定領域Ｚ１１，Ｚ１２，Ｚ１３にそれぞれ差分領域Ａ１１，Ａ１５，Ａ１２がある。判定部Ｆ１２Ａは、第１項目については、差分領域Ａ１１から得られた記述情報８１（「Ａ」）に対応する項目の内容である「アメリカーノ（ホット）」をデータベースＤ１１Ａから抽出する。また、判定部Ｆ１２Ａは、第２項目については、差分領域Ａ１５から得られた記述情報８５（「Ｖ」）に対応する項目の内容である「バニラシロップ」をデータベースＤ１１Ａから抽出する。判定部Ｆ１２Ａは、第３項目については、差分領域Ａ１２から得られた記述情報８２（「Ｓ」）に対応する項目の内容である「豆乳」をデータベースＤ１１Ａから抽出する。このようにして、判定部Ｆ１２Ａは、飲料情報について、第１項目の内容が「アメリカーノ（ホット）」、第２項目の内容が「バニラシロップ」、第３項目の内容が「豆乳」であると決定する。
　次に、飲料提供システム１０Ａ（飲料ディスペンサ）の動作について図１５のフローチャートを参照して説明する。
　提供場所１０１（図１参照）にユーザにより飲料用容器７０が置かれると（ステップＳ２０１：Ｙｅｓ）、画像取得部Ｆ１１は、入力画像を取得し、判定部Ｆ１２Ａに与える（ステップＳ２０２）。これによって、判定部Ｆ１２Ａは、入力画像と参照画像との差分領域を抽出する（ステップＳ２０３）。
　判定部Ｆ１２Ａは、第１判定領域Ｚ１１にある差分領域により飲料情報の第１項目の内容を決定する（Ｓ２０４）。ここでは、差分領域があれば、差分領域から得られる記述情報に基づき第１項目の内容が設定される。差分領域がなければ、第１項目の内容はデフォルトの内容に設定される。また、判定部Ｆ１２Ａは、第２判定領域Ｚ１２にある差分領域により飲料情報の第２項目の内容を決定する（Ｓ２０５）。ここでは、差分領域があれば、差分領域から得られる記述情報に基づき第２項目の内容が設定される。差分領域がなければ、第２項目の内容はデフォルトの内容に設定される。判定部Ｆ１２Ａは、第３判定領域Ｚ１３にある差分領域により飲料情報の第３項目の内容を決定する（Ｓ２０６）。ここでは、差分領域があれば、差分領域から得られる記述情報に基づき第３項目の内容が設定される。差分領域がなければ、第３項目の内容はデフォルトの内容に設定される。
　このようにして判定部Ｆ１２Ａは第１～第３項目の内容を決定し（Ｓ２０４～Ｓ２０６）、これによって、判定部Ｆ１２Ａは、飲料情報を決定する。そして、判定部Ｆ１２Ａで決定された飲料情報は、情報取得部Ｆ１３を経て制御部Ｆ１４へ渡される。
　飲料情報を受け取ると、制御部Ｆ１４は、確認画面により飲料情報を表示する（ステップＳ２０７）。確認画面において、所定時間内に吐出ボタン２１１が操作されると（ステップＳ２０８：Ｙｅｓ）、制御部Ｆ１４は、ステップＳ２０９へ進む。ステップＳ２０９では、制御部Ｆ１４は、情報取得部Ｆ１３から取得した飲料情報に対応する飲料を飲料吐出装置２４から吐出させる。一方、吐出ボタン２１１が操作されないまま所定時間が経過すると（ステップＳ２０８：Ｎｏ）、飲料が飲料吐出装置２４から吐出されることなく処理が終了する。
　このように、本実施形態の飲料提供システム１０Ａでは、記述情報８０のある場所（判定領域）及び記述情報８０の内容によって、飲料情報が決定される。本実施形態の飲料提供システム１０Ａでは、複数の差分領域がそれぞれ異なる判定領域にあることは許容されるが、同一の判定領域にあることは許容されていない。そのため、複数の差分領域が同一の判定領域内で抽出された場合には、判定部Ｆ１２Ａは、エラーメッセージ等をディスプレイ２３１に表示してもよい。
　次に、飲料提供システム１０Ａの使用例について簡単に説明する。一例として、飲料提供システム１０Ａがカフェの店舗に設置され、カフェのスタッフであるユーザが顧客の注文に応じて飲料を提供するために飲料提供システム１０Ａを使用する場合について説明する。例えば、顧客が、アメリカーノ（ホット）にバニラシロップと豆乳を入れた飲料を希望する場合、図１４に示すように、記述情報８１，８５，８２を飲料用容器７０の第１、第２及び第３判定領域Ｚ１１，Ｚ１２，Ｚ１３に書き込んで、提供場所１０１に置く。飲料提供システム１０Ａは、入力画像から差分領域の位置及び記述情報に基づいて、飲料情報（第１項目が「アメリカーノ（ホット）」、第２項目が「バニラシロップ」、第３項目が「豆乳」）を決定する。そして、飲料提供システム１０Ａは、飲料情報を確認画面に表示する。ユーザは、確認画面により飲料情報を確認し、問題なければ、吐出ボタン２１１を操作すればよい。これにより、飲料提供システム１０Ａは、抽出した飲料情報に対応する飲料を飲料吐出装置２４から吐出させる。このように、ユーザは、顧客の注文した飲料に応じて記述情報を所定位置に書いた飲料用容器７０を飲料提供システム１０Ａの提供場所１０１に置いて、吐出ボタン２１１を操作するだけで、顧客の注文した飲料を飲料用容器７０に注ぐことができる。
　ここで、顧客の注文に基づき飲料用容器７０に記述情報８１，８５，８２を飲料用容器７０の第１、第２及び第３判定領域Ｚ１１，Ｚ１２，Ｚ１３に書き込むユーザと飲料用容器７０を提供場所１０１に置くユーザは異なるユーザであってもよい。例えば、顧客の注文を受け付けるレジ担当のスタッフが飲料用容器７０への書き込みを行い、厨房担当のスタッフが飲料用容器７０を提供場所１０１に置くとしてもよい。また例えば、顧客の注文を受け付けるレジ担当のスタッフが飲料用容器７０への書き込みを行い、顧客が飲料用容器７０を提供場所１０１に置くとしてもよい。
１．３　実施形態３
１．３．１　概要
　図１６は、実施形態３の飲料提供システム１０Ｂを示す。実施形態３の飲料提供システム１０Ｂは、飲料ディスペンサ２０（図１参照）単独で構成されている。
　飲料提供システム１０Ｂは、図１６に示すように、画像取得部Ｆ１１と、情報取得部Ｆ１３と、制御部Ｆ１４と、を備えている。画像取得部Ｆ１１は、飲料吐出装置２４から飲料を注ぐ提供場所１０１にある飲料用容器７００の外観の画像である入力画像Ｐ３０～Ｐ３２（図１７～図１９参照）を取得する。情報取得部Ｆ１３は、飲料情報を取得する。飲料情報は、入力画像Ｐ３０～Ｐ３２と入力画像Ｐ３０～Ｐ３２に写る飲料用容器７００の外観の基準となる画像である参照画像Ｐ３０（図１７参照）との差分のある差分領域Ａ１６，Ａ１７（図１８及び図１９参照）から得られた記述情報８６，８７に対応する。制御部Ｆ１４は、情報取得部Ｆ１３で取得された飲料情報に基づく飲料を飲料吐出装置２４に吐出させる。
　このように飲料提供システム１０Ｂでは、飲料吐出装置２４から吐出される飲料を決める飲料情報が、入力画像Ｐ３１～Ｐ３２上の差分領域Ａ１６，Ａ１７から得られた記述情報８６，８７に基づいて決定されている。したがって、ユーザは、飲料用容器７００を提供場所１０１に置くことで、飲料提供システム１０Ｂから飲料用容器７００に付された記述情報８６，８７に対応する飲料の提供を受けることが可能になる。つまり、記述情報８６，８７を付してから飲料用容器７００を提供場所１０１に置くという作業が、飲料提供システム１０Ｂで提供可能な複数種類の飲料からユーザの希望する飲料を選択する作業を兼ねている。そのため、複数種類の飲料から希望する飲料を選択する作業の省略が可能である。このように、飲料提供システム１０Ｂによれば、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる。また、実施形態３の飲料提供システム１０Ｂは、飲料ディスペンサ２０単独で構成されているため、飲料提供システム１０Ｂをスタンドアローンタイプの飲料ディスペンサとして容易に設置することができる。
１．３．２　構成
　以下、実施形態３の飲料提供システム１０Ｂについて更に説明する。飲料提供システム１０Ｂは、図１６に示すように、入力部２１と、カメラ２２と、出力部２３と、飲料吐出装置２４と、記憶装置２５Ｂと、処理部２６Ｂと、を備えている。
　記憶装置２５Ｂは、飲料提供システム１０Ｂでの処理に必要な情報を記憶するために用いられる。記憶装置２５Ｂは、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等である。記憶装置２５Ｂは、データベースＤ１１，Ｄ１１Ａとは異なるデータベースＤ１１Ｂを記憶している。本実施形態では、飲料情報は、基本項目だけを含んでいる。データベースＤ１１Ｂには、飲料情報（基本項目）が記述情報に対応付けて登録されている。記述情報は、文字、図形、記号若しくは色彩又はこれらの結合を示す情報である。つまり、データベースＤ１１Ｂは、飲料情報と記述情報との対応関係を示す。表３に、データベースＤ１１Ｂのデータ構造の例を示す。なお、表３では、飲料情報が記述情報に一対一に関連付けられているが、複数の記述情報に同一の飲料情報が関連付けられていてもよい。
Figure JPOXMLDOC01-appb-T000003
　ここで、図１７～図１９は、カメラ２２で生成された画像Ｐ３０～Ｐ３２を示す。画像Ｐ３０～Ｐ３２には、同じ飲料用容器７００が写っている。ただし、画像Ｐ３１では、飲料用容器７００の側面に、記述情報８６が手書きされている。同様に、画像Ｐ３２では、飲料用容器７００の側面に、記述情報８７が手書きされている。これに対して、画像Ｐ３０は、記述情報がない飲料用容器７００の外観を示している。
　処理部２６Ｂは、飲料ディスペンサ２０の動作を制御する電気回路である。処理部２６Ｂは、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとにより実現され得る。処理部２６Ｂは、図１６に示すように、画像取得部Ｆ１１と、判定部１２Ｂと、情報取得部Ｆ１３Ｂと、制御部Ｆ１４と、を有している。
　判定部Ｆ１２Ｂは、入力画像と参照画像との差分のある差分領域から得られた記述情報に基づいて飲料情報を決定するように構成される。ここで、判定部Ｆ１２Ｂは、従来周知の文字、記号、及び図形等の認識技術を利用して、差分領域から記述情報を得ることができる。このような認識技術では、パターンマッチング及び学習済みモデル等が利用され得る。
　以下、判定部Ｆ１２Ｂについて更に詳細に説明する。まず、判定部Ｆ１２Ｂは、画像取得部Ｆ１１から入力画像を得ると、入力画像に対応する参照画像を取得する。判定部Ｆ１２Ｂは、入力画像と参照画像との差分から、差分領域を抽出する。例えば、画像Ｐ３１又は画像Ｐ３２が入力画像である場合、画像Ｐ３０が参照画像として利用される。画像Ｐ３１については、画像Ｐ３１と画像Ｐ３０との差分から、「〇」という記述情報８６を構成する画素群が、差分領域Ａ１６として抽出される。画像Ｐ３２については、画像Ｐ３２と画像Ｐ３０との差分から、「＋」という記述情報８７を構成する画素群が差分領域Ａ１７として抽出される。なお、このような差分領域Ａ１６，Ａ１７の抽出方法は、従来周知の方法であって良いから、詳細な説明を省略する。
　次に、判定部Ｆ１２Ｂは、記憶装置２５ＢのデータベースＤ１１Ｂ（表３参照）を参照して、記述情報に対応する飲料情報を抽出して、飲料情報を決定する。そして、判定部Ｆ１２Ｂは、決定した飲料情報を情報取得部Ｆ１３に与える。なお、入力画像から差分領域を抽出できなかった場合、判定部Ｆ１２Ｂは、飲料情報をデフォルトの飲料情報に設定する。デフォルトの飲料情報は、例えば、「ブラックコーヒー（ホット）」である。
　画像Ｐ３１が入力画像である場合、差分領域Ａ１６から得られた記述情報８６に対応する項目の内容である「アメリカーノ（ホット）」をデータベースＤ１１Ｂから抽出する。このようにして、判定部Ｆ１２Ｂは、画像Ｐ３１に対して「アメリカーノ（ホット）」を飲料情報として決定する。画像Ｐ３２が入力画像である場合、差分領域Ａ１７から得られた記述情報８７に対応する項目の内容である「カプチーノ（ホット）」をデータベースＤ１１Ｂから抽出する。このようにして、判定部Ｆ１２Ｂは、画像Ｐ３２に対して「アメリカーノ（ホット）」を飲料情報として決定する。
　以上述べたように、処理部２６は、１以上のプロセッサと１以上のメモリとにより実現されている。つまり、処理部２６は、１以上のプロセッサがプログラム（飲料提供プログラム）を実行することにより実現される。飲料提供プログラムは、１以上のプロセッサに実行されると、１以上のプロセッサに、第１指示と、第２指示と、第３指示と、を与える。第１指示は、飲料吐出装置２４から飲料を注ぐ提供場所１０１にある飲料用容器７００の外観の画像である入力画像Ｐ３０～Ｐ３２を取得する指示である。第２指示は、（第１指示で取得された）入力画像Ｐ３０～Ｐ３２と参照画像Ｐ３０との差分のある差分領域Ａ１６，Ａ１７から得られた記述情報８６，８７に対応する飲料情報を取得する指示である。第３指示は、（第２指示で取得された）飲料情報に基づく飲料を飲料吐出装置２４に吐出させる指示である。このような飲料提供プログラムによれば、飲料提供システム１０Ｂと同様に、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる。
　換言すれば、処理部２６は、下記の飲料提供方法を実行しているといえる。飲料提供方法は、第１ステップと、第２ステップと、第３ステップとを含む。第１ステップは、飲料吐出装置２４から飲料を注ぐ提供場所１０１にある飲料用容器７００の外観の画像である入力画像Ｐ３０～Ｐ３２を取得するステップである。第２ステップは、入力画像Ｐ３０～Ｐ３２と参照画像Ｐ３０との差分のある差分領域Ａ１６，Ａ１７から得られた記述情報８６，８７に対応する飲料情報を取得するステップである。参照画像Ｐ３０は、入力画像Ｐ３０～Ｐ３２に写る飲料用容器７００の外観の基準となる画像である。第３ステップは、飲料情報に基づく飲料を飲料吐出装置２４に吐出させるステップを含む。このような飲料提供方法によれば、飲料提供システム１０Ｂと同様に、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる。
１．３．３　動作
　次に、飲料提供システム１０Ｂ（飲料ディスペンサ）の動作について図２０のフローチャートを参照して説明する。
　提供場所１０１（図１参照）にユーザにより飲料用容器７００が置かれると（ステップＳ３０１：Ｙｅｓ）、画像取得部Ｆ１１は、入力画像を取得し、判定部Ｆ１２Ｂに与える（ステップＳ３０２）。これによって、判定部Ｆ１２Ｂは、入力画像と参照画像との差分領域を抽出する（ステップＳ３０３）。判定部Ｆ１２Ｂは、抽出された差分領域から記述情報を取得し（Ｓ３０３）、記述情報に基づいてデータベースＤ１１Ｂから飲料情報を取得する（Ｓ３０４）。このようにして判定部Ｆ１２Ｂは、飲料情報を決定する。そして、判定部Ｆ１２Ｂで決定された飲料情報は、情報取得部Ｆ１３を経て制御部Ｆ１４へ渡される。
　飲料情報を受け取ると、制御部Ｆ１４は、確認画面により飲料情報を表示する（ステップＳ３０６）。確認画面において、所定時間内に吐出ボタン２１１が操作されると（ステップＳ３０７：Ｙｅｓ）、制御部Ｆ１４は、ステップＳ３０８へ進む。ステップＳ３０８では、制御部Ｆ１４は、情報取得部Ｆ１３から取得した飲料情報に対応する飲料を飲料吐出装置２４から吐出させる。一方、吐出ボタン２１１が操作されないまま所定時間が経過すると（ステップＳ３０７：Ｎｏ）、飲料が飲料吐出装置２４から吐出されることなく処理が終了する。
　このように、本実施形態の飲料提供システム１０Ｂでは、記述情報８０のある場所に関係なく、記述情報８０の内容によって、飲料情報が決定される。なお、本実施形態の飲料提供システム１０Ｂでは、複数の差分領域が存在することは許容されていない。そのため、複数の差分領域が抽出された場合には、判定部Ｆ１２Ｂは、エラーメッセージ等をディスプレイ２３１に表示してもよい。
１．３．４　使用方法
　次に、飲料提供システム１０Ｂの使用例について簡単に説明する。
　ユーザが、飲料提供システム１０Ｂで提供可能な飲料のなかから希望する飲料の提供を受けたい場合には、まず、飲料用容器７００に記述情報を書き込んで、提供場所１０１におけばよい。例えば、ユーザが、アメリカーノ（ホット）を希望する場合、図１８に示すように、記述情報８６を飲料用容器７００に書き込んで、提供場所１０１に置けばよい。飲料提供システム１０Ｂは、飲料用容器７００が写る入力画像から抽出した差分領域から得られた記述情報に基づいて、飲料情報を決定する。そして、飲料提供システム１０Ｂは、飲料情報についての確認画面を表示する。ユーザは、確認画面により飲料情報を確認し、問題なければ、吐出ボタン２１１を操作すればよい。これにより、飲料提供システム１０Ｂは、抽出した飲料情報に対応する飲料を飲料吐出装置２４から吐出させる。このように、ユーザは、希望する飲料に対応する記述情報を書いた飲料用容器７００を飲料提供システム１０Ｂの提供場所１０１に置いて、吐出ボタン２１１を操作するだけで、希望する飲料を飲料用容器７００に注ぐことができる。
　ここで、飲料用容器７００に記述情報を書き込むユーザと飲料用容器７００を提供場所１０１に置くユーザは異なるユーザであってもよい。例えば、顧客の注文を受け付けるレジ担当のスタッフが飲料用容器７００への書き込みを行い、厨房担当のスタッフが飲料用容器７００を提供場所１０１に置くとしてもよい。また例えば、顧客の注文を受け付けるレジ担当のスタッフが飲料用容器７００への書き込みを行い、顧客が飲料用容器７００を提供場所１０１に置くとしてもよい。
１．４　実施形態４
　図２１は、実施形態４の飲料提供システム１０Ｃを示す。飲料提供システム１０Ｃは、１以上の飲料ディスペンサ２０Ｃと、サーバ３０と、を含む。サーバ３０は、飲料ディスペンサ２０Ｃと通信ネットワーク５０を介して相互に通信が可能である。
　通信ネットワーク５０は、単一の通信プロトコルに準拠したネットワークだけではなく、異なる通信プロトコルに準拠した複数のネットワークで構成されていてもよい。通信プロトコルは、周知の様々な有線及び無線通信規格から選択され得る。また、無線通信プロトコルの例としては、無線ＬＡＮ（Local Area Network）の規格（例えば、Ｗｉ－Ｆｉ（登録商標））が挙げられる。図２１及び図２２では簡略化されているが、通信ネットワーク５０は、リピータハブ、スイッチングハブ、ブリッジ、ゲートウェイ、ルータ等のデータ通信機器を含み得る。
　飲料ディスペンサ２０Ｃは、図２２に示すように、入力部２１と、カメラ２２と、出力部２３と、飲料吐出装置２４と、処理部２６Ｃと、通信部２７と、を備える。ただし、飲料ディスペンサ２０Ｃは、飲料ディスペンサ２０とは異なり、記憶装置２５を有していない。つまり、飲料ディスペンサ２０Ｃは、データベースＤ１１を記憶する機能を有していない。
　通信部２７は、通信ネットワーク５０を介した通信を実現する。通信部２７は、通信ネットワーク５０を介した通信に対応する通信プロトコルに準拠している。処理部２６Ｃは、飲料ディスペンサ２０Ｃの動作を制御する電気回路である。処理部２６Ｃは、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとにより実現され得る。処理部２６Ｃは、図２２に示すように、画像取得部Ｆ１１と、情報取得部Ｆ１３と、制御部Ｆ１４と、を有している。ただし、処理部２６Ｃは、処理部２６とは異なり、判定部Ｆ１２を有していない。
　サーバ３０は、図２２に示すように、通信部３１と、処理部３２と、記憶装置３３と、を備える。通信部３１は、通信ネットワーク５０を介した通信を実現する。通信部３１は、通信ネットワーク５０を介した通信に対応する通信プロトコルに準拠している。処理部３２は、サーバ３０の動作を制御する電気回路である。
　処理部３２は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラムを実行することで、処理部３２として機能する。１以上のプログラムは、メモリに予め記録されていてもよいし、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。処理部３２は、図２２に示すように、判定部Ｆ１２を有している。
　記憶装置３３は、データベースＤ１１を記憶する機能を有している。ここで、飲料提供システム１０Ｃが複数の飲料ディスペンサ２０Ｃを含んでいる場合、サーバ３０のデータベースＤ１１は、複数の飲料ディスペンサ２０Ｃで共用してもよい。また、データベースＤ１１は複数の飲料ディスペンサ２０Ｃにそれぞれ対応して設けられていてもよい。
　飲料提供システム１０Ｃの、画像取得部Ｆ１１、判定部Ｆ１２、情報取得部Ｆ１３、及び制御部Ｆ１４は、飲料提供システム１０と同様である。ただし、飲料提供システム１０Ｃでは、判定部Ｆ１２がサーバ３０にあるため、画像取得部Ｆ１１及び情報取得部Ｆ１３は、通信ネットワーク５０を介して判定部Ｆ１２にアクセスする。つまり、画像取得部Ｆ１１は、カメラ２２から取得した提供場所１０１の画像を通信ネットワーク５０を介して判定部Ｆ１２に与える。また、情報取得部Ｆ１３は、通信ネットワーク５０を介して判定部Ｆ１２から飲料情報を取得する。
　このような飲料提供システム１０Ｃは、飲料提供システム１０と同様に動作する。したがって、ユーザの希望する飲料を提供する際のユーザの手間を軽減できる。
　また、飲料提供システム１０Ｃは、飲料ディスペンサ２０Ｃに加えて、サーバ３０を含んでおり、飲料ディスペンサ２０Ｃではなくサーバ３０が判定部Ｆ１２を有している。そのため、判定部Ｆ１２の更新を容易に行うことができる。判定部Ｆ１２の更新の例としては、差分領域の抽出の方法（プログラム）の更新がある。判定部Ｆ１２を更新することで、判定部Ｆ１２での判定の精度の向上が図れる。
２．変形例
　以上説明した上記実施形態は、本開示の様々な実施形態の一つに過ぎない。また、上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。以下に、上記実施形態の変形例を列挙する。
２．１　変形例１
　図２３に示す画像Ｐ４０及び図２４に示す画像Ｐ４１は、実施形態１の第１～第３判定領域Ｚ１１～Ｚ１３とは異なる第１～第３判定領域Ｚ２１～Ｚ２３が設定された例を示す。画像Ｐ４０，Ｐ４１では、第１～第３判定領域Ｚ２１～Ｚ２３は、矩形状の領域である。つまり、第１～第３判定領域Ｚ２１～Ｚ２３は、第１～第３判定領域Ｚ１１～Ｚ１３とは異なり、水平方向においても範囲が制限されている。また、第１～第３判定領域Ｚ２１～Ｚ２３の基準点は、チェックボックス７１～７３の中心と一致している。この場合、判定部（Ｆ１２，Ｆ１２Ａ，Ｆ１２Ｂ）は、複数の判定領域Ｚ２１～Ｚ２３の場所を、入力画像に写る飲料用容器７０の外観上の複数の目印（チェックボックス７１～７３）に基づいて決定する。なお、第１～第３判定領域Ｚ２１～Ｚ２３の形状は矩形状に限定されず、円形状、多角形状、その他の形状であってよい。また、第１～第３判定領域Ｚ２１～Ｚ２３はチェックボックス７１～７３と同じ範囲であってもよい。ただし、第１～第３判定領域Ｚ２１～Ｚ２３はチェックボックス７１～７３より広ければ、記述情報のチェックボックス７１～７３からの位置ずれをある程度許容できる。
２．２　変形例２
　図２５に示す画像Ｐ５０及び図２６に示す画像Ｐ６０は、目印として、互いに平行な第１～第３横線７１１～７１３が描かれた飲料用容器７１０を示す。ユーザは、第１～第３横線７１１～７１３を目印として、記述情報を飲料用容器７１０に書けばよい。例えば、図２５の画像Ｐ５０では、記述情報８８は、第３横線７１３に沿って引かれた横線であり、差分領域Ａ１８として抽出されている。同様に、図２６の画像Ｐ６０では、記述情報８９は、第３横線７１３に沿って引かれた横線であり、差分領域Ａ１９として抽出されている。なお、図２５の画像Ｐ５０では、実施形態１，２の第１～第３判定領域Ｚ１１～Ｚ１３と同様の第１～第３判定領域Ｚ３１～Ｚ３３が設定されている。一方、図２６の画像Ｐ６０では、変形例１の第１～第３判定領域Ｚ２１～Ｚ２３と同様の第１～第３判定領域Ｚ４１～Ｚ４３が設定されている。このように、飲料用容器の外観上の複数の目印は、チェックボックスに限定されない。また、目印は、チェックボックス又は横線に限定されず、これら以外の記号、図形等であってもよい。
２．３　変形例３
　図２７に示す画像Ｐ７０は、第１～第６判定領域Ｚ５１～Ｚ５６が設定された飲料用容器７２０を示す。この飲料用容器７２０では、第１～第６判定領域Ｚ５１～Ｚ５６に対応する６つのチェックボックス７２１～７２６が印刷されている。６つのチェックボックス７２１～７２６は、マトリクス状に並んでいる。ここで、飲料用容器７２０の高さ方向におけるチェックボックスの数は３であり、飲料用容器７２０の周方向におけるチェックボックスの数は２である。第１～第６判定領域Ｚ５１～Ｚ５６は、飲料情報の複数の項目にそれぞれ対応している。このように、複数の判定領域の数は、特に限定されず、飲料情報の項目の数に応じて適宜設定され得る。更に、複数の判定領域は、必ずしも飲料用容器の高さ方向に並んでいる必要はなく、飲料用容器の周方向に並んでいてもよい。要するに、判定領域は、飲料用容器の実際の使用態様や意匠性等を考慮して、飲料用容器の外観上の所望の位置に設定することができる。
２．４　変形例４
　判定部Ｆ１２は、実施形態１と異なる方法で、差分領域が複数の判定領域のいずれにあるかを判定してもよい。例えば、判定部Ｆ１２は、差分領域と判定領域との距離に基づいて、差分領域が複数の判定領域のいずれにあるかを判定してもよい。以下、このような判定の仕方を、図２８を参照して説明する。判定部Ｆ１２は、差分領域Ａ１０の基準点Ｒ１０、並びに、第１～第３判定領域Ｚ１１～Ｚ１３の基準点Ｒ１１～Ｒ１３を決定する。そして、判定部Ｆ１２は、第１～第３判定領域Ｚ１１～Ｚ１３の基準点Ｒ１１～Ｒ１３と差分領域Ａ１０の基準点Ｒ１０との距離Ｌ１～Ｌ３を求める。判定部Ｆ１２は、求めた距離Ｌ１～Ｌ３のいずれが一番短いかを判定し、距離が最も短くなる判定領域に差分領域Ａ１０があると判定する。図２８の例では、距離Ｌ２が最も短い。そのため、判定部Ｆ１２は、第２判定領域Ｚ１２に差分領域Ａ１０があると判定する。このように、判定部Ｆ１２は、複数の判定領域Ｚ１１～Ｚ１３の基準点Ｒ１１～Ｒ１３と差分領域Ａ１０の基準点Ｒ１０との距離Ｌ１～Ｌ３を求めるように構成される。そして、判定部Ｆ１２は、複数の判定領域Ｚ１１～Ｚ１３のうち距離が最も短くなる判定領域に差分領域Ａ１０があると判定するように構成される。なお、差分領域Ａ１０の基準点Ｒ１０は、実施形態１と同様に、記述情報８０を近似した三角形の重心となる点である。また、第１～第３判定領域Ｚ１１～Ｚ１３の基準点Ｒ１１～Ｒ１３は、例えば、第１～第３判定領域Ｚ１１～Ｚ１３の中心となる点（ここでは、チェックボックス７１～７３の中心となる点）である。なお、判定領域の基準点は、判定領域の中心となる点に限定されず、判定領域の重心となる点等、適宜設定可能である。
２．５　その他の変形例
　実施形態２において、差分領域から記述情報を得る場合に、ユーザが実際に書いたものの画像を利用してもよい。例えば、「Ａ」の記述情報を判定するために、ユーザが実際に書いた「Ａ」の画像を利用することができる。特に、複数のユーザについて実際に書かかれたものの画像を記憶しておけば、ユーザ間の筆跡の相違に起因する誤判定を抑制できる。ここで、飲料用容器に記述情報を付したユーザに応じて、記述情報の判定に使用する画像を変更すれば、差分領域から記述情報を得る処理にかかる負担を軽減できる。また、実施形態２において、差分領域から記述情報を得る場合に、ユーザ毎に学習済みモデルを用意し、飲料用容器に記述情報を付したユーザに応じて、学習済みモデルを選択してもよい。この場合でも、ユーザ間の筆跡の相違に起因する誤判定を抑制できる。ここで、カフェの店舗を例に挙げれば、飲料用容器に記述情報を付したユーザ（スタッフ）の情報は、例えば、飲料提供システム１０Ａが設置される店舗のレジスタや出退勤管理システム等の外部装置から取得することができる。レジスタで会計処理を行ったスタッフが飲料用容器に記述情報を付す場合には、レジスタが入力されたスタッフのＩＤを飲料提供システム１０Ａに与えることで、飲料提供システム１０Ａは、スタッフ（ユーザ）の特定が行える。また、飲料提供システム１０Ａは、出退勤管理システムから出勤中のスタッフのＩＤを取得すれば、記述情報の判定に使用する画像の絞り込みが可能になる。飲料提供システム１０Ａでは、判定部Ｆ１２Ａは、飲料用容器７０が提供場所１０１に置かれたことを検知した際に、スタッフのＩＤを外部装置から取得することができる。なお、上記技術は、実施形態３においても適用できる。
　また、実施形態１～３において、制御部Ｆ１４は、調整処理を行う機能を有していてもよい。調整機能は、情報取得部Ｆ１３が取得した飲料情報に含まれる調整項目の内容をユーザからの入力に応じて変更して飲料情報を調整する処理である。調整項目の内容の変更は、確認画面で行うことが可能である。例えば、確認画面は、調整項目の内容に対応するラベルを表示してよい。そして、入力部２１のタッチパッド２１２で調整項目の内容に対応するラベルを選択することで、調整項目の内容を変更できる。調整機能によれば、飲料情報の基本項目（つまり、飲料の種類）を変更せずに、飲料情報の調整項目の内容（飲料の仕上げの内容）の変更が可能になる。
　実施形態１において、データベースＤ１１では、飲料用容器ごとに、判定領域と飲料情報との対応関係が記憶されていてもよい。つまり、飲料用容器の用途、種類、及びサイズに応じて、異なる対応関係を用いてもよい。この場合、判定部Ｆ１２は、入力画像に写る飲料用容器を判別し、飲料用容器と判定領域との組み合わせに基づいて、データベースＤ１１から飲料情報を抽出すればよい。一例としては、飲料用容器がホット用（例えば不透明）かコールド用（例えば透明）かで、判定領域と飲料情報との対応関係を異ならせることが考えられる。別の例としては、飲料用容器のサイズで、判定領域と飲料情報との対応関係を異ならせることが考えられる。同様に、実施形態２において、データベースＤ１１Ａでは、飲料用容器ごとに、判定領域と記述情報との組み合わせと飲料情報との対応関係が記憶されていてもよい。同様に、実施形態３において、データベースＤ１１Ｃでは、飲料用容器ごとに、記述情報と飲料情報との対応関係が記憶されていてもよい。
　実施形態１，２では、第１～第３判定領域Ｚ１１～Ｚ１３の場所は、入力画像に写る飲料用容器７１０の高さと飲料用容器７１０の高さに対する複数の判定領域Ｚ１１～Ｚ１３それぞれの割合に基づいて決定できる。したがって、この場合において、目印（チェックボックス７１～７３）はなくてもよい。
　飲料ディスペンサ２０において、カメラ２２の位置は、特に限定されない。カメラ２２は、飲料用容器７０の外観を撮影することができるように、配置されていればよい。例えば、図１では、カメラ２２は、飲料用容器７０をその斜め上から撮影するように配置されているが、飲料用容器７０を横から撮影するように配置されていてもよい。
　判定部Ｆ１２は、飲料用容器７０の検知を、カメラ２２で生成された画像ではなく、センサ（例えば、近接センサ、加速度センサ）等により行ってもよい。また、判定部Ｆ１２は、別途設けられた開始ボタンの操作に応じて、判定処理を開始してもよい。この場合、図８のフローチャートのステップＳ１０１を、「開始ボタンが操作されたか」に読み替えればよい。これは、実施形態２，３の判定部Ｆ１２Ａ，Ｆ１２Ｂにおいても同様である。
　判定部Ｆ１２は、入力画像の全体と参照画像の全体との比較から差分領域を抽出し、差分領域がどの判定領域にあるかを判定している。しかしながら、判定部Ｆ１２は、判定領域毎に、入力画像と参照画像との比較をして、差分領域を抽出してもよい。つまり、判定部Ｆ１２は、入力画像と参照画像とにおいて同一の判定領域となる部分同士を比較して、差分領域を抽出してもよい。これは、実施形態２の判定部Ｆ１２Ａにおいても同様である。
　また、実施形態１において、判定部Ｆ１２は、判定部Ｆ１２Ａと同様に、差分領域Ａ１０から得られる記述情報に基づいて、飲料情報を決定してよい。例えば、実施形態１において、飲料情報が、基本項目と調整項目との２つの項目を含んでおり、調整項目が、ホットかアイスかを示す調整情報であって良い。この場合、判定部Ｆ１２は、差分領域Ａ１０がどの判定領域にあるかに基づいて、基本項目の内容を決定し、差分領域Ａ１０から得られる記述情報８０に基づいて調整項目の内容を決定してよい。例えば、判定部Ｆ１２は、表１と同様に、差分領域Ａ１０がある判定領域に基づいて、基本項目の内容を、アメリカーノ、ホワイトモカ、カフェラテから選択してよい。また、判定部Ｆ１２は、記述情報８０の色彩が赤であれば調整情報としてホットを選択し、青であれば調整情報としてアイスを選択してよい。
　制御部Ｆ１４は、吐出ボタン２１１の操作がされなくても、取得した飲料情報を飲料吐出装置２４に与えて飲料の吐出を開始させてもよい。つまり、図８のフローチャートのステップＳ１１２、図１５のフローチャートのステップＳ２０８、及び、図２０のフローチャートのステップＳ３０７は省略してよい。
　実施形態４のサーバ３０は、実施形態１の判定部Ｆ１２を有しているが、実施形態２の判定部Ｆ１２Ａ又は実施形態３の判定部Ｆ１２Ｂを有していてもよい。ここで、判定部Ｆ１２Ａ，Ｆ１２Ｂのように、差分領域からの記述情報の取得を学習済みモデルにより行う場合には、データベース（Ｄ１１Ａ，Ｄ１１Ｂ）は複数の飲料ディスペンサにそれぞれ対応して設けられていてもよい。例えば、カフェを経営する事業者が、複数の店舗に複数の飲料ディスペンサを設置する場合、カフェのスタッフが飲料ディスペンサのユーザとなる。この場合、店舗にある飲料ディスペンサを使用するのは同じ店舗のスタッフである。そこで、飲料ディスペンサ２０毎に、ユーザの記述情報についての学習を行わせることで、記述情報の判定精度の向上が図れる。
　実施形態４の飲料提供システム１０Ｃでは、判定部Ｆ１２が飲料ディスペンサ２０Ｃではなく、サーバ３０に設けられている。このように、飲料提供システム（１０；１０Ａ～１０Ｃ）は、複数のコンピュータにより構成されていればよく、飲料提供システムの機能（特に、判定部Ｆ１２，Ｆ１２Ａ，Ｆ１２Ｂの機能）は、複数の装置に分散されていてもよい。更に、飲料提供システムの機能の少なくとも一部が、例えば、クラウド（クラウドコンピューティング）によって実現されていてもよい。
　以上述べた本開示における飲料提供システムの実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを有する。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における飲料提供システムの実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
３．態様
　上記実施形態及び変形例から明らかなように、本開示は、下記の第１～第１５の態様を含む。以下では、参考のためだけに、実施形態と対応する要素に符号を括弧付きで付している。ただし、煩雑さを考慮し、変形例に関係する符号は付していない。
　第１の態様の飲料提供システム（１０；１０Ａ；１０Ｃ）は、画像取得部（Ｆ１１）と、情報取得部（Ｆ１３）と、制御部（Ｆ１４）と、を備える。前記画像取得部（Ｆ１１）は、飲料吐出装置（２４）から飲料を注ぐ提供場所（１０１）にある飲料用容器（７０）の外観の画像である入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）を取得するように構成される。前記情報取得部（Ｆ１３）は、飲料情報を取得するように構成される。前記飲料情報は、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）と参照画像（Ｐ１０）との差分のある差分領域（Ａ１０～Ａ１５）の、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）上の位置に基づいて決定される。前記参照画像（Ｐ１０）は、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）に写る飲料用容器（７０）の外観の基準となる画像である。前記制御部（Ｆ１４）は、前記情報取得部（Ｆ１３）で取得された飲料情報に基づく飲料を前記飲料吐出装置（２４）に吐出させるように構成される。第１の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。
　第２の態様の飲料提供システム（１０；１０Ａ；１０Ｃ）は、第１の態様との組み合わせにより実現され得る。第２の態様では、前記飲料提供システム（１０；１０Ａ；１０Ｃ）は、判定部（Ｆ１２；Ｆ１２Ａ）を更に備える。前記判定部（Ｆ１２；Ｆ１２Ａ）は、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）上の前記差分領域（Ａ１０～Ａ１５）の位置に基づいて前記飲料情報を決定して前記情報取得部（Ｆ１３）に与えるように構成される。第２の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。
　第３の態様の飲料提供システム（１０；１０Ｃ）は、第２の態様との組み合わせにより実現され得る。第３の態様では、前記判定部（Ｆ１２）は、前記入力画像（Ｐ１０～Ｐ１３）に写る飲料用容器（７０）の外観上の複数の判定領域（Ｚ１１～Ｚ１３）のいずれに前記差分領域（Ａ１０）があるかに基づいて前記飲料情報を決定するように構成される。第３の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。
　第４の態様の飲料提供システム（１０Ａ）は、第２の態様との組み合わせにより実現され得る。第４の態様では、前記飲料情報は、複数の項目を含む。前記複数の項目は、前記入力画像（Ｐ１０；Ｐ２１～Ｐ２４）に写る飲料用容器（７０）の外観上の複数の判定領域（Ｚ１１～Ｚ１３）のそれぞれに対応する。前記判定部（Ｆ１２Ａ）は、前記複数の判定領域（Ｚ１１～Ｚ１３）における前記差分領域（Ａ１１～Ａ１５）の有無に基づいて前記複数の項目を決定するように構成される。第４の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。
　第５の態様の飲料提供システム（１０Ａ）は、第４の態様との組み合わせにより実現され得る。第５の態様では、前記複数の項目は、飲料の種類に対応する項目と、飲料の調整に対応する項目と、を含む。第５の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。
　第６の態様の飲料提供システム（１０；１０Ａ；１０Ｃ）は、第３～第５の態様のいずれか一つとの組み合わせにより実現され得る。第６の態様では、前記判定部（Ｆ１２；Ｆ１２Ａ）は、前記差分領域（Ａ１０～Ａ１５）の基準点（Ｒ１０）が前記複数の判定領域（Ｚ１１～Ｚ１３）のいずれに含まれるかを判定するように構成される。前記判定部（Ｆ１２；Ｆ１２Ａ）は、前記複数の判定領域（Ｚ１１～Ｚ１３）のうち前記基準点を含む判定領域（Ｚ１１～Ｚ１３）に前記差分領域（Ａ１０～Ａ１５）があると判定するように構成される。第６の態様によれば、差分領域（Ａ１０～Ａ１５）の場所の判定精度の向上が図れる。
　第７の態様の飲料提供システム（１０；１０Ａ；１０Ｃ）は、第３～第５の態様のいずれか一つとの組み合わせにより実現され得る。第７の態様では、前記判定部（Ｆ１２；Ｆ１２Ａ）は、前記複数の判定領域（Ｚ１１～Ｚ１３）の基準点（Ｒ１１～Ｒ１３）と前記差分領域（Ａ１０～Ａ１５）の基準点（Ｒ１０）との距離（Ｌ１～Ｌ３）を求めるように構成される。前記判定部（Ｆ１２；Ｆ１２Ａ）は、前記複数の判定領域（Ｚ１１～Ｚ１３）のうち前記距離（Ｌ１～Ｌ３）が最も短くなる判定領域（Ｚ１１～Ｚ１３）に前記差分領域（Ａ１０～Ａ１５）があると判定するように構成される。第７の態様によれば、差分領域（Ａ１０～Ａ１５）の場所の判定精度の向上が図れる。
　第８の態様の飲料提供システム（１０；１０Ａ；１０Ｃ）は、第３～第７の態様のいずれか一つとの組み合わせにより実現され得る。第８の態様では、前記判定部（Ｆ１２；Ｆ１２Ａ）は、前記複数の判定領域（Ｚ１１～Ｚ１３）の場所を、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）に写る飲料用容器（７０）の外観上の複数の目印（７１～７３）に基づいて決定するように構成される。第８の態様によれば、判定領域（Ｚ１１～Ｚ１３）の場所の判定精度の向上が図れる。
　第９の態様の飲料提供システム（１０；１０Ａ；１０Ｃ）は、第３～第７の態様のいずれか一つとの組み合わせにより実現され得る。第９の態様では、前記判定部（Ｆ１２；Ｆ１２Ａ）は、前記複数の判定領域（Ｚ１１～Ｚ１３）の場所を、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）に写る飲料用容器（７０）の高さと割合情報に基づいて決定するように構成される。前記割合情報は、前記飲料用容器（７０）の高さに対する前記複数の判定領域（Ｚ１１～Ｚ１３）それぞれの割合を示す。第９の態様によれば、判定領域（Ｚ１１～Ｚ１３）の場所の判定精度の向上が図れる。
　第１０の態様の飲料提供システム（１０Ａ）は、第２～第９の態様のいずれか一つとの組み合わせにより実現され得る。第１０の態様では、前記判定部（Ｆ１２Ａ）は、前記差分領域（Ａ１０～Ａ１５）から得られた記述情報（８０～８５）に基づいて前記飲料情報を決定するように構成される。第１０の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。
　第１１の態様の飲料提供方法は、飲料吐出装置（２４）から飲料を注ぐ提供場所（１０１）にある飲料用容器（７０）の外観の画像である入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）を取得するステップを含む。また、前記飲料提供方法は、飲料情報を取得するステップを含む。前記飲料情報は、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）と参照画像（Ｐ１０）との差分のある差分領域（Ａ１０～Ａ１５）の、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）上の位置に基づいて決定される。前記参照画像（Ｐ１０）は、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）に写る飲料用容器（７０）の外観の基準となる画像である。更に、前記飲料提供方法は、前記飲料情報に基づく飲料を前記飲料吐出装置（２４）に吐出させるステップを含む。第１１の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。また、第１１の態様の飲料提供方法は、必要に応じて、第２～第１０の飲料提供システムにより実行され得る各種のステップの１以上を含んでいてもよい。
　第１２の態様の飲料提供プログラムは、１以上のプロセッサにより実行されると、前記１以上のプロセッサに、第１指示と、第２指示と、第３指示と、を与える。前記第１指示は、飲料吐出装置（２４）から飲料を注ぐ提供場所（１０１）にある飲料用容器（７０）の外観の画像である入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）を取得する指示である。前記第２指示は、飲料情報を取得する指示である。前記飲料情報は、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）と参照画像（Ｐ１０）との差分のある差分領域（Ａ１０～Ａ１５）の、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）上の位置に基づいて決定される。前記参照画像（Ｐ１０）は、前記入力画像（Ｐ１０～Ｐ１３；Ｐ２１～Ｐ２４）に写る飲料用容器（７０）の外観の基準となる画像である。前記第３指示は、前記飲料情報に基づく飲料を前記飲料吐出装置（２４）に吐出させる指示である。第１２の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。また、第１２の態様の飲料提供プログラムは、必要に応じて、第２～第１０の飲料提供システムで利用され得る各種の指示の１以上を含んでいてもよい。
　第１３の態様の飲料提供システム（１０Ｂ）は、画像取得部（Ｆ１１）と、情報取得部（Ｆ１３Ｂ）と、制御部（Ｆ１４）と、を備える。前記画像取得部（Ｆ１１）は、飲料吐出装置（２４）から飲料を注ぐ提供場所（１０１）にある飲料用容器（７００）の外観の画像である入力画像（Ｐ３０～Ｐ３２）を取得するように構成される。前記情報取得部（Ｆ１３）は、前記入力画像（Ｐ３０～Ｐ３２）と参照画像（Ｐ３０）との差分のある差分領域（Ａ１６，Ａ１７）から得られた記述情報（８６，８７）に対応する飲料情報を取得するように構成される。前記参照画像（Ｐ３０）は、前記入力画像（Ｐ３０～Ｐ３２）に写る飲料用容器（７００）の外観の基準となる画像である。前記制御部（Ｆ１４）は、前記情報取得部（Ｆ１３）で取得された飲料情報に基づく飲料を前記飲料吐出装置（２４）に吐出させるように構成される。第１３の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。
　第１４の態様の飲料提供方法は、飲料吐出装置（２４）から飲料を注ぐ提供場所（１０１）にある飲料用容器（７００）の外観の画像である入力画像（Ｐ３０～Ｐ３２）を取得するステップを含む。また、前記飲料提供方法は、前記入力画像（Ｐ３０～Ｐ３２）と参照画像（Ｐ３０）との差分のある差分領域（Ａ１６，Ａ１７）から得られた記述情報（８６，８７）に対応する飲料情報を取得するステップを含む。前記参照画像（Ｐ３０）は、前記入力画像（Ｐ３０～Ｐ３２）に写る飲料用容器（７００）の外観の基準となる画像である。更に、前記飲料提供方法は、前記飲料情報に基づく飲料を前記飲料吐出装置（２４）に吐出させるステップを含む。第１４の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。
　第１５の態様の飲料提供プログラムは、１以上のプロセッサにより実行されると、前記１以上のプロセッサに、第１指示と、第２指示と、第３指示と、を与える。前記第１指示は、飲料吐出装置（２４）から飲料を注ぐ提供場所（１０１）にある飲料用容器（７００）の外観の画像である入力画像（Ｐ３０～Ｐ３２）を取得する指示である。前記第２指示は、前記入力画像（Ｐ３０～Ｐ３２）と参照画像（Ｐ３０）との差分のある差分領域（Ａ１６，Ａ１７）から得られた記述情報（８６，８７）に対応する飲料情報を取得する指示である。前記第３指示は、前記飲料情報に基づく飲料を前記飲料吐出装置（２４）に吐出させる指示である。第１５の態様によれば、ユーザ（６０）の希望する飲料を提供する際のユーザ（６０）の手間を軽減できる。
　　１０，１０Ａ，１０Ｂ，１０Ｃ　飲料提供システム
　　１０１　提供場所
　　２４　飲料吐出装置
　　Ｆ１１　画像取得部
　　Ｆ１２，Ｆ１２Ａ，Ｆ１２Ｂ　判定部
　　Ｆ１３　情報取得部
　　Ｆ１４　制御部
　　Ｐ１０　画像（入力画像、参照画像）
　　Ｐ１１～Ｐ１３　画像（入力画像）
　　Ｐ２１～Ｐ２４　画像（入力画像）
　　Ｐ３０　画像（入力画像、参照画像）
　　Ｐ３１，Ｐ３２　画像（入力画像）
　　Ａ１０～Ａ１７　差分領域
　　Ｒ１０　基準点
　　Ｚ１１～Ｚ１３　判定領域
　　Ｒ１１～Ｒ１３　基準点
　　Ｌ１～Ｌ３　距離
　　７０，７００　飲料用容器
　　７１～７３　チェックボックス（目印）
　　８１～８７　記述情報

Claims (15)

  1. 　飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得する画像取得部と、
    　前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分のある差分領域の、前記入力画像上の位置に基づいて決定される飲料情報を取得する情報取得部と、
    　前記情報取得部で取得された飲料情報に基づく飲料を前記飲料吐出装置に吐出させる制御部と、
    　を備える、
    　飲料提供システム。
  2. 　前記入力画像上の前記差分領域の位置に基づいて前記飲料情報を決定して前記情報取得部に与える判定部を更に備える、
    　請求項１の飲料提供システム。
  3. 　前記判定部は、前記入力画像に写る飲料用容器の外観上の複数の判定領域のいずれに前記差分領域があるかに基づいて前記飲料情報を決定するように構成される、
    　請求項２の飲料提供システム。
  4. 　前記飲料情報は、複数の項目を含み、
    　前記複数の項目は、前記入力画像に写る飲料用容器の外観上の複数の判定領域のそれぞれに対応し、
    　前記判定部は、前記複数の判定領域における前記差分領域の有無に基づいて前記複数の項目を決定するように構成される、
    　請求項２の飲料提供システム。
  5. 　前記複数の項目は、飲料の種類に対応する項目と、飲料の調整に対応する項目と、を含む、
    　請求項４の飲料提供システム。
  6. 　前記判定部は、前記差分領域の基準点が前記複数の判定領域のいずれに含まれるかを判定し、前記複数の判定領域のうち前記基準点を含む判定領域に前記差分領域があると判定するように構成される、
    　請求項３～５のいずれか一つの飲料提供システム。
  7. 　前記判定部は、前記複数の判定領域の基準点と前記差分領域の基準点との距離を求め、前記複数の判定領域のうち前記距離が最も短くなる判定領域に前記差分領域があると判定するように構成される、
    　請求項３～５のいずれか一つの飲料提供システム。
  8. 　前記判定部は、前記複数の判定領域の場所を、前記入力画像に写る飲料用容器の外観上の複数の目印に基づいて決定するように構成される、
    　請求項３～７のいずれか一つの飲料提供システム。
  9. 　前記判定部は、前記複数の判定領域の場所を、前記入力画像に写る飲料用容器の高さと割合情報とに基づいて決定するように構成され、
    　前記割合情報は、前記飲料用容器の高さに対する前記複数の判定領域それぞれの割合を示す、
    　請求項３～７のいずれか一つの飲料提供システム。
  10. 　前記判定部は、前記差分領域から得られた記述情報に基づいて前記飲料情報を決定するように構成される、
    　請求項２～９のいずれか一つの飲料提供システム。
  11. 　飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得するステップと、
    　前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分のある差分領域の、前記入力画像上の位置に基づいて決定される飲料情報を取得するステップと、
    　前記飲料情報に基づく飲料を前記飲料吐出装置に吐出させるステップと、
    　を含む、
    　飲料提供方法。
  12. 　１以上のプロセッサにより実行されると、前記１以上のプロセッサに、
    　飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得する第１指示と、
    　前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分のある差分領域の、前記入力画像上の位置に基づいて決定される飲料情報を取得する第２指示と、
    　前記飲料情報に基づく飲料を前記飲料吐出装置に吐出させる第３指示と、
    　を与える、
    　飲料提供プログラム。
  13. 　飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得する画像取得部と、
    　前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分のある差分領域から得られた記述情報に対応する飲料情報を取得する情報取得部と、
    　前記情報取得部で取得された飲料情報に基づく飲料を前記飲料吐出装置に吐出させる制御部と、
    　を備える、
    　飲料提供システム。
  14. 　飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得するステップと、
    　前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分から得られた記述情報に対応する飲料情報を取得するステップと、
    　前記飲料情報に基づく飲料を前記飲料吐出装置に吐出させるステップと、
    　を含む、
    　飲料提供方法。
  15. 　１以上のプロセッサにより実行されると、前記１以上のプロセッサに、
    　飲料吐出装置から飲料を注ぐ提供場所にある飲料用容器の外観の画像である入力画像を取得する第１指示と、
    　前記入力画像と前記入力画像に写る飲料用容器の外観の基準となる画像である参照画像との差分から得られた記述情報に対応する飲料情報を取得する第２指示と、
    　前記飲料情報に基づく飲料を前記飲料吐出装置に吐出させる第３指示と、
    　を与える、
    　飲料提供プログラム。
PCT/JP2019/001409 2018-01-29 2019-01-18 飲料提供システム、飲料提供方法、飲料提供プログラム WO2019146515A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018013114A JP2019131209A (ja) 2018-01-29 2018-01-29 飲料提供システム、飲料提供方法、飲料提供プログラム
JP2018-013114 2018-01-29

Publications (1)

Publication Number Publication Date
WO2019146515A1 true WO2019146515A1 (ja) 2019-08-01

Family

ID=67395319

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/001409 WO2019146515A1 (ja) 2018-01-29 2019-01-18 飲料提供システム、飲料提供方法、飲料提供プログラム

Country Status (2)

Country Link
JP (1) JP2019131209A (ja)
WO (1) WO2019146515A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7475883B2 (ja) 2020-02-10 2024-04-30 サンデン・リテールシステム株式会社 飲料商品吐出提供装置
JP7380295B2 (ja) 2020-02-14 2023-11-15 富士電機株式会社 飲料供給装置
JP7484215B2 (ja) * 2020-02-26 2024-05-16 富士電機株式会社 飲料供給装置及び再学習済みモデル生成システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016173735A1 (en) * 2015-04-30 2016-11-03 Nestec S.A. Code and container of system for preparing a beverage or foodstuff
JP2017159941A (ja) * 2016-03-10 2017-09-14 パナソニックＩｐマネジメント株式会社 飲料ディスペンサ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016173735A1 (en) * 2015-04-30 2016-11-03 Nestec S.A. Code and container of system for preparing a beverage or foodstuff
JP2017159941A (ja) * 2016-03-10 2017-09-14 パナソニックＩｐマネジメント株式会社 飲料ディスペンサ

Also Published As

Publication number Publication date
JP2019131209A (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
WO2019146515A1 (ja) 飲料提供システム、飲料提供方法、飲料提供プログラム
US20150170533A1 (en) Alcoholic beverage producing apparatus and recording medium
GB2449002A (en) Beverage container including electronic display means
EP3483812A1 (en) Checkout system
JPH11262649A (ja) 混合装置および方法、ならびに飲料供給装置
JP2017007715A (ja) 飲料吐出装置
JP2017210253A (ja) 飲料ディスペンサ
US20190112174A1 (en) Beverage Dispenser With Beverage Dispensing Containers And Method For Illuminating The Active Container
US10874238B2 (en) Dispensing system
JP2004206393A (ja) 画像データ処理装置及びプログラム
JP2017224147A (ja) 精算システム
KR20210145777A (ko) 식품을 제공하기 위한 방법
JP2019070869A (ja) 飲料提供システム、飲料提供方法、飲料提供プログラム
JP2021047768A (ja) 精算システム
JP2003233875A (ja) 食堂サービスシステム
US20110061459A1 (en) Method and Apparatus for Enhancing Measurement Accuracy for Beverage Preparations
JP2008129750A (ja) 飲食物配膳管理システムおよび飲食物配膳管理方法
JPH09267845A (ja) 飲料用カップ及び飲料用自動販売機
JP5210690B2 (ja) 立ち寿司システム
JP2004185522A (ja) 店舗向け飲料サービングシステム
CN208888938U (zh) 一种柱状商品识别系统和智能货柜
JP4244471B2 (ja) カップ式自動販売機
JP2007219566A (ja) 飲食台ユニットおよび飲食システム
WO2019146251A1 (ja) 飲料提供システム及び飲料提供方法
JP2007226533A (ja) 予算管理機能を備えたセルフオーダー式電子メニュー装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19743943

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19743943

Country of ref document: EP

Kind code of ref document: A1