WO2020171087A1 - 食品調理装置及び制御プログラム - Google Patents

食品調理装置及び制御プログラム Download PDF

Info

Publication number
WO2020171087A1
WO2020171087A1 PCT/JP2020/006354 JP2020006354W WO2020171087A1 WO 2020171087 A1 WO2020171087 A1 WO 2020171087A1 JP 2020006354 W JP2020006354 W JP 2020006354W WO 2020171087 A1 WO2020171087 A1 WO 2020171087A1
Authority
WO
WIPO (PCT)
Prior art keywords
food
robot arm
cooking
heating
cooking device
Prior art date
Application number
PCT/JP2020/006354
Other languages
English (en)
French (fr)
Inventor
哲也 沢登
広輝 増田
Original Assignee
コネクテッドロボティクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コネクテッドロボティクス株式会社 filed Critical コネクテッドロボティクス株式会社
Publication of WO2020171087A1 publication Critical patent/WO2020171087A1/ja

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00Stoves or ranges heated by electric energy
    • F24C7/04Stoves or ranges heated by electric energy with heat radiated directly from the heating element
    • F24C7/046Ranges
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47FSPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F7/00Show stands, hangers, or shelves, adapted for particular articles or materials
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J44/00Multi-purpose machines for preparing food with several driving units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present disclosure relates to a food cooking device and a control program that cause food to be cooked and displays cooked food.
  • cooked foods such as fried chicken, croquette, and yakitori are displayed, and the clerk of the commercial facility is taken out according to the customer's order. Serving customers.
  • Patent Document 1 discloses a showcase placed on the cashier counter of a convenience store. The interior of the showcase is heated and the cooked food is displayed so that the customer can see it.
  • the displayed cooked food is provided to the customer by the clerk of the commercial facility taking out the food according to the customer's order. Work is mainly performed when a customer purchases a product. Therefore, the store clerk has to settle other products purchased by the customer, takes out the cooked food and provides it to the customer, and also needs to settle the food, which is very troublesome.
  • a food cooking device is a food cooking device that causes food to be cooked and displays cooked food.
  • the food is lifted, held, and moved to load the food on the cooking device.
  • the robot arm includes a robot arm that is placed on the heating device to perform heating and cooking, and displays the heated food on the warmer, and an operation control unit that controls the operation of the robot arm.
  • a control program is a control program that causes a food cooking apparatus including a robot arm to heat and cook food, and displays cooked food, and holds and holds the food.
  • a food cooking apparatus including a robot arm to heat and cook food, and displays cooked food, and holds and holds the food.
  • moving while holding the food placing the food on the heating cooking device and heating the cooking device to heat cooking, and in the state where the heated food is lifted and held.
  • a display step of moving and displaying food on the warmer is performed by the electronic computer.
  • a robot arm lifts and holds food and moves it, places the food on the heating and cooking device and causes the heating and cooking device to perform heating and cooking, and heats the heated food to a warmer. To display. With this, the robot arm can cook the food, so that the labor for cooking can be reduced.
  • FIG. 3 is a right side view showing an example of the external appearance of the robot arm size 100 of FIG. 2.
  • FIG. 2 It is a front view which shows the example of the external appearance of the robot arm small 200 of FIG.
  • It is sectional drawing which shows the internal structure of the heat retention device W of FIG.
  • W the example of the external appearance of the flyer F of FIG.
  • FIG. 1 It is a schematic diagram which shows the example of an external appearance of the skewer K of FIG.
  • FIG. 3 is a functional block configuration diagram showing a computer 600 according to an embodiment of the present disclosure.
  • FIG. 1 is a functional block configuration diagram showing a food cooking device 1 according to Embodiment 1 of the present disclosure.
  • the food cooking device 1 is a device that assists the work of heating and cooking food using a heating cooking device and displaying the cooked food on a warmer, mainly in a commercial facility such as a convenience store.
  • the food cooking device 1 also supports the work of providing cooked food according to an order from a customer.
  • the food is, for example, food such as fried chicken and Frankfurt that has been cooked, which is displayed on a warmer installed mainly at a cashier counter of a commercial facility such as a convenience store.
  • the food on the skewers will be described as an example.
  • the food cooking device 1 includes a large robot arm (robot arm) 100, a small robot arm (robot arm) 200, a camera (detection unit) 300, an ordering terminal (ordering device) 400, a control terminal 500, and a network NW. And have.
  • the large robot arm 100, the small robot arm 200, the camera 300, the order terminal 400, and the control terminal 500 are connected to each other via a network NW.
  • the network NW is a communication network for performing communication, and as an example, without limitation, the Internet, an intranet, a LAN (Local Area Network), a WAN (Wide Area Network), a wireless LAN (Wireless LAN: WLAN), a wireless WAN ( Wireless WAN: WWAN), a virtual private network (Virtual Private Network: VPN), and other communication networks.
  • the robot arm large 100, the robot arm small 200, the camera 300, the ordering terminal 400, and the control terminal 500 are directly connected to each other by a USB (Universal Serial Bus) cable or the like, for example, without limitation. Is also good.
  • USB Universal Serial Bus
  • the robot arm size 100 is a device that performs operations such as grasping, releasing, and carrying like a human hand, and is provided for performing a series of operations for heating and cooking food and displaying cooked food.
  • the small robot arm 200 is a device that, like the large robot arm 100, performs operations such as grabbing, releasing, and carrying like a human hand, and is for providing cooked food in response to an order from a customer. It is provided to perform a series of operations.
  • the large robot arm 100 is a larger device than the small robot arm 200, but the present invention is not limited to such a configuration, and the large robot arm 100 and the small robot arm 200 are configured by the same device. Alternatively, one robot arm may be used.
  • the camera 300 is a device that photographs food, a cooking device, and a warmer and generates image data.
  • a photographing device such as a CCD (Charge Coupled Device) and a conversion device that converts the photographed image into image data.
  • a digital camera or the like a digital camera or the like. The camera 300 captures an image and converts it into image data at predetermined time intervals.
  • This camera 300 is arranged, for example, at the tip side of the robot arm large 100 and the robot arm small 200, and further, the entire cash register side counter of the convenience store in which the robot arm large 100 and the robot arm small 200 are installed.
  • One or a plurality of cameras 300 are fixed and arranged at positions where images can be taken. Such an arrangement is made by using the camera 300 arranged at the tip side of the robot arm large 100 and the robot arm small 200, the position of the tip of the robot arm large 100 and the robot arm small 200, and a target object such as food. This is for grasping the position and type of, the position of the heating and cooking device, and the position of the heat retaining device, and for grasping the overall condition of the cash register side counter with the other camera 300.
  • the camera 300 may be any device that can detect food, a cooking device, and a warmer, and may be configured by a sensor such as an infrared sensor.
  • the order terminal 400 is a terminal device that displays an order of cooked food items displayed on a warmer by a customer in a commercial facility such as a convenience store so that the customer can order food items. It is composed of a tablet terminal and the like. Further, it may be configured by a POS cash register that constitutes the cash register device of the store. On the order terminal 400, a list of foods sold at the store is displayed together with photographs and the order is accepted by, for example, the customer touching the display portion with his/her finger. If the product ordered by the customer is displayed on the warmer, the robot arm small 200 takes the product out of the warmer and provides it to the customer. If the product is not displayed on the warmer, the robot arm large 100 heats and cooks it. Is provided to the customer.
  • FIG. 2 is a plan view showing an arrangement example of the large robot arm 100 and the small robot arm 200 of FIG.
  • the layout shown in FIG. 2 is a layout of a cash register side counter of a commercial facility such as a convenience store and its vicinity, and a counter table CT on which a cash register R is mounted, and a position facing the counter table CT.
  • a work table JT is arranged.
  • a space is provided between the counter table CT and the work table JT so that a clerk of the store can pass through, and a robot arm large 100 is installed at the end of the space.
  • a small robot arm 200 is installed on the counter table CT, a warmer W for displaying cooked foods is provided in the vicinity thereof, and an order terminal 400 is arranged on the customer C side of the warmer W.
  • a fryer (heating cooking device) F, a heating plate (heating cooking device) P, and a freezer (storage) L for storing food before heating and cooking are arranged on the work table JT.
  • the freezer L may be
  • the robot arm size 100 takes out food from the freezer L near the fryer F and the heating plate P, lifts and holds the food one by one, and moves the food as it is to move the fryer F or the heating plate. Place on P. Whether the food is placed on the fryer F or the heating plate P and heated is determined by the type of the food, and is determined by the control terminal 500. For example, if the food is deep-fried, it is placed on the fryer F, and if it is Frankfurt, it is placed on the heating plate P. The food cooked for a predetermined time is lifted by the robot arm size 100 and displayed on the warmer W. It is also possible to arrange a plurality of metal buckets in the freezer L and load a plurality of food items in one metal bucket. In this case, the robot arm size 100 can take out the metal bucket from the freezer L and put it into the fryer F together with the metal bucket to fry the food in the metal bucket.
  • the robot arm small 200 takes out the product from the warmer W and provides it to the customer C. ..
  • the robot arm size 100 places the product on the flyer F or the heating plate P to start heating, and when the heating is completed, the customer C sends it to the customer C. provide.
  • the robot arm small 200 places food on a tray (container) T made of paper or plastic. After that, the tray T is moved by the belt conveyor provided on the counter table CT and provided to the customer C.
  • the robot arm small 200 may be provided with a suction device for sucking and taking out the tray T.
  • the control terminal 500 is a device that controls the operations of the large robot arm 100, the small robot arm 200, the camera 300, and the ordering terminal 400, and by way of example and not limitation, a computer (desktop, laptop, Tablet, etc.), a device including a server device, and the like. Specifically, based on the image data captured by the camera 300, the robot arm size 100 is caused to lift the food, the fryer F or the heating plate P heats and cooks the food, and the warmer W displays the food.
  • the control terminal 500 is configured by a server device, it is not limited to a server device that operates alone, but may be configured by a distributed server system that cooperates by communicating via the network NW or a cloud server. ..
  • the control terminal 500 also includes a communication unit 510, a storage unit 520, and a control unit 530.
  • the communication unit 510 is a communication interface for performing wired or wireless communication with the large robot arm 100, the small robot arm 200, the camera 300, and the order terminal 400 via the network NW, and is capable of performing mutual communication. Any communication protocol may be used.
  • the communication unit 510 communicates by a communication protocol such as TCP/IP (Transmission Control Protocol/Internet Protocol), for example and not limitation.
  • TCP/IP Transmission Control Protocol/Internet Protocol
  • the storage unit 520 stores a program for executing various control processes and each function in the control unit 530, input data, and the like.
  • a program for executing various control processes and each function in the control unit 530, input data, and the like.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • storage unit 520 temporarily stores the data communicated with the large robot arm 100, the small robot arm 200, the camera 300, and the order terminal 400, and the data generated in each process described later.
  • the control unit 530 controls the overall operation of the control terminal 500 by executing a program stored in the storage unit 520, and as an example and not a limitation, a CPU (Central Processing Unit), an MPU (Micro). Processing unit), GPU (Graphics Processing Unit), microprocessor (Microprocessor), processor core (Processor core), multiprocessor (Multiprocessor), ASIC (Application-Specific Integrated Circuit), device including FPGA (Field Programmable Gate Array) Composed of.
  • the function of the control unit 530 includes a determination unit 531, an operation control unit 532, and a machine learning unit 533. The determination unit 531, the operation control unit 532, and the machine learning unit 533 are activated by the program stored in the storage unit 520 and executed by the control terminal 500.
  • the determination unit 531 determines the position and type of food from the image data captured by the camera 300, the position of the fryer F or the heating plate P, and the position of the warmer W.
  • the robot arm size 100 lifts the foods one by one in order to heat and cook the foods. Therefore, the relative position of the food (imaged by the camera 300) seen from the position of the tip of the robot arm size 100 at the time of imaging is: Determine from image data. The same applies to the case of the robot arm small 200.
  • the unit 531 determines the type of food from the image data.
  • the determination of the type of food by the determination unit 531 is not limited to the example, and the type may be determined by analyzing the color, shape, etc. of the food from the image data of the food. Alternatively, the AR marker (identification information) provided on the edible portion may be used for identification. Further, since the time for heating the food with the fryer F or the heating plate P is also determined depending on the type of the food, it is determined based on the determined type.
  • the determination unit 531 places the food item lifted by the robot arm large 100 on the fryer F or the heating plate P, it determines the relative position of the fryer F or the heating plate P viewed from the position of the robot arm large 100 at the time of imaging. Determine from image data.
  • the determination unit 531 displays the heated food item lifted by the robot arm large 100 on the warmer W, and thus determines the relative position of the warmer W viewed from the position of the robot arm large 100 at the time of image capturing from the image data. To do.
  • the determination unit 531 calculates the amounts of the plurality of types of food items already displayed on the warmer W from the image data of the warmer W, and the number of food items displayed on the warmer W is small. May be determined. In this case, the determination unit 531 determines the position of the desired food from a freezer or the like in which the food is stored, for example. Based on the result of this determination, the operation control unit 532 gives an instruction, and the robot arm large 100 heats and cooks a small number of foods.
  • the operation control unit 532 controls the operation of the large robot arm 100, the small robot arm 200, the camera 300, and the order terminal 400 based on the determination result of the determination unit 531. Specifically, in order to lift the food by the robot arm large 100 and the robot arm small 200, a control signal for operating the servo motor built in the robot arm large 100 and the robot arm small 200 is described below. It transmits to the large robot arm 100 and the small robot arm 200 via the communication unit 510. Further, when the camera 300 takes an image of food, the fryer F, the heating plate P, and the warmer W, in order to obtain highly accurate image data by focusing, operation control such as the lens position of the CCD constituting the camera 300 is performed. The control signal to be transmitted is transmitted to the camera 300 via the communication unit 510.
  • the machine learning unit 533 performs machine learning based on the image data of the warmer W captured by the camera 300 based on the stock amounts of the plurality of types of foods displayed on the warmer W, and cooks the food at a predetermined time. Generate model information indicating the quantity.
  • the machine learning at this time is, for example, without limitation, the amount of food displayed in the warmer W for a certain period of time and discarded, the type of food sold, and the like serve as teacher data, and supervised learning is performed. Be seen.
  • the model information generated by the machine learning unit 533 is used by the determination unit 531.
  • the machine learning may be performed by another device, and the model information generated by the machine learning performed by the other device may be incorporated in the food cooking device 1.
  • a certain amount of food may be cooked at a predetermined time, and the food may be cooked regardless of the remaining amount of the food displayed in the warmer W.
  • the machine learning unit 533 may not be provided.
  • FIG. 3 is a right side view showing an example of the appearance of the robot arm size 100 of FIG.
  • the robot arm size 100 includes a fixed portion 110, a mounting movable portion 120, an upper arm portion 130, a joint portion 140, a forearm portion 150, a wrist portion 160, a support portion 170, It is composed of a holding section 180.
  • the fixed portion 110 is a portion where the robot arm large 100 is fixed to the mounting table TA.
  • the mounting movable portion 120 is a movable portion to which one end of the upper arm portion 130 is connected and whose angle with the upper surface of the mounting table TA can be changed.
  • a servo motor is built in the placement movable section 120, and the servo motor is driven by the control of the operation control section 532 to rotate the upper arm section 130.
  • the upper arm portion 130 is a rod-shaped member on the mounting table TA side of the large robot arm 100.
  • the joint part 140 is a part that rotatably connects the other end of the upper arm part 130 and one end of the forearm part 150.
  • a servomotor is built in the joint section 140, and the servomotor is driven by the control of the operation control section 532 to rotate the forearm section 150.
  • the forearm portion 150 is a rod-shaped member on the tip side of the robot arm size 100.
  • the wrist part 160 is a place where the other end of the forearm part 150 and one end of the support part 170 are rotatably connected.
  • a servo motor is built in the wrist 160, and the servo motor is driven by the control of the operation controller 532 to rotate the support 170.
  • the support portion 170 is a portion that supports the sandwiching portion 180 at the tip portion of the large robot arm 100. In the initial state, the supporting portion 170 is in a downward facing state.
  • the sandwiching portion 180 is a portion that holds the food by sandwiching it, and as an example and not a limitation, in order to prevent slipping and dropping when sandwiching and holding the food, even if it comes into direct contact with the food, it is hygienic.
  • the scissors-shaped metal member is formed by coating a non-slip material such as synthetic resin.
  • one or a plurality of cameras 300 are connected to the support unit 170 and arranged so that the food held by the holding unit 180 of the robot arm size 100 can be imaged.
  • FIG. 4 is a front view showing an example of the appearance of the robot arm small 200 and the warmer W of FIG.
  • FIG. 5 is a cross-sectional view showing the internal structure of the warmer W of FIG. Details of each part of the small robot arm 200 are the same as those of the large robot arm 100 shown in FIG.
  • the warmer W is a device for displaying food while keeping it warm. As shown in FIG. 4, for example, a two-stage shelf is provided and a plurality of trays TR for placing food are provided. The trays TR are provided in the same number as the types of food so that the trays TR are displayed for each type of food.
  • the warmer W is provided with a door D that can open and close the warmer W on the side of the store clerk and the robot arm 100.
  • the door D is opened by the large robot arm 100 and the small robot arm 200 when the large robot arm 100 displays the product on the warmer W or when the small robot arm 200 takes out the product for providing to the customer. Therefore, the door D is provided with a handle so that it can be easily held by the holding portions 180 of the large robot arm 100 and the small robot arm 200.
  • the tray TR has a structure that can be pulled out to the clerk and the robot arm large 100 side. This is because the food held by the large robot arm 100 and the small robot arm 200 can be easily displayed without colliding with the edge of the warmer W. Therefore, the holding unit 180 of the large robot arm 100 and the small robot arm 200 holds the end of the tray TR and pulls it out before displaying the product.
  • FIG. 6 is a perspective view showing an example of the appearance of the flyer F of FIG.
  • the fryer F shown in FIG. 6 is a device for frying food with edible oil, and is a device for business use used in commercial facilities such as convenience stores and restaurants.
  • the fryer F is provided with an oil tank H for filling the cooking oil, and the food FD is placed on the net N and immersed in the oil tank O filled with the heated cooking oil to convert the food FD into the cooking oil. It is fried and cooked.
  • the fryer F is heated and cooked for a predetermined period of time and sufficiently heated, the large robot arm 100 holds the handle H provided on the net N and lifts it up to complete the cooking.
  • the food FD is stuck in the skewer K that is cooked at the same time, and when the robot arm size 100 clamps the food FD and lifts it upward, the sandwiching unit 180 clamps the skewer K.
  • FIG. 7 is a perspective view showing an example of the appearance of the heating plate P of FIG.
  • the heating plate P shown in FIG. 7 is a device for baking food on a top plate.
  • the heating plate P is provided with a top plate S on which the food FD is placed, and by placing the food FD on the heated top plate S, the food FD is baked and cooking is performed.
  • FIG. 8 is a schematic diagram showing an example of the appearance of the skewer K in FIG.
  • an AR marker A for determining the type of food FD by the determination unit 531 is provided on the handle portion of the skewer K.
  • the food FD is provided with an AR marker A as identification information because it is difficult to determine the type of the food FD based on its appearance alone, since it is difficult to identify the type of food FD, especially when it is fried with a fryer F. This makes it possible to accurately determine the type of food FD.
  • FIG. 9 is a sectional view showing the internal structure of the freezer L.
  • FIG. 10 is an enlarged perspective view of the freezer L as seen from the opening/closing door side.
  • the freezer L is a device for displaying food while keeping it in a frozen state.
  • a plurality of shelves are provided and a plurality of buckets B (B1 to B5) on which food is placed.
  • B1 to B5 are placed adjacent to each other in the take-out direction.
  • the right side of the freezer L is the door L1 side, and the robot arm large 100 is installed on the door L1 side.
  • the freezer L having a plurality of stages is provided with two rail portions (placement portions) L2 on which food is placed and which is inclined so as to be lowered toward the takeout direction of the robot arm size 10.
  • the rail portion L2 is provided so as to be inclined such that the side of the robot arm 100 is downward.
  • the buckets B When the buckets B are lined up on the rail portion L2 of the freezer L, the buckets B can be placed on the rail portion L2 having an inclination by sequentially placing the buckets B from the door L1 side.
  • the bucket B may be provided with a grip so that the robot arm large 100 can easily grip it.
  • the bucket B In order to directly put the bucket B into the flyer F or the heating plate P, the bucket B is preferably made of metal, but may be made of resin, for example.
  • the operation control unit 532 controls the operation of the robot arm large 100, and causes the food L to be taken out from the freezer L.
  • the robot arm size 100 opens the door L1 of the freezer L, takes out the foremost bucket B1 placed on the slanted rail portion L2 from the freezer L, and takes out the taken-out bucket B1 in the flyer F.
  • the food in the bucket B can be fried by directly putting it in a container.
  • the robot arm size 100 takes out the bucket B from the freezer L and takes out a plurality of foods in the bucket B without directly putting the bucket B into the fryer F or the heating plate P, and then the heating plate P or the fryer F. You can also put it inside and cook. Further, the food can be placed directly on the rail L2 without placing the bucket B on the rail L2 of the freezer L.
  • the freezer L has been described as an example of the food storage, the food may be stored in a refrigerator instead of the freezer L.
  • FIG. 12 is a flowchart showing the operation of the food cooking device 1 of FIG.
  • step S101 when the operation of the robot arm large 100 starts by the control signal of the operation control unit 532 of the control terminal 500, the robot arm large 100 operates by the control signal of the operation control unit 532, and the flyer F shown in FIG. Also, the supporting unit 170 moves to the vicinity of the food FD before heating (not shown) which is placed near the heating plate P.
  • the camera 300 connected to the support unit 170 captures an image of the food FD and generates image data of the food FD.
  • the determination unit 531 determines the relative position of the food FD as seen from the position of the tip of the robot arm large 100 from the image data captured by the camera 300 in step S102. Further, the AR marker A provided on the skewer K of the food FD is read from the image data, and the type of the food FD is determined.
  • step S104 the robot arm large 100 is operated by the control signal of the operation control unit 532, and the support unit 170 moves to the relative position of the food FD determined in step S103.
  • step S105 when the robot arm large 100 is operated by the control signal of the operation control unit 532 and the support unit 170 descends and the sandwiching unit 180 contacts the skewer K, the sandwiching unit 180 sandwiches the skewer K.
  • the robot arm size 100 is raised in this state, the food FD is held in a state of being sandwiched by the sandwiching unit 180.
  • step S106 the robot arm large 100 is operated by the control signal of the operation control unit 532, and the support unit 170 moves above the fryer F or the heating plate P based on the type of the food FD determined in step S103. ..
  • the camera 300 connected to the supporting unit 170 captures an image of the flyer F or the heating plate P and generates image data of the flyer F or the heating plate P.
  • the determination unit 531 determines the relative position of the flyer F or the heating plate P viewed from the position of the tip of the robot arm large 100 from the image data captured by the camera 300 in step S107. For example, when another food FD is placed on the flyer F, it is determined from the image data so that the position is within the net N of the flyer F that does not collide with the food FD. The same applies to the heating plate P. That is, the positioning for placing the food FD is performed in a later step.
  • step S109 the robot arm large 100 is operated by the control signal of the operation control unit 532, and the support unit 170 moves to the position on the flyer F or the heating plate P determined in step S108.
  • step S110 when the robot arm large 100 is operated by the control signal of the operation control unit 532 and the sandwiching of the sandwiching unit 180 in which the skewer K is sandwiched is released, the food FD becomes the fryer F or the heating plate P of the predetermined size. Placed in the position.
  • step S111 the operation control unit 532 determines whether or not the heating time by the fryer F or the heating plate P of the food FD determined based on the type of the food FD determined in step S103 has passed. .. In this process, when it is determined that the heating time has elapsed, the process of step S112 is performed, and when it is determined that the heating time has not elapsed, the process of step S111 is continuously performed.
  • the camera 300 connected to the support unit 170 captures an image of the warmer W and generates image data of the warmer W.
  • the determination unit 531 determines the relative position of the warmer W as seen from the position of the tip of the robot arm large 100 from the image data captured by the camera 300 in step S112. For example, when another food FD is displayed on the tray TR of the type of the food FD in the warmer W, it is determined from the image data so that the position in the tray TR does not collide with the food FD. That is, the positioning of displaying the food FD is performed in a later step.
  • step S114 the robot arm large 100 is operated by the control signal of the operation control unit 532, the supporting unit 170 moves so as to approach the warmer W, and the holding unit 180 contacts the handle of the door D of the warmer W. Then, the gripping portion 180 clamps the handle.
  • the door D is opened.
  • the support part 170 descends to the flyer F or the heating plate P and the sandwiching part 180 contacts the skewer K, the sandwiching part 180 sandwiches the skewer K.
  • the robot arm size 100 is raised in this state, the food FD is held in a state of being sandwiched by the sandwiching unit 180.
  • step S115 the robot arm large 100 is operated by the control signal of the operation control unit 532, and the support unit 170 moves to the position on the tray TR of the warmer W determined in step S113.
  • step S116 when the robot arm large 100 is operated by the control signal of the operation control unit 532 and the sandwiching of the sandwiching unit 180 in which the skewer K is sandwiched is released, the food FD is stored in the tray TR of the warmer W in a predetermined manner. Placed in the position.
  • the food is lifted by the operation of the robot arm, and in this state, the food is moved to and placed on the fryer or the heating plate which is the heating cooking device, and the heating cooking is performed. .. After a lapse of a predetermined time, the food is transferred to the warmer and placed on the tray of the warmer. With this, the robot arm can cook the food, so that the labor for cooking can be reduced.
  • the AR marker for discriminating the type of food is provided on the skewer of the food, it is possible to accurately discriminate the type of food. As a result, it is possible to perform heating cooking suitable for the food and display the food at a predetermined position of the warmer.
  • FIG. 12 is a functional block configuration diagram showing an example of the configuration of the computer (electronic computer) 600.
  • the computer 600 includes a CPU 601, a main storage device 602, an auxiliary storage device 603, and an interface 604.
  • the details of the control program for realizing each function configuring the determination unit 531, the operation control unit 532, and the machine learning unit 533 according to the first embodiment will be described. These functional blocks are implemented in the computer 600.
  • the operation of each of these components is stored in the auxiliary storage device 603 in the form of a program.
  • the CPU 601 reads out the program from the auxiliary storage device 603, expands it in the main storage device 602, and executes the above-mentioned processing according to the program. Further, the CPU 601 reserves a storage area corresponding to the above-described storage unit in the main storage device 602 according to the program.
  • the program is, in the computer 600, a food imaging step for imaging food, a food position type determination step for determining the position and type of food from image data of the imaged food, a food position and type, Based on the determination result of the type, the position of the heating cooking device is determined from the food holding step of lifting and holding the food, the heating cooking device imaging step of imaging the heating cooking device, and the image data of the imaged heating cooking device.
  • Heater cooking device position determination step cooking step of moving the food while holding it, placing the food on the heating cooking device to cause the heating cooking device to cook, and imaging the warmer Step, a warmer position determination step for determining the position of the warmer from the imaged image data of the warmer, and a display for moving the heated food while holding it and displaying the food on the warmer. It is a control program that realizes steps and by a computer.
  • the auxiliary storage device 603 is an example of a non-transitory tangible medium.
  • Other examples of non-transitory tangible media include magnetic disks, magneto-optical disks, CD-ROMs, DVD-ROMs, semiconductor memories, etc. connected via an interface 604. Further, when this program is distributed to the computer 600 via the network, the computer 600 that has received the distribution may expand the program in the main storage device 602 and execute the above processing.
  • the program may be for realizing some of the functions described above. Further, the program may be a so-called difference file (difference program) that realizes the function described above in combination with another program already stored in the auxiliary storage device 603.
  • difference file difference program
  • 1 food cooking device 100 robot arm large, 110 fixed part, 120 placement movable part, 130 upper arm part, 140 joint part, 150 forearm part, 160 wrist part, 170 support part, 180 holding part, 200 robot arm small part, 300 Camera (imaging unit), 400 ordering terminal, 500 control terminal, 510 communication unit, 520 storage unit, 530 control unit, 531 determination unit, 532 operation control unit, 533 machine learning unit, NW network

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Food Science & Technology (AREA)
  • Manipulator (AREA)

Abstract

ロボットアームにより調理を行ってその食品を陳列することで、調理による手間を削減することが可能な食品調理装置及び制御プログラムを提供する。 食品調理装置1は、食品の加熱調理を行い、調理済の食品を陳列するロボットアーム大100と、顧客からの注文に応じて調理済の食品を提供するロボットアーム小200と、食品、加熱調理装置、及び保温器を撮像するカメラ300と、食品の注文を受け付ける注文端末400と、制御端末500とを備える。制御端末500の機能として、カメラ300が撮像する画像データから食品の位置及び種類を判定する判定部531と、ロボットアーム大100、ロボットアーム小200、カメラ300、及び注文端末400の動作制御を行う動作制御部532と、カメラ300が撮像する画像データから機械学習を行う機械学習部533と、を備える。

Description

食品調理装置及び制御プログラム
 本開示は、食品の加熱調理を行わせ、調理済の食品を陳列する食品調理装置及び制御プログラムに関する。
 例えば、コンビニエンスストアのような商業施設では、調理済の食品、例えば唐揚げやコロッケ、焼き鳥等の食品が陳列され、顧客の注文に応じて当該商業施設の店員が陳列されている食品を取り出し、顧客に提供している。
 例えば、特許文献1には、コンビニエンスストアのレジ用カウンターに載置されているショーケースが開示されている。このショーケースは、庫内が加温されており、調理済の食品が陳列されていて顧客から視認可能になっている。
特開2015-228884号公報
 ところで、特許文献1に記載されたショーケースのように、陳列されている調理済の食品は、顧客の注文に応じて当該商業施設の店員が食品を取り出して顧客に提供しているが、この作業は主に顧客が商品を購入する際に行われる。そのため、店員は顧客が購入する他の商品の精算を行い、かつ調理済の食品を取り出して顧客に提供し、当該食品の精算も行わなければならず、非常に手間がかかっている。
 また、このような調理済の食品が顧客により購入されると、補充する必要があるので、当該商業施設の店員は、適宜店舗のレジ用カウンターから離れて食品の調理を行う必要がある。そのため、このような商業施設の店員の負担は大きいものであり、店員の手間を削減することが可能な装置やシステムが望まれていた。
 そこで、本開示では、ロボットアームにより調理を行い、調理済の食品を陳列することで、調理や食品の提供による手間を削減することが可能な食品調理装置及び制御プログラムについて説明する。
 本開示の一態様における食品調理装置は、食品の加熱調理を行わせ、調理済の食品を陳列する食品調理装置であって、食品を持ち上げて保持すると共に移動し、食品を加熱調理装置に載置して加熱調理装置に対して加熱調理を行わせ、加熱済の食品を保温器に陳列するロボットアームと、ロボットアームの動作を制御する動作制御部と、を備える。
 また、本開示の一態様における制御プログラムは、ロボットアームを備える食品調理装置に対して、食品の加熱調理を行わせ、調理済の食品を陳列する制御プログラムであって、食品を持ち上げて保持する食品保持ステップと、食品を保持した状態で移動し、食品を加熱調理装置に載置して加熱調理装置に対して加熱調理を行わせる調理ステップと、加熱済の食品を持ち上げて保持した状態で移動し、食品を前記保温器に陳列する陳列ステップと、を電子計算機に実行させる。
 本開示によれば、ロボットアームにより、食品を持ち上げて保持すると共に移動し、食品を加熱調理装置に載置して加熱調理装置に対して加熱調理を行わせ、加熱済の食品を保温器に陳列する。これにより、ロボットアームが食品の調理を行うことが可能であるため、調理による手間を削減することが可能である。
本開示の一実施形態に係る食品調理装置を示す機能ブロック構成図である。 図1のロボットアーム大100及びロボットアーム小200の配置例を示す平面図である。 図2のロボットアーム大100の外観の例を示す右側面図である。 図2のロボットアーム小200及び保温器Wの外観の例を示す正面図である。 図4の保温器Wの内部構造を示す断面図である。 図2のフライヤFの外観の例を示す斜視図である。 図2の加熱プレートPの外観の例を示す斜視図である。 図6の串Kの外観の例を示す模式図である。 冷凍庫Lの内部構造を示す断面図である。 冷凍庫Lを開閉扉側から見た拡大斜視図である。 図1の食品調理装置1の動作を示すフローチャートである。 本開示の一実施形態に係るコンピュータ600を示す機能ブロック構成図である。
 以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。
 (実施形態1)
 <構成>
 図1は、本開示の実施形態1に係る食品調理装置1を示す機能ブロック構成図である。この食品調理装置1は、主にコンビニエンスストアのような商業施設において、加熱調理装置を使用して食品の加熱調理を行い、調理済の食品を保温器に陳列する作業を支援する装置である。また、食品調理装置1は、顧客からの注文に応じて、調理済の食品を提供する作業も支援する。ここで食品とは、例えば、主にコンビニエンスストアのような商業施設のレジ横カウンターに設置されている保温器に陳列されている、調理済の唐揚げやフランクフルト等の食品であり、本実施形態では、串に刺さった食品を例として説明する。
 食品調理装置1は、ロボットアーム大(ロボットアーム)100と、ロボットアーム小(ロボットアーム)200と、カメラ(検知部)300と、注文端末(注文装置)400と、制御端末500と、ネットワークNWとを有している。ロボットアーム大100と、ロボットアーム小200と、カメラ300と、注文端末400と、制御端末500とは、ネットワークNWを介して相互に接続される。ネットワークNWは、通信を行うための通信網であり、限定ではなく例として、インターネット、イントラネット、LAN(Local Area Network)、WAN(Wide Area Network)、ワイヤレスLAN(Wireless LAN:WLAN)、ワイヤレスWAN(Wireless WAN:WWAN)、仮想プライベートネットワーク(Virtual Private Network:VPN)等を含む通信網により構成されている。また、ロボットアーム大100と、ロボットアーム小200と、カメラ300と、注文端末400と、制御端末500とは、限定ではなく例として、USB(Universal Serial Bus)ケーブル等により相互に直接接続しても良い。
 ロボットアーム大100は、人間の手のようにつかむ、離す、運ぶ等の動作を行う装置であり、食品の加熱調理を行い、調理済の食品を陳列するための一連の動作を行うために設けられている。ロボットアーム小200は、ロボットアーム大100と同様に人間の手のようにつかむ、離す、運ぶ等の動作を行う装置であり、顧客からの注文に応じて、調理済の食品を提供するための一連の動作を行うために設けられている。本実施形態では、ロボットアーム大100は、ロボットアーム小200と比較して大きな装置であるが、このような構成に限られず、ロボットアーム大100とロボットアーム小200とを同一の装置で構成しても良く、1つのロボットアームで構成しても良い。
 カメラ300は、食品、加熱調理装置、及び保温器を撮影し、画像データを生成する装置であり、例えばCCD(Charge Coupled Device)等の撮影装置と、撮影した画像を画像データに変換する変換装置とを備えるデジタルカメラ等により構成されている。このカメラ300は、所定の時間間隔で画像の撮影及び画像データへの変換を行っている。
 このカメラ300は、例えば、ロボットアーム大100及びロボットアーム小200の先端側に配置されており、さらに、ロボットアーム大100及びロボットアーム小200が設置されているコンビニエンスストアのレジ横カウンターの全体を撮影可能な位置に、1台または複数のカメラ300が固定されて配置されている。このような配置にしているのは、ロボットアーム大100及びロボットアーム小200の先端側に配置されたカメラ300でロボットアーム大100及びロボットアーム小200の先端の位置や目的とする物、例えば食品の位置及び種類、加熱調理装置の位置、及び保温器の位置を把握し、他のカメラ300でレジ横カウンターの全体の状況を把握するためである。なお、カメラ300は食品、加熱調理装置、及び保温器を検知できる装置であれば良く、例えば赤外線センサのようなセンサにより構成しても良い。
 注文端末400は、コンビニエンスストアのような商業施設において、顧客から保温器に陳列されている調理済の食品を注文可能に表示し、食品の注文を受け付ける端末装置であり、限定ではなく例として、タブレット端末等により構成されている。また、当該店舗のレジ装置を構成するPOSレジにより構成しても良い。この注文端末400には、当該店舗で販売される食品の一覧が写真等と共に表示され、例えば顧客が指でその表示箇所をタッチすることで注文を受け付ける。顧客が注文した商品が保温器に陳列されている場合、ロボットアーム小200によりその保温器から商品が取り出されて顧客に提供され、保温器に陳列されていない場合、ロボットアーム大100により加熱調理が行われて顧客に提供される。
 図2は、図1のロボットアーム大100及びロボットアーム小200の配置例を示す平面図である。図2に示す配置図は、コンビニエンスストアのような商業施設のレジ横カウンターとその近傍の配置図であり、レジ装置Rが載置されているカウンターテーブルCTと、カウンターテーブルCTに対向する位置に作業テーブルJTが配置されている。カウンターテーブルCTと作業テーブルJTとの間は、当該店舗の店員が通れるようにスペースが設けられており、そのスペースの端にロボットアーム大100が設置されている。カウンターテーブルCTには、ロボットアーム小200が設置され、その近傍に調理済の食品を陳列する保温器Wが設けられ、保温器Wの顧客C側に注文端末400が配置されている。また、作業テーブルJTには、フライヤ(加熱調理装置)Fと加熱プレート(加熱調理装置)Pと加熱調理を行う前の食品を保存する冷凍庫(保存庫)Lとが配置されている。冷凍庫Lは冷蔵庫であってもよい。
 図2に示す配置図において、ロボットアーム大100は、フライヤF及び加熱プレートPの近傍の冷凍庫Lから食品を取出し、その食品を1つずつ持ち上げて保持し、そのまま移動してフライヤFまたは加熱プレートPに載置する。その食品をフライヤFまたは加熱プレートPのどちらに載置して加熱するかは、その食品の種類によって決められており、制御端末500で判定される。例えば、その食品が唐揚げの場合はフライヤFに載置され、フランクフルトの場合は加熱プレートPに載置される。所定の時間加熱調理が行われた食品は、ロボットアーム大100によって持ち上げられ、保温器Wに陳列される。
 冷凍庫Lには複数の金属製のバケットを配列させておき、一つの金属製のバケットに食品を複数載置することもできる。この場合、ロボットアーム大100が金属製のバケットを冷凍庫Lから取り出して、金属製のバケットごとフライヤF内に投入して金属製のバケット内の食品を揚げることができる。
 また、顧客Cの注文端末400の操作により商品が注文されると、保温器W内に注文された商品がある場合は、ロボットアーム小200が保温器Wから商品を取り出して顧客Cに提供する。保温器W内に注文された商品が陳列されていない場合は、ロボットアーム大100がその商品をフライヤFまたは加熱プレートPに載置して加熱調理を開始し、加熱調理が完了したら顧客Cに提供する。このとき、例えばロボットアーム小200は、紙製またはプラスチック製のトレー(容器)Tに食品を載置する。その後、カウンターテーブルCTに設けられたベルトコンベアによりトレーTが移動し、顧客Cに提供される。なお、例えばロボットアーム小200には、トレーTを吸引して取り出すための吸引装置が設けられても良い。
 制御端末500は、ロボットアーム大100、ロボットアーム小200、カメラ300、及び注文端末400の動作を制御する装置であり、限定ではなく例として、各種Webサービスを提供するコンピュータ(デスクトップ、ラップトップ、タブレットなど)や、サーバ装置を含む装置等により構成されている。具体的には、カメラ300が撮像する画像データに基づき、ロボットアーム大100に食品を持ち上げさせ、フライヤFまたは加熱プレートPにて加熱調理を行わせ、保温器Wに陳列させるように制御する。なお、制御端末500をサーバ装置で構成する場合、単体で動作するサーバ装置に限られず、ネットワークNWを介して通信を行うことで協調動作する分散型サーバシステムや、クラウドサーバにより構成しても良い。
 また、制御端末500は、通信部510と、記憶部520と、制御部530とを備える
 通信部510は、ネットワークNWを介してロボットアーム大100、ロボットアーム小200、カメラ300、及び注文端末400と有線または無線で通信を行うための通信インタフェースであり、互いの通信が実行できるのであればどのような通信プロトコルを用いても良い。この通信部510は、限定ではなく例として、TCP/IP(Transmission Control Protocol/Internet Protocol)等の通信プロトコルにより通信が行われる。
 記憶部520は、各種制御処理や制御部530内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、限定ではなく例として、RAM(Random Access Memory)、ROM(Read Only Memory)等を含むメモリや、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等を含むストレージから構成される。また、記憶部520は、ロボットアーム大100、ロボットアーム小200、カメラ300、及び注文端末400と通信を行ったデータや、後述する各処理にて生成されたデータを一時的に記憶する。
 制御部530は、記憶部520に記憶されているプログラムを実行することにより、制御端末500の全体の動作を制御するものであり、限定ではなく例として、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ(Microprocessor)、プロセッサコア(Processor core)、マルチプロセッサ(Multiprocessor)、ASIC(Application-Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)を含む装置等から構成される。制御部530の機能として、判定部531と、動作制御部532と、機械学習部533とを備えている。この判定部531、動作制御部532、及び機械学習部533は、記憶部520に記憶されているプログラムにより起動されて制御端末500にて実行される。
 判定部531は、カメラ300が撮像する画像データから、食品の位置及び種類を判定し、フライヤFまたは加熱プレートPの位置を判定し、保温器Wの位置を判定する。ロボットアーム大100は、食品を加熱調理するために食品を1つずつ持ち上げるため、撮像時点のロボットアーム大100の先端部の位置から見た(カメラ300により撮像された)食品の相対位置を、画像データから判定する。なお、ロボットアーム小200の場合も同様である。
 また、前述のように、食品を複数種類の加熱調理装置であるフライヤFまたは加熱プレートPのどちらに載置して加熱させるかを選択するのはその食品の種類によって決められているため、判定部531は、画像データから食品の種類を判定する。判定部531による食品の種類の判定は、限定ではなく例として、食品の画像データから食品の色、形状等を解析して種類を判定しても良く、後述するように、食品の串(非食用部分)に設けられるARマーカー(識別情報)により識別して判定しても良い。また、食品をフライヤFまたは加熱プレートPで加熱する時間もその食品の種類によって決められているため、判定された種類に基づいて定められる。
 さらに、判定部531は、ロボットアーム大100が持ち上げた食品をフライヤFまたは加熱プレートPに載置するため、撮像時点のロボットアーム大100の位置から見たフライヤFまたは加熱プレートPの相対位置を画像データから判定する。また、判定部531は、ロボットアーム大100が持ち上げた加熱済の食品を保温器Wに陳列するため、撮像時点のロボットアーム大100の位置から見た保温器Wの相対位置を画像データから判定する。
 なお、判定部531は、保温器Wを撮像した画像データから、保温器Wに既に陳列されている複数の種類の食品の量をそれぞれ算出し、保温器Wに陳列されている数の少ない食品を判定しても良い。この場合、判定部531は、例えば食品が保存されている冷凍庫等から所望の食品の位置を判定する。この判定結果に基づき、動作制御部532により指示され、数の少ない食品について、ロボットアーム大100による加熱調理が行われる。
 動作制御部532は、判定部531の判定結果に基づき、ロボットアーム大100、ロボットアーム小200、カメラ300、及び注文端末400の動作制御を行う。具体的には、ロボットアーム大100及びロボットアーム小200による食品の持ち上げを行わせるため、後述するようにロボットアーム大100及びロボットアーム小200に内蔵されているサーボモータを動作させる制御信号を、通信部510を介してロボットアーム大100及びロボットアーム小200へ送信する。また、カメラ300による食品やフライヤF、加熱プレートP、保温器Wの撮像の際、ピントを合わせて精度の高い画像データを取得するため、カメラ300を構成するCCDのレンズ位置等の動作制御を行う制御信号を、通信部510を介してカメラ300へ送信する。
 機械学習部533は、カメラ300が保温器Wを撮像した画像データから、保温器Wに陳列されている複数の種類の食品の在庫量に基づいて機械学習を行い、所定時間において食品を調理する量を示すモデル情報を生成する。このときの機械学習は、限定ではなく例として、一定時間保温器Wに陳列されて廃棄処分となった食品の量や、全て販売された食品の種類等が教師データとなり、教師あり学習が行われる。機械学習部533により生成されたモデル情報は、判定部531で使用される。なお、この機械学習は他の装置で行われても良く、他の装置で行われた機械学習により生成されたモデル情報が食品調理装置1に組み込まれても良い。また、所定の時間に一定量の食品を調理させても良く、保温器Wに陳列されている食品の残りの量に関わらず食品の加熱調理を行わせても良い。このような場合のように、機械学習を行う必要がない場合は、機械学習部533は備えなくても良い。
 図3は、図1のロボットアーム大100の外観の例を示す右側面図である。ロボットアーム大100は、図3に示すように、固定部110と、載置可動部120と、上腕部130と、継手部140と、前腕部150と、手首部160と、支持部170と、挟持部180とから構成されている。
 固定部110は、ロボットアーム大100が載置台TAに固定されている箇所である。載置可動部120は、上腕部130の一端が接続され、載置台TAの上面との角度が変更自在な可動箇所である。載置可動部120には、サーボモータが内蔵されており、動作制御部532の制御によりサーボモータが駆動して、上腕部130を回動させるように構成されている。上腕部130は、ロボットアーム大100における載置台TA側の棒状部材である。
 継手部140は、上腕部130の他端と前腕部150の一端とを回動自在に接続する箇所である。継手部140には、サーボモータが内蔵されており、動作制御部532の制御によりサーボモータが駆動して、前腕部150を回動させるように構成されている。前腕部150は、ロボットアーム大100における先端側の棒状部材である。
 手首部160は、前腕部150の他端と支持部170の一端とを回動自在に接続する箇所である。手首部160には、サーボモータが内蔵されており、動作制御部532の制御によりサーボモータが駆動して、支持部170を回動させるように構成されている。支持部170は、ロボットアーム大100の先端部において挟持部180を支持する箇所である。初期状態では、支持部170は下方を向いた状態になる。
 挟持部180は、食品を挟むことで保持する箇所であり、限定ではなく例として、食品を挟持して保持したときに滑って落下することを防止するため、さらに直接食品に接触しても衛生上問題ないようにするため、鋏状の金属製部材が合成樹脂等の滑りにくい素材により被覆されて形成されている。
 また、支持部170には、1または複数のカメラ300が接続されて配置され、ロボットアーム大100の挟持部180が挟持する食品を撮像可能になっている。
 図4は、図2のロボットアーム小200及び保温器Wの外観の例を示す正面図である。また、図5は、図4の保温器Wの内部構造を示す断面図である。ロボットアーム小200の各部位の詳細については、図3に示すロボットアーム大100と同様であるため、その説明を省略する。保温器Wは、食品を温かい状態に保ちつつ陳列する装置であり、図4に示すように、例えば2段の棚が設けられ、食品を載置する複数のトレーTRが設けられている。トレーTRは、例えば食品の種類ごとに陳列するように、食品の種類の数だけ設けられている。
 図5に示す保温器Wは、右側が顧客側、左側が店員及びロボットアーム大100側である。図5に示すように、2段の棚は顧客側が下になるように傾斜して設けられている。このような構成にしているのは、商品の顧客からの視認性を高めるためである。また、保温器Wは、店員及びロボットアーム大100側に保温器Wの中を開閉可能な扉Dが設けられている。ロボットアーム大100により商品を保温器Wに陳列する際、またはロボットアーム小200により商品を顧客に提供するために取り出す場合、ロボットアーム大100及びロボットアーム小200により扉Dが開けられる。そのため、扉Dには、ロボットアーム大100及びロボットアーム小200の挟持部180で挟持しやすいように取っ手が設けられている。
 また、図5に示すように、トレーTRは店員及びロボットアーム大100側に引き出すことが可能な構造になっている。これは、ロボットアーム大100及びロボットアーム小200が保持する食品が保温器Wの淵に衝突することなく陳列しやすくするためである。そのため、ロボットアーム大100及びロボットアーム小200の挟持部180は、トレーTRの端を挟持して引き出してから、商品を陳列する。
 図6は、図2のフライヤFの外観の例を示す斜視図である。図6に示すフライヤFは、食品を食用油で揚げる装置であり、コンビニエンスストアや飲食店のような商業施設において使用される業務用の装置である。このフライヤFには、食用油を充填させる油槽Hが設けられ、ネットNに食品FDを載置して加熱された食用油が充填された油槽Oに浸漬することにより、食品FDが食用油で揚げられて加熱調理が行われる。フライヤFの加熱調理において、所定の時間揚げられて十分加熱されると、ロボットアーム大100がネットNに設けられた取っ手Hを挟持して上方へ持ち上げることで加熱調理が終了する。なお、食品FDは、同時に調理される串Kに刺さっているものであり、ロボットアーム大100が食品FDを挟持して上方へ持ち上げる際、挟持部180によりこの串Kが挟持される。
 図7は、図2の加熱プレートPの外観の例を示す斜視図である。図7に示す加熱プレートPは、食品を天板上で焼く装置である。この加熱プレートPには、食品FDを載置する天板Sが設けられ、加熱された天板Sに食品FDが載置されることにより、食品FDが焼かれて加熱調理が行われる。
 図8は、図6の串Kの外観の例を示す模式図である。図8に示すように、串Kの持ち手部分には、判定部531により食品FDの種類を判別するためのARマーカーAが設けられている。食品FDは、特にフライヤFで揚げるような揚げ物の場合、衣で覆われているので外見のみでは種類を判別するのは困難であるため、識別情報としてARマーカーAが設けられている。これにより、食品FDの種類を正確に判別することが可能である。
 図9は、冷凍庫Lの内部構造を示す断面図である。図10は、冷凍庫Lを開閉扉側から見た拡大斜視図である。
 図9及び図10に示すように、冷凍庫Lは、食品を冷凍状態に保ちつつ陳列する装置であり、例えば複数段の棚が設けられ、食品を載置する複数のバケットB(B1~B5)が隣接して取出し方向に載置されている。
 冷凍庫Lは、右側が扉L1側であり、扉L1側にロボットアーム大100が設置されている。複数段を有する冷凍庫Lは、食品が載置され、ロボットアーム大10の取出し方向に向かって低くなるよう傾斜する2本のレール部(載置部)L2を備える。レール部L2は、ロボットアーム大100側が下になるように傾斜して設けられている。このような構成にしているのは、レール部L2上に連続的に載置されたバケットB1をロボットアーム大100によって冷凍庫Lの扉側から順次取り出した際に、次のバケットB2が一番扉L1側の位置に滑らせるためである。レール部L2の扉L1側には、ストッパーL3が設けられており、このストッパーL3によりバケットBがレール部L2の下端位置で止まるよう構成されている。
 冷凍庫Lのレール部L2上にバケットBを並べていくときには、扉L1側から順次バケットBを載置していくことにより傾斜が設けられているレール部L2上にバケットBを整列させることができる。バケットBには、ロボットアーム大100が把持しやすいように把持部を設けてもよい。
 バケットBをフライヤF内や加熱プレートP内に直接投入するには、バケットBは金属製であることが好ましいが、例えば樹脂製等であってもよい。
 動作制御部532は、ロボットアーム大100の動作を制御し、冷凍庫Lから食品を取り出す動作を行わせる。ロボットアーム大100は、冷凍庫Lの扉L1を開けて、傾斜しているレール部L2上に載置されている一番手前のバケットB1を冷凍庫Lから取り出して、取り出したバケットB1をフライヤF内に直接投入してバケットB内の食品を揚げることができる。
 また、ロボットアーム大100が、冷凍庫LからバケットBを取り出して、バケットBをフライヤFや加熱プレートPに直接投入せずに、バケットB内の複数の食品を取り出して、加熱プレートPやフライヤF内に投入して調理することもできる。
 また、冷凍庫Lのレール部L2上にはバケットBを置かずに、レール部L2上に直接食品を置くこともできる。
 なお、食品の保存庫として、冷凍庫Lを例に説明したが、冷凍庫Lに代えて冷蔵庫によって食品を保存することもできる。
 <処理の流れ>
 図11を参照しながら、食品調理装置1が実行する処理の流れの一例について説明する。図12は、図1の食品調理装置1の動作を示すフローチャートである。
 ステップS101の処理として、制御端末500の動作制御部532の制御信号によりロボットアーム大100の動作が開始すると、動作制御部532の制御信号によりロボットアーム大100が稼働し、図2に示すフライヤF及び加熱プレートPの近傍に載置される、図示しない加熱前の食品FDの近傍へ支持部170が移動する。
 ステップS102の処理として、支持部170に接続されているカメラ300では、食品FDの撮像が行われ、食品FDの画像データが生成される。
 ステップS103の処理として、判定部531では、ステップS102でカメラ300により撮像された画像データから、ロボットアーム大100の先端部の位置から見た食品FDの相対位置が判定される。また、画像データから食品FDの串Kに設けられたARマーカーAが読み取られ、食品FDの種類が判定される。
 ステップS104の処理として、動作制御部532の制御信号によりロボットアーム大100が稼働し、ステップS103で判定された食品FDの相対位置へ支持部170が移動する。
 ステップS105の処理として、動作制御部532の制御信号によりロボットアーム大100が稼働し、支持部170が降下して挟持部180が串Kに接触すると、挟持部180により串Kが挟持される。この状態でロボットアーム大100が上昇すると、食品FDが挟持部180に挟持された状態で保持される。
 ステップS106の処理として、動作制御部532の制御信号によりロボットアーム大100が稼働し、ステップS103で判定された食品FDの種類に基づき、フライヤFまたは加熱プレートPの上方へ支持部170が移動する。
 ステップS107の処理として、支持部170に接続されているカメラ300では、フライヤFまたは加熱プレートPの撮像が行われ、フライヤFまたは加熱プレートPの画像データが生成される。
 ステップS108の処理として、判定部531では、ステップS107でカメラ300により撮像された画像データから、ロボットアーム大100の先端部の位置から見たフライヤFまたは加熱プレートPの相対位置が判定される。例えば、フライヤFに他の食品FDが載置されている場合、その食品FDと衝突しないフライヤFのネットN内の位置になるように画像データから判定される。加熱プレートPの場合も同様である。すなわち、後のステップにおいて食品FDが載置される位置決めが行われる。
 ステップS109の処理として、動作制御部532の制御信号によりロボットアーム大100が稼働し、ステップS108で判定されたフライヤFまたは加熱プレートP上の位置へ支持部170が移動する。
 ステップS110の処理として、動作制御部532の制御信号によりロボットアーム大100が稼働し、串Kが挟持された挟持部180の挟持が解除されると、食品FDがフライヤFまたは加熱プレートPの所定の位置に載置される。
 ステップS111の処理として、動作制御部532では、ステップS103で判定された食品FDの種類に基づいて定められる、食品FDのフライヤFまたは加熱プレートPによる加熱時間を経過したか否かが判定される。この処理において、加熱時間を経過したと判定された場合、ステップS112の処理を行い、経過していないと判定された場合、引き続きステップS111の処理が行われる。
 ステップS112の処理として、支持部170に接続されているカメラ300では、保温器Wの撮像が行われ、保温器Wの画像データが生成される。
 ステップS113の処理として、判定部531では、ステップS112でカメラ300により撮像された画像データから、ロボットアーム大100の先端部の位置から見た保温器Wの相対位置が判定される。例えば、保温器Wにおける当該食品FDの種類のトレーTRに他の食品FDが陳列されている場合、その食品FDと衝突しないトレーTR内の位置になるように画像データから判定される。すなわち、後のステップにおいて食品FDが陳列される位置決めが行われる。
 ステップS114の処理として、動作制御部532の制御信号によりロボットアーム大100が稼働し、支持部170が保温器Wに近づくように移動して挟持部180が保温器Wの扉Dの取っ手に接触すると、挟持部180により取っ手が挟持される。この状態でロボットアーム大100が保温器Wから離れるように移動すると、扉Dが開けられる。次に、支持部170がフライヤFまたは加熱プレートPに降下して挟持部180が串Kに接触すると、挟持部180により串Kが挟持される。この状態でロボットアーム大100が上昇すると、食品FDが挟持部180に挟持された状態で保持される。
 ステップS115の処理として、動作制御部532の制御信号によりロボットアーム大100が稼働し、ステップS113で判定された保温器WのトレーTR上の位置へ支持部170が移動する。
 ステップS116の処理として、動作制御部532の制御信号によりロボットアーム大100が稼働し、串Kが挟持された挟持部180の挟持が解除されると、食品FDが保温器WのトレーTRの所定の位置に載置される。
 <効果>
 以上のように、本実施形態に係る食品調理装置は、ロボットアームの動作により食品が持ち上げられ、この状態で加熱調理装置であるフライヤまたは加熱プレートへ移動されて載置され、加熱調理が行われる。所定の時間経過後、食品が保温器へ移動され、保温器のトレーに載置される。これにより、ロボットアームが食品の調理を行うことが可能であるため、調理による手間を削減することが可能である。
 また、食品の串に、食品の種類を判別するためのARマーカーが設けられているため、食品の種類を正確に判別することが可能である。これにより、その食品に合った加熱調理を行い、保温器の所定の位置に食品を陳列することが可能になる。
 (実施形態2(プログラム))
 図12は、コンピュータ(電子計算機)600の構成の例を示す機能ブロック構成図である。コンピュータ600は、CPU601、主記憶装置602、補助記憶装置603、インタフェース604を備える。
 ここで、実施形態1に係る判定部531、動作制御部532、及び機械学習部533を構成する各機能を実現するための制御プログラムの詳細について説明する。これらの機能ブロックは、コンピュータ600に実装される。そして、これらの各構成要素の動作は、プログラムの形式で補助記憶装置603に記憶されている。CPU601は、プログラムを補助記憶装置603から読み出して主記憶装置602に展開し、当該プログラムに従って上記処理を実行する。また、CPU601は、プログラムに従って、上述した記憶部に対応する記憶領域を主記憶装置602に確保する。
 当該プログラムは、具体的には、コンピュータ600において、食品を撮像する食品撮像ステップと、撮像された食品の画像データから、食品の位置及び種類を判定する食品位置種類判定ステップと、食品の位置及び種類の判定結果に基づき、食品を持ち上げて保持する食品保持ステップと、加熱調理装置を撮像する加熱調理装置撮像ステップと、撮像された加熱調理装置の画像データから、加熱調理装置の位置を判定する加熱調理装置位置判定ステップと、食品を保持した状態で移動し、食品を加熱調理装置に載置して加熱調理装置に対して加熱調理を行わせる調理ステップと、保温器を撮像する保温器撮像ステップと、撮像された保温器の画像データから、保温器の位置を判定する保温器位置判定ステップと、加熱済の食品を持ち上げて保持した状態で移動し、食品を前記保温器に陳列する陳列ステップと、をコンピュータによって実現する制御プログラムである。
 なお、補助記憶装置603は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース604を介して接続される磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ600に配信される場合、配信を受けたコンピュータ600が当該プログラムを主記憶装置602に展開し、上記処理を実行してもよい。
 また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置603に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル(差分プログラム)であってもよい。
 以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することが出来る。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。
1 食品調理装置、100 ロボットアーム大、110 固定部、120 載置可動部、130 上腕部、140 継手部、150 前腕部、160 手首部、170 支持部、180 挟持部、200 ロボットアーム小、300 カメラ(撮像部)、400 注文端末、500 制御端末、510 通信部、520 記憶部、530 制御部、531 判定部、532 動作制御部、533 機械学習部、NW ネットワーク

Claims (16)

  1.  食品の加熱調理を行わせ、調理済の前記食品を陳列する食品調理装置であって、
     前記食品を持ち上げて保持すると共に移動し、前記食品を加熱調理装置に載置して前記加熱調理装置に対して加熱調理を行わせ、加熱済の前記食品を保温器に陳列するロボットアームと、
     前記ロボットアームの動作を制御する動作制御部と、を備える食品調理装置。
  2.  前記食品、前記加熱調理装置及び前記保温器を検知する検知部と、
     検知された検知結果から、前記食品の位置及び種類を判定し、前記加熱調理装置の位置を判定し、前記保温器の位置を判定する判定部と、を備える、請求項1に記載の食品調理装置。
  3.  前記検知部は、1または複数のカメラにより構成されている、請求項2に記載の食品調理装置。
  4.  前記検知部は、前記ロボットアームの先端部の近傍に配置されている、請求項2または請求項3に記載の食品調理装置。
  5.  前記判定部は、前記検知結果から、1または複数の前記食品の種類の中から1の前記食品の種類を判定し、
     前記動作制御部は、前記食品の種類に対応する加熱時間だけ前記加熱調理装置による加熱調理を行わせる、請求項2から請求項4のいずれか1項に記載の食品調理装置。
  6.  前記加熱調理装置は、複数種類設けられ、
     前記判定部は、前記検知結果から、複数種類の前記加熱調理装置のそれぞれの位置を判定し、
     前記動作制御部は、前記食品の種類に対応する前記加熱調理装置を選択し、前記ロボットアームを動作して選択した前記加熱調理装置に対して加熱調理を行わせる、請求項5に記載の食品調理装置。
  7.  前記食品には、加熱調理のときに同時に調理される非食用部分が設けられ、
     前記非食用部分には、前記食品の種類を識別する識別情報が設けられ、
     前記判定部は、前記検知結果から、1または複数の前記食品の種類の中から1の前記食品の種類を判定する、請求項5または請求項6に記載の食品調理装置。
  8.  前記保温器には、開閉可能な扉と、前記食品を載置するトレーが設けられ、
     前記判定部は、前記検知結果から、前記扉及び前記トレーのそれぞれの位置を判定し、
     前記ロボットアームは、加熱済の前記食品を前記保温器に陳列するとき、前記扉を開けて前記食品を前記トレーに載置し、
     前記動作制御部は、加熱済の前記食品を前記保温器に陳列する前に、前記ロボットアームに対して前記トレーの前記扉を開けさせる、請求項2から請求項7のいずれか1項に記載の食品調理装置。
  9.  前記判定部は、前記検知結果から、前記保温器に既に陳列されている1または複数の種類の前記食品の量をそれぞれ算出し、前記保温器に陳列されている量の少ない1または複数の前記食品の種類を判定し、
     前記動作制御部は、判定結果に基づき、前記ロボットアームに対して前記保温器に陳列されている量の少ない1または複数の前記食品の調理を行わせる、請求項2から請求項8のいずれか1項に記載の食品調理装置。
  10.  前記判定部は、前記保温器に陳列されている前記食品の在庫量に基づいて行われた機械学習により生成された、所定時間において前記食品を調理する量を示すモデル情報により前記食品を調理する量を判定し、
     前記動作制御部は、判定結果に基づき、前記ロボットアームに対して1または複数の前記食品の調理を行わせる、請求項2から請求項9のいずれか1項に記載の食品調理装置。
  11.  前記加熱調理装置は、前記食品を油で揚げるフライヤ、前記食品を加熱する加熱プレートを含む装置により構成されている、請求項1から請求項10のいずれか1項に記載の食品調理装置。
  12.  顧客が前記食品を注文可能な注文装置が設けられ、
     前記ロボットアームは、前記注文装置により注文された前記食品を前記保温器から取り出し、前記食品を前記顧客に提供するときに使用される容器に載置し、
     前記動作制御部は、前記注文装置からの注文があったとき、前記ロボットアームに対して前記注文装置により注文された前記食品を前記保温器から取り出させる、請求項1から請求項11のいずれか1項に記載の食品調理装置。
  13.  前記ロボットアームは、複数設けられ、
     前記動作制御部は、前記食品を持ち上げて保持すると共に移動させ、前記食品を前記加熱調理装置に載置して前記加熱調理装置に対して加熱調理を行わせ、加熱済の前記食品を前記保温器に陳列させる動作と、前記注文装置により注文された前記食品を前記保温器から取り出させる動作とを、それぞれ異なる前記ロボットアームに行わせる、請求項12に記載の食品調理装置。
  14.  前記動作制御部は、前記注文装置により注文された前記食品を前記保温器から取り出させ、前記食品を前記顧客に提供する場合、前記食品を前記顧客に提供するときに使用される容器に載置させる、請求項12または請求項13に記載の食品調理装置。
  15.  前記加熱調理を行う前の食品を保存する保存庫を有し、
     前記動作制御部は、前記ロボットアームの動作を制御し、前記保存庫から前記食品を取り出す動作を行わせ、
     前記保存庫は、前記食品が載置され、前記ロボットアームの取出し方向に向かって低くなるよう傾斜する載置部を備える、請求項1から請求項14のいずれか1項に記載の食品調理装置。
  16.  ロボットアームを備える食品調理装置に対して、食品の加熱調理を行わせ、調理済の前記食品を陳列する制御プログラムであって、
     前記食品を持ち上げて保持する食品保持ステップと、
     前記食品を保持した状態で移動し、前記食品を前記加熱調理装置に載置して前記加熱調理装置に対して加熱調理を行わせる調理ステップと、
     加熱済の前記食品を持ち上げて保持した状態で移動し、前記食品を前記保温器に陳列する陳列ステップと、を電子計算機に実行させる、制御プログラム。
PCT/JP2020/006354 2019-02-18 2020-02-18 食品調理装置及び制御プログラム WO2020171087A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-026755 2019-02-18
JP2019026755 2019-02-18

Publications (1)

Publication Number Publication Date
WO2020171087A1 true WO2020171087A1 (ja) 2020-08-27

Family

ID=72143960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006354 WO2020171087A1 (ja) 2019-02-18 2020-02-18 食品調理装置及び制御プログラム

Country Status (1)

Country Link
WO (1) WO2020171087A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0686734A (ja) * 1990-05-04 1994-03-29 Restaurant Technol Inc 食品を調理するための自動化及びロボット化フライセル
JP2013009805A (ja) * 2011-06-29 2013-01-17 Kazumi Miyawaki 食品用串
JP2015228884A (ja) * 2014-06-03 2015-12-21 日本ヒーター機器株式会社 ショーケース
JP2016502061A (ja) * 2012-12-04 2016-01-21 ゲナント ヴェルスボールグ インゴ シトーク 熱処理監視システム
JP2017506169A (ja) * 2014-02-20 2017-03-02 マーク オレイニク ロボット調理キッチン内の食品調製のための方法及びシステム
JP2018110755A (ja) * 2017-01-13 2018-07-19 株式会社ゼロプラス 商品陳列システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0686734A (ja) * 1990-05-04 1994-03-29 Restaurant Technol Inc 食品を調理するための自動化及びロボット化フライセル
JP2013009805A (ja) * 2011-06-29 2013-01-17 Kazumi Miyawaki 食品用串
JP2016502061A (ja) * 2012-12-04 2016-01-21 ゲナント ヴェルスボールグ インゴ シトーク 熱処理監視システム
JP2017506169A (ja) * 2014-02-20 2017-03-02 マーク オレイニク ロボット調理キッチン内の食品調製のための方法及びシステム
JP2015228884A (ja) * 2014-06-03 2015-12-21 日本ヒーター機器株式会社 ショーケース
JP2018110755A (ja) * 2017-01-13 2018-07-19 株式会社ゼロプラス 商品陳列システム

Similar Documents

Publication Publication Date Title
US7973642B2 (en) RFID food production, inventory and delivery management method for a restaurant
US11577401B2 (en) Modular robotic food preparation system and related methods
US11375587B2 (en) Pattern recognizing appliance
CN113194792B (zh) 训练烹饪器具、定位食物以及确定烹饪进度的系统和方法
US20070251521A1 (en) RFID food production, inventory and delivery management system for a restaurant
CN108416703A (zh) 厨房支援系统
CN110412959B (zh) 一种自动食品加工及销售的无人系统
KR20180127475A (ko) 주문형 로봇식 푸드 어셈블리 및 관련 시스템, 디바이스 및 방법
US11744403B2 (en) Automated bin system for accepting food items in robotic kitchen workspace
US20160253084A1 (en) Food management system
JP7193882B2 (ja) 制御プログラム及び調理システム
JP6459447B2 (ja) 商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法およびプログラム
WO2020171087A1 (ja) 食品調理装置及び制御プログラム
JP5525220B2 (ja) 丼物食品自動販売機
CN108629897A (zh) 一种食品自动烤制售卖方法和装置
CN211155100U (zh) 一种自动煮面系统
WO2022025282A1 (ja) 学習制御システム
CN113474266A (zh) 自动食物管理系统
JP2023054824A (ja) 食品廃棄時期管理装置、食品廃棄時期管理システム、および食品廃棄時期管理方法
JP6459448B2 (ja) 商品注文装置、商品注文方法およびプログラム
WO2020171085A1 (ja) 複合調理装置及び制御プログラム
US20230148094A1 (en) System and method for preparing food autonomously
CN111429305A (zh) 一种带有游戏软件功能的智能餐厅服务方法及其系统
JP6913857B2 (ja) 加熱調理器および店舗システム、ならびに、加熱調理器を用いた課金方法
US20210394365A1 (en) Information processing apparatus, information processing method, and information processing program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759103

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20759103

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP