WO2020171085A1 - 複合調理装置及び制御プログラム - Google Patents

複合調理装置及び制御プログラム Download PDF

Info

Publication number
WO2020171085A1
WO2020171085A1 PCT/JP2020/006352 JP2020006352W WO2020171085A1 WO 2020171085 A1 WO2020171085 A1 WO 2020171085A1 JP 2020006352 W JP2020006352 W JP 2020006352W WO 2020171085 A1 WO2020171085 A1 WO 2020171085A1
Authority
WO
WIPO (PCT)
Prior art keywords
cooking
robot arm
cooking device
food
heating
Prior art date
Application number
PCT/JP2020/006352
Other languages
English (en)
French (fr)
Inventor
哲也 沢登
茉子 宮武
Original Assignee
コネクテッドロボティクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コネクテッドロボティクス株式会社 filed Critical コネクテッドロボティクス株式会社
Publication of WO2020171085A1 publication Critical patent/WO2020171085A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J44/00—Multi-purpose machines for preparing food with several driving units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls

Definitions

  • the present disclosure relates to a compound cooking device and a control program for cooking a plurality of types of dishes and completing the dishes at a set predetermined time.
  • Patent Document 1 discloses a robot food cooking system in which a human movement is replaced with a robot to perform a cooking operation.
  • This system is a system in which a human cooking process is digitized and reproduced by a robot device, and the cooking process is automated.
  • Patent Document 1 reproduces a human cooking process, but performs a plurality of cookings using a plurality of home appliances and completes breakfast, for example, by a predetermined time. It does not have such a function.
  • a compound cooking device is a compound cooking device that cooks a plurality of types of dishes that are set and completes the dish at a set predetermined time. Then, the food is placed on the heating and cooking device, the heating and cooking device is caused to perform cooking, and the robot arm that provides the heated food as cooking and the robot arm when the set cooking start time comes And a start time control section for controlling the robot arm to perform a cooking operation, and an operation control section for controlling the operation of the robot arm.
  • a control program is a control program that cooks a plurality of types of dishes that have been set in a compound cooking device that includes a robot arm and that completes the dish at a set predetermined time.
  • the cooking start instruction step for causing the robot arm to perform the cooking operation
  • the food material holding step for lifting and holding the food material of the cooking
  • the electronic computer is caused to perform a cooking step of placing the cooking apparatus on the cooking apparatus to perform cooking, and a cooking providing step of providing the heated food material as cooking.
  • a plurality of types of set dishes are cooked by a robot arm. Further, at the set cooking start time, the robot arm is caused to perform the cooking operation and the cooking is performed. Thereby, a plurality of types of cooking can be performed by a predetermined time and the cooking can be completed, so that, for example, the breakfast of the set menu can be completed by the predetermined time.
  • FIG. 3 is a functional block configuration diagram showing a computer 500 according to an embodiment of the present disclosure.
  • FIG. 1 is a functional block configuration diagram showing a combined cooking device 1 according to the first embodiment of the present disclosure.
  • the food cooking assistance device 1 is, for example, a device that performs a plurality of types of cooking operations at home using a plurality of home electric appliances and completes a dish by a set predetermined time. It is a device that completes a breakfast consisting of multiple types of dishes by a set time.
  • An example of breakfast that can be cooked by the food cooking assistance device 1 is a menu consisting of egg dishes (fried eggs or scrambled eggs), toast, bacon saute, and coffee. In the present embodiment, such menu will be described as an example. To do.
  • the compound cooking device 1 has a robot arm 100, a camera (detection unit) 200, a control terminal 300, and a network NW.
  • the robot arm 100, the camera 200, and the control terminal 300 are mutually connected via the network NW.
  • the network NW is a communication network for performing communication, and as an example, without limitation, the Internet, an intranet, a LAN (Local Area Network), a WAN (Wide Area Network), a wireless LAN (Wireless LAN: WLAN), a wireless WAN ( Wireless WAN: WWAN), a virtual private network (Virtual Private Network: VPN), and other communication networks.
  • the robot arm 100, the camera 200, and the control terminal 300 may be directly connected to each other by, for example, without limitation, a USB (Universal Serial Bus) cable or the like.
  • USB Universal Serial Bus
  • the robot arm 100 is a device that performs operations such as grasping, releasing, carrying, and the like like a human hand, and for performing a series of operations for heating and cooking ingredients and providing cooked ingredients as dishes. It is provided.
  • the camera 200 is a device that captures an image of food and a cooking device and generates image data.
  • a digital camera that includes a capture device such as a CCD (Charge Coupled Device) and a conversion device that converts the captured image into image data. It is composed of a camera and the like.
  • the camera 300 captures an image and converts it into image data at predetermined time intervals.
  • the camera 200 is arranged, for example, on the distal end side of the robot arm 100, and one or more cameras 200 are fixed at a position (not shown) at which an entire kitchen including home appliances used can be photographed. It is arranged.
  • the arrangement is such that the camera 200 arranged on the tip side of the robot arm 100 grasps the position of the tip of the robot arm 100 and the target object, for example, the position of the food and the position of the heating and cooking device, This is for grasping the situation of the entire kitchen including home electric appliances used in another camera 200.
  • the camera 200 may be any device that can detect the food material and the cooking device, and may be configured by a sensor such as an infrared sensor.
  • FIG. 2 is a plan view showing an arrangement example of the robot arm 100 of FIG.
  • the layout shown in FIG. 2 is a layout of the above-described robot arm 100 used in a home kitchen and a plurality of home appliances.
  • a heating plate (heating cooking device) P As a plurality of home electric appliances, a heating plate (heating cooking device) P, a food storage F, a coffee maker (beverage server) C, and a toaster (heating cooking device) T are arranged in series on a table TA.
  • the robot arm 100 is arranged so as to face the heating plate P, the food storage F, the coffee maker C, and the toaster T.
  • the robot arm 100 is placed on a rail L arranged along the arrangement direction of the heating plate P, the food storage F, the coffee maker C, and the toaster T, and is railed as indicated by an arrow X in FIG. It is arranged to be movable on L. This arrangement is made possible because the robot arm 100 is movable along the arrangement of the heating plate P, the food storage F, the coffee maker C, and the toaster T, so that the robot arm 100 having a long arm is not provided. This is because it is possible to operate a plurality of devices.
  • FIG. 3 is a perspective view showing an example of the appearance of the heating plate P of FIG.
  • the heating plate P shown in FIG. 3 is a device for baking food on a top plate.
  • the heating plate P is provided with a top plate S on which food materials such as eggs and bacon are placed. By placing the food materials on the heated top plate S, the food materials are baked and cooked, Provided as.
  • the heating plate P may be a commercially available heating plate.
  • the food storage F shown in FIG. 2 is a storage for storing food such as eggs, bacon (first food) and bread (second food).
  • foodstuff storage F for example, foodstuffs are stored and stored in a cup-shaped container having an open upper portion for each meal.
  • the robot arm 100 moves to the position of the heating plate P while lifting and holding the container, and vertically inverts the container above the heating plate P, whereby the food is baked on the heating plate P and cooking is performed. Be seen.
  • the coffee maker C is a device in which coffee (beverage) is dropped into the coffee cup when a coffee cup (cup) is set and a switch is pressed (turned on), and the robot arm 100 presses a button. Coffee is brewed.
  • the toaster T is a device for baking bread sliced in a thin plate shape, and the robot arm 100 lifts and holds the bread one by one from the food storage F, carries it into the toaster T, and presses the switch ( The toaster is cooked by turning it on.
  • the coffee maker C and the toaster T may be composed of commercially available home appliances.
  • the control terminal 300 is a device that controls the operations of the robot arm 100 and the camera 200, and is not limited to, for example, a computer (desktop, laptop, tablet, etc.) that provides various Web services, a device including a server device, and the like. It is composed by. Specifically, based on the image data captured by the camera 200, the robot arm 100 lifts the food material to cause the heating plate P to perform cooking, the toaster T to cook the toast, and the coffee maker C to make the coffee. Control to brew.
  • the control terminal 300 is configured by a server device, it is not limited to a server device that operates alone, but may be configured by a distributed server system that cooperates by communicating via the network NW or a cloud server. ..
  • the control terminal 300 also includes a communication unit 310, a storage unit 320, and a control unit 330.
  • the communication unit 310 is a communication interface for performing wired or wireless communication with the robot arm 100 and the camera 200 via the network NW, and may use any communication protocol as long as mutual communication can be performed. ..
  • the communication unit 310 communicates by a communication protocol such as TCP/IP (Transmission Control Protocol/Internet Protocol), for example and not limitation.
  • TCP/IP Transmission Control Protocol/Internet Protocol
  • the storage unit 320 stores programs for executing various control processes and each function in the control unit 330, input data, and the like.
  • RAM Random Access Memory
  • ROM Read Only
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • storage unit 320 temporarily stores the data communicated with the robot arm 100 and the camera 200, and the data generated in each process described later.
  • the control unit 330 controls the overall operation of the control terminal 300 by executing a program stored in the storage unit 320.
  • the control unit 330 is not limited to a CPU (Central Processing Unit) and an MPU (Micro). Processing Unit), GPU (Graphics Processing Unit), microprocessor (Microprocessor), processor core (Processor core), multiprocessor (Multiprocessor), ASIC (Application-Specific Integrated Circuit), device including FPGA (Field Programmable Gate Array) Composed of.
  • the functions of the control unit 330 include a start time control unit 331, a determination unit 332, an operation control unit 333, and a machine learning unit 334.
  • the start time control unit 331, the determination unit 332, the operation control unit 333, and the machine learning unit 334 are activated by the program stored in the storage unit 320 and executed by the control terminal 300.
  • the start time control unit 331 uses the heating plate P, the food storage F, the coffee maker C, and the toaster T so that the cooking operation by the robot arm 100 is completed at the set predetermined time.
  • the calculated cooking time is calculated and back calculated from the set predetermined time to calculate the cooking start time at which the cooking operation is started.
  • the cooking time is set in advance by each electric appliance, and those times may be added, or may be calculated from the past cooking operation time by the robot arm 100.
  • machine learning may be performed by a machine learning unit 334, which will be described later, and the cooking operation time may be calculated.
  • the start time control unit 331 transmits a control signal for starting the cooking operation to the robot arm 100 to the robot arm 100 via the communication unit 310. It should be noted that a control signal for starting the cooking operation may be transmitted to the robot arm 100 when the simply set cooking start time comes. The robot arm 100 receives the control signal and starts the cooking operation.
  • the determination unit 332 determines the position of the food from the image data captured by the camera 200, and determines the positions of the heating plate P, the food storage F, the coffee maker C, and the toaster T.
  • the robot arm 100 lifts the container in which the food is stored to heat the food and the bread one by one, so that the robot arm 100 is viewed from the position of the tip of the robot arm 100 at the time of imaging (imaged by the camera 200). ) Determine the relative position of the container and pan from the image data.
  • the determination unit 332 places the food material lifted by the robot arm 100 on the heating plate P and carries the bread into the toaster T. Therefore, the heating plate P and the toaster T viewed from the position of the robot arm 100 at the time of image capturing. The relative position is determined from the image data.
  • the determination unit 332 may determine the degree of completion of heating cooking based on the shape and/or color of the foodstuff that is analyzed from the image data of the foodstuff placed on the heating plate P and being cooked. ..
  • the machine learning unit 334 which will be described later, may use model information indicating the relationship between the shape and/or color of the food and the degree of completion of cooking. Note that this determination need not be performed when the degree of completion can be determined only by the time for cooking the food.
  • the operation control unit 333 controls the operation of the robot arm 100 and the camera 200 based on the determination result of the determination unit 332. Specifically, in order to lift the food by the robot arm 100, place the food on the heating plate P, and carry the bread into the toaster T, the servo motor built in the robot arm 100 is operated as described later. The control signal is transmitted to the robot arm 100 via the communication unit 310. Further, when the camera 200 images the food, the heating plate P, and the toaster T, in order to focus and obtain highly accurate image data, a control signal for controlling the operation of the lens position of the CCD constituting the camera 200 is transmitted. , To the camera 200 via the communication unit 310.
  • the machine learning unit 334 performs machine learning on the basis of the shape and/or color of the food material from the image data obtained by capturing the food material cooked by the heating plate P by the camera 200, and determines the shape and/or color of the food material. Model information indicating the relationship with the degree of completion of cooking is generated.
  • the machine learning at this time is, for example, without limitation, image data and the like of the shape and/or color of the food material when a well-finished dish is cooked serves as teacher data, and learning with a teacher is performed.
  • the model information generated by the machine learning unit 334 is used by the determination unit 332. Note that this machine learning may be performed by another device, and the model information generated by the machine learning performed by another device may be incorporated into the dishwashing assistance device 1. Further, as described above, the degree of completion may be determined only by the time for cooking the food. In such a case, the machine learning unit 334 may not be provided.
  • the machine learning unit 334 performs machine learning based on the cooking operation time by the robot arm 100, and calculates model information of cooking time using the heating plate P, the food storage F, the coffee maker C, and the toaster T. Is also good.
  • FIG. 4 is a perspective view showing an example of the appearance of the robot arm 100 of FIG.
  • FIG. 5 is a perspective view showing a state in which the robot arm 100 of FIG. 1 moves on the rail L.
  • the robot arm 100 includes a fixed portion 110, a placement movable portion 120, an upper arm portion 130, a joint portion 140, a forearm portion 150, a wrist portion 160, a support portion 170, and a holding portion 170. And part 180.
  • the fixed part 110 is a part where the robot arm 100 is fixed to the mounting table TA.
  • the mounting table TA is mounted on the rail L and is movably arranged on the rail L in the arrow X direction.
  • the mounting movable portion 120 is a movable portion to which one end of the upper arm portion 130 is connected and whose angle with the upper surface of the mounting table TA can be changed.
  • a servomotor is built in the placement movable unit 120, and the servomotor is driven by the control of the operation control unit 333 to rotate the upper arm unit 130.
  • the upper arm portion 130 is a rod-shaped member on the mounting table TA side of the robot arm 100.
  • the joint part 140 is a part that rotatably connects the other end of the upper arm part 130 and one end of the forearm part 150.
  • a servomotor is built in the joint section 140, and the servomotor is driven under the control of the operation control section 333 to rotate the forearm section 150.
  • the forearm 150 is a rod-shaped member on the tip side of the robot arm 100.
  • the wrist part 160 is a place where the other end of the forearm part 150 and one end of the support part 170 are rotatably connected.
  • a servo motor is built in the wrist 160, and the servo motor is driven by the control of the operation controller 333 to rotate the support 170.
  • the support portion 170 is a portion that supports the holding portion 180 at the tip portion of the robot arm 100. In the initial state, the supporting portion 170 is in a downward facing state.
  • the sandwiching unit 180 is a portion that holds the foodstuffs by sandwiching a container or a bread containing the foodstuffs.
  • the foodstuffs are sandwiched and held by the sandwiching unit 180 to prevent the foodstuffs from slipping and falling.
  • scissors-shaped metal members are formed by being covered with a material such as a synthetic resin so that there is no problem in hygiene even if the food materials are directly touched.
  • one or a plurality of cameras 200 are connected to the supporting unit 170 and arranged so that the food held by the holding unit 180 of the robot arm 100 can be imaged.
  • FIG. 6 is a flowchart showing an example of the compound cooking operation in the compound cooking device 1 of FIG.
  • step S000 which is a pre-process
  • the start time control unit 331 sets the heating plate P, the food storage F, the coffee maker C, so that the cooking operation by the robot arm 100 is completed at the set predetermined time.
  • the cooking time using the toaster T is calculated.
  • the cooking start time is calculated by back-calculating from the set predetermined time based on the cooking time.
  • the start time control unit 331 transmits a control signal for starting the cooking operation to the robot arm 100 via the communication unit 310 at the cooking start time calculated in step S000.
  • the robot arm 100 receives this control signal and starts the cooking operation.
  • the robot arm 100 takes out one cup-shaped container stored in the food storage F by the operation control of the operation control unit 333.
  • bacon is contained in this container.
  • the container is lifted by the robot arm 100 and moved to the position of the heating plate P, the container 160 is turned upside down by the rotation of the wrist 160 above the heating plate P, and the food is placed on the heating plate P. Cooking is done.
  • This bacon is provided as it is when Kanetsu is finished on the heating plate P.
  • one egg stored in the food storage F is taken out and inserted into a cup-shaped container one by one by the operation control of the operation control unit 333.
  • the container is lifted by the robot arm 100 and moved to the position of the heating plate P, the container is turned upside down above the heating plate P, the food is placed on the heating plate P, and cooking is performed.
  • the egg dish can be selected from a fried egg or a scrambled egg. In the case of the fried egg, the egg is heated on the heating plate P as it is, and in the case of the scrambled egg, the egg is stirred. This egg dish is provided as it is when Kanetsu is finished on the heating plate P.
  • step S004 in the robot arm 100, one piece of bread stored in the food storage F is taken out by the operation control of the operation control unit 333, moved to the position of the toaster T, and loaded into the toaster T.
  • the robot arm 100 moves the toast to a predetermined position and provides it.
  • step S005 in the robot arm 100, the switch of the coffee maker C is pressed and the coffee is brewed by the operation control of the operation control unit 333.
  • This coffee is provided after being moved to a predetermined position. Thereby, the breakfast which is an example of the present embodiment is provided.
  • FIG. 7 is a flowchart showing the operation of the combined cooking device 1 of FIG.
  • step S101 when the operation of the robot arm 100 is started by the control signal of the operation control unit 333 of the control terminal 300, the robot arm 100 is operated by the control signal of the operation control unit 333 and is stored in the food storage F.
  • the supporting portion 170 moves to the vicinity of the cup-shaped container.
  • the camera 200 connected to the support unit 170 captures an image of the cup-shaped container that stores bacon and that is stored in the food storage F, and generates image data of the container.
  • the determination unit 332 determines the relative position of the container viewed from the position of the tip of the robot arm 100 from the image data captured by the camera 200 in step S102.
  • step S104 the robot arm 100 is operated by the control signal of the operation control unit 333, the supporting unit 170 moves to the position of the container determined in step S103, and the supporting unit 170 is held until the holding unit 180 contacts the container. Are moved.
  • step S105 when the robot arm 100 operates and the holding section 180 opens according to the control signal of the operation control section 333, the container is held.
  • the robot arm 100 moves in this state, the container is held while being held by the holding unit 180.
  • step S106 the robot arm 100 is operated by the control signal of the operation control unit 333, and the support unit 170 moves above the heating plate P.
  • step S107 the camera 200 connected to the support unit 170 images the heating plate P and generates image data of the heating plate P.
  • the determination unit 332 determines the relative position of the heating plate P viewed from the position of the tip of the robot arm 100 from the image data captured by the camera 200 in step S107. At this time, it is determined from the image data that the container sandwiched by the sandwiching unit 180 is in a position where it does not collide with other foods on the heating plate P. That is, positioning is performed in which the food material (bacon) is placed on the heating plate P in a later step.
  • step S109 the robot arm 100 is operated by the control signal of the operation control unit 333, and the support unit 170 moves to the position on the heating plate P determined in step S108.
  • step S110 the robot arm 100 is operated by the control signal of the operation control unit 333, the container is pinched, and the container is pinched, and the wrist 160 is rotated to turn the container upside down. Are placed on the heating plate P. As a result, the food is cooked by heating.
  • step S111 the operation control unit 333 determines whether or not the preset heating time of the food material by the heating plate P has elapsed. In this process, when it is determined that the heating time has elapsed, the process of step S112 is performed, and when it is determined that the heating time has not elapsed, the process of step S111 is continuously performed.
  • step S112 As the processing of step S112, it is provided as it is when the ingredients are baked.
  • the compound cooking device by the operation of the robot arm, food ingredients such as bacon and eggs are lifted and placed on the heating plate for heating and cooking, and sliced into thin plates.
  • the bread is carried into the toaster T, the toaster is cooked, and the button of the coffee maker is pressed to brew the coffee.
  • These cooking times are calculated in advance, and the cooking start time of the robot arm is controlled so as to be completed at a predetermined time.
  • the robot arm is caused to perform a cooking operation and cooking is performed. Thereby, a plurality of types of cooking can be performed by a predetermined time and the cooking can be completed, so that, for example, the breakfast of the set menu can be completed by the predetermined time.
  • the robot arm uses multiple electric appliances such as a heating plate, food storage, coffee maker, and toaster to cook, so cooking can be done in a short time.
  • the existing electric appliances can be used for devices other than the robot arm, the introduction cost can be reduced.
  • FIG. 8 is a functional block configuration diagram showing a compound cooking device 1A according to the second embodiment of the present disclosure.
  • the compound cooking device 1A according to the first embodiment is that the compound cooking device 1A is a device that performs a plurality of types of cooking operations using a plurality of home electric appliances at home and completes cooking by a set predetermined time. It is similar to the device 1, but differs from the combined cooking device 1 according to the first embodiment in that the control terminal 300 includes an input unit 340.
  • the input unit 340 is a device that can adjust the cooking to be cooked by the compound cooking device 1A, the cooking process, and the completion time of the cooking, and accepts the setting input in a configurable manner, and includes a keyboard, a mouse, a touch panel, and the like. ing.
  • the input unit 340 selects, for example, a selectable egg dish type (eg fried egg or scrambled egg), baking amount for each cooking, and coffee type (whether or not sugar and milk etc.) as input for the dish. Can be entered. Based on these input values, the cooking operation of the robot arm 100 is performed by the control signal of the operation control unit 333.
  • the input unit 340 may be configured by an external device. Other configurations and the flow of processing are the same as those in the first embodiment.
  • the robot arm is provided with the input unit that receives the input of the setting for the cooking and the completion time of the cooking. It becomes possible to perform a cooking operation.
  • FIG. 9 is a functional block configuration diagram showing an example of the configuration of the computer (electronic computer) 500.
  • the computer 500 includes a CPU 501, a main storage device 502, an auxiliary storage device 503, and an interface 504.
  • the details of the control program for realizing each function configuring the start time control unit 331, the determination unit 332, the operation control unit 333, and the machine learning unit 334 according to the first and second embodiments will be described. These functional blocks are implemented in the computer 500.
  • the operation of each of these components is stored in the auxiliary storage device 503 in the form of a program.
  • the CPU 501 reads the program from the auxiliary storage device 503, expands it in the main storage device 502, and executes the above-described processing according to the program. Further, the CPU 501 reserves a storage area corresponding to the above-described storage unit in the main storage device 502 according to the program.
  • the program includes, in the computer 500, a start time calculation step of calculating a cooking time of the dish and a cooking start time of the dish so that the dish is completed at a set predetermined time; At the start time, a cooking start instruction step that causes the robot arm to perform a cooking operation, a food material imaging step that images the food material, a food material position determination step that determines the food material position from the imaged food material image data, Based on the position determination result, the food holding step of lifting and holding the food, the heating cooking device imaging step of imaging the heating cooking device, and the position of the heating cooking device is determined from the image data of the imaged heating cooking device.
  • Heat cooker position determination step cooking step that moves while holding foodstuffs, places foodstuffs on the heat cooking equipment to heat the cooking equipment, and provides heated foodstuffs as food It is a control program that realizes a food providing step to be performed by a computer.
  • the auxiliary storage device 503 is an example of a non-transitory tangible medium.
  • Other examples of non-transitory tangible media include magnetic disks, magneto-optical disks, CD-ROMs, DVD-ROMs, semiconductor memories, etc., connected through the interface 504. Further, when this program is distributed to the computer 500 via the network, the computer 500 to which the program is distributed may load the program into the main storage device 502 and execute the above processing.
  • the program may be for realizing some of the functions described above.
  • the program may be a so-called difference file (difference program) that realizes the above-described function in combination with another program already stored in the auxiliary storage device 503.
  • 1 compound cooking device 100 robot arm, 110 fixed part, 120 placement movable part, 130 upper arm part, 140 joint part, 150 forearm part, 160 wrist part, 170 support part, 180 holding part, 200 camera (detection part), 300 control terminal, 310 communication unit, 320 storage unit, 330 control unit, 331 start time control unit, 332 determination unit, 333 operation control unit, 334 machine learning unit, 340 input unit, NW network

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Food Science & Technology (AREA)
  • Manipulator (AREA)

Abstract

ロボットアームにより複数種類の調理を行い、所定の時刻までに料理を完成させることが可能な複合調理装置及び制御プログラムを提供する。　複合調理装置１は、食材の加熱調理を行い、調理済の食材を料理として提供するロボットアーム１００と、食材及び加熱調理装置を撮像するカメラ２００と、制御端末３００とを備える。制御端末３００の機能として、調理時間を算出して設定された所定の時刻から調理開始時刻を算出する開始時刻制御部３３１と、カメラ２００が撮像する画像データから、食材及び加熱調理装置の位置を判定する判定部３３２と、ロボットアーム１００及びカメラ２００の動作制御を行う動作制御部３３３と、画像データから食材の形状及び／又は色に基づいて機械学習を行う機械学習部３３４と、を備える。

Description

複合調理装置及び制御プログラム
　本開示は、複数種類の料理を調理し、設定された所定の時刻に料理を完成させる複合調理装置及び制御プログラムに関する。
　近年、電子レンジ等の家電製品の進歩により、家庭において料理を作る調理工程の自動化が進んでいる。また、タイマー機能を備え、所定の時間になると調理工程を完了させる家電製品も普及している。
　また、例えば特許文献１には、人間の動きをロボットに置き換えて調理動作を行わせるロボット食品調理システムが開示されている。このシステムは、人間の調理プロセスをデジタル化し、ロボット装置に再現させたものであり、調理工程の自動化を実現しているものである。
特表２０１７－５０６１６９号公報
　ところで、通常の生活において、朝はその日の準備等で忙しい時間帯であるため、朝食を作るのは煩わしいものである。しかしながら、家電製品が進化しても、ある程度栄養バランスの取れた朝食を全て自動で調理するのは不可能である。特許文献１に記載されたロボット食品調理システムは、人間の調理工程を再現するものではあるが、複数の家電製品を使用して複数の調理を行い、所定の時刻までに、例えば朝食を完成させるような機能は備えていないものである。
　そこで、本開示では、ロボットアームにより複数種類の調理を行い、所定の時刻までに料理を完成させることが可能な複合調理装置及び制御プログラムについて説明する。
　本開示の一態様における複合調理装置は、設定された複数種類の料理を調理し、設定された所定の時刻に料理を完成させる複合調理装置であって、料理の食材を持ち上げて保持すると共に移動し、食材を加熱調理装置に載置して加熱調理装置に対して加熱調理を行わせ、加熱済の食材を料理として提供するロボットアームと、設定された調理開始時刻になった場合、ロボットアームに調理動作を行わせる開始時刻制御部と、ロボットアームの動作を制御する動作制御部と、を備える。
　また、本開示の一態様における制御プログラムは、ロボットアームを備える複合調理装置に対して、設定された複数種類の料理を調理し、設定された所定の時刻に完成させる制御プログラムであって、設定された調理開始時刻になると、ロボットアームに調理動作を行わせる調理開始指示ステップと、料理の食材を持ち上げて保持する食材保持ステップと、食材を保持した状態で移動し、食材を加熱調理装置に載置して加熱調理装置に対して加熱調理を行わせる調理ステップと、加熱済の食材を料理として提供する料理提供ステップと、を電子計算機に実行させる。
　本開示によれば、ロボットアームにより、設定された複数種類の料理を調理する。また、設定された調理開始時刻になると、ロボットアームに調理動作を行わせ、調理が行われる。これにより、所定の時刻までに複数種類の調理を行い、料理を完成させることが出来るので、例えば所定の時刻までに、設定されたメニューの朝食を完成させることが可能である。
本開示の一実施形態に係る複合調理装置を示す機能ブロック構成図である。 図１のロボットアーム１００の配置例を示す平面図である。 図２の加熱プレートＰの外観の例を示す斜視図である。 図１のロボットアーム１００の外観を示す斜視図である。 図１のロボットアーム１００がレールＬ上で動く状態を示す斜視図である。 図１の複合調理装置１における複合調理動作の例を示すフローチャートである。 図１の複合調理装置１の動作を示すフローチャートである。 本開示の一実施形態に係る複合調理装置を示す機能ブロック構成図である。 本開示の一実施形態に係るコンピュータ５００を示す機能ブロック構成図である。
　以下、本開示の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。
　（実施形態１）
　＜構成＞
　図１は、本開示の実施形態１に係る複合調理装置１を示す機能ブロック構成図である。この食品調理支援装置１は、例えば、家庭において複数の家電製品を使用して複数種類の調理動作を行い、設定された所定の時刻までに料理を完成させる装置であり、限定ではなく例として、設定された時間までに複数種類の料理からなる朝食を完成させる装置である。この食品調理支援装置１で調理可能な朝食の例は、卵料理（目玉焼きまたはスクランブルエッグ）、トースト、ベーコンソテー、及びコーヒーからなる献立であり、本実施形態では、このような献立を例として説明する。
　複合調理装置１は、ロボットアーム１００と、カメラ（検知部）２００と、制御端末３００と、ネットワークＮＷとを有している。ロボットアーム１００と、カメラ２００と、制御端末３００とは、ネットワークＮＷを介して相互に接続される。ネットワークＮＷは、通信を行うための通信網であり、限定ではなく例として、インターネット、イントラネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、ワイヤレスＬＡＮ（Wireless LAN：ＷＬＡＮ）、ワイヤレスＷＡＮ（Wireless WAN：ＷＷＡＮ）、仮想プライベートネットワーク（Virtual Private Network：ＶＰＮ）等を含む通信網により構成されている。また、ロボットアーム１００と、カメラ２００と、制御端末３００とは、限定ではなく例として、ＵＳＢ（Universal Serial Bus）ケーブル等により相互に直接接続しても良い。
　ロボットアーム１００は、人間の手のようにつかむ、離す、運ぶ等の動作を行う装置であり、食材の加熱調理を行い、調理済の食材を料理として提供するための一連の動作を行うために設けられている。
　カメラ２００は、食材及び加熱調理装置を撮影し、画像データを生成する装置であり、例えばＣＣＤ（Charge Coupled Device）等の撮影装置と、撮影した画像を画像データに変換する変換装置とを備えるデジタルカメラ等により構成されている。このカメラ３００は、所定の時間間隔で画像の撮影及び画像データへの変換を行っている。
　このカメラ２００は、例えば、ロボットアーム１００の先端側に配置されており、さらに、使用される家電製品を含むキッチン全体を撮影可能な図示しない位置に、１台または複数のカメラ２００が固定されて配置されている。このような配置にしているのは、ロボットアーム１００の先端側に配置されたカメラ２００でロボットアーム１００の先端の位置や目的とする物、例えば食材の位置及び加熱調理装置の位置を把握し、他のカメラ２００で使用される家電製品を含むキッチン全体の状況を把握するためである。なお、カメラ２００は食材及び加熱調理装置を検知できる装置であれば良く、例えば赤外線センサのようなセンサにより構成しても良い。
　図２は、図１のロボットアーム１００の配置例を示す平面図である。図２に示す配置図は、家庭のキッチンにおいて使用される前述のロボットアーム１００と、複数の家電製品との配置図である。複数の家電製品として、加熱プレート（加熱調理装置）Ｐ、食材庫Ｆ、コーヒーメーカー（飲料サーバ）Ｃ、及びトースター（加熱調理装置）ＴがテーブルＴＡに直列に配置されている。これらの加熱プレートＰ、食材庫Ｆ、コーヒーメーカーＣ、及びトースターＴに対向するように、ロボットアーム１００が配置されている。
　このロボットアーム１００は、加熱プレートＰ、食材庫Ｆ、コーヒーメーカーＣ、及びトースターＴの配置方向に沿って配置されているレールＬ上に載置され、図２に示す矢印Ｘ方向のようにレールＬ上を移動可能に配置されている。このような配置にしているのは、ロボットアーム１００が加熱プレートＰ、食材庫Ｆ、コーヒーメーカーＣ、及びトースターＴの配置に沿って可動になることで、アームの長いロボットアーム１００を設けなくても良く、複数の装置に対する動作を可能にするためである。
　図３は、図２の加熱プレートＰの外観の例を示す斜視図である。図３に示す加熱プレートＰは、食材を天板上で焼く装置である。この加熱プレートＰには、食材、例えば卵やベーコンを載置する天板Ｓが設けられ、加熱された天板Ｓに食材が載置されることにより、食材が焼かれて加熱調理され、料理として提供される。加熱プレートＰは、市販の加熱プレートで構成しても良い。
　図２に示す食材庫Ｆは、卵やベーコン（第１の食材）、パン（第２の食材）といった食材が保管される保管庫である。この食材庫Ｆには、例えば、食材が１食ごとに、カップ状の上方が開放されている容器に収容されて保管されている。ロボットアーム１００がこの容器を持ち上げて保持しながら加熱プレートＰの位置へ移動し、加熱プレートＰの上方でこの容器を上下反転させることで、食材が加熱プレートＰ上で焼かれ、加熱調理が行われる。
　コーヒーメーカーＣは、コーヒーカップ（コップ）をセットしてスイッチを押下（オン状態に）すると、コーヒー（飲料物）がコーヒーカップに滴下される装置であり、ロボットアーム１００がボタンを押下することでコーヒーが淹れられる。トースターＴは、薄板状にスライスされたパンを焼いてトーストを調理する装置であり、ロボットアーム１００が食材庫Ｆからパンを１枚ずつ持ち上げて保持し、トースターＴに搬入してスイッチを押下（オン状態に）することでトースターが調理される。コーヒーメーカーＣ及びトースターＴは、市販の家電製品で構成しても良い。
　制御端末３００は、ロボットアーム１００及びカメラ２００の動作を制御する装置であり、限定ではなく例として、各種Ｗｅｂサービスを提供するコンピュータ（デスクトップ、ラップトップ、タブレットなど）や、サーバ装置を含む装置等により構成されている。具体的には、カメラ２００が撮像する画像データに基づき、ロボットアーム１００に食材を持ち上げさせて加熱プレートＰにて加熱調理を行わせ、トースターＴにてトーストを調理し、コーヒーメーカーＣにてコーヒーを淹れるように制御する。なお、制御端末３００をサーバ装置で構成する場合、単体で動作するサーバ装置に限られず、ネットワークＮＷを介して通信を行うことで協調動作する分散型サーバシステムや、クラウドサーバにより構成しても良い。
　また、制御端末３００は、通信部３１０と、記憶部３２０と、制御部３３０とを備える。
　通信部３１０は、ネットワークＮＷを介してロボットアーム１００及びカメラ２００と有線または無線で通信を行うための通信インタフェースであり、互いの通信が実行できるのであればどのような通信プロトコルを用いても良い。この通信部３１０は、限定ではなく例として、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等の通信プロトコルにより通信が行われる。
　記憶部３２０は、各種制御処理や制御部３３０内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、限定ではなく例として、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含むメモリや、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等を含むストレージから構成される。また、記憶部３２０は、ロボットアーム１００及びカメラ２００と通信を行ったデータや、後述する各処理にて生成されたデータを一時的に記憶する。
　制御部３３０は、記憶部３２０に記憶されているプログラムを実行することにより、制御端末３００の全体の動作を制御するものであり、限定ではなく例として、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、マイクロプロセッサ（Microprocessor）、プロセッサコア（Processor core）、マルチプロセッサ（Multiprocessor）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）を含む装置等から構成される。制御部３３０の機能として、開始時刻制御部３３１と、判定部３３２と、動作制御部３３３と、機械学習部３３４とを備えている。この開始時刻制御部３３１、判定部３３２、動作制御部３３３、及び機械学習部３３４は、記憶部３２０に記憶されているプログラムにより起動されて制御端末３００にて実行される。
　開始時刻制御部３３１は、限定ではなく例として、ロボットアーム１００による調理動作が、設定された所定の時刻に完成するように、加熱プレートＰ、食材庫Ｆ、コーヒーメーカーＣ、及びトースターＴを使用した調理時間を算出し、設定された所定の時刻から逆算して、調理動作が開始される調理開始時刻を算出する。調理時間は、各電化製品による調理時間が予め設定され、それらの時間を加算しても良く、ロボットアーム１００による過去の調理動作時間から算出しても良い。また、後述する機械学習部３３４により機械学習が行われ、調理動作時間が算出されても良い。
　また、開始時刻制御部３３１は、算出した調理開始時刻になると、ロボットアーム１００に対して調理動作を開始させる制御信号を、通信部３１０を介してロボットアーム１００へ送信する。なお、単純に設定された調理開始時刻になった場合、ロボットアーム１００に対して調理動作を開始させる制御信号を送信しても良い。ロボットアーム１００では、この制御信号を受信して調理動作が開始される。
　判定部３３２は、カメラ２００が撮像する画像データから、食品の位置を判定し、加熱プレートＰ、食材庫Ｆ、コーヒーメーカーＣ、及びトースターＴの位置を判定する。ロボットアーム１００は、食材を加熱調理するために食材が収容されている容器、及びパンを１つずつ持ち上げるため、撮像時点のロボットアーム１００の先端部の位置から見た（カメラ２００により撮像された）容器及びパンの相対位置を、画像データから判定する。
　また、判定部３３２は、ロボットアーム１００が持ち上げた食材を加熱プレートＰに載置し、パンをトースターＴに搬入するため、撮像時点のロボットアーム１００の位置から見た加熱プレートＰ及びトースターＴの相対位置を画像データから判定する。
　さらに、判定部３３２は、加熱プレートＰに載置されて加熱調理されている食材の画像データから解析された、食材の形状及び／又は色に基づいて加熱調理の完成度を判定しても良い。このときの判定は、後述する機械学習部３３４による、食材の形状及び／又は色と加熱調理の完成度との関係を示すモデル情報を使用しても良い。なお、この判定は、食材の加熱調理の時間のみで完成度を判定できる場合には行わなくても良い。
　動作制御部３３３は、判定部３３２の判定結果に基づき、ロボットアーム１００及びカメラ２００の動作制御を行う。具体的には、ロボットアーム１００による食材の持ち上げや加熱プレートＰへの載置、パンのトースターＴへの搬入を行わせるため、後述するようにロボットアーム１００に内蔵されているサーボモータを動作させる制御信号を、通信部３１０を介してロボットアーム１００へ送信する。また、カメラ２００による食材や加熱プレートＰ、トースターＴの撮像の際、ピントを合わせて精度の高い画像データを取得するため、カメラ２００を構成するＣＣＤのレンズ位置等の動作制御を行う制御信号を、通信部３１０を介してカメラ２００へ送信する。
　機械学習部３３４は、カメラ２００が加熱プレートＰで加熱調理されている食材を撮像した画像データから、食材の形状及び／又は色に基づいて機械学習を行い、食材の形状及び／又は色と、加熱調理の完成度との関係を示すモデル情報を生成する。このときの機械学習は、限定ではなく例として、良好に完成した料理を加熱調理したときの食材の形状及び／又は色の画像データ等が教師データとなり、教師あり学習が行われる。機械学習部３３４により生成されたモデル情報は、判定部３３２で使用される。なお、この機械学習は他の装置で行われても良く、他の装置で行われた機械学習により生成されたモデル情報が食器洗浄支援装置１に組み込まれても良い。また、前述のように食材の加熱調理の時間のみで完成度を判定しても良い。このような場合、機械学習部３３４は備えなくても良い。
　また、機械学習部３３４は、ロボットアーム１００による調理動作時間に基づいて機械学習を行い、加熱プレートＰ、食材庫Ｆ、コーヒーメーカーＣ、及びトースターＴを使用した調理時間のモデル情報を算出しても良い。
　図４は、図１のロボットアーム１００の外観の例を示す斜視図である。また、図５は、図１のロボットアーム１００がレールＬ上で動く状態を示す斜視図である。ロボットアーム１００は、図４に示すように、固定部１１０と、載置可動部１２０と、上腕部１３０と、継手部１４０と、前腕部１５０と、手首部１６０と、支持部１７０と、挟持部１８０とから構成されている。
　固定部１１０は、ロボットアーム１００が載置台ＴＡに固定されている箇所である。載置台ＴＡは、図５に示すように、レールＬ上に載置され、矢印Ｘ方向のようにレールＬ上を移動可能に配置されている。載置可動部１２０は、上腕部１３０の一端が接続され、載置台ＴＡの上面との角度が変更自在な可動箇所である。載置可動部１２０には、サーボモータが内蔵されており、動作制御部３３３の制御によりサーボモータが駆動して、上腕部１３０を回動させるように構成されている。上腕部１３０は、ロボットアーム１００における載置台ＴＡ側の棒状部材である。
　継手部１４０は、上腕部１３０の他端と前腕部１５０の一端とを回動自在に接続する箇所である。継手部１４０には、サーボモータが内蔵されており、動作制御部３３３の制御によりサーボモータが駆動して、前腕部１５０を回動させるように構成されている。前腕部１５０は、ロボットアーム１００における先端側の棒状部材である。
　手首部１６０は、前腕部１５０の他端と支持部１７０の一端とを回動自在に接続する箇所である。手首部１６０には、サーボモータが内蔵されており、動作制御部３３３の制御によりサーボモータが駆動して、支持部１７０を回動させるように構成されている。支持部１７０は、ロボットアーム１００の先端部において挟持部１８０を支持する箇所である。初期状態では、支持部１７０は下方を向いた状態になる。
　挟持部１８０は、食材が収容されている容器やパンを挟むことで保持する箇所であり、限定ではなく例として、食材等を挟持して保持したときに滑って落下することを防止するため、さらに直接食材に触れても衛生上問題がないようにするため、鋏状の金属製部材が合成樹脂等の素材により被覆されて形成されている。
　また、支持部１７０には、１または複数のカメラ２００が接続されて配置され、ロボットアーム１００の挟持部１８０が挟持する食品を撮像可能になっている。
　＜処理の流れ＞
　まず、図６を参照しながら、複合調理装置１が実行する調理動作の手順の一例について説明する。図６は、図１の複合調理装置１における複合調理動作の例を示すフローチャートである。
　まず、事前処理であるステップＳ０００の処理として、開始時刻制御部３３１では、設定された所定の時刻にロボットアーム１００による調理動作が完成するように、加熱プレートＰ、食材庫Ｆ、コーヒーメーカーＣ、及びトースターＴを使用した調理時間が算出される。また、調理時間に基づき、設定された所定の時刻から逆算して、調理開始時刻が算出される。
　ステップＳ００１の処理として、開始時刻制御部３３１では、ステップＳ０００で算出された調理開始時刻になると、ロボットアーム１００に対して調理動作を開始させる制御信号が、通信部３１０を介して送信される。ロボットアーム１００では、この制御信号が受信され、調理動作が開始される。
　ステップＳ００２の処理として、ロボットアーム１００では、動作制御部３３３の動作制御により、食材庫Ｆに保管されているカップ状の容器が１個ずつ取り出される。この容器には、例えばベーコンが収容されている。この容器がロボットアーム１００により持ち上げられて加熱プレートＰの位置へ移動し、加熱プレートＰの上方で手首部１６０の回動によりこの容器が上下反転させられ、食材が加熱プレートＰに載置され、加熱料理が行われる。このベーコンは、加熱プレートＰ上で関越が終了すると、このまま提供される。
　ステップＳ００３の処理として、ロボットアーム１００では、動作制御部３３３の動作制御により、食材庫Ｆに保管されている卵が１個取り出され、カップ状の容器に１個ずつ割り入れられる。この容器がロボットアーム１００により持ち上げられて加熱プレートＰの位置へ移動し、加熱プレートＰの上方でこの容器が上下反転させられ、食材が加熱プレートＰに載置され、加熱料理が行われる。なお、卵料理は目玉焼きまたはスクランブルエッグから選択可能であり、目玉焼きの場合はこのまま加熱プレートＰ上で加熱され、スクランブルエッグの場合は卵がかき混ぜられる。この卵料理は、加熱プレートＰ上で関越が終了すると、このまま提供される。
　ステップＳ００４の処理として、ロボットアーム１００では、動作制御部３３３の動作制御により、食材庫Ｆに保管されているパンが１枚取り出されてトースターＴの位置へ移動し、トースターＴに搬入される。トースターＴによりトーストの調理が行われると、ロボットアーム１００によりトーストが所定の位置へ移動されて提供される。
　ステップＳ００５の処理として、ロボットアーム１００では、動作制御部３３３の動作制御により、コーヒーメーカーＣのスイッチが押下されてコーヒーが淹れられる。このコーヒーは、所定の位置へ移動されて提供される。これにより、本実施形態の例である朝食が提供される。
　次に、図７を参照しながら、複合調理装置１が実行する処理の流れの一例について、ベーコンソテーの場合を例に説明する。図７は、図１の複合調理装置１の動作を示すフローチャートである。
　ステップＳ１０１の処理として、制御端末３００の動作制御部３３３の制御信号によりロボットアーム１００の動作が開始すると、動作制御部３３３の制御信号によりロボットアーム１００が稼働し、食材庫Ｆに保管されているカップ状の容器の近傍へ支持部１７０が移動する。
　ステップＳ１０２の処理として、支持部１７０に接続されているカメラ２００では、食材庫Ｆに保管されている、ベーコンが収容されているカップ状の容器の撮像が行われ、容器の画像データが生成される。
　ステップＳ１０３の処理として、判定部３３２では、ステップＳ１０２でカメラ２００により撮像された画像データから、ロボットアーム１００の先端部の位置から見た容器の相対位置が判定される。
　ステップＳ１０４の処理として、動作制御部３３３の制御信号によりロボットアーム１００が稼働し、ステップＳ１０３で判定された容器の位置へ支持部１７０が移動し、挟持部１８０が容器に接触するまで支持部１７０が移動される。
　ステップＳ１０５の処理として、動作制御部３３３の制御信号によりロボットアーム１００が稼働して挟持部１８０が開くと、容器を挟持する。この状態でロボットアーム１００が移動すると、容器が挟持部１８０に挟持された状態で保持される。
　ステップＳ１０６の処理として、動作制御部３３３の制御信号によりロボットアーム１００が稼働し、加熱プレートＰの上方へ支持部１７０が移動する。
　ステップＳ１０７の処理として、支持部１７０に接続されているカメラ２００では、加熱プレートＰの撮像が行われ、加熱プレートＰの画像データが生成される。
　ステップＳ１０８の処理として、判定部３３２では、ステップＳ１０７でカメラ２００により撮像された画像データから、ロボットアーム１００の先端部の位置から見た加熱プレートＰの相対位置が判定される。このとき、挟持部１８０に挟持されている容器が、加熱プレートＰ上の他の食材と衝突しない位置になるように画像データから判定される。すなわち、後のステップにおいて食材（ベーコン）が加熱プレートＰ上に載置される位置決めが行われる。
　ステップＳ１０９の処理として、動作制御部３３３の制御信号によりロボットアーム１００が稼働し、ステップＳ１０８で判定された加熱プレートＰ上の位置へ支持部１７０が移動する。
　ステップＳ１１０の処理として、動作制御部３３３の制御信号によりロボットアーム１００が稼働し、容器が挟持された状態で加熱プレートＰの上方で、手首部１６０の回動により容器が上下反転させられ、食材が加熱プレートＰに載置される。これにより、食材の加熱調理が行われる。
　ステップＳ１１１の処理として、動作制御部３３３では、予め設定された加熱プレートＰによる食材の加熱時間を経過したか否かが判定される。この処理において、加熱時間を経過したと判定された場合、ステップＳ１１２の処理を行い、経過していないと判定された場合、引き続きステップＳ１１１の処理が行われる。
　ステップＳ１１２の処理として、食材が焼き上がるとそのまま提供される。
　＜効果＞
　以上のように、本実施形態に係る複合調理装置は、ロボットアームの動作により、ベーコンや卵のような食材が持ち上げられて加熱プレートへ載置されて加熱調理が行われ、薄板状にスライスされたパンがトースターＴに搬入することでトースターが調理され、コーヒーメーカーのボタンが押下されてコーヒーが淹れられる。これらの調理時間は予め算出され、所定の時間に完成するようにロボットアームの調理開始時間が制御される。算出された調理開始時刻になると、ロボットアームに調理動作を行わせ、調理が行われる。これにより、所定の時刻までに複数種類の調理を行い、料理を完成させることが出来るので、例えば所定の時刻までに、設定されたメニューの朝食を完成させることが可能である。
　また、ロボットアームが加熱プレート、食材庫、コーヒーメーカー、及びトースターといった複数の電化製品を使用して調理を行うので、短時間で調理動作が可能である。また、ロボットアーム以外の装置は既存の電化製品が使用できるので、導入コストの削減が可能である。
　（実施形態２）
　図８は、本開示の実施形態２に係る複合調理装置１Ａを示す機能ブロック構成図である。この複合調理装置１Ａは、家庭において複数の家電製品を使用して複数種類の調理動作を行い、設定された所定の時刻までに料理を完成させる装置である点において、実施形態１に係る複合調理装置１と同様であるが、制御端末３００に入力部３４０を備えている点において、実施形態１に係る複合調理装置１と異なる。
　入力部３４０は、複合調理装置１Ａにて調理を行う料理や調理工程、料理の完成時刻について調整可能であり、設定の入力を設定可能に受け付ける装置であり、キーボードやマウス、タッチパネル等により構成されている。入力部３４０は、例えば、料理についての入力として、選択可能な卵料理の種類（目玉焼きまたはスクランブルエッグ等）、各加熱調理の焼き加減、コーヒーの種類（砂糖及びミルクの有無等）等を選択して入力することが可能である。これらの入力値により、動作制御部３３３の制御信号によりロボットアーム１００の調理動作が行われる。なお、この入力部３４０は、外部装置により構成されても良い。その他の構成及び処理の流れについては、実施形態１と同様である。
　本実施形態によれば、上記実施形態１の効果に加え、ロボットアームが調理動作を行う料理や料理の完成時刻について、設定の入力を受け付ける入力部を備えたことにより、ユーザの好みに合わせた調理動作を行わせることが可能になる。
　（実施形態３（プログラム））
　図９は、コンピュータ（電子計算機）５００の構成の例を示す機能ブロック構成図である。コンピュータ５００は、ＣＰＵ５０１、主記憶装置５０２、補助記憶装置５０３、インタフェース５０４を備える。
　ここで、実施形態１及び２に係る開始時刻制御部３３１、判定部３３２、動作制御部３３３、及び機械学習部３３４を構成する各機能を実現するための制御プログラムの詳細について説明する。これらの機能ブロックは、コンピュータ５００に実装される。そして、これらの各構成要素の動作は、プログラムの形式で補助記憶装置５０３に記憶されている。ＣＰＵ５０１は、プログラムを補助記憶装置５０３から読み出して主記憶装置５０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ５０１は、プログラムに従って、上述した記憶部に対応する記憶領域を主記憶装置５０２に確保する。
　当該プログラムは、具体的には、コンピュータ５００において、設定された所定の時刻に料理が完成するように、料理の調理時間を算出して料理の調理開始時刻を算出する開始時刻算出ステップと、調理開始時刻になるとロボットアームに調理動作を行わせる調理開始指示ステップと、食材を撮像する食材撮像ステップと、撮像された食材の画像データから、食材の位置を判定する食材位置判定ステップと、食材の位置の判定結果に基づき、食材を持ち上げて保持する食材保持ステップと、加熱調理装置を撮像する加熱調理装置撮像ステップと、撮像された加熱調理装置の画像データから、加熱調理装置の位置を判定する加熱調理装置位置判定ステップと、食材を保持した状態で移動し、食材を加熱調理装置に載置して加熱調理装置に対して加熱調理を行わせる調理ステップと、加熱済の食材を料理として提供する料理提供ステップと、をコンピュータによって実現する制御プログラムである。
　なお、補助記憶装置５０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース５０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ５００に配信される場合、配信を受けたコンピュータ５００が当該プログラムを主記憶装置５０２に展開し、上記処理を実行してもよい。
　また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置５０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することが出来る。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。
１　複合調理装置、１００　ロボットアーム、１１０　固定部、１２０　載置可動部、１３０　上腕部、１４０　継手部、１５０　前腕部、１６０　手首部、１７０　支持部、１８０　挟持部、２００　カメラ（検知部）、３００　制御端末、３１０　通信部、３２０　記憶部、３３０　制御部、３３１　開始時刻制御部、３３２　判定部、３３３　動作制御部、３３４　機械学習部、３４０　入力部、ＮＷ　ネットワーク

Claims (16)

  1. 　設定された複数種類の料理を調理し、設定された所定の時刻に前記料理を完成させる複合調理装置であって、
    　前記料理の食材を持ち上げて保持すると共に移動し、前記食材を加熱調理装置に載置して前記加熱調理装置に対して加熱調理を行わせ、加熱済の前記食材を前記料理として提供するロボットアームと、
    　設定された前記調理開始時刻になった場合、前記ロボットアームに調理動作を行わせる開始時刻制御部と、
    　前記ロボットアームの動作を制御する動作制御部と、を備える複合調理装置。
  2. 　前記食材及び前記加熱調理装置を検知する検知部と、
    　検知された検知結果から、前記食材の位置を判定し、前記加熱調理装置の位置を判定する判定部と、を備える、請求項１に記載の複合調理装置。
  3. 　前記検知部は、１または複数のカメラにより構成されている、請求項２に記載の複合調理装置。
  4. 　前記検知部は、前記ロボットアームの先端部の近傍に配置されている、請求項２または請求項３に記載の複合調理装置。
  5. 　前記判定部は、前記検知結果に基づき解析された前記第１の食材の形状及び／又は色に基づいて加熱調理の完成度を判定する、請求項２から請求項４のいずれか１項に記載の複合調理装置。
  6. 　前記判定部は、前記検知結果から前記第１の食材の形状及び／又は色に基づいて行われた機械学習により生成された、前記第１の食材の形状及び／又は色と、加熱調理の完成度との関係を示すモデル情報により加熱調理の完成度を判定する、請求項５に記載の複合調理装置。
  7. 　前記開始時刻制御部は、設定された所定の時刻に前記料理が完成するように、前記料理の調理時間を算出し、前記料理の調理開始時刻を算出する、請求項１から請求項６のいずれか１項に記載の複合調理装置。
  8. 　前記ロボットアームは、
    　第１の前記食材を持ち上げて保持すると共に移動し、前記第１の食材を、天板上で前記第１の食材を加熱する加熱プレートに載置して前記加熱プレートに対して加熱調理を行わせ、
    　第２の前記食材を持ち上げて保持すると共に移動し、前記第２の食材をトースターに搬入して前記トースターに対して加熱調理を行わせる、請求項１から請求項７のいずれか１項に記載の複合調理装置。
  9. 　前記第１の食材は、１食ごとに上方が開放されている容器に収容され、
    　前記ロボットアームは、前記容器を持ち上げて保持し、前記加熱プレートの上方で前記容器を上下反転させて前記第１の食材を前記加熱プレートに載置する、請求項８に記載の複合調理装置。
  10. 　前記第１の食材は、卵であり、
    　前記ロボットアームは、前記卵を１個ずつ挟持して保持し、前記容器の上方に移動して前記卵を割り入れる、請求項９に記載の複合調理装置。
  11. 　前記第２の食材は、薄板状にスライスされたパンであり、
    　前記ロボットアームは、前記パンを１枚ずつ挟持して保持し、前記トースターに搬入し、前記トースターのスイッチをオン状態にして加熱を行わせる、請求項８から請求項１０のいずれか１項に記載の複合調理装置。
  12. 　前記ロボットアームは、飲料物を提供する飲料サーバに前記飲料物を入れるコップをセットし、前記飲料サーバのスイッチをオン状態にして前記飲料物を前記コップに注ぎ、前記飲料物が注がれた前記コップを所定の位置に移動する、請求項８から請求項１１のいずれか１項に記載の複合調理装置。
  13. 　前記加熱プレート、前記トースター、及び前記飲料サーバは、直列に配置され、
    　前記ロボットアームは、前記加熱プレート、前記トースター、及び前記飲料サーバの配置方向に沿って移動可能なレール上に取り付けられている、請求項１２に記載の複合調理装置。
  14. 　ユーザが前記料理及び前記所定の時間を設定可能な入力部が設けられている、請求項１から請求項１３のいずれか１項に記載の複合調理装置。
  15. 　前記入力部は、複数種類の前記料理のうちの１または複数の前記料理を選択可能であり、前記料理の調理工程を調整可能である、請求項１４に記載の複合調理装置。
  16. 　ロボットアームを備える複合調理装置に対して、設定された複数種類の料理を調理し、設定された所定の時刻に完成させる制御プログラムであって、
    　設定された調理開始時刻になると、前記ロボットアームに調理動作を行わせる調理開始指示ステップと、
    　前記料理の食材を持ち上げて保持する食材保持ステップと、
    　前記食材を保持した状態で移動し、前記食材を前記加熱調理装置に載置して前記加熱調理装置に対して加熱調理を行わせる調理ステップと、
    　加熱済の前記食材を前記料理として提供する料理提供ステップと、を電子計算機に実行させる、制御プログラム。
PCT/JP2020/006352 2019-02-18 2020-02-18 複合調理装置及び制御プログラム WO2020171085A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019026754A JP2020131339A (ja) 2019-02-18 2019-02-18 複合調理装置及び制御プログラム
JP2019-026754 2019-02-18

Publications (1)

Publication Number Publication Date
WO2020171085A1 true WO2020171085A1 (ja) 2020-08-27

Family

ID=72143971

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006352 WO2020171085A1 (ja) 2019-02-18 2020-02-18 複合調理装置及び制御プログラム

Country Status (2)

Country Link
JP (1) JP2020131339A (ja)
WO (1) WO2020171085A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112315343A (zh) * 2020-12-15 2021-02-05 天津博诺智创机器人技术有限公司 一种煎蛋机器人制备系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7552580B2 (ja) * 2019-03-01 2024-09-18 ソニーグループ株式会社 調理ロボット、調理ロボット制御装置、制御方法
CN113473890B (zh) * 2019-03-01 2024-04-23 索尼集团公司 烹饪机器人、烹饪机器人控制装置和控制方法
WO2024161686A1 (ja) * 2023-01-30 2024-08-08 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、配信システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224703A (ja) * 1989-02-28 1990-09-06 Matsushita Electric Ind Co Ltd 調理器内蔵型食事用テーブルおよびその制御システム
JP2000037166A (ja) * 1998-07-23 2000-02-08 Sanyo Electric Co Ltd 調理装置
JP2017506169A (ja) * 2014-02-20 2017-03-02 マーク オレイニク ロボット調理キッチン内の食品調製のための方法及びシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02224703A (ja) * 1989-02-28 1990-09-06 Matsushita Electric Ind Co Ltd 調理器内蔵型食事用テーブルおよびその制御システム
JP2000037166A (ja) * 1998-07-23 2000-02-08 Sanyo Electric Co Ltd 調理装置
JP2017506169A (ja) * 2014-02-20 2017-03-02 マーク オレイニク ロボット調理キッチン内の食品調製のための方法及びシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112315343A (zh) * 2020-12-15 2021-02-05 天津博诺智创机器人技术有限公司 一种煎蛋机器人制备系统

Also Published As

Publication number Publication date
JP2020131339A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
WO2020171085A1 (ja) 複合調理装置及び制御プログラム
KR102128768B1 (ko) 조리시스템용 보조버튼
JP6704125B2 (ja) 加熱調理器
US11766151B2 (en) Cooking system with error detection
US4987827A (en) Cooking apparatus
CN105979832B (zh) 具有非接触式操作的厨房电器
US20170135159A1 (en) Wirelessly operable slow cooker
CN105520623B (zh) 三明治制备器具以及利用其制备三明治的方法
US20180310760A1 (en) Control system for cooking
KR20180018548A (ko) 레시피 시스템
JP2018517532A (ja) レシピファイルから食品を調製するための自律調理デバイスおよびレシピファイルを作成する方法
EP3116358A1 (en) Wirelessly operable cooking appliance
CN111352355A (zh) 烹饪方法、设备、系统及介质
MX2007006407A (es) Aparato de coccion.
US20160007799A1 (en) Apparatus, system and method for a waffle sandwich press
CN205018792U (zh) 自动烹饪机
KR101762156B1 (ko) 스팀 컨벡션 오븐 제어방법
CN109793429A (zh) 煎烤机及其烘焙控制方法、烘焙控制装置和计算机可读存储介质
US20210030201A1 (en) A device for automating cooking of a recipe
CN114206177A (zh) 一种加热食物的系统和方法
US11805940B2 (en) Food processor for controlling another household appliance
WO2019209332A1 (en) Cooking system with error detection
AU2022201723A1 (en) Method and system for a heat supply to a product to be cooked
KR200488146Y1 (ko) 조리용 기구를 위한 힌지 구조체 및 조리용 기구
CN112704377B (zh) 一种应用于自助餐的烹饪器具控制方法以及烹饪器具

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20758443

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20758443

Country of ref document: EP

Kind code of ref document: A1