JP7259270B2 - 調理ロボット、調理ロボット制御装置、制御方法 - Google Patents
調理ロボット、調理ロボット制御装置、制御方法 Download PDFInfo
- Publication number
- JP7259270B2 JP7259270B2 JP2018208193A JP2018208193A JP7259270B2 JP 7259270 B2 JP7259270 B2 JP 7259270B2 JP 2018208193 A JP2018208193 A JP 2018208193A JP 2018208193 A JP2018208193 A JP 2018208193A JP 7259270 B2 JP7259270 B2 JP 7259270B2
- Authority
- JP
- Japan
- Prior art keywords
- cooking
- state
- sequence
- data
- ingredients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010411 cooking Methods 0.000 title claims description 453
- 238000000034 method Methods 0.000 title claims description 133
- 239000004615 ingredient Substances 0.000 claims description 132
- 230000009471 action Effects 0.000 claims description 130
- 238000012545 processing Methods 0.000 claims description 95
- 230000008569 process Effects 0.000 claims description 59
- 235000013305 food Nutrition 0.000 claims description 46
- 239000000463 material Substances 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 16
- 230000007704 transition Effects 0.000 description 104
- 238000010586 diagram Methods 0.000 description 45
- 240000008415 Lactuca sativa Species 0.000 description 33
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 31
- 240000003768 Solanum lycopersicum Species 0.000 description 31
- 238000005520 cutting process Methods 0.000 description 25
- 235000012045 salad Nutrition 0.000 description 24
- 230000006870 function Effects 0.000 description 19
- 240000008067 Cucumis sativus Species 0.000 description 17
- 235000010799 Cucumis sativus var sativus Nutrition 0.000 description 15
- 235000013601 eggs Nutrition 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 235000003228 Lactuca sativa Nutrition 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 9
- 238000007405 data analysis Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 235000013372 meat Nutrition 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 235000019511 tuna Nutrition 0.000 description 5
- 244000291564 Allium cepa Species 0.000 description 4
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 4
- 244000025272 Persea americana Species 0.000 description 4
- 235000008673 Persea americana Nutrition 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 235000012041 food component Nutrition 0.000 description 4
- 239000005417 food ingredient Substances 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 235000009849 Cucumis sativus Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 235000013605 boiled eggs Nutrition 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 1
- 240000008384 Capsicum annuum var. annuum Species 0.000 description 1
- 241000287828 Gallus gallus Species 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0084—Programme-controlled manipulators comprising a plurality of manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/36—Nc in input of data, input key till input tape
- G05B2219/36039—Learning task dynamics, process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39311—Multilayer, MNN, four layer perceptron, sigmoidal neural network
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Robotics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Manipulator (AREA)
Description
1.調理ロボットの制御システム
2.状態シーケンスのプランニングとアクション
3.各装置の構成と動作
4.変形例
<システム構成>
図1は、本技術の一実施形態に係る制御システムの構成例を示す図である。
図3は、調理ロボット2の外観を示す斜視図である。
図5は、調理アーム21の外観を示す図である。
図8および図9は、レシピデータの例を示す図である。
<レシピデータに基づくプランニング>
図10は、データ処理装置1が行う全体の処理の流れを示す図である。
図16は、個別シーケンスの設定とアクションの実行に用いられるデータベースの例を示す図である。
図17は、食材DB101に格納される情報の例を示す図である。
図18は、調理方法DB102の構成例を示す図である。
図21は、盛り付け方法DB103に格納される情報の例を示す図である。
調理ロボット2の動作が状態シーケンスにより表現されるものとしたが、木構造により表現されるようにしてもよい。
<各装置の構成>
・データ処理装置1の構成
図25は、データ処理装置1のハードウェアの構成例を示すブロック図である。
図27は、調理ロボット2の構成例を示すブロック図である。
ここで、以上のような構成を有するデータ処理装置1と調理ロボット2の動作について説明する。
はじめに、図28、図29のフローチャートを参照して、調理ロボット2の動作を制御するデータ処理装置1の処理について説明する。
図30は、図29のステップS10において行われるアクションの選択の例を示す図である。
調理ロボット2に実行させるアクションが選択された後、アクションDB112に格納されている情報に基づいて命令コマンドが生成されるものとしたが、NN(Neural Network)を用いて命令コマンドが生成されるようにしてもよい。
次に、図34のフローチャートを参照して、調理ロボット2の調理処理について説明する。
レシピデータとデータベースに用意されている情報に基づいて調理のプランニングが行われるものとしたが、ユーザの嗜好をも考慮してプランニングが行われるようにしてもよい。例えば、ユーザの好きな食材を加えたり、嫌いな食材を除いたりしてプランニングが行われる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
Claims (20)
- 料理を作るための調理動作を行う調理アームと、
前記料理の調理工程全体の状態シーケンスである調理全体シーケンスを、それぞれの調理工程に関するテキストデータと画像とを含むレシピデータに基づいて設定し、前記調理全体シーケンスを構成する状態間の状態シーケンスである個別シーケンスを予め用意されたデータベースの情報に基づいて設定するデータ処理装置によって生成された、それぞれの前記個別シーケンスに応じた前記調理動作を実行させるための命令コマンドに従って、前記調理アームが行う前記調理動作を制御する制御部を備える
調理ロボット。 - 前記命令コマンドは、食材と食材の調理方法とを対応付けた情報を含む調理データセットを参照して生成される
請求項1に記載の調理ロボット。 - 前記調理データセットは、前記調理方法と、前記調理方法に従って前記調理動作を行う際に用いる調理道具とを対応付けた情報である
請求項2に記載の調理ロボット。 - 前記調理データセットは、前記調理方法と、前記調理方法に従って前記調理動作を行う際に用いる調理道具と、前記調理道具の仕様とを対応付けた情報である
請求項2に記載の調理ロボット。 - 前記命令コマンドは、前記調理ロボットの能力に関する仕様と前記調理データセットを参照して生成される
請求項2に記載の調理ロボット。 - 前記命令コマンドは、調理済みの食材の盛り付け方法に関する情報を含む盛り付けデータセットを参照して生成される
請求項1に記載の調理ロボット。 - 前記盛り付けデータセットは、食材の識別子と、盛り付けに使われる食器における食材の位置を示す位置データとを対応付けた情報である
請求項6に記載の調理ロボット。 - 前記位置データは、食材の平面位置と食材の階層位置のうちの少なくともいずれかを示す情報である
請求項7に記載の調理ロボット。 - 前記位置データは、食材の平面位置として、食材を同一階層に所定のパターンで配置した平面配置パターンを示し、食材の階層位置として、食材を異なる階層に所定のパターンで配置した階層配置パターンを示す情報である
請求項8に記載の調理ロボット。 - 前記画像は、前記料理を撮影した静止画像、または、前記料理の調理工程を撮影した動画像である
請求項1に記載の調理ロボット。 - 前記レシピデータには、前記テキストデータとして、食材の名称を示すテキストデータ、および、それぞれの調理工程の説明となるテキストデータのうちの少なくともいずれかが含まれる
請求項1に記載の調理ロボット。 - 前記命令コマンドは、前記レシピデータに含まれる料理画像に写る前記料理の状態をゴール状態とした前記調理全体シーケンスを設定する
請求項1に記載の調理ロボット。 - 前記命令コマンドは、調理に用いることが可能な食材の状態が、前記ゴール状態として設定された食材の状態を満たしていない場合、調理に用いることが可能な食材の状態に応じて補正された前記ゴール状態に応じて生成される
請求項12に記載の調理ロボット。 - 前記命令コマンドは、前記料理を提供するユーザの嗜好に応じて設定された前記調理全体シーケンスに応じて生成される
請求項12に記載の調理ロボット。 - 前記命令コマンドは、前記個別シーケンスに応じた前記調理動作が実行される毎に、前記調理動作の状態に応じて補正された前記ゴール状態に応じて生成される
請求項12に記載の調理ロボット。 - 前記命令コマンドは、食材と前記調理工程のうちの少なくともいずれかが補正された前記ゴール状態に応じて生成される
請求項15に記載の調理ロボット。 - 前記命令コマンドは、複数の前記レシピデータを組み合わせた組み合わせレシピデータに基づいて生成される
請求項1に記載の調理ロボット。 - 料理を作るための調理動作を行う調理アームを有する調理ロボットが、
前記料理の調理工程全体の状態シーケンスである調理全体シーケンスを、それぞれの調理工程に関するテキストデータと画像とを含むレシピデータに基づいて設定し、前記調理全体シーケンスを構成する状態間の状態シーケンスである個別シーケンスを予め用意されたデータベースの情報に基づいて設定するデータ処理装置によって生成された、それぞれの前記個別シーケンスに応じた前記調理動作を実行させるための命令コマンドに従って、前記調理アームが行う前記調理動作を制御する
制御方法。 - 料理の調理工程全体の状態シーケンスである調理全体シーケンスを、それぞれの調理工程に関するテキストデータと画像とを含むレシピデータに基づいて設定し、前記調理全体シーケンスを構成する状態間の状態シーケンスである個別シーケンスを予め用意されたデータベースの情報に基づいて設定するデータ処理装置によって生成された、それぞれの前記個別シーケンスに応じた調理動作を実行させるための命令コマンドに従って、調理アームが行う前記料理を作るための調理動作を制御する制御部を備える
調理ロボット制御装置。 - 調理ロボット制御装置が、
料理の調理工程全体の状態シーケンスである調理全体シーケンスを、それぞれの調理工程に関するテキストデータと画像とを含むレシピデータに基づいて設定し、前記調理全体シーケンスを構成する状態間の状態シーケンスである個別シーケンスを予め用意されたデータベースの情報に基づいて設定するデータ処理装置によって生成された、それぞれの前記個別シーケンスに応じた調理動作を実行させるための命令コマンドに従って、調理アームが行う前記料理を作るための調理動作を制御する
制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018208193A JP7259270B2 (ja) | 2018-11-05 | 2018-11-05 | 調理ロボット、調理ロボット制御装置、制御方法 |
PCT/JP2019/041607 WO2020095688A1 (en) | 2018-11-05 | 2019-10-24 | Robot, robot control device, and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018208193A JP7259270B2 (ja) | 2018-11-05 | 2018-11-05 | 調理ロボット、調理ロボット制御装置、制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020075302A JP2020075302A (ja) | 2020-05-21 |
JP7259270B2 true JP7259270B2 (ja) | 2023-04-18 |
Family
ID=68503191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018208193A Active JP7259270B2 (ja) | 2018-11-05 | 2018-11-05 | 調理ロボット、調理ロボット制御装置、制御方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7259270B2 (ja) |
WO (1) | WO2020095688A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022102287A1 (ja) | 2020-11-11 | 2022-05-19 | ||
JP2024032459A (ja) * | 2022-08-29 | 2024-03-12 | 住友重機械工業株式会社 | 動力伝達装置及び調理ロボット |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058771A (ja) | 2001-08-09 | 2003-02-28 | Matsushita Electric Ind Co Ltd | 投稿レシピ記憶方法及び投稿レシピ提供方法 |
JP2005504259A (ja) | 2001-09-29 | 2005-02-10 | 暁林 張 | 料理法の全情報記録システム及びロボットによる自動料理システム |
JP2008123131A (ja) | 2006-11-09 | 2008-05-29 | Toshiba Corp | 調理レシピ抽出装置および方法、並びに調理レシピ抽出プログラム |
JP2017536247A (ja) | 2014-09-02 | 2017-12-07 | エムビーエル リミテッド | 電子小規模操作ライブラリを用いて計装環境内でドメイン特定アプリケーションを実行するためのロボット操作方法及びシステム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106030427B (zh) | 2014-02-20 | 2020-09-08 | M·奥利尼克 | 用于在机器人烹饪厨房中制备食物的方法和系统 |
CN107077529B (zh) * | 2014-11-05 | 2021-03-26 | 皇家飞利浦有限公司 | 用于食谱管理的方法和系统 |
US20210030199A1 (en) * | 2017-03-06 | 2021-02-04 | Miso Robotics, Inc. | Augmented reality-enhanced food preparation system and related methods |
-
2018
- 2018-11-05 JP JP2018208193A patent/JP7259270B2/ja active Active
-
2019
- 2019-10-24 WO PCT/JP2019/041607 patent/WO2020095688A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003058771A (ja) | 2001-08-09 | 2003-02-28 | Matsushita Electric Ind Co Ltd | 投稿レシピ記憶方法及び投稿レシピ提供方法 |
JP2005504259A (ja) | 2001-09-29 | 2005-02-10 | 暁林 張 | 料理法の全情報記録システム及びロボットによる自動料理システム |
JP2008123131A (ja) | 2006-11-09 | 2008-05-29 | Toshiba Corp | 調理レシピ抽出装置および方法、並びに調理レシピ抽出プログラム |
JP2017536247A (ja) | 2014-09-02 | 2017-12-07 | エムビーエル リミテッド | 電子小規模操作ライブラリを用いて計装環境内でドメイン特定アプリケーションを実行するためのロボット操作方法及びシステム |
Also Published As
Publication number | Publication date |
---|---|
WO2020095688A1 (en) | 2020-05-14 |
JP2020075302A (ja) | 2020-05-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7259269B2 (ja) | データ処理装置、データ処理方法 | |
AU2020226988B2 (en) | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries | |
AU2018306475A1 (en) | Systems and methods for operations a robotic system and executing robotic interactions | |
EP3107429B1 (en) | Methods and systems for food preparation in a robotic cooking kitchen | |
US20170348854A1 (en) | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with containers and electronic minimanipulation libraries | |
JP7259270B2 (ja) | 調理ロボット、調理ロボット制御装置、制御方法 | |
US20220331957A1 (en) | Data processing device, data processing method, and cooking robot | |
WO2021024830A1 (ja) | 情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具 | |
US20230092168A1 (en) | Information processing device, information processing terminal, and information processing method | |
US20220338671A1 (en) | Information processing device, information processing method, cooking robot, cooking method, and cooking equipment | |
KR20240072447A (ko) | 지식과 학습이 결합된 계층적 로봇 작업 프레임워크 | |
Yi et al. | Routine based models of anticipation in natural behaviors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230320 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7259270 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |