JP5196445B2 - 料理プロセス指示装置及び料理プロセス指示方法 - Google Patents
料理プロセス指示装置及び料理プロセス指示方法 Download PDFInfo
- Publication number
- JP5196445B2 JP5196445B2 JP2009264954A JP2009264954A JP5196445B2 JP 5196445 B2 JP5196445 B2 JP 5196445B2 JP 2009264954 A JP2009264954 A JP 2009264954A JP 2009264954 A JP2009264954 A JP 2009264954A JP 5196445 B2 JP5196445 B2 JP 5196445B2
- Authority
- JP
- Japan
- Prior art keywords
- cooking
- robot
- heating
- task
- cooking process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010411 cooking Methods 0.000 title claims description 203
- 238000000034 method Methods 0.000 title claims description 76
- 230000008569 process Effects 0.000 title claims description 54
- 238000010438 heat treatment Methods 0.000 claims description 91
- 239000004615 ingredient Substances 0.000 claims description 54
- 238000002156 mixing Methods 0.000 claims description 28
- 230000009471 action Effects 0.000 claims description 7
- 235000011194 food seasoning agent Nutrition 0.000 description 65
- 230000007246 mechanism Effects 0.000 description 37
- 239000000463 material Substances 0.000 description 36
- 239000004278 EU approved seasoning Substances 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 23
- 239000003550 marker Substances 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 235000015277 pork Nutrition 0.000 description 11
- 235000021186 dishes Nutrition 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 244000000626 Daucus carota Species 0.000 description 8
- 235000002767 Daucus carota Nutrition 0.000 description 8
- 235000005733 Raphanus sativus var niger Nutrition 0.000 description 8
- 244000155437 Raphanus sativus var. niger Species 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 235000014347 soups Nutrition 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 244000061456 Solanum tuberosum Species 0.000 description 5
- 235000002595 Solanum tuberosum Nutrition 0.000 description 5
- 235000013305 food Nutrition 0.000 description 5
- 150000003839 salts Chemical class 0.000 description 5
- 244000291564 Allium cepa Species 0.000 description 4
- 235000002732 Allium cepa var. cepa Nutrition 0.000 description 4
- 244000247812 Amorphophallus rivieri Species 0.000 description 4
- 241000208843 Arctium Species 0.000 description 4
- 235000003130 Arctium lappa Nutrition 0.000 description 4
- 235000008078 Arctium minus Nutrition 0.000 description 4
- 229920002752 Konjac Polymers 0.000 description 4
- 244000294411 Mirabilis expansa Species 0.000 description 4
- 235000015429 Mirabilis expansa Nutrition 0.000 description 4
- 240000002853 Nelumbo nucifera Species 0.000 description 4
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 4
- 235000013536 miso Nutrition 0.000 description 4
- 230000032258 transport Effects 0.000 description 4
- 235000013311 vegetables Nutrition 0.000 description 4
- 235000001206 Amorphophallus rivieri Nutrition 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 235000021438 curry Nutrition 0.000 description 3
- 235000010485 konjac Nutrition 0.000 description 3
- 239000000252 konjac Substances 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000003756 stirring Methods 0.000 description 3
- 101100206286 Caenorhabditis elegans tns-1 gene Proteins 0.000 description 2
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 235000013372 meat Nutrition 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 235000011299 Brassica oleracea var botrytis Nutrition 0.000 description 1
- 235000017647 Brassica oleracea var italica Nutrition 0.000 description 1
- 240000003259 Brassica oleracea var. botrytis Species 0.000 description 1
- 240000001080 Grifola frondosa Species 0.000 description 1
- 235000007710 Grifola frondosa Nutrition 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000004851 dishwashing Methods 0.000 description 1
- 239000002075 main ingredient Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000012015 potatoes Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000014102 seafood Nutrition 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
少なくとも材料の投入、材料の混ぜ又は返し、及び、材料の加熱を含む、複数の料理タスクを実行するロボットに対して、料理プロセスを指示するための料理プロセス指示装置であって、
前記各料理タスクに対応するアイコンと、前記アイコンを並べるための時間軸と、を表
示し、ユーザにポインティングデバイスの操作で前記アイコンを前記時間軸上に並べさせる料理プロセス入力部と、
前記料理プロセス入力部において前記時間軸上に並べられた前記アイコンの種類及び位置に基づいて、前記ロボットに該並べられたアイコンに対応する料理タスクを実行させる順番及びタイミングと前記ロボットに該料理タスクを実行させるための動作とを計算し、前記ロボットに対して制御命令を送出する制御部と、
を備えることを特徴とする。
の方法の各ステップを情報処理装置に実行させるためのプログラムや同プログラムを記録した記録媒体として捉えることもできる。上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
少なくとも材料の投入、材料の混ぜ又は返し、及び、材料の加熱を含む、複数の料理タスクを実行するロボットに対して、料理プロセスを指示するための料理プロセス指示方法であって、
前記各料理タスクに対応するアイコンと、前記アイコンを並べるための時間軸と、を表示し、ユーザにポインティングデバイスの操作で前記アイコンを前記時間軸上に並べさせる料理プロセス入力ステップと、
前記料理プロセス入力ステップにおいて前記時間軸上に並べられた前記アイコンの種類及び位置に基づいて、前記ロボットに該並べられたアイコンに対応する料理タスクを実行させる順番及びタイミングと前記ロボットに該料理タスクを実行させるための動作とを計算し、前記ロボットに対して制御命令を送出する制御ステップと、
を実行することを特徴とする。
図1は、本発明の実施形態に係る料理プロセス指示装置を備えた料理システムのハード
ウェア構成を示している。この料理システムは、撮像装置1、料理タスクを実行するロボ
ット21、22及び23、情報処理装置としてのコンピュータ3、加熱装置4、ステージ5、材料
が投入される鍋7を含んで構成される。撮像装置1、ロボット21、22及び23、加熱装置4は
、それぞれ、有線又は無線によりコンピュータ3に接続されている。
方に、ステージ5及び鍋7を画角におさめるように設置されている。本実施例では、ステージ5と撮像装置1の光軸とがほぼ直交するように撮像装置1を固定したが、必ずしもこの構
成に限らず、ステージ5を俯瞰するように撮像装置1を設定しても良いし、また撮像装置1
の画角や光軸の向きを可変にしても良い。
ット21は、2つの車輪及び駆動モータからなる移動機構211と、ハンド213と、を備える自
走式のロボットである。ハンド213には、サーボモータによってピッチ方向に1自由度拡張され、皿の縁を引っかけて持ち上げることが可能な持ち上げ機構が取り付けられている。この持ち上げ機構により、ステージ5上に置かれた皿を鍋7の開口部近傍まで運び、そこで開口部とは反対側にある縁を持ち上げることにより皿に載せられた材料を鍋7に投下する
。
ち上げ機構を制御するマイクロコントローラ(不図示)を備える。移動機構211の「前進
」「後進」「右回転」「左回転」、持ち上げ機構の「上げ」「下げ」などの動作は、マイクロコントローラ内に予めプログラムされており、コンピュータ3から各動作に対応する
制御命令を送出することでロボット21の動作を制御することができる。
ている。本システムは、このビジュアルマーカ212を用いてロボット21の追跡(具体的に
は、位置及び向きの認識)を行なう。図1には、ロボット21が皿83を鍋7の開口部近傍まで運び、皿83に載せられた材料を鍋7に投下しようとしている様子を例示している。
る。ロボット22は、ロボット21と同様の移動機構221と、ハンド223と、を備える自走式のロボットである。ハンド223には、サーボモータによってロール方向及びヨー方向に1自由度ずつ拡張され、ヨー軸で調味料を収容する容器をつかみ、ロール軸で調味料を回転させることが可能な回転機構が取り付けられている。この回転機構により、ステージ5上に置
かれた調味料の容器を鍋7の開口部近傍まで運び、そこで調味料容器を回転させることに
より調味料を鍋7に投下する。
転機構を制御するマイクロコントローラ(不図示)を備える。ロボット21と同様の移動機構221の動作、回転機構の「つかみ」「はなし」「回転」などの動作は、マイクロコント
ローラ内に予めプログラムされており、コンピュータ3から各動作に対応する制御命令を
送出することでロボット22の動作を制御することができる。
、ロボット21と同様の移動機構231と、ハンド233と、を備える自走式のロボットである。ハンド233には、サーボモータによってピッチ方向に1自由度拡張され、おたまやフライ返しなどの調理具を取り付けることで鍋7の中の食材をかき混ぜたり返したりすることが可
能な調理機構が取り付けられている。
理機構を制御するマイクロコントローラ(不図示)を備える。ロボット21と同様の移動機構231の動作、調理機構の「混ぜ」「返し」などの動作は、マイクロコントローラ内に予
めプログラムされており、コンピュータ3から各動作に対応する制御命令を送出すること
でロボット23の動作を制御することができる。
混ぜようとしている様子を例示している。
て制御可能な加熱装置であればIHクッキングヒータに限らない。
理タスクを実行するロボットに相当する。
令に基づいて料理タスクを実行することが可能なものであれば上記のロボット21〜23や加熱装置4のような形態に限定されない。例えば、加熱タスクを実行するロボットも、ロボ
ット21〜23と同様に自走式で加熱タスクの実行時に鍋7の下部に入り込むようなものであ
っても良いし、各料理タスクを実行するロボットが独立していたり自走式であったりする必要はなく、例えば上述した持ち上げ機構や回転機構、調理機構がそれぞれ設けられた複数のハンドを備えた多自由度のアームを備えた固定式のロボットでも良い。本実施例では、コンピュータ3からの制御命令に従ってユーザ不在下で自動的に所定の料理タスクを実
行する自動機械を「ロボット」の範疇に含めるものとする。
を用いて各自走式ロボットの位置及び向きを認識するようにしたが、自走式ロボットを用いる構成において各ロボットの位置や向きを認識する方法はこれに限定されない。例えば、ステージ5にステージ5上を移動する各ロボットの位置及び向きを検出するセンサを内蔵させ、このセンサによる検出データを用いて各ロボットの位置及び向きを検出するようにしても良い。このような構成とした場合には、ロボットにビジュアルマーカを取り付ける必要は無いし、ビジュアルマーカを撮影するための撮像装置1も不要である。
す、という動作により、材料を鍋7に投入することができるようになっている。もちろん
、ステージ5と加熱装置4とがほぼ同じ高さであり、各ロボットに皿や調味料を収容した容器を鍋7の開口部の高さまで持ち上げる機構を備えるようにしても良い。
の種類や調味料の種類を識別するためのコードが記されたタグを取り付ける。図1に示す
例では、材料を載せる皿81、82及び83にはそれぞれタグ91、92及び93が取り付けられ、調味料61及び62を収容する容器にはタグ94及び95がそれぞれ取り付けられている。本システムは、撮像装置1でタグを撮影し、タグの画像を用いて材料や調味料を認識する。
ば、タグを用いる必要はない。また、皿に材料を検出し材料の種類を認識可能な何らかのセンサを取り付け、このセンサによる検出データを用いて材料を認識することが可能であれば、撮像装置1によって撮影を行なう必要もない。
システムは、その機能として、撮像装置1、コンピュータ3、ロボット21〜23及び加熱装置4から構成される。コンピュータ3は、その機能として、画像取り込み部30、タグ認識部31、タイムラインエディタ32(本発明の料理プロセス入力部に相当する)、ロボット制御部33及びヒータ制御部34(本発明の制御部に相当する)を備えている。これらの機能は、コンピュータ3のCPUが記憶装置に格納されたプログラムをロードし実行することで実現される。なお、コンピュータ3としては、CPU、メモリ、補助記憶装置、キーボードやマウスなどのポインティングデバイスを含む入力装置、表示装置などを備える汎用のパーソナル・コンピュータを用いることができる。但し、専用のコンピュータや、ロボットに実装するオンボードマイコンなどを用いることも好ましい。またプログラムの一部又は全部を専用ICで構成することも可能である。
システム専用に用意されたレシピ本から、システムに料理させるレシピを選択する。図3
に、一例として豚汁のレシピを示す。図3に示すように、豚汁のレシピには、豚汁のイメ
ージ写真やイラスト11、材料及び調味料の鍋7への投入及び調理具による鍋7の中の混ぜの推奨順番及びタイミングを示す調理タイムライン12、加熱装置4による加熱の推奨タイミ
ング及び強度を示す加熱タイムライン13、豚汁のレシピに含まれる材料や調味料の写真やイラスト(だいこん・にんじん・ごぼう・じゃがいも141、こんにゃく142、みそ143、豚
肉144、塩145)と、各材料や調味料に対応するタグ91〜95が含まれる。タグはレシピ本から取り出すことができ、ユーザは、レシピ本10から取り出したタグを、タグに対応する材料を載せた皿や調味料の容器に取り付ける。そして、タグを取り付けた皿や調味料の容器をステージ5上に任意に配置する。このような準備を行なった状態でシステムを起動し、
レシピを指定して料理開始を指示すると、システムが調理タイムライン12及び加熱タイムラインに従って自動的に料理を実行する。
図4は、本実施例の料理システムの処理フローを示すフローチャートである。システム
が起動すると、図5に示すようなタイムラインエディタが表示される(ステップS10)。このタイムラインエディタは、ユーザに料理プロセスを入力させるためのインターフェースであり、概略、メイン画面100、スタートボタン101、ストップボタン102、鍋確認画面103、調理タイムラインエディタ120、加熱タイムラインエディタ130、タイムバー104から構
成される。タイムラインエディタへの入力は、基本的にコンピュータ3に備わるポインテ
ィングデバイス(例えば、マウス、トラックパッド、タッチパネル)を操作することにより行なうことができる。
るように、この俯瞰画像において、材料が載せられた皿の位置にはシステムが認識した材料に対応するアイコンが表示され、調味料容器の位置にはシステムが認識した調味料に対応するアイコンが表示される。スタートボタン101をクリックするとシステムは料理を開
始し、ストップボタン102をクリックするとシステムは料理を停止する。鍋確認画面103には、鍋7の中身の拡大画像が表示され、ユーザは鍋7の中の様子をタイムラインエディタ上で確認できる。
料を鍋7へ投入するタスクを実行させる順番及びタイミングと、ロボット23に調理具によ
り鍋7の中を混ぜたり返したりする調理タスクを実行させる順番及びタイミングと、を表
示及び編集することができる画面である。調理タイムラインエディタ120には、材料投入
タスクや調味料投入タスクにより投入される材料や調味料に対応するアイコンと、調理タスクに対応するアイコンが表示され、ユーザはポインティングデバイスの操作によりこれらのアイコンを調理タイムラインエディタ120の任意の位置に移動させたり、削除したり
、追加したりすることができる。
番及びタイミングと加熱強度を表示及び編集することができる画面である。グラフ105が
存在する箇所は、グラフの高さに応じた強度で鍋7を加熱するタスクが加熱装置4により実行されることを表し、グラフ105が存在しない箇所は鍋7の加熱が行なわれないことを表す。
タートボタン101をクリックしてシステムが料理を開始すると、タイムバー104が左端から右に移動し始め、右端に到達した時点でこのレシピの料理が完成する。
には、図5に示すように、だいこん・にんじん・ごぼう・じゃがいもアイコン1410、こん
にゃくアイコン1420、みそアイコン1430、豚肉アイコン1440、塩アイコン1450、おたまアイコン2340が、レシピの推奨する順番及びタイミングで並べられて表示される。また、加熱タイムラインエディタ130には、図5に示すように、レシピの推奨する強度及びタイミングで加熱を行なうグラフ105が表示される。
画像を取り込んでメイン画面100に表示する。取り込まれた画像はメモリに格納され、タ
グ認識部31へ渡される(ステップS40)。タグ認識部31は、画像から読み取ったタグに基
づいて、材料及び調味料の種類と、材料を載せた皿及び調味料容器の位置を認識する(ステップS50)。タイムラインエディタ32は、タグ認識部31から材料及び調味料の種類と皿
及び調味料容器の位置を取得し、メイン画面100に表示されたステージ5の画像の皿及び調味料容器の位置に、皿に載せられた材料及び調味料に対応するアイコンを表示する(ステップS60)。メイン画面100に表示するアイコンは、調理タイムラインエディタ120に表示
するアイコンと同一のアイコンを用いる。タグ認識部31が認識した材料及び調味料が、レシピの指定する必要な材料及び調味料に対して不足する場合、システムは警告を表示してもよい。
順番、タイミング、調味料の量を編集したり、加熱タイムラインエディタ130において加
熱強度や加熱時間を編集したりする(ステップS70)。調味料の量の変更は、例えば、調
理タイムラインエディタ120に表示された塩アイコン1450をクリックした状態でマウスホ
イールを回したり、キーボードの+や−を押したりすることで行えるようにしても良い。この時、調味料の量に応じてアイコンの大きさを変えたり、アイコンに「+」や「−」の小さいアイコンをオーバーレイ表示したりして、レシピの推奨の調味料の量に対して変更したことを表示しても良い。
ユーザがシステムに入力すべき指示は完了する。ユーザがスタートボタン101をクリック
すると、タイムラインエディタ32から、ロボット制御部33及びヒータ制御部34に、調理タイムラインエディタ120のアイコン配置及び加熱タイムラインエディタ130のグラフ形状が渡される。ロボット制御部33は、調理タイムラインエディタ120におけるアイコン配置に
基づいて、ロボット21及び22を各材料が載せられた皿や調味料の位置に移動させるためのルートや、ロボット23を鍋7の開口部近傍に移動させるためのルートを計算する。また、
ロボット21、22及び23に、皿や調味料容器をつかみ、皿や調味料容器を鍋7の開口部近傍
まで運搬し、鍋7に材料や調味料を投入し、鍋7の中を混ぜる動作を、適切なタイミングで実行させるための移動機構、持ち上げ機構、回転機構の動作及びタイミングを計算する。また、ヒータ制御部34は、加熱タイムラインエディタ130におけるグラフに基づいて、加
熱装置4に適切なタイミング及び強度で鍋7の加熱を行なわせるための電力制御指令値を計算する(ステップS80)。そして、計算結果に基づいて、ロボット21〜23及び加熱装置4へ制御命令を送出する(ステップS90)。これにより、調理タイムラインエディタ120及び加熱タイムラインエディタ130に表示された通りの順番及びタイミングで、材料及び調味料
の投入と加熱が行なわれ、豚汁が自動的に完成する。
ことができる。また、ユーザは、調理タイムラインエディタ120において材料や調味料に
対応するアイコンの時間軸上の位置を変更したり、加熱タイムラインエディタ130におい
てグラフの形状を変更したり、といった直感的で簡単な操作を行なうだけで、所与のレシピに対して自分なりのアレンジを加えることもできる。タイムラインエディタで行なったこれらの変更をロボット21〜23や加熱装置4に行なわせるべき実際の動作(移動機構、持
ち上げ機構、回転機構などの動作)へ反映させる工程はコンピュータ3において自動的に
行なわれるため、ユーザは、ロボット21〜23や加熱装置4の動作を変更するために各ロボ
ットに搭載されるマイクロコントローラのコマンド体系などを学習する必要は一切無い。
実施例1の料理システムでは、レシピ本やインターネットなどから取得できる既存のレ
シピに対して直感的で簡単な操作でアレンジを加えることができ、料理システムにアレンジ後のレシピで料理を行なわせることが簡単に行えることを説明して示唆したように、本発明によれば、ユーザがオリジナルのレシピを作成し、当該オリジナルのレシピに従った料理を簡単に行なわせることが可能な料理システムを構成することもできる。
菜、穀物、調味料などの主な食材と各食材に対応するタグとがリストされた食材本を用いる。図6に食材本の一例を示す。図6には、野菜のページの例を示す。このページには、食材の写真やイラスト(だいこん151、にんじん152、たまねぎ153、れんこん154)と、食材に対応するコードが記されたタグ(だいこんタグ161、にんじんタグ162、たまねぎタグ163、れんこんタグ164)と、がリストされている。実施例1のレシピ本と同様に、食材デー
タやタグ画像データは、料理システムのアプリケーションやインターネットなどから取得できるようにしても良い。また、食材本に存在しない食材にもタグを割り当てることがで
きるように、食材本には食材に未割り当てのタグが複数用意されている。ユーザは、未割り当てのタグの一つを撮像装置1で撮影してシステムに認識させ、そのタグに割り当てる
食材名や写真、イラストなどのデータをタグに関連付けてシステムに記憶させる。
入タスクを実行するロボットが複数台ある場合は、同時に鍋7に投入すべき食材を複数の
皿に分けて載せることも可能である。調味料についても同様である。
付ける。タグは食材の種類をシステムに認識させるための手段の一例であって、センサを用いる方法など、認識方法には種々の変形が可能であることは実施例1で説明した通りで
ある。
理具を取り付けることが可能なロボットを複数台用意してステージ5上に配置しても良い
し、ステージ5上に置かれた調理具をつかんだりはなしたりすることが可能な機構を有し
、必要に応じて調理具を持ち替えることが可能なロボットを用いても良い。複数の調理具を用いる場合、各調理具を識別するために、調理具にもタグを取り付けるようにしても良い。もちろん、撮像装置1で撮影した調理具の画像から直接調理具を認識できるようにし
ても良いし、調理具にセンサを取り付けてセンサ出力に基づいて調理具を認識できるようにしても良い。
エディタ120及び加熱タイムラインエディタ130においてオリジナルレシピを入力して料理開始を指示すれば、システムが当該オリジナルレシピの料理を自動的に作成する。
図7は、本実施例の料理システムの処理フローを示すフローチャートである。システム
が起動すると、図5に示すタイムラインエディタが表示される(ステップS11)。
画像を取り込んでタイムラインエディタのメイン画面100に表示する。取り込まれた画像
はメモリに格納され、タグ認識部31へ渡される(ステップS21)。タグ認識部31は、画像
から読み取ったタグに基づいて、ステージ5上に置かれた食材、調味料及び調理具の種類
とそれらの位置を認識する(ステップS31)。タイムラインエディタ32は、タグ認識部31
から食材、調味料及び調理具の種類とそれらの位置を取得し、メイン画面100に表示され
たステージ5の画像の皿、調味料容器及び調理具の位置に、食材、調味料及び調理具に対
応するアイコンを表示する(ステップS41)。
ムラインエディタ120にドラッグアンドドロップ操作で配置することにより、オリジナル
レシピにおいて食材及び調味料を鍋7に投入する順番及びタイミングと、調理具により鍋7の中に対して行なう調理動作の順番及びタイミングとを、タイムラインエディタ上で表現する(ステップS51)。さらに、加熱タイムラインエディタ130においてグラフを描き、オ
リジナルレシピにおいて鍋7を加熱する強度及びタイミングを、タイムラインエディタ上
で表現する(ステップS61)。
せるためにユーザがシステムに入力すべき指示は完了する。ユーザがスタートボタン101
をクリックすると、タイムラインエディタ32から、ロボット制御部33及びヒータ制御部34に、調理タイムラインエディタ120のアイコン配置及び加熱タイムラインエディタ130のグラフ形状が渡される。ロボット制御部33は、調理タイムラインエディタ120におけるアイ
コン配置に基づいて、ロボット21及び22を各食材が載せられた皿や調味料の位置に移動させるためのルートや、ロボット23を鍋7の開口部近傍に移動させるためのルートを計算す
る。また、ロボット21、22及び23に、皿や調味料容器をつかみ、皿や調味料容器を鍋7の
開口部近傍まで運搬し、鍋7に材料や調味料を投入し、鍋7の中を混ぜる動作を、適切なタイミングで実行させるための移動機構、持ち上げ機構、回転機構の動作及びタイミングを計算する。また、ヒータ制御部34は、加熱タイムラインエディタ130におけるグラフに基
づいて、加熱装置4に適切なタイミング及び強度で鍋7の加熱を行なわせるための電力制御指令値を計算する(ステップS71)。そして、計算結果に基づいて、ロボット21〜23及び
加熱装置4へ制御命令を送出する(ステップS81)。これにより、調理タイムラインエディタ120及び加熱タイムラインエディタ130に表示された通りの順番及びタイミングで、食材及び調味料の投入と加熱が行なわれ、オリジナルレシピの料理が自動的に完成する。
ンや調理具アイコンを調理タイムラインエディタ120にドラッグアンドドロップで配置す
るという簡単かつ直感的な操作により、オリジナルレシピの料理を作るために必要な料理タスクを適切なタイミングでロボット21〜23や加熱装置4に実行させることができる。す
なわち、本実施例の料理システムによれば、ユーザは、各ロボットが実行可能な動作やコマンド体系を学習しなくても、料理タスクの実行順番及び実行タイミングからなる複雑な料理プロセスを簡単な方法で各ロボットに対して指示することが可能になる。
、鍋の他にフライパンなどを用いても良いし、複数の調理容器を用いても良い。また、ホットプレートのように加熱装置を内蔵した調理容器を用いても良い。複数の調理容器を用いる場合は、調理容器毎に独立して加熱を制御できるように複数の加熱装置を用いても良い。そうすれば、豚汁のみならずより複雑な調理工程を要する料理の自動作成や、複数品の料理を同時進行で作らせることも可能になる。特に、人が料理を行なう場合、複数品の料理を同時進行で行い、ほぼ同時のタイミングで食卓に出せるようにすることは、熟練を要する高度な技術である。上記実施例の料理システムを複数品の料理の同時進行を可能にするよう拡張する場合は、単に、タイムラインエディタの調理タイムラインエディタ120
及び加熱タイムラインエディタ130の本数を料理の品数だけ増やすだけでよい。ユーザは
、メイン画面に表示される食材アイコンや調理具アイコンを、各料理に対応する調理及び加熱タイムラインエディタにドラッグアンドドロップで配置するという上記実施例で説明した作業を、料理の品数分繰り返すだけで良い。その際、各料理の完成タイミングがほぼ同時になるように、各調理及び加熱タイムラインエディタにおけるアイコン配置や加熱グラフの形状を調整するという簡単かつ直感的な操作を行なうだけで、複数品の料理をほぼ同時のタイミングで完成させるという高度で複雑な料理タスクを各ロボットに実行させることが可能になる。
21:材料投入ロボット
211:移動機構
212:ビジュアルマーカ
213:ハンド
22:調味料投入ロボット
221:移動機構
222:ビジュアルマーカ
223:ハンド
23:調理動作ロボット
231:移動機構
232:ビジュアルマーカ
233:ハンド
234:調理具
3:コンピュータ
30:画像取込部
31:タグ認識部
32:タイムラインエディタ
33:ロボット制御部
34:ヒータ制御部
4:IHヒータ
5:ステージ
61:調味料
62:調味料
7:鍋
81:皿
82:皿
83:皿
91:タグ
92:タグ
93:タグ
94:タグ
95:タグ
10:レシピ本
11:料理イラスト
12:調理タイムライン
13:加熱タイムライン
141:だいこん・にんじん・ごぼう・じゃがいもイラスト
142:こんにゃくイラスト
143:みそイラスト
144:豚肉イラスト
145:塩イラスト
100:メイン画面
101:スタートボタン
102:ストップボタン
103:鍋確認画面
104:タイムバー
120:調理タイムラインエディタ
130:加熱タイムラインエディタ
1410:だいこん・にんじん・ごぼう・じゃがいもアイコン
1420:こんにゃくアイコン
1430:みそアイコン
1440:豚肉アイコン
1450:塩アイコン
2340:調理具アイコン
151:だいこんイラスト
152:にんじんイラスト
153:たまねぎイラスト
154:れんこんイラスト
161:だいこんタグ
162:にんじんタグ
163:たまねぎタグ
164:れんこんタグ
Claims (6)
- 少なくとも材料の投入、材料の混ぜ又は返し、及び、材料の加熱を含む、複数の料理タスクを実行するロボットに対して、料理プロセスを指示するための料理プロセス指示装置であって、
前記各料理タスクに対応するアイコンと、前記アイコンを並べるための時間軸と、加熱タスクによる火力に対応する軸と、を表示し、ユーザにポインティングデバイスの操作で前記アイコンを前記時間軸上に並べさせるとともに、火力に対応する軸において加熱タスクの実行タイミング及び加熱強度を入力させる料理プロセス入力部と、
前記料理プロセス入力部において前記時間軸上に並べられた前記アイコンの種類及び位置と、火力に対応する軸上に入力された加熱タスクの実行タイミング及び加熱強度と、に基づいて、前記ロボットに該並べられたアイコンに対応する料理タスクを実行させる順番及びタイミングと前記ロボットに該料理タスクを実行させるための動作と前記ロボットに前記入力された加熱タスクを実行させるタイミングと前記ロボットに前記加熱タスクを実行させるための動作とを計算し、前記ロボットに対して制御命令を送出する制御部と、
を備えることを特徴とする料理プロセス指示装置。 - 少なくとも材料の投入、材料の混ぜ又は返し、及び、材料の加熱を含む、複数の料理タスクを実行するロボットに対して、料理プロセスを指示するための料理プロセス指示方法であって、
前記各料理タスクに対応するアイコンと、前記アイコンを並べるための時間軸と、加熱タスクによる火力に対応する軸と、を表示し、ユーザにポインティングデバイスの操作で前記アイコンを前記時間軸上に並べさせるとともに、火力に対応する軸において加熱タスクの実行タイミング及び加熱強度を入力させる料理プロセス入力ステップと、
前記料理プロセス入力ステップにおいて前記時間軸上に並べられた前記アイコンの種類及び位置と、火力に対応する軸上に入力された加熱タスクの実行タイミング及び加熱強度と、に基づいて、前記ロボットに該並べられたアイコンに対応する料理タスクを実行させる順番及びタイミングと前記ロボットに該料理タスクを実行させるための動作と前記ロボットに前記入力された加熱タスクを実行させるタイミングと前記ロボットに前記加熱タスクを実行させるための動作とを計算し、前記ロボットに対して制御命令を送出する制御ステップと、
を実行することを特徴とする料理プロセス指示方法。 - 前記料理プロセス入力部は、前記時間軸及び火力に対応する軸を料理の品数に応じて複数表示し、ユーザに複数の品数の料理の料理プロセスを同時進行させる指示を入力させる請求項1に記載の料理プロセス指示装置。
- 前記料理プロセス入力部は、材料の混ぜタスクによる混ぜ強度に対応する軸を更に表示し、ユーザに、混ぜ強度に対応する軸において混ぜタスクの実行タイミング及び混ぜ強度を入力させる請求項1又は3に記載の料理プロセス指示装置。
- 前記料理プロセス入力ステップでは、前記時間軸及び火力に対応する軸を料理の品数に応じて複数表示し、ユーザに複数の品数の料理の料理プロセスを同時進行させる指示を入力させる請求項2に記載の料理プロセス指示方法。
- 前記料理プロセス入力ステップでは、材料の混ぜタスクによる混ぜ強度に対応する軸を更に表示し、ユーザに、混ぜ強度に対応する軸において混ぜタスクの実行タイミング及び混ぜ強度を入力させる請求項2又は5に記載の料理プロセス指示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009264954A JP5196445B2 (ja) | 2009-11-20 | 2009-11-20 | 料理プロセス指示装置及び料理プロセス指示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009264954A JP5196445B2 (ja) | 2009-11-20 | 2009-11-20 | 料理プロセス指示装置及び料理プロセス指示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011108156A JP2011108156A (ja) | 2011-06-02 |
JP5196445B2 true JP5196445B2 (ja) | 2013-05-15 |
Family
ID=44231518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009264954A Expired - Fee Related JP5196445B2 (ja) | 2009-11-20 | 2009-11-20 | 料理プロセス指示装置及び料理プロセス指示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5196445B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104932903A (zh) * | 2015-07-13 | 2015-09-23 | 珠海优特电力科技股份有限公司 | 多菜谱组合烹饪控制方法及系统 |
CN107844142A (zh) * | 2016-09-18 | 2018-03-27 | 王强 | 烹饪系统、移动终端及电子菜谱生成、辅助烹饪方法 |
CN109986582A (zh) * | 2019-05-07 | 2019-07-09 | 广东博智林机器人有限公司 | 一种自动烹饪机器人 |
CN111198529A (zh) * | 2020-01-16 | 2020-05-26 | 珠海格力电器股份有限公司 | 一种烹饪设备、烹饪方法、装置、电子设备及存储介质 |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5892360B2 (ja) | 2011-08-02 | 2016-03-23 | ソニー株式会社 | ロボット指示装置、ロボット指示方法、プログラム、及び通信システム |
JP5892361B2 (ja) | 2011-08-02 | 2016-03-23 | ソニー株式会社 | 制御装置、制御方法、プログラム、及びロボット制御システム |
JP5582427B2 (ja) | 2012-12-18 | 2014-09-03 | 株式会社安川電機 | 教示データ作成装置、ロボットシステム、及び教示データ作成方法 |
KR20240027152A (ko) * | 2014-02-20 | 2024-02-29 | 엠비엘 리미티드 | 로봇식 요리용 키친에서의 음식 준비를 위한 방법 및 시스템 |
US10518409B2 (en) * | 2014-09-02 | 2019-12-31 | Mark Oleynik | Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries |
JP5907468B1 (ja) * | 2015-04-07 | 2016-04-26 | 東屋株式会社 | 料理レシピ情報が掲載された印刷物及び料理レシピ情報の提供方法 |
JP6608772B2 (ja) * | 2015-10-02 | 2019-11-20 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 調理レシピ提供方法 |
KR102645817B1 (ko) * | 2016-12-06 | 2024-03-08 | 한화로보틱스 주식회사 | 로봇의 비헤이비어 관리 방법 및 장치 |
JP6708581B2 (ja) * | 2017-04-07 | 2020-06-10 | ライフロボティクス株式会社 | 教示装置、表示装置、教示プログラム及び表示プログラム |
WO2020066850A1 (ja) * | 2018-09-27 | 2020-04-02 | パナソニックIpマネジメント株式会社 | 搬送システム、搬送装置の制御方法及びプログラム |
JP7400726B2 (ja) * | 2018-10-03 | 2023-12-19 | ソニーグループ株式会社 | 情報処理装置、スケジューリング方法及びプログラム |
WO2020075515A1 (ja) * | 2018-10-10 | 2020-04-16 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
US20210391051A1 (en) * | 2018-10-12 | 2021-12-16 | Sony Corporation | Information processing apparatus, information processing method, and program |
JP2022063885A (ja) * | 2019-03-01 | 2022-04-25 | ソニーグループ株式会社 | データ処理装置、データ処理方法 |
WO2020179402A1 (ja) * | 2019-03-01 | 2020-09-10 | ソニー株式会社 | 調理ロボット、調理ロボット制御装置、制御方法 |
JP7409474B2 (ja) * | 2020-02-25 | 2024-01-09 | 日本電気株式会社 | 制御装置、制御方法及びプログラム |
US20230080565A1 (en) * | 2020-02-25 | 2023-03-16 | Nec Corporation | Control device, control method and storage medium |
TW202224875A (zh) | 2020-12-22 | 2022-07-01 | 日商發那科股份有限公司 | 機器人系統及機器人移動控制裝置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1575687A2 (en) * | 2002-12-19 | 2005-09-21 | Koninklijke Philips Electronics N.V. | System and method for controlling a robot |
WO2004106009A1 (ja) * | 2003-06-02 | 2004-12-09 | Matsushita Electric Industrial Co., Ltd. | 物品操作システムおよび方法、並びに物品管理システムおよび方法 |
JP4592276B2 (ja) * | 2003-10-24 | 2010-12-01 | ソニー株式会社 | ロボット装置のためのモーション編集装置及びモーション編集方法、並びにコンピュータ・プログラム |
JP2009070181A (ja) * | 2007-09-13 | 2009-04-02 | Yaskawa Electric Corp | 動作プログラム作成支援システム |
-
2009
- 2009-11-20 JP JP2009264954A patent/JP5196445B2/ja not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104932903A (zh) * | 2015-07-13 | 2015-09-23 | 珠海优特电力科技股份有限公司 | 多菜谱组合烹饪控制方法及系统 |
CN104932903B (zh) * | 2015-07-13 | 2017-12-29 | 珠海优特物联科技有限公司 | 多菜谱组合烹饪控制方法及系统 |
CN107844142A (zh) * | 2016-09-18 | 2018-03-27 | 王强 | 烹饪系统、移动终端及电子菜谱生成、辅助烹饪方法 |
CN109986582A (zh) * | 2019-05-07 | 2019-07-09 | 广东博智林机器人有限公司 | 一种自动烹饪机器人 |
CN111198529A (zh) * | 2020-01-16 | 2020-05-26 | 珠海格力电器股份有限公司 | 一种烹饪设备、烹饪方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2011108156A (ja) | 2011-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5196445B2 (ja) | 料理プロセス指示装置及び料理プロセス指示方法 | |
Sugiura et al. | Cooking with robots: designing a household system working in open environments | |
JP7316294B2 (ja) | ロボット動作シーケンスの生成方法及び装置、並びに、コンピュータ機器及び記憶媒体 | |
JP4361132B2 (ja) | ロボットアームの制御装置及び制御方法、ロボット、及び制御プログラム | |
JP5071873B2 (ja) | タスク指示システム | |
WO2020056374A1 (en) | Determining how to assemble a meal | |
JP5142243B2 (ja) | ロボット作業教示システムおよびロボットに対する作業教示方法 | |
US20210268655A1 (en) | Mapping interface for mobile robots | |
JPWO2015059920A1 (ja) | 操作装置及び操作方法 | |
CN109076161A (zh) | 一种图像处理方法、移动平台、控制设备及系统 | |
CN105979832A (zh) | 具有非接触式操作的厨房电器 | |
Neumann et al. | “kognichef”: A cognitive cooking assistant | |
WO2017190464A1 (zh) | 烹饪电器及其控制参数设置方法 | |
Sakamoto et al. | Graphical instruction for home robots | |
Reichel et al. | Mampf: An intelligent cooking agent for zoneless stoves | |
US11926036B2 (en) | Information processing device and scheduling method | |
CN111723760B (zh) | 一种适用于智慧厨房系统的数字菜谱生成方法及装置 | |
JP5488930B2 (ja) | 家事計画作成支援装置および家事計画作成支援方法 | |
CN108874282A (zh) | 跨页选择文字的方法、电子设备和计算机存储介质 | |
KR101232623B1 (ko) | 사용자 메뉴의 편집기능을 구현하는 방법 | |
US20210137309A1 (en) | Automatic cooking apparatus | |
US11666177B2 (en) | Rotisserie oven, method carried out by a control system of a rotisserie oven, and computer program | |
WO2021065609A1 (ja) | データ処理装置、データ処理方法、調理ロボット | |
CN109822565A (zh) | 机器人控制方法、系统及存储介质 | |
DK201670155A1 (en) | A robot and a method of controlling a robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130130 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160215 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |