JP5196445B2

JP5196445B2 - 料理プロセス指示装置及び料理プロセス指示方法

Info

Publication number: JP5196445B2
Application number: JP2009264954A
Authority: JP
Inventors: 裕太杉浦; 大介坂本; 健夫五十嵐; 昌彦稲見
Original assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Current assignee: Japan Science and Technology Agency; National Institute of Japan Science and Technology Agency
Priority date: 2009-11-20
Filing date: 2009-11-20
Publication date: 2013-05-15
Anticipated expiration: 2029-11-20
Also published as: JP2011108156A

Description

本発明は、料理タスクを実行するロボットに対して料理プロセスを指示するための技術に関する。

コンピュータ制御による一般家庭向けのロボットが市場に登場し、例えば掃除ロボットなどは多くの家庭で利用されている。また、衣料折り畳みや皿洗いといった様々な家事を行うロボットの研究も進められている。

ロボットには、予め定められた動作をユーザから与えられる指示に従って忠実に実行する自動機械と、学習や判断といったインテリジェント性を有する自律機械と、が考えられる。

前者の自動機械としてのロボットを使用する場合、ユーザは、ロボットが実行可能な動作とその動作を実行させるためにロボットに与えるべき指示とを関連づけて学習し、ユーザの所望のタスクをロボットが遂行するよう、適切な指示をロボットに与える必要がある。ロボットの機能の複雑高度化に伴って、ロボットへの指示体系を学習するためのユーザ側の負担が過剰に増大してしまうと、ユーザはロボットの高度な機能を使いこなせない可能性がある。

例えば、ロボットを用いた料理システムでは、材料の投入調理のタイミング、火力の制御といった複雑な動作をロボットに実行させる必要がある。従って、ロボットを用いたユーザフレンドリーな料理システムを実現するためには、ユーザが簡単かつ直感的な指示を与えるだけでロボットに複雑な動作を実行させることが可能な指示インターフェースを備えることが重要な課題となる。

なお、ロボットを用いた料理システムの公知例としては、非特許文献１がある。

Y.Nakauchi, T.Fukuda, K.Noguchi, T.Matsubara: Time Sequence Data Mining for Cooking Support Robot, Proc. of 2005 IEEE International Symposium on Computational Intelligence in Robotics and Automation (CIRA2005), No. We-B3-4, 2005

本発明は、上記事情に鑑みてなされたものであって、料理タスクを実行するロボットに対して料理プロセスを簡単な方法で指示することが可能な技術を提供することを目的とする。

上記目的を達成するために、本発明に係る料理プロセス指示装置は、
少なくとも材料の投入、材料の混ぜ又は返し、及び、材料の加熱を含む、複数の料理タスクを実行するロボットに対して、料理プロセスを指示するための料理プロセス指示装置であって、
前記各料理タスクに対応するアイコンと、前記アイコンを並べるための時間軸と、を表
示し、ユーザにポインティングデバイスの操作で前記アイコンを前記時間軸上に並べさせる料理プロセス入力部と、
前記料理プロセス入力部において前記時間軸上に並べられた前記アイコンの種類及び位置に基づいて、前記ロボットに該並べられたアイコンに対応する料理タスクを実行させる順番及びタイミングと前記ロボットに該料理タスクを実行させるための動作とを計算し、前記ロボットに対して制御命令を送出する制御部と、
を備えることを特徴とする。

本発明の料理プロセス指示装置によれば、ユーザは、料理プロセス入力部が表示する時間軸上に料理タスクに対応するアイコンを並べるという直感的な操作を行なうだけで、所望の料理タスクを所望の順番及びタイミングでロボットに実行させるための制御命令をロボットに与えることができる。従って、本発明の料理プロセス指示装置によれば、ユーザは、簡単かつ直感的な指示をするだけで、料理を完成させるために必要な複雑な料理タスクをロボットに実行させることが可能になる。

このように、本発明の料理プロセス指示装置によれば、ユーザは簡単かつ直感的にロボットに実行させるべき料理タスクを指示することができるので、例えばユーザの嗜好や材料の特性といった料理を作るたびに変動する条件に応じて、ロボットへの指示を柔軟に変化させることも簡単に行なうことが可能になる。

例えば、茹で具合を硬め又は軟らかめかにするためには、ユーザは、料理プロセス入力部に対して、材料の加熱タスクに対応するアイコンの時間軸上での位置を遅くしたり早くしたりするといった直感的な操作を行うだけでよい。そうすれば、制御部が、加熱タスクをロボットに実行させるべき適切なタイミングを計算し、適切なタイミングでロボットへの制御命令の送出を行なう。これにより、ユーザは、簡単かつ直感的な指示を行なうだけで、ロボットに、材料を硬め又は軟らかめに茹でるために必要な動作を実行させることが可能になる。

また、本発明の料理プロセス指示装置によれば、ユーザは、予め用意されたレシピをロボットに実行させるだけなく、ユーザ自身が作成したオリジナルレシピをロボットに実行させることも簡単にできる。例えば、カレーのレシピが予め用意されている場合に、肉及びジャガイモを投入するタスクに対応するアイコンを時間軸上から削除し、代わりにブロッコリー及びマイタケを投入するタスクに対応するアイコンを時間軸上の適切な位置に配置すれば、オリジナルの野菜カレーのレシピを簡単に作成することができ、当該作成した野菜カレーのレシピをロボットに実行させることができる。

また、本発明の料理プロセス指示装置において、料理プロセス入力部は、材料の加熱タスクに対応するアイコンについて、時間軸だけでなく火力に対応する軸が有効になるようにしてもよい。そうすることで、ユーザは、簡単かつ直感的な指示により、所望のタイミング及び火加減で材料を加熱するタスクをロボットに実行させることが可能になる。また、材料の混ぜに対応するアイコンについて、時間軸だけなく混ぜ強度に対応する軸が有効になるようにしてもよい。そうすることで、ユーザは、簡単かつ直感的な指示により、材料の特性や料理のフェーズに応じて強力な混ぜや型くずれしにくい混ぜなど所望の強度の混ぜタスクをロボットに実行させることが可能になる。また、このように火力や混ぜ強度の指示のために軸を追加する代わりに、例えば火力や混ぜの強度の異なる複数の加熱タスクのアイコンの中から所望のアイコンを選択して時間軸上に配置できるようにしても良い。いずれの方法によっても、ユーザは簡単かつ直感的な指示により所望の強度の加熱タスクや混ぜタスクをロボットに実行させることができる。

なお、本発明は、上記処理の少なくとも一部を含む料理プロセス指示方法、または、そ
の方法の各ステップを情報処理装置に実行させるためのプログラムや同プログラムを記録した記録媒体として捉えることもできる。上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

例えば、本発明の一態様としての料理プロセス指示方法は、
少なくとも材料の投入、材料の混ぜ又は返し、及び、材料の加熱を含む、複数の料理タスクを実行するロボットに対して、料理プロセスを指示するための料理プロセス指示方法であって、
前記各料理タスクに対応するアイコンと、前記アイコンを並べるための時間軸と、を表示し、ユーザにポインティングデバイスの操作で前記アイコンを前記時間軸上に並べさせる料理プロセス入力ステップと、
前記料理プロセス入力ステップにおいて前記時間軸上に並べられた前記アイコンの種類及び位置に基づいて、前記ロボットに該並べられたアイコンに対応する料理タスクを実行させる順番及びタイミングと前記ロボットに該料理タスクを実行させるための動作とを計算し、前記ロボットに対して制御命令を送出する制御ステップと、
を実行することを特徴とする。

本発明によれば、料理タスクを実行するロボットに対して料理プロセスを簡単な方法で指示することが可能になる。

実施例の料理システムのハードウェア構成を示す図。実施例の料理システムの機能構成を示す図。実施例の料理システムで用いるレシピ本の一例を示す図。実施例1の料理システムの処理手順を表すフローチャート。実施例の料理システムで表示される料理プロセスを入力するためのタイムラインエディタの一例を示す図。実施例の料理システムで用いる食材本の一例を示す図。実施例2の料理システムの処理手順を表すフローチャート。

以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。

（実施例1）
図1は、本発明の実施形態に係る料理プロセス指示装置を備えた料理システムのハード
ウェア構成を示している。この料理システムは、撮像装置1、料理タスクを実行するロボ
ット21、22及び23、情報処理装置としてのコンピュータ3、加熱装置4、ステージ5、材料
が投入される鍋7を含んで構成される。撮像装置1、ロボット21、22及び23、加熱装置4は
、それぞれ、有線又は無線によりコンピュータ3に接続されている。

撮像装置1は、CCDやCMOSなどの撮像素子を備える小型のカメラであり、ステージ5の上
方に、ステージ5及び鍋7を画角におさめるように設置されている。本実施例では、ステージ5と撮像装置1の光軸とがほぼ直交するように撮像装置1を固定したが、必ずしもこの構
成に限らず、ステージ5を俯瞰するように撮像装置1を設定しても良いし、また撮像装置1
の画角や光軸の向きを可変にしても良い。

ロボット21〜23は、それぞれ異なる料理タスクを実行するロボットである。

ロボット21は、材料を載せた皿を運搬し、鍋7に材料を投入するロボットである。ロボ
ット21は、2つの車輪及び駆動モータからなる移動機構211と、ハンド213と、を備える自
走式のロボットである。ハンド213には、サーボモータによってピッチ方向に1自由度拡張され、皿の縁を引っかけて持ち上げることが可能な持ち上げ機構が取り付けられている。この持ち上げ機構により、ステージ5上に置かれた皿を鍋7の開口部近傍まで運び、そこで開口部とは反対側にある縁を持ち上げることにより皿に載せられた材料を鍋7に投下する
。

ロボット21は、コンピュータ3からの制御命令に基づき移動機構211及びハンド213の持
ち上げ機構を制御するマイクロコントローラ（不図示）を備える。移動機構211の「前進
」「後進」「右回転」「左回転」、持ち上げ機構の「上げ」「下げ」などの動作は、マイクロコントローラ内に予めプログラムされており、コンピュータ3から各動作に対応する
制御命令を送出することでロボット21の動作を制御することができる。

ロボット21の上部には、所定の図形が描画されたビジュアルマーカ212が取り付けられ
ている。本システムは、このビジュアルマーカ212を用いてロボット21の追跡（具体的に
は、位置及び向きの認識）を行なう。図1には、ロボット21が皿83を鍋7の開口部近傍まで運び、皿83に載せられた材料を鍋7に投下しようとしている様子を例示している。

ロボット22は、調味料を収容する容器を運搬し、鍋7に調味料を投下するロボットであ
る。ロボット22は、ロボット21と同様の移動機構221と、ハンド223と、を備える自走式のロボットである。ハンド223には、サーボモータによってロール方向及びヨー方向に1自由度ずつ拡張され、ヨー軸で調味料を収容する容器をつかみ、ロール軸で調味料を回転させることが可能な回転機構が取り付けられている。この回転機構により、ステージ5上に置
かれた調味料の容器を鍋7の開口部近傍まで運び、そこで調味料容器を回転させることに
より調味料を鍋7に投下する。

ロボット22は、コンピュータ3からの制御命令に基づき移動機構221及びハンド223の回
転機構を制御するマイクロコントローラ（不図示）を備える。ロボット21と同様の移動機構221の動作、回転機構の「つかみ」「はなし」「回転」などの動作は、マイクロコント
ローラ内に予めプログラムされており、コンピュータ3から各動作に対応する制御命令を
送出することでロボット22の動作を制御することができる。

ロボット22には、ロボット21と同様のビジュアルマーカ222が取り付けられている。図1には、ロボット22が調味料61の容器を鍋7の開口部近傍まで運び、調味料61を鍋7に投下しようとしている様子を例示している。

ロボット23は、調理具を運搬し、鍋7の中をかき混ぜるロボットである。ロボット23は
、ロボット21と同様の移動機構231と、ハンド233と、を備える自走式のロボットである。ハンド233には、サーボモータによってピッチ方向に1自由度拡張され、おたまやフライ返しなどの調理具を取り付けることで鍋7の中の食材をかき混ぜたり返したりすることが可
能な調理機構が取り付けられている。

ロボット23は、コンピュータ3からの制御命令に基づき移動機構231及びハンド233の調
理機構を制御するマイクロコントローラ（不図示）を備える。ロボット21と同様の移動機構231の動作、調理機構の「混ぜ」「返し」などの動作は、マイクロコントローラ内に予
めプログラムされており、コンピュータ3から各動作に対応する制御命令を送出すること
でロボット23の動作を制御することができる。

ロボット23には、ロボット21と同様のビジュアルマーカ232が取り付けられている。図1には、ロボット23がハンド233に取り付けられたおたま234を用いて鍋7の中の食材をかき
混ぜようとしている様子を例示している。

加熱装置4は、コンピュータ3からの制御命令によって加熱の開始及び終了や加熱強度を制御することが可能なIHクッキングヒータである。コンピュータ3からの制御命令によっ
て制御可能な加熱装置であればIHクッキングヒータに限らない。

本実施例のロボット21及び22は、本発明における材料の投入という料理タスクを実行するロボットに相当する。ロボット23は、本発明における材料の混ぜ又は返しという料理タスクを実行するロボットに相当する。加熱装置4は、本発明における材料の加熱という料
理タスクを実行するロボットに相当する。

なお、各料理タスクを実行するロボットの実施の態様は、コンピュータ3からの制御命
令に基づいて料理タスクを実行することが可能なものであれば上記のロボット21〜23や加熱装置4のような形態に限定されない。例えば、加熱タスクを実行するロボットも、ロボ
ット21〜23と同様に自走式で加熱タスクの実行時に鍋7の下部に入り込むようなものであ
っても良いし、各料理タスクを実行するロボットが独立していたり自走式であったりする必要はなく、例えば上述した持ち上げ機構や回転機構、調理機構がそれぞれ設けられた複数のハンドを備えた多自由度のアームを備えた固定式のロボットでも良い。本実施例では、コンピュータ3からの制御命令に従ってユーザ不在下で自動的に所定の料理タスクを実
行する自動機械を「ロボット」の範疇に含めるものとする。

また、本実施例の料理システムでは、自走式ロボットにビジュアルマーカを取り付け、ビジュアルマーカの画像を撮像装置1によって撮影し、撮影したビジュアルマーカの画像
を用いて各自走式ロボットの位置及び向きを認識するようにしたが、自走式ロボットを用いる構成において各ロボットの位置や向きを認識する方法はこれに限定されない。例えば、ステージ5にステージ5上を移動する各ロボットの位置及び向きを検出するセンサを内蔵させ、このセンサによる検出データを用いて各ロボットの位置及び向きを検出するようにしても良い。このような構成とした場合には、ロボットにビジュアルマーカを取り付ける必要は無いし、ビジュアルマーカを撮影するための撮像装置1も不要である。

ステージ5は、鍋7に投入される材料を載せた皿や調味料を収容する容器が載置され、ロボット21〜23が作業を行なうワークスペースである。ステージ5は、加熱装置4に載置された容器7の開口部の高さとステージ5の表面の高さとがほぼ同じになるように設けられている。これにより、ロボット21は、皿の一端を持ち上げて皿に載せられた材料を鍋7に落と
す、という動作により、材料を鍋7に投入することができるようになっている。もちろん
、ステージ5と加熱装置4とがほぼ同じ高さであり、各ロボットに皿や調味料を収容した容器を鍋7の開口部の高さまで持ち上げる機構を備えるようにしても良い。

図1に示すように、本実施例では、材料を載せる皿及び調味料を収容する容器に、材料
の種類や調味料の種類を識別するためのコードが記されたタグを取り付ける。図1に示す
例では、材料を載せる皿81、82及び83にはそれぞれタグ91、92及び93が取り付けられ、調味料61及び62を収容する容器にはタグ94及び95がそれぞれ取り付けられている。本システムは、撮像装置1でタグを撮影し、タグの画像を用いて材料や調味料を認識する。

なお、システムが材料や調味料の種類を認識する方法は上述した方法に限定されない。例えば、撮像装置1で撮影した食材そのものの画像から材料を認識することが可能であれ
ば、タグを用いる必要はない。また、皿に材料を検出し材料の種類を認識可能な何らかのセンサを取り付け、このセンサによる検出データを用いて材料を認識することが可能であれば、撮像装置1によって撮影を行なう必要もない。

図2は、本実施例の料理システムの機能構成を示すブロック図である。本実施例の料理
システムは、その機能として、撮像装置1、コンピュータ3、ロボット21〜23及び加熱装置4から構成される。コンピュータ3は、その機能として、画像取り込み部30、タグ認識部31、タイムラインエディタ32（本発明の料理プロセス入力部に相当する）、ロボット制御部33及びヒータ制御部34（本発明の制御部に相当する）を備えている。これらの機能は、コンピュータ3のCPUが記憶装置に格納されたプログラムをロードし実行することで実現される。なお、コンピュータ3としては、CPU、メモリ、補助記憶装置、キーボードやマウスなどのポインティングデバイスを含む入力装置、表示装置などを備える汎用のパーソナル・コンピュータを用いることができる。但し、専用のコンピュータや、ロボットに実装するオンボードマイコンなどを用いることも好ましい。またプログラムの一部又は全部を専用ICで構成することも可能である。

本実施例の料理システムに料理を行なわせる場合、ユーザは、まず、図3に示すような
システム専用に用意されたレシピ本から、システムに料理させるレシピを選択する。図3
に、一例として豚汁のレシピを示す。図3に示すように、豚汁のレシピには、豚汁のイメ
ージ写真やイラスト11、材料及び調味料の鍋7への投入及び調理具による鍋7の中の混ぜの推奨順番及びタイミングを示す調理タイムライン12、加熱装置4による加熱の推奨タイミ
ング及び強度を示す加熱タイムライン13、豚汁のレシピに含まれる材料や調味料の写真やイラスト（だいこん・にんじん・ごぼう・じゃがいも141、こんにゃく142、みそ143、豚
肉144、塩145）と、各材料や調味料に対応するタグ91〜95が含まれる。タグはレシピ本から取り出すことができ、ユーザは、レシピ本10から取り出したタグを、タグに対応する材料を載せた皿や調味料の容器に取り付ける。そして、タグを取り付けた皿や調味料の容器をステージ5上に任意に配置する。このような準備を行なった状態でシステムを起動し、
レシピを指定して料理開始を指示すると、システムが調理タイムライン12及び加熱タイムラインに従って自動的に料理を実行する。

以下、本実施例の料理システム起動後の処理を詳細に説明する。

＜処理フロー＞
図4は、本実施例の料理システムの処理フローを示すフローチャートである。システム
が起動すると、図5に示すようなタイムラインエディタが表示される（ステップS10）。このタイムラインエディタは、ユーザに料理プロセスを入力させるためのインターフェースであり、概略、メイン画面100、スタートボタン101、ストップボタン102、鍋確認画面103、調理タイムラインエディタ120、加熱タイムラインエディタ130、タイムバー104から構
成される。タイムラインエディタへの入力は、基本的にコンピュータ3に備わるポインテ
ィングデバイス（例えば、マウス、トラックパッド、タッチパネル）を操作することにより行なうことができる。

メイン画面100には、撮像装置1が撮影したステージ5の俯瞰画像が表示される。後述す
るように、この俯瞰画像において、材料が載せられた皿の位置にはシステムが認識した材料に対応するアイコンが表示され、調味料容器の位置にはシステムが認識した調味料に対応するアイコンが表示される。スタートボタン101をクリックするとシステムは料理を開
始し、ストップボタン102をクリックするとシステムは料理を停止する。鍋確認画面103には、鍋7の中身の拡大画像が表示され、ユーザは鍋7の中の様子をタイムラインエディタ上で確認できる。

調理タイムラインエディタ120は、横軸に時間軸を有し、ロボット21や22に材料や調味
料を鍋7へ投入するタスクを実行させる順番及びタイミングと、ロボット23に調理具によ
り鍋7の中を混ぜたり返したりする調理タスクを実行させる順番及びタイミングと、を表
示及び編集することができる画面である。調理タイムラインエディタ120には、材料投入
タスクや調味料投入タスクにより投入される材料や調味料に対応するアイコンと、調理タスクに対応するアイコンが表示され、ユーザはポインティングデバイスの操作によりこれらのアイコンを調理タイムラインエディタ120の任意の位置に移動させたり、削除したり
、追加したりすることができる。

加熱タイムラインエディタ130は、横軸に調理タイムラインエディタ120と同じスケールの時間軸を有し、縦軸に加熱強度軸を有し、加熱装置4による加熱タスクを実行させる順
番及びタイミングと加熱強度を表示及び編集することができる画面である。グラフ105が
存在する箇所は、グラフの高さに応じた強度で鍋7を加熱するタスクが加熱装置4により実行されることを表し、グラフ105が存在しない箇所は鍋7の加熱が行なわれないことを表す。

タイムバー104は、システムが現在実行中の調理のタイムライン上での位置を表す。ス
タートボタン101をクリックしてシステムが料理を開始すると、タイムバー104が左端から右に移動し始め、右端に到達した時点でこのレシピの料理が完成する。

次に、料理システムに料理させるレシピをコンピュータ3で指定する（ステップS20）。レシピの指定は、料理システムのアプリケーションが提示する選択肢の中から選択したり、インターネット上に開設されるレシピサイトからダウンロードしたりすることにより指定することができる。なお、上述のユーザによる準備段階の説明では、レシピ本にタグが用意されており、ユーザはレシピ本からタグを取り出して皿や調味料の容器に取り付ける例について説明したが、アプリケーションやインターネットから取得したレシピデータの中に含まれるタグ画像を印刷することによりタグを取得することができるようにしても良い。

ユーザがレシピを指定すると、タイムラインエディタに当該レシピに含まれる調理タイムライン12及び加熱タイムライン13のデータが読み込まれ、それぞれタイムラインエディタの調理タイムラインエディタ120及び加熱タイムラインエディタ130に表示される（ステップS30）。図3に例示した豚汁のレシピを指定した場合、調理タイムラインエディタ120
には、図5に示すように、だいこん・にんじん・ごぼう・じゃがいもアイコン1410、こん
にゃくアイコン1420、みそアイコン1430、豚肉アイコン1440、塩アイコン1450、おたまアイコン2340が、レシピの推奨する順番及びタイミングで並べられて表示される。また、加熱タイムラインエディタ130には、図5に示すように、レシピの推奨する強度及びタイミングで加熱を行なうグラフ105が表示される。

撮像装置1のイニシャライズが完了すると、画像取込部30が撮像装置1からステージ5の
画像を取り込んでメイン画面100に表示する。取り込まれた画像はメモリに格納され、タ
グ認識部31へ渡される（ステップS40）。タグ認識部31は、画像から読み取ったタグに基
づいて、材料及び調味料の種類と、材料を載せた皿及び調味料容器の位置を認識する（ステップS50）。タイムラインエディタ32は、タグ認識部31から材料及び調味料の種類と皿
及び調味料容器の位置を取得し、メイン画面100に表示されたステージ5の画像の皿及び調味料容器の位置に、皿に載せられた材料及び調味料に対応するアイコンを表示する（ステップS60）。メイン画面100に表示するアイコンは、調理タイムラインエディタ120に表示
するアイコンと同一のアイコンを用いる。タグ認識部31が認識した材料及び調味料が、レシピの指定する必要な材料及び調味料に対して不足する場合、システムは警告を表示してもよい。

ユーザは、必要に応じて、調理タイムラインエディタ120において材料や調味料の投入
順番、タイミング、調味料の量を編集したり、加熱タイムラインエディタ130において加
熱強度や加熱時間を編集したりする（ステップS70）。調味料の量の変更は、例えば、調
理タイムラインエディタ120に表示された塩アイコン1450をクリックした状態でマウスホ
イールを回したり、キーボードの＋や−を押したりすることで行えるようにしても良い。この時、調味料の量に応じてアイコンの大きさを変えたり、アイコンに「＋」や「−」の小さいアイコンをオーバーレイ表示したりして、レシピの推奨の調味料の量に対して変更したことを表示しても良い。

以上の処理により、レシピの料理をロボット21〜23及び加熱装置4に行なわせるために
ユーザがシステムに入力すべき指示は完了する。ユーザがスタートボタン101をクリック
すると、タイムラインエディタ32から、ロボット制御部33及びヒータ制御部34に、調理タイムラインエディタ120のアイコン配置及び加熱タイムラインエディタ130のグラフ形状が渡される。ロボット制御部33は、調理タイムラインエディタ120におけるアイコン配置に
基づいて、ロボット21及び22を各材料が載せられた皿や調味料の位置に移動させるためのルートや、ロボット23を鍋7の開口部近傍に移動させるためのルートを計算する。また、
ロボット21、22及び23に、皿や調味料容器をつかみ、皿や調味料容器を鍋7の開口部近傍
まで運搬し、鍋7に材料や調味料を投入し、鍋7の中を混ぜる動作を、適切なタイミングで実行させるための移動機構、持ち上げ機構、回転機構の動作及びタイミングを計算する。また、ヒータ制御部34は、加熱タイムラインエディタ130におけるグラフに基づいて、加
熱装置4に適切なタイミング及び強度で鍋7の加熱を行なわせるための電力制御指令値を計算する（ステップS80）。そして、計算結果に基づいて、ロボット21〜23及び加熱装置4へ制御命令を送出する（ステップS90）。これにより、調理タイムラインエディタ120及び加熱タイムラインエディタ130に表示された通りの順番及びタイミングで、材料及び調味料
の投入と加熱が行なわれ、豚汁が自動的に完成する。

本実施例の料理システムによれば、ユーザは、調理方法を知らなくても、レシピに指定された材料及び調味料をステージ上の任意の位置に置き、適切なタグを取り付けるだけで、ロボット21〜23や加熱装置4に複雑な料理タスクを適切に実行させて料理を完成させる
ことができる。また、ユーザは、調理タイムラインエディタ120において材料や調味料に
対応するアイコンの時間軸上の位置を変更したり、加熱タイムラインエディタ130におい
てグラフの形状を変更したり、といった直感的で簡単な操作を行なうだけで、所与のレシピに対して自分なりのアレンジを加えることもできる。タイムラインエディタで行なったこれらの変更をロボット21〜23や加熱装置4に行なわせるべき実際の動作（移動機構、持
ち上げ機構、回転機構などの動作）へ反映させる工程はコンピュータ3において自動的に
行なわれるため、ユーザは、ロボット21〜23や加熱装置4の動作を変更するために各ロボ
ットに搭載されるマイクロコントローラのコマンド体系などを学習する必要は一切無い。

（実施例2）
実施例1の料理システムでは、レシピ本やインターネットなどから取得できる既存のレ
シピに対して直感的で簡単な操作でアレンジを加えることができ、料理システムにアレンジ後のレシピで料理を行なわせることが簡単に行えることを説明して示唆したように、本発明によれば、ユーザがオリジナルのレシピを作成し、当該オリジナルのレシピに従った料理を簡単に行なわせることが可能な料理システムを構成することもできる。

そのような料理システムは、実施例1におけるレシピ本の代わりに、肉類、魚介類、野
菜、穀物、調味料などの主な食材と各食材に対応するタグとがリストされた食材本を用いる。図6に食材本の一例を示す。図6には、野菜のページの例を示す。このページには、食材の写真やイラスト（だいこん151、にんじん152、たまねぎ153、れんこん154）と、食材に対応するコードが記されたタグ（だいこんタグ161、にんじんタグ162、たまねぎタグ163、れんこんタグ164）と、がリストされている。実施例1のレシピ本と同様に、食材デー
タやタグ画像データは、料理システムのアプリケーションやインターネットなどから取得できるようにしても良い。また、食材本に存在しない食材にもタグを割り当てることがで
きるように、食材本には食材に未割り当てのタグが複数用意されている。ユーザは、未割り当てのタグの一つを撮像装置1で撮影してシステムに認識させ、そのタグに割り当てる
食材名や写真、イラストなどのデータをタグに関連付けてシステムに記憶させる。

ユーザは、自身の作成したオリジナルレシピのための食材を準備し、皿に載せてステージ5に配置する。この時、同時に鍋7に投入すべき食材は同じ皿に載せる。但し、これは食材投入タスクを実行するロボット21が1台しか存在しないことによるものであり、食材投
入タスクを実行するロボットが複数台ある場合は、同時に鍋7に投入すべき食材を複数の
皿に分けて載せることも可能である。調味料についても同様である。

ユーザは、各皿及び調味料容器に、皿に載せた全ての食材や調味料に対応するタグを取り付ける。1つの皿に複数のタグを取り付ける場合は、タグ同士が重ならないように取り
付ける。タグは食材の種類をシステムに認識させるための手段の一例であって、センサを用いる方法など、認識方法には種々の変形が可能であることは実施例1で説明した通りで
ある。

また、ユーザは、オリジナルレシピにおいて実行する混ぜや返しといった調理動作に必要な調理具をロボット23のハンド233に取り付ける。複数の調理具が必要な場合には、調
理具を取り付けることが可能なロボットを複数台用意してステージ5上に配置しても良い
し、ステージ5上に置かれた調理具をつかんだりはなしたりすることが可能な機構を有し
、必要に応じて調理具を持ち替えることが可能なロボットを用いても良い。複数の調理具を用いる場合、各調理具を識別するために、調理具にもタグを取り付けるようにしても良い。もちろん、撮像装置1で撮影した調理具の画像から直接調理具を認識できるようにし
ても良いし、調理具にセンサを取り付けてセンサ出力に基づいて調理具を認識できるようにしても良い。

このような準備をステージ5上で行なった状態でシステムを起動し、調理タイムライン
エディタ120及び加熱タイムラインエディタ130においてオリジナルレシピを入力して料理開始を指示すれば、システムが当該オリジナルレシピの料理を自動的に作成する。

＜処理フロー＞
図7は、本実施例の料理システムの処理フローを示すフローチャートである。システム
が起動すると、図5に示すタイムラインエディタが表示される（ステップS11）。

撮像装置1のイニシャライズが完了すると、画像取込部30が撮像装置1からステージ5の
画像を取り込んでタイムラインエディタのメイン画面100に表示する。取り込まれた画像
はメモリに格納され、タグ認識部31へ渡される（ステップS21）。タグ認識部31は、画像
から読み取ったタグに基づいて、ステージ5上に置かれた食材、調味料及び調理具の種類
とそれらの位置を認識する（ステップS31）。タイムラインエディタ32は、タグ認識部31
から食材、調味料及び調理具の種類とそれらの位置を取得し、メイン画面100に表示され
たステージ5の画像の皿、調味料容器及び調理具の位置に、食材、調味料及び調理具に対
応するアイコンを表示する（ステップS41）。

ユーザは、メイン画面100に表示された食材、調味料及び調理具のアイコンを調理タイ
ムラインエディタ120にドラッグアンドドロップ操作で配置することにより、オリジナル
レシピにおいて食材及び調味料を鍋7に投入する順番及びタイミングと、調理具により鍋7の中に対して行なう調理動作の順番及びタイミングとを、タイムラインエディタ上で表現する（ステップS51）。さらに、加熱タイムラインエディタ130においてグラフを描き、オ
リジナルレシピにおいて鍋7を加熱する強度及びタイミングを、タイムラインエディタ上
で表現する（ステップS61）。

以上の処理により、オリジナルレシピの料理をロボット21〜23及び加熱装置4に行なわ
せるためにユーザがシステムに入力すべき指示は完了する。ユーザがスタートボタン101
をクリックすると、タイムラインエディタ32から、ロボット制御部33及びヒータ制御部34に、調理タイムラインエディタ120のアイコン配置及び加熱タイムラインエディタ130のグラフ形状が渡される。ロボット制御部33は、調理タイムラインエディタ120におけるアイ
コン配置に基づいて、ロボット21及び22を各食材が載せられた皿や調味料の位置に移動させるためのルートや、ロボット23を鍋7の開口部近傍に移動させるためのルートを計算す
る。また、ロボット21、22及び23に、皿や調味料容器をつかみ、皿や調味料容器を鍋7の
開口部近傍まで運搬し、鍋7に材料や調味料を投入し、鍋7の中を混ぜる動作を、適切なタイミングで実行させるための移動機構、持ち上げ機構、回転機構の動作及びタイミングを計算する。また、ヒータ制御部34は、加熱タイムラインエディタ130におけるグラフに基
づいて、加熱装置4に適切なタイミング及び強度で鍋7の加熱を行なわせるための電力制御指令値を計算する（ステップS71）。そして、計算結果に基づいて、ロボット21〜23及び
加熱装置4へ制御命令を送出する（ステップS81）。これにより、調理タイムラインエディタ120及び加熱タイムラインエディタ130に表示された通りの順番及びタイミングで、食材及び調味料の投入と加熱が行なわれ、オリジナルレシピの料理が自動的に完成する。

本実施例の料理システムによれば、ユーザは、メイン画面100に表示された食材アイコ
ンや調理具アイコンを調理タイムラインエディタ120にドラッグアンドドロップで配置す
るという簡単かつ直感的な操作により、オリジナルレシピの料理を作るために必要な料理タスクを適切なタイミングでロボット21〜23や加熱装置4に実行させることができる。す
なわち、本実施例の料理システムによれば、ユーザは、各ロボットが実行可能な動作やコマンド体系を学習しなくても、料理タスクの実行順番及び実行タイミングからなる複雑な料理プロセスを簡単な方法で各ロボットに対して指示することが可能になる。

なお、上記各実施例は本発明の一具体例を例示したものにすぎない。本発明の範囲は上記実施例に限定されるものではなく、その技術思想の範囲内で種々の変形が可能である。例えば、上記実施例では調理が行なわれる容器として一の鍋7を用いる場合を例示したが
、鍋の他にフライパンなどを用いても良いし、複数の調理容器を用いても良い。また、ホットプレートのように加熱装置を内蔵した調理容器を用いても良い。複数の調理容器を用いる場合は、調理容器毎に独立して加熱を制御できるように複数の加熱装置を用いても良い。そうすれば、豚汁のみならずより複雑な調理工程を要する料理の自動作成や、複数品の料理を同時進行で作らせることも可能になる。特に、人が料理を行なう場合、複数品の料理を同時進行で行い、ほぼ同時のタイミングで食卓に出せるようにすることは、熟練を要する高度な技術である。上記実施例の料理システムを複数品の料理の同時進行を可能にするよう拡張する場合は、単に、タイムラインエディタの調理タイムラインエディタ120
及び加熱タイムラインエディタ130の本数を料理の品数だけ増やすだけでよい。ユーザは
、メイン画面に表示される食材アイコンや調理具アイコンを、各料理に対応する調理及び加熱タイムラインエディタにドラッグアンドドロップで配置するという上記実施例で説明した作業を、料理の品数分繰り返すだけで良い。その際、各料理の完成タイミングがほぼ同時になるように、各調理及び加熱タイムラインエディタにおけるアイコン配置や加熱グラフの形状を調整するという簡単かつ直感的な操作を行なうだけで、複数品の料理をほぼ同時のタイミングで完成させるという高度で複雑な料理タスクを各ロボットに実行させることが可能になる。

1：撮像装置
21：材料投入ロボット
211：移動機構
212：ビジュアルマーカ
213：ハンド
22：調味料投入ロボット
221：移動機構
222：ビジュアルマーカ
223：ハンド
23：調理動作ロボット
231：移動機構
232：ビジュアルマーカ
233：ハンド
234：調理具
3：コンピュータ
30：画像取込部
31：タグ認識部
32：タイムラインエディタ
33：ロボット制御部
34：ヒータ制御部
4：IHヒータ
5：ステージ
61：調味料
62：調味料
7：鍋
81：皿
82：皿
83：皿
91：タグ
92：タグ
93：タグ
94：タグ
95：タグ
10：レシピ本
11：料理イラスト
12：調理タイムライン
13：加熱タイムライン
141：だいこん・にんじん・ごぼう・じゃがいもイラスト
142：こんにゃくイラスト
143：みそイラスト
144：豚肉イラスト
145：塩イラスト
100：メイン画面
101：スタートボタン
102：ストップボタン
103：鍋確認画面
104：タイムバー
120：調理タイムラインエディタ
130：加熱タイムラインエディタ
1410：だいこん・にんじん・ごぼう・じゃがいもアイコン
1420：こんにゃくアイコン
1430：みそアイコン
1440：豚肉アイコン
1450：塩アイコン
2340：調理具アイコン
151：だいこんイラスト
152：にんじんイラスト
153：たまねぎイラスト
154：れんこんイラスト
161：だいこんタグ
162：にんじんタグ
163：たまねぎタグ
164：れんこんタグ

Claims

少なくとも材料の投入、材料の混ぜ又は返し、及び、材料の加熱を含む、複数の料理タスクを実行するロボットに対して、料理プロセスを指示するための料理プロセス指示装置であって、
前記各料理タスクに対応するアイコンと、前記アイコンを並べるための時間軸と、加熱タスクによる火力に対応する軸と、を表示し、ユーザにポインティングデバイスの操作で前記アイコンを前記時間軸上に並べさせるとともに、火力に対応する軸において加熱タスクの実行タイミング及び加熱強度を入力させる料理プロセス入力部と、
前記料理プロセス入力部において前記時間軸上に並べられた前記アイコンの種類及び位置と、火力に対応する軸上に入力された加熱タスクの実行タイミング及び加熱強度と、に基づいて、前記ロボットに該並べられたアイコンに対応する料理タスクを実行させる順番及びタイミングと前記ロボットに該料理タスクを実行させるための動作と前記ロボットに前記入力された加熱タスクを実行させるタイミングと前記ロボットに前記加熱タスクを実行させるための動作とを計算し、前記ロボットに対して制御命令を送出する制御部と、
を備えることを特徴とする料理プロセス指示装置。
少なくとも材料の投入、材料の混ぜ又は返し、及び、材料の加熱を含む、複数の料理タスクを実行するロボットに対して、料理プロセスを指示するための料理プロセス指示方法であって、
前記各料理タスクに対応するアイコンと、前記アイコンを並べるための時間軸と、加熱タスクによる火力に対応する軸と、を表示し、ユーザにポインティングデバイスの操作で前記アイコンを前記時間軸上に並べさせるとともに、火力に対応する軸において加熱タスクの実行タイミング及び加熱強度を入力させる料理プロセス入力ステップと、
前記料理プロセス入力ステップにおいて前記時間軸上に並べられた前記アイコンの種類及び位置と、火力に対応する軸上に入力された加熱タスクの実行タイミング及び加熱強度と、に基づいて、前記ロボットに該並べられたアイコンに対応する料理タスクを実行させる順番及びタイミングと前記ロボットに該料理タスクを実行させるための動作と前記ロボットに前記入力された加熱タスクを実行させるタイミングと前記ロボットに前記加熱タスクを実行させるための動作とを計算し、前記ロボットに対して制御命令を送出する制御ステップと、
を実行することを特徴とする料理プロセス指示方法。
前記料理プロセス入力部は、前記時間軸及び火力に対応する軸を料理の品数に応じて複数表示し、ユーザに複数の品数の料理の料理プロセスを同時進行させる指示を入力させる請求項１に記載の料理プロセス指示装置。
前記料理プロセス入力部は、材料の混ぜタスクによる混ぜ強度に対応する軸を更に表示し、ユーザに、混ぜ強度に対応する軸において混ぜタスクの実行タイミング及び混ぜ強度を入力させる請求項１又は３に記載の料理プロセス指示装置。
前記料理プロセス入力ステップでは、前記時間軸及び火力に対応する軸を料理の品数に応じて複数表示し、ユーザに複数の品数の料理の料理プロセスを同時進行させる指示を入力させる請求項２に記載の料理プロセス指示方法。
前記料理プロセス入力ステップでは、材料の混ぜタスクによる混ぜ強度に対応する軸を更に表示し、ユーザに、混ぜ強度に対応する軸において混ぜタスクの実行タイミング及び混ぜ強度を入力させる請求項２又は５に記載の料理プロセス指示方法。