JP7400726B2 - 情報処理装置、スケジューリング方法及びプログラム - Google Patents

情報処理装置、スケジューリング方法及びプログラム Download PDF

Info

Publication number
JP7400726B2
JP7400726B2 JP2020550355A JP2020550355A JP7400726B2 JP 7400726 B2 JP7400726 B2 JP 7400726B2 JP 2020550355 A JP2020550355 A JP 2020550355A JP 2020550355 A JP2020550355 A JP 2020550355A JP 7400726 B2 JP7400726 B2 JP 7400726B2
Authority
JP
Japan
Prior art keywords
state
task
tasks
transition
cooking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020550355A
Other languages
English (en)
Other versions
JPWO2020071236A1 (ja
Inventor
慶明 佐藤
一生 本郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020071236A1 publication Critical patent/JPWO2020071236A1/ja
Application granted granted Critical
Publication of JP7400726B2 publication Critical patent/JP7400726B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0045Manipulators used in the food industry
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0058Means for cleaning manipulators, e.g. dust removing means
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J36/00Parts, details or accessories of cooking-vessels
    • A47J36/32Time-controlled igniting mechanisms or alarm devices
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47JKITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J44/00Multi-purpose machines for preparing food with several driving units
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric

Description

本開示は、情報処理装置、スケジューリング方法及びプログラムに関する。
近年、ロボットは調理などの分野で様々な自動化を実現しているが、現状では限定的な内容を専用に設計された機械が繰り返し行うことが一般的である。例えば、調理分野では、芋の皮むきや、鶏肉の加工、すしのシャリの製造などに関して専用機が存在する。
将来的にロボットを導入する場合、コストの点から複数の専用機の導入ではなく単一の多機能ロボットの導入が期待される。ただし、多機能ロボットには、あるタスクの実行後の状態で次にタスクを実行するときに制限がある場合がある。
例えば、調理タスクを実施するロボットの場合、ロボットアームが鶏のから揚げを作るために鶏肉をカットしたあとに、盛り合わせのレタスをちぎると、生の鶏肉に潜むカンピロバクターやサルモネラなどの病原体がレタスに付着してしまい食中毒の原因となる。また生肉や、猫の糞が混じった土にはトキソプラズマという寄生虫が含まれ、この寄生虫に妊婦が感染すると胎児の脳や目に障害が生じることがある。したがって、ある調理タスクの実行後の状態で次の調理タスクを実行する場合、ロボットアームの洗浄、ビニール手袋の取り替えなどを行う必要があるという制限がある。
なお、調理に関する技術として、料理人が使用している鍋やフライ返しの運動軌跡を画像処理の手法で検出し、さらに鍋の温度や火力の強さ、料理の主材料や調味料の使用量と調理開始時刻と調理時間を記録することで、料理人の調理法を再現する技術がある。
また、人とロボットの協調作業において、現在の物品の位置と、人とロボットそれぞれの作業工程の順序及び各工程における取扱物品を記録する作業手順とを参照し、人が物品を置いたときに、物品を置いたことにより発生する余計な時間を算出する技術がある。この技術によれば、物品の置き場所によって生じる無駄な時間の発生を防ぐことができる。
特表2005-504259号公報 特開2009-297880号公報
多機能ロボットにおいて、あるタスクの実行後の状態で次にタスクを実行するときの制限にしたがうと、作業全体の実行効率が悪くなる。例えば、1つの調理タスクごとにロボットアームの洗浄、ビニール手袋の取り替えなどを行うと調理に時間がかかり、調理の効率が悪くなる。
そこで、本開示では、多機能ロボット等の状態に基づくタスクの実行制限を満たすとともに作業全体の実行効率を向上することができる情報処理装置、スケジューリング方法及びプログラムを提案する。
上記の課題を解決するために、本開示に係る一形態の情報処理装置は、対象物体に対する作業を含む複数のタスクの実行順序を、各タスクで用いられる作業器具の状態の遷移に基づいて決定する決定部を備える。
(作用)本開示に係る一形態の情報処理装置によれば、対象物体に対する作業を含む複数のタスクの実行順序を、作業器具の状態の遷移に基づいて決定する。したがって、不適切な状態遷移が発生しないように複数のタスクの順番を決定することができ、タスクの実行制限を満たすことができる。その結果、多機能ロボットのタスクの実行制限を満たすとともに多機能ロボットのタスクの作業時間を短縮することができる。
本開示の一実施形態に係る調理ロボットの概略構成例を示すブロック図である。 本開示の一実施形態に係る調理制御部の機能構成を示す図である。 ロボットアームと調理器具の衛生管理のための状態遷移を示す図である。 ロボットアームと調理器具の状態遷移表の一例を示す図である。 食品の衛生管理のための状態遷移を示す図である。 加熱を要さない食品の状態遷移表の一例を示す図である。 加熱を要する食品の状態遷移表の一例を示す図である。 ロボットアーム及び調理器具の現在の衛生状態を表す衛生状態テーブルの一例を示す図である。 食品の現在の衛生状態を表す衛生状態テーブルの一例を示す図である。 ハヤシライスの材料の一例を示す図である。 ハヤシライスのレシピの一例を示す図である。 中華風サラダの材料の一例を示す図である。 中華風サラダのレシピの一例を示す図である。 作業タスクごとに変化する衛生状態を管理するための衛生状態テーブルの一例を示す図である。 本開示の一実施形態に係る調理制御動作の流れを示すフローチャートである。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
1.一実施形態
1.1 調理ロボットの構成
1.2 調理制御部の機能構成
1.3 衛生状態遷移
1.4 衛生状態管理
1.5 作業タスクに応じた管理
1.6 調理制御動作
1.7 作用・効果
1.一実施形態
以下、本開示の一実施形態に係る情報処理装置、スケジューリング方法及びプログラムについて、図面を参照して詳細に説明する。本実施形態では、ロボットアーム及び調理器具と食物の衛生状態の遷移を管理することで、多機能ロボットが衛生的で効率よく調理するスケジュールを作成する。
1.1 調理ロボットの構成
図1は、本実施形態に係る調理ロボットの概略構成例を示すブロック図である。図1に示すように、調理ロボット1は、例えば、CPU(Central Processing Unit)12、DRAM(Dynamic Random Access Memory)13、フラッシュROM(Read Only Memory)14、PC(Personal Computer)カードインタフェース(I/F)15、無線通信部16及び信号処理回路11が内部バス17を介して相互に接続されることにより形成されたコントロール部10と、この調理ロボット1の動力源としてのバッテリ18とを備える。
また、調理ロボット1は、調理作業を実現するための稼働機構として、アームの関節部分などの可動部26と、この可動部26を駆動するためのアクチュエータ27とを備える。
さらに、調理ロボット1は、移動距離や移動速度や移動方向などの情報を取得するためのセンサ(以下、内界センサという)として、自機の向きや動きの加速度を検出するための慣性計測装置(Inertial Measurement Unit:IMU)20と、アクチュエータ27の駆動量を検出するエンコーダ(又はポテンショメータ)28とを備える。なお、内界センサとしては、これらの他にも、加速度センサや角速度センサ等を用いることができる。
さらにまた、調理ロボット1は、自機の周囲の地形や自機の周囲に存在する物体までの距離や方向などの情報を取得するセンサ(以下、外界センサという)として、外部の状況を撮像するCCD(Charge Coupled Device)カメラ19と、自機に対して特定の方向に存在する物体までの距離を測定するToF(Time of Flight)センサ21とを備える。なお、外界センサとしては、これらの他にも、LIDAR(Light Detection and Ranging又はLaser Imaging Detection and Ranging)センサ、GPS(Global Positioning System)センサ、磁気センサ、Bluetooth(登録商標)やWi-Fi(登録商標)などの無線通信部16における電波強度の測定部(以下、電波強度センサという)等を用いることができる。
なお、調理ロボット1には、外部から受けた物理的な圧力を検出するためのタッチセンサ22や、外部音を集音するためのマイク23や、周囲へ音声等を出力するためのスピーカ24や、ユーザ等へ各種情報を表示するための表示部25などが設けられてもよい。
以上の構成において、IMU20、タッチセンサ22、ToFセンサ21、マイク23、スピーカ24及びエンコーダ(又はポテンショメータ)28などの各種センサ、表示部、アクチュエータ27、CCDカメラ(以下、単にカメラという)19及びバッテリ18は、それぞれコントロール部10の信号処理回路11と接続されている。
信号処理回路l0は、上述の各種センサから供給されるセンサデータや画像データ及び音声データを順次取り込み、これらをそれぞれ内部バス17を介してDRAM13内の所定位置に順次格納する。また、信号処理回路11は、これとともにバッテリ18から供給されるバッテリ残量を表すバッテリ残量データを順次取り込み、これをDRAM13内の所定位置に格納する。
このようにしてDRAM13に格納された各センサデータ、画像データ、音声データ及びバッテリ残量データは、CPU12が調理ロボット1の動作制御を行う際に利用されるとともに、必要に応じて、無線通信部16を介して外部のサーバ等へ送信される。なお、無線通信部16は、Bluetooth(登録商標)やWi-Fi(登録商標)などの他、無線LAN(Local Area Network)や移動体通信網等の所定のネットワークを介して外部のサーバ等と通信を行なうための通信部であってよい。
CPU12は、例えば、調理ロボット1の電源が投入された初期時、不図示のPCカードスロットに装填されたメモリカード29又はフラッシュROM14に格納された制御プログラムをPCカードインタフェース15を介して又は直接読み出し、これをDRAM13に格納する。
また、CPU12は、上述のように信号処理回路11よりDRAM13に順次格納される各センサデータ、画像データ、音声データ及びバッテリ残量データに基づいて自機及び周囲の状況や、ユーザからの指示及び働きかけの有無などを判断する。
そして、CPU12は、上述の判断結果やDRAM13に格納されている調理制御プログラムに基づいて、その後の行動を決定するとともに、当該決定結果に基づいて必要なアクチュエータ27を駆動させることにより、調理作業を実行する。
その際、CPU12は、必要に応じて音声データを生成し、これを信号処理回路11を介して音声信号としてスピーカ24に与えることにより当該音声信号に基づく音声を外部に出力させたり、表示部25に各種情報を表示させたりする。
このようにして、調理ロボット1は、自機及び周囲の状況や、ユーザからの指示及び働きかけに応じて自律的に調理するように構成されている。
なお、以上で説明した調理ロボット1の構成は、単なる一例に過ぎず、目的や用途に応じて種々の調理ロボット1を適用することが可能である。
1.2 調理制御部の機能構成
つづいて、調理制御部の機能構成について説明する。調理制御部は、調理制御プログラムがCPU12により実行されることで実現される。図2は、調理制御部の機能構成を示す図である。図2に示すように、調理制御部30は、衛生状態DB31と、レシピDB32と、状態遷移表33と、衛生状態テーブル34と、衛生状態テーブル初期化部35と、状態遷移制御部36と、制御部37とを備える。
衛生状態DB31は、ロボットアーム40と調理器具4の初期の衛生状態を記憶する。初期の衛生状態は通常洗浄済みの清浄な状態である。常に調理器具4とロボットアーム40が正常な状態とみなせる場合は、衛生状態DB31はなくてもよい。
レシピDB32は、レシピ情報を格納したデータベース(DB)である。調理制御部30が外部のWebサイトなどからレシピ情報を引き出す場合は、レシピDB32はなくてもよい。
状態遷移表33は、ロボットアーム40と調理器具4と食品2に関し衛生状態の状態遷移を定義した表である。
衛生状態テーブル34には、レシピに記載された食品2と、レシピで調理に用いる調理器具4と、ロボットアーム40の衛生状態を管理するテーブルが含まれる。また、衛生状態テーブル34には、食品2、調理器具4及びロボットアーム40の衛生状態と調理の作業タスクとの対応を示すテーブルが含まれる。
衛生状態テーブル初期化部35は、衛生状態DB31とレシピDB32と状態遷移表33から衛生状態テーブル34を作成して初期化する。
状態遷移制御部36は、衛生状態テーブル34に示された作業タスクの指令を制御部37へ送信する。
制御部37は、状態遷移制御部36から受信した作業タスクの指令に基づいてロボットアーム40を制御することで調理作業を実行する。制御部37は、1つの作業タスクが完了すると状態遷移制御部36へ通知する。完了が通知された制御部37は、衛生状態テーブル34に示された次の作業タスクの指令を状態遷移制御部36へ送信する。
1.3 衛生状態遷移
つづいて、ロボットアーム40、調理器具4、食品2の衛生管理のための状態遷移について説明する。図3は、ロボットアーム40と調理器具4の衛生管理のための状態遷移を示す図である。図3に示すように、ロボットアーム40と調理器具4の衛生状態には、状態1w、状態2w、状態3w、状態5w及び状態7wがある。ここで、wは、kitchenwareのwに基づき用いられている。
状態1wは、洗浄済み状態であり、洗剤などで洗浄された状態である。状態2wは、通常状態であり、食品2を扱うのに適した状態で、有害な細菌やウィルスの付着がない状態である。この状態は、加熱しない食品2を扱うことができる状態である。この状態は、ロボットアーム40の長期保管には向かないが、短時間に食品2を扱うことができる状態である。状態1wにおいて、例えば、洗浄済み食品2に接触すると、衛生状態は状態2wに遷移する。
状態3wは、物体付着状態であり、有害な細菌やウィルスによる汚染がないが砂糖や塩、しょうゆなどの調味料や、小麦粉など粉、果汁など液体、軽微な埃や塵が付着している状態である。状態2wにおいて、例えば、粉末や液体の調味料に接触したり、粉をまぶした食品2に接触すると、衛生状態は状態3wに遷移する。ロボットアーム40が、ドーナッツを触った後、皮をむいたリンゴなどに触った後はこの状態となる。
状態5wは、細菌付着状態であり、有害なウィルスや細菌に汚染された状態である。状態2wにおいて、例えば、細菌又はウィルス又は寄生虫に汚染された食品2に接触したり、汚染された調理器具4又は食器3に接触したりすると、衛生状態は状態5wに遷移する。生の鶏肉に接触した後はこの状態になる。
状態7wは、高度汚染状態であり、食品2を使うのに不適な状態である。状態7wは、洗剤など化学物質が付着したり、生ゴミなど不潔な物に接触したり、砂や泥が付着したりしている状態である。状態3w又は状態5wにおいて、例えば、洗剤やゴミなどに接触し化学物質や細菌などにより汚染したり、異物が付着すると、衛生状態は状態7wに遷移する。ロボットアーム40がキッチンのゴミを片づけたり、洗剤を扱ったり、家庭菜園で栽培された泥付き野菜を洗浄した後にこの状態になる。状態3w及び状態5wでは、加熱により汚染を除去できるが、状態7wでは、加熱により汚染を除去できない。
なお、図3は状態遷移の一部を示し、図3に示されていない状態遷移もある。例えば、洗浄済み状態(状態1w)から細菌付着状態(状態5w)、物体付着状態(状態3w)、高度汚染状態(状態7w)への遷移がある。
図4は、ロボットアーム40と調理器具4の状態遷移表33の一例を示す図である。図4において、縦軸は状態遷移前の状態を表し、横軸は作業工程を表す。作業工程には、「保守」、「調理」、「食品を洗浄」、「食品に接触」、「ロボットアームと調理器具に接触」がある。「ロボットアームと調理器具に接触」は、対象がロボットアーム40の場合は調理器具4への接触を表し、対象が調理器具4の場合はロボットアーム40への接触を表す。表の中は状態遷移後の状態を表す。表中の「-」は状態が遷移せず変化しないことを表す。「/」は作業工程を禁止することを表す。調理器具は例えば包丁やまな板である。
例えば、洗浄済み状態(状態1w)の調理器具4を洗浄又は交換することは禁止されている。また、洗浄済み状態(状態1w)の調理器具4を加熱しても調理器具4の衛生状態は洗浄済み状態のままである。また、洗浄済み状態(状態1w)の調理器具4を用いて未洗浄状態の食品2を洗浄すると調理器具4の衛生状態は通常状態(状態2w)に遷移する。また、洗浄済み状態(状態1w)の調理器具4が物体付着状態(状態3w)のロボットアーム40と接触すると調理器具4の衛生状態は物体付着状態(状態3w)に遷移する。
複数台のロボットアーム40が存在し協働するときも同様の表で衛生状態が管理される。ロボットアーム40と調理器具4は等しくこの状態遷移表33により衛生状態が管理される。
図5は、食品2の衛生管理のための状態遷移を示す図である。図5に示すように、食品2の衛生状態には、状態0f、状態2f、状態4f、状態5f及び状態6fがある。ここで、fは、foodのfに基づき用いられている。
状態0fは、未洗浄状態であり、店舗で購入してきた生野菜などの状態である。状態0fは、軽微な水洗いなどの洗浄で飲食に適する状態2fになる状態である。
状態2fは、通常状態であり、ユーザがそのまま食べることができる状態である。例えば、チーズやお刺身などの状態が状態2fである。状態2fにおいて、例えば、細菌又はウィルス又は寄生虫に汚染された調理器具4又は食器3に接触すると、衛生状態は状態5fに遷移する。
状態4fは、未洗浄かつ細菌付着状態であり、未洗浄で細菌が付着している状態である。例えば、スーパーではなく家庭菜園で作られた土付きの野菜などの状態が状態4fである。状態4fの食品2は、例えば洗浄により状態5fに遷移する。
状態5fは、細菌付着状態であり、細菌や寄生虫が付着している状態である。例えば、生の鶏肉の状態が状態5fである。状態5fの食品2をそのまま飲食に供すると食中毒が発生する可能性がある。
状態6fは、加熱済み状態である。例えば、火を通した鶏肉の状態が状態6fである。状態5fにおいて、例えば加熱すると、衛生状態は状態6fに遷移する。
なお、図5は状態遷移の一部を示し、図5に示されていない状態遷移もある。例えば、未洗浄状態(状態0f)から未洗浄かつ細菌付着状態(状態5f)への遷移がある。
図6は、加熱を要さない食品2の状態遷移表33の一例を示す図である。図6に示すように、加熱を要さない食品2の初期状態は、状態0f又は状態2fである。加熱を要さない食品2は、調理後の最終状態が状態2fである。加熱を要さない食品2の作業工程には、「調理工程」と「接触工程」がある。例えば、お刺身、生野菜が加熱を要さない食品2である。未洗浄状態の食品2は、加熱が禁止され、細菌付着状態又は高度汚染状態の調理器具4又はロボットアーム40との接触が禁じられている。
図7は、加熱を要する食品2の状態遷移表33の一例を示す図である。図7に示すように、加熱を要する食品2は、最終状態が状態6fである。加熱を要する食品2の作業工程には、「調理工程」と「接触工程」がある。例えば、豚肉、鮭の切り身、ゴボウなどが加熱を要する食品2である。加熱を要する食品2の初期状態は、状態0f、状態2f、状態4f又は状態5fである。
1.4 衛生状態管理
つづいて、ロボットアーム40、調理器具4及び食品2の衛生状態管理について説明する。ロボットアーム40、調理器具4及び食品2の衛生状態は、衛生状態テーブル34を用いて管理される。図8は、ロボットアーム40及び調理器具4の現在の衛生状態を表す衛生状態テーブル34の一例を示す図である。図8に示すように、この衛生状態テーブル34は、品名と現在状態を対応付ける。品名は、「ロボットアーム」か調理器具4の名前である。現在状態は、ロボットアーム40又は調理器具4の現在の衛生状態である。
ロボットアーム40と調理器具4の衛生状態は、衛生状態テーブル初期化部35が、調理開始時に、前回終了時の状態を衛生状態DB31から読み出す。ロボットアーム40と調理器具4は、通常は清潔な状態に洗浄が完了されている。読みだされた衛生状態は衛生状態テーブル34に記録される。
図9は、食品2の現在の衛生状態を表す衛生状態テーブル34の一例を示す図である。図9は、図10に示すハヤシライスの材料と、図11に示すハヤシライスのレシピと、図12に示す中華風サラダの材料と、図13に示す中華風サラダのレシピに基づいて作成される場合を示す。
図9に示すように、この衛生状態テーブル34は、レシピと品名と現在状態と完了状態を食品ごとに対応付ける。レシピは、食品2が使用されるレシピである。品名は、食品2の名前である。現在状態は、食品2の現在の衛生状態である。完了状態は、調理完了時の食品2の衛生状態である。
衛生状態テーブル初期化部35は、レシピDB32からレシピを取得する。あるいは、衛生状態テーブル初期化部35は、手動入力を受け付けることでレシピを取得してもよいし、ネットワーク経由で外部からレシピを取得してもよい。
ロボットアーム40、調理器具4及び食品2の現在の衛生状態を表す衛生状態テーブル34の値は、作業タスクの実行により随時変化する。これらの衛生状態テーブル34の値は、基本的に状態を表す数字が大きくなる方向へ変化する。
1.5 作業タスクに応じた管理
つづいて、作業タスクに応じた衛生管理と時間管理について説明する。図9に示したように、ハヤシライスでは全材料が状態6fの加熱済み状態になるため、調理の途中で状態5fの細菌付着状態を経由しても衛生上問題がない。
一方、中華風サラダの水菜は加熱をしない食品、すなわち最終状態が状態2fの通常状態であるため、調理中いかなる時も状態5fの細菌付着状態になっては困る。具体的には、牛肉に触れたロボットアーム40がそのまま水菜に触れると水菜に細菌が付着するため衛生上問題がある。調理制御部30は、このような衛生状態の遷移が発生しないように食品2の衛生状態遷移を制御する。例えば、牛肉切り落としに触れたあとの状態5wのロボットアーム40は図6より水菜への接触が禁止される。このため、水菜に牛肉由来の細菌が付着せず衛生が保たれる。
ロボットアーム40が短い時間で調理をこなすためには複数の料理の調理を同時並行で進めることが求められる。図11及び図13に示したレシピでは、ハヤシライスの調理において15分ほど煮込み作業が生じるため、この時間を利用して中華風サラダを調理すると、全体の調理時間が短くなる。また、中華風サラダに含まれるもやしは完了状態が状態6fであるため、状態5wのロボットアーム40で触れても問題がない。したがって、調理制御部30は、必要があれば、状態5wでももやしを扱う。
衛生状態テーブル初期化部35は、食品2の衛生状態が状態遷移表33にしたがって適正に遷移するように、かつ、時間や水使用量やその他要求事項を満たすように調理計画を立てる。この調理計画は、既存のオペレーションズ・リサーチ(operational research,OR)技術を用いて、目的関数に応じて最適化を行うことで作成される。
例えば、目的関数を時間に設定することで、最短時間での調理計画が作成される。図14は、作業タスクごとに変化する衛生状態を管理するための衛生状態テーブル34の一例を示す図である。図14では、目的関数は時間である。
図14において、縦軸は食品2、ロボットアーム40及び調理器具4を示し、横軸は作業タスクを示し、表の中は食品2の衛生状態を示す。食品同士は調理が進むにつれて材料が混ぜ合わされるため、表のセルを結合することで食品2の混合状態が表される。
なお、ここでは、ロボットアーム40は調味料に直接触れず清潔なカップやスプーンを介して計量するか料理へ投入するものとし、調味料自体の衛生状態を変化させないものとする。そのため、調理制御部30は、調味料の衛生状態を管理しない。
また、一部の調理器具4や計量器具は、ロボットアーム40が把持する柄の部分と、調味料や食品が接触する先端で衛生状態が異なるため、調理制御部30は、柄と先端を別々に管理する。この管理により、柄の部分の衛生状態は食品には伝播しないし、先端部分の衛生状態はロボットアーム40に伝播しないようにできる。
図14において、左から3列目は、調理開始時点の初期状態を表し、ロボットアーム40及び調理器具4はすべて洗浄され清潔な1w状態である。食品2はそれぞれ状態が異なる。図14では、3列目から調理の工程が右に進むにつれて衛生状態が変化する。4列目の作業タスク「A)バターをフライパンで熱し溶かす」が実施されると、衛生状態は、3列目の初期状態から4列目の状態に遷移する。
この作業タスクでは、ロボットアーム40が包丁でバターを切り出す。バターはフライパン上で溶かされ衛生状態が「6f.加熱済み」に変化する。13行目のロボットアーム40と14行目の包丁は、3列目で状態1wだったが状態2fのバターに触れたため図4により4列目の状態2wに変化する(13行4列目及び14行目4列目を参照)。15行目のフライパンは、解けたバターに触れたため状態1wから図4により状態2wへ変化する(15行4列目を参照)。
5列目の作業タスク「B)玉ねぎを水洗いし皮をむきスライスする」が実施されると、衛生状態は、4列目の状態から5列目の状態に遷移する。この調理タスクでは、玉ねぎは水洗いで図7より状態が0fから2fへ変化する。まな板は包丁による玉ねぎのスライス時に玉ねぎに触れることで図4より状態が1wから2wへ変化する(16行5列目参照)。
調理制御部30は、ロボットアーム40と調理器具4については図4に示した状態遷移表33を参照し、食品2については図6及び図7に示した状態遷移表33を参照しながら、図14に示した衛生状態テーブル34を作成することで、適切な衛生管理を実現する。例えば、調理制御部30は、11列目の作業タスク「水菜を水洗いし水を切り4cmに切る」の前に10列目の作業タスク「ロボットアームを洗浄」を実行するよう制御することで、牛肉由来(6列目の作業タスクC)の細菌が加熱されずユーザが食べる水菜に付着することを防ぐ。
また、9列目の作業タスク「G)もやしを水洗いし熱湯で30秒ゆで、ざるに上げて粗熱をとる」では、もやしは最終的に加熱されるため、細菌が付着した状態である状態5wのロボットアーム40で、もやしを扱うことが許されている。このため、調理制御部30は、無駄な洗浄を減らすことができ、調理の効率を向上することができる。
また、調理制御部30は、複数のレシピ毎に順番に調理を行うのではなく、調理やロボットアーム40の洗浄にかかるコスト及び衛生を勘案した上で複数のレシピの調理を並行に行うことで、総調理時間を短縮することができる。例えば、ハヤシライスの調理には、8列目に15分煮込む作業タスクEがあるが、調理制御部30は、作業タスクEと次の13列目の作業タスクFの間に集中的に、中華風サラダの作業タスクを挿入することで、総調理時間を短縮する。
なお、複数台のロボットアーム40が協働する場合は、図14に示した衛生状態テーブル34が共有される。また、ロボットアーム40が調理中に追加の指令や割り込み作業があってもよい。例えば、調理制御部30は、図14に示した衛生状態テーブル34を調理途中に書き換えて、途中の段階で調理の工程を変更できる。
1.6 調理制御動作
つぎに、本実施形態に係る調理制御動作について説明する。図15は、本実施形態に係る調理制御動作の流れを示すフローチャートである。図15に示すように、調理制御部30は、ユーザから料理の指示を受け付け(ステップS1)、レシピを取得する(ステップS2)。そして、調理制御部30は、衛生状態DB31と状態遷移表33を読み出す(ステップS3)。
そして、調理制御部30は、レシピと衛生状態DB31と状態遷移表33に基づいて、衛生状態テーブル34を作成する(ステップS4)。衛生状態テーブル34には、食品2、調理器具4及びロボットアーム40の衛生状態を管理するテーブルと、作業タスクごとに変化する衛生状態を管理するためのテーブルが含まれる。そして、調理制御部30は、衛生状態テーブル34に基づいて、ロボットアーム40を制御する(ステップS5)。
1.7 作用・効果
以上のように、本実施形態によれば、調理制御部30は、レシピと衛生状態DB31と状態遷移表33に基づいて衛生状態テーブル34を作成する。そして、調理制御部30は、衛生状態テーブル34に基づいてロボットアーム40を制御するので、適正な衛生管理を行うことができる。
また、本実施形態では、調理制御部30は、最終的に加熱される食品2については細菌付着状態のロボットアーム40や調理器具4による接触を許すことで、ロボットアーム40や調理器具4の洗浄を減らすことができる。
また、本実施形態では、調理制御部30は、複数のレシピ毎に順番に調理を行うのではなく、複数のレシピの調理を並行に行うように制御することで、総調理時間を短縮することができる。
なお、本実施形態では、調理ロボット1を制御する場合について説明したが、本開示の技術は、他の作業を行うロボットや器具の動作を制御する場合にも同様に適用することができる。例えば、化学薬品を調合するロボットや薬を調製するロボットなどにも、本実施形態を適用することが可能である。
また、本実施形態では、料理を完成させるまでの作業タスクをスケジューリングする場合を例示したが、これに限られず、例えば、料理を完成後、調理に使用した食器3や調理器具4やロボットアーム40を状態1wに洗浄するまでの作業タスクをスケジューリングするように構成することも可能である。さらに、本実施形態において、衛生管理の対象として、シンクや調理台などを含めることも可能である。
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
対象物体に対する作業を含む複数のタスクの実行順序を、各タスクで用いられる作業器具の状態の遷移に基づいて決定する決定部を備える情報処理装置。
(2)
前記作業器具の状態は、前記作業器具の衛生状態である前記(1)に記載の情報処理装置。
(3)
前記決定部は、さらに前記対象物体の状態の遷移に基づいて、前記複数のタスクの前記実行順序を決定する前記(1)又は(2)に記載の情報処理装置。
(4)
前記対象物体の状態は、前記対象物体の衛生状態である前記(3)に記載の情報処理装置。
(5)
タスクごとの前記作業器具の状態の遷移を記憶する状態遷移記憶部と、
前記複数のタスクに関する情報を記憶するタスク情報記憶部と、
をさらに備え、
前記決定部は、前記状態遷移記憶部に記憶された前記タスクごとの作業器具の状態の遷移と、前記タスク情報記憶部に記憶された前記複数のタスクに関する情報とに基づいて、前記複数のタスクの前記実行順序を決定する
前記(1)~(4)の何れか1項に記載の情報処理装置。
(6)
タスクごとの前記作業器具の状態の遷移と、前記タスクごとの前記対象物体の状態の遷移とを記憶する状態遷移記憶部と、
前記複数のタスクに関する情報を記憶するタスク情報記憶部と、
をさらに備え、
前記決定部は、前記状態遷移記憶部に記憶された前記タスクごとの前記作業器具の状態の遷移及び前記タスクごとの前記対象物体の状態の遷移と、前記タスク情報記憶部に記憶された前記複数のタスクに関する情報とに基づいて、前記複数のタスクの前記実行順序を決定する
前記(3)又は(4)に記載の情報処理装置。
(7)
前記作業器具の初期の状態を記憶する初期状態記憶部をさらに備え、
前記決定部は、前記初期状態記憶部に記憶された前記作業器具の前記初期の状態からの前記状態の遷移を管理する
前記(1)~(6)の何れか1項に記載の情報処理装置。
(8)
前記決定部により決定された前記実行順序に基づいて前記複数のタスクの実行を制御する制御部をさらに備える前記(1)~(7)の何れか1項に記載の情報処理装置。
(9)
前記制御部による制御の途中で前記複数のタスクにタスクが追加された場合に、
前記決定部は、追加されたタスクを含めて前記実行順序を再度決定し、
前記制御部は、前記決定部により再度決定された実行順序に基づいて前記実行を継続して制御する
前記(8)に記載の情報処理装置。
(10)
前記対象物体は食品であり、前記作業器具は調理器具及びロボットのアームであり、前記複数のタスクには、レシピに含まれる調理作業と、前記調理器具及び前記アームの洗浄とが含まれ、前記状態には複数の段階があり、前記遷移は、前記調理器具、前記アーム及び前記食品のうちの少なくとも2つの接触により発生する前記(1)~(9)の何れか1項に記載の情報処理装置。
(11)
対象物体に対する作業を含む複数のタスクの実行順序を、各タスクで用いられる作業器具の状態の遷移に基づいて決定することを含むスケジューリング方法。
(12)
対象物体に対する作業を含む複数のタスクの実行順序を、各タスクで用いられる作業器具の状態の遷移に基づいて決定することをコンピュータに実行させるためのプログラム。
1 調理ロボット
2 食品
3 食器
4 調理器具
10 コントロール部
11 信号処理回路
12 CPU
13 DRAM
14 フラッシュROM
15 PCカードインタフェース
16 無線通信部
17 内部バス
18 バッテリ
19 CCDカメラ
20 IMU
21 ToFセンサ
22 タッチセンサ
23 マイク
24 スピーカ
25 表示部
26 可動部
27 アクチュエータ
28 エンコーダ(ポテンショメータ)
29 メモリカード
30 調理制御部
31 衛生状態DB
32 レシピDB
33 状態遷移表
34 衛生状態テーブル
35 衛生状態テーブル初期化部
36 状態遷移制御部
37 制御部
40 ロボットアーム

Claims (10)

  1. ロボットのアームによる対象物体に対する作業を含む複数のタスクの実行順序を、前記各タスクにおいて作業を行う前記アーム、及び、当該アームによって用いられる1つ又は複数の所定の器具を含む作業器具の衛生状態の遷移に基づいて決定する決定部を備える、
    情報処理装置。
  2. 前記決定部は、さらに前記対象物体の衛生状態の遷移に基づいて、前記複数のタスクの前記実行順序を決定する請求項1に記載の情報処理装置。
  3. 前記タスクごとの前記作業器具の衛生状態の遷移を記憶する状態遷移記憶部と、
    前記複数のタスクに関する情報を記憶するタスク情報記憶部と、
    をさらに備え、
    前記決定部は、前記状態遷移記憶部に記憶された前記タスクごとの前記作業器具の衛生状態の遷移と、前記タスク情報記憶部に記憶された前記複数のタスクに関する情報とに基づいて、前記複数のタスクの前記実行順序を決定する、
    請求項1又は2に記載の情報処理装置。
  4. 前記タスクごとの前記作業器具の衛生状態の遷移と、前記タスクごとの前記対象物体の衛生状態の遷移とを記憶する状態遷移記憶部と、
    前記複数のタスクに関する情報を記憶するタスク情報記憶部と、
    をさらに備え、
    前記決定部は、前記状態遷移記憶部に記憶された前記タスクごとの前記作業器具の衛生状態の遷移及び前記タスクごとの前記対象物体の衛生状態の遷移と、前記タスク情報記憶部に記憶された前記複数のタスクに関する情報とに基づいて、前記複数のタスクの前記実行順序を決定する、
    請求項に記載の情報処理装置。
  5. 前記作業器具の初期の衛生状態を記憶する初期状態記憶部をさらに備え、
    前記決定部は、前記初期状態記憶部に記憶された前記作業器具の前記初期の衛生状態からの前記衛生状態の遷移を管理する、
    請求項1~4のいずれか1項に記載の情報処理装置。
  6. 前記決定部により決定された前記実行順序に基づいて、前記ロボットのアームによる前記複数のタスクの実行を制御する制御部をさらに備える、
    請求項1~5のいずれか1項に記載の情報処理装置。
  7. 前記制御部による制御の途中で前記複数のタスクに新たなタスクが追加された場合に、
    前記決定部は、追加された前記新たなタスクを含めて前記複数のタスクの前記実行順序を再度決定し、
    前記制御部は、前記決定部により再度決定された実行順序に基づいて前記実行を継続して制御する、
    請求項に記載の情報処理装置。
  8. 前記対象物体は食品であり、前記所定の器具は調理器具であり、前記複数のタスクには、レシピに含まれる調理作業と、前記調理器具及び前記アームの洗浄とが含まれ、前記衛生状態には複数の段階があり、前記遷移は、前記調理器具、前記アーム及び前記食品のうちの少なくとも2つの接触により発生する、請求項1~7のいずれか1項に記載の情報処理装置。
  9. ロボットのアームによる対象物体に対する作業を含む複数のタスクの実行順序であるスケジュールを、前記各タスクにおいて作業を行う前記アーム、及び、当該アームによって用いられる1つ又は複数の所定の器具を含む作業器具の衛生状態の遷移に基づいて決定することを含むスケジューリング方法。
  10. ロボットのアームによる対象物体に対する作業を含む複数のタスクの実行順序を、前記各タスクにおいて作業を行う前記アーム、及び、当該アームによって用いられる1つ又は複数の所定の器具を含む作業器具の衛生状態の遷移に基づいて決定する決定部の機能を、コンピュータに実行させるためのプログラム。
JP2020550355A 2018-10-03 2019-09-26 情報処理装置、スケジューリング方法及びプログラム Active JP7400726B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018188559 2018-10-03
JP2018188559 2018-10-03
PCT/JP2019/037854 WO2020071236A1 (ja) 2018-10-03 2019-09-26 情報処理装置、スケジューリング方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020071236A1 JPWO2020071236A1 (ja) 2021-09-02
JP7400726B2 true JP7400726B2 (ja) 2023-12-19

Family

ID=70055054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020550355A Active JP7400726B2 (ja) 2018-10-03 2019-09-26 情報処理装置、スケジューリング方法及びプログラム

Country Status (5)

Country Link
US (1) US11926036B2 (ja)
EP (1) EP3861903A4 (ja)
JP (1) JP7400726B2 (ja)
CN (1) CN112788971A (ja)
WO (1) WO2020071236A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112022002891T5 (de) * 2021-05-31 2024-03-28 Sony Group Corporation Informationsverarbeitungsvorrichtung, fernbedienungssystem und informationsverarbeitungsverfahren
US20230030633A1 (en) * 2021-07-28 2023-02-02 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250857A (ja) 2004-03-04 2005-09-15 Tokyo Electric Power Co Inc:The 調理作業工程表作成システム、調理作業工程表作成プログラム及び該調理作業工程表作成方法
JP2006072894A (ja) 2004-09-06 2006-03-16 Advanced Institute Of Information Technology Inc 調理支援装置およびプログラム
JP2009297880A (ja) 2008-06-17 2009-12-24 Panasonic Corp 物品管理システム及び物品管理方法及び物品管理プログラム
JP2011108156A (ja) 2009-11-20 2011-06-02 Japan Science & Technology Agency 料理プロセス指示装置及び料理プロセス指示方法
JP2015201210A (ja) 2014-04-09 2015-11-12 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 複数のレシピの調理工程を下準備工程と仕上げ工程に分類する方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2396079A1 (en) 2000-01-07 2001-07-19 Transform Pharmaceuticals, Inc. High-throughput formation, identification, and analysis of diverse solid-forms
CN100445948C (zh) 2001-09-29 2008-12-24 张晓林 自动烹调方法及系统
US8276505B2 (en) * 2004-02-18 2012-10-02 David Benjamin Buehler Food preparation system
CN1293435C (zh) 2004-10-08 2007-01-03 于家新 智能化控制器和具有智能化控制器的用电器具及控制方法
JP2012003494A (ja) * 2010-06-16 2012-01-05 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5949536B2 (ja) * 2012-12-26 2016-07-06 ソニー株式会社 無線通信装置、通信システム、無線通信装置の制御方法およびプログラム
CN106844877A (zh) * 2016-12-28 2017-06-13 中国人民解放军军械工程学院 多状态多阶段任务系统可靠性参数的分析方法
CN108259534A (zh) * 2016-12-29 2018-07-06 佛山市顺德区美的电热电器制造有限公司 烹饪状态的提示方法、系统及烹饪装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250857A (ja) 2004-03-04 2005-09-15 Tokyo Electric Power Co Inc:The 調理作業工程表作成システム、調理作業工程表作成プログラム及び該調理作業工程表作成方法
JP2006072894A (ja) 2004-09-06 2006-03-16 Advanced Institute Of Information Technology Inc 調理支援装置およびプログラム
JP2009297880A (ja) 2008-06-17 2009-12-24 Panasonic Corp 物品管理システム及び物品管理方法及び物品管理プログラム
JP2011108156A (ja) 2009-11-20 2011-06-02 Japan Science & Technology Agency 料理プロセス指示装置及び料理プロセス指示方法
JP2015201210A (ja) 2014-04-09 2015-11-12 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 複数のレシピの調理工程を下準備工程と仕上げ工程に分類する方法

Also Published As

Publication number Publication date
US20220048196A1 (en) 2022-02-17
CN112788971A (zh) 2021-05-11
EP3861903A1 (en) 2021-08-11
WO2020071236A1 (ja) 2020-04-09
US11926036B2 (en) 2024-03-12
JPWO2020071236A1 (ja) 2021-09-02
EP3861903A4 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
US11117253B2 (en) Methods and systems for food preparation in a robotic cooking kitchen
US11571814B2 (en) Determining how to assemble a meal
US8820219B2 (en) Food preparation system
JP7400726B2 (ja) 情報処理装置、スケジューリング方法及びプログラム
CN107028478A (zh) 智能烹饪系统
WO2020071146A1 (ja) 調理アーム、調理システム
WO2020071148A1 (ja) 運搬移動体
CN108646627A (zh) 一种基于物联网的烹饪管理系统
WO2020075526A1 (ja) 調理システム、および調理システムの制御方法、並びにプログラム
Pereira et al. Towards Foodservice Robotics: a taxonomy of actions of foodservice workers and a critical review of supportive technology
WO2020071150A1 (ja) 調理システム
Derossi et al. Avenues for non-conventional robotics technology applications in the food industry
WO2021065609A1 (ja) データ処理装置、データ処理方法、調理ロボット
WO2021200306A1 (ja) 情報処理装置、情報処理端末、情報処理方法
WO2021200308A1 (ja) 制御装置、制御方法
WO2021024830A1 (ja) 情報処理装置、情報処理方法、調理ロボット、調理方法、および調理器具
WO2021140961A1 (ja) 情報処理装置、情報処理方法
CN112068526B (zh) 用于在机器人烹饪厨房中制备食物的方法和系统
WO2020071147A1 (ja) 調理アーム用アタッチメント

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220907

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231120

R151 Written notification of patent or utility model registration

Ref document number: 7400726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151