JP3794692B2 - 料理法の全情報記録システム及びロボットによる自動料理システム - Google Patents

Description

本発明は自動料理調理システムに関するものである．すなわち，料理人の調理過程を完全に記録するシステムとその教示した料理法を再現するシステムを発明した.

これまで，殆どの料理はコックさんによって作り上げられている．特に良い料理は良い料理人らが作るべきであるので，もしある料理人があるレストランまたは家庭にいなければ，その料理人に特有な料理をそのレストランまたは家庭で食べることができない．料理は文化であり，国や地域によって料理も異なり，各料理には有名な料理人がいる．いままで，料理手法は師匠から弟子へ代々伝わっていたが、その伝授できる人数には限界があるし，期間も長いので，優秀な料理人の数はどうしても多くないのが現状である．このため，良い料理特に有名な料理は豪華になり，多くの人に食べさせることは大変難しい．

本発明の目的は料理人の技術を記録し，一般の人でも気楽に食べられる機械による自動調理システムを提供する．

以上に述べた目的を達成するために，本発明が提案する自動調理法を以下に示す．
１） 料理人が用意する各種の主材料と補助材料（調味料など）の種類，量及び加工法を記録。
２） 調理器具の運動軌跡を測定する。特に中華料理の場合鍋の運動は重要である．
３） 料理人が上記主材料と補助材料を調理する（鍋に入れる）タイミングと時間を測定する。
４） 料理人が火力の調節のタイミング，時間及び大きさを記録する．すなわち，鍋の温度変化曲線を記録する．
５） 上記測定したデータを用いて自動調理システムの作動プログラムを作成する。
６） 上記プログラムを自動調理システムにセットし，料理人の料理を正確に再現する．

さらに，本発明の目的を実現するために，本発明が提供した自動調理システムは２つの独立したシステムを含む．一つは料理人の作業過程を記録する記録システム，もう一つは記録システムより得られたデータをもとに料理を自動的に調理する調理システムである。記録システムは以下の装置を含む．
１） 料理人が用意する主材料と補助材料の品種と量を測る材料記録装置。
２） 主材料と補助材料の調理タイミングと時間を自動記録する計時装置。
３） 調理器具の運動軌跡を測定する器具軌跡計測装置。
４） 料理人が火力を調節するタイミングと時間を自動記録する記録装置．
５） 上記計測と記録したデータを処理し，調理システムの作業プログラムを制作する関連装置．

調理システムは以下の装置を含む．
１） 料理人調理過程を再現するプログラムを取り入れるためのドライブとコントローラ
２） 調理器具と連結することができ，上記コントローラの制御信号を受け取り，料理人の動作を完成できるマニピュレーター。
３） ガスコンロや電気加熱器などを上記コントローラの信号によって制御できる火力制御装置。
４） 上記コントローラの操作信号を受け取り，主材料と補助材料を鍋などの調理器具に供給する材料供給制御装置．

本発明は料理人の動作を含めた調理過程を完全記録し,対応する機械装置（料理ロボット）によってその動作全過程を再現することによって，料理人の料理を完全「コピー」することを実現可能にした．本発明によって，将来，普通のレストランや家庭でも有名料理人の料理を安く食べられることができる。名料理法の永久保存と迅速な普及に大きな意味を持っている。

以下は図を用いて,本発明の実施例を詳細に述べる。
図1は料理人が料理を調理することを記録するシステムに教示する場面である．図1に示すように，複数例えば３つの容器8は料理の主材料を入れる容器である．2台のカメラ1は料理人13の調理過程を撮像し，その映像をコンピューターに入力する．コンピューター３は画像処理し，調理用具例えば鍋10とフライ返し11の上に固定している標識Pの運動軌跡を検出する。さらに，これら標識Pの運動軌跡から鍋10とフライ返し11の位置と姿勢の運動軌跡を算出する。複数個例えば４つ補助材料を入れる容器６にそれぞれ油，塩，醤油，お酢などの調味料を入れる．各容器６の下に電子秤７を装着し，これらの電子秤７が各補助材料の重さを電子信号としてインターフェース９（例えばA/D変換ボード）を経由してコンピューターに入力する．コンピューターは使用した量と使用時刻を算出する（図10を参照）．コンロのスイッチ５に設置している角度センサー４からコンロの火力を測り（または鍋に温度センサを取り付けてその火力を測る），コンピューター３に入力し，料理人13の火力の調節量と調節時刻を同時に得る．赤外線センサや圧電センサなどを使い、主材料の鍋などに入れる時刻を記録することができる．

図2は料理法を再現するシステムの装置全般を示す．同図に示したように本発明は2本以上のマニピュレーター及びその附属装置により構成する．本自動調理システムは複数（例えば３つ）の補助材料容器17及びその下に取り付けている制御可能な漏斗18を持ち，プログラム指令によって料理に添加する調味料の量と時刻を定め実行する．２本のマニピュレーター21の手先にそれぞれ特殊ハンド16を取り付ける．20はマニピュレーターの関節である．複数（（例えば３つ）のハンド16が把握できる主材料を入れる容器15が置かれている．ハンド16はプログラム指令により任意容器15中の材料を鍋などに入れることができる．コンロの火力は火力制御器19を用いてプログラムによって操作することができる．中央制御ユニット14は外部記憶装置21とディスプレー22によって構成される．料理作成プログラムを入れたフレキシブルディスクなどを中央制御ユニット14のディスクドライバーに挿入することによってその料理を作る動作を再現するシステムを構成することができる．また，インターネットなどの他の手法によっても料理作成プログラムを中央制御ユニットにセットすることができる．ディスプレーに表示したプログラムが要求する料理の主材料，補助材料及び加工方法にそって材料などを用意し，コンピュータを動作させれば，料理を再現するシステムは最後まで自動的に料理を作り上げることができる．

図3は記録システムの基礎座標系，カメラ座標系，調理器具座標系を示す．これらの座標系を設定することによって，調理器具の位置と姿勢の運動軌道とを計ることができ，これらのデータを基にして自動調理システムのマニピュレーターの運動軌道を計算することができる．自動調理システムに2つのマニピュレータの基盤の中心点を基礎座標系の中心として設定したので，コンロ（加熱器）と一定な位置関係があり，そして記録システムの基礎座標系については、当該基礎座標系におけるコンロの位置が自動調理システムの基礎座標系におけるコンロの位置と同じになるように設定される。記録システムと自動調理システムの基礎座標系を共にΣ_bで表す．図3に示すように，左右のカメラ１のレンズ中心点にカメラ座標系Σ_clとΣ_crを設定し，基礎座標系と一定な位置関係をもつ（図４参照）．調理器具である，鍋10，フライ返し11の柄に固定する座標系Σ_gとΣ_qを設定する．Σ_gとΣ_qは鍋やフライ返しの運動によって基礎座標系に相対的に運動する．上記鍋10とフライ返し11の座標系Σ_gとΣ_qに対して，画像認識用標識Pが一定の座標を持つので，標識Pのカメラ座標系Σ_clとΣ_crに対する位置が分かれば，Σ_gとΣ_qのΣ_clとΣ_crに対する位置と姿勢も求められ，さらに，基礎座標系Σ_bに対する位置と姿勢を求められる．以下に具体的計算法を紹介する．

図4に示した様に，まず一つ標識Pの位置座標を求める方法を紹介する．図中，23はカメラの撮像素子，24はレンズ，Pはある画像認識用標識である．まず，左右のカメラの中心軸crとclを平行にする．レンズの中心点O_clとO_crを左右それぞれのカメラ座標系の原点とする．O_clとO_crを結ぶ直線はcrとclに垂直にし，左右それぞれのカメラ座標系のy軸，すなわちy_crとy_clとし，crとclはそれぞれのx軸，すなわちx_crとx_clとする．このような設定により，座標系x_cr-y_crと座標系x_cl-y_clは同じ平面上にあり，この平面をZ平面とする．また，左右それぞれのカメラ座標系のz軸をz_cr軸とz_cl軸とし，座標系y_cr-z_crと座標系y_cl-z_clも同じ平面上にあり，この平面をX平面とする．O_clとO_crの距離をwとし，図中P点の左右それぞれのカメラ座標系に対するある瞬間の座標を（^clx_P, ^cly_P, ^clz_P, ^crx_P, ^cry_P, ^crz_P）とする．P点のZ平面上の投影をP_Zとし，PO_clとP_ZO_clのなす角を^clθ _Pyとする．PO_crとP_ZO_crのなす角を^crθ _Pyとする．P_ZO_clとx_clのなす角を^clθ _Pz，P_ZO_crとx_crのなす角を^crθ _Pzとする．これらの関数の関係を以下の式で算出することができる。clの上付きとcrの上付きとはそれぞれ左右カメラ座標系に対応することを示す．

図5は右のカメラを例にして，カメラの撮像素子上の^srP点の位置（^crx _Py，^cry _Pz）から，角度^crθ _Py，^crθ _Pz度を求める方法を示す。slの上付きとsrの上付きとは左右それぞれのカメラ撮像素子平面の座標系に対応することを示す．計算式は以下に示す．

図６は鍋上の3個の特殊点（^bP_g1，^bP_g2，^bP_g3）の座標から，基礎座標系Σ_bに対する鍋に固定する座標系Σ_gの位置（^bP_g）と姿勢（^bR_g）を求める方法を示す．鍋に固定する座標系Σ_gの位置と姿勢を表す行列を^bT_gとし，以下の式で求めることができる．

上式のbは基礎座標系に対応することを示す．^bx_g1は鍋のP_g1点の基礎座標系S_b の座標軸x_bに対応する位置である．カメラ座標系と基礎座標系との間には一定の関係があるので、座標変換を用いることによって，（^crx_P, ^cry_P, ^crz_P）から^bR_g, ^bP_gを求めることができる．Λ_gは運動方程式を記載した行列であり，その具体的な式は各特殊点と鍋の固定座標系の設定によって決るので，ここでは省略する．以上の演算を図７のブロック線図で表すことができる．図7の計算過程は以下の通りである．特殊点P₁，P₂，P₃の運動軌跡をカメラから取り込み，特殊点の撮像素子座標系に対する座標からカメラ座標系，さらに基礎座標系に対する座標に変換する．この3点の座標から鍋座標の基礎座標系に対する位置・姿勢を表す行列^bT_g(k)を求める．kはサンプリング数である．

図7の中の「その他の動作信号」はロボットの「料理材料を入れる」，「火力調節」などの動作を行うための信号を表す．これらの動作信号は開始点位置と終点位置の両点によって決めるので，一般の技術者も比較的に簡単に計算でき，ここでは省略する．Λ_rは右マニピュレータの運動方程式を記載した行列であり，全てのマニピュレータはその特定の運動方程式を記載した行列を持っている．θ_r(k)は右マニピュレータの各関節の回転角ベクトル（目標値軌道）である．左マニピュレータの各関節の回転角ベクトルの求め方は右と同じであるので，ここでは省略する．フライ返しの計算も鍋と同じであるので，ここでは省略する．

ここでの特殊標識点の画像認識処理は良く使われているパターン認識法など市販のソフトで十分であるので，ここでは省略する．また，ここで述べたマニピュレータの運動軌道の求め方は工場で良く行われている直接教示法や磁場を用いた位置認識法なども行うことができる．本手法は本発明を実現するための一つの有効な例に過ぎない．実際の商品ではこれらの方法を互いに補完し最適なものを選ぶことができる．教示過程の画像処理はリアルタイムとオフタイムの両方可能である．

図8は自動調理システムのマニピュレータの構造及び運動学モデルを示す．調理師の両手の任意動作を真似する必要があるので，ここでは６自由度のマニピュレータ２台を用いる．このようなマニピュレータの構造は一般工業用マニピュレータと同じである．図の中のθ_0l，θ_1l……θ_5lとθ_0r，θ_0r……θ_5rは左右両マニピュレータの各関節の回転角度を示す．

図９は自動調理システムの動作機械部分の全部品の運動学モデルを示す．座標系の設定は以下の通りである．鍋，フライ返しの座標系（Σ_gとΣ_q）と基礎座標系Σ_bの設定は調理師の操作記録装置と対応する．主材料の容器15の座標系Σ_υ1，Σ_υ2……Σ_υnは主材料容器のマニピュレータのハンドが把握する位置に設定する．すなわち，マニピュレータのハンドはその座標系が主材料容器の座標系と一致するときに主材料容器を把握できる．補助材料（調味料）の容器の座標系Σ_f1，Σ_f2……Σ_fnは補助材料が鍋に入れるために最適な位置にあるときのマニピュレータのハンドの座標系の位置に設定する．すなわち，材料を鍋に入れるときマニピュレータのハンドの座標系は主材料容器と補助材料容器の座標系に一致させる必要がある．コンロの火力はコンピュータ制御モーターによって調節する．

図１０は料理人が料理をする過程を記録する装置の電子回路図である．図１と図10を参照すると、カメラ１と画像処理ボード２とを接続し，料理人13が料理をしている画像をカメラ１により撮り，その画像を画像処理ボード２を経由し，コンピュータ３に取り込む．コンロのスイッチの開閉度合い，すなわち料理人の火力調節情報は角度センサ５（エンコーダなど）により検出し，A/D変換ボード９を経由してコンピュータ３に取り込む．補助材料（調味料）の使用量と時刻は電子秤７により検出し，その検出情報をA/D変換ボードを経由してコンピュータ３に入力する．主材料の容器8を動かすと光センサ12は容器８が動いたことを検出し、その検出信号に基づいてコンピューターインターフェース9によって，主材料の調理を始める時刻（材料を鍋に入れる時刻）をコンピューター３に入力する．以上の手法でコンピューターに取り込んだデータを用いて，一部分のマニュアル修正を加えて，適当なソフトによってロボット自動調理システムの制御プログラムを自動生成することができる．さらに，具体的な要求に加えて，より良い料理を作るためにプログラムの修正と調整が可能である．すなわち，本プログラムは教示する料理人の調理過程のミスや改良したい部分の修正が可能である．

図１１は自動調理システムの機械操作装置の電気回路図である。まず、作成した自動調理システムの制御プログラムをCD-ROMなどに入れ、中央制御器のコンピュータ33に挿入する。自動調理システムの電源をONにして、コンピュータ33は補助材料の使用量の信号をパルス信号発生器22を経由してモータードライバ23に入力し、補助材料の容器17の漏斗18のモーターを駆動し、補助材料を鍋に入れる。コンピュータ33は操作プログラムに設定した火力制御信号を信号発生器22を経由し、モータードライバ23に入力する。ドライバは制御信号に従ってコンロの火力を調整する。コンピューター33はマニピュレーターのハンド16に対する制御も同じである．すなわち，コンピューター33の制御信号はパルス信号発生器24を経由し，モータードライバ25に入力され，ハンド16を動かし主材料容器や鍋，フライ返しなどを把握する。マニピュレーターの各関節20の運動は、コンピューターの制御信号がA/D変換ボード26を経由してモータードライバ27に入力され、各関節20のモーターを駆動することによって行われる。マニピュレーターのモーター回転信号はモーターに取り付けているエンコーダーにより検出されて増幅器29を経由し，パルスカウンター28に入力され，マニピュレーターの各関節の運動についてフィードバック制御を行う．マニピュレーターはこの制御システムによって料理を作る全過程を完成する．

図１２はマニピュレーターの制御システムのブロック線図である。θ_r(k)は料理人調理過程検出システムによって得られた右側マニピュレーターの目標軌道（図７中の出力値）であり、左側も同じ制御システムである。このブロック線図はマニピュレーターを制御するためによく使われるPID制御システムである。目標軌道を確定すれば、各マニピュレーターは図12の制御法を用いて制御することができる。図12の中のθ_ro(k)はマニピュレーターの各関節の回転角度、θ^’ _ro(k)は各関節の回転角速度である。

以上に述べた様に，本発明の本質は料理人の動作をカメラが録画してから画像処理し（リアルタイムの画像処理も可能である），料理人が使用していた鍋とフライ返しに取り付けた三つの特殊標識の座標を求めることによって，料理人の調理過程の鍋とフライ返しの運動軌跡を算出できる．さらに，これらの運動軌跡を加えて，料理人が調理過程で使った主材料，調味料などの使用量と料理時間，使用時刻，火力の強さなどを計り，自動調理システムの制御プログラムを作成する．それから，本発明の自動調理装置が上述のプログラムを用いて料理人の料理調理過程を複製し，料理人と同じ料理を完成する．

料理人の調理法を記録する場面を示す． 自動調理システムの機械操作装置を示す． 基礎座標，カメラ座標，調理器具座標の設定法を示す． カメラ座標に対するある位置計算用標識Pの位置を示す． カメラ撮影素子座標に対する標識点Pの位置座標を示す． 特殊点の基礎座標に対する位置座標を示す． マニピュレーターの運動軌跡を計算するブロック線図. マニピュレーターの運動学モデルを示す． 自動調理システムの作動装置全部品の運動学モデルを示す． 料理人の調理過程を記録する装置の電子回路図． 自動調理システムの機械操作装置の電子回路図。 マニピュレーターの制御システムのブロック製図。

Claims (13)

1. 自動調理法を提案する．その特徴は以下の過程を含む．
   １） 料理人が準備する料理の各主材料と補助材料の種類と量を記録する；
   ２） 料理器具の運動軌跡を測定する；
   ３） 料理人が上述主材料と補助材料を調理する時刻と調理時間を測定する．
   ４） 料理人の料理調理時の火力に対する調節の時刻と火力の大きさを記録する．
   ５） 上述の測定データを用いて，自動料理システムの制御プログラムを作成する．
   ６） 上述プログラムを自動調理システムのコントローラーに入れ，料理人の調理過程を機械によって繰り返し行い，プログラムを改善する．
2. 請求項１に述べた自動調理法において，その特徴は，調理全過程の調理器具の運動軌跡は複数のカメラによって記録し，コンピューター画像処理によって算出されたものである．
3. 請求項１に述べた自動調理法において，その特徴は，各主材料の調理開始時刻は主材料容器の位置を測定するセンサによって測定する．すなわち，各主材料容器が元の位置から離れた時刻をその主材料の調理開始時刻とする．
4. 請求項１に述べた自動調理法において，その特徴は，各調味料の添加量はそれぞれの容器に取り付けた電子計りによって測定しコンピューターに入力される．各調味料の添加時刻は電子計りが測定した調味料の重量変化時刻とし，コンピューターによって記録する．
5. 請求項１に述べた自動調理法において，その特徴は，料理人のコンロに対する火力の調節量と調節時刻はコンロの火力調節器に取り付けた回転角度センサによって測定し，コンピューターに入力される．鍋の温度は鍋の上に取り付けた熱電対などの温度センサによって測定しコンピューターに入力される．
6. 自動調理システムを提案する．その特徴は本自動調理システムが料理人の調理過程を記録するシステムと記録した調理過程を再現するシステムの両方を含めている．本システムの記録システムは以下の装置を含む．
   １） 料理人が準備した主材料と補助材料（調味料など）の品種と数量を記録する主補材料記録装置．
   ２） 主材料と補助材料の調理時刻を記録する時間記録装置．
   ３） 調理器具の運動軌跡を測定する器具運動軌跡測量装置．
   ４） 料理人がコンロの火力の大きさを調節する調節量と時刻を記録する火力記録装置．
   ５） 上述測定したデータを処理し，自動調理システムの制御プログラムを作成する制御プログラム作成装置．
   本システムの自動調理再現システムは以下の装置を含む．
   １） 上述制御プログラムを装入可能なシステム制御コントローラー．
   ２） 上述システム制御コントローラーにより制御可能で，料理人の動作を模擬できるマニピュレーター．
   ３） システム制御コントローラーにより制御可能なコンロの火力を調節する火力制御装置．
   ４） システム制御コントローラーにより制御可能主材料と補助材料の供給装置．
7. 請求項６に述べた自動調理法において，その特徴は，調理全過程を録画できる複数のカメラと画像処理装置を含む調理器具の運動軌跡を自動的に測定できる画像記録解析装置を備え、この装置をを自動調理再現システムにも利用し，調理過程の自動監視と異常時の自動消火及び警報の装置とする．
8. 請求項６に述べた自動調理法において，その特徴は，補助材料(調味料など)記録装置は調味料容器の下に付く電子計り及び電子計りの信号をコンピューターに入力するためのインターフェースである．
9. 請求項６に述べた自動調理法において，その特徴は，火力記録装置はコンロのスイッチの回転角度を測る回転角センサ及び回転角センサの信号をコンピューターに入力するためのインターフェースである．
10. 請求項６に述べた自動調理法において，その特徴は，そのマニピュレーターは少なくとも主に鍋を把握するためのマニピュレーターと主にフライ返しを把握するためのマニピュレーターそれぞれ１台を備えている。
11. 請求項６に述べた自動調理法において，その特徴は，その火力制御装置はシステム制御コントローラーに制御可能なモーターによって駆動する．
12. 請求項６に述べた自動調理法において，その特徴は，その調味料供給装置はシステム制御コントローラーに制御可能なモーターによって駆動し調味料を供給する．
13. 請求項６に述べた自動調理法、その特徴は、鍋などの料理器具をマニピュレーターによって任意の動作を実現でき、マニピュレータの各関節はシステム制御コントローラに制御可能なモーターによって駆動する。

Images