JP7117104B2

JP7117104B2 - 電子小規模操作ライブラリを用いて計装環境内でドメイン特定アプリケーションを実行するためのロボット操作方法及びシステム

Info

Publication number: JP7117104B2
Application number: JP2017513017A
Authority: JP
Inventors: マルクオレイニク
Original assignee: エムビーエルリミテッド
Priority date: 2014-09-02
Filing date: 2015-08-19
Publication date: 2022-08-12
Anticipated expiration: 2035-08-19
Also published as: US20220305648A1; US20200030971A1; CN107343382B; RU2017106935A; JP2022115856A; US11707837B2; SG11201701093SA; RU2017106935A3; JP2017536247A; KR102586689B1; KR20210097836A; US11738455B2; CA2959698A1; AU2015311234B2; KR20220028104A; AU2020226988B2; US20160059412A1; CN112025700A; SG10202000787PA; AU2020226988A1

Description

〔関連出願への相互参照〕
本出願は、２０１５年２月２０日に出願された「ロボット調理キッチン内の食品調製のための方法及びシステム（ＭｅｔｈｏｄｓａｎｄＳｙｓｔｅｍｓｆｏｒＦｏｏｄＰｒｅｐａｒａｔｉｏｎｉｎａＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の同時係属の米国特許出願第１４／６２７，９００号の一部継続出願である。

この一部継続出願は、２０１５年８月６日に出願された「電子小規模操作ライブラリに基づくロボット操作方法及びシステム（ＲｏｂｏｔｉｃＭａｎｉｐｕｌａｔｉｏｎＭｅｔｈｏｄｓａｎｄＳｙｓｔｅｍｓＢａｓｅｄｏｎＥｌｅｃｔｒｏｎｉｃＭｉｎｉ－ＭａｎｉｐｕｌａｔｉｏｎＬｉｂｒａｒｉｅｓ）」という名称の米国仮特許出願第６２／２０２，０３０号、２０１５年７月７日に出願された「電子小規模操作ライブラリに基づくロボット操作方法及びシステム（ＲｏｂｏｔｉｃＭａｎｉｐｕｌａｔｉｏｎＭｅｔｈｏｄｓａｎｄＳｙｓｔｅｍｓＢａｓｅｄｏｎＥｌｅｃｔｒｏｎｉｃＭｉｎｉ－ＭａｎｉｐｕｌａｔｉｏｎＬｉｂｒａｒｉｅｓ）」という名称の米国仮特許出願第６２／１８９，６７０号、２０１５年５月２７日に出願された「電子小規模操作ライブラリに基づくロボット操作方法及びシステム（ＲｏｂｏｔｉｃＭａｎｉｐｕｌａｔｉｏｎＭｅｔｈｏｄｓａｎｄＳｙｓｔｅｍｓＢａｓｅｄｏｎＥｌｅｃｔｒｏｎｉｃＭｉｎｉ－ＭａｎｉｐｕｌａｔｉｏｎＬｉｂｒａｒｉｅｓ）」という名称の米国仮特許出願第６２／１６６，８７９号、２０１５年５月１３日に出願された「電子小規模操作ライブラリに基づくロボット操作方法及びシステム（ＲｏｂｏｔｉｃＭａｎｉｐｕｌａｔｉｏｎＭｅｔｈｏｄｓａｎｄＳｙｓｔｅｍｓＢａｓｅｄｏｎＥｌｅｃｔｒｏｎｉｃＭｉｎｉ－ＭａｎｉｐｕｌａｔｉｏｎＬｉｂｒａｒｉｅｓ）」という名称の米国仮特許出願第６２／１６１，１２５号、２０１５年４月１２日に出願された「電子小規模操作ライブラリに基づくロボット操作方法及びシステム（ＲｏｂｏｔｉｃＭａｎｉｐｕｌａｔｉｏｎＭｅｔｈｏｄｓａｎｄＳｙｓｔｅｍｓＢａｓｅｄｏｎＥｌｅｃｔｒｏｎｉｃＭｉｎｉ－ＭａｎｉｐｕｌａｔｉｏｎＬｉｂｒａｒｉｅｓ）」という名称の米国仮特許出願第６２／１４６，３６７号、２０１５年２月１６日に出願された「ロボット調理キッチン内の食品調製のための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＦｏｏｄＰｒｅｐａｒａｔｉｏｎｉｎａＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／１１６，５６３号、２０１５年２月８日に出願された「ロボット調理キッチン内の食品調製のための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＦｏｏｄＰｒｅｐａｒａｔｉｏｎｉｎａＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／１１３，５１６号、２０１５年１月２８日に出願された「ロボット調理キッチン内の食品調製のための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＦｏｏｄＰｒｅｐａｒａｔｉｏｎｉｎａＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／１０９，０５１号、２０１５年１月１６日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／１０４，６８０号、２０１４年１２月１０日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０９０，３１０号、２０１４年１１月２２日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０８３，１９５号、２０１４年１０月３１日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０７３，８４６号、２０１４年９月２６日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０５５，７９９号、２０１４年９月２日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０４４，６７７号に対する優先権を主張するものである。

米国特許出願第１４／６２７，９００号は、２０１５年２月１６日に出願された「ロボット調理キッチン内の食品調製のための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＦｏｏｄＰｒｅｐａｒａｔｉｏｎｉｎａＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／１１６，５６３号、２０１５年２月８日に出願された「ロボット調理キッチン内の食品調製のための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＦｏｏｄＰｒｅｐａｒａｔｉｏｎｉｎａＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／１１３，５１６号、２０１５年１月２８日に出願された「ロボット調理キッチン内の食品調製のための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＦｏｏｄＰｒｅｐａｒａｔｉｏｎｉｎａＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／１０９，０５１号、２０１５年１月１６日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／１０４，６８０号、２０１４年１２月１０日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０９０，３１０号、２０１４年１１月２２日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０８３，１９５号、２０１４年１０月３１日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０７３，８４６号、２０１４年９月２６日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０５５，７９９号、２０１４年９月２日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０４４，６７７号、２０１４年７月１５日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０２４，９４８号、２０１４年６月１８日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０１３，６９１号、２０１４年６月１７日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０１３，５０２号、２０１４年６月１７日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６２／０１３，１９０号、２０１４年５月８日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６１／９９０，４３１号、２０１４年５月１日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６１／９８７，４０６号、２０１４年３月１６日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６１／９５３，９３０号、２０１４年２月２０日に出願された「ロボット調理キッチンのための方法及びシステム（ＭｅｔｈｏｄａｎｄＳｙｓｔｅｍｆｏｒＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の米国仮特許出願第６１／９４２，５５９号に対する優先権を主張するものである。

前述の開示の全てのものの主題は、その全体が引用によって本明細書に組み込まれている。

本発明の開示は、一般的に、ロボット工学と人工知能（ＡＩ）との学際的分野に関し、より具体的には、実時間電子調節を用いて移動、プロセス、及び技術を再現するための変換ロボット命令を有する小規模操作の電子ライブラリを用いるコンピュータ式ロボットシステムに関する。

ロボット工学における研究開発は数十年にわたって行われてきたが、その進歩は、大部分が自動車製造自動化又は軍事用途のような重工業用途におけるものであった。消費者市場のための簡易的なロボットシステムが設計されはしたが、これまでのところ家庭消費者ロボット空間における幅広い用途は見られていない。技術の進歩と高収入人口とがあいまって、この市場は、人々の生活を改善するための技術進歩の機会を創出するのに熟していると考えられる。ロボット工学は、ロボット装置又は人間型ロボットを作動させる上で高度な人工知能と多くの形態にある人間の技能及びタスクの模倣とによって自動化技術を改善し続けてきた。

米国非仮特許出願第１４／６２７，９００号明細書

Ｇａｒａｇｎａｎｉ，Ｍ．著（１９９９年）「処理対象ドメイン公理設計の効率の改善（ＩｍｐｒｏｖｉｎｇｔｈｅＥｆｆｉｃｉｅｎｃｙｏｆＰｒｏｃｅｓｓｅｄＤｏｍａｉｎ－ａｘｉｏｍｓＰｌａｎｎｉｎｇ）」、ＰＬＡＮＳＩＧ－９９会報、英国マンチェスター、１９０～１９２ページＬｅａｋｅ著資料（１９９６年書籍）「事例に基づく推論：経験、レッスン、及び将来の方向性（Ｃａｓｅ－ＢａｓｅｄＲｅａｓｏｎｉｎｇ：Ｅｘｐｅｒｉｅｎｃｅｓ，ＬｅｓｓｏｎｓａｎｄＦｕｔｕｒｅＤｉｒｅｃｔｉｏｎｓ）」、ｈｔｔｐ：／／ｊｏｕｒｎａｌｓ．ｃａｍｂｒｉｄｇｅ．ｏｒｇ／ａｃｔｉｏｎ／ｄｉｓｐｌａｙＡｂｓｔｒａｃｔ？ｆｒｏｍＰａｇｅ＝ｏｎｌｉｎｅ＆ａｉｄ＝４０６８３２４＆ｆｉｌｅＩｄ＝Ｓ０２６９８８８９００００６５８５ｄｌ．ａｃｍ．ｏｒｇ／ｃｉｔａｔｉｏｎ．ｃｆｍ？ｉｄ＝５２４６８０Ｃａｒｂｏｎｅｌｌ著資料（１９８３年）「類推による学習：過去の経験からの計画の策定及び一般化（ＬｅａｒｎｉｎｇｂｙＡｎａｌｏｇｙ：ＦｏｒｍｕｌａｔｉｎｇａｎｄＧｅｎｅｒａｌｉｚｉｎｇＰｌａｎｓｆｒｏｍＰａｓｔＥｘｐｅｒｉｅｎｃｅ）」、ｈｔｔｐ：／／ｌｉｎｋ．ｓｐｒｉｎｇｅｒ．ｃｏｍ／ｃｈａｐｔｅｒ／１０．１００７／９７８－３－６６２－１２４０５－５＿５Ｋａｍａｋｕｒａ、Ｎｏｒｉｋｏ、ＭｉｃｈｉｋｏＭａｔｓｕｏ、ＨａｒｕｍｉＩｓｈｉｉ、ＦｕｍｉｋｏＭｉｔｓｕｂｏｓｈｉ、及びＹｏｒｉｋｏＭｉｕｒａ著資料「通常のハンドにおける静的捕捉パターン（Ｐａｔｔｅｒｎｓｏｆｓｔａｔｉｃｐｒｅｈｅｎｓｉｏｎｉｎｎｏｒｍａｌｈａｎｄｓ）」、ＡｍｅｒｉｃａｎＪｏｕｒｎａｌｏｆＯｃｃｕｐａｔｉｏｎａｌＴｈｅｒａｐｙ３４（米国作業療法ジャーナル３４）、第７号（１９８０年）：４３７～４４５ページＡ．Ｋａｐａｎｄｊｉ著資料「関節生理学、第１巻：上肢、６ｅ（ＴｈｅＰｈｙｓｉｏｌｏｇｙｏｆｔｈｅＪｏｉｎｔｓ，Ｖｏｌｕｍｅ１：ＵｐｐｅｒＬｉｍｂ、６ｅ）」、ＣｈｕｒｃｈｉｌｌＬｉｖｉｎｇｓｔｏｎｅ、第６版、２００７年

ロボットが最初に１９７０年代に開発されて以来、ロボットがある一定の分野において人間に入れ替わり、一般的に人間が実施することになるタスクを実施するという概念は、継続的に発展する観念形態である。製造部門は、休止又はオフライン固定軌道の生成及びダウンロードによってどの動きを変更又は逸脱なしに継続的に複写すべきかをロボットが教示される教示－再生モードでロボットを長い間用いてきた。企業は、コンピュータが教示する軌道の事前プログラムされた軌道実行及びロボット動き再生を飲料の混合、溶接、又は自動車塗装等のような用途ドメインに取り入れてきた。しかし、これらの従来の用途の全ては、ロボットに動き指令を忠実に実行させることだけを目論み、ロボットが大抵は教示／事前計算された軌道を逸脱せずに辿る１：１のコンピュータからロボットへの原理又は教示－再生原理を用いている。

本発明の開示の実施形態は、シェフが食品料理を調製した場合と実質的に同じ結果を伴う食品料理を再現するロボット命令を用いるロボット装置の方法、コンピュータプログラム製品、及びコンピュータシステムに関する。第１の実施形態において、標準化ロボットキッチン内のロボット装置は、シェフの詳細な移動を同じシーケンス（又は実質的に同じシーケンス）で再現する２つのロボットアーム及びハンドを含む。２つのロボットアーム及びハンドは、食品料理を調製する移動を同じ食品料理を調製する際のシェフの詳細な移動の過去に記録されたソフトウェアファイル（レシピスクリプト）に基づいて同じタイミング（又は実質的に同じタイミング）で再現する。第２の実施形態において、センサが備え付けられた調理装置上でシェフが食品料理を調製する時にコンピュータが経時的にセンサ値を記録するセンサを有する調理装置を用いて、過去にシェフが食品料理を調製した際にソフトウェアファイル内に記録された経時的温度等の感知曲線に基づいてコンピュータ制御式調理装置が同じ食品料理を調製する。第３の実施形態において、キッチン装置は、料理を調製するために第１の実施形態におけるロボットアームと、第２の実施形態におけるセンサを有する調理装置とを含み、それによってロボットアームと１又は２以上の感知曲線との両方が組み合わせられ、ロボットアームは、調理プロセス中に味、匂い、及び外観等の特性について品質チェックを行うことができ、食品料理の調製段階に対するあらゆる調理の調節が可能になる。第４の実施形態において、キッチン装置は、ユーザがシェフの調理指示に従うことによって食品料理を調製するために食材を保管及び供給するためのコンピュータ制御式容器と容器識別子とを用いる食品ストレージシステムを含む。第５の実施形態において、ロボット調理キッチンは、アームを有するロボットとキッチン装置とを含み、ロボットは、キッチン装置の周りを移動回り、レシピスクリプト内に定義された調製プロセスに対して可能な実時間修正／適応化を含むシェフの詳細な調理の移動を模倣することによって食品料理を調製する。

ロボット調理エンジンは、検出、記録、シェフ模倣調理の移動、温度及び時間等の重要なパラメータの制御、並びに指定された器具、機材、及びツールを用いる実行の処理を含み、それによってシェフによって調製される同じ料理と同一な味の美食料理が再現され、特定の好適な時間に配膳される。一実施形態では、ロボット調理エンジンは、同一な味の料理を生成するために同じ食材及び技術を用いてシェフの同一な移動を再現するためのロボットアームを提供する。

本発明の開示の根底に流れる動機は、人間をその活動の自然な実行中にセンサを用いて監視し、続いて１又は２以上のロボットシステム及び／又は自動化システムを用いて人間の活動を再現するための情報及び指令を発生させるために監視センサ、取り込みセンサ、コンピュータ、及びソフトウェアを用いることができるということを基軸とする。複数のそのような活動（例えば、調理、描画、楽器演奏等）を想像することができるが、本発明の開示の一態様は、食物を調理すること、基本的にロボット食物調製用途に関するものである。計装された用途特定環境（この事例では標準化ロボットキッチン）内で人間シェフを監視する段階が実施され、この段階は、ロボットキッチン内のロボットシステム又は自動化システムが人間シェフによって調製される料理と規格及び品質に関して同じ料理を調製することを可能にすることができる環境内の変動及び変化に対してロバストなロボット実行可能指令セットを開発するために、センサとコンピュータとを用いて人間シェフの動き及び動作を注視、監視、記録、及び解釈する段階を含む。

マルチモード感知システムの使用は、必要な生データを収集する手段である。そのようなデータを収集して供給することができるセンサは、２次元センサ（カメラ等）及び３次元センサ（レーザ、ソナー等）、人間の動き取り込みシステム（人間が着用するカメラ－ターゲット、計装スーツ／外骨格、計装グローブ等）、並びにレシピの作成及び実行中に使用される計装機材（センサ）及び動力付き機材（アクチュエータ）（計装された器具、調理機材、ツール、食材ディスペンサ等）等の環境センサ及び幾何学センサを含む。これら全てのデータは、１又は２以上の分散／中央コンピュータによって収集され、様々なソフトウェアプロセスによって処理される。アルゴリズムは、人間とコンピュータ制御式ロボットキッチンとが特定のシェフの重要な技能の再現を含む人間によって採られる活動、タスク、動作、機材、食材、方法、及びプロセスを理解することができる点に達するまで、これらのデータを処理及び抽象化することになる。生データは、１又は２以上のソフトウェア抽象化エンジンにより、人間が解読可能であり、それと共に更に別の処理を通じて機械理解可能かつ機械実行可能であり、ロボットキッチンが実行することが必要となる特定のレシピの全ての段階に関する全ての動作及び動きを明記するレシピスクリプトを作成するように処理される。これらの指令は、複雑度において、レシピ内の特定の段階に関連して個々の関節を制御することから特定の経時的関節動きプロファイルに至るまで、更に内部に低レベル動き実行指令が埋め込まれた抽象化指令レベルに至るまでの範囲にわたる。抽象化動き指令（例えば、「卵を平鍋の中に割り入れる」、「両面が黄金色になるまで表面を焼く」等）は生データから生成され、実時間及び／又はオフラインで実施される多数の反復学習プロセスを通じて精度を上げて最適化することができ、それによってロボットキッチンシステムが、測定の不確実性、食材の変化等に首尾良く対処することが可能になり、かなりの抽象化／高レベルの指令（例えば、「ハンドルによって深鍋を掴め」、「中身を注ぎ出せ」、「カウンター台からスプーンを掴み取ってスープを撹拌せよ」等）に基づいて、ロボットアームに装着された指付きハンドと手首とを用いた複合的（適応的）小規模操作動きが可能になる。

デジタルファイル内にこの時点で含まれる機械実行可能指令シーケンスを作成する能力は、共有／送信することができ、それによってあらゆるロボットキッチンがこれらのシーケンスを実行することが可能になり、あらゆる場所であらゆる時間に料理調製を実行するオプションが開かれる。従ってレシピをオンラインで購入／販売するオプションが与えられ、それによってユーザが使用毎又は購読ベースでレシピにアクセスし、配信することが可能になる。

人間によって調製される料理の再現は、ここでは人間の動作がロボットのアーム及びハンドのセット、コンピュータ監視されるコンピュータ制御可能な器具、機材、ツール、ディスペンサ等によって実施されることを除いて、基本的に料理の作成中に人間シェフによって使用される計装キッチンの標準化複製物であるロボットキッチンによって実施される。従って、料理再現忠実度は、人間シェフの料理の調製中に観察されるキッチン（及びその全ての要素及び食材）の複製物であるロボットキッチンのその程度に密に結び付けられる。

広義に述べると、ロボットオペレーティングシステム（ＲＯＳ）によってロボット命令を用いて作動されるロボットコンピュータコントローラを有する人間型ロボットは、複数の小規模操作要素を各々が含む複数の電子小規模操作ライブラリを有するデータベースを備える。複数の電子小規模操作ライブラリは、１又は２以上の機械実行可能用途特定命令セットを発生させるために組み合わせることができ、電子小規模操作ライブラリ内の複数の小規模操作要素は、１又は２以上の機械実行可能用途特定命令セットを発生させるために組み合わせることができ、ロボット構造体は、多関節ネックを通じてヘッドに接続された上側本体及び下側本体を有し、上側本体は、胴体、肩、腕、及び手を含み、制御システムは、データベース、感知システム、センサデータ解釈システム、動き立案器、及びアクチュエータ及び関連のコントローラに通信的に結合され、ロボット構造体を作動させるために用途特定命令セットを実行する。

これに加えて、本発明の開示の実施形態は、１又は２以上の小規模操作ライブラリからのロボット命令を実行するためのロボット装置の方法、コンピュータプログラム製品、及びコンピュータシステムに関する。要素パラメータ及び用途パラメータという２つのタイプのパラメータが小規模操作の作動に影響を与える。小規模操作の作成フェーズ中に、要素パラメータは、上首尾の小規模操作を生成する様々な組み合わせ、パラメータ、及び自由度を試験する変数を与える。小規模操作の実行フェーズ中に、用途パラメータは、１又は２以上の小規模操作ライブラリを食品調製、寿司を握ること、ピアノ演奏、描画、書籍を選び出すこと、及びその他のタイプの用途等の特定の用途に適合させるようにプログラマブルであり、又はそのようにカスタム化することができる。

小規模操作は、人間型ロボットに対して一般的な実例経由プログラマブルなプラットフォームを作成する新しい手法を含む。現行技術は、ロボット動作又は動作シーケンスの各全ての段階に対して専門プログラマーによる制御ソフトウェアの明白な開発をほぼ必要とする。上記に対する例外は、模倣による学習の基本原理が存在する工場での組み立て等の非常に反復的な低レベルタスクに関するものである。小規模操作ライブラリは、調理、虚弱者の介護、又は次世代の人間型ロボットによって実施されるその他のタスク等の複雑なタスクに対する共通の構築ブロックであるより高いレベルの感知及び実行シーケンスの大きい一組を与える。より具体的には、従来技術とは異なり、本発明の開示は、以下に続く特有の特徴を与える。第１に、小規模操作と呼ぶ事前定義／事前学習された感知と動作とのシーケンスの潜在的に非常に大きいライブラリ。第２に、各小規模操作が、首尾良く望ましい機能結果（すなわち事後条件）を明確に定義された成功確率（例えば、小規模操作の複雑度及び難度に依存して１００％又は９７％）で生成するように感知と動作とのシーケンスに必要とされる事前条件をコード化すること。第３に、各小規模操作が、その動作を実行する前に先験的に又は感知作動によって設定することができる値を有する変数セットを参照すること。第４に、各小規模操作が、その動作シーケンスを実行した機能結果（事後条件）を表す変数セットの値を変更すること。第５に、感知と動作とのシーケンスを決定し、変数に対して受け入れ可能な値の範囲を決定するために、人間の指導者（例えば熟練シェフ）の繰り返し観測によって小規模操作を得ることができること。第６に、食事を調製すること又は部屋を掃除すること等の一部始終のタスクを実施するより大きいユニットへと小規模操作を構成することができること。これらのより大きいユニットは、厳密なシーケンスか、並列か、又は一部の段階が他のものの前に発生しなければならないが、全面的に順序付けられたシーケンスではない（例えば、所与の料理を調製するために、３つの食材を正確な量でミキシングボウル内に合わせ入れて混ぜる必要があり、各食材をボール内に入れる順序は限定されないが、全てを混ぜ合わせの前に入れなければならない）部分的順序を守るかのいずれかにおける小規模操作のマルチステージ適用であること。第７に、一部始終のタスクへの小規模操作の組み立てが、構成要素小規模操作の事前条件及び事後条件を算入するロボット計画によって実施されること。第８に、再使用可能ロボット計画のライブラリを得るために一部始終のタスクを実施する人間又はそれを行う他のロボット又は同じロボットの過去の経験の観測を用いることができる事例ベースの推論が、再現するための上首尾のものと、何を回避すべきかを学習するための失敗したものとの両方である事例（一部始終のタスクを実施する特定の具体例）を形成すること。

本発明の開示の第１の態様において、ロボット装置は、１又は２以上の小規模操作ライブラリにアクセスすることにより、食品調製、ピアノ演奏、又は描画等の人間技能の作動を再現することによってタスクを実施する。ロボット装置の再現プロセスは、シェフが特定の料理を調製するために１対の手をどのように用いるか、又はピアノの名演奏家がピアノ名作を１対の手を使って（更に場合によっては足及び身体動きも使って）どのように演奏するかといった１対の手を使った人間の知能セット又は技能セットの移行を模擬する。本発明の開示の第２の態様において、ロボット装置は、プログラマブル又はカスタム化可能な心理的、感情的、及び／又は機能的に快適なロボットを提供し、それによってユーザに喜びを与えるように設計された家庭用途向け人間型ロボットを提供する。本発明の開示の第３の態様において、１又は２以上の小規模操作ライブラリは、第１に１又は２以上の基本小規模操作ライブラリとして、第２に１又は２以上の用途特定小規模操作ライブラリとして作成され、かつ実行される。１又は２以上の基本小規模操作ライブラリは、人間型ロボット又はロボット装置の要素パラメータ及び自由度に基づいて作成される。人間型ロボット又はロボット装置は、１又は２以上の基本小規模操作ライブラリをプログラム又はカスタム化して人間型ロボット又はロボット装置の作動能力においてユーザの要求に特化して適合された１又は２以上の用途特定小規模操作ライブラリになることができるようにプログラマブルである。

本発明の開示の一部の実施形態は、コンピュータコード化ロボット移動及び動作プリミティブセットに基づく動作及び挙動を有する人間型ロボットに対する移動を自動的に構築することによって複雑な人間型ロボットの移動、動作、及びツール及び環境との相互作用を作成することができる能力に関連する技術的特徴に関する。プリミティブは、複雑度において単純なものから複雑なものまでの範囲にわたる多関節自由度の動き／動作によって定義され、直列／並列方式のあらゆる形態で組み合わせることができる。これらの動きプリミティブを小規模操作（ＭＭ）と呼び、各ＭＭは、ある一定の機能を達成することが目論まれる明確な時間インデックス付き指令入力構造及び出力挙動／成果プロファイルを有する。ＭＭは、単純なもの（「単一の指関節を１度だけ回転させる」）からより入り組んだもの（「道具を把持する」等の）、更に一層複雑なもの（「ナイフを取り出してパンを切断する」）、かなり抽象的なもの（「シューベルトのピアノコンチェルト１番の最初の小節を演奏する」）までの範囲にわたるものとすることができる。

このようにＭＭは、ソフトウェアベースのものであり、様々な小規模操作ライブラリ（ＭＭＬ）の集合と呼ぶ様々な異なるソフトウェアライブラリ内に集約及び収集することができるオブジェクトコードをコンパイル時に生成する個別ランタイムソースコード内に含まれる入力／出力データファイル及びサブルーチンを有する個別プログラムに似た入力及び出力のデータセット、内在的処理アルゴリズム、及び成果記述子によって表される。ＭＭＬは、それが（ｉ）特定のハードウェア要素（指／手、手首、腕、胴体、足、脚等）、（ｉｉ）挙動要素（接触、把持、取り扱い等）、又は更に（ｉｉｉ）用途ドメイン（調理、描画、楽器演奏等）のいずれに関連付けられるかで複数の群に分類することができる。更にこれらの群の各々の内部では、ＭＭＬは、望ましい挙動の複雑度に関連する複数のレベル（単純なものから複雑なものまで）に基づいて配列することができる。

従って、小規模操作（ＭＭ）（定義及び関連付け、測定変数、制御変数、及びこれらの組合せ、並びに値の使用及び修正等）及びほぼ無限の組合せにおける複数のＭＭＬの使用によるＭＭの実装の設計構想は、単一の関節（指関節等）から関節の組合せ（指及び手、腕等）までの範囲にわたるレベルにおける１又は２以上の自由度（アクチュエータの制御下で可動な関節）からロボットシステムによってツール、道具、及びその他の品目を用いて周囲の世界に対してかつそれと共に望ましい機能又は出力を実施することができるように自由空間内で望ましい上首尾の移動シーケンスを取得し、実世界との望ましい度合いの相互作用を得るシーケンス及び組合せにおける更に一層高い自由度システム（胴体、上側本体等）までの基本挙動（移動及び相互作用）の定義及び制御に関連することを理解すべきである。

上記の定義に関する例は、（ｉ）指がテーブルに沿ってビー玉をはじき飛ばすための単純な指令シーケンスから、（ｉｉ）道具を用いて深鍋の中の液体を撹拌すること、及び（ｉｉｉ）楽器（バイオリン、ピアノ、ハープ等）で楽曲を演奏することまでの範囲にわたるものとすることができる。基本概念は、ＭＭが、連続する時点においてシーケンス及びパラレルで実行されるＭＭ指令セットによって複数のレベルで表され、連携して望ましい結果（パスタソースを調理すること、バッハのコンチェルト曲を演奏すること等）を得るための望ましい機能（液体を混ぜること、バイオリンに弓を当てること等）に到達する移動及び動作／外界との相互作用を作成することである。

低レベルから高レベルまでのあらゆるＭＭシーケンスの基本要素は、各サブシステムに対する移動を含み、その組合せは、アクチュエータパワーの下で必要に応じるようなシーケンスで関節動作する１又は２以上の関節によって実行される指令された位置／速度及び力／トルクのセットとして記述される。各ＭＭシーケンス内に記述され、各関節コントローラ及びより高いレベルの挙動コントローラに内在する局所及び広域の制御アルゴリズムによって強制される閉ループ挙動を通じて各多関節関節実行の忠実度が保証される。

上記の移動（関節の位置及び速度によって記述される）及び環境相互作用（関節／接合部のトルク及び力によって記述される）の実装は、必要とされる全ての変数（位置／速度及び力／トルク）に対する望ましい値をコンピュータに再生させ、各時間段階においてこれらの値を時間の関数として各関節上に忠実に実装するコントローラシステムにこれらの値を供給することによって達成される。これらの変数及びそのシーケンス並びにフィードバックループは（従ってデータファイルだけではなく制御グラムも）、指令された移動／相互作用の忠実度を確実にするために、多レベルＭＭＬへと組み合わせられるデータファイル内に全て記述され、これらのデータファイルは、人間型ロボットが、食事を調理すること、ピアノでクラシック楽曲を演奏すること、虚弱者をベッドの内外へと持ち上げること等のような複数の動作を実行することを可能にするために複数の手法でアクセス及び組み合わせることができる。単純な基礎的移動／相互作用を記述するＭＭＬが存在し、更にこれらのＭＭＬは、「把持する」、「持ち上げる」、「切断する」等の更に高いレベルの小規模操作から「深鍋の中の液体を撹拌する」／「ハープの弦をｇフラットで弾き鳴らす」等のより高いレベルのプリミティブ、又は「ビネグレットドレッシングを作る」／「ブルターニュ地方の夏の風景を描画する」／「バッハのピアノコンチェルト１番を演奏する」等のようなより一層高いレベルの動作までを記述するより一層高いレベルのＭＭＬに対する構築ブロックとして用いられる。より高いレベルの指令は、単に、シーケンス／経路／相互作用プロファイルを実行する立案器セットと、必要とされる実行忠実度（各ＭＭシーケンス内に含まれる出力データ内に定義される）を確実にするためのフィードバックコントローラとの組合せによって監督される共通の計時段階状シーケンスに沿って実行される直列／並列のより低いレベル及び中レベルのＭＭプリミティブのシーケンスに向けた組合せである。

望ましい位置／速度及び力／トルクに対する値並びに再生シーケンスは、複数の手法で得ることができる。１つの可能な手法は、同じタスクを実施する人間の動作及び移動を注視して抜き出し、観測データ（ビデオ、センサ、モデル化ソフトウェア等）から必要な変数及びその値を時間の関数として抜き出し、特化されたソフトウェアアルゴリズムを用いて必要とされるＭＭデータ（変数、シーケンス等）を様々なタイプの低レベルから高レベルまでのＭＭＬへと抜き出すことによってこれらの変数及び値を異なるレベルにある異なる小規模操作に関連付けることによるものである。この方式は、コンピュータプログラムがＭＭＬを自動的に生成し、いかなる人間の関与も伴わずに全てのシーケンス及び関連付けを自動的に定義することを可能にすることになる。

別の手法は、タスク特定のＭＭＬを生成するのに適正なシーケンス及び組合せを構築するために、動作可能シーケンスのうちで必要とされるシーケンスを現存する低レベルＭＭＬを用いてどのように構築するかをオンラインデータ（ビデオ、写真、音の記録等）から学習することであると考えられる（この場合も特化されたアルゴリズムを用いた自動化コンピュータ制御プロセスを用いて）。

更に別の手法は、間違いなく非効率的（時間的に）でそれ程コスト効果的ではないものの、この場合も既存の低レベルＭＭＬで構成されたより複雑なタスクシーケンスを得るために、人間のプログラマーが低レベルＭＭプリミティブセットを組み立ててより高いレベルのＭＭＬ内により一層高いレベルの動作／シーケンスセットを発生させることであると考えられる。

個々の変数（すなわち、各区分的時間間隔における関節の位置／速度及びトルク／力、並びにそれに関連する利得及び組み合わせアルゴリズム）及び動き／相互作用シーケンスへの修正及び改善も可能であり、多くの異なる手法で行うことができる。低レベルから高レベルまでの範囲にわたるレベルの様々なＭＭＬにおいてより高いレベルの実行忠実度を得るために、学習アルゴリズムに各全ての動き／相互作用シーケンスを監視させ、結果を確認するための簡単な変数摂動を実施させて、変数及びシーケンスを修正すべきかどうか／どのように修正すべきか／いつ修正すべきか／そのうちのどれを修正すべきかを決定することができる。そのようなプロセスは完全に自動のものとなり、相互接続された複数のプラットフォームにわたって更新データセットを交換することを可能にし、それによってクラウドコンピューティングによる大規模に並列なクラウドベースの学習を可能にする。

有利なことに、標準化ロボットキッチン内のロボット装置は、一タイプの食事様式に特化している可能性があるシェフと比較して、世界的ネットワーク及びデータベースアクセスを通じて世界中からの多彩な食事様式を調製する能力を有する。標準化ロボットキッチンは、同じ料理を繰り返し調製するのに苦労する繰り返しプロセスなしに、食品料理を楽しむことが望まれた時点でのロボット装置による再現に向けてこの食品料理を取り込んで記録することもできる。

本発明の開示の構造及び方法を下記の説明において詳細に開示する。この要約は、本発明の開示を定義することを意図したものではない。本発明の開示は、特許請求の範囲によって定義される。本発明の開示の上記及び他の実施形態、特徴、態様、及び利点は、以下に続く説明、添付の特許請求の範囲、及び添付図面を精査することによってより明快に理解されることになるであろう。

本発明の開示をその特定の実施形態に関して以下に説明し、以下に続く図面を参照することになる。

本発明の開示によるハードウェア及びソフトウェアを用いる全体的ロボット食品調製キッチンを例示するシステム図である。本発明の開示によるシェフスタジオシステムと家庭用ロボットキッチンシステムとを含む食品ロボット調理システムの第１の実施形態を例示するシステム図である。本発明の開示によるシェフのレシピプロセス、技術、及び移動を再現することによって料理を調製するための標準化ロボットキッチンの一実施形態を例示するシステム図である。本発明の開示によるシェフスタジオシステム及び家庭用ロボットキッチンシステム内でのコンピュータとの併用のためのロボット食品調製エンジンの一実施形態を例示するシステム図である。本発明の開示によるシェフスタジオレシピ作成プロセスを例示するブロック図である。本発明の開示による標準化教示／再生ロボットキッチンの一実施形態を例示するブロック図である。本発明の開示によるレシピスクリプト生成抽象化エンジンの一実施形態を例示するブロック図である。本発明の開示による標準化ロボットキッチン内での物体操作のためのソフトウェア要素を例示するブロック図である。本発明の開示によるマルチモード感知及びソフトウェアエンジンアーキテクチャを例示するブロック図である。本発明の開示によるシェフによって使用される標準化ロボットキッチンモジュールを例示するブロック図である。本発明の開示による１対のロボットのアーム及びハンドを有する標準化ロボットキッチンモジュールを例示するブロック図である。本発明の開示によるシェフによって使用される標準化ロボットキッチンモジュールの物理的レイアウトの一実施形態を例示するブロック図である。本発明の開示による１対のロボットのアーム及びハンドによって使用される標準化ロボットキッチンモジュールの物理的レイアウトの一実施形態を例示するブロック図である。本発明の開示による標準化ロボットキッチンによって実行される場合のレシピスクリプトに基づくレシピ再現プロセス中に制御点又は検証点が存在することを確実にする段階的フロー及び方法を描示するブロック図である。シェフスタジオとロボットキッチンとその他の供給源との間を円滑にするためのクラウドベースのレシピソフトウェアのブロック図のブロック図である。本発明の開示によるシェフの移動とロボットの忠実に模倣する移動との間の変換アルゴリズムモジュールの一実施形態を例示するブロック図である。シェフの移動を取り込んで送信するためにシェフによって着用される１対のセンサ付きグローブを例示するブロック図である。本発明の開示によるシェフのグローブから取り込まれた感知データに基づくロボット調理実行を例示するブロック図である。平衡に対する動的安定曲線と動的不安定曲線とを例示するグラフ図である。本発明の開示によりステージと呼ぶ段階シーケンスを必要とする食品調製プロセスを例示するシーケンス図である。本発明の開示による全体的成功確率を食品料理を調製するためのステージの個数の関数として例示するグラフ図である。小規模操作及び動作プリミティブを用いたマルチステージロボット食品調製におけるレシピ実行を例示するブロック図である。本発明の開示によるキッチンツール、物体、又はキッチン機材を検出して動かすために触覚振動センサ、ソナーセンサ、及びカメラセンサを有するロボットハンド及びロボット手首の例を示すブロック図である。本発明の開示による標準化ロボットキッチン内での操作に向けて１対のロボットのアーム及びハンドに結合されたセンサカメラを有するパン－チルトヘッドを例示するブロック図である。本発明の開示による標準化ロボットキッチン内での作動のためのロボット手首上のセンサカメラを例示するブロック図である。本発明の開示による標準化ロボットキッチン内での作動のためのロボットハンド上のハンド内単眼カメラを例示するブロック図である。本発明の開示によるロボットハンド内の変形可能手掌の態様を例示する絵図である。本発明の開示によるロボットハンド内の変形可能手掌の態様を例示する絵図である。本発明の開示によるロボットハンド内の変形可能手掌の態様を例示する絵図である。本発明の開示によるロボットハンド内の変形可能手掌の態様を例示する絵図である。本発明の開示によるロボットハンド内の変形可能手掌の態様を例示する絵図である。特定のレシピに対する食品調製プロセス中にシェフの移動を記録して取り込むためにロボットキッチン環境内でシェフが着用するシェフ記録デバイスの例を示すブロック図である。本発明の開示によるロボットの姿勢、動き、及び力によってシェフの取り込み済み動きを評価するプロセスの一実施形態を例示する流れ図である。本発明の開示による家庭用ロボットキッチンシステム内での使用のためのロボットアーム実施形態の側面図を例示するブロック図である。本発明の開示による手掌を有するロボットハンドとの併用のためのキッチンハンドルの一実施形態を例示するブロック図である。本発明の開示による手掌を有するロボットハンドとの併用のためのキッチンハンドルの一実施形態を例示するブロック図である。本発明の開示による手掌を有するロボットハンドとの併用のためのキッチンハンドルの一実施形態を例示するブロック図である。本発明の開示による触覚センサと分布圧力センサとを有する例示的ロボットハンドを示す絵図である。本発明の開示によるロボット調理スタジオにおいてシェフが着用するための感知衣装の例を示す絵図である。本発明の開示によるシェフによる食品調製のためのセンサ付き三指触覚グローブの一実施形態と例示的センサ付き三指ロボットハンドとを示す絵図である。本発明の開示によるシェフによる食品調製のためのセンサ付き三指触覚グローブの一実施形態と例示的センサ付き三指ロボットハンドとを示す絵図である。本発明の開示によるロボットアームとロボットハンドとの間の相互機能及び相互作用の一例を示すブロック図である。本発明の開示による調理用具ヘッドに取り付け可能な標準化キッチンハンドルを用いるロボットハンドとキッチン用具に取り付け可能なロボットアームとを例示するブロック図である。本発明の開示による小規模操作データベースライブラリの作成モジュールと小規模操作データベースライブラリの実行モジュールとを例示するブロック図である。本発明の開示による標準化作動の移動を実行する上でシェフによって使用される感知グローブを例示するブロック図である。本発明の開示によるロボットキッチンモジュール内での標準化作動の移動のデータベースを例示するブロック図である。本発明の開示によるロボットハンドの各々が人工的な人間様の軟質皮膚グローブで被覆されることを例示するグラフ図である。本発明の開示による事前定義されて内部に格納された小規模操作を有するライブラリデータベースに基づいて高レベル小規模操作を実行するために人工的な人間様の皮膚グローブで被覆されたロボットハンドを例示するブロック図である。本発明の開示による食品調製のための操作動作分類の３つのタイプを例示するグラフ図である。本発明の開示による食品調製のための操作動作分類についての一実施形態を例示する流れ図である。本発明の開示による卵をナイフで割る結果を生じる小規模操作の作成を例示するブロック図である。本発明の開示による実時間調節を伴う小規模操作に関するレシピ実行の例を示すブロック図である。本発明の開示による標準化キッチンモジュール内でのシェフの食品調製の移動を取り込むソフトウェアプロセスを例示する流れ図である。本発明の開示によるロボット標準化キッチンモジュール内でのロボット装置による食品調製のためのソフトウェアプロセスを例示する流れ図である。本発明の開示による小規模操作システムに関して様々なパラメータ組合せを作成し、試験し、検証し、格納するためのソフトウェアプロセスの一実施形態を例示する流れ図である。本発明の開示による小規模操作システムに対するタスクを作成するためのソフトウェアプロセスの一実施形態を例示する流れ図である。本発明の開示による標準化ロボットキッチン内の標準化キッチンツール、標準化物体、及び標準化機材のライブラリを割り当てて利用するプロセスを例示する流れ図である。本発明の開示による３次元モデル化を用いて非標準化物体を識別するプロセスを例示する流れ図である。本発明の開示による小規模操作の試験及び学習のためのプロセスを例示する流れ図である。本発明の開示によるロボットアームの品質制御のためのプロセス及び位置合わせ機能プロセスを例示する流れ図である。本発明の開示による標準化ロボットキッチン内での使用のための小規模操作物体のデータベースライブラリ構造を例示する表である。本発明の開示による標準化ロボットキッチン内での使用のための標準化物体のデータベースライブラリ構造を例示する表である。本発明の開示による魚の品質チェックを実施するためのロボットハンドを例示する絵図である。本発明の開示によるボール内で品質チェックを実施するためのロボットセンサヘッドを例示する絵図である。本発明の開示による食品の鮮度及び品質を決定するためのセンサを有する検出デバイス又は容器を例示する絵図である。本発明の開示による食品の鮮度及び品質を決定するためのオンライン解析システムを例示するシステム図である。本発明の開示によるプログラマブルディスペンサ制御部を用いる事前充填容器を例示するブロック図である。本発明の開示による標準化ロボットキッチン内での食品調製のためのレシピ構造及びプロセスを例示するブロック図である。本発明の開示による標準化ロボットキッチン内での使用のためのレシピ検索メニューを例示するブロック図である。本発明の開示による標準化ロボットキッチン内での使用のためのレシピ検索メニューを例示するブロック図である。本発明の開示による標準化ロボットキッチン内での使用のためのレシピ検索メニューを例示するブロック図である。本発明の開示によるレシピを作成して提出するためのオプションを有するメニューのスクリーンショットである。食材のタイプを描示するスクリーンショットである。本発明の開示によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインタフェースの一実施形態を例示する流れ図である。本発明の開示によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインタフェースの一実施形態を例示する流れ図である。本発明の開示によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインタフェースの一実施形態を例示する流れ図である。本発明の開示によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインタフェースの一実施形態を例示する流れ図である。本発明の開示によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインタフェースの一実施形態を例示する流れ図である。本発明の開示によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインタフェースの一実施形態を例示する流れ図である。本発明の開示によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインタフェースの一実施形態を例示する流れ図である。本発明の開示によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインタフェースの一実施形態を例示する流れ図である。本発明の開示によるレシピフィルタと、食材フィルタと、機材フィルタと、アカウント及びソーシャルネットワークアクセスと、個人的提携者ページと、ショッピングカートページと、購入済みレシピ、登録設定、レシピ作成についての情報とを含む機能的能力を有する食品調製ユーザインタフェースの一実施形態を例示する流れ図である。本発明の開示による標準化ロボットキッチン内での使用のためのフィールドを選択することによるレシピ検索メニューを例示するブロック図である。本発明の開示による３次元追跡及び基準データ生成に向けて拡張されたセンサを用いる標準化ロボットキッチンを例示するブロック図である。本発明の開示による実時間３次元モデルを作成するために複数のセンサを用いる標準化キッチンモジュールを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの様々な実施形態及び特徴のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンの上面図を例示するブロック図である。本発明の開示による標準化ロボットキッチンの配景図を例示するブロック図である。本発明の開示による標準化ロボットキッチン内に自動透明ドアを有するキッチンモジュールフレームの第１の実施形態を例示するブロック図である。本発明の開示による標準化ロボットキッチン内に自動透明ドアを有するキッチンモジュールフレームの第１の実施形態を例示するブロック図である。本発明の開示による標準化ロボットキッチン内に自動透明ドアを有するキッチンモジュールフレームの第２の実施形態を例示するブロック図である。本発明の開示による標準化ロボットキッチン内に自動透明ドアを有するキッチンモジュールフレームの第２の実施形態を例示するブロック図である。本発明の開示による伸縮自在アクチュエータを有する標準化ロボットキッチンを例示するブロック図である。本発明の開示による移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンの正面図を例示するブロック図である。本発明の開示による移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンの斜視図を例示するブロック図である。移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンにおける様々な寸法のうちの１つを例示するブロック図である。移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンにおける様々な寸法のうちの１つを例示するブロック図である。移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンにおける様々な寸法のうちの１つを例示するブロック図である。移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンにおける様々な寸法のうちの１つを例示するブロック図である。移動レールを持たない１対の固定ロボットアームを有する標準化ロボットキッチンにおける様々な寸法のうちの１つを例示するブロック図である。本発明の開示による標準化ロボットキッチンとの併用のためのプログラムストレージシステムを例示するブロック図である。本発明の開示による標準化ロボットキッチンとの併用のためのプログラムストレージシステムの立面図を例示するブロック図である。本発明の開示による標準化ロボットキッチンとの併用のための食材アクセス容器の立面図を例示するブロック図である。本発明の開示による標準化ロボットキッチンとの併用のための食材アクセス容器に付属する食材品質監視ダッシュボードを例示するブロック図である。本発明の開示によるレシピパラメータのデータベースライブラリを例示する表である。本発明の開示によるシェフの食品調製プロセスを記録する段階の一実施形態のプロセスを例示する流れ図である。本発明の開示による食品料理を調製するロボット装置の一実施形態のプロセスを例示する流れ図である。本発明の開示によるロボットによる食品料理調製においてシェフに対して同じ（又は実質的に同じ）結果を得る際の品質及び機能の調節における一実施形態のプロセスを例示する流れ図である。本発明の開示による記録されたソフトウェアファイルからシェフの移動をロボットキッチン内で再現することによって料理を調製するロボットキッチンのプロセスにおける第１の実施形態を例示する流れ図である。本発明の開示によるロボットキッチン内でのストレージ容器の入庫及び識別のプロセスを例示する流れ図である。本発明の開示によるロボットキッチン内でのストレージ出庫及び調理準備のプロセスを例示する流れ図である。本発明の開示によるロボットキッチン内での自動化調理前準備プロセスの一実施形態を例示する流れ図である。本発明の開示によるロボットキッチン内でのレシピ設計及びスクリプト作成プロセスの一実施形態を例示する流れ図である。本発明の開示によるユーザがロボット食品調製レシピを購入するための購読モデルを例示する流れ図である。本発明の開示によるポータルからのレシピ商取引プラットフォームに関するレシピの検索及び購入購読のプロセスを例示する流れ図である。本発明の開示によるポータルからのレシピ商取引プラットフォームに関するレシピの検索及び購入購読のプロセスを例示する流れ図である。本発明の開示によるアプリプラットフォーム上でのロボット調理レシピアプリの作成を例示する流れ図である。本発明の開示による調理レシピに関するユーザの検索、購入、及び購読のプロセスを例示する流れ図である。本発明の開示による事前定義レシピ検索基準の例を示すブロック図である。本発明の開示による事前定義レシピ検索基準の例を示すブロック図である。本発明の開示によるロボットキッチン内の一部の事前定義容器を例示するブロック図である本発明の開示による同時食品調製処理に向けて複数対のロボットハンドを用いる長方形レイアウトで構成されたロボットレストランキッチンモジュールの第１の実施形態を例示するブロック図である。本発明の開示による同時食品調製処理に向けて複数対のロボットハンドを用いるＵ字形レイアウトで構成されたロボットレストランキッチンモジュールの第２の実施形態を例示するブロック図である。本発明の開示による感知調理用具及び感知曲線を有するロボット食品調製システムの第２の実施形態を例示するブロック図である。本発明の開示による第２の実施形態におけるロボット食品調製システムの一部の物理的要素を例示するブロック図である。本発明の開示による第２の実施形態における使用のための実時間温度センサを有する（スマート）平鍋のための感知調理用具を例示するブロック図である。本発明の開示によるシェフスタジオ内の感知調理用具の異なるセンサから記録された複数のデータ点を有する温度曲線を例示するグラフ図である。本発明の開示による作動制御ユニットへの送信に向けてシェフスタジオ内の感知調理用具から記録された温度曲線及び湿度曲線を例示するグラフ図である。本発明の開示による平鍋上の異なるゾーンに関する温度曲線からのデータに基づいて調理するための感知調理用具を例示するブロック図である。本発明の開示による第２の実施形態における使用に向けて実時間の温度センサ及び湿度センサを用いる（スマート）オーブンの感知調理用具を例示するブロック図である。本発明の開示による第２の実施形態における使用に向けて実時間温度センサを用いる（スマート）炭火グリルのための感知調理用具を例示するブロック図である。本発明の開示による第２の実施形態における使用に向けて速さ、温度、及び勢いの制御を用いる（スマート）水栓のための感知調理用具を例示するブロック図である。本発明の開示による第２の実施形態における感知調理用具を有するロボットキッチンの上面図を例示するブロック図である。本発明の開示による第２の実施形態における感知調理用具を有するロボットキッチンの斜視図を例示するブロック図である。本発明の開示による標準化ロボットキッチン内で過去に記録された１又は２以上のパラメータ曲線から料理を調製するロボットキッチンのプロセスにおける第２の実施形態を例示する流れ図である。本発明の開示によるシェフスタジオ内での感知データ取り込みプロセスの一実施形態を描示する図である。本発明の開示によるユーザがレシピを選択し、デジタル形式のレシピを得る段階を最初の段階が含む家庭用ロボット調理プロセスのプロセス及びフローを描示する図である。本発明の開示による調理作動制御モジュールと指令及び視覚的監視モジュールとを有するロボット食品調製キッチンの第３の実施形態を例示するブロック図である。本発明の開示によるロボットのアーム及びハンドの動きを用いるロボット食品調製キッチンの第３の実施形態における上面図を例示するブロック図である。本発明の開示によるロボットのアーム及びハンドの動きを用いるロボット食品調製キッチンの第３の実施形態における平面図を例示するブロック図である。本発明の開示による指令及び視覚的監視デバイスを用いるロボット食品調製キッチンの第３の実施形態における平面図を例示するブロック図である。本発明の開示による指令及び視覚的監視デバイスを用いるロボット食品調製キッチンの第３の実施形態における斜視図を例示するブロック図である。本発明の開示によるロボットを用いるロボット食品調製キッチンの第４の実施形態を例示するブロック図である。本発明の開示による人間型ロボットを用いるロボット食品調製キッチンの第４の実施形態における上面図を例示するブロック図である。本発明の開示による人間型ロボットを用いるロボット食品調製キッチンの第４の実施形態における配景図を例示するブロック図である。本発明の開示によるロボット人間－エミュレータ電子知的財産（ＩＰ）ライブラリを例示するブロック図である。本発明の開示によるロボット人間－感情認識エンジンを例示するブロック図である。本発明の開示によるロボット人間－感情エンジンのプロセスを例示する流れ図である。本発明の開示によるホルモン、フェロモン、及びその他のパラメータを有する感情プロファイルの母集団に対して個人の感情プロファイルを比較するプロセスを例示する流れ図である。本発明の開示によるホルモン、フェロモン、及びその他のパラメータを有する感情プロファイルの母集団に対して個人の感情プロファイルを比較するプロセスを例示する流れ図である。本発明の開示によるホルモン、フェロモン、及びその他のパラメータを有する感情プロファイルの母集団に対して個人の感情プロファイルを比較するプロセスを例示する流れ図である。本発明の開示によるホルモンセット、フェロモンセット、及びその他の主要パラメータを監視することによる個人の感情状態の感情検出及び解析を例示するブロック図である。本発明の開示による個人の感情挙動について評価及び学習するロボットを例示するブロック図である。本発明の開示による個人の感情プロファイルを検出して記録するために個人の中に植え込まれるポートデバイスを例示するブロック図である。本発明の開示によるロボット人間－知能エンジンを例示するブロック図である。本発明の開示によるロボット人間－知能エンジンのプロセスを例示する流れ図である。本発明の開示によるロボット描画システムを例示するブロック図である。本発明の開示によるロボット描画システムの様々な構成要素を例示するブロック図である。本発明の開示によるロボット人間－描画－技能－再現エンジンを例示するブロック図である。本発明の開示による描画スタジオにおける画家の記録プロセスを例示する流れ図である。本発明の開示によるロボット描画システムによる再現プロセスを例示する流れ図である。本発明の開示による音楽家再現エンジンのある実施形態を例示するブロック図である。本発明の開示による音楽家再現エンジンプロセスを例示するブロック図である。本発明の開示による看護再現エンジンのある実施形態を例示するブロック図である。本発明の開示による看護再現エンジンプロセスを例示する流れ図である。本発明の開示による看護再現エンジンプロセスを例示する流れ図である。本発明の開示による作成者記録システムと商用ロボットシステムとを有するロボット人間技能再現システムの一般適用性（又は汎用性）を例示するブロック図である。）本発明の開示による様々なモジュールを有するロボット人間技能再現エンジンを例示するソフトウェアシステム図である。本発明の開示によるロボット人間技能再現システムの一実施形態を例示するブロック図である。本発明の開示による人間型ロボットを標準化作動ツール、標準化された位置及び向き、及び標準化機材を用いた技能実行又は再現プロセスに対する制御点と共に例示するブロック図である。本発明の開示によるグローブセンサの活動を周期的な時間間隔で追跡することによって記録された人間技能の移動のプロセスを再現する人間型ロボット再現プログラムを例示する略ブロック図である。本発明の開示による作成者の移動の記録と人間型ロボット再現とを例示するブロック図である。汎用人間型ロボットに対する全体的なロボット制御プラットフォームを本発明の開示の機能の高レベル記述として描示する図である。本発明の開示による人間型ロボット用途－タスク再現プロセスの一部としての小規模操作ライブラリの生成、転送、実装、及び使用のための系統図を例示するブロック図である。本発明の開示によるスタジオ及びロボットベースの感知データ入力のカテゴリ及びタイプを例示するブロック図である。本発明の開示による物理／システムベースの小規模操作ライブラリ動作ベースの双アーム及び胴体トポロジーを例示するブロック図である。本発明の開示によるタスク特定動作シーケンスに対する小規模操作ライブラリ操作フェーズの組合せ及び遷移を例示するブロック図である。本発明の開示によるスタジオデータからの１又は２以上の小規模操作ライブラリ（汎用及びタスク特定）の構築プロセスを例示するブロック図である。本発明の開示による１又は２以上の小規模操作ライブラリデータセットによるロボットタスク実行を例示するブロック図である。本発明の開示による自動化小規模操作パラメータセット構築エンジンに関する系統図を例示するブロック図である。本発明の開示によるロボットシステムのデータ中心の図を例示するブロック図である。本発明の開示による小規模操作ロボット挙動データの構成、リンク、及び変換における様々な小規模操作データフォーマットの例を示すブロック図である。ロボットハードウェア技術設計構想と、ロボットソフトウェア技術設計構想と、ロボットビジネス設計構想と、ロボット技術設計構想を支持するための数学アルゴリズムとの間の様々な双方向抽象化レベルを例示するブロック図である。本発明の開示による人間型ロボットアーム及び５本の指を有する各ハンドを示しているブロック図である。本発明の開示による人間型ロボットの実施形態を例示しているブロック図である。本発明の開示によるジャイロスコープ付人間型ロボット及びグラフィックデータを示す実施形態を例示しているブロック図である。本発明の開示による感知ボディスーツ、アーム外骨格、ヘッドギア、及び感知グローブを含む人間型ロボットに搭載されている作成者記録デバイスを例示しているグラフィック図表である。本発明の開示による人間型ロボット人間技能エキスパート小規模操作ライブラリを示すブロック図である。本発明の開示による人間ハンド技能移動を置換する一般小規模操作の電子ライブラリの作成工程を示しているブロック図である。本発明の開示による一般小規模操作により複数ステージの実行によるロボットによるタスクを示しているブロック図である。本発明の開示による小規模操作の実行フェーズ中の実時間パラメータ調節を示しているブロック図である。本発明の開示による寿司を作る小規模操作セットを示しているブロック図である。本発明の開示による寿司を作る小規模操作セット内の魚を切り身にする第１の小規模操作を示しているブロック図である。本発明の開示による寿司を作るための小規模操作セット内の容器からご飯をとる第２の小規模操作を示しているブロック図である。本発明の開示による寿司を作るための小規模操作セット内の魚肉の切り身をとる第３の小規模操作を示しているブロック図である。本発明の開示による寿司を作るための小規模操作セット内のご飯と魚肉の切り身を望ましい形状に固める第４の小規模操作を示しているブロック図である。本発明の開示による寿司を作るための小規模操作セット内の魚肉の切り身で米を抱く第５の小規模操作を示しているブロック図である。本発明の開示によるあらゆるシーケンス又はあらゆる組合せで実施されるピアノを演奏するための小規模操作セットを示しているブロック図である。本発明の開示によるピアノを演奏するための小規模操作セットからピアノを演奏するのと並行して行われる右手の第１小規模操作及び左手の第２小規模操作を示しているブロック図である。本発明の開示によるピアノを演奏するための小規模操作セットから並行して実施される小規模操作セットの右足に対する第３小規模操作及び左足に対する第４小規模操作を示しているブロック図である。本発明の開示によるピアノを演奏するための小規模操作セットからの１又は２以上の小規模操作と並行して行われる身体の動きのための第５の小規模操作を示しているブロック図である。本発明の開示によるあらゆるシーケンス及びあらゆる組合せ下に実施される人間型ロボットの歩行のための小規模操作セットを示しているブロック図である。本発明の開示による人間型ロボットの歩行のための小規模操作セットの右脚の一歩姿勢で歩く第１の小規模操作を示しているブロック図である。本発明の開示による人間型ロボットの歩行のための小規模操作セットの右脚スカッシュ姿勢で歩く第２の小規模操作を示しているブロック図である。本発明の開示による人間型ロボットの歩行のための小規模操作セットの右脚の通過姿勢で歩く第３の小規模操作を示しているブロック図である。本発明の開示による人間型ロボットの歩行のための小規模操作セットの右脚の伸張姿勢で歩く第４の小規模操作を示しているブロック図である。本発明の開示による人間型ロボットの歩行のための小規模操作セットの左脚の一歩姿勢で歩く第５の小規模操作を示しているブロック図である。本発明の開示による３次元視覚システムによるロボット看護介護モジュールを示しているブロック図である。本発明の開示による標準化キャビネットによるロボット看護介護モジュールを示しているブロック図である。本発明の開示による１又は２以上の標準化ストレージ、標準化スクリーン、及び標準化洋服だんすを有するロボット看護介護モジュールを示しているブロック図である。本発明の開示による１対のロボットアーム及び１対のロボットハンドつき伸縮自在胴体を有するロボット看護介護モジュールを示しているブロック図である。本発明の開示による高齢者を援助するさまざまの移動を有するロボット看護介護モジュールを実行する第１例を示しているブロック図である。本発明の開示による車いすを乗せる及び降ろすロボット看護介護モジュールを実行する第２例を示しているブロック図である。本発明の開示により人間型ロボットが２人の人間ソースを容易する役を務める例を示している絵図である。本発明の開示による人間型ロボットがＡ氏を直接観察しながらセラピストとしてＢ氏を看護する第１実施形態を示している絵図である。本発明の開示によるハンド及びアーム動作に必要とする高いトルクが要求される人間型ロボットハンド及びアームに対するモータ配置場所の第１の実施形態を示しているブロック図である。本発明の開示によるハンド及びアーム動作に必要とする低いトルク要求される人間型ロボットハンド及びアームに対するモータ配置場所の第１の実施形態を示しているブロック図である。本発明の開示によるオーブンつきロボットのキッチンの頭上マウントから延びるロボットアーム正面図を示している絵図である。オーブンつきロボットのキッチンの頭上マウントから延びるロボットアーム上面図を示している絵図である。本発明の開示による追加間隔つきロボットのキッチンの頭上マウントから延びるロボットアーム正面図を示している絵図である。本発明の開示による追加間隔つきロボットのキッチンの頭上マウントから延びるロボットアーム上面図を示している絵図である。本発明の開示によるスライディングストレージつきロボットのキッチンの頭上マウントから延びるロボットアーム正面図を示している絵図である。本発明の開示によるスライディングストレージつきロボットのキッチンの頭上マウントから延びるロボットアーム上面図を示している絵図である。本発明の開示による棚つきスライディングストレージつきロボットのキッチンの頭上マウントから延びるロボットアーム正面図を示している絵図である。本発明の開示による棚つきスライディングストレージつきロボットのキッチンの頭上マウントから延びるロボットアーム上面図を示している絵図である。本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によりロボットハンドが調理用具及び器具に取り付けられるのに適切な調理用具ハンドルを示している絵図である。本発明の開示によるロボットキッチンに使用する配合器部分を示している絵図である。本発明の開示によるロボットキッチンに使用する様々なキッチンホルダを示している絵図である。本発明の開示によるロボットキッチンに使用する様々なキッチンホルダを示している絵図である。本発明の開示によるロボットキッチンに使用する様々なキッチンホルダを示している絵図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示を限定しない小規模操作の例を示しているブロック図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ａに記載しているキッチン用具のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｂに記載している食材のサンプルタイプを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の食品調製、方法、用具、及び料理法のサンプルリストを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｃ内の多様なサンプルベースを例示する図である。本発明の開示により表Ｄに記載される料理法及び食品のサンプルタイプを例示する図である。本発明の開示により表Ｄに記載される料理法及び食品のサンプルタイプを例示する図である。本発明の開示により表Ｄに記載される料理法及び食品のサンプルタイプを例示する図である。本発明の開示により表Ｅに記載されているロボット食品調製システムの一実施形態を例示する図である。本発明の開示により表Ｅに記載されているロボット食品調製システムの一実施形態を例示する図である。本発明の開示により表Ｅに記載されているロボット食品調製システムの一実施形態を例示する図である。本発明の開示により表Ｅに記載されているロボット食品調製システムの一実施形態を例示する図である。本発明の開示により表Ｅに記載されているロボット食品調製システムの一実施形態を例示する図である。本発明の開示によりロボットが寿司を作り、ヒアノを演奏し、ロボットを第１位置から第２位置へ移動、ある位置から次の位置に急転し、人間型ロボットが本棚から本を取り出し、人間型ロボットがある位置から次の位置までトランクを移動し、ロボットがせんを抜き、及びロボットが猫の食べ物をボウルに入れることのためのサンプル小規模操作を例示する図である。本発明の開示によりロボットが寿司を作り、ヒアノを演奏し、ロボットを第１位置から第２位置へ移動、ある位置から次の位置に急転し、人間型ロボットが本棚から本を取り出し、人間型ロボットがある位置から次の位置までトランクを移動し、ロボットがせんを抜き、及びロボットが猫の食べ物をボウルに入れることのためのサンプル小規模操作を例示する図である。本発明の開示によりロボットが寿司を作り、ヒアノを演奏し、ロボットを第１位置から第２位置へ移動、ある位置から次の位置に急転し、人間型ロボットが本棚から本を取り出し、人間型ロボットがある位置から次の位置までトランクを移動し、ロボットがせんを抜き、及びロボットが猫の食べ物をボウルに入れることのためのサンプル小規模操作を例示する図である。本発明の開示によりロボットが酸素補給、体温維持調節、カテーテル挿入、理学療法、食事摂取、分析試料の採取、瘻孔及びカテーテルを監視治療、外傷治療、薬品の投与、衛生的安全性に対する作動を実行するためのサンプルマルチレベル小規模操作の例を示す図である。本発明の開示によりロボットが酸素補給、体温維持調節、カテーテル挿入、理学療法、食事摂取、分析試料の採取、瘻孔及びカテーテルを監視治療、外傷治療、薬品の投与、衛生的安全性に対する作動を実行するためのサンプルマルチレベル小規模操作の例を示す図である。本発明の開示によりロボットが酸素補給、体温維持調節、カテーテル挿入、理学療法、食事摂取、分析試料の採取、瘻孔及びカテーテルを監視治療、外傷治療、薬品の投与、衛生的安全性に対する作動を実行するためのサンプルマルチレベル小規模操作の例を示す図である。本発明の開示によりロボットが酸素補給、体温維持調節、カテーテル挿入、理学療法、食事摂取、分析試料の採取、瘻孔及びカテーテルを監視治療、外傷治療、薬品の投与、衛生的安全性に対する作動を実行するためのサンプルマルチレベル小規模操作の例を示す図である。本発明の開示によりロボットが酸素補給、体温維持調節、カテーテル挿入、理学療法、食事摂取、分析試料の採取、瘻孔及びカテーテルを監視治療、外傷治療、薬品の投与、衛生的安全性に対する作動を実行するためのサンプルマルチレベル小規模操作の例を示す図である。本発明の開示によりロボットが酸素補給、体温維持調節、カテーテル挿入、理学療法、食事摂取、分析試料の採取、瘻孔及びカテーテルを監視治療、外傷治療、薬品の投与、衛生的安全性に対する作動を実行するためのサンプルマルチレベル小規模操作の例を示す図である。本発明の開示によりロボットが酸素補給、体温維持調節、カテーテル挿入、理学療法、食事摂取、分析試料の採取、瘻孔及びカテーテルを監視治療、外傷治療、薬品の投与、衛生的安全性に対する作動を実行するためのサンプルマルチレベル小規模操作の例を示す図である。本発明の開示によりロボットが酸素補給、体温維持調節、カテーテル挿入、理学療法、食事摂取、分析試料の採取、瘻孔及びカテーテルを監視治療、外傷治療、薬品の投与、衛生的安全性に対する作動を実行するためのサンプルマルチレベル小規模操作の例を示す図である。本発明の開示によりロボットが酸素補給、体温維持調節、カテーテル挿入、理学療法、食事摂取、分析試料の採取、瘻孔及びカテーテルを監視治療、外傷治療、薬品の投与、衛生的安全性に対する作動を実行するためのサンプルマルチレベル小規模操作の例を示す図である。本発明の開示によりロボットが酸素補給、体温維持調節、カテーテル挿入、理学療法、食事摂取、分析試料の採取、瘻孔及びカテーテルを監視治療、外傷治療、薬品の投与、衛生的安全性に対する作動を実行するためのサンプルマルチレベル小規模操作の例を示す図である。本発明の開示によりサンプル医療機器のリスト及び医療デバイスリストを示す図である。本発明の開示により小規模操作を用いるサンプル看護ケアサービスを示す図である。本発明の開示により小規模操作を用いるサンプル看護ケアサービスを示す図である。本発明の開示による別の機器リストを示す図である。コンピュータ実行可能命令が本明細書で解説する方法論を実施し、これらの命令をインストールして実行することができるコンピュータデバイスの例を示すブロック図である。

本発明の開示の構造実施形態及び方法の説明を図１～図１７８を参照しながら提示する。特定的に開示する実施形態に本発明の開示を限定する意図はなく、本発明の開示は、他の特徴、要素、方法、及び実施形態を用いて実施することができることを理解されたい。様々な実施形態における同様の要素は、共通して同様の参照番号を用いて指し示す。

以下の定義が、本明細書で説明する要素及び段階に当てはまる。これらの用語を更に詳述する場合もある。

抽象化データ－機械が、適正な実行及び複製に向けて知る必要がある多くの他のデータ要素を有する機械実行のための実用の抽象化レシピを指す。このデータは、それが直接的なセンサデータ（時計の時間、水温、カメラ画像、使用道具、又は使用食材等）であるか、又は大きいデータセットの解釈又は抽象化によって生成されたデータ（画像内で物体の場所及びタイプを抽出するために使用されるレーザからの３次元範囲クラウドに、カメラ画像からの質感地図及び色地図を重ね合わせたもの等）であるかに関わらず、調理プロセスにおける特定の段階に対応するいわゆるメタデータ又は追加データである。このメタデータは、タイムスタンプが印加され、ロボットキッチンがレシピ内の段階シーケンスを経ていく中で全ての時点で必要とされる全てのプロセス並びに関連の方法及び機材を設定、制御、及び監視するためにロボットキッチンによって使用される。

抽象化レシピ－プロセス及び方法のシーケンス並びに人間シェフの技能を通じてある一定のシーケンスで調製され、組み合わせられるある一定の食材の使用によって表されるものとして人間が知るシェフのレシピの表現を指す。自動化方式での実行に向けて機械によって使用される抽象化レシピは、様々なタイプの分類及びシーケンスを必要とする。全体的実施段階は人間シェフのものに同一であるが、ロボットキッチンに対する抽象化実用レシピは、追加メタデータがレシピ内の全ての段階の一部であることを必要とする。そのようなメタデータは、調理時間と、温度（及びその経時変化）、オーブン設定、使用ツール／機材等のような変数とを含む。基本的に、機械実行可能レシピスクリプトは、調理プロセスにとって重要な全ての可能な測定変数（全てが、人間シェフがシェフスタジオ内でレシピの調製中に測定されて格納されたものである）を時間に全体として相関付け、それと共に調理シーケンスの各処理段階の範囲内で相関付けることを必要とする。従って抽象化レシピは、必要なプロセスを人間のドメインから論理抽象化段階セットを通じて機械理解可能かつ機械実行可能なドメインに移動する機械可読な表現又はドメインにマッピングされた調理段階の表現である。

加速－ロボットアームが軸の回りに又は短距離にわたる空間軌道に沿って加速することができる最大速度変化率を指す。

精度－ロボットが、指令された位置にどの程度近づくことができるかを指す。精度は、ロボットの絶対位置を指令された位置と比較した場合のこれらの間の差によって決定される。精度は、ロボットハンド上のセンサ等の外部感知によって、又は複数の（マルチモード）センサを用いる実時間３次元モデルによって改善、調節、又は較正することができる。

動作プリミティブ－一実施形態において、ロボット装置を場所Ｘ１から場所Ｘ２へと動かすこと、又は必ずしも機能成果を得るわけではなく食品調製に向けて物体からの距離を感知すること等の不可分のロボット動作を指す。別の実施形態では、この用語は、小規模操作を遂行するための１又は２以上のそのような単位のシーケンス内の不可分ロボット動作を指す。これらは、同じ定義の２つの態様である。

自動投与システム－適用時に特定のサイズの食品化合物（塩、砂糖、胡椒、香辛料等、水、油、エキス、ケチャップ等のあらゆるタイプの液等）が放出される標準化キッチンモジュール内の投与容器を指す。

自動化ストレージ及び送達システム－特定のストレージ容器が、その中に保管された食品内容物を送達する場所をロボットキッチンが識別して得るためのコード（例えばバーコード）が各々に割り当てられた標準化キッチンモジュール内で食品を保管するために特定の温度及び湿度を維持するストレージ容器を指す。

データクラウド－ある一定の間隔で収集され、時間、場所等のような多数の関係に基づいて集計される特定の空間からのセンサ又はデータに基づく数値測定値（３次元レーザ／音響距離測定値、カメラ画像からのＲＧＢ値等）の集合を指す。

自由度（「ＤＯＦ」）－機械デバイス又はシステムが動くことができる定義されたモード及び／又は方向を指す。自由度数は、独立した変位又は動き態様の総数と同一である。総自由度数は、２つのロボットアームでは２倍にされる。

エッジ検出－物体の識別、並びに把持及び取扱の計画を支援するために、２次元カメラ画像内では重なり合っている可能性がある複数の物体であっても、これらの物体の境界を首尾良く識別する複数の物体のエッジを識別することができるソフトウェアベースのコンピュータプログラムを指す。

平衡値－ロボットアーム等のロボット外肢のターゲット位置であって、外肢に対して作用する力が平衡状態にあり、すなわち、差し引きの力が存在せず、従って正味の移動がない位置を指す。

実行シーケンス立案器－アーム、ディスペンサ、器具等のコンピュータ制御可能な１又は２以上の要素又はシステムに対する実行スクリプト又は指令のシーケンスを作成することができるソフトウェアベースのコンピュータプログラムを指す。

食品実行忠実度－人間シェフの段階、変数、方法、及びプロセスを注視、測定、及び理解することによってシェフスタジオ内で生成されたレシピスクリプトを再現し、それによってこのシェフの技術及び技能を模擬しようと試みることが目論まれたロボットキッチンを指す。料理調製の実行が人間シェフのものにどれ程近づくかという忠実度は、ロボットによって調製された料理が、人間によって調製された料理にどれ程近いかを濃度、色、味等の様々な主観的要素によって測定することによって測定される。その概念は、ロボットキッチンによって調製される料理が人間シェフによって調製されるものに近い程、再現プロセスの忠実度は高いということである。

食品調製ステージ（「調理ステージ」とも呼ぶ）－動作プリミティブを含む１又は２以上の小規模操作と、標準化キッチンモジュール内の様々なキッチン機材及びキッチン器具を制御するためのコンピュータ命令との逐次又は並列のどちらかにおける組合せを指す。１又は２以上の食品調製ステージがまとまって特定のレシピに対する全体の食品調製プロセスを表す。

幾何学的推論－２次元（２Ｄ）／３次元（３Ｄ）の表面データ及び／又は体積測定データを用いて特定の空間領域の実際の形状及びサイズに関して推論することができるソフトウェアベースのコンピュータプログラムを指す。境界情報を決定して利用する能力は、特定の幾何学的要素の始端及び終端と画像又はモデル内に存在する個数とに関する推測も可能にする。

把持推論－３次元空間内で物体を操作するために、この物体に首尾良く接触し、それを把持し、更に保持するように、幾何学的推論及び物理的推論を拠り所としてロボットエンドエフェクタ（把持器、連結器等）、又は更にはエンドエフェクタによって保持されるツール／道具とこの物体との間の多重接触（点／区域／空間領域）による接触相互作用を計画することができるソフトウェアベースのコンピュータプログラムを指す。

ハードウェア自動化デバイス－事前プログラムされた段階をこれらの段階のうちのいずれかを修正する能力を伴わずに連続実行することができる固定処理デバイスであり、そのようなデバイスは、いかなる調整も必要としない繰り返し動きに向けて使用される。

食材の管理及び操作－各食材を詳細に定義すること（サイズ、形状、重量、寸法、特性、及び性質を含む）と、以前に格納された食材詳細項目（魚切身のサイズ、卵の寸法等）とは異なる可能性がある一定の食材に関連する変数の１又は２以上の実時間調節と、食材に対する操作の移動に関して異なるステージを実行するプロセスとを指す。

キッチンモジュール（又はキッチン空間領域）－標準化キッチン機材セットと、標準化キッチンツールセットと、標準化キッチンハンドルセットと、標準化キッチン容器セットとを有し、各キッチン要素を保管し、それにアクセスし、それを操作するための事前定義された空間及び寸法を内部に有する標準化完備キッチンモジュールである。キッチンモジュールの１つの目的は、ロボットのアーム及びハンドの移動のための比較的固定されたキッチンプラットフォームを与えるために、キッチンの機材、ツール、ハンドル、容器等のうちの可能な限り多くのものを事前定義することである。キッチンハードウェアの予測性能を最大化し、その一方でシェフキッチンスタジオと家庭ロボットキッチンとの間の分化、変動、及び逸脱の危険性を最小化するために、シェフキッチンスタジオ内のシェフと、ロボットキッチンがある家庭にいる個人（又はレストランにいる個人）との両方が、この標準化キッチンモジュールを用いる。スタンドアローンキッチンモジュール及び統合キッチンモジュールを含むキッチンモジュールの様々な実施形態が可能である。統合キッチンモジュールは、典型的な家屋の従来のキッチン区域内に収められる。キッチンモジュールは、ロボットモードと通常（手動）モードとの少なくとも２つのモードで作動する。

機械学習－ソフトウェアコンポーネント又はソフトウェアプログラムが経験及びフィードバックに基づいて自らの性能を改善する技術を指す。ロボット工学において頻用される機械学習の１つのタイプは、望ましい動作に報酬が与えられ、望ましくない動作に罰が与えられる強化学習である。もう１つのタイプは、過去の解、例えば、人間の教師又はロボット自体による動作シーケンスが、これらの解に対するあらゆる制約条件又は理由と一緒に格納され、その後、新しい設定において適用又は再使用される事例に基づく学習である。更に、帰納法及びトランスダクティブ法等の更に別のタイプの機械学習も存在する。

小規模操作（ＭＭ）－一般的に、ＭＭは、許容実行忠実度閾値の範囲内にある最適レベルに近い成果に到達するのに必要とされるタスク実行性能レベルを得るために、１又は２以上のハードウェアベースの要素を通じて作用し、１又は２以上のソフトウェアコントローラによって案内されるセンサ駆動のコンピュータ制御の下で、指令された動きシーケンスを実行するロボット装置によるあらゆる個数又は組み合わせ及び様々な記述的抽象化レベルにおける１又は２以上の挙動又はタスク実行を指す。許容実行忠実度閾値はタスク依存のものであり、従って各タスクに対して定義される（「ドメイン特定のアプリケーション」とも呼ぶ）。タスク特定の閾値が不在の場合には、典型的な閾値は、最適な性能の．００１（０．１％）となる。
・ロボット技術の観点からの一実施形態では、ＭＭという用語は、望ましい性能物理指標を有する特定のタスクを達成するために個々の作動から直列及び／又は並列の複数アクチュエータ連動動き（位置及び速度）／相互作用（力及びトルク）のシーケンスまでの範囲にわたる１又は２以上のアクチュエータに対する望まれる動き／相互作用挙動を達成するために１又は２以上の低レベルから高レベルまでの制御ループにおいて用いられる性能パラメータ及び実行パラメータ（変数、定数、コントローラのタイプ、及びコントローラ挙動等）によって定義されるロボットのタスク実行挙動における明確に定義されて事前プログラムされたアクチュエータ動作シーケンス及び感知フィードバックの集合を指す。ＭＭは、非常に高いレベルの極めて複雑な用途特定のタスク挙動を非常に高い抽象化（タスク記述）レベルで達成するために低レベルＭＭ挙動を直列及び／又は並列で組み合わせることによって様々な具合に組み合わせることができる。
・ソフトウェア／数学の観点からの別の実施形態では、ＭＭという用語は、基本的な機能成果を最適な成果の閾値の範囲内で獲得する１又は２以上の段階の組合せ（又はシーケンス）を指す（閾値の例は、．００１を好ましいデフォルトとして最適値の０．１、０．０１、０．００１、又は０．０００１の範囲内にある）。各段階は、基本符号化段階と、独立したものとすることができる又はサブルーチンとしての役割を果たすことができるその他のコンピュータプログラムとで構成されたコンピュータプログラムと同様の感知作動、アクチュエータの移動、又は別の（より小さい）ＭＭに対応する動作プリミティブとすることができる。例えば、ＭＭは、全てがプリミティブ動作である卵の場所及び向きを感知する段階、次にロボットアームを伸ばす段階、ロボット指を正しい構成へと動かす段階、及び把持に向けて正しい微妙な力の量を印加する段階に必要とされるモータ動作で構成された卵を把持する段階とすることができる。別のＭＭは、一方のロボットハンドで把持するＭＭと、それに続くもう一方のハンドでナイフを把持するＭＭと、更に続く事前定義された力と事前定義された場所とを用いてナイフで卵を叩くプリミティブ動作とを含むナイフで卵を割る段階とすることができる。
・高レベル用途特定のタスク挙動－人間が理解可能な自然の言語で記述することができ、高レベルの目標を遂行又は達成する上で明確で必要な段階として人間が容易に認識可能な挙動を指す。高レベルタスク特定の目標を首尾良く達成するためには、多くの他の低レベルの挙動及び動作／移動は、個々に作動され、制御される多くの自由度によって一部の場合には直列で、一部の場合には並列で、又は場合によっては反復方式でも行う必要があることを理解されたい。このように、より複雑なタスク特定の挙動を達成するために、より高いレベル挙動が、複数のレベルの低レベルＭＭで構成される。例として、ハープで特定の楽譜の第１小節の最初の音符を演奏する指令は、この音符が既知（すなわちｇフラット）であると推定するが、ここで、特定の指を丸め、指が正しい弦と接触するように全体のハンドを動かすか、又は掌を形成し、続いてコードを弾き鳴らす／つま弾くことによって正しい音を得るための適正な速さ及び移動で進行するための複数の関節による動作を含む低レベルＭＭを行わなければならない。分離状態にある指及び／又は手／手掌のこれら全ての個別ＭＭは、全体目標（特定の楽器から特定の音符を引き出す）を認識していないので、これらＭＭの全ては、様々な低レベルのＭＭと考えることができる。必要な音を得るために特定の音符を演奏するタスク特定の動作は明確に高いレベルの用途特定のタスクであるが、この動作は全体目標を認識しており、挙動／動きの間で相互作用が発生する必要があり、上首尾の完了に必要とされる全ての低レベルＭＭを制御する。更には、特定の曲譜を演奏する段階を、全ピアノコンチェルトの演奏を詳述する全体の高レベル用途特定のタスクの挙動又は命令に対する低レベルＭＭとして定義することさえもでき、この場合、個々の音符を演奏する段階は、その各々を作曲家が意図した楽譜によって構造化された低レベルＭＭと見なすことができる。
・低レベル小規模操作挙動－基本要素であり、高レベルタスク特定の動き／移動又は挙動を達成するための基本構築ブロックとして必要とされる移動を指す。低レベル挙動のブロック又は要素は、複雑な中レベル又は高レベルの挙動を達成するために１又は２以上の直列方式又は並列方式で組み合わせることができる。例として、単一の指を全ての指関節において丸める段階は、この段階をツール又は道具であるかに関わらずそれを把持する高レベル挙動を達成するために同じハンド上の全ての他の指をある特定のシーケンスで丸める段階と組み合わせて、接触／力閾値に基づいて開始／停止するようにトリガすることができるので、低レベル挙動である。従って把持の高レベルタスク特定の挙動は、ハンド上の５つの指の各々による感知データ駆動低レベル挙動の直列／並列組合せで構成される。従って、全ての挙動は、ある特定の方式で組み合わせられた場合に高レベルタスク挙動を達成する基礎的な低レベル動き／移動に分解することができる。低レベル挙動と高レベル挙動との間の分類又は境界は、ある程度任意なものとすることができるが、それを考案する１つの手法は、人間が、それ程認識的な考えなしにより人間的な言語によるタスク動作（「ツールを把持する」等）の一部として実施する傾向を有する移動、動作、又は挙動（接触し、十分な接触力が取得されるまでツール／道具の周囲で指を丸める段階等）を低レベルと考えることができ、そう考えるべきであるということである。機械言語実行言語に関して、高レベルタスクの認識がない全てのアクチュエータ特定の命令は、確実に低レベル挙動と考えられる。

モデル要素及び分類－シーン内の要素をタスクの異なる部分に使用される又は必要とされる例えば混合するためのボール及び撹拌するためのスプーン等の品目として理解することができる１又は２以上のソフトウェアベースのコンピュータプログラムを指す。シーン又は世界モデル内の複数の要素を群に分類することができ、迅速な計画及びタスク実行が可能になる。

動きプリミティブ－詳細動作段階の異なるレベル／ドメインを定義する動き動作を指し、例えば、高レベル動きプリミティブは、カップを把持することとなり、低レベル動きプリミティブは、手首を５度だけ回転させることとなる。

マルチモード感知ユニット－複数のモード又は電磁帯域又は電磁スペクトルを感知及び検出することができ、特に３次元の位置及び／又は動きの情報を取り込むことができる複数のセンサで構成された感知ユニットを指す。電磁スペクトルは、低周波数から高周波数までの範囲にわたるものとすることができ、人間によって知覚されるものに限定する必要はない。更に別のモードは、触感、匂い等の他の肉体的感覚を含むことができるが、これらに限定されない。

軸の数－空間内のあらゆる点に達するためには３軸の軸数が必要とされる。アームの端部（すなわち手首）の向きを完全に制御するためには３つの更に別の回転軸（ヨー、ピッチ、及びロール）が必要とされる。

パラメータ－数値又は数値範囲を取ることができる変数を指す。３種類のパラメータ、すなわち、ロボットデバイスに対する命令におけるパラメータ（例えば、アームの移動における力又は距離）、ユーザ設定可能パラメータ（例えば、ミディアム対ウェルダンの肉の好み）、及びシェフが定義するパラメータ（例えば、オーブン温度を３５０Ｆに設定すること）が、特に関連がある。

パラメータ調節－入力に基づいてパラメータ値を変更するプロセスを指す。例えば、ロボットデバイスに対する命令のパラメータの変更は、食材の性質（例えば、サイズ、形状、向き）、キッチンツール、機材、器具の位置／向き、小規模操作の速さ及び持続時間に基づくものとすることができるが、これらに限定されない。

ペイロード又は担持容量－ロボットアームの端点の場所の関数としてロボットアームが重力に抗してどの程度の重量を担持及び保持することが（又は加速することさえも）できるかということを指す。

物理的推論－推測エンジン（プログラム）が物体をより的確にモデル化し、更に、特に把持及び／又は操作／取り扱われる時に実世界内でのこの物体の挙動を予測するのを支援するために幾何学的に推論したデータを拠り所とし、物理的情報（密度、質感、一般的な幾何学形状及び形状）を用いることができるソフトウェアベースのコンピュータプログラムを指す。

生データ－人間シェフが料理を調製するのを注視／監視しながらシェフスタジオレシピ生成プロセスの一部として収集される全ての測定及び推測による感知データ並びに表現情報を指す。生データは、時計の時刻等の簡単なデータ点からオーブン温度（経時的な）、カメラ画像、３次元レーザ生成シーン表現データ、使用器具／機材、採用ツール、分配される食材（タイプ及び量）、更にタイミング等に至るまでの範囲にわたるものとすることができる。スタジオキッチンがその組み込みセンサから収集し、生のタイムスタンプ付き形態で格納する全ての情報は、生データと見なされる。生データは、後に他のソフトウェアプロセスによって、より一層高いレベルの理解及びレシピプロセスの理解を生成して生データをタイムスタンプ付きの更に別の処理済み／解釈済みデータに変換するために使用される。

ロボット装置－ロボットセンサとロボットエフェクタとのセットを指す。エフェクタは、標準化ロボットキッチン内での操作のための１又は２以上のロボットアームと１又は２以上のロボットハンドとを含む。センサは、自らの情報をエフェクタを制御するプロセッサ又はプロセッサセットに送信するカメラ、距離センサ、及び力センサ（触覚センサ）を含む。

レシピ調理プロセス－コンピュータ制御可能デバイスがその環境（例えば、食材、ツール、道具、及び器具を完備したキッチン）内で順序付けられた操作を実行することを可能にするためのプログラマブルなハード自動化デバイスの集合に対する要約レベル及び詳細レベルの命令を含むロボットスクリプトを指す。

レシピスクリプト－ロボットキッチン要素（ロボットアーム、自動化機材、器具、ツール等）によって所与のシーケンスで実行された場合に、スタジオキッチン内で人間シェフによって調製されるものと同じ料理の適正な再現及び作成を生じることになる指令及び実行プリミティブ（簡単な指令ソフトウェアから複合的指令ソフトウェアまで）からなる構造及びリストを含む時間シーケンスとしてのレシピスクリプトを指す。そのようなスクリプトは、時間シーケンスのものであり、ロボットキッチン内のコンピュータ制御式要素に適切であってそれによって理解可能な表現ではあるが、料理を作成するために人間シェフによって採用されるシーケンスと同等である。

レシピ速度実行－シェフの移動を再現することによって食品料理を調製する際にレシピ段階の実行における時系列を管理することを指し、この場合、レシピ段階は、標準化食品調製操作（例えば、標準化調理用具、標準化機材、キッチンプロセッサ等）と、ＭＭと、非標準化物体の調理とを含む。

繰り返し精度－ロボットアーム／ハンドが、プログラムされた位置にどの程度正確に繰り返し戻ることができるかにおける許容事前設定余裕幅を指す。制御メモリ内の技術仕様が、ロボットハンドがある一定のＸ－Ｙ－Ｚ位置までこの位置の±０．１ｍｍの範囲内で動くことを要求する場合には、繰り返し精度は、教示される要望／命令位置の±０．１ｍｍの範囲内に戻ることに関して測定される。

ロボットレシピスクリプト－シェフによって調理された場合と同じ最終生成物に到達するのに必要とされるレシピ内の調理段階を忠実に模倣する段階のロボット／ハード自動化実行の適正なシーケンスに関連する機械理解可能命令のコンピュータ生成シーケンスを指す。

ロボット衣装－シェフスタジオ内でレシピ調理プロセスの全ての態様中にシェフの移動及び活動を監視して追跡するために使用されるカメラで取り扱いが容易なマーカ、有関節外骨格等を有するグローブ、衣服等の外部計装デバイス又は衣服である。

シーンモデル化－シーンを１又は２以上のカメラ視野内で見ることができ、特定のタスクにとって重要な物体を検出して識別することができるソフトウェアベースのコンピュータプログラムを指す。これらの物体は、事前教示することができ、及び／又は既知の物理的属性及び用法用途を有するコンピュータライブラリの一部とすることができる。

スマートキッチン調理用具／機材－１又は２以上のグラフ曲線（例えば、温度曲線、湿度曲線等）に基づいて食品料理を調製する１又は２以上のセンサを有するキッチン調理用具の品目（例えば深鍋又は平鍋）又はキッチン機材（例えば、オーブン、グリル、又は水栓）の品目を指す。

ソフトウェア抽象化食品エンジン－連動して動作して入力データを処理し、他のソフトウェアエンジンによって又はあらゆる形態のテキスト又はグラフィックの出力インタフェースを通じてエンドユーザによって使用されることになるある一定の望ましい出力データセットを発生させるソフトウェアループ又はプログラムの集合として定義されるソフトウェアエンジンを指す。抽象化ソフトウェアエンジンは、３次元空間内の物体（例えばテーブル台、調理深鍋等）に付随するデータ示度を識別、検出、及び分類するために、特定のドメイン内にある既知の供給源から大量の入力データ（１又は２以上のセンサによって捉えられた３次元測定値のデータクラウドを形成する３次元距離測定値等）を取得し、続いて異なるドメインにおけるデータの解釈に達するようにこれらのデータを処理すること（同じ垂直データ値等を有するデータに基づいてデータクラウド内でテーブル表面を検出及び認識すること等）に主眼が置かれたソフトウェアプログラムである。基本的に、抽象化プロセスは、１つのドメインから大きいデータセットを取得し、より高い空間レベルにおける構造（幾何学形状等）を推測し（データ点を抽象化し）、続いて推測値を更に一層抽象化し、抽象化データセットから物体（深鍋等）を識別して、後に更に別の決定（主要物体に対する取扱／操作決定等）を行うために他のソフトウェアエンジンが用いることができる実世界要素を画像内で識別することとして定義される。本出願における「ソフトウェア抽象化エンジン」に対する同義語は、「ソフトウェア解釈エンジン」とすることもでき、又は更に「コンピュータソフトウェア処理及び解釈アルゴリズム」とすることもできる。

タスク推論－タスク記述内に定義された特定の最終結果を得るためにタスク記述を解析し、それを複数の機械実行可能（ロボット又はハード自動化システム）段階のシーケンスに分解することができるソフトウェアベースのコンピュータプログラムを指す。

３次元世界物体のモデル化及び理解－全ての表面及び空間領域の範囲内にある物体を検出、識別、及び分類し、これらの物体の用法及び用途を理解することができるように、感知データを用いてこれらの表面及び空間領域の時変３次元モデルを作成することができるソフトウェアベースのコンピュータプログラムを指す。

トルクベクトル－その方向と大きさを含むロボット外肢に対するねじり力を指す。

体積測定物体推測（エンジン）－物体の識別プロセス及び分類プロセスを支援するために幾何学データ及びエッジ情報、並びにその他の感知データ（色、形状、質感等）を用いて１又は２以上の物体の３次元特性の識別を可能にすることができるソフトウェアベースのコンピュータプログラムを指す。

ロボット装置及びＭＭライブラリによる再現についての更に別の情報に関しては、「ロボット調理キッチン内の食品調製のための方法及びシステム（ＭｅｔｈｏｄｓａｎｄＳｙｓｔｅｍｓｆｏｒＦｏｏｄＰｒｅｐａｒａｔｉｏｎｉｎａＲｏｂｏｔｉｃＣｏｏｋｉｎｇＫｉｔｃｈｅｎ）」という名称の同時係属中の米国非仮特許出願第１４／６２７，９００号明細書を参照されたい。

図１は、ロボットハードウェア１２とロボットソフトウェア１４とを有する全体的ロボット食品調製キッチン１０を例示するシステム図である。全体的ロボット食品調製キッチン１０は、一緒に作動して食品調製のためのロボット機能を実施するロボット食品調製ハードウェア１２とロボット食品調製ソフトウェア１４とを含む。ロボット食品調製ハードウェア１２は、標準化キッチンモジュール１８（一般的に、１又は２以上のセンサを有する計装環境内で作動する）の様々な操作及び移動を制御するコンピュータ１６と、マルチモード３次元センサ２０と、ロボットアーム２２と、ロボットハンド２４と、取り込みグローブ２６とを含む。食品料理が人間シェフによって調製された場合と同じ又は実質的に同じ味がすることになる同じ又は実質的に同じ食品料理結果（例えば、同じ味がする、同じ匂いがする等）を得るために、ロボット食品調製ソフトウェア１４は、ロボット食品調製ハードウェア１２と共に作動して、食品料理を調製する際のシェフの移動を取り込み、ロボットのアーム及びハンドを通じてシェフの移動を再現する。

ロボット食品調製ソフトウェア１４は、マルチモード３次元センサ２０と、取り込みモジュール２８と、較正モジュール３０と、変換アルゴリズムモジュール３２と、再現モジュール３４と、３次元視覚システムを有する品質チェックモジュール３６と、同結果モジュール３８と、学習モジュール４０とを含む。取り込みモジュール２８は、シェフが食品料理を調製する際のシェフの移動を取り込む。較正モジュール３０は、調理プロセスの前、最中、及び後にロボットアーム２２及びロボットハンド２４を較正する。変換アルゴリズムモジュール３２は、シェフスタジオ内で収集されたシェフの移動から記録されたデータをロボットハンドがシェフの料理の食品調製を再現するロボットキッチン内での使用に向けてレシピを修正したデータ（又は改変データ）に変換するように構成される。再現モジュール３４は、シェフの移動をロボットキッチン内で再現するように構成される。品質チェックモジュール３６は、食品調製プロセスの最中、前、又は後にロボットキッチンによって調製される食品料理の品質チェック機能を実施するように構成される。同結果モジュール３８は、ロボットキッチン内でロボットアームとロボットハンドとの対によって調製された食品料理が、シェフによって調製された場合と同じ又は実質的に同じ味がすることになるか否かを決定するように構成される。学習モジュール４０は、ロボットのアーム及びハンドを操縦するコンピュータ１６に学習能力を与えるように構成される。

図２は、シェフスタジオシステムと、シェフのレシピのプロセス及び移動を再現することによって料理を調製するための家庭用ロボットキッチンシステムとを含む食品ロボット調理システムの第１の実施形態を例示するシステム図である。ロボットキッチン調理システム４２は、１又は２以上のソフトウェア記録レシピファイル４６をロボットキッチン４８（「家庭用ロボットキッチン」とも呼ぶ）に転送するスタジオキッチン４４（「シェフスタジオキッチン」とも呼ぶ）を含む。一実施形態では、食品料理を調製する段階の再現の詳細さを最大化し、それによって、シェフキッチン４４において調製される食品料理とロボットキッチン４６によって調製されるものとの間の逸脱に寄与する可能性がある変数を低減するために、シェフキッチン４４とロボットキッチン４８との両方が同じ標準化ロボットキッチンモジュール５０（「ロボットキッチンモジュール」、「ロボットキッチン空間領域」、「キッチンモジュール」、又は「キッチン空間領域」とも呼ぶ）を用いる。シェフ５２は、自分自身の調理の移動を取り込んで記録するための外部感知デバイスを有するロボットグローブ又はロボット衣装を着用する。標準化ロボットキッチン５０は、様々なコンピューティング機能を制御するためのコンピュータ１６を含み、コンピュータ１６は、シェフの移動を取り込むためのグローブ又は衣装５４のセンサからの１又は２以上のソフトウェアレシピファイルを格納するためのメモリ５２と、ロボット調理エンジン（ソフトウェア）５６とを含む。ロボット調理エンジン５６は、移動解析及びレシピ抽象化及び順序付けモジュール５８を含む。一般的にロボットキッチン４８は、ロボットアームとロボットハンドとの対を用いて自律的に作動し、任意的なユーザ６０が、ロボットキッチン４６を起動する又はプログラムすることになる。ロボットキッチン４８内のコンピュータ１６は、ロボットのアーム及びハンドを操縦するためのハード自動化モジュール６２と、ソフトウェアレシピ（食材、シーケンス、プロセス等）ファイルからシェフの移動を再現するためのレシピ再現モジュール６４とを含む。

標準化ロボットキッチン５０は、シェフの調理の移動を検出、記録、及び模擬し、経時的温度等の重要なパラメータ、並びに指定された器具、機材、及びツールを用いたロボットキッチンにおけるプロセス実行を制御するように設計される。シェフキッチン４４は、特定のレシピについての食品調製におけるシェフの５０の移動を記録し、取り込むためのセンサ付きグローブ又はセンサ付き衣装を有するコンピューティングキッチン環境１６を与える。特定の料理についてシェフ４９の移動及びレシピプロセスがメモリ５２内のソフトウェアレシピファイル内に記録されると、このソフトウェアレシピファイルは、シェフキッチン４４からロボットキッチン４８に通信ネットワーク４６を通じて転送され、それによってユーザ（任意的）６０は、１又は２以上のソフトウェアレシピファイルを購入することができるか、又は新しいソフトウェアレシピファイルを受信するか、又は既存のソフトウェアレシピファイルの定期的な更新を受ける会員としてユーザをシェフキッチン４４に購読登録することができる。家庭用ロボットキッチンシステム４８は、住居家庭、レストラン、及びユーザ６０が食品を調製するために内部にキッチンが建てられたその他の場所においてロボットコンピューティングキッチン環境としての役割を果たす。家庭用ロボットキッチンシステム４８は、シェフスタジオシステム４４から受け取ったソフトウェアレシピファイルに基づいてシェフの調理の動作、プロセス、及び移動を再現するために１又は２以上のロボットアーム及びハード自動化デバイスを有するロボット調理エンジン５６を含む。

シェフスタジオ４４及びロボットキッチン４８は、複数レベルの実行忠実度を有する複雑にリンクされた教示－再生システムを表している。シェフスタジオ４４が、職業者によって調理される料理をどのようにして調製するかについての高忠実度プロセスモデルを生成するのに対して、ロボットキッチン４８は、シェフがシェフスタジオ内で作業することを通じて作成されたレシピスクリプトに対する実行／再現エンジン／プロセスである。ロボットキッチンモジュールの標準化は、実施忠実度と成功／保証を高めるための手段である。

レシピ実行に関する異なるレベルの忠実度は、シェフスタジオ４４におけるものとロボットキッチン４８におけるものとの間のセンサ及び機材の相関性に依存する（当然ながら食材に依存するが、これに加えて）。忠実度は、スペクトルの端点のうちの一方（完全な再現／実行）において人間シェフによって調製されるものと同一の（区別不能に同一の）味を有する料理として定義することができ、それに対して反対の端点では、料理は、品質（過度に調理された肉又はパスタ）、味（焦げ気味）、可食性（不適切な濃度）との関わりを有するか、又は健康との関わり（サルモネラ菌暴露を伴う鶏肉／豚肉等の肉の調理不足等）さえも有する１又は２以上の実質的又は致命的な欠陥を有するものとすることができる。

シェフスタジオ調理プロセス中に記録されたシェフによるものに類似する移動及びプロセスを再現することができる同一のハードウェア、センサ、及び移動システムを有するロボットキッチンは、高い忠実度の成果を生じる可能性が高い。この場合の意味合いは、構成が同一であることを必要とすることであり、この構成は、コスト的及び空間領域的な関わりを有する。しかし、ロボットキッチン４８は、コンピュータ制御又はコンピュータ監視されるより標準化された要素（センサ付き深鍋、ネットワーク接続されたオーブン等の器具等）を用いてなおも実施することができ、それによって、より複合的実行監視を可能にするためにより大幅にセンサに基づく理解が必要とされる。この場合、主要な要素（正しい食材量、調理温度等）及びプロセス（混合器の場合の撹拌器／つぶし器の使用は、ロボット家庭キッチンでは利用可能ではない）に関して不確実性が高まるので、シェフからのものと同一の成果を有することの保証は間違いなく低くなる。

本発明の開示における重点は、ロボットキッチンと結合されたシェフスタジオ４４という概念が一般的な設計構想である点である。ロボットキッチン４８のレベルは、アームセンサ及び環境センサのセットが装備された家庭キッチンから、アーム及び関節動きと、ツール及び器具と、食材供給とのセットが、シェフのレシピをほぼ同一の様式で再現することができるスタジオキッチンの同一の複製物に至るまで様々に可変である。張り合う変数は、品質、見栄え、味、可食性、及び健康に関する最終結果又は料理の品質度だけとなる。

ロボットキッチン内でのレシピ成果と入力変数との間の上記の相関性を数学的に記述する上で可能な方法は、次式によって最適に記述することができる。
Ｆ_{recipe-outcome}＝Ｆ_studio（Ｉ，Ｅ，Ｐ，Ｍ，Ｖ）＋Ｆ_RobKit（Ｅ_f，Ｉ，Ｒ_e，Ｐ_mf）
式中、Ｆ_studio＝シェフスタジオのレシピスクリプト忠実度であり、
Ｆ_RobKit＝ロボットキッチンによるレシピスクリプト実行であり、
Ｉ＝食材であり、
Ｅ＝機材であり、
Ｐ＝プロセスであり、
Ｍ＝方法であり、
Ｖ＝変数（温度、時間、圧力等）であり、
Ｅ_f＝機材忠実度であり、
Ｒ_e＝再現忠実度であり、
Ｐ_mf＝プロセス監視忠実度である。

上記の式は、ロボット調製レシピの成果が、人間シェフが調製して配膳することになるもの（Ｆ_{recipe-outcome}）に適合する程度を、使用される食材（Ｉ）と、シェフのプロセス（Ｐ）を実行するのに利用可能な機材（Ｅ）と、調理プロセス中に全ての主要変数（Ｖ）を適正に取り込むことによる方法（Ｍ）とに基づいて、レシピが適正に取り込まれ、シェフスタジオ４４によって表されたレベル（Ｆ_studio）に関連付け、更に主に適正食材（Ｉ）の使用と、シェフスタジオ内のものに比較したロボットキッチン内の機材忠実度レベル（Ｅ_f）と、レシピスクリプトをロボットキッチン内で再現することができるレベル（Ｒ_e）と、可能な最も高いプロセス監視忠実度（Ｐ_mf）を得るために監視して補正動作を実行する能力及び必要性がどの程度存在するかということとによって駆動される関数（Ｆ_RobKit）によってロボットキッチンがロボットレシピスクリプトの再現／実行プロセスをどの程度表すことができるかということに関連付ける。

関数（Ｆ_studio）及び（Ｆ_RobKit）は、定数、変数、及びあらゆる形態のアルゴリズム関係を有する線形又は非線形の関数式のあらゆる組合せとすることができる。両方の関数に対するそのような代数表現についての例を以下に続く式とすることができる。

Ｆ_studio＝Ｉ（ｆｃｔ．ｓｉｎ（温度））＋Ｅ（ｆｃｔ．調理台１５）＋Ｐ（ｆｃｔ．円（スプーン）＋Ｖ（ｆｃｔ．０．５時間）

上式は、調製プロセスの忠実度が、冷蔵庫内で正弦関数として経時変化する食材温度と、特定のステーション上の調理台上で食材を特定の倍率で加熱することができる速さと、スプーンをある一定の振幅及び周期の円形経路でどの程度上手に動かすことができるかということとに関連付けられること、及び調製プロセスの忠実度を維持するために、このプロセスを人間シェフの速さの１／２よりも遅く実施しないことが必要であることを描述している。

Ｆ_RobKit＝Ｅｆ，（調理台２，サイズ）＋Ｉ（１．２５サイズ＋線形（温度））＋Ｒ_e（動き推移）＋Ｐ_mf（センサ組の対応性）

上式は、ロボットキッチンにおける再現プロセスの忠実度が、特定の調理区域に対する器具のタイプ及びレイアウト及び加熱要素のサイズと、表面焼き又はムースのかき混ぜのような特定の段階のあらゆる撹拌動き及び浸漬動きの動き推移も維持しながら表面焼きされて調理される食材のサイズ及び温度推移と、監視センサデータがレシピ内の全ての段階の間にロボットキッチン内での調理プロセスの適正な監視忠実度を与えるのに十分に正確で詳細であると信用する程十分にロボットキッチン内のセンサとシェフスタジオ内のセンサとの間の対応性が高いか否かということとに関連付けられることを描述している。

レシピの成果は、人間シェフの調理の段階／方法／プロセス／技能がシェフスタジオによってどの程度の忠実度で取り込まれたかということの関数だけではなく、これらの段階／方法／プロセス／技能をロボットキッチンがどの程度の忠実度で実行することができるかということの関数でもあり、この場合、これらの関数の各々が、それぞれの部分システム性能に影響を与える主要要素を有する。

図３は、食品料理を調製する際のシェフの移動を記録し、ロボットのアーム及びハンドによって食品料理を再現することによる食品調製のための標準化ロボットキッチンの一実施形態５０を例示するシステム図である。この状況では、「標準化」（又は「標準」）という用語は、構成要素又は特徴の仕様が、下記で説明することになるように事前設定のものであることを意味する。コンピュータ１６は、３次元視覚センサ６６と、収縮可能安全スクリーン６８（例えば、ガラス、プラスチック、又はその他のタイプの保護材料）と、ロボットアーム７０と、ロボットハンド７２と、標準化調理器具／機材７４と、センサ付き標準化調理用具７６と、標準化ハンドル又は標準化調理用具７８と、標準化ハンドル及び標準化道具８０と、標準化ハード自動化ディスペンサ８２（「ロボットハード自動化モジュール」とも呼ぶ）と、標準化キッチンプロセッサ８４と、標準化容器８６と、冷蔵庫内の標準化食品ストレージ８８とを含む標準化ロボットキッチン５０内の複数のキッチン要素に通信的に結合される。

標準化（ハード）自動化ディスペンサ８２は、調理プロセスに向けて事前パッケージ化された（既知の）量又は特化された供給量の主要材料、例えば香辛料（塩、胡椒等）、液（水、油等）、又はその他の乾燥材料（小麦粉、砂糖等）を供給又は付与するように調理コンピュータ１６によってプログラマブル及び／又は制御可能であるデバイス又は一連のデバイスである。標準化ハード自動化ディスペンサ８２は、特定のステーションに設置することができるか、又はレシピシーケンスに従って分配を行うためにロボットによってアクセスし、トリガすることができるものとすることができる。他の実施形態では、ロボットハード自動化モジュールは、他のモジュール、ロボットアーム、又は調理道具と組み合わせるか、又は直列又は並列で順序付けすることができる。この実施形態では、標準化ロボットキッチン５０は、ロボットアーム７０とロボットハンド７２とを含み、ロボットハンドは、料理を調製する際にシェフの詳細な移動を再現してシェフが自分自身で調製した場合と同じ味の料理を生成するために、メモリ５２に格納されたソフトウェアレシピファイルに従ってロボット食品調製エンジン５６によって制御される。３次元視覚センサ６６は、キッチン活動の視覚３次元モデルを生成し、標準化ロボットキッチン５０の内部の寸法及び物体を評価するためにキッチン空間領域を走査する物体の３次元モデル化を可能にする能力を与える。収縮可能安全ガラス６８は、透明材料をロボットキッチン５０上に備え、オン状態で安全ガラスをロボットキッチンの周囲に延ばし、周りにいる人間をロボットアーム７０及びロボットハンド７２の移動、熱湯及びその他の液、蒸気、炎、並びにその他の危険な影響要素から保護する。ロボット食品調製エンジン５６は、シェフスタジオシステム４４から過去に送られたソフトウェアレシピファイルを得るために電子メモリ５２に通信的に結合され、このソフトウェアレシピファイルに対して、ロボット食品調製エンジン５６は、それに示されている通りに調製プロセスを実行し、シェフの調理方法及び調理プロセスを再現するように構成される。ロボットアーム７０とロボットハンド７２との組合せは、結果として生じる食品料理が、シェフによって調製される同じ食品料理と同一の（又は実質的に同一の）味がすることになるように料理を調製する際にシェフの詳細な移動を再現するための役割を果たす。標準化調理機材７４は、コンロ／電磁調理器／調理台（電気調理台、ガス調理台、電磁調理台）、オーブン、グリル、調理蒸し器、及び電子レンジを含むがこれらに限定されないロボットキッチン５０の一部として組み込まれた数種類の調理器具４６を含む。標準化調理用具及びセンサ７６は、調理用具上のセンサに基づく食品調製段階の記録と、センサ付き深鍋、センサ付き平鍋、センサ付きオーブン、及びセンサ付き炭火グリルを含むセンサ付き調理用具に基づいて食品料理を調理する段階とのための実施形態として使用される。標準化調理用具７８は、フライパン、ソテーパン、グリルパン、マルチポット、ロースター、中華鍋、及び蒸し煮器を含む。ロボットアーム７０及びロボットハンド７２は、調理プロセスにおいて標準化ハンドル及び標準化道具８０を操作する。一実施形態では、ロボットハンド７２には、必要に応じた選択に向けてフォークの刃先、ナイフの刃先、及びスプーンの刃先に取り付けられる標準化ハンドルが備え付けられる。標準化ハード自動化ディスペンサ８２は、好適な主要食材及び共通／反復食材を供与するためにロボットキッチン５０内に組み込まれ、これらの食材は、容易に測定／投与／又は事前パッケージ化される。標準化容器８６は、食品を室温で保管するストレージ場所である。標準化冷蔵庫容器８８は、魚、肉、野菜、果物、牛乳、及びその他の生鮮品目を保管するための識別子付き容器を有する冷蔵庫に関するが、それに限定されない。標準化容器８６又は標準化ストレージ８８内の容器は、容器識別子を用いてコード化することができ、そこからロボット食品調製エンジン５６は、この容器識別子に基づいて容器内の食品のタイプを確認することができる。標準化容器８６は、塩、胡椒、砂糖、油、及び他の香辛料等の非生鮮食品品目に対するストレージ空間を与える。センサ付き標準化調理用具７６及び調理用具７８は、料理を調製するために調理ツールを選択するためのロボットアーム７０による使用に向けて棚又は収納庫に保管することができる。一般的に、生魚、生肉、及び野菜は事前に切断されて、識別子付き標準化ストレージ８８内に保管することができる。キッチンカウンター台９０は、ロボットアーム７０が、切断動作又は細切り動作を含む場合も含まない場合もある肉又は野菜を必要に応じて取り扱う段階を行うためのプラットフォームを与える。キッチン水栓９２は、料理のための調製において食品を洗浄又は清掃するためのキッチンシンク空間を与える。ロボットアーム７０が料理を調製するためのレシピプロセスを終了し、配膳に向けて料理の準備が整うと、料理は、道具、ワイングラス、及び食物に合うように選定されたワインの配置等の周囲設定をロボットアーム７０によって調節することによって食事環境を向上させることを更に可能にする配膳カウンター９０上に置かれる。標準化ロボットキッチンモジュール５０内の機材の一実施形態は、様々なタイプの料理を調製する上での普遍的な訴求力を高めるための業務用セットである。

標準化ロボットキッチンモジュール５０は、レシピ再現の詳細度を最大化し、それと同時にシェフキッチン４４とロボットキッチン４８との間のレシピ料理の詳細再現からの逸脱の危険性を最小化するようにシェフキッチン４４とロボットキッチン４８との両方における整合性を確実にするために、キッチンモジュール５０及びそれ自体に伴う様々な構成要素の標準化を１つの目的として有する。キッチンモジュール５０の標準化を有する１つの主な目的は、シェフによって調製される第１の食品料理とロボットキッチンによる同じレシピプロセスの後続の再現との間で同じ調理プロセス結果（又は同じ料理）を得ることである。シェフキッチン４４とロボットキッチン４８との間で標準化ロボットキッチンモジュール５０における標準化プラットフォームを考えることは、同じ時系列、同じプログラム又はモード、及び品質チェックといった一部の重要な要件を有する。シェフがシェフキッチン４４において食品料理を調製し、ロボットハンドによる再現プロセスがロボットキッチン４８内で行われる標準化ロボットキッチン５０における同じ時系列は、同じ操作シーケンス、各操作の同じ開始時間及び終了時間、並びに取扱操作の間に物体を動かす同じ速さに関するものである。標準化ロボットキッチン５０における同じプログラム又はモードは、各操作の記録及び実行段階の間の標準化機材の使用及び操作に関するものである。品質チェックは、食品調製プロセス中にあらゆる逸脱を補正し、欠陥のある結果を回避するために各操作動作を監視して実時間で調節する標準化ロボットキッチン５０内の３次元視覚センサに関するものである。標準化ロボットキッチンモジュール５０の採用は、シェフが調製する食品料理とロボットのアーム及びハンドを用いてロボットキッチンによって調製される食品料理との間で同じ結果が得られないという危険性を低減し、最小限に抑える。ロボットキッチンモジュール及びロボットキッチンモジュール内の構成要素の標準化を持たない場合には、シェフキッチン４４とロボットキッチン４８との間で異なるキッチンモジュール、異なるキッチン機材、異なるキッチン用具、異なるキッチンツール、及び異なる食材に伴ってより精巧で複合的調節アルゴリズムが必要とされることになるので、シェフキッチン４４とロボットキッチン４８との間で増幅された変動が、シェフが調製する食品料理とロボットキッチンによって調製される食品料理との間で同じ結果を得ることができないという危険性を高める。

標準化ロボットキッチンモジュール５０は、多くの態様の標準化を含む。第１に、標準化ロボットキッチンモジュール５０は、あらゆるタイプのキッチン用具、キッチン容器、キッチンツール、及びキッチン機材の標準化された位置及び向き（ＸＹＺ座標平面内）を含む（キッチンモジュール及びデバイスの位置にある標準化された固定孔と共に）。第２に、標準ロボットキッチンモジュール５０は、調理空間領域の標準化された寸法及び構造を含む。第３に、標準ロボットキッチンモジュール５０は、オーブン、コンロ、皿洗い機、水栓等の標準化機材セットを含む。第４に、標準ロボットキッチンモジュール５０は、形状、寸法、構造、材料、能力等に関して標準化されたキッチン用具、調理ツール、調理デバイス、容器、及び冷蔵庫内の食品ストレージを含む。第５に、一実施形態において標準ロボットキッチンモジュール５０は、あらゆるキッチン用具、ツール、器械、容器、及び機材を取り扱うためのハンドルであって、それをロボットハンドが、あらゆる不適切な把持又は不正な向きを回避しながら唯一の正しい位置に保持することを可能にする標準化ユニバーサルハンドルを含む。第６に、標準ロボットキッチンモジュール５０は、多彩な操作を行う標準化ロボットアーム及び標準化ロボットハンドを含む。第７に、標準ロボットキッチンモジュール５０は、標準化食材操作に向けて標準化キッチンプロセッサを含む。第８に、標準ロボットキッチンモジュール５０は、動的な３次元視覚データを作成するための標準化３次元視覚デバイス、並びにレシピ記録、実行追跡、及び品質チェックの機能のための他の可能な標準センサを含む。第９に、標準ロボットキッチンモジュール５０は、特定のレシピ実行中に各食材に関して標準化されたタイプ、体積、サイズ、及び重量を含む。

図４は、シェフスタジオシステム４４及び家庭用ロボットキッチンシステム４８内のコンピュータ１６との併用のためのロボット調理エンジン（「ロボット食品調製エンジン」とも呼ぶ）の一実施形態５６を例示するシステム図である。他の実施形態は、シェフキッチン４４及びロボットキッチン４８内のロボット調理エンジン１６内のモジュールの修正、追加、又は変更を有することができる。ロボット調理エンジン５６は、入力モジュール５０と、較正モジュール９４と、品質チェックモジュール９６と、シェフ移動記録モジュール９８と、調理用具センサデータ記録モジュール１００と、ソフトウェアレシピファイルを格納するためのメモリモジュール１０２と、記録済みセンサデータを用いて機械モジュール特定の順序付けされた作動プロファイルを生成するためのレシピ抽象化モジュール１０４と、シェフ移動再現ソフトウェアモジュール１０６と、１又は２以上の感知曲線を用いる調理用具感知再現モジュール１０８と、ロボット調理モジュール１１０（標準化作動、小規模操作、及び非標準化物体を実施するようにコンピュータ制御式）と、実時間調節モジュール１１２と、学習モジュール１１４と、小規模操作ライブラリデータベースモジュール１１６と、標準化キッチン操作ライブラリデータベースモジュール１１８と、出力モジュール１２０とを含む。これらのモジュールは、バス１２０を通じて通信的に結合される。

入力モジュール５０は、別のコンピューティングデバイスから送られるソフトウェアレシピファイル等のあらゆるタイプの入力情報を受信するように構成される。較正モジュール９４は、それ自体をロボットアーム７０、ロボットハンド７２、及び標準化ロボットキッチンモジュール５０内にある他のキッチン用具及び機材で較正するように構成される。品質チェックモジュール９６は、調理に向けて生食品が取得される時に、生肉、生野菜、牛乳関連の食材の品質及び鮮度を決定し、これに加えて、これらの食品を標準化食品ストレージ８８内に受け入れる時に生食品の品質をチェックするように構成される。品質チェックモジュール９６は、食品の匂い、食品の色、食品の味、及び食品の外観又は見栄え等の感覚に基づく物体の品質検査を行うように構成することもできる。シェフ移動記録モジュール９８は、シェフが食品料理を調製する時のシェフのシーケンス及び詳細な移動を記録するように構成される。調理用具センサデータ記録モジュール１００は、内部の様々なゾーン内に配置されたセンサを装備する調理用具（センサ付き平鍋、センサ付きグリル、又はセンサ付きオーブン等）からの感知データを記録し、それによって１又は２以上の感覚曲線を生成するように構成される。結果は、特定の料理に関する調理器具の経時的温度変動を反映する温度（及び／又は湿度）曲線等の感知曲線の生成である。メモリモジュール１０２は、シェフレシピの移動の再現のためのソフトウェアレシピファイル又は感知データ曲線を含むその他のタイプのソフトウェアレシピファイルのどちらかを格納するための格納場所として構成される。レシピ抽象化モジュール１０４は、記録済みセンサデータを用いて機械モジュール特定の順序付けられた作動プロファイルを生成するように構成される。シェフ移動再現モジュール１０６は、料理を調製する際のシェフの詳細な移動をメモリ５２に格納されているソフトウェアレシピファイルに基づいて再現するように構成される。調理用具感知再現モジュール１０８は、シェフ４９が料理を調製した時に、センサ付き標準化調理用具７６を用いて生成された１又は２以上の記録済み感知曲線の特性を辿ることによって食品料理調製を再現するように構成される。ロボット調理モジュール１１０は、標準化キッチン操作、小規模操作、非標準化物体、並びに標準化ロボットキッチン５０内の様々なキッチンツール及び機材を自律的に制御して操作するように構成される。実時間調節モジュール１１２は、シェフの移動の詳細な再現又は感知曲線の詳細な再現である結果的なプロセスを生成するように特定のキッチン操作又は小規模操作に関連する変数に実時間調節を加えるように構成される。学習モジュール１１４は、ロボットアーム７０及びロボットハンド７２によって食品料理を調製する際に、事例に基づく（ロボット）学習等の方法を用いて、食品料理がシェフによって調製されたかのように詳細な再現を最適化するために、ロボット調理エンジン５６に学習能力を与えるように構成される。小規模操作ライブラリデータベースモジュール１１６は、小規模操作についての第１のデータベースライブラリを格納するように構成される。標準化キッチン操作ライブラリデータベースモジュール１１７は、標準化キッチン用具及びこの標準化キッチン用具をどのように操作するかについての情報の第２のデータベースライブラリを格納するように構成される。出力モジュール１１８は、ロボット調理エンジンの外部に出力コンピュータファイル又は制御信号を送るように構成される。

図５Ａは、拡張マルチモード感知の使用をサポートしてロボットキッチンに対するレシピ命令スクリプトを作成する一部の主機能ブロックを示すシェフスタジオレシピ作成プロセス１２４を例示するブロック図である。センサインタフェースモジュール１５０を通じてデータを収集するために、匂い１２６、ビデオカメラ１２８、赤外線スキャナ及び距離計１３０、ステレオ（又は更に三眼の）カメラ１３２、触覚グローブ１３４、多関節レーザスキャナ１３６、仮想世界ゴーグル１３８、マイクロフォン１４０、又は外骨格動きスーツ１４２等の（しかし、これらに限定されない）多数のセンサからのセンサデータ、人間音声１４４、接触センサ１４６、及び更に別の形態のユーザ入力１４８が使用される。可能性のある人間のユーザの入力１４８（例えばシェフの画面タッチ及び音声入力）を含むこれらのデータは、取得されてフィルタ処理され１５２、その後、多数の（並列）ソフトウェア処理が、時間データ及び空間データを利用して機械特定のレシピ作成プロセスにデータ投入するために使用されるデータを生成する。センサは、人間の位置及び／又は動きを取り込むことに限定されないことが可能であり、標準化ロボットキッチン５０内の他の物体の位置、向き、及び／又は動きを取り込むこともできる。

これらの個別ソフトウェアモジュールは、（ｉ）場所及び構成のモジュール１５４を通じてのシェフの場所及び調理ステーションＩＤ、（ｉｉ）アームの構成（胴体を通じての）、（ｉｉｉ）ツールがいつどのように取り扱われるか、（ｉｖ）ハードウェア及び変数の抽象化モジュール１５６を通じての使用道具及びステーション上での場所、（ｖ）これらの道具を用いて実行されるプロセス、（ｖｉ）処理モジュール１５８を通じて監視する必要がある変数（温度、蓋のある／なし、撹拌等）、（ｖｉｉ）時間（開始／完成、タイプ）分布、（ｖｉｉｉ）適用されているプロセスのタイプ（撹拌、折り畳み等）、（ｉｘ）調理シーケンス及び調理プロセスの抽象化モジュール１６０を通じての追加食材（タイプ、量、準備状態等）等の情報を生成する（しかし、それによってこれらのモジュールのみに限定されることはない）。

続いて全てのこれらの情報は、実行及び監視すべき逐次／並列重複タスクのスクリプトとして編成される機械特定のレシピ命令セット（ロボットアームに対するものだけではなく、食材ディスペンサ、ツール、及び道具等にも対する）をスタンドアローンモジュール１６２を通じて作成するために使用される。このレシピスクリプト１６４は、全体の生データセット１６６と共にデータ格納モジュール１６８に格納され、ロボットキッチンインタフェースモジュール１７０を通じて遠隔ロボット調理ステーションに対してアクセス可能にされるか、又はグラフィカルユーザインタフェース（ＧＵＩ）１７４を通じて人間のユーザ１７２に対してアクセス可能にされるかのどちらかである。

図５Ｂは、教示／再生プロセス１７６を有する標準化されたシェフスタジオ４４ロボットキッチン５０の一実施形態を例示するブロック図である。教示／再生プロセス１７６は、シェフがシェフスタジオ標準化機材７４と料理を作成する上でレシピによって必要とされる食材１７８とのセットを用いて、記録及び監視されている間にレシピ実行１８０を実施するシェフスタジオ４４内でシェフのレシピ実施プロセス／方法／技能４９を取り込む段階を説明する。生センサデータは１８２において記録され（再生に向けて）、更に様々な抽象化レベル（使用ツール／機材、採用技術、開始／終了時の時間／温度等）における情報を生成するように処理され、続いてロボットキッチン４８による実行に向けてレシピスクリプト１８４を作成するために使用される。

ロボットキッチン４８は、プロセス１８６によってチェックされるキッチンが標準化又は非標準化のどちらのタイプのものであるかに依存するプロファイルを有するレシピ再現プロセス１０６に携わる。ロボットキッチンの実行は、ユーザにとって利用可能なキッチンのタイプに依存する。ロボットキッチンが、シェフスタジオ内で使用されるものと同じ／同一の（少なくとも機能的に）機材を用いる場合には、レシピ再現プロセスは主に生データを用いてレシピスクリプト実行プロセスの一部としてそれを再生するものである。しかし、キッチンが（理想的な）標準化キッチンとは異なる場合には、実行エンジンは、同様の段階的結果を得ようと試みる上でキッチン特定の実行シーケンスを生成するために、抽象化データを拠り所としなければならなくなる。

公知のスタジオ機材１９６又は混在／異型の非シェフスタジオ機材１９８のどちらが使用されているかに関わらず、調理プロセスは監視プロセス１９４を通じてロボットキッチン内の全てのセンサユニットによって継続的に監視されるので、システムは、レシピ進行チェック２００に依存して必要に応じて修正を加えることができる。標準化キッチンの一実施形態では、一般的に生データは、シェフスタジオ型機材を用いて実行モジュール１８８を通じて再生され、教示データセットと再生データセットとの間には１対一の対応性が存在するので、予測される調節は、スクリプト実行における調整２０２（ある一定の段階を繰り返す、ある一定の段階に戻る、実行を遅くする等）だけである。しかし、非標準化キッチンの場合には、システムは、シェフスタジオ４４内のものとは異なる利用可能ツール／器具１９２又は測定されたレシピスクリプトからの逸脱（肉が過度に緩慢に調理されていること、深鍋内の熱点がルーを焦がしていること等）に合わせるために、実際のレシピ自体及びその実行をレシピスクリプト修正モジュール２０４によって修正及び調整しなければならなくなる可能性が非常に高い。全体的レシピスクリプトの進行は、シェフスタジオ機材２０８又は混在／キッチン機材２１０のどちらが使用されているかに依存して異なる同様のプロセス２０６を用いて監視される。

非標準化キッチンは、スタジオキッチン内で使用されるものを反映する機材及び能力を有する標準化ロボットキッチンを用いる場合と比較して、人間シェフが調理したものに近い料理を生じる可能性が低い。最終的な主観的判断は、当然ながら人間（又はシェフ）の味見によるもの又は（主観的）品質判断２１４を生じる品質評価２１２である。

図５Ｃは、人間シェフによるシェフスタジオレシピリハーサルの一部としてのレシピスクリプト生成プロセスの構造及びフローに関係するレシピスクリプト生成及び抽象化エンジンの一実施形態２１６を例示するブロック図である。第１の段階は、シェフスタジオ４４内で測定することができる全ての入手可能データに関して、中央コンピュータシステムによって入力されてフィルタ処理され、更に主プロセス２１８によってタイムスタンプが印加されることになるのは、シェフからの人間工学データ（アーム／ハンドの位置及び速度、触覚指データ等）、調理器具（オーブン、冷蔵庫、ディスペンサ等）のステータス、特定の変数（調理台温度、食材温度等）、使用されている器具又はツール（深鍋／平鍋、へら等）、又はマルチスペクトル感知機材（カメラ、レーザ、構造化光システム等を含む）のどれであるかということである。

データ処理－マッピングアルゴリズム２２０は、簡単な（一般的に単一の単位の）変数を用いて、プロセスの動作が何処で（調理台及び／又はオーブン、冷蔵庫等）発生しているかを決定し、断続的又は継続的のどちらであるかに関わらず使用されているあらゆる物品／器具／機材に使用タグを割り当てる。このアルゴリズムは、調理段階（オーブン焼き、網焼き、食材追加等）を特定の時間間隔に関連付け、どの食材がいつ何処でどれ程の量追加されたかを追跡する。続いてこの（タイムスタンプが印加された）情報データセットは、レシピスクリプト生成プロセス２２２の最中にデータ併合プロセスに対して利用可能にされる。

データ抽出及びマッピングプロセス２２４は、主に２次元情報（一眼／単レンズカメラからのもの等）に主眼が置かれ、この情報から重要な情報を抽出する。各連続画像から重要なより多くの抽象化記述情報を抽出するためには、当該データセットに一部のアルゴリズム処理を適用しなければならない。そのような処理段階は、エッジ検出、色及び質感のマッピングを含むことができ（しかし、これらに限定はされない）、続いて画像内のドメイン知識をデータ整理及び抽象化プロセス２２６から抽出された物体照合情報（タイプ及びサイズ）と併せて用いて、同じくデータ整理及び抽象化プロセス２２６から抽出された物体（機材品目であるか、又は食材品目であるか等）の識別及び位置付けを可能にし、画像内の状態（及びこの状態を記述する全ての関連変数）及び品目を特定の処理段階（揚げ、沸騰、切断等）に関連付けることを可能にする。このデータが抽出されて、特定の時点における特定の画像と関連付けられると、レシピの内部のシーケンス及び段階を策定するために、このデータをレシピスクリプト生成プロセス２２２に渡すことができる。

データ整理及び抽象化エンジン（ソフトウェアルーチンセット）２２６は、大きめの３次元データセットを削減して、そこから重要な幾何学情報及び関連付け情報を抽出することのためのものである。第１の段階は、大きい３次元データ点クラウドから該当する特定の時点においてレシピにとって重要な特定のタスク空間区域だけを抽出する段階である。データセットがトリミングされると、テンプレート照合として公知のプロセスによって重要な幾何学的特徴が識別されることになる。それによって、水平なテーブル台、円柱形の深鍋及び平鍋、アーム及びハンドの場所等の品目の識別が可能になる。典型的な既知の（テンプレート）幾何学的エンティティがデータセット内で決定されると、物体の識別及び照合のプロセスは、全ての品目を区別する段階（深鍋対平鍋等）に進み、これらの品目の寸法（深鍋又は平鍋のサイズ等）及び向きを関連付けて、コンピュータによって組み立て中の３次元世界モデル内にこれらの品目を配置する。これら全ての抽象化／抽出情報は、続いてデータ抽出及びマッピングエンジン２２４とも共有され、その後、全てがレシピスクリプト生成エンジン２２２に供給される。

レシピスクリプト生成エンジンプロセス２２２は、全ての入手可能なデータ及びセットを明確なプロセス識別子（準備、湯通し、揚げ、洗浄、盛り付け等）と、各プロセスの内部のプロセス特定の段階とを有する構造化された逐次調理スクリプトへと併合する（一体化する／組み合わせる）役割を受け持ち、続いてこのスクリプトをプロセス終了、総調理時間、及び調理進行に基づいて同期されるロボットキッチン機械実行可能指令スクリプトへと解釈することができる。データ併合は、少なくとも、各（調理）処理段階を取得して、適正に関連付けられた要素（食材、機材等）を実行すべき段階シーケンスにデータ投入する能力と、処理段階の間に用いるべき方法及びプロセスと、適正な進行及び実行を検証するために維持及びチェックすべき関連の重要な制御変数（設定されたオーブン／調理台温度／設定）及び監視変数（水温又は肉の温度等）とを必要とすることになるが、これらだけに限定されることにはならない。併合されたデータは、続いて、最小記述段階（雑誌にあるレシピに類似の）のセットに似ることになるが、手順内のあらゆる１つの点における調理プロセスの各要素（機材、食材、プロセス、方法、変数等）に関連付けられるかなり大きい変数セットを有する構造化逐次調理スクリプトに組み合わせられる。最終段階は、この逐次調理スクリプトを取得して、それをロボットキッチン４８の内部の機械／ロボット／機材のセットによって解釈可能な等しく構造化された逐次スクリプトへと改変することになる。ロボットキッチン４８が、自動レシピ実行及び監視段階を実行する上で用いるのはこのスクリプトである。

全ての生（未処理）データ及び処理済みデータ、並びに関連のスクリプト（構造逐次調理シーケンススクリプトと機械実行可能調理シーケンススクリプトとの両方）は、データ及びプロファイルストレージユニット／プロセス２２８に格納され、タイムスタンプが印加される。ユーザが、ＧＵＩを通じて望ましいレシピを選択し、それを自動化実行及び監視エンジン２３０を通じてロボットキッチンに実行させることができるのはこのデータベースからであり、完全に盛り付けられて配膳される料理に到達するために、この実行は、このエンジン自体の内部自動調理プロセスによって継続的に監視され、このスクリプトに対して必要な調整及び修正がこのエンジンによって生成され、ロボットキッチン要素によって実施される。

図５Ｄは、小規模操作段階と結合された／この段階を用いた動き再現の概念を用いたロボットスクリプトのロボットキッチン実行の物体操作部分の構造及びフロー２５０を示す標準化ロボットキッチン内の物体操作（又は物体の取り扱い）のためのソフトウェア要素を例示するブロック図である。自動ロボットアーム／ハンドに基づく調理が実施可能であるためには、アーム及びハンド／指内の一つ一つの関節を全て監視するのでは不十分である。多くの場合、手／手首の位置及び向きだけが既知である（更に再現することができる）が、この場合、物体を操作する段階（場所、向き、姿勢、把持場所、把持手法、及びタスク実行を識別する）は、局所感知、学習済み挙動、並びに手及び指に関する方策を用いて把持段階／タスクを操作する段階を首尾良く終了することを必要とする。これらの動きプロファイル（センサに基づく／センサ駆動の）挙動及びシーケンスは、ロボットキッチンシステム内の小規模ハンド操作ライブラリソフトウェアレポジトリに格納される。人間シェフは、アーム外骨格又は計装／ターゲット備え付け動きベストを着用することができ、コンピュータが組み込みセンサ又はカメラ追跡を通じて手及び手首の正確な３Ｄ位置を決定することを可能にする。両方の手にある１０本の指の全ての関節が計装された場合（両方の手で３０を上回るＤｏＦ（自由度）であり、着用して用いるのが非常に不便であり、従って使用される可能性は低い）であっても、全ての関節位置の動きに基づく簡単な再生は、良好な結果を導く（対話的）物体操作を保証することにはならなない。

小規模操作ライブラリは、特定の抽象的タスク（ナイフを把持してスライス、スプーンを把持して撹拌、片手で深鍋を把持してもう一方の手を使ってへらを把持し、肉の下に入れて平鍋の中でそれを裏返しにする等）を首尾良く終了するためのアーム／手首／指の動き及びシーケンスである動きの挙動及びプロセスが、オフライン学習プロセスに基づいて格納された指令ソフトウェアリポジトリである。このリポジトリは、例えば、「ナイフを把持して野菜をスライスする」、「卵を割ってボールの中に入れる」、「平鍋の中で肉を裏返す」等のより抽象的な言語で記述された物体（器具、機材、ツール）及び食材の操作の上首尾の終了を確実にするために、センサ駆動の好結果の動きプロファイルの学習済みシーケンス及び手／手首に関する順序付き挙動を含むように（場合によって更にアーム位置の補正を含む）構築されたものである。学習プロセスは反復的であり、シェフスタジオからのシェフ教示動きプロファイルの複数の試行に基づき、更にこの動きプロファイルは、容認することができる実行シーケンスに到達したことを示すことができるまで、オフライン学習アルゴリズムモジュールによって実行されて、反復的に修正される。小規模操作ライブラリ（指令ソフトウェアリポジトリ）は、ロボットキッチンシステムが、調理プロセス中に処理（単なる分配を超える段階）を必要とする全ての機材（器具、ツール等）及び主食材と首尾良く対話的処理を行うことを可能にするために必要な全ての要素がデータ投入済み（事前にオフラインで）のものであることが目論まれる。人間シェフは、指及び手掌に対して埋め込み触覚センサ（近接度、接触、接触場所／力）を有するグローブを着用したが、ロボットハンドには、動きプロファイルを作成し、修正し、調整して望ましい動きプロファイル及び取扱指令を首尾良く実行するためにこれらのセンサデータを用いることを可能にする場所に同様のタイプのセンサが装備される。

下記では、ロボットキッチン調理プロセスの物体操作部分（キッチン環境内での物体の対話的な操作及び取扱のためのロボットレシピスクリプト実行ソフトウェアモジュール）２５２を更に詳述する。ロボットレシピスクリプトデータベース２５４（生の抽象化調理シーケンス機械実行可能スクリプト形式でデータを含む）を用いて、レシピスクリプト実行モジュール２５６は、特定のレシピ実行段階を順番に処理してゆく。構成再生モジュール２５８は、構成指令を選択し、それをロボットアームシステム（胴体、アーム、手首、及びハンド）コントローラ２７０に渡し、続いてコントローラ２７０は、必要な構成（関節の位置／速度／トルク等）値を模擬するように物理システムを制御する。

適正な環境相互作用の操作及び取扱のタスクを忠実に実施することができるという概念は、（ｉ）３Ｄ世界モデル化、並びに（ｉｉ）小規模操作を用いた実時間プロセス検証を通じて可能になる。検証段階と操作段階との両方が、ロボット手首及びロボットハンド構成修正器２６０の追加を通じて実施される。このソフトウェアモジュールは、ロボットキッチンのシステム及びプロセスの構成が、レシピスクリプト（データベース）によって必要とされているものに一致していることを確認し、一致していない場合には、指令システム構成値に対する修正を実施してタスクが首尾良く終了されることを確実にするために、マルチモードセンサユニットによって供給される感知データからの全てのサンプリング段階において新しい３Ｄ世界モデルを作成する３Ｄ世界構成モデラ２６２からのデータを用いる。更に、ロボット手首及びロボットハンド構成修正器２６０は、小規模操作動きプロファイル実行器２６４からの構成修正入力指令も用いる。構成修正器２６０に供給されるハンド／手首（及び場合によっては更にアームの）構成修正データは、２５８から望ましい構成再生が何であるべきかを知るが、それと同時に３Ｄ物体モデルライブラリ２６６と、構成及び順序付けライブラリ２６８（全ての主要物体の取扱段階及び処理段階に対する複数の反復学習段階に基づいて構築された）からの事前学習済み（かつ格納済み）データとに基づいてこの構成再生を修正する小規模操作動きプロファイル実行器２６４に基づいている。

構成修正器２６０は、修正済み指令構成データをロボットアームシステムコントローラ２７０に継続的に供給する一方で、操作が適正に進んでいることだけではなく継続的な操作／取扱が必要であるか否かということも検証するために、取扱／操作検証ソフトウェアモジュール２７２を拠り所とする。継続的な操作／取扱が必要である（判断に対する回答が「Ｎ」である）場合には、構成修正器２６０は、世界モデラ２６２と小規模操作プロファイル実行器２６４との両方に構成修正（手首、ハンド／指、及び場合によってはアーム及び可能性として更に胴体に関する）の更新を再要求する。目標は簡単であり、好結果の操作／取扱の段階又はシーケンスが首尾良く終了したかを検証することである。取扱／操作検証ソフトウェアモジュール２７２は、このチェックをレシピスクリプトデータベースＦ２の知識と、３Ｄ世界構成モデラ２６２とを用いることによって実施し、レシピスクリプト実行器２５６によって現時点で指令されている調理段階における適切な進行を検証する。進行が上首尾のものであると見なされると、レシピスクリプトインデックス増分プロセス２７４が、レシピスクリプト実行における次の段階に進むようにレシピスクリプト実行器２５６に通知する。

図６は、本発明の開示によるマルチモード感知及びソフトウェアエンジンアーキテクチャ３００を例示するブロック図である。ロボット調理スクリプトの計画、実行、及び監視を可能にする自律調理の主な特徴のうちの１つは、全段階が継続的／反復的な閉ループ方式で発生する、（ｉ）世界を理解する段階、（ｉｉ）シーン及び材料をモデル化する段階、（ｉｉｉ）ロボット調理シーケンス内の次の段階を計画する段階、（ｉｖ）生成された計画を実行する段階、（ｖ）適正な操作を検証するために実行を監視する段階に必要とされるデータを生成するために複数のソフトウェアモジュールによって使用されるマルチモード感知入力３０２の使用を必要とする。

ビデオカメラ３０４と、ＩＲカメラ及び距離計３０６と、ステレオ（又は更に三眼の）カメラ３０８と、多次元走査レーザ３１０とをこれらに限定されることなく備えるマルチモードセンサユニット３０２は、マルチスペクトル感知データを主ソフトウェア抽象化エンジン３１２に与える（データ取得及びフィルタ処理モジュール３１４内に取得され、フィルタ処理された後に）。このデータは、シーン理解モジュール３１６内で、重畳される視覚スペクトル及びＩＲスペクトルの色及び質感のビデオ情報を有するシーンの高解像度及び低解像度（レーザ：高解像度、ステレオカメラ：低解像度）の３次元表面空間領域を構築する段階、エッジ検出及び体積測定物体検出アルゴリズムがシーン内にどんな要素が存在するのかを推測することを可能にする段階、形状／色／質感のマッピング及び整合性マッピングのアルゴリズムの使用が処理済みデータに基づいて進み、キッチン調理プロセス機材取扱モジュール３１８に処理済み情報を供給することを可能にする段階等（しかし、限定はされない）の複数の段階を実施するために使用される。モジュール３１８内では、特定の時点における完全なシーンをコンピュータに構築させて理解させ、このシーンが次の段階の計画及びプロセス監視に使用されるように、キッチンツール及びキッチン道具の位置及び向きを識別して３次元的に位置付け、識別可能な食品要素（肉、人参、ソース、液等）を識別してタグ付けする目的でソフトウェアベースのエンジンが使用される。そのようなデータ及び情報の抽象化を果たすのに必要とされるエンジンは、把持推論エンジン、ロボット運動及び幾何学形状推論エンジン、物理的推測エンジン、並びにタスク推論エンジンを含むが、これらに限定されない。両方のエンジン３１６及び３１８からの出力データは、続いてシーンモデラ及び内容分類器３２０に供給するために使用され、そこで、ロボット調理スクリプト実行器を実行するために必要とされる全ての重要な内容を有する３Ｄ世界モデルが作成される。完全にデータ投入された世界モデルが理解されると、それをアーム及び取り付けられたエンドエフェクタ（把持器、多指ハンド）に対して動き及び軌道を計画することを可能にするための動き及び取扱立案器３２２に供給するために用いることができる（ロボットアームの把持及び取扱が必要な場合には、同じデータを必要な把持及び配置に依存して、食品品目とキッチン品目とを区別して、それを握って操作する段階を計画するために用いることができる）。後続の実行シーケンス立案器３２４は、全ての個別ロボットキッチン要素／自動キッチン要素に対するタスクに基づく指令の適正なシーケンスを作成し、このシーケンスは、続いてロボットキッチン起動システム３２６によって使用される。ロボットレシピスクリプト実行及び監視フェーズ中に、上記のシーケンス全体が継続的閉ループで繰り返される。

図７Ａは、この場合、レシピスクリプトの作成を可能にするためにマルチモードセンサシステム６６によって監視されている間に、人間シェフ４９がレシピの作成及び実行を実施するシェフスタジオの役割を果たす標準化キッチン５０を描示している。標準化キッチン内には、道具３６０と、調理台３６２と、キッチンシンク３５８と、皿洗い機３５６と、テーブル台ミキサー及び混合器（「キッチン混合器」とも呼ぶ）３５２と、オーブン３５４と、冷蔵庫／冷凍庫組合せユニット３６４とを含む主調理モジュール３５０を含むレシピの実行に必要な複数の要素が含まれる。

図７Ｂは、この場合、垂直伸縮自在回転胴体関節３６６を有し、２つのアーム７０と２つの手首関節付き指付きハンド７２とが装備された双アームロボットシステムが、レシピスクリプト内に定義されたレシピ再現プロセスを実施する標準化ロボットキッチンとして構成された標準化キッチン５０を描示している。マルチモードセンサシステム６６は、レシピ再現プロセスの複数のステージにおいてロボットによって実行される調理段階を継続的に監視する。

図７Ｃは、レシピ実行プロセス全体中に人間シェフ４９を監視することによるレシピスクリプトの作成に関与するシステムを描示している。同じ標準化キッチン５０がシェフスタジオモードで使用され、この場合、シェフはタスクモジュールのどちら側からもキッチンを操作することができる。マルチモードセンサ６６が監視を行ってデータを収集し、これに加えてデータは、シェフによって着用されたグローブ３７０及び計装された調理用具３７２及び機材を通じても監視収集され、収集された全ての生データは、処理及び格納に向けて処理コンピュータ１６に無線で伝送される。

図７Ｄは、伸縮自在回転胴体３７４を有し、２つのアーム７２と、２つのロボット手首７１と、埋め込み感知皮膚及び先端センサを有する２つの多指ハンド７２とで構成される双アームシステムの使用によるレシピスクリプト１９の再現のための標準化キッチン５０内に含まれるシステムを描示している。ロボット双アームシステムは、レシピ再現プロセスにおける特定の段階を実行する間に、計装されたアーム及びハンドを調理道具並びに計装された器具及び調理用具（この画像では平鍋）と共に調理台１２上で用い、この間に、この再現プロセスが人間シェフによって作成されるものに可能な限り忠実に実施されることを確実にするために、マルチモードセンサユニット６６によって継続的に監視される。レシピの再現プロセスを比較して追跡し、過去に作成され、媒体１８に格納されたレシピスクリプト１９内に定義された基準及び段階を可能な限り忠実に辿るように、マルチモードセンサ６６、胴体７４と、アーム７２と、手首７１と、多指ハンド７２とで構成される双アームロボットシステム、道具、調理用具、及び器具からの全てのデータは、コンピュータ１６に無線送信され、そこで搭載型処理ユニット１６によって処理される。

ロボットキッチン４８との併用に向けて修正することができる一部の適切なロボットハンドは、英国ロンドンに所在のＳｈａｄｏｗＲｏｂｏｔＣｏｍｐａｎｙによって設計されたＳｈａｄｏｗＤｅｘｔｅｒｏｕｓＨａｎｄ及びＨａｎｄ－Ｌｉｔｅ、ドイツ国ラウフェン／ネッカーに所在のＳＣＨＵＮＫＧｍｂＨ＆Ｃｏ．ＫＧによって設計されたサーボ電気５指把持ハンドＳＶＨ、及びドイツ国ケルンに所在のＤＬＲＲｏｂｏｔｉｃｓａｎｄＭｅｃｈａｔｒｏｎｉｃｓによって設計されたＤＬＲＨＩＴＨＡＮＤＩＩを含む。

デンマーク国オーデンセに所在のＵｎｉｖｅｒｓａｌＲｏｂｏｔｓＡ／ＳによるＵＲ３Ｒｏｂｏｔ及びＵＲ５Ｒｏｂｏｔ、ドイツ国バイエルン州アウクスブルクに所在のＫＵＫＡＲｏｂｏｔｉｃｓによって設計された様々なペイロードを有するＩｎｄｕｓｔｒｉａｌＲｏｂｏｔｓ、日本国北九州に所在のＹａｓｋａｗａＭｏｔｏｍａｎによって設計されたＩｎｄｕｓｔｒｉａｌＲｏｂｏｔＡｒｍＭｏｄｅｌｓを含む一部のロボット装置７２は、ロボットキッチン４８と共に作動するための修正に適する。

図７Ｅは、人間シェフ４９によって調製される料理と比較した場合に、標準化ロボットキッチン５０によって実行される特定の料理に対する調理結果が可能な限り同一のものに近づくことを確実にする制御点又は検証点が、標準化ロボットキッチン５０によって実行される場合のレシピスクリプトに基づくレシピ再現プロセス中に存在することを確実にするための段階的フロー及び方法３７６を描示するブロック図である。レシピスクリプトによって記述され、調理プロセス３８０において逐次段階で実行されるレシピ３７８を用いる場合に、ロボットキッチン５０によるレシピの実行忠実度は、以下に続く主要制御項目を検討することに大きく依存することになる。重要な制御項目は、標準化された部分量及び形状の高品質下処理済み食材を選択して利用するプロセス３８２と、既知の向きでの適正で確実な把持を確実にするための標準化されたツール及び道具、標準化ハンドルを有する調理用具の使用３８４と、人間シェフ４９が料理を調製するシェフスタジオキッチンと標準化ロボットキッチン５０とを比較した場合に可能な限り同一の標準化キッチン内の標準化機材３８６（オーブン、混合器、冷蔵庫、冷蔵庫等）と、レシピ内で食材を用いるべき場所及び配置３８８と、最終的に、特定の料理に対するレシピスクリプトの再現プロセスの全てのステージにおいて各段階の上首尾の実行を確実にするために、コンピュータ制御式動作を有するセンサ３９０によって継続的に監視されるキッチンモジュール５０内の１対のロボットアーム、ロボット手首、及びロボット多指ハンドとを含む。つまり、同一の結果３９２を確実にするタスクが、標準化ロボットキッチン５０にとっての最終目標である。

図７Ｆは、シェフスタジオとロボットキッチンとその他の供給源との間を円滑にするためのクラウドベースのレシピソフトウェアのブロック図を描示している。標準化ロボットキッチン５０を作動させるシェフキッチン４４と、標準化ロボットキッチン５０を作動させるロボットキッチン４８との間のクラウドコンピューティング３９６上で様々なタイプのデータが通信、修正、及び格納される。クラウドコンピューティング３９４は、シェフキッチン４４とロボットキッチン４８との間のネットワークを通じてソフトウェアファイルを好適に取得及びアップロードすることができるロボット食品調製５６の作動を含むソフトウェアファイルを格納するための中心的な場所を提供する。シェフキッチン４４は、インターネット、無線プロトコル、及びブルートゥース（登録商標）等の短距離通信プロトコルによる有線又は無線のネットワーク３９６を通じてクラウドコンピューティング３９５に通信的に結合される。ロボットキッチン４８は、インターネット、無線プロトコル、及びブルートゥース等の短距離通信プロトコルによる有線又は無線のネットワーク３９７を通じてクラウドコンピューティング３９５に通信的に結合される。クラウドコンピューティング３９５は、動作、レシピ、及び小規模操作を有するタスクライブラリ３９８ａと、ログイン情報、ＩＤ、及び購読を有するユーザプロファイル／データ３９８ｂと、テキスト、音声メディア等を有するレシピメタデータ３９８ｃと、標準画像、非標準化画像、寸法、重量、及び向きを有する物体認識モジュール３９８ｄと、物体位置、場所、及び作動環境のナビゲーションのための環境／計装マップ３９８ｅと、ロボット指令命令、高レベルソフトウェアファイル、及び低レベルソフトウェアファイルを格納するための制御ソフトウェアファイル３９８ｆとを格納するためのコンピュータストレージの場所を含む。別の実施形態では、「物事のインターネット（ＩｏＴ）」デバイスをシェフキッチン４４、クラウドコンピューティング３９６、及びロボットキッチン４８と共に作動するように組み込むことができる。

図８Ａは、シェフの移動とロボットの再現の移動との間のレシピ変換アルゴリズムモジュール４００の一実施形態を例示するブロック図である。レシピアルゴリズム変換モジュール４０４は、シェフスタジオ４４内でのシェフの移動からの取り込みデータをシェフの移動によって調製される食品料理をロボットキッチン４８内で再現するようにロボットアーム７０及びロボットハンド７２に命令するための機械可読かつ機械実行可能な言語４０６に変換する。シェフスタジオ４４内において、コンピュータ１６は、テーブル４０８に垂直列にある複数のセンサＳ₀、Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄、Ｓ₅、Ｓ₆…Ｓ_nと、水平行にある時間区分ｔ₀、ｔ₁、ｔ₂、ｔ₃、ｔ₄、ｔ₅、ｔ₆…ｔ_endとによって表している、シェフが着用するグローブ２６上のセンサに基づくシェフの移動を取り込んで記録する。時間ｔ₀において、コンピュータ１６は、複数のセンサＳ₀、Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄、Ｓ₅、Ｓ₆…Ｓ_nから受け取られるセンサデータからｘｙｚ座標位置を記録する。時間ｔ₁において、コンピュータ１６は、複数のセンサＳ₀、Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄、Ｓ₅、Ｓ₆…Ｓ_nから受け取られるセンサデータからｘｙｚ座標位置を記録する。時間ｔ₂において、コンピュータ１６は、複数のセンサＳ₀、Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄、Ｓ₅、Ｓ₆…Ｓ_nから受け取られるセンサデータからｘｙｚ座標位置を記録する。このプロセスは、食品調製全体が時間ｔ_endにおいて終了するまで続く。各時間単位ｔ₀、ｔ₁、ｔ₂、ｔ₃、ｔ₄、ｔ₅、ｔ₆…ｔ_endに対する経過時間は同じである。取り込まれて記録されたセンサデータの結果として、テーブル４０８は、グローブ２６内のセンサＳ₀、Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄、Ｓ₅、Ｓ₆…Ｓ_nから、１つの特定の時間におけるｘｙｚ座標位置から次の特定の時間におけるｘｙｚ座標位置までの間の差分を示すことになるあらゆる移動をｘｙｚ座標で示している。テーブル４０８は、シェフの移動が、開始時間ｔ₀から終了時間ｔ_endまでの全体の食品調製プロセスにわたってどのように変化するかを効果的に記録している。この実施形態における例示を食品料理を調製する間の移動を取り込むためにシェフ４９が着用する２つのセンサ付きグローブ２６に拡張することができる。ロボットキッチン４８内において、ロボットアーム７０及びロボットハンド７２は、シェフスタジオ４４から記録され、続いてロボット命令に変換されるレシピを再現し、この場合、ロボットアーム７０及びロボットハンド７２は、時系列４１６に従ってシェフ４９の食品調製を再現する。ロボットアーム７０及びロボットハンド７２は、時系列４１６に示しているように、食品調製を同じｘｙｚ座標位置において、開始時間ｔ₀から終了時間ｔ_endまで同じ時間区分による同じ速さで実施する。

一部の実施形態では、シェフは、同じ食品調製操作を複数回実施し、対応するロボット命令において１つの時間から次の時間までに幾分変化するセンサ示度値及びパラメータを生じる。同じ食品料理の調製の複数回の繰り返しにわたる各センサに関するセンサ示度値セットは、平均、標準偏差、並びに最小値及び最大値を有する分布を与える。シェフによる同じ食品料理の複数回の実行にわたるロボット命令（エフェクタパラメータとも呼ぶ）上での対応する変化も、平均、標準偏差、最小値、及び最大値を有する分布を定義する。これらの分布は、後続のロボット食品調製の忠実度（又は精度）を決定する上で用いることができる。

一実施形態では、ロボット食品調製操作の推定平均精度は次式によって与えられる。

上式中のＣは、シェフパラメータのセット（１番目からｎ番目まで）を表し、Ｒは、ロボット装置パラメータのセット（相応して１番目からｎ番目まで）を表す。総和内の分子は、ロボットパラメータとシェフパラメータとの間の差（すなわち誤差）を表し、分母は、最大差に対して正規化を行う。総和は、総正規化累積誤差（すなわち、

を与え、それに１／ｎを乗じることによって平均誤差が与えられる。平均誤差の補完は、平均精度に対応する。

別の形式の精度の計算は、重要度に関してこれらのパラメータに重み付けし、この場合、各係数（各々α）は、ｉ番目のパラメータの重要度を表し、正規化累積誤差は、

であり、推定平均精度は次式によって与えられる。

図８Ｂは、シェフの移動を取り込んで送信するためにシェフ４９によって着用されるセンサ付きグローブ２６ａ及び２６ｂの対を例示するブロック図である。限定効果なしに一例を示すことを意図したこの具体例では、右手グローブ２６ａは、任意的な電子回路及び機械回路４２０を有することができるグローブ２６ａ上の様々なセンサデータ点Ｄ₁、Ｄ₂、Ｄ₃、Ｄ₄、Ｄ₅、Ｄ₆、Ｄ₇、Ｄ₈、Ｄ₉、Ｄ₁₀、Ｄ₁₁、Ｄ₁₂、Ｄ₁₃、Ｄ₁₄、Ｄ₁₅、Ｄ₁₆、Ｄ₁₇、Ｄ₁₈、Ｄ₁₉、Ｄ₂₀、Ｄ₂₁、Ｄ₂₂、Ｄ₂₃、Ｄ₂₄、及びＤ₂₅を取り込むために２５個のセンサを含む。左手グローブ２６ｂは、任意的な電子回路及び機械回路４２２を有することができるグローブ２６ｂ上の様々なセンサデータ点Ｄ₂₆、Ｄ₂₇、Ｄ₂₈、Ｄ₂₉、Ｄ₃₀、Ｄ₃₁、Ｄ₃₂、Ｄ₃₃、Ｄ₃₄、Ｄ₃₅、Ｄ₃₆、Ｄ₃₇、Ｄ₃₈、Ｄ₃₉、Ｄ₄₀、Ｄ₄₁、Ｄ₄₂、Ｄ₄₃、Ｄ₄₄、Ｄ₄₅、Ｄ₄₆、Ｄ₄₇、Ｄ₄₈、Ｄ₄₉、Ｄ₅₀を取り込するために２５個のセンサを含む。

図８Ｃは、シェフの感知取り込みグローブ２６ａ及び２６ｂから取り込まれた感知データに基づくロボット調理実行段階を例示するブロック図である。シェフスタジオ４４内においてシェフ４９は、食品調製プロセスを取り込むためにセンサ付きグローブ２６ａ及び２６ｂを着用し、センサデータはテーブル４３０内に記録される。この例では、シェフ４９は、ナイフを用いて人参を切断しており、この場合、キャロットの各スライスは、厚みが約１センチメートルである。グローブ２６ａ、２６ｂによって記録されるシェフ４９によるこれらの動作プリミティブは、時間スロット１、２、３、及び４にわたって発生する小規模操作４３２を構成することができる。レシピアルゴリズム変換モジュール４０４は、シェフスタジオ４４から記録されたレシピファイルをロボットキッチン２８内でソフトウェアテーブル４３４に従ってロボットアーム７０及びロボットハンド７２を操作するためのロボット命令に変換するように構成される。ロボットアーム７０及びロボットハンド７２は、小規模操作ライブラリ１１６内に事前定義されているナイフを用いて人参を切断する小規模操作であって、人参の各スライスの厚みが約１センチメートルである小規模操作に関する制御信号４３６を用いて食品料理を調製する。ロボットアーム７０及びロボットハンド７２は、同じｘｙｚ座標４３８において、実時間調節デバイス１１２から人参の一時的３次元モデル４４０を作成することによって特定の人参のサイズ及び形状に対する可能な実時間調節を伴って自律的に作動する。

本発明の開示の実施形態において説明するもの等の機械ロボット機構を自律的に作動させるためには、多くの機械問題及び制御問題に対処する必要があり、ロボット工学における文献が、正にそれを行うための方法を説明していることを当業者は認識している。ロボットシステムにおける静的及び／又は動的な安定性の確立は重要な要件である。特にロボット操作では、偶発的な破損又は望ましいもの又はプログラムされたものを越える移動を防止するために、動的安定性は非常に望ましい性質である。図８Ｄに、平衡に対する動的安定性を例示している。この場合、「平衡値」はアームの望ましい状態である（すなわち、アームは、それが動くようにプログラムされた場所に正確に移動、例えば、慣性、求心力又は遠心力、調波振動等のあらゆる個数の因子によって逸脱が引き起こされる）。動的に安定したシステムは、曲線４５０で表しているように変化が小さく、時間と共に弱まるものである。動的に不安定なシステムは、曲線４５２で描示しているように、変化が弱まり損ねて時間と共に強まる恐れがあるものである。これに加えて、最悪の状況は、アームが静的に不安定であり（例えば、把持しているものが何であるかに関わらず、その重量を保持することができない）、落下させるか、又は曲線４５４で例示しているように、プログラムされた位置及び／又は経路からのいかなる逸脱からも復帰し損ねる場合である。計画（小規模操作シーケンスを形成する段階、又は何かが狂った場合に復帰する段階）についての追加の情報は、Ｇａｒａｇｎａｎｉ，Ｍ．著（１９９９年）「処理対象ドメイン公理設計の効率の改善（ＩｍｐｒｏｖｉｎｇｔｈｅＥｆｆｉｃｉｅｎｃｙｏｆＰｒｏｃｅｓｓｅｄＤｏｍａｉｎ－ａｘｉｏｍｓＰｌａｎｎｉｎｇ）」、ＰＬＡＮＳＩＧ－９９会報、英国マンチェスター、１９０～１９２ページであり、この参考文献は、その全文が引用によって本明細書に組み込まれている。

上述の文献は、ロボットアームの適正な機能を可能にするために本発明の開示に引用によって取り入れた動的安定性に対する条件に言及している。これらの条件は、ロボットアームの関節に対するトルクを計算するための次式の基本原理を含む。

上式中のＴは、トルクベクトルであり（Ｔは、各々がロボットアームの自由度に対応するｎ個の成分を有する）、Ｍは、システムの慣性行列であり（Ｍは、正半定値ｎ×ｎ行列である）、Ｃは、求心力と遠心力の組合せであり、同様にｎ×ｎ行列であり、Ｇ（ｑ）は重力ベクトルであり、ｑは位置ベクトルである。これに加えて、これらの条件は、ロボット位置（ｘ’）を２回微分可能な関数（ｙ’）によって記述することができる場合に、例えばラグランジュ方程式によって安定点及び最小点を見出す段階を含む。

ロボットアームとハンド／把持器とで構成されるシステムが安定するためには、このシステムを適正に設計して構築し、このシステムが、許容性能境界の範囲内で作動する適切な感知制御システムを有することが必要である。物理システムと、そのコントローラがこのシステムに何を行うことを求めているかということとを前提として、可能な最良の性能を（最高の速さを位置／速度及び力／トルクの最良の追跡と共に全てが安定した条件下で）得ることが求められる。

適正設計が議論される場合には、その概念は、システムの適正な可観察性及び可制御性に関するものである。可観察性は、システムの重要な変数（関節／指の位置及び速度、力、及びトルク）がシステムによって測定可能であることを意味し、このことは、これらの変数を感知する能力を有する必要があることを意味し、更にこのことは、適正な感知デバイスの存在及び使用（内部又は外部）を意味する。可制御性は、主体（この場合にはコンピュータ）が、内部／外部のセンサから観察されるパラメータに基づいてシステムの主軸を成形又は制御する能力を有することを意味し、通常このことは、モータ又はその他のコンピュータ制御式作動システムを用いたある一定のパラメータに関するアクチュエータ又は直接的／間接的な制御を意味する。システムをその応答において可能な限り線形にし、それによって有害な非線形性効果（静摩擦、反動、ヒステリシス等）を打ち消す能力は、ＰＩＤ利得計画のような制御体系及びスライディングモード制御のような非線形コントローラが、システムモデル化の不確実性（質量／慣性推定における誤差、寸法の幾何学的離散化、センサ／トルクの離散化異常等）を踏まえたとしても、いかなる高性能制御システムにおいても必ず存在するシステムの安定性及び性能を保証することを可能にする。

更に、ある一定の最大周波数成分を有する素早い動きに追従するシステムの能力は、システム全体がどの程度の制御帯域幅（コンピュータ制御システムの閉ループサンプリングレート）を得ることができるかということ、従ってシステムが示すことができる周波数応答（ある一定の速さ及び動き周波数成分の動きを追跡する能力）に明らかに関連するので、適正なコンピューティング及びサンプリングのシステムの使用は重要である。

上記の全ての特性は、非常に冗長なシステムが、人間シェフが上首尾のレシピスクリプト実行に必要とする複雑で巧妙なタスクを動的な方式と安定した方式との両方で実際に実施することができることを確実にすることに関して重要である。

本発明の開示に関係するロボット操作の状況における機械学習は、強化学習等のパラメータ調節のための公知の方法を含むことができる。本発明の開示に対する別の好ましい実施形態は、時間を掛けて複数の段階を経て食物を調製及び調理する段階等の反復的で複合的動作のための学習技術、すなわち、事例に基づく学習である。類推的推論としても公知の事例に基づく推論は、長い時間を掛けて開発されてきた。

一般的な概要として、事例に基づく推論は、以下に続く段階を含む。
Ａ．事例を構築して格納する段階。事例は、目的を果たすために首尾良く実施されるパラメータを有する動作シーケンスである。パラメータは、タスク（例えば調理操作）を首尾良く実施するために必要とされる値を有する力、方向、位置、及びその他の物理的又は電子的な尺度を含む。最初に、
１．直前に解かれた問題の態様を以下のものと一緒に格納する段階、
２．問題を解くための方法及び任意的に中間的な段階及びそのパラメータ値、及び
３．最終成果を（典型的に）格納する段階。
Ｂ．事例を適用する段階（後の時点において）
４．新しい問題との強い類似性を帯びた問題を有する１又は２以上の格納済みの事例を得る段階、
５．任意的に、現在の事例に対して適用する上で取得事例からのパラメータを調節する段階（例えば、ある物品が幾分重めである可能性があり、従ってそれを持ち上げるには幾分強めの力が必要とされる）、
６．新しい問題を少なくとも部分的に解くために、事例からの同じ方法及び段階を調節済みパラメータと共に（必要に応じて）用いる段階。
従って、事例に基づく推論は、過去の問題に対する解を格納する段階と、これらの解を非常に似通った新しい問題に対して取り得るパラメータ修正を加えて適用する段階とを含む。しかし、ロボット操作課題に対して事例に基づく推論を適用するためには、更に別の何かが必要とされる。解決計画の１つのパラメータの変化は、つながりのある１又は２以上のパラメータの変化を引き起こすことになる。それによって、適用だけではなく、問題の解の改変が必要とされる。この新しいプロセスは、解を同系の近接解（入力食材の正確な重量、形状、及び場所等の入力パラメータの小さい変化に対応するもの）へと一般化するので、このプロセスを事例に基づくロボット学習と呼ぶ。事例に基づくロボット学習は以下の通りに作動する。
Ｃ．ロボット操作事例を構築、格納、及び改変する段階
１．直前に解かれた問題の態様を以下のものと一緒に格納する段階、
２．パラメータの値（例えば、式１からの慣性行列、力等）、
３．どの程度のパラメータ値が変化して、なおも望ましい結果を得ることができるかを知るために、ドメインに関連するパラメータを変更する（例えば、調理において材料の重量又はその正確な開始位置を変更する）ことによって摂動解析を実施する、
４．モデルに対する摂動解析を通じて、他のどのパラメータ値（例えば力）が変化することになるか、及びどの程度変化することになるかを記録し、かつ
５．変化がロボット装置の作動仕様の範囲内にある場合に、改変された解決計画（パラメータ間の依存性及びこれらの値についての予測変化の計算を伴う）を格納する。
Ｄ．事例を適用する段階（後の時点において）
６．改変された正確な値（入力パラメータの値に依存する新しい値についての新しい範囲又は計算）を有するが、パラメータ値及び値範囲を含み、新しい問題との強い類似性を帯びた初期問題を有する１又は２以上の格納済み事例を取り出し、かつ
７．新しい問題を少なくとも部分的に解くために、事例からの方法及び段階を改変したものを用いる。
シェフが、ロボット（２つのアーム、並びに指からの触覚フィードバック、関節からの力フィードバック、及び１又は２以上の観察カメラ等の感知デバイス）に教示するにつれて、ロボットは、観察可能な入力パラメータの軽微な変化に関わらず、同じ料理を調製することができるように、特定の移動シーケンス及び時間相関性だけではなく、シェフの移動の周囲の同系の小さい変化も学習し、従って一般化され、改変された計画を学習し、丸暗記よりもはるかに高い有用性を与える。事例に基づく推論及び学習についての追加の情報に関しては、全文が引用によって本明細書に組み込まれているＬｅａｋｅ著資料（１９９６年書籍）「事例に基づく推論：経験、レッスン、及び将来の方向性（Ｃａｓｅ－ＢａｓｅｄＲｅａｓｏｎｉｎｇ：Ｅｘｐｅｒｉｅｎｃｅｓ，ＬｅｓｓｏｎｓａｎｄＦｕｔｕｒｅＤｉｒｅｃｔｉｏｎｓ）」、ｈｔｔｐ：／／ｊｏｕｒｎａｌｓ．ｃａｍｂｒｉｄｇｅ．ｏｒｇ／ａｃｔｉｏｎ／ｄｉｓｐｌａｙＡｂｓｔｒａｃｔ？ｆｒｏｍＰａｇｅ＝ｏｎｌｉｎｅ＆ａｉｄ＝４０６８３２４＆ｆｉｌｅＩｄ＝Ｓ２６９８８８９００００６５８５ｄｌ．ａｃｍ．ｏｒｇ／ｃｉｔａｔｉｏｎ．ｃｆｍ？ｉｄ＝５２４６８０、Ｃａｒｂｏｎｅｌｌ著資料（１９８３年）「類推による学習：過去の経験からの計画の策定及び一般化（ＬｅａｒｎｉｎｇｂｙＡｎａｌｏｇｙ：ＦｏｒｍｕｌａｔｉｎｇａｎｄＧｅｎｅｒａｌｉｚｉｎｇＰｌａｎｓｆｒｏｍＰａｓｔＥｘｐｅｒｉｅｎｃｅ）」、ｈｔｔｐ：／／ｌｉｎｋ．ｓｐｒｉｎｇｅｒ．ｃｏｍ／ｃｈａｐｔｅｒ／１０．１００７／９７８－３－６６２－１２４０５－５＿５を参照されたい。

図８Ｅに描示しているように、調理プロセスは、時系列４５６に示している食品調製の複数のステージＳ₁、Ｓ₂、Ｓ₃…Ｓ_j…と記す段階シーケンスを必要とする。これらの段階は、厳密な線形／逐次的順番付けを必要とする場合があり、又は一部のものは並列で実施することができ、どちらによっても、全体的成功を果たすために全てを首尾良く終了しなければならないステージセット｛Ｓ₁，Ｓ₂，…，Ｓ_i，…，Ｓ_n｝を有する。各ステージに対する成功確率がＰ（ｓ_i）であり、ｎ個のステージが存在する場合には、全体的成功確率は、各ステージにおける成功確率の積によって次式として推定される。

当業者は、個別ステージの成功確率が比較的高い場合であっても、全体的成功確率が低い可能性があることを認めるであろう。例えば、１０個のステージと、９０％である各ステージの成功確率とを仮定すると、全体的成功確率は、（．９）＝．２８又は２８％である。

食品料理を調製する際のあるステージは、各々が非常に明確な中間結果を生じる１又は２以上のロボット動作を含む１又は２以上の小規模操作を含む。例えば、野菜をスライスする段階は、片方の手で野菜をもう一方の手でナイフを握り、野菜が薄く切られるまで繰り返しナイフの移動を印加することを含む小規模操作とすることができる。料理を調製する際のあるステージは、１回又は複数回のスライス小規模操作を含むことができる。

この成功確率式は、各小規模操作が他の小規模操作に比較的依存しない限り、段レベルと小規模操作レベルとに等しく当てはまる。

一実施形態では、潜在的な複合誤差に起因する低い成功確実性の問題を軽減するために、ステージの全てにおける小規模操作の大部分又は全てに対して標準化された方法が推奨される。標準化作動は、最も高い成功確率を有する操作シーケンスを選択するように事前プログラムし、事前検査し、必要に応じて事前調節することができるものである。従って、ステージの範囲内での小規模操作による標準化方法の確率が非常に高い場合には、段階の全てが仕上がり、検査されるまでの前のタスクに起因して、食品料理調製の全体的成功確率も非常に高くなる。例えば上記の例に戻ると、先と同様に１０個のステージが存在すると仮定して、各ステージが信頼性の高い標準化方法を利用し、その成功確率が９９％である（先の例の場合の９０％ではなく）場合には、全体的成功確率は（．９９）＝９０．４％となる。これは、全体的補正成果の２８％の確率よりも明らかに良好である。

別の実施形態では、各ステージに対して１よりも多い代替方法が与えられ、１つの代替案が失敗した場合には別の代替案が試みられる。この実施形態は、各ステージの成功又は失敗を決定するための動的監視と、選択的計画を有する能力とを必要とする。当該ステージに対する成功確率は、代替案の全てに対する失敗確率の補数であり、数学的には次式のように書かれる。

上式の表現において、ｓ_iはステージであり、Ａ（ｓ_i）は、ｓ_iを遂行するための代替案セットである。所与の代替案に対する失敗確率は、その代替案に対する成功確率の補数、すなわち１－Ｐ（ｓ_i｜ａ_j）であり、失敗する全ての代替案の確率は、上式中の積である。従って、全てが失敗することになるわけではない確率は、この積の補数である。代替方法を用いると、全体的成功確率は、代替案を有する各ステージの積、すなわち次式として推定することができる。

この代替方法を用いると、１０個のステージの各々が４つの代替案を有し、各ステージに対する各代替案の成功期待値が９０％であった場合に、全体的成功確率は、代替案なしの場合の僅か２８％に対して（１－（１－（．９））⁴）¹⁰＝．９９又は９９％となる。代替方法は、いずれか所与のステージが失敗するためには全ての代替案が失敗する必要があることになるので、当初の問題を複数の失敗単点を有する（あらゆるステージが失敗した場合）一連のステージから、失敗単点を持たないものへと改変し、よりロバストな成果を与える。

別の実施形態では、標準化小規模操作で構成される標準化ステージと、食品料理調製ステージの選択的手段とが組み合わせられて、更に一層ロバストな挙動を生じる。そのような場合には、代替案が、段又は小規模操作のうちの一部のものに対してしか存在しない場合であっても、対応する成功確率を非常に高くすることができる。

別の実施形態では、非常に信頼性の高い標準化方法が存在しないステージ、又は例えば特殊な形の材料に依存して潜在的な変動性が存在する段等の低めの成功確率を有するステージのみに、失敗の場合の代替案が与えられる。この実施形態は、全てのステージに代替案を与える負荷を軽減する。

図８Ｆは、食品料理を調理するのに必要とされるステージの個数（ｘ軸）の関数として全体的成功確率（ｙ軸）を非標準化キッチン４５８を例示する第１の曲線４５８と標準化キッチン５０を例示する第２の曲線４５９とに関して示すグラフ図である。この例では、食品調製ステージ毎の個別成功確率が、非標準化作動では９０％、標準化事前プログラムされたステージでは９９％であったという仮定を行った。曲線４５８に曲線４５９と比較して示しているように、非標準化作動の場合には複合誤差がかなり悪い。

図８Ｇは、小規模操作及び動作プリミティブを用いたマルチステージロボット食品調製におけるレシピ４６０の実行を例示するブロック図である。各食品レシピ４６０は、ロボットアーム７０及びロボットハンド７２によって実行される第１の食品調製ステージＳ₁ ４７０、第２の食品調製ステージＳ₂…第ｎのステージである食品調製ステージＳ_n ４９０という複数の食品調製ステージに分割することができる。第１の食品調製ステージＳ₁ ４７０は、１又は２以上の小規模操作ＭＭ₁ ４７１、ＭＭ₂ ４７２、及びＭＭ₃ ４７３を含む。各小規模操作は、機能結果を達成する１又は２以上の動作プリミティブを含む。例えば、第１の小規模操作ＭＭ₁ ４７１は、第１の動作プリミティブＡＰ１４７４と、第２の動作プリミティブＡＰ２４７５と、第３の動作プリミティブＡＰ３４７５とを含み、続いて機能結果４７７を得る。第１のステージＳ₁ ４７０内の１又は２以上の小規模操作ＭＭ₁ ４７１、ＭＭ₂ ４７２、ＭＭ₃ ４７３は、続いて段結果４７９を遂行する。１又は２以上の食品調製ステージＳ₁ ４７０と第２の食品調製ステージＳ₂と第ｎのステージである食品調製ステージＳ_n ４９０との組合せは、シェフ４９の食品調製プロセスを再現することによってシェフスタジオ４４内で記録されるものと実質的に同じ又は同じ結果を生じる。

各機能結果（例えば卵が割られる）を得る上で事前定義された小規模操作が利用可能である。各小規模操作は、機能結果を達成するためにまとまって作用する動作プリミティブ集合で構成される。例えば、ロボットは、卵に向かってそのハンドを動かすことで始めることができ、卵の位置を位置付けてそのサイズを検証するために卵に触り、卵を握って持ち上げて既知の事前定義構成に置くために必要な移動及び感知動作を実行する。

複数の小規模操作は、レシピを理解して編成する際の利便性に向けてソースを作る等のステージへと集めることができる。ステージの全てを終了するために小規模操作の全てを実行することの最終結果は、食品料理が毎回一貫した結果を伴って再現されることである。

図９Ａは、キッチンツール、物体、又はキッチン機材品目を検出して動かすためにＲＧＢ－Ｄセンサ能力、カメラセンサ能力、及びソナーセンサ能力を有する５つの指と手首とを有するロボットハンド７２の例を示すブロック図である。ロボットハンド７２の手掌は、ＲＧＢＤセンサ５００、カメラセンサ又はソナーセンサ５０４ｆを含む。又は、ロボットハンド４５０の手掌は、カメラセンサとソナーセンサとの両方を含む。ＲＧＢ－Ｄセンサ５００又はソナーセンサ５０４ｆは、物体の場所、寸法、及び形状を検出して物体の３次元モデルを作成することができる。例えば、ＲＧＢ－Ｄセンサ５００は、構造化光を用いて物体の形状を取り込んで、３次元マッピング及び位置付け、経路計画、ナビゲーション、物体認識、及び人間追跡を行う。ソナーセンサ５０４ｆは、音響波を用いて物体の形状を取り込む。カメラセンサ４５２及び／又はソナーセンサ４５４との併用で、ロボットキッチン内の手すり等あらゆる場所、又はロボット上に配置されたビデオカメラ６６が、図７Ａに例示しているように、シェフ４９によって使用されるキッチンツールの移動を取り込むか、追従するか、又は導く手法を与える。ビデオカメラ６６は、ロボットハンド７２からある角度である程度の距離離れたところに位置決めされ、従ってロボットハンド７２の物体把持、及びロボットハンドが物体を把持したか又は放棄／解放したかの高水準視野を与える。ＲＧＢ－Ｄ（赤色光ビーム、緑色光ビーム、青色光ビーム、及び深度）センサの適切な例は、ＭｉｃｒｏｓｏｆｔによるＫｉｎｅｃｔシステムであり、このシステムは、全身の３Ｄ動き取り込み能力、顔認識能力、及び音声認識能力を与えるソフトウェア上で作動するＲＧＢカメラ、深度センサ、及び多アレイマイクロフォンを特徴として備える。

ロボットハンド７２は、物体の距離及び形状、並びに物体の距離を検出するため、更にキッチンツールを取り扱うために、手掌の中央又はその近くに配置されたＲＧＢ－Ｄセンサ５００を有する。ＲＧＢ－Ｄセンサ５００は、ロボットハンド７２を物体の方向に向けて動かし、物体を把持するために必要な調節を加えるための案内をロボットハンド７２に与える。物体の距離及び形状、並びに後続の接触を検出するために、第２のソナーセンサ５０２ｆ及び／又は触圧センサが、ロボットハンド７２の手掌の近くに配置される。ソナーセンサ５０２ｆも、ロボットハンド７２が物体に向かって動くように案内することができる。ハンド内の更に別のタイプのセンサは、超音波センサ、レーザ、無線周波数識別（ＲＦＩＤ）センサ、及びその他の適切なセンサを含むことができる。これに加えて、触圧センサは、ロボットハンド７２が、物体を安全に持ち上げるのに十分な圧力が存在するような点において物体を把持するための更に別の圧力を作用し続けるか否かを決定するためのフィードバック機構としての役割を果たす。これに加えて、ロボットハンド７２の手掌内のソナーセンサ５０２ｆは、キッチンツールを把持して取り扱うための触覚感知機能を与える。例えば、ロボットハンド７２が牛肉を切るためにナイフを把持する時、ナイフが牛肉をスライスし終える時、すなわち、ナイフが抵抗を持たない時、又は物体を持つ時に、ロボットハンドがナイフに対して発揮し、牛肉に印加する圧力量を触覚センサによって検出することができる。分配される圧力は、物体を固定するためだけではなく、この物体（例えば卵）を壊さないためのものでもある。

更に、ロボットハンド７２上の各指は、親指の指先上の第１の触覚振動センサ５０２ａ及び第１のソナーセンサ５０４ａと、人差し指の指先上の第２の触覚振動センサ５０２ｂ及び第２のソナーセンサ５０４ｂと、中指の指先上の第３の触覚振動センサ５０２ｃ及び第３のソナーセンサ５０４ｃと、薬指の指先上の第４の触覚振動センサ５０２ｄ及び第４のソナーセンサ５０４ｄと、小指の指先上の第５の触覚振動センサ５０２ｅ及び第５のソナーセンサ５０４ｅとによって示しているように、それぞれの指先上に触覚振動センサ５０２ａ～５０２ｅとソナーセンサ５０４ａ～５０４ｅとを有する。触覚振動センサ５０２ａ、５０２ｂ、５０２ｃ、５０２ｄ、及び５０２ｅの各々は、振動の形状、周波数、振幅、持続時間、及び方向を変更することによって様々な表面及び効果をシミュレーションすることができる。ソナーセンサ５０４ａ、５０４ｂ、５０４ｃ、５０４ｄ、及び５０４ｅの各々は、物体の距離及び形状に対する感知能力、温度又は湿気に関する感知能力、加えてフィードバック能力を与える。ロボットハンド７２の手首上に更に別のソナーセンサ５０４ｇ及び５０４ｈが配置される。

図９Ｂは、標準化ロボットキッチン内での操作のための１対のロボットのアーム及びハンドに結合されたセンサカメラ５１２を有するパン－チルトヘッド５１０の一実施形態を例示するブロック図である。パン－チルトヘッド５１０は、標準化ロボットキッチン５０の内部の情報及び３次元画像を監視する、取り込む、又は処理するためにＲＧＢ－Ｄセンサ５１２を有する。パン－チルトヘッド５１０は、アーム及びセンサの動きに依存しない良好な状況認識を与える。パン－チルトヘッド５１０は、食品調製プロセスを実行するために１対のロボットアーム７０及びロボットハンド７２に結合されるが、１対のロボットアーム７０及びロボットハンド７２が遮蔽を引き起こす可能性がある。一実施形態では、ロボット装置は、１又は２以上のロボット装置７０と１又は２以上のロボットハンド（又はロボット把持器）７２とを備える。

図９Ｃは、標準化ロボットキッチン５０内での作動のためのロボット手首７３上のセンサカメラ５１４を例示するブロック図である。センサカメラ５１４の一実施形態は、それぞれのハンド７２の手首７３に装着されたカラー画像及び深度の知覚を与えるＲＧＢ－Ｄセンサである。それぞれの手首７３上のカメラセンサ５１４の各々は、アームによる限られた遮蔽を生じるが、ロボットハンド７２が物体を把持する時には一般的に遮蔽されない。しかし、ＲＧＢ－Ｄセンサ５１４は、それぞれのロボットハンド７２によって遮蔽される可能性がある。

図９Ｄは、標準化ロボットキッチン５０内での作動のためのロボットハンド７２上のハンド内単眼カメラ５１８を例示するブロック図である。各ハンド７２は、標準化ロボットキッチン５０内でロボットハンド７２によってハンド内単眼カメラ機能を与えるためにＲＧＢ－Ｄセンサ等のセンサを有する。各ハンド内のＲＧＢ－Ｄセンサ付きハンド内単眼カメラ５１８は、それぞれのロボットアーム７０及びそれぞれのロボットハンド７２による限られた遮蔽しか伴わずに高画像詳細を生じる。しかし、ハンド内単眼カメラ５１８付きロボットハンド７２は、物体を把持する時に遮蔽に遭遇する可能性がある。

図９Ｅ～図９Ｇは、ロボットハンド７２内の変形可能手掌５２０の態様を例示する絵図である。五指ハンドの指は、親指を第１の指Ｆ１５２２として、人差し指を第２の指Ｆ２５２４として、中指を第３の指Ｆ３５２６として、薬指を第４の指Ｆ４５２８として、小指を第５の指Ｆ５５３０として標記している。母指球隆起５３２は、ハンドの橈骨（第１の指Ｆ１５２２）側の変形可能材料の凸空間領域である。小指球隆起５３４は、ハンドの尺骨（第５の指Ｆ５５３０）側の変形可能材料の凸空間領域である。中手指節パッド（ＭＣＰパッド）５３６は、第２、第３、第４、及び第５の指Ｆ２５２４、Ｆ３５２６、Ｆ４５２８、Ｆ５５３０の中手指節関節（指関節）の腹（手掌）側の凸変形可能空間領域である。変形可能手掌５２０を有するロボットハンド７２は、軟質の人間様皮膚を有する外側にグローブを着用する。

母指球隆起５３２と小指球隆起５３４とは合わさって、タスク空間内でロボットアームから物体への大きい力の印加をこれらの力の印加がロボットハンド関節上に極小の外圧しか加えないように補助する（例えば転がっているピンの状況）。手掌を変形するために、手掌５２０の内部の追加の関節が利用可能である。手掌５２０は、シェフと同様の手法でのツール把持（典型的なハンドル把持）に向けて斜方手掌溝の形成を可能にするように変形しなければならない。手掌５２０は、図９Ｇにカップ形状状態５４２によって示しているように、シェフと同様の方式で皿及び食品材料等の凸物体の共形的把持のためのカップ形状形成を可能するように変形しなければならない。

これらの動きを補助することができる手掌５２０の内部の関節は、２つの明確な動き方向（屈曲／伸展及び外転／内転）を有することができる手首の近くの手掌の橈骨側に位置する親指手根中手関節（ＣＭＣ）を含む。これらの動きを補助するのに必要とされる更に別の関節は、小指球隆起５３４におけるカップ形状形成動きと手掌溝の形成とを補助する斜角での屈曲を可能にする手首の近くの手掌の尺骨側の関節（第４の指Ｆ４５２８及び第５の指Ｆ５５３０のＣＭＣ関節）を含むことができる。

ロボット手掌５２０は、人間の調理動きにおいて観察される手掌形状を再現するのに必要とされる更に別の／異なる関節、例えば、図９Ｆに例示しているように、親指Ｆ１５２２が小指Ｆ５５３０に接触する時等の手掌５２０を変形するための母指球隆起５３２と小指球隆起５３４との間におけるアーチ形５４０の形成を補助する結合された一連の屈曲関節を含むことができる。

手掌がカップ形状状態にある時には、母指球隆起５３２、小指球隆起５３４、及びＭＣＰパッド５３６は、手掌が小さい球形物体（例えば２ｃｍ）の周囲で閉じることを可能にする手掌の谷部の周囲の稜部を形式する。

変形可能手掌の形状は、図９Ｈ及び図９Ｉに示しているように、固定座標系に対する特徴点の場所を用いて説明することにする。各特徴点を経時的なｘ、ｙ、及びｚ座標位置のベクトルとして表している。特徴点の場所をシェフによって着用される感知グローブ上と、ロボットによって着用される感知グローブ上とに印している。図９Ｈ及び図９Ｉに例示しているように、グローブ上に座標系を更に印している。特徴点は、グローブ上で座標系の位置に対して定義される。

特徴点は、シェフが調理タスクを実施する時にタスク空間内に装着された較正済みカメラによって測定される。変形可能手掌の形状の照合を含むシェフの動きとロボット動きとの照合を行うために、特徴点の経時的軌道が使用される。シェフの動きからの特徴点の軌道は、変形可能手掌面の形状及び配置、並びにロボットハンドの関節の動き範囲を含む変形可能手掌設計をロボットに通知するために用いることもできる。

図９Ｈに描示している実施形態では、特徴点は小指球隆起５３４内、母指球隆起５３２内にあり、ＭＣＰパッド５３６は、手掌の各領域内の特徴点を示すマークを有する市松模様である。手首区域内の座標系は、座標系として識別可能な４つの長方形を有する。特徴点（又はマーカ）は、座標系に対するそのそれぞれの場所において識別される。この実施形態における特徴点及び座標系は、食品安全性の理由からグローブの下に実施することができるが、検出に向けてグローブを透かして見ることができる。

図９Ｈは、３次元形状特徴点５５０の場所を決定するために用いることができる視覚パターンを有するロボットハンドを示している。これらの形状特徴点の場所は、手掌関節が動く時、及び手掌面が印加力に応じて変形する時の手掌面の形状についての情報を供給する。

視覚パターンは、ロボットハンド上又はシェフによって着用されるグローブ上の表面マーク５５２を含む。これらの表面マークは、食品安全性透明グローブ５５４によって覆うことができるが、表面マーク５５２は、グローブを通して目視可能なままに留まる。

表面マーク５５２がカメラ画像内で目視可能である場合には、視覚パターンの内部の凸コーナ又は凹コーナを位置付けることによってこのカメラ画像の内部で２次元特徴点を識別することができる。単一のカメラ画像内の各そのようなコーナは２次元特徴点である。

同じ特徴点が複数のカメラ画像内で識別される場合には、この点の３次元的な場所を標準化ロボットキッチン５０に対して固定された座標系内で決定することができる。この計算は、各画像内の点の２次元的な場所と既知のカメラパラメータ（位置、向き、視野等）とに基づいて実施される。

ロボットハンド７２に固定された座標系５５６は、座標系視覚パターンを用いて得ることができる。一実施形態では、ロボットハンド７２に固定された座標系５５６は、原点と３つの直交座標軸とで構成される。座標系は、複数のカメラ内の座標系の視覚パターンの特徴を位置付け、座標系視覚パターンの既知のパラメータと、カメラの既知のパラメータとを用いて原点と座標軸とを抽出することによって識別される。

食品調製ステーションの座標系内で表現される３次元形状特徴点は、ロボットハンドの座標系が観察されると、ロボットハンドの座標系内に変換される。

変形可能手掌の形状は、全てが、ロボット又はシェフの手に固定された基準座標系内で表現される３次元形状特徴点のベクトルで構成される。

図９Ｉに例示しているように、これらの実施形態における特徴点５６０は、手掌の異なる領域（小指球隆起５３４、母指球隆起５３２、及びＭＣＰパッド５３６）内のホール効果センサ等のセンサによって表される。特徴点は、この実装では磁石である座標系に対するそのそれぞれの場所において識別可能である。磁石は、センサによって可読な磁場を生成する。この実施形態のセンサは、グローブの下に埋め込まれる。

図９Ｉは、３次元形状特徴点の場所を決定する上で選択的機構として用いることができる埋め込みセンサと１又は２以上の磁石５６２とを有するロボットハンド７２を示している。１つの形状特徴点は、各埋め込みセンサと関連付けられる。これらの形状特徴点５６０の場所は、手掌関節が動く時、及び手掌面が印加力に応じて変形する時の手掌面の形状についての情報を供給する。

形状特徴点の場所は、センサ信号に基づいて決定される。センサは、ロボット又はシェフの手に取り付けられた磁気に取り付けられた座標系内での距離の計算を可能にする出力を供給する。

各形状特徴点の３次元的な場所は、センサ測定値と、センサ較正から取得される既知のパラメータとに基づいて計算される。変形可能手掌の形状は、全てがロボット又はシェフの手に固定された基準座標系内で表現される３次元形状特徴点のベクトルで構成される。人間の手上の共通接触領域及び把持における機能についての追加の情報に関しては、全文が引用によって本明細書に組み込まれているＫａｍａｋｕｒａ、Ｎｏｒｉｋｏ、ＭｉｃｈｉｋｏＭａｔｓｕｏ、ＨａｒｕｍｉＩｓｈｉｉ、ＦｕｍｉｋｏＭｉｔｓｕｂｏｓｈｉ、及びＹｏｒｉｋｏＭｉｕｒａ著資料「通常のハンドにおける静的予荷重パターン（Ｐａｔｔｅｒｎｓｏｆｓｔａｔｉｃｐｒｅｈｅｎｓｉｏｎｉｎｎｏｒｍａｌｈａｎｄｓ）」、ＡｍｅｒｉｃａｎＪｏｕｒｎａｌｏｆＯｃｃｕｐａｔｉｏｎａｌＴｈｅｒａｐｙ３４（米国作業療法ジャーナル３４）、第７号（１９８０年）：４３７～４４５ページを参照されたい。

図１０Ａは、特定のレシピに対する食品調製プロセス中にシェフの移動を記録し、かつ取り込むために標準化ロボットキッチン環境５０内でシェフ４９が着用する記録デバイス５５０の例を示すブロック図である。シェフ記録デバイス５５０は、１又は２以上のロボットグローブ（又はロボット衣服）２６と、マルチモードセンサユニット２０と、１対のロボット眼鏡５５２とを含むが、これらに限定されない。シェフスタジオシステム４４内で、シェフ４９は、調理を行い、シェフの調理の移動を記録し、取り込むためにロボットグローブ２６を着用する。又はシェフ４９は、ロボットグローブ２６だけではなく、ロボットグローブを有するロボット衣装を着用することができる。一実施形態では、埋め込みセンサを有するロボットグローブ２６は、ｘｙｚ座標系内でのシェフのアーム、ハンド、及び指の動きの位置、圧力、及びその他のパラメータをタイムスタンプ付きで取り込み、記録し、保存する。ロボットグローブ２６は、特定の食品料理を調製する際に開始時間から終了時間までの持続時間にわたって３次元座標系内のシェフ１８のアーム及び指の位置及び圧力を保存する。シェフ４９がロボットグローブ２６を着用した場合には、シェフスタジオシステム４４内で食品料理を調製する際の移動、ハンドの位置、把持動き、及び発揮圧力量の全てが、ｔ秒毎等の定期的な時間間隔で精確に記録される。マルチモードセンサユニット２０は、ビデオカメラと、ＩＲカメラ及び距離計３０６と、ステレオ（又は更に三眼の）カメラ３０８と、多次元走査レーザ３１０とを含み、マルチスペクトル感知データを主ソフトウェア抽象化エンジン３１２に供給する（データ取得及びフィルタ処理モジュール３１４内に取得されてフィルタ処理された後に）。マルチモードセンサユニット２０は、３次元の表面又は質感を生成し、抽象化モデルデータを処理する。このデータは、シーン理解モジュール３１６内で、重畳される視覚スペクトル及びＩＲスペクトルの色及び質感のビデオ情報を有するシーンの高解像度及び低解像度（レーザ：高解像度、ステレオカメラ：低解像度）の３次元表面空間領域を構築する段階、エッジ検出及び体積測定物体検出アルゴリズムがシーン内にどんな要素が存在するのかを推測することを可能にする段階、形状／色／質感のマッピング及び整合性マッピングのアルゴリズムの使用が処理済みデータに基づいて進み、キッチン調理プロセス機材取扱モジュール３１８に処理済み情報を供給することを可能にする段階等（しかし、限定はされない）の複数の段階を実施するために使用される。任意的に、ロボットグローブ７６に加えて、シェフ４９は、ロボットイヤホン５５６及びマイクロフォン５５８を有するフレームの周囲に１又は２以上のロボットセンサ５５４を有する１つのロボット眼鏡５５２を着用することができる。ロボット眼鏡５５２は、ビデオを取り込み、シェフ４９が食物を調理する間に見る像を記録するためのカメラ等の更に別の視覚及び取り込み能力を与える。１又は２以上のロボットセンサ５５４は、調製中の食物の温度及び匂いを取り込んで記録する。イヤフォン５５６及びマイクロフォン５５８は、人間の音声、揚げ、網焼き、挽き等の音特性を含むことができる、シェフ４９が調理中に聞く音を取り込んで記録する。シェフ４９は、イヤフォン及びマイクロフォン８２を用いて同時の音声命令と食品調製の実時間調理段階とを記録することもできる。この点に関して、シェフロボットレコーダデバイス５５０は、特定の食品料理に対する食品調製プロセス中にシェフの移動パラメータ、速さパラメータ、温度パラメータ、及び音パラメータを記録する。

図１０Ｂは、取り込まれたシェフの動きをロボットの姿勢、動き、及び力を用いて評価するプロセスの一実施形態５６０を例示する流れ図である。データベース５６１は、ロボットアーム７２及びロボットハンド７２による事前定義（又は事前定義）把持姿勢５６２及び事前定義ハンド動きを格納し、これらは、重要度５６４によって重み付けされ、接触点５６５を用いてラベル付けされ、接触力５６５が格納される。操作５６７において、シェフ移動記録モジュール９８が、事前定義把持姿勢５６２と事前定義ハンド動き５６３とに部分的に基づいて、食品料理を調製する際のシェフの動きを取り込むように構成される。操作５６８において、ロボット食品調製エンジン５６は、姿勢、動き、及び力を取得し、小規模操作を遂行する能力に関してロボット装置構成を評価するように構成される。続いて、ロボット装置構成は、ロボット設計パラメータを評価する段階５７０、評点及び性能５７１を改善するために設計パラメータを調節する段階５７１、及びロボット装置構成を修正する段階５７２における反復プロセス５６９を行う。

図１１は、家庭用ロボットキッチン４８内の標準化ロボットキッチンシステム５０との併用のためのロボットアーム７０の側面図の一実施形態を例示するブロック図である。他の実施形態では、１つのアーム、２つのアーム、３つのアーム、４つのアーム、又はそれよりも多くのアーム等のロボットアーム７０のうちの１又は２以上を標準化ロボットキッチン内での操作に向けて設計することができる。食品調製中のシェフのアーム、ハンド、及び指の移動を格納するシェフスタジオシステム４４からの１又は２以上のソフトウェアレシピファイル４６は、アップロードし、シェフが調製した食品料理を調製するためのシェフの移動を模擬するように１又は２以上のロボットアーム７０及び１又は２以上のロボットハンド７２を制御するためのロボット命令に変換することができる。ロボット命令は、同じ食品料理を調製するシェフの詳細な移動を再現するようにロボット装置７５を制御する。ロボットアーム７０の各々及びロボットハンド７２の各々は、食品調製プロセスを遂行するために、ナイフ、フォーク、スプーン、へら、その他のタイプの道具、又は食品調製器械等の更に別の特徴及びツールを含むこともできる。

図１２Ａ～図１２Ｃは、手掌５２０を有するロボットハンド７２による使用のためのキッチンハンドル５８０の一実施形態を例示するブロック図である。キッチンハンドル５８０の設計は、同じキッチンハンドル５８０が、あらゆるタイプのキッチン道具又はキッチンツール、例えば、ナイフ、へら、網じゃくし、水切りスプーン、返しべら等に取り付けられることができるようなユニバーサルなもの（又は標準化されたもの）であることが目論まれる。図１２Ａ～図１２Ｂには、キッチンハンドル５８０の異なる斜視図を示している。ロボットハンド７２は、図１２Ｃに示しているようにキッチンハンドル５８０を把持する。本発明の開示の創意から逸脱することなく、他のタイプの標準化（又はユニバーサル）キッチンハンドルを設計することができる。

図１３は、触覚センサ６０２と分布圧力センサ６０４とを有する例示的ロボットハンド６００を示す絵図である。食品調製プロセス中に、ロボット装置７５は、ロボットハンドの指先及び手掌内のセンサによって生成された接触信号を用いて、ロボットが段階的移動を再現し、感知値をシェフのスタジオ調理プログラムの触覚プロファイルと比較する時に力、温度、湿度、及び毒性を検出する。視覚センサは、ロボットが周囲を識別し、適切な調理動作を取ることに役立つ。同一の結果を得るために適切な移動が取られるように、ロボット装置７５は、視覚センサからの直近環境の画像を解析し、それをシェフのスタジオ調理プログラムの保存画像と比較する。ロボット装置７５は、シェフの命令発声音を食品調製プロセスからの背景雑音に対して比較して調理中の認識性能を改善するために、異なるマイクロフォンを更に用いる。任意的に、ロボットは、臭気又は風味、並びに周囲温度を検出するために、電子鼻（図示していない）を有することができる。例えば、ロボットハンド６００は、指及び手掌内の触覚センサによって生成される表面質感信号、温度信号、及び重量信号によって本物の卵を区別することができ、それによって卵を割ることなく保持するための適正な力量を印加することができ、これに加えて卵を振ってその液体揺動音、亀裂音を聞くことによって品質チェックを行い、卵黄及び卵白を観察し、その匂いを嗅いで鮮度を決定することができる。続いてロボットハンド６００は、傷んだ卵を廃棄するか、又は新鮮な卵を選択するという動作を取ることができる。ハンド、アーム、及び頭の上のセンサ６０２及び６０４は、ロボットが、外部フィードバックを用いて食品調製プロセスを実行するために移動、接触し、見聞きすること、及び食品料理調製においてシェフのスタジオ調理結果と同一の結果を得ることを可能にする。

図１４は、標準化ロボットキッチン５０においてシェフ４９が着用するための感知衣装の例を示す絵図である。ソフトウェアファイル４６によって記録される、食品料理の食品調製中に、シェフ４９は、実時間のシェフの食品調製の移動を時間シーケンスで取り込むために感知衣装６２０を着用する。感知衣装６２０は、触覚スーツ６２２（１つの全長のアーム及びハンドの衣装で示している）［前と同様にそこにはそのような番号はない］と、触覚グローブ６２４と、マルチモードセンサ６２６［そのような番号はない］と、頭部衣装６２８とを含むことができるが、これらに限定されない。センサ付き触覚スーツ６２２は、人間のアーム７０及びハンド／指７２のｘｙｚ座標位置及び圧力をＸＹＺ座標系においてタイムスタンプ付きで記録するために、シェフの移動からデータを取り込んで、取り込みデータをコンピュータ１６に送信することができる。感知衣装６２０も、幾何学センサ（レーザセンサ、３Ｄステレオセンサ、又はビデオセンサ）を有する標準化ロボットキッチン５０内の相対位置と相関付けるために、人間のアーム７０及びハンド／指７２の位置、速度、及び力／トルク、並びに端点接触挙動をロボット座標系においてシステムタイムスタンプ付きで記録し、このタイムスタンプに関連付ける。センサ付き触覚グローブ６２４は、グローブ６２４内の触覚センサによって検出される力信号、温度信号、湿度信号、及び毒性信号を取り込み、記録し、保存するために使用される。頭部衣装６２８は、視覚カメラ、ソナー、レーザ、又は無線周波数識別（ＲＦＩＤ）を有するフィードバックデバイスと、食品調製プロセス中にシェフ４８が見る像を記録し、格納するために、取り込みデータを感知し、取り込み、コンピュータ１６に送信するために使用されるカスタム眼鏡とを含む。これに加えて、頭部衣装６２８は、標準化ロボットキッチン５０内の周囲温度及び匂いシグネチャを検出するためのセンサも含む。更に、頭部衣装６２８は、揚げ、挽き、細切り等の音特性等のシェフ４９が聞く音声を取り込むためのオーディオセンサも含む。

図１５Ａ～図１５Ｂは、シェフ４９による食品調製のためのセンサ付き三指触覚グローブ６３０の一実施形態と、センサ付き三指ロボットハンドの例６４０とを示す絵図である。本明細書で例示する実施形態は、食品調製に向けて５本よりも少ない本数の指を有する簡易ロボットハンド６４０を示す。相応して、簡易ロボットハンド６４０の設計の複雑さは、簡易ロボットハンド６４０を製造するためのコストと共に大幅に低減されることになる。対峙する親指を有する又は持たない二指把持器又は四指ロボットハンドも、可能な選択的実装である。この実施形態では、シェフの手の移動は、力、温度、湿度、毒性、又は触感に関するシェフの移動のデータを感知するためのセンサ６３２を各々が有する親指、人差し指、及び中指という３つの指の機能によって制限される。三指触覚グローブ６３０は、その手掌区域内にポイントセンサ又は分布圧力センサを更に含む。三指触覚グローブ６３０を着用し、親指、人差し指、及び中指を用いながら食品料理を調製するシェフの移動は、ソフトウェアファイル内に記録される。続いて三指ロボットハンド６４０は、ロボットハンド６４０の指上のセンサ６４２ｂ及び手掌上のセンサ６４４を監視しながら、ロボットハンド６４０の親指、人差し指、及び中指を制御するためのロボット命令に変換されたソフトウェアレシピファイルからシェフの移動を再現する。センサ６４４は、ポイントセンサ又は分布圧力センサを用いて実施することができるのに対して、センサ６４２は、力センサ、温度センサ、湿度センサ、毒性センサ、又は触覚センサを含む。

図１５Ｃは、ロボットアーム７０とロボットハンド７２との間の相互機能及び相互作用の一例を示すブロック図である。順応性ロボットアーム７５０は、より小さいペイロード、より高い安全性、より静かな動作を与えるが、それ程の精度を与えることはない。人型ロボットハンド７５２は、より高い器用度を与えて人間のツールを取り扱うことができ、人間の手の動きを再標的化するのが容易であり、より順応性が高いが、設計はより高い複雑度を必要とし、重量を増し、製品コストを高める。簡易ロボットハンド７５４は、より軽量であり、それ程高価ではなく、より低い器用度しか有さず、人間のツールを直接用いることができない。産業用ロボットアーム７５６は、より精度が高く、より高いペイロード容量を有するが、一般的に人間の周囲で安全であるとは考えられず、潜在的に大きい力を発揮して危害を引き起こす恐れがある。標準化ロボットキッチン５０の一実施形態は、順応性アーム７５０と人型ハンド７５２との第１の組合せを利用するものである。他の３つの組合せは、一般的に本発明の開示の実装にはそれ程望ましくない。

図１５Ｄは、カスタム調理用具に取り付けられる標準化キッチンハンドル５８０を用いるロボットハンド７２と、キッチン用具に添着可能なロボットアーム７０とを例示するブロック図である。キッチン用具を把持するための１つの技術では、ロボットハンド７２が、例示している７６０ａ、７６０ｂ、７６０ｃ、７６０ｄ、７６０ｅという選択肢、及びその他の選択肢からのカスタム調理用具ヘッドのうちのあらゆる１つに取り付けられるための標準化キッチンツール５８０を把持する。例えば、標準化キッチンハンドル５８０は、食材を平鍋の中でかき揚げにするための使用のためのカスタムへらヘッド７６０ｅに着接される。一実施形態では、標準化キッチンハンドル５８０をロボットハンド７２によって、標準化キッチンハンドル５８０を保持するための様々な手法における潜在的な混同を最小限に抑えるただ１つの位置に保持することができる。キッチン用具を把持するための別の技術では、ロボットアームが、キッチン用具７６２に添着可能な１又は２以上のホルダ７６２を有し、この場合、ロボットアーム７０は、ロボットハンド動きの間にキッチン用具７６２を押える上で必要に応じてより大きい力を作用することができる。

図１６は、小規模操作ライブラリデータベースの作成モジュール６５０と、小規模操作ライブラリデータベースの実行モジュールとを例示するブロック図である。小規模操作データベースライブラリの作成モジュール６０は、種々の可能な組合せを作成して検査し、特定の機能結果を達成するのに最適な小規模操作を選択するプロセスである。作成モジュール６０の１つの目的は、特定の小規模操作を実施する上で可能な全ての異なる組合せを調査し、食品料理を調製する際のロボットアーム７０及びロボットハンド７２による後続の実行に向けて最適な小規模操作のライブラリを事前定義することである。小規模操作ライブラリの作成モジュール６５０は、ロボットアーム７０及びロボットハンド７２が小規模操作ライブラリデータベースから異なる食品調製機能について学習するための教示法として用いることもできる。小規模操作ライブラリデータベースの実行モジュール６６０は、ロボット装置が、食品料理を調製するプロセス中に、第１の機能成果６６２を伴う第１の小規模操作ＭＭと、第２の機能成果６６４を伴う第２の小規模操作ＭＭと、第３の機能成果６６６を伴う第３の小規模操作ＭＭと、第４の機能成果６６８を伴う第４の小規模操作ＭＭと、第５の機能成果６７０を伴う第５の小規模操作ＭＭとを含む小規模操作ライブラリデータベースにアクセスし、そこから実行することができる小規模操作機能の範囲を与えるように構成される。

一般化小規模操作：一般化小規模操作は、期待された機能結果を伴う感知とアクチュエータ動作との明確に定義されたシーケンスを含む。各小規模操作に関連して、事前条件セットと事後条件セットとが存在する。事前条件は、小規模操作が発生することを可能にするために世界状態において真でなければならないものをアサートする。事後条件は、小規模操作によって引き起こされる世界状態への変更である。

例えば、小さい物体を把持するための小規模操作は、物体の場所及び向きを観測する段階と、ロボットハンド（把持器）を動かしてそれを物体の位置と位置合わせする段階と、物体の重量及び剛性に基づいて必要な力を印加する段階と、アームを上方に動かす段階とを含むことになる。

この例では、事前条件は、ロボットハンドが届く範囲内に把持可能な物体が位置付けられていること、及びその重量がアームの持ち上げ能力の範囲内にあることを含む。事後条件は、以前に物体が見つかった表面上にもはやそれが置かれていないこと、及び現在物体がロボットハンドによって保持されていることである。

より一般的には、一般化小規模操作Ｍは、３つの部分＜ＰＲＥ、ＡＣＴ、ＰＯＳＴ＞を含み、この場合、ＰＲＥ＝｛ｓ₁，ｓ₂，…，ｓ_n｝は、動作ＡＣＴ＝［ａ₁，ａ₂，…，ａ_k］が発生し、ＰＯＳＴ＝｛ｐ₁，ｐ₂，…，ｐ_m｝で表される世界状態への変化セットを生じることができる前に真でなければならない世界状態の中の品目セットである。［大括弧］はシーケンスを意味し、｛中括弧｝は順序不同セットを意味することに注意されたい。各事後条件は、結果が確実とは言えない場合に確率を有することもできる。例えば、卵を把持するための小規模操作は、卵がロボットのハンド内に収まるという０．９９の確率を有することができる（残りの．０１の確率は、卵を把持しようと試る間にそれを不用意に割ってしまうこと又はその他の望ましくない成り行きに対応するものとすることができる）。

更により一般的には、小規模操作は、単に原子的又は基本的なロボット感知又は作動のシーケンスの代わりにそれ自体の動作シーケンス内に他の（より小さい）小規模操作を含むことができる。そのような場合には、小規模操作は、シーケンスＡＣＴ＝［ａ₁，ｍ₂，ｍ₃，…，ａ_k］を含むことになり、この場合、「ａ」で表している基本動作が、「ｍ」で表している小規模操作と散在配列される。そのような場合には、事後条件セットは、その基本動作に対する事前条件の和集合と、その部分小規模操作の全てのものの事前条件の和集合とによって満たされることになる。

事後条件は、一般化小規模操作のものとなり、同様の方式で次式のように決定されることになる。

とりわけ、事前条件及び事後条件が、単に数学記号であるのではなく、物理的世界（場所、向き、重量、形状等）の特定の態様に関することに注意されたい。言い換えれば、小規模操作の選択及び組み立てを実施するソフトウェア及びアルゴリズムは、ロボット機械類に直接的な効果を有し、この効果は更に物理的世界に対する直接的な効果を有する。

一実施形態では、小規模操作の閾値成果を指定した場合、一般化されもの又は基本的なもののどちらであるかに関わらず、測定は事後条件に対して実施され、実際の結果が最適結果に対して比較される。例えば、組み立てタスクにおいて部品がその望ましい向き及び場所の１％の範囲内に位置決めされ、成果閾値が２％であった場合には、小規模操作は成功である。同様に、上記の例で閾値が０．５％であった場合には、小規模操作は失敗である。

別の実施形態では、小規模操作に対して閾値成果を指定する代わりに、事後条件のパラメータに対して許容範囲が定義され、この小規模操作を実行した後に結果として生じるパラメータの値が指定範囲内に収まる場合に小規模操作は成功である。これらの範囲はタスクに依存し、各タスクに対して指定される。例えば、組み立てタスクでは、部品の位置は、別の部品の０ミリメートルと２ミリメートルとの間統計データ解析の範囲（又は許容範囲）内で指定することができ、小規模操作は、この部品の最終的な場所がこの範囲内にある場合に成功である。

第３の実施形態では、小規模操作は、その事後条件がロボットタスクにおける次の小規模操作の事前条件に一致した場合に成功である。例えば、１つの小規模操作の組み立てタスクにおける事後条件が、前に配置された部品から１ミリメートルのところに新しい部品を配置するものであり、次の小規模操作（例えば溶着）が、これらの部品が２ミリメートルの範囲内にあることを指定する事前条件を有する場合には、第１の小規模操作は成功である。

一般的に、小規模操作ライブラリに格納される基本的なものと一般化されたものとである全ての小規模操作に関する好ましい実施形態は、これらの小規模操作が予測される状況で上首尾に実施されるように設計され、プログラムされ、試験されたものである。

小規模操作で構成されるタスク：ロボットタスクは、１つ又は（一般的に）複数の小規模操作で構成される。これらの小規模操作は、順次、並列で、又は部分順序を守って実行することができる。「順次」は、各段階が、後続のものが始まる前に完了することを意味する。「並列」は、ロボットデバイスが、複数の段階を同時に又はあらゆる順序で実行することができることを意味する。「部分順序」は、一部の段階を、部分順序内で指定されたものであるシーケンスで実施しなければならず、残りのものは、部分順序内に指定された段階の前、後、又は最中に実行することができることを意味する。部分順序は、標準の数学的な意味において段階のセットＳ及び段階ｓ_i→ｓ_jのうちの一部のものの間の順序付け制約条件として定義される、すなわち、段階ｉは、段階ｊの前に実行されなければならない。これらの段階は、小規模操作又は小規模操作の組合せとすることができる。例えば、ロボットシェフにおいて、２つの食材をボールの中に入れて混ぜ合わせなければならない場合には、各食材を混ぜ合わせる前にボールの中に入れなければならないという順序付け制約条件が存在するが、どちらの食材がミキシングボウルの中に最初に入れられるかについての順序付け制約条件は存在しない。

図１７Ａは、食品料理を調製する間のシェフの移動を感知して取り込むためにシェフ４９によって使用される感知グローブ６８０を例示するブロック図である。感知グローブ６８０は、感知グローブ６８０の指の各々の上の複数のセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅと、手掌区域内の複数のセンサ６８２ｆ、６８２ｇとを有する。他の実施形態では、全てのハンド操作の間のシェフの移動を取り込んで解析するために、軟質グローブの内側にある少なくとも５つの圧力センサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅが使用される。この実施形態における複数のセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅ、６８２ｆ、及び６８２ｇは、感知グローブ６８０内に埋め込まれるが、外部感知に向けて感知グローブ６８０の材料を透かして見ることができる。感知グローブ６８０は、そこにおける様々な高点及び低点のハンドの湾曲（又は凹凸）を反映する複数のセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅ、６８２ｆ、６８２ｇに関連付けられる特徴点を有することができる。ロボットハンド７２を覆って配置される感知グローブ６８０は、人間の皮膚の柔軟性及び形状を模擬する軟質材料で作られる。ロボットハンド７２について詳述する更に別の説明は、図９Ａに見出すことができる。

ロボットハンド７２は、物体の距離及び形状、並びに物体の距離を検出し、キッチンツールを取り扱うために、手掌の中央又はその近くに配置されたＲＧＢ－Ｄセンサ、撮像センサ、又は視覚感知デバイス等のカメラセンサ６８４を含む。撮像センサ６８２ｆは、ロボットハンド７２を物体の方向に向けて動かして物体を把持するために必要な調節を加える上でロボットハンド７２に案内を与える。これに加えて、物体の距離及び形状を検出するために、触圧センサ等のソナーセンサをロボットハンド７２の手掌の近くに配置することができる。ソナーセンサ６８２ｆも、物体に向かって動くようにロボットハンド７２を案内することができる。ソナーセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅ、６８２ｆ、６８２ｇの各々は、超音波センサ、レーザ、無線周波数識別（ＲＦＩＤ）、及びその他の適切なセンサを含む。これに加えて、ソナーセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅ、６８２ｆ、６８２ｇの各々は、ロボットハンド７２が、物体を把持して持ち上げるのに十分な圧力が存在するような点において物体を把持するための更に別の圧力を作用し続けるか否かを決定するためのフィードバック機構としての役割を果たす。これに加えて、ロボットハンド７２の手掌内のソナーセンサ６８２ｆは、キッチンツールを取り扱うための触覚感知機能を与える。例えば、ロボットハンド７２がナイフを把持して牛肉を切断する場合には、ロボットハンド７２がナイフに対して発揮し、牛肉に印加する圧力量によって、触覚センサが、ナイフが牛肉をスライスし終える時、すなわち、ナイフが抵抗を持たない時を検出することを可能にする。分布圧力は、物体を固定するためだけではなく、例えば卵を割らないように、過度の圧力を作用しないようにするためのものでもある。更に、ロボットハンド７２上の各指は、親指の指先上の第１のセンサ６８２ａと、人差し指の指先上の第２のセンサ６８２ｂと、中指の指先上の第３のセンサ６８２ｃと、薬指の指先上の第４のセンサ６８２ｄと、小指の指先上の第５のセンサ６８２ｆとによって示しているように、指先上にセンサを有する。センサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅの各々は、物体の距離及び形状についての感知能力、温度又は湿気に対する感知能力、並びに触覚フィードバック能力を与える。

手掌内のＲＧＢ－Ｄセンサ６８４及びソナーセンサ６８２ｆに加えて、各指の指先内のソナーセンサ６８２ａ、６８２ｂ、６８２ｃ、６８２ｄ、６８２ｅは、非標準化物体又は非標準化キッチンツールを把持する手段としてのロボットハンド７２に対してフィードバック機構を与える。ロボットハンド７２は、非標準化物体を把持するのに十分な程度に圧力を調節することができる。特定の時間間隔に従う把持機能サンプル６９２、６９４、６９６を格納し、それに関して特定の把持機能を実施する上でロボットハンド７２が引き出すことができるプログラムライブラリ６９０を図１７Ｂに例示している。図１７Ｂは、標準化ロボットキッチンモジュール５０内での標準化作動の移動のライブラリデータベース６９０を例示するブロック図である。事前定義されてライブラリデータベース６９０に格納される標準化作動の移動は、動き／相互作用時間プロファイル６９８でキッチンツール又はキッチン機材を把持、配置、及び操作する段階を含む。

図１８Ａは、ロボットハンド７２の各々が、人工的な人間様の軟質皮膚グローブ７００で被覆されることを例示するグラフ図である。人工的な人間様の軟質皮膚グローブ７００は、透かして見ることができ、ロボットハンド７２が高レベル小規模操作を実施するのに十分な複数の埋め込みセンサを含む。一実施形態では、軟質皮膚グローブ７００は、シェフの手の移動を再現するために１０又はそれよりも多くのセンサを含む。

図１８Ｂは、事前定義されて内部に格納された小規模操作を有するライブラリデータベース７２０に基づいて高レベル小規模操作を実行するために人工的な人間様の皮膚グローブで被覆されたロボットハンドを例示するブロック図である。高レベル小規模操作は、実質的な量の相互作用の移動及び相互作用力、並びにこれらに対する制御を必要とする動作プリミティブシーケンスに関するものである。データベースライブラリ７２０に格納された小規模操作の３つの例を提示する。小規模操作の第１の例は、１対のロボットハンド７２を用いて生地をこねる段階７２２である。小規模操作の第２の例は、１対のロボットハンド７２を用いてラヴィオリを作る段階７２４である。小規模操作の第３の例は、１対のロボットハンド７２を用いて寿司７２６を作る段階である。小規模操作の３つの例の各々は、コンピュータ１６によって追跡される動き／相互作用時間プロファイル７２８を有する。

図１８Ｃは、望ましい目標状態を生じるロボットアーム７０及びロボットハンド７２の動き及び力の連続軌道を有する食品調製のための操作動作分類の３つのタイプを例示するグラフ図である。ロボットアーム７０及びロボットハンド７２は、不動の把持によって物体を取り上げ、それを目標の場所まで強い力による相互作用の必要なしに輸送するためのロバストな把持及び輸送の移動７３０を実行する。ロバストな把持及び輸送の例は、平鍋をコンロの上に置く段階、塩入れを取り上げる段階、料理に塩を振り入れる段階、食材をボールの中に落とし入れる段階、容器から中身を注ぎ出す段階、サラダをかき混ぜる段階、及びパンケーキを裏返す段階を含む。ロボットアーム７０及びロボットハンド７２は、強い力による相互作用によってロバストな把持７３２を実行し、この場合、２つの表面又は物体の間には強い力による接触が存在する。強い力による相互作用によるロバストな把持の例は、深鍋を撹拌する段階、箱を開ける段階、平鍋を回す段階、素材をまな板から平鍋の中に掃き入れる段階を含む。ロボットアーム７０及びロボットハンド７２は、変形による強い力による相互作用７３４を実行し、この場合、人参を切断する段階、卵を割る段階、又は生地を転がす段階等の２つの表面の一方の変形を生じる２つの表面又は物体の間の強い力による接触が存在する。人間の手の機能、人間の手掌の変形、及び把持におけるその機能についての追加の情報に関しては、全文が引用によって本明細書に組み込まれているＩ．Ａ．Ｋａｐａｎｄｊｉ著資料「関節生理学、第１巻：上肢、６ｅ（ＴｈｅＰｈｙｓｉｏｌｏｇｙｏｆｔｈｅＪｏｉｎｔｓ，Ｖｏｌｕｍｅ１：ＵｐｐｅｒＬｉｍｂ、６ｅ）」、ＣｈｕｒｃｈｉｌｌＬｉｖｉｎｇｓｔｏｎｅ、第６版、２００７年を参照されたい。

図１８Ｄは、生地をこねる段階における食品調製のための操作動作分類についての一実施形態を例示する簡単な流れ図である。生地をこねる段階７４０は、過去に小規模操作ライブラリデータベース内に事前定義された小規模操作とすることができる。生地をこねるプロセス７４０は、生地を把持する段階７４２と、生地を表面上に置く段階７４４と、望ましい形状を得るまでこね動作を繰り返す段階７４６とを含む動作（又は短い小規模操作）シーケンスを含む。

図１９は、「卵をナイフで割る」結果を生じる小規模操作のデータベースライブラリ構造７７０の例を示すブロック図である。卵を割る小規模操作７７０は、卵を正しい位置に如何にして持つか７７２、ナイフを卵に対して如何にして持つか７７４、卵をナイフで叩くのに最良の角度は何度であるか７７６、割れた卵を如何にして開くか７７８を含む。特定の移動を実行するのに最良の手法を見出すために、各７７２、７７４、７７６、及び７７８に対する種々の可能なパラメータが試験される。例えば、卵７７２を持つ場合には、卵を持つのに最適な手法を見出すために、卵を持つ様々な位置、向き、及び手法が試験される。第２に、ロボットハンド７２は、事前定義場所からナイフを取り上げる。ナイフを持つ段階７７４は、ナイフを取り扱うのに最適な手法を見出すために、ナイフを持つ様々な位置、向き、及び手法に関して調査される。第３に、卵をナイフで叩く段階７７６は、卵をナイフで叩くのに最良の手法を見出すために、ナイフを卵上に叩きつける段階の様々な組合せに関しても試験される。その結果、卵をナイフで割る小規模操作７７０を実行するのに最適な手法が、小規模操作のライブラリデータベースに格納される。保存された卵をナイフで割る小規模操作７７０は、卵を持つのに最良の手法７７２と、ナイフを持つのに最良の手法と、ナイフを卵で叩くのに最良の手法７７６とを含むことになる。

卵をナイフで割る結果を生じる小規模操作を生成するためには、卵が割られるという望ましい機能結果が得られることを確実にするパラメータセットを識別するために、複数のパラメータ組合せを試験しなければならない。この例では、卵を潰さないように如何に掴って持つかを決定するためのパラメータが識別される。試験を通じて適切なナイフが選択され、叩く段階に向けてそれを持つことができるような指及び手掌に関する適切な配置が見出される。卵を首尾良く割ることになる叩き動きが識別される。割れた卵を首尾良く開くことを可能にする開きの動き及び／又は力が識別される。

ロボット装置７５に対する教示／学習プロセスは、望ましい最終機能結果を達成するのに必要なパラメータを識別するための複数の反復的な試験を含む。

これらの試験は、様々なシナリオにわたって実施することができる。例えば、卵のサイズが異なる可能性がある。卵を割るべき場所が異なる可能性がある。ナイフが異なる場所にある可能性がある。小規模操作は、これらの可変状況の全てにおいて上首尾のものでなければならない。

学習プロセスが終了すると、結果は、合わさって望ましい機能結果を達成することが既知である動作プリミティブの集合として格納される。

図２０は、非標準物体１１２の３次元モデル化による実時間調節を伴う小規模操作に関するレシピ実行の例８００を示すブロック図である。レシピ実行７８０において、ロボットハンド７２は、卵をナイフで割る小規模操作７７０を実行し、この場合、卵をナイフで割る操作７７２、ナイフを持つ操作７７４、卵をナイフで叩く操作７７６、及び割れた卵を開く操作７７８における各移動を実行するのに最適な手法が、小規模操作ライブラリデータベースから選択される。移動７７２、７７４、７７６、７７８の各々を実施するのに最適な手法を実行するプロセスは、小規模操作７７０が、この特定の小規模操作に対して同じ結果（又はその保証）又は実質的に同じ成果を得ることになることを確実にする。マルチモード３次元センサ２０は、卵の寸法及び重量等の１又は２以上の食材において起こり得る変化に関する実時間調節能力１１２を与える。

図１９の小規模操作の作成と図２０の小規模操作の実行との間の操作関係の例として、「卵をナイフで割る」小規模操作に関連する特定の変数は、卵の初期ｘｙｚ座標と、卵の初期の向きと、卵のサイズと、卵の形状と、ナイフの初期ｘｙｚ座標と、ナイフの初期の向きと、卵を割る場所のｘｙｚ座標と、小規模操作の速さ及び持続時間とを含む。こうして識別された「卵をナイフで割る」小規模操作変数は、作成フェーズ中に定義され、この場合、これらの識別可能変数は、関連する小規模操作の実行フェーズ中にロボット食品調製エンジン５６によって調節することができる。

図２１は、標準化キッチンモジュール内でのシェフの食品調製の移動を取り込んでシェフスタジオ４４からソフトウェアレシピファイル４６を生成するソフトウェアプロセス７８２を例示する流れ図である。段階７８４において、シェフスタジオ４４内で、シェフ４９が、食品レシピの様々な構成要素を設計する。段階７８６において、ロボット調理エンジン５６が、シェフ４９が選択したレシピ設計に関する名称、ＩＤ食材、及び測定値の入力を受信するように構成される。段階７８８において、シェフ４９が、食品／食材を指定の標準化調理用具／器具内及び指定位置に移動する。例えば、シェフ４９は、２つの中サイズのシャロット及び２つの中サイズのにんにく片を取り上げ、８つのクリミニマッシュルームをまな板台の上に置き、冷凍庫Ｆ０２から解凍した２つの２０ｃｍ×３０ｃｍのパフペストリーユニットを冷蔵庫（フリッジ）に移動する。段階７９０において、シェフ４９は、コンピュータ１６への送信に向けてシェフの移動データを取り込むセンサを有する取り込みグローブ２６又は触覚衣装６２２を着用する。段階７９２において、シェフ４９は、段階１２２からの自ら選択したレシピに取り組み始める。段階７９４において、シェフ移動記録モジュール９８が、標準化ロボットキッチン５０内でシェフのアーム及び指の力、圧力、並びにＸＹＺ位置及び向きを含むシェフの詳細な移動を実時間で取り込んで記録するように構成される。シェフの移動、圧力、及び位置を取り込むのに加えて、シェフ移動記録モジュール９８は、特定レシピに対する食品調製プロセス全体中のビデオ（料理、食材、プロセス、及び対話的操作の映像）及び音（人間の音声、揚げる際の蒸発音等）を記録するように構成される。段階７９６において、ロボット調理エンジン５６が、取り込みグローブ２６上のセンサ及びマルチモード３次元センサ３０からのシェフの移動を含む段階７９４からの取り込みデータを格納するように構成される。段階７９８において、レシピ抽象化ソフトウェアモジュール１０４が、機械実施に適するレシピスクリプトを生成するように構成される。レシピデータが生成され、保存された後に、段階７９９において、ソフトウェアレシピファイル４６が、家庭又はレストラン内にあるユーザのコンピュータに対するアプリストア又はマーケットプレイスを通じて、更にモバイルデバイス上のロボット調理受信アプリも組み入れてユーザへの販売又は購読に向けて利用可能にされる。

図２２は、シェフスタジオシステム４４から受け取ったソフトウェアレシピファイル２２のうちの１又は２以上に基づくロボット装置７５によるロボット標準化キッチン内での食品調製のためのソフトウェアプロセスを例示する流れ図８００である。段階８０２において、ユーザ２４が、コンピュータ１５を通じて、シェフスタジオ４４から購入した又は購読するレシピを選択する。段階８０４において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６が、調製するように選択されたレシピに関する入力を入力モジュール５０から受信するように構成される。段階８０６において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６は、ソフトウェアレシピファイル４６を有するメモリモジュール１０２内に選択レシピをアップロードするように構成される。段階８０８において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６は、選択レシピを完成させるための食材入手可能性と、料理を仕上げるのに必要とされるおおよその調理時間とを計算するように構成される。段階８１０において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６は、選択レシピに対する前提条件を解析して、食材のあらゆる不足又は欠如が存在するか否か、又は選択レシピ及び配膳スケジュールに従って料理を配膳する時間が不十分であるか否かを決定するように構成される。前提条件が満たされていない場合には、段階８１２において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６は、食材を買い物リストに追加しなければならないことを示す警報を送るか、又は別のレシピ又は配膳スケジュールを提案する。しかし、前提条件が満たされている場合には、ロボット食品調製エンジン５６は、段階８１４においてレシピ選択を確認するように構成される。レシピ選択が確認された後に、段階８１６において、ユーザ６０が、コンピュータ１６を通じて、食品／食材を特定の標準化容器及び必要な位置に移動する。食材が、識別された指定の容器及び位置に置かれた後に、段階８１８において、家庭用ロボットキッチン４８内のロボット食品調製エンジン５６が、開始時間がトリガされたかどうかをチェックするように構成される。この分岐点において、家庭用ロボット食品調製エンジン５６は、全ての前提条件が満たされていることを確実にするための２回目のプロセスチェックを行う。家庭用ロボットキッチン４８内のロボット食品調製エンジン５６に調理プロセスを開始する準備が整っていない場合には、家庭用ロボット食品調製エンジン５６は、開始時間がトリガされるまで段階８２０において前提条件をチェックし続ける。ロボット食品調製エンジン５６に調理プロセスを開始する準備が整った場合には、段階８２２において、ロボット食品調製エンジン５６内の生食品品質チェックモジュール９６が、選択レシピに対する前提条件を処理し、レシピの記述内容（例えば１つのセンターカット牛肉テンダーロイン炙り焼き）及び条件（例えば、消費期限／購入日、臭気、色、質感等）に対して各食材品目を検査する。段階８２４において、ロボット食品調製エンジン５６が、時間を「０」ステージに設定し、シェフの調理の移動を再現して選択料理をソフトウェアレシピファイル４６に従って生成するために、１又は２以上のロボットアーム７０及びロボットハンド７２にソフトウェアレシピファイル４６をアップロードする。段階８２６において、１又は２以上のロボットアーム７２及びロボットハンド７４が食材を処理し、シェフの移動から取り込まれて記録されたものと同じ時間区分で正確な圧力、精密な力、及び同じＸＹＺ位置を伴うシェフ４９のアーム、ハンド、及び指のものと同一の移動による調理方法／技術を実行する。この時間中に、１又は２以上のロボットアーム７０及びロボットハンド７２は、段階８２８に例示しているように、調理結果を対照データ（例えば、温度、重量、損失等）及びメディアデータ（例えば、色、外観、匂い、部分サイズ等）に対して比較する。データが比較された後に、ロボット装置７５（ロボットアーム７０及びロボットハンド７２を含む）が、段階８３０において結果を位置合わせして調節する。段階８３２において、ロボット食品調製エンジン５６が、完成した料理を指定の配膳皿に移動し、それをカウンターの上に置くようにロボット装置７５に命令するように構成される。

図２３は、小規模操作ライブラリデータベース８４０に関して、様々なパラメータ組合せを作成し、試験し、検証し、格納するためのソフトウェアプロセスの一実施形態を例示する流れ図である。小規模操作ライブラリデータベース８４０は、一時的ライブラリに格納される１回成功試験プロセス８４０（例えば、卵を持つ段階）と、小規模操作データベースライブラリ内の１回試験結果の組合せを試験する段階８６０（例えば、卵を割る移動全体）とを含む。段階８４２において、コンピュータ１６は、複数の動作プリミティブ（又は複数の離散レシピ動作）を有する新しい小規模操作（例えば卵を割る段階）を作成する。段階８４４において、新しい小規模操作に関連する物体（例えば卵及びナイフ）の個数が識別される。段階８４６において、コンピュータ１６は一部の離散した動作又は移動を識別する。段階８４８において、コンピュータは、特定の新しい小規模操作に関連する主要パラメータ（物体の位置、物体の向き、圧力、及び速さ等）の取り得る最大範囲を選択する。段階８５０において、各主要パラメータに関して、コンピュータ１６は、他の主要パラメータとの取り得る全ての組合せを用いて主要パラメータの各値を試験し、検証する（例えば、卵を１つの位置に持つが、他の向きを試験する）。段階８５２において、コンピュータ１６は、特定の主要パラメータセット組合せが信頼性の高い結果を生じるかどうかを決定するように構成される。結果の検証は、コンピュータ１６又は人間が行うことができる。決定が偽であった場合には、コンピュータ１６は段階８５６に進んで、まだ試験されていない他の主要パラメータ組合せが存在するかどうかを割り出す。段階８５８において、コンピュータ１６は、次のパラメータ組合せについての更に別の検査及び評価に向けて次のパラメータ組合せを策定する上で主要パラメータを１だけ増分する。段階８５２における決定が真であった場合には、コンピュータ１６は、段階８５４において好結果の主要パラメータ組合せセットを一時格納場所ライブラリに格納する。一時格納場所ライブラリは、１又は２以上の好結果の主要パラメータ組合せセット（最も好結果又は最適の試験を有するか、最も失敗の少なかった結果を有するかのどちらかの）を格納する。

段階８６２において、コンピュータ１６は、特定の好結果パラメータ組合せをＸ回（百回等）試験し、検証する。段階８６４において、コンピュータ１６は、特定の好結果パラメータ組合せの繰り返し試験中に失敗した結果の個数を計算する。段階８６６において、コンピュータ１６は、一時的ライブラリから次の１回好結果パラメータ組合せを選択し、このパラメータ組合せをＸ回試験するために、段階８６２にプロセスを戻す。更に別の１回好結果パラメータ組合せが残っていない場合には、段階８６８において、コンピュータ１６は、信頼性の高い（又は保証された）結果を生じる１又は２以上のパラメータ組合せセットの試験結果を格納する。１よりも多い信頼性の高いパラメータ組合せセットが存在する場合には、段階８７０において、コンピュータ１６は、最良又は最適なパラメータ組合せセットを決定し、特定の小規模操作に関連するこの最適パラメータ組合せセットをレシピの食品調製ステージの間の標準化ロボットキッチン５０内でのロボット装置７５による使用に向けて小規模操作ライブラリデータベースに格納する。

図２４は、小規模操作に対するタスクを作成するためのソフトウェアプロセスの一実施形態８８０を例示する流れ図である。段階８８２において、コンピュータ１６は、データベースライブラリに格納すべきロボット小規模ハンドマニピュレータによる特定のロボットタスク（例えば卵をナイフで割る段階）を定義する。コンピュータは、段階８８４において、各小規模段階において取り得る全ての異なる物体の向き（例えば、卵を持つ時の卵の向き）を識別し、段階８８６において、物体に対してキッチンツールを保持する（例えば卵に対してナイフを持つ）全ての異なる位置点を識別する。段階８８８において、コンピュータは、正しい（切断）移動プロファイル、圧力、及び速さで卵を持ってそれをナイフで割るために取り得る全ての手法を経験的に識別する。段階８９０において、コンピュータ１６は、卵を持ち、卵に対してナイフを位置決めする上で、卵を適正に割るための様々な組合せを定義する（例えば、物体の向き、位置、圧力、速さ等の最適なパラメータの組合せを見出す）。段階８９２において、コンピュータ１６は、全ての変化、相違点を試験する段階等の様々な組合せの信頼性を検証するための訓練及び試験プロセスを実施し、各小規模操作に対する信頼性が確実になるまでこのプロセスをＸ回繰り返す。段階８９４において、シェフ４９がある一定の食品調製タスク（例えば、卵をナイフで割る段階）を実施している時に、このタスクは、その一部として実施する小規模ハンド操作の一部の段階／タスクへと解釈される。段階８９６において、コンピュータ１６は、該当する特定のタスクに対する小規模操作の様々な組合せをデータベースライブラリに格納する。段階８１８において、コンピュータ１６は、あらゆる小規模操作に対して定義し、実施すべき更に別のタスクが存在するか否かを決定する。定義すべきあらゆる更に別のタスクが存在する場合には、プロセスは段階８８２に戻る。スタンドアローンキッチンモジュール及び統合ロボットキッチンモジュールを含むキッチンモジュールの様々な実施形態が可能である。統合ロボットキッチンモジュールは、典型的な家屋の従来のキッチン区域内に収められる。このロボットキッチンモジュールは、ロボットモード及び通常（手動）モードの少なくとも２つのモードで作動する。卵を割る段階は、小規模操作の一例である。更に小規模操作ライブラリデータベースは、フォークを用いて一枚の牛肉を正しい圧力を正しい方向に、形状に対する適正な深さ、及び肉の深さまで印加することによって把持する段階等の様々なタスクに適用される。段階９００において、コンピュータは、１又は２以上の小規模操作を各々が含む事前定義キッチンタスクのデータベースライブラリを組み合わせる。

図２５は、標準化ロボットキッチン内の標準化キッチンツール、標準化物体、標準化機材のライブラリを割り当てて利用するプロセス９２０を例示する流れ図である。段階９２２において、コンピュータ１６は、各キッチンツール、物体、又は機材／道具にその３次元の位置座標及び向き等のツール、物体、又は機材のパラメータを事前定義するコード（又はバーコード）を割り当てる。このプロセスは、標準化ロボットキッチン５０内の様々な要素を標準化し、これらの標準化要素は、標準化キッチン機材、標準化キッチンツール、標準化ナイフ、標準化フォーク、標準化容器、標準化平鍋、標準化器具、標準化タスク空間、標準化取り付け具、及びその他の標準化要素を含むが、これらに限定されない。段階９２４において、調理レシピにおけるプロセス－段階を実行する場合に、特定のレシピに対する食品調製プロセスに従って特定のキッチンツール、物体、機材、道具、又は器具にアクセスするように促された時に、ロボット調理エンジンは、該当するキッチンツール、物体、機材、道具、又は器具を得るように１又は２以上のロボットハンドに指示するように構成される。

図２６は、３次元モデル化及び推論によって非標準物体を識別するプロセス９２６を例示する流れ図である。段階９２８において、コンピュータ１６は、異なるサイズ、異なる寸法、及び／又は異なる重量を有する可能性がある食材等の非標準物体をセンサによって検出する。段階９３０において、コンピュータ１６は、形状、寸法、向き、及び位置の情報を取り込むための３次元モデル化センサ６６を用いて非標準物体を識別し、ロボットハンド７２は、適切な食品調製タスクを実施するために実時間調節を加える（例えば、ステーキを切断する又は取り上げる）。

図２７は、小規模操作の試験及び学習のためのプロセス９３２を例示する流れ図である。段階９３４において、コンピュータは、各調理操作（例えば、卵をナイフで割る段階）が解析され、分解され、動作プリミティブ又は小規模操作のシーケンスへと構築される食品調製タスク組成解析を実施する。一実施形態では、小規模操作は、食品料理を調製する際に特定の結果に向かって進む基本機能成果（例えば、卵が割られた又は野菜がスライスされた）を獲得する１又は２以上の動作プリミティブのシーケンスに関するものである。この実施形態では、小規模操作を極小の相互作用力しか必要とせず、ほぼロボット装置７５の使用のみを拠り所とする動作プリミティブシーケンスに関する低レベル小規模操作、又はかなりの量の相互作用及び相互作用力並びにその制御を必要とする動作プリミティブシーケンスに関する高レベル小規模操作として更に記述することができる。プロセスループ９３６は、小規模操作及び学習段階に主眼を置き、小規模操作の信頼性を確実にするために多数回（例えば１００回）繰り返される試験で構成される。段階９３８において、ロボット食品調製エンジン５６が、食品調製ステージ又は小規模操作を実施する全ての可能性の知識を評価するように構成され、この場合、各小規模操作は、向き、位置／速度、角度、力、圧力、及び特定の小規模操作との速さに関して試験される。小規模操作又は動作プリミティブは、ロボットハンド７２と標準物体とを含む又はロボットハンド７２と非標準物体とを含むことができる。段階９４０において、ロボット食品調製エンジン５６は、小規模操作を実行し、成果を上首尾と見なすことができるか、又は失敗と見なすことができるかを決定する。段階９４２において、コンピュータ１６は、小規模操作の失敗について自動解析及び推論を実施する。例えば、マルチモードセンサが、小規模操作の成功又は失敗についての感知フィードバックデータを供給することができる。段階９４４において、コンピュータ１６は、実時間調節を加えるように構成され、小規模操作実行プロセスのパラメータを調節する。段階９４６において、コンピュータ１６は、ロボット食品調製エンジン５６に対する学習機構としてパラメータ調節の成功又は失敗についての新しい情報を小規模操作ライブラリに追加する。

図２８は、ロボットアームに対する品質制御及び位置合わせ機能のためのプロセス９５０を例示する食品料理である。段階９５２において、ロボット食品調製エンジン５６は、入力モジュール５０を通じて人間シェフ再現ソフトウェアレシピファイル４６をロードする。例えば、ソフトウェアレシピファイル４６は、ミシュランの星を獲得したシェフＡｒｎｄＢｅｕｃｈｅｌの「ＷｉｅｎｅｒＳｃｈｎｉｔｚｅｌ」からの食品調製を再現するものである。段階９５４において、ロボット装置７５は、標準化機材を有する標準化キッチンモジュール内で同じレシピを調製する人間シェフの動作に基づいて格納された記録レシピデータと同一のペースにおける同一の圧力、力、及びｘｙｚ位置による胴体、ハンド、指に関するもの等の同一の移動を有するタスクを全ての移動／動き再現データを含む格納済みレシピスクリプトに基づいて実行する。段階９５６において、コンピュータ１６は、抽象化ソフトウェアに供給される生データを生成するマルチモードセンサを通じて食品調製プロセスを監視し、この場合、ロボット装置７５は、実世界出力を対照データに対してマルチモード感知データ（視覚、オーディオ、及びいずれかの他の感知フィードバック）に基づいて比較する。段階９５８において、コンピュータ１６は、対照データとマルチモード感知データとの間にあらゆる差が存在するかどうかを決定する。段階９６０において、コンピュータ１６は、マルチモード感知データが対照データから逸脱しているか否かを解析する。逸脱が存在する場合には、段階９６２において、コンピュータ１６は、ロボットアーム７０、ロボットハンド７２、又はその他の要素を再較正するように調節を加える。段階９６４において、ロボット食品調製エンジン１６は、１又は２以上のパラメータ値に加えられた調節を知識データベースに追加することによってプロセス９６４において学習するように構成される。段階９６４において、ロボット食品調製エンジン１６は、１又は２以上のパラメータ値に加えられた調節を知識データベースに追加することによってプロセス９６４において学習するように構成される。段階９６８において、コンピュータ１６は、補正されたプロセス、条件、及びパラメータに関係する更新済み改訂情報を知識データベースに格納する。段階９５８からの逸脱差が存在しない場合には、プロセス９５０は、段階９７０に直接進み、実行を終了する。

図２９は、標準化ロボットキッチン内での使用のための小規模操作物体のデータベースライブラリ構造の一実施形態９７２を例示する表である。データベースライブラリ構造９７２は、（１）小規模操作の名称、（２）小規模操作の割り当てコード、（３）小規模操作の実施に関連する標準化機材及び標準化ツールのコード、（４）操作対象（標準又は非標準）物体（食材及びツール）の初期の位置及び向き、（５）ユーザによって定義される（又は実行中に記録済みレシピから抽出される）パラメータ／変数、（６）時系列上のロボットハンド移動シーケンス（全てのサーボに対する制御信号）及び小規模操作の接続フィードバックパラメータ（あらゆるセンサ又はビデオ監視システムからの）を含む特定の小規模操作についての情報を入力し、格納するための一部のフィールドを示している。特定の小規模操作に対するパラメータは、複雑度と小規模操作を実施する必要がある物体とに依存して異なる可能性がある。この例では、標準化キッチンモジュールの空間領域内での開始ＸＹＺ位置座標、速度、物体サイズ、及び物体形状という４つのパラメータが識別される。物体サイズと物体形状との両方を非標準パラメータによって定義又は記述することができる。

図３０は、標準物体の３次元モデルを含む標準化ロボットキッチン５０内での使用のための標準物体のデータベースライブラリ構造９７４を例示する表である。標準物体データベースライブラリ構造９７４は、（１）物体の名称、（２）物体の画像、（３）物体に対する割り当てコード、（４）事前定義された好ましい分解能のＸＹＺ座標行列で物体の完全寸法を有する仮想３Ｄモデル、（５）物体の仮想ベクトルモデル（入手可能な場合）、（６）物体のタスク要素（操作に向けてハンド及びその他の物体と接触することができる要素）の定義及びマーク、（７）各特定の操作に対する物体の初期の標準の向きを含む標準物体に関係する情報を格納するための一部のフィールドを示している。電子ライブラリのサンプルデータベース構造９７４は、全体的標準化キッチンモジュール５０の一部である全ての標準物体（すなわち、全てのキッチン機材、キッチンツール、キッチン器具、容器）の３次元モデルを含む。標準物体の３次元モデルは、３次元カメラによって視覚的に取り込み、後続の使用に向けてデータベースライブラリ構造９７４に格納することができる。

図３１は、標準化ロボットキッチンによるレシピ再現プロセスの一部として食材の品質をチェックするための１又は２以上のセンサ６４２を有するロボットハンド６４０を用いることによるプロセス９８０の実行を描示している。起こり得る腐敗を示す変色を検出するために色検出及びスペクトル解析を用いるマルチモードセンサシステムビデオ感知要素がプロセス９８２を実施することができる。キッチン内に埋め込まれたものか、又はロボットハンドによって取り扱われる移動プローブの一部であるかに関わらず、アンモニア感応性センサシステムを同様に用いることで、腐敗に関する更に別の可能性を検出することができる。ロボットハンド及びロボット指内の更に別の触覚センサは、堅さ及び接触力に対する抵抗が測定される（偏位の量及び速度が圧縮距離の関数として）接触感知プロセス９８４を通じて食材の鮮度を検証することを可能にすることになる。例として魚では、えらの色（紅色）及び含水量が、透き通っていなければならない（曇っていない）目と同様に鮮度の指標であり、適正に解凍された魚の身の適正温度はカ氏４０度を超えてはならない。指先上の更に別の接触センサは、食材の温度、質感、及び総重量に関連する更に別の品質チェック９８６を触る動き、擦る動き、持つ／取り上げる動きを通じて実施することができる。これらの触覚センサ及びビデオ画像を通じて収集された全てのデータは、処理アルゴリズム内で食材の鮮度について決定を行い、それを使用するか、又は廃棄するかについての決定を行うために用いることができる。

図３２は、マルチモードセンサが装備されたヘッド２０と、食材及び道具を持つ多指ハンド７２を有する双アームとが調理用具９９０と対対話的操作を行うロボットレシピスクリプト再現プロセス９８８を描示している。マルチモードセンサユニットを有するロボットセンサヘッド２０は、両方のロボットアームによって作業されている３次元タスク空間を継続的にモデル化及び監視するために使用され、それと同時にツール及び道具、器具並びにその内容及び変数を識別して、これらを調理プロセスシーケンスが生成するレシピ段階と比較し、実行が、コンピュータに格納されたレシピに対するシーケンスデータに沿って進んでいることを確実にすることを可能にするために、タスク抽象化モジュールにデータも供給する。ロボットセンサヘッド２０内の更に別のセンサは、可聴ドメインに使用されて、調理プロセスの重要な部分の間に音を聞き、匂いを嗅ぐ。ロボットハンド７２及びその触覚センサは、例えばこの場合には卵であるそれぞれの食材を適正に取り扱うために使用され、指及び手掌内のセンサは、例えば、表面の質感並びに重量及びその分布によって使用可能な卵を検出し、それを割ることなく持ってその向きを定めることができる。多指ロボットハンド７２は、例えばこの場合にはボールである一定の調理用具を取り出して取り扱うこともでき、レシピスクリプト内に指定されている通りに食品食材を適正に処理するために（例えば、卵を割って卵黄を分離し、粘り成分が得られるまで卵白をかき混ぜる）、適正な動き及び力印加によって調理道具（この場合には泡立て器）を把持して取り扱う。

図３３は、必要な調理食材（例えば、肉、魚、鳥肉、貝、野菜等）のうちのいずれかを保管することができる食品ストレージ容器１００２に、それぞれの食材の鮮度を測定して監視するためのセンサが装備された食材ストレージシステムの概念１０００を描示している。食品ストレージ容器１００２内に埋め込まれる監視センサは、アンモニアセンサ１００４と、揮発性有機化合物センサ１００６、内部容器温度センサ１００８と、湿度センサ１０１０とを含むが、これらに限定されない。これに加えて、大きめの食材の空間領域の内部での主要測定（温度等）（例えば肉の内部温度）を可能にするために、人間シェフ又はロボットのアーム及びハンドのどちらによって使用されるかに関わらず、１又は２以上のセンサを有する手動プローブ（又は検出デバイス）１０１２を用いることができる。

図３４は、インターネット又はコンピュータネットワークを通じてクラウドコンピューティング又はコンピュータ上で食品鮮度に関するオンライン分析を行うために、センサ及び検出デバイス（例えば温度プローブ／針）を含む食品ストレージ容器１０４２内に入れられた食材に関する鮮度及び品質のチェックの一部として実施される測定及び解析プロセス１０４０を描示している。容器は、容器ＩＤを指定するメタデータタグ１０４４を用いて、温度データ１０４６、湿度データ１０４８、アンモニア濃度データ１０５０、揮発性有機化合物データ１０５２を含むデータセットを無線データネットワークを通じての通信段階１０５６を通じて主サーバに送り、主サーバにおいて食品品質制御エンジンが容器データを処理する。処理段階１０６０は、容器特定のデータ１０４４を用い、それをデータ取得及び格納プロセス１０５４によって媒体１０５８に格納され、そこから取得される受け入れ可能と考えられるデータの値及び範囲と比較する。続いてアルゴリズムセットが、食材の適合性に関して決定を行い、実時間食品品質解析結果をデータネットワークを通じての別個の通信プロセス１０６２によって供給する。続いて品質解析結果は、別のプロセス１０６４において利用され、そこでこれらの結果は、更に別の動作に向けてロボットアームに送られるか、又はユーザが、この食材を後の消費のための調理プロセスにおいて用いるべきか、又は腐敗物として廃棄すべきかを決定するように、画面（スマート電話又はその他のディスプレイ）上に遠隔表示することもできる。

図３５は、標準化ロボットキッチンであるか、又はシェフスタジオであるかに関わらず、標準化ロボットキッチン５０内での使用のための１又は２以上のプログラムディスペンサ制御部を有する事前充填食材容器１０７０の機能及びプロセス－段階を描示している。食材容器１０７０は、様々なサイズ１０８２及び種々の使用において設計され、特定のストレージ温度範囲を得るための冷蔵、冷凍、チルド等を用いて生鮮品目を収容する適正ストレージ環境１０８０に適する。これに加えて、事前充填食材ストレージ容器１０７０は、固体（塩、小麦粉、米等）食材、粘性／練物（マスタード、マヨネーズ、マジパン、ジャム等）食材、又は液体（水、油、牛乳、ジュース等）食材でラベル付け及び充填が事前に終了済みである容器を用いて様々なタイプの食材１０７２に適合するようにも設計され、この場合、分配プロセス１０７４は、食材のタイプに依存して種々の異なる付加デバイス（スポイト、シュート、蠕動投与ポンプ等）を利用し、投与量制御プロセス１０７６を実行する投与量制御エンジン１０８４を用いた正確なコンピュータ制御可能分配が適正な食材量が正しい時間に分配されることを確実にする。レシピ指定投与量は、メニューインタフェースを通じて、又は更に遠隔電話アプリケーションを通じて個人の好みの味又はダイエット（低ナトリウム等）に適合するように調節可能であることに注意されたい。投与量決定プロセス１０７８は、レシピ内に指定された量に基づいて投与量制御エンジン１０８４によって実施され、分配段階は、手動放出指令又はディスペンサの出口点にある一定の分配容器の検出に基づく遠隔コンピュータ制御のどちらかによって行われる。

図３６は、標準化ロボットキッチン５０内での食品調製のためのレシピシ構造及びプロセス１０９０を例示するブロック図である。食品調製プロセス１０９０を調理時系列に沿う複数のステージに分割して示しており、各ステージは、各々の段１０９２、段１０９４、段１０９６、及び段１０９８に対する１又は２以上の生データブロックを有する。データブロックは、ビデオ画像、オーディオ録音、テキスト記述、並びに制御プログラムの一部を形式する機械可読かつ機械理解可能な命令セット及び指令等の要素を含むことができる。生データセットは、レシピ構造内に含まれ、レシピ再現プロセスの開始から調理プロセスの終了に至るまでの全プロセス、又はその中のあらゆる部分プロセスにおいて様々な時間間隔レベル及び時間シーケンスレベルを有する多くの時間順序付きステージに分割された時系列に沿った各調理ステージを表す。

図３７Ａ～図３７Ｃは、標準化ロボットキッチン内での使用のためのレシピ検索メニューを例示するブロック図である。図３７Ａに示しているように、レシピ検索メニュー１１１０は、食事様式のタイプ（例えば、イタリア料理、フランス料理、中華料理）、料理の食材のベース（例えば、魚、豚肉、牛肉、パスタ）等の最も人気のカテゴリ、又は調理時間範囲（例えば、６０分よりも書短い、２０分と４０分との間）等の基準及び範囲、並びにキーワード検索実施（例えば、ｒｉｃｏｔｔａｃａｖａｔｅｌｌｉ、ｍｉｇｌｉａｃｃｉｏｃａｋｅ）を提示する。選択された個人特化レシピは、ユーザが、自分が控えることができるアレルギー性食材を、ユーザによって又は別の供給源から定義することができる個人的ユーザプロファイル内に示すことができるアレルギー性食材を有するレシピを除外することができる。図３７Ｂでは、ユーザは、調理時間が４４分よりも短いこと、７人に十分な分量を配膳すること、ベジタリアン料理のオプションを提示すること、この図に示しているように４５２１又はそれ未満の合計カロリーしか持たないことからなる要件を含む検索基準を選択することができる。図３７Ｃでは、様々なタイプの料理１１１２が示されており、この場合、メニュー１１１０は、ユーザが、カテゴリ（例えば料理のタイプ）１１１２を選択することができ、続いて選択を絞り込むために、このカテゴリが次の下位カテゴリ（例えば、アペタイザー、サラダ、アントレー…）へと拡張するような階層レベルを有する。実施されるレシピ作成及び提出のスクリーンショットを図３７Ｄに例示している。食材のタイプを描示する別のスクリーンショットを図３７Ｅに示している。

レシピフィルタ、食材フィルタ、機材フィルタ、アカウント及びソーシャルネットワークアクセス、個人的提携者ページ、ショッピングカートページ、及び購入済みレシピ、登録設定、レシピ作成についての情報として機能する流れ図の一実施形態をロボット食品調製ソフトウェア１４が、データベースのフィルタ処理に基づいて実施し、情報をユーザに提示することができる様々な機能を例示する図３７Ｆから図３７Ｏに例示している。図３７Ｆに明示しているように、プラットフォームユーザは、レシピセクションにアクセスし、自動ロボット調理に向けて望ましいレシピフィルタ１１３０を選定することができる。最も一般的なフィルタタイプは、食事様式のタイプ（例えば、中華料理、フランス料理、イタリア料理）、調理のタイプ（例えば、オーブン焼き、蒸し、揚げ）、ベジタリアン料理、及び糖尿病食を含む。ユーザは、フィルタ処理された検索結果から、説明、写真、食材、価格、及び評価等のレシピ詳細内容を閲覧することができることになる。図３７Ｇでは、ユーザは、自分用に、有機、食材のタイプ、又は食材のブランド等の望ましい食材フィルタ１１３２を選ぶことができる。図３７Ｇでは、ユーザは、自動ロボットキッチンモジュールに対して、機材のタイプ、ブランド、及び製造者等の機材フィルタ１１３４を適用することができる。選択後に、ユーザは、レシピ、食材、又は機材を関連の販売者からのシステムポータルを通じて直接購入することができることになる。このプラットフォームは、ユーザが自分用の更に別のフィルタ及びパラメータを作成することを可能にし、それによってシステム全体がカスタム化可能で常時更新されるものになる。ユーザ追加フィルタ及びパラメータは、調整者による承認の後にシステムフィルタとして現れることになる。

図３７Ｈでは、ユーザは、他のユーザ及び販売者にプラットフォームのソーシャル職業者ネットワークを通じてユーザアカウント１１４０にログインすることによって接続することができる。ネットワークユーザの身元は、場合によってクレジットカード及び住所の詳細を通じて検証される。アカウントポータルは、ユーザが自分のレシピを共有又は販売するため、並びに他のユーザに広告するための取引プラットフォームとしての役割も果たす。ユーザは、自分のアカウント財源及び機材を同様にアカウントポータルを通じて管理することができる。

プラットフォームのユーザ間の提携の例を図３７Ｊに明示している。１人のユーザは、食材に関する全ての情報及び詳細を提供することができ、別のユーザは、同じことを自分の機材に関せ行う。全ての情報は、プラットフォーム／ウェブサイトデータベースに追加される前に調整者を通じてフィルタ処理されなければならない。図３７Ｋでは、ユーザは、ショッピングカート１１４２内の自分の購入品についての情報を確認することができる。配達及び支払い方法等の他のオプションを変更することもできる。ユーザは、自分のショッピングカート内のレシピに基づいて更に別の食材又は機材を購入することもできる。

図３７Ｌは、レシピページ１１４４からアクセスすることができる購入済みレシピについての他の情報を示している。ユーザは、どのように調理するのかを読み、聞き、見ることができ、これに加えて自動ロボット調理を実行することができる。レシピに関する販売者又は技術サポートとの通信もレシピページから可能である。

図３７Ｍは、「マイアカウント」ページ１１３６からと設定ページ１１３８からとの異なるプラットフォーム層を例示するブロック図である。「マイアカウント」ページからは、ユーザは、職業者の調理ニュース又はブログを読むことができることになり、記事を書いて公開することができる。図３７Ｎに示しているように、「マイアカウント」下のレシピページを通じて、ユーザが独自のレシピ１１４６を作成することができる複数の手法が存在する。ユーザは、シェフ調理の移動を取り込むこと、又はソフトウェアライブラリから操作シーケンスを選ぶことのどちらかによって自動ロボット調理スクリプトを作成することによってレシピを作成することができる。ユーザは、単純に食材／機材を列挙し、続いてオーディオ、ビデオ、又は画像を追加することによってレシピを作成することもできる。ユーザは、レシピページからの全てのレシピを編集することができる。

図３８は、標準化ロボットキッチン内での使用のためのフィールドを選択することによるレシピ検索メニュー１１５０を例示するブロック図である。検索基準又は範囲によってカテゴリを選択することによって、ユーザ６０は、様々なレシピ結果を列記する戻りページを受信する。ユーザ６０は、これらの結果をソートすることができ、このソートをユーザの評価（例えば高いから低い）、職業者の評価（例えば高から低い）、又は食品調製の所要時間（例えば短いから長い）等の基準によって行うことができる。コンピュータディスプレイは、レシピの写真／メディア、題名、説明、評価、及び価格情報、更にレシピについての追加の情報を閲覧するための完全なレシピページを表示する「続きを読む」ボタンの任意的タブを含むことができる。

図３９の標準化ロボットキッチン５０は、マルチモード３次元センサ２０の一実施形態を表す拡張センサシステム１１５２の使用に向けて取り得る構成を描示している。拡張センサシステム１１５２は、標準化キッチンの完全な目視可能３次元タスク空間を効果的に網羅する目論みでキッチン軸の長さを移動する可動コンピュータ制御可能直線レール上に配置された単一の拡張センサシステム１８５４を示している。標準化ロボットキッチン５０は、その完全な目視可能３次元タスク空間を効果的に網羅する目論みでキッチン軸の長さを移動する可動コンピュータ制御可能直線レール上に配置された単一の拡張センサシステム２０を示している。

コンピュータ制御可能レール上、又はアームとハンドとを有するロボットの胴体上等のロボットキッチン内のあらゆる場所に配置された拡張センサシステム１１５２の適正な配置に基づいて、機械特定のレシピスクリプト生成のためのシェフ監視の最中と、標準化ロボットキッチン５０内での料理再現ステージにおいてロボット実行段階の進行及び上首尾の終了を監視する最中との両方において３Ｄ追跡と生データ生成とが可能になる。

図４０は、食品調製環境の実時間３次元モデル化１１６０に向けて複数のカメラセンサ及び／又はレーザ２０を有する標準化キッチンモジュール５０を例示するブロック図である。ロボットキッチン調理システム４８は、コンピュータがキッチン作動環境の３次元モデルを作成するための実時間生データを供給することができる３次元電子センサを含む。実時間３次元モデル化の１つの可能な実装は、３次元レーザ走査の使用を含む。実時間３次元モデル化の別の実装は、１又は２以上のビデオカメラを用いることである。更に別の第３の方法は、カメラによって観察される投影光パターンの使用、いわゆる構造光撮像を含む。３次元電子センサは、キッチン作動環境を実時間で走査して、キッチンモジュール内のタスク空間の視覚表現（形状及び寸法のデータ）１１６２を与える。例えば、３次元電子センサは、ロボットアーム／ハンドが肉又は魚を取り上げたか否かの３次元画像を実時間で取り込む。一部の物体は非標準の寸法を有する可能性があるので、キッチンの３次元モデルは、物体を把持する上で調節を行うための一種の「人間の目」としての役割も果たす。コンピュータ処理システム１６は、タスク空間内の３次元の幾何学形状、ロボット運動、及び物体のコンピュータモデルを生成し、標準化ロボットキッチン５０に制御信号１１６４を供給し返す。例えば、キッチンの３次元モデル化は、格子点の間に１センチメートル間隔等の望ましい間隔を有する３次元解像度格子を与えることができる。

標準化ロボットキッチン５０は、１又は２以上の拡張センサシステム２０の使用に向けて取り得る別の構成を描示している。標準化ロボットキッチン５０は、その完全な目視可能３次元タスク空間を効果的に網羅する目論みでキッチン軸の長さに沿ってキッチンタスク面の上方のコーナに配置された複数の拡張センサシステム２０を示している。

ロボットアーム、ロボットハンド、ツール、機材、及び器具は、標準化ロボットキッチン５０内での料理再現の複数の逐次ステージにおいて様々な段階に関連するので、標準化ロボットキッチン５０内の拡張センサシステム２０の適正配置によって、ビデオカメラ、レーザ、ソナー、並びにその他の２次元及び３次元のセンサシステムを用いた３次元感知が、ロボットアーム、ロボットハンド、ツール、機材、及び器具に関する形状、場所、向き、及び活動の実時間動的モデルに関する処理済みデータの作成に生データ集合が役立つことができるようにすることが可能になる。

生データは、段階１１６２において、標準化ロボットキッチン５０内での料理再現の複数の逐次ステージにおける様々な段階にとって重要な全ての物体の形状、寸法、場所、及び向きを抽出することができるように生データを処理することを可能にする各時点において収集される。処理済みデータは、標準化ロボットキッチンのコントローラが、ロボットスクリプトによって定義された制御信号を修正することによってロボットのアーム及びハンドの軌道及び小規模操作を調節することを可能にするようにコンピュータシステムによって更に解析される。多くの変数（食材、温度等）における変動性の可能性を考慮すると、レシピスクリプト実行、従って制御信号に対する調整は、特定の料理に対する各再現段を首尾良く終了する上で極めて重要である。主要な測定可能変数に基づくレシピスクリプト実行プロセスは、標準化ロボットキッチン５０内での特定の料理に対する再現段階の実行中の拡張（マルチモードとも表現する）センサシステム２０の使用の極めて重要な部分である。

図４１Ａは、ロボットキッチンプロトタイプを例示する図である。プロトタイプキッチンは、３つのレベルを備え、上段レベルは、ロボットモード中に食品調製のために沿って動く１対のアームを有するレールシステム１１７０を含む。引き出し可能フード１１７２は、２つのロボットアームを充電ドックに戻し、調理に使用されない時又はキッチンが手動モードにおいて手動調理モードに設定された時にこれらのロボットアームを保管することを可能にするためにアクセス可能である。中段レベルは、シンクと、コンロと、網焼き器と、オーブンと、食材ストレージへのアクセスを有するタスクカウンター台とを含む。更に中段レベルは、機材を作動させ、レシピを選び、ビデオ及びテキスト命令を見て、オーディオ命令を聞くためのコンピュータモニタを有する。下段レベルは、レシピによって必要とされる食材を調理空間領域に自動的に送達する実施可能性を有する食品／食材をその最良の状態で保管するための自動容器システムを含む。更にキッチンプロトタイプは、オーブンと、皿洗い機と、調理ツールと、補助用品と、調理用具整理具と、引き出し、及びリサイクルビンを含む。

図４１Ｂは、ロボット調理プロセスが発生している間に周囲の人間に潜在的な傷害を引き起こすことを防止するために、保護機構としての役割を果たす透明材料の囲い１１８０を有するロボットキッチンプロトタイプを例示する図である。透明材料の囲いは、人々等のロボットキッチン５０の外側の外部要因からロボットのアーム及びハンドの作動を保護するための保護スクリーンを与えるためにガラス、繊維ガラス、プラスチック、又はいずれかの他の適切な材料等の様々な透明材料から作製することができる。一例では、透明材料の囲いは、１つの自動ガラスドア（又は複数のドア）を含む。この実施形態に示しているように、自動ガラスドアは、ロボットアームの使用を伴う調理プロセス中に安全性の理由から上から下へ、又は下から上へと（底面区分から）スライドして閉まるように位置決めされる。垂直にスライドして下がる、垂直にスライドして上がる、水平に左から右へ、水平に右から左へ、又は透明材料の囲いがキッチン内で保護機構としての役割を果たすことを可能にするいずれかの他の方法等の透明材料の囲いの設計の変形が可能である。

図４１Ｃは、カウンター台面とフードの下側とによって規定される空間領域が、キッチンの近くに立っているあらゆる人間を守るか、キッチンタスク区域の内／外への汚染を制限するか、又は更に囲まれた空間領域の内部でより良好な空調を可能にするといった目的でロボットアーム／ハンドのタスク空間をその周囲から分離するために、手動で又はコンピュータ制御下で左又は右に動かすことができる水平スライドガラスドア１１９０を有する標準化ロボットキッチンの実施形態を描示している。自動スライドガラスドアは、ロボットアームの使用を伴う調理プロセス中に安全性の理由から左右にスライドして閉まる。

図４１Ｄは、カウンター台又はタスク面が、ロボットキッチンカウンター底面収納庫空間領域内の食材ストレージ空間領域へのスライドドア１２００によるアクセスを有する区域を含む標準化ロボットキッチンの実施形態を描示している。これらのドアは、手動で又はコンピュータ制御下でスライドさせて開けることができ、その中の食材容器へのアクセスを可能にする。手動又はコンピュータ制御下のどちらかで、１又は２以上の特定の容器を食材ストレージ及び供給ユニットによってカウンター台レベルに供給することができ、それによって容器、その蓋、従って容器の中身への手動アクセス（この描示ではロボットアーム／ハンドによるアクセス）が可能になる。続いてロボットアーム／ハンドは、蓋を開け、必要に応じて食材を取得し、この食材を適切な場所（プレート、平鍋、深鍋等）に置くことができ、その後、容器を密閉して食材ストレージ及び供給ユニット上、又はその中に置き戻す。続いて食材ストレージ及び供給ユニットは、後の再使用、清掃、又は再保存に向けて容器をユニットの内部の適切な場所に置き戻す。ロボットアーム／ハンドによるアクセスに向けて食材容器を供給し、再度積み重ねるこのプロセスは、レシピ再現プロセスの内部のある一定の段階が、標準化ロボットキッチン５０が係わる可能性があるレシピスクリプト実行のステージに基づいてある一定のタイプの１又は２以上の食材を要請するので、レシピスクリプトの一部を形成する一体的かつ反復的なプロセスである。

食材ストレージ及び供給ユニットにアクセスするために、カウンター台のうちでスライドドアを有する部分を開けることができ、この場合、レシピソフトウェアがドアを制御し、ロボットアームが指定の容器を取り上げ、蓋を開け、容器から食材を指定の場所に分配し、蓋を閉め直し、容器をストレージ内に移し戻すことができるアクセス場所にこの容器を移動する。容器は、アクセス場所からストレージユニット内のデフォルトの場所に移し戻され、続いて新しい／次の容器品目が、取り上げられるアクセス場所へと積み出される。

食材ストレージ及び供給ユニットの代替実施形態１２１０を図４１Ｅに描示している。特定の食材又は繰り返し使用される食材（塩、砂糖、小麦粉、油等）をコンピュータ制御式供給機構を用いて取り出すことができるか、又は人間又はロボットのどちらのハンド又は指であるかに関わらず、ハンドトリガによる指定量の特定の食材の放出が可能にされる。分配すべき食材量は、タッチパネル上で人間又はロボットのハンドが手動で入力することができるか、又はコンピュータ制御によって与えることができる。分配された食材は、続いて集めることができるか、又はレシピ再現プロセス中のあらゆる時点でキッチン機材（ボール、平鍋、深鍋等）に供給することができる。食材供給及び分配システムのこの実施形態は、よりコスト効率的かつ空間効率的な手法と考えることができ、それと同時に容器取扱の複雑さ並びにロボットアーム／ハンドによる無駄な動き時間も低減する。

図４１Ｆでは、標準化ロボットキッチンの実施形態は、手動モードでキッチンを操作する人間がロボットキッチン及びその要素と対話的操作を行うことを可能にするためにタッチ画面区域を有する仮想モニタ／ディスプレイが装着された油はね防止板区域を含む。コンピュータ投影画像及びこの投影区域を監視する別個のカメラ監視は、特定の選定を行う時に人間の手及びその指が何処に位置付けられるかを投影画像内の場所に基づいて通知することができ、それを受けてシステムは、この通知に従って動作する。仮想タッチ画面は、レシピの取得及び格納、人間シェフによる完全又は部分的なレシピ実行段階の格納済みビデオを見直すこと、並びに特定のレシピにおける特定の段階又は操作に関連する説明及び指示を発話する人間シェフの可聴再生を聞くことといった標準化ロボットキッチン５０の内部の機材の全ての態様に関する全ての制御機能及び監視機能へのアクセスを可能にする。

図４１Ｇは、標準化ロボットキッチン内に組み込まれた単一又は一連のロボットハード自動化デバイス１２３０を描示している。この単一又は複数のデバイスは、コンピュータによって遠隔プログラマブル及び遠隔制御可能であり、レシピ再現プロセスにおいて必要とされる、香辛料（塩、胡椒等）、液体（水、油等）、又はその他の乾燥食材（小麦粉、砂糖、ベーキングパウダー等）等の特化された食材要素を事前パッケージ化又は事前測定された量だけ供給又は付与するように設計される。これらのロボット自動化デバイス１２３０は、ロボットアーム／ハンド又は人間シェフのアーム／ハンドによって使用されて、レシピスクリプト内に指定されている必要性に基づいて選定された食材の決まった量の放出を設定及び／又はトリガすることを可能にするように、ロボットアーム／ハンドに対して容易にアクセス可能であるように位置付けられる。

図４１Ｈは、標準化ロボットキッチン内に組み込まれた単一又は一連のロボットハード自動化デバイス１２４０を描示している。この単一又は複数のデバイスは、コンピュータによって遠隔プログラマブル及び遠隔制御可能であり、レシピ再現プロセスにおいて必要とされる繰り返し使用される共通の食材要素を事前パッケージ化又は事前測定された量だけ供給又は付与するように設計され、この場合、投与量制御エンジン／システムは、ボール、深鍋、又は平鍋等の特定の機材に厳密に適正な量を付与するように設計される。これらのロボット自動化デバイス１２４０は、ロボットアーム／ハンド又は人間シェフのアーム／ハンドによって使用されて、レシピスクリプト内に指定されている必要性に基づく選定食材の投与量エンジン制御量の放出を設定及び／又はトリガすることを可能にするように、ロボットアーム／ハンドに対して容易にアクセス可能であるように位置付けられる。食材供給及び分配システムのこの実施形態は、よりコスト効率的かつ空間効率的な手法と考えることができ、それと同時に容器取扱の複雑さ並びにロボットアーム／ハンドによる無駄な動き時間も低減する。

図４１Ｉは、自動化調理プロセス中に煙霧及び蒸気を抽出するための換気システム１２５０と、有害な煙及び危険な災のあらゆる発生源を消失させ、更にスライドドアの安全ガラスが標準化ロボットキッチン５０を囲んで影響を受ける空間を封じ込めることを可能にする自動煙／炎検出及び抑制システム１２５２との両方が装備された標準化ロボットキッチンを描示している。

図４１Ｊは、臭気が標準化ロボットキッチン５０内に漏れ出るのを抑えるための気密封止を可能にする封止要素（ガスケット、ｏ－リング等）を含む着脱可能蓋付きごみ容器セットを用いて、リサイクル可能品目（ガラス、アルミニウム等）及びリサイクル不能品目（残飯等）の容易で迅速な廃棄を可能にするように、下の収納庫内の場所に位置付けられた廃棄物管理システム１２６０を有する標準化ロボットキッチン５０を描示している。

図４１Ｋは、ロボットによる装荷及び装脱のし易さに向けてキッチン内のある一定の場所に位置付けられた上部装荷皿洗い機１２７０を有する標準化ロボットキッチン５０を描示している。この皿洗い機は、自動化レシピ再現段階実行中に、組み込み排水溝付きのまな板又はタスク空間として用いることもできる封止蓋を含む。

図４１Ｌは、センサ及び食品プローブを有する計装パネルで構成された計装食材品質チェックシステム１２８０を有する標準化キッチンを描示している。この区域は、そ内に置かれた食材の複数の物理特性及び化学特性を検出することができるセンサを油はね防止板上に含み、これらの特性は、腐敗（アンモニアセンサ）、温度（熱電対）、揮発性有機化合物（バイオマス分解時に放出される）、並びに湿気／湿度（湿度計）成分を含むが、これらに限定されない。特定の調理食材又は調理要素の内部の性質（赤肉、鳥肉等の内部温度）を調べるために、ロボットアーム／ハンドによって使用される温度センサ（熱電対）検出デバイスを用いる食品プローブを存在させることもできる。

図４２Ａは、標準化ロボットキッチン５０の一実施形態を平面図１２９０に描示しており、その中にある要素は、異なるレイアウトで配列することができることを理解されたい。標準化ロボットキッチン５０は、３つのレベル、すなわち、上段レベル１２９２－１と、カウンターレベル１２９２－２と、下段レベル１２９２－３とに分割される。

上段レベル１２９２－１は、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫タイプモジュールを含む。最も簡単なレベルでは、棚／収納庫ストレージ区域１２９４には、調理ツール、道具、及びその他の調理用具及配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば、果物、野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ収納庫空間領域１３０２と、その他の食材及び滅多に用いない香辛料のための別のパントリーゾーン１３０４と、ハード自動化食材供給器１３０５と、その他のものとが含まれる。

カウンターレベル１２９２－２は、ロボットアーム７０を収容するだけでなく、配膳カウンター１３０６と、シンクを有するカウンター区域１３０８と、着脱可能タスク面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを含む。

下段レベル１２９２－３は、対流オーブンと電子レンジとの組合せ１３１６と、皿洗い機１３１８と、更に別の頻用調理用具及びオーブン焼き用具、並びに食卓用具、梱包材料、及び刃物類を維持及び保管する大きめの収納庫空間領域１３２０とを収容する。

図４２Ｂは、標準化ロボットキッチン内におけるロボットアーム３４の位置決めに関する適正な幾何学的基準を可能にするためにｘ軸１３２２、ｙ軸１３２４、ｚ軸１３２６を有するｘｙｚ座標系内に上段レベル１２９２－１、カウンターレベル１２９２－２、及び下段レベル１２９４－３の場所を描示する標準化ロボットキッチンの斜視図５０を描示している。

ロボットキッチンの斜視図５０は、上段レベル（ストレージパントリー１３０４、標準化調理ツール及び標準化調理用具１３２０、ストレージ熟成ゾーン１２９８、チルドストレージゾーン１３００、及び冷凍ストレージゾーン１３０２）と、カウンターレベル１２９２－２（ロボットアーム７０、シンク１３０８、まな板区域１３１０、炭火グリル１３１２、調理器具１３１４、及び配膳カウンター１３０６）と、下段レベル（皿洗い機１３１８並びにオーブン及び電子レンジ１３１６）とを含む３つ全てのレベルにおいて考えられる機材に関する多くのレイアウト及び場所のうちの１つを明確に示している。

図４３Ａは、ユーザが機材を作動させ、レシピを選び、ビデオを見て、録音されたシェフの指示を聞くための組み込みモニタ１３３２、並びにロボットアームの作動中に標準化ロボット調理空間領域の開放面を囲むための自動コンピュータ制御式（又は手動作動式）左／右可動透明ドア１３３０を描示するかなり直線的で実質的に長方形の水平レイアウト内にキッチンが組み込まれた標準化ロボットキッチンレイアウトの１つの可能な物理的実施形態の平面図を描示している。

図４３Ｂは、ユーザが機材を作動させ、レシピを選び、ビデオを見て、録音されたシェフの指示を聞くための組み込みモニタ１３３２、並びにロボットアームの作動中に標準化ロボット調理空間領域の開放面を囲むための自動コンピュータ制御式左／右可動透明ドア１３３０を描示するかなり直線的で実質的に長方形の水平レイアウト内にキッチンが組み込まれた標準化ロボットキッチンレイアウトの１つの物理的実施形態の斜視図を描示している。

図４４Ａは、ユーザが機材を作動させ、レシピを選び、ビデオを見て、録音されたシェフの指示を聞くための組み込みモニタ１３３６、並びにロボットのアーム及びハンドの作動中に標準化ロボット調理空間領域の開放面を囲むための自動コンピュータ制御式上／下可動透明ドア１３３８を描示するかなり直線的で実質的に長方形の水平レイアウト内にキッチンが組み込まれた標準化ロボットキッチンレイアウトの別の物理的実施形態の平面図を描示している。又は、可動透明ドア１３３８は、水平左右方向に動くようにコンピュータ制御することができ、この移動はセンサによって自動的に又は人間によるタブ又はボタンの押下によって発生する、又は音声始動することができる。

図４４Ｂは、ユーザが機材を作動させ、レシピを選び、ビデオを見て、録音されたシェフの指示を聞くための組み込みモニタ１３４０、並びにロボットアームの作動中に標準化ロボット調理空間領域の開放面を囲むための自動コンピュータ制御式上／下可動透明ドア１３４２を描示するかなり直線的で実質的に長方形の水平レイアウト内にキッチンが組み込まれた標準化ロボットキッチンレイアウトの１つの可能な物理的実施形態の斜視図を描示している。

図４５は、１対のロボットアーム、ロボット手首、及びロボット多指ハンドが、直動的（直線的な段階的延長で）かつ伸縮自在に作動される胴体上の単一体として垂直ｙ軸１３５１と水平ｘ軸１３５２に沿って移動し、これに加えて自体の胴体の中心線を通って延びる垂直ｙ軸の回りで回転移動する標準化ロボットキッチン５０内の伸縮自在ライフ（ｌｉｆｅ）１３５０の斜視レイアウト図を描示している。レシピスクリプト内に明記されているレシピ再現の全ての部分の間にロボットアーム７２及びロボットハンド７０を標準化ロボットキッチン内の様々な場所に動かすことを可能にするために、これらの直線動き及び回転動きを可能にする１又は２以上のアクチュエータ１３５３が、胴体内の上位レベルに埋め込まれる。人間シェフによって調理される場合の料理の作成中にシェフスタジオキッチン環境内で観察される人間シェフ４９の動きを適正に再現することができるためには、これらの複数の動きが必要である。伸縮自在アクチュエータ１３５０上で左／右並進移動台の基部にあるパン（回転）アクチュエータ１３５４は、器用度の理由又はさもなければ単一の平面内の調理に限定されることになるという向きの理由からシェフが自分の肩又は胴体を回すのと同様に、ロボットアーム７０の少なくとも部分的な回転を可能にする。

図４６Ａは、キッチンが、手首と多指ハンドとの有する双ロボットアームセットを描示するかなり直線的で実質的に長方形の水平レイアウト内に組み込まれ、アームベースの各々が可動レールセット上にも回転可能胴体上にも装着されず、代わりにロボットキッチンの垂直表面のうちの１つの同じものの上に移動不能に装着され、それによってロボット胴体の場所及び寸法が定義されて固定されるが、なおも両方のロボットアームが共同して作業し、調理表面及び機材の全ての区域に到達することが可能になる標準化ロボットキッチンモジュール５０の１つの物理的実施形態１３５６の平面図を描示している。

図４６Ｂは、キッチンが、手首と多指ハンドとの有する双ロボットアームセットを描示するかなり直線的で実質的に長方形の水平レイアウト内に組み込まれ、アームベースの各々が可動レールセット上にも回転可能胴体上にも装着されず、代わりにロボットキッチンの垂直表面のうちの１つの同じものの上に移動不能に装着され、それによってロボット胴体の場所及び寸法が定義されて固定されるが、なおも両方のロボットアームが共同して作業し、調理表面及び機材（後壁上のオーブン、ロボットアームの下にある調理台、及びロボットアームの片側にあるシンク）の全ての区域に到達することが可能になる標準化ロボットキッチンレイアウトの１つの物理的実施形態１３５８の斜視図を描示している。

図４６Ｃは、標準化ロボットキッチンのｙ軸に沿う高さ及びｘ軸に沿う幅が全体として２２８４ｍｍであることを示す標準化ロボットキッチンの１つの可能な物理的実施形態１３６０の寸法付き正面図を描示している。図４６Ｄは、標準化ロボットキッチン５０のｙ軸に沿う高さがそれぞれ２１６４ｍｍ及び３４１５ｍｍであることを示す標準化ロボットキッチン５０の一例としての１つの物理的実施形態１３６２の寸法付き側断面図を描示している。この実施形態は本発明の開示を限定するのではなく、１つの例示的実施形態を提示するものである。図４６Ｅは、標準化ロボットキッチンのｙ軸に沿う高さ及びｚ軸に沿う奥行きがそれぞれ２２８４ｍｍ及び１５０４ｍｍであることを示す標準化ロボットキッチンの１つの物理的実施形態１３６４の寸法付き側面図を描示している。図４６Ｆは、ｚ軸に沿う全体のロボットキッチンモジュール奥行きが全体として１５０４ｍｍであることを示す１対のロボットアーム１３６８を含む標準化ロボットキッチンの１つの物理的実施形態１３６６の寸法付き上断面図を描示している。図４６Ｇは、ｘ軸に沿う全長が３４１５ｍｍであり、ｙ軸に沿う全高が２１６４ｍｍであり、ｚ軸に沿う全奥行きが１５０４ｍｍであり、側断面図における全高が２２８４ｍｍのｚ軸全高を示している、標準化ロボットキッチンの別の例としての１つの物理的実施形態の３つの図に断面図を付け加えたものを描示している。

図４７は、標準化ロボットキッチン５０との併用のためのプログラマブルストレージシステム８８を例示するブロック図である。プログラマブルストレージシステム８８は、標準化ロボットキッチン５０内において、プログラマブルストレージシステム８８の内部の相対ｘｙ位置座標に基づいて構造化される。この例では、プログラマブルストレージシステム８８は、９つの列と３つの行とを有する２７カ所（９×３行列で配列された２７カ所）のストレージ場所を有する。プログラマブルストレージシステム８８は、冷凍場所又は冷蔵場所としての役割を果たすことができる。この実施形態では、２７カ所のプログラマブルストレージ場所の各々は、圧力センサ１３７０、湿度センサ１３７２、温度センサ１３７４、及び匂い（嗅覚）センサ１３７６という４タイプのセンサを含む。各ストレージ場所がｘｙ座標によって認識可能であることで、ロボット装置７５は、選択されたプログラマブルストレージ場所にアクセスして、この場所で料理を調製するために必要な食品品目を得ることができる。コンピュータ１６は、適正な温度プロファイル、適正な湿度プロファイル、適正な圧力プロファイル、及び適正な匂いプロファイルに関して各プログラマブルストレージ場所を監視することもでき、特定の食品品目又は食材に対して最適なストレージ状態が監視されて維持されることを確実にする。

図４８は、温度、湿度、及び相対酸素含有量（並びに他の部屋の状態）をコンピュータによって監視して制御することができる容器ストレージステーション８６の立面図を描示している。このストレージ容器ユニット内には、パントリー／乾燥ストレージ区域１３０４、別個に制御可能な温度と湿度（果物／野菜のための）とを有するワインにとって重要な熟成区域１２９８、農産物／果物／肉のための有効保存寿命を最適化するような低めの温度ストレージのためのチルドユニット１３００、その他の品目（肉、焼成製品、海産食品、アイスクリーム等）の長期ストレージのための冷凍ユニット１３０２を含むことができるが、これらに限定されない。

図４９は、人間シェフ並びにロボットアーム及び多指ハンドによってアクセスされることになる食材容器１３００の立面図を描示している。標準化ロボットキッチンのこの区分は、食材品質監視ダッシュボード（ディスプレイ）１３８２と、バーコードスキャナ、カメラ、及び計量器を含むコンピュータ処理測定ユニット１３８４と、食材の入庫及び出庫に関する自動のラック－棚を有する別個のカウンター台１３８６と、リサイクル可能な金物（ガラス、アルミニウム、金属等）及びリサイクルに適する軟質の物（食べ残し及び残飯）の廃棄のためのリサイクルユニット１３８８とを含む複数のユニットを含むが、必ずしもこれらに限定されない。

図５０は、人間シェフによる使用のためのコンピュータ制御式ディスプレイである食材品質監視ダッシュボード１３９０を描示している。このディスプレイは、ユーザが人間及びロボットの調理の食材供給及び食材品質の態様にとって重要な複数の項目を閲覧することを可能にする。これらの項目は、どのようなものが利用可能であるかを略示する食材在庫概況１３９２と、選択された個別食材、その栄養成分、及び相対的分布１３９４と、ストレージカテゴリ（肉、野菜等）の関数としての量及び専用ストレージ１３９６と、迫り来る消費期限、補充／補填日、及び項目を描示するスケジュール１３９８と、あらゆるタイプの警報（感知された腐敗、異常温度、又は機能不良等）のための区域１４００と、人間のユーザがダッシュボード１３９０を通じてコンピュータ処理在庫システムと対話的操作を行うことを可能にするための音声解釈指令入力の代替案１４０２とのディスプレイを含む。

図５１は、レシピパラメータのライブラリデータベースの一例１４００を例示する表である。レシピパラメータのライブラリデータベース１４００は、食物群プロファイル１４０２、食事様式のタイプ１４０４、メディアライブラリ１４０６、レシピデータ１４０８、ロボットキッチンのツール及び機材１４１０、食材群１４１２、食材データ１４１４、及び調理技術１４１６という多くのカテゴリを含む。これらのカテゴリの各々は、レシピを選択する際に利用可能な詳細代替案のリストを与える。食物群プロファイルは、年齢、性別、体重、アレルギー、薬物使用、及び生活様式のようなパラメータを含む。食事様式群タイププロファイル１４０４は、地域、文化、又は宗教による食事様式タイプを含み、調理機材群タイププロファイル１４１０は、平鍋、グリル、又はオーブン、及び調理所要時間等の項目を含む。レシピデータ群プロファイル１４０８は、レシピの名称、バージョン、調理及び調製の時間、必要なツール及び器具等の項目を含む。食材群プロファイル１４１２は、乳製品、果物及び野菜、穀物及びその他の炭水化物、様々なタイプの流体、及び様々なタイプの蛋白質（肉、豆）等の項目へと分類された食材を含む。食材データ群プロファイル１４１４は、名称、説明、栄養情報、ストレージ及び取扱の指示等の食材記述子データを含む。調理技術群プロファイル１４１６は、機械的技術（たれ付け、細切り、おろし、刻み等）及び化学処理技術（マリネ、酢漬け、発酵、燻製等）等のフィールドへと分類された特定の調理技術についての情報を含む。

図５２は、シェフの食品調製プロセスを記録する段階の一実施形態のプロセスの一実施形態１４２０を例示する流れ図である。段階１４２２において、シェフスタジオ４４内で、マルチモード３次元センサ２０は、標準化キッチン機材と、静的であるか又は動的であるかに関わらずその内部の全ての物体のｘｙｚ座標位置及び向きとを定義するためにキッチンモジュール空間領域を走査する。段階１４２４において、マルチモード３次元センサ２０は、食材等の非標準化物体のｘｙｚ座標位置を見出すためにキッチンモジュールの空間領域を走査する。段階１４２６において、コンピュータ１６は、全ての非標準化物体に対する３次元モデルを作成し、これらの物体のタイプ及び属性（サイズ、寸法、用法等）をコンピューティングデバイス上又はクラウドコンピューティング環境上のコンピュータのシステムメモリに格納し、これらの非標準化物体の形状、サイズ、及びタイプを定義する。段階１４２８において、シェフ移動記録モジュール９８が、シェフのアーム、手首、及びハンドの移動（シェフの手の移動は、好ましくは標準小規模操作に従って識別され、分類される）をシェフのグローブを通じて連続する時間間隔内で感知して取り込む。段階１４３０において、コンピュータ１６は、食品料理を調製する際のシェフの移動の感知取り込みデータをコンピュータのメモリストレージデバイスに格納する。

図５３は、食品料理を調製するロボット装置７５の一実施形態のプロセスの一実施形態１４４０を例示する流れ図である。段階１４４２において、ロボットキッチン４８内のマルチモード３次元センサ２０は、非標準化物体（食材等）のｘｙｚ位置座標を見出すためにキッチンモジュールの空間領域を走査する。段階１４４４において、ロボットキッチン４８内のマルチモード３次元センサ２０は、標準化ロボットキッチン５０内で検出された非標準化物体に対する３次元モデルを作成し、これらの非標準化物体の形状、サイズ、及びタイプをコンピュータのメモリに格納する。段階１４４６において、ロボット調理モジュール１１０が、変換済みレシピファイルに従って、シェフの食品調製プロセスを同じペース、同じ移動、及び同様の持続時間で再現することによるレシピ実行を開始する。段階１４４８において、ロボット装置７５は、１又は２以上の小規模操作及び動作プリミティブの組合せを有する変換済みレシピファイルのロボット命令を実行し、それによってロボット標準化キッチン内のロボット装置７５が、シェフ４９が自分で食品料理を調製した場合と同じ結果又は実質的に同じ結果を伴う食品料理を調製するという結果を生じる。

図５４は、ロボットによる食品料理調製においてシェフに対して同じ又は実質的に同じ結果を得る際の品質及び機能の調節における一実施形態のプロセス１４５０を例示する流れ図である。段階１４５２において、品質チェックモジュール５６は、ロボット装置７５によるレシピ再現プロセスを１又は２以上のマルチモードセンサ、ロボット装置７５上のセンサによって監視及び検証し、抽象化ソフトウェアを用いて、ロボット装置７５からの出力データを標準化ロボットキッチンのシェフスタジオバージョン内で人間シェフによって同じレシピを実行する間に実施される調理プロセスを監視し、抽象化することによって作成されたソフトウェアレシピファイルからの対照データに対して比較することによって品質チェックを実施するように構成される。段階１４５４において、ロボット食品調製エンジン５６は、ロボット装置７５が食品調製プロセスを調節することを必要とすることになるあらゆる差を検出して決定する、例えば、少なくとも食材のサイズ、形状、又は向きにおける差を監視するように構成される。差が存在する場合には、ロボット食品調製エンジン５６は、生感知入力データと処理済み感知入力データとに基づいてこの特定の食品料理処理段階に対する１又は２以上のパラメータを調節することによって食品調製プロセスを修正するように構成される。段階１４５４において、感知され、抽象化プロセス進行をレシピスクリプト内の格納済みプロセス変数と比較した場合のこれらの間の潜在的な差に対して影響を与えることに関する決定が行われる。標準化ロボットキッチン内での調理プロセスのプロセス結果が、このプロセス－段階に関してレシピスクリプト内に明記されているものと同一の場合には、食品調製プロセスは、レシピスクリプト内に記述されている通りに続く。生感知入力データと処理済み感知入力データとに基づいてプロセスに対する修正又は調整が必要とされる場合には、プロセス変数がこのプロセス－段階に関してレシピスクリプト内に規定されているものに準拠する状態に導かれることを確実にするために必要とされるあらゆるパラメータを調節することによって、調整プロセス１５５６が実施される。調整プロセス１４５６の上首尾の結果を受けて、食品調製プロセス１４５８は、レシピスクリプトシーケンス内に指定されている通りに再開する。

図５５は、ロボットキッチン内で記録されたソフトウェアファイルからシェフの移動を再現することによって料理を調製するロボットキッチンのプロセスにおける第１の実施形態１４６０を例示する流れ図である。段階１４６１において、ユーザは、ロボット装置７５が食品料理を調製するための特定のレシピをコンピュータを通じて選択する。段階１４６２において、ロボット食品調製エンジン５６は、食品調製に向けて選択されたレシピに対する抽象化レシピを得るように構成される。段階１４６３において、ロボット食品調製エンジン５６は、選択レシピスクリプトをコンピュータのメモリ内にアップロードするように構成される。段階１４６４において、ロボット食品調製エンジン５６は、食材入手可能性及び必要調理時間を計算する。段階１４６５において、ロボット食品調製エンジン５６は、選択レシピ及び配膳スケジュールに従って料理を調製するための食材が不足しているか、又は時間が不十分である場合に、警報又は通知を発するように構成される。段階１４６６において、ロボット食品調製エンジン５６は、欠損している又は不十分な食材を買い物リストに入れるか、又は別のレシピを選択するように警報を送る。段階１４６７において、ユーザによるレシピの選択が確認される。段階１４６８において、ロボット食品調製エンジン５６は、レシピを調製し始める時であるか否かをチェックするように構成される。プロセス１４６０は、段階１４６９において開始時間が来るまで一時停止する。段階１４７０において、ロボット装置７５は、各食材を鮮度及び状態（例えば、購入日、消費期限、臭気、色）に関して検査する。段階１４７１において、ロボット食品調製エンジン５６は、食品又は食材を標準化容器から食品調製位置に移動する命令をロボット装置７５に送るように構成される。段階１４７２において、ロボット食品調製エンジン５６は、開始時間「０」において、ソフトウェアレシピスクリプトファイルから食品料理を再現することによって食品調製を開始するようにロボット装置７５に命令するように構成される。段階１４７３において、標準化キッチン５０内のロボット装置７５は、シェフのアーム及び指と同じ移動、同じ食材、同じペースで、同じ標準化キッチンの機材及びツールを用いて食品料理を再現する。段階１４７４において、ロボット装置７５は、食品調製プロセス中に品質チェックを実施して、いずれか必要なパラメータ調節を行う。段階１４７５において、ロボット装置７５は、食品料理の再現及び調製を終了し、従って食品料理を盛り付けて配膳する準備が整う。

図５６は、ストレージ容器の入庫及び識別のプロセス１４８０を描示している。段階１４８２において、品質監視ダッシュボードを用いて、ユーザが食材を入庫することを選択する。続いて段階１４８４において、ユーザは、入庫ステーション又は入庫カウンターにおいて食材パッケージを精査する。段階１４８６において、バーコードスキャナ、計量器、カメラ、及びレーザスキャナからの追加データを用いて、ロボット調理エンジンが、食材特定のデータを処理し、それをその食材及びレシピライブラリにマッピングし、潜在的なアレルギーの影響に関してこのデータを解析する。段階１４８８に基づいてアレルギー潜在性が存在する場合には、システムは、段階１４９０においてユーザに通知し、安全性の理由から食材を廃棄することを決定する。食材が受け入れ可能であると見なされた場合には、段階１４９２において、システムによってこの食材が記録され、確認される。段階１４９４において、ユーザが開梱して（既に開梱されていない場合に）物品を取り出す。続く段階１４９６において、物品は梱包され（フォイル、真空バッグ等）、全ての必要な食材データが印刷されたコンピュータ印刷ラベルを用いてラベル付けされ、識別の結果に基づいてストレージ容器及び／又はストレージ場所に移動される。続いて段階１４９８において、ロボット調理エンジンが内部データベースを更新し、利用可能食材を品質監視ダッシュボード内に表示する。

図５７は、ストレージからの食材の出庫及び調理調製プロセス１５００を描示している。最初の段階１５０２において、ユーザは、食材を出庫することを品質監視ダッシュボードを用いて選択する。段階１５０４において、ユーザは、１又は２以上のレシピにとって必要な単一の物品に基づいて、物品を出庫することを選択する。続いて段階１５０６において、コンピュータ処理キッチンは、選択品を含む特定の容器をそのストレージ場所からカウンター区域に移動するように機能する。段階１５０８においてユーザが物品を取り上げると、ユーザは、段階１５１０において多くの取り得る手法（調理、廃棄、リサイクル等）のうちの１又は２以上で物品を処理し、段階１５１２において残ったあらゆる物品がシステムに入庫し戻され、それによってシステム１５１４とのユーザの対話的操作が完結する。標準化ロボットキッチン内のロボットアームが取得済み食材品目を受信すると、アーム及びハンドが、容器内の各食材品目をその識別データ（タイプ等）及び状態（消費期限、色、臭気等）に対して検査する段階１５１６が実行される。品質チェック段階１５１８において、ロボット調理エンジンは、潜在的な品目の不一致又は検出された品質状態についての決定を行う。品目が適切でなかった場合には、段階１５２０は、適切な動作で事後対応するように調理エンジンに警報を発する。食材が受け入れ可能なタイプ及び品質のものであった場合には、段階１５２２において、ロボットアームは、次の調理プロセスステージにおいて用いるべき品目を移動する。

図５８は、自動化調理前準備プロセス１５２４を描示している。段階１５３０において、ロボット調理エンジンは、特定のレシピに基づいて余剰食材及び／又は廃棄食材の材料を計算する。続いて段階１５３２において、ロボット調理エンジンは、各食材を用いるレシピの実行に向けて取り得る全ての技術及び方法を検索する。段階１５３４において、ロボット調理エンジンは、時間及びエネルギーの消費に関して、特に並列多重タスクプロセスを必要とする料理に関して食材使用を計算し、最適化する。続いてロボット調理エンジンは、予定された料理に対する多レベル調理平面を作成し、１５３６、ロボットキッチンシステムに調理実行の要求を送る。次の段階１５３８において、ロボットキッチンシステムは、調理プロセスに必要とされる食材、調理用具／オーブン焼き用具をその自動化棚システムから移動し、段階１５４０においてツール及び機材を組み立てて様々なタスクステーションを構成する。

図５９は、レシピ設計及びスクリプト作成プロセス１５４２を描示している。最初の段階１５４４において、シェフは、特定のレシピを選択し、続いて段階１５４６において、シェフは、このレシピに関して名称及びその他のメタデータ（背景、技術等）を含むがこれらに限定されないレシピデータを入力又は編集する。段階１５４８において、シェフは、データベース及び関連ライブラリに基づいて必要な食材を入力又は編集し、レシピに必要とされる重量／体積／単位によってそれぞれの量を入力する。段階１５５０において、レシピの調製において利用される必要な技術の選択が、シェフによってデータベース及び関連ライブラリ内で入手可能なものに基づいて行われる。段階１５５２において、シェフは、同様の選択であるが、今回はこの料理に関するレシピを実行するのに必要とされる調理方法及び調製法の選定に主眼を置く。続いて完結段階１５５４は、システムが、後のデータベースにおける格納及び取得に有用となるレシピＩＤを作成することを可能にする。

図６０は、ユーザがレシピを選択することができる方法のプロセス１５５６を描示している。最初の段階１５５８は、ユーザが、コンピュータ又はモバイルアプリケーションを通じてオンラインマーケットプレイスストアからレシピを購入するか、又はレシピ購入計画を購読する段階を伴い、それによって、再現することができるレシピスクリプトのダウンロードを可能にする。段階１５６０において、ユーザは、オンラインデータベースを検索し、これらの購入物の中から又は購読の一部として利用可能な特定のレシピを個人の嗜好及び現場での食材入手可能性に基づいて選択する。最後の段階１５６２として、ユーザは、配膳に向けて料理の準備を整えて欲しい日時を入力する。

図６１Ａは、オンラインサービスポータル、又はいわゆるレシピ商取引プラットフォームのレシピの検索及び購入、並びに／又は購読のプロセスに関するプロセス１５７０を描示している。最初の段階として、ユーザが、ハンドヘルドデバイス上のアプリを通じて、又はＴＶ及び／又はロボットキッチンモジュールを用いてレシピをダウンロードすることによってこれらのレシピを検索及び閲覧することができる前に、新規ユーザは、段階１５７２においてシステムに登録しなければならない（年齢、性別、食事の嗜好性等を選択し、続いて全体的に好きな調理又はキッチン様式を選択する）。段階１５７４において、ユーザは、レシピの様式（手動調理レシピを含む）等の基準を用いて１５７６、又は特定のキッチン又は機材の様式（中華鍋、蒸し器、燻製器等）に基づいて１５７８、検索を行うことを選ぶことができる。ユーザは、段階１５８０において事前定義基準を用い、更に検索空間及び続いて生じる結果を絞り込むためにフィルタ処理段階１５８２を用いるように検索を選択又は設定することができる。段階１５８４において、ユーザは、与えられた検索結果、情報、及び推薦からレシピ選択する。続いて段階１５８６において、ユーザは、調理友達及びオンラインコミュニティとこの選定について次の段階で共有、協働、又は協議することを選ぶことができる。

図６１Ｂは、サービスポータルに対するレシピの検索及び購入／購読プロセスに関する図６１Ａからの続きを描示している。段階１５９２において、ユーザは、ロボット調理手法又はレシピのパラメータ制御バージョンのどちらかに基づいて特定のレシピを選択するように促される。パラメータ制御に基づくレシピの場合には、段階１５９４において、システムは、全ての調理用具及び器具並びにロボットアーム要件等の項目に関する必要な機材の詳細を提供し、段階１６０２において、詳細な注文指示に向けて食材に関する供給元及び機材供給者への外部リンク選択を提示する。続いてポータルシステムは、レシピタイプチェック１５９６を実行し、そこでシステムは、遠隔デバイス上へのレシピプログラムファイルの直接ダウンロード及びインストール１５９８を可能にするか、又は段階１６００において一度限りの支払い又は購読ベースの支払いに基づき、多くの可能な支払い形態（ペイパル、ビットコイン、クレジットカード等）のうちの１つを用いる支払いの情報をユーザが入力することを必要とする。

図６２は、ロボットレシピ調理アプリケーション（「アプリ」）の作成に使用されるプロセス１６１０を描示している。最初の段階１６１２において、ＡｐｐＳｔｏｒｅ、ＧｏｏｇｌｅＰｌａｙ、又はＷｉｎｄｏｗｓＭｏｂｉｌｅ、又は銀行取引及び会社情報の提供を含むその他のそのようなマーケットプレイス等の場所において、開発者のアカウントを作成する必要がある。続いて段階１６１４において、ユーザは、各アプリストアに特定の最新のアプリケーションプログラムインタフェース（ＡＰＩ）ドキュメンテーションを取得及びダウンロードするように促される。続いて段階１６１８において、開発者は、明記されたＡＰＩ要件に従ってＡＰＩドキュメント要件を満たすレシピプログラムを作成しなければならない。段階１６２０において、開発者は、レシピに関して、様々なサイト（Ａｐｐｌｅ、Ｇｏｏｇｌｅ、Ｓａｍｓｕｎｇ等）に適し、これらのサイトによって規定される名称及びその他のメタデータを提供する必要がある。段階１６２２は、開発者が、承認を得るためにレシピプログラム及びメタデータファイルをアップロードすることを必要とする。段階１６２４において、それぞれのマーケットプレイスサイトが、レシピプログラムを精査、試験、及び承認し、その後、段階１６２６において、それぞれのサイトが、オンライン検索、閲覧、及びこれらのサイトの購入インタフェースを通じての購入に向けてこのレシピプログラムをリストに載せて利用可能にする。

図６３は、特定のレシピを購入するか、又はレシピ配信計画を購読するプロセス１６２８を描示している。最初の段階１６３０において、ユーザは、注文するための特定のレシピを求めて検索する。ユーザは、段階１６３２においてキーワードによって閲覧することを選ぶことができ、段階１６３４において嗜好フィルタを用いて結果を絞り込むことができ、段階１６３６においてその他の事前定義基準を用いて閲覧することを選ぶことができる、又は販売促進対象レシピ、新たにリリースされたレシピ、又は事前予約注文ベースのレシピに基づいて、又は実演シェフ調理イベントに基づいて閲覧することさえも選ぶことができる（段階１６３８）。レシピに対する検索結果は、段階１６４０においてユーザに表示される。続いて段階１６４２の一部として、ユーザが、これらのレシピ結果を閲覧し、オーディオ又は短いビデオクリップで各レシピを試写することができる。続いて段階１６４４において、ユーザは、デバイス及びオペレーティングシステムを選び、特定のオンラインマーケットプレイスアプリケーションサイトへのリンクを受信する。ユーザが、段階においてタスク１６４８で新しいプロバイダサイトに接続することを選んだ場合には、このサイトは、新しいユーザが認証及び同意段階１６５０を終了することを必要とし、続いてタスク１６５２において、サイトが、サイト特定のインタフェースソフトウェアをダウンロードしてインストールすることを可能にし、レシピ配信プロセスを続けることを可能にする。プロバイダサイトは、段階１６４６においてロボット調理買い物リストを作成するか否かをユーザに問い合わせることになり、ユーザがこれに同意した場合には、ユーザは、段階１６５４において単発又は購読ベースで特定のレシピを選択し、料理を配膳すべき特定の日時を選び出す。段階１６５６において、最も早い供給者及びその場所、食材及び機器の入手可能性、及び関連の配送準備期間及び価格を含む必要な食材及び機器についての買い物リストがユーザに提供及び表示される。段階１６５８において、ユーザに、品目の説明及びそのデフォルト又は推奨の供給元及びブランドの各々を精査する機会が提供される。続いて段階１６６０において、ユーザは、全ての関連の系列品目のコスト（輸送、税金等）を含む食材及び機材のリスト上の全ての品目の関連コストを閲覧することができる。段階１６６２において、ユーザ又はバイヤーが提案された買い物リスト品目とは別のものを閲覧することを望む場合には、ユーザ又はバイヤーが別の購入及び注文の代替案に接続して閲覧することを可能にするために、ユーザ又はバイヤーに別の供給元を提示する段階１６６４が実行される。ユーザ又はバイヤーが提案された買い物リストを受け入れた場合には、システムは、段階１６６６においてこれらの選択を将来の購入に向けて個人特化代替案として保存し、段階１６６８において現在の買い物リストを更新するだけではなく、続いて段階１６７０に移り、そこでシステムは、地域／最も近いプロバイダ、時期及び成熟ステージに基づく品目の入手可能性、又は更に効果的に同じ性能を有するが、ユーザ又はバイヤーへの配送コストにおいて大幅に異なる、異なる供給者からの機材に対する価格等の更に別の基準に基づいて買い物リストから別のものを選択する。

図６４Ａ～図６４Ｂは、事前定義レシピ検索基準の例１６７２を例示するブロック図である。この例における事前定義レシピ検索基準は、主要食材１６７２ａ、調理の所要時間１６７２ｂ、地理的な範囲及びタイプによる食事様式１６７２ｃ、シェフの名前検索１６７２ｄ、名物料理１６７２ｅ、食品料理を調製する際の推定食材コスト１６７２ｆといったカテゴリを含む。考えられる他のレシピ検索フィールドは、食物のタイプ１６７２ｇ、特別食１６７２ｈ、除外食材１６７２ｉ、料理のタイプ及び調理方法１６７２ｊ、行事及び季節１６７２ｋ、レビュー及び提案１６７２ｌ、並びに評価順位１６７２ｍを含む。

図６５は、ロボット標準化キッチン５０内の一部の事前定義容器を例示するブロック図である。標準化ロボットキッチン５０内の容器の各々は、当該容器内に保管された特定の内容に関連する容器番号又はバーコードを有する。例えば、第１の容器は、白キャベツ、赤キャベツ、チリメンキャベツ、カブ、及びカリフラワー等の大きく嵩張る産物を保管する。第６の容器は、皮むきアーモンド、種（ヒマワリ、カボチャ、ホワイト）、種抜き乾燥アプリコット、乾燥パパイヤ、及び乾燥アプリコットを含む大分量の固体を個体毎に保管する。

図６６は、同時食品調製処理に向けて複数対のロボットハンドを有する長方形レイアウトで構成されたロボットレストランキッチンモジュールの第１の実施形態１６７６を例示するブロック図である。長方形レイアウトに加えて、本発明の開示の創意の範囲内で構成レイアウトの他のタイプ又は修正が考えられる。本発明の開示の別の実施形態は、図６７に示している業務用又はレストランのキッチン構成における複数の連続又は並列のロボットのアーム及びハンドステーションに関するマルチステージ構成を中心主題とする。あらゆる幾何学配列を用いることができるが、この実施形態は、各々が特定の要素、料理、又はレシピスクリプト段階を作成することに集中する複数のロボットアーム／ハンドモジュールを示す（例えば、６対のロボットアーム／ハンドが、商用キッチン内で、副シェフ、焼き担当コック、揚げ／ソテー担当コック、パントリー担当コック、ペストリー担当シェフ、スープ及びソース担当コック等の異なる役割を果たす）かなり直線的な構成を描示している。ロボットキッチンレイアウトは、あらゆる人間との又は隣り合うアーム／ハンドモジュール間のアクセス／対話的操作が、単一の前向きの面に沿うようなものである。この構成は、コンピュータ制御することができ、それによって、アーム／ハンドロボットモジュールが単一のレシピを逐次実行するか（１つのステーションからの最終生成物が、レシピスクリプト内の次の段階に対する次のステーションに供給される）、又は複数のレシピ／段階を並列で実行するか（混雑時の繁忙に対処するための料理再現仕上げ段階におけるその後の使用のための食物の事前食品／食材半調製等）に関わらず、キッチン多アーム／ハンドロボットキッチン構成全体が、再現調理タスクをそれぞれ実施することが可能になる。

図６７は、同時食品調製処理に向けて複数対のロボットハンドを有するＵ字形レイアウトで構成されたロボットレストランキッチンモジュールの第２の実施形態１６７８を例示するブロック図である。本発明の開示の更に別の実施形態は、図６８に示している業務用又はレストランのキッチン構成における複数の連続又は並列のロボットのアーム及びハンドステーションに関する別のマルチステージ構成を中心主題とする。あらゆる幾何学配列を用いることができるが、この実施形態は、各々が特定の要素、料理、又はレシピスクリプト段階を作成することに集中する複数のロボットアーム／ハンドモジュールを示す直線的な構成を描示している。このロボットキッチンレイアウトは、あらゆる人間との又は隣り合うアーム／ハンドモジュール間のアクセス／対話的操作が、Ｕ字形の外向き面セットと、Ｕ字形の中心部分との両方に沿うようなものであり、それによって、アーム／ハンドモジュールが、対峙するタスク区域にわたって通過／到達し、レシピ再現段の間に対峙するアーム／ハンドモジュールと対話的操作を行うことが可能になる。この構成は、コンピュータ制御することができ、それによってアーム／ハンドロボットモジュールが単一のレシピを逐次実行するか（１つのステーションからの最終生成物が、レシピスクリプト内の次の段階に対するＵ字形経路に沿う次のステーションに供給される）、又は複数のレシピ／段階を並列で実行するか（混雑時の繁忙に対処するための料理再現仕上げ段階における後の使用のための食物の事前食品／食材半調製等であり、この場合、可能であれば調製済みの食材は、Ｕ字形キッチンのベース内に収容された容器又は器具（冷蔵庫等）内に保管される）に関わらず、キッチン多アーム／ハンドロボットキッチン構成全体が再現調理タスクをそれぞれ実施することが可能になる。

図６８は、ロボット食品調製システムの第２の実施形態１６８０を描示している。標準化ロボットキッチンシステム５０を有するシェフスタジオ４４は、調理用具１６８２上のセンサが、変数（温度等）を経時的に記録し、これらの変数の値をレシピスクリプト生データファイルの一部を形成するセンサ曲線及びパラメータとしてコンピュータのメモリ１６８４に格納する間に、レシピを調製又は実行する人間シェフ４９を含む。シェフスタジオ５０から格納されたこれらの感知曲線及びパラメータソフトウェアデータ（又はレシピ）ファイルは、購入ベース又は購読ベースで標準化（遠隔）ロボットキッチンに配信される。家庭内に位置付けられた標準化ロボットキッチン５０は、ユーザ４８と、測定された感知曲線及びパラメータデータファイルに対応する受信生データに基づいて自動化キッチン機材及び／又はロボットキッチン機材を操作するためのコンピュータ制御システム１６８８との両方を含む。

図６９は、標準化ロボットキッチン５０の第２の実施形態を描示している。レシピスクリプトから記録され、解析され、抽象化感知データを処理する調理作動制御モジュール１６９２を含むロボット調理（ソフトウェア）エンジン５６と、感知曲線及びパラメータデータで構成されるソフトウェアファイルを格納するための関連のストレージ媒体及びメモリ１６８４とを作動させるコンピュータ１６は、複数の外部デバイスとインタフェース接続される。これらの外部デバイスは、生データを入力するためのセンサ１６９４と、収縮可能安全ガラス６８と、コンピュータ監視及びコンピュータ制御可能ストレージユニット８８と、生食品の品質及び供給のプロセスについて報告する複数のセンサ１９８と、食材を取り出すためのハード自動化モジュール８２と、食材を有する標準化容器８６と、センサが備え付けられた調理器具１６９６と、センサが備え付けられた調理用具１７００とを含むが、これらに限定されない。

図７０は、調理用具ユニットの底面全体にわたって同心円状に配列されたゾーン１１７０２、ゾーン２１７０４、及びゾーン３１７０６を含む少なくとも３つの平面ゾーンであるがこれらに限定されないゾーンにわたってユニットの底面にわたる温度プロファイルを生成して無線送信することができる組み込み実時間温度センサを含むインテリジェント調理用具１７００（例えばこの画像ではソース鍋）を描示している。これら３つのゾーンの各々は、結合されたセンサ１７１６－１、１７１６－２、１７１６－３、１７１６－４、及び１７１６－５に基づくそれぞれのデータ１１７０８、データ２１７１０及びデータ３１７１２を無線送信することができる。

図７１は、各々が調理用具ユニットの特定の区域の底面にある３つのゾーンの各々における温度に対応するデータ１１７０８、データ２１７１０、及びデータ３１７１２に関する記録温度プロファイルを有する典型的な感知曲線セット２２０を描示している。時間に対する測定単位は、開始から終了までの調理時間（独立変数）として分を単位として反映したものであり、それに対して温度は、セ氏度で測定したものである（従属変数）。

図７２は、記録された温度１７３２及び湿度１７３４のプロファイルを有する複数の感知曲線セット１７３０を描示しており、各センサからのデータをデータ１１７０８、データ２１７１０からデータＮ１７１２として全て表している。生データのストリームは、電子（又はコンピュータ）作動制御ユニット１７３６に送られ、それよって処理される。時間に対する測定単位は、開始から終了までの調理時間（独立変数）として分を単位として反映したものであり、それに対して温度値及び湿度値は、それぞれセ氏度及び相対湿度で測定したものである（従属変数）。

図７３は、スマート（揚げ）平鍋を実時間温度制御１７００に関するプロセス構成と共に描示している。電源１７５０は、誘導コイルセットを能動的に加熱するために制御ユニット１１７５２、制御ユニット２１７５４、及び制御ユニット３１７５６を含む３つの別個の制御ユニットを用いるが、そのように限定する必要はない。実際の制御は、（揚げ）平鍋の（３つの）ゾーン１７０２（ゾーン１）、１７０４（ゾーン２）、及び１７０６（ゾーン３）の各々の内部で測定される温度値の関数であり、この場合、温度センサ１７１６－１（センサ１）、１７１６－３（センサ２）、及び１７１６－５（センサ３）は、温度データをデータストリーム１７０８（データ１）、１７１０（データ２）、及び１７１２（データ３）を通じて作動制御ユニット２７４に無線で供給し戻し、作動制御ユニット２７４の方は、別個のゾーン加熱制御ユニット１７５２、１７５４、及び１７５６を独立して制御するように電源１７５０を導く。目標は、料理の調製中の人間シェフのある一定の（揚げ）段階の間に記録される感知曲線データと同じ望ましい温度曲線を経時的に得て再現することである。

図７４は、以前に格納された感知（温度）曲線に基づいてオーブン器具１７９２に対する温度プロファイルを実時間で実行することを可能にする作動制御ユニット１７９２に結合されたスマートオーブン及びコンピュータ制御システム１７９０を描示している。作動制御ユニット１７９２は、オーブンのドア（開／閉）を制御し、感知曲線によってオーブンに与えられる温度プロファイルを追跡し、調理後に自己清掃することができる。オーブンの内側の温度及び湿度は、様々な場所でデータストリーム２６８（データ１）を生成する組み込み温度センサ１７９４と、調理温度を監視して調理完成度を推測するために調理すべき食材（肉、鳥肉等）の中に挿入されるプローブの形態にある温度センサと、データストリームを作成する更に別の湿度センサ１７９６（データ２）とを通じて監視される。スマートオーブン１７９０内の温度を決定するための肉又は食品料理の中への挿入に向けて温度１７９７を用いることができる。作動制御ユニット１７９２は、これら全ての感知データを取り込んで、以前に格納され、ダウンロードされた両方の（従属）変数に関する感知曲線セット内に記述されている感知曲線を適正に追跡することを可能にするようにオーブンパラメータを調節する。

図７５は、炭火グリルの内側に内部分散された１又は２以上の温度センサ及び湿度センサに関する感知曲線を適正に追跡するように炭火グリルへの電力を変調する火力制御ユニット１８００のための（スマート）炭火グリルコンピュータ制御式着火及び制御システムの構成１７９８を描示している。火力制御ユニット１８００は、温度データ１（１８０２－１）、２（１８０２－２）、３（１８０２－３）、４（１８０２－４）、５（１８０２－５）を含む温度データ１８０２と、温度データ１（１８０４－１）、２（１８０４－２）、３（１８０４－３）、４（１８０４－４）、５（１８０４－５）を含む湿度データ１８０４とを受け取る。火力制御ユニット１８００は、グリル及び電気着火システム１８１０を始動すること、炭火までのグリル面距離及び炭火１８１２上に懸かる水霧の射出を調節すること、炭火を粉砕すること１８１４、可動（上／下）ラック１８１６の温度及び湿度を調節することを含む様々な制御機能に向けて電子制御信号１８０６、１８０８をそれぞれ用いる。制御ユニット１８００は、その出力信号１８０６、１８０８の基礎を炭火グリルの内側に分散された湿度センサ（１から５まで）１８１８、１８２０、１８２２、１８２４、及び１８２６のセットからの湿度測定値１８０４－１、１８０４－２、１８０４－３、１８０４－４、１８０４－５に関するデータストリームセット１８０４（この図では例えば５つを示している）と、分散温度センサ（１から５まで）１８２８、１８３０、１８３２、１８３４、及び１８３６からの温度測定値１８０２－１、１８０２－２、１８０２－３、１８０２－４、及び１８０２－５に関するデータストリーム１８０２とに置く。

図７６は、コンピュータが水栓によってシンク（又は調理用具）内に供給される水の流量、温度、及び圧力を制御することを可能にするコンピュータ制御式水栓１８５０を描示している。この水栓は、データ１の感知データを供給する水流量センサ１８６８、データ２の感知データを供給する温度センサ１８７０、及びデータ３の感知データを供給する水圧センサ１８７２に対応する別個のデータストリーム１８６２（データ１）、１８６４（データ２）、及び１８６６（データ３）を受信する制御ユニット１８６２によって制御される。この場合、制御ユニット１８６２は、蛇口において存在する水の望ましい圧力、流量、及び温度を得るために、ディスプレイ１８７６上にデジタル表示される適切な冷水温度及び冷水圧力で冷水の供給１８７４を制御し、ディスプレイ１８８０上にデジタル表示される適切な熱水温度及び熱水圧力で熱水の供給１８７８を制御する。

図７７は、計装され、標準化されたロボットキッチンの実施形態５０を上面図に描示している。この標準化ロボットキッチンは、各々がセンサ１８８４ａ、１８８４ｂ、１８８４ｃ及びコンピュータ制御ユニット１８８６ａ、１８８６ｂ、１８８６ｃを一体的に装着した機材及び器具を含む３つのレベル、すなわち、上段レベル１２９２－１、カウンターレベル１２９２－２、及び下段レベル１２９２－３に分割される。

上段レベル１２９２－１は、組み込み器具及び機器を用いて特定のキッチン機能を実施するための様々なユニットを有する複数の収納庫型のモジュールを含む。最も簡単なレベルでは、棚／収納庫ストレージ区域１３０４には、ハード自動化食材供給器１３０５と、調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ空間領域１３０２と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１３０４とが含まれる。上段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６ａに直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４ａを含む。

カウンターレベル１２９２－２は、監視センサ１８８４ｂ及び制御ユニット１８８６ｂを収容するだけでなく、配膳カウンター１３０６と、シンクを有するカウンター区域１３０８と、着脱可能タスク面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを含む。カウンターレベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６ｂに直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４ｂを含む。

下段レベル１２９２－３は、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１６と、皿洗い機１３１８と、頻繁に使用される更に別の調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域１３２０とを収容する。下段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。

図７８は、各々に複数の分散されたセンサユニット１８９２が備え付けられた上段から下段まで配列された３つの異なるレベルを有し、これらのセンサユニット１８９２が、１又は２以上の制御ユニット１８９４にデータを直接供給するか、又は感知データを処理し、続いてこれらのコンピュータの指令に応じて機能するように１又は２以上の制御ユニット３７６に命令する１又は２以上の中央コンピュータにデータを供給するロボットキッチン調理システム５０の一実施形態の斜視図を描示している。

上段レベル１２９２－１は、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫タイプモジュールを含む。最も簡単なレベルでは、棚／収納庫ストレージパントリー空間領域１２９４には、調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン８８と、深冷凍結品目のための冷凍ストレージ空間領域１３０２と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１２９４とが含まれる。上段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８９４に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８９２を含む。

カウンターレベル１２９２－２は、監視センサ１８９２及び制御ユニット１８９４を収容するだけでなく、シンク及び電子的に制御可能な水栓を有するカウンター区域１３０８と、まな板上での切断／細切り等のための着脱可能タスク面を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを含む。カウンターレベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８９４に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８９２を含む。

下段レベル１２９２－３は、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１６と、皿洗い機１３１８と、ハード自動化制御食材ディスペンサ１３０５と、頻繁に使用される更に別の調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域１３１０とを収容する。下段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８９６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８９２を含む。

図７９は、標準化ロボットキッチン内で過去に記録された１又は２以上のパラメータ曲線から料理を調製するロボットキッチンのプロセスにおける第２の実施形態１９００を例示する流れ図である。段階１９０２において、ユーザは、ロボット装置７５が食品料理を調製するための特定のレシピをコンピュータを通じて選択する。段階１９０４において、ロボット食品調製エンジンは、食品調製に向けて選択されたレシピに対する抽象化レシピを得るように構成される。段階１９０６において、ロボット食品調製エンジンは、選択レシピスクリプトをコンピュータのメモリ内にアップロードするように構成される。段階１９０８において、ロボット食品調製エンジンは、食材入手可能性を計算する。段階１９１０において、ロボット食品調製エンジンは、選択レシピ及び配膳スケジュールに従って料理を調製するための食材が不足している又は不在であるか否かを評価するように構成される。段階１９１２において、ロボット食品調製エンジンは、欠損している又は不十分な食材を買い物リストに入れるか、又は別のレシピを選択するように警報を送る。段階１９１４において、ユーザによるレシピの選択が確認される。段階１９１６において、ロボット食品調製エンジンは、食品又は食材を標準化容器内に入れて適正な食品調製位置に移動するロボット指示をユーザに送るように構成される。段階１９１８において、ユーザに、この事例の再生に向けて記録されている間にシェフによって実行される全ての移動及びプロセスに基づくレシピ再現プロセスの各全ての段階を視覚的に確認するために、専用モニタ又はホログラフィレーザ利用の投影のどちらであるかに関わらず、実時間ビデオ監視投影を選択するオプションが与えられる。段階１９２０において、ロボット食品調製エンジンは、ユーザが、自分の選択の開始時間「０」において食品調製を開始し、標準化ロボットキッチンに対するコンピュータ制御システムに起動することを可能にするように構成される。段階１９２２において、ユーザは、人間シェフによるレシピ作成プロセス全体のモニタ／投影スクリーン上での再生に基づいて全てのシェフの動作の再現を実行し、それによって半完成品は、指定された調理用具及び器具に移動されるか、又は後の使用に向けて中間ストレージ容器に移動される。段階１９２４において、標準化キッチン内のロボット装置７５は、シェフが自分のスタジオの標準化ロボットキッチン内でレシピ調製プロセスにおける同じ段階を実行した時に記録された感知データ曲線に従って、又は調理パラメータに基づいて個々の処理段階を実行する。段階１９２６において、ロボット食品調製のコンピュータは、シェフが自分の標準化ロボットキッチン内でレシピの調製中に取り込まれて保存されたデータに基づいて調理時間全体にわたって必要とされるデータ曲線を再現するように、温度、圧力、及び湿度に関して全ての調理用具及び器具の設定を制御する。段階１９２８において、ユーザは、全ての単純な移動をモニタ又は投影スクリーンを通じてユーザに中継されたオーディオ及びビデオの指示を通じて明示されたシェフの段階及びプロセスの移動を再現するように行う。段階１９３０において、ロボットキッチンの調理エンジンは、感知曲線又はパラメータセットに基づく特定の調理段階が終了した時にユーザに警報する。ユーザとコンピュータコントローラとの対話的操作がレシピ内の全ての調理段階の終了を生じると、ロボット調理エンジンは、段階１９３２において再現プロセスのコンピュータ制御式部分を終了する要求を送る。段階１９３４において、ユーザは、完成したレシピ料理、プレートを分配し、それを配膳するか、又はいずれか残りの調理段階又は調理プロセスを手動で続ける。

図８０は、シェフスタジオ内での感知データ取り込みプロセスの一実施形態１９３６を描示している。最初の段階１９３８は、シェフがレシピを作成又は設計することのためのものである。次の段階１９４０は、シェフが、レシピに関して名前、食材、測定値、及びプロセスの説明をロボット調理エンジン内に入力することを必要とする。段階１９４２において、シェフは、必要な全ての食材を指定された標準化ストレージ容器内に装荷し、適切な調理用具を選択することによって開始する。次の段階１９４４は、全ての感知生データを記録し、その処理を可能にするために、シェフが開始時間を設定し、感知及び処理システムを起動する段階を含む。段階１９４６においてシェフが調理を開始すると、全ての埋め込み監視センサユニット及び器具が中央コンピュータシステムに報告を行って生データを送り、コンピュータシステムが、調理プロセス全体中に全ての関連データを実時間で記録することが可能になる１９４８。段階１９５０において、補足的な調理パラメータ及び聴取可能なシェフのコメントが更に記録されて生データとして格納される。段階１９５２の一部として、ロボット調理モジュール抽象化（ソフトウェア）エンジンが、２次元及び３次元の幾何学動き及び物体認識データを含む全ての生データを機械可読かつ機械実行可能なレシピスクリプトを生成するように処理する。シェフスタジオレシピ作成及びシェフによる調理プロセスの完成を受けて、ロボット調理エンジンは、移動を再現するシミュレーション可視化プログラム及び遠隔標準化ロボットキッチンシステムによる後のレシピ再現のために使用されるメディアデータを生成する１９５４。段階１９５６において、生データ及び処理済みデータ、並びにシェフによるシミュレーションレシピ実行視覚化映像の確認に基づいて、異なる（モバイル）オペレーティングシステムに向けてハードウェア特定のアプリケーションが開発されて統合され、単一レシピのユーザ直接購入又は購読モデルを通じての多レシピ購入に向けてオンラインのソフトウェアアプリケーションストア及び／又はマーケットプレイスに提出される。

図８１は、家庭用ロボット調理プロセス１９６０のプロセス及びフローを描示している。最初の段階１９６２は、ユーザがレシピを選択してレシピのデジタル形態を得る段階を含む。段階１９６４において、ロボット調理エンジンは、選択されたレシピを調理するための機械可読指令を含むレシピスクリプトを受信する。段階１９６６において、レシピは、ロボット調理エンジンにアップロードされ、スクリプトはメモリ内に入れられる。格納されると、段階１９６８が、必要な食材を計算し、これらの食材の入手可能性を決定する。論理チェック１９７０において、システムは、ユーザに欠損品目を買い物リストに追加することを促すか、又は入手可能な食材に適合する別のレシピを提案するように段階１９７２で警報する又は提案を送るか、又は十分な食材が入手可能であればそのまま進めるかを決定する。段階１９７４で食材入手可能性が検証されると、システムはレシピを確認し、ユーザは、段階１９７６において必要な食材をシェフが当初レシピ作成プロセスを開始した（シェフスタジオ内で）位置にある指定された標準化容器内に入れるように尋ねられる。段階１９７８において、ユーザは、調理プロセスの開始時間を設定し、調理システムが着手するように設定する。始動を受けて、ロボット調理システムは、レシピスクリプトデータファイル内に与えられた感知曲線及び調理パラメータデータに従って実時間で調理プロセス１９８０の実行を開始する。調理プロセス１９８２中に、コンピュータは、シェフスタジオレシピ作成プロセス中に当初取り込まれて保存された感知曲線及びパラメータデータファイルを再現するように全ての器具及び機材を制御する。調理プロセスの終了を受けて、段階１９８４において、ロボット調理エンジンは、調理プロセスが完成したと決定したことに基づいて通知を送る。続いてロボット調理エンジンは、調理プロセス全体を終了するために、コンピュータ制御システムに終了要求を送り１９８６、段階１９８８において、ユーザは、配膳に向けて料理をカウンターから取り出す、又はいずれか残りの調理段階を手動で続ける。

図８２は、指令視覚監視モジュール１９９０を有する標準化ロボット食品調製キッチンシステム５０の一実施形態を描示している。レシピスクリプトから記録され、解析され、抽象化感知データを処理する調理作動制御モジュール１９９０、及び視覚的指令監視モジュール１９９０を含むロボット調理（ソフトウェア）エンジン５６と、感知曲線及びパラメータデータで構成されるソフトウェアファイルを格納するための関連のストレージ媒体及びメモリ１６８４とを作動させるコンピュータ１６は、複数の外部デバイスとインタフェース接続される。これらの外部デバイスは、計装されたキッチンタスクカウンター９０と、収縮可能安全ガラス６８と、計装された水栓９２と、埋め込みセンサを有する調理器具７４と、埋め込みセンサを有する調理用具１７００（棚又は収納庫内に保管された）と、標準化容器及び食材ストレージユニット７８と、コンピュータ監視及びコンピュータ制御可能ストレージユニット８８と、生食品の品質及び供給のプロセスについて報告する複数のセンサ１６９４と、食材を取り出すためのハード自動化モジュール８２と、作動制御モジュール１６９２とを含むが、これらに限定されない。

図８３は、完全に計装されたロボットキッチン２０００の実施形態を１又は２以上のロボットアーム７０と共に上面図に描示している。この標準化ロボットキッチンは、一体的に装着されたセンサ１８８４ａ、１８８４ｂ、１８８４ｃとコンピュータ制御ユニット１８８６ａ、１８８６ｂ、１８８６ｃとを有する機材及び器具を各々が含む３つのレベル、すなわち、上段レベル１２９２－１と、カウンターレベル１２９２－２と、下段レベル１２９２－３とに分割される。

上段レベル１２９２－１は、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫タイプモジュールを含む。最も簡単なレベルでは、上段レベルは、調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、ハード自動化制御食材ディスペンサ１３０５と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ空間領域１３０２と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１３０４とを含む。上段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６ａに直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４ａを含む。

カウンターレベル１２９２－２は、監視センサ１８８４及び制御ユニット１８８６を収容するだけでなく、１又は２以上のロボットアーム、ロボット手首、及びロボット多指ハンド７２と、配膳カウンター１３０６と、シンクを有するカウンター区域１３０８と、着脱可能タスク面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを含む。この実施形態では、１対のロボットアーム７０及びハンド７２は、コンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータによって制御される特定のタスクを実施するように作動する。

下段レベル１２９２－３は、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１６と、皿洗い機１３１８と、頻繁に使用される更に別の調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域３＝３７８とを収容する。下段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６ｃに直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４ｃを含む。

図８４は、完全に計装されたロボットキッチン２０００の実施形態をｘ軸１３２２と、ｙ軸１３２４と、ｚ軸１３２６とを定め、内部における全ての移動及び場所が、原点（０，０，０）に対して定義されて参照されることになる重ね合わせた座標系と共に斜視図に描示している。この標準化ロボットキッチンは、各々がセンサ１８８４及びコンピュータ制御ユニット１８８６を一体的に装着した機材及び器具を含む３つのレベル、すなわち、上段レベル、カウンターレベル、及び下段レベルに分割される。

上段レベルは、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫タイプモジュールを含む。

最も簡単なレベルでは、上段レベルは、標準化された調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９４と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ空間領域８６と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１２９４とを含む。上段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６ａに直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４ａを含む。

カウンターレベルは、監視センサ１８８４及び制御ユニット１８８６を収容するだけでなく、１又は２以上のロボットアーム、ロボット手首、及びロボット多指ハンド７２と、シンクと電子水栓とを有するカウンター区域１３０８と、着脱可能タスク面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを含む。１対のロボットアーム７０及びそれぞれに関連付けられたロボットハンドは、コンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータによって指示される特定のタスクを実施する。

下段レベルは、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１５と、皿洗い機１３１８と、ハード自動化制御食材ディスペンサ８２（図示していない）と、頻繁に使用される更に別の調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域１３１０とを収容する。下段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６ｃに直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４ｃを含む。

図８５は、計装され、標準化されたロボットキッチン５０の実施形態を監視モジュール又は監視デバイス１９９０と共に上面図に描示している。この標準化ロボットキッチンは、３つのレベル、すなわち、上段レベルと、カウンターレベルと、下段レベルとに分割され、この場合、上段及び下段のレベルは、一体的に装着されたセンサ１８８４とコンピュータ制御ユニット１８８６とを有する機材及び器具を含み、カウンターレベルには、１又は２以上の指令及び視覚的監視デバイス２０２２が備え付けられる。

上段レベル１２９２－１は、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫タイプモジュールを含む。最も簡単なレベルでは、上段レベルは、標準化された調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ空間領域１３０２と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１３０４とを含む。上段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。

カウンターレベル１２９２－２は、監視センサ１８８４及び制御ユニット１８８６だけではなく、視覚的指令監視デバイス２０２０も収容し、それと同時に配膳カウンター１３０６と、シンクを有するカウンター区域１３０８と、着脱可能タスク面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付きグリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを更に含む。カウンターレベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。これに加えて、カウンターレベル内には、スタジオキッチン内での人間シェフの視覚的操作、並びに標準化ロボットキッチン内でのロボットアーム又は人間のユーザの視覚的操作を監視する目的で１又は２以上の視覚的指令監視デバイス１９９０が更に設けられ、この場合、データは、処理段階に向けて、又はそれに続く補正的又は補助的なフィードバック又は指令を表示又はスクリプト追従実行のためにロボットキッチンに送り返す段階に向けて１又は２以上の中央コンピュータ又は分散コンピュータに供給される。

下段レベル１２９２－３は、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１６と、皿洗い機１３１８と、ハード自動化制御食材ディスペンサ８６（図示していない）と、頻繁に使用される更に別の調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域１３２０とを収容する。下段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。この実施形態では、ハード自動化食材供給器１３０５は、下段レベル１２９２－３内で設計される。

図８６は、完全に計装されたロボットキッチン２０２０の実施形態を斜視図に描示している。この標準化ロボットキッチンは、３つのレベル、すなわち、上段レベルと、カウンターレベルと、下段レベルとに分割され、この場合、上段及び下段のレベルは、一体的に装着されたセンサ１８８４とコンピュータ制御ユニット１８８６とを有する機材及び器具を含み、カウンターレベルには、１又は２以上の指令及び視覚的監視デバイス２０２２が備え付けられる。

上段レベルは、組み込み器具及び機材を用いて特定のキッチン機能を実施するために様々なユニットを有する複数の収納庫タイプモジュールを含む。最も簡単なレベルでは、上段レベルは、標準化された調理ツール及び道具並びにその他の調理用具及び配膳用具（調理、オーブン焼き、盛り付け等）を保管してこれらにアクセスするために使用される収納庫空間領域１２９６と、特定の食材（例えば果物及び野菜等）のためのストレージ熟成収納庫空間領域１２９８と、レタス及び玉葱等の品目のためのチルドストレージゾーン１３００と、深冷凍結品目のための冷凍ストレージ空間領域８６と、その他の食材及び滅多に使用されない香辛料等のための別のストレージパントリーゾーン１２９４とを含む。上段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット１８８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１８８４を含む。

カウンターレベル１２９２－１は、監視センサ１８８４及び制御ユニット１８８６だけではなく、視覚的指令監視デバイス１３１６も収容し、それと同時にシンク及び電子水栓を有するカウンター区域１３０８と、着脱可能タスク面（まな板等）を有する別のカウンター区域１３１０と、炭火利用のスラット付き（スマート）グリル１３１２と、コンロ、調理器、蒸し器、及び蒸し鍋を含む他の調理器具のための多目的区域１３１４とを更に含む。カウンターレベル内にあるモジュールの各々は、１又は２以上の制御ユニット１１８６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１１８４を含む。これに加えて、カウンターレベル内には、スタジオキッチン内での人間シェフの視覚的操作、並びに標準化ロボットキッチン内でのロボットアーム又は人間のユーザの視覚的操作を監視する目的で１又は２以上の視覚的指令監視デバイス（図示していない）が更に設けられ、この場合、データは、処理段階に向けて、又はそれに続く補正的又は補助的なフィードバック又は指令を表示又はスクリプト追従実行のためにロボットキッチンに送り返す段階に向けて１又は２以上の中央コンピュータ又は分散コンピュータに供給される。

下段レベル１２９２－３は、対流オーブンと電子レンジとの組合せに加えて、蒸し器、蒸し鍋、及びグリル１３１６と、皿洗い機１３１８と、ハード自動化制御食材ディスペンサ８６（図示していない）と、頻繁に使用される更に別の調理用具及びオーブン焼き用具、並びに食卓用具、平皿類、道具（泡立て器、ナイフ等）、及び刃物類を維持及び保管する大きめの収納庫空間領域１３０９とを収容する。下段レベル内にあるモジュールの各々は、１又は２以上の制御ユニット３７６に直接的か、又はコンピュータ制御式操作を可能にする１又は２以上の中央制御コンピュータ又は分散制御コンピュータを通じてかのどちらかでデータを供給するセンサユニット１３０７を含む。

図８７Ａは、標準化ロボットキッチンシステムの別の実施形態４８を描示している。ロボット調理（ソフトウェア）エンジン５６と、レシピスクリプトデータ、感知曲線、及びパラメータデータファイルを格納するためのメモリモジュール５２とを作動させるコンピュータ１６は、複数の外部デバイスとインタフェース接続される。外部デバイスは、計装されたロボットキッチンステーション２０３０と、計装された配膳ステーション２０３２と、計装された洗浄及び清掃ステーション２０３４と、計装された調理用具２０３６と、コンピュータ監視及びコンピュータ制御可能調理器具２０３８と、専用のツール及び道具２０４０と、自動化棚ステーション２０４２と、計装されたストレージステーション２０４４と、食材回収ステーション２０４６と、ユーザコンソールインタフェース２０４８と、双ロボットアーム７０と、ロボットハンド７２と、食材を取り出すためのハード自動化モジュール１３０５と、任意的なシェフ記録デバイス２０５０とを含むが、これらに限定されない。

図８７Ｂは、ロボットキッチン調理システムの一実施形態２０６０を平面図に描示しており、この場合、人間型ロボット２０５６（又はシェフ４９、家庭調理ユーザ又は営利目的ユーザ６０）が、様々な調理ステーションに複数（この図には４つを示している）の側からアクセスすることができ、この図にロボットキッチンモジュール２０５８の周囲から棚にアクセスしているところによって例示しているように、人間型ロボット２０５６は、ロボット食品調製キッチンシステム２０６０を歩き回ることになる。中央ストレージステーション２０６２は、様々な温度（チルド／冷凍）に維持され、全ての側からのアクセスを可能にする様々な食品品目に対する様々なストレージ区域を含む。この実施形態の正方形配列の外周に沿って、人間型ロボット２０５２、シェフ４９、又はユーザ６０は、レシピをレイアウトしてプロセスを監督するためのユーザ／シェフコンソール２０６４と、スキャナ、カメラ、及びその他の食材特徴付けシステムを含む食材アクセスステーション２０６６と、調理用具／オーブン焼き用具、食卓用具のための自動棚ステーション２０６８と、少なくともシンクと皿洗い機ユニットとを備える洗浄及び清掃ステーション２０７０と、食品又は食材の調製に使用される特定の技術に必要とされる専用のツールのための専用のツール及び道具ステーション２０７２と、温製料理又は冷製料理のための加温ステーション２０７４と、オーブン、コンロ、グリル、蒸し器、揚げ鍋、電子レンジ、混合器、乾燥機等を含むがこれらに限定されない複数の器具を備える調理器具ステーション２０７６とを含むがこれらに限定されないモジュールを有する様々な調理区域にアクセスすることができる。

図８７Ｃは、人間型ロボット２０５６（又はシェフ４９又はユーザ６０）が、複数の調理ステーション及び調理機材への少なくとも４つの異なる側からのアクセスを得ることを可能にするロボットキッチン２０５８の同じ実施形態４８の斜視図を描示している。中央ストレージステーション２０６２は、様々な温度（チルド／冷凍）に維持され、全ての側からのアクセスを可能にする様々な食品品目に対する様々なストレージ区域を含み、高いレベルに位置付けられる。調理用具／オーブン焼き用具／食卓用具のための自動棚ステーション２０６８は、中央ストレージステーション２０６２の下の中段レベルに位置付けられる。下段レベルには、レシピをレイアウトしてプロセスを監督するためのユーザ／シェフコンソール２０６４と、スキャナ、カメラ、及びその他の食材特徴付けシステムを含む食材アクセスステーション２０６０と、調理用具／オーブン焼き用具、食卓用具のための自動棚ステーション２０６８と、少なくともシンクと皿洗い機ユニットとを備える洗浄及び清掃ステーション２０７０と、食品又は食材の調製に使用される特定の技術に必要とされる専用のツールのための専用のツール及び道具ステーション２０７２と、温製料理又は冷製料理のための加温ステーション２０７６と、オーブン、コンロ、グリル、蒸し器、揚げ鍋、電子レンジ、混合器、乾燥機等を含むがこれらに限定されない複数の器具を備える調理器具ステーション２０７６とを含むがこれらに限定されない調理ステーション及び機材の配列が位置付けられる。

図８８は、ロボット人間－エミュレータ電子知的財産（ＩＰ）ライブラリ２１００を例示するブロック図である。ロボット人間－エミュレータ電子ＩＰライブラリ２１００は、ロボット装置７５が人間の特定の技能セットを再現するための手段として使用される様々な概念を網羅する。より具体的には、１対のロボットハンド７０及びロボットアーム７２を含むロボット装置７５は、特定の人間の技能のセットを再現する役割を果たす。あらゆる手法で、人間からの知能への転送を人間の手を用いて取り込むことができ、続いてロボット装置７５は、記録された移動の詳細な移動を同じ結果を得る上で再現することができる。ロボット人間－エミュレータ電子ＩＰライブラリ２１００は、ロボット人間－台所－技能－再現エンジン５６と、ロボット人間－描画－技能－再現エンジン２１０２と、ロボット人間－楽器－技能－再現エンジン２１０４と、ロボット人間－看護－技能－再現エンジン２１０６と、ロボット人間－感情認識エンジン２１０８と、ロボット人間－知能再現エンジン２１１０と、入力／出力モジュール２１１２と、通信モジュール２１１４とを含む。ロボット人間感情認識エンジン１３５８について、図８９、図９０、図９１、図９２、及び図９３に関して更に説明する。

図８９は、バス２１２０を通じて適用ブロックに結合された訓練ブロックを含むロボット人間－感情認識（又は応答）エンジン２１０８である。訓練ブロックは、人間入力刺激モジュール２１２２と、センサモジュール２１２４と、人間感情応答モジュール（入力刺激に対する）２１２６と、感情応答記録モジュール２１２８と、品質チェックモジュール２１３０と、学習機械モジュール２１３２とを含む。適用ブロックは、入力解析モジュール２１３４と、センサモジュール２２３６と、応答生成モジュール２１３８と、フィードバック調節モジュール２１４０とを含む。

図９０は、ロボット人間感情（コンピュータ作動式）エンジン２１０８内でのロボット人間感情方法２５０のプロセス及び論理フローを例示する流れ図である。プロセス及び論理フローの最初の段階２１５１において、（ソフトウェア）エンジンは、周囲環境からの視覚、可聴フィードバック、触覚及び嗅覚のセンサデータを含む人間の感覚に類似する様々な供給源からの感知入力を受信する。決定段階２１５２において、動き反射を作成するか否かの判断が行われ、反射動き２１５３が生じるか、又は反射動きが必要とされない場合には、段階２１５４が実行され、特定の入力情報又はパターン又はこれらの組合せが、メモリに格納された情報又はパターンに基づいて認識され、続いて抽象化表現又は記号表現に解釈される。抽象化情報及び／又は記号情報は、経験に基づくものとすることができる知能ループシーケンスを通じて処理される。もう１つの決定段階２１５６は、動き反応２１５７を連係させるべきか否かを事前定義挙動モデルに基づいて決定し、この決定が否定的であった場合には段階１２５８が達成される。続いて段階２１５８において、抽象化情報及び／又は記号情報は、学習を通じて形成することができる内部メモリから入力が供給される感情反応及び気分反応の挙動ループの別の層を通じて処理される。感情は、記述することができる機構と、測定及び解析することができる量とを用いて数式に分解され、ロボット内にプログラムされる（例えば、純粋な微笑みと儀礼的な微笑みとを区別するために、微笑みがどの程度急速に形態されるか及びどれ程長く続くかについて顔の表情を取り込むことによって、又は話者の音声品質に基づいて感情を検出することによってプログラムされ、後者の場合、コンピュータは、音声の高さ、エネルギー、及び音量、並びに１つの時点から次の時点までの音量及び高さにおける変動を測定する）。従って感情的な表情に対してある一定の識別可能かつ測定可能な物理指標が存在することになり、この場合、動物の挙動又は人間の発話又は歌声の音におけるこれらの物理指標は、識別可能かつ測定可能な関連の感情属性を有することになる。これらの識別可能かつ測定可能な物理指標に基づいて、感情エンジンは、どの挙動が連係するか、事前学習済みのもの又は新たに学習されるもののどちらであるかに関して決定２１５９を行う。連係する又は実行された挙動及びその実効的な結果は、メモリ内で更新され、経験個性及び自然挙動データベースに追加される２１６０。続く段階２１６１において、経験個性データは、より人間特定の情報に解釈され、続いてロボットが、規定の動き又は結果として生じる動き２１６２を実行することが可能になる。

図９１Ａ～図９１Ｃは、ホルモン、フェロモン、及びその他を有する感情プロファイルの母集団に対して個人の感情プロファイルを比較するプロセス２１８０を例示する流れ図である。図９１Ａは、感情プロファイルアプリケーションのプロセス２１８２を説明しており、この場合、個人の感情パラメータが、監視されてユーザの一般プロファイル２１８４から抽出され、刺激入力に基づいて、パラメータ値は、セグメント化された時系列から導出され、取得され、かつ同様の条件下にある現存のより大きい群に関するものと比較されるベースライン値から変化する。ロボット人間感情エンジン２１０８は、中央データベース内に存在する基本感情プロファイルからパラメータを抽出するように構成される。刺激入力を伴う定義された条件下で個人の感情パラメータを監視することによって、各パラメータ値は、時系列セグメントから導出される現在平均値へとベースラインから変化する。ユーザのデータは、同じ感情プロファイル又は感情条件の下で大きい群から取得された現存プロファイルと比較され、そこから群離脱によって感情及びその感情強度レベルを決定することができる。一部の潜在的な用途は、ロボットコンパニオン、交際相手紹介サービス、蔑視の検出、製品の市場受け入れ、子供不十分な疼痛治療、ｅ－学習、及び自閉症児童を含む。段階２１８６において、１又は２以上の基準パラメータに基づいて第１のレベルの群離脱が行われる（例えば、同じ感情パラメータを有する人々の変化の速さに基づく群離脱）。図９２Ａに示しているように、プロセスは、フェロモンセット、微小表情セット２２２３、個人の心拍数及び発汗２２２５、瞳孔拡張２２２６、観察される反射的な移動２２２９、全身体温の自覚２２２４、及び知覚される状況的圧力又は反射的な移動２２２９によって表される継続的レベルを含むことができる更に別の感情パラメータ比較段階への感情パラメータの群離脱及び分離を続ける。続いて群離脱された感情パラメータは、比較目的で同様のパラメータ群１８１５を決定するために使用される。別の実施形態では、例示しているように第２の１又は２以上の基準パラメータに基づいて第２のレベルの群離脱２１８７へ、更に第３の１又は２以上の基準パラメータに基づいて第３のレベルの群離脱２１８８に群離脱プロセスの精度を更に上げることができる。

図９１Ｂは、怒り等の現在感情２１９０、恐れ等の二次感情２１９１からＮ次に上る幅広い実感情２１９２等の全ての個別感情分類を描示している。続いて次の段階２１９３は、関連の感情プロファイルデータに従って各群内の関連の感情を計算し、それによって、感情状態の強度レベルの評価２１９４が生じ、それによって更にエンジンが適切な動作２１９５を決定することが可能になる。

図９１Ｃは、大規模群の感情プロファイルの発達及び学習の自動化プロセス２２００を描示している。プロセスは、プロファイル／パラメータデータ変化の関連の品質チェック２２０８を伴う様々な供給源からの新しい多供給源感情プロファイル及び条件入力を受信する段階２２０２を含む。段階２２０４において複数の感情プロファイルデータが格納され、複数の機械学習技術２２０６を用いて、各プロファイル及びデータセットを解析して、中央データベース内の適合する（サブ）セットを有する様々な群に分類する反復ループ２２１０が実施される。

図９２Ａは、ホルモンセット、フェロモンセット、及びその他の主要パラメータを監視することによる個人の感情状態の感情検出及び解析２２２０を例示するブロック図である。個人の感情状態は、内部及び／又は外部の刺激を有する定義された条件の下で個人の生理学的兆候を監視して解析し、これらの生理学的兆候がある一定の時系列にわたってどのように変化するかを評価することによって検出することができる。群離脱プロセスの一実施形態は、１又は２以上の基準パラメータに基づいている（例えば、同じ感情パラメータを有する人々の変化の速さに基づく群離脱）。

一実施形態では、感情プロファイルは、入力がフェロモン、ホルモン、又は視覚的又は聴覚的な手掛かり等の他の特徴のあらゆる測定レベルである統計分類子に基づく機械学習法によって検出することができる。特徴セットが、ベクトルとして表される｛ｘ₁，ｘ₂，ｘ₃，…，ｘ_n｝であり、ｙが感情状態を表す場合には、感情検出統計分類子は次式となる。

式中の関数ｆは、決定木、ニューラルネットワーク、ロジスティック回帰子、又は機械学習の文献に説明されている他の統計分類子である。最初の項は、経験誤差（分類子を訓練する間に検出される誤差）を最小化し、複雑度、例えばオッカムの剃刀を最小化し、望ましい結果を生じる最も単純な関数と、この関数に対するパラメータセットｐとが見出される。

これに加えて、フェロモン又はその他の特徴のどれが感情状態を予測するのに最も大きい差（及び最も大きい値）を生じるかを決定するために、一般的に次式として表現される能動学習基準を追加することができる。

式中のＬは「損失関数」であり、ｆは、前式におけるものと同じ統計分類子であり、ｙハットが公知の成果である。新しい特徴を追加することによって統計分類子がより良好に機能する（より小さい損失関数）か否かを測定し、機能する場合にはこれらの特徴を保持し、さもなければ保持しない。

１つの時点から次の時点までの変化又は変換を検出することによって人間の感情プロファイルを作成するために、時間と共に推移するパラメータ、値、及び量を評価することができる。感情表現には識別可能な特質が存在する。環境に応じる感情を有するロボットは、例えば、ロボットが、恐れ、喜び、又は望みによって動機付けされた時に、より素早くかつより効果的な決定を行うことができ、より良好な決定を行い、目標をより効果的かつより効率的に達成することができる。

ロボット感情エンジンは、人間のホルモン感情とフェロモン感情とを個別又は組合せのどちらかで再現する。ホルモン感情は、ホルモンが個人の体内でどのように変化するか、及びそれが個人の感情にどのように影響を与えるかということに関するものである。フェロモン感情は、匂い等の個人の体外にあるフェロモンが個人の感情に影響を与えることに関するものである。個人の感情プロファイルは、ホルモン感情及びフェロモン感情を理解して解析することによって構築することができる。ロボット感情エンジンは、怒り及び恐れ等の個人の感情を個人のホルモンプロファイル及びフェロモンプロファイルを検出するためのセンサを用いることによって理解しようと試る。

個人の感情プロファイルを構築するために、測定すべき９つの主要な生理学的兆候パラメータ、すなわち、（１）体内で分泌され、ある一定の効果を引き起こす様々な生化学経路をトリガする例えばアドレナリン及びインスリンといったホルモンのセット２２２１、（２）体外で分泌され、別の個人に同様な具合の効果を有する例えばアンドロステロール、アンドロステノン、及びアンドロスタジエノンといったフェロモンのセット２２２２、（３）人間が経験した感情に従って示す短い無意識の顔の表情である微小表情２２２３、（４）例えば個人の心拍数が高まる時の心拍数２２２４又は心臓の鼓動、（５）汗２２２５（例えば鳥肌）、例えば、赤面、手掌が汗をかくこと、興奮状態又は神経質な状態、（６）瞳孔拡張２２２６（及び虹彩括約筋、毛様筋）、例えば恐れの感情に応じての短時間にわたる瞳孔拡張、（７）外部刺激への反応として主に脊髄反射弓によって制御される移動／動作である反射の移動ｖ７、例えば下顎反射、（８）体温２２２８、（９）圧力２２２９がある。これらのパラメータがある一定の時間２２３１にわたってどのように変化するかについての解析２２３０は、個人の感情の状態及びプロファイルを明らかにすることができる。

図９２Ｂは、個人の感情挙動について評価及び学習するロボットを例示するブロック図である。内部刺激２２４２及び／又は外部刺激２２４４によるパラメータ示度が解析され２２４０、感情及び／又は非感情反応に分割され、例えば、個人が怒っているか、痛がっているか、又は恋愛中である時には瞳孔光反射は脊髄レベルにしか存在せず、瞳孔サイズが変化する可能性があり、それに対して無意識の反応は、一般的に脳も関与する。中枢神経系刺激薬及び一部の幻覚誘発性薬は、瞳孔の拡張を引き起こす可能性がある。

図９３は、個人の感情プロファイルを検出して記録するために個人の中に植え込まれるポートデバイス２２３０を例示するブロック図である。生理学的兆候の変化を測定する時には、個人が、ある時間間隔にわたる感情プロファイルを監視し、感情変化が開始する時間に第１のタグを有するボタンを押下し、感情変化が完結する時に第２のタグを有するボタンを再度タッチすることによってこの感情プロファイルを記録することができる。このプロセスは、コンピュータが、感情パラメータの変化に基づいて個人の感情プロファイルを評価し、それについて学習することを可能にする。大量のユーザから収集されたデータ／情報を用いて、コンピュータは、各感情に関連する全ての変化を分類し、特定の感情特性に帰することができる有意な特定のパラメータ変化を数学的に見出す。

ユーザが感情又は気分の揺動を経験すると、ホルモン、心拍数、汗、フェロモン等の生理学的パラメータをこの人の身体の皮膚上及び直接静脈に接続するポートを用いて検出して記録することができる。個人は、自分の感情状態変化として自分で気分変化の開始時間及び終了時間を決定することができる。例えば、ある個人が、一週間の範囲内に４つの手動感情サイクルを開始して４つの時系列を作成し、この人によって決定されたものでは、最初の時系列は、自分がタグ付けした開始時間から終了時間まで２．８時間続く。２番目のサイクルは２時間続き、３番目のものは０．８時間、４番目のものは１．６時間続く。

図９４Ａは、ロボット人間－知能エンジン２２５０を描示している。再現エンジン１３６０内には、共通のモジュール間通信バス２２５２を通じて全てが互いに相互接続された複数の追加モジュールを両方共に含む訓練ブロックと適用ブロックとを含む２つの主要ブロックが存在する。人間－知能エンジンの訓練ブロックは、センサ入力モジュール２５２２と、人間入力刺激モジュール２２５４と、入力刺激に反応する人間－知能反応モジュール２２５６と、知能反応記録モジュール２２５８と、品質チェックモジュール２２６０と、学習機械モジュール２２６２とを含むがこれらに限定されない更に別のモジュールを含む。人間－知能エンジンの適用ブロックは、入力解析モジュール２２６４と、センサ入力モジュール２２６６と、反応生成モジュール２２６８と、フィードバック調節モジュール２２７０とを含むがこれらに限定されない更に別のモジュールを含む。

図９４Ｂは、ロボット人間知能システム２１０８のアーキテクチャを描示している。システムは、認知ロボットエージェントと人間技能実行モジュールとの両方に分割される。両方のモジュールは、感覚フィードバックデータ２１０９並びに感知動きデータ及びモデル化動きデータを共有する。認知ロボットエージェントモジュールは、両方共に学習モジュール２２８８を通じて更新される調節及び改正モジュール２２８６に相互接続された知識データベース２２８２を表すモジュールを含むが、必ずしもこれらに限定されない。現存の知識２２９０が実行監視モジュール２２９２に供給され、これに加えて、現存の知識２２９４が自動化解析及び推論モジュール２２９６に供給され、これらのモジュールの両方が、人間技能実行モジュールから感知フィードバックデータ２１０９を受信し、更に両方共に学習モジュール２２８８に情報を供給する。人間技能実行モジュールは、収集及び処理を行う複数のフィードバック（視覚及び聴覚）供給源に制御信号の基礎を置く制御モジュール２２０９、並びに標準化された機材、ツール、及び補助用品を利用するロボットを有するモジュール２２３０の両方で構成される。

図９５Ａは、ロボット描画システム２１０２に関するアーキテクチャを描示している。このシステム内には、スタジオロボット描画システム２３３２と商用ロボット描画システム２３３４との両方が含まれ、これらのシステムは、単発の購入又は購読ベースの支払いに基づいてロボット描画のためのソフトウェアプログラムファイル又はアプリケーションをスタジオロボット描画システム２３３２から商用ロボット描画システム２３３４に配信することを可能するために通信可能に接続される。スタジオロボット描画システム２３３２は、（人間の）画家２３３７と、この画家の移動及びプロセスを取り込んで記録する動き及び動作感知デバイスと描画フレーム取り込みセンサとにインタフェース接続され、関連のソフトウェア描画ファイルをメモリ２３４０に格納するコンピュータ２３３８とを含む。商用ロボット描画システム２３３４は、ユーザ２３４２と、ソフトウェア描画ファイル又はアプリケーションに従い、更にシミュレーションモデルを較正する目的で視覚フィードバックに従って画家２３３７の移動を再現するようにロボットアームとインタフェース接続されてそれを制御することができるロボット描画エンジンを有するコンピュータ２３４４とで構成される。

図９５Ｂは、ロボット描画システムアーキテクチャ２３５０を描示している。このアーキテクチャは、動き感知入力デバイス及びタッチフレーム２３５４と、イーゼル２３８４、すすぎ洗浄シンク２３６０、四脚画架２３６２、ストレージ収納庫２６３４、及び画材容器２３６６（絵の具、溶剤等）を含む標準化ワークステーション２３５６と、標準化されたツール及び補助用品（筆、絵の具等）２３６８と、視覚入力デバイス（カメラ等）２３７０と、１又は２以上のロボットアーム７０と、ロボットハンド（又は少なくとも１つの把持器）７２とを含むがこれらに限定されいな複数の外部デバイスに／とインタフェース接続されたコンピュータ２３７４を含む。

コンピュータモジュール２３７４は、描画移動エミュレータ２３７８にインタフェース接続されたロボット描画エンジン２３７６と、描画実行プロセスの視覚フィードバックに基づいて機能する描画制御モジュール２３８０と、描画実行プログラムファイルを格納するためのメモリモジュール２３８２と、適切な描画ツールの選択及び使用を学習するためのアルゴリズム２３８４と、拡張シミュレーション検証及び較正モジュール２３８６とを含むがこれらに限定されないモジュールを含む。

図９５Ｃは、ロボット人間－描画－技能－再現エンジン２１０２を描示している。ロボット人間－描画－技能－再現エンジン２１０２内には、全てが共通のモジュール間通信バス２３９３を通じて互いに相互接続された複数の追加モジュールが存在する。この再現エンジン２１０２は、全てがソフトウェア保守モジュール２４０６によって監督される、入力モジュール２３９２と、描画移動記録モジュール２３９４と、補助／追加感知データ記録モジュール２３９６と、描画移動プログラムモジュール２３９８と、ソフトウェア実行手順プログラムファイルを含むメモリモジュール２３９９と、記録済みセンサデータに基づいて実行指令を発生させる実行手順モジュール２４００と、標準化描画パラメータを含むモジュール２４０２と、出力モジュール２４０４と、（出力）品質チェックモジュール２４０３とを含むがこれらに限定されない更に別のモジュールを含む。

美術プラットフォームの標準化の一実施形態を以下の通りに定義する。第１に、美術プラットフォーム内にあるあらゆるタイプの美術ツール（筆、絵の具、キャンバス等）の標準化された位置及び向き（ｘｙｚ）。第２に、各美術プラットフォーム内の標準化作動空間領域の寸法及びアーキテクチャ。第３に、各美術プラットフォーム内にある標準化美術ツールセット。第４に、各美術プラットフォーム内にある操作ライブラリを有する標準化ロボットのアーム及びハンド。第５に、各美術プラットフォーム内において描画記録機能、実行追跡機能、及び品質チェック機能に対する動的３次元視覚データを作成するための標準化３次元視覚デバイス。第６に、特定の描画実行中の全ての使用絵の具の標準化されたタイプ／製造者／マーク。第７に、特定の描画実行中のキャンバスの標準化されたタイプ／製造者／マーク／サイズ。

標準化美術プラットフォームを有することの１つの主な目的は、オリジナルの画家によって実行された描画プロセスと、後にロボット美術プラットフォームによって複製される描画プロセスとで同じ結果（すなわち同じ絵画）を得ることである。標準化美術プラットフォームを用いる上で強調すべき一部の主な点は、（１）画家と自動ロボット実行とで同じ時系列（同じ操作シーケンス、各操作の同じ開始時間及び終了時間、操作の間で動く物体の同じ速さ）を有すること、（２）描画プロセス中の各操作の後にあらゆる失敗結果を回避するために品質チェック（３Ｄ視覚、センサ）があることである。従って、描画が標準化美術プラットフォームにおいて行われる場合には、同じ結果を持たない危険性が低減される。非標準化美術プラットフォームが使用される場合には、描画が、画家のスタジオ内でロボット美術プラットフォーム内のものと同じ空間領域、同じ美術ツール、同じ絵の具、又は同じキャンバスを用いて実行されない時に調節アルゴリズムが必要とされる可能性があるので、この場合は同じ結果を持たない（すなわち同じ絵画ではない）危険性を高めることになる。

図９６Ａは、スタジオ描画システムとプログラム商業化プロセス２４１０とを描示している。最初の段階２４５１は、人間の画家が、主題、構成、メディア、ツール、及び機材等の項目について決定を行う段階を含むスタジオロボット描画システム内で作成すべき作品に関係する決定を行うためのものである。段階２４５２において、これら全てのデータをロボット描画エンジンに入力し、その後、段階２４５３において、標準化されたワークステーション、ツール、機材、補助用品、及び画材、並びに動き及び視覚の入力デバイスを必要とされ、設定手順内に明記された通りに設定する。画家は、段階２４５４においてプロセスの開始点を設定してスタジオ描画システムを起動し、その後、実際の描く段階２４５５を開始する。段階２４５６において、スタジオ描画システムが、描画プロセス全体中に既知のｘｙｚ座標系内の画家の移動の動き及びビデオを実時間で記録する。描画スタジオ内で収集されたデータは、続いて段階２４５７において格納され、ロボット描画エンジンが、格納済みの移動及びメディアのデータに基づいてシミュレーションプログラムを生成することが可能になる２４５８。段階２４５９において、様々なオペレーティングシステム及びモバイルシステムによる使用に向けて、制作された絵画のロボット描画プログラムファイル又はアプリケーション（アプリ）が開発されて統合され、単発購入又は購読ベースの販売に向けてアプリストア又はその他のマーケットプレイスに提出される。

図９６Ｂは、ロボット描画エンジンに関する論理実行フロー２４６０を描示している。最初の段階として、段階２４６１において、ユーザが絵画の題名を選択し、段階２４６２において、入力がロボット描画エンジンによって受け取られる。段階２４６３において、ロボット描画エンジンは、描画実行プログラムファイルを搭載型メモリ内にアップロードし、続いて段階２４６４に進み、必要なツール及び補助用品を計算する。入庫段階２４６５が、ツール又は補助用品の不足があるか否かに関する回答を与え、不足がある場合には、システムは、注文リスト又は別の絵画に関する警報又は提案を送る２４６６。不足の場合には、エンジンは、段階２４６７において選択を確認し、ユーザが、描画実行プログラムファイル内に含まれる段階毎の指示を用いて標準化ワークステーション、動き、及び視覚入力デバイスを設定する段階で構成される段階２４６８に進むことを可能にする。終了すると、ロボット描画エンジンは、適正な設定を検証する点検段階２４６９を実施し、段階２４７０を通じてエラーを検出した場合には、システムエンジンは、エラー警報２４７２をユーザに送り、ユーザに設定をチェックし直して検出されたあらゆる不備を修正するように促すことになる。エラーが検出されずにチェックが通った場合には、段階２４７１において設定がエンジンによって確認されることになり、段階２４７３においてエンジンがユーザに開始点を設定して再現システム、視覚フィードバックシステム、及び制御システムを起動するように促すことが可能になる。段階２４７４において、ロボットアームが、移動、ツール及び機材の使用を含む描画プログラム実行ファイル内に指定された段階を描画プログラム実行ファイルによって指定されたものに同一のペースで実行することになる。視覚フィードバック段階２４７５は、描画プロセスの上首尾の実行及びその成果を定義する被制御パラメータデータに対して描画再現プロセスの実行を監視する。ロボット描画エンジンは、再現プロセス全体がスタジオ描画システムによって取り込まれて保存されたものに同一の最終状態に到達するという目標で再現プロセスの忠実度を高めるために更にシミュレーションモデルの検証段階２４７６を取る。描画が終了すると、適用された画材（絵の具、ペースト等）に関する乾燥時間及び硬化時間を含む通知２４７７がユーザに送られる。

図９７Ａは、ロボット人間楽器－技能－再現エンジン２１０４を描示している。ロボット人間楽器－技能－再現エンジン２１０４内には、全てが共通のモジュール間通信バス２４７８を通じて互いに相互接続された複数の追加モジュールが存在する。この再現エンジンは、全てがソフトウェア保守モジュール２４９８によって監督される可聴（デジタル）オーディオ入力モジュール２４８０と、人間の楽器演奏の移動記録モジュール２４８２と、補助／追加感知データ記録モジュール２４８４と、楽器演奏移動プログラムモジュール２４８６と、ソフトウェア実行手順プログラムファイルを含むメモリモジュール２４８８と、記録済みセンサデータに基づいて実行指令を発生させる実行手順モジュール２４９０と、標準化楽器演奏パラメータ（例えば、ペース、圧力、角度等）を含むモジュール２４９２と、出力モジュール２４９４と、（出力）品質チェックモジュール２４９６とを含むがこれらに限定されない更に別のモジュールを含む。

図９７Ｂは、音楽家再現エンジン２１０４に対して実施されるプロセス及び論理フローを描示している。最初に段階２５０１において、ユーザは、楽曲名及び／又は作曲家を選択し、続いて段階２５０２において、この選択をロボットエンジンによって行うべきか、又は人間との対話的操作を通じて行うべきかがユーザに問い合わせられる。段階２５０３においてロボットエンジンが題名／作曲家を選択することをユーザが選択した場合には、エンジン２１０４は、段階２５１２において独自の創造性解釈を用いて、段階２５０４において人間のユーザに選択プロセスに入力を供給することを提案するように構成される。人間が入力を供給することを断った場合には、ロボット音楽家エンジン２１０４は、段階２５１９において調性、高さ、及び楽器法、並びに旋律変化への手動入力等の設定を用い、段階２５２０において必要な入力を収集し、選択された楽器演奏実行プログラムファイルを段階２５２１において生成してアップロードし、段階２５２２においてロボット音楽家エンジンが選択を確認した後に、段階２５２３においてユーザが好ましいものを選択することを可能にするように構成される。人間によって行われた選出は、続いて段階２５２４において個人的プロファイルデータベース内に個人的選出として格納される。段階２５１３において人間が問い合わせに対する入力を供給することを決定した場合には、ユーザは、段階２５１３において追加の感情入力（顔の表情、写真、新しい記事等）を選択プロセスに供給することができることになる。段階２５１４からの入力は、段階２５１５においてロボット音楽家エンジンによって受け取られ、エンジンが段階２５１６に進むことが可能になり、この段階においてエンジンは全ての利用可能な入力データに関連する情緒解析を実施し、人間からの感情入力データにとって適切な気分及び様式に基づく楽曲選択をアップロードする。段階２５１７におけるアップロードされた楽曲選択についてのロボット音楽家エンジンによる選択確認を受けて、ユーザは、段階２５１８においてこの選択に対するプログラムファイルを演奏するための「開始」ボタンを選択することができる。

人間が題名／作曲家の選択に密接に関与したいと望む場合に、システムは、選択された題名に対する演奏者のリストを段階２５０３において人間に対してディスプレイ上に提示する。段階２５０４において、ユーザは、システムが段階２５０５において受信する選定入力である望みの演奏者を選択する。段階２５０６において、ロボット音楽家エンジンは、楽器演奏実行プログラムファイルを生成してアップロードし、段階２５０７に進んで特定の楽器上での人間の演奏実施とロボット音楽家の演奏実施との間で潜在的な制約を比較する。チェック段階２５０８は、格差が存在するか否かを決定する。格差が存在する場合には、段階２５０９において、システムは、ユーザの嗜好プロファイルに基づいて他の選択を提案することになる。実施格差が存在しない場合には、ロボット音楽家エンジンは、段階２５１０において選択を確認することになり、ユーザが段階２５１１に進むことを可能にし、この段階でユーザは、この選択に対するプログラムファイルを演奏するための「開始」ボタンを選択することができる。

図９８は、ロボット人間－看護－ケア技能－再現エンジン２１０６を描示している。ロボット人間－看護－ケア技能－再現エンジン２１０６内には、共通のモジュール間通信バス２５２１を通じて全てが互いに相互接続された複数の追加モジュールが存在する。再現エンジン２１０６は、全てがソフトウェア保守モジュール２５３８によって監督される入力モジュール２５２０と、看護移動記録モジュール２５２２と、補助／追加感知データ記録モジュール２５２４と、看護移動プログラムモジュール２５２６と、ソフトウェア実行手順プログラムファイルを含むメモリモジュール２５２８と、記録済みセンサデータに基づいて実行指令を発生させる実行手順モジュール２５３０と、標準化看護パラメータを含むモジュール２５３２と、出力モジュール２５３４と、（出力）品質チェックモジュール２５３６とを含むがこれらに限定されない更に別のモジュールを含む。

図９９Ａは、ロボット人間看護ケアシステムプロセス２５５０を描示している。第１の段階２５５１は、ユーザ（被看護者又は家族／友人）が、被看護者に対するアカウントを作成し、個人データ（名前、年齢、ＩＤ等）を提供する段階を含む。生体計測データ収集段階２５５２は、顔画像、指紋、音声サンプル等を含む個人データの収集を含む。続いて段階２５５３において、ユーザは、緊急連絡先に関する連絡先情報を入力する。段階２５５４において、ロボットエンジンは、ユーザのアカウント及びプロファイルを構築するためにこれら全ての入力データを受信する。段階２５５５においてユーザが遠隔健康監視プログラムの下にないと決定された場合には、ロボットエンジンは、段階２５６１の一部として、将来のタッチ画面目的又は音声ベースの指令インタフェース目的で、アカウント作成確認メッセージ及び自己ダウンロード手動ファイル／アプリをユーザのタブレット、ＴＶ、スマート電話、又はその他のデバイスに送る。ユーザが遠隔健康監視プログラムの一部である場合には、ロボットエンジンは、段階２５５６において医療記録にアクセスするための許可を要求することになる。段階２５５７の一部として、ロボットエンジンは、ユーザの病院及び診察室、実験室、並びに医療保険のデータベースと接続し、ユーザについての医療履歴、処方箋、治療、及び適切なデータを受信し、ユーザに特定のファイル内への格納に向けて診療実行プログラムを生成する。次の段階２５５８として、ロボットエンジンは、連続監視を可能にするために、ユーザの着用可能医療デバイス（血圧モニタ、脈センサ、及び血中酸素センサ等）又は更には電子制御可能投薬システム（経口又は注射に関わらず）のうちのいずれか及び全てと接続する。続く段階として、ロボットエンジンは、医療データファイル及び感知入力を受信し、それによって段階２５５９においてロボットエンジンがユーザのアカウントに対して１又は２以上の診療実行プログラムファイルを生成することが可能になる。次の段階２５６０は、ユーザの情報、日常活動、関連のパラメータ、及び過去又は将来のあらゆる医療イベント又は予約のためのセキュアクラウドストア空間の作成を含む。前と同様に段階２５６１において、ロボットエンジンは、将来のタッチ画面目的又は音声ベースの指令インタフェース目的で、アカウント作成確認メッセージ及び自己ダウンロード手動ファイル／アプリをユーザのタブレット、ＴＶ、スマート電話、又はその他のデバイスに送る。

図９９Ｂは、最初に図９９Ａで開始したロボット人間看護ケアシステムプロセス２２５０の続きであるが、今度はユーザの環境における物理的に存在するロボットに関連するものを描示している。最初の段階２５６２として、ユーザは、デフォルトの構成及び場所（例えば充電ステーション）にあるロボットを起動する。タスク２５６３において、ロボットはユーザの音声ベース又はタッチ画面ベースの指令を受信し、１つの特定の指令又は動作又は指令又は動作の群を実行する。段階２５６４において、ロボットは、音声指令及び顔認識指令を用いたユーザとの連係、ユーザの反応又は挙動に基づいて特定のタスク及び活動を実施し、特定的又は全体的な状況の知識に基づいてタスク緊急度及びタスク優先度等の因子を決定する。タスク２５６５において、ロボットは、障害物のない経路に沿う移動を最適化すため、場合によっては更にオーディオ／ビデオ遠距離会議能力を与えるためにユーザに代わるアバターとしての役割を果たすため、又はあらゆる制御可能家庭器具とインタフェース接続するために、物体認識及び環境感知のアルゴリズム、位置付け及びマッピングのアルゴリズムを用いて１又は２以上の物品の一般的な分配、把持、移動を実施してタスクを終了する。段階２５６８において、ロボットは、センサ入力及びユーザのプロファイルデータに基づいてユーザの医療状態を継続的に監視しており、段階２５７０において、潜在的な医療的に危険な潜在的病態の起こり得る兆候について監視し、第一応答者又は家族メンバの即時対応を必要とするあらゆる潜在的状況についてこれらの者に通知する能力を有する。段階２５６６において、ロボットは、あらゆる未決タスク又は残存タスクについて継続的にチェックし、段階２５２２からのあらゆるユーザ入力に反応するように常時準備が整った状態に留まる。

一般論として、個人が作業機材を用いて生成物を調製する時に複数のロボットセンサによって個人の移動の観察シーケンスを感知する段階と、生成物を調製する各ステージにおいて実施される移動シーケンスに対応する小規模操作を観察シーケンス内で検出する段階と、感知された観察シーケンスを小規模操作シーケンスを実施することができるロボット装置を制御するためのコンピュータ可読命令に変換する段階と、生成物に関して、少なくとも小規模操作に対する命令シーケンスを電子媒体に格納する段階とを含むロボットシステムのための動きの取り込み及び解析の方法を考案することができる。この方法は、複数の生成物に対して繰り返すことができる。生成物に対する小規模操作シーケンスは、好ましくは電子記録として格納される。小規模操作は、物体を切断する段階、物体を加熱する（オーブン内で、又は油又は水を用いてコンロ上で）段階、又は同様の段階等のマルチステージプロセスの抽象化部分とすることができる。続いて本方法は、生成物に関する電子記録を個人のオリジナル動作に対応する格納された小規模操作のシーケンスを再現することができるロボット装置に送信する段階を更に含むことができる。これに加えて、本方法は、生成物に関する小規模操作に対する命令シーケンスをロボット装置７５によって実行し、それによって個人によって調製されたオリジナルの生成物と実質的に同じ結果を得る段階を更に含むことができる。

別の一般的な態様では、各小規模操作が生成物を調製するステージにおいて少なくとも１つの識別可能な結果を生じる標準小規模操作に対する事前プログラムされた命令のシーケンスを与える段階と、個人が機材を用いて生成物を調製する時に、複数のロボットセンサによって個人の移動に対応する観察シーケンスを感知する段階と、小規模操作が１又は２以上の観察に対応し、小規模操作シーケンスが生成物の調製に対応する場合に、１又は２以上の観察に対応する小規模操作を生成物の調製に対応する観察シーケンス内で検出する段階と、小規模操作が各々ロボット命令シーケンスを含み、ロボット命令が動的感知作動とロボット動作作動とを含む感知された個人動きシーケンスに基づいて事前プログラムされた標準小規模操作のシーケンスを認識するためのソフトウェア実装式方法に基づいて、観察シーケンスをロボット命令に変換する段階と、小規模操作シーケンスとそれに対応するロボット命令とを電子媒体に格納する段階とを含むロボット装置を操作する方法を考案することができる。好ましくは、生成物に関する命令シーケンスと、それに対応する小規模操作とは、生成物を調製するための電子記録として格納される。この方法は、複数の生成物に対して繰り返すことができる。本方法は、ロボット命令シーケンスを再現及び実行することができるロボット装置に命令シーケンスを送信する（好ましくは電子記録形態で）段階を更に含むことができる。本方法は、生成物に関するロボット命令をロボット装置によって実行し、それによって人間によって調製されたオリジナルの生成物と実質的に同じ結果を得る段階を更に含むことができる。方法が複数の生成物に対して繰り返される場合には、上記に加えて、本方法は、生成物の名称、生成物の原材料、及び原材料から生成物を作製するための方法（レシピ等）を含む１又は２以上の生成物の電子記述ライブラリを与える段階を含むことができる。

別の一般化的された態様は、各指示がロボット命令シーケンスを含み、ロボット命令が動的感知作動とロボット動作作動とを含む個人のオリジナル動作に対応する小規模操作の一連の指示で構成される生成物を作製するための命令セットを受信する段階と、小規模操作シーケンスを再現することができるロボット装置に命令セットを供給する段階と、生成物に関する小規模操作に対する命令シーケンスをロボット装置によって実行し、それによって個人によって調製されたオリジナルの生成物と実質的に同じ結果を得る段階とを含むロボット装置を操作する方法を提供する。

異なる態様において、複数の生成物調製の移動を有するレシピを複製するためのロボット命令スクリプトを実行する段階と、各調製の移動が、標準ツール又は標準物体の標準把持動作として識別されるか、標準ハンド操作動作又は標準物体として識別されるか、又は非標準物体として識別されるかを決定する段階と、各調製の移動に関して、調製の移動が標準物体の標準把持動作を含む場合に、ロボット調理デバイスに第１のデータベースライブラリにアクセスするように命令する段階、食品調製の移動が標準ハンド操作動作又は標準物体を含む場合に、ロボット調理デバイスに第２のデータベースライブラリにアクセスするように命令する段階、及び食品調製の移動が非標準物体を含む場合に、ロボット調理デバイスに非標準物体の３次元モデルを作成するように命令する段階のうちの１又は２以上の段階とを含むロボット装置を操作する更に一般化された方法を考案することができる。決定段階及び／又は命令段階は、特に、コンピュータシステムにおいて又はそれによって実施することができる。コンピュータシステムは、プロセッサ及びメモリを有することができる。

別の態様は、レシピが１又は２以上の調製ステージに分解され、各調製ステージが小規模操作及び動的プリミティブのシーケンスに分解され、各小規模操作が動作プリミティブシーケンスに分解されるロボット装置７５によって生成物（食品料理等）を調製することによってレシピを再現する段階を含むロボット装置７５による生成物調製のための方法に見出すことができる。好ましくは、各小規模操作は、該当する物体の位置、向き、形状、及び１又は２以上の該当する原材料に鑑みて当該小規模操作に対して最適な結果を生じるように試験済みである（好結果を伴って）。

更に別の方法態様は、キッチン環境等の標準化タスク環境モジュールの周囲にあるセンサから濾過生データを受信する段階と、濾過生データからスクリプトデータシーケンスを発生させる段階と、スクリプトデータシーケンスを機能を実施する１対のロボットのアーム及びハンドを制御するための指令を含む生成物を調製するための機械可読かつ機械実行可能指令に変換する段階とを含むレシピスクリプト生成のための方法において考案することができる。この機能は、１又は２以上の調理ステージ、１又は２以上の小規模操作、及び１又は２以上の動作プリミティブからなる群からのものとすることができる。この方法に従って作動するように構成されたハードウェア特徴及び／又はソフトウェア特徴を含むレシピスクリプト生成システムを考案することもできる。

上記の態様のうちのいずれにおいても、以下のことを考案することができる。通常、生成物の調製は、原材料を用いる。命令を実行する段階は、一般的に生成物の調製に使用される原材料の性質を感知する段階を含む。生成物は、（食品）レシピ（電子記述内に保持することができる）に従った食品料理とすることができ、個人はシェフとすることができる。作業機材は、キッチン機材を含むことができる。これらの方法は、本明細書で説明した他の特徴のうちのいずれか１つ又は２以上との組合せで用いることができる。態様の特徴のうちの１つ、１つよりも多く、又は全てを組み合わせることができ、従って例えば１つの態様からの特徴を別の態様と組み合わせることができる。各態様は、コンピュータ実装式のものとすることができ、コンピュータ又はプロセッサによって作動された時に各方法を実施するように構成されたコンピュータプログラムを提供することができる。各コンピュータプログラムは、コンピュータ可読媒体上に格納することができる。これに加えて又はこれに代えて、プログラムは、部分的又は完全にハードウェア実装のものとすることができる。これらの態様は、組み合わせることができる。これらの態様のうちのいずれかに関して説明した方法に従って作動するように構成されたロボットシステムを提供することもできる。

別の態様において、第１の計装環境内で人間の動きを観察して人間の動きデータを生成することができるマルチモード感知システムと、マルチモード感知システムに通信的に結合され、マルチモード感知システムから受け取った人間の動きデータを記録し、好ましくはロボットシステムの操作を定義するような動きプリミティブを抽出するように人間の動きデータを処理するためのプロセッサ（コンピュータとすることができる）とを備えたロボットシステムを提供することができる。動きププリミティブは、本明細書で（例えば直前の段落で）説明した小規模操作とすることができ、標準フォーマットを有することができる。動きプリミティブは、特定のタイプの動作及びそのタイプの動作のパラメータ、例えば、定義された開始点、終了点、力、及び把持タイプを有する引っ張り動作を定義することができる。任意的に、更に、プロセッサ及び／又はマルチモード感知システムに通信的に結合されたロボット装置を提供することができる。ロボット装置は、第２の計装環境内で観察された人間の動きを再現するために動きプリミティブ及び／又は人間の動きデータを用いることができるものとすることができる。

更に別の態様において、人間の動きから取り込まれた人間の動きデータに基づくロボットシステムの操作を定義する動きプリミティブを受信するためのプロセッサ（コンピュータとすることができる）を含むロボットシステムと、プロセッサに通信的に結合されて、動きプリミティブを用いて計装環境内で人間の動きを再現することができるロボットシステムとを提供することができる。これらの態様を更に組み合わせることができることが理解されるであろう。

更に別の態様は、第１及び第２のロボットアームと、各ハンドがそれぞれのアームに結合された手首を有し、各ハンドが手掌と複数の多関節指とを有し、それぞれのハンド上の各多関節指が少なくとも１つのセンサを有する第１及び第２のロボットハンドと、複数の埋め込みセンサを有するそれぞれのハンドを各々が覆う第１及び第２のグローブとを含むロボットシステムに見出すことができる。好ましくは、ロボットシステムは、ロボットキッチンシステムである。

異なるが関連する態様において、標準化タスク環境モジュール、好ましくはキッチンと、人間に物理的に結合されるように構成された第１のタイプのセンサ及び人間から離間するように構成された第２のタイプのセンサを有する複数のマルチモードセンサとを含む動き取り込みシステムを更に提供することができる。第１のタイプのセンサは、人間外肢の姿勢を測定し、人間外肢の動きデータを感知するためのものとすることができること、第２のタイプのセンサは、人間外肢の環境、物体、移動、及び場所のうちの１又は２以上の３次元構成の空間位置合わせを決定するためのものとすることができること、第２のタイプのセンサは、活動データを感知するように構成することができること、標準化タスク環境は、第２のタイプのセンサとインタフェース接続するためのコネクタを有することができること、第１のタイプのセンサ及び第２のタイプのセンサは、動きデータと活動データを測定し、動きデータと活動データの両方を生成物（食品等）の調製に関するストレージ及びプロセスに向けてコンピュータに送ることのうちの１又は２以上が該当する。

これに加えて又はこれに代えて、５つの指と、内部関節及び変形可能面材料を手掌の橈骨側で親指の基部の近くに配置された第１の変形可能領域、手掌の尺骨側で橈骨側から離隔して配置された第２の変形可能領域、及び手掌上に配置され、指の基部にわたって延びる第３の変形可能領域という３つの領域内に有する５つの指に接続された手掌とを含む感知グローブで被覆されたロボットハンドにおける態様を考案することができる。好ましくは、第１の変形可能領域と、第２の変形可能領域と、第３の変形可能領域と、内部関節との組合せは集合的に作動し、特に食品調製に関する小規模操作を実施する。

上記のシステム、デバイス、又は装置の態様のうちのいずれに関しても、システムの機能を実施するための段階を含む方法の態様を更に提供することができる。これに加えて又はこれに代えて、任意的な特徴を他の態様に関して本明細書で説明した特徴のうちのいずれか１つ又は２以上に基づいて見出すことができる。

図１００は、作成者の記録システム２７１０と商用ロボットシステム２７２０とを有するロボット人間技能再現システム２７００の一般適用性（又は汎用性）を例示するブロック図である。人間技能再現システム２７００は、対象の専門家又は作成者２７１１の移動又は操作を取り込むために用いることができる。作成者２７１１は、そのそれぞれの分野における専門家とすることができ、調理、描画、医療診断、又は楽器演奏等の特定のタスクを洗練させるのに必要な技能を獲得した職業者又はあらゆる者とすることができる。作成者の記録システム２７１０は、感知入力、例えば動き感知入力を有するコンピュータ２７１２と再現ファイル及び対象者／技能ライブラリ２７１４を格納するためのメモリ２７１３とを備える。作成者の記録システム２７１０は、専用コンピュータとすることができるか、又は作成者２７１１の移動を記録して取り込み、更にこれらの移動を解析し、コンピュータ２７１２上で処理してメモリ２７１３に格納することができる段階に細分化にするための能力を有する汎用コンピュータとすることができる。センサは、あらゆるタイプの視覚センサ、ＩＲセンサ、熱センサ、近接度センサ、又はタスクを実施するのにロボットシステムによって必要とされる小規模操作を細分化し、完成させるための情報を収集することができるいずれかの他のタイプのセンサとすることができる。メモリ２７１３は、あらゆるタイプの遠隔メモリ方式又は局所メモリ方式のストレージとすることができ、磁気、光学、又はいずれかの他の公知の電子ストレージシステム上に格納することができる。メモリ２７１３は、公衆又は私設のクラウドベースのシステムとすることができ、局所的に準備することができる、又は第三者が提供することができる。対象者／技能ライブラリ２７１４は、過去に記録されて取り込まれた小規模操作の集積体又は集合体とすることができ、タスク毎、ロボット構成要素毎、又は技能毎等の論理順又は関係順に分類又は配列することができる。

商用ロボットシステム２７２０は、ユーザ２７２１と、ロボット実行エンジンを有するコンピュータ２７２２と、小規模操作ライブラリ２７２３とを含む。コンピュータ２７２２は汎用又は専用のコンピュータを含み、プロセッサ及び／又はその他の標準コンピューティングデバイスのあらゆる集積体とすることができる。コンピュータ２７２２は、記録システムによって取り込まれた移動を再生するためにアーム／ハンド等のロボット要素又は完全な人間型ロボットを作動させるためのロボット実行エンジンを備える。コンピュータ２７２２は、記録プロセス中に取り込まれたプログラムファイル又はアプリに従って作成者２７１１の標準化物体（例えばツール及び機材）を作動させることもできる。コンピュータ２７２２は、シミュレーションモデルの較正及び実時間調節に向けて３Ｄモデル化フィードバックを制御し、取り込むこともできる。小規模操作ライブラリ２７２３は、作成者の記録システム２７１０から通信リンク２７０１を通じて商用ロボットシステム２７２０にダウンロードされた取り込み済み小規模操作を格納する。小規模操作ライブラリ２７２３は、小規模操作を局所的又は遠隔的に格納することができ、これらの小規模操作を事前定義ベース又はリレーショナルベースで格納することができる。通信リンク２７０１は、（対象者の）人間技能に関するプログラムファイル又はアプリを購入ベース、ダウンロードベース、又は購読ベースで商用ロボットシステム２７２０に伝送する。作動時にロボット人間技能再現システム２７００は、作成者２７１１がタスク又は一連のタスクを実施することを可能にし、これらのタスクはコンピュータ２７１２上に取り込まれ、メモリ２７１３に格納されて小規模操作ファイル又は小規模操作ライブラリが作成される。次にこれらの小規模操作ファイルを、通信リンク２７０１を通じて商用ロボットシステム２７２０に伝達し、コンピュータ２７２２上で実行することができ、それによってハンド及びアームのロボット外肢セット又は人間型ロボットが、作成者２７１１の移動を複製する。この方式で、必要なタスクを完了するために作成者２７１１の移動がロボットによって再現される。

図１０１は、様々なモジュールを有するロボット人間技能再現エンジン２８００を例示するソフトウェアシステム図である。ロボット人間技能再現エンジン２８００は、入力モジュール２８０１と、作成者の移動記録モジュール２８０２と、作成者の移動プログラムモジュール２８０３と、センサデータ記録モジュール２８０４と、品質チェックモジュール２８０５と、ソフトウェア実行手順プログラムファイルを格納するためのメモリモジュール２８０６と、記録されたセンサデータに基づくものとすることができる技能実行手順モジュール２８０７と、標準技能移動及び物体パラメータ取り込みモジュール２８０８と、小規模操作移動及び物体パラメータモジュール２８０９と、保守モジュール２８１０と、出力モジュール２８１１とを備えることができる。入力モジュール２８０１は、キーボード、マウス、又はその他の入力デバイス等のあらゆる標準入力デバイスを含むことができ、情報をロボット人間技能再現エンジン２８００内に入力するために用いることができる。作成者移動記録モジュール２８０２は、ロボット人間技能再現エンジン２８００が作成者２７１１の移動又は小規模操作を記録している時に作成者２７１１の全ての移動及び動作を記録して取り込む。記録モジュール２８０２は、入力をいずれか公知のフォーマットで記録することができ、作成者の移動を基本的移動を構成する小さい漸次的移動に構造分解することができる。作成者移動記録モジュール２８０２はハードウェア又はソフトウェアを備えることができ、あらゆる個数の論理回路又は論理回路のあらゆる組合せを備えることができる。作成者の移動プログラムモジュール２８０３は、システムが移動を取り込んで複写することを可能にするのではなく、作成者２７１１が移動をプログラムすることを可能にする。作成者の移動プログラムモジュール２８０３は、入力命令と、作成者２７１１を観測することによって取得された取り込み済みパラメータとの両方を通じての入力を可能にすることができる。作成者の移動プログラムモジュール２８０３はハードウェア又はソフトウェアを備えることができ、あらゆる個数の論理回路又は論理回路のあらゆる組合せを利用して実装することができる。センサデータ記録モジュール２８０４は、記録プロセス中に取り込まれるセンサ入力データを記録するために用いられる。センサデータ記録モジュール２８０４はハードウェア又はソフトウェアを備えることができ、あらゆる個数の論理回路又は論理回路のあらゆる組合せを利用して実装することができる。センサデータ記録モジュール２８０４は、動き、ＩＲ、聴覚、又は同様のもの等の一連のセンサによって監視されているタスクを作成者２７１１が実施している時に利用することができる。センサデータ記録モジュール２８０４は、実施されているタスクの小規模操作を生成するために用いるべき全てのデータをこれらのセンサから記録する。品質チェックモジュール２８０５は、到着するセンサデータ、全体的な再現エンジン、センサ、又はシステムのいずれかの他の構成要素又はモジュールの健全性を監視するために用いることができる。品質チェックモジュール２８０５はハードウェア又はソフトウェアを備えることができ、あらゆる個数の論理回路又は論理回路のあらゆる組合せを利用して実装することができる。メモリモジュール２８０６はあらゆるタイプのメモリ要素とすることができ、ソフトウェア実行手順プログラムファイルを格納するために用いることができる。メモリモジュール２８０６は局所メモリ又は遠隔メモリを備えることができ、短期的、永久的、又は一時的なメモリストレージを用いることができる。メモリモジュール２８０６は、あらゆる形態の磁気的、光学的、又は機械的なメモリを利用することができる。技能実行手順モジュール２８０７は、記録されたセンサデータに基づいて特定の技能を実装するために用いられる。技能実行手順モジュール２８０７は、ロボット再現エンジンによって取り込まれたもの等のタスク又はタスクの一部分を完了するための一連の段階又は小規模操作を実行するために記録済みセンサデータを利用することができる。技能実行手順モジュール２８０７はハードウェア又はソフトウェアを備えることができ、あらゆる個数の論理回路又は論理回路のあらゆる組合せを利用して実装することができる。

標準技能移動及び物体パラメータモジュール２８０２は、ソフトウェア又はハードウェアに実装されたモジュールとすることができ、物体の標準の移動及び／又は基本技能を定義することのためのものである。このモジュールは、ロボット手順の間に利用することが必要な可能性がある標準物体についての情報をロボット再現エンジンに提供する対象者パラメータを含むことができる。このモジュールは、いずれか１つの小規模操作に特有のものではない標準技能の移動に関連する命令及び／又は情報を含むこともできる。保守モジュール２８１０は、システム及びロボット再現エンジンを監視してこれらに対して日常保守を実施するために用いられるあらゆるルーチン又はハードウェアとすることができる。保守モジュール２８１０は、ロボット人間技能再現エンジンに結合されたいずれかの他のモジュール又はシステムを制御し、監視し、更にその障害に対応することを可能にすることができる。保守モジュール２８１０はハードウェア又はソフトウェアを備えることができ、あらゆる個数の論理回路又は論理回路のあらゆる組合せを利用して実装することができる。出力モジュール２８１１は、ロボット人間技能再現エンジン２８００からいずれかの他のシステム構成要素又はモジュールへの通信を可能にする。出力モジュール２８１１は、取り込まれた小規模操作を商用ロボットシステム２７２０にエクスポート又は伝送するために用いることができるか、又は情報をストレージに伝送するために用いることができる。出力モジュール２８１１はハードウェア又はソフトウェアを備えることができ、あらゆる個数の論理回路又は論理回路のあらゆる組合せを利用して実装することができる。バス２８１２は、ロボット人間技能再現エンジン内にある全てのモジュールを結合し、並列バス、直列バス、同期、又は非同期のものとすることができる。バス２８１２は、シリアルデータ、パケット化データ、又はいずれかの他の公知のデータ通信法を用いるあらゆる形態での通信を可能にすることができる。

小規模操作移動及び物体パラメータモジュール２８０９は、取り込み済みの小規模操作及び作成者の移動を格納及び／又は分類するために用いることができる。このモジュールは、再現エンジン並びにユーザの制御下にあるロボットシステムに結合することができる。

図１０２は、ロボット人間－技能再現システム２７００の一実施形態を例示するブロック図である。ロボット人間－技能再現システム２７００は、コンピュータ２７１２（又はコンピュータ２７２２）と、動き感知デバイス２８２５と、非標準物体２８２７とを含む。

コンピュータ２７１２は、ロボット人間－技能再現エンジン２８００と、移動制御モジュール２８２０と、メモリ２８２１と、技能移動エミュレータ２８２２と、拡張シミュレーション検証及び較正モジュール２８２３と、標準物体アルゴリズム２８２４とを備える。図１０２に関して説明したように、ロボット人間－技能再現エンジン２８００は、タスクの実行中に小規模操作を生成し、取り込むために作成者２７１１の移動の取り込みを可能にする一部のモジュールを備える。取り込まれた小規模操作は、センサ入力データから、タスクを完了するために用いることができるか、又はロボットアーム／ハンド又は人間型ロボット２８３０がタスク又はタスクの一部分を完了するのに必要な入力を作成するために他の小規模操作と直列又は並列で組み合わせることができるロボット制御ライブラリデータに変換される。

ロボット人間－技能再現エンジン２８００は、様々なロボット構成要素の移動をこれらのロボット構成要素から取得された視覚、聴覚、触覚、又はその他のフィードバックに基づいて制御又は構成するために用いることができる移動制御モジュール２８２０に結合される。メモリ２８２１は、コンピュータ２７１２に結合することができ、技能実行プログラムファイルを格納するために必要なメモリ構成要素を備える。技能実行プログラムファイルは、コンピュータ２７１２がロボット構成要素にタスク又は一連のタスクを完了させるための一連の命令を実行するのに必要な命令を含む。技能移動エミュレータ２８２２はロボット人間－技能再現エンジン２８００に結合され、実際のセンサ入力なしに作成者の技能を模擬するために用いることができる。技能移動エミュレータ２８２２は、センサ入力を与える作成者２７１１の使用なしに技能実行プログラムの作成を可能にするためにロボット人間－技能再現エンジン２８００に別の入力を与える。拡張シミュレーション検証及び較正モジュール２８２３は、ロボット人間－技能再現エンジン２８００に結合することができ、拡張作成者入力を与え、３Ｄモデル化及び実時間フィードバックに基づいてロボットの移動に実時間調節を与える。コンピュータ２７１２は、標準物体を用いてタスクを完了するためにロボットハンド７２／ロボットアーム７０を制御するために用いられる標準物体アルゴリズム２８２４を備える。標準物体は、コンロ又はＥＫＧ器具等の標準のツール又は道具又は標準機材を含むことができる。２８２４のアルゴリズムは事前コンパイルされ、ロボット人間技能再現を用いた個別訓練を必要としない。

コンピュータ２７１２は、１又は２以上の動き感知デバイス２８２５に結合される。動き感知デバイス２８２５は、視覚動きセンサ、ＩＲ動きセンサ、追跡センサ、レーザ監視センサ、又はコンピュータ２７１２が３Ｄ空間内の追跡対象デバイスの位置を監視することを可能にするいずれかの他の入力デバイス又は記録デバイスとすることができる。動き感知デバイス２８２５は、単点センサ、対になった送信器及び受信器、対になったマーカ及びセンサ、又はいずれかの他のタイプの空間センサを含む単一のセンサ又は一連のセンサを備えることができる。ロボット人間－技能再現システム２７００は標準化物体２８２６を含むことができる。標準化物体２８２６は、ロボット人間－技能再現システム２７００内において標準の向き及び位置で見つかるあらゆる標準物体である。これらの標準化物体２８２６は、標準化ツール又は標準のハンドル又はグリップを有するツール２８２６－ａ、標準機材２８２６－ｂ、又は標準化空間２８２６－ｃを含むことができる。標準化ツール２８２６－ａは、図１２Ａ～図１２Ｃ及び図１５２～図１６２Ｓに描示しているものとすることができるか、又はナイフ、深鍋、へら、メス、温度計、バイオリンの弓、又は特定の環境の内部で利用することができるいずれかの他の機材等のあらゆる標準ツールとすることができる。標準機材２８２６－ｂは、コンロ、肉焼器、電子レンジ、ミキサー等のようなあらゆる標準キッチン機材とすることができるか、又はパルスオキシメータ等のようなあらゆる標準医療機材とすることができ、空間自体２８２６－ｃは、キッチンモジュール、外傷モジュール又は回復モジュール、又はピアノモジュール等の標準化されたものとすることができる。これらの標準のツール、機材、及び空間を利用することによって、ロボットハンド／アーム又は人間型ロボットは、より迅速に調節し、標準化空間の内部で望ましい機能をどのように実施するかを学習することができる。

同じくロボット人間－技能再現システム２７００内には、非標準物体２８２７が存在する場合がある。非標準物体は、例えば肉及び野菜等の調理食材とすることができる。これらの非標準のサイズ、形状、及び寸法比率の物体は、引き出し又はビンの内部等の標準の位置及び向きで位置付けることができるが、これらの品物自体は品物毎に異なるものとすることができる。

視覚、音響、及び触覚の入力デバイス２８２９は、ロボット人間－技能再現システム２７００の一部としてのコンピュータ２７１２に結合することができる。視覚、音響、及び触覚の入力デバイス２８２９は、カメラ、レーザ、３Ｄステレオ光学系、触覚センサ、質量検出器、又はコンピュータ２１７１２が物体のタイプ及び３Ｄ空間内での位置を決定することを可能にするいずれかの他のセンサ又は入力デバイスとすることができる。このデバイスは、物体の表面の検出を可能にし、接触音、密度、又は重量に基づいて物体の性質を検出することもできる。

ロボットアーム／ハンド又は人間型ロボット２８３０は、コンピュータ２７１２に直接に結合することができるか、又は有線又は無線のネットワークを通じて接続することができ、ロボット人間－技能再現エンジン２８００と通信することができる。ロボットアーム／ハンド又は人間型ロボット２８３０は、作成者２７１１又は標準物体を用いるためのアルゴリズムのうちのいずれかによって実施される移動を操作及び再現することができる。

図１０３は、人間型ロボット２８４０を標準化作動ツール、標準化された位置及び向き、及び標準化機材を用いた技能実行又は再現プロセスに対する制御点と共に例示するブロック図である。図１０４でわかるように、人間型ロボット２８４０は、ロボット人間－技能再現システム２７００の一部としてのセンサ場の範囲内に位置決めされる。人間型ロボット２８４０は、タスク実行中に行われる移動又は小規模操作の取り込みを可能にするための制御点又はセンサ点の網状配列を被着することができる。更にロボット人間－技能再現システム２７００内には、全てが標準の初期の位置及び向き２８４４に配列された標準ツール２８４３、標準機材２８４５、及び非標準物体２８４２が存在するものとすることができる。技能が実行されると、技能における各段階がセンサ場２８４１内に記録される。初期位置から始めて、人間型ロボット２８４０は、１対のロボットアーム又は人間型ロボットが実施することができる繰り返し可能な結果を作成するために全てが記録された段階１～段階ｎを実行することができる。センサ場２８４１の内部で人間作成者の移動を記録することによって、これらの情報を一連の個別段階１～ｎに変換するか、又はタスクを完了するためのイベントシーケンスとして変換することができる。全ての標準及び非標準の物体が標準初期位置に位置付けられ、向きが定められるので、人間の移動を再現するロボット構成要素は、記録されたタスクを正確かつ安定して実施することができる。

図１０４は、人間又は作成者の移動とロボット再現の移動との間の変換アルゴリズムモジュール２８８０の一実施形態を例示するブロック図である。移動再現データモジュール２８８４は、人間によって実施された技能をロボット人間型ロボット再現環境２８７８内で再現するようにロボットアーム及びロボットハンドに命令するための機械可読かつ機械実行可能な言語２８８６に記録の一組２８７４内で人間の移動から取り込まれたデータを変換する。記録の一組２８７４内では、コンピュータ２８１２は、人間が着用するグローブ上のセンサに基づいて表２８８８内の垂直列に複数のセンサＳ₀、Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄、Ｓ₅、Ｓ₆…Ｓ_nで表し、水平行に時間区分ｔ₀、ｔ₁、ｔ₂、ｔ₃、ｔ₄、ｔ₅、ｔ₆…ｔ_endで表している人間の移動を取り込んで記録する。時間ｔ₀において、コンピュータ２８１２は、複数のセンサＳ₀、Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄、Ｓ₅、Ｓ₆…Ｓ_nから受け取ったセンサデータからｘｙｚ座標位置を記録する。時間ｔ₁において、コンピュータ２８１２は、複数のセンサＳ₀、Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄、Ｓ₅、Ｓ₆…Ｓ_nから受け取ったセンサデータからｘｙｚ座標位置を記録する。時間ｔ₂において、コンピュータ２８１２は、複数のセンサＳ₀、Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄、Ｓ₅、Ｓ₆…Ｓ_nから受け取ったセンサデータからｘｙｚ座標位置を記録する。このプロセスは、時間ｔ_endにおいて全部の技能が完了するまで続く。各時間単位ｔ₀、ｔ₁、ｔ₂、ｔ₃、ｔ₄、ｔ₅、ｔ₆…ｔ_endに対する時間幅は同じである。取り込まれて記録されたセンサデータの結果として、表２８８８は、グローブ内のｘｙｚ座標にあるセンサＳ₀、Ｓ₁、Ｓ₂、Ｓ₃、Ｓ₄、Ｓ₅、Ｓ₆…Ｓ_nからのあらゆる移動を示し、これらの移動は、１つの特定の時間におけるｘｙｚ座標位置から相対的に次の特定の時間におけるｘｙｚ座標位置までの間の差分を示すことになる。実質的に表２８８８は、開始時間ｔ₀から終了時間ｔ_endまでの全ての技能にわたって人間の移動がどのように変化するかを記録する。この実施形態における具体例は、技能を実施する間の移動を取り込むために人間が着用する複数のセンサに拡張することができる。標準化環境２８７８では、ロボットアーム及びロボットハンドは、記録の一組２８７４から記録され、続いてロボット命令に変換された技能を再現し、この場合、ロボットアーム及びロボットハンドは、時間経過２８９４に従って人間の技能を再現する。ロボットアーム及びロボットハンドは、時間経過２８９４に示しているものと同じｘｙｚ座標位置、同じ速さ、開始時間ｔ₀から終了時間ｔ_endまの同じ時間区分で技能を実施する。

一部の実施形態では、人間は、同じ技能を複数回実施し、センサ示度値が生じ、対応するロボット命令において１つの時間から次の時間までに幾分変動するパラメータが生じる。技能の複数回の繰り返しにわたる各センサに関するセンサ示度値セットは、平均値、標準偏差、最小値、及び最大値を有する分布を与える。人間による同じ技能の複数回の実行にわたるロボット命令（エフェクタパラメータとも呼ぶ）の対応する変動も、平均値、標準偏差、最小値、及び最大値を有する分布を定義する。これらの分布は、後続のロボット技能の忠実度（又は精度）を決定するために用いることができる。

一実施形態では、ロボット技能作動の推定平均精度は、次式によって与えられる。

上式中のＣは、人間パラメータセット（１番目からｎ番目まで）を表し、Ｒは、ロボット装置７５のパラメータセット（対応して（１番目からｎ番目まで））を表している。和における分子は、ロボットパラメータと人間パラメータとの間の差（すなわち誤差）を表し、分母は、最大差に対して正規化する。この和は、総正規化累積誤差（すなわち、

）を与え、１／ｎを乗じることによって平均誤差が与えられる。平均誤差の補集合は、平均精度に相当する。

精度計算の別のバージョンは、重要度に関してパラメータを重み付けし、この場合、各係数（各αｉ）は、ｉ番目のパラメータの重要度を表し、正規化累積誤差は、

であり、推定平均精度は次式によって与えられる。

図１０５は、作成者の移動の記録と、作成者上に位置合わせされたセンサから取り込まれた感知データに基づく人間型ロボット再現とを例示するブロック図である。作成者の移動記録の一組３０００内において、作成者は、技能を取り込むためのセンサを有する様々な身体センサＤ１～Ｄｎを着用することができ、この場合、センサデータ３００１は表３００２内に記録される。この例では、作成者はツールを用いてタスクを実施している。センサによって記録される作成者によるこれらの動作プリミティブは、時間スロット１、２、３、及び４にわたって発生する小規模操作３００２を構成することができる。技能移動再現データモジュール２８８４は、作成者記録の一組３０００から記録された技能ファイルを人間技能ロボット実行部分１０６３内でロボットソフトウェア命令３００４に従ってアーム及びロボットハンド等のロボット構成要素を作動させるためのロボット命令に変換するように構成される。ロボット構成要素は、小規模操作ライブラリデータベース３００９からのツールを用いて技能を実施する小規模操作ライブラリ１１６内に事前定義された小規模操作に関する制御信号３００６によって技能を実施する。ロボット構成要素は、同じｘｙｚ座標３００５で、実時間調節デバイスから技能の一時的３次元モデル３００７を作成することによって技能への可能な実時間調節を加えて作動する。

本発明の開示の実施形態において説明するもの等の機械ロボット機構を作動させるためには多くの機械的問題及び制御問題に対処する必要があることは当業者には認識されており、ロボット工学の文献が、まさにそれを行う方法を説明している。ロボットシステムにおける静的安定性及び／又は動的安定性の確立は重要な要件である。特にロボット操作では、動的安定性は、偶発的な破損又は望ましいもの又はプログラムされたものを超える移動を防止するために強く望まれる性質である。

図１０６は、汎用人間型ロボットに対する全体的なロボット制御プラットフォーム３０１０を本発明の開示の機能の高レベル記述として描示している。ユニバーサル通信バス３００２は、内部及び外部のセンサからの示度値３０１４、ロボットの移動の許容範囲等のロボットの現在の状態に関連する変数及びその現在値３０１６、ロボットのハンドの正確な場所等、及びロボットが何処にあるか又はロボットが操作する必要がある可能性がある物体が何処にあるか等の環境情報３０１８を含むデータに対する電子通信路としての役割を果たす。これらの入力源は、構成要素小規模操作であって、これらの小規模操作の事前条件が適用を許すか否かを決定するために後に解釈され、ロボット解釈モジュール３０２６から機械実行可能コードに変換され、更に実際の指令と感知とのシーケンスとしてロボット実行モジュール３０２８に送られる構成要素小規模操作の大きい電子ライブラリ３０２４を参照することができるロボット立案器３０２２からの直接的な低レベルアクチュエータ命令３０２０から高レベルロボット一部始終のタスク計画までのタスクを人間型ロボットに状況に応じて認識させ、それによってこのタスクを実施することができるようにする。

ロボット計画、感知、及び動作に加えて、ロボット制御プラットフォームは、ロボット－人間インタフェースモジュール３０３０を通じてアイコン、言語、身振り等を通じて人間と通信することもでき、小規模操作学習モジュール３０３２によって人間が小規模操作に対応するブロック構築タスクを実施するのを観測し、複数の観測結果を小規模操作、すなわち、事前条件及び事後条件を有する信頼性が高い繰り返し可能感知－動作シーケンスへと一般化することによって新しい小規模操作を学習することができる。

図１０７は、人間型ロボット用途－タスク再現プロセスの一部としての小規模操作ライブラリの生成、転送、実装、及び使用のためのコンピュータアーキテクチャ３０５０（又は系統図）を例示するブロック図である。本発明の開示は、人間型ロボットシステムが人間のタスクを再現することを可能にし、これに加えてあらゆる必要なタスクシーケンスを遂行するためにロボット実行シーケンスを自力で組み立てることを可能にするために、ライブラリ及びコントローラシステムと組み合わせられた時にコンピュータベースのタスク実行記述を抽象化し、組み合わせ直す手法を生じる多くのソフトウェアエンジンとデータセットとライブラリとを含むソフトウェアシステムの組合せに関するものである。本発明の開示の特別な要素は、人間型ロボット自体の上に／それと共に存在する低レベルコントローラによって実行される高レベルタスク実行指令シーケンスを作成するために、人間型ロボットコントローラ３０５６によってアクセス可能な小規模操作ライブラリ（ＭＭＬ）を作成する小規模操作（ＭＭ）発生器３０５１に関するものである。

小規模操作を実行するためのコンピュータアーキテクチャ３０５０は、コントローラアルゴリズム及びそれに関連するコントローラ利得値、いずれか所与の動き／作動ユニットに対する位置／速度及び力／トルクに関して指定された時間プロファイル、並びにこれらの制御アルゴリズムを実装し、それぞれのデータセット内に含まれる規定の動き／相互作用プロファイルの忠実度を確実にするために感知フィードバックを用いる低レベル（アクチュエータ）コントローラ（ハードウェア要素とソフトウェア要素との両方によって表される）の開示の組合せを含む。これらについて下記で更に詳細に説明し、関連の図１０７に上記に従って適切な色コードを用いて表記している。

ＭＭＬ発生器３０５１は、１又は２以上のＭＭＬデータベースＧＧ４、その一部にもなるように後に用いられる小規模操作（ＭＭ）データセットＧＧ３の両方を作成する複数のソフトウェアエンジンＧＧ２を備えるソフトウェアシステムである。

ＭＭＬ発生器３０５１は、前述のソフトウェアエンジン３０５２を含み、このエンジンは、それぞれの操作タスクを記述するパラメータセットを発生させるために感知データ、空間データ、及びより高いレベル推論モジュールを利用し、それによってシステムが複数のレベルにあるＭＭデータセット３０５３を完成させることを可能にする。階層的ＭＭライブラリ（ＭＭＬ）構築器は、システムが、複雑度及び抽象化に関して低レベルから高レベルまでに分類される直列及び並列の動きプリミティブのシーケンスへと完全なタスク動作セットを分解することを可能にするソフトウェアモジュールに基づいている。続いてこの階層的分解は、完全なＭＭＬデータベース３０５４を構築するためにＭＭＬデータベース構築器によって用いられる。

上述したパラメータセット３０５３は、関与する人間型ロボットの物理的実体／サブシステム並びにタスクを首尾良く実行するのに必要とされるそれぞれの操作フェーズに基づいて、特定のタスクの上首尾の完了のためのタスク成果物理指標、人間型ロボットオペレーティングシステムによって用いられることになる制御アルゴリズム、並びにタスク実行シーケンスの分解及び関連のパラメータセットを含む複数の形態の入力、データ（パラメータ、変数等）、及びアルゴリズムを含む。これに加えて、指定制御アルゴリズムに対するコントローラ利得を指定し、更にタスク実行に関与する各作動デバイスに対する動き／速度及び力／トルクに関する時間履歴プロファイルを指定する人間型ロボット特定のアクチュエータパラメータセットがデータベース内に含まれる。

ＭＭＬデータベース３０５４は、人間型ロボットがいずれか特定の低レベルタスクからより高いレベルのタスクまでを遂行するのに必要な低レベルから高レベルまでの複数のデータ及びソフトウェアモジュールを含む。ライブラリは、過去に生成されたＭＭデータベースだけではなく、動的制御に関する現存コントローラ機能（ＫＤＣ）、機械視覚（ＯｐｅｎＣＶ）、及びその他の相互作用／プロセス間通信ライブラリ（ＲＯＳ等）等の他のライブラリも含む。人間型ロボットコントローラ３０５６は、人間型ロボットのロボットプラットフォーム上で、かつそれを用いた実行に向けて機械実行可能命令を低レベルコントローラ３０５９に供給するために高レベルタスク実行記述を用いる高レベルコントローラソフトウェアエンジン３０５７を備えるソフトウェアシステムでもある。

高レベルコントローラソフトウェアエンジン３０５７は、指令実行器ＧＧ８に対する機械理解可能指令及び制御シーケンスを作成する指令シーケンサソフトウェアエンジンに供給されることになる用途特定のタスクベースのロボット命令セットを構築する。ソフトウェアエンジン３０５２は、指令シーケンスを動き及び動作の目標に分解して実行計画を立て（時間内に、それとともに成果レベルに基づいて）、それによって時系列動き（位置及び速度）及び相互作用（力及びトルク）のプロファイルの生成を可能にし、続いてこれらのプロファイルは、影響を受ける個別アクチュエータコントローラ３０６０であって、少なくともそれぞれの独自のモータコントローラ、電力ハードウェア及びソフトウェア、及びフィードバックセンサを更に備える個別アクチュエータコントローラ３０６０による人間型ロボットのロボットプラットフォーム上での実行に向けて低レベルコントローラ３０５９に供給される。

低レベルコントローラは、必要な成果忠実度を確実にするためにフィードバックセンサ信号を拠り所としてタイムスタンプ付きシーケンスに沿ってこのコントローラが忠実に再現することが課せられた位置／速度及び力／トルクにとって必要とされる設定点をソフトウェアアルゴリズムに供給するために、デジタルコントローラ、電子電力ドライバ、及び感知ハードウェアを用いるアクチュエータコントローラを含む。コントローラは定ループ内に留まり、それによって必要な動き／相互作用の段階／プロファイルが完了するまで経時的に全ての設定点が達成されることが確実にされ、それと同時に指令実行器３０５８内の高レベルタスク成果監視ソフトウェアモジュールによってより高いレベルのタスク成果忠実度も監視され、それによってタスク結果が必要な成果限度の範囲内に収まり、指定成果物理指標を満たすことを確実にするために低レベルコントローラに供給される高レベルから低レベルまでの動き／相互作用プロファイルの修正の可能性が導き出される。

教示－再生コントローラ３０６１内では、ロボットは、時間同期方式で連続的に格納され、後に過去に記録された動きプロファイルを正確に辿るように各作動対象要素を制御することによって低レベルコントローラによって「再生」される動きプロファイルセットを通して導かれる。この種の制御及び実装は、一部のものが市販で入手可能なロボットを制御する上で必要である。説明中の本発明の開示は、人間型ロボット上で機械可読時間同期動き／相互作用プロファイルを実行する上で低レベルコントローラを利用するが、本発明の開示の実施形態は、教示動きよりもかなり汎用的であり、より高度に自動化され、はるかに有能なプロセスであり、より複雑度が高く、潜在的に非常に多数の単純タスクから複雑なタスクまでをはるかに効率的でコスト効果的な方式で作成及び実行することを可能にする技術のためのものである。

図１０８は、作成者スタジオベースの記録段階と、それぞれのタスクのロボット実行中との両方において関与することになるスタジオベース及びロボットベースの感知データ入力のカテゴリ及びタイプに対する異なるタイプのセンサカテゴリ３０７０及びそれに関連するタイプを描示している。これらの感知データセットは、特定のデータに基づいて異なる制御動作のマルチループの組合せを通じて小規模操作動作ライブラリを構築する際に基づく基礎、及び／又は非常に集中的な「サブルーチン」（ナイフを把持する、ピアノ鍵盤を叩く、キャンバス上に線を描画する等）であるか、又は直列及び並列の複数のＭＭサブルーチン組合せの結合によって取得可能なより汎用的なＭＭルーチン（サラダを調製する、シューベルトの５番ピアノコンチェルトを演奏する、牧歌的風景を描画する等）であるかに関わらない望ましい最終結果を得るための特定のデータ値を得る上での基礎を形成する。

センサは、その物理的場所と、制御することが必要となる特定の相互作用の一部分とに基づいて３つのカテゴリ内に分類済みである。三タイプのセンサ（外部３０７１、内部３０７３、及びインタフェース３０７２）は、そのデータセットをデータ組プロセス３０７４内に供給し、このプロセスは、これらのデータを適正な通信リンク及びプロトコルを通じてデータ処理及び／又はロボットコントローラエンジン３０７５に転送する。

外部センサ３０７１は、一般的に、双アームロボット胴体／人間型ロボットの外部に位置付けられ／そこで用いられるセンサを含み、世界の中の個別システム、並びに双アーム胴体／人間型ロボットの場所及び構成をモデル化するのに役立つ。そのような一組に対して用いられるセンサタイプは、単純な接触スイッチ（ドア等）、１次元距離測定のための電磁（ＥＭ）スペクトルベースのセンサ（ＩＲ距離計）、２次元情報（形状、場所等）を生成するためのビデオカメラ、及び双眼鏡／三眼鏡カメラ、走査レーザ、及び構造化光等を用いて空間的な場所及び構成の情報を生成するために用いられる３次元センサ）を含むことになる。

内部センサ３０７３は、双アーム胴体／人間型ロボット内にあるセンサであり、アーム／体肢／関節の位置及び速度、アクチュエータ電流、関節及び直交の力及びトルク、触覚変数（音、温度、味等）、バイナリスイッチ（移動限界等）、並びにその他の機材特定のプレゼンススイッチ等の内部変数を主に測定する。追加の１次元／２次元及び３次元センサタイプ（ハンド内にあるもの等の）が、ビデオカメラを通じて、更には組み込み光学追跡器（胴体装着センサヘッド内にあるもの等の）をも介して距離／間隔、２次元レイアウトを測定することができる。

インタフェース－センサ３０７２は、双アーム胴体／人間型ロボットがそのタスクのうちのあらゆる最中に実世界と相互作用する時に、高速の接触及び相互作用の移動及び力／トルクの情報を与えるために用いられるタイプのセンサである。これらのセンサは、ピアノ鍵盤を適正な具合（時間幅、力、及び速さ等）に叩き、又は指動きの特定のシーケンスを用いてナイフを特定のタスク（トマトを切る、卵を叩く、ニンニク片を潰す等）ができるような向きに定めるように把持し、更に安全な把持を達成するような重要なＭＭサブルーチン動作の作動に組み込まれることから重要なセンサである。これらのセンサは（近接度の順に）、ロボット外肢から世界までの間の離隔／接触間隔、それに関連するエンドエフェクタと世界との間で接触の直前に測定可能なキャパシタンス／インダクタンス、実際の接触の有無、場所、及びそれに関連する表面性質（伝導率、順応性等）、並びに関連する相互作用性質（力、摩擦等）及びいずれかの他の重要な触覚変数（音、熱、匂い等）に関連する情報を与えることができる。

図１０９は、胴体３１１０を通じて接続された２つの個別であるが同等のアーム１（３０９０）及び２（３１００）を有する双アーム胴体／人間型ロボットシステム３０８２に関するシステムベースの小規模操作ライブラリ動作ベースの双アーム及び胴体トポロジー３０８０を例示するブロック図を描示している。各アーム３０９０及び３１００は、内部でハンド（３０９１、３１０１）と体肢－関節区分３０９５及び３１０５とに分割される。更に各ハンド３０９１、３１０１は、１又は２以上の指３０９２及び３１０２と、手掌３０９３及び３１０３と、手首３０９４及び３１０４とで構成される。更に体肢－関節区分３０９５及び３１０５の各々は、前腕－体肢３０９６及び３１０６と、肘－関節３０９７及び３１０７と、上腕－体肢３０９８及び３１０８と、肩－関節３０９９及び３１０９とで構成される。

図ＢＢに示している物理的レイアウトを分類する利点は、主にハンド又は体肢／関節のある特定の部分によって実施される動作にＭＭ動作を容易に分割することができ、それによって学習及び再生中の制御及び適合／最適化に対するパラメータ空間が劇的に低減されることに関連する。パラメータ空間は、ある特定のサブルーチン又は主小規模操作（ＭＭ）動作をマッピングすることができる物理的空間の表現であり、主要小規模操作（ＭＭ）を記述するのに必要とされるそれぞれの変数／パラメータは最小／必要なものであり、それとともに十分なものである。

同じく物理空間ドメイン内の分解は、特定のタスクに対する小規模操作（ＭＭ）動作の汎用小規模操作（サブ）ルーチンセットへのより簡単な分解を可能にし、直列／並列の汎用小規模操作（ＭＭ）（サブ）ルーチンの組合せを用いてより複雑でより高いレベルの複雑性小規模操作（ＭＭ）動作の構築が劇的に簡易化される。小規模操作（ＭＭ）動作プリミティブ（及び／又はサブルーチン）を容易に生成するための物理ドメイン分解は、完全な動きライブラリ（セット）を構築するための汎用及びタスク特定の小規模操作（ＭＭ）（サブ）ルーチン又は動きプリミティブのセットを適正に構築することを可能にするために小規模操作（ＭＭ）（サブ）ルーチンの簡易パラメータ記述を可能にする２つの相補的手法のうちの一方でしかないことに注意されたい。

図１１０は、遂行すべきタスクに関わらず、タスク特定動作シーケンス３１２０に対するＭＭライブラリ操作フェーズの組合せ及び遷移に関してあらゆる操作活動に関連付けられた操作機能フェーズセットとして双アーム胴体人間型ロボットシステム３１２０を描示している。

従って、汎用サブルーチンセットからより一層複雑でより高いレベルの小規模操作（ＭＭ）動きプリミティブルーチンセットを構築するために、高レベル小規模操作（ＭＭ）は、あらゆる操作の様々なフェーズ中の遷移として考えることができ、それによってより高いレベルの小規模操作ルーチン（動きプリミティブ）を創出するための小規模操作（ＭＭ）サブルーチンの簡単な結合が可能になる。操作の各フェーズ（接近、把持、操縦等）は、それ自体、物理ドメイン実体［指、手掌、手首、体肢、関節（肘、肩等）、胴体等］のうちの１又は２以上が関わる動き及び力／トルク（内部、外部、並びにインタフェースの変数）を制御する段階に関与するパラメータセットによって記述される独自の低レベル小規模操作であることに注意されたい。

双アームシステムのアーム１３１３１は、図１０８で定義した外部及び内部センサを用いてエンドエフェクタの特定の場所３１３１に到達し、特定のターゲット（ツール、道具、表面等）に接近する前に所与の構成３１３２を有し、接近フェーズ３１３３及びあらゆる把持フェーズ３０３５（必要に応じて）の間にインタフェース－センサを用いてシステムを案内するものと考えることができ、後続の取り扱い／操縦フェーズ３１３６は、エンドエフェクタが器具をその中に把持した状態で用いる（撹拌、描画等をするために）ことを可能にする。同じ説明が、同様の動作及びシーケンスを実施することができるアーム２３１４０に当てはまる。

小規模操作（ＭＭ）サブルーチンが失敗した（把持し直すことを必要とするような）場合には、全ての小規模操作シーケンサが行わなければならないことは、前のフェーズに逆進ジャンプして戻りし、同じ動作を繰り返す（場合によっては必要に応じて修正されたパラメータセットを用いて）ことであることに注意されたい。ピアノ鍵盤のシーケンスを様々な指で演奏するようなより複雑な動作セットは、接近３１３３、３１３４及び接触３１３４、３１４４のフェーズ中の繰り返しジャンプループを伴い、異なる鍵盤を異なる間隔で異なる効果（ソフト／ハード、短い／長い等）を伴って叩くことを可能にし、ピアノ鍵盤スケール上の異なるオクターブに移る段階は、アーム及び胴体の異なる向き３１５１を得るための並進移動及び／又は回転を通じてアームを位置変更する又は場合によっては全体の胴体３１４０をも位置変更するためのフェーズ逆進を必要とするだけとなる。

アーム２３１４０は、同様の活動を並列でアーム３１３０とは独立して実施するか、又は移動連動フェーズ３１５（指揮棒を用いた指揮者のアーム及び胴体の動きの最中等の）及び／又は台の上でのこね粉の双アームこね動作の最中等の接触及び相互作用制御フェーズ３１５３によって案内されるアーム３１３０及び胴体３１５０との連係及連動で実施することができる。

図１１０に描示している１つの態様は、最低レベルのサブルーチンからより高いレベルの動きプリミティブ又はより複雑な小規模操作（ＭＭ）動きと抽象化とのシーケンスまでの範囲にわたる小規模操作（ＭＭ）を明瞭で明確に定義されたパラメータセット（学習を通じて測定、制御、及び最適化するための）を有する特定のフェーズに関連する異なる動きのセットから生成することができることである。より小さいパラメータセットは、機能することを保証することができるより容易なデバッグ及びサブルーチンを可能にし、高レベルＭＭルーチンが、明確に定義された上首尾の低レベルＭＭサブルーチンに完全に基づくことを可能にする。

小規模操作（サブ）ルーチンを図１１０に描示しているタスク－動きの特定のフェーズの最中に監視及び制御することが必要とされるパラメータセットに結合するだけではなく、図１０９の分解された特定の物理ユニット（セット）と更に関連付けることは、直感的な小規模操作（ＭＭ）動きプリミティブを生成し、汎用及びタスク特定の小規模操作（ＭＭ）動き／動作ライブラリセットへと集約することを可能にするための非常に強力な表現セットを可能にすることに注目されたい。

図１１１は、スタジオデータの生成、収集、及び分析のプロセスの一部としての汎用動きプリミティブとタスク特定動きプリミティブとの両方に関する小規模操作ライブラリ生成プロセス３１６０を例示する流れ図を描示している。この図は、低レベル及びより高いレベルの小規模操作動きプリミティブが低度のものから複雑なものまでの遠隔ロボットタスク実行の上首尾の完了を生じることを確実にするために、パラメータ値、時間履歴、指令シーケンス、成果尺度、及び成果物理指標等を有するデータセットを含む小規模操作ライブラリセットを発生させるためのソフトウェアエンジンセットを通して感知データをどのように処理するかを描示している。

より詳細な図に、感知データをどのようにフィルタ処理し、処理エンジンシーケンス内にどのように入力して汎用及びタスク特定の小規模操作動きプリミティブライブラリセットに到達するかを示す。図１０８で確認される感知データ３３１６２の処理は、これらのデータのフィルタ処理段階３１６１と、これらのデータが、図１０９で確認される物理システム要素並びに図１１０で説明した操作フェーズに関連付けられ、場合によってはユーザ入力３１６４をも可能する関連付けエンジン３１６３を通してこれらのデータを分類する段階とを伴い、その後、これらのデータはＭＭソフトウェアエンジンを通して処理される。

ＭＭデータ処理及び構造化エンジン３１６５は、動きシーケンスの識別３１６５－１、操作段階の分割分類３１６５－２、更に各小規模操作段階に対するパラメータ値のデータセットへの操作段階の抽象化段階３１６５－３に基づいて動きプリミティブの暫定ライブラリを作成し、動きプリミティブは、事前定義された低レベルから高レベルまでの動作プリミティブのセットに関連付けられ３１６５－５、暫定ライブラリに格納される３１６５－４。例として、プロセス３１６５－１は、スタジオシェフがナイフを把持し、食品品目をスライスに切断する段階を進めることに関連する物体把持及び繰り返し前後動きを示すデータセットを通じての動きシーケンスを識別することができる。続いて動きシーケンスは、１又は２以上のアーム及び胴体に対する複数の操作フェーズ中の遷移セットを有する図１０９に示している一部の物理的要素（指及び体肢／関節）の関連の動作（ナイフを把持するように指を制御する段階、ナイフの向きを適正に定める段階、切断に向けてナイフを位置合わせするようにアーム及びハンドを並進移動させる段階、切断平面に沿って切断する最中に接触及び関連する力を制御する段階、自由空間軌道に沿って切断の開始点にナイフを復帰させる段階、及び異なるスライス幅／角度を得るようにインデックスが付けられた食品品目を切断する接触／力制御／軌道追従プロセスを引き続き繰り返す段階等の）に分解される３１６５－２。続いて操作フェーズの各部分に関連するパラメータは、３１６５－３において抽出されて数値が割り当てられ、３１６５－５によって「把持」、「道具と位置合わせ」、「切断」、「インデックス付け」等のようなニーモニック記述子が与えられた特定の動作プリミティブに関連付けられる。

暫定ライブラリデータ３１６５－４は、学習及び調整エンジン３１６６内に供給され、そこで他の複数のスタジオセッション３１６８からのデータを用いて同様の小規模操作動作及びその結果が抽出され３１６６－１、各小規模操作群の範囲内で標準の機械学習／パラメータ調整技術のうちの１又は２以上を用いて反復方式３１６６－５でこれらのデータセットが比較され３１６６－２、パラメータ調整が可能にされる３１６６－３。更に別のレベル構造化プロセス３１６６－４は、小規模操作動きプリミティブを汎用低レベルサブルーチンとサブルーチン動作プリミティブのシーケンス（直列及び並列の組合せ）で構成されるより高いレベルの小規模操作とに分割する段階について決定する。

次のライブラリ構築器３１６７は、汎用小規模操作ルーチンを全ての関連データ（指令、パラメータセット、及び予測される／必要とされる成果物理指標）を有する汎用多レベル小規模操作動作プリミティブセットへと単一の汎用小規模操作ライブラリの一部として編成する３３６７－２。続いて、汎用小規模操作動作プリミティブのあらゆるシーケンスを特定のタスク（調理、描画等）に割り当てることを可能にするタスク特定ライブラリ３１６７－１として別個の明確に異なるライブラリが更に構築され、遠隔ロボットシステムによってスタジオ成果を再現するのに必要とされるタスクにのみ関係するタスク特定データセット（キッチンのデータ及びパラメータ、器具特定のパラメータ等）の包含が可能になる。

別個のＭＭライブラリアクセスマネージャ３１６９は、遠隔ロボット再現システムに渡す適正なライブラリ及びそれに関連するデータセット（パラメータ、時間履歴、成果物理指標等）を送出し、これに加えて１又は２以上の同じ／異なる遠隔ロボットシステムによって学習され、最適化された小規模操作実行に基づいて更新された小規模操作動きプリミティブ（パラメータ、成果物理指標等）を登録し戻す役割を受け持つ。それによって、増加する遠隔ロボット実行プラットフォームによってライブラリが継続的に成長し、最適化されることが確実になる。

図１１２は、スタジオ環境で専門家の動作が記録され、解析され、スタジオ環境内の専門家のものと実質的に同じ最終結果を得るために、ダウンロードされて適正に構造分解された時にロボットシステム（この場合、双アーム胴体／人間型ロボットシステム）が十分な忠実度を伴って専門家の動作を忠実に再現することを可能にする階層構造化小規模操作データセット（指令、パラメータ、物理指標、時間履歴等）の機械実行可能セットに変換されるスタジオ環境内で専門家によって実施された特定のタスク（調理、描画等）の遠隔再現を実施する上で遠隔ロボットシステムが小規模操作（ＭＭ）ライブラリを利用する方法のプロセスを例示するブロック図を描示している。

高レベルでは、このプロセスは、ロボットシステムによって必要とされる小規模操作データセットの完全セットを含むタスク記述ライブラリをダウンロードし、これらのライブラリを実行に向けてロボットコントローラに与えることによって達成される。ロボットコントローラは、実行モジュールが解釈して実施する必要な指令及び動きシーケンスを生成し、その一方で関節及び体肢の位置及び速度並びに（内部及び外部の）力及びトルクに関して確立されたプロファイルをコントローラ自体が常に知ることを可能にするために、全体のシステムからフィードバックを受け取る。必要なタスク忠実度を確実にするために、並列の成果監視プロセスが、タスク記述機能物理指標及び成果物理指標を用いてロボットの動作を追跡及び処理する。ロボットが各タスク又は動きプリミティブを首尾良く完了することを可能にするために、特定の機能結果が満足なものではなかった場合に、小規模操作学習及び適合プロセスに、あらゆる小規模操作パラメータセットを取得して修正することが任される。続いて再実行に向けて、並びに特定の小規模操作ルーチンを更新／再構築するために、更新されたパラメータデータを用いて修正済み小規模操作パラメータセットが再構築され、更新／再構築されたこの小規模操作ルーチンは、他のロボットシステムによる後の使用に向けて修正済み／再調整済みライブラリとしてオリジナルのライブラリルーチンに与え戻される。システムは、最終結果が取得されるまで全ての小規模操作段階を監視し、完了すると、ロボット実行ループを抜けて更に別の指令又は人間の入力を待つ。

具体的な詳細において、上記に概説したプロセスを下記で説明するシーケンスとして詳述することができる。汎用ＭＭライブラリとタスク特定ＭＭライブラリとの両方を含む汎用ＭＭライブラリ３１７０は、特定のタスクに関する実行及び暫定／最終結果の検証に必要とされる全ての必要なタスク特定データセット３１７２が利用可能であることを確実にするＭＭライブラリアクセスマネージャ３１７１を通じてアクセスされる。データセットは、少なくとも全ての必要な運動／力学パラメータ及び制御パラメータ、関連変数の時間履歴、機能物理指標及び成果物理指標及び成果検証のための値、及び目前に迫った特定のタスクに関連する全てのＭＭ動きライブラリを含むが、これらに限定されない。

全てのタスク特定データセット３１７２は、ロボットコントローラ３１７３に供給される。指令シーケンサ３１７４は、合計で「ｉ＝Ｎ」個の段階に対して割り当てられたインデックス値「Ｉ」を有する適正な逐次／並列動きシーケンスを作成し、各逐次／並列動き指令（及びデータ）を指令実行器３１７５に供給する。指令実行器３１７５は、各動きシーケンスを取得し、次にそれをオペレーティングシステム及び感知システムへの高から低までの指令信号セットに構造分解し、必要な位置／速度プロファイル及び力／トルクプロファイルを有する動きプロファイルが時間の関数として正しく実行されることをこれらのシステムの各々に対するコントローラが確実にすることを可能にする。（ロボット）双アーム胴体／人間型ロボットシステムからの感知フィードバックデータ３１７６は、実際の値が望ましい／指令された値を可能な限り密接して追従することを確実にするためにプロファイル追従関数によって用いられる。

別個で並列の成果監視プロセス３１７７は、個々の小規模操作動作の各々の実行中に機能成果の結果を常時測定し、各小規模操作動作に関連付けられ、３１７２において与えられたタスク特定小規模操作データセット内に与えられた成果物理指標に対してこれらの結果を比較する。機能結果が必要な物理指標値に対する受け入れ可能な許容範囲限度内にある場合には、小規模操作インデックス値を「ｉ＋＋」に増分し、この値を供給し、制御を指令シーケンサプロセス３１７４に戻すことによってロボット実行は続行することが許され、全体のプロセスが繰り返しループで続行することが可能になる。しかし、成果物理指標が異なり、機能結果値の不一致が生じる場合には、別個のタスク修正器プロセス３１７８が実施される。

小規模操作タスク修正器プロセス３１７８は、いずれか１つのタスク特定小規模操作を記述するパラメータの修正を可能にし、それによってタスク実行段階の修正が、受け入れ可能な成果及び機能の結果に到達することになることを確実にするために用いられる。この結果到達は、「不都合な」小規模操作動作段階からパラメータセットを取得し、機械学習の分野で一般的なパラメータ最適化のための複数の技術のうちの１又は２以上を用いて特定の小規模操作段階又は小規模操作シーケンスＭＭ_iを改正された小規模操作段階又は小規模操作シーケンスＭＭ_i ^*へと再構築することによって達成される。続いて改正済みの段階又はシーケンスＭＭ_i ^*を用いて、再実行に向けて指令実行器３１７５に渡し戻される新しい指令－０シーケンスが再構築される。その後、改正済みの小規模操作段階又は小規模操作シーケンスＭＭ_i ^*は、小規模操作データセットの最終版を再集成する再構築関数に供給され、それによって必要な機能結果の上首尾の取得が導かれ、従ってこの結果は、タスク及びパラメータ監視プロセス３１７９に渡すことができる。

タスク及びパラメータ監視プロセス３１７９は、各小規模操作段階又は小規模操作シーケンス並びに必要な成果レベル及び機能結果を達成する役割を受け持つと考えられる最終／適正小規模操作データセットの両方に関してチェックを行う役割を受け持つ。タスク実行が完了しない限り、制御は指令シーケンサ３１７４に渡し戻される。全部のシーケンスが首尾良く実行されると、すなわち「ｉ＝Ｎ」である場合、プロセスは終了し、おそらくは更に別の指令又はユーザ入力を待ち受ける。ＭＭライブラリアクセスマネージャ３１７１が、図１１１に示している遠隔ＭＭライブラリ３１７０内のタスク特定ライブラリを更新することを可能にするために、各シーケンスカウンタ値「Ｉ」に関して、監視タスク３１７９は、全ての再構築済み小規模操作パラメータセットΣ（ＭＭ_i ^*）の和をＭＭライブラリアクセスマネージャ３１７１に更に転送し戻す。続いて遠隔ライブラリは、それ自体の内部のタスク特定小規模操作表現を更新し［Σ（ＭＭ_i,new）＝Σ（ＭＭ_i ^*）と設定する］、それによって最適化された小規模操作ライブラリを全ての後のロボットシステム使用に向けて利用可能にする。

図１１３は、特定のタスクに関連する小規模操作タスク動きプリミティブに対する自動化小規模操作パラメータセット構築エンジン３１８０を例示するブロック図である。この図は、物理システム分類及び様々な操作フェーズを用いることに基づいて特定のタスクの特定の小規模操作に対して（ａ）（サブ）ルーチンを構築するプロセスが遂行される方法の図形表現を提示しており、この場合、把持、ツール把持等のような低レベル小規模操作プリミティブ（基本的に小さく単純な動き及び閉ループ被制御動作で構成されたサブルーチン）を用いてより高いレベルの小規模操作ルーチンを構築することができる。このプロセスは、簡単な操縦及び段階／動作のシーケンスに基づいて段階的な方式で適用される多次元ベクトル（アレイ）で格納されたパラメータ値のシーケンス（基本的にタスク及び時間でインデックスが付けられた行列）を生じる。本質的にこの図は、図１１２に記載のＭＭライブラリ処理及び構造化エンジン３１６０内にカプセル化された動作を反映する小規模操作動作シーケンス及びそれに関連するパラメータの生成に関する一例を描示している。

図１１３に描示している例は、ソフトウェアエンジンが特定のスタジオデータセットから複数の段階を抽出するために感知データを解析する段階を進める方法の一部分を示している。この場合、この部分は、道具（例えばナイフ）を把持し、切断ステーションが特定の食品品目（一斤のパン等の）を把持又は保持する段階を進め、切断（スライス）を進めるためにナイフを位置合わせするプロセスである。システムは、段階１においてアーム１に集中し、この段階は、道具を取得し、次に切断作動に向けてハンド／手首を適正に位置合わせするためにハンドを自由空間内で動かすために、把持に向けてハンドを構成し（１．ａ．）、ホルダ内又は表面上の道具に接近し（１．ｂ．）、事前定義把持動きセットを実施する段階（図示してはいないが、把持小規模操作段階１．ｃ．に組み込まれている接触検出及び接触力制御を含む）することによる道具（ナイフ）の把持段階を含む。それによってシステムは、後のロボット制御に向けてパラメータベクトル（１から５まで）にデータ投入することができる。システムは、段階２において胴体が関わる次の段階に戻り、この段階は、タスク（切断）表面に向き（２．ａ．）、双アームシステムを位置合わせさせ（２．ｂ．）、次の段階に向けて戻る（２．ｃ．）ためのより低いレベルの小規模操作シーケンスを含む。次の段階３では、アーム２（道具／ナイフを保持していない方）が、大きめの物体の把持に向けてこのアーム自体のハンドを位置合わせさせ（３．ａ．）、食品品目に接近し（３．ｂ．場合によっては全ての体肢、関節、及び手首を動かす段階を伴う、３．ｃ．）、引き続き接触するまで動かし（３．ｃ．）、次に品目を保持するように十分な力で押し付け（３．ｄ．）、その後、道具を位置合わせさせ（３．ｆ．）、それによって復帰（３．ｇ．）後に切断作動を可能にし、次の段階（４．及びそれ以降）に進むように指令される。

上記の例は、コンピュータがスタジオ記録プロセスからの外部／内部／インタフェース感知フィードバックデータを用いて容易に区別してパラメータ化することができる物理的実体マッピングと操作フェーズ手法との両方を用いて簡単なサブルーチン動き（それ自体が小規模操作でもある）に基づいて小規模操作ルーチンを構築するプロセスを例示している。プロセスパラメータに関するこの小規模操作ライブラリ構築プロセスは「パラメータベクトル」を生成し、これらのパラメータベクトルは、感知データ、重要な変数に関する時間履歴、並びに成果のデータ及び物理指標を含み、遠隔ロボット再現システムが必要なタスクを忠実に実行することを可能にするので、上首尾の小規模操作動作（セット）を完全に記述する。このプロセスは、汎用の動きプリミティブ及び動作プリミティブのセットに基づいて小規模操作動作を単純に構築するので、目前に迫ったタスク（調理、描画等）にとって不可知である点で汎用的なものでもある。特定の動きシーケンスをより一般的に記述し、このプロセスを後の使用に向けて汎用的なものにするか、又は特定の用途に向けてタスク特定のものにすることを可能にするために、簡単なユーザ入力及びその他の事前定義動作プリミティブ記述子をあらゆるレベルで追加することができる。パラメータベクトルで構成された小規模操作データセットを有することによって学習を通じての継続的な最適化が更に可能になり、この場合、１又は２以上の汎用及び／又はタスク特定のライブラリ内の小規模操作ルーチンの適用（及び評価）を伴うロボット再現作動中に生成される現場データに基づいて特定の小規模操作の忠実度を改善するために、パラメータへの適合が可能である。

図１１４Ａは、データリポジトリに注目するために中央ロボット制御モジュールが中心のボックス内に含まれるロボットアーキテクチャ（又はロボットシステム）のデータ中心の図を例示するブロック図である。中央ロボット制御モジュール３１９１は、＜ボックス内の概要説明＞に開示している全てのプロセスによって必要とされるタスクメモリを含む。特に、中央ロボット制御は、ロボットの作動モード、例えば、ロボットが外部教示体からの新しい小規模操作を観測及び学習しているか、タスクを実施しているか、又は更に異なる処理モードにあるかを確立する。

タスクメモリ１３１９２は、物理的メモリがどの程度の容量にあるかに依存して数秒から数時間までであり、通常は約６０秒となる現在までの時間間隔の間の全てのセンサ示度値を含む。センサ示度値は、搭載又は非搭載のロボットセンサから到着し、カメラ、レーザレーダ、ソナー、力センサ及び圧力センサ（触覚）、音響センサ、及び／又はいずれかの他のセンサからのビデオを含むことができる。センサ示度値は、暗示的又は明示的に時間タグ付き又はシーケンスタグ付きのものである（シーケンスタグは、センサ示度値が受け取られた順序を意味する）

タスクメモリ２３１９３は、中央ロボット制御によって生成され、アクチュエータに渡されるか、又は所与の時点においてか、又はトリガイベント（例えばロボットが直前の動きを完了する）に基づいてアクチュエータに渡たされるようにキューに入れられるかのどちらかであるアクチュエータ指令の全てを含む。これらのアクチュエータ指令は、全ての必要なパラメータ値（例えば、どれ程遠くまで動くか、どれ程の力を印加するか等）を含む。

第１のデータベース（データベース１）３１９４は、各ＭＭに関して３つの部分＜ＰＲＥ、ＡＣＴ、ＰＯＳＴ＞を含むロボットに既知の全ての小規模操作のライブラリを含み、この場合、ＰＲＥ＝｛ｓ₁，ｓ₂，…，ｓ_n｝は、動作ＡＣＴ＝［ａ₁，ａ_2,…，ａ_k］が発生し、ＰＯＳＴ＝｛ｐ₁，ｐ_2,…，ｐ_m｝で表される世界状態への変化セットを生じることができる前に真でなければならない世界状態の中の品目セットである。好ましい実施形態では、ＭＭは、目的、関与するセンサ及びアクチュエータ、及びアクセス及び適用を容易するいずれかの他の因子によるインデックスである。好ましい実施形態では、各ＰＯＳＴ結果は、ＭＭが実行された場合に望ましい結果を得る確率に関連付けられる。中央ロボット制御は、ＭＭを取得して実行するためにＭＭライブラリにアクセスすることと、例えば新しいＭＭを追加するための学習モードにおいてＭＭライブラリを更新することとの両方を行う。

第２のデータベース（データベース２）３１９５は、各々が、所与の皿を与える段階又は異なる部屋から品目を取り出す段階等の付与タスクを実施するための小規模操作シーケンスである事例ライブラリを含む。各事例は、変数（例えば、何を取り出すか、どれ程遠くまで移動するか等）と、結果（例えば、特定の事例が望ましい結果を取得したか否か、及び最適にどれ程近いか、どれ程速かったか、副次的効果を伴うか又は伴わないか等）とを含む。中央ロボット制御は、事例ライブラリが現在のタスクに関して既知の動作シーケンスを有するかどうかを決定することと、タスクを実施した上で結果情報で事例ライブラリを更新することとの両方を行う。学習モードにおいて、中央ロボット制御は、新しい事例を事例ライブラリに追加するか、又は無効であることが判明した事例を削除する。

第３のデータベース（データベース３）３１９６は、基本的にロボットが世界の中の外部物体について知っていることであって物体、そのタイプ、及びその性質を列記する物体ストアを含む。例えば、ナイフはタイプ「ツール」及び「道具」のものであり、一般的に引き出し又はカウンター台の中にあり、ある一定のサイズ範囲を有し、いかなる把持力にも耐えることができる等である。卵はタイプ「食品」のものであり、ある一定のサイズ範囲を有し、一般的に冷蔵庫内に見つかり、割ることなく把持する上である一定量の力にしか耐えることができない等である。物体情報は、新しいロボット動作計画を形成する間に物体の性質を決定し、物体を認識する等のことを行うために照会される。物体ストアは、新しい物体が導入された時にも更新することができ、現存物体についての情報及びそのパラメータ又はパラメータ範囲を更新することができる。

第４のデータベース（データベース４）３１９７は、ロボットの場所、環境（例えば家屋内の部屋）の広さ、その物理的レイアウト、及び当該環境内にある特定の物体の場所及び数量を含むロボットが作動する環境についての情報を含む。データベース４は、ロボットが物体パラメータ（例えば、場所、向き）を更新することを必要とするか、又は環境の内部でナビゲートすることを必要とする度に照会される。物体は動かされるか、消費されるか、又は新しい物体が外側から持ち込まれる（例えば人が商店又はスーパーマーケットから帰宅した時に）ので、データベース４は頻繁に更新される。

図１１４Ｂは、小規模操作ロボット挙動データの構成、リンク、及び変換における様々な小規模操作データフォーマットの例を示すブロック図である。構成では、専用／抽象化コンピュータプログラム言語における高レベルＭＭ挙動記述は基本ＭＭプリミティブの使用に基づき、これらの基本ＭＭプリミティブ自体は更に一層基礎的なＭＭによって記述することができ、それによって極めて複雑な挙動から挙動を構築することが可能になる。

非常に基礎的な挙動の例は、それぞれの場所へのアームの移動及びそれに続いて５つ全ての指で道具を把持する段階を含むことになる「道具を取り出す」と表現される高レベル挙動に伴う５つ全ての指を物体の周囲で丸めさせる「把持」に関連する動きプリミティブに伴う「指を丸める」とすることができる。基本挙動の各々（より基礎的なものも含む）は、相関付けられた機能結果及び各々を記述し、制御する関連の較正変数を有する。

リンクは、物理システムに関連するデータ（ロボットパラメータ及び環境幾何学構成等）と、移動を起こすために用いられるコントローラ（タイプ及び利得／パラメータ）と、監視及び制御に必要とされる感知データ（視覚、動的／静的な尺度等）と、その他のソフトウェアループ実行関連プロセス（通信、エラー処理等）とを含む物理的世界データに挙動データをリンクすることを可能にする。

変換は、１又は２以上のデータベースからアクチュエータ制御命令コード変換器及び発生器と呼ぶソフトウェアエンジンによって全てのリンク済みＭＭデータを取得し、それによって各時間間隔（ｔ₁からｔ_mまで）の間の各アクチュエータ（Ａ₁からＡ_nまで）コントローラ（それ自体が位置／速度及び／又は力／トルクにおける高帯域幅制御ループを実行する）に対する機械実行可能（低レベル）命令コードを作成し、ロボットシステムが指令された命令を入れ子ループの連続セットで実行することを可能にする。

図１１５は、ロボットハードウェア技術設計構想３２０６と、ロボットソフトウェア技術設計構想３２０８と、ロボットビジネス設計構想３２０２と、ロボット技術設計構想を支持するための数学アルゴリズム３２０４との間の様々な双方向抽象化レベル３２００についての１つの展望を例示するブロック図である。本発明の開示のロボット設計構想を垂直及び水平の設計構想として見た場合には、ロボットビジネス設計構想は、ロボットキッチンのビジネス用途を最上レベル３２０２に含み、ロボット設計構想の数学アルゴリズム３２０４を最下レベルに含み、ロボットビジネス設計構想３２０２と数学アルゴリズム３２０４との間にロボットハードウェア技術設計構想３２０６及びロボットソフトウェア技術設計構想３２０８を含む。事実上、ロボットハードウェア技術設計構想、ロボットソフトウェア技術設計構想、数学アルゴリズム、及びビジネス設計構想のレベルの各々は、図１１５に示しているようにレベルのうちのあらゆるものと双方向に相互作用する。例えば、食品料理を調製するためにデータベースからのソフトウェア小規模操作を処理するためのコンピュータプロセッサは、アクチュエータにロボット上のロボット要素の各々の移動を制御するための指令命令を送ることによって食品料理を調製する上で最適な機能結果を達成する。ロボットハードウェア技術設計構想及びロボットソフトウェア技術設計構想の水平的な観点の詳細については、例えば図１００から図１１４までに例示しているように、本発明の開示全体を通して説明する。

図１１６は、１対のロボットアーム及び５本指のハンド３２１０を示しているブロック図である。各ロボットアーム７０は、いくつかのジョイント、例えば、肘３２１２及び手首３２１４を関節でつなぐことができる。各アーム７２は、作成者の動作及び小規模操作を複製するために５本の指を有することができる。

図１１７Ａは、人間型ロボット３２２０の一実施形態を例示している概略図である。人間型ロボット３２２０は、環境を監視し、又は目標物体の所在地及び運動を検出する能力のある外部カメラつきヘッド３２２２を有することができる。人間型ロボット３２２０は、ＧＰＳセンサ又は位置測定センサを含み、胴体の傾斜具合又は移動を検出し、胴体に内臓されたセンサを有する胴３２２４を有する。人間型ロボット３２２０は、ハンド及び指に組み込みの各種センサ（レーザ、ステレオカメラ）を有する１又は２以上の巧みなハンド７２、指及び掌を有することができる。ハンド７２は、調理、楽器演奏、ペインティング等のようなサブジェクトの専門家の人間の技術を実行する精密な把持、把握、解除、指圧力の運動を実施する能力を有する。人間型ロボット３２２０は、必要に応じて、実行速度を制御するアクチュエータ付の脚３２２６を有することができる。各脚３２２６は、人間のような歩き方、ランニング、ジャンピングを実行する自由度数を有することができる。同様に、人間型ロボット３２２０は、様々な地形及び環境下で移動能力のある足３２２８有することができる。

これに加えて、人間型ロボット３２２０は、上下、前方後方、及び回転運動の自由度数付の首３２３０を有することができる。それは、前方後方に及び回転運動の自由度数付の肩３２３２を有することができ、前方後方及び回転運動の自由度数付の肘を有することができ、前方後方及び回転運動の自由度数付の手首３１４を有ことができる。人間型ロボット３２２０は、前方後方、左／右、回転運動を可能にする自由度数（ＤＯＦ）による臀部３２３４と、前方後方運動を可能にする自由度数（ＤＯＦ）による膝３２３６と、前方／後方及び左／右の運動を可能にする自由度数（ＤＯＦ）による足首３２３６とを有することができる。人間型ロボット３２２０は、それがその操作上のスペース限界内で自由に移動することができるように、電池３２３８又は他の電源を収納することができる。電池３２３８は、再充電可能で公知のタイプの電池又は他の電源である。

図１１７Ｂは、それぞれのジョイントの周辺又は所在地にロボット胴体に取り付けられる複数のジャイロスコープ３２４０付の人間型ロボット３２２０の一実施形態を例示しているブロック図である。方向センサとして、回転ジャイロスコープ３２４０は、人間型ロボットのために高い程度の複雑な角運動（かがむか又は座ることのような）に関する異なる角度を表示する。ジャイロスコープ３２４０のセットは、全体の人間型ロボットと人間型ロボット３２２０の個々の部分のダイナミックな安定性を維持するための方法及びフィードバック機構を提供する。ジャイロスコープ３２４０は、実時間出力データ、オイラー角度、姿勢四元数、磁力計、加速度計、ジャイロデータ、ＧＰＳの高度、位置及び速度を提供することができる。

図１１７Ｃは、人間型ロボットが有する作成者の記録デバイス、触覚スーツ、ヘッドギア、及び触覚グローブを含むことを例示しているグラフ図である。作成者は、実施形態において、技能の獲得と人間作成者の運動を記録するために、触覚スーツ又は外骨格３２５０を着用することができる。スーツは、ヘッドギア３２５２、四肢触覚スーツ、例えば、アーム外骨格３２５４及び触覚グローブ３２５６などを含む。触覚スーツは、あらゆる数のセンサ及び基準点付きのセンサネット３２５８で覆われることができる。センサ及び基準点は、作成者が記録デバイス３２６０の動作範囲に残る限り、センサネット３２５８により、作成者の動きを獲得して記録デバイス３２６０に入れる。具体的には、グローブ３２５６を着用するために作成者がそのハンドを動かす場合、３Ｄ空間での位置が多数のセンサデータポイントＤ１，Ｄ２…Ｄｎ．により捕捉される。作成者の運動は、触覚スーツ３２５０又はヘッドギア３２５２のためにヘッドに限られず、作成者全体を含む。このように、各運動は、分解され、全体の技能の一部として小規模操作に分類することができる。

図１１８は、ロボット人間技能サブジェクト専門家電子ＩＰ小規模操作ライブラリ２１００を示しているブロック図である。サブジェクト／技能ライブラリ２１００は、いかなる数の小規模操作の技術ファイル又はフォルダ構造に含む。ライブラリは、技能、職業、区分、環境、又はその他のカタログ又は分類によっていかなる数の方法も中に配置することができる。それは、フラットファイルを用いて又は関係の方法で分類することができ、無限の数のフォルダから成ることができ、かつサブフォルダ及び実質的に無限の数のライブラリ及び小規模操作から成ることができる。図１１８に示すように、ライブラリは、下記のテーマ、例えば、人間の料理技能５６、人間の描画技能２１０２、人間の楽器技能２１０４、人間の看護技能２１０６、人間のハウスキーピング技能３２７０、及び看護介護／セラピスト技能３２７２を網羅するいくつかのモジュールＩＰ人間技能を複製するライブラリ５６、２１０２、２１０４、２１０６、３２７０、３２７２、３２７４を含む。これに加えて及び／又はこれに代えて、ロボットの人間技能サブジェクト電子ＩＰ小規模操作ライブラリ２１００は、基本的な人間運動技能、例えば、歩行、ランニング、ジャンプ、階段クライミングなどを含むこともできる。本質的に技能ではないけれども、基本的な人間移動３２７４の小規模操作ライブラリを作成することによって、人間型ロボットは、現場環境でもっと容易な人間に近いマナーで機能し、相互に作用することができる。

図１１９は、人間の手の技能と運動を複製するために一般小規模操作３２８０の電子ライブラリを作成するプロセスを例示しているブロック図である。この図では、１つの一般小規模操作３２９０が図１１９に関して記載されている。小規模操作ＭＭ１３２９２は、その特定の小規模操作が第２物体で第１物体にうまく衝突したことの機能的な結果３２９４をもたらす。各小規模操作は、下位小規模操作又はステップに分解することができ、ＭＭ１３２９２が１又は２以上の小規模操作（下位小規模操作）、小規模操作ＭＭ１．１３２９６（第１物体を持ち上げて把持する）、小規模操作ＭＭ１．２３３１０（第２物体を持ち上げて把持する）、小規模操作ＭＭ１．３３３１４（第２物体で第１物体を衝突）、小規模操作ＭＭ１．４ｎ３３１８（第１の物体を開く）から成る。追加的な下位小規模操作は、加えるか又は減算して特定の機能的な結果を成し遂げる特定の小規模操作に良く適合させる。小規模操作の定義は、それがどのように規定されるかに部分的に依存し、かつ特定の小規模操作がいくつかの下位小規模操作を統合するかを問わず、又は下位小規模操作として特徴付けされたことが他の前後関係のより広い小規模操作として定義されることもできる場合に、その精度は、当該操作を規定する。各下位小規模操作は、対応する機能的な結果を有する。ここで、下位小規模操作ＭＭ１．１３２９６は、下位機能的な結果３２９８を取得し、下位小規模操作ＭＭ１．２３３１０は、下位機能的な結果３３１２を取得し、下位小規模操作ＭＭ１．３３３１４は、下位機能的な結果３３１６を取得し、下位小規模操作ＭＭ１．４ｎ３３１８は、下位機能的な結果３２９４を取得する。同様に、機能的な結果の定義は、それがどのように規定されるか、特定の機能的な結果がいくつかの機能的な結果を統合するかどうか、又は下位機能的な結果として特徴付けられたことが、より幅広い機能的な結果が他の前後関係であると定義されることもできるかどうかに部分的に依存する。集合的に、下位小規模操作ＭＭ１．１３２９６、下位小規模操作ＭＭ１．２３３１０、下位小規模操作ＭＭ１．３３３１４、下位小規模操作ＭＭ１．４ｎ３３１８は、全体の機能的な結果３２９４を達成する。実施形態において、全体の機能的な結果３２９４は、最後の下位小規模操作３３１８と関係している機能的な結果３３１９と同様である。

各小規模操作１．１－１．ｎにつきさまざまな可能性を有するパラメータは、特定の動作を実行する最良の方法を見つけるために試験される。例えば、小規模操作１．１（ＭＭ１．１）は、物体を把持することができ、又は和音をピアノで演奏することができる。全体の小規模操作３２９０のこのステップについては、さまざまなパラメータのために全てのさまざまな下位小規模操作が探査され、ステップ１．１．を完全にする。換言すれば、異なる位置、方向、及び物体を把持する方法は、物体を把持する最適方法を見つけるために試験される。ロボットアーム、ハンド、又は人間型ロボットは、活動中にどのようにその指、掌、脚、又はその他のロボット部分を保持しているかを全てのさまざまな保持位置及び方向で試験される。次に、ロボットハンド、アーム、又は人間型ロボットは、完全に小規模操作１．２を完了するために第２の物体を持ち上げる。第２物体、すなわちナイフは、手に取られるとして全ての異なる位置、方向、及びその物体の把持方法を試験され、物体を扱う最適方法を見つけるために調べられる。これは、小規模操作１．ｎが完了されるまで継続し、かつ全体の小規模操作を実行するための全てのさまざまな置換及び組合せ動作が完了される。従って、小規模操作３２９０を実施する最適方法は、下位小規模操作１．１－１．ｎ．に分解された小規模操作のライブラリデータベースに格納される。格納された小規模操作は、第１物体を把持する最良の方法、第２物体を把持する最良の方法、第２物体で第１物体を衝突させる最良の方法を実施する所望の動作及びステップ、その他を実行する最良の方法を与える。これらの最良の組合せは、全体の小規模操作３２９０を実施する最良の方法として保存される。

タスクを完了する最良の方法をもたらす小規模操作を作成するために、パラメータの全体のセットを確認する上で複数のパラメータの組合せが試験され、そのパラメータが所望の機能的な結果が成し遂げられること確保する。ロボットデバイス７５のための教示／学習過程は、所望の最終の機能的な結果を成し遂げるために、必要なパラメータを確認するための複数及び反復の試験を伴う。

これらの試験は、シナリオを変化させて実行することができる。例えば、物体のサイズは、変化する場合がある。物体が調理室中で見つかる所在地は、異なる場合がある。第２物体は、異なる位置にある場合がある。小規模操作は、全ての可変的な状況に成功していなければならない。学習過程が完了されると、学習結果は、動作プリミティブの収集として保存される。一緒にそれは望ましい機能的な結果を達成するために既知である。

図１２０は、ロボットが一般小規模操作で複数のステージ３３３１－３３３３を遂行し、タスク３３３０を実行することを例示しているブロック図である。行動計画が図１１９によって小規模操作のシーケンスを必要とする時に、一実施形態では、ロボットの計画の推定された平均精度は、その所望の結果が獲得される観点から与えられる：

Ｇが目標（又は、“ゴール”）パラメータ（ｎ番目を通じた第１）のセット、Ｐがロボットデバイス７５パラメータ（対応して（ｎ番目を通じた第１））セットを表す。合計の分子は、ロボットとゴールパラメータ（すなわちエラー）の違いを表し、分母は、最大限度の違いを正規化する。合計は、総計になる正規化された累積誤差を与え（すなわち

、１／ｎ逓倍することより、平均誤差を与える。平均誤差（即ち、１から減算すること）を補うものは、平均精度のためのものである。

別の実施形態では、精度算出は、各係数（各αｉ）がパラメータｉ番目の重要さを表すパラメータの相対的重要度を評価する。正規化された累積誤差は、

である、推定された平均精度は、以下によって与えられる。

図１２０において、タスク３３３０は、次のステージの前に完了されることを必要とする各ステージに分解することができる。例えば、ステージ３３３１は、ステージ３３３２上へ進む前に、ステージ３３３１ｄの結果を完了しなければならない。これに加えて及び／又はこれに代えて、ステージ３３３１及び３３３２は並行に進行することができる。各小規模操作は、例えば、一連の動作プリミティブに分類することができる。それは、機能的な結果をもたらし、ステージＳ₁において、第１の定義済み小規模操作３３３１ａの全ての動作プリミティブは完了されなければならず、機能的な結果３３３１ａ’で降伏して第２の所定の小規模操作３３３１ｂ（ＭＭ１．２）へ進む前に結果としてもたらすことができる。これは、所望のステージ結果３３３１ｄが成し遂げられるまで次々に機能的な結果３３３１ｂ’、その他を産生する。タスクは、ステージ１が完了されると、Ｓ₂ ３３３２に進み続けることができる。その点に関しては、ステージＳ₂の動作プリミティブは完了され、かつタスク３３３０までのその他は完了される。反復性傾向におけるステップを予備成形する能力は、所望のタスクを実行のために予測可能な及び反復可能な方法である。

図１２１は、本発明の開示による小規模操作を実行フェーズ中の実時間パラメータ値を調整を示しているブロック図である。実際の人間技能及び運動を複製するためには、特定のタスクの実行は、保存された小規模操作の調整が必要になる。実施形態において、実時間調整は、物体における変動のために必要である。これに加えて及び／又はこれに代えて、調整は、左右のハンド、アーム、又は他のロボットの部分運動を調整のために必要である。更に、右手の小規模操作を必要とする物体の変化は、左手又は掌に必要とされる小規模操作に作用する。例えば、ロボットハンドが、右手で把握した果物を剥がすことを試みている場合、左手によって必要とされる小規模操作は、右手で把持される物体の変化の影響を受ける。図１２０によると、各パラメータは、機能的な結果を成し遂げる目的で、小規模操作を完了するために、左手のために異なるパラメータを要求する。特に、右手が第１物体のパラメータによる結果として感知したパラメータの各変化は、左手が用いるパラメータ及び左手が把持する物体のパラメータに影響を与える。

実施形態において、右手及び左手は、機能的な結果を得るために小規模操作１－．１－１．３を完了する条件として、物体のフィードバック及び物体の状態変化フィードバックを受信し、ハンド及び手掌、かつ脚にある物体の現状態の変化を検出かつ受信する。この検出された状態変化は、小規模操作から成るパラメータの調整をもたらすことができる。１つのパラメータの各変化は、各次のパラメータの変更及び所望のタスク達成までの各次の必要な小規模操作の変更をもたらす。

図１２２は、本発明の開示により寿司を作る小規模操作セットを示しているブロック図である。図１２２の概略図によると、にぎり寿司を作る工程の機能的な結果は、一連の小規模操作３３５１－３３５５に分けられる。各小規模操作は、更に一連の下位小規模操作に分解される。この具体例では、機能的な結果は、約５つの小規模操作を必要とする。それは、次々に追加的な下位小規模操作を必要とする。

図１２３は、本発明の開示より、寿司を作るために小規模操作セットの魚を切るための第１小規模操作３３５１を例示しているブロック図である。小規模操作３３５１ａ及び３３５１ｂを実行する際に、標準又は非標準物体の時間、位置、及び所在地が獲得及び記録される。タスクから最初に捕えられた値は、タスクプロセス実行中に捕えられるか、又は作成者により定義され、又は実時間３次元容積スキャンニングで獲得される。図１２２によると、第１の小規模操作又は容器から魚をとること又はまな板の上に置くことは、動作開始時間、位置、及び各左右のハンドが容器から魚を取りだして、それをボードに置くための開始時間を必要とする。これは、調整された運動を得るために、指位置、圧力、向き、及び他の指、掌、及び他のハンドとの関係の記録を必要とする。これは、標準及び規格外物体の位置及び方向の決定を必要とする。例えば、この実施形態において、魚の切り身は、規格外物体であり、部分から部分への寸法、テクスチャー、堅固さ又は重量の違いを有する。その位置は、保管容器又は所在地の中で変化することができ、同様に規格外であることがある。標準物体は、ナイフ、その位置及び所在地、まな板、容器、及びそのそれぞれの位置である。

ステップ３３５１の第２下位小規模操作は、３３５１ｂである。ステップ３３５１ｂは、正しい方向に標準ナイフ物体を配置して、まな板で魚を切るために正しい圧力、把握、及び向きを行使することを必要とする。同時に、左手、脚、掌、その他は、下位小規模操作の実行を完了するために、調整されたステップを実行することを要求される。全てのこれらの開始位置（時間）及び他のセンサフィードバック及び信号は、捕えられて下位小規模操作を完了するために動作プリミティブの成功した実施を確保するために最適化されることを必要とする。

各図１２４－１２７は、寿司を作るタスクを完了するために必要とする第２小規模操作から第５小規模操作までの小規模操作、つまり図１２４による小規模操作３３５２ａ、３３４２ｂ、図１２５による小規模操作３３５３ａ、３３５３ｂ、図１２６小規模操作３３５４、及び図１２７による小規模操作３３５５を例示しているブロック図である。本発明の開示において、機能的なタスクを完了するための小規模操作は、寿司を作るために容器から米をとって、魚切り身を拾って、望ましい形状に米及び魚を固めて、米を抱く形に魚を押圧することを必要とする。

図１２８は、演奏による機能的な結果３２６６を得るためのシーケンス、又は並行な組合せで実施されるピアノ演奏３３６０の小規模操作３３６１－３３６５を例示しているブロック図である。ピアノを演奏するタスクは、胴体、各アーム、各ハンド、指、脚と足の間の調節を必要とする。この小規模操作の全ては、個々に、集合的に、順番に、直列に、又は並行に実行される。

このタスクを完了するために、必要とする小規模操作は、胴体、各ハンド、及び足のための連続技術に分類される。例えば、ピアノ演奏技術１－ｎｉに従って一連のピアノ鍵盤をうまく押圧して止める右手の一連の小規模操作がある。同様に、ピアノ演奏技術１－ｎｉに従って一連のピアノ鍵盤をうまく押圧して止める左手の一連小規模操作がある。ヒアノのペダルを右又は左足で踏むと予め定められた一連の小規模操作がある。当業者にとって左右のハンド及び足のための各小規模操作は、更に下位小規模操作に分類され、かつ所望の機能的な結果、例えば、作曲をピアノで演奏することをもたらす。

図１２９は、本発明の開示によりピアノを演奏するための小規模操作セットによってピアノを演奏するために並行に実行される小規模操作セットによる右手のための第２小規模操作３３６２及び左手のための第１の小規模操作３３６１を例示しているブロック図である。このタスクのための小規模操作ライブラリを作成するために各指が操作開始時間及び押し終了時間を獲得する。ピアノ鍵盤は、演奏時に変更されないので、標準化物体と定義される。これに加えて、各時間ごと（ピアノの鍵盤を押す時間、又は保持する時間）の押し技術数は、時間サイクルが同一か又は異なるかに関係せず、特定の時間サイクルとして定義される。

図１３０は、本発明の開示によりピアノ演奏のための小規模操作を実施する時に並行して実施される右足に対する第３小規模操作３３６３及び左足に対する第４小規模操作３３６４を示しているブロック図である。このタスクのための小規模操作ライブラリを作成するために各指が操作開始時間及び押し終了時間を獲得する。ピアノのペダルは、標準化物体として定義される。各時間ごと（ピアノの鍵盤を押す時間、又は保持する時間）の押し技術数は、時間サイクルが同一か又は異なるかに関係せず、特定の時間サイクルとして定義される。

図１３１は、ピアノ演奏に必要となる第５小規模操作３３６５を例示するブロック図である。図１３１は、本発明の開示によるピアノを演奏するための１又は２以上の小規模操作を実施する時に並行して実行される身体移動に対する小規模操作を示しているブロック図である。例えば、物体の移動の初期開始位置又は移動終了位置は、定期的間隔と同様に中間位置として獲得される。

図１３２は、本発明の開示によるあらゆるシーケンス及びあらゆる組合せで並行に実施される人間型ロボット歩行のための小規模操作３３７０を示しているブロック図である。図１３２によると、小規模操作は幾つかのセクメントに分解され、すなわち、セグメント３３７１、歩幅３３７２、スカッシュセグメント３３７３、パツシングセグメント３３７４、伸縮セグメント３３７５（他の脚での歩幅）である。各セクメントは、個人的な小規模操作であり、かつ人間型ロボットが凸凹面又は階段を上がり、斜面、坂で歩行時にたおれない機能結果をもたらす。個々のセグメント又は小規模操作は、脚及び足の個々の部分がセクメント中に移動する方法により記載される。これら個人小規模操作は、獲得又はプログラムされ、人間型ロボットを教示し、及び特定の状況に基づいて最適化される。実施形態において、小規模操作ライブラリは、作成者を観察して獲得される。他の実施形態では、小規模操作は、コマンド列から作成される。

図１３３は、本発明の開示によりロボットの歩幅３３７１のための小規模操作の右脚又は左脚の一歩姿勢で歩く姿勢に対する第１の小規模操作例示しているブロック図である。以上のように、右左脚、膝又は足は、初期位置ｘｙｚに配置される。この位置は、足と地面間の距離又は地面に関する膝の角度及び歩く方法技術、及び潜在的障壁に応じた脚の全体の高さに基づいている。これらの初期運動開始パラメータは、小規模操作の開始時に双方の右左、脚、膝、及び足のために記録されるか又は獲得される。小規模操作が作成され、かつ小規模操作３３７１ための歩幅を完了するに必要な全ての中間時位置が獲得される。身体位置、質量中心、及び関節のベクトルなどの追加情報は、小規模操作を完了するために全データが集中されたことを確実にするために獲得されることを必要とする。

図１３４は、本発明の開示によりロボットの歩幅のための小規模操作の右脚又は左脚のスカッシュ３３７２姿勢の第２の小規模操作を例示しているブロック図である。以上のように、右左脚、膝又は足は、初期位置ｘｙｚに配置される。この位置は、足と地面間の距離又は地面に関する膝の角度及び歩く方法技術、及び潜在的障壁に応じた脚の全体の高さに基づいている。これらの初期運動開始パラメータは、小規模操作の開始時に双方の右左、脚、膝、及び足のために記録されるか又は獲得される。小規模操作が作成され、小規模操作３３７２のためにスカッシュを完了する全ての臨時の位置が捕えられる。身体位置、質量中心、及び関節のベクトルなどの追加情報は、小規模操作を完了するために全データが集中されたことを確実にするために獲得されることを必要とする。

図１３５は、本発明の開示により人間型ロボットの歩行動作のための小規模操作の右脚又は左脚の通過３３７３姿勢で歩く第３の小規模操作例示しているブロック図である。以上のように、右左脚、膝又は足は、初期位置ｘｙｚに配置される。前記位置は、足と地面間の距離又は地面に関する膝の角度及び歩く方法技術、及び潜在的障壁に応じた脚の全体の高さに基づいている。これらの初期運動開始パラメータは、小規模操作の開始時点に双方の右左、脚、膝、及び足のために記録されるか又は獲得される。小規模操作が作成され、かつ小規模操作３３７３ための歩幅を完了するに必要な全ての中間時位置が獲得される。身体位置、質量中心、及び関節のベクトルなどの追加情報は、小規模操作を完了するために全データが集中されたことを確実にするために獲得されることを必要とする。

図１３６は、本発明の開示によりロボットの歩行動作のための小規模操作の右脚又は左脚ストレッチ姿勢３３７４で歩く第４の小規模操作を例示しているブロック図である。以上のように、右左脚、膝又は足は、初期位置ｘｙｚに配置される。この位置は、足と地面間の距離又は地面に関する膝の角度及び歩く方法技術、及び潜在的障壁に応じた脚の全体の高さに基づいている。これらの初期運動開始パラメータは、小規模操作の開始時に双方の右左、脚、膝、及び足のために記録されるか又は獲得される。小規模操作が作成され、かつ小規模操作３３７４ためのストレッチを完了するに必要な全ての中間時位置が獲得される。身体位置、質量中心、及び関節のベクトルなどの追加情報は、小規模操作を完了するために全データが集中されたことを確実にするために獲得されることを必要とする。

図１３７は、本発明の開示によりロボットの歩行動作のための小規模操作の右脚又は左脚の歩幅３３７５姿勢（次の脚）で歩く第５の小規模操作を例示しているブロック図である。以上のように、右左脚、膝又は足は、初期位置ｘｙｚに配置される。この位置は、足と地面間の距離又は地面に関する膝の角度及び歩く方法技術、及び潜在的障壁に応じた脚の全体の高さに基づいている。これらの初期運動開始パラメータは、小規模操作の開始時に双方の右左、脚、膝、及び足のために記録されるか又は獲得される。小規模操作が作成され、かつ小規模操作３３７５ための歩幅を完了するに必要な全ての中間時位置が獲得される。身体位置、質量中心、及び関節のベクトルなどの追加情報は、小規模操作を完了するために全データが集中されたことを確実にするために獲得されることを必要とする。

図１３８は、本発明の開示により３次元視覚システムによる人間型ロボットの看護介護モジュール３３８１を例示しているブロック図である。人間型ロボットの看護介護モジュール３３８１は、様々な寸法、サイズの構造に設計され、同じく１人の患者又は複数の患者に対して救命救急診療及び簡素な支援を必要とする患者に対して設計される。看護介護モジュール３３８１は、看護介護施設に統合され、又は支援型リビング及び住宅に設置される。看護介護モジュール３３８１は、実時間３Ｄ視覚システム、医療監視デバイス、パソコン、医療アクセリー、調剤薬局、又は必要な医療及び監視機器を備える。看護介護モジュール３３８１は、他の設備又はあらゆる医療機器、監視装置、ロボット制御装置の格納用ストレージ３３８２を備える。看護介護モジュール３３８１は、１又は２以上のロボットアーム又はハンドを収納し、かつ人間型ロボットを含む。ロボットアームは、看護介護モジュール３３８１の天井に設置されたレールシステムに据え付けられ、又は壁及び床に据え付けられる。看護介護モジュール３３８１は、モジュール内に患者とロボットの移動を追跡又は監視する３次元監視３Ｄシステム３３８３を備える。

図１３９は、本発明の開示によりロボット標準化キャビネット３３９１を有するロボット看護介護モジュール３３８１を例示しているブロック図である。図１３８によると、看護介護モジュール３３８１は、３次元監視３Ｄシステム３３８３を備え、追加的に、標準化検査及び緊急準備付きカートに入れ替えられるパソコン付き医療カート又は撮像装置付きカートを格納用キャビネット３３９１に備える。キャビネット３３９１は、他のロボット向け使用に標準化された医療機器、例えば、ホイル、歩行器、松葉杖などを収納又は保管のために使用される。看護介護モジュール３３８１は、ヘッドボード３３９２ｓと同一の設備操作ヘッドボード付きの様々なサイズの標準化ベッドである。ヘッドボードコンソール３３９２は、標準化病院の病室が備えている医療用ガス出口、直接、間接、夜間照明、電気スイッチ、電気ソケット、接地ジャック、ナースコールポタンなどを備える。

図１４０は、本発明の開示により１又は２以上の標準化キャビネット３４０２、標準化スクリーン３４０３、標準化洋服タンス３４０４を有するロボット看護介護モジュール３３８１の背面図を例示しているブロック図である。これに加えて、図１３９によると、ロボットアーム／ハンド移動用レールシステム３４０１、又は手動モード使用時の格納／充填用ドックが備えられる。レールシステム３４０１を使用して水平移動又はあらゆる方向の移動、及び左右、前方、後方移動が可能になる。あらゆるタイプのレール又はトラックに１又は２以上のロボットアーム／ハンドが据え付けられる。レールシステム３４０１は、据え付けたロボットアームを制御又は操作のための電源又は制御信号を取得可能にし、配線及び制御用ケーブルを含む。標準化ストレージ３４０２は、あらゆるサイズが使用可能であり、モジュール３３８１の標準化位置に据え付けられる。標準化ストレージ３４０２は、薬、医療機器、アクセサリ保管に使用し、又は患者の品目／機器の保管のために使用可能である。標準化スクリーン３４０３は、単一目的又は多目的なスクリーンである。これは、インターネット、装置監視、エンタタイメントに使用可能である。看護介護モジュール３３８１には、スクリーン１台又は多数のスクリーン３４０３が据え付けられる。標準化洋服タンス３４０４は、患者の所有物の収納又は医療機器、又は非常設備の保管のために使用できる。任意的モジュール３４０５は、標準化看護介護モジュール３３８１と連結又は別の方法で共同設置される。ロボット又は手動バスルームモジュール、キッチンモジュール、入浴モジュール、その他の標準化看護介護モジュール３３８１範囲内に、治療又は患者を収容する別の用途に構成したモジュールを含む。レールシステム３４０１は、各モジュールを結合し、又は各モジュールに分解され、各モジュール間でロボットアームの旋回又は移動を可能にする。

図１４１は、本発明の開示による伸縮自在リフト、同じく２つのロボットアーム３４１２及び２つのロボットハンド３４１３を有する伸縮自在回転胴体３４１１付き看護介護ロボットモジュール３３８１を示しているブロック図である。ロボットアーム３４１２は、伸縮自在リフト３４１１が組み合わされた肩３４１４に取り付けられ、ロボットアーム３４１２又はハンド３４１３を移動させる手段として垂直（上下）に及び水平（左右）に動作する。伸縮自在リフト３４１１は、ロボットアーム又はハンドの全長を延長するための短いチューブ又は長いチューブとして使用され、及び別のレールシステムとして動作される。アーム１４０２又は肩３４１４は、看護介護ロボットのモジュール３３８１内でレールシステム３４０１に沿って位置と位置の間で動作される。ロボットアーム３４１２、ハンド３４１３は、レールシステム３４０１又はリフトシステム３４１１に沿って移動し、看護介護ロボットのモジュール３３８１内のあらゆる位置まで動作される。このようにして、ロボットアームとハンドは、ベッド、キャビネット、治療を行うための医療カート及びホイルカートに接近する。ロボットアーム３４１２とハンド３４１３は、リフト３４１１又はレール３４０１と連動して、座っているか又は立っている患者を持ち上げるために補助し、又は患者を車椅子及び治療機器に置く。

図１４２は、本発明の開示による高齢者を援助するさまざまな移動可能な看護介護ロボットのモジュールの動作の第１の実施形態を示しているブロック図である。ステップ（ａ）は、予め決められた時間に実施され、又は患者が起動する。ロボットアーム３４１２又はロボットハンド３４１３は、指定された標準化場所、例えば、ストレージ場所３４０２から薬及び試験設備を取る。ロボットアーム３４１２又はロボットハンド３４１３、又は肩３４１４は、ステップ（ｂ）を実行している時に、レールシステム３４０１によってベッド及び低い位置まで移動し、ベッドに横になっている患者の顔まで旋回する。ステップ（ｃ）でロボットアーム３４１２又はハンド３４１３は、ブログラムされた／必要な小規模操作を実行して患者に薬を与える。患者は、移動し、かつ標準化されない場合があるので、好ましい結果を確保するために、患者に基づく３次元（３Ｄ）実時間調節、標準化／非標準化物体位置、向きが利用される。このようにして、実時間３Ｄ視覚システムは、他に標準化された小規模操作の調整を可能にする。

図１４３は、本発明の開示により看護介護ロボットモジュールが車椅子を積み降ろしをしている第２動作の実施形態を例示しているブロック図である。好ましい結果を確保するために、ロボットアーム３４１２とハンド３４１３は、標準化物体、例えば、車椅子から高齢者／患者を移動又は持ち上げてから別の標準化物体に乗せ、及びベッドに休ませる。その時に、患者に基づく３次元（３Ｄ）実時間調節、標準化／非標準化物体位置、及び向きを利用する。アーム／ハンド／肩は、ステップ（ｂ）実行中に、患者が移動された後、車椅子を回転して格納キャビネットに戻す。これに加えて又はこれに代えて、１又は２以上のアームとハンドのセットが付いている場合、ステップ（ｂ）は、ステップ（ａ）が完了されている間、セットの一台で実行される。キャビネット。ステップ（ｃ）を実行している期間中、ロボットの各アームと各ハンドは、キャビネットドア（標準化物体）を開けて、車椅子を戻し、ドアを閉める。

図１４４は、人間型ロボット３５００がＡ氏３５０２とＢ氏３５０４の関係を容易にするサービスをすることを描写するものである。本発明の開示により人間型ロボットは、同じ場所に泊まってない人間間の実時間通信を容易にする役目を実行する。本発明の開示によるＡ氏３５０２又はＢ氏３５０４は、遠く離れた場所に滞在する。その二人は、同じ建物、例えば、オフィスビルか病院の別々の部屋に滞在するか、更に離れた国々に滞在する。Ａ氏３５０２は、人間型ロボットと一緒に滞在するか（描写されない）、又は一人である。Ｂ氏３５０４は、ロボット３５００と一緒に滞在する。ロボット３５００は、Ａ氏３５０２がＢ氏３５０４と通信している時に，Ａ氏３５０２の動き又は行動を真似る。Ａ氏３５０２は、センサが組み込まれた衣服又はスーツを着ている。そのセンサは、Ａ氏３５０２の移動を並行して人間型ロボット３５００の移動に伝達する。例えば、本発明の開示により、Ａ氏は、センサが組み込まれたスーツを着る。そのセンサは、ハンド、胴、ヘッド、脚の指、又は足の動作を検出する。Ｂ氏３５０４が遠隔の部屋に入った時に、Ａ氏３５０２は、座っている位置から立って、手を伸ばして、Ｂ氏３５０４と拍手する。Ａ氏３５０２の動きは、センサが感知し、有線又は無線通信接続経由のインターネットのような広域ネットワークに接続されたシステムに伝達される。実時間又は実時間に近い範囲内でセンサから捕えた情報が有線又は無線通信接続経由でＡ氏３５００の物理所在に関わらず３５００まで伝達される。受信した情報に基づいて、センサ情報は、Ｂ氏３５０４の所在下でＡ氏３５０２の動きを真似るものである。本発明の開示により、Ａ氏３５０２又はＢ氏３５０４は、人間型ロボット３５００を経由して互いに拍手することができる。このようにして、Ｂ氏３５０４は、同じ感じの把持位置を感触し、人間型ロボット３５００のロボットハンドを通じてＡ氏のハンドを調節することができる。技術者が分かるように、人間型ロボット３５００は、拍手だけではなく、視覚、聴覚、スピーチすることができる。これは、Ａ氏が成し遂げるあらゆる方法で、Ａ氏３５０２がＢ氏３５０４と一緒にその部屋に居る時にＢ氏３５０４を助力する能力を持っている。一実施形態では、人間型ロボット３５００は、Ａ氏３５０２の感覚を感知するためにＢ氏に対して小規模操作を実施してＡ氏３５０２の動きを真似る。

図１４５は、Ａ氏３５０２の直接制御下に人間型ロボット３５００がＢ氏３５０４の上でセラピスト３５０８として役立っていることを表している。本発明の開示により、人間型ロボット３５００は、Ａ氏の実時間動作を捕捉した動作の下でＢ氏のセラピストとして作動する。本発明の開示により、Ａ氏３５０２はセラピストであり、Ｂ氏３５０４は患者であることができる。本発明の開示により、Ａ氏は、センサ付きスーツを着て、Ｂ氏に対して治療セッションを実施する。セラピーセッション実施行動は、センサ経由で捕捉され、更に後で人間型ロボット３５００が実施するために小規模ライブラリに変換される。本発明の開示によるＡ氏３５０２又はＢ氏３５０４は、遠く離れた場所に居ることができる。セラピストのＡ氏は、センサ付きスーツを着て、立つ位置で解剖学的に正確な人間型姿で患者に対して治療を実行する。センサがＡ氏３５０２の動きを捕捉し、記録デバイス又はネット装置３５０６経由で人間型ロボット３５００に伝達する。捕捉して記録された動作は、Ｂ氏３５０４に応用するために人間型ロボット３５００に伝達される。このようにして、Ｂ氏は、人間型ロボット３５００から治療を受ける。その治療は、Ａ氏が実行した治療セッションか又は実時間にＡ氏３５０２から捕えて事前記録された治療に基づく治療である。Ｂ氏は、人間型ロボット３５００のハンドを通じてＡ氏３５０２（セラピスト）の手の同じ感触を感じる（例えば、強い把持）。治療法は、異なる時間／日（例えば１日おき）に同じ患者に対して、又は異なる患者（Ｃ氏、Ｄ氏）に対してそれぞれの事前記録したプログラムファイルに従って予定することができる。一実施形態では、人間型ロボット３５００は、治療セッションを置換するために、Ｂ氏３５０４に対して小規模操作を実施してＡ氏３５０２の動きを真似る。

図１４６は、アームを移動させるための完全なトルクが必要なロボットハンド又はアーム関係を有するモータの配置を例示する第１の実施形態のブロック図である。同時に、図１４７は、アームを移動させるための低いトルクが必要なロボットハンド又はアーム関係を有するモータの配置を例示する第２の実施形態のブロック図である。ロボット設計の課題は、質量及び従って重量、特に、全体システムに対して動作及び最大トルクを発生させるために最大力を必要とするロボットマニピュレータ（ロボットアーム）の各体肢の質量又は重量を最小化することである。電気モータは、ロボットマニピレータの先端で大きい重量を有する。軽量、強力な電気モータの開示又は開発がその問題の軽減する方法である。別の方法、現在のモータ技術に鑑みて好ましい方法は、各モータの設置を変更することであり、それらが四肢から遠く離れていても、運動エネルギをロボットのマニピュレータに伝達するものである。

一実施形態は、ロボットハンド７２の位置を制御するモータ３５１０をハンドの付近の手首に通常置くことではなく、更にロボットアーム７０の上の位置に、好ましくはちょうど肘３２１２の下に配置することを必要とする。その実施形態において、肘３２１２により近いモータ配置の効果は、ハンドの重量によって生じるハンド７２の上での元のトルクから始めて、以下の通りに解釈することができる。

ここで、重量

（重力定数ｇ掛ける物体ｉ質量）であり、水平距離

は、垂直角のθに対するものである。ただし、モータが近くに置かれる場合（関節からエプシロンで配置）、新しいトルクは以下の通りである。

モータ３５１０が肘関節３２１２の隣であるから、ロボットアームは、エプシロン－距離だけトルクに寄与する。ハンドが何を動かすことを含めて、新しいシステムのトルクは、ハンドの重量によって支配される。この新しい構成の強みは、ハンドが同じモータを使用により大きな重量を持ち上げることができるということであり、モータ自体がトルクにほとんど寄与しないことである。

当業者は、開示のこの態様の効果を認め、モータがハンドに与える力を伝達するために用いるデバイスの量（当該デバイスが小さいアクセルセットである）に対処するために小さい補正因子が必要であることを理解するであろう。従って、この小さい補正因子を有する最大限の新しいトルクは、以下の通りである。

ここで、アクセルの重量が半分－トルクを与える理由は、質量中心がハンドと肘の間にあることである。典型的にアクセルの重量は、モータの重量よりも非常に少ない。

図１４８Ａは、頭上マウントからロボットキッチンで使用するために延長しているロボットアームを例示している画像の概略図である。明らかなように、各ロボットアームは、頭上レールに沿ってどの方向にも縦走することで、必要な小規模操作を実施するために上下移動の動作をする。

図１４８Ｂは、頭上マウントからロボットキッチンで使用するために延長しているロボットアームを例示している上面の概略図である。１４８Ａ－Ｂ図に示すように、器材の設置は、標準化することができる。実施形態において、具体的には、オーブン１３１６、キャビネット型レンジ３５２０、シンク１３０８、及び食器洗い機３５６は、標準化されたキッチンの中でロボットアーム及びハンドがその調理道具の正確な保管所を検知している。

図１４９Ａは、頭上マウントからロボットキッチンで使用するために延長しているロボットアームを例示している画像の概略図である。図１４９Ｂは、図１４９Ａの中で表される実施形態の上面図である。図１４９Ａ－Ｂは、図１４８Ａ－Ｂで表された本質的キッチンレイアウトの別の実施形態を表す。本発明の開示により「リフトｏｖｅｎ」１４９１が使われる。それにより標準化された物体容器を掛けるために調理台と周囲の領域の拡大が可能である。それは、図１４９Ａ－Ｂで開示されるキッチンモジュールとは同じ寸法を有することができる。

図１５０Ａは、ロボットキッチンで使用するために頭上マウントから延長しているロボットアームを例示している画像の概略図である。図１５０Ｂは、図１５０Ａで例示される実施形態の上面図である。この実施形態によると、この具体例では、図１４７Ａ－Ｂ及び１４８Ａ－Ｂで表されるキッチンモジュールと同じ外形寸法であるが、ただし、リフトオーブン３５２２が据え付けられてる。これに加えて、この実施形態において、双方に追加的なスライド式収納庫３５２４及び３５２６が取り付けられる。カスタマイズされた冷蔵庫（図示せず）は、これらのスライド式収納庫３５２４又は３５２６の中に取り付けることができる。

図１５１Ａは、頭上マウントからロボットキッチンで使用するために延長しているロボットアームを例示している画像の概略図である。図１５１Ｂは、頭上マウントからロボットキッチンで使用するために延長しているロボットアームを例示している頭上の画像の概略図である。実施形態において、スライド式収納庫コンパートメントは、キッチンモジュールに収容することができる。図１５１Ａ－Ｂで図示したように、スライド式収納庫３５２４は、キッチンモジュールの双方に設置することができる。この具体例では、全体寸法は、図１４８－１５０で表されているものと同様である。実施形態において、特別注文された冷蔵庫は、これらのスライド収納庫３５２４内に取り付けることができる。技術者が分かるように、標準化されたロボットモジュールは、実施することができる多くのレイアウト及び多くの実施形態を有する。これらのばらつきは、キッチン又は介護療養所に限られるものではなく、構造、製造、集会、食糧生産など、開示の本質から逸脱することなく、その他の用途に使うこともできる。

図１５２－１６１は、本発明の開示によるロボット把持オプションの様々な実施形態を示している絵図である。図１６２Ａ－Ｓは、ロボットハンドに適している標準化されたハンドル付きの様々な調理器具用具を例示している画像の概略図である。実施形態において、キッチンハンドル５８０は、ロボットハンド７２で使われるように設計されている。ロボットハンドが毎回同じ位置で標準化されたハンドルを把握するために又はずれを最小化して把握を強化するために、１又は２以上の隆起５８０－１が配置されている。キッチンハンドル５８０の設計は、万能（又は標準化）にする目的で、又は同じハンドル５８０が調理用品又は他のタイプのツール、例えばナイフ、医療試験プローブ、ねじ回し、モップに取り付けられるように、ロボットハンドが把握することが必要となる可能性がある。他のタイプの標準化（又は、万能）ハンドルは、本発明の開示の本質から逸脱することなく設計することができる。

図１６３は、ロボットキッチンに用いられる配合器部分の画像の概略図である。技術者が分かるように、あらゆる道具、装置、又は機器は標準化され、いかなる数のタスクも実行することができるように、ロボットハンド及びアームによって使用及び操作に向けて設計することができる。小規模操作が器材のツール又は装置の一部分を操作させるために作成された状態で、ロボットハンド又はアームは、一定した及び信頼性の高い方法で器材を繰り返して連続的に使用することができる。

図１６４Ａ－Ｃは、本発明の開示によるロボットキッチンの食品調理時に使用する様々な種類のホルダを示している絵図である。どれか１つ又はその全部は、別の環境で使用するために標準化することができる。明らかなように、医療機器、例えばテープディスペンサ、フラスコ、瓶、標本ジャー、包帯容器、その他は、ロボットアーム及びハンドの用途に向けて設計することができる。図１６５Ａ－Ｖは、本発明の開示による小規模操作の例を示しているブロック図であるが、本発明の開示はそれに限定されない。

本発明の開示の一実施形態は、下記の特徴又は構成要素から成る万能人間ロボットデバイスを例示する。ロボットソフトウェアエンジンは、例えば、ロボット食品調製エンジン５６が、機器を備えた又は標準化された環境の下に人間の手の動き及び食材の機器を再現する目的で構成される。ロボットの再現動作の結果は、（１）物理結果（例えば、食品調理、絵、芸術作品など）及び（２）非物理結果（例えば、音楽を楽器で演奏するロボットデバイス、健康管理補助手続きなど）である。

万能アンドロイドタイプ（又は他のソフトウェアオペレーティングシステム）ロボットデバイスは、下記のいくつかの有意な要素又は他の特徴と結合するいくつか又は全てのものを含むことができる。第１に、ロボットを運転する又は機器を備えた環境は、標準化（規格）運転特質及び構造を作成者及びロボットのスタジオに提供する。第２に、ロボット作動環境は、その環境内で稼働する標準化物体（ツール、器材、デバイス、その他）、標準化位置及び方向（ｘｙｚ）を提供する。第３に、標準化された特徴は、以下に限定されるものではないが、活動容積のダイナミックな仮想３Ｄ視野モデルを作製して付随する器材セット（標準化された付随するツール及びセットされるデバイス、二本の標準化されたロボットアーム及び小規模操作の１又は２以上のライブラリに密接にアクセスに機能的な人の手に生き写しの２つのロボットハンド）及び標準化された３次元（３Ｄ）視野デバイスの標準化に拡張される。このデータは、ハンド移動を捕える及び機能的結果を認識するために使うことができる。第４に、センサ付きハンド移動グローブは、作成者の正確な動きを捕えるために提供される。第５に、ロボットの作動環境は、各特定の（作成者）製品の作成及び再現プロセス中に標準化された種類／質／容積／重量、必要な食材及び成分を提供する。第６に、１又は２以上の種類のセンサは、捕捉のために使用され、プロセス段階を記録するために組み込まれている。

ロボット動作環境ソフトウェアプラットホームは、下記のサブプログラムを含む。ソフトウェアエンジン、例えば、ロボット食品調製エンジン５６は、食品調製プロセス中にセンサデータを提供するために、人がセンサ付きグローブを嵌めるとアームとハンドの移動スクリフト下位サブプログラムを捕捉して記録する。１又は２以上の小規模操作の機能的ライブラリサブプログラムが作成される。動作か機器を備えた環境は、ハンド運動、移動のスケジュールに基づいて、人（又は、ロボット）によって作成プロセス中に３次元ダイナミック仮想容積モデルサブプログラムを記録する。ソフトウェアエンジンは、人の手によってタスクの生成中にライブラリサブプログラムから各機能的小規模操作を認識するように構成される。ソフトウェアエンジンは、タスクの生成ごとに人の手によって次の多重化のためにロボットデバイスによって関連する小規模操作変数（又は、各パラメータ）を規定する。ソフトウェアエンジンは、センサからの作動環境でセンサデータを記録する。良質なチェック手続きはそれで行うことができ、ロボットの実行の精度を検査するために作成者のハンド運動、移動を繰り返す。ソフトウェアエンジンは、非標準化された状況（例えば物体、容積、器材、ツール又は寸法）に適応するために調整アルゴリズムサブプログラムを含む。それは、タスク（又は、製品）作成スクリプトの実行を容易にするために非標準化されたパラメータから標準化されたパラメータへの転換を実行する。ソフトウェアエンジンは、作成者の手の移動（それは、作成者の知的財産製品を反映する）のサブプログラムを格納する。こういう操作を実行して、ロボットデバイスによって次の再現のためのソフトウェアスクリプトファイルを作り出す。ソフトウェアエンジンは、効率的に望ましい食品を置くために食品又はレシピの検索エンジンを含む。サーチエンジンに対するフィルタは、検索の特定の要件を個人化するために提供される。電子取引プラットホームは、指定されたウェブサイトでどのＩＰスクリプト（例えばソフトウェアレシピファイル）、商業販売、食品成分、ツール及び器材の交換も提供するために利用可能となる。電子商取引プラットホームも、ユーザに興味を有する製品又はゾーンの特定の製品に関する情報を交換するための社会的ネットワークページを与える。

ロボットデバイスの複製機能の１つの目的は、作成者ハンドを通じたオリジナル作成者のような同じ又は実質的に同じ結果の製品、例えば、同じ食品、同じ絵、同じ音楽、同じ書込などを作ることである。稼働する又は機器を備えた環境下の高度な標準化は、作成者作動環境とロボットデバイス作動環境間の相違を最小化しながらフレームワークを提供する。その他は、ロボットデバイスが実質的に生じるロボットデバイスの稼働環境である。ロボットデバイスは作成者と相当に同じ結果を作り出す。その時に発生する追加因子に関して考慮される。複製（再現）プロセスは、ロボットデバイスが、小規模操作中に移動する物体の同一速度で独立して動作する間、好ましい小規模操作のうちの同じシーケンス、同じ初期起動時間、同じ時間サイクル、各小規模操作の同じ終了時間が入っている同じ又は実質的に同じスケジュールを有する。同じタスクプログラム又はモードは、小規模操作の記録及び実行中に、標準化キッチン及び標準化器材に対して使われる。品質チェック機構は、例えば、３次元監視及びセンサが失敗した結果を最小化するか又は回避するように用いることができる。非標準化された状況で料理を提供するために、変数又はパラメータの調整を実行することができる。ロボットデバイスが同じ結果を得ることを願って作成者移動を複製する時に、標準化された環境の使用の省略（すなわち作成者スタジオとロボットキッチン間で同じキッチン容積ではない、同じキッチン用具ではない、同じキッチン道具ではない、かつ同じ成分ではないもの）は、同じ結果を得ない危険を増加する。

ロボットキッチンは、最低２つのモード、即ち、コンピュータモード及びマニュアルモードで稼働することができる。マニュアルモード中に、キッチン用具は、オペレーティングコンソールボタンを含む。記録又は実行中に、デジタル表示から情報を認識する必要性なしで、又は端末送信錯誤を回避するためにタッチスクリーンによる制御データを入力する必要性なしで。ロボットキッチンは、タッチスクリーン作動の場合に、スクリーンの現行情報を認識することで誤操作選択を回避するシステムを備えている３次元監視を提供することができる。ソフトウェアエンジンは、標準化されたキッチン環境で異なるキッチン用具、異なるキッチン道具、及び異なるキッチンデバイスを操作可能である。作成者は、センサグロブの上で手の移動を発生することに限られている。その移動をロボットデバイスが複製して小規模操作を実行する。このように、実施形態において、小規模操作ライブラリ又は各ライブラリは、ロボットデバイスのサーバの稼働で作成者の運動機能を制限する。ソフトウェアエンジンは、キッチン用具、異なるキッチン道具などを含む３次元標準化物体の電子ライブラリを作成する。各３次元標準化物体の予め格納された寸法及び特徴は、資源を節約し、電子ライブラリから物体の３次元モデリングを生成するためにリアルタイムで３次元モデリングを作るよりもむしろ時間を減らす。実施形態において、万能アンドロイドタイプデバイスは、複数の機能的な結果をもたらすことができる。機能的な結果は、ロボットデバイスが実行した小規模操作の実行、例えば、歩いている人間型ロボット、動いている人間型ロボット、飛んでいる人間型ロボット、曲を演奏している人間型ロボット（又は、ロボットデバイス）、画像を描いている人間型ロボット（又は、ロボットデバイス）、及び料理を作っている人間型ロボット（又は、ロボットデバイス））から成功又は最適結果を得る。小規模操作の実行は、順次又は並行して行うことができ、又は１つの従来の小規模操作は、次の小規模操作の始まりの前に完了されなければならない。人間を人間型ロボットを用いてより快適にするために、人間型ロボットは、人間と同じ又は実質的に同じ移動をし、かつ周囲の人間に快適なペースを行う。例えば、人はハリウッド俳優又はモデルが歩く方法が好きであり、人間型ロボットは、ハリウッド俳優、例えば、アンジェリーナ・ジョリの移動の特徴を示し、小規模操作で動くことができる。人間型ロボットは、皮膚様カバー、男性の人間型ロボット、女性の人間型ロボット、物理的な顔の特徴及び身体形状を含む標準化された人間のタイプで特別注文することができる。人間型ロボットのカバーは、在宅で３次元印刷技術を使用して造ることができる。

人間型ロボットのための１つの例示的作動環境は、人の家であり、若干の環境は固定されるが、他はそうではない。より多くの住宅の環境が標準化されると、人間型ロボットを作動させる際に危険性はより少ない。人間型ロボットが、作成者知的財産／知識人思考（ＩＰ）に関連しない書籍を持ってくるように指示される場合、それは、ＩＰなしで機能的な結果を要求し、人間型ロボットは、所定の家庭の環境をしっかり進み、書籍を持ってくるために１又は２以上の小規模操作を実行し、人に書籍を与える。何らかの３次元物体、例えば、ソファーは、人間型ロボットが標準化された家庭の環境でその初期走査を行う時又は３次元品質チェックを実行する時に以前に作成したものである。人間型ロボットは、認識されない又は前に規定されなかった物体の３次元モデリングを必要とする場合がある。

キッチン用具のサンプルタイプは、図１６６Ａ－Ｌの表Ａとして例示している。それらは、スパイスのためのキッチンアクセサリ、キッチン機器、キッチンタイマー、温度計、粉砕機を含む。計量器、ボウル、セット、スライシング及び切断機、ナイフ、栓抜き、スタンド及び保持器、皮むき及びカット機器、ボトルキャップ、ふるい、塩と胡椒シェーカー、皿乾燥機、食卓用金物アクセサリ、装飾及びカクテル、モールド、計量容器、キッチンはさみ、収納庫の用具、鍋つかみ、フック付きのレール、シリコンマット、卸し金、押圧、すれている機械、ナイフ砥ぎ、パン入れ、アルコールのためのキッチン皿、食器類、テーブルのための用具、お茶のための皿、コーヒー、デザート、食卓用金物、キッチン機器、児童の皿、成分データのリスト、器材データのリスト、及びレシピデータのリストである。

図１６７Ａ－１６７Ｖは、表Ｂでの成分のサンプルタイプを例示している。それらは、肉、肉製品、ラム、子牛肉、牛肉、ポーク、鳥、魚、シーマウント、野菜、果物、食料雑貨店、乳製品、卵子、キノコ、チーズ、ナット、ドライフルーツ、飲料、アルコール、グリーン、ハーブ、穀類、マメ科植物、小麦粉、スパイス、調味料及び用意された製品を含む。

食品調製のサンプルリスト、方法、器材、及び料理は、図１６９Ａ－Ｚ１５で例示される様々なサンプルベースが付いている図１６８Ａ－１６８Ｚの表Ｃとして例示している。図１７０Ａ－１７０Ｃは、料理のサンプルタイプを例示し、図１７１Ａ－Ｅの表Ｄの食品は、ロボット食品調製システムの一実施形態を例示している。

図１７２Ａ－Ｃは、寿司を作っているロボット、ピアノを演奏しているロボット、ロボットを第１の位置Ａから第２の位置Ｂまで動かすロボット、第１の位置（Ａ－位置）から第２の位置（Ｂ－位置）までロボットを走らせるロボット、第１の位置（Ａ－位置）から第２の位置までジャンピングするロボット、書籍棚から書籍をとっている人間型ロボット、第１の位置からの第２の位置までバッグを運ぶ人間型ロボット、ジャーを開けているロボット、及び食品を猫が消費するボウルに入れているロボットのためのサンプル小規模操作を例示している。

図１７３Ａ－Ｉは、測定、洗浄、補足的な酸素、体温の保守、カテーテル法、物理療法、衛生的な手続き、餌の供給、分析のためのサンプリング、小孔及びカテーテルの手入れ、損傷のケア、及び薬を投与する方法を実行するロボットのためのサンプルマルチレベル小規模操作を例示している。

図１７４は、挿管、復活／心肺蘇生術、失血の補充、止血、気管に対する緊急操作、骨折、損傷閉鎖（縫合を除外する）を行うロボットのためのサンプルマルチレベル小規模操作を例示している。サンプル医療機器のリスト及び医療デバイスリストは、図１７５に示している。

図１７６Ａ－Ｂは、小規模操作を用いるサンプル育児サービスを例示している。別のサンプル機器リストは、図１７７に示している。

図１７８は、３６２４に示しているように、本明細書で解説する方法論を実施するためのコンピュータ実行可能命令をインストールして実行することができるコンピュータデバイスの例を示すブロック図である。上記で言及したように、本発明の開示に関連して解説する様々なコンピュータベースのデバイスは、同様の属性を共有することができる。コンピュータデバイス又はコンピュータ１６の各々は、それ自体に本明細書で解説する方法論のうちのいずれか１又は２以上を実施させるための命令セットを実行することができる。コンピュータデバイス１６は、いずれか又は全体のサーバ、又はあらゆるネットワーク中継デバイスを表すものとすることができる。更に、単一の機械しか例示していないが、「機械」という用語は、本明細書で解説する方法論のうちのいずれか１又は２以上を実施するための１つの命令セット（又は複数の命令セット）を個別又は共同で実行するあらゆる機械集合を含むものであることも理解されたい。例示的コンピュータシステム３６２４は、バス３６３２を通じて互いに通信するプロセッサ３６２６（例えば、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、又はこれらの両方）と、メインメモリ３６２８と、スタティックメモリ３６３０とを含む。コンピュータシステム３６２４は、ビデオ表示ユニット３６３４（例えば液晶ディスプレイ（ＬＣＤ））を更に含むことができる。更にコンピュータシステム３６２４は、英数字入力デバイス３６３６（例えばキーボード）と、カーソル制御デバイス３６３８（例えばマウス）と、ディスクドライブユニット３６４０と、信号発生デバイス３６４２（例えばスピーカ）と、ネットワークインタフェースデバイス３６４８とを含む。

ディスクドライブユニット３６４０は、本明細書で説明する方法論又は機能のうちのいずれか１又は２以上を具現化する１又は２以上の命令セット（例えばソフトウェア３６４６）が格納された機械可読媒体２４４を含む。ソフトウェア３６４６は、コンピュータシステム３６２４によるこのソフトウェアの実行中にメインメモリ３６４４及び／又はプロセッサ３６２６内に完全又は少なくとも部分的に存在することもでき、メインメモリ３６２８と、プロセッサ３６２６の命令格納部分とは機械可読媒体を構成する。更にソフトウェア３６４６は、ネットワークインタフェースデバイス３６４８を介し、ネットワーク３６５０を通じて送信又は受信することができる。

例示的実施形態において機械可読媒体３６４４を単一の媒体であるように示しているが、「機械可読媒体」という用語は、単一の媒体又は複数の媒体（例えば、中央集中データベース又は分散データベース、及び／又はそれに関連するキャッシュ及びサーバ）を含むことを理解されたい。「機械可読媒体」という用語は、機械による実行のためのものであり、本発明の開示の方法論のうちのいずれか１又は２以上を機械に実施させる命令セットを格納することができるあらゆる有形媒体を含むことも理解されたい。従って「機械可読媒体」という用語は、固体メモリ、光媒体、及び磁気媒体を含むがこれらに限定されないことを理解されたい。

一般的にロボット制御プラットフォームは、１又は２以上のロボットセンサと、１又は２以上のロボットアクチュエータと、多関節ネックの上に装着されたセンサを有するロボットヘッド、アクチュエータ及び力センサを有する２つのロボットアームを少なくとも含む機械的ロボット構造体と、機械的ロボット構造体に通信的に結合され、事前定義機能結果を達成するために感知作動又はパラメータ化アクチュエータ作動を各々が含む段階のシーケンスを各々が含む小規模操作の電子ライブラリデータベースと、機械的ロボット構造体及び電子ライブラリデータベースに通信的に結合され、１又は２以上のドメイン特定の用途を達成するために複数の小規模操作を組み合わせるように構成されたロボット計画モジュールと、機械的ロボット構造体及び電子ライブラリデータベースに通信的に結合され、小規模操作ライブラリから小規模操作段階を読み取り、機械コードに変換するように構成されたロボット解釈モジュールと、機械的ロボット構造体及び電子ライブラリデータベースに通信的に結合され、小規模操作段階に関連付けられた機能結果を達成するためにロボットプラットフォームによって小規模操作段階を実行するように構成されたロボット実行モジュールとを備える。

別の一般化された態様は、ロボットオペレーティングシステム（ＲＯＳ）によってロボット命令を用いて作動されるロボットコンピュータコントローラを有する人間型ロボットを提供し、人間型ロボットは、１又は２以上の機械実行可能用途特定命令セットを発生させるために組み合わせることができ、１又は２以上の機械実行可能用途特定命令セットを発生させるために内部にある複数の小規模操作要素を組み合わせることができる各々が複数の小規模操作要素を含む複数の電子小規模操作ライブラリを有するデータベースと、多関節ネックを通じてヘッドに接続された上側本体及び下側本体を有し、上側本体が胴体、肩、アーム、及びハンドを含むロボット構造体と、データベース、感知システム、センサデータ解釈システム、動き立案器、及びアクチュエータ及び関連のコントローラに通信的に結合され、ロボット構造体を作動させるために用途特定命令セットを実行する制御システムとを備える。

１又は２以上のタスクを遂行するために、１又は２以上のコントローラ、１又は２以上のセンサ、及び１又は２以上のアクチュエータの使用によってロボット構造体を作動させるための更に一般化されたコンピュータ実装方法は、各々が複数の小規模操作要素を含み、１又は２以上の機械実行可能タスク特定命令セットを発生させるために組み合わせることができ、１又は２以上の機械実行可能タスク特定命令セットを発生させるために内部にある複数の小規模操作要素を組み合わせることができる複数の電子小規模操作ライブラリを有するデータベースを与える段階と、多関節ネックを通じてヘッドに接続され、胴体、肩、アーム、及びハンドを含む上側本体を有するロボット構造体に指令されたタスクを実施させるタスク特定命令セットを実行する段階と、位置、速度、力、及びトルクに関する時間インデックス付き高レベル指令をロボット構造体の１又は２以上の物理的部分に送る段階と、ロボット構造体の１又は２以上の物理的部分を制御するための低レベル指令を発生させるために、時間インデックス付き高レベル指令を要素分解するための感知データを１又は２以上のセンサから受信する段階とを含む。

ロボットのロボットタスクを発生して実行するための別の一般化されたコンピュータ実装方法は、各小規模操作が、それに関連する必要な定数、変数、及び時間シーケンスプロファイルを定義する少なくとも１つの特定のパラメータＭＭデータセットに関連付けられるパラメータ小規模操作（ＭＭ）データセットとの組合せで複数の小規模操作を発生させる段階と、ＭＭデータセットと、ＭＭ指令シーケンスと、１又は２以上の制御ライブラリと、１又は２以上の機械視覚ライブラリと、１又は２以上のプロセス間通信ライブラリとを有する複数の電子小規模操作ライブラリを有するデータベースを発生させる段階と、タスク特定指令命令セットに関連付けられた高レベル指令シーケンスをロボットの各アクチュエータに対する１又は２以上の個々の機械実行可能指令シーケンスに分解する段階を含み、特定のロボットタスクを実施するために高レベルコントローラによってデータベースから複数の電子小規模操作ライブラリを選択、分類、及び編成し、それによってタスク特定指令命令セットを発生させることによって高レベルロボット命令を実行する段階と、特定のロボットタスクを実施するようにロボット上のアクチュエータを集合的に作動させるロボットの各アクチュエータのための個々の機械実行可能指令シーケンスを実行するために低レベルコントローラによって低レベルロボット命令を実行する段階とを含む。

ロボット装置を制御するための一般化されたコンピュータ実装方法は、１又は２以上の極めて複雑な挙動を構築するための１又は２以上の基本小規模操作プリミティブを各々が含み、各小規模操作挙動データを記述及び制御するために相関付けられた機能結果及び関連付けられた較正変数を各々が有する１又は２以上の小規模操作挙動データを構成する段階と、物理システムデータと、ロボットの移動を起こすためのコントローラデータと、ロボット装置７５を監視及び制御するための感知データとを含む１又は２以上のデータベースからの物理環境データに１又は２以上の挙動データをリンクしてリンクされた小規模操作データを発生させる段階と、１又は２以上のデータベースからのリンクされた小規模操作（高レベル）データを各時間間隔（ｔ₁からｔ_mまで）の間の各アクチュエータ（Ａ₁からＡ_nまで）コントローラのための機械実行可能（低レベル）命令コードに変換し、１又は２以上の指令された命令を入れ子ループの連続セットで実行することに向けてロボット装置に指令を送る段階とを含む。

上記の態様のうちのいずれにおいても、以下のことを考えることができる。製品の調製は、通常は原材料を用いる。命令を実行する段階は、一般的に製品を調製する上で用いられる原材料の性質を感知する段階を含む。製品は、（食品）レシピ（電子記述内に保持することができる）による食品料理とすることができ、人物はシェフとすることができる。作業機材は、キッチン機材を含むことができる。これらの方法は、本明細書で説明する他の特徴のうちのいずれか１又は２以上との組合せで用いることができる。態様の特徴のうちの１つ、１つよりも多く、又は全てを組み合わせることができ、従って、例えば、１つの態様からの特徴を別の態様と組み合わせることができる。各態様は、コンピュータに実装することができ、コンピュータ又はプロセッサによって作動された時に各方法を実施するように構成されたコンピュータプログラムを提供することができる。各コンピュータプログラムは、コンピュータ可読媒体上に格納することができる。これに加えて又はこれに代えて、プログラムは、部分的又は完全にハードウェアに実装することができる。これらの態様は組み合わせることができる。更に、これらの態様のうちのいずれかに関して説明した方法に従って作動するように構成されたロボットシステムを提供することができる。

別の態様では、第１の計装環境内で人間の動きを観測し、人間の動きデータを生成することができる多モード感知システムと、多モード感知システムから受け取られた人間の動きデータを記録し、好ましくはロボットシステムの作動を定義するような動きプリミティブを抽出するように人間の動きデータを処理するために多モード感知システムに通信的に結合されたプロセッサ（コンピュータとすることができる）とを備えるロボットシステムを提供することができる。動きプリミティブは、本明細書で（例えば直前のパラグラフで）説明する小規模操作とすることができ、標準フォーマットを有することができる。動きプリミティブは、特定のタイプの動作及びこの種の動作のパラメータを定義し、例えば、定義された開始点、終了点、力、及び把持タイプを有する引っ張り動作を定義することができる。任意的に、プロセッサ及び／又は多モード感知システムに通信的に結合されたロボット装置を更に提供することができる。ロボット装置は、動きプリミティブ及び／又は人間の動きデータを用いて第２の計装環境内で観測済みの人間の動きを再現することができるものとすることができる。

更に別の態様において、人間の動きから取り込まれた人間の動きデータに基づいてロボットシステムの作動を定義する動きプリミティブを受け取るためのプロセッサ（コンピュータとすることができる）と、プロセッサに通信的に結合され、動きプリミティブを用いて計装環境内で人間の動きを再現することができるロボットシステムとを備えるロボットシステムを提供することができる。これらの態様は更に組み合わせることができることが理解されるであろう。

第１及び第２のロボットアームと、各ハンドがそれぞれのアームに結合された手首、手掌、及び複数の多関節指を有し、それぞれのハンド上の各多関節指が少なくとも１つのセンサを有する第１及び第２のロボットハンドと、複数の埋め込みセンサを有するそれぞれのハンドを各々が覆う第１及び第２のグローブとを備えるロボットシステムにおいて更に別の態様を見出すことができる。好ましくはロボットシステムはロボットキッチンシステムである。

異なるが関連する態様において、標準化タスク環境モジュール、好ましくはキッチンと、人間に物理的に結合されるように構成された第１のタイプのセンサと、人間から離隔されるように構成された第２のタイプのセンサとを有する複数の多モードセンサとを備える動き取り込みシステムを更に提供することができる。第１のタイプのセンサは、人間外肢の姿勢を測定し、人間外肢の動きデータを感知するためのものとすることができること、第２のタイプのセンサは、環境、物体、移動、及び人間外肢の場所のうちの１又は２以上の３次元構成の空間的位置取りを決定するためのものとすることができること、第２のタイプのセンサは、活動データを感知するように構成することができること、標準化タスク環境は、第２のタイプのセンサと相互通信するためのコネクタを有することができること、第１のタイプのセンサ及び第２のタイプのセンサは、動きデータ及び活動データを測定し、動きデータと活動データとの両方を格納と製品（食品等の）調製のための処理とに向けてコンピュータに送ることのうちの１又は２以上のことが実現可能である。

これに加えて又はこれに代えて、５本の指と、５本の指に接続され、３つの領域内に内部関節及び変形可能表面材料を有する手掌と、手掌の橈骨側で親指の付け根の近くに配置された第１の変形可能領域と、手掌の尺骨側で橈骨側から離隔して配置された第２の変形可能領域と、手掌上に配置され、指の付け根にわたって延びる第３の変形可能領域とを備える感知グローブで覆われたロボットハンドにおいて態様を検討することができる。好ましくは、第１の変形可能領域と第２の変形可能領域と第３の変形可能領域との組合せと内部関節とが共同して作動して、特に食品調製のための小規模操作を実施する。

上記のシステム、デバイス、又は装置の態様のうちのいずれに関しても、このシステムの機能を実施する段階を含む方法態様を更に提供することができる。これに加えて又はこれに代えて、本明細書において他の態様に関して説明する特徴のうちのいずれか１又は２以上に基づいて任意的な特徴を見出すことができる。

本発明の開示を可能性のある実施形態に関して特定の詳細内容において説明した。当業者は、本発明の開示を他の実施形態に実施することができることを認めるであろう。構成要素の特定の名称、用語の大文字使用、属性、データ構造、又はいずれかの他のプログラム又は構造の態様は必須又は重要ではなく、本発明の開示又はその特徴を実施する機構は、異なる名称、フォーマット、又はプロトコルを有することができる。システムは、説明したようにハードウェアとソフトウェアとの組合せによって実施するか、又は完全にハードウェア要素で又は完全にソフトウェア要素で実施することができる。本明細書で説明する様々なシステム構成要素間の機能の特定の分割は単なる例に過ぎず、必須ではなく、単一のシステム構成要素によって実施される機能は、代わりに複数の構成要素によって実施することができ、複数の構成要素によって実施される機能は、代わりに単一の構成要素によって実施することができる。

様々な実施形態において、本発明の開示は、上記に説明した技術を単一又はあらゆる組合せのどちらかで実施するためのシステム又は方法として実施することができる。本明細書で説明するいずれか特定の特徴の組合せは、その組合せが明示的に説明したものでない場合であっても可能である。別の実施形態では、本発明の開示は、コンピューティングデバイス又はその他の電子デバイス内のプロセッサに上記に説明した技術を実施させるためにコンピュータ可読ストレージ媒体と、この媒体上にコード化されたコンピュータプログラムコードとを含むコンピュータプログラム製品として実施することができる。

本明細書で用いる場合に、「一実施形態」又は「実施形態」へのいずれの参照も、これらの実施形態に関連して説明する特定の特徴、構造、又は特性が本発明の開示の少なくとも１つの実施形態に含まれることを意味する。本明細書内の様々な箇所における「一実施形態において」という表現の登場は、必ずしも全てが同じ実施形態を参照しているわけではない。

上記のいくつかの部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び記号表現に関して提示したものである。これらのアルゴリズム的な記述及び表現は、データ処理技術分野の技術者が、自分達の研究開発の内容を他の分野の技術者に最も効果的に伝えるために用いる手段である。一般的にアルゴリズムは、望ましい結果を生じる段階（命令）の自己整合シーケンスであると受け止められている。これらの段階は、物理量の物理的操作を必要とするものである。必ずしもそうとは限らないが通常、これらの量は、格納、転送、組合せ、比較、変換、さもなければ操作の対象とすることができる電気、磁気、又は光の信号の形態を取る。時として、主に共通使用の理由から、これらの信号は、ビット、値、要素、記号、文字、用語、番号、又は同様のものとして表記するのが好適である。更に時として、物理量の物理的操作を必要とする段階のある一定の配列は、一般性を損ねることなくモジュール又はコードデバイスとして表記するのも好適である。

しかし、これら及び同様の用語の全ては、適切な物理量に関連すべきものであり、これらの量に適用される単に好適な標記でしかないことに留意されたい。以下の解説から明らかであるように、別途明記しない限り、本明細書全体を通して「処理」、「計算」、「計算」、「表示」、又は「決定」などの用語を利用した解説は、コンピュータシステムメモリ又はレジスタ又はその他のそのような情報ストレージデバイス、送信デバイス、又は表示デバイス内の物理（電子）量として表されるデータを操作及び変換するコンピュータシステム又は同様の電子コンピューティングモジュール及び／又はデバイスの動作及びプロセスに関するものであると認められる。

本発明の開示のある一定の態様は、本明細書にアルゴリズムの形態で説明するプロセス段階及び命令を含む。本発明の開示のプロセス段階及び命令は、ソフトウェア、ファームウェア、及び／又はハードウェアに具現化することができ、ソフトウェアに具現化される場合には、様々なオペレーティングシステムによって使用される異なるプラットフォーム上に存在してそこから操作されるようにダウンロードすることができることに注意されたい。

本発明の開示はまた、本明細書の作動を実施するための装置に関するものである。この装置は、必要とされる目的に向けて特別に構築することができ、又はコンピュータに格納されたコンピュータプログラムによって選択的に起動又は再構成される汎用コンピュータを含むことができる。そのようなコンピュータプログラムは、各々がコンピュータシステムバスに結合されたフロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、光磁気ディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード又は光カード、特定用途向け集積回路（ＡＳＩＣ）を含むあらゆるタイプのディスク、又は電子命令を格納するのに適するあらゆるタイプの媒体等であるがこれらに限定されないコンピュータ可読ストレージ媒体に格納することができる。更に、本明細書で言及するコンピュータ及び／又はその他の電子デバイスは、単一のプロセッサを含むことができ、又は高いコンピューティング能力に向けて複数プロセッサ設計を用いるアーキテクチャのものとすることができる。

本明細書で提示するアルゴリズム及びディスプレイは、本質的にいずれか特定のコンピュータ、仮想システム、又はその他の装置に関連するものではない。様々な汎用システムは、本明細書の教示によるプログラムと併用することもでき、又は必要とされる方法段階を実施するのに必要とされる特化された装置を構築することが好適であることを実証することができる。様々なこれらのシステムに必要とされる構造は、本明細書に提示する説明から明らかになる。これに加えて、本発明の開示をいずれか特定のプログラム言語を参照しながら説明することはしていない。本明細書で説明する本発明の開示の教示を実施する上で様々なプログラム言語を用いることができ、特定の言語への上記のいずれの参照も、本発明の開示の実施可能性及び最良モードの開示に向けて提示したものであることは明らかであろう。

様々な実施形態において、本発明の開示は、コンピュータシステム、コンピューティングデバイス、又はその他の電子デバイス、又はそのあらゆる組合せ又は複数のものを制御するためのソフトウェア、ハードウェア、及び／又はその他の要素として実施することができる。そのような電子デバイスは、例えば、当業技術で公知の技術によるプロセッサ、入力デバイス（キーボード、マウス、タッチパッド、トラックパッド、ジョイスティック、トラックボール、マイクロフォン、及び／又はそのあらゆる組合せ等）、出力デバイス（画面、スピーカ、及び／又は同様のもの等）、メモリ、長期ストレージ（磁気ストレージ、光ストレージ、及び／又は同様のもの）、及び／又はニューラルネットワーク接続要素を含む。そのような電子デバイスは、携帯又は据え置きのものとすることができる。本発明の開示を実施するのに用いることができる電子デバイスの例は、モバイル電話、携帯情報端末、スマート電話、キオスク、デスクトップコンピュータ、ラップトップコンピュータ、消費者電子デバイス、テレビジョン、セットトップボックス、又は同様のものを含む。本発明の開示を実施するための電子デバイスは、例えば、米国カリフォルニア州クパチーノのＡｐｐｌｅＩｎｃ．から入手可能なｉＯＳ、米国マウンテンビューのＧｏｏｇｌｅＩｎｃ．から入手可能なＡｎｄｒｏｉｄ、米国ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔＣｏｒｐｏｒａｔｉｏｎから入手可能なＭｉｃｒｏｓｏｆｔＷｉｎｄｏｗｓ７、米国カリフォルニア州サニーベールのＰａｌｍ、Ｉｎｃ．から入手可能なｗｅｂＯＳ、又はデバイス上での使用に向けて調整されたいずれかの他のオペレーティングシステム等のオペレーティングシステムを用いることができる。一部の実施形態では、本発明の開示を実施するための電子デバイスは、例えば、セルラー電話ネットワーク、無線ネットワーク、及び／又はインターネット等のコンピュータネットワークを含む１又は２以上のネットワークを通じての通信のための機能を含む。

一部の実施形態は、「結合される」及び「接続される」という表現、並びにこれらの派生語を用いて説明する場合がある。これらの用語は、互いに対する同義語とすることを意図したものではないことを理解されたい。例えば、一部の実施形態は、２又は３以上の要素が互いとの物理的又は電気的な直接接触状態にあることを示すために「接続される」という用語を用いて説明する場合がある。別の例では、一部の実施形態は、２又は３以上の要素が物理的又は電気的な直接接触状態にあることを示すために「結合される」という用語を用いて説明する場合がある。しかし、「結合される」という用語は、２又は３以上の要素が互いとの直接接触状態にはないが、依然として互いと協働又はやり取りすることを意味する場合もある。実施形態はこの状況に限定されない。

本明細書で用いる場合に、「備える」、「備えている」、「含む」、「含んでいる」、「有する」、「有している」という用語、又はこれらのいずれかの他の変形は、非排他的な包含を網羅することを意図したものである。例えば、列挙する要素を含むプロセス、方法、物品、又は装置は、必ずしもこれらの要素だけに限定されず、明示的に列挙していない他の要素、又はそのようなプロセス、方法、物品、又は装置に元来備わってない他の要素を含むことができる。更に、反意を明記しない限り、「又は」は、包含的な「又は」であり、排他的な「又は」ではない。例えば、条件Ａ又はＢは、Ａが真であり（又は存在し）かつＢが偽である（又は存在しない）こと、Ａが偽であり（又は存在せず）かつＢが真である（又は存在する）こと、及びＡとＢとの両方が真である（又は存在する）ことのうちのいずれか１つによって満たされる。

本明細書で用いる用語「ａ」又は「ａｎ」は、１として又は１よりも多いとして定義される。本明細書で用いる「複数」という用語は、２として又は２よりも多いとして定義される。本明細書で用いる「別の」という用語は、少なくとも第２又は第３以上として定義される。

当業者は、本明細書で説明する方法及びシステムを開発する上で更に別の説明を必要としないであろうが、関連技術において標準化された参考研究開発を精査することによってこれらの方法及びシステムの準備において場合によっては有用であるある程度の手引きを見出すことができる。

本発明の開示を限られた数の実施形態に関して説明したが、上記の説明の利益を有する当業者は、本明細書で説明した本発明の開示の範囲から逸脱しない他の実施形態を案出することができることを認めるであろう。本明細書で用いた文言は、主に可読性及び教示の目的で選択したものであり、本発明の開示の主題を線引きする又は限局化するために選択したものではないことに注意されたい。用いた用語は、本発明の開示を本明細書及び特許請求の範囲に開示する特定の実施形態に限定するものと解釈すべきではなく、これらの用語は、本出願で下記に示す特許請求の範囲の下で作動する全ての方法及びシステムを含むものと解釈されたい。従って、本発明の開示は、その開示によって限定されず、その代わりに本発明の開示の範囲は、以下に続く特許請求の範囲によって完全に決定すべきものである。

１０全体的ロボット食品調製キッチン
１２ロボット食品調製ハードウェア
２０マルチモード３次元センサ
２２ロボットアーム
２４ロボットハンド

Claims

ロボット制御プラットフォームであって、
１又は２以上のセンサと、
１又は２以上のエンドエフェクタと１又は２以上のロボットアームとを有するロボットを含む機械的ロボット構造体と、
前記機械的ロボット構造体に通信的に結合された複数の小規模操作を含む、電子ライブラリデータベースであって、各小規模操作は事前定義機能結果を達成するための小規模操作段階のシーケンスを含んでおり、各小規模操作段階は感知作動又はパラメータ化作動を含んでいる、電子ライブラリデータベースと、
前記１又は２以上のセンサと前記機械的ロボット構造体と前記電子ライブラリデータベースとに通信的に結合され、前記１又は２以上のセンサから受信されたセンサデータに少なくとも部分的に基づくとともに電子マルチステージプロセスレシピファイルと関連づけられたロボットの１又は２以上の動きの実時間の計画及び調節に向けて構成されたロボット計画モジュールであって、前記電子マルチステージプロセスレシピファイルは小規模操作シーケンスとそれに関連するタイミングデータとを含んでいる、ロボット計画モジュールと、
機械的ロボット構造体と前記電子ライブラリデータベースとに通信的に結合され、前記小規模操作ライブラリから前記複数の小規模操作内の１つの小規模操作の前記小規模操作段階を読み取るように構成されたロボット解釈モジュールと、
前記機械的ロボット構造体と前記電子ライブラリデータベースとに通信的に結合され、前記小規模操作段階に関連付けられた機能結果を達成するために前記機械的ロボット構造体によって該小規模操作段階を実行するように構成されたロボット実行モジュールと、
を含むことを特徴とするロボット制御プラットフォーム。
各小規模操作が、前記小規模操作段階を正しく実行するのに必要な１組の事前条件と、対応する該小規模操作内の全ての該段階を実行した機能結果である１組の事後条件とを含むことを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記小規模操作は、前記機能結果を達成する際に、最適成果の閾値内で実施するように設計されて試験済みのものであり、前記最適成果は、タスク特定のものであるがドメイン特定用途に対して別途指定されない時に最適の１％にデフォルト設定されていることを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記機械的ロボット構造体は、前記１又は２以上のセンサと１又は２以上のアクチュエータとを制御するためのプロセッサを含むことを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記機械的ロボット構造体と前記電子ライブラリデータベースとに通信的に結合されたロボット学習モジュールを更に含み、前記１又は２以上のセンサは人間の動作を記録し、人間型ロボットプラットフォーム内の前記ロボット学習モジュールは、記録された人間の動作のシーケンスを用いて、人間から観測かつ記録されたものと同じ機能結果を得るために、該ロボットプラットフォームによって実行可能な新しい小規模操作を学習する、
ことを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記ロボット学習モジュールは、前記小規模操作の１又は２以上の事前条件が前記ロボット実行モジュールに適合しかつ該小規模操作のパラメータ値が指定範囲内にある場合には、前記機能結果を得る確率を推定することを特徴とする請求項５に記載のロボット制御プラットフォーム。
人間－ロボットインタフェース機構を通じて前記ロボット制御プラットフォームに、前記小規模操作の前記パラメータに対する値の範囲を指定して送信し、かつ該小規模操作に対する一組の事前条件を指定することにより、人間が前記学習された小規模操作を精緻化することを可能にする人間－ロボットインタフェース機構を更に含むことを特徴とする請求項５に記載のロボット制御プラットフォーム。
前記ロボット計画モジュールは、以前に格納された計画に対する類似性を計算し、かつ事例ベースの推論を用いて同様の結果を得るのに用いられた１又は２以上の以前に格納された計画を修正かつ増強することに基づいて新しい計画を策定し、新たに策定された前記計画は、電子ライブラリデータベースに格納すべき小規模操作シーケンスを含んでいることを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記機械的ロボット構造体は、関節ネック上に装着されたセンサを有するロボットヘッドを含むことを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記複数のエンドエフェクタは、複数のキッチン道具から選択されるキッチン道具に取り付け可能な標準化ハンドルに結合された少なくとも１つのエンドエフェクタを含み、前記キッチン道具は前記標準化ハンドルに装着されるように各々が設計されていることを特徴とする請求項１に記載のロボット制御プラットフォーム。
ロボット制御プラットフォームが、標準化キッチンモジュールを含み、該標準化キッチンモジュールは、複数の標準化キッチン機材、標準化キッチンツール、及び／又は標準化容器を有することを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記タイミングデータは、各小規模操作に対する開始時間を含むことを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記タイミングデータは、各小規模操作に対する持続時間を含むことを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記タイミングデータは、各小規模操作に対する開始時間と各小規模操作に対する持続時間とを含むことを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記機械的ロボット構造体は、計装環境内で作動することを特徴とする請求項１に記載のロボット制御プラットフォーム。
前記１又は２以上のセンサは、前記計装環境に配置されることを特徴とする請求項１５に記載のロボット制御プラットフォーム。
前記ロボット計画モジュールは、前記実時間の計画及び調節中に、新しく発生したロボットスクリプトを前記電子ライブラリデータベースに格納する段階を含むことを特徴とする請求項１６に記載のロボット制御プラットフォーム。