JP7230412B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

特許文献１には、ユーザごとのキッチン作業状況に応じて、調理設備機能に十分対応した作業支援を自動的に行うキッチン作業支援システムが開示されている。

特開２００５－２８４４０８号公報

しかしながら、上記の従来技術では、例えば、調理人とロボットとが並行して調理を行う場合、調理人はロボットの調理工程や進捗を把握することが困難である。そのため、調理人は、全体の進捗状況を把握して、不足している工程をロボットに指示しなければならなかった。

そこで、本開示では、調理人とロボットとが協調して調理を効率的に行う支援を行うことができる情報処理装置、情報処理方法およびプログラムを提案する。

上記の課題を解決するために、本開示に係る一形態の情報処理装置は、料理を調理する複数の調理工程のうち、ロボットが担当する前記調理工程を特定する特定部と、前記特定部が特定した前記調理工程を示す工程情報に前記ロボットを示すロボット情報を紐付けて、前記複数の調理工程のそれぞれを示す前記工程情報を表示部に表示させる表示制御部と、を備える。

また、本開示に係る一形態の情報処理方法は、コンピュータが、料理を調理する複数の調理工程のうち、ロボットが担当する前記調理工程を特定し、特定した前記調理工程を示す工程情報に前記ロボットを示すロボット情報を紐付けて、前記複数の調理工程のそれぞれを示す前記工程情報を表示部に表示させる。

また、本開示に係る一形態のプログラムは、コンピュータを、料理を調理する複数の調理工程のうち、ロボットが担当する前記調理工程を特定する特定部、前記特定部が特定した前記調理工程を示す工程情報に前記ロボットを示すロボット情報を紐付けて、前記複数の調理工程のそれぞれを示す前記工程情報を表示部に表示させる表示制御部、として機能させる。

本開示の実施形態にかかる情報処理装置が適用される調理支援システムの一例を示す図である。 実施形態に係る情報処理装置の構成例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の画面の一例を示す図である。 実施形態に係る情報処理装置の推定方法の一例を示す図である。 実施形態に係る情報処理装置の推定方法の一例を示す図である。 実施形態に係る情報処理装置の推定方法の一例を示す図である。 実施形態に係る情報処理装置の推定方法の一例を示す図である。 実施形態に係る情報処理装置の推定方法の一例を示す図である。 実施形態に係る情報処理装置の推定方法の一例を示す図である。 実施形態に係る情報処理装置のプロファイルの一例を示す図である。 実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 実施形態の変形例に係る情報処理装置の画面の一例を示す図である。 実施形態の変形例に係る情報処理装置の画面の一例を示す図である。 実施形態のタッチ入力ユーザインターフェースを表示する画面Ｇの一例を示す図である。 実施形態に係る調理ロボットの構成例を示す図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。なお、本実施形態では、料理は、複数の調理工程によって食材を調理したものとする。調理は、調理工程で食材をこしらえること、盛りつけること等を含むものとする。料理の進捗とは、複数の調理工程の全体的な進捗状況を意味する。調理または調理工程の進捗とは、調理工程における進捗状況を意味する。

（実施形態）
［実施形態に係る情報処理装置の概要］
図１は、本開示の実施形態にかかる情報処理装置が適用される調理支援システム１の一例を示す図である。図１に示すように、調理支援システム１は、情報処理装置１０と、タッチパネル２００と、センシング装置３００と、調理ロボット４００と、を備える。情報処理装置１０は、例えば、専用または汎用コンピュータである。情報処理装置１０は、タッチパネル２００とセンシング装置３００とは、例えば、データや信号の授受が可能な構成となっている。

情報処理装置１０は、１または複数の調理人ＣＰと調理ロボット４００とが並行して調理を行う場合に、調理人ＣＰを支援する画面をタッチパネル２００に表示させる。調理人ＣＰは、料理の調理を行う人間である。調理人ＣＰは、例えば、調理をすることを職業とする料理人、職業とせずに調理を行う人間、調理を手伝う子供等を含む。調理ロボット４００は、例えば、人型を模した双腕のロボットであり、家庭内、飲食店内などで調理を行うロボットである。調理ロボット４００は、例えば、調理を自動で行う自律型ロボット、人間からの指示に応じて調理を行うロボット等を含む。

タッチパネル２００は、表示部の一例である。タッチパネル２００は、例えば、調理人が視認可能なように、飲食店の調理場、家庭の台所等の調理室Ｒで表示を行う。タッチパネル２００は、例えば、専用のタッチパネル、スマートフォンやタブレットのタッチパネル等を含む。センシング装置３００は、例えば、調理室の内部の調理人ＣＰ、調理ロボット４００、調理設備、調理機器、洗い場等に関する情報を収集し、収集した情報を情報処理装置１０に出力する。センシング装置３００は、例えば、調理室Ｒの天井に設けられたカメラ、深度センサ等の電子機器を含む。センシング装置３００は、例えば、調理室Ｒの調理台に設けられたカメラ、温度、重量センサ等の電子機器を含む。情報処理装置１０は、センシング装置３００からセンシング情報を収集し、当該センシング情報に基づいて調理人ＣＰの認識及び動作、調理の進捗等を推測する機能を有する。センシング装置３００は、調理人ＣＰの音声を集音し、集音した音声データを情報処理装置１０に出力する。

［実施形態に係る情報処理装置の構成］
図２は、実施形態に係る情報処理装置１０の構成例を示す図である。図２に示すように、情報処理装置１０は、表示制御部１１と、特定部１２と、記憶部１３と、通信部１４と、検出部１５と、使用状況検出部１６と、判定部１７と、抽出部１８と、推定部１９と、を備える。本実施形態では、表示制御部１１、特定部１２、検出部１５、使用状況検出部１６、判定部１７、抽出部１８及び推定部１９の各処理部は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＣＵ（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）等によって、情報処理装置１０内部に記憶されたプログラムがＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を作業領域として実行されることにより実現される。また、各処理部は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。

表示制御部１１は、料理を調理する複数の調理工程のそれぞれを示す工程情報を含む支援情報をタッチパネル２００に表示させる。支援情報は、調理人ＣＰの調理を支援する情報である。例えば、支援情報は、タッチパネル２００の画面に表示される。画面は、支援情報等を表示するタッチパネル２００の表示領域である。表示制御部１１は、タッチパネル２００と無線または有線により通信可能となっており、タッチパネル２００に支援情報の表示、変更等を要求する。また、工程情報は、例えば、調理工程における作業内容を示す作業情報と、当該作業で用いる材料及び分量を示す材料情報と、を含む。表示制御部１１は、例えば、調理工程を担当する調理人ＣＰ、調理ロボット４００等を示す情報を工程情報に紐付けてタッチパネル２００に表示させる機能を有する。表示制御部１１は、例えば、料理の進捗に応じて工程情報の表示態様を変更する機能を有する。工程情報の表示態様は、例えば、調理工程を未実施で調理の予定を示す表示態様、調理工程の実行が可能な状態を示す表示態様、調理工程の実行中を示す表示態様、調理工程の終了状態を示す状態等を含む。表示制御部１１は、例えば、調理器具、調理設備等の使用状況を示す情報をタッチパネル２００に表示させる機能を有する。

特定部１２は、複数の調理工程のうち、調理ロボット４００が担当する調理工程を特定する。特定部１２は、例えば、情報処理装置１０が調理ロボット４００に調理を指示している場合、その指示内容に基づいて調理工程を特定する。特定部１２は、例えば、調理ロボット４００との通信によって調理工程、進捗等の各種情報を取得し、取得した情報に基づいて調理工程を特定する。特定部１２は、特定した結果を表示制御部１１に出力する。

記憶部１３は、各種データを記憶する。例えば、記憶部１３は、表示制御部１１、特定部１２等で用いる各種情報を記憶できる。記憶部１３は、例えば、調理工程データ１３０Ａ、調理器具データ１３０Ｂ、調理設備データ１３０Ｃ、調理人データ１３０Ｄ、ロボットデータ１３０Ｅ等を記憶する。

調理工程データ１３０Ａは、料理の調理工程を示すデータである。調理工程データ１３０Ａは、例えば、支援対象の料理の複数の調理工程ごとに対応した複数の工程情報を含む。調理工程データ１３０Ａは、例えば、情報処理サーバ６００の調理工程データベース６０１から取得されたデータである。例えば、料理がたまごスープの場合、調理工程データ１３０Ａは、たまねぎをスライスする工程、スライスしたタマネギをコンソメスープに加えて加熱する工程、卵を混ぜる工程、及び、水溶き片栗粉と卵をコンソメスープに加えて加熱する工程のそれぞれの工程情報を含む。例えば、レストランである場合、調理工程データ１３０Ａは、レストランのメニューに対応した料理の調理工程を示すデータである。調理工程データ１３０Ａは、料理名を示す情報を含む。工程情報は、調理工程における作業を示す作業情報と、当該作業で用いる材料を示す材料情報と、を含む。

調理器具データ１３０Ｂは、調理に用いる調理室Ｒの調理器具を示すデータである。調理器具は、例えば、フライパン、鍋、ボウル、計量器、ざる、おたま、おろし器、ピーラー等を含む。調理器具データ１３０Ｂは、例えば、調理室Ｒの調理器具に対応した器具情報を含む。器具情報は、例えば、調理器具の種類と使用状況とを示す情報を含む。使用状況は、例えば、未使用、使用中、洗浄中等の状況を含む。

調理設備データ１３０Ｃは、調理を行う調理室Ｒの調理設備を示すデータである。調理設備は、例えば、コンロ、オーブン、まな板、洗い場等を含む。調理設備データ１３０Ｃは、例えば、調理室Ｒの調理設備に対応した設備情報を含む。設備情報は、例えば、調理設備の種類と使用状況とを示す情報を含む。使用状況は、例えば、使用中、空き等の状況を含む。

調理人データ１３０Ｄは、調理の支援対象である調理人を示すデータである。調理人データ１３０Ｄは、例えば、調理人のプロファイルを示す情報を含む。プロファイルは、調理人を識別するための特徴、顔等を示す情報を含む。調理人データ１３０Ｄは、例えば、調理人の得意、不得意等の調理を示す情報を含む。調理人データ１３０Ｄは、例えば、調理人が大人であるか子供であるかを示す情報を含む。調理人データ１３０Ｄは、例えば、調理人が調理している工程を示す情報を含む。

ロボットデータ１３０Ｅは、調理室Ｒで調理する調理ロボット４００を示すデータである。ロボットデータ１３０Ｅは、例えば、調理ロボット４００のプロファイルを示す情報を含む。プロファイルは、調理ロボット４００を識別するための特徴、型式、スペック等を示す情報を含む。ロボットデータ１３０Ｅは、例えば、調理ロボット４００の得意、不得意等の調理を示す情報を含む。ロボットデータ１３０Ｅは、例えば、調理ロボット４００が調理している工程を示す情報を含む。

記憶部１３は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部１３は、情報処理装置１０とは異なる電子機器に設けられていてもよい。具体的には、記憶部１３は、ネットワークを介して情報処理装置１０に接続されたクラウドサーバに設けてもよい。

通信部１４は、ネットワークを介して、例えば、センシング装置３００、調理ロボット４００、料理オーダー端末５００、情報処理サーバ６００等の電子機器との情報通信を行う機能を有する。具体的には、通信部１４は、電子機器から受信した情報等を情報処理装置１０の各処理部に出力する。通信部１４は、情報処理装置１０の各処理部からの情報等を送信先の電子機器に送信する。

料理オーダー端末５００は、例えば、ハンディターミナル、スマートフォン、タブレット端末等を含む。料理オーダー端末５００は、例えば、入力された料理を示す情報を情報処理装置１０に提供する。情報処理サーバ６００は、いわゆるクラウドサーバ（Ｃｌｏｕｄ Ｓｅｒｖｅｒ）であり、調理工程データベース６０１を管理する機能を有する。情報処理サーバ６００は、情報処理装置１０から指示された料理の調理工程データ１３０Ａを調理工程データベース６０１から抽出して情報処理装置１０に提供する。

検出部１５は、料理の進捗を検出する。検出部１５は、例えば、センシング装置３００のセンシング情報に基づいて調理人ＣＰ及び調理ロボット４００の動作、調理内容、使用している調理器具、調理設備等を解析する。検出部１５は、当該解析結果に基づいて料理の進捗を検出する。検出部１５は、例えば、料理を開始してからの経過時間と、調理工程の予定経過時間とを比較して、料理の進捗を検出する。検出部１５は、検出した結果を表示制御部１１に出力する。そして、表示制御部１１は、検出部１５の検出結果に基づいて、工程情報の表示態様をタッチパネル２００に変更させる。

検出部１５は、調理人が調理を行う調理工程を検出する。検出部１５は、例えば、センシング装置３００のセンシング情報に基づいて、調理人ＣＰの動作、調理内容、使用している調理器具、調理設備等を解析する。そして、検出部１５は、当該解析結果と調理工程における調理の学習結果等とに基づいて調理人が行う調理工程を検出する。検出部１５は、検出した調理人の調理結果を表示制御部１１に出力する。そして、表示制御部１１は、検出部１５が検出した調理工程を示す工程情報に、調理人を示す調理人情報を紐付けてタッチパネル２００に表示させる。

検出部１５は、調理工程における異常の発生を検出する。検出部１５は、例えば、センシング装置３００のセンシング情報に基づいて、調理工程に関する異常の発生の有無を解析する。調理工程に関する異常は、例えば、調理工程が想定時間を超えても完了しないこと、異常な加熱や煙等を検知したこと、調理工程における作業を間違えたこと等を含む。検出部１５は、検出した異常を示す情報を表示制御部１１に出力する。そして、表示制御部１１は、検出部１５が検出した調理工程の工程情報を異常表示させる。

使用状況検出部１６は、調理器具データ１３０Ｂの器具情報が示す調理器具の使用状況を検出する。使用状況検出部１６は、センシング装置３００のセンシング情報等に基づいて調理器具を認識し、当該調理器具の使用状況を検出する。例えば、使用状況検出部１６は、検出した調理器具ごとの使用状況を示す情報を表示制御部１１に出力する。そして、表示制御部１１は、使用状況検出部１６が検出した調理器具の使用状況を示すように器具情報を変更する。

使用状況検出部１６は、調理器具データ１３０Ｂの設備情報が示す調理設備の使用状況を検出する。使用状況検出部１６は、センシング装置３００のセンシング情報等に基づいて調理設備を認識し、当該調理設備の使用状況を検出する。使用状況検出部１６は、検出した調理設備ごとの使用状況を示す情報を表示制御部１１に出力する。また、使用状況検出部１６は、例えば、通信部１４を介した調理設備との通信によって取得した情報に基づいて使用状況を検出してもよい。そして、表示制御部１１は、使用状況検出部１６が検出した調理設備の使用状況を示すように設備情報を変更する。

判定部１７は、調理人がタッチパネル２００を視認しているか否かを判定する。判定部１７は、センシング装置３００のセンシング情報に基づいて、調理室Ｒの調理人ＣＰの顔の向きを特定する。そして、判定部１７は、顔の向きがタッチパネル２００に向いていると、タッチパネル２００を視認していると判定する。また、判定部１７は、顔の向きがタッチパネル２００に向いていないと、タッチパネル２００を視認していないと判定する。判定部１７は、判定結果を表示制御部１１に出力する。そして、表示制御部１１は、判定部１７が視認していると判定した調理人に基づいて、タッチパネル２００の表示内容を変更する。なお、判定部１７は、調理人Ｃの視線、頭部等の向きがタッチパネル２００に向いている場合に、タッチパネル２００を視認していると判定してもよい。

抽出部１８は、タッチパネル２００が複数の料理ごとの工程情報を含んでいる場合に、表示している複数の工程情報のうち共通化できる工程情報（調理工程）を抽出する。抽出部１８は、例えば、複数の工程情報が示す調理工程の作業内容を比較し、作業内容が一致または類似している場合に、共通化できる調理工程として抽出する。抽出部１８は、抽出した共通化できる工程情報を示す抽出結果を表示制御部１１に出力する。そして、表示制御部１１は、抽出部１８が共通化できる工程情報を抽出すると、共通化する調理工程を示す共通化情報を、当該工程情報に紐付けてタッチパネル２００に表示させる。

例えば、第１の調理工程が２つの卵を混ぜる作業内容を含み、第２の調理工程が４つの卵を混ぜる作業を含んでいるとする。この場合、抽出部１８は、共通化できる調理工程を示す第１及び第２の工程情報を抽出し、共通化した工程情報を示す抽出結果を表示制御部１１に出力する。本実施形態では、抽出部１８は、共通化した工程情報が示す調理工程の材料を加算し、６つの卵を混ぜる作業を示す共通化情報を作成し、当該共通化情報を抽出結果として表示制御部１１に出力する。そして、表示制御部１１は、当該共通化情報を共通化の対象となった複数の工程情報に紐付けてタッチパネル２００に表示させる。なお、抽出部１８は、抽出した工程情報を示す抽出結果を表示制御部１１に出力し、表示制御部１１が抽出結果に基づいて共通化情報を作成するようにしてもよい。

推定部１９は、料理の複数の調理工程のうち、調理ロボット４００が苦手な調理工程を推定する。推定部１９は、例えば、調理の内容、ロボットデータ１３０Ｅ等に基づいて、調理ロボット４００の苦手な調理工程を推定する。推定部１９は、例えば、調理人ＣＰと調理ロボット４００とのうち、調理工程を効率的に行える方を推定方法に基づいて推定する。なお、推定方法の一例については、後述する。推定部１９は、推定結果を表示制御部１１に出力する。そして、表示制御部１１は、推定部１９が推定した調理工程を示す工程情報に、調理ロボットが苦手であることを示す第２情報を紐付けてタッチパネル２００に表示させる。なお、推定部１９は、例えば、料理の複数の調理工程のうち、調理ロボット４００の得意な調理工程を推定してもよいし、調理人ＣＰの得意及び不得意の少なくとも一方の調理工程を推定してもよい。

以上、本実施形態に係る情報処理装置１０の機能構成例について説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成は係る例に限定されない。本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。

［実施形態に係る情報処理装置の表示例］
次に、図３乃至図１４を参照しながら、実施形態に係る情報処理装置１０の表示の一例を説明する。図３乃至図１４は、実施形態に係る情報処理装置１０の画面の一例を示す図である。

図３に示す画面Ｇは、情報処理装置１０が表示させたタッチパネル２００の画面の一例である。画面Ｇは、料理Ｃ１の調理を支援する場合、調理工程データ１３０Ａを表示する表示領域１３Ａを有する。例えば、料理Ｃ１は、卵スープを示している。画面Ｇは、料理Ｃ１の調理工程データ１３０Ａが有する工程情報１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ、１１０Ｅを表示領域１３Ａに表示する。画面Ｇは、料理Ｃ１の５つの工程情報１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ、１１０Ｅと実行する順序とを示している。工程情報１１０Ａは、１／４個分のたまねぎをスライスする工程を示す情報である。換言すると、工程情報１１０Ａは、たまねぎをスライスすることを示す作業情報と、１／４個分を示す材料情報を含んでいる。そして、工程情報１１０Ｂは、スライスしたタマネギをコンソメスープに加えて加熱する工程を示す情報である。工程情報１１０Ｃは、２個分の卵を混ぜる工程を示す情報である。工程情報１１０Ｄは、水溶き片栗粉と卵とをコンソメスープに加えて加熱する工程を示す情報である。工程情報１１０Ｅは、盛り付けの工程を示す情報である。画面Ｇは、料理Ｃ１の全ての工程情報１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ、１１０Ｅを表示することで、料理の全ての工程と実行する順序とを調理人ＣＰに把握させることができる。画面Ｇは、複数の料理の調理を支援する場合、複数の料理ごとの複数の表示領域１３Ａを有する構成となる。以下の説明では、工程情報１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ、１１０Ｅ等を区分しない場合、工程情報１１０と記載する。

画面Ｇは、工程情報１１０Ａが示す調理工程の調理で用いる調理設備を示す設備情報１３０を、工程情報１１０Ａに紐付けて表示している。画面Ｇは、工程情報１１０Ｂが示す調理工程の調理で用いる調理器具を示す器具情報１２０Ａを、工程情報１１０Ｂに紐付けて表示している。画面Ｇは、工程情報１１０Ｃが示す調理工程では、工程情報１１０Ｂが示す調理工程の調理器具を継続して用いるため、器具情報１２０Ａを工程情報１１０Ｃに紐付けて表示している。画面Ｇは、工程情報１１０Ｃが示す調理工程の調理で用いる調理器具を示す器具情報１２０Ｂを、工程情報１１０Ｃに紐付けて表示している。画面Ｇは、工程情報１１０Ｅが示す工程では調理器具を用いないため、工程情報１１０Ｅのみを表示している。以下の説明では、器具情報１２０Ａ、１２０Ｂ等を区分しない場合、器具情報１２０と記載する。本実施形態では、画面Ｇは、工程情報１１０の一部に器具情報１２０を重畳表示させる場合について説明するが、これに限定されない。例えば、画面Ｇは、工程情報１１０に器具情報１２０を含めてもよい。

画面Ｇは、調理器具データ１３０Ｂを表示する表示領域１３Ｂと、調理設備データ１３０Ｃを表示する表示領域１３Ｃと、を有する。画面Ｇは、調理器具データ１３０Ｂの器具情報を示すアイコン等を表示領域１３Ｂに表示する。画面Ｇは、調理設備データ１３０Ｃの設備情報を示すアイコン等を表示領域１３Ｃに表示する。図３に示す一例では、画面Ｇは、調理器具が３つのフライパンと２つの鍋と２つのボウルとがあることと、調理器具のそれぞれの使用状況とを表示領域１３Ｂに表示する。そして、画面Ｇは、調理設備が１つのまな板と４つのコンロとがあることと、調理設備のそれぞれの使用状況とを表示領域１３Ｃに表示する。その結果、調理人ＣＰは、画面Ｇを視認することで、調理器具及び調理設備の使用状況を確認することができる。

本実施形態では、画面Ｇは、調理工程データ１３０Ａを表示する表示領域１３Ａの上方に、調理器具データ１３０Ｂを表示する表示領域１３Ｂ及び調理設備データ１３０Ｃを表示する表示領域１３Ｃを設ける場合について説明するが、これに限定されるものではない。また、画面Ｇは、アイコンＧ１０を下方の角部に表示している。アイコンＧ１０は、例えば、画面Ｇに関する入力、変更、選択等を行うアプリケーションプログラムを実行するアイコンである。

図３に示す場面では、情報処理装置１０は、料理Ｃ１の調理の支援を開始している。情報処理装置１０は、料理Ｃ１の調理工程データ１３０Ａに基づいて、工程情報１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ、１１０Ｅを画面Ｇの表示領域１３Ａに表示させる。そして、情報処理装置１０は、実行可能な工程情報１１０Ａ、１１０Ｃを、実行予定の工程情報１１０Ｂ、１１０Ｄ、１１０Ｅの表示態様とは異なる表示態様で画面Ｇに表示させる。その結果、情報処理装置１０は、調理人ＣＰがタッチパネル２００の画面Ｇを参照することで、料理Ｃ１の全体的な調理工程の順序を認識させるとともに、工程情報１１０Ａ、１１０Ｃの調理工程が実行可能であることを認識させることができる。

図４に示す場面では、情報処理装置１０は、推定部１９によって調理ロボット４００の苦手な調理であると推定している。そして、情報処理装置１０は、調理人ＣＰがおすすめであることを示す情報とともに調理人情報１４０を工程情報１１０Ａに紐付けて画面Ｇの表示領域１３Ａに表示させる。その結果、情報処理装置１０は、調理人ＣＰがタッチパネル２００の画面Ｇを参照することで、工程情報１１０Ａの調理工程を調理人ＣＰに実行させることができる。

図５に示す場面では、情報処理装置１０は、検出部１５によって調理人ＣＰがたまねぎをスライスする動作等に基づいて、工程情報１１０Ａの調理を行っていることを検出している。情報処理装置１０は、調理人情報１４０の調理人ＣＰがおすすめであることを示す情報を消去させる。情報処理装置１０は、使用状況検出部１６によって設備情報１３Ｃ１の調理設備が使用中であることを検出している。そして、情報処理装置１０は、実行中であることを示す表示態様に、画面Ｇの工程情報１１０Ａの表示態様を変更させる。情報処理装置１０は、使用中であることを示すように、設備情報１３Ｃ１の表示を変更させる。その結果、情報処理装置１０は、料理Ｃ１の工程情報１１０Ａが示す調理工程が実行中であり、設備情報１３Ｃ１の調理設備が使用中であることをタッチパネル２００の画面Ｇに示すことができる。

図６に示す場面では、情報処理装置１０は、検出部１５によって調理人ＣＰがスライスしたたまねぎを鍋に移す、調理設備を離れる等の動作に基づいて、工程情報１１０Ａの調理を行っていることを検出している。情報処理装置１０は、実行可能な工程情報１１０Ｂ、１１０Ｃを、実行予定の工程情報１１０Ｄ、１１０Ｅの表示態様とは異なる表示態様で画面Ｇに表示させる。その結果、情報処理装置１０は、調理人ＣＰがタッチパネル２００の画面Ｇを参照することで、工程情報１１０Ｂ、１１０Ｃが実行可能であることを調理人ＣＰに認識させることができる。

図７に示す場面では、情報処理装置１０は、検出部１５によって調理人ＣＰがスライスしたたまねぎを鍋に入れて加熱する等の動作に基づいて、工程情報１１０Ｂの調理を行っていることを検出している。情報処理装置１０は、使用状況検出部１６によって設備情報１３Ｃ２の調理設備が使用中であることを検出している。情報処理装置１０は、使用状況検出部１６によって器具情報１３Ｂ４の調理器具が使用中であることを検出している。そして、情報処理装置１０は、実行中であることを示す表示態様に、画面Ｇの工程情報１１０Ｂの表示態様を変更させる。情報処理装置１０は、調理人情報１４０を工程情報１１０Ｂに紐付けて画面Ｇの表示領域１３Ａに表示させる。情報処理装置１０は、工程情報１０Ｂ及び工程情報１１０Ｄに紐付けられた器具情報１２０Ａが設備情報１３Ｃ２を示すように表示を変更させる。情報処理装置１０は、使用中であることを示すように、器具情報１３Ｂ４の表示を変更させる。その結果、情報処理装置１０は、料理Ｃ１の工程情報１１０Ｂが示す調理工程が実行中であり、設備情報１３Ｃ１の調理設備が使用中であることをタッチパネル２００の画面Ｇに示すことができる。

図８に示す場面では、情報処理装置１０は、料理オーダー端末５００からオムレツを示す料理Ｃ２のオーダーを受けている。情報処理装置１０は、料理Ｃ２の調理工程データ１３０Ａを取得する。情報処理装置１０は、料理Ｃ２の調理工程データ１３０Ａに基づいて、工程情報１１０Ｆ、１１０Ｇ、１１０Ｈ、１１０Ｉを画面Ｇの新たな表示領域１３Ａに表示させる。情報処理装置１０は、料理Ｃ１の表示領域１３Ａの下方に料理Ｃ２の表示領域１３Ａを追加するように画面Ｇの表示を変更させる。情報処理装置１０は、料理Ｃ２の表示領域１３Ａに、実行可能な工程情報１１０Ｆと、実行予定の工程情報１１０Ｇ、１１０Ｈ、１１０Ｉを異なる表示態様で表示させる。

情報処理装置１０は、料理Ｃ１の工程情報１１０Ｃと料理Ｃ２の工程情報１１０Ｆとを共通化可能な項目として抽出部１８によって抽出する。そして、情報処理装置１０は、料理Ｃ１の工程情報１１０Ｃと料理Ｃ２の工程情報１１０Ｆとを共通化した共通化情報１１１を、工程情報１１０Ｃ及び工程情報１１０Ｆに紐付けて画面Ｇに表示させる。情報処理装置１０は、実行中であることを示す表示態様に、画面Ｇの共通化情報１１１の表示態様を変更させる。その結果、情報処理装置１０は、料理Ｃ１と料理Ｃ２とに共通化可能項目として共通化情報１１１があることを、タッチパネル２００の画面Ｇを視認した調理人ＣＰに認識させることができる。なお、本実施形態では、情報処理装置１０は、共通化情報１１１を料理Ｃ１の工程情報１１０Ｃ及び料理Ｃ２の工程情報１１０Ｆのそれぞれに直線で結び、表示色を同じにしているが、これに限定されない。

図９に示す場面では、情報処理装置１０は、特定部１２によって共通化情報１１１を調理ロボット４００が担当することを特定している。情報処理装置１０は、使用状況検出部１６によって器具情報１３Ｂ６の調理器具が使用中であることを検出している。そして、情報処理装置１０は、実行中であることを示す表示態様に、画面Ｇの共通化情報１１１と当該共通化情報１１１に紐付けられた工程情報１１０Ｃ及び工程情報１１０Ｆとの表示態様を変更させる。情報処理装置１０は、調理ロボット４００を示すロボット情報１５０を、共通化情報１１１に紐付けて画面Ｇに表示させる。情報処理装置１０は、使用中であることを示すように、器具情報１３Ｂ６の表示を変更させる。その結果、情報処理装置１０は、料理Ｃ１の工程情報１１０Ｂが示す調理工程を調理人ＣＰが実行中であり、共通化情報１１１が示す調理工程を調理ロボット４００が実行中であることを、タッチパネル２００の画面Ｇを視認した調理人ＣＰに認識させることができる。

図１０に示す場面は、図９に示す場面の共通化情報１１１の調理工程が終了し、画面Ｇから共通化情報１１１が消去され、料理Ｃ１の工程情報１１０Ｃ及び料理Ｃ２の工程情報１１０Ｆの実行が終了した後の場面を示している。

図１０に示す場面では、情報処理装置１０は、特定部１２によって料理Ｃ２の工程情報１１０Ｇが示す調理工程を調理ロボット４００が担当することを特定している。情報処理装置１０は、料理Ｃ１の工程情報１１０Ｄ及び料理Ｃ２の工程情報１１０Ｇを実行中の表示態様で画面Ｇに表示させている。情報処理装置１０は、料理Ｃ１の工程情報１１０Ｄに調理人情報１４０、料理Ｃ２の工程情報１１０Ｇにロボット情報１５０をそれぞれ紐付けて画面Ｇに表示させている。そして、情報処理装置１０は、料理オーダー端末５００からペペロンチーノを示す料理Ｃ３のオーダーを受けている。情報処理装置１０は、料理Ｃ３の調理工程データ１３０Ａを取得する。情報処理装置１０は、料理Ｃ３の調理工程データ１３０Ａに基づいて、工程情報１１０Ｊ、１１０Ｋ、１１０Ｌ、１１０Ｍ、１１０Ｎ、１１０Ｐを画面Ｇの新たな表示領域１３Ａに表示させる。情報処理装置１０は、料理Ｃ１及び料理Ｃ２の表示領域１３Ａの下方に料理Ｃ３の表示領域１３Ａを追加するように画面Ｇの表示を変更させる。情報処理装置１０は、料理Ｃ３の表示領域１３Ａに、実行可能な工程情報１１０、１１０Ｋと、実行予定の工程情報１１０Ｌ、１１０Ｍ、１１０Ｎ、１１０Ｐとを異なる表示態様で表示させる。

図１１に示す場面では、情報処理装置１０は、検出部１５によって調理人ＣＰが料理Ｃ１の工程情報１１０Ｅが示す調理と、料理Ｃ３の工程情報１１０Ｊが示す調理とを並行して行っていることを検出している。情報処理装置１０は、検出部１５によって調理ロボット４００が料理Ｃ２の工程情報１１０Ｈが示す調理と、料理Ｃ３の工程情報１１０Ｋが示す調理とを並行して行っていることを検出している。情報処理装置１０は、使用状況検出部１６によって器具情報１３Ｂ１、１３Ｂ２及び１３Ｂ５が使用中で、器具情報１３Ｂ４及び１３Ｂ６が洗浄中であることを検出している。そして、情報処理装置１０は、料理Ｃ１の工程情報１１０Ｅと、料理Ｃ２の工程情報１１０Ｈと、料理Ｃ３の工程情報１１０Ｊ及び工程情報１１０Ｋとを実行中の表示態様で、画面Ｇに表示させる。情報処理装置１０は、調理人情報１４０を工程情報１１０Ｅ及び工程情報１１０Ｊに紐付け、ロボット情報１５０を工程情報１１０Ｈ及び工程情報１１０Ｋに紐付けて画面Ｇに表示させる。換言すると、情報処理装置１０は、複数の調理人情報１４０及びロボット情報１５０とを画面Ｇに表示させる。また、情報処理装置１０は、洗浄中であることを示すように、器具情報１３Ｂ４及び１３Ｂ６の表示を変更させる。その結果、情報処理装置１０は、調理人ＣＰ、調理ロボット４００等が複数の調理工程を実行していることを、タッチパネル２００の画面Ｇを視認した他の調理人ＣＰ等に認識させることができる。

図１２に示す場面では、情報処理装置１０は、検出部１５によって料理Ｃ３の調理工程における経過時間の遅延、調理器具からの煙の発生等に基づいて、工程情報１１０Ｊが示す調理工程での異常の発生を検出している。そして、情報処理装置１０は、工程情報１１０Ｊの実行中の表示態様を、警報の表示態様に変更させる。本実施形態では、情報処理装置１０は、例えば、「！！」の警報を示す警報情報を工程情報１１０Ｊに付加している。その結果、情報処理装置１０は、料理Ｃ３の工程情報１１０Ｊが示す調理工程で異常が発生していることを、タッチパネル２００の画面Ｇに示すことで、異常の発生を警報することができる。なお、警報方法は、例えば、警報表示を時間の経過に応じて変更したり、警報表示ととともに警報音を出力したりしてもよい。

図１３に示す場面では、情報処理装置１０は、検出部１５によって異常の発生を検出した調理工程のやり直しの動作、調理人ＣＰによるやり直しの操作等を検出している。情報処理装置１０は、料理Ｃ１の調理が完了したことを検出している。そして、情報処理装置１０は、料理Ｃ１の表示領域１３Ａを画面Ｇから消去させる。情報処理装置１０は、工程情報１１０Ｊの警報の表示態様を、実行中の表示態様に変更させる。その結果、情報処理装置１０は、料理Ｃ１が完成したことをタッチパネル２００の画面Ｇを視認した調理人ＣＰ等に認識させることができる。なお、情報処理装置１０は、料理Ｃ１の表示領域１３Ａの消去に応じて、料理Ｃ２及び料理Ｃ３の表示領域１３Ａを画面Ｇの上方へ移動させてもよい。

図１４に示す場面では、情報処理装置１０は、検出部１５によって料理Ｃ３の工程情報１１０Ｊが示す調理工程において、例えば、調理人ＣＰが材料や分量を間違える、調理内容を間違える等の異常の発生を検出している。情報処理装置１０は、調理人ＣＰが画面Ｇに表示された工程情報１１０Ｊが示す調理工程とは異なる調理を検出している。そして、情報処理装置１０は、工程情報１１０Ｊの実行中の表示態様を、警報の表示態様に変更させる。情報処理装置１０は、想定外の調理工程を示す想定外情報１１０Ｚを画面Ｇに表示させる。その結果、情報処理装置１０は、調理人ＣＰが想定外の調理工程を実行していることを、タッチパネル２００の画面Ｇに示すことで、想定外の調理工程の発生を警報することができる。

［実施形態に係る情報処理装置の推定方法］
次に、図１５乃至図２０を参照しながら、実施形態に係る情報処理装置１０の推定方法の一例を説明する。図１５乃至図２０は、実施形態に係る情報処理装置１０の推定方法の一例を示す図である。

図１５に示す例では、情報処理装置１０は、第１の料理、第２の料理及び第３の料理ごとに、実施予定の調理工程と経過時間及び想定標準経過時間との情報を取得する。情報処理装置１０は、調理人データ１３０Ｄのプロファイルに基づいて、第１の料理、第２の料理及び第３の料理ごとの調理人ＣＰのコストを設定する。例えば、調理人ＣＰのプロファイルは、刺身、盛り付けの調理が得意であることを示している。この場合、情報処理装置１０は、調理工程と経過時間との組み合わせでコストを設定する設定方法を用いて、調理人ＣＰの第１の料理のコストが１．０、第２の料理のコストが１．５、第３の料理のコストが３．０と設定する。なお、コストは、低い方が得意であったり、好きであったりすることを意味する。設定方法は、例えば、データベースとプロファイルとを用いて設定する方法、調理工程とプロファイルとに基づいてコストを設定するアプリケーションプログラムを用いる方法等を含む。また、例えば、調理ロボット４００のプロファイルは、高温取り扱いが得意で、盛り付けが苦手であることを示している。この場合、情報処理装置１０は、上記設定方法を用いて、調理ロボット４００の第１の料理のコストが５．０、第２の料理のコストが３．０、第３の料理のコストが１．５と設定する。そして、情報処理装置１０は、調理ロボット４００のコストに基づいて、調理ロボット４００が苦手とする調理工程を推定する。図１５に示す例では、情報処理装置１０は、調理ロボット４００のコストが高い第１の料理の調理工程を苦手な調理工程と推定する。その結果、情報処理装置１０は、第１の料理の調理工程を調理人ＣＰが担当し、第３の料理の調理工程を調理ロボット４００が担当することを特定する。

図１６に示す例は、図１５に示す調理工程を調理人ＣＰ及び調理ロボット４００が実行中である場合を示している。情報処理装置１０は、図１５に示す例で第２の料理に設定した調理人ＣＰ及び調理ロボット４００のコストを調整している。具体的には、情報処理装置１０は、第１の料理及び第２の料理の経過時間が想定標準経過時間よりも遅れていることを検出すると、優先度を上げるために、実行予定の第２の料理の調理工程のコストを下げる。例えば、情報処理装置１０は、経過時間の遅延時間に基づいて、第２の料理の調理工程の調理人ＣＰのコストが１．０、調理ロボット４００のコストが２．５に下げる。例えば、情報処理装置１０は、経過時間が１分遅延するごとにコストを０．５下げてもよい。情報処理装置１０は、調理人ＣＰ及び調理ロボット４００の調理工程のコストを下げることで、当該調理コストを担当させる可能性を高めることができる。

図１７に示す例では、図１６に示す第３の料理の調理工程を調理ロボット４００が終了したことで、第３の料理に次の調理工程が選択されている。情報処理装置１０は、調理人ＣＰの第３の料理のコストが３．０と設定し、調理ロボット４００の第３の料理のコストが３．０と設定する。情報処理装置１０は、調理人ＣＰが調理工程を実行中であるため、調理ロボット４００の第２の料理のコストと第３の料理のコストを比較して、コストの低い第２の料理の調理工程を調理ロボット４００が担当することを特定する。

図１８に示す例では、調理人ＣＰは、第２の料理の調理工程を実行中で、調理設備を使用している状態である。情報処理装置１０は、調理人ＣＰの第１の料理のコストが１．０と設定し、調理ロボット４００の第３の料理のコストが５．０と設定する。また、第３の料理の調理工程は、第２の料理の調理工程で使用している調理設備を使用する調理工程である。この場合、情報処理装置１０は、第３の料理の調理工程のコストの設定を行わない。そして、情報処理装置１０は、第１の料理の調理工程が調理ロボット４００の苦手な調理工程であることをコストが示しているが、他に選択する調理工程がないので、第１の料理の調理工程を調理ロボット４００が担当することを特定する。

図１９に示す例では、調理人ＣＰが子供であり、第２の料理及び第３の料理の調理工程が調理設備の刃物を使う作業である。子供である調理人ＣＰのプロファイルは、例えば、刃物の使用が不可で、高温や火の取り扱いが不可であることを示している。この場合、情報処理装置１０は、第１の料理の調理工程のみに調理人ＣＰのコストを設定し、全ての料理の調理工程に調理ロボット４００のコストを設定する。情報処理装置１０は、第１の料理の調理工程を子供の調理人ＣＰが担当することを特定する。情報処理装置１０は、第２の料理及び第３の料理の調理工程のうち、コストが低い第３の料理の調理工程を調理ロボット４００が担当することを特定する。

図２０に示す例では、調理人ＣＰが子供である。情報処理装置１０は、例えば、調理人ＣＰが一定時間にわたって調理を行っていない状態、調理とは異なる動作の検出等に基づいて、一時的に調理を行えない状態であることを検出している。この場合、情報処理装置１０は、調理人ＣＰのコストを設定せずに、全ての料理の調理工程に調理ロボット４００のコストを設定する。情報処理装置１０は、第１の料理の調理工程を調理人ＣＰが担当することを特定する。情報処理装置１０は、第１の料理の経過時間が想定標準経過時間よりも遅れていることを検出すると、遅延時間に基づいて第１の料理の調理工程のコストを引き下げる。これにより、調理ロボット４００のコストは、第１の料理、第２の料理及び第３の料理が同じコストとなっている。情報処理装置１０は、第１の料理の調理工程が調理ロボット４００の苦手な調理工程であるが、経過時間が遅れているので、第１の料理の調理工程を調理ロボット４００が担当することを特定する。

［実施形態に係る情報処理装置のプロファイルの例］
次に、図２１を参照しながら、実施形態に係る情報処理装置１０の調理人ＣＰ及び調理ロボット４００のプロファイルの一例を説明する。図２１は、実施形態に係る情報処理装置１０のプロファイルの一例を示す図である。

図２１に示す例では、調理人データ１３０Ｄのプロファイルは、調理人ＣＰが得意・好きな工程と、調理人ＣＰにしかできない工程とのコストを低く設定することを示している。得意・好きな工程は、例えば、一瞬で貝の殻剥きが出来る、刺身の切り方にこだわりがある等を含む。調理人ＣＰにしかできない工程は、例えば、ふぐの調理資格を持つ等を含む。そして、調理人データ１３０Ｄのプロファイルは、調理人ＣＰが苦手・嫌いな工程と、調理人ＣＰが不可能・好きではない工程とのコストを高く設定することを示している。なお、コストを高く設定することには、例えば、作業禁止を含んでいる。調理人ＣＰが苦手・嫌いな工程は、例えば、色の判別がつきにくい等を含む。調理人ＣＰが不可能・好きではない工程は、例えば、魚のおろし方を知らない、ふぐの調理資格がない、子供に包丁を持たせない、子供に火を使わせない等を含む。

ロボットデータ１３０Ｅのプロファイルは、調理ロボット４００が得意な工程のコストを低く設定することを示している。得意な工程は、例えば、素早く混ぜる・叩く、力がいる・重い物を持つ、熱い・冷たい物を持つ、硬い食材を割る等を含む。そして、ロボットデータ１３０Ｅのプロファイルは、調理ロボット４００が苦手な工程と、調理ロボット４００が不可能な工程とのコストを高く設定することを示している。例えば、調理ロボット４００が苦手な工程は、凝った盛り付け、予定外のアレンジ等を含む。調理ロボット４００が不可能な工程は、ふぐの調理をしてはいけない等を含む。

［実施形態に係る情報処理装置１０の処理手順］
次に、実施形態に係る情報処理装置１０の処理手順の一例について説明する。図２２乃至図２８は、実施形態に係る情報処理装置１０が実行する処理手順の一例を示すフローチャートである。図２２に示す処理手順は、情報処理装置１０がプログラムを実行することによって実現される。図２２に示す処理手順は、情報処理装置１０によって繰り返し実行される。

図２２に示すように、情報処理装置１０は、タッチパネル操作取得処理を実行する（ステップＳ１）。例えば、情報処理装置１０は、タッチパネル操作取得処理を実行すると、タッチパネル２００の検出結果に基づいて、タッチ操作があるか否かを判定する。情報処理装置１０は、タッチ操作があった場合、操作内容を記憶部１３に記憶する。情報処理装置１０は、タッチ操作がなかった場合、何もしない。そして、情報処理装置１０は、タッチパネル操作取得処理を終了すると、処理をステップＳ２に進める。

情報処理装置１０は、調理追加処理を実行する（ステップＳ２）。例えば、情報処理装置１０は、調理追加処理を実行すると、図２３に示す処理手順を実行する。

図２３に示すように、情報処理装置１０は、新規料理のオーダーを取得する（ステップＳ２０１）。例えば、情報処理装置１０は、通信部１４を介して料理オーダー端末５００から新規料理のオーダーを取得したり、タッチパネル２００から新規料理のオーダーを取得したりする。なお、情報処理装置１０は、例えば、通信部１４を介してセンシング装置３００を介して音声データを取得し、当該音声データからオーダーを取得してもよい。

情報処理装置１０は、新規料理のオーダーありか否かを判定する（ステップＳ２０２）。情報処理装置１０は、新規料理のオーダーありではないと判定した場合（ステップＳ２０２でＮｏ）、図２３の処理手順を終了させ、図２２に示すステップＳ２の処理に復帰する。また、情報処理装置１０は、新規料理のオーダーありと判定した場合（ステップＳ２０２でＹｅｓ）、料理名に基づいて調理工程データ１３０Ａを取得する（ステップＳ２０３）。例えば、情報処理装置１０は、料理名に基づいて調理工程データ１３０Ａを、通信部１４を介して情報処理サーバ６００の調理工程データベース６０１から取得したり、記憶部１３から取得したりする。そして、情報処理装置１０は、ステップＳ２０３の処理が終了すると、図２３の処理手順を終了させ、図２２に示すステップＳ２の処理に復帰する。

図２２に示す処理手順に戻ると、情報処理装置１０は、調理人認識処理を実行する（ステップＳ３）。例えば、情報処理装置１０は、調理人認識処理を実行すると、図２４に示す処理手順を実行する。

図２４に示すように、情報処理装置１０は、顔検出処理を実行する（ステップＳ３０１）。例えば、情報処理装置１０は、顔検出処理を実行することで、センシング装置３００のセンシング情報（画像）に基づいて、調理室Ｒの内部の調理人ＣＰの顔を検出する。情報処理装置１０は、顔を検出した人数を示す情報等を記憶部１３に記憶する。

情報処理装置１０は、ステップＳ３０２のループ処理を実行することで、顔検出数分繰り返す。ステップＳ３０２の終了条件は、全ての調理人ＣＰを判定することである。そして、情報処理装置１０は、トラッキング中の顔であるか否かを判定する（ステップＳ３０３）。情報処理装置１０は、トラッキング中の顔であると判定した場合（ステップＳ３０３でＹｅｓ）、全ての調理人ＣＰを判定していないと、ステップＳ３０２のループ処理を繰り返す。また、情報処理装置１０は、全ての調理人ＣＰを判定すると、ステップＳ３０２のループ処理を終了させ、処理を後述するステップＳ３０７に進める。

また、情報処理装置１０は、トラッキング中の顔ではないと判定した場合（ステップＳ３０３でＮｏ）、情報処理装置１０は、識別した顔をトラッキング対象として登録する（ステップＳ３０４）。そして、情報処理装置１０は、顔識別処理を実行する（ステップＳ３０５）。例えば、情報処理装置１０は、顔識別処理を実行することで、センシング装置３００のセンシング情報（画像）と登録されている調理人ＣＰの顔の特徴量とに基づいて、調理室Ｒの内部の調理人ＣＰの顔を識別する。情報処理装置１０は、識別結果を記憶部１３に記憶する。そして、情報処理装置１０は、記憶部１３の識別結果に基づいて、調理人データ１３０Ｄを取得する（ステップＳ３０６）。

情報処理装置１０は、全ての調理人ＣＰを判定していないと、ステップＳ３０２のループ処理を繰り返す。また、情報処理装置１０は、全ての調理人ＣＰを判定すると、ステップＳ３０２のループ処理を終了させ、処理をステップＳ３０７に進める。情報処理装置１０は、ステップＳ３０７のループ処理を実行することで、トラッキング分繰り返す。トラッキング分とは、例えば、トラッキングに関する処理を繰り返す識別した顔の数を意味する。ステップＳ３０７の終了条件は、顔を識別した全ての調理人ＣＰの判定を行うことである。

情報処理装置１０は、ロスト判定処理を実行する（ステップＳ３０８）。例えば、情報処理装置１０は、ロスト判定処理を実行することで、識別した調理人ＣＰを調理室Ｒの内部で見失ったかを判定し、判定結果を記憶部１３に記憶する。そして、情報処理装置１０は、ロスト判定処理で見失っていないと判定した場合（ステップＳ３０９でＮｏ）、処理をステップＳ３１０に進める。

情報処理装置１０は、トラッキング更新処理を実行する（ステップＳ３１０）。例えば、情報処理装置１０は、トラッキング更新処理することで、識別した調理人ＣＰの追跡結果を更新する。そして、情報処理装置１０は、３次元位置推定処理を実行する（ステップＳ３１１）。例えば、情報処理装置１０は、３次元位置推定処理することで、識別した調理人ＣＰの調理室Ｒにおける位置情報を推定し、推定結果を時系順に記憶部１３に記憶する。そして、情報処理装置１０は、顔を識別した全ての調理人ＣＰの判定が終了していないと、ステップＳ３０７のループ処理を繰り返す。また、情報処理装置１０は、顔を識別した全ての調理人ＣＰの判定が終了すると、ステップＳ３０７のループ処理を終了させ、図２４の処理手順を終了させる。そして、情報処理装置１０は、図２２に示すステップＳ３の処理に復帰する。

また、情報処理装置１０は、ロスト判定処理で見失ったと判定した場合（ステップＳ３０９でＹｅｓ）、処理をステップＳ３１２に進める。情報処理装置１０は、トラッキング除外処理を実行する（ステップＳ３１２）。例えば、情報処理装置１０は、トラッキング除外処理することで、識別した調理人ＣＰを追跡対象から除外する。そして、情報処理装置１０は、顔を識別した全ての調理人ＣＰの判定が終了していないと、ステップＳ３０７のループ処理を繰り返す。また、情報処理装置１０は、顔を識別した全ての調理人ＣＰの判定が終了すると、ステップＳ３０７のループ処理を終了させ、図２４の処理手順を終了させる。そして、情報処理装置１０は、図２２に示すステップＳ３の処理に復帰する。

図２２に示す処理手順に戻ると、情報処理装置１０は、調理器具状態認識処理を実行する（ステップＳ４）。例えば、情報処理装置１０は、調理器具状態認識処理を実行すると、図２５に示す処理手順を実行する。

図２５に示すように、情報処理装置１０は、調理器具検出処理を実行する（ステップＳ４０１）。例えば、情報処理装置１０は、調理器具検出処理を実行することで、センシング装置３００のセンシング情報（画像）と調理器具データ１３０Ｂのプロファイルとに基づいて、調理室Ｒの内部の調理器具を検出する。情報処理装置１０は、検出した調理器具の個数等を示す情報等を記憶部１３に記憶する。

情報処理装置１０は、ステップＳ４０２のループ処理を実行することで、器具検出数分繰り返す。ステップＳ３０２の終了条件は、全ての調理人ＣＰを判定することである。そして、情報処理装置１０は、トラッキング中の調理器具であるか否かを判定する（ステップＳ４０３）。情報処理装置１０は、トラッキング中の調理器具であると判定した場合（ステップＳ４０３でＹｅｓ）、全ての調理器具を判定していないと、ステップＳ４０２のループ処理を繰り返す。また、情報処理装置１０は、全ての調理器具を判定していると、ステップＳ４０２のループ処理を終了させ、処理をステップＳ４０７に進める。

また、情報処理装置１０は、トラッキング中の調理器具ではないと判定した場合（ステップＳ４０３でＮｏ）、情報処理装置１０は、調理器具をトラッキング対象として登録する（ステップＳ４０４）。そして、情報処理装置１０は、調理器具識別処理を実行する（ステップＳ４０５）。例えば、情報処理装置１０は、調理器具識別処理を実行することで、センシング装置３００のセンシング情報（画像）と登録されている調理器具の特徴量とに基づいて、調理室Ｒの内部の調理器具を識別する。情報処理装置１０は、調理器具の識別結果を記憶部１３に記憶する。そして、情報処理装置１０は、記憶部１３の識別結果に基づいて、調理器具データ１３０Ｂを取得する（ステップＳ４０６）。

情報処理装置１０は、全ての調理器具を判定していないと、ステップＳ４０２のループ処理を繰り返す。また、情報処理装置１０は、全ての調理器具を判定していると、ステップＳ４０２のループ処理を終了させ、処理をステップＳ４０７に進める。情報処理装置１０は、ステップＳ４０７のループ処理を実行することで、トラッキング分繰り返す。トラッキング分とは、例えば、トラッキングに関する処理を繰り返す調理機器の数を意味する。ステップＳ３０７の終了条件は、識別した全てのトラッキング分を判定することである。

情報処理装置１０は、ロスト判定処理を実行する（ステップＳ４０８）。例えば、情報処理装置１０は、ロスト判定処理を実行することで、識別した調理機器を調理室Ｒの内部で見失ったかを判定し、判定結果を記憶部１３に記憶する。そして、情報処理装置１０は、ロスト判定処理で見失っていないと判定した場合（ステップＳ４０９でＮｏ）、処理をステップＳ４１０に進める。

情報処理装置１０は、トラッキング更新処理を実行する（ステップＳ４１０）。例えば、情報処理装置１０は、トラッキング更新処理することで、識別した調理器具の追跡結果を更新する。そして、情報処理装置１０は、３次元位置推定処理を実行する（ステップＳ４１１）。例えば、情報処理装置１０は、３次元位置推定処理することで、識別した調理器具の調理室Ｒにおける位置情報を推定し、推定結果を記憶部１３に記憶する。そして、情報処理装置１０は、全てのトラッキング分の判定が終了していないと、ステップＳ４０７のループ処理を繰り返す。また、情報処理装置１０は、全てのトラッキング分の判定が終了すると、ステップＳ４０７のループ処理を終了させ、図２５の処理手順を終了させる。そして、情報処理装置１０は、図２２に示すステップＳ４の処理に復帰する。

また、情報処理装置１０は、ロスト判定処理で見失ったと判定した場合（ステップＳ４０９でＹｅｓ）、処理をステップＳ４１２に進める。情報処理装置１０は、トラッキング除外処理を実行する（ステップＳ４１２）。例えば、情報処理装置１０は、トラッキング除外処理することで、識別した調理器具を追跡対象から除外する。そして、情報処理装置１０は、全てのトラッキング分の判定が終了していないと、ステップＳ４０７のループ処理を繰り返す。また、情報処理装置１０は、全てのトラッキング分の判定が終了していると、ステップＳ４０７のループ処理を終了させ、図２５の処理手順を終了させる。そして、情報処理装置１０は、図２２に示すステップＳ４の処理に復帰する。

図２２に示す処理手順に戻ると、情報処理装置１０は、調理状況認識処理を実行する（ステップＳ５）。例えば、情報処理装置１０は、調理状況認識処理を実行すると、図２６に示す処理手順を実行する。

図２６に示すように、情報処理装置１０は、実行可能な調理工程リストを作成・更新する（ステップＳ５０１）。調理構成リストは、例えば、料理の調理工程のうち、調理人ＣＰによって実行可能な調理工程のリストである。例えば、情報処理装置１０は、画面Ｇに表示している料理の調理工程データ１３０Ａに基づいて、実行可能な調理工程リストを作成・更新する

情報処理装置１０は、ステップＳ５０２のループ処理を実行することで、一連の処理を調理人分繰り返す。ステップＳ５０２の終了条件は、全ての調理人ＣＰを判定することである。そして、情報処理装置１０は、調理作業内容を認識する（ステップＳ５０３）。例えば、情報処理装置１０は、検出部１５によって調理人ＣＰが行っている作業内容を認識する。そして、情報処理装置１０は、調理状況情報更新処理を実行する（ステップＳ５０４）。例えば、情報処理装置１０は、調理状況情報更新処理を実行することで、調理人ＣＰがどの調理工程を行っているか、どの調理工程を終えたか、何か異常は発生していないか等を検出部１５によって検出して状況を更新する。情報処理装置１０は、更新した調理状況情報を記憶部１３に記憶する。

情報処理装置１０は、ステップＳ５０４の処理が終了し、全ての調理人ＣＰ分の処理が終了していない場合、ステップＳ５０４のループ処理を繰り返す。また、情報処理装置１０は、全ての調理人ＣＰ分の処理が終了している場合、ステップＳ５０４のループ処理を終了させ、処理をステップＳ５０５に進める。

情報処理装置１０は、実行可能な調理工程リストを更新する（ステップＳ５０５）。例えば、情報処理装置１０は、調理状況情報に基づいて、再度、実行可能な調理工程リストを更新する。このとき、同じ調理工程が複数存在する場合、情報処理装置１０は、抽出部１８によって共通化できる調理工程を抽出し、材料の分量をまとめて調理工程を共通化する。情報処理装置１０は、ステップＳ５０５の処理が終了すると、処理をステップＳ５０６に進める。

情報処理装置１０は、実行可能な調理工程の調理コストを更新する（ステップＳ５０６）。例えば、情報処理装置１０は、調理人データ１３０Ｄのプロファイルに基づいて、調理工程ごとの調理人ＣＰのコストを算出して設定・更新する。情報処理装置１０は、ステップＳ５０６の処理が終了すると、処理をステップＳ５０７に進める。

情報処理装置１０は、調理人ＣＰと調理ロボット４００の推奨調理工程を特定する（ステップＳ５０７）。例えば、情報処理装置１０は、実施可能または実施予定の調理工程のうち、調理人ＣＰ及び調理ロボット４００の担当を推奨する調理工程を、推定部１９の推定結果、調理人ＣＰ及び調理ロボット４００のコスト等に基づいて特定する。情報処理装置１０は、ステップＳ５０７の処理が終了すると、図２５の処理手順を終了させる。そして、情報処理装置１０は、図２２に示すステップＳ５の処理に復帰する。

図２２に示す処理手順に戻ると、情報処理装置１０は、調理ロボット制御処理を実行する（ステップＳ６）。例えば、情報処理装置１０は、調理ロボット制御処理を実行すると、図２７に示す処理手順を実行する。

図２７に示すように、情報処理装置１０は、調理ロボット４００が調理工程を実行中であるか否かを判定する（ステップＳ６０１）。情報処理装置１０は、調理工程を実行中であると判定した場合（ステップＳ６０１でＹｅｓ）、処理をステップＳ６０２に進める。

情報処理装置１０は、現ステップの作業完了であるか否かを判定する（ステップＳ６０２）。なお、本開示では、調理は、調理工程の単位に分割している。さらに、調理工程は、調理ロボット４００が実行する作業単位に分割されており、当該作業単位をステップと称している。例えば、料理が「卵焼き」の場合、調理工程は、「卵を割る」、「かき混ぜる」等のステップを有する。さらに、調理工程は、例えば、「卵を割る」のステップに対して、「卵の位置を検出する」、「ボウルの位置を検出する」、「卵の位置にアームを移動する」、「卵を掴む」、「ボウルの上にアームを移動する」、「卵の殻を割る」、「卵がボウルに入ったことを確認する」等のステップを含んでもよい。換言すると、調理工程のステップは、調理ロボット４００の詳細な動作や条件を規定するステップであり、調理ロボット４００の動作のベースとなっている。そして、情報処理装置１０は、例えば、調理ロボット４００の制御結果、検出部１５の検出結果等に基づいて、現ステップが完了しているか否かを判定する。情報処理装置１０は、現ステップの作業完了ではないと判定した場合（ステップＳ６０２でＹｅｓ）、処理をステップＳ６０３に進める。

情報処理装置１０は、調理工程の全ステップを完了しているか否かを判定する（ステップＳ６０３）。情報処理装置１０は、全ステップを完了していると判定した場合（ステップＳ６０３でＹｅｓ）、図２７の処理手順を終了させ、図２２に示すステップＳ６の処理に復帰する。また、情報処理装置１０は、全ステップを完了していないと判定した場合（ステップＳ６０３でＮｏ）、処理をステップＳ６０５に進める。情報処理装置１０は、次ステップの作業内容を取得する（ステップＳ６０５）。例えば、情報処理装置１０は、調理工程作業データベース等から調理工程の次ステップを取得する。情報処理装置１０は、ステップＳ６０５の処理が終了すると、処理をステップＳ６０６に進める。

情報処理装置１０は、通信部１４を介して、センシング装置３００からセンシング情報を取得する（ステップＳ６０６）。そして、情報処理装置１０は、ステップの目的に到達したか否かを判定する（ステップＳ６０７）。例えば、情報処理装置１０は、センシング情報が現状のステップの目的に達していることを示している場合に、ステップの目的に到達したと判定する。そして、情報処理装置１０は、ステップの目的に到達したと判定した場合（ステップＳ６０７でＹｅｓ）、図２７の処理手順を終了させ、図２２に示すステップＳ６の処理に復帰する。

また、情報処理装置１０は、ステップの目的に到達していないと判定した場合（ステップＳ６０７でＮｏ）、処理をステップＳ６０８に進める。情報処理装置１０は、制御指令を生成する（ステップＳ６０８）。例えば、情報処理装置１０は、センシング情報の内容と調理ロボット４００の現状の駆動部等の状態に基づいて次の制御指令を生成する。そして、情報処理装置１０は、駆動部へ制御指令を出力する（ステップＳ６０９）。例えば、情報処理装置１０は、通信部１４を介して、制御指令を調理ロボット４００の駆動部に送信する。その結果、調理ロボット４００は、情報処理装置１０殻の制御指令に基づいて駆動部を駆動させることで、実際に動作する。そして、情報処理装置１０は、図２７の処理手順を終了させ、図２２に示すステップＳ６の処理に復帰する。

また、情報処理装置１０は、現ステップの作業完了ではないと判定した場合（ステップＳ６０２でＮｏ）、処理を既に説明したステップＳ６０６に進める。そして、情報処理装置１０は、ステップＳ６０６からステップＳ６０９の一連の処理を実行すると、図２７の処理手順を終了させ、図２２に示すステップＳ６の処理に復帰する。

また、情報処理装置１０は、調理工程を実行中ではないと判定した場合（ステップＳ６０１でＮｏ）、処理をステップＳ６０４に進める。情報処理装置１０は、調理工程実行要求ありか否かを判定する（ステップＳ６０４）。情報処理装置１０は、調理工程実行要求ありであると判定した場合（ステップＳ６０４でＹｅｓ）、処理を既に説明したステップＳ６０５に進める。そして、情報処理装置１０は、ステップＳ６０５からステップＳ６０９の一連の処理を実行すると、図２７の処理手順を終了させ、図２２に示すステップＳ６の処理に復帰する。また、情報処理装置１０は、調理工程実行要求ありではないと判定した場合（ステップＳ６０４でＮｏ）、図２７の処理手順を終了させ、図２２に示すステップＳ６の処理に復帰する。

図２２に示す処理手順に戻ると、情報処理装置１０は、タッチパネル表示内容更新処理を実行する（ステップＳ７）。例えば、情報処理装置１０は、タッチパネル表示内容更新処理を実行すると、図２８に示す処理手順を実行する。

図２８に示すように、情報処理装置１０は、調理器具状況の表示を更新する（ステップＳ７０１）。例えば、情報処理装置１０は、ステップＳ４の認識結果等に基づいて、画面Ｇの調理器具に関する表示をタッチパネル２００に更新させる。そして、情報処理装置１０は、工程情報の表示を更新する（ステップＳ７０２）。例えば、情報処理装置１０は、ステップＳ５の認識結果等に、画面Ｇの調理工程に関する工程情報１１０等の表示をタッチパネル２００に更新させる。そして、情報処理装置１０は、ステップＳ７０２の処理が終了すると、処理をステップＳ７０３に進める。

情報処理装置１０は、同じ調理工程が複数あるか否かを判定する（ステップＳ７０３）。例えば、情報処理装置１０は、ステップＳ５の認識結果に共通化する調理工程が含まれていると、同じ調理工程が複数あると判定する。情報処理装置１０は、同じ調理工程が複数あると判定した場合（ステップＳ７０３でＹｅｓ）、処理をステップＳ７０４に進める。情報処理装置１０は、共通化可能項目の表示を更新する（ステップＳ７０４）。例えば、ステップＳ５の認識結果が示す画面Ｇの共通化情報１１１等の表示をタッチパネル２００に更新させる。そして、情報処理装置１０は、ステップＳ７０２の処理が終了すると、処理をステップＳ７０５に進める。また、情報処理装置１０は、同じ調理工程が複数ないと判定した場合（ステップＳ７０３でＮｏ）、処理をステップＳ７０５に進める。

情報処理装置１０は、異常状態を検出しているか否かを判定する（ステップＳ７０５）。例えば、情報処理装置１０は、ステップＳ５の認識結果に異常の発生を検出したことが含まれている場合に、異常状態を検出していると判定する。情報処理装置１０は、異常状態を検出していると判定した場合（ステップＳ７０５でＹｅｓ）、処理をステップＳ７０６に進める。情報処理装置１０は、異常状態表示更新処理を実行する（ステップＳ７０６）。例えば、情報処理装置１０は、異常状態表示更新処理を実行することで、該当する画面Ｇの工程情報１００が異常を示す表示態様となるように、タッチパネル２００に変更させる。そして、情報処理装置１０は、ステップＳ７０６の処理が終了すると、処理をステップＳ７０７に進める。また、情報処理装置１０は、異常状態を検出していないと判定した場合（ステップＳ７０５でＮｏ）、処理をステップＳ７０７に進める。

情報処理装置１０は、タッチ入力ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示中であるか否かを判定する。タッチ入力ＵＩは、例えば、料理名の入力、料理を追加・キャンセル操作等を行うＵＩを含む。例えば、情報処理装置１０は、タッチパネル２００にタッチ入力ＵＩを表示させている場合、タッチ入力ＵＩを表示中と判定する。情報処理装置１０は、タッチ入力ＵＩを表示中であると判定した場合（ステップＳ７０７でＹｅｓ）、処理をステップＳ７０８に進める。情報処理装置１０は、タッチ入力ＵＩ表示更新処理を実行する（ステップＳ７０８）。例えば、情報処理装置１０は、タッチ入力ＵＩ表示更新処理を実行することで、タッチ入力ＵＩの入力結果に基づいて、画面Ｇの表示をタッチパネル２００に更新させる。そして、情報処理装置１０は、ステップＳ７０７の処理が終了すると、図２８の処理手順を終了させ、図２２に示すステップＳ７の処理に復帰する。また、情報処理装置１０は、タッチ入力ＵＩを表示中ではないと判定した場合（ステップＳ７０７でＮｏ）、図２８の処理手順を終了させ、図２２に示すステップＳ７の処理に復帰する。

図２２に示す処理手順に戻ると、情報処理装置１０は、調理終了か否かを判定する（ステップＳ８）。例えば、情報処理装置１０は、画面Ｇに表示している料理がなくなった場合、終了要求を受け付けた場合等に、調理終了と判定する。情報処理装置１０は、調理終了ではないと判定した場合（ステップＳ８でＮｏ）、処理を既に説明したステップＳ１に戻す。また、情報処理装置１０は、調理終了と判定した場合（ステップＳ８でＹｅｓ）、図２２の処理手順を終了させる。

本実施形態では、情報処理装置１０は、図２２の処理手順を実行することで、タッチパネル２００の表示制御を行っている。換言すると、情報処理装置１０は、図２２の処理手順を実行することで、表示制御部１１、特定部１２、検出部１５、使用状況検出部１６、判定部１７、抽出部１８及び推定部１９として機能する。

以上のように、実施形態に係る情報処理装置１０は、料理を調理する複数の工程情報１１０を含む画面Ｇをタッチパネル２００（表示装置）に表示させる。情報処理装置１０は、複数の調理固定のうち、調理ロボット４０が調理工程を特定すると、当該調理工程を示す工程情報１１０にロボット情報１５０を紐付けてタッチパネル２００に表示させる。これにより、情報処理装置１０は、料理の複数の調理工程の全体を画面Ｇに表示させる場合に、調理ロボット４００が担当する調理工程をロボット情報１５０によって調理人ＣＰに認識させることができる。その結果、情報処理装置１０は、調理人ＣＰと調理ロボット４００が協調して調理を効率的に行う支援を行うことができる。

また、情報処理装置１０は、料理の進捗を検出した検出結果に基づいて画面Ｇの工程情報１１０の表示態様を変更させる。これにより、情報処理装置１０は、料理の複数の調理工程の全体を画面Ｇに表示させる場合に、工程情報１１０の表示態様の変化によって料理の進捗を表示させることができる。その結果、情報処理装置１０は、調理の進捗と調理ロボット４００が担当する調理工程との関係を調理人ＣＰに把握させることで、効率性をより一層向上させることができる。

また、情報処理装置１０は、調理工程における作業を示す作業情報と当該作業で用いる材料を示す材料情報とを工程情報１１０に含めている。これにより、情報処理装置１０は、工程情報１１０を画面Ｇに表示させることで、調理工程ごとに作業と用いる材料とを調理人ＣＰに示すことができる。また、情報処理装置１０は、工程情報１１０とロボット情報１５０とによって調理ロボット４００が実行する調理工程の作業内容を認識させることができる。その結果、情報処理装置１０は、調理ロボット４００の調理工程における作業を認識させた上で、調理人ＣＰに担当する調理工程を選択させることができる認識させることで、効率的な支援を行うことができる。

また、情報処理装置１０は、調理工程で調理器具を使用する場合、調理器具を示す器具情報１２０を画面Ｇの工程情報１１０に紐付けて表示される。これにより、情報処理装置１０は、画面Ｇの工程情報１１０に器具情報１２０を紐付けて表示させることで、調理工程で使用する調理器具を調理人ＣＰに認識させることができる。その結果、情報処理装置１０は、調理工程と当該調理工程で使用する調理器具とを調理人ＣＰに参照させるので、効率的な調理工程を調理人ＣＰに選択させる支援を行うことができる。

また、情報処理装置１０は、検出した調理器具の使用状況を示すように画面Ｇの器具情報１２０を更新する。これにより、情報処理装置１０は、工程情報１１０に紐付けた器具情報１２０を調理器具の使用状況に応じて変更することで、調理工程で使用する調理器具の使用状況を調理人ＣＰに認識させることができる。その結果、情報処理装置１０は、調理器具の使用状況を調理人ＣＰに認識させるので、調理人ＣＰを調理器具の利用状況に応じた効率的な調理工程に誘導することができる。

また、情報処理装置１０は、調理工程で調理設備を使用する場合、当該調理設備を示す設備情報１３０を画面Ｇの工程情報１１０に紐付けて表示させる。これにより、情報処理装置１０は、画面Ｇの工程情報１１０に設備情報１３０を紐付けて表示させることで、調理工程で使用する調理設備を調理人ＣＰに認識させることができる。その結果、情報処理装置１０は、調理工程と当該調理工程で使用する調理設備とを調理人ＣＰに参照させるので、効率的な調理工程を調理人ＣＰに選択させる支援を行うことができる。

また、情報処理装置１０は、検出した使用設備の使用状況を示すように画面Ｇの設備情報１３０を更新する。これにより、情報処理装置１０は、工程情報１１０に紐付けた設備情報１３０を調理設備の使用状況に応じて変更することで、調理工程で使用する調理設備の使用状況を調理人ＣＰに認識させることができる。その結果、情報処理装置１０は、調理設備の使用状況を調理人ＣＰに認識させるので、調理人ＣＰを調理設備の利用状況に応じた効率的な調理工程に誘導することができる。

また、情報処理装置１０は、画面Ｇが複数の料理ごとの工程情報１１０を表示している場合に、画面Ｇに表示させる複数の工程情報１１０のうち共通化できる工程情報１１０を抽出する。情報処理装置１０は、抽出した工程情報１１０（調理工程）に基づいて、共通化できる調理工程を示す共通化情報１１１を、当該工程情報１１０に紐付けて画面Ｇに表示させる。これにより、情報処理装置１０は、複数の料理の調理工程を共通化したことを調理人ＣＰに認識させることができる。その結果、情報処理装置１０は、複数の料理を並行して調理する場合の効率を向上させることができる。

また、情報処理装置１０は、共通化情報１１１が示す調理内容が終了すると、共通化した調理工程を示す画面Ｇの工程情報１１０の表示態様を変更する。これにより、情報処理装置１０は、複数の料理の調理工程を共通化しても、共通化した工程での作業の終了したことを工程情報の表示態様の更によって調理人ＣＰに認識させることができる。その結果、情報処理装置１０は、複数の料理を並行して調理する場合の効率をより一層向上させることができる。

また、情報処理装置１０は、調理人ＣＰが調理を行う調理工程を検出すると、当該調理工程を示す工程情報１１０に調理人情報１４０を紐付けて画面Ｇに表示させる。これにより、情報処理装置１０は、料理の複数の調理工程の全体を画面Ｇに表示させる場合に、調理人ＣＰが担当する調理工程を調理人情報１４０によって他の調理人ＣＰに認識させることができる。その結果、情報処理装置１０は、複数の調理人ＣＰと調理ロボット４００が協調して調理を効率的に行う支援を行うことができる。

また、情報処理装置１０は、料理の複数の調理工程のうち、調理ロボット４００が苦手な調理工程を推定し、当該調理工程を示す工程情報１１０に、調理ロボット４００が苦手であることを示す第２情報を紐付けて表示させる。これにより、情報処理装置１０は、調理ロボット４００が苦手な調理工程を調理人ＣＰに認識させることができる。その結果、情報処理装置１０は、調理ロボット４００が苦手な調理工程を調理人ＣＰに担当させることができるので、調理の効率を向上させることができる。

本実施形態では、情報処理装置１０は、調理人ＣＰがおすすめであることを示す情報を第２情報として、調理人情報１４０に紐付けて表示させているが、これに限定されない。例えば、情報処理装置１０は、調理ロボット４００が苦手であることを示すアイコン等を第２情報としてもよい。また、例えば、情報処理装置１０は、調理ロボット４００が苦手な調理工程を示す工程情報１１０を異なる表示態様で表示させる構成としてもよい。

また、情報処理装置１０は、調理工程における異常の発生を検出すると、当該調理工程の工程情報１１０を異常表示させる。これにより、情報処理装置１０は、調理工程で発生した異常を画面Ｇの工程情報１１０によって調理人ＣＰに認識させる。その結果、情報処理装置１０は、調理人ＣＰによって調理工程の異常を解消させることで、調理の遅れ等を挽回させることができる。

また、情報処理装置１０は、調理をやり直している調理工程を検出すると、当該調理工程の工程情報１１０の表示態様を変更させる。これにより、情報処理装置１０は、調理のやり直しが発生した調理工程を画面Ｇの工程情報によって他の調理人ＣＰに認識させる。その結果、情報処理装置１０は、複数の調理人ＣＰと調理ロボット４００が協調して調理を効率的に行う支援を行うことができる。

また、情報処理装置１０は、調理人ＣＰの不得意な調理及び禁止事項の少なくとも一方を示す調理人データ１３０Ｄに基づいて、画面Ｇの工程情報１１０の表示態様を変更させる。これにより、情報処理装置１０は、画面Ｇの工程情報１１０の表示態様に基づいて、調理工程を担当できない調理人ＣＰを把握させることができる。その結果、情報処理装置１０は、調理工程に適した調理人ＣＰまたは調理ロボット４００を担当させることで、調理の効率化を図ることができる。

上記の実施形態では、情報処理装置１０は、料理を１品ずつ画面Ｇに追加する場合について説明したが、これに限定されない。例えば、情報処理装置１０は、複数の異なる料理を同時に受け付けてもよい。例えば、３つの料理を受け付けた場合、情報処理装置１０は、３つの料理に対応した３つの表示領域１３Ａをタッチパネル２００の画面Ｇに表示させる。そして、情報処理装置１０は、３つの料理の複数の調理工程のうち、実行可能な調理工程の工程情報を他の工程情報とは異なる表示態様で表示させる。

上記の実施形態の情報処理装置１０は、画面Ｇの表示領域１３Ａの料理名に対する所定の操作を検出した場合、当該表示領域１３Ａの料理をコピーまたは削除する操作画面をタッチパネル２００に表示さてもよい。その結果、情報処理装置１０は、画面Ｇに表示する料理のコピーまたは削除を調理人ＣＰが容易に行えるので、操作性を向上させることができる。

［実施形態の変形例（１）］
例えば、実施形態に係る情報処理装置１０は、複数の調理人ＣＰに向けて画面Ｇを表示させる場合について説明したが、特定の調理人ＣＰに対して画面Ｇを表示させることができる。

例えば、調理人ＣＰは、調理工程の作業が完了した場合、次の調理工程を選ぶためにタッチパネル２００の画面Ｇを参照する。このため、情報処理装置１０は、判定部１７によって調理人ＣＰが画面Ｇを視認しているか否かを判定する。そして、情報処理装置１０は、判定部１７が視認していると判定した調理人ＣＰに基づいて、画面Ｇの表示内容を変更させる。例えば、情報処理装置１０は、他の調理人ＣＰが視認していない状態で、画面Ｇを視認している調理人ＣＰを認識すると、当該調理人ＣＰの調理人データ１３０Ｄに基づいて、例えば、得意／不得意、調理の能力等を示す情報を取得する。そして、情報処理装置１０は、調理人ＣＰの能力に応じて工程情報１１０の大きさ、長さ等を変更する。

図２９及び図３０は、実施形態の変形例に係る情報処理装置１０の画面の一例を示す図である。図２９に示す場面では、情報処理装置１０は、認識した調理人ＣＰが「鈴木さん」であり、卵を混ぜる能力が優れていることを認識している。情報処理装置１０は、調理人ＣＰに向けた画面Ｇをタッチパネル２００に表示させている。

図２９に示す画面Ｇは、料理Ｃ１の調理を支援する場合、調理工程データ１３０Ａを表示する表示領域１３Ａを有する。例えば、料理Ｃ１は、卵スープを示している。画面Ｇは、料理Ｃ１の調理工程データ１３０Ａが有する工程情報１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ、１１０Ｅを表示領域１３Ａに表示する。画面Ｇは、調理人ＣＰに向けた画面Ｇであることを示す画面情報１７１を、表示領域１３Ａの下方に表示している。図２９に示す一例では、画面情報１７１は、「鈴木さん向け表示中」を示す情報を含む。

情報処理装置１０は、卵を混ぜる能力が優れている調理人ＣＰに向けた画面Ｇとして、卵を混ぜる調理工程を示す工程情報１１０Ｃの長さを、他の工程情報１１０の長さよりも短くしている。換言すると、情報処理装置１０は、調理人ＣＰが実行可能な工程情報１１０Ｃを担当することで、調理時間の短縮が可能であることを工程情報１１０Ｃの表示サイズの変更によって示している。また、情報処理装置１０は、調理人ＣＰが不得意な調理工程を示す工程情報１１０のサイズを大きくしたり、長さを長くしたりすることで、調理人ＣＰに担当を回避させてもよい。

図３０に示す場面では、情報処理装置１０は、認識した調理人ＣＰが子供の「まことくん」であることを認識している。情報処理装置１０は、子供である調理人ＣＰに向けた画面Ｇをタッチパネル２００に表示させている。

図３０に示す画面Ｇは、料理Ｃ１の調理を支援する場合、調理工程データ１３０Ａを表示する表示領域１３Ａを有する。例えば、料理Ｃ１は、卵スープを示している。画面Ｇは、料理Ｃ１の調理工程データ１３０Ａが有する工程情報１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ、１１０Ｅのうち、子供の調理が実行可能な工程情報１１０Ｂ及び工程情報１１０Ｅのみを表示領域１３Ａに認識可能に表示している。図３０に示す一例では、画面Ｇは、工程情報１１０Ｂ及び工程情報１１０Ｅ以外の工程情報１１０をマスクしている。画面Ｇは、子供の調理人ＣＰに向けた画面Ｇであることを示す画面情報１７２を、表示領域１３Ａの下方に表示している。図３０に示す一例では、画面情報１７２は、「まことくん向け表示中」を示す情報を含む。

以上のように、情報処理装置１０は、画面Ｇを視認している調理人ＣＰに基づいて、画面Ｇの表示内容を変更する。これにより、情報処理装置１０は、画面Ｇを視認している調理人ＣＰに担当させたい工程情報１１０を画面Ｇに表示させることで、当該工程情報１１０が示す調理工程に調理人ＣＰを誘導することができる。その結果、情報処理装置１０は、調理工程に適した調理人ＣＰを担当させることで、調理の効率化を図ることができる。

［実施形態のタッチ入力ＵＩの表示例］
図３１は、実施形態のタッチ入力ＵＩを表示する画面Ｇの一例を示す図である。図３１に示すように、情報処理装置１０は、表示制御部１１によって画面Ｇ上にタッチ入力ＵＩを示す入力画面Ｇ５０をタッチパネル２００に表示させる。情報処理装置１０は、例えば、画面Ｇ上に表示する料理がない場合、画面ＧのアイコンＧ１０の選択によって調理人ＣＰ等から表示要求を受け付けた場合等のタイミングで入力画面Ｇ５０をタッチパネル２００に表示させる。入力画面Ｇ５０は、キー領域５１と、状態通知領域５２と、を有する。キー領域５１は、入力させる各種キーを表示させる領域である。状態通知領域５２は、入力候補として選択されている文字を表示させる領域である。図３１に示す一例では、画面Ｇの状態通知領域５２は、日本語のひらがなの「おむ」が選択されていることを示している。この場合、情報処理装置１０は、入力候補の「おむ」の文字列を含む料理を調理工程データ１３０Ａ、データベース等から検索する。そして、情報処理装置１０は、検索結果として、「鮭おむすび」、「オムハヤシ」、「オムライス」、「オムレツ」の料理の名称を抽出している。情報処理装置１０は、検索結果を選択領域５３に表示させる。

情報処理装置１０は、入力画面Ｇ５０の選択領域５３で選択された料理の名称等を示す結果をタッチパネル２００から取得すると、当該結果の料理の名称に対応する料理の調理工程データ１３０Ａを取得する。そして、情報処理装置１０は、調理工程データ１３０Ａの工程情報１１０を画面Ｇの料理の表示領域１３Ａに表示させる。

以上のように、情報処理装置１０は、画面Ｇ上に入力画面である入力画面Ｇ５０を表示させ、入力された料理の名称の料理に応じた工程情報を画面Ｇに表示させる。これにより、情報処理装置１０は、入力画面で料理名を入力することで、料理の工程情報１１０を画面Ｇに表示させることができる。その結果、情報処理装置１０は、複雑な操作が不要なので、調理人ＣＰの利便性を向上させることができる。また、情報処理装置１０は、調理人ＣＰの音声によって料理名を入力させてもよい。例えば、情報処理装置１０は、通信部１４を介してセンシング装置３００等から調理人ＣＰの音声データを取得し、当該音声データを変換した文字列から料理名を抽出してもよい。この場合、情報処理装置１０は、例えば、自動音声認識処理等を用いることができる。

［実施形態の変形例（２）］
上記の実施形態では、情報処理装置１０の表示制御部１１は、画面Ｇに表示している料理がキャンセルされ、当該料理で調理が開始されている調理工程が他の料理に割り当てが可能であると、当該調理工程を示す工程情報１１０と他の前記料理の前記工程情報とを紐付けて画面Ｇを表示させてもよい。

例えば、情報処理装置１０は、調理人ＣＰが既に調理を開始している調理工程がキャンセルされた場合、当該調理工程を割り当て可能な他の料理の調理工程から検索する。そして、情報処理装置１０は、キャンセルされた調理工程を割り当て可能な他の料理の調理工程に割り当てる。また、情報処理装置１０は、調理工程を割り当て可能な他の料理の調理工程が存在しない場合、キャンセルされた調理工程を削除したり、一時的に保留としたりする。情報処理装置１０は、キャンセルされた調理工程を保留させた場合、その後の料理の割り当て可能な調理工程に割り当ててもよい。

以上のように、情報処理装置１０は、キャンセルされた料理で調理が開始されている調理工程が他の料理に割り当て可能であると、当該調理工程を示す工程情報１１０と他の料理の工程情報１１０とを紐付けて画面Ｇに表示させる。これにより、情報処理装置１０は、調理が開始された調理工程が他の料理に割り当て可能であることを調理人ＣＰに認識させることができる。その結果、情報処理装置１０は、料理がキャンセルされた場合に、調理が開始されている調理工程の有効利用を支援することができる。

［実施形態に係る調理ロボットの構成例］
図３２は、実施形態に係る調理ロボット４００の構成例を示す図である。図３２に示すように、調理ロボット４００は、駆動部４１０と、ロボット動作部４２０と、通信部４３０と、撮像部４４０と、センサ部４５０と、を備える。駆動部４１０は、調理ロボット４００の駆動可能な各部位を駆動させる。ロボット動作部４２０は、駆動部４１０を制御する。ロボット動作部４２０は、情報処理装置１０等からの動作指令等に応じて、駆動部４１０を制御する。ロボット動作部４２０は、撮像部４４０、センサ部４５０等の検出結果に基づいて駆動部４１０の駆動を制御する。通信部４３０は、ネットワークを介して、情報処理装置１０と情報通信を行う。撮像部４４０は、実際の調理ロボット４００の周囲を撮像した画像をロボット動作部４２０、情報処理装置１０等に出力する。センサ部４５０は、検出した結果を示す情報をロボット動作部４２０、情報処理装置１０等に出力する。なお、本実施形態では、情報処理装置１０は、調理ロボット４００の外部から調理ロボットに指令を出力して、調理ロボット４００を動作させる場合について説明したが、これに限定されない。例えば、情報処理装置１０は、調理ロボット４００に内蔵されてもよい。

［ハードウェア構成］
上述してきた実施形態に係る情報処理装置１０は、例えば図３３に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る情報処理装置１０を例に挙げて説明する。図３３は、情報処理装置１０の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。

ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。

通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。

入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る情報処理装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、表示制御部１１、特定部１２、検出部１５、使用状況検出部１６、判定部１７、抽出部１８、推定部１９等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部１３内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。

また、本明細書の情報処理装置１０の処理に係る各ステップは、必ずしもフローチャートに記載された順序に沿って時系列に処理される必要はない。例えば、情報処理装置１０の処理に係る各ステップは、フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
料理を調理する複数の調理工程うち、ロボットが担当する前記調理工程を特定する特定部と、
前記特定部が特定した前記調理工程を示す工程情報に前記ロボットを示すロボット情報を紐付けて、前記複数の調理工程のそれぞれを示す工程情報を表示部に表示させる表示制御部と、
を備える
情報処理装置。
（２）
前記料理の進捗を検出する検出部をさらに備え、
前記表示制御部は、前記検出部の検出結果に基づいて、前記工程情報の表示態様を変更させる
上記（１）に記載の情報処理装置。
（３）
前記工程情報は、前記調理工程における作業を示す作業情報と当該作業で用いる材料を示す材料情報とを含む
上記（１）または（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記調理工程で調理器具を使用する場合、当該調理器具を示す器具情報を前記工程情報に紐付けて前記表示部に表示させる
上記（３）に記載の情報処理装置。
（５）
前記器具情報が示す前記調理器具の使用状況を検出する使用状況検出部をさらに備え、
前記表示制御部は、前記使用状況検出部が検出した前記調理器具の前記使用状況を示すように前記器具情報を変更する
上記（４）に記載の情報処理装置。
（６）
前記表示制御部は、前記調理工程で調理設備を使用する場合、当該調理設備を示す設備情報を前記工程情報に紐付けて前記表示部に表示させる
上記（３）から（５）のいずれかに記載の情報処理装置。
（７）
前記設備情報が示す前記調理設備の使用状況を検出する使用状況検出部をさらに備え、
前記表示制御部は、前記使用状況検出部が検出した前記調理設備の前記使用状況を示すように前記設備情報を変更する
上記（６）に記載の情報処理装置。
（８）
前記表示部が複数の前記料理ごとの前記工程情報を表示している場合に、前記表示部に表示させる複数の前記工程情報のうち共通化できる前記工程情報を抽出する抽出部をさらに備え、
前記表示制御部は、前記抽出部が抽出した前記工程情報に基づいて、共通化できる前記調理工程を示す共通化情報を、当該工程情報に紐付けて前記表示部に表示させる
上記（１）から（７）のいずれかに記載の情報処理装置。
（９）
前記表示制御部は、前記共通化情報が示す調理内容が終了すると、共通化した前記調理工程が示す前記工程情報の表示態様を変更する
上記（８）に記載の情報処理装置。
（１０）
前記検出部は、調理人が調理を行う前記調理工程を検出し、
前記表示制御部は、前記検出部が検出した前記調理工程を示す前記工程情報に、前記調理人を示す調理人情報を紐付けて前記表示部に表示させる
上記（２）に記載の情報処理装置。
（１１）
前記料理の複数の前記調理工程のうち、前記ロボットが苦手な前記調理工程を推定する推定部をさらに備え、
前記表示制御部は、前記推定部が推定した前記調理工程を示す前記工程情報に、前記ロボットが苦手であることを示す第２情報を紐付けて表示させる
上記（１）から（１０）のいずれかに記載の情報処理装置。
（１２）
前記検出部は、前記調理工程における異常の発生を検出し、
前記表示制御部は、前記検出部が検出した前記調理工程の前記工程情報を異常表示させる
上記（２）に記載の情報処理装置。
（１３）
前記検出部は、前記調理をやり直している前記調理工程を検出し、
前記表示制御部は、前記検出部が検出したやり直しの前記調理工程に基づいて、前記工程情報の表示態様を変更させる
上記（２）に記載の情報処理装置。
（１４）
前記表示制御部は、調理人の不得意な調理及び禁止事項の少なくとも一方を示す調理人データに基づいて、前記工程情報の表示態様を変更させる
上記（１）から（１３）のいずれかに記載の情報処理装置。
（１５）
調理人が前記表示部を視認しているか否かを判定する判定部をさらに備え、
前記表示制御部は、前記判定部が視認していると判定した前記調理人に基づいて、前記表示部の表示内容を変更する
上記（１）から（１４）のいずれかに記載の情報処理装置。
（１６）
前記表示制御部は、前記料理の名称を入力させる入力画面を前記表示部に表示させ、入力された前記名称の前記料理に応じた前記工程情報を前記表示部に表示させる
上記（１）から（１５）のいずれかに記載の情報処理装置。
（１７）
前記表示制御部は、前記表示部に表示している前記料理がキャンセルされ、当該料理で調理が開始されている前記調理工程が他の前記料理に割り当てが可能であると、当該調理工程を示す前記工程情報と他の前記料理の前記工程情報とを紐付けて前記表示部に表示させる
上記（１）から（１６）のいずれかに記載の情報処理装置。
（１８）
コンピュータが、
料理を調理する複数の調理工程のうち、ロボットが担当する前記調理工程を特定し、
特定した前記調理工程を示す工程情報に前記ロボットを示すロボット情報を紐付けて、前記複数の調理工程のそれぞれを示す前記工程情報を表示部に表示させる
情報処理方法。
（１９）
コンピュータを、
料理を調理する複数の調理工程のうち、ロボットが担当する前記調理工程を特定する特定部、
前記特定部が特定した前記調理工程を示す工程情報に前記ロボットを示すロボット情報を紐付けて、前記複数の調理工程のそれぞれを示す前記工程情報を表示部に表示させる表示制御部、
として機能させるためのプログラム。

１ 調理支援システム
１０ 情報処理装置
１１ 表示制御部
１２ 特定部
１３ 記憶部
１４ 通信部
１５ 検出部
１６ 使用状況検出部
１７ 判定部
１８ 抽出部
１９ 推定部
１１０ 工程情報
１２０ 器具情報
１３０ 設備情報
１４０ 調理人情報
１５０ ロボット情報
１３０Ａ 調理工程データ
１３０Ｂ 調理器具データ
１３０Ｃ 調理設備データ
１３０Ｄ 調理人データ
１３０Ｅ ロボットデータ
２００ タッチパネル
３００ センシング装置
４００ 調理ロボット
５００ 料理オーダー端末
６００ 情報処理サーバ
Ｇ 画面

Claims (18)

1. 料理を調理する複数の調理工程のうち、ロボットへの調理指示内容及び前記ロボットから取得した前記調理工程及び進捗を含む情報の少なくとも１つに基づいて、前記ロボットが担当する前記調理工程を特定する特定部と、
   前記特定部が特定した前記調理工程を示す工程情報に前記ロボットを示すロボット情報を紐付けて、前記複数の調理工程のそれぞれを示す前記工程情報を表示部に表示させる表示制御部と、
   を備える
   情報処理装置。
2. 前記料理の進捗を検出する検出部をさらに備え、
   前記表示制御部は、前記検出部の検出結果に基づいて、前記工程情報の表示態様を変更させる
   請求項１に記載の情報処理装置。
3. 前記工程情報は、前記調理工程における作業を示す作業情報と当該作業で用いる材料を示す材料情報とを含む
   請求項１に記載の情報処理装置。
4. 前記表示制御部は、前記調理工程で調理器具を使用する場合、当該調理器具を示す器具情報を前記工程情報に紐付けて前記表示部に表示させる
   請求項３に記載の情報処理装置。
5. 前記器具情報が示す前記調理器具の使用状況を検出する使用状況検出部をさらに備え、
   前記表示制御部は、前記使用状況検出部が検出した前記調理器具の前記使用状況を示すように前記器具情報を変更する
   請求項４に記載の情報処理装置。
6. 前記表示制御部は、前記調理工程で調理設備を使用する場合、当該調理設備を示す設備情報を前記工程情報に紐付けて前記表示部に表示させる
   請求項３に記載の情報処理装置。
7. 前記設備情報が示す前記調理設備の使用状況を検出する使用状況検出部をさらに備え、
   前記表示制御部は、前記使用状況検出部が検出した前記調理設備の前記使用状況を示すように前記設備情報を変更する
   請求項６に記載の情報処理装置。
8. 前記表示部が複数の前記料理ごとの前記工程情報を表示している場合に、前記表示部に表示させる複数の前記工程情報のうち共通化できる前記工程情報を抽出する抽出部をさらに備え、
   前記表示制御部は、前記抽出部が抽出した前記工程情報に基づいて、共通化できる前記調理工程を示す共通化情報を、当該工程情報に紐付けて前記表示部に表示させる
   請求項１に記載の情報処理装置。
9. 前記表示制御部は、前記共通化情報が示す調理内容が終了すると、共通化した前記調理工程が示す前記工程情報の表示態様を変更する
   請求項８に記載の情報処理装置。
10. 前記検出部は、調理人が調理を行う前記調理工程を検出し、
    前記表示制御部は、前記検出部が検出した前記調理工程を示す前記工程情報に、前記調理人を示す調理人情報を紐付けて前記表示部に表示させる
    請求項２に記載の情報処理装置。
11. 前記料理の複数の前記調理工程のうち、前記ロボットのプロファイルを示す情報、前記ロボットの得意、不得意の調理を示す情報及び前記ロボットが調理している工程を示す情報の少なくとも１つに基づいて、前記ロボットが苦手な前記調理工程を推定する推定部をさらに備え、
    前記表示制御部は、前記推定部が推定した前記調理工程を示す前記工程情報に、前記ロボットが苦手であることを示す第２情報を紐付けて表示させる
    請求項１に記載の情報処理装置。
12. 前記検出部は、前記調理工程における異常の発生を検出し、
    前記表示制御部は、前記検出部が検出した前記調理工程の前記工程情報を異常表示させる
    請求項２に記載の情報処理装置。
13. 前記検出部は、前記調理をやり直している前記調理工程を検出し、
    前記表示制御部は、前記検出部が検出したやり直しの前記調理工程に基づいて、前記工程情報の表示態様を変更させる
    請求項２に記載の情報処理装置。
14. 前記表示制御部は、調理人の不得意な調理及び禁止事項の少なくとも一方を示す調理人データに基づいて、前記工程情報の表示態様を変更させる
    請求項１に記載の情報処理装置。
15. 調理人が前記表示部を視認しているか否かを判定する判定部をさらに備え、
    前記表示制御部は、前記判定部が視認していると判定した前記調理人に基づいて、前記表示部の表示内容を変更する
    請求項１に記載の情報処理装置。
16. 前記表示制御部は、前記料理の名称を入力させる入力画面を前記表示部に表示させ、入力された前記名称の前記料理に応じた前記工程情報を前記表示部に表示させる
    請求項１に記載の情報処理装置。
17. コンピュータが、
    料理を調理する複数の調理工程のうち、ロボットへの調理指示内容及び前記ロボットから取得した前記調理工程及び進捗を含む情報の少なくとも１つに基づいて、前記ロボットが担当する前記調理工程を特定し、
    特定した前記調理工程を示す工程情報に前記ロボットを示すロボット情報を紐付けて、前記複数の調理工程のそれぞれを示す前記工程情報を表示部に表示させる
    情報処理方法。
18. コンピュータを、
    料理を調理する複数の調理工程のうち、ロボットへの調理指示内容及び前記ロボットから取得した前記調理工程及び進捗を含む情報の少なくとも１つに基づいて、前記ロボットが担当する前記調理工程を特定する特定部、
    前記特定部が特定した前記調理工程を示す工程情報に前記ロボットを示すロボット情報を紐付けて、前記複数の調理工程のそれぞれを示す前記工程情報を表示部に表示させる表示制御部、
    として機能させるためのプログラム。

Images