JP7420077B2 - 情報処理装置、情報処理方法、および、プログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、および、プログラムに関する。

通常、レストラン等で料理を注文する際、客はメニュー表を見てオーダーを決定し、店員にオーダーを伝える。また、近年は、席にセットされている専用端末を客が自ら操作して注文を行うシステムも導入されている。

ここで、料理のオーダーに関しては、料理の種類（料理名）や数のみならず、大盛、並、小盛等の量の指定や、ステーキ等ではレア、ミディアム、ウェルダン等の焼き加減、また、甘辛、中辛、激辛等の味付け等といった、多様な指定を行うことがある。下記特許文献１では、レストラン等で客がオーダーする料理の量、焼き加減、味付け等の情報を無段階で入力できるグラフを用いて、多様な要求を忠実に入力可能な入力装置について開示されている。

特開２００２－１９７５５３号公報

しかしながら、料理に関する細かい注文は、口頭での伝達と確認に時間がかかり、また、従来の専用端末の操作では数値の入力が困難で客への負担が大きかった。また、上記特許文献１に記載の入力装置では、無段階で入力できるグラフを用いて、より忠実に数値を指定することができるが、実際の料理のサイズ（量）などが分からず、客が所望するオーダーを客自身が数値だけで正確に指定することは困難であった。

本開示によれば、料理に関するユーザからの注文内容を受け付けるインタフェースを表示する制御と、前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させる制御と、決定された注文内容を外部装置に送信する制御と、を行う制御部を備える、情報処理装置を提案する。

本開示によれば、プロセッサが、料理に関するユーザからの注文内容を受け付けるインタフェースを表示することと、前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させることと、決定された注文内容を外部装置に送信することと、を含む、情報処理方法を提案する。

本開示によれば、コンピュータを、料理に関するユーザからの注文内容を受け付けるインタフェースを表示する制御と、前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させる制御と、決定された注文内容を外部装置に送信する制御と、を行う制御部として機能させるためのプログラムを提案する。

本開示の一実施形態による調理システムの概要について説明する図である。 本実施形態による調理システムの全体構成の一例を示すブロック図である。 本実施形態による調理システムにおけるオーダー時の動作処理の流れの一例を示すフローチャートである。 本実施形態によるメニュー選択表示の一例を示す図である。 本実施形態による料理画像に対する直感的な操作入力による料理のサイズ変更について説明する図である。 本実施形態による料理サイズの変更における皿の段階的な変化について説明する図である。 本実施形態による料理の個数変更における人数に応じたレコメンドについて説明する図である。 本実施形態による料理の味付け等の変更操作について説明する図である。 本実施形態による料理の詳細情報の表示について説明する図である。 本実施形態による取り分け指定操作の一例を示す図である。 本実施形態による取り分け指定操作の他の例を示す図である。 本実施形態による提供タイミングの指定操作を行うＵＩの一例を示す図である。 本実施形態による調理進捗情報をテーブルに表示する場合の一例について示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による調理システムの概要
２．構成例
３．動作処理
４．注文内容の変更操作例
４－１．サイズ（量）の変更操作
４－２．料理の提供順の指定操作
４－３．料理の配膳位置の指定操作
４－４．注文後の変更操作
５．変形例
５－１．音声入力
５－２．表示出力の変形例
５－３．その他
６．まとめ

＜＜１．本開示の一実施形態による調理システムの概要＞＞
本開示の一実施形態による調理システムは、レストランや空港ラウンジ等の施設や、調理用ロボット（自動調理装置４０）がある家庭等での利用を想定する。また、レストランや空港ラウンジ等の施設に調理用ロボット（自動調理装置４０）がある場合も想定する。

（背景）
上述したように、料理に関する細かい注文は、口頭での伝達と確認に時間がかかり、また、従来の専用端末の操作では数値の入力が困難で客への負担が大きかった。また、上記特許文献１に記載の入力装置では、無段階で入力できるグラフを用いて、より忠実に数値を指定することができるが、実際の料理のサイズ（量）などが分からず、客が所望するオーダーを客自身が数値だけで正確に指定することは困難であった。

そこで、本開示では、ユーザの要望を反映した料理画像を、付加情報（例えば、栄養価、カロリー、質量、提供にかかる時間、価格等）と共にテーブル上に表示し、料理画像に対するユーザの直感的な操作（例えば、タッチ操作によるピンチイン、ピンチアウト、スライドバーの操作、音声入力等）に応じて料理画像や付加情報をリアルタイムに更新することで、ユーザ（客）が料理の細かい注文を直感的に行うことを可能とし、ユーザの要望に忠実な注文内容を入力することができる。

また、本開示の一実施形態による調理システムでは、テーブル上に表示する料理画像を、実際に提供される状態（すなわち、実物大）で表示することで、ユーザが注文の際に想定する料理イメージと、実際に提供される料理とのズレを解消することができる。

図１は、本開示の一実施形態による調理システム１の概要について説明する図である。図１に示すように、本実施形態による調理システム１は、テーブル３に料理画像３００（３００ａ～３００ｄ）を表示し、料理画像に対するユーザの直感的な操作に応じて、料理画像３００をリアルタイムに更新すると共に、ユーザによるオーダー入力を受け付ける。例えば、調理システム１は、ピンチイン、ピンチアウト操作に応じて実物大で表示している料理画像のサイズを変更すると共に、変更した料理画像のサイズに従って、ユーザが注文する料理のサイズを取得する。また、本実施形態では、実物大で表示された料理画像に対する直感的な操作により、料理名や料理のサイズ（量）の他、料理の数、味付け、取り分け等の提供状態、および、提供順等を指定することを可能とする。

テーブル３への料理画像３００の表示は、出力装置３０により行われる。出力装置３０は、テーブルトップに映像を投影するプロジェクタ３０ａ（例えばムービングプロジェクター）であってもよいし、テーブル３の天板に設けられたディスプレイであってもよい。出力装置３０は、情報処理装置１０の制御に従って、料理画像３００をテーブル３に表示する。また、出力装置３０は複数あってもよい。

また、料理画像３００に対するユーザの操作は、入力装置２０により検出される。入力装置２０は、様々な情報をセンシングするセンサ装置であって、例えば、カメラおよびマイクロフォン等を含み、センシングした情報を情報処理装置１０に出力する。また、入力装置２０は複数あってもよい。

情報処理装置１０は、入力装置２０により検出したユーザ操作、および、出力装置３０によるテーブル３の表示状態に基づいてオーダーを決定し、調理側へ出力する。オーダーの出力先は、調理ロボット等の自動調理装置４０であってもよいし、人手により調理が行われる場合は、調理場に設置されたオーダー表示装置や、オーダーを印字して出力するプリンタであってもよい。

このように、本開示による調理システム１では、テーブル３に表示された料理画像を直接操作することで容易に、かつ、直感的に、料理のオーダーを行うことが可能となる。

オーダーされた料理は、人手や配膳ロボット等により、テーブル３に運ばれる。

以上、本開示の一実施形態による学習支援システムの概要について説明した。続いて、本実施形態による調理システム１を構成する各装置について具体的に説明する。

＜＜２．構成例＞＞
図２は、本実施形態による調理システム１の全体構成の一例を示すブロック図である。

＜２－１．入力装置２０＞
入力装置２０は、例えば、カメラ２０ａ、デプスセンサ、および、マイクロフォン等を含む。

カメラ２０ａは、ＲＧＢカメラ等の、レンズ系、駆動系、及び撮像素子を有し、画像（静止画像又は動画像）を撮像する撮像装置である。デプスセンサは、赤外線測距装置、超音波測距装置、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）又はステレオカメラ等の深度情報を取得する装置である。マイクロフォンは、周囲の音を収音し、アンプおよびＡＤＣ（Analog Digital Converter）を介してデジタル信号に変換した音声データを出力する装置である。

入力装置２０は、情報処理装置１０による制御に基づいて情報をセンシングする。例えば、情報処理装置１０は、カメラ２０ａのズーム率及び撮像方向を制御することができる。

なお、入力装置２０は、上述した構成要素以外の任意のセンシングが可能な構成要素を含んでいてもよい。例えば、入力装置２０は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置を含んでいてもよい。また、入力装置２０は、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、照度センサ、及び力センサ等の各種のセンサを含み得る。

＜２－２．出力装置３０＞
出力装置３０は、プロジェクタ３０ａまたはテーブルトップディスプレイ等の表示装置、および、スピーカ（音声出力装置）を含む。なお、調理システム１は、出力装置３０として、これらのうち一つ又は複数の組み合わせを含んでもよいし、同一種類の装置を複数含んでもよい。

プロジェクタ３０ａは、空間の任意の場所に画像を投影する投影装置である。プロジェクタ３０ａは、例えば固定型の広角プロジェクタであってもよいし、Ｐａｎ／Ｔｉｌｔ駆動型等の投影方向を変更可能な可動部を備えるいわゆるムービングプロジェクタであってもよい。プロジェクタ３０ａは、情報処理装置１０の制御に基づいて、テーブル３や周辺の壁等に、画像を投影する。

テーブルトップディスプレイは、料理が提供されるテーブル３の天板に設けられたディスプレイであり、画像および音声等を出力可能である。また、テーブルトップディスプレイは、テーブル３の全域に設けられていてもよいし、一部の領域に設けられていてもよい。また、出力装置３０は、テーブル３の周辺の壁等に設置された壁面ディスプレイを含んでいてもよい。

スピーカは、ＤＡＣ（Digital Analog Converter）およびアンプを介して、音声データをアナログ信号に変換し、出力（再生）する。また、出力装置３０は、単一の方向に指向性を形成可能な単一指向性スピーカを含んでもよい。

出力装置３０は、情報処理装置１０による制御に基づいて情報を出力する。情報処理装置１０は、出力する情報の内容に加えて、出力方法も制御可能である。例えば、情報処理装置１０は、プロジェクタ３０ａの投影方向を制御することができる。

なお、出力装置３０は、上述した構成要素以外の任意の出力が可能な構成要素を含んでいてもよい。例えば、出力装置３０は、ＨＭＤ（Head Mounted Display）、ＡＲ（Augmented Reality）グラス、及び時計型デバイス等のウェアラブルデバイスを含んでいてもよい。

＜２－３．情報処理装置１０＞
情報処理装置１０は、制御部１００、通信部１１０、および、記憶部１２０を有する。

（制御部１００）
制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

また、本実施形態による制御部１００は、表示制御部１０１、操作検出部１０２、およびオーダー処理部１０３としても機能する。

表示制御部１０１は、テーブル３に料理画像や付加情報等を表示するよう、出力装置３０の制御を行う。また、表示制御部１０１は、操作検出部１０２により検出されたユーザ操作に応じて、リアルタイムに料理画像や付加情報等を更新する制御を行う。

また、表示制御部１０１は、表示する料理画像や付加情報を、記憶部１２０に予め登録されている画像情報や、自動調理装置４０の調理情報ＤＢ４２から取得した調理に関する情報（レシピ情報（使用する食材、調理時間、調理方法等に関する情報）、食材残量情報（食材のストック状況）、調理状況（調理場の混み具合等）、出来上がった料理の撮像画像等）に基づいて生成し得る。

操作検出部１０２は、入力装置２０によりセンシングされた情報に基づいてユーザ操作情報を検出する機能を有する。ユーザ操作情報は、例えば入力装置２０のデプスカメラ、サーモカメラ、ＲＧＢカメラ、または超音波センサや、マイクロフォン等により検出され得る。ユーザ操作情報は、例えばユーザのテーブル３に対するタッチ、タップ、ダブルタップ、またはスワイプ等のタッチ操作、若しくは音声等の情報である。

タッチ操作は、例えば、テーブル３に投影された料理画像３００に対する操作入力が検出される。操作検出部１０２は、プロジェクタ３０ａによりテーブル３に料理画像３００が投影されている際に、カメラ２０ａから取得された撮像画像や、デプス情報を解析し、表示面上に位置するユーザの手や指の位置や深度情報（換言すると、三次元情報）を取得し、高さ方向におけるテーブル３へのユーザの手の接触若しくは近接、及びテーブル３からの手の離脱を検出する。本明細書では、ユーザが表示画面に手や指等の操作体を接触又は近接させることを、まとめて単に「接触」とも称する。

オーダー処理部１０３は、操作検出部１０２により検出されたユーザ操作に基づいてオーダー（具体的には、例えば、料理名、料理のサイズ（量）、数、味付け、取り分け等の提供状態、および、提供順等）を決定し、自動調理装置４０にオーダーを送信する機能を有する。

（通信部１１０）
通信部１１０は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１１０は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ－Ｆｉ（Wireless Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信、携帯通信網（ＬＴＥ（Long Term Evolution）、３Ｇ（第３世代の移動体通信方式））等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。

例えば通信部１１０は、入力装置２０、出力装置３０、および、自動調理装置４０と、データの送受信を行い得る。

（記憶部１２０）
記憶部１２０は、上述した制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。

例えば記憶部１２０は、入力装置２０により取得した各種センサ情報、操作検出部１０２により検出したユーザ操作情報、および、調理情報ＤＢ４２から取得した調理情報や、予め登録された調理情報等を記憶していてもよい。

以上、本実施形態による情報処理装置１０の構成について具体的に説明した。なお、図２を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置１０の機能構成は係る例に限定されない。

＜２－４．自動調理装置４０＞
自動調理装置４０は、調理ロボット等を制御し、情報処理装置１０から送信されたオーダーに従って調理を行う機能を有する。本実施形態では、自動調理装置４０の具体的な構成については特に限定しない。

なお本実施形態による自動調理装置４０は、食材のストック情報等を蓄積する調理情報ＤＢ（データベース）４２を有する。調理情報ＤＢ４２には、調理に関する情報（調理情報）として、レシピ情報（調理に使用する食材、一人分の量（質量）、サイズ、カロリー、栄養価、調理にかかる時間、調理方法（手順を含む）等に関する情報）、価格情報、食材のストック情報、調理状況（調理場の混み具合、待機オーダー等）、提供状態（使用する食器の画像等）、出来上がった料理の撮像画像等が記憶されており、継続的／定期的に更新されている。また、調理情報ＤＢ４２に蓄積される調理情報は、適宜、情報処理装置１０に提供される。食材のストック情報は、例えば本システムが家庭で用いられる場合は、冷蔵庫の内部映像や、食材や調味料等が仕舞われている棚の内部映像等、または、ユーザによる入力情報等に基づいて取得される。食材のストック情報を提供することで、情報処理装置１０は、注文可能なオーダーであるか否かを判断することができる。また、出来上がった料理の撮像画像とは、オーダーに基づいて調理した料理の撮像画像であり、オーダー内容と対応付けて保存され得る。情報処理装置１０は、料理の撮像画像に基づいて、注文時にテーブル３に表示する料理画像３００を適宜生成し得る。

また、調理情報ＤＢ４２は、各ユーザのオーダー履歴（食事履歴）を蓄積してもよい。ユーザの食事履歴を提供することで、情報処理装置１０側で、ユーザの健康面や直近の摂取カロリー、栄養バランス等に基づいて、ユーザが新たにオーダーを行う際に、適切な助言や警告等を行うことが可能である。

なお、人手により調理が行われる場合であっても、食材のストック情報やレシピ情報等を蓄積する調理情報ＤＢ４２を有する調理側装置（ＰＣやタブレット端末等）を導入し、リアルタイムに調理情報を情報処理装置１０に提供するようにしてもよい。

＜＜３．動作処理＞＞
続いて、本実施形態による調理システム１におけるオーダー時の動作処理について、図３を用いて具体的に説明する。図３は、本実施形態による調理システム１におけるオーダー時の動作処理の流れの一例を示すフローチャートである。

図３に示すように、まず、情報処理装置１０の制御部１００は、メニュー表示（メニュー選択画面）をテーブル３に表示し、ユーザによる料理名の選択操作を検出する（ステップＳ１０３）。図４に、本実施形態によるメニュー選択表示の一例を示す。図４に示すように、本実施形態では、例えばプロジェクタ３０ａにより、選択可能な料理画像３００ａ～３００ｃを、テーブル３に投影する。料理画像３００ａ～３００ｃは、それぞれ実物大で表示するようにしてもよいし、メニュー表示の段階では縮小して表示するようにしてもよい。料理画像３００ａ～３００ｃの実物の大きさの情報は、例えば調理情報ＤＢ４２から取得される。ユーザは、注文したい料理画像３００ｃをタップする。

次に、情報処理装置１０の制御部１００は、選択された料理の調理情報を確認し（ステップＳ１０６）、表示内容を決定する（ステップＳ１０６）。具体的には、例えば制御部１００は、調理情報ＤＢ４２から取得した最新の調理情報に基づいて、ユーザに選択された料理の食材ストックを確認し、現在提供可能な状態であるか否かを判断する。また、制御部１００は、レシピ情報を確認して、ユーザに選択された料理のカロリーや栄養価を取得（算出）したり、価格情報や提供時間（提供にかかる時間）を取得したりする。提供時間は、最新の調理情報に含まれる現在の調理場の込み具合（オーダーの待ち状態等）を考慮してより正確に算出するようにしてもよい。これらの確認に基づいて、制御部１００は、表示内容の決定、すなわち、料理画像および付加情報を生成する。料理画像は、既に登録されている出来上がった料理の撮像画像を用いてもよいし、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）で生成されたものであってもよい。制御部１００は、料理画像を、料理情報に含まれるサイズ情報に基づいて、テーブル３に実物大で表示するよう制御する。また、制御部１００は、調理情報に基づいて、ユーザが選択した料理の価格、提供時間、カロリー、および栄養価等の付加情報を生成する。

次いで、表示制御部１０１は、料理画像および付加情報をテーブル３に表示するよう、プロジェクタ３０ａを制御する（ステップＳ１１２）。

次に、ユーザによるオーダー入力が完了されるまで（ステップＳ１１５／Ｎｏ）、入力装置２０により継続的に取得されるセンシング情報から、ユーザ操作情報の検出を行う（ステップＳ１１８）。オーダー入力の完了は、例えばテーブル３に表示された「注文」ボタンのタップや、所定のジェスチャー、または音声等により、ユーザにより明示的に指示される。ユーザは、オーダー入力を完了する前に、テーブル３に表示された料理画像３００に対して直感的な操作入力を行い、オーダーする料理のサイズや味付け等の細かい注文内容を変更することが可能である。

注文内容を変更する操作入力が行われた場合、制御部１００は、再度調理情報の確認を行い（ステップＳ１０６）、表示内容を決定し（ステップＳ１０９）、変更を反映した料理画像および付加情報をテーブル３に表示する（ステップＳ１１２）。料理画像３００に対する直感的な操作入力による注文内容の変更については、図面を用いて後述する。

そして、オーダー入力が完了すると（ステップＳ１１５／Ｙｅｓ）、情報処理装置１０のオーダー処理部１０３は、オーダーを自動調理装置４０に送信する（ステップＳ１２１）。

以上、本実施形態による動作処理の一例を説明した。なお図３に示す動作処理は一例であって、本開示は図３に示す例に限定されない。例えば、本開示は、図３に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。また、図３に示す全ての処理が必ずしも実行されてなくともよい。また、図３に示す全ての処理が必ずしも単一の装置で行われなくともよい。

＜＜４．注文内容の変更操作例＞＞
続いて、本実施形態による料理画像３００に対する直感的な操作入力による注文内容の変更について、図面を用いて具体的に説明する。

＜４－１．サイズ（量）の変更操作＞
（ピンチイン／ピンチアウト操作）
ここで、図５を参照し、料理画像３００に対する直感的な操作入力による料理のサイズ変更について説明する。図５上段に示すように、例えば実物大の料理画像３００ｃと、その価格やカロリー等の付加情報３３０ｃをテーブル３に投影している際に、料理のサイズを大きくしたい（量を増やしたい）場合、ユーザは、料理画像３００ｃに対してピンチアウト操作を行う。ユーザによるテーブル３上でのピンチアウト操作は、入力装置２０のデプスセンサ、画像センサ、または、テーブル３に設けられたタッチセンサ等によりセンシングされる。

次に、図５下段に示すように、情報処理装置１０は、ユーザによるピンチアウト操作を検出すると、ユーザのピンチアウト操作に応じて、サイズを大きくした（量を増やした）料理画像３０２ｃを表示する。また、情報処理装置１０は、量の増加に応じて変化した価格やカロリー等も、付加情報３３２ｃに反映させる。

図５に示す例では、料理のサイズを大きくしたい（量を増やしたい）場合に料理画像３００ｃに対してピンチアウト操作を行う例について説明したが、本実施形態はこれに限定されず、料理のサイズを小さくしたい（量を減らしたい）場合には、料理画像３００ｃに対してピンチイン操作を行うことで、同様にサイズ変更することが可能である。

以上により、ユーザは、実際に提供される料理の大きさを把握し、オーダーするサイズ（量）を的確に、直感的に調整することができる。

なおピンチイン、ピンチアウト操作により料理のサイズを変更する際、麺類やスープ、肉の大きさ等、無段階に量を調整できるものであれば、ユーザ操作（２本の指の間の距離）に応じて、料理画像３００の大きさを無段階に調整（増減）することが可能であるが、一方で、提供の際に用いられる皿の大きさは一定の制限があることが想定される。より実態に忠実な料理画像を表示するため、情報処理装置１０は、実際に提供される際に用いられる皿の大きさも実物大表示するよう制御し得る。皿の大きさの情報は、調理情報ＤＢ４２から取得し得る。

図６は、料理サイズの変更における皿の段階的な変化について説明する図である。図６上段には、並盛の料理画像３００ｃを示す。料理画像３００ｃに含まれる皿ｓ１は、実際に料理が提供される際に用いられる皿の実物大表示である。次いで、ユーザが料理画像３００ｃに対してピンチアウト操作を行うと、情報処理装置１０は、ユーザの操作に応じて、皿ｓ１に盛られている料理の量を徐々に（無段階に）増加させ、図６中段に示す中盛の料理画像３０１ｃまで増やすことが可能である。この際、皿ｓ１のサイズは変化しないが、皿ｓ１に盛られている料理の量が徐々に増加する映像が表示される。そして、量が一定の値を越えると、皿ｓ１は、図６下段に示すような、皿ｓ１よりも大きさが１段階大きくなった皿ｓ２に変化し、量は引き続き徐々に増加する。

このように、実際に使用される皿など提供の状態を含めて、実態に忠実な料理画像を表示することで、オーダーの際にユーザが想定する料理と、実際に提供される料理とのズレを解消することができる。また、テーブル３に注文した料理が乗り切るか等を事前に把握し、注文しすぎてテーブルが狭くなってしまうことを回避することもできる。

また、料理によっては、量が無段階に増減するのではなく、個数が変化する場合もある。この場合、情報処理装置１０は、料理画像３００に対するユーザのピンチイン、ピンチアウト操作に応じて、表示する料理の個数をリアルタイムに増減する表示制御する。また、情報処理装置１０は、客の人数を把握している場合、人数倍の増減をレコメンドすることが可能である。例えば３人グループの客が料理画像３００をピンチアウトさせた場合、料理の個数を、６個、９個、１２個・・・のように増加させるようにしてもよい。また、ユーザは、レコメンドされた後で、料理画像３００の近くに表示されたポップアップ表示をタッチ操作して個数を修正することも可能である。例えば情報処理装置１０は、図７に示すように、客が３人グループの場合に、並盛では６個入りの料理の料理画像３００ｄを、ピンチアウト操作が行われて量を増やす場合、人数倍の９個入りの料理画像３０１ｄを表示する。このように、量の増減において、人数倍のレコメンドを行うことができる。ユーザは、注文個数を変更したい場合は、料理画像３００ｄの付近に表示されている個数表示３３１ｄをタップし、所望の個数（例えば８個）に変更する。個数が変更された場合、情報処理装置１０は、個数の変更をリアルタイムに料理画像３０２ｄに反映させる。また、情報処理装置１０は、料理のデフォルトの個数が人数倍になっていない場合は、自動で人数倍に量を調整して表示することも可能である。例えば、情報処理装置１０は、３人グループが串焼き５本セットを注文する場合、自動で６本に変更し、変更を反映した料理画像３００を表示する。

以上、料理画像に対する直感的な操作として、ピンチイン、ピンチアウト操作により、料理のサイズ（量）を変更する方法について説明したが、本実施形態はこれに限定されず、他の操作（ジェスチャーを含む）であってもよい。また、例えばスライドバーをテーブル３に表示し、スライドバーの操作により料理のサイズ（量）を変更する方法であってもよい。

（味付け等の変更操作）
次に、料理の味付け等の変更操作について、図８を参照して説明する。図８に示すように、例えば料理の味付け（濃い、薄い等）、特定食材の使用有無、調理具合（焼き加減、茹で加減、麺の固さ等）の無段階または段階的調整を、スライドバーやラジオボタン等（調整表示３４０ｃ）で調整することが可能である。情報処理装置１０は、調整表示３４０ｃに対する直感的なユーザ操作（スライドバーやラジオボタンの操作）に応じて、料理画像３０２ｃや付加情報３３２ｃの表示内容を、リアルタイムに変化させる。具体的には、付加情報３３２ｃとして表示されているカロリーや価格、栄養価、提供時間等の情報を、調整表示３４０ｃの操作によるオーダー内容の変更に応じてリアルタイムに算出し（または予め算出された数値を用いて）、変更する。また、料理画像３０２ｃも、使用する食材の有無や、味付けにより見た目が変化する場合もあるため、リアルタイムで、実態に忠実に変化させる。料理画像３０２ｃの変化は、予め取得された出来上がりの料理の撮像画像を加工して生成してもよい。出来上がりの料理の撮像画像には、対応するオーダー情報が付加されており、情報処理装置１０は、調整表示３４０ｃにより変更されたオーダー内容に基づいて、撮像画像を適切に加工して料理画像３０２ｃとして表示することが可能である。

（料理の詳細情報の表示）
情報処理装置１０は、料理画像３００に対するユーザの直感的な操作入力に応じて、料理画像３００を拡大／縮小表示することも可能である。ユーザは、例えば料理画像３００を拡大表示して、料理に含まれる食材を目視で確認することができる。また、目視で確認しても何の食材か分からない場合等、その食材をタップ操作することで、詳細情報をポップアップ表示させることが可能である。図９は、本実施形態による料理の詳細情報の表示について説明する図である。図９に示すように、拡大表示した料理画像３０５ｃの特定の食材をタップすると、その食材の詳細情報の表示３６０ｃが、ポップアップ表示される。食材の詳細情報は、例えば、名称、品質、産地、栄養価等を含む。また、料理画像３０５ｃの拡大操作は、上述したサイズ変更と区別するため、サイズ変更では１本指でのピンチアウト操作であったのに対し、例えば２本指でのピンチアウト操作としてもよい。また、拡大ボタンのタップ等により拡大表示してもよい。また、拡大表示した料理画像３０５ｃには、拡大画像であることを示すアイコン（図９に示す虫眼鏡マークなど）を表示するようにしてもよい。

（取り分け方法の指定）
複数人で注文する場合、取り分け方法を指定して注文することも可能である。量で分配する方法、個数で分配する方法、また、切り分ける方法等、多様に指定可能である。以下、図１０および図１１を参照して、具体例を説明する。

図１０は、本実施形態による取り分け指定操作の一例を示す図である。図１０に示すように、例えば取り分け指定が可能な料理の場合、情報処理装置１０は、料理画像３００の横に、「Ｘ等分」ボタン３６０を表示する。「Ｘ等分」ボタン３６０では、システムが把握しているユーザの人数が予め表示されるようにしてもよい。ユーザの人数は、カメラ２０ａ等により把握することが可能である。また、ユーザは、「Ｘ等分」ボタン３６０の等分数を、例えばプルダウン式で任意に変更することも可能である。

「Ｘ等分」ボタン３６０がタップされると、情報処理装置１０は、等分した料理画像３０５を表示する。等分した料理画像３０５は、実際に料理を等分して提供する際の状態の画像であり、実物大で表示される。情報処理装置１０は、調理情報ＤＢ４２から取得した、実際に等分した料理の撮像画像に基づいて生成してもよい。

図１１は、本実施形態による取り分け指定操作の他の例を示す図である。ピザやケーキ等、切り分けて等分する料理の場合、図１１上段に示すように、人数分で自動的に等分する方法を指定してもよいし、図１１下段に示すように、ユーザが任意の切り方を指でなぞって指定することも可能である。

また、情報処理装置１０は、等分した料理毎に、付加情報（カロリー、栄養価等）を表示するようにしてもよい。また、等分した料理毎に、量や味付け、トッピング等を変更できる場合は、変更用のスライドバー等の操作画面を表示したり、等分した料理画像に対するユーザ操作を受け付けるようにしてもよい。

また、取り分けは「等分」に限定されず、例えば大人と子供の場合は、分ける量の比率を自動または任意で変更するようにしてもよい。また、等分した料理に対し、一方の量を減らした場合は、自動的に他方の量を増やすようにしてもよい。

いずれも取り分け状態や変更内容を、実際に提供される状態を示す実物大の料理画像にリアルタイムで反映させることで、ユーザは、視覚的、直感的に、注文する料理を確認することが可能となる。

このように、取り分け方法を指定したり、取り分け後の状態を確認することで、ユーザが注文の際に想定する料理イメージと、実際に提供される料理とのズレを解消することができる。

＜４－２．料理の提供順の指定操作＞
本実施形態では、注文時に、各料理の提供タイミングを指定することも可能である。図１２は、本実施形態による提供タイミングの指定操作を行うＵＩ（ユーザインタフェース）の一例を示す図である。また、提供タイミングの指定操作を行うＵＩを表示するためのボタンは、常にテーブル３に表示するようにしてもよい。

図１２に示すように、提供タイミングの指定操作を行うＵＩは、例えば、各料理画像３００（ここでは実物大表示でなくてもよい）を、タイムライン上に沿って並べることで順番を指定するものであってもよい。同じタイミングでの提供を希望する場合は、タイムラインに対して直角方向に並べる。各料理画像３００は、タッチ操作により移動させることが可能である。デフォルトでは、一定のルール（例えば、前菜料理を最初に、次にメイン料理、最後にデザートを提供する等)に基づいた提供タイミングが設定されるようにしてもよい。ユーザは、例えばデフォルトでは最初に提供される設定となっている料理画像３００ｈを、次に提供される料理画像３００ｉ、３００ｊと同じタイミングにしたい場合、図１２に示すように、料理画像３００ｈを、タッチ操作により料理画像３００ｉ、３００ｊの下に移動させる。

情報処理装置１０は、指定された料理の提供順の情報もオーダーに含めて、自動調理装置４０に通知する。

＜４－３．料理の配膳位置の指定操作＞
本実施形態では、注文済みの料理画像３００をテーブル３に常に表示し、配膳時には当該料理画像３００の表示位置に配膳するようにしてもよい。ユーザは、料理画像３００の表示位置をタッチ操作等により自由にスライドして動かすことができ、これにより、配膳位置を任意の位置に指定することができる。

情報処理装置１０は、料理が配膳されたことを検知した場合、対応する料理画像３００を非表示にしてもよい。

これにより、注文した料理の配膳位置を事前に把握したり、変更したりすることが可能となる。また、テーブル３に料理が乗り切るか、狭くなってしまう場合は、早めに取り皿に取り分けて大皿を片付けられるようにしたりして、食事のペースを調整することができる。

また、情報処理装置１０は、設定された提供タイミングに応じて、テーブル３上に料理画像３００を表示するようにしてもよい。すなわち、注文した料理の画像全てを一度に表示することに限定されず、次に提供される料理の料理画像３００を予め表示するようにしてもよい。

また、テーブル３上に配膳スペースがない場合（すなわち次に提供される料理の料理画像３００を表示するスペースがない場合）、情報処理装置１０は、提供するタイミングを待つよう自動調理装置４０に通知を行うことも可能である。

また、本システムでは、客が複数人グループの場合、情報処理装置１０は、誰が何を注文したかを記憶しておき、配膳時には、注文したユーザの前に料理を配膳するよう、自動調理装置４０に通知してもよい。人手により配膳する場合は、店員はテーブル３上の料理画像３００の配置を目視して配膳することが可能となる。また、配膳ロボットにより料理を運搬する場合は、注文したユーザの席の近くに移動するよう制御され得る。

＜４－４．注文後の変更操作＞
本実施形態では、調理進捗情報をテーブル３に表示し、ユーザに、料理が提供されるまでの時間を通知することが可能である。また、味付けの変更等、注文後であっても調理中に変更できるオーダーがあれば、その内容をユーザに通知し、ユーザの要望が途中で変更した場合でも出来る限り対応することを可能とする。

図１３は、本実施形態による調理進捗情報をテーブル３に表示する場合の一例について示す図である。

図１３に示すように、料理の注文後、テーブル３には、注文した料理画像３００と、調理進捗情報３７０が、表示される。調理進捗情報３７０は、情報処理装置１０により、自動調理装置４０から取得した最新の調理情報に基づいて、リアルタイムで更新される。

調理進捗情報３７０は、例えば、バーグラフや円グラフ等により調理の進捗を示す。また、かかるバーグラフや円グラフには、オーダー内容を変更可能なタイミングが示される。具体的には、例えば図１３に示すように、進捗バー上に、「サイズ（量）変更可」、「味付け変更可」、「焼き加減変更可」や、「ここまでならキャンセル可」など、各料理の調理の工程によって決定される、オーダー内容を変更可能なタイムリミットが表示されている。ユーザは、注文後に要望が変化した場合でも、調理進捗情報３７０を参照してオーダーを変更することができる。情報処理装置１０は、オーダー変更を検出した場合、変更内容を自動調理装置４０に通知する。

このように、各料理の進捗状態をリアルタイムで表示することで、ユーザは、自分が注文した料理が提供されるまでの時間を知ることができ、また、進捗度合いによっては途中で注文内容を変更することができる。

以上説明したように、本実施形態では、実際に提供される状態の実物大の料理画像３００と付加情報３３０を、注文時にテーブル３に表示し、ユーザによる直感的な操作入力を料理画像３００および付加情報３３０リアルタイムに反映させ、オーダー内容を入力できるようにする。これにより、ユーザは、自分の要望に忠実な料理を注文できているかを確認しつつ、細かい注文であっても直感的に、容易に操作入力することが可能となる。また、提供される料理の状態を画像により予め表示することで、ユーザの想定と実際に提供される料理とのズレを解消することができる。

＜＜５．変形例＞＞
＜５－１．音声入力＞
以上説明した例では、オーダー入力の操作方法として、主にタッチ操作を用いる場合について説明したが、本実施形態はこれに限定されず、マイクロフォンを用いた音声入力により行うことも可能である。例えば、メニュー選択（「サラダ３つと、ピザ１つと、パスタ２つ」等）や量の調整（「もう少し多めに」等）、等分（「Ｘ等分して」等）を音声認識によって行うことも可能である。情報処理装置１０は、マイクロフォン（入力装置２０の一例）により収音したユーザ音声を認識し、注文内容を取得すると、タッチ操作を用いた場合と同様に、テーブル３に表示している料理画像や付加情報にリアルタイムに反映させる。

また、本システムでは、ユーザの様子に基づいて、音声入力への切り替えを自動的に行ってもよい。例えばユーザが子供を抱えていて両手がふさがっている場合等、タッチ操作が難しい状況と判断した場合、情報処理装置１０は、音声入力が可能であることをユーザに通知し、音声入力を受け付けるようにしてもよい。

また、本システムが家庭で用いられる際、ユーザが注文後にテーブル３から離れたことを検知した場合、音声入力に切り替え、注文後の変更等、離れた場所からでも音声により ユーザの指示を受け付けることを可能とする。

また、テーブル３に表示された料理画像や付加情報に対するタッチ操作に限定されず、手によるジェスチャーや、頭、視線の動き等により、オーダー入力を行うことも可能である。いずれの場合も、情報処理装置１０は、ユーザによる注文内容を認識すると、テーブル３に表示している料理画像や付加情報にリアルタイムに反映させる。

また、情報処理装置１０は、音声入力に切り替えた際、味付けや焼き加減等の料理の付加情報の変更ＵＩ（図８等）を、適宜、音声入力用のＵＩに切り替えるようにしてもよい。

また、情報処理装置１０は、タッチ操作と音声入力の両方を受け付けるようにしてもよい。これにより例えばタッチ操作で料理のサイズを変更しながら、味付け等を音声入力により指定したりすることもできる。

＜５－２．表示出力の変形例＞
上述した例では、主に料理が配膳されるテーブル３上に料理画像３００等を表示（投影）する場合について説明したが、本実施形態はこれに限定されず、例えばテーブル３の表示領域が足りない場合や、遠い席から見えにくい場合等は、周辺の他の表示領域、例えば壁面ディスプレイ等も用いてもよい。

また、本システムは、テーブル３等に表示する料理画像等を、立体映像により提示する機能を有してもよい。

また、本システムの出力装置３０は、上述したように、ＨＭＤ（Head Mounted Display）、ＡＲ（Augmented Reality）グラス等のウェアラブルデバイスであってもよく、この場合、情報処理装置１０または出力装置３０は、ＨＭＤやＡＲグラスの透過型または非透過型の表示部において、テーブル上に料理画像３００等が位置して見えるよう表示制御する。

＜５－３．その他＞
（ユーザ情報等に基づいたレコメンド）
情報処理装置１０は、オーダーを受け付ける際に、ユーザ情報（食事履歴、摂取カロリー、ダイエット中か否か、健康状態、生活習慣、運動有無、スケジュールなど）を取得し、栄養バランスや、塩分、摂取カロリー等を考慮した適切なメニュー（料理名）、あるいは、適切な味付けや量の提案を行ってもよい。若しくは、情報処理装置１０は、ユーザ情報に基づいて、警告（「食べすぎですよ」等）を提示してもよい。

例えば、本システムが家庭で用いられる場合、ユーザのこの後のスケジュールを確認し、出掛ける予定がある場合は、すぐに調理できるメニューをオススメとして提示してもよい。また、家庭で用いられる場合、冷蔵庫内の食材の残量や、ユーザのその日の食事内容に基づいて、栄養バランス的に適した料理（量や味付け、使用する食材を変更する等）を、オススメとして提示してもよい。

また、本システムが、空港ラウンジやバスターミナル、列車の駅等の、客の滞在可能時間が限られる場面における飲食物の提供に用いられる場合、情報処理装置１０は、客の予定や出発時間、搭乗時間等をスケジュールから取得し、時間制約の中で提供できる料理をレコメンドするようにしてもよい。また、食事が済んだ後もまだ時間に余裕があるようであれば、食後のコーヒー等をレコメンドしてもよい。

また、情報処理装置１０は、カメラ２０ａにより撮像したユーザの外見から、年代、性別、人数等の属性情報を推定し、適切な量や味付けのメニューをオススメとして提示するようにしてもよい。

また、情報処理装置１０は、カメラ２０ａによってテーブル３上に並べられた料理を認識し（または注文内容に基づいて）、相性の良い料理や飲み物をオススメとして提示してもよい。

以上説明したオススメの内容はいずれも実際に提供される状態を想定した実物大の料理画像により提示することで、視覚的にオススメ内容を認識させることができる。

（香りや味を再現する機構）
本システムでは、実際に提供される状態を想定した実物大の料理画像を提示するのみならず、香りや味を再現する機構を設けることで、注文時に、ユーザに対して提供される料理の香りや味を予め提示することで、ユーザの想定と実際に提供される料理とのズレを解消することができる。

（一括要望入力）
本システムでは、宗教や体質（アレルギーや病気）、好み等に起因するＮＧ食材に関する要望を一括で反映させることも可能である。例えば、テーブル３に表示された「ベジタリアン」というボタンをタップすると、メニューが全てベジタリアン用に更新される。

（料理の温度表示）
情報処理装置１０は、提供された料理の熱さを検知し、テーブル３上に表示（「熱いのでやけどに注意！」等の警告）してもよい。

（下膳機能）
片付けてほしい皿の周りをタップする等の操作によって、下膳の依頼を店側に伝えることができる。具体的には、皿の周りをタップする等の所定の操作（ジェスチャー）を入力装置２０により検出した場合、情報処理装置１０は、自動調理装置４０に対して下膳の依頼を通知する。

＜＜６．まとめ＞＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した情報処理装置１０、入力装置２０、出力装置３０、または自動調理装置４０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０、入力装置２０、出力装置３０、または自動調理装置４０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
料理に関するユーザからの注文内容を受け付けるインタフェースを表示する制御と、
前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させる制御と、
決定された注文内容を外部装置に送信する制御と、
を行う制御部を備える、情報処理装置。
（２）
前記制御部は、前記料理画像を、表示領域に実物大で表示する制御を行う、前記（１）に記載の情報処理装置。
（３）
前記制御部は、
前記料理画像で示す料理に関する情報を含む付加情報を、前記料理画像と共に表示する制御と、
前記ユーザの操作に基づく注文内容の変更を、前記付加情報にもリアルタイムに反映させる制御を行う、前記（１）または（２）に記載の情報処理装置。
（４）
前記付加情報の表示は、前記料理のカロリー、価格、栄養価、質量、または提供時間の表示を含む、前記（３）に記載の情報処理装置。
（５）
前記制御部は、調理に関する情報を外部装置から取得し、前記料理画像および前記付加情報を生成する、前記（３）または（４）に記載の情報処理装置。
（６）
前記制御部は、
センシングデータに基づいて、前記インタフェースに対する前記ユーザのタッチ操作入力を検出し、前記注文内容を取得する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
前記制御部は、
前記料理画像に対するピンチイン操作またはピンチアウト操作に応じて、前記料理画像の大きさを変更すると共に、前記料理画像で示される料理のサイズに関する注文を受け付ける制御を行う、前記（６）に記載の情報処理装置。
（８）
前記制御部は、
前記料理画像で示される料理の味付け、量、焼き加減、茹で加減、固さ、または使用食材に関する注文内容を変更するための調整表示を表示する制御を行い、
前記調整表示に対する前記ユーザのタッチ操作の検出結果に基づいて、前記注文内容の変更を受け付ける制御を行う、前記（６）に記載の情報処理装置。
（９）
前記制御部は、
センシングデータに基づいて、前記インタフェースに対する前記ユーザの音声入力操作を検出し、前記注文内容を取得する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（１０）
前記制御部は、
前記インタフェースに対する前記ユーザの操作に応じて、前記料理画像における１皿に盛られる料理の個数を増加させる際、前記ユーザの人数倍で前記個数を増加させた料理画像を生成する、前記（１）～（９）のいずれか１項に記載の情報処理装置。
（１１）
前記制御部は、
前記インタフェースに対する前記ユーザの操作に応じて、前記料理画像における１皿に盛られる料理の取り分け注文を受け付けた際、前記ユーザの人数分に取り分けた状態の料理画像を生成する、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記制御部は、
前記料理画像に対して前記ユーザがタッチ操作によりなぞった線に基づいて、料理の切り分け箇所を認識し、当該切り分け箇所で切り分けた状態の料理画像を生成する、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記制御部は、
注文された料理の提供順を、各料理画像を時系列に並べることで提示する制御と、
前記各料理画像を時系列に並べた表示に対する前記ユーザの操作入力に応じて、提供順の変更を受け付ける制御を行う、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記制御部は、
注文された料理の料理画像を、料理が配膳されるテーブルに実物大で表示し、各料理の配膳位置の指定を受け付ける制御を行う、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記制御部は、
前記決定された注文内容に含まれる各料理の調理進捗情報を表示すると共に、各料理に対する変更可能な注文内容とタイムリミットを明示する制御を行う、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記制御部は、
前記ユーザの情報に基づいて、料理のレコメンド情報を出力する、前記（１）～（１５）のいずれか１項に記載の情報処理装置。
（１７）
前記ユーザの情報は、前記ユーザの食事履歴、摂取カロリー、ダイエット中か否か、健康状態、生活習慣、運動有無、スケジュール、または前記ユーザを撮像した撮像画像から推定される前記ユーザの属性情報を含む、前記（１６）に記載の情報処理装置。
（１８）
プロセッサが、
料理に関するユーザからの注文内容を受け付けるインタフェースを表示することと、
前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させることと、
決定された注文内容を外部装置に送信することと、
を含む、情報処理方法。
（１９）
コンピュータを、
料理に関するユーザからの注文内容を受け付けるインタフェースを表示する制御と、
前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させる制御と、
決定された注文内容を外部装置に送信する制御と、
を行う制御部として機能させるための、プログラム。

１ 調理システム
３ テーブル
１０ 情報処理装置
１００ 制御部
１０１ 表示制御部
１０２ 操作検出部
１０３ オーダー処理部
１１０ 通信部
１２０ 記憶部
２０ 入力装置
２０ａ カメラ
３０ 出力装置
３０ａ プロジェクタ
４０ 自動調理装置
４２ 調理情報ＤＢ
３００ 料理画像

Claims (15)

1. 料理に関するユーザからの注文内容を受け付けるインタフェースを表示する制御と、
   前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させる制御と、
   決定された注文内容を外部装置に送信する制御と、
   を行う制御部を備え、
   前記制御部は、
   前記料理画像を、表示領域に実物大で表示する制御を行い、
   センシングデータに基づいて、前記インタフェースに対する前記ユーザのタッチ操作入力を検出し、前記注文内容を取得し、
   前記料理画像で示される料理の味付け、量、焼き加減、茹で加減、固さ、または使用食材に関する注文内容を変更するための調整表示を表示する制御を行い、
   前記調整表示に対する前記ユーザのタッチ操作の検出結果に基づいて、前記注文内容の変更を受け付ける制御を行い、
   前記料理画像に対して前記ユーザがタッチ操作によりなぞった線に基づいて、料理の切り分け箇所を認識し、当該切り分け箇所で切り分けた状態の料理画像を生成する、
   情報処理装置。
2. 料理に関するユーザからの注文内容を受け付けるインタフェースを表示する制御と、
   前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させる制御と、
   決定された注文内容を外部装置に送信する制御と、
   を行う制御部を備え、
   前記制御部は、
   前記料理画像を、表示領域に実物大で表示する制御を行い、
   センシングデータに基づいて、前記インタフェースに対する前記ユーザのタッチ操作入力を検出し、前記注文内容を取得し、
   前記料理画像で示される料理の味付け、量、焼き加減、茹で加減、固さ、または使用食材に関する注文内容を変更するための調整表示を表示する制御を行い、
   前記調整表示に対する前記ユーザのタッチ操作の検出結果に基づいて、前記注文内容の変更を受け付ける制御を行い、
   注文された料理の提供順を、各料理画像を時系列に並べることで提示する制御と、
   前記各料理画像を時系列に並べた表示に対する前記ユーザの操作入力に応じて、提供順の変更を受け付ける制御を行う、
   情報処理装置。
3. 料理に関するユーザからの注文内容を受け付けるインタフェースを表示する制御と、
   前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させる制御と、
   決定された注文内容を外部装置に送信する制御と、
   を行う制御部を備え、
   前記制御部は、
   前記料理画像を、表示領域に実物大で表示する制御を行い、
   センシングデータに基づいて、前記インタフェースに対する前記ユーザのタッチ操作入力を検出し、前記注文内容を取得し、
   前記料理画像で示される料理の味付け、量、焼き加減、茹で加減、固さ、または使用食材に関する注文内容を変更するための調整表示を表示する制御を行い、
   前記調整表示に対する前記ユーザのタッチ操作の検出結果に基づいて、前記注文内容の変更を受け付ける制御を行い、
   注文された料理の料理画像を、料理が配膳されるテーブルに実物大で表示し、各料理の配膳位置の指定を受け付ける制御を行う、
   情報処理装置。
4. 料理に関するユーザからの注文内容を受け付けるインタフェースを表示する制御と、
   前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させる制御と、
   決定された注文内容を外部装置に送信する制御と、
   を行う制御部を備え、
   前記制御部は、
   前記料理画像を、表示領域に実物大で表示する制御を行い、
   センシングデータに基づいて、前記インタフェースに対する前記ユーザのタッチ操作入力を検出し、前記注文内容を取得し、
   前記料理画像で示される料理の味付け、量、焼き加減、茹で加減、固さ、または使用食材に関する注文内容を変更するための調整表示を表示する制御を行い、
   前記調整表示に対する前記ユーザのタッチ操作の検出結果に基づいて、前記注文内容の変更を受け付ける制御を行い、
   前記決定された注文内容に含まれる各料理の調理進捗情報を表示すると共に、各料理に対する変更可能な注文内容とタイムリミットを明示する制御を行う、
   情報処理装置。
5. 前記制御部は、
   前記料理画像で示す料理に関する情報を含む付加情報を、前記料理画像と共に表示する制御と、
   前記ユーザの操作に基づく注文内容の変更を、前記付加情報にもリアルタイムに反映させる制御を行う、請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記付加情報の表示は、前記料理のカロリー、価格、栄養価、質量、または提供時間の表示を含む、請求項５に記載の情報処理装置。
7. 前記制御部は、調理に関する情報を外部装置から取得し、前記料理画像および前記付加情報を生成する、請求項６に記載の情報処理装置。
8. 前記制御部は、
   前記料理画像に対するピンチイン操作またはピンチアウト操作に応じて、前記料理画像の大きさを変更すると共に、前記料理画像で示される料理のサイズに関する注文を受け付ける制御を行う、請求項１～４のいずれか１項に記載の情報処理装置。
9. 前記制御部は、
   センシングデータに基づいて、前記インタフェースに対する前記ユーザの音声入力操作を検出し、前記注文内容を取得する、請求項１～４のいずれか１項に記載の情報処理装置。
10. 前記制御部は、
    前記インタフェースに対する前記ユーザの操作に応じて、前記料理画像における１皿に盛られる料理の個数を増加させる際、前記ユーザの人数倍で前記個数を増加させた料理画像を生成する、請求項１～４のいずれか１項に記載の情報処理装置。
11. 前記制御部は、
    前記インタフェースに対する前記ユーザの操作に応じて、前記料理画像における１皿に盛られる料理の取り分け注文を受け付けた際、前記ユーザの人数分に取り分けた状態の料理画像を生成する、請求項１～４のいずれか１項に記載の情報処理装置。
12. 前記制御部は、
    前記ユーザの情報に基づいて、料理のレコメンド情報を出力する、請求項１～４のいずれか１項に記載の情報処理装置。
13. 前記ユーザの情報は、前記ユーザの食事履歴、摂取カロリー、ダイエット中か否か、健康状態、生活習慣、運動有無、スケジュール、または前記ユーザを撮像した撮像画像から推定される前記ユーザの属性情報を含む、請求項１２に記載の情報処理装置。
14. プロセッサが、
    料理に関するユーザからの注文内容を受け付けるインタフェースを表示することと、
    前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させることと、
    決定された注文内容を外部装置に送信することと、
    を含み、
    前記料理画像は、表示領域に実物大で表示され、
    前記プロセッサは、
    センシングデータに基づいて、前記インタフェースに対する前記ユーザのタッチ操作入力を検出し、前記注文内容を取得し、
    前記料理画像で示される料理の味付け、量、焼き加減、茹で加減、固さ、または使用食材に関する注文内容を変更するための調整表示を表示する制御を行い、
    前記調整表示に対する前記ユーザのタッチ操作の検出結果に基づいて、前記注文内容の変更を受け付ける制御を行い、
    前記料理画像に対して前記ユーザがタッチ操作によりなぞった線に基づいて、料理の切り分け箇所を認識し、当該切り分け箇所で切り分けた状態の料理画像を生成する、
    情報処理方法。
15. コンピュータを、
    料理に関するユーザからの注文内容を受け付けるインタフェースを表示する制御と、
    前記ユーザの操作に基づく注文内容の変更を、前記インタフェースに含まれる料理画像にリアルタイムに反映させる制御と、
    決定された注文内容を外部装置に送信する制御と、
    を行う制御部として機能させるための、プログラムであって、
    前記制御部は、
    前記料理画像を、表示領域に実物大で表示する制御を行い、
    センシングデータに基づいて、前記インタフェースに対する前記ユーザのタッチ操作入力を検出し、前記注文内容を取得し、
    前記料理画像で示される料理の味付け、量、焼き加減、茹で加減、固さ、または使用食材に関する注文内容を変更するための調整表示を表示する制御を行い、
    前記調整表示に対する前記ユーザのタッチ操作の検出結果に基づいて、前記注文内容の変更を受け付ける制御を行い、
    前記料理画像に対して前記ユーザがタッチ操作によりなぞった線に基づいて、料理の切り分け箇所を認識し、当該切り分け箇所で切り分けた状態の料理画像を生成する、
    プログラム。

Images