JP7242927B2 - 情報処理装置、及びシステム - Google Patents

Description

本発明の実施形態は、情報処理装置、及びシステムに関する。

近年、飲食店等において、料理や飲み物を厨房から客がいる座席まで運ぶ作業を、店員に代わって、自走するロボットにより実行させることが行われている。ロボットは、例えば料理や飲み物がトレイに乗せられた後、従業員のボタンに対する入力操作に応じて走行を開始する。ロボットは、指定された座席までの経路に従って走行し、料理や飲み物を座席まで運ぶ。

従来のロボットは、ロボットに設けられたボタンに対する入力操作に応じて動作する。従って、ロボットを利用する場合には、従業員がロボットの近くにいなければならない。また、ロボットが走行を開始した後、従業員は、ロボットの動作状況を把握することが困難となっていた。

特開２００９－１７２４１０号公報

本発明が解決しようとする課題は、店舗内で移動するロボットの制御を容易にすることが可能な情報処理装置、及びシステムを提供することである。

実施形態によれば、情報処理装置は、受信手段、第１表示手段、指示入力手段、出力手段、第２表示手段を有する。受信手段は、店舗内に配置された複数のテーブルのそれぞれにおいて撮像された撮像データを入力する。第１表示手段は、前記複数のテーブルの何れかに対応する前記撮像データをもとに映像を表示させる。指示入力手段は、自律走行して店舗内を移動する機能を有するロボットに対する動作目的に対応する動作指示を入力する。出力手段は、前記動作指示に応じて、前記表示手段により表示された映像に対応するテーブルまで移動する移動指示を前記ロボットに出力する。第２表示手段は、前記出力手段により出力された移動指示に応じて移動する前記ロボットの前記店舗内の位置と共に前記動作目的を示す情報を表示させる。

本実施形態の注文処理システムの構成を示すブロック図。 本実施形態におけるホールコントローラの要部構成を示すブロック図。 本実施形態における注文受付端末の要部構成を示すブロック図。 本実施形態におけるテーブルロボットの要部構成を示すブロック図。 本実施形態における注文受付端末とテーブルロボットの外観を示す図。 第１実施形態におけるホールコントローラとテーブルロボットの処理を示すフローチャート。 第１実施形態における座席状況を示す画面の一例を示す図。 第１実施形態における詳細画面（座席状況詳細）の一例を示す図。 第１実施形態におけるフロアロボット２６の選択画面の一例を示す図。 第１実施形態における座席状況を示す画面の一例を示す図。 第１実施形態におけるハンディターミナルとフロアロボットの処理を示すフローチャート。 第２実施形態におけるテーブルロボットとホールコントローラの処理を示すフローチャート。 ホールコントローラによる比較処理を示すフローチャート。 第１画像と第２画像を概念的に示す図。 第２実施形態におけるハンディターミナルとフロアロボットの処理を示すフローチャート。 第３実施形態におけるテーブルロボットの処理を示すフローチャート。 第３実施形態におけるハンディターミナルとフロアロボットの処理を示すフローチャート。

以下、本実施形態について、図面を参照しながら説明する。
図１は、本実施形態の注文処理システムの構成を示すブロック図である。注文処理システムは、例えば飲食店に設置されて稼働する。

注文処理システムは、オーダーステーション１０、ＰＯＳ（Point Of Sales）端末１２、キッチンプリンタ１４、ホールコントローラ１６、及び少なくとも１つの複数のアクセスポイント（ＡＰ）１８（１８－１，…，１８－ｍ）がＬＡＮ（Local Area Network）等のネットワーク１９を介して相互に接続される。また、注文処理システムは、アクセスポイント１８との無線通信を介して、タブレット端末１６Ｋ、複数のハンディターミナル２０（２０－１，…，２０－ｎ）、店舗内のテーブル毎に設置された複数台の注文受付端末２２（２２－１，…，２２－ｘ）及び複数台のテーブルロボット２４（２４－１，…，２４－ｘ）、少なくとも１台のフロアロボット２６（２６－１，…，２６－ｙ）が、ネットワーク１９と接続される。

オーダーステーション１０は、ハンディターミナル２０あるいは注文受付端末２２から受信した注文情報に基づいて、キッチンプリンタ１４に調理指示を送信する。また、配膳完了をハンディターミナル２０から受信した場合、注文情報を売り上げ情報としてＰＯＳ端末１２に送信する。

ＰＯＳ端末１２は、例えば会計場に配置され、客の飲食代金を精算する。ＰＯＳ端末１２は、販売情報を登録、処理し、一取引ずつ会計処理を行う。販売情報には、顧客ごとの商品の売り上げ明細の情報が含まれる。

キッチンプリンタ１４は、例えば調理場に配置される。キッチンプリンタ１４は、オーダーステーション１０から受信した注文情報に基づいて、客が注文した商品（メニュー品目）やテーブルの識別番号を含む注文伝票を印刷することで調理指示を出力する。

ホールコントローラ１６は、フロアロボット２６の制御と管理のための処理をする情報処理装置として動作するコンピュータである。ホールコントローラ１６は、店舗内の客の状況を管理して、客の状況に応じて注文処理システムを構成する各装置を制御する。ホールコントローラ１６は、例えば客が着席しているテーブルの状況、客情報（人数、性別、年代、職業など）の管理、注文履歴の管理、利用時間（着席からの経過時間、コース設定の終了時刻までの残り時間など）などを管理する。ホールコントローラ１６は、客の状況を表す画面を表示する。店舗の従業員は、ホールコントローラ１６の画面を視認する。また、ホールコントローラ１６は、少なくとも商品（飲み物、食べ物など）が配置されたテーブルを含む範囲を撮像範囲として撮像された撮像データを入力し、撮像データをもとにフロアロボット２６の動作を制御するための処理を実行する。ホールコントローラ１６は、例えばテーブルに設置されたテーブルロボット２４（あるいは注文受付端末２２でも良い）に設けられたカメラにより撮像された撮像データを入力する。撮像データは、静止画、あるいは動画（映像）の何れであっても良い。ホールコントローラ１６は、撮像データをもとに映像（または画像）を表示させ、この映像（または画像）を確認した従業員による入力操作に応じて、フロアロボット２６に対して動作を制御する指示を出力することができる（第１実施形態）。また、ホールコントローラ１６は、入力された撮像データについて画像処理をすることで商品の状況、例えば商品の残量、商品の提供に用いた器（グラス、皿など）の状態を検出する。ホールコントローラ１６は、この検出結果をもとに適切なタイミングでフロアロボット２６に対して動作を制御する指示を出力することができる（第２実施形態）。

タブレット端末１６Ｋは、ホールコントローラ１６の入出力装置として使用される。タブレット端末１６Ｋは、アクセスポイント１８とネットワーク１９を介して、ホールコントローラ１６と通信する。なお、タブレット端末１６Ｋは、アクセスポイント１８を介さないで、直接、ホールコントローラ１６と無線通信する構成としても良い。また、タブレット端末１６Ｋは、１台に限らず、複数台が設けられていても良い。

また、図１では、ネットワーク１９に接続されたコンピュータによりホールコントローラ１６が実現される例を示しているが、後述するホールコントローラ１６の処理をタブレット端末１６Ｋによって実行するものとしても良い。さらに、１台のホールコントローラ１６（あるいはタブレット端末１６Ｋ）が単独で後述する処理を実行するだけでなく、他の装置（複数のコンピュータ、あるいはオーダーステーション１０）と協働して実行する構成としても良い。したがって、本実施形態において、ホールコントローラ１６は、ネットワーク１９に接続されたコンピュータにより実現される形態及びタブレット端末１６Ｋにより実現される形態のいずれであってもよい。

アクセスポイント１８は、タブレット端末１６Ｋ、ハンディターミナル２０、注文受付端末２２、テーブルロボット２４、フロアロボット２６との無線通信を制御する無線通信装置である。アクセスポイント１８は、例えば店内の天井などに少なくとも１台が配置される。

ハンディターミナル２０は、店員用の端末である。ハンディターミナル２０は、注文の入力、来店した客を登録するチェックイン処理、客によって注文された商品の配膳完了の入力、ホールコントローラ１６からの通知に応じたメッセージ出力などを行う。ハンディターミナル２０は、入力された注文に応じた注文情報、配膳完了の商品を示す商品情報などをオーダーステーション１０に送信する。また、ハンディターミナル２０は、店員の操作等に応じて、ホールコントローラ１６に対して各種の通知を送信することができる。

注文受付端末２２（２２－１，…，２２－ｘ）は、例えば店内の各テーブルＴ（Ｔ－１，…，Ｔ－ｘ）に配置される。注文受付端末２２は、メニューを表示するとともに、客からの商品（メニュー品目）の注文を受け付ける。注文受付端末２２は入力した注文情報をオーダーステーション１０に送信する。注文受付端末２２は、ホールコントローラ１６から出力されたレコメンド情報に応じた、お勧め商品の画面などを表示する。

テーブルロボット２４（２４－１，…，２４－ｘ）は、例えば店内の各テーブルＴ（Ｔ－１，…，Ｔ－ｘ）に配置される。テーブルロボット２４は、客とコミュニケーションをとるためのロボットである。テーブルロボット２４は、カメラにより少なくとも商品（飲み物、食べ物など）が配置されたテーブルを含む範囲を撮像範囲として撮像された撮像データを入力してホールコントローラ１６に送信する出力機能を有する。また、テーブルロボット２４は、マイクから入力された音声の認識機能を有し、客との簡単な会話、客からの音声による商品の注文受付などをする。テーブルロボット２４は、スピーカから客に対するメッセージを出力する音声出力機能が設けられ、客との会話のために音声の認識機能により認識された音声に対応する応答メッセージの出力、ホールコントローラ１６あるいはオーダーステーション１０からの通知に応じたメッセージの出力などを実行する。

なお、図１では、注文受付端末２２とテーブルロボット２４は、別の装置として実現されているが、１つの装置によって実現することも可能である。

また、ホールコントローラ１６に設けられたフロアロボット２６を制御する機能は、注文受付端末２２あるいはテーブルロボット２４によって実現することも可能である。すなわち、注文受付端末２２あるいはテーブルロボット２４（さらには注文受付端末２２とテーブルロボット２４を組み合わせた構成）を、フロアロボット２６の制御と管理のための処理をする情報処理装置として動作させるようにしても良い（第３実施形態）。

フロアロボット２６は、店舗内で商品の各テーブルへの配膳、及び各テーブルから食器、グラス、ゴミ等の物品の回収（バッシング）のために使用されるロボットである。フロアロボット２６は、食器等を載置することができる、少なくとも１つの載置台が設けられている。フロアロボット２６は、自律走行する機能が設けられており、店舗内のテーブルの配置に応じて設定された経路に応じて、指定された目的とするテーブルの位置まで走行することができる。フロアロボット２６には、例えば衝突防止センサが設けられ、障害物を回避しながら走行する。

フロアロボット２６は、アクセスポイント１８を介した無線通信機能が設けられており、例えば客により注文受付端末２２あるいはテーブルロボット２４から入力された指示、ホールコントローラ１６からの客の状況に応じた指示、あるいは従業員による操作により入力された指示を受信して、指示に応じた動作をすることができる。また、フロアロボット２６は、走行に伴って、現在位置を示す位置データを、アクセスポイント１８を介してホールコントローラ１６に通知する。ホールコントローラ１６は、フロアロボット２６から受信される位置データをもとに、例えば店舗のテーブル配置などを表示するフロアマップに、フロアロボット２６が走行する経路上における現在位置（動作状況）を示す情報を表示することができる。

フロアロボット２６には、客や店員とのコミュニケーションをとるために、タッチパネルなどの入出力装置、カメラにより撮影した画像をもとにした人物認証機能、マイクから入力された音声の認識機能、スピーカから客あるいは店員に対するメッセージを出力する音声出力機能などが設けられる。

図２は、本実施形態におけるホールコントローラ１６の要部構成を示すブロック図である。
ホールコントローラ１６は、コンピュータによって実現される。ホールコントローラ１６は、ＣＰＵ（Central Processing Unit）１６Ａ、ＲＯＭ（Read Only Memory）１６Ｂ、ＲＡＭ（Random Access Memory）１６Ｃ、記憶装置１６Ｄ、表示装置１６Ｅ、入力装置１６Ｆ、タッチパネル１６Ｇ、通信装置１６Ｈ等を有する。

ＣＰＵ１６Ａは、ＲＯＭ１６Ｂあるいは記憶装置１６Ｄに記憶されたプログラムを実行することにより、ホールコントローラ１６の各構成を制御する。ＣＰＵ１６Ａにより実行されるプログラムには、基本プログラム（ＯＳ（Operating System））の他、情報処理装置として動作するための情報処理プログラムが含まれる。ＣＰＵ１６Ａは、情報処理プログラムを実行することで店舗内の客の状況を管理する。ＣＰＵ１６Ａは、テーブルロボット２４（あるいは注文受付端末２２）から送信される撮像データを、通信装置１６Ｈを通じて入力する入力機能、入力された撮像データをもとに画像処理をすることで商品（飲み物、食べ物）の状況を検出する検出機能、検出機能の検出結果に応じてフロアロボット２６を制御するための指示を出力する出力機能を実現する。検出機能により検出される商品の状況としては、商品の残量、商品の提供に用いた器（グラス、皿など）の状態などを検出することかできる。商品の提供に用いた器の状態としては、例えば皿が重ね合わされている、テーブル外に置かれているなど、客が器を不要としている状態を検出することが望ましい。

また、ＣＰＵ１６Ａは、例えば着席しているテーブルの状況、客情報（人数、性別、年代、職業など）の管理、注文履歴の管理、利用時間（着席からの経過時間、コース設定の終了時刻までの残り時間など）などの情報をもとに、客に応じたレコメンド情報を決定するレコメンド情報抽出処理を実行する。

ＲＯＭ１６Ｂは、ＣＰＵ１６Ａが実行するプログラムなどを記憶する。ＲＡＭ１６Ｃは、各種のワークメモリエリアを形成する。記憶装置１６Ｄは、例えばＨＤＤ（Hard disk drive）、ＳＳＤ（Solid State Drive）などであり、各種プログラムや各種データを記憶する。

表示装置１６Ｅは、例えばＬＣＤ（Liquid Crystal Display）である。入力装置１６Ｆは、例えばキーボード、マウスなどのポインティングデバイスである。タッチパネル１６Ｇは、表示及びタッチ操作による入力をする。

通信装置１６Ｈは、例えばネットワーク１９を通じた各装置との通信を制御する。また、通信装置１６Ｈは、無線通信する機能が含まれていても良い。

図３は、本実施形態における注文受付端末２２の要部構成を示すブロック図である。
注文受付端末２２は、例えばタブレット型のコンピュータによって実現される。注文受付端末２２は、ＣＰＵ２２Ａ、ＲＯＭ２２Ｂ、ＲＡＭ２２Ｃ、記憶装置２２Ｄ、タッチパネル２２Ｇ、通信装置２２Ｈ等を有する。

ＣＰＵ２２Ａは、ＲＯＭ２２Ｂあるいは記憶装置２２Ｄに記憶されたプログラムを実行することにより、注文受付端末２２の各構成を制御する。ＣＰＵ２２Ａにより実行されるプログラムには、基本プログラム（ＯＳ（Operating System））の他、注文受付端末２２として動作するための注文受付プログラムが含まれる。ＣＰＵ２２Ａは、注文受付プログラムを実行することで、メニュー画面の表示、客の入力操作の受け付け、客の入力操作によってメニュー画面から選択された商品に応じた注文情報のオーダーステーション１０への送信、ホールコントローラ１６（あるいはオーダーステーション１０）から送信されるレコメンド情報に応じたお勧め商品の通知（表示または音声出力）などの処理を実行する。ＣＰＵ２２Ａは、各処理に応じた画面（ＧＵＩ（Graphical User Interface））をタッチパネル２２Ｇにおいて表示させる。

ＲＯＭ２２Ｂは、ＣＰＵ２２Ａが実行するプログラムなどを記憶する。ＲＡＭ２２Ｃは、各種のワークメモリエリアを形成する。記憶装置２２Ｄは、例えばＨＤＤ、ＳＳＤなどであり、各種プログラムや各種データを記憶する。タッチパネル２２Ｇは、表示及びタッチ操作による入力をする。通信装置２２Ｈは、アクセスポイント１８との無線通信を制御する。

なお、注文受付端末２２は、後述するテーブルロボット２４と同様の機能を設けて、テーブルロボット２４の設置を省くことも可能である。この場合、注文受付端末２２には、カメラ、マイク、スピーカが設けられ、それぞれに対する後述するテーブルロボット２４と同様の制御機能が設けられるものとする。

図４は、本実施形態におけるテーブルロボット２４の要部構成を示すブロック図である。
テーブルロボット２４は、コンピュータの機能が設けられる。テーブルロボット２４は、ＣＰＵ２４Ａ、ＲＯＭ２４Ｂ、ＲＡＭ２４Ｃ、記憶装置２４Ｄ、マイク２４Ｅ、スピーカ２４Ｆ、カメラ２４Ｇ、通信装置２４Ｈ、駆動機構２４Ｌ等を有する。

ＣＰＵ２４Ａは、ＲＯＭ２４Ｂあるいは記憶装置２４Ｄに記憶されたプログラムを実行することにより、テーブルロボット２４の各構成を制御する。ＣＰＵ２４Ａにより実行されるプログラムには、基本プログラム（ＯＳ（Operating System））の他、テーブルロボット２４として動作するための制御プログラムが含まれる。ＣＰＵ２４Ａは、制御プログラムを実行することで、カメラ２４Ｇの動作を制御し、カメラ２４Ｇにより撮像された撮像データを通信装置２４Ｈを通じてホールコントローラ１６に出力する出力機能を実現する。また、ＣＰＵ２４Ａは、制御プログラムを実行することで、客とコミュニケーションをとるための動作を制御する。客とコミュニケーションには、音声（会話）によるもの、動作によるものなどがある。ＣＰＵ２４Ａは、客と音声（会話）によりコミュニケーションするために、マイク２４Ｅから入力された音声の認識機能、音声をスピーカ２４Ｆから出力させる音声出力機能を実行する。ＣＰＵ２４Ａは、音声の認識機能により、客からの会話のための音声、あるいは商品を注文するための音声について認識することができる。音声の認識機能では、例えば予め決められた音声コマンド（単語、あるいは文章）を認識して、音声コマンドに応じた処理を実行することができる。また、ＣＰＵ２４Ａは、音声出力機能により、音声の認識機能により認識された会話のための音声に対応する応答メッセージの出力、あるいはホールコントローラ１６あるいはオーダーステーション１０からの通知に応じたメッセージの出力等をすることができる。

ＲＯＭ２４Ｂは、ＣＰＵ２４Ａが実行するプログラムなどを記憶する。ＲＡＭ２４Ｃは、各種のワークメモリエリアを形成する。記憶装置２４Ｄは、例えばＨＤＤ、ＳＳＤなどであり、各種プログラムや各種データを記憶する。

カメラ２４Ｇは、ＣＰＵ２４Ａの制御に応じて撮像を実行し、撮像データを出力する。カメラ２４Ｇは、静止画、あるいは動画（映像）を撮像することができる。通信装置２４Ｈは、アクセスポイント１８との無線通信を制御する。

ＣＰＵ２４Ａは、駆動機構２４Ｌを動作させる。テーブルロボット２４は、複数の筐体（例えば上部筐体と下部筐体）が組み合わせて構成され、一部の筐体を駆動機構２４Ｌによって動くように構成される。ＣＰＵ２４Ａは、例えば客とのコミュニケーションのために、定常状態、あるいは音声による会話、商品の注文、各種メッセージ音声の出力のタイミングに合わせて駆動機構２４Ｌを駆動させる。また、ＣＰＵ２４Ａは、カメラ２４Ｇによる撮像範囲を変更するために、カメラ２４Ｇが設けられた筐体の向きを変更するように駆動機構２４Ｌを駆動させることができる。
駆動機構２４Ｌは、テーブルロボット２４を構成する一部筐体を動かすための機械構造である。

図５は、本実施形態における注文受付端末２２とテーブルロボット２４の外観を示す図である。図５は、注文受付端末２２とテーブルロボット２４とがテーブルに並べて配置された例を示している。
注文受付端末２２は、基本的にテーブル上のクレードルに設置されており、必要に応じてクレードルから取り外して客が保持した状態で使用することができる。

テーブルロボット２４は、客とコミュニケーションをとるために使用されるため、テーブルに着席した客と近い位置に設置されることが望ましい。また、テーブルロボット２４は、少なくとも商品（飲み物、食べ物など）が配置されたテーブルを含む範囲を撮像範囲として撮像を実行する。例えば、テーブルロボット２４は、商品が載置されるテーブル上だけでなく、テーブルに着席した客を含めた範囲を撮像範囲としても良い。このため、テーブルロボット２４は、カメラ２４Ｇにより目的とする撮像範囲を撮像可能とする位置に設置される。

図５に示すテーブルロボット２４は、例えばカメラ２４Ｇを上部筐体に設置して、駆動機構２４Ｌにより上部筐体を所定範囲内で左右上下に動作させながら、カメラ２４Ｇによる撮像を実行させることもできる。これにより、カメラ２４Ｇの向きを固定した場合より広い範囲を撮像範囲とすることが可能である。

次に、本実施形態における注文処理システムの動作について説明する。
注文処理システムでは、来店した客が何れかのテーブルに着席すると、客を登録するチェックイン処理が実行される。チェックイン処理では、テーブル番号の登録、客情報（人数、性別、年代、職業など）、注文コース（提供される複数の商品、時間等が予め決められている）の入力などが行われる。客情報は、例えばハンディターミナル２０を所持する店員が、ハンディターミナル２０に対する操作によって入力されても良いし、客による注文受付端末２２に対する操作によって入力しても良い。

また、テーブルロボット２４のカメラによって撮影された映像（撮像データ）をホールコントローラ１６に送信して、ホールコントローラ１６（あるいはタブレット端末１６Ｋ）において映像を表示させることで、映像を確認した店員によって客情報を入力させても良い。さらに、ホールコントローラ１６において客を撮像した画像に対して人物認証処理を実行し、人数、性別、年代、職業などを検出して、客情報として入力するようにしても良い。

客は、テーブルに着席した後、商品を注文する場合には、ハンディターミナル２０を所持する店員に伝える他、注文受付端末２２を利用することができる。注文受付端末２２は、タッチパネル２２Ｇにメニューを表示し、メニューからタッチ操作によって指定された商品に応じた注文情報をオーダーステーション１０に送信する。なお、メニューは、全ての商品を分類して提示する通常メニュー、店舗側で予め用意した特定のお勧め商品を含むお勧めメニューなどが、客の入力操作に応じて切り替えて表示される。

注文された商品は、店員によってテーブルに運ばれる他、フロアロボット２６を利用して運ばれる。フロアロボット２６は、従業員による入力操作、あるいはホールコントローラ１６（またはテーブルロボット２４）からの指示に応じて、例えば載置台に注文された商品、例えば飲み物のグラス、食べ物の皿などが載置された後、配膳先のテーブルが指示されることで、自走して指示されたテーブルまで運ぶことができる。

ホールコントローラ１６は、客が着席したテーブルの状況を、テーブルロボット２４のカメラ２４Ｇによって撮像された画像（映像）によって確認することができる。本実施形態では、ホールコントローラ１６は、配膳された商品（飲み物、食べ物）の飲食状況、すなわち客による商品の消費の状況を撮像された映像（画像）をもとに判別し、適切なタイミングで食器、グラス、ゴミ等の物品を回収（バッシング）するために、フロアロボット２６を映像が撮像されたテーブルに移動する指示を出力する。以下、フロアロボット２６の動作を制御する指示を出力するための処理（第１実施形態、第２実施形態、第３実施形態）について説明する。

（第１実施形態）
図６（Ａ）は、第１実施形態におけるホールコントローラ１６の処理を示すフローチャートである。図６（Ｂ）は、第１実施形態におけるテーブルロボット２４の処理を示すフローチャートである。注文受付端末２２がテーブルロボット２４の機能を代替する場合には、注文受付端末２２により図６（Ｂ）に示すフローチャートの処理が実行される。

第１実施形態では、テーブルロボット２４（あるいは注文受付端末２２）のカメラ２４Ｇによって、少なくとも商品が配置されたテーブル上を撮像範囲とした映像を撮像し、この映像をホールコントローラ１６において店舗の従業員が確認できるようにする。ホールコントローラ１６は、映像を確認した従業員による入力操作に応じて、フロアロボット２６に対して動作を制御する指示を出力する。

ホールコントローラ１６のＣＰＵ１６Ａは、ハンディターミナル２０、注文受付端末２２、テーブルロボット２４、フロアロボット２６等からの入力に基づいて、店舗内の状況を管理している。ＣＰＵ１６Ａは、従業員による入力操作に応じて、管理状況を示す画面を表示することができる。

ＣＰＵ１６Ａは、従業員による入力操作に応じて、例えば店舗内のテーブルの配置を示すフロアマップ（座席マップ）を含む、座席状況を示す画面を表示させる（ＡｃｔＡ１）。

図７は、ホールコントローラ１６の表示装置１６Ｅ、タッチパネル１６Ｇ、あるいはタブレット端末１６Ｋに表示される座席状況を示す画面Ｄ１の一例を示す図である。
図７に示す座席状況を示す画面Ｄ１では、例えば、切り替えボタンＤ１１、テーブルレイアウトＤ１２、フロアロボットマークＤ１３、テーブルマークＤ１４（Ａ０１～Ａ１０）、テーブルロボットマークＤ１５、コミュニケーションマークＤ１６、テーブルレイアウトＤ１９が表示される。切り替えボタンＤ１１は、画面の切り替えを指示するためのもので、例えば図７に示す画面に対応する「座席状況」ボタンの他、「調理状況」「シフト管理」「各種業務」のそれぞれに対応するボタンが含まれる。テーブルレイアウトＤ１２は、店舗内の表示対象とする範囲内の複数のテーブルの配置を示す。図７では、テーブル番号Ａ０１～Ａ１０，Ｂ１０，Ｂ１２の１２台のテーブルを表示対象としている例を示している。テーブルレイアウトＤ１２は、入力操作によって変更される表示対象とする範囲に合わせて変更される。フロアロボットマークＤ１３は、店舗内で走行するフロアロボット２６の位置と動作状況を示すためのマークである。図７に示す例では、店舗内で３台のフロアロボット２６が使用されることを示している。フロアロボットマークＤ１３は、フロアロボット２６が店舗内を走行するのに合わせて、現在位置に相当する位置に表示される。テーブルマークＤ１４（Ａ０１～Ａ１０，Ｂ１０，Ｂ１２）は、個々のテーブルを示すもので、管理されている客情報などが表示される。テーブルロボットマークＤ１５は、テーブルにテーブルロボット２４が配置されていることを示す。コミュニケーションマークＤ１６は、テーブルロボット２４と客とがコミュニケーションした数を示す。テーブルロボット２４と客とのコミュニケーションには、例えばテーブルロボット２４との会話（出力される音声メッセージに対する応答）、テーブルロボット２４からの商品の注文などを含む。テーブルレイアウトＤ１９は、店舗内の全てのテーブルの配置を示し、テーブルレイアウトＤ１２が表示されている範囲が明示される。

ホールコントローラ１６のＣＰＵ１６Ａは、何れかのテーブルマークＤ１４を選択する操作を検出した場合（ＡｃｔＡ２、Ｙｅｓ）、この検出したテーブルマークＤ１４に対応するテーブルに設置されたテーブルロボット２４に対して映像送信指示を送信する（ＡｃｔＡ３）。また、ＣＰＵ１６Ａは、該当するテーブルについての詳細画面を表示装置１６Ｅ、タッチパネル１６Ｇあるいはタブレット端末１６Ｋに表示させる（ＡｃｔＡ４）。

一方、テーブルロボット２４は、ホールコントローラ１６から映像送信指示を受信すると（ＡｃｔＢ１、Ｙｅｓ）、カメラ２４Ｇによる少なくとも商品が配置されたテーブル上を撮像範囲として撮像を実行させる。テーブルロボット２４は、撮像データを、例えばテーブル番号を示すデータを付加して、通信装置２４Ｈを通じてホールコントローラ１６に送信する（ＡｃｔＢ２）。

ホールコントローラ１６のＣＰＵ１６Ａは、テーブルロボット２４から映像を受信し（ＡｃｔＡ５）、この受信した映像を詳細画面において表示させる（ＡｃｔＡ６）。

図８は、詳細画面Ｄ２（座席状況詳細）の一例を示す図である。
図８に示す詳細画面Ｄ２では、例えば、客管理情報Ｄ２１、映像表示エリアＤ２２、複数の機能選択用のボタンＤ２３～Ｄ２９が含まれる。客管理情報Ｄ２１は、客情報を含む、客の現在の状況を示す情報（注文コース、コースで決められた残り時間）などを示す。映像表示エリアＤ２２は、テーブルロボット２４から受信される撮像データに応じた映像が表示される。ＣＰＵ１６Ａは、映像表示エリアＤ２２に対する操作によって、映像の表示対象範囲を変更することができる。例えば、初期状態では、テーブルロボット２４によって撮像された映像のうち、テーブル上の範囲の映像を表示させる。次に、例えば映像表示エリアＤ２２に対するタッチ操作があった場合には、テーブル全体を含む映像を表示させ、さらにタッチ操作があった場合には、テーブルに着席している客を含む映像を表示させる。これにより、従業員が任意の範囲の映像を表示させて、商品の消費状況を含む客の状況を映像から確認することができる。

複数の機能選択用のボタンＤ２３～Ｄ２９には、例えば、おすすめメニューボタンＤ２３、追加メニューボタンＤ２４、ラストオーダーボタンＤ２５、注文履歴ボタンＤ２６、配膳ボタンＤ２７、バッシングボタンＤ２８、ＯＫボタンＤ２９が含まれる。おすすめメニューボタンＤ２３、追加メニューボタンＤ２４及びラストオーダーボタンＤ２５は、従業員による入力操作に応じて、レコメンド情報を注文受付端末２２に出力させるためのボタンである。注文履歴ボタンＤ２６は、例えば本日分の注文履歴を一覧表示させるためのボタンである。

配膳ボタンＤ２７は、フロアロボット２６に対して商品の配膳を指示するためのボタンである。バッシングボタンＤ２８は、フロアロボット２６に対して、テーブルから食器、グラス、ゴミ等を回収（バッシング）するために、指定したテーブルへの移動を指示するためのボタンである。ＯＫボタンＤ２９は、詳細画面Ｄ２の表示の終了を指示するためのボタンである。

ホールコントローラ１６のＣＰＵ１６Ａは、詳細画面Ｄ２に設けられたボタンに対する操作を検出すると、入力操作がフロアロボット２６の動作を指示するためのボタン、すなわち、配膳ボタンＤ２７、バッシングボタンＤ２８の何れかのボタンであるかを判別する。ここで、その他のボタンに対する操作であることが判別された場合（ＡｃｔＡ７，Ａ９、Ｎｏ）、ＣＰＵ１６Ａは、操作されたボタンに応じた他の処理を実行し、詳細画面Ｄ２の表示を終了する（ＡｃｔＡ１０）。

一方、バッシングボタンＤ２８に対する操作（片付け指示）を検出した場合（ＡｃｔＡ９、Ｙｅｓ）、ＣＰＵ１６Ａは、フロアロボット２６に対して、現在、映像の表示対象として選択されているテーブルを移動先として指示すると共に、物品の回収（バッシング）のための移動を指示する（ＡｃｔＡ８）。

なお、複数のフロアロボット２６が設けられている場合、ＣＰＵ１６Ａは、複数のフロアロボット２６に対して予め設定された優先順位に基づいて何れかのフロアロボット２６を選択して、この選択したフロアロボット２６に対して指示を出力しても良い。

また、従業員による入力操作によって複数のフロアロボット２６から何れかを選択できるようにしても良い。この場合、例えばバッシングボタンＤ２８の操作に応じて、ＣＰＵ１６Ａは、フロアロボット２６を選択するための選択画面を表示装置１６Ｅ、タッチパネル１６Ｇあるいはタブレット端末１６Ｋに表示させる。

図９は、フロアロボット２６の選択画面Ｄ３の一例を示す図である。
図９に示す選択画面Ｄ３では、選択可能なフロアロボット２６にそれぞれ対応するフロアロボットマークＤ３１と、フロアロボット２６の移動先とするテーブルに対応するテーブルマークＤ３２を明示している。また、操作ガイドメッセージＤ３３として、例えば「バッシングへ行くロボットを選んで下さい」を表示させている。フロアロボットマークＤ３１は、なお、移動中あるいは先に他の指示を受信しているフロアロボット２６については選択不可として、このフロアロボット２６に対応するフロアロボットマークＤ３１については表示しないものとする。

ホールコントローラ１６は、選択画面Ｄ３から何れかのフロアロボットマークＤ３１が従業員による操作により選択されると、この選択されたフロアロボットマークＤ３１に対応するフロアロボット２６に、移動先とするテーブルと物品の回収（バッシング）を指示する。

なお、ＣＰＵ１６Ａは、フロアロボット２６に対して動作を制御する指示を出力する場合、店員が所持しているハンディターミナル２０に対して、フロアロボット２６に対して指示を出力したことを通知する。

同様にして、配膳ボタンＤ２７に対する操作（配膳指示）を検出した場合（ＡｃｔＡ７、Ｙｅｓ）、ＣＰＵ１６Ａは、フロアロボット２６に対して、現在、映像の表示対象として選択されているテーブルを移動先として、商品の配膳のための移動を指示する（ＡｃｔＡ８）。

なお、ＣＰＵ１６Ａは、詳細画面Ｄ２において配膳ボタンＤ２７あるいはバッシングボタンＤ２８が選択された時に、動作可能なフロアロボット２６がない場合には、ハンディターミナル２０に対して、フロアロボット２６が利用できない状態であることを通知する。これにより、フロアロボット２６に代わって店員が速やかに対応できるようにする。

また、ホールコントローラ１６のＣＰＵ１６Ａは、座席状況を示す画面Ｄ１（フロアマップ）を表示する際に（ＡｃｔＡ１）、動作中のフロアロボット２６があれば、フロアロボット２６の動作状況をフロアマップに表示する。

図１０は、フロアロボット２６の動作状況が表示された座席状況を示す画面Ｄ４の一例を示す図である。
座席状況を示す画面Ｄ４では、例えば１台のフロアロボット２６（Ｒ３）が物品の回収（バッシング）のために動作中であることを示している。フロアロボットマークＤ４１では、動作中のフロアロボット２６（Ｒ３）と対応づけて、動作目的を示す「バッシング中」のテキストが付加されている。なお、配膳のための動作中には「配膳中」のテキストが付加される。また、移動先とするテーブル（Ａ０９）のテーブルマークＤ４２までの経路Ｄ４４が表示されると共に、フロアロボット２６（Ｒ３）の現在位置を示すフロアロボットマークＤ４３が表示される。フロアロボットマークＤ４３は、フロアロボット２６（Ｒ３）から受信される現在位置を示す位置データをもとに表示位置が変更され、フロアロボット２６（Ｒ３）の店舗内における現在位置を示す。

これにより、ホールコントローラ１６において表示される座席状況を示す画面Ｄ４を確認することにより、従業員は、フロアロボット２６の動作状況を容易に把握することができる。

図１１（Ａ）は、第１実施形態におけるハンディターミナル２０の処理を示すフローチャートである。図１１（Ｂ）は、第１実施形態におけるフロアロボット２６の動作を示すフローチャートである。

ハンディターミナル２０は、ホールコントローラ１６からの指示を受信すると（ＡｃｔＣ１、Ｙｅｓ）、この受信内容に応じた出力をする（ＡｃｔＣ２）。例えば、ハンディターミナル２０は、表示装置にポップアップ画面を表示させて、ホールコントローラ１６からの指示内容を表示する。また、ハンディターミナル２０は、出力形態として表示に限らず、音出力、振動発生などによって、ホールコントローラ１６からの受信を店員に認識させるようにしても良い。

ハンディターミナル２０は、例えば動作中のフロアロボット２６を識別する情報（例えば「Ｒ３」）、移動先とするテーブルのテーブル番号、移動目的「バッシング」などを表示させることができる。

また、ホールコントローラ１６からフロアロボット２６が利用できない状態であることが通知された場合、ハンディターミナル２０は、フロアロボット２６に代わって店員が対応することを要求するメッセージ等を出力する。この場合、前述と同様にして、テーブル番号、移動目的「バッシング」などを表示して、店員が速やかに対応できるようにする。

ハンディターミナル２０は、ホールコントローラ１６からの指示に応じた表示に対して、店員による入力操作を受け付けると（ＡｃｔＣ３、Ｙｅｓ）処理を終了する。例えば、店員は、動作可能なフロアロボット２６の情報を確認して、確認済みであることを示す応答を入力する。また、フロアロボット２６が利用できない状態であることが通知された場合、店員は、自分が対応することを示す応答、あるいは他の店員（ハンディターミナル２０）に対して応援を要求する応答を入力する。

一方、フロアロボット２６は、ホールコントローラ１６からの指示を受信すると（ＡｃｔＤ１、Ｙｅｓ）、移動先を示すテーブル番号をもとに、現在位置から目的とするテーブルまでの経路を設定して、移動制御を開始する。フロアロボット２６は、店舗内における走行に伴って、現在位置を示す位置データを、アクセスポイント１８を介してホールコントローラ１６に通知する。

フロアロボット２６は、目的とするテーブルの位置まで移動すると、例えば客に対して目的に応じたメッセージを出力する。

例えば、フロアロボット２６は、配膳目的の場合には、例えば音声により「お待たせしました。料理（飲み物）をお取り下さい」のメッセージを出力して、載置台の商品（食べ物、飲み物）を取るように促す。また、音声によるメッセージだけでなく、表示装置にメッセージを表示させることも可能である。同様にして、フロアロボット２６は、回収目的の場合には、例えば音声により「不要なグラスやお皿がありましたらお乗せ下さい」のメッセージを出力して、不要な物品を載置台に乗せるように促す。

フロアロボット２６は、客による入力操作を受け付けると（ＡｃｔＤ３、Ｙｅｓ）、例えば初期位置に戻る、あるいは次の目的とするテーブル位置までの処理を開始する（ＡｃｔＤ４）。例えば、フロアロボット２６は、配膳時には料理（飲み物）の受け取りが完了したことを示す操作を受け付け、回収時の不要な物品を載置台に乗せたことを示す操作を受け付ける。フロアロボット２６は、客からの操作を例えばタッチパネルに対する操作により入力しても良いし、音声コマンド（音声認識）によって入力しても良い。

なお、前述した説明では、フロアロボット２６に対して、配膳または片付けの何れか一方の指示をしているが、配膳と片付けの両方を同時にフロアロボット２６に対して指示することも可能である。例えば、配膳先のテーブルに移動させて商品を目的とするテーブルに運ばせた後、別のテーブルに片付けのために移動させる。また、片付けのために複数のテーブルを移動先として指示することも可能である。これにより、フロアロボット２６を効率的に稼働させることができる。

このようにして、第１実施形態の注文処理システムでは、各テーブルに設置されたテーブルロボット２４によって撮影された映像を、ホールコントローラ１６において従業員が確認して、フロアロボット２６に対して映像の表示対象として選択されたテーブルに指示することができる。ホールコントローラ１６では、座席状況を示す画面Ｄ１において任意にテーブルを選択して、詳細画面Ｄ２の映像表示エリアＤ２２において映像を表示させることができる。従って、テーブル毎に、商品の消費状況や客の状態などを確認して、簡単な操作によって店舗内で移動するフロアロボット２６を適切なタイミングで移動させることができる。注文処理システムでは、ホールコントローラ１６によって複数台のフロアロボット２６に対して各種の指示を出力させ、またその動作状況を示す画面Ｄ４において一括して表示させるので管理を容易にすることができる。

（第２実施形態）
図１２（Ａ）は、第２実施形態におけるテーブルロボット２４の処理を示すフローチャートである。図１２（Ｂ）は、第２実施形態におけるホールコントローラ１６の処理を示すフローチャートである。注文受付端末２２がテーブルロボット２４の機能を代替する場合には、注文受付端末２２により図１２（Ａ）に示すフローチャートの処理が実行される。

第２実施形態では、テーブルロボット２４（あるいは注文受付端末２２）のカメラ２４Ｇによって、少なくとも商品が配置されたテーブル上を撮像範囲とした映像を撮像し、配膳された商品（飲み物、食べ物）の飲食状況、すなわち客による商品の消費の状況（残量が少ない、あるいは残りが無い状態）を撮像された映像をもとに検出する。そして、この検出結果をもとに適切なタイミングでフロアロボット２６に対して、物品の回収（バッシング）のための指示を出力する。

テーブルロボット２４は、商品がテーブルに配膳された後、カメラ２４Ｇにより撮像を実行して（ＡｃｔＥ１）、この撮像された映像の撮像データを、例えばテーブル番号を示すデータを付加して、通信装置２４Ｈを通じてホールコントローラ１６に送信する（ＡｃｔＥ２）。

ホールコントローラ１６のＣＰＵ１６Ａは、テーブルロボット２４から送信された撮像データを受信すると（ＡｃｔＦ１、Ｙｅｓ）、撮像データをもとに映像を表示させる。例えば、ＣＰＵ１６Ａは、第１実施形態と同様にして、詳細画面Ｄ２の映像表示エリアＤ２２に表示させる（ＡｃｔＦ２）。ＣＰＵ１６Ａは、テーブルロボット２４から受信される映像から、例えば商品の配膳がされた後に第１画像を抽出して、テーブル番号と対応づけてＲＡＭ１６Ｃあるいは記憶装置１６Ｄに記憶させる。ここで、撮像された第１画像は、客により消費されていない商品の初期状態を表している。

また、ＣＰＵ１６Ａは、第１画像を記憶させた後、所定時間が経過したことが判別されると（ＡｃｔＦ３、Ｙｅｓ）、テーブルロボット２４から受信される映像から第２画像を抽出して、第１画像と第２画像とを比較する比較処理を実行する（ＡｃｔＦ４）。

なお、所定時間は、予め決められた１つの一定時間としても良いし、客についてチェックイン処理してからの経過時間に応じて変化させても良い。所定時間を変化させる場合、例えば客による飲食のペースが早い、開始直後の時間帯（例えば０～１５分）には所定時間を短い時間（例えば３分間）とし、一般的に商品の注文ペースが遅くなる終了近くになるほど段階的に所定時間を長くしていく。例えば、時間帯１５～３０分では５分間、３０～６０分間では１０分間とする、などとしても良い。これにより、グラスや皿などが空く（飲み物や食べ物が消費される）より適切なタイミングで、フロアロボット２６を回収のために移動させるようにし、また商品の消費ペースが遅くなる時間帯では画像処理が必要となる頻度を少なくして、処理負荷を軽減するようにしても良い。

図１３は、ホールコントローラ１６による比較処理を示すフローチャートである。
まず、ＣＰＵ１６Ａは、第１画像が記憶済みであり、第１画像に対する後述するオブジェクト検出が完了しているかを判別する。ここで、第１画像が先に記憶済みでない場合（ＡｃｔＳ１、Ｎｏ）、ＣＰＵ１６Ａは、第１画像から客に提供された商品に相当するオブジェクト画像（第１オブジェクト）を検出し（ＡｃｔＳ２）、第１オブジェクトをＲＡＭ１６Ｃあるいは記憶装置１６Ｄに記憶させる（ＡｃｔＳ３）。

図１４（Ａ）は、第１画像を概念的に示す図である。図１４（Ａ）に示すように、テーブルロボット２４のカメラ２４Ｇにより撮影された第１画像には、複数の商品のそれぞれに相当する画像が含まれる場合がある。ＣＰＵ１６Ａは、各商品に相当する画像をオブジェクトとして検出し、オブジェクト毎に異なる識別ラベルを付与して記憶させる。なお、画像中からオブジェクトを検出する画像処理方法としては、例えば、検出対象とするオブジェクトの形状、色などの特徴を示す特徴データを予め登録しておき、特徴データをもとに検出する方法などを用いることができる。その他の既存の画像処理方法を用いることが可能である。

図１４（Ａ）に示す例では、例えば飲み物（ジョッキ、グラス）に相当するオブジェクトＯＢ１，ＯＢ２、食べ物に相当するオブジェクトＯＢ３，ＯＢ４，ＯＢ５が検出された例を示している。

また、ＣＰＵ１６Ａは、第２画像から客に提供された商品に相当するオブジェクト画像（第２オブジェクト）を第１画像と同様にして検出し（ＡｃｔＳ４）、第２オブジェクトをＲＡＭ１６Ｃあるいは記憶装置１６Ｄに記憶させる。

図１４（Ｂ）は、第２画像を概念的に示す図である。図１４（Ｂ）に示す例では、第１画像と同様にして、オブジェクトＯＢ１～ＯＢ５が検出された例を示している。ただし、図１４（Ｂ）に示すように、第１画像を撮像してから所定時間が経過した後に第２画像を抽出しているため、客による飲食が進んで商品が消費されている。また、飲み物（ジョッキ、グラス）に相当するオブジェクトＯＢ１，ＯＢ２は、客によってテーブル上に置かれた位置が変更されている。なお、第２画像は、第１画像の撮像時から所定時間経過した後に、第１画像を撮像した同じ範囲を改めて撮像した画像を意味する。

ＣＰＵ１６Ａは、商品毎に状況の変化（残量）を検出するために、第１画像に含まれる複数の第１オブジェクトと、第２画像に含まれる複数の第２オブジェクトとを対応づける（ＡｃｔＳ５）。すなわち、第１画像の撮像時と第２画像の撮像時では、商品のテーブル上の位置が異なっていたとしても商品毎に状況の変化を検出できるようにする。

ＣＰＵ１６Ａは、対応づけた第１オブジェクトと第２オブジェクトの組み合わせ毎にそれぞれ比較して差分を抽出する（ＡｃｔＳ６）。すなわち、第１画像の撮像時の商品の状況と第２画像の撮像時の商品の状況との変化を検出する。

ＣＰＵ１６Ａは、第１オブジェクトと第２オブジェクトの組み合わせ毎の差分と予め設定された基準値とを比較し（ＡｃｔＳ７）、差分が基準値を上回っているかを判定する（ＡｃｔＳ８）。基準値は、商品の消費が十分に多い状態、言い換えると、商品の残量が予め設定された所定値より少ない、あるいは残りが無い状態であることを判別するための値である。すなわち、もうすぐ空になる器がある、あるいは回収すべき空の器があることを判別するための値である。なお、第１オブジェクトと第２オブジェクトとの差分をもとに、商品の残量に相当する部分を検出しても良い。この場合、残量を判別するための基準値を設定して、この基準値と残量とを比較して、商品の残量が所定値より少ない、あるいは残りが無い状態であることを判別する。また、基準値は、オブジェクトの種類（飲み物、食べ物）毎に設定されていても良いし、オブジェクトの検出時に商品を特定できるのであれば商品毎に設定されていても良い。

ＣＰＵ１６Ａは、比較処理の結果をもとに、フロアロボット２６を動作させる報知条件に達しているかを判別する。すなわち、第１オブジェクトと第２オブジェクトとの比較により、差分が基準値を上回っているオブジェクト（商品）がある場合には報知条件に達しているものと判別する。ＣＰＵ１６Ａは、少なくとも１つのオブジェクトの差分が基準値を上回っている場合に報知条件に達しているものと判別しても良いし、予め決められた数のオブジェクトの差分が基準値を上回っている場合に報知条件に達しているものと判別しても良い。

なお、前述した比較処理では、第１画像（第１オブジェクト）と第２画像（第２オブジェクト）との差分を抽出し、この差分をもとに商品の状況を判別しているが、その他の方法を用いて商品の状況を判別するようにしても良い。例えば、複数の商品のそれぞれについて、商品を撮像した画像の特徴量を辞書データとして予め登録しておき、この辞書データと第２画像から抽出される各オブジェクトの画像とを比較する。そして、オブジェクトの画像と辞書データとの類似度が所定の基準値を下回っているか、すなわち商品の消費が十分に多い状態にあるかを判別するようにしても良い。

ここで、報知条件に達していないと判別された場合（ＡｃｔＦ５、Ｎｏ）、ＣＰＵ１６Ａは、前回の第２画像を抽出してから所定時間が経過した後（ＡｃｔＦ３、Ｙｅｓ）、前述と同様にして、映像から第２画像を抽出して、第１画像と第２画像との比較により、フロアロボット２６を動作させる報知条件に達しているかを判別する（ＡｃｔＦ４，Ｆ５）。

なお、２回目以降の比較処理では、先に第１画像を受信済みであるので（図１３、ＡｃｔＳ１、Ｙｅｓ）、ＣＰＵ１６Ａは、第１画像から第１オブジェクトを検出する処理（ＡｃｔＳ２，Ｓ３）を省略する。ただし、追加の商品が配膳された場合には、その後に、第１画像の記憶及び第１オブジェクトの抽出を実行する。この場合、ＣＰＵ１６Ａは、第１画像から追加された商品に対応するオブジェクトを抽出して、他のオブジェクトと同様にして記憶しておく。また、第２画像から無くなった第２オブジェクトについては、商品が消費されて回収されたものとして、この第２オブジェクトに対応する第１オブジェクトも削除するものとする。

報知条件に達していると判別された場合（ＡｃｔＦ５、Ｙｅｓ）、ＣＰＵ１６Ａは、残量が少ない、あるいは残りが無い状態の器があるものとして、フロアロボット２６に対して、現在、映像の表示対象として選択されているテーブルを移動先として指示すると共に、物品の回収（バッシング）のための移動を指示するための呼び出し情報を出力する（ＡｃｔＦ６）。なお、複数のフロアロボット２６が設けられている場合、ＣＰＵ１６Ａは、複数のフロアロボット２６に対して予め設定された優先順位に基づいて何れかのフロアロボット２６を選択して、この選択したフロアロボット２６に対して呼び出し情報を出力する。

なお、ＣＰＵ１６Ａは、フロアロボット２６に対して呼び出し情報を出力する場合、第１実施形態と同様にして、店員が所持しているハンディターミナル２０に対して、呼び出し情報を出力する。なお、ＣＰＵ１６Ａは、動作可能なフロアロボット２６がない場合には、ハンディターミナル２０に対して、フロアロボット２６が利用できない状態であることを通知する。

これにより、ホールコントローラ１６は、従業員による入力操作がなくても、テーブルロボット２４から受信される映像をもとに、フロアロボット２６を物品の回収に行かせる状態であることを検出して、フロアロボット２６に対して指示することができる。

図１５（Ａ）は、第２実施形態におけるハンディターミナル２０の処理を示すフローチャートである。図１５（Ｂ）は、第２実施形態におけるフロアロボット２６の動作を示すフローチャートである。

ハンディターミナル２０は、ホールコントローラ１６から呼び出し情報を受信すると（ＡｃｔＧ１、Ｙｅｓ）、この受信に応じた出力をする（ＡｃｔＣ２）。例えば、ハンディターミナル２０は、表示装置にポップアップ画面を表示させて、ホールコントローラ１６からの指示内容を表示する。また、ハンディターミナル２０は、出力形態として表示に限らず、音出力、振動発生などによって、ホールコントローラ１６からの受信を店員に認識させるようにしても良い。なお、ハンディターミナル２０の動作は、第１実施形態における回収（バッシング）時と同様に実行されるものとして詳細な説明を省略する。

一方、フロアロボット２６は、ホールコントローラ１６から呼び出し情報を受信すると（ＡｃｔＨ１、Ｙｅｓ）、位置情報（移動先を示すテーブル番号）を受信し、現在位置から目的とするテーブルまでの経路を設定して、移動制御を開始する。なお、フロアロボット２６の動作は、第１実施形態における回収（バッシング）時と同様に実行されるものとして詳細な説明を省略する。

このようにして、第２実施形態の注文処理システムでは、各テーブルに設置されたテーブルロボット２４によって撮影された映像をもとに、テーブル上の商品について残量が少ない、あるいは残りが無い状態を検出して、フロアロボット２６に対して、物品の回収（バッシング）のための指示を出力することができる。従って、従業員の負担を増大させることなく、テーブル毎に、商品の消費状況に応じて、フロアロボット２６を適切なタイミングで回収のために移動させることができる。

（第３実施形態）
図１６は、第３実施形態におけるテーブルロボット２４（あるいは注文受付端末２２）の処理を示すフローチャートである。図１７（Ａ）は、第３実施形態におけるハンディターミナル２０の処理を示すフローチャートである。図１７（Ｂ）は、第３実施形態におけるフロアロボット２６の動作を示すフローチャートである。

第３実施形態では、第２実施形態において説明したホールコントローラ１６の処理をテーブルロボット２４により実行させる。すなわち、テーブルロボット２４をフロアロボット２６の制御と管理のための処理をする情報処理装置として動作させる。なお、テーブルロボット２４に代えて、注文受付端末２２あるいは注文受付端末２２とテーブルロボット２４を組み合わせた構成により実行させるようにしても良い。

テーブルロボット２４のＣＰＵ２４Ａは、商品がテーブルに配膳された後、カメラ２４Ｇにより撮像を実行して（ＡｃｔＪ１）、第１画像としてテーブル番号と対応づけてＲＡＭ１６Ｃあるいは記憶装置１６Ｄに記憶させる。

ＣＰＵ２４Ａは、第１画像を記憶させた後、所定時間が経過したことが判別されると（ＡｃｔＪ２、Ｙｅｓ）、第２画像を撮像して（ＡｃｔＪ３）、第１画像と第２画像とを比較する比較処理を実行する（ＡｃｔＦ４）。なお、比較処理は、第２実施形態と同様に実行されるものとして詳細な説明を省略する。

ＣＰＵ２４Ａは、第２実施形態と同様にして、比較処理の処理結果をもとに、フロアロボット２６を動作させる報知条件に達していると判別される場合（ＡｃｔＪ５、Ｙｅｓ）、フロアロボット２６に対して、物品の回収（バッシング）のための移動を指示するための呼び出し情報を出力する（ＡｃｔＪ６）。この時、ＣＰＵ２４Ａは、自テーブルロボット２４が設置されているテーブルを移動先として指示する。なお、複数のフロアロボット２６が設けられている場合、ＣＰＵ１６Ａは、複数のフロアロボット２６に対して予め設定された優先順位に基づいて何れかのフロアロボット２６を選択して、この選択したフロアロボット２６に対して呼び出し情報を出力する。

なお、ＣＰＵ２４Ａは、フロアロボット２６に対して呼び出し情報を出力する場合、第２実施形態と同様にして、店員が所持しているハンディターミナル２０に対して、呼び出し情報を出力する。

また、テーブルロボット２４は、直接、フロアロボット２６に対して呼び出し情報を出力するのではなく、ホールコントローラ１６に出力するようにしても良い。ホールコントローラ１６は、テーブルロボット２４からの呼び出し情報に応じて、フロアロボット２６に対して、呼び出し情報の送信元のテーブルを移動先として、物品の回収（バッシング）のための移動を指示する呼び出し情報を出力する。この場合、ホールコントローラ１６は、複数のフロアロボット２６が設けられている場合、複数のフロアロボット２６に対して予め設定された優先順位に基づいて何れかのフロアロボット２６を選択して、この選択したフロアロボット２６に対して呼び出し情報を出力することが可能である。さらに、ホールコントローラ１６は、複数のテーブルのそれぞれに設置されたテーブルロボット２４から呼び出し情報を受信している場合には、複数のテーブルに物品の回収の行くことが出来るようにスケジューリングして、フロアロボット２６に対して指示するようにしても良い。ホールコントローラ１６は、例えば効率的に１台のフロアロボット２６によって複数のテーブルで物品の回収ができるように、テーブルの配置などをもとに、物品の回収に行くテーブルと移動順を設定して、フロアロボット２６に指示する。

ハンディターミナル２０は、テーブルロボット２４（あるいはホールコントローラ１６）から呼び出し情報を受信すると（ＡｃｔＫ１、Ｙｅｓ）、この受信に応じた出力をする（ＡｃｔＫ２）。なお、ハンディターミナル２０の動作は、第２実施形態における回収（バッシング）時と同様に実行されるものとして詳細な説明を省略する。

一方、フロアロボット２６は、ホールコントローラ１６から呼び出し情報を受信すると（ＡｃｔＭ１、Ｙｅｓ）、現在位置から呼び出し情報の送信元のテーブルまでの経路を設定して、移動制御を開始する（ＡｃｔＭ２）。なお、フロアロボット２６の動作は、第２実施形態における回収（バッシング）時と同様に実行されるものとして詳細な説明を省略する。

このようにして、第３実施形態の注文処理システムでは、各テーブルに設置されたテーブルロボット２４によって撮像されたテーブル上の画像をもとに、テーブル上の商品について残量が少ない、あるいは残りが無い状態を検出して、フロアロボット２６に対して、物品の回収（バッシング）のための指示を出力することができる。従って、客が注文受付端末２２あるいはテーブルロボット２４に対して入力操作をすることなく、商品の消費状況に応じて、フロアロボット２６を適切なタイミングで回収のために呼び出すことができる。

なお、前述した各実施形態の説明では、テーブルロボット２４あるいは注文受付端末２２にカメラを設けて撮像すると説明しているが、テーブルロボット２４あるいは注文受付端末２２とは別に、テーブルの周辺（上部を含む）に１台あるいは複数台のカメラを設置して、例えばテーブル上、あるいはテーブル周辺の顧客を含めた周辺を撮像範囲として撮像をするようにしても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。

１０…オーダーステーション、１２…ＰＯＳ端末、１４…キッチンプリンタ、１６…ホールコントローラ、１８（１８－１，…，１８－ｍ）…アクセスポイント、２０（２０－１，…，２０－ｎ）…ハンディターミナル、２２（２２－１，…，２２－ｘ）…注文受付端末、２４（２４－１，…，２４－ｘ）…テーブルロボット、２６（２６－１，…，２６－ｙ）…フロアロボット。

Claims (5)

1. 店舗内に配置された複数のテーブルのそれぞれにおいて撮像された撮像データを受信する受信手段と、
   前記複数のテーブルの何れかに対応する前記撮像データをもとに映像を表示させる第１表示手段と、
   自律走行して店舗内を移動する機能を有するロボットに対する動作目的に対応する動作指示を入力する指示入力手段と、
   前記動作指示に応じて、前記第１表示手段により表示された映像に対応するテーブルまで移動する移動指示を前記ロボットに出力する出力手段と、
   前記出力手段により出力された移動指示に応じて移動する前記ロボットの前記店舗内の位置と共に前記動作目的を示す情報を表示させる第２表示手段と
   を有する情報処理装置。
2. 前記指示入力手段により入力された動作指示の対象とするロボットを選択するための選択画面を表示させる第３表示手段をさらに有する請求項１記載の情報処理装置。
3. 前記第３表示手段は、複数のロボットのうち選択可能なロボットについての選択画面を表示させる請求項２記載の情報処理装置。
4. 前記出力手段は、前記動作指示に応じて、複数のロボットのうち、優先順位に基づいて選択したロボットに対して移動指示を出力する請求項１記載の情報処理装置。
5. 自律走行して店舗内を移動する機能を有する少なくとも１台のロボットと、前記ロボットを制御する情報処理装置とを含むシステムであって、
   前記情報処理装置は、
   店舗内に配置された複数のテーブルのそれぞれにおいて撮像された撮像データを受信する受信手段と、
   前記複数のテーブルの何れかに対応する前記撮像データをもとに映像を表示させる第１表示手段と、
   前記ロボットに対する動作目的に対応する動作指示を入力する指示入力手段と、
   前記動作指示に応じて、前記第１表示手段により表示された映像に対応するテーブルまで移動する移動指示を前記ロボットに出力する出力手段と、
   前記出力手段により出力された移動指示に応じて移動する前記ロボットの前記店舗内の位置と共に前記動作目的を示す情報を表示させる第２表示手段とを有するシステム。

Images