JP7235974B2 - 情報処理システム、情報処理方法、及び情報処理プログラム - Google Patents

Description

本発明は、情報処理システム、情報処理方法、及び情報処理プログラムに関する。

従来、飲食店などの施設において、カメラ、センサなどにより利用者の有無を検出してテーブルの座席が空席であるか否かを判定する技術が提案されている（例えば特許文献１参照）。

特開２００７－１３３８４７号公報

しかしながら、従来の技術では、座席に人がいる場合には在席と判定し、座席に人がいない場合には空席と判定するため、以下の問題が生じる場合がある。例えば、利用者が料理を取りに行ったり、トイレに行ったりするなど一時的に席を離れた場合に、座席に人がいない状態になるため空席と判定されてしまう。これにより、施設のスタッフは、利用者が利用中のテーブル（利用対象）に他の利用者を案内してしまう問題が生じる。

本発明の目的は、施設の利用対象が空席であるか否かを正確に判定することが可能な情報処理システム、情報処理方法、及び情報処理プログラムを提供することにある。

本発明に係る情報処理システムは、施設における利用者が利用する利用対象を含む利用エリアを撮像した撮像画像を取得する画像取得処理部と、前記撮像画像に基づいて前記利用エリアに利用者が含まれるか否かを判定する第１判定処理部と、前記撮像画像に基づいて前記利用エリアに特定物品が含まれるか否かを判定する第２判定処理部と、前記利用エリアに前記特定物品が含まれる場合に、当該特定物品の内容又は種別を特定する特定処理部と、前記第１判定処理部の判定結果と前記第２判定処理部の判定結果と前記特定処理部により特定される前記特定物品の内容又は種別とに基づいて、前記利用対象が空席であるか否かを判定する空席判定処理部と、を備える。

本発明に係る情報処理方法は、施設における利用者が利用する利用対象を含む利用エリアを撮像した撮像画像を取得する画像取得ステップと、前記撮像画像に基づいて前記利用エリアに利用者が含まれるか否かを判定する第１判定ステップと、前記撮像画像に基づいて前記利用エリアに特定物品が含まれるか否かを判定する第２判定ステップと、前記利用エリアに前記特定物品が含まれる場合に、当該特定物品の内容又は種別を特定する特定ステップと、前記第１判定ステップの判定結果と前記第２判定ステップの判定結果と前記特定ステップにより特定される前記特定物品の内容又は種別とに基づいて、前記利用対象が空席であるか否かを判定する空席判定ステップと、を一又は複数のプロセッサーにより実行する方法である。

本発明に係る情報処理プログラムは、施設における利用者が利用する利用対象を含む利用エリアを撮像した撮像画像を取得する画像取得ステップと、前記撮像画像に基づいて前記利用エリアに利用者が含まれるか否かを判定する第１判定ステップと、前記撮像画像に基づいて前記利用エリアに特定物品が含まれるか否かを判定する第２判定ステップと、前記利用エリアに前記特定物品が含まれる場合に、当該特定物品の内容又は種別を特定する特定ステップと、前記第１判定ステップの判定結果と前記第２判定ステップの判定結果と前記特定ステップにより特定される前記特定物品の内容又は種別とに基づいて、前記利用対象が空席であるか否かを判定する空席判定ステップと、を一又は複数のプロセッサーに実行させるためのプログラムである。

本発明によれば、施設の利用対象が空席であるか否かを正確に判定することが可能な情報処理システム、情報処理方法、及び情報処理プログラムが提供される。

図１は、本発明の実施形態に係る情報処理システムの構成を示すブロック図である。 図２は、本発明の実施形態に係る情報処理システムで使用される物品情報の一例を示す図である。 図３は、本発明の実施形態に係る利用エリアの撮像画像の一例を示す図である。 図４は、本発明の実施形態に係る利用エリアの撮像画像の一例を示す図である。 図５は、本発明の実施形態に係る利用エリアの撮像画像の一例を示す図である。 図６は、本発明の実施形態に係る利用エリアの撮像画像の一例を示す図である。 図７は、本発明の実施形態に係る利用エリアの撮像画像の一例を示す図である。 図８は、本発明の実施形態に係る利用エリアの撮像画像の一例を示す図である。 図９は、本発明の実施形態に係る情報処理システムで使用される空席情報の一例を示す図である。 図１０は、本発明の実施形態に係る情報処理装置で実行される空席判定処理の手順の一例を示すフローチャートである。 図１１は、本発明の実施形態に係る利用エリアの撮像画像の一例を示す図である。 図１２は、本発明の実施形態に係る情報処理システムで使用される空席情報の一例を示す図である。

以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。

［情報処理システム１００］
図１に示すように、本発明の実施形態に係る情報処理システム１００は、情報処理装置１と撮像装置２とを含む。情報処理装置１及び撮像装置２は、インターネット、ＬＡＮ、ＷＡＮ、又は公衆電話回線などの通信網Ｎ１を介して通信可能である。

撮像装置２は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。撮像装置２は、デジタル画像データを通信網Ｎ１を通じて情報処理装置１に送信する通信機能を備えている。撮像装置２は、１台であってもよいし複数台であってもよい。具体的には、撮像装置２は、施設内に設置され、施設の利用者が利用するテーブル（利用対象）を含む所定の利用エリアを撮像する。例えば、撮像装置２は、施設内の天井に設置され、施設に配置される一又は複数のテーブルを含む利用エリアを撮像する。撮像装置２は、所定のフレームレートで利用エリアを撮像して、画像データを情報処理装置１に送信する。前記利用エリアは、例えば一つのテーブルと当該テーブルに付属する複数の椅子とを含む所定のエリアである。また、前記利用エリアは、例えば施設内の全体のエリアであってもよい。本発明では、撮像装置２に、施設に既設のカメラを適用することも可能である。

情報処理装置１は、撮像装置２により撮像される利用エリアの撮像画像に基づいて、テーブルが空席であるか否かを判定する。情報処理装置１は、複数の施設に関する施設情報を提供する施設情報提供サイト（例えば予約サイト）としての機能を備えている。施設は、例えば飲食店である。なお、本発明の利用対象は、テーブルに限定されず、部屋（個室）、椅子（座席）、カウンターなどであってもよい。また本発明の施設は、飲食店に限定されず、遊技場、劇場、カラオケ店などであってもよい。以下の実施形態では、施設の一例として飲食店を挙げて説明する。例えば、情報処理装置１は、飲食店の所定のテーブルについて、空席であるか又は在席であるかを判定して、判定結果（空席状況）を出力する。また例えば、情報処理装置１は、利用者端末（不図示）に表示される予約サイトにおいて飲食店の空席状況を表示させる。情報処理装置１は、予約サイトにおいて利用者の要求に応じて飲食店の予約を実行する予約機能を備えてもよい。

本実施形態では、情報処理装置１単体が本発明に係る情報処理システムに相当するが、本発明に係る情報処理システムは、情報処理装置１及び撮像装置２を含んで構成されてもよい。また、情報処理装置１及び撮像装置２が一体の機器であってもよい。

［情報処理装置１］
図１に示されるように、情報処理装置１は、制御部１１、記憶部１２、操作表示部１３、及び通信Ｉ／Ｆ１４などを備えるサーバーコンピューターである。なお、情報処理装置１は、１台のコンピューターに限らず、複数台のコンピューターが協働して動作するコンピューターシステムであってもよい。また、情報処理装置１で実行される各種の処理は、一又は複数のプロセッサーによって分散して実行されてもよい。情報処理装置１は、本発明の情報処理システムの一例である。

通信Ｉ／Ｆ１４は、情報処理装置１を有線又は無線で通信網Ｎ１に接続し、通信網Ｎ１を介して一又は複数の撮像装置２などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。

操作表示部１３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような表示部と、操作を受け付けるマウス、キーボード、又はタッチパネルのような操作部とを備えるユーザーインターフェースである。

記憶部１２は、各種の情報を記憶する半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などを含む不揮発性の記憶部である。具体的に、記憶部１２には、施設（例えば飲食店）が所有する特定の物品（特定物品）の物品情報Ｄ１などのデータが記憶される。図２は、物品情報Ｄ１の一例を示す図である。

物品情報Ｄ１には、飲食店が所有する特定物品に関する情報が予め登録されている。前記特定物品には、例えば、飲食店のテーブルに予め設置されるナイフ、フォーク、箸、箸箱、ナプキン、調味料、メニュー表、注文端末、取り皿（器）などの設置品と、予約席のテーブルに予め設置される席札、予約プレートなどの予約表示媒体と、利用者に提供する料理、ドリンクなどの商品と、当該商品を乗せる皿、コップなどの商品用器とが含まれる。図２に示されるように、物品情報Ｄ１には、特定物品ごとに、対応する「物品ＩＤ」、「物品名」、「種別」、「画像」などの情報が登録される。「物品ＩＤ」は、前記特定物品を識別するための識別情報である。「物品名」は、前記特定物品の名称である。「種別」は、前記特定物品の種別を示す情報であり、例えば「商品用器」、「設置品」、「予約表示媒体」、「商品」に分類される。「画像」は、前記特定物品の写真である。なお、写真の画像データは記憶部１２の画像データ格納部（不図示）に記憶され、画像データの識別情報が物品情報Ｄ１の「画像」に登録されてもよい。前記画像は、撮像装置２から取得する撮像画像との照合に利用される。

なお、他の実施形態として、物品情報Ｄ１及び画像データの一方又は両方が、情報処理装置１から通信網Ｎ１を介してアクセス可能な他のサーバー（例えば施設端末）に記憶されてもよい。この場合、情報処理装置１の制御部１１は、必要に応じて前記サーバーから各種の情報を取得して、後述の空席判定処理（図１０参照）などの各処理を実行してもよい。

さらに、記憶部１２には、制御部１１に後述の空席判定処理（図１０参照）を実行させるための空席判定プログラム（情報処理プログラム）などの制御プログラムが記憶されている。例えば、前記空席判定プログラムは、ＣＤ又はＤＶＤなどのコンピューター読取可能な記録媒体に非一時的に記録されており、情報処理装置１が備えるＣＤドライブ又はＤＶＤドライブなどの読取装置（不図示）で読み取られて記憶部１２に記憶される。

ここで、飲食店では、例えばスタッフが、利用者をテーブルに案内する前に箸箱、注文端末などをテーブルに設置（セッティング）する。また、スタッフは、テーブルの利用者から料理の注文を受け付けると、注文された料理を利用者のテーブルに配膳する。さらに、スタッフは、利用者が食事及び会計を終えて退店すると、他の利用者をテーブルに案内するために、テーブルに置かれた器（商品用器）などを片付けて、箸箱、注文端末などを再度セッティングする。セッティングされたテーブルは空席と判断されて、案内可能（又は予約可能）なテーブルに登録される。飲食店では、より多くの利用者を案内するために、各テーブルについて、利用者が利用中であるか（在席であるか）又は退店したか（空席であるか）を正確に判定することが求められる。本実施形態に係る情報処理システム１００は、飲食店のテーブルが空席であるか否かを正確に判定することが可能である。

制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を有する。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の演算処理を実行させるためのＢＩＯＳ及びＯＳなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記ＲＡＭは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される。そして、制御部１１は、前記ＲＯＭ又は記憶部１２に予め記憶された各種の制御プログラムを前記ＣＰＵで実行することにより情報処理装置１を制御する。

具体的に、制御部１１は、図１に示されるように、画像取得処理部１１１、利用者判定処理部１１２、物品判定処理部１１３、特定処理部１１４、空席判定処理部１１５、算出処理部１１６、出力処理部１１７などの各種の処理部を含む。なお、制御部１１は、前記ＣＰＵで前記空席判定プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、制御部１１に含まれる一部又は全部の処理部が電子回路で構成されていてもよい。なお、前記空席判定プログラムは、複数のプロセッサーを前記各種の処理部として機能させるためのプログラムであってもよい。

画像取得処理部１１１は、撮像装置２により撮像される、飲食店に配置されるテーブルを含む所定の利用エリアの撮像画像を取得する。画像取得処理部１１１は、本発明の画像取得処理部の一例である。図３～図８には、飲食店に配置される一つのテーブルと当該テーブルに付属する４つの椅子とを含む利用エリアＡＲ１の撮像画像ＴＰ１の一例を示している。

図３に示す撮像画像ＴＰ１には、テーブルを利用する利用者の所有物（利用者物品）であるスマートフォン３１及び鞄３２のそれぞれの画像が含まれている。また、図４に示す撮像画像ＴＰ１には、利用者に提供された料理３３の画像が含まれている。また、図５に示す撮像画像ＴＰ１には、利用者に提供された料理３３の皿３４（器）の画像が含まれている。皿３４は、利用者が料理３３の食事を終えて空になった皿の状態を示している。また、図６に示す撮像画像ＴＰ１には、予約席（予約テーブル）であること示す予約プレート３５の画像が含まれている。また、図７に示す撮像画像ＴＰ１には、箸箱４１及び注文端末４２のそれぞれの画像が含まれている。

利用者判定処理部１１２は、撮像画像ＴＰ１に基づいて利用エリアＡＲ１に利用者（人物）が含まれるか否かを判定する。具体的には、利用者判定処理部１１２は、画像取得処理部１１１により取得される撮像画像ＴＰ１を画像解析して人物を抽出する。利用者判定処理部１１２は、人物を抽出した場合に利用エリアＡＲ１に利用者が含まれると判定し、人物を抽出しない場合に利用エリアＡＲ１に利用者が含まれないと判定する。なお、記憶部１２には人物の特徴に関する特徴データが予め登録されており、利用者判定処理部１１２は、撮像画像ＴＰ１と前記特徴データとを照合することにより利用者の有無を判定する。利用者判定処理部１１２は、本発明の第１判定処理部の一例である。

なお、利用者判定処理部１１２は、撮像画像ＴＰ１に飲食店のスタッフが含まれる場合には、スタッフを除外して利用者の有無を判定する。具体的には、利用者判定処理部１１２は、撮像画像ＴＰ１において、人物がテーブルから所定範囲内に所定時間滞在する場合、又は、人物が椅子に着席している場合に、利用エリアＡＲ１に利用者が含まれると判定する。また、利用者判定処理部１１２は、撮像画像ＴＰ１に、所定時間滞在しない人物、予め登録された端末（スタッフ用端末）を所持する人物、又は、予め登録された服（制服）を着用する人物が含まれる場合に、当該人物をスタッフと判定して、利用者の有無の判定対象から除外してもよい。

物品判定処理部１１３は、撮像画像ＴＰ１に基づいて利用エリアＡＲ１に特定物品が含まれるか否かを判定する。具体的には、物品判定処理部１１３は、画像取得処理部１１１により取得される撮像画像ＴＰ１を画像解析して物品を抽出する。物品判定処理部１１３は、特定物品を抽出した場合に利用エリアＡＲ１に特定物品が含まれると判定し、特定物品を抽出しない場合に利用エリアＡＲ１に特定物品が含まれないと判定する。なお、物品判定処理部１１３は、撮像画像ＴＰ１と物品情報Ｄ１（図２参照）に含まれる画像とを照合することにより特定物品の有無を判定する。物品判定処理部１１３は、本発明の第２判定処理部の一例である。

ここで、テーブル及び椅子は、特定物品に含まれない。物品判定処理部１１３は、撮像画像ＴＰ１から抽出されるテーブル及び椅子を除外して、物品情報Ｄ１に含まれる特定物品の有無を判定する。このため、物品判定処理部１１３は、撮像画像ＴＰ１にテーブル及び椅子以外の物品が含まれない場合には、利用エリアＡＲ１に特定物品が含まれないと判定し、撮像画像ＴＰ１にテーブル及び椅子以外の物品が含まれる場合に、利用エリアＡＲ１に特定物品が含まれると判定してもよい。

また、前記特定物品には、利用者の所有物（利用者物品）が含まれる。すなわち、物品判定処理部１１３は、例えば撮像画像ＴＰ１から、テーブル及び椅子を抽出し、さらに物品情報Ｄ１に含まれる物品を抽出する。物品判定処理部１１３は、物品情報Ｄ１に含まれる物品を抽出した場合に、利用エリアＡＲ１に特定物品が含まれると判定する。また、物品判定処理部１１３は、テーブル、椅子、及び物品情報Ｄ１に含まれる物品のそれぞれとは異なる物品を抽出した場合には、当該物品が利用者物品であると判断して、利用エリアＡＲ１に特定物品が含まれると判定する。

なお、利用者物品に対応する画像データが記憶部１２に予め登録されてもよい。例えば、スマートフォン、ノートパソコン、鞄、衣服、帽子などの一般的な形状を表す画像の画像データが記憶部１２に予め登録されてもよい。この場合には、物品判定処理部１１３は、撮像画像ＴＰ１と記憶部１２に登録された前記画像とを照合することにより利用者物品を特定して、特定物品の有無を判定してもよい。

例えば、図３に示す例では、物品判定処理部１１３は、利用者物品（スマートフォン３１、鞄３２）を抽出するため、利用エリアＡＲ１に特定物品が含まれると判定する。また例えば、図４～図７に示す例では、物品判定処理部１１３は、物品情報Ｄ１に含まれる物品を抽出するため、利用エリアＡＲ１に特定物品が含まれると判定する。また例えば、図８に示す例では、利用者物品と物品情報Ｄ１に含まれる物品とを抽出するため、利用エリアＡＲ１に特定物品が含まれると判定する。

特定処理部１１４は、利用エリアＡＲ１に特定物品が含まれる場合に、当該特定物品の内容又は種別を特定する。例えば、特定処理部１１４は、撮像画像ＴＰ１に基づいて、ナイフ、フォーク、箸、箸箱４１（図７参照）、ナプキン、調味料、メニュー表、注文端末４２（図８参照）、取り皿（器）を特定し、これらの特定物品の種別として「設置品」を特定する。また、特定処理部１１４は、撮像画像ＴＰ１に基づいて、予約プレート３５（図６参照）、席札を特定し、これらの特定物品の種別として「予約表示媒体」を特定する。また、特定処理部１１４は、撮像画像ＴＰ１に基づいて、料理３３（図４参照）、ドリンクを特定し、これらの特定物品の種別として「商品」を特定する。また、特定処理部１１４は、撮像画像ＴＰ１に基づいて、皿３４（図４参照）、コップを特定し、これらの特定物品の種別として「商品用器」を特定する。また、特定処理部１１４は、撮像画像ＴＰ１に基づいて、スマートフォン３１、鞄３２（図３参照）を特定し、これらの特定物品の種別として「利用者物品」を特定する。なお、特定処理部１１４は、特定した物品がテーブル、椅子、及び物品情報Ｄ１に含まれる物品のいずれでもない場合に、当該特定物品の種別として「利用者物品」を特定してもよい。特定処理部１１４は、本発明の特定処理部の一例である。

空席判定処理部１１５は、利用者判定処理部１１２の判定結果と、物品判定処理部１１３の判定結果と、特定処理部１１４により特定される特定物品の内容又は種別とに基づいて、テーブルが空席であるか否かを判定する。空席判定処理部１１５は、本発明の空席判定処理部の一例である。

具体的には、空席判定処理部１１５は、利用エリアＡＲ１に利用者物品、商品、及び予約表示媒体の少なくともいずれかが含まれる場合に、テーブルを空席ではない（例えば在席）と判定する。例えば図３に示す例では、特定処理部１１４が利用エリアＡＲ１の撮像画像ＴＰ１において利用者物品（スマートフォン３１、鞄３２）を特定した場合に、空席判定処理部１１５は、利用者が前記テーブルを利用中と判断して在席と判定する。すなわち、例えば利用者が前記テーブルから離席して利用エリアＡＲ１に含まれない場合であっても、利用エリアＡＲ１に利用者物品が含まれる場合には、空席判定処理部１１５は、前記テーブルを在席と判定する。

また例えば図４に示す例では、特定処理部１１４が利用エリアＡＲ１の撮像画像ＴＰ１において商品（料理３３）を特定した場合に、空席判定処理部１１５は、前記テーブルは利用者が利用中（食事中）であると判断して在席と判定する。すなわち、例えば利用者が前記テーブルから離席して利用エリアＡＲ１に含まれない場合であっても、利用エリアＡＲ１に商品が含まれる場合には、空席判定処理部１１５は、前記テーブルを在席と判定する。

また例えば図６に示す例では、特定処理部１１４が利用エリアＡＲ１の撮像画像ＴＰ１において予約表示媒体（予約プレート３５）を特定した場合に、空席判定処理部１１５は、前記テーブルを予約席であると判断して在席と判定する。すなわち、例えば前記テーブルが利用されていない場合であっても、利用エリアＡＲ１に予約表示媒体が含まれる場合には、空席判定処理部１１５は、前記テーブルを在席（又は予約席）と判定する。

また、空席判定処理部１１５は、利用エリアＡＲ１に、利用者（人物）、利用者物品、商品、及び予約表示媒体が含まれない場合に、テーブルを空席と判定する。例えば、利用者判定処理部１１２が利用エリアＡＲ１に利用者が含まれないと判定し、特定処理部１１４が利用エリアＡＲ１の撮像画像ＴＰ１においてスマートフォン３１、鞄３２、料理３３、予約プレート３５などを特定しない場合に、空席判定処理部１１５は、利用者が前記テーブルを利用中でないと判断して空席と判定する。なお、例えば利用エリアＡＲ１に商品（例えば料理３３）が含まれる場合であっても、器（皿３４）に残った料理３３の量が所定量未満の場合には、特定処理部１１４は料理３３を特定せず、空席判定処理部１１５は、テーブルを空席と判定してもよい。すなわち、特定処理部１１４は、器に残った商品が所定量未満の場合に当該商品を特定せず商品用器を特定し、器に残った商品が所定量以上の場合に当該商品を特定する。前記所定量は、料理の内容又は種別に応じて予め設定され、例えば物品情報Ｄ１（図２参照）に登録されてもよい。

また、空席判定処理部１１５は、利用エリアＡＲ１に、利用者（人物）、利用者物品、商品、及び予約表示媒体が含まれず、かつ設置品が含まれる場合に、テーブルを空席と判定する。例えば図７に示す例では、利用者判定処理部１１２が利用エリアＡＲ１に利用者が含まれないと判定し、特定処理部１１４が利用エリアＡＲ１の撮像画像ＴＰ１においてスマートフォン３１、鞄３２、料理３３、予約プレート３５などを特定せず、設置品（箸箱４１、注文端末４２）を特定した場合に、空席判定処理部１１５は、利用者が前記テーブルを利用中でないと判断して空席と判定する。このように、空席判定処理部１１５は、利用エリアＡＲ１にテーブル及び椅子以外の物品が含まれる場合であっても、当該物品が設置品である場合には、設置品を特定したことを条件として前記テーブルを在席と判定しない。これに対して、例えば図８に示すように、テーブル、椅子、及び設置品以外の物品として利用者物品（スマートフォン３１）が含まれる場合には、空席判定処理部１１５は、前記テーブルを在席と判定する。

また、空席判定処理部１１５は、利用エリアＡＲ１に利用者及び商品が含まれず、かつ利用者が利用エリアＡＲ１に含まれなくなってから所定時間経過した場合に、前記テーブルを空席と判定する。例えば、利用者に料理３３が提供された後、当該料理３３が利用エリアＡＲ１に含まれなくなり、かつ、利用者が利用エリアＡＲ１に含まれなくなってから所定時間（例えば５分）が経過した場合には、空席判定処理部１１５は、利用者が食事を終えて退店したと判断して前記テーブルを空席と判定する。

また、空席判定処理部１１５は、利用エリアＡＲ１に利用者が含まれず、商品用器が含まれ、かつ商品用器に商品が含まれない場合に、テーブルを空席と判定する。例えば図５に示す例では、利用者判定処理部１１２が利用エリアＡＲ１に利用者が含まれないと判定し、特定処理部１１４が利用エリアＡＲ１の撮像画像ＴＰ１において料理３３を含まない商品用器（皿３４）を特定した場合に、空席判定処理部１１５は、利用者が前記テーブルを利用中でないと判断して空席と判定する。すなわち、空席判定処理部１１５は、利用エリアＡＲ１に商品用器（皿３４、コップなど）が含まれる場合であっても、商品用器に商品（料理３３、ドリンクなど）が残っていない場合（又は所定量未満の場合）には、利用者が食事を終えて退店したと判断してテーブルを空席と判定する。なお、空席判定処理部１１５は、皿３４に載置されたナイフ及びフォークの向きが食事を終えたことを表す所定の方向に向いている場合に、利用者が食事を終えて退店したと判断してテーブルを空席と判定してもよい。

ここで、図５に示すように、料理３３を含まない皿３４がテーブルに置かれている場合、スタッフは皿３４の片付け、テーブル及び椅子の清掃など次の利用者をテーブルに案内するための作業（セッティング）を行う必要がある。前記テーブルのセッティングが完了していない場合、スタッフは、当該テーブルに次の利用者を案内することができない。そこで、空席判定処理部１１５は、利用エリアＡＲ１に利用者が含まれず、商品用器（皿３４）が含まれ、かつ商品用器に商品（料理３３）が含まれない場合に、前記テーブルを準備席と判定してもよい。前記テーブルが準備席と判定された場合には、制御部１１は、前記テーブルを、利用者の案内又は予約を許可しない状態（準備席）に設定する。なお、空席判定処理部１１５は、利用エリアＡＲ１に皿３４が含まれず、利用エリアＡＲ１（テーブル）の所定位置に設置品（例えば箸箱４１、注文端末４２）が置かれた場合に前記セッティングが終了したと判断して、前記テーブルを準備席から空席に切り替えてもよい。

また、空席判定処理部１１５は、利用エリアＡＲ１に、利用者、利用者物品、商品、及び予約表示媒体が含まれず、かつ設置品が含まれない場合に、テーブルを準備席と判定してもよい。例えば、テーブルに皿３４などが残っていない場合であっても、利用エリアＡＲ１に設置品が含まれない場合には、利用者をすぐにテーブルに案内できる状態ではなくスタッフがテーブルを作業中（セッティング中）であると判断して準備席と判定する。この場合も、空席判定処理部１１５は、利用エリアＡＲ１の所定位置に設置品が置かれた場合に前記作業が終了したと判断して、前記テーブルを準備席から空席に切り替えてもよい。

算出処理部１１６は、飲食店の空席数を算出する。算出処理部１１６は、飲食店に配置されるテーブルごとに空席判定処理部１１５が判定した結果（空席、在席、準備席など）に基づいて飲食店の空席数を算出する。具体的には、算出処理部１１６は、飲食店の各テーブルの空席値を算出し、各空席値の合計値に基づいて飲食店の空席数を算出する。例えば、空席判定処理部１１５は、飲食店に配置されるテーブルＴ１～Ｔ５のそれぞれについて空席又は在席を判定して、判定結果を空席情報Ｄ２（図９参照）に登録する。空席情報Ｄ２は、記憶部１２に記憶される。空席判定処理部１１５は、リアルタイムに空席情報Ｄ２を更新する。算出処理部１１６は、空席情報Ｄ２に登録された空席の数を合計して飲食店の空席数を算出する（図９参照）。

出力処理部１１７は、飲食店のテーブルの空席状況を出力する。具体的には、出力処理部１１７は、テーブルが空席であるか又は在席であるかを示す情報を飲食店の店舗端末又は利用者端末に提示する。

また、出力処理部１１７は、算出処理部１１６により算出される空席数の情報を出力してもよい。具体的には、出力処理部１１７は、算出処理部１１６により算出される空席数を、予約サイトにおいて飲食店の空席状況として表示させる。また、出力処理部１１７は、前記予約サイトにおいて、飲食店のテーブルごとに「空席」、「在席（又は満席）」を表示させてもよい。これにより、利用者は、飲食店を予約するための情報を取得することができる。また、出力処理部１１７は、算出処理部１１６により算出される空席数を、飲食店の店舗端末（不図示）に表示させてもよい。これにより、飲食店のスタッフは、テーブルの空席状況を容易に把握することができる。

なお、情報処理装置１は、飲食店の店舗端末であってもよいし、飲食店のスタッフが所持する携帯端末であってもよい。

［空席判定処理］
以下、図１０を参照しつつ、情報処理装置１の制御部１１によって実行される空席判定処理について説明する。例えば、情報処理装置１の制御部１１は、撮像装置２が飲食店の所定の利用エリアＡＲ１を撮像することにより前記空席判定プログラムの実行を開始することによって、前記空席判定処理の実行を開始する。なお、制御部１１は、利用エリアＡＲ１に複数のテーブルが含まれる場合に、テーブルごとに前記空席判定処理を個別に並行して実行してもよい。

なお、本発明は、前記空席判定処理に含まれる一又は複数のステップを実行する空席判定方法の発明として捉えることができる。前記空席判定方法は、本発明の情報処理方法の一例である。

なお、ここで説明する前記空席判定処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記空席判定処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは制御部１１によって前記空席判定処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、複数のプロセッサーによって前記空席判定処理における各ステップが分散して実行されてもよい。

ステップＳ１１において、制御部１１は、撮像装置２により撮像される利用エリアＡＲ１の撮像画像ＴＰ１を取得する。例えば、制御部１１は、飲食店に配置される一つのテーブルと４つの椅子とを含む利用エリアＡＲ１の撮像画像ＴＰ１を撮像装置２から取得する。前記ステップＳ１１は、本発明の取得ステップの一例である。

次にステップＳ１２において、制御部１１は、撮像画像ＴＰ１に基づいて利用エリアＡＲ１に利用者（人物）が含まれるか否かを判定する。なお、制御部１１は、上述のように、飲食店のスタッフを除外して利用者の有無を判定する。制御部１１は、撮像画像ＴＰ１から人物の画像を抽出した場合に利用エリアＡＲ１に利用者が含まれると判定し、撮像画像ＴＰ１から人物を抽出しない場合に利用エリアＡＲ１に利用者が含まれないと判定する。制御部１１が利用エリアＡＲ１に利用者が含まれないと判定した場合（Ｓ１２：Ｎｏ）、処理はステップＳ１３に移行する。一方、制御部１１が利用エリアＡＲ１に利用者が含まれると判定した場合（Ｓ１２：Ｙｅｓ）、処理はステップＳ２０に移行する。なお、テーブルを複数の利用者で利用する場合には、制御部１１は、利用エリアＡＲ１に少なくとも一人の利用者が含まれる場合に、利用エリアＡＲ１に利用者が含まれると判定し、利用エリアＡＲ１に一人の利用者も含まれない場合に、利用エリアＡＲ１に利用者が含まれないと判定する。ステップＳ１２は、本発明の第１判定ステップの一例である。

ステップＳ１３において、制御部１１は、撮像画像ＴＰ１に基づいて利用エリアＡＲ１に特定物品が含まれるか否かを判定する。具体的には、制御部１１は、撮像画像ＴＰ１と物品情報Ｄ１（図２参照）に含まれる画像とを照合することにより特定物品の有無を判定する。例えば、撮像画像ＴＰ１に物品情報Ｄ１に登録された画像が含まれる場合に、制御部１１は、利用エリアＡＲ１に特定物品が含まれると判定する。また、撮像画像ＴＰ１にテーブル及び椅子以外の物品が含まれる場合に、制御部１１は、利用エリアＡＲ１に特定物品が含まれると判定してもよい。また、制御部１１は、記憶部１２に予め登録されたテーブル及び椅子の画像データと撮像画像ＴＰ１の画像データとのデータ量（画像情報量）を比較して、その差分が所定値以上の場合に利用エリアＡＲ１に特定物品が含まれると判定し、その差分が所定値未満の場合に利用エリアＡＲ１に特定物品が含まれないと判定してもよい。制御部１１が利用エリアＡＲ１に特定物品が含まれると判定した場合（Ｓ１３：Ｙｅｓ）、処理はステップＳ１４に移行する。一方、制御部１１が利用エリアＡＲ１に特定物品が含まれないと判定した場合（Ｓ１３：Ｎｏ）、処理はステップＳ１９に移行する。ステップＳ１３は、本発明の第２判定ステップの一例である。

なお、制御部１１は、利用エリアＡＲ１において複数の特定物品を抽出した場合、複数の特定物品のうち任意の一つの特定物品を抽出して以下の処理を実行する。

ステップＳ１４において、制御部１１は、特定物品の内容又は種別を特定する。具体的には、制御部１１は、撮像画像ＴＰ１に基づいて、ナイフ、フォーク、箸、箸箱４１（図７参照）、ナプキン、調味料、メニュー表、注文端末４２（図８参照）、又は取り皿（器）を特定し、当該特定物品の種別として「設置品」を特定する。また、制御部１１は、撮像画像ＴＰ１に基づいて、予約プレート３５（図６参照）又は席札を特定し、当該特定物品の種別として「予約表示媒体」を特定する。また、制御部１１は、撮像画像ＴＰ１に基づいて、料理３３（図４参照）又はドリンクを特定し、当該特定物品の種別として「商品」を特定する。また、制御部１１は、撮像画像ＴＰ１に基づいて、皿３４（図４参照）又はコップを特定し、当該特定物品の種別として「商品用器」を特定する。また、制御部１１は、撮像画像ＴＰ１に基づいて、スマートフォン３１又は鞄３２（図３参照）を特定し、当該特定物品の種別として「利用者物品」を特定する。ステップＳ１４は、本発明の特定ステップの一例である。

ステップＳ１５において、制御部１１は、前記特定物品が商品用器（皿又はコップ）であるか否かを判定する。制御部１１が前記特定物品を商品用器であると判定した場合（Ｓ１５：Ｙｅｓ）、処理はステップＳ１６に移行する。一方、制御部１１が前記特定物品を商品用器でないと判定した場合（Ｓ１５：Ｎｏ）、処理はステップＳ１７に移行する。

ステップＳ１６において、制御部１１は、商品用器に商品が含まれるか否かを判定する。例えば、皿３４に料理３３が含まれる場合（図４参照）、制御部１１は商品用器に商品が含まれると判定する。一方、例えば、皿３４に料理３３が含まれない場合（図５参照）、制御部１１は商品用器に商品が含まれないと判定する。制御部１１が商品用器に商品が含まれないと判定した場合（Ｓ１６：Ｎｏ）、処理はステップＳ１８に移行する。一方、制御部１１が商品用器に商品が含まれると判定した場合（Ｓ１６：Ｙｅｓ）、処理はステップＳ２０に移行する。

ステップＳ１７において、制御部１１は、前記特定物品が設置品（箸箱４１、注文端末４２など）であるか否かを判定する。制御部１１が前記特定物品を設置品であると判定した場合（Ｓ１７：Ｙｅｓ）、処理はステップＳ１８に移行する。一方、制御部１１が前記特定物品を設置品でないと判定した場合（Ｓ１７：Ｎｏ）、処理はステップＳ２０に移行する。なお、制御部１１は、前記特定物品を設置品でないと判定した場合（Ｓ１７：Ｎｏ）、前記特定物品を利用者物品（スマートフォン３１、鞄３２など）又は予約表示媒体（予約プレート３５など）と判定してもよい。

ステップＳ１８において、制御部１１は、利用エリアＡＲ１に他の特定物品が含まれるか否かを判定する。具体的には、制御部１１は、ステップＳ１３において複数の特定物品を抽出した場合に、上述のステップＳ１４～Ｓ１７の処理対象となっていない他の特定物品が存在するか否かを判定する。制御部１１が利用エリアＡＲ１に他の特定物品が含まれると判定した場合（Ｓ１８：ＹＥｓ）、処理はステップＳ１４に戻る。制御部１１が利用エリアＡＲ１に他の特定物品が含まれないと判定した場合（Ｓ１８：Ｎｏ）、処理はステップＳ１９に移行する。これにより、利用エリアＡＲ１に含まれる全ての特定物品について、上述のステップＳ１４～Ｓ１７の処理が実行される。

ステップＳ１９において、制御部１１は、テーブルを空席と判定する。例えば、利用エリアＡＲ１に利用者が含まれず（Ｓ１２：Ｎｏ）、利用エリアＡＲ１のテーブルに料理３３が残っていない皿３４が含まれる場合（Ｓ１６：Ｎｏ）に、制御部１１は、当該テーブルを空席と判定する。また、例えば、利用エリアＡＲ１に利用者が含まれず（Ｓ１２：Ｎｏ）、利用エリアＡＲ１のテーブルに箸箱４１及び注文端末４２が含まれる場合（Ｓ１７：Ｙｅｓ）に、制御部１１は、当該テーブルを空席と判定する。その後、処理はステップＳ２１に移行する。ステップＳ１９は、本発明の空席判定ステップの一例である。

これに対して、ステップＳ２０において、制御部１１は、テーブルを在席と判定する。例えば、利用エリアＡＲ１に利用者が含まれる場合（Ｓ１２：Ｙｅｓ）、利用エリアＡＲ１に利用者物品（スマートフォン３１、鞄３２など）又は予約表示媒体が含まれる場合（Ｓ１７：Ｎｏ）、又は、商品用器（例えば皿３４）に商品（例えば料理３３）が含まれる場合（Ｓ１６：Ｙｅｓ）に、制御部１１は、当該テーブルを在席と判定する。その後、処理はステップＳ２１に移行する。ステップＳ２０は、本発明の空席判定ステップの一例である。

ステップＳ２１において、制御部１１は、テーブルの空席状況を出力する。例えば、制御部１１は、飲食店のテーブルが空席であるか又は在席であるかを示す情報を飲食店の店舗端末又は利用者端末に提示する。制御部１１は、飲食店の空席数の情報（例えば合計空席数）を店舗端末又は利用者端末に提示してもよい。

以上説明したように、本実施形態に係る情報処理システム１００は、施設における利用者が利用する利用対象（テーブルなど）を含む利用エリアＡＲ１を撮像した撮像画像ＴＰ１に基づいて利用エリアＡＲ１に利用者（人物）が含まれるか否かを判定し、かつ利用エリアＡＲ１に特定物品が含まれるか否かを判定する。そして、情報処理システム１００は、これらの判定結果と前記特定物品の内容又は種別とに基づいて、前記テーブルが空席であるか否かを判定する。これにより、例えば利用エリアＡＲ１に利用者が含まれない場合であっても、利用者物品（スマートフォン３１、鞄３２など）、予約表示媒体などが含まれる場合には、テーブルを空席と判定せず在席と判定する。また、利用エリアＡＲ１に利用者が含まれない場合であっても、料理が含まれる場合には、テーブルを空席と判定せず在席と判定する。

また、例えば利用エリアＡＲ１にテーブル及び椅子以外の物品が含まれる場合であっても、利用者が含まれず、当該物品が設置品（箸箱４１、注文端末４２など）である場合には、テーブルを空席と判定する。

このように、情報処理システム１００は、特定物品の内容又は種別に基づいてテーブルが利用者により利用中であるか否かを判断する構成を備えることにより、当該テーブルが空席であるか否かを正確に判定することが可能となる。

本発明の情報処理システム１００は、上述の実施形態に限定されない。情報処理システム１００は、以下に示す形態であってもよい。

他の実施形態として、例えば図１１に示すように、利用エリアＡＲ１に利用者、利用者物品、商品用器、予約表示媒体、商品、及び設置品が含まれない場合に、空席判定処理部１１５は、前記テーブルを準備席と判定してもよい。また、この場合に、算出処理部１１６は、空席のテーブルの空席値を「１」とした場合に、前記準備席の空席値を「０．５」として算出してもよい。これにより、例えば飲食店において前記準備席が２席存在する場合に、算出処理部１１６は、２つの準備席の合計の空席数を「１」として算出する。

また、算出処理部１１６は、利用エリアＡＲ１に、利用者、利用者物品、商品、及び表示媒体が含まれない空席の第１テーブル（図７参照）の空席値を基準空席値として算出する。また、算出処理部１１６は、利用エリアＡＲ１に、利用者が含まれず、かつ商品を含まない商品用器（例えば皿３４）が含まれる準備席の第２テーブル（図５参照）の空席値を第１空席値（例えば「０．４」）として算出する。また、算出処理部１１６は、利用エリアＡＲ１に、利用者が含まれず、かつ設置品（箸箱４１、注文端末４２）が含まれない準備席の第３テーブル（図１１参照）の空席値を第２空席値（例えば「０．６」）として算出する。そして、算出処理部１１６は、基準空席値と第１空席値と第２空席値とに基づいて飲食店の空席数を算出する。前記第１テーブルは本発明の第１利用対象の一例であり、前記第２テーブルは本発明の第２利用対象の一例であり、前記第３テーブルは本発明の第３利用対象の一例であある。

例えば図１２に示すように、空席判定処理部１１５は、飲食店に配置されるテーブルＴ１～Ｔ５のそれぞれについて空席、在席又は準備席を判定して、判定結果を空席情報Ｄ３に登録する。空席情報Ｄ３は、記憶部１２に記憶される。空席判定処理部１１５は、リアルタイムに空席情報Ｄ３を更新する。算出処理部１１６は、空席情報Ｄ３に登録された空席値を合計して飲食店の空席数を算出する（図１２参照）。

前記第２テーブルでは、例えばスタッフがテーブルに置かれた器（商品用器）などを片付けて、箸箱４１、注文端末４２などの設置品をセッティングする。一方、前記第３テーブルでは、例えばスタッフが前記設置品をセッティングする。このため、前記第２テーブルでは、前記第３テーブルよりも利用者を案内するまでの所要時間（作業時間）が多くかかる。そこで、算出処理部１１６は、上記のように、準備席の状態に応じて空席値を設定する。具体的には、算出処理部１１６は、前記第２テーブルよりも前記第３テーブルの方が早く利用者を案内できる場合に、前記第３テーブルの空席値を前記第２テーブルの空席値よりも高い値に設定する。

図１２に示す例では、テーブルＴ２，Ｔ５が前記第１テーブルに相当し、テーブルＴ１が前記第２テーブルに相当し、テーブルＴ３が前記第３テーブルに相当する。算出処理部１１６は、各テーブルの空席値の合計値に基づいて、飲食店の合計空席数「３」を算出する。出力処理部１１７は、算出処理部１１６により算出される空席数の情報を出力する。

また、本発明の他の実施形態として、算出処理部１１６は、前記第１テーブル（空席）を含む利用エリアＡＲ１の画像情報量（データ量）を基準情報量とした場合に、テーブルを含む利用エリアＡＲ１の画像情報量が多い程、当該テーブルの空席値を低く算出してもよい。例えば、図５に示す皿３４の数が多い程、片付け作業の時間が多くかかるため、算出処理部１１６は、当該テーブルの空席値を低く算出する。

また、本発明の他の実施形態として、空席判定処理部１１５は、利用者物品の内容又は種別に基づいて、テーブルが空席であるか否かを判定してもよい。例えば、利用エリアＡＲ１に含まれる利用者物品がスマートフォン３１又はハンカチである場合に、利用者が利用エリアＡＲ１に含まれなくなってから所定時間が経過した場合には、利用者がスマートフォン３１又はハンカチを置き忘れて退店した可能性がある。この場合には、空席判定処理部１１５は、前記テーブルを空席と判定する。なお、この場合に、出力処理部１１７は、スマートフォン３１又はハンカチが忘れ物であることを示す情報を店舗端末又はスタッフの携帯端末に通知してもよい。一方、例えば、利用エリアＡＲ１に利用者が含まれず、利用エリアＡＲ１に含まれる利用者物品が鞄３２又は衣服である場合には、空席判定処理部１１５は、利用者が利用エリアＡＲ１に含まれなくなってから所定時間が経過した場合であっても、前記テーブルを在席と判定する。

また、本発明の他の実施形態として、出力処理部１１７は、利用エリアＡＲ１に利用者が含まれなくなった時点、すなわち利用者がテーブルの椅子を離席した時点で、離席したことを示す情報を店舗端末に通知してもよい。また、出力処理部１１７は、店舗端末に表示されるフロアレイアウト（テーブル配置図）において、利用者が離席したテーブルの表示態様を変更（点滅表示、点灯表示など）してもよい。

また、出力処理部１１７は、前記フロアレイアウトにおいて、空席と判定されたテーブルの表示態様を変更（点滅表示、点灯表示など）してもよい。これにより、飲食店のスタッフは、テーブルの空席状況をリアルタイムで把握することができる。

なお、本発明に係る情報処理システムは、施設における利用者が利用する利用対象を含む利用エリアを撮像した撮像画像を取得する画像取得処理部と、前記撮像画像に基づいて前記利用エリアに前記利用者が含まれるか否かを判定する第１判定処理部と、前記撮像画像に基づいて前記利用エリアに特定物品が含まれるか否かを判定する第２判定処理部と、前記利用エリアに前記特定物品が含まれる場合に、当該特定物品の内容又は種別を特定する特定処理部と、前記第１判定処理部の判定結果と前記第２判定処理部の判定結果と前記特定処理部により特定される前記特定物品の内容又は種別とに基づいて、前記テーブルが空席であるか否かを判定する空席判定処理部と、を備えるシステムとして捉えてもよい。

また、本発明に係る情報処理方法は、施設における利用者が利用する利用対象を含む利用エリアを撮像した撮像画像を取得する画像取得ステップと、前記撮像画像に基づいて前記利用エリアに前記利用者が含まれるか否かを判定する第１判定ステップと、前記撮像画像に基づいて前記利用エリアに特定物品が含まれるか否かを判定する第２判定ステップと、前記利用エリアに前記特定物品が含まれる場合に、当該特定物品の内容又は種別を特定する特定ステップと、前記第１判定ステップの判定結果と前記第２判定ステップの判定結果と前記特定ステップにより特定される前記特定物品の内容又は種別とに基づいて、前記テーブルが空席であるか否かを判定する空席判定ステップと、を一又は複数のプロセッサーにより実行する方法として捉えてもよい。

１ ：情報処理装置
２ ：撮像装置
１００ ：情報処理システム
１１１ ：画像取得処理部
１１２ ：利用者判定処理部
１１３ ：物品判定処理部
１１４ ：特定処理部
１１５ ：空席判定処理部
１１６ ：算出処理部
１１７ ：出力処理部

Claims (11)

1. 施設における利用者が利用する利用対象を含む利用エリアを撮像した撮像画像を取得する画像取得処理部と、
   前記撮像画像に基づいて前記利用エリアに利用者が含まれるか否かを判定する第１判定処理部と、
   前記撮像画像に基づいて前記利用エリアに特定物品が含まれるか否かを判定する第２判定処理部と、
   前記利用エリアに前記特定物品が含まれる場合に、当該特定物品の種別を特定する特定処理部と、
   前記第１判定処理部の判定結果と前記第２判定処理部の判定結果と前記特定処理部により特定される前記特定物品の種別とに基づいて、前記利用対象が空席であるか否かを判定する空席判定処理部と、
   を備え、
   前記特定処理部は、前記撮像画像と、記憶部に記憶された複数の物品のそれぞれの画像とを照合して、前記特定物品の種別を特定する、
   情報処理システム。
2. 前記特定処理部は、前記利用エリアに種別が異なる複数の前記特定物品が含まれる場合に、複数の当該特定物品のそれぞれの種別を特定し、
   前記空席判定処理部は、前記第１判定処理部の判定結果と前記第２判定処理部の判定結果と前記特定処理部により特定される複数の前記特定物品の種別の組み合わせとに基づいて、前記利用対象が空席であるか否かを判定する、
   請求項１に記載の情報処理システム。
3. 前記特定物品には、利用者が所有する利用者物品、施設が提供する商品、及び、予約席であること示す表示媒体の少なくともいずれかが含まれ、
   前記空席判定処理部は、前記利用エリアに前記利用者物品、前記商品、及び前記表示媒体の少なくともいずれかが含まれる場合に、前記利用対象を在席と判定する、
   請求項１又は２に記載の情報処理システム。
4. 前記特定物品には、利用者が所有する利用者物品、施設が提供する商品、及び、予約席であること示す表示媒体が含まれ、
   前記空席判定処理部は、前記利用エリアに、前記利用者、前記利用者物品、前記商品、及び前記表示媒体が含まれない場合に、前記利用対象を空席と判定する、
   請求項１～３のいずれかに記載の情報処理システム。
5. 前記特定物品には、利用者が所有する利用者物品、施設が提供する商品、予約席であること示す表示媒体、及び利用者を案内可能な利用対象に予め設置される設置品が含まれ、
   前記空席判定処理部は、前記利用エリアに、前記利用者、前記利用者物品、前記商品、及び前記表示媒体が含まれず、かつ前記設置品が含まれる場合に、前記利用対象を空席と判定する、
   請求項１～４のいずれかに記載の情報処理システム。
6. 前記特定物品には、施設が提供する商品が含まれ、
   前記空席判定処理部は、前記利用エリアに前記利用者及び前記商品が含まれず、かつ前記利用者が前記利用エリアに含まれなくなってから所定時間経過した場合に、前記利用対象を空席と判定する、
   請求項１～５のいずれかに記載の情報処理システム。
7. 前記特定物品には、施設が提供する商品の器が含まれ、
   前記空席判定処理部は、前記利用エリアに前記利用者が含まれず、前記器が含まれ、かつ前記器に前記商品が含まれない場合に、前記利用対象を空席と判定する、
   請求項１～６のいずれかに記載の情報処理システム。
8. 前記特定物品には、施設が提供する商品の器が含まれ、
   前記空席判定処理部は、前記利用エリアに、前記利用者が含まれず、かつ前記商品を含まない前記器が含まれる場合に、前記利用対象を準備席と判定する、
   請求項１～７のいずれかに記載の情報処理システム。
9. 前記特定物品には、利用者が所有する利用者物品、施設が提供する商品、予約席であること示す表示媒体、及び利用者を案内可能な利用対象に予め設置される設置品が含まれ、
   前記空席判定処理部は、前記利用エリアに、前記利用者、前記利用者物品、前記商品、及び前記表示媒体が含まれず、かつ前記設置品が含まれない場合に、前記利用対象を準備席と判定する、
   請求項１～８のいずれかに記載の情報処理システム。
10. 施設における利用者が利用する利用対象を含む利用エリアを撮像した撮像画像を取得する画像取得ステップと、
    前記撮像画像に基づいて前記利用エリアに利用者が含まれるか否かを判定する第１判定ステップと、
    前記撮像画像に基づいて前記利用エリアに特定物品が含まれるか否かを判定する第２判定ステップと、
    前記利用エリアに前記特定物品が含まれる場合に、当該特定物品の種別を特定する特定ステップと、
    前記第１判定ステップの判定結果と前記第２判定ステップの判定結果と前記特定ステップにより特定される前記特定物品の種別とに基づいて、前記利用対象が空席であるか否かを判定する空席判定ステップと、
    を一又は複数のプロセッサーが実行する情報処理方法であって、
    前記特定ステップにおいて、前記撮像画像と、記憶部に記憶された複数の物品のそれぞれの画像とを照合して、前記特定物品の種別を特定する、情報処理方法。
11. 施設における利用者が利用する利用対象を含む利用エリアを撮像した撮像画像を取得する画像取得ステップと、
    前記撮像画像に基づいて前記利用エリアに利用者が含まれるか否かを判定する第１判定ステップと、
    前記撮像画像に基づいて前記利用エリアに特定物品が含まれるか否かを判定する第２判定ステップと、
    前記利用エリアに前記特定物品が含まれる場合に、当該特定物品の種別を特定する特定ステップと、
    前記第１判定ステップの判定結果と前記第２判定ステップの判定結果と前記特定ステップにより特定される前記特定物品の種別とに基づいて、前記利用対象が空席であるか否かを判定する空席判定ステップと、
    を一又は複数のプロセッサーに実行させるための情報処理プログラムであって、
    前記特定ステップにおいて、前記撮像画像と、記憶部に記憶された複数の物品のそれぞれの画像とを照合して、前記特定物品の種別を特定する、情報処理プログラム。

Images