JP2024058978A - サービス提供システム、サービス提供方法及びサービス提供プログラム - Google Patents

Abstract

【課題】複数の人に対して、各人に応じたサービス提供を容易に可能とする技術を提供する。【解決手段】サービス提供システムは、対象の空間に配置された複数のカメラと、前記複数のカメラによって撮影された複数の画像を処理する情報処理装置と、前記情報処理装置による処理結果に基づいて前記空間内でサービスを提供する移動体と、を備え、前記情報処理装置は、前記複数のカメラからの画像を基に、前記空間内の複数の人のうち、少なくとも一人のジェスチャを特定すると共に、当該ジェスチャが行われた位置を特定することと、前記ジェスチャが行われた位置へ前記移動体を移動させて、前記移動体に前記ジェスチャに対応する前記サービスを提供させることとを行う。【選択図】図１

Description

特許法第３０条第２項適用申請有り 展示日 令和４年２月１５日～１８日 展示会名 ＨＣＪ ２０２２ 第５０回 国際ホテル・レストラン・ショー 開催場所 東京ビッグサイト（東京都江東区有明３－１１－１）

本発明は、サービス提供システム、サービス提供方法及びサービス提供プログラムに関する。

近年、カフェや飲食店などの店舗において、ロボットが店舗の利用者へサービスを提供するシステムが提案されている。この場合、利用者は、例えばタブレットや操作パネルを操作することによってロボットに対する指示を入力する。

特開２００５－５１７７８号公報 特開２００５－２５０６９２号公報 特開２０１１－６５６５２号公報 特開２００６－１２７５４１号公報

タブレットや操作パネルを操作してロボットに指示を入力する場合、操作が煩雑になり、利用者が利用しにくいという問題点があった。

また、ロボットに対し、ジェスチャによって指示を入力することも提案されているが、ロボットに利用者のジェスチャを検出させるためには、利用者とロボットとを対面させた状態でロボットにジェスチャを検出させることになる。このようなシステムにおいて、一台のロボットで複数の人にサービスを提供する場合、ジェスチャを入力する際に、ロボットを利用者の前に呼び出す、或は利用者がロボットの前に移動するなどの動作を別途行うことになるため、容易にサービスを提供できるものではないという問題があった。

そこで、本発明は、複数の人に対して、各人に応じたサービス提供を容易に可能とする技術の提供を目的とする。

上記課題を解決するため、本発明のサービス提供システムは、
対象の空間に配置された複数のカメラと、
前記複数のカメラによって撮影された複数の画像を処理する情報処理装置と、
前記情報処理装置による処理結果に基づいて前記空間内でサービスを提供する移動体と、を備え、
前記情報処理装置は、
前記複数のカメラからの画像を基に、前記空間内の複数の人のうち、少なくとも一人のジェスチャを特定すると共に、当該ジェスチャが行われた位置を特定することと、
前記ジェスチャが行われた位置へ前記移動体を移動させて、前記移動体に前記ジェスチャに対応する前記サービスを提供させることと、
を行う。

前記情報処理装置は、
前記空間内の複数の人による複数のジェスチャを順次検出した場合には、前記ジェスチャを検出した順序で前記サービスを提供させ、
前記空間内の複数の人による複数のジェスチャを順序が判別できないタイミングで検出した場合には、前記ジェスチャを検出した人に対して所定の順番で前記サービスを提供させてもよい。

前記サービス提供システムにおいて、
前記複数の人のうち少なくとも一人が識別信号を発信する識別装置を有している場合に、
前記情報処理装置は、
前記空間内の複数の人による複数のジェスチャを順次検出した場合に、前記ジェスチャを検出した順序で前記サービスを提供させ、
前記空間内の複数の人による複数のジェスチャを順序が判別できないタイミングで検出した場合には、前記ジェスチャを検出した人の識別装置から受信した識別情報に応じた優先度に基づいて順序を決定し、当該順番で前記サービスを提供させてもよい。

前記サービス提供システムにおいて、
前記複数の人のうち少なくとも一人が識別用の標識を身に着けている場合に、
前記情報処理装置は、
前記空間内の複数の人による複数のジェスチャを順次検出した場合には、前記ジェスチャを検出した順序で前記サービスを提供させ、
前記空間内の複数の人による複数のジェスチャを順序が判別できないタイミングで検出した場合には、前記ジェスチャを検出した人の前記標識に応じた優先度に基づいて順序を決定し、当該順番で前記サービスを提供させてもよい。

前記サービス提供システムにおいて、
前記空間の所定位置に設けられ、ビーコン信号を送信するビーコン装置を更に備え、
前記移動体が、前記ビーコン信号に基づいて前記位置へ移動してもよい。

前記情報処理装置は、前記複数のカメラからの画像に写った個々の人を対応つけ、各人が写った前記複数の画像中の位置と、当該画像を撮影した前記カメラの前記空間中の位置との位置関係から、前記空間に定めた座標における各人の位置を決定してもよい。

また、上記課題を解決するため、本発明のサービス提供方法は、
対象の空間に配置された複数のカメラと、
前記複数のカメラによって撮影された複数の画像を処理する情報処理装置と、
前記情報処理装置による処理結果に基づいて前記空間内でサービスを提供する移動体と、を備えるサービス提供システムが実行するサービス提供方法であって、
前記情報処理装置は、
前記複数のカメラからの画像を基に、前記空間内の複数の人のうち、少なくとも一人のジェスチャ及び当該ジェスチャが行われた位置を特定することと、
前記ジェスチャが行われた位置と前記ジェスチャを示す情報を前記移動体へ指示することとを行い、
前記移動体は、前記情報処理装置からの指示に基づき、前記ジェスチャが行われた位置へ移動して、前記ジェスチャに対応する前記サービスを提供する。

また、上記課題を解決するため、本発明のサービス提供プログラムは、
対象の空間に配置された複数のカメラと、
前記複数のカメラによって撮影された複数の画像を処理する情報処理装置と、
前記情報処理装置による処理結果に基づいて前記空間内でサービスを提供する移動体と、を備えるサービス提供システムの前記情報処理装置に、
前記複数のカメラからの画像を基に、前記空間内の複数の人のうち、少なくとも一人の
ジェスチャ及び当該ジェスチャが行われた位置を特定することと、
前記ジェスチャが行われた位置へ前記移動体を移動させて、前記移動体に前記ジェスチャに対応する前記サービスを提供させることと、
を実行させる。

本発明は、複数の人に対して、各人に応じたサービス提供を容易に可能とする技術を提供することができる。

図１は、第一実施形態に係るサービス提供システムの概略構成図である。 図２は、ロボットの正面図である。 図３は、ロボットの側面図である。 図４は、ロボットの構成を概略的に示す図である。 図５は、情報処理装置の構成を示す図である。 図６は、骨格情報の例を示す図である。 図７は、対象の空間における座標（位置情報）の例を示す図である。 図８は、条件テーブルの例を示す図である。 図９は、情報処理装置の制御部が実行する処理を示す図である。 図１０は、ロボットの制御部が実行する処理を示す図である。 図１１は、ジェスチャによって、ロボットを呼び出すと共に、サービスの提供位置を指定する例を示す図である。 図１２は、第二実施形態において、情報処理装置の制御部が実行する処理を示す図である。 図１３は、第三実施形態に係る情報処理装置の構成を示す図である。 図１４は、第三実施形態において、情報処理装置の制御部が実行する処理を示す図である。 図１５は、第三実施形態に係るサービス提供システムの概略構成図である。 図１６は、第三実施形態に係る識別装置の構成を示す図である。 図１７は、第四実施形態において、情報処理装置の制御部が実行する処理を示す図である。 図１８は、第五実施形態に係る情報処理装置の構成を示す図である。 図１９は、第五実施形態において、情報処理装置の制御部が実行する処理を示す図である。

〈第一実施形態〉
《装置構成》
以下本発明の一実施形態について図面を用いて説明する。図１は、本実施形態に係るサービス提供システム１００の概略構成図である。サービス提供システム１００は、カメラ１０と、情報処理装置２０と、ロボット３０と、ビーコン装置４０と、マイク５０を備えている。サービス提供システム１００は、飲食店等の店舗を対象の空間６０とし、当該空間内にいる複数の人（利用者）に対してサービスを提供する。

〈カメラ〉
複数のカメラ１０は、空間６０に固定配置され、空間６０内に存在する人、即ち店舗内の利用者を撮影する。複数のカメラ１０は、対象の空間６０に存在する利用者を漏れなく撮影できるように、夫々が規定の異なる位置に設置され、空間６０内の人（被写体）を夫々異なる方向から撮影するように各カメラ１０の撮影方向及び撮影範囲が設定されている
。複数のカメラ１０は、例えば対象の空間６０の四隅などに設置され、夫々の設置位置から同一の利用者を撮影した場合に、その視差から当該利用者の位置が求められるように配置されている。

〈ビーコン装置〉
ビーコン装置４０は、空間６０の所定位置に設けられている。また、ビーコン装置４０は、空間６０内に複数設けられ、各ビーコン装置４０が空間６０内で一義に識別可能なビーコン信号を発信する。これにより例えばロボット３０が、複数のビーコン装置４０からビーコン信号を受信し、各ビーコン信号の電波強度から各ビーコン装置４０との距離を求め、各ビーコン装置４０の位置と、これらビーコン装置４０からの距離とに基づいてロボット３０の現在位置を求めることができるようにしている。

〈マイク〉
マイク５０は、空間６０内に設置され、当該空間６０内に存在する人の音声を電気信号（音声信号）に変換して情報処理装置２０へ入力する。マイク５０は、空間６０に一つだけ設けられても、複数設けられてもよい。例えば店舗内に複数のテーブルが設置され、利用者が各テーブルの席に着いて食事する場合、各テーブルにマイク５０が設けられてもよい。なお、情報処理装置２０が、利用者の音声を利用しない場合や、ロボット３０のマイクから利用者の音声を取得する場合には、空間６０に設けられるマイク５０は省略されてもよい。

〈ロボット〉
図２は、ロボット３０の正面図、図３は、ロボット３０の側面図、図４は、ロボット３０の構成を概略的に示す図である。ロボット３０は、自律走行が可能な移動体であり、注文の受け付け、商品等の運搬、会計処理などのサービスを提供する。ロボット３０は、筐体３１、周囲センサ３２、積載部３３、走行部３４、ユーザインタフェース３５、電源３６、及び制御装置３７を備えている。

筐体３１は、概ね円柱状の下部筐体３１１と、下部筐体３１１の上面に立設された概ね角柱状の上部筐体３１２とを有する。下部筐体３１１には、制御装置３７や電源３６が内蔵されている。また、下部筐体３１１の下面側には、走行部３４が設けられ、ロボット３０の走行を可能としている。

走行部３４は、原動機３４１や、車輪３４２、操舵機構３４３、制動機構３４４など、ロボット３０を走行させるための機構を備えている。原動機３４１は、例えば電力の供給を受けて回転するモーターである。原動機３４１は、車輪３４２と接続され、車輪３４２を回転させる。原動機３４１は、車輪３４２と一体的に構成されたインホイールモータであっても、変速機を介して車輪３４２と接続される構成であってもよい。車輪３４２は、ロボット３０の下部に複数設けられ、駆動輪と操舵輪とを含む。操舵機構３４３は、複数の車輪３４２のうち、操舵輪の向きを変えることによりロボット３０の走行方向を変える機構である。制動機構３４４は、原動機３４１又は車輪３４２の動きを制限する機構である。なお、原動機３４１が、走行制御部７７４の制御に応じて制止できる構成であれば、制動機構３４４は省略されてもよい。走行部３４は、走行制御部７７４の走行指示情報に基づいて原動機３４１、操舵機構３４３、及び制動機構３４４が制御され、これによってロボット３０の自律走行が実現される。なお、走行部３４は、車輪３４２によって走行する構成に限らず、履帯を用いて走行する構成や、二足歩行若しくは多足歩行を行う構成であってもよい。また、移動体は、例えばプロペラを回転させることで飛行するドローンであってもよい。

上部筐体３１２には、周囲センサ３２、積載部３３、及びユーザインタフェース３５が
設けられている。周囲センサ３２は、ロボット３０の周囲の状況をセンシングするためのデバイスである。例えば、周囲センサ３２は、ステレオカメラ、レーザスキャナ、ＬＩＤＡＲ、レーダ、加速度センサ、方位センサ、速度センサ、走行距離計、測位装置、全地球航法衛星システム（GNSS：Global Navigation Satellite System の受信器(以下GNSS受信機）等を含んで構成される。周囲センサ３２が取得したロボット３０の周囲の状況を示す情報は、制御部３７７に送信される。

積載部３３は、商品等の荷物を積載する設備であり、複数の棚板３３１と、積載物センサ３３２を備えている。棚板３３１は、略水平な状態で上部筐体３１２の後面に接続され、上面に荷物（積載物とも称す）を積載可能となっている。積載物センサ３３２は、各棚板３３１に積載された荷物の有無を検出する。積載物センサ３３２による検出手法は、特段限定されるものではないが、例えば棚板３３１に対する荷重を検出するものや、棚板３３１上に検出光を発し、荷物が存在する場合に、その荷物で反射した検出光（反射光）を検出するもの、棚板３３１上の画像を撮影し、画像処理によって荷物を検出するものであってもよい。なお、積載部３３は、棚に限らず、外壁で囲まれて、内部に荷物を収容する荷室であってもよい。更に、積載部３３は、棚と荷室の両方を備えるものであってもよい。また、積載部３３は、荷物を保冷又は保温する機能を有してもよい。なお、ロボット３０が、荷物を積載する必要がない場合、積載部３３は省略されてもよい。

ユーザインタフェース３５は、上部筐体３１２の正面側に設けられ、利用者に対する表示を行うディスプレイ３５１や、利用者に対して音を出力するスピーカ３５２、利用者の音声を取得するマイク３５３などを有している。また、ユーザインタフェース３５は、ディスプレイ３５１と重ねて配置され、利用者によるタッチ操作を受けるタッチパネルを有してもよい。

制御装置３７は、通信部３７１、記憶部３７２、入出力部３７３、制御部３７７を備えている。通信部３７１は、ロボット３０を通信回線に接続するための通信装置である。通信部３７１は、例えば４Ｇ（4rd Generation）回線やＬＴＥ（Long Term Evolution）回
線等の移動体通信サービスを利用し、無線通信回線を介して、情報処理装置２０を含む他の装置と通信を行うことができる。また、通信部３７１は、ブルートゥース（登録商標）やＷｉＦｉ等の通信方式を用いて情報処理装置２０など他の装置と直接通信するものであってもよい。

記憶部３７２は、情報を記憶する装置であり、磁気ディスクやフラッシュメモリ等の記憶媒体により構成される。入出力部３７３は、ユーザインタフェースや周囲センサと接続され、制御部３７７に対する情報の入力や、利用者に対する情報の出力が行われる。記憶部３７２は、空間６０において、ロボット３０が走行可能な通路や、テーブルの配置などを示す地図情報を記憶している。

制御部３７７は、移動体３０を制御するための演算処理を行う機能を有する。制御部３７７は、例えば、マイクロコンピュータによって構成される。制御部３７７は、機能モジュールとして、周囲状況検出部７７１、位置情報算出部７７２、指示取得部７７３、走行制御部７７４、および指示実行部７７５を有している。各機能モジュールは、制御部３７７がプログラム（ソフトウェア）を実行することで実現されてもよい。また、機能モジュールは、一部または全部が、ＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。

周囲状況検出部７７１は、周囲センサ３２が取得した情報に基づいて、ロボット３０の周囲の環境を検出する。例えば、周囲状況検出部７７１は、自身の周囲に存在する他の移動体等の物体（人や動物を含む）を検出する。

位置情報算出部７７２は、周囲センサ３２や通信部３７１などで取得した情報に基づいて、ロボット３０の現在位置を取得する。位置情報算出部７７２は、例えば、ビーコン装置４０からビーコン信号を受信した場合に、このビーコン装置４０の近くにロボット３０が位置していることを認識し、このビーコン装置４０の位置を基準とし、ビーコン装置４０の絶対位置と周囲センサ３２で検出した相対的な位置とを用いて、自律航法によりロボット３０の位置を求める。

指示取得部７７３は、情報処理装置２０からジェスチャが行われた位置や当該ジェスチャを示す情報などの指示を取得する。走行制御部７７４は、情報処理装置２０から受信した指示と、位置情報算出部７７２が算出したロボット３０の現在位置、および、周囲状況検出部７７１が検出した周囲のデータに基づいて、ロボット３０の走行を制御する。例えば、走行制御部７７４は、指示情報によって、移動先が示された場合、記憶部３７２から地図情報を読み出し、当該地図情報に基づいて現在位置から移動先までの経路を求め、当該経路に沿って走行するように走行部３４を制御する。また、走行制御部７７４は、周囲状況検出部７７１によって、経路上に衝突する可能性がある物体を検出した場合、当該物体との衝突を回避するようロボット３０を走行させる衝突回避制御を実行する。なお、上記のようにロボット３０を自律走行させる方法については、公知の方法を採用することができる。

〈情報処理装置〉
図５は、情報処理装置２０の構成を示す図である。情報処理装置２０は、複数のカメラ１０によって撮影された複数の画像（撮影画像）を処理し、利用者のジェスチャを検出してロボット３０に当該ジェスチャに応じたサービスの提供を指示する装置である。また、本実施形態の情報処理装置２０は、利用者のジェスチャを検出することに加え、マイク５０で利用者の音声を取得し、利用者の言動に基づいてロボット３０への指示を決定することができる。

情報処理装置２０は、制御部２１０、記憶部２２０、入出力部２３０及び通信部２４０を備える。入出力部２３０は、カメラ１０やマイク５０など、情報処理装置２０と接続した機器との間でデータの入出力を行うインターフェースである。また、例えば、ＣＤやＤＶＤ等の記憶媒体からデータを読み取るディスクドライブ、操作部、表示装置、スピーカ、プリンタ等の機器との間でデータの入出力を行う。操作部は、マウスやキーボード、タッチパネル等、オペレータの操作によって情報処理装置２０に対する情報が入力される入力部である。表示装置は、処理結果などの情報をオペレータに対して表示出力する出力部である。

制御部２１０は、情報処理装置２０における各種の演算処理を統括的に実行する。制御部２１０は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor
）、又はＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサ、およびＲＡＭ
（Random Access Memory）又はＲＯＭ（Read Only Memory）などの主記憶部を備える。

記憶部（補助記憶部）２２０は、ＲＡＭ等の揮発性メモリ、ＲＯＭ等の不揮発性メモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、又はリムーバブルメディアなどの記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）のようなディスク記録媒体である。また、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部２２０を構成してもよい。

記憶部２２０には、情報処理装置２０の動作を実行するための、オペレーティングシステム（Operating System：ＯＳ）、各種プログラム、各種データテーブル、各種データベースなどが記憶可能である。例えば、記憶部２２０は、ジェスチャを判別するための条件や、ジェスチャと対応するサービスの情報が登録されたデータテーブルを記憶している。

制御部２１０は、プロセッサが、記憶部２２０に記憶されたプログラムを主記憶部の作業領域に読み出して実行することで、入出力部２３０又は通信部２４０を介して接続する各構成要素（カメラ１０、ロボット３０等）を制御する所定の機能部として機能する。例えば、制御部２１０は、ジェスチャ判定部２１１、サービス決定部２１２、利用者位置特定部２１３、指令部２１４として機能する。なお、これらの機能部は、プログラム（ソフトウェア）に基づいて実現されるものに限らず、その一部又は全部が、プロセッサ、集積回路、及び論理回路等のハードウェア回路により構成されてもよい。

ジェスチャ判定部２１１は、複数のカメラ１０からの画像を基に、空間６０内複数の人のうち、少なくとも一人のジェスチャを特定すると共に、当該ジェスチャが行われた位置を特定する。

サービス決定部２１２は、画像から特定されたジェスチャに応じて、ロボット３０に実行させるサービスを決定する。例えば、サービス決定部２１２は、記憶部２２０に格納されているデータテーブル（サービステーブル）を参照し、ジェスチャと対応するサービスを読み出すことで、ロボット３０に実行させるサービスを決定する。このデータテーブルは、例えば、手を挙げる、手を振る、手招きする、特定のハンドサインを行うなどのジェスチャ毎に、ロボット３０に実行させるサービスが対応付けて登録されている。また、サービス決定部２１２は、マイク５０を介して利用者の音声を取得し、「注文お願いします。」、「ビールおかわり」、「お茶頂戴」、「会計して」などの音声とジェスチャとに応じてサービスを決定してもよい。

また、ジェスチャ判定部２１１は、ジェスチャが行われた位置に応じて、ロボット３０の移動先とする位置の情報（移動先情報）を決定する。移動先は、ジェスチャが行われた位置と同じであってもよいし、通路上においてジェスチャが行われた位置から所定距離となる位置に定められてもよい。また、ジェスチャ判定部２１１は、地図情報を参照し、ジェスチャが行われた位置から最も近いテーブルをユーザが使用するテーブルと認識し、このテーブルのサービス提供位置に定められてもよい。ここで、サービス提供位置とは、例えば、テーブルやレジなどにおいてロボット３０がサービスを提供する位置として、設備毎に予め定められた位置である。

利用者位置特定部２１３は、各カメラ１０からの画像を基に利用者の位置を特定する。例えば、利用者位置特定部２１３は、複数のカメラ１０で撮影した複数の画像に写った個々の利用者、即ち各画像に写っている同一の利用者を対応つけ、各利用者が写った複数の画像中の位置と、当該画像を撮影したカメラ１０の空間６０中の位置との位置関係から、空間６０に定めた座標における各利用者の位置を決定する。撮影画像から位置を求める場合、画面に沿った方向と比べて奥行き方向の位置を精度良く求めることが難しい。このため視差を有する複数のカメラ１０で同一の利用者を撮影し、各撮影画像に写る利用者の位置から利用者の空間６０上の位置を求める。なお、利用者の位置は、後述のようにジェスチャを判定するための骨格情報を用いて求められてもよい。本実施形態では、当該画像から求められた骨格情報のうち、利用者の頭や腰、足といった所定の部位の位置を利用者の位置として特定する。また、利用者位置特定部２１３は、ジェスチャが行われた時の利用者の位置をジェスチャが行われた位置として特定する。

指令部２１４は、ジェスチャが行われた位置を示す位置情報と、ジェスチャに応じたサ
ービスを示すサービス情報とを含む指示信号をロボット３０へ送信する。なお、ロボット３０が複数存在する場合には、サービスを行っていないロボット３０のうち、優先順位や稼働時間が少ないものなど、所定の順序に応じて。指示信号を送信するロボット３０を選択してもよい。また、注文を受ける、配膳する（荷物を搬送する）、掃除をするなど、提供できるサービスが異なる複数種類のロボット３０が存在する場合、サービス情報に応じて、指示信号を送信するロボット３０を選択してもよい。

このように制御部２１０は、画像に基づいてジェスチャを行ったユーザの位置と、このジェスチャに応じたサービスを求め、指示信号をロボット３０へ送ることで、当該ジェスチャが行われた位置へロボット３０を移動させて、ロボット３０にジェスチャと対応するサービスを提供させる。

［ジェスチャの検出］
ジェスチャ判定部２１１は、カメラ１０で撮影した画像から人（利用者）が写っている領域を抽出し、頭、手、腕、足など、各部位の動きによってジェスチャを判別する。例えば、手を頭より上に上げる、手を肩より上に上げて振る、手招きするなど、各部位の特定の動きをジェスチャとして認識する。また、ロボット３０が存在する位置や、スタッフがいる位置、厨房がある位置など、空間６０における特定の位置に対して行われた動作をジェスチャとして検出する。例えば、ジェスチャ判定部２１１は、利用者が仲間内で手を振るなどの動作を行ってもロボット３０に対するジェスチャとして検出せず、利用者がロボット３０に向けて手を振った場合にロボット３０を呼び出すジェスチャとして検出してもよい。

ジェスチャ判定部２１１が、利用者の身体における各部位の動きを検出する手法は、特段限定されるものではないが、本実施形態では、利用者の骨格情報を求め、当該骨格情報における各部位の動作によって、ジェスチャを判定する。

例えば、図６に示されるように、人の画像から、頭Ａ１、右肩Ａ２、左肩Ａ３、肩中央（首の付け根）Ａ４、首Ａ２１、右肘Ａ５、右手首Ａ６、右手Ａ７、右手先端Ａ２２、右手親指Ａ２３、左肘Ａ８、左手首Ａ９、左手Ａ１０、左手先端Ａ２４、左手親指Ａ２５、右前腕Ａ２６、右上腕Ａ２７、左前腕Ａ２８、左上腕Ａ２９、脊柱Ａ１１、腰Ａ１２、右股関節Ａ１３、右膝Ａ１４、右足首Ａ１５、右足先Ａ１６、左股関節Ａ１７、左膝Ａ１８、左足首Ａ１９、左足先Ａ２０を身体部位として特定する。

この身体部位の特定は、例えば、人の頭Ａ１、上腕Ａ２７，Ａ２９、前腕Ａ２６，Ａ２８、手Ａ７，Ａ１０、腰Ａ１２など、認識すべき部位の標準的な形状や大きさを標準データとして予め記憶しておき、撮影した画像から標準データと適合する部位をパターンマッチングによって特定する。また、上腕と前腕の接続部を肘、上腕の胴側の付け根を肩のように、パターンマッチングした部位の位置関係から身体部位を求めても良い。更に、頭に目や鼻、口が存在する場合、目や鼻、口が存在する側面を人の正面と認識し、この正面に向かって左側に位置する肩を右肩、正面に向かって右側に位置する手を左手のように、身体部位の左右を認識しても良い。また、右手Ａ７及び左手Ａ１０において、親指と他の指との位置関係によって手のひらと、手の甲とを認識してもよい。

なお、身体部位のうち、肩、肘、膝、手首等は、関節とも称される。ジェスチャ判定部２１１が認識する身体部位は、利用者の身体における部位と厳密に一致していなくてもよい。例えば、指と手のひらを一括して右手Ａ７又は左手Ａ１０とし、各指を独立して認識しなくてもよい。また、ロボット３０に対するジェスチャが主に上半身で行われる場合、ジェスチャ判定部２１１は上半身の骨格情報を取得し、下半身に係る骨格情報の取得を省略してもよい。

また、ジェスチャ判定部２１１は、各身体部位Ａ１～Ａ２９の位置を求め、各身体部位Ａ１～Ａ２９の相対的な位置関係から利用者の姿勢、即ちジェスチャを求める。例えば各カメラ１０は、所定の位置に固設され、空間６０における既知の場所を撮影しているため、各身体部位Ａ１～Ａ２９が映っている画像内の位置は、利用者が存在する空間６０における位置と対応している。このため、ジェスチャ判定部２１１は、各身体部位Ａ１～Ａ２９が映っている画像内の位置から、空間６０における位置情報を求める。

この空間６０における位置情報は、例えば、図７に示すように、空間６０の所定箇所を原点０とし、この原点Ｏを通り互いに直交する座標軸（Ｘ，Ｙ、Ｚ軸）を定めた三次元座標系における座標（以下、空間座標とも称す）であってもよい。なお、各身体部位の三次元座標は、例えば、画像における各身体部位の画素毎に求められてもよいし、各身体部位の基準となる一点や、中心点、始点と終点の二点など、各身体部位を代表する所定箇所毎に求められてもよい。例えば、頭Ａ１であれば頭頂部、肩中央Ａ４であれば首の付け根となる両肩Ａ２，Ａ３の中心等である。ジェスチャ判定部２１１は、これら身体部位Ａ１～Ａ２９毎の位置情報を骨格情報として求める。

また、右手首Ａ６は右前腕と接続され、右前腕は右肘Ａ５と接続されるなど、各身体部位Ａ１～Ａ２９は、それぞれ特定の身体部位Ａ１～Ａ２９と接続されているため、ジェスチャ判定部２１１は、これら身体部位Ａ１～Ａ２９の接続関係を骨格情報に含めてもよい。また、ジェスチャ判定部２１１は、複数の身体部位Ａ１～Ａ２９における相対的な位置や、身体部位Ａ１～Ａ２９の向き（基準とする方向に対する傾き）を示す情報を求め、骨格情報に含めてもよい。この骨格情報は、例えば１／３０ｆｐｓといった所定の周期で撮影されたフレーム（１コマの画像）毎に求められ、時間的に連続する各フレームの骨格情報（Body Frame）のデータが一連のフレームデータ群として求められる。

ジェスチャ判定部２１１は、各身体部位Ａ１～Ａ２９の位置からジェスチャを判定する。例えば、ジェスチャ判定部２１１は、ジェスチャの条件が登録されたデータテーブル（条件テーブル）を参照し、各身体部位Ａ１～Ａ２９の位置が条件を満たした場合に、当該条件と対応するジェスチャが行われたと判定する。図８は、条件テーブルの例を示す図である。図８では、「右手Ａ７又は左手Ａ１０が、頭Ａ１より上に位置している」「右手Ａ７又は左手Ａ１０が、右肩Ａ２、左肩Ａ３より上に位置し、右手Ａ７又は左手Ａ１０の特定方向への移動が繰り返された」「右手Ａ７又は左手Ａ１０の位置が、右手首Ａ６又は左手首Ａ９を中心として略円弧状に上下方向へ繰り返し移動された」などを条件とし、「挙手した」「手を振った」「手招きした」などのジェスチャと対応付けている。なお、図８の条件やジェスチャは一例であり、これに限定されるものではない。また、図８では、説明の便宜上、条件やジェスチャを「右手Ａ７又は左手Ａ１０が、頭Ａ１より上に位置している」のように自然言語で示したが、これに限らずジェスチャ判定部２１１が判定可能な形式のデータであればよい。

また、利用者位置特定部２１３は、各身体部位Ａ１～Ａ２９の位置からジェスチャが行われた位置を特定する。例えば、ジェスチャを行った利用者の頭Ａ１の位置や、肩中央Ａ４、首Ａ２１、腰Ａ１２の位置など、ジェスチャが行われた時点における所定の身体部位の位置をジェスチャが行われた位置とする。

〈サービス提供方法〉
図９は、情報処理装置２０の制御部２１０が実行する処理を示す図である。制御部２１０は、情報処理装置２０の電源がＯＮされた場合や、処理開始の指示があった場合に、図９の処理を開始し、情報処理装置２０の電源がＯＦＦされるまで、又は処理停止の指示があるまで図９の処理を繰り返す。

ステップＳ１０にて、制御部２１０は、各カメラ１０で撮影した画像及びマイク５０からの音声信号を取得する。ここで取得する画像及び音声は、例えば、利用者がジェスチャを行ったか否かを判定できるように現時点から所定時間（１秒～１５秒）前までの動画像及び音声であってもよい。

ステップＳ２０にて、制御部２１０は、ステップＳ１０で取得した画像に基づいて、空間６０内にいる人の骨格情報を求める。

ステップＳ３０にて、制御部２１０は、条件テーブルを参照し、ステップＳ２０で求めた骨格情報及びステップＳ１０で取得した音声に基づいて、空間６０内にいる人のジェスチャを特定する。

ステップＳ４０にて、制御部２１０は、ステップＳ３０でジェスチャが特定されたか否かを判定し、否定判定であれば図９の処理を終了し、肯定判定であればステップＳ５０へ移行する。

ステップＳ５０にて、制御部２１０は、ジェスチャを行った人の骨格情報のうち、所定の身体部位の位置からジェスチャが行われた位置を決定する。

ステップＳ６０にて、制御部２１０は、サービステーブルを参照し、ジェスチャと対応するサービスを決定する。

ステップＳ７０にて、制御部２１０は、ジェスチャが行われた位置に応じてロボット３０の移動先を決定する。

ステップＳ８０にて、制御部２１０は、ジェスチャが行われた位置に応じた位置情報（移動先情報）と、ジェスチャに応じたサービスを示すサービス情報とを含む指示信号をロボット３０へ送信する。

図１０は、ロボット３０の制御部３７７が実行する処理を示す図である。制御部３７７は、ロボット３０の電源がＯＮされた場合や、処理開始の指示があった場合に、図１０の処理を開始し、ロボット３０の電源がＯＦＦされるまで、又は処理停止の指示があるまで図１０の処理を繰り返す。

ステップＳ１１０にて、制御部３７７は、情報処理装置２０から送信された指示信号を取得する。この指示信号の取得は、情報処理装置２０と接続して情報処理装置２０から直接取得してもよいし、情報処理装置２０から送信された指示信号を随時受信して記憶部３７２に記憶しておき、制御部３７７がステップＳ１１０で記憶部３７２から指示信号を読み出すものでもよい。

ステップＳ１２０にて、制御部３７７は、ステップＳ１１０で取得した指示情報に含まれるサービス情報に基づき、荷物の積載が必要か否かを判定する。荷物の積載の要否は、例えば、提供するサービス毎に決められ、サービステーブルに登録される。この場合、制御部３７７は、サービステーブルを参照することで、荷物の積載の要否を判定する。例えば、提供するサービスが「注文の受け付け」であれば、荷物の事前積載は否と判定し、「水の提供」であれば、荷物の事前積載は要と判定する。

ステップＳ１２０で肯定判定であれば、ステップＳ１３０へ移行し、所定の積載場所に移動して荷物の積載を受ける。積載場所の担当者は、情報処理装置２０からの通知等によ
り、ロボット３０に積載する荷物（例えば、水）を積載部３３に積載する。

ステップＳ１４０にて、制御部３７７は、積載が完了したか否かを判定する。例えば、担当者から積載完了の指示が入力された場合や、積載物センサ３３２により、所定の荷物が積載されたことを検出した場合に、積載が完了したと判定（肯定判定）する。

ステップＳ１４０で肯定判定の場合、又はステップＳ１２０で否定判定の場合、制御部３７７は、ステップＳ１５０へ移行する。

ステップＳ１５０にて、制御部３７７は、ステップＳ１１０で取得した指示情報に含まれる移動先情報に基づいて、サービスを提供する位置（移動先）へ移動する。

ステップＳ１６０にて、制御部３７７は、移動先に到達したか否かを判定し、肯定判定であれば、ステップＳ１７０へ移行する。

ステップＳ１７０にて、制御部３７７は、サービス情報に基づいてサービスを提供する。例えば、サービスが、水などの荷物の提供であれば、積載部３３を利用者側に向けて停止し、「〇〇をお持ちしました。トレーからおとり下さい」のように音声メッセージを出力する。また、サービスが、注文の受け付けであれば、ディスプレイ３５１を利用者に向けて停止し、スピーカ３５２から「ご注文をお伺いいたします」のように音声出力する。また、利用者による注文の音声をマイク３５３で取得し、音声認識して注文された商品名をディスプレイ３５１に表示すると共に「○○を一つ、△△を二つですね？」などのように音声メッセージを出力する。また、制御部３７７は、注文を受け付けた商品の情報を情報処理装置２０や店舗のオーダーシステムに送信する。なお、注文を送信し、商品を準備する処理については、既存のシステムを利用できるため、説明を省略する。

ステップＳ１８０にて、制御部３７７は、サービスが完了したか否かを判定する。例えば、サービスが荷物の提供であれば、積載物センサ３３２により、積載部３３から全ての荷物が取り出されたことを検出した場合にサービスが完了したと判定する。また、サービスが注文の受け付けであれば、「ご注文は、以上で宜しいでしょうか？」のように確認の音声メッセージを出力し、「はい」「ＯＫです」などのように、完了を肯定する利用者の音声を検出した場合に、サービスが完了したと判定する。

ステップＳ１９０にて、制御部３７７は、次の指示信号があるか否かを判定し、次の指示信号があると判定（肯定判定）した場合、図９の処理を終了して、次のサービスの提供を行うように図９の処理を繰り返し、次の指示信号が無いと判定（否定判定）した場合、待機場所への移動を開始し（ステップＳ２００）、図９の処理を終了する。

〈実施形態の効果〉
上述のように、対象の空間６０内に複数の利用者が存在し、利用者より少ない台数のロボット３０でサービスを提供する場合、利用者がロボット３０を呼び出すことになるが、本実施形態のサービス提供システムは、複数のカメラ１０によって撮影された画像に基づいて、利用者のジェスチャを特定し、ジェスチャを行った利用者のところへロボット３０を向かわせて、サービスを提供する。

これにより、利用者は、タブレットの操作のような煩雑な操作を行うことなく、スタッフを呼ぶときに行う自然な動作（ジェスチャ）によって容易にロボット３０を呼び出すことができる。このため、本実施形態のサービス提供システムは、複数の人に対して、各人に応じたサービス提供を容易に行うことができ、ユーザビリティを向上させることができる。

〈第二実施形態〉
図１１は、ジェスチャによって、ロボット３０を呼び出すと共に、サービスの提供位置を指定する例を示す図、図１２は、第二実施形態において、情報処理装置２０の制御部２１０が実行する処理を示す図である。第一実施形態では、利用者のジェスチャによって、提供するサービスと、ロボット３０を向かわせる位置を検出したが、本実施形態では、これに加え、サービスを提供する位置を検出する。なお、この他の構成は、前述の第一実施形態と同じであるため、同一の要素には同符号を付すなどして再度の説明を省略する。

図１１の例では、利用者が右手Ａ７を右肩Ａ２より上げてロボット３０を呼び出すジェスチャを行うと共に、左前腕Ａ２８の向きによりサービスの提供を受ける位置を指定するジェスチャを行っている。制御部２１０は、図１１のジェスチャを検出した場合、骨格情報に基づき、左前腕Ａ２８を左手側（先側）に延長した延長線８１を求め、この延長線８１と空間６０の床面６１との交点６２を求め、この交点６２の位置をサービスの提供位置とし、位置情報を求める。なお、サービスの提供位置を指定するジェスチャは、この前腕で指し示すジェスチャに限定されるものではなく、指や足で指し示すようなジェスチャであってもよい。

また、右手でロボット３０を呼び出すジェスチャを行っているときに、左前腕Ａ２８の（先側）を動かしてサービスを受ける範囲を指定してもよい。この場合、制御部２１０は、左前腕Ａ２８の動きに応じて、左前腕Ａ２８を延長した先における交点６２の移動軌跡を求め、この移動軌跡によって囲まれる範囲をサービスの提供範囲として求めてもよい

本実施形態の制御部２１０は、図１２に示すように、ステップＳ１０からステップＳ４０までは、図９と同様に実行する。そして、ステップＳ４０の後、制御部２１０は、ステップＳ５０Ａにて、ジェスチャを行った人の骨格情報のうち、所定の身体部位の向き、本例では左前腕が指し示す位置からサービスの提供位置や提供範囲を決定する。

ステップＳ６０にて、制御部２１０は、サービステーブルを参照し、ジェスチャと対応するサービスを決定する。

ステップＳ７０にて、制御部２１０は、サービスの提供位置や提供範囲に応じてロボット３０の移動先を決定する。

ステップＳ８０にて、制御部２１０は、サービスの提供位置や提供範囲と、移動先情報と、ジェスチャに応じたサービスを示すサービス情報とを含む指示信号をロボット３０へ送信する。

この指示信号を取得したロボット３０は、前述の図１０と同様に処理を実行し、移動先へ移動し、サービスの提供位置や提供範囲においてサービスを提供する。例えば、提供位置や提供範囲にあるゴミや汚れを掃除する。提供位置や提供範囲へ荷物を搬送するといったサービスを行う。

このように本実施形態では、ユーザがジェスチャによってロボット３０を呼び出すと同時にサービスの提供位置や提供範囲を指定できる。即ち、本実施形態のサービス提供システムは、ジェスチャによってサービスの提供位置や提供範囲の指定を可能にし、的確にサービスを提供できるようにして、ユーザビリティを向上させることができる。

〈第三実施形態〉
前述の第一実施形態では、利用者のジェスチャを検出する毎にロボット３０へ指示情報
を送信するため、ジェスチャが行われた順にサービスが提供される。但し、同時にジェスチャが行われた場合、ジェスチャの順序が判別できないことがある。特に、手を振るなど、動きのあるジェスチャの場合、ある程度継続してジェスチャを行うので、ジェスチャの順序が判別できないケースが多くなる可能性がある。そこで、本実施形態では、複数のジェスチャを順序が判別できないタイミングで検出した場合には、ジェスチャを検出した人に対して所定の順番でサービスを提供させる構成とした。なお、この他の構成は、前述の第一実施形態と同じであるため、同一の要素には同符号を付すなどして再度の説明を省略する。なお、この他の構成を前述の第二実施形態と同じとしてもよい。

図１３は、第三実施形態に係る情報処理装置２０の構成を示す図である。本実施形態では、制御部２１０のプロセッサが、プログラムを読み出して実行することで、前述の機能部に加え、順序決定部２１５としても機能する。

順序決定部２１５は、ジェスチャが行われた際に当該ジェスチャの順序を決定し、指示情報に付加する順序情報を生成する。例えば、順序決定部２１５は、空間６０内の複数の人による複数のジェスチャを順次検出した場合には、ジェスチャを検出した順序で順序情報を生成する。これによりジェスチャが行われた順にサービスを提供させることができる。

一方、複数の人による複数のジェスチャを順序が判別できないタイミングで検出した場合、順序決定部２１５は、所定条件に基づいて順序を決定し、順序情報を生成する。例えば、順序決定部２１５は、ロボット３０との距離が最も近い人、入店した時間が早い人、ロボット３０を呼び出した回数が少ない人など、ロボット３０と各利用者との距離や、各利用者の入店時間、ロボット３０の呼び出し回数に基づいて順序を決定する。ここでロボット３０の位置は、情報処理装置２０がロボット３０と通信してロボット３０から取得する。また、利用者の入店時間や、ロボット３０の呼び出し回数は、制御部２１０が利用者毎に求めて記憶部２２０に記憶しておき、記憶部２２０から取得される。

図１４は、第三実施形態において、情報処理装置２０の制御部２１０が実行する処理を示す図である。本実施形態の制御部２１０は、図１４に示すように、ステップＳ１０からステップＳ５０までは、図９と同様に実行する。そして、ステップＳ５０の後、制御部２１０は、ステップＳ５２にて、複数のジェスチャを順序が判別できないタイミングで検出したか否かを判定する。ここで、順序が判別できないタイミングは、例えば、複数のジェスチャが行われたタイミングの差が所定時間以内の場合が挙げられる。また、ジェスチャが行われたタイミングは、例えば、ジェスチャを開始した時刻や、ジェスチャの動作が完了した時刻が挙げられる。

ステップＳ５２で否定判定であれば、制御部２１０は、ステップＳ５４へ移行し、ジェスチャが行われた順に順序情報を生成する。

一方、ステップＳ５２で肯定判定であれば、制御部２１０は、ステップＳ５５へ移行し、ロボット３０と各利用者との距離や、各利用者によるロボット３０の呼び出し回数等の所定条件に基づいて順序情報を生成する。

ステップＳ５４，Ｓ５５の後、ステップＳ６０～Ｓ７０の処理は、図９の処理と同じである。

ステップＳ８０にて、制御部２１０は、ジェスチャが行われた位置に応じた位置情報（移動先情報）と、ジェスチャに応じたサービスを示すサービス情報と、ステップＳ４４，Ｓ４５で生成した順序を含む指示信号をロボット３０へ送信する。

指示信号を受信したロボット３０は、順序情報に示される順序で図１０の処理を実行する。即ち、順序が判別できないタイミングでジェスチャを行った複数の人に対して所定の順番でサービスを提供する。

このように本実施形態のサービス提供システムは、順序が判別できないタイミングでジェスチャが行われた場合でも所定条件に基づいて順序を決定し、適切にサービスを提供することができる。

〈第四実施形態〉
前述の第三実施形態では、所定条件に基づいて順序を決定したが、本実施形態では、利用者毎の優先度に基づいて順序を決定する構成とした。なお、この他の構成は、前述の第三実施形態と同じであるため、同一の要素には同符号を付すなどして再度の説明を省略する。

図１５は、第三実施形態に係るサービス提供システム１００の概略構成図、図１６は、第三実施形態に係る識別装置７０の構成を示す図である。本実施形態のサービス提供システム１００では、利用者が識別装置７０を有し、情報処理装置２０は識別装置７０から発信された識別情報に応じた優先度に基づいて順序を決定する。この優先度は、例えば、予め識別情報毎に割り当てられ、記憶部２２０に記憶される。この場合、情報処理装置２０は、受信した識別情報と対応する優先度を記憶部２２０から読み出して順序の決定に用いる。これに限らず、識別情報自体が優先度を示す情報であってもよく、この場合、情報処理装置２０は、受信した識別情報が示す優先度に基づいて順序を決定する。

識別装置７０は、例えば、利用者が携帯するスマートフォンやタブレットなどの情報端末である。識別装置７０は、制御部７１０、記憶部７２０、入出力部７３０及び通信部７４０を備える。制御部７１０は、識別装置７０における各種の演算処理を統括的に実行する。制御部７１０は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、又はＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサ、およびＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）などの主記憶部を備える。

記憶部（補助記憶部）７２０、入出力部７３０及び通信部７４０は、図５の記憶部２２０、入出力部２３０及び通信部２４０と同様であるため、説明を省略する。

制御部７１０は、プロセッサが、記憶部７２０に記憶されたプログラムを主記憶部の作業領域に読み出して実行することで、所定の機能部として機能する。例えば、制御部７１０は、位置取得部７１１、識別信号送信部７１２として機能する。なお、これらの機能部は、プログラム（ソフトウェア）に基づいて実現されるものに限らず、その一部又は全部が、プロセッサ、集積回路、及び論理回路等のハードウェア回路により構成されてもよい。

位置取得部７１１は、例えば、ビーコン装置４０からビーコン信号を受信した場合に、このビーコン信号を位置情報として取得する。また、位置取得部７１１は、複数のビーコン信号を受信した場合に、これらの電波強度を比較し、最も強い電波強度のビーコン信号を位置情報としてもよい。また、位置取得部７１１は、複数のビーコン信号を受信した場合に、これらの電波強度から各ビーコン装置４０との距離を求め、複数のビーコン装置４０との距離と各ビーコン装置４０の位置とに基づいて現在位置を求めて位置情報としてもよい。

識別信号送信部７１２は、位置取得部７１１で取得した位置情報と、利用者を識別するための識別情報とを含む識別信号を情報処理装置２０へ送信する。

識別信号を受信した情報処理装置２０は、順序決定部２１５が、受信した識別信号の位置情報とジェスチャが行われた空間座標（位置情報）とを照合し、合致する識別信号、即ち、ジェスチャを行った利用者の識別情報を特定する。なお、ジェスチャが行われた位置と位置情報が示す位置との合致は、完全に一致することに限らず、誤差を許容するように、ジェスチャが行われた位置に対して、位置情報の示す位置が所定範囲内であれば合致すると判定してもよい。そして、順序決定部２１５は、ジェスチャを行った各利用者の識別信号に含まれる識別情報に応じた優先度に基づいて順序を決定する。

図１７は、第四実施形態において、情報処理装置２０の制御部２１０が実行する処理を示す図である。本実施形態の制御部２１０は、図１７に示すように、ステップＳ１０からステップＳ５２までは、図１４と同様に実行する。

ステップＳ５２で否定判定であれば、制御部２１０は、ステップＳ５４へ移行し、ジェスチャが行われた順に順序情報を生成する。

一方、ステップＳ５２で肯定判定であれば、制御部２１０は、ステップＳ５６へ移行し、各利用者の識別装置７０から受信した識別信号のうち、ジェスチャを行った利用者の識別信号を特定する。

ステップＳ５７にて、制御部２１０は、順序が判別できないタイミングで検出された複数のジェスチャについて、ステップＳ５６で求めた各利用者の識別情報に応じた優先度を記憶部２２０から求め、各利用者の優先度に基づいて順序情報を生成する。例えば、ジェスチャを行った利用者の優先度が高い順にサービスを行わせるように順序情報を生成する。なお、優先度が所定値よりも低い場合、当該利用者のジェスチャに応答しない、即ちロボット３０によるサービスの提供を行わない設定としてもよい。また、複数の利用者の優先度が同じであった場合、前述の第三実施形態と同じように、各利用者との距離や、各利用者によるロボット３０の呼び出し回数等の所定条件に基づいて順序情報を生成してもよい。

ステップＳ５７の後、サービスを決定して指示信号をロボット３０へ送信するステップＳ６０～Ｓ８０の処理は、図１４の処理と同じである。また、指示信号を受信したロボット３０は、前述の第三実施形態と同様、順序情報に示される順序で図１０の処理を実行する。

このように本実施形態のサービス提供システムは、順序が判別できないタイミングでジェスチャが行われた場合に、ジェスチャを行った利用者の優先度に基づいて順序を決定し、適切にサービスを提供することができる。

〈変形例〉
前述の第四実施形態では、識別装置７０が、ビーコン装置４０からビーコン信号を受信して、このビーコン信号を位置情報とし、位置情報と識別情報とを含む識別信号を情報処理装置２０へ送信する構成としたが、識別情報を送信する手法は、これに限定されるものではない。例えば、識別装置７０が、識別情報を発信し、この識別情報を受信したビーコン装置４０が、自身の設置位置を受信した識別情報を発信した識別装置７０の位置（即ち利用者の位置）として位置情報を生成し、この位置情報と識別情報を含む識別信号を情報処理装置２０へ送信する構成であってもよい。この場合、識別装置７０は、単に識別情報を発信するＩＣ（Integrated Circuit）タグや発信機であってもよい。なお、識別信号を
受信した情報処理装置２０が、受信した識別信号に応じた優先度に基づいて順序を決定する構成は前述と同様である。

〈第五実施形態〉
前述の第三実施形態では、所定条件に基づいて順序を決定したが、本実施形態では、利用者が身に着けている標識の優先度に基づいて順序を決定する構成とした。なお、この他の構成は、前述の第三実施形態と同じであるため、同一の要素には同符号を付すなどして再度の説明を省略する。

本実施形態では、空間６０内にいる複数の利用者のうち少なくとも一人が識別用の標識を身に着けている。ここで標識は、カメラ１０で撮影した画像から識別可能な所定の色や形状を有した物体であればよい。例えば、この標識は、二次元バーコード等の記号が記載されたプレートや、制服、帽子、腕章、ゼッケン、ビブス、名札などであってもよい。また、標識は、利用者の服や、バッグ等の持ち物を来店時に登録したものであってもよい。なお、利用者が身に着けている標識は、利用者に固定されたものに限らず、各利用者との対応関係が分かる程度に近接して配置されたものでもよい。例えば、利用者の脇に置かれたカバンや利用者の前に置かれた札などであってもよい。更に、標識は、利用者が座る椅子や、利用者が利用しているテーブル等であってもよい。

図１８は、第五実施形態に係る情報処理装置２０の構成を示す図である。本実施形態では、制御部２１０のプロセッサが、プログラムを読み出して実行することで、前述の機能部に加え、優先度特定部２１６としても機能する。

優先度特定部２１６は、カメラ１０で撮影した画像のうち、利用者が写っている領域から標識を抽出し、標識に割り当てられた優先度を求める。この優先度は、例えば、予め標識毎に割り当てられ、記憶部２２０に記憶される。この場合、優先度特定部２１６は、標識を抽出した際に記憶部２２０を参照し、当該標識に対応した優先度を読み出し、当該標識を身に着けた利用者の優先度として特定する。

図１９は、第五実施形態において、情報処理装置２０の制御部２１０が実行する処理を示す図である。本実施形態の制御部２１０は、図１９に示すように、ステップＳ１０からステップＳ５２までは、図１４と同様に実行する。

ステップＳ５２で否定判定であれば、制御部２１０は、ステップＳ５４へ移行し、ジェスチャが行われた順に順序情報を生成する。

一方、ステップＳ５２で肯定判定であれば、制御部２１０は、ステップＳ５５へ移行し、各利用者が写っている領域から標識を抽出し、標識に割り当てられた優先度を求める。

ステップＳ５７にて、制御部２１０は、順序が判別できないタイミングで検出された複数のジェスチャについて、ステップＳ５５で求めた各利用者の優先度に基づいて順序情報を生成する。例えば、ジェスチャを行った利用者の優先度が高い順にサービスを行わせるように順序情報を生成する。なお、複数の利用者の優先度が同じであった場合、前述の第三実施形態と同じように、各利用者との距離や、各利用者によるロボット３０の呼び出し回数等の所定条件に基づいて順序情報を生成してもよい。

ステップＳ５７の後、サービスを決定して指示信号をロボット３０へ送信するステップＳ６０～Ｓ８０の処理は、図１４の処理と同じである。また、指示信号を受信したロボット３０は、前述の第三実施形態と同様、順序情報に示される順序で図１０の処理を実行する。

このように本実施形態のサービス提供システムは、順序が判別できないタイミングでジェスチャが行われた場合に、利用者の標識に応じた優先度に基づいて順序を決定し、適切にサービスを提供することができる。

なお、上記の実施形態や変形例は、一例であり、上記構成に限定されるものではなく、発明の趣旨に反しない範囲で変更してもよい。例えば上記の実施形態や変形例の要素を組み合わせても、一部の要素を省略してもよい。

１０ ：カメラ
２０ ：情報処理装置
３０ ：移動体（ロボット）
３１ ：筐体
３２ ：周囲センサ
３３ ：積載部
３４ ：走行部
３５ ：ユーザインタフェース
３６ ：電源
３７ ：制御装置
４０ ：ビーコン装置
５０ ：マイク
６０ ：空間
６１ ：床面
７０ ：識別装置
８１ ：延長線
１００ ：サービス提供システム
２１０ ：制御部
２１１ ：ジェスチャ判定部
２１２ ：サービス決定部
２１３ ：利用者位置特定部
２１４ ：指令部
２１５ ：順序決定部
２１６ ：優先度特定部
２２０ ：記憶部
２３０ ：入出力部
２４０ ：通信部
３１１ ：下部筐体
３１２ ：上部筐体
３３１ ：棚板
３３２ ：積載物センサ
３４１ ：原動機
３４２ ：車輪
３４３ ：操舵機構
３４４ ：制動機構
３５１ ：ディスプレイ
３５２ ：スピーカ
３５３ ：マイク
３７１ ：通信部
３７２ ：記憶部
３７３ ：入出力部
３７７ ：制御部
７１０ ：制御部
７１１ ：位置取得部
７１２ ：識別信号送信部
７２０ ：記憶部
７３０ ：入出力部
７４０ ：通信部
７７１ ：周囲状況検出部
７７２ ：位置情報算出部
７７３ ：指示取得部
７７４ ：走行制御部
７７５ ：指示実行部

Claims (8)

1. 対象の空間に配置された複数のカメラと、
   前記複数のカメラによって撮影された複数の画像を処理する情報処理装置と、
   前記情報処理装置による処理結果に基づいて前記空間内でサービスを提供する移動体と、を備え、
   前記情報処理装置は、
   前記複数のカメラからの画像を基に、前記空間内の複数の人のうち、少なくとも一人のジェスチャを特定すると共に、当該ジェスチャが行われた位置を特定することと、
   前記ジェスチャが行われた位置へ前記移動体を移動させて、前記移動体に前記ジェスチャに対応する前記サービスを提供させることと、
   を行うサービス提供システム。
2. 前記情報処理装置は、
   前記空間内の複数の人による複数のジェスチャを順次検出した場合には、前記ジェスチャを検出した順序で前記サービスを提供させ、
   前記空間内の複数の人による複数のジェスチャを順序が判別できないタイミングで検出した場合には、前記ジェスチャを検出した人に対して所定の順番で前記サービスを提供させる請求項１に記載のサービス提供システム。
3. 前記複数の人のうち少なくとも一人が識別信号を発信する識別装置を有している場合に、
   前記情報処理装置は、
   前記空間内の複数の人による複数のジェスチャを順次検出した場合に、前記ジェスチャを検出した順序で前記サービスを提供させ、
   前記空間内の複数の人による複数のジェスチャを順序が判別できないタイミングで検出した場合には、前記ジェスチャを検出した人の識別装置から受信した識別情報に応じた優先度に基づいて順序を決定し、当該順番で前記サービスを提供させる請求項２に記載のサービス提供システム。
4. 前記複数の人のうち少なくとも一人が識別用の標識を身に着けている場合に、
   前記情報処理装置は、
   前記空間内の複数の人による複数のジェスチャを順次検出した場合には、前記ジェスチャを検出した順序で前記サービスを提供させ、
   前記空間内の複数の人による複数のジェスチャを順序が判別できないタイミングで検出した場合には、前記ジェスチャを検出した人の前記標識に応じた優先度に基づいて順序を決定し、当該順番で前記サービスを提供させる請求項２に記載のサービス提供システム。
5. 前記空間の所定位置に設けられ、ビーコン信号を送信するビーコン装置を更に備え、
   前記移動体が、前記ビーコン信号に基づいて前記位置へ移動する請求項１～４の何れか１項に記載のサービス提供システム。
6. 前記情報処理装置は、前記複数のカメラで撮影した複数の画像に写った個々の人を対応つけ、各人が写った前記複数の画像中の位置と、当該画像を撮影した前記カメラの前記空間中の位置との位置関係から、前記空間に定めた座標における各人の位置を決定する請求項１～４の何れか１項に記載のサービス提供システム。
7. 対象の空間に配置された複数のカメラと、
   前記複数のカメラによって撮影された複数の画像を処理する情報処理装置と、
   前記情報処理装置による処理結果に基づいて前記空間内でサービスを提供する移動体と
   、を備えるサービス提供システムが実行するサービス提供方法であって、
   前記情報処理装置は、
   前記複数のカメラからの画像を基に、前記空間内の複数の人のうち、少なくとも一人のジェスチャ及び当該ジェスチャが行われた位置を特定することと、
   前記ジェスチャが行われた位置と前記ジェスチャを示す情報を前記移動体へ指示することとを行い、
   前記移動体は、前記情報処理装置からの指示に基づき、前記ジェスチャが行われた位置へ移動して、前記ジェスチャに対応する前記サービスを提供する、
   サービス提供方法。
8. 対象の空間に配置された複数のカメラと、
   前記複数のカメラによって撮影された複数の画像を処理する情報処理装置と、
   前記情報処理装置による処理結果に基づいて前記空間内でサービスを提供する移動体と、を備えるサービス提供システムの前記情報処理装置に、
   前記複数のカメラからの画像を基に、前記空間内の複数の人のうち、少なくとも一人のジェスチャ及び当該ジェスチャが行われた位置を特定することと、
   前記ジェスチャが行われた位置へ前記移動体を移動させて、前記移動体に前記ジェスチャに対応する前記サービスを提供させることと、
   を実行させるサービス提供プログラム。

Images