JPWO2019171917A1 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Abstract

ロボットの外部に発生した問題に複数のロボットが連携して対処すること。情報処理装置であって、第１ロボットから情報を取得する取得部を備えた。情報処理装置は、取得した情報を分析する分析部を備えた。情報処理装置は、分析結果から、連携すべき第２ロボットおよびその作業内容を決定する決定部を備えた。情報処理装置は、決定部の決定に基づいて、第２ロボットに対して、作業内容を指示する指示部を備えた。

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

上記技術分野において、特許文献１には、サービスフロー実行中のロボットに突発的な異常が発生した場合、ロボットの保有能力などを条件として、そのサービスフローを引き継げるサービスフロー提供中でないロボットを検索し、サービスフローの引き継ぎを行う技術が開示されている。特許文献２には、サービス実施中のロボットの位置が、サービス切り替え位置を基準として定まる所定の範囲以内である場合に、サービス実施中でないロボットの中からサービス引き継ぎロボットを選択する技術が開示されている。

特開２００７−２４９８０１号公報 特開２００７−２４５３１７号公報

しかしながら、上記文献に記載の技術では、ロボットの外部に発生した問題に複数のロボットが連携して対処することができなかった。

本発明の目的は、上述の課題を解決する技術を提供することにある。

上記目的を達成するため、本発明に係る情報処理装置は、
第１ロボットから情報を取得する取得部と、
取得した情報を分析する分析部と、
分析結果から、連携すべき第２ロボットおよびその作業内容を決定する決定部と、
前記決定部の決定に基づいて、前記第２ロボットに対して、前記作業内容を指示する指示部と、
を備えた。

上記目的を達成するため、本発明に係る情報処理方法は、
第１ロボットから情報を取得する取得ステップと、
取得した情報を分析する分析ステップと、
分析結果から、連携すべき第２ロボットおよびその作業内容を決定する決定ステップと、
前記決定ステップにおける決定に基づいて、前記第２ロボットに対して、前記作業内容を指示する指示ステップと、
を含む。

上記目的を達成するため、本発明に係る情報処理プログラムは、
第１ロボットから情報を取得する取得ステップと、
取得した情報を分析する分析ステップと、
分析結果から、連携すべき第２ロボットおよびその作業内容を決定する決定ステップと、
前記決定ステップにおける決定に基づいて、前記第２ロボットに対して、前記作業内容を指示する指示ステップと、
をコンピュータに実行させる。

本発明によれば、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。

本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の備えるロボット性能テーブルの一例を示す図である。 本発明の第２実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第３実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第３実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第３実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第３実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第３実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第４実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第４実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第４実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第４実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第４実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第５実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第５実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第５実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第５実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第５実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第６実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第６実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第６実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第６実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第６実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第７実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第７実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第７実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第７実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第７実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第８実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第８実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第８実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第８実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第８実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第９実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第９実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第９実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第９実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第９実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第１０実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第１０実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第１０実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第１０実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第１０実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第１１実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第１１実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第１１実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第１１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第１１実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第１２実施形態に係る情報処理装置による処理の一例を示す図である。 本発明の第１２実施形態に係る情報処理装置の構成を示すブロック図である。 本発明の第１２実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。 本発明の第１２実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本発明の第１２実施形態に係る情報処理装置の処理手順を説明するフローチャートである。 本発明の第１３実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明記載する。ただし、以下の実施の形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、ロボットから取得した情報を分析して連携すべきロボットを決定する装置である。

図１に示すように、情報処理装置１００は、取得部１０１と分析部１０２と決定部１０３と指示部１０４とを含む。取得部１０１は、第１ロボットから情報を取得する。分析部１０２は、取得した情報を分析する。決定部１０３は、分析結果から、連携すべき第２ロボットおよびその作業内容を決定する。指示部１０４は、決定部１０３の決定に基づいて、第２ロボットに対して、作業内容を指示する。

本実施形態によれば、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。

［第２実施形態］
次に本発明の第２実施形態に係る情報処理装置について、図２乃至図６を用いて説明する。図２は、本実施形態に係る情報処理装置２００による処理の一例を示す図である。

図２に示したように、例えば、店頭に並べる商品をバックヤード２１１から店舗２１０内（店舗内）の所定の陳列棚まで搬送して陳列する機能を有する搬送ロボット２０１が、店舗２１０内で商品の搬送作業を行っているとする。

店舗２１０内で作業を行っている搬送ロボット２０１は、店舗２１０内の移動や店舗２１０内での作業のために、カメラで周辺の画像を撮像している。また、搬送ロボット２０１は、カメラで撮像した周辺画像を画像情報として情報処理装置２００に送信する。情報処理装置２００は、店舗２１０内で作業している搬送ロボット２０１から画像情報を受信し、取得する。

情報処理装置２００は、取得した画像情報を解析して、解析結果から店舗２１０内で発生した問題を検出する。ここでは、情報処理装置２００は、床が汚れていることを検出する。また、床の汚れを検出した情報処理装置２００は、床の汚れが店舗２１０のどの位置にあるのかに関する位置情報を検知する。また、情報処理装置２００は、床の汚れを取り除くために必要な作業内容を決定する。

そして、情報処理装置２００は、店舗２１０内で作業をしている搬送ロボット２０１により、その汚れをきれいにすることができるか否かを判定する。つまり、情報処理装置２００は、店舗２１０内で発生した床の汚れという問題を搬送ロボット２０１で解決することができるか否かを判定する。

搬送ロボット２０１は、床の汚れを取り除くことができないので、情報処理装置２００は、搬送ロボット２０１では床の汚れを取り除けないと判定する。情報処理装置２００は、床の汚れを取り除くことができるロボットとして、清掃ロボット２０２を選択する。

情報処理装置２００は、選択した清掃ロボット２０２に対して、作業内容を指示する。情報処理装置２００が指示する作業内容としては、例えば、床が液体等で汚れている場合には、床を拭いて液体を取り除くという作業内容である。そして、バックヤード２１１で待機していた清掃ロボット２０２が、店舗２１０内に出動し、汚れを取り除く。

なお、情報処理装置２００が選択または指示する清掃ロボット２０２は、バックヤード２１１に待機している清掃ロボット２０２には限定されず、店舗２１０内で作業中や移動中の清掃ロボット２０２であってもよい。このように、情報処理装置２００は、搬送ロボット２０１と清掃ロボット２０２とを連携させて、搬送ロボット２０１などの外部に発生した問題を解決する。

情報処理装置２００が清掃ロボット２０２を選択する場合、例えば、汚れの位置からの近さや、清掃ロボットの２０２の能力、作業中か否か、汚れの程度などの情報を総合的に勘案して、選択するが、勘案する情報はこれらには限定されない。

また、例えば、床にゴミ等が落ちている場合には、情報処理装置２００は、ゴミ等を拾うことができる清掃ロボットや、掃き掃除ができる清掃ロボットなどを選択し、これらの清掃ロボットに対して作業内容を指示して、ゴミを拾わせたり、ゴミを回収させたりする。

なお、図２に示した搬送ロボット２０１は、台車２０３部分を他のロボットと共通化している。つまり、本実施形態においては、所定機能を有するロボット部分と台車２０３とを組み合わせて１つのロボットとしている。台車２０３は、所定機能を有するロボットを移動させるためのパーツとして用いられている。また、例えば、搬送ロボット２０１はカメラを有しているが、このカメラは、ロボット側に設けられても、台車２０３側に設けられていてもよい。台車２０３側にカメラを設ければ、各々のロボットでカメラを共有することもできる。また、あらかじめ台車２０３に相当する移動用パーツを有するロボットを用いてもよい。以下で説明するその他の機能を有するロボットも同様とする。さらに、上記説明では１台の清掃ロボット２０２が出動する例で説明したが、出動するロボットの数は１台には限られず、複数台であってもよく、以下で説明する他の機能を有するロボットでも同様とする。

図３は、本実施形態に係る情報処理装置２００の構成を示すブロック図である。情報処理装置２００は、取得部３０１と、分析部３０２と、決定部３０３と、指示部３０４と、を備える。さらに、決定部３０３は、判定部３３１を有する。

取得部３０１は、例えば、店舗２１０内で作業をしたり、移動をしたりしているロボットから画像情報を取得する。取得する画像情報は、各ロボットに設けられたカメラが撮像した画像に関する情報である。店舗２１０内で作業などを実行するロボットは、自走式ロボットなどであり、店舗２１０内を自由に動きまわることができる。自走式ロボットは、カメラで撮像した画像や障害物検知センサで検知した検知結果などを用いて、周囲の状況を把握して移動することができるロボットである。このように、自走式ロボットは、作業が必要な場所まで自ら移動し、所定作業を実行する。なお、取得部３０１は、画像情報の他に、ロボットを識別するための識別情報や、ロボットの位置を示す位置情報などを合わせて取得してもよい。また、ロボットの位置情報は、取得した画像情報から検出してもよい。

分析部３０２は、取得した画像情報を解析して、店舗２１０内で発生した問題を検知する。分析部３０２は、画像情報に基づいて、床の汚れやゴミなどの店舗２１０内で発生した問題を検知する。床の汚れか否かの判断は、例えば、店舗２１０内の同じ位置の過去の画像情報と現在の画像情報とを比較することにより行う。

過去の画像情報と現在の画像情報とでは、床の色が異なる場合などには、分析部３０２は、床が汚れていると判断する。また、店舗２１０内に落ちているゴミも過去の画像情報と現在の画像情報とを比較することにより行う。過去の画像情報には存在しなかった物体が、現在の画像情報では存在している場合などには、分析部３０２は、ゴミが落ちていると判断する。なお、分析部３０２により、床の汚れやゴミなどを判断することができない場合には、取得した画像情報をオペレータなどに送信し、オペレータに判断させてもよい。

決定部３０３は、分析部３０２による分析結果から、店舗２１０内で発生した問題を解決するために、情報処理装置２００に画像情報を送信したロボットと連携すべきロボットを決定する。決定部３０３は、連携すべきロボットの決定の際、つまり、店舗２１０内で発生した問題を解決するためのロボットの決定の際、画像情報を送信したロボットにより問題が解決できるか否かを判定部３３１に判定させる。

判定部３３１は、分析部３０２で検出した、店舗２１０内で発生した問題が画像情報を情報処理装置２００に送信したロボットにより解決することができるか否かを判定する。判定部３３１は、例えば、画像情報送信したロボットの性能などに基づいて、店舗２１０内で発生した問題を解決できるか否かの判定を行う。

そして、決定部３０３は、情報処理装置２００に画像情報を送信したロボットが、判定部３３１により店舗２１０内で発生した問題を解決できないと判定された場合、その問題を解決することができるロボットを選択する。決定部３０３は、ロボットの性能などに基づいて、問題を解決することができるロボットを選択する。

検知した問題が床の汚れであれば、決定部３０３は、床の汚れを拭きとる清掃機能を有する清掃ロボット２０２を選択する。また、検知した問題がゴミであれば、決定部３０３は、ゴミを拾うことができる清掃機能を有する清掃ロボット２２１を選択する。

指示部３０４は、決定部３０３により選択されたロボットに対して、問題を解決するための作業内容を指示する。床が汚れている場合には、指示部３０４は、清掃ロボット２０２に対して、汚れを拭く作業、床を掃く作業などの清掃方法を指示する。また、ゴミが落ちている場合には、指示部３０４は、清掃ロボット２２１に対して、ゴミを拾う作業などの清掃方法を指示する。

図４Ａは、本実施形態に係る情報処理装置の備えるロボット性能テーブル４０１の一例を示す図である。ロボット性能テーブル４０１は、ロボットＩＤ（Identifier）４１１に関連付けて、状態４１２、位置４１３および性能４１４を記憶する。ロボットＩＤ４１１は、ロボットを識別するための識別子である。状態４１２は、ロボットの現在の状態（作業、待機、メンテナンスなど）を示す。位置４１３は、ロボットの現在位置である。性能４１４は、ロボットが保有している性能や機能などに関する情報である。そして、情報処理装置２００は、ロボット性能テーブル４０１を参照して、例えば、店舗２１０内で発生した問題を解決するためのロボットの選択などを行う。

図４Ｂは、本実施形態に係る情報処理装置の備える問題解決テーブル４０２の一例を示す図である。問題解決テーブル４０２は、問題４２１に関連付けて選択ロボット４２２、指示作業４２３およびサーバ処理４２４を記憶する。問題４２１は、店舗２１０内で発生する問題を示す。選択ロボット４２２は、発生した問題に対して、選択すべきロボットの一例を示す。指示作業４２３は、選択されたロボットに対して、指示する作業内容の一例を示す。サーバ処理４２４は、情報処理装置２００において行われる処理の一例を示す。そして、情報処理装置２００は、問題解決テーブル４０２を参照して、例えば、店舗２１０内で発生した問題の解決にあたる。

図５は、本実施形態に係る情報処理装置２００のハードウェア構成を示すブロック図である。ＣＰＵ(Central Processing Unit)５１０は演算制御用のプロセッサであり、プログラムを実行することで図３の情報処理装置２００の機能構成部を実現する。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース５３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ５１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース５３０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ(Random Access Memory)５４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ５４０とストレージ５５０との間でデータを転送するＤＭＡＣ(Direct Memory Access Controller)を設けるのが望ましい（図示なし）。さらに、入出力インタフェース５６０は、ＣＰＵ５１０とは独立したＣＰＵを有して、ＲＡＭ５４０の領域に入出力データを書き込みあるいは読み出しするのが望ましい。したがって、ＣＰＵ５１０は、ＲＡＭ５４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ５１０は、処理結果をＲＡＭ５４０に準備し、後の送信あるいは転送はネットワークインタフェース５３０やＤＭＡＣ、あるいは入出力インタフェース５６０に任せる。

ＲＡＭ５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。画像情報５４１は、例えば、店舗２１０内で作業中または移動中のロボットにより撮像された画像であり、そのロボットから取得した画像に関する情報である。ロボット情報５４２は、ロボットの状態や性能、機能、位置などに関する情報である。発生問題５４３は、店舗２１０内で発生した問題である。選択ロボット５４４は、発生した問題を解決するために選択されたロボットである。指示内容５４５は、選択されたロボットに対して指示する作業内容である。これらのデータは、例えば、ロボット性能テーブル４０１および問題解決テーブル４０２から展開される。

入出力データ５４６は、入出力インタフェース５６０を介して入出力されるデータである。送受信データ５４７は、ネットワークインタフェース５３０を介して送受信されるデータである。また、ＲＡＭ５４０は、各種アプリケーションモジュールを実行するためのアプリケーション実行領域５４８を有する。

ストレージ５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５０は、ロボット性能テーブル４０１および問題解決テーブル４０２を格納する。ロボット性能テーブル４０１は、図４Ａに示した、ロボットＩＤ４１１と性能４１４などとの関係を管理するテーブルである。問題解決テーブル４０２は、図４Ｂに示した、発生した問題４２１と選択ロボット４２２などとの関係を管理するテーブルである。ストレージ５５０は、さらに、取得モジュール５５１、分析モジュール５５２、決定モジュール５５３および指示モジュール５５４を格納する。決定モジュール５５３は、さらに、判定モジュール５５３１を格納する。

取得モジュール５５１は、ロボットから画像情報を取得するモジュールである。分析モジュール５５２は、画像情報を解析し、店舗２１０内で発生した問題を検知するモジュールである。決定モジュール５５３は、判定モジュール５５３１の判定結果に基づいて、検知した問題を解決するロボットを選択するモジュールである。判定モジュール５５３１は、画像情報を情報処理装置２００に送信したロボットにより検知した問題を解決できるか否かを判定するモジュールである。指示モジュール５５４は、検知した問題を解決するロボットに対して問題を解決するための作業内容を指示するモジュールである。これらのモジュール５５１〜５５４およびモジュール５５３１は、ＣＰＵ５１０によりＲＡＭ５４０のアプリケーション実行領域５４８に読み出され、実行される。制御プログラム５５５は、情報処理装置２００の全体を制御するためのプログラムである。

入出力インタフェース５６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース５６０には、表示部５６１、操作部５６２、が接続される。また、入出力インタフェース５６０には、さらに、記憶媒体５６４が接続されてもよい。さらに、音声出力部であるスピーカ５６３や、音声入力部であるマイク、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図５に示したＲＡＭ５４０やストレージ５５０には、情報処理装置２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図６は、本実施形態に係る情報処理装置２００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ５４０を使用して実行し、図３の情報処理装置２００の機能構成部を実現する。

ステップＳ６０１において、情報処理装置２００は、画像情報を取得する。ステップＳ６０３において、情報処理装置２００は、取得した画像情報を分析する。ステップＳ６０５において、情報処理装置２００は、床が汚れているか否か、ゴミが落ちているか否かを判定する。これらの問題が発生していなければ、情報処理装置２００は、ステップＳ６０１へ戻る。これらの問題が発生していれば、情報処理装置２００は、ステップＳ６０７へ進む。

ステップＳ６０７において、情報処理装置２００は、発生したこれらの問題が画像情報を送信したロボットで解決できるか否かを判断する。解決できると判断した場合、情報処理装置２００は、ステップＳ６０１へ戻る。解決できないと判断した場合、情報処理装置２００は、ステップＳ６０９へと進む。

ステップＳ６０９において、情報処理装置２００は、発生したこれらの問題を解決できるロボット（連携ロボット）を選択し、さらに、選択したロボットに実行させる作業内容を決定する。ステップＳ６１１において、情報処理装置２００は、選択したロボットに対して、床を拭く、ゴミを拾うなどの作業内容を指示する。

本実施形態によれば、店舗の床が汚れたり、床にゴミが落ちていたりしてもロボットを用いて自動的に処理することができる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第３実施形態］
次に本発明の第３実施形態に係る情報処理装置について、図７乃至図１１を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態と比べると、行列分析部をさらに有する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図７は、本実施形態に係る情報処理装置７００による処理の一例を示す図である。情報処理装置７００は、店舗２１０内で作業中の搬送ロボット２０１から取得した画像情報を解析して、レジ７１３の前にレジ待ち顧客７１４の行列ができているのを検出する。そして、行列に並んでいる顧客７１４の人数が所定の閾値を超えた場合に、情報処理装置７００は、レジ待ちを解消するために以下の処理を実行する。なお、レジ待ちの判断は、レジ７１３に並んでいる顧客７１４の人数の他に、買い物カゴの数などで判断してもよい。

まず、レジ待ち顧客７１４の行列を検出した情報処理装置７００は、搬送ロボット２０１では、レジ待ち顧客７１４の行列を解消することができないと判定する。情報処理装置７００は、レジ待ち顧客７１４の行列を解消するために、精算機能を有する精算ロボット７０４を選択する。精算機能を有する精算ロボット７０４は、例えば、カード精算専用のロボットであるが、カード精算および現金精算対応のロボットであってもよい。なお、情報処理装置７００は、精算ロボット７０４で精算をした顧客７１４に対して、精算完了を証明するレシートなどを精算ロボット７０４により発行してもよい。これにより、精算ロボット７０４により精算を行ったため、レジ７１３を通過していない顧客７１４であっても、精算終了後に店舗２１０の外に出ることができる。

情報処理装置７００は、選択した精算ロボット２０４に対して、作業内容を指示する。情報処理装置７００が指示する作業内容としては、例えば、レジ７１３の前まで行って、レジ７１３内またはレジ７１３の横で精算作業を実行するという作業内容である。あるいは、指示する作業内容は、店舗２１０内のその他の場所で精算作業を実行するという作業内容であってもよい。そして、例えば、バックヤード２１１で待機していた精算ロボット２０４が、店舗２１０内に出動し、精算作業を実行する。なお、情報処理装置７００は、レジ待ち顧客７１４の人数に応じて出動させる精算ロボット２０４の台数を決定してもよい。

図８は、本実施形態に係る情報処理装置７００の構成を示すブロック図である。情報処理装置７００は、行列分析部８２１をさらに有する。行列分析部８２１は、例えば、レジ７１３の前に並んでいる顧客７１４の数が所定閾値を超えたら行列ができていると判断する。また、例えば、並んでいる顧客７１４の数が所定閾値を超えていない場合であっても、顧客７１４の持っている買い物カゴの数が所定閾値を超えていれば、レジ７１３で精算処理に時間がかかるので、行列ができていると判断する。

図９は、本実施形態に係る情報処理装置７００の備える問題解決テーブル９０１の一例を示す図である。問題解決テーブル９０１は、問題９１１に関連付けて選択ロボット９１２、指示作業９１３およびサーバ処理９１４を記憶する。情報処理装置７００は、例えば、問題解決テーブル９０１を参照して、例えば、レジ７１３での精算待ちの解決にあたる。

図１０は、本実施形態に係る情報処理装置７００のハードウェア構成を示すブロック図である。ＲＡＭ１０４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。発生問題（精算待ち）１０４１は、店舗２１０内で発生した問題である。このデータは、例えば、問題解決テーブル９０１から展開される。

ストレージ１０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ１０５０は、問題解決テーブル９０１をさらに格納する。問題解決テーブル９０１は、図９に示した、発生した問題（精算待ち）９１１と選択ロボット９１２などとの関係を管理するテーブルである。ストレージ１０５０は、さらに、行列分析モジュール１０５２１を格納する。行列分析モジュール１０５２１は、レジ７１３の前に顧客７１４の行列ができているか否かを分析するモジュールである。このモジュール１０５２１は、ＣＰＵ５１０によりＲＡＭ１０４０のアプリケーション実行領域５４８に読み出され、実行される。なお、図１０に示したＲＡＭ１０４０やストレージ１０５０には、情報処理装置７００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図１１は、本実施形態に係る情報処理装置７００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ１０４０を使用して実行し、図８の情報処理装置７００の機能構成部を実現する。ステップＳ１１０１において、情報処理装置７００は、レジ７１３の前に顧客７１４に行列ができているか否かを判断する。行列の判断は、例えば、レジ待ちの人数や買い物カゴの数などを所定閾値と比較することで行う。行列ができていない場合、情報処理装置７００は、ステップＳ６０１へ戻る。行列ができている場合、情報処理装置７００は、次のステップへ進む。

本実施形態によれば、レジの前に顧客の行列ができている場合に、ロボットを用いてレジ待ちの行列を自動的に解消することができる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第４実施形態］
次に本発明の第４実施形態に係る情報処理装置について、図１２乃至図１６を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態および第３実施形態と比べると、行列分析部をさらに有する点で異なる。その他の構成および動作は、第２実施形態および第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図１２は、本実施形態に係る情報処理装置１２００による処理の一例を示す図である。情報処理装置１２００は、店舗２１０内を移動中の精算ロボット７０４から取得した画像情報を解析して、商品棚の陳列状況から欠品商品があることを検出する。欠品商品の検出は、例えば、過去の画像情報と現在の画像情報とを比較することにより行う。つまり、過去の陳列状況と現在の陳列状況とを比較することにより、欠品商品の検出を行う。さらに、欠品商品が検出された場合、情報処理装置１２００は、どの商品が欠品したかを分析し、欠品商品がバックヤード２１１にあるか否かなどを判断する。なお、情報処理装置１２００は、例えば、バックヤード２１１に欠品商品の在庫がない場合、その商品の発注処理を行ってもよい。

商品の欠品を検出した情報処理装置１２００は、精算ロボット７０４では、欠品商品を補充することができないと判定する。情報処理装置１２００は、欠品商品を補充するために、商品を補充する補充機能を有する商品補充ロボット１２０６を選択する。なお、選択する商品補充ロボット１２０６は、複数台であってもよい。

情報処理装置１２００は、選択した商品補充ロボット１２０６に対して、作業内容を指示する。情報処理装置１２００が指示する作業内容としては、例えば、欠品商品をバックヤード２１１から取り出し、取り出した欠品商品を商品棚に補充するという作業内容である。そして、バックヤード２１１で待機していた商品補充ロボット１２０６が、補充すべき商品をバックヤード２１１から運び出して、欠品商品の補充作業を実行する。

なお、顧客が商品棚から商品を取り出して、買い物カゴまたはカートロボットの買い物カゴに入れたような場合であっても、情報処理装置１２００は、上述の処理と同様の処理を行う。

図１３は、本実施形態に係る情報処理装置１２００の構成を示すブロック図である。情報処理装置１２００は、欠品分析部１３２１をさらに有する。欠品分析部１３２１は、取得した画像情報から、欠品商品があるか否かを分析する。さらに、欠品分析部１３２１は、欠品した商品がどの商品であるか、バックヤード２１１に欠品商品の在庫があるか否かを分析する。

図１４は、本実施形態に係る情報処理装置１２００の備える問題解決テーブル１４０１の一例を示す図である。問題解決テーブル１４０１は、問題１４１１に関連付けて選択ロボット１４１２、指示作業１４１３およびサーバ処理１４１４を記憶する。情報処理装置１２００は、例えば、問題解決テーブル９０１を参照して、例えば、欠品商品の補充作業を商品補充ロボット１２０６に実行させる。

図１５は、本実施形態に係る情報処理装置１２００のハードウェア構成を示すブロック図である。ＲＡＭ１５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ１５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。発生問題（欠品）１５４１は、店舗２１０内で発生した問題である。このデータは、例えば、問題解決テーブル１４０１から展開される。

ストレージ１５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ１５５０は、問題解決テーブル１４０１をさらに格納する。問題解決テーブル１４０１は、図１４に示した、発生した問題（欠品）１４１１と選択ロボット１４１２などとの関係を管理するテーブルである。ストレージ１５５０は、さらに、欠品分析モジュール１５５２１を格納する。欠品分析モジュール１５５２１は、欠品した商品がどの商品であるか、バックヤード２１１に欠品商品の在庫があるか否かを分析するモジュールである。このモジュール１５５２１は、ＣＰＵ５１０によりＲＡＭ１５４０のアプリケーション実行領域５４８に読み出され、実行される。なお、図１５に示したＲＡＭ１５４０やストレージ１５５０には、情報処理装置１２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図１６は、本実施形態に係る情報処理装置１２００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ１５４０を使用して実行し、図１３の情報処理装置１２００の機能構成部を実現する。ステップＳ１６０１において、情報処理装置１２００は、取得した画像情報から、欠品商品があるか否かを分析する。欠品商品がるか否かの分析は、例えば、過去の画像情報（過去の陳列状況）と現在の画像情報（陳列状況）とを比較することにより行う。欠品商品がない場合、情報処理装置１２００は、ステップＳ６０１へ戻る。欠品商品がある場合、情報処理装置１２００は、例えば、欠品商品の在庫があるか否かなどを分析する。

本実施形態によれば、商品が欠品している場合に、欠品商品を自動的に補充することができる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第５実施形態］
次に本発明の第５実施形態に係る情報処理装置について、図１７乃至図２１を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第４実施形態と比べると、顧客分析部をさらに有する点で異なる。その他の構成および動作は、第２実施形態乃至第４実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図１７は、本実施形態に係る情報処理装置１７００による処理の一例を示す図である。情報処理装置１７００は、店舗２１０内を移動中の搬送ロボット２０１から取得した画像情報を解析して、接客が必要な顧客１７１６を検出する。顧客１７１６を検出した情報処理装置１７００は、顧客１７１６の年齢、性別、言語などを分析する。

また、接客が必要な顧客１７１６を検出した情報処理装置１７００は、搬送ロボット２０１では顧客１７１６の接客ができないと判定する。情報処理装置１７００は、顧客１７１６の接客をするために、顧客を案内する顧客案内機能を有するロボットである顧客案内ロボット１７０５を選択する。情報処理装置１７００は、顧客１７１６の年齢、性別、言語などに基づいて、顧客案内ロボット１７０５を選択する。なお、選択する顧客案内ロボット１７０５は、複数台であってもよい。

情報処理装置１７００は、選択した顧客案内ロボット１７０５に対して、作業内容を指示する。情報処理装置１７００が指示する作業内容としては、例えば、顧客２１６の所へ向かい、顧客１７１６の要望を聞くとなどいう作業内容である。そして、バックヤード２１１で待機していた顧客案内ロボット２０５がバックヤード２１１から出動して、顧客２１６のいる所まで行き、顧客２１６の要望などを聞いたり、案内をしたりする。また、顧客２１６の介助が必要であれば、介助担当の従業員を呼んだり、休憩室などへ案内したりしてもよい。

図１８は、本実施形態に係る情報処理装置１７００の構成を示すブロック図である。情報処理装置１７００は、顧客分析部１８２１をさらに有する。顧客分析部１８２１は、取得した画像情報から、顧客１７１６の年齢や性別、言語などを分析する。なお、顧客分析部１８２１は、顧客１７１６の言語を分析する際に、顧客１７１６の音声情報を取得し、取得した音声情報に基づいて、言語を分析してもよい。

図１９は、本実施形態に係る情報処理装置１７００の備える問題解決テーブル１９０１の一例を示す図である。問題解決テーブル１９０１は、問題１９１１に関連付けて選択ロボット１９１２、指示作業１９１３およびサーバ処理１９１４を記憶する。情報処理装置１７００は、例えば、問題解決テーブル１９０１を参照して、例えば、顧客の案内作業を顧客案内ロボット１７０５に実行させる。

図２０は、本実施形態に係る情報処理装置１７００のハードウェア構成を示すブロック図である。ＲＡＭ２０４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。発生問題（案内）２０４１は、店舗２１０内で発生した問題である。このデータは、例えば、問題解決テーブル１９０１から展開される。

ストレージ２０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ２０５０は、問題解決テーブル１９０１をさらに格納する。問題解決テーブル１９０１は、図１９に示した、発生した問題（案内）１９１１と選択ロボット１９１２などとの関係を管理するテーブルである。ストレージ２０５０は、さらに、顧客分析モジュール２０５２１を格納する。顧客分析モジュール２０５２１は、顧客１７１６の年齢や性別、言語などを分析するモジュールである。このモジュール２０５２１は、ＣＰＵ５１０によりＲＡＭ２０４０のアプリケーション実行領域５４８に読み出され、実行される。なお、図２０に示したＲＡＭ２０４０やストレージ２０５０には、情報処理装置１７００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図２１は、本実施形態に係る情報処理装置１７００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ２０４０を使用して実行し、図１８の情報処理装置１７００の機能構成部を実現する。ステップＳ２１０１において、情報処理装置１７００は、取得した画像情報から、案内が必要な顧客１７１６がいるか否かを判断する。案内が必要な顧客１７１６がいない場合、情報処理装置１７００は、ステップＳ６０１へ戻る。案内が必要な顧客１７１６がいる場合、情報処理装置１７００は、次のステップへ進む。ステップＳ２１０３において、情報処理装置１７００は、顧客１７１６の年齢や性別、言語などの属性を分析する。

本実施形態によれば、案内が必要な顧客がいる場合に、案内が必要な顧客の案内を自動的に実行することができる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第６実施形態］
次に本発明の第６実施形態に係る情報処理装置について、図２２乃至図２６を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第５実施形態と比べると、陳列状況分析部をさらに有する点で異なる。その他の構成および動作は、第２実施形態乃至第５実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図２２は、本実施形態に係る情報処理装置２２００による処理の一例を示す図である。情報処理装置２２００は、店舗２１０内を移動中の精算ロボット２０４から取得した画像情報を解析して、商品棚の陳列状況から商品が倒れていることを検出する。商品が倒れていることを検出した情報処理装置２２００は、精算ロボット２０４では倒れた商品を元に戻すことができないと判定する。情報処理装置２２００は、倒れている商品を元に戻すために、商品の陳列状況を整頓する整頓機能を有する整頓ロボット２２０８を選択する。なお、整頓を要する商品が複数ある場合などには、選択する整頓ロボット２２０８は、複数台であってもよい。また、情報処理装置２２００は、異なる商品が商品棚に置かれている場合には、その商品を正しい位置に並べ直すように整頓ロボット２２０８に指示する。さらに、情報処理装置２２００は、倒れた商品が壊れていた場合には、新しい商品を補充するように補充ロボットなどに作業を指示してもよい。

情報処理装置２２００は、選択した整頓ロボット２２０８に対して、作業内容を指示する。情報処理装置２２００が指示する作業内容としては、例えば、商品が倒れている商品棚の前まで行き、倒れた商品を元に戻すという作業内容である。そして、バックヤード２１１で待機していた整頓ロボット２２０８が、商品が倒れている商品棚の所へ行き、倒れている商品を元に戻して、陳列状況を整える作業を実行する。

図２３は、本実施形態に係る情報処理装置２２００の構成を示すブロック図である。情報処理装置２２００は、陳列状況分析部２３２１をさらに有する。陳列状況分析部２３２１は、取得した画像情報から、商品の陳列棚の陳列状況を分析する。陳列状況分析部２３２１は、例えば、陳列されている商品が倒れていたり、他の陳列棚の商品が紛れ込んでいたり、倒れた商品が壊れていたりなどを分析する。陳列状況の分析は、例えば、過去の画像情報（陳列状況）と現在の画像情報（陳列状況）とを比較することにより行う。

そして、指示部３０４は、異なる商品が商品棚に置かれている場合には、その商品を正しい位置に並べ直すように整頓ロボット２２０８に指示する。さらに、指示部３０４は、倒れた商品が壊れていた場合には、新しい商品を補充するように補充ロボットなどに作業を指示してもよい。

図２４は、本実施形態に係る情報処理装置２２００の備える問題解決テーブル２４０１の一例を示す図である。問題解決テーブル２４０１は、問題２４１１に関連付けて選択ロボット２４１２、指示作業２４１３およびサーバ処理２４１４を記憶する。情報処理装置２２００は、例えば、問題解決テーブル２４０１を参照して、整頓作業を整頓ロボット２２０８に実行させる。

図２５は、本実施形態に係る情報処理装置２２００のハードウェア構成を示すブロック図である。ＲＡＭ２５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。発生問題（乱れ）２５４１は、店舗２１０内で発生した問題である。このデータは、例えば、問題解決テーブル２４０１から展開される。

ストレージ２５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ２５５０は、問題解決テーブル２４０１をさらに格納する。問題解決テーブル２４０１は、図２４に示した、発生した問題（陳列乱れ）２４１１と選択ロボット２４１２などとの関係を管理するテーブルである。ストレージ２５５０は、さらに、陳列状況分析モジュール２５５２１を格納する。陳列状況分析モジュール２５５２１は、陳列棚の商品の陳列状況を分析するモジュールである。このモジュール２５５２１は、ＣＰＵ５１０によりＲＡＭ２５４０のアプリケーション実行領域５４８に読み出され、実行される。なお、図２５に示したＲＡＭ２５４０やストレージ２５５０には、情報処理装置２２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図２６は、本実施形態に係る情報処理装置２２００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ２５４０を使用して実行し、図２３の情報処理装置２２００の機能構成部を実現する。ステップＳ２６０１において、情報処理装置２２００は、取得した画像情報から、商品の陳列棚の陳列状況に乱れがあるか否かを判断する。乱れがない場合、情報処理装置２２００は、ステップＳ６０１へ戻る。乱れがある場合、情報処理装置２２００は、次のステップへ進む。ステップＳ２６０３において、情報処理装置２２００は、乱れの状況を分析する。情報処理装置２２００は、例えば、陳列商品が倒れていることや、異なる商品が陳列されていること、倒れた商品が壊れていることなどを分析する。

本実施形態によれば、案内が必要な顧客がいる場合に、案内が必要な顧客の案内を自動的に実行することができる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第７実施形態］
次に本発明の第７実施形態に係る情報処理装置について、図２７乃至図３１を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第６実施形態と比べると、顧客動向分析部をさらに有する点で異なる。その他の構成および動作は、第２実施形態乃至第６実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図２７は、本実施形態に係る情報処理装置２７００による処理の一例を示す図である。情報処理装置２７００は、店舗２１０内を移動中の精算ロボット７０４から取得した画像情報を解析して、運搬ロボット２７０７（カートロボット）の買い物カゴによる運搬状況を検出して、買い物カゴが満杯になりそうなことを検出する。この場合、情報処理装置２７００は、顧客がさらに買い物を続けようとしているのか、買い物を止めてレジにて商品の精算をしようとしているのかなどの顧客の動向を分析する。分析の結果、顧客が買い物を続けようとしている場合には、情報処理装置２７００は、以下の処理を実行する。また、分析の結果、顧客が買い物を止めようとしている場合には、情報処理装置２７００は、処理を中断してもよい。

情報処理装置２７００は、例えば、運搬ロボット２７０７の買い物カゴの中身の商品数や商品重量などの運搬量が所定の閾値を超えた場合、買い物カゴが満杯になりそうと判断する。買い物カゴが満杯になりそうなことを検出した情報処理装置２７００は、精算ロボット７０４では、購入予定の商品を運搬することができないと判定する。情報処理装置２７００は、購入予定の商品を運搬するために、商品の運搬機能を有する運搬ロボット２０７を選択する。なお、選択する運搬ロボット２０７は、複数台であってもよい。

情報処理装置２７００は、選択した運搬ロボット２７０７に対して、作業内容を指示する。情報処理装置２７００が指示する作業内容としては、例えば、買い物カゴが満杯になりそうな顧客のいる場所へ空の買い物カゴを持っていくという作業内容である。そして、バックヤード２１１で待機していた運搬ロボット２７０７が出動し、店舗２１０内の顧客のいる所へと向かい、店舗２１０内で買い物中の顧客が購入予定の商品を運搬する作業を実行する。

図２８は、本実施形態に係る情報処理装置２７００の構成を示すブロック図である。情報処理装置２７００は、顧客動向分析部２８２１をさらに有する。顧客動向分析部２８２１は、取得した画像情報から、顧客の動向を分析する。つまり、顧客動向分析部２８２１は、顧客が買い物を継続しようとしているのか、買い物を中断して商品の精算をしようとしているのかを分析する。顧客動向分析部２８２１は、例えば、顧客がレジから遠ざかろうとしている場合には、顧客が買い物を継続しようとしていると分析し、顧客がレジのある方向に移動をしている場合には、顧客が商品の精算をしようとしていると分析する。さらに、顧客動向分析部２８２１は、顧客のいる位置を合わせて分析する。

図２９は、本実施形態に係る情報処理装置２７００の備える問題解決テーブル２９０１の一例を示す図である。問題解決テーブル２９０１は、問題２９１１に関連付けて選択ロボット２９１２、指示作業２９１３およびサーバ処理２９１４を記憶する。情報処理装置２７００は、例えば、問題解決テーブル２９０１を参照して、運搬作業を運搬ロボットに実行させる。

図３０は、本実施形態に係る情報処理装置２７００のハードウェア構成を示すブロック図である。ＲＡＭ３０４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ３０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。発生問題（カゴ満杯）３０４１は、店舗２１０内で発生した問題である。このデータは、例えば、問題解決テーブル２９０１から展開される。

ストレージ３０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ３０５０は、問題解決テーブル２９０１をさらに格納する。問題解決テーブル２９０１は、図２９に示した、発生した問題（買い物カゴ満杯）２９１１と選択ロボット２９１２などとの関係を管理するテーブルである。ストレージ３０５０は、さらに、顧客動向分析モジュール３０５２１を格納する。顧客動向分析モジュール３０５２１は、顧客が買い物を継続しようとしているのか、買い物を止めて商品の精算をしようとしているのかを分析するモジュールである。このモジュール３０５２１は、ＣＰＵ５１０によりＲＡＭ３０４０のアプリケーション実行領域５４８に読み出され、実行される。なお、図３０に示したＲＡＭ３０４０やストレージ３０５０には、情報処理装置２７００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図３１は、本実施形態に係る情報処理装置２７００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ３０４０を使用して実行し、図２８の情報処理装置２７００の機能構成部を実現する。ステップＳ３１０１において、情報処理装置２７００は、取得した画像情報から、顧客の買い物カゴが満杯か（または満杯になりそうか）否かを判断する。満杯でなければ、情報処理装置２７００は、ステップＳ６０１へ戻る。満杯か、または満杯になりそうな場合、情報処理装置２７００は、次のステップへ進む。ステップＳ３１０３において、情報処理装置２７００は、顧客の動向を分析する。つまり、情報処理装置２７００は、顧客が買い物を継続しようとしているのか、買い物を止めて商品の精算をしようとしているのかの顧客の動向を分析する。情報処理装置２７００は、例えば、顧客がレジから離れる方向へ移動している場合には、顧客が買い物を継続しようとしていると分析する。また、情報処理装置２７００は、顧客がレジへ近づく方向へ移動している場合には、顧客が買い物を止めて商品の精算をしようとしていると分析する。さらに、情報処理装置２７００は、顧客の居場所を合わせて分析してもよい。

本実施形態によれば、買い物カゴが満杯、または満杯になりそうな顧客に対して、運搬ロボットを派遣して、空の買い物カゴを提供することができる。案内が必要な顧客がいる場合に、案内が必要な顧客の案内を自動的に実行することができる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第８実施形態］
次に本発明の第８実施形態に係る情報処理装置について、図３２乃至図３６を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第７実施形態と比べると、迷子分析部をさらに有する点で異なる。その他の構成および動作は、第２実施形態乃至第７実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図３２は、本実施形態に係る情報処理装置３２００による処理の一例を示す図である。情報処理装置３２００は、店舗２１０内を移動中の搬送ロボット２０１から取得した画像情報を解析して、近くに保護者３２１８がいない子供３２１７が一人で店舗２１０内にいることを検出する。そして、情報処理装置３２００は、このような状態の子供３２１７について、迷子である可能性が高いとして検出する。なお、情報処理装置３２００は、子供３２１７が一人でいる時間や、一人でいる子供３２１７の表情（泣いているなど）なども合わせて、迷子の判断をするが、迷子の判断方法はこれらには限定されない。

迷子を検出した情報処理装置３２００は、搬送ロボット２０１では、迷子を誘導（または迷子に対処）することができないと判定する。情報処理装置３２００は、迷子を誘導するために、迷子の誘導機能を有する誘導ロボット３２２１を選択する。なお、選択する誘導ロボット３２２１は、複数台であってもよい。

情報処理装置３２００は、選択した誘導ロボット３２２１に対して、作業内容を指示する。情報処理装置３２００が指示する作業内容としては、例えば、迷子を店舗２１０内の迷子保護室等へ誘導したり、迷子に対処するための迷子担当の従業員を呼んだりするという作業内容である。そして、バックヤード２１１で待機していた誘導ロボット３２２１が出動し、店舗２１０内の迷子の子供３２１７の所へと向かい、迷子を誘導、保護などする作業を実行する。

図３３は、本実施形態に係る情報処理装置３２００の構成を示すブロック図である。情報処理装置３２００は、迷子分析部３３２１をさらに有する。迷子分析部３３２１は、取得した画像情報から、迷子であるか否かを分析する。迷子分析部３３２１は、子供３２１７が一人でいる時間や、子供３２１７の表情などから、子供３２１７が迷子であるか否かを判断する。迷子分析部３３２１は、さらに、迷子と判断された子供３２１７の年齢や言語などを合わせて分析する。

図３４は、本実施形態に係る情報処理装置３２００の備える問題解決テーブル３４０１の一例を示す図である。問題解決テーブル３４０１は、問題３４１１に関連付けて選択ロボット３４１２、指示作業３４１３およびサーバ処理３４１４を記憶する。情報処理装置３２００は、例えば、問題解決テーブル３４０１を参照して、迷子の誘導作業を誘導ロボット３２２１に実行させる。

図３５は、本実施形態に係る情報処理装置３２００のハードウェア構成を示すブロック図である。ＲＡＭ３５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ３５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。発生問題（迷子）３５４１は、店舗２１０内で発生した問題である。このデータは、例えば、問題解決テーブル３４０１から展開される。

ストレージ３５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ３５５０は、問題解決テーブル３４０１をさらに格納する。問題解決テーブル３４０１は、図３４に示した、発生した問題（迷子）３４１１と選択ロボット３４１２などとの関係を管理するテーブルである。ストレージ３５５０は、さらに、迷子分析モジュール３５５２１を格納する。迷子分析モジュール３５５２１は、子供３２１７が一人でいる時間や、子供３２１７の表情などから迷子か否かを分析する。迷子分析モジュール３５５２１は、さらに、迷子の子供３２１７の年齢や言語などを分析する。このモジュール３５５２１は、ＣＰＵ５１０によりＲＡＭ３５４０のアプリケーション実行領域５４８に読み出され、実行される。なお、図３５に示したＲＡＭ３５４０やストレージ３５５０には、情報処理装置３２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図３６は、本実施形態に係る情報処理装置３２００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ３５４０を使用して実行し、図３２の情報処理装置３２００の機能構成部を実現する。ステップＳ３６０１において、情報処理装置３２００は、迷子か否かを判断する。迷子か否かの判断は、例えば、子供３２１７が一人でいる時間や子供３２１７の表情（泣いている）などから判断するが、これには限定されない。迷子でなければ、情報処理装置３２００は、ステップＳ６０１へ戻る。迷子であれば、情報処理装置３２００は、次のステップへ進む。ステップＳ３６０３において、情報処理装置３２００は、迷子の分析を行う。迷子の分析は、例えば、迷子の子供３２１７の年齢や言語などの分析である。このように、迷子の年齢や言語などを分析しておけば、迷子に適切に対処することが可能となる。

本実施形態によれば、迷子を検出した場合、誘導ロボットを迷子のいる所に派遣するので迷子を適切に誘導することができる。また、迷子の年齢や言語などに基づいて、誘導ロボットを迷子のいる所に派遣するので、迷子を適切に誘導することができる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第９実施形態］
次に本発明の第９実施形態に係る情報処理装置について、図３７乃至図４１を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第８実施形態と比べると、落し物分析部をさらに有する点で異なる。その他の構成および動作は、第２実施形態乃至第８実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図３７は、本実施形態に係る情報処理装置３７００による処理の一例を示す図である。情報処理装置３７００は、店舗２１０内を移動中の搬送ロボット２０１から取得した画像情報を解析して、財布やスマートフォンなどの落し物３７１９を検出する。落し物３７１９を検出した情報処理装置３７００は、搬送ロボット２０１では、落し物３７１９を回収することができないと判定する。情報処理装置３７００は、落し物３７１９を回収するために、落し物３７１９の回収機能を有する回収ロボット３７２２を選択する。なお、選択する回収ロボット３７２２は、落し物３７１９の数などに応じて、複数台であってもよい。

情報処理装置３７００は、選択した回収ロボット２２２に対して、作業内容を指示する。情報処理装置３７００が指示する作業内容としては、例えば、落し物３７１９が落ちている場所まで行って、落し物３７１９を回収し、拾得物取扱所などへと落し物３７１９を届けるという作業内容である。そして、バックヤード２１１で待機していた回収ロボット３７２２が出動し、店舗２１０内の落し物３７１９が落ちている場所へ向かい、落し物３７１９を回収し、回収した落し物３７１９を適切に処理する作業を実行する。なお、落し物３７１９が、例えば、店舗２１０で販売している商品であれば、その商品を元の位置に戻すようにしてもよい。

図３８は、本実施形態に係る情報処理装置３７００の構成を示すブロック図である。情報処理装置３７００は、落し物分析部３８２１をさらに有する。落し物分析部３８２１は、取得した画像情報から、落し物３７１９であるか否かを分析する。落し物分析部３８２１は、過去の画像情報と現在の画像情報との比較から、例えば、床に落ちている物体を検出する。そして、落し物分析部３８２１は、例えば、床に落ちている物体の形状や大きさ、色などから落し物３７１９か否かを判断する。落し物分析部３８２１は、落し物が何であるかを分析する。落し物は、例えば、財布やスマートフォンなどである。

また、落し物分析部３８２１は、床に落ちている物が、店舗２１０で販売している商品か否かで落し物の分析をしてもよい。すなわち、床に落ちている物が、店舗２１０で販売している商品であれば、落し物分析部３８２１は、その物を落し物３７１９とは判断しない。これとは反対に、店舗２１０で販売していない商品であれば、落し物分析部３８２１は、床に落ちている物を落し物３７１９と判断する。さらに、落し物分析部３８２１は、例えば、床に落ちている物の画像を画像検索にかけて、その物体が何であるかを特定したうえで、その物体が落し物３７１９であるか否かを判断してもよい。

図３９は、本実施形態に係る情報処理装置３７００の備える問題解決テーブル３９０１の一例を示す図である。問題解決テーブル３９０１は、問題３９１１に関連付けて選択ロボット３９１２、指示作業３９１３およびサーバ処理３９１４を記憶する。情報処理装置３７００は、例えば、問題解決テーブル３９０１を参照して、落し物の回収作業を回収ロボットに実行させる。

図４０は、本実施形態に係る情報処理装置３７００のハードウェア構成を示すブロック図である。ＲＡＭ４０４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。発生問題（落し物）４０４１は、店舗２１０内で発生した問題である。このデータは、例えば、問題解決テーブル３９０１から展開される。

ストレージ４０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ４０５０は、問題解決テーブル３９０１をさらに格納する。問題解決テーブル３９０１は、図３９に示した、発生した問題（落し物）３９１１と選択ロボット３９１２などとの関係を管理するテーブルである。ストレージ４０５０は、さらに、落し物分析モジュール４０５２１を有する。落し物分析モジュール４０５２１は、床に落ちている物が落し物であるか否かを分析するモジュールである。このモジュール４０５２１は、ＣＰＵ５１０によりＲＡＭ４０４０のアプリケーション実行領域５４８に読み出され、実行される。なお、図４０に示したＲＡＭ４０４０やストレージ４０５０には、情報処理装置３７００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図４１は、本実施形態に係る情報処理装置３７００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ４０４０を使用して実行し、図３７の情報処理装置３７００の機能構成部を実現する。ステップＳ４１０１において、情報処理装置３７００は、床に落ちている物が、落し物であるか否かを判断する。落し物であるか否かの判断は、例えば、床に落ちている物の大きさや形状、色などから判断する。また、情報処理装置３７００は、床に落ちている物が店舗２１０で販売している商品か否かに基づいて、落し物であるか否かを判断してもよい。落し物でなければ、情報処理装置３７００は、ステップＳ６０１へ戻る。落し物であれば、情報処理装置３７００は、次のステップへ進む。ステップＳ４１０３において、情報処理装置３７００は、例えば、床に落ちている落し物３７１９を画像検索にかけて、落し物３７１９がどのような物なのかを分析してもよい。

本実施形態によれば、店舗に落し物があっても回収ロボットにより自動的に落し物を回収することができる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第１０実施形態］
次に本発明の第１０実施形態に係る情報処理装置について、図４２乃至図４６を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第９実施形態と比べると、要望情報取得部および要望情報分析部をさらに有する点で異なるその他の構成および動作は、第２実施形態乃至第９実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

図４２は、本実施形態に係る情報処理装置４２００による処理の一例を示す図である。例えば、店舗２１０内を移動中の顧客案内ロボット４２０１に対して、顧客４２１０が音声検索機能を利用して、商品「○○」を検索した場合を想定する。なお、顧客４２１０は、音声検索機能ではなく、タッチパネルなどを利用して検索ワードを入力してもよい。

この場合、顧客４２１０は、検索商品を購入したいとの要望があるものと考えらえるので、情報処理装置４２００は、顧客案内ロボット４２０１から、顧客４２１０が入力した検索情報（要望情報）を取得する。

情報処理装置４２００は、取得した検索情報を分析して、顧客４２１０の検索商品（商品「○○」）を特定する。情報処理装置４２００は、特定した検索商品の在庫の有無などの在庫状況を判断する。判断の結果、顧客４１０が探している商品「○○」が店舗２１０内には陳列されていないが、バックヤード２１１には在庫がある場合には、搬送機能有する搬送ロボット４２０２に検索商品をバックヤード２１１まで取りに行かせ、顧客４２１０の所へ届けさせる。

情報処理装置４２００は、顧客案内ロボット４２０１の位置情報などに基づいて、顧客４２１０の位置を検出する。なお、顧客の位置情報は、例えば、顧客案内ロボット４２０１から取得した画像情報から検出してもよい。

そして、情報処理装置４２００は、搬送ロボット４２０２に対してバックヤード２１１から商品「○○」をピックアップし、顧客４２１０のいる場所まで持っていく作業を実行するように指示する。指示を受けた搬送ロボット４２０２は、指示内容に従って作業を実行する。

また、顧客４２１０が探している商品が店舗２１０内に陳列されている場合、情報処理装置４２００は、例えば、顧客案内ロボット４２０１により、顧客４２１０をその商品が陳列されている場所に連れて行ってもよい。

図４３は、本実施形態に係る情報処理装置４２００の構成を示すブロック図である。情報処理装置４２００は、要望情報取得部４３１１および要望情報分析部４３２１をさらに有する。要望情報取得部４３１１は、各ロボットから顧客の要望に関する情報である要望情報を取得する。

要望情報分析部４３２１は、取得した要望情報を分析する。要望情報分析部４３２１は、例えば、顧客４２１０の商品検索情報から顧客４２１０の購入希望商品を分析する。要望情報分析部４３２１は、さらに、顧客４２１０が検索した商品が店舗２１０のどこにあるかを分析する。顧客４２１０が検索した商品がバックヤード２１１にあれば、指示部３０４は、その商品をバックヤード２１１から顧客４２１０の所へ届けさせるように搬送ロボット４２０２に指示をする。顧客４２１０が検索した商品が店舗２１０内にあれば、指示部３０４は、顧客案内ロボット４２０１に顧客４２１０を連れて行くように指示をする。

図４４は、本実施形態に係る情報処理装置４２００の備える問題解決テーブル４４０１の一例を示す図である。問題解決テーブル４４０１は、問題（要望）４４１１に関連付けて選択ロボット４４１２、指示作業４４１３およびサーバ処理４４１４を記憶する。情報処理装置４２００は、例えば、問題解決テーブル４４０１を参照して、顧客の要望する商品の搬送作業を実行する。

図４５は、本実施形態に係る情報処理装置４２００のハードウェア構成を示すブロック図である。ＲＡＭ４５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。要望情報４５４１は、各顧客の要望に関する情報である。このデータは、例えば、問題解決テーブル４４０１から展開される。

ストレージ４５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ４５５０は、問題解決テーブル４４０１をさらに格納する。問題解決テーブル４４０１は、図４４に示した、発生した問題（要望）４４１１と選択ロボット４４１２などとの関係を管理するテーブルである。ストレージ４５５０は、さらに、要望情報取得モジュール４５５１１および要望情報分析モジュール４５５２１を格納する。要望情報取得モジュール４５５１１は、顧客の要望情報を取得するモジュールである。要望情報分析モジュール４５５２１は、取得した顧客の要望情報を分析するモジュールである。これらのモジュール４５５１１およびモジュール４５５２１は、ＣＰＵ５１０によりＲＡＭ４５４０のアプリケーション実行領域５４８に読み出され、実行される。なお、図４５に示したＲＡＭ４５４０やストレージ４５５０には、情報処理装置４２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図４６は、本実施形態に係る情報処理装置４２００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ４５４０を使用して実行し、図４３の情報処理装置４２００の機能構成部を実現する。ステップＳ４６０１において、情報処理装置４２００は、顧客４２１０の要望情報を取得する。ステップＳ４６０３において、情報処理装置４２００は、取得した要望情報を分析して、顧客４２１０が検索した商品などを特定する。ステップＳ４６０５において、情報処理装置４２００は、顧客４２１０が検索した商品がバックヤード２１１にあるか否かを判定する。バックヤード２１１に商品がなければ、情報処理装置４２００は、ステップＳ４６０７へ進み、顧客４２１０を商品のある場所まで案内する。店舗２１０に商品がなく、バックヤード２１１に商品がある場合、情報処理装置４２００は、次のステップに進み、搬送ロボット４２０２に商品を持ってこさせる。

本実施形態によれば、顧客が希望する商品を確実に顧客のもとへ届けることができる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第１１実施形態］
次に本発明の第１１実施形態に係る情報処理装置について、図４７乃至図５１を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第１０実施形態と比べると、搬送要否分析部をさらに有する点で異なる。その他の構成および動作は、第２実施形態乃至第１０実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

また、図４７は、本実施形態に係る情報処理装置４７００による処理の他の例を示す図である。例えば、顧客４７１１がレジ２１３で購入商品の精算を済ませ、購入商品を持って店舗２１０から出ていく場面を想定する。この場合、情報処理装置４７００は、レジ２１３からの顧客４７１１の精算情報を取得し、取得した精算情報から、顧客４７１１が購入商品の精算を済ませ間もなく店舗２１０から出ていくことを検知する。なお、情報処理装置４７００は、精算ロボット７０４から顧客の精算情報を取得してもよい。

そして、情報処理装置４７００は、レジ２１３の前を離れて、外に出ようとしている顧客４７１１の所へ、顧客４７１１が購入した商品を搬送する搬送機能を有する搬送ロボット４７０３を向かわせ、購入商品の搬送要望の有無を取得する。なお、情報処理装置４７００は、顧客４７１１が購入した商品の商品点数や商品重量、商品の大きさなどに基づいて、顧客４７１１に購入商品搬送要望があるか否かを判定し、搬送ロボット４７０３を顧客７１１の所へ向かわせてもよい。例えば、情報処理装置４７００は、購入した商品の商品点数や商品重量、商品の大きさを所定閾値と比較して、いずれか一つでも所定閾値を超えれば搬送ロボット４７０３を顧客４７１１の所へ向かわせる。なお、情報処理装置４７００は、購入商品の数や重量、大きさなどを、レジ２１３にあるＰＯＳ（Point of Sales）端末などから取得してもよい。

情報処理装置４７００は、搬送ロボット４７０３から顧客４７１１の搬送要望を取得し、取得した搬送要望を解析して、顧客７１１の要望を検知する。情報処理装置４７００は、顧客４７１１の要望として、顧客４７１１が購入商品を駐車場４７２０まで搬送することを検知すれば、搬送ロボット４７０３に対して、顧客４７１１が購入した商品を駐車場４７２０まで搬送する作業を実行するように指示する。なお、搬送ロボット４７０３の表示部を設け、例えば、表示部に行き先表示ボタンを表示させて、顧客４７１１の要望を取得してもよい。行き先表示ボタンとしては、例えば、「店舗出口まで」、「駐車場まで」、「ついてくる」などのボタンがあるが、これらには限定されない。

また、顧客４７１１が購入しようとする商品が大きい商品であったり、重量のある商品であったりする場合には、顧客４７１１は、例えば、商品購入カードをレジ２１３に持っていき、購入手続きを済ませる。情報処理装置４７００は、顧客４７１１の精算完了をレジ２１３からの情報に基づいて検知したら、その商品を搬送ロボット４７０３にバックヤード２１１から顧客４７１１の所まで搬送するよう指示する。そして、情報処理装置４７００は、顧客４７１１からその商品をどこまで運ぶかの要望を搬送ロボット４７０３から取得する。情報処理装置４７００は、搬送ロボット４７０３に対して、顧客の商品を搬送する作業をするように指示する。

図４８は、本実施形態に係る情報処理装置４７００の構成を示すブロック図である。情報処理装置４７００は、搬送要否分析部４７２１をさらに有する。搬送要否分析部４７２１は、顧客４７１１の購入した商品の量（荷物量）を所定閾値と比較して、顧客４７１１のもとへ搬送ロボット４７０３を派遣する。荷物量は、例えば、購入した商品の重量、数、大きさなどである。これらを、所定閾値と比較し、どれか１つが所定閾値を超えれば、搬送要否分析部４７２１は、搬送ロボット４７０３を顧客４７１１のもとへ派遣する。

図４９は、本実施形態に係る情報処理装置４７００の備える問題解決テーブル４９０１の一例を示す図である。問題解決テーブル４９０１は、問題（要望）４９１１に関連付けて選択ロボット４９１２、指示作業４９１３およびサーバ処理４９１４を記憶する。情報処理装置４７００は、例えば、問題解決テーブル４９０１を参照して、顧客の要望する商品の搬送作業を実行する。

図５０は、本実施形態に係る情報処理装置４７００のハードウェア構成を示すブロック図である。ＲＡＭ５０４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５０４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。要望情報５０４１は、各顧客の要望に関する情報である。このデータは、例えば、問題解決テーブル４９０１から展開される。

ストレージ５０５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５０５０は、問題解決テーブル４９０１をさらに格納する。問題解決テーブル４９０１は、図４９に示した、発生した問題（要望）４９１１と選択ロボット４９１２などとの関係を管理するテーブルである。ストレージ５０５０は、さらに、搬送要否分析モジュール５０５２１を格納する。搬送要否分析モジュール５０５２１は、顧客４２１１の荷物量などから顧客４２１１のもとへ搬送ロボット４７０３を派遣する必要があるか否かを分析するモジュールである。このモジュール５０５２１は、ＣＰＵ５１０によりＲＡＭ５０４０のアプリケーション実行領域５４８に読み出され、実行される。なお、図５０に示したＲＡＭ５０４０やストレージ５０５０には、情報処理装置４７００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図５１は、本実施形態に係る情報処理装置４７００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ５０４０を使用して実行し、図４７の情報処理装置４７００の機能構成部を実現する。ステップＳ５１０１において、情報処理装置４７００は、顧客４７１１が購入した商品の重量、数、大きさなどを所定閾値と比較することにより、搬送ロボット４７０３を顧客４７１１のもとへ派遣するか否かを判断する。派遣する必要がない場合、情報処理装置４７００は、ステップＳ６０１へ戻る。派遣する必要がある場合、情報処理装置４７００は、次のステップへ進み、顧客４７１１の要望を分析する。

本実施形態によれば、顧客の荷物量に応じて搬送ロボットを派遣するので、荷物の搬送の要望がある顧客に対して適切に補助をすることができる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第１２実施形態］
次に本発明の第１２実施形態に係る情報処理装置について、図５２乃至図５６を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第１１実施形態と比べると、代替商品分析部をさらに有する点で異なる。その他の構成および動作は、第２実施形態乃至第１１実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

また、図５２は、本実施形態に係る情報処理装置５２００による処理の他の例を示す図である。図５２に示したように、例えば、試着室で試着をしていた顧客５２１２が、御用聞きロボット５２０１に対して、サイズ違いや色違いの商品を持ってきて欲しいとの要望を伝えている場面を想定する。

顧客５２１２が、試着室で試着をしている間、御用聞きロボット５２０１は、試着室の前で待機している。そして、顧客５２１２が、試着をした結果、試着品が自分の思っていたイメージと異なったり、サイズが合わなかったりした場合、試着室の外で待機している御用聞きロボット５２０１に別の商品を持ってくるように依頼する。顧客５２１２は、御用聞きロボット５２０１に対して、音声入力により自らの要望を伝える。

情報処理装置５２００は、顧客５２１２の要望を御用聞きロボット５２０１から取得し、その要望を分析する。顧客５２１２の要望は、例えば、サイズ違いや色違い、模様違いの商品を試着室まで持ってきて欲しいことなどである。

そして、情報処理装置５２００は、顧客５２１２の要望に沿う商品がどこにあるかを分析する。すなわち、情報処理装置５２００は、その商品が店舗２１０内またはバックヤード２１１にあるか否かを分析する。顧客の５２１２の要望する商品が、店舗２１０内にある場合には、搬送ロボット５２０４にその商品を取りに行かせ、試着室（指定場所）まで届けさせる。また、顧客５２１２の要望する商品が、バックヤード２１１にある場合には、搬送ロボット５２０４にその商品を取りに行かせ、試着室まで届けさせる。なお、バックヤード２１１に商品がある場合には、バックヤード２１１で待機している搬送ロボット５２０４にその商品を試着室まで届けさせてもよい。

図５３は、本実施形態に係る情報処理装置５２００の構成を示すブロック図である。情報処理装置５２００は、代替商品分析部５３２１をさらに有する。代替商品分析部５３２１は、顧客５２１１が試着していた試着品に代替する商品を分析する。代替商品分析部５３２１は、例えば、顧客５２１２が要望するサイズ違いの商品や、色違いの商品などが店舗２１０のどこにあるかを分析する。そして、指示部３０４は、顧客５２１２の要望する商品がどこにあるかに応じた指示を、搬送ロボット５２０４に出す。

図５４は、本実施形態に係る情報処理装置５２００の備える問題解決テーブル５４０１の一例を示す図である。問題解決テーブル５４０１は、問題（要望）５４１１に関連付けて選択ロボット５４１２、指示作業５４１３およびサーバ処理５４１４を記憶する。情報処理装置５２００は、例えば、問題解決テーブル５４０１を参照して、顧客の要望する商品の搬送作業を実行する。

図５５は、本実施形態に係る情報処理装置５２００のハードウェア構成を示すブロック図である。ＲＡＭ５５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。代替商品５５４１は、顧客５４１１が要望するサイズ違いの商品や色違いの商品などである。このデータは、例えば、問題解決テーブル５４０１から展開される。

ストレージ５５５０には、データベースや各種のパラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ５５５０は、問題解決テーブル５４０１をさらに格納する。問題解決テーブル５４０１は、図５４に示した、発生した問題（要望）５４１１と選択ロボット５４１２などとの関係を管理するテーブルである。ストレージ５５５０は、さらに、代替商品分析モジュール５５５２１を格納する。代替商品分析モジュール５５５２１は、顧客５２１１が試着していた試着品に代替する商品を分析するモジュールである。このモジュール５５５２１は、ＣＰＵ５１０によりＲＡＭ５５４０のアプリケーション実行領域５４８に読み出され、実行される。なお、図５５に示したＲＡＭ５５４０やストレージ５５５０には、情報処理装置５２００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

図５６は、本実施形態に係る情報処理装置５２００の処理手順を説明するフローチャートである。このフローチャートは、ＣＰＵ５１０がＲＡＭ５５４０を使用して実行し、図５２の情報処理装置５２００の機能構成部を実現する。ステップＳ５６０１において、情報処理装置５２００は、顧客５２１１が試着していた商品の代替商品が店舗２１０およびバックヤード２１１にあるか否かを判断する。代替商品が店舗２１０またはバックヤード２１１にない場合、情報処理装置５２００は、ステップＳ５６０３へ進み、その商品の発注作業などを行い、処理を終了する。代替商品が店舗２１０またはバックヤード２１１にある場合、情報処理装置５２００は、次のステップへ進む。そして、情報処理装置５２００は、代替商品を顧客５２１１のもとへ届けるように搬送ロボット５２０４に指示する。

本実施形態によれば、顧客は従業員がいなくても自由に試着をすることができ、従業員は一人の顧客についている必要がなく、他の業務を行うことができるので、業務の効率化を実現できる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［第１３実施形態］
次に本発明の第１３実施形態に係る情報処理装置について、図５７乃至図５６を用いて説明する。本実施形態に係る情報処理装置は、上記第２実施形態乃至第１２実施形態と比べると、問題解決テーブルを有する点で異なる。その他の構成および動作は、第２実施形態乃至第１２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。本実施形態に係る情報処理装置は、例えば、様々な種類のロボットを１つの店舗２１０内で運用することができる装置とする。

図５７は、本実施形態に係る情報処理装置の備える問題解決テーブルの一例を示す図である。問題解決テーブル５７０１は、問題５７１１に関連付けて選択ロボット５７１２、指示作業５７１３およびサーバ処理５７１４を記憶する。そして、情報処理装置は、問題解決テーブル５７０１を参照して、様々な種類のロボットに対して作業を指示する。問題解決テーブル５７０１は、例えば、情報処理装置が有するストレージに格納され、ＲＡＭに適宜読み出される。

本実施形態によれば、様々な種類のロボットを運用しなければならない場合であっても、各ロボットに対して指示を割り振る場合の場合分けがシンプルになるので、システム構成もシンプルとなる。また、ロボットの外部に発生した問題に複数のロボットが連携して対処することができる。さらに、オペレータを介在させることなく、店舗で発生した問題をロボットにより自動的に解決することができる。また、オペレータを介在させる必要がないので、システムの運用コストも低減させることができる。

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

［実施形態の他の表現］
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
第１ロボットから情報を取得する取得部と、
取得した情報を分析する分析部と、
分析結果から、連携すべき第２ロボットおよびその作業内容を決定する決定部と、
前記決定部の決定に基づいて、前記第２ロボットに対して、前記作業内容を指示する指示部と、
を備えた情報処理装置。
（付記２）
前記決定部は、店舗で発生した問題を前記第１ロボットにより解決できるか否かを判定する判定部をさらに有し、
前記判定部により、前記第１ロボットにより解決できないと判定された場合、検知した問題を解決する前記第２ロボットを選択する付記１に記載の情報処理装置。
（付記３）
前記第１ロボットおよび前記第２ロボットは、前記店舗内で作業を実行し、
前記取得部は、前記第１ロボットから画像情報を取得し、
前記分析部は、前記画像情報を解析し、前記店舗内で発生した問題を検知し、
前記決定部は、検知した問題を解決する前記第２ロボットを選択し、
前記指示部は、前記第２ロボットに対して前記問題を解決するための作業内容を指示する付記１または２に記載の情報処理装置。
（付記４）
前記分析部は、前記画像情報に基づいて床の汚れおよびその位置情報を検出し、
前記決定部は、前記分析部が検出した床の汚れを清掃する清掃ロボットを前記第２ロボットとして決定し、さらに、前記清掃ロボットが行うべき作業内容として清掃方法を決定し、
前記指示部は、前記清掃ロボットに対し、前記位置情報および前記清掃方法を指示する付記３に記載の情報処理装置。
（付記５）
前記分析部は、前記画像情報に基づいて精算待ちの顧客の人数およびその位置情報を検出し、
前記決定部は、前記人数が第１閾値を超えた場合に、前記分析部が検出した精算待ちの顧客に対する精算機能を有する精算ロボットを前記第２ロボットとして決定し、
前記指示部は、前記精算ロボットに対し、前記位置情報および前記精算機能の実行を指示する付記３または４に記載の情報処理装置。
（付記６）
前記分析部は、前記画像情報に基づいて商品の陳列状況を検出し、前記陳列状況に基づいて、前記商品の欠品およびその位置情報を検知し、
前記決定部は、欠品を検知された前記商品の補充機能を有する商品補充ロボットを前記第２ロボットとして決定し、
前記指示部は、前記商品補充ロボットに対し、前記位置情報および前記補充機能の実行を指示する付記３乃至５のいずれか１項に記載の情報処理装置。
（付記７）
前記分析部は、前記画像情報に基づいて案内が必要な顧客およびその位置情報を検出し、
前記決定部は、顧客案内機能を有する顧客案内ロボットを前記第２ロボットとして決定し、
前記指示部は、前記顧客案内ロボットに対し、前記位置情報および前記顧客案内機能の実行を指示する付記３乃至６のいずれか１項に記載の情報処理装置。
（付記８）
前記分析部は、前記画像情報に基づいて商品の陳列状況を検出し、前記陳列状況に基づいて、前記商品の陳列状況の乱れおよびその位置情報を検知し、
前記決定部は、陳列状況の乱れを整頓する整頓機能を有する整頓ロボットを前記第２ロボットとして決定し、
前記指示部は、前記整頓ロボットに対し、前記位置情報および前記整頓機能の実行を指示する付記３乃至７のいずれか１項に記載の情報処理装置。
（付記９）
前記分析部は、前記画像情報に基づいて前記第１ロボットの位置情報および商品の運搬状況を検出し、
前記決定部は、前記商品の運搬量が第２閾値を超えた場合、前記商品の運搬機能を有する運搬ロボットを前記第２ロボットとして決定し、
前記指示部は、前記運搬ロボットに対し、前記位置情報および前記運搬機能の実行を指示する付記３乃至８のいずれか１項に記載の情報処理装置。
（付記１０）
前記分析部は、前記画像情報に基づいて迷子およびその位置情報を検出し、
前記決定部は、前記分析部が検出した前記迷子を誘導する誘導機能を有する誘導ロボットを前記第２ロボットとして決定し、
前記指示部は、前記誘導ロボットに対し、前記位置情報および前記誘導機能の実行を指示する付記３乃至９のいずれか１項に記載の情報処理装置。
（付記１１）
前記分析部は、前記画像情報に基づいて落し物およびその位置情報を検出し、
前記決定部は、前記分析部が検出した前記落し物を回収する回収機能を有する回収ロボットを前記第２ロボットとして決定し、
前記指示部は、前記回収ロボットに対し、前記位置情報および前記回収機能の実行を指示する付記３乃至１０のいずれか１項に記載の情報処理装置。
（付記１２）
前記取得部は、前記第１ロボットから顧客の要望情報をさらに取得し、
前記分析部は、取得した前記要望情報を分析し、
前記決定部は、前記要望情報の分析結果から、連携すべき第２ロボットおよびその作業内容を決定する付記１または２に記載の情報処理装置。
（付記１３）
前記分析部は、前記要望情報に基づいて、顧客の商品検索情報を検出し、前記商品検索情報から検索商品の在庫状況および前記顧客の位置情報を検知し、
前記決定部は、前記検索商品の搬送機能を有する搬送ロボットを前記第２ロボットとして決定し、
前記指示部は、前記搬送ロボットに対し、前記搬送機能の実行を指示する付記１２に記載の情報処理装置。
（付記１４）
前記分析部は、前記要望情報に基づいて、顧客の購入商品搬送要望を検出し、
前記決定部は、購入した商品の搬送機能を有する搬送ロボットを前記第２ロボットとして決定し、
前記指示部は、前記搬送ロボットに対し、前記搬送機能の実行を指示する付記１２または１３に記載の情報処理装置。
（付記１５）
前記分析部は、前記要望情報に基づいて、顧客が試着している商品の代替商品に関する情報を検出し、
前記決定部は、前記代替商品を指定場所まで搬送する搬送機能を有する搬送ロボットを前記第２ロボットとして決定し、
前記指示部は、前記搬送ロボットに対し、前記搬送機能の実行を指示する付記１２乃至１４のいずれか１項に記載の情報処理装置。
（付記１６）
第１ロボットから情報を取得する取得ステップと、
取得した情報を分析する分析ステップと、
分析結果から、連携すべき第２ロボットおよびその作業内容を決定する決定ステップと、
前記決定ステップにおける決定に基づいて、前記第２ロボットに対して、前記作業内容を指示する指示ステップと、
を含む情報処理方法。
（付記１７）
第１ロボットから情報を取得する取得ステップと、
取得した情報を分析する分析ステップと、
分析結果から、連携すべき第２ロボットおよびその作業内容を決定する決定ステップと、
前記決定ステップにおける決定に基づいて、前記第２ロボットに対して、前記作業内容を指示する指示ステップと、
をコンピュータに実行させる情報処理プログラム。

この出願は、２０１８年３月５日に出願された日本出願特願２０１８−０３９０５６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (17)

1. 第１ロボットから情報を取得する取得部と、
   取得した情報を分析する分析部と、
   分析結果から、連携すべき第２ロボットおよびその作業内容を決定する決定部と、
   前記決定部の決定に基づいて、前記第２ロボットに対して、前記作業内容を指示する指示部と、
   を備えた情報処理装置。
2. 前記決定部は、店舗で発生した問題を前記第１ロボットにより解決できるか否かを判定する判定部をさらに有し、
   前記判定部により、前記第１ロボットにより解決できないと判定された場合、検知した問題を解決する前記第２ロボットを選択する請求項１に記載の情報処理装置。
3. 前記第１ロボットおよび前記第２ロボットは、前記店舗内で作業を実行し、
   前記取得部は、前記第１ロボットから画像情報を取得し、
   前記分析部は、前記画像情報を解析し、前記店舗内で発生した問題を検知し、
   前記決定部は、検知した問題を解決する前記第２ロボットを選択し、
   前記指示部は、前記第２ロボットに対して前記問題を解決するための作業内容を指示する請求項１または２に記載の情報処理装置。
4. 前記分析部は、前記画像情報に基づいて床の汚れおよびその位置情報を検出し、
   前記決定部は、前記分析部が検出した床の汚れを清掃する清掃ロボットを前記第２ロボットとして決定し、さらに、前記清掃ロボットが行うべき作業内容として清掃方法を決定し、
   前記指示部は、前記清掃ロボットに対し、前記位置情報および前記清掃方法を指示する請求項３に記載の情報処理装置。
5. 前記分析部は、前記画像情報に基づいて精算待ちの顧客の人数およびその位置情報を検出し、
   前記決定部は、前記人数が第１閾値を超えた場合に、前記分析部が検出した精算待ちの顧客に対する精算機能を有する精算ロボットを前記第２ロボットとして決定し、
   前記指示部は、前記精算ロボットに対し、前記位置情報および前記精算機能の実行を指示する請求項３または４に記載の情報処理装置。
6. 前記分析部は、前記画像情報に基づいて商品の陳列状況を検出し、前記陳列状況に基づいて、前記商品の欠品およびその位置情報を検知し、
   前記決定部は、欠品を検知された前記商品の補充機能を有する商品補充ロボットを前記第２ロボットとして決定し、
   前記指示部は、前記商品補充ロボットに対し、前記位置情報および前記補充機能の実行を指示する請求項３乃至５のいずれか１項に記載の情報処理装置。
7. 前記分析部は、前記画像情報に基づいて案内が必要な顧客およびその位置情報を検出し、
   前記決定部は、顧客案内機能を有する顧客案内ロボットを前記第２ロボットとして決定し、
   前記指示部は、前記顧客案内ロボットに対し、前記位置情報および前記顧客案内機能の実行を指示する請求項３乃至６のいずれか１項に記載の情報処理装置。
8. 前記分析部は、前記画像情報に基づいて商品の陳列状況を検出し、前記陳列状況に基づいて、前記商品の陳列状況の乱れおよびその位置情報を検知し、
   前記決定部は、陳列状況の乱れを整頓する整頓機能を有する整頓ロボットを前記第２ロボットとして決定し、
   前記指示部は、前記整頓ロボットに対し、前記位置情報および前記整頓機能の実行を指示する請求項３乃至７のいずれか１項に記載の情報処理装置。
9. 前記分析部は、前記画像情報に基づいて前記第１ロボットの位置情報および商品の運搬状況を検出し、
   前記決定部は、前記商品の運搬量が第２閾値を超えた場合、前記商品の運搬機能を有する運搬ロボットを前記第２ロボットとして決定し、
   前記指示部は、前記運搬ロボットに対し、前記位置情報および前記運搬機能の実行を指示する請求項３乃至８のいずれか１項に記載の情報処理装置。
10. 前記分析部は、前記画像情報に基づいて迷子およびその位置情報を検出し、
    前記決定部は、前記分析部が検出した前記迷子を誘導する誘導機能を有する誘導ロボットを前記第２ロボットとして決定し、
    前記指示部は、前記誘導ロボットに対し、前記位置情報および前記誘導機能の実行を指示する請求項３乃至９のいずれか１項に記載の情報処理装置。
11. 前記分析部は、前記画像情報に基づいて落し物およびその位置情報を検出し、
    前記決定部は、前記分析部が検出した前記落し物を回収する回収機能を有する回収ロボットを前記第２ロボットとして決定し、
    前記指示部は、前記回収ロボットに対し、前記位置情報および前記回収機能の実行を指示する請求項３乃至１０のいずれか１項に記載の情報処理装置。
12. 前記取得部は、前記第１ロボットから顧客の要望情報をさらに取得し、
    前記分析部は、取得した前記要望情報を分析し、
    前記決定部は、前記要望情報の分析結果から、連携すべき第２ロボットおよびその作業内容を決定する請求項１または２に記載の情報処理装置。
13. 前記分析部は、前記要望情報に基づいて、顧客の商品検索情報を検出し、前記商品検索情報から検索商品の在庫状況および前記顧客の位置情報を検知し、
    前記決定部は、前記検索商品の搬送機能を有する搬送ロボットを前記第２ロボットとして決定し、
    前記指示部は、前記搬送ロボットに対し、前記搬送機能の実行を指示する請求項１２に記載の情報処理装置。
14. 前記分析部は、前記要望情報に基づいて、顧客の購入商品搬送要望を検出し、
    前記決定部は、購入した商品の搬送機能を有する搬送ロボットを前記第２ロボットとして決定し、
    前記指示部は、前記搬送ロボットに対し、前記搬送機能の実行を指示する請求項１２または１３に記載の情報処理装置。
15. 前記分析部は、前記要望情報に基づいて、顧客が試着している商品の代替商品に関する情報を検出し、
    前記決定部は、前記代替商品を指定場所まで搬送する搬送機能を有する搬送ロボットを前記第２ロボットとして決定し、
    前記指示部は、前記搬送ロボットに対し、前記搬送機能の実行を指示する請求項１２乃至１４のいずれか１項に記載の情報処理装置。
16. 第１ロボットから情報を取得する取得ステップと、
    取得した情報を分析する分析ステップと、
    分析結果から、連携すべき第２ロボットおよびその作業内容を決定する決定ステップと、
    前記決定ステップにおける決定に基づいて、前記第２ロボットに対して、前記作業内容を指示する指示ステップと、
    を含む情報処理方法。
17. 第１ロボットから情報を取得する取得ステップと、
    取得した情報を分析する分析ステップと、
    分析結果から、連携すべき第２ロボットおよびその作業内容を決定する決定ステップと、
    前記決定ステップにおける決定に基づいて、前記第２ロボットに対して、前記作業内容を指示する指示ステップと、
    をコンピュータに実行させる情報処理プログラム。

Images