JP6402266B1 - ロボットの移動制御システム及び移動制御方法 - Google Patents

Abstract

【課題】ＲＦＩＤやマーカ等を設置しなくても、ロボットの現在位置の推定及び移動制御を行うことができる移動制御システム及び移動制御方法を提供する。【解決手段】サーバ２と、フロア内を移動するロボット１と、フロアの天井等の上層部に設けられた複数の固定カメラ３とを備え、サーバ２は、複数の固定カメラ３によって撮影された複数の画像に基づき、ロボット１の現在位置を推定し、推定した現在位置に基づき、ロボット１を現在位置と異なる第１の位置に移動させる移動指示をロボット１に送信する。【選択図】図１

Description

本発明は、ロボットの現在位置を推定し、ロボットの移動制御を行う移動制御システム及び移動制御方法に関する。

従来、ロボット等の移動装置の移動を制御する技術が知られている。ロボット等の移動装置の現在位置を確認するために、従来は、対象となる場所の床面にマーカやＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）等を設置し、それらによる情報に従い、移動装置の現在位置の確認や移動制御を行っている（例えば特許文献１）。

特開２０１７−２０４０４３号公報

しかしながら、対象となる場所の床面にマーカやＲＦＩＤを設置する場合、これらを設置するために手間がかかり、また追加費用が必要でありコストがかさむ。また床面にマーカを設置する場合、経年劣化によりマーカが磨耗した際には、移動装置の現在位置を推定することが困難になるためマーカを張り替えなければならず、手間であるとともにコストがさらにかさむ。加えてマーカは、移動装置が画像認識できる態様のものでなければならず、床面の美観に影響を及ぼす可能性もある。

従って、上記のような問題点に鑑みてなされた本発明の目的は、ＲＦＩＤやマーカ等を設置しなくても、ロボットの現在位置の推定及び移動制御を行うことができる移動制御システム及び移動制御方法を提供することにある。

上記課題を解決するために本発明の一実施形態に係る移動制御システムは、サーバと、フロア内を移動するロボットと、前記フロアの天井等の上層部に設けられた複数の固定カメラとを備え、前記サーバは、
前記複数の固定カメラによって撮影された複数の画像に基づき、前記ロボットの現在位置を推定し、
推定した現在位置に基づき、前記ロボットを現在位置と異なる第１の位置に移動させる移動指示を前記ロボットに送信する。

また、本発明の一実施形態に係る移動制御システムは、前前記ロボットが待機状態において、前記ロボットは現在位置を基準とした所定範囲内において自律移動可能である。

また、本発明の一実施形態に係る移動制御システムは、前記サーバは、前記複数の固定カメラにより撮影された画像に基づき、前記ロボットを移動させるためのマップを作成する。

また、本発明の一実施形態に係る移動制御システムは、前記ロボットが同時に撮影された１以上の画像に写っていない場合、過去の移動指示に基づき、前記ロボットが存在する現在位置を推定する。

また、本発明の一実施形態に係る移動制御システムは、前記ロボットが同時に撮影された１以上の画像に写っていない場合、前記複数の固定カメラにより同時に写る撮影範囲に前記ロボットを移動させる移動指示を送信する。

また、本発明の一実施形態に係る移動制御システムは、前記移動指示に基づいて移動している途中に、所定イベントが生じた場合、前記ロボットを待機状態に移行させる。

また、本発明の一実施形態に係る移動制御システムは、前記サーバが、前記ロボットが待機状態である場合、前記第１の位置へ移動する移動指示を送信する。

また、本発明の一実施形態に係る移動制御システムは、前記第１の位置へ移動する移動指示を所定回数送信しても前記ロボットが前記第１の位置へ移動しない場合、前記第１の位置とは異なる第２の位置へ移動する移動指示を送信する。

また、本発明の一実施形態に係る移動制御システムは、前記第１の位置へ移動する移動指示を所定回数送信しても前記ロボットが前記第１の位置へ移動しない場合、前記ロボットと前記第１の位置との間に障害物があると推定する。

また、本発明の一実施形態に係る移動制御方法は、サーバと、フロア内を移動するロボットと、前記フロアの天井等の上層部に設けられた複数の固定カメラとを備えた移動制御システムにおける移動制御方法であって、前記複数の固定カメラによって撮影された複数の画像に基づき、前記ロボットの現在位置を推定するステップと、
推定した現在位置に基づき、前記ロボットを現在位置と異なる第１の位置に移動させる移動指示を前記ロボットに送信するステップと、
を含む。

本発明における移動制御システム及び移動制御方法によれば、ＲＦＩＤやマーカ等を設置しなくても、ロボットの現在位置の推定及び移動制御を行うことができる。

本発明の一実施形態に係る移動制御システムの概要図である。 図１のロボットのブロック図である。 図１のサーバのブロック図である。 ロボットがフロア内に配置され、複数の固定カメラにより撮影されている様子を示す図である。 フロアのレイアウト及び複数の固定カメラの配置を示す平面図である。 本発明の一実施形態に係る移動制御システムによるマップ作成の動作を示すフローチャートである。 本発明の一実施形態に係る移動制御システムの動作を示すフローチャートである。 移動制御に係るサーバの動作を示すフローチャートである。 移動制御に係るロボットの動作を示すフローチャートである。

以下、本発明の実施の形態について説明する。

（実施の形態）
図１は本発明の一実施形態に係る移動制御システム１０の概要図である。移動制御システム１０は、書店、コンビニエンスストア、ドラッグストア等の店舗や、ショッピングモール等において用いることが可能であり、以下では書店にて用いられる場合について説明する。本発明の一実施形態に係る移動制御システム１０は、ロボット１と、サーバ２と、複数の固定カメラ３とを備える。ロボット１は、フロア内を巡回し、万引き防止のための監視、追尾、及び声かけや、来店者に対する広告情報の提供等を行う。サーバ２は、例えば移動制御システム１０の運営者等が管理するサーバ装置等の情報処理装置であり、ロボット１に移動指示を送信する。複数の固定カメラ３は、書店のフロアの天井等の上層部に設けられている。複数の固定カメラ３は常時フロア内を撮影し、撮影した画像をサーバ２に送信する。ロボット１、サーバ２、及び複数の固定カメラ３は、例えばイントラネットやインターネット等のネットワークＮにより接続される。なお図１では、ロボット１を１台例示しているが、ロボット１の台数はこれに限られず、複数のロボット１が備えられてもよい。また図１では、サーバ２を５台示しているが、サーバ２の台数はこれに限られず、任意の台数のサーバ２が備えられてもよく、例えばサーバの台数は１台であってもよい。また固定カメラ３を３台例示しているが、固定カメラの台数は２台以上であれば、これに限られない。

本実施形態に係る移動制御システム１０の概略について説明する。本実施形態に係る移動制御システム１０は、複数の固定カメラ３を用いてフロア内のロボット１を撮影し、撮影された複数の画像に基づき、ロボットが撮影時に存在する位置（以下、現在位置という。）を推定する。サーバ２は、フロアのマップと推定した現在位置とに基づき、フロア内をロボット１が移動するための移動指示を作成し、当該移動指示をロボット１に送信する。ロボット１は、サーバ２から送信された移動指示を受信し、当該移動指示に基づきフロア内を移動する。またロボット１は、移動指示に基づきフロア内を移動しながら、例えば周囲の映像を常時撮影し、万引き防止のための監視、追尾、及び声かけや、来店者に対する広告情報の提供等の動作を行う。このようにロボット１、サーバ２、及び複数の固定カメラ３が協働して、移動制御システム１０が実現される。以下、移動制御システム１０の各構成要素について説明する。

（ロボット１の構成）
はじめにロボット１の構成について説明する。好適にはロボット１は、図１に図示するような人型のロボットであり、顔を含む頭部、胴体部、腕部を備える。図２に、ロボット１のブロック図を示す。ロボット１は、通信部１１と、移動手段１２と、撮影部１３と、入力部１４と、出力部１５と、記憶部１６と、制御部１７とを備える。通信部１１と、移動手段１２と、撮影部１３と、入力部１４と、出力部１５と、記憶部１６と、制御部１７とは、バス１８によりそれぞれ接続されている。

通信部１１は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェースである。本実施形態において通信部１１は、ネットワークＮを介して、サーバ２との間で情報を相互に送受信可能である。なお通信部１１は、サーバ２と通信する際に、ロボット１の固体認証の処理（ログイン処理等）を適宜行う。これにより複数のロボットが存在する場合、複数のロボットの中のどのロボットからのアクセスであるかをサーバ２が把握する。また正規のログインでない場合は、サーバ２へのアクセスを適切に遮断する。

移動手段１２は、ロボット１本体を全方向（前後左右）に移動及び回転させるものであり、例えばオムニホイールである。オムニホイールは全方向に移動可能なタイヤであり、複数個の回転可能なローラを有している。当該ローラの回転を制御することにより、任意の方向に移動することが可能であり、また回転動作をすることも可能である。本実施の形態において、ロボット１は書店にて用いられているため、来店者等と衝突しないように、ゆっくりと移動することが好ましい。例えば移動手段１２による移動速度の最大値を２ｋｍ／ｈとする。なお移動手段１２はオムニホイールに限らず、任意の移動手段を採用することができる。

撮影部１３は、来店者等を撮影するものであり、例えば少なくとも１つの２Ｄカメラを含み、所定の画面解像度及びフレームレートにて映像を撮影する。画面解像度は例えばフルハイビジョン（１９２０×１０８０ピクセル）である。またフレームレートは例えば３０ｆｐｓである。例えば２Ｄカメラの台数は２台であり、ロボット１の顔部の異なる位置（例えば額の位置及び口元）にそれぞれ設けられる。異なる位置に２Ｄカメラを配置することで、片方の２Ｄカメラが来店者等を撮影できない場合（例えば額のすぐ前に遮蔽物が存在し、遮蔽物により撮影範囲の一部又は全部が遮られる場合）においても、もう一方の２Ｄカメラにより来店者等を撮影することができる。

ロボット１は、２Ｄカメラで撮影した映像に基づき、来店者の存在を検知する。具体的には２Ｄカメラにより店内の映像を常時撮影し、撮影した映像を通信部１１によりサーバ２に送信する。なお映像は静止画でも動画であってもよい。好適には撮影部１３は、圧縮した映像をサーバ２に送信する。例えば映像の縦横を各々１／４に圧縮し、出力映像を４８０×２７０ピクセルとする。またフレームレートを１／２に圧縮し、１５ｆｐｓにする。これにより映像送信に係る通信リソース及びサーバ２の記憶容量の効率化を図ることができる。

さらに撮影部１３により、対象物までの距離を計測可能である。例えば撮影部１３は、少なくとも１つの３Ｄカメラを含んでもよい。３Ｄカメラは、赤外視線を照射して反射光を検出することにより、対象物までの距離を取得することができる。３Ｄカメラは、所定の画面解像度（例えば３２０×２４０ピクセル）及び所定フレームレート（例えば２０ｆｐｓ）にて３Ｄの映像（距離情報を含む映像）を取得する。例えば３Ｄカメラの台数は２台であり、ロボット１の顔部の異なる位置（例えば両目の位置）にそれぞれ設けられる。異なる位置に３Ｄカメラを配置することで、片方の３Ｄカメラが来店者を撮影できない場合（例えば右目の前に遮蔽物が存在し、撮影範囲が遮蔽物により遮られる場合）においても、もう一方の３Ｄカメラ（左目の位置に設けられた３Ｄカメラ）により来店者を撮影することができる。ロボット１は、３Ｄカメラにより対象物までの距離を検知し、検知した距離に基づいて、移動手段１２により自律移動する。

入力部１４は、音声入力及び操作入力を受け付けるデバイスである。例えば入力部１４は、来店者の会話の音声を集音する。また入力部１４は、来店者によるタッチ等の入力操作を受け付ける。例えば入力部１４は、マイクと、タッチセンサ等の入力センサとを含んで構成される。

出力部１５は、音声出力及び画面、画像、映像等を表示するデバイスである。例えば出力部１５は、スピーカと、ディスプレイとを含んで構成される。ディスプレイは、例えば液晶ディスプレイ、有機ＥＬディスプレイ等である。出力部１５は、サーバ２から通信部１１を介して受信した広告情報等を出力する。広告情報は、商品ＣＭ、商品説明、告知情報等である。広告情報の対象商品は、ロボット１が配置された場所で取り扱う商品を含む。また対象商品はこれに限らず、他店舗の商品又はサービスであってもよい。例えば、ロボット１が配置された書店に隣接する、別の店舗の商品・サービスに関するものであってもよく、書店に隣接して喫茶店が併設されている場合、当該喫茶店のメニューやサービスを広告情報の対象としてもよい。このようにすることで、異なる店舗間、業種間等におけるサービスの連携を図ることもできる。

本実施の形態では、ロボット１の胸部にタッチパネルが備えられている。タッチパネルは、来店者の入力操作を受け付ける入力デバイスであり、かつ、多様な画面、画像、映像等を表示する出力デバイスである。本実施の形態では、タッチパネル及びマイクにより入力部１４の機能を実現し、当該タッチパネルとスピーカにより出力部１５の機能を実現している。

記憶部１６は、例えば一次記憶装置及び二次記憶装置を含み、サーバ２から提供される種々の情報及び情報処理に必要なプログラムを記憶する。例えば、記憶部１６は、移動制御システム１０のロボット用のアプリケーション（以下、ロボ用アプリという。）を記憶する。ロボ用アプリは、例えばネットワークＮを介して所定の配信サーバから取得可能である。ロボ用アプリが実行（起動）された状態で、ロボット１の本実施形態に係る動作が実現される。

制御部１７は、専用又は汎用のプロセッサを含む。制御部１７は、ロボット１全体の動作をロボ用アプリにより制御する。例えば制御部１７は、通信部１１により情報の送受信を行う。具体的には例えば制御部１７は、撮影部１３により撮影した映像を、通信部１１によりサーバ２に送信する。また制御部１７は、入力部１４により集音した来店者の音声をサーバ２に送信する。

また制御部１７は、ロボット１の移動に係る制御を行う。制御部１７は、サーバ２からの移動指示に基づき、移動手段１２によりロボット１を移動させる。移動指示は、例えば現在位置と異なる第１の位置にロボット１を移動させる命令である。移動指示は、ロボット１の前後左右方向への移動、回転に係る命令を含む。移動指示は具体的には例えば、「前方へ３ｍ進め」との命令である。この場合、現在位置と異なる第１の位置は、ロボットの現在位置から見て、ロボットの正面方向の３ｍ先の地点である。移動指示はこれに限られず他にも「時計回りに９０度回転し、回転後に前方へ４ｍ進め」等でもよい。あるいは移動指示は、移動方向、距離による命令ではなく、移動手段１２の制御を直接指定する命令であってもよい。例えば移動指示は、オムニホイールのローラの回転数を指定する命令等でもよい。

ここでロボット１の状態は、サーバ２からの移動指示を待っている状態（以下、待機状態ともいう。）と、サーバ２からの移動指示に基づき移動している状態（以下、アクティブ状態ともいう。）との２つのいずれかである。ロボット１が待機状態又はアクティブ状態のいずれであるかは、例えばロボット１の記憶部１６に記憶される。なおロボット１の状態をサーバ２に送信し、サーバ２において記憶しておいてもよい。ロボット１が待機状態でない場合（ロボット１がアクティブ状態である場合）、制御部１７は、サーバ２から受信した移動指示に基づいて、移動手段１２によりロボット１を移動させる。他方、ロボット１が待機状態である場合、制御部１７はロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる。つまり制御部１７は、移動指示に基づかずにロボット１のセンサ（カメラ等）に基づきロボット１を移動させる。ここで現在位置を基準とした所定範囲は、例えば現在位置を中心とした半径５０ｃｍの範囲である。

また制御部１７は、移動指示に基づく移動が完了した場合、ロボット１を待機状態に移行させる。待機状態に移行した場合、上述のように制御部１７は、ロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる。

また制御部１７は、移動指示に基づきロボット１が移動中において、所定イベントが発生した場合、移動指示をキャンセルして待機状態に移行させる。所定イベントは、例えばロボット１の進行方向の、固定カメラ３で撮影できない位置に、障害物が存在している等のイベントである。例えば障害物は、荷物、買い物カゴ等の障害物が置かれている場合や、立ち止まっている人がいる場合である。所定イベントが発生したか否かは、撮影部１３又は入力部１４の少なくとも一方からの入力に基づき、制御部１７が判定する。所定イベントが生じた場合、制御部１７はサーバ２からの移動指示をキャンセルして、ロボット１を待機状態に移行させる。ロボット１が待機状態に移行した場合、上述のように制御部１７は、ロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる。

（サーバ２の構成）
図３は、本発明の一実施形態に係るサーバのブロック図である。サーバ２は、サーバ通信部２１と、サーバ記憶部２２と、サーバ制御部２３とを備える。サーバ通信部２１と、サーバ記憶部２２と、サーバ制御部２３とは、バス２４によりそれぞれ接続されている。

サーバ通信部２１は、外部装置と無線又は有線によって通信し、情報の送受信を行うインターフェースである。本実施形態において、サーバ通信部２１は、ネットワークＮを介してロボット１及び複数の固定カメラ３と情報を相互に送受信可能である。

サーバ記憶部２２は、例えば一次記憶装置及び二次記憶装置を含み、移動制御システム１０の提供及び制御に必要な種々の情報及びプログラムを記憶する。

サーバ制御部２３は、専用又は汎用のプロセッサを含み、種々の処理を行う。サーバ制御部２３は、サーバ２全体の動作を制御する。例えばサーバ制御部２３は、サーバ通信部２１により情報の送受信を行う。具体的にはサーバ制御部２３は、ロボット１及び複数の固定カメラ３から送信された映像及び音声を、サーバ通信部２１により受信する。またサーバ制御部２３は、受信した情報（映像及び音声）をサーバ記憶部２２に記憶させる。記憶した情報は、記憶してから一定期間保存し、その後削除する。一定期間は例えば１ヶ月である。１ヶ月間でのデータ保存量は、１台のロボット１又は固定カメラ３からの映像を記憶する場合、約１ＴＢである（１０時間／日、３０日の稼動の場合）。サーバ記憶部２２は必要な記憶容量を備える。

またサーバ制御部２３は、受信した映像に基づき、来店者の認証を行う。受信した映像に基づき来店者を認証する場合、サーバ制御部２３は、映像に含まれる来店者の顔画像を抽出して、データベースに基づく顔認証を行う。顔認証には人工知能の技術を適宜用い、機械学習により認証の精度を向上させる。データベースには、来店者に係る情報（以下、ユーザ情報ともいう。）が格納されており、サーバ記憶部２２に記憶されている。当該データベースは、ユーザＩＤ、氏名、顔画像、性別、年齢、会員カードＩＤ、嗜好等のユーザ情報を含む。ユーザＩＤとは、来店者を一意に特定するための識別子である。データベースには、ユーザＩＤに対応付けて、当該ＩＤに係る来店者の氏名、顔画像、性別、年齢、会員カードＩＤ、嗜好等のユーザ情報が格納されている。ユーザ情報には他の情報が含まれてもよく、例えば携帯電話の電話番号を含んでもよい。また携帯電話の情報に基づき他の店の購入履歴等の情報を適宜関連付けてもよく、この場合、他店舗における購入履歴等、来店者に関する各種情報を用いることが可能となる。サーバ制御部２３は、サーバ記憶部２２にアクセスして、ロボット１から受信した映像に含まれる来店者の顔画像に一致又は類似するレコードがあるか否かを検索し、顔認証を行なう。好適には、かかるデータベースは暗号化される。暗号化することにより、外部に情報が万一漏れても顔画像や指名、年齢等の情報が実質的に復元不可能とすることができ、プライバシーを適切に保護することができる。

またサーバ制御部２３は、複数の固定カメラ３により撮影された複数の画像に基づき、ロボット１の現在位置を推定する。図４に、ロボットが店内に配置され、複数の固定カメラ３により撮影されている様子を示す。図４では３つの固定カメラ３の鉛直方向の視野角はαであり、各固定カメラ３により撮影された画像にロボット１が写っている様子を示している。なお図４では全ての固定カメラ３の鉛直方向の視野角をαとしているが、固定カメラ毎に視野角を変えてもよい。なお図４に示すように、ロボット１は、書棚４の間の通路を移動する。したがって、複数の固定カメラ３に写るように、書棚４の高さに応じて、ロボット１の高さを設定することが好ましい。

サーバ制御部２３は、ロボット１が１以上の画像に写っている場合、ロボット１が写っている当該１以上の画像に基づき、ロボット１の現在位置を推定する。固定カメラ３の設置位置は予め定まっている。ロボット１が２以上の画像に写っている場合、当該２以上の画像は、異なる固定カメラ３により、異なる方向から略同時に撮影されたものである。したがって２以上の画像におけるロボット１の場所が定まれば、ロボット１の現在位置を高精度で推定することができる。すなわち、各固定カメラ３の視野角の中で、ロボット１を検出できる画像から、それぞれ水平方向及び垂直方向の角度を測定することによりロボット１の現在位置を推定できる。なおロボット１が画像に写っているか否かの検出は、任意の画像認識手法を用いることができる。また、ロボットが１の画像に写っている場合も、当該１の画像からロボット１の現在位置を推定できる。具体的には、ロボット１が写っている当該画像からロボット１の方向を検出し、また固定カメラ３の床からの高さが既知であることから、画像の画角のどの位置にロボット１が移っているかに基づき、固定カメラ３からロボット１までの距離を計算することができる。当該方向及び距離に基づき、ロボット１の現在位置を推定することができる。

他方、ロボット１が１以上の画像に写っていない場合、サーバ制御部２３は、過去の移動指示に基づき、ロボット１の現在位置を推定する。つまり過去に移動指示を出した時間と、現在の時刻とに基づき、ロボット１の現在位置を推定する。

またサーバ制御部２３は、ロボット１が待機状態であるか否かを判定し、ロボット１が待機状態である場合に、ロボット１に移動指示を送信する。他方、ロボット１が待機状態でない場合は、サーバ制御部２３は、ロボット１に移動指示を送信しない。ロボット１が待機状態であるか否かは、例えばロボット１から状態に係る情報を受信して判定する。当該判定は、移動指示に基づく第１の位置に所定時間内に移動しているか否かにより行ってもよい。あるいは当該判定は、ロボット１が現在位置を基準とした所定範囲内での移動を行っているか否かにより判定してもよい。

上述のように、複数の固定カメラ３の位置は予め定まっており、それぞれフロアの天井等の上層部の所定位置に設けられている。図５は、店内を上方から見た場合の書棚４等のレイアウト及び複数の固定カメラ３の配置を示す平面図の一例である。図５に示すように、固定カメラ３をロボット１の移動経路の上方の天井等の上層部に設置し、また、近接する固定カメラ３の撮影方向がそれぞれ異なるように調整している。各固定カメラ３の水平方向の視野角はβである。このような固定カメラ３の配置及び調整により、フロア内の大部分において、１以上の固定カメラ３でロボット１を撮影でき、高精度にロボット１の位置を推定できる。なお固定カメラ３の配置、撮影方向、及び視野角はこれに限られず、フロアの各場所をそれぞれ１以上の固定カメラ３で撮影できるように固定カメラ３の配置、及び撮影角度、視野角を適宜設定できる。また全ての固定カメラ３の水平方向の視野角をβとしているが、カメラ毎に視野角を変えてもよい。

またサーバ制御部２３は、複数の固定カメラ３により撮影した画像により、ロボット１を移動させるためのフロア全体のマップを作成可能である。マップの作成は、サーバ２がマップ作成指示を受信した場合に行う。マップ作成指示は、管理者によるサーバ２への入力でも、サーバ２とは異なる管理者端末からの指示であってもよい。あるいはマップ作成指示は、サーバ２が移動制御システム１０の初期起動時や、定期的に自動的に生成してもよい。マップ作成指示を受信するとサーバ制御部２３は、フロア内に設置された全ての固定カメラ３から、各固定カメラ３により撮影した画像を受信し、当該画像に基づき、マップを作成する。サーバ制御部２３は、当該マップに基づき、ロボット１が移動可能な場所及び経路にて、移動指示を生成する。

またサーバ制御部２３は、移動指示の生成において、ロボット１周囲の画像に基づき移動指示を生成してもよい。すなわち、サーバ制御部２３は、ロボット１の周辺に障害物や人がいるか否かを、固定カメラ３の画像から判定する。ロボット１の周辺に障害物や人がいると判定した場合、サーバ制御部２３は、当該障害物や人を避けるように移動指示を生成する。つまり当該障害物や人にぶつかる移動指示は生成しない。これによりロボット１が障害物や人を避けて移動することが可能となる。

（固定カメラ３の構成）
複数の固定カメラ３は、上述のようにフロアの天井等の上層部の所定位置に設けられる。複数の固定カメラ３として、従来からフロアの天井等の上層部に設けられている防犯カメラ等を用いてもよい。なお複数の固定カメラ３は、防犯カメラ設置用のパイプに取り付けられてもよい。この場合も、フロアの上層部から、フロア内の画像を撮影することができる。あるいは複数の固定カメラ３は、フロアの側壁の上層部に設けられていてもよい。固定カメラ３は、所定の画面解像度（例えば１９２０×１０８０ピクセル）及び所定の時間間隔にて画像を取得し、取得した画像をサーバ２に送信する。

（移動制御システム１０の動作）
次に、本発明の一実施形態に係る移動制御システム１０について、図６から図９に示すフローチャートによりその動作を説明する。

図６は、本発明の一実施形態に係る移動制御システム１０によるマップ作成の動作を示すフローチャートである。はじめに、サーバ２は、サーバ通信部２１を介してマップ作成指示を受信する（ステップＳ１０）。マップ作成指示を受信すると、サーバ制御部２３は、フロア内に設置された全ての固定カメラ３から、サーバ通信部２１を介して、各固定カメラ３により撮影された画像を受信する（ステップＳ２０）。続いてサーバ制御部２３は、受信した複数の画像に基づき、マップを作成する（ステップＳ３０）。このように、本実施形態に係る移動制御システム１０によれば、ロボット１を動作させずともフロアのマップを作成できるため、従来のロボットにおけるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と比較して高速にマップを作成することができる。また、複数の固定カメラ３の設置位置が予め分かっているため、高精度のマップを作成することができる。

図７は、本発明の一実施形態に係る移動制御システム１０による、ロボット１の現在位置推定及び移動制御に係る動作を示すフローチャートである。

はじめにサーバ２は、サーバ通信部２１により、複数の固定カメラ３により撮影された複数の画像を受信する（ステップＳ１００）。

次にサーバ制御部２３は、複数の固定カメラ３により撮影された複数の画像に基づき、ロボット１の現在位置を推定する。まずサーバ制御部２３は、ロボット１が１以上の画像に写っているか否かを判定する（ステップＳ１１０）。ロボット１が１以上の画像に写っている場合（ステップＳ１１０：はい）、サーバ制御部２３は、ロボット１が写っている当該１以上の画像に基づき、ロボット１の現在位置を推定する（ステップＳ１２０）。他方で、ロボット１が１以上の画像に写っていない場合（ステップＳ１１０：いいえ）、サーバ制御部２３は、過去の移動指示に基づき、ロボット１の現在位置を推定する（ステップＳ１３０）。

ロボット１の現在位置を推定した後、サーバ制御部２３は、ロボット１の移動制御を行う（ステップＳ１４０）。移動制御は主に、サーバ制御部２３からロボット１に送信する移動指示により行う。移動指示は、サーバ２により作成したマップ及び推定したロボット１の現在位置に基づき作成する。

図８及び図９は、ロボット１の移動制御に係る動作を示すフローチャートである。図８は、サーバ２の動作を示すフローチャートであり、図９は、ロボット１の動作を示すフローチャートである。まずサーバ２の動作について、図８により説明する。

はじめにサーバ制御部２３は、ロボット１が待機状態であるか否かを判定する（ステップＳ２００）。ロボット１が待機状態であると判定した場合、サーバ制御部２３は、サーバ通信部２１によりロボット１に移動指示を送信する（ステップＳ２１０）。他方で、ロボット１が待機状態でないと判定した場合、サーバ制御部２３は、サーバ通信部２１によりロボット１に移動指示を送信しない。

続いてロボット１の動作について、図９により説明する。はじめにロボット１の制御部１７は、自己の状態が待機状態であるか否かを判定する（ステップＳ３００）。待機状態ではない場合（ステップＳ３００：いいえ）、制御部１７は、サーバ２からの移動指示に基づき、移動手段１２によりロボット１を移動させる（ステップＳ３１０）。

次に制御部１７は、移動指示に基づきロボット１が移動中において、所定イベントが発生したか否かを判定する（ステップＳ３２０）。所定イベントが発生していないと判定した場合（ステップＳ３２０：いいえ）、ステップＳ３３０に進む。

移動指示に基づく移動が完了した場合（ステップＳ３３０）、制御部１７は、ロボット１を待機状態に移行させる（ステップＳ３４０）。そして制御部１７は、ロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる（ステップＳ３５０）。

ステップＳ３００において、ロボット１が待機状態であると判定した場合、ステップＳ３５０に進み、制御部１７は、ロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる。

またステップＳ３２０において、所定イベントが発生したと判定した場合、ステップＳ３４０に進み、ロボット１を待機状態に移行し、その後制御部１７は、ロボット１の現在位置を基準とした所定範囲内においてロボット１を自律移動させる（ステップＳ３５０）。

このように本発明の一実施形態に係る移動制御システム１０によれば、複数の固定カメラ３によって撮影した複数の画像によりロボット１の現在位置を推定し、推定した現在位置に基づき移動指示をロボット１に送信してロボット１の移動制御を行うため、ＲＦＩＤやマーカ等を設置しなくても、ロボット１の現在位置の推定及び移動制御を行うことができる。

また、本発明の一実施形態に係る移動制御システム１０によれば、複数の固定カメラ３によりフロアの大半の領域の状況を把握した上でロボット１の移動制御を行うため、より適した位置にロボット１を移動及び配置することができ、ロボット１による万引き防止のための監視、追尾、声かけ、来店者に対する広告情報の提供等の動作の効果を高めることが期待できる。また、複数のロボット１をフロアにて移動制御する場合にも、フロア全体の状況を考慮しながら、複数のロボットの配置及び移動制御を行うことができる。

また、本発明の一実施形態に係る移動制御システム１０では、ロボット１が待機状態、すなわち移動指示を受けていない状態において、現在位置を基準とした所定範囲内でロボット１が自律移動する。このためロボット１が常時自律移動しているように見え、万引き防止や広告提供の効果を高めることができる。また常時ロボット１が移動することで、ロボット１の周囲の映像等をより広範囲に取得することができる。

なお、ロボット１が複数の固定カメラ３により撮影された画像のうち、１以上の画像に写っていない場合、サーバ２のサーバ制御部２３は、複数の固定カメラ３により同時に写る撮影範囲にロボット１を移動させる移動指示を送信するようにしてもよい。このようにすることで、当該移動指示に基づいて移動した後のロボット１は複数の固定カメラ３により撮影されるため、ロボット１の現在位置を高精度で推定することができる。

なお、ロボット１に第１の位置へ移動する移動指示を所定回数送信してもロボット１が第１の位置へ移動しない場合、サーバ２は、第１の位置とは異なる第２の位置へ移動する移動指示を送信するようにしてもよい。例えばロボット１の進行方向に障害物がある場合には、ロボット１が移動指示に基づき移動しようとしても、毎回同一の所定イベントが生じ、第１の位置に移動できない可能性がある。当該事象によりロボット１が移動できなくなることを防止するために、同一の移動指示の再送回数を所定回数に制限する。そして、所定回数送信しても移動指示に基づく移動が行われない場合、移動先を第１の位置とは異なる第２の位置に変更する。これにより、ロボット１が移動できない状態を抑制し、ロボット１を効率よく移動制御することができる。

さらに、サーバ２が第１の位置へ移動する移動指示を所定回数送信してもロボット１が第１の位置へ移動しない場合、サーバ制御部２３は、ロボット１と第１の位置との間に障害物があると推定してもよい。またサーバ制御部２３は、当該推定に基づき、フロアのマップ内に、障害物が存在するとの情報を含めるよう、マップを更新してもよい。マップを更新することにより、サーバ制御部２３は、当該障害物の存在を考慮してロボット１への移動指示を作成でき、ロボット１が移動できない状態を抑制し、ロボット１を効率よく移動制御することができる。

なお、本実施の形態では、ロボット１が待機状態において、現在位置を基準とした所定範囲内において自律移動させるとしたがこれに限られず、ロボット１は待機状態において停止するようにしてもよい。ロボット１に自律移動の機能を持たせない場合には、ロボット１の機能を簡素化することができる。

なお、本実施の形態では、ロボット１の位置の推定、移動制御のための移動指示の作成を、サーバ２にて行う例について説明したが、例えばロボット１が、サーバ２の機能の一部又は全部を備えてもよい。例えばサーバ２にてロボット１の現在位置の推定を行い、サーバ２がロボット１に現在位置の情報を送信し、ロボット１が、現在位置の情報に基づき自己の移動制御を行ってもよい。ロボット１がサーバ２の機能を全部備える場合は、サーバ２を設けなくともロボット１及び複数の固定カメラ３により、移動制御システムを構成することができる。

以上、本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１ ロボット
２ サーバ
３ 固定カメラ
４ 書棚
１０ 移動制御システム
１１ 通信部
１２ 移動手段
１３ 撮影部
１４ 入力部
１５ 出力部
１６ 記憶部
１７ 制御部
１８、２４ バス
２１ サーバ通信部
２２ サーバ記憶部
２３ サーバ制御部

Claims (11)

1. サーバと、フロア内を巡回するロボットと、前記フロアの天井等の上層部に設けられ繰り返し前記フロア内を撮影する複数の固定カメラとを備え、前記サーバは、
   前記複数の固定カメラによって異なる方向から略同時に撮影された複数の画像に基づき、前記ロボットの現在位置を推定し、
   前記ロボットの現在位置を推定する度に、前記ロボットが前記サーバからの移動指示を待っている待機状態か否かを判定し、前記ロボットが前記待機状態である場合、前記複数の画像により推定した現在位置に基づき、前記ロボットを現在位置と異なる第１の位置に移動させる移動指示を前記ロボットに送信し、前記ロボットが前記待機状態でない場合、前記移動指示を送信しないことを特徴とする移動制御システム。
2. 前記サーバは、前記ロボットの状態に係る情報を受信して、前記ロボットが前記待機状態か否かを判定する、請求項１に記載の移動制御システム。
3. 前記サーバは、前記移動指示に基づき前記第１の位置に前記ロボットが所定時間内に移動しているか否かにより、前記ロボットが前記待機状態か否かを判定する、請求項１に記載の移動制御システム。
4. 前記ロボットが前記待機状態のときに、前記ロボットは現在位置を基準とした所定範囲内において自律移動可能である、請求項１乃至３のいずれか一項に記載の移動制御システム。
5. 前記サーバは、前記複数の固定カメラにより撮影された画像に基づき、前記ロボットを移動させるためのマップを作成する、請求項１乃至４のいずれか一項に記載の移動制御システム。
6. 前記サーバは、前記ロボットが１以上の画像に写っていない場合、過去の移動指示に基づき、前記ロボットが存在する現在位置を推定する、請求項１乃至５のいずれか一項に記載の移動制御システム。
7. 前記サーバは、前記ロボットが１以上の画像に写っていない場合、前記複数の固定カメラにより同時に写る撮影範囲に前記ロボットを移動させる移動指示を送信する、請求項１乃至６のいずれか一項に記載の移動制御システム。
8. 前記ロボットが前記移動指示に基づいて移動している途中に、所定イベントが生じた場合、前記ロボットを前記待機状態に移行させる、請求項１乃至７のいずれか一項に記載の移動制御システム。
9. 前記サーバは、前記第１の位置へ移動する移動指示を所定回数送信しても前記ロボットが前記第１の位置へ移動しない場合、前記第１の位置とは異なる第２の位置へ移動する移動指示を送信する、請求項１乃至８のいずれか一項に記載の移動制御システム。
10. 前記サーバは、前記第１の位置へ移動する移動指示を所定回数送信しても前記ロボットが前記第１の位置へ移動しない場合、前記ロボットと前記第１の位置との間に障害物があると推定する、請求項１乃至８のいずれか一項に記載の移動制御システム。
11. サーバと、フロア内を巡回するロボットと、前記フロアの天井等の上層部に設けられ繰り返し前記フロア内を撮影する複数の固定カメラとを備えた移動制御システムにおける移動制御方法であって、
    前記複数の固定カメラによって異なる方向から略同時に撮影された複数の画像に基づき、前記ロボットの現在位置を推定するステップと、
    前記ロボットの現在位置を推定する度に、前記ロボットが前記サーバからの移動指示を待っている待機状態か否かを判定し、前記ロボットが前記待機状態である場合、前記複数の画像により推定した現在位置に基づき、前記ロボットを現在位置と異なる第１の位置に移動させる移動指示を前記ロボットに送信し、前記ロボットが前記待機状態でない場合、前記移動指示を送信しないステップと、
    を含む移動制御方法。

Images