JP6600740B2 - 制御システムおよび制御装置 - Google Patents

Description

本発明は、移動体を制御する制御システム、移動体、および移動体を制御する制御装置に関する。

近年、対話と移動の両方を行うロボットの製品開発が盛んである。例えば、特許文献１は、特定人物に随伴して移動する際、特定人物の視野域と共通する視野域が得られる位置に自律的に移動する自律移動型ロボットを開示する。この自律移動型ロボットは、モビルロボットが特定人物に随伴して移動する際、モビルロボットが特定人物の視線を観測可能な視線観測位置を算出し、走行装置１のホイールインモータを制御してモビルロボットを視線観測位置に向けて移動させ、特定人物の視線方向を検出し、特定人物の視野域を推定する。そして、自律移動型ロボットは、推定された特定人物の視野域と共通する視野域が得られる視野域可視位置を算出し、走行装置１のホイールインモータを制御してモビルロボットを視野域可視位置に向けて移動させる。

特開２００７−２２９８１４号公報

しかしながら、上述した従来技術の自律移動型ロボットは、自律移動型ロボットが観測した範囲でのみ、特定人物を検出する。このため、自律移動型ロボットが観測できない範囲に特定人物が存在する場合、随伴できないことになる。また、たとえば、防犯システムでは、自律移動型ロボットが不審者の視野に入った場合、自律移動型ロボットは、当該不審者に気づかれてしまう。

本発明は、上記のような課題を解決するためになされたものであり、移動体が所定の行動をする人物への移動体の行動の改善を図ることを目的とする。

本願において開示される発明の一側面となる制御システムは、領域内を移動する移動体と、前記移動体を制御する制御装置と、を有する制御システムである。前記移動体は、第１プログラムを実行する第１プロセッサと、前記第１プログラムを記憶する第１記憶デバイスと、前記制御装置と通信する第１インタフェースと、前記移動体を移動させる移動装置と、前記領域内の人物を撮影する第１カメラと、を有する。前記第１プロセッサは、前記第１カメラによって撮影された前記人物の顔画像の有無に基づいて、前記人物の顔が向いている顔方向を決定する決定処理と、前記移動体が前記制御装置から送信された経路情報にしたがって移動するように前記移動装置を制御する移動制御処理と、を実行する。前記制御装置は、第２プログラムを実行する第２プロセッサと、前記第２プログラムを記憶する第２記憶デバイスと、前記移動体と通信する第２インタフェースと、前記領域内の前記人物および前記移動体を撮影する第２カメラと、を有する。前記第２プロセッサは、前記第２カメラによって撮影された前記領域の画像に基づいて、前記領域内における前記人物の位置および前記移動体の位置を検出する検出処理と、前記検出処理によって検出された前記人物の位置および前記移動体の位置と、前記決定処理によって決定された前記第１インタフェースから送信された前記顔方向の情報と、に基づいて、前記移動体が、前記人物の視界外でかつ前記人物を中心とする所定範囲外から前記視界内でかつ前記所定範囲内を経由せずに前記所定範囲内でかつ前記人物の視界内の位置に到達する経路を示す前記経路情報を算出する算出処理と、前記算出処理によって算出された前記経路情報を前記移動体に送信する送信処理と、を実行する。

本願において開示される発明の他の側面となる制御システムは、領域内を移動する移動体と、前記移動体を制御する制御装置と、を有する制御システムである。前記移動体は、第１プログラムを実行する第１プロセッサと、前記第１プログラムを記憶する第１記憶デバイスと、前記制御装置と通信する第１インタフェースと、前記移動体を移動させる移動装置と、を有する。前記第１プロセッサは、前記移動体が前記制御装置から送信された経路情報にしたがって移動するように前記移動装置を制御する移動制御処理と、を実行し、前記制御装置は、第２プログラムを実行する第２プロセッサと、前記第２プログラムを記憶する第２記憶デバイスと、前記移動体と通信する第２インタフェースと、前記領域内の人物および前記移動体を撮影する第２カメラと、を有する。前記第２プロセッサは、前記検出処理によって検出された前記人物の時系列な位置で特定される移動経路が指し示す方向に基づいて、前記人物の顔が向いている顔方向を決定する決定処理と、前記検出処理によって検出された前記人物の位置および前記移動体の位置と、前記決定処理によって決定された前記顔方向と、に基づいて、前記移動体が、前記人物の視界外でかつ前記人物を中心とする所定範囲外から前記視界内でかつ前記所定範囲内を経由せずに前記所定範囲内でかつ前記人物の視界内の位置に到達する経路を示す前記経路情報を算出する算出処理と、前記算出処理によって算出された前記経路情報を前記移動体に送信する送信処理と、を実行する。

本発明の代表的な実施の形態によれば、移動体が所定の行動をする人物への移動体の行動の改善を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

図１は、制御システムによる制御例を示す説明図である。 図２は、制御装置と移動体と人物との配置関係を示す説明図である。 図３は、実施例１にかかる制御システムのシステム構成例を示すブロック図である。 図４は、実施例１にかかる制御システムの機能的構成例を示すブロック図である。 図５は、制御装置の特定部による挙動特定例を示す説明図である。 図６は、制御装置の生成部による旋回制御コマンドの生成例を示す説明図である。 図７は、移動体の決定部による顔方向の決定例を示す説明図である。 図８は、制御装置の算出部による経路情報の算出例を示す説明図である。 図９は、制御装置の算出部による経路情報の算出例を示す説明図である。 図１０は、実施例１にかかる制御システムによる制御処理手順例を示すフローチャートである。 図１１は、図１０に示した制御装置における特定処理（ステップＳ１０１２）の詳細な処理手順例を示すフローチャートである。 図１２は、図１０に示した制御装置における設定処理（ステップＳ１０１３）の詳細な処理手順例を示すフローチャートである。 図１３は、図１０に示した制御装置における生成処理（ステップＳ１０１４）の詳細な処理手順例を示すフローチャートである。 図１４は、図１０に示した移動体における決定処理（ステップＳ１０２５）の詳細な処理手順例を示すフローチャートである。 図１５は、図１０に示した算出処理（ステップＳ１０１５）の詳細な処理手順例を示すフローチャートである。 図１６は、実施例２にかかる制御システムの機能的構成例を示すブロック図である。 図１７は、実施例２にかかる制御システムによる制御処理手順例を示すフローチャートである。

実施例１は、領域内を移動する移動体と、移動体を制御する制御装置と、を有する制御システムについて説明する。実施例１では、移動体が所定の行動をする人物を、移動体ではなく制御装置が設定し、制御装置が、移動体に当該人物に所定の行動をするように制御する。これにより、移動体は、所定の行動をする人物を設定しなくてもよい。したがって、制御装置は、移動体から観測できる人物のほか、移動体から観測できない人物や、移動体から人物が観測できてもその顔が検出できない人物、移動体にあらかじめ設定された特定人物以外の人物についても、移動体に所定の行動をさせることができる。なお、移動体の所定の行動には、たとえば、人物との対話、人物への情報提供、人物からの情報収集、防犯システムでの人物の行動の抑止処理がある。以下、実施例１について説明する。

図１は、制御システムによる制御例を示す説明図である。図１は、移動する移動体Ｒが、人物Ｈへ移動する例を示す。移動体Ｒは、たとえば、ロボットである。ロボットの場合、移動体Ｒは、車輪により走行してもよく、複数の脚により歩行または走行してもよい。また、移動体Ｒは、飛行するドローンでもよい。実施例１では、一例として、移動体Ｒは、車輪で走行するロボットとする。

移動体Ｒは、監視対象となる領域１００に配置される。領域１００は、たとえば、イベントホール、催事場、交通施設、工場、美術館、博物館、広場、住宅のような人が存在する場所である。また、移動体Ｒは、１台以上の第１カメラを有する。第１カメラＣ１は、移動体Ｒから領域を撮影する。第１カメラＣ１は、固定でもよく、移動体Ｒに対し水平方向に回転可能（すなわち、鉛直軸周りに回転可能）に支持されてもよい。また、移動体Ｒは、音声を出力することにより人物と対話可能な構成でもよく、また、画面により情報を表示する構成でもよい。

図１において、（Ａ）は、移動体Ｒを人物Ｈの視界ＶＨ内の位置に接近させる例である。移動体Ｒを制御する制御装置は、移動体Ｒの位置と、人物Ｈの位置と、を検出する。移動体Ｒは、第１カメラＣ１からの画像から人物Ｈの顔が向いている方向（以下、顔方向）を決定し、顔方向の情報を制御装置に送信する。制御装置は、移動体Ｒの位置、人物Ｈの位置、および顔方向から、経路情報ｒａを算出する。

経路情報ｒａの目標地点Ｇ１は、人物Ｈから所定範囲（たとえば、人物Ｈを中心とする半径ｄの円）内で、かつ、人物Ｈの視界ＶＨ内の位置である。ｄは、たとえば、あらかじめ設定される距離であり、人物Ｈと移動体Ｒとが対話または接触可能な範囲とする。視界ＶＨは、人物Ｈから見える視野を想定した範囲であり、たとえば、人物Ｈが両目で見える範囲（たとえば、１２０度）とする。

制御装置は、経路情報ｒａを移動制御コマンドとして移動体Ｒに送信する。移動体は、受信した経路情報ｒａに従って、目標地点Ｇ１に移動する。これにより、人物Ｈは、移動体Ｒに気づくことができる。換言すれば、移動体Ｒが人物Ｈに接近しても気づかれなかった状況が改善される。また、移動体Ｒは、目標地点Ｇ１において、移動体Ｒの正面が人物Ｈと対向するように旋回する。これにより、移動後に、人物Ｈと移動体Ｒとが対面した状態で対話などの所定の行動が可能となる。

図１において、（Ｂ）は、移動体Ｒを人物Ｈの視界ＶＨ外の位置に接近させる例である。移動体Ｒを制御する制御装置は、移動体Ｒの位置と、人物Ｈの位置と、を検出する。移動体Ｒは、第１カメラＣ１からの画像から人物Ｈの顔方向を決定し、顔方向の情報を制御装置に送信する。制御装置は、移動体Ｒの位置、人物Ｈの位置、および顔方向から、経路情報ｒｂを算出する。

経路情報ｒｂの目標地点Ｇ２は、人物Ｈから所定範囲（たとえば、人物Ｈを中心とする半径ｄの円）内で、かつ、人物Ｈの視界ＶＨ外の位置である。制御装置は、経路情報ｒｂを移動制御コマンドとして移動体Ｒに送信する。移動体は、受信した経路情報ｒｂに従って、目標地点Ｇ２に移動する。これにより、移動体Ｒは、人物Ｈに気付かれないように接近することができる。換言すれば、移動体Ｒが人物Ｈに接近する場合に気付かれる状況が改善される。

このように、（Ａ）および（Ｂ）では、実施例１では、移動体Ｒが所定の行動をする人物Ｈを、移動体Ｒではなく制御装置が設定し、制御装置が、移動体Ｒに当該人物Ｈに所定の行動をするように制御する。これにより、制御装置は、移動体Ｒから観測できる人物Ｈのほか、移動体Ｒから観測できない人物Ｈや、移動体Ｒから顔が検出できない人物Ｈ、移動体Ｒにあらかじめ設定された特定人物以外の人物Ｈについても、移動体Ｒに所定の行動をさせることができる。したがって、移動体Ｒが所定の行動をする人物Ｈへの移動体Ｒの行動が改善される。

図２は、制御装置と移動体と人物との配置関係を示す説明図である。制御システム２００は、領域１００内を移動する移動体Ｒと、移動体Ｒを制御する制御装置２０１と、を有する。制御装置２０１は、第２カメラＣ２を有する。第２カメラＣ２は、領域１００を、たとえば、天井２１０から撮影する。第２カメラＣ２の設置位置は、領域１００を俯瞰する位置であれば、天井２１０以外でもよい。また、１台の第２カメラＣ２で領域１００のすべてを網羅する必要はなく、複数台の第２カメラＣ２で領域１００内の担当領域を撮影してもよい。また、制御装置２０１は、通信機器２０２に接続される。通信機器２０２は、たとえば、天井２１０に配置され、移動体Ｒと通信可能である。また、１台の通信機器２０２で領域１００のすべてを網羅する必要はなく、複数台の通信機器２０２で領域１００を網羅してもよい。

＜システム構成例＞
図３は、実施例１にかかる制御システム２００のシステム構成例を示すブロック図である。移動体Ｒは、第１プロセッサ３１１と、第１記憶デバイス３１２と、第１入力デバイス３１３と、第１出力デバイス３１４と、第１通信インタフェース（第１通信Ｉ／Ｆ３１５）と、第１画像処理回路３１６と、移動装置３１７と、第１カメラＣ１と、を有する。これらは、バス３１８で接続される。なお、測距センサ３１９を有してもよい。

第１プロセッサ３１１は、移動体Ｒを制御する。第１記憶デバイス３１２は、第１プロセッサ３１１の作業エリアとなる。また、第１記憶デバイス３１２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。第１記憶デバイス３１２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。第１入力デバイス３１３は、データを入力する。第１入力デバイス３１３としては、たとえば、タッチパネル、テンキー、マイクがある。第１出力デバイス３１４は、データを出力する。第１出力デバイス３１４としては、たとえば、ディスプレイ、スピーカがある。第１通信Ｉ／Ｆ３１５は、制御装置２０１と接続し、データを送受信する。

第１カメラＣ１は、移動体Ｒの周囲を撮影する。第１カメラＣ１は、たとえば、被写体までの距離を計測可能な３次元カメラでもよい。第１画像処理回路３１６は、第１カメラＣ１で撮影された画像を処理する。移動装置３１７は、移動体Ｒを移動させる機構である。たとえば、車輪を有する移動装置である。また、複数の脚を有する歩行／走行機構でもよい。測距センサ３１９は、被写体までの距離を計測するセンサである。第１カメラＣ１が３次元カメラである場合は、不要である。

制御装置２０１は、第２プロセッサ３２１と、第２記憶デバイス３２２と、第２入力デバイス３２３と、第２出力デバイス３２４と、第２通信インタフェース（第２通信Ｉ／Ｆ３２５）と、第２画像処理回路３２６と、第２カメラＣ２と、を有する。

第２プロセッサ３２１は、制御装置２０１を制御する。第２記憶デバイス３２２は、第２プロセッサ３２１の作業エリアとなる。また、第２記憶デバイス３２２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。第２記憶デバイス３２２としては、たとえば、ＲＯＭ、ＲＡＭ、ＨＤＤ、フラッシュメモリがある。第２入力デバイス３２３は、データを入力する。第２入力デバイス３２３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。第２出力デバイス３２４は、データを出力する。第２出力デバイス３２４としては、たとえば、ディスプレイがある。第２通信Ｉ／Ｆ３２５は、移動体Ｒと接続し、データを送受信する。第２通信Ｉ／Ｆ３２５は、図２に示した通信機器２０２に相当する。第２カメラＣ２は、領域１００を俯瞰して撮影する。第２画像処理回路３２６は、第２カメラＣ２で撮影された画像を処理する。

＜制御システムの機能的構成例＞
図４は、実施例１にかかる制御システム２００の機能的構成例を示すブロック図である。移動体Ｒは、決定部４１１と、移動制御部４１２と、旋回制御部４１３と、第１送受信部４１４と、管理部４１５と、を有する。決定部４１１、移動制御部４１２、旋回制御部４１３および管理部４１５は、具体的には、たとえば、第１記憶デバイス３１２に記憶されたプログラムを第１プロセッサ３１１が実行することにより実現される。第１送受信部４１４は、具体的には、たとえば、第１通信Ｉ／Ｆ３１５により実現される。

決定部４１１は、第１カメラＣ１によって撮影された人物Ｈの顔画像の有無に基づいて、人物Ｈの顔が向いている顔方向を決定する。具体的には、たとえば、決定部４１１は、既知の顔画像検出技術により、第１カメラＣ１の撮影画像について、人物の顔画像の検出を試行する。顔画像が検出された場合、決定部４１１は、第１カメラＣ１の撮影方向の逆方向を顔方向に決定する。

顔画像が検出されなかった場合、決定部４１１は、第１カメラＣ１の撮影方向を顔方向に決定する。一方、顔画像が検出された場合、決定部４１１は、顔画像内の顔を構成する部位の位置に基づいて、顔方向を決定してもよい。顔画像内の顔を構成する部位とは、目、鼻、耳、口、眉毛といった顔のパーツである。たとえば、顔画像内の縦の中心線に対し左右対称に目や耳、眉毛が検出された場合、決定部４１１は、第１カメラＣ１の撮影方向の逆方向を顔方向に決定する。

また、顔を構成する部位が中心線から左右いずれかに偏っている場合、決定部４１１は、その偏り度合に応じた角度分、第１カメラＣ１の撮影方向の逆方向から水平方向に旋回した方向を、顔方向に決定する。決定部４１１は、第１カメラＣ１の撮影方向の逆方向を基準として、この隔たり度合に応じた角度を計算により求める。また、第１記憶デバイス３１２に、顔を構成する部位の位置を示すテンプレートと、顔方向と、を対応付けた対応情報を記憶させておき、決定部４１１が、検出した顔画像とテンプレートとのマッチングを行い、該当するテンプレートに対応する顔方向を対応情報から取得してもよい。

移動制御部４１２は、制御装置２０１からの経路情報にしたがって、移動体Ｒが経路情報の到達地点まで移動するように、移動装置３１７を制御する。具体的には、たとえば、図１に示したように、移動制御部４１２は、経路情報ｒａ，ｒｂに従って目標地点Ｇ１，Ｇ２まで移動体Ｒを移動させる。

旋回制御部４１３は、制御装置２０１からの旋回制御情報に基づいて、第１カメラＣ１を旋回する。旋回制御情報は、旋回を制御するコマンド（旋回制御コマンド）であり、移動体Ｒから人物Ｈへの方向を示す情報（ベクトル）が含まれる。旋回制御部４１３は、具体的には、たとえば、現在の第１カメラＣ１の撮影方向から、旋回制御情報に含まれる人物Ｈへの方向への旋回角度を算出する。そして、旋回制御部４１３は、旋回角度を用いて、第１カメラＣ１の撮影方向を、人物Ｈへの方向に旋回する。

すなわち、第１カメラＣ１が移動体に固定されている場合、旋回制御部４１３は、移動装置３１７により移動体Ｒを人物Ｈへの方向に旋回させることで、第１カメラＣ１の撮影方向を旋回する。また、第１カメラＣ１が移動体において旋回可能である場合、旋回制御部４１３は、第１カメラＣ１を人物Ｈへの方向に旋回する。なお、第１カメラＣ１が移動体において旋回可能であっても、旋回制御部４１３は、移動体を旋回させることで、第１カメラＣ１を固定したまま、第１カメラＣ１の撮影方向を旋回してもよい。

第１送受信部４１４は、第１通信Ｉ／Ｆ３１５により、制御装置２０１に顔方向の情報や移動体Ｒの状態情報を制御装置２０１に送信したり、制御装置２０１から旋回制御情報を受信したりする。また、第１送受信部４１４は、第１通信Ｉ／Ｆ３１５により、移動体Ｒの状態情報を定期的に制御装置２０１に送信する。

管理部４１５は、移動体Ｒの挙動を監視し、その状態情報を管理する。状態情報は、たとえば、図１に示したように、移動体Ｒが、すでにある人物Ｈについて対応中である場合は、「対応中」というステータスであり、そうでない場合は、「非対応」というステータスである。「対応中」とは、所定の行動の期間中、すなわち、移動体Ｒが対象人物となった人物Ｈに移動を開始して、当該人物Ｈについて対話などの所定の行動が完了するまでの期間をいう。所定の行動が完了すると、移動体Ｒは、状態情報を「非対応」に更新する。

制御装置２０１は、検出部４２１と、算出部４２２と、生成部４２３と、特定部４２４と、設定部４２５と、第２送受信部４２６と、を有する。検出部４２１、算出部４２２、生成部４２３、特定部４２４、および設定部４２５は、具体的には、たとえば、第２記憶デバイス３２２に記憶されたプログラムを第２プロセッサ３２１が実行することにより実現される。第２送受信部４２６は、具体的には、たとえば、第２通信Ｉ／Ｆ３２５により実現される。

検出部４２１は、第２カメラＣ２によって撮影された領域１００の画像に基づいて、領域１００内における人物Ｈの位置および移動体Ｒの位置を検出する。制御装置２０１は、領域１００に関するグローバル座標系を有しており、グローバル座標系での撮影範囲やグローバル座標系での第２カメラＣ２の位置を有する。制御装置２０１は、グローバル座標系を用いて、第２カメラＣ２の撮影画像から、人物Ｈの画像をテンプレートマッチングで検出し、撮影画像上における移動体Ｒの位置や人物Ｈの位置を検出する。

算出部４２２は、検出部４２１によって検出された人物Ｈの位置および移動体Ｒの位置と、決定部４１１によって決定された第１通信Ｉ／Ｆ３１５からの顔方向の情報と、に基づいて、移動体Ｒが、人物Ｈから所定範囲ｄ内で、かつ、人物Ｈの視界ＶＨ内または視界ＶＨ外のうちいずれか一方の範囲内の位置（目標地点Ｇ１，Ｇ２）に到達する経路情報を算出する。

具体的には、たとえば、算出部４２２は、人物Ｈの位置を起点として、人物Ｈの顔方向を中心として（たとえば、視界ＶＨの範囲を１２０度とした場合は、左右それぞれ６０度となるように）、人物Ｈの視界ＶＨを特定する。また、人物Ｈの視界ＶＨ内または視界ＶＨ外のうちいずれを選択するかは、あらかじめ設定される。算出部４２２は、人物Ｈの視界ＶＨ内に設定された場合、算出部４２２は、図１の（Ａ）に示したように経路情報ｒａを算出する。人物Ｈの視界ＶＨ外に設定された場合、算出部４２２は、図１の（Ｂ）に示したように経路情報ｒｂを算出する。この場合、算出部４２２は、経路情報ｒｂの各位置が、人物Ｈの視界ＶＨ外となるように、経路情報ｒｂを算出するのが好ましい。なお、経路情報の探索は、既知の探索アルゴリズムが用いられる。

生成部４２３は、人物Ｈの位置および移動体Ｒの位置に基づいて、第１カメラＣ１の撮影方向を人物Ｈが撮影可能な方向に旋回させる旋回制御情報を生成する。旋回制御情報には、移動体Ｒから人物Ｈへの方向を示す情報が含まれる。この情報は、たとえば、グローバル座標系におけるベクトルである。旋回制御情報を移動体Ｒに送信することにより、第１カメラＣ１の撮影方向は人物Ｈの方向に向く。したがって、第２カメラＣ２で検出した人物Ｈを、第１カメラＣ１で撮影することができる。

特定部４２４は、第２カメラＣ２からの撮影画像に基づいて、人物Ｈの挙動を特定する。具体的には、たとえば、特定部４２４は、検出部４２１で検出された撮影画像を用いて、人物Ｈの画像を後続の撮影画像で追跡し、当該人物Ｈが停止しているか移動しているかという挙動を特定する。

設定部４２５は、特定部４２４によって特定された人物Ｈの挙動と、移動体Ｒの状態と、に基づいて、人物Ｈを移動体Ｒが所定の行動をする対象人物に設定する。具体的には、たとえば、設定部４２５は、特定部４２４によって特定された人物Ｈの挙動が「停止」であり、かつ、移動体Ｒの状態が、他の人物Ｈに対応中でない場合、すなわち、状態情報が「非対応」である場合、当該人物Ｈを、対象人物に設定する。これにより、旋回制御部４１３は、第１カメラＣ１の撮影方向を、対象人物に設定された人物Ｈが撮影可能な方向に旋回させる旋回制御コマンドを生成する。

第２送受信部４２６は、移動体Ｒから状態情報を受信したり、移動体Ｒに旋回制御コマンドを送信したりする。また、第２送受信部４２６は、経路情報を含む移動制御コマンドを移動体Ｒに送信する。

＜特定部４２４による挙動特定例＞
図５は、制御装置２０１の特定部４２４による挙動特定例を示す説明図である。（Ａ）は、グローバル座標系５００における第２カメラＣ２からの領域１００の撮影画像ａ１を示す。（Ａ）では、人物画像ｈａ１が検出される。人物画像ｈａ１の位置ｐａ１を中心として人物画像ｈａ１を包含する領域画像ｇａ１が規定される。人物画像ｈａ１の人物は、撮影画像ａ１で新規に撮影された人物である。

（Ｂ）は、（Ａ）の撮影タイミングの次の撮影タイミングで撮影された、グローバル座標系５００における第２カメラＣ２からの領域１００の撮影画像ａ２を示す。（Ｂ）では、位置ｐａ１から位置ｐａ２に移動した人物画像ｈａ１が検出される。人物画像ｈａ１の位置ｐａ２を中心として人物画像ｈａ１を包含する領域画像ｇａ２が規定される。特定部４２４は、（Ａ）での位置ｐａ１を中心とする所定範囲において、領域画像ｇａ１を追跡する。そして、領域画像ｇａ１と一致または所定の許容範囲内で類似する領域画像が検出された場合、当該領域画像を領域画像ｇａ２として特定する。経路Ｌ１２は、位置ｐａ１から位置ｐａ２へのベクトルである。

（Ｃ）は、（Ｂ）の撮影タイミングの次の撮影タイミングで撮影された、グローバル座標系５００における第２カメラＣ２からの領域１００の撮影画像ａ３を示す。（Ｃ）では、位置ｐａ２から位置ｐａ３に移動した人物画像ｈａ１が検出される。人物画像ｈａ１の位置ｐａ３を中心として人物画像ｈａ１を包含する領域画像ｇａ３が規定される。特定部４２４は、（Ｂ）での位置ｐａ２を中心とする所定範囲において、領域画像ｇａ２を追跡する。そして、領域画像ｇａ２と一致または所定の許容範囲内で類似する領域画像が検出された場合、当該領域画像を領域画像ｇａ３として特定する。経路Ｌ２３は、位置ｐａ２から位置ｐａ３へのベクトルである。また、（Ｃ）では、人物画像ｈｂ３の位置ｐｂ３を中心として人物画像ｈｂ３を包含する領域画像ｇｂ３が規定される。人物画像ｈｂ３の人物は、撮影画像ａ３で新規に撮影された人物である。

特定部４２４は、時系列な撮影画像ａ１，ａ２，ａ３，…において、同一の人物画像の各位置が、人物Ｈが停止しているとみなせる程度の許容範囲内であれば、当該人物Ｈの挙動は「停止」と判断する。そうでなければ、特定部４２４は、当該人物Ｈの挙動は「移動」と判断する。

＜生成部４２３による旋回制御コマンドの生成例＞
図６は、制御装置２０１の生成部４２３による旋回制御コマンドの生成例を示す説明図である。図６では、第２カメラＣ２からのある撮影画像ａを示す。検出部４２１が、撮影画像ａから移動体Ｒの位置ｐｒと人物Ｈ（人物画像ｈ）の位置ｐｈとを検出すると、生成部４２３は、位置ｐｒから位置ｐｈへのベクトルｖｃｒを生成する。この場合、生成部４２３は、位置ｐｒと位置ｐｈとの間に障害物６００が存在しても考慮しない。生成部４２３は、第２送受信部４２６により、ベクトルｖｃｒを含む旋回制御コマンドを移動体Ｒに送信する。

＜決定部４１１による顔方向の決定例＞
図７は、移動体Ｒの決定部４１１による顔方向の決定例を示す説明図である。（Ａ）は、第１カメラＣ１の撮影画像７０１において、人物Ｈの画像ｈ内で顔画像７１０が検出された例であり、（Ｂ）は、第１カメラＣ１の撮影画像７０２において、人物Ｈの画像ｈ内で顔画像が検出されなかった例である。（Ａ）では、顔画像７１０内の縦の中心線７１１に対し目や鼻、口、眉毛が左側に偏って検出されている。第１カメラＣ１の撮影方向を示すベクトルｖｃｒは、旋回制御コマンドに含まれるベクトルである。決定部４１１は、ベクトルｖｃｒの逆方向の線分から左側に、隔たりに応じた角度θ分、位置ｐｈを中心に旋回した方向を示すベクトルｖｃｈを特定する。このベクトルｖｃｈが指し示す方向が顔方向となる。（Ｂ）の撮影画像７０２では顔画像が検出されないため、決定部４１１は、ベクトルｖｃｒが指し示す撮影方向を顔方向に決定する。

＜算出部４２２による経路情報の算出例＞
図８は、制御装置２０１の算出部４２２による経路情報の算出例を示す説明図である。図８では、移動体Ｒから人物Ｈの顔画像が検出された場合に、移動体Ｒの位置ｐｒから人物Ｈの視界ＶＨ内の目標地点Ｇに到達する経路情報ｒａを算出する例である。算出部４２２は、障害物６００を回避し、かつ、最短経路となるように経路情報ｒａを算出する。具体的には、たとえば、算出部４２２は、半径ｄの円９００の円周上で、かつ、視界ＶＨ内の弧９０１上において、最短経路となる目標地点Ｇを特定し、経路情報ｒａを算出する。

図９は、制御装置２０１の算出部４２２による経路情報の算出例を示す説明図である。図９では、移動体Ｒから人物Ｈの顔画像が検出されなかった場合に、移動体Ｒの位置ｐｒから人物Ｈの視界ＶＨ内の目標地点Ｇに到達する経路情報ｒａを算出する例である。算出部４２２は、障害物９１０を回避し、かつ、最短経路となるように経路情報ｒａを算出する。具体的には、たとえば、算出部４２２は、半径ｄの円９００の円周上で、かつ、視界ＶＨ内の弧９０１上において、最短経路となる目標地点Ｇを特定し、経路情報ｒａを算出する。

なお、図８および図９のいずれの場合においても、移動体Ｒの位置ｐｒから人物Ｈの視界ＶＨ外の目標地点Ｇに到達する経路情報を算出する場合は、算出部４２２は、目標地点Ｇを円９００の円周上の弧９０２上に目標地点Ｇを設定して、経路情報を算出すればよい。

＜制御システムによる制御処理手順例＞
図１０は、実施例１にかかる制御システムによる制御処理手順例を示すフローチャートである。左側のフローチャートは、制御装置２０１の処理手順例を示しており、右側のフローチャートは、移動体Ｒの処理手順例を示している。また、両フローチャート間の点線矢印は、データの送信を示している。まず、制御装置２０１のフローチャートについて説明する。

まず、制御装置２０１は、検出部４２１により、検出処理を実行する（ステップＳ１０１１）。これにより、対象人物に設定された人物Ｈの位置と、移動体Ｒの位置と、が検出される。

つぎに、制御装置２０１は、図５に示したように、特定部４２４により特定処理を実行する（ステップＳ１０１２）。特定処理（ステップＳ１０１２）の詳細な処理手順例については後述するが、これにより、人物Ｈの挙動が特定される。

つぎに、制御装置２０１は、移動体Ｒから状態情報を受信すると、設定部４２５により、人物Ｈの挙動情報と、移動体Ｒの状態情報と、に基づいて、設定処理を実行する（ステップＳ１０１３）。設定処理（ステップＳ１０１３）の詳細な処理手順例については後述するが、これにより、人物Ｈが、移動体Ｒが所定の行動をすべき対象人物に設定される。なお、設定処理（ステップＳ１０１３）では、制御装置２０１は、移動体Ｒを停止させるための停止制御コマンドを移動体Ｒに送信する場合がある。

つぎに、制御装置２０１は、図６に示したように、生成部４２３により、生成処理を実行する（ステップＳ１０１４）。生成処理（ステップＳ１０１４）の詳細な処理手順例については後述するが、これにより、移動体Ｒから対象人物に設定された人物Ｈへのベクトルｖｃｒが生成され、第２送受信部４２６により、旋回制御コマンドとして移動体Ｒに送信される。

最後に、制御装置２０１は、移動体Ｒから顔方向の情報を受信すると、図８および図９に示したように、算出部４２２により、算出処理を実行する（ステップＳ１０１５）。算出処理（ステップＳ１０１５）の詳細な処理手順例については後述するが、これにより、移動体Ｒから対象人物に設定された人物Ｈへの経路情報が算出され、第２送受信部４２６により、移動制御コマンドとして移動体Ｒに送信される。つぎに、移動体Ｒのフローチャートについて説明する。

まず、移動体Ｒは、第１送受信部４１４により、移動体Ｒの状態情報を制御装置２０１に送信する（ステップＳ１０２１）。つぎに、移動体Ｒは、制御装置２０１から送信されてきたコマンドの種別を判別する（ステップＳ１０２２）。受信したコマンドの種別が停止制御コマンドである場合（ステップＳ１０２２：停止）、移動体Ｒは、停止制御コマンドにより移動装置３１７を制御して停止する（ステップＳ１０２３）。これにより、移動体Ｒの処理は終了する。

一方、受信したコマンドの種別が旋回制御コマンドである場合（ステップＳ１０２２：旋回）、移動体Ｒは、旋回制御コマンドに含まれるベクトルｖｃｒと、第１カメラＣ１の撮影方向を示すベクトルとのなす角度を旋回角度として算出し、第１カメラＣ１の旋回角度分旋回する（ステップＳ１０２４）。これにより、第１カメラＣ１が撮影するスルー画像に、制御装置２０１の設定部４２５で対象人物に設定された人物Ｈが映り、当該人物Ｈが撮影される。

つぎに、移動体Ｒは、図７に示したように、決定部４１１により、決定処理を実行する（ステップＳ１０２５）。決定処理（ステップＳ１０２５）の詳細な処理手順例については後述するが、これにより、人物Ｈの顔方向が決定され、第１送受信部４１４により、制御装置２０１に送信される。

最後に、移動体Ｒは、経路情報を含む移動制御コマンドを制御装置２０１から受信すると、移動装置３１７を制御して、経路情報に従って目標地点に移動する（ステップＳ１２０６）。これにより、移動体Ｒが対応する人物Ｈへの移動体Ｒの行動が改善される。

＜特定処理（ステップＳ１０１２）＞
図１１は、図１０に示した制御装置２０１における特定処理（ステップＳ１０１２）の詳細な処理手順例を示すフローチャートである。本フローチャートは、第２カメラＣ２から撮影画像が取得される都度実行される。なお、本フローチャートでは、便宜的に、検出部４２１による人物Ｈの画像の検出処理（ステップＳ１０１１）を含めた処理として説明する。特定部４２４は、第２カメラＣ２から撮影画像を取得すると（ステップＳ１１０１）、検出済み人物画像がすでにあるか否かを判断する（ステップＳ１１０２）。検出済み人物画像とは、１つ前のタイミングで取得された撮影画像で検出された人物画像である。たとえば、図５において、今回ステップＳ１１０１で取得された撮影画像をａ２とすると、１つ前のタイミングで取得された撮影画像はａ１であり、検出済みの人物画像は、ｈａ１となる。

検出済み人物画像がない場合（ステップＳ１１０２：Ｎｏ）、ステップＳ１１０５に移行する。一方、ある場合（ステップＳ１１０２：Ｙｅｓ）、特定部４２４は、ステップＳ１１０１の撮影画像内で、検出済み画像を追跡する（ステップＳ１１０３）。具体的には、たとえば、特定部４２４は、撮影画像ａ２内で、撮影画像ａ１での検出済み画像ｈａ１の位置ｐａ１を中心とした所定範囲内で、検出済み画像ｈａ１を含む領域画像ｇａ１と一致または所定の許容範囲内で類似する領域画像ｇａ２を、既知の類似画像検索技術を用いて特定する。

つぎに、特定部４２４は、検出済み人物画像の人物の状態を判定する（ステップＳ１１０４）。具体的には、たとえば、特定部４２４は、検出済み人物画像の時系列な位置により、その人物Ｈが停止しているか移動しているかを判定する。同一の人物画像の各位置が、人物が停止しているとみなせる程度の許容範囲内であれば、特定部４２４は、当該人物の挙動は「停止」と判定する。そうでなければ、特定部４２４は、当該人物の挙動は「移動」と判定する。

つぎに、特定部４２４は、ステップＳ１１０１の撮影画像内で、テンプレートマッチングによる人物画像の検出を試行する（ステップＳ１１０５）。これにより、ある撮影タイミングでの特定処理（ステップＳ１０１２）が終了する。

＜設定処理（ステップＳ１０１３）＞
図１２は、図１０に示した制御装置２０１における設定処理（ステップＳ１０１３）の詳細な処理手順例を示すフローチャートである。まず、設定部４２５は、特定部４２４によって特定された人物Ｈの挙動の情報を取得する（ステップＳ１２０１）。つぎに、設定部４２５は、ステップＳ１０２１で移動体Ｒの状態情報を待ち受ける（ステップＳ１２０２：Ｎｏ）。移動体Ｒの状態情報を受信した場合（ステップＳ１２０２：Ｙｅｓ）、設定部４２５は、受信した移動体Ｒの状態情報を参照して、移動体Ｒが人物Ｈに対応中であるか否かを判断する（ステップＳ１２０３）。

対象人物に対応中である場合（ステップＳ１２０３：Ｙｅｓ）、設定部４２５は、撮影画像を参照して、移動体Ｒの現在位置が、対象人物の位置を中心とする対話可能距離内であるか否かを判断する（ステップＳ１２０４）。対話可能距離とは、人物Ｈと移動体Ｒとの間で対話が可能な距離としてあらかじめ設定された距離である。対話可能距離内である場合（ステップＳ１２０４：Ｙｅｓ）、移動体Ｒは所定の行動を継続するため、設定部４２５は設定処理（ステップＳ１０１３）を終了する。

対話可能距離内でない場合（ステップＳ１２０４：Ｎｏ）、設定部４２５は、挙動情報を参照して、対象人物が移動したか否かを判断する（ステップＳ１２０５）。移動していない場合（ステップＳ１２０５：Ｎｏ）、移動体Ｒは所定の行動を継続するため、設定部４２５は設定処理（ステップＳ１０１３）を終了する。移動した場合（ステップＳ１２０５：Ｙｅｓ）、移動体Ｒの対象人物への所定の行動は終了したことになるため、設定部４２５は、停止制御コマンドを生成する（ステップＳ１２０６）。停止制御コマンドに替えて、あらかじめ設定した初期位置に戻る移動制御コマンドでもよい。

つぎに、設定部４２５は、第２送受信部４２６により停止制御コマンドを移動体Ｒに送信する（ステップＳ１２０７）。この場合、対象人物の設定を行わずに、設定部４２５は、設定処理（ステップＳ１０１３）を終了する。

一方、ステップＳ１２０３において、移動体Ｒが対象人物に対応中でない場合（ステップＳ１２０３：Ｎｏ）、設定部４２５は、挙動情報を参照して、停止中の人物Ｈの人物画像が撮影画像内に存在するか否かを判断する（ステップＳ１２０８）。存在しない場合（ステップＳ１２０８：Ｎｏ）、対象人物の設定を行わずに、設定部４２５は、設定処理（ステップＳ１０１３）を終了する。

一方、存在する場合（ステップＳ１２０８：Ｙｅｓ）、設定部４２５は、挙動情報が得られた人物Ｈを対象人物に設定する（ステップＳ１２０９）。なお、挙動情報が得られた人物Ｈが複数存在する場合、設定部４２５は、移動体Ｒに最も近い位置に存在する人物Ｈを対象人物に設定する。これにより、移動体Ｒは最短経路で対象人物に接近することができる。このあと、設定部４２５は、設定処理（ステップＳ１０１３）を終了する。

＜生成処理（ステップＳ１０１４）＞
図１３は、図１０に示した制御装置２０１における生成処理（ステップＳ１０１４）の詳細な処理手順例を示すフローチャートである。生成部４２３は、図６に示したように、移動体Ｒの現在位置から対象人物の位置までの方向を示すベクトルを算出する（ステップＳ１３０１）。つぎに、生成部４２３は、算出したベクトルを含む旋回制御コマンドを生成し（ステップＳ１３０２）、第２送受信部４２６により、旋回制御コマンドを移動体Ｒに送信する（ステップＳ１３０３）。これにより、生成部４２３は、生成処理（ステップＳ１０１４）を終了する。

＜決定処理（ステップＳ１０２５）＞
図１４は、図１０に示した移動体Ｒにおける決定処理（ステップＳ１０２５）の詳細な処理手順例を示すフローチャートである。決定部４１１は、第２カメラＣ２からの撮影画像を取得する（ステップＳ１４０１）。つぎに、決定部４１１は、撮影画像から顔画像の検出を試行する（ステップＳ１４０２）。具体的には、たとえば、図７の（Ａ）に示したように、決定部４１１は、撮影画像７０１から顔画像７１０を検出する。図７の（Ｂ）の場合は、顔画像は検出されない。

つぎに、決定部４１１は、検出された顔画像があるか否かを判断する（ステップＳ１４０３）。顔画像がある場合（ステップＳ１４０３：Ｙｅｓ）、決定部４１１は、図７の（Ａ）に示したように顔方向を算出する（ステップＳ１４０４）。これにより、顔方向検出の高精度化を図ることができる。なお、単に、ベクトルｖｃｒの逆方向を顔方向としてもよい。これにより、顔方向検出の簡略化を図ることができる。

一方、顔画像が検出されなかった場合（ステップＳ１４０３：Ｎｏ）、決定部４１１は、ベクトルｖｃｒの方向を顔方向に決定する（ステップＳ１４０５）。これにより、顔画像が検出されなくても顔方向を推定することができる。最後に、決定部４１１は、顔方向を示すベクトルｖｃｈを顔方向情報として制御装置２０１に送信する（ステップＳ１４０６）。これにより、決定部４１１は、決定処理（ステップＳ１０２５）を終了する。

＜算出処理（ステップＳ１０１５）＞
図１５は、図１０に示した算出処理（ステップＳ１０１５）の詳細な処理手順例を示すフローチャートである。まず、算出部４２２は、移動体から顔方向情報の受信を待ち受ける（ステップＳ１５０１：Ｎｏ）。顔方向情報を受信した場合（ステップＳ１５０１：Ｙｅｓ）、算出部４２２は、図８または図９に示したように、経路情報を算出する（ステップＳ１５０２）。つぎに、算出部４２２は、経路情報を含む移動制御コマンドを生成して（ステップＳ１５０３）、第２送受信部４２６により移動制御コマンドを移動体Ｒに送信する（ステップＳ１５０４）。これにより、算出部４２２は、算出処理（ステップＳ１０１５）を終了する。

このように、実施例１では、制御装置２０１は、移動体Ｒから観測できる人物Ｈのほか、移動体Ｒから観測できない人物Ｈや、移動体Ｒから顔が検出できない人物Ｈ、移動体Ｒにあらかじめ設定された特定人物以外の人物Ｈについても、移動体Ｒに所定の行動をさせることができる。したがって、移動体Ｒが所定の行動をする人物Ｈへの移動体Ｒの行動が改善される。具体的には、移動体Ｒを人物Ｈの視界ＶＨ内の位置に接近させる場合、移動体Ｒが人物Ｈに接近しても気づかれなかった状況が改善される。また、移動体Ｒを人物Ｈの視界ＶＨ外の位置に接近させる場合、移動体Ｒは、人物Ｈに気付かれないように接近することができ、移動体Ｒが人物Ｈに接近する場合に気付かれる状況が改善される。

また、顔方向の決定に際し、顔画像が検出された場合に第１カメラＣ１の撮影方向とは逆方向を顔方向に決定することにより、顔方向の決定の容易化を図ることができる。また、顔を構成する部位の位置に基づいて、顔方向を決定することにより、顔方向の高精度化を図ることができる。また、顔画像が検出されない場合、第１カメラＣ１の撮影方向を顔方向に決定することにより、顔画像がなくても顔方向を推定することができる。このように、顔方向を決定することができるため、移動体Ｒの人物Ｈの視界ＶＨ内外の位置への接近方法に応じて、目標地点を設定することができる。

また、第１カメラＣ１を対象人物の方向に旋回させることにより、第２カメラＣ２で特定した人物Ｈを、第１カメラＣ１に撮影させることができる。したがって、移動体Ｒによる人物Ｈの捕捉精度の向上を図ることができる。また、人物Ｈの挙動や移動体Ｒの状態に応じて対象人物を設定することにより、人物Ｈの絞り込み精度の向上を図ることができる。

なお、図１４のステップＳ１４０３において、顔画像がない場合（ステップＳ１４０３：Ｎｏ）、移動体Ｒは、第１カメラＣ１の撮影方向を顔方向に決定することとしたが（ステップＳ１４０５）、顔方向を決定せずに、ステップＳ１４０６で顔方向の決定不可通知を制御装置２０１に返してもよい。この場合、制御装置２０１は、ステップＳ１５０２において経路情報を算出する際、人物Ｈの時系列な位置により構成される移動軌跡に基づいて、移動体Ｒの目標地点を算出してもよい。

具体的には、たとえば、制御装置２０１は、移動体Ｒの現在地点が人物Ｈの移動軌跡から外れている場合、人物Ｈの移動軌跡上の最短で移動可能な地点を目標地点として、経路情報を算出する。これにより、人物Ｈの顔方向が得られない場合であっても、人物Ｈの移動軌跡を移動体Ｒに捕捉させることができる。

一方、移動体Ｒの現在地点が人物Ｈの移動軌跡上である場合、制御装置２０１は、人物Ｈの現在地点を目標地点として、当該移動軌跡を経路情報に設定する。この場合、経路情報の算出は不要となるため、人物Ｈの顔方向が得られない場合であっても、移動体Ｒを人物Ｈに接近させることができる。また、このように、人物Ｈの移動軌跡上を移動体Ｒに追跡させることにより、人物Ｈが振り向いた場合には、移動体Ｒは顔画像を検出することができる。

実施例２について説明する。実施例１では、人物Ｈの顔方向の決定処理（ステップＳ１０２５）を移動体Ｒに実行させた例について説明したが、実施例２では、人物Ｈの顔方向の決定処理（ステップＳ１０２５）を制御装置２０１で実行する例である。

実施例２の場合、移動体Ｒでは人物Ｈの顔方向の決定処理（ステップＳ１０２５）を実行しないため、第１カメラＣ１は不要である。したがって、第１カメラＣ１を搭載しない移動体Ｒでも、実施例１と同等の制御処理を実現することができる。また、移動体Ｒに第１カメラＣ１が不要であるため、旋回制御も不要となる。すなわち、生成処理（ステップＳ１０１４）を実行する必要がないため、制御装置２０１での処理の高速化を図ることができる。

また、移動体Ｒで決定処理（ステップＳ１０２５）を実行する必要がないため、移動体Ｒでの処理負荷の低減を図ることができる。また、制御装置２０１が決定処理（ステップＳ１０２５）を実行するため、実施例１のように移動体Ｒから顔方向情報の受信を待つ必要がなく、移動体Ｒでの処理の高速化を図ることができる。また、第１カメラＣ１が不要であるため、移動体Ｒの低廉化を図ることができる。

なお、実施例２では、実施例１との相違点を中心に説明し、実施例１と共通する部分については同一符号を付し、その説明を省略する。

＜制御システムの機能的構成例＞
図１６は、実施例２にかかる制御システムの機能的構成例を示すブロック図である。実施例１との違いは、実施例１では、図４において、移動体Ｒに決定部４１１を設けたのに対し、実施例２では、移動体Ｒから決定部４１１を取り除き、制御装置２０１に決定部１６００を設けた点である。

決定部１６００は、図７に示したような顔方向の決定を行わない。その代わり、決定部１６００は、図５において、人物Ｈの時系列な移動経路が特定された場合、その人物Ｈが向いている方向を顔方向に決定する。たとえば、図５の（Ｂ）では、決定部１６００は、１つ前のタイミングで取得された撮影画像ａ１での人物画像ｈａ１の位置ｐａ１から今回のタイミングで取得された撮影画像ａ２での人物画像ｈａ１の位置ｐａ２への経路Ｌ１２が指し示す方向を、当該人物Ｈの顔方向に決定する。同様に、図５の（Ｃ）では、決定部１６００は、１つ前のタイミングで取得された撮影画像ａ２での人物画像ｈａ１の位置ｐａ２から今回のタイミングで取得された撮影画像ａ３での人物画像ｈａ１の位置ｐａ３への経路Ｌ２３が指し示す方向を、当該人物Ｈの顔方向に決定する。

＜制御システム２００による制御処理手順例＞
図１７は、実施例２にかかる制御システム２００による制御処理手順例を示すフローチャートである。左側のフローチャートでは、制御装置２０１は、検出処理（ステップＳ１０１１）のあと、決定部１６００による顔方向決定処理を実行する（ステップＳ１７１４）。そして、制御装置２０１は、決定した顔方向情報を移動体Ｒに送信することなく、算出処理（ステップＳ１０１５）を実行する。

また、右側のフローチャートでは、移動体Ｒは、状態情報を送信（ステップＳ１０２１）してから一定期間内に停止制御コマンドを受信したか否かを判断する（ステップＳ１７２２）。受信した場合（ステップＳ１７２２：Ｙｅｓ）、移動体Ｒは移動を停止する（ステップＳ１０２３）。一方、受信しなかった場合（ステップＳ１７２２：Ｎｏ）、移動体Ｒは、移動制御コマンドを受信すると、経路情報に従って移動する（ステップＳ１０２６）。

このように、実施例２によれば、実施例１と同様、制御装置２０１は、移動体Ｒから観測できる人物Ｈのほか、移動体Ｒから観測できない人物Ｈや、移動体Ｒから顔が検出できない人物Ｈ、移動体Ｒにあらかじめ設定された特定人物以外の人物Ｈについても、移動体Ｒに所定の行動をさせることができる。したがって、移動体Ｒが所定の行動をする人物Ｈへの移動体Ｒの行動が改善される。具体的には、移動体Ｒを人物Ｈの視界ＶＨ内の位置に接近させる場合、移動体Ｒが人物Ｈに接近しても気づかれなかった状況が改善される。また、移動体Ｒを人物Ｈの視界ＶＨ外の位置に接近させる場合、移動体Ｒは、人物Ｈに気付かれないように接近することができ、移動体Ｒが人物Ｈに接近する場合に気付かれる状況が改善される。

また、上述したように、移動体Ｒでは第１カメラＣ１は不要であるため、第１カメラＣ１を搭載しない移動体Ｒでも、実施例１と同等の制御処理を実現することができる。また、移動体Ｒに第１カメラＣ１が不要であるため、生成処理（ステップＳ１０１４）を実行する必要がなく、制御装置２０１での処理の高速化を図ることができる。

また、移動体Ｒで決定処理（ステップＳ１０２５）を実行する必要がないため、移動体Ｒでの処理負荷の低減を図ることができる。また、制御装置２０１が決定処理（ステップＳ１７１４）を実行するため、実施例１のように移動体Ｒから顔方向情報の受信を待つ必要がなく、移動体Ｒでの処理の高速化を図ることができる。また、第１カメラＣ１が不要であるため、移動体Ｒの低廉化を図ることができる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (10)

1. 領域内を移動する移動体と、前記移動体を制御する制御装置と、を有する制御システムであって、
   前記移動体は、
   第１プログラムを実行する第１プロセッサと、前記第１プログラムを記憶する第１記憶デバイスと、前記制御装置と通信する第１インタフェースと、前記移動体を移動させる移動装置と、前記領域内の人物を撮影する第１カメラと、を有し、
   前記第１プロセッサは、
   前記第１カメラによって撮影された前記人物の顔画像の有無に基づいて、前記人物の顔が向いている顔方向を決定する決定処理と、
   前記移動体が前記制御装置から送信された経路情報にしたがって移動するように前記移動装置を制御する移動制御処理と、を実行し、
   前記制御装置は、
   第２プログラムを実行する第２プロセッサと、前記第２プログラムを記憶する第２記憶デバイスと、前記移動体と通信する第２インタフェースと、前記領域内の前記人物および前記移動体を撮影する第２カメラと、を有し、
   前記第２プロセッサは、
   前記第２カメラによって撮影された前記領域の画像に基づいて、前記領域内における前記人物の位置および前記移動体の位置を検出する検出処理と、
   前記検出処理によって検出された前記人物の位置および前記移動体の位置と、前記決定処理によって決定された前記第１インタフェースから送信された前記顔方向の情報と、に基づいて、前記移動体が、前記人物の視界外でかつ前記人物を中心とする所定範囲外から前記視界内でかつ前記所定範囲内を経由せずに前記所定範囲内でかつ前記人物の視界内の位置に到達する経路を示す前記経路情報を算出する算出処理と、
   前記算出処理によって算出された前記経路情報を前記移動体に送信する送信処理と、
   を実行することを特徴とする制御システム。
2. 請求項１に記載の制御システムであって、
   前記決定処理では、前記第１プロセッサは、前記顔画像がある場合、前記第１カメラの撮影方向の逆方向を前記顔方向に決定することを特徴とする制御システム。
3. 請求項１に記載の制御システムであって、
   前記決定処理では、前記第１プロセッサは、前記顔画像がある場合、前記顔画像内の顔を構成する部位の位置に基づいて、前記顔方向を決定することを特徴とする制御システム。
4. 請求項１に記載の制御システムであって、
   前記決定処理では、前記第１プロセッサは、前記顔画像がない場合、前記第１カメラの撮影方向を前記顔方向に決定することを特徴とする制御システム。
5. 請求項１に記載の制御システムであって、
   前記第２プロセッサは、
   前記人物の位置および前記移動体の位置に基づいて、前記第１カメラの撮影方向を前記人物が撮影可能な方向に旋回させる旋回制御情報を生成する生成処理を実行し、
   前記送信処理では、前記第２プロセッサは、前記生成処理によって生成された前記旋回制御情報を前記移動体に送信し、
   前記第１プロセッサは、
   前記第１インタフェースによって受信された前記制御装置から送信された前記旋回制御情報に基づいて、前記第１カメラを旋回する旋回制御処理を実行し、
   前記決定処理では、前記第１プロセッサは、前記旋回制御処理による旋回後における前記第１カメラによって撮影された前記人物の顔画像の有無に基づいて、前記顔方向を決定することを特徴とする制御システム。
6. 請求項５に記載の制御システムであって、
   前記第２プロセッサは、
   前記第２カメラから撮影した画像に基づいて、前記人物の挙動を特定する特定処理と、
   前記特定処理によって特定された前記人物の挙動と、前記移動体の状態と、に基づいて、前記人物を、前記移動体が所定の行動をする対象人物に設定する設定処理と、
   を実行し、
   前記生成処理では、前記第２プロセッサは、前記対象人物に設定された前記人物の位置および前記移動体の位置に基づいて、前記第１カメラの撮影方向を前記人物が撮影可能な方向に旋回させる旋回制御情報を生成することを特徴とする制御システム。
7. 領域内を移動する移動体と、前記移動体を制御する制御装置と、を有する制御システムであって、
   前記移動体は、
   第１プログラムを実行する第１プロセッサと、前記第１プログラムを記憶する第１記憶デバイスと、前記制御装置と通信する第１インタフェースと、前記移動体を移動させる移動装置と、を有し、
   前記第１プロセッサは、
   前記移動体が前記制御装置から送信された経路情報にしたがって移動するように前記移動装置を制御する移動制御処理を実行し、
   前記制御装置は、
   第２プログラムを実行する第２プロセッサと、前記第２プログラムを記憶する第２記憶デバイスと、前記移動体と通信する第２インタフェースと、前記領域内の人物および前記移動体を撮影する第２カメラと、を有し、
   前記第２プロセッサは、
   前記第２カメラによって撮影された前記領域の画像に基づいて、前記領域内における前記人物の位置および前記移動体の位置を検出する検出処理と、
   前記検出処理によって検出された前記人物の時系列な位置で特定される移動経路が指し示す方向に基づいて、前記人物の顔が向いている顔方向を決定する決定処理と、
   前記検出処理によって検出された前記人物の位置および前記移動体の位置と、前記決定処理によって決定された前記顔方向と、に基づいて、前記移動体が、前記人物の視界外でかつ前記人物を中心とする所定範囲外から前記視界内でかつ前記所定範囲内を経由せずに前記所定範囲内でかつ前記人物の視界内の位置に到達する経路を示す前記経路情報を算出する算出処理と、
   前記算出処理によって算出された前記経路情報を前記移動体に送信する送信処理と、
   を実行することを特徴とする制御システム。
8. 請求項７に記載の制御システムであって、
   前記移動体は、
   前記領域内の前記人物を撮影する第１カメラを有し、
   前記第２プロセッサは、
   前記人物の位置および前記移動体の位置に基づいて、前記第１カメラの撮影方向を前記人物が撮影可能な方向に旋回させる旋回制御情報を生成する生成処理を実行し、
   前記送信処理では、前記第２プロセッサは、前記生成処理によって生成された前記旋回制御情報を前記移動体に送信し、
   前記第１プロセッサは、
   前記第１インタフェースによって受信された前記制御装置から送信された前記旋回制御情報に基づいて、前記第１カメラを旋回する旋回制御処理を実行することを特徴とする制御システム。
9. 請求項８に記載の制御システムであって、
   前記第２プロセッサは、
   前記第２カメラから撮影した画像に基づいて、前記人物の挙動を特定する特定処理と、
   前記特定処理によって特定された前記人物の挙動と、前記移動体の状態と、に基づいて、前記人物を前記移動体が所定の行動をする対象人物に設定する設定処理と、を実行し、
   前記生成処理では、前記第２プロセッサは、前記対象人物に設定された前記人物の位置および前記移動体の位置に基づいて、前記第１カメラの撮影方向を前記人物が撮影可能な方向に旋回させる旋回制御情報を生成することを特徴とする制御システム。
10. 領域内を撮影する第１カメラを有し、当該領域内を移動する移動体を制御する制御装置であって、
    プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、前記移動体と通信するインタフェースと、前記領域内の人物および前記移動体を撮影する第２カメラと、を有し、
    前記プロセッサは、
    前記第２カメラによって撮影された前記領域の画像に基づいて、前記領域内における前記人物の位置および前記移動体の位置を検出する検出処理と、
    前記検出処理によって検出された前記人物の位置および前記移動体の位置に基づいて、前記第１カメラの撮影方向を前記人物が撮影可能な方向に旋回させる旋回制御情報を生成する生成処理と、
    前記生成処理によって生成された前記旋回制御情報を前記移動体に送信する第１送信処理と、
    前記第１送信処理によって前記旋回制御情報を前記移動体に送信した結果、前記人物の顔が向いている顔方向の情報を前記移動体から受信した場合、前記人物の位置および前記移動体の位置と、前記顔方向と、に基づいて、前記移動体が、前記人物の視界外でかつ前記人物を中心とする所定範囲外から前記視界内でかつ前記所定範囲内を経由せずに前記所定範囲内でかつ前記人物の視界内の位置に到達する経路を示す経路情報を算出する算出処理と、
    前記算出処理によって算出された前記経路情報を前記移動体に送信する第２送信処理と、
    を実行することを特徴とする制御装置。

Images