JP7259274B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7259274B2
JP7259274B2 JP2018212207A JP2018212207A JP7259274B2 JP 7259274 B2 JP7259274 B2 JP 7259274B2 JP 2018212207 A JP2018212207 A JP 2018212207A JP 2018212207 A JP2018212207 A JP 2018212207A JP 7259274 B2 JP7259274 B2 JP 7259274B2
Authority
JP
Japan
Prior art keywords
information
unit
photographing
cost
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018212207A
Other languages
English (en)
Other versions
JP2020079997A (ja
Inventor
幹夫 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2018212207A priority Critical patent/JP7259274B2/ja
Priority to US17/291,586 priority patent/US11822334B2/en
Priority to PCT/JP2019/042592 priority patent/WO2020100595A1/en
Publication of JP2020079997A publication Critical patent/JP2020079997A/ja
Application granted granted Critical
Publication of JP7259274B2 publication Critical patent/JP7259274B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3841Data obtained from two or more sources, e.g. probe vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本技術は、自律移動が可能な移動体の制御に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
近年、ロボット等の自律移動が可能な移動体が様々な分野で用いられている。特許文献1には、一般住宅内等を巡回する巡回ロボットについて記載されている。この巡回ロボットでは、各部屋及び廊下等の複数のサブ空間により、巡回対象となる空間が構成される。サブ空間ごとに、窓の開閉等の被侵入リスクの情報と、金品の保管の有無等の価値の情報とがパラメータとしてそれぞれ保持される。保持されたパラメータに基づいて、サブ空間ごとの必要停留時間率が決定され、決定された必要停留時間率と空間の地理情報とに基づいて、巡回ロボットの移動経路がプランニングされる。これにより、被侵入リスクを効果的に減少させることが図られている(特許文献1の段落[0018][0023]図5等)。
特開2006-72612号公報
このような自律移動が可能な移動体について、監視カメラ等の外部の撮影システムの撮影範囲に基づいた移動計画を算出することを可能とする技術が求められている。
以上のような事情に鑑み、本技術の目的は、自律移動が可能な移動体について、外部の撮影システムの撮影範囲に基づいた移動計画を容易に作成することが可能となる情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、第1の取得部と、第2の取得部と、算出部とを具備する。
前記第1の取得部は、所定の空間を移動した移動体の経路に関する経路情報を取得する。
前記第2の取得部は、前記所定の空間の少なくとも一部を撮影可能な撮影システムにより撮影された撮影画像を含む撮影情報を取得する。
前記算出部は、取得された前記経路情報及び前記撮影情報に基づいて前記撮影システムにより撮影される撮影範囲を検出し、前記所定の空間内において前記撮影範囲に含まれる第1の領域が前記撮影範囲に含まれない第2の領域よりも移動に関するコストが低くなるように、前記移動体の移動に関するコスト情報を算出する。
この情報処理装置では、所定の空間を移動した移動体の経路情報と、所定の空間を撮影する撮影システムの撮影情報とが取得される。取得された経路情報及び撮影情報に基づいて前記撮影システムにより撮影される撮影範囲が検出され、前記所定の空間内において前記撮影範囲に含まれる第1の領域が前記撮影範囲に含まれない第2の領域よりも移動に関するコストが低くなるように、前記移動体の移動に関するコスト情報が算出される。これにより、他の撮影システムの撮影範囲に基づいた移動計画を容易に作成することが可能となる。
前記経路情報は、前記移動体が通過した位置と、前記移動体が前記位置を通過した通過時間とを含んでもよい。この場合、前記撮影情報は、前記撮影画像が撮影された撮影時間を含んでもよい。この場合、前記算出部は、前記経路情報に含まれる前記通過時間と、前記撮影情報に含まれる前記撮影時間とを対応付けることで、前記撮影範囲を検出してもよい。
前記算出部は、取得された前記撮影情報から前記移動体が撮影されている前記撮影画像を検出し、検出された前記移動体が撮影されている前記撮影画像の前記撮影時間に基づいて前記撮影画像に撮影されている前記移動体の経路上の位置を算出し、算出された前記移動体の経路上の位置に基づいて、前記撮影範囲を検出してもよい。
前記情報処理装置は、さらに、算出された前記コスト情報に基づいて、前記移動体の移動計画を算出する移動計画部を具備してもよい。
前記移動計画部は、前記コスト情報に基づいて、前記移動に関するコストが最も低くなる経路を算出してもよい。
前記移動計画は、前記移動体の基準速度を含んでもよい。この場合、前記移動計画部は、前記撮影範囲に含まれる第1の領域を通過する際の前記基準速度が、前記撮影範囲に含まれない第2の領域を通過する際の前記基準速度よりも小さくなるように、前記移動計画を算出してもよい。
前記情報処理装置は、さらに、前記算出部により算出された前記コスト情報を、前記移動体に送信する送信部を具備してもよい。
前記情報処理装置は、さらに、算出された前記コスト情報に基づいて、前記移動体の移動計画を算出する移動計画部を具備してもよい。この場合、前記送信部は、前記移動計画部により算出された前記移動計画を、前記移動体に送信してもよい。
前記情報処理装置は、さらに、前記所定の空間を移動可能な移動機構を具備してもよい。この場合、移動体として構成されてもよい。
前記情報処理装置は、さらに、前記移動体により検出された障害物に関する障害物情報を取得する第3の取得部を具備してもよい。この場合、前記算出部は、取得された前記障害物情報に基づいて、前記コスト情報を更新してもよい。
前記移動体は、荷物の運搬、及び荷物の受け渡しが可能であってもよい。この場合、前記移動計画は、前記移動体による前記荷物の受け渡しの位置を含んでもよい。この場合、前記移動計画部は、前記第2の領域にて前記移動体による前記荷物の受け渡しが規制されるように、前記移動計画を算出してもよい。
前記算出部は、前記移動体の移動状況に応じて前記コスト情報を更新するか否かを判定し、前記移動体が前記撮影範囲に含まれない第2の領域に位置している場合の前記コスト情報を更新するか否かを判定するための判定時間が、前記移動体が前記撮影範囲に含まれる第1の領域に位置している場合の前記判定時間よりも短く設定されてもよい。
前記移動体は、所定のマーク画像又は所定のマーク部材が設けられた外装部を具備してもよい。この場合、前記算出部は、前記所定のマーク画像又は前記所定のマーク部材を検出することで、前記移動体が撮影されている前記撮影画像を検出してもよい。
前記第1の取得部は、前記経路情報を生成するためのモードが選択された状態で前記所定の空間を移動した前記移動体の前記経路情報を取得してもよい。
前記移動体は、前記所定の空間の地図情報に基づいて、前記所定の空間を移動してもよい。
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、所定の空間を移動した移動体の経路に関する経路情報を取得することを含む。
前記所定の空間の少なくとも一部を撮影可能な撮影システムにより撮影された撮影画像を含む撮影情報が取得される。
取得された前記経路情報及び前記撮影情報に基づいて前記撮影システムにより撮影される撮影範囲を検出し、前記所定の空間内において前記撮影範囲に含まれる第1の領域が前記撮影範囲に含まれない第2の領域よりも移動に関するコストが低くなるように、前記移動体の移動に関するコスト情報が算出される。
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
所定の空間を移動した移動体の経路に関する経路情報を取得するステップ。
前記所定の空間の少なくとも一部を撮影可能な撮影システムにより撮影された撮影画像を含む撮影情報を取得するステップ。
取得された前記経路情報及び前記撮影情報に基づいて前記撮影システムにより撮影される撮影範囲を検出し、前記所定の空間内において前記撮影範囲に含まれる第1の領域が前記撮影範囲に含まれない第2の領域よりも移動に関するコストが低くなるように、前記移動体の移動に関するコスト情報を算出するステップ。
以上のように、本技術によれば、他の撮影システムの撮影範囲に基づいた移動計画を容易に作成することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る移動体の自律移動を制御する移動体制御システムの概略的な機能の構成例を示すブロック図である。 移動体の移動計画を算出する移動計画システムの機能的な構成例を示すブロック図である。 本実施形態に係る移動体の移動制御の概要を示す図である。 移動体の移動制御の一例を示すフローチャートである。 コストマップが生成される処理の一例を示すフローチャートである。 移動計画が算出されるまでの処理を説明するための模式図である。 移動計画に基づいた目的地までの移動例を示すフローチャートである。 移動体の移動計画に沿った移動の一例を示す模式図である。 視野内に障害物がある場合の死角の算出の一例を示す模式図である。 移動体の速度及び移動計画の更新の処理時間の一例を示す模式図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[移動体制御システムの構成例]
図1は、本技術の一実施形態に係る移動体10の自律移動を制御する移動体制御システム100の概略的な機能の構成例を示すブロック図である。なお、図1の移動体制御システム100は、本技術が適用され得るロボットからなる移動体10を制御する移動体制御システムの一例であるが、他の移動体、例えば、マルチローターコプター(ドローン)などを制御するシステムとして適用することもできる。また、ロボットについても、車輪型のロボットや搭乗可能な自動運転車でもよいし、多足歩行型のロボットでもよい。もちろん駆動部として、多関節構造を有する脚部を備えるロボットにも適用可能である。
移動体制御システム100は、入力部101、データ取得部102、通信部103、移動体内部機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、記憶部109、及び自律移動制御部110を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、記憶部109、及び、自律移動制御部110は、通信ネットワーク111を介して、相互に接続されている。通信ネットワーク111は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、IEEE802.3等のLAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した通信ネットワークやバス、あるいは規格化されていない独自の通信方式等からなる。なお、移動体制御システム100の各部は、通信ネットワーク111を介さずに、直接接続される場合もある。
なお以下、移動体制御システム100の各部が、通信ネットワーク111を介して通信を行う場合、通信ネットワーク111の記載を省略するものとする。例えば、入力部101と自律移動制御部110が、通信ネットワーク111を介して通信を行う場合、単に入力部101と自律移動制御部110が通信を行うと記載する。
入力部101は、各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム100の各部に供給する。
データ取得部102は、移動体制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを移動体制御システム100の各部に供給する。例えば、データ取得部102は、移動体10の状態等を検出するための各種のセンサを備えることでセンサ群112を構成する。
具体的には、例えば、データ取得部102は、方向を検出する地磁気センサ、ジャイロセンサ、加速度センサ、及び、アクセル等の加速入力の操作量、減速入力の操作量、方向指示入力の操作量、エンジンやモータ等の駆動装置の回転数や入出力エネルギー・燃料量、エンジンやモータ等のトルク量、若しくは、車輪や関節の回転速度やトルク等を検出するためのセンサ等を備える。
また例えば、データ取得部102は、移動体10の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、移動体10の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、温度センサ、湿度センサ、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、レーザ測距センサ、接触センサ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに例えば、データ取得部102は、移動体10の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
通信部103は、移動体内部機器104、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム100の各部から供給されるデータを送信したり、受信したデータを移動体制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、移動体内部機器104と無線通信を行う。また例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、移動体内部機器104と有線通信を行う。
さらに例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また例えば、通信部103は、P2P(Peer To Peer)技術を用いて、移動体10の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、無線局等から発信される電波あるいは電磁波を受信し、現在位置、又は所要時間等の情報を取得する。
移動体内部機器104は、例えば、ユーザが有するモバイル機器若しくはウェアラブル機器、移動体10に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
図1に示すように本実施形態では、通信部103は、移動体外部に構成される防犯カメラシステム137と通信可能に接続されている。通信部103と防犯カメラシステム137との接続形態は限定されず、上記で例示した様々な接続形態が採用されてよい。
出力制御部105は、移動体10の外部に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、移動体10の外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、尚、出力制御部105及び出力部106は、自律移動の処理には必須の構成ではないため、必要に応じて省略するようにしてもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、移動体10の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、4本の足の各関節に備わった角度やトルクを指定可能なサーボモータ、ロボット自体の移動の動きを4本の足の動きに分解・置換するモーションコントローラ並びに、各モータ内のセンサや足裏面のセンサによるフィードバック制御装置を備える。
別の例では、駆動系システム108は、4基ないし6基の機体上向きのプロペラを持つモータ、ロボット自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。
さらに、別の例では、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
記憶部109は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部109は、移動体制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部109は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体10の周囲の情報を含むローカルマップ等の地図データを記憶する。
自律移動制御部110は、自律移動に関する制御を行う。具体的には、例えば、自律移動制御部110は、移動体10の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、または、移動体10の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自律移動制御部110は、外部からの操作に拠らずに自律的に移動する自律移動等を目的とした協調制御を行う。
自律移動制御部110は、例えばCPU、RAM、及びROM等のコンピュータに必要なハードウェアを有する。CPUがROMに予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、本技術に係る情報処理方法が実行される。
自律移動制御部110の具体的な構成は限定されず、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
図1に示すように、自律移動制御部110は、検出部131、自己位置推定部132、状況分析部133、計画部134、動作制御部135、及びコストマップ算出部136を備える。このうち、検出部131、推定部132、及び状況分析部133は、認識処理部121を構成する。また、計画部134は、行動計画処理部122を構成する。さらに、動作制御部135は、行動制御処理部123を構成する。
検出部131は、移動体10の自律移動の制御に必要な各種の情報の検出を行う。検出部131は、移動体外部情報検出部141、移動体内部情報検出部142、及び、移動体状態検出部143を備える。
移動体外部情報検出部141は、移動体制御システム100の各部からのデータ又は信号に基づいて、移動体10の外部の情報の検出処理を行う。例えば、移動体外部情報検出部141は、移動体10の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、移動体、人、障害物、構造物等が含まれる。また、例えば、移動体外部情報検出部141は、移動体10の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、及び、状況認識部152、動作制御部135、並びに、コストマップ算出部136等に供給する。
移動体内部情報検出部142は、移動体制御システム100の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部142は、移動体内部の環境の検出処理等を行う。移動体内部情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部152、動作制御部135、及びコストマップ算出部136等に供給する。
移動体状態検出部143は、移動体制御システム100の各部からのデータ又は信号に基づいて、移動体10の状態の検出処理を行う。検出対象となる移動体10の状態には、例えば、速度、加速度、異常の有無及び内容、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部152、動作制御部135、及びコストマップ算出部136等に供給する。
自己位置推定部132は、移動体外部情報検出部141、及び、状況分析部133の状況認識部152等の移動体制御システム100の各部からのデータ又は信号に基づいて、移動体10の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、及び、状況認識部152等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部109に記憶させる。
さらに、自己位置推定部132は、センサ群112より供給される検出結果に基づいて、時系列に供給される時系列情報をデータベースに蓄積すると共に、蓄積した時系列の情報に基づいて、自己位置を推定し、時系列情報自己位置として出力する。また、自己位置推定部132は、センサ群112より供給される現在の検出結果に基づいて、自己位置を推定し、現在情報自己位置として出力する。そして、自己位置推定部132は、時系列情報自己位置と、現在情報自己位置とを統合する、または、切り替えることにより自己位置推定結果として出力する。さらに、自己位置推定部132は、センサ群112より供給される検出結果に基づいて、移動体10の姿勢を検出し、姿勢の変化が検出されて、自己位置が大きく変化し、時系列情報自己位置の推定精度が低下するとみなされるとき、現在情報自己位置のみから自己位置を推定する。また、例えば、移動体10が別の移動体に搭載されて移動するような場合、自己位置推定部132は、センサ群112より供給される検出結果に基づいて、移動体10の姿勢の変化が検出されなくても、自己位置が大きく変化するので、時系列情報自己位置の推定精度が低下するとみなし、現在情報自己位置のみから自己位置を推定する。これは、例えば、カーフェリーボートに搭載されて移動するような場合が考えられる。このようにすることで、外力の影響の有無に関わらず、予め予測できない姿勢の変化があって、自己位置が大きく変化するようなときにでも、現在情報自己位置のみから自己位置が推定されるので、自己位置を所定の精度で推定することができる。
状況分析部133は、移動体10及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、状況認識部152、及び、状況予測部153を備える。
マップ解析部151は、自己位置推定部132及び移動体外部情報検出部141等の移動体制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部109に記憶されている各種のマップの解析処理を行い、自律移動の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、状況認識部152、状況予測部153、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
状況認識部152は、自己位置推定部132、移動体外部情報検出部141、移動体内部情報検出部142、移動体状態検出部143、及び、マップ解析部151等の移動体制御システム100の各部からのデータ又は信号に基づいて、移動体10に関する状況の認識処理を行う。例えば、状況認識部152は、移動体10の状況、及び移動体10の周囲の状況等の認識処理を行う。また、状況認識部152は、必要に応じて、移動体10の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)、道路地図(Lane Map)、または、点群地図(Point Cloud Map)とされる。
認識対象となる移動体10の状況には、例えば、移動体10の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体10の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。
状況認識部152は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部153等に供給する。また、状況認識部152は、状況認識用マップを記憶部109に記憶させる。
状況予測部153は、マップ解析部151、及び状況認識部152等の移動体制御システム100の各部からのデータ又は信号に基づいて、移動体10に関する状況の予測処理を行う。例えば、状況予測部153は、移動体10の状況及び移動体10の周囲の状況等の予測処理を行う。
予測対象となる移動体の状況には、例えば、移動体の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体の周囲の状況には、例えば、移動体の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。
状況予測部153は、予測処理の結果を示すデータを、及び状況認識部152からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部153等の移動体制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、人、障害物、及び工事等の状況等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部153等の移動体制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に移動するための移動体10の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、及び移動速度等の計画を行う。行動計画部162は、計画した移動体10の行動を示すデータを動作計画部163等に供給する。
より詳細には、行動計画部162は、それぞれルート計画部161により計画されたルートのそれぞれについて、計画された時間内で安全に移動するための移動体10の行動計画(移動計画)の候補を行動計画候補として生成する。より具体的には、行動計画部162は、例えば、環境を格子状に区切って、到達判定及び経路の重みを最適化して最良のパスを生成するA*algorithm(A star探索アルゴリズム)、グラフ上の2頂点間の最短経路を求めるDijkstra's algorithm(ダイクストラ法)、及び、自己位置からインクリメンタルに到達可能な場所へのパスを適切に枝刈りしながら伸ばしていくRRT(Rapidly-exploring Random Tree) algorithmなどにより行動計画候補を生成する。
動作計画部163は、マップ解析部151及び状況予測部153等の移動体制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための移動体10の動作を計画する。例えば、動作計画部163は、加速、減速、及び、移動軌道等の計画を行う。動作計画部163は、計画した移動体10の動作を示すデータを、動作制御部135等に供給する。
動作制御部135は、移動体10の動作の制御を行う。
より詳細には、動作制御部135は、移動体外部情報検出部141、移動体内部情報検出部142、及び、移動体状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、移動体10の異常等の緊急事態の検出処理を行う。動作制御部135は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体10の動作を計画する。
また、動作制御部135は、動作計画部163により計画された移動体10の動作を実現するための加減速制御を行う。例えば、動作制御部135は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
動作制御部135は、動作計画部163により計画された移動体10の動作を実現するための方向制御を行う。例えば、動作制御部135は、動作計画部163により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
コストマップ算出部136は、検出部131等の移動体制御システム100の各部からのデータ又は信号に基づいて、行動計画(移動計画)の算出に用いられるコストマップを算出する。本実施形態では、移動体10の経路に関する経路情報と、外部に構成された防犯カメラシステム137により撮影された撮影画像を含む撮影情報に基づいて、コストマップが算出される。
防犯カメラシステム137は、移動体制御システム100が適用され得るロボットからなる移動体10が移動する所定の空間を撮影可能な撮影システムである。移動体10が移動する所定の空間としては、例えば、マンションや住宅の敷地内等の屋内の空間が挙げられる。あるいは、庭園や駐車場等の屋外の空間もあり得る。
移動体が移動可能であり、その移動空間の少なくとも一部を撮影可能な撮影システムが構築可能な任意の空間に対して、本技術は適用可能である。なお、防犯カメラシステム137の具体的な構成も限定されず、任意に構成されてよい。
本実施形態では、通信部103により、防犯カメラシステム137により撮影された撮影画像と、撮影画像が撮影された撮影時間とが紐づけられたデータが、撮影情報として取得される。
本実施形態において、コストマップは、移動体10の移動計画に関する計画情報に相当する。計画情報は、移動体10の移動計画を算出するための情報とも言える。またコストマップは、移動体10の移動に関するコスト情報に相当する。
図2は、移動体10の移動計画を算出する移動計画システム200の機能的な構成例を示すブロック図である。移動計画システム200は、図1に示す移動体制御システム100内に構成される。移動計画システム200は、移動体制御システム100内の移動計画の算出機能に着目したシステムとも言える。
移動計画システム200は、センサ群112(データ取得部102)と、検出部131と、自己位置推定部132と、状況分析部133と、計画部134と、コストマップ算出部136と、記憶部109と、行動制御処理部123と、駆動系システム108(駆動系制御部107)とを有する。
図2に示すように、センサ群112により取得された情報から検出部131及び自己位置推定部132が、移動体10の自律移動の制御に必要な各種の情報の検出、及び自己位置の推定を行う。なお、移動体10の自己位置の推定方法は限定されない。例えば、移動体10のタイヤの回転角から現在位置を推定するオドメトリ等が用いられてもよい。
状況分析部133は、検出部131により検出された移動体10の各種の情報、及び自己位置推定部132により推定された移動体10の自己位置から、移動体10及び周囲の状況の分析処理を行う。
コストマップ算出部136は、画像検証部201と、過去経路保持部202と、コストマップ生成部203と、コストマップ保持部204とを有する。
画像検証部201は、防犯カメラシステム137により撮影された撮影画像を含む撮影情報を取得し、検証を実行する。本実施形態では、撮影情報は、撮影画像と、撮影画像が撮影された撮影時間とを含む。なお、本開示において、画像は、静止画像及び動画像(映像)の両方を含む。
撮影時間は、例えば年月日及び時刻を表すデータであり、撮影画像と紐付けられて生成される。撮影画像の撮影時間を表すデータを生成する方法やデータの形式等は限定されず、任意の方法及び形式が採用されてよい。
撮影画像に対して撮影時間のデータが紐付けられる場合に限定される訳ではない。例えば画像検証部201による画像解析により、撮影画像内に表示された撮影時間を表すテキスト画像が解析可能であるとする。この場合、撮影画像内に表示された撮影時間を表すテキスト画像が、本実施形態における撮影時間に相当する。その他、撮影時間を検出可能な任意の情報が、本技術における撮影時間に含まれ得る。
これ以外にも、移動体10の移動した走行経路に対してタイムスタンプが紐づけられてもよい。タイムスタンプは、年月日及び時刻を表すデータである。本実施形態では、タイムスタンプに移動体10の走行経路の内の所定の地点を通過した時間がタイムスタンプとして記録される。
本実施形態では、画像検証部201により、所定の空間の少なくとも一部を撮影可能な撮影システムにより撮影された撮影画像を含む撮影情報を取得する第2の取得部が実現される。
過去経路保持部202は、マンション等の所定の空間を移動(走査)した移動体10の経路に関する経路情報を取得する。本実施形態では、経路情報は、移動体10が通過した位置(通過位置)と、移動体10がその位置を通過した際の通過時間とを含む。例えば所定の空間の地図情報等に基づいて、通過位置及び通過時間が生成される。
もちろんこれ限定されず、所定の空間に対して座標系が設定され、通過位置及び通過時間が生成されてもよい。通過位置及び通過時間を表すデータを生成する具体的な方法や、データの形式等は限定されず、任意の方法や形式が採用されてよい。
本実施形態において、過去経路保持部202により、所定の空間を移動した移動体の経路に関する経路情報を取得する第1の取得部が実現される。
コストマップ生成部203は、画像検証部201により供給される検証結果(検証データ)と、過去経路保持部202から供給される経路情報に基づいて、移動体10の移動計画を算出するためのコストマップを生成する。
本実施形態では、検証データ及び経路情報に基づいて、防犯カメラシステム137により撮影される撮影範囲が検出される。そして、検出された防犯カメラシステム137の撮影範囲に基づいて、コストマップが生成される。
本実施形態では、画像検証部201及びコストマップ生成部203により、取得された経路情報及び撮影情報に基づいて、移動体の移動計画に関する計画情報を算出する算出部が実現される。従って、本実施形態では、画像検証部201は、第2の取得部としても機能し、また算出部としても機能する。
コストマップ保持部204は、コストマップ生成部203により生成されたコストマップを保持する。なお、保持されるコストマップの数や種類は限定されない。例えば、同じ建物内のコストマップを複数保持してもよいし、マンションの庭園等の敷地内のコストマップを天候等の条件ごとに保持してもよい。またコストマップ保持部204は、保持されたコストマップを計画部134に供給する。
記憶部109は、移動体10の移動する空間の地図情報を記憶する。なお地図情報は、別途予め作成されており、記憶部109に格納されてもよい。あるいは移動体10が空間を走査することで、移動体10により作成されてもよい。また、移動体10が空間内の目的地へ移動する行動を実行する度に、地図情報が機械学習等により学習されてもよい。
計画部134は、コストマップ算出部136により算出されたコストマップに基づいて、移動体の移動計画を算出する。本実施形態では、移動体10の状況、目的地、コストマップ、及び地図情報に基づいて、最適な移動計画が算出される。なお移動計画は、目的地までの経路や、移動体10の基準速度を含む。もちろん他のパラメータが、移動計画に含まれてもよい。
移動体10の基準速度は、移動体10の移動速度を決定する際に基準となるパラメータである。典型的には、移動体10の最大速度が、基準速度として用いられる。例えば移動体10の移動速度に関して、高速モード、中速モード、低速モード等が決定される。各モードにおいて、最高速度に係数をかけることで、速度が決定される。従って最高速度が大きいほど、各モードの速度が大きくなる。もちろんこのような速度の決定方法に限定される訳ではない。
本実施形態では、計画部134により、算出されたコスト情報に基づいて、移動体の移動計画を算出する移動計画部が実現される。
行動制御処理部123は、計画部134から供給される移動計画に基づいて、移動体10の動作の制御を行う。具体的には、行動制御処理部123からの制御信号を駆動系システム108(駆動系制御部107)に供給する。制御信号に基づいて駆動系システム108(駆動系制御部107)が動作することで、移動体10が移動する。本実施形態では、駆動系システム108(駆動系制御部107)により、所定の空間を移動可能な移動機構が実現される。
図3は、本実施形態に係る移動体10の移動制御の概要を示す図である。図4は、移動体10の移動制御の一例を示すフローチャートである。図3には、図示しない空間内を移動する移動体10と、空間を撮影可能な防犯カメラシステム137とが模式的に図示されている。
本実施形態では、移動体10は、マンション等の屋内を移動する場合を例に挙げる。そして移動体10は、物流システムの一機能として使用される場合を例に挙げる。すなわち移動体10は、配送物等の荷物の運搬、及び荷物の受け渡しが可能なロボットであるとする。本実施形態では、移動体10には、事前に自身が移動する空間(以下、移動空間と記載する場合がある)の地図情報が記憶されている。
まず事前に記憶されている地図情報に基づいて、移動体10により移動空間が走査される(ステップ101)。そして、走行経路とタイムスタンプが紐付けられた経路情報が生成される。なお走行経路は通過位置の情報に相当し、タイムスタンプは通過時間の情報に相当する。この処理は、図3に示す「事前に移動空間内を走査」に相当する。
例えば移動体10に対して、経路情報を生成するための走査モードが選択される。そして走査モードが選択された状態で移動空間を移動した移動体10の経路情報が取得される。もちろん経路情報を生成するためのモードといった特別な走査モードが準備される場合に限定される訳ではない。
図3に示すように、移動体10が移動空間を走査している間も、防犯カメラシステム137により、移動空間の少なくとも一部が撮影されている。典型的には、エレベータの前の廊下部分等の共有スペースを中心に、撮影範囲が設定されていることが多い。もちろんこれに限定される訳ではない。
防犯カメラシステム137は、各フレームに撮影時間を示すタイムスタンプがメタデータとして紐付けられた撮影動画を含む撮影情報を生成して出力する。撮影動画は撮影画像に相当し、タイムスタンプは撮影時間に相当する。
移動体10により、事前に移動空間を走査した時間帯の撮影情報(撮影動画)がロードされる(ステップ102)。ロードされた撮影情報は、画像検証部201に出力され、撮影画像の検証が実行される。
本実施形態では、撮影情報から移動体10が撮影されている撮影画像と、その撮影時間とが検出される。すなわち移動体10が撮影されるフレームと、そのタイムスタンプとが検出される。この処理は、図3に示す「動画内でロボット自身を認識」に相当する。
フレームから移動体10を検出する方法は限定されず、任意の技術が用いられてよい。例えば移動体10のモデル画像を用いたマッチング処理、エッジ検出、射影変換等の任意の画像認識技術が用いられてよい。移動体10を検出するために、例えばDNN(Deep Neural Network:深層ニューラルネットワーク)等を用いた任意の機械学習アルゴリズムが用いられてもよい。例えばディープラーニング(深層学習)を行うAI(人工知能)等を用いることで、移動体10の検出精度を向上させることが可能となる。
なお移動体10の検出のために、所定のQRコード(商標登録)等や所定のコントローラ等が移動体10の外装に設けられてもよい。もちろんこれに限定されず、自発光マーカ、バーコード、画像の色配分、及び移動体の輪郭等から認識されてもよい。なお、本実施形態では、QRコードは所定のマーク画像に相当し、コントローラは所定のマーク部材に相当する。すなわち、移動体10は、所定のQRコード又は所定のコントローラが設けられた外装部を具備する。
コストマップ生成部203により、移動体10が映っているフレームのタイムスタンプと、走行経路のタイムスタンプとを比較しながら、防犯カメラシステム137の撮影範囲が算出される(ステップ103)。例えば、移動体10が映っているフレームのタイムスタンプが、時間aを示していたとする。走行経路の時間aを示すタイムスタンプに基づいて、時間aにおける移動体10の経路上の位置が算出される。算出された経路上の位置は、撮影範囲に含まれる位置として算出される。
このように本実施形態では、移動体10自身が作成した経路情報と、防犯カメラシステム137により生成された撮影情報とが突合されて、防犯カメラシステム137の撮影範囲が検出される。すなわち経路情報に含まれる通過時間と、撮影情報に含まれる撮影時間とが対応付けられることで、撮影範囲が検出される。
移動体10が撮影されているフレームのタイムスタンプに基づいて、そのフレームに撮影されている移動体10の経路上の位置が算出される。算出された移動体10の経路上の位置に基づいて、防犯カメラシステム137の撮影範囲が検出可能である。
コストマップ生成部203により、防犯カメラシステム137の撮影範囲に基づいて、コストマップが生成される。生成されたコストマップは、コストマップ保持部204に保持される(ステップ104)。本実施形態では、移動空間の地図情報に撮影範囲がマッピングされ、そのマッピングに基づいてコストマップが生成される。
計画部134は、生成されたコストマップと移動体10の目的地とに基づいて、目的地へ移動するための経路を算出する。算出された経路に沿って、移動体10は、行動制御処理部123により制御され、移動する(ステップ105)。
図5は、コストマップが生成される処理の一例を示すフローチャートである。図6は、移動計画が算出されるまでの処理を説明するための模式図である。図6Aは、移動体10の事前走査に基づいた経路情報からコストマップが生成されるまでの一例を示す模式図である。図6Bは、生成されたコストマップから移動体10の移動計画が算出されるまでの一例を示す模式図である。
事前走査は、コストマップが生成される前の、移動体10による地図情報に基づいた移移動空間の事前の走査である(図4のステップ101参照)。事前走査は、コストマップを生成するための、経路情報及び撮影情報を取得する準備段階とも言える。
図6Aに示すように、移動体10が移動空間20に対して事前走査を実行する。そして過去経路保持部202により、過去の経路情報11が保持される。なお図6では、経路情報11として、走行経路が図示されているが、走行経路と通過時間とが紐付けられて経路情報11として保持される。
経路情報11の走行経路は、移動空間20の一部を撮影している防犯カメラシステム137の撮影範囲12を通過する。従って、防犯カメラシステム137の撮影範囲12に移動体10が進入し、その際には撮影画像に移動体10が映ることになる。
なお撮影範囲12は、防犯カメラシステム137により撮影可能な範囲であり、防犯カメラシステム137の性能等により定まる。例えば、防犯カメラシステム137として、1方向に円錐状の視野を有する監視カメラや360°を撮影可能な監視カメラが使用される。各々の防犯カメラの設置位置、設置方向、画角(撮影視野)等により、防犯カメラシステム137の撮影範囲は定まる。
もちろん、監視カメラの向きが可動可能な防犯カメラシステム137が構築されてもよい。この場合、撮影範囲12は、監視カメラの撮影可能な領域全てを撮影範囲12としてもよいし、監視カメラの向きが変われる時間周期に合わせて撮影範囲12が変更されてもよい。いずれにせよ、本技術を適用することが可能である。
本実施形態において、防犯カメラシステム137は、所定の空間の少なくとも一部を撮影可能な撮影システムに相当する。
図5に示すように、画像検証部201は、事前走査時に移動空間20内を移動した移動体10を映す防犯カメラシステム137の撮影情報から、毎フレームチェックを行い、移動体10(以下、自機と記載する場合がある)が映っている画像及び時間を検証する(ステップ201)。
過去経路保持部202により保持される過去の経路情報11と、ステップ201により検証された自機が撮影範囲12に映っている時間とが突合わされる(ステップ202)。コストマップ生成部203は、自機が映っている時間と該当する経路情報11とに基づいて、防犯カメラシステム137の撮影範囲12を検出する。
ステップ203では、図6Aに示すように、コストマップ生成部203により、検出された撮影範囲12が地図にマッピングされ、自機が通過した経路周辺のコストを低く設定したコストマップ30が生成される。コストマップ保持部204は、生成されたコストマップ30を保持する。すなわち本実施形態では、撮影範囲12内が、撮影範囲12外よりも、移動に関するコストが低くなるようにコストマップ30が算出される。
本実施形態では、コストマップ30は、正方格子状の複数のグリッドに基づいて生成される。そして、各グリッドに対して、5段階のコストがそれぞれ設定される。もちろんこのような構成に限定されず、任意の構成を有するコストマップ30が生成されてもよい。
図6に示すグリッド31は、防犯カメラシステム137の撮影範囲12内の領域に対応するグリッドである。またそのグリッド31に位置する移動体10の全体が、撮影画像の中央にて映るグリッドである。コストマップ生成部203は、そのような撮影範囲12内のグリッド31に、最小のコストを設定する。
なお、撮影画像に対して移動体10の全体が映っているか否か、映っている位置等は、画像認識技術等を用いて判定可能である。
グリッド32は、そのグリッド32に位置する移動体10の全体が、撮影画像の端部に映るグリッドである。グリッド32は、例えば防犯カメラシステム137の撮影範囲12内に含まれるが、撮影範囲12の端部に位置するグリッドである。あるいは一部が撮影範囲12内に含まれるグリッドの場合もあり得る。なお本開示では、撮影範囲12に含まれるとは、撮影範囲12に少なくとも一部が含まれることを意味するものとする。
コストマップ生成部203は、グリッド32に、グリッド31に設定された最小のコストよりも高いコストを設定する。
グリッド33は、そのグリッド32に位置する移動体10の一部のみが撮影画像に映るグリッドである。なお移動体10の全体が映っているが、そのサイズが所定の閾値よりも小さくなる場合は、そのグリッドも、グリッド33として設定されてもよい。
移動体10の一部のみが映る場合やサイズが小さい移動体10が映っている場合は、移動体10の検出に対する信頼度は低くなる。グリッド30は、移動体10の検出に対する信頼度が低いグリッドと言うことも可能である。コストマップ生成部203は、グリッド33に、グリッド32に設定されたコストよりも高いコストを設定する。
グリッド34は、防犯カメラシステム137の撮影範囲12外の領域に対応するグリッドである。すなわちグリッド34は、そのグリッド34に位置する移動体10を撮影することができないグリッドである。コストマップ生成部203は、グリッド34に、グリッド34に設定されたコストよりも高いコストを設定する。
なお、例えば防犯カメラの画角には含まれるが、障害物等により死角となり撮影ができないグリッドも、グリッド34として設定される。すなわちグリッド34として、防犯カメラの画角から外れることにより移動体10を撮影できないグリッド、及び障害物等により移動体10を撮影できないグリッドが設定される。
障害物としては、銅像等のその位置に固定された物体、及び人等の移動可能な物体の両方を含む。障害物が移動可能である場合、その移動が見込まれる時間等に応じて、グリッド34として設定するか否かが判定可能であってもよい。例えば、障害物が検出された場合、所定の時間経過後の撮影情報に基づいて、障害物が移動したか否かが判定される。障害物が移動した場合は、死角となっていたグリッドはグリッド31~33のいずれかとして設定される。障害物が移動していない場合には、死角となっていたグリッドはグリッド34として設定される。このような処理が実行されてもよい。
グリッド35は、移動空間を囲む壁等の障害物等によって、移動体10が通ることができない箇所である。コストマップ生成部203は、グリッド35のような移動体10が通れない箇所のコストを最大とする。なお、障害物が移動可能であるか、あるいは障害物が移動したか否か等に基づいて、グリッド35として設定するか否かが判定されてもよい。
このようにコストマップ生成部203は、自機が撮影画像内に映る箇所のコストを低く設定し、映らない箇所のコストを高く設定する。これにより、防犯カメラシステム137の撮影範囲12を考慮したコストマップが生成される。
なお、コストマップの生成方法は限定されない。例えば、A star探索アルゴリズム、ダイクストラ法等の経路探索アルゴリズム等によりコストマップが生成されてもよい。防犯カメラシステム137の撮影範囲12に基づいてコスト関数が算出され、コスト関数に目的地や状況情報等が入力されることで、コストマップが生成されてもよい。また任意の機械学習アルゴリズムが用いられてもよい。
なお、本実施形態では、グリッド31、グリッド32、及びグリッド33は、撮影範囲に含まれる第1の領域に相当する。また本実施形態では、グリッド34は、撮影範囲に含まれない第2の領域に相当する。
図6Bに示すように、コストマップ生成部203により生成されたコストマップ30に基づいて、計画部134は、移動体10の移動計画を算出する(ステップ204)。本実施形態では、計画部134は、移動の開始地点から目的地までのコストの合計が最小になるように移動体の移動計画を算出する。すなわち移動に関するコストが最も低くなる経路を算出する。
なお図6Bでは、グリッド31のコストを「1」、グリッド32のコストを「3」、グリッド33のコストを「5」、グリッド34のコストを「8」、グリッド35のコストを「10」と設定される。
例えば、経路Aを通る移動計画では、コストの合計が「74」となる。経路Bを通る移動計画では、コストの合計が「167」となる。計画部134は、これらの算出された移動計画を比較することで合計コストが低い経路Aを算出し、行動制御処理部123に供給する。これにより移動体10は、合計コストの低い経路を通ることになり、監視カメラの撮影範囲12を通りやすくなる。
なお、図4に示すステップ103~105、及び図5及び図6を参照して説明したコストマップの生成、及び移動計画の算出は、図3に示す「ロボットが映っていた場合」「走行軌跡と時間で突合せ、地図上の当該箇所を記録する(&コストを下げる)」「次回以降、監視範囲内を通りやすくなる」に相当する。
図7は、移動計画に基づいた目的地までの移動例を示すフローチャートである。
コストマップ生成部203により生成されたコストマップと目的地とに基づいて、計画部134は、目的地へ移動するための移動計画を算出する(ステップ301)。なお中継地点等が設定される場合には、その中継地点も目的地に含まれる。例えば、開始地点から中継地点を目的地とした移動計画と、中継地点から最終目的地までの移動経路が算出されてもよい。もちろん、中継地点を通るように、開始地点から最終目的地までの移動計画が一度に算出されてもよい。
また移動体10が目的地Aへ到達した後に、目的地Aを開始地点として、目的地Bへ移動するための移動計画が新たに算出される場合もあり得る。
計画部134により算出された移動計画に基づいて行動制御処理部123は、移動体10の移動を制御する(ステップ302)。移動体10が移動している際に、センサ群112が移動計画の経路上に障害物等を検出し、障害物に関する障害物情報を取得した場合、避けて通れるか通れないかが判定される(ステップ303)。なお、本実施形態では、センサ群112により、移動体10により検出された障害物に関する障害物情報を取得する第3の取得部が実現される。
障害物情報は、人や家具等の一時的にその位置に配置されている物体の情報を含む。例えば、障害物情報は、人であれば、その場からすぐに移動するかを示す時間情報や、家具等の大きな物体であれば、回避できるかを示す通過可能情報が挙げられる。もちろん、これに限定されず、様々な物体に様々な情報が紐づけられ、障害物情報として生成されてもよい。
障害物等により移動計画に沿って移動体が移動できない場合(ステップ303のYES)、コストマップ生成部203は、コストマップ上に障害物等がある場所のコストを上げる(ステップ304)。
例えば、工事により通過できない場合は、コストマップ生成部203は、コストを最大に設定(更新)する。新しく設定されたコストマップに基づいて、計画部134は、移動計画の経路に工事箇所が含まれないように移動計画を算出する(ステップ301)。
また移動体10が目的地に向かうまでの間に目的地の変更があった場合(ステップ305のYES)、ステップ301に戻り、計画部134は、新たに変更された目的地への移動計画をコストマップに基づいて算出する。
なお、目的地まで移動体10を移動させるための処理や、処理が実行される順番等は限定されない。例えば、移動体10が故障した場合に、通信を行う等の処理が実行されてもよい。
図8は、移動体10の移動計画に沿った移動の一例を示す模式図である。図8Aは、移動計画が監視カメラの撮影範囲12を通過する様子の一例を示す模式図である。
図8Aに示す例では、移動空間40内にエレベータ41が配置されている。エレベータ41は、破線部が出入口であり、人の出入りが多く行われる。なおエレベータ41の出入口の他に、人の出入りが多い箇所として、階段や部屋へ出入口等が挙げられる。
防犯カメラシステム137は、エレベータ41の出入口及びエレベータ41の出入口に接する廊下を撮影可能なように構成されている。図8に示すように、移動開始地点から目的地までの、エレベータ41の出入口の前の廊下を通る経路は、ほぼ全体にわたって防犯カメラシステム137により撮影される経路となる。
一方、エレベータ41の裏側の廊下を通る経路(図示は省略)は、ほぼ全体が防犯カメラシステム137により撮影されない経路となる。具体的には、移動開始地点からエレベータ41の裏側の廊下を移動している間は、防犯カメラシステム137により撮影されない。エレベータ41の裏側の廊下から出たあたりから、ようやく移動体10を撮影することが可能となる。
上記でも説明したが、防犯カメラシステム137の撮影範囲12内である領域には低いコストが設定される。防犯カメラシステム137の撮影範囲12外である領域には高いコストが設定される。以下、撮影範囲12内である領域を低コスト領域42、撮影範囲12外である領域を高コスト領域43と記載する。
計画部134は、合計コストが低くなる低コスト領域42を通過するように移動計画を算出する。エレベータ41の手前(破線部)に人が多く集まっている、あるいは大きな荷物等が置きっぱなしになっている等により、移動体10が移動できないとする。この場合、コストマップ生成部203は、低コスト領域42のコストを最大に設定(更新)する(ステップ303のYESからステップ304)。計画部134は、更新されてコストマップに基づいて、移動計画を更新する。これにより、例えば高コスト領域43を通過する移動計画が算出される。移動体10は、高コスト領域43を通過することで目的地に到達する。
このようにコストマップ生成部203は、移動体10の移動状況に応じて、コストマップを更新することが可能である。なお、コストマップ生成部203により、コストマップを更新するか否かの判定をするための判定時間が適宜設定されてもよい。
例えばエレベータ41の手前の障害物が移動した場合には、移動計画に沿って移動体10を移動させることが可能である。従って、判定時間を適宜設定し、判定時間が経過するまでの、移動体10を静止させ待機させる。判定時間が経過しても障害物が移動せず移動ができない場合には、コストマップが更新される。判定時間が経過する前に障害物が移動し移動が可能となった場合には、コストマップは更新されない。これにより、人等の移動可能な障害物に対して適切に対応することが可能となる。
なお、移動体10が低コスト領域42に位置している場合と、高コスト領域43に位置している場合とで、判定時間が異なるように設定されてもよい。具体的には、高コスト領域43に位置している場合の判定時間が、低コスト領域42に位置している場合の判定時間よりも短く設定される。
例えば、低コスト領域42にて障害物が検出された場合には、十分な時間を待ってコストマップを更新するか否かを判定することが可能となる。一方、高コスト領域43にて障害物が検出された場合には、短い時間で、コストマップを更新するか否かが判定される。これにより、撮影範囲12外の領域である高コスト領域43にて、移動体10を長く待機させることなく、できるだけ低コスト領域42を通るように、移動体10を移動させることが可能となる。
移動体10が障害物等によりコストマップを更新するか否かの判定時間は、リルート判断時間と言える。また判定時間が短い場合にコストマップを更新する速度が速く、判定時間が長い場合はコストマップを更新する速度が遅いため、これらのコストマップ更新速度はリルート判断速度とも言える。すなわち、リルート判断時間が短いことと、リルート判断速度が速いこととは同一である。リルート判断時間及びリルート判断速度の具体例は、図10Bを参照して説明する。
なお、コストが設定される方法は限定されない。例えば、撮影画像の所定の位置に移動体10が映っている場合は、コストが低く、又は高く設定されてもよい。また例えば、エレベータの前等の人通りが多い場所のコストを高く設定し、移動体が移動しないようにしてもよい。もちろん、本実施形態とは逆に撮影範囲12内のコストを上げ、合計コストが最大となるように移動体の移動計画が算出されてもよい。
なお、移動体10による荷物の受け渡し位置を含む移動計画が算出されてもよい。例えば、撮影範囲12外である高コスト領域43では、荷物の受け渡しが規制されるように、移動計画を算出する。これにより、撮影範囲12内にて荷物の受け渡しが実行されるので、移動体10の運搬する荷物等が盗難されることを防ぎ、セキュリティの向上が可能となる。
図8Bは、撮影範囲12内に障害物が存在している様子の一例を示す模式図である。
図8Bに示す移動空間50は、例えば、部屋等の室内である。移動空間50には、棚やロッカー等の障害物51が配置されている。障害物51により、防犯カメラシステム137により撮影ができない死角領域54が形成される。死角領域54は、撮影範囲12外の領域となる。もちろん、障害物51の種類は限定されず、空間50の一部の突出した壁や一時的にその場にある家具や人でもよい。
図8Bに示すように、障害物51と防犯カメラシステム137との間の、撮影範囲12内の領域が、低コスト領域52として設定される。障害物51により形成される死角領域54は、撮影範囲12外の領域であり、高コスト領域53として設定される。
防犯カメラシステム137から見て、障害物51の後方側の、死角領域54よりもさらに後方側の領域については、障害物51と防犯カメラシステム137との間の低コスト領域52よりも高いコストが設定される。これにより、防犯カメラの前を通るように、移動体10を移動させることが可能となる。
例えば、低コスト領域52は、図6のグリッド31のように防犯カメラシステム137の撮影範囲12内のため、高コスト領域53及び死角領域54と比べてコストが低くなるようにコストマップが算出される。
高コスト領域53は、図6のグリッド33のように移動体10の一部のみが撮影画像に映る領域である。すなわち、障害物51により、移動体10の全体が映らないため低コスト領域52よりもコストが高く、死角領域54よりもコストが低く設定される。
死角領域54は、図6のグリッド34に相当する領域である。すなわち、障害物51の高さや障害物51と移動体10との位置関係により、防犯カメラシステム137の撮影範囲12に含まれるが撮影できない領域である。
なお、低コスト領域52と高コスト領域53と死角領域54との設定や条件は限定されない。例えば、高コスト領域53に死角領域54が含まれてもよい。また低コスト領域52と高コスト領域53を移動体10の検出の信頼度の高さによって分けられてもよい。
計画部134は、低コスト領域52と高コスト領域53と死角領域54とに基づいて、生成されたコストマップから移動計画を算出する。算出された移動計画に沿って、移動体10は、高コスト領域53及び死角領域54を避けて低コスト領域52を通過し、目的地に到達する。
図9は、視野61内に障害物がある場合の死角の算出の一例を示す模式図である。
図4のステップ301及びステップ302と同様に、移動体10は、空間60内を事前走査することで得られた経路情報11と防犯カメラシステム137の撮影した撮影情報とを比較する。
この際に、動画検証部201は、撮影画像内に移動体10が映っていた向きや位置の関係から幾何学的に防犯カメラシステム137の位置を推測する。例えば、映っている移動体10の大きさから防犯カメラシステム137との距離が推測される。コストマップ生成部203は、推測された防犯カメラシステム137の位置を地図情報に保持する。
また動画検証部201は、事前走査から得られる撮影情報から防犯カメラシステム137の視野61を推測する。例えば、視野61は、映っている移動体10の大きさや移動体10が一部映っている箇所等から推測される。図9に示すように視野61は、撮影範囲12に相当し、地図情報に模式的に長方形状に保持される。この視野61内に移動体10が移動計画に沿って移動している際に、移動体10のセンサ群112は、視野61内に存在する障害物62を検出したとする。
この場合、コストマップ生成部203により防犯カメラシステム137の位置が地図情報に保持されているため、障害物62と防犯カメラシステム137との位置関係から、コストマップ生成部203は、幾何学的に障害物62により生じる死角領域63の位置を算出する。
死角領域63は、死角領域54と同様に、障害物62により防犯カメラシステム137から移動体10が撮影不可な領域である。死角領域54及び死角領域63の形状等は限定されない。例えば、動画検証部201による移動体の検出の信頼度が所定の閾値を超えていない場合を死角領域としてもよい。
コストマップ生成部203は、算出された死角領域63のコストを動的に上げ、コストマップを更新する。計画部134は、更新されたコストマップに基づいて、死角領域63を通過しない移動計画を算出する。
図10は、移動体10の速度及び移動計画の更新の処理時間の一例を示す模式図である。
計画部134により算出される移動計画に含まれる移動体の速度について図10Aを参照して説明する。
図10Aに示すように、空間70は、空間71と空間72が設定されている。空間71は、防犯カメラシステム137の撮影範囲12を含む領域である。空間72は、防犯カメラシステム137の撮影範囲12外の領域である。すなわち、空間71は、図6のグリッド31に相当し、空間72は、図6のグリッド34に相当する。なお、本実施形態では、空間20、空間40、空間50、空間60、及び空間70は、所定の空間に相当する。また、これらの各空間が地図情報として用いられてもよい。
移動体10は、所定の基準速度で移動するように制御される。基準速度は、移動体10の通常時に移動する速度である。通常時とは、移動体10の周囲に人や障害物等がない状態である。すなわち、移動体10の自律移動を妨げる要因をセンサ群112が検出していない状態を指す。
例えば、空間71や図6のグリッド31のようなコストが低い場所(撮影範囲12内)では、移動体10は中速モードで移動する。なお、基準速度の速度及び設定は限定されない。例えば、撮影範囲12内であっても、移動体10が人や障害物を多く検出した場合は、基準速度より低い速度である低速モードで移動してもよい。もちろん、基準速度より早い速度で撮影範囲12内を移動する条件を設定してもよい。例えば、移動体10に内蔵されるバッテリーの残量や周囲の安全性を考慮して速度を変更してもよい。
自己位置推定部132が空間72に侵入したと検出した場合、移動体10は、空間71を移動した時の基準速度より速い速度である高速モードで移動する。例えば、移動体10は、空間72を高速で移動し、図示しない空間71とは異なる撮影範囲内に侵入する。すなわち、移動体10は、撮影範囲12外にいる滞在時間をなるべく減少させることが可能である。
計画部134により算出される移動計画に含まれる移動計画の更新の処理時間について図10Bを参照して説明する。
図10Bに示すように、移動体10は、移動計画74に沿って移動をしている。移動体10が移動している場所は、図6のグリッド34と同様に防犯カメラシステム137の撮影範囲12外である。
また移動体10が事前走査を行い、移動計画74を算出したタイミングでは、存在していない障害物73が目的地の手前の移動計画74上に配置されている。すなわち、移動体10は、目的地に到達するために移動計画74を更新し、迂回する必要がある。
この場合、図7のステップ303のYES及び図7のステップ304と同様に、障害物73が検出され、コストマップの該当する箇所のコストが無限大に設定される。このコストマップに基づいて、移動計画74は新たな移動計画75に更新される。
移動計画74から移動計画75に更新されるまでの判定時間は、リルート判断時間に相当する。また障害物73により移動計画74に沿って移動できないため、コストマップを更新する必要があると判定するまでの判定速度はリルート判断速度に相当する。
移動体10は、移動計画74に沿って撮影範囲12外を移動している際、障害物73を検出したため、撮影範囲12に含まれる領域に位置している場合のリルート判断時間よりも短い時間で更新する。
すなわち、コストマップ生成部203は、移動体10の障害物73等の移動状況に応じて、移動計画74を更新するか否かを判定し、移動体10が撮影範囲12に含まれない第2の領域に位置している場合の移動計画74を更新するか否かを判定するための判定時間が、移動体10が撮影範囲12に含まれる第1の領域に位置している場合の判定時間よりも短く設定される。
また図10Aに示すように、移動体10は、撮影範囲12外にいるため高速モードで移動を行う。これにより、移動体10は、撮影範囲外にいる滞在時間をなるべく減少させることが可能となり、防犯カメラシステムの撮影範囲外を通るセキュリティ上のリスクを減少させることができる。
以上、本実施形態に係る移動計画システム200では、所定の空間を移動した移動体10の経路情報11と、所定の空間を撮影する防犯カメラシステム137の撮影情報とが取得される。取得された経路情報11及び撮影情報に基づいて、防犯カメラシステム137により撮影される撮影範囲12を検出し、所定の空間内において撮影範囲に含まれるグリッド31、グリッド32、及びグリッド33が撮影範囲12に含まれないグリッド34よりも移動に関するコストが低くなるように、移動体10の移動に関するコストマップ30が算出される。これにより、他の撮影システムの撮影範囲に基づいた移動計画を容易に作成することが可能となる。
生成されるコストマップは、監視カメラ等の防犯カメラシステム137の撮影範囲12内のコストを下げて、経路を算出するため、移動体10は、撮影範囲12を通りやすくなる。これにより、荷物の運搬している移動体10を監視カメラで確認できるようになり、移動体10が壊される、荷物を奪われる、及び移動体10自体が盗まれる等のリスクを抑えることで、安全性を増加させることが可能となる。
また、荷物の受け渡しを防犯カメラシステム137の撮影範囲12内で行うように、移動計画を算出するため、荷物を受け取る人の成りすましを防止することが可能となる。
さらにまた、マンション等に既に配置されている監視カメラ等の防犯カメラシステム137から撮影情報が受信されることで、新たに移動体10と通信及び連携が可能な監視カメラ及びシステムの開発、導入のコストを削減することが可能となる。
移動体10が所定の空間を走査することにより、コストマップが生成され移動計画が算出されることで、移動計画を算出する際の特別な通信や人による事前入力を必要としない。これにより、コストの削減が可能となる。
移動体10が防犯カメラシステム137の撮影範囲外にいるときに、リルート判断速度及び移動体10の移動速度を速くすることができる。これにより、撮影範囲外にいる時間を減少させることができ、移動体10及び移動体10が運搬している荷物の安全性を増すことができる。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
上記の実施形態では、空間内の経路情報11は、1つの移動体10により取得された。これに限定されず、マンションの階数が異なる類似した空間等から取得される経路情報を、用いてコストマップが生成されてもよいし、空間内に複数の移動体を走査させて経路情報を取得してもよい。また監視カメラの視野や位置等の情報が分かっている場合は、事前走査を行わずにその情報を入力することでコストマップが生成されてもよい。
また上記の実施形態では、視野61内に障害物62が検出されることでコストマップのコストが動的に変化された。これに限定されず、障害物を検出した場合に、コストマップを変えずに移動体10は、障害物を回避する回避運動を行ってもよい。また日々の移動体10が取得する各情報に基づいて、生成されたコストマップのコストのプラスマイナスを調整することで精度を上げる機械学習等を行ってもよい。
さらに上記の実施形態では、動画検証部201が移動体10を検出する際に所定のマーク画像及び所定のマーク部材を用いて認証精度を上げていた。これに限定されず、移動体10の特定の動きやモーションコントローラ等の特定の光及び動き等で認証精度を上げてもよい。
またさらに上記の実施形態では、荷物の受け渡しの位置が移動計画に含まれた。これに限定されず、荷物の受け渡しの位置が移動計画から外れてもよい。すなわち、荷物の受け渡しを行う時の専用の移動計画や行動の制御をしてもよい。
また所定の空間内を1台の移動体10に走査させ、取得された経路情報、生成されたコストマップ、及び算出された移動計画を、ネットワーク等を介して通信可能な他のコンピュータ(クラウドシステム)と連動することで、他の複数の移動体10と共有してもよい。
移動体10は、移動計画システム200を有し、移動体10自身が移動計画を算出し、自律移動を制御してもよい。すなわち、移動体10により情報処理装置が実現され、情報処理方法が実行される。
また移動体10は、センサ群112、自己位置推定部132、及び駆動系システム108等を有し、移動計画システム200を有するクラウドシステム等に必要な情報を送信し、クラウドシステムから算出された移動計画を受信することで、移動が制御されてもよい。例えば、通信部103は、クラウドシステム等に移動計画を算出するために必要な情報を送信し、クラウドシステム等から移動計画を受信する。すなわち、通信部103は、算出された計画情報を、移動体に送信する送信部に相当する。
すなわち、クラウドシステム等により情報処理装置が実現され、情報処理方法が実行される。例えば、クラウドシステムは、コストマップ算出部136を有し、移動体10及び防犯カメラシステム137から送信される情報に基づいて、コストマップを算出してもよい。
また、移動体10に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータ(クラウドシステム)とが連動することで、本技術に係る情報処理方法、及びプログラムが実行され、本技術に係る情報処理装置が構築されてもよい。
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば、撮影情報の取得、コストマップの生成、及び移動計画の算出等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
各図面を参照して説明した情報処理装置、コストマップ生成部、計画部の制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)所定の空間を移動した移動体の経路に関する経路情報を取得する第1の取得部と、
前記所定の空間の少なくとも一部を撮影可能な撮影システムにより撮影された撮影画像を含む撮影情報を取得する第2の取得部と、
取得された前記経路情報及び前記撮影情報に基づいて前記撮影システムにより撮影される撮影範囲を検出し、前記所定の空間内において前記撮影範囲に含まれる第1の領域が前記撮影範囲に含まれない第2の領域よりも移動に関するコストが低くなるように、前記移動体の移動に関するコスト情報を算出する算出部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記経路情報は、前記移動体が通過した位置と、前記移動体が前記位置を通過した通過時間とを含み、
前記撮影情報は、前記撮影画像が撮影された撮影時間を含み、
前記算出部は、前記経路情報に含まれる前記通過時間と、前記撮影情報に含まれる前記撮影時間とを対応付けることで、前記撮影範囲を検出する
情報処理装置。
(3)(2)に記載の情報処理装置であって、
前記算出部は、取得された前記撮影情報から前記移動体が撮影されている前記撮影画像を検出し、検出された前記移動体が撮影されている前記撮影画像の前記撮影時間に基づいて前記撮影画像に撮影されている前記移動体の経路上の位置を算出し、算出された前記移動体の経路上の位置に基づいて、前記撮影範囲を検出する
情報処理装置。
(4)(1)又は(3)のうちいずれか1つに記載の情報処理装置であって、
算出された前記コスト情報に基づいて、前記移動体の移動計画を算出する移動計画部を具備する
情報処理装置。
(5)(4)に記載の情報処理装置であって、
前記移動計画部は、前記コスト情報に基づいて、前記移動に関するコストが最も低くなる経路を算出する
情報処理装置。
(6)(4)又は(5)に記載の情報処理装置であって、
前記移動計画は、前記移動体の基準速度を含み、
前記移動計画部は、前記撮影範囲に含まれる第1の領域を通過する際の前記基準速度が、前記撮影範囲に含まれない第2の領域を通過する際の前記基準速度よりも小さくなるように、前記移動計画を算出する
情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記算出部により算出された前記コスト情報を、前記移動体に送信する送信部を具備する
情報処理装置。
(8)(7)に記載の情報処理装置であって、さらに、
算出された前記コスト情報に基づいて、前記移動体の移動計画を算出する移動計画部を具備し、
前記送信部は、前記移動計画部により算出された前記移動計画を、前記移動体に送信する
情報処理装置。
(9)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記所定の空間を移動可能な移動機構を具備し、
移動体として構成されている
情報処理装置。
(10)(1)から(9)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記移動体により検出された障害物に関する障害物情報を取得する第3の取得部を具備し、
前記算出部は、取得された前記障害物情報に基づいて、前記コスト情報を更新する
情報処理装置。
(11)(4)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記移動体は、荷物の運搬、及び荷物の受け渡しが可能であり、
前記移動計画は、前記移動体による前記荷物の受け渡しの位置を含み、
前記移動計画部は、前記第2の領域にて前記移動体による前記荷物の受け渡しが規制されるように、前記移動計画を算出する
情報処理装置。
(12)(1)から(11)のうちいずれか1つに記載の情報処理装置であって、
前記算出部は、前記移動体の移動状況に応じて前記コスト情報を更新するか否かを判定し、前記移動体が前記撮影範囲に含まれない第2の領域に位置している場合の前記コスト情報を更新するか否かを判定するための判定時間が、前記移動体が前記撮影範囲に含まれる第1の領域に位置している場合の前記判定時間よりも短く設定されている
情報処理装置。
(13)(3)に記載の情報処理装置であって、
前記移動体は、所定のマーク画像又は所定のマーク部材が設けられた外装部を具備し、
前記算出部は、前記所定のマーク画像又は前記所定のマーク部材を検出することで、前記移動体が撮影されている前記撮影画像を検出する
情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、
前記第1の取得部は、前記経路情報を生成するためのモードが選択された状態で前記所定の空間を移動した前記移動体の前記経路情報を取得する
情報処理装置。
(15)(1)から(14)のうちいずれか1つに記載の情報処理装置であって、
前記移動体は、前記所定の空間の地図情報に基づいて、前記所定の空間を移動する
情報処理装置。
(16)所定の空間を移動した移動体の経路に関する経路情報を取得し、
前記所定の空間の少なくとも一部を撮影可能な撮影システムにより撮影された撮影画像を含む撮影情報を取得し、
取得された前記経路情報及び前記撮影情報に基づいて前記撮影システムにより撮影される撮影範囲を検出し、前記所定の空間内において前記撮影範囲に含まれる第1の領域が前記撮影範囲に含まれない第2の領域よりも移動に関するコストが低くなるように、前記移動体の移動に関するコスト情報を算出する
ことをコンピュータシステムが実行する情報処理方法。
(17)所定の空間を移動した移動体の経路に関する経路情報を取得するステップと、
前記所定の空間の少なくとも一部を撮影可能な撮影システムにより撮影された撮影画像を含む撮影情報を取得するステップと、
取得された前記経路情報及び前記撮影情報に基づいて前記撮影システムにより撮影される撮影範囲を検出し、前記所定の空間内において前記撮影範囲に含まれる第1の領域が前記撮影範囲に含まれない第2の領域よりも移動に関するコストが低くなるように、前記移動体の移動に関するコスト情報を算出するステップと
をコンピュータシステムに実行させるプログラム。
10…移動体
100…移動体制御システム
103…通信部
112…センサ群
134…計画部
136…コストマップ算出部
200…移動計画システム
201…画像検証部
202…過去経路保持部
203…コストマップ生成部
204…コストマップ保持部

Claims (15)

  1. 所定の空間を移動した移動体の経路に関する経路情報を取得する第1の取得部と、
    前記移動体及び前記所定の空間の少なくとも一部を撮影可能な、前記移動体とは異なる外部の撮影システムにより撮影された撮影画像を含む撮影情報を取得する第2の取得部と、
    取得された前記経路情報及び前記撮影情報に基づいて前記撮影システムにより撮影される撮影範囲を検出し、前記所定の空間内において前記撮影範囲に含まれる第1の領域が前記撮影範囲に含まれない第2の領域よりも移動に関するコストが低くなるように、前記移動体の移動に関するコスト情報を算出する算出部と
    を具備し、
    前記経路情報は、前記移動体が通過した位置と、前記移動体が前記位置を通過した通過時間とを含み、
    前記撮影情報は、前記撮影画像が撮影された撮影時間を含み、
    前記算出部は、前記経路情報に含まれる前記通過時間と、前記撮影情報に含まれる前記撮影時間とを対応付けることで、前記撮影範囲を検出し、取得された前記撮影情報から前記移動体が撮影されている前記撮影画像を検出し、検出された前記移動体が撮影されている前記撮影画像の前記撮影時間に基づいて前記撮影画像に撮影されている前記移動体の経路上の位置を算出し、算出された前記移動体の経路上の位置に基づいて、前記撮影範囲を検出する
    情報処理装置。
  2. 請求項1に記載の情報処理装置であって、さらに、
    算出された前記コスト情報に基づいて、前記移動体の移動計画を算出する移動計画部を具備する
    情報処理装置。
  3. 請求項に記載の情報処理装置であって、
    前記移動計画部は、前記コスト情報に基づいて、前記移動に関するコストが最も低くなる経路を算出する
    情報処理装置。
  4. 請求項に記載の情報処理装置であって、
    前記移動計画は、前記移動体の基準速度を含み、
    前記移動計画部は、前記撮影範囲に含まれる第1の領域を通過する際の前記基準速度が、前記撮影範囲に含まれない第2の領域を通過する際の前記基準速度よりも小さくなるように、前記移動計画を算出する
    情報処理装置。
  5. 請求項1に記載の情報処理装置であって、さらに、
    前記算出部により算出された前記コスト情報を、前記移動体に送信する送信部を具備する
    情報処理装置。
  6. 請求項に記載の情報処理装置であって、さらに、
    算出された前記コスト情報に基づいて、前記移動体の移動計画を算出する移動計画部を具備し、
    前記送信部は、前記移動計画部により算出された前記移動計画を、前記移動体に送信する
    情報処理装置。
  7. 請求項1に記載の情報処理装置であって、さらに、
    前記所定の空間を移動可能な移動機構を具備し、
    移動体として構成されている
    情報処理装置。
  8. 請求項1に記載の情報処理装置であって、さらに、
    前記移動体により検出された障害物に関する障害物情報を取得する第3の取得部を具備し、
    前記算出部は、取得された前記障害物情報に基づいて、前記コスト情報を更新する
    情報処理装置。
  9. 請求項に記載の情報処理装置であって、
    前記移動体は、荷物の運搬、及び荷物の受け渡しが可能であり、
    前記移動計画は、前記移動体による前記荷物の受け渡しの位置を含み、
    前記移動計画部は、前記第2の領域にて前記移動体による前記荷物の受け渡しが規制されるように、前記移動計画を算出する
    情報処理装置。
  10. 請求項1に記載の情報処理装置であって、
    前記算出部は、前記移動体の移動状況に応じて前記コスト情報を更新するか否かを判定し、前記移動体が前記撮影範囲に含まれない第2の領域に位置している場合の前記コスト情報を更新するか否かを判定するための判定時間が、前記移動体が前記撮影範囲に含まれる第1の領域に位置している場合の前記判定時間よりも短く設定されている
    情報処理装置。
  11. 請求項に記載の情報処理装置であって、
    前記移動体は、所定のマーク画像又は所定のマーク部材が設けられた外装部を具備し、
    前記算出部は、前記所定のマーク画像又は前記所定のマーク部材を検出することで、前記移動体が撮影されている前記撮影画像を検出する
    情報処理装置。
  12. 請求項1に記載の情報処理装置であって、
    前記第1の取得部は、前記経路情報を生成するためのモードが選択された状態で前記所定の空間を移動した前記移動体の前記経路情報を取得する
    情報処理装置。
  13. 請求項1に記載の情報処理装置であって、
    前記移動体は、前記所定の空間の地図情報に基づいて、前記所定の空間を移動する
    情報処理装置。
  14. 所定の空間を移動した移動体の経路に関する、前記移動体が通過した位置と、前記移動体が前記位置を通過した通過時間とを含む経路情報を取得し、
    前記移動体及び前記所定の空間の少なくとも一部を撮影可能な、前記移動体とは異なる外部の撮影システムにより撮影された撮影画像及び前記撮影画像が撮影された撮影時間を含む撮影情報を取得し、
    取得された前記経路情報及び前記撮影情報に基づいて前記撮影システムにより撮影される撮影範囲を検出し、前記所定の空間内において前記撮影範囲に含まれる第1の領域が前記撮影範囲に含まれない第2の領域よりも移動に関するコストが低くなるように、前記移動体の移動に関するコスト情報を算出し、
    前記経路情報に含まれる前記通過時間と、前記撮影情報に含まれる前記撮影時間とを対応付けることで、前記撮影範囲を検出し、取得された前記撮影情報から前記移動体が撮影されている前記撮影画像を検出し、検出された前記移動体が撮影されている前記撮影画像の前記撮影時間に基づいて前記撮影画像に撮影されている前記移動体の経路上の位置を算出し、算出された前記移動体の経路上の位置に基づいて、前記撮影範囲を検出する
    ことをコンピュータシステムが実行する情報処理方法。
  15. 所定の空間を移動した移動体の経路に関する、前記移動体が通過した位置と、前記移動体が前記位置を通過した通過時間とを含む経路情報を取得するステップと、
    前記移動体及び前記所定の空間の少なくとも一部を撮影可能な、前記移動体とは異なる外部の撮影システムにより撮影された撮影画像及び前記撮影画像が撮影された撮影時間を含む撮影情報を取得するステップと、
    取得された前記経路情報及び前記撮影情報に基づいて前記撮影システムにより撮影される撮影範囲を検出し、前記所定の空間内において前記撮影範囲に含まれる第1の領域が前記撮影範囲に含まれない第2の領域よりも移動に関するコストが低くなるように、前記移動体の移動に関するコスト情報を算出するステップと
    前記経路情報に含まれる前記通過時間と、前記撮影情報に含まれる前記撮影時間とを対応付けることで、前記撮影範囲を検出し、取得された前記撮影情報から前記移動体が撮影されている前記撮影画像を検出し、検出された前記移動体が撮影されている前記撮影画像の前記撮影時間に基づいて前記撮影画像に撮影されている前記移動体の経路上の位置を算出し、算出された前記移動体の経路上の位置に基づいて、前記撮影範囲を検出するステップと
    をコンピュータシステムに実行させるプログラム。
JP2018212207A 2018-11-12 2018-11-12 情報処理装置、情報処理方法、及びプログラム Active JP7259274B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018212207A JP7259274B2 (ja) 2018-11-12 2018-11-12 情報処理装置、情報処理方法、及びプログラム
US17/291,586 US11822334B2 (en) 2018-11-12 2019-10-30 Information processing apparatus, information processing method, and program for control of a moving body capable of autonomous movement
PCT/JP2019/042592 WO2020100595A1 (en) 2018-11-12 2019-10-30 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018212207A JP7259274B2 (ja) 2018-11-12 2018-11-12 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020079997A JP2020079997A (ja) 2020-05-28
JP7259274B2 true JP7259274B2 (ja) 2023-04-18

Family

ID=68583476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018212207A Active JP7259274B2 (ja) 2018-11-12 2018-11-12 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US11822334B2 (ja)
JP (1) JP7259274B2 (ja)
WO (1) WO2020100595A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111781925A (zh) * 2020-06-22 2020-10-16 北京海益同展信息科技有限公司 路径规划方法、装置、机器人及存储介质
KR102339002B1 (ko) * 2020-07-30 2021-12-14 네이버랩스 주식회사 로봇 관제 방법 및 시스템
JP7484574B2 (ja) * 2020-08-26 2024-05-16 トヨタ自動車株式会社 自律移動ロボット制御システム、その制御方法、その制御プログラム及び自律移動ロボット制御装置
JP7476727B2 (ja) * 2020-08-26 2024-05-01 トヨタ自動車株式会社 自律移動ロボット制御システム、その制御方法、その制御プログラム及び自律移動ロボット制御装置
JP2023159898A (ja) * 2020-09-15 2023-11-02 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
CN112333101B (zh) * 2020-10-16 2022-08-12 烽火通信科技股份有限公司 网络拓扑寻路方法、装置、设备及存储介质
CN113341991B (zh) * 2021-06-18 2022-08-09 重庆大学 一种基于动态窗口和冗余节点过滤的路径优化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170165835A1 (en) 2015-12-09 2017-06-15 Qualcomm Incorporated Rapidly-exploring randomizing feedback-based motion planning

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072612A (ja) 2004-09-01 2006-03-16 Toshiba Corp 巡回ロボットおよび巡回方法
JP4901233B2 (ja) * 2006-02-14 2012-03-21 株式会社日立製作所 監視システム、監視方法、及び、監視プログラム
US10409292B2 (en) * 2015-12-10 2019-09-10 Panasonic Intellectual Property Corporation Of America Movement control method, autonomous mobile robot, and recording medium storing program
US10191495B2 (en) 2015-12-17 2019-01-29 Board Of Trustees Of The University Of Arkansas Distributed ceiling-mounted smart cameras for multi-unmanned ground vehicle routing and coordination
KR101776823B1 (ko) * 2016-03-02 2017-09-11 가천대학교 산학협력단 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템
US10293485B2 (en) * 2017-03-30 2019-05-21 Brain Corporation Systems and methods for robotic path planning

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170165835A1 (en) 2015-12-09 2017-06-15 Qualcomm Incorporated Rapidly-exploring randomizing feedback-based motion planning

Also Published As

Publication number Publication date
US11822334B2 (en) 2023-11-21
WO2020100595A1 (en) 2020-05-22
JP2020079997A (ja) 2020-05-28
US20210397191A1 (en) 2021-12-23

Similar Documents

Publication Publication Date Title
JP7259274B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN111837083B (zh) 信息处理装置、信息处理方法和存储介质
US20230365129A1 (en) Apparatus and methods for obstacle detection
Droeschel et al. Multilayered mapping and navigation for autonomous micro aerial vehicles
US11822341B2 (en) Control device, control method, and mobile object to estimate the mobile object's self-position
KR102625488B1 (ko) 제어 장치 및 제어 방법, 프로그램, 그리고 이동체
JP7156305B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
WO2020226085A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US10393528B2 (en) Systems and methods for navigation path determination for unmanned vehicles
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
KR20180040839A (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
WO2021153176A1 (ja) 自律移動装置、自律移動制御方法、並びにプログラム
KR20220020804A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
JPWO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
JP7302161B2 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
EP3992747B1 (en) Mobile body, control method, and program
JP7147142B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
Asadi et al. An integrated aerial and ground vehicle (UAV-UGV) system for automated data collection for indoor construction sites
JP7135690B2 (ja) 情報処理装置および方法、プログラム、並びに移動体制御システム
US11609582B2 (en) Systems and methods for planning a travel route of a multifunctional robot
AU2022262832A1 (en) System infrastructure for manned vertical take-off and landing aerial vehicles
KR102070110B1 (ko) 자율 무인 시스템을 위한 지능 에이전트 시스템
Sree et al. Obstacle avoidance for UAVs used in road accident monitoring

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R151 Written notification of patent or utility model registration

Ref document number: 7259274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151