JP7153891B1 - ロボット制御方法、ロボット、プログラム、及び記録媒体 - Google Patents

ロボット制御方法、ロボット、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP7153891B1
JP7153891B1 JP2022515096A JP2022515096A JP7153891B1 JP 7153891 B1 JP7153891 B1 JP 7153891B1 JP 2022515096 A JP2022515096 A JP 2022515096A JP 2022515096 A JP2022515096 A JP 2022515096A JP 7153891 B1 JP7153891 B1 JP 7153891B1
Authority
JP
Japan
Prior art keywords
robot
user
information
control method
residence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022515096A
Other languages
English (en)
Other versions
JPWO2022138474A1 (ja
Inventor
洋 矢羽田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2022138474A1 publication Critical patent/JPWO2022138474A1/ja
Application granted granted Critical
Publication of JP7153891B1 publication Critical patent/JP7153891B1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/247Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the close surroundings of the vehicle, e.g. to facilitate entry or exit
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885Transmission of map data to client devices; Reception of map data by client devices
    • G01C21/3889Transmission of selected map data, e.g. depending on route
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

ロボット制御システムは、ロボットがユーザの位置との相対距離を所定距離内に維持してユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、ロボットから、ロボットの位置を示す位置情報及びロボットがユーザの近傍にいることの確認情報を取得し、地図情報、位置情報及び確認情報に基づき、ロボットのユーザがロボットと同伴してユーザの住居エリアの外にいると判断した場合、リクエストに対応して、住居エリア内にいるユーザの周辺情報を収集できる第1仕様から住居エリアの外にいるユーザの周辺情報を収集できる第2仕様にロボットの設定を変更するためのコマンドをロボットに対して送信する。

Description

本開示は、ロボットの能力を外部に提供する技術に関するものである。
特許文献1は、特定人物に対する犯罪を抑制することを目的として、特定人物に伴走して移動可能であり、ディスプレイ及びスピーカーを通して、特定人物を監視していることを報知したり、異変が発生したときには警報を発したりする、ロボットを開示する。
特開2007-264950号公報
しかしながら、特許文献1では、さらなる改善の必要がある。
本開示の一態様におけるロボット制御方法は、ユーザのロボットと通信し前記ユーザの住居の地図情報を保有するサーバを含むロボット制御システムにおけるロボット制御方法であって、外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記ロボットから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、前記地図情報、前記位置情報及び前記確認情報に基づき、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいると判断した場合、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
本開示によればさらなる改善が可能となる。
本開示の実施の形態に係る情報システムの全体構成の一例を示すブロック図である。 本実施の形態におけるロボットの外観図である。 本開示の実施の形態に係る情報システムの構成の一例を示すブロック図である。 A社がロボットと連携する際の処理の一例を示すフローチャートである。 ロボットへのアクセス権の種類と許可レベルとの関係の一例を示す表である。 複数の警備モードと各警備モードにおけるロボットへのアクセス権との関係の一例を示す表である。 ロボットおよびユーザの外出の有無の判定主体がB社サーバである場合の情報システムの処理の一例を示すシーケンス図である。 図7に対応するB社サーバおよびロボットの処理の一例を示す図である。 警備モードが「在宅」から「散歩」に切り替わるシーンの一例を示す図である。 在宅エリアの一例を示す図である。 在宅エリアの一例を示す図である。 在宅エリアの一例を示す図である。 在宅エリアの一例を示す図である。 ロボットがユーザに行う通知の一例を示す図である。 ロボットがユーザに行う通知の一例を示す図である。 ロボットがユーザに行う通知の一例を示す図である。 ロボットおよびユーザの外出の有無の判定主体がA社サーバである場合の情報システムの処理の一例を示すシーケンス図である。 図17に対応する、A社サーバ、B社サーバ、およびロボットの処理の一例を示すフローチャートである。 ロボットおよびユーザの外出の有無の判定主体がロボットである場合の情報処理システムの処理の一例を示すシーケンス図である。 図19に対応する、ロボットの処理の一例を示すフローチャートである。 ロボットにおける必要警備度の更新処理の一例を示すフローチャートである。 A社アプリを起動した直後にスマートフォンに表示されるホーム画面の一例を示す図である。 設定画面の一例を示す図である。 本実施の形態の他の一例の設定画面を示す図である。 警備モードの第1例を示す図である。 警備モードの第1例を示す図である。 警備モードの第1例を示す図である。 ホーム位置から放射位置に移動する際のロボットの挙動を示す図である。 警備モードの第1例におけるロボットの処理の一例を示すフローチャートである。 警備モードの第2例を示す図である。 警備モードの第2例におけるロボットの処理の一例を示すフローチャートである。 警備モードの第3例を示す図である。 警備モードの第3例を示す図である。 警備モードの第3例を示す図である。 警備モードの第3例におけるロボットの処理の一例を示すフローチャートである。 ロボットがユーザに接近する人物を回避する態様を示した図である。 ロボットがユーザに接近する人物を回避する際のロボットの処理の一例を示すフローチャートである。 伴走するロボットの基本機能の一例を示す図である。
(本開示に至る経緯)
我々の日常生活はますますデジタル化されてきている。例えば、多くの人が個人専用の情報通信端末であるスマートフォンを持つ。ユーザは、スマートフォンにユーザの健康管理を行うアプリケーション(以下、アプリケーションをアプリと呼ぶ)、家計の管理を支援するアプリ、知人とのリアルタイムなコミュニケーションを支援するソーシャルコミュニケーションアプリ、世の中のニュースを個人の興味に合わせてキュレーションしてくれるニュースアプリ、など様々なアプリをインストールして利用するようになった。
一方で、徐々にだが、自律的に種々の動作や作業を行うことができる可動装置(以下、ロボットと呼ぶ)も実用化されてきた。工場において部品の組み立てや調整を行うロボット、物流拠点において正確かつ迅速な仕分けを行うロボット、特定のタスクを周囲の状況を鑑みながら遂行することができるロボットなどがある。これらのロボットの中には、人との共同作業や、人の代替として特定の作業を行ってくれるロボットも含まれている。
本開示は、多様な情報処理を行うことができる情報処理装置であるスマートフォンと、多様な動作や物体を扱う作業を行うことができる可動装置であるロボットとが連携動作することによって、健康な、幸福な、快適な、安心な、安全な、愉しい、かつ/または清潔な生活をできるようにユーザを支援するものである。
このような、スマートフォンとロボットとが連携動作する技術として、例えば、宅外で散歩またはジョギングをするユーザの安全を確保するために、ロボットをユーザに伴走させる技術が検討されている。
しかしながら、宅外は宅内と異なり、状況が目まぐるしく変動するので、宅外で散歩等の行動をするユーザの安全を適切に確保するには現状のロボットの機能では不十分である。
例えば、特許文献1では、夜間等において犯罪の抑制効果を高めるために、ロボットがバックライト光源でユーザの周囲を照らしたり、ロボットがユーザの異変を検知してディスプレイやスピーカーにより周囲に監視中であることを発したり、することが開示されているに過ぎないので、宅外で行動するユーザの安全を適切に確保するには不十分である。
本開示はこのような課題を解決するためになされたものである。
(1)本開示の一態様におけるロボット制御方法は、ユーザのロボットと通信し前記ユーザの住居の地図情報を保有するサーバを含むロボット制御システムにおけるロボット制御方法であって、外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記ロボットから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、前記地図情報、前記位置情報及び前記確認情報に基づき、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいると判断した場合、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
上記態様により、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいる際、警備会社は前記警備会社の端末経由で、前記ロボットが備える機能を利用して前記ユーザをモニタできる。
この際、前記ロボットのサーバは、前記外部コンピュータから、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいる際に前記ロボットが前記ユーザとの相対位置を所定距離内に維持して前記ユーザをモニタするリクエストを示すリクエスト情報を取得する。そして、前記サーバは、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
そのため、宅内においては必ずしも必要ではないセンサーや高い運動能力を用いる高度な仕様に前記ロボットの設定を常時合わせて不必要に電力を消耗することなく長時間の連続利用が可能となる。一方、宅外においては、前記ユーザの安全確保のため夜間や屋外でも利用可能なセンサーや高い運動能力を用いる高度な仕様に前記ロボットの設定を変更して、前記ユーザを含む周辺状況を適正にモニタする。
これにより、前記ロボットのユーザが前記ユーザの宅外にいる際、警備会社による前記ユーザの周辺情報の収集用に、前記ロボットが備える機能を利用して、前記ユーザの安全を確保できる。また、前記ロボットが前記ユーザの周辺を広範囲かつ/または高精度にセンシングし、必要に応じて機敏に動けるようにしておくことで前記ユーザの宅外での安全をより良く確保できる。
(2)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居の位置及び平面範囲を表したエリアを含んでもよい。
上記態様により、住居の位置及び平面範囲を用いてユーザの住居を表すエリアを適切に表現できる。
(3)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居から所定距離のエリアを含んでもよい。
上記態様により、ユーザの住居からの所定距離を用いて住居を表すエリアを適切に表現できる。
(4)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居を含む前記ユーザが設定したエリアを含んでもよい。
上記態様により、ユーザの住居を示すエリアをユーザが設定できる。
(5)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居を含む前記ロボット制御システムにおいて設定されたエリアを含んでもよい。
上記態様により、ユーザの住居を示すエリアをロボット制御システムが設定できる。
(6)上記ロボット制御方法において、前記確認情報は、前記ロボットが前記ユーザを画像認識した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含んでもよい。
上記態様により、画像認識によりロボットの近傍にユーザがいることを正確に特定できる。
(7)上記ロボット制御方法において、前記確認情報は、前記ロボットが前記ユーザの端末から、前記端末の現在位置情報を取得した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含んでもよい。
上記態様により、ユーザの端末の現在位置情報を用いてロボットの近傍にユーザがいることを正確に特定できる。
(8)上記ロボット制御方法において、前記確認情報は、前記ロボットにより前記ユーザを認識した結果に基づき判定された前記ロボットからの前記ユーザの位置を示す第2位置情報を含んでもよい。
上記態様により、ロボットが認識したロボットからのユーザの位置を示す第2位置情報を用いてロボットの近傍にユーザがいることを正確に特定できる。
(9)上記ロボット制御方法において、前記変更される前記ロボットの設定は、前記ロボットが備える移動能力を、前記ユーザの宅内にいる場合より高めて速く移動できる設定を含んでもよい。
上記態様により、宅外にいるロボットは宅内にいる場合に比べて高速で移動できるので、宅外でのユーザの安全を適切に確保できる。
(10)上記ロボット制御方法において、前記変更される前記ロボットの設定は、宅外を移動する前記ユーザの足元を照らすために前記ロボットが備える照明機器をONにする設定を含んでもよい。
上記態様により、ユーザの足元が照らされるので宅外で移動するユーザの安全を適切に確保できる。
(11)上記ロボット制御方法において、前記コマンドは、前記ロボットの設定変更後に前記ロボットの設定を変更した旨を前記ロボットに出力させる旨を含んでもよい。
上記態様により、前記ロボットの設定変更が前記ロボットの内部で完了したことを、前記ロボットのユーザが前記ロボットの外側から確認できる。
(12)上記ロボット制御方法において、前記外部コンピュータが前記リクエスト情報を要求するアクセス権を持つことが確認された場合、前記コマンドを前記ロボットに対して送信してもよい。
上記態様により、前記ロボットへのアクセス権のない外部からの遠隔指示に基づく、前記ロボットの設定変更を防止できる。
(13)上記ロボット制御方法において、前記サーバにおいて前記外部コンピュータが前記アクセス権を有するか否かを登録しておき、前記登録に基づき、前記外部コンピュータが前記アクセス権を持つことを確認してもよい。
上記態様により、前記外部コンピュータによる前記ロボットへのアクセス権の有無を判断できる。
(14)上記ロボット制御方法において、前記ユーザの住居の地図情報は、前記ユーザの住居の緯度及び経度の情報を含んでもよい。
上記態様により、緯度及び経度の情報を含む地図情報を用いてユーザの住居の位置を正確に特定できる。
(15)上記ロボット制御方法において、前記ロボットから、前記ロボットによって収集された前記ユーザの周辺情報を取得してもよい。
上記態様により、ユーザの周辺の状況を正確に特定できる。
(16)上記ロボット制御方法において、前記外部コンピュータに前記ユーザの周辺情報を送信してもよい。
上記態様により、外部コンピュータは周辺情報を取得できる。
(17)別の一態様に係るロボット制御方法は、ユーザのロボットと通信するサーバを含むロボット制御システムにおけるロボット制御方法であって、外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記ロボットから、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外に移動した旨のイベント情報を取得し、前記ロボットにおいて前記ユーザの住居の地図情報が保有され且つ前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報が検知され、前記イベント情報は前記ロボットにおいて前記地図情報、前記位置情報及び前記確認情報に基づき生成され、前記イベント情報に基づき、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
上記態様は、ロボットが、ユーザがロボットを同伴して宅外に移動した旨のイベント情報を生成し、当該イベント情報をサーバに送信するものである。
(18)別の一態様に係るロボット制御方法は、ユーザのロボットと通信し前記ユーザの住居の地図情報を保有するサーバを含むロボット制御システムにおけるロボット制御方法であって、前記ロボットから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、第2サーバに、前記地図情報、前記位置情報及び前記確認情報を出力し、外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記第2サーバにおいて前記地図情報、前記位置情報及び前記確認情報に基づき前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外に移動したと判断された場合に前記第2サーバから前記リクエスト情報が取得され、前記リクエストに基づき、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
上記態様は、ロボットを同伴してユーザが宅外に移動したことを第2サーバが判定するものである。
(19)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居の位置及び平面範囲を表したエリアを含んでもよい。
この構成によれば、住居の位置及び平面範囲を用いてユーザの住居を表すエリアを適切に表現できる。
(20)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居から所定距離のエリアを含んでもよい。
この構成によれば、ユーザの住居からの所定距離を用いて住居を表すエリアを適切に表現できる。
(21)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居を含む前記ユーザが設定したエリアを含んでもよい。
この構成によれば、ユーザの住居を示すエリアをユーザが設定できる。
(22)上記ロボット制御方法において、前記住居を表す所定エリアは、前記住居を含む前記ロボット制御システムにおいて設定されたエリアを含んでもよい。
この構成によれば、ユーザの住居を示すエリアをロボット制御システムが設定できる。
(23)上記ロボット制御方法において、前記確認情報は、前記ロボットが前記ユーザを画像認識した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含んでもよい。
上記態様により、画像認識によりロボットの近傍にユーザがいることを正確に特定できる。
(24)上記ロボット制御方法において、前記確認情報は、前記ロボットが前記ユーザの端末から、前記端末の現在位置情報を取得した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含んでもよい。
この構成によれば、ユーザの端末の現在位置情報を用いてロボットの近傍にユーザがいることを正確に特定できる。
(25)上記ロボット制御方法において、前記確認情報は、前記ロボットにより前記ユーザを認識した結果に基づき判定された前記ロボットからの前記ユーザの位置を示す第2位置情報を含んでもよい。
この構成によれば、ロボットが認識したロボットからのユーザの位置を示す第2位置情報を用いてロボットの近傍にユーザがいることを正確に特定できる。
(26)上記ロボット制御方法において、前記変更される前記ロボットの設定は、前記ロボットが備える移動能力を、前記ユーザの宅内にいる場合より高めて速く移動できる設定を含んでもよい。
この構成によれば、宅外にいるロボットは宅内にいる場合に比べて高速で移動できるので、宅外でのユーザの安全を適切に確保できる。
(27)上記ロボット制御方法において、前記変更される前記ロボットの設定は、前記ユーザの宅外を移動する前記ユーザの足元を照らすために前記ロボットが備える照明機器をONにする設定を含んでもよい。
この構成によれば、ユーザの足元が照らされるので宅外で移動するユーザの安全を適切に確保できる。
(28)上記ロボット制御方法において、前記コマンドは、前記ロボットの設定変更後に前記ロボットの設定を変更した旨を前記ロボットに出力させる旨を含んでもよい。
上記態様により、前記ロボットの設定変更が前記ロボットの内部で完了したことを、前記ロボットのユーザが前記ロボットの外側から確認できる。
(29)上記ロボット制御方法において、前記外部コンピュータが前記リクエスト情報を要求するアクセス権を持つことが確認された場合、前記コマンドを前記ロボットに対して送信してもよい。
上記態様により、前記ロボットへのアクセス権のない外部からの遠隔指示に基づく、前記ロボットの設定変更を防止できる。
(30)上記ロボット制御方法において、前記サーバにおいて前記外部コンピュータが前記アクセス権を有するか否かを登録しておき、前記登録に基づき、前記外部コンピュータが前記アクセス権を持つことを確認してもよい。
上記態様により、前記外部コンピュータによる前記ロボットへのアクセス権の有無を判断できる。
(31)上記ロボット制御方法において、前記ユーザの住居の地図情報は、前記ユーザの住居の緯度及び経度の情報を含んでもよい。
上記態様により、緯度及び経度の情報を含む地図情報を用いてユーザの住居の位置を正確に特定できる。
(32)上記ロボット制御方法において、前記ロボットから、前記ロボットによって収集された前記ユーザの周辺情報を取得してもよい。
上記態様により、ユーザの周辺の状況を正確に特定できる。
(33)上記ロボット制御方法において、前記外部コンピュータに前記ユーザの周辺情報を送信してもよい。
上記態様により、ユーザの周辺の状況を正確に特定できる。
(34)別の一態様に係るロボット制御方法は、ユーザのロボットと通信するサーバを含むロボット制御システムにおけるロボット制御方法であって、前記ロボットから、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す所定エリアの外に移動した旨のイベント情報を取得し、前記ロボットにおいて前記ユーザの住居の地図情報が保有され且つ前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報が検知され、前記イベント情報は前記ロボットにおいて前記地図情報、前記位置情報及び前記確認情報に基づき生成され、外部コンピュータに前記イベント情報を出力し、前記外部コンピュータから、前記イベント情報に応答して、前記ロボットのユーザが前記ユーザの住居を表す前記所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を取集するリクエストを示すリクエスト情報を取得し、前記リクエストに基づき、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する。
本態様は、ロボットが、ユーザがロボットを同伴して宅外に移動した旨のイベント情報を生成し、当該イベント情報を第1サーバに送信するものである。
(35)別の一態様に係るロボット制御方法は、外部コンピュータと通信し前記ユーザの住居の地図情報を保有するロボット制御方法であって、前記外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記ロボットの内部センサーから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、前記地図情報、前記位置情報及び前記確認情報に基づき、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいると判断した場合、前記リクエストに対応して、前記ユーザの住居を表す所定エリア距離の内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更する。
本態様は、ロボットが、ユーザがロボットを同伴して宅外に移動したことを判断し、判断結果に基づいてロボットの仕様を変更するものである。
(36)別の一態様にかかるロボットは、本体と、前記少なくとも一対の脚または車輪と、前記少なくとも1つの内部センサーと、プロセッサと、(35)記載のロボット制御方法を前記プロセッサに実行させるためのプログラムが格納されたメモリと、を備える。
本態様により、ユーザがロボットを同伴して宅外に移動したことを判断し、判断結果に基づいてロボットの仕様を変更するロボットを提供できる。
(37)上記ロボットにおいて、前記外部コンピュータは、前記ユーザの通信端末であってもよい。
本態様は、ユーザの通信端末からリクエスト情報を取得するものである。
(38)上記ロボットにおいて、前記外部コンピュータは第三者サーバであってもよい。
本態様は、第三者サーバからリクエスト情報を取得するものである。
なお、本開示は、ここで用いられる制御方法に含まれる特徴的な各構成をコンピュータに実行させるプログラム、或いはこのプログラムによって動作するシステムとして実現することもできる。また、このようなコンピュータプログラムを、CD-ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。また、以下の説明において、括弧書きで記載されている内容は、その直前に記載されている内容の言い換え、例示、または補足情報として解釈されうる。
(実施の形態)
我々の社会は、今後もさらにインターネットが普及し、各種センサーが身近になることが予想される。これにより、我々の社会は、個人の内部状態及び活動等に関する情報から建造物及び交通網等を含む街全体の情報までもが、デジタル化されてコンピューターシステムで利用できる状態になっていくと予想される。デジタル化された個人に関するデータ(個人情報)は、通信ネットワークを介してビッグデータとして情報銀行などのクラウドサーバに安全に管理され、個人や社会のために様々な用途に利用されていく。
このような高度情報化社会は、日本ではSociety5.0と呼ばれる。高度情報化社会は、個人を取り囲む物質世界である現実空間(フィジカル空間)とコンピュータ同士が連携してフィジカル空間に関する各種処理がなされる仮想空間(サイバー空間)とを高度に融合させた情報基盤(サイバーフィジカルシステム)により、経済発展と社会的課題の解決とが期待される社会である。
そうした高度情報化社会では、個人が行う日常の様々なシーンでのコミュニケーション(情報の取得、提供、およびその表現方法を含む)や行動を分析し、蓄積した個人情報を含むビッグデータを分析することで、そのシーンに応じた、その個人にとって最適と思われるコミュニケーションの方法にて、その個人に必要な情報やサービスを提供することが可能になる。
以降では、そのようなサイバーフィジカルシステムが稼働する高度情報化社会を前提として、個人であるユーザに寄り添った日常生活の支援をテーマとして、ユーザの健康や幸福を高める具体的な様態について説明していく。
図1は、本開示の実施の形態に係る情報システムの全体構成の一例を示すブロック図である。図1は、上半分はサイバー空間、下半分はフィジカル空間を示している。左側は非ロボット提供会社であるA社関連のリソースが並んでおり、サイバー空間にはA社サーバ101、フィジカル空間にはユーザのスマートフォン100の上で動作するA社アプリがある。A社サーバ101はA社アプリとペアとなって動作する。右側には、ロボット提供会社であるB社関連のリソースが並んでおり、サイバー空間にはB社サーバ111、フィジカル空間には可動装置(ロボット110)と、スマートフォン100の上で動作するB社アプリがある。B社サーバ111はロボット110かつ/またはB社アプリとペアになって動作する。フィジカル空間の真ん中にはスマートフォン100にインストールされたA社アプリ、B社アプリ、さらにロボット110を扱うユーザがいる。スマートフォン100、ロボット110、A社サーバ101、およびB社サーバ111は、インターネットを含む広域通信網により相互通信が可能に接続されている。
この図に示すようにA社、B社はそれぞれのアプリやロボットを通じて、ユーザとの接点を持っている。A社が持つのはスマートフォン100上のA社アプリを介した接点だけであり、これは今日、多く見られる顧客接点の一形態である。一方で、この図のB社は、スマートフォン100上のB社アプリを介した接点だけでなく、ロボット110を介した接点も保有している。自律的な可動装置であるロボット110を介してユーザ(一般消費者)と接点を持つ会社は、一部の玩具メーカーを除くとまだ例がなく、これから出現してくるものと期待される。
なお、ここではロボット110の一例として犬型ロボットが採用されているが、ロボット110は、これ以外の人間を含む生物に基づく形態を有していてもよいし、無機質で非生物的な形態を有していてもよい。フィジカル空間において自律的な運動能力(姿勢変更能力および移動能力など)、かつ/または、作用能力(ボタンを押したり、物を持ち上げたり、など他の物体を動かす能力)がある限りは、ロボット110の形態は限定されない。
本開示の実施の形態の情報システムは、夫々の顧客接点であるアプリ、ロボット110、さらにはロボット110に操作される家電や住宅設備などがこれまで以上に高度に連携して、他が保有する情報や能力を活用しながら、自らのサービスの品質の上げ幅を広げ、ユーザへより高い価値提供を行う。ロボット110が持つ認知能力や運動能力は日々進化を続けており、このような万能なロボット110が実現すれば、そのロボット110が保有する固有の能力に他社がアクセスできる仕組みを構築しておくべきである。そうすることが、ユーザにとっても、サービスを提供する非ロボット会社にとっても、ロボットを提供するロボット会社にとっても、多種多様な価値の連携を生む土台になる。
図1において、A社はユーザが契約している警備会社である。A社は、スマートフォン100にA社が提供する警備アプリをA社アプリとしてインストールさせ、A社の警備サービスに対する各種設定をユーザに行わせる。
ロボット110は、具備するセンサーにより、ユーザに関するデータを継続して収集する。ユーザに関するデータは、例えば、ユーザの生体活動情報およびユーザの周辺情報を含む。生体活動情報は、例えば、心拍、血圧、体温、活動量(消費カロリー)、歩数、姿勢、および運動などである。周辺情報は、例えば、周辺映像情報、ユーザの位置情報、周囲の気温、周囲の空間の認識結果、およびオブジェクトの認識結果などである。ロボット110は、収集したユーザに関するデータをロボット110のメモリに記録する。同時に、ロボット110は、収集したユーザに関するデータをB社サーバ111へ定期的にアップロードする(a)。
尚、生体活動情報および周辺情報の収集主体は、ロボット110に限らず、スマートフォン100であってもよいし、ユーザが装着しているウェアラブルセンサー(図示せず)であっても良いし、ユーザの自宅や居住区域に設置されているセンサー(図示せず)であってもよい。
B社サーバ111は、ロボット110から継続的にユーザに関するデータを取得する。B社サーバ111は、アクセス権を持つA社サーバ101によるユーザに関するデータの取得を許可する。ここでは、A社サーバ101とB社サーバ111とはユーザの確認のもと認証設定がなされており、A社サーバ101はB社サーバが保有する最新のデータを取得するアクセス権を有する。
アクセス権を有するA社サーバ101は、B社サーバ111が保有する最新のユーザに関するデータを継続的に取得して、取得したユーザに関するデータを分析する。A社サーバ101は、ユーザに関するデータに含まれるユーザの周囲映像情報、またはユーザの位置情報の時間的変化により、ユーザが自宅から外出してロボット110と一緒に散歩していると判定する。ここで、ユーザの周囲映像情報は、A社サーバ101またはA社アプリのカメラ映像へのアクセス許可レベルが1以上であれば取得可能であり、ユーザの位置情報はA社サーバ101またはA社アプリの位置センサーのアクセス許可レベルが1であれば取得可能である。または、A社サーバ101かつ/またはA社アプリと、B社サーバ111かつ/またはB社アプリとが、通信により連携できるよう設定されていて、A社サーバ101は、ロボット110が3000歩程度の散歩をこれから誘導することを検知できるようにしてもよい。
A社サーバ101は、ユーザがロボット110と一緒に外出して徒歩並みのスピードで移動していると判定した場合、ロボット110の警備モードを「在宅」から「散歩」に切り替えるためのリクエスト情報をB社サーバ111に送信する(b)。
警備モードとは、A社がロボット110を介してユーザの安全確保を行うためにロボット110に設定された複数の行動規定(プログラムによるロボットの行動制御)の1つである。警備モードが変わると、ロボット110が具備するセンサーへのアクセス許可レベルが更新される。これにより、A社サーバ101は、必要な情報の収集が容易となる。また、ユーザやその周囲の状況に応じてロボット110が取るべき行動の優先順位の判定も変わる。ここでは、ユーザが在宅中と、外出中とでは警備モードが自動で切り替わるように予め設定されているとして説明しているが、本開示はこれに限定されない。
警備モード「在宅」は、「前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様」の一例である。警備モード「散歩」は、「前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様」の一例である。
ユーザが散歩を始めたことを判定したタイミングでA社サーバ101は、スマートフォン100のA社アプリの警備モードを「散歩」に切り替えても良い。しかしながら、A社アプリの警備モードを切り替えることで、警備会社であるA社がユーザの散歩中の安全性を確保することは現実的には困難である。例えば、ユーザが散歩を行う場合に必ずスマートフォン100を携帯するとは限らない。さらにユーザがスマートフォン100を携帯して、A社アプリの警備モードが「散歩」であったとしても、A社アプリが、散歩中のユーザが遭遇するトラブルやリスクを検知し、その事態を回避したり、ユーザの身の安全を確保したり、することは現実的には困難である。
つまり、A社は、ユーザとの日常的な接点がA社アプリでしかなく、ユーザに対して警備会社としてできることには限界がある。現実世界に直接物理的作用を及ぼせないアプリよりも、ユーザの身近にいる自律的なロボット110の方がユーザの警備を強化することができる。そのため、A社サーバ101は、ユーザが保有するロボット110を介した実効性の高い警備サービスを行うために、B社のロボット110に対して散歩中のユーザの警備モードの「散歩」への切り替えを要求する。
これまでの情報化社会(Society4.0社会とも呼ばれる)では、ここに説明したA社アプリを介した警備サービスについては実現できている。しかしながら、フィジカル空間で起こる危険には、A社アプリが解決しにくいものや、解決できないものが含まれる。本実施の形態においては、自律的運動能力を備えるユーザに身近なロボット110を用いて、A社アプリは保有しないがロボット110が保有する自律的運動能力を用いて、ユーザの安全をより良く守る警備サービスを構想し、そのサービスの実現の形態について説明する。それでは図1の続きを説明する。
A社サーバ101からリクエスト情報を取得したB社サーバ111は、A社サーバ101からロボット110に要求されたリクエストに対する必要なアクセス権をA社が有しているか否かを確認する。ここでは、警備モード「散歩」の各種設定(詳細は後述)と、その警備モード時に許可されるアクセス許可レベル情報(詳細は後述)とは、ユーザによって事前に設定されているとする。A社がアクセス権を有していれば、B社サーバ111は、警備モード「散歩」への変更をロボット110に指示する(c)。A社がアクセス権を有していない場合、B社サーバ111はそのリクエストを拒否する。
B社サーバ111から警備モード「散歩」に変更する指示を受信したロボット110は、警備モード「散歩」を実施する(d)。警備モード「散歩」を実施したロボット110は、散歩をしているユーザの伴走をしたり、散歩をしているユーザにとって危険となる物体をスポットライトで照らす注意喚起をしたり、リスクのある人物に対して警備中であることを示したり、リスクのある人物を威嚇したり、する。さらに、ロボット110は、ユーザが危険な状態であると判定した場合には、A社サーバ101または警察に通報する。このようにロボット110は、警備モード「散歩」において、ユーザが散歩中に遭遇する可能性のある様々な危険を判定し、その危険を回避し、必要な場合には警備員を介入させるなどしてユーザの安全を確保する。
また、ロボット110は、ユーザの安全を確保できない可能性があると判定した場合、B社サーバ111にその旨のメッセージを通報する。B社サーバ111はA社サーバ101にその通報を転送する(e)。
通報のメッセージを受信したA社サーバ101は、その通報に基づき、ロボット110を介して警備員による警備を実施する(f)。具体的には、A社の警備員が、ロボット110のカメラ、マイク、およびスピーカーを介して、ユーザから状況をヒアリングしたり、危険人物を威嚇したりする。さらに、警備員は、位置センサーを使って現場に駆け付けたりする。
ユーザが散歩を終えて帰宅すると、A社サーバ101は、B社サーバ111経由で取得したロボット110のセンサーデータ(カメラ映像、位置センサーの位置情報など)に基づいて、ユーザが帰宅したことを検知する。これによって、A社サーバ101はロボット110の警備モードを「在宅」に更新するリクエスト情報をB社サーバ111に送信する(g)。リクエスト情報を受信したB社サーバ111は、ロボット110に警備モード「在宅」への更新を指示する。この指示を受信したロボット110は、警備モード「在宅」を実施する。
ロボット110は警備モードを「散歩」から「在宅」に変更することにより、ユーザの安全確保を行うための自身の行動規定を自動的に変更する。具体的には、B社サーバ111は、A社サーバ101に対して、ロボット110から収集したセンサーデータのアクセス許可レベルを在宅時用に更新し、ユーザの状態またはユーザの周囲状況に応じてロボット110が取るべき行動の優先順位を在宅時用に変更する。なお、A社がアクセス権を有しているとロボット110が確認できる場合には、ロボット110は、A社サーバ101に対して、ロボット110が収集したセンサーデータ及びロボット110の運動能力へのアクセス許可レベルを在宅時用に自動的に更新するようにしても良い。
このようにして、B社サーバ111は、ユーザの状態または周囲状況に応じてA社が提供する警備モードを自動的に切り替える。B社サーバ111は、警備サービスを実行するために必要なロボット110が測定したセンサーデータの開示レベルも自動的に最適化しても良い。例えば、B社サーバ111は、散歩時には、画像認識の精度を向上させて事件発生時の証拠能力を高めるために、ロボット110のカメラが撮影した映像データを高精細な動画レベル(許可レベル=3:すべて許可)でA社サーバ101に許可する。一方、B社サーバ111は、外的な危険性が少ない在宅時には、プライバシーの問題を軽減させるために低精細な動画(許可レベル=2:低品質動画まで許可)でA社サーバ101に許可する。
上記の説明においては、A社サーバ101のカメラ映像に対するアクセス許可レベルは「3」であることが前提である。仮に、A社サーバ101のカメラ映像に対するアクセス許可レベルが「2」であった場合には、散歩時において、A社サーバ101は、許可レベル=2の低品質動画までしか利用できないことになる。散歩時の警備遂行に問題となる場合には、A社サーバ101またはA社アプリは、B社サーバ111におけるカメラ映像の許可レベルを「3」に上げるよう、A社アプリまたはB社アプリを通じて、ユーザにその旨を通知かつ/または要求すればよい。
ユーザの日常生活での安全性を確保することは、A社が持つ顧客接点であるスマートフォン100上の映像情報や音声情報などのメッセージだけでは難しい。A社はA社アプリではなく、ユーザのすぐ近くにあるB社の自律したロボット110を介して、ユーザの生体活動情報やユーザの周辺情報を随時判断することによって、ユーザの日常生活の安全をより良く確保し、より高い安心を提供できる。
図1の説明では、ユーザの外出の有無の判定主体はA社サーバ101であるが、本開示はこれに限定されない。この判定主体は、B社サーバ111であってもよいし、ロボット110であってもよい。
図2は、本実施の形態におけるロボット110の外観図である。図2において、ロボット110の長手方向を前後方向と呼び、ロボット110の歩行面に対して直交する方向を上下方向と呼び、前後方向および上下方向と直交する方向を左右方向と呼ぶ。
図2では、ロボット110の実装例として、4本の脚17で移動するロボットが示されている。ロボット110は、ボディ10と、4本の脚17とを含む。ボディ10の下面の前方には、照明部15が配置され、ボディ10の下面の後方には照明部16が配置されている。照明部15および照明部16を設けることで、ロボット110の前方及び後方を十分な光量で照らすことができる。照明部15、16は、それぞれ、危険物に対してユーザが認知し易いように危険物への照明形態(照明の形状、色、点滅パターン)が調整可能である。このような機能を実現するために、照明部15、16は、単色で発光できるライトではなく、危険物又は道路等の周囲の物体に任意の映像を投影するプロジェクションマッピングの機能を有している。
ボディ10の前面の中央には、ディスプレイ24が配置されている。ディスプレイ24は、例えば液晶パネル又は有機ELパネルである。ディスプレイ24は、主に、ロボット110がユーザとコミュニケーションをとるために使用される。ディスプレイ24は、図14に示すように、ロボット110の顔表情を表現する画像を表示しても良い。
ボディ10の上面の中央にはディスプレイ18が配置され、ボディ10の後面の中央にはディスプレイ34が配置されている。ディスプレイ18、34は、例えば液晶パネル又は有機ELパネルである。ディスプレイ18、34は、主に、ロボット110からのメッセージおよび状態を表示するために使用される。例えば、ディスプレイ18、34は、後述する注意喚起エリアにいる他人に対して警告情報を表示するために用いられても良い。この場合、ディスプレイ18、34は、ロボット110を介して警備サービスをユーザに提供している警備会社A社のロゴマークを表示しても良い。
ボディ10の前面の下部にはスピーカー25が配置され、ボディ10の後面の下部にはスピーカー35が配置されている。スピーカー25は、ロボット110が前方のユーザと対面してコミュニケーションをとるため使用される。スピーカー35は、後方から近づいてくる人物とコミュニケーションをとるために使用される。
ボディ10の前面には、RGBカメラ21、測距センサー22、および赤外線カメラ23が配置されている。ボディ10の後面には、RGBカメラ31、測距センサー32、および赤外線カメラ33が配置されている。RGBカメラ21、31は、空間認識および物体識別をするために用いられる。測距センサー22、32は、危険物の形状、路面の凹凸といった周辺空間および物体の形状を検知するために用いられる。赤外線カメラ23、33は、低照度環境下で人物や周囲の温度分布を検知するために用いられる。RGBカメラ21、31、測距センサー22、32、および赤外線カメラ23、33を組み合わせることで、ロボット110は周辺状況を精度よく検知することができる。
ボディ10の上面には、4つのマイク11、12、13、14が配置されている。マイクを4つ設けることで、ロボット110は、音源位置を特定できる。
脚17は、関節17a、17b、上脚17c、下脚17dを含む。関節17aは、ボディ10の側面に、上脚17cを左右方向回りに回動可能に接続する。関節17bは、上脚17cおよび下脚17dを左右方向回りに回転可能に取り付ける。
図3は、本開示の実施の形態に係る情報システムの構成の一例を示すブロック図である。スマートフォン100は、通信部100a、演算部100b、センサー100c、メモリ100d、操作部100e、および映像音声出力部100fを含む。
通信部100aは、ネットワーク上の他のコンピュータと情報通信を行う通信回路である。演算部100bは、例えばCPUなどのプロセッサであり、音声認識、音声合成、情報検索、および情報描画などの情報処理を行う。センサー100cは、映像情報、音声情報、かつ/または周辺環境情報を取得する。センサー100cは、例えばカメラ、マイク、加速度センサー、角速度センサー、およびGPSセンサー等である。メモリ100dは、例えばフラッシュメモリであり、種々のデータを保持する。操作部100eは、例えばタッチパネルであり、ユーザからのボタン操作およびタッチ操作などを受け付ける。映像音声出力部100fは、例えばディスプレイ、スピーカーなどである。
A社アプリおよびB社アプリはインストールされると、メモリ100dにプログラムおよび必要なデータが記録され、演算部100bによってそのプログラムが実行される。
A社サーバ101は、スマートフォン100にインストールされたA社アプリと協調動作するコンピュータである。A社サーバ101は、通信部101a、演算部101b、およびメモリ101cを含む。通信部101aは、ネットワーク上の他のコンピュータと情報通信を行う通信回路である。演算部101bは、例えばCPU等のプロセッサであり、ネットワーク上の他のコンピュータから送信されるデータを処理する。メモリ101cは、例えばソリッドステートドライブまたはハードディスクドライブなどであり、A社アプリおよびユーザに関する情報を記録する。
B社サーバ111は、スマートフォン100にインストールされたB社アプリと協調動作するコンピュータである。B社サーバ111は、通信部111a、演算部111b、およびメモリ111cを含む。通信部111aは、ネットワーク上の他のコンピュータと情報通信を行う通信回路である。メモリ111cは、例えばソリッドステートドライブまたはハードディスクドライブなどであり、B社アプリに関する情報、ロボット110に関する情報、およびユーザに関する情報を記録する。演算部111bは、他のコンピュータから送信される種々のデータを処理する。
ロボット110は、通信部110a、演算部110b、センサー110c、メモリ110d、可動部110e、映像音声出力部110f、および照明部110gを含む。
通信部110aは、ネットワーク上の他のコンピュータと情報通信を行う通信回路である。演算部110bは、例えばCPUなどのプロセッサである。演算部110bは、可動部110eを制御してロボット110の移動や動作を制御する処理、ロボット110が他物体へ力学的作用を行う処理を行う。さらに、演算部110bは、映像音声出力部110fから出力する種々の情報を生成する処理を行う。
センサー110cは、映像情報、音声情報、および周辺環境情報を取得する。センサー110cは、例えばRGBカメラ21、31、測距センサー22、32、赤外線カメラ23、33、およびマイク11~14を含む。
メモリ110dは、例えば、フラッシュメモリなどの半導体メモリであり、種々のデータを保持する。
可動部110eは、例えば、脚17および脚17を可動させるアクチュエータなどである。アクチュエータの一例はモータである。ロボット110が、脚17に代えて車輪で構成される場合、アクチュエータは車輪を移動させるモータである。可動部110eは、ロボット110の移動、動作、および他物体への力学的作用を行う。
映像音声出力部110fは、例えば、スピーカー25、35、およびディスプレイ18、24、34などを含み、映像および音声を出力する。
照明部110gは、図2に示す照明部15、16を含む。照明部110gは、1以上のレーザダイオードと、マイクロアレイ又はマイクロミラーアレイと、を含んでもよい。さらに、照明部110gは、LCDパネルと偏光板とを含んでもよい。さらに、ロボット110は、ユーザからのボタン操作およびタッチ操作などを受け付ける操作部(図示せず)を備えてもよい。
なお、A社サーバ101、スマートフォン100、ロボット110、およびB社サーバ111が接続される広域通信網は、移動体通信網、衛星通信網、インターネット通信網、専用通信網、光ファイバー網、近距離無線通信の1つ、または1つ以上の組み合わせであってもよい。
図4は、A社がロボット110と連携する際の処理の一例を示すフローチャートである。図1で説明したようなA社アプリまたはA社サーバ101が、B社が運用するロボット110が持つ情報および能力にアクセスできるようにするために、事前にそのアクセス権を適切に設定しておく。図4はそのアクセス権を予め設定しておくための処理の一例を示している。
ユーザはスマートフォン100にインストールされたB社アプリを使って、B社アプリがA社アプリとの連携するように設定する。具体的には、B社アプリは、ユーザの入力に基づいて、ユーザの利用するA社アプリの固有IDを取得する(ステップ#1)。B社アプリは、取得したA社アプリの固有IDをB社アプリの固有IDと共に、B社サーバ111に登録するための登録依頼を送信する(ステップ#2)。登録依頼を受信したB社サーバ111は、A社アプリとB社アプリとのペア情報を登録する。この登録処理では、同時にロボット110のどの固有能力に対してどこまでの利用権利をA社に許諾するかを示すアクセス権の登録も行われる(ステップ#3)。アクセス権の詳細については図5を用いて後述する。ロボット110のロボットIDとB社アプリの固有IDとを含むペア情報は予めB社サーバ111に登録されている。この登録は、例えばユーザがB社アプリの初期設定画面において、ロボット110の固有IDを入力することによって行われる。
A社アプリの登録を受け取ったB社サーバ111は、A社サーバ101に対してA社アプリが許可されるアクセス権の設定情報を通知する(ステップ#4)。具体的には、B社サーバ111は、A社アプリの固有IDとB社アプリの固有IDとのペア情報に加えて、そのアクセス権の設定情報をA社サーバ101に通知する。
A社サーバ101は、A社アプリの固有IDとB社アプリの固有IDとのペア情報、およびそのアクセス権の設定情報をメモリ101cに登録する(ステップ#5)。これらの情報は、A社アプリまたはA社サーバ101がB社の提供するロボット110に対してその固有能力を利用する際に、対象のロボット110を特定すると共に、その固有能力の利用が可能か否かを判定するために用いられる。
ここでは、A社アプリまたはA社サーバ101に対して、B社が提供するロボット110へのアクセス権を正しく設定できれば良く、上記はその一例に過ぎない。上記とは異なる登録方法が用いられてもよい。
図5は、ロボット110へのアクセス権の種類と許可レベルとの関係の一例を示す表である。ロボット110は様々なセンサー110cおよび運動能力(可動部110e)を具備する。センサー110cおよび運動能力に対する他社からのアクセス権は、B社サーバ111だけでなく、利用する側であるA社サーバ101にも登録される。以下、アクセス権の種類とその許可レベルについて、センサー110cから説明する。
「カメラ映像」は、ロボット110が具備するイメージセンサー(例えば、RGBイメージセンサー)へのアクセス権である。これは、ロボットの目と外見上認知される個所に具備されているイメージセンサーであってもよい。「カメラ映像」へのアクセス権は以下の通り、アクセス権のない「0」から制約なくアクセス権が付与される「3」まで段階的に設定される。例えば、この許可レベルが「2」のA社サーバ101からのアクセス要求に対し、B社サーバ111は低品質動画を返すように、ロボット110かつ/またはB社サーバ111を制御する。
0:不許可
1:静止画のみ許可
2:低品質動画まで許可
3:すべて許可
「測距センサー」は、ロボット110が具備する対象物までの距離が測定できるセンサー(例えば、TOFセンサー、LiDARなど)へのアクセス権である。「測距センサー」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」のA社サーバ101からのアクセス要求に対しては、B社サーバ111は測距センサーが取得したデータ(例えば、デプスイメージ)を返すように、ロボット110を制御する。
0:不許可
1:許可
「赤外線センサー」は、ロボット110が具備する赤外線が測定できるセンサーへのアクセス権である。赤外線センサーにより測定される近赤外線領域は暗闇での被写体認識、遠赤外線領域は被写体温度分布などに使われる。「赤外線センサー」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は、赤外線センサーが取得したデータ(例えば、サーモグラフィー映像)を返すようにロボット110を制御する。
0:不許可
1:許可
「マイク音声」は、ロボット110が具備するマイクへのアクセス権である。「マイク音声」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111はマイクが取得した音声データを返すようにロボット110を制御する。
0:不許可
1:許可
「触覚センサー」は、ロボット110が具備するロボット表面での触覚感覚が測定できるセンサー(例えば、MEMSシリコン毛デバイスセンサー)へのアクセス権である。「触覚センサー」へのアクセス権は以下の通り、アクセス権のない「0」か、制約なくアクセス権が付与される「2」まで段階的に設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は触覚センサーが取得したデータ(例えば、圧力分布映像)の内、ロボット110の一部分(例えば、頭部)のデータのみを返すようにロボット110を制御する。
0:不許可
1:一部分のみ許可
2:すべて許可
「気温・湿度・気圧センサー」は、ロボット110が具備する気温、湿度、気圧センサーへのアクセス権である。「気温・湿度・気圧センサー」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定することができる。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は気温、湿度、および気圧センサーが取得したデータを返すようにロボット110を制御する。
0:不許可
1:許可
「位置センサー」は、ロボット110が具備するロボットの現在位置を測定するセンサーへのアクセス権である。「位置センサー」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は位置センサーが取得したロボットの現在位置情報を示すデータを返すようにロボット110を制御する。
0:不許可
1:許可
ここまでがロボット110に具備されたセンサー110cへのアクセス権に対する説明である。続いて、ロボット110が具備する「運動能力」へのアクセス権について説明する。
「表情変更能力」は、ロボット110の映像音声出力部110fで表示される顔表情の外見的特徴を変更する能力へのアクセス権である。これは、ロボット110が、外見上、顔と認識できるパーツを有する場合に、そのパーツを動かしたり、そのパーツの色を変更したり、する能力であってもよい。「表情変更能力」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は顔表情の変更要求に応じて顔表情を変更するようにロボット110を制御する。
0:不許可
1:許可
「発声能力」は、ロボット110の映像音声出力部110fが具備する音声出力能力へのアクセス権である。これは、ロボットに、外見上、口と認識できるパーツがある場合に、そのパーツを動かしたり、その口の周辺部から音声を出力したり、する能力であってもよい。「発声能力」へのアクセス権は以下の通り、アクセス権のない「0」か、アクセス権がある「1」の2択で設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は発声する音声情報に応じて音声を出力するようにロボット110を制御する。
0:不許可
1:許可
「姿勢変更能力」は、ロボット110の可動部110eが具備する姿勢を変更する能力へのアクセス権である。これは、ロボット110の可動部110eにある複数の関節機構部の角度を変更する能力であってもよい。ただし、ロボット110自体の位置を変える能力は意図しない。「姿勢変更能力」へのアクセス権は以下の通り、アクセス権のない「0」から制約なくアクセス権が付与される「2」まで段階的に設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111は頭部のみを要求に応じて動かすようにロボット110を制御する。
0:不許可
1:頭部のみ許可
2:すべて許可
「移動能力」は、ロボット110の可動部110eが具備する移動する能力へのアクセス権である。これは、ロボット110の可動部110eにある複数の関節機構部の角度を変更する能力であってもよい。この能力は、ロボット110自体の位置を変える能力である。「移動能力」へのアクセス権は以下の通り、アクセス権のない「0」から制約なくアクセス権が付与される「4」まで段階的に設定される。例えば、この許可レベルが「1」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111はユーザ宅の中でユーザが許可したエリアのみを低速で移動することを許可するようにロボット110を制御する。また、例えば、この許可レベルが「3」であるA社サーバ101からのアクセス要求に対しては、B社サーバ111はユーザが許可した宅内、宅外のエリアのみを高速で移動することを許可するようにロボット110を制御する。ここでユーザが許可したエリアは、ユーザがあらかじめ設定しておく条件の1つである。例えば、ユーザのプライバシーを侵害してしまう恐れのあるエリア(お風呂など)にはロボット110が近寄れないよう予め設定しておくことができる。
0:不許可
1:許可済み宅内のみ、低速での移動を許可
2:許可済み宅内/宅外まで、低速での移動を許可
3:許可済み宅内/宅外まで、高速での移動を許可
4:すべて許可
図6は、複数の警備モードと各警備モードにおけるロボット110へのアクセス権との関係の一例を示す表である。ここでは、警備モードが変更される際にロボット110が具備するセンサー110cへのアクセス権およびロボット110の運動能力へのアクセス権がどのように変更されるかの一例が示されている。なお、アクセス権は、警備モードに同期して変更されると説明したが、警備モードとは同期せず個別に変更されても良い。
ここでは、警備モードが「在宅」時に設定される許可レベルと、警備モードが「散歩」時に設定される許可レベルとが異なる例が示されている。各警備モードに必要となるセンサーおよび運動能力の要求条件は異なるため、警備モードが異なるとこれらのアクセス権も異なる。警備モード「在宅」は、ユーザとロボット110とが在宅時に適用される警備モードである。警備モード「散歩」はユーザとロボット110とが外出の散歩時に適用される警備モードである。
「カメラ映像」のアクセス権は、警備モード「在宅」では「2:低品質動画まで許可」が設定され、カメラ映像の必要性およびプライバシーが配慮された設定となっている。一方、警備モード「散歩」では「3:すべて許可」が設定され、カメラ映像の必要性(危険物の画像認識精度向上)および証拠能力としての有効性が配慮された設定となっている。同様の理由で「測距センサー」および「赤外線センサー」のアクセス権も、それぞれ、警備モード「在宅」よりも警備モード「散歩」の方が許可レベルが高く設定されている。なお、「マイク音声」、「気温・湿度・気圧センサー」、および「位置センサー」のアクセス権は、それぞれ、警備モード「在宅」および警備モード「散歩」とも、「1:許可」が設定され、「触覚センサー」のアクセス権は警備モード「在宅」および警備モード「散歩」とも「0:不許可」が設定されている。
「運動能力」については、「移動能力」のアクセス権が、警備モード「在宅」よりも警備モード「散歩」の方が許可レベルが高く設定されている。これは、散歩が宅外で行われるため、移動許可範囲を宅外まで広げる必要があるからである。さらに、ユーザと一定の距離を保ってロボット110を伴走させるために、在宅時よりも散歩時において、ロボット110をより速く移動させる必要があるからである。その他、運動能力において、「表情変更能力」および「発声能力」のアクセス権は、それぞれ、警備モード「在宅」および警備モード「散歩」とも、「1:許可」が設定され、「姿勢変更能力」のアクセス権は、警備モード「在宅」および警備モード「散歩」とも「1:頭部のみ許可」が設定されている。
「照明機能」は照明部110gをON、OFFを設定する機能である。警備モード「在宅」では照明機能はOFFに設定され、警備モード「散歩」では照明機能はONに設定されている。
このように警備モードに応じて、B社サーバ111に蓄積されたロボット110に関するデータおよびイベント情報に対するA社サーバ101のアクセス権が変更される。各警備モードにおける、A社サーバ101のアクセス権は予め設定されている。一方、ユーザに関するデータのアクセス権は、ユーザの状況に応じて共有されるユーザに関するデータを必要最低限にするために、警備モードに応じてアクセス権が適切に変更されるようB社サーバ111、ロボット110、A社アプリ、B社アプリ、かつ/またはA社サーバ101により制御される。
図7は、ロボット110およびユーザの外出の有無の判定主体がB社サーバ111である場合の情報システムの処理の一例を示すシーケンス図である。
まず、ユーザは在宅しているものとする。また、ロボット110は、警備モードが「在宅」および「散歩」のいずれにも設定されていないものとする。
(ステップS1)
ロボット110はデータおよびイベント情報を継続的にB社サーバ111に送信する。ロボット110は具備したセンサー110cを用いて、ユーザの生体活動情報およびユーザの周辺情報を継続的に収集する。ロボット110は収集した生体活動情報およびユーザの周辺情報を含むデータを継続的にB社サーバ111に送信する。ロボット110は、収集した生体活動情報およびユーザの周辺情報を解析することにより、イベント情報を継続的に生成し、生成したイベント情報をB社サーバ111に継続的に送信する。
イベント情報は、ロボット110の状態変化またはロボット110が検知したユーザの状態変化を、ロボット110が通知するための情報である。イベント情報は、例えば、ユーザが運動をしている状態を検知したときに生じる「運動イベント情報」、ユーザが安静にしている状態を検知したときに生じる「安静イベント情報」、ユーザが睡眠している状態を検知したときに生じる「睡眠イベント情報」、ユーザが危険な状態であることを検知したときに生じる「危険イベント情報」、ロボット110のバッテリー残量が少ないことを検知したときに生じる「ローバッテリーイベント情報」、ロボット110が宅外で伴走中にユーザを見失ったことを検知したときに生じる「ロストイベント情報」などを含む。
イベント情報を送ることにより、ロボット110は、センサーデータを大量に送ることなくユーザおよびロボット110に関する状態変化を通知することができる。例えば、ユーザが運動をし始めたことを意味する「運動イベント情報」を動画データであるカメラ映像から分析することはサーバ側の処理負担が増大し、ネットワーク帯域への負担も増大する。そのためイベント情報を使うことで、ロボット110とB社サーバ111との連携の効率化を図ることができる。
さらに、イベント情報は、ロボット110がユーザの近傍にいることを示す確認情報を含む。確認情報は、例えばロボット110がスマートフォン100から取得したスマートフォン100の位置情報、すなわち、ユーザの位置情報を含む。または、確認情報は、ロボット110がセンサー110cに含まれる光学センサーの撮影映像を解析する顔認証や歩容認証などによりユーザが映っているか否かを判定して得られるユーザ認識結果の情報であっても良く、さらにユーザの位置情報を含む情報であっても良い。
(ステップS2)
B社サーバ111は、得られたデータおよびイベント情報を、A社サーバ101に設定されたアクセス権の範疇でA社サーバ101に継続的に送信または開示することにより、A社サーバ101とデータおよびイベント情報を共有する。
(ステップS3、S4)
スマートフォン100は、ユーザからの入力にしたがって警備モードを設定する。警備モードの設定内容を示す設定情報は、例えば、後述する図23又は図24に表示された情報を含む。例えば、設定情報は、警備モードの条件を含む。警備モードの条件は、警備モード「在宅」の条件と、警備モード「散歩」の条件とを含む。警備モード「散歩」の条件は、警備モードを「在宅」から「散歩」に変更する条件である。警備モード「在宅」の条件は、警備モードを「散歩」から「在宅」に変更する条件である。例えば、設定情報は、警備モードが「散歩」に変更されたときに、ロボット110がユーザにその変更を通知する情報を含んでもよい。この通知は、ロボット110の顔、かつ/またはボディ10の一部への情報の表示であってもよいし、警備会社のロゴを表示しても良いし、変更を告げる音声の出力であってもよいし、警備会社のサウンドロゴ音声の出力であってもよい。さらに、この通知は、これらの組み合わせであっても良い。
(ステップS5)
スマートフォン100は、設定情報とリクエスト情報とをA社サーバ101に送信する。リクエスト情報は、例えば警備モードが「散歩」に対しては、設定された在宅エリア外である宅外においてユーザとの相対距離を所定距離内に維持してユーザを伴走するようにロボット110の可動部110eを演算部110bに制御させながら、同時にセンサー110cを用いてユーザの周辺情報を収集させるロボット110の行動規範(プログラム、または行動優先順位の設定)を実行させるリクエストを規定する情報である。例えば、警備モードが「在宅」に対しては、設定された在宅エリア内である宅内においてユーザとの相対距離を所定距離内に維持してユーザの安全を監視するようにロボット110の可動部110eとセンサー110cを演算部110bに制御させる行動規範を実行させるリクエストを規定する情報である。
(ステップS6)
設定情報を受信したA社サーバ101は、設定情報およびリクエスト情報をB社サーバ111に送信する。
(ステップS7)
B社サーバ111は、受信した設定情報およびリクエスト情報をメモリ111cに登録する。
(ステップS8)
B社サーバ111は、ロボット110から継続的に送信されるデータおよびイベント情報と、地図情報とに基づいて、ユーザがいずれかの警備モードの条件を満たすか否かを確認する。
(ステップS9)
B社サーバ111は、ユーザが警備モード「在宅」の条件を満たしていると判定された場合、または、ユーザが警備モード「在宅」の条件を最も良く満たしていると判定された場合に、警備モード「在宅」に変更するようにロボット110に指示を送信する。
(ステップS10)
警備モード「在宅」の指示を受信したロボット110は、警備モード「在宅」の開始をユーザに通知する。通知の詳細は後述する。
(ステップS11)
ロボット110は、警備モード「在宅」で動作する。警備モードは新たな警備モードの指示を受けるまで継続される。
(ステップS12)
B社サーバ111は、警備モード「在宅」に変更されたことをロボット110からの応答で検知し(図示なし)、その警備モード「在宅」への変更結果をA社サーバ101に送信する。
(ステップS13)
ユーザはロボット110と一緒に外出し、散歩を開始する。
(ステップS14)
B社サーバ111は、ロボット110のセンシング結果が警備モード「散歩」の条件を満たすので、警備モードを「散歩」に変更する。
(ステップS15)
B社サーバ111は、警備モード「散歩」に変更するようにロボット110に指示を送信する。この指示は、「第1仕様から第2仕様にロボットの設定を変更するためのコマンド」の一例である。この指示は、ロボット110の警備モードの設定変更後に警備モードが変更された旨をロボット110に出力させるコマンドを含む。
(ステップS16)
警備モード「散歩」の指示を受信したロボット110は、警備モード「散歩」の開始をユーザに通知する。通知の詳細は後述する。
(ステップS17)
ロボット110は、警備モード「散歩」で継続的に動作する。
(ステップS18)
B社サーバ111は、ロボット110が警備モード「散歩」に変更されたことをロボット110からの応答で検知し(図示なし)、警備モード「散歩」への変更結果をA社サーバ101に送信する。
図7において、A社サーバ101は外部コンピュータの一例である。図7において、設定情報およびリクエスト情報は、スマートフォン100(で実行されるA社アプリ、またはB社アプリ)がB社サーバ111に送信してもよい。この場合、スマートフォン100は外部コンピュータの一例である。
図7において、確認情報は、ユーザの位置情報であったが、これは一例である。例えば、確認情報は、ロボット110がユーザの近傍にいると判定した情報であってもよい。この場合、ロボット110は、センサー110cを用いて取得したユーザの画像の認識結果に基づいて、ロボット110がユーザの近傍にいるか否かを判定してもよいし、スマートフォン100から取得したスマートフォン100の現在の位置情報に基づいて、ロボット110がユーザの近傍にいるか否かを判定してもよい。
図8は、図7に対応するB社サーバ111およびロボット110の処理の一例を示す図である。
(ステップS201)
ロボット110は、センサー110cを用いてユーザの状態および周辺をセンシングする。これにより、ユーザの生体活動情報および周辺情報が得られる。
(ステップS202)
ロボット110は、ユーザの生体情報およびユーザの周辺情報を含むデータと、ユーザの生体情報およびユーザの周辺情報に基づいて生成したイベント情報とをB社サーバ111に送信する。
(ステップS203)
B社サーバ111は、データおよびイベント情報を受信する。
(ステップS204)
B社サーバ111は、ロボット110から受信したデータおよびイベント情報がいずれかの警備モードの条件を満たすか否かにより、警備モードの変更の要否を判定する。例えば、B社サーバ111は、現在設定されている警備モードが「在宅」であり、ロボット110から受信したデータおよびイベント情報が警備モード「散歩」の条件を満たす場合、警備モードを「散歩」に変更する必要があると判定する。例えば、B社サーバ111は、現在設定されている警備モードが「散歩」であり、ロボット110から受信したデータおよびイベント情報が警備モード「散歩」の条件を満たす場合、警備モードを変更する必要がないと判定する。例えば、B社サーバ111は、現在設定されている警備モードが「散歩」であり、ロボット110から受信したデータおよびイベント情報が警備モード「散歩」の条件を満たさず、警備モード「在宅」の条件を満たす場合、警備モードを「在宅」に変更する必要があると判定する。例えば、B社サーバ111は、現在設定されている警備モードが「在宅」であり、ロボット110から受信したデータおよびイベント情報が警備モード「在宅」の条件を満たしている場合、警備モード「在宅」から変更する必要がないと判定する。
B社サーバ111は、データに含まれるロボット110の位置情報およびイベント情報の確認情報に含まれるユーザの位置情報と、地図情報から得られる在宅エリアと、を比較し、ロボット110およびユーザがともに在宅エリア外に居ると判定した場合、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モード「散歩」の条件を満たすと判定すればよい。一方、B社サーバ111は、ロボット110およびユーザがともに宅内にいる場合、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モード「散歩」の条件を満たしておらず、警備モード「在宅」の条件を満たしていると判定すればよい。地図情報は、メモリ111cに記憶され、住居の緯度および経度の情報を含む。在宅エリアは、住居を表す所定エリアの一例である。
なお、確認情報が、ロボット110の近傍にユーザがいることを示すロボット110の判定結果である場合、B社サーバ111は、ロボット110の位置情報が在宅エリアに位置すれば、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モード「在宅」の条件を満たすと判定すればよい。逆に、ロボット110の位置情報が在宅エリア外に位置すれば、警備モード「散歩」の条件を満たすと判定すれば良い。
(ステップS205)
B社サーバ111は、警備モードの変更が必要と判定した場合(ステップS205でYES)、処理をステップS206に進める。一方、B社サーバ111は、警備モードの変更が必要ないと判定した場合(ステップS205でNO)、処理を終了する。
(ステップS206)
B社サーバ111は、警備モードの変更をする指示をロボット110に送信する。
(ステップS207)
当該指示を受信したロボット110は警備モードを変更する。例えば、ロボット110は、警備モード「在宅」から、「散歩」に変更する。
(ステップS208)
ロボット110は、警備モードの変更結果をB社サーバ111に送信する。
(ステップS209)
B社サーバ111は、警備モードの変更結果を受信する。
(ステップS210)
ロボット110は、変更後の警備モードの開始をユーザに通知する。上記のようにしてB社サーバ111はロボット110からのデータ、イベント情報を用いて警備モードを逐次判定し、その警備モードの実行をロボット110に指示する。
図9は、警備モードが「在宅」から「散歩」に切り替わるシーンの一例を示す図である。例えば、在宅エリア802は、住居801の位置を中心とする一定の半径を有する円形の領域である。在宅エリア802の外部のエリアは外出エリア806(散歩エリア)である。ロボット110およびユーザが在宅エリア802にいる場合、警備モードは「在宅」に設定され、ロボット110およびユーザが外出エリア806にいる場合、警備モードは「散歩」に設定される。
ユーザとロボット110とが、在宅エリア802から外出エリア806へ移動した場合、警備モードが「散歩」に変更される。この場合、ロボット110は、言葉、鳴き声、およびサウンドロゴのような音声情報を映像音声出力部100fを用いて出力することで、警備モード「散歩」への変更をユーザに通知すればよい。音声情報の一例は、「散歩をお守りするワン」などのメッセージである。ロボット110は、警備会社のロゴのような所定のマークの映像情報をディスプレイ18、24、34に表示することで、警備モード「散歩」への変更をユーザに通知してもよい。ロボット110は、2足歩行などの特定の挙動により、警備モード「散歩」への変更をユーザに通知してもよい。また、ロボット110は、目に相当する箇所にディスプレイが設けられている場合、目の表示態様を変更することで、警備モード「散歩」の変更をユーザに通知してもよい。これらの通知により、外見上からは判断が困難なロボット110の警備モードの変更をユーザに知らせることができる。
図10、図11、図12、図13は、それぞれ、在宅エリア802の一例を示す図である。図10~図13において太線内部の領域が在宅エリア802である。ロボット110の警備モードが切り替わる条件となる、ユーザおよびロボット110がいるエリアは、次の何れか、または組み合わせである。
(1)図10の在宅エリア802は、地点800を中心とする半径804の円形の領域である。地点800は、自宅敷地803内でスマートフォン100のGPSが取得した位置情報である。この場合、例えば、在宅エリア802は、地点800の緯度の情報及び経度の情報と、半径804の情報と、により規定される。
(2)図11の在宅エリア802は、住居801の輪郭によって取り囲まれる領域である。住居801の輪郭形状は例えば地図情報から取得される。
(3)図12の在宅エリア802は、自宅敷地803の輪郭によって取り囲まれる領域である。自宅敷地803の輪郭は地図情報から取得される。
(4)図13の在宅エリア802は、ユーザが地図上で指定する任意形状の領域である。例えば、スマートフォン100に表示された地図画像において、ユーザがなぞった自宅敷地803の輪郭805内部が在宅エリア802として設定される。
(5)その他、在宅エリア802は、地点800の位置情報と情報システムが指定する設定ルールとに基づいて設定されてもよい。地点800の位置情報は、例えばスマートフォン100のGPSが取得した位置情報である。この場合、在宅エリア802は、地点800の緯度の情報および経度の情報を基準に、設定ルールが規定する領域が、在宅エリア802として設定される。この設定ルールは、図10に示すような円形であってもよい。
(6)在宅エリア802は、ユーザの自宅の住所情報と、住居801かつ/または自宅敷地803を含む地図情報とを用いて、情報システムが自動的に設定したものであってもよい。この場合は、ユーザが指定した自宅住所情報と、その住所情報とリンクした住居801かつ/または自宅敷地803を含む地図情報とを用いて在宅エリア802が設定される。
上記(1)~(6)のいずれの場合も、在宅エリア802以外のエリアは、全て外出エリア806として扱われても良い。これによって、在宅エリア802と、外出エリア806との境界が明確となり、ユーザとロボット110の現在位置によって、ロボット110の警備モードを正確に変更できる。
在宅エリア802の設定情報は、例えばA社サーバ101、B社サーバ111、およびロボット110のメモリ110dのいずれか1カ所以上に記録されて管理される。この設定情報は、在宅エリア802の輪郭の情報であってもよい。
上記(1)~(6)のいずれの場合も、在宅エリア802の設定情報は、スマートフォン100を介してユーザに確認され、設定されてもよい。この設定情報は、A社アプリ、B社アプリ、または他社ソフトウェアを介して取得される。
図14~図15は、ロボット110がユーザに行う通知の一例を示す図である。図14は警備モードを「在宅」に変更する際の通知を示している。図14の例では、ロボット110は、小さな円形の輝いた部分を持つ瞳を有する左右の目の画像1401を表示する。図15は警備モードを「散歩」に変更する際のロボット110の通知を示している。図15の例では、ロボット110は、縦方向に細長い線のある瞳を有する左右の目の画像1401を表示する。図16は、特定のイベント情報が発生した際のロボット110の通知を示している。図16の例では、ロボット110は、瞼を半分閉じたような三日月形状の瞳を有する左右の目の画像1401を表示する。イベント情報の一例はローバッテリーイベント情報である。ローバッテリーは、ロボット110の電池残量が所定残量以下になった状態を指す。
以上により、ユーザは、ロボット110の映像音声出力部110fの目に該当する部分に表示された映像情報を見ることで、ロボット110の現在のモードが警備モード「在宅」又は「散歩」であるのか、ロボット110に「ローバッテリー」などのイベント情報が生じているかを容易に確認できる。これらの画像1401は、警備モードの種類及びイベント情報の種類に応じて予め定められている。なお、画像1401は、例えばディスプレイ24(図2)に表示される。
次に、ロボット110およびユーザの外出の有無の判定主体がA社サーバ101(第2サーバの一例)である態様について説明する。図17は、ロボット110およびユーザの外出の有無の判定主体がA社サーバ101である場合の情報システムの処理の一例を示すシーケンス図である。
図17において、図7と同じ処理には同一の符号を付して説明を省く。
(ステップS301)
ユーザはロボット110と一緒に外出し、散歩を開始する。
(ステップS302)
A社サーバ101はユーザとロボット110とに関する最新のデータおよびイベント情報をB社サーバ111を介して取得することで、ユーザとロボット110とを監視しながら、警備モードの変更の有無、および警備員の介入の必要性を継続して判定する。A社サーバ101は、例えば、センサー110cが取得したデータから、ロボット110が外出したこと(ロボット110の位置情報)、ロボット110が撮影したカメラ映像からロボット110の近くにユーザがいること(またはそれを示す確認情報)、およびユーザが徒歩の速さで移動している(ユーザが散歩している)ことを検知する。或いは、A社サーバ101は、B社サーバ111においてユーザが在宅エリア外での散歩を開始したことを意味する「散歩開始イベント情報」がロボット110から通知されていることを検知しても良い。尚、上記では、A社サーバ101は、B社サーバ111を介して、ロボット110が取得したデータおよびイベント情報を取得するとしたが、それに加えて、在宅エリア情報を含む地図情報をB社サーバ111を介して取得しても良い。
(ステップS303)
A社サーバ101は、取得したデータおよびイベント情報を分析し、ユーザがロボット110と散歩を始めたことを検知し、警備モードを「在宅」から「散歩」へ変更するリクエスト情報をB社サーバ111に送信する。A社サーバ101は、図7と同様、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モードの条件を満たすと判定した場合、警備モードを「在宅」から「散歩」へ変更するリクエスト情報を送信すればよい。
警備モード「宅内」と警備モード「散歩」とでは、A社サーバ101がロボット110を介してユーザを警備するために必要なセンサー110cへのアクセス権およびロボット110の運動能力へのアクセス権が異なる。そのため、A社サーバ101はB社サーバ111に対して警備モードを「在宅」から「散歩」に変更するためのリクエスト情報を送信する。警備モードを切り替えることでセンサー110cおよび運動能力へのアクセス権が自動的に変更される。
(ステップS304)
リクエスト情報を受信したB社サーバ111は、ロボット110の警備モードを「散歩」に変更する指示をロボット110に送信する。A社サーバ101が利用できる警備モード「在宅」と警備モード「散歩」は、センサーや運動能力に対するアクセス権と同様に、B社サーバ111に事前に登録されている。
(ステップS305)
警備モード「散歩」に変更する指示を受信したロボット110は、警備モードを「散歩」に変更する。以降、B社サーバ111から警備モード「散歩」以外への変更の指示がない限り、ロボット110の演算部110bは警備モード「散歩」にて指定された行動規範に基づいてロボット110が動作するように、可動部110eおよびセンサー110cの制御を継続する。
(ステップS306)
ロボット110は、警備モードを「散歩」に変更した後も、センサー110cを使って取得したデータおよびそのデータに基づいて生成したイベント情報のB社サーバ111への送信を継続する。
ロボット110は、ユーザが散歩を継続する間、警備モード「散歩」にて規定される行動規範に従ってユーザの警護を継続する。ロボット110が散歩するユーザをどのように伴走するか、およびユーザが遭遇する危険に対してロボット110がどのように対処するかについては、A社アプリを使って予めユーザにより設定されている。この詳細は後述する。
(ステップS307)
ユーザに危険が発生している。危険とは、例えば、ユーザの進行方向に障害物がある状況、および他人がユーザに接近している状況を指す。
(ステップS308)
A社サーバ101は、B社サーバ111からデータおよびイベント情報を受信し、警備モード「散歩」の変更の有無、および警備員介入の必要性の有無を判定する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
(ステップS309)
A社サーバ101は、データおよびイベント情報に基づいて、ユーザの安全確保のために警備員の介入が必要性を判定する。この判定は、例えば、ロボット110が撮影した動画データであるカメラ映像を警備員(人間)が確認することで判定しても良い。或いは、A社サーバ101が画像認識技術を用いてカメラ映像からユーザの危険度を算出し、算出した危険度から警備員の介入の必要性を判定しても良い。或いは、A社サーバ101は、音声認識技術または音声からユーザの感情を分析する技術などを用いてロボット110が取得したユーザの音声情報を解析してユーザの危険度を判定し、判定した危険度から警備員の介入の必要性を判定しても良い。或いは、A社サーバ101は、画像認識技術を用いてユーザに危険が発生したことを判定した場合、その発生を示すアラートを警備員の外部端末に送信してもよい。この場合、警備員は外部端末通じてアラートの発生を確認し、現場に出動すればよい。
A社の警備員の介入には2つの段階がある。1つ目の段階は、遠隔からの警備介入である。警備員は、現場に行かず、ロボット110のセンサー110cと映像音声出力部110fとを介して、現場にいるユーザ、ユーザの近くにいる人、またはユーザに危害を加えようとする人と会話をすることによって危険を回避する措置をとる。2つ目の段階は、現場での警備介入である。警備員は、現場に派遣され、現場にいるユーザの危険を回避する行動をとる。どちらも、ロボット110だけではユーザの安全を確保することが難しいとA社サーバ101またはA社の警備員によって判断された場合に実行される警備サービスである。
ユーザが危険な状態にある場合、ロボット110は後で現場検証が可能となるように、ユーザとユーザの周囲の状況とをセンサー110cを用いてセンシングして、センシングしたデータをA社サーバ101、B社サーバ111、かつ/またはロボット110のメモリ111cに保存しても良い。また、A社サーバ101、B社サーバ111、およびロボット110は、これらのセンシングしたデータを一定期間消去不可とする制御情報と共に共有しても良い。A社サーバ101、B社サーバ111、かつ/またはロボット110は、センシングされたデータが改竄されていないことを証明するためにハッシュ値を算出し、算出したハッシュ値を2箇所以上(例えばC社サーバおよびB社サーバ)で保存しても良い。
(ステップS310)
A社の警備サービスによりユーザは危険を回避して、無事に帰宅する。これで散歩が終了する。
(ステップS311)
A社サーバ101は、B社サーバ111からデータおよびイベント情報を受信し、警備モード「散歩」の変更の有無、および警備員介入の必要性の有無を判定する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
(ステップS312)
A社サーバ101は、ユーザの帰宅により、ユーザ(ロボット110から受信したデータおよびイベント情報)が警備モード「散歩」の条件を満たさず、警備モード「在宅」の条件に該当することを検知し、警備モードを「散歩」から「在宅」に変更するリクエスト情報をB社サーバ111へ送信する。
(ステップS313)
リクエスト情報を受信したB社サーバ111は、警備モードを「散歩」から「在宅」に変更する指示をロボット110に出力する。
(ステップS314)
B社サーバ111から警備モード(在宅)への更新指示を受けたロボット110は、警備モードを「在宅」に変更する。以降、B社サーバ111から新たな警備モードの指示がない限り、ロボット110の演算部110bは警備モード「在宅」において指定された行動規範にしたがってロボット110が動作するように、可動部110eおよびセンサー110cの制御を継続する。
(ステップS315、S316)
ロボット110は、警備モードを「在宅」に更新した後も、ステップS1と同様、データおよびイベント情報をB社サーバ111に継続して送信する。A社サーバ101は、ステップS302と同様、最新のデータおよびイベント情報をB社サーバ111から継続して取得し、警備モードの変更の有無、および警備員の介入の必要性を継続して判定する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
図17において、A社サーバ101は外部コンピュータおよび第2サーバの一例である。図17において、設定情報およびリクエスト情報は、スマートフォン100(またはそこで実行されるA社アプリ、またはB社アプリ)がB社サーバ111に送信してもよい。この場合、スマートフォン100は外部コンピュータの一例である。この場合、スマートフォン100がB社サーバ111からデータおよびイベント情報を取得し、取得したデータおよびイベント情報に基づいて、警備モードの変更の有無を判定すればよい。図17において、イベント情報は図7と同様、確認情報を含む。確認情報の詳細は図7と同じである。
図18は、図17に対応する、A社サーバ101、B社サーバ111、およびロボット110の処理の一例を示すフローチャートである。
(ステップS401)
ロボット110は、データおよびイベント情報をB社サーバ111に送信する。
(ステップS402)
B社サーバ111は、ロボット110からデータおよびイベント情報を受信する。
(ステップS403)
A社サーバ101は、B社サーバ111からデータおよびイベント情報を受信する、また設定されている在宅エリア情報をメモリ101c、またはA社アプリから受信する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
(ステップS403)
A社サーバ101は、ユーザ(ロボット110から受信したデータおよびイベント情報)に基づき警備モードの条件と比較することにより、警備モードの変更の要否を判定する。この処理の詳細はステップS204と同じである。A社サーバ101は、警備モードの変更が必要と判定した場合(ステップS403でYES)、処理をステップS404に進める。一方、A社サーバ101は、警備モードの変更が必要ない(現在の警備モードを継続する)と判定した場合(ステップS403でNO)、処理を終了する。
(ステップS404)
A社サーバ101は、警備モードの変更の指示をB社サーバ111に送信する。
(ステップS405)
当該指示を受信したB社サーバ111は、A社サーバのアクセス権を確認した上で、当該指示をロボット110に送信する。
(ステップS406)
当該指示を受信したロボット110は警備モードを変更する。
(ステップS407)
ロボット110は、警備モードの変更結果をB社サーバ111に送信する。
(ステップS408)
B社サーバ111は、変更結果を受信する。
(ステップS409)
B社サーバ111は変更結果をA社サーバ101に送信する。
(ステップS410)
A社サーバ101は、変更結果を受信する。
(ステップS411)
ロボット110は、変更後の新たな警備モードの開始をユーザに通知する。通知の詳細は、図9、図14、図15で上述した態様と同じである。A社サーバ101が警備モードの判定主体である場合は、上記の処理によって、警備モードの変更を行う。
次に、ロボット110およびユーザの外出の有無、および警備モードの判定主体がロボット110である態様について説明する。図19は、ロボット110およびユーザの外出の有無および警備モードの判定主体がロボット110である場合の情報処理システムの処理の一例を示すシーケンス図である。図19において、図7と同じ処理には同一の符号を付して説明を省く。
図19において、WiFi(登録商標)、Bluetooth(登録商標)、セルラー通信網(4G、5G)などの通信手段を介して、予めスマートフォン100とロボット110とはペアリングを実施している。
(ステップS501)
スマートフォン100(そこで実行されるA社アプリ、またはB社アプリ)は、設定情報およびリクエスト情報をロボット110へ送信する。設定情報およびリクエスト情報の詳細は図7と同じである。
(ステップS502)
ロボット110は、センサー110cから継続的に送信されるデータおよびイベント情報と、予め設定された設定情報およびリクエスト情報とに基づいて、ユーザがいずれかの警備モードの条件を満たすか否かを確認する。ここでは、ロボット110は、ユーザが警備モード「在宅」の条件を満たしているので、警備モードを「在宅」に変更する。A社サーバ101は、データ、イベント情報に加えて、在宅エリア情報を含む地図情報をB社サーバ111から受信するようにしてもよい。
(ステップS503)
ロボット110は、警備モード「在宅」の開始をユーザに通知する。これはステップS10と同じである。
(ステップS504)
ロボット110は、警備モード「在宅」で継続的に動作する。これはステップS11と同じである。
(ステップS505)
ロボット110は、警備モード「在宅」に変更されたので、警備モード「在宅」への変更結果をB社サーバ111に送信する。
(ステップS506)
ロボット110は、警備モード「在宅」に変更されたので、警備モード「在宅」への変更結果をスマートフォン100(そこで実行されるA社アプリ、またはB社アプリ)に送信する。
(ステップS507)
ユーザはロボット110と一緒に外出し、散歩を開始する。
(ステップS508)
ロボット110は、ユーザが警備モード「散歩」の条件を満たすので、警備モードを「散歩」に変更する。
(ステップS509)
ロボット110は、警備モード「散歩」の開始をユーザに通知する。通知の詳細は上述した図14~図16と同じである。
(ステップS510)
ロボット110は、警備モード「散歩」で継続的に動作する。
(ステップS511)
ロボット110は、警備モード「散歩」に変更したので、警備モード「散歩」への変更結果をB社サーバ111に送信する。
(ステップS512)
ロボット110は、警備モード「散歩」に変更したので、警備モード「散歩」への変更結果をスマートフォン100に送信する。
図19において、スマートフォン100(そこで実行されるA社アプリ、またはB社アプリ)は外部コンピュータの一例である。図19において、設定情報およびリクエスト情報は、スマートフォン100、A社アプリ、またはB社アプリがB社サーバ111を介して(または介さずに)、ロボット110に送信してもよい。または、設定情報およびリクエスト情報はA社サーバ101から、B社サーバ111を介して(または介さずに)、ロボット110に送信されても良い。この場合、A社サーバ101は外部コンピュータの一例である。図19において、イベント情報は図7と同様、確認情報を含む。確認情報の詳細は図7と同じである。
図20は、図19に対応する、ロボット110の処理の一例を示すフローチャートである。
(ステップS601)
ロボット110は、センサー110cを用いてユーザの状態および周辺をセンシングする。これにより、ユーザの生体活動情報および周辺情報が得られる。
(ステップS602)
ロボット110は、ユーザ(ロボット110から受信したデータおよびイベント情報)がいずれかの警備モードの条件を満たすか否かにより、警備モードの変更の要否を判定する。この判定の詳細は、ステップS204と同じである。
(ステップS603)
ロボット110は、警備モードの変更が必要と判定した場合(ステップS603でYES)、処理をステップS604に進める。一方、ロボット110は、警備モードの変更が必要ないと判定した場合(ステップS603でNO)、処理を終了する。この場合は現行の警備モードが継続される。
(ステップS604)
ロボット110は、警備モードを変更する。例えば、ロボット110は、現在の警備モード「在宅」から、警備モード「散歩」に変更する。勿論、その逆の場合もある。
(ステップS605)
ロボット110は、変更後の警備モードの開始をユーザに通知する。この場合、上述した図14、または図15のような通知が行われる。
図21は、ロボット110における必要警備度の更新処理の一例を示すフローチャートである。
必要警備度とは、ユーザの状態およびユーザの周囲状況に応じて、ロボット110がユーザの安全を確保する必要性の度合を総合的に評価した指標である。
危険度の判定の結果、必要警備度は0(最小)から3(最大)までの値で表現される。この値に応じて、現在適用している警備モードと組み合わされて、具体的なロボット110の行動が決定される。
(ステップS6001)
ロボット110は、センサー110cがセンシングしたユーザの状態を示すデータ及びユーザの周囲状況を示すセンシングデータを取得する。センシングデータは、例えばカメラ映像、デプスイメージ、赤外線画像、マイク音声、触覚センサー値、気温・湿度・気圧センサー値、かつ/または位置情報などである。ロボット110は、外部のセンサーがセンシングしたセンシングデータをネットワークを介して取得しても良い。外部センサーは、例えば、ユーザのウェアラブルデバイスが有するセンサー、街角に設置されたカメラ、インターネット通信網を介して取得できるロボット110の位置情報に該当する天気予報情報、道路交通情報などである。
(ステップS6002)
ロボット110は、取得したセンシングデータを解析して得られるユーザの危険度から、ユーザの必要警備度を判定する。以下、必要警備度の判定値に応じて説明する。
(ステップS6003)
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲に危険な物体や接近者がいないと判断した場合、必要警備度が0(最も低い危険度)と判定する。ロボット110の演算部110bはユーザの散歩を支援する動作を行うようロボット110の可動部110e、照明部110gなどを制御し、処理をステップS6001に戻す。例えば、ロボット110は照明部110gを用いてユーザの進行方向前方に、散歩の目標歩数、散歩の目標消費カロリー、散歩の目標散歩時間、散歩を始めてからの歩数、今日の歩数、今日の目標歩数までの残歩数、心拍数、消費カロリー、散歩の経過時間、かつ/または残りの予想散歩時間を表示しても良い。
(ステップS6004)
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲に危険な物体があると判断した場合、必要警備度が1(低い危険度)と判定する。ロボット110の演算部110bは散歩するユーザの怪我の防止を支援する動作を行うようロボット110の可動部110e、照明部110gなどを制御し、検出した危険部に対して照明を当てる注意喚起、危険部を迂回するルート選択などの処理を行い、処理をステップS6001に戻す。例えば、ロボット110は照明部110gを用いてユーザの周辺にある危険なオブジェクトに光を照射して、オブジェクトに関する注意喚起をしても良い。危険なオブジェクトとは、所定の大きさをもつ路面の凹凸または段差、および進行方向前方にある障害物などである。
危険なオブジェクトに光を照明することに代えて、もしくは加えて、ロボット110は、危険なオブジェクトを検知した場合、可動部110eを制御し、ユーザの前方または横に移動して、ユーザが危険なオブジェクトから一定の距離をとった安全なルートを歩行するようにユーザを誘導しても良い。
(ステップS6005)
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲に危険な人物(または他者)がいると判断した場合、必要警備度が2(高い危険度)に設定する。ロボット110の演算部110bは、散歩するユーザの安全を確保する動作を行うようロボット110の可動部110eなどを制御し、処理をステップS6001に戻す。例えば、ロボット110は照明部110gを用いて、ユーザの周辺に、ユーザがロボット110により警備されていることを示す情報を表示する。警備されていることを示す情報は、例えば、ユーザを囲む光の輪、警備会社であるA社のロゴ、および「警備中」の文字などである。
或いは、ロボット110は映像音声出力部110fを用いて、不審者に対して注意喚起または威嚇をする音声を出力しても良い。注意喚起は、例えばA社がユーザの警備中であることの不審者への通知である。威嚇は、例えばA社がユーザを警備中で即座に通報が可能であることの不審者への通知である。
或いは、ロボット110は可動部110eを制御することで、ユーザと不審者とが一定の距離を保つよう、ユーザと不審者との間の位置に移動しても良い。
(ステップS6006)
ロボット110の演算部110bは、センサー110cの情報からユーザの周囲から危険な人物(または他者)が排除できていないと判断した場合、かつ/または、ロボット110の映像音声出力部110f、可動部110e、照明部110gを用いた警備で上記の危険な人物(または他者)がユーザから一定の距離をとっていない場合には、必要警備度が3(最も高い危険度)に設定する。この場合、ユーザは警備員(人)を介した警備が必要な危険な状況にあるので、ロボット110の演算部110bは散歩中のユーザの安全を確保するためのA社の警備員の要請信号をA社サーバ101に送信し、処理をステップS6001に戻す。例えば、ロボット110はセンサー110cと映像音声出力部110fとを用いて、警備員に不審者と直接に話をさせることで、ユーザの安全を確保しても良い。ユーザがより危険な状況にある場合、または警備員による遠隔警備を実施しても危険な状態が続く場合、ロボット110は、A社の警備員を現場に出動させる出動要請をA社サーバ101に送信してもよい。或いは、ロボット110は警察に通報してもよい。この通報は、音声、文字、かつ/またはカメラ映像を用いて、現場の位置および現場状況を知らせる情報を含むものであってもよい。
必要警備度は、ロボット110の外部コンピュータ、例えば、B社サーバ111、A社サーバ101、スマートフォン100、そこで実行されるA社アプリ、B社アプリの何れかが判定しても良い。この場合には、ロボット110はセンサー110cによりセンシングしたデータ、それを演算部110bで処理したイベント情報、さらには現在ロボット110が適用している必要警備度情報を該当の外部コンピュータに対してネットワークを介して送信することによって、その外部コンピュータから必要警備度をロボット110の通信部110aが受信するようにしても良い。
図22は、A社アプリを起動した直後にスマートフォン100に表示されるホーム画面2100の一例を示す図である。ホーム画面2100は、「在宅時の警備設定」と記載されたボタン2101と、「B社ロボットとの外出(散歩)時の警備設定」と記載されたボタン2102と、「緊急時の連絡先」と記載されたボタン2103とを含む。
ボタン2101は、ユーザとロボット110との在宅時におけるロボット110の警備に関する諸設定を行うボタンである。ボタン2102は、ユーザとロボット110とが一緒に散歩をする時におけるロボット110の警備に関する諸設定を行うボタンである。ボタン2103は、緊急事態が起こったユーザの危険を通知する相手の連絡先、またはその通知を行う条件を設定するボタンである。
ユーザはスマートフォン100にインストールしているA社アプリを起動して、ボタン2102をタッチ操作または音声操作で選択すると、図23の設定画面2200が表示される。
図23は、設定画面2200の一例を示す図である。設定画面2200は、ユーザとロボットとが散歩を行う際に、ロボット110がどのようにユーザを伴走するか、どのような危険に対してどのような対応を取るか、散歩に関してどのような補足情報をユーザに通知するか、などを設定する画面である。
「伴走のホーム方向」と記載された設定欄2201は、ロボット110がユーザを伴走する際に、ロボット110のホーム方向を、プルダウンメニューを用いてユーザに設定させる欄である。ホーム方向は、ホーム位置の方向である。ホーム位置は、伴走時にロボット110がユーザに対して相対的に位置する場所である。ホーム方向は、ユーザの進行方向を基準とした場合におけるロボット110のホーム位置が位置する方向である。
例えば、設定欄2201のプルダウンメニューは、ユーザの正面を示す「前方」と、「前方」から45度時計周りに位置する「右斜め前」と、さらに45度時計回りに位置する「右横」と、さらに45度時計回りに位置する「右斜め後ろ」と、さらに45度時計回りに位置する「後方」と、さらに45度時計回りに位置する「左斜め後ろ」と、さらに45度時計回りに位置する「左横」と、さらに45度時計回りに位置する「左斜め前」と、から1つが選択可能に構成されている。この図ではユーザは「右斜め前」を設定しているため、ロボット110はユーザの「右斜め前」の方向をホーム方向として移動する。ロボット110は指定されたホーム方向を維持するように、センサー110cが取得したカメラ映像などを用いてユーザの位置とユーザの進行方向とをセンシングし、センシング結果に基づいて可動部110eを制御して自己位置を調整する。
「伴走のホーム距離」と記載された設定欄2202は、ホーム距離をスライドバーを用いてユーザに設定させる欄である。ホーム距離は伴走時におけるロボット110とユーザとの距離である。例えば、スライドバーは1mから5mまでの範囲内でホーム距離が設定可能に構成されている。この図ではユーザは2m辺りを設定しているため、ロボット110は基本的にはユーザから2mほど離れた距離を維持するように、可動部110eを制御して移動する。ロボット110は指定されたホーム距離を維持するように、センサー110cが取得したカメラ映像およびデプスイメージなどを用いてユーザの位置をセンシングし、自己位置を修正する。
「足元の照明」と記載された設定欄2203は、ロボット110がユーザの足元からユーザの進行方向の路面を照明する足元の照明の機能のON/OFFを設定する欄である。この図ではユーザは「ON」を設定しているため、ロボット110は散歩するユーザの足元を照明するように、照明部110gのビーム方向を制御する。なお、照明部110gがビーム方向を変更できないものである場合、ロボット110は、照明部110gを含む一部分の傾きを可動部110eを用いて変更することで、ビーム方向を制御しても良い。ロボット110は進行方向を示す照明が散歩中に維持されるように、センサー110cが取得したカメラ映像などを用いてユーザの位置とユーザの進行方向とをセンシングし、センシング結果に基づいて、照明部110gかつ/または前記一部分の傾きを調整すれば良い。
一方、照明機能が「OFF」の場合、ロボット110はユーザの足元の照明の機能を作動させない。
足元の照明を継続することで、ロボット110がユーザの安全を確保していることを周辺の人に認知させることができる。その結果、足元の照明の機能を「ON」にすることで、ユーザが不審者から危険な目にあうことを避ける効果も期待できる。
「危険物の注意喚起」と記載された設定欄2204は、ロボット110がユーザの前方にある危険物に対して照明(スポットライト)かつ/または音声による呼びかけを行う、危険物の注意喚起の機能のON/OFFを設定する欄である。この図ではユーザは「ON」を設定しているため、ロボット110は散歩するユーザの進行方向(前方)にある危険物にスポットライトを照射したり、危険物の注意喚起の音声を出力したりする。ロボット110は、センサー110cが取得したカメラ映像およびデプスイメージなどを用いてユーザの進行方向および周囲にある危険物を検知し、その危険物を照明するように、照明部110gかつ/または照明部110gを含む一部分の傾きを調整すればよい。ロボット110は、映像音声出力部110fを用いて危険物があることをユーザに伝えても良い。ロボット110は、危険物を検知した場合、ロボット110がホーム位置からユーザの前に移動し、ユーザが通るべき安全なルートをユーザに誘導しても良い。この場合、ユーザが危険物を通過したら、ロボット110は再びホーム位置に戻ればよい。
一方、危険物の注意喚起の機能が「OFF」に設定されると、ロボット110は危険物の注意喚起を行わない。
危険物は、例えば、所定サイズ以上の大きさをもつ、路面の凹凸、路面の段差、およびユーザの進行方向側にある障害物などである。あるいは、危険物は、例えば、ユーザに近づいてくる車両および自転車などである。
「周囲への注意喚起」と記載された設定欄2205は、ロボット110がユーザの周囲の人物を含む移動体に対して、ユーザの存在を分かり易く演出または通知する機能のON/OFFを設定する欄である。移動体は、例えば、人物の他、人が運転する、車および自転車と、コンピュータ制御によって自律的に移動を行う物体または車両とを含む。この機能により、ロボット110によりユーザが警備されていることを周囲の人に認知させることができる。この図ではユーザは周囲への注意喚起の機能を「ON」を設定しているため、ロボット110は散歩中のユーザの周囲にある、または近づいてくる、移動体に対して、ユーザの存在を分かり易く演出したり、通知したりする。
ロボット110はセンサー110cが取得したカメラ映像およびデプスイメージなどを用いてユーザの周囲にある、または近づいてくる移動体を検知する。ロボット110は、必要に応じて、検知した移動体に対して、照明部110gを用いて、路面などに情報を表示したり、ユーザに照明を当ててユーザを認知し易くしたり、映像音声出力部110fを用いて音声により移動体に呼び掛けたりする。
また、別のロボット、自動運転車、およびドローンなどの自律移動する移動体がユーザに接近する場合、ロボット110は、通信部110aを用いて、ユーザの現在位置情報かつ/またはロボット110の存在を示す無線通信信号(例えばビーコン)を周囲にブロードキャストしてもよい。これにより、ユーザとロボット110との接触を回避できる。
一方、周囲への注意喚起の機能が「OFF」に設定されると、ロボット110はユーザの周囲または近づいてくる移動体に対する注意喚起を行わない。
「注意喚起半径」と記載された設定欄2206は、「周囲への注意喚起」を行う条件である。この図では、注意喚起半径が5mほどに設定されているため、ユーザからの距離が5m以内にある人物または移動体に対して、ユーザの存在を示す注意喚起が行われる。「周囲への注意喚起」の機能が「OFF」の場合は、注意喚起半径は無効化される。
「歩数の通知」と記載された設定欄2207は、ロボット110がユーザの歩数情報をユーザに通知する機能のON/OFFを設定する欄である。この図ではこの機能が「ON」に設定されているため、ロボット110は散歩するユーザの歩数情報をユーザに通知する。例えば、ロボット110は、映像音声出力部110fを用いて、散歩を開始してからの歩数を1000歩単位でユーザに通知する音声を出力する。ロボット110は、ユーザの今日の歩数をロボットが照明部110gを用いて路面に表示することで、ユーザに歩数情報を通知しても良い。
一方、この機能が「OFF」に設定されると、ロボット110はユーザの歩数情報を散歩中に通知しない。
「生体情報の通知」と記載された設定欄2208は、ロボット110がユーザの生体活動情報をユーザに通知する機能のON/OFFを設定する欄である。この図では「OFF」が設定されているため、ロボット110はユーザの生体活動情報を散歩中に通知しない。この機能が「ON」に設定されると、ロボット110は、上記の「歩数の通知」と同様に、映像音声出力部110fおよび照明部110gを用いて、ユーザの心拍数、血圧、体温、および活動量(消費カロリー)などの生体活動情報をユーザに通知する。
このように設定画面2200を通じて、ユーザは散歩中にロボット110が行う様々な動作について自分の好みに応じた設定を予め行うことができる。これによって、ユーザは、一定の危険を伴う散歩を、ロボット110を用いて、より安全に実施することができる。また、安全に散歩ができるといった安心感をユーザに与え、ユーザの健康維持の機会を増大し、精神的な安定を図ることができる。
図24は、本実施の形態の他の一例の設定画面2300を示す図である。「在宅エリアの半径」の設定欄2301は、図10で示す半径804を設定する欄である。ここでは、ユーザは、スライドバーを用いて10m~100m範囲内で半径804を入力できる。この例では、半径が約30mに設定されている。そのため、住居の中心から約30mの範囲内が在宅エリア802に設定される。
「伴走のホーム位置」と記載された設定欄2302は、ホーム位置を設定する欄である。設定欄2302は、ロボット110とユーザとを上から俯瞰するように、ロボット110のアイコンとユーザのアイコンとを表示する。ユーザは、ロボット110のアイコンを指Yで移動させることで、ホーム位置を設定する。なお、設定欄2302は、上述のホーム方向およびホーム距離をユーザに入力させることで、ホーム位置を設定してもよい。ユーザは、例えば、「左横を走って」といった音声を発話することでホーム位置を設定してもよいし、ジェスチャー入力によりホーム位置を設定してもよい。
ロボット110は、センサー110cにより、ユーザの散歩、ユーザのジョギング、ユーザのサイクリングなどのユーザの状態をセンシングし、センシングしたユーザの状態に応じてホーム位置を調整してもよい。ロボット110は、歩道などの道路の種類、道路の幅、道路の段差の有無、周囲の人および車の交通量などの周辺の状況に基づいて動的にホーム位置を調整してもよい。
例えば、人が周囲にいないことをセンサー110cで検知した場合、ロボット110はユーザが設定したホーム位置である右斜め前でユーザを伴走する。一方、ユーザの周囲の人が多くなった場合、またはユーザが人とすれ違う場合、ロボット110は、ユーザと、周囲にいる人またはすれ違う人と、の邪魔にならない位置に一時的に移動してユーザを伴走してもよい。邪魔にならない位置は、例えば、ユーザの進行方向に対してユーザの真正面および真後などである。
ロボット110がユーザの体を画像認識して追従する場合、ロボット110はユーザの後方に位置して追従していくのが自然である。しかし、後方からではユーザの進行方向を照射できない、および前方の危険物を検知できないなど、ユーザの安全性を確保する上でのデメリットが生じる。そこで、ロボット110は、ユーザの後方ではない領域にホーム位置が設定されており、そのホーム位置から、ユーザの進行方向を照射したり、前方の危険物を検知したりしてもよい。
なお、本実施の形態の設定画面は、設定画面2200の設定欄と設定画面2300の設定欄との両方の設定欄を重複しないように含むものであってもよい。
設定画面2200、2300は、通信端末の画面に表示されるグラフィカルユーザインタフェースの一例である。
設定欄2303は、警備モード「散歩」を実施中のロボット110の目の画像デザインを設定する欄である。ここで設定された目の画像デザインが図15で説明したように用いられる。
設定欄2304は、ロボット110の行動規範、または警備モードが切り替わったことをユーザに通知するために行う可動部110eを用いた挙動の制御のON/OFFを設定する欄である。設定欄2305は、警備会社A社のロゴマークを映像音声出力部110fに表示させる制御ON/OFFを設定する欄である。設定欄2306は、警備会社A社のサウンドロゴを映像音声出力部110fにて音声出力させる制御のON/OFFを設定する欄である。これらをそれぞれONにすることで、可動部110e、映像音声出力部110fを制御して図9のような特定の挙動や音声出力をロボット110に行わせることが可能となる。
図25、図26、及び図27は警備モード「散歩」の第1例を示す図である。図25は、上記の「足元の照明」の一例を示している。図25の例では、ロボット110はユーザの後方に位置する。図25において、ロボット110の中心位置であるロボット位置131は小さな「×印」で示され、ユーザの中心位置であるユーザ位置130は大きな「×印」で示されている。図25において、ユーザの足元からユーザの移動方向D1の前方に延びる楕円領域はロボット110が照明部110gによってユーザの足元を照明する足元領域120である。
足元領域120は長軸方向がユーザの移動方向D1を向いている。このようにロボット110は足元領域120を照射することで、路面の状態をユーザに容易に視認させることができる。それによって、ユーザは散歩中に転倒して怪我をするリスクが軽減され、安全に散歩ができる。尚、ロボット110は、センサー110cによる周囲の輝度の測定結果が明るい場所または昼間であることを示す場合は、「足元の照明」の機能が「ON」に設定されていても、この機能を「OFF」にしても良い。また、「ローバッテリーイベント情報」を発行した場合、ロボット110は、足元領域120の、範囲を狭めたり、輝度を下げたりして、バッテリーの消費電力を抑制してもよい。
図26は、上記の「危険物の注意喚起」の一例を示している。この例では、ロボット110はユーザの移動方向D1にある立ち入り禁止を示すパイロンを危険物として検出して、その危険物にスポットライトの照明を照射している。このシーンにおいて、必要警備度は1である。危険領域122は、ロボット110が認識した危険物に照明を照射する領域である。危険領域122が照明部110fにより照射されることで、ユーザはそこに危険物があることを容易に視認できる。図26の例では、危険領域122は、危険物程度のサイズを有する円である。
ロボット110は、センサー110cが取得したセンシングデータからSLAM(Simultaneous Localization and Mapping)などの技術を用いて、ユーザの周辺のマップを生成すればよい。そして、ロボット110は、このマップを利用して、ユーザ位置130、ロボット位置131、および危険物の位置などを常時算出すればよい。ロボット110は、ユーザの正面の向きまたはユーザ位置130の履歴などからユーザの移動方向D1を算出し、移動方向D1を基準に左右に所定距離内にあり、かつ、ユーザ位置130から移動方向D1の前方に所定距離以内にあるオブジェクトを危険物として判定すればよい。
ロボット110は、足元領域120に加えて、ユーザに対して推奨する進行ルートを示す進行ルート領域121を路面に照射してもよい。進行ルート領域121は、足元領域120から進行方向に伸びる矢印形状を有する。この矢印形状は、危険物を避けるために推奨する進行ルートに沿った形状を有する。これにより、推奨される進行ルートが照射され、ユーザは推奨する進行ルートを歩行できる。ロボット110は、ユーザ位置130、ロボット位置131、危険物位置133、および道幅の情報に基づいて推奨する進行ルートを算出すればよい。推奨する進行ルートの算出処理としては、例えば自動運転において危険物を回避するための走行ルートを算出する経路探索アルゴリズムが採用される。
このように「危険物の注意喚起」を行う場合、ロボット110は、足元領域120だけではなく、進行ルート領域121または危険領域122を照射する必要がある。そのためロボット110は、これらの領域を照射する場合、指定されたホーム位置を離れて、これらの領域を照明部110fにより照射し易い位置に移動し、照射がしやすい姿勢にて、これらの領域を照射すればよい。図27の例では、ロボット110はユーザの前方を広い範囲で照射できるように、ユーザの左斜め後方であってホーム位置134の手前の放射位置132に移動する。前方に照射対象がある場合には、ロボット110はユーザの前方の左横から右横までの領域内の位置に移動しても良い。
図27のシーンでは、ロボット110は、をユーザ位置130とユーザの移動方向D1とのセンシング結果に基づき、予め指定されたホーム位置134を計算し、ホーム位置134に位置しながらユーザを伴走している。ロボット110は、周辺をセンシングし、右斜め前方のパイロンを危険物として検知し、危険物を避ける進行ルートにユーザを誘導するために足元領域120の先端側を左側に湾曲させている。
さらに、ロボット110は、危険物であるパイロンの形状に合わせて三角形状の危険領域122を照射している。危険領域122は、足元領域120と異なる色であってもよい。例えば、足元領域120が白色、危険領域122が赤色であってもよい。危険領域122は、ユーザの認知を促すために、点滅されてもよい。この点滅周期は危険物とユーザとの距離に応じて変化してもよい。例えば、危険物とユーザとの距離が近くづくほど点滅周期は短くされてもよい。これにより、ユーザは危険物を容易に認知できる。
危険領域122の形状、色、および点滅パターンはこれらに限定されず、周辺環境からユーザが危険物を識別できる態様であればどのような態様が採用されてもよい。例えば、危険領域122は、形状、色、および点滅パターンの1つ以上が制御されても良い。また、足元領域120も、色および点滅パターンの1つ以上が制御されてもよい。この場合、足元領域120は、危険領域122と異なる態様で制御される。
図27において、ホーム位置134の中のロボット位置131に位置するロボット110は、ロボット110と危険物との間にユーザが位置するため、足元領域120および危険領域122を同時に照射できない、または、効果的に照射できない。これ以外にも、ロボット110の照明部110gの照射範囲がロボット110の進行方向のみである場合、または照明部110gが進行方向と逆方向を照射できない構造を有している場合など、ロボット110が足元領域120および危険領域122を同時に照らすことが困難な理由は様々にあり得る。
このように足元領域120と危険領域122とを同時に照射する必要があり、ホーム位置134の中からでは効率的に全ての照射対象を照射できない場合には、ロボット110は可動部110eを制御し、ロボット位置131から、足元領域120と危険領域122とを同時に照射するのに適した放射位置132へと一時的に移動する。放射位置132は、ユーザに対する相対位置を変更しようとするロボット110が、所定の時刻において到達すべき目標位置として決定されうる。
ロボット110は、移動後の放射位置132において新たに危険物を検知して、ユーザの移動方向D1に複数の危険物を検知した場合、複数の危険物を照射する複数の危険領域122と、足元領域120とが同時に照射できる新たな放射位置132を決定し、新たに決定した放射位置132に一時的に移動してもよい。
図27において、ロボット110は、ユーザ位置130の左斜め後方に厚みを持った円弧状の放射領域123を決定し、放射領域123内に放射位置132を決定し、放射位置132に移動して、足元領域120および危険領域122を照射する。放射領域123は、ユーザ位置130、ロボット位置131、危険物位置133、および照明部110gの照射範囲に基づいて算出された、危険領域122および足元領域120の両方が照射可能な領域である。放射領域123は、例えば、ユーザ位置130、移動方向(または移動方向と移動スピードの両方を示す移動ベクトル)D1、危険物位置133、および照明部110gの照射範囲を入力とし、放射領域123を出力とする計算モデルを用いて、演算部110bが計算してもよい。
放射位置132は、例えば、放射領域123においてロボット位置131に最も近い位置である。但し、これは一例であり、放射位置132は、放射領域123内であればどのような位置であってもよい。なお、ロボット110は、放射領域123を算出することなく、ユーザ位置130、ロボット位置131、危険物位置133、および照明部110gの照射範囲に基づいて、放射位置132を算出してもよい。ロボット110は、危険物の照射が不要になると、再びホーム位置134の中へ移動し、足元領域120の照射だけを継続する。
図28は、ホーム位置134から放射位置132に移動する際のロボット110の挙動を示す図である。時刻t0においてロボット110は危険物を検知していない、または、危険物を検知していてもユーザから危険物までの距離が所定距離以上である。そのため、ロボット110は、ホーム位置134の中のロボット位置131を維持してユーザを伴走する。
時刻t0+dtにおいて、ロボット110は、危険物を検知し、危険物位置133と足元領域120の両方を照射するため、両方が効率的に照射できる放射領域123の内で、現在のロボット位置131から一番近い放射位置132への移動を開始する。同時にロボット110は、足元領域120の長軸方向を左側に向け、危険物を避ける進行ルートにユーザを誘導する。さらに、ロボット110は、危険物位置133に対する危険領域122の照射も開始する。但し、ロボット110は、放射位置132に到達していないので、危険物位置133の一部しか照射できていない。
時刻t0+2*dtにおいて、ロボット110は放射位置132に移動している。ロボット110は、ユーザ位置130、移動方向D1、危険物位置133の検知を継続し、足元領域120と危険領域122との更新を継続する。足元領域120はユーザが危険物を避けるように長軸方向が左側に傾斜した形状を有している。放射位置132に移動したので、危険領域122は危険物の全域を照射できている。これにより、ユーザは、危険物および変更された進行ルートを認識し、進行方向を左側へ曲げて、危険物を避けた安全な歩行を実現できる。
時刻t0+3*dtにおいて、ユーザは危険物を通過している。ロボット110は、ユーザ位置130、移動方向D1、ロボットの位置131、危険物位置133の検知を継続し、足元領域120および危険領域122の照射に適した放射領域123、さらにその中の放射位置132の更新を継続し、ユーザを伴走する。これにより、ユーザは、危険物および変更された進行ルートを認識し、危険物を通過する。
図28に示すように、ロボット110は、ホーム位置134から放射位置132の移動中にも、足元領域120および危険領域122への照射を継続する。
図29は、警備モード「散歩」の第1例におけるロボット110の処理の一例を示すフローチャートである。
(ステップS801)
ロボット110は、センサー110cを用いて周辺情報を取得する。周辺情報はユーザ位置130、移動方向D1、ロボット位置131、および危険物位置133を含む。
例えば、ロボット110は、センサー110cが取得したカメラ映像を、オブジェクトの種類を特定する識別器に入力することで、ユーザの周辺にある危険物を検出し、検出した危険物のロボット110からの距離を、センサー110cが取得したデプスイメージから抽出することで危険物位置133を検出すればよい。
同様に、ロボット110は、センサー110cが取得したカメラ映像を、識別器に入力することで、ユーザを検出し、検出したユーザのロボット110からの距離を、センサー110cが取得したデプスイメージから抽出することでユーザ位置130を検出すればよい。
例えば、ロボット110は、センサー110cの位置センサーが取得した位置情報からロボット位置131を検出すればよい。
例えば、ロボット110は、ユーザ位置130の履歴またはカメラ映像から検出したユーザの正面の向きから移動方向D1を検出すればよい。
(ステップS802)
ロボット110は、ユーザの移動方向D1側に危険物があるか否かを検知する。ユーザの移動方向D1側に危険物を検知しなかった場合(ステップS802でNO)、処理はステップS803に進み、ユーザの移動方向D1側に危険物を検知した場合(ステップS802でYES)、処理はステップS804に進む。ユーザの移動方向D1側とは、ユーザの前方を指す。ユーザの前方とは、ユーザの移動方向D1と、移動方向D1を中心として左右に90度ずつ開いた角度内に含まれる方向とを含む。
例えば、ロボット110は、検出した危険物位置133がユーザの前方を示す所定領域内に位置する場合、ユーザの進行方向側に危険物があると判定すればよい。
(ステップS803)
ロボット110の演算部110bは、必要警備度を0に設定する。
ロボット110は、足元領域120を照射するのに適した放射位置132を決定する。この場合の放射位置132は基本的にはホーム位置134である。但し、予め設定されたホーム位置134が足元領域120を照射することが困難な位置の場合、放射位置132はホーム位置134とは異なる伴走位置である準ホーム位置であってもよい。
(ステップS804)
ロボット110の演算部110bは、必要警備度を1に設定する。
ロボット110は、ユーザ位置130、移動方向D1、ロボット位置131、危険物位置133、および照明部110gの照射範囲に基づいて、足元領域120および危険領域122の照射に適した放射位置132を決定する。例えば、ロボット110は、ユーザ位置130、移動方向D1、ロボット位置131、危険物位置133、および照明部110gの照射範囲を上述の計算モデルに入力することで、放射領域123を決定する。そして、ロボット110は、決定した放射領域123内にホーム位置134または準ホーム位置がなければ、放射領域123においてロボット位置131から最も近い位置を放射位置132として算出する。放射領域123内にホーム位置134および準ホーム位置がないことは、放射位置132がロボット110の現在の相対位置と異なることの一例に該当する。放射領域123内にホーム位置または準ホーム位置があれば、ホーム位置または準ホーム位置が放射位置132となる。
(ステップS805)
ロボット110は、可動部110eを制御して、放射位置132に移動する。
(ステップS806)
ロボット110は、可動部110eを制御して、放射位置132にてユーザを伴走する。ロボット110は、ユーザ位置130、ロボット位置131、移動方向D1、危険物位置133の算出を継続している。
(ステップS807)
ロボット110は、警備モード「散歩」が停止されていない場合(ステップS807でNO)、処理をステップS801に戻し、ステップS801以降の処理を継続する。ロボット110は、警備モード「散歩」が停止された場合(ステップS807でYES)、処理を終了する。警備モード「散歩」は、例えばユーザが在宅エリアに戻った場合に停止される。
図29のフローチャートは、図23で説明した「足元の照明」の機能が「ON」に設定された場合のみ、足元領域120を照射する処理を有していてもよい。図29のフローチャートは、図23で説明した「危険物への注意喚起」の機能が「ON」に設定された場合のみ、危険領域122を照射する処理を有していてもよい。
図30は、警備モード「散歩」の第2例を示す図である。警備モード「散歩」の第2例において、ロボット110は、ユーザの移動方向D1に危険物が位置する場合、ロボット位置131をユーザの移動方向前方(移動方向D1から左右90度内の方向)であって、移動方向D1とは異なる方向にある先導位置135に決定し、先導位置135に移動し、先導位置135にてユーザを伴走する。先導位置135は、ユーザに対する相対位置を変更しようとするロボット110が、所定の時刻において到達すべき目標位置として決定されうる。
図30のシーンにおいて、ロボット110は、ユーザ位置130と移動方向D1とのセンシング結果に基づき、予め設定されたホーム位置134を計算し、ホーム位置134の中に位置するように可動部110eを制御しながらユーザを伴走している。
ロボット110は、周辺をセンシングし、右斜め前方にある路面の凹凸を危険物として検知している。この場合、ロボット110は、危険物を避けるために推奨する進行ルートにユーザを誘導するための先導位置135を算出する。例えば、ロボット110は、上述の経路探索アルゴリズムを用いて推奨する進行ルートを算出し、算出した推奨する進行ルートに沿った先導領域124を決定し、先導領域124内において、ロボット位置131から最も近い位置を先導位置135として算出する。
先導領域124は、ユーザ位置130から所定距離前方に位置し、推奨する進行ルートに沿った所定サイズの領域である。ここでは、先導領域124は四角形であるが、これは一例であり、円形、楕円形など他の形状であってもよい。先導領域124は、さらにロボット110の照明部110gが危険物を照射可能な領域であってもよい。先導位置135は、先導領域124においてロボット位置131から最も近い位置であるが、これは一例であり、先導領域124内であればどのような位置であってもよい。ロボット110は、ロボット位置131から先導位置135への移動中においても足元領域120への光の照射を継続する。
ロボット110は、ユーザが危険物を通過するまで、ホーム位置134から一時的に離れて先導位置135にてユーザを伴走する。この例では、危険物がユーザの右斜め前方に位置するので、推奨する進行ルートはユーザの左斜め前方を向いている。
さらに、図30の例では、ロボット110は、推奨する進行ルートにユーザを誘導するために、足元領域120の長軸方向が移動方向D1に対してやや左向きになるように足元領域120を傾斜させている。
このように、ロボット110は、先導位置135に移動してユーザが進むべき進行ルートへユーザを誘導しながら、当該進行ルートを示す足元領域120を照射する。これにより、ユーザは危険物による転倒などの危険を回避できる。ユーザがロボット110の誘導にしたがって、危険物を通過した後は、ロボット110は元のホーム位置134の中または準ホーム位置に戻り、足元領域120の照射を継続する。
図31は、警備モード「散歩」の第2例におけるロボット110の処理の一例を示すフローチャートである。
ステップS901、S902、S907は図29のステップS801、S802、S807と同じである。
(ステップS903)
ロボット110の演算部110bは、必要警備度を0に設定する。
ロボット110は、危険物がない場合に適した先導位置135を決定する。この先導位置135は基本的にはホーム位置134である。但し、予め設定されたホーム位置134が足元領域120を照射することが困難な位置の場合、準ホーム位置となる。
(ステップS904)
ロボット110の演算部110bは、必要警備度を1に設定する。
ロボット110は、危険物がある場合に適した先導位置135を決定する。例えば、危険物がある場合に適した先導位置135は、先導領域124内において、ロボット位置131から最も近い位置である。
(ステップS905)
ロボット110は、可動部110eを制御して、先導位置135に移動する。
(ステップS906)
ロボット110は、可動部110eを制御して、先導位置135にてユーザを伴走する。
図31のフローチャートは、図23で説明した「足元の照明」の機能が「ON」に設定された場合のみ、足元領域120を照射する処理を有していてもよい。図31のフローチャートは、図23で説明した「危険物への注意喚起」の機能が「ON」に設定された場合のみ、危険領域122を照射する処理を有していてもよい。
次に、警備モード「散歩」の第3例について説明する。図32、図33、および図34は警備モード「散歩」の第3例を示す図である。なお、図34は図32および図33の別例である。警備モード「散歩」の第3例は、ユーザの周囲に移動体があり、その移動体がユーザから所定距離の範囲内に接近した場合、護衛位置143を決定し、護衛位置143にてロボット110がユーザの伴走をする。護衛位置143は、ユーザと移動体との間にあるロボット110の位置である。移動体は、例えばユーザに近づく人物である。護衛位置143は、ユーザに対する相対位置を変更しようとするロボット110が、所定の時刻において到達すべき目標位置として決定されうる。
図32において、下側にある大きな×印はユーザの後方からユーザに近づいてきている人物の位置である人物位置140を示している。この図では、ユーザ位置130と人物位置140との距離146は、ユーザが設定した注意喚起半径142よりも大きく、人物に対する注意喚起は行われていない。
ロボット110は、センサー110cが取得したカメラ映像、デプスイメージ、赤外画像、およびマイク音声などを用いてユーザの周囲状況のセンシングをしている。ロボット110は、ユーザの後方から人物が近づいてきていることを検知する。この場合、ロボット110は、護衛位置143(図33)を決定し、可動部110eを制御して、護衛位置143への移動を開始する。これは、この人物に対して注意喚起を行うための情報を、ユーザとユーザに近づいている人物との間の路面の位置に表示すると共に、距離146を維持するためである。
図33において、人物はユーザに後方からさらに近づき、距離146が注意喚起半径142よりも小さくなったので、ロボット110は、人物に対して注意喚起を行っている。このシーンにおいて、必要警備度は2である。
護衛位置143に到達してユーザの位置130と人物位置140との間に割り込んだロボット110は、照明部110gを用いて、ユーザと人物との間の路面上の位置に注意喚起を行うための情報を表示する。ここでは、ユーザ位置130を中心とした円弧144が表示される。これにより、円弧144が人物に視認され、これ以上、ユーザに近づかないよう人物に対する注意喚起を行うことができる。さらに、ロボット110は円弧144の近くに、この人物に対するメッセージを表示する。ここでは「PASS ON THE RIGHT PLEASE」と表記された、ユーザの右側を通り抜けることを人物に促すメッセージが表示されている。同時に、足元領域120が移動方向D1に対して長軸が左斜めの方向を向くように変更されている。これにより、ユーザは、少し左側へ寄るように誘導される。この誘導によりユーザが左側へ寄る。その結果、人物はユーザを追い越し易くなる。ここでは、足元領域120を変更したが、ユーザの進行ルートを表す進行ルート領域121(図26)が表示されてもよい。円弧144およびメッセージの表示領域はユーザと移動体との間の通知領域の一例である。
この人物が何らかの悪意を持ってユーザに近づいてきたとしても、知的で自律したロボット110がユーザの安全を確保していることを人物に知らせることが可能となり、人物がユーザに危害を加えなくなることを期待できる。この人物がさらにユーザに近づいてくる場合、またはユーザが恐怖または興奮を感じていることを検知した場合、ロボット110は、注意喚起として路面に表示する情報を、別のより強い表現または警告に切り替えてもよい。ユーザの恐怖または興奮は、センサー110cが取得したカメラ映像およびマイク音声に感情推定処理を適用することで、検出可能である。ロボット110は、路面の表示に加えて、映像音声出力部110fを用いて人物に呼び掛ける音声または大きな声で人物を威嚇する音声を出力してもよい。さらに、危険な状態(必要警備度=3)と判定されれば、ロボット110は、A社サーバ101へ通報を送信してもよい。
図32、図33において、人物以外の移動体がユーザに近づいている場合でも同様に適用できる。人物以外の移動体は、例えば、人が運転する、車、自転車、および飛行体(ドローン)と、コンピュータ制御によって自律的に移動する飛行体および車両とを含む。
図32において、注意喚起半径142に代えて、ユーザ位置130の後方にある注意喚起エリア141が採用されてもよい。例えば、ロボット110は、注意喚起エリア141内にユーザと同じ進行方向に進む人物を検出した場合、上述の注意喚起を行ってもよい。これにより、そのまま進むとユーザと接触する可能性が高い人物に対してのみ注意喚起を行うことができる。その結果、ユーザに危害を与える可能性の低い人物に対して注意喚起が行われることが抑制される。注意喚起エリア141はユーザ位置130から後方に所定距離離れた所定サイズの領域である。
図34において、ロボット110は、ユーザ位置130と移動方向D1とのセンシング結果に基づきホーム位置134を計算し、ホーム位置134にてユーザの伴走を行っている。ロボット110は、周辺をセンシングし、左斜め後方にユーザに近づいている人物を検知する。ロボット110は、人物との距離をとるための進行ルートを算出し、その進行ルートにユーザを誘導するように足元領域120の形状を変形している。ここでは、ユーザを右斜め前方に誘導する進行ルートが算出され、その進行ルートにユーザを誘導するために足元領域120は先端が右斜め前方を向く形状を有している。これにより、ユーザから左斜め後方の人物を遠ざけることができる。
この図において、ロボット110は、ユーザ位置130の真横にあるホーム位置134に位置するので、足元領域120を照射しながら、ユーザとロボット110との間に割り込むことはできない。
そこで、ロボット110は、ユーザに近づいてくる人物とユーザとの間に割り込んで注意喚起を行う必要があると判断した場合、人物とユーザとの間に割り込むのに適した護衛領域145内であって、ユーザの足元に足元領域120が照射可能な護衛位置143に向かって可動部110eを制御して移動する。
ロボット110は、注意喚起の条件を満たす人物がユーザの周囲にいる場合に、注意喚起の必要があると判断すればよい。注意喚起の条件は、注意喚起半径142が規定する円内へ近づいてくる人物が存在すること、注意喚起半径142が規定する円内に人物がいること、注意喚起エリア141に近づく人物がいること、注意喚起エリア141内に人物がいること、およびユーザが警護を要求する旨の発話またはジェスチャーをしたこと、などである。
ロボット110は、所定距離内にいる人物の移動方向D2が、注意喚起半径142が規定する円または注意喚起エリア141に向いている場合、注意喚起半径142が規定する円または注意喚起エリア141に近づいている人物がいると判断すればよい。ロボット110は、人物位置140が、注意喚起半径142が規定する円内または注意喚起エリア141内にある場合、注意喚起半径142が規定する円内または注意喚起エリア141内に人物がいると判断すればよい。
人物が注意喚起の条件を満たすと判断したロボット110は、護衛位置143を決定し、護衛位置143に一時的に移動する。ロボット110は、ホーム位置134または準ホーム位置から護衛位置143への移動中においても、足元領域120への光の照射を継続してもよい。
注意喚起の必要がなくなったロボット110は、護衛位置143から離れてホーム位置134に戻り、ホーム位置134での伴走を継続する。なお、ロボット110は、ユーザから護衛が不要である旨の音声またはジェスチャーを検知した場合、ホーム位置134に戻ってもよい。
図34の例では、ユーザ位置130と人物位置140との中間に位置する厚みを持った円弧状の護衛領域145内でロボット位置131から一番近い位置を護衛位置143として決定している。
なお、ロボット110は、注意喚起の必要があると判断した場合、護衛位置143に移動することを、足元領域120を照射することより優先しても良い。この場合、足元領域120は一部が欠けたり、暗くなったりするが、ユーザに近づいてくる人物とユーザとの間にロボット110が割り込むことで、人物に対してユーザがロボット110に警備されている状況を認知させ、ユーザの安全性をより高めることができる。
さらに、ロボット110は近づいてくる人物に対して、ユーザと一定の距離をとる旨の警告147を路面に表示してもよい。この警告147は、例えば、人物の歩行ルートを誘導するためのマークまたは文字である。マークは例えば警備会社A社のマークである。この場合、ロボット110は、ユーザ位置130と人物位置140との中間エリア内の位置に移動して、その位置からユーザの足元領域120と、警告147を表示しても良い。警告147の表示領域は、ユーザと移動体との間の通知領域の一例である。
なお、ロボット110は、警告147をロボット110が有する映像音声出力部110fのディスプレイに表示してもよい。
図35は、警備モード「散歩」の第3例におけるロボット110の処理の一例を示すフローチャートである。
ステップS1001、S1007は図29のステップS801、S807と同じである。
(ステップS1002)
ロボット110は、注意喚起の条件を満たす人物がいるか否かを判定する。注意喚起の条件を満たす人物がいる場合(ステップS1002でYES)、処理はステップS1004に進み、注意喚起の条件を満たす人物がいない場合(ステップS1002でNO)、処理はステップS1003に進む。
(ステップS1003)
ロボット110の演算部110bは、必要警備度を1以下に設定する。
ロボット110は、足元領域120を照らすのに適した護衛位置143を決定する。この場合の護衛位置143は基本的にはホーム位置134である。但し、ホーム位置134が足元領域120を照射することが困難な位置の場合、護衛位置143は、準ホーム位置となる。
(ステップS1004)
ロボット110の演算部110bは、必要警備度を2に設定する。
ロボット110は、ユーザ位置130と人物位置140との間に護衛位置143を決定する。まず、ロボット110は、ユーザ位置130と人物位置140との間に護衛領域145を設定する。護衛領域145は、ユーザ位置130と人物位置140との間にある領域であり、さらに照明部110gが足元領域120かつ/または通知領域の両方に光を照射できる領域であっても良い。例えば、護衛領域145は、ユーザ位置130、移動方向D1、人物位置140、および照明部110gの照射範囲に基づいて算出される。護衛領域145は、ユーザ位置130、移動方向D1、人物位置140、および照明部110gの照射範囲を入力とし、護衛領域145を出力とする計算モデルを用いて決定されてもよい。
或いは、護衛領域145は、ユーザ位置130と人物位置140との中点を中心とし、ユーザ位置130および人物位置140との距離以下の半径を有する所定サイズの厚みを持った円弧状の領域であってもよい。そして、ロボット110は、決定した護衛領域145内にホーム位置134または準ホーム位置がなければ、護衛領域145においてロボット位置131から最も近い位置を護衛位置143として算出する。護衛位置143は、これに限定されず、護衛領域145内の位置であればどのような位置であってもよい。
護衛領域145内にホーム位置134および準ホーム位置がないことは、放射位置(護衛位置143)がロボット110の現在の相対位置と異なることの一例に該当する。護衛領域145内にホーム位置134または準ホーム位置があれば、ホーム位置134または準ホーム位置が護衛位置143となる。
(ステップS1005)
ロボット110は、可動部110eを制御して、護衛位置143に移動する。
(ステップS1006)
ロボット110は、護衛位置143にてユーザを伴走する。同時に、ロボット110は、映像音声出力部110fまたは照明部110gを用いてユーザに接近する人物に対して注意喚起、または警告を通知する。
図35のフローチャートは、図23で説明した「足元の照明」の機能が「ON」に設定された場合のみ、足元領域120を照射する処理を有していてもよい。図35のフローチャートは、図23で説明した「周囲への注意喚起」の機能が「ON」に設定された場合のみ、危険領域122を照射する処理を有していてもよい。
図36は、ロボット110がユーザに接近する人物を回避する態様を示した図である。
図36において、ロボット110の演算部110bは、ユーザ位置130と移動方向D1とのセンシング結果に基づきホーム位置134を計算し、可動部110eを制御してホーム位置134にてユーザの伴走を行っている。ロボット110は、周辺をセンシングし、左斜め後方にユーザに接近する人物を検知する。
ロボット110は、ユーザに近づく人物の予想進路150をセンシング結果から随時更新し、当該人物がユーザとのすれ違いが所定時間内に起こるか否かを判断する。ロボット110は、当該すれ違いが所定時間内におけると判断した場合、ユーザの移動方向D1の前方の回避領域152内に回避位置154を決定する、または、後方の回避領域151内に回避位置154を決定する。回避位置154は、ユーザに対する相対位置を変更しようとするロボット110が、所定の時刻において到達すべき目標位置として決定されうる。そして、ロボット110は、ホーム位置134を離れて回避位置154に移動する。これにより、ロボット110は、ユーザに接近する人物の通行の邪魔にならない位置へ移動できる。
回避領域151、152は、例えば、人物位置140と人物の移動方向D2とから予想される人物の予想進路150から所定の距離以上離れた領域である。特に、歩道の幅が狭い場合、回避領域151はユーザの真後ろに位置し、回避領域152はユーザの真正面に位置する。
このようなロボット110の挙動は、ユーザの移動方向D1に対して、前方または後方から近づく人物と、ユーザと、の双方の進路を妨害せずに、双方をすれ違わせる場合に有効である。人物とユーザとがすれ違うタイミングで、ユーザとロボット110が移動方向D1に沿って一列に並ぶことで、歩道の横幅を取らず、すれ違う人物の進路に及ぼす影響が最小化される。この挙動は、狭い歩道だけでなく、多くの人がユーザの周辺にいる場所においてロボット110がユーザを伴走する際にも有効である。
ロボット110は、前方または後方のどちらか片方からユーザに近づいてくる人物がいる場合、回避領域151、または回避領域152へ移動すれば良い。例えば、ロボット110は、後方からユーザに近づく人物がいる場合、回避領域151内の回避位置154に移動しても良い。これにより、当該人物に対してユーザがロボット110と伴走していることを認知させることができる。さらに、この場合、当該人物にユーザに危害を加える行為を思いとどませることも期待できる。
ロボット110が回避行動をとらない場合、ユーザとすれ違う人物は、ロボット110を避けるために歩行ルートを変更せざるを得なくなる。この変更は、当該人物にとって不便さを与え、当該人物に心理的および身体的に悪影響を及ぼしてしまう。そこで、上述した回避行動をロボット110にとらせることで、このような悪影響を最小化できる。
ロボット110は、足元領域120を照射してユーザの転倒のリスクを避けられるか、接近者とユーザとの間に位置してユーザの安全性を高められるか、といった1以上の要因を考慮にいれて、回避位置154を、回避領域151内の位置にするか、回避領域152内の位置にするかを判定してもよい。
図37は、ロボット110がユーザに接近する人物を回避する際のロボット110の処理の一例を示すフローチャートである。図37において、ステップS1101、S1106の処理は、図29のステップS801、S807と同じである。
(ステップS1102)
ロボット110は、人物とロボット110とのすれ違いが所定時間内に起こり、かつ人物とロボット110との距離が所定距離以内であるか否かを判定する。例えば、ロボット110は、センシング結果から算出した人物の予測進路の軌跡から人物がロボット110とすれ違う位置を算出する。すれ違う位置は、当該軌跡上のユーザ位置130との最近接位置である。ロボット110は、人物位置140からすれ違う位置までの当該軌跡上の距離を、センシング結果から算出した人物の速度で割ることで、すれ違い時間を算出する。そして、ロボット110はすれ違い時間が所定時間以内の場合、人物とロボット110とのすれ違いが所定時間内に起こると判定すればよい。さらに、ロボット110は、人物位置140とロボット位置131との距離が所定距離以内の場合、人物とロボット110との距離が所定距離以内と判定すればよい。
当該判定が肯定される場合(ステップS1102でYES)、処理はステップS1104に進み、当該判定が否定される場合(ステップS1102でNO)、処理はステップS1103に進む。なお、ロボット110は、すれ違い時間を考慮せずに、人物とユーザとの距離のみを考慮に入れて、ステップS1102の処理を実行してもよい。
(ステップS1103)
ロボット110の演算部110bは、必要警備度を1以上に設定する。
ロボット110は伴走位置を決定する。この伴走位置は基本的にはホーム位置134である。但し、ホーム位置134が足元領域120を照射することが困難な位置の場合、準ホーム位置が伴走位置として決定される。
(ステップS1104)
ロボット110の演算部110bは、必要警備度を2以上に設定する。
ロボット110は、回避位置154を決定する。例えばロボット110は、ユーザに対して人物が後ろから近づく場合は、ユーザの移動方向D1の真後ろに回避領域151を設定し、その回避領域151内に回避位置154を設定しても良い。回避領域151は、ユーザ位置130からユーザの移動方向D1の反対方向に所定距離離れた所定サイズの領域である。回避領域152は、ユーザ位置130からユーザの進行方向に所定距離離れた所定サイズの領域である。回避位置154は、回避領域151または回避領域152内において伴走位置から最も近い位置である。但し、これは一例であり、回避位置154は、回避領域151または回避領域152内の位置であればどのような位置であってもよい。
(ステップS1105)
ロボット110は、可動部110eを制御して、伴走位置または回避位置154に移動する。このようにして、ロボット110はユーザと他人がすれ違う場合において、他人の進行障害とならないように伴走の位置を適宜変更することができる。
次に、伴走するロボット110の基本機能について説明する。基本機能において、ロボット110は、スマートフォン100(ユーザの通信端末の一例)からネットワークを介して設定情報を取得する。設定情報は、設定画面2200または設定画面2300で示すグラフィカルユーザインターフェースを操作することによってユーザに入力された情報である。ロボット110は、設定情報に基づいて、ロボット110のホーム位置134を設定し、センサー110cを介して、ユーザ位置130および移動方向D1を検出し、ホーム位置134にてユーザを伴走する。ホーム位置134は、ロボットがデフォルトで位置するべき基準相対位置である。
図38は、伴走するロボット110の基本機能の一例を示す図である。この例では、ロボット110はユーザ位置130の左横のロボット位置131に位置している。ロボット110は照明部110gを用いて、散歩情報160をユーザ位置130の前方の路面上に表示する。散歩情報160は、目標ラインと、目標ラインに関連するメッセージとを含んでも良い。これらは、例えば、散歩を開始してから、または今日のユーザの歩数を示す。ここでは、目標ラインに関連するメッセージとして、散歩を開始してから2000歩になることを示す「2000 steps」が表示されているとする。これにより、ユーザは目標ラインまで歩けば2000歩を達成することができると直感的に理解できる。このシーンにおいて、ロボット110の演算部110bは、必要警備度を0に設定している。
目標歩数または達成歩数のように、運動のマイルストーンを定量的に示す散歩情報160をユーザに通知することで、ユーザに対して散歩(運動)への動機付けが高められる。散歩情報160は、これに限定されず、散歩の目標歩数、散歩の目標消費カロリー、散歩の目標散歩時間、散歩を始めてからの歩数、今日の歩数、今日の目標歩数までの残歩数、心拍数、消費カロリー、散歩の経過時間、かつ/または残りの予想散歩時間を表示しても良い。
ロボット110は、映像音声出力部110fを用いて、目標歩数、目標歩数に対する残り歩数、消費カロリー、および経過時間を示す映像情報や音声情報を出力してもよい。さらに、ロボット110は、映像音声出力部110fを用いて、「頑張れ」などのユーザへの応援メッセージを示す音声を出力してもよい。
(変形例)
(1)ロボット110は、脚17に代えて車輪を有していてもよい。この場合、ロボット110は、車輪を駆動してロボットを伴走すればよい。さらに、ロボット110は、脚17と車輪とを有していてもよい。
(2)ロボット110により伴走されるユーザの行動は、散歩に限定されず、ジョギングなどのユーザの足を使った移動であってもよいし、車椅子やカヌーを使った移動などの手を使った移動であってもよく、ユーザの運動量が過度に低い車または電車による移動は含まれない。
(3)図36ではユーザに接近する移動体の一例として人物を例示したが、この移動体は、人物に限らず、車、自転車、およびドローンなどの飛行体であってもよい。
(4)図6および以降の説明においては、警備モードにはユーザおよびロボット110の位置に基づき、2つのモード(在宅と散歩)があるとして説明したが、これに限らず、3つ以上のモード(例えば、在宅、散歩、一般外出)があっても良い。または、上記説明において在宅時に適用される警備モード「在宅」は警備をしないモードであるとしても良い。
本開示は、サイバー空間とフィジカル空間とを融合を図ることができるので、多種多様な産業的利用の基盤技術として有用である。
100 :スマートフォン
101 :A社サーバ
110 :ロボット
111 :B社サーバ
120 :足元領域
122 :危険領域
130 :ユーザ位置
131 :ロボット位置
132 :放射位置
134 :ホーム位置
135 :先導位置
140 :人物位置
143 :護衛位置
154 :回避位置

Claims (40)

  1. ユーザのロボットと通信し前記ユーザの住居の地図情報を保有するサーバを含むロボット制御システムにおけるロボット制御方法であって、
    外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、
    前記ロボットから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、
    前記地図情報、前記位置情報及び前記確認情報に基づき、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいると判断した場合、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する、
    ロボット制御方法。
  2. 前記住居を表す所定エリアは、前記住居の位置及び平面範囲を表したエリアを含む、
    請求項1記載のロボット制御方法。
  3. 前記住居を表す所定エリアは、前記住居から所定距離のエリアを含む、
    請求項1記載のロボット制御方法。
  4. 前記住居を表す所定エリアは、前記住居を含む前記ユーザが設定したエリアを含む、
    請求項1記載のロボット制御方法。
  5. 前記住居を表す所定エリアは、前記住居を含む前記ロボット制御システムにおいて設定されたエリアを含む、
    請求項1記載のロボット制御方法。
  6. 前記確認情報は、前記ロボットが前記ユーザを画像認識した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含む、
    請求項1記載のロボット制御方法。
  7. 前記確認情報は、前記ロボットが前記ユーザの端末から、前記端末の現在位置情報を取得した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含む、
    請求項1記載のロボット制御方法。
  8. 前記確認情報は、前記ロボットにより前記ユーザを認識した結果に基づき判定された前記ロボットからの前記ユーザの位置を示す第2位置情報を含む、
    請求項1記載のロボット制御方法。
  9. 前記変更される前記ロボットの設定は、
    前記ロボットが備える移動能力を、前記ユーザの宅内にいる場合より高めて速く移動できる設定を含む、
    請求項1記載のロボット制御方法。
  10. 前記変更される前記ロボットの設定は、
    宅外を移動する前記ユーザの足元を照らすために前記ロボットが備える照明機器をONにする設定を含む、
    請求項1記載のロボット制御方法。
  11. 前記コマンドは、
    前記ロボットの設定変更後に前記ロボットの設定を変更した旨を前記ロボットに出力させる旨を含む、
    請求項1記載のロボット制御方法。
  12. 前記外部コンピュータが前記リクエスト情報を要求するアクセス権を持つことが確認された場合、前記コマンドを前記ロボットに対して送信する、
    請求項1記載のロボット制御方法。
  13. 前記サーバにおいて前記外部コンピュータが前記アクセス権を有するか否かを登録しておき、
    前記登録に基づき、前記外部コンピュータが前記アクセス権を持つことを確認する、
    請求項12記載のロボット制御方法。
  14. 前記ユーザの住居の地図情報は、前記ユーザの住居の緯度及び経度の情報を含む、
    請求項1記載のロボット制御方法。
  15. 前記ロボットから、前記ロボットによって収集された前記ユーザの周辺情報を取得する、
    請求項1から請求項14のいずれか1項に記載のロボット制御方法。
  16. 前記外部コンピュータに前記ユーザの周辺情報を送信する、
    請求項14記載のロボット制御方法。
  17. ユーザのロボットと通信するサーバを含むロボット制御システムにおけるロボット制御方法であって、
    外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、
    前記ロボットから、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外に移動した旨のイベント情報を取得し、前記ロボットにおいて前記ユーザの住居の地図情報が保有され且つ前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報が検知され、前記イベント情報は前記ロボットにおいて前記地図情報、前記位置情報及び前記確認情報に基づき生成され、
    前記イベント情報に基づき、前記リクエストに対応して、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する、
    ロボット制御方法。
  18. ユーザのロボットと通信し前記ユーザの住居の地図情報を保有するサーバを含むロボット制御システムにおけるロボット制御方法であって、
    前記ロボットから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、
    第2サーバに、前記地図情報、前記位置情報及び前記確認情報を出力し、
    外部コンピュータから、前記ロボットのユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、前記第2サーバにおいて前記地図情報、前記位置情報及び前記確認情報に基づき前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外に移動したと判断された場合に前記第2サーバから前記リクエスト情報が取得され、
    前記リクエストに基づき、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する、
    ロボット制御方法。
  19. 前記住居を表す所定エリアは、前記住居の位置及び平面範囲を表したエリアを含む、
    請求項18記載のロボット制御方法。
  20. 前記住居を表す所定エリアは、前記住居から所定距離のエリアを含む、
    請求項18記載のロボット制御方法。
  21. 前記住居を表す所定エリアは、前記住居を含む前記ユーザが設定したエリアを含む、
    請求項18記載のロボット制御方法。
  22. 前記住居を表す所定エリアは、前記住居を含む前記ロボット制御システムにおいて設定されたエリアを含む、
    請求項18記載のロボット制御方法。
  23. 前記確認情報は、前記ロボットが前記ユーザを画像認識した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含む、
    請求項18記載のロボット制御方法。
  24. 前記確認情報は、前記ロボットが前記ユーザの端末から、前記端末の現在位置情報を取得した結果に基づいて前記ロボットが前記ユーザの近傍にいることを判定した情報を含む、
    請求項18記載のロボット制御方法。
  25. 前記確認情報は、前記ロボットにより前記ユーザを認識した結果に基づき判定された前記ロボットからの前記ユーザの位置を示す第2位置情報を含む、
    請求項18記載のロボット制御方法。
  26. 前記変更される前記ロボットの設定は、
    前記ロボットが備える移動能力を、前記ユーザの宅内にいる場合より高めて速く移動できる設定を含む、
    請求項18記載のロボット制御方法。
  27. 前記変更される前記ロボットの設定は、
    前記ユーザの宅外を移動する前記ユーザの足元を照らすために前記ロボットが備える照明機器をONにする設定を含む、
    請求項18記載のロボット制御方法。
  28. 前記コマンドは、
    前記ロボットの設定変更後に前記ロボットの設定を変更した旨を前記ロボットに出力させる旨を含む、
    請求項18記載のロボット制御方法。
  29. 前記外部コンピュータが前記リクエスト情報を要求するアクセス権を持つことが確認された場合、前記コマンドを前記ロボットに対して送信する、
    請求項18記載のロボット制御方法。
  30. 前記サーバにおいて前記外部コンピュータが前記アクセス権を有するか否かを登録しておき、
    前記登録に基づき、前記外部コンピュータが前記アクセス権を持つことを確認する、
    請求項29記載のロボット制御方法。
  31. 前記ユーザの住居の地図情報は、前記ユーザの住居の緯度及び経度の情報を含む、
    請求項18記載のロボット制御方法。
  32. 前記ロボットから、前記ロボットによって収集された前記ユーザの周辺情報を取得する、
    請求項18から請求項31のいずれか1項に記載のロボット制御方法。
  33. 前記外部コンピュータに前記ユーザの周辺情報を送信する、
    請求項32記載のロボット制御方法。
  34. ユーザのロボットと通信するサーバを含むロボット制御システムにおけるロボット制御方法であって、
    前記ロボットから、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す所定エリアの外に移動した旨のイベント情報を取得し、前記ロボットにおいて前記ユーザの住居の地図情報が保有され且つ前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報が検知され、前記イベント情報は前記ロボットにおいて前記地図情報、前記位置情報及び前記確認情報に基づき生成され、
    外部コンピュータに前記イベント情報を出力し、
    前記外部コンピュータから、前記イベント情報に応答して、前記ロボットのユーザが前記ユーザの住居を表す前記所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を取集するリクエストを示すリクエスト情報を取得し、
    前記リクエストに基づき、前記ユーザの住居を表す前記所定エリアの内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外を移動する前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更するためのコマンドを前記ロボットに対して送信する、
    ロボット制御方法。
  35. 外部コンピュータと通信しユーザの住居の地図情報を用いてロボットを制御するロボット制御方法であって、
    前記外部コンピュータから、前記ユーザが前記ユーザの住居を表す所定エリアの外にいるときに前記ロボットが前記ユーザの位置との相対距離を所定距離内に維持して前記ユーザの周辺情報を収集するリクエストを示すリクエスト情報を取得し、
    前記ロボットの内部センサーから、前記ロボットの位置を示す位置情報及び前記ロボットが前記ユーザの近傍にいることの確認情報を取得し、
    前記地図情報、前記位置情報及び前記確認情報に基づき、前記ロボットのユーザが前記ロボットと同伴して前記ユーザの住居を表す前記所定エリアの外にいると判断した場合、前記リクエストに対応して、前記ユーザの住居を表す所定エリア距離の内にいる前記ユーザの周辺情報を収集できる第1仕様から前記ユーザの住居を表す前記所定エリアの外にいる前記ユーザの周辺情報を収集できる第2仕様に前記ロボットの設定を変更する、
    ロボット制御方法。
  36. 本体と、
    なくとも一対の脚または車輪と、
    なくとも1つの内部センサーと、
    プロセッサと、
    請求項35に記載のロボット制御方法を前記プロセッサに実行させるためのプログラムが格納されたメモリと、を備える、
    ロボット。
  37. 前記外部コンピュータは、前記ユーザの通信端末である、
    請求項35記載のロボット制御方法。
  38. 前記外部コンピュータは第三者サーバである、
    請求項35記載のロボット制御方法。
  39. 請求項35記載のロボット制御方法を前記ロボットのコンピュータに実行させるためのプログラム。
  40. 請求項35記載のロボット制御方法を前記ロボットのコンピュータに実行させるためのプログラムを記録した記録媒体。
JP2022515096A 2020-12-23 2021-12-17 ロボット制御方法、ロボット、プログラム、及び記録媒体 Active JP7153891B1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020214232 2020-12-23
JP2020214232 2020-12-23
JP2021194584 2021-11-30
JP2021194584 2021-11-30
PCT/JP2021/046668 WO2022138474A1 (ja) 2020-12-23 2021-12-17 ロボット制御方法、ロボット、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2022138474A1 JPWO2022138474A1 (ja) 2022-06-30
JP7153891B1 true JP7153891B1 (ja) 2022-10-17

Family

ID=82157805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022515096A Active JP7153891B1 (ja) 2020-12-23 2021-12-17 ロボット制御方法、ロボット、プログラム、及び記録媒体

Country Status (5)

Country Link
US (1) US20230053995A1 (ja)
EP (1) EP4269047A4 (ja)
JP (1) JP7153891B1 (ja)
CN (1) CN115428470B (ja)
WO (1) WO2022138474A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103678A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP2007234066A (ja) * 2007-06-18 2007-09-13 Toshiba Corp 監視装置
JP2017047519A (ja) * 2015-09-04 2017-03-09 Rapyuta Robotics株式会社 クラウドロボティクスシステム、情報処理装置、プログラム、並びに、クラウドロボティクスシステムにおけるロボットの制御または支援方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100787971B1 (ko) * 2006-02-23 2007-12-24 주식회사 에스원 경비 로봇 시스템, 이를 이용한 방범 시스템 및 방법
JP2007264950A (ja) 2006-03-28 2007-10-11 Toyota Motor Corp 自律移動型ロボット
JP6472113B2 (ja) * 2016-09-08 2019-02-20 Groove X株式会社 自然な距離感を保つ自律行動型ロボットおよびプログラム
KR20180092103A (ko) * 2017-02-08 2018-08-17 (주)아이로보테크 시각 장애인용 로봇 견
KR20180102744A (ko) * 2017-03-08 2018-09-18 (주)아이로보테크 로봇 견에 의한 시각 장애인의 이동 유도 방법
CN108549088B (zh) * 2018-04-27 2020-10-02 科沃斯商用机器人有限公司 基于机器人的定位方法、设备、系统及存储介质
US20210116934A1 (en) * 2018-05-01 2021-04-22 Sony Corporation Information processing apparatus, information processing method, program, and autonomous behavior robot control system
KR102423572B1 (ko) * 2018-08-27 2022-07-20 엘지전자 주식회사 인공지능 이동 로봇의 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103678A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP2007234066A (ja) * 2007-06-18 2007-09-13 Toshiba Corp 監視装置
JP2017047519A (ja) * 2015-09-04 2017-03-09 Rapyuta Robotics株式会社 クラウドロボティクスシステム、情報処理装置、プログラム、並びに、クラウドロボティクスシステムにおけるロボットの制御または支援方法

Also Published As

Publication number Publication date
CN115428470A (zh) 2022-12-02
CN115428470B (zh) 2023-12-26
JPWO2022138474A1 (ja) 2022-06-30
US20230053995A1 (en) 2023-02-23
EP4269047A1 (en) 2023-11-01
WO2022138474A1 (ja) 2022-06-30
EP4269047A4 (en) 2024-10-16

Similar Documents

Publication Publication Date Title
JP7249565B2 (ja) ロボットの制御方法、ロボット、及びプログラム
US11892851B2 (en) System and methods for tagging accessibility features with a motorized mobile system
US9316502B2 (en) Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
US10024667B2 (en) Wearable earpiece for providing social and environmental awareness
US9922236B2 (en) Wearable eyeglasses for providing social and environmental awareness
US20240142997A1 (en) Method for controlling robot, robot, and recording medium
JP2019109591A (ja) 自動運転支援装置
JP7153891B1 (ja) ロボット制御方法、ロボット、プログラム、及び記録媒体
US20230350073A1 (en) Edge and generative ai-based sustainable gps navigated wearable device for blind and visually impaired people
US20200281771A1 (en) Movement Aid for the Visually Impaired
TW201434458A (zh) 盲人行動記錄分析與導航系統
Thirumalaiah et al. A Voice-Assisted Walking Support for Visually Impaired People Utilizing an Wearable Sensor Network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220307

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R151 Written notification of patent or utility model registration

Ref document number: 7153891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151