JP6666400B1 - ロボット制御装置、ロボット制御方法及びロボット制御システム - Google Patents

ロボット制御装置、ロボット制御方法及びロボット制御システム Download PDF

Info

Publication number
JP6666400B1
JP6666400B1 JP2018168601A JP2018168601A JP6666400B1 JP 6666400 B1 JP6666400 B1 JP 6666400B1 JP 2018168601 A JP2018168601 A JP 2018168601A JP 2018168601 A JP2018168601 A JP 2018168601A JP 6666400 B1 JP6666400 B1 JP 6666400B1
Authority
JP
Japan
Prior art keywords
robot
scenario
operator
information
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018168601A
Other languages
English (en)
Other versions
JP2020040155A (ja
Inventor
ラサンタ フェルナンド チャリス
ラサンタ フェルナンド チャリス
ロッド ヤン
ロッド ヤン
高志 岩佐
高志 岩佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telexistence Inc
Original Assignee
Telexistence Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telexistence Inc filed Critical Telexistence Inc
Priority to JP2018168601A priority Critical patent/JP6666400B1/ja
Priority to EP19859646.2A priority patent/EP3851254A1/en
Priority to PCT/JP2019/034796 priority patent/WO2020054547A1/ja
Priority to CN201980058575.XA priority patent/CN112672858A/zh
Application granted granted Critical
Publication of JP6666400B1 publication Critical patent/JP6666400B1/ja
Publication of JP2020040155A publication Critical patent/JP2020040155A/ja
Priority to US17/196,245 priority patent/US11911905B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J3/00Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0084Programme-controlled manipulators comprising a plurality of manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40146Telepresence, teletaction, sensor feedback from slave to operator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40174Robot teleoperation through internet

Abstract

【課題】作業内容に適したシナリオに基づいてロボットを操作することを可能にする。【解決手段】ロボット制御装置1は、ロボット2が動作を開始してからの経過時間とロボット2の動作内容とが関連付けられた複数のシナリオ候補から、ロボット2を操作する操作者がロボット2を操作する間に使用する使用シナリオを選択する選択部132と、使用シナリオに基づいてロボット2を制御するロボット制御部133と、を有する。【選択図】図2

Description

本発明は、シナリオに基づいて動作するロボットを制御するためのロボット制御装置、ロボット制御方法及びロボット制御システムに関する。
予め定められた作業シナリオに基づいてロボットを移動させるための技術が知られている。特許文献1には、作業シナリオが示す経路に沿ってロボットが移動しているかどうかを監視するために用いられる情報処理装置が開示されている。
特開2012−89174号公報
従来の情報処理装置においては、ロボットを用いて作業を実行するための一つの作業シナリオが記憶されている。ロボットを操作するユーザが行う作業が予め定められている場合、予め記憶された一つの作業シナリオを用いて作業を実行することができる。しかしながら、ユーザが行う可能性がある作業の種別が複数ある場合、予め記憶された一つの作業シナリオを用いても実行できない作業が存在し得るという問題があった。
そこで、本発明はこれらの点に鑑みてなされたものであり、作業内容に適したシナリオに基づいてロボットを操作することを可能にすることを目的とする。
本発明の第1の態様のロボット制御装置は、基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオを選択する選択部と、前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、を有する。
前記ロボット制御部は、前記使用シナリオに基づいて、前記操作者の操作に基づいて前記ロボットを動作させる手動動作期間と、前記ロボット制御部が前記ロボットを動作させる自動動作期間とを切り替えてもよい。
前記ロボット制御部は、前記使用シナリオに基づいて所定の場所に前記ロボットを移動させた後に前記手動動作期間を開始してもよい。
ロボット制御装置は、前記操作者が前記ロボットを使用する目的を示す目的情報を取得する目的情報取得部をさらに有し、前記選択部は、前記目的情報が示す前記目的に基づいて前記使用シナリオを選択してもよい。
前記選択部は、前記目的に基づいて、複数の前記ロボットから前記操作者に使用させる使用ロボットを選択してもよい。
ロボット制御装置は、前記選択部が選択した前記使用シナリオと前記使用ロボットとの組み合わせに基づいて、前記操作者への課金額を決定する課金額決定部をさらに有してもよい。
前記課金額決定部は、前記使用シナリオに規定された前記使用ロボットの動作内容と、前記操作者が行った前記使用ロボットの操作内容との一致度にさらに基づいて前記課金額を決定してもよい。
前記選択部は、前記複数のシナリオ候補から選択した一以上のシナリオ候補を前記操作者に提示し、前記操作者が前記一以上のシナリオ候補から選択したシナリオ候補を前記使用シナリオとして選択してもよい。
前記選択部は、前記操作者が過去に選択したシナリオ候補に基づいて決定した前記複数のシナリオ候補の優先順位に基づく順序で前記一以上のシナリオ候補を前記操作者に提示してもよい。
前記選択部は、前記操作者が前記ロボットを操作するスキルに基づいて決定した前記複数のシナリオ候補の優先順位に基づく順序で前記一以上のシナリオ候補を前記操作者に提示してもよい。
前記ロボットの状態を示すロボット情報を取得するロボット情報取得部をさらに有し、前記ロボット制御部は、前記ロボット情報取得部が取得した前記ロボット情報が示す前記ロボットの状態が、前記ロボット情報取得部が前記ロボット情報を取得した時点の前記経過時間に関連付けられた前記使用シナリオの前記動作内容に対応していない場合に、所定のガイド情報を出力してもよい。
前記ロボット制御部は、前記ロボット情報が示す前記ロボットの状態が、前記ロボット情報取得部が前記ロボット情報を取得した時点の前記経過時間に関連付けられた前記動作内容に対応していないことを検出してから所定の遅延時間が経過した後に、前記ガイド情報を出力してもよい。
前記ロボット制御部は、前記操作者の操作を受け付ける操作装置に対して、前記ロボットの操作方法を案内するための情報を含む前記ガイド情報を出力してもよい。
前記ロボット制御部は、前記ロボット情報取得部が前記ロボット情報を取得した時点の前記経過時間に関連付けられた前記使用シナリオの前記動作内容に対応していない場合に、前記操作者の操作を受け付ける操作装置に対して、前記ロボットの状態が前記使用シナリオに基づく前記ロボットの動作を停止するか否かを確認するための情報を含む前記ガイド情報を出力してもよい。
前記操作者の操作を受け付ける操作装置から、前記ロボットの操作を開始することを示す指示情報を取得する指示情報取得部をさらに有し、前記ロボット制御部は、前記指示情報取得部が前記指示情報を取得した後に、前記使用シナリオに基づく前記ロボットの動作を開始させてもよい。
前記ロボット制御部は、前記指示情報取得部が、前記使用シナリオに基づく前記ロボットの動作を停止させるための指示情報を前記操作者から取得した場合、前記操作者を識別するための操作者識別情報に関連付けて、前記使用シナリオにおける前記ロボットの動作を停止させた前記経過時間を記憶部に記憶させ、前記指示情報取得部が、前記使用シナリオに基づく前記ロボットの動作を再開させるための指示情報を前記操作者から取得した場合、前記使用シナリオにおける前記ロボットの動作を停止させた前記経過時間に対応する前記動作内容から前記ロボットの動作を再開させてもよい。
前記ロボット制御部は、前記指示情報取得部が前記ロボットの動作を停止させるための指示情報を前記操作者から取得した場合、前記操作者を識別するための操作者識別情報に関連付けて、前記ロボットの動作を停止させた時点の前記ロボットの位置である停止位置を記憶し、前記指示情報取得部が前記使用シナリオに基づく前記ロボットの動作を再開させるための指示情報を前記操作者から取得した場合、前記停止位置において前記ロボットの動作を再開させてもよい。
前記ロボット制御部は、前記操作者が前記ロボットを操作している時点に対応する前記経過時間に関連付けられた前記使用シナリオが示す動作内容に基づく操作ガイド情報を前記操作者に提供してもよい。
前記ロボット制御部は、前記ロボットが動作する売場の情報端末である売場端末から許可を取得したことを条件として、前記使用シナリオに基づく前記ロボットの動作を開始してもよい。
前記ロボット制御部は、前記ロボットが所定の動作以外の動作をすることを拒否する通知を前記売場端末から取得した場合に、前記操作者の操作を受け付ける操作装置から送信される指示に基づいて動作することを禁止する禁止情報を前記ロボットに送信してもよい。
前記ロボット制御部は、前記操作者に関する情報を前記売場端末に送信してもよい。前記ロボット制御部は、前記使用シナリオが示す前記動作内容を前記売場端末に送信してもよい。
本発明の第2の態様のロボット制御方法は、基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットの操作に使用する使用シナリオを選択するステップと、前記使用シナリオに基づいて前記ロボットを制御するステップと、を有する。
本発明の第3の態様のロボット制御システムは、ロボットと、前記ロボットを遠隔から制御するロボット制御装置と、を備える。前記ロボット制御装置は、基準時刻からの経過時間と前記ロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットの操作に使用する使用シナリオを選択する選択部と、前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、を有し、前記ロボットは、前記ロボット制御部から受信した前記使用シナリオに基づいて動作する。
本発明によれば、作業内容に適したシナリオに基づいてロボットを操作することが可能になるという効果を奏する。
ロボット制御システムの概要を示す図である。 ロボット制御装置の機能構成を示す図である。 操作者Uが目的を選択するために情報端末に表示される画面の一例である。 ロボットが使用される場所の一例としての店舗であるABCショッピングモールのレイアウト図である。 ABCショッピングモール内の売場Aのレイアウト図である。 シナリオの一種であるバッグ買物シナリオαを示す図である。 売場Aシナリオ(1)を示す図である。 バッグ買物シナリオの他の例であるバッグ買物シナリオβを示す図である。 目的情報が宝飾品の買物である場合に選択される宝飾品買物シナリオαを示す図である。 ロボット制御システムの動作シーケンスを示す図である。 ロボット制御システムの動作シーケンスを示す図である。
[ロボット制御システムSの概要]
図1は、ロボット制御システムSの概要を示す図である。ロボット制御システムSは、遠隔地にある物又は人が近くにあるかのようにユーザに感じさせながら、ユーザにより物又は人に対する操作をリアルタイムに行うテレイグジスタンス環境を提供するシステムである。
ロボット制御システムSは、ロボット制御装置1と、ロボット2と、操作装置3と、情報端末4とを有する。ロボット制御システムSにおいては、ロボット制御装置1が、ロボット2を動作させるために用いられる複数のシナリオの候補(以下、「シナリオ候補」という場合がある)から使用するシナリオ(以下、「使用シナリオ」という場合がある)を選択し、使用シナリオに基づいてロボット2を動作させる。シナリオは、基準時刻からの経過時間とロボット2の動作内容とが関連付けられた情報である。基準時刻は、例えばロボット2が動作を開始した時刻であるが、これに限らず、ロボット2を操作するユーザが所定の操作をした時刻のような他の時刻であってもよい。
ロボット制御装置1は、使用シナリオを選択し、選択した使用シナリオに基づいてロボット2を制御する処理を実行するコンピュータである。ロボット制御装置1は、ネットワークNを介してロボット制御情報をロボット2に送信することによりロボット2を動作させる。ロボット制御情報は、ロボット2に実行させる動作の内容を示す情報であり、例えばロボット2を移動させる向き、ロボット2を移動させる速度、又はロボット2が動かす部位を示す情報である。ネットワークNは、例えばインターネット及び携帯電話網を含む。ロボット制御装置1は、ネットワークNを介して、複数のロボット2を制御することができる。
ロボット2は、ネットワークNを介してロボット制御装置1又は操作装置3から受信したロボット制御情報に基づいて動作する装置である。図1に示す例では、ロボット2は人間と同様の頭部、腕部及び脚部等を有しており、ロボット2を操作する操作者Uの体の動きに追従して各部が動作する。ロボット2は、撮像素子及び各種のセンサーを装備しており、撮像素子が生成した撮像画像、並びにセンサーが検出した温度、振動及び圧力等の知覚情報を操作装置3に送信する。
操作装置3は、操作者Uがロボット2を制御するためのデバイスである。操作装置3は、操作者Uが装着する操作用具と、操作者Uの操作用具の状態をロボット2に通知する通信ユニットを含むコックピットとを有する。操作装置3は、操作用具を装着した状態の操作者Uの動作を特定し、特定した動作を示す信号をロボット制御装置1及びロボット2に送信する。操作装置3においては、例えば、操作者Uが装着した操作用具が有するセンサーから受信した信号に基づいて、コックピットが操作者Uの動作を特定する。コックピットは、赤外光を操作者Uに照射し、照射した赤外光の反射光に基づいて操作者Uの動作を特定してもよい。
また、操作装置3は、ネットワークNを介してロボット2から受信した撮像画像及び知覚情報を操作者Uが装着している操作用具に通知してもよい。撮像画像は、操作者Uが装着する操作用具に含まれるゴーグルのディスプレイに表示される。操作者Uが手、足、及び腕等に装着する操作用具は、知覚情報に基づいて温度を変化させたり振動したりする。これらの構成により、操作者Uは、ロボット2から離れた場所において、あたかもロボット2に入っているかのような感覚でロボット2の周辺の環境を体感することができる。
情報端末4は、操作者Uが使用する電子機器であり、例えばスマートフォン又はタブレットである。情報端末4は、情報を表示するディスプレイと、操作の入力を受け付ける操作デバイスとを有する。情報端末4は、ネットワークNを介して、操作デバイスに入力された操作の内容をロボット制御装置1に通知する。なお、情報端末4は、操作者U以外の人による操作を受け付けてもよい。
以下、図1を参照しながらロボット制御システムSの動作の概要を説明する。
まず、操作者Uは、ロボット2を使用する目的を情報端末4に入力する。詳細については後述するが、情報端末4は、例えば、複数の目的候補を表示させ、操作者Uは表示された複数の目的候補から希望する目的候補を選択することにより目的を情報端末4に入力する。情報端末4は、入力された目的を示す目的情報をロボット制御装置1に送信する(図1における(1))。
ロボット制御装置1は、受信した目的情報に基づいて、複数のシナリオ候補から一以上のシナリオ候補を使用シナリオとして選択する(図1における(2))。ロボット制御装置1は、選択した使用シナリオに基づいてロボット2を制御する。具体的には、ロボット制御装置1は、使用シナリオに対応するロボット制御情報を使用シナリオに対応するタイミングでロボット2に送信することによりロボット2を制御する(図1における(3))。ロボット制御装置1は、使用シナリオ自体をロボット2に送信することによりロボット2を動作させてもよい。
ロボット2は、ロボット制御装置1からロボット制御情報を受信すると動作を開始する(図1における(4))。ロボット2は、ロボット制御装置1からロボット制御情報を受信した後に、操作装置3から送信される操作指示によっても動作が可能になる。ロボット2は、例えば、使用シナリオにおいて操作装置3の操作による動作が許可されている期間に、操作装置3の操作に基づいて動作する。この間に操作装置3が操作指示を送信すると(図1における(5))、ロボット2は、操作装置3から受信した操作指示に基づいて動作する(図1における(6))。
以下、ロボット制御装置1の構成及び動作を詳細に説明する。
[ロボット制御装置1の機能構成]
図2は、ロボット制御装置1の機能構成を示す図である。ロボット制御装置1は、通信部11と、記憶部12と、制御部13とを有する。制御部13は、目的情報取得部131と、選択部132と、ロボット制御部133と、ロボット情報取得部134と、指示情報取得部135と、課金額決定部136とを有する。
通信部11は、ネットワークNを介してデータを送受信するための通信インターフェースであり、例えばLAN(Local Area Network)コントローラを含む。通信部11は、情報端末4から受信した目的情報を目的情報取得部131に入力する。通信部11は、ロボット2から受信したロボット2の状態を示すロボット情報をロボット情報取得部134に入力する。通信部11は、ロボット制御部133から入力されたロボット制御情報をロボット2に送信する。
記憶部12は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等の記憶媒体を含む。記憶部12は、制御部13が実行するプログラムを記憶する。また、記憶部12は、複数のシナリオ候補を記憶する。記憶部12は、例えば外部装置において作成されたシナリオ候補、又はロボット制御装置1の操作部(不図示)を用いて作成されたシナリオ候補を記憶する。
また、記憶部12は、予め登録された複数の操作者Uに関する情報も記憶する。記憶部12は、例えば操作者Uを識別するための識別情報に関連付けて、操作者Uが過去に選択したシナリオ候補、及び操作者Uがロボット2を操作するスキル等を記憶する。記憶部12は、ロボット2の種別に関連付けて操作者Uのスキルを記憶してもよい。
制御部13は、例えばCPU(Central Processing Unit)を有する。制御部13は、記憶部12に記憶されたプログラムを実行することにより、目的情報取得部131、選択部132、ロボット制御部133、ロボット情報取得部134、指示情報取得部135及び課金額決定部136として機能する。
(使用シナリオの選択)
目的情報取得部131は、通信部11を介して、操作者Uがロボットを使用する目的を示す目的情報を取得する。目的情報取得部131は、例えば情報端末4から目的情報を取得するが、操作装置3又は他の端末から目的情報を取得してもよい。目的情報取得部131は、取得した目的情報を選択部132に通知する。
目的情報取得部131は、例えば、複数の目的候補を情報端末4に表示させ、複数の目的候補から選択された一以上の目的候補を示す目的情報を取得する。目的候補は、例えば、「買物をする」、「遊技機で遊ぶ」、「観光する」のように、操作者Uが行いたい行動をロボット2に代行させるイベントである。
目的情報取得部131は、他のサーバを介して目的情報を取得してもよい。目的情報取得部131は、例えばイベントの主催者のウェブサイトにおいて操作者Uにより選択された目的を示す目的情報を当該ウェブサーバから取得する。
図3は、操作者Uが目的を選択するために情報端末4に表示される画面の一例である。図3(a)は、ABCショッピングモールのウェブサイトであり、複数の目的候補として、「買物をする」、「遊ぶ」、「見る」が表示されている。操作者Uが「買物をする」を選択すると図3(b)の画面に移行し、操作者Uが購入したい物の種類を選択するための画面が表示される。このように、購入する対象物も目的の一種になり得る。さらに、情報端末4は、店名やブランド名を表示して、操作者Uがロボット2を用いて買物をする店やブランドを選択できるようにしてもよい。また、情報端末4は、操作者Uがロボット2を使用する時間を設定できるようにしてもよい。これらの項目も目的の一種になり得る。
図2に戻り、選択部132について説明する。選択部132は、ロボット2が動作を開始してからの経過時間とロボット2の動作内容とが関連付けられた複数のシナリオ候補から、ロボット2を操作する操作者Uがロボット2を操作する間に使用する使用シナリオを選択する。選択部132は、例えば目的情報取得部131から入力された目的情報が示す目的に基づいて使用シナリオを選択する。シナリオは、ロボット2がどのように動作するかを規定する情報であり、ロボット2が動作を開始してからの経過時間に関連付けて、ロボット2の位置及びロボット2の各部の動きの少なくともいずれかを含む。
同一の目的に対して複数のシナリオ候補がある場合、選択部132は、複数のシナリオ候補から選択した一以上のシナリオ候補を操作者Uに提示し、操作者Uが一以上のシナリオ候補から選択したシナリオ候補を使用シナリオとして選択してもよい。例えば、操作者UがABCショッピングモールにおいてバッグの買物をしたいと考えた場合、操作者Uは、ABCショッピングモールに入っている複数のバッグの売場のうち、どの売場で買物をするかを選択したいということが想定される。また、買物時間を選択したいということも想定される。そこで、選択部132は、ロボット2の移動先、各移動先での滞在時間、各移動先での動作内容等の選択肢を情報端末4に表示させることにより複数のシナリオ候補を操作者Uに提示し、操作者Uが選択した選択肢に対応するシナリオ候補を使用シナリオとしてもよい。また、選択部132は、複数のシナリオ候補から絞り込み検索を行うための追加の目的を入力することができるように、情報端末4に追加の目的を入力するための画面を表示させてもよい。
選択部132は、複数のシナリオ候補を操作者Uに提示する際に、操作者Uが過去に選択したシナリオ候補に基づいて決定した複数のシナリオ候補の優先順位に基づく順序で一以上のシナリオ候補を操作者Uに提示してもよい。選択部132は、例えば、操作者Uが選択したシナリオを操作者Uの識別情報に関連付けた選択履歴を記憶部12に記憶させておき、選択履歴を参照することにより、操作者Uが選択した頻度が高いシナリオ候補から順番に複数のシナリオ候補を情報端末4に表示させる。選択部132は、季節又は時間帯に関連付けて操作者Uが選択したシナリオを記憶部12に記憶させておき、操作者Uがロボット2を使用しようとする季節又は時間帯において過去に使用された頻度が高いシナリオ候補から順番に複数のシナリオ候補を情報端末4に表示させてもよい。さらには、選択部132は、操作者Uと似かよった年齢、嗜好等を有する複数の他の操作者Uが多く選択した順(すなわち人気順)に複数のシナリオ候補を情報端末4に表示させてもよい。
選択部132は、操作者Uがロボットを操作するスキルに基づいて決定した複数のシナリオ候補の優先順位に基づく順序で一以上のシナリオ候補を操作者Uに提示してもよい。選択部132は、例えば記憶部12に記憶された操作者Uのスキルを参照することにより、操作者Uのスキルに適したシナリオ候補を選択し、選択したシナリオ候補を情報端末4に表示させる。
選択部132は、目的情報に基づいてロボット2の種別を選択し、選択した種別のロボット2を操作する操作者Uのスキルに基づいてシナリオ候補を選択してもよい。選択部132は、例えば、操作者Uのスキルが低い場合に、操作者Uのスキルが高い場合よりも操作者Uが自由に操作できる場所又は時間が限定されたシナリオ候補を選択する。このように選択部132が操作者Uのスキルを考慮してシナリオ候補を選択することで、操作者Uが不適切な操作をすることでロボット2の周囲の人や物に危害が及ぶリスクを軽減することができる。さらに、選択部132は、操作者Uのスキルが所定以上であることを条件に、操作者Uがロボット2を使用する時間すべてを自由に手動操作するというシナリオを選択してもよいし、操作者Uが自ら作成したシナリオを選択してもよい。
図4から図8は、シナリオについて説明するための図である。図4は、ロボット2が使用される場所の一例としての店舗であるABCショッピングモールのレイアウト図である。図5は、ABCショッピングモール内の売場Aのレイアウト図である。
図6は、シナリオの一種であるバッグ買物シナリオαを示す図である。選択部132は、目的情報取得部131から、「ABCショッピングモールにおいてバッグを買う」という目的を示す目的情報を取得した場合に、図6に示すバッグ買物シナリオαを選択する。バッグ買物シナリオαにおいては、一部の時間帯(0分〜20分、21分〜40分)の動作内容には他のシナリオがリンクされている。以下の説明においては、シナリオの中で規定されている他のシナリオをサブシナリオという場合がある。
バッグ買物シナリオαにおいては、経過時間0分から20分までの間はサブシナリオである売場Aシナリオ(1)に基づいて動作し、20分から21分までの間に売場A(図4における位置a)から売場G(図4における位置g)に移動し、21分から40分までの間はサブシナリオである売場Gシナリオ(1)に基づいてロボット2が動作するように規定されている。なお、本例においては、売場A及び売場Gが、バッグを売るショップであることを想定している。
図7は、売場Aシナリオ(1)を示す図である。売場Aシナリオ(1)においては、図4における位置aにロボット2が到着した時点を0分としている。売場Aシナリオ(1)においては、0分から3分までの間に操作者Uが売場Aの全体の様子を確認することができるように、ロボット2が自動的に移動した後に、操作者Uが自身の操作で自由にロボット2を売場A内で移動させることができるように規定されている。操作者Uの操作に基づいてロボット2が動作する間に、操作者Uは、ロボット2に搭載されたカメラで撮影された画像により商品を確認したり、ロボット2に搭載されたスピーカ及びマイクを介して店員と会話をしたり、ロボット2の手を動かして商品に触ったりすることが想定されている。
ロボット2の手には、振動、圧力及び温度等を検出できる知覚センサーが設けられており、知覚センサーが出力する知覚情報がネットワークNを介して操作装置3に送信される。操作者Uが装着している操作用具が、操作装置3を介して受信した知覚情報に基づいて状態を変化させることで、操作者Uは、あたかも自分自身が商品を触っているかのような感覚を抱くことができる。
図8は、バッグ買物シナリオの他の例であるバッグ買物シナリオβを示す図である。図6に示したバッグ買物シナリオαが、売場A及び売場Gのそれぞれにおいて約20分間にわたって買物をするというシナリオであった。これに対して、バッグ買物シナリオβは、最初に売場A及び売場Gのそれぞれを5分程度見学した後に、どちらの売場に行くかを選択し、選択された売場において約30分間にわたって買物をするというシナリオである。
選択部132は、例えば経過時間12分の時点で、目的情報取得部131を介して、売場Aと売場Gのうちいずれかを選択するための画面を情報端末4に表示させる。選択部132は、操作者Uが選択した売場を示す目的情報を取得すると、取得した目的情報が示す売場用のサブシナリオを選択する。このように、選択部132は、あるシナリオに基づいて操作者Uが動作している間に情報端末4において選択されたサブシナリオを選択してもよい。
図9は、目的情報が宝飾品の買物である場合に選択される宝飾品買物シナリオαを示す図である。宝飾品買物シナリオαは、複数の売場で買物をするシナリオであるという点で、図6に示したバッグ買物シナリオαと同一であるが、訪問する売場が売場B及び売場Eである点、並びに各売場での滞在時間が約30分であるという点でバッグ買物シナリオαと異なっている。このように、選択部132は、ロボット2の移動場所、移動時間及び動作内容が異なる各種のシナリオから使用シナリオを選択することができる。
以上の説明においては、選択部132が複数のシナリオから一以上の使用シナリオを選択する処理を説明したが、選択部132は、目的に基づいて、複数のロボット2から操作者Uに使用させる使用ロボットを選択してもよい。選択部132は、例えば記憶部12に記憶された複数のロボット2のリストから、目的に合ったロボット2を使用ロボットとして選択する。ロボット2のリストには、ロボット2の識別情報に関連付けて、ロボット2が待機している場所、ロボット2が実行可能な動作種別、及びロボット2が予約されている日時等が含まれている。ロボット2のリストにおいては、ロボット2の識別情報と、使用可能なシナリオの識別情報とが関連付けられていてもよい。
操作者Uの目的が、ABCショッピングモールで買物をするという目的である場合、選択部132は、待機場所がABCショッピングモールであり、動作種別が買物であり、かつ操作者Uが使用したい日時に他の操作者Uによって予約されていないロボット2を選択する。選択部132は、選択したロボット2の識別情報をロボット制御部133に通知する。なお、選択部132は、複数のロボット2の予約状況に応じて、使用ロボットを複数台選択してもよい。例えば図9の例において、選択部132が、売場Bと売場Eとで別のロボット2を使用するようにロボット2を選択することにより、売場間の移動時間を買物時間に割り当てることが可能となる。
(使用シナリオに基づくロボット2の制御)
図2に戻って、ロボット制御部133について説明する。ロボット制御部133は、選択部132が選択した使用シナリオに基づいてロボット2を制御する。ロボット制御部133は、例えば選択部132が選択したロボット2に対して使用シナリオに対応するタイミングでロボット制御情報を送信することによりロボット2を制御する。具体的には、ロボット制御部133は、図6から図9で例示したシナリオの各経過時間に、経過時間に関連付けて規定された動作内容をロボット2に実行させるようにロボット制御情報をロボット2に送信する。
ロボット制御部133は、操作装置3からロボット制御装置1又はロボット2に対して送信される指示情報を取得する指示情報取得部135が、操作者Uの操作を受け付ける操作装置3から、ロボット2の操作を開始することを示す指示情報を取得した後に、使用シナリオに基づくロボット2の動作を開始させる。例えば、操作者Uが操作用具を装着して、ロボット2を操作できる状況になったことを示す所定の動作をしたことにより操作装置3が動作開始指示をロボット2に送信した場合、ロボット制御部133は、動作開始指示を検出したことに応じて、ロボット待機所から売場Aの位置aにロボット2を移動させるためのロボット制御情報をロボット2に送信する。
図7の売場Aシナリオ(1)に示したように、ロボット制御部133は、使用シナリオに基づいて、操作者Uの操作に基づいてロボットを動作させる手動動作期間と、ロボット制御部133がロボットを動作させる自動動作期間とを切り替えてもよい。ロボット制御部133は、自動動作期間においては、操作装置3からの操作指示に応じて動作することを禁止するロボット制御情報をロボット2に送信し、手動動作期間が開始するタイミングで、操作装置3からの操作指示に応じて動作することを許可するロボット制御情報をロボット2に送信する。このようにロボット制御部133が手動動作期間と自動動作期間とを切り替えることで、多くの人が移動する通路において操作者Uが不適切な操作をして他の人に危害を加えるリスクを低減させ、かつ売場において操作者Uが自由に買物を楽しむことができる。なお、シナリオに、一部の機能のみ手動動作が可能な半自動動作期間が設けており、ロボット制御部133は、半自動動作期間において、ロボット2の一部の機能のみを手動動作できるようにしてもよい。
ロボット制御部133は、使用シナリオに基づいて、ロボット2が動作する場所を特定し、特定した場所が手動動作禁止エリアに含まれている間を自動動作期間とし、手動動作許可エリアに含まれている間を手動動作期間としてもよい。選択部132が図6のバッグ買物シナリオαを選択した場合、売場Gに移動する間は手動動作禁止エリアであると規定されている通路にロボット2がいるので、ロボット制御部133は、この間を自動動作期間とする。
また、ロボット制御部133は、使用シナリオに基づいて所定の場所にロボット2を移動させた後に手動動作期間を開始してもよい。図6に示したバッグ買物シナリオαの場合、売場Aシナリオ(1)に基づく動作を開始するために、ロボット制御部133は、図4に示すロボット待機所に待機している複数のロボット2のうち、選択部132が選択したロボット2に対して、売場Aの入口である位置aに移動する指示を含むロボット制御情報を送信する。その後、ロボット制御部133は、図7に示した売場Aシナリオ(1)に基づいて売場A内の位置a2まで移動させた後に、手動動作期間を開始して、操作者Uによる操作指示を受け付けることをロボット2に許可するロボット制御情報を送信する。このようにロボット制御部133が手動動作期間を開始する前に所定の場所にロボット2を移動させることで、安全な場所において操作者Uがロボット2の操作をできるようになる。
(操作者Uへの操作ガイドの提示)
ロボット制御部133は、操作者Uが操作装置3を用いてロボット2を操作している間に、操作者Uの操作を受け付ける操作装置3に対して、ロボットの操作方法を案内するための情報を含む操作ガイド情報を出力してもよい。ロボット制御部133は、例えば、操作者Uがロボットを操作している時点に対応する経過時間に関連付けられたシナリオが示す動作内容に基づく操作ガイド情報を操作者Uに提供する。具体的には、ロボット制御部133は、操作ガイド情報を操作装置3に送信することにより、操作者Uが装着したゴーグルに操作ガイド情報を表示させる。このようにロボット制御部133が操作ガイド情報を操作装置3に送信することにより、操作者Uが適切な操作をすることができるので、操作者Uがシナリオに定められた時間配分でロボット2を動作させやすくすることができる。
また、ロボット制御部133は、ロボット情報取得部134と連動することにより、操作者Uが適切な操作をするための操作ガイド情報を操作装置3又は情報端末4に送信してもよい。ロボット情報取得部134は、ロボット2の状態を示すロボット情報を取得する。ロボット情報取得部134は、ロボット情報として、例えばロボット2の位置を示す情報、ロボット2が移動している速度を示す情報、ロボット2が移動している向きを示す情報、及びロボット2の各部の動きを示す情報の少なくともいずれかを取得する。ロボット情報取得部134は、取得したロボット情報をロボット制御部133に通知する。
ロボット制御部133は、ロボット情報取得部134が取得したロボット情報が示すロボットの状態が、ロボット情報取得部134がロボット情報を取得した時点の経過時間に関連付けられた使用シナリオの動作内容に対応していない場合に、所定のガイド情報を出力する。ロボット制御部133は、例えば、操作者Uが図7に示した売場Aシナリオ(1)に基づいて操作している場合に、経過時間が15分となった時点であるにもかかわらずaから遠い場所にロボット2がいる場合に、「あと2分で買物を終えてください」というように、シナリオで規定された動作内容を実行可能にするための操作ガイド情報を操作者Uに通知する。このようにロボット制御部133が動作することで、シナリオに基づいて予定された時刻に操作者Uがロボット2の使用を終えるので、次にロボット2を予約している人が予定通りにロボット2の使用を開始することができる。なお、ロボット制御部133は、次にロボット2の予約が入っていないことを条件に、買物時間の延長等のシナリオの変更を受け付けてもよく、さらには予定よりも早く買物を終えた場合には、買物時間を短縮するシナリオの変更を受け付けてもよい。
ロボット制御部133は、ロボット情報が示すロボットの状態が、ロボット情報取得部134がロボット情報を取得した時点の経過時間に関連付けられた動作内容に対応していないことを検出してから所定の遅延時間が経過した後に、ガイド情報を出力してもよい。所定の遅延時間は、例えばロボット制御部133が、動作内容に対応した状態に操作者Uが戻ろうとしているか否かを判定するために要する時間であり、残された手動動作期間の長さに基づいて決定される。
ロボット制御部133は、残された手動動作期間が長ければ長いほど遅延時間を長くし、残された手動動作期間が短ければ短いほど遅延時間を短くする。このようにロボット制御部133が、遅延時間が経過した後にガイド情報を出力することで、シナリオから逸脱していることを操作者Uが認識しているにもかかわらずガイド情報を通知することで操作者Uの操作を妨げることを回避できる。
ロボット制御部133は、ロボット情報取得部134がロボット情報を取得した時点の経過時間に関連付けられた使用シナリオの動作内容に対応していない場合に、操作者Uの操作を受け付ける操作装置3に対して、ロボット2の状態が使用シナリオに基づくロボット2の動作を停止するか否かを確認するための情報を含むガイド情報を出力してもよい。ロボット制御部133は、例えば、操作者Uが図7に示した売場Aシナリオ(1)に基づいて操作している場合に、経過時間が15分となった時点であるにもかかわらずaから遠い場所にロボット2がいる場合に、「買物時間を延長しますか?」というように、使用シナリオにおいて規定された動作内容と異なる動作内容にするか否かを確認するメッセージを操作者Uに通知する。
また、ロボット制御部133は、操作装置3からロボット制御装置1又はロボット2に対して送信される指示情報を取得する指示情報取得部135を介して、使用シナリオに基づくロボット2の動作を停止するか否かの操作者Uによる指示を操作装置3から取得することも可能である。ロボット制御部133は、使用シナリオに基づくロボット2の動作を停止する指示を操作装置3から受けた場合、使用シナリオに基づく動作を停止することを指示するためのロボット制御情報をロボット2に送信する。
ロボット制御部133は、指示情報取得部135が、使用シナリオに基づくロボット2の動作を停止させるための指示情報を、操作装置3を介して操作者Uから取得した場合、操作者Uを識別するための操作者識別情報に関連付けて、使用シナリオにおけるロボットの動作を停止させた経過時間を記憶部12に記憶させる。そして、ロボット制御部133は、指示情報取得部135が、使用シナリオに基づくロボット2の動作を再開させるための指示情報を操作者Uから取得した場合、使用シナリオにおけるロボット2の動作を停止させた経過時間に対応する動作内容からロボットの動作を再開させる。このようにロボット制御部133が動作することにより、ロボット2が使用シナリオと異なる動作内容を実行する期間を限定的にすることができるので、ロボット2の周囲の人に生じる悪影響を軽減することができる。また、ロボット制御部133は、操作者Uに急用が生じ使用シナリオの途中でロボット2の動作を中断させる必要が生じた場合であっても、後日、使用シナリオの途中からロボットの動作を再開させることができる。
ロボット制御部133は、指示情報取得部135が、ロボット2の動作を停止させるための指示情報を操作者Uから取得した場合、操作者Uを識別するための操作者識別情報に関連付けて、ロボット2の動作を停止させた時点のロボット2の位置である停止位置を記憶部12に記憶させてもよい。そして、ロボット制御部133は、指示情報取得部135が使用シナリオに基づくロボット2の動作を再開させるための指示情報を操作者Uから取得した場合、停止位置においてロボット2の動作を再開させてもよい。このようにロボット制御部133が動作することにより、一時的に手動動作に切り替わったとしても、その後はシナリオに基づいてロボット2を動作させることができる。
なお、ロボット制御部133は、使用シナリオに基づく動作を停止したり、使用シナリオに基づく動作を再開したりした場合、その旨を所定の連絡先に通知してもよい。例えば、売場Aの後に売場Gに移動する使用シナリオを実行中に、売場Aでの滞在時間が予定よりも長くなった場合、ロボット制御部133は、次にロボット2が訪問する予定の売場Gの店員の情報端末に、予定よりも遅れることを通知する。このようにすることで、ロボット制御部133は、使用シナリオを変更することによる悪影響を軽減することができる。
(売場端末との連動)
ロボット制御部133は、ロボット2が動作するエリアに設置された売場端末(不図示)と連動してもよい。売場端末は、ロボット2が動作する売場の店員が操作することができるスマートフォン又はタブレット等の情報端末である。例えば、ロボット制御部133は、操作者Uからロボット2の動作を開始させる指示を受信すると、ロボット2の動作の開始を要求するためのメッセージを、ネットワークNを介して売場端末に送信する。ロボット制御部133は、例えば使用シナリオが示す動作内容を含む要求メッセージを売場端末に送信する。売場端末にアクセスするための情報は記憶部12に記憶されており、ロボット制御部133は記憶部12に記憶された情報を参照して、売場端末にメッセージを送信する。
売場端末は、メッセージを受信すると、メッセージに含まれている情報に基づいて、ロボット2が来店する時刻及び来店目的をディスプレイに表示する。ロボット制御部133が、操作者Uに関する情報を売場端末に送信し、売場端末が操作者Uに関する情報を表示してもよい。操作者Uに関する情報は、例えば操作者Uの年齢、性別、過去の購買実績、年収等のように、商品を購買する確率の高さに関連する情報、及び操作者Uのロボット2を操作するスキルに関連する情報の少なくともいずれかを含む。
売場端末は、ロボット2の来店を許可するか拒否するかを選択するための画面をディスプレイに表示する。売場端末を見た店員は、来店時刻、来店目的、及び操作者Uに関する情報を参照して、操作者Uが操作するロボット2の来店を許可するか拒否するかを判断し、判断した結果を売場端末に入力する。
ロボット制御部133は、売場端末から許可を取得したことを条件として、使用シナリオに基づくロボット2の動作を開始する。ロボット制御部133は、売場端末から許可通知を取得した場合に、ロボット2に動作開始を指示するロボット制御情報を送信する。また、ロボット制御部133は、使用シナリオに基づく動作を開始することが許可されたことを操作装置3に通知する。
一方、ロボット制御部133は、売場端末から許否通知を取得した場合に、ロボット2に動作中止を指示するロボット制御情報を送信する。また、ロボット制御部133は、使用シナリオに基づく動作を開始することが拒否されたことを操作装置3に通知する。
ロボット制御部133は、売場端末から許否通知を取得した場合、目的情報取得部131に指示をして、操作者Uに使用シナリオを再選択させるようにしてもよい。この場合、ロボット制御部133は、選択部132を介して、拒否通知を送信した売場端末に対応する売場に移動しない他のシナリオ候補を操作装置3又は情報端末4に送信し、操作者Uに他のシナリオ候補を選択させてもよい。
売場端末は、操作者Uによるロボット2の手動操作を許可するか許否するかを選択するための画面をディスプレイに表示してもよい。ロボット制御部133は、ロボット2が所定の動作以外の動作をすることを拒否する通知を売場端末から取得した場合に、操作者Uの操作を受け付ける操作装置から送信される指示に基づいて動作することを禁止する禁止情報を含むロボット制御情報をロボット2に送信する。ロボット制御部133は、手動操作をすることが拒否されたことを操作装置3に通知する。
このように、ロボット制御部133が売場端末と連動することにより、例えば当該売場に想定以上の人の来客があり、店員によるロボット2への十分な対応が困難となり得る場合等に、事前にロボット2の来店を拒否することで、ロボット2が当該売場を移動することにより、売場の人や他の来客者に迷惑をかけたり、操作者Uが売場の人から不快な対応を受けたりすることを未然に防ぐことができる。
(ロボット2の使用料の課金)
ロボット制御システムSは、操作者Uにロボット2の使用料を課金する機能を有してもよい。課金額決定部136は、ロボット2を使用する占有時間のほか、例えば選択部132が選択した使用シナリオと、操作者Uが使用するロボット2との組み合わせに基づいて、操作者Uへの課金額を決定する。指示情報取得部135は、例えば使用シナリオが買物であり、使用ロボットが買物用のロボット2である場合のように、操作者Uがロボット2を使用することにより、ロボット2を管理する会社に利益が生じ得る場合に、他の使用シナリオ及び使用ロボットの組み合わせに比べて課金額を低くする。
課金額決定部136は、使用シナリオが観光であり、使用ロボットが街を見物する用途のロボット2である場合のように、操作者Uがロボット2を使用することにより、ロボット2を管理する会社に利益が生じない場合に、他の使用シナリオ及び使用ロボットの組み合わせに比べて課金額を高くする。このようにすることで、操作者Uが使用目的に応じて適正な料金でロボット2を使用することができる。
課金額決定部136は、使用シナリオに規定された使用ロボットの動作内容と、操作者Uが行った使用ロボットの操作内容との一致度にさらに基づいて課金額を決定してもよい。課金額決定部136は、例えば、操作者Uが図7に示した売場Aシナリオ(1)を用いてロボット2を動作させている場合、経過時間が20分になる前に移動ができる状態になっていないときは、課金額を追加し、経過時間が20分になった時点で位置aに向けて移動ができる状態になっているときは課金額を追加しない。
このように課金額決定部136は、操作者Uが使用シナリオから逸脱する操作をした場合に課金額を増やすことで、使用シナリオに沿った操作をするように操作者Uを動機づけることができる。その結果、予定された時刻に操作者Uがロボット2の使用を終了する確率が高まるので、次にロボット2を使用する予定の操作者Uに迷惑がかかるリスクを軽減することができる。
課金額決定部136は、使用シナリオに基づいてロボット2が動作している間にロボット2を用いて商品を購入するための決済処理が行われた場合に、使用シナリオに基づいてロボット2が動作している間に決済処理が行われない場合よりも課金額を低くしてもよい。ロボット2は、例えば、QRコード(登録商標)を読み取るスキャナーを手に有しており、店舗の商品に関連付けられたQRコードを読み取った場合、読み取ったQRコードに含まれているコード情報をロボット制御装置1に送信する。
課金額決定部136は、送信されたコード情報に基づいて商品の代金を特定し、特定した代金を操作者Uへの暫定請求額に加算する。この際、ロボット2の使用料と商品の代金との加算額により算出される暫定請求額から、所定の額(例えば商品の代金に基づいて定められる割引額)を減算した額を、操作者Uに請求する額に決定する。課金額決定部136は、決定した額を、クレジットカードの決済をするための外部サーバに送信することにより精算してもよい。
課金額決定部136は、店舗が比較的暇な時間帯(例えば平日昼間)か、忙しい時間帯(例えば休日)かに基づいて課金額を決定してもよい。例えば、課金額決定部136は、店舗が比較的暇な時間帯における課金額を、忙しい時間帯における課金額よりも小さくする。課金額決定部136がこのように動作することで、店舗が比較的暇な時間帯にロボット2を用いた買物が行われやすくなるので、店舗の混雑度を均一化することが可能になる。
[ロボット制御システムSの動作シーケンス]
図10及び図11は、ロボット制御システムSの動作シーケンスを示す図である。図10に示すシーケンス図は、操作者Uが情報端末4においてロボット2の使用目的を選択する動作から開始している(S1)。情報端末4は、選択された使用目的を示す目的情報をロボット制御装置1に送信する。ロボット制御装置1においては、受信した目的情報に基づいて選択部132が複数のシナリオ候補を選択し(S2)、選択した複数のシナリオ候補を情報端末4に送信する。
操作者Uは、情報端末4に表示された複数のシナリオ候補から所望のシナリオ候補を選択し(S3)、情報端末4は、選択されたシナリオ候補を示す選択情報をロボット制御装置1に送信する。選択部132は、受信した選択情報が示すシナリオ候補を使用シナリオに決定する(S4)。選択部132は、使用シナリオが決定したことを情報端末4に通知する。その後、選択部132は、使用シナリオの内容を操作装置3及びロボット2に送信する。
続いて図11に移り、操作装置3が、操作者Uがロボット2を操作する準備が完了したことを検出すると(S5)、操作装置3は、ロボット2の操作を開始することを示す操作開始通知をロボット制御装置1に送信する。ロボット制御装置1は、操作開始通知を受信すると、使用シナリオに基づく動作をロボット2に開始させるべく自動動作開始指示をロボット2に送信する。ロボット2は、自動動作開始指示を受信したことに応じて、自動動作を開始する(S6)。例えば図6に示したバッグ買物シナリオαが使用される場合、ロボット2は、売場Aの入口である位置aまで自動的に移動する。
ロボット2は、自動動作中に操作装置3から操作指示を受信した場合、自動動作中であることを示す自動動作中通知を操作装置3に送信する。操作装置3は、自動動作中なので操作できないということを表示して、操作者Uが同じ操作を繰り返さないように注意を喚起する(S7)。
その後、時間が経過して、使用シナリオにおいて手動動作が可能なタイミングになると(S8においてYES)、ロボット制御装置1のロボット制御部133は、ロボット2に対して手動動作を許可するロボット制御情報を送信する。この際、ロボット制御部133は、操作装置3に対して手動動作が許可されたことを示す手動動作許可通知を送信してもよい。手動動作許可通知を受信した操作装置3は、手動動作が許可されたことを表示する(S9)。ロボット2は、手動動作が許可された後に操作装置3から操作指示を受信すると、指示された内容に基づいて手動動作を実行する(S10)。
[変形例]
以上の説明においては、ロボット2が買物を目的として使用される場合を例示したが、ロボット2が使用される目的はこれに限らない。操作者Uは、所望の場所を観光するためのシナリオを用いて、複数の地点に配置されたロボット2のなかから使用ロボットを選択し、当該使用ロボット2に市街地や観光スポットを移動させ、遠隔にいながら観光を楽しむことができる。また、操作者Uは、所望の仕事をするためのシナリオを用いて、複数の職場に配置されたロボット2のなかから使用ロボットを選択し、当該使用ロボット2を遠隔操作して仕事をすることもできる。
また、以上の説明においては、ロボット制御装置1が、目的情報取得部131、ロボット情報取得部134、指示情報取得部135及び課金額決定部136を有する場合を例示したが、ロボット制御装置1は、これらの各部を有していなくてもよく、これらのうちの一部を有していてもよい。ロボット制御装置1が目的情報取得部131を有していない場合、選択部132は、情報端末4において選択されたシナリオ候補を使用シナリオとして選択する。
また、以上の説明において示したシナリオは一例に過ぎず、さまざまな例を本発明に適用することができる。例えば、選択部132は、作成済の複数のシナリオから使用シナリオを選択する代わりに、情報端末4から取得した指示に基づいて作成済のシナリオを変更したり、新規にシナリオを作成したりしてもよい。選択部132は、例えば、買物シナリオαにおいて売場に滞在する時間を、情報端末4において操作者Uが設定した時間に変更してもよい。
選択部132は、シナリオに基づいてロボット2が動作している間にシナリオを変更してもよい。例えば、操作者Uが特定の売場での買物が早く終了し、他の売場での買物を始めたいという場合、ロボット制御部133は、実行中のシナリオをスキップして、次のシナリオに基づくロボット2の動作を開始させてもよい。このようにするために、選択部132は、スキップするための操作を行うことができる画面を操作装置3又は情報端末4に表示させ、スキップするための操作が行われたことに応じて、次のシナリオに移行したことをロボット制御部133に通知する。ロボット制御部133は、移行後のシナリオに基づくロボット2の動作を開始させる。選択部132及びロボット制御部133がこのように動作することで、シナリオに沿ってロボット2を操作している操作者Uの希望に応じた動作をロボット2に行わせることが可能になる。
また、以上の説明において示したシナリオは、1台のロボット2が1つのシナリオに基づいて動作することが前提とされていたが、複数のロボット2が1つのシナリオに基づいて順次動作してもよい。例えば、ABCショッピングモールの各売場にロボット2が待機しており、操作者Uは、各売場に待機しているロボット2を用いて買物をしてもよい。この場合、例えば図6に示した買物シナリオαにおける「売場Gに移動」する時間のような移動時間が不要になるので、操作者Uは短時間で多くの場所で作業(例えば買物)を実行することができる。
操作者Uが複数のロボット2を順次操作する場合、ロボット制御部133は、例えば、シナリオにおいて第1のロボット2から第2のロボット2に切り替える時刻になった時点で、切り替え時刻であることを操作装置3に提示させる。ロボット制御部133は、切り替え時刻において、第1のロボット2の状態が所定の状態(例えば所定の位置に戻った状態)になっていない場合、第1のロボット2の状態が所定の状態になるまで待機した後に、操作者Uが第2のロボット2を操作できるように切り替えてもよい。ロボット制御部133がこのように動作することで、例えば、ロボット2が売場における不適切な場所において動作を停止してしまうといった問題を回避することができる。
このように複数のロボット2を順次することは、観光にロボット2を用いる場合にも好適である。例えば操作者Uが、ロボット2により複数の観光地を巡りたいという場合にも、複数の観光地それぞれに設置されたロボット2を順次用いることにより、操作者Uは、短時間で複数の観光地を巡ることが可能になる。ただし、操作者Uが移動時間を楽しみたいという場合も想定される。そこで、選択部132は、1台のロボット2を用いるか、複数台のロボット2を用いるかを選択する情報を情報端末4から取得し、取得した情報に基づいて、1台のロボット2を用いるシナリオを使用するか、複数台のロボット2を用いるシナリオを使用するかを決定してもよい。
[ロボット制御システムSによる効果]
以上説明したように、ロボット制御システムSにおいては、選択部132が、操作者Uがロボット2を使用する目的に基づいて操作者Uが複数のシナリオ候補及び複数のロボット2から使用シナリオ及び使用ロボットを選択する。そして、ロボット制御部133が、選択された使用シナリオに基づいて使用するロボット2を動作させるように制御する。ロボット制御システムSがこのような機能を有することで、操作者Uは自身が遠隔地のロボット2を用いて買物、観光、仕事等の各種の目的を達成することができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。
1 ロボット制御装置
2 ロボット
3 操作装置
4 情報端末
11 通信部
12 記憶部
13 制御部
131 目的情報取得部
132 選択部
133 ロボット制御部
134 ロボット情報取得部
135 指示情報取得部
136 課金額決定部


Claims (24)

  1. 基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオを選択する選択部と、
    前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、
    を有し、
    前記ロボット制御部は、前記使用シナリオに基づいて、前記操作者の操作に基づいて前記ロボットを動作させる手動動作期間と、前記ロボット制御部が前記ロボットを動作させる自動動作期間とを切り替える
    ロボット制御装置。
  2. 前記ロボット制御部は、前記使用シナリオに基づいて所定の場所に前記ロボットを移動させた後に前記手動動作期間を開始する、
    請求項に記載のロボット制御装置。
  3. 基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオを選択する選択部と、
    前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、
    前記操作者が前記ロボットを使用する目的を示す目的情報を取得する目的情報取得部と、
    を有し、
    前記選択部は、前記目的情報が示す前記目的に基づいて前記使用シナリオを選択し、前記目的に基づいて、複数の前記ロボットから前記操作者に使用させる使用ロボットを選択する、
    ロボット制御装置。
  4. 前記選択部が選択した前記使用シナリオと前記使用ロボットとの組み合わせに基づいて、前記操作者への課金額を決定する課金額決定部をさらに有する、
    請求項に記載のロボット制御装置。
  5. 前記課金額決定部は、前記使用シナリオに規定された前記使用ロボットの動作内容と、前記操作者が行った前記使用ロボットの操作内容との一致度にさらに基づいて前記課金額を決定する、
    請求項に記載のロボット制御装置。
  6. 基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から選択した一以上のシナリオ候補を前記ロボットの操作者に提示し、前記操作者が前記一以上のシナリオ候補から選択したシナリオ候補を、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオとして選択する選択部と、
    前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、
    を有する、
    ロボット制御装置。
  7. 前記選択部は、前記操作者が過去に選択したシナリオ候補に基づいて決定した前記複数のシナリオ候補の優先順位に基づく順序で前記一以上のシナリオ候補を前記操作者に提示する、
    請求項に記載のロボット制御装置。
  8. 前記選択部は、前記操作者が前記ロボットを操作するスキルに基づいて決定した前記複数のシナリオ候補の優先順位に基づく順序で前記一以上のシナリオ候補を前記操作者に提示する、
    請求項又はに記載のロボット制御装置。
  9. 基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオを選択する選択部と、
    前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、
    前記ロボットの状態を示すロボット情報を取得するロボット情報取得部と、
    有し、
    前記ロボット制御部は、前記ロボット情報取得部が取得した前記ロボット情報が示す前記ロボットの状態が、前記ロボット情報取得部が前記ロボット情報を取得した時点の前記経過時間に関連付けられた前記使用シナリオの前記動作内容に対応していない場合に、所定のガイド情報を出力する、
    ロボット制御装置。
  10. 前記ロボット制御部は、前記ロボット情報が示す前記ロボットの状態が、前記ロボット情報取得部が前記ロボット情報を取得した時点の前記経過時間に関連付けられた前記動作内容に対応していないことを検出してから所定の遅延時間が経過した後に、前記ガイド情報を出力する、
    請求項に記載のロボット制御装置。
  11. 前記ロボット制御部は、前記操作者の操作を受け付ける操作装置に対して、前記ロボットの操作方法を案内するための情報を含む前記ガイド情報を出力する、
    請求項又は10に記載のロボット制御装置。
  12. 前記ロボット制御部は、前記ロボット情報取得部が前記ロボット情報を取得した時点の前記経過時間に関連付けられた前記使用シナリオの前記動作内容に対応していない場合に、前記操作者の操作を受け付ける操作装置に対して、前記ロボットの状態が前記使用シナリオに基づく前記ロボットの動作を停止するか否かを確認するための情報を含む前記ガイド情報を出力する、
    請求項から11のいずれか一項に記載のロボット制御装置。
  13. 基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオを選択する選択部と、
    前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、
    前記操作者の操作を受け付ける操作装置から、前記ロボットの操作を開始することを示す指示情報を取得する指示情報取得部と、
    有し、
    前記ロボット制御部は、前記指示情報取得部が前記指示情報を取得した後に、前記使用シナリオに基づく前記ロボットの動作を開始させる、
    ロボット制御装置。
  14. 前記ロボット制御部は、前記指示情報取得部が、前記使用シナリオに基づく前記ロボットの動作を停止させるための指示情報を前記操作者から取得した場合、前記操作者を識別するための操作者識別情報に関連付けて、前記使用シナリオにおける前記ロボットの動作を停止させた前記経過時間を記憶部に記憶させ、前記指示情報取得部が、前記使用シナリオに基づく前記ロボットの動作を再開させるための指示情報を前記操作者から取得した場合、前記使用シナリオにおける前記ロボットの動作を停止させた前記経過時間に対応する前記動作内容から前記ロボットの動作を再開させる、
    請求項13に記載のロボット制御装置。
  15. 前記ロボット制御部は、前記指示情報取得部が前記ロボットの動作を停止させるための指示情報を前記操作者から取得した場合、前記操作者を識別するための操作者識別情報に関連付けて、前記ロボットの動作を停止させた時点の前記ロボットの位置である停止位置を記憶し、前記指示情報取得部が前記使用シナリオに基づく前記ロボットの動作を再開させるための指示情報を前記操作者から取得した場合、前記停止位置において前記ロボットの動作を再開させる、
    請求項13に記載のロボット制御装置。
  16. 基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオを選択する選択部と、
    前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、
    を有し、
    前記ロボット制御部は、前記操作者が前記ロボットを操作している時点に対応する前記経過時間に関連付けられた前記使用シナリオが示す動作内容に基づく操作ガイド情報を前記操作者に提供する、
    ロボット制御装置。
  17. 基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオを選択する選択部と、
    前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、
    を有し、
    前記ロボット制御部は、前記ロボットが動作する売場の情報端末である売場端末から許可を取得したことを条件として、前記使用シナリオに基づく前記ロボットの動作を開始する、
    ロボット制御装置。
  18. 前記ロボット制御部は、前記ロボットが所定の動作以外の動作をすることを拒否する通知を前記売場端末から取得した場合に、前記操作者の操作を受け付ける操作装置から送信される指示に基づいて動作することを禁止する禁止情報を前記ロボットに送信する、
    請求項17に記載のロボット制御装置。
  19. 前記ロボット制御部は、前記操作者に関する情報を前記売場端末に送信する、
    請求項17又は18に記載のロボット制御装置。
  20. 前記ロボット制御部は、前記使用シナリオが示す前記動作内容を前記売場端末に送信する、
    請求項17から19のいずれか一項に記載のロボット制御装置。
  21. コンピュータが実行する、
    基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットの操作に使用する使用シナリオを選択するステップと、
    前記使用シナリオに基づいて、前記操作者の操作に基づいて前記ロボットを動作させる手動動作期間と、前記コンピュータが前記ロボットを動作させる自動動作期間とを切り替えることにより前記ロボットを制御するステップと、
    を有する、
    ロボット制御方法。
  22. コンピュータが実行する、
    基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から選択した一以上のシナリオ候補を前記ロボットの操作者に提示し、前記操作者が前記一以上のシナリオ候補から選択したシナリオ候補を、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオとして選択するステップと、
    前記使用シナリオに基づいて前記ロボットを制御するステップと、
    を有する、
    ロボット制御方法。
  23. ロボットと、前記ロボットを遠隔から制御するロボット制御装置と、を備え、
    前記ロボット制御装置は、
    基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオを選択する選択部と、
    前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、
    を有し、
    前記ロボット制御部は、前記使用シナリオに基づいて、前記操作者の操作に基づいて前記ロボットを動作させる手動動作期間と、前記ロボット制御部が前記ロボットを動作させる自動動作期間とを切り替え、
    前記ロボットは、前記ロボット制御部から受信した前記使用シナリオに基づいて動作する、
    ロボット制御システム。
  24. ロボットと、前記ロボットを遠隔から制御するロボット制御装置と、を備え、
    前記ロボット制御装置は、
    基準時刻からの経過時間とロボットの動作内容とが関連付けられた複数のシナリオ候補から選択した一以上のシナリオ候補を前記ロボットの操作者に提示し、前記操作者が前記一以上のシナリオ候補から選択したシナリオ候補を、前記ロボットを操作する操作者が前記ロボットを操作する間に使用する使用シナリオとして選択する選択部と、
    前記使用シナリオに基づいて前記ロボットを制御するロボット制御部と、
    を有し、
    前記ロボットは、前記ロボット制御部から受信した前記使用シナリオに基づいて動作する、
    ロボット制御システム。
JP2018168601A 2018-09-10 2018-09-10 ロボット制御装置、ロボット制御方法及びロボット制御システム Active JP6666400B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018168601A JP6666400B1 (ja) 2018-09-10 2018-09-10 ロボット制御装置、ロボット制御方法及びロボット制御システム
EP19859646.2A EP3851254A1 (en) 2018-09-10 2019-09-04 Robot control device, robot control method, and robot control system
PCT/JP2019/034796 WO2020054547A1 (ja) 2018-09-10 2019-09-04 ロボット制御装置、ロボット制御方法及びロボット制御システム
CN201980058575.XA CN112672858A (zh) 2018-09-10 2019-09-04 机器人控制装置、机器人控制方法以及机器人控制系统
US17/196,245 US11911905B2 (en) 2018-09-10 2021-03-09 Robot control apparatus, robot control method, and robot control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018168601A JP6666400B1 (ja) 2018-09-10 2018-09-10 ロボット制御装置、ロボット制御方法及びロボット制御システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020027326A Division JP2020091894A (ja) 2020-02-20 2020-02-20 ロボット制御装置、ロボット制御方法及びロボット制御システム

Publications (2)

Publication Number Publication Date
JP6666400B1 true JP6666400B1 (ja) 2020-03-13
JP2020040155A JP2020040155A (ja) 2020-03-19

Family

ID=69777595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018168601A Active JP6666400B1 (ja) 2018-09-10 2018-09-10 ロボット制御装置、ロボット制御方法及びロボット制御システム

Country Status (5)

Country Link
US (1) US11911905B2 (ja)
EP (1) EP3851254A1 (ja)
JP (1) JP6666400B1 (ja)
CN (1) CN112672858A (ja)
WO (1) WO2020054547A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113001541A (zh) * 2021-02-20 2021-06-22 深圳市科服信息技术有限公司 一种机器人自动化控制方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020141637A1 (ko) * 2019-01-03 2020-07-09 엘지전자 주식회사 로봇 시스템의 제어 방법
CN116600942A (zh) * 2020-12-24 2023-08-15 川崎重工业株式会社 机器人系统以及机器人作业方法
KR20230172460A (ko) 2021-04-14 2023-12-22 텔레이그지스턴스 인크. 데이터 처리 장치, 데이터 처리 방법, 프로그램 및 데이터 처리 시스템
JPWO2022230854A1 (ja) 2021-04-28 2022-11-03
CN114311031A (zh) * 2021-12-29 2022-04-12 上海微创医疗机器人(集团)股份有限公司 手术机器人主从端延时测试方法、系统、存储介质和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245374A (ja) * 2001-02-20 2002-08-30 Fujitsu Ltd ネットワークを介した商品の販売方法及びネットワークを介した商品の購入方法
KR20140040094A (ko) * 2011-01-28 2014-04-02 인터치 테크놀로지스 인코퍼레이티드 이동형 원격현전 로봇과의 인터페이싱
JP5429901B2 (ja) 2012-02-08 2014-02-26 富士ソフト株式会社 ロボット及び情報処理装置のプログラム
KR20180044946A (ko) * 2015-08-25 2018-05-03 카와사키 주코교 카부시키 카이샤 복수의 로봇시스템간의 정보공유시스템 및 정보공유방법
CN109154819A (zh) * 2016-03-31 2019-01-04 株式会社未来机械 自走式机器人
WO2018005643A1 (en) * 2016-07-01 2018-01-04 Innovation Matrix, Inc. Robot fleet dispatch request system
JP2018161704A (ja) * 2017-03-24 2018-10-18 株式会社 ゼンショーホールディングス 対話制御システム、及び、ロボット制御システム
US10733004B2 (en) * 2017-04-26 2020-08-04 At&T Intellectual Property I, L.P. Intelligent service on-demand robot virtualization
JP6817152B2 (ja) * 2017-06-09 2021-01-20 本田技研工業株式会社 サービス提供システム及びデータベース
JP6969408B2 (ja) * 2018-01-24 2021-11-24 トヨタ自動車株式会社 配送システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113001541A (zh) * 2021-02-20 2021-06-22 深圳市科服信息技术有限公司 一种机器人自动化控制方法

Also Published As

Publication number Publication date
US20210187738A1 (en) 2021-06-24
JP2020040155A (ja) 2020-03-19
WO2020054547A1 (ja) 2020-03-19
CN112672858A (zh) 2021-04-16
US11911905B2 (en) 2024-02-27
EP3851254A1 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
JP6666400B1 (ja) ロボット制御装置、ロボット制御方法及びロボット制御システム
US11847689B2 (en) Dynamic customer checkout experience within an automated shopping environment
KR101794246B1 (ko) 쇼핑 서비스 제공 시스템 및 쇼핑 서비스 제공 방법
WO2010121110A1 (en) Apparatus, systems, and methods for a smart fixture
JP6827743B2 (ja) 顧客管理システム、顧客管理装置及び接客プログラム
US20210201233A1 (en) Reservation apparatus, reservation method, and reservation system
JP2019003360A (ja) 案内ロボット、席管理装置及びプログラム
EP3780537A1 (en) Store system, and method and apparatus for processing information of clothes to be tried on
JP2019003361A (ja) 席管理装置、プログラム及びロボット
JP2020091894A (ja) ロボット制御装置、ロボット制御方法及びロボット制御システム
US20200273085A1 (en) Joint gift registry
KR102298101B1 (ko) 성인용품 판매시스템 및 그 시스템의 구동방법
JP2019082905A (ja) 情報処理装置、情報処理方法及びプログラム
JP7223478B2 (ja) 不動産物件の内見を支援するためのシステム、方法、及びプログラム
KR20180070641A (ko) 정보 처리 장치의 제어 방법, 정보 처리 장치 및 제어 프로그램
JP2017523747A (ja) 移動体位置ベース情報サービスを提供する方法
WO2018033954A1 (ja) ショッピング支援システム及びショッピング支援方法
JP7402450B2 (ja) ロボット制御装置、ロボット制御方法及びロボット制御システム
US20230281587A1 (en) Mobile sales device and mobile sales system
WO2022259450A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び非一時的なコンピュータ可読媒体
WO2022080291A1 (ja) プログラム、方法、情報処理装置、システム
KR20180017959A (ko) 모바일 기반의 양방향 차량승계 중계 방법 및 이를 운용하는 서버
WO2020179738A1 (ja) 画面表示方法、プログラム及び画面表示システム
WO2020179739A1 (ja) 店舗支援システム、店舗支援方法及びプログラム
JP2023137461A (ja) 情報処理方法、情報処理装置及び情報処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200106

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200106

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200106

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200220

R150 Certificate of patent or registration of utility model

Ref document number: 6666400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250