JP6830032B2 - サービス提供システム - Google Patents

サービス提供システム Download PDF

Info

Publication number
JP6830032B2
JP6830032B2 JP2017093569A JP2017093569A JP6830032B2 JP 6830032 B2 JP6830032 B2 JP 6830032B2 JP 2017093569 A JP2017093569 A JP 2017093569A JP 2017093569 A JP2017093569 A JP 2017093569A JP 6830032 B2 JP6830032 B2 JP 6830032B2
Authority
JP
Japan
Prior art keywords
service
information
mobile device
control
control server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017093569A
Other languages
English (en)
Other versions
JP2018191198A (ja
Inventor
英也 吉内
英也 吉内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017093569A priority Critical patent/JP6830032B2/ja
Priority to US15/918,486 priority patent/US10889001B2/en
Publication of JP2018191198A publication Critical patent/JP2018191198A/ja
Application granted granted Critical
Publication of JP6830032B2 publication Critical patent/JP6830032B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1615Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/162Mobile manipulator, movable base with manipulator arm mounted on it
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)

Description

開示される主題は,ロボット等の移動可能な機器とサービス機器との連携に関するものである。
あらゆる機器をインターネットに接続し,種々のサービスを提供するInternet of Things(IoT)技術が普及しつつある。インターネットに接続される機器の数が急速に増加する中,ロボットがコミュニケーションを用いて人間に種々のサービスを提供するサービス提供システムの技術開発が行われている。ロボットはモータやアクチュエータ等による移動機能を備えている反面,機体のサイズ,形状等の制約から,ロボットに搭載可能な機器には制約が生じる。例えば,大型ディスプレイのような表示機器をロボットに搭載するには,ロボット自身のサイズも大型である必要があるし,搭載できるディスプレイのサイズ,場所にも制約が生じる。そこで,サービス提供システムにおいてロボットに搭載困難な機器を利用可能とするためには,サービス提供に利用する機器(サービス機器という)をロボットの外部に設置し,サービス機器をロボットが制御する方法が考えられる。
この方法に関連する技術として,特許文献1―は周辺の外部機器を検索して利用者に知らせる機器検索技術を開示している。また,特許文献2―は外部機器を用いてロボットの内部状態を表示する外部機器連携技術を公開している。
特開2005−109745号公報 特開2004−255520号公報
ロボットのような移動可能な情報処理装置(以下,移動機器という)とサービス提供に利用する外部機器(以下,サービス機器という)を連携させる場合,機体とサービス機器の位置関係による制約を考慮する必要がある。例えば,移動機器とサービス機器が物理的に離れた状態においては,ディスプレイ等の表示機器を用いて何らかの情報を画面に表示しても,システムの利用者にとっては意味をなさない。
従って,移動機器とサービス機器との相互関係を考慮したサービス提供システムが望まれている。
本明細書が開示する一つの態様は,一つ以上のサービス機器が設置された拠点において,サービス機器と移動機器とが連携して,利用者へサービスを提供するサービス提供システムである。
上記サービス提供システムは,サービス機器の機器情報を管理するサービス制御サーバを備え,移動機器は,状態情報が示す当該移動機器の状態において当該移動機器が利用可能なサービス機器を示す機器情報を,サービス制御サーバへ要求し,サービス制御サーバは,移動機器の状態における,機器情報を取得し,取得した機器情報を,移動機器へ応答し,移動機器は,取得した機器情報を管理する,ことを特徴とする。
さらに,サービス提供システムは,一つ以上のサービスについて,サービス提供に必要なサービス機器を示すサービス情報を管理する運用管理サーバを備え,
移動機器は,運用管理サーバへ,特定のサービスに係るサービス情報を,運用管理サーバへ要求し,運用管理サーバは,サービス情報を移動機器へ応答し,移動機器は,サービス情報と,機器情報と,に基づき,移動機器の状態における,特定のサービスの提供可否を判断する,ように構成しても良い。
さらに,サービス提供システムは,特定のサービスの提供に必要な特定のサービス機器を制御する機器制御サーバを備え,
移動機器は,判断の結果,特定のサービスが提供可ならば,機器制御サーバへ,特定のサービス機器の制御を要求し,機器制御サーバは,要求に従い,特定のサービス機器を制御する,ように構成しても良い。
さらに,サービス提供システムは,移動機器は,判断の結果,特定のサービスが提供可でないならば,サービス制御サーバへ,特定のサービスの提供に必要な特定のサービス機器の機器情報を要求し,サービス制御サーバは,特定のサービスの提供に必要な特定のサービス機器の機器情報を,移動機器へ応答し,移動機器は,応答されたサービス機器の機器情報に基づく当該移動機器の位置制御情報を,サービス制御サーバへ,要求し,サービス制御サーバは,移動機器の位置制御情報を生成し,位置制御情報を移動機器へ応答し,移動機器は,特定のサービスを提供可となるよう,当該移動機器の状態を変更する,ように構成しても良い。
上記構成により,移動機器の位置とサービス機器の位置関係およびサービス機器の利用範囲を用いて,移動機器が利用可能なサービス機器の一覧が移動機器に提供される。サービス提供に必要なサービス機器と移動機器が利用可能なサービス機器とが照合され,サービス提供に必要なサービス機器を移動機器が利用できるか否かが判定される。移動機器が利用できないサービス機器が存在すれば,サービス提供に必要なサービス機器を利用可能な位置に移動機器を移動させることにより,サービス提供が可能になる。
開示するサービス提供システムは,移動機器の外部に設置されたサービス機器を利用可能とし,提供可能なサービスを拡充し,個々のサービス品質を向上させる。
一実施形態の移動体向けサービス提供システムのブロック図を例示する。 別の実施形態の移動体向けサービス提供システムのブロック図を例示する。 ロボットの構造を示すブロック図を例示する。 ロボットが管理するデータの構造を示すブロック図を例示する。 運用管理サーバの構造を示すブロック図を例示する。 運用管理サーバが管理するデータの構造を示すブロック図を例示する。 サービス制御サーバの構造を示すブロック図を例示する。 サービス制御サーバが管理するデータの構造を示すブロック図を例示する。 機器制御サーバの構造を示すブロック図を例示する。 一実施形態のサービス機器制御処理を説明する時系列図1を例示する。 一実施形態のサービス機器制御処理を説明する時系列図2を例示する。 一実施形態のサービス機器制御処理を説明する時系列図3を例示する。 一実施形態のサービス機器制御処理を説明するフローチャートを例示する。 メッセージフォーマットの説明図を例示する。 サービス機器の利用可否判定の考え方を例示する。
以下,図面を参照しつつ本実施形態の一実施形態について説明する。図1は本実施形態における移動機器向けサービス提供システムの構成の一例であり,例えば,サービス拠点(単に拠点ともいう)に存在する種々のサービス機器と連携したサービス提供システムへ適用することが可能である。
移動機器向けサービス提供システムは移動機器を設置したサービス拠点9と,システムを管理する運用管理サーバ3が設置された運用管理センタ8と,を含んでおり,サービス拠点9と運用管理センタ8はネットワーク1で接続される。サービス拠点9にはサービス提供において主要な役割を果たす移動機器が設置される。拠点とは,例えば,駅や,空港,ショッピングセンターなどの施設である。運用管理センタ8は,拠点と同じ施設内に設置しても良いし,拠点から離れた場所に設置しても良いし,データセンタやクラウドに設置しても良い。
移動機器には様々な形態があるが,ここでは自律移動が可能なロボット(2−1〜2−M,以降ロボット2と総称)を対象として説明する。なお,移動機器はロボットに限定されるものではなく,ドローンと呼ばれる飛翔体や自動運転車のように広範囲を移動可能な機器も含まれる。
ロボット2は制御端末21を含み,ロボット自身の機構制御とサービス制御を実行する。ロボット2の制御端末21はサーバのようにアプリケーションの実行に特化しているわけではなく,アプリケーションの実行に利用可能なCPU,内部記憶(メモリ)や外部記憶(ストレージ)などの計算機資源は限られている。このため,多くのサービスの実行は外部に設置したサービス制御サーバ4を介して行う。サービス制御サーバ4はサービス拠点9に設置され,ロボット2と構内LAN7で接続される。
サービス拠点9内において,ロボット2の機動性を向上させるために,ロボット2と他の装置とをつなぐ構内LAN7の媒体としては,無線を使うことが望ましい。
図2は各種サーバを運用管理センタ8に設置した場合のシステム構成である。サービス拠点9にIT機器を設置する専用のサーバルーム等があれば,サービス制御サーバ4,機器制御サーバ5をサービス拠点9側に設置することが可能だが,場合によってはサーバの設置が困難なサービス拠点9もありうる。そのような場合,サービス制御サーバ4,機器制御サーバ(5−1〜5−N)は運用管理センタ8に設置される。
次に,システムを構成する各装置について詳しく説明する。図3はロボット2の装置構造を示す。ロボット2は,ロボット制御端末21と,ロボットが備えるデバイスと,を含んで構成される。デバイスとしては,例えば,カメラ291,モータ292,マイク293,スピーカー294,アクチュエータ295,各種センサ296などがある。各デバイスは,ロボット制御端末21の外部入出力インターフェース29を通じて,ロボット制御端末21に接続され,制御される。
ロボット制御端末21は,計算機を用いて実現可能である。具体的には,バスなどの内部信号線(以下,バスという)28に接続された制御部(CPU)22,メモリなどの内部記憶装置26,ハードディスク,SSD(Solid State Disk)などの外部記憶装置24,及びネットワークインターフェース20を具備し,ネットワークインターフェース20を介して外部と通信を行う。
内部記憶装置26には,ロボットの機構,姿勢,移動等の機構制御を実現するロボット制御プログラム261と,サービス制御の実現するサービスシナリオ制御プログラム263を含む。これらのアプリケーションプログラムに加えて,ロボット2はロボットの状態に関する情報(状態情報という)を管理するロボット状態データベース(DB)265,ロボットの利用可能なサービス機器を管理するサービス機器情報DB267を備える。これらの各データベースは,システムの規模,ロボット制御端末21の処理性能などに応じて,外部記憶装置24に格納してもよい。
制御部(CPU)22が内部記憶装置26に保存されたロボット制御プログラム261およびサービスシナリオ制御プログラム263を実行することで,ロボット2の機構制御や,各データベースへのアクセスが実現され,サービス制御が実現される。
図4はロボット2の内部記憶装置26に存在する各種のデータベースの構造を表す。
ロボット状態DB265はロボット自身の状態情報を管理するデータベースであり,ロボット2が設置されているサービス拠点9の拠点識別子,拠点マップ,ロボット2のマップ内のX座標およびY座標を含む。拠点識別子は拠点を一意に識別する識別子であり,端的には拠点の名称,あるいはシステムの命名規則に従って設定された文字列等が指定される。拠点マップはサービス拠点9の形状,広さ,見取り図など,拠点の物理的構造に関する情報であり,ロボット2の設置時に情報の初期設定が行われる。ロボット2には自己位置推定機能があり,レーザーレンジファインダ等を用いて周囲の壁と自身の距離を測定することで,サービス拠点9内の自身の位置(X座標,Y座標)を判定できる。
サービス機器情報DB267はロボット2が利用可能な,0個以上のサービス機器6の情報(機器情報という)を管理するデータベースであり,1エントリにサービス機器6を一意に特定する機器識別子,機器の種類を表す機器種別,サービス機器6がサービス拠点8内で設置されている位置のX座標およびY座標,サービス機器を制御するために利用可能なパラメータのリスト(機器制御パラメータ1〜機器制御パラメータN)を含む。
機器制御パラメータの内容は対象となるサービス機器6の種別によって変化する。例えばサービス機器がデジタルサイネージのような出力機器であれば,機器制御パラメータとしては画面のオン/オフ,画面に表示するコンテンツの識別子,コンテンツにおける表示箇所(ページ数,URL等)が指定される。サービス機器がカメラであれば,機器制御パラメータにはカメラの角度(パンやチルト)を設定することができる。サービス機器がエレベータであれば,機器制御パラメータはエレベータへの移動要求,階数指定が考えられる。
図5は運用管理サーバ3の装置構造を示す。運用管理サーバ3はバス38に接続された制御部(CPU)32,メモリなどの内部記憶装置36,ハードディスクなどの外部記憶装置34,及びネットワークインターフェース30を具備し,ネットワークインターフェース30を介して外部と通信を行う。内部記憶装置36には,システム全体のサービス情報を管理するサービス情報管理プログラム361と,サービス情報を格納するサービス情報DB363が含まれる。サービス情報管理プログラム361は外部記憶装置34にインストールされ,制御部(CPU)32によって必要時に起動される。また,サービス情報DB363は,システムの規模,運用管理サーバ3の処理性能などに応じて,外部記憶装置34に格納してもよい。サービス情報DB363は内部記憶装置36にインストールされているサービス情報管理プログラム361によって読み書きが行われる。制御部(CPU)32が内部記憶装置36に保存されたサービス情報管理プログラム361を実行することで,運用管理サーバ3はシステムの運用管理処理を実現する。
図6は運用管理サーバ3の内部記憶装置36に存在するデータベースの構造を表す。サービス情報DB363はサービス拠点9ごとにシステムが提供可能なサービスの機器情報を管理するデータベースであり,システム内でサービスを一意に特定するサービス識別子と,サービス拠点9を一意に特定する拠点識別子と,サービス提供に必要な機器を特定する機器識別子リスト(機器識別子1〜機器識別子Nを含む。 これらの情報はロボットからの要求に応じて随時ロボットに提供される。
図7はサービス制御サーバ4の装置構造を示す。サービス制御サーバ4はバス48に接続された制御部(CPU)42,メモリなどの内部記憶装置46,ハードディスクなどの外部記憶装置44,及びネットワークインターフェース40を具備し,ネットワークインターフェース40を介して外部と通信を行う。内部記憶装置46には,サービスを提供するアプリケーションプログラム461,ロボット2の移動や回転等の機構制御を行うロボット制御プログラム463,ロボット2の位置情報を用いてロボット2が利用可能なサービス機器6の検索を行う機器検索プログラム465を含む。これらの各プログラムは外部記憶装置44にインストールされ,制御部(CPU)42によってシステムの稼働開始時に起動される。これらのプログラムに加えて,サービス制御サーバ4はサービス拠点9に設置されたサービス機器6の機器情報を管理する拠点機器情報DB467を備える。拠点機器情報DB467は,システムの規模,サービス制御サーバ4の処理性能などに応じて,外部記憶装置44に格納してもよい。拠点機器情報DB467は内部記憶装置46にインストールされている各プログラムによって読み書きが行われる。制御部(CPU)42が内部記憶装置46に保存されたアプリケーションプログラム461,および,ロボット制御プログラム463,機器検索プログラムを実行することで,サービス制御サーバ4はサービス制御処理を実現する。
図8はサービス制御サーバ4の内部記憶装置46に存在する拠点機器情報DB467の構造を表す。拠点機器情報DB467はサービス拠点9に設置されているサービス機器6の機器情報を管理するデータベースであり,サービス拠点9を一意に特定する拠点識別子,サービス拠点9の見取り図を表す拠点マップ,サービス機器6を一意に特定する機器識別子,サービス機器6がサービス拠点9で設置されている位置を表すX座標及びY座標,サービス機器6の利用可否判定に用いる利用判定パラメータリスト,サービス機器6の制御に用いる機器制御パラメータリストを備える。利用判定パラメータリストは0個以上の利用判定パラメータを含む。機器制御パラメータリストは1つ以上の機器制御パラメータを含む。機器制御パラメータの例としては,エレベータの停止階数や,カメラの画質(フレームレート,ビットレート等)がある。
利用判定パラメータはロボット2とサービス機器6の状態,および,サービス機器6の利用可否を判定するために用いられるパラメータである。典型的にはロボット2とサービス機器6の物理的な位置関係や,サービス機器6の品質に関するパラメータが該当する。
図15を用いて,サービス機器6の利用可否判定の一例を説明する。図15は壁で仕切られた2つの部屋を持つサービス拠点9の例で,ロボット2と2つのサービス機器6としてサイネージ(6−1)とカメラ(6−2)が設置されている。サイネージ(6−1)とカメラ(6−2)それぞれのサービス利用可能領域を斜線領域にて示している。
ロボット2がサイネージ(6−1)を用いて人間に対して情報提供を行うためには,ロボット2とサイネージ(6−1)の距離が一定距離以下に近接している必要がある。このような場合,サービス利用判定パラメータを指定せずとも,ロボットのX,Y座標とサイネージのX,Y座標だけを用いて機器の利用可否を簡易に判定してもよいし,サイネージ(6−1)前方の斜線領域で示すサービス利用可能領域を数式等の手段で設定して,サービス利用可否を判定してもよい。
他方,カメラ(6−2)の場合,図15のケースではロボット2とカメラ(6−2)は近接しているが,壁を隔てて近接しており,カメラ(6−2)がロボット2を撮影している必要がある場合,カメラ(6−2)は利用可能とはならない。このような場合には,カメラ前方に撮影可能領域を利用判定パラメータとして設定し,ロボット2がカメラ(6−2)の撮影可能領域にあるときにサービス機器として利用可能と判定することが考えられる。また,カメラの画質に着目すると,稼働中のカメラの機器制御パラメータがサービスに必要な品質を満たさない場合は利用不可と判定される。
なお,カメラ(6−2)は必ずしもロボット2がカメラ(6−2)の撮影可能領域になければ利用可能とみなされないわけではなく,純粋に周辺状況の確認を行うためにカメラを必要とする場合もありうる。そのような場合には,カメラ(6−2)に複数の機器識別子を割り当て,利用判定パラメータが設定された機器と設定されていない機器の2つの機器を仮想的に割り当てることで,これらの処理を振り分けることができる。
機器制御パラメータの内容は図4のサービス機器情報DB267に含まれる機器制御パラメータと同様であるため,説明は割愛する。
図9は機器制御サーバ5の装置構造を示す。機器制御サーバ5はバス58に接続された制御部(CPU)52,メモリなどの内部記憶装置56,ハードディスクなどの外部記憶装置54,及びネットワークインターフェース50,サービス機器6と接続し,これを制御するための機器制御インターフェース59を具備し,ネットワークインターフェース50を介して外部との通信を行う。内部記憶装置56は,機器制御パラメータに応じてサービス機器の制御を行う機器制御プログラム561を含む。
制御部(CPU)52が内部記憶装置56に保存された機器制御プログラム561を実行することで,機器制御サーバ5はサービス機器の制御処理を実現する。
なお,機器制御サーバ5とサービス機器6の接続は必ずしも機器制御インターフェース59を介さなくても良い。IPカメラ等に代表されるように,サービス機器6が通信機能を備える場合は,機器制御サーバ5はネットワークインターフェース50経由でサービス機器6を制御する。別の実装方法として,ロボット2が直接サービス機器6を制御してもよい。
続いて,本実施形態における移動機器向けサービス提供システムの全体の動作について説明する。まず図10の時系列図を用いて,ロボット2が自身が利用可能なサービス機器の一覧を取得し,管理する処理について説明する。
ロボット2のロボット制御プログラム261は繰り返し,自身が利用可能なサービス機器のリストを更新し,それを,外部機器情報DB267で管理する。このため,ロボット2は機器情報要求1をサービス制御サーバ4に送信する(S1−01)。
機器情報要求1(PF−01)のフォーマットは図14に示す通りで,要素としてメッセージ種別(機器情報要求1),ロボット2が稼働しているサービス拠点9を表す拠点識別子,ロボット2を一意に特定するロボット識別子,ロボット2のX座標およびY座標を含んでいる。
機器情報要求を受信したサービス制御サーバ4の機器検索プログラム465は,ロボット2のX座標,Y座標と,拠点機器情報DB467と,を照合し,図15に示すような利用可否判定方法を用いて,ロボット2が利用可能なサービス機器6のリストを抽出する。サービス制御サーバ4は,抽出したリストを機器情報としてロボット2に送信する(S1−07)。
機器情報(PF−02)のフォーマットを図14に示す。機器情報は要素としてメッセージ種別(機器情報),ロボット2が稼働しているサービス拠点9を表す拠点識別子,ロボット2が利用可能なサービス機器6の機器情報リストを含む。機器情報リストはサービス機器6を一意に特定する機器識別子,機器の種類を表す機器種別,サービス機器6のサービス拠点9内での設置位置を表すX座標およびY座標,機器制御に利用可能な機器制御パラメータのリストを含んでいる。
機器情報を受信したロボット2のロボット制御プログラム261は,受信した情報に基づいて自身のサービス機器情報DB267を更新する(S1−10)。
ロボット2は自身が備えるカメラ等の機器と,サービス機器を連携してサービスをユーザに提供する。図11を用いて,機器を連携させてサービスを提供する処理について説明する。
ロボット2のサービスシナリオ制御プログラム263はユーザとの対話結果やセンサデータなどをトリガーとして,サービスシナリオに基づきサービスの提供を開始する(S2−01)。例えば商業施設において顧客から施設に関する質問を受けたとすると,ロボット2は施設案内サービスを開始する。
ロボット2のサービスシナリオ制御プログラム263は最初に,対象とするサービスを提供するために必要なサービス機器を把握するため,運用管理サーバ3にサービス情報要求を送信する(S2−04)。サービス情報要求(PF−03)のフォーマットを図14に示す。サービス情報要求は要素としてメッセージ種別(サービス情報要求),ロボット2が稼働しているサービス拠点9を表す拠点識別子,ロボット2が提供を開始するサービスを一意に特定するサービス識別子,ロボット2のロボット識別子を含む。
サービス情報要求を受信した運用管理サーバ3のサービス情報管理プログラム361は,サービス情報要求に含まれるサービス識別子を用いて,サービス情報DB363を検索し,要求されたサービスに必要なサービス機器6の機器識別子のリストを作成する。その後,運用管理サーバ3のサービス情報管理プログラム361は機器識別子のリストを用いてサービス情報を構成し,サービス情報をロボット2へ送信する(S2−07)。
サービス情報(PF−04)のフォーマットを図14に示す。サービス情報は要素としてメッセージ種別(サービス情報),ロボット2が稼働しているサービス拠点9を表す拠点識別子,ロボット2が提供を開始するサービスを一意に特定するサービス識別子,サービス提供に必要なサービス機器を特定する機器識別子のリスト(機器識別子1〜機器識別子N)を含む。
サービス情報を受信したロボット2のサービスシナリオ制御プログラム263は,サービス情報に含まれる機器識別子のリストと,サービス機器情報DB267に含まれるすべての機器識別子を照合し,上記サービスの提供可否を判断する。ここで,サービス情報に含まれるリスト中の機器識別子が,サービス機器情報DB267で管理されている機器識別子にすべて含まれているとする(S2−10)。これはサービス提供に必要な機器が利用可能でありサービス提供可ということを意味し,サービス提供準備が整ったことを表している。そこで,ロボット2のサービスシナリオ制御プログラム263は機器制御サーバ5に,サービス提供に必要なサービス機器6を制御するためのサービス機器制御を要求する(S2−13)。
サービス機器制御要求(PF−06)のフォーマットを図14に示す。サービス機器制御要求は要素としてメッセージ種別(サービス機器制御),ロボット2が稼働しているサービス拠点9を表す拠点識別子,ロボット2が提供を開始するサービスを一意に特定するサービス識別子,制御対象のサービス機器6を識別する機器識別子,制御対象のサービス機器の制御に用いる機器制御パラメータのリスト(機器制御パラメータ1〜機器制御パラメータM)を含む。
機器制御サーバ5の機器制御プログラム561は受信した機器制御パラメータに基づいて,対応するサービス機器6を制御する(S2−16)。以上の処理により,ロボット2は外部のサービス機器を利用したサービスをユーザに提供することが可能となる。
サービスを提供する際,必要なサービス機器6が常にロボット2が利用可能な状況にあるわけではなく,場合によっては一部の機器が利用できない状態にある可能性がある。
図15の例では,ロボット2は,サイネージ(6−1)と距離が離れており,そのサービス利用可能領域の外に位置しているため,ロボット2はサイネージ(6−1)を利用したサービスをユーザに提供することができない。サービス機器6がサイネージやエレベータのようにサービス施設9に固定的に設置されているものであれば,それらを移動させることは難しいため,ロボット2の位置を制御してサービス機器6を利用可能な状況を作り出すことが必要である。
位置関係による制限の他に,カメラ(6−2)等のサービス機器については画質等のパラメータが要求されたサービス品質に満たない場合があり,その場合はサービス機器を制御してサービス品質に必要な品質(画質等)を確保する必要がある。
図12を用いて,これらの処理について説明する。
ロボット2が何らかの変化をトリガーとしてサービスの提供を開始し(S3−01),運用管理サーバ3からサービス情報を取得する(S3−07)までの処理は,図11のステップS2−01〜S2−07と同様である。
サービスシナリオ制御プログラム263はサービス情報に含まれるサービス機器6のリストとサービス機器情報DB267で管理されている機器識別子のリストを照合し,上記サービスの提供可否を判断する。照合の結果,サービス情報に含まれるサービス機器6のリストの一部がサービス機器情報DB267の機器識別子のリストに含まれていない,即ち一部のサービス機器6が利用可能ではなく,サービスは提供可でないとする(S3−10)。
このような場合,ロボット2は以下の理由でサービス機器6を利用できない。すなわち,ロボット2がサービス機器6を利用できない位置にある,および/または,ロボット2がサービス機器を制御するための機器制御パラメータを情報として保持していない。これを解決するため,ロボット2のロボット制御プログラム261はサービス制御サーバ4に機器情報要求2を送信する(S3−13)。
機器情報要求2(PF−08)のフォーマットを図14に示す。機器情報要求2は要素としてメッセージ種別(機器情報要求2),ロボット2が稼働しているサービス拠点9を表す拠点識別子,ロボット2を特定するロボット識別子,情報取得を要求するサービス機器6の機器識別子のリスト(機器識別子1〜機器識別子N)を含む。
機器情報要求2を受信したサービス制御サーバ4の機器検索プログラム465は,拠点機器情報DB467を検索して,機器識別子で指定されたサービス機器に関する情報を抽出し,これを機器情報としてロボット2に送信する(S3−16)。
要求したサービス機器の機器情報を受信した後,ロボット2のロボット制御プログラム261は必要とするサービス機器6を利用可能な位置に移動するために,サービス制御サーバ4にロボット位置制御情報を要求する(S3−19)。
ロボット位置制御情報要求(PF−07)のフォーマットを図14に示す。機器情報要求2は要素としてメッセージ種別(ロボット位置制御要求),ロボット2が稼働しているサービス拠点9を表す拠点識別子,ロボット2を特定するロボット識別子,ロボット2のX座標およびY座標と,ロボット2が利用する予定であるすべてのサービス機器6の機器識別子のリスト(機器識別子1〜機器識別子N)を含む。サーブ機器6の機器識別子のリストは,ステップS3−07で受信したサービス情報に含まれる機器識別子のリストと一致する。
ロボット位置制御要求を受信したサービス制御サーバ4のロボット制御プログラム463は,ロボット位置制御情報要求に含まれるロボットのX座標,Y座標と,機器識別子のリストに対応したサービス機器6の機器情報と,を用いて,リスト中に含まれる,利用予定のサービス機器6を利用可能な位置を算出する。
そして,算出した位置へロボット2を移動させるための,一つ以上のロボット動作制御コマンドの列(動作制御コマンド1〜動作制御コマンドN)を含むロボット位置制御情報を生成する(S3−22)。
サービス制御サーバ4のロボット制御プログラム463は,生成したロボット位置制御情報をロボット2に応答する(S3−25)。
ロボット位置制御情報(PF−05)のフォーマットを図14に示す。ロボット位置制御情報は要素としてメッセージ種別(ロボット位置制御),ロボット2が稼働しているサービス拠点9を表す拠点識別子,ロボット2を特定するロボット識別子と,ロボット2を制御するために必要な動作制御コマンドのリストを含む。
ロボット2のロボット制御プログラム261はロボット位置制御に含まれる動作制御コマンドを順次実行することで機体を,利用予定のすべてのサービス機器6が利用可能な位置に移動させる(S3−28)。次に,図11の(S2−10,13,16)と同様のサービス機器制御を行う(S3−28,31,34)。ただし,ロボット2の位置制御だけではサービス提供の条件を満たさないサービス機器6については,対応する機器制御サーバ5に,(S2−13)でのサービス機器制御に加えて,サービス提供の条件を満たすためのサービス機器制御を追加して送信する(S3−31)。 サービス機器制御はサービス機器6のサービス品質を確保するような機器制御パラメータのリストを含む。典型的にはカメラのフレームレート,解像度,ビットレート等が該当する。
機器制御サーバ5の機器制御プログラム561が与えられた機器制御パラメータに基づき,サービス機器6を制御する(S3−34)。これにより,ロボット2は外部のサービス機器6を利用できない状態にある場合でも,機体の移動や外部機器の制御によりサービスをユーザに提供することができる。
次に,図13のフローチャートを用いて,サービス提供システムの全体処理について説明する。処理はシステムが稼働を開始(F1−01)してから,ロボット2がユーザとのコミュニケーションやセンサの変化検知をトリガーとして,サービス提供を開始することから始まる(F1−04)。
サービス提供の準備をするために,ロボット2のサービスシナリオ制御プログラム263は運用管理サーバ3にサービス情報要求を送信し(F1−07),サービス提供に必要なサービス機器6の一覧を入手する(F1−10)。その後,受信した一覧に対応したすべてのサービス機器6が利用可能か否かを判定する(F1−13)。
利用可能である場合,全てのサービス機器6に対応する各機器制御サーバ5にサービス機器制御を送信し,機器の制御を要求する(F1−22)。
サービス提供に必要なサービス機器6の一覧に,この時点で利用できないサービス機器6が含まれている場合,ロボット2のロボット制御プログラム261はサービス制御サーバ4に機器情報要求2を送信し,サービス提供に必要で,かつ現在利用可能でないサービス機器6の機器詳細情報を受信する(F1−16)。
位置関係により利用できないサービス機器6が存在する場合,ロボット2のロボット制御プログラム261はロボット位置制御要求をサービス制御サーバ4に送信し,サービス提供にロボット2が必要とする全てのサービス機器6を利用可能な位置に,自ロボット2を移動させるようサービス制御サーバ4に要求する。
サービス制御サーバ4のロボット制御プログラム463はサービス提供に必要なすべてのサービス機器6が利用可能な位置を算出し,算出した位置へロボット2を移動させるための1つ以上の動作制御コマンドを生成してロボット2へ送信する。
ロボット2のロボット制御プログラム261は受信した動作制御コマンドを順次実行することで,ロボット2は全ての必要なサービス機器が利用可能な位置へ移動する(F1−19)。サービス提供に必要ではあるが,機器制御パラメータが原因で利用不可と判定されたサービス機器6が存在する場合,ロボット2は該当するサービス機器6に対応する各機器制御サーバ5にサービス機器制御を送信し,機器が利用可能な状態となるよう制御を要求する(F1−22)。
1 ネットワーク
2 ロボット
21 ロボット制御端末
3 運用監視サーバ
4 サービス制御サーバ
5 機器制御サーバ
6 サービス機器
7 構内LAN
8 運用管理センタ
9 サービス拠点

Claims (14)

  1. 一つ以上のサービス機器が設置された拠点において,
    前記サービス機器と移動機器とが連携して,利用者へサービスを提供する
    サービス提供システムであって,
    前記サービス機器の機器情報を管理するサービス制御サーバを備え,
    前記移動機器は,状態情報が示す当該移動機器の状態において当該移動機器が利用可能なサービス機器を示す機器情報を,前記サービス制御サーバへ要求し,
    前記サービス制御サーバは,前記移動機器の前記状態における,前記機器情報を取得し,
    取得した前記機器情報を,前記移動機器へ応答し,
    前記移動機器は,取得した前記機器情報を管理する
    ことを特徴とするサービス提供システム。
  2. 請求項1に記載のサービス提供システムであって,
    一つ以上のサービスについて,サービス提供に必要なサービス機器を示すサービス情報を管理する運用管理サーバを備え,
    前記移動機器は,前記運用管理サーバへ,特定のサービスに係る前記サービス情報を,前記運用管理サーバへ要求し,
    前記運用管理サーバは,前記サービス情報を前記移動機器へ応答し,
    前記移動機器は,前記サービス情報と,前記機器情報と,に基づき,前記移動機器の状態における,前記特定のサービスの提供可否を判断する
    ことを特徴とするサービス提供システム。
  3. 請求項2に記載のサービス提供システムであって,
    前記特定のサービスの提供に必要な特定のサービス機器を制御する機器制御サーバを備え,
    前記移動機器は,前記判断の結果,前記特定のサービスが提供可ならば,前記機器制御サーバへ,前記特定のサービス機器の制御を要求し,
    前記機器制御サーバは,前記要求に従い,前記特定のサービス機器を制御する
    ことを特徴とするサービス提供システム。
  4. 請求項2に記載のサービス提供システムであって,
    前記移動機器は,前記判断の結果,前記特定のサービスが提供可でないならば,
    前記サービス制御サーバへ,前記特定のサービスの提供に必要な特定のサービス機器の機器情報を要求し,
    前記サービス制御サーバは,前記特定のサービスの提供に必要な特定のサービス機器の機器情報を,前記移動機器へ応答し,
    前記移動機器は,応答された前記サービス機器の前記機器情報に基づく当該移動機器の位置制御情報を,前記サービス制御サーバへ,要求し,
    前記サービス制御サーバは,前記移動機器の位置制御情報を生成し,
    前記位置制御情報を前記移動機器へ応答し,
    前記移動機器は,前記特定のサービスを提供可となるよう,当該移動機器の状態を変更する
    ことを特徴とするサービス提供システム。
  5. 請求項1に記載のサービス提供システムであって,
    前記移動機器の前記状態情報は,位置情報を含み,
    前記機器情報は,前記移動機器の位置情報において前記移動機器が利用可能な前記サービス機器の位置情報を含む
    ことを特徴とするサービス提供システム。
  6. 請求項3に記載のサービス提供システムであって,
    前記移動機器から前記機器制御サーバへの前記特定のサービス機器の制御の要求は,前記サービス機器の機器制御パラメータを含む
    ことを特徴とするサービス提供システム。
  7. 一つ以上のサービス機器が設置された拠点において,
    前記サービス機器と連携して,利用者へサービスを提供する
    サービス提供システム
    に用いる移動機器であって,
    状態情報が示す当該移動機器の状態において当該移動機器が利用可能なサービス機器を示す機器情報を,前記サービス機器の機器情報を管理するサービス制御サーバへ要求し,
    要求した前記機器情報を,前記サービス制御サーバから取得し,
    取得した前記機器情報を管理する
    ことを特徴とする移動機器。
  8. 請求項7に記載の移動機器であって,
    サービス提供に必要なサービス機器を示すサービス情報を管理する運用管理サーバへ,特定のサービスに係る前記サービス情報を,前記運用管理サーバへ要求し,
    前記運用管理サーバから取得した前記サービス情報と,前記機器情報と,に基づき,前記移動機器の状態における,前記特定のサービスの提供可否を判断する
    ことを特徴とする移動機器。
  9. 請求項8に記載の移動機器であって,
    前記判断の結果,前記特定のサービスが提供可ならば,前記特定のサービスの提供に必要な特定のサービス機器を制御する機器制御サーバへ,前記特定のサービス機器の制御を要求する
    ことを特徴とする移動機器。
  10. 請求項8に記載の移動機器であって,
    前記判断の結果,前記特定のサービスが提供可でないならば,
    前記サービス制御サーバへ,前記特定のサービスの提供に必要な特定のサービス機器の機器情報を要求し,
    前記サービス制御サーバから取得した前記サービス機器の前記機器情報に基づく当該移動機器の位置制御情報を,前記サービス制御サーバへ,要求し,
    前記サービス制御サーバから前記位置制御情報を取得し,
    前記特定のサービスを提供可となるよう,当該移動機器の状態を変更する
    ことを特徴とする移動機器。
  11. 一つ以上のサービス機器が設置された拠点において,
    前記サービス機器と移動機器とが連携して,利用者へサービスを提供する
    サービス提供システム
    に用いる運用管理サーバであって,
    一つ以上のサービスについて,サービス提供に必要なサービス機器を示すサービス情報を管理し,
    前記移動機器から,特定のサービスに係る前記サービス情報を,要求されたら,
    要求された前記サービス情報を前記移動機器へ応答する
    ことを特徴とする運用管理サーバ。
  12. 一つ以上のサービス機器が設置された拠点において,
    前記サービス機器と移動機器とが連携して,利用者へサービスを提供する
    サービス提供システム
    に用いるサービス制御サーバであって,
    前記サービス機器の機器情報を管理し,
    前記移動機器から,当該移動機器の状態において当該移動機器が利用可能なサービス機器を示す機器情報を要求されると,
    前記移動機器の前記状態における,前記機器情報を取得し,
    取得した前記機器情報を,前記移動機器へ応答する
    ことを特徴とするサービス制御サーバ。
  13. 請求項12に記載のサービス制御サーバであって,
    前記移動機器から,前記特定のサービスの提供に必要な特定のサービス機器の機器情報を要求されたら,
    前記特定のサービスの提供に必要な特定のサービス機器の機器情報を,前記移動機器へ応答し,
    前記移動機器から,応答した前記機器情報に基づく当該移動機器の位置制御情報を,前記サービス制御サーバから要求されたら,
    前記移動機器の位置制御情報を生成し,
    前記位置制御情報を前記移動機器へ応答する
    ことを特徴とするサービス制御サーバ。
  14. 一つ以上のサービス機器が設置された拠点において,
    前記サービス機器と移動機器とが連携して,利用者へサービスを提供する
    サービス提供システム
    に用いる機器制御サーバであって,
    前記移動機器から,特定のサービスの提供に必要な特定のサービス機器の制御を要求されたら,
    前記要求に従い,前記特定のサービス機器を制御する
    ことを特徴とする機器制御サーバ。
JP2017093569A 2017-05-10 2017-05-10 サービス提供システム Active JP6830032B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017093569A JP6830032B2 (ja) 2017-05-10 2017-05-10 サービス提供システム
US15/918,486 US10889001B2 (en) 2017-05-10 2018-03-12 Service provision system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017093569A JP6830032B2 (ja) 2017-05-10 2017-05-10 サービス提供システム

Publications (2)

Publication Number Publication Date
JP2018191198A JP2018191198A (ja) 2018-11-29
JP6830032B2 true JP6830032B2 (ja) 2021-02-17

Family

ID=64097024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017093569A Active JP6830032B2 (ja) 2017-05-10 2017-05-10 サービス提供システム

Country Status (2)

Country Link
US (1) US10889001B2 (ja)
JP (1) JP6830032B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106043222B (zh) * 2016-06-01 2017-12-12 百度在线网络技术(北京)有限公司 无人驾驶车辆防盗系统
US10690466B2 (en) 2017-04-19 2020-06-23 Global Tel*Link Corporation Mobile correctional facility robots
US10949940B2 (en) * 2017-04-19 2021-03-16 Global Tel*Link Corporation Mobile correctional facility robots
KR102673293B1 (ko) * 2018-11-08 2024-06-11 현대자동차주식회사 서비스 로봇 및 그의 운용 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291083A (ja) * 2002-03-28 2003-10-14 Toshiba Corp ロボット装置、ロボット制御方法及びロボット配送システム
JP4534424B2 (ja) 2003-02-26 2010-09-01 日本電気株式会社 通信ロボット装置、通信ロボット装置の制御方法、および、通信ロボットプログラム
JP4282426B2 (ja) 2003-09-29 2009-06-24 株式会社東芝 電子機器および同機器に適用されるプログラム
CN102152313B (zh) * 2008-02-28 2012-12-12 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人、机器人手臂的控制程序、及机器人手臂控制用集成电子电路
US8924011B2 (en) * 2012-04-03 2014-12-30 Knu-Industry Cooperation Foundation Intelligent robot apparatus responsive to environmental change and method of controlling and reconfiguring intelligent robot apparatus
US10992187B2 (en) * 2012-07-06 2021-04-27 Energous Corporation System and methods of using electromagnetic waves to wirelessly deliver power to electronic devices
JP6069607B2 (ja) * 2013-03-26 2017-02-01 株式会社国際電気通信基礎技術研究所 ロボットサービス連携システムおよびプラットフォーム
US9796093B2 (en) * 2014-10-24 2017-10-24 Fellow, Inc. Customer service robot and related systems and methods
US9552736B2 (en) * 2015-01-29 2017-01-24 Qualcomm Incorporated Systems and methods for restricting drone airspace access
US9601022B2 (en) * 2015-01-29 2017-03-21 Qualcomm Incorporated Systems and methods for restricting drone airspace access
US9876778B2 (en) * 2015-03-23 2018-01-23 Control4 Corporation Devices for providing secure remote access
US10414052B2 (en) * 2016-02-09 2019-09-17 Cobalt Robotics Inc. Building-integrated mobile robot
US10054951B2 (en) * 2016-05-25 2018-08-21 Fuji Xerox Co., Ltd. Mobile robot indoor localization and navigation system and method
JP6995770B2 (ja) * 2016-06-15 2022-01-17 アイロボット・コーポレーション 自律移動ロボットを制御するためのシステムおよび方法

Also Published As

Publication number Publication date
US20180326593A1 (en) 2018-11-15
US10889001B2 (en) 2021-01-12
JP2018191198A (ja) 2018-11-29

Similar Documents

Publication Publication Date Title
JP6830032B2 (ja) サービス提供システム
US9742974B2 (en) Local positioning and motion estimation based camera viewing system and methods
US8886829B1 (en) Methods and systems for robot cloud computing using slug trails
EP3385852B1 (en) Data flow control apparatus and data flow control method
JP2003122796A (ja) 情報処理装置、センサネットワークシステム、情報処理プログラム、および情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7164987B2 (ja) 映像通話を利用した道案内方法およびシステム
US10200631B2 (en) Method for configuring a camera
JP6218471B2 (ja) 撮像装置、外部装置、撮像システム、撮像装置の制御方法、外部装置の制御方法、撮像システムの制御方法、及びプログラム
KR102383567B1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
JP6725736B1 (ja) 画像特定システムおよび画像特定方法
JP5514038B2 (ja) ストリートビュー自動出力装置、地図自動出力装置、ストリートビュー自動出力方法、地図自動出力方法、およびプログラム
KR101523702B1 (ko) IoT 플랫폼 서버 및 IoT 단말과 애플리케이션을 매칭한 정보를 생성하는 방법
US10830593B2 (en) Cognitive fingerprinting for indoor location sensor networks
JP7532941B2 (ja) 情報処理装置、テレプレゼンスロボット、拠点制御システム、遠隔制御システム、情報処理方法およびプログラム
JP2022058146A (ja) スケジューリングシステム、スケジューリング方法およびプログラム
JP7518111B2 (ja) ロボットサービスシステム
KR20190135860A (ko) 단말기와의 연계를 통한 영상 관제 방법 및 이를 이용한 영상 관제 시스템
KR102262378B1 (ko) 지도 관리 방법 및 시스템
JP6684012B1 (ja) 情報処理装置および情報処理方法
EP3104239A1 (en) Method for mobile on-site building engineering using in commodity devices
JP5221580B2 (ja) 画像表示システム、携帯情報端末及び画像表示プログラム
JP2022030859A (ja) 監視情報処理装置、方法およびプログラム
KR102076289B1 (ko) Iot 환경에서의 방문자 영상 정보 제공 방법 및 시스템
JP6873854B2 (ja) サーバ装置、装置制御方法、および記録媒体
JP7504681B2 (ja) 撮影位置管理装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200311

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200403

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210125

R150 Certificate of patent or registration of utility model

Ref document number: 6830032

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150