JP6922806B2 - 遠隔操作システム及び主操作装置 - Google Patents

遠隔操作システム及び主操作装置 Download PDF

Info

Publication number
JP6922806B2
JP6922806B2 JP2018055949A JP2018055949A JP6922806B2 JP 6922806 B2 JP6922806 B2 JP 6922806B2 JP 2018055949 A JP2018055949 A JP 2018055949A JP 2018055949 A JP2018055949 A JP 2018055949A JP 6922806 B2 JP6922806 B2 JP 6922806B2
Authority
JP
Japan
Prior art keywords
slave
construction machine
model information
operating
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018055949A
Other languages
English (en)
Other versions
JP2019167732A (ja
Inventor
佐々木 均
均 佐々木
誠司 佐伯
誠司 佐伯
山▲崎▼ 洋一郎
洋一郎 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobelco Construction Machinery Co Ltd
Original Assignee
Kobelco Construction Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobelco Construction Machinery Co Ltd filed Critical Kobelco Construction Machinery Co Ltd
Priority to JP2018055949A priority Critical patent/JP6922806B2/ja
Priority to CN201880090519.XA priority patent/CN111788356B/zh
Priority to US16/979,409 priority patent/US11466431B2/en
Priority to PCT/JP2018/045568 priority patent/WO2019181103A1/ja
Priority to EP18910268.4A priority patent/EP3744905B1/en
Publication of JP2019167732A publication Critical patent/JP2019167732A/ja
Application granted granted Critical
Publication of JP6922806B2 publication Critical patent/JP6922806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20Drives; Control devices
    • E02F9/2025Particular purposes of control systems not otherwise provided for
    • E02F9/205Remotely operated machines, e.g. unmanned vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Description

本発明は、主操作装置と従操作装置とを備える遠隔操作システム等に関するものである。
近年、オペレータの操作を直接受け付けるマスターと称される主操作装置と、マスターに対して通信可能に接続されたスレーブと称される従操作装置とを用いて建設機械を遠隔操作する遠隔操作システムが知られている(例えば、特許文献1)。スレーブは、いわばオペレータのダミーとなって遠隔地にある建設機械を操作する装置であり、マスターがオペレータから受け付けた操作量に基づいて建設機械の操作レバーを直接操作する装置である。このような遠隔操作システムは、建設機械にスレーブを外付けすることで、遠隔操作が可能となるので、既存の建設機械を改造しなくても遠隔操作が可能となるといったメリットがある。
特開平10−252101号公報
従来の遠隔操作システムは、マスターとスレーブとがセットで使用されることが前提とされており、スレーブがセットではない機種に変更されるとそれに応じてマスターも変更させる必要があった。
かつては、マスターとして、玩具ラジコンのコントローラを模擬したものが使用されていたが、これでは、実際の建設機械を操作するのと同等のスキルに至るまでに多くの時間を要するため、近年では、実際の建設機械の操縦席をそのまま模擬したものが使用さている。このような操縦席を模擬したマスターは、高価であり設置スペースも嵩むため、取り替えるのは容易ではない。
また、このようなマスターを所持するユーザからスレーブが取り付けられた建設機械のレンタル依頼が行われた場合、上述のようにマスターを取り替えるのは容易でないため、レンタル業者は、ユーザが所持するマスターとセットになるスレーブが指定されることが多く、複数種類のスレーブを予め準備する必要が生じていた。
ここで、マスターとスレーブとがセットの機種であれば、マスターの操作特性とスレーブの操作特性とがマッチしているので、マスターに入力された操作量通りに建設機械を操作できる。例えば、ブームの傾倒角度を10度にする操作が入力されると、スレーブはブームの実際の傾倒角度を10度にすることができる。
しかし、スレーブがマスターとセットの機種でない場合、マスターの操作特性とスレーブの操作特性とがマッチしていないので、マスターに入力された操作量通りに建設機械を操作できない可能性がある。例えば、マスターに対してブームの傾倒角度を10度にする操作が入力されても、スレーブはブームの実際の傾倒角度を例えば12度にしてしまう可能性がある。この場合、オペレータは、ブームの実際の傾倒角度が10度になるようにマスターの操作量を加減することが要求され、実際の建設機械を操作する場合と同様の操作感で建設機械を遠隔操作することができないという課題がある。
ここで、マスターに入力された操作量通りに建設機械が稼働するようにマスターから送信された操作量をスレーブ側で補正する手法が考えられる。
しかし、この手法では、オペレータに作業現場にいる建設機械を遠隔操作させながら建設機械の実際の稼働量をモニタして操作量に対する補正量を調整する作業が要求されるので非常に手間がかかるという課題がある。
本発明の目的は、主操作装置とセットではない従操作装置が建設機械に取り付けられている場合において、従操作装置側で面倒な調整作業を行わなくても、実際の建設機械を操作する場合と同じ操作感でオペレータに建設機械を遠隔操作させることができる遠隔操作システムを提供することである。
上記課題を解決するために、本発明の一態様に係る遠隔操作システムは、操作部材を備える建設機械を遠隔操作する遠隔操作システムであって、
前記建設機械を遠隔操作するための主操作装置と、前記主操作装置に対して通信可能に接続された従操作装置とを備え、
前記従操作装置は、
前記建設機械の型式情報と前記従操作装置の型式情報とを前記主操作装置に送信し、且つ、前記主操作装置から送信された操作量を受信する第1通信部と、
前記第1通信部が受信した操作量に基づいて、前記建設機械の前記操作部材を直接操作する操作機構とを備え、
前記主操作装置は、
前記従操作装置から送信された前記建設機械の型式情報と前記従操作装置の型式情報とを受信する第2通信部と、
前記従操作装置の操作特性を前記主操作装置の操作特性に一致させるための補正値を、前記建設機械の型式情報及び前記従操作装置の型式情報の組み合わせパターンと対応付けて登録する補正情報を記憶する第1メモリーと、
オペレータからの操作を受け付ける遠隔操作部材と、
前記第2通信部により受信された前記建設機械の型式情報と前記従操作装置の型式情報との組み合わせパターンに対応する補正値を前記補正情報から取得し、取得した前記補正値に基づいて、前記遠隔操作部材が受け付けた操作量を補正し、前記第2通信部に送信させるコントローラとを備える。
本構成によれば、主操作装置は、従操作装置の操作特性を主操作装置の操作特性に一致させるための補正値を、建設機械の型式情報及び操作装置の型式情報の組み合わせパターンと対応付けて登録する補正情報を備えている。そして、主操作装置は、従操作装置から従操作装置が搭載されている建設機械の型式情報と従操作装置の型式情報とを受信すると、両型式情報の組み合わせパターンに対応する補正値を補正情報から取得し、取得した補正値に基づいてオペレータが入力した操作量を補正して、従操作装置に送信する。したがって、主操作装置は、主操作装置の操作特性に従操縦装置の操作特性が一致するように操作量を補正して、従操作装置に送信することができる。
その結果、主操作装置とセットではない従操作装置が建設機械に取り付けられている場合において、従操作装置側で面倒な調整作業を行わずに、建設機械を直接操作する場合と同じ操作感でオペレータに建設機械を遠隔操作させることができる。
また、本構成によれば、従操作装置に応じて主操作装置を取り替える必要がなく、様々なタイプの主操作装置に対応する主操作装置を提供できる。
また、レンタル業者は、ユーザが所持する主操作装置のセットではない従操縦装置が取り付けられた建設機械をそのユーザにレンタルすることができ、様々な機種の従操作装置を予め準備する必要がなくなる。
上記構成において、前記主操作装置は、前記補正情報を記憶する第1メモリーを更に備えることが好ましい。
本構成によれば、主操作装置はローカルの第1メモリーから速やかに補正情報を取得できる。
上記構成において、前記遠隔操作システムは、前記補正情報を記憶するサーバを更に備えることが好ましい。
本構成によれば、補正情報がサーバにより一括管理されるので、補正情報が更新されたとしても、全てのマスターに最新の補正情報を反映できる。
上記構成において、前記従操作装置は、前記建設機械の型式情報と前記従操作装置の型式情報とを予め記憶する第2メモリーを更に備え、
前記第1通信部は、前記主操作装置から前記建設機械の型式情報と前記従操作装置の型式情報との取得要求を受信した場合、前記第2メモリーに記憶されている前記建設機械の型式情報と前記従操作装置の型式情報とを前記主操作装置に送信することが好ましい。
本構成によれば、従操作装置は、自己が取り付けられている建設機械の型式情報と、自己の型式情報とを予め記憶しているので、主操作装置から型式情報の取得要求があった場合、速やかに且つ正確に型式情報を主操作装置に送信することができる。
上記構成において、前記補正情報は、前記従操作装置の前記操作機構が対応可能な操作量の最大値より大きな操作量が前記従操作装置に入力されないように、前記遠隔操作部材のストロークを規制する規制値を予め登録することが好ましい。
本構成によれば、従操作装置が建設機械の操作部材に付与する操作力が飽和しないように主操作装置の遠隔操作部材のストロークを規制することができる。
本発明によれば、主操作装置とセットではない従操作装置が建設機械に取り付けられている場合において、従操作装置側で面倒な調整作業を行わずに、建設機械を直接操作する場合と同じ操作感でオペレータに建設機械を遠隔操作させることができる。
本発明の実施の形態に係る遠隔操作システムの全体構成を示すブロック図である。 図1に示す建設機械の外観を示す図である。 補正情報のデータ構成の一例を示す図である。 スレーブ及びマスターのそれぞれの操作特性を示すグラフである。 規制値の第一例を説明するためのスレーブの操作特性とマスターの操作特性とを示すグラフである。 規制値の第2例を説明するためのスレーブの操作特性とマスターの操作特性とを示すグラフである。 図1に示すスレーブの処理を示すフローチャートである。 図1に示すマスターの処理を示すフローチャートである。 本実施の形態の変形例に係る遠隔操作システムの全体構成を示すブロック図である。
図1は、本発明の実施の形態に係る遠隔操作システムの全体構成を示すブロック図である。遠隔操作システムは、スレーブ10及びマスター20を備える。スレーブ10は、建設機械30の操縦席に配置され、マスター20が受け付けた操作量に基づいて建設機械30の操作レバー31を直接操作する従操作装置である。スレーブ10は、いわばオペレータのダミーとなって建設機械30を操作する機械である。マスター20は、建設機械30のオペレータの操作を直接受け付ける主操作装置である。本実施の形態では、マスター20は建設機械30の操縦席を模擬した操作装置で構成されており、建設機械30の操作レバー31と同様の操作レバー23が建設機械30と同様のポジションで配置されている。また、マスター20は、オペレータが着座するシートと、遠隔カメラが撮影した建設機械30周辺の映像を表示するためにシートの前方に設けられた大画面モニターとを備えている。
スレーブ10及びマスター20は通信路100を介して相互に通信可能に接続されている。通信路100としては、特定省電力無線、及びブルーツース(登録商標)といったスレーブ10及びマスター20を数十m〜数百m程度の距離で無線通信させる通信路が採用される。但し、これは一例であり、通信路100としては、携帯電話通信網及びインターネット通信網等を含む公衆通信回線が採用されてもよい。この場合、マスター20及びスレーブ10は長距離通信が可能となる。
図2は、図1に示す建設機械30の外観を示す図である。図2に示す建設機械30は、油圧ショベルで構成されている。建設機械30は、クローラ式の下部走行体310と、下部走行体310上に旋回可能に設けられた上部旋回体320と、上部旋回体320に取り付けられた作業装置330とを備えている。
作業装置330は、上部旋回体320に対して起伏可能に取り付けられたブーム331と、ブーム331の先端部に対して揺動可能に取り付けられたアーム332と、アーム332の先端部に対して揺動可能に取り付けられたアタッチメント333とを備えている。
また、作業装置330は、上部旋回体320に対してブーム331を起伏させるブームシリンダ334と、ブーム331に対してアーム332を揺動させるアームシリンダ335と、アーム332に対してアタッチメント333を揺動させるアタッチメントシリンダ336とを備えている。上部旋回体320は、オペレータが搭乗する操縦席3Cを備えている。
図1に参照を戻す。マスター20は、通信部21(第2通信部の一例)、コントローラ22、操作レバー23(遠隔操作部材の一例)、メモリー24(第1メモリーの一例)、通信ID入力部25、及びセンサS1,S2を備える。
通信部21は、通信路100が採用する通信方式に対応する通信装置で構成され、スレーブ10から送信された建設機械30の型式情報とスレーブ10の型式情報とを受信する。また、通信部21は、マスター20が受け付けた操作量をスレーブ10に送信する。
コントローラ22は、CPU、ASIC等のプロセッサとROM及びRAMといった記憶装置とを含むコンピュータで構成されている。コントローラ22は、通信部21により受信された建設機械30の型式情報とスレーブ10の型式情報との組み合わせパターンに対応する補正値を補正情報241から取得し、取得した補正値に基づいて、操作レバー23により受け付けられた操作量を補正し、通信部21に送信させる。
操作レバー23は、ATT(アタッチメント)レバー231及び走行レバー232を備える。ATTレバー231は、前後左右の4方向に傾倒可能な操作レバーで構成され、建設機械30の例えばアタッチメント333及びブーム331を操作するためのオペレータの操作を受け付ける。ここで、ATTレバー231は、前方に傾倒されるとブーム331を倒伏させ、後方に傾倒されるとブーム331を起伏させ、左方に傾倒されるとアタッチメント333を運転席側に揺動させ、右方に傾倒されるとアタッチメント333を運転席から反対側に揺動させる。
また、ATTレバー231は、コントローラ22の制御の下、後述する規制値にしたがってATTレバー231のストロークを物理的に規制する規制部材(図略)を備える。ここで、規制部材は、ATTレバー231の前後左右のそれぞれの方向のストロークを個別に規制する。ストロークとは、操作レバー23の傾倒範囲のことを指す。
走行レバー232は、前後の2方向に傾倒可能な操作レバーで構成され、建設機械30を前進又は後進させるためのオペレータの操作を受け付ける。ここで、走行レバー232は、前方に傾倒されると建設機械30を前進させ、後方に傾倒されると建設機械30を後進させる。また、走行レバー232は、コントローラ22の制御の下、後述する規制値にしたがって走行レバー232のストロークを物理的に規制する規制部材を備える。ここで、規制部材は、走行レバー232の前後のそれぞれの方向のストロークを個別に規制する。
なお、図1では、操作レバー23は、ATTレバー231と走行レバー232とを含むものとして説明したが、例えば、建設機械30が、前後方向でアーム332を操作し、左右方向で上部旋回体320を操作する4方向の操作レバーを備えていれば、その操作レバーに対応する操作レバーを含んでいてもよい。すなわち、操作レバー23は、建設機械30の操作レバー31が備える各種の操作レバーに対応するように各種の操作レバーを備えている。
センサS1は、例えば、ポテンショ式のセンサで構成され、ATTレバー231の操作量を検知してコントローラ22に出力する。ここで、センサS1は、ATTレバー231の前後左右のそれぞれの操作量を個別に検知し、コントローラ22に出力する。なお、センサS1は、前後左右のそれぞれの方向においてATTレバー231の傾倒量が増大するにつれて検知する操作量を増大させる。
センサS2は、例えば、ポテンショ式のセンサで構成され、走行レバー232の操作量を検知してコントローラ22に出力する。ここで、センサS2は、走行レバー232の前後のそれぞれの操作量を個別に検知し、走行レバー232の傾倒量が増大するにつれて検知する操作量を増大させる。
メモリー24は、不揮発性のメモリーで構成され、補正情報241を記憶する。図3は補正情報241のデータ構成の一例を示す図である。補正情報241は、補正テーブルT1、クラステーブルT2、及びストロークテーブルT3を備える。
補正テーブルT1は、スレーブ10の操作特性をマスター20の操作特性に一致させるための補正値を、建設機械30の型式情報(以下、「型式情報K1」と記述する。)及びスレーブ10の型式情報(以下、「型式情報K2」と記述する。)の組み合わせパターンと対応付けて予め登録する。
詳細には補正テーブルT1は、「パターン」、「スレーブ側」、及び「マスター側」のフィールドを備える。「パターン」フィールドには、建設機械30とスレーブ10との組み合わせパターンを特定するための番号が登録されている。「スレーブ側」フィールドは、「建設機械」及び「スレーブ」のフィールドを備える。「建設機械」フィールドには、建設機械30のメーカー名と型式とが対応付けて記憶されている。「スレーブ」フィールドには、スレーブ10のメーカー名と型式とが対応付けて記憶されている。ここで、メーカー名とは建設機械30又はスレーブ10を製造した会社の名称であり、型式とは建設機械30又はスレーブ10の機種を特定するための記号列である。型式情報K1,K2には、それぞれ、メーカー名と型式とが含まれる。
「マスター側」フィールドは、「ATTレバー」フィールド、及び「走行レバー」フィールドを備える。「ATTレバー」フィールドには、ATTレバー231の前後方向の操作量に対する補正値と規制値とが登録されている。「走行レバー」フィールドには、走行レバー232の前後方向の操作量に対する補正値と規制値とが登録されている。
規制値とは、マスター20の操作レバー23のストロークが例えば20であるが、スレーブ10が19までのストロークに対応する操作力しか建設機械30の操作レバー31に付与することができない場合、規制部材によって、操作レバー23のストロークを19までに規制するための値である。詳しくは後述する。
例えば、パターン「1」では、建設機械30、スレーブ10、及びマスター20は共にA社であり、スレーブ10及びマスター20は同一セットであり、操作特性が一致している。そのため、補正値は全て「1」が登録されている。但し、ATTレバー231は前後及び左右のストロークがそれぞれ「20」であるが、スレーブ10はそれぞれのストロークに対して19までしか対応していないので、規制値として「19」が設定されている。また、走行レバー232も同様の観点で、走行レバー232の前後のストロークがそれぞれ0〜30であるが、スレーブ10はそれぞれのストロークに対して28までしか対応していないので、規制値として「28」が登録されている。
パターン「2」では、マスターはA社であるのに対してスレーブはC社であり、マスターとスレーブとはセットではなく、操作特性が一致していないので、ATTレバー231及び走行レバー232の補正値として「1」以外の「0.8」、「0.8」、及び「1.2」が登録されている。このことは、他のパターンも同じである。
図4は、スレーブ10及びマスター20のそれぞれの操作特性を示すグラフである。図4において縦軸は建設機械30の稼働量を示し、横軸は操作量を示す。稼働量とは、例えば、建設機械30のブーム331であれば、操作量Xでブーム331を起伏させた場合における実際のブーム331の傾倒量を示す。操作特性Sはスレーブ10の操作特性を示し、操作特性Mはマスター20の操作特性を示す。図4の例では、操作特性S,Mは共に操作量が増大するにつれて稼働量がリニアに増大する特性を持っている。また、図4の例では、操作特性Mの方が操作特性Sよりも傾きが大きくなっている。なお、図4では、説明の便宜上、操作特性はリニアの特性を持つものとして説明しているが、本発明はこれに限定されず、二次曲線及び対数曲線等の曲線特性を持つものであってもよい。
操作特性Mは、建設機械30を直接操作する場合と同じ操作特性に設定されている。そのため、マスター20が操作量X1の操作を受け付けた場合、本来的には稼働量Y1で建設機械30は稼働するはずである。
しかし、スレーブ10の操作特性Sはマスター20の操作特性Mと一致していないので、操作量X1の指示を受け付けたスレーブ10は操作特性Sに示すように稼働量Y2で建設機械30を稼働させてしまう。これにより、オペレータは建設機械30を直接操作する場合と同じ操作感で建設機械30を遠隔操作することができなくなる。
ここで、操作特性Sにおいて、本来的に得たい稼働量Y1に対応する操作量はX2であるため、マスター20で受け付けられた操作量X1をマスター20側で操作量X2に補正し、スレーブ10に入力させれば、建設機械30を稼働量Y1で稼働させることができる。すなわち、X1×(Y1/Y2)の演算により操作量X2を求め、スレーブ10に送信すれば、建設機械30を稼働量Y1で稼働できる。
そこで、本実施の形態では、スレーブ10及びマスター20のそれぞれの操作特性から操作量X1を操作量X2に補正するための補正値(=Y1/Y2)を事前に求めておき、補正テーブルT1に登録させている。
図5は、規制値の第一例を説明するためのスレーブ10の操作特性Sとマスター20の操作特性Mとを示すグラフである。図5において、縦軸及び横軸は図4と同じである。操作量X(Mmax)はマスター20の操作レバー23が受け付け可能な操作量の最大値、すなわち、操作レバー23のストロークを示す。
操作量X(Smax)はスレーブ10が対応可能なマスター20のストロークである。すなわち、スレーブ10は、操作量X(Smax)より大きな操作量がマスター20から送信されても、操作量X(Smax)より大きな操作力を建設機械30の操作レバー31に付与することができない。この例では、操作特性Mの方が操作特性Sよりも傾きが大きいため、補正値(=Y1/Y2)は1より大きくなる。また、操作量X(Smax)は操作量X(Mmax)よりも小さい。そのため、操作量X(Mmax)を補正値(=Y1/Y2)を乗じて操作量X(Mmax)を補正すると補正後の操作量X(Mmax)×(Y1/Y2)は操作量X(Smax)より大きくなってしまう。
そこで、本実施の形態では、補正後の操作量がスレーブ10の受け付け可能な最大の操作量X(Smax)となる操作量X’(Mmax)を予め求め、その操作量X’(Mmax)を規制値として補正テーブルT1に登録させておく。なお、操作量X’(Mmax)はX(Smax)に補正値の逆数(=Y2/Y1)を乗じることで求められる。これにより、操作量X(Smax)以上の操作量がスレーブ10に入力されることが防止され、スレーブ10が操作レバー31に付与する操作力が飽和することを防止できる。
図6は、規制値の第2例を説明するためのスレーブ10の操作特性Sとマスター20の操作特性Mとを示すグラフである。図6では、操作特性Sの方が操作特性Mよりも傾きが大きいため、補正値(=Y1/Y2)は1より小さい。そして、マスター20のストロークである操作量X(Mmax)の補正値(=Y1/Y2)による補正後の操作量X’(Mmax)はスレーブ10のストロークである操作量X(Smax)より大きくなっている。
そこで、本実施の形態では、補正後の操作量が、スレーブ10のストロークである操作量X(Smax)となる操作量X’’(Mmax)を予め求め、その操作量X’’(Mmax)を規制値として補正テーブルT1に登録させておく。なお、操作量X’’(Mmax)はX(Smax)に補正値の逆数(=Y2/Y1)を乗じることで求められる。これにより、操作量X(Smax)以上の操作量がスレーブ10に入力されることが防止され、スレーブ10が操作レバー31に付与する操作力が飽和することを防止できる。
図3に参照を戻す。クラステーブルT2は、補正テーブルT1に登録された建設機械30の型式とサイズとが対応付けて登録されたテーブルである。ここで、クラスは建設機械30の重量で表される。ストロークテーブルT3は、補正テーブルT1に登録されたスレーブ10の型式と、スレーブ10において、マスター20のATTレバー231の「前後」及び「左右」と走行レバー232の「前後」とのそれぞれについて、対応可能なスレーブ10のストロークが対応付けて登録されたテーブルである。例えば、マスター20のATTレバー231の「前後」のストロークが20であるのに対して、スレーブ10のATTレバー311のストロークが19である場合、対応可能なストロークは、「19」となる。クラステーブルT2及びストロークテーブルT3は、スレーブ10から受信した型式情報K1と型式情報K2との組合わせパターンが補正テーブルT1に登録されていない場合に、補正値を決定するために用いられるテーブルである。詳しくは後述する。
図1に参照を戻す。通信ID入力部25は、例えば、テンキー及びキーボードといった入力装置で構成され、スレーブ10との通信接続を確立するために必要となるスレーブ10の通信IDのオペレータによる入力を受け付ける。
スレーブ10は、通信部11(第1通信部の一例)、コントローラ12、メモリー13(第2メモリーの一例)、及び操作機構14を備える。
通信部11は、通信路100が採用する通信方式に対応する通信装置で構成され、マスター20に対して、建設機械30の型式情報とスレーブ10の型式情報とを送信する。
コントローラ12は、CPU、ASIC等のプロセッサとROM及びRAMといった記憶装置とを含むコンピュータで構成されている。コントローラ12は、通信部11がマスター20から取得要求を受信すると、メモリー13から建設機械30の型式情報とスレーブ10の型式情報とを読み出し、通信部11に送信させる。
メモリー13は、不揮発性のメモリーで構成され、スレーブ10が取り付けられた建設機械の型式情報と、スレーブ10自身の型式情報とを予め記憶する。ここで、スレーブ10の型式情報はスレーブ10の製造過程においてメモリー13に事前に入力されたものである。また、建設機械30の型式情報は、スレーブ10を建設機械30に取り付ける際に作業員によって入力されたものである。
操作機構14は、アクチュエータで構成され、通信部11により受信された操作量に応じた操作力を発生させるための制御信号が入力され、操作量に応じた操作力を発生させ、建設機械30の操作レバー31に付与する。図1では、建設機械30は、ATTレバー311及び走行レバー312を備えているので、スレーブ10は、ATTレバー311に対応する操作機構14Aと、走行レバー312に対応する操作機構14Bとを備えている。また、ATTレバー311は「前後」方向及び「左右」方向に操作可能であるため、操作機構14Aは「前後」方向に対応するアクチュエータと「左右」方向に対応するアクチュエータとを備えている。
コントローラ12は、通信部11がATTレバー231の操作量を受信した場合、その操作量に応じた制御信号を操作機構14Aに出力し、通信部11が走行レバー232の操作量を受信した場合、その操作量に応じた制御信号を操作機構14Bに出力する。これにより、スレーブ10はマスター20を操作するオペレータのダミーになって建設機械30を直接操作する。
建設機械30は、操作レバー31(操作部材の一例)を備える。操作レバー31は、ATTレバー311及び走行レバー312を備える。操作レバー31は建設機械30の操縦席に設けられており、スレーブ10から操作力が付与されることで傾倒される。ATTレバー311は、ATTレバー231と同様、前後左右の4方向に傾倒可能な操作レバーで構成されている。ATTレバー311は前方又は後方に傾倒されると、ブーム331を倒伏又は起伏させ、左右方向に操作されると、アタッチメント333を揺動させる。走行レバー232は、前方に傾倒されると建設機械30を前進させ、後方に傾倒されると建設機械30を後進させる。
図7は、図1に示すスレーブの処理を示すフローチャートである。S11では、通信部11がマスター20から送信された通信要求を受信すると(S11でYES)、処理はS12に進み、通信要求を受信しない場合(S11でNO)、処理はS11に戻る。ここで、通信要求には、通信ID入力部25で入力されたスレーブ10の通信IDが含まれている。
S12では、コントローラ12は、通信要求に含まれる通信IDがメモリー13に予め記憶されたスレーブ10の通信IDに一致するか否かを判定する認証処理を行う。両通信IDが一致した場合(S12でYES)、認証が許可されたとして処理はS13に進み、両通信IDが一致しなかった場合(S12でNO)、認証に失敗したとして処理は終了される。ここで、マスター20の正規のオペレータは、通信対象となるスレーブ10の通信IDを事前に知らされているので、スレーブ10の通信IDを通信ID入力部25を用いて入力することができる。一方、正当な権限を有していないオペレータは、通信対象となるスレーブ10の通信IDを知らないので、スレーブ10の通信IDを入力できない。これにより、正当な権限を有していないオペレータによって建設機械30が遠隔制御されることが防止されている。
S13では、コントローラ12は、通信可能応答を通信部11を介してマスター20に送信する。この通信可能応答を受信したマスター20により、型式情報K1,K2の取得要求が送信され、この取得要求を通信部11が受信した場合(S14でYES)、コントローラ12は、型式情報K1,K2をメモリー13から読み出し、通信部11を介してマスター20に送信する(S15)。一方、取得要求が通信部11によって受信されていない場合(S14でNO)、処理は待機される。なお、S12において、認証が失敗した場合(S12でNO)、コントローラ12は認証に失敗したことを示す通信拒否応答を通信部11に渡し、通信部11は通信拒否応答を通信路100を介してマスター20に送信してもよい。
図8は、図1に示すマスター20の処理を示すフローチャートである。S21では、通信ID入力部25は、オペレータから入力されたスレーブ10の通信IDを受け付ける。S22では、コントローラ22は、通信ID入力部25が受け付けた通信IDを含む通信要求を生成して通信部21に渡し、通信部21は通信路100を介してスレーブ10に通信要求を送信する。
S23では、コントローラ22は、この通信要求を受信したスレーブ10から送信された通信可能応答が通信部21によって受信されたか否かを判定する。ここで、コントローラ22は、通信要求を送信してから、所定時間内にスレーブ10からの通信可能応答を受信した場合、S23でYESと判定して処理をS24に進め、所定時間内にスレーブ10からの通信可能応答を受信できなかった場合、S23でNOと判定し、処理を終了させる。なお、スレーブ10が通信拒否応答を送信する態様が採用された場合、通信部21が通信拒否応答を受信した場合、コントローラ22は、S23でNOと判定して処理を終了させてもよい。
S24では、コントローラ22は、型式情報K1,K2をスレーブ10から取得するための取得要求を生成して通信部21に渡し、通信部21は取得要求を通信路100を介してスレーブ10に送信する。
S25では、コントローラ22は、この取得要求を受信したスレーブ10から送信された型式情報K1,K2が通信部21によって受信されたか否かを判定する。通信部21が型式情報K1,K2を受信した場合(S25でYES)、コントローラ22は、型式情報K1に含まれる「型式」と型式情報K2に含まれる「型式」との組み合わせパターンに対応する補正値が補正テーブルT1に登録されているか否かを判定する。該当するパターンの補正値が補正テーブルT1に登録されている場合(S26でYES)、コントローラ22は、該当する補正値を補正テーブルT1から取得する(S27)。
図3を参照して、例えば、スレーブ10から送信された型式情報K1に型式「Z1」が含まれ、スレーブ10から送信された型式情報K2に型式「S01」が含まれていたとすると、補正テーブルT1から組み合わせパターン「1」に対応する補正値が取得される。
一方、図8を参照して、型式情報K1に含まれる「型式」と型式情報K2に含まれる「型式」との組み合わせパターンに対応する補正値が補正テーブルT1に登録されていない場合(S26でNO)、コントローラ22は、その組み合わせパターンに対して類似度が最も高い補正値を補正テーブルT1から取得する(S28)。
ここで、型式情報K1にスレーブ10が取り付けられている建設機械30のクラスを示すクラス情報が含まれている場合、コントローラ22は、クラステーブルT2を参照して、該当する建設機械30のクラスとの類似度が最も高いクラスの型式を特定する。例えば、型式情報K1にクラス情報として「32t」が含まれている場合、クラステーブルT2において、クラス「30t」の建設機械30の類似度が最も高いので、型式「Z1」がクラステーブルT2から特定される。
ここで、クラスの類似度は、例えば、型式情報K1に含まれるクラス情報が示すクラスと、クラステーブルT2に登録されたクラスとの差分の逆数が採用できる。
また、型式情報K2にスレーブ10の各種操作レバーのストロークを示すストローク情報が含まれていれば、コントローラ22は、ストロークの類似度が最も高いスレーブ10の型式をストロークテーブルT3から特定する。例えば、型式情報K2において、ATTレバーのストロークとして前後「20」及び左右「20」が含まれ、走行レバーのストロークとして前後「30」が含まれていたとすると、ストロークテーブルT3において、ATTレバーのストロークが前後「19」及び左右「19」並びに走行レバーのストロークが前後「28」である型式「S01」のスレーブ10の類似度が最も高いので、型式「S01」が特定される。ここで、ストロークの類似度は、例えば、型式情報K2に含まれるストロークとストロークテーブルT3に登録されたストロークの対応する要素同士の差分の加算値の逆数が採用できる。
そして、コントローラ22は、クラスの類似度が最大の型式と、ストロークの類似度が最大の型式との組み合わせパターンに対する補正値が補正テーブルT1に登録されていれば、その補正値を補正テーブルT1から取得する。
先の例では、型式「Z1」がクラスの類似度が最大であり、型式「S01」がストロークの類似度が最大であったため、組み合わせパターン「1」に対する補正値が補正テーブルT1から取得される。
一方、コントローラ22は、クラスの類似度が最大の型式と、ストロークの類似度が最大の型式との組み合わせパターンに対する補正値が補正テーブルT1に登録されていない場合、コントローラ22は、補正テーブルT1から、クラスの類似度が最大の型式の組み合わせパターンを抽出し、抽出した組み合わせパターンのうち、ストロークの類似度が最大となる組み合わせパターンの補正値を取得すればよい。或いは、コントローラ22は、補正テーブルT1から、ストロークの類似度が最大の型式の組み合わせパターンを抽出し、抽出した組み合わせパターンのうち、クラスの類似度が最大となる組み合わせパターンの補正値を取得してもよい。
以降、コントローラ22は、操作レバー23が操作される都度、操作レバー23の操作量を補正値を用いて補正し、補正後の操作量をスレーブ10に送信して、オペレータに建設機械30を遠隔操作させる。
このように、本実施の形態によれば、マスター20は、自己の操作特性がスレーブ10の操作特性と一致するように操作量を補正して、スレーブ10に送信することができる。その結果、マスター20のセットではないスレーブ10が建設機械30に取り付けられている場合において、スレーブ10側で面倒な調整作業を行わずに、建設機械30を直接操作する場合と同じ操作感でオペレータに建設機械30を遠隔操作させることができる。
また、本実施の形態によれば、スレーブ10に応じてマスター20を取り替える必要がないので、オペレータは1台のマスター20に対する操作スキルを磨けばよく、様々なタイプのマスター20の操作スキルを磨く必要がなくなる。
また、レンタル業者は、ユーザが所持するマスター20のセットではないスレーブ10が取り付けられた建設機械30をそのユーザにレンタルすることができ、様々な機種のスレーブ10を予め準備する必要がなくなる。
本発明は以下の変形例が採用できる。
(1)上記実施の形態では、補正値はスレーブ10の操作特性とマスター20の操作特性との傾きに基づいて算出されていたが、本発明はこれに限定されない。例えば、スレーブ10の操作特性とマスターの操作特性とが稼働量の方向にずれているのであれば、このずれを示すオフセット値が補正値として採用されてもよい。この場合、オフセット値が操作量の範囲に応じて異なるのであれば、補正テーブルT1は、操作量の範囲別に補正値を登録しておけばよい。
(2)上記実施の形態では、建設機械30として油圧ショベルを例に挙げて説明したが、本発明はこれに限定されず、油圧クレーン及びブルドーザーといった建設機械が採用されてもよい。
(3)上記実施の形態では、ATTレバー231及びATTレバー311は、それぞれ、ブーム331及びアタッチメント333を操作するものとして説明したが、本発明はこれに限定されない。例えば、操作レバー23及び操作レバー31は、それぞれ、ブーム331及びアタッチメント333を個別に操作する操作レバーを含むものであってもよい。
(4)上記実施の形態では、操作部材として操作レバーを例示したが、本発明はこれに限定されず、操作部材は、ペダル式又はダイヤル式の操作部材で構成されてもよい。
(5)図8のフローでは、S27において、コントローラ22は、該当する補正値をメモリー24に記憶された補正テーブルT1から取得したが、本発明はこれに限定されず、サーバから取得してもよい。図9は、本実施の形態の変形例に係る遠隔操作システムの全体構成を示すブロック図である。図9に示す変形例では、サーバ40が更に追加され、且つ、マスター20が複数のマスター20_1,20_2で構成されている。マスター20_1,20_2は同一構成であるため、以下、マスター20_1のみ説明する。
サーバ40は、コンピュータで構成され、通信部41及びメモリー42を備える。通信部41は、通信路101が採用する通信方式に対応する通信装置で構成され、サーバ40を通信路101を介してマスター20_1,20_2と接続させる。通信路101としては、携帯電話通信網及びインターネット通信網等を含む公衆通信回線が採用される。
メモリー42は、不揮発性のメモリーで構成され、補正情報421を記憶する。補正情報421は、補正情報241と同じ内容のデータ、すなわち、図3に示す補正テーブルT1、クラステーブルT2、及びストロークテーブルT3を備える。ここで、サーバ40は、補正情報421に変更があった場合、その内容で補正情報421を更新することで、補正情報421を一括管理している。
マスター20_1は、図1の構成に対して、更に通信部26を備え、メモリー24が省かれている。具体的には、図8のS26にて、マスター20_1は、スレーブ10から送信された型式情報K1,K2を含む補正値の取得要求をサーバ40に送信し、サーバ40において、型式情報K1,K2に対応する補正値が記憶されている場合(S26でYES)、サーバ40から該当する補正値を取得する(S27)。
一方、サーバ40において該当する補正値が記憶されていない場合(S26でNO)、サーバ40はマスター20_1と同様、型式情報K1に含まれる「型式」と型式情報K2に含まれる「型式」との組み合わせパターンに対して類似度が最も高い補正値を補正テーブルT1から決定し、マスター20_1に送信する(S28)。
このように、本変形例では、補正情報421がサーバ40によって一括管理され、且つ、マスター20_1,20_2がサーバ40に接続されているので、新たな組み合わせパターンが追加されても、すぐに全てのマスター20_1,20_2に最新の補正情報421を反映させることができる。なお、図9では、マスター20は2つとして説明したが3個以上であってもよい。また、マスター20_1,20_2からメモリー24が省かれているが、マスター20_1,20_2にメモリー24を設けておき、サーバ40は補正情報421を更新すると、更新後の補正情報421が速やかにマスター20_1,20_2に送信するようにしてもよい。
10 スレーブ
11 通信部
12 コントローラ
13 メモリー
14 操作機構
20 マスター
21 通信部
22 コントローラ
23 操作レバー
24 メモリー
25 通信ID入力部
30 建設機械
31 操作レバー
100 通信路
T1 補正テーブル

Claims (6)

  1. 操作部材を備える建設機械を遠隔操作する遠隔操作システムであって、
    前記建設機械を遠隔操作するための主操作装置と、前記主操作装置に対して通信可能に接続された従操作装置とを備え、
    前記従操作装置は、
    前記建設機械の型式情報と前記従操作装置の型式情報とを前記主操作装置に送信し、且つ、前記主操作装置から送信された操作量を受信する第1通信部と、
    前記第1通信部が受信した操作量に基づいて、前記建設機械の前記操作部材を直接操作する操作機構とを備え、
    前記主操作装置は、
    前記従操作装置から送信された前記建設機械の型式情報と前記従操作装置の型式情報とを受信する第2通信部と、
    オペレータからの操作を受け付ける遠隔操作部材と、
    前記第2通信部により受信された前記建設機械の型式情報と前記従操作装置の型式情報との組み合わせパターンに対応する補正値を補正情報から取得し、取得した前記補正値に基づいて、前記遠隔操作部材が受け付けた操作量を補正し、前記第2通信部に送信させるコントローラとを備え、
    前記補正情報は、前記従操作装置の操作特性を前記主操作装置の操作特性に一致させるための補正値を、前記建設機械の型式情報及び前記従操作装置の型式情報の組み合わせパターンと対応付けて登録する遠隔操作システム。
  2. 前記主操作装置は、前記補正情報を記憶する第1メモリーを更に備える請求項1記載の遠隔操作システム。
  3. 前記遠隔操作システムは、前記補正情報を記憶するサーバを更に備える請求項1記載の遠隔操作システム。
  4. 前記従操作装置は、前記建設機械の型式情報と前記従操作装置の型式情報とを予め記憶する第2メモリーを更に備え、
    前記第1通信部は、前記主操作装置から前記建設機械の型式情報と前記従操作装置の型式情報との取得要求を受信した場合、前記第2メモリーに記憶されている前記建設機械の型式情報と前記従操作装置の型式情報とを前記主操作装置に送信する請求項1〜3のいずれかに記載の遠隔操作システム。
  5. 前記補正情報は、前記従操作装置の前記操作機構が対応可能な操作量の最大値より大きな操作量が前記従操作装置に入力されないように、前記遠隔操作部材のストロークを規制する規制値を予め登録する請求項1〜4のいずれかに記載の遠隔操作システム。
  6. 建設機械の操作部材を直接操作する従操作装置に対して通信可能に接続され、前記建設機械を遠隔操作するための主操作装置であって、
    前記従操作装置から送信された前記建設機械の型式情報と前記従操作装置の型式情報とを受信する通信部と、
    オペレータからの操作を受け付ける遠隔操作部材と、
    前記通信部により受信された前記建設機械の型式情報と前記従操作装置の型式情報との組み合わせに対応する補正値を補正情報から取得し、取得した前記補正値に基づいて、前記遠隔操作部材が受け付けた操作量を補正し、前記通信部に送信させるコントローラとを備え、
    前記補正情報は、前記従操作装置の操作特性を前記主操作装置の操作特性に一致させるための補正値を、前記建設機械の型式情報及び前記従操作装置の型式情報の組み合わせパターンと対応付けて登録する主操作装置。
JP2018055949A 2018-03-23 2018-03-23 遠隔操作システム及び主操作装置 Active JP6922806B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018055949A JP6922806B2 (ja) 2018-03-23 2018-03-23 遠隔操作システム及び主操作装置
CN201880090519.XA CN111788356B (zh) 2018-03-23 2018-12-11 远程操作系统及主操作装置
US16/979,409 US11466431B2 (en) 2018-03-23 2018-12-11 Remote operation system and main operating device
PCT/JP2018/045568 WO2019181103A1 (ja) 2018-03-23 2018-12-11 遠隔操作システム及び主操作装置
EP18910268.4A EP3744905B1 (en) 2018-03-23 2018-12-11 Remote operation system and main operating device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018055949A JP6922806B2 (ja) 2018-03-23 2018-03-23 遠隔操作システム及び主操作装置

Publications (2)

Publication Number Publication Date
JP2019167732A JP2019167732A (ja) 2019-10-03
JP6922806B2 true JP6922806B2 (ja) 2021-08-18

Family

ID=67986118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018055949A Active JP6922806B2 (ja) 2018-03-23 2018-03-23 遠隔操作システム及び主操作装置

Country Status (5)

Country Link
US (1) US11466431B2 (ja)
EP (1) EP3744905B1 (ja)
JP (1) JP6922806B2 (ja)
CN (1) CN111788356B (ja)
WO (1) WO2019181103A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6894464B2 (ja) * 2019-04-22 2021-06-30 株式会社小松製作所 作業機械、作業機械の制御方法、施工管理装置および施工管理装置の制御方法
JP7268579B2 (ja) * 2019-11-01 2023-05-08 コベルコ建機株式会社 油圧作業機及び遠隔操縦システム
JP7306260B2 (ja) * 2019-12-26 2023-07-11 コベルコ建機株式会社 建設機械の遠隔操縦システム
JP2022121138A (ja) 2021-02-08 2022-08-19 コベルコ建機株式会社 遠隔操作支援システム、遠隔操作支援方法および遠隔操作支援複合システム
JP7170084B2 (ja) * 2021-04-02 2022-11-11 日立建機株式会社 作業機械制御システム
US11885102B2 (en) * 2021-12-20 2024-01-30 Caterpillar Inc. Visual overlays for indicating stopping distances of remote controlled machines

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3398009B2 (ja) * 1997-04-07 2003-04-21 株式会社フジタ 遠隔操作システム
JP3637523B2 (ja) 1997-11-17 2005-04-13 清水建設株式会社 油圧制御機械
JP2002038528A (ja) * 2000-07-21 2002-02-06 Nippon Sharyo Seizo Kaisha Ltd モニタ・リモコン端末装置及び搬送システム
JP2005204256A (ja) 2004-01-19 2005-07-28 Hitachi Constr Mach Co Ltd 建設機械及び建設機械の無線遠隔操縦システム
WO2006028966A1 (en) 2004-09-01 2006-03-16 Siemens Energy & Automation, Inc. Method for an autonomous loading shovel
KR100883224B1 (ko) 2006-12-26 2009-02-13 명한산업개발(주) 무선 제어가 가능한 건축물 철거용 굴삭기
US8428791B2 (en) * 2009-01-20 2013-04-23 Husqvarna Ab Control system for a remote control work machine
KR101369840B1 (ko) 2011-12-28 2014-03-06 고려대학교 산학협력단 굴삭기의 원격 조종 시스템
EP2903248B1 (en) * 2012-09-28 2020-06-24 Kubota Corporation Data communication system for work machine
WO2014177755A1 (en) * 2013-04-30 2014-11-06 Tana Oy Work machine control
JP6453752B2 (ja) * 2014-11-28 2019-01-16 株式会社小松製作所 通信システムおよび作業車両
CA2980693C (en) * 2015-03-31 2019-09-24 Komatsu Ltd. Working machine
JP6473648B2 (ja) * 2015-04-03 2019-02-20 コーワテック株式会社 遠隔操作ロボット
US10794047B2 (en) * 2015-07-15 2020-10-06 Komatsu Ltd. Display system and construction machine
WO2016047806A1 (ja) * 2015-09-30 2016-03-31 株式会社小松製作所 クローラ式作業機械の周辺監視装置

Also Published As

Publication number Publication date
US20210079621A1 (en) 2021-03-18
EP3744905A1 (en) 2020-12-02
EP3744905A4 (en) 2021-04-21
JP2019167732A (ja) 2019-10-03
EP3744905B1 (en) 2023-11-15
CN111788356B (zh) 2022-05-03
WO2019181103A1 (ja) 2019-09-26
CN111788356A (zh) 2020-10-16
US11466431B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
JP6922806B2 (ja) 遠隔操作システム及び主操作装置
US10921771B2 (en) Method and device for planning and/or controlling and/or simulating the operation of a construction machine
EP3779853B1 (en) Skill evaluation system, skill evaluation method, and recording medium
JP7040304B2 (ja) 施工管理システム
JP7247769B2 (ja) 遠隔操作システム
JP2016098535A (ja) ショベル支援システム及びショベル支援装置
JP2016079677A (ja) 領域制限掘削制御装置及び建設機械
US20210040705A1 (en) Construction machine
JP2000327294A (ja) 作業用具の協働制御を行うための装置及びその方法
CN109467010A (zh) 用于借助起重机移动负载的方法
WO2019187561A1 (ja) 作業機械操縦装置
US20220220706A1 (en) Remote operation system
US11732440B2 (en) Remote operation system and remote operation server
WO2020031864A1 (ja) 制御端末
JP2020002709A (ja) 作業機械
US20090306826A1 (en) Vibrating Plate System
WO2021106279A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
US20220250638A1 (en) Remote operation support system, remote operation support method and remote operation supporting complex system
JP2689250B2 (ja) トンネル用掘進機の姿勢制御装置
JP2020045714A (ja) 作業機械
EP4130901A1 (en) Controller and system construction method
EP4060129A1 (en) Remote operation support system and remote operation support method
WO2021131228A1 (ja) 作業支援サーバ、作業支援方法および作業支援システム
WO2023182387A1 (ja) 遠隔操縦システム
JP2019068785A (ja) 作業車両の作業設定システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210712

R150 Certificate of patent or registration of utility model

Ref document number: 6922806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150