JP7109699B1 - 遠隔操作システム - Google Patents
遠隔操作システム Download PDFInfo
- Publication number
- JP7109699B1 JP7109699B1 JP2022508872A JP2022508872A JP7109699B1 JP 7109699 B1 JP7109699 B1 JP 7109699B1 JP 2022508872 A JP2022508872 A JP 2022508872A JP 2022508872 A JP2022508872 A JP 2022508872A JP 7109699 B1 JP7109699 B1 JP 7109699B1
- Authority
- JP
- Japan
- Prior art keywords
- haptic
- target
- remote control
- marker
- control system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 162
- 230000005540 biological transmission Effects 0.000 claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 239000003550 marker Substances 0.000 claims description 207
- 238000003384 imaging method Methods 0.000 claims description 132
- 230000009209 sensory transmission Effects 0.000 claims description 109
- 230000001953 sensory effect Effects 0.000 claims description 29
- 238000001914 filtration Methods 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 4
- 230000035807 sensation Effects 0.000 abstract description 13
- 230000033001 locomotion Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 82
- 239000012636 effector Substances 0.000 description 82
- 230000006870 function Effects 0.000 description 69
- 230000000694 effects Effects 0.000 description 22
- 230000003993 interaction Effects 0.000 description 12
- 238000000034 method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 239000012141 concentrate Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/02—Hand grip control means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J3/00—Manipulators of master-slave type, i.e. both controlling unit and controlled unit perform corresponding spatial movements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40122—Manipulate virtual object, for trajectory planning of real object, haptic display
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40553—Haptic object recognition
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40619—Haptic, combination of tactile and proprioceptive sensing
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
Description
図1は、実施の形態1に係る遠隔操作システム1の構成を示す図である。遠隔操作システム1は、オペレータ1000の運動操作であるオペレータ操作1000aを入力とする運動操作伝達装置1200を有する。図1には、オペレータ1000も示されている。運動操作伝達装置1200は、オペレータ操作1000aに対応する運動伝達情報1200aを出力する。
実施の形態2に係る遠隔操作システムの構成は、実施の形態1に係る遠隔操作システム1の構成と同じである。しかしながら、実施の形態2と実施の形態1とでは、光強度制御式発光器2600の機能が異なる。実施の形態2では、光強度制御式発光器2600は、光の強度を変えて発光するのではなく、力触覚検知装置2300のターゲット4000との接触の状態を色相及び点灯周波数の変化で表現して発光する。
図6は、実施の形態3に係る遠隔操作システム3の構成を示す図である。遠隔操作システム3は、オペレータ1000の運動操作であるオペレータ操作1000aを入力とする運動操作伝達装置1200を有する。図6には、オペレータ1000も示されている。運動操作伝達装置1200は、オペレータ操作1000aに対応する運動伝達情報1200aを出力する。
実施の形態4に係る遠隔操作システムの構成は、実施の形態3に係る遠隔操作システム3の構成と同じである。しかしながら、実施の形態4と実施の形態3とでは、重畳映像3201が異なる。実施の形態3では、重畳映像3201は点灯映像の強度を示す。実施の形態4では、重畳映像3201は、点灯映像の強度を示すのではなく、力触覚検知装置2300のターゲット4000との接触の状態を色相及び点灯周波数の変化で表現する。
実施の形態5に係る遠隔操作システムの構成は、実施の形態3に係る遠隔操作システム3の構成と同じである。しかしながら、実施の形態5の視覚ベース感覚伝達装置3200が有する機能は、実施の形態3の視覚ベース感覚伝達装置3200が有する機能と異なる。実施の形態5では、実施の形態3との相違点を主に説明する。
実施の形態6に係る遠隔操作システムの構成は、実施の形態3に係る遠隔操作システム3の構成と同じである。しかしながら、実施の形態6の視覚ベース感覚伝達装置3200が有する機能は、実施の形態3の視覚ベース感覚伝達装置3200が有する機能と異なる。実施の形態6では、実施の形態3との相違点を主に説明する。
実施の形態7に係る遠隔操作システムの構成は、実施の形態6に係る遠隔操作システムの構成と同じである。しかしながら、実施の形態7の視覚ベース感覚伝達装置3200が有する機能は、実施の形態6の視覚ベース感覚伝達装置3200が有する機能と異なる。実施の形態7では、実施の形態6との相違点を主に説明する。
実施の形態8に係る遠隔操作システムの構成は、実施の形態3に係る遠隔操作システム3の構成と同じである。しかしながら、実施の形態8の視覚ベース感覚伝達装置3200が有する機能は、実施の形態3の視覚ベース感覚伝達装置3200が有する機能と異なる。実施の形態8では、実施の形態3との相違点を主に説明する。
図24は、実施の形態9に係る遠隔操作システム9の構成を示す図である。遠隔操作システム9は、実施の形態3から実施の形態8までのいずれかに係る遠隔操作システムが有する運動操作伝達装置1200、エッジ機器2000、撮像装置3000、視覚ベース感覚伝達装置3200及び視覚提示装置1100を有する。実施の形態9では、エッジ機器2000が有するパッシブマーカ2500は、アクティブマーカ2400に変更されている。図24には、オペレータ1000及びターゲット4000も示されている。
図34は、実施の形態10に係る遠隔操作システム10の構成を示す図である。遠隔操作システム10は、実施の形態1に係る遠隔操作システム1が有するすべての構成要素を有する。遠隔操作システム10のエッジ機器2000は、エンドエフェクタ2100に取り付けられたツール2200を更に有する。実施の形態10では、力触覚検知装置2300及び光強度制御式発光器2600は、ターゲット4000に接触する先端部に取り付けられている。
図37は、実施の形態11に係る遠隔操作システム11の構成を示す図である。遠隔操作システム11は、実施の形態3から実施の形態8までのいずれかの遠隔操作システムが有するすべての構成要素を有する。遠隔操作システム11のエッジ機器2000は、エンドエフェクタ2100に取り付けられたツール2200を更に有する。実施の形態11では、力触覚検知装置2300及びパッシブマーカ2500は、ターゲット4000に接触する先端部に取り付けられている。
図42は、実施の形態12に係る遠隔操作システム12の構成を示す図である。遠隔操作システム12は、実施の形態11に係る遠隔操作システム11のパッシブマーカ2500がアクティブマーカ2400に変更されたシステムである。実施の形態12では、力触覚検知装置2300及びアクティブマーカ2400は、ターゲット4000に接触する先端部に取り付けられている。
図52は、実施の形態13に係る遠隔操作システム13の構成を示す図である。遠隔操作システム13は、実施の形態12に係る遠隔操作システム12が有する視覚ベース感覚伝達装置3200に運動伝達情報1200aが入力されるシステムである。図53は、実施の形態13に係る遠隔操作システム13が有する視覚ベース感覚伝達装置3200の機能を示す図である。視覚ベース感覚伝達装置3200は、エッジ機器2000のモデル情報であるエッジ機器モデル情報3400aを記憶しているエッジ機器モデル記憶部3400を有する。エッジ機器モデル記憶部3400は、エッジ機器2000がターゲット4000とコンタクトするポイントの幾何学的な情報を記憶する。例えば、エッジ機器モデル記憶部3400は半導体メモリによって実現される。
実施の形態13では、アクティブマーカ2400はツール2200に取り付けられている。実施の形態14では、アクティブマーカ2400は、ツール2200ではなく、エンドエフェクタ2100に取り付けられている。つまり、実施の形態13と実施の形態14とでは、アクティブマーカ2400が取り付けられている構成要素が異なる。
実施の形態13では、力触覚検知装置2300はツール2200に取り付けられている。実施の形態15では、力触覚検知装置2300は、ツール2200ではなく、エンドエフェクタ2100に取り付けられている。つまり、実施の形態13と実施の形態15とでは、力触覚検知装置2300が取り付けられている構成要素が異なる。
実施の形態16では、図示されないが、実施の形態13及び実施の形態14に示されるようにアクティブマーカ2400をターゲット4000との接触点以外の場所に取り付けるという構成が、実施の形態3、4、5、6、7、8及び11の構成に適用される。
実施の形態17では、図示されないが、実施の形態15に示されるように力触覚検知装置2300をターゲット4000との接触点以外の場所に取り付けるという構成が、実施の形態3、4、5、6、7、8、11及び16の構成に適用される。
実施の形態18では、図示されないが、実施の形態3、4、5、6、7、8、9、11、12、13、14、15、16及び17のいずれかにおける力触覚検知装置2300は、ターゲット4000と接触する前から検知可能な機能を有する。
実施の形態19では、図示されないが、実施の形態1、2、3、4、5、6、7、8、9、11、12、13、14、15、16、17及び18のいずれかにおいて力触覚検知装置2300が、ターゲット4000を検知した場合に視覚的力触覚映像情報3250aだけでなく、検知距離、検知力、検知触覚、あるいは、これら3つの組合せに応じた、音の大きな、音程、音色、あるいは、これら3つを組み合わせた聴覚情報を同時に伝達する機能を有する。
Claims (10)
- ターゲットに接触するエッジ機器と、
前記エッジ機器を操作するためのオペレータ操作を受け付けて前記オペレータ操作に対応する運動伝達情報を前記エッジ機器に出力する運動操作伝達装置と、
前記ターゲット及び前記エッジ機器の映像を表示する視覚表示装置と、を備え、
前記エッジ機器は、
前記ターゲットに対する力触覚を検知する力触覚検知装置と、
前記力触覚検知装置によって検知された力触覚を検知された前記力触覚の大きさに対応する光の強度を特定する信号に変換する力触覚光変換器と、
前記力触覚光変換器によって得られた信号に対応する強度の光を発する光強度制御式発光器と、
を有することを特徴とする遠隔操作システム。 - ターゲットに接触するエッジ機器と、
前記エッジ機器を操作するためのオペレータ操作を受け付けて前記オペレータ操作に対応する運動伝達情報を前記エッジ機器に出力する運動操作伝達装置と、
前記ターゲット及び前記エッジ機器を撮像する撮像装置と、
前記ターゲット及び前記エッジ機器の映像を表示する視覚表示装置と、
視覚ベース感覚伝達装置と、を備え、
前記エッジ機器は、
前記ターゲットに対する力触覚を検知する力触覚検知装置と、
パッシブマーカと、を有し、
前記視覚ベース感覚伝達装置は、
前記パッシブマーカの位置を同定するマーカポイント同定機能と、
前記力触覚検知装置によって検知された力触覚を示す力触覚情報に対応する映像を示す視覚的力触覚映像情報を生成する視覚的力触覚映像生成機能と、
前記マーカポイント同定機能によって得られたマーカポイント同定情報と、前記視覚的力触覚映像生成機能によって得られた視覚的力触覚映像情報と、前記撮像装置によって得られた撮像情報とを重畳する重畳機能と、
を有することを特徴とする遠隔操作システム。 - 前記視覚ベース感覚伝達装置は、検出された前記パッシブマーカをフィルタリングするためのマーカフィルタ情報を生成するマーカフィルタ機能を更に有する
ことを特徴とする請求項2に記載の遠隔操作システム。 - 前記エッジ機器が前記パッシブマーカを複数有する場合であって、前記パッシブマーカのひとつが前記ターゲットにより遮蔽されて前記撮像情報から消失した場合に、
前記視覚ベース感覚伝達装置は、他の前記パッシブマーカが前記撮像情報に存在するとき、前記撮像情報と前記マーカポイント同定情報とをもとに消失したマーカポイントを推定するマーカポイント推定機能を更に有する
ことを特徴とする請求項2又は3に記載の遠隔操作システム。 - 前記視覚ベース感覚伝達装置は、前記撮像情報をもとに、人が認知しやすい力触覚映像パターンを選定する力触覚映像パターン選定情報と、自然に馴染んだ映像を選定するマーカフィルタ映像選定情報と、を生成する画像分析機能を更に有する
ことを特徴とする請求項2から4のいずれか1項に記載の遠隔操作システム。 - ターゲットに接触するエッジ機器と、
前記エッジ機器を操作するためのオペレータ操作を受け付けて前記オペレータ操作に対応する運動伝達情報を前記エッジ機器に出力する運動操作伝達装置と、
前記ターゲット及び前記エッジ機器を撮像する撮像装置と、
前記ターゲット及び前記エッジ機器の映像を表示する視覚表示装置と、
視覚ベース感覚伝達装置と、
前記撮像装置によって得られた撮像情報をもとに検出可能なマーカを生成するためのアクティブマーカ制御信号とマーカ情報とを生成するアクティブマーカ制御装置と、を備え、
前記エッジ機器は、
前記ターゲットに対する力触覚を検知する力触覚検知装置と、
前記アクティブマーカ制御装置によって生成された前記アクティブマーカ制御信号によって制御されるアクティブマーカと、を有し、
前記視覚ベース感覚伝達装置は、
前記アクティブマーカの位置を同定するマーカポイント同定機能と、
前記力触覚検知装置によって検知された力触覚を示す力触覚情報に対応する映像を示す視覚的力触覚映像情報を生成する視覚的力触覚映像生成機能と、
前記マーカポイント同定機能によって得られたマーカポイント同定情報と、前記視覚的力触覚映像生成機能によって得られた視覚的力触覚映像情報と、前記撮像装置によって得られた撮像情報とを重畳する重畳機能と、
を有することを特徴とする遠隔操作システム。 - 前記エッジ機器に設けられた前記力触覚検知装置及び前記光強度制御式発光器は、前記ターゲットに接触する先端部に取り付けられている
ことを特徴とする請求項1に記載の遠隔操作システム。 - 前記エッジ機器に設けられた前記力触覚検知装置及び前記パッシブマーカは、前記ターゲットに接触する先端部に取り付けられている
ことを特徴とする請求項2から5のいずれか1項に記載の遠隔操作システム。 - 前記エッジ機器に設けられた前記力触覚検知装置及び前記アクティブマーカは、前記ターゲットに接触する先端部に取り付けられている
ことを特徴とする請求項6に記載の遠隔操作システム。 - 前記視覚ベース感覚伝達装置は、前記エッジ機器が前記ターゲットとコンタクトするポイントの幾何学的な情報を記憶するエッジ機器モデル記憶部を有する
ことを特徴とする請求項2から6、8及び9のいずれか1項に記載の遠隔操作システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/025584 WO2023281648A1 (ja) | 2021-07-07 | 2021-07-07 | 遠隔操作システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP7109699B1 true JP7109699B1 (ja) | 2022-07-29 |
JPWO2023281648A1 JPWO2023281648A1 (ja) | 2023-01-12 |
JPWO2023281648A5 JPWO2023281648A5 (ja) | 2023-06-13 |
Family
ID=82652287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022508872A Active JP7109699B1 (ja) | 2021-07-07 | 2021-07-07 | 遠隔操作システム |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4368351A1 (ja) |
JP (1) | JP7109699B1 (ja) |
CN (1) | CN117580689A (ja) |
WO (1) | WO2023281648A1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014079824A (ja) * | 2012-10-15 | 2014-05-08 | Toshiba Corp | 作業画面表示方法および作業画面表示装置 |
WO2016113836A1 (ja) * | 2015-01-13 | 2016-07-21 | 株式会社日立製作所 | マニプレータ制御方法、システム、およびマニプレータ |
JP2017104944A (ja) * | 2015-12-10 | 2017-06-15 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
JP2019000918A (ja) * | 2017-06-12 | 2019-01-10 | 日立Geニュークリア・エナジー株式会社 | 作業用ロボットのアーム姿勢制御システムおよび方法 |
WO2019059364A1 (ja) * | 2017-09-22 | 2019-03-28 | 三菱電機株式会社 | 遠隔制御マニピュレータシステムおよび制御装置 |
JP2020156800A (ja) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | 医療用アームシステム、制御装置、及び制御方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6891344B2 (ja) | 2018-05-25 | 2021-06-18 | 株式会社メルティンMmi | 動き検出装置 |
-
2021
- 2021-07-07 EP EP21949282.4A patent/EP4368351A1/en active Pending
- 2021-07-07 WO PCT/JP2021/025584 patent/WO2023281648A1/ja active Application Filing
- 2021-07-07 CN CN202180100061.3A patent/CN117580689A/zh active Pending
- 2021-07-07 JP JP2022508872A patent/JP7109699B1/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014079824A (ja) * | 2012-10-15 | 2014-05-08 | Toshiba Corp | 作業画面表示方法および作業画面表示装置 |
WO2016113836A1 (ja) * | 2015-01-13 | 2016-07-21 | 株式会社日立製作所 | マニプレータ制御方法、システム、およびマニプレータ |
JP2017104944A (ja) * | 2015-12-10 | 2017-06-15 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
JP2019000918A (ja) * | 2017-06-12 | 2019-01-10 | 日立Geニュークリア・エナジー株式会社 | 作業用ロボットのアーム姿勢制御システムおよび方法 |
WO2019059364A1 (ja) * | 2017-09-22 | 2019-03-28 | 三菱電機株式会社 | 遠隔制御マニピュレータシステムおよび制御装置 |
JP2020156800A (ja) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | 医療用アームシステム、制御装置、及び制御方法 |
Also Published As
Publication number | Publication date |
---|---|
EP4368351A1 (en) | 2024-05-15 |
WO2023281648A1 (ja) | 2023-01-12 |
JPWO2023281648A1 (ja) | 2023-01-12 |
CN117580689A (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10500720B2 (en) | Display control device, display control method, computer program product, and communication system | |
JP6598617B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7052845B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US10474411B2 (en) | System and method for alerting VR headset user to real-world objects | |
JP6601402B2 (ja) | 制御装置、制御方法およびプログラム | |
US9697610B2 (en) | Information processing device and information processing method | |
US20120182155A1 (en) | Danger presentation device, danger presentation system, danger presentation method and program | |
JP2022535315A (ja) | 自己触覚型仮想キーボードを有する人工現実システム | |
JP2000102036A (ja) | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 | |
JP2008040556A (ja) | 複合現実感提示装置及びその制御方法、プログラム | |
TW202105129A (zh) | 具有用於閘控使用者介面元件的個人助理元件之人工實境系統 | |
EP3422152A1 (en) | Remote operation device, remote operation method, remote operation system, and program | |
WO2016208261A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2022534639A (ja) | 指マッピング自己触覚型入力方法を有する人工現実システム | |
CN111813214B (zh) | 虚拟内容的处理方法、装置、终端设备及存储介质 | |
CN110554773A (zh) | 用于产生定向声音和触觉感觉的触觉装置 | |
US20210272329A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP3933139B2 (ja) | コマンド入力装置 | |
US20220152475A1 (en) | Boundary display control device, boundary display control method, and program | |
JP2009031981A (ja) | インタフェース装置、インタフェース方法及びインタフェースプログラム | |
JP7109699B1 (ja) | 遠隔操作システム | |
US10747308B2 (en) | Line-of-sight operation apparatus, method, and medical device | |
JP2014099105A (ja) | 視線誘導装置及びプログラム | |
WO2020154971A1 (en) | Electronic device and control method therefor | |
US20210256865A1 (en) | Display system, server, display method, and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220210 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7109699 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |