JP6821864B2 - 表示制御システム、表示制御装置及び表示制御方法 - Google Patents
表示制御システム、表示制御装置及び表示制御方法 Download PDFInfo
- Publication number
- JP6821864B2 JP6821864B2 JP2020547440A JP2020547440A JP6821864B2 JP 6821864 B2 JP6821864 B2 JP 6821864B2 JP 2020547440 A JP2020547440 A JP 2020547440A JP 2020547440 A JP2020547440 A JP 2020547440A JP 6821864 B2 JP6821864 B2 JP 6821864B2
- Authority
- JP
- Japan
- Prior art keywords
- unmanned aerial
- aerial vehicle
- operator
- determination
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 72
- 238000012545 processing Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Description
Claims (18)
- 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含み、
前記判定手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かをさらに判定し、
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かの判定結果に応じて、前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする表示制御システム。 - 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含み、
前記判定手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かをさらに判定し、
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かの判定結果に応じて、前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする表示制御システム。 - 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、
前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段と、
を含むことを特徴とする表示制御システム。 - 前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記表示部に前記航空機撮影画像を表示させるか否かを制御する、
ことを特徴とする請求項1から3のいずれか一項に記載の表示制御システム。 - 前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記表示部に表示される前記航空機撮影画像のサイズを制御する、
ことを特徴とする請求項1から3のいずれか一項に記載の表示制御システム。 - 前記判定手段は、前記無人航空機と前記操縦者との間の距離に基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する、
ことを特徴とする請求項1から5のいずれか一項に記載の表示制御システム。 - 前記判定手段は、前記操縦者の視野の範囲と、前記無人航空機の位置と、に基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する、
ことを特徴とする請求項1から6のいずれか一項に記載の表示制御システム。 - 前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記操縦者が装着するヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする請求項1から7のいずれか一項に記載の表示制御システム。 - 前記表示制御手段は、前記操縦者により前記無人航空機が視認可能であると判定される場合は、前記航空機撮影画像が前記表示部に表示されず前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像が前記表示部に表示されるよう制御し、前記操縦者により前記無人航空機が視認可能であると判定されない場合は、前記操縦者撮影画像が前記表示部に表示されず前記航空機撮影画像が前記表示部に表示されるよう制御する、
ことを特徴とする請求項1から8のいずれか一項に記載の表示制御システム。 - 前記判定手段は、前記操縦者の頭部に配置されたカメラにより撮影される操縦者撮影画像に基づいて、前記無人航空機を前記操縦者が目視しているか否かを判定する、
ことを特徴とする請求項1から8のいずれか一項に記載の表示制御システム。 - 前記判定手段は、前記操縦者が装着するヘッドマウントディスプレイが備えるカメラが撮影する操縦者撮影画像に基づいて、前記無人航空機を前記操縦者が目視しているか否かを判定し、
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、前記ヘッドマウントディスプレイが備える前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする請求項1から8のいずれか一項に記載の表示制御システム。 - 前記表示制御手段は、前記操縦者により前記無人航空機が視認可能であると判定される場合は、前記航空機撮影画像が前記表示部に表示されず前記操縦者撮影画像が前記表示部に表示されるよう制御し、前記操縦者により前記無人航空機が視認可能であると判定されない場合は、前記操縦者撮影画像が前記表示部に表示されず前記航空機撮影画像が前記表示部に表示されるよう制御する、
ことを特徴とする請求項10又は11に記載の表示制御システム。 - 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含み、
前記判定手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かをさらに判定し、
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かの判定結果に応じて、前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする表示制御装置。 - 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、を含み、
前記判定手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かをさらに判定し、
前記表示制御手段は、前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かの判定結果に応じて、前記表示部における前記航空機撮影画像の表示状態を制御する、
ことを特徴とする表示制御装置。 - 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得する画像取得手段と、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定する判定手段と、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御する表示制御手段と、
前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供する案内手段と、
を含むことを特徴とする表示制御装置。 - 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定するステップと、
前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かを判定するステップと、
前記無人航空機を前記操縦者が目視していないとの判定が所定回数連続して行われたか否かの判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、
を含むことを特徴とする表示制御方法。 - 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定するステップと、
前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かにより前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かを判定するステップと、
前記無人航空機を前記操縦者が目視していないとの判定が所定時間にわたって継続したか否かの判定結果に応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、
を含むことを特徴とする表示制御方法。 - 飛行中の無人航空機が備えるカメラにより撮影される航空機撮影画像を取得するステップと、
前記無人航空機及び当該無人航空機の操縦者のうちの少なくとも一方に関するセンシングデータに基づいて、当該無人航空機を当該操縦者が目視しているか否かを判定するステップと、
前記無人航空機を前記操縦者が目視していないとの判定が継続しているか否かに応じて、表示部における前記航空機撮影画像の表示状態を制御するステップと、
前記操縦者が前記無人航空機を目視していない場合に、前記無人航空機を目視できるよう前記操縦者を案内する案内情報を前記操縦者に提供するステップと、
を含むことを特徴とする表示制御方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/044182 WO2020110293A1 (ja) | 2018-11-30 | 2018-11-30 | 表示制御システム、表示制御装置及び表示制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6821864B2 true JP6821864B2 (ja) | 2021-01-27 |
JPWO2020110293A1 JPWO2020110293A1 (ja) | 2021-02-15 |
Family
ID=70854149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020547440A Active JP6821864B2 (ja) | 2018-11-30 | 2018-11-30 | 表示制御システム、表示制御装置及び表示制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11492115B2 (ja) |
JP (1) | JP6821864B2 (ja) |
CN (1) | CN112119013A (ja) |
WO (1) | WO2020110293A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112105559A (zh) * | 2018-11-30 | 2020-12-18 | 乐天株式会社 | 显示控制系统、显示控制装置及显示控制方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4012749B2 (ja) | 2002-03-14 | 2007-11-21 | 国立大学法人 奈良先端科学技術大学院大学 | 遠隔操縦システム |
US8521339B2 (en) * | 2008-09-09 | 2013-08-27 | Aeryon Labs Inc. | Method and system for directing unmanned vehicles |
KR101529863B1 (ko) * | 2012-03-25 | 2015-06-19 | 인텔 코포레이션 | 절전을 위한 방법 및 장치 |
US9459620B1 (en) * | 2014-09-29 | 2016-10-04 | Amazon Technologies, Inc. | Human interaction with unmanned aerial vehicles |
KR101546717B1 (ko) * | 2015-02-23 | 2015-08-25 | 김영권 | 무인비행체가 탑재된 이동통신단말기 |
KR20160138806A (ko) * | 2015-05-26 | 2016-12-06 | 엘지전자 주식회사 | 글래스타입 단말기 및 그 제어방법 |
WO2017022179A1 (ja) * | 2015-08-06 | 2017-02-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器 |
JP6682379B2 (ja) | 2015-08-06 | 2020-04-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器 |
JP6633460B2 (ja) * | 2015-09-04 | 2020-01-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 通知方法、通知装置及び端末 |
CN105460217B (zh) * | 2015-12-03 | 2017-11-14 | 北京奇虎科技有限公司 | 一种基于无人飞行器的续拍方法和无人飞行器 |
JP7120002B2 (ja) * | 2016-03-31 | 2022-08-17 | 株式会社ニコン | 飛行装置 |
US10409276B2 (en) * | 2016-12-21 | 2019-09-10 | Hangzhou Zero Zero Technology Co., Ltd. | System and method for controller-free user drone interaction |
JP6919206B2 (ja) * | 2017-01-27 | 2021-08-18 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
JP6699944B2 (ja) * | 2017-03-27 | 2020-05-27 | 東芝情報システム株式会社 | 表示システム |
CN108664037B (zh) * | 2017-03-28 | 2023-04-07 | 精工爱普生株式会社 | 头部佩戴型显示装置以及无人机的操纵方法 |
JP2018165066A (ja) * | 2017-03-28 | 2018-10-25 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法 |
US10678238B2 (en) * | 2017-12-20 | 2020-06-09 | Intel IP Corporation | Modified-reality device and method for operating a modified-reality device |
CN112105559A (zh) * | 2018-11-30 | 2020-12-18 | 乐天株式会社 | 显示控制系统、显示控制装置及显示控制方法 |
-
2018
- 2018-11-30 CN CN201880093253.4A patent/CN112119013A/zh active Pending
- 2018-11-30 JP JP2020547440A patent/JP6821864B2/ja active Active
- 2018-11-30 WO PCT/JP2018/044182 patent/WO2020110293A1/ja active Application Filing
- 2018-11-30 US US17/043,658 patent/US11492115B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2020110293A1 (ja) | 2021-02-15 |
WO2020110293A1 (ja) | 2020-06-04 |
CN112119013A (zh) | 2020-12-22 |
US11492115B2 (en) | 2022-11-08 |
US20210031916A1 (en) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11046429B2 (en) | Head mounted display and method for maneuvering vehicle | |
US10377487B2 (en) | Display device and display control method | |
US20190049949A1 (en) | Modified-reality device and method for operating a modified-reality device | |
JP6831949B2 (ja) | 表示制御システム、表示制御装置及び表示制御方法 | |
CN107205111B (zh) | 摄像装置、移动装置、摄像系统、摄像方法和记录介质 | |
JP2018165066A (ja) | 頭部装着型表示装置およびその制御方法 | |
KR101408077B1 (ko) | 가상 영상을 이용한 무인기 조종 장치 및 방법 | |
JP2003267295A (ja) | 遠隔操縦システム | |
US11815690B2 (en) | Head mounted display symbology concepts and implementations, associated with a reference vector | |
JP6821864B2 (ja) | 表示制御システム、表示制御装置及び表示制御方法 | |
JP7024997B2 (ja) | 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法 | |
US11262749B2 (en) | Vehicle control system | |
JP6890759B2 (ja) | 飛行経路案内システム、飛行経路案内装置及び飛行経路案内方法 | |
JP6699944B2 (ja) | 表示システム | |
EP4047434B1 (en) | Apparatus, method and software for assisting an operator in flying a drone using a remote controller and ar glasses | |
KR20180060403A (ko) | 영상 기반의 드론 제어장치 | |
KR101896239B1 (ko) | 모션인식을 이용한 드론 제어 시스템 | |
KR102019942B1 (ko) | 시뮬레이션 멀미 탐지 및 조종객체 제어 장치와 방법 | |
WO2023137758A1 (zh) | 可移动平台的控制方法、头戴式设备、系统和存储介质 | |
JP2021091276A (ja) | 移動体用操縦支援方法及び移動体用操縦支援システム | |
KR20200074023A (ko) | 상대 항법 정보를 활용한 증강 현실 기반 무인 이동체 제어 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200910 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200910 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200910 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6821864 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |