JP6814431B2 - コンピュータシステム、ドローン制御方法及びプログラム - Google Patents
コンピュータシステム、ドローン制御方法及びプログラム Download PDFInfo
- Publication number
- JP6814431B2 JP6814431B2 JP2020501973A JP2020501973A JP6814431B2 JP 6814431 B2 JP6814431 B2 JP 6814431B2 JP 2020501973 A JP2020501973 A JP 2020501973A JP 2020501973 A JP2020501973 A JP 2020501973A JP 6814431 B2 JP6814431 B2 JP 6814431B2
- Authority
- JP
- Japan
- Prior art keywords
- drone
- points
- image
- image analysis
- position coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000010191 image analysis Methods 0.000 claims description 77
- 230000008859 change Effects 0.000 claims description 28
- 238000000605 extraction Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 description 43
- 230000005540 biological transmission Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000003708 edge detection Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000001174 ascending effect Effects 0.000 description 3
- 238000002845 discoloration Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000005022 packaging material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
- B64C13/02—Initiating means
- B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
- B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/65—Control of camera operation in relation to power supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
- B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Astronomy & Astrophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステムを提供する。
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステムを提供する。
本発明の好適な実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態であるドローン制御システム1の概要を説明するための図である。ドローン制御システム1は、コンピュータ10、ドローン100から構成される。ドローン制御システム1は、ドローン100が有する撮影装置により撮影した動画や静止画等の画像を、コンピュータ10が取得し、取得した画像に基づいて、コンピュータ10が各種処理を実行するコンピュータシステムである。ドローン制御システム1は、コンピュータ10の処理結果に基づいて、ドローン100の飛行ルートの設定、波長の変更した画像の撮影等のドローン100に対する各種制御を実行する。
ドローン制御システム1の変形例についても説明する。この変形例において、上述した実施形態との相違点は、上述したステップS04の処理である。それ以外の処理については、詳細な説明を省略する。
図2に基づいて、本発明の好適な実施形態であるドローン制御システム1のシステム構成について説明する。図2は、本発明の好適な実施形態であるドローン制御システム1のシステム構成を示す図である。ドローン制御システム1は、コンピュータ10、ドローン100から構成され、ドローン100が有する撮影装置により撮影した動画や静止画等の画像を、公衆回線網5等を介して、コンピュータ10が取得し、取得した画像に基づいて、コンピュータ10が各種処理を実行するコンピュータシステムである。
図3に基づいて、本発明の好適な実施形態であるドローン制御システム1の機能について説明する。図3は、コンピュータ10、ドローン100の機能ブロック図を示す図である。
図4及び図5に基づいて、ドローン制御システム1が実行するドローン制御処理について説明する。図4及び図5は、コンピュータ10、ドローン100が実行するドローン制御処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
図6及び図7に基づいて、ドローン制御システム1が実行するドローン制御処理の変形例について説明する。図6及び図7は、コンピュータ10、ドローン100が実行するドローン制御処理の変形例のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
Claims (10)
- ドローンで撮影した画像を取得する画像取得手段と、
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ポイントが複数ある場合に、ポイントのエッジ変化量の大きい順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステム。 - 前記ポイントが複数ある場合に、
全てのポイントを飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項1に記載のコンピュータシステム。 - 前記ポイントが複数ある場合に、
ポイントの位置座標の近い順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項1に記載のコンピュータシステム。 - ドローンで撮影した画像を取得する画像取得手段と、
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステム。 - 前記ポイントが複数ある場合に、
全てのポイントを飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項4に記載のコンピュータシステム。 - 前記ポイントが複数ある場合に、
ポイントの位置座標の近い順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項4に記載のコンピュータシステム。 - コンピュータシステムが実行するドローン制御方法であって、
ドローンで撮影した画像を取得するステップと、
取得した前記画像を画像解析するステップと、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出するステップと、
抽出した前記ポイントの位置座標を取得するステップと、
前記ポイントが複数ある場合に、ポイントのエッジ変化量の大きい順に飛行するように前記ドローンの飛行ルートを設定するステップと、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップと、
を備えることを特徴とするドローン制御方法。 - コンピュータシステムが実行するドローン制御方法であって、
ドローンで撮影した画像を取得するステップと、
取得した前記画像を画像解析するステップと、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出するステップと、
抽出した前記ポイントの位置座標を取得するステップと、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップと、
を備えることを特徴とするドローン制御方法。 - コンピュータシステムに、
ドローンで撮影した画像を取得するステップ、
取得した前記画像を画像解析するステップ、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出するステップ、
抽出した前記ポイントの位置座標を取得するステップ、
前記ポイントが複数ある場合に、ポイントのエッジ変化量の大きい順に飛行するように前記ドローンの飛行ルートを設定するステップ、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。 - コンピュータシステムに、
ドローンで撮影した画像を取得するステップ、
取得した前記画像を画像解析するステップ、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出するステップ、
抽出した前記ポイントの位置座標を取得するステップ、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/006897 WO2019163118A1 (ja) | 2018-02-26 | 2018-02-26 | コンピュータシステム、ドローン制御方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019163118A1 JPWO2019163118A1 (ja) | 2020-12-03 |
JP6814431B2 true JP6814431B2 (ja) | 2021-01-20 |
Family
ID=67688235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020501973A Active JP6814431B2 (ja) | 2018-02-26 | 2018-02-26 | コンピュータシステム、ドローン制御方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11774969B2 (ja) |
JP (1) | JP6814431B2 (ja) |
CN (1) | CN112106342B (ja) |
WO (1) | WO2019163118A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021014699A1 (ja) * | 2019-07-19 | 2021-01-28 | 株式会社Nttドコモ | 情報処理装置 |
CN110830719A (zh) * | 2019-11-14 | 2020-02-21 | 苏州臻迪智能科技有限公司 | 取景范围确定方法及系统,拍摄控制方法及系统 |
JPWO2023089984A1 (ja) * | 2021-11-19 | 2023-05-25 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS54114231A (en) * | 1978-02-24 | 1979-09-06 | Shinichi Hosoda | Respiration converting system full drive nonndirectional dynamic speaker system |
JP6619547B2 (ja) | 2014-06-09 | 2019-12-11 | 株式会社イシダ | 検査装置 |
JP6387782B2 (ja) | 2014-10-17 | 2018-09-12 | ソニー株式会社 | 制御装置、制御方法及びコンピュータプログラム |
US20170336203A1 (en) * | 2014-10-26 | 2017-11-23 | Galileo Group, Inc. | Methods and systems for remote sensing with drones and mounted sensor devices |
JP2016178769A (ja) | 2015-03-19 | 2016-10-06 | 綜合警備保障株式会社 | 点検対象特定システム及び点検対象特定方法 |
JP6626970B2 (ja) * | 2016-06-14 | 2019-12-25 | 富士フイルム株式会社 | サーバ装置、画像処理システム及び画像処理方法 |
WO2018061176A1 (ja) | 2016-09-30 | 2018-04-05 | 株式会社オプティム | ドローン制御システム、ドローン制御方法及びプログラム |
CN106504363A (zh) | 2016-10-19 | 2017-03-15 | 广东容祺智能科技有限公司 | 一种智能机载双光巡检系统稳定平台自动跟踪方法 |
CN106856002B (zh) * | 2016-11-22 | 2020-06-26 | 上海大学 | 一种无人机拍摄图像质量评价方法 |
-
2018
- 2018-02-26 US US17/056,308 patent/US11774969B2/en active Active
- 2018-02-26 WO PCT/JP2018/006897 patent/WO2019163118A1/ja active Application Filing
- 2018-02-26 CN CN201880092742.8A patent/CN112106342B/zh active Active
- 2018-02-26 JP JP2020501973A patent/JP6814431B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US20210208604A1 (en) | 2021-07-08 |
US11774969B2 (en) | 2023-10-03 |
WO2019163118A1 (ja) | 2019-08-29 |
CN112106342A (zh) | 2020-12-18 |
CN112106342B (zh) | 2023-06-23 |
JPWO2019163118A1 (ja) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6814431B2 (ja) | コンピュータシステム、ドローン制御方法及びプログラム | |
JP6103948B2 (ja) | 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム | |
JP6259959B1 (ja) | ドローン制御システム、ドローン制御方法及びプログラム | |
US11206347B2 (en) | Object-tracking based slow-motion video capture | |
KR20200080402A (ko) | 비정상 상황 탐지 시스템 및 방법 | |
US10636174B2 (en) | Abnormality detection system, abnormality detection method, and program | |
US20160156844A1 (en) | Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium | |
JP6921031B2 (ja) | 制御装置及び撮影方法 | |
JP6775748B2 (ja) | コンピュータシステム、位置推測方法及びプログラム | |
WO2019163119A1 (ja) | コンピュータシステム、ドローン制御方法及びプログラム | |
JP6501091B1 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP6587006B2 (ja) | 動体検出装置、制御装置、移動体、動体検出方法、及びプログラム | |
JP2013149034A (ja) | 画像表示装置、画像表示方法及びプログラム | |
JP6503607B2 (ja) | 撮像制御装置、撮像装置、撮像システム、移動体、撮像制御方法、及びプログラム | |
WO2022067836A1 (en) | Simultaneous localization and mapping using cameras capturing multiple spectra of light | |
JP6768997B1 (ja) | 制御装置、撮像装置、移動体、制御方法、及びプログラム | |
JP2019129474A (ja) | 画像撮影装置 | |
WO2018123013A1 (ja) | 制御装置、移動体、制御方法、及びプログラム | |
JP2019096965A (ja) | 決定装置、制御装置、撮像システム、飛行体、決定方法、及びプログラム | |
JP6801161B1 (ja) | 画像処理装置、撮像装置、移動体、画像処理方法、及びプログラム | |
CN111295874B (zh) | 长条图像生成系统、方法以及存储介质 | |
JP6798072B2 (ja) | 制御装置、移動体、制御方法、及びプログラム | |
JP4156552B2 (ja) | 撮像システム、撮像装置、撮像方法、及び撮像プログラム | |
KR102439142B1 (ko) | 기간 시설의 이미지를 획득하는 방법 및 장치 | |
KR102528196B1 (ko) | 촬영 각도 조정에 기반하여 역광에 대응하는 카메라 제어 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200813 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200813 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200813 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6814431 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |