JP6730606B2 - 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム - Google Patents
俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム Download PDFInfo
- Publication number
- JP6730606B2 JP6730606B2 JP2016229019A JP2016229019A JP6730606B2 JP 6730606 B2 JP6730606 B2 JP 6730606B2 JP 2016229019 A JP2016229019 A JP 2016229019A JP 2016229019 A JP2016229019 A JP 2016229019A JP 6730606 B2 JP6730606 B2 JP 6730606B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- image
- bird
- detected
- eye view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 238
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 238
- 238000006243 chemical reaction Methods 0.000 claims description 42
- 230000002194 synthesizing effect Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 description 50
- 230000015572 biosynthetic process Effects 0.000 description 36
- 238000003786 synthesis reaction Methods 0.000 description 36
- 238000007906 compression Methods 0.000 description 22
- 230000006835 compression Effects 0.000 description 18
- 238000001514 detection method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 238000005520 cutting process Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
図1は、第一実施形態に係る俯瞰映像生成システムの構成例を示すブロック図である。俯瞰映像生成システム1は、車両に搭載されている。俯瞰映像生成システム1は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。
図7を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図7は、第二実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。俯瞰映像生成システム1は、基本的な構成は第一実施形態の俯瞰映像生成システム1と同様である。以下の説明においては、俯瞰映像生成システム1と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の俯瞰映像生成システム1は、合成処理部453における処理が、第一実施形態の俯瞰映像生成システム1と異なる。
図8を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図8は、第三実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。本実施形態の俯瞰映像生成システム1は、合成処理部453における処理が、第一実施形態の俯瞰映像生成システム1と異なる。
図9を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図9は、第四実施形態に係る俯瞰映像生成システムで生成した俯瞰映像を示す図である。本実施形態の俯瞰映像生成システム1は、合成処理部453における処理が、第二実施形態の俯瞰映像生成システム1と異なる。
図10を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図10は、第五実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。本実施形態の俯瞰映像生成システム1は、合成処理部453における処理が、第一実施形態、第二実施形態の俯瞰映像生成システム1と異なる。
図11を参照しながら、本実施形態に係る俯瞰映像生成システム1について説明する。図11は、第六実施形態に係る俯瞰映像生成システムの俯瞰映像生成装置における処理の流れを示すフローチャートである。本実施形態の俯瞰映像生成システム1は、合成処理部453における処理が、第五実施形態の俯瞰映像生成システム1と異なる。
11 前方カメラ
12 後方カメラ
13 左側方カメラ
14 右側方カメラ
20 センサ群(障害物センサ)
30 表示パネル(表示部)
40 俯瞰映像生成装置
41 制御部
42 映像データ取得部
43 障害物情報取得部
45 俯瞰映像生成部
451 視点変換処理部
452 切出処理部
453 合成処理部
48 表示制御部
49 記憶部
100 俯瞰映像
200 自車両アイコン
Claims (11)
- 車両の前後左右を撮影する複数のカメラからの映像を取得する映像データ取得部と、
前記車両の周囲の障害物を検出する障害物センサからの情報を取得する障害物情報取得部と、
前記映像データ取得部が取得した映像に視点変換処理を行って合成することで前記車両の上方から見たような俯瞰映像を生成し、前記障害物情報取得部が障害物を検出した場合、障害物を検出した方向と直交する方向の映像の表示面積を縮小して前記障害物を検出した方向とは逆の方向に寄せることで、前記障害物を検出した方向に表示範囲を拡張した映像を生成する俯瞰映像生成部と、
前記俯瞰映像生成部が生成した映像を表示部に表示させる表示制御部と、
を備えることを特徴とする俯瞰映像生成装置。 - 前記俯瞰映像生成部は、前記俯瞰映像における障害物を検出した方向に検出した障害物までの撮影範囲を含むように表示範囲を拡張した俯瞰映像を生成する、
請求項1に記載の俯瞰映像生成装置。 - 前記障害物センサは、障害物を検出していないときの俯瞰映像表示範囲を含む範囲の障害物を検出可能であり、
前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出していないときの俯瞰映像表示範囲に存在する障害物を検出した場合、前記障害物を検出した方向と直交する方向の映像の表示面積を縮小して前記障害物を検出した方向とは逆の方向に寄せることで、前記俯瞰映像における障害物を検出した方向に検出した障害物までの撮影範囲を含むように表示範囲を拡張した俯瞰映像を生成する、
請求項1に記載の俯瞰映像生成装置。 - 前記障害物センサは、障害物を検出していないときの俯瞰映像表示範囲より遠方の障害物を検出可能であり、
前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出していないときの俯瞰映像表示範囲より遠方に存在する障害物を検出した場合、前記障害物を検出した方向とは直交する方向の映像の表示面積を縮小して前記障害物を検出した方向とは逆の方向に寄せることで、前記俯瞰映像における障害物を検出した方向に検出した障害物までの撮影範囲を含むように表示範囲を拡張した俯瞰映像を生成する、
請求項1に記載の俯瞰映像生成装置。 - 前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出した場合、前記障害物を検出した方向とは直交する方向の映像の表示面積を縮小して前記障害物を検出した方向とは逆の方向に寄せることで、前記俯瞰映像における障害物を検出した方向に検出した障害物までの撮影範囲を含むように表示範囲を拡張して視点変換処理を行った俯瞰映像を生成する、
請求項1から4のいずれか一項に記載の俯瞰映像生成装置。 - 前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出した場合、前記障害物を検出した方向とは直交する方向の映像の表示面積を縮小して前記障害物を検出した方向とは逆の方向に寄せることで、前記俯瞰映像における障害物を検出した方向に検出した障害物までの撮影範囲を含む視点変換処理を行わない映像を合成することで表示範囲を拡張する、
請求項1から4のいずれか一項に記載の俯瞰映像生成装置。 - 前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出した場合、障害物を検出した方向と直交する方向の映像の表示面積を圧縮することで縮小した俯瞰映像を生成する、
請求項1から6のいずれか一項に記載の俯瞰映像生成装置。 - 前記俯瞰映像生成部は、前記障害物情報取得部が障害物を検出した場合、障害物を検出した方向と直交する方向の映像を障害物を検出した方向とは逆の方向にシフトすることで表示面積を縮小した俯瞰映像を生成する、
請求項7に記載の俯瞰映像生成装置。 - 請求項1から8のいずれか一項に記載の俯瞰映像生成装置と、
前記カメラと、前記障害物センサと、前記表示部との少なくともいずれかと、を備える、
俯瞰映像生成システム。 - 車両の前後左右を撮影する複数のカメラからの映像を取得する映像データ取得ステップと、
前記車両の周囲の障害物を検出する障害物センサからの情報を取得する障害物情報取得ステップと、
前記映像データ取得ステップで取得した映像に視点変換処理を行って合成することで前記車両の上方から見たような俯瞰映像を生成し、前記障害物情報取得ステップで障害物を検出した場合、障害物を検出した方向と直交する方向の映像の表示面積を縮小して前記障害物を検出した方向とは逆の方向に寄せることで、前記障害物を検出した方向に表示範囲を拡張した映像を生成する俯瞰映像生成ステップと、
前記俯瞰映像生成ステップで生成した映像を表示部に表示させる表示制御ステップと、
を含む、俯瞰映像生成装置が実行する俯瞰映像生成方法。 - 車両の前後左右を撮影する複数のカメラからの映像を取得する映像データ取得ステップと、
前記車両の周囲の障害物を検出する障害物センサからの情報を取得する障害物情報取得ステップと、
前記映像データ取得ステップで取得した映像に視点変換処理を行って合成することで前記車両の上方から見たような俯瞰映像を生成し、前記障害物情報取得ステップで障害物を検出した場合、障害物を検出した方向と直交する方向の映像の表示面積を縮小して前記障害物を検出した方向とは逆の方向に寄せることで、前記障害物を検出した方向に表示範囲を拡張した映像を生成する俯瞰映像生成ステップと、
前記俯瞰映像生成ステップで生成した映像を表示部に表示させる表示制御ステップと、
を俯瞰映像生成装置として動作するコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016229019A JP6730606B2 (ja) | 2016-11-25 | 2016-11-25 | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム |
PCT/JP2017/035836 WO2018096792A1 (ja) | 2016-11-25 | 2017-10-02 | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム |
US16/208,654 US10710505B2 (en) | 2016-11-25 | 2018-12-04 | Bird's-eye view video generation device, bird's-eye view video generation system, bird's-eye view video generation method, and non-transitory storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016229019A JP6730606B2 (ja) | 2016-11-25 | 2016-11-25 | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020109457A Division JP7120274B2 (ja) | 2020-06-25 | 2020-06-25 | 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018085685A JP2018085685A (ja) | 2018-05-31 |
JP2018085685A5 JP2018085685A5 (ja) | 2019-11-21 |
JP6730606B2 true JP6730606B2 (ja) | 2020-07-29 |
Family
ID=62195059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016229019A Active JP6730606B2 (ja) | 2016-11-25 | 2016-11-25 | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10710505B2 (ja) |
JP (1) | JP6730606B2 (ja) |
WO (1) | WO2018096792A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7113348B2 (ja) * | 2018-03-15 | 2022-08-05 | パナソニックIpマネジメント株式会社 | 車両周辺表示システム、表示制御装置およびコンピュータプログラム |
US11457181B1 (en) * | 2021-03-19 | 2022-09-27 | Denso International America, Inc. | Vehicle maneuver assist with environment-fixed overhead composite image |
US20230286439A1 (en) * | 2021-11-03 | 2023-09-14 | Magna Electronics Inc. | Vehicular vision system with advanced safety views |
TWI831096B (zh) * | 2021-12-08 | 2024-02-01 | 亞視亨國際企業股份有限公司 | 模組化車載控制系統 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002362184A (ja) * | 2001-06-11 | 2002-12-18 | Honda Motor Co Ltd | 車両用表示装置 |
US20050031169A1 (en) * | 2003-08-09 | 2005-02-10 | Alan Shulman | Birds eye view virtual imaging for real time composited wide field of view |
JP4654736B2 (ja) * | 2005-04-04 | 2011-03-23 | 日産自動車株式会社 | 俯瞰映像表示装置 |
JP2007336230A (ja) * | 2006-06-15 | 2007-12-27 | Calsonic Kansei Corp | 車載周囲死角表示システム |
JP4980852B2 (ja) * | 2007-11-01 | 2012-07-18 | アルパイン株式会社 | 車両周囲画像提供装置 |
JP4951639B2 (ja) * | 2009-03-02 | 2012-06-13 | 日立建機株式会社 | 周囲監視装置を備えた作業機械 |
WO2010144900A1 (en) * | 2009-06-12 | 2010-12-16 | Magna Electronics Inc. | Scalable integrated electronic control unit for vehicle |
JP2011091527A (ja) * | 2009-10-21 | 2011-05-06 | Panasonic Corp | 映像変換装置及び撮像装置 |
EP2631374B1 (en) * | 2010-10-22 | 2020-09-30 | Hitachi Construction Machinery Co., Ltd. | Work machine peripheral monitoring device |
JP5408198B2 (ja) | 2011-08-01 | 2014-02-05 | 日産自動車株式会社 | 映像表示装置及び映像表示方法 |
WO2013046593A1 (ja) * | 2011-09-30 | 2013-04-04 | パナソニック株式会社 | 俯瞰画像生成装置、俯瞰画像生成方法、および俯瞰画像生成プログラム |
JPWO2013058093A1 (ja) * | 2011-10-18 | 2015-04-02 | 日立建機株式会社 | 作業機械の周囲監視装置 |
-
2016
- 2016-11-25 JP JP2016229019A patent/JP6730606B2/ja active Active
-
2017
- 2017-10-02 WO PCT/JP2017/035836 patent/WO2018096792A1/ja active Application Filing
-
2018
- 2018-12-04 US US16/208,654 patent/US10710505B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018085685A (ja) | 2018-05-31 |
US20190100144A1 (en) | 2019-04-04 |
US10710505B2 (en) | 2020-07-14 |
WO2018096792A1 (ja) | 2018-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109076195B (zh) | 俯瞰影像生成装置、系统、方法以及存储介质 | |
JP6730606B2 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
CN105308620B (zh) | 信息处理设备、接近对象通知方法和程序 | |
CN109314765B (zh) | 车辆用显示控制装置、显示系统、显示控制方法以及程序 | |
US10609337B2 (en) | Image processing apparatus | |
WO2018159016A1 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
JP5915923B2 (ja) | 画像処理装置及び運転支援システム | |
US11394926B2 (en) | Periphery monitoring apparatus | |
JP2020182220A (ja) | 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム | |
WO2019193819A1 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム | |
WO2018042976A1 (ja) | 画像生成装置、画像生成方法、記録媒体、および画像表示システム | |
JP7120274B2 (ja) | 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム | |
JP4857159B2 (ja) | 車両運転支援装置 | |
US10602078B2 (en) | Display control device which controls video extraction range | |
JP2019197953A (ja) | 画像出力装置、画像出力システム及び画像出力装置の制御方法 | |
JP4799236B2 (ja) | 車載表示システム | |
WO2018055873A1 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
JP2019156235A (ja) | 表示制御装置、撮像装置、カメラモニタリングシステムおよびコンピュータプログラム | |
JP2020093574A (ja) | 表示制御装置、表示制御システム、表示制御方法、および表示制御プログラム | |
JP7302205B2 (ja) | 表示制御装置、表示システム、表示制御方法およびプログラム | |
JP2018148484A (ja) | 車両用表示制御装置、車両用表示制御システム、車両用表示制御方法およびプログラム | |
JP2018074558A (ja) | 車両用撮影表示装置及び車両用撮影表示プログラム | |
JP6644264B2 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
JP3947117B2 (ja) | 車両周辺画像処理システム | |
WO2018105007A1 (ja) | 運転支援プログラム、運転支援方法および運転支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191010 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6730606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |