JP6729607B2 - 設置位置情報提供装置及び設置位置情報提供方法 - Google Patents
設置位置情報提供装置及び設置位置情報提供方法 Download PDFInfo
- Publication number
- JP6729607B2 JP6729607B2 JP2018002794A JP2018002794A JP6729607B2 JP 6729607 B2 JP6729607 B2 JP 6729607B2 JP 2018002794 A JP2018002794 A JP 2018002794A JP 2018002794 A JP2018002794 A JP 2018002794A JP 6729607 B2 JP6729607 B2 JP 6729607B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- installation position
- image
- information providing
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4004—Means for monitoring or calibrating of parts of a radar system
- G01S7/4026—Antenna boresight
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Description
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
[1.実施形態]
(1−1)車載センサ調整支援システムの全体構成
図1に示す本実施形態の車載センサ調整支援システムは、サーバ201と、パーソナルコンピュータ(以下、「PC」と略称する)202と、中継装置203と、設置位置情報提供装置(以下、「AR機」と略称する)5とを備える。なお、「AR」は、拡張現実を意味する「Augmented Reality」の略称である。
AR機5は、作業者3の頭部に装着されるいわゆるゴーグル型の画像情報提供デバイスである。AR機5には、後述するカメラ32(図2参照)で撮影された映像7がリアルタイムに表示される。AR機5が作業者3に適正に装着されている場合、映像7は、作業者3の前方を示す。
図2に示すように、AR機5は、空間認識用センサ31と、カメラ32と、自位置認識用センサ33と、表示部34とを備える。
自位置認識用センサ33は、AR機5自身の、三次元空間内における位置、より具体的には例えば向き(角度)を検出し、その検出結果である自位置情報を出力する。自位置認識用センサ33の具体的な構成は特に限定されず、本実施形態では例えばジャイロセンサである。
空間認識制御部35は、空間認識用センサ31で検出される空間情報を周期的に取得してその空間情報をリアルタイムに解析する。そして、その解析結果に基づき、AR機5の前方の空間を三次元的にリアルタイムに認識する。空間認識制御部35は、認識結果を示す空間認識情報をオブジェクト制御部38に出力する。
また、オブジェクト制御部38は、空間認識制御部35から入力される空間認識情報、画像認識制御部36から入力される画像認識情報、自位置認識制御部37から入力される自位置認識情報、及び無線通信にてサーバ201或いはPC202から取得される車種情報、オブジェクトデータ及び作業関連情報等に基づいて、調整用設備の設置位置を算出するための各種処理を行う。そして、映像7における、その算出した設置位置に対応した位置に、設置位置オブジェクトを表示させる。また、ユーザ操作に応じて作業関連情報を表示させることも可能である。
そのため、例えば、作業者3が車両1の後方を向いたことにより、映像7内に調整用設備の設置位置が入らなくなった場合は、映像7には設置位置オブジェクトは表示されない。そして、作業者3が再び車両1の前方を向いたことにより、映像7内に調整用設備の設置位置が入った場合は、映像7には再び設置位置オブジェクトが表示される。
(1−3)車載センサ調整支援処理
次に、AR機5が有する不図示のCPUが実行する車載センサ調整支援処理、即ち、空間認識制御部35、画像認識制御部36、自位置認識制御部37及びオブジェクト制御部38としての機能を実現する車載センサ調整支援処理について、図3を用いて説明する。
車載センサ調整支援処理が開始されると、S110で、車種選択処理を行う。具体的に、表示部34に、サーバ201或いはPC202から取得した各種車種情報に基づき、車種の一覧リストを表示させる。そして、表示された車種リストの中から、調整作業対象の車両1を選択させる。
本実施形態では、具体的には、車幅方向の中心を示す画像として、車両1のフロントエンブレム11及びリヤエンブレム12を認識する。この認識は、画像認識制御部36としての機能である。例えば、作業者3が、映像7内にフロントエンブレム11が表示される位置に移動して、フロントエンブレム11を画像認識制御部36に認識させる。この認識は、例えば、フロントエンブレム11のデータを予めメモリに記憶しておいて、そのデータと照合することにより自動的に行っても良い。また例えば、表示されているフロントエンブレム11に対して特定のジェスチャーを示すことで、そのジェスチャーが示された画像をフロントエンブレム11として認識してもよい。
S130では、車両基準点オブジェクト表示処理を行う。具体的に、S120で算出した、前部垂線21、後部垂線22及び中心線25を、映像7内に重畳表示させる。図4は、前部垂線21、後部垂線22及び中心線25が重畳表示された映像7の一例を示す。
さらに、各設置基準点41a,41b,41cから、床面2に垂直な垂線、即ち、第1設置垂線101,第2設置垂線102,第3設置垂線103を表示させる。そして、それら各設置垂線101、102,103における、床面2から一定の高さの位置に、それぞれ、設置位置オブジェクト106,107,108を表示させる。上記一定の高さも、車種及び調整対象の車載センサに応じて予め設定されている。
S200では、通知処理を行う。この通知処理は、作業者3に対して、調整用設備が正しい位置に設置されたことを知らせる処理である。具体的にどのような方法で知らせるかについては適宜決めてよく、例えば、表示部34に特定の通知情報を表示させてもよいし、例えば、不図示の音声出力デバイスによって特定の音声を出力させてもよい。
以上説明した実施形態によれば、以下の(1a)〜(1d)の効果を奏する。
(1a)本実施形態によれば、カメラ32により撮影された2箇所及び床面2に基づいて、調整用設備の設置位置が算出され、表示部34に表示される映像中における、その算出された設置位置に、設置位置オブジェクトが重畳表示される。
(1b)上記実施形態では、車両に搭載されている2つのエンブレム11,12を画像認識し、その認識結果に基づいて、2つの基準点23,24が算出される。そのため、設置位置の算出に必要な2つの基準点23,24を容易且つ適切に算出することができる。
(1c)上記実施形態では、設置位置の算出に先立って、作業者により車種が選択される。そして、選択された車種に応じて設置位置が算出される。そのため、車種に応じて精度よく設置位置を算出することができる。
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
例えば、図9に示すように、AR機70は、カメラ32と表示部34とを備え、空間認識制御部35、画像認識制御部36、及び自位置認識制御部37の機能は、AR機70とは別の装置(例えばPC202)に実装されていてもよい。
なお、図9に示す構成においては、カメラ32で撮影された画像のデータは、AR機70からPC202へ通信にて送信される。また、PC202におけるオブジェクト制御部38にて生成された、映像7の映像データは、PC202からAR機70へ通信にて送信される。
(2−4)生成された設置位置オブジェクトの位置を補正するために、補正用マーカを設置して、設置位置オブジェクトの算出時にその算出した設置位置オブジェクトと補正用マーカとの相対的位置関係を保存しておき、その相対的位置関係に基づいて、設置位置オブジェクトの位置が補正されるようにしてもよい。
(2−6)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
Claims (8)
- 映像(7)を撮影する撮影装置(32)と、
前記撮影装置により撮影された映像を表示する表示装置(34)と、
前記撮影装置により撮影された映像から、前記映像に含まれている車両(1)又は前記車両の近傍における、特定の2つの部位、及び、前記映像に含まれている、前記車両が載置されている床面(2)、を認識する認識部(35,36,S120)と、
前記認識部により認識された前記2つの部位及び前記床面に基づいて、前記映像内における、前記車両に搭載される車載センサ(16,17,18,19)の調整作業に用いられる調整用設備の設置位置を算出する算出部(38,S120)と、
前記表示装置に表示される前記映像に対し、前記算出部により算出された前記設置位置に、前記設置位置を示す画像である設置位置オブジェクト(83,93,106,107,108,112)を重畳表示させる重畳表示部(38,S160,S170,S180)と、
を備える設置位置情報提供装置。 - 請求項1に記載の設置位置情報提供装置であって、
前記認識部は、前記車両に搭載された少なくとも1つのエンブレム(11,12)、前記車両に搭載された少なくとも1つのナンバープレート(13,14)、及び前記車両の車幅、のうちの少なくとも2つを認識し、その認識した少なくとも2つに基づいて前記2つの部位を認識する、
設置位置情報提供装置。 - 請求項1又は請求項2に記載の設置位置情報提供装置であって、
前記算出部は、
前記認識部により認識された前記2つの部位に基づいて、前記床面における、前記2つの部位の各々に対応した2つの基準点(23,24)を算出する基準点算出処理と、
前記基準点算出処理により算出された前記2つの基準点に基づいて、前記床面における、前記2つの基準点のうちの少なくとも一方を通る少なくとも1つの基準線(25)を算出する基準線算出処理と、
前記基準点算出処理により算出された前記2つの基準点、及び前記基準線算出処理により算出された前記少なくとも1つの基準線に基づいて前記設置位置を算出する設置位置算出処理と、
を実行するように構成されている設置位置情報提供装置。 - 請求項1〜請求項3の何れか1項に記載の設置位置情報提供装置であって、
さらに、前記車両の車種を示す車種情報を取得する車種情報取得部(S110)を備え、
前記算出部は、前記車種情報取得部により取得された前記車種情報に応じて前記設置位置を算出する、
設置位置情報提供装置。 - 請求項4に記載の設置位置情報提供装置であって、
さらに、
前記車種情報取得部により取得された前記車種情報に基づき、前記車種情報が示す前記車両に搭載可能な前記車載センサに対応した前記調整用設備の選択肢を提示する選択肢提示部(S140)と、
前記選択肢提示部により提示された前記選択肢の中からいずれか1つの前記調整用設備の選択を受け付ける選択受付部(S140)と、
を備え、
前記算出部は、前記選択受付部により選択された前記調整用設備の前記設置位置を算出する、
設置位置情報提供装置。 - 請求項1〜請求項5の何れか1項に記載の設置位置情報提供装置であって、
さらに、前記表示装置に表示されている映像中において、前記重畳表示部により重畳表示されている前記設置位置オブジェクトに対応した位置と、前記調整用設備の実際の位置とが合致した場合に特定の通知を行う通知部(S200)を備える、
設置位置情報提供装置。 - 請求項1〜請求項6の何れか1項に記載の設置位置情報提供装置であって、
前記撮影装置、前記表示装置、前記認識部、前記算出部、及び前記重畳表示部は、同じ1つの筐体に収容されている、
設置位置情報提供装置。 - 映像を撮影することと、
前記撮影された映像を表示することと、
前記撮影された映像から、前記映像に含まれている車両又は前記車両の近傍における、特定の2つの部位、及び、前記映像に含まれている、前記車両が載置されている床面、を認識することと、
前記認識された前記2つの部位及び前記床面に基づいて、前記映像内における、前記車両に搭載される車載センサの調整作業に用いられる調整用設備の設置位置を算出することと、
前記表示される前記映像に対し、前記算出された前記設置位置に、前記設置位置を示す画像である設置位置オブジェクトを重畳表示させることと、
を有する設置位置情報提供方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018002794A JP6729607B2 (ja) | 2018-01-11 | 2018-01-11 | 設置位置情報提供装置及び設置位置情報提供方法 |
CN201980007670.7A CN111566707B (zh) | 2018-01-11 | 2019-01-11 | 设置位置信息提供装置以及设置位置信息提供方法 |
DE112019000388.7T DE112019000388T5 (de) | 2018-01-11 | 2019-01-11 | Vorrichtung zur bereitstellung von informationen über eine installationsposition und verfahren zur bereitstellung von informationen über die installationsposition |
PCT/JP2019/000712 WO2019139129A1 (ja) | 2018-01-11 | 2019-01-11 | 設置位置情報提供装置及び設置位置情報提供方法 |
US16/915,419 US11482003B2 (en) | 2018-01-11 | 2020-06-29 | Installation position information providing apparatus and installation position information providing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018002794A JP6729607B2 (ja) | 2018-01-11 | 2018-01-11 | 設置位置情報提供装置及び設置位置情報提供方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019121322A JP2019121322A (ja) | 2019-07-22 |
JP6729607B2 true JP6729607B2 (ja) | 2020-07-22 |
Family
ID=67219730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018002794A Active JP6729607B2 (ja) | 2018-01-11 | 2018-01-11 | 設置位置情報提供装置及び設置位置情報提供方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11482003B2 (ja) |
JP (1) | JP6729607B2 (ja) |
CN (1) | CN111566707B (ja) |
DE (1) | DE112019000388T5 (ja) |
WO (1) | WO2019139129A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021096682A (ja) * | 2019-12-18 | 2021-06-24 | 株式会社バンザイ | 車両用運転支援装置の校正用基準具を設置するための表示装置 |
US20230104858A1 (en) * | 2020-03-19 | 2023-04-06 | Nec Corporation | Image generation apparatus, image generation method, and non-transitory computer-readable medium |
JP6838183B1 (ja) * | 2020-03-26 | 2021-03-03 | ボッシュ株式会社 | 校正作業補助装置 |
JP2022150965A (ja) * | 2021-03-26 | 2022-10-07 | 株式会社デンソー | 精度補正装置及び拡張現実画像表示装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3708507B2 (ja) * | 2002-08-09 | 2005-10-19 | 本田技研工業株式会社 | 車載レーダの照準調整検査装置と照準調整検査方法 |
JP3708509B2 (ja) | 2002-08-26 | 2005-10-19 | 本田技研工業株式会社 | 車載レーダおよび車載カメラの照準調整検査装置 |
JP5320904B2 (ja) | 2008-08-21 | 2013-10-23 | 株式会社デンソー | 検査システム |
JP2010156609A (ja) | 2008-12-26 | 2010-07-15 | Toyota Motor Corp | 軸調整装置、及び軸調整方法 |
JP2012043396A (ja) * | 2010-08-13 | 2012-03-01 | Hyundai Motor Co Ltd | 拡張現実を用いた車両消耗品管理システム及びその方法 |
JP4898951B2 (ja) * | 2010-10-25 | 2012-03-21 | 富士通テン株式会社 | 車載機 |
EP2765388B1 (de) * | 2013-02-08 | 2018-10-17 | Hexagon Technology Center GmbH | Mobiler Feld-Controller zur Messung und Fernsteuerung |
GB201315504D0 (en) * | 2013-08-30 | 2013-10-16 | Ford Global Tech Llc | A method to aid inductive battery charging of a motor vehicle |
JP6471522B2 (ja) * | 2015-02-10 | 2019-02-20 | 株式会社デンソー | カメラパラメータ調整装置 |
JP6554169B2 (ja) * | 2015-06-10 | 2019-07-31 | 株式会社日立製作所 | 物体認識装置及び物体認識システム |
CN107850550B (zh) * | 2015-08-21 | 2020-11-03 | 日铁系统集成株式会社 | 显示系统、显示装置、显示方法以及存储介质 |
CN108604393B (zh) * | 2016-03-04 | 2022-12-30 | 日铁系统集成株式会社 | 信息处理系统、信息处理装置、信息处理方法以及计算机可读取的存储介质 |
US10606149B2 (en) * | 2016-05-25 | 2020-03-31 | Sony Corporation | Information processing device, information processing method, and program |
-
2018
- 2018-01-11 JP JP2018002794A patent/JP6729607B2/ja active Active
-
2019
- 2019-01-11 CN CN201980007670.7A patent/CN111566707B/zh active Active
- 2019-01-11 DE DE112019000388.7T patent/DE112019000388T5/de active Pending
- 2019-01-11 WO PCT/JP2019/000712 patent/WO2019139129A1/ja active Application Filing
-
2020
- 2020-06-29 US US16/915,419 patent/US11482003B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN111566707A (zh) | 2020-08-21 |
US20200327333A1 (en) | 2020-10-15 |
CN111566707B (zh) | 2023-06-16 |
JP2019121322A (ja) | 2019-07-22 |
WO2019139129A1 (ja) | 2019-07-18 |
US11482003B2 (en) | 2022-10-25 |
DE112019000388T5 (de) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6729607B2 (ja) | 設置位置情報提供装置及び設置位置情報提供方法 | |
JP4461091B2 (ja) | 位置検出装置及びその補正方法 | |
US7599521B2 (en) | Vehicle vicinity monitoring apparatus | |
JP4809019B2 (ja) | 車両用障害物検出装置 | |
JP5109691B2 (ja) | 解析装置 | |
EP3113146B1 (en) | Location computation device and location computation method | |
US20100315215A1 (en) | Blind spot display apparatus | |
EP3330117A1 (en) | Vehicle display device | |
US10099617B2 (en) | Driving assistance device and driving assistance method | |
US20120236287A1 (en) | External environment visualization apparatus and method | |
JP6151535B2 (ja) | パラメータ取得装置、パラメータ取得方法及びプログラム | |
US10922976B2 (en) | Display control device configured to control projection device, display control method for controlling projection device, and vehicle | |
US20190215465A1 (en) | Bird's-eye view image generating device, bird's-eye view image generating system, bird's-eye view image generating method, and medium | |
CN112130158A (zh) | 对象距离测量装置和方法 | |
EP3173278B1 (en) | Vehicle display control device | |
JP2019004399A (ja) | 作業機械の周囲監視システム | |
US20110169954A1 (en) | Maneuvering assisting apparatus | |
JP2016001378A (ja) | 車載カメラの校正装置 | |
US10475154B2 (en) | Machine surround view system and method for generating 3-dimensional composite surround view using same | |
JP4032052B2 (ja) | 位置検出装置及びその補正方法 | |
JP2016014549A (ja) | 車両位置算出装置 | |
WO2022202926A1 (ja) | 精度補正装置及び拡張現実画像表示装置 | |
JP2006155400A (ja) | 画像抽出装置 | |
JP4105146B2 (ja) | エイミング装置 | |
JP4032053B2 (ja) | 車両周辺監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200615 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6729607 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |