JP6789919B2 - 演算システム、サーバ、車載装置 - Google Patents
演算システム、サーバ、車載装置 Download PDFInfo
- Publication number
- JP6789919B2 JP6789919B2 JP2017238805A JP2017238805A JP6789919B2 JP 6789919 B2 JP6789919 B2 JP 6789919B2 JP 2017238805 A JP2017238805 A JP 2017238805A JP 2017238805 A JP2017238805 A JP 2017238805A JP 6789919 B2 JP6789919 B2 JP 6789919B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- vehicle
- server
- inference
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
- B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明の第2の態様による車載装置は、車両に搭載される車載装置であって、前記車両に搭載されたセンサの出力信号が入力される信号入力部と、学習済モデルおよび推論対象を用いて作成された情報であって、演算の精度を定める縮約情報を受信する車載通信部と、前記出力信号を対象とする推論を行う推論部と、再構成可能な論理回路と、前記縮約情報に基づき前記論理回路に前記推論部を作成する再構成部と、前記学習済モデルを格納する車載格納部とを備え、前記再構成部は、前記学習済モデルおよび前記縮約情報に基づき前記推論部を作成する。
以下、図1〜図4を参照して、本発明にかかる演算システムSの第1の実施の形態を説明する。
図1は演算システムSの構成を示す図である。演算システムSは、サーバ1とECU2とを備える。サーバ1とECU2は無線通信ネットワークXを介して通信する。ECU2は車両3に搭載され、サーバ1は車両3の外部に設置される。
図2は、サーバ1およびECU2の機能構成を示す図である。サーバ1はその機能として、モデル作成部121と簡易化部122とを備える。モデル作成部121はCPU11によって実現され、モデル作成部121および簡易化部122はGPU12によって実現される。ただしモデル作成部121および簡易化部122は、CPU11およびGPU12の協同により実現してもよい。サーバ記憶部15には、学習画像151と、高精度モデル152と、低精度モデル153と、閾値テーブル155とが格納される。学習画像151は複数の画像の集合体である。高精度モデル152および低精度モデル153は、学習画像151を用いて作成される学習済モデルであり、いずれも線形性を有する。なお学習画像151は、低精度モデル153を作成するための推論対象としても用いられる。
(1)演算システムSは、サーバ1と車両3に搭載されるECU2とを備える。サーバ1は、高精度モデル152を格納するサーバ記憶部15と、高精度モデル152および学習画像151を用いて演算の精度を定めた低精度モデル153を作成する簡易化部122と、低精度モデル153をECU2に送信するサーバ通信部16とを備える。ECU2は、車両3に搭載されたカメラ4の撮影画像が入力される信号入力部28と、低精度モデル153を受信する車載通信部26と、撮影画像を対象とする推論を行う推論部221と、再構成可能なFPGA22と、低精度モデル153に基づきFPGA22に推論部221を作成する書き換え部211および再構成部222とを備える。ECU2は、低精度モデル153に基づきFPGA22に推論部221を作成するので、演算の精度を大きく低下させることなく論理回路の使用領域を削減できる。
上述した第1の実施の形態では、サーバ1と車載装置2とが無線通信ネットワークXを介して通信した。しかしサーバ1が作成した低精度モデル153は通信を介さずに、記憶媒体を用いてオフラインで車載装置2に移動してもよい。
上述した第1の実施の形態では、ECU2のFPGA22に構成された推論部221は、カメラ4の撮影画像を処理対象とした。しかし推論部221は車両3に搭載されるセンサが出力する様々な情報を処理対象としてもよい。たとえばレーザーレンジファインダから得られる2次元や3次元の情報を処理対象としてもよいし、時系列の3次元情報、すなわち4次元情報を処理対象としてもよい。また複数のセンサの出力を同時に扱う場合には5次元以上の多次元の情報として扱ってもよい。
ECU2はさらに非線形性を有する非線形推論部を備えてもよい。この場合は推論部221は推論の結果を非線形推論部に出力し、非線形推論部が推論の結果を車両3に搭載された他の装置に出力する。
サーバ1およびECU2のハードウエア構成は上述した構成に限定されない。たとえばサーバ1はCPU11またはGPU12を備えなくてもよい。またECU2はASIC21の代わりにCPU、ROM、およびRAMを備えてもよい。
図6〜図7を参照して、本発明にかかる演算システムSの第2の実施の形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主に、高精度モデル152があらかじめサーバおよび車載装置に備えられる点で、第1の実施の形態と異なる。
第2の実施の形態では、推論部221の演算の精度に関する情報が縮約情報154として存在している。そしてECU2Aが、縮約情報154と高精度モデル152とを用いて低精度モデル153を作成する。その一方、第1の実施の形態では、推論部221の演算の精度に関する情報は独立して存在しておらず、サーバ1が作成する低精度モデル153に内包されている。換言すると、第1の実施の形態における低精度モデル153は、縮約情報154および高精度モデル152を一体としたものである。また第1の実施の形態における簡易化部122は、低精度モデル153を作成する過程で縮約情報154を作成しているともいえる。
(1)演算システムSは、サーバ1Aと車両3に搭載されるECU2Aとを備える。サーバ1Aは、高精度モデル152を格納するサーバ記憶部15と、高精度モデル152および学習画像151を用いて演算の精度を定める縮約情報154を作成する簡易化部122と、縮約情報154をECU2Aに送信するサーバ通信部16とを備える。ECU2Aは、車両3に搭載されたカメラ4の撮影画像が入力される信号入力部28と、縮約情報154を受信する車載通信部26と、撮影画像を対象とする推論を行う推論部221と、再構成可能なFPGA22と、縮約情報154に基づきFPGA22に推論部221を作成する書き換え部211Aおよび再構成部222とを備える。ECU2Aは、縮約情報154に基づきFPGA22に推論部221を作成するので、演算の精度を大きく低下させることなく論理回路の使用領域を削減できる。またサーバ1Aは学習済モデルそのものではなく縮約情報154を送信するので、通信量を削減することができる。
そのため縮約情報154に基づき作成された推論部221は、演算の精度は低いものの閾値テーブル155において許容されている限度でしか精度が低下しない。換言すると推論部221は、FPGA22の専有面積を削減しつつ必要とする精度を確保できる。
ECU2Aは、状況にあわせて演算の精度を変更してもよい。本変形例では、車載記憶部25には状況テーブル252がさらに記憶される。書き換え部211Aは、カメラ4の撮影画像などから車両3の状況または車両3の周囲の状況が、状況テーブル252に記載されたいずれの状況に該当するかを判断して、その状況に対応する精度で再構成部222にFPGA22に推論部221を構成させる。なお書き換え部211Aは、状況テーブル252に記載の状況に当てはまらないと判断する場合は、縮約情報154を用いて推論部221を構成する。
上述した第1の実施の形態では、高精度モデル152および低精度モデル153に含まれるパラメータは浮動小数点型で表現された。しかしこれらのパラメータは整数型で表現されてもよい。この場合も推論部221の演算は浮動小数点型で行われるので、モデル作成部121はその演算の精度を縮約情報154としてECU2に送信する。以下詳述する。ただしここでは高精度モデル152の各層のパラメータが整数型で算出済みであるとして図4のS602以下の処理のうち第1の実施の形態との相違点を主に説明する。
2…車載装置
15…サーバ記憶部
16…サーバ通信部
25…車載記憶部
28…信号入力部
121…モデル作成部
122…簡易化部
152…高精度モデル
153…低精度モデル
154…縮約情報
155…閾値テーブル
221…推論部
222…再構成部
251…構成情報
252…状況テーブル
253…閾値テーブル
Claims (4)
- サーバと車両に搭載される車載装置とを備える演算システムであって、
前記サーバは、
学習済モデルを格納するサーバ記憶部と、
前記学習済モデルおよび推論対象を用いて演算の精度を定める縮約情報を作成する簡易化部と、
前記縮約情報を前記車載装置に送信するサーバ通信部とを備え、
前記車載装置は、
前記車両に搭載されたセンサの出力信号が入力される信号入力部と、
前記縮約情報を受信する車載通信部と、
前記出力信号を対象とする推論を行う推論部と、
再構成可能な論理回路と、
前記縮約情報に基づき前記論理回路に前記推論部を作成する再構成部とを備え、
前記車載装置は、
前記学習済モデルを格納する車載格納部をさらに備え、
前記再構成部は、前記学習済モデルおよび前記縮約情報に基づき前記推論部を作成する演算システム。 - 請求項1に記載の演算システムにおいて、
前記学習済モデルは、複数の階層から構成され、
前記縮約情報は前記複数の階層のそれぞれについて演算の精度を定める演算システム。 - 請求項1に記載の演算システムにおいて、
前記縮約情報は、浮動小数点型の仮数部および指数部の桁数である演算システム。 - 車両に搭載される車載装置であって、
前記車両に搭載されたセンサの出力信号が入力される信号入力部と、
学習済モデルおよび推論対象を用いて作成された情報であって、演算の精度を定める縮約情報を受信する車載通信部と、
前記出力信号を対象とする推論を行う推論部と、
再構成可能な論理回路と、
前記縮約情報に基づき前記論理回路に前記推論部を作成する再構成部と、
前記学習済モデルを格納する車載格納部とを備え、
前記再構成部は、前記学習済モデルおよび前記縮約情報に基づき前記推論部を作成する車載装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017238805A JP6789919B2 (ja) | 2017-12-13 | 2017-12-13 | 演算システム、サーバ、車載装置 |
PCT/JP2018/044723 WO2019116985A1 (ja) | 2017-12-13 | 2018-12-05 | 演算システム、サーバ、車載装置 |
US16/771,032 US11427141B2 (en) | 2017-12-13 | 2018-12-05 | Computing system, server and on-vehicle device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017238805A JP6789919B2 (ja) | 2017-12-13 | 2017-12-13 | 演算システム、サーバ、車載装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019106059A JP2019106059A (ja) | 2019-06-27 |
JP6789919B2 true JP6789919B2 (ja) | 2020-11-25 |
Family
ID=66819281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017238805A Active JP6789919B2 (ja) | 2017-12-13 | 2017-12-13 | 演算システム、サーバ、車載装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11427141B2 (ja) |
JP (1) | JP6789919B2 (ja) |
WO (1) | WO2019116985A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112019000317T5 (de) | 2018-12-07 | 2020-10-08 | Sony Semiconductor Solutions Corporation | Sensorvorrichtung, elektronische vorrichtung, sensorsystem undsteuerungsverfahren |
JP7151654B2 (ja) | 2019-07-26 | 2022-10-12 | トヨタ自動車株式会社 | 検索装置、学習装置、検索システム、検索プログラム、及び学習プログラム |
US20230367993A1 (en) | 2020-11-16 | 2023-11-16 | Hitachi Astemo, Ltd. | Dnn contraction device and onboard computation device |
JP2023068756A (ja) * | 2021-11-04 | 2023-05-18 | 株式会社日立製作所 | 演算装置、作業計画の作成方法、演算システム |
WO2024047994A1 (ja) * | 2022-08-31 | 2024-03-07 | LeapMind株式会社 | 入力情報生成装置、画像処理装置、入力情報生成方法、学習装置、プログラム及びノイズ低減装置の学習方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2666631C2 (ru) | 2014-09-12 | 2018-09-11 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Обучение dnn-студента посредством распределения вывода |
US20160328644A1 (en) * | 2015-05-08 | 2016-11-10 | Qualcomm Incorporated | Adaptive selection of artificial neural networks |
GB201607713D0 (en) * | 2016-05-03 | 2016-06-15 | Imagination Tech Ltd | Convolutional neural network |
KR102589303B1 (ko) * | 2017-11-02 | 2023-10-24 | 삼성전자주식회사 | 고정 소수점 타입의 뉴럴 네트워크를 생성하는 방법 및 장치 |
-
2017
- 2017-12-13 JP JP2017238805A patent/JP6789919B2/ja active Active
-
2018
- 2018-12-05 US US16/771,032 patent/US11427141B2/en active Active
- 2018-12-05 WO PCT/JP2018/044723 patent/WO2019116985A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019116985A1 (ja) | 2019-06-20 |
US20210170962A1 (en) | 2021-06-10 |
US11427141B2 (en) | 2022-08-30 |
JP2019106059A (ja) | 2019-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6789919B2 (ja) | 演算システム、サーバ、車載装置 | |
JP7349835B2 (ja) | ニューラルネットワークにおいてパラメータを処理する方法及び装置 | |
KR102564456B1 (ko) | 뉴럴 네트워크의 파라미터를 양자화하는 장치 및 방법 | |
US11580719B2 (en) | Dynamic quantization for deep neural network inference system and method | |
CN109754066B (zh) | 用于生成定点型神经网络的方法和装置 | |
US11429838B2 (en) | Neural network device for neural network operation, method of operating neural network device, and application processor including the neural network device | |
CN109643327B (zh) | 用于使用查找表以固定点来近似非线性函数的方法和装置 | |
CN109919993A (zh) | 视差图获取方法、装置和设备及控制系统 | |
KR102637733B1 (ko) | 뉴럴 네트워크 프로세서 및 그것의 컨볼루션 연산 방법 | |
CN112673383A (zh) | 神经网络核中动态精度的数据表示 | |
TW202109319A (zh) | 曲線函數裝置及其操作方法 | |
CN110070867B (zh) | 语音指令识别方法、计算机装置及计算机可读存储介质 | |
KR102585470B1 (ko) | 정보 처리장치, 정보 처리방법, 비일시적인 컴퓨터 판독가능한 기억매체 | |
CN110874628A (zh) | 人工神经网络及其中控制定点的方法 | |
KR20210076691A (ko) | 프레임워크 간 뉴럴 네트워크의 학습을 검증하는 방법 및 장치 | |
CN112889025A (zh) | 利用硬件计算效率优化神经网络 | |
CN114548608B (zh) | 模型处理方法、装置、目标交通设备及存储介质 | |
WO2022102221A1 (ja) | Dnn縮約装置及び車載演算装置 | |
WO2021193134A1 (ja) | 情報処理装置、車載制御装置 | |
JP7177000B2 (ja) | 演算装置および演算方法 | |
KR20220018199A (ko) | 희소성 데이터를 이용하는 연산 장치 및 그것의 동작 방법 | |
KR102482728B1 (ko) | 비트 시리얼 연산 방법 및 컴퓨터 기록 매체 | |
KR20200139071A (ko) | 뉴럴 네트워크에서 파라미터를 양자화하는 방법 및 장치 | |
US11645738B2 (en) | Driving deep learning-based image deblurring method and apparatus performing the same | |
JP2020060967A (ja) | ニューラルネットワーク処理装置、およびニューラルネットワーク処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6789919 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |