JP6628908B2 - 画像処理装置、画像処理方法、およびカメラシステム - Google Patents
画像処理装置、画像処理方法、およびカメラシステム Download PDFInfo
- Publication number
- JP6628908B2 JP6628908B2 JP2018568011A JP2018568011A JP6628908B2 JP 6628908 B2 JP6628908 B2 JP 6628908B2 JP 2018568011 A JP2018568011 A JP 2018568011A JP 2018568011 A JP2018568011 A JP 2018568011A JP 6628908 B2 JP6628908 B2 JP 6628908B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging systems
- image
- input
- recovery
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 129
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000003384 imaging method Methods 0.000 claims description 243
- 238000011084 recovery Methods 0.000 claims description 188
- 230000006870 function Effects 0.000 claims description 144
- 238000012546 transfer Methods 0.000 claims description 132
- 238000004364 calculation method Methods 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 24
- 230000006866 deterioration Effects 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 230000004044 response Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Description
先ず本発明の第1の実施形態に関して説明する。
次に第2の実施形態に関して説明する。
次に第1算出部5、第2算出部19、および回復フィルタ生成部7により行われる具体的な計算例に関して説明する。
先ず、一つのカメラ(撮像系)の出力画像に対してのウィナーフィルタにより回復フィルタを生成する場合を説明する。なお、以下の説明で「」括弧によって示される文字および式中のボールド体はベクトルまたは行列を示し、それ以外はスカラーを示すように区別して使用している。
「1」*「x」=「x」となる(中心だけ1その他の要素は0となっている)ベクトルであるとする。上式をフーリエ変換すると、
次に、第1の実施形態における第1算出部5および回復フィルタ生成部7での計算について説明する。
次に、第2の実施形態における第2算出部19および回復フィルタ生成部7における計算について説明する。
次に本発明の変形例1に関して説明する。本例では画像処理部(画像処理装置)はカメラシステム1の制御装置(コンピュータ60)ではなく、カメラ10Aおよびカメラ10Bに設けられている。
次に、本発明の変形例2に関して説明する。本例では、上述した回復フィルタ生成方法(図8のステップS10〜ステップS12)により回復フィルタが生成され、生成された回復フィルタがカメラシステム1に予め設定されている。
次に、本発明の変形例3に関して説明する。本例では、上述した目標解像値算出方法(図8のステップS10〜ステップS11)により目標解像値が決定され、その目標解像値がカメラシステム1に予め設定されている。
2A、2B 撮像画像
3 伝達関数入力部
5 第1算出部
7 回復フィルタ生成部
9 回復画像生成部
10A、10B カメラ
11A、11B 回復画像
12 レンズユニット
13 撮影条件入力部
14 カメラ本体
15 重み入力部
16 レンズ
17 絞り
18 光学系操作部
19 第2算出部
20 レンズユニットコントローラ
22 レンズユニット入出力部
26 撮像素子
28 カメラ本体コントローラ
30 カメラ本体入出力部
32 入出力インターフェース
34 デバイス制御部
35 画像処理部
60 コンピュータ
62 コンピュータ入出力部
63 コンピュータ側画像処理部
64 コンピュータコントローラ
66 ディスプレイ
70 インターネット
80 サーバ
82 サーバ入出力部
84 サーバコントローラ
S10〜S13 第1の実施形態の画像処理方法
S20〜S25 第2の実施形態の画像処理方法
S30〜S33 回復フィルタ生成方法
S40〜S42 目標解像値算出方法
Claims (13)
- 複数の撮像系の各伝達関数が入力される伝達関数入力部と、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出部と、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成部と、
前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成部と、
を備え、
前記算出部に用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する画像処理装置。 - 複数の撮像系の各伝達関数が入力される伝達関数入力部と、
前記複数の撮像系の各撮影条件が入力される撮影条件入力部と、
入力された前記各伝達関数、前記各撮影条件、および所定の基準に基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出部と、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成部と、
前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成部と、
を備え、
前記算出部に用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値と前記目標解像値との差が前記撮影条件に応じた重みを適用した上で最小にさせるのを前提条件とし、前記複数の撮像系の全体の前記各撮影条件全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との重み付き誤差を最小化する画像処理装置。 - 前記撮影条件入力部に入力された前記各撮影条件に応じた前記目標解像値との一致の程度を表す前記重みが入力される重み入力部を備える請求項2に記載の画像処理装置。
- 前記算出部は、前記回復画像と前記理想画像との二乗誤差の合計値を最小化する基準に基づいて、前記目標解像値を算出する請求項1から3のいずれか1項に記載の画像処理装置。
- 請求項1から4のいずれか1項に記載の画像処理装置を有するカメラシステムであって、
前記複数の撮像系と前記複数の撮像系の制御を行う制御装置は有線または無線により接続されており、
前記制御装置に、前記画像処理装置が設けられているカメラシステム。 - 請求項1から4のいずれか1項に記載の画像処理装置を有するカメラシステムであって、
前記複数の撮像系と前記複数の撮像系の制御を行う制御装置は有線または無線により接続されており、
前記複数の撮像系のうちの少なくとも1つに、前記画像処理装置が設けられているカメラシステム。 - 請求項1から4のいずれか1項に記載の画像処理装置を有する複数のカメラで構成されるカメラシステムであって、
前記複数の撮像系と前記複数の撮像系の制御を行う制御装置は有線または無線により接続されており、
前記複数の撮像系の各々には、前記画像処理装置が設けられているカメラシステム。 - 複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する画像処理方法。 - 複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
前記複数の撮像系の各撮影条件が入力される撮影条件入力ステップと、
入力された前記各伝達関数、前記各撮影条件、および所定の基準に基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値と前記目標解像値との差が撮影条件に応じた重みを適用した上で最小にさせるのを前提条件とし、前記複数の撮像系の全体の前記各撮影条件全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する画像処理方法。 - 複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
前記カメラシステムは、
前記複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する回復フィルタ生成方法により生成された前記回復フィルタを有するカメラシステム。 - 複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
前記カメラシステムは、
複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する目標解像値算出方法により算出された前記目標解像値を有するカメラシステム。 - 複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
前記カメラシステムは、
複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
前記複数の撮像系の各撮影条件が入力される撮影条件入力ステップと、
入力された前記各伝達関数、前記各撮影条件、および所定の基準に基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値と前記目標解像値との差が撮影条件に応じた重みを適用した上で最小にさせるのを前提条件とし、前記複数の撮像系の全体の前記各撮影条件全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する回復フィルタ生成方法により生成された回復フィルタを有するカメラシステム。 - 複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
前記カメラシステムは、
複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
前記複数の撮像系の各撮影条件が入力される撮影条件入力ステップと、
入力された前記各伝達関数、前記各撮影条件、および所定の基準に基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
を含み、
前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値と前記目標解像値との差が撮影条件に応じた重みを適用した上で最小にさせるのを前提条件とし、前記複数の撮像系の全体の前記各撮影条件全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する目標解像値算出方法により算出された前記目標解像値を有するカメラシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017028061 | 2017-02-17 | ||
JP2017028061 | 2017-02-17 | ||
PCT/JP2017/043948 WO2018150695A1 (ja) | 2017-02-17 | 2017-12-07 | 画像処理装置、画像処理方法、およびカメラシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018150695A1 JPWO2018150695A1 (ja) | 2019-12-12 |
JP6628908B2 true JP6628908B2 (ja) | 2020-01-15 |
Family
ID=63170229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018568011A Active JP6628908B2 (ja) | 2017-02-17 | 2017-12-07 | 画像処理装置、画像処理方法、およびカメラシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10931888B2 (ja) |
JP (1) | JP6628908B2 (ja) |
CN (1) | CN110249620B (ja) |
WO (1) | WO2018150695A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7016835B2 (ja) | 2019-06-06 | 2022-02-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム |
CN112863408B (zh) * | 2019-11-26 | 2022-12-27 | 逸美德科技股份有限公司 | 屏幕分辨率的检测方法和装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003209553A1 (en) * | 2002-03-13 | 2003-09-22 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
JP4749985B2 (ja) | 2006-09-28 | 2011-08-17 | 京セラ株式会社 | 撮像装置、並びにその製造装置および製造方法 |
KR101574733B1 (ko) * | 2008-11-19 | 2015-12-04 | 삼성전자 주식회사 | 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법 |
JP2011044801A (ja) * | 2009-08-19 | 2011-03-03 | Toshiba Corp | 画像処理装置 |
JP5284537B2 (ja) * | 2010-03-31 | 2013-09-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、およびそれを用いた撮像装置 |
JP5204165B2 (ja) * | 2010-08-05 | 2013-06-05 | パナソニック株式会社 | 画像復元装置および画像復元方法 |
JP5730036B2 (ja) * | 2011-01-25 | 2015-06-03 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム。 |
CN102625043B (zh) | 2011-01-25 | 2014-12-10 | 佳能株式会社 | 图像处理设备、成像设备和图像处理方法 |
JP2015186170A (ja) * | 2014-03-26 | 2015-10-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US9225889B1 (en) * | 2014-08-18 | 2015-12-29 | Entropix, Inc. | Photographic image acquisition device and method |
JP6263461B2 (ja) * | 2014-09-26 | 2018-01-17 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
CN107079094B (zh) * | 2014-09-30 | 2018-07-13 | 富士胶片株式会社 | 图像处理装置、图像处理方法、及记录介质 |
JP6573386B2 (ja) * | 2014-12-01 | 2019-09-11 | キヤノン株式会社 | 制御装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体 |
-
2017
- 2017-12-07 CN CN201780085394.7A patent/CN110249620B/zh active Active
- 2017-12-07 JP JP2018568011A patent/JP6628908B2/ja active Active
- 2017-12-07 WO PCT/JP2017/043948 patent/WO2018150695A1/ja active Application Filing
-
2019
- 2019-07-22 US US16/518,095 patent/US10931888B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20190340788A1 (en) | 2019-11-07 |
WO2018150695A1 (ja) | 2018-08-23 |
JPWO2018150695A1 (ja) | 2019-12-12 |
CN110249620A (zh) | 2019-09-17 |
CN110249620B (zh) | 2021-04-23 |
US10931888B2 (en) | 2021-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7016835B2 (ja) | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム | |
US8982234B2 (en) | Information processing apparatus and method | |
CN104956661B (zh) | 图像拾取装置、图像处理装置、图像处理方法 | |
US10521891B2 (en) | Image processing apparatus, system, image processing method, and non-transitory recording medium | |
JP6628908B2 (ja) | 画像処理装置、画像処理方法、およびカメラシステム | |
US11308592B2 (en) | Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network | |
JP6592622B2 (ja) | 画像処理装置、画像処理方法、およびカメラシステム | |
CN107534728B (zh) | 图像处理装置、摄像装置、图像处理方法及存储介质 | |
JP2012003454A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2015231052A (ja) | 撮像装置および方法、並びにプログラム | |
US20120013775A1 (en) | Enhanced Image Capture Sharpening | |
JP5278421B2 (ja) | 撮像装置 | |
CN110958382A (zh) | 图像处理方法、图像处理装置、成像装置和存储介质 | |
JP2016119532A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6608548B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2019176302A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2012156714A (ja) | プログラム、画像処理装置、画像処理方法および撮像装置。 | |
JP2017028583A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6468791B2 (ja) | 画像処理装置、撮像装置、画像処理システム、画像処理方法および画像処理プログラム | |
JP2023069527A (ja) | 画像処理装置および画像処理方法 | |
JP2016118856A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2023067973A (ja) | 交換レンズ | |
JP5963542B2 (ja) | 画像処理装置、その制御方法及びプログラム | |
JP2022181572A (ja) | 画像処理方法、画像処理装置、プログラム、訓練済み機械学習モデルの製造方法、処理装置、画像処理システム | |
JP2015109562A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190725 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190725 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6628908 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |