JP6456001B2 - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP6456001B2 JP6456001B2 JP2017507610A JP2017507610A JP6456001B2 JP 6456001 B2 JP6456001 B2 JP 6456001B2 JP 2017507610 A JP2017507610 A JP 2017507610A JP 2017507610 A JP2017507610 A JP 2017507610A JP 6456001 B2 JP6456001 B2 JP 6456001B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- signal
- blue
- green
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 49
- 230000004075 alteration Effects 0.000 claims description 106
- 206010010071 Coma Diseases 0.000 claims description 76
- 238000010586 diagram Methods 0.000 description 20
- 230000015654 memory Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000005855 radiation Effects 0.000 description 10
- 206010073261 Ovarian theca cell tumour Diseases 0.000 description 9
- 208000001644 thecoma Diseases 0.000 description 9
- 230000003111 delayed effect Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 2
- 201000009310 astigmatism Diseases 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Description
さらにデジタル信号処理回路の集積化が進み、複数ラインの出力信号を記憶し算術処理することが、映像専用のメモリ集積DSPだけでなく、安価な汎用のFPGA(Field Programmable Gate Array)でも容易に実現できる様になった。画素数が百万以上のメガピクセルカメラやHDTV(High Definition TeleVision)カメラや高速撮像HDTVカメラや記録部付HDTVカメラやInternet Protocol(以下IP)伝送部付HDTVカメラやより高精細の2K×4Kカメラや4K×8KカメラのUHDTV(Ultra High Definition TeleVision)やHDD(Hard Disk Drive)を用いた非圧縮の記録装置も製品化された。平面映像表示装置も、より高精細の2K×4Kや4K×8KのUHDTV表示や高速表示や超薄型化が進んできた。
また、入射点の光軸からの距離によって集光点の光軸方向の位置が変わる球面収差により画面全体の変調度が低下する。光軸外の1点から出た光が像面において1点に集束しないコマ(彗星状の)収差によりコマ(彗星)の様に放射線方向の片側に結像広がるため、画面周辺では放射線方向の外側と内側とで輪郭の崩れ方が異なる。さらに、光軸外の1点から出た光線による同心円方向の像点と放射線方向の像点とがずれる非点収差により画面周辺で円周方向の輪郭の崩れ方と放射方向の輪郭の崩れ方が異なる。
レンズで集めた光が1点に集まらない現象が収差で,その中の球面収差とコマ収差を光学的に補正したのがアプラナート,さらに,光の波長の違いによる焦点位置のズレを,赤のC線(656.3nm)ならびに青のF線(486.1nm)の2ヶ所で光学的に補正したのが色消しレンズのアクロマートと呼ばれる。さらに紫のg線(435.8nm)を加え、3つの波長で光学的に(赤青のコマ収差の重心位置と緑のコマ収差の重心位置の差である)色収差が補正され、2つの波長で球面収差・コマ収差が光学的に補正されている等の条件を満たすものをアポクロマートとアッベが命名した。
球面収差が光学的に補正不足でアプラナートですらなく、画面中心でも変調度が低下するレンズはUHDTVには性能不足である。
光学的な収差補正方法の違いで残存収差は異なる。
赤青のコマ収差の重心位置は個体差や絞りであまり変化しないため、赤青のコマ収差の重心位置を電子的に補正する倍率色収差の補正値は絞りであまり変化しない。しかし、赤青のコマ収差のフレア成分は絞り値に逆比例するので、赤青のコマ収差のフレア成分である色にじみも絞り値に逆比例する。また、レンズ個体差で赤青のコマ収差のフレア成分である色にじみもばらつく。画面左右で赤青のコマ収差のフレア成分である色にじみもばらつく。
さらに、高輝度部分の赤青のコマ収差のフレア成分である色にじみはニーで圧縮され目立たないが、暗部の赤青のコマ収差のフレア成分である色にじみは、目立つ。
つまり、赤青のコマ収差の重心位置と緑のコマ収差の重心位置の差である倍率色収差を電子的に補正しても赤青のコマ収差のフレア成分は電子的に補正できない。
また、特許文献2に、画像処理による歪曲収差補正を行った画像には、同心円方向のみアパーチャ補正処理乃至エッジ強調処理の画像鮮鋭化処理を行い、放射線方向は画像鮮鋭化処理を行わない技術が開示されている。
本発明の目的は、コマ(彗星)の様に放射線方向の片側に結像がフレア成分として広がるレンズのコマ収差の(高輝度部分の赤青のコマ収差のフレア成分である色にじみはニーで圧縮され目立たないが、暗部の赤青のコマ収差の)フレア成分である色にじみは、目立つので、高輝度の被写体の縁の色にじみであるレンズのコマ収差のフレア成分を補正する撮像装置を実現することである。
図1は本発明の一実施例に係る撮像装置を説明するためのブロック図である。
図1において、撮像装置3は、撮像部2、信号処理部4、画面位置制御部5、CPU(Central Processing Unit)部6で構成されている。
撮像装置3はレンズ部1と接続されている。
画面位置制御部5は、CPU部6からレンズ部1のレンズ品種情報と焦点距離情報と口径比情報を取得し、映像信号の位置情報を水平同期信号と画素クロックから取得し、R(Red)信号又はB(Blue)信号の映像レベルとG(Green)信号の映像レベルからフレア補正制御信号を生成する。
図2A(a)はベイヤー配列相当を示し、図2A(b)はG1G2(Green1撮像素子とGreen2撮像素子)のみ斜め半画素ずらしを示している。
図2Bは本発明の一実施例に係る撮像装置の単板のオンチップカラーフィルタの配置を示す模式図である。
図2Bにおいて、単板のベイヤー配列相当の配置は、G1(Green1)画素とG2(Green2)画素が斜めに配置され、R(Red)画素とB(Blue)画素が逆斜めに配置されている。
図3Aは本発明の一実施例に係る青又は赤の水平フレア補正部のブロック図である。
図3Aの水平フレア補正部14Hは図1の信号処理部4に内蔵されている。
図3Aにおいて、水平フレア補正部14Hは、4画素遅延部54、画素遅延部D0〜D7、加算器40〜43,53、負の掛け算器N0〜N3,N5〜N8、正の掛け算器P4、映像レベル判定部48,49で構成されている。
R(Red)信号又はB(Blue)信号は、4画素遅延部54で4画素分遅延され、加算器53でG(Green)信号から生成された水平フレア補正信号が加算されて補正後R信号又は補正後B信号として出力される。
CPU部6は、レンズ品種情報と焦点距離情報と口径比情報から画面位置と左右独立可変輪郭補正制御の関係情報(水平画素番号と輪郭補正の補正量)を画像位置制御部5に出力する。
画像位置制御部5は、0dから3dの前縁と5d後から8d後の後縁との水平画素カウンタを含んでいる。
映像レベル判定部48は、G(Green)信号を4画素分遅延させた4dのレベルを判定し、例えば定格レベルの200%以上の場合には画像位置制御部5に判定結果を出力する。
画像位置制御部5は、映像レベル判定部49と映像レベル判定部48の判定結果に応じて負の掛け算器N0〜N3を後縁フレア補正制御信号で制御し、負の掛け算器N5〜N8と正の掛け算器P4を前縁フレア補正制御信号で制御して水平フレア補正信号を生成する。
図3Bの垂直フレア補正部14Vは図1の信号処理部4に内蔵されている。
図3Bにおいて、垂直フレア補正部14Vは、4ラインメモリ部M8、ラインメモリ部M0〜M7、加算器40〜43,53、負の掛け算器N0〜N3,N5〜N8、正の掛け算器P4、映像レベル判定部48,49で構成されている。
R(Red)信号又はB(Blue)信号は、4ラインメモリ部M8で4ライン分遅延され、加算器53でG(Green)信号から生成された垂直フレア補正信号が加算されて補正後R信号又は補正後B信号として出力される。
CPU部6は、レンズ品種情報と焦点距離情報と口径比情報から画面位置と左右独立可変輪郭補正制御の関係情報(水平画素番号と輪郭補正の補正量)を画像位置制御部5に出力する。
画像位置制御部5は、0Hから3Hの前縁と5Hから8H後との水平画素カウンタを含んでいる。
映像レベル判定部48は、G(Green)信号を4H(走査線)分遅延させた4Hのレベルを判定し、例えば定格レベルの200%以上の場合には画像位置制御部5に判定結果を出力する。
画像位置制御部5は、映像レベル判定部49と映像レベル判定部48の判定結果に応じて負の掛け算器N0〜N3を後縁フレア補正制御信号で制御し、負の掛け算器N5〜N8と正の掛け算器P4を前縁フレア補正制御信号で制御して垂直フレア補正信号を生成する。
図3Cの斜めフレア補正部14Dは図1の信号処理部4に内蔵されている。
図3Cにおいて、斜めフレア補正部14Dは、フレームメモリ部M9,M18、加算器40〜43,53、負の掛け算器N0〜N3,N5〜N8、正の掛け算器P4、映像レベル判定部48,49で構成されている。
R(Red)信号又はB(Blue)信号は、フレームメモリ部M9で2H+2d分遅延され、加算器53でG(Green)信号から生成された斜めフレア補正信号が加算されて補正後R信号又は補正後B信号として出力される。
CPU部6は、レンズ品種情報と焦点距離情報と口径比情報を画像位置制御部5に出力する。
画像位置制御部5は、0H−2dから4H+2dまでの外縁と内縁との水平画素カウンタを含んでいる。
映像レベル判定部28は、G(Green)信号を2H+2d(2走査線+2画素)分遅延させた2H+2dのレベルを判定し、例えば定格レベルの200%以上の場合には画像位置制御部5に判定結果を出力する。
画像位置制御部5は、映像レベル判定部49と映像レベル判定部28の判定結果に応じて負の掛け算器N0〜N3を右上の右上斜め輪郭補正数制御信号で制御し、負の掛け算器N5〜N8と正の掛け算器P4を左下の右上斜め輪郭補正数制御信号で制御して斜めフレア補正信号を生成する。
図4Aは本発明の一実施例に係るフレア補正信号の生成を説明するための模式図である。
図4Aにおいて、(a)は補正前8d,8H,8d8H,0d8H,信号、(b)は補正前7d,7H,7d7H,1d7H,信号、(c)は補正前6d,6H,6d6H,2d6H,信号、(d)は補正前5d,5H,5d5H,3d5H,信号、(e)は補正前4d,4H,4d4H,4d4H,信号、(f)は補正前3d,3H,3d3H,5d3H,信号、(g)は補正前2d,2H,2d2H,6d2H,信号、(h)は補正前1d,1H,1d1H,7d1H,信号、(i)は補正前0d0H,0d0H,8d0H,信号号、(j)は非対称独立輪郭補正後信号である。
図4Bは本発明の他の一実施例に係るフレア補正信号の生成を説明するための模式図である。
図4Bにおいて、(a)は補正前8d,8H,8d8H,0d8H,信号、(b)は補正前7d,7H,7d7H,1d7H,信号、(c)は補正前6d,6H,6d6H,2d6H,信号、(d)は補正前5d,5H,5d5H,3d5H,信号、(e)は補正前4d,4H,4d4H,4d4H,信号、(f)は補正前3d,3H,3d3H,5d3H,信号、(g)は補正前2d,2H,2d2H,6d2H,信号、(h)は補正前1d,1H,1d1H,7d1H,信号、(i)は補正前0d0H,0d0H,8d0H,信号、(j)は非対称独立輪郭補正後信号)である。
図5は本発明の一実施例に係る順次走査出力の信号処理を示す模式図である。
図5において、(a)はG映像信号であり、(b)はG映像信号の低周波数輪郭成分であり、(c)はG映像信号の定格レベルの例えば200%以上期間であり、(d)はB(Blue)映像信号であり、(e)はB映像信号の定格レベルの例えば200%以上期間であり、(f)は画面左端の前縁フレア補正有効期間(B映像信号の例えば200%以上期間からG映像信号の例えば200%以上期間を引いた期間からnd前)であり、(g)は画面右端の後縁フレア補正有効期間(B映像信号の例えば200%以上期間からnd後)であり、(h)は画面左右端のフレア補正波形(画面左端の前縁フレア補正有効期間と画面右端の後縁フレア補正有効期間とのG映像信号の低周波数輪郭成分)であり、(i)は補正後のB映像信号(B映像信号から画面左右端のフレア補正波形を減算した映像信号)である。
単板式撮像素子の順次走査出力は、図5に記載した内容でフレアを補正できる。
前記取得したレンズの品種情報と口径比情報と前記記憶した前記コマ収差情報とから、青のコマ収差が多く緑のコマ収差が少ないことを活用して、青のコマ収差のフレアの左右バランスの個体差と絞り値変化分に対応して、青の映像信号の画面左の第一の基準以上の高輝度の画素の多画素遅延の少なくとも多画素遅延の水平輪郭補正と垂直輪郭補正と斜め輪郭補正との画素分外から高輝度の画素の直前までの青のフレアを近似する緑の少なくとも多画素遅延の水平輪郭補正と垂直輪郭補正と斜め輪郭補正と信号を青の映像信号に加算する手段を有することを特徴とする撮像装置である。
加算器やラインメモリ部や画素遅延部の個数が7個以上でない場合は輪郭補正が対称となるように、加算器やラインメモリ部や画素遅延部の個数は偶数が好ましい。
つまり、輪郭補正を簡易で済ませる場合は、フレームメモリから読み出す個数は4個や6個が好ましい。
または、緑赤青の色収差と緑赤のコマ収差によるフレアを光学的に補正し青のコマ収差を光学的に補正していない(アポクロマート)レンズならBchのみ200%以上の期間を検出し前縁と後縁のコマ収差によるフレアを補正し、赤のコマ収差を高精度補正ならRchも200%以上の期間を検出し前縁と後縁のコマ収差によるフレアを補正する用途に適用できる。
そのため、高倍率ズームレンズ又は汎用のズームレンズの広角端や望遠端の高輝度被写体の縁の青色のコマ収差のフレア成分による色にじみも電子的に補正し、より高解像度である4Kや8Kといったカメラにおいて、色分解光学系とRGBの3板式のカメラ又は色分解光学系とRGGBの4板式のカメラ又はRGGBのベイヤー配列のオンチップカラーフィルタの撮像素子を用いた単板カメラにおいて、高倍率ズームレンズ又は汎用のズームレンズを含むカメラ全体の用途に適用できる。
この出願は、2015年3月20日に出願された日本出願特願2015−058065を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。
Claims (4)
- ワイドアスペクトの高解像度撮像装置において、緑赤青の色収差と緑赤の球面収差とコマ収差を光学的に補正したレンズ部と、前記レンズ部の品種情報と口径比情報とを取得し前記レンズ部のコマ収差情報を取得し記憶する手段と少なくとも水平輪郭補正とを有し、
前記取得したレンズの品種情報と口径比情報と前記記憶した前記コマ収差情報とから、青の映像信号の画面左の第一の基準以上の高輝度の画素の少なくとも水平輪郭補正の画素分外から高輝度の画素の直前までの緑の少なくとも水平輪郭補正信号を青の映像信号に加算する手段を有することを特徴とする撮像装置。 - 請求項1の撮像装置において、
前記高解像度撮像装置が、赤緑青で色収差が光学的に補正されているレンズ部と、前記レンズの品種情報と焦点距離情報と口径比情報とを取得する手段と、前記レンズ部のコマ収差情報を取得し記憶する手段と、前記取得したレンズ部の品種情報と焦点距離情報と口径比情報と前記記憶した少なくとも青の前記コマ収差情報とから、画面中心からの距離に比例で内外独立に青のフレアを近似する緑の輪郭補正量を個別に算出し、緑の少なくとも水平輪郭補正の輪郭補正信号を内外独立に青の映像信号に加算する手段を有することを特徴とする撮像装置。 - ワイドアスペクトの高解像度撮像装置において、
緑赤の球面収差とコマ収差を光学的に補正したレンズ部を用い、前記レンズ部の品種情報と口径比情報とを取得し、前記レンズ部のコマ収差情報を取得し記憶し、
少なくとも水平輪郭補正を用い、前記取得したレンズの品種情報と口径比情報と前記記憶した前記コマ収差情報とから、青の映像信号の画面左の第一の基準以上の高輝度の画素の少なくとも水平輪郭補正の画素分外から高輝度の画素の直前までの緑の少なくとも水平輪郭補正信号を青の映像信号に加算することを行うことを特徴とする撮像方法。 - 請求項3に記載の撮像方法において、
前記高解像度撮像装置が、赤緑青で色収差が光学的に補正されているレンズ部を用い、前記レンズ部の品種情報と焦点距離情報と口径比情報とを取得し、前記レンズ部のコマ収差情報を取得し記憶し、前記取得したレンズ部の品種情報と焦点距離情報と口径比情報と前記記憶した前記コマ収差情報とから、画面中心からの距離に比例で左右独立に緑の水平輪郭補正量を個別に算出し、緑の水平輪郭補正信号を左右独立に青の映像信号に加算することを特徴とする撮像方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015058065 | 2015-03-20 | ||
JP2015058065 | 2015-03-20 | ||
PCT/JP2016/054712 WO2016152343A1 (ja) | 2015-03-20 | 2016-02-18 | 撮像装置及び撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016152343A1 JPWO2016152343A1 (ja) | 2017-12-07 |
JP6456001B2 true JP6456001B2 (ja) | 2019-01-23 |
Family
ID=56978331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017507610A Active JP6456001B2 (ja) | 2015-03-20 | 2016-02-18 | 撮像装置及び撮像方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6456001B2 (ja) |
WO (1) | WO2016152343A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018121239A (ja) * | 2017-01-26 | 2018-08-02 | 株式会社日立国際電気 | 撮像装置及び撮像方法 |
JP6827121B2 (ja) * | 2017-09-25 | 2021-02-10 | 株式会社日立国際電気 | 撮像装置 |
JP6858265B2 (ja) * | 2017-09-25 | 2021-04-14 | 株式会社日立国際電気 | 撮像装置 |
EP3809692B1 (en) * | 2019-10-17 | 2023-10-04 | Denso Wave Incorporated | Imaging device provided with event-based camera |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5279605B2 (ja) * | 2008-05-13 | 2013-09-04 | 株式会社日立国際電気 | 個体撮像装置及び監視システム |
JP2014053700A (ja) * | 2012-09-06 | 2014-03-20 | Canon Inc | 撮像及び画像処理装置および画像処理方法 |
JP5769893B2 (ja) * | 2013-01-21 | 2015-08-26 | 株式会社日立国際電気 | 撮像装置及びそれを用いた蒸着装置 |
-
2016
- 2016-02-18 JP JP2017507610A patent/JP6456001B2/ja active Active
- 2016-02-18 WO PCT/JP2016/054712 patent/WO2016152343A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JPWO2016152343A1 (ja) | 2017-12-07 |
WO2016152343A1 (ja) | 2016-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8391637B2 (en) | Image processing device and image processing method | |
JP6456001B2 (ja) | 撮像装置及び撮像方法 | |
JP5901935B2 (ja) | 固体撮像装置及びカメラモジュール | |
JP5746521B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
JP6678504B2 (ja) | 撮像装置及びその制御方法、プログラム並びに記憶媒体 | |
US9995931B2 (en) | Method for correcting contour distortions of lenses | |
JP2009055471A (ja) | 画像処理装置、画像処理方法、及び撮像装置 | |
JP6602390B2 (ja) | 撮像装置及び撮像方法 | |
JP5712031B2 (ja) | 撮像装置、撮影レンズユニット、および撮像ユニット | |
JP5419749B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6348601B2 (ja) | 固体撮像装置及び撮像方法 | |
JP6370004B2 (ja) | 撮像装置および撮像方法 | |
JP6422500B2 (ja) | 撮像装置及び撮像方法 | |
JP6858265B2 (ja) | 撮像装置 | |
JP2015231193A (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP2012156714A (ja) | プログラム、画像処理装置、画像処理方法および撮像装置。 | |
JP5333163B2 (ja) | 撮像装置 | |
JP5418258B2 (ja) | 撮像装置および画像処理方法 | |
JP2018121239A (ja) | 撮像装置及び撮像方法 | |
JP6437766B2 (ja) | 撮像装置及び撮像方法 | |
JP6207173B2 (ja) | 信号処理装置、その制御方法、および制御プログラム | |
JP5523266B2 (ja) | 画像撮像装置 | |
JP2011160204A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2007195114A (ja) | 撮像装置 | |
JP2011015155A (ja) | 撮像装置、レンズユニット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181018 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6456001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |