JP6071974B2 - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理方法、画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP6071974B2 JP6071974B2 JP2014214688A JP2014214688A JP6071974B2 JP 6071974 B2 JP6071974 B2 JP 6071974B2 JP 2014214688 A JP2014214688 A JP 2014214688A JP 2014214688 A JP2014214688 A JP 2014214688A JP 6071974 B2 JP6071974 B2 JP 6071974B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- image processing
- filter
- psf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 145
- 238000012545 processing Methods 0.000 title claims description 122
- 238000003672 processing method Methods 0.000 title claims description 15
- 230000003287 optical effect Effects 0.000 claims description 95
- 238000000034 method Methods 0.000 claims description 61
- 230000008569 process Effects 0.000 claims description 41
- 238000009826 distribution Methods 0.000 claims description 26
- 238000005315 distribution function Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 17
- 230000002093 peripheral effect Effects 0.000 claims description 7
- OXCMYAYHXIHQOA-UHFFFAOYSA-N potassium;[2-butyl-5-chloro-3-[[4-[2-(1,2,4-triaza-3-azanidacyclopenta-1,4-dien-5-yl)phenyl]phenyl]methyl]imidazol-4-yl]methanol Chemical compound [K+].CCCCC1=NC(Cl)=C(CO)N1CC1=CC=C(C=2C(=CC=CC=2)C2=N[N-]N=N2)C=C1 OXCMYAYHXIHQOA-UHFFFAOYSA-N 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007423 decrease Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 description 94
- 230000006870 function Effects 0.000 description 48
- 238000004364 calculation method Methods 0.000 description 27
- 230000014509 gene expression Effects 0.000 description 24
- 239000011295 pitch Substances 0.000 description 19
- 238000013461 design Methods 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 13
- 230000004075 alteration Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
g(x,y)=f(x,y)+m×h(x,y) ・・・(1)
式(1)において、mは定数であり、mの値を変化させることにより入力画像f(x,y)に対する補正成分h(x,y)の効かせ度合い(ゲイン)、つまりは補正量を調整することができる。
h(x,y)=f(x,y)−f(x,y)*USM(x,y) ・・・(2)
と表せる。*はコンボリューション(畳み込み積分)を示す。また、補正成分h(x,y)は、式(2)の右辺を変形して、次式で表すことができる。
h(x,y)=f(x,y)*(δ(x,y)−USM(x,y))・・・(3)
δはデルタ関数(理想点像)である。ここで用いるデルタ関数は、USM(x,y)とタップ数が等しく、中央のタップの値が1で、それ以外のタップの値が全て0のデータである。
f(x,y)=I(x,y)*psf(x,y) ・・・(4)
と表すことができる。ここで、撮像光学系が回転対称な共軸光学系であれば、入力画像の中心部に対応するPSFは回転対称となる。このため、入力画像の中心部については上記のように回転対称なアンシャープマスクUSMを適用することで、入力画像f(x,y)を原画像I(x,y)に近づけるような鮮鋭化処理を実現することができる。このとき、鮮鋭化処理における補正量は、入力画像とアンシャープマスクでぼかしたアンシャープ画像との差分値となる。このため、より精度良く補正(鮮鋭化)するためには、アンシャープマスクUSMとして単純な平滑化フィルタを使用するのではなく、よりpsf(x,y)に近い形状のフィルタ、言い換えればPSFに対応するフィルタを使用した方がよい。これは、例えば球面収差の影響で入力画像が劣化していた場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるPSFとは分布の形状が異なる。このため、こうした回転対称にぼける影響を低減する場合であっても、撮像光学系のPSFに対応するフィルタを使用する方が精度良く補正することができる。
g(x,y)=f(x,y)+m×[f(x,y)−f(x,y)*USM(x,y)]
・・・(11)
あるいは、式(1)および式(3)により、
g(x,y)=f(x,y)+m×f(x,y)*[δ(x,y)−USM(x,y)]
・・・(12)
と表すことができる。さらに、式(12)を変形することで、
g(x,y)=f(x,y)*[δ(x,y)+m×(δ(x,y)−USM(x,y))]・・・(13)
と表すこともできる。
また、式(13)は次式のように変形することもできる。
g(x,y)=f(x,y)*[(1+m)×δ(x,y)−m×USM(x,y)]
・・・(13′)
式(11),(12),(13)および(13′)は互いに等価な処理を示すため、後述する各実施例では式(13)によるアンシャープマスク処理(鮮鋭化処理)について説明する。また、各実施例では、式(13)におけるUSM(x,y)をアンシャープマスクとし、中括弧[]内の部分を補正信号とする。
D=P/Do ・・・(14)
となる。
D=2P/Do ・・・(15)
となる。この式(15)で得られる間隔Dで再構成したPSFを離散化することで、RAW画像からからチャンネルごとに抜き出した画像を入力画像とした場合においても適切なアンシャープマスクを生成することができる。これ以外のステップはデモザイキング後の画像を入力画像とする場合と同様であるため説明は省略する。このように、デモザイキング後の画像であってもチャンネルごとに抜き出した画像であっても間隔Dの変更のみで対応できるため、入力画像に応じてステップS14の処理を切り替えることも可能となる。
104 画像処理部
208 記憶部
Claims (11)
- 撮像光学系を通した撮像により生成された第1の画像に対する画像処理を行う画像処理方法であって、
前記撮像光学系の点像強度分布関数を近似する近似関数に含まれる係数であって、前記撮像光学系の光学状態に応じて異なる値を有する係数を含む係数データを用意し、
前記画像処理として、
前記係数データのうち前記撮像時における前記光学状態に対応する前記係数を用いて近似点像強度分布関数を生成し、
該近似点像強度分布関数と、前記撮像に用いられた撮像素子の画素ピッチと、前記第1の画像に対する鮮鋭化処理に用いられるフィルタのカーネルサイズおよび該フィルタのタップ数のうち少なくとも一方とを用いて前記フィルタを生成し、
前記フィルタを前記第1の画像に適用することで鮮鋭化画像である第2の画像を生成することを特徴とする画像処理方法。 - 前記撮像光学系の基準値データを用いて算出された前記点像強度分布関数に対して前記近似関数をフィッティングすることで前記係数データを生成することを特徴とする請求項1に記載の画像処理方法。
- 前記係数データは、前記近似点像強度分布関数に非対称性を付与する係数を含むことを特徴とする請求項1または2に記載の画像処理方法。
- 前記係数データは、前記フィルタのゲインを調整するための係数を含むことを特徴とする請求項1から3のいずれか1項に記載の画像処理方法。
- 前記近似点像強度分布関数を用いてアンシャープマスクを生成し、該アンシャープマスクを用いて前記フィルタを生成することを特徴する請求項1から4のいずれか1項に記載の画像処理方法。
- 前記近似点像強度分布関数から、前記アンシャープマスクを生成することなく、前記フィルタを生成することを特徴とする請求項1から4のいずれか1項に記載の画像処理方法。
- 前記フィルタのタップ値の総和を所定値にする正規化処理を行い、
該正規化処理が行われた前記フィルタを前記第1の画像に適用することを特徴とする請求項1から6のいずれか1項に記載の画像処理方法。 - 前記近似点像強度分布関数が、その中央部から周辺部に向かって連続的に0に減少する分布となるように調整を行い、
該調整後の近似点像強度分布関数を用いて前記フィルタを生成することを特徴とする請求項1から7のいずれか1項に記載の画像処理方法。 - コンピュータに、撮像光学系を通した撮像により生成された第1の画像に対する画像処理を行わせるコンピュータプログラムであって、
前記コンピュータに、
前記撮像光学系の点像強度分布関数を近似する近似関数に含まれる係数であって、前記撮像光学系の光学状態に応じて異なる値を有する係数を含む係数データを用意させ、
前記画像処理として、
前記係数データのうち前記撮像時における前記光学状態に対応する前記係数を用いて近似点像強度分布関数を生成させ、
該近似点像強度分布関数と、前記撮像に用いられた撮像素子の画素ピッチと、前記第1の画像に対する鮮鋭化処理に用いられるフィルタのカーネルサイズおよび該フィルタのタップ数のうち少なくとも一方とを用いて前記フィルタを生成させ、
前記フィルタを前記第1の画像に適用することで鮮鋭化画像である第2の画像を生成させることを特徴とする画像処理プログラム。 - 撮像光学系を通した撮像により生成された第1の画像に対する画像処理を行う画像処理装置であって、
前記撮像光学系の点像強度分布関数を近似する近似関数に含まれる係数であって、前記撮像光学系の光学状態に応じて異なる値を有する係数を含む係数データを記憶した記憶手段と、
前記画像処理を行う処理手段とを有し、
前記処理手段は、
前記係数データのうち前記撮像時における前記光学状態に対応する前記係数を用いて近似点像強度分布関数を生成し、
該近似点像強度分布関数と、前記撮像に用いられた撮像素子の画素ピッチと、前記第1の画像に対する鮮鋭化処理に用いられるフィルタのカーネルサイズおよび該フィルタのタップ数のうち少なくとも一方とを用いて前記フィルタを生成し、
前記フィルタを前記第1の画像に適用することで鮮鋭化画像である第2の画像を生成することを特徴とする画像処理装置。 - 撮像光学系を通して撮像を行う撮像素子と、
前記撮像素子からの出力を用いて生成された第1の画像に対して画像処理を行う請求項10に記載の画像処理装置とを有することを特徴とする撮像装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014214688A JP6071974B2 (ja) | 2014-10-21 | 2014-10-21 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
US14/882,813 US9654707B2 (en) | 2014-10-21 | 2015-10-14 | Image processing apparatus, image capturing apparatus, image processing method and storage medium storing image processing program |
CN201510671003.2A CN105530407B (zh) | 2014-10-21 | 2015-10-16 | 图像处理装置、图像捕获装置和图像处理方法 |
EP15002964.3A EP3012802B1 (en) | 2014-10-21 | 2015-10-19 | Image processing apparatus, image capturing apparatus, image processing method and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014214688A JP6071974B2 (ja) | 2014-10-21 | 2014-10-21 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016081431A JP2016081431A (ja) | 2016-05-16 |
JP2016081431A5 JP2016081431A5 (ja) | 2016-07-21 |
JP6071974B2 true JP6071974B2 (ja) | 2017-02-01 |
Family
ID=54360843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014214688A Active JP6071974B2 (ja) | 2014-10-21 | 2014-10-21 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9654707B2 (ja) |
EP (1) | EP3012802B1 (ja) |
JP (1) | JP6071974B2 (ja) |
CN (1) | CN105530407B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014122804A1 (ja) * | 2013-02-05 | 2014-08-14 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP6440766B2 (ja) * | 2017-04-06 | 2018-12-19 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
CN107015288B (zh) * | 2017-05-25 | 2018-11-27 | 青岛理工大学 | 一种多通道的水下光学成像方法 |
JP7207893B2 (ja) * | 2018-08-08 | 2023-01-18 | キヤノン株式会社 | 撮像装置、レンズ装置 |
JP6605009B2 (ja) * | 2017-11-06 | 2019-11-13 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 |
JP6625144B2 (ja) * | 2018-01-05 | 2019-12-25 | キヤノン株式会社 | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム、記憶媒体、および、レンズ装置 |
JP6598886B2 (ja) * | 2018-01-05 | 2019-10-30 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、記憶媒体、および、レンズ装置 |
CN111903120A (zh) * | 2018-03-29 | 2020-11-06 | 索尼公司 | 信号处理设备、信息处理方法和程序 |
JP7016835B2 (ja) * | 2019-06-06 | 2022-02-07 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム |
US11721001B2 (en) | 2021-02-16 | 2023-08-08 | Samsung Electronics Co., Ltd. | Multiple point spread function based image reconstruction for a camera behind a display |
US11722796B2 (en) | 2021-02-26 | 2023-08-08 | Samsung Electronics Co., Ltd. | Self-regularizing inverse filter for image deblurring |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4067806B2 (ja) * | 2001-10-22 | 2008-03-26 | オリンパス株式会社 | 画像処理装置及びその方法 |
GB2406992A (en) * | 2003-10-09 | 2005-04-13 | Ta Vision Lab Ltd | Deconvolution of a digital image using metadata |
US7728844B2 (en) | 2004-07-09 | 2010-06-01 | Nokia Corporation | Restoration of color components in an image model |
CN101080742A (zh) * | 2004-10-15 | 2007-11-28 | 松下电器产业株式会社 | 利用多焦点透镜获取的图像的增强 |
CN101366270B (zh) * | 2005-11-29 | 2011-07-13 | 京瓷株式会社 | 成像设备和成像方法 |
JP4958806B2 (ja) * | 2008-01-22 | 2012-06-20 | 三洋電機株式会社 | ぶれ検出装置、ぶれ補正装置及び撮像装置 |
TWI459030B (zh) * | 2008-02-15 | 2014-11-01 | Omnivision Tech Inc | 成像光學元件、光學成像系統以及用於提供非單調波前相位之基於電腦的方法 |
US8169516B2 (en) * | 2008-07-18 | 2012-05-01 | Ricoh Co., Ltd. | Electo-optical color imaging systems having strong lateral chromatic aberration compensated by digital image processing |
JP4618355B2 (ja) | 2008-09-25 | 2011-01-26 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP2011128978A (ja) * | 2009-12-18 | 2011-06-30 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP5497420B2 (ja) * | 2009-12-22 | 2014-05-21 | 株式会社ザクティ | 画像処理装置及び撮像装置 |
JP2011211474A (ja) * | 2010-03-30 | 2011-10-20 | Sony Corp | 画像処理装置および画像信号処理方法 |
CN102822863B (zh) * | 2010-03-31 | 2015-11-25 | 佳能株式会社 | 图像处理设备和使用该图像处理设备的图像拾取设备 |
JP2012003454A (ja) * | 2010-06-16 | 2012-01-05 | Canon Inc | 画像処理装置、撮像装置および画像処理プログラム |
US8351120B2 (en) * | 2010-09-15 | 2013-01-08 | Visera Technologies Company Limited | Optical device having extented depth of field and fabrication method thereof |
JP5153846B2 (ja) | 2010-09-28 | 2013-02-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及び、プログラム |
JP5409829B2 (ja) * | 2012-02-17 | 2014-02-05 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
CN104854858B (zh) * | 2012-09-26 | 2017-11-07 | 富士胶片株式会社 | 图像处理装置、摄像装置、计算机 |
JP5709911B2 (ja) * | 2013-02-04 | 2015-04-30 | キヤノン株式会社 | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 |
CN104995911B (zh) * | 2013-02-15 | 2017-02-22 | 富士胶片株式会社 | 图像处理装置、摄影装置、滤波器生成装置、图像复原方法以及程序 |
-
2014
- 2014-10-21 JP JP2014214688A patent/JP6071974B2/ja active Active
-
2015
- 2015-10-14 US US14/882,813 patent/US9654707B2/en active Active
- 2015-10-16 CN CN201510671003.2A patent/CN105530407B/zh active Active
- 2015-10-19 EP EP15002964.3A patent/EP3012802B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3012802A1 (en) | 2016-04-27 |
CN105530407A (zh) | 2016-04-27 |
US20160110851A1 (en) | 2016-04-21 |
EP3012802B1 (en) | 2019-05-15 |
US9654707B2 (en) | 2017-05-16 |
JP2016081431A (ja) | 2016-05-16 |
CN105530407B (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6071974B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
CN106170051B (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
JP6234623B2 (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム | |
JP6440766B2 (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
JP6625144B2 (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム、記憶媒体、および、レンズ装置 | |
JP6448526B2 (ja) | 画像処理装置、撮像装置、画像処理プログラム | |
JP6071860B2 (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP6071966B2 (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム | |
JP7301601B2 (ja) | 画像処理装置、撮像装置、レンズ装置、画像処理システム、画像処理方法、および、プログラム | |
JP6562650B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
US10013742B2 (en) | Image processing apparatus, optical apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP6598886B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、記憶媒体、および、レンズ装置 | |
JP6605009B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP2018180729A (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 | |
JP7101539B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7207893B2 (ja) | 撮像装置、レンズ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160601 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160601 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20160601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160907 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20160907 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6071974 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |