JP6049955B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP6049955B2
JP6049955B2 JP2016543250A JP2016543250A JP6049955B2 JP 6049955 B2 JP6049955 B2 JP 6049955B2 JP 2016543250 A JP2016543250 A JP 2016543250A JP 2016543250 A JP2016543250 A JP 2016543250A JP 6049955 B2 JP6049955 B2 JP 6049955B2
Authority
JP
Japan
Prior art keywords
frequency distribution
luminance
pixel
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016543250A
Other languages
English (en)
Other versions
JPWO2016027693A1 (ja
Inventor
裕人 松浦
裕人 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP6049955B2 publication Critical patent/JP6049955B2/ja
Publication of JPWO2016027693A1 publication Critical patent/JPWO2016027693A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。
従来、画像中の高輝度に表示されるべき部分のコントラスト表現を改善することを目的として、高輝度の領域または輝度変化量の大きい領域に対して輝度をさらに高めるための高輝度化ガンマ補正を行い、それ以外の領域に対して基本ガンマ補正を行う技術が知られている(例えば、特許文献1参照。)。
特開2010−38954号公報
しかしながら、例えば、体腔内壁を撮影した内視鏡画像のように、血液や組織の凹凸において照明光が反射して小さな高輝度輝点が多数存在するような場合には、特許文献1の技術では高輝度輝点のギラツキが改善されず、内視鏡画像の品位が低下する。
本発明は上述した事情に鑑みてなされたものであって、画像全体としての鮮鋭感や解像感を維持しつつ、高輝度輝点によるギラツキを抑えた高品位な画像を取得することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、入力された画像中の所定の閾値以上の輝度値を有する画素を特定する高輝度画素特定部と、該高輝度画素特定部により特定された全ての画素の輝度値の度数分布を作成する度数分布作成部と、目標とする度数分布の傾きを記憶する記憶部と、前記度数分布作成部により作成された度数分布の傾きが、前記記憶部に記憶されている目標とする度数分布の傾きに近づくように前記高輝度画素特定部により特定された画素の輝度値を補正する輝度補正部とを備える画像処理装置を提供する。
本態様によれば、入力された画像から所定の閾値以上の輝度値を有する画素が高輝度画素特定部により特定され、特定された全ての画素の輝度値の度数分布が度数分布作成部により作成される。そして、輝度補正部により、作成された度数分布と記憶部に記憶されている目標とする度数分布とが対比され、作成された度数分布が目標とする度数分布に近づくように、高輝度画素特定部により特定された画素の輝度値が補正される。
特定された高輝度の画素の輝度値の度数分布を目標とする度数分布に近づけることができ、画像全体としての鮮鋭感や解像感を維持しつつ、高輝度点によるギラツキを抑えた高品位な画像を簡易に取得することができる。
上記態様においては、前記輝度補正部が、前記度数分布作成部により作成された度数分布に基づいてガンマ補正を行ってもよい。
また、上記態様においては、前記輝度補正部が、前記度数分布作成部により作成された度数分布の傾きに基づいてガンマ補正を行ってもよい。
また、本発明の他の態様は、入力された画像中の所定の閾値以上の輝度値を有する画素を特定する高輝度画素特定ステップと、該高輝度画素特定ステップにより特定された全ての画素の輝度値の度数分布を作成する度数分布作成ステップと、前記度数分布作成ステップにより作成された度数分布の傾きが、目標とする度数分布の傾きに近づくように前記高輝度画素特定ステップにより特定された画素の輝度値を補正する輝度補正ステップとを含む画像処理方法を提供する。
本態様においては、前記輝度補正ステップが、前記度数分布作成ステップにより作成された度数分布に基づいてガンマ補正を行ってもよい。
また、上記態様においては、前記輝度補正ステップが、前記度数分布作成ステップにより作成された度数分布の傾きに基づいてガンマ補正を行ってもよい。
また、本発明の他の態様は、入力された画像中の所定の閾値以上の輝度値を有する画素を特定する高輝度画素特定ステップと、該高輝度画素特定ステップにより特定された全ての画素の輝度値の度数分布を作成する度数分布作成ステップと、前記度数分布作成ステップにより作成された度数分布の傾きが、目標とする度数分布の傾きに近づくように前記高輝度画素特定ステップにより特定された画素の輝度値を補正する輝度補正ステップとをコンピュータにより実行可能な画像処理プログラムを提供する。
本発明によれば、画像全体としての鮮鋭感や解像感を維持しつつ、高輝度輝点によるギラツキを抑えた高品位な画像を取得することができるという効果を奏する。
本発明の一実施形態に係る画像処理装置を示す全体構成図である。 図1の画像処理装置の度数分布作成部により作成された度数分布および記憶部に記憶されている目標とする度数分布をそれぞれ示すグラフである。 図2の度数分布を直線によって近似した状態を示すグラフである。 画像処理前の内視鏡画像を示す図である。 図1の画像処理装置による画像処理後の内視鏡画像を示す図である。
本発明の一実施形態に係る画像処理装置および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置1は、内視鏡により取得された画像等の処理に適用され、図1に示されるように、入力された画像中の所定の閾値以上の輝度値を有する画素を特定する高輝度画素特定部2と、特定された全ての画素の輝度値の度数分布を作成する度数分布作成部3と、目標とする度数分布を記憶する記憶部4と、度数分布作成部3により作成された度数分布が、記憶部4に記憶されている目標とする度数分布に近づくように高輝度画素特定部2により特定された画素の輝度値を補正する輝度補正部5とを備えている。
高輝度画素特定部2は、入力されてきた画像を所定の閾値と比較し、閾値以上の輝度値を有する画素を特定するようになっている。本実施形態においては、例えば、輝度を8ビットで表した画像信号が入力され、高輝度画素特定部2において、階調値190を閾値として二値化することにより階調値190以上の高輝度の画素を抽出するようになっている。
度数分布作成部3は、高輝度画素特定部2において特定された全ての画素について、閾値を徐々に変更しながら閾値以上となる輝度値を有する画素数をカウントし、閾値と対応づけて記憶していくようになっている。これにより、高輝度の画素の輝度値の度数分布を得ることができる。度数分布作成部3により作成された度数分布の一例を図2に実線で示す。図2は、輝度の度数を階調値190の度数で規格化した度数分布である。
記憶部4は、例えば、図2に鎖線で示されるような目標とする度数分布を記憶している。この度数分布は、同様の観察シーンで取得された画像を処理してギラツキが少なく高品位でありメリハリがあると考えられる画像の度数分布である。
輝度補正部5は、度数分布作成部3により作成された度数分布を記憶部4に記憶されている目標とする度数分布に近づけるように画像に施すガンマ補正の係数を調整するようになっている。さらに具体的には、図3に示されるように、ギラツキの品位に影響する輝度帯域のみを直線近似する。ここでは、例として、200〜210nmの範囲で直線近似した。
その結果、作成された度数分布(実線)の上記波長範囲における近似直線(鎖線)の傾きは、−0.0079であったのに対し、目標とする度数分布(実線)の近似直線(鎖線)の傾きは−0.0175となっていた。
そして、輝度補正部5は、作成された度数分布の近似直線の傾きが、目標とする度数分布の近似直線の傾きに近づくようにガンマ補正の係数を定めるようになっている。
すなわち、輝度補正部5は作成された度数分布の近似直線の傾きと目標とする度数分布の近似直線の傾きとを比較し、その差に応じてガンマ補正の係数の調整量を算出するようになっている。
言い換えると、近似直線の傾きの差が大きいときには、ガンマ補正の係数の高輝度帯域における変化をより大きくするようにガンマカーブを補正することで、波長200nmにおける度数分布と波長210nmにおける度数分布とに明確な差を設け、輝度の差分によってメリハリのついた画像に補正することができる。図3に示す例では、補正前は波長200nmにおける度数分布と波長210nmにおける度数分布との差が小さいため、メリハリがなく、白い輝点が画面全体に広がりのっぺりとした印象をもつ画像となっていた。
このように構成された本実施形態に係る画像処理装置1を用いた画像処理方法について以下に説明する。
本実施形態に係る画像処理装置1を用いて画像処理を行うには、取得された画像を高輝度画素特定部2に入力し、階調値190以上の画素を抽出する(高輝度画素特定ステップ)。次いで、抽出された高輝度画素を度数分布作成部3に入力し、階調値毎の度数分布を作成する(度数分布作成ステップ)。
内視鏡画像の場合、図4に示されるように、血液や組織の凹凸に内視鏡から発せられた照明光が反射し、小さな高輝度基点がギラギラして品位の低い内視鏡画像が取得される。このような内視鏡画像の度数分布は、図2に実線で示されている。
作成された度数分布は輝度補正部5に送られる。また、輝度補正部5には、記憶部4に記憶されている目標とする度数分布も入力される。
輝度補正部5は、度数分布作成部3より作成された度数分布と、記憶部4に記憶されている目標とする度数分布とを比較し、作成された度数分布が目標とする度数分布に近づくようにガンマ補正の係数を定める。そして、定められたガンマ補正の係数に従って入力された内視鏡画像を処理する(輝度補正ステップ)。これにより、図5に示されるような、画像処理による補正後の画像を得ることができる。
この補正後の内視鏡画像によれば、高輝度輝点の数が少なくなり、ギラツキのない高品位な画像となっている。すなわち、本実施形態に係る画像処理装置および画像処理方法によれば、高輝度輝点がなくなるのではなく、高輝度輝点をある程度残しながら、高輝度領域の度数変化を大きく、すなわち高輝度領域にて同じ輝度を持つギラツキの数の割合を減らすことで、メリハリのある画像に仕上げることができるという利点がある。
なお、本実施形態においては、入力された画像全体において高輝度の画素をカウントしたが、これに代えて、画像の特定領域を指定し、指定された領域について高輝度の画素をカウントし、その領域のみに適用するガンマ補正の係数を定めて処理することにしてもよい。
また、本実施形態においては、輝度補正部が、度数分布作成部により作成された度数分布の傾きに応じてガンマ補正の係数を決定することとしたが、度数分布自体に応じてガンマ補正の係数を決定することにしてもよい。
また、本実施形態に係る画像処理方法は、コンピュータにより実行可能な画像処理プログラムとして実現することもできる。
1 画像処理装置
2 高輝度画素特定部
3 度数分布作成部
4 記憶部
5 輝度補正部

Claims (3)

  1. 入力された画像中の所定の閾値以上の輝度値を有する画素を特定する高輝度画素特定部と、
    該高輝度画素特定部により特定された全ての画素の輝度値の度数分布を作成する度数分布作成部と、
    目標とする度数分布の傾きを記憶する記憶部と、
    前記度数分布作成部により作成された度数分布の傾きが、前記記憶部に記憶されている目標とする度数分布の傾きに近づくように前記高輝度画素特定部により特定された画素の輝度値を補正する輝度補正部とを備える画像処理装置。
  2. 入力された画像中の所定の閾値以上の輝度値を有する画素を特定する高輝度画素特定ステップと、
    該高輝度画素特定ステップにより特定された全ての画素の輝度値の度数分布を作成する度数分布作成ステップと、
    前記度数分布作成ステップにより作成された度数分布の傾きが、目標とする度数分布の傾きに近づくように前記高輝度画素特定ステップにより特定された画素の輝度値を補正する輝度補正ステップとを含む画像処理方法。
  3. 入力された画像中の所定の閾値以上の輝度値を有する画素を特定する高輝度画素特定ステップと、
    該高輝度画素特定ステップにより特定された全ての画素の輝度値の度数分布を作成する度数分布作成ステップと、
    前記度数分布作成ステップにより作成された度数分布の傾きが、目標とする度数分布の傾きに近づくように前記高輝度画素特定ステップにより特定された画素の輝度値を補正する輝度補正ステップとをコンピュータにより実行可能な画像処理プログラム。
JP2016543250A 2014-08-22 2015-08-07 画像処理装置、画像処理方法および画像処理プログラム Active JP6049955B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014169409 2014-08-22
JP2014169409 2014-08-22
PCT/JP2015/072449 WO2016027693A1 (ja) 2014-08-22 2015-08-07 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP6049955B2 true JP6049955B2 (ja) 2016-12-21
JPWO2016027693A1 JPWO2016027693A1 (ja) 2017-04-27

Family

ID=55350639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016543250A Active JP6049955B2 (ja) 2014-08-22 2015-08-07 画像処理装置、画像処理方法および画像処理プログラム

Country Status (4)

Country Link
US (1) US20170161920A1 (ja)
EP (1) EP3185207A4 (ja)
JP (1) JP6049955B2 (ja)
WO (1) WO2016027693A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0256175A (ja) * 1988-08-22 1990-02-26 Dainippon Screen Mfg Co Ltd 基準濃度点の設定方法
JP2003069825A (ja) * 2001-06-14 2003-03-07 Matsushita Electric Ind Co Ltd 自動階調補正装置,自動階調補正方法および自動階調補正プログラム記録媒体
JP2010038954A (ja) * 2008-07-31 2010-02-18 Sony Corp 画像処理回路および画像表示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI231701B (en) * 2001-06-14 2005-04-21 Matsushita Electric Ind Co Ltd Automatic tone correction device, automatic tone correction method, and tone correction program recording medium
JP3888456B2 (ja) * 2002-09-10 2007-03-07 ソニー株式会社 デジタルスチルカメラ
WO2006080239A1 (ja) * 2005-01-31 2006-08-03 Olympus Corporation 画像処理装置、顕微鏡システム、及び領域特定プログラム
JP4073477B2 (ja) * 2005-03-25 2008-04-09 三菱電機株式会社 画像処理装置、及び画像表示装置
JP2009244253A (ja) * 2008-03-10 2009-10-22 Sysmex Corp 粒子分析装置、粒子分析方法およびコンピュータプログラム
JP2009290660A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
WO2010032409A1 (ja) * 2008-09-17 2010-03-25 パナソニック株式会社 画像処理装置、撮像装置、評価装置、画像処理方法及び光学系評価方法
JP5031877B2 (ja) * 2010-01-06 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP2012058850A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置および方法、並びにプログラム
KR20130015179A (ko) * 2011-08-02 2013-02-13 삼성디스플레이 주식회사 표시 장치 및 표시 장치 구동 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0256175A (ja) * 1988-08-22 1990-02-26 Dainippon Screen Mfg Co Ltd 基準濃度点の設定方法
JP2003069825A (ja) * 2001-06-14 2003-03-07 Matsushita Electric Ind Co Ltd 自動階調補正装置,自動階調補正方法および自動階調補正プログラム記録媒体
JP2010038954A (ja) * 2008-07-31 2010-02-18 Sony Corp 画像処理回路および画像表示装置

Also Published As

Publication number Publication date
EP3185207A1 (en) 2017-06-28
US20170161920A1 (en) 2017-06-08
WO2016027693A1 (ja) 2016-02-25
JPWO2016027693A1 (ja) 2017-04-27
EP3185207A4 (en) 2018-09-19

Similar Documents

Publication Publication Date Title
JP5611457B2 (ja) 階調および色再現域のマッピング方法および装置
US9936141B2 (en) Image processing apparatus for performing correction processing for effecting virtual light source and method executed by image processing apparatus
KR101102150B1 (ko) 화상 처리 방법, 및 화상 처리 장치
KR102075376B1 (ko) 화상표시장치 및 그 제어 방법
TWI553604B (zh) 自適應對比強化裝置以及方法
US10735669B2 (en) Method of flicker reduction
JP5820960B1 (ja) 撮像装置、撮像装置の作動方法
TW201725578A (zh) 可依據不同環境執行最佳化調整的影像調整方法及其顯示器
JP2015041852A5 (ja) 撮像装置、および、撮像方法
JP2014179756A (ja) 画像処理装置、その制御方法、および制御プログラム
JP2004200971A (ja) 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
JP4905513B2 (ja) 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JPWO2016170604A1 (ja) 内視鏡装置
JP2014176449A (ja) 内視鏡
JP6049955B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN108886608B (zh) 白平衡调整装置、其工作方法和计算机可读取介质
JP6790708B2 (ja) 画像投影装置
JP5765599B2 (ja) 撮像装置、画像処理方法及びプログラム
KR102286105B1 (ko) 표시장치, 표시 제어방법 및 컴퓨터 판독가능한 매체
JP6397261B2 (ja) 画像処理装置及び方法
JP2014098859A (ja) 撮像装置および撮像方法
JP6423669B2 (ja) 撮像装置及びその制御方法
JP5745482B2 (ja) 画像処理装置、画像表示装置、画像撮像装置及び画像印刷装置、階調変換方法並びにプログラム
JP2020156016A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20200076150A (ko) 실시간 영상 밝기 조절이 가능한 내시경 영상 처리 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 저장 매체

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161122

R151 Written notification of patent or utility model registration

Ref document number: 6049955

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250