JP6081786B2 - 煙検出装置 - Google Patents

煙検出装置 Download PDF

Info

Publication number
JP6081786B2
JP6081786B2 JP2012261246A JP2012261246A JP6081786B2 JP 6081786 B2 JP6081786 B2 JP 6081786B2 JP 2012261246 A JP2012261246 A JP 2012261246A JP 2012261246 A JP2012261246 A JP 2012261246A JP 6081786 B2 JP6081786 B2 JP 6081786B2
Authority
JP
Japan
Prior art keywords
smoke
state
image
histogram
amount calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012261246A
Other languages
English (en)
Other versions
JP2014106877A (ja
Inventor
中野 主久
主久 中野
義英 遠藤
義英 遠藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nohmi Bosai Ltd
Original Assignee
Nohmi Bosai Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nohmi Bosai Ltd filed Critical Nohmi Bosai Ltd
Priority to JP2012261246A priority Critical patent/JP6081786B2/ja
Publication of JP2014106877A publication Critical patent/JP2014106877A/ja
Application granted granted Critical
Publication of JP6081786B2 publication Critical patent/JP6081786B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Fire-Detection Mechanisms (AREA)

Description

本発明は、監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する煙検出装置に関し、特に、監視空間の照度不足により正常な煙検出を行うことができない暗闇状態を判断する機能を備えた煙検出装置に関する。
火災発生時の初期消火、あるいは火災事故における逃げ遅れの防止の観点から、火災あるいは煙の早期発見が非常に重要となっている。そこで、煙検出装置の分野においては、監視カメラにより撮像された画像に対して画像処理を施すことで、煙の早期発見を行うことが研究されている。
また、監視カメラで撮像する監視空間の照度変化に対応する技術として、撮像した画像が所望の明るさとなるように撮像信号のゲインを自動的に調整するAGC(Auto Gain Control)機能を有する監視カメラが一般的に知られている。
また、撮像画像中の所定領域に含まれる各画素の平均輝度を、監視空間の可視光に対する照度として算出することで、監視空間の明るさが十分であるか否かを判断する技術がある(例えば、特許文献1参照)。
特開2010−68452号公報
しかしながら、従来技術には次のような課題がある。
AGC機能を有する監視カメラは、監視空間が暗くなると、視認性を挙げるために撮像感度を上げ、所定の明るさを有する画像を出力しようとする。しかしながら、感度を上げることによって、撮像画像は明るくなるものの、ノイズ成分も増幅されてしまう。
このため、画像全体のノイズ量が増加することとなり、AGC処理後の出力信号をそのまま用いる場合には、煙が発生していない部分を煙として誤検出してしまう、あるいは実際には煙が発生している部分を未検出してしまうという問題がある。
本発明は、上述のような課題を解決するためになされたものであり、AGC機能を備えた監視カメラを用いて煙検出を行う際に、暗闇状態に相当する低照度状態を高精度に検出し、低照度状態においては煙検出を禁止することで誤検出の少ない煙検出装置および煙検出方法を得ることを目的とする。
本発明に係る煙検出装置は、監視カメラにより時系列で撮像された複数の画像を記憶する画像メモリと、複数の画像に基づいて、煙の発生を判断する指標となる1以上の特徴量を算出する特徴量算出部と、特徴量算出部により算出された1以上の特徴量に基づいて、撮像対象である監視空間内で煙が発生しているか否かを判定する煙発生判定部と、を備え、監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、監視カメラとして、監視空間の照度変化に応じて、所望の輝度を有する画像が得られるように撮像信号のゲインを自動的に調整するオートゲインコントロール機能を備えたカメラを用いる際に、1画像内であらかじめ規定されたM画素(Mは、2以上の整数)に関するそれぞれの輝度の時系列データからM画素のそれぞれに対応するM個の分散値を算出し、M個の分散値のヒストグラムに基づいてオートゲインコントロール機能を施した後の画像に含まれているノイズ成分を定量的に評価し、あらかじめ設定した複数の条件を全て満たすか否かを判定することで、暗闇状態に相当する低照度状態が発生しているか否かを、監視空間内において暗闇状態の誤検出要因となる人の動きおよび煙の存在と識別して判定するノイズ量算出部をさらに備え、煙発生判定部は、ノイズ量算出部により低照度状態が発生していると判定されている間は、監視空間内で煙が発生しているか否かの判定処理を停止または低感度で判定するものである。
また、本発明に係る煙検出方法は、本発明の煙検出装置に適用される煙検出方法であって、監視カメラとして、監視空間の照度変化に応じて、所望の輝度を有する画像が得られるように撮像信号のゲインを自動的に調整するオートゲインコントロール機能を備えたカメラを用いる際に、ノイズ量算出部において、1画像内であらかじめ規定されたM画素(Mは、2以上の整数)に関するそれぞれの輝度の時系列データからM画素のそれぞれに対応するM個の分散値を算出する分散値算出ステップと、M個の分散値のヒストグラムを作成するヒストグラム生成ステップと、作成されたヒストグラムに基づいてオートゲインコントロール機能を施した後の画像に含まれているノイズ成分を定量的に評価し、あらかじめ設定した複数の条件を全て満たすか否かを判定することで、暗闇状態に相当する低照度状態が発生しているか否かを、監視空間内において暗闇状態の誤検出要因となる人の動きおよび煙の存在と識別して判定する低照度状態判定ステップと、煙発生判定部において、低照度状態判定ステップにより低照度状態が発生していると判定されている間は、監視空間内で煙が発生しているか否かの判定処理を停止または低感度で判定する通常判定処理一時停止ステップとを備えるものである。
本発明によれば、AGC機能を備えた監視カメラによる撮像信号の複数の画素に関する時系列データから複数の分散値を算出し、算出した複数の分散値のヒストグラムに基づいて撮像画像に含まれているノイズ成分を定量的に捉えることで低照度状態を特定することにより、AGC機能を備えた監視カメラを用いて煙検出を行う際に、暗闇状態に相当する低照度状態を高精度に検出し、低照度状態においては煙検出を禁止または低感度で判定することのできる煙検出装置および煙検出方法を得ることができる。
本発明の実施の形態1における煙検出装置の構成図である。 本発明の実施の形態1における煙検出装置内のノイズ量算出部による低照度状態判定処理の流れを示すフローチャートである。 本発明の実施の形態1における低照度状態判定処理を行う際に設定される所定の複数の画素に関する説明図である。 本発明の実施の形態1におけるノイズ量算出部によって行われる低照度状態の特定処理に関する説明図である。 本発明の実施の形態1において、暗闇状態の誤検出要因となる種々の状態に対してノイズ量算出部によって行われる低照度状態の特定処理に関する説明図である。
以下、本発明の煙検出装置および煙検出方法の好適な実施の形態につき、図面を用いて説明する。
実施の形態1.
図1は、本発明の実施の形態1における煙検出装置の構成図である。本実施の形態1における煙検出装置は、画像メモリ10、ノイズ量算出部20、特徴量算出部30、および煙発生判定部40を備えている。画像メモリ10は、カメラ1により撮像された画像を、過去一定期間分、時系列データとして記憶できるように、複数フレーム分の画像メモリとして構成されている。
ノイズ量算出部20は、画像メモリ10に記憶された、カメラ1により撮像された過去一定期間分の画像に基づいて、統計的な処理を施すことで、低照度状態が発生したか否かを特定する機能を有している。
また、特徴量算出部30は、カメラ1により撮像された画像の煙検出候補領域について、煙の発生を検出するための特徴量を算出する機能を有している。さらに、煙発生判定部40は、特徴量算出部30による特徴量の算出結果に基づいて、煙が発生しているか否かをまたは低感度で判断する機能を有している。
ただし、煙発生判定部40は、ノイズ量算出部20により、監視空間において低照度状態が発生したと判断されている間は、誤検出あるいは未検出を防止するために、通常の感度で煙が発生しているか否かを判断せずに、煙が発生しているか否かを判断する機能を停止または低感度で判断させる(通常判定処理一時停止)。
なお、ここでいう低感度とは、通常の感度と比較して、煙と判断する回数を減らす等、時空間的な冗長性を持たせることを意味している。
このような構成を備えることにより、本実施の形態1の煙検出装置は、特定された煙検出候補領域に対して、煙の有無を検出するための画像処理を施すとともに、低照度状態が発生したことを高精度に判定し、低照度状態発生時には煙検出を停止または低感度で判定させることで、誤検出の少ない煙検出装置を実現することができる。
より具体的には、本実施の形態1に係る煙検出装置は、AGC機能を備えた監視カメラ1による撮像信号の複数の画素に関する時系列データから複数の分散値を算出し、算出した複数の分散値のヒストグラムに基づいて撮像画像に含まれているノイズ成分を捉えることで低照度状態を特定し、誤検出の少ない煙検出装置を実現していることを技術的特徴としている。そこで、この特徴を実現するための、ノイズ量算出部20による低照度状態の特定方法について、以下に詳細に説明する。
図2は、本発明の実施の形態1における煙検出装置内のノイズ量算出部20による低照度状態判定処理の流れを示すフローチャートである。まず、ステップS201において、ノイズ量算出部20は、画像メモリ10内に記憶された複数の時系列の画像データに基づいて、所定の複数の画素のそれぞれについて、輝度の時系列データを取得する。
図3は、本発明の実施の形態1における低照度状態判定処理を行う際に設定される所定の複数の画素に関する説明図である。この図3に示すように、所定の複数の画素とは、監視空間内の画像に対して、低照度状態判定処理を行うために適した位置としてあらかじめ設定される複数の画素に相当し、監視対象に応じて適切に設定しておくことができる。
本実施の形態1では、時系列データの一例として、取得周期30Hzで64枚分の時系列データを取得するものとして、説明する。また、所定の複数の画素としては、1画面が640×480画素で構成されている場合において、縦横10画素おきの画素を選択し、
(640÷10)×(480÷10)=3072画素
と仮定して、説明する。
次に、ステップS202において、ノイズ量算出部20は、所定の3072画素ごとに取得した輝度の時系列データに関して、それぞれ分散値を算出する。すなわち、ノイズ量算出部20は、1つの画素について、時系列データを構成する64個分の輝度データの分散値を、それぞれの3072画素に対して算出する。
次に、ステップS203において、ノイズ量算出部20は、算出した3072個の分散値を階級数Nにクラス分けすることで、ヒストグラムを作成する。さらに、ノイズ量算出部20は、3072個の分散値全部の分散値をVar_Allとして算出する。なお、本実施の形態1では、後述する図3、図4の具体例において示すように、ヒストグラムを11階級に分けた場合を一例に説明する。
次に、ステップS204において、ノイズ量算出部20は、ヒストグラムの各階級の密度P(i)(i=1〜11)を、ヒストグラム全体を1とした場合の、各階級の存在率として算出する。換言すると、ノイズ量算出部20は、階級ごとに存在する画素数を、全体の3072画素で割った値を密度P(i)として算出する。さらに、ノイズ量算出部20は、下式(1)のように、密度P(i)の2乗和を求めることで、ヒストグラムのエネルギーEGを算出する。
EG=ΣP(i) (1)
次に、ステップS205において、ノイズ量算出部20は、ヒストグラムの最下位階級の密度P(1)と、最上位階級の密度P(N)(11階級に分けた場合には、N=11であり、P(11)に相当)と、上式(1)で算出したヒストグラムのエネルギーEGに基づいて、下式(2)(3)の2つの指標値を算出する。
Exist_H=P(N)/EG (2)
Exist_L=P(1)/EG (3)
そして、最後に、ステップS206において、ノイズ量算出部20は、下式(4)〜(6)に示す3条件の全てを具備する場合には、現状、低照度状態が発生しているものと判断する。
条件1:Exist_H<0.75 (4)
条件2:Exist_L<0.75 (5)
条件3:Val_All<TH1 (6)
なお、上式(6)におけるTH1は、監視対象にも依存したカメラ1のノイズ発生量に応じてあらかじめ規定されるしきい値である。なお、カメラによってAGC機能によるノイズ発生量が異なるため、使用するカメラによって最適なヒストグラムの上限値と、分散値総和の閾値TH1が設定される。以下の図4、図5の具体例の説明では、TH1=2500としている。
このような一連の処理を行うことにより、ノイズ量算出部20は、過去一定期間分の輝度ヒストグラムの算出結果から、現状、低照度状態が発生しているか否かを高精度に特定することができる。
次に、図4、図5を用いた具体例に即して、低照度状態の特定処理について、説明する。図4は、本発明の実施の形態1におけるノイズ量算出部20によって行われる低照度状態の特定処理に関する説明図である。
より具体的には、低照度状態が発生していない通常状態における時系列データから算出されたヒストグラムおよび条件1〜条件3の値と、低照度状態が発生している暗闇状態における時系列データから算出されたヒストグラムおよび条件1〜条件3の値とを対比して示している。
図4(1)の通常状態においては、所定の複数の画素のそれぞれの分散値は、大部分が最下位階級に属することとなり、ノイズ量算出部20は、条件1〜条件3を全て具備する状態ではないことから、低照度状態が発生していないと特定できる。
一方、図4(2)の暗闇状態においては、所定の複数の画素のそれぞれの分散値は、低照度状態の発生に起因して分散値の多くが、中央付近の階級に存在する分布となり、ノイズ量算出部20は、条件1〜条件3を全て具備する状態となっていることから、低照度状態が発生したと特定できる。
なお、先の図2のステップS202における分散値の算出は、特異なデータを除外する意味で、例えば、時系列データの全ての画素の輝度がある所定の輝度以上の画素(照明など)は、除外することができる。したがって、図4(1)におけるヒストグラムでは、データの総数が所定の複数の画素である3072ではなく、1663(=1571+90+2)となっている。
上述したように、通常状態と暗闇状態とは、上式(4)〜(6)で示した条件1〜条件3により、識別することが可能である。そこで、次に、暗闇状態ではなく、暗闇状態の誤検出要因となる種々の状態について、上式(4)〜(6)で示した条件1〜条件3がどのようになるかを、具体的に説明する。
図5は、本発明の実施の形態1において、暗闇状態の誤検出要因となる種々の状態に対してノイズ量算出部20によって行われる低照度状態の特定処理に関する説明図である。より具体的には、以下の6つの状態について、時系列データから算出されたヒストグラムおよび条件1〜条件3の値を示している。
(状態1)監視空間内に、単数の人の動きが存在する状態
(状態2)監視空間内に、複数の人の動きが存在する状態
(状態3)監視空間内に、黒いカーテンが存在する状態
(状態4)低天井である監視空間内に、層流煙が存在する状態
(状態5)監視空間内の監視カメラに近い領域に、層流煙が存在する状態
(状態6)監視空間内に、緩慢煙が存在する状態
状態1〜状態6のいずれの場合も、先の図4(2)で示した暗闇状態とは異なるヒストグラムおよび条件1〜条件3の値を示す結果となることが確認できる。
以上のように、実施の形態1によれば、AGC機能を備えた監視カメラによる撮像画像の複数の画素に関する時系列データから複数の分散値を算出し、算出した複数の分散値のヒストグラムに基づいて撮像画像に含まれているノイズ成分を定量的に捉えることで、暗闇状態に相当する低照度状態を識別することができる。
この結果、AGC機能を備えた監視カメラを用いて煙検出を行う際に、暗闇状態に相当する低照度状態を高精度に検出し、低照度状態においては煙検出を禁止、または低感度で検出することができ、未検出および過検出を抑制し、煙検出精度の向上を図った煙検出装置を実現できる。
なお、上述した実施の形態1においては、分散値のヒストグラムに基づいて、上式(4)〜(6)による条件1〜条件3を求めることで、AGC機能を施した後の画像に含まれているノイズ成分を定量的に評価し、低照度状態が発生しているか否かを判定する場合について説明した。しかしながら、本発明における定量的な評価は、これに限定されるものではない。
先の図4(1)および図5の(1)〜(6)に示したような暗闇状態ではないときの分散値のヒストグラムの分布特性と、先の図4(2)に示したような暗闇状態であるときの分散値のヒストグラムの分布特性とが識別できる条件を、監視空間に応じて適切に選定することで、定量的な評価を行うことも可能である。
換言すると、本発明は、AGC機能を備えた監視カメラによる撮像信号の複数の画素に関する時系列データから複数の分散値を算出し、算出した複数の分散値のヒストグラムに基づいて低照度状態を特定することを技術的特徴とするものであり、定量的な判定基準は、上式(4)〜(6)による条件1〜条件3に限定されるものではない。
1 カメラ、10 画像メモリ、20 ノイズ量算出部、30 特徴量算出部、40 煙発生判定部。

Claims (3)

  1. 監視カメラにより時系列で撮像された複数の画像を記憶する画像メモリと、
    前記複数の画像に基づいて、煙の発生を判断する指標となる1以上の特徴量を算出する特徴量算出部と、
    前記特徴量算出部により算出された前記1以上の特徴量に基づいて、撮像対象である監視空間内で煙が発生しているか否かを判定する煙発生判定部と、
    を備え、前記監視カメラにより撮像された画像に対して画像処理を施すことにより、煙の発生を検出する煙検出装置であって、
    前記監視カメラとして、前記監視空間の照度変化に応じて、所望の輝度を有する画像が得られるように撮像信号のゲインを自動的に調整するオートゲインコントロール機能を備えたカメラを用いる際に、1画像内であらかじめ規定されたM画素(Mは、2以上の整数)に関するそれぞれの輝度の時系列データから前記M画素のそれぞれに対応するM個の分散値を算出し、前記M個の分散値のヒストグラムに基づいて前記オートゲインコントロール機能を施した後の画像に含まれているノイズ成分を定量的に評価し、あらかじめ設定した複数の条件を全て満たすか否かを判定することで、暗闇状態に相当する低照度状態が発生しているか否かを、前記監視空間内において前記暗闇状態の誤検出要因となる人の動きおよび煙の存在と識別して判定するノイズ量算出部をさらに備え、
    前記煙発生判定部は、前記ノイズ量算出部により前記低照度状態が発生していると判定されている間は、前記監視空間内で煙が発生しているか否かの判定処理を停止または低感度で判定する
    煙検出装置。
  2. 請求項1に記載の煙検出装置において、
    前記ノイズ量算出部は、前記M個の分散値に基づいて階級数N(Nは2以上の整数)のヒストグラムを生成し、各階級に属する分散値の個数を、分散値の総個数であるMで割った値に相当する各階級の密度P(i)(i=1〜Nの整数)を算出し、前記密度P(i)の2乗和をヒストグラムのエネルギーEGとして算出し、生成した前記ヒストグラムの最下位階級の密度P(1)と、最上位階級の密度P(N)と、所定の閾値TH1と、N個の分散値に対して算出した分散値Var_Allとを用いて、以下の条件1〜条件3
    条件1:(P(N)/EG)<0.75
    条件2:(P(1)/EG)<0.75
    条件3:Val_All<TH1
    が成立するか否かを判定し、前記条件1、前記条件2、前記条件3の全てが成立した場合には、前記低照度状態が発生していると判定する
    煙検出装置。
  3. 請求項1に記載の煙検出装置に適用される煙検出方法であって、
    前記監視カメラとして、前記監視空間の照度変化に応じて、所望の輝度を有する画像が得られるように撮像信号のゲインを自動的に調整するオートゲインコントロール機能を備えたカメラを用いる際に、
    前記ノイズ量算出部において、
    1画像内であらかじめ規定されたM画素(Mは、2以上の整数)に関するそれぞれの輝度の時系列データから前記M画素のそれぞれに対応するM個の分散値を算出する分散値算出ステップと、
    前記M個の分散値のヒストグラムを作成するヒストグラム生成ステップと、
    作成された前記ヒストグラムに基づいて前記オートゲインコントロール機能を施した後の画像に含まれているノイズ成分を定量的に評価し、あらかじめ設定した複数の条件を全て満たすか否かを判定することで、暗闇状態に相当する低照度状態が発生しているか否かを、前記監視空間内において前記暗闇状態の誤検出要因となる人の動きおよび煙の存在と識別して判定する低照度状態判定ステップと、
    前記煙発生判定部において、
    前記低照度状態判定ステップにより前記低照度状態が発生していると判定されている間は、前記監視空間内で煙が発生しているか否かの判定処理を停止または低感度で判定する通常判定処理一時停止ステップと
    を備える煙検出方法。
JP2012261246A 2012-11-29 2012-11-29 煙検出装置 Active JP6081786B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012261246A JP6081786B2 (ja) 2012-11-29 2012-11-29 煙検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012261246A JP6081786B2 (ja) 2012-11-29 2012-11-29 煙検出装置

Publications (2)

Publication Number Publication Date
JP2014106877A JP2014106877A (ja) 2014-06-09
JP6081786B2 true JP6081786B2 (ja) 2017-02-15

Family

ID=51028272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012261246A Active JP6081786B2 (ja) 2012-11-29 2012-11-29 煙検出装置

Country Status (1)

Country Link
JP (1) JP6081786B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954752A (zh) * 2015-06-24 2015-09-30 尤为 一种控烟管理系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62147888A (ja) * 1985-12-23 1987-07-01 Matsushita Electric Works Ltd 画像監視方式
JP4416206B2 (ja) * 1999-06-01 2010-02-17 セコム株式会社 撮像装置
JP4926602B2 (ja) * 2006-08-17 2012-05-09 能美防災株式会社 煙検出装置
JP4729610B2 (ja) * 2008-10-14 2011-07-20 能美防災株式会社 煙検出装置
JP5356302B2 (ja) * 2010-03-31 2013-12-04 能美防災株式会社 煙検出装置

Also Published As

Publication number Publication date
JP2014106877A (ja) 2014-06-09

Similar Documents

Publication Publication Date Title
JP5518359B2 (ja) 煙検出装置
US8208723B2 (en) Smoke detecting apparatus
JP4729610B2 (ja) 煙検出装置
US7859419B2 (en) Smoke detecting method and device
US8538063B2 (en) System and method for ensuring the performance of a video-based fire detection system
US8159539B2 (en) Smoke detecting method and system
JP4653207B2 (ja) 煙検出装置
KR20080054366A (ko) 연기 검출 방법 및 장치
JP6322128B2 (ja) 煙検出装置および煙検出方法
JP5470187B2 (ja) 画像処理装置、及び物体検出装置
EP2000952A2 (en) Smoke detecting method and device
US10805579B2 (en) Motion detection methods and motion sensors capable of more accurately detecting true motion event
CN107688793A (zh) 一种变电站室外火灾自动监测预警方法
JP6386352B2 (ja) 煙検出装置
JP5356302B2 (ja) 煙検出装置
JP6372854B2 (ja) 煙検出装置および煙検出方法
KR100717861B1 (ko) 카메라 영상을 이용한 움직임 검출 방법 및 장치
JP5286113B2 (ja) 煙検出装置
JP2007180932A (ja) 画像センサ
JP6081786B2 (ja) 煙検出装置
JP6664689B2 (ja) 炎検出装置
JP5167163B2 (ja) 煙検出装置
JP5309069B2 (ja) 煙検出装置
JP7129053B2 (ja) 炎検出装置
JP6322127B2 (ja) 煙検出装置および煙検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150616

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160524

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170119

R150 Certificate of patent or registration of utility model

Ref document number: 6081786

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150