JP6256137B2 - センサ装置及びセンサ装置を用いる制御システム - Google Patents

センサ装置及びセンサ装置を用いる制御システム Download PDF

Info

Publication number
JP6256137B2
JP6256137B2 JP2014060700A JP2014060700A JP6256137B2 JP 6256137 B2 JP6256137 B2 JP 6256137B2 JP 2014060700 A JP2014060700 A JP 2014060700A JP 2014060700 A JP2014060700 A JP 2014060700A JP 6256137 B2 JP6256137 B2 JP 6256137B2
Authority
JP
Japan
Prior art keywords
captured image
illuminance
unit
person
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014060700A
Other languages
English (en)
Other versions
JP2015185364A (ja
Inventor
森本 康司
康司 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Lighting and Technology Corp
Original Assignee
Toshiba Lighting and Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Lighting and Technology Corp filed Critical Toshiba Lighting and Technology Corp
Priority to JP2014060700A priority Critical patent/JP6256137B2/ja
Priority to CN201410637761.8A priority patent/CN104954662A/zh
Publication of JP2015185364A publication Critical patent/JP2015185364A/ja
Application granted granted Critical
Publication of JP6256137B2 publication Critical patent/JP6256137B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit Arrangement For Electric Light Sources In General (AREA)

Description

本発明の実施形態は、センサ装置及びセンサ装置を用いる制御システムに関する。
従来、照明等の電気機器を制御する種々の制御システムが開発されている。例えば、人やものなどが感知エリアの中で動いたときに、その動きを検知して照明を制御する照明制御システムが商品化されている。人の検知には画像センサが用いられることがある。画像センサの出力に対する画像解析によって人を検知するのである。
更に、画像センサの出力の画素値を用いて、画像の平均的な輝度から照度を求める装置も開発されている。例えば、画像センサを天井等に設置して床面側を撮影し、撮像出力の輝度から照度を求める。このような画像センサを用いて照明制御システムを構築した場合には、例えば、照度検出の結果室内が明る過ぎる場合には照明を暗くし、室内が暗過ぎる場合には照明を明るくする等の制御が行われる。
しかしながら、このような照度を求めるための画像センサにおいては、種々の外乱や画像センサの特性によって、正確な照度を求めることができないことがあり、結果として各種制御が最適に行われないことがあるという問題があった。
特開2013−8461号公報
本発明の実施形態は、照度を高精度に求めることを可能にするセンサ装置及びセンサ装置を用いる制御システムを提供することを目的とする。
実施形態に係るセンサ装置は、撮影範囲の撮像画像を得るセンサ部と;前記撮像画像中の人の画像部分を判定する人判定部と;前記撮像画像の輝度を判定して、所定の連続した領域の画素間で所定値以上の差が生じない画素領域である判定結果を得る輝度判定部と;前記撮像画像中の人の画像部分及び所定の連続した領域の画素間で所定値以上の差が生じない画素領域を除外範囲に設定する除外範囲判定部と;前記撮像画像から前記除外範囲の画素を除く画素の画素値を照度算出に使用させる出力部と;を具備する。
本発明の実施形態によれば、照度を高精度に求めることを可能にするという効果を有する。
本発明の第1の実施の形態に係るセンサ装置を示すブロック図。 図1のセンサ装置を用いる制御システムの一例である照明制御システムを示す説明図。 第1の実施の形態の動作を説明するためのフローチャート。 本発明の第2の実施の形態を示すブロック図。 第2の実施の形態の動作を説明するためのフローチャート。
実施形態に係るセンサ装置は、撮影範囲の撮像画像を得るセンサ部と;前記撮像画像中の人の画像部分を判定する人判定部と;前記人判定部が判定した人の画像部分を除外範囲に設定する除外範囲判定部と;前記撮像画像から前記除外範囲の画素を除く画素の画素値を照度算出に使用させる出力部と;を具備する。
また、実施形態に係るセンサ装置は、前記撮像画像の輝度を判定して、輝度が所定の閾値よりも高い画素領域である第1の判定結果、所定の連続した領域の画素間で所定値以上の差が生じない画素領域である第2の判定結果、及び所定の時間で所定値以上の輝度差が生じない画素領域である第3の判定結果のうちの少なくとも1つの判定結果を得る輝度判定部を具備し;前記除外範囲判定部は、前記人判定部の判定結果及び前記輝度判定部が得た判定結果に基づいて前記除外範囲を設定する。
また、実施形態に係るセンサ装置を用いる制御システムは、被制御対象と;請求項1のセンサ装置と;前記センサ装置の出力に基づいて得た照度によって前記被制御対象を制御する制御部と;を具備する。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係るセンサ装置を示すブロック図である。
本実施の形態においては、画像センサ11からの画像出力のうち人の画像部分と判定された画素の画素値を、照度算出に用いる画素値から除外することで、照度検出精度を向上させるようになっている。
図1において、センサ部12は、CCDやCMOSセンサ等の図示しない撮像素子を有しており、撮像素子は撮影範囲内を撮像して、撮像画像を出力する。センサ部12は所定のフレームレートで動画像の撮像を行うものがよいが、センサ部12として静止画を撮影するものを採用してもよい。例えば、センサ部12は、照度を求める室内等の天井近傍に配置されて、室内の床側を撮影範囲として撮影を行うようになっている。なお、センサ部12は、照度を求める範囲を撮影することができればよく、設置場所は特に限定されない。
センサ部12からの撮像画像は出力部13及び人判定部14に出力される。人判定部14は公知の手法によって、撮像画像に含まれる人の画像部分を判定して判定結果を除外範囲判定部15に出力する。人判定部14は、例えば、撮像画像のフレーム間で各画素毎に差分を求め、差分値が所定の閾値を超えた画像部分を動く人の画像部分であると判定するようにしてもよい。また、例えば、人判定部14は、人の画像パターンを記憶したメモリを用いて、撮像画像とのパターン比較によって人を判定するようにしてもよい。本実施の形態においては人の判定方法は特に限定されるものではない。
除外範囲判定部15は、人判定部14の出力が与えられ、撮像画像中の人の画像の画素位置を判定して判定結果を除外範囲として図示しないメモリに記憶させると共に、出力部13に出力するようになっている。出力部13は、センサ部12からの撮像画像のうち除外範囲判定部15によって人の画像の画素位置を含む領域が除外範囲として指定され、除外範囲内の画素を除外した撮像画像の画素の画素値を照度算出部21に出力する。
照度算出部21は、公知の手法によって、入力された画素値、即ち、輝度の情報を照度に変換する演算を行って照度を求める。照度算出部21が算出した照度は、照明制御システム等の各種制御システムにおいて利用することができる。
照度算出部21は、撮像画像の画素値が与えられ、画像の平均的な輝度に応じて照度を求める。即ち、照度は、撮像画像の輝度と、床や机等の反射物の反射係数等に基づく所定の係数とを用いた演算によって求められる。しかし、人物が撮像範囲内に進入すると、例えば、人物の頭部等の極めて低い反射率で反射された光や人物の動きに応じて異なる反射率で人物から反射した光がセンサ部12に入射されることになり、想定された反射率及び照度算出に用いる係数を用いた照度計算では、照度計算の誤差が大きくなってしまう。
そこで、本実施の形態においては、撮像画像の画素値のうち人物の画像部分の画素の画素値を除外して照度算出部21に与えることで、照度算出部21における照度算出の誤差を抑制して、高精度の照度算出を可能にしている。
図2は図1のセンサ装置を用いる制御システムの一例である照明制御システムを示す説明図である。図2に示す照明制御システムは、例えば、オフィスビルや各種施設などの各フロアや各エリアなどの照明エリア毎に設置されて、例えば伝送ライン32に接続された複数の照明用機器を、照明制御装置31によって集中制御するものである。
伝送ライン32に接続される複数の照明用機器としては、例えば、ランプや発光ダイオードなどの光源を用いた照明器具K1,K2だけでなく、所定の照明エリア内の人体を検出する人感センサSS、所定の照明エリア内の照度を求める照度検出部SL、照明器具を手動で切換指令するスイッチ部SW等もある。照明制御装置31は、これらの機器を遠隔監視すると共に、複数の照明器具を遠隔制御する。
例えば、照明制御装置31はスイッチ部SWから送信されるオンオフ制御信号に応じて、対応する照明器具K1へ照明制御信号を送信して点灯制御を行うことができる。
照度検出部SLは、所定の照明範囲の明るさを検出するものである。照度検出部SLが検出した照度の情報は、伝送ライン32を介して照明制御装置31に伝送され、照明制御装置31は、照度の検出結果に基づいて、対応する照明器具K1等に照明制御信号を送信して、照明制御を行うことができる。また、照度検出部SLは、照度検出結果を照明器具K2に直接与えて、照明器具K2の照明を制御することも可能である。
これにより、照度検出部SLの照度検出結果に応じて照明器具K1,K2の照明光量を制御することができる。例えば、照度が閾値よりも明るい場合には、照明器具K1,K2の照明光量を低下させ、照度が閾値よりも暗い場合には、照明器具K1,K2の照明光量を増大させる等の制御が可能である。
本実施の形態においては、照度検出部SLとして、図1のセンサ装置を採用することにより、高精度の照度検出が可能であり、実際の照度に応じた照明制御が可能である。
次に、このように構成された実施の形態の動作について図3のフローチャートを参照して説明する。
図3のステップS1において、センサ部12は室内等の照度を算出する領域を撮像して、撮像画像を出力する(ステップS2)。この撮像画像は出力部13を介して照度算出部21に供給されると共に、人判定部14にも与えられる。人判定部14は、ステップS3において、撮像画像中に撮像されている人の検出処理を行う。人判定部14は、例えば、撮像画像に対する複数フレーム期間に亘る動き判定処理によって人の検出を行うこともある。
人物が検出されると、処理はステップS4からステップS5に移行し、除外範囲判定部15は検出された人の画素位置を除外範囲として求めてその情報を出力部13に出力する。出力部13は除外範囲判定部15から人の画像の画素位置が除外範囲の情報とて与えられた場合には、撮像画像の出力から人物の画像部分の画素位置の画素値を除外して照度算出部21に出力する。なお、出力部13は、除外範囲判定部15から人の画像の画素位置の情報が与えられない場合には、センサ部12からの撮像画像出力をそのまま照度算出部21に出力する。
こうして、照度算出部21は、センサ部12の撮像画像がそのまま与えられるか又は人の画像部分の画素値が除外されて与えられる。照度算出部21は、撮像画像の画素値を用いて、撮像範囲における照度を算出する(ステップS7)。照度算出部21が算出した照度は、例えば、図2の照明制御システム等の制御システムに与えられる。
なお、図3では表されていないが、人の判定周期と照度算出周期とは独立して制御可能である。例えば、人の判定は毎秒数回行い、照度算出は数秒に1回行うようにしてもよく、逆に、照度の算出周期を人の判定周期よりも短くしてもよい。
照度算出部21が照度の算出に用いる撮像画像には、人の画像部分の画素値が含まれないことから、撮像範囲内の人によって照度算出が影響を受けることはなく、常に高精度の照度算出が可能である。
このように本実施の形態においては、撮像画像から人の画像部分の画素値を除外した輝度情報を照度算出に用いるようにしているので、人の有無に拘わらず、常に高精度の照度算出を可能にすることができる。
(第2の実施の形態)
図4は本発明の第2の実施の形態を示すブロック図である。図4において図1と同一の構成要素には同一符号を付して説明を省略する。第1の実施の形態においては、除外範囲として人の画像部分の画素が指定され、この除外範囲を除く撮像画像の画素を用いて照度が算出された。本実施の形態においては、更に、所定の条件の輝度値を有する領域を除外範囲に加えて、除外範囲を除く撮像画像の画素によって照度を算出することで、照度の算出精度を一層向上させるものである。
本実施の形態は、除外範囲を追加するための輝度判定部16を付加した画像センサ18を採用した点が第1の実施の形態と異なる。一般的に、センサ部12の撮像素子のダイナミックレンジは比較的狭い。従って、極めて照度が高い領域に対応する画素値は、飽和状態となりやすく、所謂白飛び状態となる。このような画素値を照度計算に用いると、正確な照度を算出することができない。そこで、輝度判定部16は、輝度が所定の閾値よりも高い画素を検出して第1の判定結果として除外範囲判定部15に出力することができるようになっている。
また、床や机上面等から反射した光は、センサ部12の撮像面までの距離に応じて減衰する。従って、撮像画像の隣接する画素の画素値同士は、所定値以上の差が生じることが一般的である。即ち、撮像素子の画素のうち所定の連続した領域の画素間で所定値以上の差が生じない場合には、例えば白飛びの状態や黒つぶれの状態等のように、当該画素の情報では照度を正しく再現することができないことが考えられる。そこで、輝度判定部16は、所定の連続した領域の画素間で所定値以上の差が生じないことを検出して第2の判定結果として除外範囲判定部15に出力することができるようになっている。
また、床や机上面等における照度は、常に一定であることはまれで、ある時間が経過すると、輝度に変化が生じることが一般的である。即ち、所定の時間で所定値以上の輝度差が生じない画素の領域は、例えば白飛びの状態や黒つぶれの状態等のように、当該画素の情報では照度を正しく再現することができないことが考えられる。そこで、輝度判定部16は、所定の時間で所定値以上の輝度差が生じない画素領域を第3の判定結果として検出して除外範囲判定部15に出力することができるようになっている。
除外範囲判定部15は、人判定部14による判定結果及び輝度判定部16による第1乃至第3の判定結果に基づく画素領域を除外範囲に設定して、除外範囲の情報を出力部13に出力するようになっている。
なお、輝度判定部16の第1乃至第3の判定結果の検出周期は、それぞれ独立に制御されるものであり、また、人判定部14の判定処理及び照度算出部21の照度算出処理の処理周期とも異なることがある。
また、輝度判定部16は、第1乃至第3の判定結果を出力するものとして説明したが、第1乃至第3の判定結果の少なくとも1つを出力するための少なくとも1つの判定処理を行うものであってもよい。
次に、このように構成された実施の形態の動作について図5のフローチャートを参照して説明する。図5において図3と同一の手順には同一符号を付して説明を省略する。
図5のステップS11では、人物の検出処理及び輝度の検出処理が行われる。センサ部12からの撮像画像は人判定部14及び輝度判定部16に与えられる。人判定部14は撮像画像中の人画像部分を検出し、輝度判定部16は、輝度が所定の閾値よりも高い画素領域である第1の判定結果、所定の連続した領域の画素間で所定値以上の差が生じない画素領域である第2の判定結果、及び所定の時間で所定値以上の輝度差が生じない画素領域である第3の判定結果を求める。人判定部14及び輝度判定部16の判定結果は除外範囲判定部15に与えられる。
除外範囲判定部15は、ステップS21において、人判定部14の出力に基づいて、撮像画像中の人の画像部分の画素領域を除外範囲に決定して、図示しないメモリに記憶されている除外範囲の情報を更新する(ステップS22)。
同様に、除外範囲判定部15は、撮像画像中に輝度が所定の閾値よりも高い画素領域が存在する場合には、処理をステップS13からステップS23に移行して、第1の判定結果に基づいて除外範囲を決定し、図示しないメモリに記憶されている除外範囲の情報を更新する(ステップS24)。
また、除外範囲判定部15は、撮像画像中に所定の連続した領域の画素間で所定値以上の差が生じない画素領域が存在する場合には、処理をステップS14からステップS25に移行して、第2の判定結果に基づいて除外範囲を決定し、図示しないメモリに記憶されている除外範囲の情報を更新する(ステップS26)。
更に、除外範囲判定部15は、撮像画像中に所定の時間で所定値以上の輝度差が生じない画素領域が存在する場合には、処理をステップS15からステップS27に移行して、第3の判定結果に基づいて除外範囲を決定し、図示しないメモリに記憶されている除外範囲の情報を更新する(ステップS28)。
こうして、更新された除外範囲の情報が、除外範囲判定部15から出力部13に供給される。出力部13は、撮像画像から除外範囲の画素の画素値を除いた撮像画像を照度算出部21に出力する。これにより、照度算出部21は、撮像画像のうち除外範囲の画素を除く画素の画素値を用いて照度の算出を行う。
照度算出部21が照度の算出に用いる撮像画像には、人の画像部分の画素値、輝度が所定の閾値よりも高い画素領域の画素値、所定の連続した領域の画素間で所定値以上の差が生じない画素領域の画素値及び所定の時間で所定値以上の輝度差が生じない画素領域の画素値が含まれないので、撮像範囲内の人の影響、センサ部12のダイナミックレンジ等の悪影響を受けることはなく、常に高精度の照度算出が可能である。
なお、図5では輝度判定部16が第1乃至第3の判定結果を得るものとして説明したが、輝度判定部16はこれらの第1乃至第3の判定結果の少なくとも1つの判定結果を得るための少なくとも1つの判定処理を行うものであってもよい。
このように本実施の形態においては、撮像画像から人の画像部分の画素値だけでなく、白飛びや黒つぶれなど、本来の照度を再現することができない画素の画素値が除外されて照度計算が行われるので、常に高精度の照度算出を可能にすることができる。
また、本実施の形態においても図2に一例を示したセンサ装置を用いる制御システムに適用可能である。
なお、上記各実施の形態においては、画像センサを用いた照度算出の結果を照明制御システムに利用する例を説明したが、センサ装置を用いる制御システムとしては照明制御に限らず各種システムに利用可能である。例えば、照度に応じて温度を制御するシステムや、照度に応じてドアの開閉を制御するシステム等の各種の制御システムに利用可能である。
本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
11…画像センサ、12…センサ部、13…出力部、14…人判定部、15…除外範囲判定部、21…照度算出部。

Claims (3)

  1. 撮影範囲の撮像画像を得るセンサ部と;
    前記撮像画像中の人の画像部分を判定する人判定部と;
    前記撮像画像の輝度を判定して、所定の連続した領域の画素間で所定値以上の差が生じない画素領域である判定結果を得る輝度判定部と;
    前記撮像画像中の人の画像部分及び所定の連続した領域の画素間で所定値以上の差が生じない画素領域を除外範囲に設定する除外範囲判定部と;
    前記撮像画像から前記除外範囲の画素を除く画素の画素値を照度算出に使用させる出力部と;を具備することを特徴とするセンサ装置。
  2. 撮影範囲の撮像画像を得るセンサ部と;
    前記撮像画像中の人の画像部分を判定する人判定部と;
    前記撮像画像の輝度を判定して、所定の時間で所定値以上の輝度差が生じない画素領域である判定結果を得る輝度判定部と;
    前記撮像画像中の人の画像部分及び所定の時間で所定値以上の輝度差が生じない画素領域を除外範囲に設定する除外範囲判定部と;
    前記撮像画像から前記除外範囲の画素を除く画素の画素値を照度算出に使用させる出力部と;
    を具備することを特徴とするセンサ装置。
  3. 被制御対象と;
    請求項1または請求項2のセンサ装置と;
    前記センサ装置の出力に基づいて得た照度によって前記被制御対象を制御する制御部と;
    を具備したことを特徴とする制御システム。
JP2014060700A 2014-03-24 2014-03-24 センサ装置及びセンサ装置を用いる制御システム Active JP6256137B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014060700A JP6256137B2 (ja) 2014-03-24 2014-03-24 センサ装置及びセンサ装置を用いる制御システム
CN201410637761.8A CN104954662A (zh) 2014-03-24 2014-11-06 传感器装置及使用传感器装置的控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014060700A JP6256137B2 (ja) 2014-03-24 2014-03-24 センサ装置及びセンサ装置を用いる制御システム

Publications (2)

Publication Number Publication Date
JP2015185364A JP2015185364A (ja) 2015-10-22
JP6256137B2 true JP6256137B2 (ja) 2018-01-10

Family

ID=51539144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014060700A Active JP6256137B2 (ja) 2014-03-24 2014-03-24 センサ装置及びセンサ装置を用いる制御システム

Country Status (2)

Country Link
JP (1) JP6256137B2 (ja)
CN (1) CN104954662A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6709954B2 (ja) 2016-05-19 2020-06-17 パナソニックIpマネジメント株式会社 照明制御システム
JP6992311B2 (ja) * 2017-08-03 2022-01-13 東芝ライテック株式会社 照明制御システム
JP2019158614A (ja) * 2018-03-13 2019-09-19 三菱電機株式会社 照度推定装置、プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5438414B2 (ja) * 2009-07-23 2014-03-12 パナソニック株式会社 明るさ検知システムおよびそれを用いた照明システム
JP2013008461A (ja) * 2011-06-22 2013-01-10 Panasonic Corp 照明装置
JP5726792B2 (ja) * 2012-03-12 2015-06-03 株式会社東芝 情報処理装置、画像センサ装置及びプログラム

Also Published As

Publication number Publication date
JP2015185364A (ja) 2015-10-22
CN104954662A (zh) 2015-09-30

Similar Documents

Publication Publication Date Title
JP5726792B2 (ja) 情報処理装置、画像センサ装置及びプログラム
KR101640875B1 (ko) 물체 검출 장치
US9414464B2 (en) Lighting system
US20140015417A1 (en) Lighting control system
WO2016031359A1 (ja) 制御装置、制御方法、及びプログラム
JP2013096947A (ja) 人センサ及び負荷制御システム
JP6256137B2 (ja) センサ装置及びセンサ装置を用いる制御システム
JPWO2019107060A1 (ja) 照明制御システムおよび照明制御方法
JP2016154285A5 (ja)
JP5331766B2 (ja) 撮像装置
US10867491B2 (en) Presence detection system and method
JP6780543B2 (ja) 画像撮像システム及び画像撮像装置
JP5119090B2 (ja) 照明システム
JP4547213B2 (ja) 物体検出装置および方法
JP6070173B2 (ja) 照明制御装置および照明制御方法
JP5491799B2 (ja) 照明制御システム
JP6709954B2 (ja) 照明制御システム
KR20040093888A (ko) 영상신호가 없는 구간에서의 밝기 측정을 이용한 감시카메라의 주간/야간모드 동작장치 및 동작방법
JP4591037B2 (ja) フリッカ成分検出装置及びフリッカ成分検出方法
JP5241326B2 (ja) 照明システム
JP6958160B2 (ja) センサユニット、及び制御システム
JP6551780B2 (ja) 照明制御方法およびそれを利用した照明制御装置、照明システム
JP2014127291A (ja) 照度算出装置、照明制御装置および照明制御方法
JP2010009846A (ja) 自動点灯制御式照明システム
JP2017168377A (ja) 照度取得システム、照明制御システム、及び照度取得プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170711

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171120

R151 Written notification of patent or utility model registration

Ref document number: 6256137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151