JP6199216B2 - エレベータ監視装置 - Google Patents

エレベータ監視装置 Download PDF

Info

Publication number
JP6199216B2
JP6199216B2 JP2014056887A JP2014056887A JP6199216B2 JP 6199216 B2 JP6199216 B2 JP 6199216B2 JP 2014056887 A JP2014056887 A JP 2014056887A JP 2014056887 A JP2014056887 A JP 2014056887A JP 6199216 B2 JP6199216 B2 JP 6199216B2
Authority
JP
Japan
Prior art keywords
region
area
determination
car
unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014056887A
Other languages
English (en)
Other versions
JP2015178412A (ja
Inventor
酒井 亮一
亮一 酒井
山口 勝美
勝美 山口
祺 薛
祺 薛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Building Systems Co Ltd
Original Assignee
Hitachi Building Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Building Systems Co Ltd filed Critical Hitachi Building Systems Co Ltd
Priority to JP2014056887A priority Critical patent/JP6199216B2/ja
Priority to CN201510024655.7A priority patent/CN104925604B/zh
Publication of JP2015178412A publication Critical patent/JP2015178412A/ja
Application granted granted Critical
Publication of JP6199216B2 publication Critical patent/JP6199216B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66BELEVATORS; ESCALATORS OR MOVING WALKWAYS
    • B66B5/00Applications of checking, fault-correcting, or safety devices in elevators
    • B66B5/0006Monitoring devices or performance analysers
    • B66B5/0012Devices monitoring the users of the elevator system

Landscapes

  • Image Processing (AREA)
  • Indicating And Signalling Devices For Elevators (AREA)
  • Image Analysis (AREA)

Description

本発明は、エレベータ乗りかご内の無人状態を検知するのに好適なエレベータ監視装置に関する。
この種の従来技術として、エレベータの乗りかご内をカメラで撮影した画像で、撮影された画像のうち一部を判定基礎画像として抽出し、乗りかごの窓を含まない領域で床の画像を含む領域を乗客の存否判定として使用するものと、6分割した画像領域に重み付けをして各領域で乗客存否の判定を行い、乗客が乗りかご内に存在する場合に画像を記録するものが提案されている(特許文献1参照)。また、基本画像と比較を行うための照明点灯判定領域、ドア開閉状況判定領域、乗客検出領域の三領域を定めることで、目先の影響を受けずに乗りかご内の異常を監視するものが提案されている(特許文献2参照)。一方、戸閉状態と戸開状態の画像データを比較して出入口の縁を抽出し、抽出した出入口の縁の情報から検査領域を決定し、検査領域の画像のデータの変化に基づいて戸周辺の利用者の検出を行い、ドア制御させるものが提案されている(特許文献3参照)。
特開2002−53275号公報 特開2009−35375号公報 WO2009/031376号公報
しかしながら、特許文献1や特許文献2に記載のエレベータ監視装置では、エレベータの乗りかご内をカメラで撮影した画像のうち、床面または床面に近い部位のみにて乗客の存否判定を行うため、乗客の立っている場所や服装の色合いによっては床面の色と同化してしまい、乗客の存在を見逃してしまうことがある。また、特許文献3に記載のエレベータ監視装置では、ドアの縁の部分で乗客の存否判定を行うため、乗り場から乗りかご内に乗り込む乗客、または乗りかごから乗り場へ降りる乗客といった通過の検出、あるいは検出範囲に留まっている乗客の検出は可能であるが、検出範囲を通過したあとに乗りかご内に留まっている乗客は検出できないという問題がある。
そこで、本発明の目的は、乗客の立っている場所や服装の色合いによっては床面の色と同化してしまう状況でも、乗客の存在を精度良く検出することができるエレベータ監視装置を提供することにある。
上記課題を解決するために、本発明は、エレベータの乗りかご内の様子を撮影する撮影装置と、前記撮影装置で撮影された画像データに対し演算処理を行う画像処理装置とを備え、前記画像処理装置は、予め記憶している無人の乗りかご内を撮影して得た基本画像データと前記撮影装置で撮影された画像データとを比較して、前記乗りかご内の有人無人を判定するエレベータ監視装置において、前記画像処理装置は、前記基本画像データ、床面領域と、ドア領域と、正面壁面領域と、右側壁面領域と、左側壁面領域と、背側壁面領域と、を含む複数の判定領域に分割し、各判定領域の輝度データを格納する基本画像データ格納部と、前記乗りかごのドアを閉じた状態で撮影して得た前記画像データを、前記複数の判定領域に分割して各判定領域の輝度データを抽出する領域毎輝度計測部と、前記複数の判定領域の各判定領域について、前記領域毎輝度計測部が抽出した輝度データと前記基本画像データ格納部に格納される輝度データとを比較して一定値以上の輝度差がある判定領域を抽出する領域毎輝度比較部と、前記領域毎輝度比較部が抽出した前記判定領域が、前記ドア領域前記正面壁面領域前記右側壁面領域前記左側壁面領域、および前記背側壁面領域のうちの少なくとも一つと、前記床面領域とである場合、有人と判定する有人無人判定部とを備えたことを特徴とする。
このような構成によれば、乗りかごのドアを閉じた状態で、ドア領域と、前記正面壁面領域と、前記右側壁面領域と、前記左側壁面領域と、前記背側壁面領域とのうちの一つと、前記床面領域との組み合わせに一定値以上の輝度差がある場合に、乗りかご内が有人と判定することによって、窓ガラスからの外光の影響を低減できるので判定のばらつきを押さえながら、また従来の呼び無し状態が所定時間を経過したかどうかで判定する方法に比べて、精度の良い判定を行うことができる。
また本発明は、上述の構成に加えて、前記有人無人判定部による判定結果に応じて、エレベータおよび前記画像処理装置の動作を制御する制御装置をさらに備え、前記有人無人判定部は、前記抽出された判定領域が、前記有人と判定する判定領域以外の場合、無人と判定し、前記制御装置は、前記有人無人判定部が前記乗りかご内が無人と判定したとき、前記乗りかごのドアを閉じ、前記画像処理装置による処理を一時停止させるようにしたことを特徴とする。
このような構成によれば、乗りかご内が無人の場合、画像処理装置による処理を一時停止するため、画像処理装置による処理を常時行う場合に比べて省エネ効果を期待することができる。
本発明の一実施例によるエレベータ監視装置の基本構成を示したブロック構成図である。 図1に示したエレベータ監視装置による乗りかご内の撮影画像図である。 図1に示したエレベータ監視装置の動作を示すフローチャートである。 基本画像データを示す模式図である。 エレベータ監視装置の処理動作を示すフローチャートである。
以下、本発明の実施例を図面に基づいて説明する。
図1は、本発明の一実施例によるエレベータ監視装置の基本構成を示したブロック構成図である。
エレベータ監視装置は、乗りかご1に設けられているドア2と、乗りかご1内の様子を撮影する撮像装置3と、撮像装置3で撮影された画像データの演算処理を行う画像処理装置4と、エレベータ制御装置5とを備えて構成されている。
図2は、図1に示したエレベータ監視装置による乗りかご1内の画像図である。
撮像装置3で撮影された乗りかご1内の画像は、図示のように斜め上方から見たようになっており、ここでは乗りかご1内の構成要素領域毎に、床面領域6と、ドア領域7と、正面壁面領域8と、右側壁面領域9と、左側壁面領域10と、背側壁面領域11と、天井領域12とに分割して管理している。
図3は、上述した画像処理装置4の概略構成を示すブロック構成図である。
撮影装置3が撮影した画像データを取り込んで図2で説明した各領域毎に輝度データを抽出する領域毎輝度計測部13と、撮影装置3によって無人の定常状態での乗りかご内を撮影して同各領域毎に画素の輝度データを格納した基本画像データ14と、領域毎輝度計測部13からの各領域毎の輝度データを取り込んで基本画像データ14に格納している対応する各領域毎の画素の輝度データを比較し、かつその差が一定の割合以上となったことを判定する領域毎輝度比較部15と、領域毎輝度比較部15によって輝度差が一定の割合以上となったと判定した領域の組合せから乗りかご内が有人か無人かを判定する有人無人判定部16と、詳細を後述する有人無人判定プログラムを含む挙動検出プログラムを格納した記憶部17と、有人無人判定プログラムおよび挙動検出プログラムに従って各部を制御する制御部18とを有している。
図4は、上述した基本画像データ14を示す模式図である。
撮影装置3によって無人の定常状態で乗りかご1内を撮影した基本画像データ14を使用し、この基本画像データを判定領域19毎に基本輝度データ20として格納している。判定領域19とは、上述した各領域6〜10である。
上述した画像処理装置4における有人無人判定部16は、それぞれの各領域6〜12における基本画像データ14の基本輝度データ20と、今回撮影した撮影画像における各領域6〜12における画素の輝度データとの差が一定の割合以上であった場合、輝度差が発生している領域の組み合わせにより、乗りかご1内が無人であるのか有人であるのかの判定を行う。すなわち乗りかご1内にいる乗客あるいは物体が存在する場合、高さを持っているため、必ず床面領域6とその他の領域に輝度差が発生することになる。
具体的には、輝度差が発生している領域が、床面領域6、ドア領域7、正面壁面領域8、右側壁面領域9、左側壁面領域10、背側壁面領域11、天井領域12のいずれか一つだけの場合は、輝度差が発生しているものの乗客としての高さ方向の特徴を反映していないとして乗りかご1内は無人であると判定している。また、床面領域6を除いて隣接する領域の組み合わせ、例えば、ドア領域7と正面壁面領域8、ドア領域7と右側壁面領域9、ドア領域7と左側壁面領域10、ドア領域7と背側壁面領域11のいずれかの組み合わせだけに輝度差が発生している場合は、ドア領域7に窓ガラスが設置されていることにより外部からの光の差し込みによる反射等に起因して発生したと判断して、乗りかご1内は無人であると判定している。
一方、床面領域6とそれに隣接する他の領域の組み合わせ、例えば、床面領域6とドア領域7、床面領域6と正面壁面領域8、床面領域6と右側壁面領域9、床面領域6と左側壁面領域10、床面領域6と背側壁面領域11のいずれかの組み合わせだけに輝度差が発生している場合は、乗客としての高さ方向の特徴を反映しているとして乗りかご1内は有人であると判定するようにしている。
例えば、図2に示した撮影画像のようにドアが閉じられた状態で乗客が存在している場合、床面領域6とドア領域7、床面領域6と正面壁面領域8、床面領域6と右側壁面領域9とに、同時に画素の輝度差が発生していることになるので、この領域の組み合わせによって乗りかご1内が有人であると判定することができる。
また、図示していないが、乗客が右側壁面領域9に寄り掛かった状態で、床面領域6と右側壁面領域9との組み合わせに輝度差が発生している場合、同様に乗りかご1内は有人であると判定することができる。
図5は、上述したエレベータ監視装置の処理動作を示すフローチャートである。
先ず、ステップS1で、エレベータの乗りかご1に乗客が乗り込み、図示しないかご呼び釦により行き先階を登録したとする。すると、図1に示したエレベーター制御装置5の指令により乗りかご1は、ステップS2でサービスを開始して登録された階に向けて、走行を開始する。このとき画像処理装置4は、詳細な説明を省略したが撮影装置3を用いての挙動検出を行っている。
エレベーター制御装置5は、ステップS3で、登録階までの途中にホール呼びがあるかどうかを判定し、ある場合、ステップS4で順次サービスを行いながら目的階へと走行させる。しかし、登録階までの途中にホール呼びがない場合は、直接登録階へと乗りかご1を走行させる。
エレベーター制御装置5は、乗りかご1がステップS5で目的階へ着床したことを検出すると、ステップS6でドア2を開く。その後、ステップS7で画像処理装置4により乗りかご1内が無人状態下有人状態かの判定を行う。
ここで撮影装置3によって乗りかご1内の状態を撮影し、図3に示した領域毎輝度計測部13に画像データを取り込んで、図2で説明した各領域6〜12毎に輝度データを抽出する。その後、領域毎輝度比較部15は、領域毎輝度計測部13から取り込んだ各領域6〜12毎の画素の輝度データと、基本画像データ14に格納されている各領域6〜12毎の画素の輝度データと対応させて比較し、その差が一定の割合以上となった領域を抽出する。有人無人判定部16は、領域毎輝度比較部15によって輝度差が一定の割合以上となったと判定した領域の組合せから乗りかご内が有人か無人かを判定する。
有人無人判定部16は、輝度差が発生している領域が、領域6〜12のいずれか一つだけの場合は、輝度差が発生しているものの乗客としての高さ方向の特徴を反映していないとして乗りかご1内は無人であると判定する。また、床面領域6を除いて隣接する領域の組み合わせ、例えば、ドア領域7と正面壁面領域8、ドア領域7と右側壁面領域9、ドア領域7と左側壁面領域10、ドア領域7と背側壁面領域11のいずれかの組み合わせだけに輝度差が発生している場合も、ドア領域7に窓ガラスが設置されていることにより外部からの光の差し込みによる反射等に起因して発生したと判断して、乗りかご1内は無人であると判定する。
このときエレベーター制御装置5は、有人無人判定部16からの無人との信号を受けて、ステップS8で直ちにドア2を閉じ、ステップS9で画像処理装置4による挙動検出プログラムによる処理を一時停止させる。つまり、乗りかご1内が無人状態となり、かつ行き先階登録やホール呼びが無い状態では、撮影装置3による乗りかご1内の撮影を含めて、挙動検出プログラムが休止状態となる。従って、撮影装置3による監視がなくなるので省エネ効果も得られる。
一方、ステップS7の判定で、床面領域6とそれに隣接する他の領域の組み合わせ、例えば、床面領域6とドア領域7、床面領域6と正面壁面領域8、床面領域6と右側壁面領域9、床面領域6と左側壁面領域10、床面領域6と背側壁面領域11のいずれかの組み合わせだけに画素の輝度差が発生している場合は、乗客としての高さ方向の特徴を反映しているとして乗りかご1内は有人であると判定する。
この判定の場合、ステップS10に進んで通常のドア開時間を経過した後にドア2を閉じ、ステップS11でサービスを継続させる。つまり、乗りかご1内が有人状態の場合は、撮影装置3による乗りかご1内の撮影を含めて、挙動検出プログラムが稼働状態を継続する。
尚、上述した実施の形態で、天井領域12を有人無人判定部16での判定要素としての管理対象から外しても良い。
以上説明したように本発明は、エレベータの乗りかご1内の様子を撮像する撮像装置3と、撮像装置3で撮影された画像データの演算処理を行う画像処理装置4とを備え、画像処理装置4は、予め記憶している無人の乗りかご内の基本画像データ14と、撮像装置で撮影された画像データとを比較して、乗りかご1内の有人無人を判定するエレベータ監視装置において、基本画像データ14は、床面領域6と、ドア領域7と、正面壁面領域8と、右側壁面領域9と、左側壁面領域10と、背側壁面領域11とに分割して格納した輝度データを有し、撮像装置は、乗りかご1のドア2を閉じた状態で撮影した画像データを同じ各領域6〜8に分割して画素の輝度データを抽出する領域毎輝度計測部13と、画像データと基本画像データ14との輝度データを同じ領域毎に比較して一定値以上の輝度差がある領域を抽出する領域毎輝度比較部15と、ドア領域7と、正面壁面領域8と、右側壁面領域9と、左側壁面領域10と、背側壁面領域11とのうちの一つと、床面領域6との組み合わせに一定値以上の輝度差があるときに有人と判定する有人無人判定部16とを備えたことを特徴とする。
このような構成によれば、乗りかご1のドア2を閉じた状態で、ドア領域7と、正面壁面領域8と、右側壁面領域9と、左側壁面領域10と、背側壁面領域11とのうちの一つと、床面領域6との組み合わせに一定値以上の輝度差がある場合に、乗りかご1内が有人と判定するため、一つの領域に限定する場合のように乗客の立っている場所や服装の色合いによっては床面の色と同化してしまう状況でも、乗客の存在を精度良く検出することができる。
また床面領域6を除いて隣接する領域の組み合わせ、例えば、ドア領域7と正面壁面領域8、ドア領域7と右側壁面領域9、ドア領域7と左側壁面領域10、ドア領域7と背側壁面領域11のいずれかの組み合わせだけに輝度差が発生している場合、乗りかご1内は無人であると判定することができるので、ドア領域7に窓ガラスが設置されていることにより外部からの光の差し込みによる反射等に起因して輝度差が生じても誤検出することなく精度良い検出を行うことができる。
また本発明は、上述の構成に加えて、有人無人判定部16が乗りかご1内が無人と判定したとき、乗りかご1のドア2を閉じて、画像処理装置4による処理を一時停止させるようにしたことを特徴とする。
このような構成によれば、乗りかご1内が無人の場合、画像処理装置4による処理を一時停止するため、画像処理装置4による処理を常時行う場合に比べて省エネ効果を期待することができる。
1 乗りかご
2 ドア
3 撮像装置
4 画像処理装置
5 エレベータ制御装置
6 床面領域
7 ドア領域
8 正面壁面領域
9 右側壁面領域
10 左側壁面領域
11 背側壁面領域
15 領域毎輝度比較部
16 有人無人判定部

Claims (2)

  1. エレベータの乗りかご内の様子を撮影する撮影装置と、前記撮影装置で撮影された画像データに対し演算処理を行う画像処理装置とを備え、前記画像処理装置は、予め記憶している無人の乗りかご内を撮影して得た基本画像データと前記撮影装置で撮影された画像データとを比較して、前記乗りかご内の有人無人を判定するエレベータ監視装置において、
    前記画像処理装置は、
    前記基本画像データ、床面領域と、ドア領域と、正面壁面領域と、右側壁面領域と、左側壁面領域と、背側壁面領域と、を含む複数の判定領域に分割し、各判定領域の輝度データを格納する基本画像データ格納部と、
    記乗りかごのドアを閉じた状態で撮影して得た前記画像データを、前記複数の判定領域に分割して各判定領域の輝度データを抽出する領域毎輝度計測部と、
    前記複数の判定領域の各判定領域について、前記領域毎輝度計測部が抽出した輝度データと前記基本画像データ格納部に格納される輝度データとを比較して一定値以上の輝度差がある判定領域を抽出する領域毎輝度比較部と、
    前記領域毎輝度比較部が抽出した前記判定領域が、前記ドア領域前記正面壁面領域前記右側壁面領域前記左側壁面領域、および前記背側壁面領域のうちの少なくとも一つと、前記床面領域とである場合、有人と判定する有人無人判定部とを備えたことを特徴とするエレベータ監視装置。
  2. 前記有人無人判定部による判定結果に応じて、エレベータおよび前記画像処理装置の動作を制御する制御装置をさらに備え、
    前記有人無人判定部は、前記抽出された判定領域が、前記有人と判定される判定領域以外の場合、無人と判定し、
    前記制御装置は、前記有人無人判定部が前記乗りかご内が無人と判定したとき、前記乗りかごのドアを閉じ、前記画像処理装置による処理を一時停止させるようにしたことを特徴とする請求項1に記載のエレベータ監視装置。
JP2014056887A 2014-03-19 2014-03-19 エレベータ監視装置 Active JP6199216B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014056887A JP6199216B2 (ja) 2014-03-19 2014-03-19 エレベータ監視装置
CN201510024655.7A CN104925604B (zh) 2014-03-19 2015-01-19 电梯监控装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014056887A JP6199216B2 (ja) 2014-03-19 2014-03-19 エレベータ監視装置

Publications (2)

Publication Number Publication Date
JP2015178412A JP2015178412A (ja) 2015-10-08
JP6199216B2 true JP6199216B2 (ja) 2017-09-20

Family

ID=54113083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014056887A Active JP6199216B2 (ja) 2014-03-19 2014-03-19 エレベータ監視装置

Country Status (2)

Country Link
JP (1) JP6199216B2 (ja)
CN (1) CN104925604B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711237A (zh) * 2018-07-23 2019-05-03 永康市巴九灵科技有限公司 橱柜盥洗盆自动归位系统
KR102591758B1 (ko) * 2018-11-07 2023-10-20 현대모비스 주식회사 차량 내 승객 감지장치 및 그 제어방법
JP6716741B1 (ja) * 2019-03-20 2020-07-01 東芝エレベータ株式会社 エレベータの利用者検知システム
CN110255318B (zh) * 2019-06-03 2021-03-09 浙江新再灵科技股份有限公司 基于图像语义分割的电梯轿厢闲置物品检测的方法
CN113233273B (zh) * 2020-05-21 2023-08-25 山东中兴合智通信新技术有限公司 电梯故障监测方法、装置、存储介质、电子设备及电梯
CN116823892B (zh) * 2023-08-31 2023-11-17 戈尔电梯(天津)有限公司 基于楼宇管控的身份确定方法、装置、设备和介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1059637A (ja) * 1996-08-20 1998-03-03 Hitachi Building Syst Co Ltd エレベータの画像診断装置
JP3883250B2 (ja) * 1997-04-28 2007-02-21 三菱電機株式会社 監視画像記録装置
JP3698584B2 (ja) * 1999-02-18 2005-09-21 三菱電機ビルテクノサービス株式会社 エレベータのかご内監視装置
JP2002053275A (ja) * 2000-08-04 2002-02-19 Mitsubishi Electric Building Techno Service Co Ltd エレベータかご監視装置
JP2008046734A (ja) * 2006-08-11 2008-02-28 Hitachi Building Systems Co Ltd エレベーター乗客検出装置
JP5022809B2 (ja) * 2007-08-01 2012-09-12 株式会社日立ビルシステム エレベータ乗かご内の異常監視装置
JP5008728B2 (ja) * 2007-09-04 2012-08-22 三菱電機株式会社 利用者検出方法及び装置、並びに制御方法
JP5483702B2 (ja) * 2010-02-09 2014-05-07 東芝エレベータ株式会社 エレベータ滞留物検出装置
CN102762479B (zh) * 2010-02-23 2014-10-29 三菱电机株式会社 电梯装置

Also Published As

Publication number Publication date
CN104925604B (zh) 2017-07-04
CN104925604A (zh) 2015-09-23
JP2015178412A (ja) 2015-10-08

Similar Documents

Publication Publication Date Title
JP6199216B2 (ja) エレベータ監視装置
US10941019B2 (en) User detection system and image processing device
CN108622776B (zh) 电梯的乘梯探测系统
US10087048B2 (en) Elevator system
JP6367411B1 (ja) エレベータシステム
JP5317426B2 (ja) エレベータ装置
CN106966276A (zh) 电梯的乘坐检测系统
JP6317004B1 (ja) エレベータシステム
CN110294391B (zh) 使用者检测系统
KR101208764B1 (ko) 슬라이드 도어 장치 및 엘리베이터
CN109879130B (zh) 影像检测系统
JP2009249157A (ja) 人数検知装置
CN113428752B (zh) 电梯的使用者探测系统
JP6257379B2 (ja) エレベータシステム
JP6849760B2 (ja) エレベータの利用者検知システム
JP2011068469A (ja) エレベータ制御装置、監視システム、検索再生プログラム、入退室管理システム
CN112340581B (zh) 电梯的使用者探测系统
CN113428750A (zh) 电梯的使用者检测系统
CN113003339A (zh) 电梯识别方法、识别系统与电梯
JP2010235283A (ja) エレベータの安全装置
JP2016124693A (ja) エレベータのかご内乗客検出装置
JP2013203484A (ja) 乗客コンベア
JP6729980B1 (ja) エレベータの利用者検知システム
JP6874104B1 (ja) エレベータシステムおよびエレベータ制御方法
WO2022149246A1 (ja) エレベーターの安全装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170823

R150 Certificate of patent or registration of utility model

Ref document number: 6199216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150