JP5509801B2 - エレベータシステム - Google Patents

エレベータシステム Download PDF

Info

Publication number
JP5509801B2
JP5509801B2 JP2009259854A JP2009259854A JP5509801B2 JP 5509801 B2 JP5509801 B2 JP 5509801B2 JP 2009259854 A JP2009259854 A JP 2009259854A JP 2009259854 A JP2009259854 A JP 2009259854A JP 5509801 B2 JP5509801 B2 JP 5509801B2
Authority
JP
Japan
Prior art keywords
car
image
dirt
stored
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009259854A
Other languages
English (en)
Other versions
JP2011105415A (ja
Inventor
幸廣 古谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009259854A priority Critical patent/JP5509801B2/ja
Publication of JP2011105415A publication Critical patent/JP2011105415A/ja
Application granted granted Critical
Publication of JP5509801B2 publication Critical patent/JP5509801B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Indicating And Signalling Devices For Elevators (AREA)
  • Maintenance And Inspection Apparatuses For Elevators (AREA)
  • Cage And Drive Apparatuses For Elevators (AREA)

Description

この発明は、エレベータかご内の監視カメラに撮影された画像によりかご内のキズ又は汚れを検知するエレベータシステムに関するものである。
従来の監視カメラによる監視に関する技術として、かご内に取り付けた監視カメラが撮影した画像を画像認識し解析することにより、乗客の有無や荷物の有無を検知し、エレベータかごの荷重検出器の自動調整を行う技術が開示されている(特許文献1)。
特開2008−137751
しかし、従来技術の画像認識は、かご内の画像を解析して乗客の有無や荷物の有無を認識することにより、かごの荷重を検出する荷重検出器の自動調整に関するものであるが、かご内のキズ又は汚れを検知するものではなく、また、かご内の床や壁面の貼り替え交換や引越し業者による傷つけ防止用養生をする場合であっても、かごの荷重を誤認識してしまう。このために、適切なタイミングでかご内のキズ又は汚れを検知することができなかった。
本願発明は、上記課題を解決するためになされたもので、かご内に設けられた照明装置と、かご内に設けられ、かご内の全部又は一部を被写体として撮影する監視カメラと、照明装置がかご内を照明している場合に、監視カメラにより撮影された第1の撮影画像を記憶装置に記憶する画像認識装置と、記憶装置に記憶された第1の撮影画像と第1の撮影画像に対応し予め撮影され記憶装置に記憶された第2の撮影画像とを比較し、かご内のキズ又は汚れを検知するキズ・汚れ検知装置と、かご内に設けられたマイクロホンが予め指定された音声を得た場合に、前記記憶装置に記憶された第2の撮影画像を破棄させるとともに、画像認識装置による第1の撮影画像の前記記憶装置への記憶を中止させる音声認識装置と、を備えたエレベータシステムである。
また、本願発明は、かご内に動物体が存在するか否かを検知する動物体検知装置を更に備え、動物体検知装置によりかご内に動物体が存在しないと判断した場合に画像認識装置により第1の撮影画像を前記記憶装置へ記憶するエレベータシステムである。
た、本願発明の前記動物体検知装置は、かごを懸架する主ロープにかかる張力に基づいてかごの重量の変化量を算出する秤からなるエレベータシステムである。
また、本願発明は、かごの戸が閉まっているか否かを検知する戸閉検知装置を更に備え、戸閉検知装置によりかごの戸が閉まっていると判断した場合に画像認識装置により第1の撮影画像を記憶装置へ記憶するエレベータシステムである。
本願発明によれば、かご内のキズ又は汚れを検知することができ、加えて、かご内の床や壁面の貼り替え交換や引越し業者による傷つけ防止用養生による誤認識を防止することができるために、適切な時期にかご内のキズ又は汚れを検知することができる。
実施の形態1
図1はこの発明の実施のエレベータシステムをブロック図を用いて示すものである。図1において、1はエレベータのかご、2はかご内に設けられ、かご内の防犯防止を主な目的とした監視カメラ、3はかご内に設けられ、かご内の音声を得て音を電気信号に変換するマイクロホン、4はマイクロホン3から収集した音の電気信号から特定の言葉を認識する音声認識装置、5はかご内に設けられ、かご内を照明する照明装置、6はかご内に動物体が存在するか否かを検出する動物体検出装置、7はエレベータかご1などエレベータ全体を制御するエレベータ制御装置、8は監視カメラで撮影した画像を認識する画像認識装置、9はかご内のキズ又は汚れを検知するキズ・汚れ検知装置、10はかご内にキズ又は汚れがあることを管理人に通知する監視装置、11はエレベータが設けられているビルの管理人室である。
なお、監視カメラ2は、防犯を主な目的としている既存の監視カメラを利用しているため、別途専用のカメラを設置する必要がなくコストが低減される。また、マイクロホン3は、かご内から管理人室11にいる管理人と連絡するための既存のマイクロホンを利用しているため、別途専用のマイクロホンを設置する必要がなくコストが低減される。音声認識装置4は、ここではかご内にあるとして説明するが、これに限られず管理人室11に設置しても良い。照明装置5は、エレベータ制御装置7の指示によりかご1内の照明を調整する。動物体検知装置6は、かご1に人間や動物などの動作する物体があるか否かを検出するものであり、かご1を懸架する主ロープの張力を測る秤(図示せず)によってそのかご内の質量変化をもとに検出しても良いし、かご1とかご枠との間に設けられ、かご1の重量を算出する秤をもとに検出しても良いし、監視カメラ2の画像情報からの画像認識により検出しても良い。エレベータ制御装置7は、監視カメラ2、音声認識装置4、照明装置5、動物体検知装置6と直接または間接的に接続しこれらを制御する。なお、エレベータ制御装置7は、マシンルーム(図示せず)に設置しても良いしエレベータの昇降路内に設置しても良い。
また、画像認識装置8は、ここでは管理人室11にあるとして説明するがこれに限られず中央監視センター(図示せず)に設置しても良い。キズ・汚れ検知装置9は、画像認識装置8に設けられ、監視カメラ2により撮影された撮影画像13とこの撮影画像に対応し予め撮影された撮影画像12とを比較し、かご内のキズ又は汚れを検知するものである。なお、ここでは、キズ・汚れ検知装置9は、画像認識装置8と独立して設けられるとして説明するが、これに限られるものではなく、画像認識装置8内に設置されても良い。監視装置10は管理人等に、かご内のキズ又は汚れの情報を提示する手段としてディスプレイであるとして説明するが、これに限られず管理人等に情報を伝達できるものであれば良く、例えばスピーカでもよい。
図2は、かご内の全部又は一部を被写体として監視カメラ2により撮影された撮影画像である。撮影画像12は、例えば清掃直後のかご内がきれいな状態であり、撮影画像13は、例えば清掃後時間が経過した後で、利用者により、かご内の所々にキズや汚れが生じている状態である。
画像認識装置8では、監視カメラ2によって撮影された撮影画像がメモリに記憶されるのは、(a)照明装置5が作動している場合で、(b)動物体検知装置6によってかご内に動物体が存在しないと判断され、更に、(c)かごの戸が閉まっているか否かを検知する戸閉検知装置(図示せず)によって、かごの戸が閉まっていると判断された場合である。また、かご内の床や壁面の貼り替え交換や引越し業者による傷つけ防止用養生によって誤認識が発生しないように、清掃者が例えば予め指定されている「画像認識中止」と発声した場合、マイクロホン3はこの音声を収集して、音声認識装置4によりこの「画像認識中止」という発声を認識し、エレベータ制御装置7は画像認識装置8に撮影画像のメモリへの記憶中止指令を出すために、画像認識装置8によりメモリへの記憶は中断される。すなわち、(d)マイクロホン3が予め指定された音声を得ない場合には撮影画像がメモリに記憶される。
なお、ここでは、上記(a)(b)(c)(d)の要件を全て満たす場合に、撮影画像がメモリに記憶されるとして説明したが、これに限られるものではなく、例えば(a)の要件のみ満たされれば、撮影画像がメモリに記憶されるとしても良い。
中止指令がない場合には、エレベータかご1内に取り付けられた監視カメラ2でエレベータかご内が撮影された撮影画像の信号は、エレベータ制御装置7を経由して、管理人室11の画像認識装置8に送付される。
ここでかご内の照明装置5が作動しているか否かを判断するのに撮影画像を根拠にしても良いし、かご内に別途明るさ検出装置を設けても良い(図示せず)。また、動物体が存在するか否かを判断するのは撮影画像を根拠としても良いし、かごを懸架する主ロープの張力を算出する秤(図示せず)によるかごの重さの変化の検出を根拠としても良い。
キズ・汚れ検知装置9では、記録画像が存在する場合は前回記録した画像12と今回記録した画像13を比較し、両者の画像間で後述する差分がある場合はかご内に傷又は汚れが発生したと判断し、管理人室11にある監視装置10に通知する。監視装置10では、管理人に修理又は清掃を促すメッセージをディスプレイによる画面に表示又はスピーカによる音声で通知する。
前回の撮影画像は、好ましくは掃除後のかご内がきれいな状態が良く、この前回の撮影画像12は、清掃者が例えば「画像認識」と発声した場合、マイクロホン3はこの音声を収集して、音声認識装置4によりこの「画像認識」という発声を認識してエレベータ制御装置7にその旨の信号を送信し、エレベータ制御装置7は画像認識装置8に、監視カメラ2によって撮影された撮影画像12をメモリに記憶する場合もある。
キズ・汚れ検知装置9では、秤によりかご内に動物体が存在しない無人の状態となったと判断したときに、監視カメラ2により撮影された画像13と前回記録した画像12を比較して落書き14、傷15、液体16、ごみ17のような差分がある場合は、エレベータかご内にキズ又は汚れが発生したと判断する。差分の検出は、無人の状態であり、撮影画像のマス目の輝度や色変化がなくなった状態で画像を記録し、通常は1回前に記憶した画像12との差異がある、すなわち2つの画像の全マス目を比較して輝度や色に違いがある場合は、エレベータかご内にキズや汚れが発生したと判断するものである。
次に、このエレベータシステムの動作を図3と図4のフロー図をもって説明する。図4はかご内で作業を実施する前に、担当者が音声で画像検知を一時停止するキーワードを発し、かご内に取り付けられた音声認識装置4は、画像検知を一時停止するキーワードを認識するフロー図である。
S21では、かご内の照明装置5が作動していない場合、動物体検知装置6によりかご内に動物体が存在すると判断された場合、又は、戸閉検知装置により戸が戸開状態であると判断された場合にはS21を繰り返す。
S21において、かご内の照明装置5が作動しており、動物体検知装置6によりかご内に動物体が存在しないと判断され、かつ、戸検知装置により戸が戸閉状態であると判断された場合には、S22において、画像認識装置8において、監視カメラ2により撮影された撮影画像がメモリに記憶される。

S23において、画像認識装置8により、既に記憶した撮影画像12がメモリに存在するか確認される。
S23において、既に記憶した撮影画像12が存在しない場合は、S21から繰り返す。S23で既に記憶した撮影画像12が存在する場合は、S24でキズ・汚れ検知装置9により既存の記憶された撮影画像12と、今回記憶した撮影画像13の比較を行い、S25で撮影画像に差分があるかを判定する。
S25で前回記憶した撮影画像12と今回記憶した撮影画像13に差分がないと判断した場合は、S21から繰り返す。S25で前回記憶した撮影画像12と今回記憶した撮影画像13に差分があると判断した場合は、かご内にキズ又は汚れが発生したと判定し、S26でキズ又は汚れの検知を監視装置10に通知する。通知を受けた監視装置10では、かご内の傷又は汚れ発生を画面表示又は音声で管理人にわかるように報知する。
このようにかご内の照明装置5が作動しており、かご内に動物体が存在せず、かつ、戸閉状態で、既存の記憶した画像12と今回記憶した画像13を比較することで、かご内に発生したキズ又は汚れを検知し、管理人に掃除や修理が必要であることを知らせる事ができ、かご内にキズ又は汚れが発生した場合に、直ぐに管理人等がかごにむかい、清掃をすることができる。
また、かご室内の床や壁面の貼り替え交換や引っ越し業者による傷つけ防止用養生によって、既存の記憶した撮影画像12と今回記憶した撮影画像13を比較することで、かご内にキズ又は汚れが発生したと誤検知する場合がある。この誤認識を防止するため、かご内で作業を実施する前に、音声(例えば、「画像認識中止」)で撮影画像をメモリに記憶する作業を一時停止するキーワードを発声する。かご内に取り付けられた音声認識装置4は、予め定められた音声であるキーワードを認識すると、エレベータ制御装置7を介して画像認識装置8に通知する。画像認識装置8は、通知を受信した時、図4のフロー図を処理する。
S31でこれまでに記録した判定用の撮影画像を破棄して初期状態とし、S32で画像認識装置8の撮影画像のメモリへの記憶を一時停止状態とする。一時停止状態からの機能再開は、かご内で再開用キーワード(例えば、「画像認識」)を発し、かご内に取り付けられた音声認識装置4で認識することによって、画像認識装置8に通知、又は、監視装置10からの操作で画像認識装置8に再開通知を送信する。画像認識装置8では再開通知を受信した時に、図3のフロー図の処理を最初から行う。
このように画像認識装置8の画像の記憶が明らかに誤認識する場合は、事前にかご内で音声を発する事で機能の一時停止し、停止状態からかご内で音声を発する事で再開可能とする事によって簡易な手順で誤認識を回避できる。このために、誤認識に基づいて、かご内を修理又は清掃するために、管理人がかごに行くことを防止することができる。
実施の形態2.
本実施の形態では、図1のエレベータ画像監視システムの画像認識装置8で図5のフロー図を処理する。実施の形態1によって画像認識装置8でS21〜S26の処理を行い、キズ又は汚れを検知した後、状態をキズ又は汚れ検知アラーム状態とし、図5のフロー図を実施する。
まず、S41でかご内の状態を判定する。S41で、かご内の照明装置5がOFF、又は、動物体検知装置6により動物体が存在する、又は戸開状態であると判断した場合は、何も処理をせず、S41から繰り返す。
S41で、かご内の照明装置5がONで、かつ、動物体検知装置6により動物体が存在せず、戸閉状態であると判断した場合は、S42でかご内の撮影画像を記憶し、S43でキズ又は汚れ検知前後の撮影画像と今回記憶した撮影画像を比較して、S44でキズ又は汚れ検知前の撮影画像に近いか、キズ又は汚れ検知後の撮影画像に近いかを判定する。
S44で今回記憶した撮影画像がキズ又は汚れ検知後の撮影画像に近い場合はS41から繰り返す。
S44で今回記憶した撮影画像がキズ又は汚れ検知前の撮影画像に近い場合は、復旧した事を監視装置10に通知し、状態をキズ又は汚れ検知アラーム状態を解除して図3のフロー図を実施する。監視装置10では、管理人に対するキズ又は汚れ検出の画面表示又は音声による通知を停止する。
このように、復旧した事を自動検知することによって、エレベータ利用者が落し物に気づいて取りに来た場合や、すぐに、キズを修復したり汚れを掃除したりする場合には、汚れ検出状態を自動で解除でき、管理人は掃除や修理の必要がないことを認識可能である。
:本願の実施の形態1にかかるエレベータ画像監視システムのブロック図である。 :本願の実施の形態1にかかるエレベータ画像監視システムで認識するかご内画像の例である :本願の実施の形態1にかかるエレベータ画像監視システムの画像認識装置がキズ又は汚れ検知するフロー図である。 :本願の実施の形態1にかかるエレベータ画像監視システムの画像認識装置がキズ又は汚れ検知を音声認識で一時停止通知を受信した時のフロー図である。 :本願の実施の形態2のエレベータ画像監視システムの画像認識装置がキズ又は汚れの回復を検知するフロー図である。
1:エレベータかご、2:かご内監視カメラ、3:マイクロホン、4:かご内音声認識装置、5:照明装置、6:動物体検知装置、7:エレベータ制御装置、8:画像認識装置、9:キズ・汚れ検知装置、10:監視装置、11:管理人室、12:かご内画像(キズ又は汚れ未検出)、13:かご内画像(キズ又は汚れ検出)、14:落書き、15:傷、16:液体、17:ごみ

Claims (4)

  1. かご内に設けられた照明装置と、
    前記かご内に設けられ、前記かご内の全部又は一部を被写体として撮影する監視カメラと、
    前記照明装置が前記かご内を照明している場合に、前記監視カメラにより撮影された第1の撮影画像を記憶装置に記憶する画像認識装置と、
    前記記憶装置に記憶された前記第1の撮影画像と該第1の撮影画像に対応し予め撮影され前記記憶装置に記憶された第2の撮影画像とを比較し、前記かご内のキズ又は汚れを検知するキズ・汚れ検知装置と、
    前記かご内に設けられたマイクロホンが予め指定された音声を得た場合に、前記記憶装置に記憶された前記第2の撮影画像を破棄させるとともに、前記画像認識装置による前記第1の撮影画像の前記記憶装置への記憶を中止させる音声認識装置と、
    を備えたことを特徴とするエレベータシステム。
  2. 前記かご内に動物体が存在するか否かを検知する動物体検知装置を更に備え、
    該動物体検知装置により前記かご内に動物体が存在しないと判断した場合に前記画像認識装置により前記第1の撮影画像を前記記憶装置へ記憶する
    ことを特徴とする請求項1に記載のエレベータシステム。
  3. 前記動物体検知装置は、前記かごを懸架する主ロープにかかる張力に基づいて前記かごの重量の変化量を算出する秤からなる
    ことを特徴とする請求項2に記載のエレベータシステム。
  4. 前記かごの戸が閉まっているか否かを検知する戸閉検知装置を更に備え、
    該戸閉検知装置により前記かごの戸が閉まっていると判断した場合に前記画像認識装置により前記第1の撮影画像を前記記憶装置へ記憶する
    ことを特徴とする請求項1に記載のエレベータシステム。
JP2009259854A 2009-11-13 2009-11-13 エレベータシステム Expired - Fee Related JP5509801B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009259854A JP5509801B2 (ja) 2009-11-13 2009-11-13 エレベータシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009259854A JP5509801B2 (ja) 2009-11-13 2009-11-13 エレベータシステム

Publications (2)

Publication Number Publication Date
JP2011105415A JP2011105415A (ja) 2011-06-02
JP5509801B2 true JP5509801B2 (ja) 2014-06-04

Family

ID=44229380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009259854A Expired - Fee Related JP5509801B2 (ja) 2009-11-13 2009-11-13 エレベータシステム

Country Status (1)

Country Link
JP (1) JP5509801B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024023391A1 (en) * 2022-07-27 2024-02-01 Kone Corporation A method for detecting at least one litter object inside an elevator car and an elevator car litter detection system

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5612168B1 (ja) * 2013-06-11 2014-10-22 東芝エレベータ株式会社 エレベータの監視システム
JP6109097B2 (ja) * 2014-02-12 2017-04-05 三菱電機ビルテクノサービス株式会社 エレベータのピット状況確認システム
JP6519181B2 (ja) * 2015-01-09 2019-05-29 富士通株式会社 乱雑度の変化の傾向監視方法、乱雑度の変化の傾向監視プログラムおよび乱雑度の変化の傾向監視装置
US10290158B2 (en) 2017-02-03 2019-05-14 Ford Global Technologies, Llc System and method for assessing the interior of an autonomous vehicle
US10509974B2 (en) 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10304165B2 (en) 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods
JP6502543B1 (ja) * 2018-02-21 2019-04-17 東芝エレベータ株式会社 エレベータの保安支援処理装置、エレベータの保安支援システム、およびエレベータの保安支援処理方法
CN113015685B (zh) * 2018-12-11 2023-08-11 三菱电机楼宇解决方案株式会社 用于检测电梯的防范摄像机的污染的监视装置、判定装置和电梯系统
CN110065867B (zh) * 2019-05-13 2020-12-01 浙江新再灵科技股份有限公司 基于音视频的电梯舒适度评价的方法和系统
WO2020255353A1 (ja) * 2019-06-20 2020-12-24 三菱電機株式会社 エレベータの制御装置
JP6950842B1 (ja) * 2021-01-21 2021-10-13 三菱電機株式会社 エレベータ制御装置およびエレベータシステム
JP7375105B1 (ja) 2022-05-13 2023-11-07 東芝エレベータ株式会社 エレベータシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08277080A (ja) * 1995-04-05 1996-10-22 Hitachi Building Syst Eng & Service Co Ltd エレベータのかご内映像記録装置
JP2002046965A (ja) * 2000-07-13 2002-02-12 Otis Elevator Co 画像認識によるエレベータの機能制御装置
JP2003085662A (ja) * 2001-07-06 2003-03-20 Rando Business:Kk 防犯システム、防犯管理装置、防犯方法、防犯管理方法およびコンピュータプログラム
JP4268787B2 (ja) * 2002-06-17 2009-05-27 株式会社日立製作所 診断用移動体装置
JP2008087898A (ja) * 2006-09-29 2008-04-17 Toshiba Elevator Co Ltd エレベータの機能可変型遠隔監視システム及び遠隔監視方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024023391A1 (en) * 2022-07-27 2024-02-01 Kone Corporation A method for detecting at least one litter object inside an elevator car and an elevator car litter detection system

Also Published As

Publication number Publication date
JP2011105415A (ja) 2011-06-02

Similar Documents

Publication Publication Date Title
JP5509801B2 (ja) エレベータシステム
JP2011068440A (ja) エレベータ監視装置、エレベータ監視方法及びエレベータ遠隔監視システム
JP5348311B2 (ja) エレベーター装置
JP2011011872A (ja) エレベータの故障検出装置
EP3527525A1 (en) Elevator door control system for detection of obstacle trapping
JP5844418B2 (ja) エレベータ制御装置およびエレベータ制御方法
KR20110042708A (ko) 엘리베이터의 방범운전 시스템 및 그 제어방법
US20180237259A1 (en) Method for detecting trapped passengers in elevator car
JP6257379B2 (ja) エレベータシステム
JP2007168932A (ja) エレベータ制御装置及びエレベータ制御方法
JP2013063810A (ja) エレベータ監視装置
JP5293547B2 (ja) エレベータのインターホン装置
JP2005263421A (ja) エレベータかご内監視カメラの点検装置
JP2012091883A (ja) エレベーターシステム
JP2019108190A (ja) エレベータのカメラ装置の撮影状態診断方法、遠隔診断システム、および遠隔診断プログラム
KR20100089418A (ko) 음인식 수단을 구비한 승강기 운행시스템
JP2007276920A (ja) エレベータシステム
JP2013052738A (ja) 駆け込み乗車検知装置
JP2019198041A (ja) カメラ画像の点検システム及びカメラ画像の点検方法
JP2007223691A (ja) エレベータシステム
JP2016060565A (ja) 乗かご内釦の点灯検出装置
JP5031441B2 (ja) エレベータの表示装置
JP6864129B1 (ja) 撮影状態診断方法、画像処理装置および遠隔監視プログラム
JP6772344B1 (ja) エレベータ遠隔診断方法およびエレベータ遠隔診断装置
JP6272120B2 (ja) エレベーター運転装置及びエレベーターシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120510

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140310

LAPS Cancellation because of no payment of annual fees