JP5429850B2 - 地震時負傷回避システム - Google Patents

地震時負傷回避システム Download PDF

Info

Publication number
JP5429850B2
JP5429850B2 JP2009039783A JP2009039783A JP5429850B2 JP 5429850 B2 JP5429850 B2 JP 5429850B2 JP 2009039783 A JP2009039783 A JP 2009039783A JP 2009039783 A JP2009039783 A JP 2009039783A JP 5429850 B2 JP5429850 B2 JP 5429850B2
Authority
JP
Japan
Prior art keywords
earthquake
furniture
area
avoidance system
injury
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009039783A
Other languages
English (en)
Other versions
JP2010197101A (ja
JP2010197101A5 (ja
Inventor
成幸 岡田
唯貴 中嶋
Original Assignee
国立大学法人 名古屋工業大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 名古屋工業大学 filed Critical 国立大学法人 名古屋工業大学
Priority to JP2009039783A priority Critical patent/JP5429850B2/ja
Publication of JP2010197101A publication Critical patent/JP2010197101A/ja
Publication of JP2010197101A5 publication Critical patent/JP2010197101A5/ja
Application granted granted Critical
Publication of JP5429850B2 publication Critical patent/JP5429850B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、地震時に居住者の負傷を回避できるようにする地震時負傷回避システムに関するものである。
従来、地震に対する対策としては、気象庁の緊急地震速報(大きな揺れを伴う地震が発生したときに、あと何秒で震度いくつの揺れが襲ってくるという情報)がある。しかし、この緊急地震速報を流した後の住民対応は住民に任されている。居住者の安否確認に関するものとして以下の特許文献1、2があるが、これらは地震後に他の地域にいるものが安否を確認するものであり、居住者の行動をリアルタイムで監視し危険空間からの避難を誘導するものはない。
また、住民に対するものではなく、システムの緊急停止等のシステム制御に関するものとして、以下の特許文献3、4がある。

特開2008−217438号公報 特開2008−211419号公報 特開2008−254862号公報 特開2008−253312号公報
気象庁により緊急地震速報が流されたとしても、住人は地震の揺れが実際に襲ってくる数秒間の焦りの中で、迅速に安全領域を見極め移動する的確さが要求される。そのような極短時間での生死に関わる意思決定は往々にして間違い、家具転倒等に巻き込まれてしまうなど不幸な結果を招く恐れが大きい。現状で、このような危機的状況下においてリアルタイムで安全領域を指示し、誘導してくれるシステムは存在していない。
本発明は上記点に鑑みて、緊急地震速報取得時に居住者を安全領域へ誘導できるようにすることを目的とする。
本願の第1の発明は,カメラにより撮影された室内映像から家具が転倒する危険領域を求めておき、緊急地震速報取得時に、前記室内映像から居住者を抽出し、抽出された居住者が前記危険領域にいることを判定すると前記居住者を安全領域へ移動させるように対処動作を行うことを特徴とする地震時負傷回避システムにある(請求項1)。本願の第2の発明は、 前記抽出された居住者が前記安全領域にいることを判定したときには、そこから動かない指示を発生することを特徴とする請求項1に記載の地震時負傷回避システムにある(請求項2)。また、本願の第3の発明は、前記抽出された居住者が前記危険領域にいることを判定すると、危険の程度に応じた警告情報を発生することを特徴とする請求項1または2に記載の地震時負傷回避システムにある(請求項3)。
本願の第4の発明は、家具の大きさと床応答震度により転倒確率を計算し、この計算された転倒確率により前記危険の程度を算定することを特徴とする請求項3に記載の地震時負傷回避システムにある(請求項4)。
本願の第5の発明は、前記撮影された室内映像から室内を画面表示し、家具の種類により負傷度を算出し、家具別負傷度の状態を前記画面中に表示することを特徴とする請求項1乃至4のいずれか1つに記載の地震時負傷回避システムにある(請求項5)。
本願の第6の発明は、前記撮影された室内映像から室内を画面表示し、前記抽出された居住者の足跡を画面表示することを特徴とする請求項1乃至5のいずれか1つに記載の地震時負傷回避システムにある(請求項6)。
本願の第7の発明は、前記抽出された居住者が前記危険領域にいることを判定すると、当該システムと連動する可動式ロボットを前記安全領域へ移動させ、そこで前記可動式ロボットが警告信号を発することで、前記居住者を前記安全領域に誘導することを特徴とする請求項1に記載の地震時負傷回避システムにある(請求項7)。
本発明の一実施形態に係るシステムの構成を示す図である。 CCDカメラによる室内静止画像を示す図である。 2次元映像から室内の状況および居住者位置を3次元情報として取り出す処理を示すフローチャートである。 焦点・測点の設定処理の説明に供する説明図である。 床面設定処理の説明に供する説明図である。 基準面設定処理の説明に供する説明図である。 奥行き比の設定処理の説明に供する説明図である。 家具座標抽出処理の説明に供する説明図である。 人間の位置の抽出処理の説明に供する説明図である。 地震時負傷回避システムの処理を示すフローチャートである。 転倒領域計算処理の説明に供する説明図である。 アスペクト比別家具転倒確率を示すグラフである。 代表的な家具単体のAIS値を示す図である。 危険状況の判断に応じた領域表示を示す図である。 居住者の安全/危険判断に応じた表示例を示す図である。
本システムは、図1に示すように、CCDカメラ等の固定カメラによるハードウェアとパーソナルコンピュータ(パソコン)上で駆動するソフトウェアプログラムとから構成されている。カメラは室内全体を撮影できるように天井等に固定する。
事前準備として、CCDカメラによる画像(2次元静止画像)をパソコン上に映し出し、簡単なマウスクリック操作により、室内と家具の位置及び長さ情報を取得する。カメラ画像を図2とした場合を例に、操作方法とソフトウェアのアルゴリズムを以下に説明する。図3に、システムのフローチャートを示す。
以下の手順で操作することにより、室内と家具の位置情報が取得できる。
(1)焦点・測点の設定
図4(a)に示すように、基準面に対し鉛直上に並ぶ4点(A,B,C,D)を、パソコンの2次元画面上(X,Y)で、マウスクリックすることにより、焦点を数式1より求める。具体的には、焦点の座標を(X,Y)とすると、点A,Bを通る直線(1)と点C,Dを通る直線(2)を求め、それらの連立方程式を解いて焦点を求め、画面上に表示する。
次いで、図4(b)に示すように、奥行き比を求める際に利用する測点を、床面右手前の点Eと左奥の点Fをマウスクリックすることにより求める。具体的には、焦点を通る水平線分と点E,Fを通る直線との交点から測点を求める。
(2)床面設定
図5に示すように、床面と基準面の右奥接地点Gをクリックすることで、床面を抽出し、画面上に表示する。
(3)基準面設定
図6に示すように、基準面と天井との接地点である左上の点Hと右上の点Iをクリックすることで、点Fと点Gを使い基準面を抽出し、画面上に表示する。
(4)奥行き比の設定
ここで、室内を3次元実体座標に変換する。図7(a)に示すように、画面左下を原点に横をX軸、縦をY軸、奥行きをZ軸に設定する。実距離を基準面で測定したとすると、X軸とY軸については焦点と結ぶことで実距離xとyを計算する。室内の奥行き(Z軸)は測点を用いて、次のように長さの比で実距離を表す。すなわち、Z軸上の線分比AB:BCは実軸上では測点を用いたX軸上への投影線分比A’B’:B’C’に等しい。
比で表された奥行き(Z軸)に、実際の長さを与える(距離化する)ために、室内の基準面に接するように正方形を配置し、図7(b)に示すように、2次元画面上で配置された正方形の角3点D,E,Fをクリックする。線分DE=nとし、その長さに等しいX軸上への投影線分D’E’=n’として、数式2に示す係数αを求める。
このαを使うことで、任意のZ軸上の線分z’の基準面における実長さzを数式3より求めることができる。
以上のようにして、室内空間に配置された物体の位置と長さを2次元映像から3次元座標に変換する係数αが求められる。
つまり、この(4)の処理では、測定を用いて奥行き比を定義し、基準面に接した正方形から、基準面の座標距離を基本とし、奥行きを定義し、正方形の実距離と基準面の座標距離の比から室内を実距離化するものとしている。
(5)家具座標抽出
図8(a)に示すように、上記の室内に家具が配置された2次元映像上で家具のコーナー4点(斜め配置の場合は5点)をマウスクリックする。
上記(4)のアルゴリズムを用いて、家具の3次元位置情報(室内における位置と家具を直方体と見なしたときの、幅・奥行き・高さの実距離)を取得する。具体的には、図8(b)に示すように、取得した家具の頂点と焦点、測点を結び家具の基準面での大きさ(基準面での座標距離と実距離)を取得する。すなわち、家具の奥行きBCは、焦点と点B及び点Cを結び基準面と接した長さdで基準面における奥行き実長さが求められ、家具の高さBDは、同様に焦点とそれぞれの点を結び基準面と接した長さhで基準面における高さの実長さが求められる。家具の幅ABは測点と結んだ手前の水平線との交点A’B’の線分をw’とすると、数式3より基準面における家具の幅wは以下で求められる。
また、家具の床面の座標位置は、家具の幅を求めたときと同様に、測点からの手前水変線との交点O’A’より、その線分をa’とすると、以下の式より基準面における実長さaを求めればよい。
以上より、幅w、奥行きd、高さhの家具が基準面からaだけ離れた位置に設置されているという実距離の座標情報が取得できる。
以上で、事前準備は終了である。以後は、CCDカメラからの映像を常時パソコンへ送ることにより、上記に取得した家具レイアウトの室内空間における人間行動を常時監視し、部屋にいる居住者人数と彼らの位置を家具等との位置関係において追跡する。
(6)人間の位置の抽出
居住者の行動をCCDカメラ映像より背景差分法により動態である人間を抽出し、さらにCamshift法を応用して、足下の輪郭をとることで居住者の室内での位置を上記室内情報中で自動追跡する(図9参照)。
以上、2次元映像から室内の状況および居住者位置を3次元情報として取り出す技術、つまり固定カメラにより撮影された室内の2次元映像から室内と家具の位置情報を3次元座標の3次元情報として取得して透視図化し、また固定カメラにより撮影された2次元映像から居室内の動態を映像から自動的に抽出し、透視図中にその位置をプロットする技術について説明した。なお、上記したシステムでは、透視図化するためのキーとなる箇所をマウスクリックすることにより情報取得しているが、画像処理によるエッジ検索をすることで自動処理が可能となる。そうすることにより、画像から透視図化まで完全自動化することが可能となる。また、撮影画像はカメラによる静止画像でも、ビデオカメラによる動画でも構わない。
次に、上記した技術を、地震襲来時に居住者に室内の負傷危険箇所をリアルタイムで告知し負傷回避を誘導するシステムに適用した実施形態について説明する。
図10に、そのシステムのフローチャートを示す。なお、ハード構成は基本的には図1に示すものと同じである。
図10に示すように、上記(6)の人間の位置の抽出を行った後、地震発生か否かを判定する。地震発生か否かは、例えばパソコンに有線で入力された気象庁緊急地震速報にて判定することができる。地震が発生していない間は上記の(6)の人間の位置の抽出する処理を繰り返す。
また、上記(5)で抽出された家具座標により、家具の転倒領域を計算する。
(7)転倒領域計算
図11に示すように、家具が転倒する危険領域を自動算出し、必要なときにパソコンに映し出されている室内床面上に自動描画する。具体的には、家具の各面(図では側板)を基準面に投影し、そこでの実長さ(転倒した場合の床面覆う長さ等)を上記(4)の方法で計算する。次いで、元の位置に焦点を使って戻し、転倒領域を得る。
気象庁緊急地震速報により地震発生が判定されると、気象庁緊急地震速報から地震震度を入力し、それに基づいて家具の転倒確率を算出する。
(8)家具の転倒確率の算出
家具の大きさ(アスペクト比=奥行き/高さの比)と床応答震度(気象庁緊急地震速報の震度情報を建物階数で補正した震度)により転倒確率を計算する実験式を以下に提案し、算出に用いる。家具のアスペクト比に着目した転倒率簡易推定式は既往式1)を基本とするが、地震動(床応答)について最大床応答加速度Afと最大床応答速度Vfを知る必要がある。緊急地震速報は震度情報Iのみ提供されるので、Af とIとの関係に既往式2)を、VfとIとの関係に既往式3)を代入し整理すると、数式4中の式(1)が誘導できる。
ここに、β(I)は剛体への入力最大加速度(=ln Af)、Φは平均λ・標準偏差ζ(=0.58固定)の累積正規分布関数、αは床と家具とのすべり摩擦係数(=0.8固定)、D/Hは家具アスペクト比、gは重力加速度、Ffは床応答等価振動数(=3.18固定)[Hz]、Fbは家具の境界振動数[Hz]である。
なお、上記の既往式1)〜3)は以下の文献を引用した。
1)金子美香:地震時における家具の転倒率推定方法、日本建築学会構造系論文集、第551号、pp.61-68、2002.
2)河角広:震度と震度階(続)、地震、15、pp.6-12、1943.
3)Muramatu,I:Expectation of maximum velocity of earthquake motion within 50 years throughout Japan Sci.Rep.Gifu Univ.,3, 470-481,1993.
以上のように、家具アスペクト比と震度のみで家具の転倒確率が求められる。誘導した式(1)をグラフ化したものを図12に示す。なお、家具アスペクト比は前ステップ(5)の家具オブジェクト化の操作の時点で自動的に計算される。
(9)家具種類別の負傷程度の算出
家具の種類により、それが転倒落下し居住者にぶつかったときの負傷程度が異なる。この負傷程度を示す指標として災害医学で用いられる簡易式外傷指数AIS (Abbreviated Injury Scale)を参考に、新たに家具別指数を近年の被害地震調査結果を基に求め、その数値の大小より負傷程度を評価できるようにした。家具別のAIS値は以下に与えられる。家具が複数当たる場合は、数値を加算しその総和で判断する。
数値が3未満の時:軽傷を与える。
数値が3以上の時:重傷を与える。
代表的な家具単体のAIS値を図13に示す。
(10)領域表示
パソコン画面上には、気象庁緊急地震速報からの震度情報が入力されたり、あるいはシステムによる教育訓練として手動により震度が入力されると、図14に示すように、危険状況の判断に応じた領域表示を行う。具体的には、家具のワイヤーフレームが家具別AISにより
軽傷と判断された時:家具のワイヤーフレームを黄色
重傷と判断されたとき:家具のワイヤーフレームを赤色
で色分けし、家具別負傷度の状態が表示される。また、転倒領域は震度による転倒率が算出され、その値により以下のように色分け表示がなされる。
転倒率0%の時:転倒領域は枠のみ白色表示
転倒率30%未満の時:転倒領域は橙色で表示
転倒率30%以上の時:転倒領域は赤色で表示
複数の転倒領域が重なる場合、より危険な領域に対しての避難誘導を優先して行うために、危険な領域を上に表示するものとする。
(11)居住者の安全/危険判断
上記(6)で抽出された人間の位置に基づき、図15に示すように、居住者の足跡を画面表示し、画面での危険状態が認識できるようにする。
”足跡”の色表示の仕方は、3パターンあり、
(1)床面黒色領域(安全)→安全領域→足跡は白色
(2)床面橙色領域(転倒確率0%より大きく30%未満)→やや危険領域→足跡は灰色
(3)床面赤色領域(転倒確率30%以上)→危険領域→足跡は黒色
また、音声による避難誘導も同時に行う。人間の輪郭の一番下の座標における危険度によって、対応する音声の避難誘導を行う。危険度別による音声避難情報は、次の(1)〜(3)のようになっている。文脈として、場所の危険性を訴え、移動行為を促進させるために「そこ」という位置情報を含み、かつ端的な表現で誰にでも危機感の程度差が認識できるように[危険][すごく危険]の2表現としている。
(1)安全領域内(無色転倒領域内)→「そこから動かないでください。」
(2)やや危険領域内(橙色転倒領域内)→「そこ、危険です。」
(3)危険領域内(赤色転倒領域内)→「そこ、すごく危険です。」
なお、上記の実施形態では、居住者の誘導方法はコンピュータの音声情報で実現しているが、緊急地震速報を受けたときに、可動式ロボットに安全領域への移動を指示しロボットがそこに移動し、そこでロボットが警告音声(そのほか、発光等による警告サイン)を発することで、(複数)住人に安全領域の場所を明示し、そこへの移動を誘導することができる。
上記した実施形態によれば、以下の効果を有する。すなわち、気象庁緊急地震速報を個人世帯で利用するシステムであり、これまでのものは、ただ単に地震発生時にその地域の震度を予測し、その震度を通報するのみであり、それに対する防災対応は受信者の意思決定に任せられていた。しかし、緊急地震速報を受信した後実際の揺れがやってくるまでの猶予時間は数秒程度であり、その焦りの中で適切な状況判断が求められ、時に間違い重大な人的被害に結びつくことが考えられる。本システムは、極短時間における意思決定をコンピュータに的確に判断させ、猶予時間を有効に使って安全な避難をサポートするものであり、地震時の家具転倒や室内散乱に伴う人的被害を避ける有効な手段となる。

Claims (7)

  1. カメラにより撮影された室内映像から家具が転倒する危険領域を求めておき、緊急地震速報取得時に、前記室内映像から居住者を抽出し、抽出された居住者が前記危険領域にいることを判定すると前記居住者を安全領域へ移動させるように対処動作を行うことを特徴とする地震時負傷回避システム。
  2. 前記抽出された居住者が前記安全領域にいることを判定したときには、そこから動かない指示を発生することを特徴とする請求項1に記載の地震時負傷回避システム。
  3. 前記抽出された居住者が前記危険領域にいることを判定すると、危険の程度に応じた警告情報を発生することを特徴とする請求項1または2に記載の地震時負傷回避システム。
  4. 家具の大きさと床応答震度により転倒確率を計算し、この計算された転倒確率により前記危険の程度を算定することを特徴とする請求項3に記載の地震時負傷回避システム。
  5. 前記撮影された室内映像から室内を画面表示し、家具の種類により負傷度を算出し、家具別負傷度の状態を前記画面中に表示することを特徴とする請求項1乃至4のいずれか1つに記載の地震時負傷回避システム。
  6. 前記撮影された室内映像から室内を画面表示し、前記抽出された居住者の足跡を画面表示することを特徴とする請求項1乃至5のいずれか1つに記載の地震時負傷回避システム。
  7. 前記抽出された居住者が前記危険領域にいることを判定すると、当該システムと連動する可動式ロボットを前記安全領域へ移動させ、そこで前記可動式ロボットが警告信号を発することで、前記居住者を前記安全領域に誘導することを特徴とする請求項1に記載の地震時負傷回避システム。
JP2009039783A 2009-02-23 2009-02-23 地震時負傷回避システム Expired - Fee Related JP5429850B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009039783A JP5429850B2 (ja) 2009-02-23 2009-02-23 地震時負傷回避システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009039783A JP5429850B2 (ja) 2009-02-23 2009-02-23 地震時負傷回避システム

Publications (3)

Publication Number Publication Date
JP2010197101A JP2010197101A (ja) 2010-09-09
JP2010197101A5 JP2010197101A5 (ja) 2012-03-29
JP5429850B2 true JP5429850B2 (ja) 2014-02-26

Family

ID=42821986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009039783A Expired - Fee Related JP5429850B2 (ja) 2009-02-23 2009-02-23 地震時負傷回避システム

Country Status (1)

Country Link
JP (1) JP5429850B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5930916B2 (ja) * 2012-09-03 2016-06-08 Yamagata Intech株式会社 サーバー装置、及び、情報処理システム
WO2020241425A1 (ja) * 2019-05-31 2020-12-03 ソニー株式会社 ロボット装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744039B2 (ja) * 1995-11-29 2006-02-08 株式会社日立製作所 透視図作成支援方法
JPH09185712A (ja) * 1995-12-28 1997-07-15 Kazunari Era 三次元画像データ作成方法
ES2211986T3 (es) * 1996-10-30 2004-07-16 British Telecommunications Public Limited Company Sistema de comunicaciones.
JP2003087838A (ja) * 2001-09-11 2003-03-20 Nec Access Technica Ltd 遠隔誘導指示システム
JP2003256585A (ja) * 2002-02-28 2003-09-12 Fujita Corp 地震時の家具等設置物転倒可能性判定情報提供方法
JP2004240886A (ja) * 2003-02-07 2004-08-26 Shimizu Corp リスクマネジメント支援プログラム、リスクマネジメント支援装置およびリスクマネジメント支援方法
JP4507243B2 (ja) * 2004-03-25 2010-07-21 独立行政法人理化学研究所 行動分析方法及びシステム
JP4375093B2 (ja) * 2004-04-09 2009-12-02 三菱電機株式会社 防災システム
JP2006040053A (ja) * 2004-07-28 2006-02-09 Taisei Corp 画像処理方法及びプログラム
JP4754283B2 (ja) * 2005-06-30 2011-08-24 セコム株式会社 監視システム及び設定装置
JP4915550B2 (ja) * 2006-01-31 2012-04-11 清水建設株式会社 避難行動予測システムおよび避難行動予測方法
JP2008152717A (ja) * 2006-12-20 2008-07-03 Sanyo Electric Co Ltd 転倒状況検知装置

Also Published As

Publication number Publication date
JP2010197101A (ja) 2010-09-09

Similar Documents

Publication Publication Date Title
JP6534499B1 (ja) 監視装置、監視システム、及び、監視方法
Stone et al. Evaluation of an inexpensive depth camera for in-home gait assessment
EP3183534B1 (en) Method and system for designing a stair lift rail assembly
KR101696629B1 (ko) 구조물 변형 모니터링을 이용한 붕괴 경고 시스템 및 그 방법
JP2015518138A (ja) 1つ以上の空間物体に関する情報を抽出するための方法、機器およびコンピュータプログラム
JP2014512900A5 (ja)
JP6189170B2 (ja) 姿勢推定装置
JP7355974B2 (ja) 距離推定装置および方法
KR101053405B1 (ko) 구조물 변형 감지 시스템 및 방법
KR101515597B1 (ko) 3차원 영상 정보를 이용한 감지 방법 및 장치
JP5525495B2 (ja) 映像監視装置、映像監視方法およびプログラム
JP6779410B2 (ja) 映像解析装置、映像解析方法、及びプログラム
JP5868426B2 (ja) 停立人物の向き推定方法
JP2011195288A (ja) マンコンベア画像処理装置
JP5429850B2 (ja) 地震時負傷回避システム
JP5552069B2 (ja) 移動物体追跡装置
JP2010197100A (ja) 室内と家具の位置情報を3次元情報として取得する装置
TW201315671A (zh) 滯留度檢測裝置及乘客運輸裝置
JP2008201575A (ja) エレベーターの遠隔監視システム
JP2009294755A (ja) 混雑度計測装置、混雑度計測方法、混雑度計測プログラムおよびそのプログラムを記録した記録媒体
KR101291149B1 (ko) 이동 로봇의 천장 높이 추정 장치 및 방법
KR102382374B1 (ko) 변위 계측을 이용한 지진시 기둥의 실시간 안전성 평가 및 위험 알림 시스템
TWM525323U (zh) 飛行裝置及飛行控制系統
JP6737262B2 (ja) 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム
JP6548683B2 (ja) 対象物画像推定装置および対象物画像判定装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees