JP3980305B2 - Station platform safety monitoring device - Google Patents
Station platform safety monitoring device Download PDFInfo
- Publication number
- JP3980305B2 JP3980305B2 JP2001256277A JP2001256277A JP3980305B2 JP 3980305 B2 JP3980305 B2 JP 3980305B2 JP 2001256277 A JP2001256277 A JP 2001256277A JP 2001256277 A JP2001256277 A JP 2001256277A JP 3980305 B2 JP3980305 B2 JP 3980305B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- door
- obstacle
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Platform Screen Doors And Railroad Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、駅のプラットホームに設置されている安全柵と車両の間に支障物や利用客の存在有無を監視して乗務員の負担を軽減し車両の運行を円滑に行うための駅プラットホームの安全監視装置に関する。
【0002】
【従来の技術】
近年、駅のプラットホームには利用客の安全を確保するため、線路側のプラットホーム端部に安全柵を設けている。安全柵は車両停止時に車両のドアの位置に一致して対向する位置になる扉を備えている。車両が停止してドアが開いているときに安全柵の扉を開いて利用者が乗降できるようにして、車両が走行するためドアを閉じると安全柵の扉も閉じるようにしている。
【0003】
鉄道用の駅プラットホームは、車両の乗車客が身体を乗り出しても危険がないように安全面から、プラットホーム端部の安全柵の線路側(以下、安全柵裏側と称する)において、安全柵から所定距離(約20cm〜40cm)以内には何も設置できない建築限界上の制約がある。
【0004】
しかしながら、安全柵裏側において安全柵から約20cm〜40cmの距離があると、安全柵の扉が閉じて車両のドアも閉じた状態において、利用客が安全柵と車両の空間(安全柵裏側のプラットホーム上)に居残る可能性がある。また、鞄などの支障物も落下して残る可能性もある。
【0005】
このように利用客が居残っていたり鞄などの支障物が残っている状態で車両を発車させると、非常に危険であり重大事故につながる可能性がある。特に、利用客が居残っていた場合には人身事故を到る危険性が高くなる。
【0006】
従来、プラットホーム端部の安全柵と車両の空間に利用客の居残りや鞄などの支障物の残留を検出するには、検出距離範囲の異なる複数個のPSDセンサ(距離検出器)を同一個所に設けて、プラットホームの安全柵と車両の間に支障物や利用客の存在有無を確認するようにしている。このことは、例えば、特開平7-17393号公報に記載されている。
【0007】
また、特開平7-17393号公報にはホーム側に設置したカメラにより車両のドア付近を撮影した画像をモニタして車両側部分の乗降客や支障物の存在有無を確認するということも記載されている。
【0008】
【発明が解決しようとする課題】
従来技術は、直線的に距離を検出するPSDセンサによってプラットホーム端部の安全柵と車両の空間に利用客の居残りや鞄などの支障物の残留を検出している。プラットホームが直線である場合には安全柵裏側も直線であり、PSDセンサでもほぼ確実に検出できる。
【0009】
しかし、プラットホームにはカーブも多く、安全柵もプラットホームのカーブに沿って設置されるので、安全柵裏側もカーブとなる。このような安全柵裏側がカーブしている場合には、PSDセンサの機能上から複数個を設けたとしても検出不可能な領域が発生して利用客の居残りや鞄などの支障物の残留を正確に検出できないという問題点を有する。
【0010】
特に、安全柵裏側がカーブしていると、安全柵からプラットホーム端部までの距離も約40cm以上と大きくなることが多く、安全柵とプラットホーム端部の間に利用客の居残りが発生し易くなるのでPSDセンサの検出に限界があり実用に適さないという問題がある。
【0011】
また、ホーム側に設置したカメラにより車両のドア付近を撮影した画像をモニタして乗降客や支障物の存在有無を確認するだけでは、安全柵裏側の下部(足元)やカーブしている安全柵裏側がカメラの死角になり利用客の居残りや鞄などの支障物の残留を正確に検出できないという問題点を有する。
【0012】
本発明は上記点に対処して成されたもので、その目的とするところは安全柵と車両の間に利用客の居残りや鞄などの支障物の残留を正確に検出できる駅プラットホームの安全監視装置を提供することにある。
【0013】
【課題を解決するための手段】
本発明の特徴とするところは、安全柵の線路側領域を撮影するカメラを設置し、利用客の乗降終了後にカメラで撮影された入力画像を取込み、支障物のない状態で撮影した基準画像との変化分画像によって支障物を検出するようにしたことにある。
【0014】
本発明の支障物は車両の運行に支障のあるものであり、特に車両の利用客であるが他の物体であっても予め定めたものは支障物とする。
【0015】
本発明は利用客の乗降終了後にカメラで撮影した安全柵の線路側領域画像(入力画像)と支障物のない状態で撮影した基準画像との変化分画像によって支障物を検出するようにしているので、安全柵の線路側を領域監視しているので安全柵と車両の間に利用客の居残りや鞄などの支障物の残留を正確に検出できる。特に、安全柵の線路側がカーブしていても領域監視しているので支障物を正確に検出できる。
【0016】
また、入力画像と基準画像の変化分画像の特徴量から支障物が利用客であるか他の物体であるかを即座に判別することができる。
【0017】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて説明する。
【0018】
図1に本発明の一実施例を示す。
【0019】
図1において、プラットホーム3の端部の線路2R側(図2に図示)に安全柵1が設置されている。安全柵1は、固定部1と開閉可能な扉(可動部)1Aから構成され、図2に示すように安全柵1の線路2R側領域3Aを撮影するカメラ4が設けられている。
【0020】
カメラ4は、安全柵1の可動部1A毎の線路2R側に設置されて、支障物の有無をチェックする監視領域(撮影視野範囲)4Aを撮影している。撮影視野範囲4Aはプラットホーム3の安全柵1の線路側領域3Aになる。カメラ4は、演算処理装置(MPU)6、画像処理装置5および送受信制御装置7とが一体構成になっている。
【0021】
MPU6は安全柵制御装置10から送受信制御装置7を経由して画像処理装置5にカメラ画像を入力するタイミング信号等が入力される。MPU6は、タイミング信号を入力すると画像処理装置5に画像処理を行わせ、支障物が存在するときにその結果を送受信制御装置7を経由して乗務員端末9に送信する。
【0022】
車両2の乗務員室には乗務員8が車両2の運転に支障のある支障物の有無をチェックする乗務員端末9が設けられている。乗務員端末9には支障物データが表示されるので、乗務員8は、安全柵1と線路2R側に車両2の運転に支障のある支障物の有無を運転席に居ながら確認できる。
【0023】
乗務員8は支障物の存在を確認すると異常を報告する異常表示灯12が安全柵1に設置されている。また、プラットホーム3には、車両2の発車可否を表示する出発表示器11があり、出発表示器11に車両2を停止させておく表示を行う。
【0024】
図3に画像処理装置5の一例詳細構成図を示す。
【0025】
図3において、MPU6は安全柵制御装置10から可動部(扉)1Aの扉の開信号を入力すると、画像入力手段15にカメラ4で撮影している監視領域4Aの画像の取り込みを指示する。この画像は利用客の乗降開始前に撮影された基準画像となる。
【0026】
機器不良チェック手段17は基準画像を用いてカメラ4の電源が切れている等の機器不良チェックを行い、また、映像不良チェック手段18は基準画像を用いてカメラ4が覆われたりずれたりしていないか等の映像不良チェックを行う。両不良チェック手段17、18のチェック結果はMPU6に送信される。
【0027】
映像不良や機器不良の何れか一方でも発生すると、MPU6は、支障物検知手段16の検知処理を無効にする制御を行うとともに、乗務員端末9に映像不良や機器不良を表示して乗務員8にも報知する。
【0028】
一方、映像不良や機器不良の何れも発生していない場合には、支障物検知手段16が検知処理を実行する。支障物検知手段16が支障物を検知すると、MPU6から乗務員端末9に通知する。
【0029】
この構成において車両2の状態、ドア2Dと安全柵1の扉1Aの開閉状態に対する画像処理装置5の処理タイミングについて図4を参照して説明する。
【0030】
車両2が図4(a)に示すように駅に到着してプラットホーム3に入ると時刻t0で停止操作を開始し時刻t1で停止する。車両2が停止すると図4(b)に示すようにドア2Dを時刻t3で開け始めて時刻t4で全開にする。
【0031】
車両2のドア2Dが時刻t3で開け始めると車両2のドア開信号により安全柵1の扉1Aが図4(c)に示すように時刻t3の直後に開き始めて時刻t5で全開する。安全柵1の可動部(扉)1Aが時刻t3の直後に開き始めると、安全柵制御装置10から扉1Aの扉開信号が送受信制御装置7を経由してMPU6に送信される。
【0032】
MPU6は可動部1Aの扉開信号を入力すると画像入力手段15に画像の取り込みを図4(d)に示すように時刻t2で行わせて基準画像を入力させる。基準画像の取り込み時にはまだ可動部1Aの扉開の動作は開始していない。これは、画像入力手段15での画像の取り込みが瞬時であり、可動部1Aの扉開は機械的動作のため時間遅れがあることによる。
【0033】
なお、画像の取り込み時に可動部1Aの扉が開いてしまう場合には、画像の取り込みが終了してから可動部1Aの扉を開くようにすることもできる。即ち、可動部1Aの扉が閉まった状態で基準画像を取り込むようにする。
【0034】
図4(c)に示すように時刻t5で可動部1Aである扉が全開すると、車両2へ利用客が乗降を開始して乗降が終了すると、時刻t6で可動部1Aを閉める信号が安全柵制御装置10に加えられる。時刻t7で可動部1Aである扉は全閉となる。
【0035】
時刻t7で安全柵制御装置10から車両2へのドア閉信号が与えられ、ドア2Dは図4(b)に示すように時刻t8で全閉する。車両2のドア2Dが全閉した後、時刻t9で安全柵制御装置10から可動部1Aの扉閉信号や車両2のドア閉信号が送受信制御装置7を経由してMPU6に送信される。MPU6は画像入力手段15に画像の取り込みを時刻t9で行わせて入力画像を得る。
【0036】
映像不良チェック手段18は基準画像を用いて時刻t9までの間に後述する図8に示す処理によって、また、機器不良チェック手段17は後述する図9に示す処理によってチェックを実行する。
【0037】
支障物検知手段16は映像不良や機器不良の何れも発生していない場合に後述する図5、図6、図7に示す処理を時刻t9からt10の間に実行して車両2の運転に支障のある支障物の有無をチェックする。
【0038】
万一、支障物が検知された場合には乗務員端末9に表示して何れの可動部1Aに設置したカメラ4で検知した支障物であるか等を乗務員8に報知したり、出発表示器11に車両2を停止させておく表示を行ったり、異常表示灯12を点灯したりする。
【0039】
支障物が検知されない場合には、車両2を時刻t12で発車させる信号をMPU6に送信すると、送受信制御装置7を経由して安全柵制御装置10へ送信される。これにより、車両2を発車する。支障物検知手段16は、図5、図6、図7に示す処理を時刻t9から時刻t11の間に車両2の運転に支障のある支障物の有無を2回続けて行っている。
【0040】
次に支障物検知手段16の検知処理について図5を参照して説明する。
【0041】
まず、ステップS1において可動部1Aの開信号(図4に示す時刻t2)の取り込み有無をチェックする。ステップS1で安全柵扉1Aの開信号を取り込むと、ステップS2に移行して入力した画像を基準画像として取り込む処理を実行する。ステップS3では可動部1Aの閉信号(図4に示す時刻t7)の取り込み有無をチェックする。
【0042】
ステップS3で可動部1Aの閉信号を取り込むと、ステップS4に移りカメラ4で撮影した画像を入力画像として取り込む処理を実行する。ステップS5では、ステップS2で取り込んだ基準画像とステップS4で取り込んだ入力画像を用いて後述する図6に示す処理を行い運転に支障のある支障物候補の有無をチェックする。ステップS5で支障物候補が存在しない場合、ステップS9で支障物なしと判定して処理を終了する。
【0043】
図6に図5におけるステップS5の詳細フロー図を示す。
【0044】
ステップS11においてステップS2で取り込んだ基準画像の輪郭部を抽出する。また、ステップ12ではステップS4で取り込んだ入力画像の輪郭部を抽出する。ステップ12からステップS13に移行して、ステップS11で作成した基準画像の輪郭部とステップS12で作成した入力画像での輪郭部の画素毎の差分を行い、ステップS14が異なる輪郭部の画素数を算出する。
【0045】
ステップS15で異なる輪郭部の画素数をチェックして閾値以上であると判定すると、ステップS16では支障物候補ありと判定する。一方、ステップS15におけるチェックで閾値未満の場合には、ステップS17において支障物候補なしと判定する。
【0046】
ここで、安全柵1の線路2R側領域を撮影するカメラ4の視野範囲4Aのシーン(画像)は、輪郭が不鮮明であったり、輪郭が無かったりすることがある。その場合には、輪郭部を利用しないで、例えば、図5における、ステップS2の基準画像とステップS4の入力画像の画素毎の差分を行い、差分画像を2値化してノイズ除去等を行った後、所定以上の画素数があれば支障物候補ありとし、所定未満の画素数ならば支障物候補なしと判定することもできる。
【0047】
さて、図5のステップS5で支障物候補が存在した場合には、ステップS6で図7に示す処理を行い候補物体の判定処理を行う。ステップS6の判定処理で支障物候補が支障物でない場合、ステップS9で支障物なしと判定して終了する。
【0048】
図7にステップS6における支障物候補の物体判定処理の詳細フロー図を示す。
【0049】
図7のステップS21において支障物候補か否かのチェックを行い、支障物候補の場合にはステップS22へ進み、また、支障物候補でない場合にはステップS27で支障物体でないと判定する。ステップS22では、支障物候補に対し、面積、縦横比、分散値、平均輝度、輪郭部面積、輪郭部位置等の特徴量を算出する。
【0050】
ステップS23に移行して、ステップS22で算出した面積をチェックし、面積が小さい場合にはステップS27で支障物でないと判定し、また、面積が大きい場合にはステップS24の処理に移行する。ステップS24では、ステップS22で算出した支障物候補の面積の縦横比をチェックする。
【0051】
ステップS24において縦横比が閾値以上(極端に細長い等)と判定すると、ステップS27で支障物でないと判定する。ステップS24で縦横比が閾値以下と判定するとステップS25に移行する。
【0052】
ステップS25では、ステップS22で算出した分散値と輪郭部面積をチェックし、分散値が閾値以上に加えて輪郭部面積が閾値以上の場合にはステップS26において支障物が人物(利用客)であると判定する。また、ステップS25において両者が閾値以上でない場合と判定すると、ステップS28で人物以外の支障物であると判定する。
【0053】
ステップS25において支障物があると判定した場合には乗務員端末9に送信して乗務員8に報知し、支障物がない場合には車両2を発車させて問題なしとして、乗務員8に報知しないようにする。
【0054】
図5のステップS6で支障物候補が真に支障物である場合には、ステップS7において物体の特徴量(面積、縦長、横長、暗い支障物、明るい支障物等)、や対策方法等、及び検出した可動部1Aに設置してあるカメラ4番号や検出時刻等のデータを格納し、ステップS8で支障物ありと判定して終了する。
【0055】
図8に映像不良チェック手段18の処理フロー図を示す。
【0056】
映像不良チェック手段18は、まず、ステップS31においてカメラ4の起動時に取り込んだ画像をマスター画像とする。ステップS32に移りステップS31で取り込んだマスター画像をブロックに分割(例えば、縦×横=8×6)し、ブロック毎の分散値やエッジ画像を作成して格納する。
【0057】
ステップS33では、図5のステップS2で取り込んだ基準画像に対して、マスター画像と同様にブロックに分割し、ブロック毎の分散値やエッジ画像を作成して格納する。
【0058】
ステップS34では、ステップS33で処理した基準画像のブロック毎に分散値をチェックして、大部分のブロックが閾値未満の場合にステップS36に移行してカメラ4をマスクしてある状態等として、映像不良が発生したと判定する。ステップS34において大部分のブロックが閾値以上であると判定するとステップS35に移行する。
【0059】
ステップS35では、マスター画像と基準画像の同一ブロック間でブロック毎のエッジ画像を比較し、エッジが異なるブロックが所定数未満の場合にステップS37において映像不良の発生なしと判定する。ステップS38では、図5のステップS2で取り込んだ基準画像をマスター画像として更新する。
【0060】
ステップS35において、エッジの異なるブロックが所定数以上であると判定すると、ステップS39でカメラ4の位置ずれあり状態等として映像不良が発生したと判定する。
【0061】
図9に機器不良チェック手段17の処理フロー図を示す。
【0062】
機器不良チェック手段17はステップS41でステップS2の基準画像に対して、ブロックに分割(例えば、縦×横=8×6)し、ブロック毎の分散値や平均輝度を算出する。
【0063】
ステップS41からステップS42に移行してステップ41における基準画像のブロック毎の分散値をチェックして、大部分のブロックが閾値以上の場合にステップS45で機器不良の発生なしと判定して終了する。
【0064】
ステップS42において大部分のブロックが閾値未満であると判定すると、ステップS43で基準画像のブロック毎の平均輝度をチェックする。また、ステップS42において大部分のブロックが閾値以上であると判定すると、ステップS45で機器不良の発生なしと判定して処理を終了する。
【0065】
また、ステップS43の平均輝度チェックで大部分のブロックが閾値未満であると判定すると、ステップS44で機器不良の発生ありと判定して処理を終了する。
【0066】
図10は、プラットホーム3がカーブの場合の支障物検知可否を示す説明図である。
【0067】
カメラ4で撮影した画像を用いてプラットホーム3における支障物有無の検知しているが、プラットホーム3がカーブしている場合でも、カメラ4は、カーブしている安全柵1の可動部1Aの線路2R側領域を充分撮影範囲としてカバーできるためカーブしていても支障物の検知可否が可能である。
【0068】
カメラ4の視野範囲4Aにおける支障物20や21を識別可能であるが、支障物21が車両2の運転に影響しない(例えば、紙片等)場合には、乗務員8は車両2を発車させて問題なく、その都度、支障物21有りと乗務員8に報知する必要がない。
【0069】
支障物が人物20か紙片21かの区別をすることにより、人物20であれば人命の安全確保等のため車両を絶対発車させてはならず、乗務員8に迅速に報知しなければならない。この時、乗務員8は、出発表示器11に表示させる信号を送信したり、異常表示灯12を点灯させる信号を送信する操作を行う。
【0070】
一方、支障物21が車両2の運転に影響しない(例えば、紙片等)場合に、逐一乗務員8に報知すれば、乗務員8の確認作業手間も煩わしく、加えて、分刻みの車両の運行に遅延が発生して問題となる。カメラ4は、人物20か紙片等21かの区別が可能であるため、真に、車両2の運転に影響する人物20等の場合にのみ乗務員8に報知するので、安全が確保できる効率の良い駅プラットホームの安全監視装置になる。
【0071】
図11に本発明の他の実施例を示す。
【0072】
図11において図1の実施例と異なるところは乗務員支援装置13を設けたことである。
【0073】
乗務員支援装置13は図12に示すように画像処理装置5からMPU6を介して加えられる支障物データを支障物データ格納部25に格納する。表示画面生成手段26は、支障物データ格納部25のデータから図13に示すような乗務員8が目視で一目瞭然に確認できるような表示画面(対策画面)を生成して再構築したデータとして支障物データ格納部25に格納する。
【0074】
MPU6は支障物データ格納部25に格納された対策画面を送受信制御装置7を介して乗務員端末9に送信して表示する。
【0075】
このようにすることにより、支障物が存在した場合、乗務員8は運転席に居ながらにして、安全柵nに支障物ありの表示31とともに、支障物を検知したカメラ4が撮影している現場のリアルタイム映像32と支障物の存在を示す矩形33が表示される。
【0076】
また、支障物を検知したのでその対策内容、例えば、出発表示器11を消灯するスイッチ35を表示して、車両2を絶対発車させないように車両を停止させるスイッチ36を表示して最優先に操作を行わせ、安全柵1の可動部1Aの扉を開ける。また、異常表示灯12を点灯させろスイッチ38を表示させたり、非常解錠ボタンを押して緊急脱出機構を開くスイッチ39を表示させ、乗務員8が行う対策を支援する。
【0077】
図14に本発明の他の実施例を示す。
【0078】
図1、図11に示す実施例はカメラ4と画像処理装置5、MPU6、送受信制御装置7が一体型になっているが、安全柵1にカメラ4のみを取付け乗務員端末9で画像処理を行い支障物検知を行うようにしたものである。乗務員端末9には、プラットホーム3に設置されている安全柵制御装置10から安全柵扉1Aの開閉タイミング信号が与えられている。
【0079】
図14の実施例においても安全柵と車両の間に利用客の居残りや鞄などの支障物の残留を正確に検出できる。
【0080】
図15にカメラ4の他の構成を示す。図15は画像処理一体型カメラ4に複数の赤外線LEDの照明装置37を装着している。
【0081】
このような赤外線LED付カメラ4を用いると図16に示すようにカメラ4の撮影視野範囲4Aに光再帰性材料からなる複数のマーク38を付しておき、このマーク38によって支障物の有無を検知することができる。
【0082】
マーク38によって支障物の有無を検知する場合の支障物検知手段16の処理の一例を図17を用いて説明する。
【0083】
ステップS51において車両停止し利用客の乗降開始前に赤外線LED37をオン(照明オン)してカメラ4で撮影する。カメラ4で撮影された撮影視野範囲4Aの複数のマーク38は光再帰性材料から構成されているので高輝度(目視で白色)に撮影される。マーク38が高輝度(目視で白色)で撮影されることを星印で図示している。
【0084】
ステップS52ではステップS51と同様に車両停止し利用客の乗降開始前に赤外線LED37をオフ(照明オフ)してカメラ4で撮影する。カメラ4で撮影された撮影視野範囲4Aの複数のマーク38は低輝度画像になり目視で黒色に撮影される。
【0085】
このようにして撮影した2枚の基準画像の画素毎の差分をステップS53で算出すると、基準差分画像として輝度差として照明オフ時の複数(3個)のマーク画像が得られる。
【0086】
また、ステップS54では利用客の乗降終了後に赤外線LED37をオン(照明オン)してカメラ4で撮影し、ステップS55で赤外線LED37をオフ(照明オフ)してカメラ4で撮影する。このようにして撮影した2枚の入力画像の画素毎の差分をステップS56で算出すると、支障物が存在すると入力差分画像として照明オフ時の1個のマーク画像が得られる。
【0087】
支障物がないと基準差分画像と入力差分画像のマーク38の数は等しくなり、支障物があると入力差分画像のマーク38の数が少なくなる。ステップS57において基準差分画像と入力差分画像のマーク38数の差分を採り、ステップS58でマーク38数を算出する。
【0088】
ステップS58からステップS59に移行してマーク38が有るか判定し、有る場合にはステップS60で支障物候補ありとして処理を終了し、無いばあいにはステップS61で支障物候補なしとして処理を終了する。
【0089】
なお、支障物候補有りの場合には前述した図7の処理が行われる。
【0090】
このように、利用客の乗降開始前に撮影された2枚の基準画像と利用客の乗降終了後に撮影された2枚の入力画像のそれぞれの差分画像である基準差分画像と入力差分画像を求め、基準差分画像と入力差分画像のマーク数によって支障物候補の有無を判定する。
【0091】
そして、支障物候補の有の際には図7の差分画像の特徴量から利用客を検出することによって安全柵と車両の間に利用客の居残りや鞄などの支障物の残留を正確に検出できる。
【0092】
上述の実施例はプラットホーム3に設置されている安全柵制御装置10から安全柵扉1Aの開閉タイミング信号を与えるようにしている。しかし、一般に、プラットホーム3には図18に示すように車両2のドア2Dの開閉を監視する車側カメラ41が複数設置されている。
【0093】
既設の車側カメラ41で撮影した画像を用いてプラットホーム3に設置されている安全柵制御装置10の代わりに車両2のドア2Dの開閉つまり安全柵扉1Aの開閉タイミング信号を得ることができる。
【0094】
以上のようにして安全柵の線路側に支障物があるのかを監視するのであるが、利用客の乗降終了後にカメラで撮影した安全柵の線路側領域画像(入力画像)と支障物のない状態で撮影した基準画像との変化分画像によって支障物を検出するようにしているので、安全柵の線路側を領域監視しているので安全柵と車両の間に利用客の居残りや鞄などの支障物の残留を正確に検出できる。特に、安全柵の線路側がカーブしていても領域監視しているので支障物を正確に検出できる。
【0095】
また、入力画像と基準画像の変化分画像の特徴量から支障物が利用客であるか他の物体であるかを即座に判別することができる。
【0096】
なお、上述の実施例は基準画像の良否を判定し不良の場合には支障物検知手段の処理を阻止するようにしているので誤判定によって乗務員に支障物有りと誤報して車両の運行に影響を与えるのを防止することができる。
【0097】
また、支障物検知手段は車両の運転に支障のある支障物を検出した場合のみ乗務員に報知するようにしているので、乗務員の負担を軽減することができる。
【0098】
ここで、本発明はカメラを雲台付きにして首振り構成にしてもよく、また、例えば焦電センサあるいは従来技術として挙げたPSDセンサを用いて支障物を検出するものと組み合わせて使用するようにしてもよいことは勿論のことである。
【0099】
また、カメラは安全柵でない他のところに取付けてもよいことは明らかなことである。
【0100】
【発明の効果】
本発明は利用客の乗降終了後にカメラで撮影した安全柵の線路側領域画像(入力画像)と支障物のない状態で撮影した基準画像との変化分画像によって支障物を検出するようにしているので、安全柵の線路側を領域監視しているので安全柵と車両の間に利用客の居残りや鞄などの支障物の残留を正確に検出できる。特に、安全柵の線路側がカーブしていても領域監視しているので支障物を正確に検出できる。
【0101】
また、入力画像と基準画像の変化分画像の特徴量から支障物が利用客であるか他の物体であるかを即座に判別することができる。
【図面の簡単な説明】
【図1】 本発明の一実施例を示す構成図である。
【図2】 本発明におけるカメラの視野範囲の説明図である。
【図3】 図1における画像処理装置の一例を示す詳細構成図である。
【図4】 本発明の動作を説明するためのタイムチャートである。
【図5】 本発明の動作を説明するためのフロー図である。
【図6】 本発明の動作を説明するためのフロー図である。
【図7】 本発明の動作を説明するためのフロー図である。
【図8】 本発明の動作を説明するためのフロー図である。
【図9】 本発明の動作を説明するためのフロー図である。
【図10】 本発明におけるカメラの視野範囲の説明図である。
【図11】 本発明の他の一実施例を示す構成図である。
【図12】 図11における乗務員支援装置の一例を示す詳細構成図である。
【図13】 本発明における乗務員端末の表示画面の一例図である。
【図14】 本発明の他の一実施例を示す構成図である。
【図15】 本発明におけるカメラの他の例を示す構成図である。
【図16】 本発明における支障物検知の他の例の説明図である。
【図17】 図16に示す支障物検知の動作を説明するためのフロー図である。
【図18】 本発明における安全柵扉と車両ドアの監視説明図である。
【符号の説明】
1…安全柵、1A…安全柵の扉、2…車両、2D…車両のドア、2R…線路、3…駅のプラットホーム、4…カメラ、5…画像処理装置、6…演算処理装置(MPU)、7…送受信装置、8…乗務員、9…乗務員端末、10…安全柵制御装置、11…出発表示器、15…画像入力手段、16…支障物検知手段、17…機器不良チェック手段、18…映像不良チェック手段。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to the safety of a station platform for monitoring the presence or absence of obstacles and passengers between a safety fence installed on a station platform and the vehicle to reduce the burden on the crew and to facilitate the operation of the vehicle. It relates to a monitoring device.
[0002]
[Prior art]
In recent years, in order to ensure the safety of passengers on the platform of a station, a safety fence is provided at the end of the platform on the track side. The safety fence is provided with a door that is positioned opposite to the position of the vehicle door when the vehicle is stopped. When the vehicle is stopped and the door is open, the safety fence door is opened so that the user can get on and off. When the vehicle is closed, the safety fence door is also closed when the vehicle is closed.
[0003]
From the safety aspect, the railway station platform for railroads is designated from the safety fence on the track side of the safety fence at the end of the platform (hereinafter referred to as the rear side of the safety fence) so that there is no danger even if the vehicle passenger gets out of the body. There are restrictions on the building limits that nothing can be installed within a distance (about 20cm to 40cm).
[0004]
However, if there is a distance of about 20 cm to 40 cm from the safety fence on the back side of the safety fence, the user can use the safety fence and the vehicle space (the platform on the back side of the safety fence) with the door of the safety fence closed and the vehicle door closed. There is a possibility of remaining in the above). In addition, obstacles such as fences may fall and remain.
[0005]
In this way, if the vehicle is left in a state where there are passengers remaining or obstacles such as a bag remain, it is very dangerous and may lead to a serious accident. In particular, when a user is left behind, the risk of a personal injury increases.
[0006]
Conventionally, multiple PSD sensors (distance detectors) with different detection distance ranges are installed at the same location in order to detect the remaining of obstacles such as the user's stay and fence in the safety fence at the platform end and the vehicle space. It is provided to check the presence or absence of obstacles and users between the platform safety fence and the vehicle. This is described, for example, in JP-A-7-17393.
[0007]
Japanese Patent Application Laid-Open No. 7-17393 also describes that an image taken near the door of a vehicle is monitored by a camera installed on the home side to check whether there are passengers or obstacles on the vehicle side. ing.
[0008]
[Problems to be solved by the invention]
In the prior art, a PSD sensor that linearly detects the distance detects the remaining of obstacles such as a user's stay and a fence in the safety fence at the end of the platform and the space of the vehicle. When the platform is a straight line, the back side of the safety fence is also a straight line, and it can be detected almost certainly with a PSD sensor.
[0009]
However, the platform has many curves, and the safety fence is installed along the platform curve, so the back side of the safety fence is also curved. If the back of the safety fence is curved, even if a plurality of PSD sensors are provided, an area that cannot be detected is generated, and the remaining of obstacles such as the remains of customers and traps remain. There is a problem that it cannot be detected accurately.
[0010]
In particular, if the back of the safety fence is curved, the distance from the safety fence to the end of the platform often increases to about 40 cm or more, and it is easy for customers to remain between the safety fence and the end of the platform. Therefore, there is a problem that the detection of the PSD sensor is limited and not suitable for practical use.
[0011]
In addition, simply monitoring the image taken near the door of the vehicle with the camera installed on the platform side to check for the presence or absence of passengers or obstacles, the lower part of the safety fence (foot) or a curved safety fence The back side becomes a blind spot of the camera, and there is a problem that it is impossible to accurately detect the remains of obstacles such as a user's stay and a bag.
[0012]
The present invention has been made in response to the above points, and the purpose of the present invention is to monitor the safety of a station platform that can accurately detect the remains of obstacles such as the remains of passengers and fences between a safety fence and a vehicle. To provide an apparatus.
[0013]
[Means for Solving the Problems]
A feature of the present invention is that a camera that captures the rail-side area of the safety fence is installed, an input image captured by the camera is taken after the passenger gets on and off, and a reference image that is captured without any obstacles and The obstacle is detected from the change image.
[0014]
The obstacle of the present invention is an obstacle to the operation of the vehicle. In particular, even if it is a passenger of the vehicle but is another object, a predetermined object is an obstacle.
[0015]
According to the present invention, obstacles are detected based on a change image between a rail-side area image (input image) of a safety fence photographed by a camera after a passenger gets on and off and a reference image photographed without any obstacles. Therefore, since the area of the track side of the safety fence is monitored, it is possible to accurately detect the remains of obstacles such as a user's residence and fence between the safety fence and the vehicle. In particular, since the area is monitored even if the track side of the safety fence is curved, obstacles can be accurately detected.
[0016]
In addition, it is possible to immediately determine whether the obstacle is a user or another object from the feature amount of the input image and the change image of the reference image.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
[0018]
FIG. 1 shows an embodiment of the present invention.
[0019]
In FIG. 1, a safety fence 1 is installed on the
[0020]
The
[0021]
The
[0022]
[0023]
When the
[0024]
FIG. 3 shows an example detailed configuration diagram of the
[0025]
In FIG. 3, when the
[0026]
The device defect check means 17 performs a device defect check such as the
[0027]
If any one of the image defect and the device defect occurs, the
[0028]
On the other hand, when neither a video defect nor a device defect has occurred, the obstacle detection means 16 executes a detection process. When the obstacle detection means 16 detects an obstacle, the
[0029]
With this configuration, the processing timing of the
[0030]
When the
[0031]
When the
[0032]
When the
[0033]
If the door of the
[0034]
As shown in FIG. When the door, which is the
[0035]
At time t7, the door closing signal from the safety
[0036]
The video defect check means 18 performs the check using the reference image by the process shown in FIG. 8 described later until time t9, and the equipment defect check means 17 performs the check by the process shown in FIG. 9 described later.
[0037]
The obstacle detection means 16 performs the processing shown in FIGS. 5, 6, and 7, which will be described later, between time t <b> 9 and t <b> 10 when there is no video defect or equipment failure, and hinders driving of the
[0038]
If an obstacle is detected, it is displayed on the crew terminal 9 to notify the
[0039]
When no obstacle is detected, when a signal for starting the
[0040]
Next, the detection process of the obstacle detection means 16 will be described with reference to FIG.
[0041]
First, in step S1, it is checked whether or not the opening signal (time t2 shown in FIG. 4) of the
[0042]
When the closing signal of the
[0043]
FIG. 6 shows a detailed flowchart of step S5 in FIG.
[0044]
In step S11, the contour portion of the reference image captured in step S2 is extracted. In
[0045]
If it is determined in step S15 that the number of pixels at different contour portions is greater than or equal to the threshold value, it is determined in step S16 that there is an obstacle candidate. On the other hand, when the check in step S15 is less than the threshold value, it is determined in step S17 that there is no obstacle candidate.
[0046]
Here, the scene (image) of the field-of-
[0047]
If there is an obstacle candidate in step S5 in FIG. 5, the process shown in FIG. 7 is performed in step S6 to perform candidate object determination processing. If the obstacle candidate is not an obstacle in the determination process in step S6, it is determined in step S9 that there is no obstacle and the process ends.
[0048]
FIG. 7 shows a detailed flowchart of the obstacle determination object determination process in step S6.
[0049]
In step S21 of FIG. 7, it is checked whether or not the candidate is an obstacle, and if it is an obstacle candidate, the process proceeds to step S22. If it is not an obstacle candidate, it is determined in step S27 that the object is not an obstacle. In step S22, for the obstacle candidate, the area, the aspect ratio, the variance value, the average luminance, the contour area, Contour A feature amount such as a position is calculated.
[0050]
The process proceeds to step S23, where the area calculated in step S22 is checked. If the area is small, it is determined in step S27 that it is not an obstacle, and if the area is large, the process proceeds to step S24. In step S24, the aspect ratio of the obstacle candidate area calculated in step S22 is checked.
[0051]
If it is determined in step S24 that the aspect ratio is greater than or equal to the threshold (extremely long and narrow), it is determined in step S27 that the object is not an obstacle. If it is determined in step S24 that the aspect ratio is equal to or less than the threshold value, the process proceeds to step S25.
[0052]
In step S25, the variance value and contour area calculated in step S22 are checked. If the variance value is not less than the threshold value and the contour area is not less than the threshold value, the obstacle is a person (customer) in step S26. It is determined. If it is determined in step S25 that both are not greater than or equal to the threshold, it is determined in step S28 that the obstacle is other than a person.
[0053]
If it is determined in step S25 that there is an obstacle, the information is transmitted to the crew terminal 9 to notify the
[0054]
If the obstacle candidate is a true obstacle in step S6 in FIG. 5, the feature amount of the object (area, portrait, landscape, dark obstacle, bright obstacle, etc.), countermeasure method, etc. in step S7, and Data such as the
[0055]
FIG. 8 shows a processing flowchart of the video defect check means 18.
[0056]
First, the video defect checking means 18 sets the image captured when the
[0057]
In step S33, the reference image captured in step S2 of FIG. 5 is divided into blocks in the same manner as the master image, and a dispersion value and an edge image for each block are created and stored.
[0058]
In step S34, the variance value is checked for each block of the reference image processed in step S33. If most of the blocks are less than the threshold value, the process proceeds to step S36 and the
[0059]
In step S35, edge images for each block are compared between the same blocks of the master image and the reference image, and if there are less than a predetermined number of blocks with different edges, it is determined in step S37 that no video defect has occurred. In step S38, the reference image captured in step S2 of FIG. 5 is updated as a master image.
[0060]
If it is determined in step S35 that the number of blocks having different edges is equal to or greater than the predetermined number, it is determined in step S39 that a video defect has occurred due to the
[0061]
FIG. 9 shows a processing flow diagram of the equipment defect check means 17.
[0062]
In step S41, the device
[0063]
The process proceeds from step S41 to step S42 to check the variance value for each block of the reference image in
[0064]
If it is determined in step S42 that most of the blocks are less than the threshold value, the average luminance for each block of the reference image is checked in step S43. If it is determined in step S42 that most of the blocks are equal to or greater than the threshold value, it is determined in step S45 that no device failure has occurred, and the process ends.
[0065]
If it is determined in the average luminance check in step S43 that most of the blocks are less than the threshold, it is determined in step S44 that a device failure has occurred, and the process is terminated.
[0066]
FIG. 10 is an explanatory diagram showing whether obstacles can be detected when the
[0067]
Although the presence or absence of an obstacle on the
[0068]
Although the
[0069]
By distinguishing whether the obstacle is the
[0070]
On the other hand, if the
[0071]
FIG. 11 shows another embodiment of the present invention.
[0072]
11 differs from the embodiment of FIG. 1 in that a
[0073]
As shown in FIG. 12, the crew
[0074]
The
[0075]
By doing in this way, when there is an obstacle, the
[0076]
Further, since the obstacle is detected, the contents of the countermeasure, for example, the
[0077]
FIG. 14 shows another embodiment of the present invention.
[0078]
FIG. FIG. In the embodiment shown in FIG. 1, the
[0079]
In the embodiment of FIG. 14 as well, it is possible to accurately detect the remains of obstacles such as the staying of the passengers and the fence between the safety fence and the vehicle.
[0080]
FIG. 15 shows another configuration of the
[0081]
Using such an
[0082]
An example of the processing of the obstacle detection means 16 when detecting the presence or absence of an obstacle by the
[0083]
In step S 51, the vehicle is stopped and the
[0084]
In step S52, as in step S51, the vehicle is stopped and the
[0085]
When the difference for each pixel of the two reference images taken in this way is calculated in step S53, a plurality (three) of mark images when the illumination is turned off is obtained as a luminance difference as the reference difference image.
[0086]
In step S54, after the passengers get on and off, the
[0087]
If there are no obstacles, the number of
[0088]
The process proceeds from step S58 to step S59 to determine whether or not the
[0089]
When there is an obstacle candidate, the above-described processing of FIG. 7 is performed.
[0090]
As described above, the reference difference image and the input difference image, which are the difference images between the two reference images taken before the passenger boarding and the two input images taken after the passenger boarding, are obtained. The presence / absence of an obstacle candidate is determined based on the number of marks in the reference difference image and the input difference image.
[0091]
When there are obstacle candidates, the user is detected from the feature amount of the difference image in FIG. it can.
[0092]
In the embodiment described above, an opening / closing timing signal for the safety fence door 1 </ b> A is given from the safety
[0093]
Instead of the safety
[0094]
As described above, it is monitored whether there is an obstacle on the rail side of the safety fence, but the rail side area image (input image) of the safety fence taken with the camera after the passenger boarding / exiting and no obstacles Since the obstacles are detected from the change image with the reference image taken in step 1, the area of the safety fence track is monitored, so there are obstacles such as occupants and traps between the safety fence and the vehicle. Residues of objects can be accurately detected. In particular, since the area is monitored even if the track side of the safety fence is curved, obstacles can be accurately detected.
[0095]
In addition, it is possible to immediately determine whether the obstacle is a user or another object from the feature amount of the input image and the change image of the reference image.
[0096]
In the above-described embodiment, the quality of the reference image is judged and, if it is bad, the obstacle detection means is prevented from processing. Can be prevented.
[0097]
Moreover, since the obstacle detection means notifies the crew only when an obstacle that hinders driving of the vehicle is detected, the burden on the crew can be reduced.
[0098]
Here, in the present invention, the camera is attached to the head and the head is swung. Even Of course, for example, a pyroelectric sensor or a PSD sensor cited as the prior art may be used in combination with an obstacle detection device.
[0099]
Obviously, the camera may be mounted elsewhere than the safety fence.
[0100]
【The invention's effect】
According to the present invention, obstacles are detected based on a change image between a rail-side area image (input image) of a safety fence photographed by a camera after a passenger gets on and off and a reference image photographed without any obstacles. Therefore, since the area of the track side of the safety fence is monitored, it is possible to accurately detect the remains of obstacles such as a user's residence and fence between the safety fence and the vehicle. In particular, since the area is monitored even if the track side of the safety fence is curved, obstacles can be accurately detected.
[0101]
In addition, it is possible to immediately determine whether the obstacle is a user or another object from the feature amount of the input image and the change image of the reference image.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an embodiment of the present invention.
FIG. 2 is an explanatory diagram of a visual field range of a camera according to the present invention.
FIG. 3 is a detailed configuration diagram illustrating an example of the image processing apparatus in FIG. 1;
FIG. 4 is a time chart for explaining the operation of the present invention.
FIG. 5 is a flowchart for explaining the operation of the present invention.
FIG. 6 is a flowchart for explaining the operation of the present invention.
FIG. 7 is a flowchart for explaining the operation of the present invention.
FIG. 8 is a flowchart for explaining the operation of the present invention.
FIG. 9 is a flowchart for explaining the operation of the present invention.
FIG. 10 is an explanatory diagram of a visual field range of a camera according to the present invention.
FIG. 11 is a block diagram showing another embodiment of the present invention.
12 is a detailed configuration diagram illustrating an example of a crew member support apparatus in FIG. 11. FIG.
FIG. 13 is an example of a display screen of a crew terminal according to the present invention.
FIG. 14 is a block diagram showing another embodiment of the present invention.
FIG. 15 is a configuration diagram showing another example of a camera according to the present invention.
FIG. 16 is an explanatory diagram of another example of obstacle detection according to the present invention.
FIG. 17 is a flowchart for explaining the obstacle detection operation shown in FIG. 16;
FIG. 18 is a monitoring explanatory view of a safety fence door and a vehicle door in the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Safety fence, 1A ... Safety fence door, 2 ... Vehicle, 2D ... Vehicle door, 2R ... Track, 3 ... Station platform, 4 ... Camera, 5 ... Image processing device, 6 ... Processing unit (MPU) , 7: Transmission / reception device, 8: Crew member, 9 ... Crew terminal, 10 ... Safety fence control device, 11 ... Departure indicator, 15 ... Image input means, 16 ... Obstacle detection means, 17 ... Equipment defect check means, 18 ... Video defect check means.
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001256277A JP3980305B2 (en) | 2001-08-27 | 2001-08-27 | Station platform safety monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001256277A JP3980305B2 (en) | 2001-08-27 | 2001-08-27 | Station platform safety monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003063402A JP2003063402A (en) | 2003-03-05 |
JP3980305B2 true JP3980305B2 (en) | 2007-09-26 |
Family
ID=19084112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001256277A Expired - Fee Related JP3980305B2 (en) | 2001-08-27 | 2001-08-27 | Station platform safety monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3980305B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011162037A (en) * | 2010-02-09 | 2011-08-25 | Mitsubishi Electric Corp | Platform safety monitoring device |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006123639A (en) * | 2004-10-27 | 2006-05-18 | Mitsubishi Electric Corp | Platform door state recognition system |
GB2442054B (en) * | 2006-09-18 | 2012-02-29 | Knorr Bremse Rail Systems Uk Ltd | Platform screen door |
JP5469391B2 (en) * | 2009-07-21 | 2014-04-16 | 日本信号株式会社 | Home door confirmation system |
JP5471884B2 (en) * | 2010-06-25 | 2014-04-16 | 三菱電機株式会社 | Station service support system |
JP6092537B2 (en) * | 2012-07-09 | 2017-03-08 | 株式会社日立国際電気 | Railway monitoring system and railway monitoring method |
KR101471544B1 (en) * | 2012-08-31 | 2014-12-11 | 한국교통연구원 | Screen door opening and closing method for screen safety device on train platform |
JP6393946B2 (en) * | 2013-01-09 | 2018-09-26 | 株式会社日立パワーソリューションズ | Monitoring device, method, program, or system |
JP6624816B2 (en) * | 2015-06-08 | 2019-12-25 | 京王電鉄株式会社 | Home safety fence built-in monitoring stand device |
JP6105676B2 (en) * | 2015-06-15 | 2017-03-29 | 真人 田村 | Train accident detection notification system |
JP6890434B2 (en) * | 2017-02-15 | 2021-06-18 | 日本信号株式会社 | Object detection system and object detection method |
CN108924405B (en) * | 2018-06-11 | 2020-01-21 | 北京航空航天大学 | Photographing focus correction and image processing method and device based on distance |
-
2001
- 2001-08-27 JP JP2001256277A patent/JP3980305B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011162037A (en) * | 2010-02-09 | 2011-08-25 | Mitsubishi Electric Corp | Platform safety monitoring device |
Also Published As
Publication number | Publication date |
---|---|
JP2003063402A (en) | 2003-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3980305B2 (en) | Station platform safety monitoring device | |
JP6845307B2 (en) | Monitoring system and monitoring method | |
JP2008199515A (en) | Fellow passenger sitting posture detecting/determining apparatus and method | |
JP6977399B2 (en) | Mechanical parking lot safety confirmation system and display device | |
JPH0971240A (en) | Door safety confirming system for train | |
JP2007195130A (en) | Video monitoring system | |
CN108482252A (en) | A kind of system, method and the vehicle of display pillar A blind obstacle multi-view image | |
JP2009121144A (en) | Safety check system for vehicle door | |
JP2004136754A (en) | Regular positional stop support device of train | |
KR100661263B1 (en) | Automatical detecting system for accidental faller at platform using thermal image camera | |
JPH09193803A (en) | Safety monitoring method near platform | |
KR101025531B1 (en) | Abnormality sensing of the inside of an elevator and alarm device of the elevator | |
JP2007048249A (en) | Safety monitoring system | |
US9840258B1 (en) | System, method, and apparatus for detecting vehicle operator conduct | |
JP2011126652A (en) | Crime prevention system for elevator | |
JP4163428B2 (en) | Foreign object detection device for passenger doors in railway vehicles | |
KR20100013481A (en) | System and method to monitor the inside of a train | |
JP2007022360A (en) | Vehicular security system | |
JP6807493B2 (en) | Video display system and video display method | |
EP3936408B1 (en) | Train monitoring system | |
KR101012738B1 (en) | System and method for terror monitoring of train station | |
JP2004312832A (en) | Rooftop equipment monitoring/measuring device for railway car | |
WO2020179656A1 (en) | Driver monitoring device | |
JP3583084B2 (en) | Turn-off device | |
JP6092537B2 (en) | Railway monitoring system and railway monitoring method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070627 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3980305 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100706 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110706 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120706 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130706 Year of fee payment: 6 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |