JP4216128B2 - Method for measuring moving amount of long object and apparatus for carrying out this method - Google Patents

Method for measuring moving amount of long object and apparatus for carrying out this method Download PDF

Info

Publication number
JP4216128B2
JP4216128B2 JP2003165007A JP2003165007A JP4216128B2 JP 4216128 B2 JP4216128 B2 JP 4216128B2 JP 2003165007 A JP2003165007 A JP 2003165007A JP 2003165007 A JP2003165007 A JP 2003165007A JP 4216128 B2 JP4216128 B2 JP 4216128B2
Authority
JP
Japan
Prior art keywords
target
index
image
straight line
position coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003165007A
Other languages
Japanese (ja)
Other versions
JP2005003428A (en
Inventor
武 片岡
裕一 山田
淑夫 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaneko Co Ltd
West Japan Railway Co
Original Assignee
Kaneko Co Ltd
West Japan Railway Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaneko Co Ltd, West Japan Railway Co filed Critical Kaneko Co Ltd
Priority to JP2003165007A priority Critical patent/JP4216128B2/en
Publication of JP2005003428A publication Critical patent/JP2005003428A/en
Application granted granted Critical
Publication of JP4216128B2 publication Critical patent/JP4216128B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
この発明は、長尺物体移動量測定方法およびこの方法を実施する装置に関し、特に、撮影画像表示部に表示された画像中のターゲットの位置を長方形カーソルにより指定し、指定されたターゲットに含まれる指標を演算処理部が自動認識して指標の位置座標を算出する長尺物体移動量測定方法およびこの方法を実施する装置に関する。
【0002】
【従来の技術】
鉄道線路のレールを移動変位する長尺物体の一例として説明する。
図4を参照するに、左右のレール1L、1Rとまくらぎ2の相互間は締結部材により強固に結合されているが、この締結力が小さく道床縦抵抗力も小さい場合、走行する列車の制動、始動荷重およびレール1L、1Rの温度変化に起因する伸縮その他に起因してレール1L、1Rが長手方向に移動することがある。このレール1L、1Rの長手方向の移動を、一般に、ふく進と呼んでいる。ふく進量が大きい場合、レール1L、1Rを適正位置に引き戻す作業を実施する必要があり、鉄道各社は、年に2回程、ふく進量の測定を実施している。
ふく進量を測定するには、図4に示される如く、左右のレール1L、1Rそれぞれの外側に基準器3を設置し、両基準器3の標点32間に糸を張ってこれを基準線4とすると共に、左右のレール1L、1Rそれぞれの基準線4に対応するところに基準点5を設置しておく。ふく進量の測定に際して、レール1L、1Rに設置した基準点5と基準線4との間の距離を作業員が現場でスケールを使用して目視により測定する。ふく進する側であるレール1L、1Rの基準点5は、ロングレール軌道の場合、不動区間において150m〜200m間隔で設置される。
【0003】
以上のふく進量の測定は、作業員がが現場に立ち入って目視により実施するものであり、測定点も150mないし200m間隔で1箇所という膨大なものである。そして、測定作業は、日中の非常に短い列車走行時間間隔の合間に行われなければならないし、作業員には常に列車触車事故の危険が伴う。また、ふく進量の測定には、列車見張員を含めて、通常6人程度の多くの人員を必要としており、この必要作業員数の削減も要請されている。更に、測定の精度については、測定時の誤差は±5mm程度あると考えられている。また、糸を張ってこれを基準線4としてふく進量を測定するので、強風その他の測定環境条件に災いされる恐れがある。
以上の問題を解消するに、移動変位する長尺物体の移動量をコンピュータを含む演算処理装置のディスプレイに表示した写真画像に基づいて測定検査する当該特許出願人の出願に関わる測定方法およびこの方法を実施する装置が提案されている(特許文献1 参照)。以下、これを先行例として簡単に説明する。
【0004】
図5および図6を参照するに、ふく進量(移動量)を測定するに使用される基準器3は杭31により不動点である設置場所に固定され、不動状態を維持する。32は標点を示す。不動ターゲット33には、間隔Dで円形の指標35が3個付与されている。間隔Dは既知の等間隔に設定され、各指標35の直径は撮影距離により調整される。例えば、不動ターゲット33に到る撮影距離が1000mm程度なら5mm、3000mm程度なら8mmと、撮影距離が大きくなるにつれて直径を大きくする。
1測定点について、基準器3を2個と、2枚の不動ターゲット33と、2枚の物体側ターゲット34を必要とする。遠側基準器3REは、撮影位置から2000mm以内において、遠側レール1REの外側に1000mmだけ離隔して基準器3REの面を遠側レール1REに平行にして固定される。近側基準器3NEは近側レール1NEの外側に1000mmだけ離隔して近側基準器3NEの面を近側レール1REに平行にして固定される。遠側基準器3REと近側基準器3NEの間には糸張りにより基準器面に垂直な基準線4が形成される。そして、遠側レール1REおよび近側レール1NEのカメラ6に対向する側面、遠側基準器3REおよび近側基準器3NEのカメラ6に対向する側面にターゲット33を貼り付け固定する。これに際して、ターゲット33は横方向、高さ方向共に一直線状に配列する必要がある。この形成状態をふく進量0の状態とする。
【0005】
図5(c)を参照してターゲットの撮影の仕方を説明するに、ターゲット33、34が貼られた基準器面側から電子カメラ6で合計4枚のターゲット33、34が1枚の写真の中に明確に納める撮影をする。
図7、図8および図9を参照してふく進量解析の仕方を説明する。図7は演算処理装置のディスプレイに取り込まれた電子カメラ6による撮影画像を示す図であり、図8は図7の表示画面の座標を説明する図である。演算処理装置のディスプレイに表示した写真画像の縦横の長さをドットで表現するX−Y座標系とし、縦横の中点を結んで交差した中心点を(0、0)とする。
写真画像中の4枚のターゲット33(34)中にある各3個の指標35の合計12指標の座標(イ〜ヲ)を写真上から探し、撮影されている各指標35の内の最も中心に位置するドットを各指標35の位置座標として登録する。
登録した指標35の指標座標を基準にしてふく進量を計算する。ここで、遠側レール1REのふく進量の計算の仕方を説明する。
【0006】
各指標位置座標の内の、ふく進量0mmに相当する基準線4となる遠側基準器3REおよび近側基準器3NE上の対応する指標座標イと指標座標ヌとを結んだ直線式La 、指標座標ロと指標座標ルとを結んだ直線式Lb 、指標座標ハと指標座標オとを結んだ直線式Lc を求める。
図9に示される如くレール1RE上の指標座標ニ、ホ、ヘから最小自乗法により直線近似式Raを求める。
直線La 、Lb 、Lc と直線Ra の交点の座標を求め、交点座標A1 、A2 、A3 とする。指標座標ニ、ホ、ヘに最も近い直線Ra 上の座標をニ'、ホ'、ヘ'とする。
直線Ra 上にある座標A1 −座標ニ'間、座標A2 −座標ホ'間、座標A3 −座標ヘ'間の座標間距離を求め、それぞれf1 、f2 、f3 とする。
交点座標A1 −交点座標A2 間、交点座標A2 −交点座標A3 間の座標間距離をそれぞれda 、db とする。
【0007】
実際の指標間距離をDとし、f1 、f2 、f3 の実際の距離c1 、c2 、c3 を次のように求める。
1 =f1 ×(D/da
2 =f2 ×((D/da )+(D/db ))/2
3 =f3 ×(D/db
更に、これらの平均値をふく進量Cとする。
C=(c1 +c2 +c3 )/3
同様に、近側レールのふく進量を求める。ここで、レール以外の移動物に対しても不動点を2箇所設置し、同様に移動物にターゲットを形成すれば、移動量を求めることができる。
【0008】
【特許文献1】
特開2003−75116号 公報
【0009】
【発明が解決しようとする課題】
ふく進する側であるレール1L、1Rの基準点5は、上述した通り、ロングレール軌道の場合、不動区間において150m〜200m間隔で設置されるところから、膨大な数の測定を実施する必要上、効率的な測定方法を開発することを常に要請されている。
先の先行例においては、長尺物体の移動量を演算処理装置のディスプレイに表示した写真画像に基づいて解析測定する作業において、作業者は、1測定点に対して、演算処理装置のマウスを操作することによりターゲットに含まれる指標の位置座標を一つづつ決定して行き、1ターゲット当たり3指標として全12指標の座標を指定する。1測定点に対して全12指標の座標を指定するということは膨大な数の測定点の解析測定作業に膨大な数の座標指定作業を実施する必要があることを意味する。そして、この座標指定作業は作業者自身による判断処理により実施されるものであり、得られる測定値の精度は作業者により多少左右されることになる。
【0010】
この発明は、長尺物体の移動量をディスプレイに表示した写真画像に基づいて測定するに際して、撮影した画像を撮影画像表示部に表示し、この撮影画像表示部に表示された画像中のターゲットの位置を画像切り取り枠として設定された長方形カーソルにより指定し、指定されたターゲットに含まれる指標を演算処理部が自動認識して指標の位置座標を算出し、認識算出された指標の位置座標を参照して移動量を計算処理、表示する構成を採用することにより、移動量の解析計算処理を簡単化して得られる測定値の精度も高く一定な長尺物体移動量測定方法およびこの方法を実施する装置を提供するものである。
【0011】
【課題を解決するための手段】
円形状の複数の指標を一直線上に配列付与した物体側ターゲット34を長尺物体に設置し、同様に円形状の複数の指標を一直線上に配列付与した不動ターゲット35を長尺物体の近傍に1対設置してこれらを電子カメラにより正面から撮影し、撮影した画像を撮影画像表示部に表示し、撮影画像表示部に表示された画像中のターゲット部分を画像切り取り枠として設定された長方形カーソルにより指定し、指定されたターゲット部分に含まれる指標を演算処理部が自動認識して指標の位置座標を算出すると共に認識算出された指標の位置座標を参照して移動量を計算処理する長尺物体移動量測定方法を構成した。
そして、以上の長尺物体移動量測定方法において、指標が一直線上にあるか否かを判別し、指標間の間隔が所定間隔であるか否かを判別し、指標間の間隔と指標の大きさの比が正しいか否かを判別する長尺物体移動量測定方法を構成した。
【0012】
また、長尺物体に設置される物体側ターゲット34と長尺物体の近傍に固定される1対の基準器のそれぞれに設置される不動ターゲット33を有し、不動ターゲット33および物体側ターゲット34には円形状の複数の指標を一直線上に配列付与し、1対の基準器の不動ターゲット33および物体側ターゲット34を横方向および高さ方向共に一直線状に配列位置決めし、1対の基準器の不動ターゲット33および物体側ターゲット34の画像を撮影する電子カメラ6を有し、画像における不動ターゲット間を結ぶ基準線を基準とする物体側ターゲット34のずれ量を画像上において座標演算処理して求めるコンピュータを含む演算処理部を有する長尺物体移動量測定装置において、撮影画像を表示する撮影画像表示部71を具備し、撮影画像表示部71に表示された画像中のターゲット部分を画像切り取り枠として設定された長方形カーソルにより指定し、指定されたターゲット内に含まれる指標の中心座標を認識すると共に認識結果を参照して長尺物体移動量を解析計算する演算処理部を具備し、ターゲット位置座標および指標中心座標の認識結果を拡大して表示する画像拡大表示部72を具備し、解析計算された移動量を表示する移動量表示部73を具備する長尺物体移動量測定装置を構成した。
【0013】
【発明の実施の形態】
円形状の3指標を有するターゲットを設置した長尺の移動対象物と不動点に設置した同様に円形状の3指標を有するターゲットを正面から撮像した画像をディスプレイの撮影画像表示部に表示する。この撮影画像表示部に表示された画像中のターゲットの位置を画像切り取り枠として設定された長方形カーソルにより指定し、指定されたターゲットに含まれる指標を演算処理部が自動認識して指標の位置座標を算出する。演算処理部は、認識算出された指標の位置座標を参照して移動量を計算処理し、表示する。
【0014】
【実施例】
この発明の長尺物体移動量測定装置の実施例を図1を参照して説明する。
この実施例は、電子カメラ6により撮影された画像を表示する撮影画像表示部71と、画像切り取り枠として設定された長方形カーソルにより指定された画像中のターゲットが拡大して表示される画像拡大表示部72と、指定されたターゲット内に含まれる指標の中心座標を自動認識すると共に認識結果を参照して長尺物体の移動量を解析計算する図示されない演算処理部と、解析計算された移動量を表示する移動量表示部73とを有する。
実施例の動作について説明する。
第1.作業者は電子カメラ6により撮影された画像を撮影画像表示部71に取り込み表示させる。
第2.作業者は撮影画像表示部71に表示されている不動ターゲット33、物体側ターゲット34の位置を長方形カーソルの枠内に納めクリック操作して指定する。即ち、鎖線により示される長方形カーソルによりターゲット33(34)を包囲した状態で、マウスをクリック操作することによりターゲットの指定をすることができる。
【0015】
第3.このターゲット33(34)の指定がなされると、指定されたターゲット位置付近の長方形カーソルにより包囲されるターゲット部分は解析計算処理に適したサイズに迄拡大され、画像拡大表示部72に表示される。この時の処理範囲指定画像は、カメラの位置する撮影場所からターゲット33(34)迄の距離に応じて範囲と表示の拡大率を変化させて、画像拡大表示部72内に適切に納められる。
【0016】
第3−1.図2および図3を参照して指標の座標認識を説明するに、先ず、図2(a)に示される画像拡大表示部72内のターゲット33(34)および指標35の画像の2値化処理が実行される。この場合、後で説明される指標35以外の汚点35’をも含めて2値化処理がなされる。この2値化処理結果は、図2(b)に鎖線により模式的に示されている。2値化処理された画像について、図2(c)に示される如く、ターゲット内の指標35の境界上のドット350が抽出される。この場合、指標とは明らかに異なる単独点のドット、一直線上の連続点のドットは除外される。抽出された各ドット350の座標値(Xi、Yi)の平均値は、指標35の中心座標(X0、Y0)とし、指標位置として登録される。汚点35’についても、同様に、中心座標は指標位置として登録される。
ここで、X0=(X1+X2+・・・・・+Xi)/i
0=(Y1+Y2+・・・・・+Yi)/i
【0017】
第3−2.3指標の選択処理について説明する。
ところで、ターゲット33(34)は野外に設置されているので、その表面に上述した通り汚れ35’が付着することは避けられない。指標35以外の汚点35’も指標として誤認識される恐れがある。そして、画像拡大表示部72におけるターゲット33(34)の領域を限定する鎖線で示される境界も、指標として誤認識される場合がある。従って、指標35以外の部分が認識された場合、実際に何れの点が真の指標35であるかを判別する処理が移動量の計算がなされるに先立って実施される必要がある。この判別処理について説明する。
【0018】
1)3指標が一直線上にあるか否かを判別(位置の特徴から判別)
図3(a)に示される如く、登録された指標35、35’の位置座標の内から3指標の組み合わせが選択されて、ターゲット候補として登録される。登録されたターゲット候補の内の3指標が一直線上にあるか否かを判別する操作が実施される。図3(a)における3本の実線の一直線上に配列されている3点は何れも一直線上にあるという要件を満足している。しかし、上下の2直線上の3点はターゲット33(34)の領域を限定する境界を指標として誤認識した結果と考えられる。一直線上に配列されていないと明らかに判断される3指標は候補から除外される。この操作はターゲット候補の全ての3指標の組み合わせについて実施される。
2)指標間の間隔が左右等しいか否かを判別(位置の特徴から判別)
図3(b)に示される如く、1)で判別されたターゲット候補についてそれぞれの隣り合った指標35、35’間の距離が計算される。中間の直線上の3点の左右の指標間距離は等しい。下側の直線上の3点の左右の指標間距離は等しい。上側の直線上の3点の左右の指標間距離は異なるので、この3点の組み合わせはターゲット候補から除外される。
【0019】
3)指標間の間隔と指標の大きさの比が正しいか否かを判別(形状から判 別)
図3(c)に示される如く、2)で判別したターゲット候補について、指標間距離と指標の直径が算出される。指標間距離と指標の直径の関係が所定値と大きく異なるターゲット候補は候補から除外される。指標間距離と指標の直径の関係が所定値を満足する図3(c)に示されるこの3点は正しい指標であるものとされる。
第3−3. 第3−1および第3−2の操作は全4箇所のターゲットについてなされる。
第4.全4箇所のターゲットの指標の位置座標が解析されたところで、これらの位置座標に基づいて長尺の移動対象物の移動量の算出がなされる。
【0020】
以上の通りにしてターゲット33(34)の全4個について、移動対象物の移動量を算出するに必要な座標値が得られた。これらの座標値を参照して、先行例において図7、図8および図9を参照して説明された原理により移動対象物の移動量を算出することができる。
以上の実施例を実施するに際して、以下の処理プログラムを作成準備する。
電子カメラ6により撮影された画像を撮影画像表示部71に取り込み表示し、
撮影画像表示部71に表示されているターゲット指定し、
指定されたターゲット位置付近を拡大して画像拡大表示部72に表示し、
画像拡大表示部72内のターゲットおよび指標35の画像の2値化処理をし、
2値化処理された画像について、ターゲット内の指標35の境界上のドット350を抽出し、
抽出された各ドット350の座標値(Xi、Yi)の平均値を計算して登録し、
登録された指標35の位置座標の内から3指標の組み合わせを選択登録し、
登録された3指標の組み合わせの内の一直線上にある3指標の組み合わせを判別し、
一直線上にある3指標の組み合わせについて隣り合った指標間の距離が等しい3指標の組み合わせを判別し、
隣り合った指標間の距離が等しい3指標の組み合わせについて指標間距離と指標の直径を算出し、
指標間距離と指標の直径の関係が所定値を満足する3指標の組み合わせを判別し、
全4箇所のターゲットの指標の位置座標を繰り返して解析計算し、
位置座標に基づいて長尺の移動対象物の移動量を算出する、指令をコンピュータに対してする処理プログラム。
【0021】
【発明の効果】
以上の通りであって、この発明によれば、長尺物体の移動量をディスプレイに表示した写真画像に基づいて測定するに際して、撮影した画像を撮影画像表示部に表示し、この撮影画像表示部に表示された画像中のターゲットの位置を画像切り取り枠として設定された長方形カーソルにより指定し、指定されたターゲットに含まれる指標を演算処理部が自動認識して指標の位置座標を算出し、認識算出された指標の位置座標を参照して移動量を計算処理、表示する構成を採用することにより、移動量の解析計算処理を簡単化することができると共に、得られる測定値の精度も高く一定な長尺物体移動量測定方法およびこの方法を実施する装置を提供することができる。
【0022】
即ち、上述した先行例においては、作業者は1測定点に対してマウスを操作することによりターゲットに含まれる指標の位置座標を一つづつ決定して行き、1ターゲット当たり3指標として4指標で全12指標という多数の指標の座標を指定する必要があり、測定値の精度にもばらつきが存在した。これに対して、この発明は、指標の座標の指定を直接にはせずに、ターゲットの位置を画像切り取り枠として設定された長方形カーソルにより指定し、指定されたターゲットに含まれる指標の中心座標を自動解析計算する構成を採用することにより、1測定点に対してマウスを操作する回数は4指標のターゲットの位置を長方形カーソルにより指定する全4回であり、先行例と比較して1/3回に減少した。ターゲット指定以降は、ターゲットに含まれる指標の中心座標を自動解析計算し、計算された位置座標に基づいて長尺の移動対象物の移動量を算出することで、得られる測定値の精度も高く一定である。
【図面の簡単な説明】
【図1】実施例を説明する図
【図2】指標の座標認識を説明する図。
【図3】指標と汚れの判別処理を説明する図。
【図4】従来例を説明する図。
【図5】参考例来例を説明する図。
【図6】基準器を説明する図。
【図7】撮影画像表示部に表示した写真画像を示す図。
【図8】表示画面の座標を示す図。
【図9】直線近似式の求め方を説明する図。
【符号の説明】
33 不動ターゲット 34 物体側ターゲット
35 指標 71 撮影画像表示部
72 画像拡大表示部 73 移動量表示部
[0001]
[Industrial application fields]
The present invention relates to a method for measuring an amount of movement of a long object and an apparatus for carrying out the method, and in particular, the position of a target in an image displayed on a captured image display unit is designated by a rectangular cursor and is included in the designated target. The present invention relates to a long object moving amount measuring method in which an arithmetic processing unit automatically recognizes an index and calculates a position coordinate of the index, and an apparatus for implementing this method.
[0002]
[Prior art]
This will be described as an example of a long object that moves and displaces a rail of a railway track.
Referring to FIG. 4, the left and right rails 1 L and 1 R and the sleeper 2 are firmly connected to each other by a fastening member. If this fastening force is small and the roadbed longitudinal resistance force is also small, the traveling train braking, starting load and rail 1 L, 1 rail 1 due to stretching other due to temperature change of the R L, 1 R may sometimes move in the longitudinal direction. This movement in the longitudinal direction of the rails 1 L and 1 R is generally called advancement. When the travel amount is large, it is necessary to carry out the work of pulling back the rails 1 L and 1 R to appropriate positions, and railway companies measure the travel amount about twice a year.
In order to measure the amount of advance, as shown in FIG. 4, a reference device 3 is installed outside each of the left and right rails 1 L and 1 R , and a thread is stretched between the gauge points 32 of both reference devices 3. Is a reference line 4 and a reference point 5 is installed at a position corresponding to the reference line 4 of each of the left and right rails 1 L and 1 R. In measuring the amount of advance, the distance between the reference point 5 installed on the rails 1 L and 1 R and the reference line 4 is visually measured by an operator using a scale at the site. In the case of a long rail track, the reference points 5 of the rails 1 L and 1 R that are on the advancing side are installed at intervals of 150 m to 200 m in the stationary section.
[0003]
The above measurement of the amount of advancement is carried out visually by an operator entering the site, and the number of measurement points is one huge at intervals of 150 to 200 m. And the measurement work has to be done between very short train travel time intervals during the day, and the workers are always at risk of train touch accidents. In addition, the travel amount measurement usually requires a large number of personnel, including train guards, of about six people, and a reduction in the required number of workers is also required. Furthermore, regarding the accuracy of measurement, it is considered that the error during measurement is about ± 5 mm. Further, since the amount of advancement is measured using a yarn as a reference line 4, there is a risk of being damaged by strong winds and other measurement environment conditions.
In order to solve the above problems, a measurement method related to an application of the patent applicant and a method for measuring and inspecting the amount of movement of a long and moving object based on a photographic image displayed on a display of an arithmetic processing unit including a computer. Has been proposed (see Patent Document 1). This will be briefly described below as a prior example.
[0004]
Referring to FIGS. 5 and 6, the reference device 3 used for measuring the amount of movement (movement amount) is fixed to the installation location, which is the fixed point, by the pile 31 and maintains the fixed state. Reference numeral 32 denotes a mark. Three non-moving targets 33 are provided with circular indices 35 at intervals D. The interval D is set to a known equal interval, and the diameter of each index 35 is adjusted by the shooting distance. For example, if the shooting distance to the stationary target 33 is about 1000 mm, the diameter increases as the shooting distance increases.
For one measurement point, two reference devices 3, two stationary targets 33, and two object-side targets 34 are required. Far side reference device 3 RE is in within 2000mm from the photographing position, is secured in the parallel surface of the outer to 1000mm only spaced apart from the reference device 3 RE of the far side rails 1 RE on the far side rail 1 RE. The near side reference device 3 NE is fixed with the surface of the near side reference device 3 NE parallel to the near side rail 1 RE with a distance of 1000 mm outside the near side rail 1 NE . Between the far side reference device 3 RE and the near side reference device 3 NE , a reference line 4 perpendicular to the reference device surface is formed by tension. Then, the target 33 is attached and fixed to the side surfaces of the far-side rail 1 RE and the near-side rail 1 NE facing the camera 6 and the side surfaces facing the camera 6 of the far-side reference device 3 RE and the near-side reference device 3 NE . At this time, the targets 33 need to be arranged in a straight line in both the horizontal direction and the height direction. This formation state is defined as a state where the advance amount is zero.
[0005]
Referring to FIG. 5C, how to shoot a target will be described. A total of four targets 33, 34 are recorded with one electronic camera 6 from the reference surface side where the targets 33, 34 are attached. Take a picture that fits clearly inside.
A method for analyzing the amount of advance will be described with reference to FIGS. 7, 8, and 9. FIG. 7 is a view showing an image taken by the electronic camera 6 taken into the display of the arithmetic processing unit, and FIG. 8 is a view for explaining coordinates of the display screen of FIG. An XY coordinate system that expresses the vertical and horizontal lengths of the photographic image displayed on the display of the arithmetic processing unit with dots is assumed to be a center point that intersects the vertical and horizontal midpoints and is (0, 0).
The coordinates (i to wo) of a total of 12 indices of each of the three indices 35 in the four targets 33 (34) in the photographic image are searched from the photograph, and the center of each of the indices 35 being photographed is the center. Is registered as the position coordinate of each index 35.
The advance amount is calculated based on the index coordinates of the registered index 35. Here, how to calculate the travel amount of the far-side rail 1 RE will be described.
[0006]
Of each index position coordinate, a linear expression that connects the corresponding index coordinate a and the index coordinate n on the far side reference unit 3 RE and the near side reference unit 3 NE , which becomes the reference line 4 corresponding to the advance amount of 0 mm. La , The linear expression Lb connecting the index coordinates b and the index coordinates le , A linear expression Lc connecting the index coordinates c and the index coordinates o Ask for.
As shown in FIG. 9, a linear approximation formula Ra is obtained from the index coordinates D, E, F on the rail 1 RE by the least square method.
Straight line La , Lb , Lc And straight line Ra The coordinates of the intersection points are obtained, and the intersection point coordinates A 1 , A 2 , A 3 are obtained. Straight line Ra closest to index coordinates d, e, h Let the upper coordinates be d ', ho', f '.
Straight line Ra The inter-coordinate distances between the coordinates A 1 -coordinate d ', the coordinates A 2 -coordinate e', and the coordinates A 3 -coordinate f 'are obtained and are set as f 1 , f 2 , and f 3 , respectively.
The distances between the coordinates between the intersection coordinates A 1 and the intersection coordinates A 2 and between the intersection coordinates A 2 and the intersection coordinates A 3 are indicated by da. , Db And
[0007]
The actual distance between indexes is set to D, and the actual distances c 1 , c 2 , and c 3 of f 1 , f 2 , and f 3 are obtained as follows.
c 1 = f 1 × (D / da )
c 2 = f 2 × ((D / da ) + (D / db )) / 2
c 3 = f 3 × (D / db )
Further, the average value of these values is defined as the advance amount C.
C = (c 1 + c 2 + c 3 ) / 3
Similarly, the advance amount of the near rail is obtained. Here, if two fixed points are also installed on a moving object other than the rail and a target is similarly formed on the moving object, the amount of movement can be obtained.
[0008]
[Patent Document 1]
[Patent Document 1] Japanese Patent Laid-Open No. 2003-75116
[Problems to be solved by the invention]
As described above, the reference points 5 of the rails 1 L and 1 R , which are on the advancing side, are installed at intervals of 150 m to 200 m in the immovable section in the case of a long rail track. There is always a need to develop efficient measurement methods.
In the previous example, in the work of analyzing and measuring the amount of movement of the long object based on the photographic image displayed on the display of the arithmetic processing unit, the operator moves the mouse of the arithmetic processing unit to one measurement point. By operating, the position coordinates of the indices included in the target are determined one by one, and the coordinates of all 12 indices are designated as 3 indices per target. Specifying the coordinates of all 12 indices for one measurement point means that it is necessary to perform a huge number of coordinate designation tasks for the analysis and measurement work of a huge number of measurement points. And this coordinate designation | designated operation | work is implemented by the judgment process by the operator himself, and the precision of the measured value obtained will be somewhat influenced by the operator.
[0010]
When measuring the amount of movement of a long object on the basis of a photographic image displayed on a display, the present invention displays a photographed image on a photographed image display unit and the target in the image displayed on the photographed image display unit. The position is specified by a rectangular cursor set as an image cropping frame, the index included in the specified target is automatically recognized by the arithmetic processing unit to calculate the position coordinates of the index, and the recognition-calculated position coordinates of the index are referenced. By adopting a configuration for calculating and displaying the movement amount, a method for measuring the amount of movement of a long object with a high and accurate measurement value obtained by simplifying the analysis calculation processing of the movement amount and this method is implemented. A device is provided.
[0011]
[Means for Solving the Problems]
An object-side target 34 in which a plurality of circular indexes are arranged on a straight line is placed on a long object, and similarly, a stationary target 35 in which a plurality of circular indexes are arranged on a straight line is placed in the vicinity of the long object. A rectangular cursor that is set as a pair and is photographed from the front by an electronic camera, the photographed image is displayed on the photographed image display unit, and the target portion in the image displayed on the photographed image display unit is set as an image cropping frame The processing unit automatically recognizes the index included in the specified target part and calculates the position coordinates of the index, and calculates the movement amount by referring to the position coordinates of the recognized and calculated index An object movement measuring method was constructed.
Then, in the above long object movement measuring method, it is determined whether or not the index is on a straight line, whether or not the interval between the indexes is a predetermined interval, and the interval between the indexes and the size of the index are determined. A long object moving amount measuring method for determining whether or not the thickness ratio is correct was constructed.
[0012]
Further, an object side target 34 installed on a long object and a stationary target 33 installed on each of a pair of reference devices fixed in the vicinity of the long object are provided. A plurality of circular indexes are arranged on a straight line, and the stationary target 33 and the object side target 34 of a pair of reference units are arranged and aligned in a straight line both in the horizontal direction and in the height direction. An electronic camera 6 that captures images of the stationary target 33 and the object-side target 34 is provided, and a shift amount of the object-side target 34 with respect to a reference line connecting the stationary targets in the image is obtained by performing coordinate calculation processing on the image. In a long object movement amount measuring apparatus having an arithmetic processing unit including a computer, the apparatus includes a captured image display unit 71 for displaying a captured image. A target portion in an image displayed on the display unit 71 is designated by a rectangular cursor set as an image cropping frame, the center coordinates of an index included in the designated target are recognized, and a long length is referenced with reference to a recognition result. An arithmetic processing unit for analyzing and calculating the object movement amount, an image enlargement display unit 72 for displaying the recognition result of the target position coordinates and the index center coordinates in an enlarged manner, and a movement amount for displaying the analysis calculated movement amount A long object movement amount measuring apparatus including the display unit 73 was configured.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
An image obtained by capturing a long moving object on which a target having three circular indices is installed and a target having a three circular index similarly installed from the front is displayed on the captured image display unit of the display. The position of the target in the image displayed on this captured image display unit is specified by a rectangular cursor set as an image cropping frame, and the index included in the specified target is automatically recognized by the arithmetic processing unit, and the position coordinates of the index Is calculated. The arithmetic processing unit calculates and displays the movement amount with reference to the position coordinates of the recognized and calculated index.
[0014]
【Example】
An embodiment of a long object movement measuring apparatus of the present invention will be described with reference to FIG.
In this embodiment, a captured image display unit 71 that displays an image captured by the electronic camera 6 and an enlarged image display in which a target in an image specified by a rectangular cursor set as an image cropping frame is enlarged and displayed. 72, an arithmetic processing unit (not shown) for automatically recognizing the center coordinates of the index included in the designated target and analyzing and calculating the movement amount of the long object with reference to the recognition result, and the calculated and calculated movement amount And a movement amount display unit 73 for displaying.
The operation of the embodiment will be described.
First. The operator captures and displays an image captured by the electronic camera 6 on the captured image display unit 71.
2nd. The operator places the positions of the stationary target 33 and the object-side target 34 displayed on the captured image display unit 71 within the frame of the rectangular cursor and designates them by clicking. That is, the target can be specified by clicking the mouse in a state where the target 33 (34) is surrounded by the rectangular cursor indicated by the chain line.
[0015]
3rd. When the target 33 (34) is designated, the target portion surrounded by the rectangular cursor near the designated target position is enlarged to a size suitable for analysis calculation processing and displayed on the image enlargement display unit 72. . The processing range designation image at this time is appropriately stored in the image enlargement display unit 72 by changing the range and the enlargement ratio of the display according to the distance from the shooting location where the camera is located to the target 33 (34).
[0016]
3-1. To describe the coordinate recognition of the index with reference to FIGS. 2 and 3, first, the binarization process of the image of the target 33 (34) and the index 35 in the image enlargement display unit 72 shown in FIG. Is executed. In this case, the binarization process is performed including a black spot 35 ′ other than the index 35 described later. The binarization processing result is schematically shown by a chain line in FIG. With respect to the binarized image, as shown in FIG. 2C, dots 350 on the boundary of the index 35 in the target are extracted. In this case, dots of single points that are clearly different from the index and dots of continuous points on a straight line are excluded. The average value of the extracted coordinate values (X i , Y i ) of each dot 350 is set as the center coordinates (X 0 , Y 0 ) of the index 35 and registered as the index position. Similarly, the central coordinates are registered as index positions for the stain 35 '.
Here, X 0 = (X 1 + X 2 +... + X i ) / i
Y 0 = (Y 1 + Y 2 +... + Y i ) / i
[0017]
A selection process of the 3-2.3 index will be described.
Incidentally, since the target 33 (34) is installed outdoors, it is inevitable that the dirt 35 'adheres to the surface thereof as described above. There is a possibility that a stain 35 ′ other than the index 35 may be erroneously recognized as an index. And the boundary shown with the chain line which limits the area | region of the target 33 (34) in the image expansion display part 72 may be misrecognized as a parameter | index. Therefore, when a portion other than the index 35 is recognized, it is necessary to execute a process for determining which point is the true index 35 before the movement amount is calculated. This discrimination process will be described.
[0018]
1) Discriminating whether or not the three indices are in a straight line (discrimination based on position characteristics)
As shown in FIG. 3A, a combination of three indices is selected from the registered position coordinates of the indices 35 and 35 'and registered as a target candidate. An operation is performed to determine whether or not the three indexes among the registered target candidates are on a straight line. The three points arranged on one straight line of the three solid lines in FIG. 3A satisfy the requirement that they are all on a straight line. However, it is considered that the three points on the upper and lower two straight lines are the result of misrecognizing the boundary that limits the area of the target 33 (34) as an index. Three indicators that are clearly judged not to be arranged in a straight line are excluded from the candidates. This operation is performed for all three combinations of target candidates.
2) Discriminating whether or not the interval between the indices is the same on the left and right (discrimination based on position characteristics)
As shown in FIG. 3B, for the target candidates determined in 1), the distances between the adjacent indicators 35 and 35 ′ are calculated. The distance between the left and right indices of the three points on the middle straight line is equal. The distances between the left and right indices of the three points on the lower straight line are equal. Since the distance between the left and right indices of the three points on the upper straight line is different, the combination of these three points is excluded from the target candidates.
[0019]
3) Determine whether the ratio between the interval between the indicators and the size of the indicators is correct (determined from the shape)
As shown in FIG. 3C, for the target candidates determined in 2), the inter-index distance and the index diameter are calculated. Target candidates whose relationship between the distance between the indices and the diameter of the indices is significantly different from the predetermined value are excluded from the candidates. These three points shown in FIG. 3C where the relationship between the distance between the indices and the diameter of the indices satisfies a predetermined value are assumed to be correct indices.
3-3. The 3-1 and 3-2 operations are performed for all four targets.
4th. When the position coordinates of the indices of all four targets are analyzed, the movement amount of the long moving object is calculated based on these position coordinates.
[0020]
As described above, the coordinate values necessary for calculating the moving amount of the moving object were obtained for all four targets 33 (34). With reference to these coordinate values, the movement amount of the moving object can be calculated according to the principle described with reference to FIGS. 7, 8, and 9 in the preceding example.
In carrying out the above embodiment, the following processing program is prepared for preparation.
Images captured by the electronic camera 6 are captured and displayed on the captured image display unit 71, and
Specify the target displayed on the captured image display unit 71,
The vicinity of the specified target position is enlarged and displayed on the image enlargement display unit 72,
Binarization processing of the target and the image of the index 35 in the image enlargement display unit 72;
For the binarized image, a dot 350 on the boundary of the index 35 in the target is extracted,
Calculate and register the average value of the coordinate values (X i , Y i ) of each extracted dot 350;
Select and register a combination of 3 indices from the registered position coordinates of the indices 35,
Determine the combination of the three indicators that are on a straight line from the registered combinations of the three indicators,
For a combination of three indicators on a straight line, determine a combination of three indicators with the same distance between adjacent indicators,
Calculate the distance between the indicators and the diameter of the indicators for a combination of three indicators with the same distance between adjacent indicators,
Discriminate the combination of the three indicators whose relationship between the distance between the indicators and the diameter of the indicator satisfies a predetermined value,
Analyze and calculate the position coordinates of all four target indices repeatedly,
A processing program for instructing a computer to calculate a moving amount of a long moving object based on position coordinates.
[0021]
【The invention's effect】
As described above, according to the present invention, when measuring the moving amount of the long object based on the photographic image displayed on the display, the captured image is displayed on the captured image display unit, and the captured image display unit The position of the target in the image displayed on is specified with the rectangular cursor set as the image cropping frame, and the processing unit automatically recognizes the index included in the specified target and calculates the position coordinate of the index, and recognizes it By adopting a configuration that calculates and displays the amount of movement with reference to the calculated position coordinates of the index, the analysis calculation processing of the amount of movement can be simplified, and the accuracy of the measured values obtained is high and constant. It is possible to provide a method for measuring the amount of movement of a long object and an apparatus for carrying out this method.
[0022]
That is, in the preceding example described above, the operator determines the position coordinates of the indices included in the target one by one by operating the mouse with respect to one measurement point, and uses four indices as three indices per target. It was necessary to specify the coordinates of a large number of indices, a total of 12 indices, and there was variation in the accuracy of measured values. On the other hand, the present invention does not directly specify the coordinates of the index, but specifies the target position with a rectangular cursor set as an image cropping frame, and the center coordinates of the index included in the specified target. By adopting a configuration for automatically analyzing and calculating, the number of times of operating the mouse with respect to one measurement point is 4 times in total specifying the position of the target of the four indexes with the rectangular cursor, and 1 / compared with the previous example. Reduced to 3 times. After the target is specified, the center coordinates of the indices included in the target are automatically analyzed and calculated, and the amount of movement of the long moving object is calculated based on the calculated position coordinates. It is constant.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining an embodiment. FIG. 2 is a diagram for explaining coordinate recognition of an index.
FIG. 3 is a diagram for explaining an index / dirt discrimination process;
FIG. 4 is a diagram illustrating a conventional example.
FIG. 5 is a diagram for explaining a reference example.
FIG. 6 is a diagram illustrating a reference device.
FIG. 7 is a diagram showing a photographic image displayed on a captured image display unit.
FIG. 8 is a diagram showing coordinates on a display screen.
FIG. 9 is a view for explaining how to obtain a linear approximation formula;
[Explanation of symbols]
33 immovable target 34 object side target 35 index 71 captured image display unit 72 image enlargement display unit 73 movement amount display unit

Claims (2)

円形状の複数の指標を一直線上に等間隔で配列付与した物体側ターゲットを長尺物体に設置し、同様に円形状の複数の指標を一直線上に等間隔で配列付与した不動ターゲットを長尺物体の近傍に1対設置してこれらを電子カメラにより正面から撮影し、
撮影した画像を撮影画像表示部に表示し、
撮影画像表示部に表示された画像中のターゲット部分を画像切り取り枠として設定された長方形カーソルにより指定し、
指定されたターゲット部分に含まれる指標を演算処理部が自動認識して指標の中心座標を位置座標として算出し、
指標の位置座標が一直線上にあるか否かを判別し、隣接する指標の位置座標の間隔がそれぞれ等しいか否かを判別し、指標間の位置座標の間隔と指標の直径の大きさの比が所定値を満足するか否かを判別し、
全ての判別が否でない指標の位置座標を参照して移動量を計算処理することを特徴とする長尺物体移動量測定方法。
An object-side target with multiple circular indicators arranged at equal intervals on a straight line is placed on a long object, and a fixed target with multiple circular indicators arranged at equal intervals on a straight line is also elongated. One pair is installed near the object and these are photographed from the front with an electronic camera.
Display the captured image in the captured image display area,
Specify the target part in the image displayed in the captured image display area with the rectangular cursor set as the image cropping frame,
The arithmetic processing unit automatically recognizes the index included in the specified target part and calculates the center coordinate of the index as the position coordinate,
Determine whether the position coordinates of the index are on a straight line, determine whether the intervals between the position coordinates of adjacent indices are equal, and determine the ratio of the position coordinate interval between the indices and the size of the index diameter Whether or not satisfies a predetermined value,
A method for measuring a moving amount of a long object, wherein the moving amount is calculated with reference to the position coordinates of an index that is not all discriminated .
長尺物体に設置される物体側ターゲットと長尺物体の近傍に固定される1対の基準器のそれぞれに設置される不動ターゲットを有し、
不動ターゲットおよび物体側ターゲットには円形状の複数の指標を一直線上に等間隔で配列付与し、
1対の基準器の不動ターゲットおよび物体側ターゲットを横方向および高さ方向共に一直線状に配列位置決めし、
1対の基準器の不動ターゲットおよび物体側ターゲットの画像を撮影する電子カメラを有し、
画像における不動ターゲット間を結ぶ基準線を基準とする物体側ターゲットのずれ量を画像上において座標演算処理して求めるコンピュータを含む演算処理部を有する長尺物体移動量測定装置において、
撮影画像を表示する撮影画像表示部を具備し、
撮影画像表示部に表示された画像中のターゲット部分を画像切り取り枠として設定された長方形カーソルにより指定し、指定されたターゲット内に含まれる指標の中心座標を位置座標として認識し、指標の位置座標が一直線上にあるか否かを判別し、隣接する指標の位置座標の間隔がそれぞれ等しいか否かを判別し、指標間の位置座標の間隔と指標の直径の大きさの比が所定値を満足するか否かを判別し、全ての判別が否でない指標の認識結果を参照して長尺物体移動量を解析計算する演算処理部を具備し、
ターゲット位置座標および指標中心座標の認識結果を拡大して表示する画像拡大表示部を具備し、
解析計算された移動量を表示する移動量表示部を具備することを特徴とする長尺物体移動量測定装置。
An object-side target installed on a long object and a pair of reference units fixed in the vicinity of the long object;
A plurality of circular indexes are arranged on a straight line at regular intervals on the stationary target and the object side target,
Arranging and positioning the stationary target and object side target of a pair of reference units in a straight line both in the horizontal direction and in the height direction,
An electronic camera that captures images of a pair of fiducial stationary and object-side targets;
In a long object movement amount measuring apparatus having an arithmetic processing unit including a computer that obtains a deviation amount of an object side target based on a reference line connecting immovable targets in an image by performing coordinate arithmetic processing on the image,
A photographed image display unit for displaying a photographed image;
The target part in the image displayed on the captured image display part is specified by the rectangular cursor set as the image cropping frame, the center coordinates of the index included in the specified target are recognized as the position coordinates, and the position coordinates of the index Are determined to be on a straight line, whether or not the intervals between the position coordinates of the adjacent indices are equal to each other, and the ratio of the distance between the position coordinates between the indices and the diameter of the index is a predetermined value. It is determined whether or not satisfied, and comprises an arithmetic processing unit that analyzes and calculates a long object movement amount with reference to a recognition result of an index that is not all determination ,
An image enlargement display unit that enlarges and displays the recognition result of the target position coordinates and the index center coordinates,
A long-object moving amount measuring apparatus comprising a moving amount display unit for displaying an analytically calculated moving amount.
JP2003165007A 2003-06-10 2003-06-10 Method for measuring moving amount of long object and apparatus for carrying out this method Expired - Lifetime JP4216128B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003165007A JP4216128B2 (en) 2003-06-10 2003-06-10 Method for measuring moving amount of long object and apparatus for carrying out this method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003165007A JP4216128B2 (en) 2003-06-10 2003-06-10 Method for measuring moving amount of long object and apparatus for carrying out this method

Publications (2)

Publication Number Publication Date
JP2005003428A JP2005003428A (en) 2005-01-06
JP4216128B2 true JP4216128B2 (en) 2009-01-28

Family

ID=34091629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003165007A Expired - Lifetime JP4216128B2 (en) 2003-06-10 2003-06-10 Method for measuring moving amount of long object and apparatus for carrying out this method

Country Status (1)

Country Link
JP (1) JP4216128B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110332926A (en) * 2019-07-17 2019-10-15 重庆耘在大数据有限公司 The method for calculating other accurate coordinate points automatically is realized based on known coordinate point

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5108392B2 (en) * 2007-06-15 2012-12-26 株式会社コスモプラニング Orbital displacement measurement system
JP2010025855A (en) * 2008-07-23 2010-02-04 Sakata Denki Track displacement measuring device
JP5179995B2 (en) * 2008-08-07 2013-04-10 株式会社ニシヤマ Method and apparatus for measuring track dimensions of track rail
JP2011069797A (en) * 2009-09-28 2011-04-07 Saxa Inc Displacement measuring device and displacement measuring method
JP6121250B2 (en) * 2013-05-20 2017-04-26 綜合計測株式会社 Trajectory error measurement system
JP7094807B2 (en) * 2018-07-09 2022-07-04 東日本旅客鉄道株式会社 Target mounting jig and advance measurement method used for advance measurement
JP7269603B2 (en) * 2019-07-09 2023-05-09 東日本旅客鉄道株式会社 Water thread tensioning jig for flow measurement
CN114413718A (en) * 2022-01-27 2022-04-29 成都精工华耀科技有限公司 Steel rail crawling displacement detection system and detection method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110332926A (en) * 2019-07-17 2019-10-15 重庆耘在大数据有限公司 The method for calculating other accurate coordinate points automatically is realized based on known coordinate point
CN110332926B (en) * 2019-07-17 2021-07-06 重庆耘在大数据有限公司 Method for automatically calculating other accurate coordinate points based on known coordinate points

Also Published As

Publication number Publication date
JP2005003428A (en) 2005-01-06

Similar Documents

Publication Publication Date Title
JP5602324B1 (en) Road measurement system
US9981671B2 (en) Railway inspection system
JP3373831B2 (en) Test specimen elongation measuring method and apparatus
JP4216128B2 (en) Method for measuring moving amount of long object and apparatus for carrying out this method
CN104575003B (en) A kind of vehicle speed detection method based on traffic surveillance videos
JP5656547B2 (en) Intersection traffic flow measuring device
KR101602376B1 (en) A train faulty monitoring system
ATE331204T1 (en) METHOD AND DEVICE FOR CAPTURE, GEOLOCALIZATION AND MEASURING OBLIQUELY TAKEN IMAGES
JP7372249B2 (en) Method for locating points of interest or lines on railway tracks
JP2008299458A (en) Vehicle monitoring apparatus and vehicle monitoring method
JP2002109547A5 (en)
Pantyushin et al. Control measurement system for railway track position
JP3673741B2 (en) Long object moving displacement measuring method and apparatus for carrying out this method
JP2012203795A (en) Vehicle speed measurement method and vehicle overall image detection method using the same and vehicle number plate information erroneous recognition prevention method
JP2018017620A (en) State change detection apparatus, and state change detection program
EP2769178B1 (en) Method and apparatus for ensuring the examination cover by manual inspection
JPH05157558A (en) Vehicular gap detector
US20210383141A1 (en) Sign position identification system and program
KR101379237B1 (en) Infrastructure safety management method by image analysis
JP2020144049A (en) Pantograph displacement measuring device and trolley wire hard spot detection method
US20150139530A1 (en) Apparatus and method for detecting defect of image having periodic pattern
JP7033045B2 (en) Learning device, estimation device, crack detection device, crack detection system, learning method, estimation method, crack detection method, and program
CN114419485A (en) Camera-based intelligent vehicle speed measuring method and system, storage medium and computer equipment
CN210558711U (en) Elevator traction sheave slippage detection device
CN101034049A (en) Indentation hardness test system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080603

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081021

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081105

R150 Certificate of patent or registration of utility model

Ref document number: 4216128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141114

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term