JP3830875B2 - 系統連系システムの保護継電装置 - Google Patents

系統連系システムの保護継電装置 Download PDF

Info

Publication number
JP3830875B2
JP3830875B2 JP2002243888A JP2002243888A JP3830875B2 JP 3830875 B2 JP3830875 B2 JP 3830875B2 JP 2002243888 A JP2002243888 A JP 2002243888A JP 2002243888 A JP2002243888 A JP 2002243888A JP 3830875 B2 JP3830875 B2 JP 3830875B2
Authority
JP
Japan
Prior art keywords
vehicle
data
trajectory
unit
vehicle position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002243888A
Other languages
English (en)
Other versions
JP2004086341A (ja
Inventor
斉 波部
浩朗 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32052538&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP3830875(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2002243888A priority Critical patent/JP3830875B2/ja
Publication of JP2004086341A publication Critical patent/JP2004086341A/ja
Application granted granted Critical
Publication of JP3830875B2 publication Critical patent/JP3830875B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、画像処理などの手段を講じて道路の一定区間の車両移動軌跡を自動的に計測、解析することによって道路の交通流の計測や、異常事象の発生を検知する道路交通流計測装置に係り、特に計測した車両移動軌跡を検証することによって交通流計測結果や異常事象検知結果の信頼性を増す技術に関するものである。
【0002】
【従来の技術】
例えば特開2001−118182号公報「移動体検出装置および移動体検出方法」に記載の移動体検出装置を摘要して道路上の任意の位置を走行している車両の位置を計測して交通流計測を行う装置として、例えば図14に示すようなものがある。図14は前記装置の構成を示すブロック図であり、1は車両位置計測部で、道路上の監視範囲の中で車両が存在する位置を計測するものである。3は車両速度計測部で、車両位置計測部で計測された車両の移動速度を計測するものである。4は異常事象判定部で、前記車両位置計測部1で計測された車両位置と前記車両速度計測部3で計測された車両速度を解析して異常事象の発生を検知するものである。5は交通量計測部で、前記車両位置計測部1で計測された車両位置と前記車両速度計測部3で計測された車両速度から車両通過台数や平均速度などの交通量を計測するものである。
【0003】
前記車両位置計測部1は、画像入力部101と変化領域抽出部102と車両発見部103と車両追跡部104とで構成されている。前記画像入力部101は道路の路側に設置したカメラから入力された映像信号をディジタル化してメモリに入力するものである。前記変化領域抽出部102は前記画像入力部101で入力した画像の中で何か変化が発生している領域を抽出するものである。前記車両発見部103は前記変化領域抽出部102で抽出された変化領域の中で車両に相当する領域を検出するものである。前記車両追跡部104は各処理サイクルで前記車両発見部103において発見された車両を経時的に追跡するものである。
【0004】
次に動作について説明する。図15は図14に示した交通流計測装置の動作について説明するフローチャートであり、図16は全体の動作を模式的に説明する図である。以下、図14〜図16により動作説明する。
【0005】
まず、装置が起動されると、所定の周期毎に画像入力部101が路側に設置されたカメラからの映像を入力し、装置の内部に記録する(ステップST101)。
【0006】
次いで、変化領域抽出部102は画像入力部101が入力した最新の画像を読み出し、過去のデータと比較して変化が発生している領域を抽出する(ステップST102)。
【0007】
次に、車両発見部103において、変化領域抽出部102が抽出した変化領域の形状などを解析し、車両に相当する領域のみを検出する(ステップST103)。
【0008】
次いで、車両追跡部104が、車両発見部103にて新規に発見された車両や、過去の処理で発見された車両の現在位置を、テンプレートマッチングなどの手法を利用して求める(ステップST104)。図15に示すように、各処理サイクルにおいて車両追跡部104において求められた車両位置の変遷は、車両の移動軌跡を示している。
【0009】
次に、車両速度計測部3が、車両追跡部104から各車両の移動軌跡を読み出し、各車両の移動速度を計測する(ステップST105)。
【0010】
次に、異常事象判定部4が、車両追跡部104で求められた各車両の移動軌跡と、それに対応する、車両速度計測部3で計測された移動速度を読み取り、停止車両、低速車両、高速車両、異常走行などの異常事象が発生しているか否かを判定し、必要があれば外部機器への通知や履歴への記録を行う(ステップST106)。
【0011】
最後に、交通量計測部5が、車両追跡部104で求められた各車両の移動軌跡と、それに対応する、車両速度計測部3で計測された移動速度を読み取り、各車線毎の通行台数、平均速度などの交通量を計測し、外部機器への通知や履歴への記録を行う(ステップST107)。
【0012】
以上のように、ステップST101〜ステップST107の処理が所定の時間間隔で繰り返し実行される。
【0013】
【発明が解決しようとする課題】
従来の道路交通流計測・異常事象検知装置は以上のように構成されているので、車両位置計測部1で計測される車両軌跡データの精度が装置全体の信頼性を左右する。しかし、道路には日光の照度変化や日光による陰陽変化、構造物の影、風に揺れる樹木の影、隣接線の他の車両や構造物の窓等からの反射光、等々、車両を取り巻く環境には、車両自身の見え方の変化を誘発し、車両位置計測の精度を低下させる要因が数多く存在する。このような車両を取り巻く環境に基づく車両自身の見え方の変化により、車両位置計測部1で誤った車両軌跡を検出してしまう事例が発生し、異常事象の誤判定や交通量計測精度の低下を引き起こすという問題があった。
【0014】
また、車両位置計測部1は、カメラからの映像などのアナログデータをもとに処理を行うため、量子化誤差やサンプリング誤差による誤差が重畳することは、原理的に避けることができない。また、車輌を取り巻く環境に基づく車両自身の見え方の変化も加わる。従って、例えば道路上で停止している車両の位置を計測している場合でも、その位置計測結果には微妙な動きの繰り返しが発生し、車両速度計測部3で計測する速度が非零の値となり、停止車両の判定や速度の計測が正しく行えないという問題があった。
【0015】
この発明は前述のような従来の実情に鑑みてなされたもので、車輌を取り巻く環境による車両自身の見え方の変化に起因して車両位置計測部での車両軌跡の誤検出や車両位置計測における微妙な動きの繰り返しを補正して精度よく異常事象の検知や、交通量の計測を行えるようにすることを目的とする。
【0016】
【課題を解決するための手段】
請求項1に記載の発明に係る道路交通流計測装置は、監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部、前記車両位置計測部によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部、前記車両位置計測部によって計測された車両位置の経時データと前記車両軌跡データ検証部の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部、及び前記車両位置計測部と前記車両速度計測部で計測されたデータから交通量を算出する交通量計測部を備えたものである。
【0017】
請求項2に記載の発明に係る道路交通流計測装置は、監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部、前記車両位置計測部によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部、前記車両位置計測部によって計測された車両位置の経時データと前記車両軌跡データ検証部の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部、及び前記車両速度計測部によって計測された車両の速度と前記車両位置計測部によって計測された車両の存在位置から停止、低速、高速、異常走行等 の車両走行の異常事象の発生を検知する異常事象検知部を備えたものである。
【0018】
請求項3に記載の発明に係る道路交通流計測装置は、請求項1及び請求項2の何れか一に記載の道路交通流計測装置において、前記車両軌跡データ検証部は、前記車両位置計測部で計測された車両位置データの経時的な変化からもとまる車両の進行方向と、あらかじめ保持する道路の進行方向を比較することによって前記異常な移動をしている車両移動軌跡を不正な軌跡とみなすものである。
【0019】
請求項4に記載の発明に係る道路交通流計測装置は、請求項1及び請求項2の何れか一に記載の道路交通流計測装置において、前記車両軌跡データ検証部は、前記車両位置計測部で計測された車両位置データの経時的な変化から車両軌跡データの微小な動きの繰り返しを検出し当該デ−タの微小な動きの繰り返しを補正するものである。
【0020】
請求項5に記載の発明に係る道路交通流計測装置は、監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部、前記車両位置計測部によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部、前記車両位置計測部によって計測された車両位置の経時データと前記車両軌跡データ検証部の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部、前記車両位置計測部と前記車両速度計測部で計測されたデータから交通量を算出する交通量計測部、及び前記車両速度計測部によって計測された車両の速度と前記車両位置計測部によって計測された車両の存在位置から停止、低速、高速、異常走行等の車両走行の異常事象の発生を検知する異常事象検知部を備え、前記車両軌跡データ検証部は、前記車両位置計測部で計測された車両位置データの経時的な変化からもとまる車両の進行方向と、あらかじめ保持する道路の進行方向を比較することによって前記異常な移動をしている車両移動軌跡を不正な軌跡とみなす共に、前記車両位置計測部で計測された車両位置データの経時的な変化から車両軌跡データの微小な動きの繰り返しを検出し当該デ−タの微小な動きの繰り返しを補正するものである。
【0021】
【発明の実施の形態】
実施の形態1.
以下、この発明の実施の形態1を図1〜図7に基づいて説明する。図1は道路交通流計測装置の一例を示すブロック図、図2は道路交通流装置の動作の一例について説明するフローチャート、図3は車両軌跡の計測結果の一例について説明する図、図4は車両移動軌跡の進行方向算出の一例について説明する図、図5は道路の進行方向データの一例について説明する図、図6は車両移動軌跡の進行方向と道路の進行方向の比較方法の一例について説明する図、図7は車両移動軌跡の進行方向と道路の進行方向の比較方法の一例について説明する図である。
【0022】
図1において、1は車両位置計測部で、道路上の監視範囲の中で車両が存在する位置を計測するものである。2は車両軌跡データ検証部で、前記車両位置計測部1で計測された車両移動軌跡を解析し、必要に応じてデータ消去やデータ補正を行うものである。3は車両速度計測部で、前記車両軌跡データ検証部2で正しい軌跡であると判定された軌跡データについて車両の移動速度を計測するものである。4は異常事象判定部で、前記車両軌跡データ検証部2で正しい軌跡であると判定された軌跡データと前記車両速度計測部3で計測された車両速度を解析して異常事象の発生を検知するものである。5は交通量計測部で、車両軌跡データ検証部2で正しい軌跡であると判定された軌跡データと、前記車両速度計測部3で計測された車両速度とから、車両通過台数や平均速度などの交通量を計測するものである。
【0023】
前記車両軌跡データ検証部2は、車両進行方向算出部21と道路進行方向情報22と異常軌跡データ判定部23とから構成されている。前記車両進行方向算出部21は、車両位置計測部1で計測された車両の移動軌跡から各車両の進行方向を求めるものである。前記道路進行方向情報22は、監視対象の道路の進行方向を示すものである。前記異常軌跡データ判定部23は、前記車両進行方向算出部21での進行方向算出結果と前記道路進行方向情報22と比較して前記道路進行方向情報22の道路進行方向と異なる車輌移動軌跡を抽出して、当該前記道路進行方向情報22の道路進行方向と異なる車輌移動軌跡を消去するものである。
【0024】
なお、図1の中で、車両位置計測部1、車両速度計測部3、異常事象判定部4、及び交通量計測部5は、前述の従来の技術の例として示した図14における車両位置計測部1、車両速度計測部3、異常事象判定部4、及び交通量計測部5と同じ機能を持つものである。
【0025】
次に図1〜図7により動作について説明する。
装置が起動されると、ステップST1において車両位置計測部1が所定周期毎の
各車両の車両位置を計測する。ここでの詳細方式については例えば従来の技術の例で示した画像処理による車両計測技術があげられるが、その他のセンサによるものを用いてもよい。
【0026】
図3に示すように、時刻tに車両位置計測部1である車両iの位置を計測した結果を(xi(t),yi(t))とする。xi(t),yi(t)はそれぞれ画面上での横方向の座標と縦方向の座標を示すものとする。所定周期毎に車両位置計測部1で計測された車両位置(xi(t),yi(t))を並べると図3のように車両の移動軌跡を示すことになる。
【0027】
次に、図4に示すように、車両進行方向算出部21が車両位置計測部1で計測された車両移動軌跡から、現在時刻tでの車両位置(xi(t),yi(t))と、所定の時間間隔Δtだけさかのぼったときの車両位置(xi(t-Δt),yi(t-Δt))を比較して、画面上の移動距離(Δx,Δy)を算出する(ステップST21)。さらに、この移動距離から車両の進行方向θ iを求める。なお、移動距離(Δx,Δy)は数式1で定義されるものとし、進行方向θiは数式2で定義されるものとする。
【0028】
【数1】
Figure 0003830875
【数2】
Figure 0003830875
【0029】
道路進行情報22では、図5に示すように、監視対象の道路上を進行する車両の進行方向の最小値θ1と最大値θ2を保持しておく。前記最小値θ1と最大値θ2は、監視個所の道路線形に応じて予め定めておく角度であり、通常に走行する車両が通り得る角度に設定する。なお、本実施の形態では画像のx,y座標を元に進行方向θiと最小値θ1と最大値θ2を設定しているが、道路進行方向位置と道路横断方向位置とに対してこれらを設定してもよい。
【0030】
次に、図6に示すように、異常軌跡データ判定部23が車両進行方向算出部21で求められた車両進行方向θiと、道路進行情報22で保持している車両進行方向の最小値θ1と最大値θ2を読み出し、数式3に示す判定条件を用いて車両iの移動軌跡が道路進行方向と異なるかどうかを判定する(テップST22)。以降のステップST3以降では、数式3に示す判定条件を満たす移動軌跡のみを対象に処理を行い、数式3に示す判定条件を満たさない移動軌跡はここで消去するものとする。
【0031】
【数3】
Figure 0003830875
【0032】
図6は数式3の判定条件を満たさず、異常軌跡データ判定部23が異常な軌跡と判定して消去する軌跡データの例を示す、図7は数式3の判定条件を満たし以降の処理を継続する軌跡データの例を示す。
【0033】
このように、異常軌跡データ判定部23ではあらかじめ与えられた道路上の車両移動方向と比較することで、移動軌跡の真偽を判定できるので、その後の処理の信頼性を高めることができる。
【0034】
さらに、車両速度計測部3が、異常軌跡データ判定部23が正常な移動軌跡であると判定した各車両の移動軌跡を読み出し、各車両の移動速度を計測する(ステップST3)。
【0035】
さらに、異常事象判定部4が、異常軌跡データ判定部23が正常な移動軌跡であると判定した各車両の移動軌跡と、それに対応する、車両速度計測部3で計測された移動速度を読み取り、停止車両、低速車両、高速車両、異常走行などの異常事象が発生しているか否かを判定し、必要があれば外部機器への通知や履歴への記録を行う(ステップST4)。
【0036】
最後に、交通量計測部5が、異常軌跡データ判定部23が正常な移動軌跡であると判定した各車両の移動軌跡と、それに対応する、車両速度計測部3で計測された移動速度を読み取り、各車線毎の通行台数、平均速度などの交通量を計測し、外部機器への通知や履歴への記録を行う(ステップST5)。
【0037】
以上のステップST1〜ステップST5の処理が所定の時間間隔で繰り返し実行される。
【0038】
以上のように、この発明の実施の形態1によれば、軌跡データ検証部2において、車両位置計測部1で求められた車両軌跡の進行方向と、あらかじめ与えられた道路進行方向を比較して、異常な移動をしている車両軌跡を不正な軌跡とみなし、以降の車両速度計測部の処理対象としないようにしたので、車両位置計測部での計測誤りを排除することができ、交通量の計測精度や異常事象の検知精度を向上することができるという効果が得られる。
【0039】
また、この発明の実施の形態1によれば、監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部1と、前記車両位置計測部1によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部2と、前記車両位置計測部1によって計測された車両位置の経時データと前記車両軌跡データ検証部2の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部3と、前記車両位置計測部1と前記車両速度計測部3で計測されたデータから交通量を算出する交通量計測部5とを備えているので、車両を取り巻く環境による車両自身の見え方の変化に起因して異常な移動をしている車両軌跡が不正な軌跡とみなして補正され、適正な車両位置、車両軌跡のデ−タにより高精度な交通量計測ができる効果がある。
【0040】
また、この発明の実施の形態1によれば、監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部1と、前記車両位置計測部1によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部2と、前記車両位置計測部1によって計測された車両位置の経時データと前記車両軌跡データ検証部2の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部3と、前記車両速度計測部3によって計測された車両の速度と前記車両位置計測部1によって計測された車両の存在位置から停止、低速、高速、異常走行等の車両走行の異常事象の発生を検知する異常事象検知部4とを備えているので、車両を取り巻く環境による車両自身の見え方の変化に起因して異常な移動をしている車両軌跡が不正な軌跡とみなして補正され、適正な車両位置、車両軌跡のデ−タにより高精度な異常事象検知ができる効果がある。
【0041】
また、この発明の実施の形態1によれば、前記車両軌跡データ検証部2は、前記車両位置計測部1で計測された車両位置データの経時的な変化からもとまる車両の進行方向と、あらかじめ保持する道路の進行方向を比較することによって前記異常な移動をしている車両移動軌跡を不正な軌跡とみなすものであるので、あらかじめ与えられた道路進行方向に対して異常な移動をしている車両軌跡が、不正な軌跡とみなされ、以降の車両速度計測部3の処理対象とされず、従って、高精度な交通量計測、或いは高精度な異常事象検知ができる効果がある。
【0042】
なお、前記異常な移動は、例えば、日光の照度変化や日光による陰陽変化、構造物の影、風に揺れる樹木の影、隣接車線の他の車両や構造物の窓等からの反射光、等々、車両を取り巻く環境に基づいて、走行車両自身の見え方が、走行車両自身の実際の走行方向とは異なった方向に移動しているかのように見える場合をいう。具体的には、例えば、走行車両が構造物や他の大型車両等により一時的に隠された際に、その近辺に別の車両のヘッドライトの明かりの動きや対向車両などの別の物体の動きがあった場合などがある。
【0043】
なお、この発明の実施の形態1では、車両位置計測部1の動作原理や機能については特に限定されるものではなく、図3に示したような車両移動軌跡が得られる装置であればよい。
【0044】
また、このこの発明の実施の形態1では、車両速度計測部3や異常事象判定部4や交通量計測部5の動作は特に限定されるものではなく、任意の動作を行う装置の組み合わせでよい。
【0045】
実施の形態2.
以下、この発明の実施の形態2を図8〜図11に基づいて説明する。図8は道路交通流計測装置の一例を示すブロック図、図9は道路交通流装置の動作の一例について説明するフローチャート、図10はデータ補正の対象となる車輌移動軌跡を説明する図、図11データ補正の対象とならない移動軌跡を説明する図である。
【0046】
図8において、車両軌跡デ−タ検証部2は、移動量算出部24と同一個所停留データの補正部25とで構成されている。前記移動量算出部24は、前記車両位置計測部1で計測された各車両の移動軌跡の中で、ノイズの重畳によって不安定な軌跡となっているものを抽出するものである。前記同一個所停留データの補正部25は、前記移動量算出部24での算出結果から、前記不安定な軌跡となっている前記車両軌跡に係るデ−タの微小な動きの繰り返し移動軌跡を補正するものである。
【0047】
前記ノイズや不安定な軌跡となっている要因は、例えば日光の照度変化や日光による陰陽変化、構造物の影、風に揺れる樹木の影、隣接車線の他の車両や構造物の窓等からの反射光、等々、車両を取り巻く環境において、車両自身の見え方の変化を誘発し、車両位置計測の精度を低下させる要因をいう。具体的には、例えば、風に揺れている樹木の影が停止車両に重なった状態になった場合や、周囲を通行する車両のヘッドライトに照らされて停止車両の明るく照らされた部分が通行車両の移動に伴って変化する場合などがある。
【0048】
なお、図8における他の構成要素については実施の形態1によるもの(図1)と同様であるのでその説明を省略する。
【0049】
次に動作について説明する。装置が起動されると、車両位置計測部1が所定周期毎の各車両の車両位置を計測する(ステップST1)。ここでの詳細方式については、例えば前述の従来の技術の例で示した画像処理による車両計測技術があげられるが、その他のセンサによるものを用いてもよい。
【0050】
そして、図10に示すように、移動量算出部24が車両位置計測部1で計測された車両移動軌跡から、現在時刻tでの車両位置(xi(t),yi(t))と、所定の時間間隔Δtだけさかのぼったときの車両位置(xi(t-Δt),yi(t-Δt))を比較して、画面上の移動距離rΔ tを算出する。さらに、時間間隔Δtでの累積移動量raccを算出する(ステップST23)。ここで移動距離rΔ tと累積移動量raccはそれぞれ数式4と数式5で定義されるものとする。
【0051】
【数4】
Figure 0003830875
【0052】
【数5】
Figure 0003830875
【0053】
このように求まった移動距離rΔ tと累積移動量raccは一定領域内でノイズの影響で微小な動きを繰り返している移動軌跡を特徴付けることができる。図10に示すように、本来一箇所に停止しているべき停止車両の移動軌跡がノイズの影響で微小な動きを繰り返している場合、移動距離rΔ tは小さくなり、累積移動量raccはrΔ tに比べて大きくなる。図11に示すように、通常の走行車両を示す移動軌跡の場合は、移動距離rΔ tは大きくなり、累積移動量raccはrΔ tと同程度の大きさになる。
【0054】
次に、データぶれ補正部25が移動量算出部24で算出した移動距離および累積移動量を用いて、一定領域内の微小な動きを繰り返しているものかどうかを判定する(ステップST24)。その判定条件に当てはまった場合には、該当する移動軌跡は停止車両を示すものであるとみなし、一箇所に停止しているように移動軌跡データを補正する。デーぶれ補正部での判定条件は数式6で定義されるものとする。なお、数式6において、rおよびRはあらかじめ定める判定条件パラメータである。
【0055】
【数6】
Figure 0003830875
【0056】
数式6を満たした移動軌跡データの補正は、Δt間の車両位置の平均を求め、時間Δtの間車両が平均位置に停留しているように移動軌跡データを補正するものとする。
【0057】
次に、車両速度計測部3が、データぶれ補正部25で補正を行った移動軌跡を読み出し、各車両の移動速度を計測する(ステップST3)。
【0058】
次いで、異常事象判定部4が、データぶれ補正部25で補正を行った各車両の移動軌跡と、それに対応する、車両速度計測部3で計測された移動速度を読み取り、停止車両、低速車両、高速車両、異常走行などの異常事象が発生しているか否かを判定し、必要があれば外部機器への通知や履歴への記録を行う(ステップST4)。
【0059】
最後に、交通量計測部5が、データぶれ補正部25で補正を行った各車両の移動軌跡と、それに対応する、車両速度計測部3で計測された移動速度を読み取り、各車線毎の通行台数、平均速度などの交通量を計測し、外部機器への通知や履歴への記録を行う(ステップST5)。
【0060】
以上のステップST1〜ステップST5の処理が所定の時間間隔で繰り返し実行される。
【0061】
以上のように、この発明の実施の形態2によれば、車両軌跡データ検証部2において、車両位置計測部1で求められた車両軌跡の動きを検証し、一定の領域内で微小な動きを繰り返しているものは停止車両の軌跡にノイズが重畳しているものとみなし、以降の車両速度計測部ではノイズを除去した軌跡を利用するようにしたので、ノイズの影響がある中でも確実に停止車両を判定できるという効果が得られる。
【0062】
換言すると、この発明の実施の形態2によれば、前記車両軌跡データ検証部2は、前記車両位置計測部1で計測された車両位置データの経時的な変化から車両軌跡データの微小な動きの繰り返しを検出し当該デ−タの微小な動きの繰り返しを補正するものであるので、微小な動きを繰り返している場合は停止車両の軌跡にノイズが重畳しているものとみなされ、以降の車両速度計測部ではノイズが除去された車両軌跡デ−タが利用され、従って、高精度に停止車両を判定できるという効果がある。
【0063】
前記ノイズは、例えば日光の照度変化や日光による陰陽変化、構造物の影、風に揺れる樹木の影、隣接斜線の他の車両や構造物の窓等からの反射光、等々、車両を取り巻く環境において、車両自身の見え方の変化を誘発し、車両位置計測の精度を低下させる要因をいう。
【0064】
なお、この発明の実施の形態1では、車両位置計測部1の動作原理や機能については特に限定されるものではなく、図3に示したような車両移動軌跡が得られる装置であればよい。
【0065】
また、この発明の実施の形態2では、車両速度計測部3や異常事象判定部4や交通量計測部5の動作は特に限定されるものではなく、任意の動作を行う装置の組み合わせでよい。
【0066】
さらに、この発明の実施の形態2では、前述のように、同一個所停留データの補正部25で判定条件にあてはまったものは車両位置を平均値(一定値)に置き換えるようにしたが、車両位置を置き換えずに判定条件に当てはまったという情報を異常事象判定部4へ通知し、異常事象判定部4はその情報をもとに停止車両の判定を行うようにしてもよい。
【0067】
実施の形態3.
以下、この発明の実施の形態3を、図12及び図13に基づいて説明する。図12は道路交通流計測装置の一例を示すブロック図、図13は道路交通流装置の動作の一例について説明するフローチャートである。
【0068】
図12において、2は車両軌跡データ検証部で、車両位置計測部1で計測された車両移動軌跡を解析し、必要に応じてデータ消去やデータ補正を行うものである
【0069】
前記車両軌跡データ検証部2は、前記車両進行方向算出部21と前記道路進行方向情報22と前記異常軌跡データ判定部23と前記移動量算出部24と同一個所停留データの補正部25と検証結果統合部26とで構成されている。
【0070】
前記検証結果統合部26は、異常軌跡データ判定部23での判定結果と同一個所停留データの補正部25での軌跡データ補正結果を統合し、車両速度計測部3および異常事象判定部4および交通量計測部5で使用する軌跡データを生成する検証結果統合部である。
【0071】
なお、図12におけるその他の構成要素についてはこの発明の実施の形態1ないしこの発明の実施の形態2によるもの(図1ないし図8)と同様であるのでその説明を省略する。
【0072】
次に動作について説明する。装置が起動されると、ステップST1において車両位置計測部1が所定周期毎の各車両の車両位置を計測する。ここでの詳細方式については、例えば前述の従来の技術の例で示した画像処理による車両計測技術があげられるが、その他のセンサによるものを用いてもよい。
【0073】
ついで、車両進行方向算出部21および異常軌跡データ判定部23が、車両位置計測部1が誤って計測した車両軌跡を消去する(ステップST21およびステップST22)。詳細な動作は前述のこの発明の実施の形態1によるものと同様であるのでその説明を省略する。
【0074】
ステップST21およびステップST22と並行して、移動量算出部24および同一個所停留データの補正部25が車両軌跡データの移動量を算出してノイズが重畳した車両軌跡データを補正する(ステップST23およびステップST24)。詳細な動作は前述のこの発明の実施の形態2によるものと同様であるのでその説明を省略する。
【0075】
次いで、検証結果統合部26が異常軌跡データ判定部23と同一個所停留データの補正部25から出力された結果を統合する(ステップST25)。
【0076】
異常軌跡データ判定部23で異常データと判定されず、同一個所停留データの補正部25でもデータ補正が行われなかった車両移動軌跡については、車両位置計測部1の計測結果をそのまま利用する。異常軌跡データ判定部23で異常データと判定され、同一個所停留データの補正部25でもデータ補正が行われた場合には、異常軌跡データ判定部23の判定もノイズによる誤判定の恐れがあるので、同一個所停留データの補正部25での補正結果を優先して利用することにする。異常データの判定やデータ補正の一方が行われた場合にはその結果を利用することにする。
【0077】
前記ノイズは、例えば日光の照度変化や日光による陰陽変化、構造物の影、風に揺れる樹木の影、隣接斜線の他の車両や構造物の窓等からの反射光、等々、車両を取り巻く環境において、車両自身の見え方の変化を誘発し、車両位置計測の精度を低下させる要因をいう。
【0078】
次に、車両速度計測部3が、検証結果統合部26が統合した移動軌跡を読み出し、各車両の移動速度を計測する(ステップST3)。
【0079】
ステップST4においては、異常事象判定部4が、検証結果統合部26が統合した各車両の移動軌跡と、それに対応する、車両速度計測部3で計測された移動速度を読み取り、停止車両、低速車両、高速車両、異常走行などの異常事象が発生しているか否かを判定し、必要があれば外部機器への通知や履歴への記録を行う。
【0080】
最後に、交通量計測部5が、検証結果統合部26が統合した各車両の移動軌跡と、それに対応する、車両速度計測部3で計測された移動速度を読み取り、各車線毎の通行台数、平均速度などの交通量を計測し、外部機器への通知や履歴への記録を行う(ステップST5)。
【0081】
以上のステップST1〜ステップST5の処理が所定の時間間隔で繰り返し実行される。
【0082】
このように、この発明の実施の形態3によれば、異常軌跡データ補正部23において、車両軌跡の進行方向と道路の向きとの比較と、一定時間における移動量の解析を同時に行い、さらにその結果を統合して、以降の車両速度計測部3では車両位置計測部1で誤計測した車両軌跡を除去もしくは補正するようにしたので、車両位置計測部1での計測誤りを排除することができ、交通量の計測精度や異常事象の検知精度を向上することができるという効果が得られる。
【0083】
換言すると、この発明の実施の形態3によれば、監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部1と、前記車両位置計測部1によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部2と、前記車両位置計測部1によって計測された車両位置の経時データと前記車両軌跡データ検証部2の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部3と、前記車両位置計測部1と前記車両速度計測部3で計測されたデータから交通量を算出する交通量計測部5と、前記車両速度計測部3によって計測された車両の速度と前記車両位置計測部1によって計測された車両の存在位置から停止、低速、高速、異常走行等の車両走行の異常事象の発生を検知する異常事象検知部4とを備え、前記車両軌跡データ検証部2は、前記車両位置計測部1で計測された車両位置データの経時的な変化からもとまる車両の進行方向と、あらかじめ保持する道路の進行方向を比較することによって前記異常な移動をしている車両移動軌跡を不正な軌跡とみなす共に、前記車両位置計測部1で計測された車両位置データの経時的な変化から車両軌跡データの微小な動きの繰り返しを検出し当該デ−タの微小な動きの繰り返しを補正するものであるので、あらかじめ与えられた道路進行方向に対して異常な移動をしている車両軌跡が、不正な軌跡とみなされ、以降の車両速度計測部3の処理対象とされず、従って、高精度な交通量計測、或いは高精度な異常事象検知ができる効果があり、また、微小な動きを繰り返している場合は停止車両の軌跡にノイズが重畳しているものとみなされ、以降の車両速度計測部3ではノイズが除去された車両軌跡デ−タが利用され、従って、高精度に停止車両を判定できるという効果がある。
【0084】
【発明の効果】
請求項1に記載の道路交通流計測装置の発明は、監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部、前記車両位置計測部によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部、前記車両位置計測部によって計測された車両位置の経時データと前記車両軌跡データ検証部の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部、及び前記車両位置計測部と前記車両速度計測部で計測されたデータから交通量を算出する交通量計測部を備えているので、車両を取り巻く環境による車両自身の見え方の変化に起因して異常な移動をしている車両軌跡が不正な軌跡とみなして補正され、適正な車両位置、車両軌跡のデ−タにより高精度な交通量計測ができる効果がある。
【0085】
請求項2に記載の道路交通流計測装置の発明は、監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部、前記車両位置計測部によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部、前記車両位置計測部によって計測された車両位置の経時データと前記車両軌跡データ検証部の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部、及び前記車両速度計測部によって計測された車両の速度と前記車両位置計測部によって計測された車両の存在位置から停止、低速、高速、異常走行等の車両走行の異常事象の発生を検知する異常事象検知部を備えているので、車両を取り巻く環境による車両自身の見え方の変化に起因して異常な移動をしている車両軌跡が不正な軌跡とみなして補正され、適正な車両位置、車両軌跡のデ−タにより高精度な異常事象検知ができる効果がある。
【0086】
請求項3に記載の道路交通流計測装置の発明は、請求項1及び請求項2の何れか一に記載の道路交通流計測装置において、前記車両軌跡データ検証部は、前記車両位置計測部で計測された車両位置データの経時的な変化からもとまる車両の進行方向と、あらかじめ保持する道路の進行方向を比較することによって前記異常な移動をしている車両移動軌跡を不正な軌跡とみなすものであるので、あらかじめ与えられた道路進行方向に対して異常な移動をしている車両軌跡が、不正な軌跡とみなされ、以降の車両速度計測部の処理対象とされず、従って、高精度な交通量計測、或いは高精度な異常事象検知ができる効果がある。
【0087】
請求項4に記載の道路交通流計測装置の発明は、請求項1及び請求項2の何れか一に記載の道路交通流計測装置において、前記車両軌跡データ検証部は、前記車両位置計測部で計測された車両位置データの経時的な変化から車両軌跡デ−タの微小な動きの繰り返しを検出し当該デ−タの微小な動きの繰り返しを補正するものであるので、微小な動きを繰り返している場合は停止車両の軌跡にノイズが重畳しているものとみなされ、以降の車両速度計測部ではノイズが除去された車両軌跡データが利用され、従って、高精度に停止車両を判定できるという効果がある。
【0088】
請求項5に記載の道路交通流計測装置の発明は、監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部、前記車両位置計測部によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部、前記車両位置計測部によって計測された車両位置の経時データと前記車両軌跡データ検証部の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部、前記車両位置計測部と前記車両速度計測部で計測されたデータから交通量を算出する交通量計測部、及び前記車両速度計測部によって計測された車両の速度と前記車両位置計測部によって計測された車両の存在位置から停止、低速、高速、異常走行等の車両走行の異常事象の発生を検知する異常事象検知部を備え、前記車両軌跡データ検証部は、前記車両位置計測部で計測された車両位置データの経時的な変化からもとまる車両の進行方向と、あらかじめ保持する道路の進行方向を比較することによって前記異常な移動をしている車両移動軌跡を不正な軌跡とみなす共に、前記車両位置計測部で計測された車両位置データの経時的な変化から車両軌跡データの微小な動きの繰り返しを検出し当該デ−タの微小な動きの繰り返しを補正するものであるので、あらかじめ与えられた道路進行方向に対して異常な移動をしている車両軌跡が、不正な軌跡とみなされ、以降の車両速度計測部の処理対象とされず、従って、高精度な交通量計測、或いは高精度な異常事象検知ができる効果があり、また、微小な動きを繰り返している場合は停止車両の軌跡にノイズが重畳しているものとみなされ、以降の車両速度計測部ではノイズが除去された車両軌跡デ−タが利用され、従って、高精度に停止車両を判定できるという効果がある。
【図面の簡単な説明】
【図1】 この発明の実施の形態1を示すブロック図である。
【図2】 この発明の実施の形態1による道路交通流計測・異常事象検知装置の動作について説明するフローチャートである。
【図3】 この発明の実施の形態1における車両軌跡の計測結果について説明する図である。
【図4】 この発明の実施の形態1における移動軌跡の進行方向算出について説明する図である。
【図5】 この発明の実施の形態1における道路の進行方向データについて説明する図である。
【図6】 この発明の実施の形態1における移動軌跡の進行方向と道路の進行方向の比較方法について説明する図である。
【図7】 この発明の実施の形態1における移動軌跡の進行方向と道路の進行方向の比較方法について説明する図である。
【図8】 この発明の実施の形態2を示すブロック図である。
【図9】 この発明の実施の形態2による道路交通流計測・異常事象検知装置の動作について説明するフローチャートである。
【図10】 この発明の実施の形態2におけるデータ補正の対象となる移動軌跡を説明する図である。
【図11】 この発明の実施の形態2におけるデータ補正の対象とならない移動軌跡を説明する図である。
【図12】 この発明の実施の形態3を示すブロック図である。
【図13】 実施の形態3による道路交通流計測・異常事象検知装置の動作について説明するフローチャートである。
【図14】 従来の道路交通流計測・異常事象検知装置を示す。
【図15】 従来の道路交通流計測・異常事象検知装置の動作について説明するフローチャートである。
【図16】 従来の道路交通流計測・異常事象検知装置で計測する移動軌跡について説明する図である。
【符号の説明】
1 車両位置計測部、 2 軌跡デ−タ検証部、
3 車両速度計測部、 4 異常事象検証部、
5 交通量計測部、 21 車両進行方向算出部、
22 道路進行方向情報、 23 異常軌跡デ−タ判定部、
24 移動量算出部、 25 同一個所停留データの補正部、
26 検証結果統合部。

Claims (5)

  1. 監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部、前記車両位置計測部によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部、前記車両位置計測部によって計測された車両位置の経時データと前記車両軌跡データ検証部の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部、及び前記車両位置計測部と前記車両速度計測部で計測されたデータから交通量を算出する交通量計測部を備えた道路交通流計測装置。
  2. 監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部、前記車両位置計測部によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部、前記車両位置計測部によって計測された車両位置の経時データと前記車両軌跡データ検証部の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部、及び前記車両速度計測部によって計測された車両の速度と前記車両位置計測部によって計測された車両の存在位置から停止、低速、高速、異常走行等の車両走行の異常事象の発生を検知する異常事象検知部を備えた道路交通流計測装置。
  3. 請求項1及び請求項2の何れか一に記載の道路交通流計測装置において、前記車両軌跡データ検証部は、前記車両位置計測部で計測された車両位置データの経時的な変化からもとまる車両の進行方向と、あらかじめ保持する道路の進行方向を比較することによって前記異常な移動をしている車両移動軌跡を不正な軌跡とみなすことを特徴とする道路交通流計測装置。
  4. 請求項1及び請求項2の何れか一に記載の道路交通流計測装置において、前記車両軌跡データ検証部は、前記車両位置計測部で計測された車両位置データの経時的な変化から車両軌跡データの微小な動きの繰り返しを検出し当該デ−タの微小な動きの繰り返しを補正することを特徴とする道路交通流計測装置。
  5. 監視範囲中の車両の位置を所定の周期で計測し前記車両位置の経時データを得る車両位置計測部、前記車両位置計測部によって計測された経時データから画面上の車両移動軌跡の経時的な変化を検証し異常な移動をしている車両移動軌跡を不正な軌跡とみなしてその軌跡データを排除し前記経時データを補正する車両軌跡データ検証部、前記車両位置計測部によって計測された車両位置の経時データと前記車両軌跡データ検証部の検証結果を利用して正常な移動軌跡の車両の速度を計測する車両速度計測部、前記車両位置計測部と前記車両速度計測部で計測されたデータから交通量を算出する交通量計測部、及び前記車両速度計測部によって計測された車両の速度と前記車両位置計測部によって計測された車両の存在位置から停止、低速、高速、異常走行等の車両走行の異常事象の発生を検知する異常事象検知部を備え、前記車両軌跡データ検証部は、前記車両位置計測部で計測された車両位置データの経時的な変化からもとまる車両の進行方向と、あらかじめ保持する道路の進行方向を比較することによって前記異常な移動をしている車両移動軌跡を不正な軌跡とみなす共に、前記車両位置計測部で計測された車両位置データの経時的な変化から車両軌跡データの微小な動きの繰り返しを検出し当該デ−タの微小な動きの繰り返しを補正する道路交通流計測装置。
JP2002243888A 2002-08-23 2002-08-23 系統連系システムの保護継電装置 Expired - Lifetime JP3830875B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002243888A JP3830875B2 (ja) 2002-08-23 2002-08-23 系統連系システムの保護継電装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002243888A JP3830875B2 (ja) 2002-08-23 2002-08-23 系統連系システムの保護継電装置

Publications (2)

Publication Number Publication Date
JP2004086341A JP2004086341A (ja) 2004-03-18
JP3830875B2 true JP3830875B2 (ja) 2006-10-11

Family

ID=32052538

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002243888A Expired - Lifetime JP3830875B2 (ja) 2002-08-23 2002-08-23 系統連系システムの保護継電装置

Country Status (1)

Country Link
JP (1) JP3830875B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5397157B2 (ja) * 2009-10-28 2014-01-22 日本電気株式会社 車両追跡システム、車両追跡方法および車両追跡プログラム
JP6791331B2 (ja) * 2019-03-27 2020-11-25 株式会社Jvcケンウッド 記録制御装置、記録制御方法、およびプログラム
JP2022032109A (ja) * 2020-08-11 2022-02-25 株式会社デンソー 衝突判定装置、衝突判定方法および衝突回避システム
CN113990075B (zh) * 2021-12-30 2022-03-18 广州市交通规划研究院 一种交通调查数据和轨迹数据融合的流量分配方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3435623B2 (ja) * 1996-05-15 2003-08-11 株式会社日立製作所 交通流監視装置
JP3920535B2 (ja) * 2000-06-12 2007-05-30 株式会社日立製作所 車両検出方法及び車両検出装置

Also Published As

Publication number Publication date
JP2004086341A (ja) 2004-03-18

Similar Documents

Publication Publication Date Title
US11087148B2 (en) Barrier and guardrail detection using a single camera
CN104520913B (zh) 车载环境识别装置
CN103523014B (zh) 车载装置
US9478139B2 (en) Driving safety system and barrier screening method thereof
JP4608352B2 (ja) トロリー線の位置測定装置
JP4600929B2 (ja) 停止低速車両検出装置
CN108074401B (zh) 一种车辆加塞行为判别方法及装置
KR20030080285A (ko) 차량의 대기 길이 측정 장치 및 방법
KR101639722B1 (ko) 소실점 보정 장치 및 방법
KR101914103B1 (ko) 차로 자동 생성 장치 및 그 방법
JP2007026300A (ja) 交通流異常検出装置及び交通流異常検出方法
JP2019028665A (ja) 車載カメラのキャリブレーション装置及び方法
JP4296287B2 (ja) 車両認識装置
JP4312729B2 (ja) レール継目板の締結ボルトの脱落検出装置
JP2003329439A (ja) 距離検出装置
JP3830875B2 (ja) 系統連系システムの保護継電装置
JP3360163B2 (ja) 交通流監視装置
JP4400258B2 (ja) 高さ制限超過検知装置
JP4069919B2 (ja) 衝突判定装置、および方法
CN116645831A (zh) 一种交通盲区检测及预警系统
JP2001357396A (ja) 画像処理装置および画像認識装置
JP2006268678A (ja) 停止低速車両検出装置及び方法
JP3734594B2 (ja) 異常事象検出装置および交通流計測装置
JP4061298B2 (ja) 交通流計測装置
JP2009032030A (ja) 車両検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060712

R151 Written notification of patent or utility model registration

Ref document number: 3830875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130721

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term