JP4343447B2 - ITV image processing device - Google Patents

ITV image processing device Download PDF

Info

Publication number
JP4343447B2
JP4343447B2 JP2001001009A JP2001001009A JP4343447B2 JP 4343447 B2 JP4343447 B2 JP 4343447B2 JP 2001001009 A JP2001001009 A JP 2001001009A JP 2001001009 A JP2001001009 A JP 2001001009A JP 4343447 B2 JP4343447 B2 JP 4343447B2
Authority
JP
Japan
Prior art keywords
event
image processing
itv
information
traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001001009A
Other languages
Japanese (ja)
Other versions
JP2002208085A (en
Inventor
展行 菅野
浩 春山
徹 目崎
孝善 田島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2001001009A priority Critical patent/JP4343447B2/en
Publication of JP2002208085A publication Critical patent/JP2002208085A/en
Application granted granted Critical
Publication of JP4343447B2 publication Critical patent/JP4343447B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はITV画像処理システムに関し、更に詳しくは道路状況を監視するITV画像処理システムに関する。
【0002】
【従来の技術】
高速道路等では、所定の距離ごとにITVカメラ(工業用カメラ)を設置し、交通情報を管理している。図6は従来の画像処理装置の非連動システムの概要を示す図である。道路に沿って、所定の距離毎にITVカメラ1が設置されている。これらITVカメラ1から取り込んだ映像信号は、ITV中央局2に送られ、大型表示装置3に表示される。該大型表示装置3としては、例えばグラフィックパネル(GP)やプロジェクタ等が用いられる。各場所のITVカメラ1で撮影された映像は、一定間隔で切り換えられ、大型表示装置3に表示される。
【0003】
一方、これらITVカメラ1から取り込んだ映像信号は、画像処理装置4に入って画像処理が行なわれ、事象が検出される。検出された事象は、ITV中央局2に送られ、大型表示装置3に表示される。また、ITV中央局2に付属のITV操作卓5からは、道路工事中の場所については非連動設定が入力される。この非連動設定入力は、画像処理装置4に入力される。画像処理装置4は、この非連動設定が入力された場所の画像処理は行わなくなり、該当ITVカメラ1からの映像信号は、大型表示装置3には表示されなくなる。図7は非連動設定時のイメージである。図は、道路工事のために一車線規制されている状態を示す。このような道路工事の場合には、異常ではないので、予めITV操作卓5から非連動設定を入力しておくものである。
【0004】
図8は従来の運用フローを示す図である。工事実施前と、工事実施中と、工事実施後についてのそれぞれの処理内容を示す。
(工事実施前)
この場合には、交通管制室では事務所からの工事予定(車線規制あり)を入力する(S1)。入力された工事予定イベントは、交通中央局のデータベース(DB)に登録される(S2)。施設制御室では、トンネル内の工事や規模の大きい工事の場合には、別途レポートやファクシミリで交通中央局に送る(S3)。施設制御室では、DBに登録された内容を交通モニタで確認する(S4)。
【0005】
(工事実施前)
この場合には、現場より非常電話等で工事開始を連絡すると(S5)、施設制御室よりスピーカで会話がモニタされ(S6)、該当路線の区間の位置を判断する(S10)。一方、ステップS5で現場より工事開始を連絡すると、交通管制室は、イベント入力卓にて該当工事予定イベントを消し、工事イベントを入力にする(S7)。この内容は、交通中央局のDB等に登録する(S8)。
【0006】
ステップS7の内容は施設制御室のモニタで確認され(S9)、該当路線の区間の位置を判断する。
次に、モニタを現場映像に切り替えて状況を確認する(S11)。次に、ターゲット区間の画像処理を非連動にする操作を行なう(S12)。次に、画像処理の事象判定に反映する(S13)。
【0007】
(工事実施後)
この場合には、現場より非常電話等で工事終了を連絡し(S14)、イベント入力卓にて該当工事イベントを消す(S15)。この内容は、交通中央局のDBに登録される(S16)。一方、施設制御室では、スピーカでその会話をモニタする(S17)。その結果、街頭路線の区間の位置を判断すする(S19)。また、一方、イベント入力卓で該当工事イベントを消すと、その内容は交通モニタで確認され(S18)、ステップS19に入る。
【0008】
次に、施設制御室では、現場映像に切り替えて状況を確認する(S20)。次に、ターゲット区間の画像処理を連動にする操作を行ない(S21)、画像処理の事象判定部に反映する(S22)。
【0009】
図9は従来システムの構成例を示すブロック図である。図6と同一のものは、同一の符号を付して示す。画像処理装置4は、映像入力機能部11、画像処理事象判定部12及び外部情報交換機能部13より構成されている。ITV中央局2は、外部情報交換機能部14と外部表示機能部15から構成されている。交通中央局10において、16はイベント処理機能部である。
【0010】
ITVカメラ1から入力された映像信号は、映像入力機能部11に入力され、その後、画像処理事象判定機能部12に入る。この画像処理事象判定機能部12では画像処理が行われ、その結果が外部情報交換機能部13を経てITV中央局2の外部情報交換機能部14に入る。この結果は、外部情報交換機能部14から外部表示機能部15を経て大型表示装置3に表示される。
【0011】
一方、交通中央局10では、イベント入力卓34からイベントが入力され、イベント処理機能部16に入り、処理が行われる。
ITV操作卓5から画像処理事象判定機能部12の連動、非連動の設定を入力し、外部情報交換機能部14から画像処理装置4の外部情報交換機能部13へ設定情報が入力され、画像処理事象判定機能部12に反映される。
【0012】
道路管理者が道路の交通状況を監視する一つの手段として、道路脇等に設置されたITVカメラ映像を監視センタで一括集中管理している。従来は、モニタテレビによる目視監視が主であったが最近では、前述したようにITVカメラ映像をリアルタイムでコンピュータ処理することにより渋滞や事故/故障等により車両監視等を人間に代わって自動検出する画像処理機能が一部導入されている。今後、画像処理技術の向上と共に、監視作業の省力化、高度化を目的に整備される傾向にある。
【0013】
従来の画像処理による交通状況監視では、事故処理、道路工事、道路保守作業等により車線規制が実施されると、停止されている工事車両等を事故/故障等による停止車両と検出してしまったり、車線規制のために設置したパイロン(図7参照)等を落下物と検出したりするため、車線規制時の画像処理機能における車線規制により一般の車両が通行不可となる部分は画像処理しない。あるいはその部分の処理結果は非連動設定にする。
【0014】
【発明が解決しようとする課題】
前述の車線規制時に該当するITVカメラ映像を画像処理するITV画像処理システムに対して該当カメラ(車線規制地点を撮影しているカメラ)の車線規制部分の画像処理機能停止あるいはその部分の検出結果の非連動(出力しない)等の設定をする作業には、車線規制を行なう毎に行なう設定、車線規制後は解除する操作がある。
【0015】
監視センタでは延べ数百kmもの道路を管理する関係上、作業発生頻度も高く、各作業について各車線規制が開始/解除される情報を監視センタの担当者が確認し、設定/解除するITVカメラ映像及び車線や時間の特定を正確に行なう等作業負担が非常に大きく、作業ミス等が発生する確率も高くなる。
【0016】
本発明はこのような課題に鑑みてなされたものであって作業者の負荷軽減と確実化を実現することができるITV画像処理システムを提供することを目的としている。
【0017】
【課題を解決するための手段】
(1)図1は本発明の原理ブロック図である。図6と同一のものは、同一の符号を付して示す。図に示すシステムは、道路情報をITVカメラ1で撮影して、該ITVカメラ1で撮影した道路情報から道路に発生した異常事象を検出するITV画像処理システムを構成している。
【0018】
図において、1はITVカメラ、4は前記ITVカメラ1で撮影した情報を画像処理する画像処理装置、20は道路情報を一括管理する交通中央局、2は画像処理装置4及び交通中央局20と接続されるITV中央局、3は該ITV中央局2と接続され、道路情報を表示する表示装置、5は画像処理の連動、非連動の割込み制御を行なうITV操作卓である。34は交通中央局20と接続され、イベント情報を入力するイベント入力卓である。
【0019】
そして、このシステムは、前記ITV中央局2から道路状況を表現するイベント情報を取り込み、前記画像処理装置4で処理した事象判定結果とを比較して優先事象を判定するようにしている。
【0020】
このように構成すれば、ITVカメラ1から入力されたイベントとイベント入力卓34を介してITV中央局2から入力されたイベントの優先順位を判定することができる。
【0021】
この場合において、前記画像処理装置4内に、イベント事象の優先順位をデータとして記憶しておき、ITVカメラ1から読み込んだ事象との比較を行ない、優先順位に応じて比較結果を表示装置に表示することを特徴とする。
【0022】
このように構成すれば、ITVカメラ1から読み込んだ事象の優先順位の判定を行ない、その結果を表示装置に表示することができる。
また、本発明は、前記優先事象を画像処理装置の検知限度に応じて複数の段階に分けたことを特徴とする。
【0023】
このように構成すれば、画像処理手段4で処理できる事象のみ画像処理を行わせることができる。
また、本発明は、予め車線規制を行なう場合には、その情報を画像処理装置に入力しておき、その車線については、監視を行なわないことを特徴とする。
【0024】
このように構成すれば、予め工事中であることが分かっている車線については、画像処理を行わないようにして無駄な作業を省略することができる。
また、本発明は、優先順位で判定された連動、非連動の結果を運用に適さない場合はITV操作卓5より割り込み制御を行なうことができる。
【0025】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態例を詳細に説明する。
ここで、交通中央局システムとイベントについて説明する。交通中央局システムは、集中監視センタに設置され、大きく以下の3つの体系に分類される。各体系は、更に目的に応じて複数のサブシステムにて構成されている。各サブシステムは、一部のシステムを除きオンラインで収集系→処理系→提供系の順に接続されている。
【0026】
・収集系:道路上の交通状況を収集することを目的としている。例として、交通量の計測や渋滞判定を行なう交通量計測システム、道路の交通の流れを映像監視するITVシステム、非常電話からの通報を受け付ける非常電話システム等がある。
【0027】
・処理系:収集系で収集された情報を基に道路状況の入力、監視、配信を行なうことを目的としている。例として、交通中央システム、情報交換システムがある。
【0028】
・提供系:一般利用者に道路状況を提供することを目的としている。例として、情報板システム、ハイウェイラジオシステム、情報ターミナルシステム等がある。
【0029】
交通中央局システムでは、管理対象路線の交通状況を一元的に管理するため、道路上に発生する事象(渋滞や事故等)をイベントと定義し、更にイベントの内容を定型のフォーマットで表現した電文(データ)をイベント情報と定義している。
【0030】
イベント情報は、共通部とデータ部に分類され、共通部は、時刻情報、事象種別、イベント番号、路線、方向、位置等の共通情報が格納され、データ部は事象種別毎の詳細情報(事象原因、事象内容、車線情報等)が格納される。1つの事象を1イベントとして表現し、各サブシステム間はこのイベント情報をもって道路状況の情報のやりとりをしている。
【0031】
イベント情報の生成にあたっては、収集系のサブシステムで自動的に生成されるものもあれば、非常電話等の通報による事故発見時は、監視センタで担当者が端末から入力する場合がある。これらのイベント情報は、処理系により管理され、隣接交通中央局からのイベント情報との整合処理等を行ない、提供系へイベント情報を配信する。
【0032】
このイベント整合処理を行なうことで、同一路線上に時間差をもってお互いに接近した状態で発生した事象種別の等しい複数の帯状イベントを、連続した単一の帯状イベントにまとめることができ、提供系に一つのイベント情報として配信する。提供系のサブシステムにおいては、受信したイベント情報を基にハイウェイラジオ、情報板等から適切な情報提供を自動的に行なう。
【0033】
図2は本発明の交通中央局システムの一実施の形態例を示すブロック図である。図において、20は交通中央局で、イベントの集配信管理や、整合処理等を行なう。交通中央局20において、20aは画像処理装置4とのインタフェース、20bは災害イベント作成部である。該交通中央局20は、通信線を介しての他の機関や交通中央局システムと接続されている。
【0034】
28は交通量を検出するセンサ、31は該センサ28と接続され交通量を計測する交通量計測システム(トラフィックカウンタ)、29は気象センサ、32は該気象センサ29と接続される気象中央システム、30はトンネル内の災害発生を検出するセンサ、33は該センサ30と接続されるトンネル防災受信盤である。これら交通量計測システム31、気象中央システム32及びトンネル防災受信盤の出力は、交通中央局20と接続されている。
【0035】
21は情報板中央システムで、情報板21aに対して道路情報を表示させる。22はラジオ再放送処理装置、23はハイウェイテレホン処理装置、24はVICS部、25は道路情報を送出するビーコン、26はサービスエリア(SA)やパーキングエリア(PA)に設置された情報ターミナル中央部で、端末27に道路情報を表示する。これら情報板中央システム21、ラジオ再放送処理装置22、ハイウェイテレホン処理部23、VICS中央部24及び情報ターミナル中央部26は、ネットワーク40を介して交通中央局20と接続されている。
【0036】
34は工事予定、工事、規制、事故等を手動で入力するイベント入力卓である。3は交通中央局20及びITV中央局2と接続され、各種情報を表示する大型表示装置である。該大型表示装置3としては、例えばグラフィックパネルやプロジェクタが用いられる。
【0037】
1は道路状況を撮影する所定距離毎に設置されたITVカメラ、2はこれらITVカメラ1の出力を受けて画像処理を行ない、その結果を大型表示装置3に表示するITV中央局である。4はITVカメラ1の出力を受けて画像処理を行ない事象を判定する画像処理装置である。5はITV中央局2と接続され各種コマンド等を入力するITV操作卓である。35は道路上に所定間隔で設置された非常電話、36はこれら非常電話35からの通話を受ける非常電話受付台である。画像処理装置4は、インタフェース20aを介して交通中央局20と接続されている。交通中央局20、ITV中央局2、情報板中央システム21、ラジオ再放送処理装置22、ハイウェイテレホン処理装置23、VICS中央部24、情報ターミナル中央部26、交通量計測システム31、気象中央システム32、トンネル防災受信盤33及びイベント入力卓34とで交通中央局システムを構成している。このように構成されたシステムの動作を説明すれば、以下の通りである。
【0038】
交通中央局20には、各種センサ28〜30から交通量や、気象情報や、火災発生の有無等が通知される。該交通中央局20は、これら情報を受けて、大型表示装置3に表示する。また、交通中央局20は、情報板中央システム21を介して情報板21aに交通情報を表示し、ラジオ再放送処理装置22から交通情報を流す。また、ハイウェイテレホン処理装置23を動作させる。また、VICS中央部24を動作させてビーコン25から道路情報を流す。また、情報ターミナル中央部26から端末27に道路情報を表示する。また、イベント入力卓34からイベントを入力し、画像処理装置4に入力する。
【0039】
ITV中央局2は、ITVカメラ1で撮影された映像を取り込んで大型表示装置3に表示させる。また、ITV操作卓41からITVカメラの選択等を行なう。入力されたイベントを大型表示装置3に表示させる。また、非常電話受付台36で非常電話35から非常状態(事故や故障車など)を受け付けると、イベント入力卓34から非常情報を入力し、大型表示装置3に表示させる。
【0040】
図3は本発明による処理フローである。
(イベント発生時)
イベント発生現場より非常電話等でイベント発生を連絡する(S1)。交通管制室側では、イベント入力卓34にてイベントを入力する(S2)。同時に、交通管制室では、交通中央局20のDBにそのイベントを登録する(S4)。また、交通管制室では、交通中央局20にてイベント情報から該当路線区間を検索し、画像処理対象区間ならイベント情報をITV中央局2に送信する(S3)。
【0041】
交通管制室からイベント情報を受けた施設制御室(交通管制室)では、ITV中央局2にてイベント情報から該当画像処理装置4を導き、イベント事象を送信する(S5)。次に、画像処理装置4にて事象判定結果とイベント事象を用いて、優先判定処理を行なう(S6)。
【0042】
次に、交通管制室では、優先判定結果処理によりITV中央局2及びモニタに対して以下の出力を行なう。
判定結果が入力卓優先の場合出力事象は入力卓事象であり、映像モニタはロックしない。判定結果が画像処理優先の場合出力事象は画像処理事象であり、映像モニタをロックし、常時映像を流す(S7)。
【0043】
このように本発明によれば、ITVカメラ1から入力されたイベントとITV中央局2から入力されたイベントの優先順位を判定することができる。
(イベント終了時)
イベント終了時には、現場より非常電話等でイベント終了を連絡する(S8)。この連絡を受けると、交通管制室では、イベント入力卓にてイベントを消去する(S9)。同時に、交通中央局20のDBにその旨を登録する(S9)。この場合、施設管制室では、S5〜S7のシーケンスにならい、状変入力時に優先判定処理を行なう(S11)。
【0044】
ここで、車線規制を行なう場合、イベント入力卓34、又はITV操作卓41からその旨を入力しておくことで、その車線については監視を行なわないようにすることができ、無駄な作業を省略することができる。
【0045】
図4は本発明の一実施の形態例を示すブロック図である。図1、図2と同一のものは、同一の符号を付して示す。図において、4は画像処理装置、2はITV中央局、20は交通中央局である。画像処理装置4において、11はITVカメラ1と接続される画像入力機能部、12は該映像入力機能部11と接続され、画像処理を行ない、事象判定を行なう画像処理事象判定機能部、51は画像処理事象判定機能部12と接続され、予めテーブルとして記憶されいる事象の優先情報データとITVカメラ1から入力されたイベントと、イベント入力卓34から入力されるイベントとの優先順位を判定する優先事象判定機能部、13は優先事象判定機能部51及び外部と接続され、外部情報の交換機能を有する外部情報交換機能部である。
【0046】
ITV中央局2において、52は画像処理装置4の外部情報交換機能部13と接続される外部情報交換機能部、15は外部情報交換機能部52から出力される映像を大型表示装置3に表示する外部表示機能部、53は交通中央局20からのイベント情報を受信し、外部情報交換機能部52に与えるイベント情報受信機能部である。
【0047】
交通中央局20において、54はイベント入力卓34と接続されるイベント処理機能部、55は該イベント処理機能部54と接続されるイベント情報送信先選定機能部、56は該イベント情報送信先選定機能部55と接続されるイベント情報送信機能部である。イベント情報送信機能部56は、イベント情報受信機能部53と接続されている。このような構成により、画像処理装置4と、ITV中央局2と、交通中央局20はオンラインで接続されている。このように構成されたシステムの動作を説明すれば、以下の通りである。
【0048】
交通中央局20では、先ずイベント入力卓34から入力されるイベント情報の路線データ及びKP(キロポスト)データから該当する画像処理装置を選定する。ここで、KPとは、例えば東京から何km離れているかを示す標識である。交通中央局20では、イベント情報を選定した画像処理装置4に対してイベント情報をITV中央局2を介して送信する。
【0049】
画像処理装置4では、画像処理事象判定機能部12にて常時事象判定処理を行なっており、事象検知時にはイベント事象が優先事象判定機能部51に送られる。また、外部情報交換機能部13より交通中央局20からのイベント情報が優先事象判定機能部51に送られる。そこで、優先事象判定機能部51では、上記2つのイベント事象を図5のイベント事象の優先順位をもとに比較し、優先順位が高い(高い1…8…15低い)事象を事象検出結果として出力する。
【0050】
このように構成すれば、ITVカメラ1から読み込んだ事象の優先順位の判定を行ない、その結果を表示装置に表示することができる。
この実施の形態例では、交通中央局20にITV画像処理装置4の監視範囲(路線、KP範囲)を登録する機能を追加し、登録管理を行なう。交通中央局20では、管理している車線に対してイベント情報(規制イベント)に変化(新規、更新、終了)があった場合、そのイベント情報から読みとれる発生位置から監視範囲に該当するITV画像処理装置4を選定し、ITV中央局2にイベントを配信する。
【0051】
ITV中央局2では、受信したイベント情報から該当画像処理装置4に対してスルーで配信する。ITV画像処理装置4では、受信したイベント情報から、路線、KP方向のデータ項目を照合し、受信したイベント情報が監視範囲内に該当するか判定する。監視範囲外の処理は行なわない。
【0052】
カメラの監視範囲内の場合、画像処理による事象判定結果とイベント情報内の事象イベントにより優先判定処理を行なう。この判定結果により、ITV中央局2に事象イベントの出力と、映像モニタ制御(カメラのロック等)を行なう。
【0053】
ここで、図5の画像処理による事象判定の可否について説明する。イベント入力卓34から入力できるイベント事象は、図5内のイベント事象全てに可能であるが、画像処理技術を用いて検知できるイベントには限界がある。そこで、検知限度を4段階に分けた。既に検知可能を二重○、将来的に可能と思われるものを○、将来的に一部可能と思われるものを△、技術的に不可能なものを×とする。
【0054】
このように構成すれば、画像処理手段4で処理できる事象のみ画像処理を行わせることができる。
【0055】
【発明の効果】
以上説明したように、本発明によれば、以下の効果が得られる。
本発明によれば、ITVカメラから入力されたイベントとITV中央局から入力されたイベントの優先順位を判定することができる。
【0056】
この場合において、ITVカメラ1から読み込んだ事象の優先順位の判定を行ない、その結果を表示装置に表示することができる。
また、本発明によれば、画像処理手段で処理できる事象のみ画像処理を行わせることができる。
【0057】
また、本発明によれば、予め工事中であることが分かっている車線については、画像処理を行わないようにして無駄な作業を省略することができる。
このように、本発明によれば、作業者の負荷軽減と確実化を実現することができるITV画像処理システムを提供することができる。
【図面の簡単な説明】
【図1】本発明の原理ブロック図である。
【図2】本発明の交通中央局システムの一実施の形態例を示すブロック図である。
【図3】本発明による運用フローを示す図である。
【図4】本発明の一実施の形態例を示すブロック図である。
【図5】イベント事象の優先順位(例)の説明図である。
【図6】従来の画像処理装置の非連動設定システムの概要を示す図である。
【図7】非連動設定時のイメージを示す図である。
【図8】従来の運用フローを示す図である。
【図9】従来システムの構成例を示すブロック図である。
【符号の説明】
1 ITVカメラ
2 ITV中央局
3 表示装置
4 画像処理装置
20 交通中央局
34 イベント入力卓
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an ITV image processing system, and more particularly to an ITV image processing system for monitoring road conditions.
[0002]
[Prior art]
On highways and the like, ITV cameras (industrial cameras) are installed at predetermined distances to manage traffic information. FIG. 6 is a diagram showing an outline of a conventional non-linked system of an image processing apparatus. An ITV camera 1 is installed every predetermined distance along the road. The video signals captured from these ITV cameras 1 are sent to the ITV central office 2 and displayed on the large display device 3. As the large display device 3, for example, a graphic panel (GP) or a projector is used. Images taken by the ITV camera 1 at each location are switched at regular intervals and displayed on the large display device 3.
[0003]
On the other hand, the video signals captured from these ITV cameras 1 enter the image processing device 4 and are subjected to image processing to detect events. The detected event is sent to the ITV central office 2 and displayed on the large display device 3. In addition, from the ITV console 5 attached to the ITV central office 2, a non-linked setting is input for a place under road construction. This non-linked setting input is input to the image processing device 4. The image processing device 4 does not perform image processing of the place where the non-linked setting is input, and the video signal from the ITV camera 1 is not displayed on the large display device 3. FIG. 7 is an image at the time of non-linked setting. The figure shows a state where one lane is restricted for road construction. In the case of such road construction, since it is not abnormal, the unlinked setting is input from the ITV console 5 in advance.
[0004]
FIG. 8 is a diagram showing a conventional operation flow. The contents of each process before construction, during construction, and after construction are shown.
(Before construction)
In this case, the construction schedule (with lane restrictions) from the office is input in the traffic control room (S1). The inputted construction schedule event is registered in the database (DB) of the transportation central office (S2). In the facility control room, in the case of tunnel construction or large-scale construction, a separate report or facsimile is sent to the traffic central office (S3). In the facility control room, the contents registered in the DB are confirmed by a traffic monitor (S4).
[0005]
(Before construction)
In this case, when the construction start is notified from the site by an emergency telephone or the like (S5), the conversation is monitored by the speaker from the facility control room (S6), and the position of the section of the corresponding route is judged (S10). On the other hand, when the start of construction is notified from the site in step S5, the traffic control room deletes the construction scheduled event from the event input console and inputs the construction event (S7). This content is registered in the DB of the transportation central office or the like (S8).
[0006]
The content of step S7 is confirmed on the monitor of the facility control room (S9), and the position of the section of the corresponding route is determined.
Next, the status is confirmed by switching the monitor to the on-site video (S11). Next, an operation for disabling image processing in the target section is performed (S12). Next, it is reflected in the event determination of the image processing (S13).
[0007]
(After construction)
In this case, the end of the construction is notified from the site by an emergency telephone or the like (S14), and the construction event is erased at the event input console (S15). This content is registered in the DB of the transportation central office (S16). On the other hand, in the facility control room, the conversation is monitored with a speaker (S17). As a result, the position of the section of the street route is determined (S19). On the other hand, when the construction event is deleted on the event input console, the contents are confirmed on the traffic monitor (S18), and the process goes to step S19.
[0008]
Next, in the facility control room, the situation is confirmed by switching to the on-site video (S20). Next, an operation for linking image processing in the target section is performed (S21), and reflected in the event determination unit for image processing (S22).
[0009]
FIG. 9 is a block diagram showing a configuration example of a conventional system. The same components as those in FIG. 6 are denoted by the same reference numerals. The image processing apparatus 4 includes a video input function unit 11, an image processing event determination unit 12, and an external information exchange function unit 13. The ITV central office 2 includes an external information exchange function unit 14 and an external display function unit 15. In the traffic central station 10, reference numeral 16 denotes an event processing function unit.
[0010]
The video signal input from the ITV camera 1 is input to the video input function unit 11 and then enters the image processing event determination function unit 12. The image processing event determination function unit 12 performs image processing, and the result enters the external information exchange function unit 14 of the ITV central office 2 via the external information exchange function unit 13. This result is displayed on the large display device 3 from the external information exchange function unit 14 via the external display function unit 15.
[0011]
On the other hand, in the traffic central station 10, an event is input from the event input console 34, and the event processing function unit 16 is entered for processing.
Linked / non-linked settings of the image processing event determination function unit 12 are input from the ITV console 5, and setting information is input from the external information exchange function unit 14 to the external information exchange function unit 13 of the image processing device 4. This is reflected in the event determination function unit 12.
[0012]
As a means for a road manager to monitor the traffic situation on the road, ITV camera images installed on the side of the road and the like are collectively managed by the monitoring center. Conventionally, visual monitoring using a monitor TV has been mainly performed. Recently, as described above, the ITV camera video is processed in real time by computer processing to automatically detect vehicle monitoring due to traffic jams, accidents / failures, etc. instead of humans. Some image processing functions have been introduced. In the future, with the improvement of image processing technology, there is a tendency to improve for the purpose of labor saving and sophistication of monitoring work.
[0013]
In the conventional traffic situation monitoring by image processing, if lane control is implemented by accident processing, road construction, road maintenance work, etc., a construction vehicle that has been stopped may be detected as a stopped vehicle due to an accident / failure, etc. In order to detect a pylon (see FIG. 7) installed for the lane restriction as a fallen object, the image processing function at the time of the lane restriction does not perform image processing on a portion where a general vehicle cannot pass. Alternatively, the processing result of that part is set to non-linked setting.
[0014]
[Problems to be solved by the invention]
For the ITV image processing system that performs image processing of the ITV camera image corresponding to the above-mentioned lane regulation, the image processing function of the lane regulation part of the corresponding camera (camera shooting the lane regulation point) is stopped or the detection result of the part is detected. The work for setting non-interlocking (no output) or the like includes a setting performed every time lane restriction is performed, and an operation of releasing after lane restriction.
[0015]
Because the monitoring center manages several hundred km of roads, the frequency of work is high, and the ITV camera image that the person in charge of the monitoring center confirms and sets / cancels information about the start / cancellation of each lane restriction for each work. In addition, the work load such as accurately specifying the lane and time is very large, and the probability of occurrence of a work mistake or the like increases.
[0016]
The present invention has been made in view of such problems, and an object of the present invention is to provide an ITV image processing system capable of reducing and ensuring the load on the operator.
[0017]
[Means for Solving the Problems]
(1) FIG. 1 is a principle block diagram of the present invention. The same components as those in FIG. 6 are denoted by the same reference numerals. The system shown in the figure constitutes an ITV image processing system that captures road information with the ITV camera 1 and detects an abnormal event occurring on the road from the road information captured with the ITV camera 1.
[0018]
In the figure, 1 is an ITV camera, 4 is an image processing device that performs image processing on information captured by the ITV camera 1, 20 is a traffic central station that collectively manages road information, and 2 is an image processing device 4 and a traffic central station 20. A connected ITV central station 3 is connected to the ITV central station 2 and displays a road information display. Reference numeral 5 denotes an ITV console that performs image processing linked / non-linked interrupt control. An event input console 34 is connected to the traffic central station 20 and inputs event information.
[0019]
This system takes in event information representing road conditions from the ITV central office 2 and compares the event determination result processed by the image processing device 4 to determine a priority event.
[0020]
With this configuration, it is possible to determine the priority order of events input from the ITV camera 1 and events input from the ITV central office 2 via the event input console 34.
[0021]
In this case, the priority order of the event phenomenon is stored as data in the image processing device 4 and compared with the event read from the ITV camera 1, and the comparison result is displayed on the display device according to the priority order. It is characterized by doing.
[0022]
If comprised in this way, the priority of the event read from the ITV camera 1 can be determined, and the result can be displayed on the display device.
Further, the present invention is characterized in that the priority event is divided into a plurality of stages according to a detection limit of the image processing apparatus.
[0023]
If comprised in this way, only the event which can be processed by the image processing means 4 can be made to perform image processing.
Further, according to the present invention, when lane regulation is performed in advance, the information is input to the image processing apparatus, and the lane is not monitored.
[0024]
With this configuration, it is possible to omit wasteful work without performing image processing for lanes that are known to be under construction in advance.
Further, according to the present invention, the interrupt control can be performed from the ITV console 5 when the result of interlocking or non-interlocking determined by the priority order is not suitable for operation.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Here, the traffic central office system and events will be described. The traffic central office system is installed in a centralized monitoring center and is roughly classified into the following three systems. Each system is further composed of a plurality of subsystems according to the purpose. Each subsystem is connected online in the order of collection system → processing system → providing system except for some systems.
[0026]
-Collection system: The purpose is to collect traffic conditions on the road. Examples include a traffic measurement system that measures traffic and judgment of traffic congestion, an ITV system that monitors video of traffic on roads, and an emergency telephone system that accepts reports from emergency telephones.
[0027]
・ Processing system: The purpose is to input, monitor, and distribute road conditions based on information collected by the collecting system. Examples include a traffic central system and an information exchange system.
[0028]
-Provision system: The purpose is to provide road conditions to general users. Examples include an information board system, a highway radio system, and an information terminal system.
[0029]
In the Central Transportation System, in order to centrally manage the traffic conditions of the managed routes, events (congestions, accidents, etc.) that occur on the road are defined as events, and the event contents are expressed in a standard format. (Data) is defined as event information.
[0030]
Event information is classified into a common part and a data part. The common part stores common information such as time information, event type, event number, route, direction, and position, and the data part contains detailed information (events) for each event type. Cause, event details, lane information, etc.) are stored. One event is expressed as one event, and each subsystem exchanges road condition information with this event information.
[0031]
Some of the event information is automatically generated by the collection subsystem, and the person in charge at the monitoring center may input from the terminal when an accident is detected by a notification such as an emergency call. These event information is managed by the processing system, performs matching processing with the event information from the adjacent traffic central office, etc., and distributes the event information to the providing system.
[0032]
By performing this event matching process, multiple band events of the same event type that occur in the state of being close to each other with a time difference on the same route can be combined into a single continuous band event. Distribute as one event information. The providing subsystem automatically provides appropriate information from a highway radio, an information board, etc. based on the received event information.
[0033]
FIG. 2 is a block diagram showing an embodiment of the traffic central station system of the present invention. In the figure, reference numeral 20 denotes a traffic central station which performs event collection and distribution management, matching processing, and the like. In the traffic central station 20, 20a is an interface with the image processing apparatus 4, and 20b is a disaster event creation unit. The traffic central station 20 is connected to other agencies and the traffic central station system via a communication line.
[0034]
28 is a sensor for detecting traffic, 31 is a traffic measurement system (traffic counter) connected to the sensor 28 and measures traffic, 29 is a weather sensor, 32 is a weather central system connected to the weather sensor 29, Reference numeral 30 denotes a sensor for detecting the occurrence of a disaster in the tunnel, and 33 denotes a tunnel disaster prevention receiving board connected to the sensor 30. The outputs of the traffic volume measurement system 31, the weather central system 32, and the tunnel disaster prevention reception board are connected to the traffic central station 20.
[0035]
An information board central system 21 displays road information on the information board 21a. 22 is a radio rebroadcasting processor, 23 is a highway telephone processor, 24 is a VICS unit, 25 is a beacon for sending road information, and 26 is a central part of an information terminal installed in a service area (SA) or parking area (PA). Then, road information is displayed on the terminal 27. These information board central system 21, radio rebroadcast processing device 22, highway telephone processing unit 23, VICS central unit 24 and information terminal central unit 26 are connected to the traffic central station 20 via a network 40.
[0036]
Reference numeral 34 denotes an event input table for manually inputting construction schedules, constructions, regulations, accidents, and the like. A large display device 3 is connected to the traffic central station 20 and the ITV central station 2 and displays various information. As the large display device 3, for example, a graphic panel or a projector is used.
[0037]
Reference numeral 1 denotes an ITV camera installed at every predetermined distance for photographing road conditions. Reference numeral 2 denotes an ITV central station that receives the output of the ITV camera 1 and performs image processing and displays the result on the large display device 3. An image processing apparatus 4 receives an output from the ITV camera 1 and performs image processing to determine an event. Reference numeral 5 denotes an ITV console connected to the ITV central office 2 for inputting various commands. 35 is an emergency telephone installed on the road at predetermined intervals, and 36 is an emergency telephone reception desk for receiving calls from these emergency telephones 35. The image processing apparatus 4 is connected to the traffic central station 20 via the interface 20a. Transportation Central Office 20, ITV Central Office 2, Information Board Central System 21, Radio Rebroadcast Processing Unit 22, Highway Telephone Processing Unit 23, VICS Central Unit 24, Information Terminal Central Unit 26, Traffic Measurement System 31, Weather Central System 32 The tunnel disaster prevention reception board 33 and the event input console 34 constitute a traffic central station system. The operation of the system configured as described above will be described as follows.
[0038]
The traffic central office 20 is notified of traffic volume, weather information, presence or absence of fire, etc. from various sensors 28-30. The traffic central office 20 receives these information and displays them on the large display device 3. Further, the traffic central station 20 displays the traffic information on the information board 21 a via the information board central system 21 and flows the traffic information from the radio rebroadcast processing device 22. Further, the highway telephone processing device 23 is operated. In addition, the VICS central portion 24 is operated to flow road information from the beacon 25. Further, road information is displayed on the terminal 27 from the information terminal central portion 26. Also, an event is input from the event input console 34 and input to the image processing apparatus 4.
[0039]
The ITV central office 2 takes in the video imaged by the ITV camera 1 and displays it on the large display device 3. In addition, an ITV camera is selected from the ITV console 41. The input event is displayed on the large display device 3. In addition, when an emergency state (accident, broken car, etc.) is received from the emergency telephone 35 at the emergency telephone reception stand 36, emergency information is input from the event input console 34 and displayed on the large display device 3.
[0040]
FIG. 3 is a processing flow according to the present invention.
(When an event occurs)
The event occurrence is notified from the event occurrence site by an emergency telephone or the like (S1). On the traffic control room side, an event is input at the event input console 34 (S2). At the same time, the event is registered in the DB of the traffic central office 20 in the traffic control room (S4). In the traffic control room, the relevant route section is searched from the event information in the traffic central station 20, and if it is an image processing target section, the event information is transmitted to the ITV central station 2 (S3).
[0041]
In the facility control room (traffic control room) that receives the event information from the traffic control room, the ITV central station 2 guides the image processing device 4 from the event information and transmits the event phenomenon (S5). Next, priority determination processing is performed using the event determination result and the event event in the image processing device 4 (S6).
[0042]
Next, in the traffic control room, the following output is performed to the ITV central office 2 and the monitor by priority determination result processing.
If the judgment result is input console priority, the output event is an input console event, and the video monitor is not locked. If the determination result is image processing priority, the output event is an image processing event, the video monitor is locked, and the video is always played (S7).
[0043]
As described above, according to the present invention, it is possible to determine the priority order of the event input from the ITV camera 1 and the event input from the ITV central station 2.
(At the end of the event)
At the end of the event, the end of the event is communicated from the site via an emergency call (S8). Upon receiving this notification, the traffic control room deletes the event at the event input console (S9). At the same time, the fact is registered in the DB of the traffic central office 20 (S9). In this case, in the facility control room, priority determination processing is performed at the time of state change input, following the sequence of S5 to S7 (S11).
[0044]
Here, when lane regulation is performed, by inputting the fact from the event input console 34 or the ITV console 41, the lane can be prevented from being monitored, and unnecessary work is omitted. can do.
[0045]
FIG. 4 is a block diagram showing an embodiment of the present invention. 1 and 2 are denoted by the same reference numerals. In the figure, 4 is an image processing apparatus, 2 is an ITV central station, and 20 is a traffic central station. In the image processing apparatus 4, 11 is an image input function unit connected to the ITV camera 1, 12 is connected to the video input function unit 11, performs image processing, and performs an event determination, and an image processing event determination function unit 51 It connected to the image processing event determining function unit 12, the event input from the priority information data and ITV camera 1 of the stored event as a table, the priority of the event input from the event input console 34 determines A priority event determination function unit 13 is connected to the priority event determination function unit 51 and the outside, and is an external information exchange function unit having an external information exchange function.
[0046]
In the ITV central office 2, 52 is an external information exchange function unit connected to the external information exchange function unit 13 of the image processing apparatus 4, and 15 is an image output from the external information exchange function unit 52 on the large display device 3. An external display function unit 53 is an event information reception function unit that receives event information from the traffic central office 20 and gives it to the external information exchange function unit 52.
[0047]
In the transportation central office 20, 54 is an event processing function unit connected to the event input console 34, 55 is an event information transmission destination selection function unit connected to the event processing function unit 54, and 56 is the event information transmission destination selection function. An event information transmission function unit connected to the unit 55. The event information transmission function unit 56 is connected to the event information reception function unit 53. With such a configuration, the image processing apparatus 4, the ITV central station 2, and the traffic central station 20 are connected online. The operation of the system configured as described above will be described as follows.
[0048]
The traffic central office 20 first selects a corresponding image processing device from the route data and KP (kilo post) data of the event information input from the event input console 34. Here, KP is a sign indicating how many kilometers away from Tokyo, for example. The traffic central station 20 transmits the event information via the ITV central station 2 to the image processing apparatus 4 that has selected the event information.
[0049]
In the image processing device 4, the image processing event determination function unit 12 always performs event determination processing, and an event event is sent to the priority event determination function unit 51 when an event is detected. Further, event information from the traffic central office 20 is sent from the external information exchange function unit 13 to the priority event determination function unit 51. Therefore, the priority event determination function unit 51 compares the above two event events based on the priority order of the event events in FIG. 5, and determines an event having a high priority (high 1... 8 ... 15 low) as an event detection result. Output.
[0050]
If comprised in this way, the priority of the event read from the ITV camera 1 can be determined, and the result can be displayed on the display device.
In this embodiment, a function for registering the monitoring range (route, KP range) of the ITV image processing device 4 is added to the traffic central station 20, and registration management is performed. In the traffic central office 20, when there is a change (new, update, end) in event information (regulation event) for the lane being managed, an ITV image corresponding to the monitoring range from the occurrence position read from the event information The processing device 4 is selected and the event is distributed to the ITV central office 2.
[0051]
The ITV central office 2 distributes the received event information to the corresponding image processing apparatus 4 through. The ITV image processing apparatus 4 collates data items in the route and KP direction from the received event information, and determines whether the received event information falls within the monitoring range. Processing outside the monitoring range is not performed.
[0052]
If it is within the monitoring range of the camera, priority determination processing is performed based on the event determination result by image processing and the event event in the event information. Based on this determination result, event event output to the ITV central office 2 and video monitor control (camera lock, etc.) are performed.
[0053]
Here, the possibility of event determination by the image processing of FIG. 5 will be described. Event events that can be input from the event input console 34 are possible for all event events in FIG. 5, but there are limits to events that can be detected using image processing technology. Therefore, the detection limit was divided into four stages. Double is already detectable, ○ is considered possible in the future, △ is considered partially possible in the future, and X is technically impossible.
[0054]
If comprised in this way, only the event which can be processed by the image processing means 4 can be made to perform image processing.
[0055]
【The invention's effect】
As described above, according to the present invention, the following effects can be obtained.
According to the present invention, it is possible to determine the priority of an event input from the ITV camera and an event input from the ITV central station.
[0056]
In this case, the priority of the event read from the ITV camera 1 can be determined and the result can be displayed on the display device.
Further, according to the present invention, it is possible to perform image processing only for events that can be processed by the image processing means.
[0057]
Further, according to the present invention, it is possible to omit wasteful work by not performing image processing for lanes that are known to be under construction in advance.
As described above, according to the present invention, it is possible to provide an ITV image processing system capable of reducing the burden on the worker and ensuring the reliability.
[Brief description of the drawings]
FIG. 1 is a principle block diagram of the present invention.
FIG. 2 is a block diagram showing an embodiment of a traffic central station system according to the present invention.
FIG. 3 is a diagram showing an operation flow according to the present invention.
FIG. 4 is a block diagram showing an embodiment of the present invention.
FIG. 5 is an explanatory diagram of priorities (examples) of events and events.
FIG. 6 is a diagram illustrating an outline of a non-interlocking setting system of a conventional image processing apparatus.
FIG. 7 is a diagram showing an image at the time of non-linked setting.
FIG. 8 is a diagram showing a conventional operation flow.
FIG. 9 is a block diagram illustrating a configuration example of a conventional system.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ITV camera 2 ITV central station 3 Display apparatus 4 Image processing apparatus 20 Traffic central station 34 Event input console

Claims (1)

各場所のITVカメラで撮影された映像を一定間隔で切り換え、大型表示装置に表示し道路状況を監視するITV画像処理装置において、
道路情報を一括管理する交通中央局から入力された路線区間に対応するITVカメラで撮影された撮影情報を画像処理することで発生したイベント事象を判定する画像処理事象判定機能部と、
該画像処理事象判定機能部で判定された事象判定結果と、道路情報を一括管理する交通中央局から入力された道路状況を表現するイベント事象とを、イベント事象毎の優先順位とを対応付けたイベント事象の優先順位を元に比較して、優先順位が高いイベント事象を事象検出結果として判定する優先事象判定機能部と、を備え、
予め車線規制を行なう場合には、車線規制を示す情報を前記交通中央局から前記優先事象判定機能部に入力しておき、車線規制される車線については画像処理を行なわないことを特徴とするITV画像処理装置。
In an ITV image processing apparatus that switches images taken by ITV cameras in each place at regular intervals and displays them on a large display device to monitor road conditions.
An image processing event determination function unit that determines an event event generated by image processing of shooting information shot by an ITV camera corresponding to a route section input from a traffic central office that collectively manages road information ;
The event determination result determined by the image processing event determination function unit and the event event expressing the road condition input from the traffic central office that collectively manages the road information are associated with the priority for each event event A priority event determination function unit that compares an event event having a higher priority as an event detection result by comparing the event events based on priority, and
When the lane restriction is performed in advance, information indicating the lane restriction is input from the traffic central office to the priority event determination function unit, and image processing is not performed for the lane restricted by the lane. Image processing device.
JP2001001009A 2001-01-09 2001-01-09 ITV image processing device Expired - Fee Related JP4343447B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001001009A JP4343447B2 (en) 2001-01-09 2001-01-09 ITV image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001001009A JP4343447B2 (en) 2001-01-09 2001-01-09 ITV image processing device

Publications (2)

Publication Number Publication Date
JP2002208085A JP2002208085A (en) 2002-07-26
JP4343447B2 true JP4343447B2 (en) 2009-10-14

Family

ID=18869695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001001009A Expired - Fee Related JP4343447B2 (en) 2001-01-09 2001-01-09 ITV image processing device

Country Status (1)

Country Link
JP (1) JP4343447B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326237A (en) * 2004-05-13 2005-11-24 Aisin Aw Co Ltd Navigation system
JP2007087287A (en) * 2005-09-26 2007-04-05 Nippon Telegr & Teleph Corp <Ntt> Disaster information distribution system and its management device
JP4945543B2 (en) * 2008-10-31 2012-06-06 株式会社東芝 Road traffic information providing system and method
JP2020003937A (en) * 2018-06-26 2020-01-09 株式会社東芝 Information processing device and traffic information provision method

Also Published As

Publication number Publication date
JP2002208085A (en) 2002-07-26

Similar Documents

Publication Publication Date Title
US6885936B2 (en) Information provision system and apparatus and method therefor
CN104123815A (en) Self-starting emergency rescue fast handling system for expressway
CN113643520A (en) Intelligent traffic accident processing system and method
KR101514696B1 (en) Safety Accident Management System Of Bridge
KR102214670B1 (en) 3D based station building control and operation system
CN113963475A (en) Transformer substation personnel safety management method and system
KR101744517B1 (en) Method for Supporting CCTV Image Service Between U-CITY Control Center and 112 Call Center
JP4091507B2 (en) Road management support system
US20210287532A1 (en) Apparatus and method for providing risk information by using mobile id group information
KR101483949B1 (en) Total mornitoring system
JPH04319991A (en) Long-distance monitor control device for mobile body
JP2023076554A (en) Information processing method
JP2001341644A (en) Operation control system
JP4343447B2 (en) ITV image processing device
KR101696730B1 (en) Method for intelligent city integrated monitoring and controlling system buildup
KR101386126B1 (en) Monitoring system for reverse driving vehicle
WO2024019404A1 (en) Road traffic network system for on-site control during occurrence of unexpected situation or disaster on road where there are mixture of autonomous vehicles, and method using same
KR100912463B1 (en) Load managing intergration system based on the Geographic information system and controlling method for the same
KR101764092B1 (en) Fire protection management system using geographical information and the control mehod thereof
CN113660300B (en) Intelligent alarm system and method with automatic positioning service
JP3613316B2 (en) Road control system and road control method
CN111626598B (en) Road information management system based on cloud computing
KR20160034833A (en) Integrated control system with dynamic user experience, control method thereof, and computer readable recording medium thereof
JP4232015B2 (en) Train approach warning system
CN109611153B (en) Multi-stage early warning method and system based on inside and outside of tunnel

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081029

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20081029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090202

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090602

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees