JPH11144192A - 交通情報表示装置および画像表示装置 - Google Patents

交通情報表示装置および画像表示装置

Info

Publication number
JPH11144192A
JPH11144192A JP9318936A JP31893697A JPH11144192A JP H11144192 A JPH11144192 A JP H11144192A JP 9318936 A JP9318936 A JP 9318936A JP 31893697 A JP31893697 A JP 31893697A JP H11144192 A JPH11144192 A JP H11144192A
Authority
JP
Japan
Prior art keywords
image
time
real
display device
past
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9318936A
Other languages
English (en)
Other versions
JP3851430B2 (ja
Inventor
Shoji Yokoyama
昭二 横山
Toshio Takaichi
敏雄 高市
Yukio Yamamoto
幸夫 山本
Seiichi Suzuki
誠一 鈴木
Hiroyuki Yamakawa
博幸 山川
Toshihiro Mori
俊宏 森
Hiroki Ishikawa
裕記 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AQUEOUS Research KK
AQUEOUS RESERCH KK
Aisin AW Co Ltd
Original Assignee
AQUEOUS Research KK
AQUEOUS RESERCH KK
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AQUEOUS Research KK, AQUEOUS RESERCH KK, Aisin AW Co Ltd filed Critical AQUEOUS Research KK
Priority to JP31893697A priority Critical patent/JP3851430B2/ja
Publication of JPH11144192A publication Critical patent/JPH11144192A/ja
Application granted granted Critical
Publication of JP3851430B2 publication Critical patent/JP3851430B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)

Abstract

(57)【要約】 【課題】 所定地点における交通状況をより的確に認識
することが可能な交通情報表示装置および画像表示装置
を提供する。 【解決手段】 同一地点に配置されたカメラにより、現
時点で撮像されたリアルタイム画像と、過去の時点で撮
像された比較基準画像とを取得し、両者を並べて表示装
置に同時に表示する。ユーザは、リアルタイム画像に写
されている車両数や密度と、比較基準画像に写されてい
る車両数や密度とを比較することで、同一地点における
過去の走行状態と最新の走行状態とを視覚的に比較する
ことができ、混雑状況に関して大まかに把握することが
可能になる。特に過去画像として、同一曜日の同一時刻
(近辺)を指定して取得、表示することで、より正確な
道路状況を把握することが可能になる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は交通情報表示装置お
よび画像表示装置に係り、例えば、道路の交通量等を撮
影した映像を画像情報として車両内に画面表示すること
で交通状況を認識する交通情報表示装置および画像表示
装置に関する。
【0002】
【従来の技術】道路の混雑状況等を知る場合、従来で
は、FM放送による道路交通情報を受信したり、交通情
報センターに電話で問い合わせることで、「○○地点か
ら××地点まで何キロの渋滞」と所定箇所や所定道路の
混雑状況の概要を知るようにしている。また、実際の道
路状況を撮像した画像を受信して表示することでリアル
タイムな画像から道路の混雑状況を知る方法も考えられ
る。
【0003】
【発明が解決しようとする課題】しかし、FM放送や電
話等による音声を媒介とした混雑状況では、現時点にお
ける実際の混雑状態を具体的に認識しづらかった。一
方、所望の地点で撮像された現時点での画像を受信して
表示する場合には、実際の状況を具体的に確認すること
ができるが、現時点において通常よりも混雑しているの
か否かを把握することができなかった。そこで本発明
は、所定地点における交通状況をより的確に認識するこ
とが可能な交通情報表示装置を提供することを第1の目
的とする。また、本発明は、特定地点における状況を的
確に認識することが可能な画像表示装置を提供すること
を第2の目的とする。
【0004】
【課題を解決するための手段】請求項1に記載した発明
では、複数の地点に配置された撮像装置のなかから所定
の撮像装置を指定する撮像装置指定手段と、この撮像装
置指定手段で指定された撮像装置によって撮像された現
時点でのリアルタイム画像を取得するリアルタイム画像
取得手段と、前記撮像装置指定手段で指定された同一の
撮像装置により過去に撮像された過去画像を取得する過
去画像取得手段と、前記リアルタイム画像取得手段で取
得されたリアルタイム画像と、前記過去画像取得手段で
取得された過去画像をと併せて表示する表示手段とを交
通情報表示装置に具備させて前記第1の目的を達成す
る。請求項2に記載した発明では、請求項1に記載した
交通情報表示装置において、所定の年月日、曜日、期間
のうちの少なくとも1つを指定する年月日等指定手段を
備え、前記過去画像取得手段は、前記年月日等指定手段
で指定された前記年月日等に撮像された過去画像を取得
する。請求項3に記載した発明では、特定の地点に設置
された撮像装置で撮像されたリアルタイム画像を通信回
線を介して取得するリアルタイム画像取得手段と、リア
ルタイム画像よりも以前に前記撮像装置で撮像された過
去の画像を取得する過去画像取得手段と、前記リアルタ
イム画像取得手段により取得されたリアルタイム画像
と、前記過去画像取得手段により取得された過去画像と
を併せて表示する表示手段と、を画像表示装置に具備さ
せて前記第2の目的を達成する。
【0005】
【発明の実施の形態】以下、本発明の交通情報表示装置
における好適な実施の形態について、図1から図7を参
照して詳細に説明する。 (1)実施形態の概要 本実施形態では、同一地点に配置されたカメラ(撮像装
置)により、現時点で撮像されたリアルタイム画像(基
地局21における画像要求データ受信時から5分前以内
に撮像された画像)と、過去の時点で撮像された比較基
準画像(過去画像)とを取得し、両者を並べて表示装置
に同時に表示する。つまり、特定の地点に設置された撮
像装置で撮像されたリアルタイム画像と、このリアルタ
イム画像よりも以前に同一の撮像装置で撮像された過去
の画像とを表示装置に併せて表示する。ユーザは、リア
ルタイム画像に写されている車両数や密度と、比較基準
画像像に写されている車両数や密度とを比較すること
で、同一地点における過去の走行状態と最新の走行状態
とを視覚的に比較することができ、混雑状況に関して大
まかに把握することが可能になる。特に過去画像とし
て、同一曜日の同一時刻(近辺)を指定して取得、表示
することで、より正確な道路状況を把握することが可能
になる。リアルタイム画像については、各地点に配置さ
れたカメラで道路状況を撮像した画像を収集する基地局
から送信してもらうことで取得する。取得したリアルタ
イム画像は、ユーザ操作により必要に応じて、撮像した
カメラ番号、撮像日時、その地点から所定地点までの通
過時間(ユーザが編集により入力する)等と共に過去画
像として自車両の画像データベースに格納しておく。比
較基準画像は、この自車両の画像データベースに格納し
てた過去画像から取り出す方法と、情報センタから参考
データとしてその都度送信してもらう方法とがある。
【0006】(2)実施形態の詳細 図1は、本実施形態の交通情報表示装置が使用される交
通情報表示システムのシステム構成を表したものであ
る。この図1に示すように、交通情報表示システムは、
車両側1と、道路状況を撮像した画像の撮像や収集を行
う基地局側2とで構成されており、車両側1と基地局側
2とは、無線による電話回線等の無線通信網(衛星通信
を含む)により接続可能になっている。
【0007】車両側1には、撮像日時や撮像カメラ等の
情報と共に過去画像が格納される画像データベース15
3を備えた本実施形態の交通情報表示装置が配置され
る。この車両側1に配置された交通情報表示装置から基
地局21に対して、リアルタイム画像と比較基準画像
(過去画像)等の画像要求データが送信されるようにな
っている。
【0008】一方、基地局側2には、各地点における交
通走行情報を撮像するカメラ23a、23b、…が所定
地点に配置され、これらの各カメラ23は、通信網22
を介して、基地局21に送信されるようになっている。
通信網22は、撮像した画像データを高速で基地局21
に送信するために、例えばISDN回線や有線による専
用の通信回線が使用されるが、その他、衛星通信を含め
た無線通信網を使用するようにしてもよい。カメラ23
は、基地局21から遠隔制御できるようになっており、
基地局21からの制御信号に従って定期的に又は制御信
号の受信時に所定エリアの撮像を行う。カメラ23は、
画像の撮像及び画像圧縮の機能を有しており、撮像した
画像データを圧縮して基地局21に送信する。画像圧縮
については、画像圧縮用のボード(プリント板)により
処理されるが、ソフトJPEG等のようにソフトウエア
による処理で圧縮するようにしてもよい。基地局21で
は、カメラ23から受信した圧縮画像を、撮像カメラ番
号や撮像日時等の撮像データと共に画像データベース2
4に格納する。
【0009】ここで、カメラ23が行う画像圧縮として
は、周知のJPEG、特開平5−227547号公報に
記載されてたFST圧縮、特開平8−154261号公
報に記載されたTIM圧縮その他の画像圧縮方法を用い
て圧縮したのちに基地局に送信するようになっている。
【0010】ここでFST圧縮は、A/D変換したビデ
オ信号を2種類の参照値の一方を表す複数のピクセルと
ビットマップとからなるマトリクスのブロックにコード
化し、コード化されたブロック内の非冗長性情報を発見
し特定しコード化し、各ブロックを直前のフレームの対
応するブロックと比較することにより、ブロック間の冗
長性およびフレーム間の冗長性を除去し、更に、現在の
カラー値を直前のカラー値に対する差の形でコード化す
ることにより情報量を圧縮するものである。このFST
圧縮は、RGBデータに対して、n×mビットからなる
ブロックに対して、輝度値および2つのカラーAカラー
又はBカラーのいずれがその各ピクセルを示すかを表す
ビットマップ(bm)からなる、ブロック成分を生成す
る。そして、生成したブロック成分を、本実施形態にお
ける符号化部と類似方法により、前のブロック、直前の
フレームと比較して所定の符号化規則に従って符号化す
るものである。
【0011】また、TIM圧縮は、圧縮画像データの伸
張処理を画像データ受信装置側で容易に行うことができ
るようにした画像圧縮の方法である。TIM圧縮は、画
像圧縮に当たって、(1)人間の目は輝度変化には敏感
であるが色変化には鈍感であるという性質、(2)画像
を構成するピクセルを適当にブロック化したときに多く
の自然画像で概ね成立する1ブロック内には通常2色し
か存在しないという仮定に基づいて画像圧縮を行うもの
である。すなわち、各ピクセルデータが輝度信号Yと色
差信号U、Vで構成された画像データを分割し、n×m
(通常は4×4)からなるブロックデータを生成する。
そして、生成したブロックを表す、輝度信号と色差信号
とを有する第1色成分(y1、u1、v1)と第2色成
分(y2、u2、v2)の2色と、第1色成分と第2色
成分の分布を示すn×mのビットマップとからなるブロ
ック成分を生成することでデータを圧縮する。そして、
生成したブロック成分を、そのブロック成分と、ブロッ
ク成分が一致または最も類似している類似ブロックを選
択し、この類似ブロックを示すコードデータと、類似ブ
ロックのブロック成分に対する差分データとから符号化
することで、更にデータを圧縮し、画像データ受信装置
に送信するようにした圧縮技術である。
【0012】基地局21では、車両側1の交通情報表示
装置から送信される画像要求データに応じて、カメラ2
3から受信した画像、又は/及び、画像データベース2
4から読み出した画像を、撮像データと共にレスポンス
データとして車両側1の交通情報表示装置に送信する。
【0013】図2は、車両側1に配置された交通情報表
示装置の構成を示すブロック図である。この図2に示す
ように交通情報表示装置は、運転者等によって指定され
たカメラ番号のカメラ23で撮像した画像の送信要求
や、受信した画像データを使用してリアルタイム画像と
過去画像を比較して表示する画像比較表示処理等の処理
や、装置全体の制御・演算処理や、運転者に対して目的
地までの経路案内等の各種処理を行う全体制御部10を
備えている。また、交通情報表示装置は、入力部12、
出力部13、現在位置検出部14、主記憶部15、及び
通信制御部16、図示しないその他の各部を備えてお
り、これら各部はデータバス等のバスライン11を介し
て全体制御部10に接続されている。
【0014】全体制御部10は、データ処理及び各部に
対する各種制御を行うCPU(中央処理装置)101を
備えており、このCPU101にはバスライン11によ
り主記憶部15等の他、ROM102、RAM103、
タイマ104が接続されている。
【0015】ROM102は、CPU101で制御を行
うための各種データやプログラムが予め格納されたリー
ドオンリーメモリである。RAM103は、CPU10
1がワーキングメモリとして使用するランダムアクセス
メモリである。このRAM103には、基地局21から
受信するリアルタイム画像を格納するエリア1031、
基地局21から受信した比較基準画像又は主記憶部15
から読み出した比較基準画像を格納するエリア103
2、その他の各種エリアが確保されるようになってい
る。なお、リアルタイム画像エリア1031と比較基準
画像エリア1032には、それぞれ圧縮された状態の画
像データと、これを伸張した後の画像データとの双方を
格納するエリアが確保されるようになっている。
【0016】本実施形態の全体制御部10では、CPU
101がROM102に格納された各種プログラムを読
み込んで、車両走行情報提供プログラム等の各種処理を
実行するようになっている。なお、CPU101は、記
録媒体駆動装置121にセットされた外部の記録媒体か
らコンピュータプログラムを読み込んで、バスライン1
1により接続された図示しないハードディスク等の記憶
装置に格納(インストール)し、この記憶装置から必要
なプログラム等をRAM103に読み込んで実行するよ
うにしてもよい。また、必要なプログラム等を記録媒体
駆動装置121からRAM103に直接読み込んで実行
するようにしてもよい。タイマ104は、各部における
各種操作や処理等が行われた時刻を記録する場合や、現
在の時刻を調べる場合に使用される。
【0017】入力部12は、記憶媒体駆動装置121、
マイク123が接続された音声認識部122、入力装置
124、及びタッチパネル125を備えている。出力部
13は、表示装置131、スピーカ133が接続された
音声制御部132を備えている。
【0018】入力部12の記憶媒体駆動装置121は、
CPU101が各種処理を行うためのコンピュータプロ
グラムを外部の記録媒体から読み込むのに使用される駆
動装置である。この記録媒体に記録されているコンピュ
ータプログラムには、各種のプログラムやデータ等が含
まれる。ここで、記録媒体とは、コンピュータプログラ
ムが記録される記録媒体をいい、具体的には、フロッピ
ーディスク、ハードディスク、磁気テープ等の磁気記録
媒体、メモリチップやICカード等の半導体記録媒体、
CD−ROMやMO、PD(相変化書換型光ディスク)
等の光学的に情報が読み取られる記録媒体、紙カードや
紙テープを用いた記録媒体、その他各種方法でコンピュ
ータプログラムが記録される記録媒体が含まれる。記憶
媒体駆動装置121は、出力部13の一部として機能す
ることも可能であり、各種記録媒体からコンピュータプ
ログラムを読み込む他に、記録媒体がフロッピーディス
クのように書き込み可能な記録媒体である場合には、R
AM103や主記憶部15の各種データ等をその記録媒
体に書き込むことが可能である。
【0019】音声認識部122は、マイク123から入
力される音声信号をディジタル信号に変換し、このディ
ジタル信号から特徴パラメータを抽出し、この特徴パラ
メータを標準パターンと比較して、入力された音声を認
識し、認識した音声の内容に従って、交通情報表示装置
に対する入力信号を生成するようになっている。入力装
置124は、各種操作を行ったりデータを入力したりす
るためのものであり、キーボード、マウス、ライトペ
ン、ジョイスティック、赤外線等によるリモコンなどの
各種の装置が使用可能である。入力装置132には、赤
外線等を利用したリモコンと、リモコンから送信される
各種信号を受信する受信部を備えてもよい。リモコンに
は、画面上に表示されたカーソルの移動操作等を行うジ
ョイスティックの他、メニュー指定キー(ボタン)、テ
ンキー等の各種キーが配置される。タッチパネル125
は、表示装置131のディスプレイ表面に配置され、デ
ィスプレイの画面に表示されたキーやメニューを指等で
触れることにより、触れた位置に表示されているキー等
が入力されるようになっている。
【0020】出力部13の表示装置131は、通常の経
路案内用の道路地図の他、各種画像や文字情報を表示す
るようになっており、液晶表示装置、CRT、プラズマ
ディスプレイ等の各種表示装置が使用される。音声制御
部132は、CPU101からの指令に従って入力内容
の確認等の音声を合成して出力するようになっている。
この、音声制御部132は、入力部12のマイク123
とともにハンズフリーユニットを形成させて、基地局2
1との音声モードによる通信を通信制御部16を介して
行うようにしてもよい。スピーカ133は、オーディオ
用のスピーカと兼用するようにしてもよい。
【0021】現在位置検出部14は、緯度、経度による
車両の絶対位置を検出するためのものであり、人工衛星
を利用して車両の位置を測定するGPS(Global Posit
ioning System)受信装置141と、路上に配置されたビ
ーコンからの位置情報を受信するビーコン受信装置14
2と、方位センサ143と、距離センサ144、舵角セ
ンサ145等が使用される。GPS受信装置141とビ
ーコン受信装置142は単独で位置測定が可能である
が、GPS受信装置141やビーコン受信装置142に
よる受信が不可能な場所では、方位センサ143と距離
センサ144の双方を用いた推測航法によって現在位置
を検出するようになっている。方位センサ143、例え
ば、地磁気を検出して車両の方位を求める地磁気セン
サ、車両の回転角速度を検出しその角速度を積分して車
両の方位を求めるガスレートジャイロや光ファイバジャ
イロ等のジャイロ、左右の車輪センサを配置しその出力
パルス差(移動距離の差)により車両の旋回を検出する
ことで方位の変位量を算出するようにした車輪センサ、
等が使用される。舵角センサ145は、ステアリングの
回転部に取り付けた光学的な回転センサや回転抵抗ボリ
ューム等を用いてステアリングの角度αを検出する。
【0022】主記憶部15には、描画地図データファイ
ル151、道路データファイル152、画像データベー
ス153、カメラ位置データファイル154、その他の
データファイル155が格納されるようになっている。
この 主記憶部15は、例えば、フロッピーディスク、
ハードディスク、CD−ROM、光ディスク、磁気テー
プ、ICカード、光カード等の各種記録媒体と、その駆
動装置が使用される。なお、主記憶部15は、複数種類
の異なる記録媒体とその駆動装置とで構成するようにし
てもよい。
【0023】主記憶部15の描画地図データファイル1
51には、表示装置131に描画される地図データが格
納されている。この地図データは、階層化された地図、
例えば最上位層から日本、関東地方、東京、神田といっ
た階層ごとの地図データが格納されている。各階層の地
図データは、それぞれ地図コードが付されている。道路
データファイル152には、道路番号や、各道路の太
さ、各道路の始点となる交差点の交差点番号、各道路の
終点となる交差点の交差点番号、各交差点の座標、各交
差点での信号の有無、各交差点での進入禁止の情報等の
各種データが格納されている。
【0024】画像データベース153には、基地局21
から受信したリアルタイム画像及び新たに受信した比較
基準画像が、共に比較基準画像として圧縮状態で格納さ
れるようになっている。この画像データベース153に
格納される比較基準画像には、基地局から送信される撮
像カメラ番号や撮像日時等の撮像データや、カメラ地点
から所定地点までの距離(例えば、カメラ地点=「多摩
川通り上馬」から、所定地点=「瀬田」までの距離)や
通過時間等の走行データが各画像に関連付けて格納され
るようになっている。走行データは、通常、運転者等の
ユーザによって所定地点通過後に入力部12から入力さ
れるが、所定地点が予め指定されている場合には、現在
位置検出部14がカメラ地点や指定されている所定地点
を検出し、その間の通過時間が自動的に入力される。こ
の走行データのうち、リアルタイム画像に対応する走行
データが交通情報表示装置の画像データベース153に
入力されると、走行データは、リアルタイム画像を特定
するためのデータ(撮像カメラ番号、撮像日時、画像デ
ータ要求日時)と共に自動的に基地局21に送信され
る。基地局21では受信した走行データを該当する画像
データ(リアルタイム画像)に関連付けて、画像データ
ベース24に格納する。カメラ位置データファイル15
4には、基地局側2に配置された各カメラ23a、23
b、…を交通情報表示装置で指定するための情報とし
て、カメラ番号、カメラが配置されている座標(緯度、
経度)、カメラ配置場所や施設の名称(多摩川通り上
馬、東名高速横浜インター入口等)等が格納されてい
る。
【0025】その他のデータファイル155には、例え
ば、基地局21に対するユーザIDが決められている場
合には、そのユーザIDが格納され、交通情報提供局と
の間でデータの送受信を行う場合に使用される。
【0026】通信制御部16は、基地局21等との間で
電話回線等を利用した無線通信(衛星通信を含む)を行
うためのものである。この通信制御部16は、例えば、
自動車電話や、各種形態電話等の無線通信機器の接続端
子を備えており、基地局21に対して、画像要求データ
を送信するようになっている。
【0027】次に、このように構成された交通情報表示
装置を用いて、所定地点のカメラ23で撮像された現在
と過去の道路状態を比較して表示装置131に表示する
場合の、ユーザ操作および表示画面について、図3
(a)から図5(g)を使用して説明する。まずユーザ
は、図3(a)に示すメニュー画面を表示装置131に
表示させ、「ライブカメラ」キーを選択する。キー選択
は、マイク123から「ライブカメラ」と音声入力して
音声認識部122に認識させることにより、タッチパネ
ル125の該当部分に触れることにより、または、ジョ
イスティック等の入力装置124の操作により、キー選
択する(以下、交通情報表示装置に対する各種入力やキ
ー選択は、音声認識部122による音声入力、ジョイス
ティックやキーボード等をしようした入力装置からの入
力、タッチパネル125による入力のいずれの場合も含
むものとする。以下同じ。)。
【0028】「ライブカメラ」キーが選択されると、図
3(b)に示すモード選択画面が表示される。ユーザは
このモード選択画面において、通常モードと比較モード
のいずれかを選択する。通常モードが選択されると、そ
の後に指定されるカメラ23によって、基地局21に対
する画像要求データの送信時刻前5分以内に撮像された
リアルタイム画像のみが表示装置131に表示される。
比較モードが選択されると、その後に指定されるカメラ
23によって撮像されたリアルタイム画像と、比較基準
画像として指定された過去画像(過去に撮像された画
像)とが表示装置131に比較表示される。
【0029】このモード選択画面で通常モードまたは比
較モードが選択されると、図3(c)に示すように、カ
メラ23a、23b、…のいずれのカメラ(地点)で撮
像された画像を表示するかを指定するカメラ指定画面が
表示される。このカメラ指定画面において、「直接入
力」キーが指定されると、全体制御部10は、表示装置
131にテンキー等を表示し、カメラ番号を直接入力す
ることが可能になる。また、「地図上で選択」キーが指
定されると、全体制御部10は、主記憶部15の描画地
図データ151とカメラ位置データ154に基づいて、
表示装置131上の地図中にカメラ位置マーク(アイコ
ン)とカメラ番号を表示する。ユーザは、地図上に表示
されたカメラ位置マークの選択、またはカメラ番号の入
力によりカメラを選択する。「リストから選択」キーが
指定されると、全体制御部10は、主記憶部15のカメ
ラ位置データ154から、各カメラ番号、座標、カメラ
配置場所や施設の名称等を表示したカメラリストを表示
装置131に表示する。ユーザは、表示されたリストか
ら、いずれか1つのカメラを選択する。
【0030】カメラの選択が終了すると、全体制御部1
0は、通常モードであれば選択されたカメラ番号を画像
要求データとして通信制御部16を介して基地局21に
送信する。一方、比較モードであれば全体制御部10
は、図4(d)に示すように比較基準画像特定画面を表
示する。この比較基準画像特定画面において、ユーザ
は、リアルタイム画像と比較して表示したい比較基準画
像を指定する。この画面においてユーザは、特定の年月
日に撮像された過去画像を比較基準画像としてリアルタ
イム画像と比較表示したい場合には「年月日」キーを選
択し、過去3週間のその日と同一曜日の画像を比較表示
したい場合には「曜日」キーを選択し、任意の希望する
期間内に撮像された過去の画像を比較表示したい場合に
は「期間」キーを選択する。
【0031】比較基準画像特定画面において、比較基準
画像の日にちまたは期間が特定されると、全体制御部1
0は、図4(e)に示す時間指定画面を表示する。この
画面においてユーザは必要に応じて「時間指定」キーの
選択後に比較基準画像として採用する過去画像の撮像時
間を入力することができる。時間指定の後、または、
「変更なし」キーの選択後、全体制御部10は、図5
(f)に示す入力内容確認・送信画面を表示装置131
に表示する。ユーザは表示された内容でよければ「送
信」キーを選択し、誤りがあれば「中止」キーを選択し
て最初から設定をやり直す。送信キーが選択されると全
体制御部10は、ユーザの入力内容に応じた画像要求デ
ータを作成して基地局21に送信し、対応する画像デー
タの受信後、図5(g)に示すように、リアルタイム画
像Aと比較基準画像B〜Dとを同時に表示する。この図
に示されるように、選択したカメラ設置地点における道
路の混雑状況が、現時点における画像だけでなく、同一
カメラによる(同一地点における)過去の画像と比較し
て表示されるので、運転者等のユーザは過去の時点と比
較した現在の混雑の程度を直感的に認識することができ
る。また、図5(g)に示されるように、比較基準画像
については、撮像日時だけでなく、比較基準画像と共に
走行データが存在する場合には、カメラによる撮像地点
から所定地点までの通過時間についても表示される。こ
のため、このリアルタイム画像Aと混雑状況が同程度の
比較基準画像(画面の左側車線を走行している場合であ
れば比較基準画像C)に表示されている通過時間から、
だいたいの通過時間を予測することが可能になる。
【0032】次に、交通情報表示装置における比較基準
画像の表示処理、及び基地局21における画像送信処理
について説明する。図6は、交通情報表示装置における
比較基準画像の表示処理を表したフローチャートであ
る。全体制御部10は、図3(a)〜図5(f)までの
ユーザ操作によって入力される、カメラ番号と比較基準
画像に関するデータを取得しRAM103の所定エリア
に格納する(ステップ11)。そして、全体制御部10
は、取得した比較基準画像に対応する過去画像が、車両
内データベース即ち主記憶部15の画像データベース1
53内に存在するか否かを判断する(ステップ12)。
【0033】取得した比較基準画像が車両内の画像デー
タベース153内に格納されている場合(ステップ1
2;Y)、全体制御部10は、該当する比較基準画像を
読み出し、RAM103の比較基準画像格納エリア10
32(圧縮画像用エリア)に格納する(ステップ1
3)。一方、比較基準画像が車両内の画像データベース
153内に格納されていない場合(ステップ12;
N)、ステップ14に移行する。
【0034】次に、全体制御部10は、ステップ11で
取得したデータから、基地局21に送信する画像要求デ
ータを作成する(ステップ14)。すなわち、全体制御
部10は、カメラ番号、リアルタイム画像の送信要求デ
ータ、比較基準画像の内容を示すデータ(撮像年月日、
曜日、期間等)からなる画像要求データを作成する。な
お、比較基準画像の内容を示すデータは、必要な比較基
準画像のすべてが画像データベース153内に存在する
場合には不要であり、一部のみが存在する場合(例え
ば、1週間前の比較基準画像は画像データベース153
に存在するが2週間前と3週間前の画像は格納されてい
ない場合)には不足分の比較基準画像の内容を示すデー
タから画像要求データを作成する。
【0035】次に全体制御部10は、図5(f)に示す
入力内容確認・送信画面において、「送信」キーが選択
されたか否かを判断する(ステップ15)。「送信」キ
ーが選択された場合(ステップ15;Y)、全体制御部
10は、通信制御部16により基地局21との無線通信
回線を接続し、作成した画像要求データを送信し(ステ
ップ16)、基地局21からの画像データの送信を待つ
(ステップ17)。一方、「中止」キーが選択された場
合(ステップ15;N)には、メインルーチンにリター
ンする。
【0036】図7は、基地局21における画像送信処理
の動作を示すフローチャートである。基地局21の図示
しない制御部は、各交通情報表示装置からの無線通信に
よる画像要求データを受信したか否かを監視しており
(ステップ21)、画像要求データを受信すると(;
Y)、画像要求データに比較基準画像の送信要求が含ま
れているか否かを判断する(ステップ22)。比較基準
画像の要求が含まれている場合(ステップ22;Y)、
要求された年月日や曜日等における比較基準画像が基地
局21内の画像データベース24内に格納されているか
否かを確認し、格納されていれば(ステップ23;
Y)、画像データを画像データベース24から取得し図
示しないRAMに格納する(ステップ24)。ここで、
比較基準画像データに通過時間等の走行データが関連付
けられている場合には、走行データも併せてRAMに格
納する。
【0037】なお、画像要求データ中に比較基準画像の
撮像時間が含まれている場合(図4(e)で指定)に
は、指定された時間に最も近い時間に撮像されている画
像を比較基準画像として採用する。一方、画像要求デー
タ中に撮像時間が含まれていない場合で、要求された年
月日や曜日等に要求されたカメラで撮像された画像が複
数存在する場合には、ステップ21で画像データを受信
した時間に最も近い時間に撮像された画像を比較基準画
像として採用する。
【0038】次に、基地局21の制御部は、交通情報表
示装置から要求されているカメラ番号に対応するカメラ
で撮像されたリアルタイム画像が基地局内の画像データ
ベース24に格納されているか否かを確認する。すなわ
ち、制御部は、画像要求データを受信した時(ステップ
22;Y)から所定時間T以内に、指定されたカメラ番
号のカメラで撮像された画像が存在するか否かを判断す
る。ここで所定時間Tとしては、例えば、5分間が予め
設定されているが、他に、3分、10分、20分、30
分、1時間等であってもよい。また、所定時間Tを交通
情報表示装置側のユーザが設定できるようにし、所定時
間Tを画像要求データに含めるようにしてもよい。
【0039】リアルタイム画像が基地局内の画像データ
ベース24内に存在しない場合、基地局21の制御部
は、要求されているカメラ番号に対応するカメラ23に
対して、通信網21を介して画像の撮像を指示する(ス
テップ26)。そして制御部は、カメラ23で撮像され
圧縮された画像を通信網22を介して取得し、基地局2
1内の画像データベース24に格納し(ステップ2
7)、ステップ24に移行する。
【0040】ステップ24において、リアルタイム画像
が基地局21内の画像データベース24内に存在する場
合(ステップ25;Y)、すなわち、今回の処理におけ
るステップ26、27で格納された場合、または、他の
交通情報表示装置に対するリアルタイム画像の送信のた
めにリアルタイム画像が既に格納されていた場合、リア
ルタイム画像データを基地局21内の画像データベース
24から取得し、RAMに格納する(ステップ28)。
【0041】以上の処理によって取得した画像要求デー
タに対する画像データから、交通情報表示装置に送信す
るレスポンスデータを作成する。すなわち、基地局21
の制御部は、RAMに格納した各画像データ(リアルタ
イム画像及び比較基準画像)とその撮像日時、存在する
場合には通過時間等の走行データ(比較基準画像の場合
のみ)からレスポンスデータを作成し(ステップ2
9)、作成したレスポンスデータを交通情報表示装置に
送信して(ステップ30)、メインルーチンにリターン
する。
【0042】一方、交通情報表示装置の全体制御部10
では、基地局21からのレスポンスデータを受信すると
(図6 ステップ17;Y)、受信したレスポンスデー
タの撮像日時からリアルタイム画像と比較基準画像とを
区別し、RAM103のリアルタイム画像エリア103
1及び比較基準画像エリア1032にそれぞれ格納する
(ステップ18)。そして、リアルタイム画像エリア1
031と比較基準画像エリア1032に格納されている
画像データ(圧縮状態)を、伸張して該当エリアに格納
すると共に、図5(g)に示すように、伸張後のリアル
タイム画像と比較基準画像の両者を表示装置131に表
示する(ステップ20)。その際、各比較基準画像に対
して通過時間等の走行データが関連付けられている場合
には、併せて表示装置131に表示する。
【0043】その後全体制御部10は、リアルタイム画
像と、基地局21から取得した場合の比較基準画像を過
去画像として、その撮像日時や走行データ(存在する場
合)と共に画像データベース153に格納して(ステッ
プ20)、メインルーチンにリターンする。
【0044】以上説明したように、本実施形態によれ
ば、特定地点において現時点で撮像されたリアルタイム
画像だけでなく、同一地点において過去に撮像された比
較基準画像を併せて表示装置131に表示するので、運
転者等のユーザは過去の時点と比較した現在の混雑の程
度を直感的に認識することができる。特に比較基準画像
を表示する場合、同一曜日を指定したり、同一時刻(近
辺)を指定することができるため、より現状に近い道路
状況を把握することが可能になる。また、比較基準画像
と共に走行データが存在する場合には、撮像地点から所
定地点までの通過時間についても表示されるので、リア
ルタイム画像と混雑状況が同程度の比較基準画像に表示
されている通過時間から、だいたいの通過時間を予測す
ることも可能になる。
【0045】なお、以上説明した実施形態では、撮像し
た画像の圧縮をカメラ23において行ったが、画像圧縮
することなく撮像データを通信網22を介して基地局2
1に送信するようにしてもよい。この場合、基地局21
において、受信した画像データを上記したJPEG、T
IM圧縮、FST圧縮等の方法により圧縮して、画像デ
ータベースに保存し、また、交通情報表示装置に送信す
る。基地局21で行う画像圧縮については、画像圧縮用
のボード(プリント板)により処理されるが、ソフトJ
PEG等のようにソフトウエアによる処理で圧縮するよ
うにしてもよい。
【0046】また、説明した実施形態では、各カメラは
23は、上り、下りの両車線を撮像する場合について説
明したが、上り車線と下り車線の撮像を2台のカメラで
別個に撮像するようにしてもよい。これにより、反対側
車線の不要な画像が表示されないので視認性を増すこと
ができる。
【0047】また、説明した実施形態では、リアルタイ
ム画像と過去画像(比較基準画像)を表示装置131に
併せて表示する画像として静止画像を前提に説明した
が、本発明では、静止画像に限定されるものではなく動
画を使用するようにしてもよい。この場合、各カメラ2
3a、b、…で撮像した動画の圧縮は、撮像したカメラ
23又は基地局21において行い、圧縮方法としてはM
PEGUやFST圧縮、TIM圧縮等の動画に対する周
知の圧縮方法が使用される。また、各カメラ23におい
て動画を撮像して基地局21に送信(圧縮、非圧縮のい
づれでもよい)し、基地局21において受信した動画か
ら静止画像を取り込んで画像データベース24に格納
し、格納した静止画像を交通情報表示装置に送信するよ
うにしてもよい。また、カメラ23から受信した動画を
圧縮状態で画像データベース24に格納しておき、交通
情報表示装置から要求される画像の種類(動画と静止画
像)に応じて、動画を交通情報表示装置に送信し、又
は、動画から静止画像を取り込んで送信するようにして
もよい。基地局21では、各カメラ23から動画を受信
することで、撮像道路における車両の平均走行速度を算
出し、走行データのうちの1つとして交通情報表示装置
に送信することが可能になる。交通情報表示装置では、
受信した平均走行速度を他の走行データと共にリアルタ
イム画像、過去画像(比較基準画像)に表示し、また該
当画像データに関連付けて画像データベース153に格
納する。車両の平均走行速度をリアルタイム画像に表示
することで、運転者等のユーザは、表示装置131に表
示されている道路の混雑状況をより多角的に把握するこ
とが可能になる。
【0048】また、以上説明した実施形態では、カメラ
23による撮像道路地点における混雑状況を把握する交
通情報表示装置について説明したが、請求項3の画像表
示装置では必ずしも道路の混雑状況に限定されるもので
はなく、他の実施形態としてデパートやスーパ等の各売
場や通路における顧客の状況や、特定地点における渡り
鳥等の動物の移動状況などを、リアルタイム画像と過去
画像とを表示装置に併せて比較表示することで把握する
ようにしてもよい。
【0049】
【発明の効果】請求項1および請求項2に記載した発明
によれば、撮像装置指定手段で指定された撮像装置によ
って撮像された現時点でのリアルタイム画像と、同一の
撮像装置により過去に撮像された過去画像とを併せて表
示するので、所定地点における交通状況をより的確に認
識することができる。請求項3に記載した発明によれ
ば、特定の地点に設置された撮像装置で撮像されたリア
ルタイム画像と、リアルタイム画像よりも以前に前記撮
像装置で撮像された過去の画像とを併せて表示するの
で、特定地点における状況をより的確に認識することが
できる。
【図面の簡単な説明】
【図1】本発明の1実施形態における交通情報表示装置
が使用される交通情報表示システムのシステム構成図で
ある。
【図2】同上、交通情報表示装置の構成を表すブロック
図である。
【図3】同上、交通情報表示装置を使用する場合のユー
ザ操作を説明する説明図の一部である。
【図4】同上、交通情報表示装置を使用する場合のユー
ザ操作を説明する説明図の他の一部である。
【図5】同上、交通情報表示装置を使用する場合のユー
ザ操作を説明する説明図の他の一部である。
【図6】同上、交通情報表示装置における比較基準画像
の表示処理を表したフローチャートである。
【図7】基地局における画像送信処理の動作を示すフロ
ーチャートである。
【符号の説明】
10 全体制御部 101 CPU 102 ROM 103 RAM 1031 リアルタイム画像エリア 1032 企画基準画像エリア 104 タイマ 12 入力部 121 記憶媒体駆動装置 122 音声認識部 123 マイク 124 入力装置 125 タッチパネル 13 出力部 131 表示装置 132 音声制御部 133 スピーカ 14 現在位置検出部 15 主記憶部 151 描画地図データ 152 道路データ 153 画像データベース 154 カメラ位置データ 155 その他のデータ 16 通信制御部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山本 幸夫 愛知県安城市藤井町高根10番地 アイシ ン・エィ・ダブリュ株式会社内 (72)発明者 鈴木 誠一 東京都千代田区外神田2丁目19番12号 株 式会社エクォス・リサーチ内 (72)発明者 山川 博幸 東京都千代田区外神田2丁目19番12号 株 式会社エクォス・リサーチ内 (72)発明者 森 俊宏 東京都千代田区外神田2丁目19番12号 株 式会社エクォス・リサーチ内 (72)発明者 石川 裕記 東京都千代田区外神田2丁目19番12号 株 式会社エクォス・リサーチ内

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の地点に配置された撮像装置のなか
    から所定の撮像装置を指定する撮像装置指定手段と、 この撮像装置指定手段で指定された撮像装置によって撮
    像された現時点でのリアルタイム画像を取得するリアル
    タイム画像取得手段と、 前記撮像装置指定手段で指定された同一の撮像装置によ
    り過去に撮像された過去画像を取得する過去画像取得手
    段と、 前記リアルタイム画像取得手段で取得されたリアルタイ
    ム画像と、前記過去画像取得手段で取得された過去画像
    とを併せて表示する表示手段とを具備することを特徴と
    する交通情報表示装置。
  2. 【請求項2】 所定の年月日、曜日、期間のうちの少な
    くとも1つを指定する年月日等指定手段を備え、 前記過去画像取得手段は、前記年月日等指定手段で指定
    された前記年月日等に撮像された過去画像を取得するこ
    とを特徴とする請求項1に記載の交通情報表示装置。
  3. 【請求項3】 特定の地点に設置された撮像装置で撮像
    されたリアルタイム画像を通信回線を介して取得するリ
    アルタイム画像取得手段と、 リアルタイム画像より以前に前記撮像装置で撮像された
    過去の画像を取得する過去画像取得手段と、 前記リアルタイム画像取得手段により取得されたリアル
    タイム画像と、前記過去画像取得手段により取得された
    過去画像とを併せて表示する表示手段と、を具備するこ
    とを特徴とする画像表示装置。
JP31893697A 1997-11-04 1997-11-04 交通情報表示装置 Expired - Fee Related JP3851430B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31893697A JP3851430B2 (ja) 1997-11-04 1997-11-04 交通情報表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31893697A JP3851430B2 (ja) 1997-11-04 1997-11-04 交通情報表示装置

Publications (2)

Publication Number Publication Date
JPH11144192A true JPH11144192A (ja) 1999-05-28
JP3851430B2 JP3851430B2 (ja) 2006-11-29

Family

ID=18104647

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31893697A Expired - Fee Related JP3851430B2 (ja) 1997-11-04 1997-11-04 交通情報表示装置

Country Status (1)

Country Link
JP (1) JP3851430B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003037836A (ja) * 2001-07-24 2003-02-07 Ntt Docomo Inc 画像配信方法、画像配信システム、コンピュータ読取可能な記録媒体及びコンピュータ・プログラム
JP2004349749A (ja) * 2003-05-20 2004-12-09 Nippon Hoso Kyokai <Nhk> カメラ映像モニタ装置及びカメラ映像モニタ方法
JP2006337154A (ja) * 2005-06-01 2006-12-14 Fujifilm Holdings Corp 撮影表示装置
JP2008527542A (ja) * 2005-01-06 2008-07-24 シュルマン,アラン ナビゲーション及びインスペクションシステム
JP2015041188A (ja) * 2013-08-21 2015-03-02 沖電気工業株式会社 画像分析装置および画像分析方法
US20150285655A1 (en) * 2014-04-02 2015-10-08 Here Global B.V. Storing and Accessing Traffic Data Images in a Limited Bandwidth Environment
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
US10567677B2 (en) 2015-04-17 2020-02-18 Panasonic I-Pro Sensing Solutions Co., Ltd. Flow line analysis system and flow line analysis method
US10621423B2 (en) 2015-12-24 2020-04-14 Panasonic I-Pro Sensing Solutions Co., Ltd. Moving information analyzing system and moving information analyzing method
US20210372809A1 (en) * 2020-06-02 2021-12-02 Toyota Motor Engineering & Manufacturing North America, Inc. Travel route observation and comparison system for a vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55153100A (en) * 1979-05-15 1980-11-28 Tomoma Tani Traffic condition transmitting device
JPS5882400A (ja) * 1981-11-10 1983-05-17 東京航空計器株式会社 信号無視車両およびデ−タ記録装置
JPH09180087A (ja) * 1995-12-25 1997-07-11 Sumitomo Electric Ind Ltd 交通情報提供システム
JPH09200734A (ja) * 1996-01-12 1997-07-31 Fuji Photo Film Co Ltd 監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55153100A (en) * 1979-05-15 1980-11-28 Tomoma Tani Traffic condition transmitting device
JPS5882400A (ja) * 1981-11-10 1983-05-17 東京航空計器株式会社 信号無視車両およびデ−タ記録装置
JPH09180087A (ja) * 1995-12-25 1997-07-11 Sumitomo Electric Ind Ltd 交通情報提供システム
JPH09200734A (ja) * 1996-01-12 1997-07-31 Fuji Photo Film Co Ltd 監視装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003037836A (ja) * 2001-07-24 2003-02-07 Ntt Docomo Inc 画像配信方法、画像配信システム、コンピュータ読取可能な記録媒体及びコンピュータ・プログラム
JP2004349749A (ja) * 2003-05-20 2004-12-09 Nippon Hoso Kyokai <Nhk> カメラ映像モニタ装置及びカメラ映像モニタ方法
JP2008527542A (ja) * 2005-01-06 2008-07-24 シュルマン,アラン ナビゲーション及びインスペクションシステム
JP2006337154A (ja) * 2005-06-01 2006-12-14 Fujifilm Holdings Corp 撮影表示装置
JP2015041188A (ja) * 2013-08-21 2015-03-02 沖電気工業株式会社 画像分析装置および画像分析方法
US9488490B2 (en) * 2014-04-02 2016-11-08 Here Global B.V. Storing and accessing traffic data images in a limited bandwidth environment
US20150285655A1 (en) * 2014-04-02 2015-10-08 Here Global B.V. Storing and Accessing Traffic Data Images in a Limited Bandwidth Environment
US10215584B2 (en) * 2014-04-02 2019-02-26 Here Global B.V. Storing and accessing traffic data images in a limited bandwidth environment
US11340091B2 (en) 2014-04-02 2022-05-24 Here Global B.V. Storing and accessing traffic data images in a limited bandwidth environment
US10567677B2 (en) 2015-04-17 2020-02-18 Panasonic I-Pro Sensing Solutions Co., Ltd. Flow line analysis system and flow line analysis method
US10602080B2 (en) * 2015-04-17 2020-03-24 Panasonic I-Pro Sensing Solutions Co., Ltd. Flow line analysis system and flow line analysis method
US10621423B2 (en) 2015-12-24 2020-04-14 Panasonic I-Pro Sensing Solutions Co., Ltd. Moving information analyzing system and moving information analyzing method
US10956722B2 (en) 2015-12-24 2021-03-23 Panasonic I-Pro Sensing Solutions Co., Ltd. Moving information analyzing system and moving information analyzing method
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
US20210372809A1 (en) * 2020-06-02 2021-12-02 Toyota Motor Engineering & Manufacturing North America, Inc. Travel route observation and comparison system for a vehicle

Also Published As

Publication number Publication date
JP3851430B2 (ja) 2006-11-29

Similar Documents

Publication Publication Date Title
JP4812415B2 (ja) 地図情報更新システム、中央装置、地図情報更新方法、及びコンピュータプログラム
US10553113B2 (en) Method and system for vehicle location
US7480565B2 (en) Map information processing device
US7672777B2 (en) Moving history conversion apparatus and moving history conversion method
US6615134B2 (en) Data communication system and method, and mobile body apparatus
US20040249568A1 (en) Travel time calculating method and traffic information display method for a navigation device
JP3966970B2 (ja) ナビゲーション装置
KR100533033B1 (ko) 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법
JP4845876B2 (ja) 道路景観地図作成装置、方法及びプログラム
JP6324196B2 (ja) 情報処理装置、情報処理方法および情報処理システム
JP2004139284A (ja) 車両用情報処理装置
JP3851430B2 (ja) 交通情報表示装置
JP4939380B2 (ja) 情報管理サーバ、ナビゲーション装置、情報管理方法、ナビゲーション方法、情報管理プログラム、ナビゲーションプログラム、および記録媒体
US20110242324A1 (en) Image display device, image display method, image display program, and recording medium
WO2008041283A1 (fr) Dispositif de guidage sur iitinéraire, procédé d&#39;enregistrement d&#39;information, procédé de guidage sur itinéraire, programme d&#39;enregistrement d&#39;information, programme de guidage sur itinéraire et support d&#39;enregistrement
JP2019087969A (ja) 走行現調支援装置
JP2003329464A (ja) 走行情報記録再生装置およびその方法
JPH10214397A (ja) 経路案内装置
JP4560475B2 (ja) 通信端末、情報表示方法、情報表示プログラムおよび記録媒体
JP2006112981A (ja) 情報処理装置
JP4207317B2 (ja) 目的地特定支援装置、当該装置を備えたナビゲーションシステム
JPH11313215A (ja) 画像データ送信装置及び画像データ配信システム
JP5032206B2 (ja) 情報提供サーバ、ナビゲーション装置、情報提供システム、情報提供方法、情報処理方法、情報表示方法、情報提供プログラム、情報処理プログラム、情報表示プログラムおよび記録媒体
JP2006047147A (ja) 情報提供装置
JP4348731B2 (ja) ナビゲーション装置、その目的地設定方法及び記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060901

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100908

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110908

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120908

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130908

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees