JP3747866B2 - 車両用画像処理装置 - Google Patents
車両用画像処理装置 Download PDFInfo
- Publication number
- JP3747866B2 JP3747866B2 JP2002058402A JP2002058402A JP3747866B2 JP 3747866 B2 JP3747866 B2 JP 3747866B2 JP 2002058402 A JP2002058402 A JP 2002058402A JP 2002058402 A JP2002058402 A JP 2002058402A JP 3747866 B2 JP3747866 B2 JP 3747866B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- speed
- low
- frame rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車両の周囲の障害物や走路形状を画像情報により検出する車両用画像処理装置に関する。
【０００２】
【従来の技術】
従来の画像処理装置としては、例えば、特開２０００−２５３４０１号公報に記載されたものがある。
図４は、該公報に記載された従来の画像処理装置の構成を示すブロック図である。
４１はテレビジョンカメラ、４２はデータ伝送部、４３はケーブル、４４は受信器、４５はディスプレイ、４６はレンズ、４７はＣＣＤ、４８はアナログプロセス部、４９はＡ／Ｄ変換器、５０は画像処理部、５１は同期信号発生部、５２はスイッチ、５３、５４はフィールドメモリ、５５はスイッチ、５６は伝送用ＬＳＩ、５７は制御部、５８は伝送用ＬＳＩ、５９はスイッチ、６０、６１はフィールドメモリ、６２はスイッチ、６３はＣＰＵ、６４はフレームメモリ、６５は制御部である。
この画像処理装置は、フルフレームのディジタル映像データの伝送装置において、あるフレームでは奇数ラインデータ、その次のフレームでは偶数ラインデータをフレーム毎に交互に伝送することで伝送量を１／２にし、その受信器においては、受信された奇数（偶数）ラインデータと１つ前に受信された偶数（奇数）ラインデータでフレームを構成して、映像を表示することで、伝送量の削減を行なうというものである。
【０００３】
【発明が解決しようとする課題】
車両の周囲の障害物や走路形状を画像情報により検出する車両用画像処理装置では、検出結果に高い信頼性が要求される。さらに、検出結果に基づいて車両の運動制御を行う場合には、その制御性を高めるため、検出結果の短い更新周期が要求される。そのため、従来は、ビデオレートで更新される画像を撮像素子で撮像し、その画像から必要な情報を検出していたが、車両用画像処理装置では、上述した理由により、画像の更新周期、すなわち、フレームレートを高くする必要がある。
ところが、上記従来例では、ラインごとに交互に伝送しているため、画質が低下するので、検出結果の信頼性が低下するという問題点がある。
その結果、車両に適応することが困難である。さらに、高い周波数の信号を取り扱うため、ノイズの影響も受けやすくなり、装置の信頼性が低下してしまうという問題点もある。
本発明の目的は、高画質で、検出結果の信頼性の高い車両用画像処理装置を提供することにある。
【０００４】
【課題を解決するための手段】
上記課題を解決するため、本発明においては特許請求の範囲に記載するような構成をとる。
すなわち、請求項１記載の車両用画像処理装置は、車両の周囲の少なくとも一部の画像を撮像する撮像部と、前記撮像部で撮像した画像情報から、前記車両の周囲の少なくとも一部の検知対象を検知する処理部と、前記撮像部で撮像した画像を前記処理部に出力する出力部とを有する車両用画像処理装置において、前記撮像部が撮像した画像の領域のうち、高フレームレートで画像を抽出する領域と、前記高フレームレートより低い低フレームレートで画像を抽出する領域とに分ける分割手段を有し、前記それぞれの領域の画像を抽出した後に、該それぞれの領域の画像のフレームレートで画像を生成し、前記処理部に出力することを特徴とする。
また、請求項２記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記車両の走行状態を検出する車両情報検出手段を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段であり、前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする。
また、請求項３記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記車両の走行状態を検出する車両情報検出手段を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段と、前記フレームレート算出手段で算出されたフレームレートで、前記低速画像抽出手段で抽出された画像を出力するフレームレート可変手段とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記フレームレート可変手段から出力される画像情報とを合成する画像出力手段であり、前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする。
また、請求項４記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記車両の走行状態を検出する車両情報検出手段を有し、前記分割手段が、高フレームレートで前記車両の周囲の画像を撮像する高速撮像手段と、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段と、前記フレームレート算出手段で算出された前記高速撮像手段より低いフレームレートで、前記車両の周囲の画像を撮像する低速撮像手段と、前記低速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、前記高速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段であり、前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする。
また、請求項５記載の車両用画像処理装置は、請求項１、２、３または４記載の車両用画像処理装置において、前記撮像部は、前記車両の前方の画像を撮像し、前記高フレームレートで出力する領域を、画像の左側および右側とし、前記低フレームレートで出力する領域を、画像の中央部とすることを特徴とする。
また、請求項６記載の車両用画像処理装置は、請求項１、２、３または４記載の車両用画像処理装置において、前記撮像部は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域を、自車線内の領域とすることを特徴とする。
また、請求項７記載の車両用画像処理装置は、請求項１、２、３または４記載の車両用画像処理装置において、前記撮像部は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域を、先行車両を検出している領域とすることを特徴とする。
【０００５】
【発明の効果】
請求項１の発明によれば、単一のフレームレートで画像を処理せず、撮像部が撮像した画像の領域のうち、高フレームレートで出力する領域と、前記高フレームレートより低い低フレームレートで出力する領域とに分けることにより、画質を低下させず、高フレームレートの画像を扱うことができる。すなわち、画像の転送量を増やすことなく、検出精度を高フレームレートと同様にすることができる。さらに、低速な処理装置が使用でき、また、消費電力を低く抑えることができ、撮像部と処理部との間に高速な通信Ｉ／Ｆが不要な処理装置を構成できる。
請求項２の発明によれば、高フレームレートとする画像領域と、低フレームレートとする画像領域とを車両の走行状態に応じて変えることにより、高フレームレートを必要とする領域が適切に選択されるため、高フレームレートが要求される処理を確実に実施できる。さらに、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
請求項３の発明によれば、低フレームレートとする画像のフレームレートを車両の走行状態に応じて変えることにより、最適なフレームレートが選択されるため、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
請求項４の発明によれば、高速撮像手段と、低速撮像手段とをそれぞれ設けて撮像するため、画角や撮像方向などが個別に設定できるため、各フレームレートに適した画像が撮像できる。
請求項５、６、または７の発明によれば、相対速度が小さい前方を走行する車両や、形状が連続的に変化する道路では、比較的画像の変化が小さいため、低フレームレートの画像を用いても確度の高い車両認識や走路形状認識を行うことができ、かつ、隣接車線からの割り込み車両などでは、相対速度が大きくなるため、その領域を高フレームレートの画像を用いることにより、高速に検出を行うことができる。
【０００６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
実施の形態１
図１は、本発明の実施の形態１の車両用画像処理装置の構成を示すブロック図である。
１は画像処理部、２は高速撮像カメラ（電子式のカメラ）、３は車速センサ、４は低速領域算出部、５は高速画像抽出部、６は低速画像抽出部、７はフレームレート算出部、８はフレームレート可変部、９は画像出力部、１０は情報伝送部、１１は画像認識装置である。
図２は、本実施の形態１の車両用画像処理装置における高フレームレート、低フレームレートの分割の例を示す図である。
２１は高フレームレート領域、２２は低フレームレート領域、２３は先行車両、２４は割り込み車両、２５は自車線を示す。
高速撮像カメラ２は、例えば、車両の前方の画像を撮像できるように車両に取り付けられ、単位時間あたりの撮像可能枚数が多い撮像素子とレンズなどから構成される。
走行速度を検出する車速センサ３は、車両情報検出手段の１つで、他には、例えば、加減速度を検出するＧセンサ等を用いることができる。
低速領域算出部４は、高速撮像カメラ１で撮像された画像データの中で、低フレームレートで情報を処理装置に伝達する領域を、車速センサ３から得られた車両情報（車速）に基づき算出する。
例えば、車両が低速で走行している場合には、撮像領域全体とし、高速で走行している場合には、割り込み車両２４が撮像される領域以外を低い伝送速度で情報を伝達するように設定する。例えば、図２に示すような割り込み車両２４が撮像される領域を高フレームレート領域２１とし、それ以外を低フレームレート領域２２とし、低い伝送速度で情報を伝達するように設定する。
本実施の形態１では、車速に応じて２つの状態、すなわち、高フレームレート領域２１と、低フレームレート領域２２とを切り換えるという手法を用いているが、例えば、車速が低くなるにつれて低フレームレート領域２２を連続的に拡張（高フレームレート領域２１を連続的に縮小）したり、車速が高くなるにつれて低フレームレート領域２２を連続的に縮小（高フレームレート領域２１を連続的に拡張）するように変えてもよい。
高速画像抽出部５は、低速領域算出部４で算出された低フレームレートで画像情報を処理装置である画像認識装置１１に伝達する領域以外の領域の画像を抽出し、出力する。
低速画像抽出部６は、低速領域算出部４で算出された低フレームレートで画像情報を画像認識装置１１に伝達する領域の画像を抽出し、出力する。
フレームレート算出部７は、車速センサ３と低速領域算出部４の算出結果を用いて低速画像のフレームレートを算出する。例えば、車速が低いときには、前方の走路画像は変化が小さくなるため、低速領域のフレームレートを小さくすることができるので、より低いフレームレートを出力する。他の例として、曲線路を走行中の場合には、直線路と比較し、同一の車速で走行していても、横方向の移動量が大きく、その結果、前方の画像の変化が大きくなるため、直線路走行時よりも高いフレームレートに設定する。曲線路走行中であることは、図示はしないが、車両情報検出手段である横方向の加速度を検出する横Ｇセンサや、ヨーレートセンサ、舵角センサなど用いればよい。
フレームレート可変部８は、低速画像抽出部６から出力された高フレームレートで出力されている低速領域の画像を、フレームレート算出部７で算出されたフレームレートで画像を出力させる。例えば、高速撮像カメラ２によるフレームレートが１００ｆｐｓ（フレーム／秒）で、フレームレート算出部７が算出したフレームレートが１０ｆｐｓとした場合には、フレームレート可変部８は、１０フレーム毎に画像を出力するよう、時間的に間引いて画像情報を出力する。
画像出力部９は、高速画像抽出部５から出力される高フレームレート画像と、フレームレート可変部８から出力される低フレームレート画像とを合成し、出力する。
情報伝送部１０は、画像出力部９から出力される画像情報を、処理部である画像認識装置１１に伝送させるために必要な通信Ｉ／Ｆ（インターフェース）機能を持つ。例えば、時分割で情報を伝送するシリアル通信、複数の伝送路を用いたパラレル通信やパーソナルコンピュータなどで用いられているＵＳＢ、ＩＥＥＥ１３９４なども用いることができる。
画像認識装置１１は、入力される画像情報から障害物認識や走路認識を行う。走路認識の例としては、エッジ画像から連続した線分を抽出することで、道路上にある白線を検出して行うといった手法を用いることができる。
【０００７】
次に、図２を用いて、本実施の形態１の車両用画像処理装置における作動と効果について説明する。
車両前方の画像から、障害物や走路形状の検出センサに本発明を適用した場合の、撮像カメラにより撮像される画像の例を図２に示す。
例えば、高速道路の合流部のような混雑した道路を走行中には、車両の周囲には、前方の車両だけではなく、図２に示すように、自車線（自車両が走行中の車線）２５と隣接する車線から車線変更し、自車両の直前に進入する割り込み車両２４が存在する。このような割り込み車両２４は、車線変更という左右の動きを伴っており、さらには、その移動量も大きく、車間距離も短い。そのような割り込み車両２４を検出し、的確な警報や車両の運動制御を行うためには、高速で確度の高い検出性能が必要となる。したがって、画像情報も、より高速で、高い画質が得られる撮像カメラが必要になる。
図２に示す例では、撮像された画像の領域を４分割し、割り込み車両２４が検出されやすい領域のフレームレートを高くし、高フレームレート領域２１とする。その他の領域については、画像の変化が小さいため、低いフレームレートで撮像しても、十分な情報量が得られるので、低フレームレート領域２２とする。 なお、画像の解像度には何ら変更を加えていないため、画質の低下が生じないので、低フレームレート領域２２の画像であっても、確度の高い処理を行うことができる。
領域の分割については、ここで記述した４分割する手法だけではなく、本発明を適用するシステムの目的に応じて変えることももちろん可能である。例えば、車両の側方の画像を撮像する場合は、画像の上部を低フレームレート領域とし、下部を高フレームレート領域とすることにより、移動量の大きい路面に近い位置にある障害物については高フレームレートで撮像されるため、高速な障害物検出が可能になる。
さらに、高速撮像カメラ２のみにより、前方の画像を撮像しているため、低フレームレートで出力する領域においては、画像情報を時間的に間引いて出力することにより、高フレームレート、低フレームレート、それぞれの画像が同軸上で撮像された画像となり、高フレームレート、低フレームレート画像間の相関情報を必要とするような処理を容易に行うことができるという効果もある。
【０００８】
なお、本実施の形態１は、特許請求の範囲の請求項１に対応する。すなわち、車両の周囲の少なくとも一部の画像を撮像する撮像部（図１の高速撮像カメラ２）と、前記撮像部で撮像した画像情報から、前記車両の周囲の少なくとも一部の検知対象を検知する処理部（画像認識装置１１）と、前記撮像部で撮像した画像を前記処理部に出力する出力部（画像出力部９）とを有する車両用画像処理装置において、前記撮像部が撮像した画像の領域のうち、高フレームレートで画像を抽出する領域（図２の高フレームレート領域２１）と、前記高フレームレートより低い低フレームレートで画像を抽出する領域（低フレームレート領域２２）とに分ける分割手段（低速領域算出部４、高速画像抽出部５、低速画像抽出部６、フレームレート算出部７、フレームレート可変部８）を有し、前記それぞれの領域の画像を抽出した後に、該それぞれの領域の画像のフレームレートで画像を生成し、前記処理部に出力することを特徴とする（図１、図２参照）。
カメラで割り込み車両２４（図２）等をすばやく、かつ、精度良く検出しようとすると、短時間で多くの画像を撮像し、画像の中からわずかな変化を検出することが考えられる。しかし、多くの画像をコントローラへ転送するには、転送速度を速くするか、あるいは、一度に多くのデータを転送できるバスが必要となる。上記従来例を車両に適応する際、従来例のように１ライン毎では、検出対象物に該当する画素数も半減し、検出精度が落ちてしまう。本発明では、撮像画面内でも例えば割り込み車両２４が検出されやすい領域（例えば左右方向）は、高フレームレートで画像を更新し、割り込み車両２４が検出され難い領域（例えば上下方向）は、低フレームレートで画像を更新することで、画像の転送量を増やすことなく、検出精度を高フレームレートと同様にすることができる。なお、ＣＭＯＳセンサはランダムアクセスが可能なので、どこの番地でも自由にアクセスすることができる。したがって、高速撮像カメラ２として、ＣＭＯＳセンサを使用することにより、図２に示したような一部のみのアクセスも容易にできる。また、高速撮像カメラ２として、ラインで順次読み出すＣＣＤカメラを使用する場合では、低フレームラインのところを読み出さずに飛ばせばよい。
すなわち、この構成によれば、単一のフレームレートで画像を処理せず、撮像部が撮像した画像の領域のうち、高フレームレートで出力する領域と、前記高フレームレートより低い低フレームレートで出力する領域とに分けることにより、画質を低下させず、高フレームレートの画像を扱うことができる。さらに、低速な処理装置が使用でき、また、消費電力を低く抑えることができ、撮像部と処理部との間に高速な通信Ｉ／Ｆが不要な処理装置を構成できる。
また、本実施の形態１は、特許請求の範囲の請求項２にも対応する。すなわち、前記車両の走行状態を検出する車両情報検出手段（車速センサ３）を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段（低速領域算出部４）と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段（低速画像抽出部６）と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段（高速画像抽出部５）とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段（画像出力部９）であり、前記画像出力手段の出力を前記処理部（画像認識装置１１）の入力画像とすることを特徴とする（図１参照）。
この構成によれば、高フレームレートとする画像領域と、低フレームレートとする画像領域とを車両の走行状態に応じて変えることにより、高フレームレートを必要とする領域が適切に選択されるため、高フレームレートが要求される処理を確実に実施できる。さらに、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
また、本実施の形態１は、特許請求の範囲の請求項３にも対応する。すなわち、前記車両の走行状態を検出する車両情報検出手段（車速センサ３）を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段（低速領域算出部４）と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段（フレームレート算出部７）と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段（低速画像抽出部６）と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段（高速画像抽出部５）と、前記フレームレート算出手段で算出されたフレームレートで、前記低速画像抽出手段で抽出された画像を出力するフレームレート可変手段（フレームレート可変部８）とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記フレームレート可変手段から出力される画像情報とを合成する画像出力手段（画像出力部９）であり、前記画像出力手段の出力を前記処理部（画像認識装置１１）の入力画像とすることを特徴とする（図１参照）。
この構成によれば、低フレームレートとする画像のフレームレートを車両の走行状態に応じて変えることにより、最適なフレームレートが選択されるため、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
また、本実施の形態１は、特許請求の範囲の請求項５にも対応する。すなわち、前記撮像部（高速撮像カメラ２）は、前記車両の前方の画像を撮像し、前記高フレームレートで出力する領域（高フレームレート領域２１）を、画像の左側および右側とし、前記低フレームレートで出力する領域（低フレームレート領域２２）を、画像の中央部とすることを特徴とする（図２参照）。
また、本実施の形態１は、特許請求の範囲の請求項６にも対応する。すなわち、前記撮像部（高速撮像カメラ２）は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域（低フレームレート領域２２）を、自車線（２５）内の領域とすることを特徴とする（図２参照）。
また、本実施の形態１は、特許請求の範囲の請求項７にも対応する。すなわち、前記撮像部（高速撮像カメラ２）は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域（低フレームレート領域２２）を、先行車両（２３）を検出している領域とすることを特徴とする（図２参照）。
これらの構成によれば、相対速度が小さい前方を走行する車両（２３）や、形状が連続的に変化する道路では、比較的画像の変化が小さいため、低フレームレートの画像を用いても確度の高い車両認識や走路形状認識を行うことができ、かつ、隣接車線からの割り込み車両（２４）などでは、相対速度が大きくなるため、その領域を高フレームレートの画像を用いることにより、高速に検出を行うことができる。
【０００９】
実施の形態２
図３は、本発明の実施の形態２の車両用画像処理装置の構成を示すブロック図である。
１は画像処理部、２は高速撮像カメラ、１２は低速撮像カメラ、３は車速センサ、４は低速領域算出部、５は高速画像抽出部、６は低速画像抽出部、７はフレームレート算出部、９は画像出力部、１０は情報伝送部、１１は画像認識装置である。
ここでは、本実施の形態２について、前記実施の形態１と異なる項目についてのみ説明する。
【００１０】
本実施の形態２では、高フレームレートで撮像する高速撮像カメラ２と、低フレームレートで撮像する低速撮像カメラ１２の２つの撮像カメラを持っているので、低速撮像カメラ１２からは低いフレームレートの画像が出力されるため、前記実施の形態１におけるフレームレート可変部８（図１）が不要になる。
【００１１】
高フレームレートの高速撮像カメラ２と、低フレームレートの低速撮像カメラ１２をそれぞれ設けて撮像するため、画角や撮像方向などが個別に設定できることにより、各フレームレートに適した画像が撮像できる。
【００１２】
なお、本実施の形態２は、特許請求の範囲の請求項４に対応する。すなわち、前記車両の走行状態を検出する車両情報検出手段（車速センサ３）を有し、前記分割手段が、高フレームレートで前記車両の周囲の画像を撮像する高速撮像手段（高速撮像カメラ２）と、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段（低速領域算出部４）と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段（フレームレート算出部７）と、前記フレームレート算出手段で算出された前記高速撮像手段より低いフレームレートで、前記車両の周囲の画像を撮像する低速撮像手段（低速撮像カメラ１２）と、前記低速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段（低速画像抽出部６）と、前記高速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段（高速画像抽出部５）とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段（画像出力部９）であり、前記画像出力手段の出力を前記処理部（画像認識装置１１）の入力画像とすることを特徴とする（図３参照）。
【００１３】
この構成によれば、高速撮像手段と、低速撮像手段とをそれぞれ設けて撮像するため、画角や撮像方向などが個別に設定できるため、各フレームレートに適した画像が撮像できる。
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態１の車両用画像処理装置の構成を示すブロック図
【図２】本実施の形態１の車両用画像処理装置における高フレームレート、低フレームレートの分割の例を示す図
【図３】本発明の実施の形態２の車両用画像処理装置の構成を示すブロック図
【図４】従来の画像処理装置の構成を示すブロック図
【符号の説明】
１…画像処理部
２…高速撮像カメラ
３…車速センサ
４…低速領域算出部
５…高速画像抽出部
６…低速画像抽出部
７…フレームレート算出部
８…フレームレート可変部
９…画像出力部
１０…情報伝送部
１１…画像認識装置
１２…低速撮像カメラ
２１…高フレームレート領域
２２…低フレームレート領域
２３…先行車両
２４…割り込み車両
２５…自車線
【発明の属する技術分野】
本発明は、車両の周囲の障害物や走路形状を画像情報により検出する車両用画像処理装置に関する。
【０００２】
【従来の技術】
従来の画像処理装置としては、例えば、特開２０００−２５３４０１号公報に記載されたものがある。
図４は、該公報に記載された従来の画像処理装置の構成を示すブロック図である。
４１はテレビジョンカメラ、４２はデータ伝送部、４３はケーブル、４４は受信器、４５はディスプレイ、４６はレンズ、４７はＣＣＤ、４８はアナログプロセス部、４９はＡ／Ｄ変換器、５０は画像処理部、５１は同期信号発生部、５２はスイッチ、５３、５４はフィールドメモリ、５５はスイッチ、５６は伝送用ＬＳＩ、５７は制御部、５８は伝送用ＬＳＩ、５９はスイッチ、６０、６１はフィールドメモリ、６２はスイッチ、６３はＣＰＵ、６４はフレームメモリ、６５は制御部である。
この画像処理装置は、フルフレームのディジタル映像データの伝送装置において、あるフレームでは奇数ラインデータ、その次のフレームでは偶数ラインデータをフレーム毎に交互に伝送することで伝送量を１／２にし、その受信器においては、受信された奇数（偶数）ラインデータと１つ前に受信された偶数（奇数）ラインデータでフレームを構成して、映像を表示することで、伝送量の削減を行なうというものである。
【０００３】
【発明が解決しようとする課題】
車両の周囲の障害物や走路形状を画像情報により検出する車両用画像処理装置では、検出結果に高い信頼性が要求される。さらに、検出結果に基づいて車両の運動制御を行う場合には、その制御性を高めるため、検出結果の短い更新周期が要求される。そのため、従来は、ビデオレートで更新される画像を撮像素子で撮像し、その画像から必要な情報を検出していたが、車両用画像処理装置では、上述した理由により、画像の更新周期、すなわち、フレームレートを高くする必要がある。
ところが、上記従来例では、ラインごとに交互に伝送しているため、画質が低下するので、検出結果の信頼性が低下するという問題点がある。
その結果、車両に適応することが困難である。さらに、高い周波数の信号を取り扱うため、ノイズの影響も受けやすくなり、装置の信頼性が低下してしまうという問題点もある。
本発明の目的は、高画質で、検出結果の信頼性の高い車両用画像処理装置を提供することにある。
【０００４】
【課題を解決するための手段】
上記課題を解決するため、本発明においては特許請求の範囲に記載するような構成をとる。
すなわち、請求項１記載の車両用画像処理装置は、車両の周囲の少なくとも一部の画像を撮像する撮像部と、前記撮像部で撮像した画像情報から、前記車両の周囲の少なくとも一部の検知対象を検知する処理部と、前記撮像部で撮像した画像を前記処理部に出力する出力部とを有する車両用画像処理装置において、前記撮像部が撮像した画像の領域のうち、高フレームレートで画像を抽出する領域と、前記高フレームレートより低い低フレームレートで画像を抽出する領域とに分ける分割手段を有し、前記それぞれの領域の画像を抽出した後に、該それぞれの領域の画像のフレームレートで画像を生成し、前記処理部に出力することを特徴とする。
また、請求項２記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記車両の走行状態を検出する車両情報検出手段を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段であり、前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする。
また、請求項３記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記車両の走行状態を検出する車両情報検出手段を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段と、前記フレームレート算出手段で算出されたフレームレートで、前記低速画像抽出手段で抽出された画像を出力するフレームレート可変手段とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記フレームレート可変手段から出力される画像情報とを合成する画像出力手段であり、前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする。
また、請求項４記載の車両用画像処理装置は、請求項１記載の車両用画像処理装置において、前記車両の走行状態を検出する車両情報検出手段を有し、前記分割手段が、高フレームレートで前記車両の周囲の画像を撮像する高速撮像手段と、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段と、前記フレームレート算出手段で算出された前記高速撮像手段より低いフレームレートで、前記車両の周囲の画像を撮像する低速撮像手段と、前記低速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、前記高速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段であり、前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする。
また、請求項５記載の車両用画像処理装置は、請求項１、２、３または４記載の車両用画像処理装置において、前記撮像部は、前記車両の前方の画像を撮像し、前記高フレームレートで出力する領域を、画像の左側および右側とし、前記低フレームレートで出力する領域を、画像の中央部とすることを特徴とする。
また、請求項６記載の車両用画像処理装置は、請求項１、２、３または４記載の車両用画像処理装置において、前記撮像部は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域を、自車線内の領域とすることを特徴とする。
また、請求項７記載の車両用画像処理装置は、請求項１、２、３または４記載の車両用画像処理装置において、前記撮像部は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域を、先行車両を検出している領域とすることを特徴とする。
【０００５】
【発明の効果】
請求項１の発明によれば、単一のフレームレートで画像を処理せず、撮像部が撮像した画像の領域のうち、高フレームレートで出力する領域と、前記高フレームレートより低い低フレームレートで出力する領域とに分けることにより、画質を低下させず、高フレームレートの画像を扱うことができる。すなわち、画像の転送量を増やすことなく、検出精度を高フレームレートと同様にすることができる。さらに、低速な処理装置が使用でき、また、消費電力を低く抑えることができ、撮像部と処理部との間に高速な通信Ｉ／Ｆが不要な処理装置を構成できる。
請求項２の発明によれば、高フレームレートとする画像領域と、低フレームレートとする画像領域とを車両の走行状態に応じて変えることにより、高フレームレートを必要とする領域が適切に選択されるため、高フレームレートが要求される処理を確実に実施できる。さらに、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
請求項３の発明によれば、低フレームレートとする画像のフレームレートを車両の走行状態に応じて変えることにより、最適なフレームレートが選択されるため、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
請求項４の発明によれば、高速撮像手段と、低速撮像手段とをそれぞれ設けて撮像するため、画角や撮像方向などが個別に設定できるため、各フレームレートに適した画像が撮像できる。
請求項５、６、または７の発明によれば、相対速度が小さい前方を走行する車両や、形状が連続的に変化する道路では、比較的画像の変化が小さいため、低フレームレートの画像を用いても確度の高い車両認識や走路形状認識を行うことができ、かつ、隣接車線からの割り込み車両などでは、相対速度が大きくなるため、その領域を高フレームレートの画像を用いることにより、高速に検出を行うことができる。
【０００６】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
実施の形態１
図１は、本発明の実施の形態１の車両用画像処理装置の構成を示すブロック図である。
１は画像処理部、２は高速撮像カメラ（電子式のカメラ）、３は車速センサ、４は低速領域算出部、５は高速画像抽出部、６は低速画像抽出部、７はフレームレート算出部、８はフレームレート可変部、９は画像出力部、１０は情報伝送部、１１は画像認識装置である。
図２は、本実施の形態１の車両用画像処理装置における高フレームレート、低フレームレートの分割の例を示す図である。
２１は高フレームレート領域、２２は低フレームレート領域、２３は先行車両、２４は割り込み車両、２５は自車線を示す。
高速撮像カメラ２は、例えば、車両の前方の画像を撮像できるように車両に取り付けられ、単位時間あたりの撮像可能枚数が多い撮像素子とレンズなどから構成される。
走行速度を検出する車速センサ３は、車両情報検出手段の１つで、他には、例えば、加減速度を検出するＧセンサ等を用いることができる。
低速領域算出部４は、高速撮像カメラ１で撮像された画像データの中で、低フレームレートで情報を処理装置に伝達する領域を、車速センサ３から得られた車両情報（車速）に基づき算出する。
例えば、車両が低速で走行している場合には、撮像領域全体とし、高速で走行している場合には、割り込み車両２４が撮像される領域以外を低い伝送速度で情報を伝達するように設定する。例えば、図２に示すような割り込み車両２４が撮像される領域を高フレームレート領域２１とし、それ以外を低フレームレート領域２２とし、低い伝送速度で情報を伝達するように設定する。
本実施の形態１では、車速に応じて２つの状態、すなわち、高フレームレート領域２１と、低フレームレート領域２２とを切り換えるという手法を用いているが、例えば、車速が低くなるにつれて低フレームレート領域２２を連続的に拡張（高フレームレート領域２１を連続的に縮小）したり、車速が高くなるにつれて低フレームレート領域２２を連続的に縮小（高フレームレート領域２１を連続的に拡張）するように変えてもよい。
高速画像抽出部５は、低速領域算出部４で算出された低フレームレートで画像情報を処理装置である画像認識装置１１に伝達する領域以外の領域の画像を抽出し、出力する。
低速画像抽出部６は、低速領域算出部４で算出された低フレームレートで画像情報を画像認識装置１１に伝達する領域の画像を抽出し、出力する。
フレームレート算出部７は、車速センサ３と低速領域算出部４の算出結果を用いて低速画像のフレームレートを算出する。例えば、車速が低いときには、前方の走路画像は変化が小さくなるため、低速領域のフレームレートを小さくすることができるので、より低いフレームレートを出力する。他の例として、曲線路を走行中の場合には、直線路と比較し、同一の車速で走行していても、横方向の移動量が大きく、その結果、前方の画像の変化が大きくなるため、直線路走行時よりも高いフレームレートに設定する。曲線路走行中であることは、図示はしないが、車両情報検出手段である横方向の加速度を検出する横Ｇセンサや、ヨーレートセンサ、舵角センサなど用いればよい。
フレームレート可変部８は、低速画像抽出部６から出力された高フレームレートで出力されている低速領域の画像を、フレームレート算出部７で算出されたフレームレートで画像を出力させる。例えば、高速撮像カメラ２によるフレームレートが１００ｆｐｓ（フレーム／秒）で、フレームレート算出部７が算出したフレームレートが１０ｆｐｓとした場合には、フレームレート可変部８は、１０フレーム毎に画像を出力するよう、時間的に間引いて画像情報を出力する。
画像出力部９は、高速画像抽出部５から出力される高フレームレート画像と、フレームレート可変部８から出力される低フレームレート画像とを合成し、出力する。
情報伝送部１０は、画像出力部９から出力される画像情報を、処理部である画像認識装置１１に伝送させるために必要な通信Ｉ／Ｆ（インターフェース）機能を持つ。例えば、時分割で情報を伝送するシリアル通信、複数の伝送路を用いたパラレル通信やパーソナルコンピュータなどで用いられているＵＳＢ、ＩＥＥＥ１３９４なども用いることができる。
画像認識装置１１は、入力される画像情報から障害物認識や走路認識を行う。走路認識の例としては、エッジ画像から連続した線分を抽出することで、道路上にある白線を検出して行うといった手法を用いることができる。
【０００７】
次に、図２を用いて、本実施の形態１の車両用画像処理装置における作動と効果について説明する。
車両前方の画像から、障害物や走路形状の検出センサに本発明を適用した場合の、撮像カメラにより撮像される画像の例を図２に示す。
例えば、高速道路の合流部のような混雑した道路を走行中には、車両の周囲には、前方の車両だけではなく、図２に示すように、自車線（自車両が走行中の車線）２５と隣接する車線から車線変更し、自車両の直前に進入する割り込み車両２４が存在する。このような割り込み車両２４は、車線変更という左右の動きを伴っており、さらには、その移動量も大きく、車間距離も短い。そのような割り込み車両２４を検出し、的確な警報や車両の運動制御を行うためには、高速で確度の高い検出性能が必要となる。したがって、画像情報も、より高速で、高い画質が得られる撮像カメラが必要になる。
図２に示す例では、撮像された画像の領域を４分割し、割り込み車両２４が検出されやすい領域のフレームレートを高くし、高フレームレート領域２１とする。その他の領域については、画像の変化が小さいため、低いフレームレートで撮像しても、十分な情報量が得られるので、低フレームレート領域２２とする。 なお、画像の解像度には何ら変更を加えていないため、画質の低下が生じないので、低フレームレート領域２２の画像であっても、確度の高い処理を行うことができる。
領域の分割については、ここで記述した４分割する手法だけではなく、本発明を適用するシステムの目的に応じて変えることももちろん可能である。例えば、車両の側方の画像を撮像する場合は、画像の上部を低フレームレート領域とし、下部を高フレームレート領域とすることにより、移動量の大きい路面に近い位置にある障害物については高フレームレートで撮像されるため、高速な障害物検出が可能になる。
さらに、高速撮像カメラ２のみにより、前方の画像を撮像しているため、低フレームレートで出力する領域においては、画像情報を時間的に間引いて出力することにより、高フレームレート、低フレームレート、それぞれの画像が同軸上で撮像された画像となり、高フレームレート、低フレームレート画像間の相関情報を必要とするような処理を容易に行うことができるという効果もある。
【０００８】
なお、本実施の形態１は、特許請求の範囲の請求項１に対応する。すなわち、車両の周囲の少なくとも一部の画像を撮像する撮像部（図１の高速撮像カメラ２）と、前記撮像部で撮像した画像情報から、前記車両の周囲の少なくとも一部の検知対象を検知する処理部（画像認識装置１１）と、前記撮像部で撮像した画像を前記処理部に出力する出力部（画像出力部９）とを有する車両用画像処理装置において、前記撮像部が撮像した画像の領域のうち、高フレームレートで画像を抽出する領域（図２の高フレームレート領域２１）と、前記高フレームレートより低い低フレームレートで画像を抽出する領域（低フレームレート領域２２）とに分ける分割手段（低速領域算出部４、高速画像抽出部５、低速画像抽出部６、フレームレート算出部７、フレームレート可変部８）を有し、前記それぞれの領域の画像を抽出した後に、該それぞれの領域の画像のフレームレートで画像を生成し、前記処理部に出力することを特徴とする（図１、図２参照）。
カメラで割り込み車両２４（図２）等をすばやく、かつ、精度良く検出しようとすると、短時間で多くの画像を撮像し、画像の中からわずかな変化を検出することが考えられる。しかし、多くの画像をコントローラへ転送するには、転送速度を速くするか、あるいは、一度に多くのデータを転送できるバスが必要となる。上記従来例を車両に適応する際、従来例のように１ライン毎では、検出対象物に該当する画素数も半減し、検出精度が落ちてしまう。本発明では、撮像画面内でも例えば割り込み車両２４が検出されやすい領域（例えば左右方向）は、高フレームレートで画像を更新し、割り込み車両２４が検出され難い領域（例えば上下方向）は、低フレームレートで画像を更新することで、画像の転送量を増やすことなく、検出精度を高フレームレートと同様にすることができる。なお、ＣＭＯＳセンサはランダムアクセスが可能なので、どこの番地でも自由にアクセスすることができる。したがって、高速撮像カメラ２として、ＣＭＯＳセンサを使用することにより、図２に示したような一部のみのアクセスも容易にできる。また、高速撮像カメラ２として、ラインで順次読み出すＣＣＤカメラを使用する場合では、低フレームラインのところを読み出さずに飛ばせばよい。
すなわち、この構成によれば、単一のフレームレートで画像を処理せず、撮像部が撮像した画像の領域のうち、高フレームレートで出力する領域と、前記高フレームレートより低い低フレームレートで出力する領域とに分けることにより、画質を低下させず、高フレームレートの画像を扱うことができる。さらに、低速な処理装置が使用でき、また、消費電力を低く抑えることができ、撮像部と処理部との間に高速な通信Ｉ／Ｆが不要な処理装置を構成できる。
また、本実施の形態１は、特許請求の範囲の請求項２にも対応する。すなわち、前記車両の走行状態を検出する車両情報検出手段（車速センサ３）を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段（低速領域算出部４）と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段（低速画像抽出部６）と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段（高速画像抽出部５）とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段（画像出力部９）であり、前記画像出力手段の出力を前記処理部（画像認識装置１１）の入力画像とすることを特徴とする（図１参照）。
この構成によれば、高フレームレートとする画像領域と、低フレームレートとする画像領域とを車両の走行状態に応じて変えることにより、高フレームレートを必要とする領域が適切に選択されるため、高フレームレートが要求される処理を確実に実施できる。さらに、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
また、本実施の形態１は、特許請求の範囲の請求項３にも対応する。すなわち、前記車両の走行状態を検出する車両情報検出手段（車速センサ３）を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段（低速領域算出部４）と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段（フレームレート算出部７）と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段（低速画像抽出部６）と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段（高速画像抽出部５）と、前記フレームレート算出手段で算出されたフレームレートで、前記低速画像抽出手段で抽出された画像を出力するフレームレート可変手段（フレームレート可変部８）とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記フレームレート可変手段から出力される画像情報とを合成する画像出力手段（画像出力部９）であり、前記画像出力手段の出力を前記処理部（画像認識装置１１）の入力画像とすることを特徴とする（図１参照）。
この構成によれば、低フレームレートとする画像のフレームレートを車両の走行状態に応じて変えることにより、最適なフレームレートが選択されるため、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
また、本実施の形態１は、特許請求の範囲の請求項５にも対応する。すなわち、前記撮像部（高速撮像カメラ２）は、前記車両の前方の画像を撮像し、前記高フレームレートで出力する領域（高フレームレート領域２１）を、画像の左側および右側とし、前記低フレームレートで出力する領域（低フレームレート領域２２）を、画像の中央部とすることを特徴とする（図２参照）。
また、本実施の形態１は、特許請求の範囲の請求項６にも対応する。すなわち、前記撮像部（高速撮像カメラ２）は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域（低フレームレート領域２２）を、自車線（２５）内の領域とすることを特徴とする（図２参照）。
また、本実施の形態１は、特許請求の範囲の請求項７にも対応する。すなわち、前記撮像部（高速撮像カメラ２）は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域（低フレームレート領域２２）を、先行車両（２３）を検出している領域とすることを特徴とする（図２参照）。
これらの構成によれば、相対速度が小さい前方を走行する車両（２３）や、形状が連続的に変化する道路では、比較的画像の変化が小さいため、低フレームレートの画像を用いても確度の高い車両認識や走路形状認識を行うことができ、かつ、隣接車線からの割り込み車両（２４）などでは、相対速度が大きくなるため、その領域を高フレームレートの画像を用いることにより、高速に検出を行うことができる。
【０００９】
実施の形態２
図３は、本発明の実施の形態２の車両用画像処理装置の構成を示すブロック図である。
１は画像処理部、２は高速撮像カメラ、１２は低速撮像カメラ、３は車速センサ、４は低速領域算出部、５は高速画像抽出部、６は低速画像抽出部、７はフレームレート算出部、９は画像出力部、１０は情報伝送部、１１は画像認識装置である。
ここでは、本実施の形態２について、前記実施の形態１と異なる項目についてのみ説明する。
【００１０】
本実施の形態２では、高フレームレートで撮像する高速撮像カメラ２と、低フレームレートで撮像する低速撮像カメラ１２の２つの撮像カメラを持っているので、低速撮像カメラ１２からは低いフレームレートの画像が出力されるため、前記実施の形態１におけるフレームレート可変部８（図１）が不要になる。
【００１１】
高フレームレートの高速撮像カメラ２と、低フレームレートの低速撮像カメラ１２をそれぞれ設けて撮像するため、画角や撮像方向などが個別に設定できることにより、各フレームレートに適した画像が撮像できる。
【００１２】
なお、本実施の形態２は、特許請求の範囲の請求項４に対応する。すなわち、前記車両の走行状態を検出する車両情報検出手段（車速センサ３）を有し、前記分割手段が、高フレームレートで前記車両の周囲の画像を撮像する高速撮像手段（高速撮像カメラ２）と、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段（低速領域算出部４）と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段（フレームレート算出部７）と、前記フレームレート算出手段で算出された前記高速撮像手段より低いフレームレートで、前記車両の周囲の画像を撮像する低速撮像手段（低速撮像カメラ１２）と、前記低速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段（低速画像抽出部６）と、前記高速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段（高速画像抽出部５）とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段（画像出力部９）であり、前記画像出力手段の出力を前記処理部（画像認識装置１１）の入力画像とすることを特徴とする（図３参照）。
【００１３】
この構成によれば、高速撮像手段と、低速撮像手段とをそれぞれ設けて撮像するため、画角や撮像方向などが個別に設定できるため、各フレームレートに適した画像が撮像できる。
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図１】本発明の実施の形態１の車両用画像処理装置の構成を示すブロック図
【図２】本実施の形態１の車両用画像処理装置における高フレームレート、低フレームレートの分割の例を示す図
【図３】本発明の実施の形態２の車両用画像処理装置の構成を示すブロック図
【図４】従来の画像処理装置の構成を示すブロック図
【符号の説明】
１…画像処理部
２…高速撮像カメラ
３…車速センサ
４…低速領域算出部
５…高速画像抽出部
６…低速画像抽出部
７…フレームレート算出部
８…フレームレート可変部
９…画像出力部
１０…情報伝送部
１１…画像認識装置
１２…低速撮像カメラ
２１…高フレームレート領域
２２…低フレームレート領域
２３…先行車両
２４…割り込み車両
２５…自車線
Claims (7)
- 車両の周囲の少なくとも一部の画像を撮像する撮像部と、前記撮像部で撮像した画像情報から、前記車両の周囲の少なくとも一部の検知対象を検知する処理部と、前記撮像部で撮像した画像を前記処理部に出力する出力部とを有する車両用画像処理装置において、
前記撮像部が撮像した画像の領域のうち、高フレームレートで画像を抽出する領域と、前記高フレームレートより低い低フレームレートで画像を抽出する領域とに分ける分割手段を有し、前記それぞれの領域の画像を抽出した後に、該それぞれの領域の画像のフレームレートで画像を生成し、前記処理部に出力することを特徴とする車両用画像処理装置。 - 請求項１記載の車両用画像処理装置において、
前記車両の走行状態を検出する車両情報検出手段を有し、
前記分割手段が、
前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、
前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、
前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段とを有し、
前記出力部が、
前記高速画像抽出手段により抽出された画像情報と、前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段であり、
前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする車両用画像処理装置。 - 請求項１記載の車両用画像処理装置において、
前記車両の走行状態を検出する車両情報検出手段を有し、
前記分割手段が、
前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、
前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段と、
前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、
前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段と、
前記フレームレート算出手段で算出されたフレームレートで、前記低速画像抽出手段で抽出された画像を出力するフレームレート可変手段とを有し、
前記出力部が、
前記高速画像抽出手段により抽出された画像情報と、前記フレームレート可変手段から出力される画像情報とを合成する画像出力手段であり、
前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする車両用画像処理装置。 - 請求項１記載の車両用画像処理装置において、
前記車両の走行状態を検出する車両情報検出手段を有し、
前記分割手段が、
高フレームレートで前記車両の周囲の画像を撮像する高速撮像手段と、
前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、
前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段と、
前記フレームレート算出手段で算出された前記高速撮像手段より低いフレームレートで、前記車両の周囲の画像を撮像する低速撮像手段と、
前記低速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、
前記高速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段とを有し、
前記出力部が、
前記高速画像抽出手段により抽出された画像情報と前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段であり、
前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする車両用画像処理装置。 - 請求項１、２、３または４記載の車両用画像処理装置において、
前記撮像部は、前記車両の前方の画像を撮像し、
前記高フレームレートで出力する領域を、画像の左側および右側とし、
前記低フレームレートで出力する領域を、画像の中央部とすることを特徴とする車両用画像処理装置。 - 請求項１、２、３または４記載の車両用画像処理装置において、
前記撮像部は、前記車両の前方の画像を撮像し、
前記低フレームレートで出力する領域を、自車線内の領域とすることを特徴とする車両用画像処理装置。 - 請求項１、２、３または４記載の車両用画像処理装置において、
前記撮像部は、前記車両の前方の画像を撮像し、
前記低フレームレートで出力する領域を、先行車両を検出している領域とすることを特徴とする車両用画像処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002058402A JP3747866B2 (ja) | 2002-03-05 | 2002-03-05 | 車両用画像処理装置 |
| US10/365,526 US7171027B2 (en) | 2002-03-05 | 2003-02-13 | Vehicular image processing apparatus and related method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002058402A JP3747866B2 (ja) | 2002-03-05 | 2002-03-05 | 車両用画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003259361A JP2003259361A (ja) | 2003-09-12 |
| JP3747866B2 true JP3747866B2 (ja) | 2006-02-22 |
Family
ID=27784698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002058402A Expired - Lifetime JP3747866B2 (ja) | 2002-03-05 | 2002-03-05 | 車両用画像処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7171027B2 (ja) |
| JP (1) | JP3747866B2 (ja) |
Families Citing this family (64)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| ES2391556T3 (es) | 2002-05-03 | 2012-11-27 | Donnelly Corporation | Sistema de detección de objetos para vehículo |
| JP3879696B2 (ja) * | 2003-04-25 | 2007-02-14 | 日産自動車株式会社 | 運転支援装置 |
| JP4075722B2 (ja) * | 2003-07-22 | 2008-04-16 | 日産自動車株式会社 | 車両用表示制御装置 |
| JP4380550B2 (ja) * | 2004-03-31 | 2009-12-09 | 株式会社デンソー | 車載用撮影装置 |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| EP1883242B1 (en) * | 2005-05-20 | 2014-09-17 | Toyota Jidosha Kabushiki Kaisha | Image processor for vehicles |
| JP4940587B2 (ja) * | 2005-07-11 | 2012-05-30 | 株式会社デンソー | 道路撮像装置 |
| JP2007030603A (ja) * | 2005-07-25 | 2007-02-08 | Mazda Motor Corp | 車両用走行支援装置 |
| JP2007101421A (ja) * | 2005-10-05 | 2007-04-19 | Auto Network Gijutsu Kenkyusho:Kk | 周辺監視センサユニットおよび周辺監視センサシステム |
| JP2007172035A (ja) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 |
| JP4765649B2 (ja) * | 2006-02-08 | 2011-09-07 | 日産自動車株式会社 | 車両用映像処理装置、車両周囲監視システム並びに映像処理方法 |
| JP2007228019A (ja) * | 2006-02-21 | 2007-09-06 | Olympus Corp | 撮像装置 |
| DE102006020930B4 (de) * | 2006-05-05 | 2018-04-12 | Conti Temic Microelectronic Gmbh | Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug |
| US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
| EP1931147B1 (en) * | 2006-12-04 | 2019-07-10 | Harman Becker Automotive Systems GmbH | Apparatus and method for processing an image of a surrounding of a vehicle |
| JP4613906B2 (ja) * | 2006-12-14 | 2011-01-19 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
| KR101234079B1 (ko) | 2006-12-22 | 2013-02-15 | 삼성전자주식회사 | 차량운행관리장치, 차량운행관리시스템 및차량운행관리방법 |
| JP2009099033A (ja) * | 2007-10-18 | 2009-05-07 | Denso Corp | 車両周辺画像撮影制御装置および車両周辺画像撮影制御装置に用いるプログラム |
| KR101039722B1 (ko) | 2007-12-12 | 2011-06-09 | 현대자동차주식회사 | 차선유지 보조시스템 |
| JP5105306B2 (ja) * | 2008-04-11 | 2012-12-26 | 株式会社デンソー | 車両用表示装置 |
| TW201122848A (en) * | 2009-12-29 | 2011-07-01 | Ind Tech Res Inst | Method and system for calculating image recognition rate and embedded image processing system |
| CN102117475A (zh) * | 2009-12-31 | 2011-07-06 | 财团法人工业技术研究院 | 图像识别率计算方法与系统及其嵌入式图像处理系统 |
| JP5637735B2 (ja) * | 2010-05-31 | 2014-12-10 | トヨタ自動車株式会社 | 歩行者検出装置 |
| CN101840511B (zh) * | 2010-06-04 | 2013-08-28 | 哈尔滨工程大学 | 手指静脉特征提取与匹配识别方法 |
| JP5812598B2 (ja) * | 2010-12-06 | 2015-11-17 | 富士通テン株式会社 | 物体検出装置 |
| TWI421624B (zh) * | 2011-04-01 | 2014-01-01 | Ind Tech Res Inst | 環場監控裝置及其方法 |
| US8821306B2 (en) | 2011-05-27 | 2014-09-02 | Acushnet Company | Fitting system for a golf club |
| CN102506703B (zh) * | 2011-10-11 | 2014-02-12 | 中国烟草总公司郑州烟草研究院 | 一种测定烟用接装纸烫印面积比的方法 |
| DE102011121473A1 (de) * | 2011-12-17 | 2013-06-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm |
| US20130165249A1 (en) | 2011-12-22 | 2013-06-27 | Ryan Margoles | Golf club with improved weight distribution |
| JP2013186247A (ja) * | 2012-03-07 | 2013-09-19 | Mitsubishi Electric Corp | 動画表示装置 |
| JP6429452B2 (ja) * | 2013-11-22 | 2018-11-28 | ルネサスエレクトロニクス株式会社 | 車載用画像処理装置及び半導体装置 |
| EP2899692B1 (en) | 2014-01-28 | 2019-09-04 | Honda Research Institute Europe GmbH | Method, system, imaging device, movable device and program product for detecting static elements in video and image sources |
| JP6281323B2 (ja) * | 2014-03-04 | 2018-02-21 | アイシン・エィ・ダブリュ株式会社 | ヘッドアップディスプレイ装置 |
| US9937397B2 (en) | 2014-03-14 | 2018-04-10 | Acushnet Company | Golf club with improved weight distribution |
| US9421421B2 (en) | 2014-03-14 | 2016-08-23 | Acushnet Company | Golf club with improved weight distribution |
| US9211456B2 (en) | 2014-03-14 | 2015-12-15 | Acushnet Company | Golf club with improved weight distribution |
| CN103985126A (zh) * | 2014-05-21 | 2014-08-13 | 国家电网公司 | 计算视频图像中人群密度图的方法 |
| CN112839169B (zh) * | 2014-05-29 | 2023-05-09 | 株式会社尼康 | 驾驶辅助装置及摄像装置 |
| JP6451332B2 (ja) * | 2015-01-14 | 2019-01-16 | 株式会社ニコン | 撮像装置および自動車 |
| JP2015226255A (ja) * | 2014-05-29 | 2015-12-14 | 株式会社ニコン | 撮像装置および自動車 |
| JP6620395B2 (ja) * | 2014-08-28 | 2019-12-18 | 株式会社ニコン | 撮像装置 |
| JP6775285B2 (ja) * | 2015-09-24 | 2020-10-28 | アルパイン株式会社 | 後側方車両検知警報装置 |
| US9616298B1 (en) | 2015-09-24 | 2017-04-11 | Acushnet Company | Golf club with improved weighting |
| CN105427237B (zh) * | 2015-11-25 | 2018-04-24 | 长春乙天科技有限公司 | 一种大幅面光学测量系统的钢网图像配准与检测方法 |
| DE102015122421A1 (de) * | 2015-12-21 | 2017-06-22 | Connaught Electronics Ltd. | Verfahren zum Betreiben eines Kamerasystems mit einer ersten Kamera und einer zweiten Kamera, Kamerasystem und Kraftfahrzeug |
| JP6597282B2 (ja) * | 2015-12-22 | 2019-10-30 | 株式会社デンソー | 車両用表示装置 |
| JP2017183914A (ja) * | 2016-03-29 | 2017-10-05 | パナソニックＩｐマネジメント株式会社 | 画像処理装置 |
| CN107645630B (zh) * | 2016-07-20 | 2021-02-23 | 中兴通讯股份有限公司 | 摄像处理方法及装置 |
| US10126722B2 (en) * | 2016-08-01 | 2018-11-13 | Qualcomm Incorporated | System and method of dynamically controlling parameters for processing sensor output data for collision avoidance and path planning |
| JP6946352B2 (ja) * | 2017-01-20 | 2021-10-06 | 株式会社小糸製作所 | 車両用灯具システム、車両用灯具の制御装置及び車両用灯具の制御方法 |
| JP2019014450A (ja) * | 2017-07-10 | 2019-01-31 | トヨタ自動車株式会社 | 車両用表示装置 |
| CN110997488A (zh) * | 2017-07-28 | 2020-04-10 | 高通股份有限公司 | 动态控制用于处理传感器输出数据的参数的系统和方法 |
| JP6940361B2 (ja) * | 2017-10-10 | 2021-09-29 | マクセル株式会社 | 情報表示装置 |
| WO2020090511A1 (ja) * | 2018-10-31 | 2020-05-07 | ソニー株式会社 | 撮影装置、画像処理方法、及び、プログラム |
| JP7044694B2 (ja) * | 2018-12-27 | 2022-03-30 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の障害物検知システム |
| US10497232B1 (en) * | 2019-03-01 | 2019-12-03 | Motorola Solutions, Inc. | System and method for dynamic vehicular threat detection perimeter modification for an exited vehicular occupant |
| CN112406788B (zh) * | 2019-08-23 | 2022-06-24 | 华为技术有限公司 | 车窗自动清洁方法及装置 |
| DE102019217733A1 (de) * | 2019-11-18 | 2021-05-20 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Bediensystems in einem Fahrzeug und Bediensystem für ein Fahrzeug |
| CN113135193B (zh) * | 2021-04-16 | 2024-02-13 | 阿波罗智联(北京)科技有限公司 | 输出预警信息的方法、设备、存储介质及程序产品 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE203844T1 (de) * | 1992-03-20 | 2001-08-15 | Commw Scient Ind Res Org | Gegenstands-überwachungsystem |
| US6430303B1 (en) * | 1993-03-31 | 2002-08-06 | Fujitsu Limited | Image processing apparatus |
| JP3528548B2 (ja) | 1997-11-18 | 2004-05-17 | トヨタ自動車株式会社 | 車両用動画像処理方法および車両用動画像処理装置 |
| US6636257B1 (en) * | 1998-08-11 | 2003-10-21 | Honda Giken Kogyo Kabushiki Kaisha | Mobile body recognizing apparatus and motor vehicle monitoring apparatus |
| JP2000253401A (ja) | 1999-03-03 | 2000-09-14 | Hitachi Denshi Ltd | 映像データ伝送装置 |
| JP2001167282A (ja) | 1999-12-10 | 2001-06-22 | Toshiba Corp | 移動物体抽出装置及びその方法 |
| JP3750512B2 (ja) * | 2000-10-12 | 2006-03-01 | 日産自動車株式会社 | 車両用周辺障害物検出装置 |
| US6535242B1 (en) * | 2000-10-24 | 2003-03-18 | Gary Steven Strumolo | System and method for acquiring and displaying vehicular information |
| JP3839678B2 (ja) * | 2001-03-27 | 2006-11-01 | 三菱電機株式会社 | 車両位置認識装置 |
-
2002
- 2002-03-05 JP JP2002058402A patent/JP3747866B2/ja not_active Expired - Lifetime
-
2003
- 2003-02-13 US US10/365,526 patent/US7171027B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20030169902A1 (en) | 2003-09-11 |
| JP2003259361A (ja) | 2003-09-12 |
| US7171027B2 (en) | 2007-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3747866B2 (ja) | 車両用画像処理装置 | |
| US10650255B2 (en) | Vehicular vision system with object detection | |
| CN107273788B (zh) | 在车辆中执行车道检测的成像系统与车辆成像系统 | |
| JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
| EP3286056B1 (en) | System and method for a full lane change aid system with augmented reality technology | |
| JP5003395B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
| JP6601506B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両 | |
| JP2009206747A (ja) | 車両用周囲状況監視装置及び映像表示方法 | |
| WO2017212992A1 (ja) | 物体距離検出装置 | |
| JP5163165B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
| JP3011566B2 (ja) | 接近車監視装置 | |
| JP2008165610A (ja) | 道路区画線認識装置 | |
| JP4798576B2 (ja) | 付着物検出装置 | |
| JP3911983B2 (ja) | 後方監視装置 | |
| JPH08172620A (ja) | 車両用画像入力手段 | |
| JP2014026396A (ja) | 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム | |
| JP7427594B2 (ja) | 画像処理装置 | |
| JPWO2017158982A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム | |
| JP3084208B2 (ja) | 画像処理装置 | |
| JP6815926B2 (ja) | 撮像装置、撮像システム、移動体、チップ | |
| JP5950193B2 (ja) | 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム | |
| JP2993995B2 (ja) | 移動車の画像処理装置 | |
| JP2001023092A (ja) | 車両周辺領域監視装置 | |
| JPH1011585A (ja) | 物体検出装置 | |
| JP5891751B2 (ja) | 画像間差分装置および画像間差分方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050510 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051121 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3747866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |