JP3747866B2 - 車両用画像処理装置 - Google Patents
車両用画像処理装置 Download PDFInfo
- Publication number
- JP3747866B2 JP3747866B2 JP2002058402A JP2002058402A JP3747866B2 JP 3747866 B2 JP3747866 B2 JP 3747866B2 JP 2002058402 A JP2002058402 A JP 2002058402A JP 2002058402 A JP2002058402 A JP 2002058402A JP 3747866 B2 JP3747866 B2 JP 3747866B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- speed
- low
- frame rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、車両の周囲の障害物や走路形状を画像情報により検出する車両用画像処理装置に関する。
【0002】
【従来の技術】
従来の画像処理装置としては、例えば、特開2000−253401号公報に記載されたものがある。
図4は、該公報に記載された従来の画像処理装置の構成を示すブロック図である。
41はテレビジョンカメラ、42はデータ伝送部、43はケーブル、44は受信器、45はディスプレイ、46はレンズ、47はCCD、48はアナログプロセス部、49はA/D変換器、50は画像処理部、51は同期信号発生部、52はスイッチ、53、54はフィールドメモリ、55はスイッチ、56は伝送用LSI、57は制御部、58は伝送用LSI、59はスイッチ、60、61はフィールドメモリ、62はスイッチ、63はCPU、64はフレームメモリ、65は制御部である。
この画像処理装置は、フルフレームのディジタル映像データの伝送装置において、あるフレームでは奇数ラインデータ、その次のフレームでは偶数ラインデータをフレーム毎に交互に伝送することで伝送量を1/2にし、その受信器においては、受信された奇数(偶数)ラインデータと1つ前に受信された偶数(奇数)ラインデータでフレームを構成して、映像を表示することで、伝送量の削減を行なうというものである。
【0003】
【発明が解決しようとする課題】
車両の周囲の障害物や走路形状を画像情報により検出する車両用画像処理装置では、検出結果に高い信頼性が要求される。さらに、検出結果に基づいて車両の運動制御を行う場合には、その制御性を高めるため、検出結果の短い更新周期が要求される。そのため、従来は、ビデオレートで更新される画像を撮像素子で撮像し、その画像から必要な情報を検出していたが、車両用画像処理装置では、上述した理由により、画像の更新周期、すなわち、フレームレートを高くする必要がある。
ところが、上記従来例では、ラインごとに交互に伝送しているため、画質が低下するので、検出結果の信頼性が低下するという問題点がある。
その結果、車両に適応することが困難である。さらに、高い周波数の信号を取り扱うため、ノイズの影響も受けやすくなり、装置の信頼性が低下してしまうという問題点もある。
本発明の目的は、高画質で、検出結果の信頼性の高い車両用画像処理装置を提供することにある。
【0004】
【課題を解決するための手段】
上記課題を解決するため、本発明においては特許請求の範囲に記載するような構成をとる。
すなわち、請求項1記載の車両用画像処理装置は、車両の周囲の少なくとも一部の画像を撮像する撮像部と、前記撮像部で撮像した画像情報から、前記車両の周囲の少なくとも一部の検知対象を検知する処理部と、前記撮像部で撮像した画像を前記処理部に出力する出力部とを有する車両用画像処理装置において、前記撮像部が撮像した画像の領域のうち、高フレームレートで画像を抽出する領域と、前記高フレームレートより低い低フレームレートで画像を抽出する領域とに分ける分割手段を有し、前記それぞれの領域の画像を抽出した後に、該それぞれの領域の画像のフレームレートで画像を生成し、前記処理部に出力することを特徴とする。
また、請求項2記載の車両用画像処理装置は、請求項1記載の車両用画像処理装置において、前記車両の走行状態を検出する車両情報検出手段を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段であり、前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする。
また、請求項3記載の車両用画像処理装置は、請求項1記載の車両用画像処理装置において、前記車両の走行状態を検出する車両情報検出手段を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段と、前記フレームレート算出手段で算出されたフレームレートで、前記低速画像抽出手段で抽出された画像を出力するフレームレート可変手段とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記フレームレート可変手段から出力される画像情報とを合成する画像出力手段であり、前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする。
また、請求項4記載の車両用画像処理装置は、請求項1記載の車両用画像処理装置において、前記車両の走行状態を検出する車両情報検出手段を有し、前記分割手段が、高フレームレートで前記車両の周囲の画像を撮像する高速撮像手段と、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段と、前記フレームレート算出手段で算出された前記高速撮像手段より低いフレームレートで、前記車両の周囲の画像を撮像する低速撮像手段と、前記低速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、前記高速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段であり、前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする。
また、請求項5記載の車両用画像処理装置は、請求項1、2、3または4記載の車両用画像処理装置において、前記撮像部は、前記車両の前方の画像を撮像し、前記高フレームレートで出力する領域を、画像の左側および右側とし、前記低フレームレートで出力する領域を、画像の中央部とすることを特徴とする。
また、請求項6記載の車両用画像処理装置は、請求項1、2、3または4記載の車両用画像処理装置において、前記撮像部は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域を、自車線内の領域とすることを特徴とする。
また、請求項7記載の車両用画像処理装置は、請求項1、2、3または4記載の車両用画像処理装置において、前記撮像部は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域を、先行車両を検出している領域とすることを特徴とする。
【0005】
【発明の効果】
請求項1の発明によれば、単一のフレームレートで画像を処理せず、撮像部が撮像した画像の領域のうち、高フレームレートで出力する領域と、前記高フレームレートより低い低フレームレートで出力する領域とに分けることにより、画質を低下させず、高フレームレートの画像を扱うことができる。すなわち、画像の転送量を増やすことなく、検出精度を高フレームレートと同様にすることができる。さらに、低速な処理装置が使用でき、また、消費電力を低く抑えることができ、撮像部と処理部との間に高速な通信I/Fが不要な処理装置を構成できる。
請求項2の発明によれば、高フレームレートとする画像領域と、低フレームレートとする画像領域とを車両の走行状態に応じて変えることにより、高フレームレートを必要とする領域が適切に選択されるため、高フレームレートが要求される処理を確実に実施できる。さらに、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
請求項3の発明によれば、低フレームレートとする画像のフレームレートを車両の走行状態に応じて変えることにより、最適なフレームレートが選択されるため、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
請求項4の発明によれば、高速撮像手段と、低速撮像手段とをそれぞれ設けて撮像するため、画角や撮像方向などが個別に設定できるため、各フレームレートに適した画像が撮像できる。
請求項5、6、または7の発明によれば、相対速度が小さい前方を走行する車両や、形状が連続的に変化する道路では、比較的画像の変化が小さいため、低フレームレートの画像を用いても確度の高い車両認識や走路形状認識を行うことができ、かつ、隣接車線からの割り込み車両などでは、相対速度が大きくなるため、その領域を高フレームレートの画像を用いることにより、高速に検出を行うことができる。
【0006】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
実施の形態1
図1は、本発明の実施の形態1の車両用画像処理装置の構成を示すブロック図である。
1は画像処理部、2は高速撮像カメラ(電子式のカメラ)、3は車速センサ、4は低速領域算出部、5は高速画像抽出部、6は低速画像抽出部、7はフレームレート算出部、8はフレームレート可変部、9は画像出力部、10は情報伝送部、11は画像認識装置である。
図2は、本実施の形態1の車両用画像処理装置における高フレームレート、低フレームレートの分割の例を示す図である。
21は高フレームレート領域、22は低フレームレート領域、23は先行車両、24は割り込み車両、25は自車線を示す。
高速撮像カメラ2は、例えば、車両の前方の画像を撮像できるように車両に取り付けられ、単位時間あたりの撮像可能枚数が多い撮像素子とレンズなどから構成される。
走行速度を検出する車速センサ3は、車両情報検出手段の1つで、他には、例えば、加減速度を検出するGセンサ等を用いることができる。
低速領域算出部4は、高速撮像カメラ1で撮像された画像データの中で、低フレームレートで情報を処理装置に伝達する領域を、車速センサ3から得られた車両情報(車速)に基づき算出する。
例えば、車両が低速で走行している場合には、撮像領域全体とし、高速で走行している場合には、割り込み車両24が撮像される領域以外を低い伝送速度で情報を伝達するように設定する。例えば、図2に示すような割り込み車両24が撮像される領域を高フレームレート領域21とし、それ以外を低フレームレート領域22とし、低い伝送速度で情報を伝達するように設定する。
本実施の形態1では、車速に応じて2つの状態、すなわち、高フレームレート領域21と、低フレームレート領域22とを切り換えるという手法を用いているが、例えば、車速が低くなるにつれて低フレームレート領域22を連続的に拡張(高フレームレート領域21を連続的に縮小)したり、車速が高くなるにつれて低フレームレート領域22を連続的に縮小(高フレームレート領域21を連続的に拡張)するように変えてもよい。
高速画像抽出部5は、低速領域算出部4で算出された低フレームレートで画像情報を処理装置である画像認識装置11に伝達する領域以外の領域の画像を抽出し、出力する。
低速画像抽出部6は、低速領域算出部4で算出された低フレームレートで画像情報を画像認識装置11に伝達する領域の画像を抽出し、出力する。
フレームレート算出部7は、車速センサ3と低速領域算出部4の算出結果を用いて低速画像のフレームレートを算出する。例えば、車速が低いときには、前方の走路画像は変化が小さくなるため、低速領域のフレームレートを小さくすることができるので、より低いフレームレートを出力する。他の例として、曲線路を走行中の場合には、直線路と比較し、同一の車速で走行していても、横方向の移動量が大きく、その結果、前方の画像の変化が大きくなるため、直線路走行時よりも高いフレームレートに設定する。曲線路走行中であることは、図示はしないが、車両情報検出手段である横方向の加速度を検出する横Gセンサや、ヨーレートセンサ、舵角センサなど用いればよい。
フレームレート可変部8は、低速画像抽出部6から出力された高フレームレートで出力されている低速領域の画像を、フレームレート算出部7で算出されたフレームレートで画像を出力させる。例えば、高速撮像カメラ2によるフレームレートが100fps(フレーム/秒)で、フレームレート算出部7が算出したフレームレートが10fpsとした場合には、フレームレート可変部8は、10フレーム毎に画像を出力するよう、時間的に間引いて画像情報を出力する。
画像出力部9は、高速画像抽出部5から出力される高フレームレート画像と、フレームレート可変部8から出力される低フレームレート画像とを合成し、出力する。
情報伝送部10は、画像出力部9から出力される画像情報を、処理部である画像認識装置11に伝送させるために必要な通信I/F(インターフェース)機能を持つ。例えば、時分割で情報を伝送するシリアル通信、複数の伝送路を用いたパラレル通信やパーソナルコンピュータなどで用いられているUSB、IEEE1394なども用いることができる。
画像認識装置11は、入力される画像情報から障害物認識や走路認識を行う。走路認識の例としては、エッジ画像から連続した線分を抽出することで、道路上にある白線を検出して行うといった手法を用いることができる。
【0007】
次に、図2を用いて、本実施の形態1の車両用画像処理装置における作動と効果について説明する。
車両前方の画像から、障害物や走路形状の検出センサに本発明を適用した場合の、撮像カメラにより撮像される画像の例を図2に示す。
例えば、高速道路の合流部のような混雑した道路を走行中には、車両の周囲には、前方の車両だけではなく、図2に示すように、自車線(自車両が走行中の車線)25と隣接する車線から車線変更し、自車両の直前に進入する割り込み車両24が存在する。このような割り込み車両24は、車線変更という左右の動きを伴っており、さらには、その移動量も大きく、車間距離も短い。そのような割り込み車両24を検出し、的確な警報や車両の運動制御を行うためには、高速で確度の高い検出性能が必要となる。したがって、画像情報も、より高速で、高い画質が得られる撮像カメラが必要になる。
図2に示す例では、撮像された画像の領域を4分割し、割り込み車両24が検出されやすい領域のフレームレートを高くし、高フレームレート領域21とする。その他の領域については、画像の変化が小さいため、低いフレームレートで撮像しても、十分な情報量が得られるので、低フレームレート領域22とする。 なお、画像の解像度には何ら変更を加えていないため、画質の低下が生じないので、低フレームレート領域22の画像であっても、確度の高い処理を行うことができる。
領域の分割については、ここで記述した4分割する手法だけではなく、本発明を適用するシステムの目的に応じて変えることももちろん可能である。例えば、車両の側方の画像を撮像する場合は、画像の上部を低フレームレート領域とし、下部を高フレームレート領域とすることにより、移動量の大きい路面に近い位置にある障害物については高フレームレートで撮像されるため、高速な障害物検出が可能になる。
さらに、高速撮像カメラ2のみにより、前方の画像を撮像しているため、低フレームレートで出力する領域においては、画像情報を時間的に間引いて出力することにより、高フレームレート、低フレームレート、それぞれの画像が同軸上で撮像された画像となり、高フレームレート、低フレームレート画像間の相関情報を必要とするような処理を容易に行うことができるという効果もある。
【0008】
なお、本実施の形態1は、特許請求の範囲の請求項1に対応する。すなわち、車両の周囲の少なくとも一部の画像を撮像する撮像部(図1の高速撮像カメラ2)と、前記撮像部で撮像した画像情報から、前記車両の周囲の少なくとも一部の検知対象を検知する処理部(画像認識装置11)と、前記撮像部で撮像した画像を前記処理部に出力する出力部(画像出力部9)とを有する車両用画像処理装置において、前記撮像部が撮像した画像の領域のうち、高フレームレートで画像を抽出する領域(図2の高フレームレート領域21)と、前記高フレームレートより低い低フレームレートで画像を抽出する領域(低フレームレート領域22)とに分ける分割手段(低速領域算出部4、高速画像抽出部5、低速画像抽出部6、フレームレート算出部7、フレームレート可変部8)を有し、前記それぞれの領域の画像を抽出した後に、該それぞれの領域の画像のフレームレートで画像を生成し、前記処理部に出力することを特徴とする(図1、図2参照)。
カメラで割り込み車両24(図2)等をすばやく、かつ、精度良く検出しようとすると、短時間で多くの画像を撮像し、画像の中からわずかな変化を検出することが考えられる。しかし、多くの画像をコントローラへ転送するには、転送速度を速くするか、あるいは、一度に多くのデータを転送できるバスが必要となる。上記従来例を車両に適応する際、従来例のように1ライン毎では、検出対象物に該当する画素数も半減し、検出精度が落ちてしまう。本発明では、撮像画面内でも例えば割り込み車両24が検出されやすい領域(例えば左右方向)は、高フレームレートで画像を更新し、割り込み車両24が検出され難い領域(例えば上下方向)は、低フレームレートで画像を更新することで、画像の転送量を増やすことなく、検出精度を高フレームレートと同様にすることができる。なお、CMOSセンサはランダムアクセスが可能なので、どこの番地でも自由にアクセスすることができる。したがって、高速撮像カメラ2として、CMOSセンサを使用することにより、図2に示したような一部のみのアクセスも容易にできる。また、高速撮像カメラ2として、ラインで順次読み出すCCDカメラを使用する場合では、低フレームラインのところを読み出さずに飛ばせばよい。
すなわち、この構成によれば、単一のフレームレートで画像を処理せず、撮像部が撮像した画像の領域のうち、高フレームレートで出力する領域と、前記高フレームレートより低い低フレームレートで出力する領域とに分けることにより、画質を低下させず、高フレームレートの画像を扱うことができる。さらに、低速な処理装置が使用でき、また、消費電力を低く抑えることができ、撮像部と処理部との間に高速な通信I/Fが不要な処理装置を構成できる。
また、本実施の形態1は、特許請求の範囲の請求項2にも対応する。すなわち、前記車両の走行状態を検出する車両情報検出手段(車速センサ3)を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段(低速領域算出部4)と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段(低速画像抽出部6)と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段(高速画像抽出部5)とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段(画像出力部9)であり、前記画像出力手段の出力を前記処理部(画像認識装置11)の入力画像とすることを特徴とする(図1参照)。
この構成によれば、高フレームレートとする画像領域と、低フレームレートとする画像領域とを車両の走行状態に応じて変えることにより、高フレームレートを必要とする領域が適切に選択されるため、高フレームレートが要求される処理を確実に実施できる。さらに、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
また、本実施の形態1は、特許請求の範囲の請求項3にも対応する。すなわち、前記車両の走行状態を検出する車両情報検出手段(車速センサ3)を有し、前記分割手段が、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段(低速領域算出部4)と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段(フレームレート算出部7)と、前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段(低速画像抽出部6)と、前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段(高速画像抽出部5)と、前記フレームレート算出手段で算出されたフレームレートで、前記低速画像抽出手段で抽出された画像を出力するフレームレート可変手段(フレームレート可変部8)とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と、前記フレームレート可変手段から出力される画像情報とを合成する画像出力手段(画像出力部9)であり、前記画像出力手段の出力を前記処理部(画像認識装置11)の入力画像とすることを特徴とする(図1参照)。
この構成によれば、低フレームレートとする画像のフレームレートを車両の走行状態に応じて変えることにより、最適なフレームレートが選択されるため、より確度の高い検出を行うことができ、かつ、撮像部から出力される情報量を削減することができる。
また、本実施の形態1は、特許請求の範囲の請求項5にも対応する。すなわち、前記撮像部(高速撮像カメラ2)は、前記車両の前方の画像を撮像し、前記高フレームレートで出力する領域(高フレームレート領域21)を、画像の左側および右側とし、前記低フレームレートで出力する領域(低フレームレート領域22)を、画像の中央部とすることを特徴とする(図2参照)。
また、本実施の形態1は、特許請求の範囲の請求項6にも対応する。すなわち、前記撮像部(高速撮像カメラ2)は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域(低フレームレート領域22)を、自車線(25)内の領域とすることを特徴とする(図2参照)。
また、本実施の形態1は、特許請求の範囲の請求項7にも対応する。すなわち、前記撮像部(高速撮像カメラ2)は、前記車両の前方の画像を撮像し、前記低フレームレートで出力する領域(低フレームレート領域22)を、先行車両(23)を検出している領域とすることを特徴とする(図2参照)。
これらの構成によれば、相対速度が小さい前方を走行する車両(23)や、形状が連続的に変化する道路では、比較的画像の変化が小さいため、低フレームレートの画像を用いても確度の高い車両認識や走路形状認識を行うことができ、かつ、隣接車線からの割り込み車両(24)などでは、相対速度が大きくなるため、その領域を高フレームレートの画像を用いることにより、高速に検出を行うことができる。
【0009】
実施の形態2
図3は、本発明の実施の形態2の車両用画像処理装置の構成を示すブロック図である。
1は画像処理部、2は高速撮像カメラ、12は低速撮像カメラ、3は車速センサ、4は低速領域算出部、5は高速画像抽出部、6は低速画像抽出部、7はフレームレート算出部、9は画像出力部、10は情報伝送部、11は画像認識装置である。
ここでは、本実施の形態2について、前記実施の形態1と異なる項目についてのみ説明する。
【0010】
本実施の形態2では、高フレームレートで撮像する高速撮像カメラ2と、低フレームレートで撮像する低速撮像カメラ12の2つの撮像カメラを持っているので、低速撮像カメラ12からは低いフレームレートの画像が出力されるため、前記実施の形態1におけるフレームレート可変部8(図1)が不要になる。
【0011】
高フレームレートの高速撮像カメラ2と、低フレームレートの低速撮像カメラ12をそれぞれ設けて撮像するため、画角や撮像方向などが個別に設定できることにより、各フレームレートに適した画像が撮像できる。
【0012】
なお、本実施の形態2は、特許請求の範囲の請求項4に対応する。すなわち、前記車両の走行状態を検出する車両情報検出手段(車速センサ3)を有し、前記分割手段が、高フレームレートで前記車両の周囲の画像を撮像する高速撮像手段(高速撮像カメラ2)と、前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段(低速領域算出部4)と、前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段(フレームレート算出部7)と、前記フレームレート算出手段で算出された前記高速撮像手段より低いフレームレートで、前記車両の周囲の画像を撮像する低速撮像手段(低速撮像カメラ12)と、前記低速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段(低速画像抽出部6)と、前記高速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段(高速画像抽出部5)とを有し、前記出力部が、前記高速画像抽出手段により抽出された画像情報と前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段(画像出力部9)であり、前記画像出力手段の出力を前記処理部(画像認識装置11)の入力画像とすることを特徴とする(図3参照)。
【0013】
この構成によれば、高速撮像手段と、低速撮像手段とをそれぞれ設けて撮像するため、画角や撮像方向などが個別に設定できるため、各フレームレートに適した画像が撮像できる。
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【図面の簡単な説明】
【図1】本発明の実施の形態1の車両用画像処理装置の構成を示すブロック図
【図2】本実施の形態1の車両用画像処理装置における高フレームレート、低フレームレートの分割の例を示す図
【図3】本発明の実施の形態2の車両用画像処理装置の構成を示すブロック図
【図4】従来の画像処理装置の構成を示すブロック図
【符号の説明】
1…画像処理部
2…高速撮像カメラ
3…車速センサ
4…低速領域算出部
5…高速画像抽出部
6…低速画像抽出部
7…フレームレート算出部
8…フレームレート可変部
9…画像出力部
10…情報伝送部
11…画像認識装置
12…低速撮像カメラ
21…高フレームレート領域
22…低フレームレート領域
23…先行車両
24…割り込み車両
25…自車線
Claims (7)
- 車両の周囲の少なくとも一部の画像を撮像する撮像部と、前記撮像部で撮像した画像情報から、前記車両の周囲の少なくとも一部の検知対象を検知する処理部と、前記撮像部で撮像した画像を前記処理部に出力する出力部とを有する車両用画像処理装置において、
前記撮像部が撮像した画像の領域のうち、高フレームレートで画像を抽出する領域と、前記高フレームレートより低い低フレームレートで画像を抽出する領域とに分ける分割手段を有し、前記それぞれの領域の画像を抽出した後に、該それぞれの領域の画像のフレームレートで画像を生成し、前記処理部に出力することを特徴とする車両用画像処理装置。 - 請求項1記載の車両用画像処理装置において、
前記車両の走行状態を検出する車両情報検出手段を有し、
前記分割手段が、
前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、
前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、
前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段とを有し、
前記出力部が、
前記高速画像抽出手段により抽出された画像情報と、前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段であり、
前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする車両用画像処理装置。 - 請求項1記載の車両用画像処理装置において、
前記車両の走行状態を検出する車両情報検出手段を有し、
前記分割手段が、
前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、
前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段と、
前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、
前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段と、
前記フレームレート算出手段で算出されたフレームレートで、前記低速画像抽出手段で抽出された画像を出力するフレームレート可変手段とを有し、
前記出力部が、
前記高速画像抽出手段により抽出された画像情報と、前記フレームレート可変手段から出力される画像情報とを合成する画像出力手段であり、
前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする車両用画像処理装置。 - 請求項1記載の車両用画像処理装置において、
前記車両の走行状態を検出する車両情報検出手段を有し、
前記分割手段が、
高フレームレートで前記車両の周囲の画像を撮像する高速撮像手段と、
前記車両情報検出手段に基づき、低フレームレートで撮像する領域を算出する低速領域算出手段と、
前記低速領域算出手段により算出された領域に基づき、低速領域のフレームレートを算出するフレームレート算出手段と、
前記フレームレート算出手段で算出された前記高速撮像手段より低いフレームレートで、前記車両の周囲の画像を撮像する低速撮像手段と、
前記低速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域の画像を抽出する低速画像抽出手段と、
前記高速画像撮像手段で撮像された画像から前記低速領域算出手段により算出された領域以外の画像を抽出する高速画像抽出手段とを有し、
前記出力部が、
前記高速画像抽出手段により抽出された画像情報と前記低速画像抽出手段から出力される画像情報とを合成する画像出力手段であり、
前記画像出力手段の出力を前記処理部の入力画像とすることを特徴とする車両用画像処理装置。 - 請求項1、2、3または4記載の車両用画像処理装置において、
前記撮像部は、前記車両の前方の画像を撮像し、
前記高フレームレートで出力する領域を、画像の左側および右側とし、
前記低フレームレートで出力する領域を、画像の中央部とすることを特徴とする車両用画像処理装置。 - 請求項1、2、3または4記載の車両用画像処理装置において、
前記撮像部は、前記車両の前方の画像を撮像し、
前記低フレームレートで出力する領域を、自車線内の領域とすることを特徴とする車両用画像処理装置。 - 請求項1、2、3または4記載の車両用画像処理装置において、
前記撮像部は、前記車両の前方の画像を撮像し、
前記低フレームレートで出力する領域を、先行車両を検出している領域とすることを特徴とする車両用画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002058402A JP3747866B2 (ja) | 2002-03-05 | 2002-03-05 | 車両用画像処理装置 |
US10/365,526 US7171027B2 (en) | 2002-03-05 | 2003-02-13 | Vehicular image processing apparatus and related method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002058402A JP3747866B2 (ja) | 2002-03-05 | 2002-03-05 | 車両用画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003259361A JP2003259361A (ja) | 2003-09-12 |
JP3747866B2 true JP3747866B2 (ja) | 2006-02-22 |
Family
ID=27784698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002058402A Expired - Lifetime JP3747866B2 (ja) | 2002-03-05 | 2002-03-05 | 車両用画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7171027B2 (ja) |
JP (1) | JP3747866B2 (ja) |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
ES2391556T3 (es) | 2002-05-03 | 2012-11-27 | Donnelly Corporation | Sistema de detección de objetos para vehículo |
JP3879696B2 (ja) * | 2003-04-25 | 2007-02-14 | 日産自動車株式会社 | 運転支援装置 |
JP4075722B2 (ja) * | 2003-07-22 | 2008-04-16 | 日産自動車株式会社 | 車両用表示制御装置 |
JP4380550B2 (ja) * | 2004-03-31 | 2009-12-09 | 株式会社デンソー | 車載用撮影装置 |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
EP1883242B1 (en) * | 2005-05-20 | 2014-09-17 | Toyota Jidosha Kabushiki Kaisha | Image processor for vehicles |
JP4940587B2 (ja) * | 2005-07-11 | 2012-05-30 | 株式会社デンソー | 道路撮像装置 |
JP2007030603A (ja) * | 2005-07-25 | 2007-02-08 | Mazda Motor Corp | 車両用走行支援装置 |
JP2007101421A (ja) * | 2005-10-05 | 2007-04-19 | Auto Network Gijutsu Kenkyusho:Kk | 周辺監視センサユニットおよび周辺監視センサシステム |
JP2007172035A (ja) * | 2005-12-19 | 2007-07-05 | Fujitsu Ten Ltd | 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法 |
JP4765649B2 (ja) * | 2006-02-08 | 2011-09-07 | 日産自動車株式会社 | 車両用映像処理装置、車両周囲監視システム並びに映像処理方法 |
JP2007228019A (ja) * | 2006-02-21 | 2007-09-06 | Olympus Corp | 撮像装置 |
DE102006020930B4 (de) * | 2006-05-05 | 2018-04-12 | Conti Temic Microelectronic Gmbh | Verfahren zur Umgebungsüberwachung für ein Kraftfahrzeug |
US7972045B2 (en) | 2006-08-11 | 2011-07-05 | Donnelly Corporation | Automatic headlamp control system |
EP1931147B1 (en) * | 2006-12-04 | 2019-07-10 | Harman Becker Automotive Systems GmbH | Apparatus and method for processing an image of a surrounding of a vehicle |
JP4613906B2 (ja) * | 2006-12-14 | 2011-01-19 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
KR101234079B1 (ko) | 2006-12-22 | 2013-02-15 | 삼성전자주식회사 | 차량운행관리장치, 차량운행관리시스템 및차량운행관리방법 |
JP2009099033A (ja) * | 2007-10-18 | 2009-05-07 | Denso Corp | 車両周辺画像撮影制御装置および車両周辺画像撮影制御装置に用いるプログラム |
KR101039722B1 (ko) | 2007-12-12 | 2011-06-09 | 현대자동차주식회사 | 차선유지 보조시스템 |
JP5105306B2 (ja) * | 2008-04-11 | 2012-12-26 | 株式会社デンソー | 車両用表示装置 |
TW201122848A (en) * | 2009-12-29 | 2011-07-01 | Ind Tech Res Inst | Method and system for calculating image recognition rate and embedded image processing system |
CN102117475A (zh) * | 2009-12-31 | 2011-07-06 | 财团法人工业技术研究院 | 图像识别率计算方法与系统及其嵌入式图像处理系统 |
JP5637735B2 (ja) * | 2010-05-31 | 2014-12-10 | トヨタ自動車株式会社 | 歩行者検出装置 |
CN101840511B (zh) * | 2010-06-04 | 2013-08-28 | 哈尔滨工程大学 | 手指静脉特征提取与匹配识别方法 |
JP5812598B2 (ja) * | 2010-12-06 | 2015-11-17 | 富士通テン株式会社 | 物体検出装置 |
TWI421624B (zh) * | 2011-04-01 | 2014-01-01 | Ind Tech Res Inst | 環場監控裝置及其方法 |
US8821306B2 (en) | 2011-05-27 | 2014-09-02 | Acushnet Company | Fitting system for a golf club |
CN102506703B (zh) * | 2011-10-11 | 2014-02-12 | 中国烟草总公司郑州烟草研究院 | 一种测定烟用接装纸烫印面积比的方法 |
DE102011121473A1 (de) * | 2011-12-17 | 2013-06-20 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Anzeigen von Bildern auf einer Anzeigeeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung, Kraftfahrzeug und Computerprogramm |
US20130165249A1 (en) | 2011-12-22 | 2013-06-27 | Ryan Margoles | Golf club with improved weight distribution |
JP2013186247A (ja) * | 2012-03-07 | 2013-09-19 | Mitsubishi Electric Corp | 動画表示装置 |
JP6429452B2 (ja) * | 2013-11-22 | 2018-11-28 | ルネサスエレクトロニクス株式会社 | 車載用画像処理装置及び半導体装置 |
EP2899692B1 (en) | 2014-01-28 | 2019-09-04 | Honda Research Institute Europe GmbH | Method, system, imaging device, movable device and program product for detecting static elements in video and image sources |
JP6281323B2 (ja) * | 2014-03-04 | 2018-02-21 | アイシン・エィ・ダブリュ株式会社 | ヘッドアップディスプレイ装置 |
US9937397B2 (en) | 2014-03-14 | 2018-04-10 | Acushnet Company | Golf club with improved weight distribution |
US9421421B2 (en) | 2014-03-14 | 2016-08-23 | Acushnet Company | Golf club with improved weight distribution |
US9211456B2 (en) | 2014-03-14 | 2015-12-15 | Acushnet Company | Golf club with improved weight distribution |
CN103985126A (zh) * | 2014-05-21 | 2014-08-13 | 国家电网公司 | 计算视频图像中人群密度图的方法 |
CN112839169B (zh) * | 2014-05-29 | 2023-05-09 | 株式会社尼康 | 驾驶辅助装置及摄像装置 |
JP6451332B2 (ja) * | 2015-01-14 | 2019-01-16 | 株式会社ニコン | 撮像装置および自動車 |
JP2015226255A (ja) * | 2014-05-29 | 2015-12-14 | 株式会社ニコン | 撮像装置および自動車 |
JP6620395B2 (ja) * | 2014-08-28 | 2019-12-18 | 株式会社ニコン | 撮像装置 |
JP6775285B2 (ja) * | 2015-09-24 | 2020-10-28 | アルパイン株式会社 | 後側方車両検知警報装置 |
US9616298B1 (en) | 2015-09-24 | 2017-04-11 | Acushnet Company | Golf club with improved weighting |
CN105427237B (zh) * | 2015-11-25 | 2018-04-24 | 长春乙天科技有限公司 | 一种大幅面光学测量系统的钢网图像配准与检测方法 |
DE102015122421A1 (de) * | 2015-12-21 | 2017-06-22 | Connaught Electronics Ltd. | Verfahren zum Betreiben eines Kamerasystems mit einer ersten Kamera und einer zweiten Kamera, Kamerasystem und Kraftfahrzeug |
JP6597282B2 (ja) * | 2015-12-22 | 2019-10-30 | 株式会社デンソー | 車両用表示装置 |
JP2017183914A (ja) * | 2016-03-29 | 2017-10-05 | パナソニックIpマネジメント株式会社 | 画像処理装置 |
CN107645630B (zh) * | 2016-07-20 | 2021-02-23 | 中兴通讯股份有限公司 | 摄像处理方法及装置 |
US10126722B2 (en) * | 2016-08-01 | 2018-11-13 | Qualcomm Incorporated | System and method of dynamically controlling parameters for processing sensor output data for collision avoidance and path planning |
JP6946352B2 (ja) * | 2017-01-20 | 2021-10-06 | 株式会社小糸製作所 | 車両用灯具システム、車両用灯具の制御装置及び車両用灯具の制御方法 |
JP2019014450A (ja) * | 2017-07-10 | 2019-01-31 | トヨタ自動車株式会社 | 車両用表示装置 |
CN110997488A (zh) * | 2017-07-28 | 2020-04-10 | 高通股份有限公司 | 动态控制用于处理传感器输出数据的参数的系统和方法 |
JP6940361B2 (ja) * | 2017-10-10 | 2021-09-29 | マクセル株式会社 | 情報表示装置 |
WO2020090511A1 (ja) * | 2018-10-31 | 2020-05-07 | ソニー株式会社 | 撮影装置、画像処理方法、及び、プログラム |
JP7044694B2 (ja) * | 2018-12-27 | 2022-03-30 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の障害物検知システム |
US10497232B1 (en) * | 2019-03-01 | 2019-12-03 | Motorola Solutions, Inc. | System and method for dynamic vehicular threat detection perimeter modification for an exited vehicular occupant |
CN112406788B (zh) * | 2019-08-23 | 2022-06-24 | 华为技术有限公司 | 车窗自动清洁方法及装置 |
DE102019217733A1 (de) * | 2019-11-18 | 2021-05-20 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Bediensystems in einem Fahrzeug und Bediensystem für ein Fahrzeug |
CN113135193B (zh) * | 2021-04-16 | 2024-02-13 | 阿波罗智联(北京)科技有限公司 | 输出预警信息的方法、设备、存储介质及程序产品 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE203844T1 (de) * | 1992-03-20 | 2001-08-15 | Commw Scient Ind Res Org | Gegenstands-überwachungsystem |
US6430303B1 (en) * | 1993-03-31 | 2002-08-06 | Fujitsu Limited | Image processing apparatus |
JP3528548B2 (ja) | 1997-11-18 | 2004-05-17 | トヨタ自動車株式会社 | 車両用動画像処理方法および車両用動画像処理装置 |
US6636257B1 (en) * | 1998-08-11 | 2003-10-21 | Honda Giken Kogyo Kabushiki Kaisha | Mobile body recognizing apparatus and motor vehicle monitoring apparatus |
JP2000253401A (ja) | 1999-03-03 | 2000-09-14 | Hitachi Denshi Ltd | 映像データ伝送装置 |
JP2001167282A (ja) | 1999-12-10 | 2001-06-22 | Toshiba Corp | 移動物体抽出装置及びその方法 |
JP3750512B2 (ja) * | 2000-10-12 | 2006-03-01 | 日産自動車株式会社 | 車両用周辺障害物検出装置 |
US6535242B1 (en) * | 2000-10-24 | 2003-03-18 | Gary Steven Strumolo | System and method for acquiring and displaying vehicular information |
JP3839678B2 (ja) * | 2001-03-27 | 2006-11-01 | 三菱電機株式会社 | 車両位置認識装置 |
-
2002
- 2002-03-05 JP JP2002058402A patent/JP3747866B2/ja not_active Expired - Lifetime
-
2003
- 2003-02-13 US US10/365,526 patent/US7171027B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20030169902A1 (en) | 2003-09-11 |
JP2003259361A (ja) | 2003-09-12 |
US7171027B2 (en) | 2007-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3747866B2 (ja) | 車両用画像処理装置 | |
US10650255B2 (en) | Vehicular vision system with object detection | |
CN107273788B (zh) | 在车辆中执行车道检测的成像系统与车辆成像系统 | |
JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
EP3286056B1 (en) | System and method for a full lane change aid system with augmented reality technology | |
JP5003395B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
JP6601506B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両 | |
JP2009206747A (ja) | 車両用周囲状況監視装置及び映像表示方法 | |
WO2017212992A1 (ja) | 物体距離検出装置 | |
JP5163165B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
JP3011566B2 (ja) | 接近車監視装置 | |
JP2008165610A (ja) | 道路区画線認識装置 | |
JP4798576B2 (ja) | 付着物検出装置 | |
JP3911983B2 (ja) | 後方監視装置 | |
JPH08172620A (ja) | 車両用画像入力手段 | |
JP2014026396A (ja) | 移動面境界線認識装置、移動面境界線認識装置を備えた移動体、移動面境界線認識方法及び移動面境界線認識用プログラム | |
JP7427594B2 (ja) | 画像処理装置 | |
JPWO2017158982A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム | |
JP3084208B2 (ja) | 画像処理装置 | |
JP6815926B2 (ja) | 撮像装置、撮像システム、移動体、チップ | |
JP5950193B2 (ja) | 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム | |
JP2993995B2 (ja) | 移動車の画像処理装置 | |
JP2001023092A (ja) | 車両周辺領域監視装置 | |
JPH1011585A (ja) | 物体検出装置 | |
JP5891751B2 (ja) | 画像間差分装置および画像間差分方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050510 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051121 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3747866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091209 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101209 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111209 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121209 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131209 Year of fee payment: 8 |
|
EXPY | Cancellation because of completion of term |