WO2014054752A1 - 画像処理装置及び車両前方監視装置 - Google Patents

画像処理装置及び車両前方監視装置 Download PDF

Info

Publication number
WO2014054752A1
WO2014054752A1 PCT/JP2013/076979 JP2013076979W WO2014054752A1 WO 2014054752 A1 WO2014054752 A1 WO 2014054752A1 JP 2013076979 W JP2013076979 W JP 2013076979W WO 2014054752 A1 WO2014054752 A1 WO 2014054752A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
imaging
vehicle
imaging means
distance
Prior art date
Application number
PCT/JP2013/076979
Other languages
English (en)
French (fr)
Inventor
山下　龍麿
Original Assignee
アルプス電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルプス電気株式会社 filed Critical アルプス電気株式会社
Priority to JP2014539827A priority Critical patent/JP5951785B2/ja
Publication of WO2014054752A1 publication Critical patent/WO2014054752A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • FIG. 13 is a front view of a vehicle 200 provided with the vehicle outside monitoring device described in Patent Document 1.
  • a total of four cameras that is, CCD cameras 201 and 202 for long distance and CCD cameras 211 and 212 for short distance, are mounted, either long distance or near distance
  • the image is input to the stereo image processing apparatus, the amount of positional deviation on the left and right images is determined, and the distance to the object is calculated.
  • Patent Document 2 a structure in which a lens for a short distance imaging camera and a lens for a long distance imaging camera are respectively provided as lenses of a stereo camera, and images captured by each are formed in separate imaging areas (imaging planes)
  • an image including a color feature, a night vision image, and an image as a stereo camera can be simultaneously obtained by a pair of imaging means, and the distance to the image recognition target can be estimated and the color feature target can be image recognized.
  • An image processing device and a vehicle forward monitoring device can be provided.
  • the relative position data obtained in this way is recorded in advance in the image processing unit 42, and a conversion is performed to calibrate the photographed image information into an image that would have been photographed when the imaging unit was in the ideal parallel posture. Applied to the parallelization process.
  • FIG. 4 is an explanatory view showing image correction of a first image obtained by imaging a checkerboard.
  • FIG. 4A is an image before correction of the image
  • FIG. 4B is an image after correction.
  • the distortion removal process of the image information captured by the second imaging means 20 can be performed in the same manner. In this way, even if the first imaging means 10 and the second imaging means 20 have unique lens characteristics and are not in the ideal parallel posture, they can be corrected to an ideal image. .
  • FIG. 5 is a flowchart for explaining the image processing procedure in the first embodiment.
  • the image information captured by the first imaging unit 10 and the second imaging unit 20 is input to the image processing unit 42, and the image information is acquired.
  • the image correction described above is performed, the first image information is corrected, and the first image and the second image information are corrected to obtain a second image.
  • the distance is determined by the principle of triangulation based on the displacement amount of the image position. It is calculated. This process is similarly repeated for the image information captured at the next timing until the image processing is completed in step ST6.
  • the first imaging element 12 is an imaging element for color photography provided with a visible light filter
  • an imaging element having sensitivity to near-infrared light is used. It is preferable that the imaging means 10 of 1 be able to condense near-infrared light and pick up first image information with visible light and near-infrared light.
  • FIG. 9 shows an example of an image of visible light.
  • FIG. 10 shows an example of an image of near-infrared light taken simultaneously with FIG.
  • FIG. 9 is an image in which the far field or side field of view is dark and difficult to visually recognize, in FIG. 10, the far field or side field of view is also bright and an image called “night vision” is obtained. Therefore, even at night or in a tunnel where the amount of visible light is small, it can be compensated by the image acquired by infrared light, and the stereo distance measurement performance of night vision is improved.
  • the second imaging element 22 may be a far infrared imaging element that detects far infrared light.
  • FIG. 11 shows an image example of far infrared light captured at the same time as FIG. As compared with FIG. 9 and FIG. 10, it can be seen that the far vision is more easily visible.
  • a human body emitting far infrared light is also brightly recognized, and thus the sensitivity for detecting the human body at night is further improved.
  • the image processing apparatus 1 can be used for a security camera, a self-propelled robot, etc., in addition to being mounted on a vehicle.
  • the image processing apparatus may be provided with wireless communication means so as to wirelessly communicate with the remote control device having the display means 60.

Abstract

　色特徴を含む画像とステレオカメラとしての画像を同時に取得し、ステレオ測距対象物と色特徴対象物を画像認識できる画像処理装置及び車両前方監視装置を提供する。可視光を集光可能な第１の撮像手段（１０）と、第１の撮像手段の視野と共通領域を含む視野範囲を撮像可能で、且つ、赤外光を集光可能な第２の撮像手段（２０）と、第１の撮像手段によって撮像された第１の画像情報及び第２の撮像手段によって撮像された第２の画像情報を基に、対象物を認識する画像認識手段（４０）と、を有し、画像認識手段は、第１の画像情報及び第２の画像情報を補正した第１の画像及び第２の画像を取得して、色特徴対象物として画像認識する処理が行われる画像処理部（４２）と、第１の画像と第２の画像とを基に、ステレオ測距対象物として画像認識し、距離を推定する処理が行われる距離推定処理部（４３）と、を備えている。

Description

画像処理装置及び車両前方監視装置
　本発明は、画像認識した対象物までの距離が推定できる画像処理装置及び車両前方監視装置に関する。
　車両にカメラを搭載して車両前方を監視し、前方の車両や障害物を画像情報から抽出し、それらに衝突する前に警告を発したり、危険回避操作としてブレーキを作動させたりする車両前方監視装置が知られている。
　画像情報を基に車両前方の対象物との距離を推定する装置では、ステレオカメラと呼ばれる一対の撮像手段によって撮像した画像情報を基に、三角測量の原理を応用して対象物までの距離を算出している。
　ステレオカメラを用いた距離算出の精度は、画像位置の相対的な変化を検出する精度に依存しているので、遠方の対象物に対して推定可能な距離は、撮像された画像情報の量と撮像手段の光学特性とで制約される。このため、時速１００ｋｍ程度の走行時に適用される車両前方監視装置は、カメラの焦点距離を長くして視野範囲を狭めることによって精度を確保した遠距離用のカメラが用いられた。
　一方、低速走行時においては、車両の斜め前方まで認識できることが必要である。また高速走行中において、斜め前方から自車両の直前に割り込んできた他車両を検出するような場合には、広い視野範囲の画像情報を確保しておく必要があった。このため、カメラの焦点距離を短くして視野範囲を確保した近距離用のカメラが用いられた。
　特許文献１には、近距離用のＣＣＤカメラと遠距離用のＣＣＤカメラとをそれぞれステレオカメラとして持ち、どちらかのステレオカメラの画像処理を状況に応じて切替える構造の車外監視装置が開示されている。
　図１３は、特許文献１に記載の車外監視装置を備える車両２００の正面図である。図１３に示すように、遠距離用のＣＣＤカメラ２０１、２０２と近距離用のＣＣＤカメラ２１１、２１２との合計４台のカメラが搭載されている、遠距離用又は近距離用のどちらかの画像がステレオ画像処理装置に入力されて、左右画像上の位置のずれ量が決定され、対象物までの距離が算出される。
　特許文献２には、近距離撮影用カメラのレンズと遠距離撮影用カメラのレンズとをそれぞれステレオカメラのレンズとして持ち、それぞれが撮像する画像を別々の撮像領域（撮像面）に形成させた構造の撮像装置が開示されている。近距離撮影用ステレオカメラのレンズと遠距離撮影用ステレオカメラのレンズとを組み合わせて車両近傍から遠方まで、距離測定に適した鮮明な画像情報を得られるとともに、それらの画像を切り替えることなく取得できる。
　このことから、遠距離撮影用ステレオカメラの作動中である高速走行中において、斜め前方から自車両の直前に他車両等が割り込んで来たような場合でも、近距離撮影用ステレオカメラの画像情報によって割り込み車両を検出し、直ちに警告や危険回避操作に繋げることができる。
特開平５－２６５５４７号公報 特開２０１０－２７１１４３号公報
　しかしながら、遠距離撮影用カメラは、夜間の街灯が少ない道路においても撮像できる要求があり、いわゆる暗視が可能なものが必要である。そのため、赤外光フィルタを用いて赤外光波長帯による画像を撮像するカメラ、または、赤外カットフィルタを用いずに可視光波長帯及び赤外光波長帯による画像を撮像するカメラが使用される。上記従来技術の構造においては、近距離撮影用ステレオカメラのレンズと遠距離撮影用ステレオカメラのレンズとを用いることから、少なくともレンズが４つ必要となる。
　また、これらの暗視用カメラの画像は、可視光波長帯のカラー画像ではないため、物体の色が取得できないものであった。そのため、色情報の認識ができなかった。色情報の認識を行うためには、赤外光波長帯による画像を撮像する一対のステレオカメラに加えて、可視光波長帯による画像を撮像するカメラを用意して、車外監視装置（車両前方監視装置）を構成する必要があり、必要な画像処理装置が高価となってしまう。
　本発明は、上記課題を解決するためのものであり、特に、一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識した対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる画像処理装置及び車両前方監視装置を提供するものである。
　本発明の画像処理装置は、可視光を集光可能な第１の撮像手段と、前記第１の撮像手段の視野と共通領域を含む視野範囲を撮像可能で、且つ、赤外光を集光可能な第２の撮像手段と、前記第１の撮像手段によって撮像された第１の画像情報及び前記第２の撮像手段によって撮像された第２の画像情報を基に、対象物を認識する画像認識手段と、を有し、前記画像認識手段は、前記第１の画像情報を補正して第１の画像、及び、前記第２の画像情報を補正して第２の画像、を取得して、前記第１の画像によって前記対象物の色特徴を検知して、前記色特徴に関係付けされた色特徴対象物として前記対象物を画像認識する処理が行われる画像処理部と、前記第１の画像と前記第２の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し前記対象物までの距離を推定する処理が行われる距離推定処理部と、を備えている、ことを特徴とする。
　第１の撮像手段は可視光波長帯での第１の画像情報を撮像できる。第２の撮像手段は、第１の撮像手段の視野と共通領域を含む視野範囲を撮像可能で、赤外光波長帯での第２の画像情報を撮像できる。これにより、画像処理装置は、第１の画像情報及び第２の画像情報を補正して第１の画像及び第２の画像を取得して、第１の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第１の画像と第２の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、色特徴を含む画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。したがって、２台のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。
　さらに、本発明の画像処理装置において、前記第１の撮像手段は、さらに近赤外光を集光可能であり、可視光と近赤外光とで前記第１の画像情報を撮像していることが好ましい。
　こうすれば、可視光及び近赤外光で第１の画像を取得できる。これにより、第１の画像に含まれる物体の色特徴を検知して対象物を画像認識することができるとともに、第１の画像と第２の画像との赤外光波長帯でのステレオカメラとしての画像を取得できる。こうすれば、可視光の光量が少ない夜間やトンネル内であっても、赤外光による画像で補うことができ、暗視のステレオ測距性能が向上する。
　本発明の画像処理装置において、前記第２の撮像手段は遠赤外光を集光可能であることが好ましい。
　こうすれば、第２の画像として遠赤外光での画像を取得することができるので、夜間に人体を検知する感度が、さらに向上する。
　また、本発明の画像処理装置において、前記第１の撮像手段及び前記第２の撮像手段が車両前方を撮像するように搭載され、前記第１の撮像手段は前記第２の撮像手段より視野範囲が広く、前記第１の画像が車両前方における第１の遠距離画像を含む近距離画像であって、前記第２の画像が車両前方における第２の遠距離画像であって、前記第２の画像に含まれる前記ステレオ測距対象物の情報を前記第１の画像上で関係付けすることが好適である。
　車両に搭載され、車両前方を撮像する画像処理装置であり、前記第１の撮像手段は前記第２の撮像手段より視野範囲が広く、第１の画像が車両前方における近距離画像で可視光波長帯での色特徴を含むので、車両前方の近距離に位置する信号や標識を視野内に捉えて、信号や標識を色特徴によって検知することができる。第１の撮像手段は視野範囲が広いので、第１の画像には第２の画像と視野範囲が共通する共通領域も撮像可能であり、共通領域に対応させた第３の画像を切り出すことができる。第２の画像及び第３の画像に含まれるステレオ測距対象物の情報を第１の画像上で関係付けすれば、車両前方の遠距離に位置する信号や標識を車両前方の近距離に近づいても認識し続けることができる。
　前記第１の撮像手段と前記第２の撮像手段とが同一基板に配置されていることが好ましい。第１の撮像手段と第２の撮像手段とが同一基板に配置されているので、使用場所に取り付ける前に光学的な調整を行っておくことが可能になる。したがって、取り付けが容易であるとともに、左右のカメラが別体の配置に比べて、取り付け後の光学的な校正が不要である。
　前記画像処理部は、あらかじめ座標変換表が記憶されている座標変換表記憶部を有し、前記画像処理部において、前記第１の画像情報及び前記第２の画像情報に対して、前記座標変換表を用いた平行化処理が行われていることが好ましい。こうすれば、第１の撮像手段及び第２の撮像手段が理想的な平行姿勢にない状態で取得される画像情報を平行姿勢で取得される画像に補正することができる。この平行化処理による画像補正は、あらかじめ作成しておいた座標変換表を用いて行うので、画像データの画素数が多くても、高速処理が可能である。高速処理が可能であるため、画像認識の処理速度を低下させることがない。
　さらに、本発明の車両前方監視装置は、上記の画像処理装置を備えた車両前方監視装置であり、前記画像処理装置によって推定された前記対象物までの距離、または、画像認識された前記色特徴対象物、をもって、乗員に前方情報を報知するという特徴を有する。
　第１の撮像手段は車両前方における可視光波長帯での第１の画像情報を撮像できる。第２の撮像手段は、第１の撮像手段の視野と共通領域を含む視野範囲を撮像可能で、赤外光波長帯での第２の画像情報を撮像できる。これにより、画像処理装置は、第１の画像情報及び第２の画像情報を補正して第１の画像及び第２の画像を取得して、第１の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第１の画像と第２の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、色特徴を含む画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。こうすれば、画像処理装置を備えた車両前方監視装置は、車両前方の遠距離に位置するステレオ測距対象物までの距離を推定して、衝突防止の警告やクルーズコントロールに利用することができる。また、色特徴対象物を画像認識することによって、信号の自動認識や標識の自動認識が可能となる。したがって、２台のステレオカメラを用いることなく同等の画像処理が可能な車両前方監視装置とすることができる。
　本発明によれば、第１の撮像手段は可視光波長帯での第１の画像情報を撮像できる。第２の撮像手段は、第１の撮像手段の視野と共通領域を含む視野範囲を撮像可能で、赤外光波長帯での第２の画像情報を撮像できる。これにより、画像処理装置は、第１の画像情報及び第２の画像情報を補正して第１の画像及び第２の画像を取得して、第１の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第１の画像と第２の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。こうすれば、２台のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。
　したがって、一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識した対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる画像処理装置及び車両前方監視装置を提供することができる。
本発明の第１実施形態における画像処理装置を示すブロック図である。 第１実施形態の画像処理装置が搭載された車両の模式正面図である。 第１実施形態の画像処理装置が搭載された車両を上から見た俯瞰図である。 第１の画像情報の画像補正を示す説明図であり、図４（ａ）は画像情報を補正する前の画像イメージであり、図４（ｂ）は補正後の画像イメージである。 第１実施形態における画像処理手順について説明するフローチャートである。 第１の撮像手段で取得された第１の画像及び第３の画像を示す説明図である。 第１の撮像手段で取得された第１の画像及び第２の撮像手段で取得された第２の画像を示す説明図である。 可視光フィルタと赤外光フィルタの分光特性の説明図である。 可視光の画像例である。 近赤外光の画像例である。 遠赤外光の画像例である。 第２実施形態の画像処理装置を備えた車両前方監視装置のブロック図である。 従来の車外監視装置を備える車両の正面図である。
　［第１実施形態］
　以下に第１実施形態における画像処理装置１について説明する。
　図１は、第１実施形態における画像処理装置１を示すブロック図である。画像処理装置１は、カメラユニット３０と画像認識手段４０と制御手段５０とを備え、車両前方を撮像するように車両に搭載される。制御手段５０は、カメラユニット３０と画像認識手段（画像認識ユニット）４０とに電源を供給するとともに、制御信号を出力して、それぞれの状態を制御している。
　カメラユニット３０は、広角レンズ１１と第１の撮像素子１２とを有して、第１の画像情報を得る第１の撮像手段１０、望遠レンズ２１と第２の撮像素子２２とを有して、第２の画像情報を得る第２の撮像手段２０、及び、第１の撮像手段１０と第２の撮像手段２０とに接続された画像出力部３１、を備えている。画像出力部３１は、第１の画像情報及び第２の画像情報を所定の時間間隔で繰り返し取得するとともに画像認識手段４０に出力する電子回路である。
　画像認識手段（画像認識ユニット）４０は、第１の画像情報及び第２の画像情報を基に対象物を認識するため、画像入力部４１、画像処理部４２、距離推定処理部４３、及び、表示用画像出力部４４、を有している。画像入力部４１には、画像出力部３１から送信された画像情報が入力され、画像処理部４２では、取得した画像情報を補正して第１の画像及び第２の画像を取得し、第１の画像から第３の画像を切り出す処理を行う。また、画像処理部４２は、距離推定処理部４３に送るステレオ画像データと表示用画像出力部４４に送る表示用画像データとを出力する。
　距離推定処理部４３では、画像処理部４２で補正された第１の画像から切り出された第３の画像と、画像処理部４２で補正された第２の画像と、を基に、共通に含まれるステレオ測距対象物を認識して、ステレオ測距対象物までの距離を推定する処理が行われる。
　表示用画像出力部４４では、ユーザが視認しやすいように調整して表示用画像を出力する。また、距離推定処理部４３で認識されたステレオ測距対象物を強調し、推定された距離を表示する処理を行う。
　図２は、本実施形態の画像処理装置１が搭載された車両の模式正面図である。車両の前方から見て、フロントガラス越しにカメラユニット３０が装着されていることを視認できる。このカメラユニット３０は広角レンズ１１及び望遠レンズ２１からなり、広角レンズ１１と望遠レンズ２１とは車両の同一高さ、且つ、左右方向に位置するとともに、車両前方の方向にレンズの光軸が向いている。カメラユニット３０は、光学的な調整が容易にできるように、１枚のカメラユニット基板（図示しない）に、画像出力部３１とともに、第１の撮像手段１０と第２の撮像手段２０とが組み込まれている。また、カメラユニット３０とは分離されて、画像認識手段４０が車両内部に配置されている。
　本実施形態の画像処理装置１は車両に搭載されているので、表示用画像出力部４４から出力される表示用画像は、車両の運転席前方側に配置された表示手段６０により視認される。表示手段６０は、例えば液晶表示装置であり、カーナビゲーション装置やオーディオ装置の表示画面を利用することができる。また、運転用のステアリング近傍や運転席前方のフロントガラスに表示手段６０を専用に設けてもよい。なお、使用する表示手段６０の表示特性に合わせて、表示用画像出力部４４でダイナミックレンジや階調を補正しておくことが好ましい。
　次に、本実施形態の画像処理装置１の撮像手段について説明する。
　本実施形態において、第１の撮像手段１０は、広角レンズ１１と第１の撮像素子１２とを有し、可視光を集光可能に構成されている。一方、第２の撮像手段２０は、望遠レンズ２１と第２の撮像素子２２とを有し、赤外光を集光可能に構成されている。
　図３は、本実施形態の画像処理装置１が搭載された車両を上から見た俯瞰図である。模式的に、第１の撮像手段１０の水平方向の画角（水平画角Ａ１）及び第２の撮像手段２０の水平方向の画角（水平画角Ａ２）を表わしている。
　第１の撮像手段１０に用いた第１の撮像素子１２は、画素数が多く、カラー撮影用の可視光フィルタを備えている。透過する波長が赤色の領域、緑色の領域、及び青色の領域のＲＧＢフィルタである。例えば、第１の撮像素子１２には、ビデオカメラに搭載されている固体撮像素子を使用することができる。例えば、水平１９２０×垂直１０８０のカラー画像を３０枚／秒で撮像可能な固体撮像素子を使用する。水平画角Ａ１として４０度の視野範囲を撮像できるように広角レンズ１１が選択された。
　一方、第２の撮像手段２０に用いた第２の撮像素子２２は、標準的なＶＧＡと呼ばれる画素数で、且つ、赤外光を透過する赤外光フィルタを備えている。例えば、波長が７５０ｎｍ～９５０ｎｍの近赤外光を透過して、７５０ｎｍ以下の可視光を反射又は吸収するＩＲフィルタである。例えば、水平６４０×垂直４８０の白黒画像を３０枚／秒で撮像可能な固体撮像素子を使用する。水平画角Ａ２として２０度の視野範囲を撮像できるように望遠レンズ２１が選択された。図３に示すように、第２の撮像手段２０の視野範囲は、第１の撮像手段１０の視野範囲内にある。
　＜画像処理手順＞
　次に、本実施形態における画像処理手順について説明する。画像処理装置１において、画像認識手段（画像認識ユニット）４０は、第１の撮像手段１０と第２の撮像手段２０との相対的な取り付け姿勢に影響されず、カメラ実姿勢に含まれる取り付け誤差の影響を除去する平行化処理（Ｒｅｃｔｉｆｉｃａｔｉｏｎ）を行う。このとき、歪み除去処理も同時に行う。
　一般的に、ステレオカメラを構成する左右の撮像手段の理想配置状態は、左右の撮像手段が完全に同一な平行姿勢で固定された状態である。そのため、ステレオカメラを用いた距離算出処理は、平行姿勢において撮影された左右の画像ペアを対象としている。
　ステレオカメラの理想的な相対取り付け姿勢（平行姿勢）とは，カメラ座標系Ｘ軸（カメラ右方向）が基線と平行であり、且つ、カメラの光軸（カメラ座標系Ｚ軸）が平行な姿勢のことである。ステレオカメラにおける基線とは、左右のレンズ中心を結ぶ直線である。画像情報の平行化処理は、撮影画像情報から、撮像手段が理想的な平行姿勢であったときに撮影されたであろう画像へと変換を行うことで達成される。ここで、カメラ座標系とは、カメラが持つ座標系であり、画像中心を原点として，右方向がＸ軸のプラス方向，下方向がＹ軸のプラス方向，カメラの正面向きがＺ軸のプラス方向となるものを表す。
　画像処理装置１においては、カメラユニット３０に第１の撮像手段１０と第２の撮像手段２０とが組み込まれて、取り付けの位置や傾きに対する機構的な調整が行われて固定される。この後、白と黒の方形が交互に配列されたチェッカーボードを撮像して取得された画像情報によって、第１の撮像手段１０に対する第２の撮像手段２０の光学的な相対位置データを取得する。すなわち、両レンズの光軸（カメラ座標系Ｚ軸）方向の相対位置、光軸（カメラ座標系Ｚ軸）に直交する平面（カメラ座標系Ｘ軸及びＹ軸の平面）上での上下左右位置、及び第１の撮像手段１０に対する第２の撮像手段２０のロール・ピッチ・ヨーが把握される。
　こうして得られた相対位置データは、画像処理部４２にあらかじめ記録され、撮影画像情報から、撮像手段が理想的な平行姿勢であったときに撮影されたであろう画像へと校正する変換を行う平行化処理に適用される。
　このとき、少なくとも、第１の撮像手段１０で撮像された画像情報の歪み除去処理も同時に行う。すなわち、撮像手段がレンズに固有の像高特性を有しているため、画像データ上のＸＹ座標と実空間での位置のＸＹ座標とが一致するように変換を行う。上記のチェッカーボードのＸＹ座標データが分かっているので、チェッカーボードを撮像した画像情報から歪み除去処理用のデータを取得することができる。第１の撮像手段１０は第２の撮像手段２０より広い視野範囲を有するので、撮像された画像情報は広角レンズ１１に特有の中央が大きく写り、周辺が歪んでいる画像である。この歪みをもったままであると、第３の画像を第２の画像と比較することが複雑になる。このため、撮像された画像情報に対して歪み除去処理をおこなって、歪みの無い状態の第１の画像に変換する。図４は、チェッカーボードを撮像した第１の画像の画像補正を示す説明図である。図４（ａ）は画像を補正する前の画像イメージであり、図４（ｂ）は補正後の画像イメージである。第２の撮像手段２０で撮像された画像情報の歪み除去処理も同様に行うことが可能である。こうすれば、第１の撮像手段１０及び第２の撮像手段２０がそれぞれ固有のレンズ特性を有し、理想的な平行姿勢にない状態であっても、理想的な画像に補正することができる。
　本実施形態においては、これらの画像補正を、ＬＵＴ（Ｌｏｏｋ　Ｕｐ　Ｔａｂｌｅ）と呼ばれる変換手法によって行う。これは、撮像した画像情報における各画素の座標を、歪みの無い場合に撮像されるべき座標位置に配置し直すもので、あらかじめ座標変換表を作成しておく手法である。本実施形態では、チェッカーボードを撮像した画像情報から座標変換表を作成しておき、画像処理部４２の座標変換表記憶部４５に、あらかじめ座標変換表が記憶されている。画像処理部４２において、座標変換表記憶部４５に記憶されている第１の画像情報用の座標変換表を用いて、第１の画像情報に対して平行化処理及び歪み除去処理が行われ、第１の画像を取得する。同様に、第２の画像情報に対して第２の画像情報用の座標変換表を用いて、平行化処理及び歪み除去処理が行われ、第２の画像を取得する。なお、一方の画像情報を基準にすれば、平行化処理については他方の画像情報のみ行えばよい。一般的に、これらの画像補正は、画像情報の各画素に対して計算式を用いた計算により行うことができる。しかしながら、画素数が増加すると、計算量が膨大になるため、処理速度が低下する問題を有していた。本実施形態では、この歪み除去処理をあらかじめ記憶された座標変換表を用いて行うので、数式による演算処理が不要で、画像データの画素数が多くても高速処理が可能である。高速処理が可能であるため、画像認識の処理速度を低下させることがない。
　図５は、第１実施形態における画像処理手順について説明するフローチャートである。画像認識手段４０における画像処理手順として、ステップＳＴ１では、第１の撮像手段１０と第２の撮像手段２０とが撮像した画像情報が、画像処理部４２に入力され、画像情報が取得される。ステップＳＴ２では、上述した画像補正を行い、第１の画像情報を補正して第１の画像、及び、第２の画像情報を補正して第２の画像が取得される。
　さらに、ステップＳＴ３では、取得された第１の画像から、第２の画像との共通領域に対応させた第３の画像を切り出し、第３の画像が取得される。第１の撮像手段１０で撮像された第１の画像は、水平画角４０度なので視野範囲が広く、第２の撮像手段２０で撮像された第２の画像との共通領域を含んでいる。裏返して言えば、第２の撮像手段２０で撮像された第２の画像は、水平画角２０度なので、第１の画像に比べて視野範囲が狭く、且つ、第１の画像と共通領域を有する。そのため、第１の画像から、第２の画像との共通領域に対応させた第３の画像を切り出すことができる。
　ステップＳＴ２で第１の画像を補正するとともに、ステップＳＴ３で第１の画像から第３の画像を切り出す画像処理は、画像処理部４２で行われる。このとき、切り出された第３の画像に対して、グレイスケール画像に変換される。
　次に、距離推定処理部４３において、共通領域に対応させた第３の画像に含まれる対象物の特徴点を抽出して、特徴点に関係付けされたステレオ測距対象物を認識し、画像処理装置の撮像位置からステレオ測距対象物までの距離を推定する処理が行われる。ステップＳＴ４では、第３の画像に含まれる対象物の特徴点が抽出され、第３の画像に映っている特徴点について、対応する第２の画像が探索される。第３の画像に映っている特徴点に対応する第２の画像の対応点が探索されると、ステップＳＴ５で、第３の画像における特徴点の画像位置と第２の画像における対応点の画像位置とを基に、画像位置のずれ量が計測される。第３の画像に含まれる対象物の特徴点と第２の画像に含まれる対応点に関係付けされたステレオ測距対象物に対して、画像位置のずれ量により、三角測量の原理で距離が算出される。この処理は、ステップＳＴ６で画像処理が終了されるまで、次のタイミングで撮像された画像情報に対して同様に繰り返される。
　図６は、第１の画像及び第２の画像を示す説明図である。なお、第１の画像と第２の画像とを比較しやすくするため、一般的な可視光の白黒画像を用いて説明する。この図６において、車両から信号までの距離は仮に５０ｍ程度としている。図６（ａ）は、第１の撮像手段１０で撮像された第１の画像及び第３の画像（Ｆ領域の画像）を示す説明図である。ここで、第１の画像は元々カラー画像であり、第３の画像は白黒の濃淡画像である。図６（ｂ）は、第２の撮像手段２０で撮像された第２の画像を示す説明図である。上述した補正処理が行われた後の画像イメージで示している。図６（ａ）においては、第２の画像との共通領域に対応して、第１の画像からＦ領域の画像を切り出す画像処理が行われている。車両前方の遠方にある信号は、第２の画像及び第３の画像に共通に含まれている。
　図７は、第１の画像及び第２の画像を示す説明図である。図６と同様に、可視光の画像を用いて比較しやすくしている。この図７において、車両から信号までの距離は仮に１５ｍ程度としている。図７（ａ）は、第１の撮像手段１０で撮像された第１の画像を示す説明図である。図７（ｂ）は、第２の撮像手段２０で撮像された第２の画像を示す説明図である。図７（ａ）では、車両前方の信号が第１の画像に含まれていることが分かる。しかし、図７（ｂ）では、信号が第２の画像に含まれていない。つまり、図６にて表した信号までの距離が５０ｍの場合では、第１の撮像手段１０及び第２の撮像手段２０の双方で信号の認識ができていたが、信号までの距離が１５ｍまで近づいた図７においては、第１の撮像手段１０のみでしか信号の認識を行うことができない。これは第１の撮像手段１０の視野範囲が広いためであるが、画像処理装置１は、車両前方に近づいたときの信号等、視野範囲の周辺にある対象物を、第１の画像を用いることにより認識し続けることができる。
　また、図６に示す信号のように第３の画像及び第２の画像に共通する対象物として認識され、左右画像における対象物の画像位置の相対的なずれ量が計測され、画像位置のずれ量により、距離が推定される。いったん、対象物として認識された特徴点は、第２の撮像手段２０の視野範囲で撮像された第２の画像から逸脱した後も、視野範囲の広い第１の画像にて特徴点を認識し続けることができる。よって、抽出された対象物を継続追尾する。これにより、第２の撮像手段２０の視野範囲から逸脱した後も、第１の画像にて特徴点の画像位置が経時変化する様子を基に対象物までの距離を推定できる。したがって、第２の画像及び第３の画像に含まれるステレオ測距対象物の情報を第１の画像上で関係付けすれば、車両前方の遠距離に位置する信号や標識を車両前方の近距離に近づいても認識し続けることができる。
　さらに、第１の撮像素子１２がカラー撮影用の撮像素子なので、カラー画像である第１の画像によって、対象物の色特徴を検知することが可能である。この場合は、画像処理部４２において、第１の画像に含まれる色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する処理が行われる。このため、第１の画像によって可視光での色特徴を抽出した対象物に対して、素早い認識ができる。第３の画像及び第２の画像の共通するステレオ測距対象物として認識された特徴点の色特徴を検知して、対象物を認識させ続けることができる。また、第１の画像によって可視光での色特徴に関係付けされた色特徴対象物に対して、第３の画像及び第２の画像の共通するステレオ測距対象物と同一であれば、該対象物までの距離を推定できる。
　図７（ａ）で追尾された信号の色特徴を認識していれば、赤信号から青信号に変化したときに、色特徴の変化として認識して、表示用画像に色変化したことを出力したり、合図音を鳴らしたりすることができる。
　したがって、車両に搭載されて車両前方を撮像する画像処理装置１に好適である。画像処理装置１では、第１の撮像手段１０と第２の撮像手段２０とが車両前方を撮像するように搭載される。第１の画像が車両前方における第１の遠距離画像を含む近距離画像であって、第２の画像が車両前方における第２の遠距離画像であって、第２の画像に含まれるステレオ測距対象物の情報を第１の画像上で関係付けすることができる。第１の撮像素子１２が広角レンズ１１で焦点深度が相対的に深いので、第１の画像には遠方の対象物も撮像可能である。車両前方の近距離に位置する信号や標識を視野内に捉えているので、信号の自動認識や標識の自動認識が可能である。
　また、１枚のカメラユニット基板に第１の撮像手段１０と第２の撮像手段２０とが配置されて組み込まれたカメラユニット３０を、車両のフロントガラスを通して車両前方を撮像するように配置すれば、車両への取り付けが容易である。さらに、左右のカメラが別体の配置に比べて、第１の撮像手段１０と第２の撮像手段２０とが同一基板に配置されているので、車両に取り付ける前に光学的な調整を行っておくことが可能になる。したがって、取り付けが容易であるとともに、左右のカメラが別体の配置に比べて、取り付け後の光学的な校正が不要であるという効果を奏する。小型のカメラユニット３０では、左右のレンズ間隔（基線長）は６５ｍｍ程度にされた。一方、より遠距離での距離推定精度を確保したい場合は、横長にして、基線長を３００ｍｍ程度にすればよい。
　本実施形態では、第１の撮像手段１０と第２の撮像手段２０とは、それぞれ１つのレンズだけを用いるので、レンズは２つだけである。また、撮像素子の撮像面は、多数の画素の集合体であり、測定精度を向上させるためには、画素の数を増やす必要があるが、４つのレンズに対応する必要はない。撮像素子の画素数の増加は撮像面の大型化だけでなく、画素数に対応する電子情報処理量の増加やそれに必要な処理速度の高速化など、システム規模にも影響する。したがって、一対のステレオカメラに相当する画像を取得するだけの画像処理装置１は、撮像素子の画素数が最小限であり、システムとしても安価である。
　以下、本実施形態としたことによる効果について説明する。
　第１の撮像手段１０は可視光波長帯での第１の画像情報を撮像できる。第２の撮像手段２０は、第１の撮像手段１０の視野と共通領域を含む視野範囲を撮像可能で、赤外光波長帯での第２の画像情報を撮像できる。これにより、画像処理装置１は、第１の画像情報及び第２の画像情報を補正して第１の画像及び第２の画像を取得して、第１の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第１の画像と第２の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置１の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、色特徴を含む画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。したがって、２台のステレオカメラを用いることなく同等の画像処理が可能な画像処理装置とすることができる。
　本実施形態では、第１の撮像素子１２が可視光フィルタを備えているカラー撮影用の撮像素子であるとしたが、近赤外光にも感度を有している撮像素子を用いて、第１の撮像手段１０は、近赤外光を集光可能であり、可視光と近赤外光とで第１の画像情報を撮像していることが好ましい。
　第１の撮像素子１２では、可視光フィルタに加えて、赤外光フィルタを用意して、可視光フィルタでは遮断される赤外光を撮像する画素を配置しておけばよい。図８は、可視光フィルタと赤外光フィルタの分光特性の説明図である。それぞれ、透過する波長が赤色の領域、緑色の領域、及び青色の領域のＲＧＢフィルタと、波長が７００ｎｍ以上の近赤外光を透過して、６８０ｎｍ以下の可視光を反射又は吸収するＩＲフィルタである。こうすれば、第１の撮像手段１０は可視光及び近赤外光で第１の画像情報を撮像できる。第２の撮像手段２０が近赤外光を集光可能であれば、第１の撮像手段１０が近赤外光を集光可能である場合は、第２の画像と第３の画像とが、近赤外光で取得された画像を含んでいる。
　図９に可視光の画像例を示す。図１０には図９と同時に撮影された近赤外光の画像例を示す。図９では遠方や側方の視野が暗く視認しにくい画像であるが、図１０では遠方や側方の視野も明るく、「暗視」と呼んでいる画像が得られている。したがって、可視光の光量が少ない夜間やトンネル内であっても、赤外光で取得された画像で補うことができ、暗視のステレオ測距性能が向上する。
　第２の撮像素子２２は赤外光波長帯の画像を取得するための赤外フィルタを備え、赤外光に感度を有している。赤外フィルタは例えば、波長が７５０ｎｍ～９５０ｎｍの近赤外光を透過して、７５０ｎｍ以下の可視光を反射又は吸収するものである。この場合、近赤外光に感度を有している撮像素子であれば、使用することができる。なお、赤外フィルタを用いず、全波長帯の感度をカットせずに画像を取得してもよいが、可視光波長帯の画像を含む場合には、赤外光波長帯の画像に特有のコントラストが得られなくなるので、使用目的に応じて赤外フィルタを備えるようにすることが好ましい。
　第２の撮像素子２２が遠赤外光を検知する遠赤外撮像素子であってもよい。図１１には、図９と同時に撮影された遠赤外光の画像例を示す。図９や図１０に比べて、より遠方の視野が視認されやすくなっていることが分かる。また、第２の画像として遠赤外光での画像を取得すると、遠赤外光を発する人体も明るく視認されるので、夜間に人体を検知する感度が、さらに向上する。
　なお、ステレオ測距に必要な画像情報に余分な周辺画像データを含まない画像処理であることから、処理速度が速いという副次的効果を奏する。
　画像処理装置１は車両に搭載する以外に、防犯用カメラや自走型ロボット等に使用することができる。
　［第２実施形態］
　本発明の第２実施形態における画像処理装置２について説明する。
　図１２は、第２実施形態の画像処理装置２を備えた車両前方監視装置１００のブロック図である。第１実施形態の画像処理装置１と共通するところは、同じ符号をつけて説明は省略する。
　第２実施形態において、画像処理装置２では、距離推定処理部４３から表示用画像出力部４４に表示用の情報を渡すことに加えて、推定された対象物までの距離をもって、乗員に前方情報を報知する車両制御用の情報を警告判定部７０に渡している。
　警告判定部７０では、距離推定処理部４３で車両前方の対象物までの距離が推定された距離データと、表示用画像出力部４４で認識された対象物の継続追尾データと、をもとに警告を行う判定がなされる。例えば、前方の先行車両や障害物に衝突する前に警告を発する警告手段７１に警報を出力したり、危険回避操作手段７２に危険回避操作として車両のブレーキを作動させたりする指令を出力したりする。
　なお、第１実施形態の画像処理装置１と同様に、表示用画像出力部４４から、カーナビゲーション装置等の表示画面を利用した表示手段６０に表示データを出力させてもよい。
　以下、本実施形態としたことによる効果について説明する。
　第１の撮像手段１０は車両前方における可視光波長帯での第１の画像情報を撮像できる。第２の撮像手段２０は第１の画像の視野と共通領域を含む視野範囲を撮像可能で、赤外光波長帯での第２の画像情報を撮像できる。これにより、画像処理装置２は、第１の画像情報及び第２の画像情報を補正して第１の画像及び第２の画像を取得して、第１の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。また、第１の画像と第２の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し、画像処理装置２の撮像位置から該ステレオ測距対象物までの距離を推定できる。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、色特徴を含む画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる。こうすれば、画像処理装置２を備えた車両前方監視装置１００は、車両前方の遠距離に位置するステレオ測距対象物までの距離を推定して、衝突防止の警告やクルーズコントロールに利用することができる。また、色特徴対象物を画像認識することによって、信号の自動認識や標識の自動認識が可能となる。したがって、２台のステレオカメラを用いることなく同等の画像処理が可能な車両前方監視装置とすることができる。
　例えば、信号や標識を認識できるので、警告手段７１で音声や警告を発する運転補助に利用することが可能である。また、運転者が赤信号や規制標識を認知していない場合に警告手段７１での警告や危険回避操作手段７２でのブレーキ操作ができる。
　さらに、第１の画像が視野範囲の広い近距離画像であれば、車線検知が可能であり、蛇行検知、警告、制御も可能である。よって、それぞれ１つのレンズを備えた一対の撮像手段によって、広い視野範囲の画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定でき、さらに、広い視野範囲の画像による警告、制御が可能である。
　さらに、いったん、対象物として認識された特徴点は、第２の撮像手段２０の視野範囲で撮像された第２の画像から逸脱した後も、視野範囲の広い第１の画像にて特徴点を認識し続けることができる。よって、抽出された対象物を、表示用画像出力部４４に送られた表示用画像データの視野範囲で継続追尾することができる。
　以上のように、本実施形態の画像処理装置２は、可視光波長帯での第１の画像と、第１の画像と共通領域を有する赤外光波長帯での第２の画像と、を取得する。これにより、この第２の画像と、第１の画像のうち第２の画像との共通領域に対応させて切り出された第３の画像と、のステレオ画像が取得できる。さらに、第２の画像及び第３の画像に含まれる対象物を特徴点の抽出によってステレオ測距対象物として認識でき、該ステレオ測距対象物までの距離を推定できる。また、第１の画像によって対象物の色特徴を検知して、色特徴に関係付けされた色特徴対象物として対象物を画像認識する。よって、２台のステレオカメラを用いることなく同等の画像処理が可能な車両前方監視装置とすることができる。
　したがって、一対の撮像手段によって、色特徴を含む画像と暗視画像とステレオカメラとしての画像とを同時に取得し、画像認識されたステレオ測距対象物までの距離が推定できるとともに、色特徴対象物を画像認識できる画像処理装置及び車両前方監視装置を提供することができる。
　本発明は上記の実施形態に限定されるものではなく、要旨を逸脱しない範囲で種々変更して実施することが可能である。例えば次のように変形して実施することができ、これらの実施形態も本発明の技術的範囲に属する。
　第１の実施形態及び第２の実施形態の説明では、第１の撮像手段１０は、広角レンズ１１と第１の撮像素子１２とを有するとした。これにより、視野範囲の広い第１の画像のうち第２の画像との共通領域に対応させて切り出された第３の画像を取得し、第３の画像に含まれる対象物の特徴点が抽出されるとしたが、第１の画像と第２の画像との視野範囲が同じであってもよい。その場合、第１の画像に含まれる特徴点を抽出して、第１の画像と第２の画像とを基に、ステレオ測距対象物として対象物を画像認識してもよい。しかしながら、カラー画像である第１の画像をグレイスケール画像に変換した第３の画像を取得し、第３の画像に含まれる対象物の特徴点を抽出するように処理することが、より好ましい。
　画像処理装置に無線通信手段を設けて、表示手段６０を有する遠隔操作装置に無線通信するようにしてもよい。
　あるいは、画像処理装置に表示手段６０が一体に設けられていてもよい。
　１、２　画像処理装置
　１０　第１の撮像手段
　１１　広角レンズ
　１２　第１の撮像素子
　２０　第２の撮像手段
　２１　望遠レンズ
　２２　第２の撮像素子
　３０　カメラユニット
　３１　画像出力部
　４０　画像認識手段（画像認識ユニット）
　４１　画像入力部
　４２　画像処理部
　４３　距離推定処理部
　４４　表示用画像出力部
　４５　座標変換表記憶部
　５０　制御手段
　６０　表示手段
　７０　警告判定部
　７１　警告手段
　７２　危険回避操作手段
　１００　車両前方監視装置

Claims (7)

  1. 　可視光を集光可能な第１の撮像手段と、
    前記第１の撮像手段の視野と共通領域を含む視野範囲を撮像可能で、且つ、赤外光を集光可能な第２の撮像手段と、
    前記第１の撮像手段によって撮像された第１の画像情報及び前記第２の撮像手段によって撮像された第２の画像情報を基に、対象物を認識する画像認識手段と、を有し、
    　前記画像認識手段は、前記第１の画像情報を補正して第１の画像、及び、前記第２の画像情報を補正して第２の画像、を取得して、前記第１の画像によって前記対象物の色特徴を検知して、前記色特徴に関係付けされた色特徴対象物として前記対象物を画像認識する処理が行われる画像処理部と、
    前記第１の画像と前記第２の画像とを基に、ステレオ測距対象物として前記対象物を画像認識し前記対象物までの距離を推定する処理が行われる距離推定処理部と、を備えていることを特徴とする画像処理装置。
  2. 　前記第１の撮像手段は、さらに近赤外光を集光可能であり、可視光と近赤外光とで前記第１の画像情報を撮像していることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記第２の撮像手段は、遠赤外光を集光可能であることを特徴とする請求項１に記載の画像処理装置。
  4. 　前記第１の撮像手段及び前記第２の撮像手段が車両前方を撮像するように搭載され、
    前記第１の撮像手段は前記第２の撮像手段より視野範囲が広く、前記第１の画像が車両前方における第１の遠距離画像を含む近距離画像であって、
    前記第２の画像が車両前方における第２の遠距離画像であって、
    前記第２の画像に含まれる前記ステレオ測距対象物の情報を前記第１の画像上で関係付けすることを特徴とする請求項１に記載の画像処理装置。
  5. 　前記第１の撮像手段と前記第２の撮像手段とが同一基板に配置されていることを特徴とする請求項１に記載の画像処理装置。
  6. 　前記画像処理部は、あらかじめ座標変換表が記憶されている座標変換表記憶部を有し、
    　前記画像処理部において、前記第１の画像情報及び前記第２の画像情報に対して、前記座標変換表を用いた平行化処理が行われていることを特徴とする請求項１に記載の画像処理装置。
  7. 　車両に請求項１ないし請求項６のいずれかに記載の画像処理装置を備えた車両前方監視装置であり、前記画像処理装置によって推定された前記対象物までの距離、または、画像認識された前記色特徴対象物、をもって、乗員に前方情報を報知する車両前方監視装置。
PCT/JP2013/076979 2012-10-04 2013-10-03 画像処理装置及び車両前方監視装置 WO2014054752A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014539827A JP5951785B2 (ja) 2012-10-04 2013-10-03 画像処理装置及び車両前方監視装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012221832 2012-10-04
JP2012-221832 2012-10-04

Publications (1)

Publication Number Publication Date
WO2014054752A1 true WO2014054752A1 (ja) 2014-04-10

Family

ID=50435071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/076979 WO2014054752A1 (ja) 2012-10-04 2013-10-03 画像処理装置及び車両前方監視装置

Country Status (2)

Country Link
JP (1) JP5951785B2 (ja)
WO (1) WO2014054752A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015085338A1 (de) * 2013-12-13 2015-06-18 Fts Computertechnik Gmbh Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs
WO2015182771A1 (ja) * 2014-05-30 2015-12-03 日本電産エレシス株式会社 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
CN105807541A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 成像方法和成像装置
JP2016158186A (ja) * 2015-02-26 2016-09-01 カシオ計算機株式会社 撮像装置、撮像方法、撮像プログラム
JP2017067535A (ja) * 2015-09-29 2017-04-06 日立オートモティブシステムズ株式会社 周辺認識装置
CN109789848A (zh) * 2016-08-30 2019-05-21 恩祖贝·伊图尼 车辆安全系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004364212A (ja) * 2003-06-09 2004-12-24 Fujitsu Ltd 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP2007506074A (ja) * 2003-09-19 2007-03-15 ダイムラークライスラー・アクチェンゲゼルシャフト 物体までの距離の測定
JP2007139564A (ja) * 2005-11-17 2007-06-07 Sumitomo Electric Ind Ltd 障害物検出システム、障害物検出方法及びコンピュータプログラム
JP2008116309A (ja) * 2006-11-02 2008-05-22 Fujifilm Corp 距離画像生成方法及びその装置
JP2009139995A (ja) * 2007-12-03 2009-06-25 National Institute Of Information & Communication Technology ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
JP2009146217A (ja) * 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
JP2010146494A (ja) * 2008-12-22 2010-07-01 Honda Motor Co Ltd 車両周辺監視装置
JP2011013064A (ja) * 2009-07-01 2011-01-20 Nikon Corp 位置検出装置
JP2011203238A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 撮像装置及び距離測定装置
JP2012032349A (ja) * 2010-08-03 2012-02-16 Alps Electric Co Ltd ステレオカメラシステム及び該システムを備える車両
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086268A (ja) * 2008-09-30 2010-04-15 Mazda Motor Corp 車両用表示体認識装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004364212A (ja) * 2003-06-09 2004-12-24 Fujitsu Ltd 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP2007506074A (ja) * 2003-09-19 2007-03-15 ダイムラークライスラー・アクチェンゲゼルシャフト 物体までの距離の測定
JP2007139564A (ja) * 2005-11-17 2007-06-07 Sumitomo Electric Ind Ltd 障害物検出システム、障害物検出方法及びコンピュータプログラム
JP2008116309A (ja) * 2006-11-02 2008-05-22 Fujifilm Corp 距離画像生成方法及びその装置
JP2009139995A (ja) * 2007-12-03 2009-06-25 National Institute Of Information & Communication Technology ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
JP2009146217A (ja) * 2007-12-14 2009-07-02 Hitachi Ltd ステレオカメラ装置
JP2010146494A (ja) * 2008-12-22 2010-07-01 Honda Motor Co Ltd 車両周辺監視装置
JP2011013064A (ja) * 2009-07-01 2011-01-20 Nikon Corp 位置検出装置
JP2011203238A (ja) * 2010-03-01 2011-10-13 Ricoh Co Ltd 撮像装置及び距離測定装置
JP2012032349A (ja) * 2010-08-03 2012-02-16 Alps Electric Co Ltd ステレオカメラシステム及び該システムを備える車両
JP2013156109A (ja) * 2012-01-30 2013-08-15 Hitachi Ltd 距離計測装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898670B2 (en) 2013-12-13 2018-02-20 Fts Computertechnik Gmbh Method and device for observing the environment of a vehicle
WO2015085338A1 (de) * 2013-12-13 2015-06-18 Fts Computertechnik Gmbh Verfahren und vorrichtung zur beobachtung der umgebung eines fahrzeugs
WO2015182771A1 (ja) * 2014-05-30 2015-12-03 日本電産エレシス株式会社 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
CN105807541A (zh) * 2014-12-30 2016-07-27 联想(北京)有限公司 成像方法和成像装置
CN105807541B (zh) * 2014-12-30 2019-01-15 联想(北京)有限公司 成像方法和成像装置
JP2016158186A (ja) * 2015-02-26 2016-09-01 カシオ計算機株式会社 撮像装置、撮像方法、撮像プログラム
US10204276B2 (en) 2015-02-26 2019-02-12 Casio Computer Co., Ltd. Imaging device, method and recording medium for capturing a three-dimensional field of view
WO2017056724A1 (ja) * 2015-09-29 2017-04-06 日立オートモティブシステムズ株式会社 周辺認識装置
JP2017067535A (ja) * 2015-09-29 2017-04-06 日立オートモティブシステムズ株式会社 周辺認識装置
EP3358296A4 (en) * 2015-09-29 2019-08-14 Hitachi Automotive Systems, Ltd. PERIPHERAL DETECTION DEVICE
US10796167B2 (en) 2015-09-29 2020-10-06 Hitachi Automotive Systems, Ltd. Periphery recognition device
CN109789848A (zh) * 2016-08-30 2019-05-21 恩祖贝·伊图尼 车辆安全系统
EP3507145A4 (en) * 2016-08-30 2020-05-06 Etonye, Nzube VEHICLE SECURITY SYSTEM

Also Published As

Publication number Publication date
JPWO2014054752A1 (ja) 2016-08-25
JP5951785B2 (ja) 2016-07-13

Similar Documents

Publication Publication Date Title
WO2014054753A1 (ja) 画像処理装置及び車両前方監視装置
US11270134B2 (en) Method for estimating distance to an object via a vehicular vision system
US20200334475A1 (en) Vehicular trailer angle detection system
US11535154B2 (en) Method for calibrating a vehicular vision system
US10255509B2 (en) Adaptive lane marker detection for a vehicular vision system
WO2014054752A1 (ja) 画像処理装置及び車両前方監視装置
US6812831B2 (en) Vehicle surroundings monitoring apparatus
KR20220058975A (ko) 촬상 장치 및 전자 기기
US20070069872A1 (en) Vehicle driving assist system
WO2013035353A1 (ja) 画像処理装置及び画像処理方法
US20170140542A1 (en) Vehicular image processing apparatus and vehicular image processing system
US10848660B2 (en) Imaging apparatus, imaging module, and control method of imaging apparatus
EP3667413B1 (en) Stereo image processing device
KR20190021227A (ko) 신호 처리 장치, 촬상 장치, 및 신호 처리 방법
US11089230B2 (en) Capturing apparatus, capturing module, capturing system, and capturing apparatus control method
US11377027B2 (en) Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method
JP2006178652A (ja) 車両周辺認識システム及び画像処理装置
WO2015182771A1 (ja) 撮像装置、画像処理装置、画像処理方法およびコンピュータプログラム
JP6981416B2 (ja) 画像処理装置と画像処理方法
JP4900377B2 (ja) 画像処理装置
US20200014899A1 (en) Imaging device, imaging system, and method of controlling imaging device
JP2005196423A (ja) 画像表示方法、画像表示システム、及び画像処理装置
US20230394847A1 (en) Image processing system, image processing method, and storage medium
JP2006191210A (ja) 車両周辺認識システム及び画像処理装置
US20240114252A1 (en) Movable apparatus and installation method for imaging device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13843832

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014539827

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13843832

Country of ref document: EP

Kind code of ref document: A1