JPWO2017130639A1 - 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム - Google Patents

画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2017130639A1
JPWO2017130639A1 JP2017563752A JP2017563752A JPWO2017130639A1 JP WO2017130639 A1 JPWO2017130639 A1 JP WO2017130639A1 JP 2017563752 A JP2017563752 A JP 2017563752A JP 2017563752 A JP2017563752 A JP 2017563752A JP WO2017130639 A1 JPWO2017130639 A1 JP WO2017130639A1
Authority
JP
Japan
Prior art keywords
distance
image
unit
tracking
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017563752A
Other languages
English (en)
Other versions
JP6587000B2 (ja
Inventor
元気 渡邊
元気 渡邊
洋義 関口
洋義 関口
横田　聡一郎
聡一郎 横田
聖也 天野
聖也 天野
佑 山田
佑 山田
澤田　圭人
圭人 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPWO2017130639A1 publication Critical patent/JPWO2017130639A1/ja
Application granted granted Critical
Publication of JP6587000B2 publication Critical patent/JP6587000B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

画像処理装置において、複数の撮影画像における物体の距離に応じた画素値を有する距離画像に基づいて、前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成する生成部と、距離画像に対する前記分布データに基づいて、物体を検出する検出部と、以前の複数のフレームの距離画像に対する前記分布データに基づいて、今回のフレームにおける前記物体の予測位置を予測する位置予測部と、前記予測位置に基づいて、前記検出部にて検出された複数の物体を統合し、当該統合した物体を、以降のフレームで追跡する追跡部と、を備える。

Description

本発明は、画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラムに関する。
自動車の安全性において、従来は歩行者や自動車と衝突したときに、いかに歩行者を守れるか、乗員を保護できるかの観点から自動車のボディー構造などの開発が行われてきた。しかしながら近年、情報処理技術、画像処理技術の発達により、高速に人や自動車等を検出する技術が開発されてきている。これらの技術を応用して、衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに発売されている。
自動的にブレーキをかけるには人や他車等の物体までの距離を測定する必要があり、そのために、ステレオカメラの画像を用いた測定が実用化されている。
このステレオカメラの画像を用いた測定では、あるフレームで自車両よりも前方にある車両等の物体を検出した後、それ以降のフレームにおいて、当該物体をトラッキング（追跡）する技術が知られている（例えば、特許文献１参照）。
このトラッキングにより、物体の移動のベクトルが分かるため、物体の危険度を正しく判定することができる。例えば、同じように自車両よりも２０ｍ前方に位置する物体でも、相対速度が０ｋｍ/ｈ（自車両と同じ速度で移動）のものと、相対速度が−５０ｋｍ/ｈ（自車両に接近）のものとでは危険度が大きく異なるためである。
特許第４８５６６１２号
しかし、従来技術には、視差画像において、視差値を有する画素数が少ない等の場合に、以前のフレームの視差画像にて追跡していた一の物体の領域が、分割されて検出しまう場合があるという問題がある。図２６Ａ及び図２６Ｂは、従来技術の、一の物体の領域が分割されて検出された場合の例を示す図である。図２６Ａの例では、一の物体の領域が、左右に分割され、複数の物体の領域５５２ａ、５５３ａとして検出されている。図２６Ｂの例では、一の物体の領域が、縦横の大きさがまばらに分割され、複数の物体の領域５５２ｂ、５５３ｂとして検出されている。このように、本来は物体が１つしか存在しないにもかかわらず、あたかも２つ存在するように検出される場合があるという問題がある。
そこで、精度の高いトラッキングを行う技術を提供することを目的とする。
画像処理装置において、複数の撮影画像における物体の距離に応じた画素値を有する距離画像に基づいて、前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成する生成部と、距離画像に対する前記分布データに基づいて、物体を検出する検出部と、以前の複数のフレームの距離画像に対する前記分布データに基づいて、今回のフレームにおける前記物体の予測位置を予測する位置予測部と、前記予測位置に基づいて、前記検出部にて検出された複数の物体を統合し、当該統合した物体を、以降のフレームで追跡する追跡部と、を備える。
開示の技術によれば、精度の高いトラッキングを行うことが可能となる。
実施形態に係る車載機器制御システムの構成を示す模式図である。 撮像ユニット及び画像解析ユニットの構成を示す模式図である。 三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。 実施形態に係る物体検出処理を行う機能ブロック図である。 視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。 視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。 一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。 一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。 基準画像の一例を模式的に表した画像例を示す図である。 画像例に対応するＵマップを示す図である。 画像例に対応するＵマップを示す図である。 Ｕマップに対応するリアルＵマップを示す図である。 Ｕマップの横軸の値からリアルＵマップの横軸の値を求める方法を説明するための図である。 孤立領域検出部で行う孤立領域検出処理の流れを示すフローチャートである。 孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図である。 矩形領域に対応する走査範囲を設定した視差画像を示す図である。 走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。 視差画像の対応領域検出部及びオブジェクト領域抽出部で行われる処理の流れを示すフローチャートである。 オブジェクトタイプの分類を行うためのテーブルデータの一例を示す図である。 オブジェクトデータリストのデータ項目の一例を示す説明図である。 オブジェクトの追跡状態の状態遷移の一例を示す図である。 オブジェクトトラッキング処理のフローチャートである。 Ｃａｎｄｉｄａｔｅ処理のフローチャートである。 第１の実施形態に係るトラッキング処理の一例を示すフローチャートである。 オブジェクトの相対速度を算出する処理について説明する図である。 複数のオブジェクトの領域を包含する領域を算出する処理について説明する図である。 複数のオブジェクトの領域を包含する領域を算出する処理について説明する図である。 予測位置の候補の算出処理について説明する図である。 予測位置の候補の算出処理について説明する図である。 複数の予測位置に対応する各領域を算出する処理について説明する図である。 複数の予測位置に対応する各領域を算出する処理について説明する図である。 従来技術の、一の物体の領域が分割されて検出された場合の例を示す図である。 従来技術の、一の物体の領域が分割されて検出された場合の例を示す図である。 第２の実施形態に係るトラッキング処理の一例を示すフローチャートである。 第２の実施形態に係るトラッキング処理について説明する図である。 背景視差が存在するか否かを判定する処理の一例を示すフローチャートである。 車両等の物体領域に対する統合された領域の場合の、背景検出処理について説明する図である。 車両等の物体領域に対する統合された領域の場合の、背景検出処理について説明する図である。 車両等の物体領域に対する統合された領域の場合の、背景検出処理について説明する図である。 歩行者等の二つのグループが結合されている物体領域に対する統合された領域の場合の、背景検出処理について説明する図である。 歩行者等の二つのグループが結合されている物体領域に対する統合された領域の場合の、背景検出処理について説明する図である。 歩行者等の二つのグループが結合されている物体領域に対する統合された領域の場合の、背景検出処理について説明する図である。 第３の実施形態に係るトラッキング処理の一例を示すフローチャートである。 第３の実施形態に係るトラッキング処理について説明する図である。 第３の実施形態に係るトラッキング処理について説明する図である。 第３の実施形態に係るトラッキング処理について説明する図である。 第４の実施形態に係るトラッキング処理の一例を示すフローチャートである。 第５の実施形態に係るトラッキング処理の一例を示すフローチャートである。
以下、実施形態に係る画像処理装置を有する移動体機器制御システムについて説明する。
［第１の実施形態］
〈車載機器制御システムの構成〉
図１は、本発明の実施形態に係る移動体機器制御システムとしての車載機器制御システムの構成を示す図である。
この車載機器制御システム１は、移動体である自動車などの自車両１００に搭載されており、撮像ユニット１０１、画像解析ユニット１０２、表示モニタ１０３、及び車両走行制御ユニット１０４からなる。そして、撮像ユニット１０１で、移動体の前方を撮像した自車両進行方向前方領域（撮像領域）の複数の撮像画像データ（フレーム）から、自車両前方の物体を検知して追跡し、その追跡結果を利用して移動体や各種車載機器の制御を行う。移動体の制御には、例えば、警告の報知、自車両１００（自移動体）のハンドルの制御、または自車両１００（自移動体）のブレーキが含まれる。
撮像ユニット１０１は、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像によって得られる撮像画像データ等の各種データは、画像処理手段としての画像解析ユニット１０２に入力される。
画像解析ユニット１０２は、撮像ユニット１０１から送信されてくるデータを解析して、自車両１００が走行している路面部分（自車両の真下に位置する路面部分）に対する自車両前方の走行路面上の各地点における相対的な高さ（位置情報）を検出し、自車両前方の走行路面の３次元形状を把握する。また、自車両前方の他車両、歩行者、各種障害物などの認識対象物を認識する。
画像解析ユニット１０２の解析結果は、表示モニタ１０３及び車両走行制御ユニット１０４に送られる。表示モニタ１０３は、撮像ユニット１０１で得られた撮像画像データ及び解析結果を表示する。なお、表示モニタ１０３を備えなくてもよい。車両走行制御ユニット１０４は、画像解析ユニット１０２による自車両前方の他車両、歩行者、各種障害物などの認識対象物の認識結果に基づいて、例えば、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行う。
〈撮像ユニット１０１及び画像解析ユニット１０２の構成〉
図２は、撮像ユニット１０１及び画像解析ユニット１０２の構成を示す図である。
撮像ユニット１０１は、撮像手段としての２つの撮像部１１０ａ，１１０ｂを備えたステレオカメラで構成されており、２つの撮像部１１０ａ，１１０ｂは同一のものである。各撮像部１１０ａ，１１０ｂは、それぞれ、撮像レンズ１１１ａ，１１１ｂと、受光素子が２次元配置された画像センサ１１３ａ，１１３ｂを含んだセンサ基板１１４ａ，１１４ｂと、センサ基板１１４ａ，１１４ｂから出力されるアナログ電気信号（画像センサ１１３ａ，１１３ｂ上の各受光素子が受光した受光量に対応する電気信号）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部１１５ａ，１１５ｂとから構成されている。撮像ユニット１０１からは、輝度画像データと視差画像データが出力される。
また、撮像ユニット１０１は、ＦＰＧＡ（Field-Programmable Gate Array）等からなる処理ハードウェア部１２０を備えている。この処理ハードウェア部１２０は、各撮像部１１０ａ，１１０ｂから出力される輝度画像データから視差画像を得るために、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像間の対応画像部分の視差値を演算する視差画像情報生成手段としての視差演算部１２１を備えている。
ここでいう視差値とは、各撮像部１１０ａ，１１０ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。
図３は、三角測量の原理を利用することで視差値から距離を算出する原理を説明するための図である。図において、ｆは撮像レンズ１１１ａ，１１１ｂのそれぞれの焦点距離であり、Ｄは光軸間の距離である。また、Ｚは撮像レンズ１１１ａ，１１１ｂから被写体３０１までの距離（光軸に平行な方向の距離）である。この図において、被写体３０１上にある点Ｏに対する左右画像での結像位置は、結像中心からの距離がそれぞれΔ１とΔ２となる。このときの視差値ｄは、ｄ＝Δ１＋Δ２と規定することができる。
図２の説明に戻る。画像解析ユニット１０２は、画像処理基板等から構成され、撮像ユニット１０１から出力される輝度画像データ及び視差画像データを記憶するＲＡＭやＲＯＭ等で構成される記憶手段１２２と、識別対象の認識処理や視差計算制御などを行うためのコンピュータプログラムを実行するＣＰＵ（Central Processing Unit）１２３と、データＩ／Ｆ（インタフェース）１２４と、シリアルＩ／Ｆ１２５を備えている。
処理ハードウェア部１２０を構成するＦＰＧＡは、画像データに対してリアルタイム性が要求される処理、例えばガンマ補正、ゆがみ補正（左右の撮像画像の平行化）、ブロックマッチングによる視差演算を行って視差画像の情報を生成し、画像解析ユニット１０２のＲＡＭに書き出す処理などを行う。画像解析ユニット１０２のＣＰＵは、各撮像部１１０Ａ，１１０Ｂの画像センサコントローラの制御および画像処理基板の全体的な制御を担うとともに、路面の３次元形状の検出処理、ガードレールその他の各種オブジェクト（物体）の検出処理などを実行するプログラムをＲＯＭからロードして、ＲＡＭに蓄えられた輝度画像データや視差画像データを入力として各種処理を実行し、その処理結果をデータＩ／Ｆ１２４やシリアルＩ／Ｆ１２５から外部へと出力する。このような処理の実行に際し、データＩ／Ｆ１２４を利用して、自車両１００の車速、加速度（主に自車両前後方向に生じる加速度）、操舵角、ヨーレートなどの車両動作情報を入力し、各種処理のパラメータとして使用することもできる。外部に出力されるデータは、自車両１００の各種機器の制御（ブレーキ制御、車速制御、警告制御など）を行うための入力データとして使用される。
なお、撮像ユニット１０１及び画像解析ユニット１０２は、一体の装置である撮像装置２として構成してもよい。
〈物体検出処理〉
図４は、図２における処理ハードウェア部１２０及び画像解析ユニット１０２で実現される物体検出処理を行う機能ブロック図である。以下、本実施形態における物体検出処理について説明する。
ステレオカメラを構成する２つの撮像部１１０ａ，１１０ｂからは輝度画像データが出力される。このとき、撮像部１１０ａ，１１０ｂがカラーの場合には、そのＲＧＢ信号から輝度信号（Ｙ）を得るカラー輝度変換を、例えば下記の式〔１〕を用いて行う。
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ …式〔１〕
《平行化画像生成処理》
輝度画像データに対して、まず、平行化画像生成部１３１で平行化画像生成処理が実行される。この平行化画像生成処理は、撮像部１１０ａ，１１０ｂにおける光学系の歪みや左右の撮像部１１０ａ，１１０ｂの相対的な位置関係から、各撮像部１１０ａ，１１０ｂから出力される輝度画像データ（基準画像と比較画像）を、２つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。これは、各画素での歪み量を、Δｘ＝ｆ（ｘ，ｙ）、Δｙ＝ｇ（ｘ，ｙ）という多項式を用いて計算し、その計算結果を用いて、各撮像部１１０ａ，１１０ｂから出力される輝度画像データ（基準画像と比較画像）の各画素を変換する。多項式は、例えば、ｘ（画像の横方向位置）、ｙ（画像の縦方向位置）に関する４次多項式を用いる構成としてもよい。また、多項式を用いて各画素での歪み量を計算する代わりに、各画素での歪み量が予め設定されたテーブルを用いて決定する構成としてもよい。
《視差画像生成処理》
このようにして平行化画像処理を行った後、次に、視差演算部１２１によって構成される視差画像生成部１３２において、視差画像データ（視差画像情報）を生成する視差画像生成処理を行う。視差画像生成処理では、まず、２つの撮像部１１０ａ，１１０ｂのうちの一方の撮像部１１０ａの輝度画像データを基準画像データとし、他方の撮像部１１０ｂの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値ｄに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。
具体的には、視差画像生成部１３２は、基準画像データのある行について、一つの注目画素を中心とした複数画素（例えば１６画素×１画素）からなるブロックを定義する。一方、比較画像データにおける同じ行において、定義した基準画像データのブロックと同じサイズのブロックを１画素ずつ横ライン方向（ｘ方向）へずらし、基準画像データにおいて定義したブロックの画素値の特徴を示す特徴量と比較画像データにおける各ブロックの画素値の特徴を示す特徴量との相関を示す相関値を、それぞれ算出する。そして、算出した相関値に基づき、比較画像データにおける各ブロックの中で最も基準画像データのブロックと相関があった比較画像データのブロックを選定するマッチング処理を行う。その後、基準画像データのブロックの注目画素と、マッチング処理で選定された比較画像データのブロックの対応画素との位置ズレ量を視差値ｄとして算出する。このような視差値ｄを算出する処理を基準画像データの全域又は特定の一領域について行うことで、視差画像データを得ることができる。
マッチング処理に用いるブロックの特徴量としては、例えば、ブロック内の各画素の値（輝度値）を用いることができ、相関値としては、例えば、基準画像データのブロック内の各画素の値（輝度値）と、これらの画素にそれぞれ対応する比較画像データのブロック内の各画素の値（輝度値）との差分の絶対値の総和を用いることができる。この場合、当該総和が最も小さくなるブロックが最も相関があると言える。
視差画像生成部１３２でのマッチング処理をハードウェア処理によって実現する場合には、例えばＳＳＤ（Sum of Squared Difference）、ＺＳＳＤ（Zero-mean Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＺＳＡＤ（Zero-mean Sum of Absolute Difference）、ＮＣＣ（Normalized cross correlation）などの方法を用いることができる。なお、マッチング処理では画素単位での視差値しか算出できないので、１画素未満のサブピクセルレベルの視差値が必要な場合には推定値を用いる必要がある。その推定方法としては、例えば、等角直線方式、二次曲線方式等を利用することができる。
《視差画像補間処理》
視差画像生成処理を行ったら、次に画像解析ユニット１０２によって構成される視差補間部１３３において、視差画像補間処理を行う。
視差値ｄは水平方向の位置ズレの度合いなので、撮像画像３１０の水平エッジ部分や輝度変化の少ない部分では視差が計算できないため、車両を一つのオブジェクトとして認識できなくなる。そこで、視差補間部１３３では、例えば、視差画像の２点間の距離が所定の長さより短く、２点間に他の視差値が存在しない場合などの所定の条件を満たした場合に、２点間を補間する。
《Ｖマップ生成処理》
視差画像補間処理を行ったら、次に、Ｖマップ生成部１３４において、Ｖマップを生成するＶマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、ｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）で示される。これを、Ｘ軸にｄ、Ｙ軸にｙ、Ｚ軸に頻度ｆを設定した三次元座標情報（ｄ，ｙ，ｆ）に変換したもの、又はこの三次元座標情報（ｄ，ｙ，ｆ）から所定の頻度閾値を超える情報に限定した三次元座標情報（ｄ，ｙ，ｆ）を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報（ｄ，ｙ，ｆ）からなり、この三次元ヒストグラム情報をＸ−Ｙの２次元座標系に分布させたものを、Ｖマップ（視差ヒストグラムマップ、V-disparity map）と呼ぶ。
具体的に説明すると、Ｖマップ生成部１３４は、画像を上下方向に複数分割して得られる視差画像データの各行領域について、視差値頻度分布を計算する。この視差値頻度分布を示す情報が視差ヒストグラム情報である。
図５は視差画像データ、及びその視差画像データから生成されるＶマップについて説明するための図である。ここで、図５Ａは視差画像の視差値分布の一例を示す図であり、図５Ｂは、図５Ａの視差画像の行毎の視差値頻度分布を示すＶマップを示す図である。
図５Ａに示すような視差値分布をもった視差画像データが入力されたとき、Ｖマップ生成部１３４は、行毎の各視差値のデータの個数の分布である視差値頻度分布を計算し、これを視差ヒストグラム情報として出力する。このようにして得られる各行の視差値頻度分布の情報を、Ｙ軸に視差画像上のｙ方向位置（撮像画像の上下方向位置）をとりＸ軸に視差値をとった二次元直交座標系上に表すことで、図５Ｂに示すようなＶマップを得ることができる。このＶマップは、頻度ｆに応じた画素値をもつ画素が前記二次元直交座標系上に分布した画像として表現することもできる。
図６は、一方の撮像部で撮像された基準画像としての撮影画像の画像例と、その撮影画像に対応するＶマップを示す図である。ここで、図６Ａが撮影画像であり、図６ＢがＶマップである。即ち、図６Ａに示すような撮影画像から図６Ｂに示すＶマップが生成される。Ｖマップでは、路面より下の領域には視差は検出されないので、斜線で示した領域Ａで視差がカウントされることはない。
図６Ａに示す画像例では、自車両が走行している路面４０１と、自車両の前方に存在する先行車両４０２と、路外に存在する電柱４０３が映し出されている。また、図６Ｂに示すＶマップには、画像例に対応して、路面５０１、先行車両５０２、及び電柱５０３がある。
この画像例は、自車両の前方路面が相対的に平坦な路面、即ち、自車両の前方路面が自車両の真下の路面部分と平行な面を自車両前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる識別対象物を映し出した画素であると言える。
撮像部１１０ａでは自車両前方領域を撮像するため、その撮像画像の内容は、図６Ａに示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。従って、Ｖマップ上において上述した略直線状に分布する高頻度の点は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。
《路面形状検出処理》
次に、本実施形態では、Ｖマップ生成部１３４が生成したＶマップの情報（視差ヒストグラム情報）から、路面形状検出部１３５において、自車両１００の前方路面の３次元形状を検出する路面形状検出処理が実行される。
図５Ａに示す画像例では、自車両１００が走行している路面４０１と、自車両１００の前方に存在する先行車両４０２と、路外に存在する電柱４０３が映し出されている。この画像例は、自車両１００の前方路面が相対的に平坦な路面、すなわち、自車両１００の前方路面が自車両１００の真下の路面部分と平行な面を自車前方へ延長して得られる仮想の基準路面（仮想基準移動面）に一致している場合のものである。この場合、画像の下部に対応するＶマップの下部において、高頻度の点（路面５０１）は、画像上方へ向かうほど視差値ｄが小さくなるような傾きをもった略直線状に分布する。このような分布を示す画素は、視差画像上の各行においてほぼ同一距離に存在していてかつ最も占有率が高く、しかも画像上方へ向かうほど距離が連続的に遠くなる検出対象物を映し出した画素であると言える。
撮像部１１０Ａでは自車前方領域を撮像するため、その撮像画像の内容は、図６Ｂに示すように、画像上方へ向かうほど路面の視差値ｄは小さくなる。また、同じ行（横ライン）内において、路面を映し出す画素はほぼ同じ視差値ｄを持つことになる。したがって、Ｖマップ上において上述した略直線状に分布する高頻度の点（路面５０１）は、路面（移動面）を映し出す画素が持つ特徴に対応したものである。よって、Ｖマップ上における高頻度の点を直線近似して得られる近似直線上又はその近傍に分布する点の画素は、高い精度で、路面を映し出している画素であると推定することができる。また、各画素に映し出されている路面部分までの距離は、当該近似直線上の対応点の視差値ｄから高精度に求めることができる。
《路面高さテーブル算出処理》
次に、路面高さテーブル算出部１３６において、路面高さ（自車の真下の路面部分に対する相対的な高さ）を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部１３５により生成されたＶマップ上の近似直線の情報から、撮像画像上の各行領域（画像上下方向の各位置）に映し出されている各路面部分までの距離を算出できる。一方、自車の真下に位置する路面部分をその面に平行となるように自車進行方向前方へ延長した仮想平面の自車進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面（基準路面）はＶマップ上で直線（基準直線）により表される。路面形状検出部１３５から出力される近似直線を基準直線と比較することで、自車前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部１３５から出力される近似直線上のＹ軸位置から、これに対応する視差値から求められる距離だけ自車前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部１３６では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。
なお、ある視差値ｄにおいてＹ軸位置がｙ'である地点に対応する撮像画像部分に映し出されている物体の路面からの高さは、当該視差値ｄにおける近似直線上のＹ軸位置をｙ０としたとき、（ｙ'−ｙ０）から算出することができる。一般に、Ｖマップ上における座標（ｄ，ｙ'）に対応する物体についての路面からの高さＨは、下記の式（２）より算出することができる。ただし、下記の式（２）において、「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ−ｏｆｆｓｅｔ））であり、「ｆ」はカメラの焦点距離を（ｙ'−ｙ０）の単位と同じ単位に変換した値である。ここで、「ＢＦ」は、ステレオカメラの基線長と焦点距離を乗じた値であり、「ｏｆｆｓｅｔ」は無限遠の物体を撮影したときの視差値である。
Ｈ ＝ ｚ×（ｙ'−ｙ０）／ｆ ・・・（２）
《Ｕマップ生成処理》
次に、Ｕマップ生成部１３７は、Ｕマップ（U-disparity map）を生成するＵマップ生成処理として、頻度Ｕマップ生成処理及び高さＵマップ生成処理を実行する。
頻度Ｕマップ生成処理では、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に頻度を設定し、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これを頻度Ｕマップと呼ぶ。本実施形態のＵマップ生成部１３７では、路面高さテーブル算出部１３６によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲（たとえば２０ｃｍから３ｍ）にある視差画像の点（ｘ，ｙ，ｄ）についてだけ頻度Ｕマップを作成する。この場合、路面から当該所定の高さ範囲に存在する物体を適切に抽出することができる。
また、高さＵマップ生成処理では、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸にｘ、Ｙ軸にｄ、Ｚ軸に路面からの高さを設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。これを高さＵマップと呼ぶ。このときの高さの値は路面からの高さが最高のものである。
図７は、撮像部１１０ａで撮像される基準画像の一例を模式的に表した画像例であり、図８は、図７の画像例に対応するＵマップである。ここで、図８Ａは頻度Ｕマップであり、図８Ｂは高さＵマップである。
図７に示す画像例では、路面の左右両側にガードレール４１３，４１４が存在し、他車両としては、先行車両４１１と対向車両４１２がそれぞれ１台ずつ存在する。このとき、頻度Ｕマップにおいては、図８Ａに示すように、左右のガードレール４１３，４１４に対応する高頻度の点は、左右両端側から中央に向かって上方へ延びるような略直線状６０３，６０４に分布する。一方、先行車両４１１と対向車両４１２に対応する高頻度の点は、左右のガードレールの間で、略Ｘ軸方向に平行に延びる線分の状態６０１，６０２で分布する。なお、先行車両４１１の背面部分又は対向車両４１２の前面部分以外に、これらの車両の側面部分が映し出されているような状況にあっては、同じ他車両を映し出している画像領域内において視差が生じる。このような場合、図８Ａに示すように、他車両に対応する高頻度の点は、略Ｘ軸方向に平行に延びる線分と略Ｘ軸方向に対して傾斜した線分とが連結した状態の分布を示す。
また、高さＵマップにおいては、左右のガードレール４１３，４１４、先行車両４１１、及び対向車両４１２における路面からの高さが最高の点が頻度Ｕマップと同様に分布する。ここで、先行車両に対応する点の分布７０１及び対向車両に対応する点の分布７０２の高さはガードレールに対応する点の分布７０３，７０４よりも高くなる。これにより、高さＵマップにおける物体の高さ情報を物体検出に利用することができる。
《リアルＵマップ生成処理》
次に、リアルＵマップ生成部１３８について説明する。リアルＵマップ生成部１３８では、リアルＵマップ（Real U-disparity map）（「分布データ」の一例）を生成するＵマップ生成処理として、リアル頻度Ｕマップ生成処理及びリアル高さＵマップ生成処理を実行する。
リアルＵマップは、Ｕマップにおける横軸を画像の画素単位から実際の距離に変換し、縦軸の視差値を距離に応じた間引き率を有する間引き視差に変換したものである。
リアルＵマップ生成部１３８は、リアル頻度Ｕマップ生成処理において、視差画像データに含まれる各視差画素データにおけるｘ方向位置とｙ方向位置と視差値ｄとの組（ｘ，ｙ，ｄ）を、Ｘ軸に水平方向の実際の距離、Ｙ軸に間引き視差、Ｚ軸に頻度を設定して、Ｘ−Ｙの２次元ヒストグラム情報を作成する。なお、本実施形態のリアルＵマップ生成部１３８は、Ｕマップ生成部１３７と同様に、路面高さテーブル算出部１３６によってテーブル化された各路面部分の高さに基づいて、路面からの高さＨが所定の高さ範囲にある視差画像の点（ｘ，ｙ，ｄ）についてだけリアル頻度Ｕマップを作成する。なお、リアルＵマップ生成部１３８は、Ｕマップ生成部１３７が生成したＵマップに基づいて、リアルＵマップを生成する構成としてもよい。
図９は、図８Ａに示す頻度Ｕマップに対応するリアルＵマップ（以下、リアル頻度Ｕマップ）を示す図である。図示のように、左右のガードレールは垂直の線状のパターン８０３，８０４で表され、先行車両、対向車両も実際の形に近いパターン８０１、８０２で表される。
縦軸の間引き視差は、遠距離（ここでは５０ｍ以上）については間引きなし、中距離（２０ｍ以上、５０ｍ未満）については１／２に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／３に間引き、近距離（１０ｍ以上、２０ｍ未満）については１／８に間引いたものである。
つまり、遠方ほど、間引く量を少なくしている。その理由は、遠方では物体が小さく写るため、視差データが少なく、距離分解能も小さいので間引きを少なくし、逆に近距離では、物体が大きく写るため、視差データが多く、距離分解能も大きいので間引きを多くする。
横軸を画像の画素単位から実際の距離へ変換する方法、Ｕマップの（ｘ，ｄ）からリアルＵマップの（Ｘ，ｄ）を求める方法の一例について図１０を用いて説明する。
カメラから見て左右１０ｍずつ、即ち２０ｍの幅をオブジェクト検出範囲として設定する。リアルＵマップの横方向１画素の幅を１０ｃｍとすると、リアルＵマップの横方向サイズは２００画素となる。
カメラの焦点距離をｆ、カメラ中心からのセンサの横方向の位置をｐ、カメラから被写体までの距離をＺ、カメラ中心から被写体までの横方向の位置をＸとする。センサの画素サイズをｓとすると、ｘとｐの関係は「ｘ＝ｐ／ｓ」で表される。また、ステレオカメラの特性から、「Ｚ＝Ｂｆ／ｄ」の関係がある。
また、図より、「ｘ＝ｐ＊Ｚ／ｆ」の関係があるから、「Ｘ＝ｓｘＢ／ｄ」で表すことができる。Ｘは実距離であるが、リアルＵマップ上での横方向１画素の幅が１０ｃｍあるので、容易にＸのリアルＵマップ上での位置を計算することができる。
図８Ｂに示す高さＵマップに対応するリアルＵマップ（以下、リアル高さＵマップ）も同様の手順で作成することができる。
リアルＵマップには、縦横の長さをＵマップより小さくできるので処理が高速になるというメリットがある。また、横方向が距離に非依存になるため、遠方、近傍いずれでも同じ物体は同じ幅で検出することが可能になり、後段の周辺領域除去や、横分離、縦分離への処理分岐の判定（幅の閾値処理）が簡単になるというメリットもある。
Ｕマップにおける縦方向の長さは、測定可能な最短距離を何メートルにするかで決定される。つまり、「ｄ＝Ｂｆ／Ｚ」であるから、測定可能な最短のＺに応じて、ｄの最大値は決定される。また、視差値ｄはステレオ画像を扱うため、通常画素単位で計算されるが、少数を含むため、視差値に所定値を乗じて小数部分を四捨五入して整数化した視差値を使用する。
測定可能な最短のＺが１／２になると、ｄは２倍になるので，それだけＵマップのデータは巨大となる。そこで、リアルＵマップを作成するときには、近距離ほど画素を間引いてデータを圧縮し、Ｕマップよりもデータ量を削減する。
そのため、ラベリングによるオブジェクト検出を高速に行うことができる。
《孤立領域検出》
次に、孤立領域検出部１３９について説明する。図１１は、孤立領域検出部１３９で行う孤立領域検出処理の流れを示すフローチャートである。孤立領域検出部１３９では、まずリアルＵマップ生成部１３８で生成されたリアル頻度Ｕマップの情報の平滑化を行う（ステップＳ１１１）。
これは、頻度値を平均化することで、有効な孤立領域を検出しやすくするためである。即ち、視差値には計算誤差等もあって分散があり、かつ、視差値がすべての画素について計算されているわけではないので、リアルＵマップは図９に示した模式図とは異なり、ノイズを含んでいる。そこで、ノイズを除去するためと、検出したいオブジェクトを分離しやすくするため、リアルＵマップを平滑化する。これは画像の平滑化と同様に、平滑化フィルタ(例えば３×３画素の単純平均)をリアルＵマップの頻度値（リアル頻度Ｕマップ）に対して適用することで、ノイズと考えられるような頻度は減少し、オブジェクトの部分では頻度が周囲より高い、まとまったグループとなり、後段の孤立領域検出処理を容易にする効果がある。
次に、二値化の閾値を設定する（ステップＳ１１２）。最初は小さい値（＝０）を用いて、平滑化されたリアルＵマップの二値化を行う（ステップＳ１１３）。その後、値のある座標のラベリングを行って、孤立領域を検出する（ステップＳ１１４）。
この二つのステップでは、リアル頻度Ｕマップで頻度が周囲より高い孤立領域(島と呼ぶことにする)を検出する。検出には、リアル頻度Ｕマップをまず二値化する（ステップＳ１１３）。最初は閾値０で二値化を行う。これは、オブジェクトの高さや、その形状、路面視差との分離などがあるため、島は孤立しているものもあれば他の島と連結しているものもあることの対策である。即ち、小さい閾値からリアル頻度Ｕマップを二値化することで最初は孤立した適切な大きさの島を検出し、その後、閾値を増加させていくことで連結している島を分離し、孤立した適切な大きさの島として検出することを可能にしたものである。
二値化後の島を検出する方法はラベリングを用いる（ステップＳ１１４）。二値化後の黒である座標(頻度値が二値化閾値より高い座標)をその連結性に基づいてラベリングして、同一ラベルが付いた領域を島とする。
検出された複数の孤立領域についてそれぞれ大きさの判定を行う（ステップＳ１１５）。これは、検出対象が歩行者から大型自動車であるため、孤立領域の幅がそのサイズの範囲であるか否かを判定するのである。もし、その大きさが大きければ（ステップＳ１１５：YES）、二値化閾値を１だけインクリメントして（ステップＳ１１２）、リアル頻度Ｕマップの当該孤立領域内だけ二値化を行う（ステップＳ１１３）。そしてラベリングを行い、より小さな孤立領域を検出して（ステップＳ１１４）、その大きさを判定する（ステップＳ１１５）。
上記の閾値設定からラベリングの処理を繰り返し行い、所望の大きさの孤立領域を検出するのである。所望の大きさの孤立領域が検出できたなら（ステップＳ１１５：NO）、次に周辺領域除去を行う（ステップＳ１１６）。これは、遠方にある物体で、路面検出の精度が悪く、路面の視差がリアルＵマップ内に導入され、物体と路面の視差が一塊になって検出された場合のその左右、近傍の高さが路面に近い部分の領域（孤立領域内の周辺部分）を削除する処理である。除去領域が存在する場合は（ステップＳ１１７：YES）、もう一度ラベリングを行って孤立領域の再設定を行う（ステップＳ１１４）。
除去領域がなくなったら（ステップＳ１１７：NO）、周辺領域除去を行った孤立領域の大きさ(幅と高さ、距離)を判定し（ステップＳ１１８）、その結果に応じて、横方向分離（ステップＳ１１９）又は縦方向分離（ステップＳ１２０）又は何もしないでオブジェクト候補として登録する。横方向分離又は縦方向分離を行った場合は（ステップＳ１２１：YES、ステップＳ１２２：YES）、もう一度ラベリングを行って孤立領域の再設定を行う（ステップＳ１１４）。
物体同士が横に並んで近接している(自動車とバイク、自動車と歩行者、自動車同士など)場合、リアル頻度Ｕマップの平滑化が原因で一つの孤立領域として検出されることがある。或いは視差画像の視差補間の悪影響で異なる物体同士の視差がつながってしまうことがある。横方向分離はこのようなケースを検出して分離する処理である（詳細については後述）。
また、複数の先行車両が隣の車線を走行しているときに、それらが遠方にいる場合、ステレオ画像から得られる視差の分散が大きい場合、リアル頻度Ｕマップ上では物体それぞれの視差値が上下に伸び、連結してしまうことがある。このため、これを一つの孤立領域として検出してしまう場合がある。縦方向分離はこのようなケースを検出して、手前を走る先行車両とその向こうを走る先行車両とに分離する処理である（詳細については後述）。
《視差画像の対応領域検出、及びオブジェクト領域抽出》
次に、視差画像の対応領域検出部１４０及びオブジェクト領域抽出部１４１について説明する。図１２は、孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Ｕマップを示す図であり、図１３は、図１２における矩形領域に対応する走査範囲を設定した視差画像を示す図であり、図１４は、図１３における走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。
孤立領域検出部１３９によりオブジェクト候補領域として決定された孤立領域について、図１２に示すように、当該孤立領域としての第１車両８０１、第２車両８０２が内接する矩形領域として第１検出島８１１及び第２検出島８１２を設定したとき、この矩形領域の幅（Ｕマップ上のＸ軸方向長さ）は、当該孤立領域に対応する識別対象物（オブジェクト）の幅に対応する。また、設定した矩形領域の高さは、当該孤立領域に対応する識別対象物（オブジェクト）の奥行き（自車両進行方向長さ）に対応している。一方で、各孤立領域に対応する識別対象物（オブジェクト）の高さについては、この段階では不明である。視差画像の対応領域検出部１４０は、オブジェクト候補領域に係る孤立領域に対応したオブジェクトの高さを得るために、当該孤立領域に対応する視差画像上の対応領域を検出する。
視差画像の対応領域検出部１４０は、孤立領域検出部１３９から出力される孤立領域の情報に基づき、リアルＵマップから検出した第１検出島８１１及び第２検出島８１２島の位置、幅と最小視差から、図１３に示す視差画像で検出すべき範囲である第１検出島対応領域走査範囲４８１及び第２検出島対応領域走査範囲４８２のｘ方向範囲（ｘmin，ｘmax)を決定できる。また、視差画像においてオブジェクトの高さと位置(ｙmin="最大視差ｄmaxの時の路面からの最大高さに相当するｙ座標"からｙmax="最大視差ｄmaxから得られる路面の高さを示すｙ"まで)を決定できる。
次に、オブジェクトの正確な位置を検出するため、設定した走査範囲を走査し、孤立領域検出部１３９で検出した矩形の奥行き(最小視差ｄmin,最大視差ｄmax)の範囲の値を視差にもつ画素を候補画素として抽出する。そして、抽出した候補画素群の中で検出幅に対して横方向に所定の割合以上あるラインを候補ラインとする。
次に、縦方向に走査して、ある注目しているオブジェクト候補ラインの周囲に他のオブジェクト候補ラインが所定の密度以上ある場合には、その注目しているオブジェクト候補ラインをオブジェクトラインとして判定する。
次に、オブジェクト領域抽出部１４１は、視差画像の探索領域でオブジェクトラインを探索して、オブジェクトラインの最下端、最上端を決定し、図１４に示すように、オブジェクトライン群の外接矩形４６１，４６２を視差画像におけるオブジェクト（第１車両、第２車両）の領域４５１，４５２として決定する。
図１５は、視差画像の対応領域検出部１４０及びオブジェクト領域抽出部１４１で行われる処理の流れを示すフローチャートである。まずリアルＵマップにおける島の位置、幅と最小視差から、視差画像に対するｘ軸方向の探索範囲を設定する（ステップＳ１６１）。
次に島の最大視差ｄmaxと路面高さの関係から、視差画像に対するｙ軸方向の最大探索値ｙmaxを設定する（ステップＳ１６２）。次にリアル高さＵマップにおける島の最大高さ、及びステップＳ１７２で設定したymaxとdmaxとから、視差画像に対するｙ軸方向の最小探索値ｙminを求めて設定することで、視差画像に対するｙ軸方向の探索範囲を設定する（ステップＳ１６３）。
次いで設定した探索範囲で視差画像を探索して、島の最小視差ｄmin，最大視差ｄmaxの範囲内にある画素を抽出し、オブジェクト候補画素とする（ステップＳ１６４）。そのオブジェクト候補画素が横方向に一定以上の割合にあるとき、そのラインをオブジェクト候補ラインとして抽出する（ステップＳ１６５）。
オブジェクト候補ラインの密度を計算して、密度が所定の値より大きい場合はそのラインをオブジェクトラインと決定する（ステップＳ１６６）。最後にオブジェクトライン群の外接矩形を視差画像内のオブジェクト領域として検出する（ステップＳ１６７）。
それにより、識別対象物（オブジェクト、物体）を認識することができる。
《オブジェクトタイプ分類》
次に、オブジェクトタイプ分類部１４２について説明する。
前記オブジェクト領域抽出部１４１で抽出されるオブジェクト領域の高さ（ｙomax−ｙomin）から、下記の式〔５〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の高さＨｏを計算できる。ただし、「ｚo」は、当該オブジェクト領域内の最小視差値ｄから計算される当該オブジェクト領域に対応するオブジェクトと自車両との距離であり、「ｆ」はカメラの焦点距離を（ｙomax−ｙomin）の単位と同じ単位に変換した値である。
Ｈo＝ｚo×（ｙomax−ｙomin）／ｆ …式〔５〕
同様に、オブジェクト領域抽出部１４１で抽出されるオブジェクト領域の幅（ｘomax−ｘomin）から、下記の式〔６〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の実際の幅Ｗoを計算できる。
Ｗo＝ｚo×（ｘomax−ｘomin）／ｆ …式〔６〕
また、当該オブジェクト領域に対応する画像領域に映し出されている識別対象物（オブジェクト）の奥行きＤoは、当該オブジェクト領域に対応した孤立領域内の最大視差ｄmaxと最小視差ｄminから、下記の式〔７〕より計算することができる。
Ｄo＝ＢＦ×｛（１／（ｄmin−offset）−１／（ｄmax−offset）｝ …式〔７〕
オブジェクトタイプ分類部１４２は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図１６に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。これによれば、自車両前方に存在する識別対象物（オブジェクト）が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。
《３次元位置決定》
次に、３次元位置決定部１４３について説明する。検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの３次元位置を決定することができる。
視差画像上のオブジェクト領域の中心座標を（region_centerＸ，region_centerＹ）とし、視差画像の画像中心座標を（image_centerＸ，image_centerＹ）としたとき、識別対象物（オブジェクト）の撮像部１１０ａ，１１０ｂに対する相対的な横方向位置および高さ方向位置は、下記の式〔８〕及び式〔９〕より計算できる。
Ｘo＝Ｚ×（region_centerＸ−image_centerＸ）／ｆ …式〔８〕
Ｙo＝Ｚ×（region_centerＹ−image_centerＹ）／ｆ …式〔９〕
《オブジェクトデータリスト》
次に、オブジェクトトラッキング部１４４等が使用する、オブジェクトデータリスト１４６について説明する。オブジェクトデータリスト１４６は、例えば、オブジェクトデータリスト１４６により、一のフレームから検出された各オブジェクトを、それ以降の複数のフレームに渡って追跡するために使用される。
オブジェクトデータリスト１４６は、図１７に示すように、「オブジェクトデータ」、「オブジェクト予測データ」、「オブジェクト特徴量」、「トラッキングデータ」のデータを含む。
「オブジェクトデータ」は、「位置」、「大きさ」、「距離」、「相対速度」、「実位置」、「実際の大きさ」のデータを含む。「位置」は、視差画像における当該オブジェクトの左上の座標である。「大きさ」は、視差画像における当該オブジェクトの大きさ（幅、及び高さの画素数）である。「距離」は、自車両から当該オブジェクトまでの実距離である。「相対速度」は、前回と今回のフレームからそれぞれ生成された各リアルＵマップに基づいて算出された、自車両と当該オブジェクトとの相対速度である。「相対速度」は、自車両の進行方向Ｚ（奥行き方向）及び水平方向Ｘ（横方向）の１フレーム当たりの移動量（ｍ：メートル）のデータを含む。「実位置」は、今回のフレームに対するリアルＵマップに基づいて算出された、自車両に対する当該オブジェクトの相対的な実際の位置である。「実位置」は、例えば、当該オブジェクトの左端と右端の中心の、横方向Ｚの位置（ｍ：メートル）と奥行きＺ方向の位置（ｍ：メートル）のデータを含む。「実際の大きさ」は、今回のフレームに対するリアルＵマップ及びリアル高さＵマップに基づいて算出された、自車両に対する当該オブジェクトの実際の大きさである。「実際の大きさ」は、当該オブジェクトの幅（ｍ：メートル）と高さ（ｍ：メートル）のデータを含む。
「オブジェクト予測データ」は、「位置」、「大きさ」、「距離」、「相対速度」等のデータを含む。「オブジェクト予測データ」は、以前のフレーム（例えば直前のフレーム）に基づいて算出された、次回のフレームにおいて当該オブジェクトがどの位置にいるかを予測するデータである。
「オブジェクト特徴量」は、「ヒストグラムピーク位置」、「ピーク間距離」のデータを含む。「ヒストグラムピーク位置」は、リアルＵマップにおける視差頻度の値が比較的大きい位置の座標である。「ピーク間距離」は、リアルＵマップにおける「ヒストグラムピーク位置」間の実距離である。
「トラッキングデータ」は、「検出フレーム数」、「未検出フレーム数」、「追跡状態」、「画像」のデータを含む。「検出フレーム数」、及び「未検出フレーム数」は、それぞれ、当該オブジェクトが何フレーム連続して検出されたか／何フレーム連続して検出されなかったかを示す値である。「追跡状態」は、当該オブジェクトのトラッキング（追跡）の継続性についての状態を示す。「追跡状態」は、「トラッキング」または「Ｃａｎｄｉｄａｔｅ」の状態を有する。「トラッキング」状態は、当該オブジェクトのトラッキングを安定して継続している状態である。「Ｃａｎｄｉｄａｔｅ」状態は、新規にオブジェクトを検出した、またはトラッキングしていたオブジェクトをロストしたため、当該オブジェクトのトラッキングを継続して行っていないが、当該オブジェクトを再度「トラッキング」状態に遷移させるために、当該オブジェクトの安定的な検出を試みている状態である。「画像」は、「追跡状態」が「トラッキング」状態であった際の、視差画像における当該オブジェクトを含む領域の画像である。
なお、オブジェクトデータリスト１４６のデータは、画像解析ユニット１０２の解析結果として、表示モニタ１０３及び車両走行制御ユニット１０４に送られる。表示モニタ１０３は、解析結果であるオブジェクトデータリスト１４６のデータのうち、例えば、「オブジェクトデータ」の「位置」、「大きさ」に基づいて、今回のフレームにおけるオブジェクトの領域を、例えば緑の枠で表示する（図２３Ａの矩形５５４参照）。ここで、「オブジェクトデータ」の「位置」、「大きさ」は、オブジェクト領域抽出部１４１により検出されたオブジェクトの領域、または、後述するオブジェクトトラッキング部１４４により複数の領域が統合された領域を示すデータである。
また、表示モニタ１０３は、解析結果であるオブジェクトデータリスト１４６のデータのうち、例えば、「オブジェクト予測データ」の「位置」、「大きさ」に基づいて、今回のフレームにおけるオブジェクトの予測位置に対応する領域（以下で「トラッキング枠」と称する）を、例えば赤の枠で表示する（図２３Ａの矩形５５１参照）。
《オブジェクトトラッキング》
次に、オブジェクトトラッキング部１４４について説明する。オブジェクトトラッキング部１４４は、オブジェクトデータリスト１４６を用いて、以前（過去）の視差画像のフレームから検出されたオブジェクト（物体）をトラッキング（追跡）する処理を実行する。
オブジェクトトラッキング部１４４は、位置予測部１４４１、及び追跡部１４４２を有する。
位置予測部１４４１は、リアルＵマップ生成部１３８により生成された、以前の複数のフレームの視差画像に対するリアルＵマップに基づいて、今回のフレームの視差画像に対するリアルＵマップにおける各オブジェクトの予測位置を予測する。
位置予測部１４４１は、リアルＵマップにおける、後述する追跡部１４４２により統合された物体の位置に基づいて、次回の視差画像に対するリアルＵマップにおける当該統合された物体の予測位置を予測する。
位置予測部１４４１は、以前（例えば前回）の視差画像に対するリアルＵマップにおけるオブジェクトの位置と、当該オブジェクトの自車両に対する相対速度に基づいて、複数の予測位置を予測する。
追跡部１４４２は、位置予測部１４４１により予測された、追跡中の物体の予測位置に基づいて、孤立領域検出部１３９により検出された複数の物体を統合し、当該統合した物体を、以降のフレームの視差画像で追跡する。追跡部１４４２は、例えば、視差画像における複数の物体の領域を包含する矩形を算出し、当該矩形を一の物体の領域とすることにより、複数の物体を一の物体に統合する。
追跡部１４４２は、複数の物体の間のリアルＵマップにおける距離、及び、複数の物体の自車両に対する相対速度に基づいて、当該複数の物体を統合するか否かを判断する。
追跡部１４４２は、位置予測部１４４１に予測された予測位置における物体に対する今回のフレームの視差画像の領域に、複数の物体に対する視差画像の領域がそれぞれ含まれるか否か、及び、前記予測位置と、前記複数の物体とのリアルＵマップにおけるそれぞれの距離に基づいて、当該複数の物体を統合するか否かを判断する。
追跡部１４４２は、位置予測部１４４１に予測された予測位置と、今回のフレームの視差画像に対するリアルＵマップにおける前記物体の位置との距離、または、前記予測位置に対する今回のフレームの視差画像における領域と、今回のフレームの視差画像における前記物体の領域とが重複する割合に基づいて、統合した物体を追跡する。
以下で、オブジェクトトラッキング部１４４の処理例について説明する。
オブジェクトトラッキング部１４４の追跡部１４４２は、オブジェクトの追跡の精度に関する状態を、「追跡状態」として管理する。図１８を参照し、「追跡状態」の状態遷移について説明する。図１８は、オブジェクトの追跡状態の状態遷移の一例を示す図である。
まず、追跡部１４４２は、自車両から所定の範囲内に位置する等の所定の条件を満たすオブジェクトが検出されると、当該オブジェクトのデータをオブジェクトデータリスト１４６に保存し、「Ｃａｎｄｉｄａｔｅ」状態とする。
そして、追跡部１４４２は、「Ｃａｎｄｉｄａｔｅ」状態で、当該オブジェクトが安定的に検出される等の所定の条件を満たす場合は、「トラッキング」状態に遷移させる。一方、「Ｃａｎｄｉｄａｔｅ」状態で、所定数のフレームで連続して検出されない等の所定の条件を満たす場合は、当該オブジェクトのデータを、オブジェクトデータリスト１４６から破棄する。
追跡部１４４２は、「トラッキング」状態で、トラッキングを継続するための所定の条件を満たさない場合、「Ｃａｎｄｉｄａｔｅ」状態に遷移させる。
次に、図１９を参照し、オブジェクトトラッキング部１４４が、視差画像から検出されたオブジェクトをトラッキングする処理について説明する。図１９は、オブジェクトトラッキング部１４４によるオブジェクトトラッキング処理のフローチャートである。
オブジェクトトラッキング部１４４の追跡部１４４２は、ステレオカメラで撮像された一のフレームから検出されたオブジェクトのデータを取得する（ステップＳ１１０１）。
追跡部１４４２は、当該オブジェクトに対応するデータがオブジェクトデータリスト１４６に格納されているか判断する（ステップＳ１１０２）。
当該オブジェクトに対応するデータがオブジェクトデータリスト１４６に格納されていない場合（ステップＳ１１０２でＮＯ）、オブジェクトデータリスト１４６の当該オブジェクトに対するオブジェクトデータ、及びオブジェクト特徴量を更新し、追跡部１４４２は、オブジェクトデータリスト１４６に、当該オブジェクトのデータを登録し（ステップＳ１１０３）、処理を終了する。
当該オブジェクトに対応するデータがオブジェクトデータリスト１４６に格納されている場合（ステップＳ１１０２でＮＯ）、追跡部１４４２は、オブジェクトデータリスト１４６の当該オブジェクトの「追跡状態」を判断する（ステップＳ１１０４）。
「追跡状態」が「Ｃａｎｄｉｄａｔｅ」である場合（ステップＳ１１０４で「Ｃａｎｄｉｄａｔｅ」）、追跡部１４４２は、Ｃａｎｄｉｄａｔｅ処理を行い（ステップＳ１１０５）、処理を終了する。なお、Ｃａｎｄｉｄａｔｅ処理の詳細は後述する。
「追跡状態」が「トラッキング」である場合（ステップＳ１１０４で「トラッキング」）、追跡部１４４２は、トラッキング処理を行い（ステップＳ１１０６）、処理を終了する。なお、トラッキング処理の詳細は後述する。
次に、図２０を参照し、図１９のステップＳ１１０５の、「Ｃａｎｄｉｄａｔｅ」状態のオブジェクトをトラッキングする処理について説明する。図２０は、オブジェクトトラッキング部１４４によるＣａｎｄｉｄａｔｅ処理のフローチャートである。
オブジェクトトラッキング部１４４の追跡部１４４２は、今回のフレームで検出されたオブジェクトが、安定条件を満たすか判断する（ステップＳ１２０１）。なお、安定条件は、例えば、前回のフレームにおける当該オブジェクトを含む領域（枠）と、今回のフレームにおける当該オブジェクトを含む領域が、縦横共に半分以上重なっていることを条件とする。
安定条件を満たさない場合（ステップＳ１２０１でＮＯ）、オブジェクトデータリスト１４６の当該オブジェクトに対応する「未検出フレーム数」を１つ増加させ、「検出フレーム数」を「０」に更新する（ステップＳ１２０２）。
追跡部１４４２は、「未検出フレーム数」が所定の閾値（例えば５）以上であるか判断し（ステップＳ１２０３）、「未検出フレーム数」が所定の閾値以上であれば（ステップＳ１２０３でＹＥＳ）、オブジェクトデータリスト１４６の当該オブジェクトに対応するデータを破棄し（ステップＳ１２０４）、処理を終了する。それにより、表示モニタ１０３及び車両走行制御ユニット１０４に、トラッキング枠が出力されなくなる。
「未検出フレーム数」が所定の閾値以上でなければ（ステップＳ１２０３でＮＯ）、処理を終了する。
安定条件を満たす場合（ステップＳ１２０１でＹＥＳ）、オブジェクトデータリスト１４６の当該オブジェクトに対応する「検出フレーム数」を１つ増加させ、「未検出フレーム数」を「０」に更新する（ステップＳ１２０５）
追跡部１４４２は、オブジェクトデータリスト１４６の当該オブジェクトが、「Ｃａｎｄｉｄａｔｅ」から「トラッキング」に移行するための所定の条件を満たすか判断する（ステップＳ１２０６）。
なお、「Ｃａｎｄｉｄａｔｅ」から「トラッキング」に移行するための所定の条件は、例えば、以下のような条件のうちの少なくとも１つとする。（１）オブジェクトデータリスト１４６の当該オブジェクトの「検出フレーム数」が所定の閾値（例えば３）以上であること。（２）当該オブジェクトが、「トラッキング」から「Ｃａｎｄｉｄａｔｅ」に遷移してから所定の閾値（例えば３）フレーム以内であること。かつ、後述するトラッキング継続条件を満たすこと。かつ、今回のフレームにおける当該オブジェクトを含む領域と、最後に「トラッキング」状態であった際の当該オブジェクトを含む視差画像の領域との画像の類似度が所定の閾値以上であること。なお、画像の類似度の算出方法の具体例については後述する。
「Ｃａｎｄｉｄａｔｅ」から「トラッキング」に移行するための所定の条件を満たす場合（ステップＳ１２０６でＹＥＳ）、当該オブジェクトをトラッキング対象とするため、オブジェクトデータリスト１４６の当該オブジェクトの「追跡状態」を「トラッキング」に更新し（ステップＳ１２０７）、処理を終了する。なお、この際、オブジェクトデータリスト１４６の当該オブジェクトに対するオブジェクト予測データ、及びトラッキングデータの「画像」を更新してもよい。
「Ｃａｎｄｉｄａｔｅ」から「トラッキング」に移行するための所定の条件を満たさない場合（ステップＳ１２０６でＮＯ）、処理を終了する。
次に、追跡部１４４２による、図２０のステップＳ１２０６の「Ｃａｎｄｉｄａｔｅ」から「トラッキング」に移行するための所定の条件における、画像の類似度の算出方法の例について説明する。
追跡部１４４２は、例えば、高次局所自己相関特徴抽出法（ＨＬＡＣ：Higher-order Local AutoCorrelation）や、ＨＯＧ(Histogram of Oriented Gradient)等の公知の方法を用いて、各画像の特徴量を算出する。
ＨＬＡＣは、画像の濃淡を表す関数g(x, y)の自己相関をＮ次に拡張し、g(x, y)g(x+a1, y+b1)‥g(x+aN, y+bN)の変位ai, biを、参照画素(x, y)周辺の局所領域に限定して、画像の特徴を抽出する方法である。相関の次数を二次まで（３点相関）、変位を３×３画素の局所領域に限定すると、白黒２値画像の場合は、２５次元のパターンとなり、この２５次元のパターンで示される画素値を画像の特徴量とする。
ＨＯＧは、入力画像から計算したエッジ画像に対して、各ブロック領域ごとの方位ヒストグラムを特徴量として計算する方法である。
そして、追跡部１４４２は、２つの画像の特徴量を比較することにより、画像間の類似度を算出する。例えば、ＨＬＡＣ等を用いて算出した２つの画像の２５次元の各特徴量間のユークリッド距離を、２つの画像間の類似度として算出する。
≪トラッキング処理≫
次に、図２１を参照し、図１９のステップＳ１１０６の、「トラッキング」状態のオブジェクトをトラッキングする処理について説明する。図２１は、第１の実施形態に係るトラッキング処理の一例を示すフローチャートである。
オブジェクトトラッキング部１４４の追跡部１４４２は、リアルＵマップ生成部１３８が生成したリアルＵマップ等に基づいて、今回のフレームで検出されたオブジェクトが、トラッキング継続条件を満たすか判断する（ステップＳ１３０１）。なお、トラッキング継続条件は、例えば、以下のような条件とする。以前のフレームから予測したオブジェクトの位置（予測位置）と、今回のフレームに基づいて生成されたオブジェクトの位置との実距離が、所定の範囲（例えば２ｍ）以内であること。かつ、視差画像における検出されたオブジェクトを含む領域をＫ、以前のフレームから予測した、視差画像における当該オブジェクトを含む領域をＬ、ＫとＬが重なる領域をＭとした場合に、Ｋ及びＭの面積に対するＭの面積の割合が所定の閾値Ｓ（例えば０．５）より大きい場合。例えば、Ｍの面積／｛（Ｋの面積＋Ｌの面積）／２｝＞Ｓであること。
当該オブジェクトが、トラッキング継続条件を満たさない場合（ステップＳ１３０１でＮＯ）、オブジェクトデータリスト１４６の当該オブジェクトの「追跡状態」を「Ｃａｎｄｉｄａｔｅ」に更新し（ステップＳ１３０２）、処理を終了する。なお、この際、オブジェクトデータリスト１４６の当該オブジェクトのオブジェクト予測データを破棄してもよい。それにより、表示モニタ１０３及び車両走行制御ユニット１０４に、トラッキング枠が出力されなくなる。
当該オブジェクトが、トラッキング継続条件を満たす場合（ステップＳ１３０１でＹＥＳ）、追跡部１４４２は、今回のフレームにおける当該オブジェクトの予測位置に対応する領域から所定の範囲内に、オブジェクト領域抽出部１４１により複数のオブジェクトが検出されているか判断する（ステップＳ１３０３）。
複数のオブジェクトが検出されていなければ（ステップＳ１３０３でＮＯ）、オブジェクトデータリスト１４６の当該オブジェクトに対するオブジェクト予測データ、及びトラッキングデータの「画像」を更新し（ステップＳ１３０４）、処理を終了する。それにより、表示モニタ１０３及び車両走行制御ユニット１０４に、トラッキング枠が出力される。
複数のオブジェクトが検出されていれば（ステップＳ１３０３でＹＥＳ）、当該複数のオブジェクトが、統合条件を満たすか判断する（ステップＳ１３０５）。なお、統合条件は、例えば、以下のような条件のうちの少なくとも１つとする。（１）当該複数のオブジェクト間のリアルＵマップ上の実距離が所定の範囲（例えば１ｍ）以内であり、かつ、自車両に対する当該複数のオブジェクトの相対速度の差が、所定の閾値以内であること。（２）今回のフレームにおける当該オブジェクトの予測位置に対応する領域内に、オブジェクト領域抽出部１４１により検出された複数のオブジェクトの領域が含まれていること。かつ、今回のフレームにおける当該オブジェクトの予測位置と、オブジェクト領域抽出部１４１により検出された複数のオブジェクトのリアルＵマップ上の各実位置との間の実距離が、それぞれ所定の範囲（例えば１ｍ）以内であること。
なお、上記（１）、（２）の条件における、リアルＵマップ上のオブジェクト間の実距離は、例えば、孤立領域検出部１３９にて検出したリアルＵマップ上のオブジェクトの領域の中心間の実距離により算出してもよい。または、孤立領域検出部１３９にて検出したリアルＵマップ上のオブジェクトの領域に含まれる視差値の頻度が最も高い位置間の実距離により算出してもよい。
当該複数のオブジェクトが統合条件を満たさない場合（ステップＳ１３０５でＮＯ）、ステップＳ１３０４の処理に進む。なお、当該複数のオブジェクトのうち、例えば「位置」、「大きさ」、「距離」、「相対速度」等が、オブジェクトデータリスト１４６の当該オブジェクトに対する「オブジェクト予測データ」に含まれる値により近い方のオブジェクトに基づいて、ステップＳ１３０４の処理を行ってもよい。
当該複数のオブジェクトが統合条件を満たす場合（ステップＳ１３０５でＹＥＳ）、今回のフレームにおける当該複数のオブジェクトの領域を包含する領域（例えば、矩形や正方形の領域）に基づき、オブジェクトデータリスト１４６の当該オブジェクトに対するオブジェクトデータ、オブジェクト予測データ、及びトラッキングデータの「画像」を更新し（ステップＳ１３０６）、処理を終了する。それにより、当該複数のオブジェクトが統合された領域に基づいて、オブジェクトデータの「位置」や「大きさ」等が更新され、更新されたオブジェクトデータに基づいて、オブジェクト予測データを算出することができる。
次に、図２２を参照し、位置予測部１４４１による、図２１のステップＳ１３０１のトラッキング継続条件や、ステップＳ１３０５の統合条件の判定に用いられる、予測位置を算出するためのオブジェクトの「相対速度」を算出する処理について説明する。図２４は、オブジェクトの相対速度を算出する処理について説明する図である。
図２２は、図１２のリアル頻度Ｕマップの例において、今回のフレームにおける第１検出島８１１及び第２検出島８１２に対する、前回のフレームにおける第１検出島８１１ｐ及び第２検出島８１２ｐの位置を破線で示している。この場合、第１車両８０１の自車両に対する相対速度（フレームあたりの移動距離）は、例えば、８１１と８１１ｐの中心間の距離８１３により算出できる。同様に、第２車両８０２の自車両に対する相対速度は、例えば、８１２と８１２ｐの中心間の距離８１４により算出できる。なお、前回のフレームにおける各オブジェクトの位置等は、オブジェクトデータリスト１４６にて記憶されている。
なお、「相対速度」は、前後のフレームにおける相対速度を複数回算出し、複数回算出した相対速度の平均を用いる構成としてもよい。その場合、所定回数以上（例えば５回）算出している場合は、複数回算出した相対速度のうちの最大と最小のものを除いた平均を用いる構成としてもよい。
次に、図２３Ａ及び図２３Ｂを参照し、図２１のステップＳ１３０６の、オブジェクトトラッキング部１４４の追跡部１４４２による、複数のオブジェクトの領域を包含する領域を算出する処理について説明する。
図２３Ａ及び図２３Ｂは、複数のオブジェクトの領域を包含する領域を算出する処理について説明する図である。図２３Ａの例では、一の物体の領域が、左右に分割され、複数の物体の領域５５２ａ、５５３ａとして検出されているが、追跡部１４４２により、複数の物体の領域５５２ａ、５５３ａを包含する最少の大きさの矩形５５４が、複数のオブジェクトの領域を包含する領域として算出される。
図２３Ｂの例では、一の物体の領域が、縦横の大きさがまばらに分割され、複数の物体の領域５５２ｂ、５５３ｂとして検出されているが、追跡部１４４２により、複数の物体の領域５５２ｂ、５５３ｂを包含する最少の大きさの矩形５５５が、複数のオブジェクトの領域を包含する領域として算出される。
次に、オブジェクト選択部１４５について説明する。
オブジェクト選択部１４５は、オブジェクトデータリスト１４６に保存されているオブジェクトについて、当該オブジェクトが追跡対象とするのにふさわしい位置にいるか等を判断基準にして、当該オブジェクトを追跡するか否かを選択する。具体的には、オブジェクトデータリスト１４６のオブジェクト予測データに基づいて当該オブジェクトが位置すると予測される視差画像データ中の予測範囲を設定し、その予測範囲内における当該オブジェクトの高さを特定した後、オブジェクトデータリスト１４６のオブジェクト特徴量を参照して、特定した高さから当該オブジェクトの幅を特定し、特定した幅から視差画像データ上におけるオブジェクトの横方向位置を推定する。このようにして推定したオブジェクトの横方向位置が所定の追跡対象条件（当該オブジェクトが画像内に存在する確度が高い位置である場合、当該オブジェクトが追跡対象とするのにふさわしい位置である場合等）を満たせば、当該オブジェクトを追跡対象として選択する。なお、オブジェクト選択部１４５は、追跡対象として選択しなかったオブジェクトのデータを、オブジェクトデータリスト１４６から削除してもよい。
＜変形例＞
上述の図２１のステップＳ１３０５の統合条件の（２）では、今回のフレームにおける当該オブジェクトの予測位置に対応する領域内に、オブジェクト領域抽出部１４１により検出された複数のオブジェクトの領域が含まれていること。かつ、今回のフレームにおける当該オブジェクトの予測位置と、オブジェクト領域抽出部１４１により検出された複数のオブジェクトのリアルＵマップ上の各実位置との間の実距離が、それぞれ所定の範囲（例えば１ｍ）以内であること。
これに代えて、今回のフレームにおける当該オブジェクトの予測位置として、複数の予測位置を用いる構成としてもよい。
この場合に、今回のフレームにおける当該オブジェクトの複数の予測位置（予測位置の候補）を算出する処理について説明する。図２４Ａ及び図２４Ｂは、予測位置の候補の算出処理について説明する図である。図２４Ａは、自車両の前を、自車両よりも高速に走行する先行車両の例である。図２４Ｂは、自車両の前を右折方向に進行する先行車両の例である。予測位置の候補の算出処理は、図２４Ａと図２４Ｂの場合とも同様である。
まず、位置予測部１４４１は、オブジェクトデータリスト１４６の当該オブジェクトに対応する「推定回数」、「相対速度」及び「実位置」に基づき、今回のフレームにおける自車両と当該オブジェクトの横方向（水平方向）Ｘ及び奥行き方向（進行方向）Ｚの、自車両に対する実際の位置を、第１の予測位置９０１として算出する。例えば、「相対速度」に「推定回数」を乗算した値を、「実位置」に加算した位置を、第１の予測位置９０１とする。
続いて、位置予測部１４４１は、第１の予測位置９０１と、オブジェクトデータリスト１４６の当該オブジェクトに対応する「実位置」との間の、自車両に対する実際の位置を、第２の予測位置として算出する。例えば、第１の予測位置９０１と、当該「実位置」との間の中間の位置を、第２の予測位置９０２とする。
続いて、位置予測部１４４１は、第１の予測位置９０１と、当該「実位置」とを結ぶ直線上で、第１の予測位置９０１よりも当該「実位置」から離れた位置を、第３の予測位置９０３とする。例えば、第１の予測位置９０１と、当該「実位置」との間の距離の１／４離れた位置を、第３の予測位置９０３とする。
続いて、位置予測部１４４１は、第２の予測位置を通り、第１の予測位置９０１と、当該「実位置」とを結ぶ直線に垂直な直線上で、第２の予測位置９０２から左右に離れた位置を、それぞれ、第４の予測位置９０４、第５の予測位置９０５とする。例えば、第２の予測位置９０２から、第１の予測位置９０１と、当該「実位置」との間の距離の１／２離れた位置を、それぞれ、第４の予測位置９０４、第５の予測位置９０５とする。
続いて、位置予測部１４４１は、当該「実位置」を、第６の予測位置９０６とする。
続いて、位置予測部１４４１は、例えば上述した対応領域検出部１４０及びオブジェクト領域抽出部１４１と同様の処理により、第１の予測位置９０１から第６の予測位置９０６の各々に基づいて、今回のフレームにおける当該オブジェクトの画素（座標）単位の各々の領域の「位置」と「大きさ」を算出する。この処理について、図２４を参照して以下に説明する。
図２５Ａ及び図２５Ｂは、位置予測部１４４１による、今回のフレームにおける複数の予測位置に対応する各領域を算出する処理について説明する図である。図２５Ａは、以前（例えば前回）のフレームにて、図１４のように第１車両のオブジェクト領域４６１ｐが検出された場合の、第１の予測位置９０１から第２の予測位置９０２に対する領域の例を示す図である。図２５Ａのように、自車両よりも高速に走行する先行車両の場合、第１の予測位置９０１、第２の予測位置９０２に対する領域は、それぞれ領域９１１、領域９１２のようになる。
図２５Ｂは、図２５Ａの例と同様に、以前のフレームにて、図１４のように第１車両のオブジェクト領域４６１ｐが検出された場合の、第３の予測位置９０３から第６の予測位置９０６に対する領域の例を示す図である。図２５Ａの例と同様に、自車両よりも高速に走行する先行車両の場合、第３の予測位置９０３から第６の予測位置９０６に対する領域は、それぞれ領域９１３から領域９１６のようになる。
［第２の実施形態］
第１の実施形態では、図２１のトラッキング処理において、ステップＳ１３０５で統合条件を満たす場合、複数のオブジェクトを統合してトラッキングする例について説明した。
第２の実施形態では、トラッキング処理において、統合条件を満たす場合であっても、複数のオブジェクトの領域を統合した領域に、背景視差（画素）が存在する場合、統合せずにトラッキングする例について説明する。なお、第２の実施形態は一部を除いて第１の実施形態と同様であるため、適宜説明を省略する。
≪トラッキング処理≫
次に、図２７を参照し、図１９のステップＳ１１０６の、「トラッキング」状態のオブジェクトをトラッキングする処理の一例について説明する。図２７は、第２の実施形態に係るトラッキング処理の一例を示すフローチャートである。
ステップＳ２００１乃至ステップＳ２００５、ステップＳ２００７は、第１の実施形態における図２１のステップＳ１３０１乃至ステップＳ１３０６とそれぞれ同様である。
検出された複数のオブジェクトが、統合条件を満たす場合（ステップＳ２００５でＹＥＳ）、オブジェクトトラッキング部１４４の追跡部１４４２は、当該複数のオブジェクトが統合された領域に、当該複数のオブジェクトよりも所定距離以上遠方である背景が存在するか否かを判定する（ステップＳ２００６）。なお、背景が存在するか否かを判定する処理については後述する。
背景が含まれている場合（ステップＳ２００６でＹＥＳ）、ステップＳ２００４の処理に進む。
背景が含まれていない場合（ステップＳ２００６でＮＯ）、ステップＳ２００７の処理に進む。
図２８は、第２の実施形態に係るトラッキング処理について説明する図である。前回のフレームにおいて、電柱等の道路の脇に存在する側物１７２１と、前方の車両１７２２とが、ステップＳ２００５の処理により、統合されて検出されたとする。そして、今回のフレームにおいて、統合されたオブジェクトの予測位置に対応する領域１７２３内に、オブジェクト領域抽出部１４１により検出された側物１７２１の領域１７２４と、車両１７２２の領域１７２５の領域が含まれているとする。
この場合においても、第２の実施形態によれば、ステップＳ２００６の処理により、側物１７２１の領域１７２４と、車両１７２２の領域１７２５の領域とを統合せずに、ステップＳ２００４の処理によりそれぞれトラッキングできる。
≪背景が存在するか否かを判定する処理≫
次に、図２９を参照し、ステップＳ２００６における背景視差が存在するか否かを判定する処理について説明する。図２９は、背景視差が存在するか否かを判定する処理の一例を示すフローチャートである。
ステップＳ２２０１において、追跡部１４４２は、視差画像における複数のオブジェクトが統合された領域に対応するリアルＵマップ上の範囲を算出する。当該範囲は、当該統合された領域が自車両の直進方向付近に位置する場合であれば、当該統合された領域に対応する物体領域のリアルＵマップにおける横方向の座標の左端、及び当該物体領域の横方向の座標の右端と間の範囲としてもよい。または、当該範囲は、例えば、撮像部１１０ａと撮像部１１０ｂの中心と、当該統合された領域に対応するリアルＵマップ上の物体領域の視差点とを結ぶ２つの異なる直線であって、横方向に対する角度が最大となる第１の直線と、横方向に対する角度が最少となる第２の直線との間の範囲でもよい。
続いて、追跡部１４４２は、当該範囲における、当該統合された領域に対応するリアルＵマップ上の物体領域の視差点の視差頻度の合計値を示すヒストグラム（以下で、「物体視差ヒストグラム」と称する。）を作成する（ステップＳ２２０２）。
続いて、追跡部１４４２は、当該範囲における、当該統合された領域に対応するリアルＵマップ上の物体領域よりも所定距離以上遠方の視差点の視差頻度の合計値を示すヒストグラム（以下で、「背景視差ヒストグラム」と称する。）を作成する（ステップＳ２２０３）。
続いて、追跡部１４４２は、当該範囲において、物体視差ヒストグラムの値が第１の所定値以下であり、背景視差ヒストグラムの値が第２の所定値以上である部分が存在するか否かを判定する（ステップＳ２２０４）。
当該部分が存在する場合（ステップＳ２２０４でＹＥＳ）、追跡部１４４２は、当該統合された領域において背景が存在すると判定し（ステップＳ２２０５）、処理を終了する。
当該部分が存在しない場合（ステップＳ２２０４でＮＯ）、追跡部１４４２は、当該統合された領域において背景が存在しないと判定し（ステップＳ２２０６）、処理を終了する。
図３０Ａ乃至図３０Ｃは、車両等の物体領域に対する統合された領域の場合の、背景検出処理について説明する図である。図３０Ａにおける車両等の物体領域に対する統合された領域１７０１のうち、所定の高さの範囲１７０２に存在するリアルＵマップ上の視差点のみを用いてもよい。この場合、物体視差ヒストグラム１７０５は、図３０Ｂに示すように、車両等の両端１７０３、１７０４付近に対応する部分で視差頻度の合計値が大きくなる。また、この場合、車両等の物体に遮られて、当該車両等の物体よりも遠方の物体は撮影されないため、背景視差ヒストグラム１７０６は、図３０Ｃに示すように、視差頻度の合計値の値がほぼ存在しない。この場合、ステップＳ２２０６で、当該統合された領域において背景が存在しないと判定される。
図３１Ａ乃至図３１Ｃは、歩行者等の二つのグループが結合されている物体領域に対する統合された領域の場合の、背景検出処理について説明する図である。図１５の場合と同様に、図３１Ａにおける物体領域に対する統合された領域１７１１のうち、所定の高さの範囲７１２に存在するリアルＵマップ上の視差点のみを用いてもよい。この場合、物体視差ヒストグラム７１７は、図３１Ｂに示すように、各歩行者１７１３、１７１４、１７１５、１７１６等の付近で視差頻度の合計値が大きくなる。また、この場合、各歩行者等の隙間から、当該歩行者等の物体よりも遠方の物体も撮影される。そのため、背景視差ヒストグラム７１８は、図３１Ｃに示すように、物体視差ヒストグラムの値がほぼ存在しない部分７１９において、背景視差ヒストグラムの値が所定値以上である部分７２０が存在する。この場合、ステップＳ２２０５で、当該統合された領域において背景が存在すると判定される。
［第３の実施形態］
第１の実施形態では、図２１のトラッキング処理において、複数のオブジェクトを統合してトラッキングする例について説明した。
第３の実施形態では、トラッキング処理において、複数のオブジェクトを統合した場合の、自車両から当該統合されたオブジェクトまでの距離を算出する手法の例について説明する。なお、第３の実施形態は一部を除いて第１の実施形態または第２の実施形態と同様であるため、適宜説明を省略する。
≪トラッキング処理≫
次に、図３２を参照し、図１９のステップＳ１１０６の、「トラッキング」状態のオブジェクトをトラッキングする処理の一例について説明する。図３２は、第３の実施形態に係るトラッキング処理の一例を示すフローチャートである。
ステップＳ３００１乃至ステップＳ３００５、ステップＳ３００７は、第１の実施形態における図２１のステップＳ１３０１乃至ステップＳ１３０６とそれぞれ同様である。
検出された複数のオブジェクトが、統合条件を満たす場合（ステップＳ３００５でＹＥＳ）、オブジェクトトラッキング部１４４の追跡部１４４２は、当該複数のオブジェクトのうち、視差点の視差頻度が最も高い物体（視差頻度が最も高い視差点を有する物体、または視差値を有する画素が最も多い物体）までの距離を、自車両から当該複数のオブジェクトの領域を包含する領域までの距離とする（ステップＳ３００６）。これにより、自車両から、当該複数のオブジェクトのうち視差点の視差頻度が最も高い視差点までの距離が、自車両から、当該複数のオブジェクトが統合されたオブジェクトまでの距離とされる。
この場合、オブジェクト領域抽出部１４１が、当該複数のオブジェクトを検出する際に、各オブジェクトにおける視差頻度が最も高い視差点を記憶してもよい。これにより、当該複数のオブジェクトを統合した後、当該統合した領域における視差点の視差頻度が最も高い点を探索する処理が不要となる。
図３３Ａ乃至図３３Ｃは、第３の実施形態に係るトラッキング処理について説明する図である。図３３Ａ乃至図３３Ｃの例では、それぞれ、前々回のフレーム、前回のフレーム、及び今回のフレームにおいて、電柱等の道路の脇に存在する側物１７２１と、前方の車両１７２２ａ乃至１７２２ｃとが、ステップＳ２００７の処理により統合され、統合された領域１７２３ａ乃至１７２３ｃが検出されたとする。そして、前々回のフレーム、前回のフレーム、及び今回のフレームにおいて、自車両から側物１７２１までの距離が一定であり、自車両から前方の車両１７２２ａ乃至１７２２ｃまでの距離が徐々に遠ざかって行くとする。この場合、自車両からの距離が近い方のオブジェクトの距離を、統合したオブジェクトの距離として使用すると、前方の車両１７２２ａ乃至１７２２ｃが徐々に遠ざかって行くにもかかわらず、統合したオブジェクトは遠ざかっていないように判定される。一方、第３の実施形態によれば、視差点の視差頻度が最も高い物体までの距離を、統合したオブジェクトの距離として使用するため、前方の車両１７２２ａ乃至１７２２ｃが遠ざかって行くのに従って、統合したオブジェクトは遠ざかっていくように判定される。
＜変形例＞
ステップＳ３００６において、当該複数のオブジェクトのうち、自車両の進行方向の領域において比較的大きな重み付けした視差頻度が最も高い物体までの距離を、自車両から当該複数のオブジェクトの領域を包含する領域までの距離としてもよい。自車両の進行方向に存在しない電柱等の側物は、自車両の進行に影響を与えないためである。
また、ステップＳ３００６において、当該複数のオブジェクトに含まれる視差点の視差頻度の合計値に応じた重み付けをした、自車両から当該複数のオブジェクトまでの距離の平均値を、自車両から当該複数のオブジェクトの領域を包含する領域までの距離としてもよい。
［第４の実施形態］
第１の実施形態では、図２１のトラッキング処理において、複数のオブジェクトを統合した後、ステップＳ１３０６で、当該統合した複数のオブジェクトを包含する領域についてのデータを記憶しておき、トラッキングする例について説明した。
第４の実施形態では、複数のオブジェクトを統合した後、当該統合した複数のオブジェクトについてのデータと、統合する前の各オブジェクトについてのデータを記憶しておく。そして、以降のフレームで検出された複数のオブジェクトの領域について、当該統合した複数のオブジェクトを包含する領域との重なり度合いよりも、統合する前の各オブジェクトの領域との重なり度合いの方が高い場合は、当該統合した複数のオブジェクトをそれぞれ分離してトラッキングする例について説明する。第４の実施形態によれば、例えば、別個の複数のオブジェクトを統合して記憶した場合でも、以降のフレームで各オブジェクトが正しく検出されれば、各オブジェクトをそれぞれトラッキングできる。
なお、第４の実施形態は一部を除いて第１の実施形態乃至第３の実施形態と同様であるため、適宜説明を省略する。
≪トラッキング処理≫
次に、図３４を参照し、図１９のステップＳ１１０６の、「トラッキング」状態のオブジェクトをトラッキングする処理の一例について説明する。図３４は、第４の実施形態に係るトラッキング処理の一例を示すフローチャートである。
ステップＳ４００１乃至ステップＳ４００５、ステップＳ４００８は、第１の実施形態における図２１のステップＳ１３０１乃至ステップＳ１３０６とそれぞれ同様である。
検出された複数のオブジェクトが、統合条件を満たす場合（ステップＳ４００５でＹＥＳ）、オブジェクトトラッキング部１４４の追跡部１４４２は、以降のフレームで検出された複数のオブジェクトの領域について、当該統合した複数のオブジェクトを包含する領域との重なり度合い、及び統合する前の各オブジェクトの領域との重なり度合いを算出する（ステップＳ４００６）。
ここで、重なり度合いは、比較する２つのオブジェクト間の領域の重なり率及び距離の少なくとも一方に基づいて算出してもよい。ここで、領域の重なり率は、比較する２つのオブジェクトのうちの一方の領域をＫ、他方の領域をＬ、両方の領域の共通部分をＭとすると、例えば、以下の式により算出してもよい。
重なり率 ＝ Ｍの面積／（Ｋの面積＋Ｌの面積−Ｍの面積）
距離は、実空間における２つのオブジェクト間の距離である。複数のオブジェクトを統合したオブジェクトについては、当該複数のオブジェクトについての距離の平均値を用いてもよい。領域の重なり率及び距離の両方を用いて重なり度合いを算出する場合、領域の重なり率及び距離のそれぞれに、所定の重み付けをし（所定の重み係数を乗算し）、合計してもよい。
続いて、オブジェクトトラッキング部１４４の追跡部１４４２は、当該統合した複数のオブジェクトを包含する領域との重なり度合いの方が、統合する前の各オブジェクトの領域との重なり度合いよりも高いか否かを判定する（ステップＳ４００７）。
当該統合した複数のオブジェクトを包含する領域との重なり度合いの方が高くない場合（ステップＳ４００７でＮＯ）、ステップＳ４００４の処理に進む。
当該統合した複数のオブジェクトを包含する領域との重なり度合いの方が高い場合（ステップＳ４００７でＹＥＳ）、ステップＳ４００８において、オブジェクトトラッキング部１４４の追跡部１４４２は、ステップＳ１３０６と同様に、当該統合した複数のオブジェクトを包含する領域についてのデータを記憶する。
続いて、オブジェクトトラッキング部１４４の追跡部１４４２は、統合する前の各オブジェクトについてのデータを記憶する（ステップＳ４００９）。なお、ステップＳ４００８で記憶するデータの項目は、ステップＳ４００４（ステップＳ１３０４）で記憶するデータの項目と同様でもよい。
本来統合したい同一のオブジェクトにおいて検出された複数のオブジェクトの領域は、別個のオブジェクト（例えば並列で停止している車両など）に対して検出された複数のオブジェクトの領域と比較して、以降のフレームにおいて大きさや位置が変動し易いという特性がある。そのため、第４の実施形態においては、統合した複数のオブジェクトを包含する領域との重なり度合いが比較的低い場合に、統合した複数のオブジェクトを分離してトラッキングする。
［第５の実施形態］
第１の実施形態では、図２１のトラッキング処理において、ステップＳ１３０５で、所定の統合条件を満たす場合に、複数のオブジェクトを統合してトラッキングする例について説明した。
第５の実施形態では、当該所定の統合条件とは異なる統合条件を満たす場合も、複数のオブジェクトを統合してトラッキングする例について説明する。当該異なる統合条件とは、例えば、自車両の移動速度と、トラッキング対象のオブジェクトの移動速度とが所定速度以上であることである。これにより、例えばトラッキング対象のオブジェクトがトラックであり、背面が単色で光を反射するため、分離した領域が検出される場合であっても、分離した領域を統合してトラッキングできる。
なお、第５の実施形態は一部を除いて第１の実施形態乃至第４の実施形態と同様であるため、適宜説明を省略する。
≪トラッキング処理≫
次に、図３５を参照し、図１９のステップＳ１１０６の、「トラッキング」状態のオブジェクトをトラッキングする処理の一例について説明する。図３５は、第５の実施形態に係るトラッキング処理の一例を示すフローチャートである。
ステップＳ５００１乃至ステップＳ５００４、ステップＳ５００６乃至ステップＳ５００７は、第１の実施形態における図２１のステップＳ１３０１乃至ステップＳ１３０６とそれぞれ同様である。
今回のフレームにおける当該オブジェクトの予測位置に対応する領域から所定の範囲内に、オブジェクト領域抽出部１４１により複数のオブジェクトが検出されている場合（ステップＳ５００３でＹＥＳ）、当該複数のオブジェクトが、第２の統合条件を満たすか否かを判定する（ステップＳ５００５）。
ここで、第２の統合条件は、例えば、自車両と、当該複数のオブジェクトとが、所定速度（例えば時速２０ｋｍ）以上で移動しており、かつ、それ以外の条件については、第１の統合条件よりも統合され易い条件である。例えば、第１の統合条件が、当該複数のオブジェクト間の実距離、当該オブジェクトの予測位置、上述した領域の重なり率等に基づく条件である場合、第２の統合条件を満たすか否かを判定する閾値は、第１の統合条件を満たすか否かを判定する閾値よりも、緩やかな値が用いられてもよい。
なお、第２の統合条件を満たさず、第１の統合条件を満たす場合は、例えば、領域の重なり率等に関する条件は満たしているものの、移動速度に関する条件を満たしていない場合である。
第５の実施形態では、トラッキングの対象がトラック等の車両であり、自車両も対象車両も比較的高速で安定して移動している場合は、抽出された複数のオブジェクトの領域が、前回のフレームにおいて統合された領域内である場合、または領域の重なり率が所定の閾値以上である場合等において、前回のフレームにおいて統合された領域、または今回のフレームにおいて当該複数のオブジェクトを統合した領域をオブジェクトデータリスト１４６に記憶し、トラッキングを行う。すなわち、自車両が第１の閾値以上の速度で動いておりかつ対象車両が第２の閾値以上（第１の閾値と同じでも良い）の速度で動いている場合は、第１の統合条件よりも統合され易い、例えば、重なり率に関する閾値の条件が第１の統合条件よりも低く設定された第２の統合条件を用いる。これは、自車両も対象車両も比較的高速で安定して移動している場合は、トラッキング対象のオブジェクトの近くに、当該オブジェクトとは別個のオブジェクトが突然出現する可能性が低いと考えられるためである。
第２の統合条件を満たさない場合（ステップＳ５００５でＮＯ）、ステップＳ５００６の処理に進み、ステップＳ１３０５の処理と同様に、統合条件（第１の統合条件）を満たすか否かが判定される。
第２の統合条件を満たす場合（ステップＳ５００５でＹＥＳ）、ステップＳ５００７の処理に進む。
なお、上記各実施形態に示す構成及び処理は、適宜組み合わせてもよい。
＜まとめ＞
従来、自車両の前方の物体をトラッキングしている際、例えば、トラッキングしている物体が、背面が白や銀色で、扉等により縦方向に黒い模様が複数入っているトラックの場合、黒い模様に沿って分割された、複数の物体として誤検出される場合がある。また、トラッキングしている物体が、例えば暗いトンネルに入って左右からの照明光を受け、左右の側面だけが明るい場合や、トラッキングしている物体が、夜間にヘッドライトを点灯させた際などにも、左右に分割された、複数の物体として誤検出される場合がある。
その場合、トラッキングを継続する所定の条件を満たさなくなった場合、次回のフレームでのトラッキングができなくなるという問題があった。これは、例えばミリ波レーダやレーザレーダを用いたトラッキングでは発生しない、画像を利用するステレオカメラを用いたトラッキングに特有の課題である。
上述した実施形態によれば、複数の物体として誤検出された場合であっても、以前の複数のフレームの視差画像に対するリアルＵマップに基づいて算出された、今回のフレームの視差画像における物体の予測位置に基づいて、当該複数の物体を統合する。それにより、精度の高いトラッキングを行うことができる。
本実施形態においては、視差値が距離値と等価に扱えることから、距離画像の一例として視差画像を示しているが、これに限らない。例えば、ミリ波レーダやレーザレーダの距離情報と、ステレオカメラで生成される視差画像とを融合させて距離画像を生成してもよい。
上述した実施形態におけるシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。
例えば、処理ハードウェア部１２０及び画像解析ユニット１０２の各機能部は、ハードウェアによって実現される構成としてもよいし、ＣＰＵが記憶装置に格納されたプログラムを実行することによって実現される構成としてもよい。このプログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。また、各プログラムが記憶されたＣＤ−ＲＯＭ等の記録メディア、並びに、これらプログラムが記憶されたＨＤ５０４は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
本願は、日本特許庁に２０１６年１月２８日に出願された基礎出願２０１６―０１４５９５号の優先権を主張するものであり、その全内容を参照によりここに援用する。
１ 車載機器制御システム（「移動体機器制御システム」の一例）
１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット（「画像処理装置」の一例）
１０３ 表示モニタ
１０４ 車両走行制御ユニット（「制御部」の一例）
１１０ａ，１１０ｂ 撮像部
１２０ 処理ハードウェア部
１３１ 平行化画像生成部
１３２ 視差画像生成部
１３４ Ｖマップ生成部
１３５ 路面形状検出部
１３６ 路面高さテーブル算出部
１３７ Ｕマップ生成部
１３８ リアルＵマップ生成部（「生成部」の一例）
１３９ 孤立領域検出部（「検出部」の一例）
１４０ 対応領域検出部
１４１ オブジェクト領域抽出部
１４４ オブジェクトトラッキング部
１４４１ 位置予測部
１４４２ 追跡部
１４６ オブジェクトデータリスト
２ 撮像装置

Claims (15)

  1. 複数の撮影画像における物体の距離に応じた画素値を有する距離画像に基づいて、前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成する生成部と、
    距離画像に対する前記分布データに基づいて、物体を検出する検出部と、
    以前の複数のフレームの距離画像に対する前記分布データに基づいて、今回のフレームにおける前記物体の予測位置を予測する位置予測部と、
    前記予測位置に基づいて、前記検出部にて検出された複数の物体を統合し、当該統合した物体を、以降のフレームで追跡する追跡部と、
    を備える画像処理装置。
  2. 前記位置予測部は、前記統合された物体の位置に基づいて、次回フレームにおける前記統合された物体の予測位置を予測する、
    請求項１記載の画像処理装置。
  3. 前記追跡部は、前記複数の物体の間の距離、及び、前記複数の物体の自移動体に対する相対速度に基づいて、前記複数の物体を統合するか否かを判断する、
    請求項１または２記載の画像処理装置。
  4. 前記追跡部は、前記予測位置における前記物体の領域に、前記複数の物体の領域がそれぞれ含まれるか否か、及び、前記予測位置と、前記複数の物体との前記分布データにおけるそれぞれの距離に基づいて、前記複数の物体を統合するか否かを判断する、
    請求項１乃至３のいずれか一項に記載の画像処理装置。
  5. 前記追跡部は、前記予測位置と、今回のフレームにおける前記物体の位置との距離、または、前記予測位置に対する今回のフレームにおける領域と、今回のフレームにおける前記物体の領域とが重複する割合に基づいて、前記統合した物体を追跡する、
    請求項１乃至４のいずれか一項に記載の画像処理装置。
  6. 前記位置予測部は、前回の距離画像に対する前記分布データにおける前記物体の位置と、前記物体の自移動体に対する相対速度に基づいて、複数の予測位置を予測し、
    前記追跡部は、前記複数の予測位置に基づいて、前記検出部に検出された複数の物体を統合し、当該統合した物体を、以降のフレームで追跡する、
    請求項１乃至５のいずれか一項に記載の画像処理装置。
  7. 前記追跡部は、前記複数の物体を統合した領域内に、前記複数の物体より所定距離以上遠方である背景の領域が存在する場合には、前記複数の物体の各々を、以降のフレームで追跡する
    請求項１乃至６のいずれか一項に記載の画像処理装置。
  8. 前記追跡部は、前記複数の物体を統合した物体を追跡する場合、前記複数の物体のうち距離情報の数が最も多い物体までの距離を、前記統合した物体の距離とする
    請求項１乃至７のいずれか一項に記載の画像処理装置。
  9. 前記追跡部は、今回のフレームにおいて検出された複数の物体の領域について、以前のフレームにおける前記統合した物体の領域との重なり度合いよりも、前記以前のフレームにおける前記複数の物体の各々の領域との重なり度合いの方が高い場合、前記複数の物体の各々を、以降のフレームで追跡する
    請求項１乃至８のいずれか一項に記載の画像処理装置。
  10. 前記重なり度合いは、複数の領域の重なり率、及び複数の領域間の距離の少なくとも一方に基づく、
    請求項９に記載の画像処理装置。
  11. 前記追跡部は、自移動体が第１の閾値以上の速度で動いておりかつ前記物体が第２の閾値以上の速度で動いているという速度の条件に合致しない場合は、第１の統合条件に従って前記複数の物体の統合を行い、前記速度の条件に合致する場合は、前記第１の統合条件よりも統合され易い第２の統合条件に従って前記複数の物体の統合を行う、
    請求項１乃至１０のいずれか一項に記載の画像処理装置。
  12. 複数の撮像部と、
    前記複数の撮像部により得られた複数の撮影画像から、前記複数の撮影画像における物体の距離に応じた画素値を有する距離画像を生成する距離画像生成部と、
    複数の撮影画像における物体の距離に応じた画素値を有する距離画像に基づいて、前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成する生成部と、
    距離画像に対する前記分布データに基づいて、物体を検出する検出部と、
    以前の複数のフレームの距離画像に対する前記分布データに基づいて、今回のフレームの距離画像に対する前記分布データにおける前記物体の予測位置を予測する位置予測部と、
    前記予測位置に基づいて、前記検出部にて検出された複数の物体を統合し、当該統合した物体を、以降のフレームの距離画像で追跡する追跡部と、
    を備える撮像装置。
  13. 移動体に搭載され、前記移動体の前方を撮像する複数の撮像部と、
    前記複数の撮像部により得られた複数の撮影画像から、前記複数の撮影画像における物体の距離に応じた画素値を有する距離画像を生成する距離画像生成部と、
    複数の撮影画像における物体の距離に応じた画素値を有する距離画像に基づいて、前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成する生成部と、
    距離画像に対する前記分布データに基づいて、物体を検出する検出部と、
    以前の複数のフレームの距離画像に対する前記分布データに基づいて、今回のフレームの距離画像に対する前記分布データにおける前記物体の予測位置を予測する位置予測部と、
    前記予測位置に基づいて、前記検出部にて検出された複数の物体を統合し、当該統合した物体を、以降のフレームの距離画像で追跡する追跡部と、
    前記追跡部による追跡結果に基づいて、前記移動体の制御を行う制御部と、
    を備える移動体機器制御システム。
  14. 画像処理装置が、
    複数の撮影画像における物体の距離に応じた画素値を有する距離画像に基づいて、前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成するステップと、
    距離画像に対する前記分布データに基づいて、物体を検出するステップと、
    以前の複数のフレームの距離画像に対する前記分布データに基づいて、今回のフレームの距離画像に対する前記分布データにおける前記物体の予測位置を予測するステップと、
    前記予測位置に基づいて、前記検出するステップにて検出された複数の物体を統合し、当該統合した物体を、以降のフレームの距離画像で追跡するステップと、
    を実行する、画像処理方法。
  15. 画像処理装置に、
    複数の撮影画像における物体の距離に応じた画素値を有する距離画像に基づいて、前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成するステップと、
    距離画像に対する前記分布データに基づいて、物体を検出するステップと、
    以前の複数のフレームの距離画像に対する前記分布データに基づいて、今回のフレームの距離画像に対する前記分布データにおける前記物体の予測位置を予測するステップと、
    前記予測位置に基づいて、前記検出するステップにて検出された複数の物体を統合し、当該統合した物体を、以降のフレームの距離画像で追跡するステップと、
    を実行させるプログラム。
JP2017563752A 2016-01-28 2017-01-04 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム Active JP6587000B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016014595 2016-01-28
JP2016014595 2016-01-28
PCT/JP2017/000039 WO2017130639A1 (ja) 2016-01-28 2017-01-04 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017130639A1 true JPWO2017130639A1 (ja) 2018-11-08
JP6587000B2 JP6587000B2 (ja) 2019-10-09

Family

ID=59397952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017563752A Active JP6587000B2 (ja) 2016-01-28 2017-01-04 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Country Status (4)

Country Link
US (1) US10984509B2 (ja)
EP (1) EP3410415B1 (ja)
JP (1) JP6587000B2 (ja)
WO (1) WO2017130639A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6660751B2 (ja) * 2016-02-04 2020-03-11 日立オートモティブシステムズ株式会社 撮像装置
WO2017221644A1 (ja) * 2016-06-22 2017-12-28 ソニー株式会社 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム
JP6589926B2 (ja) * 2017-04-07 2019-10-16 トヨタ自動車株式会社 物体検出装置
WO2019147569A1 (en) * 2018-01-23 2019-08-01 Board Of Trustees Of Michigan State University Visual sensor fusion and data sharing across connected vehicles for active safety
US11256932B2 (en) * 2018-02-02 2022-02-22 Mitsubishi Electric Corporation Falling object detection apparatus, in-vehicle system, vehicle, and computer readable medium
JP7106332B2 (ja) * 2018-04-17 2022-07-26 日立Astemo株式会社 外界認識装置
FR3080701B1 (fr) * 2018-04-26 2020-05-15 Transdev Group Systeme de surveillance de la circulation routiere avec affichage d'une image virtuelle d'objets mobiles evoluant dans une portion d'infrastructure routiere
WO2020018688A1 (en) 2018-07-20 2020-01-23 May Mobility, Inc. A multi-perspective system and method for behavioral policy selection by an autonomous agent
CN109143242B (zh) * 2018-09-07 2020-04-14 百度在线网络技术（北京）有限公司 障碍物绝对速度估计方法、系统、计算机设备和存储介质
JP7064144B2 (ja) * 2018-09-28 2022-05-10 日本電信電話株式会社 情報統合方法、情報統合装置、及び情報統合プログラム
US10957023B2 (en) * 2018-10-05 2021-03-23 Magna Electronics Inc. Vehicular vision system with reduced windshield blackout opening
JP7353752B2 (ja) * 2018-12-06 2023-10-02 キヤノン株式会社 光電変換装置及び撮像システム
CN111489375B (zh) * 2019-01-28 2023-09-01 杭州海康威视系统技术有限公司 一种信息检测方法、装置及设备
JP7028814B2 (ja) * 2019-02-07 2022-03-02 ファナック株式会社 外形認識装置、外形認識システム及び外形認識方法
US10969470B2 (en) 2019-02-15 2021-04-06 May Mobility, Inc. Systems and methods for intelligently calibrating infrastructure devices using onboard sensors of an autonomous agent
CN111368611B (zh) * 2019-02-28 2024-04-05 杭州海康威视系统技术有限公司 车辆跟踪方法、装置、系统及服务器
US11222218B2 (en) * 2019-03-11 2022-01-11 Subaru Corporation Vehicle exterior environment detection apparatus
JP2020190438A (ja) 2019-05-20 2020-11-26 株式会社リコー 計測装置および計測システム
CN112312108B (zh) 2019-08-02 2022-09-13 浙江宇视科技有限公司 一种白平衡的异常确定方法、装置、存储介质及电子设备
JP7239511B2 (ja) * 2020-02-26 2023-03-14 株式会社日立製作所 画像予測システム
JP7514139B2 (ja) 2020-03-06 2024-07-10 株式会社Subaru 車外環境認識装置
US11842552B2 (en) * 2020-03-06 2023-12-12 Subaru Corporation Vehicle exterior environment recognition apparatus
JP7359735B2 (ja) * 2020-04-06 2023-10-11 トヨタ自動車株式会社 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP2023533225A (ja) 2020-07-01 2023-08-02 メイ モビリティー，インコーポレイテッド 自律走行車ポリシーを動的にキュレーションする方法及びシステム
WO2022132774A1 (en) 2020-12-14 2022-06-23 May Mobility, Inc. Autonomous vehicle safety platform system and method
JP7567059B2 (ja) * 2020-12-17 2024-10-15 メイ モビリティー，インコーポレイテッド 自律エージェントの環境表現を動的に更新するための方法およびシステム
CN113030107B (zh) * 2021-03-08 2024-09-10 深圳中科飞测科技股份有限公司 检测方法、检测系统及非易失性计算机可读存储介质
KR102264152B1 (ko) * 2021-03-10 2021-06-14 (주)넥스트박스 첨단 센서 데이터와 카메라 영상을 gtl 하는 방법 및 시스템
CN112950726B (zh) * 2021-03-25 2022-11-11 深圳市商汤科技有限公司 摄像头朝向标定方法及相关产品
EP4314708A1 (en) 2021-04-02 2024-02-07 May Mobility, Inc. Method and system for operating an autonomous agent with incomplete environmental information
JP2024526037A (ja) 2021-06-02 2024-07-17 メイ モビリティー，インコーポレイテッド 自律エージェントの遠隔支援のための方法及びシステム
CN113706866B (zh) * 2021-08-27 2023-08-08 中国电信股份有限公司 道路堵塞监测方法及装置、电子设备、存储介质
US12012123B2 (en) 2021-12-01 2024-06-18 May Mobility, Inc. Method and system for impact-based operation of an autonomous agent
WO2023154568A1 (en) 2022-02-14 2023-08-17 May Mobility, Inc. Method and system for conditional operation of an autonomous agent
WO2024129832A1 (en) 2022-12-13 2024-06-20 May Mobility, Inc. Method and system for assessing and mitigating risks encounterable by an autonomous vehicle

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008064628A (ja) * 2006-09-07 2008-03-21 Fuji Heavy Ind Ltd 物体検出装置および物体検出方法
JP2011113330A (ja) * 2009-11-27 2011-06-09 Fuji Heavy Ind Ltd 物体検出装置および運転支援システム
WO2012029878A1 (ja) * 2010-09-03 2012-03-08 トヨタ自動車株式会社 環境マップ作成装置及び方法、行動予測装置及び方法
JP2014067413A (ja) * 2012-09-26 2014-04-17 General Electric Co <Ge> 移動物体の検知および追跡のためのシステムおよび方法
JP2015520433A (ja) * 2012-03-26 2015-07-16 ティーケー ホールディングス インコーポレーテッド レンジ・キュー式物体セグメンテーションシステムおよび方法
JP2015195018A (ja) * 2014-03-18 2015-11-05 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
JP2015207281A (ja) * 2014-04-10 2015-11-19 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US20160014406A1 (en) * 2014-07-14 2016-01-14 Sadao Takahashi Object detection apparatus, object detection method, object detection program, and device control system mountable to moveable apparatus

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764803A (en) * 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
GB2377333A (en) * 2001-07-07 2003-01-08 Sharp Kk Segmenting a pixellated image into foreground and background regions
US7657059B2 (en) * 2003-08-08 2010-02-02 Lockheed Martin Corporation Method and apparatus for tracking an object
US7171024B2 (en) * 2003-12-01 2007-01-30 Brickstream Corporation Systems and methods for determining if objects are in a queue
JPWO2006013689A1 (ja) * 2004-08-06 2008-05-01 株式会社村田製作所 レーダ
KR100750749B1 (ko) * 2005-11-29 2007-08-30 대한민국 Ｇｉｓ를 이용한 식물자원 수량화 방법
US8588464B2 (en) * 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
JP4856612B2 (ja) 2007-10-29 2012-01-18 富士重工業株式会社 物体検出装置
GB2458927B (en) * 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
US8267781B2 (en) * 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
JP5316805B2 (ja) 2009-03-16 2013-10-16 株式会社リコー 車載カメラ装置の画像調整装置及び車載カメラ装置
JP5376313B2 (ja) 2009-09-03 2013-12-25 株式会社リコー 画像処理装置及び画像撮像装置
JP5664152B2 (ja) 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
US8472669B2 (en) * 2010-03-10 2013-06-25 Texas Instruments Incorporated Object localization using tracked object trajectories
US8532336B2 (en) * 2010-08-17 2013-09-10 International Business Machines Corporation Multi-mode video event indexing
US8494301B2 (en) * 2010-09-16 2013-07-23 Eastman Kodak Company Refocusing images using scene captured images
JP5316572B2 (ja) * 2011-03-28 2013-10-16 トヨタ自動車株式会社 物体認識装置
US9329269B2 (en) * 2012-03-15 2016-05-03 GM Global Technology Operations LLC Method for registration of range images from multiple LiDARS
US8781721B2 (en) * 2012-06-06 2014-07-15 Google Inc. Obstacle evaluation technique
US9097800B1 (en) * 2012-10-11 2015-08-04 Google Inc. Solid object detection system using laser and radar sensor fusion
JP2014115978A (ja) 2012-11-19 2014-06-26 Ricoh Co Ltd 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
TWI503618B (zh) * 2012-12-27 2015-10-11 Ind Tech Res Inst 深度影像擷取裝置、其校正方法與量測方法
US9165373B2 (en) * 2013-03-11 2015-10-20 Adobe Systems Incorporated Statistics of nearest neighbor fields
JP6398347B2 (ja) 2013-08-15 2018-10-03 株式会社リコー 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
CN105723697B8 (zh) * 2013-09-16 2020-10-13 英特尔公司 用于相机和光源同步的方法、装置、设备及存储介质
JP6417886B2 (ja) 2013-12-12 2018-11-07 株式会社リコー 視差値導出装置、移動体、ロボット、視差値生産方法、及びプログラム
US9792491B1 (en) * 2014-03-19 2017-10-17 Amazon Technologies, Inc. Approaches for object tracking
JP2016001170A (ja) 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理プログラム、及び、処理方法
JP2016001464A (ja) 2014-05-19 2016-01-07 株式会社リコー 処理装置、処理システム、処理プログラム、及び、処理方法
JP6417729B2 (ja) 2014-06-09 2018-11-07 株式会社リコー 画像処理装置、画像処理方法、プログラム、視差データの生産方法、機器制御システム
US20160019429A1 (en) 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
CN105335955B (zh) * 2014-07-17 2018-04-10 株式会社理光 对象检测方法和对象检测装置
US10664705B2 (en) * 2014-09-26 2020-05-26 Nec Corporation Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium
US9378554B2 (en) * 2014-10-09 2016-06-28 Caterpillar Inc. Real-time range map generation
US9726604B2 (en) 2014-11-12 2017-08-08 Ricoh Company, Ltd. Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices
US10079827B2 (en) 2015-03-16 2018-09-18 Ricoh Company, Ltd. Information processing apparatus, information processing method, and information processing system
US10643101B2 (en) * 2015-07-09 2020-05-05 Texas Instruments Incorporated Window grouping and tracking for fast object detection
JP6534609B2 (ja) * 2015-12-04 2019-06-26 クラリオン株式会社 追跡装置
US20180047173A1 (en) * 2016-08-12 2018-02-15 Qualcomm Incorporated Methods and systems of performing content-adaptive object tracking in video analytics
CN108965751B (zh) * 2017-05-25 2021-09-17 钰立微电子股份有限公司 用于产生360度深度图的图像装置
US10395144B2 (en) * 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008064628A (ja) * 2006-09-07 2008-03-21 Fuji Heavy Ind Ltd 物体検出装置および物体検出方法
JP2011113330A (ja) * 2009-11-27 2011-06-09 Fuji Heavy Ind Ltd 物体検出装置および運転支援システム
WO2012029878A1 (ja) * 2010-09-03 2012-03-08 トヨタ自動車株式会社 環境マップ作成装置及び方法、行動予測装置及び方法
JP2015520433A (ja) * 2012-03-26 2015-07-16 ティーケー ホールディングス インコーポレーテッド レンジ・キュー式物体セグメンテーションシステムおよび方法
JP2014067413A (ja) * 2012-09-26 2014-04-17 General Electric Co <Ge> 移動物体の検知および追跡のためのシステムおよび方法
JP2015195018A (ja) * 2014-03-18 2015-11-05 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
JP2015207281A (ja) * 2014-04-10 2015-11-19 株式会社リコー 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
US20160014406A1 (en) * 2014-07-14 2016-01-14 Sadao Takahashi Object detection apparatus, object detection method, object detection program, and device control system mountable to moveable apparatus

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BIHAO WANG ET AL.: ""Multiple Obstacle Detection and Tracking using Stereo Vision: Application and Analysis"", 2014 13TH INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION, ROBOTICS & VISION, JPN6019030736, 10 December 2014 (2014-12-10), US, pages 1074 - 1079, XP032749347, ISSN: 0004092134, DOI: 10.1109/ICARCV.2014.7064455 *
宮阪 健夫、外２名: ""高解像度レーザレーダを用いた走行環境における移動物の追跡と識別"", 映像情報インダストリアル, vol. 43, no. 2, JPN6017003884, 1 February 2011 (2011-02-01), JP, pages 61 - 69, ISSN: 0004092132 *
岡田 隆三、外２名: ""オプティカルフローと距離情報の統合による３次元運動する人間の追跡"", 電子情報通信学会技術研究報告, vol. 98, no. 528, JPN6017003885, 22 January 1999 (1999-01-22), JP, pages 9 - 16, ISSN: 0004092133 *

Also Published As

Publication number Publication date
JP6587000B2 (ja) 2019-10-09
EP3410415A4 (en) 2018-12-05
EP3410415A1 (en) 2018-12-05
US10984509B2 (en) 2021-04-20
EP3410415B1 (en) 2020-11-18
WO2017130639A1 (ja) 2017-08-03
US20180330481A1 (en) 2018-11-15

Similar Documents

Publication Publication Date Title
JP6587000B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6657789B2 (ja) 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
JP6702340B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6662388B2 (ja) 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム
JP6705496B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
JP6583527B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6550881B2 (ja) 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム
WO2017145634A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2017162116A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6972797B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム
JPWO2017154389A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP6812701B2 (ja) 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2017211791A (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2018088234A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20180720

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190826

R151 Written notification of patent or utility model registration

Ref document number: 6587000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151