JPWO2017130640A1 - 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム - Google Patents
画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2017130640A1 JPWO2017130640A1 JP2017563753A JP2017563753A JPWO2017130640A1 JP WO2017130640 A1 JPWO2017130640 A1 JP WO2017130640A1 JP 2017563753 A JP2017563753 A JP 2017563753A JP 2017563753 A JP2017563753 A JP 2017563753A JP WO2017130640 A1 JPWO2017130640 A1 JP WO2017130640A1
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- region
- image
- distance
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000003384 imaging method Methods 0.000 title claims description 58
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000009826 distribution Methods 0.000 claims abstract description 45
- 230000008859 change Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 description 109
- 230000008569 process Effects 0.000 description 94
- 230000000875 corresponding effect Effects 0.000 description 81
- 238000001514 detection method Methods 0.000 description 55
- 238000010586 diagram Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 17
- 238000010191 image analysis Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 13
- 238000000926 separation method Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 8
- 238000002372 labelling Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/285—Analysis of motion using a sequence of stereo image pairs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4023—Type large-size vehicles, e.g. trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4026—Cycles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/804—Relative longitudinal speed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Data Mining & Analysis (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Evolutionary Computation (AREA)
- Electromagnetism (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
〈車載機器制御システムの構成〉
図1は、本発明の実施形態に係る移動体機器制御システムとしての車載機器制御システムの構成を示す図である。
図2は、撮像ユニット101及び画像解析ユニット102の構成を示す図である。
図4は、図2における処理ハードウェア部120及び画像解析ユニット102で実現される物体検出処理を行う機能ブロック図である。以下、本実施形態における物体検出処理について説明する。
《平行化画像生成処理》
輝度画像データに対して、まず、平行化画像生成部131で平行化画像生成処理が実行される。この平行化画像生成処理は、撮像部110a,110bにおける光学系の歪みや左右の撮像部110a,110bの相対的な位置関係から、各撮像部110a,110bから出力される輝度画像データ(基準画像と比較画像)を、2つのピンホールカメラが平行に取り付けられたときに得られる理想的な平行化ステレオ画像となるように変換する。これは、各画素での歪み量を、Δx=f(x,y)、Δy=g(x,y)という多項式を用いて計算し、その計算結果を用いて、各撮像部110a,110bから出力される輝度画像データ(基準画像と比較画像)の各画素を変換する。多項式は、例えば、x(画像の横方向位置)、y(画像の縦方向位置)に関する4次多項式を用いる構成としてもよい。また、多項式を用いて各画素での歪み量を計算する代わりに、各画素での歪み量が予め設定されたテーブルを用いて決定する構成としてもよい。
このようにして平行化画像処理を行った後、次に、視差演算部121によって構成される視差画像生成部132において、視差画像データ(視差画像情報)を生成する視差画像生成処理を行う。視差画像生成処理では、まず、2つの撮像部110a,110bのうちの一方の撮像部110aの輝度画像データを基準画像データとし、他方の撮像部110bの輝度画像データを比較画像データとし、これらを用いて両者の視差を演算して、視差画像データを生成して出力する。この視差画像データは、基準画像データ上の各画像部分について算出される視差値dに応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。
視差画像生成処理を行ったら、次に画像解析ユニット102によって構成される視差補間部133において、視差画像補間処理を行う。
視差画像補間処理を行ったら、次に、Vマップ生成部134において、Vマップを生成するVマップ生成処理を実行する。視差画像データに含まれる各視差画素データは、x方向位置とy方向位置と視差値dとの組(x,y,d)で示される。これを、X軸にd、Y軸にy、Z軸に頻度fを設定した三次元座標情報(d,y,f)に変換したもの、又はこの三次元座標情報(d,y,f)から所定の頻度閾値を超える情報に限定した三次元座標情報(d,y,f)を、視差ヒストグラム情報として生成する。本実施形態の視差ヒストグラム情報は、三次元座標情報(d,y,f)からなり、この三次元ヒストグラム情報をX−Yの2次元座標系に分布させたものを、Vマップ(視差ヒストグラムマップ、V-disparity map)と呼ぶ。
次に、本実施形態では、Vマップ生成部134が生成したVマップの情報(視差ヒストグラム情報)から、路面形状検出部135において、自車両100の前方路面の3次元形状を検出する路面形状検出処理が実行される。
次に、路面高さテーブル算出部136において、路面高さ(自車の真下の路面部分に対する相対的な高さ)を算出してテーブル化する路面高さテーブル算出処理を行う。路面形状検出部135により生成されたVマップ上の近似直線の情報から、撮像画像上の各行領域(画像上下方向の各位置)に映し出されている各路面部分までの距離を算出できる。一方、自車の真下に位置する路面部分をその面に平行となるように自車進行方向前方へ延長した仮想平面の自車進行方向における各面部分が、撮像画像中のどの各行領域に映し出されるかは予め決まっており、この仮想平面(基準路面)はVマップ上で直線(基準直線)により表される。路面形状検出部135から出力される近似直線を基準直線と比較することで、自車前方の各路面部分の高さを得ることができる。簡易的には、路面形状検出部135から出力される近似直線上のY軸位置から、これに対応する視差値から求められる距離だけ自車前方に存在する路面部分の高さを算出できる。路面高さテーブル算出部136では、近似直線から得られる各路面部分の高さを、必要な視差範囲についてテーブル化する。
《Uマップ生成処理》
次に、Uマップ生成部137は、Uマップ(U-disparity map)を生成するUマップ生成処理として、頻度Uマップ生成処理及び高さUマップ生成処理を実行する。
次に、リアルUマップ生成部138について説明する。リアルUマップ生成部138では、リアルUマップ(Real U-disparity map)(「分布データ」の一例)を生成するUマップ生成処理として、リアル頻度Uマップ生成処理及びリアル高さUマップ生成処理を実行する。
そのため、ラベリングによるオブジェクト検出を高速に行うことができる。
次に、孤立領域検出部139について説明する。図11は、孤立領域検出部139で行う孤立領域検出処理の流れを示すフローチャートである。孤立領域検出部139では、まずリアルUマップ生成部138で生成されたリアル頻度Uマップの情報の平滑化を行う(ステップS111)。
次に、視差画像の対応領域検出部140及びオブジェクト領域抽出部141について説明する。図12は、孤立領域検出部で検出された孤立領域が内接する矩形領域を設定したリアル頻度Uマップを示す図であり、図13は、図12における矩形領域に対応する走査範囲を設定した視差画像を示す図であり、図14は、図13における走査範囲を探索してオブジェクト領域を設定した視差画像を示す図である。
次に、オブジェクトタイプ分類部142について説明する。
同様に、オブジェクト領域抽出部141で抽出されるオブジェクト領域の幅(xomax−xomin)から、下記の式〔6〕より、そのオブジェクト領域に対応する画像領域に映し出されている識別対象物(オブジェクト)の実際の幅Woを計算できる。
また、当該オブジェクト領域に対応する画像領域に映し出されている識別対象物(オブジェクト)の奥行きDoは、当該オブジェクト領域に対応した孤立領域内の最大視差dmaxと最小視差dminから、下記の式〔7〕より計算することができる。
オブジェクトタイプ分類部142は、このようにして計算できるオブジェクト領域に対応するオブジェクトの高さ、幅、奥行きの情報から、そのオブジェクトタイプの分類を行う。図16に示す表は、オブジェクトタイプの分類を行うためのテーブルデータの一例を示すものである。これによれば、自車両前方に存在する識別対象物(オブジェクト)が、歩行者なのか、自転車なのか、小型車なのか、トラックなどか等を区別して認識することが可能となる。
次に、3次元位置決定部143について説明する。検出されたオブジェクト領域に対応するオブジェクトまでの距離や、視差画像の画像中心と視差画像上のオブジェクト領域の中心との画像上の距離も把握されることから、オブジェクトの3次元位置を決定することができる。
Yo=Z×(region_centerY−image_centerY)/f …式〔9〕
《オブジェクトデータリスト》
次に、オブジェクトトラッキング部144等が使用する、オブジェクトデータリスト146について説明する。オブジェクトデータリスト146は、例えば、オブジェクトデータリスト146により、一のフレームから検出された各オブジェクトを、それ以降の複数のフレームに渡って追跡するために使用される。
次に、オブジェクトトラッキング部144について説明する。オブジェクトトラッキング部144は、オブジェクトデータリスト146を用いて、以前(過去)のフレームの視差画像から検出されたオブジェクト(物体)をトラッキング(追跡)する処理を実行する。
図21のトラッキング処理のステップS1303〜ステップS1305、及び図22の推定トラッキング処理のステップS1404〜ステップS1406では、以下のような処理を行う例について説明した。複数の予測位置に対応する各領域を算出し、複数の予測位置に対応する各領域の画像と、オブジェクトの「画像」の類似度を算出し、各領域のうちで最も高い類似度が所定の閾値以上であるか判断する。
の処理を行う。
第1の実施形態では、図21のトラッキング処理において、オブジェクト領域抽出部141により抽出されたオブジェクトの領域を用いて、トラッキングを行う例について説明した。
次に、図27を参照し、図19のステップS1106の、「トラッキング」状態のオブジェクトをトラッキングする処理の一例について説明する。図27は、第2の実施形態に係るトラッキング処理の一例を示すフローチャートである。
従来、ステレオカメラで追跡している物体に、車のワイパーや、フロントガラスに付着した雨粒が一部重なったため等により、所定のトラッキング継続条件を一時的に満たさなくなったため、当該物体をロストした場合、次の問題がある。ロストした以降のフレームで検出された当該物体が、新規に検出したと判断され、当該物体の相対速度が分からないため、急に飛び出して来たと判断される可能性がある。
100 自車両
101 撮像ユニット
102 画像解析ユニット(「画像処理装置」の一例)
103 表示モニタ
104 車両走行制御ユニット(「制御部」の一例)
110a,110b 撮像部
120 処理ハードウェア部
131 平行化画像生成部
132 視差画像生成部
134 Vマップ生成部
135 路面形状検出部
136 路面高さテーブル算出部
137 Uマップ生成部
138 リアルUマップ生成部(「生成部」の一例)
139 孤立領域検出部
140 対応領域検出部
141 オブジェクト領域抽出部
144 オブジェクトトラッキング部
1441 位置予測部
1442 追跡部
146 オブジェクトデータリスト
2 撮像装置
Claims (13)
- 複数の撮影画像における物体の距離に応じた画素値を有する距離画像に基づいて、前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成する生成部と、
前記生成部により生成された、以前の複数のフレームの距離画像に対する前記分布データに基づいて、今回のフレームの距離画像に対する前記分布データにおける前記物体の予測位置を予測する位置予測部と、
以前のフレームにおける前記物体の領域と、前記予測位置に対する今回のフレームにおける領域との類似度に基づいて、前記物体の追跡を継続する追跡部と、
を備える画像処理装置。 - 前記位置予測部は、前回のフレームの距離画像に対する前記分布データにおける前記物体の位置と、前記物体の自車両に対する相対速度に基づいて、複数の予測位置を予測し、
前記追跡部は、以前のフレームにおける前記物体の領域と、前記複数の予測位置に対する今回のフレームにおける各領域との類似度に基づいて、前記物体の追跡を継続する、
請求項1記載の画像処理装置。 - 前記位置予測部は、前記複数の予測位置の各々に、所定の優先順位を付加し、
前記追跡部は、前記優先順位に従って、前記複数の予測位置のうちの一の予測位置を順に選択し、以前のフレームにおける前記物体の領域と、当該選択した予測位置に対する今回のフレームにおける領域との類似度が所定の閾値以上であれば、当該選択した予測位置に基づいて前記物体の追跡を継続する、
請求項1または2記載の画像処理装置。 - 前記追跡部は、以前のフレームにおける前記物体の領域と、前記予測位置に対する今回のフレームにおける領域との類似度に応じて、前記物体の追跡を継続する以降のフレームの数を決定する、
請求項1乃至3のいずれか一項に記載の画像処理装置。 - 前記追跡部は、前記予測位置と、今回のフレームの距離画像に対する前記分布データにおける前記物体の位置との距離、または、前記予測位置に対する今回のフレームにおける前記物体の領域と、今回のフレームにおける前記物体の領域とが重複する割合に基づいて前記物体を追跡し、当該追跡に失敗した場合、以前のフレームにおける前記物体の領域と、前記予測位置に対応する今回のフレームにおける領域との類似度に基づいて、前記物体の追跡を継続する、
請求項1乃至4のいずれか一項に記載の画像処理装置。 - 前記追跡部は、以前のフレームにおける前記物体の領域と、前記予測位置に対する今回のフレームにおける領域との第1の類似度を算出し、以前のフレームにおける前記物体の領域と、今回のフレームで検出された前記物体の領域との第2の類似度を算出し、前記第1の類似度および前記第2の類似度に基づいて、前記物体の追跡を継続する
ことを特徴とする請求項1乃至5のいずれか一項に記載の画像処理装置。 - 前記追跡部は、前記物体が所定の条件に該当する場合には、以前のフレームにおける前記物体の領域と、前記予測位置に対する今回のフレームにおける領域との第1の類似度を算出し、以前のフレームにおける前記物体の領域と、今回のフレームで検出された前記物体の領域との第2の類似度を算出し、前記第1の類似度および前記第2の類似度に基づいて、前記物体の追跡を継続する
請求項6に記載の画像処理装置。 - 前記追跡部は、以前の所定数のフレームにおける前記物体の領域の位置またはサイズの変動が所定の閾値以下である場合には、以前のフレームにおける前記物体の領域と、前記予測位置に対する今回のフレームにおける領域との第1の類似度を算出し、以前のフレームにおける前記物体の領域と、今回のフレームで検出された前記物体の領域との第2の類似度を算出し、前記第1の類似度および前記第2の類似度に基づいて、前記物体の追跡を継続する
請求項7に記載の画像処理装置。 - 前記追跡部は、画像特徴量に基づいた判定により前記物体の種別が所定の種別であると判定された場合には、以前のフレームにおける前記物体の領域と、前記予測位置に対する今回のフレームにおける領域との第1の類似度を算出し、今回のフレームで検出された前記物体の領域と、以前のフレームから予測した前記物体の領域との第2の類似度を算出し、前記第1の類似度および前記第2の類似度に基づいて、前記物体の追跡を継続する
請求項7に記載の画像処理装置。 - 複数の撮像部と、
前記複数の撮像部により得られた複数の撮影画像から、前記複数の撮影画像における物体の距離に応じた画素値を有する距離画像を生成する距離画像生成部と、
前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成する生成部と、
前記生成部により生成された、以前の複数の距離画像に対する前記分布データに基づいて、今回のフレームの距離画像に対する前記分布データにおける前記物体の予測位置を予測する位置予測部と、
以前のフレームの距離画像における前記物体の領域と、前記予測位置に対する今回のフレームの距離画像における領域との類似度に基づいて、前記物体の追跡を継続する追跡部と、
を備える撮像装置。 - 移動体に搭載され、前記移動体の前方を撮像する複数の撮像部と、
前記複数の撮像部により得られた複数の撮影画像から、前記複数の撮影画像における物体の距離に応じた画素値を有する距離画像を生成する距離画像生成部と、
前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成する生成部と、
前記生成部により生成された、以前の複数の距離画像に対する前記分布データに基づいて、今回のフレームの距離画像に対する前記分布データにおける前記物体の予測位置を予測する位置予測部と、
以前のフレームの距離画像における前記物体の領域と、前記予測位置に対する今回のフレームの距離画像における領域との類似度に基づいて、前記物体の追跡を継続する追跡部と、
前記追跡部による追跡結果に基づいて、前記移動体の制御を行う制御部と、
を備える移動体機器制御システム。 - 画像処理装置が、
複数の撮影画像における物体の距離に応じた画素値を有する距離画像に基づいて、前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成するステップと、
以前の複数の距離画像に対する前記分布データに基づいて、今回のフレームの距離画像に対する前記分布データにおける前記物体の予測位置を予測するステップと、
以前のフレームの距離画像における前記物体の領域と、前記予測位置に対する今回のフレームの距離画像における領域との類似度に基づいて、前記物体の追跡を継続するステップと、
を実行する、画像処理方法。 - 画像処理装置に、
複数の撮影画像における物体の距離に応じた画素値を有する距離画像に基づいて、前記距離画像の水平方向の距離値の頻度分布を示す分布データを生成するステップと、
以前の複数の距離画像に対する前記分布データに基づいて、今回のフレームの距離画像に対する前記分布データにおける前記物体の予測位置を予測するステップと、
以前のフレームの距離画像における前記物体の領域と、前記予測位置に対する今回のフレームの距離画像における領域との類似度に基づいて、前記物体の追跡を継続するステップと、
を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016014594 | 2016-01-28 | ||
JP2016014594 | 2016-01-28 | ||
PCT/JP2017/000044 WO2017130640A1 (ja) | 2016-01-28 | 2017-01-04 | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017130640A1 true JPWO2017130640A1 (ja) | 2018-11-08 |
JP6702340B2 JP6702340B2 (ja) | 2020-06-03 |
Family
ID=59397946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017563753A Active JP6702340B2 (ja) | 2016-01-28 | 2017-01-04 | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11004215B2 (ja) |
EP (1) | EP3410416B1 (ja) |
JP (1) | JP6702340B2 (ja) |
WO (1) | WO2017130640A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10313584B2 (en) | 2017-01-04 | 2019-06-04 | Texas Instruments Incorporated | Rear-stitched view panorama for rear-view visualization |
CN107562805B (zh) * | 2017-08-08 | 2020-04-03 | 浙江大华技术股份有限公司 | 一种以图搜图的方法及装置 |
US10698408B2 (en) | 2018-08-30 | 2020-06-30 | Pony Ai Inc. | Distributed sensing for vehicle navigation |
JP7111586B2 (ja) * | 2018-11-09 | 2022-08-02 | 株式会社Soken | 物体検出装置 |
CN109747644A (zh) * | 2019-03-01 | 2019-05-14 | 广州杰赛科技股份有限公司 | 车辆跟踪防撞预警方法、装置、控制器、系统及车辆 |
CN110108259A (zh) * | 2019-04-18 | 2019-08-09 | 中国科学院地理科学与资源研究所 | 一种野外地物的照片采集装置及信息测算方法 |
CN112419361B (zh) * | 2020-11-20 | 2024-04-05 | 中国科学院上海微系统与信息技术研究所 | 一种目标追踪方法和仿生视觉装置 |
JP2022139951A (ja) * | 2021-03-12 | 2022-09-26 | 本田技研工業株式会社 | 注意喚起システム、及び注意喚起方法 |
JP2022139953A (ja) * | 2021-03-12 | 2022-09-26 | 本田技研工業株式会社 | 注意喚起システム、及び注意喚起方法 |
CN117579819B (zh) * | 2024-01-17 | 2024-03-29 | 哈尔滨学院 | 一种图像通信数字媒体方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009048428A (ja) * | 2007-08-20 | 2009-03-05 | Secom Co Ltd | 移動物体追跡装置 |
JP2014225220A (ja) * | 2013-02-18 | 2014-12-04 | 株式会社リコー | 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム |
JP2015080107A (ja) * | 2013-10-17 | 2015-04-23 | 株式会社熊平製作所 | 移動体表示システムおよび移動体表示プログラム |
JP2015138554A (ja) * | 2014-01-20 | 2015-07-30 | 株式会社リコー | 対象追跡方法及び装置 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004355601A (ja) | 2003-05-07 | 2004-12-16 | Mitsubishi Space Software Kk | 目標追跡装置及び目標追跡方法及びプログラムを記録したコンピュータ読み取り可能な記録媒体及びプログラム |
US7657059B2 (en) * | 2003-08-08 | 2010-02-02 | Lockheed Martin Corporation | Method and apparatus for tracking an object |
JP4368767B2 (ja) * | 2004-09-08 | 2009-11-18 | 独立行政法人産業技術総合研究所 | 異常動作検出装置および異常動作検出方法 |
US7613324B2 (en) * | 2005-06-24 | 2009-11-03 | ObjectVideo, Inc | Detection of change in posture in video |
US8015190B1 (en) * | 2007-03-30 | 2011-09-06 | Google Inc. | Similarity-based searching |
JP4856612B2 (ja) | 2007-10-29 | 2012-01-18 | 富士重工業株式会社 | 物体検出装置 |
US8542951B2 (en) * | 2008-06-04 | 2013-09-24 | National University Corporation Shizuoka University | Image retrieval device and computer program for image retrieval applicable to the image retrieval device |
US8611590B2 (en) * | 2008-12-23 | 2013-12-17 | Canon Kabushiki Kaisha | Video object fragmentation detection and management |
JP5316805B2 (ja) | 2009-03-16 | 2013-10-16 | 株式会社リコー | 車載カメラ装置の画像調整装置及び車載カメラ装置 |
JP5376313B2 (ja) | 2009-09-03 | 2013-12-25 | 株式会社リコー | 画像処理装置及び画像撮像装置 |
WO2011107145A1 (en) * | 2010-03-02 | 2011-09-09 | Brainlab Ag | Tracking representations of indicator body parts |
US8472669B2 (en) * | 2010-03-10 | 2013-06-25 | Texas Instruments Incorporated | Object localization using tracked object trajectories |
JP5851206B2 (ja) * | 2011-11-04 | 2016-02-03 | オリンパス株式会社 | 追尾装置及び追尾方法 |
US8744125B2 (en) * | 2011-12-28 | 2014-06-03 | Pelco, Inc. | Clustering-based object classification |
JP2014115978A (ja) | 2012-11-19 | 2014-06-26 | Ricoh Co Ltd | 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体 |
US20140362225A1 (en) * | 2013-06-11 | 2014-12-11 | Honeywell International Inc. | Video Tagging for Dynamic Tracking |
US9323991B2 (en) * | 2013-11-26 | 2016-04-26 | Xerox Corporation | Method and system for video-based vehicle tracking adaptable to traffic conditions |
US9947077B2 (en) * | 2013-12-31 | 2018-04-17 | Thomson Licensing | Video object tracking in traffic monitoring |
JP6519262B2 (ja) * | 2014-04-10 | 2019-05-29 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
JP2015204561A (ja) * | 2014-04-15 | 2015-11-16 | 株式会社デンソー | 情報提示システム、及び、提示装置 |
JP2016001170A (ja) | 2014-05-19 | 2016-01-07 | 株式会社リコー | 処理装置、処理プログラム、及び、処理方法 |
JP2016001464A (ja) | 2014-05-19 | 2016-01-07 | 株式会社リコー | 処理装置、処理システム、処理プログラム、及び、処理方法 |
JP6417729B2 (ja) | 2014-06-09 | 2018-11-07 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム、視差データの生産方法、機器制御システム |
JP6550881B2 (ja) * | 2014-07-14 | 2019-07-31 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
WO2016017533A1 (ja) * | 2014-07-29 | 2016-02-04 | 国立大学法人浜松医科大学 | 識別装置および識別方法 |
US9726604B2 (en) | 2014-11-12 | 2017-08-08 | Ricoh Company, Ltd. | Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices |
US10786227B2 (en) * | 2014-12-01 | 2020-09-29 | National Institute Of Advanced Industrial Science And Technology | System and method for ultrasound examination |
US10079827B2 (en) | 2015-03-16 | 2018-09-18 | Ricoh Company, Ltd. | Information processing apparatus, information processing method, and information processing system |
JP6534609B2 (ja) * | 2015-12-04 | 2019-06-26 | クラリオン株式会社 | 追跡装置 |
US10140718B2 (en) * | 2016-08-09 | 2018-11-27 | Qualcomm Incorporated | Methods and systems of maintaining object trackers in video analytics |
-
2017
- 2017-01-04 EP EP17743874.4A patent/EP3410416B1/en active Active
- 2017-01-04 JP JP2017563753A patent/JP6702340B2/ja active Active
- 2017-01-04 WO PCT/JP2017/000044 patent/WO2017130640A1/ja active Application Filing
-
2018
- 2018-07-24 US US16/043,857 patent/US11004215B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009048428A (ja) * | 2007-08-20 | 2009-03-05 | Secom Co Ltd | 移動物体追跡装置 |
JP2014225220A (ja) * | 2013-02-18 | 2014-12-04 | 株式会社リコー | 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム |
JP2015080107A (ja) * | 2013-10-17 | 2015-04-23 | 株式会社熊平製作所 | 移動体表示システムおよび移動体表示プログラム |
JP2015138554A (ja) * | 2014-01-20 | 2015-07-30 | 株式会社リコー | 対象追跡方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3410416A4 (en) | 2018-12-05 |
US20180330509A1 (en) | 2018-11-15 |
JP6702340B2 (ja) | 2020-06-03 |
EP3410416B1 (en) | 2021-08-04 |
EP3410416A1 (en) | 2018-12-05 |
US11004215B2 (en) | 2021-05-11 |
WO2017130640A1 (ja) | 2017-08-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6587000B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6702340B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6657789B2 (ja) | 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム | |
JP6662388B2 (ja) | 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム | |
JP6550881B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
JP6583527B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6705496B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム | |
JP2015207281A (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
JP6340850B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
JP6705497B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体 | |
US11691585B2 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
JP2017162116A (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6972797B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム | |
JP6340849B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム | |
JP2018088234A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム | |
JP2018032074A (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6702340 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |