JP5251800B2 - Object tracking device and program - Google Patents
Object tracking device and program Download PDFInfo
- Publication number
- JP5251800B2 JP5251800B2 JP2009214402A JP2009214402A JP5251800B2 JP 5251800 B2 JP5251800 B2 JP 5251800B2 JP 2009214402 A JP2009214402 A JP 2009214402A JP 2009214402 A JP2009214402 A JP 2009214402A JP 5251800 B2 JP5251800 B2 JP 5251800B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- image
- current
- vehicle
- current position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、対象物追跡装置及びプログラムに係り、特に、自車両周辺の対象物を撮像した撮像画像に基づいて、対象物を追跡する対象物追跡装置及びプログラムに関する。 The present invention relates to an object tracking device and a program, and more particularly, to an object tracking device and a program for tracking an object based on a captured image obtained by imaging an object around a host vehicle.
従来より、自車両と歩行者等の対象物との衝突を回避または緩和するために作動する衝突安全システムにおいては、自車両に対する対象物の衝突位置や衝突時の姿勢等の情報が要求されるため、撮像装置で撮像された画像から対象物を検出して追跡することが行われている。 Conventionally, in a collision safety system that operates to avoid or mitigate a collision between an own vehicle and an object such as a pedestrian, information such as the collision position of the object with respect to the own vehicle and the posture at the time of the collision is required. For this reason, it is performed to detect and track an object from an image captured by an imaging device.
例えば、追跡対象の物体が道路面に接する空間点の画像座標内の投影を表す画素を抽出し、道路面内の対応する空間点の運動を、道路面内の空間点の位置と道路面内の関係速度とを成分とする少なくとも４次元の状態ベクトルを使用する状態推定器によって追跡する物体追跡の方法が提案されている（特許文献１参照）。 For example, a pixel representing a projection in the image coordinates of a spatial point where the object to be tracked touches the road surface is extracted, and the movement of the corresponding spatial point in the road surface is determined by the position of the spatial point in the road surface and the road surface. An object tracking method has been proposed in which tracking is performed by a state estimator that uses at least a four-dimensional state vector whose component is a relational velocity of (see Patent Document 1).
また、歩行者を追跡中、その歩行者が見えなくなったとき、手前に障害物があればその後ろに歩行者が隠れたものと判断し、手前に障害物が無い場合には転倒などの事態が発生したものと判断し、さらに、障害物に隠れたり、転倒したりした歩行者についてそれぞれの時系列的な位置情報に基づいて、その後の位置を推定する衝突危険度判定装置が提案されている（特許文献２参照）。 Also, when tracking a pedestrian, if the pedestrian disappears, if there is an obstacle in front, it is judged that the pedestrian has hidden behind it, and if there is no obstacle in front, a situation such as a fall In addition, a collision risk determination device has been proposed that estimates the subsequent position of a pedestrian who is hidden by an obstacle or falls down based on the time-series position information of each pedestrian. (See Patent Document 2).
しかしながら、一般的に撮像装置は車室内などの路面から所定高さの位置に取付けられることが多いため、上記の特許文献１に記載の技術では、自車両の直近に存在する対象物の接地位置（例えば、歩行者の足元位置）が、撮影範囲から外れたり、ボンネット等の自車両の一部により遮られたりした場合には、衝突直前まで対象物を追跡することができない、という問題がある。 However, in general, the imaging apparatus is often mounted at a predetermined height from a road surface such as a vehicle interior. Therefore, in the technique described in Patent Document 1, the grounding position of an object that is present in the immediate vicinity of the host vehicle is used. If the pedestrian's foot position is out of the shooting range or blocked by a part of the vehicle such as a hood, there is a problem that the object cannot be tracked until just before the collision. .
また、上記の特許文献２に記載の技術では、対象物の時系列的な位置情報に基づく予測位置では、高い精度で対象物を追跡することができない、という問題がある。 Further, the technique described in Patent Document 2 has a problem that the target cannot be tracked with high accuracy at the predicted position based on the time-series position information of the target.
本発明は、上記の問題点を解決するためになされたもので、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の路面上の現在位置を推定することができる対象物追跡装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and even when the ground contact position where the object is in contact with the road surface is out of the shooting range or is obstructed, the object is close to the host vehicle. An object of the present invention is to provide an object tracking device and a program that can track an object and accurately estimate the current position on the road surface of the object.
上記目的を達成するために、 路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像して該対象物を含む画像を取得する撮像手段と、前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段と、過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段と、前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段と、前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段と、前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段と、を含んで構成されている。 In order to achieve the above object, the image processing apparatus includes an imaging unit that is attached to a position at a predetermined height from a road surface and that captures an image of an object around the host vehicle and acquires an image including the object, and the speed of the host vehicle. Vehicle motion detection means for detecting a physical quantity related to vehicle motion and outputting vehicle motion information, a position on the road surface of the object obtained from a past image, and the road surface of the object based on the vehicle motion information An object detection unit that predicts the current position on the road surface, detects the object from a position on the current image corresponding to the predicted current position on the road surface, and the object detection unit detects the object The current position on the road surface of the object based on the grounding position on the image and the mounting position of the imaging means on the host vehicle when the grounding position where the object is in contact with the road surface is within the imaging range. The first to estimate A position estimation unit, a position of the object on the road surface obtained from the past image, and an enlargement ratio of the size of the object on the current image with respect to the size of the object on the past image. Second position estimating means for estimating a current position on the road surface of the object, a current position predicted by the object detecting means, a current position estimated by the first position estimating means, and And integrating means for integrating the current position estimated by the second position estimating means.
また、本発明の対象物追跡プログラムは、コンピュータを、路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像する撮像手段で取得された該対象物を含む画像、及び前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段から出力された車両運動情報を取得する取得手段、過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段、前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段、前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段、及び前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段として機能させるためのプログラムである。 In addition, the object tracking program of the present invention is an image including the object acquired by an imaging unit that images a target object around the host vehicle with a computer mounted at a predetermined height from the road surface, and An acquisition means for acquiring vehicle motion information output from a vehicle motion detection means for detecting a physical quantity related to vehicle motion including the speed of the host vehicle and outputting the vehicle motion information, on the road surface of the object obtained from a past image And a current position on the road surface of the object is predicted based on the vehicle movement information, and the object is detected from a position on the current image corresponding to the predicted current position on the road surface. An object detection means for detecting, and when a ground contact position where the object detected by the object detection means is in contact with a road surface is within a photographing range, the ground contact position on the image, and the own vehicle of the image pickup means First position estimating means for estimating a current position on the road surface of the object based on an attachment position to the object, a position on the road surface of the object obtained from the past image, and on the current image A second position estimating means for estimating a current position on the road surface of the object based on an enlargement ratio of the object size with respect to the object size on the past image; and the object detecting means. A program for functioning as an integration unit that integrates a predicted current position, a current position estimated by the first position estimation unit, and a current position estimated by the second position estimation unit.
本発明の対象物追跡装置及びプログラムによれば、路面から所定高さの位置に取付けられた撮像手段が、自車両周辺の対象物を撮像して対象物を含む画像を取得する。また、車両運動検出手段が、自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する。そして、対象物検出手段が、過去の画像から求めた対象物の路面上の位置、及び車両運動情報に基づいて、対象物の路面上での現在位置を予測し、予測した路面上での現在位置に対応する現在の画像上の位置から対象物を検出する。 According to the object tracking device and the program of the present invention, the imaging means attached at a position of a predetermined height from the road surface captures an object around the host vehicle and acquires an image including the object. The vehicle motion detection means detects a physical quantity related to vehicle motion including the speed of the host vehicle and outputs vehicle motion information. Then, the object detection means predicts the current position on the road surface of the object based on the position of the object on the road surface obtained from the past image and the vehicle motion information, and the current position on the predicted road surface An object is detected from a position on the current image corresponding to the position.
そして、第１の位置推定手段が、対象物検出手段で検出された対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における接地位置、及び撮像手段の自車両への取付位置に基づいて、対象物の路面上の現在位置を推定し、第２の位置推定手段が、過去の画像から求めた対象物の路面上の位置、及び現在の画像上の対象物の大きさの過去の画像上の対象物の大きさに対する拡大率に基づいて、対象物の路面上の現在位置を推定し、統合手段が、対象物検出手段で予測された現在位置、第１の位置推定手段で推定された現在位置、及び第２の位置推定手段で推定された現在位置を統合する。 Then, when the ground position where the object detected by the object detection means is in contact with the road surface is within the photographing range, the first position estimation means and the ground position on the image and the imaging means to the host vehicle Based on the mounting position, the current position of the target object on the road surface is estimated, and the second position estimation unit determines the position of the target object on the road surface obtained from the past image and the size of the target object on the current image. The current position on the road surface of the object is estimated based on the enlargement ratio with respect to the size of the object on the past image, and the integration unit predicts the current position and the first position predicted by the object detection unit. The current position estimated by the estimation means and the current position estimated by the second position estimation means are integrated.
このように、接地位置が撮影範囲内に存在する場合には、接地位置に基づいて対象物の現在位置を推定し、接地位置が撮影範囲内に存在しない場合でも、画像上での対象物の拡大率に基づいて対象物の現在位置を推定するため、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の位置を推定することができる。 In this way, when the ground contact position is within the shooting range, the current position of the object is estimated based on the ground contact position, and even if the ground contact position does not exist within the shooting range, the object on the image is estimated. Since the current position of the object is estimated based on the magnification rate, even if the ground contact position where the object is in contact with the road surface is out of the shooting range or obstructed, By tracking, the position of the object can be estimated with high accuracy.
また、前記拡大率を、前記過去の画像から抽出された特徴点の特徴点間の距離と、前記現在の画像から抽出され、かつ前記過去の画像から抽出された特徴点と対応する特徴点の特徴点間の距離との比率、または、前記過去の画像から抽出された複数の特徴点により形成される多角形の面積と、前記現在の画像から抽出され、かつ前記過去の画像から抽出された特徴点と対応する複数の特徴点により形成される多角形の面積との比率とすることができる。このように、特徴点を用いることにより、正確に拡大率を求めることができる。 Further, the enlargement ratio is calculated by calculating the distance between the feature points of the feature points extracted from the past image and the feature points corresponding to the feature points extracted from the current image and extracted from the past image. The ratio between the distances between feature points, or the area of a polygon formed by a plurality of feature points extracted from the past image, extracted from the current image, and extracted from the past image It can be a ratio between the feature point and the area of a polygon formed by a plurality of corresponding feature points. Thus, the enlargement ratio can be accurately obtained by using the feature points.
また、前記第２の位置推定手段は、前記車両運動情報を用いて、前記過去の画像から抽出された特徴点と前記現在の画像から抽出された特徴点との対応付けを行うようにすることができる。これにより、特徴点の対応付けの精度を向上させることができる。 In addition, the second position estimating means associates the feature point extracted from the past image with the feature point extracted from the current image using the vehicle motion information. Can do. Thereby, the accuracy of the feature point association can be improved.
また、前記第２の位置推定手段は、前記現在の画像上での前記対象物のサイズが予め定めた大きさよりも小さい場合には、前記対象物の位置を推定しないようにすることができる。画像上での対象物のサイズが小さい場合には、拡大率の算出に誤差が生じやすく、また特徴点を抽出する場合でも、有効な特徴点の抽出が困難となるため、対象物のサイズが予め定めた大きさよりも小さい場合には、拡大率に基づく対象物の現在位置の推定は行わないようにするものである。 Further, the second position estimating means can prevent the position of the object from being estimated when the size of the object on the current image is smaller than a predetermined size. If the size of the object on the image is small, an error is likely to occur in the calculation of the enlargement ratio, and even when extracting feature points, it is difficult to extract effective feature points. If the size is smaller than the predetermined size, the current position of the object is not estimated based on the enlargement ratio.
また、前記統合手段は、前記第１の位置推定手段による接地位置の検出精度を示す第１の信頼度、及び前記第２の位置推定手段による前記拡大率の算出精度を示す第２の信頼度による重み付けを行って、前記予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合するようにすることができる。これにより、精度の高い統合結果を得ることができる。 In addition, the integration unit has a first reliability indicating the detection accuracy of the ground contact position by the first position estimation unit, and a second reliability indicating the calculation accuracy of the enlargement ratio by the second position estimation unit. The estimated current position, the current position estimated by the first position estimating means, and the current position estimated by the second position estimating means can be integrated. . Thereby, a highly accurate integration result can be obtained.
また、前記統合手段の統合結果を、前記対象物と前記自車両との衝突を回避または緩和するための車両制御を行う車両制御システムへ出力する出力手段を更に含み、前記対象物検出手段は、前記車両制御システムによる車両制御が行われているときに前記過去の画像から抽出された対象物候補のうち、前記車両制御システムでの追跡対象となると判定された対象物候補のみを対象物として検出するようにすることができる。このように、車両制御システムでの追跡対象となる対象物のみを追跡することにより、処理時間を早めて、制御の応答性を向上させることができる。 In addition, it further includes an output unit that outputs an integration result of the integration unit to a vehicle control system that performs vehicle control for avoiding or mitigating a collision between the target object and the host vehicle. Only target candidates determined to be tracked by the vehicle control system among target candidates extracted from the past images when vehicle control is performed by the vehicle control system are detected as targets. To be able to. In this way, by tracking only the object to be tracked in the vehicle control system, the processing time can be shortened and the control responsiveness can be improved.
また、前記車両運動情報、及び前記統合手段の統合結果に基づいて、前記自車両の走行軌跡と前記対象物との位置関係を示す局所地図を生成する局所地図生成手段を更に含んで構成することができる。 And a local map generating unit configured to generate a local map indicating a positional relationship between the traveling locus of the host vehicle and the object based on the vehicle movement information and the integration result of the integrating unit. Can do.
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ＲＯＭであってもよい。また、ＣＤ−ＲＯＭやＤＶＤディスク、光磁気ディスクやＩＣカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。 The storage medium for storing the program of the present invention is not particularly limited, and may be a hard disk or a ROM. Further, it may be a CD-ROM, a DVD disk, a magneto-optical disk or an IC card. Furthermore, the program may be downloaded from a server or the like connected to the network.
以上説明したように、本発明の対象物追跡装置及びプログラムによれば、接地位置が撮影範囲内に存在する場合には、接地位置に基づいて対象物の現在位置を推定し、接地位置が撮影範囲内に存在しない場合でも、画像上での対象物の拡大率に基づいて対象物の現在位置を推定するため、対象物が路面に接する接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の路面上の現在位置を推定することができる、という効果が得られる。 As described above, according to the object tracking device and program of the present invention, when the ground contact position is within the imaging range, the current position of the target object is estimated based on the ground contact position, and the ground contact position is captured. Even if it is not within the range, the current position of the target is estimated based on the magnification rate of the target on the image, so the ground contact position where the target touches the road surface is out of the shooting range or blocked. Even in the case where the vehicle is present, it is possible to track the object up to the nearest vehicle and accurately estimate the current position on the road surface of the object.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、自車両と歩行者との衝突時の衝撃を緩和するために歩行者エアバックのような緩和材を衝突時に作動させる衝突緩和システム（以下、単にシステムともいう）での追跡対象となる歩行者を対象物として追跡する対象物追跡装置に本発明を適用した場合について説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a collision mitigation system (hereinafter also simply referred to as a system) that activates a mitigation material such as a pedestrian airbag in order to mitigate the impact at the time of collision between the host vehicle and the pedestrian. A case will be described in which the present invention is applied to an object tracking device that tracks a pedestrian as a tracking object.
図１に示すように、本実施の形態に係る対象物追跡装置１０は、路面から所定高さの位置で車両（図示省略）に搭載され、かつ、自車両の周辺の対象物を連続して撮像するＣＣＤカメラ等からなる撮像装置１２と、自車両の運動を検出する各種センサからなる車両運動検出部１４と、撮像された撮像画像、取得された車両運動情報に基づいて、対象物である歩行者を追跡する処理を実行するコンピュータ２０とを備えている。 As shown in FIG. 1, an object tracking device 10 according to the present embodiment is mounted on a vehicle (not shown) at a predetermined height from a road surface, and objects around the own vehicle are continuously displayed. It is an object based on an imaging device 12 including a CCD camera for imaging, a vehicle motion detection unit 14 including various sensors for detecting the motion of the host vehicle, a captured image captured, and acquired vehicle motion information. The computer 20 which performs the process which tracks a pedestrian is provided.
撮像装置１２は、自車両の周辺領域を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。なお、撮像装置１２は、台数や画角については特に限定されるものではなく、任意の構成としてよい。また、撮像装置１２によって出力される画像は、濃淡画像及びカラー画像の何れであってもよい。 The imaging device 12 images an area around the host vehicle and generates an image signal (not shown), and an A / D conversion unit that converts an image signal that is an analog signal generated by the imaging unit into a digital signal (Not shown) and an image memory (not shown) for temporarily storing the A / D converted image signal. Note that the number of imaging devices 12 and the angle of view are not particularly limited, and may be any configuration. Further, the image output by the imaging device 12 may be a grayscale image or a color image.
車両運動検出部１４は、ジャイロセンサや車速計などの各種センサから構成され、各種センサの出力値により、自車両の速度、ヨーレート、ピッチ角、及び操舵角等の自車両の車両運動情報を検出する。また、介入制動や操舵支援等の車両運動制御が行われている場合には、その車両制御量を取得するようにしてもよい。 The vehicle motion detection unit 14 includes various sensors such as a gyro sensor and a vehicle speedometer, and detects vehicle motion information of the host vehicle such as the speed, yaw rate, pitch angle, and steering angle of the host vehicle based on output values of the various sensors. To do. Further, when vehicle motion control such as intervention braking or steering assistance is performed, the vehicle control amount may be acquired.
コンピュータ２０は、対象物追跡装置１０全体の制御を司るＣＰＵ、後述する対象物追跡プログラム等各種プログラムを記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成において、各構成要素の機能を実現するためのプログラムを記憶媒体であるＲＯＭに記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。 The computer 20 includes a CPU that controls the entire object tracking device 10, a ROM as a storage medium that stores various programs such as an object tracking program to be described later, a RAM that temporarily stores data as a work area, and a bus that connects these. It is comprised including. In such a configuration, a program for realizing the function of each component is stored in a ROM that is a storage medium, and each function is realized by the CPU executing the program.
このコンピュータ２０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ２０は、衝突緩和システムが作動中か否かを判定するシステム作動判定部２２と、システムが作動中ではない場合に、システムでの追跡対象となる歩行者の判定処理を実行する通常時処理部３０と、システム作動時に追跡対象の歩行者の追跡処理を実行するシステム作動時処理部４０と、を含んだ構成で表すことができる。 If the computer 20 is described with function blocks divided for each function realizing means determined based on hardware and software, as shown in FIG. 1, the computer 20 determines whether or not the collision mitigation system is in operation. A system operation determination unit 22, a normal time processing unit 30 that executes a determination process for a pedestrian to be tracked in the system when the system is not operating, and a tracking process for a pedestrian to be tracked during system operation. And a system operation time processing unit 40 to be executed.
通常時処理部３０は、撮像装置１２で撮像された撮像画像から、歩行者らしい形状の領域を対象物候補として抽出する対象物候補抽出部３２と、対象物候補を様々な姿勢の歩行者画像から構築した学習モデルと照合して評価値を算出する評価値算出部３４と、対象物候補が衝突緩和システムでの追跡対象であるか否かを判定すると共に、システムでの追跡対象であると判定された場合には、その接地位置に基づいて対象物の位置を算出する対象物判定位置算出部３６と、を含んだ構成で表すことができる。 The normal time processing unit 30 extracts an object-shaped candidate extraction unit 32 that extracts a pedestrian-like region from the captured image captured by the imaging device 12 as a target object candidate, and the target object candidates are pedestrian images having various postures. An evaluation value calculation unit 34 for calculating an evaluation value by collating with a learning model constructed from the above, and whether or not the object candidate is a tracking target in the collision mitigation system and being a tracking target in the system When it is determined, it can be expressed by a configuration including an object determination position calculation unit 36 that calculates the position of the object based on the ground contact position.
対象物候補抽出部３２は、撮像画像全体を予め定めた複数種類のサイズの探索ウインドウで各々走査し、探索ウインドウ内の画像が歩行者の形状か否かをパターンマッチング等の処理により判定して、対象物候補を抽出する。なお、画像全体を走査するのではなく、車両運動情報として得られる撮像装置１２の姿勢角等に基づいて、歩行者が存在する可能性が高い範囲を探索範囲として設定した上で、設定された範囲から対象物候補を抽出するようにしてもよい。 The object candidate extraction unit 32 scans the entire captured image with search windows of a plurality of predetermined sizes, and determines whether or not the image in the search window is a pedestrian shape by processing such as pattern matching. Extract object candidates. In addition, the entire image is not scanned, but based on the attitude angle of the imaging device 12 obtained as vehicle motion information, a range in which there is a high possibility that a pedestrian is present is set as a search range. Object candidates may be extracted from the range.
評価値算出部３４は、予め構築された学習モデルを用いて、対象物候補の歩行者らしさを示す評価値を算出する。例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の公知の手法を用いることができる。 The evaluation value calculation unit 34 calculates an evaluation value indicating the pedestrian-likeness of the candidate object using a learning model constructed in advance. For example, a known method such as SVM (Support Vector Machine) can be used.
対象物判定位置算出部３６は、対象物候補抽出部３２で抽出された対象物候補を追跡し、評価値算出部３４で算出された評価値の時系列変化を加味して、システムでの追跡対象か否かを判定する。例えば、システムでの追跡対象となる歩行者の画像の評価値の時系列変化のパターンを予め記憶しておき、このパターンと、対象物候補の評価値の時系列変化のパターンとを比較することで、対象物候補がシステムでの追跡対象となる歩行者か否かを判定する。そして、システムでの追跡対象となる歩行者（対象物）であると判定された場合には、足元が路面に接している接地位置（足元位置）に基づいて、対象物の路面上での位置を算出する。 The object determination position calculation unit 36 tracks the object candidate extracted by the object candidate extraction unit 32, and takes into account the time series change of the evaluation value calculated by the evaluation value calculation unit 34, and is tracked in the system. It is determined whether it is a target. For example, storing a time-series change pattern of the evaluation value of the pedestrian image to be tracked in the system in advance, and comparing this pattern with the time-series change pattern of the evaluation value of the candidate object Thus, it is determined whether the object candidate is a pedestrian to be tracked in the system. And when it determines with it being a pedestrian (object) to be tracked by the system, the position of the object on the road surface based on the ground contact position (foot position) where the foot is in contact with the road surface Is calculated.
具体的には、対象物候補の領域を示す探索ウインドウ内の下側領域に対してパターンマッチングを行って足元位置を検知する。そして、図２に示すように、自車両から歩行者までの路面が局所的に平面であると仮定すると、自車両から歩行者までの距離Ｒについて、（１）式の関係式が成り立つ。 Specifically, pattern matching is performed on the lower region in the search window indicating the region of the candidate object to detect the foot position. As shown in FIG. 2, assuming that the road surface from the host vehicle to the pedestrian is locally a plane, the relational expression (1) is established for the distance R from the host vehicle to the pedestrian.
ただし、Ｈｃは、車両に取り付けられた撮像装置１２の路面からの高さ、θは、撮像装置１２の俯角（撮像装置１２の光軸と水平面のなす角度）、ｙは、撮像画像の横方向をｘ軸、縦方向をｙ軸とした場合の撮像画像上での歩行者の足元位置のｙ座標、ｙｃｅｎｔｅｒは、撮像画像の中心のｙ座標、ｄｙは、ｙ方向の画素間距離、及びｆは、撮像装置１２の焦点距離である。ここで、撮像装置１２は車両に対して固定されているため、撮像装置１２の俯角θ及び高さＨｃは既知となる。従って、撮像画像中で歩行者の足元位置を検知すれば歩行者までの距離Ｒが（１）式より求められる。同様に画像中の歩行者の足元位置のｘ座標に基づいて、歩行者の方位が求められ、距離Ｒと合わせて歩行者の位置を算出できる。 Where Hc is the height from the road surface of the imaging device 12 attached to the vehicle, θ is the depression angle of the imaging device 12 (the angle formed by the optical axis of the imaging device 12 and the horizontal plane), and y is the lateral direction of the captured image. the x-axis, the vertical direction the y coordinate of the pedestrian foot position on the captured image in the case where the y-axis, y center can, y coordinates of the center of the captured image, d y is, y direction of the inter-pixel distance, And f are focal lengths of the imaging device 12. Here, since the imaging device 12 is fixed to the vehicle, the depression angle θ and the height Hc of the imaging device 12 are known. Accordingly, if the foot position of the pedestrian is detected in the captured image, the distance R to the pedestrian can be obtained from the equation (1). Similarly, based on the x-coordinate of the pedestrian's foot position in the image, the pedestrian's orientation is obtained, and the pedestrian's position can be calculated together with the distance R.
なお、上記では俯角θを固定で既知とした場合について説明したが、車両は道路の凹凸や加減速により上下方向にピッチ変動するため、俯角θを固定値として歩行者の位置を推定したのでは、大きな誤差が生じる場合がある。そこで、車両のピッチ変動に対応するため、撮像された画像から道路の白線やガードレール、建物の水平な稜線などを検出して、これらに基づいて俯角θを推定するようにしてもよい。 In the above, the case where the depression angle θ is fixed and known is described. However, since the vehicle fluctuates in the vertical direction due to road unevenness and acceleration / deceleration, the position of the pedestrian is estimated with the depression angle θ as a fixed value. Large errors may occur. Therefore, in order to cope with a change in the pitch of the vehicle, a white line on the road, a guard rail, a horizontal ridge line of the building, and the like may be detected from the captured image, and the depression angle θ may be estimated based on these.
システム作動時処理部４０は、現在の対象物の路面上での位置を予測して、対応する現在の撮像画像上の位置に検出枠を設定することで対象物を検出する対象物検出部４２と、検出枠の下側領域が撮影範囲内か否かを判定する検出枠範囲判定部４４と、検出枠のサイズが予め定めた大きさ以上か否かを判定する検出枠サイズ判定部４６と、検出枠範囲判定部４４で検出枠の下側領域が撮影範囲内であると判定された場合に、検出枠内の画像の足元位置に基づいて、対象物の現在位置を推定する第１の位置推定部４８と、検出サイズ判定部４６で検出枠のサイズが予め定めた大きさ以上であると判定された場合に、過去の撮像画像の対象物の大きさに対する現在の撮像画像の対象物の大きさの拡大率に基づいて、対象物の路面上の現在位置を推定する第２の位置推定部５０と、対象物検出部４２で予測された対象物の現在位置、第１の位置推定部４８で推定された対象物の現在位置、及び第２の位置推定部５０で推定された対象物の現在位置を統合して最終的な対象物の現在位置を示す統合結果を出力する結果統合部５２と、統合結果及び車両運動情報に基づいて、自車両の走行軌跡と対象物との位置関係を示す局所地図を生成する局所地図生成部５４と、を含んだ構成で表すことができる。 The system operation time processing unit 40 predicts the position of the current object on the road surface, and sets the detection frame at the corresponding position on the captured image, thereby detecting the object. A detection frame range determination unit 44 that determines whether or not the lower region of the detection frame is within the shooting range, and a detection frame size determination unit 46 that determines whether or not the size of the detection frame is equal to or larger than a predetermined size. When the detection frame range determination unit 44 determines that the lower area of the detection frame is within the shooting range, the first position for estimating the current position of the object based on the foot position of the image within the detection frame When the position estimation unit 48 and the detection size determination unit 46 determine that the size of the detection frame is equal to or larger than a predetermined size, the target of the current captured image with respect to the size of the target of the past captured image The current position on the road surface of the object is estimated based on the magnification ratio The current position of the object predicted by the second position estimation unit 50, the object detection unit 42, the current position of the object estimated by the first position estimation unit 48, and the second position estimation unit 50. A result integration unit 52 that integrates the current position of the target object estimated in step (b) and outputs an integration result indicating the final current position of the target object, and based on the integration result and the vehicle motion information, It can be expressed by a configuration including a local map generation unit 54 that generates a local map indicating a positional relationship with an object.
対象物検出部４２は、現在の撮像画像の１フレーム前の撮像画像から求めた対象物の路面上の位置、及び車両運動情報を取得し、フレーム間の車両の移動量を算出して、対象物の路面上での現在位置を予測する。なお、ここでは、過去の撮像画像として１フレーム前の撮像画像を用いているが、フレーム間隔が特定されれば、これに限定されるものではない。また、車両運動情報に加えて、それまでの追跡情報や車両制御量を用いてもよい。そして、予測された対象物の路面上の現在位置に対応する現在の撮像画像上の位置に、対象物を囲う検出枠を設定する。検出枠のサイズは、前の撮像画像の検出枠または探索ウインドウのサイズ、及びフレーム間の車両の移動量に基づいて求めたり、予測された対象物の路面上の現在位置に対応する現在の撮像画像上の位置の周辺領域でパターンマッチングを行って、歩行者の形状を識別し、識別された歩行者の形状を囲うようなサイズにしたりする。また、予測された対象物の路面上の現在位置に対応する現在の撮像画像上の位置の周辺領域で、通常時処理部３０の評価値算出部３４と同様の処理により、現在の撮像画像における歩行者の存在を検証すると共に、予測された対象物の路面上での現在位置を修正するようにしてもよい。 The object detection unit 42 acquires the position on the road surface of the object obtained from the captured image one frame before the current captured image and vehicle motion information, calculates the amount of vehicle movement between the frames, and calculates the target Predict the current position of an object on the road. Note that here, the captured image of the previous frame is used as the past captured image, but the present invention is not limited to this as long as the frame interval is specified. In addition to the vehicle movement information, previous tracking information and vehicle control amounts may be used. Then, a detection frame surrounding the object is set at a position on the current captured image corresponding to the predicted current position of the object on the road surface. The size of the detection frame is obtained based on the size of the detection frame or search window of the previous captured image and the amount of movement of the vehicle between the frames, or the current imaging corresponding to the predicted current position on the road surface of the target object Pattern matching is performed in the peripheral region of the position on the image to identify the shape of the pedestrian, and the size is set so as to surround the identified shape of the pedestrian. Further, in the peripheral region around the position on the current captured image corresponding to the current position on the road surface of the predicted object, a process similar to that performed by the evaluation value calculation unit 34 of the normal time processing unit 30 is performed. While verifying the presence of a pedestrian, the current position of the predicted object on the road surface may be corrected.
検出枠範囲判定部４４は、検出枠の下側領域、すなわち歩行者の足元位置が撮影範内か否かを判定する。検出枠の下側領域は、例えば、検出枠の下から１／３の領域のように定めることができる。図３（Ａ）に示すように、撮像装置１２の画角内に足元位置が含まれていない場合や、同図（Ｂ）に示すように、ボンネット等の自車両の一部により足元位置が遮られている場合は、足元位置が撮影範囲に含まれていないと判定される。なお、撮像装置１２の取付位置により、撮像画像上のどの位置にボンネット等が映り込むかということは、事前に把握することができるため、その情報を予め記憶しておくとよい。 The detection frame range determination unit 44 determines whether or not the lower region of the detection frame, that is, the pedestrian's foot position is within the imaging range. The lower region of the detection frame can be determined as, for example, a region 1/3 from the bottom of the detection frame. As shown in FIG. 3 (A), when the foot position is not included in the angle of view of the imaging device 12, or as shown in FIG. If it is blocked, it is determined that the foot position is not included in the shooting range. In addition, since it can be grasped in advance in which position on the captured image the bonnet or the like is reflected depending on the mounting position of the imaging device 12, the information may be stored in advance.
検出枠サイズ判定部４６は、検出枠のサイズが予め定めた大きさより大きいか否かを判定する。後述する第２の位置推定部５０で検出枠内の画像から特徴点を抽出するが、検出枠が小さい場合には、有効な特徴点を抽出することができないため、検出枠のサイズが予め定めた大きさより小さい場合には、第２の位置推定部５０による位置推定処理は行わない。なお、基準となる予め定めた大きさは、撮像装置１２の画素数、追跡対象物のサイズ等に基づいて定めておく。 The detection frame size determination unit 46 determines whether or not the size of the detection frame is larger than a predetermined size. A feature point is extracted from an image in the detection frame by a second position estimation unit 50 described later. However, when the detection frame is small, an effective feature point cannot be extracted. If the size is smaller, the position estimation process by the second position estimation unit 50 is not performed. The predetermined size as a reference is determined based on the number of pixels of the imaging device 12, the size of the tracking target, and the like.
第１の位置推定部４８は、歩行者の足元位置が撮影範囲にある場合に、通常時処理部３０の対象物判定位置算出部３６と同様の処理により、足元位置を用いて対象物の路面上の現在位置を推定する。また、足元位置を検知する際に、歩行者の服装や背景のテクスチャ（色や模様）によって、足元位置の検知の精度は変動する。例えば、図４（Ａ）に示すように、白線上に黒い靴で接地している場合には、足元と路面との境界エッジは明確であり、精度よく足元位置を検知することができる。一方、同図（Ｂ）に示すように、アスファルト上に黒系の色の靴で接地している場合や、同図（Ｃ）に示すように、白線上に白い靴で接地している場合には、足元と路面との境界エッジが明確でなく、正確な足元位置の特定が困難なため、足元位置の検知精度が低下する。 When the pedestrian's foot position is within the shooting range, the first position estimating unit 48 uses the foot position to perform the road surface of the object by the same process as the object determination position calculating unit 36 of the normal time processing unit 30. Estimate the current position above. Also, when detecting the foot position, the accuracy of detecting the foot position varies depending on the clothes of the pedestrian and the texture (color or pattern) of the background. For example, as shown in FIG. 4A, when a black shoe is grounded on a white line, the boundary edge between the foot and the road surface is clear, and the foot position can be detected with high accuracy. On the other hand, as shown in the figure (B), when grounded with black-colored shoes on asphalt, or when grounded with white shoes on the white line as shown in (C) In this case, the boundary edge between the foot and the road surface is not clear, and it is difficult to accurately identify the foot position, so that the detection accuracy of the foot position is lowered.
そこで、足元位置の検知精度に対する第１の信頼度ｗＬを算出する。第１の信頼度の指標としては、例えば、足元位置のエッジ強度Ｌ、足元位置のエッジ強度の分散値（エッジの太さ）σＬ、及び予測位置からのずれ量Δｒを用いることができる。例えば、下記（２）式のように、エッジ強度Ｌが強いほど、エッジ強度の分散値σＬが小さいほど、予測位置からのずれ量Δｒが少ないほど値が大きくなる信頼度ｗＬを実験的に設定する。 Therefore, the first reliability w L for the detection accuracy of the foot position is calculated. As the first reliability index, for example, the edge strength L at the foot position, the variance value (edge thickness) σ L of the edge strength at the foot position, and the shift amount Δr from the predicted position can be used. For example, as shown in the following equation (2), the reliability w L that increases as the edge strength L increases, the edge strength variance σL decreases, and the shift amount Δr from the predicted position decreases, experimentally. Set.
また、それぞれの指標に対する閾値を設定して、それぞれの指標と閾値との比較から予め定めた信頼度を選択するようにしてもよい。 Further, a threshold value for each index may be set, and a predetermined reliability may be selected from a comparison between each index and the threshold value.
第２の位置推定部５０は、現在の撮像画像の検出枠内、及び１フレーム前の撮像画像の検出枠内または探索ウインドウ内の画像から特徴点を抽出する。特徴点としては、例えば、エッジ点や、複数のエッジが交わるコーナー点を利用したり、色情報が取得できる場合であれば、色情報の変化点を利用したりすることができる。抽出された特徴点をフレーム間で対応付け、１フレーム前の撮像画像から抽出された特徴点の任意の特徴点間の距離と、その特徴点に対応する現在の撮像画像から抽出された特徴点の特徴点間の距離との比率に基づいて、対象物の路面上の現在位置を推定する。 The second position estimation unit 50 extracts feature points from the image within the detection frame of the current captured image and the image within the detection frame of the captured image one frame before or the search window. As the feature point, for example, an edge point, a corner point where a plurality of edges intersect, or a change point of color information can be used if color information can be acquired. The feature points extracted from the current captured image corresponding to the distance between arbitrary feature points of the feature points extracted from the captured image of the previous frame, and the feature points extracted from the captured image of the previous frame The current position on the road surface of the object is estimated based on the ratio to the distance between the feature points.
具体的には、図５（Ａ）に示すように、１フレーム前の撮像画像から抽出された複数の特徴点から特徴点Ｐ１及び特徴点Ｐ２を選択して、特徴点Ｐ１と特徴点Ｐ２との間の距離Ｌ１を求める。また、同図（Ｂ）に示すように、現在の撮像画像から抽出された複数の特徴点から、１フレーム前の撮像画像の特徴点Ｐ１及び特徴点Ｐ２に対応する特徴点Ｐ１’及び特徴点Ｐ２’を選択して、特徴点Ｐ１’と特徴点Ｐ２’との間の距離Ｌ２を求める。そして、図６に示すように、Ｌ１及びＬ２に対応する実空間上の距離をＳとすると、下記（３）式の関係が成立し、（３）式を整理して、下記（４）式の関係が導出される。 Specifically, as shown in FIG. 5A, a feature point P1 and a feature point P2 are selected from a plurality of feature points extracted from the captured image of the previous frame, and the feature points P1 and P2 are selected. It obtains a distance L 1 between. Also, as shown in FIG. 5B, from a plurality of feature points extracted from the current captured image, a feature point P1 ′ and a feature point corresponding to the feature point P1 and the feature point P2 of the captured image one frame before 'select, feature points P1' P2 obtains the distance L 2 between the characteristic points P2 'and. Then, as shown in FIG. 6, when the distance in the real space corresponding to L 1 and L 2 is S, the relationship of the following equation (3) is established. ) Is derived.
ただし、ｚ１は、１フレーム前の撮像画像から推定された対象物までの距離、ｚ２は、現在の撮像画像から推定すべき対象物までの距離、及びｆは、撮像装置１２の焦点距離である。すなわち、１フレーム前の撮像画像から推定された対象物までの距離ｚ１に、１フレーム前の撮像画像から抽出された特徴点の特徴点間の距離に対する現在の画像から抽出された特徴点の特徴点間の距離の拡大率を乗算することにより、現在の対象物までの距離ｚ２を推定することができる。そして、検出枠内の任意の位置のｘ座標に基づいて、対象物の方位を推定し、推定された距離ｚ２と合わせて、対象物の路面上の推定位置とする。 However, z 1 is 1 frame distance from the previous captured image to the estimated object, z 2 is the distance to the object to be estimated from the current captured image, and f is the focal length of the imaging device 12 It is. In other words, the distance z 1 from the captured image of the previous frame to the estimated object is the distance between the feature points of the feature point extracted from the captured image of the previous frame and the feature point extracted from the current image. by multiplying the magnification of the distance between the feature points, it is possible to estimate the distance z 2 to the current object. Then, based on the x-coordinate of an arbitrary position in the detection frame, estimating the azimuth of the target, together with the distance z 2 estimated, the estimated position on the road surface of the object.
また、本実施の形態のように、対象物が自車両に比べて移動速度の遅い歩行者のような場合には、フレーム間における相対距離の変化分ΔＲは、自車両の移動量と考えることができる。従って、フレーム間の自車両の移動量を取得できれば、下記（５）式に示すように、１フレーム前の撮像画像から推定された対象物までの距離ｚ１を用いることなく、現在の対象物までの距離ｚ２を推定することができる。 Further, when the object is a pedestrian whose movement speed is slower than that of the own vehicle as in the present embodiment, the change ΔR in the relative distance between frames is considered as the amount of movement of the own vehicle. Can do. Therefore, if the amount of movement of the host vehicle between frames can be acquired, the current object can be obtained without using the distance z 1 to the object estimated from the captured image one frame before, as shown in the following equation (5). it is possible to estimate the distance z 2 to.
なお、上記では、任意の特徴点２点の距離を用いる場合について説明したが、複数の特徴点の組合せから計算した距離の比を平均化したり、３点以上の特徴点で構成される多角形の面積比に基づいて拡大率を計算したりしてもよい。また、複数の特徴点の組合せのうち他の結果との差が大きいものを除いたり、検出枠内の中心に近いほど大きい重みを与えて重み付き平均を計算したりしてもよい。 In addition, although the case where the distance of two arbitrary feature points was used was demonstrated above, the ratio of the distance calculated from the combination of several feature points is averaged, or the polygon comprised by three or more feature points The enlargement ratio may be calculated based on the area ratio. Also, a combination of a plurality of feature points may be removed, or the weighted average may be calculated by giving a larger weight as the distance from the center of the detection frame is closer.
また、第１の位置推定部４８で第１の信頼度ｗＬを算出したのと同様に、第２の位置推定部５０でも、拡大率の算出精度に対する第２の信頼度ｗＳを算出する。第２の信頼度ｗＳの指標としては、例えば、特徴点の組合せを変えた場合の拡大率の分散値σＳ、特徴点間の距離の平均値μＳ、及び予測位置からのずれ量Δｒを用いることができる。例えば、下記（６）式のように、拡大率の分散値σＳが小さいほど、特徴点間の距離の平均値μＳが大きいほど、予測位置からのずれ量Δｒが少ないほど値が大きくなる信頼度ｗＳを実験的に設定する。 Similarly to the calculation of the first reliability w L by the first position estimation unit 48, the second position estimation unit 50 also calculates the second reliability w S for the calculation accuracy of the enlargement ratio. . As an index of the second reliability w S , for example, the variance value σ S of the enlargement ratio when the combination of the feature points is changed, the average value μ S of the distance between the feature points, and the deviation amount Δr from the predicted position Can be used. For example, as shown in the following equation (6), the value increases as the variance value σ S of the enlargement ratio decreases, the average value μ S of the distance between feature points increases, and the amount of deviation Δr from the predicted position decreases. The reliability w S is set experimentally.
また、それぞれの指標に対する閾値を設定して、それぞれの指標と閾値との比較から予め定めた信頼度を選択するようにしてもよい。 Further, a threshold value for each index may be set, and a predetermined reliability may be selected from a comparison between each index and the threshold value.
結果統合部５２は、対象物検出部４２で予測された対象物の現在位置、第１の位置推定部４８で推定された対象物の現在位置、及び第２の位置推定部５０で推定された対象物の現在位置を統合して、最終的な対象物の路面上の現在位置を推定する。図７に示すように、検出枠の下側領域が撮影範囲内か否か、及び検出枠のサイズが予め定めた大きさより大きいか否かにより、得られる推定位置が下記（ｉ）〜（ｉｖ）のように異なる。 The result integrating unit 52 estimates the current position of the object predicted by the object detecting unit 42, the current position of the object estimated by the first position estimating unit 48, and the second position estimating unit 50. The current position on the road surface of the final target object is estimated by integrating the current position of the target object. As shown in FIG. 7, the estimated positions to be obtained depend on whether the lower area of the detection frame is within the imaging range and whether the size of the detection frame is larger than a predetermined size, as shown in (i) to (iv) below. ) Is different.
（ｉ）検出枠の下側が撮影範囲内で、サイズが予め定めた大きさより大きい場合
・対象物検出部４２により予測された現在位置
・第１の位置推定部４８により推定された足元位置に基づく推定位置
・第２の位置推定部５０により推定された拡大率に基づく推定位置
（ｉｉ）検出枠の下側が撮影範囲内で、サイズが予め定めた大きさより小さい場合
・対象物検出部４２により予測された現在位置
・第１の位置推定部４８により推定された足元位置に基づく推定位置
（ｉｉｉ）検出枠の下側が撮影範囲外で、サイズが予め定めた大きさより大きい場合
・対象物検出部４２により予測された現在位置
・第２の位置推定部５０により推定された拡大率に基づく推定位置
（ｉｖ）検出枠の下側が撮影範囲外で、サイズが予め定めた大きさより小さい場合
・対象物検出部４２により予測された現在位置
そこで、（ｉ）〜（ｉｖ）のそれぞれの場合に応じて、第１の信頼度ｗＬ、及び第２の信頼度ｗＳを用いて推定位置を統合する。
(I) When the lower side of the detection frame is within the photographing range and the size is larger than the predetermined size. Current position predicted by the object detection unit 42 Based on the foot position estimated by the first position estimation unit 48 Estimated position-Estimated position based on the enlargement factor estimated by the second position estimation unit 50 (ii) When the lower side of the detection frame is within the shooting range and the size is smaller than a predetermined size-Predicted by the object detection unit 42 The current position that has been determined. The estimated position based on the foot position estimated by the first position estimating unit 48. (iii) The lower side of the detection frame is outside the imaging range and the size is larger than the predetermined size. The estimated position based on the enlargement rate estimated by the second position estimating unit 50 (iv) The lower side of the detection frame is outside the shooting range and the size is smaller than a predetermined size -Current position predicted by the object detection unit 42 Therefore, according to each case of (i) to (iv), the first reliability w L and the second reliability w S are used. Integrate estimated locations.
（ｉ）の場合は、第１の位置推定部４８による足元位置に基づく推定位置ＲＬと、第２の位置推定部５０による拡大率に基づく推定位置ＲＳとを、第１の信頼度ｗＬ、及び第２の信頼度ｗＳを用いて、下記（７）式のように統合する。 In the case of (i), the estimated position R L based on the foot position by the first position estimating unit 48 and the estimated position R S based on the enlargement ratio by the second position estimating unit 50 are used as the first reliability w. Using L 2 and the second reliability w S , integration is performed as in the following equation (7).
また、対象物検出部４２による予測位置に対する重みを設定して、（７）式に予測位置の項を追加してもよい。また、各信頼度を予め定めた閾値と比較して、各信頼度が予め定めた閾値より大きい場合に、対応する推定位置を利用するようにしてもよい。 Moreover, the weight with respect to the prediction position by the target object detection part 42 may be set, and the term of a prediction position may be added to (7) Formula. Further, each reliability may be compared with a predetermined threshold, and when each reliability is larger than a predetermined threshold, a corresponding estimated position may be used.
（ｉｉ）の場合は、対象物検出部４２による予測位置ＲＰと、第１の位置推定部４８による足元位置に基づく推定位置ＲＬとを、第１の信頼度ｗＬを用いて、下記（８）式のように統合する。 For (ii), the predicted position R P by the object detection unit 42, the estimated position R L based on the foot position of the first position estimator 48, using the first reliability w L, the following Integrate as shown in equation (8).
Ｒ＝ＲＬｗＬ＋ＲＰ（１−ｗＬ） （８） R = R L w L + R P (1−w L ) (8)
また、第１の信頼度ｗＬに応じて、下記（９）式のように閾値処理してもよい。 Further, according to the first reliability w L, it may be thresholded as follows (9).
（ｉｉｉ）の場合は、第１の位置推定部４８による足元位置に基づく推定位置ＲＬを、第２の位置推定部５０による特徴点間の距離の拡大率に基づく推定位置ＲＳに置き換えて、（ｉｉ）の場合と同様に統合する。 In the case of (iii), the estimated position R L based on the foot position by the first position estimating unit 48 is replaced with the estimated position R S based on the enlargement rate of the distance between feature points by the second position estimating unit 50. , (Ii).
（ｉｖ）の場合は、対象物検出部４２による予測位置ＲＰをそのまま最終的な対象物の推定位置とする。 For (iv), the estimated position of the intact final object predicted position R P by the object detection unit 42.
次に、本実施の形態の対象物追跡装置１０の作用について説明する。撮像装置１２によって、自車両前方の連続撮像が開始されると、コンピュータ２０において、図８に示す対象物追跡処理ルーチンが実行される。 Next, the operation of the object tracking device 10 of the present embodiment will be described. When continuous imaging in front of the host vehicle is started by the imaging device 12, the object tracking processing routine shown in FIG.
ステップ１００で、撮像装置１２で撮像された撮像画像を取得する。また、撮像画像が撮像されたタイミングに同期して、車両運動検出部１４の各種センサによって検出された車両運動情報を取得する。 In step 100, a captured image captured by the imaging device 12 is acquired. In addition, vehicle motion information detected by various sensors of the vehicle motion detection unit 14 is acquired in synchronization with the timing at which the captured image is captured.
次に、ステップ１０２で、現在、衝突緩和システムが作動中か否かを判定する。システム作動中の場合には、ステップ１０４へ移行して、後述するシステム作動時の処理を実行する。一方、システム作動中ではない場合には、ステップ１０６へ移行して、後述する通常時の処理を実行する。 Next, in step 102, it is determined whether the collision mitigation system is currently operating. If the system is in operation, the process proceeds to step 104 to execute processing at the time of system operation described later. On the other hand, if the system is not operating, the process proceeds to step 106, and normal processing described later is executed.
ここで、図９を参照して、対象物追跡処理（図８）のステップ１０６で実行される通常時の処理ルーチンについて説明する。 Here, with reference to FIG. 9, a normal processing routine executed in step 106 of the object tracking process (FIG. 8) will be described.
ステップ１２０で、取得された撮像画像に対して、予め定めたサイズの探索ウインドウで走査し、探索ウインドウ内の画像が歩行者の形状か否かをパターンマッチング等により判定し、マッチングした画像を対象物候補として抽出する。 In step 120, the acquired captured image is scanned in a search window of a predetermined size, and it is determined by pattern matching or the like whether the image in the search window is a pedestrian shape, and the matched image is a target. Extract as an object candidate.
次に、ステップ１２２で、例えば、ＳＶＭ等の手法により、予め構築された学習モデルを用いて、対象物候補の歩行者らしさを示す評価値を算出する。 Next, in step 122, for example, an evaluation value indicating the pedestrian-likeness of the object candidate is calculated by using a learning model constructed in advance by a technique such as SVM.
次に、ステップ１２４で、上記ステップ１２０で抽出された対象物候補と、過去に抽出された対象物候補とを対応付けることにより対象物候補を追跡し、上記ステップ１２２で算出された評価値の時系列変化を加味して、対象物候補がシステムでの追跡対象か否かを判定する。システムでの追跡対象であると判定された場合には、ステップ１２６へ移行して、対象物である歩行者の足元位置に基づいて、対象物の路面上での現在位置を算出して、リターンする。一方、システムでの追跡対象でないと判定された場合には、そのままリターンする。 Next, in step 124, the candidate object is tracked by associating the candidate object extracted in step 120 with the candidate object extracted in the past, and the evaluation value calculated in step 122 is obtained. In consideration of the series change, it is determined whether the object candidate is a tracking target in the system. If it is determined that the object is a tracking target in the system, the process proceeds to step 126, where the current position on the road surface of the target object is calculated based on the position of the foot of the target pedestrian, and the return. To do. On the other hand, if it is determined that it is not a tracking target in the system, the process directly returns.
次に、図１０を参照して、対象物追跡処理（図８）のステップ１０４で実行されるシステム作動時の処理ルーチンについて説明する。 Next, with reference to FIG. 10, the processing routine at the time of system operation executed in step 104 of the object tracking process (FIG. 8) will be described.
ステップ１４０で、１フレーム前の撮像画像から求めた対象物の路面上の位置を取得する。具体的には、本ステップが本ルーチンにおける１回目の処理の場合には、通常時の処理（図９）のステップ１２６で算出された位置を取得し、２回目移行の処理の場合には、後述するステップ１５６で統合された推定位置を取得する。 In step 140, the position on the road surface of the object obtained from the captured image one frame before is acquired. Specifically, when this step is the first processing in this routine, the position calculated in step 126 of the normal processing (FIG. 9) is acquired, and in the case of the second transition processing, The estimated position integrated in step 156 described later is acquired.
次に、ステップ１４２で、対象物追跡処理（図８）のステップ１００で取得した車両運動情報に基づいて、フレーム間の車両の移動量を算出して、取得した前回位置、及び車両の移動量に基づいて、対象物の路面上での現在位置を予測する。そして、予測された現在位置に対応する現在の撮像画像上での位置に、対象物を囲う検出枠を設定する。 Next, in step 142, the movement amount of the vehicle between frames is calculated based on the vehicle movement information acquired in step 100 of the object tracking process (FIG. 8), and the acquired previous position and the movement amount of the vehicle are calculated. Based on the above, the current position on the road surface of the object is predicted. Then, a detection frame that surrounds the object is set at a position on the current captured image corresponding to the predicted current position.
次に、ステップ１４４で、検出枠の下側領域、すなわち歩行者の足元位置が撮影範囲内か否かを判定する。撮影範囲内の場合には、ステップ１４６へ移行し、撮影範囲外の場合には、ステップ１５２へ移行する。 Next, in step 144, it is determined whether or not the lower area of the detection frame, that is, the pedestrian's foot position is within the imaging range. If it is within the shooting range, the process proceeds to step 146. If it is outside the shooting range, the process proceeds to step 152.
ステップ１４６では、検出枠のサイズが予め定めた大きさより大きいか否かを判定する。大きい場合には、ステップ１４８へ移行し、小さい場合には、ステップ１５０へ移行する。 In step 146, it is determined whether or not the size of the detection frame is larger than a predetermined size. If larger, the process proceeds to step 148, and if smaller, the process proceeds to step 150.
ステップ１４８では、上記（ｉ）の場合に該当するため、（１）式に従って足元位置に基づく推定位置ＲＬを推定すると共に、（２）式に従って第１の信頼度ｗＬを算出する。また、（４）式または（５）式に従って拡大率に基づく推定位置ＲＳを推定すると共に、（６）式に従って第２の信頼度ｗＳを算出する。 In step 148, for the case for the (i), (1) as well as estimating the estimated position R L based on the foot position according to equation calculates a first reliability w L according (2). In addition, the estimated position R S based on the enlargement ratio is estimated according to the equation (4) or (5), and the second reliability w S is calculated according to the equation (6).
ステップ１５０では、上記（ｉｉ）の場合に該当するため、（１）式に従って足元位置に基づく推定位置ＲＬを推定すると共に、（２）式に従って第１の信頼度ｗＬを算出する。 In step 150, for the case for the (ii), (1) as well as estimating the estimated position R L based on the foot position according to equation calculates a first reliability w L according (2).
一方、上記ステップ１４４で検出枠の下側領域が撮影範囲外であると判定されてステップ１５２へ移行した場合には、検出枠のサイズが予め定めた大きさより大きいか否かを判定する。大きい場合には、ステップ１５４へ移行し、小さい場合には、ステップ１５６へ移行する。 On the other hand, when it is determined in step 144 that the lower area of the detection frame is outside the imaging range and the process proceeds to step 152, it is determined whether or not the size of the detection frame is larger than a predetermined size. If it is larger, the process proceeds to step 154, and if it is smaller, the process proceeds to step 156.
ステップ１５４では、上記（ｉｉｉ）の場合に該当するため、（４）式または（５）式に従って拡大率に基づく推定位置ＲＳを推定すると共に、（６）式に従って第２の信頼度ｗＳを算出する。 In step 154, since it corresponds to the case of (iii), the estimated position R S based on the enlargement ratio is estimated according to the equation (4) or (5), and the second reliability w S according to the equation (6). Is calculated.
なお、上記ステップ１５２で否定された場合は、上記（ｉｖ）の場合に該当する。 Note that the negative result in step 152 corresponds to the case of (iv) above.
次に、ステップ１５６で、上記ステップ１４２で予測された現在位置と、上記ステップ１４８、１５０、１５４の各々で推定された推定位置とを統合する。具体的には、上記ステップ１４８から移行した場合には、足元位置に基づく推定位置ＲＬと、拡大率に基づく推定位置ＲＳとを、第１の信頼度ｗＬ、及び第２の信頼度ｗＳを用いて、（７）式に従って統合する。ステップ１５０から移行した場合は、上記ステップ１４２で予測した予測位置ＲＰと、足元位置に基づく推定位置ＲＬとを、第１の信頼度ｗＬを用いて、（８）式に従って統合する。ステップ１５４から移行した場合は、上記ステップ１４２で予測した予測位置ＲＰと、拡大率に基づく推定位置ＲＳとを、第２の信頼度ｗＳを用いて、（８）式のＲＬをＲＳに置き換えた式に従って統合する。上記ステップ１５２で否定されて移行した場合には、予測位置ＲＰをそのまま最終的な対象物の路面上の位置として推定する。 Next, in Step 156, the current position predicted in Step 142 and the estimated position estimated in Steps 148, 150, and 154 are integrated. Specifically, when the process proceeds from step 148, the estimated position R L based on the foot position and the estimated position R S based on the enlargement ratio are set to the first reliability w L and the second reliability. Using w S , integration is performed according to equation (7). When the process proceeds from step 150, the predicted position R P predicted in step 142, the estimated position R L based on the foot position, by using the first reliability w L, integrate according to (8). When the process proceeds from step 154, the predicted position R P predicted in step 142, the estimated position R S based on magnification, by using the second reliability w S, the R L of formula (8) Integrate according to the formula replaced with RS . If the routine moves denied at step 152, a predicted position R P as the position on the road surface as the final object.
次に、ステップ１５８で、上記ステップ１５６での統合結果、及び車両運動情報に基づいて、自車両の走行軌跡と対象物との位置関係を示す局所地図を生成する。 Next, in step 158, a local map indicating the positional relationship between the traveling locus of the host vehicle and the object is generated based on the integration result in step 156 and the vehicle motion information.
走行中に、以上のような対象物追跡処理ルーチンが、撮像装置１２で撮像された撮像画像が入力される毎に繰り返し実行されることにより、対象物の追跡が行われ、推定された現在位置に基づいて、衝突緩和システムが作動する。 While traveling, the object tracking processing routine as described above is repeatedly executed each time a captured image captured by the imaging device 12 is input, thereby tracking the object and estimating the current position. Based on this, the collision mitigation system is activated.
以上説明したように、本実施の形態の対象物追跡装置によれば、接地位置が撮影範囲内に存在する場合には、接地位置に基づいて対象物の路面上の現在位置を推定し、接地位置が撮影範囲内に存在しない場合でも、画像上での対象物の拡大率に基づいて対象物の路面上での現在位置を推定するため、接地位置が撮影範囲から外れたり、遮られたりしている場合であっても、自車両の直近まで対象物を追跡して、精度よく対象物の現在位置を推定することができる。 As described above, according to the object tracking device of the present embodiment, when the ground contact position is within the imaging range, the current position on the road surface of the target object is estimated based on the ground contact position, and the ground contact position is determined. Even if the position does not exist within the shooting range, the current position on the road surface of the object is estimated based on the magnification of the object on the image, so the grounding position may be out of the shooting range or blocked. Even if it is, the target object can be traced to the closest position of the host vehicle and the current position of the target object can be estimated with high accuracy.
なお、上記の実施の形態では、検出枠のサイズが予め定めた大きさより大きければ、拡大率に基づく現在位置の推定を行う場合について説明したが、足元位置に基づいて対象物の現在位置を推定できる場合には、その推定結果を優先させて、拡大率に基づく現在位置の推定は省略するようにしてもよい。 In the above embodiment, the case where the current position is estimated based on the enlargement ratio if the size of the detection frame is larger than the predetermined size has been described. However, the current position of the object is estimated based on the foot position. If possible, the estimation result may be prioritized and estimation of the current position based on the enlargement ratio may be omitted.
また、上記実施の形態では、衝突緩和システムでの追跡対象となる対象物を追跡する場合について説明したが、介入制動や操舵支援等により車両と対象物との衝突を回避するような衝突回避システムに適用してもよい。また、対象物も歩行者に限らず、他車両や自転車等であってもよい。 In the above-described embodiment, the case of tracking an object to be tracked in the collision mitigation system has been described. However, a collision avoidance system that avoids a collision between the vehicle and the object by intervention braking, steering assistance, or the like. You may apply to. Further, the object is not limited to a pedestrian, but may be another vehicle, a bicycle, or the like.
１０ 対象物追跡装置
１２ 撮像装置
１４ 車両運動検出部
２０ コンピュータ
２２ システム作動判定部
３０ 通常時処理部
４０ システム作動時処理部
４２ 対象物検出部
４４ 検出枠範囲判定部
４６ 検出枠サイズ判定部
４８ 第１の位置推定部
５０ 第２の位置推定部
５２ 結果統合部
５４ 局所地図生成部
DESCRIPTION OF SYMBOLS 10 Object tracking device 12 Imaging device 14 Vehicle motion detection part 20 Computer 22 System operation | movement determination part 30 Normal time processing part 40 System operation time processing part 42 Object detection part 44 Detection frame range determination part 46 Detection frame size determination part 48 1 position estimating unit 50 second position estimating unit 52 result integrating unit 54 local map generating unit
Claims (9)
前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段と、
過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段と、
前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段と、
前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段と、
前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段と、
を含む対象物追跡装置。 An imaging means attached to a position at a predetermined height from the road surface, imaging an object around the host vehicle and acquiring an image including the object;
Vehicle motion detection means for detecting a physical quantity related to vehicle motion including the speed of the host vehicle and outputting vehicle motion information;
Based on the position of the object on the road surface obtained from the past image and the vehicle motion information, the current position on the road surface of the object is predicted and corresponds to the predicted current position on the road surface. Object detection means for detecting the object from a position on a current image;
Based on the grounding position on the image and the mounting position of the imaging unit on the host vehicle when the grounding position where the target object detected by the target object detection unit is in contact with the road surface is within the imaging range. First position estimating means for estimating a current position on the road surface of the object;
Based on the position on the road surface of the object obtained from the past image and the enlargement ratio of the size of the object on the current image with respect to the size of the object on the past image, the object Second position estimating means for estimating a current position on the road surface of
Integration means for integrating the current position predicted by the object detection means, the current position estimated by the first position estimation means, and the current position estimated by the second position estimation means;
Including object tracking device.
前記対象物検出手段は、前記車両制御システムによる車両制御が行われているときに前記過去の画像から抽出された対象物候補のうち、前記車両制御システムでの追跡対象となると判定された対象物候補のみを対象物として検出する請求項１〜請求項５のいずれか１項記載の対象物追跡装置。 An output means for outputting the integration result of the integration means to a vehicle control system that performs vehicle control for avoiding or mitigating a collision between the object and the host vehicle;
The object detection means is an object determined to be a tracking object in the vehicle control system among candidate objects extracted from the past images when vehicle control is performed by the vehicle control system. The object tracking device according to claim 1, wherein only the candidate is detected as an object.
路面から所定高さの位置に取付けられて、自車両周辺の対象物を撮像する撮像手段で取得された該対象物を含む画像、及び前記自車両の速度を含む車両運動に関する物理量を検出して、車両運動情報を出力する車両運動検出手段から出力された車両運動情報を取得する取得手段、
過去の画像から求めた前記対象物の路面上の位置、及び前記車両運動情報に基づいて、前記対象物の路面上での現在位置を予測し、予測した前記路面上での現在位置に対応する現在の画像上の位置から前記対象物を検出する対象物検出手段、
前記対象物検出手段で検出された前記対象物が路面に接する接地位置が撮影範囲内に存在する場合に、画像上における前記接地位置、及び前記撮像手段の前記自車両への取付位置に基づいて、前記対象物の路面上の現在位置を推定する第１の位置推定手段、
前記過去の画像から求めた前記対象物の路面上の位置、及び前記現在の画像上の対象物の大きさの前記過去の画像上の対象物の大きさに対する拡大率に基づいて、前記対象物の路面上の現在位置を推定する第２の位置推定手段、及び
前記対象物検出手段で予測された現在位置、前記第１の位置推定手段で推定された現在位置、及び前記第２の位置推定手段で推定された現在位置を統合する統合手段
として機能させるための対象物追跡プログラム。 Computer
An image including the target object, which is attached to a position at a predetermined height from the road surface and acquired by an imaging unit that images a target object around the host vehicle, and a physical quantity related to vehicle motion including the speed of the host vehicle are detected. An acquisition means for acquiring the vehicle movement information output from the vehicle movement detection means for outputting the vehicle movement information;
Based on the position of the object on the road surface obtained from the past image and the vehicle motion information, the current position on the road surface of the object is predicted and corresponds to the predicted current position on the road surface. An object detection means for detecting the object from a position on a current image;
Based on the grounding position on the image and the mounting position of the imaging unit on the host vehicle when the grounding position where the target object detected by the target object detection unit is in contact with the road surface is within the imaging range. First position estimating means for estimating a current position of the object on the road surface;
Based on the position on the road surface of the object obtained from the past image and the enlargement ratio of the size of the object on the current image with respect to the size of the object on the past image, the object Second position estimating means for estimating a current position on the road surface, a current position predicted by the object detecting means, a current position estimated by the first position estimating means, and the second position estimating An object tracking program for functioning as an integration means for integrating the current position estimated by the means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009214402A JP5251800B2 (en) | 2009-09-16 | 2009-09-16 | Object tracking device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009214402A JP5251800B2 (en) | 2009-09-16 | 2009-09-16 | Object tracking device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011065338A JP2011065338A (en) | 2011-03-31 |
| JP5251800B2 true JP5251800B2 (en) | 2013-07-31 |
Family
ID=43951531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009214402A Expired - Fee Related JP5251800B2 (en) | 2009-09-16 | 2009-09-16 | Object tracking device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5251800B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10949656B2 (en) * | 2015-09-29 | 2021-03-16 | Sony Corporation | Information processing apparatus and information processing method |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5821274B2 (en) * | 2011-05-20 | 2015-11-24 | マツダ株式会社 | Moving body position detection device |
| JP5959245B2 (en) * | 2012-03-14 | 2016-08-02 | アルパイン株式会社 | Lane mark detection device and lane mark reliability calculation method |
| JP5863607B2 (en) * | 2012-09-07 | 2016-02-16 | オートリブ ディベロップメント エービー | Pedestrian warning device |
| JP6032034B2 (en) * | 2013-02-05 | 2016-11-24 | 日産自動車株式会社 | Object detection device |
| EP2865576B1 (en) * | 2013-10-22 | 2018-07-04 | Honda Research Institute Europe GmbH | Composite confidence estimation for predictive driver assistant systems |
| JP6184877B2 (en) | 2014-01-09 | 2017-08-23 | クラリオン株式会社 | Vehicle external recognition device |
| JP6474396B2 (en) | 2014-06-03 | 2019-02-27 | 住友重機械工業株式会社 | Human detection system and excavator |
| JP6534609B2 (en) | 2015-12-04 | 2019-06-26 | クラリオン株式会社 | Tracking device |
| DE102016205761A1 (en) * | 2016-04-07 | 2017-10-12 | Robert Bosch Gmbh | Method for operating a vehicle |
| JP6418407B2 (en) | 2016-05-06 | 2018-11-07 | トヨタ自動車株式会社 | Brake control device for vehicle |
| JP6844235B2 (en) | 2016-12-08 | 2021-03-17 | 富士通株式会社 | Distance measuring device and distance measuring method |
| JP6673191B2 (en) | 2016-12-27 | 2020-03-25 | トヨタ自動車株式会社 | Alarm output device |
| JP6812894B2 (en) | 2017-04-24 | 2021-01-13 | トヨタ自動車株式会社 | Peripheral monitoring device |
| JP6805992B2 (en) | 2017-07-18 | 2020-12-23 | トヨタ自動車株式会社 | Peripheral monitoring device |
| JP6985089B2 (en) * | 2017-09-29 | 2021-12-22 | トヨタ自動車株式会社 | Three-dimensional object grounding judgment device |
| JP6977624B2 (en) * | 2018-03-07 | 2021-12-08 | オムロン株式会社 | Object detector, object detection method, and program |
| JP7225074B2 (en) | 2019-10-08 | 2023-02-20 | 日立Astemo株式会社 | Object recognition device |
| WO2021138619A2 (en) | 2020-01-03 | 2021-07-08 | Mobileye Vision Technologies Ltd. | Vehicle navigation with pedestrians and determining vehicle free space |
| JP7217820B1 (en) | 2022-01-24 | 2023-02-03 | 三菱電機株式会社 | Movement amount identification device, movement amount identification method, and movement amount identification program |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3502468B2 (en) * | 1995-03-07 | 2004-03-02 | 松下電器産業株式会社 | Distributed monitoring equipment |
| JP2003536096A (en) * | 2000-06-08 | 2003-12-02 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | Tracking map generator |
| JP4267657B2 (en) * | 2006-10-31 | 2009-05-27 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| ATE523864T1 (en) * | 2007-09-20 | 2011-09-15 | Delphi Tech Inc | OBJECT TRACKING METHOD |
-
2009
- 2009-09-16 JP JP2009214402A patent/JP5251800B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10949656B2 (en) * | 2015-09-29 | 2021-03-16 | Sony Corporation | Information processing apparatus and information processing method |
| US11915522B2 (en) | 2015-09-29 | 2024-02-27 | Sony Corporation | Information processing apparatus and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011065338A (en) | 2011-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5251800B2 (en) | Object tracking device and program | |
| US10169667B2 (en) | External environment recognizing device for vehicle and vehicle behavior control device | |
| JP4052650B2 (en) | Obstacle detection device, method and program | |
| US7483549B2 (en) | Vehicle surroundings monitoring apparatus | |
| JP5075672B2 (en) | Object detection apparatus and method | |
| JP6458651B2 (en) | Road marking detection device and road marking detection method | |
| JP2007300181A (en) | Periphery monitoring apparatus and periphery monitoring method and program thereof | |
| US7388476B2 (en) | Vehicle surroundings monitoring apparatus | |
| WO2005086078A1 (en) | Method and apparatus for classifying an object | |
| JP2002352225A (en) | Obstacle detector and its method | |
| JP6687039B2 (en) | Object detection device, device control system, imaging device, object detection method, and program | |
| JP5065449B2 (en) | Vanishing point estimation device and program | |
| JP6816401B2 (en) | Image processing device, imaging device, mobile device control system, image processing method, and program | |
| JP2013140515A (en) | Solid object detection device and program | |
| KR101427032B1 (en) | Apparatus and method for recognizing pedestrian in vehicle, and apparatus and method for warning and preventing collision with pedestrian in vehicle using thereof | |
| JP6496585B2 (en) | Object recognition device | |
| WO2019065970A1 (en) | Vehicle exterior recognition device | |
| JP2021120255A (en) | Distance estimation device and computer program for distance estimation | |
| JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
| JP4321410B2 (en) | Object detection apparatus and method | |
| JP6431299B2 (en) | Vehicle periphery monitoring device | |
| JP2021148730A (en) | Position estimation method, position estimation device, and program | |
| KR20170138842A (en) | System and Method for Tracking Vehicle on the basis on Template Matching | |
| JP5345999B2 (en) | Lane mark recognition device | |
| JP2016162130A (en) | Device and method for detecting pedestrian crossing and computer for pedestrian crossing detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130401 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5251800 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160426 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |