WO2017090097A1 - 車両用外界認識装置 - Google Patents

車両用外界認識装置 Download PDF

Info

Publication number
WO2017090097A1
WO2017090097A1 PCT/JP2015/082967 JP2015082967W WO2017090097A1 WO 2017090097 A1 WO2017090097 A1 WO 2017090097A1 JP 2015082967 W JP2015082967 W JP 2015082967W WO 2017090097 A1 WO2017090097 A1 WO 2017090097A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
vehicle
recognition device
camera
external environment
Prior art date
Application number
PCT/JP2015/082967
Other languages
English (en)
French (fr)
Inventor
秀行 粂
將裕 清原
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2017552566A priority Critical patent/JP6577595B2/ja
Priority to US15/769,153 priority patent/US10572753B2/en
Priority to PCT/JP2015/082967 priority patent/WO2017090097A1/ja
Publication of WO2017090097A1 publication Critical patent/WO2017090097A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to a vehicle external recognition device.
  • a vehicle periphery monitoring device is a vehicle periphery monitoring device that monitors the periphery of a vehicle from an image acquired via an image capturing unit mounted on the vehicle.
  • Object extraction means for extracting objects existing around the vehicle from the acquired image
  • pedestrian extraction means for extracting pedestrians from the objects extracted by the object extraction means
  • the walking By executing a determination algorithm including posture determination means for determining the posture of the pedestrian extracted by the pedestrian extraction means and at least a first determination process related to the posture of the pedestrian determined by the posture determination means.
  • An avoidance object determination means for determining whether or not the object extracted by the extraction means is an avoidance object that should avoid contact with the vehicle; and at least the avoidance object determination means According to the determination result, there is a description that the feature "in that it comprises a vehicle equipment control means for controlling the equipment of the vehicle.
  • an object of the present invention is to provide a vehicle external recognition apparatus that can correctly estimate the direction of an obstacle.
  • An external environment recognition device for a vehicle includes an obstacle detection unit that detects an obstacle in an image, a direction estimation unit that estimates the direction of an obstacle detected by the obstacle detection unit, and a direction estimation unit.
  • An orientation correction unit that corrects the orientation according to the positional relationship between the obstacle and the camera.
  • the direction of the obstacle can be correctly estimated.
  • the figure which represented as a functional block the function which the program performed in the external field recognition apparatus 100 for vehicles has.
  • the flowchart which shows the process performed in the direction estimation part 103 Diagram showing an example of shooting with a wide-angle camera
  • the flowchart which shows the process performed in the direction correction part 104 The figure which shows an example of a process of the direction correction part 104
  • the figure which represented as a functional block the function which the program performed in the external field recognition apparatus 100a for vehicles has.
  • FIG. 1 is a diagram showing a configuration of a vehicle external environment recognition device 100 built in a vehicle 300.
  • the vehicle 300 includes a CAN bus 20, and the vehicle external environment recognition device 100 is connected to the CAN bus 20.
  • Other devices not shown are also connected to the CAN bus 20. That is, a device for controlling the vehicle based on obstacle information output from the vehicle external environment recognition device 100 is connected to the CAN bus 20.
  • the vehicle external environment recognition apparatus 100 includes a camera 101, a CPU 10, a ROM 11, a RAM 12, and a CAN interface 13.
  • the camera 101 is attached to the vehicle 300 and photographs the surroundings of the vehicle 300.
  • the CPU 10 calculates obstacle information from images obtained by the camera 101 using a program described later at predetermined intervals, for example, every 0.1 second.
  • the calculated obstacle information is output to the CAN bus 20 via the CAN interface 13.
  • the above-described predetermined cycle is referred to as a “processing cycle”.
  • the ROM 11 stores a program and camera parameters.
  • the program is developed from the ROM 11 to the RAM 12 by the CPU 10 and executed.
  • the camera parameters are internal parameters such as lens distortion and external parameters such as the attachment position and angle of the camera 101 with respect to the vehicle 300.
  • the RAM 12 temporarily stores an obstacle information area 12a or other information necessary for program execution.
  • the obstacle information area 12a is a predetermined area of the RAM 12 in which information related to obstacles estimated by an obstacle detection unit 102, a direction estimation unit 103, and a direction correction unit 104, which will be described later, is stored.
  • the information regarding the obstacle is the position and orientation of the obstacle.
  • the CAN interface 13 is a communication interface with the CAN bus 20 of the vehicle external environment recognition device 100.
  • the vehicle external environment recognition device 100 outputs the calculated obstacle information to the CAN bus 20 via the CAN interface 13.
  • FIG. 2 is a diagram showing the functions of a program executed by the CPU 10 of the vehicle external environment recognition apparatus 100 as function blocks. That is, the vehicle external environment recognition apparatus 100 is configured to execute an obstacle detection function by the obstacle detection unit 102, a direction estimation function by the direction estimation unit 103, a direction correction function by the direction correction unit 104, according to a program executed by the CPU 10. And an output function by the output unit 105.
  • the vehicle external environment recognition apparatus 100 causes the camera 101 to take a picture at a predetermined cycle, that is, every processing cycle, and performs processing by each functional block when an image is obtained by shooting. Specifically, when the camera captures an image and an image is obtained, the obstacle detection unit 102 starts processing. When the obstacle detection unit 102 completes the processing, the direction estimation unit 103 starts processing, and the direction estimation unit 103 When the process is completed, the orientation correction unit 104 starts the process. That is, each functional block operates every processing cycle.
  • the obstacle detection unit 102 detects an obstacle existing around the host vehicle 300 from the image obtained by the camera 101 and adds information about the detected obstacle to the obstacle information area 12a.
  • Obstacle detection is, for example, detecting a pedestrian or a vehicle from an image and detecting it as an obstacle.
  • a pattern matching method described in JP-A-2015-132879 can be used.
  • the direction estimation unit 103 stores information about the obstacle output from the obstacle detection unit 102 and stored in the RAM 12, image information including luminance included in an image obtained by the camera 101, and stored in the ROM 11.
  • the direction of the obstacle is estimated using the discriminator parameter for each direction of the obstacle, and the estimated direction of the obstacle is added to the obstacle information area 12a. Details of the processing will be described later.
  • the direction correction unit 104 uses the information about the obstacles output from the obstacle detection unit 102 and the direction estimation unit 103 and stored in the RAM 12 and the camera parameters stored in the ROM 11, and uses the obstacle and the camera 101.
  • the direction of the obstacle is corrected according to the positional relationship, and the corrected direction of the obstacle is added to the obstacle information area 12a. Details of the processing will be described later.
  • FIG. 3 is a flowchart showing processing executed in the direction estimation unit 103.
  • the execution subject of each step described below is the CPU 10.
  • step S500 lens distortion correction is performed on the obstacle area in the image obtained by the camera 101 using the camera parameters stored in the ROM 11, and the process proceeds to step S501. Since lens distortion correction is a known technique, a detailed description thereof is omitted. By guaranteeing the change of the pattern due to the lens distortion by the lens distortion correction, the accuracy of the direction estimation based on the pattern in step S503 described later is improved.
  • the lens distortion correction is performed in the direction estimation unit 103, it is not limited to this.
  • the obstacle detection unit 102 uses, for example, the pattern matching method described in Japanese Patent Application Laid-Open No. 2015-132879, the obstacle detection unit 102 performs lens distortion correction on the entire image, and the lens distortion correction is performed.
  • the image may be stored in the RAM 12 and used by the orientation estimation unit 103.
  • step S501 the obstacle region in the lens distortion corrected image is enlarged / reduced to generate an image having a size used for calculation of a preset feature amount, and the process proceeds to step S502.
  • the size used for calculating the feature value is 12 pixels wide and 24 pixels high.
  • step S502 a feature amount used for direction estimation is calculated from the image generated in step S501, and the process proceeds to step S503.
  • HOG N. Dalal and B. Triggs, Histograms of Oriented Gradients for Human Detection, Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, pp. 886-893, 2005
  • HOG improvement methods described in JP-A-2015-132879 can be used.
  • the calculation of the feature amount is performed in the direction estimation unit 103, but is not limited thereto.
  • the obstacle detection unit 102 uses, for example, the pattern matching method described in Japanese Patent Application Laid-Open No. 2015-132879
  • the feature amount used for the obstacle detection is stored in the RAM 12 and is used by the direction estimation unit 103. Also good. As a result, the number of calculation of the feature amount can be reduced and the processing time can be reduced.
  • the feature amount calculation is performed by the direction estimation unit 103, a feature amount different from the obstacle detection unit 102 can be used.
  • the obstacle detection unit 102 that processes the entire image uses an HOG that has a relatively small amount of calculation, and the orientation estimation unit 103 that processes only the obstacle region only has a small pattern although the calculation amount increases.
  • the improved HOG technique that can express the above, it is possible to improve the accuracy of direction estimation while suppressing an increase in the amount of calculation.
  • step S503 the feature amount calculated in step S502 is input to the discriminator to obtain the orientation.
  • the classifier for example, SVM (C. Cortes and V. Vapnik, Support-vector Networks, Machine Learning, which is known to have high accuracy even when the number of feature dimensions is large and the number of training images is small, is known. , Vol. 20, Issue 3, pp. 273-297,) 1995).
  • SVM C. Cortes and V. Vapnik, Support-vector Networks, Machine Learning, which is known to have high accuracy even when the number of feature dimensions is large and the number of training images is small, is known. , Vol. 20, Issue 3, pp. 273-297,) 1995).
  • SVM SVM
  • the SVM is trained using feature values calculated from image data of backward (0 degrees), right (90 degrees), front (180 degrees), and left (270 degrees), and parameters of the training result are stored in the ROM 11. save.
  • the obstacle is backward (0 degrees), right (90 degrees), front (180 degrees), and left (270 degrees)
  • the obstacle direction handled by the SVM is backward (0 degrees), right direction (90 degrees), front direction (180 degrees), and left direction (270 degrees), but the obstacle direction is not limited to this.
  • the number of directions is set according to the request of a method using an obstacle direction such as vehicle control, such as two directions of rightward (90 degrees) and leftward (270 degrees), or 360 degrees divided into eight directions. Can do.
  • a discriminator is not limited to this.
  • a classifier such as a neural network or a decision tree may be used.
  • the orientation estimation unit 103 does not take into consideration that the appearance of the obstacle changes greatly depending on the positional relationship between the obstacle and the camera, even in the same direction of the obstacle, particularly in the image of the wide-angle camera.
  • the direction of the obstacle may be erroneously estimated at the edge of the image.
  • FIG. 4 is a diagram illustrating an example of shooting with a wide-angle camera.
  • the pedestrians 301 and 302 are photographed by the wide-angle camera 101 attached to the host vehicle.
  • a fish-eye camera in which the distance from the image center is proportional to the angle of the light beam is assumed as the wide-angle camera 101, and the image plane 303 of the camera is represented by an arc.
  • the pedestrians 301 and 302 are detected as obstacles by the obstacle detection unit 102.
  • the pedestrian 301 is imaged in the area 311 of the image plane 303 of the camera, and the pedestrian 302 is imaged in the area 312 of the image plane 303 of the camera.
  • the direction estimation unit 103 estimates the front direction (180 degrees).
  • FIG. 5 is a flowchart showing processing executed in the direction correction unit 104. The execution subject of each step described below is the CPU 10.
  • step S600 a ray vector that is a direction vector from the camera 101 to the obstacle is obtained using the position of the obstacle in the image detected by the obstacle detection unit 102 and the camera parameters stored in the ROM 11.
  • step S601. a light vector in a three-dimensional coordinate system (camera coordinate system) based on the camera 101 is calculated using the position of the obstacle in the image and the camera internal parameters.
  • a camera external parameter representing the attachment position / angle of the camera 101 to the vehicle 300 a light vector in the camera coordinate system is used as a reference and a two-dimensional coordinate system (vehicle coordinate system) parallel to the ground. Convert to
  • step S601 the obstacle direction estimated by the direction estimation unit 103 is corrected using the light vector in the vehicle coordinate system calculated in step S600, and the obstacle direction in the vehicle coordinate system is obtained. Specifically, by adding the angle of the light vector in the vehicle coordinate system to the angle estimated by the direction estimating unit 103, the direction estimated by the direction estimating unit 103 is converted into a direction based on the light vector, and the vehicle Get the orientation in the coordinate system.
  • FIG. 6 is a diagram illustrating an example of processing of the direction correction unit 104.
  • the pedestrian 302 is imaged on the image plane 303 by the wide-angle camera 101 attached to the own vehicle 300.
  • the direction of the pedestrian 302 is estimated to be leftward (270 degrees).
  • step S600 a light vector 332 from the wide-angle camera 101 to the pedestrian 302 is calculated.
  • the center 322 of the pedestrian area is used as the position in the pedestrian image.
  • step S601 the direction estimated by the direction estimation unit 103 is converted into a direction based on the light vector 332, thereby obtaining a corrected direction vector 342.
  • steps S600 to S601 are processed for all obstacles, and the processing of the direction correction unit 104 is terminated.
  • the following operational effects can be obtained.
  • a vehicle external environment recognition device 100 is mounted on a vehicle 300 and captures an obstacle in the image based on a camera 101 that captures the surroundings of the vehicle and an image obtained by capturing the camera 101.
  • Unit 102, direction estimation unit 103 that estimates the direction of the obstacle detected by obstacle detection unit 102, and direction that is estimated by direction estimation unit 103 is corrected according to the positional relationship between the obstacle and camera 101.
  • the direction correction unit 104 corrects the direction obtained by the direction estimation unit 103 based on the positional relationship between the obstacle 101 detected by the obstacle detection unit 102 and the camera 101. did. Therefore, it is possible to improve the estimation accuracy of the direction of the obstacle, particularly at the image end of the wide-angle camera. Thereby, the orientation of the object can be estimated in a wide range by using the wide-angle camera.
  • the direction correction unit 104 calculates a light vector from the camera 101 to the obstacle based on the position in the image of the obstacle detected by the obstacle detection unit 102 and the camera parameter, and the direction estimation unit 103
  • the estimated direction is converted into a direction based on the ray vector (FIG. 5, steps S600 to S601). Therefore, the accuracy of the obstacle direction in the vehicle coordinate system is improved by considering the relationship between the image and the vehicle coordinate system, that is, the imaging process of the image.
  • the direction correction unit 104 corrects the direction by converting the direction estimated by the direction estimation unit 103 with reference to the light vector from the camera 101 to the obstacle (FIG. 5, Steps S600 to S601).
  • the direction correction method is not limited to this.
  • the direction correction unit 104 corrects the direction by using a table that stores the relationship between the direction estimated by the direction estimation unit 103 and the position of the obstacle in the image and the corrected direction prepared in advance. Good.
  • the heel direction correction unit 104 corrects the direction without using camera parameters. Therefore, the direction estimated by the direction estimation unit 103 can be corrected even when the accuracy of the camera parameter is low or the camera parameter cannot be obtained.
  • the direction correction unit 104 corrects the direction according to an arbitrarily set table. Therefore, the direction can be arbitrarily corrected according to the positional relationship between the obstacle and the camera 101.
  • the obstacle detection part 102 detected the obstacle from the image image
  • the obstacle detection method is not limited to this.
  • the vehicle external environment recognition apparatus 100 may include a sensor for measuring a distance, such as a radar, a laser scanner, or a stereo camera.
  • a stereo camera may be configured in combination with the camera 101 by additionally providing one or more cameras.
  • an obstacle may be detected based on the distance information measured by the distance measuring sensor. For example, an object whose height from the road surface is equal to or higher than a preset threshold is detected as an obstacle. Moreover, a pedestrian or a vehicle may be detected from the shape or movement of the object obtained from the distance information, and may be used as an obstacle.
  • the obstacle position detected by the distance measuring sensor is converted into an obstacle position in the image by projection calculation from the mounting position / angle of the distance measuring sensor to the vehicle and the camera parameters of the camera 101, and the direction estimating unit 103 Used in.
  • the detection result of the distance measuring sensor is verified by applying an obstacle detection method from the image such as pattern matching only to the periphery of the position of the obstacle detected by the distance measuring sensor. May be used by the orientation estimation unit 103.
  • the vehicle external environment recognition device 100 In order to implement this modification, it is necessary to add the following functions to the vehicle external environment recognition device 100.
  • a distance measuring sensor that measures the distance to an object around the vehicle
  • a function that detects an obstacle from the distance measured by the distance measuring sensor
  • an obstacle position detected by the distance sensor on the image This is a function for calculating the imaging position of the obstacle.
  • the vehicle external environment recognition device 100 is connected to other devices via the CAN bus 20 of the vehicle 300.
  • the connection relationship with the other apparatuses of the vehicle external environment recognition apparatus 100 is not limited to this.
  • the vehicle external environment recognition device 100 may be connected to other devices via a communication bus other than CAN, or may be directly connected to other devices without using a communication bus. Furthermore, the vehicle external environment recognition device 100 may be incorporated in a camera device or an integrated controller.
  • a vehicle external environment recognition apparatus according to Embodiment 2 will be described.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • the processing of the direction estimation unit is mainly different from the first embodiment. (Constitution)
  • the configuration of the vehicular external recognition device 100a is the same as that of the first embodiment except for the program stored in the ROM 11 and the parameters of the discriminator used for direction estimation.
  • FIG. 7 is a diagram showing the functions of a program executed in the vehicle external environment recognition apparatus 100a as function blocks. Differences between the second embodiment and the first embodiment are as follows.
  • a parameter selection unit 106 is further provided. (Operation of parameter selector) The contents of processing in the parameter selection unit 106 will be described with reference to FIG.
  • the parameter selection unit 106 selects, for each obstacle detected by the obstacle detection unit 102, the parameter of the discriminator used by the direction estimation unit 103 according to the position of the obstacle.
  • the direction candidates in the vehicle coordinate system output by the direction correction unit 104 differ depending on the position of the obstacle and the camera 101. Therefore, for example, the parameters are selected so that the difference between the orientation candidates in the vehicle coordinate system output by the orientation correction unit 104 due to the obstacle position becomes small.
  • FIG. 8 is a diagram illustrating an example of processing of the parameter selection unit 106.
  • the parameter selection unit 106 includes the parameter A of the discriminator for identifying the obstacle direction in four directions: backward (0 degree), right (90 degrees), front (180 degrees), and left (270 degrees).
  • the direction candidate after correction by the direction correction unit 104 when the parameter A is used is 353a
  • the direction candidate after correction by the direction correction unit 104 when the parameter B is used is 353b.
  • the direction candidate after correction by the direction correction unit 104 when the parameter A is used for the pedestrian 304 is 354a
  • the direction candidate after correction by the direction correction unit 104 when the parameter B is used is 354b.
  • the direction correcting unit 106 Differences in orientation candidates after correction due to obstacle positions are reduced. (Effect) According to Example 2 mentioned above, the following effect is obtained.
  • the parameter selection unit 106 selects parameters used by the direction estimation unit 103 according to the positional relationship between the obstacle and the camera 101. Therefore, the difference due to the obstacle position of the orientation candidate in the vehicle coordinate system is reduced, and the pedestrian behavior prediction / vehicle control method using the obstacle direction output by the vehicle external environment recognition device 100a can be simplified.
  • ⁇ Modification 1> The parameter selection unit 106 selects the parameters so that the difference in the direction candidates in the vehicle coordinate system output by the direction correction unit 104 due to the obstacle position becomes small.
  • the parameter selection method used by the orientation estimation unit 103 is not limited to this.
  • the parameter selection unit 106 may select a parameter of the discriminator obtained by training using different image groups according to the positional relationship between the obstacle and the camera 101. For example, for obstacles near the front of a wide-angle camera, select the parameters of the classifier obtained by training using the obstacle image taken near the center of the image. On the other hand, a parameter of a discriminator obtained by training using an image of an obstacle taken near the edge of the image may be selected.
  • the parameter selection unit 106 selects a parameter used by the direction estimation unit 103 according to the positional relationship between the obstacle and the camera 101.
  • the target of parameter selection processing according to the positional relationship between the obstacle and the camera 101 is not limited to the parameter used in the direction estimation unit 103.
  • the vehicle external environment recognition device 100 a may select parameters used for obstacle detection in the obstacle detection unit 102 according to the positional relationship between the obstacle and the camera 101. For example, when using the pattern matching method described in Japanese Patent Application Laid-Open No. 2015-132879 in the obstacle detection unit 102, the pedestrian and the background are identified according to the position in the image in the raster scan operation of the image. The parameters of the discriminator to be changed may be changed.
  • the direction correction unit 104 corrects the direction by converting the direction estimated by the direction estimation unit 103 with reference to the light vector from the camera 101 to the obstacle (FIG. 5, Steps S600 to S601).
  • the direction correction method is not limited to this.
  • the direction correction unit 104 may correct the direction by further converting the direction converted based on the light vector.
  • the direction converted with reference to the light vector is in any of the four directions in the vehicle coordinate system: backward (0 degrees), right (90 degrees), front (180 degrees), and left (270 degrees).
  • the closest direction may be calculated, and the closest direction may be used as the corrected obstacle direction.
  • the direction candidates output by the heel direction correction unit 104 are the same for all obstacles regardless of the positional relationship between the obstacle and the camera 101. Therefore, it is possible to further simplify the pedestrian behavior prediction / vehicle control method using the obstacle direction output by the vehicle external environment recognition device 100a.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、障害物の向きを正しく推定することができる車両用外界認識装置を提供することを目的とする。本発明にかかる車両用外界認識装置は、画像中で障害物を検知する障害物検知部と、障害物検知部が検知した障害物の向きを推定する向き推定部と、向き推定部が推定した向きを、障害物とカメラの位置関係に応じて補正する、向き補正部と、を備える。本発明の車両用外界認識装置によれば、障害物の向きを正しく推定することができる。

Description

車両用外界認識装置
本発明は車両用外界認識装置に関する。
　自動車の運転支援において、周囲の障害物の行動を予測するため、障害物の向きを検知することが求められる。特許文献１には、「本発明の車両周辺監視装置は、車両に搭載された撮像手段を介して取得した画像から、該車両の周辺を監視する車両周辺監視装置において、前記撮像手段を介して取得した画像から、前記車両の周辺に存在する対象物を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物のうちから歩行者を抽出する歩行者抽出手段と、前記歩行者抽出手段により抽出された歩行者の姿勢を判別する姿勢判別手段と、少なくとも前記姿勢判別手段により判別された歩行者の姿勢に関する第１判定処理を含む判定アルゴリズムを実行することにより、前記対象物抽出手段により抽出された対象物が、前記車両との接触を回避すべき回避対象であるか否かを判定する回避対象判定手段と、少なくとも前記回避対象判定手段の判定結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする」という記載がある。
特開２００７－２７９８０８号公報
　特許文献１に記載されている発明では、特に広角カメラの画像において、同じ向きの障害物でも、障害物とカメラの位置関係に応じて障害物の見え方が大きく変化することが考慮されていないため、特に画像端において、障害物の向きが誤って推定されることがある。
　そこで、本発明は、障害物の向きを正しく推定することができる車両用外界認識装置を提供することを目的とする。
　本発明にかかる車両用外界認識装置は、画像中で障害物を検知する障害物検知部と、障害物検知部が検知した障害物の向きを推定する向き推定部と、向き推定部が推定した向きを、障害物とカメラの位置関係に応じて補正する、向き補正部と、を備える。
　本発明によれば、障害物の向きを正しく推定することができる。
車両用外界認識装置１００の構成を示す図 車両用外界認識装置１００において実行されるプログラムが有する機能を機能ブロックとして表した図 向き推定部１０３において実行される処理を示すフローチャート 広角カメラによる撮影の一例を示す図 向き補正部１０４において実行される処理を示すフローチャート 向き補正部１０４の処理の一例を示す図 車両用外界認識装置１００aにおいて実行されるプログラムが有する機能を機能ブロックとして表した図 パラメータ選択部１０６の処理の一例を示す図
　以下、図面を参照して、本発明の実施形態を説明する。
　以下、図１～図６を参照して、本実施例の車両用外界認識装置を説明する。
(構成)
　図１は車両３００に内蔵される車両用外界認識装置１００の構成を示す図である。車両３００はＣＡＮバス２０を備えており、車両用外界認識装置１００はＣＡＮバス２０に接続される。ＣＡＮバス２０には不図示の他の機器も接続されている。すなわち、ＣＡＮバス２０に車両用外界認識装置１００が出力する障害物情報に基づき車両を制御する装置が接続される。
　車両用外界認識装置１００は、カメラ１０１と、ＣＰＵ１０と、ＲＯＭ１１と、ＲＡＭ１２と、ＣＡＮインタフェース１３とを備える。
　カメラ１０１は、車両３００に取り付けられ、車両３００の周囲を撮影する。
　ＣＰＵ１０は、予め定められた周期ごと、たとえば０．１秒ごとに、後述するプログラムを用いてカメラ１０１が撮影して得られた画像から障害物情報を算出する。算出した障害物情報は、ＣＡＮインタフェース１３を介してＣＡＮバス２０に出力される。以下では、上述した予め定められた周期を「処理周期」と呼ぶ。
　ＲＯＭ１１には、プログラムと、カメラパラメータとが記憶される。プログラムは、ＣＰＵ１０によりＲＯＭ１１からＲＡＭ１２に展開されて実行される。カメラパラメータとは、レンズ歪等の内部パラメータおよび車両３００に対するカメラ１０１の取り付け位置・角度等の外部パラメータである。ＲＡＭ１２には、障害物情報領域１２a、あるいはプログラムの実行に必要なその他の情報が一時的に保存される。障害物情報領域１２aは、後述する障害物検知部１０２、向き推定部１０３、向き補正部１０４が推定した障害物に関する情報が保存されるＲＡＭ１２の所定領域である。障害物に関する情報とは、障害物の位置および向きである。
　ＣＡＮインタフェース１３は、車両用外界認識装置１００のＣＡＮバス２０との通信インタフェースである。車両用外界認識装置１００は、算出した障害物情報をＣＡＮインタフェース１３を介してＣＡＮバス２０に出力する。
(機能ブロック)
　図２は、車両用外界認識装置１００のＣＰＵ１０において実行されるプログラムが有する機能を機能ブロックとして表した図である。すなわち、車両用外界認識装置１００は、ＣＰＵ１０において実行されるプログラムにより、障害物検知部１０２による障害物検知機能と、向き推定部１０３による向き推定機能と、向き補正部１０４による向き補正機能と、出力部１０５による出力機能とを備える。車両用外界認識装置１００は、予め定められた周期、すなわち処理周期ごとにカメラ１０１に撮影を行わせ、撮影して画像が得られると各機能ブロックによる処理を行う。具体的には、カメラが撮影を行い画像が得られると障害物検知部１０２が処理を開始し、障害物検知部１０２が処理を完了すると向き推定部１０３が処理を開始し、向き推定部１０３が処理を完了すると向き補正部１０４が処理を開始する。すなわち、各機能ブロックは処理周期ごとに動作する。
　障害物検知部１０２は、カメラ１０１が撮影して得られた画像から自車両３００の周囲に存在する障害物を検知し、検知した障害物に関する情報を障害物情報領域１２aに追加する。障害物の検知とは、たとえば画像から歩行者や車両を検知し、障害物として検知するものである。歩行者の検知には、たとえば、特開２０１５－１３２８７９号公報に記載のパターンマッチによる方法を用いることができる。
　向き推定部１０３は、障害物検知部１０２が出力してＲＡＭ１２に保存されている障害物に関する情報と、カメラ１０１が撮影して得られた画像に含まれる輝度を含む画像情報と、ＲＯＭ１１に保存されている障害物の向き毎の識別器のパラメータとを用いて、障害物の向きを推定し、推定した障害物の向きを障害物情報領域１２aに追加する。処理の詳細は後述する。
　向き補正部１０４は、障害物検知部１０２および向き推定部１０３が出力してＲＡＭ１２に保存されている障害物に関する情報と、ＲＯＭ１１に保存されているカメラパラメータとを用いて、障害物とカメラ１０１の位置関係に応じて障害物の向きを補正し、補正した障害物の向きを障害物情報領域１２aに追加する。処理の詳細は後述する。
　出力部１０５は、障害物情報をＣＡＮインタフェース１３を介してＣＡＮバス２０へ出力する。
(向き推定部の動作)
　次に図３～図４を用いて、向き推定部１０３における処理の内容について説明する。図３は向き推定部１０３において実行される処理を示すフローチャートである。以下に説明する各ステップの実行主体は、ＣＰＵ１０である。
　ステップＳ５００では、カメラ１０１が撮影して得られた画像における障害物領域に対して、ＲＯＭ１１に保存されているカメラパラメータを用いて、レンズ歪補正を実施し、ステップＳ５０１に進む。レンズ歪補正は公知の技術であるためその詳細な説明は割愛する。レンズ歪補正により、レンズ歪によるパターンの変化を保障することで、後述するステップＳ５０３におけるパターンに基づく向き推定の精度が向上する。
　ここで、レンズ歪補正は、向き推定部１０３において実施したが、これに限定されるものではない。障害物検知部１０２において、たとえば、特開２０１５－１３２８７９号公報に記載のパターンマッチによる方法を用いる場合には、障害物検知部１０２において画像全体に対するレンズ歪補正を実施し、レンズ歪補正された画像をＲＡＭ１２に保存し、向き推定部１０３で用いてもよい。
　ステップＳ５０１では、レンズ歪補正された画像における障害物領域を拡大・縮小し、事前に設定された特徴量の計算に用いるサイズの画像を生成し、ステップＳ５０２に進む。たとえば、特徴量の計算に用いるサイズを、幅１２画素、高さ２４画素とする。
　ステップＳ５０２では、ステップＳ５０１で生成された画像から、向きの推定に用いる特徴量を計算し、ステップＳ５０３に進む。特徴量としては、たとえば、画像の輝度勾配を用い、物体検出に有効な手法として知られているＨＯＧ(N. Dalal and B. Triggs, Histograms of Oriented Gradients for Human Detection, Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, pp. 886-893, 2005)や、特開２０１５－１３２８７９号公報に記載のＨＯＧの改良手法などを用いることができる。
　ここで、特徴量の計算は、向き推定部１０３において実施したが、これに限定されるものではない。障害物検知部１０２において、たとえば、特開２０１５－１３２８７９号公報に記載のパターンマッチによる方法を用いる場合には、障害物検知に用いた特徴量をＲＡＭ１２に保存し、向き推定部１０３で用いてもよい。これにより、特徴量の計算回数を少なくし、処理時間を削減することができる。一方、特徴量の計算を向き推定部１０３で実施する場合には、障害物検知部１０２と異なる特徴量を用いることができる。たとえば、画像全体を処理対象とする障害物検知部１０２では、比較的計算量の少ないＨＯＧを用い、障害物領域のみを処理対象とする向き推定部１０３では、計算量は増加するものの細かなパターンを表現できるＨＯＧの改良手法を用いることで、計算量の増加を抑えながら、向き推定の精度を向上することができる。
　ステップＳ５０３では、ステップＳ５０２で計算された特徴量を識別器に入力し、向きを得る。識別器としては、たとえば、特徴量の次元数が大きく、訓練用画像数が少ない場合にも精度が良いことが知られているＳＶＭ(C. Cortes and V. Vapnik, Support-vector Networks, Machine Learning, Vol. 20, Issue 3, pp. 273-297, 1995)を用いることができる。ＳＶＭを用いて識別を実施するためには、事前に向き毎の障害物の画像データから特徴量を生成し、ＳＶＭを訓練することで、識別に用いるパラメータを得る必要がある。たとえば、後ろ向き(０度)、右向き(９０度)、正面向き(１８０度)、左向き(２７０度)の画像データから計算した特徴量を用いて、ＳＶＭを訓練し、訓練結果のパラメータをＲＯＭ１１に保存する。ステップＳ５０３では、ＲＯＭ１１に保存されているパラメータとステップＳ５０２で計算した特徴量からＳＶＭにより、障害物が後ろ向き(０度)、右向き(９０度)、正面向き(１８０度)、左向き(２７０度)のいずれであるかを得る。
　ここで、ＳＶＭで扱う障害物向きを後ろ向き(０度)、右向き(９０度)、正面向き(１８０度)、左向き(２７０度)としてが、障害物向きこれに限定されるものではない。たとえば、右向き(９０度)と左向き(２７０度)の２方向や、３６０度を８方向に分割した向きなど、車両制御などの障害物向きを用いる手法の要求に応じて方向数を設定することができる。
　また、識別器としてＳＶＭを用いたが、識別器はこれに限定されるものではない。たとえば、ニューラルネットワークや決定木といった識別器を用いてもよい。　
　以下、ステップＳ５００からステップＳ５０３を全ての障害物に対して処理を行い、向き推定部１０３の処理を終了する。
　ここで、向き推定部１０３では、特に広角カメラの画像において、同じ向きの障害物でも、障害物とカメラの位置関係に応じて障害物の見え方が大きく変化することが考慮されていないため、特に画像端において、障害物の向きが誤って推定されることがある。
　図４は、広角カメラによる撮影の一例を示す図である。自車両に取り付けられた広角カメラ１０１により、歩行者３０１、３０２が撮影されている。図４では、広角カメラ１０１として、画像中心からの距離が光線の角度に比例する魚眼カメラを想定し、カメラの画像面３０３を円弧で表現している。歩行者３０１、３０２は障害物検知部１０２により、障害物として検知されている。歩行者３０１はカメラの画像面３０３の領域３１１に、歩行者３０２はカメラの画像面３０３の領域３１２に撮像される。ここで、歩行者３０１は歩行者の前側が撮像されるため、向き推定部１０３において、正面向き(１８０度)と推定される。一方、歩行者３０２は、歩行者の左側面が撮影されるため、向き推定部１０３において、左向き(２７０度)と推定される。
(向き補正部の動作)
　次に図５～図６を用いて、向き補正部１０４における処理の内容について説明する。向き補正部１０４は、向き推定部１０３が推定した障害物の向きを、障害物とカメラ１０１の位置関係に応じて補正する。図５は向き補正部１０４において実行される処理を示すフローチャートである。以下に説明する各ステップの実行主体は、ＣＰＵ１０である。
　ステップＳ６００では、障害物検知部１０２で検知された画像中での障害物の位置と、ＲＯＭ１１に保存されているカメラパラメータとを用いて、カメラ１０１から障害物への向きベクトルである光線ベクトルを計算し、ステップＳ６０１に進む。まず、画像中での障害物の位置と、カメラ内部パラメータとを用いて、カメラ１０１を基準とした３次元座標系(カメラ座標系)における光線ベクトルを計算する。次に、カメラ１０１の車両３００への取り付け位置・角度を表すカメラ外部パラメータを用いて、カメラ座標系における光線ベクトルを、車両３００を基準とし、地面に並行な２次元座標系(車両座標系)へ変換する。
　ステップＳ６０１では、向き推定部１０３で推定された障害物の向きを、ステップＳ６００で計算された車両座標系における光線ベクトルを用いて補正し、車両座標系における障害物の向きを得る。具体的には、車両座標系における光線ベクトルの角度を、向き推定部１０３が推定した角度へ加えることで、向き推定部１０３が推定した向きを、光線ベクトルを基準とした向きへ変換し、車両座標系における向きを得る。
　図６は向き補正部１０４の処理の一例を示す図である。本例では、歩行者３０２が自車３００に取り付けられた広角カメラ１０１により画像面３０３に撮像されている。図４の例で述べたように、向き推定部１０３による向きの推定では、歩行者３０２の向きは左向き(２７０度)と推定されている。ステップＳ６００では、広角カメラ１０１から歩行者３０２への光線ベクトル３３２が計算される。ここで歩行者の画像中での位置としては、歩行者領域の中心３２２を用いた。ステップＳ６０１では、向き推定部１０３が推定した向きを、光線ベクトル３３２を基準とした向きへ変換することで、補正された向きベクトル３４２を得る。
　以下、ステップＳ６００からステップＳ６０１を全ての障害物に対して処理を行い、向き補正部１０４の処理を終了する。
(作用効果)
　本実施例の車両用外界認識装置によれば、次の作用効果が得られる。
　(1)車両用外界認識装置１００は、車両３００に搭載され当該車両の周囲を撮影するカメラ１０１と、カメラ１０１が撮影して得られた画像に基づき画像中で障害物を検知する障害物検知部１０２と、障害物検知部１０２が検知した障害物の向きを推定する向き推定部１０３と、向き推定部１０３が推定した向きを、障害物とカメラ１０１の位置関係に応じて補正する、向き補正部１０４と、を備える。
　車両用外界認識装置１００では、障害物検知部１０２が検知した障害物とカメラ１０１の位置関係に基づき、向き推定部１０３が推定して得られた向きを、向き補正部１０４が補正するようにした。そのため、特に広角カメラの画像端において、障害物の向きの推定精度を向上することができる。これにより、広角カメラを用いることで、広い範囲において、物体の向きを推定することができる。
　(2)向き補正部１０４は、障害物検知部１０２が検知した障害物の画像中での位置、およびカメラパラメータに基づき、カメラ１０１から障害物への光線ベクトルを計算し、向き推定部１０３が推定した向きを、光線ベクトルを基準とした向きへ変換する(図５、ステップＳ６００～ステップＳ６０１)。そのため、画像と車両座標系との関係、すなわち、画像の撮像過程が考慮されることにより、車両座標系における障害物向きの精度が向上する。
＜変形例１＞
　向き補正部１０４は、カメラ１０１から障害物への光線ベクトルを基準とし、向き推定部１０３が推定した向きを変換することで、向きを補正した(図５、ステップＳ６００～ステップＳ６０１)。しかし向きの補正方法はこれに限定されない。
　向き補正部１０４は、あらかじめ用意された、向き推定部１０３が推定した向きおよび画像中での障害物の位置と、補正後の向き、との関係を保存したテーブルにより、向きを補正してもよい。
　上述した変形例１によれば、次の作用効果が得られる。
　(１) 向き補正部１０４は、カメラパラメータを用いることなく向きを補正する。そのため、カメラパラメータの精度が低い、もしくはカメラパラメータが得られない場合にも、向き推定部１０３が推定した向きを補正することができる。
　(２) 向き補正部１０４は、任意に設定されたテーブルにより、向きを補正する。そのため、障害物とカメラ１０１の位置関係に応じて、任意に向きを補正できる。
＜変形例２＞
　上述した実施例１では、障害物検知部１０２は、車両に取り付けられたカメラ１０１により撮影された画像から障害物を検知した。しかし、障害物の検知方法はこれに限定されない。車両用外界認識装置１００は、カメラ１０１に加えて、レーダやレーザスキャナ、ステレオカメラといった距離を計測するセンサを備えてもよい。また、１台以上のカメラを追加で備えることで、カメラ１０１と組み合わせて、ステレオカメラを構成してもよい。
　カメラ１０１に加えて距離を計測するセンサを備える場合は、測距センサにより計測された距離情報に基づき障害物を検知してもよい。たとえば、道路面からの高さがあらかじめ設定した閾値以上の物体を障害物として検知する。また、距離情報から得られる物体の形状や移動から、歩行者や車両を検知し、障害物としてもよい。測距センサにより検知された障害物位置は、測距センサの車両への取り付け位置・角度とカメラ１０１のカメラパラメータから、投影計算により、画像中での障害物位置へ変換し、向き推定部１０３で用いる。また、測距センサで検知された障害物の画像中での位置周辺に対してのみ、たとえばパターンマッチングなどの画像からの障害物検知手法を適用することで、測距センサの検知結果を検証してから、向き推定部１０３で用いてもよい。
　この変形例を実施するためには、次の機能を車両用外界認識装置１００に付加する必要がある。たとえば、車両周囲に存在する物体までの距離を計測する測距センサと、測距センサにより計測された距離から障害物を検知する機能と、測距センサにより検知された障害物位置から画像上での障害物の撮像位置を計算する機能である。
＜変形例３＞
　上述した実施例１では、車両用外界認識装置１００は車両３００のＣＡＮバス２０を介して他の機器と接続された。しかし、車両用外界認識装置１００の他の機器との接続関係はこれに限定されない。
　車両用外界認識装置１００はＣＡＮ以外の通信バスを介して他の機器と接続されてもよいし、通信バスを介さずに直接他の機器と接続されてもよい。さらに、車両用外界認識装置１００がカメラ装置または統合コントローラ内などに組み込まれてもよい。
　図７～図８を参照して、実施例２の車両用外界認識装置を説明する。以下の説明では、実施例１と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、実施例１と同じである。本実施例２では、主に、向き推定部の処理が、実施例１と異なる。
(構成)
　車両用外界認識装置１００aの構成は、ＲＯＭ１１に保存されているプログラム、向き推定に用いる識別機のパラメータを除いて実施例１と同様である。
　図７は車両用外界認識装置１００aにおいて実行されるプログラムが有する機能を機能ブロックとして表した図である。実施例２と実施例１との相違点は以下のとおりである。実施例２では、実施例１における障害物検知装置１００が備える機能に加えて、パラメータ選択部１０６をさらに備える。
(パラメータ選択部の動作)
　図８を用いて、パラメータ選択部１０６における処理の内容について説明する。
　パラメータ選択部１０６は、障害物検知部１０２が検知した障害物毎に、障害物の位置に応じて、向き推定部１０３が用いる識別器のパラメータを選択する。向き推定部１０３において、障害物位置に依らず、同じパラメータを用いた場合には、向き補正部１０４が出力する車両座標系における向き候補が、障害物とカメラ１０１の位置に応じて異なる。そこで、たとえば、向き補正部１０４が出力する、車両座標系における向き候補の、障害物位置による差が小さくなるようにパラメータを選択する。
　図８は、パラメータ選択部１０６の処理の一例を示す図である。本例では、パラメータ選択部１０６は、後ろ向き(０度)、右向き(９０度)、正面向き(１８０度)、左向き(２７０度)の４方向に障害物向きを識別する識別器のパラメータＡと、右斜め後ろ向き(４５°)、右斜め前向き(１３５度)、左斜め前向き(２２５度)、左斜め後ろ向き(３１５度)の４方向に障害物向きを識別する識別器のパラメータＢを、障害物の位置に応じて選択する。歩行者３０３に対して、パラメータＡを用いた場合の向き補正部１０４による補正後の向き候補は３５３a、パラメータＢを用いた場合の向き補正部１０４による補正後の向き候補は３５３bとなる。同様に、歩行者３０４に対して、パラメータＡを用いた場合の向き補正部１０４による補正後の向き候補は３５４a、パラメータＢを用いた場合の向き補正部１０４による補正後の向き候補は３５４bとなる。
　ここで、たとえば、パラメータ選択部１０６が、領域４００に存在する障害物の向き推定にはパラメータＡを、領域４０１に存在する障害物の向き推定にはパラメータＢを選択すると、向き補正部１０６による補正後の向き候補の、障害物位置による差が小さくなる。
(作用効果)
　上述した実施例２によれば、次の作用効果が得られる。
　(１) パラメータ選択部１０６が、障害物とカメラ１０１の位置関係に応じて、向き推定部１０３が用いるパラメータを選択するようにした。そのため、車両座標系における向き候補の障害物位置による差が小さくなり、車両用外界認識装置１００aが出力する障害物向きを利用した歩行者行動予測・車両制御手法を簡易にすることができる。
＜変形例１＞
　パラメータ選択部１０６は、向き補正部１０４が出力する、車両座標系における向き候補の、障害物位置による差が小さくなるようにパラメータを選択した。しかし、向き推定部１０３が用いるパラメータの選択方法はこれに限定されない。
　パラメータ選択部１０６は、障害物とカメラ１０１の位置関係に応じて、異なる画像郡を用いた訓練により得られた識別器のパラメータを選択してもよい。たとえば、広角カメラの正面付近に存在する障害物に対しては、画像の中心付近で撮影された障害物の画像を用いた訓練により得られた識別器のパラメータを選択し、その他の障害物に対しては、画像の端付近で撮影された障害物の画像を用いた訓練により得られた識別器のパラメータを選択してもよい。
　上述した変形例１によれば、次の作用効果が得られる。
　(１) レンズ歪や解像度といった、障害物とカメラ１０１の位置関係に応じた差が、障害物の向きを識別する識別器の訓練時に考慮される。そのため、向き推定部１０３による向き推定の精度が向上する。
＜変形例２＞
　車両用外界認識装置１００aは、パラメータ選択部１０６において、障害物とカメラ１０１の位置関係に応じて、向き推定部１０３が用いるパラメータを選択した。しかし、障害物とカメラ１０１の位置関係に応じたパラメータ選択処理の対象は、向き推定部１０３で用いるパラメータに限定されない。
　車両用外界認識装置１００aは、障害物検知部１０２において、障害物とカメラ１０１の位置関係に応じて障害物検知に用いるパラメータを選択してもよい。たとえば、障害物検知部１０２において、特開２０１５－１３２８７９号公報に記載のパターンマッチによる方法を用いる場合には、画像のラスタスキャン操作において、画像中での位置に応じて歩行者と背景を識別する識別器のパラメータを変更してもよい。
　上述した変形例２によれば、次の作用効果が得られる。
　(１) レンズ歪や解像度といった、障害物とカメラ１０１の位置関係に応じた差が、障害物を識別する識別器の訓練時に考慮される。そのため、障害物検知部１０２による障害物検知の精度が向上する。
＜変形例３＞
　向き補正部１０４は、カメラ１０１から障害物への光線ベクトルを基準とし、向き推定部１０３が推定した向きを変換することで、向きを補正した(図５、ステップＳ６００～ステップＳ６０１)。しかし向きの補正方法はこれに限定されない。
　向き補正部１０４は、光線ベクトルを基準として変換した向きを、さらに変換することで、向きを補正してもよい。たとえば、光線ベクトルを基準として変換された向きが、車両座標系における後ろ向き(０度)、右向き(９０度)、正面向き(１８０度)、左向き(２７０度)の４方向のうち、どの方向に最も近いかを計算し、最も近い向きを補正後の障害物の向きとしてもよい。
　上述した変形例３によれば、次の作用効果が得られる。
　(１) 向き補正部１０４が出力する向きの候補は、障害物とカメラ１０１の位置関係に依らず、すべての障害物に対して同じとなる。そのため、車両用外界認識装置１００aが出力する障害物向きを利用した歩行者行動予測・車両制御手法をさらに簡易にすることができる。
　本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
１００…車両用外界認識装置、１０１…カメラ、１０２…障害物検知部、１０３…向き推定部、１０４…向き補正部、３００…車両

Claims (12)

  1. 　車両に搭載され当該車両の周囲を撮影するカメラと、
    　前記カメラが撮影して得られた画像における障害物の位置を検知する障害物検知部と、
    　前記障害物検知部が検知した前記障害物の向きを推定する向き推定部と、
    　前記向き推定部が推定した前記障害物の向きを、前記障害物と前記カメラの位置関係に応じて補正する、向き補正部と、
    　を備える車両用外界認識装置。
  2. 　請求項１に記載の車両用外界認識装置において、
    　前記向き補正部は、前記カメラから前記障害物への光線ベクトルに基づき、前記向き推定部が推定した前記障害物の向きを変換する、車両用外界認識装置。
  3. 　請求項１に記載の車両用外界認識装置において、
    　前記向き補正部は、前記障害物検知部が検知した前記障害物の位置と、前記向き推定部が推定した前記障害物の向きからテーブルを参照することにより、補正後の向きを得る、車両用外界認識装置。
  4. 　請求項１から３のいずれか一項に記載の車両用外界認識装置において、
    　前記障害物までの距離を計測する距離センサをさらに備え、
    　前記障害物検知部は、前記距離センサにより計測された距離に基づき、前記カメラが撮影して得られた画像における前記障害物の位置を検知する、車両用外界認識装置。
  5. 　請求項１から４のいずれか一項に記載の車両用外界認識装置において、
    　前記障害物検知部が検知した障害物と前記カメラの位置関係に応じて、前記向き推定部が使用するパラメータを選択するパラメータ選択部をさらに備える車両用外界認識装置。
  6. 　請求項５に記載の車両用外界認識装置において、
    　前記パラメータ選択部は、前記向き補正部が出力する向き候補の、前記障害物位置による差が小さくなるようにパラメータを選択する、車両用外界認識装置。
  7. 　請求項５に記載の車両用外界認識装置において、
    　前記パラメータ選択部は、障害物とカメラの位置関係毎に異なる画像郡を用いて識別器を訓練することにより得られた複数のパラメータから、パラメータを選択する、車両用外界認識装置。
  8. 　請求項１から７のいずれか一項に記載の車両用外界認識装置において、
    　前記障害物検知部は、障害物候補と前記カメラの位置関係に応じて、障害物検知に使用するパラメータを選択する、車両用外界認識装置。
  9. 　請求項１から８のいずれか一項に記載の車両用外界認識装置において、
    　前記向き補正部は、前記障害物の位置によらず設定された向きの候補の中から、最も近い向きを選択して出力する、車両用外界認識装置。
  10. 　請求項１から９のいずれか一項に記載の車両用外界認識装置において、
    　前記障害物検知部は、歩行者を障害物として検知し、
    　前記向き推定部は、前記障害物検知部が検知した前記歩行者の向きを推定し、
    　前記向き補正部は、前記向き推定部が推定した前記歩行者の向きを補正する、車両用外界認識装置。
  11. 　請求項１から９のいずれか一項に記載の車両用外界認識装置において、
    　前記障害物検知部は、車両を障害物として検知し、
    　前記向き推定部は、前記障害物検知部が検知した前記車両の向きを推定し、
    　前記向き補正部は、前記向き推定部が推定した前記車両の向きを補正する、車両用外界認識装置。
  12. 　請求項１から１１のいずれか一項に記載の車両用外界認識装置において、
    　前記カメラは広角カメラである、車両用外界認識装置。
PCT/JP2015/082967 2015-11-25 2015-11-25 車両用外界認識装置 WO2017090097A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017552566A JP6577595B2 (ja) 2015-11-25 2015-11-25 車両用外界認識装置
US15/769,153 US10572753B2 (en) 2015-11-25 2015-11-25 Outside recognition device for vehicle
PCT/JP2015/082967 WO2017090097A1 (ja) 2015-11-25 2015-11-25 車両用外界認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/082967 WO2017090097A1 (ja) 2015-11-25 2015-11-25 車両用外界認識装置

Publications (1)

Publication Number Publication Date
WO2017090097A1 true WO2017090097A1 (ja) 2017-06-01

Family

ID=58764051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082967 WO2017090097A1 (ja) 2015-11-25 2015-11-25 車両用外界認識装置

Country Status (3)

Country Link
US (1) US10572753B2 (ja)
JP (1) JP6577595B2 (ja)
WO (1) WO2017090097A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020044266A (ja) * 2018-09-21 2020-03-26 キヤノンメディカルシステムズ株式会社 医用情報処理装置、ｘ線診断装置及び医用情報処理プログラム
JP2020534197A (ja) * 2017-09-22 2020-11-26 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 動力車両用の表示手段の形状に基づいた画像処理を適合させるための装置と方法
JP2021054388A (ja) * 2019-09-30 2021-04-08 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドＢｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 自動運転の制御方法、装置、電子機器及び記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173899A (ja) * 2003-12-10 2005-06-30 Nissan Motor Co Ltd 周囲状況表示装置
JP2014050100A (ja) * 2012-09-01 2014-03-17 Honda Motor Co Ltd 車両周辺監視装置
JP2014142241A (ja) * 2013-01-23 2014-08-07 Denso Corp ３次元位置推定装置、車両制御装置、および３次元位置推定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
US7671725B2 (en) 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP4173896B2 (ja) 2006-04-03 2008-10-29 本田技研工業株式会社 車両周辺監視装置
JP2008230561A (ja) * 2007-03-23 2008-10-02 Alpine Electronics Inc 撮像制御装置および測光領域調整方法
JP4840472B2 (ja) * 2009-04-15 2011-12-21 トヨタ自動車株式会社 物体検出装置
JP5603835B2 (ja) * 2011-06-27 2014-10-08 クラリオン株式会社 車両周囲監視装置
US10095935B2 (en) * 2013-12-20 2018-10-09 Magna Electronics Inc. Vehicle vision system with enhanced pedestrian detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005173899A (ja) * 2003-12-10 2005-06-30 Nissan Motor Co Ltd 周囲状況表示装置
JP2014050100A (ja) * 2012-09-01 2014-03-17 Honda Motor Co Ltd 車両周辺監視装置
JP2014142241A (ja) * 2013-01-23 2014-08-07 Denso Corp ３次元位置推定装置、車両制御装置、および３次元位置推定方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020534197A (ja) * 2017-09-22 2020-11-26 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ 動力車両用の表示手段の形状に基づいた画像処理を適合させるための装置と方法
JP2020044266A (ja) * 2018-09-21 2020-03-26 キヤノンメディカルシステムズ株式会社 医用情報処理装置、ｘ線診断装置及び医用情報処理プログラム
JP7233874B2 (ja) 2018-09-21 2023-03-07 キヤノンメディカルシステムズ株式会社 医用情報処理装置、ｘ線診断装置及び医用情報処理プログラム
JP2021054388A (ja) * 2019-09-30 2021-04-08 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドＢｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 自動運転の制御方法、装置、電子機器及び記憶媒体
US11529971B2 (en) 2019-09-30 2022-12-20 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for autonomous driving control, electronic device, and storage medium
JP7271467B2 (ja) 2019-09-30 2023-05-11 アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド 自動運転の制御方法、装置、電子機器及び記憶媒体

Also Published As

Publication number Publication date
JPWO2017090097A1 (ja) 2018-08-30
US10572753B2 (en) 2020-02-25
US20180307932A1 (en) 2018-10-25
JP6577595B2 (ja) 2019-09-18

Similar Documents

Publication Publication Date Title
US10242576B2 (en) Obstacle detection device
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
WO2013132947A1 (ja) 距離算出装置及び距離算出方法
US10776946B2 (en) Image processing device, object recognizing device, device control system, moving object, image processing method, and computer-readable medium
WO2014073322A1 (ja) 物体検出装置及び物体検出方法
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
US11233983B2 (en) Camera-parameter-set calculation apparatus, camera-parameter-set calculation method, and recording medium
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP6138861B2 (ja) 距離算出装置
US10719949B2 (en) Method and apparatus for monitoring region around vehicle
WO2013035612A1 (ja) 障害物検知装置、障害物検知方法及び障害物検知プログラム
JP6577595B2 (ja) 車両用外界認識装置
JP5107154B2 (ja) 運動推定装置
JP7169689B2 (ja) 計測システム、計測方法、及び計測プログラム
CN112400094B (zh) 物体探测装置
US20190156512A1 (en) Estimation method, estimation apparatus, and non-transitory computer-readable storage medium
JP2017117038A (ja) 道路面推定装置
US20180268228A1 (en) Obstacle detection device
JP2015215235A (ja) 物体検出装置及び物体検出方法
KR102565603B1 (ko) 긴급 제동 시스템의 성능평가 장치 및 방법
WO2020246202A1 (ja) 計測システム、計測方法、及び計測プログラム
US20210404843A1 (en) Information processing apparatus, control method for information processing apparatus, and storage medium
JP6064648B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置
JP6111732B2 (ja) 画像処理装置、画像処理方法、画像処理システム、画像処理プログラム及び移動装置
KR20240032547A (ko) 카메라에 오염이 발생했는지 여부를 실시간으로 판단하는 방법 및 이를 이용한 오염도 추정 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15909216

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017552566

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15769153

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15909216

Country of ref document: EP

Kind code of ref document: A1