WO2017078001A1 - 障害物検知装置 - Google Patents

障害物検知装置 Download PDF

Info

Publication number
WO2017078001A1
WO2017078001A1 PCT/JP2016/082400 JP2016082400W WO2017078001A1 WO 2017078001 A1 WO2017078001 A1 WO 2017078001A1 JP 2016082400 W JP2016082400 W JP 2016082400W WO 2017078001 A1 WO2017078001 A1 WO 2017078001A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
parking space
unit
camera
area
Prior art date
Application number
PCT/JP2016/082400
Other languages
English (en)
French (fr)
Inventor
秀行 粂
將裕 清原
待井　君吉
範安 長谷島
吉孝 内田
健人 緒方
雄太 大泉
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to EP16862061.5A priority Critical patent/EP3372456A4/en
Priority to US15/767,884 priority patent/US10242576B2/en
Publication of WO2017078001A1 publication Critical patent/WO2017078001A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Definitions

  • the present invention relates to an obstacle detection device.
  • Patent Document 1 a mark having a predetermined positional relationship with respect to the parking section is installed, and it is determined whether or not the vehicle is stopped at the target initial stop position based on the image of the photographed mark.
  • a parking assist device that detects the presence or absence of an obstacle when it is determined that the vehicle is stopped at a position is disclosed.
  • the obstacle detection device includes a first camera that is mounted on a moving vehicle and images the front or rear of the vehicle, and a second camera that is mounted on the vehicle and images a side of the vehicle.
  • a parking space detection unit that detects a parking space of the vehicle based on an image obtained by photographing the first camera, a storage unit that stores an area in the real space of the parking space detected by the parking space detection unit,
  • An exercise acquisition unit that acquires information on the behavior of the vehicle, an obstacle calculation unit that calculates information on obstacles around the parking space based on a plurality of images obtained by the second camera taken at different times, and
  • a processing area setting unit that controls calculation in the obstacle calculation unit based on information on the real space of the parking space stored in the storage unit and information on the behavior of the vehicle acquired by the exercise acquisition unit.
  • the processing load due to the calculation of obstacle information can be reduced.
  • the figure which shows the structure of the obstruction detection apparatus 100 The figure which shows an example of the parking space information area 12a
  • the figure which represented the function which the program executed in obstacle detection device 100 has as a functional block
  • the flowchart which shows the process performed in the process area setting part 105 The figure which shows an example of the distance d of a parking space and the own vehicle
  • the flowchart which shows the process performed in the side obstacle detection part 106 The figure which represented as a functional block the function which the program performed in the obstacle detection apparatus 100a in 2nd Embodiment has.
  • FIG. 1 is a diagram illustrating a configuration of an obstacle detection device 100 built in a vehicle 500.
  • the vehicle 500 includes a CAN bus 20, and the obstacle detection device 100 is connected to the CAN bus 20.
  • Other devices not shown are also connected to the CAN bus 20.
  • a device that outputs the traveling direction of the vehicle to the CAN bus 20 a device that outputs the vehicle speed to the CAN bus 20, and a device that controls the vehicle 500 based on the obstacle information output by the obstacle detection device 100 are connected. Is done.
  • the obstacle detection apparatus 100 includes a front camera 101, a side camera 102, a CPU 10, a ROM 11, a RAM 12, and a CAN interface 13.
  • the front camera 101 is attached to the upper front of the vehicle 500 and photographs the front of the vehicle 500.
  • Side camera 102 is attached to the left side surface of vehicle 500 and photographs the left side of vehicle 500.
  • the CPU 10 calculates obstacle information from images obtained by the front camera 101 and the side camera 102 using a program to be described later at predetermined intervals, for example, every 0.1 second.
  • the calculated obstacle information is output to the CAN bus 20 via the CAN interface 13.
  • the above-described predetermined cycle is referred to as a “processing cycle”.
  • the ROM 11 stores a program and camera parameters of the front camera 101 and the side camera 102.
  • the program is developed from the ROM 11 to the RAM 12 by the CPU 10 and executed.
  • the camera parameters are internal parameters such as lens distortion and external parameters such as a camera mounting position / angle with respect to the vehicle.
  • the RAM 12 temporarily stores the parking space information area 12a or other information necessary for executing the program.
  • the parking space information area 12a will be described later.
  • the CAN interface 13 is a communication interface with the CAN bus 20 of the obstacle detection device 100.
  • the obstacle detection device 100 acquires movement information of the vehicle 500, that is, information related to the traveling direction and speed of the vehicle 500 via the CAN interface 13.
  • the obstacle detection device 100 outputs the calculated obstacle information to the CAN bus 20 via the CAN interface 13.
  • the parking space information area 12a is a predetermined area of the RAM in which information related to a parking space detected by a parking space detection unit 103 described later is stored.
  • the information regarding the parking space is the position and posture of the parking space in the real space with respect to the host vehicle.
  • the position and orientation of the parking space to be output are represented as a combination of a plurality of vertex coordinates that constitute the parking space, for example. Or you may represent as a combination of the center coordinate of a parking space, the magnitude
  • FIG. 2 is a diagram illustrating an example of information related to a parking space stored in the parking space information area 12a. In the example shown in FIG.
  • the parking space information area 12a stores three records, that is, information on three parking spaces.
  • the parking space is expressed as a combination of a plurality of vertex coordinates constituting the parking space. These coordinates represent a coordinate system around the host vehicle, that is, a relative position.
  • FIG. 3 is a diagram illustrating the functions of a program executed in the CPU 10 of the obstacle detection apparatus 100 as function blocks. That is, the obstacle detection device 100 is configured to execute a parking space detection function by the parking space detection unit 103, a vehicle motion acquisition function by the vehicle motion acquisition unit 104, and a processing region setting by the processing region setting unit 105 according to a program executed by the CPU 10. A function, a side obstacle detection function by the side obstacle detection unit 106, and an output function by the output unit 107.
  • the obstacle detection device 100 causes the front camera 101 and the side camera 102 to take images at a predetermined cycle, that is, every processing cycle, and performs processing by each functional block when an image is obtained by shooting.
  • the parking space detection unit 103 starts processing, and when the parking space detection unit 103 completes processing, the processing area setting unit 105 starts processing.
  • the side obstacle detection unit 106 starts the process. That is, each functional block operates every processing cycle.
  • the parking space detection unit 103 detects a parking space existing in front of the host vehicle from an image obtained by photographing the front camera 101, and adds information on the detected parking space to the parking space information area 12a.
  • the detection of a parking space is, for example, detecting a white line from an image and detecting a region between two white lines as a parking space.
  • an obstacle is detected from the image, and an area where no obstacle exists is used as a parking space.
  • the same processing as that of the side obstacle detection unit 106 described later can be used.
  • the vehicle motion acquisition unit 104 acquires information regarding the motion of the vehicle 500, that is, information regarding the traveling direction and speed of the vehicle 500 via the CAN interface 13. Then, the movement amount of the vehicle 500 from the previous processing cycle to the current processing cycle is calculated and output to the processing region setting unit 105.
  • the movement information of the vehicle 500 is acquired via the CAN bus 20 as information output from the wheel encoder that acquires the rotation amount of the wheel attached to the vehicle 500 and the steering angle. By executing the calculation according to the geometric model of the vehicle based on these pieces of information, the amount of movement of the vehicle, for example, 2 m to the right and 0.5 m to the front is calculated.
  • an output value of a sensor capable of acquiring posture / position information such as an acceleration / angular accelerometer and GPS mounted on the vehicle 500 is acquired via the CAN bus 20 to calculate the movement amount of the vehicle. Also good.
  • the processing area setting unit 105 sets a processing area C, which is an area on the image, to be processed by the side obstacle detection unit 106, which is a subsequent process.
  • the processing area C is set based on the information output from the parking space detection unit 103 and stored in the parking space information area 12a of the RAM and the output of the vehicle motion acquisition unit 104, that is, vehicle motion information. As will be described later, when the processing area C is blank, that is, when the processing area C does not exist, the side obstacle detection unit 106 does not perform processing.
  • the side obstacle detection unit 106 performs the following processing on a plurality of images obtained by photographing the side camera 102 at different times. That is, in the image obtained in the current processing cycle, the processing region C set as described above is specified, and the image information including luminance included in the processing region C and obtained in the past processing cycle. An obstacle present on the side of the vehicle is detected using image information including luminance included in the image, and a relative position with respect to the obstacle is output. When the processing area C is set to be blank by the processing area setting unit 105, the side obstacle detection unit 106 does not perform processing. Details of the processing will be described later.
  • the output unit 107 outputs the obstacle detection result to the CAN bus 20 via the CAN interface 13.
  • FIG. 4 is a flowchart showing processing executed in the processing area setting unit 105.
  • the execution subject of each step described below is the CPU 10.
  • step S210 processing area C is cleared and processing area C is left blank.
  • step S216 the side obstacle detection unit 106 does not calculate the three-dimensional position unless the processing region C is set in step S216 described later.
  • step S211 the process proceeds to step S211.
  • step S211 the information stored in the parking space information area 12a of the RAM 12 is updated using the movement amount of the vehicle from the immediately preceding processing cycle output by the vehicle motion acquisition unit 104 to the current processing cycle.
  • the parking space detected by the parking space detection unit 103 in the current processing cycle uses the information regarding the parking space output by the parking space detection unit 103 as it is.
  • step S212 The processes after the next step S212 are repeated for each parking space stored in the parking space information area 12a.
  • step S212 is executed for the first time, the first record stored in the parking space information area 12a is processed.
  • step S212 the distance d between the parking space and the host vehicle is calculated from the relative position / posture of the parking space and the host vehicle, and the process proceeds to step S213.
  • FIG. 5 is a diagram illustrating an example of a distance d between the parking space and the host vehicle.
  • a parked vehicle 501 parked between the white lines 502 exists around the host vehicle.
  • the parking space detection unit 103 detects the parking space 503.
  • the position of the parking space 503 is defined as the position closest to the host vehicle 500 in the parking space, and the position of the host vehicle is defined as the position of the side camera 102.
  • a distance 504 between the position of the parking space 503 and the position of the host vehicle is calculated, and this is defined as a distance d.
  • the position of the left camera is used as the position of the host vehicle, but the position of the host vehicle is not limited to this, and may be the center of the host vehicle, for example.
  • the position closest to the host vehicle is used as the position of the parking space
  • the position of the parking space is not limited to this, and may be the center of the parking space, for example.
  • step S213 it is determined whether or not the distance d between the parking space and the host vehicle is equal to or less than a preset threshold value d_th. If it is determined that the distance d is less than or equal to the threshold value d_th, the process proceeds to step S214. If it is determined that the distance d is greater than the threshold value d_th, the process proceeds to step S217.
  • step S214 a prediction area P, which is an area where the parking space and the vicinity of the parking space are expected to be reflected in the image obtained by photographing with the side camera 102, is calculated.
  • the prediction area P can be obtained by projection calculation according to a perspective projection model or the like using the parking space, the relative position / posture of the host vehicle, and external / internal parameters of the side camera 102.
  • step S215 it is determined whether or not the entire prediction region P calculated in step S214 exists in the determination region A set in advance.
  • the determination area A is defined as follows. The peripheral portion of the image obtained by photographing with the side camera 102 has a large distortion. For this reason, the area excluding the peripheral portion of the image is set as the determination area A. If it is determined that the entire prediction region P exists within the determination region A, the process proceeds to step S216. If it is determined that a part of the prediction region P does not exist in the determination region A or that the prediction region P and the determination region A do not overlap at all, the process proceeds to step S217.
  • FIG. 6 is a diagram illustrating an example of the prediction region P and the determination region A.
  • a parked vehicle 511 and a white line 512 are shown in an image 510 obtained by photographing with the side camera 102.
  • a prediction area P which is an area where the parking space and the surroundings of the parking space are expected to be reflected, is calculated by projection calculation.
  • step S215 it is determined whether or not the prediction area P exists within the predetermined determination area A. In the example shown in FIG. 6, since the entire prediction area P exists in the determination area A, the process proceeds to step S216. Returning to FIG. 4, the description will be continued.
  • step S216 the prediction region P calculated in step S214 is set as the processing region C.
  • a region wider than the prediction region P may be set as the processing region C in consideration of the detection position of the parking space, the moving amount of the vehicle, and the calibration error.
  • step S217 it is determined whether all the records stored in the parking space information area 12a of the RAM 12 have been processed. If it is determined that all the records have been processed, the process represented by the flowchart of FIG. 4 is terminated. If it is determined that there are any unprocessed records, the process returns to step S212. For example, when a plurality of records are stored in the parking space information area 12a, the respective prediction areas P corresponding to these records may be calculated, and an area obtained by combining them may be set as the processing area C. .
  • FIG. 7 is a flowchart showing processing executed in the side obstacle detection unit 106.
  • the side obstacle detection unit 106 calculates the three-dimensional position of the side obstacle based on the image obtained by the side camera 102 and the processing area C set by the processing area setting unit 105.
  • the execution subject of each step described below is the CPU 10.
  • step S200 it is determined whether or not the processing area C exists.
  • the side obstacle detection unit 106 when the processing area C is cleared in step S210 and step S216 is not executed once, the processing area C does not exist. If it is determined that the processing area C exists, the process proceeds to step S201. If it is determined that the processing area C does not exist, the process represented by the flowchart shown in FIG.
  • step S201 a feature point is extracted from an area included in the processing area C, which is an image obtained by the side camera 102 in the current processing cycle.
  • the feature points extracted in this step are used in the next step.
  • Feature points are extracted, for example, by the Harris corner detection method (C. Harris and M. Stephens: “A) that extracts points (feature points) that have large differences from surrounding points and can be easily matched from the corners and edges. combined corner and edge detector, ”Proc. Alvey Vision Conf., pp. 147-151, 1988.).
  • Harris corner detection method C. Harris and M. Stephens: “A) that extracts points (feature points) that have large differences from surrounding points and can be easily matched from the corners and edges. combined corner and edge detector, ”Proc. Alvey Vision Conf., pp. 147-151, 1988.
  • step S202 a point corresponding to the feature point extracted in step S201 is searched from the image of the side camera 102 n cycles before.
  • An arbitrary value is set in advance in n. Or you may set the period required for the movement of the preset distance according to the movement amount of the vehicle obtained from the vehicle movement acquisition part 104.
  • FIG. When a corresponding point is searched from the image of the side camera 102 before n cycles, it is determined that the point is an obstacle.
  • an efficient search can be performed by searching around the position where the feature points are extracted.
  • a search is performed by setting a certain range centered on the position where the feature points are extracted as the search range.
  • a neighboring image pattern centered on the position of the feature point is used, and a pattern most similar to the image pattern is searched for within the search range.
  • SSD Sum of Squared Difference
  • SAD Sum of Absolute Difference
  • NCC Normalized Cross Correlation
  • the LK method (Bruce D. Lucas and Takeo Kanade. An Iterative) is used to search for a point where the SSD value becomes small in the vicinity of the initial value by using the feature point extraction position as an initial value. Image Registration Technique with an Application to Stereo Vision. Int. Joint Conf. On Artificial Intelligence, pp. 674-679, 1981.).
  • the LK method can obtain the association at high speed and high accuracy when the movement between images is small, and is suitable for the association between temporally continuous images taken by the moving body.
  • step S203 the three-dimensional position of the feature point associated in step S202 is calculated.
  • the three-dimensional position of the feature point includes the position of the feature point in the image in the current processing cycle and the processing cycle before n cycles, the internal parameters of the side camera 102, and the amount of movement of the side camera 102 during the n cycles. And can be calculated based on the principle of triangulation.
  • the amount of movement of the side camera 102 can be calculated from the amount of movement of the vehicle acquired by the vehicle motion acquisition unit 104 and the attachment position / angle of the side camera 102 to the vehicle.
  • an SfM Structure from Motion
  • the side obstacle detection unit 106 detects a side obstacle as a three-dimensional point group.
  • a side obstacle may be obtained by connecting points that are close to each other.
  • the height of the detected obstacle is equal to or less than a predetermined value, it may be excluded from the obstacle because it does not hinder the traveling of the vehicle.
  • the obstacle detection device 100 is mounted on a moving vehicle 500 and captures the front of the vehicle, that is, the front camera 101, and the second camera mounted on the vehicle 500 and images the left side of the vehicle, That is, on the actual space of the parking space detected by the parking space detection unit 103 and the parking space detection unit 103 that detects the parking space of the vehicle based on the image obtained by the side camera 102 and the first camera.
  • An obstacle calculation unit that calculates information on obstacles existing around the parking space, that is, the side obstacle detection unit 106 and the storage unit Region in the real space ⁇ been parking space, and on the basis of the information about the motion of the vehicle 500 motion acquiring unit acquires, and a processing area setting unit 105 that controls the calculation of the obstacle calculator.
  • the processing area setting unit 105 performs a side obstacle based on a parking space detected from an image obtained by photographing the front camera 101 and vehicle movement information related to translation and rotation of the vehicle 500.
  • the detection unit 106 is controlled. Therefore, the processing load due to the obstacle information calculation performed by the side obstacle detection unit 106 can be reduced.
  • the processing area setting unit 105 is based on the real space area of the parking space stored in the storage unit and the information about the behavior of the vehicle acquired by the motion acquisition unit. If the distance is longer than a predetermined distance, it is determined that the obstacle calculation unit does not perform the obstacle information calculation process (FIG. 4, step S213). For this reason, when the distance between the side camera 102 and the parking space is long, the side obstacle detection unit 106 is not calculated for obstacle calculation by not setting the processing area C (FIG. 7, step S200: NO), obstacle information calculation processing can be reduced. This is because, when the distance between the side camera 102 and the parking space is long, the image obtained by shooting with the side camera 102 is shot only with a small parking space. This is because it is difficult to calculate the object information, or even if it can be calculated, the accuracy is considered low.
  • the processing area setting unit 105 is photographed by the side camera 102 based on information on the real space of the parking space stored in the storage unit and information on the motion of the vehicle 500 acquired by the vehicle motion acquisition unit 104. Whether to calculate the area of the parking space in the obtained image, that is, the prediction area P, and cause the obstacle calculation unit to calculate based on the relationship between the prediction area P and the predetermined determination area A in the image Is determined (FIG. 4, step S215). For this reason, in the image obtained by photographing with the side camera 102, the region excluding the peripheral portion is set as the determination region A. Therefore, when the prediction region P is not included in the determination region A, the processing region C is set. Without setting, the obstacle information calculation processing can be reduced.
  • the processing area setting unit 105 captures an image of the parking space in the image obtained by the second camera, that is, when at least a part of the prediction area P is included in the determination area A. In the obtained image, an area included in the determination area A is set as a processing area C.
  • the processing area setting unit 105 causes the side obstacle detection unit 106 to perform calculation using image information including luminance and the like included in the processing area C. Therefore, the side obstacle detection unit 106 calculates the obstacle information using the image included in the determination area A with a small distortion, so that the obstacle information with high accuracy can be obtained.
  • the processing area setting unit 105 captures the image of the parking space in the image obtained by capturing with the second camera, that is, when the determination area A includes at least a part of the prediction area P. In the obtained image, a region where the determination region A and the prediction region P overlap is set as the processing region C.
  • the processing area setting unit 105 causes the side obstacle detection unit 106 to perform calculation using image information including luminance included in the processing area C. Therefore, since only the area where the parking space which is the object for which information is to be obtained is photographed is set as the processing area C, the obstacle with high accuracy while reducing the obstacle information calculation processing. Information can be obtained.
  • the obstacle detection apparatus 100 may include a camera that captures the rear of the vehicle 500 instead of the front camera 101 that captures the front of the vehicle 500, and a camera that captures the rear of the vehicle 500 in addition to the front camera 101. You may prepare. When a camera that captures the rear of the vehicle 500 is provided instead of the front camera 101, an image obtained by photographing a rear of the vehicle 500 is used instead of an image obtained by photographing the front camera 101. The processing described in the first embodiment is used.
  • the processing described in the first embodiment may be individually performed on images obtained by capturing each camera. .
  • An image may be used.
  • the obstacle detection apparatus 100 may include a camera that captures the right side of the vehicle 500 instead of the side camera 102 that captures the left side of the vehicle 500. You may provide the camera which image
  • the use of the side camera 102 and the camera that captures the right side of the vehicle 500 is the same as the use of the front camera 101 and the camera that captures the rear of the vehicle 500 described above.
  • the obstacle detection target image is a right-side image based on the function of determining whether the parking space exists on the left or right side of the vehicle using the front camera image or the rear image and the presence direction of the parking space that is the determination result. This is a function for switching between the left image and the left image.
  • the obstacle detection device 100 is connected to other devices via the CAN bus 20 of the vehicle 500.
  • the connection relationship between the obstacle detection apparatus 100 and other devices is not limited to this.
  • the obstacle detection apparatus 100 may be connected to other devices via a communication bus other than CAN, or may be directly connected to other devices without using a communication bus. Further, the obstacle detection device 100 may be incorporated in a camera device or an integrated controller.
  • the processing region setting unit 105 sets the prediction region P as the processing region C when the entire prediction region P exists in the determination region A (FIG. 4, step S215: YES, step S216).
  • the processing region setting unit 105 may set the entire determination region A as the processing region C when the entire prediction region P exists in the determination region A, or may be obtained by photographing the side camera 102.
  • the entire area of the image may be set as the processing area C.
  • the processing region setting unit 105 may set the prediction region P as the processing region C or set the determination region A as the processing region C when at least a part of the prediction region P exists in the determination region A.
  • an area where the determination area A and the prediction area P overlap may be set as the processing area C, or the entire area of the image obtained by the side camera 102 is set as the processing area C. May be.
  • the distance threshold d_th (FIG. 4, step S213) used for processing of the processing area setting unit 105 is set to infinity, and only the predicted area P of the parking space is used regardless of the distance.
  • the processing area C may be set, or the entire image of the side camera 102 may be set as the determination area A. Further, a plurality of combinations of the distance threshold d_th and the determination region A are prepared, and the processing region C of the side obstacle detection unit 106 is set by repeatedly performing the processing from step S213 to step S217 on the plurality of combinations. May be.
  • the side obstacle detection unit 106 performs processing. Settings such as enabling can be made.
  • Modification 5 In the first embodiment described above, the side obstacle detection method based on the three-dimensional position calculation of the feature points using triangulation has been described, but the processing content of the side obstacle detection unit 106 is not limited to this.
  • a technique may be used in which an internal or external parameter of the camera is used to convert the surrounding environment into an image (overhead image) viewed from directly above, and an obstacle is detected on the overhead image based on an edge or the like. In order to realize this modification, it is necessary to add the following functions to the obstacle detection apparatus 100.
  • a camera that captures the forward direction, the rear direction, the right direction, and the left direction of the vehicle, an overhead image generation function that generates an overhead image by combining images captured by the multiple cameras, and an overhead image
  • an overhead image generation function that generates an overhead image by combining images captured by the multiple cameras
  • an overhead image This is a function for detecting obstacles on the side of the vehicle using the. Even in this case, it is possible to reduce the calculation cost by converting only the processing area C set by the processing area setting unit 105 into an overhead image.
  • the processing area setting unit 105 calculates the distance between the parking space and the host vehicle, and calculates the predicted area P of the parking space when the distance is equal to or less than a predetermined threshold (FIG. 4). Step S213: YES, S214).
  • the processing area setting unit 105 calculates the relative position / posture between the parking space and the host vehicle, and calculates the predicted area P of the parking space in the image obtained by the side camera 102 without performing any special determination. May be. That is, step S214 may be executed after step S211 in FIG.
  • step S215 it is next determined whether or not the area of the prediction region P on the image is larger than a predetermined area. If it is determined that the predicted area P is larger than the predetermined area, the process proceeds to step S215 and predetermined. When it is determined that the area is equal to or smaller than the determined area, the process proceeds to step S217. The determination may be made based on the area of the region where the prediction region P and the determination region A overlap.
  • the processing area setting unit 105 determines whether the second camera, that is, the side camera 102 is based on the information on the real space of the parking space stored in the storage unit and the vehicle behavior acquired by the motion acquisition unit.
  • the area of the parking space in the image obtained by photographing, that is, the area of the prediction region P is calculated, and when the calculated area is larger than the predetermined area, the processing region C is set, and the obstacle calculation unit, that is, the side
  • the direction obstacle detection unit 106 performs calculation.
  • FIGS. 1-10 A second embodiment of the obstacle detection apparatus according to the present invention will be described with reference to FIGS.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • This embodiment differs from the first embodiment mainly in that it includes a front obstacle detection unit.
  • FIG. 8 is a diagram showing the functions of a program executed in the obstacle detection apparatus 100a as function blocks.
  • the differences between the second embodiment and the first embodiment are as follows.
  • the front obstacle detection part 208 is further provided.
  • a processing area setting unit 105 a is provided instead of the processing area setting unit 105.
  • An image obtained by photographing the front camera 101 is transmitted to the front obstacle detection unit 208, and the parking space detection unit 103a operates based on the processing result of the front obstacle detection unit 208.
  • the output unit 107 receives input not only from the side obstacle detection unit 106 but also from the front obstacle detection unit 208.
  • the front obstacle detection unit 208 detects an obstacle present in front of the vehicle from a plurality of images obtained by photographing the front camera 101 at different times, and outputs the position of the obstacle with respect to the host vehicle.
  • the processing of the front obstacle detection unit 208 is the same as that of the side obstacle detection unit 106, and the difference is not the image obtained by photographing the side camera 102 but the image obtained by photographing the front camera 101. It is a point to use.
  • the processing area C is assumed to be set in advance.
  • the entire image of the front camera 101 may be the processing area C.
  • the distortion at the edge of the image is large, such as when the image is taken with a camera equipped with a fisheye lens, it is effective to set the vicinity of the center of the image as the processing region C.
  • the output unit 107 outputs the obstacle position in front of the vehicle detected by the front obstacle detection unit 208 and the obstacle position on the side of the vehicle detected by the side obstacle detection unit 106 to the CAN bus 20. As will be described later, only the position where the obstacle is not detected by the front obstacle detection unit 208 becomes the processing target of the side obstacle detection unit 106. Therefore, the output unit 107 outputs the obstacle position output from the front obstacle detection unit 208 and the obstacle position output from the side obstacle detection unit 106 as they are.
  • FIG. 9 is a flowchart showing processing executed in the processing area setting unit 105a.
  • the difference between this flowchart and the flowchart shown in FIG. 2 in the first embodiment is the processing from the determination in step S215 to the step S217.
  • the execution subject of each step described below is the CPU 10.
  • step S250 which is executed when an affirmative determination is made in step S215, the front obstacle detection unit 208 executed in the current processing cycle is an area in the real space that exists behind the obstacle and cannot be measured.
  • a certain unmeasured area U is calculated. That is, the area that is divided by the obstacle detected by the front obstacle detection unit 208 and is farther from the front camera 101 than the obstacle is the unmeasured area U.
  • the process proceeds to step S216a.
  • FIG. 10 is a diagram illustrating an example of an unmeasured area.
  • FIG. 10 shows a state in which an obstacle 521 existing in front of the vehicle is detected using a plurality of images obtained by photographing the front camera 101 at different times. At this time, an area between the front camera 101 and the obstacle 521 is a measured area because it is considered that no other obstacle exists, and the remaining area is an unmeasured area U.
  • step 216a an area to be processed by the side obstacle detection unit 106 is set. That is, the unmeasured area U in the real space calculated in step S215 is projected onto an image obtained by photographing the side camera 102, and an unmeasured projection area W on the image is obtained.
  • This unmeasured projection area W is defined as an area processed by the side obstacle detection unit 106, that is, a processing area C.
  • the unmeasured projection area W the relative position / posture between the unmeasured area U and the host vehicle and the external / internal parameters of the front camera 101 and the side camera 102 are used.
  • an area wider than the unmeasured projection area W may be set as the processing area C in consideration of calculation errors.
  • step S217 The operation in step S217 is the same as that in the first embodiment.
  • the obstacle detection apparatus 100 is a first camera image processing unit that calculates obstacle information based on a plurality of images obtained by photographing the first camera, that is, the front camera 101 at different times, that is, the front obstacle.
  • An object detection unit 208 is provided.
  • the parking space detection unit 103a detects the parking space based on the calculation result of the forward obstacle detection unit 208.
  • the processing area setting unit 105a determines whether or not the obstacle calculation unit performs the calculation based on whether or not the obstacle information is calculated by the front obstacle detection unit 208. Therefore, the calculation process of the side obstacle detection unit 106 can be reduced by using the calculation result of the obstacle information by the front obstacle detection unit 208 performed for detecting the parking space. Specifically, when the obstacle information is already calculated by the forward obstacle detection unit 208, the processing region C is not set in the calculated region, and the calculation by the side obstacle detection unit 106 is performed. Processing can be reduced.
  • the processing region setting unit 105a sets the region that could not be measured by the front obstacle detection unit 208 in the current processing cycle as the unmeasured region U (FIG. 9, step S250).
  • an area that cannot be measured by the front obstacle detection unit 208 not only in the current processing period but also in the previous processing period may be set as the unmeasured area U. That is, the measured region in the past processing cycle is corrected using the vehicle motion from the past processing cycle output to the current processing cycle output by the vehicle motion acquisition unit 104. And the area
  • the processing area setting unit 105a may divide the real space into grids of a predetermined size, for example, a grid with a side of 1 m, and determine whether or not the front obstacle detection unit 208 can measure each grid. Good. In this case, the grid through which the line segment connecting the obstacle detected by the front obstacle detection unit 208 and the camera position has passed is set as measured. According to this modification, when the front and rear obstacles detected by the front obstacle detection unit 208 are a three-dimensional point group that is a collection of three-dimensional positions of feature points, a measured region for each point is obtained. Since it becomes a line, the problem that the measured area becomes sparse can be solved.
  • FIGS. A third embodiment of the obstacle detection apparatus according to the present invention will be described with reference to FIGS.
  • the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment.
  • both the front obstacle detection unit and the side obstacle detection unit calculate obstacle information for the same point, and output any obstacle information based on the reliability. This is different from the first embodiment.
  • FIG. 11 is a block diagram illustrating a configuration of the obstacle detection apparatus 100b according to the third embodiment.
  • the third embodiment in addition to the function with which the obstacle detection apparatus 100 in 1st Embodiment is provided, the front obstacle detection part 208 and the integration part 309 are provided.
  • the integration unit 309 combines the obstacle position in front of the vehicle detected by the front obstacle detection unit 208 and the obstacle position on the side of the vehicle detected by the side obstacle detection unit 106 and outputs the result to the output unit 107. .
  • step S600 the reliability of the obstacle position in front of the vehicle detected by the front obstacle detector 208 and the obstacle position on the side of the vehicle detected by the side obstacle detector 106 is calculated.
  • the reliability is determined using the magnitude of the parallax.
  • the parallax is an angle formed by a vector from the position of the obstacle to the positions of the respective cameras corresponding to the plurality of images used for calculating the obstacle.
  • the reliability is expressed by an integer from 0 to 100, for example, for easy comparison.
  • FIG. 13 is a diagram illustrating an example of parallax.
  • the side obstacle detection unit 106 performs obstacle information at the position 532 by triangulation using the position 530 of the host vehicle in the current processing cycle and the position 531 of the host vehicle in the past processing cycle. Is output.
  • the parallax is calculated as an angle 533 formed by a vector from the position 532 to the two camera positions used for triangulation. If the position of the obstacle is different, the angle formed by the vectors to the two camera positions is also different, so the reliability has a different value for each position, that is, for each obstacle.
  • the process proceeds to step S601.
  • step S601 the real space around the host vehicle is divided into grids. For example, a 10 m ⁇ 10 m space is divided into 100 1 m ⁇ 1 m grids with the host vehicle as the center. However, the size of the surrounding space and the grid may be arbitrarily changed.
  • step S602. the reliability of each camera is calculated from the reliability of each obstacle present in a certain grid. For example, the average value of the reliability of the obstacle position measured from the image of each camera is set as the camera reliability. Further, a median value may be used instead of the average value.
  • the obstacle position used for the calculation of the reliability of the camera is not limited to the obstacle position measured in the current processing cycle, and an obstacle position measured in the past processing cycle may be used.
  • step S603 based on the reliability calculated in step S602, the obstacle position measured from the image of the camera having the higher reliability of the front camera 101 and the side camera 102 is output in a certain grid.
  • the obstacle information obtained from the front camera 101 has two points of reliability 10 and 20, and the obstacle information obtained from the side camera 102 has one point of reliability 20.
  • the following output is produced: That is, since the reliability of the front camera 101 is an average value of 15 and the reliability of the side camera 102 is 20, only one point obtained from the front camera 101 is output as the obstacle information of the grid.
  • Steps S602 and S603 are processed for all the grids, and the processing of the integration unit 309 is terminated.
  • the obstacle detection apparatus 100 divides the real space into a grid pattern, and a front obstacle detection unit 208 that calculates information on the obstacle based on a plurality of images obtained by the front camera 101 shooting at different times. For each region, the reliability of the obstacle information calculated by the front obstacle detection unit 208 and the reliability of the obstacle information calculated by the side obstacle detection unit 106 are calculated, and the calculated reliability in the region is calculated. And an integration unit 309 that outputs either one of the obstacle information of the higher degree to the output unit 107.
  • the parking space detection unit 103 detects a parking space based on the calculation result of the front obstacle detection unit 208.
  • the side obstacle detection unit 106 and the front obstacle detection unit 208 each calculate information on an obstacle based on two images and the principle of triangulation.
  • the integration unit 309 determines the forward obstacle based on the angle formed by the two straight lines connecting the position of the obstacle in the real space and the respective positions in the real space of the front camera 101 when the two images are captured.
  • the reliability of the obstacle information calculated by the object detection unit 208 is calculated, the position of the obstacle in the real space, and the respective positions in the real space of the side camera 102 when the two images are taken.
  • the reliability of the obstacle information calculated by the side obstacle detection unit 106 is calculated based on the angle formed by the two straight lines connecting the two. Therefore, the reliability can be calculated by a simple calculation.
  • the processing of the integration unit 309 is not limited to the above.
  • the integration unit 309 outputs the obstacle position in front of the vehicle output by the front obstacle detection unit 208 and the vehicle output by the side obstacle detection unit 106 regardless of the reliability or without calculating the reliability.
  • the side obstacle position may be output.
  • the integration unit 309 may calculate the reliability based on the number of obstacles, that is, the number of points that can be associated, instead of parallax. That is, the integration unit 309 compares the number of obstacles detected by the front obstacle detection unit 208 and the number of obstacles detected by the side obstacle detection unit 106 in a certain grid.
  • the integration unit 309 When the front obstacle detection unit 208 detects more obstacles, the integration unit 309 outputs the obstacle information detected by the front obstacle detection unit 208 as the obstacle information of the grid. When the side obstacle detection unit 106 detects more obstacles, the integration unit 309 outputs the obstacle information detected by the side obstacle detection unit 106 as the obstacle information of the grid. To do.
  • FIGS. A fourth embodiment of the obstacle detection apparatus according to the present invention will be described with reference to FIGS.
  • the same components as those in the third embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the third embodiment.
  • the present embodiment is different from the third embodiment in that the parking space is detected mainly using the obstacle detection result output by the obstacle detection device.
  • vehicle 500 further includes a parking space post-processing detection unit.
  • FIG. 14 is a diagram illustrating the functions of a program executed in vehicle 500 in the fourth embodiment as function blocks.
  • the parking space post-processing detection unit 410 represents the functions of a program executed in the ECU connected to the CAN bus 20 (see FIG. 1) as a function block.
  • the parking space post-processing detection unit 410 receives an obstacle detection result from the obstacle detection device 100b via the CAN bus 20, and detects a parking space existing around the host vehicle.
  • FIG. 15 is a diagram illustrating an example of a parking space detected by the parking space post-processing detection unit 410.
  • the parking space post-processing detection unit 410 detects a space without an obstacle as a parking space when there is a space without an obstacle between a plurality of obstacle positions.
  • a space 544 between the obstacle positions 542 and 543 is detected as a parking space. According to the fourth embodiment, it is possible to detect a parking space that is present around the host vehicle and has no obstacles.
  • the parking space post-process detection part 410 may detect all spaces where no obstacles exist as parking spaces.
  • the parking space post-processing detection unit 410 may define a minimum parking space size in advance and detect only a space where there is no obstacle more than the minimum parking space as a parking space.
  • the parking space post-processing detection unit 410 detects a parking frame such as a white line from the image of the front camera 101 that captures the front or rear of the vehicle and the image of the side camera 102 that images the side, and parks without an obstacle
  • the frame position may be detected as a parking space.
  • the parking space post-processing detection unit 410 corrects the obstacle position in the past processing cycle using the vehicle motion from the past processing cycle output to the current processing cycle output by the vehicle motion acquisition unit 104, and the current processing cycle. It may be used as an obstacle position by adding together with the obstacle position.
  • the parking space post-processing detection unit 410 has a function of an ECU different from the obstacle detection device 100b.
  • the obstacle detection device 100b may include the parking space post-processing detection unit 410 and output the detected position of the parking space together with the obstacle detection result.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • Other embodiments conceivable within the scope of the technical idea of the present invention are also included in the scope of the present invention.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • Each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

障害物検知装置は、移動する車両に搭載され当該車両の前方または後方を撮影する第１カメラと、車両に搭載され車両の側方を撮影する第２カメラと、第１カメラが撮影して得られた画像に基づき車両の駐車スペースを検出する駐車スペース検出部と、駐車スペース検出部が検出する駐車スペースの実空間上の領域を記憶する記憶部と、車両の挙動に関する情報を取得する運動取得部と、第２カメラが異なる時刻に撮影して得られた複数の画像に基づき駐車スペースの周辺に存在する障害物の情報を算出する障害物算出部と、記憶部に記憶された駐車スペースの実空間上の領域、および運動取得部が取得する車両の挙動に関する情報に基づき、障害物算出部における算出を制御する処理領域設定部とを備える。

Description

障害物検知装置
　本発明は、障害物検知装置に関する。
　自動車の駐車支援において、目標とした位置に自動車を移動させるだけでなく、障害物への衝突を避けるために障害物を検知することが求められる。特許文献１には、駐車区画に対して所定の位置関係を有するマークが設置され、撮影したこのマークの画像に基づき車両が目標初期停止位置に停止しているか否かを判断し、目標初期停止位置に停止していると判断すると、障害物の有無を検知する駐車支援装置が開示されている。
日本国特開２０１０－２０８３５８号公報
　特許文献１に記載されている発明では、所定の位置に停止し障害物の有無の検知を開始した以後は算出処理の削減が考慮されていないため、障害物情報の算出処理が膨大になる。
　本発明の第１の態様によると、障害物検知装置は、移動する車両に搭載され当該車両の前方または後方を撮影する第１カメラと、車両に搭載され車両の側方を撮影する第２カメラと、第１カメラが撮影して得られた画像に基づき車両の駐車スペースを検出する駐車スペース検出部と、駐車スペース検出部が検出する駐車スペースの実空間上の領域を記憶する記憶部と、車両の挙動に関する情報を取得する運動取得部と、第２カメラが異なる時刻に撮影して得られた複数の画像に基づき駐車スペースの周辺に存在する障害物の情報を算出する障害物算出部と、記憶部に記憶された駐車スペースの実空間上の領域、および運動取得部が取得する車両の挙動に関する情報に基づき、障害物算出部における算出を制御する処理領域設定部とを備える。
　本発明によれば、障害物情報の算出による処理負荷を軽減することができる。
障害物検知装置１００の構成を示す図 駐車スペース情報領域１２ａの一例を示す図 障害物検知装置１００において実行されるプログラムが有する機能を機能ブロックとして表した図 処理領域設定部１０５において実行される処理を示すフローチャート 駐車スペースと自車両の距離ｄの一例を示す図 予測領域Ｐと判定領域Ａの一例を示す図 側方障害物検知部１０６において実行される処理を示すフローチャート 第２の実施の形態における障害物検知装置１００ａにおいて実行されるプログラムが有する機能を機能ブロックとして表した図 第２の実施の形態における処理領域設定部１０５ａで実行される処理を示すフローチャート 未計測領域の一例を示す図 第３実施の形態における障害物検知装置１００ｂにおいて実行されるプログラムが有する機能を機能ブロックとして表した図 統合部３０９における処理を示したフローチャート 視差の一例を示す図 第４の実施の形態において車両５００において実行されるプログラムが有する機能を機能ブロックとして表した図 駐車スペース後処理検出部４１０の処理を説明する図
（第１の実施の形態）
　以下、図１～図７を参照して、障害物検知装置の第１の実施の形態を説明する。
（構成）
　図１は車両５００に内蔵される障害物検知装置１００の構成を示す図である。車両５００はＣＡＮバス２０を備えており、障害物検知装置１００はＣＡＮバス２０に接続される。ＣＡＮバス２０には不図示の他の機器も接続されている。すなわち、ＣＡＮバス２０に車両の進行方向を出力する装置や、ＣＡＮバス２０に車両の速度を出力する装置、さらに
障害物検知装置１００が出力する障害物情報に基づき車両５００を制御する装置が接続される。
　障害物検知装置１００は、前方カメラ１０１と、側方カメラ１０２と、ＣＰＵ１０と、ＲＯＭ１１と、ＲＡＭ１２と、ＣＡＮインタフェース１３とを備える。
　前方カメラ１０１は、車両５００の上部前方に取り付けられ、車両５００の前方を撮影する。側方カメラ１０２は、車両５００の左側面に取り付けられ、車両５００の左側方を撮影する。
　ＣＰＵ１０は、予め定められた周期ごと、たとえば０．１秒ごとに、後述するプログラムを用いて前方カメラ１０１および側方カメラ１０２が撮影して得られた画像から障害物情報を算出する。算出した障害物情報は、ＣＡＮインタフェース１３を介してＣＡＮバス２０に出力される。以下では、上述した予め定められた周期を「処理周期」と呼ぶ。
　ＲＯＭ１１には、プログラムと、前方カメラ１０１および側方カメラ１０２のカメラパラメータとが記憶される。プログラムは、ＣＰＵ１０によりＲＯＭ１１からＲＡＭ１２に展開されて実行される。カメラパラメータとは、レンズ歪等の内部パラメータおよび車両に対するカメラ取り付け位置・角度等の外部パラメータである。ＲＡＭ１２には、駐車スペース情報領域１２ａ、あるいはプログラムの実行に必要なその他の情報が一時的に保存される。駐車スペース情報領域１２ａについては後述する。
　ＣＡＮインタフェース１３は、障害物検知装置１００のＣＡＮバス２０との通信インタフェースである。障害物検知装置１００は、ＣＡＮインタフェース１３を介して車両５００の運動情報、すなわち車両５００の進行方向および速度に関する情報を取得する。障害物検知装置１００は、算出した障害物情報をＣＡＮインタフェース１３を介してＣＡＮバス２０に出力する。
（駐車スペース情報領域）
　駐車スペース情報領域１２ａは、後述する駐車スペース検知部１０３が検知した駐車スペースに関する情報が保存されるＲＡＭの所定領域である。駐車スペースに関する情報とは、自車両に対する実空間上の駐車スペースの位置および姿勢である。出力する駐車スペースの位置および姿勢は、たとえば駐車スペースを構成する複数の頂点座標の組み合わせとして表される。あるいは、駐車スペースの中心座標、駐車スペースの大きさ、および自車両に対する駐車スペースの傾きの組み合わせとして表してもよい。
　図２は駐車スペース情報領域１２ａに保存される駐車スペースに関する情報の一例を示す図である。図２に示す例では、駐車スペース情報領域１２ａには、３レコード、すなわち３つの駐車スペースに関する情報が保存されている。この例では駐車スペースを、駐車スペースを構成する複数の頂点座標の組み合わせとして表現している。この座標は、自車両を中心とした座標系、すなわち相対位置を表している。
（機能ブロック）
　図３は、障害物検知装置１００のＣＰＵ１０において実行されるプログラムが有する機能を機能ブロックとして表した図である。すなわち、障害物検知装置１００は、ＣＰＵ１０において実行されるプログラムにより、駐車スペース検知部１０３による駐車スペース検知機能と、車両運動取得部１０４による車両運動取得機能と、処理領域設定部１０５による処理領域設定機能と、側方障害物検知部１０６による側方障害物検知機能と、出力部１０７による出力機能とを備える。障害物検知装置１００は、予め定められた周期、すなわち処理周期ごとに前方カメラ１０１および側方カメラ１０２に撮影を行わせ、撮影して画像が得られると各機能ブロックによる処理を行う。具体的には、前方カメラ１０１が撮影を行い画像が得られると駐車スペース検知部１０３が処理を開始し、駐車スペース検知部１０３が処理を完了すると処理領域設定部１０５が処理を開始し、処理領域設定部１０５が処理を完了すると側方障害物検知部１０６が処理を開始する。すなわち、各機能ブロックは処理周期ごとに動作する。
　駐車スペース検知部１０３は、前方カメラ１０１が撮影して得られた画像から自車両前方に存在する駐車スペースを検知し、検知した駐車スペースに関する情報を駐車スペース情報領域１２ａに追加する。駐車スペースの検知とは、例えば、画像から白線を検出し、２つの白線の間の領域を駐車スペースとして検知するものである。もしくは、画像から障害物を検出し、障害物が存在しない領域を駐車スペースとするものである。障害物の検出には、後述する側方障害物検知部１０６と同様の処理を用いることができる。
　車両運動取得部１０４は、ＣＡＮインタフェース１３を介して車両５００の運動に関する情報、すなわち車両５００の進行方向や速度に関する情報を取得する。そして、前回の処理周期から現在の処理周期までの車両５００の移動量を算出し、処理領域設定部１０５に出力する。車両５００の運動情報は、車両５００に取り付けられた車輪の回転量を取得するホイールエンコーダと操舵角からそれぞれ出力される情報をＣＡＮバス２０経由で取得される。これらの情報に基づき車両の幾何モデルに従った計算を実行することにより、車両の移動量、たとえば右に２ｍ、前方に０．５ｍなどが算出される。もしくは、車両５００に搭載された加速度・角加速度計やＧＰＳなど、姿勢・位置情報を取得可能なセンサの出力値をＣＡＮバス２０を経由して取得し、車両の移動量を計算するようにしてもよい。
　処理領域設定部１０５は、後段の処理である側方障害物検知部１０６が処理対象とする、画像上の領域である処理領域Ｃを設定する。処理領域Ｃは、駐車スペース検知部１０３が出力してＲＡＭの駐車スペース情報領域１２ａに保存されている情報、および車両運動取得部１０４の出力、すなわち車両の運動情報に基づき設定される。後述するように、処理領域Ｃが空白、すなわち処理領域Ｃが存在しないと設定されている場合には、側方障害物検知部１０６は処理を行わない。
　側方障害物検知部１０６は、側方カメラ１０２が異なる時刻に撮影して得られた複数の画像に対して、以下の処理を行う。すなわち、現在の処理周期において得られた画像において、上述したように設定された処理領域Ｃを特定し、それらの処理領域Ｃに含まれる、輝度を含む画像情報と、過去の処理周期において得られた画像に含まれる、輝度を含む画像情報とを用いて、自車両側方に存在する障害物を検知し、障害物との相対位置を出力する。処理領域設定部１０５により処理領域Ｃが空白に設定されている場合は、側方障害物検知部１０６は処理を行わない。処理の詳細は後述する。
　出力部１０７は、障害物検知結果をＣＡＮインタフェース１３を介してＣＡＮバス２０へ出力する。
（処理領域設定部の動作）
　次に図４～図６を用いて、処理領域設定部１０５における処理の内容について説明する。図４は処理領域設定部１０５において実行される処理を示すフローチャートである。以下に説明する各ステップの実行主体は、ＣＰＵ１０である。
　ステップＳ２１０では、処理領域Ｃをクリアし、処理領域Ｃを空白とする。これにより、後述するステップＳ２１６で処理領域Ｃが設定されない限り、側方障害物検知部１０６は三次元位置の算出を行わない。次にステップＳ２１１に進む。
　ステップＳ２１１では、ＲＡＭ１２の駐車スペース情報領域１２ａに保存されている情報を、車両運動取得部１０４により出力された直前の処理周期から現在の処理周期までの車両の移動量を用いて更新する。ただし、現在の処理周期において駐車スペース検知部１０３により検知された駐車スペースは、駐車スペース検知部１０３が出力した駐車スペースに関する情報をそのまま用いる。次にステップＳ２１２に進む。次のステップＳ２１２以降の処理は、駐車スペース情報領域１２ａに保存されている駐車スペースのそれぞれに対して繰り返される。ステップＳ２１２が初回に実行される際は、駐車スペース情報領域１２ａに保存されている先頭のレコードが処理される。
　ステップＳ２１２では、駐車スペースと自車両の相対位置・姿勢から、駐車スペースと自車両との距離ｄを計算し、ステップＳ２１３に進む。
　図５は駐車スペースと自車両の距離ｄの一例を示す図である。自車両周辺には、白線５０２の間に駐車された駐車車両５０１が存在している。また、駐車スペース検知部１０３により駐車スペース５０３が検知されている。駐車スペース５０３の位置を駐車スペースにおける自車両５００に最も近い位置と定義し、自車両の位置を側方カメラ１０２の位置と定義する。駐車スペース５０３の位置と自車の位置との距離５０４を計算し、これを距離ｄとする。
　ここで、本例においては、自車両の位置として左カメラの位置を用いたが、自車両の位置はこれに限定されるものではなく、例えば、自車両の中心でもよい。また、駐車スペースの位置として、自車両に最も近い位置を用いたが、駐車スペースの位置はこれに限定されるものではなく、例えば、駐車スペースの中心でもよい。
　図４に戻ってフローチャートの説明を続ける。
　ステップＳ２１３では、駐車スペースと自車両の距離ｄがあらかじめ設定された閾値ｄ＿ｔｈ以下か否かを判断する。距離ｄが閾値ｄ＿ｔｈ以下であると判断する場合にはステップＳ２１４に進み、距離ｄが閾値ｄ＿ｔｈより大きいと判断する場合にはステップＳ２１７に進む。
　ステップＳ２１４では、側方カメラ１０２により撮影して得られた画像において、駐車スペースおよび駐車スペース周辺が映ると予想される領域である予測領域Ｐを計算する。予測領域Ｐは、駐車スペースと自車両の相対位置・姿勢と側方カメラ１０２の外部・内部パラメータとを用いて、透視投影モデルなどに従った投影計算により求めることができる。次にステップＳ２１５に進む。
　ステップＳ２１５では、ステップＳ２１４において算出した予測領域Ｐの全域が、あらかじめ設定された判定領域Ａ内に存在するか否かを判断する。判定領域Ａは次のように定義する。側方カメラ１０２により撮影して得られた画像の周辺部分は歪が大きい。そのため、画像の周辺部を除いた領域を判定領域Ａとしている。予測領域Ｐの全域が判定領域Ａ内に存在すると判断する場合にはステップＳ２１６に進む。予測領域Ｐの一部が判定領域Ａ内に存在しない、または予測領域Ｐと判定領域Ａが全く重複しないと判断する場合にはステップＳ２１７に進む。
　図６は、予測領域Ｐと判定領域Ａの一例を示す図である。本例では、側方カメラ１０２によって撮影されて得られた画像５１０には、駐車車両５１１と白線５１２が映っている。ステップＳ２１４では、駐車スペースおよび駐車スペース周辺が映ると予想される領域である予測領域Ｐが投影計算により計算される。ステップＳ２１５では、予測領域Ｐが予め設定された判定領域Ａ内に存在するか否かを判定する。図６に示す例では、予測領域Ｐの全域が判定領域Ａ内に存在するため、ステップＳ２１６に進むこととなる。図４に戻って説明を続ける。
　ステップＳ２１６では、ステップＳ２１４において計算された予測領域Ｐを処理領域Ｃとして設定する。ここで、駐車スペースの検知位置や車両の移動量、キャリブレーションの誤差を考慮し、予測領域Ｐより広い領域を処理領域Ｃとして設定してもよい。次にステップＳ２１７に進む。
　ステップＳ２１７では、ＲＡＭ１２の駐車スペース情報領域１２ａに保存されている全てのレコードが処理されたか否かを判断する。全てのレコードが処理されたと判断する場合は図４のフローチャートにより表される処理を終了し、未処理のレコードが残っていると判断する場合はステップＳ２１２に戻る。
　たとえば、駐車スペース情報領域１２ａに複数のレコードが保存されている場合は、これらに対応するそれぞれの予測領域Ｐが算出され、それらの全てを合せた領域が処理領域Ｃに設定される場合もある。
（側方障害物検知部の動作）
　図７を用いて、側方障害物検知部１０６における処理の内容について説明する。
　図７は側方障害物検知部１０６において実行される処理を示すフローチャートである。側方障害物検知部１０６では、側方カメラ１０２が撮影して得られた画像、および処理領域設定部１０５において設定された処理領域Ｃに基づき側方障害物の三次元位置を計算する。以下に説明する各ステップの実行主体は、ＣＰＵ１０である。
　ステップＳ２００では、処理領域Ｃが存在するか否かを判断する。側方障害物検知部１０６において、ステップＳ２１０により処理領域Ｃがクリアされた後に１度もステップＳ２１６が実行されなかった場合には、処理領域Ｃが存在しないこととなる。処理領域Ｃが存在すると判断する場合はステップＳ２０１に進み、処理領域Ｃが存在しないと判断する場合は図７に示すフローチャートにより表される処理を終了する。
　ステップＳ２０１では、現在の処理周期において側方カメラ１０２が撮影して得られた画像であって、処理領域Ｃに含まれる領域から特徴点を抽出する。本ステップにおいて抽出した特徴点は、次のステップにおいて用いられる。特徴点の抽出はたとえば、画像から周囲の点との差が大きく対応付けが容易な点（特徴点）を、コーナーやエッジ上から抽出するハリスコーナ検出法（C. Harris and M. Stephens: “A combined corner and edge detector,” Proc. Alvey Vision Conf., pp. 147-151, 1988.）を用いることができる。次にステップＳ２０２に進む。
　ステップＳ２０２では、ステップＳ２０１において抽出された特徴点に対応する点をｎ周期前の側方カメラ１０２の画像から探索する。ｎにはあらかじめ任意の値を設定する。もしくは、車両運動取得部１０４から得られる車両の移動量に応じ、あらかじめ設定された距離の移動に要した周期を設定してもよい。
　ｎ周期前の側方カメラ１０２の画像から対応する点が探索されると、その点が障害物であると判断する。
　ここで、車両の移動前後で取得された時間的に連続な画像間では、特徴点の画像中での位置は大きく変化しないと考えられる。そこで、特徴点が抽出された位置の周囲を探索することで、効率的な探索を行うことができる。単純には、特徴点が抽出された位置を中心とした一定範囲内を探索範囲に設定し、探索を行う。探索には、特徴点の位置を中心とした近傍の画像パターンを用い、探索範囲内で画像パターンに最も類似したパターンを探索する。類似度の尺度としては、ＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（正規化相互相関）などを用いることができる。
　また、探索範囲を設定する代わりに、特徴点の抽出位置を初期値とし、繰り返し計算により、初期値近傍でＳＳＤ値が小さくなる点を探索するＬＫ法（Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. Int. Joint Conf. on Artificial Intelligence, pp. 674-679, 1981.）を用いることができる。ＬＫ法は画像間の動きが小さい場合に高速・高精度に対応付けを得ることができ、移動体により撮影された時間的に連続した画像間の対応付けに適している。
　ステップＳ２０３では、ステップＳ２０２において対応付けられた特徴点の三次元位置を計算する。特徴点の三次元位置は、現在の処理周期およびｎ周期前の処理周期における画像中での特徴点の位置と、側方カメラ１０２の内部パラメータと、ｎ周期間における側方カメラ１０２の移動量とを用いて、三角測量の原理に基づき計算することができる。
　ここで、側方カメラ１０２の移動量は、車両運動取得部１０４により取得される車両の移動量と、側方カメラ１０２の車両に対する取り付け位置・角度から計算することができる。もしくは、特徴点の対応付け結果とカメラ内部パラメータからカメラの相対位置・姿勢を計算するＳｆＭ（Ｓｔｒｕｃｔｕｒｅ　ｆｒｏｍ　Ｍｏｔｉｏｎ）法を適用してもよい。
　ステップＳ２０３の処理により、側方障害物検知部１０６は、三次元点群として側方障害物を検知する。また、例えば、得られた三次元点群において、距離が近い点同士を結合することで、側方障害物としてもよい。ただし、検出された障害物の高さが所定値以下である場合には、車両の走行の妨げとならないため障害物から除外してもよい。
　以上により、図５に示すフローチャートにより表される処理を終了する。
　上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）障害物検知装置１００は、移動する車両５００に搭載され当該車両の前方を撮影する第１カメラ、すなわち前方カメラ１０１と、車両５００に搭載され車両の左側方を撮影する第２カメラ、すなわち側方カメラ１０２と、第１カメラが撮影して得られた画像に基づき当該車両の駐車スペースを検出する駐車スペース検知部１０３と、駐車スペース検知部１０３が検出する駐車スペースの実空間上の領域を駐車スペース情報領域１２ａに記憶する記憶部、すなわちＲＡＭ１２と、車両５００の挙動に関する情報を取得する車両運動取得部１０４と、側方カメラ１０２が異なる時刻に撮影して得られた複数の画像に基づき駐車スペースの周辺に存在する障害物の情報を算出する障害物算出部、すなわち側方障害物検知部１０６と、記憶部に記憶された駐車スペースの実空間上の領域、および運動取得部が取得する車両５００の運動に関する情報に基づき、障害物算出部における算出を制御する処理領域設定部１０５とを備える。
　障害物検知装置１００では、前方カメラ１０１が撮影して得られた画像から検出される駐車スペースと、車両５００の並進や回転に関する車両運動情報とに基づき、処理領域設定部１０５が側方障害物検知部１０６を制御するようにした。そのため、側方障害物検知部１０６で行われる障害物情報の算出による処理負荷を軽減することができる。
（２）処理領域設定部１０５は、記憶部に記憶された駐車スペースの実空間上の領域、および運動取得部が取得する車両の挙動に関する情報に基づき、駐車スペースと車両５００との実空間上の距離を算出し、距離が予め定められた距離よりも遠い場合に障害物算出部に障害物情報の算出処理を行わせないと決定する（図４、ステップＳ２１３）。
　そのため、側方カメラ１０２と駐車スペースとの距離が遠い場合には、処理領域Ｃを設定しないことにより側方障害物検知部１０６に障害物算出の演算を行わせず（図７、ステップＳ２００：ＮＯ）、障害物情報の算出処理を削減することができる。これは、側方カメラ１０２と駐車スペースとの距離が遠い場合には、側方カメラ１０２で撮影して得られた画像には駐車スペースが小さくしか撮影されず、このような画像を用いて障害物情報を算出することは困難、または算出できても精度が低いと考えられるからである。
（３）処理領域設定部１０５は、記憶部に記憶された駐車スペースの実空間上の領域、および車両運動取得部１０４が取得する車両５００の運動に関する情報に基づき、側方カメラ１０２が撮影して得られる画像における駐車スペースの領域、すなわち予測領域Ｐを算出し、予測領域Ｐと、画像内の予め定められた判定領域Ａとの関係に基づき障害物算出部に算出を行わせるか否かを決定する（図４、ステップＳ２１５）。
　そのため、側方カメラ１０２が撮影して得られた画像において、周辺部を除いた領域を判定領域Ａに設定しているので、予測領域Ｐが判定領域Ａに含まれない場合は処理領域Ｃを設定せず、障害物情報の算出処理を削減することができる。
（４）処理領域設定部１０５は、第２カメラが撮影して得られる画像における駐車スペースの領域、すなわち予測領域Ｐの少なくとも一部が判定領域Ａに含まれる場合に、第２カメラが撮影して得られた画像において判定領域Ａに含まれる領域を処理領域Ｃに設定する。処理領域設定部１０５は、処理領域Ｃに含まれる、輝度などを含む画像情報を用いて、側方障害物検知部１０６に算出を行わせる。
　そのため、歪みの小さい判定領域Ａに含まれる画像を用いて側方障害物検知部１０６が障害物情報を算出するので、精度の高い障害物情報を得ることができる。
（５）処理領域設定部１０５は、第２カメラが撮影して得られる画像における駐車スペースの領域、すなわち予測領域Ｐの少なくとも一部が判定領域Ａに含まれる場合に、第２カメラが撮影して得られた画像において、判定領域Ａと予測領域Ｐとが重複する領域を処理領域Ｃに設定する。処理領域設定部１０５は、処理領域Ｃに含まれる、輝度を含む画像情報を用いて、側方障害物検知部１０６に算出を行わせる。
　そのため、歪みが小さい領域にあり、なおかつ情報を得たい対象である駐車スペースが撮影されている領域のみを処理領域Ｃに設定するので、障害物情報の算出処理を削減しつつ精度の高い障害物情報を得ることができる。
（変形例１）
　上述した第１の実施の形態では、車両５００の前方および左側方にカメラが取り付けられた。しかし、カメラの台数およびカメラの取付け位置はこれに限定されない。
　障害物検知装置１００は、車両５００の前方を撮影する前方カメラ１０１の代わりに車両５００の後方を撮影するカメラを備えてもよいし、前方カメラ１０１に加えて車両５００の後方を撮影するカメラを備えてもよい。
　前方カメラ１０１に代えて車両５００の後方を撮影するカメラを備える場合は、前方カメラ１０１が撮影して得られた画像の代わりに車両５００の後方を撮影するカメラが撮影して得られた画像を用いて第１の実施の形態において説明した処理を行う。
　前方カメラ１０１に加えて車両５００の後方を撮影するカメラを備える場合は、それぞれのカメラで撮影して得られた画像に対して個別に第１の実施の形態において説明した処理を行ってもよい。さらに、車両５００の進行方向により使い分けて、車両５００の前進時には前方カメラ１０１が撮影して得られた映像を用い、車両５００の後退時には車両５００の後方を撮影するカメラが撮影して得られた画像を用いてもよい。この変形例を実現するためには、次の機能を障害物検知装置１００に付加する必要がある。たとえば、車両前後進を判定する機能と、判定結果である前進か後進かによって、障害物検出対象画像を前方画像と後方画像との間で切り替える機能である。
　さらに、障害物検知装置１００は、車両５００の左側方を撮影する側方カメラ１０２の代わりに車両５００の右側方を撮影するカメラを備えてもよいし、側方カメラ１０２に加えて車両５００の右側方を撮影するカメラを備えてもよい。側方カメラ１０２と車両５００の右側方を撮影するカメラとの使い分けは、上述した前方カメラ１０１と車両５００の後方を撮影するカメラとの使い分けと同様である。この変形例を実現するためには、次の機能を障害物検知装置１００に付加する必要がある。たとえば、前方カメラ画像もしくは後方画像を用いて、車両左右のどちら側に駐車スペースが存在するかを判定する機能と、判定結果である駐車スペースの存在方向によって、障害物検出対象画像を右方画像と左方画像との間で切り替える機能である。
（変形例２）
　上述した第１の実施の形態では、障害物検知装置１００は車両５００のＣＡＮバス２０を介して他の機器と接続された。しかし、障害物検知装置１００の他の機器との接続関係はこれに限定されない。
　障害物検知装置１００はＣＡＮ以外の通信バスを介して他の機器と接続されてもよいし、通信バスを介さずに直接他の機器と接続されてもよい。さらに、障害物検知装置１００がカメラ装置または統合コントローラ内などに組み込まれてもよい。
（変形例３）
　処理領域設定部１０５は、予測領域Ｐの全域が判定領域Ａ内に存在する場合に、予測領域Ｐを処理領域Ｃとして設定した（図４、ステップＳ２１５：ＹＥＳ、ステップＳ２１６）。しかし処理領域Ｃの設定方法はこれに限定されない。
　処理領域設定部１０５は、予測領域Ｐの全域が判定領域Ａ内に存在する場合に、判定領域Ａの全体を処理領域Ｃに設定してもよいし、側方カメラ１０２が撮影して得られた画像の全域を処理領域Ｃに設定してもよい。
　処理領域設定部１０５は、予測領域Ｐの少なくとも一部が判定領域Ａ内に存在する場合に、予測領域Ｐを処理領域Ｃとして設定してもよいし、判定領域Ａを処理領域Ｃとして設定してもよいし、判定領域Ａと予測領域Ｐとが重複する領域を処理領域Ｃとして設定してもよいし、側方カメラ１０２が撮影して得られた画像の全域を処理領域Ｃに設定してもよい。
（変形例４）
　処理領域設定部１０５の処理に用いられる距離の閾値ｄ＿ｔｈ（図４、ステップＳ２１３）に無限大を設定し、距離に関わらず駐車スペースの予測領域Ｐのみを用いて側方障害物検知部１０６の処理領域Ｃを設定してもよいし、判定領域Ａとして側方カメラ１０２の画像全体を設定してもよい。
　さらに、距離の閾値ｄ＿ｔｈと判定領域Ａの組み合わせを複数組み用意し、ステップＳ２１３からステップＳ２１７の処理を複数組みに対して繰り返し実行することで、側方障害物検知部１０６の処理領域Ｃを設定してもよい。これにより例えば、自車両と駐車スペースとの距離が遠くても、側方カメラ１０２の画像の中心付近に駐車スペースが映ると予想される場合には、側方障害物検知部１０６において処理を実施するなどの設定が可能となる。
（変形例５）
　上述した第１の実施の形態では、三角測量を用いた特徴点の三次元位置計算による側方障害物検知方法について述べたが、側方障害物検知部１０６の処理内容はこれに限定されない。例えば、カメラの内部・外部パラメータを用いることで、周辺環境を真上から見た画像（俯瞰画像）に変換し、俯瞰画像上でエッジなどに基づき障害物を検知する手法を用いてもよい。
　この変形例を実現するためには、次の機能を障害物検知装置１００に付加する必要がある。たとえば、車両の前方向、後方向、右方向、左方向をそれぞれ撮像するカメラと、これら複数のカメラで撮像して得た画像を合成して俯瞰画像を生成する俯瞰画像生成機能と、俯瞰画像を用いて車両側方の障害物を検出する機能である。
この場合においても、処理領域設定部１０５において設定された処理領域Ｃのみを俯瞰画像に変換することで、計算コストを低減することが可能である。
（変形例６）
　上述した第１の実施の形態において、処理領域設定部１０５は駐車スペースと自車両の距離を算出し、その距離が所定の閾値以下である場合に駐車スペースの予測領域Ｐを算出した（図４、ステップＳ２１３：ＹＥＳ、Ｓ２１４）。しかし、処理領域設定部１０５の動作はこれに限定されない。
　処理領域設定部１０５は、駐車スペースと自車両との相対位置・姿勢を計算し、特段の判断を行うことなく側方カメラ１０２が撮影して得られた画像における駐車スペースの予測領域Ｐを算出してもよい。すなわち、図４のステップＳ２１１の次にステップＳ２１４を実行してもよい。この場合は、次に予測領域Ｐの画像上の面積が予め定められた面積よりも大きいか否かを判断し、予め定められた面積よりも大きいと判断する場合はステップＳ２１５に進み、予め定められた面積以下であると判断する場合はステップＳ２１７に進む。
　また、上記判断を予測領域Ｐと判定領域Ａが重複する領域の面積で判断してもよい。
　上述した変形例６によれば、次の作用効果が得られる。
（１）処理領域設定部１０５は、記憶部に記憶された駐車スペースの実空間上の領域、および運動取得部が取得する車両の挙動に関する情報に基づき、第２カメラ，すなわち側方カメラ１０２が撮影して得られる画像における駐車スペースの面積、すなわち予測領域Ｐの面積を算出し、算出した面積が予め定められた面積よりも大きい場合に処理領域Ｃを設定し、障害物算出部、すなわち側方障害物検知部１０６に算出を行わせる。
（第２の実施の形態）
　図８～図９を参照して、本発明による障害物検知装置の第２の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、前方障害物検知部を備える点で、第１の実施の形態と異なる。
（構成）
　障害物検知装置１００ａの構成は、ＲＯＭ１１に保存されているプログラムを除いて第１の実施の形態と同様である。
　図８は、障害物検知装置１００ａにおいて実行されるプログラムが有する機能を機能ブロックとして表した図である。第２の実施の形態と第１の実施の形態との相違点は以下のとおりである。第２の実施の形態では、第１の実施の形態における障害物検知装置１００が備える機能に加えて、前方障害物検知部２０８をさらに備える。また、処理領域設定部１０５の代わりに処理領域設定部１０５ａを備える。前方カメラ１０１が撮影して得られた画像は前方障害物検知部２０８に送信され、前方障害物検知部２０８の処理結果に基づき駐車スペース検知部１０３ａが動作する。出力部１０７は、側方障害物検知部１０６だけでなく、前方障害物検知部２０８からも入力を受ける。
　前方障害物検知部２０８は、前方カメラ１０１が異なる時刻に撮影して得られた複数の画像から車両前方に存在する障害物を検知し、自車両に対する障害物の位置を出力する。前方障害物検知部２０８の処理は側方障害物検知部１０６と同様であり、相違点は側方カメラ１０２が撮影して得られた画像ではなく、前方カメラ１０１が撮影して得られた画像を用いる点である。ただし、処理領域Ｃは、あらかじめ設定されているものとする。たとえば、前方カメラ１０１の画像全体を処理領域Ｃとしてもよい。また、魚眼レンズを搭載したカメラにより撮影された場合など、画像端の歪が大きい場合には、画像の中心付近を処理領域Ｃに設定することが有効である。
　出力部１０７は、前方障害物検知部２０８により検知された車両前方の障害物位置と、側方障害物検知部１０６により検知された車両側方の障害物位置をＣＡＮバス２０へ出力する。後述するように、前方障害物検知部２０８により障害物が検出されなかった位置のみが側方障害物検知部１０６の処理対象となる。そのため出力部１０７は、前方障害物検知部２０８が出力する障害物位置と、側方障害物検知部１０６が出力する障害物位置とをそのままあわせて出力する。
（処理領域設定部１０５ａの動作）
　次に図９、図１０を用いて、処理領域設定部１０５ａにおける処理の内容について説明する。
　図９は、処理領域設定部１０５ａにおいて実行される処理を示すフローチャートである。本フローチャートと、第１の実施の形態における図２に示すフローチャートとの違いは、ステップＳ２１５において肯定判断された後から、ステップＳ２１７に至るまでの処理である。以下に説明する各ステップの実行主体は、ＣＰＵ１０である。
　ステップＳ２１５において肯定判断されると実行されるステップＳ２５０では、現在の処理周期において実行された前方障害物検知部２０８では、障害物の背後に存在しており計測できなかった実空間上の領域である未計測領域Ｕを算出する。すなわち、前方障害物検知部２０８が検出した障害物により分断される領域であって、当該障害物よりも前方カメラ１０１に遠い領域が未計測領域Ｕである。次にステップＳ２１６ａに進む。
　図１０は、未計測領域の一例を示す図である。図１０は、前方カメラ１０１が異なる時刻に撮影して得られた複数の画像を用いて、車両前方に存在する障害物５２１を検知した状態を示している。このとき、前方カメラ１０１と障害物５２１との間の領域は、他の障害物が存在しないと考えられるため計測済み領域となり、残りの領域が未計測領域Ｕとなる。
　ステップ２１６ａでは、側方障害物検知部１０６が処理する領域を設定する。すなわち、ステップＳ２１５において算出された実空間上の未計測領域Ｕを、側方カメラ１０２が撮影して得られた画像に投影し、画像上の未計測投影領域Ｗを得る。この未計測投影領域Ｗを、側方障害物検知部１０６が処理する領域、すなわち処理領域Ｃとする。未計測投影領域Ｗの算出には、未計測領域Ｕと自車両との相対位置・姿勢、および前方カメラ１０１と側方カメラ１０２の外部・内部パラメータを用いる。ここで、計算誤差を考慮し、未計測投影領域Ｗより広い領域を処理領域Ｃとして設定してもよい。次にステップＳ２１７に進む。
　ステップＳ２１７の動作は第１の実施の形態と同様である。
　上述した第２の実施の形態によれば、次の作用効果が得られる。
（１）障害物検知装置１００は、第１カメラ、すなわち前方カメラ１０１が異なる時刻に撮影して得られた複数の画像に基づき障害物の情報を算出する第１カメラ画像処理部、すなわち前方障害物検知部２０８を備える。駐車スペース検知部１０３ａは、前方障害物検知部２０８の算出結果に基づき駐車スペースを検出する。処理領域設定部１０５ａは、前方障害物検知部２０８により障害物の情報が算出されているか否かに基づき障害物算出部が算出を行うか否かを決定する。
　そのため、駐車スペースの検知のために行われている前方障害物検知部２０８による障害物の情報の算出結果を用いて、側方障害物検知部１０６の算出処理を削減することができる。具体的には、すでに前方障害物検知部２０８により障害物の情報が算出されている場合には、その算出済みの領域には処理領域Ｃを設定せず、側方障害物検知部１０６の算出処理を削減することができる。
（第２の実施の形態の変形例１）
　上述した第２の実施の形態では、処理領域設定部１０５ａは、現在の処理周期において前方障害物検知部２０８により計測ができなかった領域を未計測領域Ｕとした（図９、ステップＳ２５０）。しかし、現在の処理周期だけでなく従前の処理周期においても前方障害物検知部２０８により計測ができなかった領域を未計測領域Ｕとしてもよい。すなわち、過去の処理周期における計測済み領域を、車両運動取得部１０４により出力された過去の処理周期から現在の処理周期までの車両運動を用いて補正する。そして、いずれの処理周期においても計測されていない領域を未計測領域Ｕとする。
　また、未計測領域Ｕの計算において、計算コストを削減するために駐車スペース検知部２０３により検知された駐車スペース周辺のみを計算対象としてもよい。
（第２の実施の形態の変形例２）
　処理領域設定部１０５ａは、実空間を所定の大きさのグリッド、たとえば一辺１ｍの格子に分割して、それぞれのグリッドごとに前方障害物検知部２０８により計測ができたか否かを判断してもよい。この場合は、前方障害物検知部２０８が検出した障害物とカメラ位置とを結ぶ線分が通過したグリッドを計測済みに設定する。
　この変形例によれば、前方障害物検知部２０８において検知された前方・後方障害物が特徴点の三次元位置の集まりである三次元点群である場合には、各点に対する計測済み領域が線になるため、計測済み領域が疎になってしまう問題を解決できる。
（第３の実施の形態）
　図１１～図１３を参照して、本発明による障害物検知装置の第３の実施の形態を説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、主に、前方障害物検知部と側方障害物検知部の両方が同一の地点について障害物情報を算出し、信頼度に基づいていずれかの障害物情報を出力する点で、第１の実施の形態と異なる。
（構成）
　障害物検知装置１００ｂの構成は、ＲＯＭ１１に保存されているプログラムを除いて第１の実施の形態と同様である。
　図１１は、第３実施の形態における障害物検知装置１００ｂの構成を示すブロック図である。なお、以下の説明では、上述の第１実施の形態における障害物検知装置１００および第２実施の形態における障害物検知装置１００ａと異なる箇所のみ詳述し、同様の箇所には同一の番号を付してその詳細な説明を省略する。図１１に示す第３の実施の形態と第１の実施の形態との相違点は以下のとおりである。第３の実施の形態では、第１の実施の形態における障害物検知装置１００が備える機能に加えて、前方障害物検知部２０８、および統合部３０９を備える。
　統合部３０９は、前方障害物検知部２０８により検知された車両前方の障害物位置と側方障害物検知部１０６により検知された車両側方の障害物位置を結合して出力部１０７に出力する。
（統合部３０９の処理）
　図１２、図１３を用いて、統合部３０９における処理の内容について説明する。
　図１２は、統合部３０９における処理を示したフローチャートである。以下に説明する各ステップの実行主体は、ＣＰＵ１０である。
　ステップＳ６００では、前方障害物検知部２０８により検知された車両前方の障害物位置および側方障害物検知部１０６により検知された車両側方の障害物位置の信頼度を計算する。三角測量により障害物位置が計算されている場合は、信頼度を視差の大きさを用いて決定する。視差とは、当該障害物の位置から、障害物の算出に用いた複数の画像に対応するそれぞれのカメラの位置へのベクトルのなす角である。信頼度は、比較を容易にするために、たとえば０～１００の整数であらわされる。
　図１３は、視差の一例を示す図である。図１３に示す例では、現在の処理周期における自車両の位置５３０と、過去の処理周期における自車両の位置５３１を用いた三角測量により、側方障害物検知部１０６が位置５３２における障害物情報を出力している。ここで視差は、位置５３２から三角測量に用いた２つのカメラ位置へのベクトルのなす角５３３として計算される。障害物の位置が異なれば２つのカメラ位置へのベクトルのなす角も異なるので、信頼度は位置ごと、すなわち障害物ごとに異なる値を有する。次にステップＳ６０１に進む。
　ステップＳ６０１では、自車両周辺の実空間をグリッドに分割する。例えば、自車両を中心とし、１０ｍ×１０ｍの空間を１ｍ×１ｍのグリッド１００個に分割する。ただし、周辺空間およびグリッドのサイズは任意に変更してよい。次にステップＳ６０２に進む。
　ステップＳ６０２では、あるグリッド内に存在するそれぞれの障害物の信頼度から各カメラの信頼度を計算する。例えば、各カメラの画像から計測された障害物位置の信頼度の平均値をカメラの信頼度とする。また、平均値に代わり、中央値を用いてもよい。なお、カメラの信頼度の計算に用いる障害物位置は、現在の処理周期により計測された障害物位置に限定されず、過去の処理周期により計測された障害物位置を用いてもよい。次にステップＳ６０３に進む。
　ステップＳ６０３では、ステップＳ６０２において算出した信頼度に基づき、あるグリッドにおいて、前方カメラ１０１および側方カメラ１０２のうち、いずれか高い信頼度を有するカメラの画像から計測された障害物位置を出力する。たとえば、あるグリッドにおいて、前方カメラ１０１から得られた障害物情報は信頼度が１０のものと２０のものの２点あり、側方カメラ１０２から得られた障害物情報は信頼度が２０の１点ある場合は以下の出力が行われる。すなわち、前方カメラ１０１の信頼度は平均値の１５であり、側方カメラ１０２の信頼度は２０なので、そのグリッドの障害物情報は前方カメラ１０１から得られた１点のみが出力される。
　以下、ステップＳ６０２およびステップＳ６０３を全てのグリッドに対して処理を行い、統合部３０９の処理を終了する。
　上述した第３の実施の形態によれば、次の作用効果が得られる。
（１）障害物検知装置１００は、前方カメラ１０１が異なる時刻に撮影して得られた複数の画像に基づき障害物の情報を算出する前方障害物検知部２０８と、実空間を格子状に分割した領域ごとに、前方障害物検知部２０８が算出する障害物の情報の信頼度、および側方障害物検知部１０６が算出する障害物の情報の信頼度を算出し、当該領域における算出した信頼度が高い方の障害物の情報のいずれか一方を出力部１０７に出力する統合部３０９とを備える。駐車スペース検知部１０３は、前方障害物検知部２０８の算出結果に基づき駐車スペースを検出する。
　そのため、前方カメラ１０１と側方カメラ１０２のそれぞれの画像から得られた障害物の情報のうち、信頼度が高い障害物の情報を出力することができる。車両５００の操舵や車両５００と障害物の位置関係により、前方カメラ１０１と側方カメラ１０２のいずれが精度よく障害物の情報を算出できるかが異なるため、本手法が有効である。
（２）側方障害物検知部１０６および前方障害物検知部２０８は、それぞれ２枚の画像、および三角測量の原理に基づき障害物の情報を算出する。統合部３０９は、実空間上の障害物の位置と２枚の画像が撮影された際の前方カメラ１０１の実空間上のそれぞれの位置とを結ぶ２本の直線がなす角に基づき、前方障害物検知部２０８が算出する障害物の情報の信頼度を算出し、実空間上の障害物の位置と２枚の画像が撮影された際の側方カメラ１０２の実空間上のそれぞれの位置とを結ぶ２本の直線がなす角に基づき、側方障害物検知部１０６が算出する障害物の情報の信頼度を算出する。
　そのため、簡易な演算により信頼度を算出することができる。
（第３の実施の形態の変形例）
　統合部３０９の処理は、上記に限定されない。
　統合部３０９は、信頼度に係わらず、または信頼度を算出することなく、前方障害物検知部２０８により出力された車両前方の障害物位置と、側方障害物検知部１０６により出力された車両側方の障害物位置とを出力してもよい。
　統合部３０９は、視差の代わりに障害物の数、すなわち対応付けができた点の数に基づき信頼度を算出してもよい。すなわち統合部３０９は、あるグリッド内において前方障害物検知部２０８により検出された障害物の数と、側方障害物検知部１０６により検出された障害物の数とを比較する。前方障害物検知部２０８の方が多くの障害物を検出した場合には、統合部３０９は当該グリッドの障害物の情報として、前方障害物検知部２０８が検出した障害物の情報を出力する。側方障害物検知部１０６の方が多くの障害物を検出した場合には、統合部３０９は当該グリッドの障害物の情報として、側方障害物検知部１０６が検出した障害物の情報を出力する。
（第４の実施の形態）
　図１４～図１５を参照して、本発明による障害物検知装置の第４の実施の形態を説明する。以下の説明では、第３の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第３の実施の形態と同じである。本実施の形態では、主に、障害物検知装置が出力する障害物検知結果を用いて駐車スペースを検知する点が、第３の実施の形態と異なる。
（構成）
　障害物検知装置の構成は第３の実施の形態と同様である。車両５００は第３の実施の形態の構成に加えて、駐車スペース後処理検出部をさらに備える。
　図１４は、第４の実施の形態において車両５００において実行されるプログラムが有する機能を機能ブロックとして表した図である。駐車スペース後処理検出部４１０は、ＣＡＮバス２０（図１参照）に接続されるＥＣＵにおいて実行されるプログラムが有する機能を機能ブロックとして表したものである。駐車スペース後処理検出部４１０は、ＣＡＮバス２０を経由して障害物検知装置１００ｂから障害物検知結果を受信し、自車両周辺に存在する駐車スペースを検知する。
（駐車スペース後処理検出部）
　図１５を用いて駐車スペース後処理検出部４１０の処理の内容について説明する。
　図１５は駐車スペース後処理検出部４１０により検知された駐車スペースの一例を示す図である。本例では、自車両が過去の処理周期における位置５４０から現在の処理周期における位置５４１に移動した場合において、障害物検知装置１００ｂによって障害物位置５４２、５４３が得られている。駐車スペース後処理検出部４１０は、複数の障害物位置の間に、障害物が存在しない空間が存在した場合に、障害物が存在しない空間を駐車スペースとして検知する。図１５に示す例では、障害物位置５４２、５４３の間の空間５４４が駐車スペースとして検知される。
　第４の実施の形態によれば、自車両周囲に存在する、障害物が存在しない駐車スペースを検知することができる。
（第４の実施の形態の変形例１）
　第４の実施の形態では、駐車スペース後処理検出部４１０は複数の障害物の間の障害物が存在しない空間を駐車スペースとして検知したが、駐車スペースの検知方法はこれに限定されない。
　駐車スペース後処理検出部４１０は、障害物が存在しない空間すべてを駐車スペースとして検知してもよい。
　駐車スペース後処理検出部４１０は、事前に最小駐車スペースサイズを定義し、最小駐車スペース以上の障害物が存在しない空間のみを駐車スペースとして検知してもよい。
　駐車スペース後処理検出部４１０は、車両の前方もしくは後方を撮影した前方カメラ１０１の画像および側方を撮影した側方カメラ１０２の画像から白線などの駐車枠を検知し、障害物が存在しない駐車枠位置を駐車スペースとして検知してもよい。
　駐車スペース後処理検出部４１０は、過去の処理周期における障害物位置を車両運動取得部１０４により出力された過去の処理周期から現在の処理周期までの車両運動を用いて補正し、現在の処理周期における障害物位置と足し合わせ、障害物位置として用いてもよい。
（第４の実施の形態の変形例２）
　第４の実施の形態では、駐車スペース後処理検知部４１０は障害物検知装置１００ｂとは異なるＥＣＵが有する機能とした。しかし、障害物検知装置１００ｂが駐車スペース後処理検知部４１０を備え、障害物検知結果とともに検知した駐車スペースの位置を出力してもよい。
　本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。　
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１５年第２１５７５２号（２０１５年１１月２日出願）
　　　Ａ　…　判定領域
　　　Ｃ　…　処理領域
　　　Ｐ　…　予測領域
　　　Ｕ　…　未計測領域
　１２ａ　…　駐車スペース情報領域
　１００　…　障害物検知装置
　１０１　…　前方カメラ
　１０２　…　側方カメラ
　１０３、１０３ａ　…　駐車スペース検知部
　１０４　…　車両運動取得部
　１０５　…　処理領域設定部
　１０６　…　側方障害物検知部
　２０８　…　前方障害物検知部
　３０９　…　統合部
　５００　…　車両

Claims (9)

  1. 　移動する車両に搭載され当該車両の前方または後方を撮影する第１カメラと、
    　前記車両に搭載され前記車両の側方を撮影する第２カメラと、
    　前記第１カメラが撮影して得られた画像に基づき前記車両の駐車スペースを検出する駐車スペース検出部と、
    　前記駐車スペース検出部が検出する前記駐車スペースの実空間上の領域を記憶する記憶部と、
    　前記車両の挙動に関する情報を取得する運動取得部と、
    　前記第２カメラが異なる時刻に撮影して得られた複数の画像に基づき前記駐車スペースの周辺に存在する障害物の情報を算出する障害物算出部と、
    　前記記憶部に記憶された前記駐車スペースの実空間上の領域、および前記運動取得部が取得する前記車両の挙動に関する情報に基づき、前記障害物算出部における前記算出を制御する処理領域設定部とを備える、障害物検知装置。
  2. 　請求項１に記載の障害物検知装置において、
    　前記処理領域設定部は、前記記憶部に記憶された前記駐車スペースの実空間上の領域、および前記運動取得部が取得する前記車両の挙動に関する情報に基づき、前記駐車スペースと前記車両との実空間上の距離を算出し、前記距離が予め定められた距離よりも遠い場合に前記障害物算出部に前記算出を行わせないと決定する、障害物検知装置。
  3. 　請求項１に記載の障害物検知装置において、
    　前記処理領域設定部は、
    　前記記憶部に記憶された前記駐車スペースの実空間上の領域、および前記運動取得部が取得する前記車両の挙動に関する情報に基づき、前記第２カメラが撮影して得られる画像における前記駐車スペースの面積を算出し、前記算出した面積が予め定められた面積よりも大きい場合に前記障害物算出部に前記算出を行わせると決定する、障害物検知装置。
  4. 　請求項１乃至３のいずれか一項に記載の障害物検知装置において、
    　前記処理領域設定部は、
    　前記記憶部に記憶された前記駐車スペースの実空間上の領域、および前記運動取得部が取得する前記車両の挙動に関する情報に基づき、前記第２カメラが撮影して得られる画像における前記駐車スペースの領域を算出し、
    　前記画像における前記駐車スペースの領域と、前記画像内の予め定められた判定領域との関係に基づき前記障害物算出部に前記算出を行わせるか否かを決定する、障害物検知装置。
  5. 　請求項４に記載の障害物検知装置において、
    　前記処理領域設定部は、前記算出した前記第２カメラが撮影して得られる画像における前記駐車スペースの領域の少なくとも一部が前記判定領域に含まれる場合に、前記第２カメラが撮影して得られる画像における前記判定領域に含まれる、輝度を含む画像情報を用いて、前記障害物算出部に前記算出を行わせる、障害物検知装置。
  6. 　請求項５に記載の障害物検知装置において、
    　前記処理領域設定部は、前記算出した前記第２カメラが撮影して得られる画像における前記駐車スペースの領域の少なくとも一部が前記判定領域に含まれる場合に、前記第２カメラが撮影して得られた画像において、前記判定領域と前記駐車スペースの領域とが重複する領域に含まれる、輝度を含む画像情報を用いて、前記障害物算出部に前記算出を行わせる、障害物検知装置。
  7. 　請求項１に記載の障害物検知装置において、
    　前記第１カメラが異なる時刻に撮影して得られた複数の画像に基づき障害物の情報を算出する第１カメラ画像処理部をさらに備え、
    　前記駐車スペース検出部は、前記第１カメラ画像処理部の算出結果に基づき前記駐車スペースを検出し、
    　前記処理領域設定部は、さらに前記第１カメラ画像処理部により前記障害物の情報が算出されているか否かに基づき、前記障害物算出部が前記算出を行うか否かを決定する障害物検知装置。
  8. 　請求項１に記載の障害物検知装置において、
    　前記第１カメラが異なる時刻に撮影して得られた複数の画像に基づき障害物の情報を算出する第１カメラ画像処理部と、
    　実空間を格子状に分割した領域ごとに、前記第１カメラ画像処理部が算出する前記障害物の情報の信頼度、および前記障害物算出部が算出する前記障害物の情報の信頼度を算出し、当該領域における前記算出した信頼度が高い方の前記障害物の情報のいずれか一方を出力する統合部とをさらに備え、
    　前記駐車スペース検出部は、前記第１カメラ画像処理部の算出結果に基づき前記駐車スペースを検出する、障害物検知装置。
  9. 　請求項８に記載の障害物検知装置において、
    　前記障害物算出部および前記第１カメラ画像処理部は、それぞれ２枚の画像、および三角測量の原理に基づき前記障害物の情報を算出し、
    　前記統合部は、
    　実空間上の前記障害物の位置と前記２枚の画像が撮影された際の前記第１カメラの実空間上のそれぞれの位置とを結ぶ２本の直線がなす角に基づき、前記第１カメラ画像処理部が算出する前記障害物の情報の信頼度を算出し、
    　実空間上の前記障害物の位置と前記２枚の画像が撮影された際の前記第２カメラの実空間上のそれぞれの位置とを結ぶ２本の直線がなす角に基づき、前記障害物算出部が算出する前記障害物の情報の信頼度を算出する、障害物検知装置。
     
PCT/JP2016/082400 2015-11-02 2016-11-01 障害物検知装置 WO2017078001A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16862061.5A EP3372456A4 (en) 2015-11-02 2016-11-01 DEVICE FOR DETECTING OBSTACLES
US15/767,884 US10242576B2 (en) 2015-11-02 2016-11-01 Obstacle detection device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015215752A JP6514624B2 (ja) 2015-11-02 2015-11-02 障害物検知装置
JP2015-215752 2015-11-02

Publications (1)

Publication Number Publication Date
WO2017078001A1 true WO2017078001A1 (ja) 2017-05-11

Family

ID=58662016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082400 WO2017078001A1 (ja) 2015-11-02 2016-11-01 障害物検知装置

Country Status (4)

Country Link
US (1) US10242576B2 (ja)
EP (1) EP3372456A4 (ja)
JP (1) JP6514624B2 (ja)
WO (1) WO2017078001A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112172790A (zh) * 2020-06-24 2021-01-05 上汽通用五菱汽车股份有限公司 自动停车的控制方法、装置及计算机可读存储介质
US11787334B2 (en) 2018-09-05 2023-10-17 Volvo Car Corporation Driver assistance system and method for vehicle flank safety

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6930152B2 (ja) * 2017-03-14 2021-09-01 トヨタ自動車株式会社 自動運転システム
US10332002B2 (en) * 2017-03-27 2019-06-25 GM Global Technology Operations LLC Method and apparatus for providing trailer information
US11403865B2 (en) * 2017-07-25 2022-08-02 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
US11135987B2 (en) * 2017-08-22 2021-10-05 Sony Corporation Information processing device, information processing method, and vehicle
JP6926976B2 (ja) * 2017-11-15 2021-08-25 株式会社アイシン 駐車支援装置及びコンピュータプログラム
CN111867893B (zh) * 2018-03-22 2022-09-09 日立安斯泰莫株式会社 驻车辅助装置
JP6771517B2 (ja) * 2018-09-07 2020-10-21 本田技研工業株式会社 自動駐車装置及び自動駐車方法
JP7212486B2 (ja) * 2018-09-26 2023-01-25 フォルシアクラリオン・エレクトロニクス株式会社 位置推定装置
JP2020095623A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203587B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095624A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置、および画像処理方法
JP7203586B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095620A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7141940B2 (ja) 2018-12-14 2022-09-26 株式会社デンソーテン 画像処理装置および画像処理方法
JP7226986B2 (ja) 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
JP7252750B2 (ja) 2018-12-14 2023-04-05 株式会社デンソーテン 画像処理装置および画像処理方法
JP7359541B2 (ja) 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095631A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7236857B2 (ja) 2018-12-14 2023-03-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP7195131B2 (ja) 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
US10769948B2 (en) * 2018-12-27 2020-09-08 Industrial Technology Research Institute Parking spot detection system and method thereof
JP2020107308A (ja) * 2018-12-27 2020-07-09 財團法人工業技術研究院Ｉｎｄｕｓｔｒｉａｌ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 駐車スポット検出システム
JP2020166758A (ja) 2019-03-29 2020-10-08 株式会社デンソーテン 画像処理装置および画像処理方法
JP7323356B2 (ja) * 2019-06-28 2023-08-08 フォルシアクラリオン・エレクトロニクス株式会社 駐車支援装置及び駐車支援方法
EP4031426A4 (en) * 2019-09-22 2023-08-30 Vayavision Sensing Ltd. METHODS AND SYSTEMS FOR AUTONOMOUS VEHICLE DRIVING
CN112634487B (zh) * 2019-09-24 2022-08-16 北京百度网讯科技有限公司 用于输出信息的方法和装置
JP2023067021A (ja) * 2021-10-29 2023-05-16 日立Astemo株式会社 画像処理装置および車載制御装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108944A (ja) * 2002-09-18 2004-04-08 Nissan Motor Co Ltd 障害物検出装置
JP2009101989A (ja) * 2007-10-01 2009-05-14 Nissan Motor Co Ltd 縦列駐車支援装置及び縦列駐車支援方法
JP2012040883A (ja) * 2008-12-19 2012-03-01 Panasonic Corp 車両周囲画像生成装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4234374B2 (ja) * 2002-08-21 2009-03-04 三菱自動車工業株式会社 駐車支援装置
JP4428390B2 (ja) * 2007-02-15 2010-03-10 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP2010208358A (ja) 2009-03-06 2010-09-24 Toyota Industries Corp 駐車支援装置
JP5397321B2 (ja) * 2009-06-09 2014-01-22 株式会社デンソー 駐車支援システム
KR101305630B1 (ko) * 2011-09-30 2013-09-09 현대자동차주식회사 주차영역 자동 가변형 주차보조 시스템 및 그 방법
JP2014054912A (ja) * 2012-09-12 2014-03-27 Denso Corp 駐車支援システム
JP2015009646A (ja) * 2013-06-28 2015-01-19 アルパイン株式会社 運転支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004108944A (ja) * 2002-09-18 2004-04-08 Nissan Motor Co Ltd 障害物検出装置
JP2009101989A (ja) * 2007-10-01 2009-05-14 Nissan Motor Co Ltd 縦列駐車支援装置及び縦列駐車支援方法
JP2012040883A (ja) * 2008-12-19 2012-03-01 Panasonic Corp 車両周囲画像生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3372456A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11787334B2 (en) 2018-09-05 2023-10-17 Volvo Car Corporation Driver assistance system and method for vehicle flank safety
CN112172790A (zh) * 2020-06-24 2021-01-05 上汽通用五菱汽车股份有限公司 自动停车的控制方法、装置及计算机可读存储介质
CN112172790B (zh) * 2020-06-24 2022-10-28 上汽通用五菱汽车股份有限公司 自动停车的控制方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
US20180308364A1 (en) 2018-10-25
EP3372456A4 (en) 2019-07-10
JP6514624B2 (ja) 2019-05-15
JP2017087758A (ja) 2017-05-25
EP3372456A1 (en) 2018-09-12
US10242576B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
WO2017078001A1 (ja) 障害物検知装置
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101784183B1 (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101961001B1 (ko) 단일-카메라 거리 추정
KR101188588B1 (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
JP5782088B2 (ja) 歪みのあるカメラ画像を補正するシステム及び方法
WO2017134915A1 (ja) カメラキャリブレーション装置
JP4958279B2 (ja) 物体検出装置
KR102455632B1 (ko) 스테레오 매칭 방법 및 장치
WO2017122086A1 (en) Systems and methods for augmenting upright object detection
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
WO2020137110A1 (ja) 移動量推定装置
KR20200102108A (ko) 차량의 객체 검출 장치 및 방법
JP6577595B2 (ja) 車両用外界認識装置
JP2021033605A (ja) 画像処理装置、および、画像処理方法
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
KR101531313B1 (ko) 차량 하부의 물체 탐지장치 및 방법
KR102479253B1 (ko) 차량용 카메라 영상 기반 공차 보정 방법
WO2021106510A1 (ja) 障害物認識装置
JP7199337B2 (ja) 位置推定装置、位置推定方法およびプログラム
JP6566367B2 (ja) 三次元位置計測システム、移動体、三次元位置計測方法、及びプログラム
WO2023234384A1 (ja) 地図生成装置、地図生成方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16862061

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 15767884

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE