WO2020129517A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2020129517A1
WO2020129517A1 PCT/JP2019/045181 JP2019045181W WO2020129517A1 WO 2020129517 A1 WO2020129517 A1 WO 2020129517A1 JP 2019045181 W JP2019045181 W JP 2019045181W WO 2020129517 A1 WO2020129517 A1 WO 2020129517A1
Authority
WO
WIPO (PCT)
Prior art keywords
identification
image processing
area
image
identification area
Prior art date
Application number
PCT/JP2019/045181
Other languages
English (en)
French (fr)
Inventor
亮輔 鴇
裕史 大塚
郭介 牛場
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to JP2020561232A priority Critical patent/JP7201706B2/ja
Priority to CN201980084842.0A priority patent/CN113228130B/zh
Publication of WO2020129517A1 publication Critical patent/WO2020129517A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to an image processing device for identifying a pedestrian in an in-vehicle camera.
  • an object detected by an in-vehicle camera or radar is identified by using an identifier created in advance by machine learning as described in Patent Document 1. The method is adopted.
  • the pedestrian identification in the conventional technology it is assumed that the whole body of the pedestrian is reflected in the detected area, and the identification performance is maintained by performing the identification processing of the whole body of the pedestrian.
  • An object of the present invention is to realize an image processing device that can correctly identify whether or not a pedestrian is present even when the whole body of a pedestrian existing in the vicinity cannot be detected.
  • the present invention is configured as follows.
  • a detection unit that detects image information of the external environment
  • an identification area correction amount calculation unit that calculates a correction amount of an identification region that identifies a three-dimensional object from the image information detected by the detection unit
  • the identification An identification region correction unit that corrects the identification region of the image information for identifying the three-dimensional object based on the correction amount calculated by the region correction amount calculation unit, and an identification region corrected by the identification region correction unit
  • an identification processing unit for performing identification processing on the three-dimensional object inside.
  • the present invention it is possible to realize an image processing apparatus that can correctly identify whether or not a pedestrian is present even when the entire body of a pedestrian existing in the vicinity cannot be detected.
  • FIG. 1 is a block diagram showing the overall configuration of an image processing apparatus according to an embodiment of the present invention. It is a figure which shows the processing flow in a stereo camera apparatus. It is the figure which illustrated the result of the three-dimensional object detection process on a camera image. It is a figure which shows the process structure of one Example. It is a figure which shows the detail of a process structure of one Example. It is a figure which shows an example of the operation result of a camera image and a three-dimensional object detection process at night. It is a figure which shows the three-dimensional object detection result at the time of including the shield in the detection area in three-dimensional object detection processing. It is a figure which shows the image which shows the state in which the feet of a three-dimensional object are cut off. It is a figure which shows the distance of view of a camera and a pedestrian. It is a figure which shows the distance relationship between a headlight irradiation range and a pedestrian. It is a figure which shows the example of an identification area correction process result.
  • FIG. 1 is a block diagram showing the overall configuration of an image processing apparatus according to an embodiment of the present invention.
  • an in-vehicle stereo camera device 100 is a device that is mounted on a vehicle and recognizes an environment outside the vehicle based on image information of the environment outside the imaging target area in front of the vehicle.
  • the vehicle-mounted stereo camera device 100 recognizes, for example, white lines on a road, pedestrians, vehicles, and other three-dimensional objects, signals, signs, and lighting lamps, and brakes a vehicle (own vehicle) equipped with the stereo camera device 100. , Adjust steering etc.
  • the vehicle-mounted stereo camera device 100 includes two cameras (a left camera 101 and a right camera 102 (an image capturing unit that captures an image of the external environment and captures an image)) arranged on the left and right to capture image information, and the cameras 101 and 102. And an image input interface 103 for capturing a captured image.
  • the data captured by the image input interface 103 is sent through the bus 109, processed by the image processing unit 104 and the arithmetic processing unit 105, and the storage unit 106 stores image data that is a result in the middle of processing or a final result. Memorized in.
  • the image processing unit 104 compares the first image obtained from the image pickup element of the camera 101 with the second image obtained from the image pickup element of the camera 102, and compares the respective images with the camera 101 and the camera 102.
  • the device-specific deviation caused by the image pickup device, the image correction such as noise interpolation, and the like are stored in the storage unit 106.
  • the arithmetic processing unit 105 uses the image and the parallax information (distance information for each point on the image) stored in the storage unit 106 to recognize various objects necessary for perceiving the environment around the vehicle.
  • the control policy of the vehicle obtained as a result of the calculation and a part of the object recognition result are transmitted to the vehicle-mounted network CAN 110 through the CAN interface 107, and the vehicle is braked accordingly.
  • control processing unit 108 monitors whether or not each processing unit is performing an abnormal operation, whether an error occurs during data transfer, and the like, and a configuration is provided to prevent the abnormal operation. ing.
  • the image processing unit 104 described above includes an input/output unit 103 between the control processing unit 108, the storage unit 106, the arithmetic processing unit 105, and the image pickup devices of the left camera 101 and the right camera 102 via the internal bus 109, and an external vehicle-mounted network. It is connected to the input/output unit 107 with the CAN 110.
  • the image input interface 103, the image processing unit 104, the storage unit 106, the arithmetic processing unit 105, the input/output unit 107, and the control processing unit 108 are composed of a single or a plurality of computer units.
  • the storage unit 106 includes, for example, a memory that stores image information obtained by the image processing unit 104, image information created as a result of scanning by the arithmetic processing unit 105, and the like.
  • the input/output unit 107 with the external in-vehicle network CAN 110 outputs the information output from the in-vehicle stereo camera device 100 to the control system (not shown) of the own vehicle via the external in-vehicle network CAN 110.
  • FIG. 2 is a diagram showing a processing flow in the stereo camera device 100.
  • images are picked up by the left and right cameras 101 and 102, and for each of the image data 203 and 204 picked up by each, corrections for absorbing the peculiarity of the image pickup element, etc.
  • the image processing unit 104 performs the image processing 205.
  • the processing result is stored in the image buffer 206.
  • the image buffer 206 is provided in the storage unit 106 in FIG.
  • the two corrected images are used to collate the images with each other, thereby obtaining the parallax information of the images obtained by the left and right cameras. From the parallax of the left and right images, it becomes clear where and where a certain point of interest on the target object corresponds to the images of the left and right cameras 101 and 102, and the distance to the target object can be obtained by the principle of triangulation. become.
  • Parallax processing 207 does this.
  • the image processing 205 and the parallax processing 207 are performed by the image processing unit 104 in FIG. 1, and the image finally obtained and the parallax information are stored in the storage unit 106.
  • the detection process 208 for detecting a three-dimensional object in a three-dimensional space is performed using the parallax image obtained as described above. Further, various object recognition processing 209 is performed using the image stored in the storage unit 106 and the parallax information.
  • the objects to be recognized include people, cars, other three-dimensional objects, signs, traffic lights, tail lamps, etc.
  • the details of the recognition processing are determined by the characteristics of the object and the constraints such as the processing time required by the system.
  • the vehicle control process 210 issues, for example, a warning to an occupant to perform braking or steering angle adjustment of the host vehicle.
  • a policy for braking or for controlling avoidance of the object is determined, and the result is output through the CAN interface 107.
  • the three-dimensional object detection processing 208, various object recognition processing 209, and vehicle control processing 210 are performed by the arithmetic processing unit 105 in FIG.
  • Each of these processing means is composed of, for example, a single or a plurality of computer units, and is configured to be able to exchange data with each other.
  • the parallax process 207 obtains the parallax or distance of each pixel of the left and right images, and the three-dimensional object detection process 208 groups them as three-dimensional objects in a three-dimensional space, and various object recognition processes 209 based on the position and area on the image. Is carried out. At this time, in order for the various object recognition processing 209 to stably recognize the object, it is necessary that the three-dimensional object region on the image and the object to be recognized match.
  • one embodiment of the present invention is applied to various recognition processes.
  • FIG. 3 is a diagram illustrating a result of the three-dimensional object detection processing 208 on the camera image.
  • the three-dimensional object area 301 which is the result of the three-dimensional object detection processing 208, is obtained for each object having a height on the road surface, such as a pedestrian, a vehicle, a tree, or a streetlight, which exists in a three-dimensional space. Projected as the upper area.
  • the three-dimensional object area 301 may be rectangular as shown in FIG. 3 or may be an irregular area obtained from parallax or distance. Generally, it is handled as a rectangle in order to facilitate the handling by the computer in the subsequent processing. In this embodiment, the region is treated as a rectangle, and a pedestrian is used as an example of a three-dimensional object to describe the details of each process.
  • FIG. 4 is a diagram showing the processing configuration of this embodiment. As described above, the various object recognition 209 is performed by the arithmetic processing unit 105. Therefore, the configuration shown in FIG. 4 is the internal configuration of the arithmetic processing unit 105.
  • the detection unit 401 detects the distance from the image capturing unit to the three-dimensional object from the image information of the external environment captured by the cameras 101 and 102, which are image capturing units, and determines the external environment conditions such as brightness and weather and the three-dimensional object. Based on the distance distribution of the detection target object area obtained from the detection processing 208, it is detected whether or not a shield is included in the detection target object area.
  • the area correction amount calculation unit (identification area correction amount calculation unit) 402 calculates the correction amount of the identification area for identifying a three-dimensional object from the image information detected by the detection unit 401. That is, the correction amount of the identification area of the three-dimensional object is calculated based on at least one of the detected brightness of the external environment, the distance to the three-dimensional object, the headlight irradiation range, and the position and size of the shield.
  • the identification area correction unit 403 corrects the identification area based on the correction amount calculated by the area correction amount calculation unit 402.
  • the identification processing unit 404 performs identification processing on the three-dimensional object within the set (corrected) identification area. Examples of the identification process include the following techniques.
  • a classifier template matching that compares a template prepared in advance with a recognition target and a feature amount such as a luminance image or HOG or Haar-Like
  • a machine learning method such as a support vector machine or Ada-Boost or DeepLearning are combined.
  • Software is available.
  • FIG. 5 is a diagram showing the details of the processing configuration of this embodiment (details of each part shown in FIG. 4).
  • FIG. 5 the external environment determination process 501 of the detection unit 401 determines the brightness state of the external environment when the three-dimensional object detection process 208 is performed.
  • FIG. 6 is a diagram showing an example of the external environment, and is a diagram of a camera image 601 at night and an example of the operation result of the three-dimensional object detection processing 208.
  • the entire pedestrian moving in the image is detected so as to be included in the three-dimensional object area (detection area) 301.
  • the detection area 602 includes the lower half of the pedestrian, but the upper half. Is not included, and it is assumed that the entire pedestrian is not included.
  • the brightness distribution in the image may be obtained by image processing, or the time may be directly obtained from the internal information of the vehicle. It is also possible to determine that the shutter speed of the camera for which exposure adjustment has been performed is below the threshold value during the daytime, and if the shutter speed is above the threshold value, during the nighttime.
  • the shielding object detection processing 502 of the detection unit 401 detects whether an object other than a pedestrian is included in the detection area when the three-dimensional object detection processing 208 is performed, and the pedestrian is shielded. Determine if
  • FIG. 7 is a diagram showing a three-dimensional object detection result when the detection area 701 includes a shield in the three-dimensional object detection processing 208.
  • the detection region (identification region) 701 looking at the parallax distribution 702 of the detection region (identification region) 701, when a large number of regions having different parallaxes are included, the distance of each region is calculated, and the pedestrian (three-dimensional object) is covered by the obstacle 703. It is determined to be shielded, and the regions of the shield 703 and the pedestrian are discriminated in the detection region with the regions in the front direction and the depth direction. Then, the correction amount of the identification area is calculated so that the shield 703 is excluded from the detection area (identification area) 701, and the three-dimensional object in the corrected identification area is identified.
  • FIG. 8 is a diagram showing an image showing a state where the feet of a three-dimensional object (a pedestrian in FIG. 8) are cut off. As shown in FIG. 8, whether or not the feet of the three-dimensional object can be cut off can be determined based on whether the lower end of the detection region 801 on the image is in contact with the lower end of the captured image.
  • FIG. 9 is a diagram showing a distance relationship between the angle of view of the camera and a pedestrian.
  • the distance at which the feet are cut off from the image is the distance between the detected three-dimensional object and the vehicle, the camera shooting angle of view 901, the camera installation height, and the camera. It is also possible to use a method of calculating from the posture of.
  • the distance at which the feet are cut out from the image is preset as a distance setting value and stored in the storage unit 106, and the image pickup unit (the left camera 101 and the right camera 102 is set as a condition of the distance at which the feet are cut out from the image. ) Determines whether the distance detected is less than or equal to the distance set value.
  • the identification area correction unit 403 sets the upper area of the identification area. Widen (expand) correction. In this case, the identification area correction unit 403 performs correction so that the larger the detected distance is, the smaller the correction amount of the upper end area of the identification area is within the range where the detected distance is equal to or less than the distance set value.
  • FIG. 10 is a diagram showing a distance relationship between a headlight irradiation range and a pedestrian. As shown in (A) of FIG.
  • the optical axis of the headlight is directed in the direction of illuminating the road surface, so that walking The closer the person is to the vehicle, the more the area 1001 exposed to the light is to the foot side, and the vicinity of the head is not illuminated.
  • the result of the three-dimensional object detection processing 208 includes the head of the pedestrian. There is no detection area 1003.
  • the optical axis points upward, so that the head is not moved even when a pedestrian is in the vicinity. It is included in the irradiation range 1004.
  • the head also receives light, and the result of the three-dimensional object detection processing 208 is a detection area 1006 including the head of the pedestrian.
  • the correction amount is calculated for each of the low beam and high beam.
  • the amount of correction is determined by the size of one head in real space, for example 25 cm. Is set as the correction amount in the upper end direction (the correction is performed to widen the upper area of the identification area). Further, in the case of a high beam, the head is likely to be included, so the correction amount is, for example, 6 cm for the quadruple head.
  • the low beam and high beam may be determined by directly referring to the internal information of the own vehicle, performing image processing on the captured image, and calculating the luminance distribution. It is also possible to calculate the value of the correction amount in consideration of the characteristics of the diffusion of the light depending on the type of the headlight (LED, halogen, etc.) equipped on the vehicle. It is also possible to change the correction amount using the result of the external environment determination processing 501. For example, in the outside environment determination processing 501, when it is determined that the headlight of the pedestrian is sufficiently low even if the headlight is a low beam, it is determined that the headlight of the pedestrian is sufficiently low when it is determined that the headlamp is a low beam. It is also possible to make an adjustment such that the correction amount is reduced.
  • the detection result correction processing 505 of the area correction amount calculation unit 402 when the detection unit 401 determines that there is a shield in the detection area, the result of the shield detection processing 502 is used to include the shield in the identification area.
  • the correction amount of the identification area is calculated so that it does not occur. For example, from the parallax distribution 702 of FIG. 7, objects on the front side and objects on the depth side are clustered according to the parallax distribution, the areas of the obstacle 703 and the pedestrian are separated, and the areas of the obstacle 703 are identified so as not to be included.
  • One example is to calculate the correction amount of the area.
  • the detection result correction processing 505 not only the disparity information but also the color information and the extraction of the feature amount are used to obtain the detailed positional relationship between the shield 703 and the pedestrian, so that the shield 703 is not included. You may perform the process which calculates a correction amount.
  • the identification area correction processing 506 of the identification area correction unit 403 executes resizing of the identification area based on each correction amount calculated by the area correction amount calculation unit 402.
  • the three-dimensional object detection area is used as the base of the identification area, and the correction amounts calculated by the distance determination correction processing 503, the headlight irradiation range determination correction processing 504, and the detection result correction processing 505 are collectively corrected to the final identification area.
  • the discrimination area correction processing 506 corrects so that, for example, an area corresponding to half the height from the upper part of the detection frame of the three-dimensional object to the ground is reset as the discrimination area.
  • the identification area is corrected so that the upper body including the head of the pedestrian is included in the identification area, and it is determined whether the object in the corrected identification area is a pedestrian. To do. As a result, the accuracy of identifying whether or not a person is a pedestrian can be improved.
  • FIG. 11 is a diagram showing an example of the identification area correction processing result.
  • the pedestrian in the camera image 1103 in which the headlight of the own vehicle is a low beam at night, the pedestrian is a camera image 1103 in which it can be determined that the head of the pedestrian is not included in the detection area.
  • the identification area 11030 is corrected so that the upper half of the body including the head of FIG.
  • the upper body including the head of the pedestrian is identified as the identification region. Is corrected to obtain the identification area 1106.
  • the identification area correction calculation unit 402 determines that the correction amount of the upper area of the identification area is the high beam ( The irradiation range of the headlight is set to be higher than that (when the irradiation range is set high).
  • the distance from the own vehicle in each region is calculated, and the object in the front region is calculated. Is determined to be removed as a shielding object, and whether the image is a pedestrian or not is determined based on the remaining image.
  • the identification area is corrected so that the upper body part including the head becomes the identification area, and if it is determined that the head is not illuminated, the area including the head is included. Is configured to be a pedestrian using the identification region having the upper body including the head.
  • a plurality of classifiers may be prepared and the classifiers may be switched based on the correction result of the classification area.
  • the discriminator created using the learning data of the upper half of the pedestrian instead of the whole body discriminator. ..
  • the present invention is applied to an image processing apparatus mounted in a vehicle
  • the present invention is applied to an image processing apparatus mounted in a moving body (such as an article transport vehicle) other than the vehicle. It is also applicable to.
  • the example described above is an example of an image processing apparatus that identifies a pedestrian (person), but it is also applicable to an image processing apparatus that identifies a moving object other than a person. For example, it can be applied to an image processing device for identifying other vehicles, small animals and the like.
  • the above-mentioned detection area is an area for detecting an object
  • the identification area is an area for identifying the detected object in the detection area. Therefore, the detection area is often corrected for the identification area, but both may be the same as a result of the correction.
  • ..Detection unit 402...region correction calculation unit, 403...identification region correction unit, 404...identification processing unit, 501...outside environment detection process, 502...shielding object detection process, 503 ... Distance determination correction processing, 504... Headlight irradiation range determination correction processing, 505... Detection result correction processing, 506... Identification area correction processing, 601, 1002, 1005, 1101, 1103, 1105 ...Camera image, 701, 801, 1003, 1006... Detection area, 702... Parallax distribution, 703... Obstacle, 901... Camera shooting angle of view, 1001... Range illuminated by light , 1102, 1104, 1106, 11020, 11030, 11060... Identification area

Abstract

周辺に存在する歩行者の全身を検知できない場合においても、歩行者か否かの識別を正しく行うことができる画像処理装置を実現する。昼間に足元が見切れた場合のカメラ画像１１０１では歩行者の頭部まで含めた上半身を識別領域とするために識別領域１１０２０を補正した結果は、識別領域１１０２となる。夜間に自車両の前照灯がロービームでのカメラ画像１１０３では歩行者の頭部が検知領域に含まれていないと判断できるカメラ画像１１０３について歩行者の頭部まで含めた上半身を識別領域とするために識別領域１１０３０を補正し、識別領域１１０４とする。夜間に自車両の前照灯がハイビームでのカメラ画像１１０５では、歩行者の足元が見切れた画像１１０６０について、歩行者の頭部まで含めた上半身を識別領域とするために補正し、識別領域１１０６とする。

Description

画像処理装置
　本発明は、車載カメラにおける歩行者を識別する画像処理装置に関する。
　近年、車載センシング装置の普及により、運転支援システムや自動運転システムの開発が進められている。より高度なシステムの開発においては、自動車周辺に存在する物体を車両か歩行者かなどといった種別を識別する必要がある。
　自動車周辺に存在する物体の種別の識別には、特許文献１に記載されているように、あらかじめ機械学習によって作成した識別器を用いて、車載カメラやレーダーなどによって検出された物体を識別するという手法が取り入れられている。
特開２０１３－２３２０８０号公報
　従来技術における歩行者の識別は、検知した領域内に歩行者の全身が映っているものとして、歩行者の全身の識別処理を行うことで識別性能を保っている。
　そのため、歩行者の下半身が画角外に出てしまうような近距離に歩行者が存在する場合や、生垣やガードレールなどで歩行者の下半身が隠れる場合、夜間の前照灯の照射具合により歩行者の全身が検出できない等の場合に、歩行者識別性能が低下してしまっていた。
　本発明の目的は、周辺に存在する歩行者の全身を検知できない場合においても、歩行者か否かの識別を正しく行うことができる画像処理装置を実現することである。
　上記目的を達成するため、本発明は次のように構成される。
　画像処理装置において、外環境の画像情報を検出する検出部と、前記検出部の検出した前記画像情報から立体物を識別する識別領域の補正量を算出する識別領域補正量算出部と、前記識別領域補正量算出部が算出した前記補正量に基づいて、前記立体物を識別するための前記画像情報の前記識別領域を補正する識別領域補正部と、前記識別領域補正部により補正された識別領域内の立体物を識別処理する識別処理部と、を備える。
　本発明によれば、周辺に存在する歩行者の全身を検知できない場合においても、歩行者か否かの識別を正しく行うことができる画像処理装置を実現することができる。
本発明の一実施例に係る画像処理装置の全体構成を示すブロック図である。 ステレオカメラ装置内の処理フローを示す図である。 カメラ画像上での立体物検知処理の結果を図示した図である。 一実施例の処理構成を示す図である。 一実施例の処理構成の詳細を示す図である。 夜間のカメラ画像と立体物検知処理の動作結果の一例を示す図である。 立体物検知処理において検知領域に遮蔽物を含んでしまった場合の立体物検知結果を示す図である。 立体物の足元が見切れる状態を示す画像を示す図である。 カメラの画角と歩行者との距離関係を示す図である。 前照灯照射範囲と歩行者との距離関係を示す図である。 識別領域補正処理結果の例を示す図である。
　本発明の実施形態について添付図面を参照して説明する。
　図１は、本発明の一実施例に係る画像処理装置の全体構成を示すブロック図である。
　図１において、本発明の一実施例における車載ステレオカメラ装置１００は、車両に搭載され、車両前方の撮影対象領域の外環境の画像情報に基づいて車外環境を認識する装置である。車載ステレオカメラ装置１００は、例えば、道路の白線、歩行者、車両、その他の立体物、信号、標識、点灯ランプなどの認識を行い、当該ステレオカメラ装置１００を搭載した車両（自車両）のブレーキ、ステアリング調整などの調整を行う。
　車載ステレオカメラ装置１００は、画像情報を取得する左右に配置された２つのカメラ（左カメラ１０１、右カメラ１０２（外環境を撮像し、画像を得る撮像部））と、カメラ１０１、１０２の撮像を制御して、撮像した画像を取り込むための画像入力インタフェース１０３を備える。
　この画像入力インタフェース１０３を通して取り込まれた画像は、バス１０９を通してデータが送られ、画像処理部１０４や、演算処理部１０５で処理され、処理途中の結果や最終結果となる画像データなどが記憶部１０６に記憶される。
　画像処理部１０４は、カメラ１０１の撮像素子から得られる第１の画像と、カメラ１０２の撮像素子から得られる第２の画像とを比較して、それぞれの画像に対して、カメラ１０１およびカメラ１０２の撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行い、これを記憶部１０６に記憶させる。
　更に、カメラタ１０１からの第１の画像と、カメラ１０２からの第２の画像との間で、相互に対応する箇所を計算して、視差情報を計算し、先程と同様に、これを記憶部１０６に記憶させる。
　演算処理部１０５は、記憶部１０６に蓄えられた画像および視差情報（画像上の各点に対する距離情報）を使い、車両周辺の環境を知覚するために必要な、各種物体の認識を行う。
　各種物体とは、人、車、その他の障害物、信号機、標識、車のテールランプやヘッドライド、などである。これら認識結果や中間的な計算結果の一部が、先程と同様に、記憶部１０６に記録される。撮像した画像に対して各種物体認識を行った後に、これら認識結果を用いて車両の制御に必要な指令値等が計算される。
　計算の結果として得られた車両の制御方針や、物体認識結果の一部はＣＡＮインタフェース１０７を通して、車載ネットワークＣＡＮ１１０に伝えられ、これにより車両の制動が行われる。
　また、これらの動作について、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかどうかなどを、制御処理部１０８が監視しており、異常動作を防ぐ構成となっている。
　上記の画像処理部１０４は、内部バス１０９を介して制御処理部１０８、記憶部１０６、演算処理部１０５および左カメラ１０１及び右カメラ１０２の撮像素子との間の入出力部１０３と外部車載ネットワークＣＡＮ１１０との入出力部１０７に接続されている。
　画像入力インタフェース１０３、画像処理部１０４、記憶部１０６、演算処理部１０５、入出力部１０７および制御処理部１０８は、単一または複数のコンピュータユニットにより構成されている。
　記憶部１０６は、例えば画像処理部１０４によって得られた画像情報や、演算処理部１０５によって走査された結果作られた画像情報等を記憶するメモリ等により構成されている。
　外部車載ネットワークＣＡＮ１１０との入出力部１０７は、車載ステレオカメラ装置１００から出力された情報を、外部車載ネットワークＣＡＮ１１０を介して自車両の制御システム（図示せず）に出力する。
　図２は、ステレオカメラ装置１００内の処理フローを示す図である。
　まず、車載ステレオカメラ装置１００内において、左右のカメラ１０１と１０２により画像が撮像され、各々で撮像した画像データ２０３、２０４のそれぞれについて、撮像素子が持つ固有の癖を吸収するための補正などの画像処理２０５を画像処理部１０４が行う。その処理結果は画像バッファ２０６に蓄えられる。画像バッファ２０６は、図１の記憶部１０６に設けられる。
　更に、補正された２つの画像を使って、画像同士の照合を行い、これにより左右カメラで得た画像の視差情報を得る。左右画像の視差により、対象物体上のある着目点が、左右カメラ１０１および１０２の画像上の何処と何処に対応するかが明らかとなり、三角測量の原理によって、対象物までの距離が得られることになる。
　これを行うのが視差処理２０７である。画像処理２０５および視差処理２０７は、図１の画像処理部１０４で行われ、最終的に得られた画像、および視差情報は記憶部１０６に蓄えられる。
　上記によって得られた視差画像を用いて、３次元空間上の立体物を検知する検知処理２０８を行う。更に上記の記憶部１０６に記憶された画像、および視差情報を用いて、各種物体認識処理２０９を行う。認識対象の物体としては、人、車、その他の立体物、標識、信号機、テールランプなどがあり、認識処理の詳細は対象の特性とシステム上かけられる処理時間などの制約によって決定されている。
　更に、物体認識の結果と、自車両の状態（速度、舵角など）とを勘案して、車両制御処理２１０によって、例えば、乗員に警告を発し、自車両のブレーキングや舵角調整などの制動を行う、あるいは、それによって対象物の回避制御を行う方針を決め、その結果はＣＡＮインタフェース１０７を通して出力する。
　立体物検知処理２０８、各種物体認識処理２０９および車両制御処理２１０は、図１の演算処理部１０５で行われる。これらの各処理各手段は、例えば単一または複数のコンピュータユニットにより構成され、相互にデータを交換可能に構成されている。
　上記視差処理２０７により左右画像の各画素の視差または距離が得られ、立体物検知処理２０８で３次元空間上の立体物としてグルーピングされ，その画像上の位置と領域を元に各種物体認識処理２０９が実施される。この時、各種物体認識処理２０９が安定して物体の認識を行うためには、画像上の立体物領域と認識したい対象の映りが一致している必要がある。
　しかし、ステレオカメラにおいては、外環境の明るさやカメラ間の撮像性能のばらつき、ガラス面の異物などによって発生するオクルージョン、などによって、認識したい画像上の物体領域を完全に一致させることができない場合がある。
　これは、ミリ波などのレーダーと、カメラなどの画像センサを組み合わせた場合でも同様である。そこで、各種認識処理において、本発明の一実施例が適用される。
　以下では、ステレオカメラ装置を前提に構成を述べる。
　図３はカメラ画像上での立体物検知処理２０８の結果を図示した図である。
　図３において、立体物検知処理２０８の結果である立体物領域３０１は、３次元空間上に存在する歩行者、車両、樹木や街灯などの路面上高さを持った物体ごとに得られ、画像上の領域として投影される。
　立体物領域３０１は図３のように矩形であっても、視差や距離から得られる不定形の領域であっても構わない。後段の処理において計算機での扱いを容易にするため一般的には矩形として扱われる。本実施例では以下、領域は矩形として扱い、立体物の一例として歩行者を用いて各処理の詳細を述べる。
　図４は、本実施例の処理構成を示す図である。上述したように、各種物体認識２０９は演算処理部１０５にて行われる。よって、図４に示した構成は、演算処理部１０５の内部構成である。
　なお、以下ではステレオカメラを前提に構成を述べる。
　図４において、検出部４０１は、撮像部であるカメラ１０１、１０２が撮像した外環境の画像情報から撮像部から立体物までの距離等を検出し、明るさや天候といった外環境の状況や立体物検知処理２０８から得られた検知対象物体領域の距離分布などをもとに検知対象物体領域に遮蔽物が含まれているか等を検出する。
　領域補正量算出部（識別領域補正量算出部）４０２は、検出部４０１が検出した画像情報から立体物を識別する識別領域の補正量を算出する。つまり、検出した外環境の明るさ、立体物との距離、前照灯照射範囲、遮蔽物の位置やサイズの少なくとも一つに基づいて、立体物の識別領域の補正量を算出する。
　識別領域補正部４０３では、領域補正量算出部４０２によって算出された補正量をもとに識別領域の補正を実施する。
　識別処理部４０４にて、設定された（補正された）識別領域内の立体物が識別処理される。識別処理には、例えば以下のような技術があげられる。
　あらかじめ用意した認識対象らしさを有するテンプレートと識別領域を比較するテンプレートマッチング、輝度画像やＨＯＧやＨａａｒ－Ｌｉｋｅといった特徴量と、サポートベクターマシンやＡｄａ－ＢｏｏｓｔやＤｅｅｐＬｅａｒｎｉｎｇといった機械学習手法を合わせた識別器（ソフトウェア）を利用する手法がある。
　また、エッジ形状などを人為的に決めた閾値判定で認識しても良い
　図５は本実施例の処理構成の詳細（図４に示した各部の詳細）を示す図である。
　図５において、検出部４０１の外環境判定処理５０１は、立体物検知処理２０８が行われたときの外環境の明るさの状態の判定を行う。図６は外環境の例を示す図であり、夜間のカメラ画像と立体物検知処理２０８の動作結果の一例を示すカメラ画像６０１の図である。
　図３に示すように、外環境が昼間であれば、画像中に移っている歩行者の全体が立体物領域（検知領域）３０１に含まれるように検知される。しかし、夜間など暗くなってしまう場合、図６に示すように、歩行者と背景が分離できず、立体物検知処理２０８において、検知領域６０２には歩行者の下半分は含まれるが、上半分は含まれず、歩行者の全体が含まれていないことが想定される。
　外環境の明るさの判定においては、画像中の輝度分布などを画像処理によって求める、車両の内部情報から時刻を直接取得するなどして判定してもよい。また、露光調整を実施したカメラのシャッタースピードが閾値以下であれば昼間、閾値以上であれば夜間というように判定することもできる。
　また、シャッタースピードだけでなく、画像中の輝度分布や前後フレーム間の輝度の変化などを観測し、トンネル内や薄暮といったような詳細な外環境の判定を行うことも可能である。
　図５において、検出部４０１の遮蔽物検出処理５０２は、立体物検知処理２０８が行われたときに検知領域内に歩行者以外の物体が含まれているかを検出し、歩行者が遮蔽されているかを判定する。
　図７は立体物検知処理２０８において検知領域７０１に遮蔽物を含んでしまった場合の立体物検知結果を示す図である。図７において、検知領域（識別領域）７０１の視差分布７０２を見て、視差の異なる領域が多く含まれている場合、各領域の距離を算出し、歩行者（立体物）が遮蔽物７０３により遮蔽されていると判断し、手前方向と奥行方向にある領域をもって検知領域内にて遮蔽物７０３と歩行者との領域を判別する。そして、遮蔽物７０３を検知領域（識別領域）７０１から除外するように識別領域の補正量が算出され、補正した識別領域内の立体物が識別される。
　図５において、領域補正量算出部４０２の距離判定処理５０３では、検知した立体物が歩行者である場合に歩行者の足元が見切れる距離にいるかを判定し、識別領域の補正量の算出を行う。図８は、立体物（図８では歩行者）の足元が見切れる状態を示す画像を示す図である。図８に示すように、立体物の足元が見切れるか否かは画像上における検知領域８０１の下端が撮像した画像の下端に接しているかで判定することができる。
　また、図９はカメラの画角と歩行者との距離関係を示す図である。図９に示すように、立体物が歩行者である場合に、足元が画像中から見切れてしまう距離は、検知した立体物と車両との距離、カメラ撮影画角９０１、カメラ設置高さ、カメラの姿勢から算出する手法なども考えられる。
　足元が画像中から見切れてしまう距離は、距離設定値として予め設定して記憶部１０６に格納しておき、足元が画像中から見切れてしまう距離の条件として撮像部（左カメラ１０１、右カメラ１０２）が検知した距離が距離設定値以下か否かにより判断する。
　識別領域補正部４０３は、検知した距離が距離設定値以下の場合であって、検知した立体物の上部（頭部）が識別領域に入っていないと判断できる場合は、識別領域の上部領域を広げる（拡張する）補正を行う。この場合、識別領域補正部４０３は、検知した距離が距離設定値以下の範囲内において、検知した距離が、大きいほど識別領域の上端領域の補正量が小さくなるように補正する。
　図５において、領域補正量算出部４０２の前照灯照射範囲判定補正処理５０４は、車両の前照灯(外環境の前方を照射する前照灯)の照射状態から識別領域に歩行者の頭部が含まれるように識別領域の補正量を算出する。図１０は、前照灯照射範囲と歩行者との距離関係を示す図である。図１０の（Ａ）に示すように、前照灯がロービームの場合（前照灯の照射範囲が低く設定されている場合）、路面を照らす方向に前照灯の光軸が向くため、歩行者が車両に近いほど光の当たる範囲１００１は足元側になり、頭部付近は照らされなくなってしまう。
　そのため、図１０の（Ｂ）に示すように、カメラ画像１００２で歩行者を観測すると頭部は暗くなり、背景と混じってしまうため、立体物検知処理２０８の結果は歩行者の頭部を含まない検知領域１００３となる。
　図１０の（Ｃ）に示すように、ハイビームの場合（前照灯の照射範囲が高く設定されている場合）は、光軸が上を向くため歩行者が近傍にいる場合においても頭部が照射範囲１００４に含まれるようになる。この時のカメラ画像１００５で歩行者を観測すると、図１０の（Ｄ）に示すように、頭部にも光が当たり、立体物検知処理２０８の結果は歩行者の頭部を含む検知領域１００６となる。
　そのため、ロービームとハイビーム、それぞれに応じた補正量の算出を行う。補正量の決め方は、例えば、ロービームの場合、照射範囲と距離に応じて頭部が含まれにくい位置に歩行者がいるとするならば、実空間上のサイズで一頭身分、例えば２５ｃｍを識別領域の上端方向の補正量とする（識別領域の上部領域を広げる補正を行う）。また、ハイビームの場合であれば、頭部が含まれやすくなるため、補正量は四半頭身分の、例えば６ｃｍとするといった具合である。
　ロービーム、ハイビームの判定は、自車両の内部情報を直接参照する、撮像した画像に対し画像処理を行い輝度の分布などを算出することなどで判定してもよい。また、車両が装備している前照灯の種類（ＬＥＤ、ハロゲンなど）によって、それらの光の拡散の特性を考慮して補正量の値を算出することも可能である。外環境判定処理５０１の結果を用いて補正量を変更することも可能である。例えば、外環境判定処理５０１では、薄暮程度の暗さと判定された場合、前照灯がロービームであっても歩行者の頭部まで十分に検知できるものと判定し、夜間のロービームの場合に対して補正量を少なくするといった調整も可能である。
　領域補正量算出部４０２の検出結果補正処理５０５では、検出部４０１によって検知領域に遮蔽物があると判定された場合、遮蔽物検出処理５０２の結果を用いて、識別領域内に遮蔽物が含まれないように識別領域の補正量を算出する。例えば、図７の視差分布７０２から手前側の物体と奥行側の物体を視差分布に応じてクラスタリングし、遮蔽物７０３と歩行者の領域を分別し、遮蔽物７０３の領域を含めないように識別領域の補正量を算出することが挙げられる。
　また、検出結果補正処理５０５において、視差情報だけでなく、カラー情報や特徴量の抽出などを用いて遮蔽物７０３と歩行者との位置関係などを詳細に求めて遮蔽物７０３を含めないように補正量を算出する処理を行ってもよい。
　識別領域補正部４０３の識別領域補正処理５０６は、領域補正量算出部４０２によって算出された各補正量をもとに識別領域のリサイズを実施する。立体物検知領域を識別領域のベースとして、距離判定補正処理５０３、前照灯照射範囲判定補正処理５０４、検出結果補正処理５０５によって算出した補正量を総合して最終的な識別領域へ補正する。
　識別領域補正処理５０６は、上記の判断結果をもとに、たとえば立体物の検知枠の上部から地面までの高さの半分にあたる領域を、識別領域として再設定するように補正する。
　対象物が歩行者である場合は、歩行者の頭部を含めた上半身が識別領域内に含まれるように識別領域を補正し、補正した識別領域内の対象物が歩行者か否かを判断する。これによって、歩行者か否かの識別精度を向上することができる。
　図１１は、識別領域補正処理結果の例を示す図である。
　図１１の（Ａ）において、例えば、昼間に足元が見切れた場合のカメラ画像１１０１では、歩行者の頭部まで含めた上半身を識別領域とするために、識別領域１１０２０を補正した結果は、識別領域１１０２となる。
　また、図１１の（Ｂ）において、夜間に自車両の前照灯がロービームでのカメラ画像１１０３では、歩行者の頭部が検知領域に含まれていないと判断できるカメラ画像１１０３について、歩行者の頭部まで含めた上半身を識別領域とするために識別領域１１０３０を補正し、識別領域１１０４とする。
　また、図１１の（Ｃ）において、夜間に自車両の前照灯がハイビームでのカメラ画像１１０５では、歩行者の足元が見切れた画像１１０６０について、歩行者の頭部まで含めた上半身を識別領域とするために補正し、識別領域１１０６とする。
　識別領域補正算出部４０２は、ロービームの場合（外環境の前方を照射する前照灯の照射範囲が低く設定されている場合）には、識別領域の上部領域の補正量が、ハイビームの場合（前照灯の照射範囲が高く設定されている場合）に比べて大きくなるように補正することとなる。
　なお、識別領域の補正量の算出結果から補正後の識別領域と補正前の検知領域とが一致する場合もあり得る。
　以上のように、本発明の一実施例によれば、歩行者の一部が遮蔽物で遮蔽されていると判断する場合は、各領域の自車両からの距離を算出し、手前領域の物体を判別して遮蔽物として除去し、残った画像により歩行者か否かを判別するように構成される。
　また、対象物の足元が見切れたと判断した場合、頭部を含む上半身部分が識別領域となるように識別領域を補正し、頭部が照射されていないと判断した場合は、頭部まで含む領域が識別領域となるように識別領域を補正し、頭部を含む上半身を有する識別領域を用いて、歩行者か否かを判別するように構成される。
　したがって、自車両周辺に存在する歩行者の全身を検知できない場合においても、歩行者か否かの識別を正しく行うことができる画像処理装置を実現することができる。
　認識処理４０４では、識別器を複数用意し、識別領域の補正結果をもとに識別器の切り替えをおこなってもよい。
　例えば、補正結果から歩行者の上半身部分が識別領域となった場合は、全身の識別器ではなく、歩行者の上半身の学習データを用いて作成した識別器を用いて識別を行うことが挙げられる。
　なお、上述した例は、本発明を車両に搭載される画像処理装置に適用した場合の例であるが、本発明は、車両以外の移動体（物品搬送車等）に搭載される画像理装置にも適用可能である。
　また、上述した例は、歩行者（人）を識別する画像処理装置の例であるが、人以外の移動物体を識別する画像処理装置にも適用可能である。例えば、他車両、小動物等を識別する画像処理装置にも適用可能である。
　上述した検知領域は対象物を検知するための領域であり、識別領域は検知領域内の検知した対象物を識別するための領域である。よって、識別領域は検知領域を補正する場合が多いが、補正した結果、両者が同一となる場合もあり得る。
　１００・・・ステレオカメラ装置、　１０１・・・左カメラ、　１０２・・・右カメラ、　１０３・・・画像入力インタフェース、　１０４・・・画像処理部、　１０５・・・演算処理部、　１０６・・・記憶部、　１０７・・・ＣＡＮインタフェース、　１０８・・・制御処理部、　１０９・・・内部バス、　１１０・・・外部車載ネットワークＣＡＮ、　２０３、２０４・・・画像データ、　２０５・・・画像処理、　２０６・・・画像バッファ、　２０７・・・視差処理、　２０８・・・立体物検知処理、　２０９・・・各種物体認識処理、　２１０・・・車両制御処理、　３０１・・・立体物領域、　４０１・・・検出部、　４０２・・・領域補正算出部、　４０３・・・識別領域補正部、　４０４・・・識別処理部、　５０１・・・外環境検出処理、　５０２・・・遮蔽物検出処理、　５０３・・・距離判定補正処理、　５０４・・・前照灯照射範囲判定補正処理、　５０５・・・検出結果補正処理、　５０６・・・識別領域補正処理、　６０１、１００２、１００５、１１０１、１１０３、１１０５・・・カメラ画像、　７０１、８０１、１００３、１００６・・・検知領域、　７０２・・・視差分布、　７０３・・・遮蔽物、　９０１・・・カメラ撮影画角、　１００１・・・光が当たる範囲、　１１０２、１１０４、１１０６、１１０２０、１１０３０、１１０６０・・・識別領域

Claims (7)

  1. 　外環境の画像情報を検出する検出部と、
    　前記検出部の検出した前記画像情報から立体物を識別する識別領域の補正量を算出する識別領域補正量算出部と、
    　前記識別領域補正量算出部が算出した前記補正量に基づいて、前記立体物を識別するための前記画像情報の前記識別領域を補正する識別領域補正部と、
    　前記識別領域補正部により補正された識別領域内の立体物を識別処理する識別処理部と、
    　を備えることを特徴とする画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記検出部は、前記外環境の明るさを検出し、
    　前記識別領域補正量算出部は、前記検出部で検出した前記明るさに基づき、前記識別領域の補正量を算出することを特徴とする画像処理装置。
  3. 　請求項１に記載の画像処理装置において、
    　前記検出部は、前記立体物を遮蔽する遮蔽物を検出し、
    　前記識別領域補正量算出部は、前記検出部で検出した前記遮蔽物を前記識別領域から除外するように前記識別領域の補正量を算出することを特徴とする画像処理装置。
  4. 　請求項２に記載の画像処理装置において、
    　前記識別領域補正算出部は、前記外環境の前方を照射する前照灯の照射範囲が低く設定されている場合には、前記識別領域の上部領域の補正量が、前記前照灯の前記照射範囲が高く設定されている場合に比べて大きくなるように補正することを特徴とする画像処理装置。
  5. 　請求項２または３に記載の画像処理装置において、
    　前記外環境を撮像し、画像を得る撮像部を、さらに備え、
    　前記検出部は、前記撮像部から前記立体物までの距離を検出し、
    　前記識別領域補正部は、前記検出部により検出した距離が距離設定値以下の場合であって、前記立体物の上部が前記識別領域に入っていないと判断すると、前記識別領域の上部領域を広げる補正を行うことを特徴とする画像処理装置。
  6. 　請求項５に記載の画像処理装置において、
    　前記識別領域補正部は、前記検出部により検出した距離が距離設定値以下の場合、前記検出部により検出された距離が大きいほど前記識別領域の前記上端領域の補正の大きさが小さくなるように補正することを特徴とする画像処理装置。
  7. 　請求項６に記載の画像処理装置において、
    　前記立体物は歩行者であって、前記画像処理装置は、車両に搭載されることを特徴とする画像処理装置。
PCT/JP2019/045181 2018-12-18 2019-11-19 画像処理装置 WO2020129517A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020561232A JP7201706B2 (ja) 2018-12-18 2019-11-19 画像処理装置
CN201980084842.0A CN113228130B (zh) 2018-12-18 2019-11-19 图像处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-236756 2018-12-18
JP2018236756 2018-12-18

Publications (1)

Publication Number Publication Date
WO2020129517A1 true WO2020129517A1 (ja) 2020-06-25

Family

ID=71101241

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045181 WO2020129517A1 (ja) 2018-12-18 2019-11-19 画像処理装置

Country Status (3)

Country Link
JP (1) JP7201706B2 (ja)
CN (1) CN113228130B (ja)
WO (1) WO2020129517A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4216177A1 (en) * 2022-01-24 2023-07-26 Kabushiki Kaisha Toyota Jidoshokki Image processing device of person detection system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086097A (ja) * 2009-10-15 2011-04-28 Daihatsu Motor Co Ltd 障害物検出装置
JP2013250734A (ja) * 2012-05-31 2013-12-12 Denso Corp 人検出装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4425642B2 (ja) * 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
JP2007058805A (ja) * 2005-08-26 2007-03-08 Fuji Heavy Ind Ltd 前方環境認識装置
JP5383246B2 (ja) * 2009-02-20 2014-01-08 本田技研工業株式会社 車両の周辺監視装置
JP2011165170A (ja) * 2010-01-15 2011-08-25 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP5548667B2 (ja) * 2011-11-24 2014-07-16 富士重工業株式会社 車外環境認識装置
KR101498114B1 (ko) * 2013-11-28 2015-03-05 현대모비스 주식회사 보행자를 검출하는 영상 처리 장치 및 그 방법
JP6091586B1 (ja) * 2015-11-12 2017-03-08 三菱電機株式会社 車両用画像処理装置および車両用画像処理システム
JP6786279B2 (ja) * 2016-07-05 2020-11-18 日立オートモティブシステムズ株式会社 画像処理装置
JP6501749B2 (ja) * 2016-12-26 2019-04-17 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6772059B2 (ja) * 2016-12-28 2020-10-21 株式会社デンソーテン 電子制御装置、電子制御システムおよび電子制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011086097A (ja) * 2009-10-15 2011-04-28 Daihatsu Motor Co Ltd 障害物検出装置
JP2013250734A (ja) * 2012-05-31 2013-12-12 Denso Corp 人検出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4216177A1 (en) * 2022-01-24 2023-07-26 Kabushiki Kaisha Toyota Jidoshokki Image processing device of person detection system

Also Published As

Publication number Publication date
JP7201706B2 (ja) 2023-01-10
CN113228130B (zh) 2023-01-17
CN113228130A (zh) 2021-08-06
JPWO2020129517A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
US10442343B2 (en) Vehicle exterior environment recognition apparatus
US10286834B2 (en) Vehicle exterior environment recognition apparatus
US9224055B2 (en) Exterior environment recognition device
US7566851B2 (en) Headlight, taillight and streetlight detection
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
JP5809785B2 (ja) 車両用外界認識装置およびそれを用いた配光制御システム
Alcantarilla et al. Night time vehicle detection for driving assistance lightbeam controller
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
US10635896B2 (en) Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle
US9280900B2 (en) Vehicle external environment recognition device
JP5639024B2 (ja) 画像処理装置
WO2005036371A2 (en) Moving object detection using low illumination depth capable computer vision
CN113544011B (zh) 用于控制机动车辆前灯的方法和装置
JP6468568B2 (ja) 物体認識装置、モデル情報生成装置、物体認識方法、および物体認識プログラム
US9524645B2 (en) Filtering device and environment recognition system
JP4007578B2 (ja) 前照灯照射範囲制御方法及び前照灯装置
WO2011016257A1 (ja) 車両用距離算出装置
WO2020129517A1 (ja) 画像処理装置
JP2011253222A (ja) 前方領域検出装置及び車両制御装置
JP7261006B2 (ja) 車外環境認識装置
JP7229032B2 (ja) 車外物体検出装置
JP6329438B2 (ja) 車外環境認識装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
WO2020054260A1 (ja) 画像認識装置
JP6582891B2 (ja) 空車枠特定システム、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19899027

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020561232

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19899027

Country of ref document: EP

Kind code of ref document: A1