WO2023175708A1 - 外界認識装置、および、外界認識方法 - Google Patents

外界認識装置、および、外界認識方法 Download PDF

Info

Publication number
WO2023175708A1
WO2023175708A1 PCT/JP2022/011524 JP2022011524W WO2023175708A1 WO 2023175708 A1 WO2023175708 A1 WO 2023175708A1 JP 2022011524 W JP2022011524 W JP 2022011524W WO 2023175708 A1 WO2023175708 A1 WO 2023175708A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
distance measurement
external world
recognition device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/011524
Other languages
English (en)
French (fr)
Inventor
健 永崎
春樹 的野
琢馬 大里
拓紀 茂泉
啓佑 岩崎
正幸 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2024507242A priority Critical patent/JP7769779B2/ja
Priority to US18/836,304 priority patent/US12707033B2/en
Priority to PCT/JP2022/011524 priority patent/WO2023175708A1/ja
Priority to DE112022006340.8T priority patent/DE112022006340T5/de
Publication of WO2023175708A1 publication Critical patent/WO2023175708A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the three-dimensional [3D] impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045—Correction of measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Definitions

  • the present invention relates to an external world recognition device and an external world recognition method that improve the distance measurement accuracy of a stereo camera.
  • An in-vehicle stereo camera device which is a type of in-vehicle camera device, can measure visual information from images and distance information to the object at the same time, so it can measure various objects around the car (people, cars, three-dimensional objects, etc.). It is a device that can provide a detailed understanding of white lines, road surfaces, road signs, etc., and contributes to improving safe driving performance.
  • one of the characteristics of a stereo camera is that it has high spatial resolution and accuracy when measuring a distance to an object. This is because the distance to any object can be measured based on triangulation.
  • stereo cameras have the problem that distance measurement performance is affected by the characteristics of the optical system and imaging system (lens, image sensor, image processing) because they measure distance with sub-pixel level resolution using triangulation. be.
  • aiming In order to improve this problem, various techniques and devices have been proposed to correct distance measurement errors of stereo cameras (generally referred to as "aiming” or “aiming”), and one example is Patent Document 1. .
  • Patent Document 1 As described above, the problem of Patent Document 1 is to reduce the influence of a transparent body (specifically, a windshield), which is one of the characteristics of the optical system, on parallax calculation. Therefore, this patent document describes a method in which images are captured twice, with and without glass, to obtain calibration parameters, and aiming processing is performed.
  • a transparent body specifically, a windshield
  • this patent document describes a method in which images are captured twice, with and without glass, to obtain calibration parameters, and aiming processing is performed.
  • Patent Document 2 states, ⁇ Parallax detection device (3) that can suppress parallax detection errors even when a camera whose lens resolution is low relative to the pixel pitch of the image sensor is used.
  • the PSF equalization unit (5) corrects at least one of the plurality of images obtained from each of the plurality of optical systems, and the image corrected by the PSF identification unit (5) is used to and a parallax calculation unit (9) that calculates the parallax occurring between the optical systems.”
  • the light point spread function PSF which is the response characteristic of the left and right lenses
  • PSF Point Spread Function
  • Patent Documents 1 and 2 described above are uniformly applied to all captured images, uniformly improve parallax calculation, and uniformly reduce distance measurement errors.
  • An object of the present invention is to provide a recognition device and an external world recognition method.
  • a parallax calculation unit that calculates parallax from images captured by an in-vehicle camera device having a plurality of cameras; a distance measurement unit that calculates a distance to an object outside the vehicle from the parallax; and response characteristics of lenses of each of the plurality of cameras. and a storage unit in which brightness characteristics are recorded; a distance measurement correction necessity determining unit that uses the response characteristics of the lens and the brightness characteristics to determine whether or not it is necessary to correct the distance to the object; an external world recognition device, comprising: a distance measurement correction section that corrects a distance to the object based on the response characteristic of the lens and the brightness characteristic when it is determined that the above-mentioned brightness characteristic is necessary.
  • the external world recognition device and the external world recognition method of the present invention by focusing on the characteristics (individual differences) of the optical system and imaging system of the in-vehicle stereo camera device, measurement due to temporal changes in the optical system and imaging system can be performed. The influence on distance error can be reduced. Note that problems, configurations, and effects other than those described above will be made clear by the description of the following examples.
  • FIG. 1 is a schematic configuration diagram of an in-vehicle stereo camera device according to an embodiment.
  • FIG. 1 is a functional block diagram of an in-vehicle stereo camera system according to an embodiment.
  • Processing flowchart when manufacturing an in-vehicle stereo camera. Processing flowchart during driving. Flowchart of distance measurement arbitration.
  • FIG. 1 is a block diagram showing a schematic hardware configuration of an in-vehicle stereo camera device 10 according to this embodiment.
  • the in-vehicle stereo camera device 10 is a device that is installed in a vehicle as part of an in-vehicle system, and is a device that recognizes the environment outside the vehicle based on image information of a region to be photographed in front of the vehicle.
  • the environment outside the vehicle that this device recognizes includes, for example, white lines on roads, pedestrians, vehicles, other three-dimensional objects, traffic lights, signs, illuminated lamps, and the distance to them.
  • the drive system, braking system, steering system, etc. of the own vehicle are controlled according to the external environment recognized by the system 10, thereby realizing desired automatic driving control, driving support control, etc.
  • the in-vehicle stereo camera device 10 includes a left camera 11, a right camera 12, an image input interface 13, an image processing section 14, an arithmetic processing section 15, a storage section 16, a control processing section 17, a CAN interface 18, It has an internal bus 19.
  • the parts of the in-vehicle stereo camera device 10 excluding the left camera 11 and the right camera 12 are specifically a computer equipped with hardware such as an arithmetic unit such as a CPU, a storage device such as a semiconductor memory, and a communication device. It is.
  • the arithmetic device executes a predetermined program to realize the functions of the image processing section 14, the arithmetic processing section 15, and the control processing section 17, but in the following, such well-known techniques will be omitted as appropriate. The details of each part will be explained.
  • the left camera 11 and the right camera 12 are a pair of left and right cameras installed at the upper part of the inner surface of the windshield of the vehicle so as to capture a pair of left and right images P (left image PL , right image PR ) in front of the vehicle. camera.
  • the image input interface 13 is an interface that controls imaging by both cameras and captures the captured image P.
  • the image P captured through the image input interface 13 is transmitted to the image processing section 14 and the arithmetic processing section 15 via the internal bus 19.
  • the image processing unit 14 compares the left image P L from the left camera 11 and the right image P R from the right camera 12, and corrects device-specific deviations caused by the image sensor for each image. , after performing image correction such as noise interpolation, the corrected left image P L and right image PR are stored in the storage unit 16 . Further, the image processing unit 14 identifies mutually corresponding locations between the corrected left and right images, calculates parallax information, and stores the calculated parallax information in the storage unit 16.
  • the arithmetic processing unit 15 uses the corrected image P and parallax information (distance information for each point on the image) stored in the storage unit 16 to recognize various objects necessary for perceiving the environment around the vehicle. and stores it in the storage unit 16.
  • the various objects recognized by the arithmetic processing unit 15 include people, cars, other obstacles, traffic lights, signs, tail lamps and headlights of cars, and the like.
  • the control processing unit 17 uses the information on the various objects recognized by the arithmetic processing unit 15 to calculate a vehicle control policy necessary to realize desired automatic driving control, driving support control, etc. Further, the control processing unit 17 monitors whether each processing unit is operating abnormally or not, and whether an error has occurred during data transfer, and is designed to prevent abnormal operations.
  • the CAN interface 18 is an interface that transmits the vehicle control policy obtained as the calculation result of the control processing section 17 and a part of the object recognition result of the calculation processing section 15 to the in-vehicle network CAN.
  • the internal bus 19 is a bus that connects the image input interface 13, image processing section 14, arithmetic processing section 15, storage section 16, control processing section 17, and CAN interface 18 described above.
  • FIG. 2 is a diagram representing the in-vehicle stereo camera device 10 of FIG. 1 as a functional block.
  • the in-vehicle stereo camera device 10 includes a left camera 11, a right camera 12, an image correction section 1, a parallax calculation section 2, an object detection/distance measurement section 3, an object recognition section 4, a recognition dictionary 5, and a measurement dictionary. It includes a distance adjustment section 6, an optical characteristic database 7, and a vehicle control section 8.
  • the image correction unit 1 and the parallax calculation unit 2 in FIG. 2 are functional units realized by the image processing unit 14 in FIG.
  • the detection/distance measurement unit 3, the object recognition unit 4, and the distance measurement arbitration unit 6 are functional units realized by the arithmetic processing unit 15 in FIG. 1, and the vehicle control unit 8 in FIG. 2 is the control processing unit in FIG. 17, and the recognition dictionary 5 and optical property database 7 in FIG. 2 are data stored in advance in the storage unit 16 in FIG.
  • the image correction unit 1 performs a non-linear process on the left image P L captured by the left camera 11 and the right image P R captured by the right camera 12 in order to absorb the inherent peculiarities of the image sensor and lens of each camera. Performs image correction such as image position mapping and brightness correction.
  • the parallax calculation unit 2 performs stereo viewing, that is, parallax calculation processing for each pixel or each local area on the images, on the left image P L and the right image PR corrected by the image correction unit 1 . As a result, the parallax calculation unit 2 creates a stereo image. Details of this parallax calculation processing will be described later.
  • the object detection/distance measurement unit 3 cuts out a predetermined portion of the stereo image generated by the parallax calculation unit 2, extracts clusters that are considered to be clusters of objects located at the same position from the distribution of parallax values, and extracts clusters that are considered to be clusters of objects located at the same position. Measure the distance to the block.
  • the object recognition unit 4 uses image recognition to determine whether the object is a pedestrian, bicycle, motorcycle, or vehicle, and if it is nighttime, a light spot (for example, a tail lamp of a preceding vehicle). performs object recognition such as whether the vehicle is a vehicle or brake light). For object recognition in the object recognition unit 4, a well-known pattern matching determination is performed using a recognition dictionary 5 recorded in advance.
  • the distance measurement arbitration unit 6 executes distance measurement arbitration processing depending on the target object. Note that the distance measurement arbitration is performed with reference to the optical characteristic database 7 that indicates the individual characteristics of the left camera 11 and the right camera 12 incorporated in the in-vehicle stereo camera device. Details of this distance measurement arbitration process will be described later.
  • the vehicle control unit 8 determines the control content of the vehicle equipped with the vehicle-mounted stereo camera device 10. For example, a warning is issued to the occupants, and vehicle braking such as acceleration, deceleration, and steering of the own vehicle is determined.
  • FIG. 3 is a physical model that simplifies the process of parallax calculation in the vehicle-mounted stereo camera device 10, and describes the mechanism of the present invention.
  • objects in the external world can be considered to be composed of a group of point light sources, and when a group of point light sources is imaged on an image sensor, the There will be two processing steps.
  • the first processing step is a processing step using a lens.
  • Lens characteristics include response characteristics such as a light spot spread function PSF.
  • the light spot spread function PSF is a response characteristic that can define how a point light source spreads on the image sensor surface (CMOS surface), as illustrated in FIG. 4, and is defined by this light spot spread function PSF.
  • the shape determines the amount of light projected from the point light source onto the image sensor surface.
  • the second processing step is a processing step in the image sensor.
  • the light projected onto the image sensor surface is first converted into electronic intensity according to its intensity (number of photons).
  • the information on the amount of light received electronically stored in each image sensor is converted into an analog/digital signal strength on an electrical signal, and finally the information is sent to the left and right cameras.
  • This is a captured image, that is, a collection of two-dimensional brightness values.
  • the processing process in this image sensor is a process in which light intensity information discretized in a lattice pattern is converted into brightness values on the image by focusing on a certain dynamic range, which represents the characteristics here.
  • a brightness conversion table (converted from FIG. 5 into table-like data) that defines the relationship between the amount of received light and image brightness plays an important role.
  • the parallax calculation unit 2 performs parallax calculation on the left image P L and right image PR obtained through these two processing steps.
  • the lens characteristics that affect the first processing process and the brightness conversion characteristics that affect the second processing process change depending on factors such as the passage of time, environmental temperature, and the outside world, and are not always constant. Therefore, an error may occur in the parallax calculation by the parallax calculation unit 2 due to changes in lens characteristics or brightness conversion characteristics.
  • the difference between distance measurement arbitration by the distance measurement arbitration unit 6 and conventional automatic adjustment and aiming is that it is not uniformly applied to all captured images, but is applied locally (specific objects, specific imaging environments, etc.). It is applied to specific driving scenes). For example, even if the in-vehicle stereo camera device 10 has the same specifications, distance measurement is good in daytime driving scenes due to individual differences in the optical system and imaging system, but at night the distance measurement is good due to the influence of individual differences in the optical system and imaging system. There are rare individuals with poor ranging performance for brake lights). For such an individual, the aim of the distance measurement mediation of the present invention is to perform distance measurement correction only when distance measurement is performed based on a light spot imaged at night.
  • the distance measurement error of the stereo image is comprehensively influenced by the lens structure (first processing step), image processing (second processing step), etc. of the in-vehicle stereo camera device 10. Therefore, it is essential to deal with the nighttime distance measurement error problem by embedding lens-related information in the manufacturing process of the in-vehicle stereo camera device 10 and using a distance measurement correction method that utilizes that information.
  • optical characteristic data such as the response characteristics and temperature characteristics of the left and right lenses, and the brightness conversion curve (brightness conversion table) of the image are measured, and the storage unit 16 to be memorized.
  • distance measurement correction is necessary depending on the optical characteristic data stored at the time of manufacture and the environment at the time of driving (exposure conditions, temperature, and brightness of the target object). The brightness is determined and correction is performed using brightness conversion.
  • step S1 a pair of imaging modules that combine an imaging element, a lens, etc. are assembled.
  • step S2 a stereo camera is assembled using the pair of imaging modules assembled in step S1.
  • step S3 basic matters such as whether the stereo camera has been assembled correctly and whether the image sensor is functioning properly are inspected.
  • step S4 the optical characteristics of the stereo camera are inspected. Specifically, lens characteristics such as the light spot spread function PSF are evaluated for each lens of the left camera 11 and the right camera 12 (see FIG. 4). Furthermore, the brightness characteristics indicating how brightness conversion is performed after imaging are evaluated for each of the image sensors of the left camera 11 and the right camera 12 (see FIG. 5). Furthermore, we will evaluate temperature dependence, which shows how lens characteristics and brightness characteristics are affected by temperature changes.
  • lens characteristics such as the light spot spread function PSF are evaluated for each lens of the left camera 11 and the right camera 12 (see FIG. 4).
  • the brightness characteristics indicating how brightness conversion is performed after imaging are evaluated for each of the image sensors of the left camera 11 and the right camera 12 (see FIG. 5). Furthermore, we will evaluate temperature dependence, which shows how lens characteristics and brightness characteristics are affected by temperature changes.
  • step S5 the information obtained in step S4 is registered in the storage unit 16 as the optical characteristic database 7 for the individual stereo camera.
  • the optical property database 7 of this embodiment includes a lens property 7a (see FIG. 4), a temperature property 7b regarding the temperature dependence of the lens property 7a, and a brightness property 7c (see FIG. 5). ) and a temperature characteristic 7d regarding the temperature dependence of the brightness characteristic 7c.
  • the image input interface 13 causes the left camera 11 and the right camera 12 to synchronously capture a pair of images P (left image PL , right image PR ), and It is output to the image processing section 14.
  • step S12 the image input interface 13 outputs the imaging environment (exposure time, environmental temperature, etc.) at the time of imaging in step S11 to the arithmetic processing unit 15 (distance measurement arbitration unit 6).
  • step S13 the image processing unit 14 (image correction unit 1, parallax calculation unit 2) performs desired image correction on the left image PL and the right image PR , and then performs desired image correction on the left image PL and the right image after the correction.
  • a parallax image is generated by calculating parallax based on PR .
  • step S14 the image processing unit 14 (object detection/distance measurement unit 3) performs object detection and distance measurement to the object based on the corrected left image PL and right image PR .
  • step S15 the calculation processing unit 15 (object recognition unit 4, distance measurement arbitration unit 6) performs distance measurement arbitration according to the optical property database 7 prepared in advance at the time of manufacturing and the imaging environment acquired in step S12. . Note that details of this step will be described later.
  • step S16 the arithmetic processing unit 15 (object recognition unit 4, distance measurement arbitration unit 6) integrates the type information of the object recognized in step S15 and the distance information to the object.
  • step S17 the arithmetic processing unit 15 (object recognition unit 4, distance measurement arbitration unit 6) outputs the information integrated in step S16 to the control processing unit 17 (vehicle control unit 8).
  • the control processing unit 17 vehicle control unit 8
  • the control processing unit 17 can transmit appropriate information according to the surrounding environment of the own vehicle to the vehicle system, regardless of individual differences between stereo cameras or the imaging environment.
  • FIG. 8 is a detailed processing flowchart of step S15 (distance measurement arbitration processing) in FIG.
  • step S15a the arithmetic processing unit 15 obtains the lens characteristic 7a (see FIG. 4), the temperature characteristic 7b related to the lens characteristic 7a, and the brightness characteristic 7c (see FIG. 5) from the optical characteristic database 7 prepared in advance at the time of manufacturing.
  • a temperature characteristic 7d related to the brightness characteristic 7c is obtained.
  • the arithmetic processing unit 15 acquires the exposure time and the environmental temperature from the imaging environment acquired in step S12. Note that since the brighter the object to be imaged, the shorter the exposure time, the brightness of the object to be imaged can be estimated from the exposure time.
  • step S15b the arithmetic processing unit 15 determines whether the distance measurement result in step S14 needs to be corrected based on the various information acquired in step s15a. If correction is necessary, the process proceeds to step S15c, and if correction is not necessary, the process of step S15 is carried out.
  • the situation in which it is determined that correction of the distance measurement result is necessary is, for example, the following. (1) When the brightness of the object to be imaged is greater than or equal to a predetermined value (when the exposure time during photographing is less than a predetermined value). (2) When the environmental temperature at the time of imaging is equal to or higher than a predetermined value.
  • step S15c the arithmetic processing unit 15 corrects the distance measurement result in step S14, taking into account individual differences among the stereo cameras.
  • the distance measurement error that may occur is estimated by comparing the characteristics (of the individual stereo camera) with the environment (when driving), and based on this, the distance measurement correction is determined, and the distance measurement correction for the object is performed. It includes processing to perform.
  • the measurement in step S14 may be performed in consideration of the lens characteristics 7a and brightness characteristics 7c of the individual stereo camera. Correct the distance result. Moreover, if the case corresponds to the above (2), the distance measurement result in step S14 is corrected in consideration of the temperature characteristics 7b and 7d.
  • processing such as performing image filter calculations to equalize the light spot spread function PSF of the left and right lenses may have a low contribution to improving the accuracy of sub-pixel calculations, so the brightness on the image It is effective to perform a parallax calculation after performing a narrowing down calculation (limiting down the exposure in a general camera), or to apply a distance measurement correction table according to the brightness of the object and the temperature characteristics at the time of imaging.
  • the present invention records information regarding the characteristics of the optical system and imaging system when manufacturing the stereo camera, and installs the stereo camera in the vehicle.
  • distance measurement is performed by comparing the imaging environment such as exposure and temperature when images are taken by the left and right cameras for stereo viewing with the characteristic information recorded at the time of manufacturing the stereo camera. This method is characterized in that distance measurement performance is improved by performing arbitration processing on the results.
  • the present invention also provides an in-vehicle stereo camera device that processes images captured by a pair of imaging units, in which the imaging unit of the optical system/imaging system performs parallax calculation from images captured by the two left and right cameras. , determine whether temporal changes in the optical system and imaging system (changes in imaging characteristics due to temperature and imaging conditions) satisfy the conditions for parallax calculation, or if the conditions are not met, consider environmental factors at the time of imaging (changes in imaging characteristics due to temperature and imaging conditions).
  • the present invention by focusing on the characteristics (individual differences) of the optical system and imaging system of the in-vehicle stereo camera device, it is possible to reduce the influence on distance measurement errors caused by temporal changes in the optical system and imaging system. can be reduced.
  • SYMBOLS 10 Vehicle-mounted stereo camera device, 1... Image correction unit, 2... Parallax calculation unit, 3... Object detection/distance measurement unit, 4... Object recognition unit, 5... Recognition dictionary, 6... Distance measurement arbitration unit, 7... Optical characteristics Database, 7a... Lens characteristics, 7c... Brightness characteristics, 7b, 7d... Temperature characteristics, 8... Vehicle control unit, 11... Left camera, 12... Right camera, 13... Image input interface, 14... Image processing unit, 15... Arithmetic processing unit, 16...Storage unit, 17...Control processing unit, 18...CAN interface, 19...Internal bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

車載ステレオカメラ装置の光学系・撮像系の特性（個体差）に着目することで、光学系・撮像系の時間変化に起因する測距誤差への影響を低減する、外界認識装置を提供する。そのため、複数のカメラを有する車載カメラ装置で撮像した画像から視差を演算する視差演算部と、前記視差から車外の対象物までの距離を求める測距部と、前記複数のカメラの各々のレンズの応答特性および輝度特性が記録された記憶部と、前記レンズの応答特性および前記輝度特性を用いて、前記対象物までの距離を補正する必要の有無を判定する測距補正要否判定部と、前記補正が必要と判定された場合に、前記レンズの応答特性および前記輝度特性に基づいて前記対象物までの距離を補正する測距補正部と、を有する外界認識装置とした。

Description

外界認識装置、および、外界認識方法
　本発明は、ステレオカメラの測距精度を向上させる、外界認識装置、および、外界認識方法に関する。
　近年、安全運転システムの普及に伴い、車載カメラ装置にも検知画角の拡大や距離測定性能への精度向上がますます求められるようになった。車載カメラ装置の一種である車載ステレオカメラ装置は、画像による視覚的な情報と、対象物への距離情報を同タイミングで計測できるため、自動車周辺の様々な対象物（人、車、立体物、白線・路面、標識など）を詳細に把握でき、安全運転の性能向上に寄与するデバイスである。ここで、ステレオカメラの特性として、対象物を測距する際の空間分解能と精度が高いということが挙げられる。これは三角測量に基づいて任意の物体への距離を測定できるためである。
　一方で、ステレオカメラには、三角測量によってサブピクセルレベルの分解能で測距を行うため、光学系・撮像系（レンズ、撮像素子、画像処理）の特性によって測距性能が左右されるという問題がある。
　この問題を改善するため、ステレオカメラの測距誤差を補正（一般的に「エイミング」または「エーミング」と呼ばれる）する様々な技術・装置が提案されており、その一例として、特許文献１がある。
　特許文献１の要約書では、課題として「透明体の影響による画像データ上の絶対位置ずれを高精度に校正する校正方法を提供する。」と記載されており、解決手段として「透明体を介して被写体を撮影する撮影装置の校正方法であって、透明体を介さずに被写体を撮影して第１撮影画像を取得するステップＳ１と、透明体を介して被写体を撮影して第２撮影画像を取得するステップＳ５と、第１撮影画像の被写体の像の座標と、第２撮影画像の被写体の像の座標と、に基づいて、透明体に起因する被写体の像の座標のずれを示す絶対位置ずれを算出するステップＳ８と、絶対位置ずれを校正する補正パラメータを算出するステップＳ９と、補正パラメータを撮影装置に記憶するステップＳ１０と、を含む。」と記載されている。
　このように、特許文献１の課題は、光学系の特性の一つである透明体（具体的には、フロントガラス）が視差演算に与える影響を低減することにある。そのため、この特許文献では、ガラス無とガラス有の状態で２回撮像して校正パラメータを求め、エイミング処理する方式が記されている。
　また、特許文献２の要約書には、「撮像素子の画素ピッチに対してレンズの解像度が低いカメラが用いられる場合であっても、視差検出誤差を抑制することができる視差検出装置（３）等を提供することを目的とする。複数の光学系間に生じる視差を算出する視差検出装置（３）であって、複数の光学系の点像分布が所定の光学系の点像分布と同一となるように、複数の光学系のそれぞれから得られる複数の画像の少なくとも１つを補正するＰＳＦ同一化部（５）と、ＰＳＦ同一化部（５）によって補正された画像を用いて、複数の光学系間に生じる視差を算出する視差算出部（９）とを備える。」と記載されている。
　このように、特許文献２では、レンズの分解能が撮像系に比べて低い場合、左右の撮像系で撮られた画像の均一性を上げるために、左右レンズの応答特性である光点拡がり関数ＰＳＦ（Point Spread Function）を基に、左右の画像に対してレンズの影響が均一になるよう画像処理を行った後に視差演算を行う、というレンズ性能の影響を低減する視差演算方式について述べられている。
特開２０１５－１６９５８３号公報 国際公開第１１／０１０４３８号
　上記した特許文献１，２の技術は、全撮像画像に対して一律に適用されるものであり、視差演算を一様に改善して測距誤差を一様に低減するものであった。
　しかし、実車実験を重ねる中で、特許文献１や特許文献２の技術では解消しない、光学系・撮像系の個体差や撮像環境の変化に伴う測距誤差の問題があることが分かってきた。例えば、先行車までの距離を測距する場合等には、対象物（テールランプやブレーキランプ）の輝度や、撮像時の露光環境（夜間か否かや、トンネル内か否か等）・温度環境の影響によって、ステレオカメラの個体毎に測距結果が異なるため、個体差に起因する測距誤差を補正するには、従来とは異なる補正処理が必要となることが分かってきた。
　そこで、本発明では、車載ステレオカメラ装置の光学系・撮像系の特性（個体差）に着目することで、光学系・撮像系の時間変化に起因する測距誤差への影響を低減する、外界認識装置、および、外界認識方法を提供することである。
　複数のカメラを有する車載カメラ装置で撮像した画像から視差を演算する視差演算部と、前記視差から車外の対象物までの距離を求める測距部と、前記複数のカメラの各々のレンズの応答特性および輝度特性が記録された記憶部と、前記レンズの応答特性および前記輝度特性を用いて、前記対象物までの距離を補正する必要の有無を判定する測距補正要否判定部と、前記補正が必要と判定された場合に、前記レンズの応答特性および前記輝度特性に基づいて前記対象物までの距離を補正する測距補正部と、を有する外界認識装置。
　本発明の外界認識装置、および、外界認識方法によれば、車載ステレオカメラ装置の光学系・撮像系の特性（個体差）に着目することで、光学系・撮像系の時間変化に起因する測距誤差への影響を低減することができる。なお、上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
一実施例の車載ステレオカメラ装置の概略構成図。 一実施例の車載ステレオカメラシステムの機能ブロック図。 光学特性を求める際に利用する物理モデルの一例。 レンズ特性の一例。 輝度特性の一例。 車載ステレオカメラ製造時の処理フローチャート。 走行時の処理フローチャート。 測距調停のフローチャート。
　以下、本発明の外界認識装置の一実施例である、車載ステレオカメラ装置１０について、図を用いて説明する。
　＜車載ステレオカメラ装置１０のハードウェア構成図＞
　図１は、本実施例に係る車載ステレオカメラ装置１０のハードウェアの概略構成を示すブロック図である。この車載ステレオカメラ装置１０は、車載システムの一部として車両に搭載される装置であり、自車両前方の撮影対象領域の画像情報に基づいて車外環境を認識する装置である。この装置が認識する車外環境は、例えば、道路の白線、歩行者、車両、その他の立体物、信号、標識、点灯ランプ、および、それらまでの距離などであり、車載システムは、車載ステレオカメラ装置１０が認識した車外環境に応じて、自車両の駆動系、制動系、操舵系などを制御し、所望の自動運転制御、運転支援制御等を実現する。
　図１に示すように、車載ステレオカメラ装置１０は、左カメラ１１、右カメラ１２、画像入力インタフェース１３、画像処理部１４、演算処理部１５、記憶部１６、制御処理部１７、ＣＡＮインタフェース１８、内部バス１９を持つ。なお、車載ステレオカメラ装置１０の左カメラ１１と右カメラ１２を除く部分は、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の記憶装置、および、通信装置などのハードウェアを備えたコンピュータである。そして、演算装置が所定のプログラムを実行することで、画像処理部１４、演算処理部１５、制御処理部１７の各機能を実現するが、以下では、このような周知技術を適宜省略しながら、各部の詳細を説明する。
　左カメラ１１と右カメラ１２は、自車両前方の左右一対の画像Ｐ（左画像ＰＬ，右画像ＰＲ）を撮像できるように、自車両のフロントガラス内面上部などに設置された、左右一対のカメラである。
　画像入力インタフェース１３は、両カメラの撮像を制御するとともに、撮像した画像Ｐを取り込むインタフェースである。この画像入力インタフェース１３を通して取り込まれた画像Ｐは、内部バス１９を介して、画像処理部１４や演算処理部１５に送信される。
　画像処理部１４は、左カメラ１１からの左画像ＰＬと、右カメラ１２からの右画像ＰＲを比較して、それぞれの画像に対して、撮像素子に起因するデバイス固有の偏差の補正や、ノイズ補間などの画像補正を行った後、補正後の左画像ＰＬと右画像ＰＲを記憶部１６に記憶する。また、画像処理部１４は、補正後の左右画像間で、相互に対応する箇所を特定して、視差情報を計算し、計算で求めた視差情報を記憶部１６に記憶する。
　演算処理部１５は、記憶部１６に蓄えられた補正後の画像Ｐと視差情報（画像上の各点に対する距離情報）を使い、車両周辺の環境を知覚するために必要な、各種物体を認識し、記憶部１６に記憶する。なお、演算処理部１５が認識する各種物体とは、人、車、その他の障害物、信号機、標識、車のテールランプやヘッドライド、などである。
　制御処理部１７は、演算処理部１５で認識した各種物体の情報を用いて、所望の自動運転制御や運転支援制御等を実現するために必要な、車両の制御方針を計算する。また、制御処理部１７は、各処理部が異常動作を起こしていないか、データ転送時にエラーが発生していないかどうかなどを監視しており、異常動作を防ぐ仕掛けをなっている。
　ＣＡＮインタフェース１８は、制御処理部１７での計算結果として得られた車両の制御方針や、演算処理部１５による物体認識結果の一部を、車載ネットワークＣＡＮに伝えるインタフェースである。
　内部バス１９は、上記した、画像入力インタフェース１３、画像処理部１４、演算処理部１５、記憶部１６、制御処理部１７、ＣＡＮインタフェース１８を接続するバスである。
　＜車載ステレオカメラ装置１０の機能ブロック図＞
　図２は、図１の車載ステレオカメラ装置１０を機能ブロックとして表現した図である。機能ブロックとして表現した場合、車載ステレオカメラ装置１０は、左カメラ１１、右カメラ１２、画像補正部１、視差演算部２、物体検知・測距部３、物体認識部４、認識辞書５、測距調停部６、光学特性データベース７、車両制御部８を備えている。
　なお、図１と図２の関係の一例を概説すれば、図２の画像補正部１、視差演算部２は、図１の画像処理部１４により実現される機能部であり、図２の物体検知・測距部３、物体認識部４、測距調停部６は、図１の演算処理部１５により実現される機能部であり、図２の車両制御部８は、図１の制御処理部１７により実現される機能部であり、図２の認識辞書５、光学特性データベース７は、図１の記憶部１６に予め記憶されているデータである。
　まず、画像補正部１は、左カメラ１１が撮像した左画像ＰＬと右カメラ１２が撮像した右画像ＰＲについて、各カメラの撮像素子やレンズが持つ固有の癖を吸収するため一般に非線形な画像の位置写像や輝度の補正などの画像補正を行う。
　次に、視差演算部２は、画像補正部１が補正した左画像ＰＬと右画像ＰＲに対して、ステレオ視、すなわち画像上の各ピクセルまたは各局所領域に対する視差演算処理を行う。その結果として、視差演算部２では、ステレオ画像が作られる。この視差演算処理の詳細は後述する。
　物体検知・測距部３は、視差演算部２で生成したステレオ画像の所定部分を切出し、視差値の分布から同位置にある物体の塊と考えられるクラスタを抽出して、当該物体と考えられる塊に対して測距を行う。
　物体認識部４は、物体検知及び測距結果に加えて、画像認識により当該物体が歩行者であるか、自転車・バイク・車両であるか、夜間であれば光点（例えば、先行車のテールランプやブレーキランプ）であるかなどの物体認識を行う。物体認識部４での物体認識には、事前に記録しておいた認識辞書５を利用して、周知のパターンマッチング判定を実施する。
　測距調停部６は、対象物に応じて測距調停処理を実行する。なお、測距調停は、車載ステレオカメラ装置に組み込まれた左カメラ１１と右カメラ１２の個体特性を示す光学特性データベース７を参照して実施される。この測距調停処理の詳細は後述する。
　最後に、車両制御部８では、車載ステレオカメラ装置１０を搭載した車両の制御内容が決定される。例えば、乗員への警告発報や、自車両の加減速・操舵などの車両制動が決定される。
　＜視差演算部２による視差演算処理の詳細＞
　図３は、車載ステレオカメラ装置１０における視差演算の過程を簡易化した物理モデルであり、本発明の機序を語るものである。点光源を使ったインパルス応答的な過程を考えると、外界の物体は点光源群で構成されていると見做すことができ、点光源群が撮像素子上で画像化される場合は、大きく２つの処理過程を経ることになる。
　第１処理過程は、レンズでの処理過程である。レンズの特性としては、光点拡がり関数ＰＳＦなどの応答特性がある。光点拡がり関数ＰＳＦとは、図４に例示するように、点光源が撮像素子面（ＣＭＯＳ面）にどのように広がるかを規定できる応答特性であり、この光点拡がり関数ＰＳＦで規定される形状で、点光源の撮像素子面への投影光量が決まる。
　第２処理過程は、撮像素子での処理過程である。撮像素子面に投影された光は、まず、その強度（光子の数）に応じて電子的な強度に変換される。次に、図５に例示するように、各撮像素子に電子的に蓄えられた受光量の情報が、電気信号上でアナログ的・デジタル的に信号強度が変換されて、最終的には左右カメラの撮像画像、すなわち二次元的な輝度値の集まりになる。
　この撮像素子での処理過程は、格子状に離散化された光の強度情報が、あるダイナミックレンジに着目されて、画像上の輝度値へと変換される工程であり、ここの特性を表すものとして、受光量と画像輝度の関係を規定した輝度変換テーブル（図５をテーブル状データに変換したもの）が重要な役割を果たす。
　これら二つの処理過程を経て得られた左画像ＰＬ、右画像ＰＲに対して、視差演算部２による視差演算が行われる。ただし、第１処理過程に影響するレンズ特性や、第２処理過程に影響する輝度変換特性は、時間経過や環境温度や外界などの要因に影響を受けて変化し、常に一定という訳ではない。そのため、レンズ特性や輝度変換特性の変化が原因で、視差演算部２による視差演算に誤差が生じる可能性がある。
　従来のステレオカメラでも、走行環境において生じる変化に対応するために、自動調整などの技術が適用されてきた。これはステレオカメラの筐体の変形や、レンズと撮像面との光軸ズレなどが原因による誤差発生を想定していた。このようなケースでは、視差誤差として一定量のバイアスが載るというモデル化が当てはまるところがあり、そのため自動調整の課題としては、視差に対して一律に掛かっているはずのバイアスを見つけて、それを一律で解消する処理を導入することで解決ができていた。
　一方で、時間経過や温度変化によってレンズの応答特性（光点拡がり関数ＰＳＦ）の形が変わる場合や、その応答特性の変化が、輝度変換特性と関係する場合は、一律なバイアスだけでなく、対象物の輝度や外界状況に応じて、独特の誤差が載ることがある。この問題に対しては、従来の自動調整のように一律のバイアス補正だけでは問題が解消せず、別の対策が必要となってくる。この別の対策が、図２の測距調停部６により実施される「測距調停」である。
　＜測距調停部６による測距調停処理の詳細＞
　測距調停部６による測距調停が、従来の自動調整やエイミングと違う点は、全撮像画像に対して一律に適用されるのではなく、局所的（特定の対象物、特定の撮像環境、特定の走行シーン）に適用されることにある。例えば、同じ仕様の車載ステレオカメラ装置１０であっても、光学系・撮像系の個体差の影響で、昼間走行シーンでの測距は良いが、夜間の光点（例えば、先行車のテールランプやブレーキランプ）に対する測距性能が劣る個体が稀にある。そのような個体であれば、夜間撮像した光点に基づいて測距する場合に限り、測距補正することが本発明の測距調停の狙いである。
　ステレオ画像の測距誤差は、車載ステレオカメラ装置１０のレンズ構造（第１処理過程）、画像処理（第２処理過程）などが総合的に影響する。そのため、車載ステレオカメラ装置１０の製造工程におけるレンズ関連情報の埋め込みと、その情報を活用した測距補正方式により、夜間測距誤差問題に対処することが必須となる。
　そのため、本実施例では、まず、車載ステレオカメラ装置１０の製造時に、左右レンズの応答特性や温度特性、画像の輝度変換曲線（輝度変換テーブル）等の光学特性データを計測して、記憶部１６に記憶する。また、車載ステレオカメラ装置１０を搭載した車両の実走行時には、製造時に記憶した光学特性データと、走行時の環境（露光条件、温度、及び対象物の輝度）に応じて、測距補正の必要性を判断し、輝度変換による補正を行う。
　＜＜車載ステレオカメラ装置１０の製造時の処理＞＞
　ここで、図６のフローチャートに基づいて、車載ステレオカメラ装置１０の製造時の処理の詳細を説明する。
　まず、ステップＳ１では、撮像素子とレンズなどを組み合わせた撮像モジュールを一対組み立てる。
　次に、ステップＳ２では、ステップＳ１で組み立てた一対の撮像モジュールを使って、ステレオカメラを組み立てる。
　ステップＳ３では、ステレオカメラが正しく組み立てられたかや、撮像素子が正常に機能するか、などの基礎的な事項を検査する。
　ステップＳ４では、ステレオカメラの光学特性を検査する。具体的には、左カメラ１１と右カメラ１２の夫々のレンズについて、光点拡がり関数ＰＳＦなどのレンズ特性を評価する（図４参照）。また、左カメラ１１と右カメラ１２の夫々の撮像素子について、撮像後の輝度変換がどのように行われるかを示す輝度特性を評価する（図５参照）。さらに、レンズ特性と輝度特性が温度変化の影響をどのように受けるかを示す温度依存性を評価する。
　ステップＳ５では、ステップＳ４で得た情報を、当該ステレオカメラ個体用の光学特性データベース７として記憶部１６に登録する。なお、図３に例示したように、本実施例の光学特性データベース７とは、レンズ特性７ａ（図４参照）と、レンズ特性７ａの温度依存性に関する温度特性７ｂと、輝度特性７ｃ（図５参照）と、輝度特性７ｃの温度依存性に関する温度特性７ｄからなるデータベースである。
　＜＜車載ステレオカメラ装置１０の製造時の処理＞＞
　次に、図７、図８のフローチャートに基づいて、車載ステレオカメラ装置１０を装着した車両が実路を走行する場合に、ステレオカメラ装置１０内で実施される処理の詳細を説明する。
　まず、図７のステップＳ１１では、画像入力インタフェース１３は、左カメラ１１と右カメラ１２に一対の画像Ｐ（左画像ＰＬ、右画像ＰＲ）を同期撮像させ、撮像した一対の画像Ｐを画像処理部１４に出力する。
　次に、ステップＳ１２では、画像入力インタフェース１３は、ステップＳ１１の撮像時の撮像環境（露光時間、環境温度など）を、演算処理部１５（測距調停部６）に出力する。
　ステップＳ１３では、画像処理部１４（画像補正部１、視差演算部２）は、左画像ＰＬと右画像ＰＲに所望の画像補正を施した後、補正後の左画像ＰＬと右画像ＰＲをもとに視差演算して、視差画像を生成する。
　ステップＳ１４では、画像処理部１４（物体検知・測距部３）は、補正後の左画像ＰＬと右画像ＰＲをもとに物体検知と当該物体への測距を行う。
　ステップＳ１５では、演算処理部１５（物体認識部４、測距調停部６）は、製造時に予め用意した光学特性データベース７と、ステップＳ１２で取得した撮像環境に応じて、測距調停を実施する。なお、本ステップの詳細は後述する。
　ステップＳ１６では、演算処理部１５（物体認識部４、測距調停部６）は、ステップＳ１５で認識した物体の種別情報と、当該物体までの距離情報を統合する。
　ステップＳ１７では、演算処理部１５（物体認識部４、測距調停部６）は、ステップＳ１６で統合した情報を、制御処理部１７（車両制御部８）に出力する。これにより、制御処理部１７（車両制御部８）は、ステレオカメラの個体差や、撮像環境によらず、自車両の周囲環境に応じた適切な情報を車両システムに送信することができる。
　図８は、図７のステップＳ１５（測距調停処理）を詳細化した処理フローチャートである。
　ステップＳ１５ａでは、演算処理部１５は、製造時に予め用意した光学特性データベース７から、レンズ特性７ａ（図４参照）と、レンズ特性７ａに関する温度特性７ｂと、輝度特性７ｃ（図５参照）と、輝度特性７ｃに関する温度特性７ｄを取得する。また、演算処理部１５は、ステップＳ１２で取得した撮像環境から、露光時間と環境温度を取得する。なお、撮像対象物が明るいほど露光時間が短くなる関係があるため、露光時間から撮像対象物の明るさを推定することができる。
　ステップＳ１５ｂでは、演算処理部１５は、ステップｓ１５ａで取得した各種情報に基づいて、ステップＳ１４での測距結果の補正が必要であるかを判定する。そして、補正が必要であれば、ステップＳ１５ｃに進み、補正が不要であれば、ステップＳ１５の処理を狩猟する。
　なお、測距結果の補正が必要と判定される状況は、例えば、次のものである。
（１）撮像対象物の明るさが所定値以上の場合（撮影時の露光時間が所定値未満の場合）。
（２）撮像時の環境温度が所定値以上である場合。
　ステップＳ１５ｃでは、演算処理部１５は、ステレオカメラの個体差を考慮して、ステップＳ１４の測距結果を補正する。本補正処理には（ステレオカメラ個体の）特性－（走行時の）環境との照合により発生し得る測距誤差の推計を行い、これにより測距補正の判断を行い、当該物体に対する測距補正を行う処理が含まれる。
　測距補正処理には様々な処理が考えられるが、例えば、上記（１）に該当する場合であれば、当該ステレオカメラ個体のレンズ特性７ａや輝度特性７ｃを考慮して、ステップＳ１４での測距結果を補正する。また、上記（２）に該当する場合であれば、温度特性７ｂ、７ｄを考慮して、ステップＳ１４での測距結果を補正する。具体的には、左右レンズの光点拡がり関数ＰＳＦを均一化するように画像フィルタ演算を行うといった処理は、サブピクセル計算の精度向上においては貢献度が低いことがあるため、画像上での輝度の絞込み演算（一般カメラで言う所の露光の絞込み）を行った上での視差演算や、対象物の輝度と撮像時の温度特性に応じた測距補正テーブルの適用、などが有効である。
　以上で説明したように、本発明は、光学系・撮像系による測距誤差の影響を低減するため、ステレオカメラの製造時において、光学系・撮像系の特性に関する情報を記録し、車両に取り付けたステレオカメラで外界認識を行う場合には、ステレオ視のための左右カメラが撮像した際の露光・温度などの撮像環境と、ステレオカメラ製造時に記録された特性情報とを照らし合わせて、測距結果の調停処理を実施することで測距性能を向上する、ことを特徴とするものである。
　また、本発明は、一対の撮像部で撮像した画像を画像処理する車載ステレオカメラ装置であって、光学系・撮像系の撮像部は左右２つのカメラで撮像した画像から視差計算を行う場合において、光学系・撮像系の時間変化（温度や撮像条件による撮像特性の変化）が視差計算に満足する条件かを判断すること、あるいは条件を満たさない場合は、撮像時の環境要因（対象物の明るさ、露光時間、環境温度など）に応じて視差計算後に測距結果を補正する係数を設計し、これを用いて物体測距の結果を補正した上で、ステレオ視した結果を出力する手段を持つことを特徴とする。
　このように、本発明によれば、車載ステレオカメラ装置の光学系・撮像系の特性（個体差）に着目することで、光学系・撮像系の時間変化に起因する測距誤差への影響を低減することができる。
１０…車載ステレオカメラ装置、１…画像補正部、２…視差演算部、３…物体検知・測距部、４…物体認識部、５…認識辞書、６…測距調停部、７…光学特性データベース、７ａ…レンズ特性、、７ｃ…輝度特性、７ｂ、７ｄ…温度特性、８…車両制御部、１１…左カメラ、１２…右カメラ、１３…画像入力インタフェース、１４…画像処理部、１５…演算処理部、１６…記憶部、１７…制御処理部、１８…ＣＡＮインタフェース、１９…内部バス

Claims (8)

  1. 　複数のカメラを有する車載カメラ装置で撮像した画像から視差を演算する視差演算部と、
    　前記視差から車外の対象物までの距離を求める測距部と、
    　前記複数のカメラの各々のレンズの応答特性および輝度特性が記録された記憶部と、
    　前記レンズの応答特性および前記輝度特性を用いて、前記対象物までの距離を補正する必要の有無を判定する測距補正要否判定部と、
    　前記補正が必要と判定された場合に、前記レンズの応答特性および前記輝度特性に基づいて前記対象物までの距離を補正する測距補正部と、
    　を有することを特徴とする外界認識装置。
  2. 　請求項１に記載の外界認識装置において、
    　前記レンズの応答特性は温度に依存するデータであって、
    　前記測距補正要否判定部または前記測距補正部は、前記レンズの応答特性に加えて温度依存性を用いることを特徴とする外界認識装置。
  3. 　請求項１に記載の外界認識装置において、
    　前記レンズの輝度特性は温度に依存するデータであって、
    　前記測距補正要否判定部または前記測距補正部は、前記レンズの輝度特性に加えて温度依存性を用いることを特徴とする外界認識装置。
  4. 　請求項１から請求項３の何れか一項に記載の外界認識装置において、
    　前記レンズの応答特性および輝度特性は、前記車載カメラ装置の製造時に検査され、前記記憶部に記録されたものであることを特徴とする外界認識装置。
  5. 　請求項１に記載の外界認識装置において、
    　前記測距補正要否判定部は、対象物の明るさが所定値以上の場合に、前記対象物までの距離を補正する必要があると判定することを特徴とする外界認識装置。
  6. 　請求項１に記載の外界認識装置において、
    　前記測距補正要否判定部は、露光時間が所定値未満の場合に、前記対象物までの距離を補正する必要があると判定することを特徴とする外界認識装置。
  7. 　請求項２または請求項３に記載の外界認識装置において、
    　前記測距補正要否判定部は、撮像環境の温度が所定値以上の場合に、前記対象物までの距離を補正する必要があると判定することを特徴とする外界認識装置。
  8. 　複数のカメラを有する車載カメラ装置で撮像した画像から視差を演算する視差演算ステップと、
    　前記視差から車外の対象物までの距離を求める測距ステップと、
    　記憶部に記憶された前記複数のカメラの各々のレンズの応答特性および輝度特性を用いて、前記対象物までの距離を補正する必要の有無を判定する測距補正要否判定ステップと、
    　前記補正が必要と判定された場合に、前記レンズの応答特性および前記輝度特性に基づいて前記対象物までの距離を補正する測距補正ステップと、
    　を有することを特徴とする外界認識方法。
PCT/JP2022/011524 2022-03-15 2022-03-15 外界認識装置、および、外界認識方法 Ceased WO2023175708A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2024507242A JP7769779B2 (ja) 2022-03-15 2022-03-15 外界認識装置、および、外界認識方法
US18/836,304 US12707033B2 (en) 2022-03-15 2022-03-15 External environment recognition device and external environment recognition method
PCT/JP2022/011524 WO2023175708A1 (ja) 2022-03-15 2022-03-15 外界認識装置、および、外界認識方法
DE112022006340.8T DE112022006340T5 (de) 2022-03-15 2022-03-15 Aussenumgebungs-erkennungsvorrichtung und aussenumgebungs-erkennungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/011524 WO2023175708A1 (ja) 2022-03-15 2022-03-15 外界認識装置、および、外界認識方法

Publications (1)

Publication Number Publication Date
WO2023175708A1 true WO2023175708A1 (ja) 2023-09-21

Family

ID=88022918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/011524 Ceased WO2023175708A1 (ja) 2022-03-15 2022-03-15 外界認識装置、および、外界認識方法

Country Status (4)

Country Link
US (1) US12707033B2 (ja)
JP (1) JP7769779B2 (ja)
DE (1) DE112022006340T5 (ja)
WO (1) WO2023175708A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017020A (ja) * 2007-07-02 2009-01-22 Nissan Motor Co Ltd 画像処理装置及び表示画像生成方法
JP2012044317A (ja) * 2010-08-16 2012-03-01 Fujitsu Semiconductor Ltd 画像処理装置、撮像装置、及び画像処理方法
WO2018101055A1 (ja) * 2016-11-30 2018-06-07 日立オートモティブシステムズ株式会社 画像補正装置および画像補正方法
JP2019070610A (ja) * 2017-10-11 2019-05-09 キヤノン株式会社 測距装置および測距方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007024590A (ja) 2005-07-13 2007-02-01 Toyota Motor Corp 物体検出装置
JP2007081806A (ja) 2005-09-14 2007-03-29 Konica Minolta Holdings Inc 撮像システム
JP4835332B2 (ja) 2006-09-04 2011-12-14 住友電気工業株式会社 遠赤外線撮像システム及び遠赤外線撮像方法
JP4858263B2 (ja) 2007-03-28 2012-01-18 株式会社日立製作所 ３次元計測装置
JP5172314B2 (ja) * 2007-12-14 2013-03-27 日立オートモティブシステムズ株式会社 ステレオカメラ装置
US8723926B2 (en) 2009-07-22 2014-05-13 Panasonic Corporation Parallax detecting apparatus, distance measuring apparatus, and parallax detecting method
US8400511B2 (en) 2009-12-04 2013-03-19 Lockheed Martin Corporation Optical detection and ranging sensor system for sense and avoid, and related methods
JP5545527B2 (ja) 2010-02-22 2014-07-09 株式会社リコー 距離画像取得装置
JP5440364B2 (ja) 2010-04-28 2014-03-12 コニカミノルタ株式会社 画像処理装置、周辺監視システム、および、プログラム
JP2012147281A (ja) 2011-01-13 2012-08-02 Ricoh Co Ltd 画像処理装置
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
JP2015148887A (ja) * 2014-02-05 2015-08-20 株式会社リコー 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム
JP6427900B2 (ja) 2014-03-07 2018-11-28 株式会社リコー 校正方法、校正システム、プログラム及び移動体
JP6453193B2 (ja) 2015-09-25 2019-01-16 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP6997551B2 (ja) 2017-07-28 2022-01-17 日立Astemo株式会社 車載環境認識装置
WO2020140049A1 (en) * 2018-12-28 2020-07-02 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
JP7297606B2 (ja) 2019-09-04 2023-06-26 日立Astemo株式会社 画像処理装置
JP7247063B2 (ja) 2019-09-13 2023-03-28 日立Astemo株式会社 画像処理装置、及びそれを用いたステレオカメラ装置
JP7402660B2 (ja) * 2019-11-01 2023-12-21 キヤノン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法
JP7371053B2 (ja) * 2021-03-29 2023-10-30 キヤノン株式会社 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009017020A (ja) * 2007-07-02 2009-01-22 Nissan Motor Co Ltd 画像処理装置及び表示画像生成方法
JP2012044317A (ja) * 2010-08-16 2012-03-01 Fujitsu Semiconductor Ltd 画像処理装置、撮像装置、及び画像処理方法
WO2018101055A1 (ja) * 2016-11-30 2018-06-07 日立オートモティブシステムズ株式会社 画像補正装置および画像補正方法
JP2019070610A (ja) * 2017-10-11 2019-05-09 キヤノン株式会社 測距装置および測距方法

Also Published As

Publication number Publication date
JP7769779B2 (ja) 2025-11-13
DE112022006340T5 (de) 2024-10-31
US12707033B2 (en) 2026-08-11
JPWO2023175708A1 (ja) 2023-09-21
US20250159122A1 (en) 2025-05-15

Similar Documents

Publication Publication Date Title
US10701341B2 (en) Calibration method, calibration device, and computer program product
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
US20180292201A1 (en) Calibration apparatus, calibration method, and calibration program
JP2009171122A (ja) 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置
JP6602982B2 (ja) 車載カメラ、車載カメラの調整方法、車載カメラシステム
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
EP1069536A2 (en) Stereo type vehicle monitoring apparatus with fail-safe function
JP2016207030A (ja) 画像処理装置
JP2021025868A (ja) ステレオカメラ
CN114252887A (zh) 求取环境感测系统运行参数的方法、环境感测系统和控制器
WO2023067867A1 (ja) 車載制御装置、および、３次元情報取得方法
JP2004257837A (ja) ステレオアダプタ撮像システム
JP6808753B2 (ja) 画像補正装置および画像補正方法
US20140055641A1 (en) System for recognizing surroundings of vehicle
CN100554878C (zh) 立体光学模块和立体摄像机
JP2011033594A (ja) 車両用距離算出装置
JP7769779B2 (ja) 外界認識装置、および、外界認識方法
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
JP7492599B2 (ja) 車載カメラ装置
JP2017116321A (ja) 車載ステレオカメラ用のキャリブレーション装置
JP7652897B2 (ja) 画像処理装置、および、画像処理方法
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
JP7818478B2 (ja) 画像処理装置、および、画像処理方法
WO2025099908A1 (ja) 画像処理装置
WO2026105391A1 (ja) 画像処理装置及び画像校正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22931993

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024507242

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18836304

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112022006340

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22931993

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18836304

Country of ref document: US