WO2023224078A1 - 車載センシングシステムおよび縁石の検出方法 - Google Patents

車載センシングシステムおよび縁石の検出方法 Download PDF

Info

Publication number
WO2023224078A1
WO2023224078A1 PCT/JP2023/018489 JP2023018489W WO2023224078A1 WO 2023224078 A1 WO2023224078 A1 WO 2023224078A1 JP 2023018489 W JP2023018489 W JP 2023018489W WO 2023224078 A1 WO2023224078 A1 WO 2023224078A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
curb
distance
horizontal position
distance image
Prior art date
Application number
PCT/JP2023/018489
Other languages
English (en)
French (fr)
Inventor
亮 太田
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Publication of WO2023224078A1 publication Critical patent/WO2023224078A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates

Definitions

  • the present disclosure relates to an on-vehicle sensing system and a curb detection method.
  • In-vehicle sensing systems that sense the position and type of objects around the vehicle are used for autonomous driving and automatic control of headlamp light distribution.
  • An in-vehicle sensing system includes a sensor and a processing unit that analyzes the output of the sensor.
  • the sensor is selected from cameras, LiDAR (Light Detection and Ranging), Laser Imaging Detection and Ranging, millimeter wave radar, ultrasonic sonar, etc., taking into consideration the application, required accuracy, and cost.
  • Roadways are one of the important detection targets for in-vehicle sensing systems.
  • One exemplary objective of an embodiment of the present disclosure is to provide an on-vehicle sensing system capable of detecting a roadway and a method for detecting a curb.
  • An in-vehicle sensing system includes a sensor that generates a brightness image in which pixels represent the reflectance of an object, and a distance image in which pixels represent the distance to the object, and based on the brightness image and the distance image, A calculation processing unit that detects a curb defining a boundary of a roadway.
  • a curb detection method includes: Generate an intensity image whose pixels represent the reflectance of the object, Generate a range image where pixels represent the distance to the object, Each of the brightness image and the distance image is divided into a plurality of n regions (n ⁇ 2) in the vertical direction, Evaluate the possibility that the i-th area of the brightness image is a curb for each horizontal position, Evaluate the possibility that the i-th area of the distance image is a curb for each horizontal position, In both the i-th area of the brightness image and the i-th area of the distance image, a horizontal position that is evaluated as having a high possibility of being a curb is determined to be a curb.
  • a roadway can be detected.
  • FIG. 1 is a diagram showing curb stones existing on a road surface.
  • FIG. 2 is a block diagram of the in-vehicle sensing system according to the embodiment.
  • FIG. 3 is a diagram illustrating detection of a curb in the arithmetic processing unit.
  • FIG. 4 is a diagram illustrating an example of a curb detection process based on a brightness image.
  • FIG. 5 is a diagram illustrating an example of evaluation of the i-th (1 ⁇ i ⁇ n) strip of a luminance image.
  • FIG. 6 is a diagram illustrating an example of a curb detection process based on a distance image.
  • FIG. 7 is a diagram illustrating an example of evaluation of the i-th (1 ⁇ i ⁇ n) strip of the distance image.
  • FIG. 1 is a diagram showing curb stones existing on a road surface.
  • FIG. 2 is a block diagram of the in-vehicle sensing system according to the embodiment.
  • FIG. 3 is a diagram illustrating detection of a curb in the
  • FIG. 8 is a diagram illustrating pixel defects in a distance image.
  • FIG. 9 is a diagram illustrating interpolation of defective pixels in a distance image.
  • FIG. 10 is a block diagram of the ToF camera.
  • FIG. 11 is a diagram illustrating the basic operation of the ToF camera.
  • FIG. 12A is a diagram illustrating a range image obtained by a ToF camera.
  • FIG. 12B is a diagram illustrating a range image obtained by the ToF camera.
  • the in-vehicle sensing system includes a sensor that generates a brightness image in which pixels represent the reflectance of an object, and a distance image in which pixels represent the distance to the object, and a sensor that generates a roadway based on the brightness image and the distance image.
  • an arithmetic processing unit that detects a curb defining a boundary of the vehicle.
  • curb stones can be extracted from the brightness image. Furthermore, since the curb is higher than the road, it is possible to extract the curb from the distance image. By integrating the results based on reflectance and the results based on distance, curbs can be detected with high accuracy.
  • the arithmetic processing device may vertically divide each of the luminance image and the distance image into a plurality of n regions (n ⁇ 2). Then, the processing unit evaluates the possibility that the i-th region of the luminance image is a curb for each horizontal position, and evaluates the possibility that the i-th region of the distance image is a curb for each horizontal position. May be evaluated. The arithmetic processing unit may determine that a horizontal position that is evaluated as having a high possibility of being a curb is a curb in both the i-th area of the brightness image and the i-th area of the distance image. .
  • the arithmetic processing device may evaluate a horizontal position where the pixel value is relatively high in the i-th region of the luminance image as having a high possibility of being a curb.
  • the arithmetic processing device generates height information indicating the relationship between the horizontal position and the height from the reference plane from the i-th region of the distance image, and based on the height information, determines whether the i-th region is a curb. Possibilities may be evaluated. Since curbs are taller than roadways, they can be easily detected by converting them into height information.
  • the arithmetic processing device may calculate the slope at each horizontal position from the height information, and evaluate the horizontal position where the slope is relatively large as being likely to be a curb. Thereby, the curb can be detected by utilizing the large slope of the side surface of the curb.
  • the processing unit may interpolate defects in pixels in the current frame using past frames for the distance image. It may be difficult for a sensor to obtain distance information from a portion corresponding to the side surface of a curb, and in this case, pixels in the distance image are missing. In this case, by moving the part determined to correspond to the side of the curb in the past frame to the position of the current frame using an optical flow method, etc., the missing pixels in the current frame are compensated for. be able to.
  • the sensor may be a ToF camera.
  • the ToF camera includes an illumination device that irradiates a field of view with pulsed illumination light, an image sensor, and a camera controller that controls light emission timing of the illumination device and exposure timing of the image sensor.
  • the ToF camera divides the field of view into a plurality of ranges in the depth direction and generates a plurality of range images corresponding to the plurality of ranges.
  • the ToF camera combines multiple range images to generate a brightness image.
  • a ToF camera generates a distance image by pairing two adjacent range images and performing indirect ToF (Time of Flight) calculations for each pair. In this case, since the brightness image and the distance image are generated from the output of the same image sensor, they can have the same or similar aspect ratio and the same or similar number of pixels.
  • FIG. 1 is a diagram showing curb stones existing on a road surface.
  • the curb 2 is provided on the road surface 1 to separate the roadway 4 from the rest of the road.
  • the shapes and structures of the curb stones 2 are various, and some are provided intermittently (2A) and some are provided continuously (2B).
  • the curb 2 is used to divide the roadway 4 and the sidewalk 6, or to divide the area between oncoming traffic lanes.
  • FIG. 2 is a block diagram of the in-vehicle sensing system 400 according to the embodiment.
  • In-vehicle sensing system 400 includes a sensor 410 and an arithmetic processing unit 420.
  • the sensor 410 generates a brightness image IMG1 and a distance image IMG2.
  • pixels represent the reflectance of an object.
  • pixels represent the distance to the object.
  • the arithmetic processing unit 420 detects a curb that defines the boundary of the roadway based on the brightness image IMG1 and the distance image IMG2. For example, the arithmetic processing unit 420 outputs output data OUT based on the detection result. This output data may indicate the location of a curb or may indicate the extent of a roadway.
  • the above is the basic configuration of the in-vehicle sensing system 400. Next, the operation of the in-vehicle sensing system 400 will be explained.
  • FIG. 3 is a diagram illustrating the detection of a curb in the arithmetic processing unit 420.
  • a brightness image IMG1 is shown in the upper part of FIG. 3, and a distance image IMG2 is shown in the lower part.
  • the curb 2 and the asphalt in the roadway 4 have different colors and different reflectances, and therefore have different pixel values on the brightness image IMG1. Therefore, the curbstone 2 can be extracted from the brightness image IMG1.
  • the curb 2 is higher than the roadway 4, so the curb 2 can also be extracted from the distance image IMG2.
  • the white line (paint) 8 is at the same height as the roadway 4, the white line 8 and the roadway 4 are not distinguished on the distance image IMG2.
  • the curb 2 can be detected with high accuracy.
  • the curb 2 is detected using the brightness image IMG1 and the distance image IMG2. 2 detection accuracy can be improved.
  • a highly accurate distance measuring sensor is not required, and therefore it can be configured at low cost.
  • FIG. 4 is a diagram illustrating an example of a curb detection process based on the brightness image IMG1.
  • the arithmetic processing unit 420 vertically divides the brightness image IMG1 into n regions (strips) STR1 to STRn. Then, the possibility that each of the plurality of strips STR1 to STRn of the brightness image IMG1 is a curb is evaluated for each horizontal position H.
  • FIG. 5 is a diagram illustrating an example of evaluation of the i-th (1 ⁇ i ⁇ n) strip STRi of the brightness image IMG1.
  • the arithmetic processing unit 420 generates an evaluation value indicating the possibility that the strip STRi is a curb based on the brightness value for each horizontal position H. Since most of the normal road surface occupies the roadway, most of the pixels in the strip STRi have brightness values that correspond to the reflectance of asphalt.
  • the processing unit 420 can evaluate the likelihood of a curb based on the relative relationship of the pixels. Through the above processing, the probability that a curb exists can be evaluated for each horizontal position in one strip STRi.
  • FIG. 6 is a diagram illustrating an example of a curb detection process based on the distance image IMG2. Similar to the brightness image IMG1, the arithmetic processing unit 420 vertically divides the distance image IMG2 into n regions (strips) STR1 to STRn. Then, the possibility that each of the plurality of strips STR1 to STRn of the distance image IMG2 is a curb is evaluated for each horizontal position H.
  • FIG. 7 is a diagram illustrating an example of evaluation of the i-th (1 ⁇ i ⁇ n) strip STRi of the distance image IMG2.
  • the arithmetic processing unit 420 generates, for each horizontal position H, an evaluation value indicating the possibility that the strip STRi is a curb based on the distance data.
  • the arithmetic processing unit 420 may generate height information indicating the relationship between the horizontal position H and the height from the reference plane based on the strip STRi of the distance image IMG2. Then, regarding the height information, an evaluation value indicating the possibility that it is a curb is generated for each horizontal position H. Since the curb 2 is taller than the road, it can be easily detected by converting it into height information.
  • the arithmetic processing unit 420 may increase the evaluation value of a horizontal position with a relatively high height, and lower the evaluation value of a horizontal position with a relatively low height.
  • the arithmetic processing unit 420 calculates the slope at each horizontal position from the height information, and increases the evaluation value of the horizontal position with a relatively large slope, and lowers the evaluation value of the horizontal position with a small slope. good. Calculating the slope requires less calculation processing than calculating the curvature.
  • the arithmetic processing unit 420 determines that the curb 2 exists at the horizontal position H where both the evaluation value based on the brightness image IMG1 (FIG. 5) and the evaluation value based on the distance image IMG2 (FIG. 7) are high.
  • each of the brightness image IMG1 and the distance image IMG2 is divided into n strips STR, and the position of the curb is detected for each strip STR.
  • the computational processing load can be reduced compared to the case where curbs are detected for each of the brightness image IMG1 and the distance image IMG2 as a whole.
  • FIG. 8 is a diagram illustrating pixel defects in distance image IMG2.
  • the sensor 410 illuminates the field of view with light and measures reflected light from objects in the field of view.
  • the reflective surface of the object directly faces the sensor 410, most of the reflected light from the object enters the sensor 410.
  • the reflective surface of the object does not directly face the sensor 410, the light emitted from the sensor 410 is no longer reflected toward the sensor 410. Therefore, reflected light from a portion corresponding to the side surface of the curb 2 is difficult to enter the sensor 410.
  • pixels of the distance image IMG2 are missing from the side surface of the curb 2.
  • px indicates a defective pixel for which distance information cannot be obtained.
  • the arithmetic processing unit 420 interpolates the defective pixel px by signal processing.
  • FIG. 9 is a diagram illustrating interpolation of defective pixels in distance image IMG2.
  • FIG. 9 shows a current frame IMG2 (cur) and a past frame IMG2 (pre).
  • the arithmetic processing unit 420 moves the portion determined to correspond to the side surface of the curb 2 in the past frame IMG2(pre) to the position of the current frame IMG2(ccur) using an optical flow method or the like. Thereby, the value of the defective pixel px of distance image IMG2 can be estimated.
  • ToF camera 100 can be used as sensor 410.
  • FIG. 10 is a block diagram of the ToF camera 100.
  • the ToF camera 100 is a distance image sensor that can generate an image including distance information to an object.
  • ToF camera 100 includes an illumination device 110, an image sensor 120, a camera controller 130, and an arithmetic processing unit 140. Imaging by the ToF camera 100 is performed by dividing the field of view into a plurality of N (N ⁇ 2) ranges RNG 1 to RNG N in the depth direction. Adjacent ranges may overlap in the depth direction at their boundaries.
  • the illumination device 110 irradiates the front of the vehicle with pulsed illumination light L1 in synchronization with the light emission timing signal S1 given from the camera controller 130.
  • the pulsed illumination light L1 is preferably infrared light, but is not limited thereto, and may be visible light or ultraviolet light having a predetermined wavelength.
  • the image sensor 120 includes a plurality of light-receiving pixels, is capable of exposure control in synchronization with the exposure timing signal S2 given from the camera controller 130, and generates an image made up of a plurality of pixels.
  • the image sensor 120 has sensitivity to the same wavelength as the pulsed illumination light L1, and photographs reflected light (return light) L2 reflected by the object OBJ.
  • the camera controller 130 controls the irradiation timing (light emission timing) of the pulsed illumination light L1 by the illumination device 110 and the exposure timing by the image sensor 120.
  • the functions of the camera controller 130 may be realized by software processing, hardware processing, or a combination of software processing and hardware processing.
  • software processing is implemented by a combination of a processor (hardware) such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a microcomputer, and a software program executed by the processor (hardware).
  • the camera controller 130 may be a combination of multiple processors and software programs.
  • the hardware processing is implemented using hardware such as an ASIC (Application Specific Integrated Circuit), a controller IC, and an FPGA (Field Programmable Gate Array).
  • the image (range image) SIMG i generated by the image sensor 120 is input to the arithmetic processing unit 140 .
  • the arithmetic processing unit 140 processes a plurality of range images SIMG 1 to SIMG N obtained for a plurality of ranges RNG 1 to RNG N , and generates final output data CAMERAOUT.
  • the output data CAMERAOUT includes the above-described luminance image IMG1 and distance image IMG2.
  • the arithmetic processing unit 140 may be implemented in the same hardware as the camera controller 130, or may be configured in separate hardware. Alternatively, part or all of the functions of the arithmetic processing unit 140 may be implemented as a processor or digital circuit built into the same module as the image sensor 120.
  • the above is the basic configuration of the ToF camera 100. Next, its operation will be explained.
  • FIG. 11 is a diagram illustrating the basic operation of the ToF camera 100.
  • FIG. 11 shows how the i-th range RNG i is sensed.
  • the lighting device 110 emits light during a light emitting period ⁇ 1 between times t 0 and t 1 in synchronization with the light emitting timing signal S1.
  • the top row shows a ray diagram with time on the horizontal axis and distance on the vertical axis.
  • d MINi be the distance from the ToF camera 100 to the front boundary of range RNG i
  • d MAXi be the distance to the rear boundary of range RNG i .
  • T MINi 2 ⁇ d MINi /c It is. c is the speed of light.
  • T MAXi 2 ⁇ d MAXi /c It is.
  • a timing signal S2 is generated. This is one sensing operation.
  • Sensing of the i-th range RNG i includes multiple sets of light emission and exposure.
  • the camera controller 130 repeats the above sensing operation multiple times at a predetermined period ⁇ 2 .
  • the image sensor 120 is capable of multiple exposure, and the FD area (charge accumulation area) of each light-receiving pixel is exposed multiple times to the reflected light obtained as a result of multiple pulse emission, thereby creating one range image SIMG. may be generated.
  • FIG. 12A and 12B are diagrams illustrating range images obtained by the ToF camera 100.
  • an object (pedestrian) OBJ 2 exists in range RNG 2
  • an object (vehicle) OBJ 3 exists in range RNG 3 .
  • FIG. 12B shows a plurality of range images SIMG 1 to SIMG 3 obtained in the situation of FIG. 12A.
  • the image sensor is exposed only to the reflected light from the range RNG 1 , so that no object image is captured in the range image SIMG 1 .
  • the image sensor When photographing the range image SIMG 2 , the image sensor is exposed only to the reflected light from the range RNG 2 , so only the image of the object OBJ 2 appears in the range image SIMG 2 . Similarly, when photographing the range image SIMG 3 , since the image sensor is exposed only to the reflected light from the range RNG 3 , only the image of the object OBJ 3 appears in the range image SIMG 3 . In this way, according to the ToF camera 100, objects can be photographed separately for each range.
  • the arithmetic processing unit 140 can include an image processing unit that processes a plurality of range images SIMG generated by the image sensor 120 for each range RNG.
  • the image processing unit may calculate distances between two adjacent range images SIMG based on an indirect ToF (Time of Flight) method to generate a distance image DIMG.
  • the pixel value of each pixel represents the distance.
  • N range images SIMG 1 to SIMG N are obtained for N ranges RNG 1 to RNG N.
  • the arithmetic processing unit 140 generates one distance image DIMG 1, 2 using the indirect ToF method for the two adjacent range images SIMG 1 , SIMG 2 .
  • distance images DIMG 2 and DIMG 3 are generated for two adjacent range images SIMG 2 and SIMG 3 .
  • Distance images DIMG i, i+1 are generated for the two range images SIMG i , SIMG i+1 , with 1 ⁇ i ⁇ n.
  • the arithmetic processing unit 140 can generate the brightness image IMG1 by combining the plurality of range images SIMG 1 to SIMG N.
  • the arithmetic processing device 140 can generate one distance image IMG2 by combining (N-1) distance images DIMG 1,2 to DIMG N-1,N .
  • the sensor 410 it is also possible to configure the sensor 410 as a hybrid of a camera and a distance measurement sensor, but in that case, the cost will be high. Furthermore, the number of pixels and aspect ratio of the luminance image IMG1 and the distance image IMG2 may be different. Different aspect ratios and pixel numbers complicate the curb detection process.
  • the ToF camera 100 when used as the sensor 410, the brightness image IMG1 and the distance image IMG2 are generated based on the range image generated by the same image sensor 120. Therefore, the aspect ratio and number of pixels of the brightness image IMG1 and the distance image IMG2 are the same. Thereby, the curb detection process can be simplified.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Abstract

車載センシングシステム（４００）は、センサ（４１０）および演算処理装置（４２０）を備える。センサ（４１０）は、画素が物体の反射率を表す輝度画像（ＩＭＧ１）と、画素が物体までの距離を表す距離画像（ＩＭＧ２）と、を生成する。演算処理装置（４２０）は、輝度画像（ＩＭＧ１）と距離画像（ＩＭＧ２）にもとづいて、車道の境界を規定する縁石を検出する。

Description

車載センシングシステムおよび縁石の検出方法
　本開示は、車載センシングシステムおよび縁石の検出方法に関する。
　自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングする車載センシングシステムが利用される。車載センシングシステムは、センサと、センサの出力を解析する演算処理装置を含む。センサは、カメラ、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択される。
日本国特開２００９－２５７９８１号公報 国際公開ＷＯ２０１７／１１０４１７Ａ１
　車載センシングシステムによる重要な検出対象のひとつとして、車道が挙げられる。
　本開示のある態様の例示的な目的のひとつは、車道を検出可能な車載センシングシステムおよび縁石の検出方法の提供にある。
　本開示のある態様の車載センシングシステムは、画素が物体の反射率を表す輝度画像と、画素が物体までの距離を表す距離画像と、を生成するセンサと、輝度画像と距離画像にもとづいて、車道の境界を規定する縁石を検出する演算処理装置と、を備える。
　本開示のある態様の縁石の検出方法は、
　画素が物体の反射率を表す輝度画像を生成し、
　画素が物体までの距離を表す距離画像を生成し、
　輝度画像および距離画像それぞれを、垂直方向に複数ｎ個（ｎ≧２）の領域に分割し、
　輝度画像のｉ番目の領域について、水平位置ごとに、縁石である可能性を評価し、
　距離画像のｉ番目の領域について、水平位置ごとに、縁石である可能性を評価し、
　輝度画像のｉ番目の領域と、距離画像のｉ番目の領域の両方において、縁石である可能性が高いと評価される水平位置を、縁石であると判定する。
　本開示のある態様によれば、車道を検出できる。
図１は、路面に存在する縁石を示す図である。 図２は、実施形態に係る車載センシングシステムのブロック図である。 図３は、演算処理装置における縁石の検出を説明する図である。 図４は、輝度画像にもとづく縁石の検出処理の一例を説明する図である。 図５は、輝度画像のｉ番目（１≦ｉ≦ｎ）のストリップの評価の一例を説明する図である。 図６は、距離画像にもとづく縁石の検出処理の一例を説明する図である。 図７は、距離画像のｉ番目（１≦ｉ≦ｎ）のストリップの評価の一例を説明する図である。 図８は、距離画像の画素欠陥を説明する図である。 図９は、距離画像の欠陥画素の補間を説明する図である。 図１０は、ＴｏＦカメラのブロック図である。 図１１は、ＴｏＦカメラの基本動作を説明する図である。 図１２Ａは、ＴｏＦカメラにより得られるレンジ画像を説明する図である。 図１２Ｂは、ＴｏＦカメラにより得られるレンジ画像を説明する図である。
（実施形態の概要）
　本開示のいくつかの例示的な実施形態の概要を説明する。この概要は、後述する詳細な説明の前置きとして、実施形態の基本的な理解を目的として、１つまたは複数の実施形態のいくつかの概念を簡略化して説明するものであり、発明あるいは開示の広さを限定するものではない。またこの概要は、考えられるすべての実施形態の包括的な概要ではなく、実施形態の欠くべからざる構成要素を限定するものではない。便宜上、「一実施形態」は、本明細書に開示するひとつの実施形態または複数の実施形態を指すものとして用いる場合がある。実施形態は、実施例や変形例を含む。
　一実施形態に係る車載センシングシステムは、画素が物体の反射率を表す輝度画像と、画素が物体までの距離を表す距離画像と、を生成するセンサと、輝度画像と距離画像にもとづいて、車道の境界を規定する縁石を検出する演算処理装置と、を備える。
　縁石と、車道内のアスファルトは、異なる色、異なる反射率を有する。したがって輝度画像から縁石を抽出することができる。また縁石は、車道よりも高くなっているため、距離画像から縁石を抽出することができる。そして、反射率にもとづく結果と、距離にもとづく結果を統合することにより、縁石を高い精度で検出することができる。
　一実施形態において、演算処理装置は、輝度画像および距離画像それぞれを、垂直方向に複数ｎ個（ｎ≧２）の領域に分割してもよい。そして、演算処理装置は、輝度画像のｉ番目の領域について、水平位置ごとに、縁石である可能性を評価し、距離画像のｉ番目の領域について、水平位置ごとに、縁石である可能性を評価してもよい。そして演算処理装置は、輝度画像のｉ番目の領域と、距離画像のｉ番目の領域の両方において、縁石である可能性が高いと評価される水平位置を、縁石であると判定してもよい。
　一実施形態において、演算処理装置は、輝度画像のｉ番目の領域について、画素値が相対的に高い水平位置を、縁石である可能性が高いものと評価してもよい。
　一実施形態において、演算処理装置は、距離画像のｉ番目の領域から、水平位置と、基準面からの高さの関係を示す高さ情報を生成し、高さ情報にもとづいて、縁石である可能性を評価してもよい。縁石は、車道に比べて高さが高いため、高さ情報に変換することで、検出が容易となる。
　一実施形態において、演算処理装置は、高さ情報から、各水平位置における傾きを算出し、相対的に傾きが大きい水平位置を、縁石である可能性が高いものと評価してもよい。これにより、縁石の側面において傾きが大きいことを利用して、縁石を検出できる。
　一実施形態において、演算処理装置は、距離画像について、過去のフレームを利用して、現在のフレームの画素の欠陥を補間してもよい。縁石の側面に相当する部分は、センサによって距離情報を取得しにくい場合があり、この場合、距離画像の画素が欠落する。この場合に、過去のフレームにおいて、縁石の側面に相当すると判定された部分を、オプティカルフロー法などを利用して、現在のフレームの位置に移動させることで、現在のフレームの画素の欠落を補うことができる。
　一実施形態において、センサは、ＴｏＦカメラでもよい。ＴｏＦカメラは、パルス照明光を視野に照射する照明装置と、イメージセンサと、照明装置の発光タイミングとイメージセンサの露光タイミングを制御するカメラコントローラと、を含む。ＴｏＦカメラは、視野を奥行き方向について複数のレンジに区切り、複数のレンジに対応する複数のレンジ画像を生成する。ＴｏＦカメラは、複数のレンジ画像を合成して、輝度画像を生成する。ＴｏＦカメラは、複数のレンジ画像の隣接する２枚をペアとし、各ペアについて間接ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）の演算を行うことにより、距離画像を生成する。この場合、輝度画像と距離画像は、同じイメージセンサの出力から生成されるため、同一アスペクト比もしくは近いアスペクト比、同一画素数もしくは近い画素数とすることが可能となる。
（実施形態）
　以下、好適な実施形態について図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施形態は、発明を限定するものではなく例示であって、実施形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　以下で説明する実施形態は、縁石の検出に関する。図１は、路面に存在する縁石を示す図である。縁石２は、路面１上に、車道４とそれ以外の部分を区画するために設けられる。たとえば、縁石２の形状や構造は、さまざまであり、断続的に設けられるもの（２Ａ）や、連続的に設けられるもの（２Ｂ）がある。縁石２は、車道４と歩道６の区画や、対向車線の間の区画に用いられる。
　図２は、実施形態に係る車載センシングシステム４００のブロック図である。車載センシングシステム４００は、センサ４１０および演算処理装置４２０を備える。
　センサ４１０は、輝度画像ＩＭＧ１と、距離画像ＩＭＧ２を生成する。輝度画像ＩＭＧ１は、画素が物体の反射率を表す。距離画像ＩＭＧ２は、画素が物体までの距離を表す。
　演算処理装置４２０は、輝度画像ＩＭＧ１と距離画像ＩＭＧ２にもとづいて、車道の境界を規定する縁石を検出する。たとえば演算処理装置４２０は、検出結果にもとづく出力データＯＵＴを出力する。この出力データは、縁石の位置を示してもよいし、車道の範囲を示してもよい。
　以上が車載センシングシステム４００の基本構成である。続いて車載センシングシステム４００の動作を説明する。
　図３は、演算処理装置４２０における縁石の検出を説明する図である。図３の上段には、輝度画像ＩＭＧ１が、下段には距離画像ＩＭＧ２が示される。
　輝度画像ＩＭＧ１を参照すると、縁石２と、車道４内のアスファルトは、異なる色、異なる反射率を有するため、輝度画像ＩＭＧ１上で異なる画素値を有する。したがって輝度画像ＩＭＧ１から縁石２を抽出することができる。
　距離画像ＩＭＧ２を参照すると、縁石２は、車道４よりも高くなっているため、距離画像ＩＭＧ２からも縁石２を抽出することができる。なお、白線（ペイント）８は、車道４と同じ高さであるため、距離画像ＩＭＧ２上では、白線８と車道４は区別されない。
　そして、輝度画像ＩＭＧ１、すなわち反射率にもとづく結果と、距離画像ＩＭＧ２、すなわち距離（高さ）にもとづく結果を統合することにより、縁石２を高い精度で検出することができる。
　輝度画像ＩＭＧ１のみを利用する検出方法では、コンクリート製の縁石２の反射率と、白線８の反射率が近い場合に、縁石２と白線８を誤検知する可能性がある。
　距離画像ＩＭＧ２のみを利用する検出方法では、縁石２の高さや段差が小さい場合に、うまく検出できない可能性がある。言い換えると、距離画像ＩＭＧ２のみを利用して縁石２を検出しようとすると、高精度な測距センサが必要となるが、高精度な測距センサは非常に高価である。
　これに対して、本実施形態によれば、輝度画像ＩＭＧ１と距離画像ＩＭＧ２を利用して、縁石２を検出するため、輝度画像ＩＭＧ１のみ、あるいは距離画像ＩＭＧ２のみを利用する方式に比べて、縁石２の検出精度を高めることができる。本実施形態では、輝度情報と距離情報を利用しているため、高精度な測距センサが不要であり、したがって低コストで構成できる。
　続いて、演算処理装置４２０における縁石の検出処理の具体例を説明する。
　図４は、輝度画像ＩＭＧ１にもとづく縁石の検出処理の一例を説明する図である。演算処理装置４２０は、輝度画像ＩＭＧ１を、垂直方向にｎ個の領域（ストリップ）ＳＴＲ１～ＳＴＲｎに分割する。そして、輝度画像ＩＭＧ１の複数のストリップＳＴＲ１～ＳＴＲｎそれぞれについて、水平位置Ｈごとに、縁石である可能性を評価する。
　図５は、輝度画像ＩＭＧ１のｉ番目（１≦ｉ≦ｎ）のストリップＳＴＲｉの評価の一例を説明する図である。演算処理装置４２０は、ストリップＳＴＲｉについて、水平位置Ｈごとに、輝度値にもとづいて、縁石である可能性を示す評価値を生成する。通常の路面では、大部分が車道を占めているため、ストリップＳＴＲｉ内の大部分の画素は、アスファルトの反射率に応じた輝度値を有している。
　白線のペイントや、縁石のコンクリートは、アスファルトより高い反射率を有する。したがって、白線や縁石は、アスファルトの部分に比べて画素値が大きくなる。演算処理装置４２０は、画素の相対的な関係にもとづいて、縁石である可能性を評価することができる。以上の処理により、１個のストリップＳＴＲｉにおいて、水平位置ごとに、縁石が存在する確率を評価できる。
　図６は、距離画像ＩＭＧ２にもとづく縁石の検出処理の一例を説明する図である。演算処理装置４２０は、輝度画像ＩＭＧ１と同様に、距離画像ＩＭＧ２を、垂直方向にｎ個の領域（ストリップ）ＳＴＲ１～ＳＴＲｎに分割する。そして、距離画像ＩＭＧ２の複数のストリップＳＴＲ１～ＳＴＲｎそれぞれについて、水平位置Ｈごとに、縁石である可能性を評価する。
　図７は、距離画像ＩＭＧ２のｉ番目（１≦ｉ≦ｎ）のストリップＳＴＲｉの評価の一例を説明する図である。演算処理装置４２０は、ストリップＳＴＲｉについて、水平位置Ｈごとに、距離データにもとづいて、縁石である可能性を示す評価値を生成する。
　この例において、演算処理装置４２０は、距離画像ＩＭＧ２のストリップＳＴＲｉにもとづいて、水平位置Ｈと、基準面からの高さの関係を示す高さ情報を生成してもよい。そして、高さ情報について、水平位置Ｈごとに、縁石である可能性を示す評価値を生成する。縁石２は、車道に比べて高さが高いため、高さ情報に変換することで、検出が容易となる。
　たとえば演算処理装置４２０は、相対的に高さが高い水平位置の評価値を高くし、相対的に高さが低い水平位置の評価値を低くしてもよい。
　別のアプローチとして、水平位置ごとの曲率を算出し、曲率が不連続となる位置の評価値を高くすることが考えられるが、演算負荷が重くなる。そこで、演算処理装置４２０は、高さ情報から、各水平位置における傾きを算出し、相対的に傾きが大きい水平位置の評価値を高くし、傾きが小さい水平位置の評価値を低くしてもよい。傾きの算出は、曲率の算出に比べて、演算処理量が少なくて済む。
　演算処理装置４２０は、輝度画像ＩＭＧ１にもとづく評価値（図５）と、距離画像ＩＭＧ２にもとづく評価値（図７）の両方が高い水平位置Ｈに、縁石２が存在するものと判定する。
　以上が縁石２の検出処理の一例である。この処理では、輝度画像ＩＭＧ１と距離画像ＩＭＧ２それぞれを、ｎ個のストリップＳＴＲに分割し、ストリップＳＴＲごとに、縁石の位置を検出している。これにより輝度画像ＩＭＧ１、距離画像ＩＭＧ２それぞれの全体を対象として、縁石を検出する場合に比べて、演算処理の負荷を減らすことができる。
　続いて、距離画像ＩＭＧ２の補間処理を説明する。
　図８は、距離画像ＩＭＧ２の画素欠陥を説明する図である。センサ４１０は、視野に光を照射し、視野の物体からの反射光を測定する。物体の反射面がセンサ４１０と正対している場合、物体からの反射光の多くは、センサ４１０に入射する。ところが、物体の反射面が、センサ４１０に対して正対していない場合、センサ４１０から放射した光は、センサ４１０に向かって反射されなくなる。そのため、縁石２の側面に相当する部分からの反射光は、センサ４１０に入射しにくい。その結果、縁石２の側面の部分において、距離画像ＩＭＧ２の画素が欠落することとなる。図８において、ｐｘは、距離情報が得られない欠陥画素を示している。演算処理装置４２０は、信号処理によって欠陥画素ｐｘを補間する。
　図９は、距離画像ＩＭＧ２の欠陥画素の補間を説明する図である。図９には、現在のフレームＩＭＧ２（ｃｕｒ）と、過去のフレームＩＭＧ２（ｐｒｅ）が示される。
　演算処理装置４２０は、過去のフレームＩＭＧ２（ｐｒｅ）において、縁石２の側面に相当すると判定された部分を、オプティカルフロー法などを利用して、現在のフレームＩＭＧ２（ｃｃｕｒ）の位置まで移動させる。これにより、距離画像ＩＭＧ２の欠陥画素ｐｘの値を推定することができる。
　続いてセンサ４１０の構成を説明する。センサ４１０としてＴｏＦカメラ１００を用いることができる。
　図１０は、ＴｏＦカメラ１００のブロック図である。ＴｏＦカメラ１００は、物体までの距離情報を含む画像を生成可能な距離画像センサである。
　ＴｏＦカメラ１００は、照明装置１１０、イメージセンサ１２０、カメラコントローラ１３０、演算処理装置１４０を含む。ＴｏＦカメラ１００による撮像は、視野を奥行き方向について複数Ｎ個（Ｎ≧２）のレンジＲＮＧ１～ＲＮＧＮに区切って行われる。隣接するレンジ同士は、それらの境界において奥行き方向にオーバーラップしてもよい。
　照明装置１１０は、カメラコントローラ１３０から与えられる発光タイミング信号Ｓ１と同期して、パルス照明光Ｌ１を車両前方に照射する。パルス照明光Ｌ１は赤外光であることが好ましいが、その限りでなく、所定の波長を有する可視光や紫外光であってもよい。
　イメージセンサ１２０は、複数の受光画素を含み、カメラコントローラ１３０から与えられる露光タイミング信号Ｓ２と同期した露光制御が可能であり、複数の画素からなる画像を生成する。イメージセンサ１２０は、パルス照明光Ｌ１と同じ波長に感度を有しており、物体ＯＢＪが反射した反射光（戻り光）Ｌ２を撮影する。
　カメラコントローラ１３０は、照明装置１１０によるパルス照明光Ｌ１の照射タイミング（発光タイミング）と、イメージセンサ１２０による露光のタイミングを制御する。カメラコントローラ１３０の機能は、ソフトウェア処理で実現してもよいし、ハードウェア処理で実現してもよいし、ソフトウェア処理とハードウェア処理の組み合わせで実現してもよい。ソフトウェア処理は、具体的には、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、マイコンなどのプロセッサ（ハードウェア）と、プロセッサ（ハードウェア）が実行するソフトウェアプログラムの組み合わせで実装される。なおカメラコントローラ１３０は、複数のプロセッサとソフトウェアプログラムの組み合わせであってもよい。ハードウェア処理は具体的には、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やコントローラＩＣ、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などのハードウェアで実装される。
　イメージセンサ１２０により生成された画像（レンジ画像）ＳＩＭＧｉは、演算処理装置１４０に入力される。演算処理装置１４０は、複数のレンジＲＮＧ１～ＲＮＧＮについて得られる複数のレンジ画像ＳＩＭＧ１～ＳＩＭＧＮを処理し、最終的な出力データＣＡＭＥＲＡＯＵＴを生成する。出力データＣＡＭＥＲＡＯＵＴは、上述の輝度画像ＩＭＧ１および距離画像ＩＭＧ２を含む。
　演算処理装置１４０は、カメラコントローラ１３０と同じハードウェアに実装してもよいし、別々のハードウェアで構成してもよい。あるいは演算処理装置１４０の機能の一部あるいは全部は、イメージセンサ１２０と同じモジュールに内蔵されたプロセッサやデジタル回路として実装してもよい。
　以上がＴｏＦカメラ１００の基本構成である。続いてその動作を説明する。
　図１１は、ＴｏＦカメラ１００の基本動作を説明する図である。図１１にはｉ番目のレンジＲＮＧｉをセンシングするときの様子が示される。照明装置１１０は、発光タイミング信号Ｓ１と同期して、時刻ｔ０～ｔ１の間の発光期間τ１の間、発光する。最上段には、横軸に時間、縦軸に距離をとった光線のダイアグラムが示される。ＴｏＦカメラ１００から、レンジＲＮＧｉの手前の境界までの距離をｄＭＩＮｉ、レンジＲＮＧｉの奥側の境界までの距離をｄＭＡＸｉとする。
　ある時刻に照明装置１１０を出発した光が、距離ｄＭＩＮｉに到達してその反射光がイメージセンサ１２０に戻ってくるまでのラウンドトリップ時間ＴＭＩＮｉは、
　ＴＭＩＮｉ＝２×ｄＭＩＮｉ／ｃ
である。ｃは光速である。
　同様に、ある時刻に照明装置１１０を出発した光が、距離ｄＭＡＸｉに到達してその反射光がイメージセンサ１２０に戻ってくるまでのラウンドトリップ時間ＴＭＡＸｉは、
　ＴＭＡＸｉ＝２×ｄＭＡＸｉ／ｃ
である。
　レンジＲＮＧｉに含まれる物体ＯＢＪのみを撮影したいとき、カメラコントローラ１３０は、時刻ｔ２＝ｔ０＋ＴＭＩＮｉに露光を開始し、時刻ｔ３＝ｔ１＋ＴＭＡＸｉに露光を終了するように、露光タイミング信号Ｓ２を生成する。これが１回のセンシング動作である。
　ｉ番目のレンジＲＮＧｉのセンシングは、発光および露光のセットを複数含む。カメラコントローラ１３０は、所定の周期τ２で、上述のセンシング動作を複数回にわたり繰り返す。
　イメージセンサ１２０は多重露光が可能であり、受光画素毎のＦＤ領域（電荷蓄積領域）に、複数回のパルス発光の結果得られる複数回の反射光を多重露光し、１枚のレンジ画像ＳＩＭＧを生成してもよい。
　図１２Ａおよび図１２Ｂは、ＴｏＦカメラ１００により得られるレンジ画像を説明する図である。図１２Ａの例では、レンジＲＮＧ２に物体（歩行者）ＯＢＪ２が存在し、レンジＲＮＧ３に物体（車両）ＯＢＪ３が存在している。図１２Ｂには、図１２Ａの状況で得られる複数のレンジ画像ＳＩＭＧ１～ＳＩＭＧ３が示される。レンジ画像ＳＩＭＧ１を撮影するとき、イメージセンサはレンジＲＮＧ１からの反射光のみにより露光されるため、レンジ画像ＳＩＭＧ１にはいかなる物体像も写らない。
　レンジ画像ＳＩＭＧ２を撮影するとき、イメージセンサはレンジＲＮＧ２からの反射光のみにより露光されるため、レンジ画像ＳＩＭＧ２には、物体ＯＢＪ２の像のみが写る。同様にレンジ画像ＳＩＭＧ３を撮影するとき、イメージセンサはレンジＲＮＧ３からの反射光のみにより露光されるため、レンジ画像ＳＩＭＧ３には、物体ＯＢＪ３の像のみが写る。このようにＴｏＦカメラ１００によれば、レンジ毎に物体を分離して撮影することができる。
　演算処理装置１４０は、イメージセンサ１２０がレンジＲＮＧごとに生成する複数のレンジ画像ＳＩＭＧを処理する画像処理部を含むことができる。画像処理部は、複数のレンジ画像ＳＩＭＧのうち隣接する２枚について、間接ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）法にもとづいて距離を算出し、距離画像ＤＩＭＧを生成してもよい。この距離画像ＤＩＭＧは、各画素の画素値が距離を表す。
　より具体的には、Ｎ個のレンジＲＮＧ１～ＲＮＧＮについて、Ｎ枚のレンジ画像ＳＩＭＧ１～ＳＩＭＧＮが得られる。演算処理装置１４０は、隣接する２枚のレンジ画像ＳＩＭＧ１，ＳＩＭＧ２について、間接ＴｏＦ法により、１枚の距離画像ＤＩＭＧ１，２を生成する。同様に、隣接する２枚のレンジ画像ＳＩＭＧ２，ＳＩＭＧ３について、距離画像ＤＩＭＧ２，３が生成される。１≦ｉ＜ｎとして、２枚のレンジ画像ＳＩＭＧｉ，ＳＩＭＧｉ＋１について、距離画像ＤＩＭＧｉ，ｉ＋１が生成される。
　演算処理装置１４０は、複数のレンジ画像ＳＩＭＧ１～ＳＩＭＧＮを合成することにより輝度画像ＩＭＧ１を生成することができる。
　また、演算処理装置１４０は、（Ｎ－１）枚の距離画像ＤＩＭＧ１，２～ＤＩＭＧＮ－１，Ｎを合成して、１枚の距離画像ＩＭＧ２を生成することができる。
　センサ４１０を、カメラと測距センサのハイブリッドで構成することも可能であるが、その場合、コストが高くなる。また輝度画像ＩＭＧ１と距離画像ＩＭＧ２の画素数やアスペクト比が異なる可能性ある。アスペクト比や画素数が異なっていると、縁石の検出処理が複雑化する。
　これに対してセンサ４１０としてＴｏＦカメラ１００を利用すると、輝度画像ＩＭＧ１と距離画像ＩＭＧ２は、同じイメージセンサ１２０が生成するレンジ画像にもとづいて生成される。このため、輝度画像ＩＭＧ１と距離画像ＩＭＧ２のアスペクト比や画素数が揃うこととなる。これにより、縁石の検出処理を簡素化できる。
　実施形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにさまざまな変形例が存在すること、またそうした変形例も本開示または本発明の範囲に含まれることは当業者に理解されるところである。
　本出願は、２０２２年５月１８日出願の日本特許出願２０２２－８１８４０号に基づくものであり、その内容はここに参照として取り込まれる。
 

Claims (8)

  1. 　画素が物体の反射率を表す輝度画像と、画素が物体までの距離を表す距離画像と、を生成するセンサと、
    　前記輝度画像と前記距離画像にもとづいて、車道の境界を規定する縁石を検出する演算処理装置と、
    　を備える、車載センシングシステム。
  2. 　前記演算処理装置は、
    　前記輝度画像および前記距離画像それぞれを、垂直方向に複数ｎ個（ｎ≧２）の領域に分割し、前記輝度画像のｉ番目の領域について、水平位置ごとに、前記縁石である可能性を評価し、前記距離画像のｉ番目の領域について、水平位置ごとに、前記縁石である可能性を評価し、
    　前記輝度画像のｉ番目の領域と、前記距離画像のｉ番目の領域の両方において、前記縁石である可能性が高いと評価される水平位置を、前記縁石であると判定する、請求項１に記載の車載センシングシステム。
  3. 　前記演算処理装置は、前記輝度画像のｉ番目の領域について、画素値が相対的に高い水平位置を、前記縁石である可能性が高いものと評価する、請求項２に記載の車載センシングシステム。
  4. 　前記演算処理装置は、前記距離画像のｉ番目の領域から、水平位置と、基準面からの高さの関係を示す高さ情報を生成し、前記高さ情報にもとづいて、前記縁石である可能性を評価する、請求項２に記載の車載センシングシステム。
  5. 　前記演算処理装置は、前記高さ情報から、各水平位置における傾きを算出し、相対的に傾きが大きい水平位置を、前記縁石である可能性が高いものと評価する、請求項３に記載の車載センシングシステム。
  6. 　前記演算処理装置は、前記距離画像について、過去のフレームを利用して、現在のフレームの画素の欠陥を補間する、請求項１から５のいずれか一項に記載の車載センシングシステム。
  7. 　前記センサは、
    　パルス照明光を視野に照射する照明装置と、
    　イメージセンサと、
    　前記照明装置の発光タイミングと前記イメージセンサの露光タイミングを制御するカメラコントローラと、
    　を含み、前記視野を奥行き方向について複数のレンジに区切り、前記複数のレンジに対応する複数のレンジ画像を生成するＴｏＦカメラであり、
    　前記複数のレンジ画像を合成して、前記輝度画像が生成され、
    　前記複数のレンジ画像の隣接する２枚をペアとし、各ペアについて間接ＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）の演算を行うことにより、前記距離画像を生成する、請求項１から５のいずれか一項に記載の車載センシングシステム。
  8. 　縁石の検出方法であって、
    　画素が物体の反射率を表す輝度画像を生成し、
    　画素が物体までの距離を表す距離画像を生成し、
    　前記輝度画像および前記距離画像それぞれを、垂直方向に複数ｎ個（ｎ≧２）の領域に分割し、
    　前記輝度画像のｉ番目の領域について、水平位置ごとに、前記縁石である可能性を評価し、
    　前記距離画像のｉ番目の領域について、水平位置ごとに、前記縁石である可能性を評価し、
    　前記輝度画像のｉ番目の領域と、前記距離画像のｉ番目の領域の両方において、前記縁石である可能性が高いと評価される水平位置を、前記縁石であると判定する、
    　縁石の検出方法。
PCT/JP2023/018489 2022-05-18 2023-05-17 車載センシングシステムおよび縁石の検出方法 WO2023224078A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-081840 2022-05-18
JP2022081840 2022-05-18

Publications (1)

Publication Number Publication Date
WO2023224078A1 true WO2023224078A1 (ja) 2023-11-23

Family

ID=88835657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018489 WO2023224078A1 (ja) 2022-05-18 2023-05-17 車載センシングシステムおよび縁石の検出方法

Country Status (1)

Country Link
WO (1) WO2023224078A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110329A (ja) * 2005-10-12 2007-04-26 Ntt Communications Kk 画像補正装置、画像補正方法、および画像補正プログラム
JP2012032378A (ja) * 2010-07-05 2012-02-16 Denso Corp 道路端検出装置、運転者支援装置、および道路端検出方法
JP2013161190A (ja) * 2012-02-02 2013-08-19 Toyota Motor Corp 物体認識装置
WO2019181518A1 (ja) * 2018-03-20 2019-09-26 パナソニックＩｐマネジメント株式会社 距離測定装置、距離測定システム、距離測定方法、及びプログラム
US20210096263A1 (en) * 2019-09-30 2021-04-01 Zoox, Inc. Power control of sensors using multiple exposures
WO2021060397A1 (ja) * 2019-09-26 2021-04-01 株式会社小糸製作所 ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110329A (ja) * 2005-10-12 2007-04-26 Ntt Communications Kk 画像補正装置、画像補正方法、および画像補正プログラム
JP2012032378A (ja) * 2010-07-05 2012-02-16 Denso Corp 道路端検出装置、運転者支援装置、および道路端検出方法
JP2013161190A (ja) * 2012-02-02 2013-08-19 Toyota Motor Corp 物体認識装置
WO2019181518A1 (ja) * 2018-03-20 2019-09-26 パナソニックＩｐマネジメント株式会社 距離測定装置、距離測定システム、距離測定方法、及びプログラム
WO2021060397A1 (ja) * 2019-09-26 2021-04-01 株式会社小糸製作所 ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
US20210096263A1 (en) * 2019-09-30 2021-04-01 Zoox, Inc. Power control of sensors using multiple exposures

Similar Documents

Publication Publication Date Title
CN113227839B (zh) 具有结构光照明器的飞行时间传感器
JP6471528B2 (ja) 物体認識装置、物体認識方法
US9810785B2 (en) Gated imaging using an adaptive depth of field
CN106458084B (zh) 车辆用照明装置
JP7201592B2 (ja) 車両の周囲を特徴付けるためのシステム
CN110293973B (zh) 驾驶支援系统
WO2020196513A1 (ja) 物体検出装置
JP2010088045A (ja) ナイトビューシステム、夜間歩行者表示方法
WO2015189851A1 (en) Method and system for pattern detection, classification and tracking
US20220207884A1 (en) Object recognition apparatus and object recognition program product
CN116529633A (zh) 用于借助照明装置和光学传感器探测物体的方法、用于执行这种方法的控制装置、具有这种控制装置的探测装置和具有这种探测装置的机动车
WO2023224078A1 (ja) 車載センシングシステムおよび縁石の検出方法
WO2021172478A1 (ja) センサ、自動車および周囲環境のセンシング方法
EP4286895A1 (en) Gated camera, vehicular sensing system, and vehicular lamp
WO2021065138A1 (ja) 測距装置および制御方法
JP7535394B2 (ja) 画像処理装置および測距装置
WO2021166912A1 (ja) 物体検出装置
JP7402129B2 (ja) 電磁波検出装置、測距装置および電磁波検出方法
WO2023224077A1 (ja) ＴｏＦカメラ、車両用センシングシステム、および車両用灯具
WO2023085403A1 (ja) センシングシステム
JP2023128481A (ja) 物体認識方法及び物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23807679

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024521968

Country of ref document: JP