WO2019167350A1 - 物体検知装置 - Google Patents

物体検知装置 Download PDF

Info

Publication number
WO2019167350A1
WO2019167350A1 PCT/JP2018/041358 JP2018041358W WO2019167350A1 WO 2019167350 A1 WO2019167350 A1 WO 2019167350A1 JP 2018041358 W JP2018041358 W JP 2018041358W WO 2019167350 A1 WO2019167350 A1 WO 2019167350A1
Authority
WO
WIPO (PCT)
Prior art keywords
light source
sensor
object detection
light
radar
Prior art date
Application number
PCT/JP2018/041358
Other languages
English (en)
French (fr)
Inventor
信三 香山
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to US16/977,322 priority Critical patent/US20210055406A1/en
Priority to JP2020502801A priority patent/JPWO2019167350A1/ja
Priority to CN201880090650.6A priority patent/CN111801593A/zh
Publication of WO2019167350A1 publication Critical patent/WO2019167350A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves

Definitions

  • the present disclosure relates to an object detection device.
  • Patent Document 1 An automobile equipped with a radar and a camera is known.
  • a radar measures the distance from a vehicle traveling in front of the host vehicle, and the camera recognizes a lane or a road edge.
  • the object detection device it is desirable to distinguish and detect what kind of object regardless of the weather. Specifically, it is desired to detect not only the presence of an object but also what kind of object exists even under bad weather such as fog or rain.
  • the object detection device has been made to solve the above problems.
  • the object detection device is an object detection device that detects an object, the radar generating a signal indicating the position of the object by irradiating the object with radio waves, a light source for irradiating the object with light, A sensor that acquires an image and a processor are provided, and the processor controls the timing at which the light source emits the light and the exposure of the sensor based on the signal.
  • an object detection device that can acquire higher resolution images under bad weather such as fog and rain.
  • FIG. 1 is a diagram illustrating a configuration of an object detection apparatus.
  • FIG. 2 is a diagram illustrating the positional relationship between the vehicle and the object.
  • FIG. 3 is a timing chart showing operations of the radar, the light source, and the sensor.
  • FIG. 4 is a view showing the attachment position of the light source to the own vehicle.
  • FIG. 5 is a diagram showing the attachment position of the light source to the own vehicle.
  • FIG. 6 is a diagram illustrating an irradiation region irradiated by the diffused light from the light source.
  • FIG. 7 is a diagram illustrating an irradiation region irradiated by a line scan of the light source.
  • FIG. 8 is a diagram illustrating an irradiation region irradiated by a line scan of the light source.
  • FIG. 9 is a diagram illustrating an irradiation region irradiated by the point scan of the light source.
  • FIG. 10 is a diagram illustrating imaging by the sensor when there are a plurality of objects in the vicinity of the host vehicle.
  • the X axis, the Y axis, and the Z axis represent the three axes of a three-dimensional orthogonal coordinate system.
  • the Z axis direction is the vertical direction, and is perpendicular to the Z axis.
  • the direction (direction parallel to the XY plane) is the horizontal direction.
  • the X axis and the Y axis are orthogonal to each other, and both are orthogonal to the Z axis.
  • FIG. 1 is a diagram illustrating a configuration of the object detection apparatus 100.
  • the object detection apparatus 100 includes a radar 110, a light source 120, a sensor 130, a detection circuit 140, a processor 150, a low frequency removal circuit 160, and a detection circuit 170.
  • the object detection device 100 is installed, for example, in an automobile and detects an object 190 existing in front.
  • a vehicle in which the object detection device 100 is installed is called a host vehicle.
  • the object 190 is typically another vehicle, but is not limited to this.
  • the object 190 may be, for example, a pedestrian or a structure on the road.
  • the object 190 can be an obstacle depending on the positional relationship between the own vehicle including the object detection device 100 and the object 190. In this case, based on the detection result of the object detection device 100, for example, a warning for the driver of the own vehicle and an operation of the brake of the own vehicle can be performed.
  • the radar 110 is, for example, a millimeter wave radar.
  • the radar 110 irradiates the object 190 with a pulsed millimeter wave, and receives the electromagnetic wave reflected and returned.
  • the radar 110 outputs a signal representing the time of irradiation and reception of electromagnetic waves to the detection circuit 140.
  • the processor 150 generates a signal representing the position with the object 190 based on the irradiation and reception times. When the radar 110 emits electromagnetic waves only in a single direction, this position corresponds to the one-dimensional position of the object 190 relative to the radar 110, that is, the distance between the radar 110 and the object 190.
  • this position corresponds to the two-dimensional position of the object 190 with respect to the radar 110, that is, the position of the object 190 with respect to the radar 110 in the horizontal plane.
  • the light source 120 irradiates the object 190 with pulsed light.
  • the temporal change in the intensity of light emitted from the light source 120 may be rectangular or triangular.
  • the light source 120 can be, for example, a laser element or an LED (light emitting diode).
  • the light source 120 also includes a laser diode that emits laser light.
  • the light source 120 typically emits visible light, and may also serve as the light source of the headlight of the host vehicle 210.
  • the light source 120 may irradiate near infrared light as a light source dedicated to detection. Laser elements are preferable as pulsed light sources because they can respond at high speed.
  • the light source 120 may be an LED as long as it is driven by a circuit having a high driving capability.
  • the sensor 130 receives light only during the light receiving period and then images the object 190 after a delay period has elapsed since the pulse light was irradiated. This delay period corresponds to the distance between the radar 110 and the object 190.
  • the light receiving period corresponds to the length of the object 190 viewed from the radar 110 in the depth direction.
  • the sensor 130 is typically a sensor in which imaging elements are arranged in a two-dimensional array.
  • the shutter of the sensor 130 is preferably a global shutter, and the shutter speed is relatively high.
  • Sensor 130 outputs the captured image to low frequency removal circuit 160.
  • the low frequency removal circuit 160 outputs the enhanced image to the detection circuit 170 by signal processing.
  • the detection circuit 170 detects an object and outputs a detection result.
  • FIG. 2 is a diagram showing the positional relationship between the host vehicle 210 and the object 190. It is assumed that an object 190 desired to be imaged by the sensor 130 is in the imaging range 230 whose distance from the host vehicle 210 is d1 to d2. At this time, the processor 150 controls the shutter of the sensor 130 so that the sensor 130 receives only light from the imaging range 230.
  • FIG. 3 is a timing chart showing the operations of the radar 110, the light source 120, and the sensor 130.
  • the horizontal axis represents time
  • the vertical axis represents the operation of each component.
  • the radar 110 transmits a pulsed electromagnetic wave 310, and after the delay period 312, the electromagnetic wave 320 reflected by the object 190 is received. If the speed of light is c and the distance between the radar 110 and the object 190 is d1, the delay period 312 is equal to 2d1 / c.
  • the radar 110 emits a pulsed electromagnetic wave 310 at an interval of 100 ms, for example, but is not limited to this, and can emit an electromagnetic wave at an arbitrary appropriate interval.
  • the light source 120 periodically irradiates the object 190 with pulsed light 330 and 340.
  • An interval between the pulse lights 330 and 340 (also referred to as an irradiation interval, that is, a period t1 to t4) is, for example, 10 ⁇ s, but is not limited thereto and may be any appropriate interval.
  • the irradiation interval of the light source 120 is in the range of 2 ⁇ s to 10 ⁇ s.
  • the pulse width W of the pulsed light 330 and 340 can be appropriately selected depending on the imaging range 230, as will be described later.
  • the sensor 130 can form an image by accumulating the photons received by the light emission of many times and taking the sum.
  • an avalanche photodiode for example.
  • the sensor of the sensor 130 captures an image during the light receiving period (t3-t2) from time t2 to t3.
  • the period from time t1 to t2 is equal to 2d1 / c.
  • the period from time t1 to t3 is equal to 2d2 / c. Therefore, the depth (d2 ⁇ d1) viewed from the own vehicle 210 in the imaging range 230 is multiplied by (t3 ⁇ t2) c / 2. That is, if the light receiving period (t3-t2) is set appropriately, an imaging range 230 suitable for the object 190 can be obtained.
  • the light receiving period (t3-t2) is equal to the pulse width W of the pulsed light 330 and 340. If the processor 150 controls the light emission and light reception of the light source 120 in this way, the sensor 130 can selectively image only an object in the imaging range 230. For example, if the pulse width W is set to the length in the depth direction of the automobile, which is the object 190, the influence on the imaging of fog and rain under bad weather can be minimized.
  • the imaging range 230 (that is, (d2-d1) is 3 m, which corresponds to the depth of field. If the pulse widths of 330 and 340 (ie, the period t2 to t3) are, for example, 50 ns, the imaging range 230 (ie, (d2-d1) is 15 m.
  • the pulse width (irradiation period) of the pulsed light 330 and 340 is preferably, for example, 10 ns to 50 ns, but is not limited thereto, and may be any appropriate period, for example, the irradiation period of the light source 120. May be in the range of 10 ns to 100 ns.
  • the power of the light source 120 can be concentrated only in the vicinity of the object 190.
  • the intensity of the signal reflected by the object 190 in fog or rain can be increased, and even if the object 190 is present at a farther distance, it can be detected.
  • the imaging of the object 190 can be made less susceptible to light from the light source 120 reflected by fog or rain.
  • FIG. 4 is a view showing a position where the light source 120 is attached to the host vehicle 210.
  • the light source 120 may also be used as the headlight 410 that emits visible light.
  • This structure is preferable because the headlight and the light source 120 can be shared, and the number of parts can be reduced.
  • the arrangement considers the synchronization of the control signals. Specifically, by taking into account the delay time until the control signal from the processor 150 arrives at the light source 120 and the delay time until the control signal from the processor 150 arrives at the sensor 130, an offset is given to the control time. Imaging within a consistent distance range becomes possible.
  • FIG. 5 is a view showing a position where the light source 120 is attached to the own vehicle 210.
  • the light source 120 may be provided separately from the headlight 410, for example. At this time, the light source 120 is mounted in the passenger compartment of the host vehicle 210.
  • the light source 120 may be integrated with the sensor 130. That is, the light source 120 and the sensor 130 are substantially mounted on one housing. In this case, since the delay time difference between the control signals of the light source 120 and the sensor 130 is small, there is an effect that the design becomes easy.
  • FIG. 6 is a diagram showing an irradiation region 600 that the light source 120 irradiates with diffused light.
  • the light source 120 irradiates the irradiation region 600 with diffuse light.
  • the irradiation region 600 has a one-to-one relationship with the imaging range.
  • FIG. 7 is a diagram showing an irradiation area 600 irradiated by a line scan of the light source 120.
  • the light source 120 covers the irradiation region 600 by scanning the stripe region 700 along the vertical direction in the horizontal direction. It is preferable that the irradiation region 600 has a one-to-one relationship with the imaging range.
  • the sensor 130 needs to image only the region corresponding to the stripe region 700 at the same time.
  • the entire area is covered by scanning the light source 120 by the angle of view that covers the imaging area within one frame.
  • the scanning by the stripe region 700 may cover the entire imaging region, or conversely, only a part of the imaging region may be covered.
  • the imaging region may be driven according to the width of the stripe region 700 of the light source 120 from the case corresponding to one line to the case corresponding to a plurality of lines. Line scanning can improve the signal-to-noise ratio (SNR).
  • SNR signal-to-noise ratio
  • FIG. 8 is a diagram showing an irradiation region 600 irradiated by a line scan of the light source 120.
  • the light source 120 covers the irradiation region 600 by scanning the stripe region 800 along the horizontal direction in the vertical direction. It is preferable that the irradiation region 600 has a one-to-one relationship with the imaging range.
  • the sensor 130 needs to image only the region corresponding to the stripe region 800 at the same time.
  • the entire area is covered by scanning the light source 120 by the angle of view that covers the imaging area within one frame.
  • the scanning by the stripe region 800 may cover the entire imaging region, or conversely, only a part of the imaging region may be covered.
  • the imaging region may be driven according to the width of the stripe region 800 of the light source 120 from the case corresponding to one line to the case corresponding to a plurality of lines.
  • the line scan can improve the SNR.
  • FIG. 9 is a diagram showing an irradiation region 600 irradiated by the point scan of the light source 120.
  • the light source 120 covers the irradiation region 930 by scanning a dotted light region at an angle ⁇ .
  • point scanning the light irradiation power from the light source 120 can be increased.
  • the object 190 can be imaged farther away.
  • point scanning with a two-dimensional MEMS mirror or the like, it is also possible to squeeze the scan area in the vertical and horizontal directions by the angle ⁇ obtained by radar reception. As a result, it is possible to image the object 190 necessary for the minimum area scan while suppressing the power of the light source 120.
  • an operation mode in which a close object is preferentially imaged and a distant object is not imaged can be set.
  • each of a plurality of objects can be clearly imaged by alternately imaging near and far objects for each frame.
  • the sensor 130 captures an image at 30 frames per second, for example.
  • FIG. 10 is a diagram illustrating imaging by the sensor 130 when there are a plurality of objects in the vicinity of the host vehicle 210.
  • Three vehicles 1010, 1020, and 1030 are traveling in the same direction in the vicinity of the host vehicle 210.
  • the vehicle 1010 is away from the host vehicle 210 by a distance 1012 and is at an angle 1014.
  • the vehicle 1020 is separated from the host vehicle 210 by a distance 1022 and is located in front of the host vehicle 210.
  • the vehicle 1030 is located at an angle 1034 away from the host vehicle 210 by a distance 1032.
  • Vehicles 1010, 1020, and 1030 are traveling in lanes 1016, 1026, and 1036, respectively.
  • the own vehicle 210 is traveling in the lane 1026. There is no vehicle in region 1008.
  • Vehicles 1010, 1020, and 1030 exist in areas 1018, 1028, and 1038, respectively.
  • the processor 150 When the radar 110 detects a plurality of vehicles 1010, 1020, and 1030, the processor 150 has distances 1012, 1022, and 1032, an angle 1014, an angle 0 ° (the vehicle 1020 exists in front of the host vehicle 210), Based on the angle 1032, the risk of collision for each of the vehicles 1010, 1020, and 1030 is obtained. For example, vehicles traveling in the same lane 1026 are determined to have a high degree of danger. In addition, the closer the distance is, the higher the risk is. Therefore, the vehicle 1010 is more dangerous than the vehicle 1030. If the degree of danger is determined based on the above rules, the magnitude relationship of the degree of danger of the vehicle 1020> the degree of danger of the vehicle 1010> the degree of danger of the vehicle 1030 is obtained.
  • the processor 150 controls the light emission of the light source 120 and the exposure timing of the sensor 130 so that two images of the plurality of vehicles 1010, 1020, and 1030 are acquired in different frames. To do. In the case of FIG. 10, the timing of light emission and exposure is controlled so that the images of the areas 1008, 1018, 1028, and 1038 are acquired in different frames. Thereby, a plurality of vehicles 1010, 1020, and 1030 can be clearly imaged using different frames.
  • the processor 150 controls exposure of the sensor 130 based on the position signal of the closest object. As a result, the vehicle with the highest degree of danger can be preferentially image processed.
  • only the farthest object can be removed from the imaging target according to the distance, and only the near object and the middle object can be imaged alternately. It is. For example, since the vehicle 1030 is farthest away, only the vehicles 1010 and 1020 may be imaged without imaging.
  • the object detection device 100 can be mounted on a moving body.
  • object detection device 100 is mounted on an automobile.
  • the light source 120 illuminates the interior of the moving body, and the sensor 130 is separated from the light source 120.
  • the signal intensity corresponding to the light from the object 190 can be improved by effectively using the same amount of light by driving the light source 120 in pulses.
  • offset noise background noise due to fog or rain can be reduced by pulse exposure of the sensor 130.

Abstract

霧や雨のような悪天候下において、より高い解像度の画像を取得できる物体検知装置を提供する。物体を検知する物体検知装置であって、物体に電波を照射して物体の位置を表す信号を発生するレーダーと、物体に光を照射する光源と、物体の画像を取得するセンサと、プロセッサと、を備え、プロセッサは、信号に基づいて光源が光を照射するタイミングと、センサの露光とを制御する。

Description

物体検知装置
 本開示は、物体検知装置に関する。
 レーダー及びカメラを備えた自動車が知られている。例えば、特許文献1において、レーダーは、自車の前を走行する車両との距離を測定し、カメラは、車線や道路端部を認識する。
特開平11-212640号公報
 物体検知装置では、どんな天候の時であっても、どのような物体かを区別して検知することが望まれる。具体的には、霧や雨のような悪天候下でも、物体の存在の確認だけでなく、どのような物が存在しているか区別して検知することが望まれる。
 この場合、ヘッドライトの光量増加などによるカメラの視認性を上げることによる物体認識の向上方法が考えられる。しかし単にヘッドライトの光量のみを上げると、本当に見たい被写体からの光量以外に、霧粒子の後方散乱による戻り光も増加し、見たい被写体が見えなくなる。この結果、物体の視認性が悪化してしまい、物体が何であるかを認識することができない。
 そこでレーダーのような雨、霧に強い検出器で物体検出をすることで、物体の検出率向上を実現することも考えられる。レーダーは、カメラに比べて大幅に低い解像度しか有しない。そのため、物体の存在を検知はできるが、物体が一体何であるかを区別して認識することができない。その結果、車などに応用する場合、車を停止させる必要のない物体にも過剰に停止または減速することが増え、快適な走行を妨げる結果につながる。
 本開示による物体検知装置は、上記課題を解決するためになされたものである。
 物体検知装置は、物体を検知する物体検知装置であって、前記物体に電波を照射して前記物体の位置を表す信号を発生するレーダーと、前記物体に光を照射する光源と、前記物体の画像を取得するセンサと、プロセッサと、を備え、前記プロセッサは、前記信号に基づいて前記光源が前記光を照射するタイミングと、前記センサの露光とを制御する。
 霧や雨のような悪天候下において、より高い解像度の画像を取得できる物体検知装置を提供する。
図1は、物体検知装置の構成を示す図である。 図2は、自車と物体との位置関係を示す図である。 図3は、レーダー、光源、及びセンサの動作を示すタイミングチャートである。 図4は、光源の自車への取り付け位置を示す図である。 図5は、光源の自車への取り付け位置を示す図である。 図6は、光源が拡散光によって照射する照射領域を示す図である。 図7は、光源のラインスキャンによって照射する照射領域を示す図である。 図8は、光源のラインスキャンによって照射する照射領域を示す図である。 図9は、光源のポイントスキャンによって照射する照射領域を示す図である。 図10は、自車の近傍に複数の物体があるときのセンサによる撮像を示す図である。
 以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施形態で示される、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態等は、一例であって本開示を限定する主旨ではない。よって、以下の実施形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 各図は、模式図であり、必ずしも厳密に図示されたものではない。各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。
 また、本明細書及び図面において、X軸、Y軸及びZ軸は、三次元直交座標系の三軸を表しており、本実施形態では、Z軸方向を鉛直方向とし、Z軸に垂直な方向(XY平面に平行な方向)を水平方向としている。X軸及びY軸は、互いに直交し、且つ、いずれもZ軸に直交する軸である。
 図1は、物体検知装置100の構成を示す図である。物体検知装置100は、レーダー110、光源120、センサ130、検知回路140、プロセッサ150、低周波除去回路160、及び検知回路170を備える。物体検知装置100は、例えば自動車に設置され、前方に存在する物体190を検知する。物体検知装置100が設置されている車両を自車と呼ぶ。
 物体190は、典型的には他の車両であるが、これには限定されない。物体190は、例えば歩行者、道路上の構造物等であってもよい。物体190は、物体検知装置100を備える自車と、物体190との位置関係によっては、障害物となり得る。この場合は、物体検知装置100の検知結果に基づいて、例えば自車の運転者に対する警告、自車のブレーキの作動を行い得る。
 レーダー110は、例えばミリ波レーダーである。レーダー110は、パルス状のミリ波を物体190に照射し、反射して戻ってくる電磁波を受け取る。レーダー110は、電磁波の照射及び受信の時刻を表す信号を検知回路140に出力する。プロセッサ150は、照射及び受信の時刻に基づいて、物体190との位置を表す信号を生成する。レーダー110が単一の方向だけに電磁波を照射する場合、この位置は、レーダー110に対する物体190の1次元的な位置、すなわちレーダー110及び物体190の距離に対応する。レーダー110の照射方向が水平面内で扇状に時間とともにスキャンされるときは、この位置は、レーダー110に対する物体190の2次元的な位置、すなわち水平面内におけるレーダー110に対する物体190の位置に対応する。
 光源120は、物体190にパルス光を照射する。光源120が照射する光の強度の時間変化は、矩形又は三角形であり得る。光源120は、例えばレーザ素子又はLED(発光ダイオード)であり得る。本明細書において、光源120は、レーザ光を発するレーザダイオードも含む。光源120は、典型的には可視光線を照射し、自車210のヘッドライトの光源を兼ねてもよい。光源120は、検知専用の光源として、近赤外光を照射してもよい。レーザ素子は高速な応答が可能なので、パルス光源として好ましい。光源120は、駆動能力の高い回路で駆動されるなら、LEDであってもよい。
 センサ130は、パルス光が照射されてから遅延期間が経過した後に、受光期間だけ受光し、物体190を撮像する。この遅延期間は、レーダー110及び物体190の距離に対応する。受光期間は、レーダー110から見た物体190の奥行き方向の長さに対応する。センサ130は、典型的には、撮像素子が2次元アレイ状に配列されたセンサである。センサ130のシャッターは、好ましくはグローバルシャッターであり、そのシャッター速度は比較的高速である。
 センサ130は、撮像した画像を低周波除去回路160に出力する。低周波除去回路160は、信号処理によってエンハンス画像を検知回路170に出力する。検知回路170は、物体を検知し、検知結果を出力する。
 図2は、自車210と物体190との位置関係を示す図である。センサ130で撮像したい物体190が、自車210からの距離がd1~d2である撮像範囲230にあるとする。このときプロセッサ150は、撮像範囲230からの光だけをセンサ130が受け取るように、センサ130のシャッターを制御する。
 図3は、レーダー110、光源120、及びセンサ130の動作を示すタイミングチャートである。図3において横軸は時間、縦軸は各構成要素の動作を表す。レーダー110がパルス状の電磁波310を発信して、遅延期間312の後に、物体190によって反射された電磁波320が受信される。光速をc、レーダー110及び物体190の距離をd1とすると、遅延期間312は2d1/cに等しい。レーダー110は、例えば100msの間隔でパルス状の電磁波310を発信するが、これには限定されず、任意の適切な間隔で電磁波を発信し得る。
 光源120は、パルス光330、340を物体190に周期的に照射する。パルス光330及び340の間隔(照射間隔ともいい、すなわち期間t1~t4)は、例えば10μsであるが、これには限定されず任意の適切な間隔であり得る。例えば光源120の照射間隔は、2μs~10μsの範囲にある。パルス光330及び340のパルス幅Wは、後述するように、撮像範囲230に依存して、適切に選択され得る。
 例えば1秒に30フレームの画像を撮像するなら、1フレームは、33.3msである。照射間隔10μsなら、1フレームにパルス光を1000回のオーダーで発することができる。センサ130は、多数回のパルス光の発光によって受け取られた光子を蓄積し、総和をとることで画像を形成できる。光子を累積する動作を実現するセンサ130のために用いられる素子として、例えばアバランシェフォトダイオードがある。
 パルス光330の前縁が時刻t1だとすると、センサ130のセンサは、時刻t2~t3の受光期間(t3-t2)だけ撮像する。時刻t1~t2の期間は、2d1/cに等しい。時刻t1~t3の期間は、2d2/cに等しい。よって撮像範囲230の自車210から見た奥行き(d2-d1)=(t3-t2)c/2とかける。すなわち受光期間(t3-t2)を適切に設定すれば、物体190にふさわしい撮像範囲230を得られる。典型的には受光期間(t3-t2)は、パルス光330及び340のパルス幅Wに等しい。プロセッサ150が光源120の発光及び受光をこのように制御すれば、センサ130は、撮像範囲230にある物体だけを選択的に撮像できる。パルス幅Wを例えば、物体190である自動車の奥行き方向の長さに設定すれば、悪天候下での霧や雨の撮像に対する影響を最小限に抑えることができる。
 パルス光330及び340のパルス幅(すなわち期間t2~t3)が、例えば10nsであるなら、撮像範囲230(すなわち(d2-d1)は、3mであり、これが被写界深度に相当する。パルス光330及び340のパルス幅(すなわち期間t2~t3)が、例えば50nsであるなら、撮像範囲230(すなわち(d2-d1)は、15mである。撮像範囲230に物体190として自動車が含まれることを想定すれば、パルス光330及び340のパルス幅(照射期間)は、例えば10ns~50nsであることが好ましいが、これには限定されず任意の適切な期間であり得る。例えば光源120の照射期間は、10ns~100nsの範囲にあってもよい。
 上記構造によれば、光源120の光源のパワーを物体190の近傍にだけ集中させることができる。霧や雨の中にある物体190が反射する信号の強度を上げることができ、物体190がより遠方に存在しても検知できる。物体190の撮像が、霧や雨によって反射された光源120からの光の影響を受けにくくできる。
 図4は、光源120の自車210への取り付け位置を示す図である。光源120は、例えば、可視光を照射するヘッドライト410と兼用してもよい。この構造では、ヘッドライトと光源120とを共通化できるので、部品点数の削減ができ、好ましい。この場合、光源120の位置とセンサ130の位置とが異なるので、制御信号の同期を考慮した配置とすることが好ましい。具体的にはプロセッサ150から光源120への制御信号が到達するまでの遅延時間、プロセッサ150からセンサ130への制御信号が到達するまでの遅延時間などを考慮し、制御時間にオフセットを与えることで矛盾のない距離範囲の撮像が可能になる。
 図5は、光源120の自車210への取り付け位置を示す図である。光源120は、例えば、ヘッドライト410とは別個に設けられてもよい。このとき光源120は、自車210の車室内に取り付けられる。加えて光源120は、センサ130と一体化されてもよい。すなわち光源120及びセンサ130は、実質的に一つの筐体に実装されている。この場合、光源120及びセンサ130のそれぞれの制御信号の遅延時間差は少ないので、設計が容易になるという効果がある。
 図6は、光源120が拡散光によって照射する照射領域600を示す図である。光源120は、拡散光によって照射領域600を照射する。照射領域600は、撮像範囲と1対1であることが好ましい。例えば光源120の前にレンズ光学系を配置し、センサ130の撮像画角に合わせた照射を行うことが好ましい。拡散光によって同時に照射領域600を撮像できるので、光源120にはスキャン機構を設ける必要がない。
 図7は、光源120のラインスキャンによって照射する照射領域600を示す図である。光源120は、垂直方向に沿ったストライプ領域700を水平方向にスキャンすることで照射領域600をカバーする。照射領域600は、撮像範囲と1対1であることが好ましい。センサ130は、ストライプ領域700に対応する領域だけを同時に撮像すればよい。1フレーム内で撮像領域をカバーする画角分だけ光源120をスキャンしていくことで全領域をカバーする。ストライプ領域700によるスキャンは、撮像領域全体をカバーしてもよく、逆に撮像領域のうちの一部だけをカバーしてもよい。撮像領域では1ラインに対応する場合から複数ラインに対応する場合まで、光源120のストライプ領域700の幅に合わせて駆動すればよい。ラインスキャンによれば、信号対ノイズ比(SNR)を改善し得る。
 図8は、光源120のラインスキャンによって照射する照射領域600を示す図である。光源120は、水平方向に沿ったストライプ領域800を垂直方向にスキャンすることで照射領域600をカバーする。照射領域600は、撮像範囲と1対1であることが好ましい。センサ130は、ストライプ領域800に対応する領域だけを同時に撮像すればよい。1フレーム内で撮像領域をカバーする画角分だけ光源120をスキャンしていくことで全領域をカバーする。ストライプ領域800によるスキャンは、撮像領域全体をカバーしてもよく、逆に撮像領域のうちの一部だけをカバーしてもよい。撮像領域では1ラインに対応する場合から複数ラインに対応する場合まで、光源120のストライプ領域800の幅に合わせて駆動すればよい。ラインスキャンによれば、SNRを改善し得る。
 図9は、光源120のポイントスキャンによって照射する照射領域600を示す図である。光源120は、点状の光の領域を角度θでスキャンすることで照射領域930をカバーする。ポイントスキャンを利用することで、光源120による光照射パワーを大きくすることができる。これにより昼間であっても、より遠方まで物体190の撮像をすることが可能になる。また、2次元MEMSミラーなどでポイントスキャンをすることで、レーダー受信で得られた角度θだけ縦横方向にスキャン領域を絞り撮像することも可能である。これにより、光源120のパワーを抑えながら極小の領域スキャンで必要な物体190の撮像が可能になる。
 以上の実施形態において、距離の異なる2つの物体がレーダー110によって検知された場合、例えば、近い物体を優先的に撮像し、遠い物体は撮像しない動作モードにすることもできる。また、近い物体と遠い物体とをフレーム毎に交互に撮像することで、複数の物体のそれぞれを鮮明に撮像することもできる。ここでセンサ130は、例えば30フレーム毎秒で撮像する。
 図10は、自車210の近傍に複数の物体があるときのセンサ130による撮像を示す図である。自車210の近傍において3台の車両1010、1020、及び1030が同じ方向に走行中である。車両1010は、自車210に対して、距離1012だけ離れ、角度1014を成す位置にある。車両1020は、自車210に対して、距離1022だけ離れ、自車210の正面の位置にある。車両1030は、自車210に対して、距離1032だけ離れ、角度1034を成す位置にある。車両1010、1020、及び1030は、それぞれ車線1016、1026、及び1036内を走行している。自車210は、車線1026内を走行している。領域1008には車両が存在しない。領域1018、1028、及び1038には、車両1010、1020、及び1030がそれぞれ存在する。
 プロセッサ150は、自車210及び車両の距離と、自車210の前方方向に対する車両の角度とに基づいて、車両が自車210と同じ車線に存在するかを判断する。例えば、距離1012が10mであり、角度1014が20度なら、10m×sin 20°=3.4mなので車両1010は、同じ車線210ではなく、隣の車線1016に存在すると判断する。
 プロセッサ150は、レーダー110が複数の車両1010、1020、及び1030を検知した場合、距離1012、1022、及び1032と、角度1014、角度0°(車両1020は自車210の前方に存在する)、角度1032とに基づいて、車両1010、1020、及び1030のそれぞれについての衝突の危険度を求める。例えば、同じ車線1026を走る車両は、危険度が高いと判断される。加えて距離が近いほど危険度は高いと判断される。よって車両1010は、車両1030よりも危険度が高い。以上のルールに基づいて危険度を判断すれば、車両1020の危険度>車両1010の危険度>車両1030の危険度という大小関係が得られる。
 プロセッサ150は、得られた危険度に基づいて、複数の車両1010、1020、及び1030のうちの2つの画像が異なるフレームにおいて取得されるよう光源120の発光、及びセンサ130の露光のタイミングを制御する。図10の場合、領域1008、1018、1028、及び1038の画像が異なるフレームにおいて取得されるよう発光及び露光のタイミングを制御する。これにより複数の車両1010、1020、及び1030を異なるフレームを使い、それぞれクリアに撮像できる。
 ある実施形態では、プロセッサ150は、レーダー110が複数の物体を検知した場合、最も近い物体の位置信号に基づいてセンサ130の露光を制御する。これにより最も危険度が高い車両を優先して画像処理できる。
 またある実施形態では、距離の異なる3台以上の被写体を検知した場合、例えば、距離に応じて最遠方の物体だけは撮像対象から外し手前と中間の物体だけ交互に撮像したりすることも可能である。例えば車両1030は、最も遠くにあるので撮像せずに、車両1010及び1020だけを撮像してもよい。
 物体検知装置100は、移動体に搭載され得る。好ましくは物体検知装置100は、自動車に搭載される。ある実施形態では、光源120は、移動体の内部を照らし、センサ130は、光源120と分離されている。
 上述のさまざまな実施形態によれば、光源120をパルス駆動することによって、同一光量を有効に使って物体190からの光に対応する信号強度を改善できる。加えてセンサ130のパルス露光によって、霧や雨によるオフセットノイズ(背景ノイズ)を低減できる。
 本発明の趣旨を逸脱しない範囲で、上述の複数の実施形態における各要素(または行為)を任意に組み合わせてもよい。
 上に説明されてきたものには、本発明のさまざまな例が含まれる。本発明を記載する目的では、要素や手順の考えられるあらゆる組み合わせを記載することは当然のことながら不可能であるが、当業者なら本発明の多くのさらなる組み合わせおよび順列が可能であることがわかるだろう。したがって本発明は、特許請求の範囲の精神および範囲に入るそのような改変、変更および変形例を全て含むよう意図される。
100 物体検知装置
110 レーダー
120 光源
130 センサ
140 検知回路
150 プロセッサ
160 低周波除去回路
170 検知回路

Claims (11)

  1.  物体を検知する物体検知装置であって、
     前記物体に電波を照射して前記物体の位置を表す信号を発生するレーダーと、
     前記物体に光を照射する光源と、
     前記物体の画像を取得するセンサと、
     プロセッサと、
    を備え、
     前記プロセッサは、前記信号に基づいて前記光源が前記光を照射するタイミングと、前記センサの露光とを制御する
    物体検知装置。
  2.  前記プロセッサは、前記レーダーが複数の物体を検知した場合、最も近い物体の前記信号に基づいて前記センサの露光を制御する
    請求項1に記載の物体検知装置。
  3.  前記信号は、前記レーダー及び前記物体の距離と、前記レーダーに対する前記物体の角度とを表し、
     前記プロセッサは、前記レーダーが複数の物体を検知した場合、前記距離と、前記角度とに基づいて、前記複数の物体についての衝突の危険度を求め、
     前記プロセッサは、前記危険度に基づいて、前記複数の物体のうちの2つの画像が異なるフレームにおいて取得されるよう前記タイミングと前記露光とを制御する
    請求項1に記載の物体検知装置。
  4.  前記センサと前記光源とは、実質的に一つの筐体に実装されている
    請求項1に記載の物体検知装置。
  5.  前記光源は、拡散光を照射する
    請求項1に記載の物体検知装置。
  6.  前記光源は、線状の光を一定のタイミングに基づいて線の垂直方向に走査し、
     前記センサは、前記垂直方向に走査する
    請求項1に記載の物体検知装置。
  7.  前記光源は、点状の光を一定のタイミングに基づいて特定の領域を走査し、
     センサは、前記領域だけを撮像する
    請求項1に記載の物体検知装置。
  8.  前記物体検知装置は、移動体に搭載されている
    請求項1に記載の物体検知装置。
  9.  前記光源は、前記移動体の内部を照らし、
     前記センサは、前記光源と分離されている
    請求項1に記載の物体検知装置。
  10.  前記光源の照射期間は、10ns~100nsの範囲にある
    請求項1に記載の物体検知装置。
  11.  前記光源の照射間隔は、2μs~10μsの範囲にある
    請求項1に記載の物体検知装置。
PCT/JP2018/041358 2018-03-02 2018-11-07 物体検知装置 WO2019167350A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/977,322 US20210055406A1 (en) 2018-03-02 2018-11-07 Object sensing device
JP2020502801A JPWO2019167350A1 (ja) 2018-03-02 2018-11-07 物体検知装置
CN201880090650.6A CN111801593A (zh) 2018-03-02 2018-11-07 物体检测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018037087 2018-03-02
JP2018-037087 2018-03-02

Publications (1)

Publication Number Publication Date
WO2019167350A1 true WO2019167350A1 (ja) 2019-09-06

Family

ID=67808832

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/041358 WO2019167350A1 (ja) 2018-03-02 2018-11-07 物体検知装置

Country Status (4)

Country Link
US (1) US20210055406A1 (ja)
JP (1) JPWO2019167350A1 (ja)
CN (1) CN111801593A (ja)
WO (1) WO2019167350A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060397A1 (ja) * 2019-09-26 2021-04-01 株式会社小糸製作所 ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
WO2021241101A1 (ja) * 2020-05-27 2021-12-02 パナソニックIpマネジメント株式会社 計測装置、計測装置の制御方法、およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110609274B (zh) * 2018-06-15 2022-07-01 杭州海康威视数字技术股份有限公司 一种测距方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920412A (en) * 1988-12-22 1990-04-24 Sperry Marine Inc. Atmospheric obscurant penetrating target observation system with range gating
JP2012093256A (ja) * 2010-10-27 2012-05-17 Mitsubishi Electric Corp レーザ画像計測装置
JP2013195245A (ja) * 2012-03-19 2013-09-30 Fujitsu Ten Ltd レーダ装置
WO2017110413A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US20170234976A1 (en) * 2014-10-27 2017-08-17 Brightway Vision Ltd. High Dynamic Range Imaging of Environment with a High Intensity Reflecting/Transmitting Source

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7418346B2 (en) * 1997-10-22 2008-08-26 Intelligent Technologies International, Inc. Collision avoidance methods and systems
JP4308381B2 (ja) * 1999-09-29 2009-08-05 富士通テン株式会社 周辺監視センサ
US6806826B2 (en) * 2002-01-17 2004-10-19 The Ohio State University Vehicle obstacle warning radar
US8818703B2 (en) * 2009-01-29 2014-08-26 Toyota Jidosha Kabushiki Kaisha Object recognition device and object recognition method
CA2931055C (en) * 2013-11-22 2022-07-12 Ottomotto Llc Lidar scanner calibration
CN104991255A (zh) * 2015-06-26 2015-10-21 郎一宁 一种基于目视原理的多点激光测距雷达
JP6250080B2 (ja) * 2016-02-25 2017-12-20 三菱重工業株式会社 レーザレーダ装置及び走行体
JP2018006860A (ja) * 2016-06-28 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 受信装置、受信方法、送信装置、送信方法、および通信システム
CN106707295B (zh) * 2017-01-03 2019-05-17 中国科学院上海光学精密机械研究所 基于时间关联的三维成像装置和成像方法
US10754033B2 (en) * 2017-06-30 2020-08-25 Waymo Llc Light detection and ranging (LIDAR) device range aliasing resilience by multiple hypotheses
KR102058050B1 (ko) * 2017-08-16 2019-12-20 엘지전자 주식회사 운행 보조 시스템 및 차량

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920412A (en) * 1988-12-22 1990-04-24 Sperry Marine Inc. Atmospheric obscurant penetrating target observation system with range gating
JP2012093256A (ja) * 2010-10-27 2012-05-17 Mitsubishi Electric Corp レーザ画像計測装置
JP2013195245A (ja) * 2012-03-19 2013-09-30 Fujitsu Ten Ltd レーダ装置
US20170234976A1 (en) * 2014-10-27 2017-08-17 Brightway Vision Ltd. High Dynamic Range Imaging of Environment with a High Intensity Reflecting/Transmitting Source
WO2017110413A1 (ja) * 2015-12-21 2017-06-29 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021060397A1 (ja) * 2019-09-26 2021-04-01 株式会社小糸製作所 ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法
WO2021241101A1 (ja) * 2020-05-27 2021-12-02 パナソニックIpマネジメント株式会社 計測装置、計測装置の制御方法、およびプログラム

Also Published As

Publication number Publication date
JPWO2019167350A1 (ja) 2021-02-25
CN111801593A (zh) 2020-10-20
US20210055406A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
US9618622B2 (en) Optical object-detection device having a MEMS and motor vehicle having such a detection device
US6265968B1 (en) Vehicle with object detection device
EP2808700B1 (en) Drive assist device, and vehicle using drive assist device
JP6471528B2 (ja) 物体認識装置、物体認識方法
WO2019167350A1 (ja) 物体検知装置
US9784839B2 (en) Automotive lighting device and a vehicle having the same
US20120008129A1 (en) Object detection system
KR101997095B1 (ko) 수평 분해능 및 영상획득 프레임이 제어되는 스캐닝 라이다
JP6726673B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP5632352B2 (ja) 物体検知装置
JP6413470B2 (ja) 車載レーダ装置
CN109476285B (zh) 利用光学传感器感应车辆位置
JP2017040546A (ja) 物体検出装置
JP2010127835A (ja) レーダ装置
CN101031818A (zh) 用于测量停车空位以及监测环境的车辆用红外传感器
JP2016205962A (ja) 測距装置
JP5556317B2 (ja) 物体認識装置
WO2019164959A1 (en) Time-resolved contrast imaging for lidar
KR20190071998A (ko) 차량용 라이다 장치
KR102202195B1 (ko) 광학 검출 기구를 위한 수신 장치, 검출 기구 및 운전자 지원 시스템
JP2004271404A (ja) 車両用障害物検出装置
JP4033036B2 (ja) 車間距離検出装置
US20230266442A1 (en) Transmission device of an optical detection device, detection device, vehicle, and method
JP2006258507A (ja) 前方物体認識装置
US20220357457A1 (en) Optical measurement apparatus for determining object information of objects in at least one monitoring region

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18908162

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020502801

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18908162

Country of ref document: EP

Kind code of ref document: A1