WO2020218498A1 - センシングシステムおよび車両 - Google Patents

センシングシステムおよび車両 Download PDF

Info

Publication number
WO2020218498A1
WO2020218498A1 PCT/JP2020/017671 JP2020017671W WO2020218498A1 WO 2020218498 A1 WO2020218498 A1 WO 2020218498A1 JP 2020017671 W JP2020017671 W JP 2020017671W WO 2020218498 A1 WO2020218498 A1 WO 2020218498A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
vehicle
sensing system
pedestrian
camera
Prior art date
Application number
PCT/JP2020/017671
Other languages
English (en)
French (fr)
Inventor
杉本 篤
直樹 多々良
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to JP2021516255A priority Critical patent/JP7399158B2/ja
Priority to CN202080029920.XA priority patent/CN113711286A/zh
Publication of WO2020218498A1 publication Critical patent/WO2020218498A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/52Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating emergencies
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/543Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other states or conditions of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50Projected symbol or information, e.g. onto the road or car body

Definitions

  • the present invention relates to an in-vehicle sensing system.
  • a sensing system that senses the position and type of objects around the vehicle is used for automatic driving and automatic control of the light distribution of headlamps.
  • the sensing system includes a sensor and an arithmetic processing unit that analyzes the output of the sensor.
  • the application required accuracy and cost are considered from among visible light cameras, infrared cameras, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), ToF cameras, millimeter wave radars, ultrasonic sonars, etc. was selected.
  • LiDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • ToF ToF
  • millimeter wave radars ultrasonic sonars, etc.
  • the type of the object (automobile, pedestrian), etc. is determined, and the possibility of collision is calculated.
  • the orientation of the objects and the distance to the objects vary. For example, when the distance to an object is long, the image of the object in the image becomes very small, and it becomes difficult to distinguish it. Moreover, it is difficult to judge from the image in which direction the object is moving. Also, if the object is in the blind spot of the sensor, it cannot be detected.
  • the present invention has been made in such a situation, and one of the exemplary purposes of the present invention is to provide a new type of sensing system different from the conventional one.
  • One aspect of the present invention is a lighting device that draws a first pattern extending in the traveling direction of the own vehicle on the road surface, a camera, and a first pattern and other traffic participants that are reflected in the image of the camera. It is provided with an arithmetic processing device that detects the state of the own vehicle and other traffic participants based on the two patterns.
  • FIG. 8A is a diagram showing a pattern drawn in relation to a pedestrian
  • FIG. 8B is a diagram illustrating detection of a pedestrian by an in-vehicle system.
  • 9 (a) to 9 (d) are diagrams showing a modified example of the pattern. It is a figure which shows the pattern which informs the existence of an obstacle. It is a figure which shows the sensing system which concerns on the modification 3.
  • One embodiment disclosed herein relates to an in-vehicle sensing system.
  • the sensing system uses a lighting device that draws a first pattern that extends in the direction of travel of the vehicle on the road surface, a camera, a first pattern that is reflected in the image of the camera, and a second pattern that is drawn on the road surface by other traffic participants. Therefore, it is provided with an arithmetic processing device that detects the state of the own vehicle and other traffic participants.
  • the main subject of the camera is a pattern drawn on the road surface by other traffic participants, not by other traffic participants, and the pattern drawn by the object on the road surface is photographed, not the image of the object itself. Then, the state of the own vehicle and the object can be detected based on the geometrical relationship between the pattern drawn by the own vehicle and the pattern drawn by other traffic participants. Since the analysis of the object image is unnecessary, the resolution of the camera may be low, and the sensitivity of the camera may be low because the pattern drawn on the road surface, that is, the light may be detected.
  • the arithmetic processing unit may detect the intersection of the first pattern and the second pattern. There is an advantage that the detection of two intersections can be performed by extremely simple image processing.
  • the other traffic participant is a vehicle
  • the second pattern may be drawn so as to extend in the direction of travel of the other traffic participant.
  • the other traffic participants are pedestrians, and the second pattern may include at least part of the virtual line surrounding the pedestrian.
  • the first pattern and the second pattern intersect, it can be estimated that there is a pedestrian in the traveling direction of the own vehicle, and that there is a possibility of collision.
  • the second pattern around the pedestrian may be drawn by a lighting device provided in the transportation infrastructure. Alternatively, it may be drawn by a lighting device carried by a pedestrian.
  • the first pattern may be drawn by an infrared beam. In this case, it is possible to sense vehicles without causing trouble to pedestrians and drivers.
  • the first pattern may be drawn by a beam of visible light.
  • a beam of visible light there is a secondary effect that the traveling direction of the own vehicle can be clearly indicated to pedestrians and the like.
  • the first pattern may include information on the distance from the own vehicle.
  • a memory may be attached to the first pattern, or the pattern may be divided into a plurality of parts, and the wavelength of each part may be determined by the distance from the own vehicle.
  • the first pattern may include speed information of the own vehicle.
  • the wavelength of the first pattern may be changed depending on the speed, the vehicle speed information may be mounted by modulating the first pattern, or the speed information may be reflected in the length of the first pattern.
  • the lighting device may draw a third pattern around the pedestrian.
  • the lighting device of the vehicle that detected the pedestrian draws instead, and another vehicle detects the pedestrian. It will be easier.
  • FIG. 1 is a block diagram of the sensing system 100 according to the embodiment.
  • the sensing system 100 is mounted on the vehicle 200.
  • the sensing system 100 includes a lighting device 110, a camera 120, and an arithmetic processing unit 130.
  • the lighting device 110 draws a pattern PTN extending in the traveling direction of the own vehicle 200 on the road surface 2.
  • the lighting device 110 may be built in the headlamp 210.
  • the lighting device 110 includes two light sources built in the left and right headlamps 210, and the pattern PTN may be formed by two beams generated by the two light sources.
  • the pattern PTN is shown by a simple rectangle, but the shape is not particularly limited.
  • the camera 120 mainly captures the road surface 2 in front of the vehicle.
  • the camera 120 has sensitivity to the pattern PTN drawn by the lighting device 110.
  • the color (wavelength) of the beam emitted by the illumination device 110, that is, the pattern PTN is not particularly limited, and may be captured by the camera 120.
  • the pattern PTN may be drawn by an infrared beam. In this case, since the pedestrian or the driver cannot visually recognize the pattern PTN, it is possible to sense the vehicles with each other without causing any inconvenience.
  • the pattern PTN may be drawn by a beam of visible light.
  • the traveling direction of the own vehicle can be clearly indicated to pedestrians and the like.
  • the installation location of the camera 120 is not particularly limited, and as shown in FIG. 1, it may be behind the rearview mirror, the front grill, or the front bumper. Alternatively, the camera 120 may be housed in the headlamp 210 together with the lighting device 110.
  • the image IMG of the camera 120 includes a pattern PTN drawn by the lighting device 110 of the own vehicle and other traffic participants (not only vehicles and pedestrians, but also traffic infrastructure such as traffic lights, walls, buildings, obstacles, etc.). ) Is drawn on the road surface 2 (not shown in FIG. 1).
  • the arithmetic processing unit 130 receives the image IMG of the camera 120 and detects the state of the own vehicle and other traffic participants based on the pattern PTN reflected in the image.
  • a transportation system or a transportation society is formed by a vehicle equipped with the sensing system 100.
  • many vehicles are equipped with the sensing system 100 shown in FIG.
  • sensing by the sensing system 100 will be described with reference to some scenes.
  • FIG. 2 is a diagram illustrating an exemplary driving scene.
  • the same sensing system 100 is mounted on the vehicle 201 and the vehicle 202, and the vehicles 201 and 202 draw patterns PTN1 and PTN2 extending in the traveling direction on the road surface.
  • FIG. 3 is a diagram showing an image IMG1 taken by the camera 120 of the vehicle 201 in the scene of FIG. In this image IMG1, the pattern PTN1 irradiated by the own vehicle 201 and the pattern PTN2 irradiated by the other vehicle 202 are shown.
  • the arithmetic processing unit 130 can easily extract only the patterns PTN1 and PTN2 drawn on the road surface by the own vehicle and other traffic participants by image processing. Then, the presence of the invisible vehicle 202 can be detected based on the pattern PTN2. Further, since this pattern PTN2 extends in the traveling direction, it can be estimated that the vehicle 202 is traveling from right to left in the figure. Further, the arithmetic processing unit 130 determines whether or not the plurality of patterns PTN1 and PTN2 intersect. In this example, two patterns PTN1 and PTN2 intersect. The intersection of patterns PTN1 and PTN2 can be detected by extremely simple image processing.
  • the own vehicle 201 and another traffic participant proceed toward the same point (intersection of the two patterns) P1, and there is a possibility of a collision. Can be estimated.
  • the arithmetic processing unit 130 can notify the driver and prompt an avoidance action.
  • a vehicle equipped with the sensing system 100 is equipped with an automatic driving system, it is possible to control at least one of steering, accelerator, and brake according to the output of the sensing system 100, and to steer, accelerate, decelerate, stop, and the like. Become.
  • the image viewed from the vehicle 201 has been described, but the same processing is performed on the other vehicle 202 as well.
  • the camera 120 of the sensing system 100 of the vehicle 202 generates an image including the pattern PTN2 formed by the own vehicle 202 and the pattern PTN1 formed by the other vehicle 201 orthogonal to the pattern PTN2.
  • the sensing system 100 of the vehicle 202 can estimate that the vehicle 201 is traveling from the left side to the right side when viewed from the own vehicle.
  • the lighting device 110 may put the distance information on the pattern PTN.
  • 4 (a) and 4 (b) are diagrams for explaining a pattern PTN including distance information.
  • the pattern PTN of FIG. 4A has spaces at predetermined intervals.
  • the pattern of FIG. 4B has a different wavelength (color) depending on the distance from the own vehicle. In this example, the wavelength is shorter toward the front side, but vice versa.
  • the lighting device 110 may put speed information on the pattern PTN.
  • 5 (a) to 5 (c) are diagrams showing a pattern PTN including velocity information.
  • the length of the pattern PTN correlates with the velocity.
  • the width of the pattern PTN correlates with the velocity.
  • the blinking frequency of the pattern PTN correlates with the speed.
  • the wavelength (color) of the pattern PTN may be changed according to the vehicle speed.
  • the following effects can be obtained by putting both distance and vehicle speed information on the pattern PTN. That is, from the image of FIG. 3, the distance between the own vehicle 201 and the point P1 can be obtained from the pattern PTN1, and the speed of the own vehicle can be obtained from the vehicle system. Further, the distance between the other vehicle 202 and the point P1 and the speed of the other vehicle 202 can be obtained from the pattern PTN2. Therefore, the time required for the other vehicle 202 to arrive at the point P1 can be calculated, and the time required for the own vehicle 201 to arrive at the point P1 can also be calculated. Therefore, it is possible to determine the possibility of collision based on these times, and to control the urgency of the brake and the strength of the brake.
  • FIG. 6 is a diagram illustrating another driving scene. Vehicle 201 and vehicle 202 are traveling in opposite lanes in opposite directions.
  • FIG. 7 is a diagram showing an image IMG1 taken by the camera 120 of the vehicle 201 in the scene of FIG.
  • This image IMG1 also shows the pattern PTN1 irradiated by the own vehicle 201 and the pattern PTN2 irradiated by the other vehicle 202.
  • the arithmetic processing unit 130 can detect the presence of the oncoming vehicle 202 based on the pattern PTN2. It should be noted that the image of the oncoming vehicle 202 itself is not used for this detection. In other words, the oncoming vehicle 202 can be indirectly detected based on the pattern PTN2 drawn on the road surface without photographing the oncoming vehicle 202.
  • the arithmetic processing unit 130 can determine that the possibility of collision is low.
  • FIG. 8A is a diagram showing a pattern PTN3 drawn in relation to the pedestrian 300.
  • the speed of a pedestrian is sufficiently low compared to the speed of a car, and drawing a pattern in the direction of travel of a pedestrian does not make much sense. Rather, it should be prioritized to inform vehicles in all directions, not just in front of pedestrians.
  • the pattern PTN3 relating to the pedestrian 300 is drawn on the road surface so as to surround the pedestrian 300.
  • the pattern PTN3 may be circular or polygonal.
  • the pattern PTN3 may be drawn by a dedicated lighting device 140 carried by the pedestrian himself. It should be noted that this pattern PTN3 does not necessarily have to surround the pedestrian 300, and may include at least a part of the virtual line surrounding the pedestrian 300.
  • a camera for detecting pedestrians and a lighting device for drawing a pattern PTN3 indicating pedestrians may be installed in a traffic infrastructure such as a traffic light.
  • FIG. 8B is a diagram illustrating detection of the pedestrian 300 by the in-vehicle system 100.
  • the sensing system 100 mounted on the vehicle 200 can indirectly detect the presence of the pedestrian 300 by detecting the pattern PTN3 having a predetermined shape and a predetermined color (wavelength). Further, the arithmetic processing unit 130 can detect that the pedestrian 300 is located in the traveling direction of the own vehicle based on the positional relationship between the pattern PTN1 and the pattern PTN3. Further, the arithmetic processing unit 130 can determine the possibility of collision with a pedestrian by determining whether or not the patterns PTN1 and PTN3 intersect.
  • the pattern drawn by the lighting device 110 is a rectangle, but this is not the case.
  • 9 (a) to 9 (d) are diagrams showing a modified example of the pattern PTN.
  • the pattern PTN may be elliptical. Alternatively, it may be trapezoidal as shown in FIG. 9B, or it may be triangular.
  • the width may be wider toward the front.
  • the pattern PTN may be divided into a plurality of portions.
  • the pattern PTN in FIG. 9D is divided into two left and right so as to indicate the vehicle width.
  • the left portion may be drawn by the light source built in the left lamp
  • the right portion may be drawn by the light source built in the right lamp.
  • the pattern PTN may differ depending on the vehicle type (passenger car, truck, motorcycle, motorbike, etc.), vehicle class, body size, displacement, and the like.
  • FIG. 10 is a diagram showing a pattern PTN4 indicating the presence of an obstacle.
  • a triangular stop plate triangular display plate
  • a smoke bomb are used for the malfunctioning vehicle 220 to notify the following vehicle of its existence.
  • a lighting device 150 that draws a pattern PTN4 having a predetermined shape and color on the road surface can be used.
  • This lighting device 150 can be used in various scenes other than notifying the existence of a broken vehicle. For example, at a construction site, if one lane is closed, lighting 150 can be used to indicate that.
  • FIG. 11 is a diagram showing a sensing system 100A according to the third modification.
  • the sensing system 100A further includes a lighting device 160 that draws a pattern PTN5 on the road surface behind the preceding vehicle 240.
  • This pattern PTN5 extends perpendicular to the traveling direction.
  • the following vehicle can determine that there is a possibility of a rear-end collision when the pattern PTN irradiated forward intersects with the pattern PTN 5 of the preceding vehicle 240.
  • the lighting device mounted on another vehicle may draw the pattern PTN3 relating to the pedestrian 300 shown in FIG. 8A.
  • the sensing system 100 may cause the lighting device 110 to draw a pattern PNT3 surrounding the pedestrian 300.
  • the lighting device of the vehicle that detects the pedestrian draws the pattern PTN3 instead. Vehicles can easily detect the pedestrian.
  • the present invention relates to an in-vehicle sensing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)

Abstract

センシングシステム100は、照明装置110、カメラ120、演算処理装置130を備える。照明装置110は、路面2に自車200の進行方向に伸びるパターンPTNを描画する。カメラ120は、車両前方の路面を撮影する。演算処理装置130は、カメラ120の画像IMGに写る、照明装置110が描画したパターンPTNと他の交通参加者が路面2に描画したパターンにもとづいて、自車と他の交通参加者の状態を検出する。

Description

センシングシステムおよび車両
 本発明は、車載用のセンシングシステムに関する。
 自動運転やヘッドランプの配光の自動制御のために、車両の周囲に存在する物体の位置および種類をセンシングするセンシングシステムが利用される。センシングシステムは、センサと、センサの出力を解析する演算処理装置を含む。
特開2016-030527号公報
 従来、センサとしては、可視光カメラ、赤外線カメラ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ToFカメラやミリ波レーダ、超音波ソナーなどの中から、用途、要求精度やコストを考慮して選択されていた。
 そして、センサの出力画像に写っている物体の形状等にもとづいて、物体の種類(自動車、歩行者)などを判定し、衝突の可能性などを計算する。しかしながら、物体の種類は非常に多く、また物体の向きや物体までの距離はさまざまである。たとえば物体までの距離が遠い場合、画像に写る物体の像は非常に小さくなり、それを判別することは難しくなる。また物体がどの方向に移動しているのかを画像から判断することは難しい。また、物体がセンサの死角に存在する場合、検出することができない。
 本発明はこうした状況においてなされたものであり、そのある態様の例示的な目的のひとつは、従来と異なる新規な方式のセンシングシステムの提供にある。
 本発明のある態様は、路面に自車の進行方向に伸びる第1パターンを描画する照明装置と、カメラと、カメラの画像に写る、第1パターンと他の交通参加者が路面に描画した第2パターンにもとづいて、自車と他の交通参加者の状態を検出する演算処理装置と、を備える。
 なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム等の間で変換したものもまた、本発明の態様として有効である。
 本発明によれば、従来と異なる新規な方式のセンシングシステムの提供できる。
実施の形態に係るセンシングシステムのブロック図である。 例示的な走行シーンを説明する図である。 図2のシーンにおいて車両のカメラが撮影する画像を示す図である。 図4(a)、(b)は、距離情報を含むパターンを説明する図である。 図5(a)~(c)は、速度情報を含むパターンを示す図である。 別の走行シーンを説明する図である。 図6のシーンにおいて車両のカメラが撮影する画像を示す図である。 図8(a)は、歩行者に関連して描画されるパターンを示す図であり、図8(b)は、車載のシステムによる歩行者の検知を説明する図である。 図9(a)~(d)は、パターンの変形例を示す図である。 障害物の存在を知らせるパターンを示す図である。 変形例3に係るセンシングシステムを示す図である。
(実施の形態の概要)
 本明細書に開示される一実施の形態は、車載用のセンシングシステムに関する。センシングシステムは、路面に自車の進行方向に伸びる第1パターンを描画する照明装置と、カメラと、カメラの画像に写る、第1パターンと他の交通参加者が路面に描画した第2パターンにもとづいて、自車と他の交通参加者の状態を検出する演算処理装置と、を備える。
 カメラの主たる被写体は、他の交通参加者ではなく、他の交通参加者によって路面に描画されたパターンであり、物体の像そのものでなく、その物体が路面に描画したパターンが撮影される。そして、自車が描画したパターンと他の交通参加者が描画したパターンの幾何学的な関係にもとづいて、自車と物体の状態を検出することができる。物体像の解析が不要であるため、カメラの解像度は低くてもよく、また路面に描画されたパターン、すなわち光を検出すればよいため、カメラの感度も低くてよい。
 演算処理装置は、第1パターンと第2パターンの交差を検出してもよい。2つの交差の検出は、極めて簡単な画像処理によって行うことができるという利点がある。
 他の交通参加者は車両であり、第2パターンは、他の交通参加者の進行方向に伸びるように描画されてもよい。第1パターンと第2パターンが交差する場合、自車と他の交通参加者が同じ地点(すなわち2つのパターンの交点)に向かって進行すること、ひいては衝突の可能性があることを推定できる。
 他の交通参加者は歩行者であり、第2パターンは、歩行者を取り囲む仮想ラインの少なくとも一部を含んでもよい。第1パターンと第2パターンが交差する場合、自車の進行方向に歩行者が存在すること、ひいては衝突の可能性があることを推定できる。
 歩行者の周囲の第2パターンは、交通インフラに備えられた照明装置により描画されてもよい。あるいは歩行者が携行する照明装置によって描画されてもよい。
 第1パターンは、赤外線のビームにより描画されてもよい。この場合、歩行者や運転者に煩わしさを与えずに、車両同士のセンシングが可能となる。
 第1パターンは、可視光のビームにより描画されてもよい。この場合、歩行者などに、自車の進行方向を明示的に示すことができるという副次的な効果が生ずる。
 第1パターンは、自車からの距離の情報を含んでもよい。たとえば、第1パターンにメモリを付してもよいし、パターンを複数の部分に分割し、自車からの距離によって各部分の波長が決められてもよい。
 第1パターンは、自車の速度情報を含んでもよい。たとえば速度によって、第1パターンの波長を変化させてもよいし、第1パターンを変調して車速情報を載せてもよいし、第1パターンの長さに、速度情報を反映させてもよい。
 カメラによって歩行者が検出されたとき、照明装置は、歩行者の周辺に第3パターンを描画してもよい。自分自身を取り囲む第2パターンを描画する照明を歩行者が携行していない場合に、その歩行者を検知した車両の照明装置が代わりに描画することで、他の車両がその歩行者を検出しやすくなる。
(実施の形態)
 以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。
 図1は、実施の形態に係るセンシングシステム100のブロック図である。センシングシステム100は車両200に搭載される。センシングシステム100は、照明装置110、カメラ120、演算処理装置130を備える。
 照明装置110は、路面2に自車200の進行方向に伸びるパターンPTNを描画する。照明装置110は、ヘッドランプ210に内蔵されてもよい。照明装置110は、左右のヘッドランプ210に内蔵される2個の光源を含み、2個の光源が生成する2つのビームによって、パターンPTNが形成されてもよい。ここでは、パターンPTNを単純な矩形で示すがその形状は特に限定されない。
 カメラ120は、主として車両前方の路面2を撮影する。カメラ120は、照明装置110が描画するパターンPTNに対して感度を有している。言い換えれば、照明装置110が照射するビーム、すなわちパターンPTNの色(波長)は特に限定されず、カメラ120によって撮影可能であればよい。
 一実施例において、パターンPTNは、赤外線のビームにより描画されてもよい。この場合、歩行者や運転者は、パターンPTNを視認できなくなるため、煩わしさを与えずに、車両同士のセンシングが可能となる。
 一実施例において、パターンPTNは、可視光のビームにより描画されてもよい。この場合、歩行者などに、自車の進行方向を明示的に示すことができるという副次的な効果が生ずる。
 カメラ120の設置場所は特に限定されず、図1に示すように、ルームミラーの裏であってもよいし、フロントグリルであってもよいし、フロントバンパーであってもよい。あるいはカメラ120は、照明装置110とともにヘッドランプ210に収容されてもよい。
 カメラ120の画像IMGには、自車の照明装置110が描画したパターンPTNと他の交通参加者(車両、歩行者のみでなく、信号機などの交通インフラや、壁や建物、障害物などを含む)が路面2に描画したパターン(図1に不図示)が写る。
 演算処理装置130は、カメラ120の画像IMGを受け、画像に写るパターンPTNにもとづいて、自車と他の交通参加者の状態を検出する。
 以上がセンシングシステム100の構成である。センシングシステム100を搭載した車両によって、交通システムあるいは交通社会が形成される。このシステム/社会では、多くの車両に、図1に示すセンシングシステム100が搭載されている。
 以下、いくつかのシーンを参照しながら、センシングシステム100によるセンシングについて説明する。
 図2は、例示的な走行シーンを説明する図である。車両201と車両202には、同じセンシングシステム100が搭載されており各車両201,202は、進行方向に向かって伸びるパターンPTN1,PTN2を路面に描画している。
 図2の走行シーンでは、2つの車両201,202はビル4によって隔てられているため、各車両の運転者は、お互いの車両の存在を目視により確認することはできない。
 図3は、図2のシーンにおいて車両201のカメラ120が撮影する画像IMG1を示す図である。この画像IMG1には、自車201が照射したパターンPTN1と、他車202が照射したパターンPTN2が写っている。
 演算処理装置130は、画像処理によって、自車および他の交通参加者が路面に描画するパターンPTN1,PTN2のみを容易に抽出することができる。そしてパターンPTN2にもとづいて、見えない車両202の存在を検知できる。またこのパターンPTN2は、進行方向に伸びるものであるから、図中、右から左に車両202が進行していることを推定できる。さらに演算処理装置130は、複数のパターンPTN1,PTN2が交差するか否かを判定する。この例では、2つのパターンPTN1,PTN2が交差している。パターンPTN1,PTN2の交差の検出は、極めて簡単な画像処理によって行うことができる。
 2つのパターンPTN1とPTN2が交差する場合、自車201と他の交通参加者(車両202)が同じ地点(2つのパターンの交点)P1に向かって進行すること、ひいては衝突の可能性があることを推定できる。演算処理装置130は、衝突の可能性がある場合に、運転者に報知し、回避行動を促すことができる。あるいはセンシングシステム100を搭載する車両が、自動運転システムを搭載する場合、センシングシステム100の出力に応じて、ステアリングおよびアクセル、ブレーキの少なくともひとつを制御し、操舵、加速、減速、停止などが可能となる。
 ここでは車両201からみた画像について説明したが、他方の車両202においても同様な処理が行われる。車両202のセンシングシステム100のカメラ120は、自車202が形成するパターンPTN2と、それと直交する他車201が形成するパターンPTN1を含む画像を生成する。これにより車両202のセンシングシステム100は、自車から見て左方向から右方向に向かって、車両201が走行していることを推定することができる。
 照明装置110は、パターンPTNに距離情報を載せてもよい。図4(a)、(b)は、距離情報を含むパターンPTNを説明する図である。図4(a)のパターンPTNは、所定の間隔ごとに、スペースを有する。図4(b)のパターンは、自車からの距離に応じて波長(色)が異なっている。この例では、手前側ほど波長が短いが、その逆であってもよい。パターンPTNに距離情報を含めることにより、図3のシーンにおいて、自車201と点P1までの距離、他車202と点P1までの距離を、カメラ画像IMGから取得することが可能となる。
 照明装置110は、パターンPTNに、速度情報を載せてもよい。図5(a)~(c)は、速度情報を含むパターンPTNを示す図である。図5(a)では、パターンPTNの長さが速度と相関を有する。図5(b)では、パターンPTNの幅が速度と相関を有する。図5(c)では、パターンPTNの点滅周波数が、速度と相関を有する。あるいは、パターンPTNの波長(色)を、車速に応じて変化させてもよい。
 パターンPTNに、距離と車速情報の両方を載せることにより、以下の効果を得ることができる。すなわち、図3の画像から、自車201と点P1までの距離がパターンPTN1から取得でき、自車の速度は、車両のシステムから取得できる。また、パターンPTN2から、他車202と点P1の距離および他車202の速度が取得できる。したがって、他車202が点P1に到着するまでの所要時間が計算でき、また自車201が点P1に到着するまでの時間も計算できる。したがって、これらの時間にもとづいて衝突の可能性を判定したり、ブレーキの緊急度やブレーキの強さを制御することが可能となる。
 図6は、別の走行シーンを説明する図である。車両201と車両202は、対向車線を反対向きに走行している。
 図7は、図6のシーンにおいて車両201のカメラ120が撮影する画像IMG1を示す図である。この画像IMG1にも、自車201が照射したパターンPTN1と、他車202が照射したパターンPTN2が写っている。このシーンでは、演算処理装置130は、パターンPTN2にもとづいて、対向車202が存在することを検出できる。この検出には、対向車202そのものの像を利用していないことに留意されたい。言い換えれば、対向車202を撮影しなくても、路面に描画されたパターンPTN2にもとづいて、対向車202を間接的に検出することができる。
 図7の画像IMG1では、パターンPTN1とパターンPTN2は交差していない。したがって演算処理装置130は、衝突の可能性が低いと判定することができる。
 これまでの説明では、車両200が、パターンPTNを描画する場合を説明したが、車両以外の交通参加者もパターンを描画することができる。
 図8(a)は、歩行者300に関連して描画されるパターンPTN3を示す図である。歩行者の速度は自動車の速度に比べると十分に低く、歩行者の進行方向にパターンを描画しても、あまり意味をなさない。むしろ、歩行者の前方のみでなく、あらゆる方向の車両に自分自身の存在を知らせることを優先すべきといえる。この観点から、歩行者300に関するパターンPTN3は、歩行者300を取り囲むように路面に描画される。パターンPTN3は円形であってもよいし、多角形であってもよい。パターンPTN3は、歩行者自身が携行する専用の照明装置140により描画してもよい。なお、このパターンPTN3は必ずしも歩行者300を取り囲んでいる必要はなく、歩行者300を取り囲む仮想ラインの少なくとも一部を含んいればよい。
 あるいは、信号機などの交通インフラに、歩行者を検出するカメラと、歩行者を示すパターンPTN3を描画するための照明装置を設置してもよい。
 図8(b)は、車載のシステム100による歩行者300の検知を説明する図である。車両200に搭載されるセンシングシステム100は、所定の形状、所定の色(波長)のパターンPTN3を検出することにより歩行者300の存在を間接的に検出できる。また演算処理装置130は、パターンPTN1とパターンPTN3の位置関係により、歩行者300が、自車の進行方向に位置することを検出できる。さらに、演算処理装置130は、パターンPTN1とPTN3が交差するか否かを判定することで、歩行者との衝突の可能性を判定することができる。
 以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
(変形例1)
 これまでの説明では、照明装置110が描画するパターンを矩形としたがその限りでない。図9(a)~(d)は、パターンPTNの変形例を示す図である。図9(a)に示すように、パターンPTNは楕円であってもよい。あるいは図9(b)に示すように台形であってもよいし、あるいは三角形であってもよい。図9(c)に示すように、前方ほど幅が広くてもよい。図9(d)に示すようにパターンPTNは、複数の部分に分割されていてもよい。たとえば図9(d)のパターンPTNは、車幅を示すように、左右の2本に分割されている。図9のようにパターンPTNを左右に分割する場合、左側の部分を左側の灯具に内蔵する光源によって描画し、右側の部分を右側の灯具に内蔵する光源によって描画してもよい。
 またパターンPTNは、車種(乗用車、トラック、オートバイ、原動機付き自動二輪車など)や車格、ボディーサイズや排気量、などに応じて異なっていてもよい。
(変形例2)
 障害物の近傍の路面に障害物の存在を示すパターンを描画するようにしてもよい。図10は、障害物の存在を知らせるパターンPTN4を示す図である。たとえば現状では、故障車220がその存在を後続車に知らせるために、三角停止板(三角表示板)や発煙筒が利用されている。これらに代えて、あるいは加えて、路面に所定の形状および色を有するパターンPTN4を描画する照明装置150を用いることができる。
 この照明装置150は、故障車の存在を知らせる以外に、さまざまなシーンに用いることができる。たとえば工事現場において、1車線が通行禁止になっている場合に、それを示すために照明150を用いることができる。
(変形例3)
 図11は、変形例3に係るセンシングシステム100Aを示す図である。センシングシステム100Aは、上述のセンシングシステム100に加えて、先行車240の後ろ側の路面にパターンPTN5を描画する照明装置160をさらに備える。このパターンPTN5は、進行方向と垂直に伸びている。これにより、後続車は、前方に照射したパターンPTNが、先行車240のパターンPTN5と交差した場合に、追突の可能性があると判定できる。
(変形例4)
 図8(a)に示す歩行者300に関するパターンPTN3を、他の車両に搭載される照明装置が描画してもよい。センシングシステム100は、カメラ120によって歩行者300が検出されたとき、照明装置110に対して、歩行者300を取り囲むパターンPNT3を描画させてもよい。歩行者300が照明装置140を携行していない場合に、あるいは上述の交通インフラが照明装置を備えない場合に、歩行者を検知した車両の照明装置がパターンPTN3を代わりに描画することで、他の車両がその歩行者を検出しやすくなる。
 実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
 本発明は、車載用のセンシングシステムに関する。
 2 路面
 100 センシングシステム
 110 照明装置
 120 カメラ
 130 演算処理装置
 140 照明装置
 150 照明装置
 160 照明装置
 200 車両
 210 ヘッドランプ
 300 歩行者

Claims (11)

  1.  路面に自車の進行方向に伸びる第1パターンを描画する照明装置と、
     カメラと、
     前記カメラの画像に写る、前記第1パターンと他の交通参加者が路面に描画した第2パターンにもとづいて、前記自車と前記他の交通参加者の状態を検出する演算処理装置と、
     を備えることを特徴とするセンシングシステム。
  2.  前記演算処理装置は、前記第1パターンと前記第2パターンの交差を検出することを特徴とする請求項1に記載のセンシングシステム。
  3.  前記他の交通参加者は車両であり、前記第2パターンは、前記他の交通参加者である前記車両の進行方向に伸びるように描画されることを特徴とする請求項1または2に記載のセンシングシステム。
  4.  前記他の交通参加者は歩行者であり、前記第2パターンは、前記歩行者を取り囲む仮想ラインの少なくとも一部を含むことを特徴とする請求項1または2に記載のセンシングシステム。
  5.  前記歩行者に関連する前記第2パターンは、交通インフラにより描画されることを特徴とする請求項4に記載のセンシングシステム。
  6.  前記第1パターンは、赤外線であることを特徴とする請求項1から5のいずれかに記載のセンシングシステム。
  7.  前記第1パターンは、可視光であることを特徴とする請求項1から5のいずれかに記載のセンシングシステム。
  8.  前記第1パターンは、自車からの距離の情報を含むことを特徴とする請求項1から7のいずれかに記載のセンシングシステム。
  9.  前記第1パターンは、自車の速度情報を含むことを特徴とする請求項1から8のいずれかに記載のセンシングシステム。
  10.  前記カメラによって歩行者が検出されたとき、前記照明装置は、前記歩行者を取り囲むように、第3パターンを描画することを特徴とする請求項1から9のいずれかに記載のセンシングシステム。
  11.  請求項1から10のいずれかに記載のセンシングシステムと、
     前記センシングシステムの出力に応じて、ステアリングおよびアクセル、ブレーキの少なくともひとつを制御する自動運転システムと、
     を備えることを特徴とする車両。
PCT/JP2020/017671 2019-04-25 2020-04-24 センシングシステムおよび車両 WO2020218498A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021516255A JP7399158B2 (ja) 2019-04-25 2020-04-24 センシングシステムおよび車両
CN202080029920.XA CN113711286A (zh) 2019-04-25 2020-04-24 感测系统及车辆

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-083975 2019-04-25
JP2019083975 2019-04-25

Publications (1)

Publication Number Publication Date
WO2020218498A1 true WO2020218498A1 (ja) 2020-10-29

Family

ID=72942803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/017671 WO2020218498A1 (ja) 2019-04-25 2020-04-24 センシングシステムおよび車両

Country Status (3)

Country Link
JP (1) JP7399158B2 (ja)
CN (1) CN113711286A (ja)
WO (1) WO2020218498A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023214532A1 (ja) * 2022-05-02 2023-11-09 株式会社小糸製作所 車両用警告装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283807A (ja) * 1997-04-10 1998-10-23 Kictec:Kk 横断歩道照明装置
JP2003231438A (ja) * 2002-02-07 2003-08-19 Toyota Motor Corp 車両運転支援装置および車両運転支援システム
JP2003231450A (ja) * 2002-02-07 2003-08-19 Toyota Motor Corp 移動体用安全装置
JP2004220257A (ja) * 2003-01-14 2004-08-05 Toyota Motor Corp 車両用安全補助装置および車両用安全補助システム
JP2005157873A (ja) * 2003-11-27 2005-06-16 Honda Motor Co Ltd 車両用走行支援装置
JP2006072741A (ja) * 2004-09-02 2006-03-16 Koito Ind Ltd 照明装置
JP2011157023A (ja) * 2010-02-03 2011-08-18 Sharp Corp 照明装置および移動体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6075331B2 (ja) * 2014-06-13 2017-02-08 トヨタ自動車株式会社 車両用照明装置
US20170182934A1 (en) * 2014-09-01 2017-06-29 Mitsubishi Electric Corporation Vehicle projection control system and method of controlling image projection
JP6746270B2 (ja) * 2014-09-08 2020-08-26 株式会社小糸製作所 車両用表示システム
JP6636244B2 (ja) * 2014-12-04 2020-01-29 株式会社小糸製作所 路面描画用灯具ユニット

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10283807A (ja) * 1997-04-10 1998-10-23 Kictec:Kk 横断歩道照明装置
JP2003231438A (ja) * 2002-02-07 2003-08-19 Toyota Motor Corp 車両運転支援装置および車両運転支援システム
JP2003231450A (ja) * 2002-02-07 2003-08-19 Toyota Motor Corp 移動体用安全装置
JP2004220257A (ja) * 2003-01-14 2004-08-05 Toyota Motor Corp 車両用安全補助装置および車両用安全補助システム
JP2005157873A (ja) * 2003-11-27 2005-06-16 Honda Motor Co Ltd 車両用走行支援装置
JP2006072741A (ja) * 2004-09-02 2006-03-16 Koito Ind Ltd 照明装置
JP2011157023A (ja) * 2010-02-03 2011-08-18 Sharp Corp 照明装置および移動体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023214532A1 (ja) * 2022-05-02 2023-11-09 株式会社小糸製作所 車両用警告装置

Also Published As

Publication number Publication date
JP7399158B2 (ja) 2023-12-15
CN113711286A (zh) 2021-11-26
JPWO2020218498A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
US7561180B2 (en) Movable body safety system and movable body operation support method
KR102588920B1 (ko) 운전자 보조 시스템, 그를 가지는 차량 및 그 제어 방법
JP6303974B2 (ja) 車載カメラ装置及び車載システム
WO2013145984A1 (ja) ライト照射制御装置、ライト照射警告システム、ライト制御システム、及びライト照射制御プログラム
WO2018029978A1 (ja) 車外表示処理装置及び車外表示システム
KR20190100614A (ko) 차량 및 그 제어방법
JP6843819B2 (ja) 交通案内物認識装置、交通案内物認識方法、およびプログラム
JP6075331B2 (ja) 車両用照明装置
WO2017042089A1 (en) Automated detection of hazardous drifting vehicles by vehicle sensors
JP2006252264A (ja) 障害物報知装置
JP2010030513A (ja) 車両の運転支援装置
JP2006500664A (ja) 車両の衝突を阻止する方法および装置
JP2005161977A (ja) 車両用走行支援装置
KR20210083459A (ko) 운전자 보조 시스템, 그를 가지는 차량 및 그 제어 방법
JP2019511066A (ja) 車両の前方における障害物の存在を示すピクトグラムの自動表示を制御するための方法
US10220771B2 (en) Method and driver assistance system for assisting a driver of a vehicle
US20220299860A1 (en) Extensiview and adaptive lka for adas and autonomous driving
US20210122369A1 (en) Extensiview and adaptive lka for adas and autonomous driving
JP4063142B2 (ja) 夜間障害物報知装置
JP2007018142A (ja) 車両周辺監視装置
CN112447057A (zh) 停止线位置推定装置及车辆控制系统
WO2018173674A1 (ja) 車両の運転支援装置及び運転支援方法
WO2020218498A1 (ja) センシングシステムおよび車両
JP6535537B2 (ja) 車両の運転支援装置
WO2020067305A1 (ja) 車両の発進通知表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20795709

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021516255

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20795709

Country of ref document: EP

Kind code of ref document: A1