WO2019159764A1 - 車載カメラシステム、車両用灯具 - Google Patents

車載カメラシステム、車両用灯具 Download PDF

Info

Publication number
WO2019159764A1
WO2019159764A1 PCT/JP2019/004103 JP2019004103W WO2019159764A1 WO 2019159764 A1 WO2019159764 A1 WO 2019159764A1 JP 2019004103 W JP2019004103 W JP 2019004103W WO 2019159764 A1 WO2019159764 A1 WO 2019159764A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
task
camera system
camera
deadline
Prior art date
Application number
PCT/JP2019/004103
Other languages
English (en)
French (fr)
Inventor
遠藤　修
光治 眞野
秀忠 田中
Original Assignee
株式会社小糸製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社小糸製作所 filed Critical 株式会社小糸製作所
Priority to CN201980013467.0A priority Critical patent/CN111801933A/zh
Priority to JP2020500419A priority patent/JPWO2019159764A1/ja
Publication of WO2019159764A1 publication Critical patent/WO2019159764A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an in-vehicle camera system.
  • ADB Adaptive Driving Beam
  • the ADB technology detects the presence of a preceding vehicle, an oncoming vehicle (hereinafter referred to as a forward vehicle) or a pedestrian in front of the vehicle, dimming a region corresponding to the vehicle or the pedestrian, etc. It reduces glare.
  • a sensor that measures the situation ahead of the vehicle, a processor that processes the output of the sensor to generate a light distribution pattern, and a light source that illuminates the vehicle front according to the light distribution pattern are required.
  • Sensors used in automobiles include candidates for cameras, LiDAR (Light Detection and Ranging, Laser Imaging and Detection and Ranging), millimeter wave radar, and ultrasonic sonar.
  • LiDAR Light Detection and Ranging, Laser Imaging and Detection and Ranging
  • millimeter wave radar millimeter wave radar
  • ultrasonic sonar ultrasonic sonar
  • the camera since the camera is the cheapest, it is most widely used at present, and the light spot included in the image taken in front of the vehicle by the camera is referred to as a vehicle headlamp or tail lamp (hereinafter collectively referred to as a light source).
  • a light source hereinafter collectively referred to as a light source
  • pattern matching are used to detect the vehicle ahead.
  • images taken at night include not only the light source of the vehicle ahead, but also other light sources (eg street lights, reflectors, building lights), but it is not easy to distinguish them and the processor is complicated. Signal processing is required. If the detection of the preceding vehicle is delayed, glare is given to the preceding vehicle, and thus high-speed detection is required. For this reason, the processor requires a high-speed calculation and a dedicated image processing engine, and there is a problem that the cost of the system increases.
  • other light sources eg street lights, reflectors, building lights
  • the present invention has been made in such a situation, and one of exemplary purposes of an aspect thereof is to reduce the cost of the in-vehicle camera system.
  • An aspect of the present invention relates to an in-vehicle camera system.
  • the in-vehicle camera system includes a camera that images the front of the vehicle and a processor that processes an image of the camera.
  • the processor classifies the target detection process ahead of the vehicle into a task with a late deadline and a task with a quick deadline.
  • Targets include traffic participants such as vehicles and pedestrians, as well as signs and road shapes.
  • the time required for the detection differs depending on the type of the preceding vehicle (preceding vehicle, oncoming vehicle), its travel position, and other travel conditions.
  • the processing speed of the target detection in front of the vehicle is low by classifying the target detection process into a task with a late deadline, that is, a long processing time, and a task with a short deadline, that is, a short processing time. Even when an inexpensive processor is used, a target to be detected can be detected at high speed in a short time.
  • Tasks with early deadlines may be scheduled more frequently than tasks with late deadlines.
  • the late task may include a distant vehicle detection process.
  • the late task may include at least one of (i) a straight line / curve determination process, (ii) a far field detection process, (iii) a far spot detection process, and (iv) a far spot tracking process. May be included.
  • the early deadline task may include a near vehicle detection process.
  • the task with an earlier deadline may include (i) a process for extracting a high brightness area, (ii) a process for generating a feature quantity for the high brightness area, and (iii) a process for detecting a vehicle based on the feature quantity.
  • the in-vehicle camera system includes a camera that images the front of the vehicle and a processor that processes an image of the camera.
  • the processor executes a high-speed task that processes the camera image for every frame and a low-speed task that processes the camera image at a rate of once in a plurality of frames.
  • the low speed task may include a process of detecting a relatively far ahead vehicle
  • the high speed task may include a process of detecting a relatively near forward vehicle
  • the vehicular lamp may include the above-described on-vehicle camera system.
  • the in-vehicle camera system can be reduced in cost.
  • FIGS. 2A to 2D are diagrams illustrating an example of a task with a late deadline and a task with an early deadline.
  • FIGS. 3A to 3C are diagrams for explaining another example of a task with a late deadline and a task with an early deadline. It is a flowchart which shows the process of the vehicle-mounted camera system which concerns on embodiment. It is a time chart explaining operation
  • FIG. 1 is a block diagram of an in-vehicle camera system 100 according to an embodiment.
  • the in-vehicle camera system 100 includes a camera 110 and a processor 120.
  • the in-vehicle camera system 100 detects “a vehicle ahead”.
  • the “front vehicle” to be detected is typically the position of the preceding vehicle and the oncoming vehicle.
  • the camera 110 captures the front of the vehicle.
  • the processor 120 receives the image IMG of the camera 110 and performs target detection in front of the vehicle.
  • the processor 120 includes a CPU (Central Processing Unit), a GPGPU (General Purpose Graphics Processor Unit), etc., and may be a general-purpose microcomputer that can be controlled by a program, or an AI (Artificial Intelligence) chip. Special hardware may be used.
  • CPU Central Processing Unit
  • GPGPU General Purpose Graphics Processor Unit
  • AI Artificial Intelligence
  • the processor 120 classifies the target detection process ahead of the vehicle into a task with a late deadline and a task with a quick deadline.
  • the processor 120 includes a preprocessing unit 122, a task distribution unit 124, a high speed task execution unit 126, and a low speed task execution unit 128. Note that these blocks represent the functions of the processor 120 and do not exist as distinguishable hardware.
  • the preprocessing unit 122 performs preprocessing on the image IMG of the camera 110. Preprocessing includes noise removal, binarization, detection of light spots by labeling, and the like.
  • the task distribution unit 124 classifies the plurality of sub-processes included in the target detection in front of the vehicle into tasks with late deadlines and tasks with early deadlines, and passes them to the high-speed task execution unit 126 and the low-speed task execution unit 128.
  • the high speed task execution unit 126 executes a task with an earlier deadline
  • the low speed task execution unit 128 executes a task with a later deadline.
  • the output unit 130 Based on the processing results of the high-speed task execution unit 126 and the low-speed task execution unit 128, the output unit 130 outputs information on the preceding vehicle.
  • a slow deadline can be set for a sub-process related to detection of an object / information whose change rate is slow, and conversely, a sub-process related to detection of an object / information whose change rate is fast is fast. It is necessary to set a deadline. For example, a target or information that changes for each frame of an image of a camera (or a speed corresponding to the frame) is set with an earlier deadline. On the other hand, a target or information that slowly changes over a plurality of frames can be set to be late.
  • the vanishing point detection process is important for the detection of the preceding vehicle.
  • the vanishing point is located in front of the vehicle (0 ° direction, 12 o'clock direction) on the straight road, but on the curve, the vanishing point moves to the right or left from the front in front.
  • the straight road does not suddenly turn into a curve, or the curve suddenly turns into a straight road, they change continuously and slowly, so the speed at which the vanishing point moves is also the camera frame rate (at 30 fps, 33 ms). Therefore, the subprocess related to the detection of the vanishing point (distant area) can set the deadline later.
  • the object is not to give glare. If the preceding vehicle is sufficiently far away from the host vehicle (for example, 300 m or more ahead), even if the detection is delayed, that is, the light shielding is delayed, the effect of glare is small. Therefore, the sub-process related to the light spot included in the far field can be delayed. For example, a predetermined angle range centered on the vanishing point may be set as the far region.
  • Vehicle detection in an area close to the own vehicle The closer the destination vehicle is to the own vehicle, the higher the risk of glare due to detection delay. In other words, a closer vehicle is required to be detected at a higher speed. Therefore, the sub-process related to the light spot in the proximity region can be delayed.
  • the outside of a predetermined angle range centered on the vanishing point may be the far region.
  • FIGS. 2A to 2D are diagrams illustrating an example of a task with a late deadline and a task with an early deadline.
  • a passing with an oncoming vehicle on a straight road will be described.
  • Fig.2 (a) is the figure which looked at the straight path from the top.
  • the own vehicle 200 proceeds from right to left in the figure.
  • the preceding vehicle 202 is traveling at the same speed as the host vehicle 200 400 m ahead of the host vehicle 200.
  • the oncoming vehicle 204 approaches positions A, B, and C in order.
  • the oncoming vehicle 204 at the positions A, B, and C is distinguished as 204A, 204B, and 204C.
  • the positions of the own vehicle 200 and the preceding vehicle 202 are fixed.
  • FIGS. 2B to 2D show images of the camera when the oncoming vehicle 204 exists at positions A, B, and C.
  • the relative speed is 120 km / h, and it takes 9 seconds from position A to position B. Further, it takes about 3 seconds from position B to position C.
  • the angle from the center is approximately 0.6 ° at position A, approximately 2.5 ° at position B, and approximately 20 ° at position C.
  • the boundary 210 is set at a predetermined angle to the left and right from the center of the screen, the deadline is set late for the light spot included in the region inside the boundary 210, and the deadline is set early for the light spot outside the boundary 210. It may be set.
  • the predetermined angle is set to ⁇ 2.5 °
  • an early deadline is set for the sub-process related to the detection of the oncoming vehicles 206B and 206C at the positions B and C in FIG.
  • the deadline may be 33 ms for all frames.
  • the sub-process related to the detection of the oncoming vehicle 204A at the position A in FIG. since the preceding vehicle 202 is always included inside the boundary 210, a late deadline is set.
  • the deadline may be several hundred ms. For example, when the deadline is 200 ms, one frame may be processed.
  • FIGS. 3A to 3C are diagrams for explaining another example of a task with a late deadline and a task with an early deadline.
  • the passing of the oncoming vehicle on the curve will be described.
  • the far (disappearance point) shifts from the center of the screen to the right
  • the distant (disappearance point) shifts from the center of the screen to the left.
  • the determination of straight travel, right curve, left curve and the far position may be detected based on sensor information, or may be detected by comparing a past frame and a current frame.
  • the far process sub-process can set a late deadline.
  • a boundary 210 When driving on a curve, a boundary 210 is set at a predetermined angle on the left and right with a distant position as the center, a late deadline may be set inside the boundary 210, and an early deadline may be set outside.
  • FIG. 4 is a flowchart showing processing of the in-vehicle camera system 100 according to the embodiment.
  • a task with a late deadline (referred to as a low-speed task) is executed once for a plurality of frames
  • a task with an early deadline (referred to as a high-speed task) is executed for all frames.
  • the high speed task S100 includes an input process S102.
  • the input process S100 the image of the camera 110 is captured, and the output and information of other sensors are captured.
  • Preprocessing includes binarization, labeling, etc., and a light spot is extracted.
  • the low-speed task S200 is executed. For example, the low-speed task is executed once every six frames. If it is not the low-speed task period (N in S106), the remaining high-speed tasks are executed.
  • straight / curve determination (S202) is executed. Specifically, straight, right curve, and left curve are determined from sensor information and comparison of past and current frames. If the curve is a curve, curvature and the like are calculated.
  • a far region (the above-mentioned boundary) is determined based on the result of straight ahead and curve determination (S202) (S204). As described above, this boundary is used to distribute whether the light spot is processed by a task with a late deadline or an early task.
  • a far light spot included in the far region is extracted, and feature data including position, shape, color, brightness, and the like is calculated (S206).
  • a distant vehicle is determined by processing a distant light spot with a predetermined algorithm (S208) (S210).
  • the process S208 may include a process of tracking a distant light spot and acquiring the locus. Specifically, a trajectory is acquired by linking a light spot having the same feature data over a plurality of frames.
  • the remaining processes (S108 to S114) of the high-speed task S100 are executed.
  • the remaining processing relates to vehicle determination relating to light spots outside the far field.
  • a high brightness area outside the far area is extracted (S108). Then, a feature amount (position, area, center of gravity, brightness, color, etc.) is calculated for the extracted high luminance region (S110). Then, the presence / absence of a vehicle is determined based on the presence / absence of a high-luminance region and its feature amount (S112). Finally, the information on the vehicle detected in step S210 or S112 is output.
  • FIG. 5 is a time chart for explaining the operation of the in-vehicle camera system 100.
  • the execution period of the high-speed task is 33 ms, which is equal to the frame period.
  • the execution period of the low-speed task is 200 ms, and one of the six consecutive frames is a processing target.
  • the first frame number is n
  • the low-speed task can target the n + k ⁇ m-th frame.
  • the high-speed task for the i-th frame is scheduled in a part within the next i + 1-th frame period.
  • the low-speed task for the n + k ⁇ m-th frame is scheduled in an empty time slot without scheduling the high-speed task in the subsequent m frame periods n + k ⁇ m + 1 to n + (k + 1) ⁇ m. Is done.
  • m 6
  • the low-speed task for the n + k ⁇ 6th frame is executed during the n + k ⁇ 6 + 1 to n + k ⁇ 6 + 5th frame period.
  • FIG. 6 is a block diagram of the vehicular lamp 300 according to the embodiment.
  • the vehicular lamp 300 includes a light distribution pattern generation unit 310 and a light distribution variable lamp 320 in addition to the in-vehicle camera system 100 described above.
  • the light distribution variable lamp 320 may be a known technique or a technique that can be used in the future. For example, an array method, a scanning method, etc. have been proposed for the light distribution variable lamp 320.
  • An array-type lamp includes a plurality of semiconductor light sources arranged in an array, and controls on / off or luminance of each of the plurality of semiconductor light sources.
  • the scan-type lamp includes a semiconductor light source and a scanning optical system that scans light emitted from the semiconductor light source in front of the vehicle, and controls on / off and brightness of the semiconductor light source in synchronization with the scanning operation.
  • the light distribution pattern generation unit 310 is supplied with information on the destination vehicle detected by the in-vehicle camera system 100.
  • the light distribution pattern generation unit 310 generates a light distribution pattern PAT composed of a combination of a light shielding region (or a light reduction region) and an irradiation region based on the position information of the front car.
  • the light distribution pattern generation unit 310 may be mounted on a processor different from the processor 120 of the in-vehicle camera system 100 or may be mounted on the same processor.
  • the classification of tasks with early deadlines (high-speed tasks) and tasks with late deadlines (low-speed tasks) is an example, and is not limited.
  • sub-processes relating to straight-ahead / curve determination (S202 in FIG. 4) and far-area detection (S204) are assigned to low-speed tasks, and processing for distant light spots ( The sub-process regarding S206, S208, and S210) may be assigned to the high-speed task.
  • the present invention relates to an in-vehicle camera system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)

Abstract

車載カメラシステム１００は、車両前方を撮影するカメラ１１０と、カメラ１１０の画像を処理するプロセッサ１２０を備える。プロセッサ１２０は、車両前方の物標検出処理を、期限の遅いタスクと、期限の早いタスクに分類して実行する。

Description

車載カメラシステム、車両用灯具
　本発明は、車載カメラシステムに関する。
　近年、車両の周囲の状態にもとづいて、ハイビームの配光パターンを動的、適応的に制御するＡＤＢ（Adaptive Driving Beam）技術の導入が進められている。ＡＤＢ技術は、車両の前方の先行車、対向車（以下、前方車という）や歩行者の有無を検出し、車両あるいは歩行者に対応する領域を減光するなどして、車両あるいは歩行者に与えるグレアを低減するものである。
　ＡＤＢ機能を実現するためには、車両前方の状況を測定するセンサと、センサの出力を処理して配光パターンを生成するプロセッサ、配光パターンに応じて車両前方を照射する光源が必要である。
　自動車に利用されるセンサとしては、カメラ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ミリ波レーダ、超音波ソナーなどが候補として挙げられる。このなかで、カメラは最も安価であることから、現状では最も広く採用されており、カメラにより車両前方を撮影した画像に含まれる光点を、車両のヘッドランプあるいはテールランプ（以下、光源と総称する）とパターンマッチングをとることで、前方車を検出する手法が採用される。
特開２００９－０３２０３０号公報
　しかしながら夜間に撮影された画像には、前方車の光源のみならず、その他の光源（たとえば街灯、反射板、建物の照明）が含まれるが、それらを区別することは容易ではなく、プロセッサにおいて複雑な信号処理が必要となる。前方車の検出が遅れると、前方車にグレアを与えることとなるため、高速な検出が要求される。このことから、プロセッサには、高速な演算、専用の画像処理エンジンが必要となり、システムが高コスト化するという問題がある。
　本発明は係る状況においてなされたものであり、そのある態様の例示的な目的のひとつは、車載カメラシステムの低コスト化にある。
　本発明のある態様は車載カメラシステムに関する。車載カメラシステムは、車両前方を撮像するカメラと、カメラの画像を処理するプロセッサと、を備える。プロセッサは、車両前方の物標検出処理を、期限の遅いタスクと、期限の早いタスクに分類して実行する。
　物標とは、車両、歩行者などの交通参加者のほか、標識、道路形状などを含む。たとえば先方車の種類（先行車、対向車）、その走行位置、そのほか走行状況などによって、その検出に要求される時間（許容される遅延）は異なる。この態様によれば、車両前方の物標検出処理を、期限の遅い、すなわち処理時間の長いタスクと、期限の早い、すなわち処理時間の短いタスクに分類して実行することで、処理速度の遅い安価なプロセッサを用いた場合でも、短時間で検出すべき物標を高速に検出できる。
　期限の早いタスクは、期限の遅いタスクよりも高い頻度でスケジューリングされてもよい。
　期限の遅いタスクは、遠方の車両の検出プロセスを含んでもよい。期限の遅いタスクは、（i）直線／カーブの判定プロセス、（ii）遠方領域の検出プロセス、（iii）遠方光点の検出プロセス、（iv）遠方光点の追跡プロセス、の少なくとも一つを含んでもよい。
　期限の早いタスクは、近い車両の検出プロセスを含んでもよい。期限の早いタスクは、（i）高輝度領域の抽出プロセス、（ii）高輝度領域の特徴量の生成プロセス、（iii）特徴量にもとづく車両の検出プロセス、を含んでもよい。
　本発明の別の態様も、車載カメラシステムに関する。車載カメラシステムは、車両前方を撮像するカメラと、カメラの画像を処理するプロセッサと、を備える。プロセッサは、カメラの画像を、すべてのフレームについて処理する高速タスクと、カメラの画像を、複数のフレームに１回の割合で処理する低速タスクと、を実行する。
　低速タスクは、相対的に遠い前方車を検出する処理を含み、高速タスクは、相対的に近い前方車を検出する処理を含んでもよい。
　本発明の別の態様は車両用灯具に関する。車両用灯具は、上述の車載カメラシステムを備えてもよい。
　本発明によれば、車載カメラシステムを低コスト化できる。
実施の形態に係る車載カメラシステムのブロック図である。 図２（ａ）～（ｄ）は、期限の遅いタスクと期限の早いタスクの一例を説明する図である。 図３（ａ）～（ｃ）は、期限の遅いタスクと期限の早いタスクの別の例を説明する図である。 実施の形態に係る車載カメラシステムの処理を示すフローチャートである。 車載カメラシステムの動作を説明するタイムチャートである。 実施の形態に係る車両用灯具のブロック図である。
　以下、本発明を好適な実施の形態をもとに図面を参照しながら説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。
　図１は、実施の形態に係る車載カメラシステム１００のブロック図である。車載カメラシステム１００は、カメラ１１０およびプロセッサ１２０を備える。車載カメラシステム１００は、「前方車」を検出する。検出対象となる「前方車」は典型的には先行車および対向車の位置である。
　カメラ１１０は、車両前方を撮影する。プロセッサ１２０は、カメラ１１０の画像ＩＭＧを受け、車両前方の物標検出を行う。
　プロセッサ１２０は、ＣＰＵ（Central Processing Unit）やＧＰＧＰＵ（General Purpose Graphic Processor Unit）などを含んでいて、プログラムによりソフトウェア制御可能な汎用的なマイコンであってもよいし、ＡＩ（Artificial Intelligence）チップのような専用のハードウェアであってもよい。
　プロセッサ１２０は、車両前方の物標検出処理を、期限の遅いタスクと、期限の早いタスクに分類して実行する。
　プロセッサ１２０は、前処理部１２２、タスク分配部１２４、高速タスク実行部１２６、低速タスク実行部１２８を備える。なおこれらのブロックは、プロセッサ１２０の機能を表すものであり、区別可能なハードウェアとして存在するわけではない。
　前処理部１２２は、カメラ１１０の画像ＩＭＧに前処理を施す。前処理には、ノイズ除去、２値化およびラベリングによる光点の検出などが含まれる。
　タスク分配部１２４は、車両前方の物標検出に含まれる複数のサブプロセスを、期限の遅いタスクと期限の早いタスクに分類し、高速タスク実行部１２６、低速タスク実行部１２８に受け渡す。高速タスク実行部１２６は、期限の早いタスクを実行し、低速タスク実行部１２８は期限の遅いタスクを実行する。出力部１３０は、高速タスク実行部１２６および低速タスク実行部１２８の処理結果にもとづいて、前方車の情報を出力する。
　典型的には、変化速度の遅い対象・情報の検出に関わるサブプロセスには、遅い期限を設定することができ、反対に、変化速度の速い対象・情報の検出に関わるサブプロセスには、早い期限を設定する必要がある。たとえば、カメラの画像のフレームごと（あるいはそれに準ずる速度）に変化する対象や情報は、期限が早く設定される。反対に、複数のフレームにわたり、緩やかに変化する対象や情報は、期限を遅く設定することができる。
　期限の遅いタスクについて、いくつかの例を説明する。
　１．消失点（遠方領域）の検出
　画像に含まれる光点は、消失点（遠方領域）から発生して放射状に移動していき、あるいは消失点に消えていく。したがって消失点の検出処理（サブプロセス）は、前方車の検出に重要である。ここで、消失点は、直線路では、自車の正面前方（０°方向、１２時方向）に位置するが、カーブでは、消失点は、正面前方から右または左に移動する。直線路が突然にカーブに変わったり、カーブが突然に直線路に変わることはなく、それらは連続的に緩やかに変化し、したがって消失点が移動する速度も、カメラのフレームレート（３０ｆｐｓの場合、３３ｍｓ）よりも遅いといえる。したがって、消失点（遠方領域）の検出に関わるサブプロセスは、期限を遅く設定することができる。
　２．　直進・カーブの検出や判定
　上述のように、直進・カーブも、複数のフレームにわたり徐々に変化するものであるから、それらの検出に関わるサブプロセスも、期限を遅くすることができる。
　３．　遠方領域の車両検出
　先方車の位置情報を、ＡＤＢランプに使用する場合、グレアを与えないことが目的となる。先方車が、自車よりも十分に遠ければ（たとえば３００ｍ以上前方）、その検出が遅れて、すなわち遮光が遅れたとしても、グレアの影響は小さい。したがって、遠方領域に含まれる光点に関わるサブプロセスは、期限を遅くすることができる。たとえば、消失点を中心とする所定の角度範囲を遠方領域としてもよい。
　期限の早いタスクについて説明する。
　４．　自車に近い領域（近接領域）の車両検出
　先方車が自車に近ければ近いほど、検出遅れによりグレアを与えるおそれが高くなる。言い換えれば、近い車両ほど、高速に検出することが求められる。したがって、近接領域の光点に関わるサブプロセスは、期限を遅くすることができる。たとえば、消失点を中心とする所定の角度範囲の外側を遠方領域としてもよい。
　図２（ａ）～（ｄ）は、期限の遅いタスクと期限の早いタスクの一例を説明する図である。この例では、直線路における対向車とのすれ違いを説明する。図２（ａ）は、直線路を上から見た図である。自車２００は、図中において右から左に進行する。自車２００の前方４００ｍ先には、先行車２０２が自車２００と同じ速度で走行している。
　対向車２０４は、位置Ａ、Ｂ、Ｃと順に近づいてくる。位置Ａ，Ｂ，Ｃにおける対向車２０４を、２０４Ａ，２０４Ｂ，２０４Ｃとして区別する。なお、ここでは説明の簡潔化のため、自車２００と先行車２０２の位置を固定している。図２（ｂ）～（ｄ）には、対向車２０４が位置Ａ，Ｂ，Ｃに存在するときのカメラの画像を示す。
　たとえば、自車２００と対向車２０４の速度が６０ｋｍ／ｈの場合、相対速度は１２０ｋｍ／ｈであり、位置Ａから位置Ｂまでは９秒の時間を要する。また、位置Ｂから位置Ｃまでは約３秒かかる。中心からの角度は、位置Ａでは約０．６°、位置Ｂでは約２．５°、位置Ｃでは約２０°となる。
　直進の場合、遠方は画面中心となる。そこで画面中心から左右に所定の角度に境界２１０を設定し、境界２１０の内側の領域に含まれる光点については、期限を遅く設定し、その境界２１０の外側の光点については、期限を早く設定してもよい。所定の角度を±２．５°に設定した場合、図２（ａ）における位置Ｂ、Ｃの対向車２０６Ｂ，２０６Ｃの検出に関連するサブプロセスは、早い期限が設定される。期限を早く設定すべき光点に関するサブプロセスについては、全フレームを対象として、３３ｍｓを期限としてもよい。
　反対に、図２（ａ）における位置Ａの対向車２０４Ａの検出に関連するサブプロセスは、遅い期限が設定される。また、先行車２０２は、常に境界２１０の内側に含まれるため、遅い期限が設定される。期限を遅く設定すべき光点に関するサブプロセスについては、数百ｍｓを期限としてもよい。たとえば、２００ｍｓを期限とする場合、６フレームに１枚を処理対象としてもよい。
　図３（ａ）～（ｃ）は、期限の遅いタスクと期限の早いタスクの別の例を説明する図である。この例では、カーブにおける対向車とのすれ違いを説明する。右カーブでは、遠方（消失点）が、画面中央から右側にシフトし、左カーブでは、遠方（消失点）が、画面中央から左側にシフトする。直進、右カーブ、左カーブの判定および遠方の位置は、センサ情報にもとづいて検出してもよいし、過去のフレームと現在のフレームの比較から検出してもよい。上述のように、遠方検出に関するサブプロセスは、遅い期限を設定することができる。
　カーブ走行時には、遠方の位置を中心として、左右に所定の角度に境界２１０が設定され、境界２１０の内側に、遅い期限を設定し、外側に早い期限を設定すればよい。
　図４は、実施の形態に係る車載カメラシステム１００の処理を示すフローチャートである。ここでは、遅い期限のタスク（低速タスクという）は、複数のフレームに１回を対象として実行し、早い期限のタスク（高速タスクという）は、すべてのフレームを対象として実行するものとする。
　高速タスクＳ１００は、入力処理Ｓ１０２を含む。入力処理Ｓ１００では、カメラ１１０の画像を取り込むとともに、その他のセンサの出力や、情報を取り込む。
　続いて、取り込んだ画像の前処理を実行する（Ｓ１０４）。前処理は、二値化、ラベリング等を含み、光点が抽出される。
　低速タスクの周期か否かが判定され（Ｓ１０６）、低速タスクの周期であれば（Ｓ１０６のＹ）、低速タスクＳ２００が実行される。たとえば６フレームに１回の割合で、低速タスクが実行される。低速タスクの周期でない場合（Ｓ１０６のＮ）、残りの高速タスクが実行される。
　低速タスクＳ２００では、期限が遅いタスクが処理される。具体的には、直進・カーブの判定（Ｓ２０２）が実行される。具体的には、センサ情報や、過去と現在のフレームの比較から、直進、右カーブ、左カーブの判定が行われ、またカーブである場合には、曲率等が計算される。
　続いて、直進、カーブ判定（Ｓ２０２）の結果にもとづいて、遠方領域（上述の境界）が決定される（Ｓ２０４）。この境界は、上述したように、光点を、期限の遅いタスクと、早いタスクのいずれで処理するかを振り分けるために使用される。
　続いて、遠方領域に含まれる遠方光点が抽出され、位置、形、色、明るさ等を含む特徴データが算出される（Ｓ２０６）。そして、遠方光点を所定のアルゴリズム（Ｓ２０８）で処理することにより、遠方車両が判定される（Ｓ２１０）。
　たとえば処理Ｓ２０８は、遠方光点を追跡し、その軌跡を取得する処理を含んでもよい。具体的には複数のフレームにわたり、特徴データが同一である光点のリンクを張ることで、軌跡が取得される。
　そして、処理Ｓ２１０において、軌跡が遠方車両のそれと一致した場合に、遠方車両と判定してもよい。なお、遠方光点の軌跡は、６フレーム毎に追跡されることとなる。
　低速タスクＳ２００が完了すると、高速タスクＳ１００の残りの処理（Ｓ１０８～Ｓ１１４）が実行される。残りの処理は、遠方領域外の光点に関する車両判定に関する。
　はじめに、遠方領域外の高輝度領域を抽出する（Ｓ１０８）。そして、抽出した高輝度領域について特徴量（位置、面積、重心、明度、色等）を算出する（Ｓ１１０）。そして、高輝度領域の有無やその特徴量にもとづいて、車両の有無を判定する（Ｓ１１２）。最後に、処理Ｓ２１０あるいはＳ１１２で検出された車両の情報を出力する。
　なお、図４のフローチャートに含まれる各処理の実行順序は、処理に支障のない範囲で入れ替えることができる。たとえば処理Ｓ１０６およびＳ２００は、処理Ｓ１００の最後に実行してもよい。
　図５は、車載カメラシステム１００の動作を説明するタイムチャートである。この例では、高速タスクの実行周期は、フレーム周期と等しく３３ｍｓである。また低速タスクの実行周期は２００ｍｓであり、連続する６フレームのひとつが処理対象となる。図５では、先頭のフレーム番号をｎとしており、ｎ＋ｋ×６番目のフレーム（ｋ＝０，１，…）が、低速タスクの処理対象となる。一般化すると、低速タスクは、ｎ＋ｋ×ｍ番目のフレームを対象とすることができる。
　ｉ番目のフレームを対象とする高速タスクは、その次のｉ＋１番目のフレーム期間内の一部にスケジューリングされる。
　また、ｎ＋ｋ×ｍ番目のフレームを対象とする低速タスクは、それに続くｍ個のフレーム期間ｎ＋ｋ×ｍ＋１～ｎ＋（ｋ＋１）×ｍのうち、高速タスクがスケジューリングされずに空いている時間スロットにスケジューリングされる。図５の例では、ｍ＝６であり、ｎ＋ｋ×６番目のフレームに関する低速タスクは、ｎ＋ｋ×６＋１～ｎ＋ｋ×６＋５番目のフレーム期間の間に実行される。
　上述の車載カメラシステム１００は、特に車両用灯具に好適に用いることができる。図６は、実施の形態に係る車両用灯具３００のブロック図である。車両用灯具３００は、上述の車載カメラシステム１００に加えて、配光パターン生成部３１０および配光可変ランプ３２０を備える。
　配光可変ランプ３２０は、公知技術あるいは将来利用可能な技術を用いればよい。たとえば、配光可変ランプ３２０はアレイ方式やスキャン方式などが提案されている。アレイ方式のランプは、アレイ状に配置された複数の半導体光源を備え、複数の半導体光源それぞれのオン、オフあるいは輝度を制御する。スキャン方式のランプは、半導体光源と、半導体光源の出射光を車両前方で走査するスキャン光学系を備え、スキャンの動作と同期して、半導体光源のオン、オフや輝度を制御する。
　配光パターン生成部３１０には、車載カメラシステム１００によって検出された先方車の情報が供給される。配光パターン生成部３１０は、先方車の位置情報にもとづいて、遮光領域（あるいは減光領域）と照射領域の組み合わせからなる配光パターンＰＡＴを生成する。
　配光パターン生成部３１０は、車載カメラシステム１００のプロセッサ１２０と別のプロセッサに実装してもよいし、同一のプロセッサに実装してもよい。
　以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、こうした変形例について説明する。
　期限の早いタスク（高速タスク）と、期限の遅いタスク（低速タスク）の分類は例示であり、限定されない。たとえばプロセッサの処理能力に余裕がある場合には、直進・カーブ判定（図４のＳ２０２）、遠方領域の検出（Ｓ２０４）に関するサブプロセスを低速タスクに割り当て、遠方の光点を対象とした処理（Ｓ２０６，Ｓ２０８，Ｓ２１０）に関するサブプロセスを、高速タスクに割り当ててもよい。
　実施の形態にもとづき、具体的な語句を用いて本発明を説明したが、実施の形態は、本発明の原理、応用の一側面を示しているにすぎず、実施の形態には、請求の範囲に規定された本発明の思想を逸脱しない範囲において、多くの変形例や配置の変更が認められる。
　１００　車載カメラシステム
　１１０　カメラ
　１２０　プロセッサ
　１２２　前処理部
　１２４　タスク分配部
　１２６　高速タスク実行部
　１２８　低速タスク実行部
　１３０　出力部
　３００　車両用灯具
　３１０　配光パターン生成部
　３２０　配光可変ランプ
　本発明は、車載カメラシステムに関する。

Claims (8)

  1. 　車両前方を撮像するカメラと、
    　前記カメラの画像を処理するプロセッサと、
    　を備え、
    　前記プロセッサは、車両前方の物標検出処理を、期限の遅いタスクと、期限の早いタスクに分類して実行することを特徴とする車載カメラシステム。
  2. 　前記期限の遅いタスクは、遠方の車両の検出プロセスを含むことを特徴とする請求項１に記載の車載カメラシステム。
  3. 　前記期限の遅いタスクは、
    　（i）直線／カーブの判定プロセス、
    　（ii）遠方領域の検出プロセス、
    　（iii）遠方光点の検出プロセス、
    　（iv）遠方光点の追跡プロセス、
    の少なくとも一つを含むことを特徴とする請求項１または２に記載の車載カメラシステム。
  4. 　前記期限の早いタスクは、近い車両の検出プロセスを含むことを特徴とする請求項１から３のいずれかに記載の車載カメラシステム。
  5. 　前記期限の早いタスクは、
    　（i）高輝度領域の抽出プロセス、
    　（ii）高輝度領域の特徴量の生成プロセス、
    　（iii）前記特徴量にもとづく車両の検出プロセス、
    　を含むことを特徴とする請求項１から４のいずれかに記載の車載カメラシステム。
  6. 　車両前方を撮像するカメラと、
    　前記カメラの画像を処理するプロセッサと、
    　を備え、
    　前記プロセッサは、
    　前記カメラの画像のすべてのフレームを処理する高速タスクと、
    　前記カメラの画像を、複数のフレームに１回の割合で処理する低速タスクと、
    　を実行することを特徴とする車載カメラシステム。
  7. 　前記低速タスクは、相対的に遠い前方車を検出する処理を含み、前記高速タスクは、相対的に近い前方車を検出する処理を含むことを特徴とする請求項６に記載の車載カメラシステム。
  8. 　請求項１から７のいずれかに記載の車載カメラシステムを備えることを特徴とする車両用灯具。
PCT/JP2019/004103 2018-02-14 2019-02-05 車載カメラシステム、車両用灯具 WO2019159764A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980013467.0A CN111801933A (zh) 2018-02-14 2019-02-05 车载照相机系统、车辆用灯具
JP2020500419A JPWO2019159764A1 (ja) 2018-02-14 2019-02-05 車載カメラシステム、車両用灯具

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018024295 2018-02-14
JP2018-024295 2018-11-05

Publications (1)

Publication Number Publication Date
WO2019159764A1 true WO2019159764A1 (ja) 2019-08-22

Family

ID=67618668

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/004103 WO2019159764A1 (ja) 2018-02-14 2019-02-05 車載カメラシステム、車両用灯具

Country Status (3)

Country Link
JP (1) JPWO2019159764A1 (ja)
CN (1) CN111801933A (ja)
WO (1) WO2019159764A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301269A (zh) * 2020-05-08 2021-08-24 黑芝麻智能科技(重庆)有限公司 在线和离线交错的带宽高效的图像信号处理

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008094249A (ja) * 2006-10-11 2008-04-24 Denso Corp 車両検出装置及びヘッドランプ制御装置
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702133B2 (en) * 2003-07-11 2010-04-20 Hitachi, Ltd. Image-processing camera system and image-processing camera control method
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
JP5768756B2 (ja) * 2012-04-17 2015-08-26 株式会社デンソー 車両のヘッドランプの配光制御装置
CN205365394U (zh) * 2016-02-15 2016-07-06 长沙科讯智能科技有限公司 一种车辆远光灯智能控制系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008094249A (ja) * 2006-10-11 2008-04-24 Denso Corp 車両検出装置及びヘッドランプ制御装置
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113301269A (zh) * 2020-05-08 2021-08-24 黑芝麻智能科技(重庆)有限公司 在线和离线交错的带宽高效的图像信号处理

Also Published As

Publication number Publication date
CN111801933A (zh) 2020-10-20
JPWO2019159764A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
JP4253271B2 (ja) 画像処理システム及び車両制御システム
US10552688B2 (en) Method and device for detecting objects in the surroundings of a vehicle
JP4253275B2 (ja) 車両制御システム
JP5617999B2 (ja) 車載周辺物認識装置及びこれを用いる運転支援装置
JP5207146B2 (ja) 遠距離灯の自動制御方法
JP5409929B2 (ja) 車両用ヘッドライト装置の制御方法およびヘッドライト装置
US9616805B2 (en) Method and device for controlling a headlamp of a vehicle
CN105270254B (zh) 用于控制车辆的至少一个大灯的光发射的方法和设备
KR101511853B1 (ko) 단일 다중 노출 카메라를 이용한 야간 전방 차량 검출 및 위치 측정 시스템 및 방법
EP2413264A2 (en) Vehicle detection apparatus
JP2013147112A (ja) 車両の走行環境認識装置
JP2007302068A (ja) 車両用灯火管理システムおよび車両用灯火管理装置
JP2008207677A (ja) 画像処理装置，画像処理方法、及び画像処理システム
CN109703555B (zh) 用于探测道路交通中被遮蔽的对象的方法和设备
CN110371016B (zh) 车辆前灯的距离估计
JP2019077204A (ja) 車両用灯具システム、車両用灯具の制御装置および車両用灯具の制御方法
CN115151955A (zh) 用于监控机动车辆的环境的系统
Feng et al. A comprehensive survey of vision based vehicle intelligent front light system
JP7312913B2 (ja) 自動車両の照明システムを制御するための方法
WO2019159764A1 (ja) 車載カメラシステム、車両用灯具
US8965142B2 (en) Method and device for classifying a light object located ahead of a vehicle
JP5667473B2 (ja) 車両用前照灯制御装置および車両用前照灯システム
KR20150020839A (ko) 전방 영상 분석을 통한 하이빔 제어 장치 및 방법
CN209776291U (zh) 车辆检测装置以及车辆用灯具系统
WO2019156087A1 (ja) 画像処理装置および車両用灯具

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19754014

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020500419

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19754014

Country of ref document: EP

Kind code of ref document: A1