WO2018173726A1 - 照明撮像装置 - Google Patents

照明撮像装置 Download PDF

Info

Publication number
WO2018173726A1
WO2018173726A1 PCT/JP2018/008438 JP2018008438W WO2018173726A1 WO 2018173726 A1 WO2018173726 A1 WO 2018173726A1 JP 2018008438 W JP2018008438 W JP 2018008438W WO 2018173726 A1 WO2018173726 A1 WO 2018173726A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
illumination
image data
pattern
irradiation
Prior art date
Application number
PCT/JP2018/008438
Other languages
English (en)
French (fr)
Inventor
橋村 淳司
山田 範秀
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2019507507A priority Critical patent/JP6939875B2/ja
Publication of WO2018173726A1 publication Critical patent/WO2018173726A1/ja

Links

Images

Definitions

  • the present invention relates to an illumination imaging apparatus that can contribute to safe driving by being mounted on a vehicle, for example.
  • ADB Adaptive Driving Beam
  • a partial shading technique to perform is disclosed. According to such a technique, the driver of the moving body is freed from the trouble of switching between the high beam and the low beam, while the pedestrian and the driver of the oncoming vehicle are less likely to feel dazzling.
  • the present invention has been made in view of the above-described problems, and by reducing the glare of a pedestrian or the like by dividing the illumination area and controlling the amount of illumination light while suppressing costs,
  • An object of the present invention is to provide an illumination imaging device capable of detection.
  • the illumination imaging apparatus of the present invention is A light emitting unit that irradiates illumination light by dividing the illumination region into a plurality of areas; A light emission control unit capable of changing the pattern of illumination light independently for each of the divided illumination regions; A camera including an image sensor that captures the subject and acquires image data; A memory for storing image data acquired by the camera; An image processing unit for processing image data acquired by the camera; A recognition unit for recognizing a subject based on the processed image data; A camera control unit for controlling the camera; When the recognition unit recognizes that the captured subject is a specific subject, the light emission control unit irradiates the divided illumination region including the specific subject with a first pattern, and The light emitting unit is controlled to irradiate the divided illumination area that does not include the specific subject with a second pattern, and the first pattern performs irradiation with a high amount of light and irradiation with a low amount of light.
  • the average amount of light in the first pattern is lower than the average amount of light in the second pattern
  • the camera control unit obtains first image data by imaging the subject at the timing of irradiation with the high amount of light in an imaging region corresponding to at least an illumination region irradiated with the first pattern; and Controlling the camera so as to capture the subject at the timing of low light irradiation and acquire second image data;
  • the image processing unit generates third image data based on a difference between the first image data and the second image data.
  • an illumination imaging apparatus capable of detecting a pedestrian or the like while reducing the glare of the pedestrian or the like by dividing the illumination area and controlling the amount of illumination light while suppressing cost. Can do.
  • FIG. 1 is a block diagram of the illumination imaging device concerning this Embodiment. It is the schematic diagram which looked at the headlight HL from the vehicle front. It is a figure which shows the state which the vehicle VH carrying the illumination imaging device LC is drive
  • (A) is a time chart which shows the light emission control by the 1st pattern A (one-dot chain line) and the 2nd pattern B (solid line),
  • FIG. 1 is a block diagram of the illumination imaging apparatus according to the present embodiment.
  • an illumination imaging device LC mounted on a vehicle includes a headlight HL that is a light emitting unit that emits illumination light toward the front of the vehicle, and a drive circuit DRH that drives the headlight HL.
  • a visible light camera CA including an image sensor (not shown) such as a CCD or CMOS that images a subject in front of the vehicle, a drive circuit DRC that drives the camera CA, a drive circuit DRH, and a drive circuit DRC.
  • It includes a controller CONT for controlling, an image memory MR for storing image data output from the camera CA, and an image processor PROC that is an image processing unit that performs image processing on the image data.
  • the camera CA is preferably capable of capturing a moving image composed of a plurality of frames.
  • the image memory MR and the image processor PROC are preferably incorporated in a single chip because they can be miniaturized and the calculation speed can be improved.
  • FIG. 2 is a schematic view of the headlight HL as viewed from the front of the vehicle.
  • the headlight HL includes a light emitting unit HL1 disposed on the front right side of the vehicle body and a light emitting unit HL2 disposed on the front left side of the vehicle body.
  • Each of the light emitting units HL1 and HL2 includes light emitting diodes Ld (or laser diodes) arranged vertically and horizontally in 4 rows and 4 columns.
  • Each light emitting diode Ld is controlled to be turned on or off (dimmed) independently by the drive circuit DRH. In the example of FIG. 2, the light emitting diode Ld indicated by hatching is turned off, and the other light emitting diodes Ld are turned on.
  • light is not necessarily limited to illuminating at the maximum illuminance, but “dimming” means that the amount of illumination light is lower than “lighting”. Further, “extinguishing” means that the amount of illumination light is substantially zero.
  • the reason why the light emitting diodes Ld (or laser diodes) are used for the light emitting units HL1 and HL2 is that they have high responsiveness that can be turned on / off at a frequency of 60 Hz or more, for example. However, any light emitter having such a high response can be used instead.
  • the number of the light emitting diodes Ld is preferably equal to or greater than the number of divisions of the illumination area described later. That is, one divided area may be illuminated with a plurality of light emitting diodes Ld.
  • the drive circuit DRH can emit light only to at least a part of the plurality of irradiation regions divided by the headlight HL by controlling the lighting of the light emitting diode Ld, and at least It is also possible to emit light that is dimmed only in a part of the irradiation area.
  • the configuration for performing irradiation by selecting a plurality of irradiation areas is not limited to the above, and there is, for example, a part of the headlight that is shielded by a mask or the optical axis is tilted by an actuator.
  • FIG. 3 is a diagram showing a state where the vehicle VH on which the illumination imaging device LC is mounted is traveling at night together with the oncoming vehicle CV1 and the subject OBJ, and LB indicates emitted light from the headlight HL.
  • FIG. 4 is a diagram illustrating the entire illumination area
  • FIG. 5 is a flowchart illustrating control of the illumination imaging apparatus.
  • the light emitting unit HL1 in FIG. 2 is in charge of illumination in the illumination area on the right front side of the vehicle
  • the light emission unit HL2 is in charge of illumination in the illumination area on the left side in front of the vehicle.
  • the right illumination area AR (consisting of 4 ⁇ 4 divided areas) is illuminated by the light emitting unit HL1
  • the left illumination area is illuminated by the light emitting unit HL2.
  • AL (consisting of 4 ⁇ 4 divided areas) can be illuminated. Therefore, the illumination area as a whole has four divided areas in the vertical direction and eight divided in the horizontal direction, and the emitted light quantity can be adjusted independently for each divided area.
  • the number of divided areas that can be controlled for illumination is not limited to the 4 ⁇ 8 area in this example, and an arbitrary number of areas can be set.
  • the shape of the individual regions does not need to be rectangular as in the present embodiment, and is a combination of honeycomb-like regions according to the configuration of the optical system and the light source, or a rectangle, polygon, circle, It may be oval.
  • an area that is not irradiated between adjacent areas is created at this time, an area that is not illuminated when all the areas are turned on is created, which may cause a recognition failure. It is desirable to divide the area in the same way.
  • the shape and size of each area do not need to be the same, and the front of the driver can be controlled tightly in a relatively small area, but the area near the end is relatively large so that the control process is light.
  • the number of light sources may be reduced, and the structure may be advantageous in terms of cost.
  • the shape of the entire region is not limited to the rectangle as in the present embodiment, and the total number of divisions and the shape may be determined in accordance with the specification of the region to be illuminated when all the lamps are turned on.
  • the light emitting units HL1 and HL2 and the illumination areas illuminated by each of the light emitting units HL1 and HL2 are not overlapped on the left and right.
  • the illumination areas illuminated by the light emitting units HL1 and HL2 may partially overlap.
  • the shape of the individual irradiation areas in each of the light emitting units HL1 and HL2 and the division thereof are such that the divided irradiation areas of the light emitting units HL1 and HL2 are completely coincident with each other.
  • irradiation areas may be overlapped in a shifted state.
  • the lighting is controlled by finely controlling the lighting time so that uneven brightness is not noticeable from the driver in the overlapping irradiation region and the shifted irradiation region, Compared to the above, it is possible to illuminate a wider irradiation area, so it is sufficient to consider the degree of overlapping according to the specifications.
  • one irradiation area is smaller than the other irradiation area and is completely included. In that case, finer control is possible, such as making the irradiation area darker in steps.
  • the controller CONT and the drive circuit DRH constitute a light emission control unit, and the controller CONT and the drive circuit DRC constitute a camera control unit.
  • the image processor PROC also serves as a recognition unit. It is assumed that the controller CONT recognizes in advance the divided illumination areas indicated by dotted lines in FIG. 4 and the positions of the imaging areas overlapping with the illumination areas.
  • the camera CA images the subject in front of the vehicle, and the image processor PROC that processes the image data obtains the average luminance of the subject. (NO in step S101 of FIG. 5).
  • the image processor PROC determines that it is nighttime (YES in step S101 in FIG. 5), and in step S102, the controller CONT turns off the headlight HL via the drive circuit DRH. The light is emitted with a high beam. Note that this determination can also be made using a separately installed illuminometer or the like.
  • step S103 the camera CA takes an image, and the image data is input to the image processor PROC via the image memory MR for each frame.
  • the image processor PROC analyzes the image data acquired by the camera CA, and further detects the presence or absence of a specific subject in the illumination areas AR and AL based on the feature amount in step S104.
  • the specific subject is a pedestrian or an oncoming vehicle, but is not limited thereto, and may include an animal, for example. If the image processor PROC does not detect the specific subject (determination NO in step S104), the flow returns to step S101 to continue high beam emission.
  • the light emitting diode Ld of the headlight HL emits light having the maximum intensity MX (see FIG. 6). As a result, the driver can visually recognize distant obstacles at an early stage.
  • a detection signal is input to the controller CONT.
  • the image processor PROC includes position information (relative position information with respect to the illumination areas AR and AL) of the detected pedestrian OBJ and the oncoming vehicles CV1 and CV2 in the detection signal to be output.
  • the controller CONT to which the detection signal is input based on the position information included in the detection signal, among the divided illumination areas, the illumination area R1 including the detected pedestrian OBJ and the oncoming vehicles CV1 and CV2 (shown by hatching in FIG. 4). Is identified and distinguished from other illumination regions R2. Whether or not the face or the front of the oncoming vehicle is facing in the direction facing the illumination of the own vehicle, in addition to the pedestrian and oncoming vehicle in front of the vehicle, as the specific subject at the time of determining the illumination region R1 If it is possible to make this determination, the specific subject may be recognized after adding it.
  • the controller CONT controls the light emitting unit HL via the drive circuit DRH to reduce the light intensity from the maximum intensity MX, irradiate the illumination area R1 with the first pattern, and illuminate the illumination area R2. Irradiate with a second pattern.
  • irradiation with the maximum intensity MX can be performed periodically, or irradiation with a constant intensity may be performed.
  • it may be blinked at the same time, or one of the divided areas may be controlled to be repeatedly turned on / off while light is emitted.
  • FIG. 6A is a time chart showing light emission control by the first pattern A (one-dot chain line) and the second pattern B (solid line), where the vertical axis represents the amount of emitted light, and the horizontal axis represents time. It is.
  • FIG. 6B is a time chart showing the imaging timing. When the signal becomes high, the imaging is performed, and when the signal becomes low, the imaging is not performed. As shown in FIG. 6 (a), the first pattern A and the second pattern B are started from time t1, and each of them emits a high amount of light and a low amount of light (complete extinction) at a period of 60 Hz or more. Including).
  • the average light amount AV1 of the first pattern A is set to be smaller than the average light amount AV2 of the second pattern B, for example, 30% or less. This is preferably less than the illuminance at which the driver of the pedestrian OBJ and the oncoming vehicles CV1, CV2 existing in the illumination area R1 feels dazzling and more than the illuminance that can be captured by the camera CA.
  • the period of the first pattern A and the period of the second pattern B are equal, for example, it is sufficient if the periods are close to each other within ⁇ 20%.
  • the light amount difference ⁇ 1 between the high light amount and the low light amount in the first pattern A is substantially equal to the light amount difference ⁇ 2 between the high light amount and the low light amount in the second pattern D (for example,
  • the illumination area R2 can also be sensed in a uniform state over the entire screen acquired by the camera CA by using the same periodic illumination as the illumination area R1. This is desirable because it eliminates the need for an operation that takes into account the difference in thickness and reduces processing.
  • the entire area is dimmed or turned off / lit with the same intensity, but this is done by changing the brightness individually according to the driving scene or environment. It doesn't matter.
  • the light amount difference between the first pattern A and the second pattern B may be changed greatly. In that case, the same effect as in the present embodiment can be obtained by controlling the integrated values of the differences in brightness in the respective regions to be the same.
  • the “light quantity” refers to the light quantity per unit area of light incident on the virtual screen when the virtual screen facing the virtual screen at a predetermined distance from the light emitting unit HL is irradiated from the light emitting unit HL. .
  • “High light amount” means that the light amount is higher than “low light amount”, and “low light amount” includes the case where the light amount is zero. Further, according to the type of the specific subject, for example, the amount of light may be different between the illumination area R1 including the pedestrian OBJ and the illumination area R1 including the oncoming vehicles CV1 and CV2.
  • the controller CONT controls the imaging timing of the camera CA via the drive circuit DRC. More specifically, in step S106, the camera CA captures an image at the timing when a high amount of light is emitted from the light emitting unit HL as shown in FIG. 6B in the imaging region corresponding to the illumination region R1.
  • the image processor PROC takes the difference between the bright image data BD and the dark image data DD, and outputs first difference image data (third image data). According to the first difference image data, it is possible to obtain an image in which the headlights of the oncoming vehicles CV1, CV2 that emit light in the illumination area R1 are effectively excluded.
  • the headlight HL repeats bright and dark illumination at a high frequency
  • the image information obtained by the difference between one bright image data BD and one dark image data DD is very small.
  • the amount of emitted light is reduced to such an extent that the pedestrian OBJ and the drivers of the oncoming vehicles CV1, CV2 do not feel dazzling, so it is difficult to ensure a large light amount difference ⁇ 1. Therefore, for example, n sets of bright image data BD and dark image data DD are stored in the memory MR and added together, and the difference between them is taken as the first difference image data. preferable.
  • step S107 the camera CA performs imaging at the timing when a high amount of light is emitted from the light emitting unit HL in the imaging area corresponding to the illumination area R2, as shown in FIG. 6B.
  • the image data (fourth image data) BD is output, and imaging is performed at the timing when the low-emission light is emitted from the light emitting unit HL, and dark image data (fifth image data) DD is output.
  • the processor PROC takes the difference between the bright image data BD and the dark image data DD and outputs the second difference image data (sixth image data). Again, it is preferable to use one packet of image data consisting of n sets of bright image data BD and dark image data DD.
  • steps S106 and S107 is not limited and may be performed in parallel.
  • step S108 the image processor PROC combines and combines them in accordance with the positions of the corresponding regions R1, R2, One image data corresponding to one image is obtained. Thereafter, when a composite image is displayed on the display (not shown) in step S109 based on the composite image data, the images of the pedestrian OBJ and the oncoming vehicles CV1, CV2 appear clearly in the displayed composite image. Appropriate alerts can be made.
  • step S110 If the driver does not stop the illumination of the headlight HL with a switch (not shown) (NO in step S110), the flow is returned to step S104, and similar control is executed. On the other hand, when the driver stops the illumination of the headlight HL (determined as YES in step S110), the light emission control ends.
  • a method for creating one packet is used.
  • n sets of bright image data and dark image data obtained in time series are set as one packet, and the first packet is obtained in time series.
  • N sets of bright image data and dark image data are used, but the second packet removes the first (oldest) bright image data and dark image data from the first packet, and (n + 1) sets It may be created by adding the bright image data and dark image data of the eyes, and the packet may be created by the same procedure.
  • the other party when the divided area corresponding to the pedestrian OBJ or the oncoming vehicles CV1, CV2, etc. that the vehicle VH illuminates is turned off, the other party cannot be seen from here and cannot be recognized or delayed. If the lighting is dimmed to such an extent that an image can be acquired, such as the camera CA mounted on the vehicle VH, at least within the range of brightness that is not dazzling for the other party, the other party is not dazzled. Sensing of a specific subject included in the dimming area (illumination area R1) is also possible while using illumination. In addition, if the driver visually recognizes the obtained image via a head-up display or the like, the driver can recognize the specific subject at an early stage, which can contribute to safe driving.
  • the illumination imaging apparatus of the present invention can be used not only for automobiles but also for heavy equipment and work machines, as well as airplanes and ships.
  • the light amount is changed in two steps in the periodic change of illumination.
  • the light amount may be changed in multiple steps depending on the target of the area to be illuminated and the scene, or by coding such as an M array. It may be modulated, thereby minimizing interference with other vehicles having similar functions.
  • individual control may be performed such that the brightness of the illuminated area is individually controlled and changed depending on the object.
  • the present invention is suitable for providing an illumination imaging apparatus that can contribute to safe driving by being mounted on a vehicle, for example.

Abstract

照明撮像装置は、被写体が特定被写体であると、発光制御部は、特定被写体を含む分割された照明領域に対して第1のパターンで照射を行い、特定被写体を含まない分割された照明領域に対して第2のパターンで照射を行うよう発光部を制御し、第1のパターンは高光量と低光量の照射を組み合わせたもので、第1のパターンの平均光量は第2のパターンの平均光量より低く、カメラ制御部は、少なくとも第1のパターンで照射された照明領域に対応する撮像領域にて、高光量の照射のタイミングで被写体を撮像して第1の画像データを取得し、低光量の照射のタイミングで被写体を撮像して第2の画像データを取得するようカメラを制御し、画像処理部は、第1の画像データと第2の画像データの差分に基づき第3の画像データを生成する。これにより、コストを抑えつつ照明領域を分割して照明光量を制御することで、歩行者等の眩しさを軽減しつつも歩行者等を検出できる。

Description

照明撮像装置
 本発明は、例えば車両に搭載することで安全運転に貢献できる照明撮像装置に関する。
 夜間における交通の安全を確保するために、車両はなるべくハイビームで道路を走行することが原則とされる。一方、歩行者や対向車のドライバーはハイビームを眩しく感じることから、歩行者や対向車を発見したら直ちにロービームに切り替えることもドライバーに義務付けられている。
 しかるに、一時的にハイビームからロービームへと切り替えると、離れた位置の歩行者等に照明光が当たらなくなるため、ドライバーがその存在に気づくのが遅れる恐れがある。
 これに対し、自動車やバス・トラック、重機などの移動体のフロントライト等において、照射領域を複数に分けて、その各々の領域の照明を個別制御する、いわゆるADB(Adaptive Driving Beam)機能を持つ照明装置が開発されている。
 例えば特許文献1には、照明領域内に歩行者や対向車のドライバーなど遮光対象が検出された場合に、自動的に遮光対象が遮光領域に含まれるような照射パターンの光を照射する制御を行う部分遮光技術が開示されている。かかる技術によれば、移動体のドライバーはハイビームとロービームを切り替える手間から解放される一方で、歩行者や対向車のドライバーなどが眩しさを感じにくいというメリットがある。
特開2016-034785号公報
 但し、このような部分遮光技術も万能ではなく、まだ課題を有しているといえる。例えば対向車を含む照明領域で遮光した場合には、ヘッドライトで対向車を確認できるのに対し、歩行者を含む照明領域で照明を停止した際に、その照明領域に含まれる歩行者全体が見えなくなる恐れがある。
 これに対し、例えば照明領域を細かく分割して、歩行者の顔のみを狙って選択的に遮光を行うと共に、歩行者の顔以外の身体には照明を続行することで、歩行者を視認可能とすることも理論上は可能であるが、実際には照明装置のコストや搭載スペースの制約を考えると現実的でない。また、対向車のドライバーや歩行者の顔がどちらを向いているか判別できると、次の行動を予測することができて安全運転に資するという実情もある。
 本発明は上述した課題に鑑みてなされたものであり、コストを抑えつつ、照明領域を分割して照明光量を制御することにより、歩行者等の眩しさを軽減しつつも、歩行者等を検出できる照明撮像装置を提供することを目的とする。
 本発明の照明撮像装置は、
 照明領域を複数に分割して照明光を照射する発光部と、
 前記分割された照明領域毎に独立して照明光のパターンを変化させることが可能な発光制御部と、
 前記被写体を撮像して画像データを取得する撮像素子を備えたカメラと、
 前記カメラが取得した画像データを記憶するメモリーと、
 前記カメラが取得した画像データを処理する画像処理部と、
 前記処理された画像データに基づいて、被写体を認識する認識部と、
 前記カメラを制御するカメラ制御部とを有し、
 撮像された被写体が特定被写体であると前記認識部が認識したときは、前記発光制御部は、前記特定被写体が含まれる前記分割された照明領域に対して第1のパターンで照射を行い、且つ前記特定被写体が含まれない前記分割された照明領域に対して第2のパターンで照射を行うように前記発光部を制御し、前記第1のパターンは高光量の照射と低光量の照射とを組み合わせたものであり、前記第1のパターンにおける平均光量は、前記第2のパターンにおける平均光量より低くなっており、
 前記カメラ制御部は、少なくとも前記第1のパターンで照射された照明領域に対応する撮像領域において、前記高光量の照射のタイミングで前記被写体を撮像して第1の画像データを取得し、且つ前記低光量の照射のタイミングで前記被写体を撮像して第2の画像データを取得するように前記カメラを制御し、
 前記画像処理部は、前記第1の画像データと前記第2の画像データとの差分に基づいて第3の画像データを生成するものである。
 本発明によれば、コストを抑えつつ、照明領域を分割して照明光量を制御することにより、歩行者等の眩しさを軽減しつつも、歩行者等を検出できる照明撮像装置を提供することができる。
本実施の形態にかかる照明撮像装置のブロック図である。 ヘッドライトHLを車両前方から見た模式図である。 照明撮像装置LCを搭載した車両VHが夜間に走行している状態を、対向車CV1と被写体OBJと共に示す図である。 照明領域全体を示す図である。 照明撮像装置の制御を示すフローチャートである。 (a)は、第1のパターンA(一点鎖線)と第2のパターンB(実線)による発光制御を示すタイムチャートであり、(b)は撮像タイミングを示すタイムチャートである。
 以下、本発明の実施の形態を図面に基づいて説明する。
 図1は、本実施の形態にかかる照明撮像装置のブロック図である。
 図1において、車両(図3のVH)に搭載される照明撮像装置LCは、車両の前方に向けて照明光を出射する発光部であるヘッドライトHLと、ヘッドライトHLを駆動する駆動回路DRHと、車両前方の被写体を撮像するCCD又はCMOS等の撮像素子(不図示)を備えた可視光用のカメラCAと、カメラCAを駆動する駆動回路DRCと、駆動回路DRHと駆動回路DRCとを制御するコントローラーCONTと、カメラCAから出力された画像データを蓄積する画像メモリーMRと、画像データに対して画像処理を行う画像処理部である画像プロセッサーPROCとを有する。
 カメラCAは、複数のフレームからなる動画を撮像できるものであると好ましい。
 画像メモリーMRと画像プロセッサーPROCとは、単一のチップに組み込まれていると小型化が図れ、演算速度も向上するので好ましい。
 図2は、ヘッドライトHLを車両前方から見た模式図である。
 ヘッドライトHLは、車体のフロント右側に配置された発光ユニットHL1と、車体のフロント左側に配置された発光ユニットHL2とを有する。
 発光ユニットHL1,HL2は、それぞれ4行4列で縦横に並べた発光ダイオードLd(又はレーザーダイオード)を有している。
 各発光ダイオードLdは、駆動回路DRHにより独立して点灯又は消灯(減光)するように制御される。図2の例では、ハッチングで示す発光ダイオードLdは消灯され、それ以外の発光ダイオードLdは点灯している。
 尚、「点灯」とは必ずしも最高照度で照明することに限られないが、「減光」とは「点灯」に比べて照明光量が低いことをいう。又、「消灯」とは照明光量が略ゼロであることをいう。
 発光ユニットHL1,HL2に発光ダイオードLd(又はレーザーダイオード)を用いる理由は、例えば60Hz以上の周波数で点灯/消灯を行える高応答性を有しているからである。
 但し、このような高応答性を有する発光体であれば、これらの代わりに用いることができる。尚、発光ダイオードLdの数は、後述する照明領域の分割数以上であることが好ましい。すなわち、1つの分割領域を複数の発光ダイオードLdで照明しても良い。
 発光ダイオードLdの一部が消灯されたとき、それに対応する照射領域にはヘッドライトHLからの出射光が到達しないこととなる。すなわち、駆動回路DRHは、発光ダイオードLdの点灯制御を行うことで、ヘッドライトHLの分割された複数の照射領域のうち、少なくとも一部の照射領域のみに光を出射することができ、また少なくとも一部の照射領域のみに減光した光を出射することもできる。
 尚、複数の照射領域を選択して照射を行う構成としては、以上に限られず、例えばヘッドライトの一部をマスクで遮光したり、アクチュエータで光軸をチルトさせたりするものもある。
 図3は、照明撮像装置LCを搭載した車両VHが夜間に走行している状態を、対向車CV1と被写体OBJと共に示す図であり、LBはヘッドライトHLからの出射光を示している。図4は、照明領域全体を示す図であり、図5は、照明撮像装置の制御を示すフローチャートである。
 ここで、図2の発光ユニットHL1は、車両前方右側の照明領域の照明を担当し、発光ユニットHL2は、車両前方左側の照明領域の照明を担当する。光源Ld毎に点線で区分けされた分割領域1つずつを照明するので、発光ユニットHL1により右側の照明領域AR(4×4の分割領域からなる)を照明し、発光ユニットHL2により左側の照明領域AL(4×4の分割領域からなる)を照明することができる。
 従って、照明領域全体として、垂直方向に4分割され且つ水平方向に8分割された分割領域を有することとなり、各分割領域毎に独立して出射光量調整が可能となっているものとする。
 更には照明制御できる分割領域の数は、この例にある4×8領域に留まらず、任意の領域数が設定可能である。また個別の領域の形状については、本実施形態のように矩形である必要はなく、光学系や光源の構成などに合わせて、ハニカム状の領域の組合せであったり、長方形や多角形、円形、楕円形などとしても構わない。
 但し、この際隣り合う領域間に照射されない領域が出来てしまうと、全領域が点灯状態とした際に照明されない領域が出来てしまい認識洩れの恐れが生じるので、間に照射されない領域を作らない様に領域分割されているのが望ましい。
 またこの時、各領域の形状や大きさは同一である必要はなく、ドライバーの正面は比較的小さい領域で密に制御できるが、端の方の領域は比較的大きな領域として制御の処理を軽くしたり光源数を減らし、コスト的に有利な構成とすれば良い。
 更には、領域全体を合わせた形状についても、本実施形態のような長方形に限らず、全灯点灯時に照明したい領域の仕様に合わせて全体の分割数や形状を決めればよい。
 また、本実施形態では発光ユニットHL1、HL2、各々が照らす照明領域が左右で重ならないようにしているが、発光ユニットHL1、HL2で前記各々が照らす照明領域の一部が重なり合っていても構わない。
 その場合、その重なった照明領域において、発光ユニットHL1、HL2のそれぞれにおける個別の照射領域の形状やその分割については、発光ユニットHL1、HL2の各々の分割された照射領域が完全に一致するように重ねたときに、発光ユニットHL1、HL2を点灯させた際の照度や発光時間の制御を行うことにより、周囲の照射領域との照度ムラなどが低減できて望ましい。
 また、これら照射領域をずれた状態で重ねるようにしても良い。特にずれた状態で重ねる際には、重なった照射領域とずれた照射領域で明るさムラがドライバーから目立たないように、点灯時間を細かく制御して各々点灯するなどすれば、完全に重ねた場合に比較してより広い照射領域を照らせることになるので、仕様に合わせて重ねる度合いを考えればいいことになる。
 更には発光ユニットHL1、HL2の重なり照射領域の各分割された照射領域で、一方の照射領域が他方の照射領域より小さい面積であって、完全に包含されている状態なども考えられる。その際には、照射領域を段階的に暗く出来たりするなど、より細かい制御が可能となる。
 尚、コントローラーCONT及び駆動回路DRHが発光制御部を構成し、コントローラーCONT及び駆動回路DRCがカメラ制御部を構成する。また画像プロセッサーPROCが認識部を兼ねている。コントローラーCONTは、図4に点線で示す分割された照明領域と、それに重なる撮像領域の位置を予め認識しているものとする。
 図5を参照して、本実施の形態の動作を説明する。
 照明撮像装置LCを搭載した車両VHの走行時に、カメラCAが車両前方の被写体を撮像し、その画像データを処理した画像プロセッサーPROCが被写体の平均輝度を求めて、これが閾値以上であれば夜間でないと判断する(図5のステップS101で判断NO)。
 一方、平均輝度が閾値を下回っている場合、画像プロセッサーPROCは夜間であると判断し(図5のステップS101で判断YES)、ステップS102でコントローラーCONTが、駆動回路DRHを介してヘッドライトHLをハイビームにて発光させる。
 なお、この判断は別途設置された照度計などにより行うことも可能である。
 続くステップS103でカメラCAが撮像を行い、その画像データがフレーム毎に画像メモリーMRを介して画像プロセッサーPROCに入力される。
 画像プロセッサーPROCは、カメラCAにより取得された画像データを分析し、更にステップS104で特徴量に基づいて照明領域AR,AL内における特定被写体の有無を検出する。
 ここでは特定被写体を歩行者又は対向車とするが、それに限られず、例えば動物などを含んでいても良い。
 画像プロセッサーPROCが特定被写体を検出しなかった場合(ステップS104の判断NO)、フローをステップS101へと戻してハイビーム発光を続行する。
 ここでは、ヘッドライトHLの発光ダイオードLdが最高強度MX(図6参照)の光を出射するものとする。これによりドライバーは遠方の障害物まで早期に視認できる。
 一方、図3に示す状況にて画像プロセッサーPROCが特定被写体を検出した場合(ステップS104の判断YES)、検出信号をコントローラーCONTに入力する。
 図4に示す例では、特定被写体として歩行者OBJと対向車CV1,CV2を検出したものとする。画像プロセッサーPROCは、出力する検出信号に、検出した歩行者OBJと対向車CV1,CV2の位置情報(照明領域AR,ALに対する相対的位置情報)を含める。
 検出信号を入力したコントローラーCONTは、それに含められた位置情報に基づいて、分割した照明領域の内、検出した歩行者OBJと対向車CV1,CV2を含む照明領域R1(図4にハッチングで示す)を特定し、それ以外の照明領域R2と区別する。
 照明領域R1と判断する際の特定被写体としては、車両前方の歩行者や対向車に加えて、自車の照明に対して対向する向きでこちらに顔や対向車のフロントが向いているか否かの判断まで可能であれば、それを加えた上で特定被写体を認識しても良い。
 更にコントローラーCONTは、続くステップS105で、駆動回路DRHを介して発光ユニットHLを制御して、最高強度MXから減光させると共に、照明領域R1を第1のパターンで照射すると共に、照明領域R2を第2のパターンで照射する。
 但し、第2のパターンでは周期的に最高強度MXの照射を行うこともできるし、或いは一定強度の照射としても良い。
 尚、1つの分割領域を複数の発光ダイオードLdを用いて照明する場合、同時に点滅させても良いし、一方は発光させたままで残りは点灯/消灯を繰り返すように制御しても良い。
 図6の(a)は、第1のパターンA(一点鎖線)と第2のパターンB(実線)による発光制御を示すタイムチャートであり、縦軸が出射光の光量であり,横軸が時間である。又、図6の(b)は撮像タイミングを示すタイムチャートであり、信号がハイになると撮像、ローになると非撮像になる。
 図6の(a)に示すように、第1のパターンA及び第2のパターンBは,時刻t1から開始され、それぞれ60Hz以上の周期で高光量の照射と低光量の照射(完全な消灯を含む)とを同期して繰り返すものである。このように時間差を小さくする事で、取得した画像(フレーム)間で特定被写体が移動する事が殆どなくなり、後述するように差分を取った際の認識が容易になる。
 ここでは、第1のパターンAの平均光量AV1を、第2のパターンBの平均光量AV2に対して例えば30%以下となるよう、より小さく設定している。これは、照明領域R1内に存在する歩行者OBJや対向車CV1,CV2のドライバーが眩しさを感じる照度未満であり、且つカメラCAにより撮像が可能な照度以上であると好ましい。
 尚、第1のパターンAの周期と第2のパターンBの周期は等しいと好ましいが、例えば互いの周期が±20%以内で近ければ足りる。
 但し、第1のパターンAにおける高光量と低光量との光量差Δ1は、第2のパターンDにおける高光量と低光量との光量差Δ2と略等しい(例えば│(Δ1-Δ2)/Δ2│が0.3以内である)と好ましい。
 これにより、後述する第1差分画像データと第2差分画像データとを合成した際に、階調差が大きく異ならず違和感の少ない合成画像を得ることができる。すなわち、このような照明制御とする事で、差分を取った際の明るさの差が照明領域全体で等しくする事が可能となり、明るさやコントラスト差などが発生しにくくなり、認識・判断の処理がし易くなる。言い換えると、照明領域R2も照明領域R1と同様の周期的照明とする事で、カメラCAによって画像取得する画面全体において、均一の状態でセンシング出来る事になり、センシング結果の認識・判断で、明るさの差を考慮した演算が必要なくなり、処理が軽減されるので望ましい。
 ここで、本実施形態では照明領域の場所に関わらず、同じ強度で全領域を減光又は消灯/点灯しているが、これを運転シーンや環境などによって、個別に明るさを変えるなどしても構わない。
 それによって、ドライバーが運転する際に明るさ差によって認識しにくいものがあった場合でも、個別の制御によりドライバーが認識し易くなるなどの効果を持つ事も可能となる。
 また、第1のパターンAと第2のパターンBの光量差を大きく変えても構わない。その場合には、それぞれの領域での明るさの差の積分値が同じになるように制御すれば、本実施形態と同じ効果を持たせる事が可能となる。
 尚、「光量」とは、発光ユニットHLから所定距離で正対させた仮想スクリーンに対し発光ユニットHLから照射した場合において、当該仮想スクリーンに入射する光の単位面積当たりの光量をいうものとする。「高光量」とは「低光量」より光量が高いことをいい、「低光量」には光量ゼロの場合も含む。又、特定被写体の種類に応じ、例えば歩行者OBJが含まれた照明領域R1と、対向車CV1,CV2が含まれた照明領域R1とで光量を異ならせても良い。
 このようにパターン照明を開始した後、図5のステップS106及びS107で、コントローラーCONTは、駆動回路DRCを介してカメラCAの撮像タイミングを制御する。
 より具体的には、カメラCAは、ステップS106では照明領域R1に対応する撮像領域で、図6の(b)に示すように、発光ユニットHLから高光量の出射が行われたタイミングで撮像を行って明画像データ(第1の画像データ)BDを出力し、且つ発光ユニットHLから低光量の出射が行われたタイミングで撮像を行って暗画像データ(第2の画像データ)DDを出力し、更に画像プロセッサーPROCが、明画像データBDと暗画像データDDとの差分をとって、第1差分画像データ(第3の画像データ)を出力する。
 第1差分画像データによれば、照明領域R1内における自発光する対向車CV1,CV2のヘッドライトなどを有効に排除した画像を得ることができる。
 但し、ヘッドライトHLが高い周波数で明暗の照明を繰り返しているので、1つの明画像データBDと1つの暗画像データDDとの差により得られる画像情報は、非常に小さなものとなる。特に、照明領域R1では歩行者OBJや対向車CV1,CV2のドライバーが眩しさを感じにくい程度に出射光量を低下させているので、光量差Δ1を大きく確保することは困難である。
 そこで、例えばn組の明画像データBDと暗画像データDDを1パケットとして、これらをメモリーMRに記憶した上でそれぞれ加算した上で、両者の差分をとって第1差分画像データとすることが好ましい。
 同様にステップS107では、カメラCAは、照明領域R2に対応する撮像領域で、図6の(b)に示すように、発光ユニットHLから高光量の出射が行われたタイミングで撮像を行って明画像データ(第4の画像データ)BDを出力し、且つ発光ユニットHLから低光量の出射が行われたタイミングで撮像を行って暗画像データ(第5の画像データ)DDを出力し、更に画像プロセッサーPROCが、明画像データBDと暗画像データDDとの差分をとって、第2差分画像データ(第6の画像データ)を出力する。
 ここでも、n組の明画像データBDと暗画像データDDからなる1パケットの画像データを用いるのが好ましい。
 通常、照明領域R2内には歩行者OBJや対向車CV1,CV2が含まれないので、高光量の出射と低光量の出射とを繰り返すタイミングで撮像を行う必要はないともいえるが、このように差分をとることで第2差分画像データ中のノイズ成分が減少し、更には第1差分画像データと合成する際の処理が容易になる。
 尚、ステップS106,S107の実行順序は問わず、並行して行われても良い。
 このようにして2組の第1差分画像データと第2差分画像データが得られたら、ステップS108で、画像プロセッサーPROCが、これらを対応する領域R1,R2の位置に合わせて組み合わせて合成し、1枚の画像に対応した1つの画像データを得る。
 その後、ステップS109にて不図示のディスプレイで、合成された画像データに基づき合成画像を表示すると、表示された合成画像には歩行者OBJや対向車CV1,CV2の像が明瞭に現れるので、ドライバーに適切な注意喚起を行うことができる。
 ドライバーが不図示のスイッチにてヘッドライトHLの照明を停止しなければ(ステップS110で判断NO)、フローはステップS104に戻されて、同様な制御が実行される。一方、ドライバーがヘッドライトHLの照明を停止すると(ステップS110で判断YES)、発光制御を終了する。
 尚、以上述べた実施の形態で1パケットの作成手法であるが、時系列で得られたn組ずつの明画像データと暗画像データを1パケットとする他、最初のパケットは時系列で得られたn組ずつの明画像データと暗画像データを用いるが、2番目のパケットは最初のパケットから1組目(最も古い)の明画像データと暗画像データを除去し、且つ(n+1)組目の明画像データと暗画像データを追加することで作成し、以下同様な手順でパケットを作成してよい。
 本実施の形態によれば、自分の車両VHが照らしてしまう歩行者OBJや対向車CV1,CV2などに対応する分割領域を消灯した際に、こちらから相手が見えなくなって認識が出来なかったり遅れたりしてしまう不具合に対し、相手にとって眩しくない明るさの範囲で、かつ少なくとも自分の車両VHが搭載するカメラCAなどの画像取得出来る程度に減光された照明を行うことによって、相手にとって眩しくない照明としつつ、減光領域(照明領域R1)に含まれる特定被写体のセンシングも可能となる。
 又、得られた画像をヘッドアップディスプレイなどを介してドライバーに視認させれば、ドライバーが早期に特定被写体を認識可能となり、安全な運転に貢献できる。
 またその際に、減光領域を投光する光の強度を周期的に変化させて、比較的明るい照明時の画像と比較的暗い照明時の画像の差分を取る事によって、前方の対向車ヘッドライトや夕日などの逆光の影響を減らす効果などと共に、減光領域の画像取得も可能となり、ドライバーへの伝達が可能となる事で安全な運転が実現できる。
 本発明は、明細書に記載の実施例に限定されるものではなく、他の実施例・変形例を含むことは、本明細書に記載された実施例や思想から本分野の当業者にとって明らかである。
 例えば、本発明の照明撮像装置は、自動車のみならず重機や作業機械の他、飛行機や船舶にも用いることが出来る。
 上述した実施の形態では、照明の周期的変化では2段階に光量を変化させているが、照明する領域の対象やシーンによって光量を多段階に変化させても構わないし、M配列などのコーディングにより変調させてもよく、それにより、同様の機能を持った他車との干渉を最小化できる。
 又、照明する領域の明るさを個々に制御して、対象によって変化させるなど、個別の制御を行っても構わない。
 本発明は、例えば車両に搭載することで安全運転に貢献できる照明撮像装置を提供することに適している。
CA      カメラ
CONT     コントローラー
CV1,CV2    対向車
DRC      駆動回路
DRH      駆動回路
HL      ヘッドライト
HL1,HL2    発光ユニット
LB      出射光
LC      照明撮像装置
Ld      発光ダイオード
MR      画像メモリー
OBJ      被写体(歩行者)
PROC     画像プロセッサー
VH      車両

Claims (8)

  1.  照明領域を複数に分割して照明光を照射する発光部と、
     前記分割された照明領域毎に独立して照明光のパターンを変化させることが可能な発光制御部と、
     前記照明領域内の被写体を撮像して画像データを取得する撮像素子を備えたカメラと、
     前記カメラが取得した画像データを記憶するメモリーと、
     前記カメラが取得した画像データを処理する画像処理部と、
     前記処理された画像データに基づいて、被写体を認識する認識部と、
     前記カメラを制御するカメラ制御部とを有し、
     撮像された被写体が特定被写体であると前記認識部が認識したときは、前記発光制御部は、前記特定被写体が含まれる前記分割された照明領域に対して第1のパターンで照射を行い、且つ前記特定被写体が含まれない前記分割された照明領域に対して第2のパターンで照射を行うように前記発光部を制御し、前記第1のパターンは高光量の照射と低光量の照射とを組み合わせたものであり、前記第1のパターンにおける平均光量は、前記第2のパターンにおける平均光量より低くなっており、
     前記カメラ制御部は、少なくとも前記第1のパターンで照射された照明領域に対応する撮像領域において、前記高光量の照射のタイミングで前記被写体を撮像して第1の画像データを取得し、且つ前記低光量の照射のタイミングで前記被写体を撮像して第2の画像データを取得するように前記カメラを制御し、
     前記画像処理部は、前記第1の画像データと前記第2の画像データとの差分に基づいて第3の画像データを生成する照明撮像装置。
  2.  前記第1のパターンは、高光量の照射と低光量の照射とを周期的に繰り返すものである請求項1に記載の照明撮像装置。
  3.  前記第2のパターンは、高光量の照射と低光量の照射とを周期的に繰り返すものである請求項2に記載の照明撮像装置。
  4.  前記第1のパターンにおける高光量と低光量との光量差は、前記第2のパターンにおける高光量と低光量との光量差に略等しい請求項3に記載の照明撮像装置。
  5.  前記カメラ制御部は、前記第2のパターンで照射された照明領域に対応する撮像領域において、前記高光量の照射のタイミングで前記被写体を撮像して第4の画像データを取得し、且つ前記低光量の照射のタイミングで前記被写体を撮像して第5の画像データを取得するように前記カメラを制御し、前記画像処理部は、前記第4の画像データと前記第5の画像データとの差分に基づいて第6の画像データを生成し、更に前記第1のパターンで照射された照明領域に対応する撮像領域における前記第3の画像データと、前記第2のパターンで照射された照明領域に対応する撮像領域における前記第6の画像データとを合成して、1枚の画像を形成する請求項3又は4に記載の照明撮像装置。
  6.  前記第1のパターンと前記第2のパターンの少なくとも一方は、少なくとも60Hz以上の周期で高光量と低光量の照射を繰り返す請求項2~5のいずれかに記載の照明撮像装置。
  7.  前記特定被写体は人間を含み、前記第1のパターンによる照明は前記人間が眩しさを感じる照度未満、前記カメラで前記人間を撮像可能な照度以上である請求項1~6のいずれかに記載の照明撮像装置。
  8.  前記発光部は、前記分割された照明領域に対応して1又は複数の光源を有し、前記発光制御部の制御に応じて、前記光源毎に前記第1のパターンと前記第2のパターンのいずれかで発光する請求項1~7のいずれかに記載の照明撮像装置。
PCT/JP2018/008438 2017-03-22 2018-03-06 照明撮像装置 WO2018173726A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019507507A JP6939875B2 (ja) 2017-03-22 2018-03-06 照明撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017055815 2017-03-22
JP2017-055815 2017-03-22

Publications (1)

Publication Number Publication Date
WO2018173726A1 true WO2018173726A1 (ja) 2018-09-27

Family

ID=63584273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008438 WO2018173726A1 (ja) 2017-03-22 2018-03-06 照明撮像装置

Country Status (2)

Country Link
JP (1) JP6939875B2 (ja)
WO (1) WO2018173726A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009154615A (ja) * 2007-12-25 2009-07-16 Toyota Motor Corp 車両用照明装置
JP2013119357A (ja) * 2011-12-08 2013-06-17 Toyota Central R&D Labs Inc 照明制御装置
JP2016034785A (ja) * 2014-08-01 2016-03-17 株式会社豊田中央研究所 照明装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009154615A (ja) * 2007-12-25 2009-07-16 Toyota Motor Corp 車両用照明装置
JP2013119357A (ja) * 2011-12-08 2013-06-17 Toyota Central R&D Labs Inc 照明制御装置
JP2016034785A (ja) * 2014-08-01 2016-03-17 株式会社豊田中央研究所 照明装置

Also Published As

Publication number Publication date
JP6939875B2 (ja) 2021-09-22
JPWO2018173726A1 (ja) 2020-02-06

Similar Documents

Publication Publication Date Title
US9732926B2 (en) Illumination system for generating a boundary between a shaded area and an irradiated area
US9688184B2 (en) Vehicle lamp system
US20110074956A1 (en) Device, camera, and method for generating images of the surrounding of a motor vehicle
JP6215882B2 (ja) 車両用灯具および車両灯具システム
JP7111708B2 (ja) 車両用灯具システム、車両用灯具の制御装置及び車両用灯具の制御方法
WO2021112094A1 (ja) 車両検出装置、車両用灯具システム、車両検出方法、配光制御装置および配光制御方法
JP2009154615A (ja) 車両用照明装置
JP2014133441A (ja) 車両の防眩装置
JP6935815B2 (ja) 照明撮像装置
JP2020029196A (ja) 車両用灯具システム、車両用灯具
JP7084392B2 (ja) 車両用灯具システム、車両用灯具の制御装置及び車両用灯具の制御方法
WO2018173726A1 (ja) 照明撮像装置
WO2022131043A1 (ja) 配光制御装置、車両用灯具システムおよび配光制御方法
JP2019116202A (ja) 前照灯制御装置
JP7442522B2 (ja) 車載赤外線照明装置
JP7173780B2 (ja) 車両用灯具
JP2016000615A (ja) 車両用前照灯装置
WO2024034553A1 (ja) 車両用前照灯
JP7310024B2 (ja) 車両用組立体、照明ユニット、車両、及び組立体を備えた車両
WO2021251371A1 (ja) 配光制御装置、車両用灯具システムおよび配光制御方法
JP7467720B2 (ja) 適応型自動車前照灯の制御方法
WO2023106257A1 (ja) 車両用灯具の制御装置、車両用灯具の制御方法、車両用灯具システム
WO2023181816A1 (ja) 配光制御装置、車両用灯具システムおよび配光制御方法
WO2023140368A1 (ja) 車両用前照灯
JP6944310B2 (ja) 特定対象物検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18771979

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019507507

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18771979

Country of ref document: EP

Kind code of ref document: A1