WO2023233564A1 - Headlight control device and headlight control method - Google Patents

Headlight control device and headlight control method Download PDF

Info

Publication number
WO2023233564A1
WO2023233564A1 PCT/JP2022/022243 JP2022022243W WO2023233564A1 WO 2023233564 A1 WO2023233564 A1 WO 2023233564A1 JP 2022022243 W JP2022022243 W JP 2022022243W WO 2023233564 A1 WO2023233564 A1 WO 2023233564A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
headlamp
sight
face
acquired
Prior art date
Application number
PCT/JP2022/022243
Other languages
French (fr)
Japanese (ja)
Inventor
周作 ▲高▼本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2024524058A priority Critical patent/JPWO2023233564A1/ja
Priority to PCT/JP2022/022243 priority patent/WO2023233564A1/en
Publication of WO2023233564A1 publication Critical patent/WO2023233564A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

A headlight control device comprises: a data acquisition unit (21) that acquires face orientation information indicating the direction in which the face of a driver of a vehicle is oriented and line-of-sight information indicating the direction of the driver's line of sight, which are detected from at least one frame image captured of the driver; a difference calculation unit (224) that calculates the difference between the face orientation direction indicated by the acquired face orientation information and the line-of-sight direction indicated by the acquired line-of-sight information; and a headlight angle control unit (226) that controls direction of illumination of a headlight of the vehicle on the basis of the calculated difference, the headlight angle control unit controlling the headlight illumination direction so as to orient the face orientation direction indicated by the acquired face orientation information when the calculated difference is equal to or less than a predetermined threshold value, and controlling the headlight illumination direction so as to orient the line-of-sight direction indicated by the acquired line-of-sight information when the calculated difference exceeds the threshold value.

Description

ヘッドランプ制御装置およびヘッドランプ制御方法Headlamp control device and headlamp control method
　本開示は、ヘッドランプ制御技術に関する。 The present disclosure relates to headlamp control technology.
　特許文献１には、運転席の前方に設けられて運転者の顔面を撮影する撮影手段と、該撮影手段にて求められた顔面画像から前記運転者の顔の向きおよび視線の方向を求める認識手段と、該認識手段により求められた情報に従って運転補助装置の作動を制御する制御手段とを具備した運転操作補助装置であって、該運転補助装置は補助灯であって、該制御手段は該補助灯の照射方向を制御する運転操作補助装置に関する技術が開示されている。より具体的には、顔の向きの動きが大きい場合に補助灯の照射方向を顔の向きに合わせ、その後視線方向がライト照射範囲内でないときに視線方向に基づいて補助等の照射方向を調整する技術が開示されている（特許文献１の段落［００１５］）。このような特許文献１の技術を用いる場合、顔の向きの動きが大きい場合に該当するか否かを判定するためのしきい値を定める必要がある。 Patent Document 1 discloses a photographing means provided in front of the driver's seat for photographing the driver's face, and a recognition device for determining the direction of the driver's face and line of sight from the facial image obtained by the photographing means. and a control means for controlling the operation of the driving assistance device in accordance with the information obtained by the recognition means, the driving assistance device being an auxiliary light, and the control means comprising an auxiliary light. A technique related to a driving assistance device that controls the direction of illumination of an auxiliary light is disclosed. More specifically, when there is a large movement in the direction of the face, the irradiation direction of the auxiliary light is adjusted to match the direction of the face, and then when the line of sight is not within the light irradiation range, the direction of the auxiliary light is adjusted based on the line of sight. A technique is disclosed (paragraph [0015] of Patent Document 1). When using the technique of Patent Document 1, it is necessary to set a threshold value for determining whether or not this applies when the movement of the face direction is large.
特開平９－７６８１５号公報Japanese Patent Application Publication No. 9-76815
　車両の周辺を確認する際、顔をどの程度動かして視線をどの程度動かすかは運転者間で個人差がある。そのため、特許文献１の技術によれば、例えば、顔を大きく動かして視線方向をライト照射範囲外へ向ける運転者の場合と、顔を少しだけ動かして視線方向をライト照射範囲外へ向ける運転者の場合とでは、運転者が同じ対象物を視認しているにも関わらずライトの照射方向が異なることとなる。このように、特許文献１の技術には車両の周辺確認の仕方に関する運転者間の個人差に対処することができないという課題がある。 When checking the surroundings of a vehicle, there are individual differences between drivers in how much they move their faces and how much their line of sight moves. Therefore, according to the technology of Patent Document 1, for example, a driver who moves his/her face a lot and directs his/her line of sight out of the light irradiation range, and a driver who moves his/her face only a little and directs his/her line of sight out of the light irradiation range. In this case, the direction of light irradiation is different even though the driver is viewing the same object. As described above, the technique of Patent Document 1 has a problem in that it cannot deal with individual differences between drivers regarding how to check the surroundings of the vehicle.
　本開示は、このような課題を解決するためになされたものであり、車両の周辺確認の仕方に関する運転者間の個人差に対処できるヘッドランプ制御技術を提供することを目的とする。 The present disclosure has been made to solve such problems, and aims to provide a headlamp control technology that can deal with individual differences between drivers regarding how to check the surroundings of a vehicle.
　本開示の実施形態の一側面によるヘッドランプ制御装置は、車両の運転者が撮像された少なくとも１つのフレーム画像から検出された、前記運転者の顔向き方向を示す顔向き情報および視線方向を示す視線情報を取得するデータ取得部と、その取得された顔向き情報により示される顔向き方向とその取得された視線情報により示される視線方向との差分を算出する差分算出部と、その算出された差分に基づいて、前記車両のヘッドランプの照射方向を制御するヘッドランプ角度制御部と、を備え、前記ヘッドランプ角度制御部は、前記算出された差分が予め定められたしきい値以下の場合には前記ヘッドランプの照射方向を前記取得された顔向き情報により示される顔向き方向を向くように制御し、前記算出された差分が前記しきい値を超える場合には前記ヘッドランプの照射方向を前記取得された視線情報により示される視線方向を向くように制御する。 A headlamp control device according to an aspect of an embodiment of the present disclosure includes face orientation information indicating a direction in which the driver of a vehicle is facing, detected from at least one frame image in which the driver of the vehicle is imaged, and a line-of-sight direction. a data acquisition unit that acquires gaze information; a difference calculation unit that calculates a difference between the face direction indicated by the acquired face orientation information and the gaze direction indicated by the acquired gaze information; a headlamp angle control section that controls the irradiation direction of the headlights of the vehicle based on the difference, and the headlamp angle control section controls the headlamp angle control section when the calculated difference is less than or equal to a predetermined threshold. The irradiation direction of the headlamp is controlled so as to face the face direction indicated by the acquired face orientation information, and if the calculated difference exceeds the threshold, the irradiation direction of the headlamp is controlled. is controlled so that it faces in the line-of-sight direction indicated by the acquired line-of-sight information.
　本開示の実施形態によるヘッドランプ制御装置によれば、車両の周辺確認の仕方に関する運転者間の個人差に対処できる。 According to the headlamp control device according to the embodiment of the present disclosure, it is possible to deal with individual differences between drivers regarding how to check the surroundings of the vehicle.
ヘッドランプ制御装置およびヘッドランプ制御システムの構成例を示す図である。1 is a diagram showing a configuration example of a headlamp control device and a headlamp control system. ヘッドランプ制御装置のハードウェアの構成例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of a headlamp control device. ヘッドランプ制御装置のハードウェアの構成例を示す図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of a headlamp control device. ヘッドランプ制御装置の動作例を示すフローチャートである。3 is a flowchart illustrating an example of the operation of the headlamp control device. ヘッドランプ制御装置の動作例を示すフローチャートである。3 is a flowchart illustrating an example of the operation of the headlamp control device. ヘッドランプ制御装置の動作例を説明するための図である。FIG. 3 is a diagram for explaining an example of the operation of the headlamp control device.
　以下、添付の図面を参照して、本開示における種々の実施形態について詳細に説明する。なお、図面において同一または類似の符号を付された構成要素は、同一または類似の構成または機能を有するものであり、そのような構成要素についての重複する説明は省略する。 Hereinafter, various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. Note that components given the same or similar symbols in the drawings have the same or similar configurations or functions, and overlapping explanations of such components will be omitted.
実施の形態１．
＜構成＞
　図１および図２を参照して、本開示の実施の形態１によるヘッドランプ制御装置２０の構成について説明する。図１は、ヘッドランプ制御装置２０およびヘッドランプ制御装置２０を含むヘッドランプ制御システムの構成例を示す図である。図１に示されているように、ヘッドランプ制御装置２０は、検出装置１０およびヘッドランプ３０に接続され、ヘッドランプ制御装置２０、検出装置１０およびヘッドランプ３０がヘッドランプ制御システムを構成する。ヘッドランプ制御装置２０は、検出装置１０から車両の運転者の顔向き方向および視線方向を示す情報を取得し、取得した情報に基づいてヘッドランプ３０の照射方向を制御する制御情報を出力する。 Embodiment 1.
<Configuration>
The configuration of headlamp control device 20 according to Embodiment 1 of the present disclosure will be described with reference to FIGS. 1 and 2. FIG. 1 is a diagram showing a configuration example of a headlamp control device 20 and a headlamp control system including the headlamp control device 20. As shown in FIG. As shown in FIG. 1, the headlamp control device 20 is connected to the detection device 10 and the headlamp 30, and the headlamp control device 20, the detection device 10, and the headlamp 30 constitute a headlamp control system. The headlamp control device 20 acquires information indicating the direction in which the driver of the vehicle faces and the line of sight from the detection device 10, and outputs control information for controlling the irradiation direction of the headlamp 30 based on the acquired information.
（検出装置）
　検出装置１０は、不図示のカメラにより撮像された複数のフレームの画像から、各フレームの画像について運転者の顔向き方向および視線方向を検出する装置である。なお、以下、あるフレームの画像を「フレーム画像」と称する場合がある。顔向き方向および視線方向の検出は、特許文献１等に開示されている公知の方法を用いて行われる。検出装置１０は、ヘッドランプ制御装置２０に接続され、各フレーム画像について、フレームを識別するためのフレーム情報、並びに検出した顔向き方向を示す顔向き情報および視線方向を示す視線情報を出力する。なお、視線情報には、左右両目の各々の視線方向が含まれてもよい。 (Detection device)
The detection device 10 is a device that detects the driver's face direction and gaze direction for each frame image from a plurality of frame images captured by a camera (not shown). Note that hereinafter, an image of a certain frame may be referred to as a "frame image." Detection of the direction of the face and the direction of the line of sight is performed using a known method disclosed in Patent Document 1 and the like. The detection device 10 is connected to the headlamp control device 20, and outputs, for each frame image, frame information for identifying the frame, face direction information indicating the detected face direction, and line-of-sight information indicating the direction of the line of sight. Note that the line-of-sight information may include the line-of-sight direction of each of the left and right eyes.
（ヘッドランプ制御装置）
　ヘッドランプ制御装置２０は、検出装置１０から出力された、フレーム情報、顔向き情報、および視線情報に基づいて、ヘッドランプ３０が光を照射する方向を制御する。この制御を行うため、ヘッドランプ制御装置２０は、データ取得部２１と、ヘッドランプ制御部２２とを備える。ヘッドランプ制御部２２は、視線方向平均化部２２１と、視線方向判定部２２２と、顔向き方向判定部２２３と、差分算出部２２４と、視線復帰判定部２２５と、ヘッドランプ角度制御部２２６とを備える。ヘッドランプ制御部２２を構成する各機能部が処理する情報または処理された情報は、各機能部間で直接伝送されてもよいし、不図示のＲＡＭ（random　access　memory）に一時的に保存して適宜参照されてもよい。 (Headlamp control device)
The headlamp control device 20 controls the direction in which the headlamp 30 emits light based on the frame information, face direction information, and line of sight information output from the detection device 10. In order to perform this control, the headlamp control device 20 includes a data acquisition section 21 and a headlamp control section 22. The headlamp control unit 22 includes a line-of-sight direction averaging unit 221, a line-of-sight direction determination unit 222, a face direction determination unit 223, a difference calculation unit 224, a line-of-sight return determination unit 225, and a headlamp angle control unit 226. Equipped with. Information processed by or processed information by each functional unit constituting the headlamp control unit 22 may be directly transmitted between each functional unit, or may be temporarily stored in a RAM (random access memory) not shown. may be referred to as appropriate.
（データ取得部）
　データ取得部２１は、検出装置１０から出力された、フレーム情報、顔向き情報、および視線情報を取得する。 (Data acquisition section)
The data acquisition unit 21 acquires frame information, face direction information, and line of sight information output from the detection device 10.
（視線方向平均化部）
　視線方向平均化部２２１は、データ取得部２１により取得された情報に基づいて、時間的に連続する複数のフレーム画像について、複数の視線方向を平均化する処理を行う。例えば、時間的に連続する複数のフレームの画像の視線方向の和をフレームの数で除することにより、複数の視線方向の値を平均化する。複数の視線方向の値を平均化することにより、視線方向に基づいた処理を安定して行うことができる。平均化処理は、例えば、２フレーム、５フレーム、１０フレーム、３０フレーム、６０フレーム等の任意のフレームの数に亘って行う。平均化処理により算出される視線方向については追従性と安定性がトレードオフの関係にあり、平均化を行うフレームの数がより多くなるほど、視線方向の安定性がより高まるが、逆に追従性はより低減する。追従性と安定性のバランスを考慮して、平均化処理を行うフレームの数は定められる。なお、視線方向平均化部２２１は任意的機能部であり、ヘッドランプ制御部２２は視線方向平均化部２２１を備えていなくてもよい。視線方向平均化部２２１は、視線方向の平均化処理により得られた視線方向を、平均視線方向として出力する。 (Line-of-sight direction averaging section)
The line-of-sight direction averaging unit 221 performs a process of averaging a plurality of line-of-sight directions for a plurality of temporally consecutive frame images based on the information acquired by the data acquisition unit 21. For example, the values of the plurality of viewing directions are averaged by dividing the sum of the viewing directions of images of a plurality of temporally consecutive frames by the number of frames. By averaging the values of a plurality of line-of-sight directions, processing based on the line-of-sight direction can be performed stably. The averaging process is performed over an arbitrary number of frames, such as 2 frames, 5 frames, 10 frames, 30 frames, 60 frames, etc., for example. Regarding the line-of-sight direction calculated by averaging processing, there is a trade-off between followability and stability; the more frames that are averaged, the more stable the line-of-sight direction becomes; will be further reduced. The number of frames to be averaged is determined in consideration of the balance between followability and stability. Note that the line-of-sight direction averaging section 221 is an optional functional section, and the headlamp control section 22 does not need to include the line-of-sight direction averaging section 221. The line-of-sight direction averaging unit 221 outputs the line-of-sight direction obtained by the line-of-sight direction averaging process as an average line-of-sight direction.
（視線方向判定部）
　視線方向判定部２２２は、視線方向が、予め定められた所定の方向を向いているかどうかを判定する機能部である。視線方向の平均化処理が行われた場合は、視線方向判定部２２２は、平均視線方向が、予め定められた所定の方向を向いているかどうかを判定する。所定の方向の例には、リアビューミラー、ナビゲーション装置、各種メータ等の車内設備が含まれる。運転者がこのような車内設備を見ている場合、運転者は車両の窓越しに車両の周囲を直接確認しているわけではない。したがって、運転者がそのような車内設備を見ている場合には、顔向き方向と視線方向との差分がしきい値を超える場合であっても、ヘッドランプを視線方向に追従して制御することは適当でない。視線方向判定部２２２を備えることにより、運転者がそのような車内設備を見ている場合には、ヘッドランプの照射方向が視線方向に追従しないように制御を行うことが可能となる。 (Line-of-sight direction determination unit)
The line-of-sight direction determination unit 222 is a functional unit that determines whether the line-of-sight direction is in a predetermined direction. When the line-of-sight direction averaging process is performed, the line-of-sight direction determining unit 222 determines whether the average line-of-sight direction is pointing in a predetermined direction. Examples of the predetermined direction include in-vehicle equipment such as a rear view mirror, a navigation device, and various meters. When the driver is looking at such in-vehicle equipment, the driver is not directly checking the surroundings of the vehicle through the window of the vehicle. Therefore, when the driver is looking at such in-vehicle equipment, the headlights are controlled to follow the direction of the line of sight even if the difference between the direction of the driver's face and the direction of the line of sight exceeds a threshold. That's not appropriate. By providing the line-of-sight direction determination unit 222, when the driver is looking at such in-vehicle equipment, it is possible to perform control so that the irradiation direction of the headlamp does not follow the line-of-sight direction.
　一例として、視線方向がどこを向いているかの判定は、左右両目の視線方向が成す輻輳角を用いることにより行うことができる。他の例として、視線方向がどこを向いているかの判定は、左右いずれかの目の視線方向がある特定の方向を向いたことを検出することにより行ってもよい。 As an example, the direction of the line of sight can be determined by using the convergence angle formed by the line of sight directions of the left and right eyes. As another example, the direction of the line of sight may be determined by detecting that the line of sight of either the left or right eye is facing in a specific direction.
　視線方向判定部２２２を備えることにより、顔向き方向と視線方向との差分がしきい値を超えるときであっても、顔向き方向へヘッドライト角度を向ける制御を行うことが可能となる。 By providing the line-of-sight direction determination unit 222, it is possible to perform control to direct the headlight angle in the direction toward the face even when the difference between the direction of the face and the direction of the line-of-sight exceeds a threshold value.
（顔向き方向判定部）
　顔向き方向判定部２２３は、ヘッドランプ３０が視線方向に従って制御されているか否かを判定し、ヘッドランプ３０が視線方向に従って制御されていない場合には、現在のフレーム画像の顔向き方向が予め定められた一定の範囲内か否かを判定する機能部である。一例として、顔向き方向判定部２２３は、このような判定を、ヘッドランプ３０の視線方向への制御が行われている場合であって、新たに取得されたフレーム画像（第１の新たなフレーム画像）から視線情報が取得されず且つ顔向き情報が取得されたときに行う。新たなフレーム画像から取得された顔向き方向が、最後に視線情報が取得されたフレーム画像、即ち実行中の視線方向への制御の基礎となったフレーム画像から取得された顔向き方向から予め定められた一定の範囲内の場合、運転者は視線をあまり動かしていないと考えられる。そこで、このような例においては、最後に視線情報が取得されたフレーム画像の視線方向に従った制御を継続することが適当であると考えられる。視線方向の平均化処理が行われた場合は、最後に視線情報を取得できたフレーム画像を用いて算出された平均視線方向に従った制御を継続してもよい。他方、現在のフレーム画像の顔向き方向が予め定められた一定の範囲内でない場合、ヘッドランプ３０の照射方向を現在のフレーム画像の顔向き方向となるように制御を行ってもよい。一定の範囲は、例えば±１度であるが、その他の角度範囲であってもよい。顔向き方向判定部２２３は、新たなフレーム画像から取得された顔向き方向が一定の範囲内であるか否かを示す情報を顔向き判定情報として出力する。顔向き判定情報には、ヘッドランプ３０が視線方向に従って制御されているか否かの判定結果を示す情報が含まれていてもよい。 (Face direction determination unit)
The face direction determining unit 223 determines whether the headlamp 30 is controlled according to the line of sight direction, and if the headlamp 30 is not controlled according to the line of sight direction, the face direction of the current frame image is determined in advance. This is a functional unit that determines whether or not it is within a predetermined range. As an example, the face orientation determination unit 223 makes such a determination when the headlamp 30 is controlled in the line of sight direction, and when the headlamp 30 is controlled in the direction of the line of sight, This is performed when line-of-sight information is not acquired from the image) and face orientation information is acquired. The face direction acquired from the new frame image is predetermined from the face direction acquired from the frame image in which gaze information was acquired last, that is, the frame image that served as the basis for the control of the gaze direction during execution. If the distance is within a certain range, it is considered that the driver does not move his/her line of sight very much. Therefore, in such an example, it is considered appropriate to continue control according to the line-of-sight direction of the frame image for which line-of-sight information was acquired last. If the averaging process for the line-of-sight direction is performed, control may be continued in accordance with the average line-of-sight direction calculated using the frame image for which line-of-sight information was last acquired. On the other hand, if the face direction of the current frame image is not within a predetermined range, the irradiation direction of the headlamp 30 may be controlled to match the face direction of the current frame image. The certain range is, for example, ±1 degree, but may be any other angle range. The face orientation determination unit 223 outputs information indicating whether the face orientation acquired from the new frame image is within a certain range as face orientation determination information. The face direction determination information may include information indicating a determination result as to whether the headlamp 30 is controlled according to the line of sight direction.
（差分算出部）
　差分算出部２２４は、顔向き方向と視線方向の差分を算出する。視線方向の平均化処理が行われた場合は、現在のフレーム画像の顔向き方向と、平均視線方向との差分を算出する。顔向きおよび視線の方向は、例えば、車両の正面方向から右方向（＋方向）または左方向（－方向）への偏差角度として定義することができる。顔向き方向が＋３度で視線方向が＋５度の場合、差分は２度である。顔向き方向が－２度で視線方向が－６度の場合、差分は４度である。差分算出部２２４は、算出した差分を示す情報を差分情報として出力する。 (Difference calculation part)
The difference calculation unit 224 calculates the difference between the face direction and the gaze direction. If the averaging process of the line-of-sight direction is performed, the difference between the face direction of the current frame image and the average line-of-sight direction is calculated. The face direction and line of sight direction can be defined, for example, as a deviation angle from the front direction of the vehicle to the right direction (+ direction) or left direction (- direction). If the face direction is +3 degrees and the gaze direction is +5 degrees, the difference is 2 degrees. If the face direction is -2 degrees and the gaze direction is -6 degrees, the difference is 4 degrees. The difference calculation unit 224 outputs information indicating the calculated difference as difference information.
（視線復帰判定部）
　視線復帰判定部２２５は、あるフレーム画像（第１の新たなフレーム画像）から視線方向が取得されなかった後、そのフレーム画像より時間的に後のフレーム画像（第２の新たなフレーム画像）から視線方向が取得された場合において、その後のフレーム画像（第２の新たなフレーム画像）から取得された視線方向が最後に取得された視線方向または最後に算出された平均視線方向と同じ方向であるかを判定する機能部である。端的には、視線復帰判定部２２５は、視線方向が喪失されて復帰した場合に、復帰した視線方向がどこから復帰したかを判定する機能部である。すなわち、視線復帰判定部２２５は、あるフレーム画像について視線方向を示す視線情報を取得できなかった場合において、後続するフレーム画像から視線方向を示す視線情報を取得できた場合、後の視線方向が、視線方向喪失時の直前のフレーム画像の視線方向（最後に取得された視線方向）と同一方向か否かを判定する。同一か否かの判定は、両視線方向が相対的に一定の角度範囲内であれば同一と判定する。一定の角度範囲は例えば±３度であるが、その他の角度範囲であってもよい。このような判定を行うために、視線方向を示す情報は不図示のＲＡＭに保持され、視線復帰判定部２２５は視線復帰の判定を行う際に、最後に取得された視線情報、即ち視線方向を取得できなかったフレーム画像の直前のフレーム画像の視線方向を示す視線情報をＲＡＭを参照して取得する。視線復帰判定部２２５は、復帰した視線方向が最後に取得された視線方向または最後に算出された平均視線方向と同じ方向であるかを示す情報を視線復帰情報として出力する。 (Line-of-sight return determination unit)
After the line-of-sight direction is not acquired from a certain frame image (first new frame image), the line-of-sight return determination unit 225 determines whether the line-of-sight direction is acquired from a frame image temporally later than that frame image (second new frame image). In the case where the gaze direction is acquired, the gaze direction acquired from a subsequent frame image (second new frame image) is the same direction as the last acquired gaze direction or the last calculated average gaze direction. This is a functional unit that determines whether In short, the line-of-sight return determining unit 225 is a functional unit that determines from where the line-of-sight direction has returned when the line-of-sight direction has been lost and has returned. In other words, when the line-of-sight return determination unit 225 is unable to acquire line-of-sight information indicating the line-of-sight direction for a certain frame image, but is able to acquire line-of-sight information indicating the line-of-sight direction from a subsequent frame image, the subsequent line-of-sight direction is It is determined whether the line of sight direction is the same as the line of sight direction of the frame image immediately before the line of sight direction was lost (the line of sight direction acquired last). It is determined whether or not they are the same if both line-of-sight directions are within a relatively fixed angular range. The fixed angular range is, for example, ±3 degrees, but may be any other angular range. In order to make such a determination, information indicating the line-of-sight direction is held in a RAM (not shown), and the line-of-sight return determination unit 225 uses the last obtained line-of-sight information, that is, the line-of-sight direction, when determining line-of-sight return. The line-of-sight information indicating the line-of-sight direction of the frame image immediately before the frame image that could not be acquired is acquired with reference to the RAM. The gaze return determination unit 225 outputs information indicating whether the restored gaze direction is the same as the last acquired gaze direction or the last calculated average gaze direction as gaze return information.
（ヘッドランプ角度制御部）
　ヘッドランプ角度制御部２２６は、差分情報、顔向き判定情報または視線復帰情報に基づいて、ヘッドランプ３０をスイブル制御する。なお、スイブル制御とは、光を左右方向に振る制御を意味する用語である。 (Headlamp angle control section)
The headlamp angle control unit 226 swivel-controls the headlamp 30 based on the difference information, face direction determination information, or line of sight return information. Note that swivel control is a term meaning control that swings light in left and right directions.
　ヘッドランプ角度制御部２２６は、差分算出部２２４により算出された差分が予め定められたしきい値以下の場合、ヘッドランプ３０の照射方向を顔向き方向へ向け、そのしきい値を超える場合、ヘッドランプ３０の照射方向を視線方向へ向ける制御を行う。図５のＣ２～Ｃ４の例は顔向き方向と視線方向の差分がしきい値以下の場合を示しており、これらの場合には、ヘッドランプ角度制御部２２６はヘッドランプ３０の照射方向を顔向き方向へ向ける制御を行う。図５のＣ１およびＣ５の例は顔向き方向と視線方向の差分がしきい値を超える場合を示しており、これらの場合には、ヘッドランプ角度制御部２２６はヘッドランプ３０の照射方向を視線方向へ向ける制御を行う。 The headlamp angle control unit 226 directs the irradiation direction of the headlamp 30 toward the face when the difference calculated by the difference calculation unit 224 is less than or equal to a predetermined threshold, and when the difference exceeds the threshold, Control is performed to direct the irradiation direction of the headlamp 30 toward the line of sight. Examples C2 to C4 in FIG. 5 show cases where the difference between the direction of the face and the direction of the line of sight is less than the threshold value. In these cases, the headlamp angle control unit 226 changes the irradiation direction of the headlamp 30 to Performs direction control. Examples C1 and C5 in FIG. 5 show cases where the difference between the face direction and the line-of-sight direction exceeds a threshold, and in these cases, the headlamp angle control unit 226 changes the irradiation direction of the headlamp 30 to the line-of-sight direction. Perform direction control.
　ヘッドランプ３０の照射方向の制御はフレーム単位で行う。しきい値は、一例として、２度から６度の範囲の任意の角度である。しきい値は、一例として、３度から５度の範囲の任意の角度である。例えば、しきい値は４度である。しきい値は、これらの範囲外の角度であってもよい。なお、しきい値の上限は、目が動いて視線方向が左または右へ振れることのできる範囲の上限の角度である。具体的には、しきい値の上限は９０度である。 Control of the irradiation direction of the headlamp 30 is performed on a frame-by-frame basis. The threshold value is, by way of example, any angle in the range of 2 degrees to 6 degrees. The threshold value is, for example, any angle in the range of 3 degrees to 5 degrees. For example, the threshold is 4 degrees. The threshold may be an angle outside these ranges. Note that the upper limit of the threshold value is the upper limit angle of the range in which the eye can move to the left or right. Specifically, the upper limit of the threshold is 90 degrees.
　また、しきい値は、顔向きの角度に応じて可変であってもよい。例えば、運転者が車両のＡピラー付近に設けられているサイドミラーを見て後方車両を視認する場合、顔を車両の正面方向から２度逸らし、視線を顔向きの方向から６～７度更に逸らす場合がある。このような場合を想定すると、顔向き方向と視線方向の差分として、４～５度のしきい値を設定することが考えられる。これに対し、急なコーナーを走行する場合、運転者は車両の正面方向から見てサイドミラーよりも離れた位置を視認する場合がある。このような場合においては、運転者は顔を５度逸らし、視線を顔向きの方向から２～３度更に逸らす場合がある。このような場合を想定すると、顔向き方向と視線方向の差分として、２～３度のしきい値を設定することが考えられる。そこで、しきい値を顔向きの角度に応じて可変とすることにより、ヘッドランプの適切な照射が可能となる。 Additionally, the threshold value may be variable depending on the angle of the face. For example, when a driver looks at the side mirror installed near the A-pillar of the vehicle to see the vehicle behind, he turns his face away from the front of the vehicle by 2 degrees, and then moves his line of sight 6 to 7 degrees further from the direction in which he is facing. It may be deflected. Assuming such a case, it is conceivable to set a threshold value of 4 to 5 degrees as the difference between the direction of the face and the direction of the line of sight. On the other hand, when driving around a sharp corner, the driver may see a position further away than the side mirror when viewed from the front of the vehicle. In such a case, the driver may turn his/her head away by 5 degrees and may further turn his or her line of sight 2 to 3 degrees away from the direction in which the driver is facing. Assuming such a case, it is conceivable to set a threshold value of 2 to 3 degrees as the difference between the direction of the face and the direction of the line of sight. Therefore, by making the threshold value variable depending on the angle of the face, appropriate irradiation with the headlamp becomes possible.
　また、顔向き判定情報が新たなフレーム画像から取得された顔向き方向が一定の範囲内であることを示す場合、ヘッドランプ角度制御部２２６は、最後に視線情報が取得されたフレーム画像の視線方向に従った制御を継続する。すなわち、ヘッドランプ角度制御部２２６は、ヘッドランプ３０の照射方向を最後に視線情報が取得されたフレーム画像の視線方向に向けるように制御する。他方、顔向き判定情報が新たなフレーム画像から取得された顔向き方向が一定の範囲内でないことを示す場合、ヘッドランプ角度制御部２２６は、ヘッドランプ３０の照射方向を現在のフレーム画像の顔向き方向となるように制御する。顔向き判定情報によりヘッドランプ３０が視線方向に従って制御されていない旨の判定結果が示される場合も、ヘッドランプ角度制御部２２６は、ヘッドランプ３０の照射方向を現在のフレーム画像の顔向き方向となるように制御してよい。 Further, when the face direction determination information indicates that the face direction acquired from the new frame image is within a certain range, the headlamp angle control unit 226 Continue control according to direction. That is, the headlamp angle control unit 226 controls the irradiation direction of the headlamp 30 to point in the line-of-sight direction of the frame image for which line-of-sight information was acquired last. On the other hand, if the face direction determination information indicates that the face direction acquired from the new frame image is not within a certain range, the headlamp angle control unit 226 changes the irradiation direction of the headlamp 30 to the face of the current frame image. Control so that the direction is the same. Even when the face direction determination information indicates that the headlamp 30 is not controlled according to the line of sight direction, the headlamp angle control unit 226 sets the irradiation direction of the headlamp 30 to the face direction of the current frame image. You can control it so that
　また、視線復帰情報により、復帰した視線方向が最後に取得された視線方向または最後に算出された平均視線方向と同じ方向であることが示される場合、ヘッドランプ角度制御部２２６は、ヘッドランプ３０を最後に取得された視線方向または最後に算出された平均視線方向を向くように制御する。他方、視線復帰情報により、復帰した視線方向が最後に取得された視線方向または最後に算出された平均視線方向と同じ方向でないことが示される場合、ヘッドランプ角度制御部２２６は、ヘッドランプ３０を現在のフレーム画像から取得された顔向き方向を向くように制御する。 Further, when the line-of-sight return information indicates that the line-of-sight direction that has returned is the same as the last-acquired line-of-sight direction or the last calculated average line-of-sight direction, the headlamp angle control unit 226 controls the headlamp 30 control to point in the last acquired line-of-sight direction or the last calculated average line-of-sight direction. On the other hand, if the line-of-sight return information indicates that the returned line-of-sight direction is not the same as the last-obtained line-of-sight direction or the last calculated average line-of-sight direction, the headlamp angle control unit 226 adjusts the headlamp 30. The face is controlled to face in the direction acquired from the current frame image.
（ヘッドランプ）
　ヘッドランプ３０は、例えば補助光ランプまたはハイビームランプであるが、ロービームランプであってもよい。ヘッドランプ３０は、ヘッドランプ制御装置２０による制御の下で光を照射する方向がスイブル制御される。 (head lamp)
The headlamp 30 is, for example, an auxiliary light lamp or a high beam lamp, but may also be a low beam lamp. The direction in which the headlamp 30 emits light is swivel-controlled under the control of the headlamp control device 20.
　次に、図２Ａおよび図２Ｂを参照して、ヘッドランプ制御装置２０のハードウェアの構成例について説明する。ヘッドランプ制御装置２０の各機能部は、処理回路（processing　circuitry）により実現される。処理回路（processing　circuitry）は、図２Ａに示されているようなメモリ１０２に格納されるプログラムを実行するプロセッサ１０１であっても、図２Ｂに示されているような専用の処理回路（processing　circuit）１０３であってもよい。 Next, an example of the hardware configuration of the headlamp control device 20 will be described with reference to FIGS. 2A and 2B. Each functional section of the headlamp control device 20 is realized by a processing circuit. A processing circuit may be a processor 101 that executes a program stored in a memory 102 as shown in FIG. 2A, or a dedicated processing circuit as shown in FIG. 2B. )103.
　処理回路（processing　circuitry）がプロセッサ１０１の場合、ヘッドランプ制御装置２０の各機能部は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアおよびファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。メモリ１０２の例には、ＲＡＭ（random　access　memory）、ＲＯＭ（read-only　memory）、フラッシュメモリ、ＥＰＲＯＭ（erasable　programmable　read　only　memory）、ＥＥＰＲＯＭ（electrically　erasable　programmable　read-only　memory）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤが含まれる。 When the processing circuit is the processor 101, each functional section of the headlamp control device 20 is realized by software, firmware, or a combination of software and firmware. Software and firmware are written as programs and stored in memory 102. The processor 101 implements the functions of each section by reading and executing programs stored in memory. Examples of the memory 102 include non-volatile or Includes volatile semiconductor memory, magnetic disks, flexible disks, optical disks, compact disks, minidisks, and DVDs.
　処理回路（processing　circuitry）が専用の処理回路１０３である場合、専用の処理回路１０３は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（application　specific　integrated　circuit）、ＦＰＧＡ（field-programmable　gate　array）、またはこれらを組み合わせたものが該当する。ヘッドランプ制御装置２０の各機能部を別個の複数の処理回路（processing　circuits）で実現してもよいし、各機能部をまとめて単一の処理回路（processing　circuit）で実現してもよい。 When the processing circuit is a dedicated processing circuit 103, the dedicated processing circuit 103 can be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, or an application specific integrated circuit (ASIC). , FPGA (field-programmable gate array), or a combination of these. Each functional part of the headlamp control device 20 may be realized by a plurality of separate processing circuits, or each functional part may be realized by a single processing circuit.
　なお、ヘッドランプ制御装置２０の機能部の一部を専用のハードウェアで実現し、その他の機能部をソフトウェアまたはファームウェアで実現するようにしてもよい。 Note that some of the functional units of the headlamp control device 20 may be implemented using dedicated hardware, and other functional units may be implemented using software or firmware.
＜動作＞
　次に、図３および図４を参照して、ヘッドランプ制御装置２０の動作について説明する。 <Operation>
Next, the operation of the headlamp control device 20 will be described with reference to FIGS. 3 and 4.
　ステップＳＴ１において、データ取得部２１は、検出装置１０から出力された、フレーム情報、顔向き情報、および視線情報を取得する。 In step ST1, the data acquisition unit 21 acquires frame information, face direction information, and line of sight information output from the detection device 10.
　視線情報が取得された場合（ステップＳＴ２においてＹｅｓの場合）、ステップＳＴ３において、視線方向平均化部２２１は、データ取得部２１により取得された情報に基づいて、時間的に連続する複数のフレーム画像について、視線方向を平均化する処理を行う。ヘッドランプ制御装置２０の起動直後に取得された最初のフレーム画像については、ステップＳＴ３の処理は行われない。また、ステップＳＴ３の処理は任意の処理であるので、スキップされてもよい。 If the line-of-sight information is acquired (Yes in step ST2), in step ST3, the line-of-sight direction averaging unit 221 calculates a plurality of temporally consecutive frame images based on the information acquired by the data acquisition unit 21. , the line of sight direction is averaged. The process of step ST3 is not performed on the first frame image acquired immediately after the headlamp control device 20 is started. Further, since the process of step ST3 is an arbitrary process, it may be skipped.
　ステップＳＴ４において、差分算出部２２４は、顔向き方向と視線方向の差分を算出する。この視線方向は、視線方向の平均化処理が行われなかった場合は現在のフレーム画像の視線方向であり、視線方向の平均化処理が行われた場合は平均視線方向である。 In step ST4, the difference calculation unit 224 calculates the difference between the face direction and the gaze direction. This line-of-sight direction is the line-of-sight direction of the current frame image if the line-of-sight direction averaging process is not performed, and is the average line-of-sight direction if the line-of-sight direction averaging process is performed.
　ステップＳＴ５において、ヘッドランプ角度制御部２２６は、差分算出部２２４により算出された差分が、予め定められたしきい値以下か否かを判定する。 In step ST5, the headlamp angle control section 226 determines whether the difference calculated by the difference calculation section 224 is less than or equal to a predetermined threshold value.
　差分がそのしきい値以下の場合、ステップＳＴ６において、ヘッドランプ角度制御部２２６は、ヘッドランプ３０の照射方向を顔向き方向へ向ける制御を行う。 If the difference is less than or equal to the threshold, in step ST6, the headlamp angle control unit 226 controls the irradiation direction of the headlamp 30 to face the user's face.
　差分がそのしきい値以下でない場合、ステップＳＴ７において、視線方向判定部２２２は、現在のフレーム画像の視線方向または平均視線方向が、予め定められた所定の方向を向いているかどうかを判定する。所定の方向の例には、リアビューミラー、ナビゲーション装置、各種メータ等の車内設備が含まれる。 If the difference is not less than the threshold, in step ST7, the line-of-sight direction determining unit 222 determines whether the line-of-sight direction or the average line-of-sight direction of the current frame image points in a predetermined direction. Examples of the predetermined direction include in-vehicle equipment such as a rear view mirror, a navigation device, and various meters.
　視線方向または平均視線方向が予め定められた所定の方向を向いている場合、処理はステップＳＴ６へ進む。 If the line-of-sight direction or the average line-of-sight direction is pointing in a predetermined direction, the process proceeds to step ST6.
　視線方向または平均視線方向が予め定められた所定の方向を向いていない場合、ステップＳＴ８において、は、ヘッドランプ角度制御部２２６は、ヘッドランプ３０の照射方向を視線方向または平均視線方向へ向ける制御を行う。 When the line-of-sight direction or the average line-of-sight direction does not point in the predetermined direction, in step ST8, the headlamp angle control unit 226 controls the irradiation direction of the headlamp 30 to be directed to the line-of-sight direction or the average line-of-sight direction. I do.
　他方、視線情報が取得されなかった場合（ステップＳＴ２においてＮｏの場合）、ステップＳＴ９－１において、顔向き方向判定部２２３は、ヘッドランプ３０の照射方向が視線方向へ向くように制御されているか否かを判定する。 On the other hand, if line-of-sight information is not acquired (No in step ST2), in step ST9-1, the face direction determination unit 223 determines whether the irradiation direction of the headlamp 30 is controlled to face the line-of-sight direction. Determine whether or not.
　ヘッドランプ３０の照射方向が視線方向へ向くように制御されている場合（ステップＳＴ９－１においてＹｅｓの場合）、ステップＳＴ９－２において、顔向き方向判定部２２３は、現在のフレーム画像の顔向き方向が、前のフレーム画像の顔向き方向から予め定められた一定の範囲内か否かを判定する。すなわち、現在のフレーム画像の顔向き方向が、最後に視線情報を取得できたフレーム画像の顔向き方向から予め定められた一定の範囲内か否かを判定する。 If the irradiation direction of the headlamp 30 is controlled to face the line of sight direction (Yes in step ST9-1), in step ST9-2, the face direction determination unit 223 determines the face direction of the current frame image. It is determined whether the direction is within a predetermined range from the face direction of the previous frame image. That is, it is determined whether the face direction of the current frame image is within a predetermined range from the face direction of the frame image for which line of sight information was last acquired.
　現在のフレーム画像の顔向き方向が予め定められた一定の範囲内である場合、ステップＳＴ１０において、ヘッドランプ角度制御部２２６は、ヘッドランプ３０の照射方向を前のフレーム画像の視線方向へ向ける制御を行う。すなわち、ヘッドランプ３０の照射方向を最後に取得された視線方向へ向ける制御を行う。 If the face orientation direction of the current frame image is within a predetermined range, in step ST10, the headlamp angle control unit 226 controls to direct the irradiation direction of the headlamp 30 toward the line-of-sight direction of the previous frame image. I do. That is, control is performed to direct the irradiation direction of the headlamp 30 toward the last acquired line-of-sight direction.
　ヘッドランプ３０の照射方向が視線方向へ向くように制御されていない場合（ステップＳＴ９－１においてＮｏの場合）、または現在のフレーム画像の顔向き方向が予め定められた一定の範囲内でない場合（ステップＳＴ９－２においてＮｏの場合）、ステップＳＴ１１において、ヘッドランプ角度制御部２２６は、ヘッドランプ３０の照射方向を現在のフレーム画像の顔向き方向へ向ける制御を行う。 If the irradiation direction of the headlamp 30 is not controlled to face the line of sight (No in step ST9-1), or if the face direction of the current frame image is not within a predetermined range ( In the case of No in step ST9-2), in step ST11, the headlamp angle control unit 226 performs control to direct the irradiation direction of the headlamp 30 toward the face direction of the current frame image.
　次に、図４を参照して、ヘッドランプ制御装置２０が行う視線復帰処理について説明する。視線復帰処理は、あるフレーム画像（便宜的にフレーム画像Ｉと称する。）について視線方向が検出されたが、そのフレーム画像より後のフレーム画像（第１の新たなフレーム画像）について視線方向が検出されなかった場合において、その後のフレーム画像より更に後のフレーム画像（第２の新たなフレーム画像）について視線方向が検出された場合に行われる処理である。 Next, the line-of-sight return processing performed by the headlamp control device 20 will be described with reference to FIG. 4. The line-of-sight return process is performed when the line-of-sight direction is detected for a certain frame image (referred to as frame image I for convenience), but the line-of-sight direction is detected for a frame image after that frame image (first new frame image). This is a process performed when the line-of-sight direction is detected for a frame image (second new frame image) that is further subsequent to the subsequent frame image in the case where the line-of-sight direction is not detected.
　ステップＳＴ２１において、視線復帰判定部２２５は、現在のフレーム画像（その更に後のフレーム画像；第２の新たなフレーム画像）について視線の復帰を検出する。すなわち、データ取得部２１により新たに視線情報が取得された場合に視線の復帰があると判定する。 In step ST21, the line-of-sight return determination unit 225 detects line-of-sight return for the current frame image (further subsequent frame image; second new frame image). That is, when the data acquisition unit 21 newly acquires line-of-sight information, it is determined that the line-of-sight has returned.
　ステップＳＴ２２において、視線復帰判定部２２５は、現在のフレーム画像（その更に後のフレーム画像；第２の新たなフレーム画像）について新たに取得された視線情報により示される視線方向が、視線方向喪失時の直前のフレーム画像、即ちフレーム画像Ｉの視線方向と同一方向か否かを判定する。 In step ST22, the line-of-sight return determination unit 225 determines that the line-of-sight direction indicated by the newly acquired line-of-sight information for the current frame image (further frame image after the current frame image; second new frame image) is the same as that at the time when the line-of-sight direction is lost. It is determined whether the viewing direction is the same as that of the immediately preceding frame image, that is, frame image I.
　これらの視線方向が同一である場合、ステップＳＴ２３において、ヘッドランプ角度制御部２２６は、ヘッドランプ３０の照射方向を前のフレーム画像の視線方向、即ちフレーム画像Ｉの視線方向へ向ける制御を行う。 If these line-of-sight directions are the same, in step ST23, the headlamp angle control unit 226 performs control to direct the irradiation direction of the headlamp 30 to the line-of-sight direction of the previous frame image, that is, the line-of-sight direction of frame image I.
　それらの視線方向が同一でない場合、ステップＳＴ２４において、ヘッドランプ角度制御部２２６は、ヘッドランプ３０の照射方向を現在のフレーム画像（その更に後のフレーム画像；第２の新たなフレーム画像）の顔向き方向へ向ける制御を行う。 If these line-of-sight directions are not the same, in step ST24, the headlamp angle control unit 226 changes the irradiation direction of the headlamp 30 to the face of the current frame image (further subsequent frame image; second new frame image). Performs direction control.
＜付記＞
　以上で説明した種々の実施形態のいくつかの側面について、以下のとおりまとめる。 <Additional notes>
Some aspects of the various embodiments described above are summarized as follows.
（付記１）
　付記１のヘッドランプ制御装置は、車両の運転者が撮像された少なくとも１つのフレーム画像から検出された、前記運転者の顔向き方向を示す顔向き情報および視線方向を示す視線情報を取得するデータ取得部（２１）と、その取得された顔向き情報により示される顔向き方向とその取得された視線情報により示される視線方向との差分を算出する差分算出部（２２４）と、その算出された差分に基づいて、前記車両のヘッドランプの照射方向を制御するヘッドランプ角度制御部（２２６）と、を備え、前記ヘッドランプ角度制御部は、前記算出された差分が予め定められたしきい値以下の場合には前記ヘッドランプの照射方向を前記取得された顔向き情報により示される顔向き方向を向くように制御し、前記算出された差分が前記しきい値を超える場合には前記ヘッドランプの照射方向を前記取得された視線情報により示される視線方向を向くように制御する。 (Additional note 1)
The headlamp control device according to Supplementary Note 1 acquires data for acquiring face direction information indicating the direction of the driver's face and line-of-sight information indicating the line-of-sight direction of the driver, which are detected from at least one frame image in which the driver of the vehicle is captured. an acquisition unit (21); a difference calculation unit (224) that calculates the difference between the face orientation direction indicated by the acquired face orientation information and the gaze direction indicated by the acquired gaze information; a headlamp angle control section (226) that controls the irradiation direction of the headlights of the vehicle based on the difference, and the headlamp angle control section is configured to set the calculated difference to a predetermined threshold value. In the following cases, the irradiation direction of the headlamp is controlled to point in the face direction indicated by the acquired face orientation information, and if the calculated difference exceeds the threshold, the headlamp is The irradiation direction is controlled so as to face the line-of-sight direction indicated by the acquired line-of-sight information.
　付記１のヘッドランプ制御装置によれば、顔向き方向と視線方向との差分を算出する差分算出部（２２４）が備えられているので、車両の周辺確認の仕方に関する運転者間の個人差に対処できるという効果が奏される。 According to the headlamp control device of Appendix 1, since the difference calculation unit (224) that calculates the difference between the direction of the face and the direction of the line of sight is provided, it is possible to account for individual differences between drivers regarding how to check the surroundings of the vehicle. The effect is that it can be dealt with.
　特許文献１の技術によれば、例えば、顔を大きく動かして視線方向をライト照射範囲外へ向ける運転者の場合と、顔を少しだけ動かして視線方向をライト照射範囲外へ向ける運転者の場合とでは、運転者が同じ対象物を視認しているにも関わらずライトの照射方向が異なることとなる。より具体的には、運転者が＋１０度の方向の物体を視認している状況において、ケース１）顔向き方向が＋７度で、視線方向が更に＋３度である場合、特許文献１の技術によれば、顔向き方向が大きいと判定されれば（特許文献１のステップＳ２でＮｏの場合）、ヘッドランプの照射方向は顔向き方向に向けられる（特許文献１のステップＳ６）。他方、その状況において、ケース２）顔向き方向が＋２度で、視線方向が更に＋８度である場合、顔向き方向が小さいと判定されれば（特許文献１のステップＳ２でＹｅｓの場合）、ヘッドランプの照射方向の制御は行われない。このように、運転者が同じ対象物を視認しているにも関わらず、ある場合にはヘッドランプの照射方向を変更する制御が行われ、ある場合にはヘッドランプの照射方向を変更しない制御が行われるので、特許文献１の技術には車両の周辺確認の仕方に関する運転者間の個人差に対処することができないという課題がある。 According to the technology of Patent Document 1, for example, a driver moves his/her face a lot to direct his/her line of sight out of the light irradiation range, and a driver moves his/her face only a little to direct his/her line of sight out of the light irradiation range. In this case, even though the driver is viewing the same object, the direction of light irradiation will be different. More specifically, in a situation where the driver is visually recognizing an object in a direction of +10 degrees, in case 1) the face direction is +7 degrees and the line of sight direction is further +3 degrees, the technology of Patent Document 1 is applied. According to the above, if it is determined that the face direction is large (No in step S2 of Patent Document 1), the irradiation direction of the headlamp is directed toward the face direction (Step S6 of Patent Document 1). On the other hand, in that situation, case 2) If the face direction is +2 degrees and the gaze direction is further +8 degrees, if it is determined that the face direction is small (if Yes in step S2 of Patent Document 1), Control of the direction of headlamp illumination is not performed. In this way, even though the driver is viewing the same object, in some cases control is performed to change the headlamp illumination direction, and in other cases control is performed that does not change the headlamp illumination direction. Therefore, the technique of Patent Document 1 has a problem in that it cannot deal with individual differences among drivers regarding how to check the surroundings of the vehicle.
　これに対し、付記１のヘッドランプ制御装置によれば、ケース１およびケース２のいずれの場合であっても、顔向き方向と視線方向との差分に基づいた制御が行われるので、制御内容が同一となり、運転者間の個人差に対処できるという効果が奏される。 On the other hand, according to the headlamp control device in Appendix 1, control is performed based on the difference between the direction of the face and the direction of the line of sight in both case 1 and case 2. This results in the effect that individual differences between drivers can be dealt with.
（付記２）
　付記２のヘッドランプ制御装置は、付記１に記載されたヘッドランプ制御装置であって、前記取得された視線情報により示される視線方向が予め定められた方向を向いているかを判定する視線方向判定部（２２２）を更に備え、前記ヘッドランプ角度制御部は、前記算出された差分が前記しきい値を超える場合において、前記取得された視線情報により示される視線方向が前記予め定められた方向を向いていると判定されたときは、前記ヘッドランプの照射方向を前記取得された顔向き情報により示される顔向き方向を向くように制御する。 (Additional note 2)
The headlamp control device according to appendix 2 is the headlamp control device described in appendix 1, and is a line-of-sight direction determination device that determines whether the line-of-sight direction indicated by the acquired line-of-sight information is facing a predetermined direction. (222), the headlamp angle control unit is configured to control, when the calculated difference exceeds the threshold, the line-of-sight direction indicated by the acquired line-of-sight information to be in the predetermined direction. When it is determined that the headlamp is facing toward the head, the irradiation direction of the headlamp is controlled so as to face in the direction of the face indicated by the acquired face orientation information.
　付記２のヘッドランプ制御装置によれば、ヘッドランプの照射方向が顔向き方向とされるので、一時的な視線方向の変動の影響を抑制して観察対象を安定して照射することができるという効果が奏される。 According to the headlamp control device in Appendix 2, since the irradiation direction of the headlamp is set in the direction toward the face, it is possible to suppress the influence of temporary fluctuations in the line of sight direction and stably illuminate the observation target. The effect is produced.
（付記３）
　付記３のヘッドランプ制御装置は、付記１または２に記載されたヘッドランプ制御装置であって、前記ヘッドランプの照射方向が前記取得された視線情報により示される視線方向を向くように制御されている場合において、前記ヘッドランプ角度制御部は、第１の新たなフレーム画像から視線情報が取得されず且つ顔向き情報が取得された場合において、前記第１の新たなフレーム画像から取得された顔向き情報により示される顔向き方向が、最後に視線情報が取得されたフレーム画像の顔向き方向から予め定められた一定の範囲内であるときは、前記ヘッドランプの照射方向を、前記最後に視線情報が取得されたフレーム画像の視線方向を向くように制御する。 (Additional note 3)
The headlamp control device according to appendix 3 is the headlamp control device described in appendix 1 or 2, and is controlled so that the irradiation direction of the headlamp is directed in the line-of-sight direction indicated by the acquired line-of-sight information. In the case where the headlamp angle control unit is configured to control the face direction obtained from the first new frame image when the line of sight information is not obtained from the first new frame image and the face direction information is obtained from the first new frame image. When the face orientation direction indicated by the orientation information is within a predetermined range from the face orientation direction of the frame image for which gaze information was last acquired, the irradiation direction of the headlamp is changed to the direction indicated by the eye gaze information. Control is performed to direct the line of sight to the frame image from which information has been acquired.
　付記３のヘッドランプ制御装置によれば、視線方向を検出することができない場合において、不要なスイブルを行うことなく、安定して観察対象に照射することができるという効果が奏される。 According to the headlamp control device of Supplementary note 3, even when the direction of the line of sight cannot be detected, it is possible to stably illuminate the observation target without performing unnecessary swivels.
（付記４）
　付記４のヘッドランプ制御装置は、付記３に記載されたヘッドランプ制御装置であって、前記第１の新たなフレーム画像より時間的に後の第２の新たなフレーム画像から視線方向が取得された場合において、前記第２の新たなフレーム画像から取得された視線方向が前記最後に取得された視線方向と同じ方向であるかを判定する視線復帰判定部（２２５）を更に備え、前記ヘッドランプ角度制御部は、前記第２の新たなフレーム画像から取得された視線方向が前記最後に取得された視線方向と同じ方向であると判定された場合、前記ヘッドランプを前記最後に取得された視線方向を向くように制御し、前記第２の新たなフレーム画像から取得された視線方向が前記最後に取得された視線方向と同じ方向でないと判定された場合、前記ヘッドランプを前記第２の新たなフレーム画像から取得された顔向き方向を向くように制御する。 (Additional note 4)
The headlamp control device according to appendix 4 is the headlamp control device described in appendix 3, in which the line-of-sight direction is acquired from a second new frame image that is temporally later than the first new frame image. In the case where the headlamp If it is determined that the line-of-sight direction acquired from the second new frame image is the same as the last-acquired line-of-sight direction, the angle control unit causes the headlamp to change to the last line-of-sight direction. If it is determined that the line-of-sight direction obtained from the second new frame image is not the same as the last-obtained line-of-sight direction, the headlamp is controlled to face the second new frame image. control to face the direction of the face obtained from the frame image.
　付記４のヘッドランプ制御装置によれば、視線方向がロストされた後に復帰した視線方向がどこから復帰したかを判定することができるので、安定して観察対象に照射することができるという効果が奏される。 According to the headlamp control device in Appendix 4, it is possible to determine from where the line of sight direction has been restored after the line of sight direction has been lost, so it is possible to stably illuminate the observation target. be done.
（付記５）
　付記５のヘッドランプ制御装置は、付記１に記載されたヘッドランプ制御装置であって、前記視線情報は連続する複数のフレーム画像から検出された複数の視線方向を含み、前記複数の視線方向を平均化して平均視線方向を算出する視線方向平均化部を更に備え、前記差分算出部は、現在のフレーム画像の顔向き方向と、その算出された平均視線方向との差分を算出し、前記ヘッドランプ角度制御部は、前記算出された差分が予め定められたしきい値以下の場合には前記ヘッドランプの照射方向を前記現在のフレーム画像の顔向き方向を向くように制御し、前記算出された差分が前記しきい値を超える場合には前記ヘッドランプの照射方向を前記算出された平均視線方向を向くように制御する。 (Appendix 5)
The headlamp control device according to appendix 5 is the headlamp control device described in appendix 1, wherein the line-of-sight information includes a plurality of line-of-sight directions detected from a plurality of consecutive frame images, and the line-of-sight information includes a plurality of line-of-sight directions detected from a plurality of consecutive frame images. The line-of-sight direction averaging unit calculates an average line-of-sight direction by averaging, and the difference calculation unit calculates a difference between the face direction of the current frame image and the calculated average line-of-sight direction, and The lamp angle control unit controls the irradiation direction of the headlamp to face the direction of the face of the current frame image when the calculated difference is less than or equal to a predetermined threshold; If the difference exceeds the threshold, the headlamp is controlled to direct the headlamp in the calculated average line of sight direction.
　付記５のヘッドランプ制御装置によれば、視線方向を平均化することで、視線方向のばらつきの影響を軽減できるので、視線方向にヘッドランプの照射方向を向ける場合に観察対象を安定して照射することができるという効果が奏される。 According to the headlamp control device in Appendix 5, by averaging the line-of-sight direction, the influence of variations in the line-of-sight direction can be reduced, so when the headlamp irradiation direction is directed in the line-of-sight direction, the observation target can be stably irradiated. The effect is that it can be done.
（付記６）
　付記６のヘッドランプ制御装置は、付記５に記載されたヘッドランプ制御装置であって、前記算出された平均視線方向が予め定められた方向を向いているかを判定する視線方向判定部（２２２）を更に備え、前記ヘッドランプ角度制御部は、前記算出された差分が前記しきい値を超える場合において、前記算出された平均視線方向が前記予め定められた方向を向いていると判定されたときは、前記ヘッドランプの照射方向を前記現在のフレーム画像の顔向き方向を向くように制御する。 (Appendix 6)
The headlamp control device according to appendix 6 is the headlamp control device described in appendix 5, and includes a line-of-sight direction determination unit (222) that determines whether the calculated average line-of-sight direction points in a predetermined direction. The headlamp angle control unit further comprises: when it is determined that the calculated average line of sight direction is facing the predetermined direction when the calculated difference exceeds the threshold value; controls the irradiation direction of the headlamp so that it points toward the face of the current frame image.
　付記６のヘッドランプ制御装置によれば、付記２のヘッドランプ制御装置と同様の効果が奏される。 According to the headlamp control device of Appendix 6, the same effects as the headlamp control device of Appendix 2 are achieved.
（付記７）
　付記７のヘッドランプ制御装置は、付記５または６に記載されたヘッドランプ制御装置であって、前記ヘッドランプの照射方向が前記算出された平均視線方向を向くように制御されている場合において、前記ヘッドランプ角度制御部は、第１の新たなフレーム画像から視線情報が取得されず且つ顔向き情報が取得された場合において、前記第１の新たなフレーム画像から取得された顔向き情報により示される顔向き方向が、最後に視線情報が取得されたフレーム画像の顔向き方向から予め定められた一定の範囲内であるときは、前記ヘッドランプの照射方向を、前記最後に視線情報を取得できたフレーム画像を用いて算出された平均視線方向を向くように制御する。 (Appendix 7)
The headlamp control device according to appendix 7 is the headlamp control device described in appendix 5 or 6, when the irradiation direction of the headlamp is controlled to face the calculated average line-of-sight direction, The headlamp angle control unit is configured to control the headlamp angle control unit to control the headlamp angle as indicated by the face orientation information acquired from the first new frame image when line of sight information is not acquired from the first new frame image and face orientation information is acquired from the first new frame image. When the face orientation direction that is displayed is within a predetermined range from the face orientation direction of the frame image for which gaze information was last acquired, the irradiation direction of the headlamp is determined so that gaze information can be acquired at the last time. control to point in the average line-of-sight direction calculated using the frame images.
　付記７のヘッドランプ制御装置によれば、付記３のヘッドランプ制御装置と同様の効果が奏される。 According to the headlamp control device of Appendix 7, the same effects as the headlamp control device of Appendix 3 are achieved.
（付記８）
　付記８のヘッドランプ制御装置は、付記７に記載されたヘッドランプ制御装置であって、前記第１の新たなフレーム画像より時間的に後の第２の新たなフレーム画像から視線方向が取得された場合において、前記第２の新たなフレーム画像から取得された視線方向が前記最後に算出された平均視線方向と同じ方向であるかを判定する視線復帰判定部（２２５）を更に備え、前記ヘッドランプ角度制御部は、前記第２の新たなフレーム画像から取得された視線方向が前記最後に算出された平均視線方向と同じ方向であると判定された場合、前記ヘッドランプを前記最後に算出された平均視線方向を向くように制御し、前記第２の新たなフレーム画像から取得された視線方向が前記最後に算出された平均視線方向と同じ方向でないと判定された場合、前記ヘッドランプを前記第２のフレーム画像から取得された顔向き方向を向くように制御する。 (Appendix 8)
The headlamp control device according to appendix 8 is the headlamp control device described in appendix 7, in which the line-of-sight direction is acquired from a second new frame image that is temporally later than the first new frame image. In this case, the head further includes a line-of-sight return determining unit (225) that determines whether the line-of-sight direction acquired from the second new frame image is the same as the last calculated average line-of-sight direction; If it is determined that the line-of-sight direction acquired from the second new frame image is the same as the last calculated average line-of-sight direction, the lamp angle control unit adjusts the headlamp to the last calculated average line-of-sight direction. If it is determined that the line-of-sight direction acquired from the second new frame image is not the same as the last calculated average line-of-sight direction, the headlamp is controlled to face the average line-of-sight direction. The face is controlled to face in the direction of the face acquired from the second frame image.
　付記８のヘッドランプ制御装置によれば、付記４のヘッドランプ制御装置と同様の効果が奏される。 According to the headlamp control device of Appendix 8, the same effects as the headlamp control device of Appendix 4 are achieved.
（付記９）
　付記９のヘッドランプ制御方法は、データ取得部（２１）、差分算出部（２２４）、およびヘッドランプ角度制御部（２２６）を備えるヘッドランプ制御装置（２０）が行うヘッドランプ制御方法であって、前記データ取得部が、車両の運転者が撮像された少なくとも１つのフレーム画像から検出された、前記運転者の顔向き方向を示す顔向き情報および視線方向を示す視線情報を取得するステップ（ＳＴ１）と、前記差分算出部が、その取得された顔向き情報により示される顔向き方向とその取得された視線情報により示される視線方向との差分を算出するステップ（ＳＴ４）と、前記ヘッドランプ角度制御部が、その算出された差分に基づいて、前記車両のヘッドランプの照射方向を制御するステップ（ＳＴ６、ＳＴ８）と、を備え、前記ヘッドランプ角度制御部は、前記算出された差分が予め定められたしきい値以下の場合には前記ヘッドランプの照射方向を前記取得された顔向き情報により示される顔向き方向を向くように制御し、前記算出された差分が前記しきい値を超える場合には前記ヘッドランプの照射方向を前記取得された視線情報により示される視線方向を向くように制御する。 (Appendix 9)
The headlamp control method of appendix 9 is a headlamp control method performed by a headlamp control device (20) including a data acquisition section (21), a difference calculation section (224), and a headlamp angle control section (226). , a step in which the data acquisition unit acquires face direction information indicating the direction of the driver's face and line-of-sight information indicating the direction of the line of sight of the driver detected from at least one frame image in which the driver of the vehicle is captured (ST1 ), a step (ST4) in which the difference calculation unit calculates a difference between the face orientation direction indicated by the acquired face orientation information and the gaze direction indicated by the acquired gaze information; a step (ST6, ST8) in which the control unit controls the irradiation direction of the headlamp of the vehicle based on the calculated difference; If the calculated difference exceeds the threshold, the direction of illumination of the headlamp is controlled to point in the direction of the face indicated by the acquired face orientation information, and the calculated difference exceeds the threshold. In this case, the irradiation direction of the headlamp is controlled so as to face the line-of-sight direction indicated by the acquired line-of-sight information.
　付記９のヘッドランプ制御方法によれば、付記１の場合と同様の効果が奏される。 According to the headlamp control method of appendix 9, the same effects as in appendix 1 can be achieved.
　なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。 Note that it is possible to combine the embodiments, or to modify or omit each embodiment as appropriate.
　本開示のヘッドランプ制御装置は、車両のヘッドランプを運転者の顔向きまたは視線方向に追従するように適応制御するアダプティブ・フロントライティング・システムとして用いることができる。 The headlamp control device of the present disclosure can be used as an adaptive front lighting system that adaptively controls the headlamp of a vehicle to follow the direction of the driver's face or line of sight.
　１０　検出装置、２０　ヘッドランプ制御装置、２１　データ取得部、２２　ヘッドランプ制御部、３０　ヘッドランプ、１０１　プロセッサ、１０２　メモリ、１０３　処理回路、２２１　視線方向平均化部、２２２　視線方向判定部、２２３　顔向き方向判定部、２２４　差分算出部、２２５　視線復帰判定部、２２６　ヘッドランプ角度制御部。 10 detection device, 20 headlamp control device, 21 data acquisition unit, 22 headlamp control unit, 30 headlamp, 101 processor, 102 memory, 103 processing circuit, 221 gaze direction averaging unit, 222 gaze direction determination unit, 223 face Orientation direction determination unit, 224 Difference calculation unit, 225 Line of sight return determination unit, 226 Headlamp angle control unit.

Claims (9)

  1. 　車両の運転者が撮像された少なくとも１つのフレーム画像から検出された、前記運転者の顔向き方向を示す顔向き情報および視線方向を示す視線情報を取得するデータ取得部と、
    　その取得された顔向き情報により示される顔向き方向とその取得された視線情報により示される視線方向との差分を算出する差分算出部と、
    　その算出された差分に基づいて、前記車両のヘッドランプの照射方向を制御するヘッドランプ角度制御部と、
    を備え、
    　前記ヘッドランプ角度制御部は、前記算出された差分が予め定められたしきい値以下の場合には前記ヘッドランプの照射方向を前記取得された顔向き情報により示される顔向き方向を向くように制御し、前記算出された差分が前記しきい値を超える場合には前記ヘッドランプの照射方向を前記取得された視線情報により示される視線方向を向くように制御する、
    ヘッドランプ制御装置。     a data acquisition unit that acquires face direction information indicating the driver's face direction and line of sight information indicating the line of sight direction of the driver, detected from at least one frame image in which the driver of the vehicle is captured;
    a difference calculation unit that calculates a difference between the face orientation direction indicated by the acquired face orientation information and the gaze direction indicated by the acquired gaze information;
    a headlamp angle control unit that controls the irradiation direction of the headlamp of the vehicle based on the calculated difference;
    Equipped with
    The headlamp angle control unit is configured to direct the irradiation direction of the headlamp to face the direction indicated by the acquired face direction information when the calculated difference is less than or equal to a predetermined threshold. and controlling the irradiation direction of the headlamp to face the line-of-sight direction indicated by the acquired line-of-sight information if the calculated difference exceeds the threshold;
    Headlamp control device.
  2. 　前記取得された視線情報により示される視線方向が予め定められた方向を向いているかを判定する視線方向判定部を更に備え、
    　前記ヘッドランプ角度制御部は、前記算出された差分が前記しきい値を超える場合において、前記取得された視線情報により示される視線方向が前記予め定められた方向を向いていると判定されたときは、前記ヘッドランプの照射方向を前記取得された顔向き情報により示される顔向き方向を向くように制御する、
    請求項１に記載されたヘッドランプ制御装置。     further comprising a line-of-sight direction determination unit that determines whether the line-of-sight direction indicated by the acquired line-of-sight information is facing a predetermined direction;
    When the calculated difference exceeds the threshold, the headlamp angle control unit determines that the line-of-sight direction indicated by the acquired line-of-sight information is facing the predetermined direction. controlling the irradiation direction of the headlamp so that it faces in the face direction indicated by the acquired face direction information;
    A headlamp control device according to claim 1.
  3. 　前記ヘッドランプの照射方向が前記取得された視線情報により示される視線方向を向くように制御されている場合において、
    　前記ヘッドランプ角度制御部は、第１の新たなフレーム画像から視線情報が取得されず且つ顔向き情報が取得された場合において、前記第１の新たなフレーム画像から取得された顔向き情報により示される顔向き方向が、最後に視線情報が取得されたフレーム画像の顔向き方向から予め定められた一定の範囲内であるときは、前記ヘッドランプの照射方向を、前記最後に視線情報が取得されたフレーム画像の視線方向を向くように制御する、
    請求項１または２に記載されたヘッドランプ制御装置。     In the case where the irradiation direction of the headlamp is controlled to face the line-of-sight direction indicated by the acquired line-of-sight information,
    The headlamp angle control unit is configured to control the headlamp angle control unit to control the headlamp angle as indicated by the face orientation information acquired from the first new frame image when line of sight information is not acquired from the first new frame image and face orientation information is acquired from the first new frame image. When the face orientation direction that is displayed is within a predetermined range from the face orientation direction of the frame image for which gaze information was last acquired, the irradiation direction of the headlamp is set to control the viewing direction of the frame image
    A headlamp control device according to claim 1 or 2.
  4. 　前記第１の新たなフレーム画像より時間的に後の第２の新たなフレーム画像から視線方向が取得された場合において、前記第２の新たなフレーム画像から取得された視線方向が前記最後に取得された視線方向と同じ方向であるかを判定する視線復帰判定部を更に備え、
    　前記ヘッドランプ角度制御部は、前記第２の新たなフレーム画像から取得された視線方向が前記最後に取得された視線方向と同じ方向であると判定された場合、前記ヘッドランプを前記最後に取得された視線方向を向くように制御し、前記第２の新たなフレーム画像から取得された視線方向が前記最後に取得された視線方向と同じ方向でないと判定された場合、前記ヘッドランプを前記第２の新たなフレーム画像から取得された顔向き方向を向くように制御する、
    請求項３に記載されたヘッドランプ制御装置。     In the case where the line-of-sight direction is acquired from a second new frame image temporally later than the first new frame image, the line-of-sight direction acquired from the second new frame image is the last one acquired. further comprising a line-of-sight return determination unit that determines whether the line-of-sight direction is the same as the line-of-sight direction that was
    The headlamp angle control unit controls the headlamp to the last acquired line of sight direction when it is determined that the line of sight direction acquired from the second new frame image is the same as the last acquired line of sight direction. If it is determined that the line-of-sight direction acquired from the second new frame image is not the same as the last-acquired line-of-sight direction, the headlamp is control to face the face direction acquired from the new frame image of No. 2;
    A headlamp control device according to claim 3.
  5. 　前記視線情報は連続する複数のフレーム画像から検出された複数の視線方向を含み、
    　前記複数の視線方向を平均化して平均視線方向を算出する視線方向平均化部を更に備え、
    　前記差分算出部は、現在のフレーム画像の顔向き方向と、その算出された平均視線方向との差分を算出し、
    　前記ヘッドランプ角度制御部は、前記算出された差分が予め定められたしきい値以下の場合には前記ヘッドランプの照射方向を前記現在のフレーム画像の顔向き方向を向くように制御し、前記算出された差分が前記しきい値を超える場合には前記ヘッドランプの照射方向を前記算出された平均視線方向を向くように制御する、
    請求項１に記載されたヘッドランプ制御装置。     The line-of-sight information includes a plurality of line-of-sight directions detected from a plurality of consecutive frame images,
    further comprising a line-of-sight direction averaging unit that calculates an average line-of-sight direction by averaging the plurality of line-of-sight directions;
    The difference calculation unit calculates a difference between the face orientation direction of the current frame image and the calculated average gaze direction,
    The headlamp angle control unit controls the irradiation direction of the headlamp to face the face of the current frame image when the calculated difference is less than or equal to a predetermined threshold; If the calculated difference exceeds the threshold, controlling the irradiation direction of the headlamp to face the calculated average line of sight direction;
    A headlamp control device according to claim 1.
  6. 　前記算出された平均視線方向が予め定められた方向を向いているかを判定する視線方向判定部を更に備え、
    　前記ヘッドランプ角度制御部は、前記算出された差分が前記しきい値を超える場合において、前記算出された平均視線方向が前記予め定められた方向を向いていると判定されたときは、前記ヘッドランプの照射方向を前記現在のフレーム画像の顔向き方向を向くように制御する、
    請求項５に記載されたヘッドランプ制御装置。     further comprising a line-of-sight direction determination unit that determines whether the calculated average line-of-sight direction is facing a predetermined direction;
    When the calculated difference exceeds the threshold and it is determined that the calculated average line of sight direction is facing the predetermined direction, the headlamp angle control unit controls the headlamp angle control unit to controlling the irradiation direction of the lamp to face the face of the current frame image;
    A headlamp control device according to claim 5.
  7. 　前記ヘッドランプの照射方向が前記算出された平均視線方向を向くように制御されている場合において、
    　前記ヘッドランプ角度制御部は、第１の新たなフレーム画像から視線情報が取得されず且つ顔向き情報が取得された場合において、前記第１の新たなフレーム画像から取得された顔向き情報により示される顔向き方向が、最後に視線情報が取得されたフレーム画像の顔向き方向から予め定められた一定の範囲内であるときは、前記ヘッドランプの照射方向を、前記最後に視線情報を取得できたフレーム画像を用いて算出された平均視線方向を向くように制御する、
    請求項５または６に記載されたヘッドランプ制御装置。     In the case where the irradiation direction of the headlamp is controlled to face the calculated average line of sight direction,
    The headlamp angle control unit is configured to control the headlamp angle control unit to control the headlamp angle as indicated by the face orientation information acquired from the first new frame image when line of sight information is not acquired from the first new frame image and face orientation information is acquired from the first new frame image. When the face orientation direction that is displayed is within a predetermined range from the face orientation direction of the frame image for which gaze information was last acquired, the irradiation direction of the headlamp is determined so that gaze information can be acquired at the last time. control to face the average line of sight direction calculated using the frame images
    A headlamp control device according to claim 5 or 6.
  8. 　前記第１の新たなフレーム画像より時間的に後の第２の新たなフレーム画像から視線方向が取得された場合において、前記第２の新たなフレーム画像から取得された視線方向が前記最後に算出された平均視線方向と同じ方向であるかを判定する視線復帰判定部を更に備え、
    　前記ヘッドランプ角度制御部は、前記第２の新たなフレーム画像から取得された視線方向が前記最後に算出された平均視線方向と同じ方向であると判定された場合、前記ヘッドランプを前記最後に算出された平均視線方向を向くように制御し、前記第２の新たなフレーム画像から取得された視線方向が前記最後に算出された平均視線方向と同じ方向でないと判定された場合、前記ヘッドランプを前記第２のフレーム画像から取得された顔向き方向を向くように制御する、
    請求項７に記載されたヘッドランプ制御装置。     In the case where the line-of-sight direction is acquired from a second new frame image temporally later than the first new frame image, the line-of-sight direction acquired from the second new frame image is calculated at the last time. further comprising a line-of-sight return determination unit that determines whether the line-of-sight direction is the same as the average line-of-sight direction,
    The headlamp angle control unit controls the headlamp to the last position when it is determined that the line-of-sight direction acquired from the second new frame image is the same as the last calculated average line-of-sight direction. The headlamp is controlled to face the calculated average line-of-sight direction, and if it is determined that the line-of-sight direction acquired from the second new frame image is not the same direction as the last calculated average line-of-sight direction, the headlamp controlling the face to face the face direction acquired from the second frame image;
    A headlamp control device according to claim 7.
  9. 　データ取得部、差分算出部、およびヘッドランプ角度制御部を備えるヘッドランプ制御装置が行うヘッドランプ制御方法であって、
    　前記データ取得部が、車両の運転者が撮像された少なくとも１つのフレーム画像から検出された、前記運転者の顔向き方向を示す顔向き情報および視線方向を示す視線情報を取得するステップと、
    　前記差分算出部が、その取得された顔向き情報により示される顔向き方向とその取得された視線情報により示される視線方向との差分を算出するステップと、
    　前記ヘッドランプ角度制御部が、その算出された差分に基づいて、前記車両のヘッドランプの照射方向を制御するステップと、
    を備え、
    　前記ヘッドランプ角度制御部は、前記算出された差分が予め定められたしきい値以下の場合には前記ヘッドランプの照射方向を前記取得された顔向き情報により示される顔向き方向を向くように制御し、前記算出された差分が前記しきい値を超える場合には前記ヘッドランプの照射方向を前記取得された視線情報により示される視線方向を向くように制御する、
    ヘッドランプ制御方法。     A headlamp control method performed by a headlamp control device comprising a data acquisition section, a difference calculation section, and a headlamp angle control section,
    a step in which the data acquisition unit acquires face direction information indicating the direction of the driver's face and line-of-sight information indicating the direction of the line of sight of the driver, which are detected from at least one frame image in which the driver of the vehicle is captured;
    the difference calculation unit calculating a difference between the face orientation direction indicated by the acquired face orientation information and the gaze direction indicated by the acquired gaze information;
    the headlamp angle control unit controlling the irradiation direction of the headlamp of the vehicle based on the calculated difference;
    Equipped with
    The headlamp angle control unit is configured to direct the irradiation direction of the headlamp to face the direction indicated by the acquired face direction information when the calculated difference is less than or equal to a predetermined threshold. and controlling the irradiation direction of the headlamp to face the line-of-sight direction indicated by the acquired line-of-sight information if the calculated difference exceeds the threshold;
    Headlamp control method.
PCT/JP2022/022243 2022-06-01 2022-06-01 Headlight control device and headlight control method WO2023233564A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024524058A JPWO2023233564A1 (en) 2022-06-01 2022-06-01
PCT/JP2022/022243 WO2023233564A1 (en) 2022-06-01 2022-06-01 Headlight control device and headlight control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/022243 WO2023233564A1 (en) 2022-06-01 2022-06-01 Headlight control device and headlight control method

Publications (1)

Publication Number Publication Date
WO2023233564A1 true WO2023233564A1 (en) 2023-12-07

Family

ID=89025972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/022243 WO2023233564A1 (en) 2022-06-01 2022-06-01 Headlight control device and headlight control method

Country Status (2)

Country Link
JP (1) JPWO2023233564A1 (en)
WO (1) WO2023233564A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008120230A (en) * 2006-11-10 2008-05-29 Aisin Seiki Co Ltd Illumination device linked with face orientation, and illumination method linked with face orientation
JP2013159310A (en) * 2012-02-08 2013-08-19 Denso Corp Headlight controller

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008120230A (en) * 2006-11-10 2008-05-29 Aisin Seiki Co Ltd Illumination device linked with face orientation, and illumination method linked with face orientation
JP2013159310A (en) * 2012-02-08 2013-08-19 Denso Corp Headlight controller

Also Published As

Publication number Publication date
JPWO2023233564A1 (en) 2023-12-07

Similar Documents

Publication Publication Date Title
EP2288287B1 (en) Driver imaging apparatus and driver imaging method
US10521683B2 (en) Glare reduction
WO2018150485A1 (en) Driving state determination device and driving state determination method
US8738236B2 (en) Method and system for adjustment of headlamps for motor vehicles
US8218832B2 (en) Apparatus for detecting feature of driver&#39;s face
US7370970B2 (en) Eyeglass detection method
CN109564501B (en) Method for controlling a display device of a motor vehicle, display device of a motor vehicle and motor vehicle having a display device
JP3228086B2 (en) Driving operation assist device
US10112526B2 (en) Device and method for controlling light distribution of vehicle headlight
US10807517B2 (en) Controlling device for vehicle headlight, vehicle headlight, and method of controlling vehicle headlight
US20180335633A1 (en) Viewing direction detector and viewing direction detection system
WO2019084595A1 (en) System and method for improving signal to noise ratio in object tracking under poor light conditions
US20210331622A1 (en) Vehicular around view monitoring system through adjustment of viewing angle of camera, and method thereof
CN109565549B (en) Method and device for operating interior camera
WO2019159364A1 (en) Passenger state detection device, passenger state detection system, and passenger state detection method
WO2017203769A1 (en) Sight line detection method
WO2015129280A1 (en) Image processing device and image processing method
CN110733423B (en) Apparatus and method for displaying image behind vehicle
WO2023233564A1 (en) Headlight control device and headlight control method
JP2012071825A (en) Head-up display, and mounting method of the head-up display
KR20150058728A (en) Mirrorless System for Vehicle
KR20110062060A (en) Display apparatus and method for automobile
CN111216620A (en) Vehicle lamp control method and device and vehicle
CN114391129A (en) Gaze direction determination
CN112602318B (en) Vehicle-mounted imaging device and vehicle-mounted image recognition device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22944851

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024524058

Country of ref document: JP

Kind code of ref document: A