WO2023152785A1 - 乗員監視装置、乗員監視システム、および乗員監視方法 - Google Patents

乗員監視装置、乗員監視システム、および乗員監視方法 Download PDF

Info

Publication number
WO2023152785A1
WO2023152785A1 PCT/JP2022/004775 JP2022004775W WO2023152785A1 WO 2023152785 A1 WO2023152785 A1 WO 2023152785A1 JP 2022004775 W JP2022004775 W JP 2022004775W WO 2023152785 A1 WO2023152785 A1 WO 2023152785A1
Authority
WO
WIPO (PCT)
Prior art keywords
amount
target marker
occupant
deviation
occupant monitoring
Prior art date
Application number
PCT/JP2022/004775
Other languages
English (en)
French (fr)
Inventor
浩之 長浜
剛志 前田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2023579879A priority Critical patent/JPWO2023152785A1/ja
Priority to PCT/JP2022/004775 priority patent/WO2023152785A1/ja
Publication of WO2023152785A1 publication Critical patent/WO2023152785A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Definitions

  • This disclosure relates to occupant monitoring technology.
  • Patent Document 1 discloses a camera having an autofocus function fixed in the interior of a vehicle, and a reference position fixed in the interior of the vehicle in a first image captured by the camera while focusing on the user at a first time point. (a) a first distance between the camera and the reference position; and (b) the focus position of the camera at the first time point.
  • a second distance between the camera and the user a distance between the imaging target and the camera;
  • a ratio of the first coefficient for the reference position at the first time point to the second coefficient for the user at the first time point is , a calibration unit that calculates using the luminance value of the reference position, the luminance value of the user, the first distance, and the second distance; a calculation unit that calculates a third distance between the camera and the user at the second point in time using the luminance values of the reference position and the user in the second image, the first distance, and the ratio; is disclosed.
  • the present disclosure has been made to solve such problems, and aims to provide an occupant monitoring technique capable of calibrating the angle.
  • An occupant monitoring apparatus provides target marker detection for detecting a target marker from a first captured image including a target marker that reflects infrared light provided in a vehicle interior and captured by an imaging device.
  • a displacement calculation unit that calculates the amount of translational displacement and the amount of rotational displacement of the detected target marker from the reference position;
  • a correction value calculation unit that calculates the translational deviation amount and the rotational deviation amount as correction values;
  • a monitoring unit that performs sensing processing for sensing the occupant on the captured image.
  • the occupant monitoring device According to the occupant monitoring device according to the embodiment of the present disclosure, it is possible to calibrate the angle.
  • FIG. 1 is a diagram showing a configuration example of an occupant monitoring device and an occupant monitoring system according to Embodiment 1; FIG. It is a figure which shows the structural example of the hardware of an occupant monitoring device. It is a figure which shows the structural example of the hardware of an occupant monitoring device. 1 is a schematic diagram of a vehicle interior showing an application example of an occupant monitoring device and an occupant monitoring system; FIG. It is a figure which shows the example of the captured image in a vehicle. 4 is a flowchart of an occupant monitoring method related to correction processing; 4 is a flowchart of an occupant monitoring method related to update processing;
  • the occupant monitoring system 1 includes, as an example, an occupant monitoring device 10, an imaging device 11, and a light source 12.
  • the light source 12 is, for example, an infrared Light Emitting Diode (IR-LED).
  • the light source 12 emits, for example, near-infrared light with a wavelength of 800 nm to 1,000 nm during aiming.
  • the near-infrared light emitted from the light source 12 is reflected by a target marker TM, which will be described later, provided inside the vehicle.
  • the imaging device 11 is an infrared camera, which receives light with a wavelength of, for example, 400 nm to 1,000 nm (visible light to near-infrared light) to generate a captured image.
  • the light source 12 is an optional component as long as the target marker TM can be detected when aiming for the passenger monitoring system 1 including the imaging device 11 .
  • Aiming refers to correcting an error in assembling the imaging device 11 to the vehicle or an error in the optical axis of the imaging device 11 .
  • the occupant monitoring device 10 includes, as shown in FIG.
  • the monitoring unit 20 is a functional unit used when the vehicle is used for running, and detects the occupants of the vehicle when the vehicle is stopped or running after the ignition of the vehicle is turned on.
  • the monitoring unit 20 has a driver detection unit 21 and a sensing processing unit 22 .
  • the correction unit 30 is a functional unit used when inspecting the imaging device 11, and operates upon reception of an aiming start signal from an external device such as the inspection machine 7, which will be described later.
  • the corrector 30 includes a target marker detector 31 , a deviation calculator 32 , and a correction value calculator 33 .
  • the driver detection unit 21 detects various characteristics of the driver from a captured image (sometimes referred to as a second captured image) including the driver, who is a passenger, captured by the imaging device 11 using a known technique. , the detection result is supplied to the sensing processing unit 22 as a driver detection result. Examples of driver detection results include driver features such as face orientation, eye gaze orientation, driver position, eye openness, and openness.
  • the driver detection unit 21 detects the line of sight and the face direction by calculating the shape of facial parts such as the face, eyes, pupils, etc. of the occupant's face and the amount of temporal change in the facial parts from the captured image.
  • the line of sight can be calculated using, for example, the position of the pupil with respect to the positions of the inner and outer corners of the eye.
  • the face orientation can be calculated from the relative positional relationship of face parts.
  • the driver detection unit 21 may detect the line of sight and the face direction by inputting the acquired captured image to a learned model (not shown) that has learned the relationship between the captured image and the line of sight and the face direction.
  • the degree of eye opening is the degree of opening of the eyes
  • the degree of opening is the degree of opening of the mouth.
  • the degree of eye opening as an example, for example, the position of the inner corner of the eye, the position of the outer corner of the eye, and the position of the highest point of the upper eyelid are detected, and the distance between the straight line connecting the inner corner and the outer corner of the eye and the highest point of the upper eyelid is The flatness of the eye can be obtained by dividing by the distance between the inner corner and the outer corner of the eye, and the degree of eye openness can be calculated as a value obtained by dividing the flatness by a predetermined reference value. Since the mouth has the same shape as the eyes, the degree of opening can be obtained in the same manner as the degree of eye opening.
  • the driver detection unit 21 detects various characteristics of the driver and supplies the driver detection results to the sensing processing unit 22 .
  • the sensing processing unit 22 applies the correction value supplied from the correction unit 30 to the driver detection result for calculation in the driver sensing process. Using the supplied correction values, the sensing processing unit 22 corrects, for example, the two-dimensional image in the image coordinate system. Instead of correcting the two-dimensional image itself, correction may be made to the detected line of sight or face orientation.
  • the target marker detection unit 31 detects the target marker TM from a captured image including the target marker TM output from the imaging device 11 (sometimes referred to as a first captured image).
  • a captured image including the target marker TM output from the imaging device 11 sometimes referred to as a first captured image.
  • Figure 3 schematically shows the interior of the vehicle, in which an instrument panel 2, a steering wheel 3, an A-pillar 4, a B-pillar 5, and a seat 6 are arranged.
  • the occupant monitoring system 1 is arranged near the instrument panel 2, as an example.
  • the occupant monitoring system 1 may be incorporated within the instrument panel 2 or may be provided on a steering column (not shown).
  • a target marker TM is provided at an appropriate position on a structure inside the vehicle compartment or a structure forming the vehicle compartment.
  • the target marker TM is a marker for use when aiming.
  • the target markers TM are provided on the instrument panel 2, the A pillar 4, the B pillar 5, the seat 6, and the roof 8.
  • the appropriate position means a position within the angle of view of the imaging device 11 and capable of being imaged by the imaging device 11 . Therefore, even within the angle of view of the imaging device 11, the position behind the steering wheel 3 is not an appropriate position.
  • the target marker TM is provided in the vehicle interior so that the target marker TM appears in a field angle range, for example, near the center of the field angle, which is less affected by the characteristics of the lens of the imaging device 11 such as distortion, vignetting, and reduction in resolving power. Therefore, the detection accuracy of the target marker TM can be improved. At least one target marker TM should be provided, but a plurality of target markers TM may be provided. In addition, when the target marker TM is provided on a movable object inside the vehicle such as the seat 6, such a movable object is controlled by a vehicle-side electronic control unit (ECU: Electronic Control Unit) (not shown) when aiming is executed. or manually by an operator.
  • ECU Electronic Control Unit
  • the target marker TM is provided, for example, by drawing it at an appropriate location using IR reflective ink that reflects near-infrared light. Since the reflected light from the IR reflective ink is difficult for the human eye to see, it is possible to suppress the influence of the target marker TM on the design of the interior of the vehicle. In addition, by using IR reflective ink, the target markers TM can be placed inside the vehicle without being restricted by the shape of the structure inside the vehicle, so the degree of freedom in placing the target markers TM inside the vehicle can be increased. .
  • the shape of the target marker TM may be any shape suitable for aiming, that is, any shape that is easy to detect.
  • a shape such as a cross, an L shape, a star, a triangle, or the like, in which a plurality of line segments extend in different directions and which makes it easy to detect deviations around the rotation axis, may be adopted as the shape of the target marker TM.
  • a line segment it may be a shape that includes a curved line, such as a semicircle.
  • FIG. 4 is a diagram showing an example of a captured image captured by the imaging device 11 when the occupant monitoring system 1 is arranged at the position shown in FIG.
  • the occupant monitoring device 10 is used by being connected to the inspection machine 7 during aiming processing.
  • the target marker detection unit 31 After receiving an aiming start signal from an external device such as the inspection machine 7, the target marker detection unit 31 detects the target marker TM by performing image processing such as edge processing on the captured image output from the imaging device 11. .
  • the displacement amount calculator 32 calculates the amount of translational displacement and the amount of rotational displacement from the reference position of the detected target marker TM. These deviation amounts are calculated in the image coordinate system.
  • the amount of translational displacement includes the amount of horizontal positional displacement and the amount of vertical positional displacement of the target marker TM from the reference position.
  • the rotation deviation amount is the deviation amount of the rotation angle.
  • the reference position indicates where the target marker TM is placed in the image coordinate system, and is stored in advance in a memory (not shown) and referred to by the deviation amount calculator 32, or is determined by an external device during aiming processing. It is transmitted to the calculator 32 .
  • the displacement amount calculator 32 stores the calculated translational displacement amount and rotational displacement amount of the target marker TM in a memory (not shown). A memory 100c, which will be described later, may be used instead of the memory (not shown).
  • the stored translational deviation amount and rotational deviation amount of the target marker TM are used for processing by the correction value calculator 33 .
  • the deviation amount calculation unit 32 calculates the current translational deviation amount and rotational deviation amount of the target marker TM re-detected at an arbitrary timing, A difference may be calculated by comparing with the amount of rotational deviation, and if the difference is larger than a certain value, the stored values of the amount of translational deviation and the amount of rotational deviation of the target marker TM may be updated. By performing such update processing, it is possible to deal with the case where the imaging device 11 is replaced. That is, the correction value calculator 33 can calculate the correction value based on the current translational deviation amount and rotational deviation amount of the target marker TM after the imaging device 11 is replaced.
  • the correction value calculator 33 accesses a memory (not shown) and acquires the translational deviation amount and the rotational deviation amount of the target marker TM stored based on the processing by the deviation amount calculator 32 .
  • the correction value calculator 33 calculates the translational deviation amount and the rotational deviation amount of the imaging device 11 with respect to the vehicle as correction values based on the acquired translational deviation amount and rotational deviation amount of the target marker TM.
  • the calculated deviation amount is the deviation amount in the vehicle coordinate system based on an arbitrary position in the vehicle.
  • the target marker TM includes one line segment
  • the angle between the end points of the line segment and the imaging device 11 can be obtained.
  • the position and shape of the target marker TM are known. Therefore, the curve that the position of the imaging device 11 can take is determined from the angle between the endpoints of the line segment and the angle formed by the imaging device 11 and the known length of the line segment forming the target marker TM.
  • the position of the imaging device 11 can be identified as an intersection point of a plurality of curves that the position of the imaging device 11 can take.
  • the position of the imaging device 11 can be identified by extracting a plurality of feature points from the target marker TM.
  • the correction value calculator 33 stores the calculated correction values in a memory (not shown).
  • the sensing processing unit 22 of the monitoring unit 20 accesses the memory (not shown) to acquire the calculated correction value, and applies the acquired correction value to the calculation in the sensing process.
  • a correction value may be calculated by extracting a plurality of feature points forming the target marker TM according to a known technique. More specifically, the position vector of each feature point is obtained with reference to the position of the imaging device, the normal vector of the reference plane and the equation are obtained using the obtained position vector, and the Find the normal vectors and equations of the construction planes The normal vector of the reference plane and the parameters of the equation of the target marker TM used as a reference, the normal vector of the reference plane and the parameters of the equation of the construction plane, the normal vector of the reference plane and the parameters of the equation of the detected target marker TM, and A deviation amount obtained by comparing the normal vector of the configuration plane and the parameters of the equation is calculated as a correction value.
  • the amount of translational deviation and the amount of rotational deviation of the imaging device 11 with respect to the vehicle are calculated as correction values, so it is possible to correct errors in the mounting angle of the imaging device 11 with respect to the vehicle. Therefore, the accuracy of the driver detection result by the occupant monitoring device 10 is improved as compared with the accuracy of the driver detection result by the prior art.
  • occupant monitoring device 10 is implemented by processing circuitry 100a.
  • a driver detection unit 21, a sensing processing unit 22, a target marker detection unit 31, a deviation amount calculation unit 32, and a correction value calculation unit 33 are realized by the processing circuit 100a.
  • the processing circuit 100a is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof.
  • the functions of the driver detection unit 21, the sensing processing unit 22, the target marker detection unit 31, the deviation amount calculation unit 32, and the correction value calculation unit 33 may be realized by separate processing circuits, or these functions may be combined into one. It may be realized by a processing circuit.
  • the occupant monitoring device 10 is implemented by a computer having a processor 100b and a memory 100c.
  • a program stored in the memory 100c is read out by the processor 100b and executed, whereby the driver detection unit 21, the sensing processing unit 22, the target marker detection unit 31, the displacement amount calculation unit 32, and the correction value calculation unit 33 are executed.
  • Programs may be implemented as software, firmware, or a combination of software and firmware.
  • Examples of the memory 100c include non-volatile or volatile semiconductors such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), and EEPROM (Electrically-EPROM). Memory, magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD are included.
  • FIG. 5 is a flow chart of an occupant monitoring method relating to correction processing.
  • step ST ⁇ b>1 the target marker detection unit 31 detects the target marker TM from the captured image output from the imaging device 11 .
  • step ST2 the displacement amount calculator 32 calculates the amount of displacement in the horizontal direction, vertical direction, and rotation angle between the detected position of the target marker TM and the desired position. That is, the displacement amount calculator 32 calculates the amount of translational displacement and the amount of rotational displacement from the reference position of the detected target marker TM.
  • step ST3 the correction value calculation unit 33 calculates correction values for the horizontal direction, vertical direction, and rotation angle used in the sensing process. That is, based on the amount of translational deviation and the amount of rotational deviation of the target marker TM, the amount of translational deviation and the amount of rotational deviation of the imaging device 11 with respect to the vehicle are calculated as correction values.
  • the amount of translational deviation and the amount of rotational deviation of the target marker TM are obtained by accessing a memory (not shown).
  • step ST4 the sensing processing unit 22 applies the correction value supplied from the correction unit 30 to the driver detection result for calculation in the driver sensing process.
  • FIG. 6 is a flow chart of an occupant monitoring method relating to updating processing of the translational deviation amount and the rotational deviation amount of the target marker TM.
  • Steps ST11, ST12, ST15, and ST16 in FIG. 6 correspond to steps ST1, ST2, ST3, and ST4 in FIG. 5, respectively, so description of these steps in FIG. 6 is omitted.
  • Steps ST13 and ST14 will be described below. Note that the update process of FIG. 6 is executed after the process of FIG. 5 has been executed in the past and the calculated translational deviation amount and rotational deviation amount of the target marker TM are internally held.
  • step ST13 the displacement amount calculator 32 calculates the currently calculated translational displacement amount and rotational displacement amount of the target marker TM, and the previously calculated translational displacement amount and rotational displacement amount of the target marker TM held in a memory (not shown). A difference is calculated by comparing the amount of deviation with each other.
  • step ST14 if the calculated difference is larger than a predetermined constant value, the displacement amount calculation unit 32 internally holds in a memory (not shown) based on the currently calculated translational displacement amount and rotational displacement amount of the target marker TM. update the past deviation amount.
  • step ST15 the correction value calculator 33 calculates a correction value using the updated translational deviation amount and rotational deviation amount of the target marker TM.
  • An occupant monitoring device (10) detects a target marker from a first image captured by an imaging device (11) including a target marker reflecting infrared light provided in a vehicle interior.
  • a monitoring unit (20) that performs sensing processing for sensing the occupant with respect to a second captured image including the occupant of the vehicle captured by an imaging device;
  • the occupant monitoring device (10) according to Supplementary Note 2 is the occupant monitoring device described in Supplementary Note 1, wherein the amount of translational deviation and the amount of rotational deviation from the reference position of the target marker calculated this time and the target marker calculated in the past
  • the correction value calculation unit calculates the amount of translational deviation and the amount of rotational deviation from the reference position of the target marker calculated this time. The correction value is calculated based on the amount of deviation.
  • An occupant monitoring system (1) according to Supplementary Note 3 includes the occupant monitoring device described in Supplementary Note 1 or 2, and the imaging device.
  • the occupant monitoring system (1) according to Supplementary Note 3 is the occupant monitoring system described in Supplementary Note 3, further comprising a light source (12) for emitting infrared light.
  • the occupant monitoring method includes a target marker detection unit (31), a correction unit (30) including a deviation calculation unit (32) and a correction value calculation unit (33), and an occupant monitoring device including a monitoring unit (20). wherein the target marker detection unit of the correction unit detects the target from a first captured image including a target marker that reflects infrared light and is provided in the interior of the vehicle and captured by an imaging device.
  • a step of detecting a marker a step of calculating a translational displacement amount and a rotational displacement amount of the detected target marker from a reference position by a displacement amount calculation unit of the correction unit, and a step of calculating a correction value calculation unit of the correction unit, a step of calculating, as correction values, the translational displacement amount and the rotational displacement amount of the imaging device with respect to the vehicle based on the calculated translational displacement amount and the rotational displacement amount; and performing sensing processing for sensing the occupant on a second captured image including the occupant of the vehicle captured by the imaging device.
  • the occupant monitoring device of the present disclosure can be used as an occupant monitoring device for monitoring occupants of a vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

乗員監視装置は、撮像装置により撮像される、車両の室内に設けられた赤外光を反射するターゲットマーカを含む第１の撮像画像から前記ターゲットマーカを検出するターゲットマーカ検出部（３１）と、検出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量を算出するズレ量算出部（３２）と、算出された並進ズレ量および回転ズレ量に基づいて、前記車両に対する前記撮像装置の並進ズレ量および回転ズレ量を補正値として算出する補正値算出部（３３）と、を備える補正部（３０）と、算出された補正値を用いて、前記撮像装置により撮像される前記車両の乗員を含む第２の撮像画像に対して前記乗員をセンシングするセンシング処理を行う監視部（２０）と、を備える。

Description

乗員監視装置、乗員監視システム、および乗員監視方法
　本開示は、乗員監視技術に関する。
　特許文献１には、車両の車室内に固定されたオートフォーカス機能を有するカメラと、第一時点においてユーザにフォーカスして前記カメラが撮像した第一画像における、前記車室内に固定された基準位置の輝度値と前記ユーザの輝度値とを取得する輝度取得部と、（ａ）前記カメラと前記基準位置との第一距離と、（ｂ）前記第一時点における前記カメラのフォーカス位置から得られる、前記カメラと前記ユーザとの第二距離と、を取得する距離取得部と、撮像対象と前記カメラとの距離と、前記撮像対象が前記カメラにより撮像された画像における輝度値とが満たす所定の関係式であって、少なくとも撮像対象に応じて定まる係数を含む関係式について、前記第一時点における前記基準位置についての第一係数と前記第一時点における前記ユーザについての第二係数との比を、前記基準位置の輝度値、前記ユーザの輝度値、前記第一距離、及び、前記第二距離を用いて算出する較正部と、前記第一時点とは異なる第二時点において前記カメラが撮像した第二画像における前記基準位置及び前記ユーザそれぞれの輝度値と、前記第一距離と、前記比とを用いて、前記第二時点における前記カメラと前記ユーザとの第三距離を算出する算出部とを備える撮像装置に関する技術が開示されている。
特開２０２０―７９７１２号公報
　特許文献１の撮像装置によれば、輝度値を用いて校正をするので、撮像装置から撮像対象までの距離を校正することはできるが、撮像装置の車両への組み付け時に生じうる角度の校正をすることができないという問題点がある。
　本開示は、このような問題点を解決するためになされたものであり、角度の校正をすることができる乗員監視技術を提供することを目的とする。
　本開示の実施形態による乗員監視装置は、撮像装置により撮像される、車両の室内に設けられた赤外光を反射するターゲットマーカを含む第１の撮像画像から前記ターゲットマーカを検出するターゲットマーカ検出部と、検出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量を算出するズレ量算出部と、算出された並進ズレ量および回転ズレ量に基づいて、前記車両に対する前記撮像装置の並進ズレ量および回転ズレ量を補正値として算出する補正値算出部と、を備える補正部と、算出された補正値を用いて、前記撮像装置により撮像される前記車両の乗員を含む第２の撮像画像に対して前記乗員をセンシングするセンシング処理を行う監視部と、を備える。
　本開示の実施形態による乗員監視装置によれば、角度の校正をすることができる。
実施の形態１による乗員監視装置および乗員監視システムの構成例を示す図である。 乗員監視装置のハードウェアの構成例を示す図である。 乗員監視装置のハードウェアの構成例を示す図である。 乗員監視装置および乗員監視システムの適用例を示す車内の概略図である。 車内の撮像画像の例を示す図である。 補正処理に係る乗員監視方法のフローチャートである。 更新処理に係る乗員監視方法のフローチャートである。
　以下、添付の図面を参照して、本開示における種々の実施形態について詳細に説明する。なお、図面において同一または類似の符号を付された構成要素は、同一または類似の構成または機能を有するものであり、そのような構成要素についての重複する説明は省略する。
実施の形態１．
＜構成＞
（乗員監視システム）
　図１に示されているように、乗員監視システム１は、一例として、乗員監視装置１０、撮像装置１１、および光源１２を備える。光源１２は、例えば赤外線Light　Emitting　Diode（ＩＲ－ＬＥＤ）である。光源１２は、例えば波長が８００ｎｍ～１，０００ｎｍの近赤外光をエイミングを行う際に照射する。光源１２から照射された近赤外光は、車内に設けられた後述のターゲットマーカＴＭにより反射される。撮像装置１１は赤外線カメラであり、例えば波長が４００ｎｍ～１，０００ｎｍ（可視光～近赤外光）の光を受光して撮影画像を生成する。なお、撮像装置１１を備える乗員監視システム１についてエイミングを実行する際にターゲットマーカＴＭを検出できればよいので、光源１２は任意の構成要素である。なお、エイミングとは、撮像装置１１の車両への組付け誤差または撮像装置１１の光軸の誤差を補正することをいう。
（乗員監視装置）
　乗員監視装置１０は、図１に示されているように、ドライバの監視を行う監視部２０と、監視部２０による処理に用いられる補正値を算出する補正部３０とを備える。監視部２０は、車両を走行の用に供する場合に用いられる機能部であり、車両のイグニッションがＯＮにされた後、車両の停車時または走行時に車両の乗員を検出する。監視部２０は、ドライバ検出部２１およびセンシング処理部２２を備える。補正部３０は、撮像装置１１の点検時に用いられる機能部であり、後述の検査機７などの外部機器からエイミング開始信号の受信により動作する。補正部３０は、ターゲットマーカ検出部３１、ズレ量算出部３２、および補正値算出部３３を備える。
（ドライバ検出部）
　ドライバ検出部２１は、撮像装置１１により撮像された乗員であるドライバを含む撮像画像（第２の撮像画像と言う場合がある。）から、公知の技術を用いてドライバの種々の特徴を検出し、検出した結果をドライバ検出結果としてセンシング処理部２２へ供給する。ドライバ検出結果の例には、顔向き、視線向き、ドライバ位置、開眼度、および開口度などのドライバの特徴が含まれる。
　例えば、ドライバ検出部２１は、撮像画像から顔、目、瞳孔などの乗員の顔に関する顔パーツの形状および顔パーツの時間的変化量を算出することにより、視線および顔向きを検出する。視線は、例えば目頭と目尻の位置に対する瞳孔の位置を利用して算出することができる。顔向きは、顔パーツの相対的な位置関係から算出することができる。また、ドライバ検出部２１は、撮像画像と視線および顔向きとの関係を学習した不図示の学習済みモデルに、取得された撮像画像を入力して、視線および顔向きを検出してもよい。
　なお、開眼度とは目の開き具合であり、開口度とは口の開き具合である。開眼度を例にして説明すると、例えば、目頭の位置、目尻の位置および上瞼の最高点の位置を検出し、目頭と目尻とを結ぶ直線と上瞼の最高点との間の距離を、目頭と目尻の間の距離で除算することで目の扁平率を求め、扁平率を予め定められた基準値で除算して得られる値として開眼度を算出することができる。口は目と同様の形状であるので、開口度も開眼度と同様にして求めることができる。
　このように、公知の技術を用いて、ドライバ検出部２１は、ドライバの種々の特徴を検出し、ドライバ検出結果をセンシング処理部２２へ供給する。
（センシング処理部）
　センシング処理部２２は、ドライバ検出結果に対して、補正部３０から供給される補正値をドライバのセンシング処理における演算に適用する。供給される補正値を用いて、センシング処理部２２は、例えば、画像座標系における２次元画像を補正する。２次元画像それ自体を補正するのでなく、検出された視線または顔向きに対して補正を行ってもよい。
（ターゲットマーカ検出部）
　ターゲットマーカ検出部３１は、撮像装置１１から出力されるターゲットマーカＴＭを含む撮像画像（第１の撮像画像と言う場合がある。）からターゲットマーカＴＭを検出する。ここで、図３および図４を参照しつつ、乗員監視装置１０を含む乗員監視システム１の適用例、および車内に配置されるターゲットマーカＴＭの特性について説明する。
　図３は車室内を模式的に示しており、車室内には、インスツルメンツパネル２、ステアリングホイール３、Ａピラー４、Ｂピラー５、および座席シート６が配置されている。図３に示されているように、乗員監視システム１は、一例として、インスツルメンツパネル２付近に配置される。他の例として、乗員監視システム１はインスツルメンツパネル２内に組み込まれていてもよいし、不図示のステアリングコラム上に設けられていてもよい。
　図３に示されているように、車室内の構造物または車室を形成する構造物の適当な位置にターゲットマーカＴＭが設けられる。ターゲットマーカＴＭは、エイミングを行う際に用いるためのマーカである。図３の例では、ターゲットマーカＴＭが、インスツルメンツパネル２、Ａピラー４、Ｂピラー５、座席シート６、およびルーフ８に設けられている。適当な位置とは、撮像装置１１の画角内であって、撮像装置１１により撮像可能な位置をいう。したがって、撮像装置１１の画角内であっても、ステアリングホイール３の陰となるような位置は適当な位置でない。また、歪み、周辺減光、解像力の低下といった撮像装置１１のレンズの特性の影響を受けにくい画角範囲、例えば画角中心付近にターゲットマーカＴＭが映るようにターゲットマーカＴＭを車室内に設けることにより、ターゲットマーカＴＭの検出精度を高めることができる。ターゲットマーカＴＭは少なくとも１つ設けられていれば良いが、複数のターゲットマーカＴＭが設けられてもよい。なお、ターゲットマーカＴＭが座席シート６のような車室内の可動物に設けられる場合には、そのような可動物は、エイミング実行時に、不図示の車両側電子制御装置（ＥＣＵ：Electronic　Control　Unit）の制御の下でまたは作業者により手動で所定の位置に移動される。
　ターゲットマーカＴＭは、例えば、近赤外光を反射するＩＲ反射インクを用いて適当な箇所に描くことにより設けられる。ＩＲ反射インクによる反射光は人間の目に視認しにくいので、ターゲットマーカＴＭが車室内のデザインへ与える影響を抑制することができる。また、ＩＲ反射インクを用いることにより、車室内の構造物の形状による制約を受けないでターゲットマーカＴＭを車内へ配置できるので、ターゲットマーカＴＭを車内へ配置する際の自由度を高めることができる。
　ターゲットマーカＴＭの形状は、エイミングに適した任意の形状、即ち検出しやすい任意の形状であって良い。例えば、十字、Ｌ字、星、三角など、複数の線分が異なる方向に伸びた回転軸周りのズレを検出しやすい形状をターゲットマーカＴＭの形状として採用してよい。線分の代わりに、曲線が含まれる形状、例えば半円であってもよい。ターゲットマーカＴＭを正確に検出することにより、エイミング精度を高精度に実現することができる。
　図４は、乗員監視システム１が図３で示された位置に配置された場合において、撮像装置１１により撮像される撮像画像の例を示す図である。
　図３に示されているように、乗員監視装置１０は、エイミング処理時には、検査機７に接続されて用いられる。ターゲットマーカ検出部３１は、検査機７などの外部機器からエイミング開始信号を受信後、撮像装置１１から出力される撮像画像に対してエッジ処理等の画像処理を行うことによりターゲットマーカＴＭを検出する。
（ズレ量算出部）
　ズレ量算出部３２は、検出されたターゲットマーカＴＭの基準位置からの並進ズレ量および回転ズレ量を算出する。これらのズレ量は画像座標系において算出される。並進ズレ量には、ターゲットマーカＴＭの、基準位置からの水平方向の位置ズレ量および垂直方向の位置ズレ量が含まれる。回転ズレ量は、回転角のズレ量である。基準位置は、ターゲットマーカＴＭが画像座標系においてどの位置に配置されているのかを示し、不図示のメモリに予め記憶されてズレ量算出部３２により参照され、または外部機器からエイミング処理時にズレ量算出部３２へ送信される。ズレ量算出部３２は、算出したターゲットマーカＴＭの並進ズレ量および回転ズレ量を、不図示のメモリに保存する。なお、不図示のメモリに代えて、後述のメモリ１００ｃを用いてもよい。保存されたターゲットマーカＴＭの並進ズレ量および回転ズレ量は、補正値算出部３３による処理に用いられる。
　また、ズレ量算出部３２は、任意のタイミングで再検出されたターゲットマーカＴＭの今回の並進ズレ量および回転ズレ量と、過去の検出に基づく既に保存されているターゲットマーカＴＭの並進ズレ量および回転ズレ量とを比較して差分を算出し、差分が一定値より大きい場合、保存されているターゲットマーカＴＭの並進ズレ量および回転ズレ量の値を更新してよい。このような更新処理を行うことにより、撮像装置１１が交換された場合に対処できる。すなわち、補正値算出部３３は、撮像装置１１の交換後におけるターゲットマーカＴＭの今回の並進ズレ量および回転ズレ量に基づいて補正値を算出することが可能となる。
（補正値算出部）
　補正値算出部３３は、不図示のメモリにアクセスして、ズレ量算出部３２による処理に基づいて保存されているターゲットマーカＴＭの並進ズレ量および回転ズレ量を取得する。補正値算出部３３は、取得したターゲットマーカＴＭの並進ズレ量および回転ズレ量に基づいて、車両に対する撮像装置１１の並進ズレ量および回転ズレ量を補正値として算出する。算出されるズレ量は、車内の任意の位置を基準とする車両座標系におけるズレ量である。
　例えば、ターゲットマーカＴＭに１つの線分が含まれている場合、その線分の両端点と撮像装置１１の成す角の角度が得られる。また、ターゲットマーカＴＭの位置および形状は既知である。したがって、その線分の両端点と撮像装置１１の成す角の角度、およびターゲットマーカＴＭを構成する線分の既知の長さから、撮像装置１１の位置が取り得る曲線が定まる。ターゲットマーカＴＭに複数の線分が含まれている場合、撮像装置１１の位置が取り得る複数の曲線の交点として撮像装置１１の位置を同定できる。このように、ターゲットマーカＴＭから複数の特徴点を抽出することにより撮像装置１１の位置を同定できる。したがって、ターゲットマーカＴＭの並進ズレ量および回転ズレ量に基づいて、車両に対する撮像装置１１の並進ズレ量および回転ズレ量を求めることができる。補正値算出部３３は、算出した補正値を不図示のメモリに格納する。監視部２０のセンシング処理部２２は、その不図示のメモリにアクセスして算出された補正値を取得し、取得した補正値をセンシング処理内の演算に適用する。
　また、１つのターゲットマーカＴＭがある基準面に関して面対称なマーカである場合には、公知技術に従って、ターゲットマーカＴＭを構成する複数の特徴点を抽出して補正値を算出してもよい。より具体的には、撮像装置の位置を基準とする各特徴点の位置ベクトルを求め、求めた位置ベクトルを用いてその基準面の法線ベクトルおよび方程式を求めるとともに、その複数の特徴点により構成される構成平面の法線ベクトルおよび方程式を求める。基準として用いるターゲットマーカＴＭの、基準面の法線ベクトルおよび方程式のパラメータ並びに構成平面の法線ベクトルおよび方程式のパラメータと、検出されたターゲットマーカＴＭの、基準面の法線ベクトルおよび方程式のパラメータ並びに構成平面の法線ベクトルおよび方程式のパラメータとをそれぞれ比較することにより得られるズレ量を補正値として算出する。
　乗員監視装置１０によれば、車両に対する撮像装置１１の並進ズレ量および回転ズレ量が補正値として算出されるので、車両に対する撮像装置１１の組み付け角度の誤差を補正することができる。したがって、乗員監視装置１０によるドライバ検出結果の精度は、従来技術によるドライバ検出結果の精度よりも向上される。
＜ハードウェア構成＞
　次に図２Ａおよび図２Ｂを参照して、乗員監視装置１０のハードウェア構成について説明する。一例として、図２Ａに示されているように、乗員監視装置１０は、処理回路１００ａにより実現される。処理回路１００ａにより、ドライバ検出部２１、センシング処理部２２、ターゲットマーカ検出部３１、ズレ量算出部３２、および補正値算出部３３が実現される。処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又は、これらの組合せである。ドライバ検出部２１、センシング処理部２２、ターゲットマーカ検出部３１、ズレ量算出部３２、および補正値算出部３３の機能を別個の処理回路で実現してもよく、これらの機能をまとめて１つの処理回路で実現してもよい。
　別の例として、図２Bに示されているように、乗員監視装置１０は、プロセッサ１００ｂとメモリ１００ｃを備えたコンピュータにより実現される。メモリ１００ｃに格納されたプログラムがプロセッサ１００ｂに読み出されて実行されることにより、ドライバ検出部２１、センシング処理部２２、ターゲットマーカ検出部３１、ズレ量算出部３２、および補正値算出部３３が実現される。プログラムは、ソフトウェア、ファームウェア又はソフトウェアとファームウェアとの組合せとして実現される。メモリ１００ｃの例には、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ－ＥＰＲＯＭ）などの不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤが含まれる。
＜動作＞
（補正処理）
　次に、図５を参照して、乗員監視装置１０が行う乗員監視方法に係る動作について説明する。図５は、補正処理に係る乗員監視方法のフローチャートである。
　ステップＳＴ１において、ターゲットマーカ検出部３１は、撮像装置１１から出力される撮像画像からターゲットマーカＴＭを検出する。
　ステップＳＴ２において、ズレ量算出部３２は、検出されたターゲットマーカＴＭの位置と所望の位置との、水平方向、垂直方向、および回転角のズレ量を算出する。すなわち、ズレ量算出部３２は、検出されたターゲットマーカＴＭの基準位置からの並進ズレ量および回転ズレ量を算出する。
　ステップＳＴ３において、補正値算出部３３は、センシング処理で用いる水平方向、垂直方向、および回転角の補正値を算出する。すなわち、ターゲットマーカＴＭの並進ズレ量および回転ズレ量に基づいて、車両に対する撮像装置１１の並進ズレ量および回転ズレ量を補正値として算出する。ターゲットマーカＴＭの並進ズレ量および回転ズレ量は、不図示のメモリにアクセスして取得する。
　ステップＳＴ４において、センシング処理部２２は、ドライバ検出結果に対して、補正部３０から供給される補正値を、ドライバのセンシング処理における演算に適用する。
（ズレ量の更新処理）
　次に、図６を参照して、乗員監視装置１０による更新処理に係る乗員監視方法について説明する。図６は、ターゲットマーカＴＭの並進ズレ量および回転ズレ量の更新処理に係る乗員監視方法のフローチャートである。図６におけるステップＳＴ１１、ステップＳＴ１２、ステップＳＴ１５、およびステップＳＴ１６は、図５のステップＳＴ１、ステップＳＴ２、ステップＳＴ３、ステップＳＴ４にそれぞれ相当するので、図６のこれらのステップに関する説明は省略する。以下では、ステップＳＴ１３およびステップＳＴ１４について説明する。なお、図６の更新処理は、過去に図５の処理が実行されて、算出されたターゲットマーカＴＭの並進ズレ量および回転ズレ量が内部保持された後に実行される。
　ステップＳＴ１３において、ズレ量算出部３２は、今回算出したターゲットマーカＴＭの並進ズレ量および回転ズレ量と、不図示のメモリに保持されている過去に算出されたターゲットマーカＴＭの並進ズレ量および回転ズレ量とをそれぞれ比較して差分を算出する。
　ステップＳＴ１４において、ズレ量算出部３２は、算出された差分が予め定められた一定値より大きい場合、今回算出したターゲットマーカＴＭの並進ズレ量および回転ズレ量により、不図示のメモリに内部保持された過去のズレ量を更新する。ステップＳＴ１５では、補正値算出部３３は、更新後のターゲットマーカＴＭの並進ズレ量および回転ズレ量を用いて補正値を算出する。
＜付記＞
　以上で説明した種々の実施形態のいくつかの側面について、以下の付記のとおりまとめる。
（付記１）
　付記１による乗員監視装置（１０）は、撮像装置（１１）により撮像される、車両の室内に設けられた赤外光を反射するターゲットマーカを含む第１の撮像画像から前記ターゲットマーカを検出するターゲットマーカ検出部（３１）と、検出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量を算出するズレ量算出部（３２）と、算出された並進ズレ量および回転ズレ量に基づいて、前記車両に対する前記撮像装置の並進ズレ量および回転ズレ量を補正値として算出する補正値算出部（３３）と、を備える補正部（３０）と、算出された補正値を用いて、前記撮像装置により撮像される前記車両の乗員を含む第２の撮像画像に対して前記乗員をセンシングするセンシング処理を行う監視部（２０）と、を備える。
（付記２）
　付記２による乗員監視装置（１０）は、付記１に記載された乗員監視装置であって、今回算出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量と、過去に算出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量との差分が予め定められた値よりも大きい場合、前記補正値算出部は、今回算出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量に基づいて前記補正値の算出を行う。
（付記３）
　付記３による乗員監視システム（１）は、付記１または２に記載された乗員監視装置と、前記撮像装置と、を備える。
（付記４）
　付記３による乗員監視システム（１）は、付記３に記載された乗員監視システムであって、赤外光を照射する光源（１２）を更に備える。
（付記５）
　付記５による乗員監視方法は、ターゲットマーカ検出部（３１）、ズレ量算出部（３２）および補正値算出部（３３）を備える補正部（３０）、並びに監視部（２０）を備える乗員監視装置による乗員監視方法であって、前記補正部のターゲットマーカ検出部が、撮像装置により撮像される、車両の室内に設けられた赤外光を反射するターゲットマーカを含む第１の撮像画像から前記ターゲットマーカを検出するステップと、前記補正部のズレ量算出部が、検出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量を算出するステップと、前記補正部の補正値算出部が、算出された並進ズレ量および回転ズレ量に基づいて、前記車両に対する前記撮像装置の並進ズレ量および回転ズレ量を補正値として算出するステップと、前記監視部が、算出された補正値を用いて、前記撮像装置により撮像される前記車両の乗員を含む第２の撮像画像に対して前記乗員をセンシングするセンシング処理を行うステップと、を備える、
　なお、実施形態を組み合わせたり、各実施形態を適宜、変形、省略したりすることが可能である。
　本開示の乗員監視装置は、車両の乗員を監視するための乗員監視装置として用いることができる。
　１　乗員監視システム、２　インスツルメンツパネル、３　ステアリングホイール、４　Ａピラー、５　Ｂピラー、６　座席シート、７　検査機、８　ルーフ、１０　乗員監視装置、１１　　撮像装置、１２　光源、２０　監視部、２１　ドライバ検出部、２２　センシング処理部、３０　補正部、３１　ターゲットマーカ検出部、３２　ズレ量算出部、３３　補正値算出部、１００ａ　処理回路、１００ｂ　プロセッサ、１００ｃ　メモリ。

Claims (5)

  1. 　　撮像装置により撮像される、車両の室内に設けられた赤外光を反射するターゲットマーカを含む第１の撮像画像から前記ターゲットマーカを検出するターゲットマーカ検出部と、
    　　検出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量を算出するズレ量算出部と、
    　　算出された並進ズレ量および回転ズレ量に基づいて、前記車両に対する前記撮像装置の並進ズレ量および回転ズレ量を補正値として算出する補正値算出部と、
    　を備える補正部と、
    　算出された補正値を用いて、前記撮像装置により撮像される前記車両の乗員を含む第２の撮像画像に対して前記乗員をセンシングするセンシング処理を行う監視部と、
    を備える、乗員監視装置。
  2. 　今回算出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量と、過去に算出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量との差分が予め定められた値よりも大きい場合、前記補正値算出部は、今回算出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量に基づいて前記補正値の算出を行う、請求項１に記載された乗員監視装置。
  3. 　請求項１または２に記載された乗員監視装置と、
    　前記撮像装置と、
    を備える、乗員監視システム。
  4. 　赤外光を照射する光源を更に備える、請求項３に記載された乗員監視システム。
  5. 　ターゲットマーカ検出部、ズレ量算出部および補正値算出部を備える補正部、並びに監視部を備える乗員監視装置による乗員監視方法であって、
    　前記補正部のターゲットマーカ検出部が、撮像装置により撮像される、車両の室内に設けられた赤外光を反射するターゲットマーカを含む第１の撮像画像から前記ターゲットマーカを検出するステップと、
    　前記補正部のズレ量算出部が、検出されたターゲットマーカの基準位置からの並進ズレ量および回転ズレ量を算出するステップと、
    　前記補正部の補正値算出部が、算出された並進ズレ量および回転ズレ量に基づいて、前記車両に対する前記撮像装置の並進ズレ量および回転ズレ量を補正値として算出するステップと、
    　前記監視部が、算出された補正値を用いて、前記撮像装置により撮像される前記車両の乗員を含む第２の撮像画像に対して前記乗員をセンシングするセンシング処理を行うステップと、
    を備える、乗員監視方法。
PCT/JP2022/004775 2022-02-08 2022-02-08 乗員監視装置、乗員監視システム、および乗員監視方法 WO2023152785A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023579879A JPWO2023152785A1 (ja) 2022-02-08 2022-02-08
PCT/JP2022/004775 WO2023152785A1 (ja) 2022-02-08 2022-02-08 乗員監視装置、乗員監視システム、および乗員監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/004775 WO2023152785A1 (ja) 2022-02-08 2022-02-08 乗員監視装置、乗員監視システム、および乗員監視方法

Publications (1)

Publication Number Publication Date
WO2023152785A1 true WO2023152785A1 (ja) 2023-08-17

Family

ID=87563799

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/004775 WO2023152785A1 (ja) 2022-02-08 2022-02-08 乗員監視装置、乗員監視システム、および乗員監視方法

Country Status (2)

Country Link
JP (1) JPWO2023152785A1 (ja)
WO (1) WO2023152785A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307352A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2020079712A (ja) * 2018-11-12 2020-05-28 パナソニックＩｐマネジメント株式会社 撮像装置、及び、制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10307352A (ja) * 1997-05-07 1998-11-17 Fuji Heavy Ind Ltd ステレオカメラの調整装置
JP2020079712A (ja) * 2018-11-12 2020-05-28 パナソニックＩｐマネジメント株式会社 撮像装置、及び、制御方法

Also Published As

Publication number Publication date
JPWO2023152785A1 (ja) 2023-08-17

Similar Documents

Publication Publication Date Title
JP6458439B2 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
US10795166B2 (en) Head up display system and control method thereof
US9619722B2 (en) Gaze direction detection device, and gaze direction detection method
JP4726621B2 (ja) 車載センサの補正装置
US10705600B2 (en) Method and apparatus for detecting and following an eye and/or the gaze direction thereof
US9020700B2 (en) Lane tracking apparatus and method using camera direction control
WO2015045329A1 (ja) 車両周辺画像表示装置及びカメラの調整方法
US10706585B2 (en) Eyeball information estimation device, eyeball information estimation method, and eyeball information estimation program
CN108696719B (zh) 用于校准车辆的车辆摄像机的方法和设备
JP2007259931A (ja) 視線検出装置
US10977488B2 (en) Line-of-sight direction calibration device, line-of-sight direction calibration method, and line-of-sight direction calibration program
JP7221161B2 (ja) ヘッドアップディスプレイ及びそのキャリブレーション方法
CN114286079B (zh) 增强的指向角验证
JP5175230B2 (ja) カメラの自動キャリブレーション装置及び自動キャリブレーション方法
JP6669182B2 (ja) 乗員監視装置
US20160121806A1 (en) Method for adjusting output video of rear camera for vehicles
CN115248506A (zh) 用于对虚拟图像进行图像位置修正的遮板
US20150139556A1 (en) Apparatus for compensating camera image and operating method thereof
WO2023152785A1 (ja) 乗員監視装置、乗員監視システム、および乗員監視方法
CN114252887A (zh) 求取环境感测系统运行参数的方法、环境感测系统和控制器
JP2010129044A (ja) 運転支援装置
JP2016225719A (ja) ステレオカメラ装置、車両、および較正方法
KR20220085186A (ko) 정밀지도를 이용한 라이다 센서 캘리브레이션 방법
KR102121287B1 (ko) 카메라 시스템 및 카메라 시스템의 제어 방법
KR102158025B1 (ko) 카메라 보정모듈, 카메라 시스템 및 카메라 시스템의 제어 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023579879

Country of ref document: JP