WO2022220038A1 - 乗員モニタシステム - Google Patents

乗員モニタシステム Download PDF

Info

Publication number
WO2022220038A1
WO2022220038A1 PCT/JP2022/013560 JP2022013560W WO2022220038A1 WO 2022220038 A1 WO2022220038 A1 WO 2022220038A1 JP 2022013560 W JP2022013560 W JP 2022013560W WO 2022220038 A1 WO2022220038 A1 WO 2022220038A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
light
monitoring system
driver
occupant monitoring
Prior art date
Application number
PCT/JP2022/013560
Other languages
English (en)
French (fr)
Inventor
清貴 田口
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2022220038A1 publication Critical patent/WO2022220038A1/ja
Priority to US18/481,207 priority Critical patent/US20240025352A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present disclosure relates to an occupant monitoring system that includes a camera unit that is provided in a vehicle compartment and captures an image of the face of an occupant of the vehicle.
  • occupant monitoring system that captures an image of the occupant's face with a camera and recognizes the occupant's face from the captured data.
  • This occupant monitoring system is configured such that a camera unit in which a camera and a light source are arranged side by side on a substrate is provided, for example, in the instrument panel portion in front of the driver's seat to capture an image of the driver's face (see, for example, Patent Document 1).
  • the driver and the state of the driver are determined based on the image recognition processing from the imaging data of the camera, and the determination is used for driving assistance, for example.
  • the camera unit By the way, it is desirable to install the camera unit in the central part of the instrument panel.
  • the camera unit When the camera unit is arranged at an angle in this way, it is arranged at an angle with a gap with respect to the design surface on the front side of the instrument panel. Therefore, the illumination light output from the light source is reflected on the inner surface of the design surface, and the reflected light is directly input to the camera, becoming noise light and causing streaks in the image and so-called blown-out highlights. There is a possibility that image recognition may be hindered.
  • the present disclosure provides an occupant monitoring system that includes a camera unit that includes a camera and a light source on a substrate in a vehicle interior, and that can suppress the input of noise light to the camera when capturing an image of the occupant. With the goal.
  • an occupant monitoring system includes a camera unit provided in a vehicle compartment for capturing an image of the face of an occupant of the vehicle, the camera unit including a camera and a light source on a substrate, The light from the light source is transmitted through the design surface to irradiate the object to be imaged, and the reflected light is transmitted through the design surface to form a path for input to the camera.
  • a pass prevention structure is provided to prevent light from entering the camera.
  • the light from the light source is transmitted through the design surface and is irradiated onto the occupant's face, and the reflected light is transmitted through the design surface.
  • Imaging is performed by forming a regular path such as input to a camera.
  • the light from the light source is reflected on the inner surface of the design surface, and the reflected light is directly input to the camera.
  • noise light that has traveled through an irregular path may be input to the camera.
  • the pass prevention structure it is possible to prevent light from entering the camera through paths other than the paths. Therefore, it is possible to suppress the input of noise light to the camera when capturing an image of the passenger.
  • FIG. 1 shows the first embodiment, and is a plan view showing the arrangement of camera units
  • FIG. 2 is an enlarged plan view of the camera unit
  • FIG. 3 is a front view of the instrument panel portion in the vehicle interior
  • FIG. 4 is a perspective view schematically showing the overall configuration of the system
  • FIG. 5 is a flowchart showing the procedure of image recognition
  • FIG. 6 shows a second embodiment, and is a perspective view of a camera unit portion.
  • FIG. 4 schematically shows the overall configuration of the occupant monitoring system 1 according to this embodiment.
  • This occupant monitoring system 1 is installed in a vehicle, for example, an automobile, and in this case, is provided as a device for detecting an occupant, for example, a driver, and monitoring the state of the driver, for example, the orientation of the face, the state of opening the eyes, and the like.
  • the occupant monitoring system 1 includes a camera unit 2 and an image processing ECU 3 as an image processing section.
  • the camera unit 2 is configured by mounting an LED 5 as a light source and a camera 6 on a substrate 4, as shown in FIGS. Further, in this embodiment, the camera unit 2 is provided with a light shielding wall 7 as a pass prevention structure to be described later.
  • the LED 5 for example, an IRLED that outputs infrared light as illumination light is employed, and as the camera 6, an infrared camera is employed.
  • the camera unit 2 is configured to emit infrared light from the LED 5 toward the face of the driver D (see FIG. 1) in this case, and to capture the face of the driver D by receiving the reflected light with the camera 6 . ing. Details of the camera unit 2 will be described later.
  • the image processing ECU 3 is mainly composed of a computer including a CPU and its peripherals, and performs control of the LED 5 and the camera 6, image processing of image data of the camera 6, and image recognition. In the image recognition processing, detection of the face of the driver D, detection of the part of the face from the feature points, detection of the direction of the face and the state of the eyes open, etc. are performed.
  • the image processing ECU 3 and the camera unit 2 are incorporated in, for example, an instrument panel 15 (see FIGS. 1 and 3) in the vehicle compartment R. As shown in FIG.
  • the image processing ECU 3 is unitized and connected to the camera unit 2 via a flexible cable and a connector.
  • the image processing ECU 3 is connected to another in-vehicle ECU 8 such as a driving support ECU via cables, connectors, and the like.
  • face recognition data of the driver D recognized by the occupant monitoring system 1 is used for driving support processing and the like.
  • a monitor window 13 is provided on the instrument panel 15 above the center display 11 .
  • the monitor window 13 is formed by opening the designed surface of the instrument panel 15 in a slightly oblong rectangular shape, and by arranging an IR filter that mainly transmits infrared light in the opening.
  • the camera unit 2 is positioned slightly behind the monitor window 13 and is slightly angled forward so that the face of the driver D can be photographed through the monitor window 13. are arranged.
  • the LED 5 is turned on, and infrared light is emitted forward as illumination light, transmitted through the monitor window 13, and irradiated toward the face of the driver D in the driver's seat. .
  • Reflected light from the face of the driver D is transmitted through the monitor window 13 and input to the camera 6 .
  • the path L of light at this time is called a normal path L.
  • FIG. Image data of the face of the driver D photographed by the camera 6 is input to the image processing ECU 3, and recognition processing of the face of the driver D is performed.
  • a pass prevention structure is provided to prevent light from entering the camera 2 through a route other than the regular route L.
  • the camera unit 2 is provided with a light shielding wall 7 that separates the LED 5 as a light source from the camera 6 as a pass prevention structure.
  • the light shielding wall 7 has a thin plate shape elongated in the front-rear direction, and its surface is painted, for example, black so as not to reflect light.
  • This light-shielding wall vertically partitions the LED 5 on the front surface of the substrate 2 and the camera 6, and extends from the front surface of the substrate 2 to the back surface of the monitor window 13 provided on the design surface of the instrument panel 15. It is extended. As a result, the light output from the LED 5 is reflected by the design surface, for example, the inner surface of the monitor window 13 and the inner surface of the instrument panel 15 without passing through the regular path L, and is input to the camera 6. This is prevented by the light shielding wall 7 .
  • FIG. 5 schematically shows the procedure of image recognition processing for the driver D, which is executed by the image processing ECU 3 in the occupant monitoring system 1 . That is, in step S1, the image processing ECU 3 performs imaging tuning of the camera unit 2, for example, illumination control of the LED 5, and the like, and in step S2, the photographed image of the face of the driver D is input by the camera 6.
  • step S ⁇ b>3 recognition processing of the face of the driver D is performed from the imaging data of the camera 6 .
  • step S4 it is determined whether or not the face detection of driver D was successful. If the face detection of driver D was not successful (No in step S4), the process returns to step S1 and the process is repeated. On the other hand, if the face detection of driver D is successful (Yes in step S4), face recognition processing of driver D is performed in step S5, and the result is output. After that, the process returns to step S1 and the process is repeated.
  • the above process is always repeatedly executed while the vehicle is running, and the face recognition result data of the driver recognized by the occupant monitoring system 1 is used for driving support processing and the like.
  • the camera unit 2 is arranged in the instrument panel 15 at an angle with a gap with respect to its design surface. Therefore, the illumination light output from the LED 5 is reflected by the design surface, that is, the monitor window 13 or the inner surface of the instrument panel 15, and as shown in FIG. Reflection in six directions is conceivable. If the reflected light were to be directly input to the camera 6, it would become noise light, causing streaks in the image or so-called blown-out highlights, which would hinder image recognition. There is a risk of causing
  • the light shielding wall 7 that separates the LED 5 and the camera 6 is provided as a pass prevention structure, the reflected light is prevented from going to the camera 6 side. blocked by Thereby, the input of noise light to the camera 6 can be suppressed.
  • the light shielding wall 7 is provided extending from the substrate 4 to the design surface, light leakage to the camera 6 side is effectively prevented over the entire area from the substrate 4 to the design surface.
  • the face of the driver D as an occupant is captured by the camera 6, and the face of the driver D is recognized from the captured data.
  • a path prevention structure for preventing light from entering the camera 6 through the path L' This prevents light from entering the camera 6 through paths other than the normal path L. Therefore, according to this embodiment, it is possible to suppress the input of noise light to the camera 6 when the driver D takes an image.
  • a light shielding wall 7 that separates the LED 5 and the camera 6 is provided.
  • the light shielding wall 7 can prevent the light output from the LED 5 from reflecting on the inner surface of the design surface and going toward the camera 6 .
  • the input of noise light to the camera 6 can be suppressed.
  • a simple configuration in which only the light shielding wall 7 is provided can suffice.
  • the shielding wall 7 is configured to extend from the substrate 2 to the design surface, noise light can be prevented from entering the camera 6 over the entire area from the substrate 2 to the design surface, which is more effective.
  • FIG. 6 shows a second embodiment.
  • an antireflection material is provided around the camera 6 as a pass prevention structure for preventing light from entering the camera 6 through paths other than the regular path L.
  • a non-reflection sheet 21 is provided as a.
  • the non-reflection sheet 21 is made of, for example, a black-colored synthetic resin film or the like, and is arranged on the instrument panel 15 so as to cover, for example, the lower surface side and the right side surface side of the surrounding space in front of the camera 6. It is located between
  • the illumination light output from the LED 5 is transmitted through the monitor window portion 13, is irradiated toward the face of the driver D in the driver's seat, and is reflected from the face of the driver D. is incident through the monitor window 13 .
  • the incident light L′′ other than the regular path L may be reflected by objects around the camera 6 and input to the camera 6.
  • this embodiment is conceivable.
  • the antireflection sheet 21 as an antireflection material is provided around the camera 6 as a pass prevention structure.
  • the face of the driver D as a passenger is imaged by the camera 6, and the face of the driver D is recognized from the imaged data. An excellent effect can be obtained that the input of noise light to 6 can be suppressed.
  • the illumination light output from the LED 5 is reflected by the light shielding wall 7 on the design surface, and is reflected toward the camera 6 along a path L′ different from the normal path L. be blocked.
  • the incident light L′′ which is transmitted through the monitor window 13 and enters the camera 6 on a path other than the regular path L is reflected by objects around the camera 6 and is input to the camera 6. 21. This makes it possible to more effectively suppress the input of noise light to the camera 6.
  • the antireflection sheet 21 is used as the antireflection material, it is easy to assemble and inexpensive. can be completed with a simple configuration.
  • both the light shielding wall 7 and the antireflection sheet 21 are provided. It is possible to prevent the camera unit 2 from being reflected by an object and being input to the camera 6.
  • the camera unit 2 is provided at the center of the instrument panel. It can be provided at an appropriate position in the passenger compartment R, such as another position or a meter part in front of the driver's seat, etc. In this case, a pass prevention structure such as a light shielding wall or a prevention sheet is provided at a position as necessary.
  • Various materials can be used as the material of the antireflection material.
  • the controller and techniques described in this disclosure may be implemented by a dedicated computer provided by configuring a processor and memory programmed to perform one or more functions embodied by the computer program.
  • the controller and techniques described in this disclosure may be implemented by a dedicated computer provided by configuring the processor with one or more dedicated hardware logic circuits.
  • the controller and techniques described in this disclosure can be implemented by a combination of a processor and memory programmed to perform one or more functions and a processor configured with one or more hardware logic circuits. It may also be implemented by one or more dedicated computers configured.
  • the computer program may also be stored as computer-executable instructions on a computer-readable non-transitional tangible storage medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Studio Devices (AREA)

Abstract

乗員モニタシステム（１）は、車室に設けられ車両の乗員の顔を撮像対象として撮影するカメラユニット（２）を備える。前記カメラユニットは、基板（４）上にカメラ（６）及び光源（５）を備える。これと共に、前記光源からの光を意匠面を通して透過させて前記撮像対象に照射し、その反射光を前記意匠面を透過させて前記カメラに入力する行路（Ｌ）を形成するように構成される。前記行路以外の行路を通して前記カメラに光が入力することを防止するパス防止構造（７）を備えている。

Description

乗員モニタシステム 関連出願の相互参照
　本出願は、２０２１年４月１４日に出願された日本出願番号２０２１－６８４３２号に基づくもので、ここにその記載内容を援用する。
　本開示は、車室に設けられ車両の乗員の顔を撮像対象として撮影するカメラユニットを備える乗員モニタシステムに関する。
　近年、自動車等の車両にあっては、乗員の顔をカメラで撮像し、その撮像データから乗員の顔を認識する乗員モニタシステムを搭載することが行われてきている。この乗員モニタシステムは、基板上にカメラ及び光源を並べて配設したカメラユニットを、例えば運転席前部のインストルメントパネル部分に設け、ドライバの顔を撮像するように構成されている（例えば特許文献１参照）。これにより、カメラの撮像データから画像認識処理を行うことに基づき、ドライバやドライバの状態を判定し、例えば運転支援等に利用することが行われる。
特開２０２０－５２８２７号公報
　ところで、上記カメラユニットを設ける位置としては、インストルメントパネルの中央部分とすることが望ましいが、その場合、光源及びカメラが運転席のドライバに向くように傾けて配設されるようになる。このようにカメラユニットを傾けて配置した場合、インストルメントパネルの前側の意匠面に対して、隙間を有した状態で角度をもって配置される。そのため、光源から出力された照明光が、意匠面の内面で反射し、その反射光がカメラに直接的に入力され、ノイズ光となって画像に筋が入ったり、いわゆる白飛びが発生したりすることがあり、画像認識に支障をきたす虞があった。
　そこで、本開示は、基板上にカメラ及び光源を備えるカメラユニットを車室内に備えるものにあって、乗員の撮像時におけるカメラへのノイズ光の入力を抑えることができる乗員モニタシステムを提供することを目的とする。
　本開示の第１の態様において、乗員モニタシステムは、車室に設けられ車両の乗員の顔を撮像対象として撮影するカメラユニットを備え、前記カメラユニットは、基板上にカメラ及び光源を備えると共に、前記光源からの光を意匠面を通して透過させて前記撮像対象に照射し、その反射光を前記意匠面を透過させて前記カメラに入力する行路を形成するように構成され、前記行路以外の行路を通して前記カメラに光が入力することを防止するパス防止構造を備えている。
　これによれば、カメラユニットにより、乗員の顔を撮像対象として撮影する際には、光源からの光が意匠面を透過して乗員の顔に照射され、その反射光が意匠面を透過してカメラに入力されるといった正規の行路が形成されることにより、撮像がなされる。ここで、例えば、光源からの光が、意匠面の内面で反射し、その反射光がカメラに直接的に入力されるといった、正規でない行路を通ったノイズ光がカメラに入力される虞がある。ところが、パス防止構造を備えることにより、行路以外の行路を通してカメラに光が入力することが防止される。従って、乗員の撮像時におけるカメラへのノイズ光の入力を抑えることができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１の実施形態を示すもので、カメラユニットの配置を示す平面図であり、 図２は、カメラユニット部分の拡大平面図であり、 図３は、車室内のインストルメントパネル部分の正面図であり、 図４は、システムの全体構成を概略的に示す斜視図であり、 図５は、画像認識の手順を示すフローチャートであり、 図６は、第２の実施形態を示すもので、カメラユニット部分の斜視図である。
　（１）第１の実施形態
　図１から図５を参照して、第１の実施形態について説明する。図４は、本実施形態に係る乗員モニタシステム１の全体構成を概略的に示している。この乗員モニタシステム１は、車両例えば自動車に搭載され、この場合乗員としての例えばドライバを検知し、そのドライバの状態、例えば顔の向きや開眼状態等を監視する装置として設けられている。ここで、乗員モニタシステム１は、カメラユニット２と、画像処理部としての画像処理ＥＣＵ３とを備えている。
　前記カメラユニット２は、図１、図２にも示すように、基板４に、光源としてのＬＥＤ５及びカメラ６を実装して構成されている。また、本実施形態では、カメラユニット２には、後述するパス防止構造としての遮光壁７が設けられる。前記ＬＥＤ５としては、例えば照明光として赤外光を出力するＩＲＬＥＤが採用され、カメラ６としては赤外線カメラが採用される。カメラユニット２は、ＬＥＤ５から乗員この場合ドライバＤ（図１参照）の顔に向けて赤外光を照射し、反射光をカメラ６で受光することによりドライバＤの顔を撮像するように構成されている。このカメラユニット２の詳細については、後述する。
　前記画像処理ＥＣＵ３は、詳しい説明は省略するが、ＣＰＵ及びその周辺機器を含むコンピュータを主体として構成され、前記ＬＥＤ５及びカメラ６の制御、前記カメラ６の撮像データの画像処理、画像認識を行う。画像認識の処理では、ドライバＤの顔の検出、特徴点からの顔の部位の検出、顔の向きや開眼状態の検出などが行われる。この画像処理ＥＣＵ３及び前記カメラユニット２は、車室Ｒの例えばインストルメントパネル１５（図１、図３参照）内に組込まれている。
　このとき、図４に示すように、この画像処理ＥＣＵ３は、ユニット化されて、フレキシブルケーブル及びコネクタを介して前記カメラユニット２に接続されている。また、画像処理ＥＣＵ３は、ケーブル及びコネクタなどを介して、他の車載ＥＣＵ８、例えば運転支援ＥＣＵに接続されている。これにて、乗員モニタシステム１の認識したドライバＤの顔認識のデータは、運転支援処理などに利用される。
　ここで、上記カメラユニット２について、図１～図３も参照して述べる。図１、図２に示すように、カメラユニット２は、基板４の前面側に、左右に並んでＬＥＤ５及びカメラ６を実装して構成されると共に、ＬＥＤ５側とカメラ６側とを区画するように遮光壁７が設けられている。このカメラユニット２は、前記インストルメントパネル１５内に設けられており、インストルメントパネル１５の意匠面と、ＬＥＤ５及びカメラ６との間には、一定の隙間が設けられている。このとき、図３に示すように、インストルメントパネル１５の前面の意匠面には、中央部に位置して、例えばナビゲーション画面等の各種画面が表示されるセンターディスプレイ１１が設けられている。また、この場合、車室Ｒ内の左側には運転席が設けられ、その運転席の前部には、ステアリングホイール１２が設けられている。
　そして、前記インストルメントパネル１５には、前記センターディスプレイ１１の上方部に位置して、モニタ用窓部１３が設けられている。このモニタ用窓部１３は、インストルメントパネル１５の意匠面をやや横長の矩形状に開口させる共に、その開口部に赤外光を主に透過させるＩＲフィルタを配置して構成されている。図１に示すように、前記カメラユニット２は、前記モニタ用窓部１３の後方のやや離れた位置に、モニタ用窓部１３を通してドライバＤの顔を撮影できるように、やや斜め前方を向いて配設されている。
　これにて、カメラユニット２においては、ＬＥＤ５が点灯されて、赤外光が照明光として前方に出力され、モニタ用窓部１３を透過して運転席のドライバＤの顔に向けて照射される。そして、ドライバＤの顔からの反射光がモニタ用窓部１３を透過してカメラ６に入力される。このときの光の行路Ｌを、正規の行路Ｌと称する。カメラ６により撮影されたドライバＤの顔の撮像データが、前記画像処理ＥＣＵ３に入力され、ドライバＤの顔の認識処理がなされる。
　さて、本実施形態の乗員モニタシステム１では、前記正規の行路Ｌ以外の行路を通して前記カメラ２に光が入力することを防止するパス防止構造が設けられる。本実施形態では、図１、図２に示すように、パス防止構造として、カメラユニット２に、光源としてのＬＥＤ５とカメラ６との間を区画する遮光壁７が設けられる。この遮光壁７は、前後方向に長い薄板状をなすと共に、例えば表面が光を反射しない黒色に塗装されている。
　この遮光壁は、基板２の前面のＬＥＤ５とカメラ６と間を縦に仕切り、基板２の前面から、前方即ちインストルメントパネル１５の意匠面に設けられるモニタ用窓部１３の裏面まで前後方向に延びて設けられている。これにて、ＬＥＤ５から出力された光が、正規の行路Ｌを通らずに、意匠面、例えばモニタ用窓部１３の内面やインストルメントパネル１５の内面で反射してカメラ６に入力されるといったことが、遮光壁７により阻止されるように構成されている。
　次に、上記構成を備える本実施形態に係る乗員モニタシステム１の作用について、図５も参照して述べる。図５のフローチャートは、乗員モニタシステム１において、画像処理ＥＣＵ３が実行する、ドライバＤに対する画像認識処理の手順を概略的に示している。即ち、ステップＳ１では、画像処理ＥＣＵ３により、カメラユニット２の撮像チューニング例えばＬＥＤ５の照明制御等が行われ、ステップＳ２にて、カメラ６によりドライバＤの顔部分の撮影画像が入力される。ステップＳ３では、カメラ６の撮像データからドライバＤの顔の認識処理が実行される。
　次のステップＳ４では、ドライバＤの顔検出が成功したかどうかが判断され、ドライバＤの顔検出ができなかった場合には（ステップＳ４にてＮｏ）、ステップＳ１に戻って処理が繰り返される。これに対し、ドライバＤの顔検出が成功した場合には（ステップＳ４にてＹｅｓ）、ステップＳ５にて、ドライバのＤの顔認識処理が行われてその結果が出力される。その後、ステップＳ１に戻って処理が繰り返される。上記処理は、車両の走行中は常時繰り返して実行され、乗員モニタシステム１の認識したドライバの顔認識結果のデータは、運転支援処理などに利用される。
　ここで、カメラユニット２は、インストルメントパネル１５内に、その意匠面に対して、隙間を有した状態で角度をもって配置される。そのため、ＬＥＤ５から出力された照明光が、意匠面即ちモニタ用窓部１３又はインストルメントパネル１５の内面で反射し、図２に示すように、正規の行路Ｌとは異なる行路Ｌ´で、カメラ６方向に向けて反射することが考えられる。仮に、その反射光がカメラ６に直接的に入力されるようなことがあると、ノイズ光となって画像に筋が入ったり、いわゆる白飛びが発生したりすることがあり、画像認識に支障をきたす虞がある。
　ところが、本実施形態では、パス防止構造として、ＬＥＤ５とカメラ６との間を区画する遮光壁７が設けられているので、反射光がカメラ６側に行こうとするといったことが、遮光壁７により阻止される。これにより、カメラ６へのノイズ光の入力を抑えることができる。この場合、遮光壁７は、基板４から意匠面まで延びて設けられているので、基板４から意匠面までの全域で光のカメラ６側への漏れが阻止され、効果的となる。
　このように本実施形態の乗員モニタシステム１によれば、乗員としてのドライバＤの顔をカメラ６で撮像し、その撮像データからドライバＤの顔を認識するものにあって、正規の行路Ｌ以外の行路Ｌ´を通してカメラ６に光が入力することを防止するパス防止構造
える。これにより、正規の行路Ｌ以外の行路を通してカメラ６に光が入力することが防止される。従って、本実施形態によれば、ドライバＤの撮像時におけるカメラ６へのノイズ光の入力を抑えることができる。
　特に本実施形態では、パス防止構造として、ＬＥＤ５とカメラ６との間を区画する遮光壁７を設けるようにした。これにより、ＬＥＤ５から出力された光が、意匠面の内面で反射してカメラ６側に行こうとするといったことを、遮光壁７により阻止することができる。これにより、カメラ６へのノイズ光の入力を抑えることができる。また、遮光壁７を設けるだけの簡単な構成で済ませることができる。このとき、遮光壁７を基板２から意匠面まで延びて設ける構成としたので、基板２から意匠面までの全域でノイズ光のカメラ６側への進入を阻止でき、より効果的となる。
　（２）第２の実施形態、その他の実施形態
　図６は、第２の実施形態を示すものである。この第２の実施形態では、正規の行路Ｌ以外の行路を通してカメラ６に光が入力することを防止するパス防止構造として、上記した遮光壁７に加えて、カメラ６の周囲に、反射防止素材としての無反射シート２１を設けるようにしている。この無反射シート２１は、例えば黒色に着色された合成樹脂製フィルム等からなり、カメラ６の前方の周囲部空間のうち例えば下面側及び右側面側を覆うように、意匠面つまりインストルメントパネル１５との間に位置して設けられている。
　ここで、上記カメラユニット２の配置においては、ＬＥＤ５から出力された照明光がモニタ用窓部１３を透過して運転席のドライバＤの顔に向けて照射され、ドライバＤの顔からの反射光がモニタ用窓部１３を透過して入射される。その後、インストルメントパネル１５の内部において、正規の行路Ｌ以外の入射光Ｌ″が、カメラ６の周辺の物体に反射してカメラ６に入力されるといったことが考えらえる。ところが、本実施形態では、カメラ６の周囲部に無反射シート２１を設けたことにより、入射光Ｌ″の反射が抑えられ、ノイズ光がカメラ６に入力されることが未然に防止されるのである。
　このような第２の実施形態によれば、パス防止構造として、遮光壁７に加えて、カメラ６の周囲に反射防止素材としての無反射シート２１を設けた。これにより、上記第１の実施形態と同様に、乗員としてのドライバＤの顔をカメラ６で撮像し、その撮像データからドライバＤの顔を認識するものにあって、ドライバＤの撮像時におけるカメラ６へのノイズ光の入力を抑えることができるという優れた効果を得ることができる。
　このとき、本実施形態では、遮光壁７により、ＬＥＤ５から出力された照明光が、意匠面で反射し、正規の行路Ｌとは異なる行路Ｌ´で、カメラ６方向に向けて反射することが阻止される。これに加えて、モニタ用窓部１３を透過して入射した正規の行路Ｌ以外の入射光Ｌ″が、カメラ６の周辺の物体に反射してカメラ６に入力されるといったことが無反射シート２１により防止される。これにより、カメラ６へのノイズ光の入力をより効果的に抑えることができる。しかも、反射防止素材としての無反射シート２１を採用したので、組付けが容易で、安価で簡単な構成で済ませることができる。
　尚、第２実施形態では、遮光壁７と無反射シート２１との双方を設けるように構成したが、無反射シート２１だけを設ける構成としても良く、入射光Ｌ″が、カメラ６の周辺の物体に反射してカメラ６に入力されることを防止することができる。また、上記各実施形態では、カメラユニッ２トを、インストルメントパネルの中央部に設ける構成としたが、インストルメントパネルの別の位置や運転席前方のメータ部等に設けるなど、車室Ｒ内の適宜の位置に設けることができる。この場合、必要に応じた位置に、遮光壁や防止シートなどのパス防止構造を設けることができる。反射防止素材の材質としても、様々なものを採用することが可能である。
　上記各実施形態では、乗員としてドライバＤを検知する場合を例としたが、ドライバＤに限らず、助手席や後部座席の乗員を検知するものに適用しても良い。本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
　本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することにより提供された専用コンピュータにより実現されても良い。或いは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によりプロセッサを構成することにより提供された専用コンピュータにより実現されても良い。若しくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路により構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより実現されても良い。又、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていても良い。
 

Claims (5)

  1. 　車室に設けられ車両の乗員の顔を撮像対象として撮影するカメラユニット（２）を備え、
    　前記カメラユニットは、基板（４）上にカメラ（６）及び光源（５）を備えると共に、前記光源からの光を意匠面（１３、１５）を通して透過させて前記撮像対象に照射し、その反射光を前記意匠面を透過させて前記カメラに入力する行路（Ｌ）を形成するように構成され、
    　前記行路以外の行路を通して前記カメラに光が入力することを防止するパス防止構造（７、２１）を備える乗員モニタシステム。
  2. 　前記パス防止構造は、前記カメラと前記光源との間を区画する遮光壁（７）を含んでいる請求項１記載の乗員モニタシステム。
  3. 　前記遮光壁は、前記基板から前記意匠面まで延びて設けられている請求項２記載の乗員モニタシステム。
  4. 　前記パス防止構造は、前記カメラの周囲に配置された反射防止素材（２１）を含んでいる請求項１記載の乗員モニタシステム。
  5. 　前記反射防止素材は、黒色の無反射シートからなり、前記カメラの前方と前記意匠面との間に位置して設けられている請求項４記載の乗員モニタシステム。
     
PCT/JP2022/013560 2021-04-14 2022-03-23 乗員モニタシステム WO2022220038A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/481,207 US20240025352A1 (en) 2021-04-14 2023-10-04 Occupant monitoring system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-068432 2021-04-14
JP2021068432A JP2022163481A (ja) 2021-04-14 2021-04-14 乗員モニタシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/481,207 Continuation US20240025352A1 (en) 2021-04-14 2023-10-04 Occupant monitoring system

Publications (1)

Publication Number Publication Date
WO2022220038A1 true WO2022220038A1 (ja) 2022-10-20

Family

ID=83640550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/013560 WO2022220038A1 (ja) 2021-04-14 2022-03-23 乗員モニタシステム

Country Status (3)

Country Link
US (1) US20240025352A1 (ja)
JP (1) JP2022163481A (ja)
WO (1) WO2022220038A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015023571A (ja) * 2013-07-23 2015-02-02 アケノリ ピーティーイー リミテッド デジタルビデオレコーダ
JP2020025207A (ja) * 2018-08-08 2020-02-13 オムロン株式会社 撮像ユニット、乗員監視装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014215856A1 (de) * 2014-08-11 2016-02-11 Robert Bosch Gmbh Fahrerbeobachtungssystem in einem Kraftfahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015023571A (ja) * 2013-07-23 2015-02-02 アケノリ ピーティーイー リミテッド デジタルビデオレコーダ
JP2020025207A (ja) * 2018-08-08 2020-02-13 オムロン株式会社 撮像ユニット、乗員監視装置

Also Published As

Publication number Publication date
US20240025352A1 (en) 2024-01-25
JP2022163481A (ja) 2022-10-26

Similar Documents

Publication Publication Date Title
EP3057305B1 (en) Vehicle front camera module integrated with rearview mirror
JP7264016B2 (ja) センサ取付構造
WO2019142558A1 (ja) 乗員検知装置
CN107856607B (zh) 显示装置和车用门
JP6780671B2 (ja) 乗員監視装置
US20150168721A1 (en) Onboard image display device for vehicle
WO2020116119A1 (ja) 駐車支援装置
US20200064463A1 (en) Apparatus with a Sensor Assembly and a Stray Light Baffle
JP7566199B2 (ja) カメラユニットおよび乗員監視システム
US11772575B2 (en) In-vehicle camera device and vehicle
WO2022220038A1 (ja) 乗員モニタシステム
US10625677B2 (en) Display device and interior member unit
JP6925891B2 (ja) 表示装置、及び、内装部材ユニット
JP2020100213A (ja) 移動体用撮影システム
WO2022220039A1 (ja) 乗員モニタシステム
CN110868520B (zh) 车辆用摄像单元
JP7090715B2 (ja) 車両用撮像ユニット
JP7405533B2 (ja) 車両用撮像ユニット
CN112532915A (zh) 车外监视装置
US20210284069A1 (en) Vehicle display device
JP6925892B2 (ja) 表示装置、及び、内装部材ユニット
JP7514390B2 (ja) 車載カメラ装置
US20230353851A1 (en) Vehicle external region imaging apparatus
JP7552064B2 (ja) 車載表示装置
JP7267980B2 (ja) 車両用カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22787963

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22787963

Country of ref document: EP

Kind code of ref document: A1