JP7101574B2 - Crew condition detection device integrated display and display control device - Google Patents

Crew condition detection device integrated display and display control device Download PDF

Info

Publication number
JP7101574B2
JP7101574B2 JP2018170492A JP2018170492A JP7101574B2 JP 7101574 B2 JP7101574 B2 JP 7101574B2 JP 2018170492 A JP2018170492 A JP 2018170492A JP 2018170492 A JP2018170492 A JP 2018170492A JP 7101574 B2 JP7101574 B2 JP 7101574B2
Authority
JP
Japan
Prior art keywords
occupant
light emitting
control unit
liquid crystal
transmittance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018170492A
Other languages
Japanese (ja)
Other versions
JP2020040565A (en
Inventor
信明 真分
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018170492A priority Critical patent/JP7101574B2/en
Publication of JP2020040565A publication Critical patent/JP2020040565A/en
Application granted granted Critical
Publication of JP7101574B2 publication Critical patent/JP7101574B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

この発明は、車両用の乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置に関するものである。 The present invention relates to a display with an integrated occupant state detection device for a vehicle and a display control device.

従来、運転者の居眠り及び脇見等の状態を検出するDMS(Driver Monitoring System)が提案されている。また、DMS用カメラの光源として用いられる赤外LED(Light Emitting Diode)が、車両に搭載されるディスプレイと一体化された、DMS一体型ディスプレイが提案されている。従来のDMS一体型ディスプレイは、別ユニットとして用意された赤外LEDが、ディスプレイに組み込まれた構成であるため、薄型化及び狭額縁化ができないという問題があった。 Conventionally, a DMS (Drive Monitoring System) for detecting a driver's dozing and inattentive states has been proposed. Further, there has been proposed a DMS integrated display in which an infrared LED (Light Emitting Diode) used as a light source of a DMS camera is integrated with a display mounted on a vehicle. The conventional DMS integrated display has a problem that it cannot be made thinner and narrower because the infrared LED prepared as a separate unit is incorporated in the display.

特許文献1に係る視線検出装置は、赤外光パターンを表示し、その赤外光パターンの角膜反射像が映った対象者の眼を含む範囲を撮像し、撮像した画像から瞳孔と角膜反射像を抽出して対象者の視線を検出する。この視線検出装置は、液晶ディスプレイのバックライトである白色LEDの一部を赤外LEDに置き換えることにより、液晶ディスプレイの薄型化及び狭額縁化を実現している。 The line-of-sight detection device according to Patent Document 1 displays an infrared light pattern, images a range including the eye of the subject in which the corneal reflex image of the infrared light pattern is reflected, and the pupil and the corneal reflex image are taken from the captured image. Is extracted to detect the line of sight of the subject. This line-of-sight detection device realizes a thin and narrow frame of the liquid crystal display by replacing a part of the white LED which is the backlight of the liquid crystal display with an infrared LED.

特開2014-188322号公報Japanese Unexamined Patent Publication No. 2014-188322

ところで、近年、運転者だけでなく他の乗員の状態も検出する乗員状態検出装置が提案されている。乗員状態検出装置は、車両に搭載されたカメラが撮像した画像を処理することによって、車両に搭乗している各乗員の居眠り及び脇見等の状態を検出する。この乗員状態検出装置に用いられるカメラの光源となる赤外LEDを、上記特許文献1のように液晶ディスプレイのバックライトに内蔵する場合、各乗員に赤外光を照射するためには広い面積の液晶ディスプレイ背面に多数の赤外LEDを配置する必要があるため、赤外LEDの消費電力が大きくなってしまい、電気自動車等の低消費電力が求められる分野では現実的ではないという課題があった。 By the way, in recent years, an occupant state detecting device that detects not only the state of the driver but also the state of other occupants has been proposed. The occupant state detection device detects the state of each occupant in the vehicle, such as dozing and inattentiveness, by processing the image captured by the camera mounted on the vehicle. When the infrared LED that is the light source of the camera used in this occupant state detection device is built in the backlight of the liquid crystal display as in Patent Document 1, a large area is required to irradiate each occupant with infrared light. Since it is necessary to arrange a large number of infrared LEDs on the back surface of the liquid crystal display, the power consumption of the infrared LEDs becomes large, and there is a problem that it is not realistic in a field where low power consumption is required such as an electric vehicle. ..

この発明は、上記のような課題を解決するためになされたもので、乗員の状態を検出するときの消費電力を抑制することを目的とする。 The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to suppress power consumption when detecting a state of an occupant.

この発明に係る乗員状態検出装置一体型ディスプレイは、赤外領域を撮像する機能を有するカメラと、カメラの撮像方向を照らす液晶ディスプレイと、液晶ディスプレイの背面に配置された複数の白色発光素子及び複数の赤外発光素子と、カメラにより撮像された画像を用いて車両に搭乗している乗員の位置を検出する乗員位置検出部と、カメラにより撮像された画像を用いて車両に搭乗している乗員の状態を検出する乗員状態検出部と、液晶ディスプレイのうち、乗員位置検出部により検出された乗員の位置に該当するエリアの透過率を制御する液晶ディスプレイ制御部と、複数の赤外発光素子のうち、乗員位置検出部により検出された乗員の位置に該当するエリアの赤外発光素子を発光させる赤外発光素子制御部と、液晶ディスプレイ制御部の制御により通常描画に比べて透過率が変化している間は複数の白色発光素子を消灯させる白色発光素子制御部とを備えるものである。
The occupant state detection device integrated display according to the present invention includes a camera having a function of capturing an infrared region, a liquid crystal display that illuminates the image pickup direction of the camera, and a plurality of white light emitting elements and a plurality of white light emitting elements arranged on the back surface of the liquid crystal display. The infrared light emitting element of the above, the occupant position detection unit that detects the position of the occupant on the vehicle using the image captured by the camera, and the occupant on the vehicle using the image captured by the camera. A occupant state detection unit that detects the state of the occupant, a liquid crystal display control unit that controls the transmission rate of the area corresponding to the occupant position detected by the occupant position detection unit, and a plurality of infrared light emitting elements. Of these, the transmission rate changes compared to normal drawing due to the control of the infrared light emitting element control unit that emits light from the infrared light emitting element in the area corresponding to the occupant position detected by the occupant position detection unit and the liquid crystal display control unit. It is provided with a white light emitting element control unit that turns off a plurality of white light emitting elements during the period.

この発明によれば、液晶ディスプレイの背面に配置された複数の赤外発光素子のうち、乗員の位置に該当するエリアの赤外発光素子だけを発光させるようにしたので、乗員の状態を検出するときの消費電力を抑制することができる。 According to the present invention, among the plurality of infrared light emitting elements arranged on the back surface of the liquid crystal display, only the infrared light emitting element in the area corresponding to the position of the occupant is made to emit light, so that the state of the occupant is detected. It is possible to suppress the power consumption at that time.

実施の形態1に係る乗員状態検出装置一体型ディスプレイの構成例を示すブロック図である。It is a block diagram which shows the configuration example of the occupant state detection device integrated display which concerns on Embodiment 1. FIG. 図2Aは、実施の形態1に係る乗員状態検出装置一体型ディスプレイの正面図であり、図2Bは、A-A断面図である。FIG. 2A is a front view of the occupant state detection device integrated display according to the first embodiment, and FIG. 2B is a sectional view taken along the line AA. 実施の形態1における液晶ディスプレイ及びLEDの動作例を示すタイムチャートである。It is a time chart which shows the operation example of the liquid crystal display and LED in Embodiment 1. FIG. 実施の形態1に係る乗員状態検出装置一体型ディスプレイの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the occupant state detection device integrated display which concerns on Embodiment 1. 実施の形態2に係る乗員状態検出装置一体型ディスプレイの構成例を示すブロック図である。It is a block diagram which shows the configuration example of the occupant state detection device integrated display which concerns on Embodiment 2. FIG. 実施の形態2における液晶ディスプレイ及びLEDの動作例を示すタイムチャートである。It is a time chart which shows the operation example of the liquid crystal display and LED in Embodiment 2. 図7A及び図7Bは、各実施の形態に係るディスプレイ制御装置のハードウェア構成例を示す図である。7A and 7B are diagrams showing a hardware configuration example of the display control device according to each embodiment.

実施の形態1.
図1は、実施の形態1に係る乗員状態検出装置一体型ディスプレイ1の構成例を示すブロック図である。乗員状態検出装置一体型ディスプレイ1は、カメラ2と、液晶ディスプレイ(以下、「LCD」と称する)3と、白色LED4と、赤外LED5と、ディスプレイ制御装置10とを備える。白色LED4は「白色発光素子」に相当し、赤外LED5は「赤外発光素子」に相当する。ディスプレイ制御装置10は、乗員状態検出装置11と、LCD制御部14と、白色LED制御部15と、赤外LED制御部16とを備える。乗員状態検出装置11は、乗員位置検出部12と、乗員状態検出部13とを備える。
Embodiment 1.
FIG. 1 is a block diagram showing a configuration example of the occupant state detection device integrated display 1 according to the first embodiment. The occupant state detection device integrated display 1 includes a camera 2, a liquid crystal display (hereinafter referred to as "LCD") 3, a white LED 4, an infrared LED 5, and a display control device 10. The white LED 4 corresponds to a "white light emitting element", and the infrared LED 5 corresponds to an "infrared light emitting element". The display control device 10 includes an occupant state detection device 11, an LCD control unit 14, a white LED control unit 15, and an infrared LED control unit 16. The occupant state detecting device 11 includes an occupant position detecting unit 12 and an occupant state detecting unit 13.

図2Aは、実施の形態1に係る乗員状態検出装置一体型ディスプレイ1の正面図であり、図2Bは、A-A断面図である。なお、図2A及び図2Bにおいて、ディスプレイ制御装置10の図示を省略する。乗員状態検出装置一体型ディスプレイ1は、ダッシュボード等に設置される。この乗員状態検出装置一体型ディスプレイ1は、例えば、カーナビゲーション装置が生成した地図画像等を表示するディスプレイに、乗員状態検出装置11が一体化されている。 2A is a front view of the occupant state detection device integrated display 1 according to the first embodiment, and FIG. 2B is a sectional view taken along the line AA. Note that the display control device 10 is not shown in FIGS. 2A and 2B. The occupant state detection device integrated display 1 is installed on a dashboard or the like. In the occupant state detection device integrated display 1, for example, the occupant state detection device 11 is integrated with a display that displays a map image or the like generated by a car navigation device.

乗員状態検出装置一体型ディスプレイ1のディスプレイ枠内には、カメラ2が設置されている。このカメラ2は、可視光領域を撮像する機能に加え、赤外領域を撮像する機能を有する。このカメラ2は、少なくとも車室内の運転席及び助手席を撮像するものであり、好ましくは運転席、助手席、及び後部座席を撮像するものである。なお、図示は省略するが、複数のカメラ2によって、運転席、助手席、及び後部座席を撮像してもよい。また、カメラ2は、図1に示されるように、被写体の明るさを測定する露出計2aを有する。 A camera 2 is installed in the display frame of the occupant state detection device integrated display 1. The camera 2 has a function of imaging an infrared region in addition to a function of imaging a visible light region. The camera 2 captures at least the driver's seat and the passenger's seat in the vehicle interior, and preferably captures the driver's seat, the passenger's seat, and the rear seat. Although not shown, the driver's seat, passenger's seat, and rear seat may be imaged by a plurality of cameras 2. Further, as shown in FIG. 1, the camera 2 has an exposure meter 2a for measuring the brightness of the subject.

乗員状態検出装置一体型ディスプレイ1の正面には、LCD3が設置されている。図2A及び図2Bの例では、LCD3の表面が保護カバー又はタッチパネルで被覆されている。LCD3のうち、右エリア3Rが運転席に対向するエリア、中央エリア3Cが運転席と助手席との間の隙間であって後部座席に対向するエリア、左エリア3Lが助手席に対向するエリアである。運転席が左側にある車両では、左エリア3Lが運転席に対向するエリアとなり、右エリア3Rが助手席に対向するエリアとなる。なお、乗員状態検出装置一体型ディスプレイ1が設置される場所又は乗員状態検出装置11が対象とする乗員等に応じて、LCD3のエリアの数及び位置は変更可能である。 An LCD 3 is installed in front of the occupant state detection device integrated display 1. In the examples of FIGS. 2A and 2B, the surface of the LCD 3 is covered with a protective cover or a touch panel. Of the LCD3, the right area 3R is the area facing the driver's seat, the central area 3C is the gap between the driver's seat and the passenger seat and facing the rear seat, and the left area 3L is the area facing the passenger seat. be. In a vehicle with the driver's seat on the left side, the left area 3L is the area facing the driver's seat, and the right area 3R is the area facing the passenger seat. The number and position of the areas of the LCD 3 can be changed according to the place where the occupant state detection device integrated display 1 is installed or the occupants targeted by the occupant state detection device 11.

LCD3の背面には、バックライトである複数の白色LED4が設置されている。また、LCD3の背面には、車室内が暗いときにカメラ2の光源となる、複数の赤外LED5が設置されている。図2Bの例では、白色LED4と赤外LED5とが交互に配置されている。なお、バックライトの構成は、白色LED4及び赤外LED5がLCD3の背面全面に配置される直下型でもよいし、LCD3の端部に配置されるエッジ型でもよい。赤外LED5を白色LED4と共にLCD3の背面に配置することにより、乗員状態検出装置一体型ディスプレイ1の薄型化及び狭額縁化を実現できる。バックライトの光は、LCD3を透過して、カメラ2の撮像方向を照らす。 A plurality of white LEDs 4 which are backlights are installed on the back surface of the LCD 3. Further, on the back surface of the LCD 3, a plurality of infrared LEDs 5 that serve as a light source for the camera 2 when the vehicle interior is dark are installed. In the example of FIG. 2B, the white LEDs 4 and the infrared LEDs 5 are arranged alternately. The backlight may be configured by a direct type in which the white LED 4 and the infrared LED 5 are arranged on the entire back surface of the LCD 3, or an edge type in which the white LED 4 and the infrared LED 5 are arranged at the end of the LCD 3. By arranging the infrared LED 5 together with the white LED 4 on the back surface of the LCD 3, it is possible to realize a thin and narrow frame of the occupant state detection device integrated display 1. The light from the backlight passes through the LCD 3 and illuminates the image pickup direction of the camera 2.

複数の赤外LED5のうち、LCD3の右エリア3Rに対向する範囲に配置された複数の赤外LED5を「右エリア赤外LED5R」と称し、中央エリア3Cに対向する範囲に配置された複数の赤外LED5を「中央エリア赤外LED5C」と称し、左エリア3Lに対向する範囲に配置された複数の赤外LED5を「左エリア赤外LED5L」と称する。一方、白色LED4には、LCD3のエリアに応じた区別がない。 Of the plurality of infrared LEDs 5, a plurality of infrared LEDs 5 arranged in a range facing the right area 3R of the LCD 3 are referred to as "right area infrared LEDs 5R", and a plurality of infrared LEDs arranged in a range facing the central area 3C. The infrared LED 5 is referred to as a "central area infrared LED 5C", and a plurality of infrared LEDs arranged in a range facing the left area 3L is referred to as a "left area infrared LED 5L". On the other hand, the white LED 4 has no distinction according to the area of the LCD 3.

図1に示される乗員位置検出部12は、カメラ2が撮像した画像を用いて、乗員の有無及び乗員の位置を検出し、検出結果を乗員状態検出部13、LCD制御部14、白色LED制御部15、及び赤外LED制御部16へ出力する。実施の形態1において、「乗員」は、運転席、助手席、及び後部座席の各乗員を指し、「乗員の位置」は、乗員が着座している座席を指す。 The occupant position detection unit 12 shown in FIG. 1 detects the presence or absence of an occupant and the position of the occupant using the image captured by the camera 2, and determines the detection result by the occupant state detection unit 13, the LCD control unit 14, and the white LED control. Output to unit 15 and infrared LED control unit 16. In the first embodiment, the "occupant" refers to each occupant of the driver's seat, the passenger seat, and the rear seat, and the "occupant's position" refers to the seat in which the occupant is seated.

乗員状態検出部13は、乗員位置検出部12により乗員が検出された場合、カメラ2が撮像した画像を用いて、上記乗員の居眠り及び脇見等の状態を検出する。 When the occupant position detection unit 12 detects an occupant, the occupant state detection unit 13 detects the occupant's dozing state, inattentiveness, and the like by using the image captured by the camera 2.

図3は、実施の形態1におけるLCD3、白色LED4、及び赤外LED5の動作例を示すタイムチャートである。図3を参照しながら、LCD制御部14、白色LED制御部15、及び赤外LED制御部16の動作を説明する。 FIG. 3 is a time chart showing an operation example of the LCD 3, the white LED 4, and the infrared LED 5 in the first embodiment. The operation of the LCD control unit 14, the white LED control unit 15, and the infrared LED control unit 16 will be described with reference to FIG.

LCD制御部14は、上記カーナビゲーション装置の地図画像等をLCD3に描画する(以下、「通常描画」と称する)。また、LCD制御部14は、LCD3の透過率を意図的に制御した状態で地図画像等を描画する(以下、「透過率制御描画」と称する)。具体的には、乗員位置検出部12により乗員が検出されていない場合、LCD制御部14は、LCD3の全エリアに通常描画を行う。一方、乗員位置検出部12により乗員が検出されている場合、LCD制御部14は、図3に示されるように、検出された乗員の位置に該当するエリアに対して通常描画と透過率制御描画とを交互に行い、検出された乗員の位置に該当しないエリアに対して通常描画を行う。LCD制御部14は、例えば、LCD3に描画する地図画像等が60フレームである場合、通常描画と透過率制御描画との繰り返しを2倍の120フレームで行う。 The LCD control unit 14 draws a map image or the like of the car navigation device on the LCD 3 (hereinafter, referred to as "normal drawing"). Further, the LCD control unit 14 draws a map image or the like in a state where the transmittance of the LCD 3 is intentionally controlled (hereinafter, referred to as “transmittance control drawing”). Specifically, when the occupant position detection unit 12 does not detect the occupant, the LCD control unit 14 normally draws in the entire area of the LCD 3. On the other hand, when the occupant is detected by the occupant position detection unit 12, the LCD control unit 14 draws normally and controls the transmittance for the area corresponding to the detected occupant position, as shown in FIG. And are performed alternately, and normal drawing is performed for the area that does not correspond to the detected position of the occupant. For example, when the map image or the like drawn on the LCD 3 is 60 frames, the LCD control unit 14 repeats the normal drawing and the transmittance control drawing in 120 frames, which is doubled.

また、LCD制御部14は、露出計2aにより測定された明るさに応じて、透過率制御描画時のLCD3の透過率を制御する。例えば、LCD制御部14は、被写体の明るさが予め定められた明るさ未満である場合、LCD3の透過率を上げ、被写体の明るさが上記予め定められた明るさ以上である場合、LCD3の透過率を下げる。後段で詳述するように、LCD3の透過率制御により、赤外LED5の輝度が調整される。 Further, the LCD control unit 14 controls the transmittance of the LCD 3 at the time of transmission control drawing according to the brightness measured by the exposure meter 2a. For example, the LCD control unit 14 increases the transmittance of the LCD 3 when the brightness of the subject is less than the predetermined brightness, and increases the transmittance of the LCD 3 when the brightness of the subject is equal to or higher than the predetermined brightness of the LCD 3. Decrease the transmittance. As will be described in detail later, the brightness of the infrared LED 5 is adjusted by controlling the transmittance of the LCD 3.

白色LED制御部15は、LCD制御部14によるLCD3の制御に同期して、バックライトである白色LED4の発光を制御する。この白色LED制御部15は、図3に示されるように、全エリアの白色LED4を、LCD3の通常描画中に発光させ、透過率制御描画中に消灯させる。全エリアの白色LED4が間欠発光することにより、LCD3の明るさがエリアによらず均一になる。 The white LED control unit 15 controls the light emission of the white LED 4, which is a backlight, in synchronization with the control of the LCD 3 by the LCD control unit 14. As shown in FIG. 3, the white LED control unit 15 causes the white LEDs 4 in the entire area to emit light during normal drawing of the LCD 3, and is turned off during the transmittance control drawing. Since the white LEDs 4 in all areas emit light intermittently, the brightness of the LCD 3 becomes uniform regardless of the area.

赤外LED制御部16は、LCD制御部14によるLCD3の制御に同期して、カメラ2の光源である赤外LED5の発光を制御する。乗員位置検出部12により乗員が検出されていない場合、赤外LED制御部16は、全エリアの赤外LED5を発光させる。一方、乗員位置検出部12により乗員が検出されている場合、赤外LED制御部16は、図3に示されるように、検出された乗員の位置に該当するエリアの赤外LED5を連続発光させ、検出された乗員の位置に該当しないエリアの赤外LED5を消灯させる。全エリアの赤外LED5を発光させる場合に比べ、乗員の位置に該当するエリアの赤外LED5のみを発光させる場合の方が、消費電力を抑制することができる。 The infrared LED control unit 16 controls the light emission of the infrared LED 5, which is the light source of the camera 2, in synchronization with the control of the LCD 3 by the LCD control unit 14. When the occupant is not detected by the occupant position detection unit 12, the infrared LED control unit 16 causes the infrared LED 5 in the entire area to emit light. On the other hand, when the occupant is detected by the occupant position detection unit 12, the infrared LED control unit 16 continuously emits the infrared LED 5 in the area corresponding to the detected occupant position as shown in FIG. , Turn off the infrared LED 5 in the area that does not correspond to the detected occupant position. Compared with the case where the infrared LED 5 in the entire area emits light, the case where only the infrared LED 5 in the area corresponding to the position of the occupant emits light can suppress the power consumption.

このように、白色LED4は、LCD3が通常描画を行っているときのみ発光する。これに対し、赤外LED5は、LCD3が通常描画と透過率制御描画とを繰り返している間ずっと連続発光している。そのため、赤外LED5が発する赤外光は、白色LED4の消灯時に透過率制御されたLCD3を透過して乗員に照射される。したがって、LCD制御部14がLCD3の透過率を制御することにより、赤外LED5の輝度調整が可能となる。 In this way, the white LED 4 emits light only when the LCD 3 is performing normal drawing. On the other hand, the infrared LED 5 continuously emits light while the LCD 3 repeats normal drawing and transmittance control drawing. Therefore, the infrared light emitted by the infrared LED 5 is transmitted to the occupant through the LCD 3 whose transmittance is controlled when the white LED 4 is turned off. Therefore, the brightness of the infrared LED 5 can be adjusted by controlling the transmittance of the LCD 3 by the LCD control unit 14.

図4は、実施の形態1に係る乗員状態検出装置一体型ディスプレイ1の動作例を示すフローチャートである。乗員状態検出装置一体型ディスプレイ1は、例えば車両のエンジンが動作している期間、図4のフローチャートに示される動作を繰り返す。以下では、LCD3が右エリア3R、中央エリア3C、及び左エリア3Lに区切られており、赤外LED5が右エリア赤外LED5R、中央エリア赤外LED5C、及び左エリア赤外LED5Lに分類されているものとする。また、白色LED制御部15は、図4のフローチャートに示される動作中、常に、全エリアの白色LED4を間欠発光させる。 FIG. 4 is a flowchart showing an operation example of the occupant state detection device integrated display 1 according to the first embodiment. The occupant state detection device integrated display 1 repeats the operation shown in the flowchart of FIG. 4, for example, while the engine of the vehicle is operating. In the following, the LCD 3 is divided into a right area 3R, a central area 3C, and a left area 3L, and the infrared LED 5 is classified into a right area infrared LED 5R, a central area infrared LED 5C, and a left area infrared LED 5L. It shall be. Further, the white LED control unit 15 constantly causes the white LEDs 4 in the entire area to emit light intermittently during the operation shown in the flowchart of FIG.

ステップST1において、LCD制御部14は、LCD3の右エリア3R、中央エリア3C、及び左エリア3Lに対し、通常描画と透過率制御描画とを交互に行う。ステップST2において、赤外LED制御部16は、右エリア赤外LED5R、中央エリア赤外LED5C、及び左エリア赤外LED5Lを連続発光させる。 In step ST1, the LCD control unit 14 alternately performs normal drawing and transmittance control drawing on the right area 3R, the center area 3C, and the left area 3L of the LCD 3. In step ST2, the infrared LED control unit 16 continuously emits the right area infrared LED 5R, the central area infrared LED 5C, and the left area infrared LED 5L.

ステップST3において、カメラ2は、白色LED4が消灯すると共に赤外LED5が発光するタイミングで車室内を撮像する。ステップST4において、乗員位置検出部12は、カメラ2により撮像された画像を用いて、乗員を検出する。乗員位置検出部12が、車両に乗員が1人もいないと判断した場合(ステップST4“NO”)、処理はステップST1に戻る。一方、乗員位置検出部12は、車両に搭乗している乗員を検出した場合(ステップST4“YES”)、ステップST5において乗員の位置を検出する。ここでは、乗員位置検出部12が、運転席に着座している乗員を検出したものとする。 In step ST3, the camera 2 takes an image of the vehicle interior at the timing when the white LED 4 is turned off and the infrared LED 5 emits light. In step ST4, the occupant position detection unit 12 detects the occupant using the image captured by the camera 2. When the occupant position detecting unit 12 determines that there is no occupant in the vehicle (step ST4 “NO”), the process returns to step ST1. On the other hand, when the occupant position detection unit 12 detects the occupant on the vehicle (step ST4 “YES”), the occupant position detection unit 12 detects the position of the occupant in step ST5. Here, it is assumed that the occupant position detection unit 12 has detected an occupant seated in the driver's seat.

ステップST6において、LCD制御部14は、LCD3のうち、運転席に対応する右エリア3Rに対して通常描画と透過率制御描画とを交互に行い、助手席及び後部座席に対応する左エリア3L及び中央エリア3Cに対して通常描画を行う。ステップST7において、赤外LED制御部16は、運転席に対応する右エリア赤外LED5Rを連続発光させ、助手席及び後部座席に対応する左エリア赤外LED5L及び中央エリア赤外LED5Cを消灯させる。 In step ST6, the LCD control unit 14 alternately performs normal drawing and transmittance control drawing on the right area 3R corresponding to the driver's seat in the LCD 3, and the left area 3L corresponding to the passenger seat and the rear seat and the left area 3L. Normal drawing is performed on the central area 3C. In step ST7, the infrared LED control unit 16 continuously emits the right area infrared LED 5R corresponding to the driver's seat, and turns off the left area infrared LED 5L and the central area infrared LED 5C corresponding to the passenger seat and the rear seat.

ステップST8において、所定のイベントが発生した場合(ステップST8“YES”)、乗員状態検出装置一体型ディスプレイ1の処理はステップST1に戻り、それ以外の場合(ステップST8“NO”)、乗員状態検出装置一体型ディスプレイ1の処理はステップST6に戻る。所定のイベントとは、車両が走行を停止した場合、ステップST4で乗員が検出された時点から予め定められた時間が経過した場合、又は、乗員状態検出部13がステップST4で検出された乗員の状態検出中にその乗員の状態を検出できなくなった場合(即ち、その乗員がカメラ2の撮像範囲外へ移動した場合)等である。 In step ST8, when a predetermined event occurs (step ST8 “YES”), the processing of the occupant state detection device integrated display 1 returns to step ST1, and in other cases (step ST8 “NO”), the occupant state detection. The process of the device-integrated display 1 returns to step ST6. The predetermined event is when the vehicle stops traveling, when a predetermined time has elapsed from the time when the occupant is detected in step ST4, or when the occupant state detection unit 13 detects the occupant in step ST4. This is the case where the state of the occupant cannot be detected during the state detection (that is, the occupant moves out of the imaging range of the camera 2).

なお、図4には示さないが、乗員位置検出部12は、ステップST4で検出した乗員の移動軌跡を検出してもよい。例えば、乗員状態検出部13がステップST4で検出された運転席の乗員の状態を検出中、乗員位置検出部12が移動軌跡に基づいてこの乗員の助手席の方向への移動を検出した場合、LCD制御部14は、通常描画と透過率制御描画とを交互に行うエリアを、運転席に対応する右エリア3Rから助手席に対応する左エリア3Lに変更してもよい。このとき、赤外LED制御部16は、連続発光させるエリアを、運転席に対応する右エリア赤外LED5Rから助手席に対応する左エリア赤外LED5Lに変更する。 Although not shown in FIG. 4, the occupant position detection unit 12 may detect the movement locus of the occupant detected in step ST4. For example, when the occupant state detection unit 13 is detecting the state of the occupant in the driver's seat detected in step ST4, and the occupant position detection unit 12 detects the movement of the occupant in the direction of the passenger seat based on the movement locus. The LCD control unit 14 may change the area in which normal drawing and transmittance control drawing are alternately performed from the right area 3R corresponding to the driver's seat to the left area 3L corresponding to the passenger seat. At this time, the infrared LED control unit 16 changes the area for continuous light emission from the right area infrared LED 5R corresponding to the driver's seat to the left area infrared LED 5L corresponding to the passenger seat.

以上のように、実施の形態1に係る乗員状態検出装置一体型ディスプレイ1は、カメラ2と、LCD3と、複数の白色LED4と、複数の赤外LED5と、乗員位置検出部12と、乗員状態検出部13と、LCD制御部14と、白色LED制御部15と、赤外LED制御部16とを備える。カメラ2は、赤外領域を撮像する機能を有する。LCD3は、カメラ2の撮像方向を照らす。複数の白色LED4及び複数の赤外LED5は、LCD3の背面に配置されている。乗員位置検出部12は、カメラ2により撮像された画像を用いて車両に搭乗している乗員の位置を検出する。乗員状態検出部13は、カメラ2により撮像された画像を用いて車両に搭乗している乗員の状態を検出する。LCD制御部14は、LCD3のうち、乗員位置検出部12により検出された乗員の位置に該当するエリアの透過率を制御する。赤外LED制御部16は、複数の赤外LED5のうち、乗員位置検出部12により検出された乗員の位置に該当するエリアの赤外LED5を発光させる。白色LED制御部15は、複数の赤外LED5のいずれかが発光している間は複数の白色LED4を消灯させる。このように、乗員状態検出装置一体型ディスプレイ1は、乗員の位置に応じて、赤外LED5を発光させるエリアを動的に変化させることで、不要な電力を削減することができる。したがって、乗員状態検出装置一体型ディスプレイ1は、乗員の状態を検出するときの消費電力を抑制することができる。 As described above, the occupant state detection device integrated display 1 according to the first embodiment includes a camera 2, an LCD 3, a plurality of white LEDs 4, a plurality of infrared LEDs 5, an occupant position detection unit 12, and an occupant state. It includes a detection unit 13, an LCD control unit 14, a white LED control unit 15, and an infrared LED control unit 16. The camera 2 has a function of capturing an infrared region. The LCD 3 illuminates the imaging direction of the camera 2. The plurality of white LEDs 4 and the plurality of infrared LEDs 5 are arranged on the back surface of the LCD 3. The occupant position detection unit 12 detects the position of the occupant on the vehicle by using the image captured by the camera 2. The occupant state detection unit 13 detects the state of the occupant in the vehicle by using the image captured by the camera 2. The LCD control unit 14 controls the transmittance of the area corresponding to the position of the occupant detected by the occupant position detection unit 12 in the LCD 3. The infrared LED control unit 16 emits the infrared LED 5 in the area corresponding to the position of the occupant detected by the occupant position detection unit 12 among the plurality of infrared LEDs 5. The white LED control unit 15 turns off the plurality of white LEDs 4 while any of the plurality of infrared LEDs 5 is emitting light. As described above, the occupant state detection device integrated display 1 can reduce unnecessary power by dynamically changing the area in which the infrared LED 5 emits light according to the position of the occupant. Therefore, the occupant state detection device integrated display 1 can suppress the power consumption when detecting the occupant state.

また、実施の形態1のLCD制御部14は、乗員位置検出部12により検出された乗員の位置に該当するエリアのLCD3に対し、通常描画と透過率を制御した透過率制御描画とを交互に行う。白色LED制御部15は、複数の白色LED4すべてを、通常描画中に発光させ透過率制御描画中に消灯させる。赤外LED制御部16は、乗員位置検出部12により検出された乗員の位置に該当するエリアの赤外LED5を連続発光させる。大電流が流れる赤外LED5が間欠発光すると不要輻射が発生するという問題があるが、実施の形態1では赤外LED5を連続発光させるので不要輻射を抑制することができる。 Further, the LCD control unit 14 of the first embodiment alternately alternates between normal drawing and transmittance control drawing in which the transmittance is controlled for the LCD 3 in the area corresponding to the occupant position detected by the occupant position detection unit 12. conduct. The white LED control unit 15 causes all of the plurality of white LEDs 4 to emit light during normal drawing and is turned off during transmittance control drawing. The infrared LED control unit 16 continuously emits infrared LEDs 5 in an area corresponding to the position of the occupant detected by the occupant position detection unit 12. There is a problem that unnecessary radiation is generated when the infrared LED 5 through which a large current flows intermittently emits light. However, in the first embodiment, since the infrared LED 5 continuously emits light, unnecessary radiation can be suppressed.

また、実施の形態1のLCD制御部14は、透過率制御描画中のLCD3の透過率を制御することによって、赤外LED5の輝度を調整することができる。 Further, the LCD control unit 14 of the first embodiment can adjust the brightness of the infrared LED 5 by controlling the transmittance of the LCD 3 during the transmittance control drawing.

実施の形態2.
図5は、実施の形態2に係る乗員状態検出装置一体型ディスプレイ1の構成例を示すブロック図である。図5において、図1と同一又は相当する部分は、同一の符号を付し説明を省略する。
Embodiment 2.
FIG. 5 is a block diagram showing a configuration example of the occupant state detection device integrated display 1 according to the second embodiment. In FIG. 5, the same or corresponding parts as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.

図6は、実施の形態2におけるLCD3、白色LED4、及び赤外LED5の動作例を示すタイムチャートである。実施の形態1では、LCD制御部14は、LCD3のうち、乗員の位置に該当するエリアに対し、通常描画と赤外LED5の輝度調整用の透過率に制御した透過率制御描画とを交互に行った。これに対し、実施の形態2では、LCD制御部14は、LCD3のうち、乗員の位置に該当するエリアに対し、通常描画と白画描画とを交互に行う。白画描画は、透過率を最大まで上げた透過率制御描画である。 FIG. 6 is a time chart showing an operation example of the LCD 3, the white LED 4, and the infrared LED 5 in the second embodiment. In the first embodiment, the LCD control unit 14 alternately alternates between normal drawing and transmittance control drawing controlled to the transmittance for adjusting the brightness of the infrared LED 5 for the area corresponding to the position of the occupant in the LCD 3. gone. On the other hand, in the second embodiment, the LCD control unit 14 alternately performs normal drawing and white drawing on the area corresponding to the position of the occupant in the LCD 3. White image drawing is a transmittance controlled drawing in which the transmittance is increased to the maximum.

白色LED制御部15は、実施の形態1と同様、全エリアの白色LED4を、LCD3の通常描画中に発光させ、透過率制御描画中に消灯させる。 Similar to the first embodiment, the white LED control unit 15 causes the white LEDs 4 in the entire area to emit light during normal drawing of the LCD 3, and is turned off during the transmittance control drawing.

赤外LED制御部16は、実施の形態1では、乗員の位置に該当するエリアの赤外LED5を連続発光させた。これに対し、実施の形態2では、赤外LED制御部16は、乗員の位置に該当するエリアの赤外LED5を、LCD3の通常描画中に消灯させ、透過率制御描画中に発光させる。 In the first embodiment, the infrared LED control unit 16 continuously emits the infrared LED 5 in the area corresponding to the position of the occupant. On the other hand, in the second embodiment, the infrared LED control unit 16 turns off the infrared LED 5 in the area corresponding to the position of the occupant during the normal drawing of the LCD 3, and causes the infrared LED 5 to emit light during the transmittance control drawing.

また、赤外LED制御部16は、露出計2aにより測定された明るさに応じて、赤外LED5の発光時間を変化させる。例えば、赤外LED制御部16は、被写体の明るさが予め定められた明るさ未満である場合、赤外LED5の発光時間を長くし、被写体の明るさが上記予め定められた明るさ以上である場合、赤外LED5の発光時間を短くする。赤外LED5の発光時間制御により、赤外LED5の輝度が調整される。 Further, the infrared LED control unit 16 changes the light emission time of the infrared LED 5 according to the brightness measured by the exposure meter 2a. For example, when the brightness of the subject is less than the predetermined brightness, the infrared LED control unit 16 prolongs the light emission time of the infrared LED 5, and the brightness of the subject is equal to or higher than the predetermined brightness. In some cases, the light emission time of the infrared LED 5 is shortened. The brightness of the infrared LED 5 is adjusted by controlling the emission time of the infrared LED 5.

以上のように、実施の形態2のLCD制御部14は、乗員位置検出部12により検出された乗員の位置に該当するエリアのLCD3に対し、通常描画と透過率を制御した透過率制御描画とを交互に行う。白色LED制御部15は、複数の白色LED4すべてを、通常描画中に発光させ透過率制御描画中に消灯させる。赤外LED制御部16は、乗員位置検出部12により検出された乗員の位置に該当するエリアの赤外LED5を、通常描画中に消灯させ、透過率制御描画中に発光させる。このように、乗員状態検出装置一体型ディスプレイ1は、乗員がいないエリアの赤外LED5を消灯させることに加え、乗員がいるエリアの赤外LED5を通常描画中に消灯させることにより、消費電力をさらに抑制することができる。 As described above, the LCD control unit 14 of the second embodiment performs normal drawing and transmittance control drawing in which the transmittance is controlled with respect to the LCD 3 in the area corresponding to the position of the occupant detected by the occupant position detection unit 12. Alternately. The white LED control unit 15 causes all of the plurality of white LEDs 4 to emit light during normal drawing and is turned off during transmittance control drawing. The infrared LED control unit 16 turns off the infrared LED 5 in the area corresponding to the position of the occupant detected by the occupant position detection unit 12 during normal drawing and emits light during the transmittance control drawing. In this way, the occupant state detection device integrated display 1 consumes power by turning off the infrared LED 5 in the area where there is no occupant and turning off the infrared LED 5 in the area where the occupant is present during normal drawing. It can be further suppressed.

また、実施の形態2の赤外LED制御部16は、透過率制御描画中の赤外LED5の発光時間を変化させることによって、赤外LED5の輝度を調整することができる。 Further, the infrared LED control unit 16 of the second embodiment can adjust the brightness of the infrared LED 5 by changing the light emission time of the infrared LED 5 during the transmittance control drawing.

最後に、各実施の形態に係るディスプレイ制御装置10のハードウェア構成を説明する。
図7A及び図7Bは、各実施の形態に係るディスプレイ制御装置10のハードウェア構成例を示す図である。ディスプレイ制御装置10におけるLCD制御部14、白色LED制御部15、及び赤外LED制御部16の機能は、LCD3、白色LED4、及び赤外LED5に電圧を印加する駆動回路103により実現される。ディスプレイ制御装置10における乗員位置検出部12及び乗員状態検出部13の機能は、処理回路により実現される。即ち、ディスプレイ制御装置10は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路100であってもよいし、メモリ102に格納されるプログラムを実行するプロセッサ101であってもよい。
Finally, the hardware configuration of the display control device 10 according to each embodiment will be described.
7A and 7B are diagrams showing a hardware configuration example of the display control device 10 according to each embodiment. The functions of the LCD control unit 14, the white LED control unit 15, and the infrared LED control unit 16 in the display control device 10 are realized by the drive circuit 103 that applies a voltage to the LCD 3, the white LED 4, and the infrared LED 5. The functions of the occupant position detection unit 12 and the occupant state detection unit 13 in the display control device 10 are realized by the processing circuit. That is, the display control device 10 includes a processing circuit for realizing the above functions. The processing circuit may be a processing circuit 100 as dedicated hardware, or may be a processor 101 that executes a program stored in the memory 102.

図7Aに示されるように、処理回路が専用のハードウェアである場合、処理回路100は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、SoC(System on a Chip)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又はこれらを組み合わせたものが該当する。乗員位置検出部12及び乗員状態検出部13の機能を複数の処理回路100で実現してもよいし、各部の機能をまとめて1つの処理回路100で実現してもよい。 As shown in FIG. 7A, when the processing circuit is dedicated hardware, the processing circuit 100 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (System on a Chip). ), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), or a combination thereof. The functions of the occupant position detection unit 12 and the occupant state detection unit 13 may be realized by a plurality of processing circuits 100, or the functions of each unit may be collectively realized by one processing circuit 100.

図7Bに示されるように、処理回路がプロセッサ101である場合、乗員位置検出部12及び乗員状態検出部13の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ102に格納される。プロセッサ101は、メモリ102に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、ディスプレイ制御装置10は、プロセッサ101により実行されるときに、図4のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ102を備える。また、このプログラムは、乗員位置検出部12及び乗員状態検出部13の手順又は方法をコンピュータに実行させるものであるとも言える。 As shown in FIG. 7B, when the processing circuit is the processor 101, the functions of the occupant position detection unit 12 and the occupant state detection unit 13 are realized by software, firmware, or a combination of software and firmware. The software or firmware is described as a program and stored in the memory 102. The processor 101 realizes the functions of each part by reading and executing the program stored in the memory 102. That is, the display control device 10 includes a memory 102 for storing a program in which the step shown in the flowchart of FIG. 4 is eventually executed when executed by the processor 101. Further, it can be said that this program causes the computer to execute the procedure or method of the occupant position detection unit 12 and the occupant state detection unit 13.

ここで、プロセッサ101とは、CPU(Central Processing Unit)、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ102は、RAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、CD(Compact Disc)又はDVD(Digital Versatile Disc)等の光ディスクであってもよい。
Here, the processor 101 is a CPU (Central Processing Unit), a processing device, an arithmetic unit, a microprocessor, or the like.
The memory 102 may be a non-volatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), or a flash memory, and may be a non-volatile or volatile semiconductor memory such as a hard disk or a flexible disk. It may be a magnetic disk of the above, or an optical disk such as a CD (Compact Disc) or a DVD (Digital Versaille Disc).

なお、乗員位置検出部12及び乗員状態検出部13の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、ディスプレイ制御装置10における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。 The functions of the occupant position detection unit 12 and the occupant state detection unit 13 may be partially realized by dedicated hardware and partly realized by software or firmware. As described above, the processing circuit in the display control device 10 can realize the above-mentioned functions by hardware, software, firmware, or a combination thereof.

本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。 The present invention allows any combination of embodiments, modifications of any component of each embodiment, or omission of any component of each embodiment within the scope of the invention.

1 乗員状態検出装置一体型ディスプレイ、2 カメラ、2a 露出計、3 LCD、3R 右エリア、3C 中央エリア、3L 左エリア、4 白色LED、5 赤外LED、5R 右エリア赤外LED、5C 中央エリア赤外LED、5L 左エリア赤外LED、10 ディスプレイ制御装置、11 乗員状態検出装置、12 乗員位置検出部、13 乗員状態検出部、14 LCD制御部、15 白色LED制御部、16 赤外LED制御部、100 処理回路、101 プロセッサ、102 メモリ、103 駆動回路。 1 Crew condition detector integrated display, 2 camera, 2a exposure meter, 3 LCD, 3R right area, 3C center area, 3L left area, 4 white LED, 5 infrared LED, 5R right area infrared LED, 5C center area Infrared LED, 5L left area infrared LED, 10 display control device, 11 occupant state detection device, 12 occupant position detection unit, 13 occupant state detection unit, 14 LCD control unit, 15 white LED control unit, 16 infrared LED control Unit, 100 processing circuit, 101 processor, 102 memory, 103 drive circuit.

Claims (6)

赤外領域を撮像する機能を有するカメラと、
前記カメラの撮像方向を照らす液晶ディスプレイと、
前記液晶ディスプレイの背面に配置された複数の白色発光素子及び複数の赤外発光素子と、
前記カメラにより撮像された画像を用いて車両に搭乗している乗員の位置を検出する乗員位置検出部と、
前記カメラにより撮像された画像を用いて前記車両に搭乗している乗員の状態を検出する乗員状態検出部と、
前記液晶ディスプレイのうち、前記乗員位置検出部により検出された乗員の位置に該当するエリアの透過率を制御する液晶ディスプレイ制御部と、
前記複数の赤外発光素子のうち、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの赤外発光素子を発光させる赤外発光素子制御部と、
前記液晶ディスプレイ制御部の制御により通常描画に比べて透過率が変化している間は前記複数の白色発光素子を消灯させる白色発光素子制御部とを備える乗員状態検出装置一体型ディスプレイ。
A camera that has a function to capture the infrared region,
A liquid crystal display that illuminates the image pickup direction of the camera,
A plurality of white light emitting elements and a plurality of infrared light emitting elements arranged on the back surface of the liquid crystal display,
An occupant position detection unit that detects the position of an occupant in a vehicle using an image captured by the camera, and a occupant position detection unit.
A occupant state detection unit that detects the state of the occupant on the vehicle using the image captured by the camera, and a occupant state detection unit.
Among the liquid crystal displays, the liquid crystal display control unit that controls the transmittance of the area corresponding to the position of the occupant detected by the occupant position detection unit, and the liquid crystal display control unit.
Among the plurality of infrared light emitting elements, an infrared light emitting element control unit that emits light from the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
A occupant state detection device integrated display including a white light emitting element control unit that turns off the plurality of white light emitting elements while the transmittance is changed by the control of the liquid crystal display control unit as compared with normal drawing .
前記液晶ディスプレイ制御部は、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの前記液晶ディスプレイに対し、通常描画と透過率を制御した透過率制御描画とを交互に行い、
前記白色発光素子制御部は、前記複数の白色発光素子すべてを、前記通常描画中に発光させ前記透過率制御描画中に消灯させ、
前記赤外発光素子制御部は、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの前記赤外発光素子を連続発光させることを特徴とする請求項1記載の乗員状態検出装置一体型ディスプレイ。
The liquid crystal display control unit alternately performs normal drawing and transmittance control drawing with controlled transmittance on the liquid crystal display in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
The white light emitting element control unit causes all of the plurality of white light emitting elements to emit light during the normal drawing and is turned off during the transmittance control drawing.
The occupant state detection device according to claim 1, wherein the infrared light emitting element control unit continuously emits light from the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detecting unit. Integrated display.
前記液晶ディスプレイ制御部は、前記透過率制御描画中の前記液晶ディスプレイの透過率を制御することによって、前記赤外発光素子の輝度を調整することを特徴とする請求項2記載の乗員状態検出装置一体型ディスプレイ。 The occupant state detecting device according to claim 2, wherein the liquid crystal display control unit adjusts the brightness of the infrared light emitting element by controlling the transmittance of the liquid crystal display during the transmittance control drawing. Integrated display. 前記液晶ディスプレイ制御部は、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの前記液晶ディスプレイに対し、通常描画と透過率を制御した透過率制御描画とを交互に行い、
前記白色発光素子制御部は、前記複数の白色発光素子すべてを、前記通常描画中に発光させ前記透過率制御描画中に消灯させ、
前記赤外発光素子制御部は、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの前記赤外発光素子を、前記通常描画中に消灯させ前記透過率制御描画中に発光させることを特徴とする請求項1記載の乗員状態検出装置一体型ディスプレイ。
The liquid crystal display control unit alternately performs normal drawing and transmittance control drawing with controlled transmittance on the liquid crystal display in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
The white light emitting element control unit causes all of the plurality of white light emitting elements to emit light during the normal drawing and is turned off during the transmittance control drawing.
The infrared light emitting element control unit turns off the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detection unit during the normal drawing and emits light during the transmittance control drawing. The occupant state detection device integrated display according to claim 1.
前記赤外発光素子制御部は、前記透過率制御描画中の前記赤外発光素子の発光時間を変化させることによって、前記赤外発光素子の輝度を調整することを特徴とする請求項4記載の乗員状態検出装置一体型ディスプレイ。 The fourth aspect of claim 4, wherein the infrared light emitting element control unit adjusts the brightness of the infrared light emitting element by changing the light emitting time of the infrared light emitting element during the transmittance control drawing. A display with an integrated occupant status detector. 赤外領域を撮像する機能を有するカメラと、前記カメラの撮像方向を照らす液晶ディスプレイと、前記液晶ディスプレイの背面に配置された複数の白色発光素子及び複数の赤外発光素子とを備える乗員状態検出装置一体型ディスプレイの動作を制御するディスプレイ制御装置であって、
前記カメラにより撮像された画像を用いて車両に搭乗している乗員の位置を検出する乗員位置検出部と、
前記カメラにより撮像された画像を用いて前記車両に搭乗している乗員の状態を検出する乗員状態検出部と、
前記液晶ディスプレイのうち、前記乗員位置検出部により検出された乗員の位置に該当するエリアの透過率を制御する液晶ディスプレイ制御部と、
前記複数の赤外発光素子のうち、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの赤外発光素子を発光させる赤外発光素子制御部と、
前記液晶ディスプレイ制御部の制御により通常描画に比べて透過率が変化している間は前記複数の白色発光素子を消灯させる白色発光素子制御部とを備えることを特徴とするディスプレイ制御装置。
Crew state detection including a camera having a function of imaging an infrared region, a liquid crystal display that illuminates the imaging direction of the camera, and a plurality of white light emitting elements and a plurality of infrared light emitting elements arranged on the back surface of the liquid crystal display. A display control device that controls the operation of a device-integrated display.
An occupant position detection unit that detects the position of an occupant in a vehicle using an image captured by the camera, and a occupant position detection unit.
A occupant state detection unit that detects the state of the occupant on the vehicle using the image captured by the camera, and a occupant state detection unit.
Among the liquid crystal displays, the liquid crystal display control unit that controls the transmittance of the area corresponding to the position of the occupant detected by the occupant position detection unit, and the liquid crystal display control unit.
Among the plurality of infrared light emitting elements, an infrared light emitting element control unit that emits light from the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
A display control device including a white light emitting element control unit that turns off the plurality of white light emitting elements while the transmittance is changed as compared with normal drawing by the control of the liquid crystal display control unit.
JP2018170492A 2018-09-12 2018-09-12 Crew condition detection device integrated display and display control device Active JP7101574B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018170492A JP7101574B2 (en) 2018-09-12 2018-09-12 Crew condition detection device integrated display and display control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018170492A JP7101574B2 (en) 2018-09-12 2018-09-12 Crew condition detection device integrated display and display control device

Publications (2)

Publication Number Publication Date
JP2020040565A JP2020040565A (en) 2020-03-19
JP7101574B2 true JP7101574B2 (en) 2022-07-15

Family

ID=69797396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018170492A Active JP7101574B2 (en) 2018-09-12 2018-09-12 Crew condition detection device integrated display and display control device

Country Status (1)

Country Link
JP (1) JP7101574B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114392379A (en) * 2021-12-10 2022-04-26 中国第一汽车股份有限公司 Vehicle disinfection method and system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200718A (en) 2008-02-20 2009-09-03 Toyota Motor Corp Imaging device
JP2014031140A (en) 2012-08-06 2014-02-20 Alpine Electronics Inc Display device
JP2014188322A (en) 2013-03-28 2014-10-06 Panasonic Corp Visual line detection device, visual line detection method and program
JP2016032257A (en) 2014-07-30 2016-03-07 株式会社デンソー Driver monitoring device
US20160185354A1 (en) 2014-12-30 2016-06-30 Tk Holdings, Inc. Occupant monitoring systems and methods
JP2018109686A (en) 2016-12-28 2018-07-12 京セラ株式会社 Liquid crystal display device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200718A (en) 2008-02-20 2009-09-03 Toyota Motor Corp Imaging device
JP2014031140A (en) 2012-08-06 2014-02-20 Alpine Electronics Inc Display device
JP2014188322A (en) 2013-03-28 2014-10-06 Panasonic Corp Visual line detection device, visual line detection method and program
JP2016032257A (en) 2014-07-30 2016-03-07 株式会社デンソー Driver monitoring device
US20160185354A1 (en) 2014-12-30 2016-06-30 Tk Holdings, Inc. Occupant monitoring systems and methods
JP2018109686A (en) 2016-12-28 2018-07-12 京セラ株式会社 Liquid crystal display device

Also Published As

Publication number Publication date
JP2020040565A (en) 2020-03-19

Similar Documents

Publication Publication Date Title
JP5056831B2 (en) Head-up display device
EP3562708B1 (en) Rear vision system with eye-tracking
US10922568B2 (en) Driver monitoring apparatus and method for controlling illuminator thereof
US20190096359A1 (en) Display control device, display device, in-vehicle display system, and display control method
WO2016039256A1 (en) Display function-equipped mirror device and display switching method
JP6433383B2 (en) Floodlight device
JP5998863B2 (en) Gaze detection device and gaze detection method
JP2010032560A (en) Display device for vehicle
JP2017105431A (en) Imaging device for vehicle, and imaging system for vehicle
JP2007290411A (en) Control device for vehicle
JP7101574B2 (en) Crew condition detection device integrated display and display control device
JP2013119268A (en) Vehicular display system
JP6229769B2 (en) Mirror device with display function and display switching method
US20230019596A1 (en) Imaging and display system
JP7081458B2 (en) Display device for vehicles
US11178318B2 (en) Imaging device and vehicular display device
JP2019001293A (en) On-vehicle display device
JP2009096323A (en) Camera illumination control device
JP2011188218A (en) Display device
JP2017028349A (en) Video processing device, operation support display system and video processing method
WO2020129146A1 (en) Display control device and display control method
JP7404128B2 (en) heads up display device
JP7489944B2 (en) Light emission intensity adjustment device, light emission intensity adjustment program, and passenger monitoring system
JP7568694B2 (en) Vehicle display device
WO2014061175A1 (en) State monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210105

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220705

R150 Certificate of patent or registration of utility model

Ref document number: 7101574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350