JP7101574B2 - Crew condition detection device integrated display and display control device - Google Patents
Crew condition detection device integrated display and display control device Download PDFInfo
- Publication number
- JP7101574B2 JP7101574B2 JP2018170492A JP2018170492A JP7101574B2 JP 7101574 B2 JP7101574 B2 JP 7101574B2 JP 2018170492 A JP2018170492 A JP 2018170492A JP 2018170492 A JP2018170492 A JP 2018170492A JP 7101574 B2 JP7101574 B2 JP 7101574B2
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- light emitting
- control unit
- liquid crystal
- transmittance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 92
- 238000002834 transmittance Methods 0.000 claims description 47
- 239000004973 liquid crystal related substance Substances 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
- Closed-Circuit Television Systems (AREA)
Description
この発明は、車両用の乗員状態検出装置一体型ディスプレイ、及びディスプレイ制御装置に関するものである。 The present invention relates to a display with an integrated occupant state detection device for a vehicle and a display control device.
従来、運転者の居眠り及び脇見等の状態を検出するDMS(Driver Monitoring System)が提案されている。また、DMS用カメラの光源として用いられる赤外LED(Light Emitting Diode)が、車両に搭載されるディスプレイと一体化された、DMS一体型ディスプレイが提案されている。従来のDMS一体型ディスプレイは、別ユニットとして用意された赤外LEDが、ディスプレイに組み込まれた構成であるため、薄型化及び狭額縁化ができないという問題があった。 Conventionally, a DMS (Drive Monitoring System) for detecting a driver's dozing and inattentive states has been proposed. Further, there has been proposed a DMS integrated display in which an infrared LED (Light Emitting Diode) used as a light source of a DMS camera is integrated with a display mounted on a vehicle. The conventional DMS integrated display has a problem that it cannot be made thinner and narrower because the infrared LED prepared as a separate unit is incorporated in the display.
特許文献1に係る視線検出装置は、赤外光パターンを表示し、その赤外光パターンの角膜反射像が映った対象者の眼を含む範囲を撮像し、撮像した画像から瞳孔と角膜反射像を抽出して対象者の視線を検出する。この視線検出装置は、液晶ディスプレイのバックライトである白色LEDの一部を赤外LEDに置き換えることにより、液晶ディスプレイの薄型化及び狭額縁化を実現している。 The line-of-sight detection device according to Patent Document 1 displays an infrared light pattern, images a range including the eye of the subject in which the corneal reflex image of the infrared light pattern is reflected, and the pupil and the corneal reflex image are taken from the captured image. Is extracted to detect the line of sight of the subject. This line-of-sight detection device realizes a thin and narrow frame of the liquid crystal display by replacing a part of the white LED which is the backlight of the liquid crystal display with an infrared LED.
ところで、近年、運転者だけでなく他の乗員の状態も検出する乗員状態検出装置が提案されている。乗員状態検出装置は、車両に搭載されたカメラが撮像した画像を処理することによって、車両に搭乗している各乗員の居眠り及び脇見等の状態を検出する。この乗員状態検出装置に用いられるカメラの光源となる赤外LEDを、上記特許文献1のように液晶ディスプレイのバックライトに内蔵する場合、各乗員に赤外光を照射するためには広い面積の液晶ディスプレイ背面に多数の赤外LEDを配置する必要があるため、赤外LEDの消費電力が大きくなってしまい、電気自動車等の低消費電力が求められる分野では現実的ではないという課題があった。 By the way, in recent years, an occupant state detecting device that detects not only the state of the driver but also the state of other occupants has been proposed. The occupant state detection device detects the state of each occupant in the vehicle, such as dozing and inattentiveness, by processing the image captured by the camera mounted on the vehicle. When the infrared LED that is the light source of the camera used in this occupant state detection device is built in the backlight of the liquid crystal display as in Patent Document 1, a large area is required to irradiate each occupant with infrared light. Since it is necessary to arrange a large number of infrared LEDs on the back surface of the liquid crystal display, the power consumption of the infrared LEDs becomes large, and there is a problem that it is not realistic in a field where low power consumption is required such as an electric vehicle. ..
この発明は、上記のような課題を解決するためになされたもので、乗員の状態を検出するときの消費電力を抑制することを目的とする。 The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to suppress power consumption when detecting a state of an occupant.
この発明に係る乗員状態検出装置一体型ディスプレイは、赤外領域を撮像する機能を有するカメラと、カメラの撮像方向を照らす液晶ディスプレイと、液晶ディスプレイの背面に配置された複数の白色発光素子及び複数の赤外発光素子と、カメラにより撮像された画像を用いて車両に搭乗している乗員の位置を検出する乗員位置検出部と、カメラにより撮像された画像を用いて車両に搭乗している乗員の状態を検出する乗員状態検出部と、液晶ディスプレイのうち、乗員位置検出部により検出された乗員の位置に該当するエリアの透過率を制御する液晶ディスプレイ制御部と、複数の赤外発光素子のうち、乗員位置検出部により検出された乗員の位置に該当するエリアの赤外発光素子を発光させる赤外発光素子制御部と、液晶ディスプレイ制御部の制御により通常描画に比べて透過率が変化している間は複数の白色発光素子を消灯させる白色発光素子制御部とを備えるものである。
The occupant state detection device integrated display according to the present invention includes a camera having a function of capturing an infrared region, a liquid crystal display that illuminates the image pickup direction of the camera, and a plurality of white light emitting elements and a plurality of white light emitting elements arranged on the back surface of the liquid crystal display. The infrared light emitting element of the above, the occupant position detection unit that detects the position of the occupant on the vehicle using the image captured by the camera, and the occupant on the vehicle using the image captured by the camera. A occupant state detection unit that detects the state of the occupant, a liquid crystal display control unit that controls the transmission rate of the area corresponding to the occupant position detected by the occupant position detection unit, and a plurality of infrared light emitting elements. Of these, the transmission rate changes compared to normal drawing due to the control of the infrared light emitting element control unit that emits light from the infrared light emitting element in the area corresponding to the occupant position detected by the occupant position detection unit and the liquid crystal display control unit. It is provided with a white light emitting element control unit that turns off a plurality of white light emitting elements during the period.
この発明によれば、液晶ディスプレイの背面に配置された複数の赤外発光素子のうち、乗員の位置に該当するエリアの赤外発光素子だけを発光させるようにしたので、乗員の状態を検出するときの消費電力を抑制することができる。 According to the present invention, among the plurality of infrared light emitting elements arranged on the back surface of the liquid crystal display, only the infrared light emitting element in the area corresponding to the position of the occupant is made to emit light, so that the state of the occupant is detected. It is possible to suppress the power consumption at that time.
実施の形態1.
図1は、実施の形態1に係る乗員状態検出装置一体型ディスプレイ1の構成例を示すブロック図である。乗員状態検出装置一体型ディスプレイ1は、カメラ2と、液晶ディスプレイ(以下、「LCD」と称する)3と、白色LED4と、赤外LED5と、ディスプレイ制御装置10とを備える。白色LED4は「白色発光素子」に相当し、赤外LED5は「赤外発光素子」に相当する。ディスプレイ制御装置10は、乗員状態検出装置11と、LCD制御部14と、白色LED制御部15と、赤外LED制御部16とを備える。乗員状態検出装置11は、乗員位置検出部12と、乗員状態検出部13とを備える。
Embodiment 1.
FIG. 1 is a block diagram showing a configuration example of the occupant state detection device integrated display 1 according to the first embodiment. The occupant state detection device integrated display 1 includes a
図2Aは、実施の形態1に係る乗員状態検出装置一体型ディスプレイ1の正面図であり、図2Bは、A-A断面図である。なお、図2A及び図2Bにおいて、ディスプレイ制御装置10の図示を省略する。乗員状態検出装置一体型ディスプレイ1は、ダッシュボード等に設置される。この乗員状態検出装置一体型ディスプレイ1は、例えば、カーナビゲーション装置が生成した地図画像等を表示するディスプレイに、乗員状態検出装置11が一体化されている。
2A is a front view of the occupant state detection device integrated display 1 according to the first embodiment, and FIG. 2B is a sectional view taken along the line AA. Note that the
乗員状態検出装置一体型ディスプレイ1のディスプレイ枠内には、カメラ2が設置されている。このカメラ2は、可視光領域を撮像する機能に加え、赤外領域を撮像する機能を有する。このカメラ2は、少なくとも車室内の運転席及び助手席を撮像するものであり、好ましくは運転席、助手席、及び後部座席を撮像するものである。なお、図示は省略するが、複数のカメラ2によって、運転席、助手席、及び後部座席を撮像してもよい。また、カメラ2は、図1に示されるように、被写体の明るさを測定する露出計2aを有する。
A
乗員状態検出装置一体型ディスプレイ1の正面には、LCD3が設置されている。図2A及び図2Bの例では、LCD3の表面が保護カバー又はタッチパネルで被覆されている。LCD3のうち、右エリア3Rが運転席に対向するエリア、中央エリア3Cが運転席と助手席との間の隙間であって後部座席に対向するエリア、左エリア3Lが助手席に対向するエリアである。運転席が左側にある車両では、左エリア3Lが運転席に対向するエリアとなり、右エリア3Rが助手席に対向するエリアとなる。なお、乗員状態検出装置一体型ディスプレイ1が設置される場所又は乗員状態検出装置11が対象とする乗員等に応じて、LCD3のエリアの数及び位置は変更可能である。
An
LCD3の背面には、バックライトである複数の白色LED4が設置されている。また、LCD3の背面には、車室内が暗いときにカメラ2の光源となる、複数の赤外LED5が設置されている。図2Bの例では、白色LED4と赤外LED5とが交互に配置されている。なお、バックライトの構成は、白色LED4及び赤外LED5がLCD3の背面全面に配置される直下型でもよいし、LCD3の端部に配置されるエッジ型でもよい。赤外LED5を白色LED4と共にLCD3の背面に配置することにより、乗員状態検出装置一体型ディスプレイ1の薄型化及び狭額縁化を実現できる。バックライトの光は、LCD3を透過して、カメラ2の撮像方向を照らす。
A plurality of white LEDs 4 which are backlights are installed on the back surface of the
複数の赤外LED5のうち、LCD3の右エリア3Rに対向する範囲に配置された複数の赤外LED5を「右エリア赤外LED5R」と称し、中央エリア3Cに対向する範囲に配置された複数の赤外LED5を「中央エリア赤外LED5C」と称し、左エリア3Lに対向する範囲に配置された複数の赤外LED5を「左エリア赤外LED5L」と称する。一方、白色LED4には、LCD3のエリアに応じた区別がない。
Of the plurality of
図1に示される乗員位置検出部12は、カメラ2が撮像した画像を用いて、乗員の有無及び乗員の位置を検出し、検出結果を乗員状態検出部13、LCD制御部14、白色LED制御部15、及び赤外LED制御部16へ出力する。実施の形態1において、「乗員」は、運転席、助手席、及び後部座席の各乗員を指し、「乗員の位置」は、乗員が着座している座席を指す。
The occupant
乗員状態検出部13は、乗員位置検出部12により乗員が検出された場合、カメラ2が撮像した画像を用いて、上記乗員の居眠り及び脇見等の状態を検出する。
When the occupant
図3は、実施の形態1におけるLCD3、白色LED4、及び赤外LED5の動作例を示すタイムチャートである。図3を参照しながら、LCD制御部14、白色LED制御部15、及び赤外LED制御部16の動作を説明する。
FIG. 3 is a time chart showing an operation example of the
LCD制御部14は、上記カーナビゲーション装置の地図画像等をLCD3に描画する(以下、「通常描画」と称する)。また、LCD制御部14は、LCD3の透過率を意図的に制御した状態で地図画像等を描画する(以下、「透過率制御描画」と称する)。具体的には、乗員位置検出部12により乗員が検出されていない場合、LCD制御部14は、LCD3の全エリアに通常描画を行う。一方、乗員位置検出部12により乗員が検出されている場合、LCD制御部14は、図3に示されるように、検出された乗員の位置に該当するエリアに対して通常描画と透過率制御描画とを交互に行い、検出された乗員の位置に該当しないエリアに対して通常描画を行う。LCD制御部14は、例えば、LCD3に描画する地図画像等が60フレームである場合、通常描画と透過率制御描画との繰り返しを2倍の120フレームで行う。
The
また、LCD制御部14は、露出計2aにより測定された明るさに応じて、透過率制御描画時のLCD3の透過率を制御する。例えば、LCD制御部14は、被写体の明るさが予め定められた明るさ未満である場合、LCD3の透過率を上げ、被写体の明るさが上記予め定められた明るさ以上である場合、LCD3の透過率を下げる。後段で詳述するように、LCD3の透過率制御により、赤外LED5の輝度が調整される。
Further, the
白色LED制御部15は、LCD制御部14によるLCD3の制御に同期して、バックライトである白色LED4の発光を制御する。この白色LED制御部15は、図3に示されるように、全エリアの白色LED4を、LCD3の通常描画中に発光させ、透過率制御描画中に消灯させる。全エリアの白色LED4が間欠発光することにより、LCD3の明るさがエリアによらず均一になる。
The white
赤外LED制御部16は、LCD制御部14によるLCD3の制御に同期して、カメラ2の光源である赤外LED5の発光を制御する。乗員位置検出部12により乗員が検出されていない場合、赤外LED制御部16は、全エリアの赤外LED5を発光させる。一方、乗員位置検出部12により乗員が検出されている場合、赤外LED制御部16は、図3に示されるように、検出された乗員の位置に該当するエリアの赤外LED5を連続発光させ、検出された乗員の位置に該当しないエリアの赤外LED5を消灯させる。全エリアの赤外LED5を発光させる場合に比べ、乗員の位置に該当するエリアの赤外LED5のみを発光させる場合の方が、消費電力を抑制することができる。
The infrared
このように、白色LED4は、LCD3が通常描画を行っているときのみ発光する。これに対し、赤外LED5は、LCD3が通常描画と透過率制御描画とを繰り返している間ずっと連続発光している。そのため、赤外LED5が発する赤外光は、白色LED4の消灯時に透過率制御されたLCD3を透過して乗員に照射される。したがって、LCD制御部14がLCD3の透過率を制御することにより、赤外LED5の輝度調整が可能となる。
In this way, the white LED 4 emits light only when the
図4は、実施の形態1に係る乗員状態検出装置一体型ディスプレイ1の動作例を示すフローチャートである。乗員状態検出装置一体型ディスプレイ1は、例えば車両のエンジンが動作している期間、図4のフローチャートに示される動作を繰り返す。以下では、LCD3が右エリア3R、中央エリア3C、及び左エリア3Lに区切られており、赤外LED5が右エリア赤外LED5R、中央エリア赤外LED5C、及び左エリア赤外LED5Lに分類されているものとする。また、白色LED制御部15は、図4のフローチャートに示される動作中、常に、全エリアの白色LED4を間欠発光させる。
FIG. 4 is a flowchart showing an operation example of the occupant state detection device integrated display 1 according to the first embodiment. The occupant state detection device integrated display 1 repeats the operation shown in the flowchart of FIG. 4, for example, while the engine of the vehicle is operating. In the following, the
ステップST1において、LCD制御部14は、LCD3の右エリア3R、中央エリア3C、及び左エリア3Lに対し、通常描画と透過率制御描画とを交互に行う。ステップST2において、赤外LED制御部16は、右エリア赤外LED5R、中央エリア赤外LED5C、及び左エリア赤外LED5Lを連続発光させる。
In step ST1, the
ステップST3において、カメラ2は、白色LED4が消灯すると共に赤外LED5が発光するタイミングで車室内を撮像する。ステップST4において、乗員位置検出部12は、カメラ2により撮像された画像を用いて、乗員を検出する。乗員位置検出部12が、車両に乗員が1人もいないと判断した場合(ステップST4“NO”)、処理はステップST1に戻る。一方、乗員位置検出部12は、車両に搭乗している乗員を検出した場合(ステップST4“YES”)、ステップST5において乗員の位置を検出する。ここでは、乗員位置検出部12が、運転席に着座している乗員を検出したものとする。
In step ST3, the
ステップST6において、LCD制御部14は、LCD3のうち、運転席に対応する右エリア3Rに対して通常描画と透過率制御描画とを交互に行い、助手席及び後部座席に対応する左エリア3L及び中央エリア3Cに対して通常描画を行う。ステップST7において、赤外LED制御部16は、運転席に対応する右エリア赤外LED5Rを連続発光させ、助手席及び後部座席に対応する左エリア赤外LED5L及び中央エリア赤外LED5Cを消灯させる。
In step ST6, the
ステップST8において、所定のイベントが発生した場合(ステップST8“YES”)、乗員状態検出装置一体型ディスプレイ1の処理はステップST1に戻り、それ以外の場合(ステップST8“NO”)、乗員状態検出装置一体型ディスプレイ1の処理はステップST6に戻る。所定のイベントとは、車両が走行を停止した場合、ステップST4で乗員が検出された時点から予め定められた時間が経過した場合、又は、乗員状態検出部13がステップST4で検出された乗員の状態検出中にその乗員の状態を検出できなくなった場合(即ち、その乗員がカメラ2の撮像範囲外へ移動した場合)等である。
In step ST8, when a predetermined event occurs (step ST8 “YES”), the processing of the occupant state detection device integrated display 1 returns to step ST1, and in other cases (step ST8 “NO”), the occupant state detection. The process of the device-integrated display 1 returns to step ST6. The predetermined event is when the vehicle stops traveling, when a predetermined time has elapsed from the time when the occupant is detected in step ST4, or when the occupant
なお、図4には示さないが、乗員位置検出部12は、ステップST4で検出した乗員の移動軌跡を検出してもよい。例えば、乗員状態検出部13がステップST4で検出された運転席の乗員の状態を検出中、乗員位置検出部12が移動軌跡に基づいてこの乗員の助手席の方向への移動を検出した場合、LCD制御部14は、通常描画と透過率制御描画とを交互に行うエリアを、運転席に対応する右エリア3Rから助手席に対応する左エリア3Lに変更してもよい。このとき、赤外LED制御部16は、連続発光させるエリアを、運転席に対応する右エリア赤外LED5Rから助手席に対応する左エリア赤外LED5Lに変更する。
Although not shown in FIG. 4, the occupant
以上のように、実施の形態1に係る乗員状態検出装置一体型ディスプレイ1は、カメラ2と、LCD3と、複数の白色LED4と、複数の赤外LED5と、乗員位置検出部12と、乗員状態検出部13と、LCD制御部14と、白色LED制御部15と、赤外LED制御部16とを備える。カメラ2は、赤外領域を撮像する機能を有する。LCD3は、カメラ2の撮像方向を照らす。複数の白色LED4及び複数の赤外LED5は、LCD3の背面に配置されている。乗員位置検出部12は、カメラ2により撮像された画像を用いて車両に搭乗している乗員の位置を検出する。乗員状態検出部13は、カメラ2により撮像された画像を用いて車両に搭乗している乗員の状態を検出する。LCD制御部14は、LCD3のうち、乗員位置検出部12により検出された乗員の位置に該当するエリアの透過率を制御する。赤外LED制御部16は、複数の赤外LED5のうち、乗員位置検出部12により検出された乗員の位置に該当するエリアの赤外LED5を発光させる。白色LED制御部15は、複数の赤外LED5のいずれかが発光している間は複数の白色LED4を消灯させる。このように、乗員状態検出装置一体型ディスプレイ1は、乗員の位置に応じて、赤外LED5を発光させるエリアを動的に変化させることで、不要な電力を削減することができる。したがって、乗員状態検出装置一体型ディスプレイ1は、乗員の状態を検出するときの消費電力を抑制することができる。
As described above, the occupant state detection device integrated display 1 according to the first embodiment includes a
また、実施の形態1のLCD制御部14は、乗員位置検出部12により検出された乗員の位置に該当するエリアのLCD3に対し、通常描画と透過率を制御した透過率制御描画とを交互に行う。白色LED制御部15は、複数の白色LED4すべてを、通常描画中に発光させ透過率制御描画中に消灯させる。赤外LED制御部16は、乗員位置検出部12により検出された乗員の位置に該当するエリアの赤外LED5を連続発光させる。大電流が流れる赤外LED5が間欠発光すると不要輻射が発生するという問題があるが、実施の形態1では赤外LED5を連続発光させるので不要輻射を抑制することができる。
Further, the
また、実施の形態1のLCD制御部14は、透過率制御描画中のLCD3の透過率を制御することによって、赤外LED5の輝度を調整することができる。
Further, the
実施の形態2.
図5は、実施の形態2に係る乗員状態検出装置一体型ディスプレイ1の構成例を示すブロック図である。図5において、図1と同一又は相当する部分は、同一の符号を付し説明を省略する。
FIG. 5 is a block diagram showing a configuration example of the occupant state detection device integrated display 1 according to the second embodiment. In FIG. 5, the same or corresponding parts as those in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
図6は、実施の形態2におけるLCD3、白色LED4、及び赤外LED5の動作例を示すタイムチャートである。実施の形態1では、LCD制御部14は、LCD3のうち、乗員の位置に該当するエリアに対し、通常描画と赤外LED5の輝度調整用の透過率に制御した透過率制御描画とを交互に行った。これに対し、実施の形態2では、LCD制御部14は、LCD3のうち、乗員の位置に該当するエリアに対し、通常描画と白画描画とを交互に行う。白画描画は、透過率を最大まで上げた透過率制御描画である。
FIG. 6 is a time chart showing an operation example of the
白色LED制御部15は、実施の形態1と同様、全エリアの白色LED4を、LCD3の通常描画中に発光させ、透過率制御描画中に消灯させる。
Similar to the first embodiment, the white
赤外LED制御部16は、実施の形態1では、乗員の位置に該当するエリアの赤外LED5を連続発光させた。これに対し、実施の形態2では、赤外LED制御部16は、乗員の位置に該当するエリアの赤外LED5を、LCD3の通常描画中に消灯させ、透過率制御描画中に発光させる。
In the first embodiment, the infrared
また、赤外LED制御部16は、露出計2aにより測定された明るさに応じて、赤外LED5の発光時間を変化させる。例えば、赤外LED制御部16は、被写体の明るさが予め定められた明るさ未満である場合、赤外LED5の発光時間を長くし、被写体の明るさが上記予め定められた明るさ以上である場合、赤外LED5の発光時間を短くする。赤外LED5の発光時間制御により、赤外LED5の輝度が調整される。
Further, the infrared
以上のように、実施の形態2のLCD制御部14は、乗員位置検出部12により検出された乗員の位置に該当するエリアのLCD3に対し、通常描画と透過率を制御した透過率制御描画とを交互に行う。白色LED制御部15は、複数の白色LED4すべてを、通常描画中に発光させ透過率制御描画中に消灯させる。赤外LED制御部16は、乗員位置検出部12により検出された乗員の位置に該当するエリアの赤外LED5を、通常描画中に消灯させ、透過率制御描画中に発光させる。このように、乗員状態検出装置一体型ディスプレイ1は、乗員がいないエリアの赤外LED5を消灯させることに加え、乗員がいるエリアの赤外LED5を通常描画中に消灯させることにより、消費電力をさらに抑制することができる。
As described above, the
また、実施の形態2の赤外LED制御部16は、透過率制御描画中の赤外LED5の発光時間を変化させることによって、赤外LED5の輝度を調整することができる。
Further, the infrared
最後に、各実施の形態に係るディスプレイ制御装置10のハードウェア構成を説明する。
図7A及び図7Bは、各実施の形態に係るディスプレイ制御装置10のハードウェア構成例を示す図である。ディスプレイ制御装置10におけるLCD制御部14、白色LED制御部15、及び赤外LED制御部16の機能は、LCD3、白色LED4、及び赤外LED5に電圧を印加する駆動回路103により実現される。ディスプレイ制御装置10における乗員位置検出部12及び乗員状態検出部13の機能は、処理回路により実現される。即ち、ディスプレイ制御装置10は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路100であってもよいし、メモリ102に格納されるプログラムを実行するプロセッサ101であってもよい。
Finally, the hardware configuration of the
7A and 7B are diagrams showing a hardware configuration example of the
図7Aに示されるように、処理回路が専用のハードウェアである場合、処理回路100は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、SoC(System on a Chip)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又はこれらを組み合わせたものが該当する。乗員位置検出部12及び乗員状態検出部13の機能を複数の処理回路100で実現してもよいし、各部の機能をまとめて1つの処理回路100で実現してもよい。
As shown in FIG. 7A, when the processing circuit is dedicated hardware, the
図7Bに示されるように、処理回路がプロセッサ101である場合、乗員位置検出部12及び乗員状態検出部13の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ102に格納される。プロセッサ101は、メモリ102に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、ディスプレイ制御装置10は、プロセッサ101により実行されるときに、図4のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ102を備える。また、このプログラムは、乗員位置検出部12及び乗員状態検出部13の手順又は方法をコンピュータに実行させるものであるとも言える。
As shown in FIG. 7B, when the processing circuit is the
ここで、プロセッサ101とは、CPU(Central Processing Unit)、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ102は、RAM(Random Access Memory)、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、CD(Compact Disc)又はDVD(Digital Versatile Disc)等の光ディスクであってもよい。
Here, the
The
なお、乗員位置検出部12及び乗員状態検出部13の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、ディスプレイ制御装置10における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。
The functions of the occupant
本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。 The present invention allows any combination of embodiments, modifications of any component of each embodiment, or omission of any component of each embodiment within the scope of the invention.
1 乗員状態検出装置一体型ディスプレイ、2 カメラ、2a 露出計、3 LCD、3R 右エリア、3C 中央エリア、3L 左エリア、4 白色LED、5 赤外LED、5R 右エリア赤外LED、5C 中央エリア赤外LED、5L 左エリア赤外LED、10 ディスプレイ制御装置、11 乗員状態検出装置、12 乗員位置検出部、13 乗員状態検出部、14 LCD制御部、15 白色LED制御部、16 赤外LED制御部、100 処理回路、101 プロセッサ、102 メモリ、103 駆動回路。 1 Crew condition detector integrated display, 2 camera, 2a exposure meter, 3 LCD, 3R right area, 3C center area, 3L left area, 4 white LED, 5 infrared LED, 5R right area infrared LED, 5C center area Infrared LED, 5L left area infrared LED, 10 display control device, 11 occupant state detection device, 12 occupant position detection unit, 13 occupant state detection unit, 14 LCD control unit, 15 white LED control unit, 16 infrared LED control Unit, 100 processing circuit, 101 processor, 102 memory, 103 drive circuit.
Claims (6)
前記カメラの撮像方向を照らす液晶ディスプレイと、
前記液晶ディスプレイの背面に配置された複数の白色発光素子及び複数の赤外発光素子と、
前記カメラにより撮像された画像を用いて車両に搭乗している乗員の位置を検出する乗員位置検出部と、
前記カメラにより撮像された画像を用いて前記車両に搭乗している乗員の状態を検出する乗員状態検出部と、
前記液晶ディスプレイのうち、前記乗員位置検出部により検出された乗員の位置に該当するエリアの透過率を制御する液晶ディスプレイ制御部と、
前記複数の赤外発光素子のうち、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの赤外発光素子を発光させる赤外発光素子制御部と、
前記液晶ディスプレイ制御部の制御により通常描画に比べて透過率が変化している間は前記複数の白色発光素子を消灯させる白色発光素子制御部とを備える乗員状態検出装置一体型ディスプレイ。 A camera that has a function to capture the infrared region,
A liquid crystal display that illuminates the image pickup direction of the camera,
A plurality of white light emitting elements and a plurality of infrared light emitting elements arranged on the back surface of the liquid crystal display,
An occupant position detection unit that detects the position of an occupant in a vehicle using an image captured by the camera, and a occupant position detection unit.
A occupant state detection unit that detects the state of the occupant on the vehicle using the image captured by the camera, and a occupant state detection unit.
Among the liquid crystal displays, the liquid crystal display control unit that controls the transmittance of the area corresponding to the position of the occupant detected by the occupant position detection unit, and the liquid crystal display control unit.
Among the plurality of infrared light emitting elements, an infrared light emitting element control unit that emits light from the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
A occupant state detection device integrated display including a white light emitting element control unit that turns off the plurality of white light emitting elements while the transmittance is changed by the control of the liquid crystal display control unit as compared with normal drawing .
前記白色発光素子制御部は、前記複数の白色発光素子すべてを、前記通常描画中に発光させ前記透過率制御描画中に消灯させ、
前記赤外発光素子制御部は、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの前記赤外発光素子を連続発光させることを特徴とする請求項1記載の乗員状態検出装置一体型ディスプレイ。 The liquid crystal display control unit alternately performs normal drawing and transmittance control drawing with controlled transmittance on the liquid crystal display in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
The white light emitting element control unit causes all of the plurality of white light emitting elements to emit light during the normal drawing and is turned off during the transmittance control drawing.
The occupant state detection device according to claim 1, wherein the infrared light emitting element control unit continuously emits light from the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detecting unit. Integrated display.
前記白色発光素子制御部は、前記複数の白色発光素子すべてを、前記通常描画中に発光させ前記透過率制御描画中に消灯させ、
前記赤外発光素子制御部は、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの前記赤外発光素子を、前記通常描画中に消灯させ前記透過率制御描画中に発光させることを特徴とする請求項1記載の乗員状態検出装置一体型ディスプレイ。 The liquid crystal display control unit alternately performs normal drawing and transmittance control drawing with controlled transmittance on the liquid crystal display in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
The white light emitting element control unit causes all of the plurality of white light emitting elements to emit light during the normal drawing and is turned off during the transmittance control drawing.
The infrared light emitting element control unit turns off the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detection unit during the normal drawing and emits light during the transmittance control drawing. The occupant state detection device integrated display according to claim 1.
前記カメラにより撮像された画像を用いて車両に搭乗している乗員の位置を検出する乗員位置検出部と、
前記カメラにより撮像された画像を用いて前記車両に搭乗している乗員の状態を検出する乗員状態検出部と、
前記液晶ディスプレイのうち、前記乗員位置検出部により検出された乗員の位置に該当するエリアの透過率を制御する液晶ディスプレイ制御部と、
前記複数の赤外発光素子のうち、前記乗員位置検出部により検出された乗員の位置に該当する前記エリアの赤外発光素子を発光させる赤外発光素子制御部と、
前記液晶ディスプレイ制御部の制御により通常描画に比べて透過率が変化している間は前記複数の白色発光素子を消灯させる白色発光素子制御部とを備えることを特徴とするディスプレイ制御装置。 Crew state detection including a camera having a function of imaging an infrared region, a liquid crystal display that illuminates the imaging direction of the camera, and a plurality of white light emitting elements and a plurality of infrared light emitting elements arranged on the back surface of the liquid crystal display. A display control device that controls the operation of a device-integrated display.
An occupant position detection unit that detects the position of an occupant in a vehicle using an image captured by the camera, and a occupant position detection unit.
A occupant state detection unit that detects the state of the occupant on the vehicle using the image captured by the camera, and a occupant state detection unit.
Among the liquid crystal displays, the liquid crystal display control unit that controls the transmittance of the area corresponding to the position of the occupant detected by the occupant position detection unit, and the liquid crystal display control unit.
Among the plurality of infrared light emitting elements, an infrared light emitting element control unit that emits light from the infrared light emitting element in the area corresponding to the position of the occupant detected by the occupant position detecting unit.
A display control device including a white light emitting element control unit that turns off the plurality of white light emitting elements while the transmittance is changed as compared with normal drawing by the control of the liquid crystal display control unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018170492A JP7101574B2 (en) | 2018-09-12 | 2018-09-12 | Crew condition detection device integrated display and display control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018170492A JP7101574B2 (en) | 2018-09-12 | 2018-09-12 | Crew condition detection device integrated display and display control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020040565A JP2020040565A (en) | 2020-03-19 |
JP7101574B2 true JP7101574B2 (en) | 2022-07-15 |
Family
ID=69797396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018170492A Active JP7101574B2 (en) | 2018-09-12 | 2018-09-12 | Crew condition detection device integrated display and display control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7101574B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114392379A (en) * | 2021-12-10 | 2022-04-26 | 中国第一汽车股份有限公司 | Vehicle disinfection method and system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009200718A (en) | 2008-02-20 | 2009-09-03 | Toyota Motor Corp | Imaging device |
JP2014031140A (en) | 2012-08-06 | 2014-02-20 | Alpine Electronics Inc | Display device |
JP2014188322A (en) | 2013-03-28 | 2014-10-06 | Panasonic Corp | Visual line detection device, visual line detection method and program |
JP2016032257A (en) | 2014-07-30 | 2016-03-07 | 株式会社デンソー | Driver monitoring device |
US20160185354A1 (en) | 2014-12-30 | 2016-06-30 | Tk Holdings, Inc. | Occupant monitoring systems and methods |
JP2018109686A (en) | 2016-12-28 | 2018-07-12 | 京セラ株式会社 | Liquid crystal display device |
-
2018
- 2018-09-12 JP JP2018170492A patent/JP7101574B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009200718A (en) | 2008-02-20 | 2009-09-03 | Toyota Motor Corp | Imaging device |
JP2014031140A (en) | 2012-08-06 | 2014-02-20 | Alpine Electronics Inc | Display device |
JP2014188322A (en) | 2013-03-28 | 2014-10-06 | Panasonic Corp | Visual line detection device, visual line detection method and program |
JP2016032257A (en) | 2014-07-30 | 2016-03-07 | 株式会社デンソー | Driver monitoring device |
US20160185354A1 (en) | 2014-12-30 | 2016-06-30 | Tk Holdings, Inc. | Occupant monitoring systems and methods |
JP2018109686A (en) | 2016-12-28 | 2018-07-12 | 京セラ株式会社 | Liquid crystal display device |
Also Published As
Publication number | Publication date |
---|---|
JP2020040565A (en) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5056831B2 (en) | Head-up display device | |
EP3562708B1 (en) | Rear vision system with eye-tracking | |
US10922568B2 (en) | Driver monitoring apparatus and method for controlling illuminator thereof | |
US20190096359A1 (en) | Display control device, display device, in-vehicle display system, and display control method | |
WO2016039256A1 (en) | Display function-equipped mirror device and display switching method | |
JP6433383B2 (en) | Floodlight device | |
JP5998863B2 (en) | Gaze detection device and gaze detection method | |
JP2010032560A (en) | Display device for vehicle | |
JP2017105431A (en) | Imaging device for vehicle, and imaging system for vehicle | |
JP2007290411A (en) | Control device for vehicle | |
JP7101574B2 (en) | Crew condition detection device integrated display and display control device | |
JP2013119268A (en) | Vehicular display system | |
JP6229769B2 (en) | Mirror device with display function and display switching method | |
US20230019596A1 (en) | Imaging and display system | |
JP7081458B2 (en) | Display device for vehicles | |
US11178318B2 (en) | Imaging device and vehicular display device | |
JP2019001293A (en) | On-vehicle display device | |
JP2009096323A (en) | Camera illumination control device | |
JP2011188218A (en) | Display device | |
JP2017028349A (en) | Video processing device, operation support display system and video processing method | |
WO2020129146A1 (en) | Display control device and display control method | |
JP7404128B2 (en) | heads up display device | |
JP7489944B2 (en) | Light emission intensity adjustment device, light emission intensity adjustment program, and passenger monitoring system | |
JP7568694B2 (en) | Vehicle display device | |
WO2014061175A1 (en) | State monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210105 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220705 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7101574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |