JP2024030764A - 車両用表示装置 - Google Patents

Abstract

【課題】表示する虚像の明るさを精度よく調整することができる車両用表示装置を提供する。【解決手段】車両用表示装置１は、瞳孔検出部１０により検出された瞳孔Ｅの位置に基づいて、当該瞳孔Ｅの移動速度Ｍを算出する移動速度算出部１１を備える。瞳孔径算出部１２は、瞳孔Ｅの移動速度Ｍが閾値以下の場合、今回の瞳孔Ｅに基づいて今回の瞳孔径を算出し、算出した当該今回の瞳孔径を明るさ調整部１５に出力する、一方、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、前回算出した瞳孔径を今回の瞳孔径として明るさ調整部１５に出力する。【選択図】図２

Description

本発明は、車両用表示装置に関する。

自動車等の車両に搭載されるヘッドアップディスプレイ（ＨＵＤ）装置では、運転者の前方に表示される虚像の明るさに対して感じ方に個人差があることから、例えば、照度センサと運転者の瞳孔の瞳孔径を利用し、虚像の明るさを調整するものがある。

ところで、運転者の瞳孔位置を検出する方法として、明瞳孔画像と暗瞳孔画像との差分画像に基づき瞳孔位置を特定するものがある（例えば、特許文献１参照）。

特開２０１９－２８６４０号公報

ところで、車両の悪路走行などにより運転者が揺れると、当該運転者の瞳孔を正しく検出できず、瞳孔径を利用して虚像の明るさを精度よく調整し難いおそれがあり、この点で改善の余地がある。

本発明は、表示する虚像の明るさを精度よく調整することができる車両用表示装置を提供することを目的とする。

上記目的を達成するために、本発明に係る車両用表示装置は、表示画像を車両の被投影部材に投影し、前記被投影部材に投影された前記表示画像に対応する虚像を、前記車両の運転者に視認させる画像表示手段と、前記運転者の顔を含む顔画像を取得する撮像手段と、前記撮像手段により取得された前記顔画像に基づいて前記運転者の瞳孔を検出する瞳孔検出手段と、前記瞳孔検出手段により検出された前記瞳孔の位置に基づいて、当該瞳孔の移動速度を算出する移動速度算出手段と、前記瞳孔検出手段により検出された前記瞳孔に基づいて、当該瞳孔の瞳孔径を算出する瞳孔径算出手段と、少なくとも前記瞳孔径に基づいて前記虚像の明るさを調整する調整手段と、を備え、前記瞳孔径算出手段は、前記移動速度算出手段により算出された前記移動速度と閾値との比較結果に基づいて、前記瞳孔径を前記調整手段に出力し、前記移動速度が前記閾値以下の場合、前記瞳孔検出手段によって検出された今回の前記瞳孔に基づいて今回の前記瞳孔径を算出し、算出した当該今回の前記瞳孔径を前記調整手段に出力し、前記移動速度が前記閾値を越えた場合、前回算出した前記瞳孔径を今回の前記瞳孔径として前記調整手段に出力する、ことを特徴とする。

本発明に係る車両用表示装置によれば、表示する虚像の明るさを精度よく調整することができる、という効果を奏する。

図１は、実施形態に係る車両用表示装置の概略構成を示す模式図である。 図２は、実施形態に係る車両用表示装置の概略構成を示すブロック図である。 図３は、実施形態に係る車両用表示装置における虚像の明るさ調整の流れを示すフローチャートである。

以下に、本発明に係る車両用表示装置の実施形態について図面を参照しつつ詳細に説明する。なお、下記実施形態により本発明が限定されるものではない。すなわち、下記実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれ、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

［実施形態］
本実施形態に係る車両用表示装置１は、図１に示すように、例えば、自動車等の車両１００に搭載されるヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）である。車両用表示装置１は、表示デバイス６に表示される表示画像を、反射ミラー５を介して被投影部材であるウインドシールドＷに投影することで、車両１００の運転者Ｄに虚像Ｓとして視認させるものである。車両用表示装置１は、例えば、運転者Ｄ前方の実風景における車両や歩行者、信号機、標識、車線等に虚像Ｓを重畳して表示することができる。車両用表示装置１は、例えば、車室内のインストルメントパネル（不図示）の内側に配置される。

ウインドシールドＷは、入射する光の一部を反射し、他の一部を透過させる半透過性を有することから、車両の前景を透過させながら、車両用表示装置１から投影される表示画像を表示光Ｌとして運転者ＤのアイポイントＥＰに向けて反射する。アイポイントＥＰは、運転者Ｄの視点位置として予め想定される。運転者Ｄは、ウインドシールドＷによって反射された表示画像を虚像Ｓとして認識する。虚像Ｓは、運転者Ｄにとって、ウインドシールドＷよりも前方に認識される。

車両用表示装置１は、照度センサ２と、運転者用カメラ３と、筐体４と、表示デバイス６と、３つの反射ミラー５Ａ～５Ｃとを備える。

照度センサ２は、照度検出手段の一例であり、車両１００の照度を検出するものである。照度センサ２は、例えば車室内のインストルメントパネルやルームミラー（不図示）の裏側等に取付けられ、車両前方、例えば運転者Ｄの前方の照度を検出する。照度センサ２は、筐体４に収容された表示デバイス６に対して、例えば信号線Ｔａにより接続されている。照度センサ２は、当該照度センサ２が検出した照度を、信号線Ｔａを介して表示デバイス６に出力する。

運転者用カメラ３は、撮像手段の一例であり、カメラレンズ（不図示）が運転者Ｄに向けて配置され、運転者Ｄの顔Ｆを含む顔画像を連続して取得するものである。運転者用カメラ３は、例えば車室内のステアリングコラム（不図示）の上部で、かつ運転者Ｄから見てステアリングホイール（不図示）の背後に配置される。運転者用カメラ３は、例えば運転者Ｄの顔Ｆを動画として撮像し、撮像した動画から得られる静止画（フレーム画）を顔画像として取得することができる。運転者用カメラ３は、表示デバイス６に対して、例えば信号線Ｔｂにより接続されている。運転者用カメラ３は、取得した顔画像を、信号線Ｔｂを介して表示デバイス６に出力する。

運転者用カメラ３は、例えば、不図示の光源を有する。光源は、例えば、運転者Ｄに向けて近赤外光を出射するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。光源は、不図示の制御部から入力された点灯信号に応じて点灯（赤外光を発光）し、消灯信号に応じて消灯する。運転者用カメラ３は、光源により運転者Ｄの顔Ｆに照射された光による反射光を受光して運転者Ｄの顔画像を撮像する。運転者用カメラ３は、車両１００のＡＣＣ（アクセサリ）電源またはＩＧ（イグニッション）電源がＯＮされた場合に起動し、これらに電源がＯＦＦされるまで運転者Ｄの顔画像を撮像し続ける。

筐体４は、例えば、合成樹脂等で成形され、車体（不図示）に固定される。筐体４は、図１に示すように、反射ミラー５Ａ～５Ｃ、表示デバイス６を内部に収容し、これらを支持している。

反射ミラー５Ａ～５Ｃは、表示デバイス６からウインドシールドＷまでの表示光Ｌの光路上に配置され、表示デバイス６から出射された表示光ＬをウインドシールドＷに向けて反射する。反射ミラー５Ａ～５Ｃは、例えば、平面ミラーや凹面ミラー等で構成される。

表示デバイス６は、画像表示手段の一例であり、車両１００の運転者Ｄに虚像Ｓとして視認させる表示画像を表示光Ｌとして出射するものである。表示デバイス６は、例えば、背面側から前面側へと光が透過する光透過型の表示器である。光透過型の表示器としては、例えばＴＦＴ（Thin Film Transistor）液晶表示器が用いられる。本実施形態の表示デバイス６は、図２に示すように、瞳孔径出力部７と、画像制御部８とを有する。

瞳孔径出力部７は、運転者用カメラ３から入力された顔画像に基づいて瞳孔Ｅを検出し、検出した瞳孔Ｅの瞳孔径を算出して画像制御部８に出力するものである。また、瞳孔径出力部７は、例えば、公知の画像処理を用いて１フレームの顔画像から運転者Ｄの瞳孔Ｅの粗探索を行い、その結果に基づいて瞳孔Ｅの位置を検出する。また、瞳孔径出力部７は、複数フレームにわたる顔画像の瞳孔Ｅの位置から単位時間当たりの瞳孔Ｅの移動速度Ｍを算出する。瞳孔径出力部７は、車両用表示装置１において、装置を構成するコンピュータ（例えばマイクロコンピュータ）がプログラムを実行することにより、各種処理が実現される。各種処理には、公知の画像処理、瞳孔Ｅの位置検出処理、瞳孔Ｅの移動速度Ｍの算出処理等が含まれる。

瞳孔径出力部７は、瞳孔検出部１０と、移動速度算出部１１と、瞳孔径算出部１２とを有する。

瞳孔検出部１０は、瞳孔検出手段の一例であり、運転者用カメラ３により取得された顔画像に基づいて運転者Ｄの瞳孔Ｅを検出するものである。瞳孔検出部１０は、例えば、公知の画像処理を用いて１フレームの顔画像から運転者Ｄの瞳孔Ｅの粗探索を行い、その結果に基づいて瞳孔Ｅの位置を検出する。公知の画像処理には、例えば、Viola-Jones法、眼球３Ｄモデルを用いるモデルベース手法、テンプレートマッチング手法、パーティクル手法等が含まれる。

移動速度算出部１１は、移動速度検出手段の一例であり、瞳孔検出部１０により検出された瞳孔Ｅの位置に基づいて、当該瞳孔Ｅの移動速度Ｍを算出するものである。

瞳孔径算出部１２は、瞳孔径算出手段の一例であり、瞳孔検出部１０により検出された瞳孔Ｅに基づいて、当該瞳孔Ｅの瞳孔径を算出するものである。また、瞳孔径算出部１２は、移動速度算出部１１により算出された瞳孔Ｅの移動速度Ｍと閾値との比較結果に基づいて、瞳孔径を明るさ調整部１５に出力する。

閾値は、例えば車両１００が悪路を走行した場合における瞳孔検出率（瞳孔Ｅの位置が正しく検出された確率）に基づいて設定されたものである（例えば、特開２０２０－８７１６６号公報参照）。この瞳孔検出率は、例えば、車両１００の悪路走行時における被験者３名を、下記撮影環境で撮影して得られた顔画像に基づいて算出される。
＜撮影環境＞
センササイズ：ＶＧＡ（６４０×４８０）
フレームレート：３０［ｆｐｓ］（０．０３３３［ｓｅｃ］）
焦点距離：６．０［ｍｍ］（水平画角：５０°）
撮像水平範囲：約７４０［ｍｍ］（０．７４［ｍ］）
１ピクセルあたり：１．１５６［ｍｍ］（０．００１１５６［ｍ］）

瞳孔位置の移動量が１フレーム当たり６ピクセル（Ｐｉｘｅｌ）の場合、０．００１１５６×６＝０．００６９３７［ｍ］となり、瞳孔検出率が低下する。瞳孔位置の１フレーム当たりの移動量６ピクセルは、瞳孔Ｅの移動速度Ｍ＝０．００６９３７／０．０３３３＝０．２０８３［ｍ／ｓ］に相当する。そこで、瞳孔検出率が低下したか否かを判定する基準として、瞳孔Ｅの移動速度の閾値を０．２［ｍ／ｓ］としている。

瞳孔径算出部１２は、移動速度算出部１１により算出された瞳孔Ｅの移動速度Ｍと閾値とを比較し、瞳孔Ｅの移動速度Ｍが閾値以下の場合、瞳孔検出部１０によって検出された今回の瞳孔Ｅに基づいて今回の瞳孔径を算出し、算出した当該今回の瞳孔径を明るさ調整部１５に出力する。出力された瞳孔径の値は、瞳孔径出力部７に設けられた不揮発性メモリ等のアドレスに日時情報と共に保存される。

一方、瞳孔径算出部１２は、移動速度算出部１１により算出された瞳孔Ｅの移動速度Ｍと閾値とを比較し、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、前回算出した瞳孔径を今回の瞳孔径として明るさ調整部１５に出力する。つまり、瞳孔径出力部７は、瞳孔Ｅの移動速度Ｍと閾値とを比較した結果、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、瞳孔径算出部１２により運転者Ｄの瞳孔Ｅの瞳孔径を算出させることなく、前回算出して不揮発性メモリに保存されていた瞳孔径を、例えば日時情報を参照して読み出して明るさ調整部１５に出力する。

画像制御部８は、表示デバイス６に表示する表示画像の表示制御を行うものである。画像制御部８は、明るさ調整部１５を有する。

明るさ調整部１５は、照度センサ２により検出結果、及び、運転者Ｄの瞳孔Ｅの瞳孔径に基づいて虚像Ｓの明るさ（輝度）を調整するものである。明るさ調整部１５は、運転者Ｄの瞳孔Ｅの瞳孔径が一定の場合、照度センサ２により検出された照度が大きいときは、虚像Ｓの輝度を明るくなるように調整し、照度が小さいときは、虚像Ｓの輝度を暗くなるように調整する。一方、明るさ調整部１５は、照度センサ２により検出された照度が一定の場合、運転者Ｄの瞳孔Ｅの瞳孔径が大きいときは、虚像Ｓの輝度の明るさを暗くし、瞳孔径が小さいときは、虚像Ｓの輝度を明るくする。

次に、車両用表示装置１における虚像Ｓの明るさ調整制御の流れについて図３に示すフローチャートを参照して説明する。車両用表示装置１は、車両１００のＡＣＣ（アクセサリ）電源またはＩＧ（イグニッション）電源がＯＮされた場合に起動し、これらの電源がＯＦＦされるまで以下に説明する処理を繰り返す。

ステップＳ１では、運転者用カメラ３は、顔画像を取得して、瞳孔径出力部７に出力する。

次に、ステップＳ２では、瞳孔検出部１０は、運転者用カメラ３から入力された顔画像に基づいて運転者Ｄの瞳孔Ｅを検出する。

次に、ステップＳ３では、移動速度算出部１１は、瞳孔検出部１０により検出された運転者Ｄの瞳孔Ｅの位置に基づいて、瞳孔Ｅの移動速度を算出する。

次に、ステップＳ４では、瞳孔径算出部１２は、不揮発性メモリから閾値（例えば、０．２［ｍ／ｓ］）を読み出して、移動速度算出部１１により算出された瞳孔Ｅの移動速度と当該閾値とを比較する。

次に、ステップＳ５では、瞳孔径算出部１２は、瞳孔Ｅの移動速度Ｍと閾値とを比較し、瞳孔Ｅの移動速度Ｍが閾値を越えたか否かを判定する。この判定の結果、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、ステップＳ８へ進む。一方、瞳孔Ｅの移動速度Ｍが閾値を越えていない場合、すなわち、瞳孔Ｅの移動速度Ｍが閾値以下の場合は、ステップＳ６へ進む。

次に、ステップＳ６では、瞳孔径算出部１２は、ステップＳ２で瞳孔検出部１０により検出された瞳孔Ｅに基づいて当該瞳孔Ｅの瞳孔径を算出し、算出した瞳孔径を不揮発性メモリに一時保存する。

次に、ステップＳ７では、瞳孔径算出部１２は、ステップＳ６で算出した今回の瞳孔径を明るさ調整部１５に出力して、ステップＳ１０へ進む。

一方、ステップＳ８では、瞳孔径算出部１２は、不揮発性メモリに保存していた前回の瞳孔径を読み出す。

次に、ステップＳ９では、瞳孔径算出部１２は、読みだした瞳孔径を明るさ調整部１５に出力して、ステップＳ１０へ進む。

ステップＳ１０では、瞳孔径出力部７は、本処理を終了するか否かを判定する。本処理を終了しない場合は、ステップＳ１に戻る。

上記処理により、明るさ調整部１５は、瞳孔Ｅの移動速度Ｍが閾値以下の場合、今回の瞳孔Ｅに基づいて算出された今回の瞳孔径を用いて、虚像Ｓの明るさ調整を行う。一方、明るさ調整部１５は、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、今回の瞳孔Ｅに基づく今回の瞳孔径を用いることなく、前回の瞳孔径を用いて虚像Ｓの明るさ調整を行う。これにより、車両用表示装置１は、瞳孔Ｅの移動速度Ｍが閾値を越えて、瞳孔Ｅを正しく検出できていないと推定される場合には、移動速度Ｍが閾値を越えていないときの瞳孔径を用いて虚像Ｓの明るさ調整を行うことが可能となる。

以上説明したように、本実施形態に係る車両用表示装置１は、瞳孔検出部１０により検出された瞳孔Ｅの位置に基づいて、当該瞳孔Ｅの移動速度Ｍを算出する移動速度算出部１１を備える。瞳孔径算出部１２は、瞳孔Ｅの移動速度Ｍが閾値以下の場合、今回の瞳孔Ｅに基づいて今回の瞳孔径を算出し、算出した当該今回の瞳孔径を明るさ調整部１５に出力する、一方、瞳孔Ｅの移動速度Ｍが閾値を越えた場合、前回算出した瞳孔径を今回の瞳孔径として明るさ調整部１５に出力する。

上記構成により、車両用表示装置１は、車両１００の悪路走行などにより運転者Ｄが揺れて当該運転者Ｄの瞳孔Ｅを正しく検出できないおそれがある場合、前回算出した瞳孔径を今回の瞳孔径として使用して虚像Ｓの明るさ調整が行われる。この結果、表示する虚像Ｓの明るさを精度よく調整することができ、運転者Ｄの虚像Ｓの視認性を向上させることができる。

また、本実施形態に係る車両用表示装置１は、明るさ調整部１５が、照度センサ２により検出された照度、及び、瞳孔径出力部７により出力された瞳孔径に基づいて、虚像Ｓの明るさを調整する。これにより、車両用表示装置１は、車両環境の明るさを考慮して虚像Ｓの明るさ調整を行うことができ、照度を検出しない場合と比べて、運転者Ｄの虚像Ｓの視認性を向上させることができる。

なお、上記実施形態では、明るさ調整部１５は、照度センサ２により検出された照度、及び、瞳孔径出力部７から出力された瞳孔径という２つのパラメータに基づいて虚像Ｓの明るさを調整しているが、これに限定されるものではない。例えば、明るさ調整部１５は、瞳孔径出力部７から出力された瞳孔径のみに基づいて虚像Ｓの明るさを調整してもよい。または、明るさ調整部１５は、必要に応じて照度センサ２により検出された照度のみに基づいて虚像Ｓの明るさを調整してもよい。

また、上記実施形態では、瞳孔径出力部７は、移動速度Ｍが閾値を越えた場合、瞳孔Ｅの瞳孔径を算出することなく、前回算出して不揮発性メモリに保存されていた瞳孔径を明るさ調整部１５に出力するが、これに限定されるものではない。例えば、瞳孔径出力部７は、移動速度Ｍが閾値を越えた場合、照度センサ２の検出結果に基づくマップ制御を行い、予め用意された瞳孔径を出力する構成であってもよい。この場合、瞳孔径出力部７は、各照度に対する運転者Ｄの瞳孔Ｅの瞳孔径をマップとして保持し、移動速度Ｍが閾値を越えた場合には、検出した照度に対応する瞳孔径をマップから読み出して出力する。

また、上記実施形態では、車両用表示装置１は、上述したように、車両１００のＡＣＣ電源等がＯＮされたときに起動し、これらの電源がＯＦＦされるまで図３に示す処理を繰り返し実行する。瞳孔径算出部１２は、移動速度Ｍが閾値を越えた場合、前回算出した瞳孔径を今回の瞳孔径として明るさ調整部１５に出力しているが、初期状態では、移動速度Ｍが閾値を越えたとしても、前回算出した瞳孔径が存在しない場合がある。この場合、例えば、瞳孔径算出部１２は、瞳孔径が適正に算出されるまで予め設定された固定値を使う構成であってもよい。または、明るさ調整部１５が、瞳孔径が適正に算出されるまで虚像Ｓの明るさ調整を行わないように構成してもよい。

また、上記実施形態では、照度センサ２は、車両用表示装置１専用に設けられたものであるが、これに限定されるものではなく、車両１００の前照灯の自動点灯用に設けられたものを流用してもよい。

また、上記実施形態では、運転者用カメラ３は、ステアリングコラムに設置されているが、これに限定されず、インストルメントパネル、ダッシュボード、ルームミラー等に設置されていてもよい。

また、上記実施形態では、表示デバイス６は、３つの反射ミラー５Ａ～５Ｃを有するが、この数に限定されるものではない。

また、上記実施形態では、車両用表示装置１は、自動車等の車両１００に適用されているが、これに限定されず、例えば車両以外の船舶や航空機等に適用してもよい。

１ 車両用表示装置
３ 運転者用カメラ（撮像手段）
６ 表示デバイス（画像表示手段）
７ 瞳孔径出力部
１０ 瞳孔検出部（瞳孔検出手段）
１１ 移動速度算出部（移動速度算出手段）
１２ 瞳孔径算出部（瞳孔径算出部）
１５ 明るさ調整部（調整手段）
Ｄ 運転者
Ｅ 瞳孔
Ｆ 顔
Ｍ 移動速度
Ｓ 虚像
Ｗ ウインドシールド（被投影部材）

Claims (2)

1. 表示画像を車両の被投影部材に投影し、前記被投影部材に投影された前記表示画像に対応する虚像を、前記車両の運転者に視認させる画像表示手段と、
   前記運転者の顔を含む顔画像を取得する撮像手段と、
   前記撮像手段により取得された前記顔画像に基づいて前記運転者の瞳孔を検出する瞳孔検出手段と、
   前記瞳孔検出手段により検出された前記瞳孔の位置に基づいて、当該瞳孔の移動速度を算出する移動速度算出手段と、
   前記瞳孔検出手段により検出された前記瞳孔に基づいて、当該瞳孔の瞳孔径を算出する瞳孔径算出手段と、
   少なくとも前記瞳孔径に基づいて前記虚像の明るさを調整する調整手段と、を備え、
   前記瞳孔径算出手段は、
   前記移動速度算出手段により算出された前記移動速度と閾値との比較結果に基づいて、前記瞳孔径を前記調整手段に出力し、
   前記移動速度が前記閾値以下の場合、前記瞳孔検出手段によって検出された今回の前記瞳孔に基づいて今回の前記瞳孔径を算出し、算出した当該今回の前記瞳孔径を前記調整手段に出力し、
   前記移動速度が前記閾値を越えた場合、前回算出した前記瞳孔径を今回の前記瞳孔径として前記調整手段に出力する、
   ことを特徴とする車両用表示装置。
2. 前記車両の照度を検出する照度検出手段をさらに備え、
   前記調整手段は、
   前記照度検出手段により検出された照度、及び、前記瞳孔径に基づいて、前記虚像の明るさを調整する、
   請求項１に記載の車両用表示装置。

Images