JP7441628B2 - 車両のヘッドアップディスプレイシステム - Google Patents

Description

本発明は、車両のヘッドアップディスプレイシステムに関する。

自動車では、乗員による運転を支援するための技術革新の研究が盛んになされている。
たとえば、自動車のフロントガラスなどに投影像を投影するヘッドアップディスプレイ装置を開示する。ヘッドアップディスプレイ装置は、たとえば自動車の速度情報などを、乗員の前のフロントガラスなどに投影する。これにより、前方に注意を払っている乗員は、その視線を前方から外れるように大きく動かすことなく、自動車の速度などを視認できる。
そして、このような車両のヘッドアップディスプレイ装置では、さらに、自動車の前方の社外の移動体などの物体に対して、たとえば注意喚起マークを重ねて投影することが考えられる。これにより、乗員に、注意喚起マークが重ねられている物体について注意を向けさせることができる。

しかしながら、注意喚起マークが車外の物体と重なるように投影されることにより、乗員が違和感を得たり、気分が悪くなったりすることがある。
たとえば、注意喚起マークが投影されると、乗員は、注意喚起マークに焦点を合わせようとする。しかしながら、注意喚起マークは、実際には車外の物体とは距離感が異なるフロントガラスなどに投影されるものであるため、注意喚起マークが見やすくなる視線の状態と、注意喚起マークにより注意を喚起したい車外の物体が見やすくなる視線の状態とが異なる。このため、乗員は、一方に視線を合わせると他方が見え難くなる。乗員は、そのような状況において双方に視線を合わせようとしてしまう。乗員の意識は、これらの双方に視線を合わせることに向いてしまう。それでもうまく合わないときには、視線を頻繁に動かしたことなどにより、乗員は気分が悪くなる。

特開２０１７－２０７５５１号公報 特開２０１９－０２６１９８号公報

このため、車両のヘッドアップディスプレイ装置では、注意喚起マークを、フロントガラスなどの位置に平面的に投影するのではなく、たとえば視差などを利用して三次元の投影像として投影することが考えられる（特許文献１、２）。
しかしながら、このように注意喚起マークを、三次元の投影像として車外の物体に重ねて投影したり近くに投影したりしたとしても、乗員から見たそれらの距離感にずれが残ると、乗員は、やはり違和感を得て、それらの間で頻繁に動かすようになる。
特許文献１、２では、乗員の体格や乗車姿勢に応じて画像を投影する位置を上下左右で調整する。しかしながら、このように画像の投影位置を上下左右に調整したとしても、三次元の投影像と車外の物体との距離感の違いを好適に解消することはできない。

このように車両のヘッドアップディスプレイ装置には、改善が求められる。

本発明の一実施形態に係る車両のヘッドアップディスプレイシステムは、車両の乗員の前に三次元用画像を投影する投影デバイスを有し、前記乗員の前方の車外の物体についての投影像を投影するヘッドアップディスプレイ装置と、前記車両の前記乗員を撮像する撮像デバイスを有し、前記撮像デバイスの撮像画像に基づいて乗員の視覚についての個人データを生成する乗員監視装置と、を有し、前記乗員監視装置は、前記車両が安全な状態にある際に、前記撮像デバイスにより前記乗員の顔または両目を撮像し、前記乗員の両目を撮像している前記撮像画像における両目の撮像位置に基づいて、前記乗員の右目と左目との距離である瞳孔間距離を判断して、前記瞳孔間距離の情報を生成する、ことにより、前記個人データとして、前記車両における前記乗員の顔の位置情報または両目の位置情報とともに、前記瞳孔間距離の情報を生成し、前記ヘッドアップディスプレイ装置は、前記三次元用画像として、前記投影像を含む右目画像と、前記投影像を含む左目画像とを切り換えて投影するものであり、前記乗員監視装置により生成される前記個人データである前記瞳孔間距離に基づいて、前記右目画像における前記投影像と前記左目画像における前記投影像との位置の差または大きさの差を調整することにより、各前記投影像が車外の物体への右目または左目の視線上に重なるように、前記右目画像における前記投影像の位置および前記左目画像における前記投影像の位置を調整し、前記車両における前記乗員の顔の位置情報または両目の位置情報に基づいて前記三次元用画像における前記投影像を調整した三次元用画像を前記投影デバイスから投影する。

好適には、前記乗員監視装置は、前記撮像デバイスの前記撮像画像に基づいて前記乗員の視覚についての前記個人データとして、前記撮像デバイスによる前記乗員の顔の前記撮像画像に基づく前記乗員の利き目の情報を生成し、前記ヘッドアップディスプレイ装置は、前記三次元用画像としての前記右目画像と前記左目画像との中の、利き目側の画像における前記投影像が、他方の画像における前記投影像と比べて視認し易くなるように、輝度、色、鮮明度を調整する、とよい。

好適には、前記乗員監視装置は、前記撮像デバイスの前記撮像画像に基づいて前記乗員の視覚についての前記個人データとして、前記撮像デバイスによる前記乗員の顔の前記撮像画像に基づく前記乗員の利き目の情報を生成し、前記ヘッドアップディスプレイ装置は、前記三次元用画像としての前記右目画像と前記左目画像との中の、利き目側の画像における前記投影像が、車外の物体と利き目との間の視線を基準とした位置となるように、前記投影像の位置を調整する、とよい。

好適には、前記乗員監視装置は、前記車両が安全な状態にある際に、前記ヘッドアップディスプレイ装置に、利き目判定用の前記投影像を投影させ、利き目判定用の前記投影像を投影している状態での前記乗員の顔または両目を撮像し、前記撮像画像中の両目の状態に基づいて、前記乗員の利き目を判断して、前記乗員の利き目の情報を生成する、とよい。

好適には、前記乗員監視装置は、前記撮像デバイスの前記撮像画像に基づいて前記乗員の視覚についての前記個人データとして、前記撮像デバイスによる前記乗員の両目の前記撮像画像に基づく前記乗員の両目の視力または屈折度の情報を生成し、前記ヘッドアップディスプレイ装置は、前記乗員の両目の視力または屈折度の情報に基づいて、前記三次元用画像としての右目画像における前記投影像と左目画像における前記投影像との位置の差または大きさの差を調整する、とよい。
請求項１から４のいずれか一項記載の、車両のヘッドアップディスプレイシステム。

好適には、前記ヘッドアップディスプレイ装置は、前記車両が安全な状態にある際に、前記ヘッドアップディスプレイ装置に、視力判定用の投影像を投影させ、前記視力判定用の投影像を投影している状態での前記乗員の顔または両目を撮像し、前記撮像画像中の両目の状態に基づいて、前記乗員の両目の視力または屈折度を判断して、前記乗員の両目の視力または屈折度の情報を生成する、とよい。

好適には、前記ヘッドアップディスプレイ装置は、前記視力判定用の投影像をぼけさせてから戻すように変化させて投影し、前記ヘッドアップディスプレイ装置は、ぼけから戻った前記視力判定用の投影像を投影している状態での前記乗員の顔または両目を撮像する、とよい。

本発明では、乗員監視装置は、ヘッドアップディスプレイ装置のために、車両の乗員を撮像する撮像デバイスの撮像画像に基づいて、乗員の視覚についての個人データを生成する。そして、ヘッドアップディスプレイ装置は、乗員監視装置により生成される乗員の視覚についての個人データを用いて、三次元用画像における投影像を調整し、調整した三次元用画像を投影デバイスから投影する。これにより、本発明では、三次元用画像による投影像と、車外の物体との距離感の違いを解消することが可能になる。乗員の前方の車外の物体についての投影像は、乗員から見て、乗員の前方の車外の物体の近くにまたは重ねて存在しているかのように見えるようになり得る。
乗員は、三次元の投影像と車外の物体との間に距離感の違いがあると違和感を得たり、またはそれらの間で視線を頻繁に動かして気分が悪くなったりすることがあり得るが、本発明では、そのような事態を効果的に抑制し得る。

図１は、本発明の実施形態に係る自動車の走行状態の説明図である。 図２は、図１の自動車における乗員の着差状態の模式的な説明図である。 図３は、図１の自動車における三次元用画像の投影状態の説明図である。 図４は、図３の三次元用画像における投影像としての注意喚起用の枠マークの投影方法、投影サイズ、投影位置の調整方法の説明図である。 図５は、図３の三次元用画像として生成される右目画像と左目画像との説明図である。 図６は、図１の自動車の制御系の模式的な説明図である。 図７は、図６の乗員監視メモリに記録されている個人データの一例の説明図である。 図８は、図６の乗員監視装置における乗員を登録する処理のフローチャートである。 図９は、図６の乗員監視装置による乗員の認識処理のフローチャートである。 図１０は、図６の乗員監視装置による乗員の監視処理のフローチャートである。 図１１は、図６のＨＵＤ装置による三次元用画像の投影処理のフローチャートである。 図１２は、図８のステップＳＴ４の瞳孔間距離情報の生成処理の詳細なフローチャートである。 図１３は、図８のステップＳＴ５の利き目情報の生成処理の詳細なフローチャートである。 図１４は、図８のステップＳＴ６の視力、屈折度情報の生成処理の詳細なフローチャートである。

以下、本発明の実施形態を、図面に基づいて説明する。

図１は、本発明の実施形態に係る自動車１の走行状態の説明図である。
図１の自動車１は、車両の一例である。自動車１は、車体２の中央に、乗員が乗る車室３が設けられる。自動車１に乗ったドライバなどの乗員は、自動車１の走行を操作する。これにより、自動車１は、自動運転または手動運転により車線に沿って走行することができる。自動車１は、乗員による走行についての操作に基づいて走行する場合、運転支援を実行してよい。このような自動車１は、自動運転についての走行と、手動運転による走行との双方を支援する。図１には、対向車線を他の自動車１が走行し、路側帯を歩行者が歩行している。

図２は、図１の自動車１における乗員の着差状態の模式的な説明図である。図２は、図１の自動車１の側面からの透視図である。
図２の自動車１の車室３には、乗員が着座するシート４が設けられる。シート４の前側には、ダッシュボード５が設けられる。ダッシュボード５の上には、フロントガラス６が設けられる。乗員は、シート４に着座した状態で、自動車１の前方を、フロントガラス６を通じて視認できる。乗員は、フロントガラス６を通じて、自車の前方にいる他の自動車１や歩行者を視認できる。

図３は、図１の自動車１における三次元用画像の投影状態の説明図である。
図３の三次元用画像は、自動車１に設けられるヘッドアップディスプレイ装置（ＨＵＤ装置）７０の投影デバイス７１により、フロントガラス６に投影される。
図３の三次元用画像は、視認可能な車外前方の移動体などの物体それぞれに対して、注意喚起用の枠マーク９０を重ねて表示するものである。図１の走行状態である場合、三次元用画像は、他の自動車１に重ねて注意喚起用の枠マーク９０を重ねて投影し、歩行者に重ねて注意喚起用の枠マーク９０を重ねて投影する。
乗員は、たとえば車外が全体的に暗い場合であっても、注意喚起用の枠マーク９０を重ねて投影されていることにより、他の自動車１や歩行者を容易に視認できる。乗員は、注意喚起用の枠マーク９０が重ねられている物体について注意を向けることができる。

しかしながら、注意喚起用の枠マーク９０が車外の物体と重なるように投影されることにより、乗員が違和感を得たり、気分が悪くなったりすることがある。
たとえば、注意喚起用の枠マーク９０が投影されると、乗員は、注意喚起用の枠マーク９０に焦点を合わせようとする。しかしながら、注意喚起用の枠マーク９０は、実際には車外の物体とは距離感が異なるフロントガラス６に投影されている。このため、乗員から見て、注意喚起用の枠マーク９０が見やすくなる視線の状態と、注意を喚起したい車外の物体が見やすくなる視線の状態とは、異なる状態となる。その結果、乗員は、一方に視線を合わせると他方が見え難くなる。乗員は、そのような状況において双方に視線を合わせようとしてしまう。乗員の意識は、これらの双方に視線を合わせることに向いてしまう。それでもうまく合わないときには、視線を頻繁に動かしたことなどにより、乗員は気分が悪くなる。
このように自動車１のＨＵＤ装置７０には、さらに改善することが求められる。
次に、本実施形態での改善されている、注意喚起用の枠マークなどの投影像の投影方法について説明する。

図４は、図３の三次元用画像における投影像としての注意喚起用の枠マークの投影方法、投影サイズ、投影位置の調整方法の説明図である。
図４では、乗員は、注意喚起用の枠マークが投影されているフロントガラス６を通じて、車外の歩行者を視認する。
この場合、乗員の右目は、フロントガラス６の中央部分を通じて、車外の歩行者を視認する視線となる。乗員の右目により視認させる注意喚起用の枠マーク９３は、フロントガラス６において、右目の視線と交わる中央部分に投影される。
乗員の左目は、フロントガラス６の左側部分を通じて、車外の歩行者を視認する視線となる。乗員の左目により視認させる注意喚起用の枠マーク９４は、フロントガラス６において、左目の視線と交わる左側部分に投影される。
このように調整した投影とすることにより、右目により視認させる注意喚起用の枠マーク９３と、左目により視認させる注意喚起用の枠マーク９４とが投影されることにより、乗員は、注意喚起用の枠マーク９０を、その実体が車外の歩行者を囲うように重なって存在しているかのように視認し易くなる。

図５は、図３の三次元用画像として生成される右目画像９１と左目画像９２との説明図である。
図５の三次元用画像は、右目に視認させる右目画像９１と、左目で視認させる左目画像９２と、を有する。
右目に視認させる右目画像９１は、画像の中央部分に注意喚起用の枠マーク９３の投影像を有する。それ以外の部分は、透明な画像として投影される。
左目に視認させる左目画像９２は、画像の左側部分に注意喚起用の枠マーク９４の投影像を有する。それ以外の部分は、透明な画像として投影される。
ＨＵＤ装置７０の投影デバイス７１は、たとえばこれらの右目画像９１と左目画像９２とを切り換えて交互に投影することにより、フロントガラス６に三次元用画像を投影できる。

図６は、図１の自動車１の制御系１０の模式的な説明図である。図２には、自動車１の制御系１０とともに、その制御系１０と通信する交通情報システム１００が示されている。
自動車１では、ドライバなどの乗員による運転によらない自動運転中や、乗員による手動運転中に、乗員監視装置６０により、乗車した乗員を識別して監視するとよい。
また、自動車１では、ＨＵＤ装置７０により、走行中の自動車１の進行方向前方の社外の移動体などについて、注意喚起用の投影像を投影して、その注意喚起をできるようにするとよい。
これらの技術が有機的に連携することにより、たとえばドライバを特定して、そのドライバに応じた高度な運転支援が実現可能になると考えられる。自動車１の利便性および安全性が高まると期待される。
図６には、自動車１の制御系１０を構成する複数の制御装置が、それぞれに組み込まれる制御ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）により代表して示されている。

図６の自動車１の制御系１０には、具体的には、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３、自動車１の自動運転または手動運転時の運転支援により走行を制御する装置としてのドライブＥＣＵ（自動運転／運転支援ＥＣＵ）１４、運転操作ＥＣＵ１５、検出ＥＣＵ１６、乗員監視装置６０の乗員監視ＥＣＵ１７、ＨＵＤ装置７０のＨＵＤＥＣＵ１８、外通信ＥＣＵ１９、ＵＩＥＣＵ２０、が示されている。これら複数の制御ＥＣＵは、直接的にはケーブル２６に接続され、自動車１で採用されるたとえばＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔ Ｎｅｔｗｏｒｋ）といった車ネットワーク２５により、中継装置としてのセントラルゲートウェイ（ＣＧＷ）２７に接続される。各制御ＥＣＵは、送信元である自身のＩＤと送信先の装置のＩＤとを付加した暗号化データにより、相互に通信することができる。各制御ＥＣＵは、送信先を指定しない暗号化データにより、ブロードキャストのように複数の他の制御ＥＣＵへ同時に送信してよい。また、各制御ＥＣＵは、自身のＩＤが送信先である暗号化データを受信し、自身の制御に使用する。なお、制御ＥＣＵは、自身以外の特定のＩＤが送信先である暗号化データについても受信し、自身の制御に使用してよい。セントラルゲートウェイ２７は、複数のケーブル２６のそれぞれから受信した暗号化データが他のケーブル２６に接続される制御ＥＣＵへのものである場合、受信した暗号化データを他のケーブル２６へ出力する。これにより、図６に示す複数の制御ＥＣＵは、相互に暗号化データを送受できる。

駆動ＥＣＵ１１は、車ネットワーク２５を通じて暗号化データを受信し、自動車１に設けられる不図示のエンジンまたはモータといった駆動源、トランスミッションを制御する。これにより、自動車１は、加速して走行することができる。
操舵ＥＣＵ１２は、車ネットワーク２５を通じて暗号化データを受信し、自動車１に設けられる不図示のステアリング装置を制御する。これにより、自動車１は、進行方向を変えることができる。
制動ＥＣＵ１３は、車ネットワーク２５を通じて暗号化データを受信し、自動車１に設けられる不図示のブレーキ装置を制御する。これにより、走行する自動車１は、減速し、停車できる。また、制動ＥＣＵ１３は、車ネットワーク２５を通じて駆動ＥＣＵ１１と通信して、駆動源の回転を抑制したり、トランスミッションのギア比を変更したりして、走行する自動車１を減速させてもよい。

運転操作ＥＣＵ１５は、自動車１の走行を操作するためのハンドル３１、ブレーキペダル３２、アクセルペダル３３、シフトレバ３４といった操作部材に接続される。運転操作ＥＣＵ１５は、操作された操作部材についての操作情報などを含む暗号データを、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力する。

検出ＥＣＵ１６は、たとえば速度センサ４１、加速度センサ４２、ステレオカメラ４３、ハンズオンセンサ４４、に接続される。速度センサ４１は、自動車１の速度を検出する。加速度センサ４２は、自動車１の加速度を検出する。ステレオカメラ４３は、自動車１の外側の周囲を撮像する。ステレオカメラ４３は、たとえば自動車１の前方、側方、後方などを撮像してよい。ハンズオンセンサ４４は、たとえばハンドル３１に設けられ、ハンドル３１を操作する乗員の手による静電容量や圧力の変化を検出する。検出ＥＣＵ１６は、接続されているセンサの物理量などを、自動車１の走行について自動車１において検出される物理量として取得し、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力する。また、検出ＥＣＵ１６は、ステレオカメラ４３による外の画像を解析して、自動車１の周囲にいる他の移動体の有無を検出し、検出した他の移動体の種類、自車からの相対的な距離および方向についての情報を、車ネットワーク２５を通じてドライブＥＣＵ１４、ＨＵＤＥＣＵ１８などへ出力してよい。

外通信ＥＣＵ１９は、自動車１の外と通信する。外通信ＥＣＵ１９は、たとえば交通情報システム１００の通信中継局１０１と通信してサーバ装置１０２との間で、通信データを送受する。外通信ＥＣＵ１９は、この他にもたとえば、自動車１の近くを走行している他の自動車１１０や歩行者の不図示の携帯端末との間で、たとえばＶ２Ｘ通信により通信データを送受する。外通信ＥＣＵ１９は、これらの通信により、自動車１の目的地までのナビゲーションデータ、交通情報、自動車１の周囲の状況の情報、などを受信すると、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力してよい。

ＵＩＥＣＵ２０には、たとえば表示デバイス５１、操作デバイス５２、に接続される。
操作デバイス５２は、表示デバイス５１の表示画面に重ねられるタッチパネル、複数のキーを有してよい。ＵＩＥＣＵ２０は、表示に関する暗号化データを受信すると、表示デバイス５１に画像を表示させる。ＵＩＥＣＵ２０は、表示デバイス５１の表示に応じた操作デバイス５２の操作に基づいて、たとえばナビゲーションデータなどを生成し、車ネットワーク２５を通じてドライブＥＣＵ１４などへ出力してよい。

ドライブＥＣＵ１４は、自動車１の走行を、自動運転と運転支援との間で切り替えて制御する。ドライブＥＣＵ１４は、車ネットワーク２５を通じて取得する各種の情報に基づいて、自動車１の走行を制御する。たとえば自動運転の場合、ドライブＥＣＵ１４は、ナビゲーションデータにしたがって周囲の安全を確認しながら目的地まで走行するように、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３へ制御情報を出力する。運転支援の場合、ドライブＥＣＵ１４は、操作情報に基づいて、その操作量を周囲の安全などに応じて調整した制御情報を、駆動ＥＣＵ１１、操舵ＥＣＵ１２、制動ＥＣＵ１３へ出力する。

乗員監視ＥＣＵ１７は、内カメラ６１、赤外線ランプ６２、タイマ６３、乗員監視メモリ６４、に接続される。

内カメラ６１は、自動車１の車内を撮像するために車室３に設けられる。内カメラ６１は、ステレオ方式のカメラでもよい。内カメラ６１は、車室３の内面、たとえば図１に示すように乗員の前にあるダッシュボード５の上に設けられる。これにより、内カメラ６１による撮像画像には、自動車１に乗っているドライバなどの乗員が映る。自動車１の車内全体を撮像する場合、内カメラ６１は、広角カメラ、または３６０度カメラとするとよい。内カメラ６１は、所定の周期ごとに、車室３の乗員を繰り返し撮像する。

赤外線ランプ６２は、ドライバなどの乗員へ向かって赤外線を投光する。赤外線ランプ６２の投光周波数は、自然光、外灯に含まれる周波数でもよい。この場合、赤外線ランプ６２は、投光強度、投光パターンなどを調整することにより、自然光と区別できるようにしてよい。赤外線ランプ６２を投光した状態での内カメラ６１の赤外線の画像から、投光していない状態での内カメラ６１の赤外線の画像を減算することにより、赤外線ランプ６２の投光による赤外線の撮像画像を得ることができる。

タイマ６３は、時刻、時間を計測する。

乗員監視メモリ６４は、乗員監視のためのプログラム、設定データ、などを記録する。設定データには、後述する事前登録されている乗員のごとの個人データ８０が含まれる。

乗員監視ＥＣＵ１７は、乗員監視メモリ６４からプログラムを読み込んで実行する。これにより、乗員監視ＥＣＵ１７は、乗員監視装置６０の制御部として機能する。
乗員監視装置６０の制御部としての乗員監視ＥＣＵ１７は、赤外線ランプ６２の投光を制御して、内カメラ６１の撮像画像を取得する。
乗員監視ＥＣＵ１７は、取得した撮像画像に基づいて、自動車１に乗車しているドライバを含む乗員を認識して監視する。
乗員監視ＥＣＵ１７は、認識した乗員の視覚についての個人データ８０などの設定データを生成して、車ネットワーク２５を通じてドライブＥＣＵ１４、ＨＵＤＥＣＵ１８などへ出力してよい。
乗員監視ＥＣＵ１７は、認識した乗員の乗車状態を繰り返し撮像される撮像画像に基づいて監視し、乗員の顔や両目についての車内での位置を判断し、判断した情報を車ネットワーク２５を通じてＨＵＤＥＣＵ１８などへ出力してよい。
乗員監視ＥＣＵ１７は、内カメラ６１がステレオ方式のカメラであっても、それ以外のカメラであっても、車室３におけるカメラの設置位置、向き、画角などに基づいて、自動車１の車室３における乗員の顔や両目についての位置を判断し得る。

図７は、図６の乗員監視メモリ６４に記録されている個人データ８０の一例の説明図である。
図７の個人データ８０は、乗員監視装置６０に登録されている複数の乗員の情報を有する。
図７の各行が、各個人に対応する。
各個人の情報には、その個人に発行されたＩＤ（識別情報）、内カメラ６１により顔などを撮像した登録画像、乗員の視覚についての情報、が含まれる。ここでは、乗員の視覚についての情報として、瞳孔間距離、利き目、両目の視力、両目の屈折度、が記録されている。これらの情報は、登録画像などの撮像画像に基づいて判断したものである。

図６のＨＵＤＥＣＵ１８は、投影デバイス７１、ＨＵＤメモリ７２、に接続される。

投影デバイス７１は、図３に示すように、ダッシュボード５において、フロントガラス６へ向けて設けられる。投影デバイス７１は、図５に示すように右目画像９１と左目画像９２とを切り換えて交互にフロントガラス６へ投影する。これにより、投影デバイス７１は、自動車１の乗員の前のフロントガラス６に三次元用画像を投影する。フロントガラス６には、乗員の前方の車外の物体についての注意喚起用の枠マーク９０が、フロントガラス６を通じて車外の物体を視認する方向の位置に、投影される。なお、投影デバイス７１は、車外の物体の近くで、車外の物体へ向く注意喚起用の矢印マークなどの投影像を、フロントガラス６に三次元用画像として投影してよい。

ＨＵＤメモリ７２は、ヘッドアップディスプレイのためのプログラム、設定データ、などを記録する。設定データには、注意喚起用の枠マーク９０、注意喚起用の矢印マーク、が含まれる。

ＨＵＤＥＣＵ１８は、ＨＵＤメモリ７２からプログラムを読み込んで実行する。これにより、ＨＵＤＥＣＵ１８は、ＨＵＤ装置７０の制御部として機能する。
ＨＵＤ装置７０の制御部としてのＨＵＤＥＣＵ１８は、検出ＥＣＵ１６から自動車１の前方にいる他の移動体の情報を取得すると、その移動体の種類に基づいて、たとえば注意喚起用の枠マーク９０を選択する。
ＨＵＤＥＣＵ１８は、乗員から見て、他の移動体と重なるようにまたは他の移動体の近くにあるように、注意喚起用の枠マークについての右目画像９１での位置および大きさ、および左目画像９２での位置および大きさを判断して決定する。
ＨＵＤＥＣＵ１８は、調整後の注意喚起用の枠マーク９３を含む右目画像９１と、調整後の注意喚起用の枠マーク９４を含む左目画像９２とを生成し、投影デバイス７１へ出力する。
これにより、投影デバイス７１は、右目画像９１の注意喚起用の枠マーク９３と、左目画像９２の注意喚起用の枠マーク９４とを、フロントガラス６に投影する。

このように図６のＨＵＤ装置７０のＨＵＤＥＣＵ１８は、たとえば、車外を撮像するステレオカメラ４３および検出ＥＣＵ１６を有する検出装置と、車内の乗員を撮像する内カメラ６１および乗員監視ＥＣＵ１７を有する乗員監視装置６０とから情報を取得して、それらの情報に基づいて乗員に適した三次元用画像をフロントガラス６に投影する。この場合、自動車１のヘッドアップディスプレイシステムは、少なくとも、検出装置、乗員監視装置６０、ＨＵＤ装置７０により構成されることになる。

図８は、図６の乗員監視装置６０における乗員を登録する処理のフローチャートである。
乗員監視ＥＣＵ１７は、新たな乗員を登録する場合に、図８の処理を繰り返し実行する。

ステップＳＴ１において、乗員監視ＥＣＵ１７は、自動車１が駐停車中であるか否かを判断する。これにより、乗員監視ＥＣＵ１７は、自動車１が安全な状態にあるか否かを判断する。自動車１が駐停車中でない場合、乗員監視ＥＣＵ１７は、図８の処理を終了する。自動車１が駐停車中である場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ２へ進める。

ステップＳＴ２において、乗員監視ＥＣＵ１７は、新たな乗員のための新たなＩＤを発行する。

ステップＳＴ３において、乗員監視ＥＣＵ１７は、新たな乗員についての登録画像とするために、乗員の顔を撮像する。この場合、乗員監視ＥＣＵ１７は、内カメラ６１により、少なくとも乗員の顔を正面から撮像した画像を取得する。乗員監視ＥＣＵ１７は、乗員の顔を正面から撮像した画像とともに、自動車１の前を向いている乗員の横顔を撮像した画像を取得してよい。

ステップＳＴ４において、乗員監視ＥＣＵ１７は、新たな乗員についての右目と左目との距離である瞳孔間距離の情報を生成する。乗員監視ＥＣＵ１７は、たとえば、乗員の顔を正面から撮像した画像において右目の撮像位置と左目の撮像位置とを判断し、それらの撮像距離に基づいて瞳孔間距離の情報を生成する。

ステップＳＴ５において、乗員監視ＥＣＵ１７は、新たな乗員についての利き目の情報を生成する。乗員監視ＥＣＵ１７は、たとえば、ＨＵＤ装置７０の投影デバイス７１に利き目判定用の投影像を投影させ、投影中の撮像画像に基づいて乗員の利き目を判断する。利き目判定用の投影像は、たとえば利き目においては重なって見える前後二本の棒の投影像でよい。

ステップＳＴ６において、乗員監視ＥＣＵ１７は、新たな乗員についての両目の視力および屈折度の情報を生成する。乗員監視ＥＣＵ１７は、たとえば、ＨＵＤ装置７０の投影デバイス７１に視力判定用の投影像を投影させ、投影中の撮像画像に基づいて乗員の両目の視力および屈折度を判断する。

ステップＳＴ７において、乗員監視ＥＣＵ１７は、以上の処理により生成した乗員の視覚についての個人データ８０を、発行したＩＤや登録画像とともに、乗員監視メモリ６４に記録する。これにより、図７の個人データ８０には、新たな登録ユーザの個人データ８０が追加記録される。

図９は、図６の乗員監視装置６０による乗員の認識処理のフローチャートである。
乗員監視ＥＣＵ１７は、乗員が自動車１に乗ると、図９の処理を繰り返し実行する。

ステップＳＴ１１において、乗員監視ＥＣＵ１７は、自動車１に乗員が乗車したか否かを判断する。乗員が乗車していない場合、乗員監視ＥＣＵ１７は、本判断処理を繰り返す。乗員が乗車すると、乗員監視ＥＣＵ１７は、処理をステップＳＴ１２へ進める。

ステップＳＴ１２において、乗員監視ＥＣＵ１７は、内カメラ６１により、乗車した乗員についての撮像画像を取得したか否かを判断する。撮像画像を取得していない場合、乗員監視ＥＣＵ１７は、本判断処理を繰り返す。撮像画像を取得すると、乗員監視ＥＣＵ１７は、処理をステップＳＴ１３へ進める。

ステップＳＴ１３において、乗員監視ＥＣＵ１７は、取得した撮像画像に基づいて、乗員を認識する。乗員監視ＥＣＵ１７は、取得した撮像画像と図７の個人データ８０に登録されている複数の登録画像とを比較して登録画像ごとの一致度の値を生成し、最も大きい一致度の値に対応する登録ユーザを乗員として認識する。

ステップＳＴ１４において、乗員監視ＥＣＵ１７は、認識した登録ユーザの個人データ８０を、乗員監視メモリ６４の個人データ８０から取得して設定送信する。乗員監視ＥＣＵ１７は、図７の視覚に関する個人データ８０を、ＨＵＤＥＣＵ１８へ送信する。これにより、ＨＵＤＥＣＵ１８は、乗車している乗員についての視覚に関する登録済みの情報を取得する。

図１０は、図６の乗員監視装置６０による乗員の監視処理のフローチャートである。
乗員監視ＥＣＵ１７は、乗員が自動車１に乗ると、図９の処理とは別に、図１０の処理を繰り返し実行する。

ステップＳＴ２１において、乗員監視ＥＣＵ１７は、内カメラ６１により新たな撮像画像を取得したか否かを判断する。新たな撮像画像を取得していない場合、乗員監視ＥＣＵ１７は、本判断処理を繰り返す。新たな撮像画像を取得すると、乗員監視ＥＣＵ１７は、処理をステップＳＴ２２へ進める。

ステップＳＴ２２において、乗員監視ＥＣＵ１７は、乗員を監視する。乗員監視ＥＣＵ１７は、新たな撮像画像に基づいて乗員の乗車状態を判断し、乗員がたとえば居眠りやわき見の状態にある場合には、それに応じた監視処理を実行する。乗員監視ＥＣＵ１７は、ＵＩＥＣＵ２０を用いて、表示デバイス５１に前方注意の画像を表示する。

ステップＳＴ２３において、乗員監視ＥＣＵ１７は、内カメラ６１により新たな撮像画像に基づいて、自動車１における乗員の顔または両目の位置を判断し、これらの位置情報を生成する。

ステップＳＴ２４において、乗員監視ＥＣＵ１７は、生成した乗員の顔または両目の現在位置の情報を、個人データ８０としてＨＵＤＥＣＵ１８へ送信する。

ステップＳＴ２５において、乗員監視ＥＣＵ１７は、乗員の監視を終了するか否を判断する。たとえば走行していた自動車１が駐停車して乗員が降車した場合、乗員監視ＥＣＵ１７は、乗員の監視を終了すると判断して、図１０の処理を終了する。乗員の監視を終了しない場合、乗員監視ＥＣＵ１７は、処理をステップＳＴ２１へ戻して上述した処理を繰り返す。

図１１は、図６のＨＵＤ装置７０による三次元用画像の投影処理のフローチャートである。
ＨＵＤＥＣＵ１８は、乗員が自動車１に乗ると、図１１の処理を繰り返し実行する。

ステップＳＴ３１において、ＨＵＤＥＣＵ１８は、自動車１の前方の移動体の情報を取得したか否かを判断する。ＨＵＤＥＣＵ１８は、たとえば検出ＥＣＵ１６から、自動車１の前方の移動体の情報を取得する。この場合、ＨＵＤＥＣＵ１８は、自動車１の前方の移動体の情報を取得したと判断して、処理をステップＳＴ３２へ進める。それ以外の場合、ＨＵＤＥＣＵ１８は、図１１の処理を終了する。

ステップＳＴ３２において、ＨＵＤＥＣＵ１８は、取得した自動車１の前方の移動体の情報に基づいて、その移動体に対応するように投影する投影像を選択する。ＨＵＤＥＣＵ１８は、たとえば、ＨＵＤメモリ７２に記録されている注意喚起用の複数のマークの中から、移動体の種類に応じたマークを、投影する投影像として選択する。

ステップＳＴ３３において、ＨＵＤＥＣＵ１８は、最新の個人データ８０を取得する。ここでの最新の個人データ８０には、図９のステップＳＴ１４にて乗員監視ＥＣＵ１７が送信した個人データ８０と、図１０のステップＳＴ２４にて乗員監視ＥＣＵ１７が送信した個人データ８０とが、含まれ得る。この場合、ＨＵＤＥＣＵ１８は、乗員の個人データ８０として、登録済みの乗員の瞳孔間距離、利き目、両目の視力、両目の屈折度とともに、現在の乗員の顔または両目の位置の情報を取得できる。

ステップＳＴ３４において、ＨＵＤＥＣＵ１８は、乗員の両目の現在位置に基づいて、三次元用画像としての右目画像９１における、注意喚起用のたとえば枠マークの表示位置、表示サイズ、輝度、色などを調整して決定する。また、ＨＵＤＥＣＵ１８は、三次元用画像としての左目画像９２における、注意喚起用のたとえば枠マークの表示位置、表示サイズ、輝度、色などを調整して決定する。

ステップＳＴ３５において、ＨＵＤＥＣＵ１８は、ステップＳＴ３４の決定に基づいて、注意喚起用の枠マーク９３を含む右目画像９１と、注意喚起用の枠マーク９４を含む左目画像９２とを、三次元用画像として生成する。

ステップＳＴ３６において、ＨＵＤＥＣＵ１８は、生成した三次元用画像を、投影デバイス７１へ出力する。これにより、フロントガラス６には、注意喚起用の枠マーク９３を所定の位置に含む右目画像９１と、注意喚起用の枠マーク９４を所定の位置に含む左目画像９２とが、たとえば交互に切り替えて表示される。

このようにＨＵＤ装置７０のＨＵＤＥＣＵ１８は、乗員監視装置６０により生成される乗員の視覚についての個人データ８０を用いて三次元用画像における投影像の位置、大きさ、輝度、色などを調整して、三次元用画像を投影デバイス７１から投影する、

ここで、ＨＵＤＥＣＵ１８は、たとえば図４に示すように現在の顔の位置と瞳孔間距離とに基づいて、乗員の現在の右目の位置と左目の位置とを特定する。顔の位置が前後左右上下にずれれば、右目の位置と左目の位置とも同様に前後左右上下にずれる。
ＨＵＤＥＣＵ１８は、投影像が車外の移動体などの物体への右目または左目の視線上に重なるように、右目画像９１での位置と左目画像９２での位置とを調整して決定する。ＨＵＤＥＣＵ１８は、フロントガラス６についての車外の物体の相対的な距離および方向と、車内でのフロントガラス６に対する顔の現在位置とに基づいて、右目から車外の物体までの右目の視線と、左目から車外の物体までの左目の視線とを、演算し得る。ＨＵＤＥＣＵ１８は、たとえば利き目側の投影画像における投影像が、車外の物体と利き目との間の視線上の位置となるように、投影像の位置を調整し、さらに瞳孔間距離に基づいて、利き目ではない側の投影画像での投影像の位置を決定してよい。
ＨＵＤＥＣＵ１８は、右目から車外の物体までの距離と左目から車外の物体までの距離との比に基づいて、右目画像９１での投影像のサイズと左目画像９２での投影像のサイズとを調整して決定する。ＨＵＤＥＣＵ１８は、たとえば利き目の側の右目画像９１での投影像のサイズを基準として、右目から車外の物体までの距離と左目から車外の物体までの距離との比を用いて、利き目ではない側の左目画像９２での投影像のサイズを拡縮する。図４では、車外の物体としての歩行者が左側にいるため、左目画像９２での投影像は、右目画像９１での投影像より拡大したサイズとなっている。投影像のサイズは、車外の移動体などの物体までの相対距離が長いほど、小さくなる。
これにより、右目画像９１における投影像と左目画像９２における投影像との位置の差または大きさの差が、調整される。また、利き目において、投影像と車外の物体とが所望の重なり具合となるように、または所望の近さとなるように、視認され得る。

また、ＨＵＤＥＣＵ１８は、乗員の両目の視力または屈折度に応じて、三次元用画像としての右目画像９１における投影像と左目画像９２における投影像との位置の差または大きさの差を調整する。これにより、三次元用画像としての右目画像９１と左目画像９２とのそれぞれにおける投影像の位置および大きさは、乗員の身体的特徴である両目の視力または屈折度に応じて調整される。投影像は、乗員が視認され易くなるように投影される。

また、ＨＵＤＥＣＵ１８は、利き目側の画像における投影像が、利き目ではない側の他方の画像における投影像と比べて、はっきりと視認されるように、その輝度、色、鮮明度を調整する。これにより、利き目において、投影像がはっきりと視認されやすくなる。

次に、図８のステップＳＴ４からステップＳＴ６の各処理について、詳しく説明する。

図１２は、図８のステップＳＴ４の瞳孔間距離情報の生成処理の詳細なフローチャートである。

ステップＳＴ４１において、乗員監視ＥＣＵ１７は、乗員に対して、内カメラ６１への正対指示を出力する。乗員監視ＥＣＵ１７は、たとえば、ＵＩＥＣＵ２０に正対指示画面の表示を要求する。ＵＩＥＣＵ２０は、表示デバイス５１に、内カメラ６１に正対するように乗員に指示する正対指示画面を表示する。

ステップＳＴ４２において、乗員監視ＥＣＵ１７は、赤外線ランプ６２を点灯する。これにより、内カメラ６１に正対している乗員の顔へ、赤外線が照射される。

ステップＳＴ４３において、乗員監視ＥＣＵ１７は、赤外線を照射している間に、内カメラ６１を用いて、乗員の顔または両目を撮像する。

ステップＳＴ４４において、乗員監視ＥＣＵ１７は、乗員の顔または両目を正面から撮像した画像を解析して、右目の撮像位置と左目の撮像位置とに基づいて、図４の乗員の右目と左目との距離である瞳孔間距離を判断する。

ステップＳＴ４５において、乗員監視ＥＣＵ１７は、赤外線を消灯して、投光を終了する。

以上の処理により、乗員監視ＥＣＵ１７は、登録する乗員の視覚についての情報として、乗員の瞳孔間距離の情報を生成する。生成された乗員の瞳孔間距離の情報は、図７の個人データ８０の一部として、乗員監視メモリ６４に記録される。
乗員監視ＥＣＵ１７は、自動車１が動いていない安全な状態において撮像したブレのない鮮明な乗員の正面の画像により、乗員の瞳孔間距離の情報を正確に生成できる。

図１３は、図８のステップＳＴ５の利き目情報の生成処理の詳細なフローチャートである。

ステップＳＴ５１において、乗員監視ＥＣＵ１７は、利き目判定用の投影を開始する。乗員監視ＥＣＵ１７は、利き目判定用の投影をＨＵＤＥＣＵ１８に指示する。ＨＵＤＥＣＵ１８は、投影デバイス７１から、利き目判定用の投影像を表示する。この利き目判定用の投影像は、たとえば利き目においては重なって見える前後二本の棒の投影像でよい。このような映像について、利き目ではない目においては前後二本の棒は、左右にずれて見えることになる。

ステップＳＴ５２において、乗員監視ＥＣＵ１７は、赤外線ランプ６２を点灯する。これにより、利き目判定用の投影像を視認している乗員の顔へ、赤外線が照射される。

ステップＳＴ５３において、乗員監視ＥＣＵ１７は、利き目判定用の投影像を投影している最中に、内カメラ６１を用いて、乗員の顔または両目を撮像する。

ステップＳＴ５４において、乗員監視ＥＣＵ１７は、乗員の顔または両目を撮像した画像を解析して、撮像画像中の両目の状態に基づいて利き目を判断する。乗員監視ＥＣＵ１７は、撮像画像中の両目の状態を解析する代わりに、撮像された乗員の選択操作やジェスチャに基づいて、利き目を判断してもよい。

ステップＳＴ５５において、乗員監視ＥＣＵ１７は、赤外線を消灯するとともに、ＨＵＤＥＣＵ１８による投影を終了する。

以上の処理により、乗員監視ＥＣＵ１７は、内カメラ６１による乗員の顔の撮像画像に基づいて、乗員の利き目の情報を生成する。生成された乗員の利き目の情報は、図７の個人データ８０の一部として、乗員監視メモリ６４に記録される。
乗員監視ＥＣＵ１７は、自動車１が動いていない安全な状態において撮像したブレのない鮮明な乗員の画像により、乗員の利き目の情報を正確に生成できる。

図１４は、図８のステップＳＴ６の視力、屈折度情報の生成処理の詳細なフローチャートである。

ステップＳＴ６１において、乗員監視ＥＣＵ１７は、視力判定用の投影を開始する。乗員監視ＥＣＵ１７は、視力判定用の投影をＨＵＤＥＣＵ１８に指示する。ＨＵＤＥＣＵ１８は、投影デバイス７１から、視力判定用の投影像を表示する。この視力判定用の投影像は、たとえば乗員に向かって前後へ移動するたとえばバルーンの投影像でよい。このような映像が投影されると、乗員は、両目の視線をバルーンの前後位置に合わせるように、両目を動かす。

ステップＳＴ６２において、乗員監視ＥＣＵ１７は、ＨＵＤＥＣＵ１８に対して、投影像をぼかす指示を出力する。ＨＵＤＥＣＵ１８は、投影している投影像の輪郭が一時的にぼやけるように、投影像を変形する。

ステップＳＴ６３において、乗員監視ＥＣＵ１７は、ＨＵＤＥＣＵ１８に対して、投影像のぼかしを戻す指示を出力する。ＨＵＤＥＣＵ１８は、ぼやかしている投影像の輪郭を元に戻す。

ステップＳＴ６４において、乗員監視ＥＣＵ１７は、赤外線ランプ６２を点灯する。これにより、視力判定用の投影像を視認している乗員の顔へ、赤外線が照射される。

ステップＳＴ６５において、乗員監視ＥＣＵ１７は、視力判定用の投影像を投影している最中に、内カメラ６１を用いて、乗員の顔または両目を撮像する。

ステップＳＴ６６において、乗員監視ＥＣＵ１７は、乗員の顔または両目を撮像した画像を解析して、撮像画像中の両目の状態に基づいて両目の視力および屈折度を判断する。両目の視力および屈折度は、通常の視力検査において用いられる方法により判断してよい。

ステップＳＴ６７において、乗員監視ＥＣＵ１７は、赤外線を消灯するとともに、ＨＵＤＥＣＵ１８による投影を終了する。

以上の処理により、乗員監視ＥＣＵ１７は、内カメラ６１による乗員の顔または両目の撮像画像に基づいて、乗員の両目の視力と屈折度との情報を生成する。生成された乗員の両目の視力と屈折度との情報は、図７の個人データ８０の一部として、乗員監視メモリ６４に記録される。
乗員監視ＥＣＵ１７は、自動車１が動いていない安全な状態において撮像したブレのない鮮明な乗員の画像により、乗員の両目の視力と屈折度との情報を正確に生成できる。
また、撮像前に投影像の輪郭を一時的にぼやかしているため、撮像の際には乗員の両目はリラックスした状態になった後の計測に良好な状態となる。

以上のように、本実施形態では、乗員監視装置６０は、ＨＵＤ装置７０のために、自動車１の乗員を撮像する内カメラ６１の撮像画像に基づいて、乗員の視覚についての個人データ８０を生成する。そして、ＨＵＤ装置７０は、乗員監視装置６０により生成される乗員の視覚についての個人データ８０を用いて、三次元用画像における投影像の位置、大きさ、輝度、色などを調整し、調整した三次元用画像を投影デバイス７１から投影する。これにより、本実施形態では、三次元用画像による投影像と、車外の物体との距離感の違いを好適に解消できる。乗員の前方の車外の物体について投影する三次元用画像の投影像としての注意喚起用の枠マーク９０や注意喚起用の矢印マークといった投影像は、乗員から見て、乗員の前方の車外の物体の近くにまたは重ねて存在しているかのように見えるようになる。
これに対して、仮にたとえば三次元の投影像と車外の物体との間に距離感の違いがあると、乗員は、それらの間に違和感を生じ、また、それらの間で視線を頻繁に動かすことにより気分が悪くなることがある。本実施形態では、それらの事態が発生しないようにできる。

本実施形態では、三次元用画像としての右目画像９１と左目画像９２とのそれぞれにおける投影像の位置の差を、乗員の身体的特徴である瞳孔間距離と、自動車１における現在の顔または両目の位置とに応じて調整する。これにより、投影像は、乗員から見て、乗員の前方の車外の物体の近くの位置または重なる位置にあるように見えやすくなる。三次元用画像による投影像と、車外の物体との距離感の違いを効果的に抑制できる。

また、本実施形態では、三次元用画像としての右目画像９１と左目画像９２とのそれぞれにおける投影像の大きさの差を、乗員の身体的特徴である瞳孔間距離と、自動車１における現在の顔または両目の位置とに応じて調整する。たとえば、右目の視野における車外の物体の大きさを基準とした投影像の相対的な大きさと、左目の視野における車外の物体の大きさを基準とした投影像の相対的な大きさとが同じとなるように、瞳孔間距離と顔または両目の位置とに応じて調整する。これにより、投影像は、乗員から見て、乗員の前方の車外の物体に対して左右で同じように見えるようになる。右目の投影像と左目の投影像とが同一物についての像であると認識され易くなる。

これらの視覚的な調整効果により、乗員は、投影像の実体が、車外の物体の近くにあるように、または車外の物体に重なるように存在しているかのように視認し易くなる。乗員は、投影像を、その実体が車外の物体の近くにまたは物体と重なるように存在しているように視認して、これらの間に違和感を得ることが起き難くなる。

以上の実施形態は、本発明の好適な実施形態の例であるが、本発明は、これに限定されるものではなく、発明の要旨を逸脱しない範囲において種々の変形または変更が可能である。

１…自動車（車両）、６…フロントガラス、１０…制御系（ヘッドアップディスプレイシステム）、１６…検出ＥＣＵ、１７…乗員監視ＥＣＵ、１８…ＨＵＤＥＣＵ、４３…ステレオカメラ、６０…乗員監視装置、６１…内カメラ、６２…赤外線ランプ、６３…タイマ、６４…乗員監視メモリ、７０…ＨＵＤ装置、７１…投影デバイス、７２…ＨＵＤメモリ、８０…個人データ、９０…注意喚起用の枠マーク（投影像）、９１…右目画像、９２…左目画像、９３…注意喚起用の枠マーク（投影像）、９４…注意喚起用の枠マーク（投影像）

Claims (7)

1. 車両の乗員の前に三次元用画像を投影する投影デバイスを有し、前記乗員の前方の車外の物体についての投影像を投影するヘッドアップディスプレイ装置と、
   前記車両の前記乗員を撮像する撮像デバイスを有し、前記撮像デバイスの撮像画像に基づいて乗員の視覚についての個人データを生成する乗員監視装置と、
   を有し、
   前記乗員監視装置は、
   前記車両が安全な状態にある際に、前記撮像デバイスにより前記乗員の顔または両目を撮像し、
   前記乗員の両目を撮像している前記撮像画像における両目の撮像位置に基づいて、前記乗員の右目と左目との距離である瞳孔間距離を判断して、前記瞳孔間距離の情報を生成する、ことにより、
   前記個人データとして、前記車両における前記乗員の顔の位置情報または両目の位置情報とともに、前記瞳孔間距離の情報を生成し、
   前記ヘッドアップディスプレイ装置は、
   前記三次元用画像として、前記投影像を含む右目画像と、前記投影像を含む左目画像とを切り換えて投影するものであり、
   前記乗員監視装置により生成される前記個人データである前記瞳孔間距離に基づいて、前記右目画像における前記投影像と前記左目画像における前記投影像との位置の差または大きさの差を調整することにより、各前記投影像が車外の物体への右目または左目の視線上に重なるように、前記右目画像における前記投影像の位置および前記左目画像における前記投影像の位置を調整し、
   前記車両における前記乗員の顔の位置情報または両目の位置情報に基づいて前記三次元用画像における前記投影像を調整した三次元用画像を前記投影デバイスから投影する、
   車両のヘッドアップディスプレイシステム。
   
2. 前記乗員監視装置は、前記撮像デバイスの前記撮像画像に基づいて前記乗員の視覚についての前記個人データとして、前記撮像デバイスによる前記乗員の顔の前記撮像画像に基づく前記乗員の利き目の情報を生成し、
   前記ヘッドアップディスプレイ装置は、
   前記三次元用画像としての前記右目画像と前記左目画像との中の、利き目側の画像における前記投影像が、車外の物体と利き目との間の視線を基準とした位置となるように、前記投影像の位置を調整する、
   請求項１記載の、車両のヘッドアップディスプレイシステム。
   
3. 前記乗員監視装置は、前記撮像デバイスの前記撮像画像に基づいて前記乗員の視覚についての前記個人データとして、前記撮像デバイスによる前記乗員の顔の前記撮像画像に基づく前記乗員の利き目の情報を生成し、
   前記ヘッドアップディスプレイ装置は、
   前記三次元用画像としての前記右目画像と前記左目画像との中の、利き目側の画像における前記投影像が、他方の画像における前記投影像と比べて視認し易くなるように、輝度、色、鮮明度を調整する、
   請求項２記載の、車両のヘッドアップディスプレイシステム。
   
4. 前記乗員監視装置は、
   前記車両が安全な状態にある際に、前記ヘッドアップディスプレイ装置に、利き目判定用の前記投影像を投影させ、
   利き目判定用の前記投影像を投影している状態での前記乗員の顔または両目を撮像し、
   前記撮像画像中の両目の状態に基づいて、前記乗員の利き目を判断して、前記乗員の利き目の情報を生成する、
   請求項２または３記載の、車両のヘッドアップディスプレイシステム。
   
5. 前記乗員監視装置は、前記撮像デバイスの前記撮像画像に基づいて前記乗員の視覚についての前記個人データとして、前記撮像デバイスによる前記乗員の両目の前記撮像画像に基づく前記乗員の両目の視力または屈折度の情報を生成し、
   前記ヘッドアップディスプレイ装置は、
   前記乗員の両目の視力または屈折度の情報に基づいて、前記三次元用画像としての右目画像における前記投影像と左目画像における前記投影像との位置の差または大きさの差を調整する、
   請求項１から４のいずれか一項記載の、車両のヘッドアップディスプレイシステム。
   
6. 前記ヘッドアップディスプレイ装置は、
   前記車両が安全な状態にある際に、前記ヘッドアップディスプレイ装置に、視力判定用の投影像を投影させ、
   前記視力判定用の投影像を投影している状態での前記乗員の顔または両目を撮像し、
   前記撮像画像中の両目の状態に基づいて、前記乗員の両目の視力または屈折度を判断して、前記乗員の両目の視力または屈折度の情報を生成する、
   請求項５記載の、車両のヘッドアップディスプレイシステム。
   
7. 前記ヘッドアップディスプレイ装置は、前記視力判定用の投影像をぼけさせてから戻すように変化させて投影し、
   前記ヘッドアップディスプレイ装置は、ぼけから戻った前記視力判定用の投影像を投影している状態での前記乗員の顔または両目を撮像する、
   請求項６記載の、車両のヘッドアップディスプレイシステム。
   

Images