JP6244500B2 - 投写型表示装置、投写表示方法、及び投写表示プログラム - Google Patents

Description

本発明は、投写型表示装置、投写表示方法、及び投写表示プログラムに関する。

自動車、電車、重機、建設機械、航空機、船舶、及び農作機械等の乗り物のウインドシールドをスクリーンとして用い、これに画像光を投写し、この画像光に基づく虚像を運転者に視認させる乗り物用のＨＵＤ（Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ）が知られている（特許文献１、２参照）。

特許文献１には、車両のウインドシールドの形状に合わせて投写光学系を最適化することによって、どこから見ても歪みのない虚像を提示することのできるＨＵＤが記載されている。

特許文献２には、運転者の視点位置毎に歪補正パラメータを記憶しておき、画像解析により検出した運転者の視点位置に対応する歪補正パラメータを用いて投写する画像光の元となる画像データを補正することによって、どこから見ても歪みのない虚像を提示することのできるＨＵＤが記載されている。

特開２０１５−８７５９４号公報 特開２０１４−１９９３８５号公報

乗り物のウインドシールドは光学特性よりデザイン等を優先して設計がなされている。このため、同一機種の乗り物であっても、ウインドシールドの形状にはばらつきが生じやすい。

特許文献１に記載のＨＵＤでは、どの乗り物であっても虚像の歪みを小さくするためには、乗り物１台１台に対し虚像の歪みが小さくなるように投写光学系を調整する必要がある。

乗り物の品種は際限なく増えるため、このような方法では、調整作業のための人員が必要となったり、光学系の部品数が増えて部品管理が大変になったりして、ＨＵＤ及びＨＵＤを搭載する乗り物の製造コストが増大する。また、画像光の投写範囲が大きくなり、虚像の視認範囲が大きくなると、光学系のみを用いて歪補正を行うことは難しくなる。

また、特許文献２に記載のＨＵＤでは、歪補正パラメータを予め求めて記憶しておく必要がある。しかし、上述したようにウインドシールドの形状にばらつきが生じやすい。

このため、正確な歪補正を行うためには、乗り物毎にウインドシールドの形状に合わせた歪補正パラメータを算出し記憶する作業が必要になる。特に画像光の投写範囲が大きくなると歪補正パラメータの数も多くなり、この作業が負担となる。したがって、ＨＵＤ及びＨＵＤを搭載する乗り物の製造コストが増大する。

本発明は、上記事情に鑑みてなされたものであり、コストを抑えつつ、どのような形状のウインドシールドに対しても歪みの少ない虚像を乗員に提示することのできる投写型表示装置、投写表示方法、及び投写表示プログラムを提供することを目的とする。

本発明の投写型表示装置は、光源と、上記光源から出射される光を画像データに基づいて空間変調する光変調素子と、上記光変調素子により空間変調された画像光を乗り物のウインドシールドに投写する投写部とを含む投写表示部と、上記乗り物の乗員の視線を検出する視線検出部と、上記ウインドシールドにおける上記画像光が投写可能な投写可能範囲のうち、上記視線検出部により検出された視線と交わる点を含む予め決められた領域の形状の測定データを取得する測定データ取得部と、上記測定データ取得部により取得された測定データと、上記視線検出部により検出された視線の方向と、に基づいて、上記測定データが取得された領域に投写される画像光に基づく像を上記方向から見た状態における像の歪みを補正するための補正データを生成する補正データ生成部と、上記補正データ生成部により生成された補正データを用いて上記画像データを補正する画像データ補正部と、を備えるものである。

本発明の投写表示方法は、光源から出射される光を画像データに基づいて変調して得た画像光を乗り物のウインドシールドに投写する投写表示方法であって、上記乗り物の乗員の視線を検出する視線検出ステップと、上記ウインドシールドにおける上記画像光が投写可能な投写可能範囲のうち、上記視線検出ステップにより検出された視線と交わる点を含む予め決められた領域の上記ウインドシールドの形状の測定データを取得する測定データ取得ステップと、上記測定データ取得ステップにより取得された測定データと、上記視線検出ステップにより検出された視線の方向と、に基づいて、上記測定データが取得された領域に投写される画像光に基づく像を上記方向から見た状態における像の歪みを補正するための補正データを生成する補正データ生成ステップと、上記補正データ生成ステップにより生成された補正データを用いて上記画像データを補正する画像データ補正ステップと、を備えるものである。

本発明の投写表示プログラムは、光源から出射される光を画像データに基づいて変調して得た画像光を乗り物のウインドシールドに投写する投写表示方法をコンピュータに実行させるための投写表示プログラムであって、上記投写表示方法は、上記乗り物の乗員の視線を検出する視線検出ステップと、上記ウインドシールドにおける上記画像光が投写可能な投写可能範囲のうち、上記視線検出ステップにより検出された視線と交わる点を含む予め決められた領域の上記ウインドシールドの形状の測定データを取得する測定データ取得ステップと、上記測定データ取得ステップにより取得された測定データと、上記視線検出ステップにより検出された視線の方向と、に基づいて、上記測定データが取得された領域に投写される画像光に基づく像を上記方向から見た状態における像の歪みを補正するための補正データを生成する補正データ生成ステップと、上記補正データ生成ステップにより生成された補正データを用いて上記画像データを補正する画像データ補正ステップと、を備えるものである。

本発明によれば、コストを抑えつつ、どのような形状のウインドシールドに対しても歪みの少ない虚像を乗員に提示することのできる投写型表示装置、投写表示方法、及び投写表示プログラムを提供することができる。

本発明の一実施形態の投写型表示装置を含む投写表示システムを搭載した自動車の車室内上方から運転席前方を視た状態の模式図である。 図１に示すＨＵＤ１０の内部構成を示す模式図である。 図２に示すシステム制御部６０の内部構成を示すブロック図である。 図２に示すシステム制御部６０の変形例であるシステム制御部６０Ａの内部構成を示すブロック図である。 図２に示すシステム制御部６０の変形例であるシステム制御部６０Ｂの内部構成を示すブロック図である。 図１に示す投写表示システムの変形例を示す図である。 図６に示す投写表示システムにおけるユニット１０ａの内部構成を示す模式図である。 図６に示す投写表示システムにおけるユニット１０ｂの内部構成を示す模式図である。 図７に示すシステム制御部６０Ｃの内部構成を示すブロック図である。 図６に示すシステムにおける運転者の視線と投写範囲との関係を説明する模式図である。 図６に示すシステムにおける運転者の視線と投写範囲との関係を説明する模式図である。 運転者の見下ろし角度とウインドシールドとの関係を示す図である。

以下、本発明の一実施形態について図面を参照して説明する。

図１は、本発明の一実施形態の投写型表示装置を含む投写表示システムを搭載した自動車の車室内上方から運転席前方を視た状態の模式図である。図１の投写表示システムは、自動車に限らず、電車、重機、建設機械、航空機、船舶、及び農作機械等のウインドシールドを有する乗り物全般に適用することができる。

図１に示す投写表示システムは、自動車のウインドシールド１と、ウインドシールド１に画像光を投写する投写型表示装置としてのＨＵＤ１０と、ＨＵＤ１０と無線又は有線により通信可能に構成されたウインドシールド形状測定装置８と、ＨＵＤ１０と無線又は有線により通信可能に構成された撮像部９と、を備えている。

図１の例では、ＨＵＤ１０は自動車のダッシュボード３に内蔵されており、ダッシュボード３に設けられた開口部を通して画像光をウインドシールド１に向けて投写する。

ＨＵＤ１０は、ウインドシールド１に対する画像光の投写範囲２をウインドシールド１の面に沿って二次元状に走査することによって、広範囲の投写可能範囲１Ａに画像光を投写可能に構成されている。

撮像部９は、自動車の乗員である自動車の運転者の視線を検出するために、運転者の眼を含む顔部分を撮像するために設けられている。この撮像部９は、投写表示システム専用のものを用意してもよいし、自動車において別の用途で設けられているものを利用してもよい。

ウインドシールド形状測定装置８は、自動車に設置された物体の三次元形状を測定する測定装置であり、ウインドシールド１の三次元形状を測定するものである。ウインドシールド形状測定装置８は、例えば深度センサが用いられる。

深度センサとしては、赤外線発光部と赤外線受光部を用いてタイムオブフライト方式等により物体までの距離を算出する方式、２つのカメラで物体を撮像して得られる２つの撮像画像データに基づいて物体までの距離を算出する方式、１つのカメラを移動させながら複数位置で物体を撮像して得られる複数の撮像画像データに基づいて物体までの距離を算出する方式等、周知の方式のものを採用することができる。

ウインドシールド形状測定装置８は、投写表示システム専用のものを用意してもよいし、自動車に別の目的で搭載されている深度センサを利用してもよい。

図２は、図１に示すＨＵＤ１０の内部構成を示す模式図である。

ＨＵＤ１０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｓｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体を含む記憶部３０と、光源ユニット４０と、投写ユニット５０と、光源ユニット４０及び投写ユニット５０を収容する筐体を駆動するための駆動機構２０と、光源ユニット４０に含まれる光変調素子４４を駆動する駆動部４５と、全体を統括制御するシステム制御部６０と、視線検出部７０と、ウインドシールド形状測定装置８及び撮像部９と通信するための通信インターフェース（不図示）と、を備える。

光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、光変調素子４４と、を備えている。Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂはＨＵＤ１０の光源を構成する。

Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子が用いられる。本実施形態では、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの光源を含むＨＵＤとしているが、この光源の数は１つ、２つ、または４つ以上であってもよい。

光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってＲ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂから光を順次出射させる制御を行う。光源の発光制御はこれに限らず周知のものを採用することができる。

ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。

また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。

このような光を同一光路に導く機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。

光変調素子４４は、ダイクロイックプリズム４３から出射された光を、システム制御部６０から入力される画像データに基づいて空間変調し、画像データに応じた画像光（赤色画像光、青色画像光、及び緑色画像光）を投写ユニット５０に出射する。

この画像データは、例えば自動車の走行速度を示す情報、運転者への通知を行うための情報、ナビゲーション情報等を表示するためのデータである。

光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、及び液晶表示素子等を用いることができる。

駆動部４５は、システム制御部６０から入力される画像データにしたがって光変調素子４４を駆動し、画像データに基づく画像光を投写ユニット５０に出射させる。

投写ユニット５０は、投写光学系４６と、拡散板５と、反射ミラー６と、拡大鏡７と、を備えている。

投写光学系４６は、光変調素子４４によって空間変調された画像光を、拡散板５に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。

投写ユニット５０は、ウインドシールド１に投写された画像光に基づく画像がウインドシールド１前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。

投写ユニット５０は、光変調素子４４により空間変調された画像光をウインドシールド１に投写する投写部を構成する。Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂを含む光源と、光変調素子４４と、投写ユニット５０とにより、ＨＵＤ１０の投写表示部が構成される。

視線検出部７０は、撮像部９で撮像して得られた撮像画像データを取得し、取得した撮像画像データに周知の視線検出処理を施すことによって、ＨＵＤ１０が搭載された自動車の乗員である運転者の視線を検出する。視線検出部７０は、視線検出結果（視線の方向の情報）をシステム制御部６０に通知する。

投写ユニット５０及び光源ユニット４０が収容された筐体は、駆動機構２０によってパン及びチルトが可能となっている。駆動機構２０により、投写ユニット５０から投写される画像光の投写範囲２をウインドシールド１上において走査することができる。駆動機構２０はシステム制御部６０によって制御される。

なお、ＨＵＤ１０は、投写ユニット５０から投写される画像光の投写範囲２をウインドシールド１上で動かすことができればよく、例えば投写ユニット５０に含まれる光学部材を可動にすることによって投写範囲２を移動できるようにしてもよい。

システム制御部６０は、光源制御部４０Ａ及び駆動部４５を制御して、光源ユニット４０から、画像データに基づく画像光を投写ユニット５０に出射させる。システム制御部６０は、視線検出部７０により検出された視線に基づいて駆動機構２０を制御して投写可能範囲１Ａにおける投写範囲２の位置を制御する。

図３は、図２のシステム制御部６０の内部構成を示すブロック図である。

システム制御部６０は、プロセッサを主体にして構成されており、このプロセッサが記憶部３０のＲＯＭに格納されたプログラムを実行することで、測定データ取得部６１、補正データ生成部６２、画像データ生成部６３、画像データ補正部６４、及び、投写範囲制御部６５として機能する。

投写範囲制御部６５は、投写可能範囲１Ａにおける投写範囲２の位置を、視線検出部７０により検出された運転者の視線に基づいて制御する。投写範囲制御部６５は、駆動機構２０を制御して画像光の投写方向を変えることによって、投写範囲２の位置制御を行う。

ＨＵＤ１０の記憶部３０には、運転者の視線の方向に対応付けて、投写可能範囲１Ａにおける位置に投写範囲２を設定することにより定めた投写範囲制御データが記憶されている。

投写範囲制御部６５は、投写範囲制御データと視線検出部７０により検出された運転者の視線とに基づき、運転者の視線の方向に対応する投写範囲２の位置を決定する。投写範囲制御データは、投写可能範囲１Ａにおいて運転者の視線と交わる点を含む領域が投写範囲２として決定されるデータである。

画像データ生成部６３は、駆動部４５に入力する画像データを、自動車の状況等に基づいて生成する。画像データは運転支援のために必要な情報を含む。また、自動車の状況は自動車の運行状況、または、ガソリン残量など情報であってもよい。

測定データ取得部６１は、ウインドシールド１における投写可能範囲１Ａのうち、視線検出部７０により検出された視線と交わる点を含む予め決められた領域の形状の測定データをウインドシールド形状測定装置８から取得する。

記憶部３０のＲＯＭには、ウインドシールド１を車内から平面視したときの投写可能範囲１Ａ内の各位置を示す座標で構成される平面座標データと、平面座標データの座標毎に、この座標に視線が交わるときの運転者の視線の方向を対応付けたテーブルデータが記憶されている。このテーブルデータは投写表示システムの設計段階で決められるデータである。

測定データ取得部６１は、視線検出部７０から運転者の視線の方向が通知されると、記憶部３０のテーブルデータに基づいて、投写可能範囲１Ａにおいて運転者の視線と交わる点の座標（視線交点座標）を求める。

そして、測定データ取得部６１は、視線交点座標を中心とする予め決められた範囲（例えば、縦何センチ、横何センチを指定した平面範囲）を示すエリア座標情報をウインドシールド形状測定装置８に通知する。

ウインドシールド形状測定装置８は、通知されたエリア座標情報に基づいて、ウインドシールド１の平面視における計測範囲を設定し、設定した計測範囲と重なるウインドシールド１の部分の三次元形状を測定し、測定データを測定データ取得部６１に送信する。

このようにして、測定データ取得部６１は、ウインドシールド１における投写可能範囲１Ａのうち、視線検出部７０により検出された運転者の視線と交わる点の座標（視線交点座標）を含む予め決められた領域（上記のエリア座標情報で特定される平面範囲と重なる領域）の三次元形状の測定データを取得する。測定データの取得対象となった領域を以下では測定データ取得領域という。

なお、図１の投写表示システムにおいては、測定データ取得領域と、投写範囲制御部６５によって決定された画像光の投写範囲とが同じになるように設計されている。

補正データ生成部６２は、測定データ取得部６１により取得された測定データと、視線検出部７０により検出された視線の方向と、に基づいて、測定データ取得領域に投写される画像光に基づく像を、視線検出部７０により検出された視線の方向から見た状態での像の歪みを補正するための補正データを生成する。補正データ生成部６２は、生成した補正データを画像データ補正部６４に送信する。

上述したように、測定データ取得領域と投写範囲２とは同じに設定されるため、測定データ取得領域には画像データに基づく画像光が投写されることになる。

測定データ取得領域に投写される画像光に基づく像は、測定データ取得領域の三次元形状と、この像の観察方向との組み合わせによって見え方が変化する。このため、測定データ取得領域の三次元形状と、測定データ取得領域に対する観察方向（視線の方向）との組み合わせにおいて最も歪がない状態で像が観察されるように、測定データ取得領域に投写する画像光の元となる画像データを補正する必要が生じる。

補正データ生成部６２は、測定データ取得領域の三次元形状と、この測定データ取得領域に投写される画像光に基づく像の観察方向（視線検出部７０により検出された視線の方向）との組み合わせに対して、その測定データ取得領域に投写される画像光に基づく像に歪みが生じないように、画像データ生成部６３で生成された画像データを補正するための補正データを生成する。

画像データ補正部６４は、補正データ生成部６２から受信した補正データを用いて、画像データ生成部６３で生成された画像データを補正する。

画像データ補正部６４は、補正後の画像データを駆動部４５に入力して、補正後の画像データに基づく画像光を、投写範囲制御部６５によって制御された投写可能範囲１Ａ上の一部の範囲（測定データ取得領域）に投写させる。

以上のように構成されたＨＵＤ１０の動作を説明する。

投写表示システムが起動し、視線検出部７０により運転者の視線が検出されると、検出された運転者の視線に基づいてシステム制御部６０が駆動機構２０を制御し、投写ユニット５０から投写される画像光の投写範囲２の位置を制御する。

次に、システム制御部６０は、投写可能範囲１Ａにおいて視線検出部７０により検出された運転者の視線と交わる点を含む測定データ取得領域の三次元形状の測定データをウインドシールド形状測定装置８から取得する。

次に、システム制御部６０は、ウインドシールド形状測定装置８から取得した測定データと、視線検出部７０により検出された運転者の視線の方向とに基づいて補正データを生成する。

次に、システム制御部６０は、投写範囲２に投写すべき画像光の元となる画像データを生成し、この画像データを上記の補正データを用いて補正する。

そして、システム制御部６０は、補正後の画像データを駆動部４５に入力して、補正後の画像データに基づく画像光を、投写可能範囲１Ａ上の一部の範囲に投写させる。その後、視線検出部７０により検出される運転者の視線にある程度以上の変化があると、システム制御部６０は上述した処理を再び行う。

以上のように、ＨＵＤ１０を用いれば、運転者が投写可能範囲１Ａ内で視線を動かしていくと、この視線の動きに追従して、投写範囲２が移動し、投写範囲２には画像光が投写される。そして、この画像光に基づく虚像は、運転者からみて歪みがない状態に補正される。このため、投写可能範囲１Ａの全体にわたって歪みのない自然な虚像を運転者に提示することができる。

また、ＨＵＤ１０は、ウインドシールド形状測定装置８により測定されたウインドシールド１の三次元形状の測定データを利用して補正データを生成している。このため、自動車の車種やウインドシールド１の形状の個体バラツキの影響をうけることがなく、自動車毎に最適な歪み補正を実施することが可能になる。

この結果、投写ユニット５０に含まれる光学系の調整作業を簡略化したり、補正データの生成作業を省略したりすることができ、製造コストを削減することができる。

以下、図１に示すＨＵＤ１０の変形例を説明する。

（第一の変形例）
図４は、図２に示すシステム制御部６０の変形例であるシステム制御部６０Ａの内部構成を示すブロック図である。図４のシステム制御部６０Ａは、測定データ取得部６１と補正データ生成部６２の機能が一部異なる以外は図３のシステム制御部６０と同じ構成である。このため、図３と異なる部分についてのみ説明する。

システム制御部６０Ａの補正データ生成部６２は、上述してきた方法によって補正データを生成すると、この補正データを、この補正データの生成に用いた視線の方向と対応付けて記憶部３０のＲＯＭに記憶する。

システム制御部６０Ａの補正データ生成部６２は、視線検出部７０により検出される視線に変化があると、視線検出部７０により検出された視線の方向を取得し、この視線の方向に対応する補正データが記憶部３０に記憶されているか否かを判定する。

システム制御部６０Ａの補正データ生成部６２は、対応する補正データが記憶部３０に記憶されている場合には、この視線の方向に対応する補正データを記憶部３０から読み出して画像データ補正部６４に送信し、この視線の方向を用いた補正データの生成処理は省略する。

システム制御部６０Ａの測定データ取得部６１は、視線検出部７０により検出される視線に変化があると、視線検出部７０により検出された視線の方向に対応する補正データが記憶部３０に記憶されているか否かを判定し、対応する補正データが記憶部３０に記憶されている場合には、この視線の方向を用いた測定データの取得処理を省略する。

以上のように、第一の変形例によれば、運転者の視線が任意の方向にある状態で補正データが生成された後は、運転者が視線をこの任意の方向から大きくずらして再びこの任意の方向に視線を戻した場合に、測定データの取得処理及び補正データの生成処理が行われることはなく、記憶部３０に記憶されている補正データを利用した画像データの補正が行われる。

このため、システム制御部６０Ａの処理負荷を軽減することができ、ＨＵＤ１０の消費電力を低減することができる。

（第二の変形例）
図５は、図２に示すシステム制御部６０の変形例であるシステム制御部６０Ｂの内部構成を示すブロック図である。図５のシステム制御部６０Ｂは、測定データ取得部６１の機能が一部異なる以外は図３のシステム制御部６０と同じ構成である。このため、図３と異なる部分についてのみ説明する。

システム制御部６０Ｂの測定データ取得部６１は、投写表示システムの起動時に、ウインドシールド形状測定装置８から、ウインドシールド１の投写可能範囲１Ａ全体の三次元形状の測定データを取得し、記憶部３０のＲＯＭに記憶する。第二の変形例における記憶部３０は、測定データ記憶部を構成する。

そして、システム制御部６０Ｂの測定データ取得部６１は、記憶部３０に記憶されている投写可能範囲１Ａ全体の三次元形状の測定データから、視線検出部７０により検出された視線と交わる点を含む予め決められた領域の形状の測定データを抽出することで、測定データを取得する。

以上のように、第二の変形例によれば、投写表示システムの起動時に投写可能範囲１Ａの三次元形状が測定される。その後は、この測定データの中から測定データ取得部６１が必要な測定データを取得する。このため、測定データの取得を高速に行うことができ、自然な形で歪みのない像を提示することができる。

また、第二の変形例によれば、ウインドシールド形状測定装置８は投写表示システムの起動時にのみ起動し、その後は電源をオフすることができる。

このため、システム全体の消費電力を削減することができる。また、システム制御部６０Ｂの負荷軽減、ウインドシールド形状測定装置８の負荷軽減により、システム全体の耐久性を向上させることができる。

なお、ウインドシールド形状測定装置８による三次元形状の測定結果には測定毎にバラツキがあることが想定される。

図１に示すＨＵＤ１０によれば、視線の方向が変化する都度、ウインドシールド形状測定装置８により三次元形状の測定が行われ、ウインドシールド形状測定装置８から測定データが取得される。このため、このバラツキによる画像データの補正精度のバラツキを平準化することができる。

第二の変形例は第一の変形例と組み合わせることも可能である。

（第三の変形例）
図１のＨＵＤ１０では、駆動機構２０によって画像光の投写範囲を移動可能とすることによって、広範囲にわたって虚像を表示できるものとしている。

この変形例として、投写可能範囲１Ａ全体に画像光を投写することのできる光学設計がなされた投写ユニット５０を用いてもよい。この変形例では、測定データ取得領域として例えば運転者の中心視野と同じ程度の大きさの領域が設定される。

つまり、システム制御部６０は、画像光が投写されている投写可能範囲１Ａのうちの一部（運転者の中心視野に相当する範囲）の三次元形状の測定データと、運転者の視線の方向とに基づいて補正データを生成し、この補正データを用いて、投写可能範囲１Ａに投写される画像光の元となる画像データのうちの、測定データ取得領域に対応する部分を補正する。これにより、運転者の中心視野においては像の歪みがない状態を得ることができる。

第三の変形例は、第一の変形例又は第二の変形例と組み合わせることができる。

（第四の変形例）
図６は、図１に示す投写表示システムの変形例を示す図である。図６に示す投写表示システムは、ＨＵＤ１０をユニット１０ａ、ユニット１０ｂ、及び、ユニット１０ｃにより構成される投写型表示装置としてのＨＵＤ１０Ａに変更した点を除いては、図１に示す投写表示システムと同じ構成である。

図７は、図６に示す投写表示システムにおけるユニット１０ａの内部構成を示す模式図である。

ユニット１０ａは、図１のＨＵＤ１０に対し、駆動機構２０を削除し、システム制御部６０をシステム制御部６０Ｃに変更し、視線検出部７０を視線検出部７０Ａに変更し、ユニット１０ｂ及びユニット１０ｃと通信するためのインターフェースである通信部８０を追加したものとなっている。

ユニット１０ａの視線検出部７０Ａは、撮像部９で撮像して得られた撮像画像データを取得し、取得した撮像画像データに周知の視線検出処理を施すことで、ＨＵＤ１０Ａが搭載された自動車の複数の乗員の視線を個別に検出する。

ここでは、視線検出部７０Ａが、自動車の運転者の視線と、自動車の助手席に座る同乗者の視線とを個別に検出するものとして説明する。

視線検出部７０Ａは、運転者の視線検出結果（視線の方向の情報）と、同乗者の視線検出結果（視線の方向の情報）とをシステム制御部６０Ｃに通知する。なお、運転者の視線と同乗者の視線の区別は、撮像部９で撮像して得られる撮像画像データ上の眼の位置によって行うことができる。または、乗員毎に虹彩情報や顔画像を登録しておき、虹彩検出処理や顔認識処理によって乗員を区別することも可能である。

図８は、図６に示す投写表示システムにおけるユニット１０ｂの内部構成を示す模式図である。

ユニット１０ｂは、図１のＨＵＤ１０における投写ユニット５０、光源ユニット４０、及び、駆動部４５を備える。

また、ユニット１０ｂは、ユニット１０ａと通信するためのインターフェースである通信部８１を有する。ユニット１０ｂは、この通信部８１により、ユニット１０ａのシステム制御部６０Ｃによってユニット１０ｂの駆動部４５及び光源制御部４０Ａを制御可能に構成されている。

なお、図６に示す投写表示システムにおけるユニット１０ｃの内部構成は、ユニット１０ｂと同じであるため説明を省略する。

図６に示すように、ユニット１０ａの投写ユニット５０から投写される画像光の投写範囲２ａと、ユニット１０ｂの投写ユニット５０から投写される画像光の投写範囲２ｂと、ユニット１０ｃの投写ユニット５０から投写される画像光の投写範囲２ｃは、一方向に並ぶよう設定されている。また、各投写範囲が隙間なく並んでもよい。

投写範囲２ａと投写範囲２ｂと投写範囲２ｃとを合わせた範囲が図１の投写可能範囲１Ａと同じになってもよい。

図６に示すＨＵＤ１０Ａでは、各ユニット１０ａ〜１０ｃに含まれるＲ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂを含む光源と、光変調素子４４と、投写ユニット５０とにより、投写表示部が構成される。つまりＨＵＤ１０Ａは、投写表示部を複数（図６の例では３つ）有する構成である。

図９は、図７に示すシステム制御部６０Ｃの内部構成を示すブロック図である。

システム制御部６０Ｃは、プロセッサを主体にして構成されており、このプロセッサが記憶部３０のＲＯＭに格納されたプログラムを実行することで、測定データ取得部６１Ａ、補正データ生成部６２Ａ、画像データ生成部６３Ａ、画像データ補正部６４Ａ、及び、投写範囲制御部６５Ａとして機能する。

投写範囲制御部６５Ａは、ＨＵＤ１０Ａが画像光を投写する投写範囲を、視線検出部７０Ａにより検出された運転者と同乗者の視線に基づいて制御する。

ＨＵＤ１０Ａのユニット１０ａの記憶部３０には、視線の方向がどの方向であるときに、投写範囲２ａ〜２ｃのどこに画像光を投写するかを定めた投写範囲制御データが記憶されている。

投写範囲制御部６５Ａは、この投写範囲制御データと視線検出部７０Ａにより検出された視線とに基づき、視線の方向に対応する投写範囲に画像光を投写する投写表示部を起動する。

投写範囲制御データは、投写可能範囲１Ａを構成する投写範囲２ａ〜２ｃのうち、運転者の視線と交わる点を含むものと、同乗者の視線と交わる点を含むものとが投写範囲として決定されるようなデータとなっている。

例えば、図１０に示すように、運転者の視線ｅ１とウインドシールド１の交わる点が投写範囲２ｂにあり、同乗者の視線ｅ２とウインドシールド１の交わる点が投写範囲２ｃにあるケースを想定する。

このケースでは、投写範囲制御部６５Ａは、ユニット１０ｂの投写表示部とユニット１０ｃの投写表示部を起動して、投写範囲２ｂと投写範囲２ｃを併せた範囲をＨＵＤ１０Ａによる画像光の投写範囲として制御する。

また、図１１に示すように、運転者の視線ｅ１とウインドシールド１の交わる点が投写範囲２ａにあり、同乗者の視線ｅ２とウインドシールド１の交わる点が投写範囲２ａにあるケースを想定する。

このケースでは、投写範囲制御部６５Ａは、ユニット１０ａの投写表示部を起動して、投写範囲２ａをＨＵＤ１０Ａによる画像光の投写範囲として制御する。

画像データ生成部６３Ａは、投写範囲制御部６５Ａにより起動された投写表示部を駆動する駆動部４５に入力する画像データを、自動車の状況等に基づいて生成する。画像データは運転支援のために必要な情報を含む。また、自動車の状況は自動車の運行状況、または、ガソリン残量など情報であってもよい。

測定データ取得部６１Ａは、ウインドシールド１における投写可能範囲１Ａのうち、視線検出部７０Ａにより検出された運転者の視線と交わる点を含む予め決められた領域の形状の測定データと、ウインドシールド１における投写可能範囲１Ａのうち、視線検出部７０Ａにより検出された同乗者の視線と交わる点を含む予め決められた領域の形状の測定データと、をウインドシールド形状測定装置８から取得する。

記憶部３０には、ウインドシールド１を車内から平面視したときの投写可能範囲１Ａ内の各位置を示す座標で構成される平面座標データが記憶されている。

また、記憶部３０には、平面座標データの座標毎に、この座標に視線が交わるときの運転者の視線の方向を対応付けて記憶した運転者用テーブルデータが記憶されている。

また、記憶部３０には、平面座標データの座標毎に、この座標に視線が交わるときの同乗者の視線の方向を対応付けて記憶した同乗者用テーブルデータと、が記憶されている。

平面座標データと運転者用テーブルデータと同乗者用テーブルデータは投写表示システムの設計段階で決められるデータである。

平面座標データにおいて、投写範囲２ａと対応する座標には投写範囲２ａを示す情報が関連付けられ、投写範囲２ｂと対応する座標には投写範囲２ｂを示す情報が関連付けられ、投写範囲２ｃと対応する座標には投写範囲２ｃを示す情報が関連付けられている。

測定データ取得部６１Ａは、視線検出部７０Ａから運転者の視線の方向が通知されると、記憶部３０の運転者用テーブルデータに基づいて、運転者の視線と交わる投写可能範囲１Ａの座標（運転者視線交点座標）を求める。

測定データ取得部６１Ａは、運転者視線交点座標に関連付けられている投写範囲の情報と同じ情報が関連付けられている全ての座標で示される運転者用エリア座標情報をウインドシールド形状測定装置８に通知する。

ウインドシールド形状測定装置８は、ウインドシールド１の平面視における計測範囲を、通知された運転者用エリア座標情報で指定される範囲に設定し、設定した計測範囲と重なるウインドシールド１の部分の三次元形状を測定し、測定データを測定データ取得部６１Ａに送信する。

このようにして、測定データ取得部６１Ａは、ウインドシールド１における投写可能範囲１Ａのうち、視線検出部７０Ａにより検出された運転者の視線と交わる点（運転者視線交点座標）を含む予め決められた第一の領域（上記の運転者用エリア座標情報で指定される平面範囲と重なる領域）の三次元形状の測定データを取得する。

運転者の視線に基づいて測定データが取得される第一の領域を以下では運転者用測定データ取得領域という。運転者用測定データ取得領域は、図６のシステムにおいては投写範囲２ａ〜２ｃのいずれかと一致する。

測定データ取得部６１Ａは、視線検出部７０Ａから同乗者の視線の方向が通知されると、記憶部３０の同乗者用テーブルデータに基づいて、同乗者の視線と交わる投写可能範囲１Ａの座標（同乗者視線交点座標）を求める。

そして、測定データ取得部６１Ａは、同乗者視線交点座標に関連付けられている投写範囲の情報と同じ情報が関連付けられている全ての座標により示される同乗者用エリア座標情報をウインドシールド形状測定装置８に通知する。

ウインドシールド形状測定装置８は、ウインドシールド１の平面視における計測範囲を、通知された同乗者用エリア座標情報で指定される範囲に設定し、設定した計測範囲と重なるウインドシールド１の部分の三次元形状を測定し、測定データを測定データ取得部６１Ａに送信する。

このようにして、測定データ取得部６１Ａは、ウインドシールド１における投写可能範囲１Ａのうち、視線検出部７０Ａにより検出された同乗者の視線と交わる点（同乗者視線交点座標）を含む予め決められた第二の領域（上記の同乗者用エリア座標情報で指定される平面範囲と重なる領域）の三次元形状の測定データを取得する。

同乗者の視線に基づいて測定データが取得された第二の領域を以下では同乗者用測定データ取得領域という。同乗者用測定データ取得領域は、図６のシステムにおいては投写範囲２ａ〜２ｃのいずれかと一致する。

補正データ生成部６２Ａは、測定データ取得部６１Ａにより取得された測定データと、視線検出部７０Ａにより検出された視線の方向と、に基づいて、測定データが取得された領域に投写される画像光に基づく像を、視線検出部７０Ａにより検出された視線の方向から見た状態での像の歪みを補正するための補正データを生成し、生成した補正データを画像データ補正部６４Ａに送信する。

具体的には、補正データ生成部６２Ａは、運転者用測定データ取得領域と同乗者用測定データ取得領域とが重複する場合には、測定データ取得部６１Ａにより取得された運転者用測定データ取得領域の測定データと、視線検出部７０Ａにより検出された運転者の視線の方向と、に基づいて、運転者測定データ取得領域に投写される画像光に基づく像を、視線検出部７０Ａにより検出された運転者の視線の方向から見た状態での像の歪みを補正するための運転者用補正データを生成する。

また、補正データ生成部６２Ａは、運転者用測定データ取得領域と同乗者用測定データ取得領域とが非重複である場合には、上記の運転者用補正データを生成し、更に、測定データ取得部６１Ａにより取得された同乗者用測定データ取得領域の測定データと、視線検出部７０Ａにより検出された同乗者の視線の方向と、に基づいて、同乗者測定データ取得領域に投写される画像光に基づく像を、視線検出部７０Ａにより検出された同乗者の視線の方向から見た状態での像の歪みを補正するための同乗者用補正データを生成する。

画像データ補正部６４Ａは、補正データ生成部６２Ａから受信した補正データを用いて、画像データ生成部６３Ａで生成された画像データを補正する。

画像データ補正部６４Ａは、運転者用測定データ取得領域と同乗者用測定データ取得領域とが重複する場合には、補正データ生成部６２Ａから入力された運転者用補正データを用いて、運転者用測定データ取得領域に投写する画像光の元となる画像データを補正し、補正後の画像データを、運転者用測定データ取得領域（図１１の例では投写範囲２ａ）に画像光を投写するユニットの駆動部４５に入力して、補正後の画像データに基づく画像光を投写させる。

画像データ補正部６４Ａは、運転者用測定データ取得領域と同乗者用測定データ取得領域とが非重複である場合には、補正データ生成部６２Ａから入力された運転者用補正データを用いて、運転者用測定データ取得領域に投写する画像光の元となる画像データを補正し、補正後の画像データを、運転者用測定データ取得領域（図１０の例では投写範囲２ｂ）に画像光を投写するユニットの駆動部４５に入力して、補正後の画像データに基づく画像光を投写させる。

更に、画像データ補正部６４Ａは、運転者用測定データ取得領域と同乗者用測定データ取得領域とが非重複である場合には、補正データ生成部６２Ａから入力された同乗者用補正データを用いて、同乗者用測定データ取得領域に投写する画像光の元となる画像データを補正し、補正後の画像データを、同乗者用測定データ取得領域（図１０の例では投写範囲２ｃ）に画像光を投写するユニットの駆動部４５に入力して、補正後の画像データに基づく画像光を投写させる。

以上のように、ＨＵＤ１０Ａを用いれば、運転者の視線と同乗者の視線が同じ投写範囲にある場合には、運転者から見て像に歪みがなくなるように、この投写範囲に投写される画像光の元となる画像データが補正される。このため、運転者は虚像を正確に認識することができ運転支援を良好に行うことができる。

また、ＨＵＤ１０Ａによれば、運転者の視線と同乗者の視線が異なる投写範囲にある場合には、運転者の視線がある投写範囲に投写される画像光の元となる画像データが運転者から見て像の歪みがないように補正され、同乗者の視線がある投写範囲に投写される画像光の元となる画像データが同乗者から見て像の歪みがないように補正される。

このように、乗員毎に画像データの補正を行うことで、各乗員が歪みのない虚像を観察することが可能となる。

ＨＵＤ１０Ａでは、上記の第一の変形例を適用することができる。

つまり、補正データ生成部６２Ａは、運転者用補正データを生成したときには、この運転者用補正データの生成に用いた運転者の視線の方向と、この運転者用補正データとを対応付けて記憶部３０のＲＯＭに記憶する。

また、補正データ生成部６２Ａは、同乗者用補正データを生成したときには、この同乗者用補正データの生成に用いた同乗者の視線の方向と、この同乗者用補正データとを対応付けて記憶部３０のＲＯＭに記憶する。

そして、補正データが記憶済みの視線の方向が視線検出部７０Ａにより検出されたときには、記憶済みの補正データを読み出して画像データ補正部６４Ａに入力すればよい。

また、ＨＵＤ１０Ａでは、上記の第二の変形例を適用することができる。

つまり、測定データ取得部６１Ａは、システムの起動時にウインドシールド１の投写可能範囲１Ａの三次元形状の測定データをウインドシールド形状測定装置８から取得して記憶部３０のＲＯＭに記憶する。

そして、測定データ取得部６１Ａは、記憶部３０に記憶した測定データから必要なデータを抽出して取得する。

ここまで説明してきたシステム構成による効果は、投写可能範囲１Ａが大きいサイズになればなるほど顕著となる。これは、投写可能範囲１Ａが大きくなることで、像の歪みが生じやすくなり、画像データの補正の重要性が増すためである。

具体的には、ＨＵＤ１０及びＨＵＤ１０Ａにおける投写可能範囲１Ａが、ウインドシールド１における自動車の運転者の眼の高さから求められる運転者の見下ろし角度が３０度となる範囲と重なった部分より広い範囲である場合に高い効果が得られる。

図１２は、運転者の見下ろし角度とウインドシールドとの関係を示す図である。図１２に示す符号Ｅは、自動車の運転者の眼の高さの範囲として想定されるアイボックスの中心位置を示す。

アイボックスの中心位置Ｅを含む重力方向に垂直な平面と、この平面を地面側に向かって３０度傾けた平面とで囲まれる範囲が、運転者の見下ろし角度が３０度となる範囲である。

図１及び図６のシステムにおいては、ウインドシールド１において、この見下ろし角度が３０度となる範囲と重なった範囲Ｈより広い範囲を投写可能範囲１Ａとした場合に、顕著な効果を得ることができる。

また、ＨＵＤ１０の第三の変形例とＨＵＤ１０Ａでは、投写可能範囲１Ａのサイズによらずとも、投写可能範囲１Ａ前方に虚像として提示される像の最大サイズが大きくなるほど、虚像の歪みが出やすくなる。

このため、ＨＵＤ１０の第三の変形例では、表示サイズが最小で１０インチ以上の虚像を視認可能に投写表示部が画像光の投写を行う構成とした場合に、特に効果が大きい。

また、ＨＵＤ１０Ａでは、ユニット１０ａ〜１０ｃが全て画像光の投写を行った状態での虚像の表示サイズ（虚像の最小サイズ）が１０インチ以上である場合に、特に効果が大きい。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された投写型表示装置は、光源と、上記光源から出射される光を画像データに基づいて空間変調する光変調素子と、上記光変調素子により空間変調された画像光を乗り物のウインドシールドに投写する投写部とを含む投写表示部と、上記乗り物の乗員の視線を検出する視線検出部と、上記ウインドシールドにおける上記画像光が投写可能な投写可能範囲のうち、上記視線検出部により検出された視線と交わる点を含む予め決められた領域の形状の測定データを取得する測定データ取得部と、上記測定データ取得部により取得された測定データと、上記視線検出部により検出された視線の方向と、に基づいて、上記測定データが取得された領域に投写される画像光に基づく像を上記方向から見た状態における像の歪みを補正するための補正データを生成する補正データ生成部と、上記補正データ生成部により生成された補正データを用いて上記画像データを補正する画像データ補正部と、を備えるものである。

開示された投写型表示装置は、上記測定データ取得部は、上記乗り物に設置された物体の三次元形状を測定する測定装置から上記測定データを取得するものである。

開示された投写型表示装置は、上記乗り物に設置された物体の三次元形状を測定する測定装置によって測定された上記投写可能範囲の形状の測定データを記憶する測定データ記憶部を更に備え、上記測定データ取得部は、上記測定データ記憶部から測定データを取得するものである。

開示された投写型表示装置は、上記補正データ生成部は、上記補正データの生成に用いられた視線の方向を上記補正データと対応付けて記憶部に記憶し、上記視線検出部により検出された視線の方向に対応する補正データが上記記憶部に記憶されている場合には、上記補正データの生成を省略し、上記画像データ補正部は、上記視線検出部により検出された視線の方向に対応する補正データが上記記憶部に記憶されている場合には、上記記憶部に記憶された補正データを用いて上記画像データを補正するものである。

開示された投写型表示装置は、上記投写可能範囲における上記画像光の投写範囲を、上記視線検出部により検出された視線に基づいて制御する投写範囲制御部を更に備えるものである。

開示された投写型表示装置は、上記投写範囲制御部は、上記投写可能範囲のうち上記視線検出部により検出された視線が交わる点を含む領域を投写範囲に制御するものである。

開示された投写型表示装置は、上記視線検出部は、複数の乗員の視線を個別に検出し、上記補正データ生成部は、上記投写可能範囲のうち、上記視線検出部により検出された複数の乗員の視線のうちの運転者の視線と交わる点を含む予め決められた第一の領域と、上記複数の乗員の視線のうちの運転者以外の乗員の視線と交わる点を含む予め決められた第二の領域とが重複する場合には、上記測定データ取得部により取得された上記第一の領域の形状の測定データと、上記視線検出部により検出された上記運転者の視線の方向と、に基づいて、上記第一の領域に投写される画像光に基づく像の歪みを補正するための補正データを生成し、上記第一の領域と上記第二の領域が非重複である場合には、上記測定データ取得部により取得された上記第一の領域及び上記第二の領域毎の形状の測定データと、上記視線検出部により検出された乗員毎の視線の方向と、に基づいて、上記第一の領域に投写される画像光に基づく像の歪みと、上記第二の領域に投写される画像光に基づく像の歪みと、を補正するための補正データを生成するものである。

開示された投写型表示装置は、上記投写可能範囲は、上記ウインドシールドにおける、上記乗り物の運転者の眼の高さから求められる上記運転者の見下ろし角度が３０度となる範囲と重なった部分より広い範囲であるものである。

開示された投写型表示装置は、上記投写表示部は、表示サイズが最小で１０インチ以上の虚像を視認可能に上記画像光の投写を行うものである。

開示された投写表示方法は、光源から出射される光を画像データに基づいて変調して得た画像光を乗り物のウインドシールドに投写する投写表示方法であって、上記乗り物の乗員の視線を検出する視線検出ステップと、上記ウインドシールドにおける上記画像光が投写可能な投写可能範囲のうち、上記視線検出ステップにより検出された視線と交わる点を含む予め決められた領域の上記ウインドシールドの形状の測定データを取得する測定データ取得ステップと、上記測定データ取得ステップにより取得された測定データと、上記視線検出ステップにより検出された視線の方向と、に基づいて、上記測定データが取得された領域に投写される画像光に基づく像を上記方向から見た状態における像の歪みを補正するための補正データを生成する補正データ生成ステップと、上記補正データ生成ステップにより生成された補正データを用いて上記画像データを補正する画像データ補正ステップと、を備えるものである。

開示された投写表示方法は、上記測定データ取得ステップでは、上記乗り物に設置された物体の三次元形状を測定する測定装置から上記測定データを取得するものである。

開示された投写表示方法は、上記測定データ取得ステップでは、上記乗り物に設置された物体の三次元形状を測定する測定装置によって測定された上記投写可能範囲の形状の測定データを記憶する測定データ記憶部から測定データを取得するものである。

開示された投写表示方法は、上記補正データ生成ステップでは、上記補正データの生成に用いられた視線の方向と上記補正データとを対応付けて記憶部に記憶し、上記視線検出ステップにより検出された視線の方向に対応する補正データが上記記憶部に記憶されている場合には、上記補正データの生成を省略し、上記画像データ補正ステップでは、上記視線検出ステップにより検出された視線の方向に対応する補正データが上記記憶部に記憶されている場合には、上記記憶部に記憶された補正データを用いて上記画像データを補正するものである。

開示された投写表示方法は、上記投写可能範囲における画像光の投写範囲を、上記視線検出ステップにより検出された視線に基づいて制御する投写範囲制御ステップを更に備えるものである。

開示された投写表示方法は、上記投写範囲制御ステップでは、上記投写可能範囲のうち上記視線検出ステップにより検出された視線が交わる点を含む領域を投写範囲に制御するものである。

開示された投写表示方法は、上記視線検出ステップでは、複数の乗員の視線を個別に検出し、上記補正データ生成ステップでは、上記投写可能範囲のうち、上記視線検出ステップにより検出された複数の乗員の視線のうちの運転者の視線と交わる点を含む予め決められた第一の領域と、上記複数の乗員の視線のうちの運転者以外の乗員の視線と交わる点を含む予め決められた第二の領域とが重複する場合には、上記測定データ取得ステップにより取得された上記第一の領域の形状の測定データと、上記視線検出ステップにより検出された上記運転者の視線の方向と、に基づいて、上記第一の領域に投写される画像光に基づく像の歪みを補正するための補正データを生成し、上記第一の領域と上記第二の領域が非重複である場合には、上記測定データ取得ステップにより取得された上記第一の領域及び上記第二の領域毎の形状の測定データと、上記視線検出ステップにより検出された乗員毎の視線の方向と、に基づいて、上記第一の領域に投写される画像光に基づく像の歪みと、上記第二の領域に投写される画像光に基づく像の歪みと、を補正するための補正データを生成するものである。

開示された投写表示方法は、上記ウインドシールドにおける上記乗り物の運転者の眼の高さから求められる上記運転者の見下ろし角度が３０度となる範囲と重なった部分より広い範囲を上記投写可能範囲とするものである。

開示された投写表示方法は、表示サイズが最小で１０インチ以上の虚像を視認可能に上記画像光の投写を行うものである。

開示された投写表示プログラムは、光源から出射される光を画像データに基づいて変調して得た画像光を乗り物のウインドシールドに投写する投写表示方法をコンピュータに実行させるための投写表示プログラムであって、上記投写表示方法は、上記乗り物の乗員の視線を検出する視線検出ステップと、上記ウインドシールドにおける上記画像光が投写可能な投写可能範囲のうち、上記視線検出ステップにより検出された視線と交わる点を含む予め決められた領域の上記ウインドシールドの形状の測定データを取得する測定データ取得ステップと、上記測定データ取得ステップにより取得された測定データと、上記視線検出ステップにより検出された視線の方向と、に基づいて、上記測定データが取得された領域に投写される画像光に基づく像を上記方向から見た状態における像の歪みを補正するための補正データを生成する補正データ生成ステップと、上記補正データ生成ステップにより生成された補正データを用いて上記画像データを補正する画像データ補正ステップと、を備えるものである。

本明細書で開示されたプログラムは、このプログラムをコンピュータが読取可能な一時的でない（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録されて提供可能である。

このような「コンピュータ読取可能な記録媒体」は、たとえば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−ＲＯＭ）等の光学媒体や、メモリカード等の磁気記録媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。

今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

本発明の投写型表示装置は、自動車等に搭載して利便性が高く、有効である。

１ ウインドシールド
１Ａ 投写可能範囲
２ 投写範囲
３ ダッシュボード
８ ウインドシールド形状測定装置
９ 撮像部
２０ 駆動機構
４０ 光源ユニット
４１ｒ，４１ｇ，４１ｂ 光源
４４ 光変調素子
５０ 投写ユニット
６０ システム制御部
６１ 測定データ取得部
６２ 補正データ生成部
６３ 画像データ生成部
６４ 画像データ補正部
６５ 投写範囲制御部
７０ 視線検出部

Claims (19)

1. 光源と、前記光源から出射される光を画像データに基づいて空間変調する光変調素子と、前記光変調素子により空間変調された画像光を乗り物のウインドシールドに投写する投写部とを含む投写表示部と、
   前記乗り物の乗員の視線を検出する視線検出部と、
   前記ウインドシールドにおける前記画像光が投写可能な投写可能範囲のうち、前記視線検出部により検出された視線と交わる点を含む予め決められた領域の形状の測定データを取得する測定データ取得部と、
   前記測定データ取得部により取得された測定データと、前記視線検出部により検出された視線の方向と、に基づいて、前記測定データが取得された領域に投写される画像光に基づく像を前記方向から見た状態における像の歪みを補正するための補正データを生成する補正データ生成部と、
   前記補正データ生成部により生成された補正データを用いて前記画像データを補正する画像データ補正部と、を備える投写型表示装置。
2. 請求項１記載の投写型表示装置であって、
   前記測定データ取得部は、前記乗り物に設置された物体の三次元形状を測定する測定装置から前記測定データを取得する投写型表示装置。
3. 請求項１記載の投写型表示装置であって、
   前記乗り物に設置された物体の三次元形状を測定する測定装置によって測定された前記投写可能範囲の形状の測定データを記憶する測定データ記憶部を更に備え、
   前記測定データ取得部は、前記測定データ記憶部から測定データを取得する投写型表示装置。
4. 請求項１〜３のいずれか１項記載の投写型表示装置であって、
   前記補正データ生成部は、前記補正データの生成に用いられた視線の方向を前記補正データと対応付けて記憶部に記憶し、前記視線検出部により検出された視線の方向に対応する補正データが前記記憶部に記憶されている場合には、前記補正データの生成を省略し、
   前記画像データ補正部は、前記視線検出部により検出された視線の方向に対応する補正データが前記記憶部に記憶されている場合には、前記記憶部に記憶された補正データを用いて前記画像データを補正する投写型表示装置。
5. 請求項１〜４のいずれか１項記載の投写型表示装置であって、
   前記投写可能範囲における前記画像光の投写範囲を、前記視線検出部により検出された視線に基づいて制御する投写範囲制御部を更に備える投写型表示装置。
6. 請求項５記載の投写型表示装置であって、
   前記投写範囲制御部は、前記投写可能範囲のうち前記視線検出部により検出された視線が交わる点を含む領域を投写範囲に制御する投写型表示装置。
7. 請求項１〜６のいずれか１項記載の投写型表示装置であって、
   前記視線検出部は、複数の乗員の視線を個別に検出し、
   前記補正データ生成部は、前記投写可能範囲のうち、前記視線検出部により検出された複数の乗員の視線のうちの運転者の視線と交わる点を含む予め決められた第一の領域と、前記複数の乗員の視線のうちの運転者以外の乗員の視線と交わる点を含む予め決められた第二の領域とが重複する場合には、前記測定データ取得部により取得された前記第一の領域の形状の測定データと、前記視線検出部により検出された前記運転者の視線の方向と、に基づいて、前記第一の領域に投写される画像光に基づく像の歪みを補正するための補正データを生成し、前記第一の領域と前記第二の領域が非重複である場合には、前記測定データ取得部により取得された前記第一の領域及び前記第二の領域毎の形状の測定データと、前記視線検出部により検出された乗員毎の視線の方向と、に基づいて、前記第一の領域に投写される画像光に基づく像の歪みと、前記第二の領域に投写される画像光に基づく像の歪みと、を補正するための補正データを生成する投写型表示装置。
8. 請求項１〜７のいずれか１項記載の投写型表示装置であって、
   前記投写可能範囲は、前記ウインドシールドにおける前記乗り物の運転者の眼の高さから求められる前記運転者の見下ろし角度が３０度となる範囲と重なった部分より広い範囲である投写型表示装置。
9. 請求項１〜８のいずれか１項記載の投写型表示装置であって、
   前記投写表示部は、表示サイズが最小で１０インチ以上の虚像を視認可能に前記画像光の投写を行う投写型表示装置。
10. 光源から出射される光を画像データに基づいて変調して得た画像光を乗り物のウインドシールドに投写する投写表示方法であって、
    前記乗り物の乗員の視線を検出する視線検出ステップと、
    前記ウインドシールドにおける前記画像光が投写可能な投写可能範囲のうち、前記視線検出ステップにより検出された視線と交わる点を含む予め決められた領域の前記ウインドシールドの形状の測定データを取得する測定データ取得ステップと、
    前記測定データ取得ステップにより取得された測定データと、前記視線検出ステップにより検出された視線の方向と、に基づいて、前記測定データが取得された領域に投写される画像光に基づく像を前記方向から見た状態における像の歪みを補正するための補正データを生成する補正データ生成ステップと、
    前記補正データ生成ステップにより生成された補正データを用いて前記画像データを補正する画像データ補正ステップと、を備える投写表示方法。
11. 請求項１０記載の投写表示方法であって、
    前記測定データ取得ステップでは、前記乗り物に設置された物体の三次元形状を測定する測定装置から前記測定データを取得する投写表示方法。
12. 請求項１０記載の投写表示方法であって、
    前記測定データ取得ステップでは、前記乗り物に設置された物体の三次元形状を測定する測定装置によって測定された前記投写可能範囲の形状の測定データを記憶する測定データ記憶部から測定データを取得する投写表示方法。
13. 請求項１０〜１２のいずれか１項記載の投写表示方法であって、
    前記補正データ生成ステップでは、前記補正データの生成に用いられた視線の方向と前記補正データとを対応付けて記憶部に記憶し、前記視線検出ステップにより検出された視線の方向に対応する補正データが前記記憶部に記憶されている場合には、前記補正データの生成を省略し、
    前記画像データ補正ステップでは、前記視線検出ステップにより検出された視線の方向に対応する補正データが前記記憶部に記憶されている場合には、前記記憶部に記憶された補正データを用いて前記画像データを補正する投写表示方法。
14. 請求項１０〜１３のいずれか１項記載の投写表示方法であって、
    前記投写可能範囲における画像光の投写範囲を、前記視線検出ステップにより検出された視線に基づいて制御する投写範囲制御ステップを更に備える投写表示方法。
15. 請求項１４記載の投写表示方法であって、
    前記投写範囲制御ステップでは、前記投写可能範囲のうち前記視線検出ステップにより検出された視線が交わる点を含む領域を投写範囲に制御する投写表示方法。
16. 請求項１０〜１５のいずれか１項記載の投写表示方法であって、
    前記視線検出ステップでは、複数の乗員の視線を個別に検出し、
    前記補正データ生成ステップでは、前記投写可能範囲のうち、前記視線検出ステップにより検出された複数の乗員の視線のうちの運転者の視線と交わる点を含む予め決められた第一の領域と、前記複数の乗員の視線のうちの運転者以外の乗員の視線と交わる点を含む予め決められた第二の領域とが重複する場合には、前記測定データ取得ステップにより取得された前記第一の領域の形状の測定データと、前記視線検出ステップにより検出された前記運転者の視線の方向と、に基づいて、前記第一の領域に投写される画像光に基づく像の歪みを補正するための補正データを生成し、前記第一の領域と前記第二の領域が非重複である場合には、前記測定データ取得ステップにより取得された前記第一の領域及び前記第二の領域毎の形状の測定データと、前記視線検出ステップにより検出された乗員毎の視線の方向と、に基づいて、前記第一の領域に投写される画像光に基づく像の歪みと、前記第二の領域に投写される画像光に基づく像の歪みと、を補正するための補正データを生成する投写表示方法。
17. 請求項１０〜１６のいずれか１項記載の投写表示方法であって、
    前記ウインドシールドにおける前記乗り物の運転者の眼の高さから求められる前記運転者の見下ろし角度が３０度となる範囲と重なった部分より広い範囲を前記投写可能範囲とする投写表示方法。
18. 請求項１０〜１７のいずれか１項記載の投写表示方法であって、
    表示サイズが最小大で１０インチ以上の虚像を視認可能に前記画像光の投写を行う投写表示方法。
19. 光源から出射される光を画像データに基づいて変調して得た画像光を乗り物のウインドシールドに投写する投写表示方法をコンピュータに実行させるための投写表示プログラムであって、
    前記投写表示方法は、
    前記乗り物の乗員の視線を検出する視線検出ステップと、
    前記ウインドシールドにおける前記画像光が投写可能な投写可能範囲のうち、前記視線検出ステップにより検出された視線と交わる点を含む予め決められた領域の前記ウインドシールドの形状の測定データを取得する測定データ取得ステップと、
    前記測定データ取得ステップにより取得された測定データと、前記視線検出ステップにより検出された視線の方向と、に基づいて、前記測定データが取得された領域に投写される画像光に基づく像を前記方向から見た状態における像の歪みを補正するための補正データを生成する補正データ生成ステップと、
    前記補正データ生成ステップにより生成された補正データを用いて前記画像データを補正する画像データ補正ステップと、を備える投写表示プログラム。