JP6271820B2 - 投写型表示装置及び投写制御方法 - Google Patents

Description

本発明は、投写型表示装置及び投写制御方法に関する。

自動車等の乗り物のウインドシールド、または、ウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）が知られている。このＨＵＤによれば、利用者は、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。

特許文献１及び特許文献２には、ショベルローダー及びクレーン等、建設および土木の作業に用いられるさまざまな機械類である建設機械としてＨＵＤを搭載したものが記載されている。

特許文献３には、ウインドシールドに画像光を投写するプロジェクタを搭載する建設機械が記載されている。

特開２００２−１４６８４６号公報 特開２０１０−１８１４１号公報 特開２００９−２４３０７３号公報

建設機械においては、自動車等の輸送を主目的とする乗り物とは違い、操作者の視線移動が特に縦方向において頻繁に行われる。また、輸送を主目的とする乗り物と違って操作者の縦方向における視線の移動範囲は広い。また、建設機械では、操作対象となるパワーショベルおよび／またはバケットの動きに合わせて操作者の視線が動くことになる。また、建設機械では、パワーショベルおよび／またはバケットを細かく操作して作業を行うことから、ウインドシールドがある場合には、ウインドシールド前方の視界は十分に確保されていることが望ましい。このような事情から、操作席前方にウインドシールドがある建設機械においては、このウインドシールドの広範囲にて虚像を視認できるようにすることが好ましい。

特許文献１に記載の建設機械は、操作者の作業に必要とされる全視野をカバーするに充分な大きさを有する半透明球面反射鏡と、この半透明球面反射鏡に光を投写する投写方向が可変の投写部とを組み合わせることによって、広範囲で虚像を視認できるようにしている。しかし、この建設機械では、半透明球面反射鏡の光学設計が難しく、また、半透明球面反射鏡として大きいものを利用するため、建設機械の製造コストが高くなる。また、半透明球面反射鏡は、建設機械運転時の震動により破損する可能性がある、像がぶれる等の作業性および信頼性も悪くなる

特許文献２に記載の建設機械は、操作者の足元からウインドシールドに光を投写するものである。このため、操作者の視線が上方向に向いている場合には、操作者に虚像を視認させることはできず、広範囲での虚像提示はできない。

特許文献３に記載の建設機械は、ウインドシールドにプロジェクタによって画像光を投写して操作者に実像を提示するものである。このため、画像光が投写された部分での視界が悪くなり、作業効率を低下させる可能性がある。

なお、操作者の眼の位置よりも上側と下側とにそれぞれ投写部を設置し、ウインドシールドの上側と下側とに画像光を投写して広範囲での虚像を視認させることが考えられる。しかし、この構成では投写部の数が多くなることによって建設機械の製造コストが増大する。また、建設機械の操作室の空間には限りがあり、複数の投写部を設けるだけのスペースを確保するのが難しい。また、複数の投写部を用いると、各投写部に光源等が含まれるため、建設機械の消費電力が大きくなったり、投写部の発熱によって操作室の室温が上昇したりする。

ここまでは建設機械を例にして課題を説明してきたが、同様の課題はトラクタ等の農作機械およびその他の作業用機械においても生じ得る。つまり、建設機械および農作機械等の作業を行うための作業用機械であれば同様の課題が生じる。

本発明は、上記事情に鑑みてなされたものであり、作業用機械の製造コストと消費電力を増大させることなく、作業用機械のウインドシールド前方の広範囲において虚像を視認可能にすることのできる投写型表示装置及び投写制御方法を提供することを目的とする。

本発明の投写型表示装置は、画像光を投写する投写部と、上記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、上記操作者の視線を検出する視線検出部と、上記作業用機械に設けられ、上記作業用機械の操作席に着席している操作者の頭部に装着されている上記投写部から投写された画像光を上記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、上記ウインドシールドに対する上記反射面の角度を変更するための反射部材駆動機構と、上記視線検出部により検出される視線に基づいて、上記投写部駆動機構を介し上記投写部の投写光軸を上記反射部材の反射面と交わる方向に制御し、上記反射部材駆動機構を介し上記反射部材の反射面の上記角度を制御する制御部と、を備えるものである。

本発明の投写制御方法は、画像光を投写する投写部と、上記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、上記作業用機械に設けられ、上記作業用機械の操作席に着席している操作者の頭部に装着されている上記投写部から投写された画像光を上記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、上記ウインドシールドに対する上記反射面の角度を変更するための反射部材駆動機構と、を備える投写型表示装置の投写制御方法であって、上記操作者の視線を検出する視線検出ステップと、上記視線検出ステップにより検出される視線に基づいて、上記投写部駆動機構を介し上記投写部の投写光軸を上記反射部材の反射面と交わる方向に制御し、上記反射部材駆動機構を介し上記反射部材の反射面の上記角度を制御する制御ステップと、を備えるものである。

本発明によれば、作業用機械の製造コストを増大させることなく、作業用機械のウインドシールド前方の広範囲において虚像を視認可能にすることのできる投写型表示装置及び投写制御方法を提供することができる。

本発明の投写型表示装置の一実施形態であるＨＵＤシステム１０を搭載する建設機械１００の概略構成を示す模式図である。 図１に示す建設機械１００における運転室内の構成例を示す図である。 図１に示すＨＵＤシステム１０を構成するユニット２の内部構成を示す模式図である。 ユニット２からの画像光の投写光軸と、反射部材５の反射面の角度との制御例を説明する図である。 操作者の視線が上方を向いている場合の投写光軸の制御例を示す図である。 操作者の視線が下方を向いている場合の投写光軸の制御例を示す図である。 操作者の視線がやや上方を向いている場合の投写光軸の制御例を示す図である。 図１に示すＨＵＤシステム１０の動作を説明するためのフローチャートである。 図３に示すユニット２の変形例であるユニット２ａの内部構成を示す模式図である。 図９に示すユニット２ａを有するＨＵＤシステム１０の動作を説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の投写型表示装置の一実施形態であるＨＵＤシステム１０を搭載する建設機械１００の概略構成を示す模式図である。

図１に示すＨＵＤシステム１０は、建設機械１００に搭載されて用いられるものであるが、建設機械ではなく農作機械等の作業用機械にも搭載可能である。つまり、図１に示すＨＵＤシステム１０は、建設機械および農作機械等の作業用機械に搭載して用いられる。

図１に示すＨＵＤシステム１０は、操作者が頭部に装着するヘルメット１に固定されるユニット２と、操作者が建設機械１００の操作席８に着席した状態で、操作者の頭部よりも上方の運転室内（図１の例では天井）に設けられる反射部材３と、反射部材３を運転室上方で回動可能に支持する反射部材駆動機構４と、操作者が操作席８に着席した状態で、操作者の頭部よりも下方の運転室内（図１の例ではダッシュボード９上）に設けられる反射部材５と、反射部材５をダッシュボード９上で回動可能に支持する反射部材駆動機構６と、を備える。ユニット２は、ヘルメット１と一体化されている構成の他、ヘルメット１に対し着脱可能な構成としてもよい。

ヘルメット１は、人の頭部を保護する帽子型の保護部材であり、建設機械１００に乗車する操作者によって装着される。

ユニット２は、建設機械１００のウインドシールド７の前方において虚像を視認可能な条件により画像光を投写する。ユニット２は、ヘルメット１の右側面または左側面（図１の例では右側面）に固定されており、操作者の視線に応じて画像光の投写方向（投写光軸）を変えることができるようになっている。

反射部材３は、ヘルメット１に固定されたユニット２から投写された画像光をウインドシールド７に反射するための反射面３ａを有する。反射部材駆動機構４は、反射部材３を回動させて、ウインドシールド７に対する反射面３ａの角度を変更する。反射面３ａは、光の反射率が高い材料によりコーティングされた面であればよく、反射部材３としては例えば鏡が用いられる。

反射部材５は、ヘルメット１に固定されたユニット２から投写された画像光をウインドシールド７に反射するための反射面５ａを有する。反射部材駆動機構６は、反射部材５を回動させて、ウインドシールド７に対する反射面５ａの角度を変更する。反射面５ａは、光の反射率が高い材料によりコーティングされた面であればよく、反射部材５としては例えば鏡が用いられる。

反射部材３及び反射部材５は、建設機械１００の運転室内に、重力方向（図１の上下方向）に離間して設けられていることにより、ヘルメット１に固定されたユニット２から出射される画像光を様々な角度で反射する。

これら２つの反射部材３及び反射部材５により、ＨＵＤシステム１０の反射部材が構成される。また、２つの反射部材駆動機構４及び反射部材駆動機構６により、ＨＵＤシステム１０の反射部材駆動機構が構成される。

ＨＵＤシステム１０では、ユニット２が、操作者が装着するヘルメット１に固定されかつ画像光の投写光軸が変更可能となっている。また、反射部材３及び反射部材５が、建設機械１００の運転室内に、重力方向で離間して回動可能に設けられている。このような構成により、ウインドシールド７の広範囲にわたり操作者に虚像を提示することを可能にしている。

建設機械１００の操作者は、ウインドシールド７に投写され、ここで反射された画像光を見ることによって、建設機械１００の操作を支援するための絵および文字等の情報を視認することができる。また、ウインドシールド７は、ユニット２から投写された画像光を反射すると同時に、外部（外界）からの光を透過する機能を持つ。このため、操作者は、ユニット２から投写された画像光に基づく虚像を外界の景色に重ねて視認することができる。

図２は、図１に示す建設機械１００における運転室内の構成例を示す図である。図２は、ウインドシールド７を操作席８から見た正面図を示している。

建設機械１００は、機体前方中央部に、アーム２１及びバケット２２を備える油圧ショベルである。

運転室は、フロントウィンドウとしてのウインドシールド７、右サイドウィンドウ２３、左サイドウィンドウ２４等の透明ウィンドウに取り囲まれており、少なくとも、アーム２１の曲げ伸ばしを操作するための左操作レバー２５、及び、バケット２２の掘削および開放を操作するための右操作レバー２６等を操作席８周りに備える。

ウインドシールド７には、ユニット２から投写された画像光が投写される領域として投写範囲７Ａが割り当てられており、画像光を反射すると同時に、外部（外界）からの光を透過する。

図３は、図１に示すユニット２の内部構成を示す模式図である。

ユニット２は、光源ユニット４０、駆動部４５、投写光学系４６、拡散板４７、反射ミラー４８、拡大鏡４９、及び投写部駆動機構５０を備える投写ユニット２Ａと、システム制御部６０、視線検出部６１、及び電源供給部６２、を備える制御ユニット２Ｂとで構成されている。

投写ユニット２Ａ及び制御ユニット２Ｂは、別体として構成してもよいし、単体で構成しても良い。

光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、光変調素子４４と、を備えている。

ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。

Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子が用いられる。本実施形態では、光源ユニット４０の光源として、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの光源を含むものとしているが、光源の数は１つ、２つ、又は、４つ以上であってもよい。

光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってＲ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂから光を順次出射させる制御を行う。

光変調素子４４は、ダイクロイックプリズム４３から出射された光を変調し、画像情報である投写用画像データに応じた光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射する。

光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、及び液晶表示素子等を用いることができる。

駆動部４５は、システム制御部６０から入力される投写用画像データにしたがって光変調素子４４を駆動し、投写用画像データに応じた光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射させる。

投写光学系４６は、光源ユニット４０の光変調素子４４から出射された可視光を、拡散板４７に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。例えば、走査型スキャナから出射された光を拡散板４７により拡散させて面光源化してもよい。

反射ミラー４８は、拡散板４７により拡散された光を拡大鏡４９側に反射させる。

拡大鏡４９は、反射ミラー４８により反射されてきた光に基づく像を拡大させてウインドシールド７に投写する。

投写ユニット２Ａ内の光源ユニット４０、投写光学系４６、拡散板４７、反射ミラー４８、及び拡大鏡４９により、投写用画像データに基づく画像光を投写するＨＵＤシステム１０の投写部が構成される。

投写部駆動機構５０は、投写ユニット２Ａから投写される画像光の投写光軸を変更するための駆動機構であり、投写ユニット２Ａを回動させることによって投写光軸を変更する。投写部駆動機構５０はシステム制御部６０によって制御される。投写ユニット２Ａが回動することによって、投写ユニット２Ａから出射される画像光の投写光軸が変更される。

システム制御部６０は、光源制御部４０Ａ、駆動部４５、及び投写部駆動機構５０を制御する。システム制御部６０は、駆動部４５と光源制御部４０Ａを制御して、投写用画像データに基づく画像光を投写させる。

システム制御部６０は、投写部駆動機構５０を制御して、投写ユニット２Ａを回動させて、投写ユニット２Ａから出射される画像光の投写光軸を制御する。

システム制御部６０は、反射部材駆動機構４及び反射部材駆動機構６と無線通信可能となっており、反射部材駆動機構４を介して反射部材３の反射面３ａのウインドシールド７に対する角度を制御し、かつ、反射部材駆動機構６を介して反射部材５の反射面５ａのウインドシールド７に対する角度を制御する。

システム制御部６０により、ＨＵＤシステム１０の制御部が構成される。システム制御部６０の詳しい機能は後述する。

視線検出部６１は、操作者の視線を検出し、検出した操作者の視線を示す情報をシステム制御部６０に入力する。

操作者の視線の検出方法は、例えば以下に示す第一の検出方法、および第二の検出方法が挙げられるが、これらの方法に限らない。

（第一の検出方法）
例えば、撮像部を建設機械１００のダッシュボード９に搭載しておき、この撮像部が、操作席８に着席している操作者の顔を撮像し、撮像した画像データを無線通信により視線検出部６１に転送する。そして、視線検出部６１は、撮像画像データを公知の画像解析処理により解析し、操作者の視線方向を検出する。

（第二の検出方法）
例えば、ユニット２の制御ユニット２Ｂに加速度センサを搭載しておく。制御ユニット２Ｂは、ヘルメット１に固定されているため、この加速度センサから出力される加速度情報は、操作者の頭部の動きに応じた情報となる。この加速度情報に基づいて、頭部がどの程度傾いているかを判断することによって、操作者の視線方向を大まかな精度で検出することができる。

電源供給部６２は、システム制御部６０及び視線検出部６１に電源を供給し、かつ、投写ユニット２Ａ全体へ電源を供給する電源装置である。電源供給部６２は、交換可能な電池式でもよいし、あるいは、充電可能なバッテリ式でもよい。電源供給部６２により、ユニット２は電池によって動作するため、ユニット２が建設機械１００からの電源供給を受けずに済み、建設機械１００の燃費向上が可能となる。また、ユニット２への電源供給をワイヤレス給電によって行う構成としてもよい。

システム制御部６０は、視線検出部６１により検出された操作者の視線に基づいて、予め内部メモリ（図示せず）に記憶しておいたテーブルを参照し、操作者の視線に対応する調整データを読み出し、読み出した調整データに基づいて、反射部材駆動機構４、反射部材駆動機構６、及び投写部駆動機構５０を制御する。

内部メモリに記憶されるテーブルには、視線方向と、投写ユニット２Ａの回動角度と、反射部材３または反射部材５の回動角度とが対応づけられ、調整データとして記憶されている。

例えば、図４に示すように、操作者の視線が正面を向いている状況で、虚像を操作者に視認させるためには、投写ユニット２Ａから出射される画像光を、視線方向Ａ１から操作者の目に入射させる必要がある。しかし、投写ユニット２Ａは、操作者の頭部に装着されるため操作者の目線からずれた位置にあり、また、ウインドシールド７は垂直に構成されているわけではない。このため、投写ユニット２Ａからウインドシールド７に画像光を直接投写するのでは、視線方向Ａ１から画像光を操作者の目に入射させることは難しい。

この場合は、視線方向Ａ１と、視線方向Ａ１とウインドシールド７との交点位置におけるウインドシールド７の法線方向とのなす角度を角度θ２とし、操作者の目から視線方向Ａ１に進む光がウインドシールド７の上記の交点位置で正反射する場合の反射光の方向Ａ２と反射面５ａの法線方向とのなす角度を角度θ１とすると、投写ユニット２Ａから反射部材５の反射面５ａの法線に対して角度θ１となる方向Ａ３から画像光を投写することによって、視線方向Ａ１から操作者の目に画像光を入射させることができる。

したがって、この場合は、操作者の視線方向に対し、画像光が反射面５ａに対して角度θ１で入射するのを実現するための投写ユニット２Ａの回動量と反射面５ａの回動量との組み合わせの情報が対応付けられて、調整データとして生成される。

このようにして、操作者の視線方向から操作者の目に画像光が入射されるように、反射部材５（あるいは反射部材３）の反射面の回動量及び投写ユニット２Ａの回動量が、操作者の視線方向毎に求められ、予め調整データとして内部メモリに記憶される。

ここでは、調整データを予め生成して内部メモリに記憶しておくものとしたが、建設機械１００の設計情報と反射部材４及び反射部材６の構造及び配置情報を用いて、調整データをリアルタイムに算出して利用してもよい。

図５は、操作者の視線が上方を向いている場合の画像光の投写光軸の制御例を示す図である。

視線検出部６１によって、操作者の視線が上方を向いていることが検出された場合、システム制御部６０は、内部メモリから、視線検出部６１により検出された視線方向に対応付けられている調整データを読み出す。

システム制御部６０は、読み出した調整データに基づいて、投写部駆動機構５０及び反射部材駆動機構４を制御する。投写部駆動機構５０及び反射部材駆動機構４は、投写ユニット２Ａから出射される画像光の投写光軸と、反射部材３の反射面３ａの法線方向とのなす角度がθ３となるように、投写ユニット２Ａと反射部材３の回動量を制御する。

この制御により、投写ユニット２Ａから出射された画像光は入射角θ３で反射部材３に入射され、反射角θ３で反射され、さらにその画像光が、ウインドシールド７の投写面に入射角θ４で入射され、反射角θ４で反射されて操作者の目に入射される。これによって、操作者は、視線を上方に向けたとしても、ウインドシールド７に投写された画像光に基づく虚像を確実に視認することができる。

図６は、操作者の視線が下方を向いている場合の画像光の投写光軸の制御例を示す図である。

視線検出部６１によって、操作者の視線が下方を向いていることが検出された場合、システム制御部６０は、内部メモリから、視線方向検出部６１により検出された視線方向に対応付けられている調整データを読み出す。

システム制御部６０は、読み出した調整データに基づいて、投写部駆動機構５０及び反射部材駆動機構６を制御する。投写部駆動機構５０及び反射部材駆動機構６は、投写ユニット２Ａから出射される画像光の投写光軸と、反射部材５の反射面５ａの法線方向とのなす角度がθ５となるように、投写ユニット２Ａと反射部材５の回動量を制御する。

この制御により、投写ユニット２Ａから出射された画像光は入射角θ５で反射部材５に入射され、反射角θ５で反射され、さらにその画像光が、ウインドシールド７の投写面に入射角θ６で入射され、反射角θ６で反射されて操作者の目に入射される。これによって、操作者は、視線を下方に向けたとしても、ウインドシールド７に投写された画像光に基づく虚像を確実に視認することができる。

ここまでは、調整データとして、視線方向と、投写ユニット２Ａの回動量と、反射部材３または反射部材５の回動量とが対応づけられたものを説明してきた。しかし、図７に示すように、ウインドシールド７の法線方向と操作者の視線方向のなす角度θ３１が閾値以下となるケースでは、反射面５ａ又は反射面３ａにて画像光を反射させる方法では、視線方向から画像光を操作者の目に入射させることができない。このケースでは、画像光をウインドシールド７に直接投写する必要がある。

このため、このようなケースに限っては、視線方向と、投写ユニット２Ａの回動量とを対応付けたデータが調整データとして内部メモリに記憶される。

具体的に、図７のケースでは、操作者の視線方向に対し、ウインドシールド７に対して画像光が角度θ３１で入射するのを実現するための投写ユニット２Ａの回動量が対応付けられて、調整データとして記憶される。

図８は、図１に示すＨＵＤシステム１０の動作を説明するためのフローチャートである。

ＨＵＤシステム１０が起動すると、制御ユニット２Ｂの視線検出部６１は操作者の視線を検出する（ステップＳ１）。

システム制御部６０は、視線検出部６１から入力される視線方向の情報に対応する調整データを内部メモリから読み出す（ステップＳ２）。

システム制御部６０は、読み出した調整データに基づいて、投写部駆動機構５０と、反射部材駆動機構４または反射部材駆動機構６と、の少なくとも一方を制御して、投写ユニット２Ａと、反射部材３（または反射部材５）と、の少なくとも一方を回動させる（ステップＳ３）。

ステップＳ３により、投写ユニット２Ａから出射された投写用画像データに基づく画像光がウインドシールド７の投写範囲７Ａに投写される。投射用画像データは、例えば、建設機械１００の走行速度情報、燃料情報、工事情報等を表示するためのデータである。

ステップＳ３の後は、ステップＳ１に戻り、上述した処理が繰り返される。

以上のように、図１に示すＨＵＤシステム１０によれば、作業現場における作業中においては、操作者が装着するヘルメット１に固定されたユニット２と、重力方向に離間して設けられた反射部材３及び反射部材５とによって、ウインドシールド７の広範囲に画像光を投写させることができる。これによって、操作対象となるショベルおよびバケット等の動きに合わせて操作者の縦方向における視線移動が大きくなっても、操作者に十分な作業支援を行うことができる。

また、ＨＵＤシステム１０は、投写ユニット２Ａを１つだけ有する構成である。このため、建設機械１００に複数の投写ユニットを搭載する構成に比べると、ＨＵＤシステム１０の製造コストを抑えることができる。また、ヘルメット１に投写ユニット２Ａが固定される構成であるため、建設機械１００の運転室内における空間の制約を受けることなく、広範囲での虚像提示を行うことが可能となり、建設機械１００の設計に影響を与えることがない。

また、ＨＵＤシステム１０によれば、投写ユニット２Ａが１つであるため、ＨＵＤシステム１０の消費電力および発熱を抑えることができる。また、ＨＵＤシステム１０によれば、ユニット２が電池で動作するため、建設機械１００の電力をＨＵＤシステム１０のために消費しなくてすみ、建設機械１００の燃費を向上させることができる。

また、ＨＵＤシステム１０によれば、ユニット２と、単純な構造の反射部材３及び反射部材５とによって広範囲での虚像提示が可能となる。このため、複雑な構造となる半透明球面反射鏡を用いる場合と比較すると、装置の製造コストの低下と、装置の信頼性向上とを実現することができる。

以上の説明では、投写ユニット２Ａと制御ユニット２Ｂとを有するユニット２がヘルメット１に固定されるものとしたが、制御ユニット２Ｂは、ユニット２の外部、例えば建設機械１００のダッシュボード９の内部に設けるようにしてもよい。

この場合は、投写ユニット２Ａ側に電源供給部６２が設けられ、制御ユニット２Ｂのシステム制御部６０は、無線通信によりヘルメット１に固定された投写ユニット２Ａの各部を制御する構成とする。ユニット２外部の制御ユニット２Ｂは、電池で動作するようにしてもよいし、建設機械１００の図示せぬ電源供給部から電源が供給されるようにしてもよい。

このように、制御ユニット２Ｂをユニット２外部に設ける構成とすることによって、ヘルメット１に装着されるユニット２を軽量化することができ、ヘルメット１を装着する操作者の負担を軽減することができる。

図９は、図３に示すユニット２の変形例であるユニット２ａの内部構成を示す模式図である。図９において図３と同じ構成には同一符号を付して説明を省略する。

図９に示すユニット２ａは、ユニット２において制御ユニット２Ｂを制御ユニット２Ｂａに変更したものとなっている。

制御ユニット２Ｂａは、制御ユニット２Ｂの構成に加えて、形状データ取得部６３が追加された構成である。

形状データ取得部６３は、ウインドシールド７の形状データを取得し、取得した形状データをシステム制御部６０に入力する。

ウインドシールド７の形状データの取得方法としては、建設機械１００に設けられた物体の三次元形状を測定する測定装置から形状データを取得する方法がある。この測定装置は、例えば深度センサが用いられる。

深度センサとしては、赤外線発光部と赤外線受光部を用いてタイムオブフライト方式等により物体までの距離を算出する方式、２つのカメラで物体を撮像して得られる２つの撮像画像データに基づいて物体までの距離を算出する方式、１つのカメラを移動させながら複数位置で物体を撮像して得られる複数の撮像画像データに基づいて物体までの距離を算出する方式等、周知の方式のものを採用することができる。

また、ウインドシールド７の形状データの取得方法としては、上記の測定装置を用いて予め測定しておいたウインドシールド７の形状データをメモリに記憶しておき、このメモリから形状データを取得する方法がある。

システム制御部６０は、視線検出部６１により検出された操作者の視線と、形状データ取得部６３から取得した形状データとに基づいて、ウインドシールド７上での視線との交点位置を判定する。そして、システム制御部６０は、交点位置におけるウインドシールド７の垂線方向と、視線検出部６１により検出された操作者の視線方向とのなす角度（図４の例で言えばθ２）を算出する。

図４の例において、角度θ２が算出できれば、ウインドシールド７の上記の交点位置に対し入射角θ２で画像光を入射させるために必要な反射部材５の回動量と、投写ユニット２Ａの回動量とを決めることができる。図９の制御ユニット２Ｂでは、この角度と、反射部材３又は反射部材５の回動量、及び、投写ユニット２Ａの回動量と、を対応付けた調整データが内部メモリに記憶される。

なお、図７の例では、角度θ３１は小さくなる。この場合には、ウインドシールド７の上記の交点位置に対し入射角θ３１で画像光を入射させるために必要な投写ユニット２Ａの回動量と、この角度θ３１とが対応付けられて、調整データとして記憶される。

システム制御部６０は、算出した角度に対応する調整データを取得し、この調整データに基づいて、反射部材駆動機構４、反射部材駆動機構６、及び投写部駆動機構５０を制御する。

図１０は、図９に示すユニット２ａを有するＨＵＤシステム１０の動作を説明するためのフローチャートである。

ＨＵＤシステム１０が起動すると、制御ユニット２Ｂａの視線検出部６１は操作者の視線を検出し、形状データ取得部６３は、ウインドシールド７の形状データを取得する（ステップＳ１２）。

システム制御部６０は、視線検出部６１から入力された視線方向の情報と形状データ取得部６３により取得された形状データとに基づいて、操作者の視線とウインドシールド７との交点位置を判定する（ステップＳ１３）。

次に、システム制御部６０は、ステップＳ１３で判定した交点位置におけるウインドシールド７の垂線方向と、視線検出部６１から入力された視線方向とのなす角度を算出する（ステップＳ１４）。

システム制御部６０は、算出した角度が閾値以下か否かを判定し（ステップＳ１５）、この角度が閾値を超えていると判定した場合（ステップＳ１５：ＮＯ）は、この角度に対応する調整データに基づいて、投写ユニット２Ａと反射部材３または反射部材５とを回動させる（ステップＳ１６）。

ステップＳ１６の処理により、投写ユニット２Ａの投写光軸の方向は反射部材３または反射部材５の反射面と交わる方向に制御され、反射部材３または反射部材５の反射面のウインドシールド７に対する角度が制御される。したがって、投写ユニット２Ａから出射された投写用画像データに基づく画像光は、反射部材３または反射部材５で反射されて、ウインドシールド７の上記の交点位置に投写され、ここで更に反射して操作者の目に入射する。

一方、システム制御部６０は、ステップＳ１４で算出した角度が閾値以下であると判定した場合（ステップＳ１５：ＹＥＳ）は、この角度に対応する調整データに基づいて、投写ユニット２Ａを回動させる（ステップＳ１７）。

ステップＳ１７の処理により、投写ユニット２Ａの投写光軸の方向はウインドシールド７と交わる方向に制御され、反射部材３または反射部材５の反射面のウインドシールド７に対する角度は制御されない。したがって、投写ユニット２Ａから出射された投写用画像データに基づく画像光は、ウインドシールド７の上記の交点位置に直接投写され、ここで反射して操作者の目に入射する。

ステップＳ１６またはステップＳ１７の処理の後は、ステップＳ１２に戻り、上述した処理が繰り返される。

以上のように、図９のユニット２ａによれば、ウインドシールド７の形状データと、操作者の視線とに基づいて、視線とウインドシールド７との交点位置を判定し、この判定した交点位置から求まる垂線方向と視線方向との角度に対応する駆動量で、投写ユニット２Ａと、反射部材３又は反射部材５とが回動される。

ウインドシールド７の形状は、建設機械１００の型式によって異なったり、型式が同じでも製造誤差によって異なったりする。したがって、測定装置によって測定されたウインドシールド７の形状データを利用して、投写ユニット２Ａと、反射部材３又は反射部材５との駆動量（回動量）を決めることによって、投写ユニット２Ａと、反射部材３又は反射部材５との回動制御をより正確に行うことができる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された投写型表示装置は、画像光を投写する投写部と、上記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、上記操作者の視線を検出する視線検出部と、上記作業用機械に設けられ、上記作業用機械の操作席に着席している操作者の頭部に装着されている上記投写部から投写された画像光を上記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、上記ウインドシールドに対する上記反射面の角度を変更するための反射部材駆動機構と、上記視線検出部により検出される視線に基づいて、上記投写部駆動機構を介し上記投写部の投写光軸を上記反射部材の反射面と交わる方向に制御し、上記反射部材駆動機構を介し上記反射部材の反射面の上記角度を制御する制御部と、を備えるものである。

開示された投写型表示装置は、上記ウインドシールドの形状データを取得する形状データ取得部を更に備え、上記制御部は、上記視線検出部により検出される視線と、上記形状データ取得部により取得された形状データとに基づいて、上記ウインドシールド上での上記視線との交点位置を判定し、判定した交点位置における上記ウインドシールドの法線方向と上記視線の方向とのなす角度に対応する駆動量で上記投写部と上記反射部材を駆動するものである。

開示された投写型表示装置は、上記制御部は、上記角度が閾値以下の場合には、上記投写部駆動機構を介し上記投写部の投写光軸を上記ウインドシールドと交わる方向に制御して、上記投写部から上記ウインドシールドに画像光を直接投写させるものである。

開示された投写型表示装置は、上記ユニットは、人の頭部を保護する帽子型の保護部材に固定されて用いられるものである。

開示された投写型表示装置は、上記制御部は上記ユニットに内蔵されるものである。

開示された投写型表示装置は、上記ユニットは、上記ユニットに設けられた電池により動作するものである。

開示された投写型表示装置は、上記反射部材は、重力方向に離間して配置された２つの反射部材により構成されるものである。

開示された投写制御方法は、画像光を投写する投写部と、上記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、上記作業用機械に設けられ、上記作業用機械の操作席に着席している操作者の頭部に装着されている上記投写部から投写された画像光を上記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、上記ウインドシールドに対する上記反射面の角度を変更するための反射部材駆動機構と、を備える投写型表示装置の投写制御方法であって、上記操作者の視線を検出する視線検出ステップと、上記視線検出ステップにより検出される視線に基づいて、上記投写部駆動機構を介し上記投写部の投写光軸を上記反射部材の反射面と交わる方向に制御し、上記反射部材駆動機構を介し上記反射部材の反射面の上記角度を制御する制御ステップと、を備えるものである。

開示された投写制御方法は、上記ウインドシールドの形状データを取得する形状データ取得ステップを更に備え、上記制御ステップは、上記視線検出ステップにより検出される視線と、上記形状データ取得ステップにより取得された形状データとに基づいて、上記ウインドシールド上での上記視線との交点位置を判定し、判定した交点位置における上記ウインドシールドの法線方向と上記視線の方向とのなす角度に対応する駆動量で上記投写部と上記反射部材を駆動するものである。

開示された投写制御方法は、上記制御ステップは、上記角度が閾値以下の場合には、上記投写部駆動機構を介し上記投写部の投写光軸を上記ウインドシールドと交わる方向に制御して、上記投写部から上記ウインドシールドに画像光を直接投写させるものである。

開示された投写制御方法は、上記ユニットは、人の頭部を保護する帽子型の保護部材に固定されて用いられるものである。

開示された投写制御方法は、上記ユニットは電池で動作するものである。

開示された投写制御方法は、上記反射部材は、重力方向に離間して配置された２つの反射部材により構成されるものである。

本発明は、建設機械および農作機械等の作業用機械に適用して利便性が高く、有効である。

２ ユニット
２Ａ 投写ユニット
２Ｂ 制御ユニット
３ 反射部材
４ 反射部材駆動機構
５ 反射部材
６ 反射部材駆動機構
７ ウインドシールド
１０ ＨＵＤシステム
４０ 光源ユニット
４５ 駆動部
６０ システム制御部
６１ 視線検出部
６２ 電源供給部
６３ 形状データ取得部
１００ 建設機械

Claims (13)

1. 画像光を投写する投写部と、前記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、
   前記操作者の視線を検出する視線検出部と、
   前記作業用機械に設けられ、前記作業用機械の操作席に着席している操作者の頭部に装着されている前記投写部から投写された画像光を前記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、
   前記ウインドシールドに対する前記反射面の角度を変更するための反射部材駆動機構と、
   前記視線検出部により検出される視線に基づいて、前記投写部駆動機構を介し前記投写部の投写光軸を前記反射部材の反射面と交わる方向に制御し、前記反射部材駆動機構を介し前記反射部材の反射面の前記角度を制御する制御部と、を備える投写型表示装置。
2. 請求項１記載の投写型表示装置であって、
   前記ウインドシールドの形状データを取得する形状データ取得部を更に備え、
   前記制御部は、前記視線検出部により検出される視線と、前記形状データ取得部により取得された形状データとに基づいて、前記ウインドシールド上での前記視線との交点位置を判定し、判定した交点位置における前記ウインドシールドの法線方向と前記視線の方向とのなす角度に対応する駆動量で前記投写部と前記反射部材を駆動する投写型表示装置。
3. 請求項２記載の投写型表示装置であって、
   前記制御部は、前記角度が閾値以下の場合には、前記投写部駆動機構を介し前記投写部の投写光軸を前記ウインドシールドと交わる方向に制御して、前記投写部から前記ウインドシールドに画像光を直接投写させる投写型表示装置。
4. 請求項１〜３のいずれか１項記載の投写型表示装置であって、
   前記ユニットは、人の頭部を保護する帽子型の保護部材に固定されて用いられる投写型表示装置。
5. 請求項４記載の投写型表示装置であって、
   前記制御部は前記ユニットに内蔵される投写型表示装置。
6. 請求項４又は５記載の投写型表示装置であって、
   前記ユニットは、前記ユニットに設けられた電池により動作する投写型表示装置。
7. 請求項１〜６のいずれか１項記載の投写型表示装置であって、
   前記反射部材は、重力方向に離間して配置された２つの反射部材により構成される投写型表示装置。
8. 画像光を投写する投写部と、前記投写部による画像光の投写光軸を変更するための投写部駆動機構とを含み、作業用機械の操作者の頭部に装着されるユニットと、前記作業用機械に設けられ、前記作業用機械の操作席に着席している操作者の頭部に装着されている前記投写部から投写された画像光を前記作業用機械のウインドシールドに反射させるための反射面を有する反射部材と、前記ウインドシールドに対する前記反射面の角度を変更するための反射部材駆動機構と、を備える投写型表示装置の投写制御方法であって、
   前記操作者の視線を検出する視線検出ステップと、
   前記視線検出ステップにより検出される視線に基づいて、前記投写部駆動機構を介し前記投写部の投写光軸を前記反射部材の反射面と交わる方向に制御し、前記反射部材駆動機構を介し前記反射部材の反射面の前記角度を制御する制御ステップと、を備える投写制御方法。
9. 請求項８記載の投写制御方法であって、
   前記ウインドシールドの形状データを取得する形状データ取得ステップを更に備え、
   前記制御ステップは、前記視線検出ステップにより検出される視線と、前記形状データ取得ステップにより取得された形状データとに基づいて、前記ウインドシールド上での前記視線との交点位置を判定し、判定した交点位置における前記ウインドシールドの法線方向と前記視線の方向とのなす角度に対応する駆動量で前記投写部と前記反射部材を駆動する投写制御方法。
10. 請求項９記載の投写制御方法であって、
    前記制御ステップは、前記角度が閾値以下の場合には、前記投写部駆動機構を介し前記投写部の投写光軸を前記ウインドシールドと交わる方向に制御して、前記投写部から前記ウインドシールドに画像光を直接投写させる投写制御方法。
11. 請求項８〜１０のいずれか１項記載の投写制御方法であって、
    前記ユニットは、人の頭部を保護する帽子型の保護部材に固定されて用いられる投写制御方法。
12. 請求項１１記載の投写制御方法であって、
    前記ユニットは電池により動作する投写制御方法。
13. 請求項８〜１２のいずれか１項記載の投写制御方法であって、
    前記反射部材は、重力方向に離間して配置された２つの反射部材により構成される投写制御方法。