JPWO2017047131A1 - 投写型表示装置及び投写制御方法 - Google Patents

Abstract

投写面に投写される画像光が物体によって遮られている状態でも、乗り物の操作者に的確に情報提示を行うことが可能な投写型表示装置と投写制御方法を提供する。ウインドシールド(５)を有する建設機械(１００)に搭載されるＨＵＤ(１０)は、ウインドシールド(５)に投写されている画像光が物体により遮られている状態であることを検知した場合に、この状態にあることを報知する。

Description

本発明は、投写型表示装置及び投写制御方法に関する。

自動車等の乗り物のウインドシールド、または、ウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）が知られている（例えば特許文献１参照）。このＨＵＤによれば、利用者は、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。

特開２０１３−６７２０９号公報

建設機械においては、自動車等の輸送を主目的とする乗り物とは違い、操作者の視線移動が特に縦方向において頻繁に行われる。また、輸送を主目的とする乗り物と違って操作者の縦方向における視線の移動範囲は広い。また、建設機械では、操作対象となるパワーショベルおよび／またはバケットの動きに合わせて操作者の視線が動くことになる。このような事情から、操作席前方にウインドシールドがある建設機械においては、このウインドシールドの広範囲にて虚像および実像を視認できるようにすることが好ましい。

このようにウインドシールドの広範囲に画像光が投写されるようになると、操作者の身体の一部（例えば手および／または頭等）が画像光を遮る可能性が高くなる。ＨＵＤによって操作者に提示される情報は、常時表示が必要な常在情報と、警告表示等のように特定の条件下でのみ表示が必要な非常在情報とが存在する。

非常在情報が表示される範囲に投写される画像光が操作者の身体の一部によって遮られていることを想定する。この場合、この範囲には常に情報が表示されているわけではないため、画像光が遮られていることを操作者が認識することは難しい。この状態で非常在情報を表示するための画像光が投写されてしまうと、操作者は非常在情報を確認することができない。

常在情報が表示される範囲であっても、周囲が明るい場合等、情報自体の視認性が低くなる状況においては、操作者は、常在情報が身体の一部によって遮られていることに気付かない可能性がある。

ここでは建設機械を例に説明したが、画像光が利用者の身体の一部等によって遮られる状態は、建設機械およびトラクタ等の農作機械等の作業用機械および輸送を主目的とする乗り物に搭載されるＨＵＤにおいても同様に発生しうる。そして、こういった乗り物であっても、運転に集中している環境下においては、画像光が利用者の身体の一部等によって遮られている状態に気付くことは難しい。

特許文献１には、画像光が利用者の身体によって遮られる可能性が高くなる位置である天井部分にＨＵＤが設けられた車両が記載されている。しかし、画像光が遮られている状態を利用者が認識するのが難しいという課題については考慮されていない。

本発明は、上記事情に鑑みてなされたものであり、投写面に投写される画像光が物体によって遮られている状態でも、乗り物の操作者に的確に情報提示を行うことが可能な投写型表示装置と投写制御方法を提供することを目的とする。

本発明の投写型表示装置は、光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写表示部と、上記画像光の少なくとも一部が物体により遮られている状態を検知する検知部と、上記画像光の少なくとも一部が物体により遮られている状態が上記検知部により検知された場合、報知処理を行う制御部と、を備えるものである。

本発明の投写制御方法は、光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写制御方法であって、上記画像光の少なくとも一部が物体により遮られている状態を検知する検知ステップと、上記画像光の少なくとも一部が物体により遮られている状態が上記検知ステップにより検知された場合、報知処理を行う制御ステップと、を備えるものである。

本発明によれば、投写面に投写される画像光が物体によって遮られている状態でも、乗り物の操作者に的確に情報提示を行うことが可能な投写型表示装置と投写制御方法を提供することができる。

本発明の投写型表示装置の一実施形態であるＨＵＤ１０を搭載する建設機械１００の概略構成を示す模式図である。 図１に示す建設機械１００における運転室内の構成例を示す図である。 図１に示すＨＵＤ１０を構成するユニット２の内部構成を示す模式図である。 図１に示すＨＵＤ１０を構成するユニット３の内部構成を示す模式図である。 図１に示すＨＵＤ１０を構成するユニット４の内部構成を示す模式図である。 図３に示すユニット２を構成するメイン制御部７０の機能ブロックを示す図である。 画像光遮蔽状態を示す模式的に示す図である。 第一の報知処理について説明するための模式図である。 第一の報知処理について説明するための模式図である。 第三の報知処理について説明するための模式図である。 図１に示すＨＵＤ１０の動作を説明するためのフローチャートである。 図３に示すメイン制御部７０の変形例であるメイン制御部７０Ａの機能ブロックを示す図である。 メイン制御部７０Ａの機能を説明するための模式図である。 図１２に示すメイン制御部７０Ａを有するＨＵＤ１０の動作を説明するためのフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の投写型表示装置の一実施形態であるＨＵＤ１０を搭載する建設機械１００の概略構成を示す模式図である。

図１に示すＨＵＤ１０は、建設機械および農作機械等の作業用機械、自動車、電車、航空機、又は船舶等の乗り物に搭載して用いられる。

ＨＵＤ１０は、運転室内において運転席１の上方かつ後方に配置されるユニット２と、運転室内において運転席１後方に配置されるユニット３と、運転室内において運転席１の下方かつ後方に配置されるユニット４と、を備える。運転室とは、建設機械１００の室内空間のことを言う。

ユニット２〜４は、建設機械１００の運転室内に、重力方向（図１の上下方向）で離間して設けられている。ユニット２〜４は、それぞれ、建設機械１００のウインドシールド５の前方において虚像を視認可能な条件により画像光を投写する。

建設機械１００の操作者は、ウインドシールド５に投写され、ここで反射された画像光を見ることによって、建設機械１００の操作を支援するための絵および文字等の情報を視認することができる。また、ウインドシールド５は、ユニット２〜４の各々から投写された画像光を反射すると同時に、外部（外界）からの光を透過する機能を持つ。このため、操作者は、ユニット２〜４の各々から投写された画像光に基づく虚像を外界の景色に重ねて視認することができる。

ＨＵＤ１０では、ユニット２〜４が、建設機械１００の運転室内に、重力方向で離間して設けられていることにより、ウインドシールド５の広範囲にわたって操作者に虚像を提示することができる。

建設機械１００の操作者上方の運転室内には撮像部６が設けられている。撮像部６は、ユニット２〜４の各々から投写される画像光の光路を全てカバーする運転室内の範囲を撮像する。

撮像部６は、例えば２つの撮像素子を用いたステレオカメラが用いられる。撮像部６は、ＨＵＤ１０を構成するユニット２と無線又は有線により接続されており、運転室内を撮像することによって得られた撮像画像データをユニット２に転送する。

建設機械１００のダッシュボード７には、液晶ディスプレイ等からなる表示装置８が設けられている。表示装置８は、ＨＵＤ１０を構成するユニット２と無線又は有線により接続されており、ユニット２の制御によって情報を表示する。

建設機械１００の運転室の天井には、スピーカ等からなる音出力装置９が設けられている。音出力装置９は、ＨＵＤ１０を構成するユニット２と無線又は有線により接続されており、ユニット２の制御によって音を出力する。

図２は、図１に示す建設機械１００における運転室内の構成例を示す模式図である。図２では、ウインドシールド５を運転席１から見た正面図を示している。

建設機械１００は、機体前方中央部に、アーム２１及びバケット２２を備える油圧ショベルである。

運転室は、フロントウィンドウとしてのウインドシールド５、右サイドウィンドウ２３、左サイドウィンドウ２４等の透明ウィンドウに取り囲まれている。

運転室には、少なくとも、アーム２１の曲げ伸ばしを操作するための左操作レバー２５、並びに、バケット２２の掘削および開放を操作するための右操作レバー２６等が運転席１回りに設けられている。

ウインドシールド５には、第一の投写範囲５Ａ、第二の投写範囲５Ｂ、第三の投写範囲５Ｃの３つの投写範囲が割り当てられており、これらの投写範囲は、重力方向（縦方向）に並んで配置されている。ウインドシールド５におけるこれら３つの投写範囲を合わせた範囲が、建設機械１００に搭載された投写面を構成する。

第一の投写範囲５Ａは、ユニット２から投写された画像光が投写される領域であり、この画像光を反射すると同時に、外部（外界）からの光を透過する。

第二の投写範囲５Ｂは、ユニット３から投写された画像光が投写される領域であり、この画像光を反射すると同時に、外部（外界）からの光を透過する。

第三の投写範囲５Ｃは、ユニット４から投写された画像光が投写される領域であり、この画像光を反射すると同時に、外部（外界）からの光を透過する。

図３は、図１に示すＨＵＤ１０を構成するユニット２の内部構成を示す模式図である。

ユニット２は、光源ユニット４０と、駆動部４５と、投写光学系４６と、拡散板４７と、反射ミラー４８と、拡大鏡４９と、光源制御部４０Ａ及び駆動部４５を制御するシステム制御部６０と、メイン制御部７０と、を備えている。

光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、光変調素子４４と、を備えている。

ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。

Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子が用いられる。本実施形態では、光源ユニット４０の光源として、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの光源を含むＨＵＤを例にするが、この光源の数は１つ、２つまたは４つ以上であってもよい。

光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってＲ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂから光を順次出射させる制御を行う。

光変調素子４４は、ダイクロイックプリズム４３から出射された光を画像情報である投写用画像データに基づいて空間変調し、投写用画像データに応じた光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射する。

光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、及び液晶表示素子等を用いることができる。

駆動部４５は、システム制御部６０から入力される投写用画像データにしたがって光変調素子４４を駆動し、投写用画像データに応じた光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射させる。

投写光学系４６は、光源ユニット４０の光変調素子４４から出射された光を、拡散板４７に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。例えば、走査型スキャナから出射された光を拡散板４７により拡散させて面光源化してもよい。

反射ミラー４８は、拡散板４７により拡散された光を拡大鏡４９側に反射させる。

拡大鏡４９は、反射ミラー４８により反射されてきた光に基づく像を拡大させてウインドシールド５の第一の投写範囲５Ａに投写する。

システム制御部６０は、メイン制御部７０から画像光投写指令を受けると、メイン制御部７０から送信されてきた投写用画像データに基づく画像光を第一の投写範囲５Ａに投写させる。

メイン制御部７０は、ＨＵＤ１０全体を統括制御するものであり、ユニット３とユニット４の各々と無線又は有線により通信可能となっている。またメイン制御部７０は、表示装置８と音出力装置９とも無線又は有線により通信可能となっている。メイン制御部７０の詳しい機能は後述する。

図４は、図１に示すＨＵＤ１０を構成するユニット３の内部構成を示す模式図である。図４において図３と同じ構成要素には同一符号を付してある。

ユニット３は、図３に示したユニット２においてメイン制御部７０を削除し、システム制御部６０をシステム制御部６１に変更した構成である。

ユニット３のシステム制御部６１は、ユニット３内の駆動部４５及び光源制御部４０Ａを制御して、メイン制御部７０から送信されてきた投写用画像データに基づく画像光を第二の投写範囲５Ｂに投写させる。

システム制御部６１は、ユニット２のメイン制御部７０と通信可能となっており、メイン制御部７０から画像光投写指令を受けると、メイン制御部７０から送信されてきた投写用画像データに基づく画像光を第二の投写範囲５Ｂに投写させる。

図５は、図１に示すＨＵＤ１０を構成するユニット４の内部構成を示す模式図である。図５において図３と同じ構成要素には同一符号を付してある。

ユニット４は、図３に示したユニット２においてメイン制御部７０を削除し、システム制御部６０をシステム制御部６２に変更した構成である。

ユニット４のシステム制御部６２は、ユニット４内の駆動部４５及び光源制御部４０Ａを制御して、メイン制御部７０から送信されてきた投写用画像データに基づく画像光を第三の投写範囲５Ｃに投写させる。

システム制御部６２は、ユニット２のメイン制御部７０と通信可能となっており、メイン制御部７０から画像光投写指令を受けると、投写用画像データに基づく画像光を第三の投写範囲５Ｃに投写させる。

ユニット２内の光源ユニット４０、投写光学系４６、拡散板４７、反射ミラー４８、及び、拡大鏡４９は、投写用画像データに基づく画像光を第一の投写範囲５Ａに投写する投写ユニットを構成する。

ユニット３内の光源ユニット４０、投写光学系４６、拡散板４７、反射ミラー４８、及び、拡大鏡４９は、投写用画像データに基づく画像光を第二の投写範囲５Ｂに投写する投写ユニットを構成する。

ユニット４内の光源ユニット４０、投写光学系４６、拡散板４７、反射ミラー４８、及び、拡大鏡４９は、投写用画像データに基づく画像光を第三の投写範囲５Ｃに投写する投写ユニットを構成する。

これら３つの投写ユニットにより、ＨＵＤ１０の投写表示部が構成される。ＨＵＤ１０の投写表示部は、建設機械１００の運転室内において、運転席１よりも、投写面であるウインドシールド５から遠い位置に配置されている。

図６は、図３に示すユニット２を構成するメイン制御部７０の機能ブロックを示す図である。図６に示すように、メイン制御部７０は、撮像画像データ取得部７１と、検知部７２と、報知処理部７３と、を備える。

撮像画像データ取得部７１は、図１に示す撮像部６により撮像して得られた撮像画像データを取得し、検知部７２に入力する。

検知部７２は、ユニット２〜４から建設機械１００の投写面（第一の投写範囲５Ａ、第二の投写範囲５Ｂ、及び第三の投写範囲５Ｃを合わせた全範囲）に投写される画像光の少なくとも一部が物体（例えば操作者）により遮られている状態（以下、画像光遮蔽状態という）を検知する。

図７は、画像光遮蔽状態を示す模式的に示す図である。

図７には、ユニット２から投写された画像光の通る範囲１００と、ユニット３から投写された画像光の通る範囲３００と、ユニット４から投写された画像光の通る範囲４００とが図示されている。図７の例では、範囲３００及び範囲４００に跨って物体が重なっており、この状態が画像光遮蔽状態である。

画像光遮蔽状態を検知するために、検知部７２は、撮像画像データ取得部７１により取得された撮像画像データを用いる。

この撮像画像データからは、運転室内において、図７の範囲１００、範囲３００、及び範囲４００の各々の三次元形状が分かる。また、ＨＵＤ１０は、通常の使用状態では、範囲１００、範囲３００、及び範囲４００の各々には物体が存在しないことを前提としている。

このため、検知部７２は、撮像画像データにおける、範囲１００に対応する部分、範囲３００に対応する部分、及び範囲４００に対応する部分のいずれか１つに、ある程度以上の大きさの物体像が含まれているか否かによって、画像光遮蔽状態を検知する。

検知部７２は、上述した方法によって画像光遮蔽状態を検知した場合には、検知信号を報知処理部７３に出力する。

この検知信号には、撮像画像データにおける物体像が検出された範囲（図７の例では、範囲３００及び範囲４００）の情報、および、この範囲における物体像の位置情報が含まれる。

報知処理部７３は、検知部７２から検知信号が入力された場合報知処理を行う。報知処理部７３は制御部を構成する。

報知処理部７３が行う報知処理は、例えば以下に示す第一の報知処理〜第五の報知処理が挙げられるが、これらの方法に限られない。

（第一の報知処理）
報知処理部７３は、検知部７２から検知信号が入力された場合、例えば、投写用画像データを、画像光遮蔽状態であることを示す報知情報を付加した投写用画像データに変更（更新）し、その投写用画像データに基づく画像光をウインドシールド５に投写させることにより、画像光遮蔽状態にあることを報知する。

第一の報知処理について、図８及び図９を用いて具体的に説明する。

図８（ａ）は、ウインドシールド５に投写される画像光の元となる投写用画像データ２００を示す図である。

投写用画像データ２００のうちのデータ２００Ａは、ユニット２から第一の投写範囲５Ａに投写される画像光に対応するデータである。データ２００Ｂは、ユニット３から第二の投写範囲５Ｂに投写される画像光に対応するデータである。データ２００Ｃは、ユニット４から第三の投写範囲５Ｃに投写される画像光に対応するデータである。

図８の例では、データ２００Ａはアイコン２０１を含む。データ２００Ｂはアイコン２０２を含む。アイコン２０１及びアイコン２０２は、作業を支援するための情報（工事の計画情報、警告情報等）、建設機械１００の走行速度、又は建設機械１００の燃料情報等の操作者に情報提示を行うための情報である。

図８（ｂ）は、図８（ａ）に示す投写用画像データ２００に基づく画像光がウインドシールド５に投写された状態を示す図である。図８に示すように、ウインドシールド５の投写面前方には、アイコン２０１に対応する虚像２１１が表示される。

図８は、図７に示したように、範囲３００と範囲４００に跨って物体が存在している場合を示しており、投写面には、この物体により遮られている画像光が本来投写されるべき範囲（以下、欠落範囲という）２１４を図示している。欠落範囲２１４は、投写用画像データ２００に基づく画像光のうちの物体により遮られている部分に対応している。投写面のうち欠落範囲２１４以外の範囲は、投写用画像データ２００に基づく画像光のうちの物体により遮られている部分以外の部分に対応している。

報知処理部７３は、検知部７２から入力された検知信号に含まれる物体が存在している範囲の情報と、この範囲における物体の位置情報とに基づいて、図８（ｂ）に示した投写面（第一の投写範囲５Ａ、第二の投写範囲５Ｂ、及び第三の投写範囲５Ｃを合わせた全範囲）における欠落範囲２１４の位置を判定する。欠落範囲２１４の位置は、欠落範囲２１４の周縁における座標データのことを言う。

そして、報知処理部７３は、投写用画像データ２００において、投写面における欠落範囲２１４以外の範囲に対応するデータを、画像光遮蔽状態であることを報知するための報知情報（例えばアイコン又は文字等）を含むデータに変更した投写用画像データ２００ａを生成し、この投写用画像データ２００ａのデータ２００Ａ、データ２００Ｂ、及びデータ２００Ｃをシステム制御部６０〜６２に送信する。

図９（ａ）は、投写用画像データ２００ａを示す図である。投写用画像データ２００ａは、投写用画像データ２００に対して、アイコン２０１の下の位置に報知情報としての文字情報２０３が追加されたものとなっている。

システム制御部６０は、ユニット２内の駆動部４５及び光源制御部４０Ａを制御して、投写用画像データ２００ａのデータ２００Ａに基づく画像光をウインドシールド５の第一の投写範囲５Ａに投写させる。また、ユニット３のシステム制御部６１は、ユニット３内の駆動部４５及び光源制御部４０Ａを制御して、投写用画像データ２００ａのデータ２００Ｂに基づく画像光をウインドシールド５の第二の投写範囲５Ｂに投写させる。更に、ユニット４のシステム制御部６２は、ユニット４内の駆動部４５及び光源制御部４０Ａを制御して、投写用画像データ２００ａのデータ２００Ｃに基づく画像光をウインドシールド５の第三の投写範囲５Ｃに投写させる。

図９（ｂ）は、図９（ａ）に示す投写用画像データ２００ａに基づく画像光がウインドシールド５に投写された状態を示す図である。図９（ｂ）には、投写用画像データ２００ａに含まれる文字情報２０３に対応した虚像２１５が示されている。なお、図８及び図９に示した欠落範囲２１４はイメージであり、実際には操作者には見えない。

操作者は、図９（ｂ）に示す虚像２１５を見ることによって、画像光遮蔽状態にあることを認識することができる。

この第一の報知処理により、画像光が、操作者の身体の一部により遮られている状態であったとしても、操作者はこの状態にあることを容易に認識することができる。このため、操作者が身体を動かして画像光遮蔽状態にならないよう対応をとることができ、必要な情報を操作者に的確に提供することが可能となる。

（第二の報知処理）
報知処理部７３は、画像光遮蔽状態であることを音により報知する。

具体的には、報知処理部７３は、音出力装置９から例えば「表示情報が物体により一部遮られている可能性があります」等の音声を出力させる。音声メッセージに限らず、ブザー音またはメロディ音によって画像光遮蔽状態であることを報知してもよい。

第二の報知処理により、画像光が、操作者の身体の一部により遮られている状態であったとしても、操作者は、この状態であることを音によって容易に認識することができる。

なお、第一の報知処理と第二の報知処理とを組み合わせることによって、操作者に対し、画像光遮蔽状態であることをより確実に認識させることができる。

（第三の報知処理）
報知処理部７３は、検知部７２から検知信号が入力された場合、投写用画像データのうちの画像光における物体により遮られている部分に対応するデータから、このデータに含まれる建設機械１００の操作者に提示すべき遮蔽情報（作業および運転をする上で支障がでる恐れのある重要情報、時刻情報等の作業に支障をきたさない情報は除く）を抽出し、この遮蔽情報を報知する。

第三の報知処理について、図８及び図１０を用いて具体的に説明する。

報知処理部７３は、検知部７２から入力された検知信号に含まれる物体が存在している範囲の情報と、この範囲における物体の位置情報とに基づいて、図８（ｂ）に示した投写面（第一の投写範囲５Ａ、第二の投写範囲５Ｂ、及び第三の投写範囲５Ｃを合わせた全範囲）における欠落範囲２１４の位置を判定する。

そして、報知処理部７３は、投写用画像データ２００において、欠落範囲２１４に対応する部分のデータに、作業を支援するための情報、建設機械１００の走行速度、又は建設機械１００の燃料情報等の操作者に提示すべき遮蔽情報が含まれているか否かを判定する。

報知処理部７３は、投写用画像データ２００において、欠落範囲２１４に対応する部分のデータに操作者に提示すべき遮蔽情報が含まれていると判定した場合には、欠落範囲２１４に対応する部分のデータに含まれる遮蔽情報を、投写用画像データ２００において、欠落範囲２１４を除く部分に対応するデータに付加した投写用画像データ２００ｂを生成し、投写用画像データ２００ｂのデータ２００Ａ、データ２００Ｂ、及びデータ２００Ｃをシステム制御部６０〜６２に送信する。

図１０（ａ）は、投写用画像データ２００ｂを示す図である。図１０（ｂ）は、図１０（ａ）に示す投写用画像データ２００ｂに基づく画像光がウインドシールド５に投写された状態を示す図である。

図１０（ａ）に示すように、投写用画像データ２００において破線で示す位置にあったアイコン２０２は、投写用画像データ２００ｂではアイコン２０１の下に移動されている。これは、投写用画像データ２００において、アイコン２０２が欠落範囲２１４に対応するデータに含まれているためである。

このように、報知処理部７３は、投写用画像データ２００において遮蔽情報であるアイコン２０１を削除し、投写用画像データ２００における欠落範囲２１４に対応するデータ以外の部分にアイコン２０２を追加した投写用画像データ２００ｂを生成する。

投写用画像データ２００ｂが生成された場合、システム制御部６０は、ユニット２内の駆動部４５及び光源制御部４０Ａを制御して、投写用画像データ２００ｂのデータ２００Ａに基づく画像光をウインドシールド５の第一の投写範囲５Ａに投写させる。また、ユニット３のシステム制御部６１は、ユニット３内の駆動部４５及び光源制御部４０Ａを制御して、投写用画像データ２００ｂのデータ２００Ｂに基づく画像光をウインドシールド５の第二の投写範囲５Ｂに投写させる。更に、ユニット４のシステム制御部６２は、ユニット４内の駆動部４５及び光源制御部４０Ａを制御して、投写用画像データ２００ｂのデータ２００Ｃに基づく画像光をウインドシールド５の第三の投写範囲５Ｃに投写させる。

これにより、図８（ｂ）の状態から図１０（ｂ）の状態に遷移する。図１０（ｂ）には、投写用画像データ２００ｂに含まれるアイコン２０２に対応した虚像２１６が示されている。なお、図１０に示した欠落範囲２１４はイメージであり、実際には操作者には見えない。

第三の報知処理によれば、操作者に提示すべき情報（図１０のアイコン２０２）が操作者の身体の一部等により遮られている状態であったとしても、このアイコン２０２に対応する虚像２１６が視認可能な位置に移動されるため、操作者は、遮蔽情報を容易に認識することができる。したがって作業支援を的確に行うことができる。

（第四の報知処理）
報知処理部７３は、第三の報知処理で説明した遮蔽情報を音により報知する。

具体的には、報知処理部７３は、遮蔽情報があると判定した場合には、この遮蔽情報に対応するメッセージ、ブザー音、又はメロディ音等を、音出力装置９から出力させる。

例えば、報知処理部７３は、遮蔽情報が燃料不足を警告するためのアイコンであった場合には、「燃料が少なくなっています。補給してください」といったメッセージを音出力装置９から出力させる。

第四の報知処理によれば、操作者に提示すべき情報が操作者の身体の一部等により遮られている状態であったとしても、遮られている情報を音で報知することができ、操作者は、遮蔽情報を容易に認識することができる。このため、作業支援を的確に行うことができる。

なお、第三の報知処理と第四の報知処理とを組み合わせることによって、操作者に対し、遮蔽情報をより確実に認識させることができる。

（第五の報知処理）
報知処理部７３は、第三の報知処理で説明した遮蔽情報を表示装置８に表示させることで報知する。

具体的には、報知処理部７３は、遮蔽情報があると判定した場合には、この遮蔽情報に対応するメッセージ（例えば、「燃料が少なくなっています。補給してください」）を表示装置８に表示させる。この構成によれば、音が聞こえにくい環境であっても、遮蔽情報を容易に認識させることができる。

図１１は、図１に示すＨＵＤ１０の動作を説明するためのフローチャートである。

ＨＵＤ１０が起動すると、メイン制御部７０は、システム制御部６０、システム制御部６１、システム制御部６２を制御して、投写用画像データに基づく画像光をウインドシールド５に投写させる。

撮像部６は、ＨＵＤ１０が起動すると撮像を開始し、撮像により得られた撮像画像データをユニット２のメイン制御部７０に転送する。撮像画像データ取得部７１は、撮像部６で撮像された撮像画像データを取得する（ステップＳ１）。

検知部７２は、撮像画像データ取得部７１で取得された撮像画像データと、ユニット２〜４の各々の画像光の光路を示す範囲の情報（予め内部メモリに記憶されている）と、に基づいて、画像光遮蔽状態にあるか否かを検知する処理を行う（ステップＳ２）。

検知部７２は、画像光遮蔽状態にあると判定した場合（ステップＳ３：ＹＥＳ）、検知信号を報知処理部７３に入力する。

報知処理部７３は、この入力された検知信号に基づいて、上述してきたいずれかの方法で報知処理を行う（ステップＳ４）。ステップＳ４の処理の後は、ステップＳ１に戻り、上述した処理が繰り返される。

ステップＳ３において画像光遮蔽状態ではないと判定された場合（ステップＳ３：ＮＯ）には、報知処理は行われず、ステップＳ１に処理が戻る。

以上のように、図１に示すＨＵＤ１０によれば、画像光遮蔽状態であると検知された場合には、画像光遮蔽状態にあることを示す報知情報を虚像により表示したり、画像光遮蔽状態にあることを音により報知したり、物体により遮られているアイコンを虚像により表示したり、物体により遮られているアイコンに対応するメッセージを音および／または表示によって報知したりすることができる。

これによって、操作者が作業に集中している環境下において、画像光が操作者の身体の一部等によって遮られている状態であっても、操作者は、その状態を容易に認識したり、遮られている情報を確認したりすることができる。このため、操作者は、的確な作業支援を受けることができ、作業をスムーズに行うことができる。

建設機械および農作機械等の作業用機械は室内空間が狭い。このように狭い室内空間にて広範囲での投写を行うような場合においては、操作者の身体の一部等による画像光の遮りが発生しやすい。このため、ＨＵＤ１０を建設機械および農作機械等の作業用機械に適用した場合には特に効果が大きい。

以上の説明では、ウインドシールド５に設定される複数の投写範囲を重力方向（縦方向）に並べるものとしたが、ウインドシールド５に設定される複数の投写範囲を水平方向（横方向）に並べてもよい。この場合、建設機械１００の運転室内には、各投写範囲に画像光を投写するユニットを水平方向で離間して設ける構成とすればよい。

また、以上の説明では、ウインドシールド５に設定される複数の投写範囲が一方向に並ぶものとしたが、複数の投写範囲を二次元状に配置する設定とすることもできる。

また、図１に示すＨＵＤ１０において、ユニット３とユニット４を削除した構成としてもよい。つまり、投写ユニットは少なくとも１つあればよい。この構成でも、画像光が遮られる可能性は生じるため、メイン制御部７０の構成が有効となる。

また、以上の説明では、ユニット２内にメイン制御部７０が設けられているが、メイン制御部７０を含む制御ユニットを別体として有し、この制御ユニットが、ユニット２〜４のシステム制御部を統括制御する構成としてもよい。

さらに、以上の説明では、ユニット２〜４がいずれも虚像を視認可能な条件により画像光を投写するものとしたが、ユニット２〜４の少なくとも１つが実像を視認可能な条件により画像光を投写するものとしてもよい。

図１２は、図３に示すユニット２のメイン制御部７０の変形例であるメイン制御部７０Ａの機能ブロックを示す図である。図１２において図６と同じ構成には同一符号を付して説明を省略する。

図１２に示すように、メイン制御部７０Ａは、メイン制御部７０の構成に加えて、外部物体検知部７４が新たに設けられている。

外部物体検知部７４には、建設機械１００の機体前方中央部にある外部物体（本実施形態ではバケット２２）の画像特徴情報が予め設定されている。

外部物体検知部７４は、撮像画像データ取得部７１により取得された撮像画像データにおける投写面に対応する部分に対し、上記の画像特徴情報によるマッチングを行うことによって、この投写面前方に外部物体があるか否かを検知する。外部物体検知部７４は、外部物体があることを検知した場合には、投写面における外部物体の位置の情報を報知処理部７３に出力する。

報知処理部７３は、検知部７２から入力される検知信号に含まれる物体の位置情報（図７に示した範囲１００，３００，４００の各々における物体の位置の情報）と、外部物体検知部７４から入力された外部物体の位置情報とに基づいて、上述してきた報知処理を行うか否かを決定する。

以下、図１３を用いて具体的に説明する。

図１３（ａ）は、メイン制御部７０Ａにより生成される投写用画像データ２００ｃを示す図である。図１３（ｂ）は、図１３（ａ）に示す投写用画像データ２００ｃに基づく画像光がウインドシールド５に投写された状態を示す図である。図１３（ｂ）には、図８と同様に欠落範囲２１４を図示している。

図１３（ｂ）に示す状態では、メイン制御部７０Ａの外部物体検知部７４が、撮像部６により撮像して得られた撮像画像データにおける投写面に対応するデータに基づいて、このデータから外部物体としてのバケット２２を検知する。外部物体検知部７４は、検知結果としてバケット２２の位置情報を報知処理部７３に出力する。なお、バケット２２の位置情報は、バケット２２を取り囲む所定の大きさの領域２２０の位置情報としている。

報知処理部７３は、検知部７２から入力された投写面における欠落範囲２１４の位置情報と、外部物体検知部７４から入力された投写面におけるバケット２２の位置情報とを比較する。

報知処理部７３は、この比較により、領域２２０が欠落範囲２１４の外にあると判定した場合には上述した報知処理を行わず、領域２２０が欠落範囲２１４内にあると判定した場合には上述した報知処理を行う。

建設機械１００では、基本的には、操作者がバケット２２の近傍を見ながら作業を行う。したがって、操作者に提示すべき情報については、バケット２２の近傍に集中させるのが、目線の移動が少なくなり好ましい。

そこで、メイン制御部７０Ａは、バケット２２を含む領域２２０内に虚像２１１，２１６が表示されるように投写用画像データ２００ｃを生成する。このように、領域２２０内に虚像を表示させることを前提にした場合には、この領域２２０に投写される画像光が遮られていなければ、作業支援には特に影響がない。

したがって、報知処理部７３は、領域２２０が欠落範囲２１４の外にあると判定した場合には報知処理を行わないようにしている。

図１４は、図１２に示すメイン制御部７０Ａを有するＨＵＤ１０の動作を説明するためのフローチャートである。図１４に示すフローチャートは、ステップＳ５〜Ｓ８を追加した点を除いては、図１１に示したフローチャートと同じである。図１４において図１１に示した処理と同じものには同一符号を付して説明を省略する。

図１４では、ステップＳ３の判定がＹＥＳの場合に、外部物体検知部７４が、投写面前方にある外部物体を検知する（ステップＳ５）。

そして、外部物体検知部７４は、外部物体を検知したか否かを判定し（ステップＳ６）、外部物体を検知したと判定した場合（ステップＳ６：ＹＥＳ）、外部物体の位置情報を報知処理部７３に入力する。外部物体が検知されなかった場合には（ステップＳ６：ＮＯ）、ステップＳ１に処理が戻る。

報知処理部７３は、外部物体検知部７４により検知された外部物体が、検知部７２から入力された投写面における欠落範囲内にあるか否かを判定する（ステップＳ７）。

報知処理部７３は、図１３の例では、欠落範囲２１４と外部物体を含む領域２２０とで重複する部分があれば、外部物体が欠落範囲内にあると判定し、欠落範囲２１４と領域２２０とで重複する部分が無ければ、外部物体が欠落範囲外にあると判定する。

ステップＳ７の判定がＹＥＳの場合には、報知処理部７３は報知処理を行う（ステップＳ４）。ステップＳ４の処理の後は、ステップＳ１に戻り、上述した処理が繰り返される。

ステップＳ７の判定がＮＯの場合には、報知処理部７３は報知処理を禁止する（ステップＳ８）。ステップＳ８の処理の後は、ステップＳ１に戻り、上述した処理が繰り返される。

以上ように、変形例のＨＵＤ１０では、外部物体を含む領域２２０と欠落範囲２１４とが重なる場合には報知処理が行われ、外部物体を含む領域２２０と欠落範囲２１４とが重ならない場合には報知処理が行われない。これによって、報知処理が必要以上に行われるのを防ぐことができ、作業を効率的に進めることが可能となる。

なお、バケット２２の位置は、左操作レバー２５及び右操作レバー２６の操作信号によって一意に決まる。このため、外部物体検知部７４は、この操作信号に基づいて、外部物体の位置を検知してもよい。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された投写型表示装置は、光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写表示部と、上記画像光の少なくとも一部が物体により遮られている状態を検知する検知部と、上記画像光の少なくとも一部が物体により遮られている状態が上記検知部により検知された場合、報知処理を行う制御部と、を備えるものである。

開示された投写型表示装置は、上記制御部が行う報知処理は、上記状態にあることを報知する処理であるものである。

開示された投写型表示装置は、上記制御部は、上記画像情報において、上記画像光のうちの上記物体により遮られている部分を除く部分に対応する情報を、上記状態にあることを示す報知情報を含む情報に変更することによって、上記状態にあることを報知するものである。

開示された投写型表示装置は、上記制御部は、音により上記報知を行うものである。

開示された投写型表示装置は、上記制御部が行う報知処理は、上記画像情報のうちの上記画像光における上記物体により遮られている部分に対応する情報に含まれる上記乗り物の操作者に提示すべき遮蔽情報を報知する処理であるものである。

開示された投写型表示装置は、上記制御部は、上記画像情報のうちの上記画像光における上記物体により遮られている部分を除く部分に対応する情報に上記遮蔽情報を含ませることによって、上記遮蔽情報を報知するものである。

開示された投写型表示装置は、上記制御部は、音により上記遮蔽情報を報知するものである。

開示された投写型表示装置は、上記制御部は、上記遮蔽情報を上記乗り物に搭載される表示装置に表示させることによって上記遮蔽情報を報知するものである。

開示された投写型表示装置は、上記投写面は上記乗り物のウインドシールドであり、上記投写面前方の外部物体の位置を検知する外部物体検知部を更に備え、上記制御部は、上記画像光のうち上記物体により遮られている部分が投写される上記投写面の範囲と、上記外部物体検知部により検知される外部物体の上記投写面における位置と、に基づいて、上記報知処理を行うか否かを決定するものである。

開示された投写型表示装置は、上記制御部は、上記外部物体検知部により検知された外部物体の位置が、上記画像光のうち上記物体により遮られている部分が投写される上記投写面の範囲外にある場合に上記報知処理を禁止するものである。

開示された投写型表示装置は、上記乗り物は作業用機械であるものである。

開示された投写型表示装置は、上記投写表示部は、上記乗り物の室内空間において、上記乗り物の運転席よりも上記投写面から遠い位置に配置されるものである。

開示された投写制御方法は、光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写制御方法であって、上記画像光の少なくとも一部が物体により遮られている状態を検知する検知ステップと、上記画像光の少なくとも一部が物体により遮られている状態が上記検知ステップにより検知された場合、報知処理を行う制御ステップと、を備えるものである。

開示された投写制御方法は、上記報知処理は、上記状態にあることを報知する処理であるものである。

開示された投写制御方法は、上記制御ステップは、上記画像情報において、上記画像光のうちの上記物体により遮られている部分を除く部分に対応する情報を、上記状態にあることを示す報知情報を含む情報に変更することによって、上記状態にあることを報知するものである。

開示された投写制御方法は、上記制御ステップは、音により上記報知を行うものである。

開示された投写制御方法は、上記報知処理は、上記画像情報のうちの上記画像光における上記物体により遮られている部分に対応する情報に含まれる上記乗り物の操作者に情報提示を行うための遮蔽情報を報知する処理であるものである。

開示された投写制御方法は、上記制御ステップは、上記画像情報のうちの上記画像光における上記物体により遮られている部分を除く部分に対応する情報に上記遮蔽情報を含ませることによって、上記遮蔽情報を報知するものである。

開示された投写制御方法は、上記制御ステップは、音により上記遮蔽情報を報知するものである。

開示された投写制御方法は、上記制御ステップは、上記遮蔽情報を上記乗り物に搭載される表示装置に表示させることによって上記遮蔽情報を報知するものである。

開示された投写制御方法は、上記投写面は上記乗り物のウインドシールドであり、上記投写面前方の外部物体の位置を検知する外部物体検知ステップを更に備え、上記制御ステップは、上記画像光のうち上記物体により遮られている部分が投写される上記投写面の範囲と、上記外部物体検知ステップにより検知される外部物体の上記投写面における位置と、に基づいて、上記報知処理を行うか否かを決定するものである。

開示された投写制御方法は、上記制御ステップは、上記外部物体検知ステップにより検知された外部物体の位置が、上記画像光のうち上記物体により遮られている部分が投写される上記投写面の範囲外にある場合に、上記報知処理を禁止するものである。

開示された投写制御方法は、上記乗り物は作業用機械であるものである。

本発明は、建設機械および農作機械等の作業用機械に適用して利便性が高く、有効である。

２，３，４ ユニット
５ ウインドシールド
８ 表示装置
９ 音出力装置
１０ ＨＵＤ
４０ 光源ユニット
４５ 駆動部
６０，６１，６２ システム制御部
７０，７０Ａ メイン制御部
７２ 検知部
７３ 報知処理部
７４ 外部物体検知部
１００ 建設機械

本発明の投写型表示装置は、光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写表示部と、前記画像光の少なくとも一部が前記乗り物の操作者の身体の一部により遮られている状態を検知する検知部と、前記画像光の少なくとも一部が前記乗り物の操作者の身体の一部により遮られている状態が前記検知部により検知された場合、報知処理を行う制御部と、を備えるものである。

本発明の投写制御方法は、光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写制御方法であって、前記画像光の少なくとも一部が前記乗り物の操作者の身体の一部により遮られている状態を検知する検知ステップと、前記画像光の少なくとも一部が前記乗り物の操作者の身体の一部により遮られている状態が前記検知ステップにより検知された場合、報知処理を行う制御ステップと、を備えるものである。

Claims (23)

1. 光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写表示部と、
   前記画像光の少なくとも一部が物体により遮られている状態を検知する検知部と、
   前記画像光の少なくとも一部が物体により遮られている状態が前記検知部により検知された場合、報知処理を行う制御部と、を備える投写型表示装置。
2. 請求項１記載の投写型表示装置であって、
   前記制御部が行う報知処理は、前記状態にあることを報知する処理である投写型表示装置。
3. 請求項２記載の投写型表示装置であって、
   前記制御部は、前記画像情報において、前記画像光のうちの前記物体により遮られている部分を除く部分に対応する情報を、前記状態にあることを示す報知情報を含む情報に変更することによって、前記状態にあることを報知する投写型表示装置。
4. 請求項２記載の投写型表示装置であって、
   前記制御部は、音により前記報知を行う投写型表示装置。
5. 請求項１記載の投写型表示装置であって、
   前記制御部が行う報知処理は、前記画像情報のうちの前記画像光における前記物体により遮られている部分に対応する情報に含まれる前記乗り物の操作者に提示すべき遮蔽情報を報知する処理である投写型表示装置。
6. 請求項５記載の投写型表示装置であって、
   前記制御部は、前記画像情報のうちの前記画像光における前記物体により遮られている部分を除く部分に対応する情報に前記遮蔽情報を含ませることによって、前記遮蔽情報を報知する投写型表示装置。
7. 請求項５記載の投写型表示装置であって、
   前記制御部は、音により前記遮蔽情報を報知する投写型表示装置。
8. 請求項５記載の投写型表示装置であって、
   前記制御部は、前記遮蔽情報を前記乗り物に搭載される表示装置に表示させることによって前記遮蔽情報を報知する投写型表示装置。
9. 請求項１〜８のいずれか１項記載の投写型表示装置であって、
   前記投写面は前記乗り物のウインドシールドであり、
   前記投写面前方の外部物体の位置を検知する外部物体検知部を更に備え、
   前記制御部は、前記画像光のうち前記物体により遮られている部分が投写される前記投写面の範囲と、前記外部物体検知部により検知される外部物体の前記投写面における位置と、に基づいて、前記報知処理を行うか否かを決定する投写型表示装置。
10. 請求項９記載の投写型表示装置であって、
    前記制御部は、前記外部物体検知部により検知された外部物体の位置が、前記画像光のうち前記物体により遮られている部分が投写される前記投写面の範囲外にある場合に前記報知処理を禁止する投写型表示装置。
11. 請求項１〜１０のいずれか１項記載の投写型表示装置であって、
    前記乗り物は作業用機械である投写型表示装置。
12. 請求項１〜１１のいずれか１項記載の投写型表示装置であって、
    前記投写表示部は、前記乗り物の室内空間において、前記乗り物の運転席よりも前記投写面から遠い位置に配置される投写型表示装置。
13. 光源から出射される光を画像情報に基づいて空間変調する光変調素子により空間変調された画像光を乗り物に搭載された投写面に投写する投写制御方法であって、
    前記画像光の少なくとも一部が物体により遮られている状態を検知する検知ステップと、
    前記画像光の少なくとも一部が物体により遮られている状態が前記検知ステップにより検知された場合、報知処理を行う制御ステップと、を備える投写制御方法。
14. 請求項１３記載の投写制御方法であって、
    前記報知処理は、前記状態にあることを報知する処理である投写制御方法。
15. 請求項１４記載の投写制御方法であって、
    前記制御ステップは、前記画像情報において、前記画像光のうちの前記物体により遮られている部分を除く部分に対応する情報を、前記状態にあることを示す報知情報を含む情報に変更することによって、前記状態にあることを報知する投写制御方法。
16. 請求項１４記載の投写制御方法であって、
    前記制御ステップは、音により前記報知を行う投写制御方法。
17. 請求項１３記載の投写制御方法であって、
    前記報知処理は、前記画像情報のうちの前記画像光における前記物体により遮られている部分に対応する情報に含まれる前記乗り物の操作者に情報提示を行うための遮蔽情報を報知する処理である投写制御方法。
18. 請求項１７記載の投写制御方法であって、
    前記制御ステップは、前記画像情報のうちの前記画像光における前記物体により遮られている部分を除く部分に対応する情報に前記遮蔽情報を含ませることによって、前記遮蔽情報を報知する投写制御方法。
19. 請求項１７記載の投写制御方法であって、
    前記制御ステップは、音により前記遮蔽情報を報知する投写制御方法。
20. 請求項１７記載の投写制御方法であって、
    前記制御ステップは、前記遮蔽情報を前記乗り物に搭載される表示装置に表示させることによって前記遮蔽情報を報知する投写制御方法。
21. 請求項１３〜２０のいずれか１項記載の投写制御方法であって、
    前記投写面は前記乗り物のウインドシールドであり、
    前記投写面前方の外部物体の位置を検知する外部物体検知ステップを更に備え、
    前記制御ステップは、前記画像光のうち前記物体により遮られている部分が投写される前記投写面の範囲と、前記外部物体検知ステップにより検知される外部物体の前記投写面における位置と、に基づいて、前記報知処理を行うか否かを決定する投写制御方法。
22. 請求項２１記載の投写制御方法であって、
    前記制御ステップは、前記外部物体検知ステップにより検知された外部物体の位置が、前記画像光のうち前記物体により遮られている部分が投写される前記投写面の範囲外にある場合に、前記報知処理を禁止する投写制御方法。
23. 請求項１３〜２２のいずれか１項記載の投写制御方法であって、
    前記乗り物は作業用機械である投写制御方法。