JPWO2016103938A1

JPWO2016103938A1 - 投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラム

Info

Publication number: JPWO2016103938A1
Application number: JP2016566013A
Authority: JP
Inventors: 広大藤田; 伊藤　大介; 大介伊藤; 伊藤　研治; 研治伊藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2014-12-22
Filing date: 2015-11-10
Publication date: 2017-09-21
Also published as: WO2016103938A1; US20170269363A1; CN107107834A

Abstract

自動車の運転者の視野内の画像を同乗者によって容易に共有することのできる投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラムを提供する。ＨＵＤは、フロントガラス１前方を撮像する撮像部（８）から撮像画像データを取得する撮像画像データ取得部（５１）と、取得された撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部（５２）と、光源ユニット（４０Ａ）から出射された光を投写用画像データにしたがって変調してコンバイナ（２）に投写する投写部と、撮像画像データに投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部（５３）と、表示部を有しかつ自動車内に配置される電子機器（９）に運転者視認画像データを送信する通信部（４７）と、を備える。

Description

本発明は、投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラムに関する。

自動車のフロントガラスや、フロントガラスの手前付近に配置されるコンバイナをスクリーンとして用い、これに投写光を投写して画像を表示させる自動車用のＨＵＤ（ヘッドアップディスプレイ）装置が知られている（例えば特許文献１参照）。このＨＵＤによれば、利用者は、ＨＵＤから投写された投写光によってフロントガラス等に表示される画像を、そのフロントガラス等の裏側にある自車両前方の風景に重畳させて視認することができる。

特許文献１には、運転者用のディスプレイとしてのＨＵＤと、同乗者用のディスプレイとを有する自動車が記載されている。この自動車では、ＨＵＤと同乗者用のディスプレイとで、表示する情報量を変えることで、自動車に乗っている各人に対して適切な情報提供を行うことが可能になっている。

特許文献２には、ＨＵＤに関するものではないが、ヘッドマウントディスプレイの装着者が見ている映像を、ヘッドマウントディスプレイと無線接続された外部の機器に転送して、この映像を装着者以外の人が確認できるシステムが記載されている。

特開２０１３−１５４７１２号公報特開２００３−２８７７０８号公報

自動車に搭載されるＨＵＤは、フロントガラスに投写される画像（前方の危険物を通知するための警告情報等）が運転者から最も見やすくなるように設計されており、助手席に座る同乗者からはこの画像を明確に確認することが難しい。同乗者によって警告等の情報が確認できれば、安全性向上を図ることができるが、これまで、そのような製品は提供されていない。

投写される画像を同乗者にも見せるために、自動車にＨＵＤを２台設けることが考えられる。しかし、限られたスペースにＨＵＤを２つ配置するのは難しい。また、自動車の製造コストが増大する。

特許文献１に記載のシステムは、同乗者用のディスプレイには外部のセンターから受信したコンテンツが表示されるだけであり、運転者が見ている画像を同乗者が共有することはできない。

特許文献２に記載のシステムは、ＨＵＤを用いたシステムに関するものではないため、ＨＵＤを自動車に搭載する場合についての課題については考慮されていない。

本発明は、上記事情に鑑みてなされたものであり、自動車の運転者の視野内の光景を同乗者によって容易に共有することのできる投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラムを提供することを目的とする。

本発明の投写型表示装置は、自動車に搭載される投写型表示装置であって、上記自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信部と、を備えるものである。

本発明の電子機器は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部と、上記通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得する取得部と、画像データに基づく画像を表示する表示部と、上記運転者視認画像データに基づく画像を上記表示部に表示させる表示制御部と、を備えるものである。

本発明の運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信ステップと、を備えるものである。

本発明の運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させるステップと、を備えるものである。

本発明の運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信ステップと、をコンピュータに実行させるためのプログラムである。

本発明の運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、自動車の運転者の視野内の光景を同乗者によって容易に共有することのできる投写型表示装置、運転者視認画像共有方法、及び運転者視認画像共有プログラムを提供することができる。

本発明の投写型表示装置の一実施形態であるＨＵＤの構成を示す図である。図１に示す表示ユニット４の構成例を示す図である。表示ユニット４のシステム制御部４８の機能ブロックと、電子機器９の内部構成を示すブロックとを示す図である。図１に示すＨＵＤと電子機器９の動作を説明するためのフローチャートである。図４の動作の説明に用いる図である。図４の動作の説明に用いる図である。図１に示すＨＵＤと電子機器９の動作の第一の変形例を説明するためのフローチャートである。図７の動作の説明に用いる図である。図１に示すＨＵＤと電子機器９の動作の第二の変形例を説明するためのフローチャートである。図９の動作の説明に用いる図である。図９の動作の説明に用いる図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の投写型表示装置の一実施形態であるＨＵＤの構成を示す図である。このＨＵＤは、自動車に搭載されて用いられるものである。

図１に示すＨＵＤは、自動車のダッシュボード３に内蔵された表示ユニット４と、拡散板５、反射ミラー６、及び拡大鏡７を含む投写ユニットと、自動車のフロントガラス１内面に貼り付けられたコンバイナ２と、を備える。

拡散板５は、表示ユニット４から出射された投写用画像データに応じた光を拡散させて、この光を面光源化するためのものである。

反射ミラー６は、拡散板５で拡散された光を拡大鏡７側に反射させる。

拡大鏡７は、反射ミラー６で反射されてきた光に基づく画像を拡大させてコンバイナ２に投写する。

コンバイナ２は、拡大鏡７から投写された光が投写される、自動車に存在する投写面であり、この光を反射する。自動車の運転者は、コンバイナ２によって反射された光を見ることで、運転に関する情報等を視認することが可能である。また、コンバイナ２は、拡大鏡７から投写された光を反射すると同時に、フロントガラス１の外部（外界）からの光を透過する機能を持つ。このため、運転者は、拡大鏡７から投写された光に基づく画像と共に、フロントガラス１外の外界の景色を重畳させて視認することができる。

フロントガラス１の上方には、自動車の進行方向であるフロントガラス１の前方の景色を撮像する撮像部８が設けられている。撮像部８と表示ユニット４は有線又は無線で接続されており、撮像部８で撮像して得られた撮像画像データは表示ユニット４に出力される。撮像部８は、ＨＵＤ専用のものであってもよいし、例えば衝突防止システム等の別の目的で自動車に搭載されている撮像部であってもよい。

自動車内には、同乗者が所持する電子機器９が存在している。電子機器９は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、操作部、及び表示部などを実装した携帯型コンピュータである。電子機器は、例えば、スマートフォン、カメラ付き携帯電話機、及びタブレット端末（携帯情報端末）等である。

図２は、図１に示す表示ユニット４の構成例を示す図である。

表示ユニット４は、光源ユニット４０Ａと、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、投写光学系４６と、通信部４７と、全体を統括制御するシステム制御部４８と、を備える。

光源ユニット４０Ａは、光源制御部４０と、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備える。

ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。

ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化されたＲ光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化されたＧ光を反射させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化されたＢ光を反射させて光変調素子４４に出射する。

Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂは、それぞれ、レーザ及びＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）等の発光素子が用いられる。本実施形態では、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの光源を含むＨＵＤを例にするが、光源の数は２つまたは４つ以上であってもよい。

光源制御部４０は、Ｒ光源５１ｒ、Ｇ光源５１ｇ、及びＢ光源５１ｂの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンにしたがってＲ光源５１ｒ、Ｇ光源５１ｇ、及びＢ光源５１ｂから光を順次出射させる制御を行う。

光変調素子４４は、ダイクロイックプリズム４３から出射された光を変調して、投写用画像データに応じた光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射する。

光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄｃｒｙｓｔａｌｏｎｓｉｌｉｃｏｎ）、ＤＭＤ（ＤｉｇｉｔａｌＭｉｒｒｏｒＤｅｖｉｃｅ）、ＭＥＭＳ（ＭｉｃｒｏＥｌｅｃｔｒｏＭｅｃｈａｎｉｃａｌＳｙｓｔｅｍｓ）素子、及び液晶表示素子等を用いることができる。

駆動部４５は、システム制御部４８から入力される投写用画像データにしたがって光変調素子４４を駆動し、投写用画像データに応じた光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射させる。

投写光学系４６は、光変調素子４４から出射された光を拡散板５に投写するための光学系である。光変調素子４４、投写光学系４６、拡散板５、反射ミラー６、及び拡大鏡７により、光源ユニット４０Ａから出射される光を投写用画像データにしたがって変調して、投写面としてのコンバイナ２に投写する投写部が構成される。

通信部４７は、自動車内に存在する電子機器９と近距離無線通信を行うためのインターフェースである。このインターフェースとしては、例えばブルートゥース（登録商標）に準拠した通信インターフェースが用いられる。もちろん、他の通信インターフェースを利用してもよい。

システム制御部４８は、光源制御部４０と駆動部４５を制御する。

図３は、表示ユニット４のシステム制御部４８の機能ブロックと、電子機器９の内部構成を示すブロックとを示す図である。

図３に示すように、システム制御部４８は、撮像画像データ取得部５１と、投写用画像データ生成部５２と、運転者視認画像データ生成部５３と、電子機器検出部５４と、を備える。

撮像画像データ取得部５１は、撮像部８で撮像して得られた撮像画像データを撮像部８から取得し、投写用画像データ生成部５２と運転者視認画像データ生成部５３に出力する。

投写用画像データ生成部５２は、撮像画像データ取得部５１により取得された撮像画像データを公知の画像解析処理により解析して、投写用画像データを生成する。投写用画像データ生成部５２は、生成した投写用画像データを駆動部４５及び運転者視認画像データ生成部５３に出力する。

具体的には、投写用画像データ生成部５２は、撮像画像データから歩行者、電柱、街路樹、事故車両等の障害物または危険物を検出する。投写用画像データ生成部５２は、障害物または危険物を検出した場合には、検出した障害物または危険物を報知するための投写用画像データを生成する。

撮像画像データは、フロントガラス１前方の景色に相当する。そして、光変調素子４４のどの画素を有効（光を反射又は透過させて投写光学系４６に出射させる状態）にすれば、撮像画像データ（フロントガラス１前方の景色）のどの領域に画像が投写されるかの関係は、予め決められている。このため、撮像画像データから検出した障害物または危険物の領域がわかれば、どのような投写用画像データを駆動部４５に出力すべきかも決めることができる。

投写用画像データ生成部５２は、自動車の走行速度及び目的地へのナビゲーションを行うためのガイド情報を示す投写用画像データも生成する。

運転者視認画像データ生成部５３は、撮像画像データ取得部５１により取得された撮像画像データに、投写用画像データ生成部５２により生成された投写用画像データを重畳した運転者視認画像データを生成し、生成した運転者視認画像データを、通信部４７を介して自動車内に存在する電子機器９に送信させる。通信部４７は、自動車内に存在する電子機器９に運転者視認画像データを送信する送信部として機能する。

電子機器検出部５４は、自動車に存在する電子機器を検出する。例えば、電子機器検出部５４は、自動車に搭載されたナビゲーションシステム用のＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）受信機で受信された自動車の位置情報と、電子機器９に搭載されている後述するＧＰＳ受信機６６で受信された位置情報とを比較する。電子機器検出部５４は、電子機器９の位置情報を、通信部４７を介して取得する。

電子機器検出部５４は、２つの位置情報に大きな差がなければ、通信中の電子機器９は自動車内に存在すると判定する。電子機器検出部５４は、２つの位置情報に大きな差があれば、通信中の電子機器９は自動車外にあると判定する。電子機器検出部５４は、自動車内に電子機器９が存在すると判定した場合に、通信部４７に対し、この電子機器９とのデータの送受信を許可する。これにより、自動車内に存在する電子機器９とＨＵＤとでデータの送受信が可能な状態となる。

電子機器９は、制御部６１と、通信部６２と、フラッシュメモリやＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等の記憶媒体を含む記憶部６３と、各種情報を入力するための操作部６４と、画像データに基づく画像を表示する表示部６５と、ＧＰＳ受信機６６と、を備える。

制御部６１は、記憶部６３のＲＯＭに記憶されたプログラムを実行するプロセッサを主体に構成される。制御部６１は、通信部６２で受信された運転者視認画像データを取得し、取得した運転者視認画像データに基づく画像を表示部６５に表示させる。制御部６１は、取得部と表示制御部として機能する。

通信部６２は、図１に示すＨＵＤを含む他の電子機器と近距離無線通信を行うための通信インターフェースである。

記憶部６３は、通信部６２を介して受信したデータを記憶したり、電子機器９の動作に必要なデータを記憶したりする。

操作部６４は、制御部６１に各種指示を入力するためのインターフェースであり、各種ボタンや表示部６５に搭載されたタッチパネル等により構成される。

図４は、図１に示すＨＵＤと電子機器９の動作を説明するためのフローチャートである。図４の説明に当たり、図５、図６の表示例を参照し、具体的な処理内容も説明する。

図５は、ＨＵＤが起動していない状態において運転者が見ている光景を示す図である。図５の例では、走行中の自動車のフロントガラス１を通して、歩行者１０１及び建造物１０２が視認されている。

ＨＵＤが起動した状態で、同乗者は、電子機器９を所持して自動車に乗る。これにより、表示ユニット４の通信部４７と電子機器９の通信部６２との間でネゴシエーションが行われて、電子機器検出部５４により電子機器９の存在が検出される。そして、ＨＵＤの通信部４７と電子機器９の通信部６２との間でのデータの送受信が可能になる。

ＨＵＤが起動すると、撮像画像データ取得部５１は、撮像部８で撮像された撮像画像データを取得する（ステップＳ１）。

次に、投写用画像データ生成部５２は、撮像画像データ取得部５１で取得された撮像画像データを解析し（ステップＳ２）、解析結果に基づいて投写用画像データを生成する（ステップＳ３）。

図５の例では、歩行者１０１が障害物または危険物であると解析され、この障害物または危険物の存在と、その存在位置を報知するための投写用画像データが生成される。また、投写用画像データ生成部５２は、自動車の走行速度及びナビゲーション情報を表示するための投写用画像データを生成する。

次に、投写用画像データ生成部５２は、ステップＳ３で生成した投写用画像データを駆動部４５に入力する。駆動部４５は、投写用画像データ生成部５２から入力された投写用画像データにしたがって光変調素子４４を駆動し、光源ユニット４０Ａから出射される光の変調を行わせる。この変調により、投写用画像データに基づく画像がコンバイナ２に投写される（ステップＳ４）。

ステップＳ４の処理により、図６に示すように、投写用画像データに基づく画像１１１〜１１３がコンバイナ２に投写される。画像１１１は、障害物または危険物の存在を報知するための警告マークである。画像１１２は、障害物または危険物であると認識された領域を示す枠画像である。画像１１３は、自動車の走行速度とナビゲーション情報を示す画像である。運転者は、コンバイナ２に投写された画像１１１及び画像１１２と外界の景色とを重畳させて視認することで、歩行者１０１をより察知しやすくなる。

次に、運転者視認画像データ生成部５３は、撮像画像データ取得部５１により取得された撮像画像データに、ステップＳ３で生成された投写用画像データを重畳した運転者視認画像データを生成する（ステップＳ５）。運転者視認画像データ生成部５３は、ステップＳ５で生成した運転者視認画像データを、通信部４７を介して、自動車内に存在する電子機器９に送信する（ステップＳ６）。

電子機器９の制御部６１は、通信部６２を介して、ＨＵＤから送信されてきた運転者視認画像データを取得する（ステップＳ７）。そして、制御部６１は、取得した運転者視認画像データに基づく画像を表示部６５に表示させる（ステップＳ８）。

これにより、図６に示すように、電子機器９の表示部６５には、撮像部８により撮像されている被写体画像に虚像（画像１１１、１１２、及び１１３）が重畳された画像が表示される。つまり、電子機器９の表示部６５には、運転者が見ている光景に相当する画像がリアルタイムで表示される。

このように、運転者は、コンバイナ２に投写された画像１１１、１１２とフロントガラス１前方の外界の景色とを重畳させて視認することができるため、歩行者１０１等の危険状況をより察知しやすくなる。ＨＵＤの投写部は、コンバイナ２に投写された画像１１１及び画像１１２が運転者から最も視認しやすいように設計されている。このため、画像１１１及び画像１１２は、運転者以外からは視認することが難しい。しかし、図１のＨＵＤによれば、電子機器９の表示部６５によって、運転者が見ている光景を同乗者もリアルタイムに確認することができる。このため、例えば、運転者が歩行者１０１に気付いていない場合でも、同乗者が歩行者１０１に気付くことができ、同乗者が運転者に注意を促す等の対応が期待できる。

また、図１に示すＨＵＤでは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、Ｂ光源４１ｂや光変調素子４４の故障によって、コンバイナ２に例えば画像１１１や画像１１２が表示されないことが考えられる。このような状況では、運転者は、歩行者１０１等の危険状況に気付きにくくなる。

図１に示すＨＵＤによれば、Ｒ光源４１ｒ、Ｇ光源４１ｇ、Ｂ光源４１ｂや光変調素子４４に故障が発生していた場合でも、表示部６５には投写画像データに基づく画像が必ず表示されるため、同乗者が危険状況に気付くことができ、安全性を高めることができる。また、運転者と同乗者とで、見えている情報を共有することで、同乗者には見えているが運転者には見えていない状況を把握することができ、ＨＵＤの故障を運転者と同乗者によって気づくことができる。

図１に示すＨＵＤは、同乗者が所持する電子機器９を利用して、運転者が見ている光景に相当する画像を同乗者に見せるシステムである。このため、専用の表示装置を自動車に設ける必要はなく、低コスト化が可能である。

なお、運転者と情報共有するためのアプリケーションプログラムを電子機器９にインストールしておき、同乗者によって、そのアプリケーションプログラムが起動されることにより、上述したような処理が行われるようにしてもよい。この場合には、アプリケーションプログラムの起動時に、電子機器９の制御部６１が、ＨＵＤとのペアリングを実施し、電子機器９が自動車内に存在することを、ＨＵＤの電子機器検出部５４に通知してもよい。

図７は、図１に示すＨＵＤと電子機器９の動作の第一の変形例を説明するためのフローチャートである。図７の説明に当たり、図８の表示例を参照し、具体的な処理内容も説明する。

電子機器９の制御部６１は、表示部６５に表示された画像に対し、特定領域が指定されたか否かを判定する（ステップＳ１１）。

同乗者は、電子機器９の表示部６５に表示された運転者視認画像データに基づく画像において、自分が行きたい目的地が表示されていた場合に、その目的地を運転者に知らせるべく、目的地付近（例えば、図８の建造物１０２）の領域を画像上で指定する。

これにより、電子機器９の制御部６１は、運転者視認画像データに基づく画像の中から特定領域が指定されたと判定し（ステップＳ１１：ＹＥＳ）、この特定領域を示す指定情報を、通信部６２を介してＨＵＤの通信部４７に送信する（ステップＳ１２）。電子機器９の制御部６１は第一の送信部として機能する。

指定情報は、表示部６５に表示中の運転者視認画像データにおける上記特定領域の座標を示す情報である。なお、運転者視認画像データの各画素の座標は、撮像画像データの各画素の座標と対応している。

ＨＵＤの投写用画像データ生成部５２は、電子機器９から送信されてきて通信部４７で受信された指定情報を取得する（ステップＳ１３）。そして、投写用画像データ生成部５２は、撮像画像データを解析して生成した投写用画像データに対し、撮像画像データにおける指定情報に基づく領域を強調するためのデータを付加する（ステップＳ１４）。

撮像画像データは、フロントガラス１前方の景色に相当する。そして、光変調素子４４のどの画素を有効（光を反射又は透過させて投写光学系４６に出射させる状態）にすれば、撮像画像データ（フロントガラス１前方の景色）のどの領域に画像が投写されるかの関係は、予め決められている。このため、指定情報があれば、この指定情報で指定される撮像画像データの領域に画像を投写するためのデータを生成することができる。

次に、投写用画像データ生成部５２は、ステップＳ１４で生成した投写用画像データを駆動部４５に入力する。これにより、上記データが付加された投写用画像データに基づく画像がコンバイナ２に投写される（ステップＳ１５）。

ステップＳ１５の処理によって、例えば、図８に示すように、投写用画像データに基づく画像１２１が図６の例に対して追加で投写される。画像１２１は、電子機器９の利用者によって表示部６５に表示中の画像の中から指定された特定領域に対応する領域を示す枠画像である。画像１２１は一例であり、運転者に対し、建造物１０２が指定されていることを伝えることができる画像であれば何でもよい。

以上のように、同乗者は、電子機器９の表示部６５に表示された画像において、自分が行きたい目的地が表示されていた場合に、その目的地を指定することにより、コンバイナ２において、その目的地を強調表示させることができる。運転者は、特定領域を示す画像１２１を外界の景色と共に確認することができ、同乗者の目的地を容易に認識することができる。この構成によれば、例えば、タクシーの乗客が運転者に目的地を伝える場合に有効である。

図９は、図１に示すＨＵＤと電子機器９の動作の第二の変形例を説明するためのフローチャートである。図９の説明に当たり、図１０、図１１の表示例を参照し、具体的な処理内容も説明する。

操作部６４が操作されてメニュー表示指示が行われると、電子機器９の制御部６１は、例えば、図１０に示すようなメニュー１３０を表示部６５に表示させる。メニュー１３０には複数のアイコンが表示されるが、図１０の例ではトイレアイコン１３１が表示されている。

電子機器９の制御部６１は、表示部６５に表示されたメニュー１３０に含まれるアイコンのいずれかが選択されたか否かを判定する（ステップＳ２１）。

メニュー１３０に含まれるトイレアイコン１３１が同乗者によって選択されると、制御部６１は、コンバイナ２に投写させる画像の追加を指示する指示情報を、通信部６２を介して、ＨＵＤの通信部４７に送信する（ステップＳ２２）。なお、この指示情報は、選択されたアイコン毎に異なるものとなっており、指示情報に対応する画像データは、ＨＵＤの図示しないメモリに記憶されている。電子機器９の制御部６１は第二の送信部として機能する。

ＨＵＤの投写用画像データ生成部５２は、通信部４７で受信された指示情報を取得する（ステップＳ２３）。そして、投写用画像データ生成部５２は、撮像画像データを解析して生成した投写用画像データに対し、取得した指示情報に基づく画像を投写するためのデータ（指示情報に対応してメモリに記憶されている画像データ）を付加する（ステップＳ２４）。

次に、投写用画像データ生成部５２は、ステップＳ２４で生成した投写用画像データを駆動部４５に入力する。これにより、上記画像データが付加された投写用画像データに基づく画像がコンバイナ２に投写される（ステップＳ２５）。

例えば、図１０に示すように、コンバイナ２には、図６の例に対して画像１４１（図の例ではトイレマーク）が追加で投写される。運転者は、コンバイナ２に投写された画像１４１によって、同乗者がトイレに行きたい状況であることを認識することができる。

なお、制御部６１は、指示情報と共に、電子機器９の利用者から入力された任意のテキスト情報をＨＵＤに送信するようにしてもよい。そして、ＨＵＤの投写用画像データ生成部５２は、指示情報に対応する画像データと、この指示情報と同時に送信されてきたテキスト情報を表示するための画像データとを、撮像画像データを解析して生成した投写用画像データに対し付加する。図１０の例では、画像１４１と共に“Ａさん”というテキスト画像１４２が表示されている。これにより、誰がトイレに行きたいのかを運転者が容易に知ることができる。

テキスト入力に対応する構成を説明する。この構成では、電子機器９の制御部６１は、図１１に示すように、文字入力ボックス１５０を表示部６５に表示させる。コンバイナ２に追加投写させたいメッセージが文字入力ボックス１５０に入力されると、制御部６１は、メッセージの追加を指示する指示情報をＨＵＤに送信する。

投写用画像データ生成部５２は、この指示情報を取得すると、指示情報に基づく画像（メッセージ）を表示するためのデータを付加した投写用画像データを生成する。これにより、図１１に示すように、テキスト画像１６１が追加投写される。

以上のようにすることで、自動車の走行中において、同乗者が運転者に意思表示をすることができる。例えば、３列シートの自動車で最後部の座席にいる同乗者にとっては、運転者と会話するのが難しい場合もある。このため、図１１に示す構成が有効となる。また、会話することが難しい障害を持つ人にとっても有効な構成となる。

本実施形態のシステム制御部４８と制御部６１が行う各処理をコンピュータに実行させるためのプログラムとして提供することもできる。このようなプログラムは、そのプログラムをコンピュータが読取可能な一時的でない（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）記録媒体に記録される。

このような「コンピュータ読取可能な記録媒体」は、たとえば、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲＯＭ）等の光学媒体や、メモリカード等の磁気記録媒体等を含む。また、このようなプログラムを、ネットワークを介したダウンロードによって提供することもできる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された投写型表示装置は、自動車に搭載される投写型表示装置であって、上記自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信部と、を備えるものである。

開示された投写型表示装置は、上記投写用画像データ生成部は、上記表示部に表示された上記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を上記電子機器から取得し、上記撮像画像データにおける上記指定情報に基づく領域を強調するためのデータを上記投写用画像データに付加するものである。

開示された投写型表示装置は、上記投写用画像データ生成部は、上記投写面に投写させる画像の追加を指示する指示情報を上記電子機器から取得し、上記指示情報に基づく画像を投写するためのデータを上記投写用画像データに付加するものである。

開示された電子機器は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部と、上記通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得する取得部と、画像データに基づく画像を表示する表示部と、上記運転者視認画像データに基づく画像を上記表示部に表示させる表示制御部と、を備えるものである。

開示された電子機器は、上記表示部に表示された上記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を、上記通信部を介して上記投写型表示装置に送信する第一の送信部を更に備えるものである。

開示された電子機器は、上記投写面に投写させる画像の追加を指示する指示情報を、上記通信部を介して上記投写型表示装置に送信する第二の送信部を備えるものである。

開示された運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信ステップと、を備えるものである。

開示された運転者視認画像共有方法は、上記電子機器の表示部に表示された上記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を上記電子機器から取得するステップを更に備え、上記投写用画像データ生成ステップでは、上記撮像画像データにおける上記指定情報に基づく領域を強調するためのデータを上記投写用画像データに付加するものである。

開示された運転者視認画像共有方法は、上記投写面に投写させる画像の追加を指示する指示情報を上記電子機器から取得するステップを更に備え、上記投写用画像データ生成ステップでは、上記指示情報に基づく画像を投写するためのデータを上記投写用画像データに付加するものである。

開示された運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させるステップと、を備えるものである。

開示された運転者視認画像共有方法は、上記表示部に表示された上記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を、上記通信部を介して上記投写型表示装置に送信するステップを更に備えるものである。

開示された運転者視認画像共有方法は、操作部の操作に応じて、上記投写面に投写させる画像の追加を指示する指示情報を、上記通信部を介して上記投写型表示装置に送信するステップを更に備えるものである。

開示された運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信ステップと、をコンピュータに実行させるためのプログラムである。

開示された運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムである。

本発明は、特に車載用のＨＵＤに適用して利便性が高く、有効である。

８撮像部
９電子機器
４４光変調素子
４５駆動部
４７通信部
５１撮像画像データ取得部
５２投写用画像データ生成部
５３運転者視認画像データ生成部
６１制御部
６２通信部
６５表示部

【０００２】
発明が解決しようとする課題
［０００６］
自動車に搭載されるＨＵＤは、フロントガラスに投写される画像（前方の危険物を通知するための警告情報等）が運転者から最も見やすくなるように設計されており、助手席に座る同乗者からはこの画像を明確に確認することが難しい。同乗者によって警告等の情報が確認できれば、安全性向上を図ることができるが、これまで、そのような製品は提供されていない。
［０００７］
投写される画像を同乗者にも見せるために、自動車にＨＵＤを２台設けることが考えられる。しかし、限られたスペースにＨＵＤを２つ配置するのは難しい。また、自動車の製造コストが増大する。
［０００８］
特許文献１に記載のシステムは、同乗者用のディスプレイには外部のセンターから受信したコンテンツが表示されるだけであり、運転者が見ている画像を同乗者が共有することはできない。
［０００９］
特許文献２に記載のシステムは、ＨＵＤを用いたシステムに関するものではないため、ＨＵＤを自動車に搭載する場合についての課題については考慮されていない。
［００１０］
本発明は、上記事情に鑑みてなされたものであり、自動車の運転者の視野内の光景を同乗者によって容易に共有することのできる投写型表示装置、電子機器、運転者視認画像共有方法、及び運転者視認画像共有プログラムを提供することを目的とする。
課題を解決するための手段
［００１１］
本発明の投写型表示装置は、自動車に搭載される投写型表示装置であって、上記自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、障害物または危険物を抽出し、当該障害物または危険物を示す投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、画像データに基づく画像を表示する表示部を有し

【０００３】
かつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信部と、を備えるものである。
［００１２］
本発明の電子機器は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して障害物または危険物を抽出し、当該障害物または危険物を示す投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運
転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部と、上記通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得する取得部と、画像データに基づく画像を表示する表示部と、上記運転者視認画像データに基づく画像を上記表示部に表示させる表示制御部と、を備えるものである。
［００１３］
本発明の運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、障害物または危険物を抽出し、当該障害物または危険物を示す投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信ステップと、を備えるものである。
［００１４］
本発明の運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、障害物または危険物を抽出し、当該障害物または危険物を示す投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変

【０００４】
調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させるステップと、を備えるものである。
［００１５］
本発明の運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、障害物または危険物を抽出し、当該障害物または危険物を示す投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、画像データに基づく画像を表示する表示部を有しかつ上記自動車内に存在する電子機器に上記運転者視認画像データを送信する送信ステップと、をコンピュータに実行させるためのプログラムである。
［００１６］
本発明の運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して障害物または危険物を抽出し、当該障害物または危険物を示す投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのプログラムであ

本発明の投写型表示装置は、自動車に搭載される投写型表示装置であって、上記自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、障害物または危険物を抽出し、その障害物または危険物を示す投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写面に投写する投写部と、画像データに基づく画像を表示する表示部を有する電子機器の位置情報に基づいて上記電子機器が上記自動車内に存在するか否かを判定する判定部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成し、上記判定部によって記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成部と、を備えるものである。

本発明の電子機器は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して障害物または危険物を抽出し、その障害物または危険物を示す投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、画像データに基づく画像を表示する表示部を有する電子機器の位置情報に基づいて上記電子機器が上記自動車内に存在するか否かを判定する判定部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成し、上記判定部によって記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部と、上記通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得する取得部と、画像データに基づく画像を表示する表示部と、上記運転者視認画像データに基づく画像を上記表示部に表示させる表示制御部と、を備えるものである。

本発明の運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、障害物または危険物を抽出し、その障害物または危険物を示す投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、画像データに基づく画像を表示する表示部を有する電子機器の位置情報に基づいて上記電子機器が上記自動車内に存在するか否かを判定する判定ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成し、上記判定ステップによって記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成ステップと、を備えるものである。

本発明の運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、障害物または危険物を抽出し、その障害物または危険物を示す投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、画像データに基づく画像を表示する表示部を有する電子機器の位置情報に基づいて上記電子機器が上記自動車内に存在するか否かを判定する判定部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成し、上記判定部によって記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させるステップと、を備えるものである。

本発明の運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、障害物または危険物を抽出し、その障害物または危険物を示す投写用画像データを生成する投写用画像データ生成ステップと、光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写ステップと、画像データに基づく画像を表示する表示部を有する電子機器の位置情報に基づいて上記電子機器が上記自動車内に存在するか否かを判定する判定ステップと、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成し、上記判定ステップによって記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成ステップと、をコンピュータに実行させるためのものである。

本発明の運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して障害物または危険物を抽出し、その障害物または危険物を示す投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、上記光源ユニットから出射された光を上記投写用画像データにしたがって変調して上記自動車に存在する投写面に投写する投写部と、画像データに基づく画像を表示する表示部を有する電子機器の位置情報に基づいて上記電子機器が上記自動車内に存在するか否かを判定する判定部と、上記撮像画像データに上記投写用画像データを重畳した運転者視認画像データを生成し、上記判定部によって記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのものである。

本発明の投写型表示装置は、自動車に搭載され、外界の光を透過する機能と投写された光を運転者の方向に反射する機能とを有する投写面に投写用画像を投写する投写型表示装置であって、上記自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、障害物または危険物を抽出し、その障害物または危険物の存在を報知するための投写用画像データを生成する投写用画像データ生成部と、上記投写面に、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写する投写部と、上記自動車内に、画像データに基づく画像を表示する表示部を有する電子機器が存在するか否かを、該電子機器の位置情報に基づいて判定する判定部と、上記撮像画像データに上記投写用画像データを重畳して、運転者の視野内の光景に相当する運転者視認画像データを生成し、上記判定部によって上記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成部と、を備えるものである。

本発明の電子機器は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、前記撮像画像データ取得部により取得した撮像画像データを解析して、障害物または危険物を抽出し、その障害物または危険物の存在を報知するための投写用画像データを生成する投写用画像データ生成部と、上記自動車に搭載され、外界の光を透過する機能と投写された光を運転者の方向に反射する機能とを有する投写面に、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写する投写部と、上記自動車内に、画像データに基づく画像を表示する表示部を有する電子機器が存在するか否かを、その電子機器の位置情報に基づいて判定する判定部と、上記撮像画像データに上記投写用画像データを重畳して、運転者の視野内の光景に相当する運転者視認画像データを生成し、上記判定部によって上記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部と、上記通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得する取得部と、画像データに基づく画像を表示する表示部と、上記運転者視認画像データに基づく画像を前記表示部に表示させる表示制御部と、を備えるものである。

本発明の運転者視認画像共有方法は、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、障害物または危険物を抽出し、その障害物または危険物の存在を報知するための投写用画像データを生成する投写用画像データ生成ステップと、上記自動車に搭載され、外界の光を透過する機能と投写された光を運転者の方向に反射する機能とを有する投写面に、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写する投写ステップと、上記自動車内に、画像データに基づく画像を表示する表示部を有する電子機器が存在するか否かを、その電子機器の位置情報に基づいて判定する判定ステップと、上記撮像画像データに上記投写用画像データを重畳して、運転者の視野内の光景に相当する運転者視認画像データを生成し、上記判定ステップによって上記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成ステップと、を備えるものである。

本発明の運転者視認画像共有プログラムは、自動車に搭載され上記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、上記撮像画像データ取得ステップにより取得した撮像画像データを解析して、障害物または危険物を抽出し、その障害物または危険物の存在を報知するための投写用画像データを生成する投写用画像データ生成ステップと、上記自動車に搭載され、外界の光を透過する機能と投写された光を運転者の方向に反射する機能とを有する投写面に、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写する投写ステップと、上記自動車内に、画像データに基づく画像を表示する表示部を有する電子機器が存在するか否かを、その電子機器の位置情報に基づいて判定する判定ステップと、上記撮像画像データに上記投写用画像データを重畳して、運転者の視野内の光景に相当する運転者視認画像データを生成し、上記判定ステップによって上記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成ステップと、をコンピュータに実行させるためのものである。

本発明の運転者視認画像共有プログラムは、自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、上記撮像画像データ取得部により取得した撮像画像データを解析して、障害物または危険物を抽出し、その障害物または危険物の存在を報知するための投写用画像データを生成する投写用画像データ生成部と、上記自動車に搭載され、外界の光を透過する機能と投写された光を運転者の方向に反射する機能とを有する投写面に、光源ユニットから出射された光を上記投写用画像データにしたがって変調して投写する投写部と、上記自動車内に、画像データに基づく画像を表示する表示部を有する電子機器が存在するか否かを、その電子機器の位置情報に基づいて判定する判定部と、上記撮像画像データに上記投写用画像データを重畳して、運転者の視野内の光景に相当する運転者視認画像データを生成し、上記判定部によって上記自動車内に上記電子機器が存在すると判定された状態で、上記運転者視認画像データを上記電子機器に送信する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、上記投写型表示装置から上記運転者視認画像データを取得するステップと、上記運転者視認画像データに基づく画像を表示部に表示させるステップと、をコンピュータに実行させるためのものである。

Claims

自動車に搭載される投写型表示装置であって、
前記自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、
前記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、
光源ユニットから出射された光を前記投写用画像データにしたがって変調して投写面に投写する投写部と、
前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、
画像データに基づく画像を表示する表示部を有しかつ前記自動車内に存在する電子機器に前記運転者視認画像データを送信する送信部と、を備える投写型表示装置。
請求項１記載の投写型表示装置であって、
前記投写用画像データ生成部は、前記表示部に表示された前記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を前記電子機器から取得し、前記撮像画像データにおける前記指定情報に基づく領域を強調するためのデータを前記投写用画像データに付加する投写型表示装置。
請求項１又は２記載の投写型表示装置であって、
前記投写用画像データ生成部は、前記投写面に投写させる画像の追加を指示する指示情報を前記電子機器から取得し、前記指示情報に基づく画像を投写するためのデータを前記投写用画像データに付加する投写型表示装置。
自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、前記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットから出射された光を前記投写用画像データにしたがって変調して前記自動車に存在する投写面に投写する投写部と、前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部と、
前記通信部を介して、前記投写型表示装置から前記運転者視認画像データを取得する取得部と、
画像データに基づく画像を表示する表示部と、
前記運転者視認画像データに基づく画像を前記表示部に表示させる表示制御部と、を備える電子機器。
請求項４記載の電子機器であって、
前記表示部に表示された前記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を、前記通信部を介して前記投写型表示装置に送信する第一の送信部を更に備える電子機器。
請求項５記載の電子機器であって、
前記投写面に投写させる画像の追加を指示する指示情報を、前記通信部を介して前記投写型表示装置に送信する第二の送信部を備える電子機器。
自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、
前記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、
光源ユニットから出射された光を前記投写用画像データにしたがって変調して前記自動車に存在する投写面に投写する投写ステップと、
前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、
画像データに基づく画像を表示する表示部を有しかつ前記自動車内に存在する電子機器に前記運転者視認画像データを送信する送信ステップと、を備える運転者視認画像共有方法。
請求項７記載の運転者視認画像共有方法であって、
前記電子機器の表示部に表示された前記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を前記電子機器から取得するステップを更に備え、
前記投写用画像データ生成ステップでは、前記撮像画像データにおける前記指定情報に基づく領域を強調するためのデータを前記投写用画像データに付加する運転者視認画像共有方法。
請求項７又は８記載の運転者視認画像共有方法であって、
前記投写面に投写させる画像の追加を指示する指示情報を前記電子機器から取得するステップを更に備え、
前記投写用画像データ生成ステップでは、前記指示情報に基づく画像を投写するためのデータを前記投写用画像データに付加する運転者視認画像共有方法。
自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、前記撮像画像データ取得部により取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、前記光源ユニットから出射された光を前記投写用画像データにしたがって変調して前記自動車に存在する投写面に投写する投写部と、前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、前記投写型表示装置から前記運転者視認画像データを取得するステップと、
前記運転者視認画像データに基づく画像を表示部に表示させるステップと、を備える運転者視認画像共有方法。
請求項１０記載の運転者視認画像共有方法であって、
前記表示部に表示された前記運転者視認画像データに基づく画像の中から指定された特定領域を示す指定情報を、前記通信部を介して前記投写型表示装置に送信するステップを更に備える運転者視認画像共有方法。
請求項１１記載の運転者視認画像共有方法であって、
操作部の操作に応じて、前記投写面に投写させる画像の追加を指示する指示情報を、前記通信部を介して前記投写型表示装置に送信するステップを更に備える運転者視認画像共有方法。
自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得ステップと、
前記撮像画像データ取得ステップにより取得した撮像画像データを解析して、投写用画像データを生成する投写用画像データ生成ステップと、
光源ユニットから出射された光を前記投写用画像データにしたがって変調して前記自動車に存在する投写面に投写する投写ステップと、
前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成ステップと、
画像データに基づく画像を表示する表示部を有しかつ前記自動車内に存在する電子機器に前記運転者視認画像データを送信する送信ステップと、をコンピュータに実行させるための運転者視認画像共有プログラム。
自動車に搭載され前記自動車の進行方向を撮像する撮像部から撮像画像データを取得する撮像画像データ取得部と、前記撮像画像データ取得部により取得した撮像画像データを解析して投写用画像データを生成する投写用画像データ生成部と、光源ユニットと、前記光源ユニットから出射された光を前記投写用画像データにしたがって変調して前記自動車に存在する投写面に投写する投写部と、前記撮像画像データに前記投写用画像データを重畳した運転者視認画像データを生成する運転者視認画像データ生成部と、を有する投写型表示装置との通信を行う通信部を介して、前記投写型表示装置から前記運転者視認画像データを取得するステップと、
前記運転者視認画像データに基づく画像を表示部に表示させる表示制御ステップと、をコンピュータに実行させるための運転者視認画像共有プログラム。