JP6051859B2

JP6051859B2 - 画像表示装置および画像表示方法

Info

Publication number: JP6051859B2
Application number: JP2012288853A
Authority: JP
Inventors: 博友伊藤
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-12-28
Filing date: 2012-12-28
Publication date: 2016-12-27
Anticipated expiration: 2032-12-28
Also published as: JP2014130278A

Description

本発明は、画像表示装置および画像表示方法に関する。

様々な種類の画像表示装置の中で、いわゆるヘッドアップディスプレイと呼ばれる装置が、近年注目を集めている。このヘッドアップディスプレイには、風景などの実像と、速度表示画像などの入力された画像データに係る虚像とを、併せて観察者に認識させるための、コンバイナと呼ばれる光学素子を備えるものがある。このコンバイナは、外部から入る光を透過すると共に、ヘッドアップディスプレイが備える光学ユニットから投射された画像表示光などに係る画像を反射することで、コンバイナの観察者に対して、各種情報を示す画像を、外部の風景に重畳させて視認させることができる。

特開２０１０−２５６８６７号公報

このような画像表示装置の中には、画像表示装置の設置場所における環境光など、画像表示装置の外部環境の情報に基づいて、表示する画像を制御するものも存在する。画像表示装置の設置場所としては、例えば車内が挙げられ、環境光としては太陽光などが挙げられる。しかしながら、環境光などをはじめとする画像表示装置の外部環境の情報には多種多様なものが考えられ、それらに対する処理は非常に複雑となる場合があり、例えば次のような問題が生じる。多種多様な外部環境の情報を計測するためには様々はセンサ等の計測機器が必要となる。また仮にそれらの計測機器を用意したとしても、計測機器が計測できる範囲は有限であり、全ての範囲において外部環境の条件を計測するのは困難である。さらに、仮に種々の情報が計測できたとしても、様々な情報を処理して適切な画像制御をすることは困難であり、コストもかかる。

本発明は、上述の事情に鑑みてされたものであり、コンバイナに提示させる虚像を容易かつ適切に制御する画像表示装置および画像表示方法を提供することを目的とする。

上記課題を解決するために、本発明のある態様は画像表示光に基づく虚像を提示させるコンバイナを備えた画像表示装置である。この装置は、画像信号を取得する画像取得部と、前記画像取得部が取得した画像信号から、連続領域の画像信号ないし閉領域の画像信号毎に前記画像信号の領域を分割し、分割した前記画像信号の領域の面積と輝度値とを特定する領域分割部と、特定した前記面積と前記輝度値とに基づいて重み付き和を算出し、前記重み付き和の値が大きいほど、前記画像取得部が取得した画像信号に対し、前記コンバイナに対する前記虚像の透過度合いが大きくなるマスク処理を行うマスク処理部と、前記マスク処理部がマスク処理を行った画像信号に基づいて前記画像表示光を投射する投射部とを備える。
本発明の別の態様は、画像表示光に基づく虚像を提示させるコンバイナに対し、前記画像表示光を投射する画像表示方法である。この方法は、画像信号を取得する画像取得ステップと、前記画像取得ステップで取得された画像信号から、連続領域の画像信号ないし閉領域の画像信号毎に前記画像信号の領域を分割し、分割した前記画像信号の領域の面積と輝度値とを特定する領域分割ステップと、特定した前記面積と前記輝度値とに基づいて重み付き和を算出し、前記重み付き和の値が大きいほど、前記画像取得ステップで取得された画像信号に対し、前記コンバイナに対する前記虚像の透過度合いが大きくなるマスク処理を行うマスク処理ステップと、前記マスク処理ステップでマスク処理が行われた画像信号に基づいて前記画像表示光を投射する投射ステップとを有する。

本発明によれば、コンバイナに提示させる虚像を容易かつ適切に制御する画像表示装置および画像表示方法を提供することができる。

本発明の画像表示装置であるヘッドアップディスプレイを、取り付けた車両内部からの視野により示す斜視図である。光学ユニットの内部構成を光の経路と共に示す図である。光学ユニットの内部構成を光の経路と共に示す図である。実施の形態に係る画像表示装置の機能構成を模式的に示す図である。実施の形態に係る画像表示装置がコンバイナに提示する虚像の一例を模式的に示す図である。実施の形態に係るマスク制御部の機能構成を模式的に示す図である。実施の形態に係るマスク選択部が領域の位置を数値化するために参照する位置数値化マップを模式的に示す図である。実施の形態に係るマスクデータベースのデータ構造を模式的に示す図である。図９（ａ）−（ｃ）は、実施の形態に係るマスクパターンの一例を模式的に示す図である。実施の形態に係るマスクタイミングデータベースのデータ構造を模式的に示す図である実施の形態に係る画像表示装置がコンバイナに提示するマスク処理された虚像の一例を模式的に示す図である。実施の形態に係るマスク選択部が分割した領域を例示する模式図である。実施の形態に係るマスクタイミングチャートを模式的に示す図である。実施の形態に係る画像表示装置が実行する画像表示処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を参照しつつ説明する。かかる実施形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

［本実施形態に係る画像表示装置の外観構成］
本実施形態に係る画像表示装置として、車両が備えるルームミラー（バックミラー）に取り付けられて使用されるヘッドアップディスプレイを例に挙げる。図１を参照して、その外観構成について説明する。図１は、本実施形態に係るヘッドアップディスプレイ１０を、このヘッドアップディスプレイ１０が取り付けられたルームミラー６００から車両の図示しないウィンドシールドの方に向かう視野により観察した態様を示す斜視図である。以後の説明において、前後、左右及び上下で示される方向は、それぞれ車両の前方、後方、車両の左側方向、右側方向、車両が配置された路面に垂直で、その路面から車両側の方向及びその反対方向を意味する。

ヘッドアップディスプレイ１０は、コンバイナ４００に虚像として表示される画像に係る画像信号を生成し、その生成された画像信号を光学ユニット２００に出力する回路基板（図示せず）が収納された基板収納部１００を備える。ナビゲーション装置やメディア再生装置などの図示しない外部装置から出力された画像信号が、回路基板に入力される。回路基板は、入力された画像信号に対して所定の処理を行った後、光学ユニット２００に出力することもできる。回路基板はまた、図示しないＣＰＵ（Central Processing Unit）やメモリを備え、実施の形態に係る画像処理や画像制御を実現するためのソフトウェアを実行することができる。

ヘッドアップディスプレイ１０は、回路基板から出力された画像信号が入力される光学ユニット２００を備える。光学ユニット２００は、光学ユニット本体２１０、及び投射部３００を備える。光学ユニット本体２１０には、後述する光源２３１、画像表示素子２４０、及び各種光学レンズなどが収納される。投射部３００には、後述する各種投射ミラー及び中間像スクリーン３６０が収納される。回路基板が出力した画像信号は、光学ユニット本体２１０の上記各デバイス、及び投射部３００の上記各デバイスを介して、投射口３０１から凹面形状を有するコンバイナ４００に画像表示光として投射される。なお、本実施形態では画像表示素子２４０として反射型液晶表示パネルであるＬＣＯＳ（Liquid crystal on silicon）を用いる場合を例示するが、画像表示素子２４０としてＤＭＤ（Digital Micromirror Device）を用いてもよい。また透過型液晶表示パネルを用いてもよい。その場合、適用する表示素子に応じた光学系及び駆動回路で構成するものとする。

運転者である観察者は投射された画像表示光に係る画像をコンバイナ４００を介して虚像として認識する。図１では、投射部３００が「Ａ」の文字の画像に係る画像表示光をコンバイナ４００に投射している。ユーザはコンバイナ４００を見ることで、「Ａ」の文字が、ユーザから例えば１．７ｍ〜２．０ｍ前方（車両前方）に表示されているかのように認識する、すなわち虚像４５０を認識することができる。ここで、投射部３００からコンバイナ４００に投射される画像表示光の中心軸を投射軸３２０と定義する。

光学ユニット２００は基板収納部１００に対して回動可能な構成となっている。さらに、本実施形態に係るヘッドアップディスプレイ１０では、投射部３００及びコンバイナ４００は光学ユニット本体２１０の所定の面に対して取付け向きが変更可能、また脱着可能な構成となっている。

［本実施形態に係る画像表示装置の内部構成：光学系］
次にヘッドアップディスプレイ１０の内部構成について説明する。図３は、上述したヘッドアップディスプレイ１０の光学ユニット２００の内部構成について説明するための図である。図３は光学ユニット本体２１０の内部構成、及び投射部３００の内部構成の一部を画像表示光に係る光路とともに示す図である。

まず図３を参照して光学ユニット本体２１０の内部構成及び画像表示光に係る光路について説明する。光学ユニット本体２１０は、光源２３１、コリメートレンズ２３２、ＵＶ−ＩＲ（UltraViolet-Infrared Ray）カットフィルタ２３３、偏光子２３４、フライアイレンズ２３５、反射鏡２３６、フィールドレンズ２３７、偏光ビームスプリッタ２３８、１／４波長板２３９、検光子２４１、投射レンズ群２４２、及びヒートシンク２４３を備える。

光源２３１は白色、又は青色、緑色、及び赤色の三色の光を発する発光ダイオードからなる。光源２３１には発光に伴い発生する熱を放冷するためのヒートシンク２４３が取り付けられている。光源２３１が発光した光は、コリメートレンズ２３２によって平行光に変えられる。ＵＶ−ＩＲカットフィルタ２３３は、コリメートレンズ２３２を通過した平行光から紫外光及び赤外光を吸収し除去する。偏光子２３４は、ＵＶ−ＩＲカットフィルタ２３３を通過した光を乱れのないＰ偏光へと変える。そしてフライアイレンズ２３５が、偏光子２３４を通過した光の明るさを均一に整える。

反射鏡２３６は、フライアイレンズ２３５の各セルを通過した光の光路の方向を９０度変更する。反射鏡２３６で反射された光はフィールドレンズ２３７によって集光される。フィールドレンズ２３７が集光した光は、Ｐ偏光を透過する偏光ビームスプリッタ２３８及び１／４波長板２３９を介して、画像表示素子２４０に照射される。

画像表示素子２４０は、画素毎に赤色、緑色、及び青色のカラーフィルタを備えている。画像表示素子２４０に照射された光は、各画素に対応する色となり、画像表示素子２４０の備える液晶組成物によって変調が施され、Ｓ偏光の画像表示光となって偏光ビームスプリッタ２３８に向けて出射される。出射されたＳ偏光の光は偏光ビームスプリッタ２３８で反射され、光路を変えて検光子２４１を通過した後に投射レンズ群２４２へ入射される。

投射レンズ群２４２を透過した画像表示光は、光学ユニット本体２１０を出て投射部３００に入る。そして投射部３００が備える第１投射ミラー３５１が、入ってきた画像表示光の光路を変更する。

次に投射部３００の内部構成及び画像表示光に係る光路について説明する。投射部３００は、第１投射ミラー３５１、第２投射ミラー３５２、及び中間像スクリーン３６０を備える。

上述の通り、光学ユニット本体２１０の備える偏光ビームスプリッタ２３８、検光子２４１、及び投射レンズ群２４２を通過した画像表示光の光路は、第１投射ミラー３５１及び第２投射ミラー３５２によって、コンバイナ４００へと向かう光路に変更される。その間で、第２投射ミラー３５２で反射された画像表示光に基づく実像が中間像スクリーン３６０で結像する。中間像スクリーン３６０で結像した実像に係る画像表示光は、中間像スクリーン３６０を透過し、コンバイナ４００に投射される。ユーザは上述の通り、コンバイナ４００を介して、この投射された画像表示光に係る虚像を前方に認識することになる。

以上のような内部構成とすることで、観察者は、ヘッドアップディスプレイ１０に入力された画像信号に基づく虚像を、コンバイナ４００を介して現実の風景に重畳して視認することができる。

［実施の形態に係る画像表示装置の機能構成］
図４は、実施の形態に係る画像表示装置５００の機能構成を模式的に示す図である。上述したように、実施の形態に係る画像表示装置５００の機能は、例えば上述したヘッドアップディスプレイ１０を用いて実現できる。図４に示す構成は、ハードウェアコンポーネントでいえば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム、および投射部やコンバイナなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックの少なくとも一部が、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

上述したように、実施の形態に係る画像表示装置５００は、車両が備えるルームミラー６００に取り付けられて使用され、コンバイナ４００を用いて観察者である運転者に対し、例えば走行速度やナビゲーション等の情報を画像（虚像）として提示する。このため、提示される画像（虚像）の明るさ、大きさ、または位置などによっては、観察者がコンバイナを介して視認する風景の視認性が低下することも起こりうる。そこで実施の形態に係る画像表示装置５００は、提示される画像（虚像）に係る画像信号（画像データ）を解析して、必要に応じて、提示される画像（虚像）の一部または全体の透過度合いを高めるマスク処理を施す。このマスク処理により、虚像の透過度合いが上がり、観察者の風景の視認性が高まる。

これを実現するために、実施の形態に係る画像表示装置５００は、画像取得部５０２、色空間変換部５０４、マスク制御部５０８、記録部５１０、投射部３００、およびコンバイナ４００を備える。

実施の形態に係る画像表示装置５００の画像取得部５０２は、提示される画像（虚像）に係る画像信号を外部の装置から取得する。画像表示装置５００を車両に搭載するヘッドアップディスプレイ１０として実現する場合には、外部の装置として、例えばカーナビゲーション装置（システム）や、カーナビゲーション機能を実現する携帯端末（例えば、スマートフォンなど）、あるいはＢｌｕ−ｒａｙ（登録商標）ディスクプレイヤ等の光ディスク再生装置である。

色空間変換部５０４は、画像取得部５０２が取得した画像信号がＲＧＢ信号の場合、既知の変換式を用いて色空間を変換し、輝度信号および色差信号に変換する。領域分割部５０６は、画像取得部５０２が取得し、必要に応じて色空間変換部５０４が色空間変換を施した、変換された画像信号をもとに、表示する画像を分割する。この領域分割部５０６により、入力された信号から連続領域ないし閉領域の画像の面積と輝度値とを特定することができる。すなわち例えば「５６ｋｍ／ｈ」という画像について、「５」、「６」、「ｋ」、「ｍ」、「／」、および「ｈ」の画像をそれぞれの、そして一連の連続領域ないし閉領域の画像として特定し、面積と輝度値とを特定することができる。なお、入力された信号から連続領域の画像ないし閉領域の画像に係る画像信号を特定するために、領域分割部５０６によらず、他の既知の手法を用いてもよい。この場合は、画像表示装置５００から領域分割部５０６を省略した構成とする。

図５は、実施の形態に係る画像表示装置５００がコンバイナ４００に提示する虚像の一例を模式的に示す図である。図５に示す例では、コンバイナ４００の観察者は運転者である。観察者は、実在する道路４０２上に、３つの虚像４５０ａ〜４５０ｃが重畳して表示されているように認識する。ここで３つの虚像４５０ａ〜４５０ｃは、画像取得部５０２が、外部の装置から取得した画像信号をもとに生成した画像であり、虚像４５０ａは警告表示、虚像４５０ｂは速度表示、虚像４５０ｃは進行方向の指示表示である。

領域分割部５０６は、既知の領域分割アルゴリズムを用いて、例えば画像信号に基づく輝度画像を図５に示す３つの虚像４５０ａ〜４５０ｃのように、連続する信号領域毎に、入力された信号を分割する。換言すると連続領域の画像ないし閉領域の画像毎に、画像を分割する。

図４の説明に戻る。マスク制御部５０８は、領域分割部５０６が分割した各信号領域の面積と輝度値とを取得する。マスク制御部５０８は、表示する画像に対してマスク処理するか否かを決定するために定められた所定のマスク条件を、取得した面積と輝度値とが満たす場合、表示する画像のうち、そのマスク条件を満たす信号領域をマスク処理する。記録部５１０は、マスク制御部５０８が参照するマスク条件や、マスク処理に用いるマスクパターンなどを格納する。なおマスク制御部５０８の詳細は後述する。投射部３００は、マスク制御部５０８が出力した画像信号をもとに、画像表示光をコンバイナ４００に投射する。コンバイナ４００は、投射部３００が投射する画像表示光に基づいて、観察者に虚像を提示する。

［マスク選択処理］
図６は、実施の形態に係るマスク制御部５０８の機能構成を模式的に示す図である。マスク制御部５０８は、マスク選択部５１２、マスク開始決定部５１４、およびマスク処理部５１６を備える。

マスク選択部５１２は、領域分割部５０６が分割した画像毎に、その画像の領域の面積と輝度値とを導出（特定）する。マスク選択部５１２は、導出（特定）した面積と輝度値とをもとに、表示する画像に処理するマスクパターンを選択する。マスク処理部５１６は、マスク選択部５１２が選択したマスクパターンで、表示する画像に係る画像信号にマスク処理を施す。以下、マスク選択部５１２が実行するマスクパターンの選択およびマスク処理について具体的に説明する。

マスク選択部５１２が実行するマスクパターンの選択処理の概略を述べる。マスク選択部５１２は、領域分割部５０６が分割した画像の領域毎に、その画像の領域の面積Ａ、輝度値Ｌ、その画像の領域の存在位置Ｐ、およびその画像の領域に係る画像情報Ｉを、０〜１００までの範囲で規格化して数値化する。続いてマスク選択部５１２は、領域の面積Ａ、輝度値Ｌ、位置Ｐ、画像情報Ｉのそれぞれに、所定の重みＷ_Ａ、Ｗ_Ｌ、Ｗ_Ｐ、Ｗ_Ｉを積算して、重み付き和Ｓ_Ｐを算出する。すなわち重み付き和Ｓ_Ｐは、以下の式（１）で与えられる。
重み付き和Ｓ_Ｐ＝Ｗ_ＡＡ＋Ｗ_ＬＬ＋Ｗ_ＰＰ＋Ｗ_ＩＩ・・・（１）

ここで重みＷ_Ａ、Ｗ_Ｌ、Ｗ_Ｐ、Ｗ_Ｉは、重み付き和Ｓ_Ｐを算出する際の重要度を定めるパラメータであり、
０≦Ｗ_Ａ，Ｗ_Ｌ，Ｗ_Ｐ，Ｗ_Ｉ≦１かつＷ_Ａ＋Ｗ_Ｌ＋Ｗ_Ｐ＋Ｗ_Ｉ＝１．０・・・（２）
となるように定められている。各重みの大きさが大きいほど、マスク選択の際に考慮する重要性が高いことを示す。重みの値が０のときは、マスク選択の際にその重みに対応する情報を用いないことを意味する。例えばＷ_Ｐ＝Ｗ_Ｉ＝０のとき、マスク選択部５１２は、画像の存在位置および画像情報を用いずに、領域分割部５０６が分割した領域の面積と輝度値とをもとに、マスクパターンを選択する。

マスク選択部５１２は、式（１）を用いて算出した重み付き和Ｓ_Ｐの値をもとに、Ｓ_Ｐの値と使用するマスクパターンの種類とが関連づけられているマスクデータベース５２０を参照して、マスクパターンを選択する。より具体的には、マスク選択部５１２は、算出した重み付き和Ｓ_Ｐの値が大きいほど、マスク処理をしたときに投射部３００が投射する画像表示光に係る画像（虚像）の透過度合いが高まる、ないしその光量が少なくなるようなマスクパターンを選択するように、マスクデータベース５２０は構成されている。ここでいう「マスクの種類」には、マスクを使用しないこと、すなわちマスク処理をしないことも含まれる。またマスクデータベース５２０は記録部５１０に格納されている。

以下、画像取得部５０２が取得した画像信号に係る輝度信号は、０〜２５５の範囲を取り得る８ビットデータであることを前提とするが、データの種類は８ビットに限られないことは当業者には理解されることである。本実施の形態に係る画像表示装置５００が扱う輝度信号は、値が小さいほど画像が暗く、２５５のときが最大の輝度値となることを示す。

マスク選択部５１２は、記録部５１０から重み付き和Ｓ_Ｐを算出するために定められたスコア算出基準閾値Ｌ_Ｔを取得する。コンバイナ４００に提示される虚像が明るい場合、その虚像が重畳された外界の映像の視認性が低下する可能性がある。そこで「スコア算出基準閾値Ｌ_Ｔ」を、コンバイナ４００に提示される虚像が外界の映像の視認性を低下させる可能性があるかないかを定める「輝度値の基準閾値」とする。「スコア算出基準閾値Ｌ_Ｔ」の具体的な値は、投射部３００を構成する光学部材の性能や光源２３１の明るさ等を考慮して実験により定めればよいが、ここでは例えば、輝度値の最大値のおよそ３／４の値である１９２であるものとする。

マスク選択部５１２は、領域分割部５０６が分割した領域の各画素のうち、輝度値がスコア算出基準閾値Ｌ_Ｔを超える画素の数Ｎを算出する。マスク選択部５１２は、コンバイナ４００に提示する最大の画像の画素数Ｎ_ＭＡＸに対するＮの百分率を計算し、その値を領域における規格化された面積Ａの数値とする。すなわち、面積Ａは以下の式（３）で求められる。
Ａ＝輝度値がスコア算出基準閾値Ｌ_Ｔを超える画素の数Ｎ／最大の画像の画素数Ｎ_ＭＡＸ×１００・・・（３）
定義より、Ａの取り得る値は０≦Ａ≦１００である。

続いてマスク選択部５１２は、輝度値がスコア算出基準閾値Ｌ_Ｔを超える画素の平均輝度値を算出し、最大の輝度値２５５に対する百分率を、規格化された輝度値とする。すなわち、輝度値Ｌは以下の式（３）で求められる。
Ｌ＝Σ（輝度値がスコア算出基準閾値Ｌ_Ｔを超える画素の輝度値）／Ｎ／２５５×１００・・・（３）
定義より、Ｌの取り得る値は０≦Ｌ≦１００である。

図７は、実施の形態に係るマスク選択部５１２が、提示されることになる画像（虚像）の存在位置を数値化するために、参照する位置数値化マップ５１８を模式的に示す図である。位置数値化マップ５１８は、コンバイナ４００に提示可能な画像領域が縦方向と横方向にそれぞれ３分割され、各分割領域にＰ_１〜Ｐ_５までの数値が割り当てられたものである。この位置数値化マップ５１８は記録部５１０に格納されている。ここで、０≦Ｐ_１＜Ｐ_２＜Ｐ_３＜Ｐ_４＜Ｐ_５≦１００である。具体的に、図７に示す位置数値化マップ５１８は、画像領域の上側と比較すると下側の数値が大きく、画像領域の両端と中央とを比較すると中央の数値が大きくなるように、数値が割り当てられている。

マスク選択部５１２は、位置数値化マップ５１８の９つの分割領域のうち、輝度値がスコア算出基準閾値Ｌ_Ｔを超える画素が最も多く含まれる領域に割り当てられた数値を、規格化された位置Ｐの数値とする。図７に示す例では、符号５２１で示される破線領域が、輝度値がスコア算出基準閾値Ｌ_Ｔを超える画素の存在領域である。この場合、位置Ｐの数値はＰ_４となる。あるいは、マスク選択部５１２は、輝度値がスコア算出基準閾値Ｌ_Ｔを超える各画素が含まれる領域に割り当てられた数値を、その領域に含まれる画素の数で重み付き平均を取った値を位置Ｐの数値としてもよい。いずれの場合も、Ｐの取り得る値は０≦Ｐ≦１００である。

画像情報Ｉは、輝度値がスコア算出基準閾値Ｌ_Ｔを超える画素に関する情報を数値化した値である。画像情報の一例としては、画素の色相、彩度があげられる。例えば図５に示す虚像４５０ａのように、コンバイナ４００に警告情報を提示する場合、黄色や赤色等のいわゆる警告色が用いられる。警告色は観察者である運転者が視認しやすい画像であるため、多少輝度値が下がったとしても運転者の視認は低下しにくいと考えられる。そこで、画素の色相や彩度とそのときの画像情報Ｉの値とを関連付けて、記録部５１０に記録しておく。

あるいはまた、図５に示す虚像４５０ａのように文字情報を提示する場合には、既知の文字認識手法を用いて文字情報が示す内容を認識してもよい。この文字情報が示す内容とそのときの画像情報Ｉの値とを関連付けて、記録部５１０に記録しておく。このように、記録部５１０は、輝度値がスコア算出基準閾値Ｌ_Ｔを超える画素に関する情報とそのときの画像情報Ｉの値とを関連付けて、画像情報データベースとして記録する。マスク選択部５１２は、画像情報データベースを参照して、画像情報Ｉを取得する。画像情報としてどのような情報を採用するかは、画像表示装置５００の利用シーンを考慮して実験により定めればよい。いずれにしても、画像情報Ｉは、Ｉ∈（Ｉ_１，Ｉ_２，・・・Ｉ_Ｍ）であり、０≦Ｉ_１，Ｉ_２，・・・Ｉ_Ｍ≦１００である。ここでＩ_１，Ｉ_２，・・・Ｉ_Ｍは画像情報データベースが格納する画像情報Ｉの値であり、Ｍは画像情報データベースが格納する画像情報Ｉの数である。

以上より、マスク選択部５１２は、式（１）に基づいて、重み付き和Ｓ_Ｐを算出することができる。上述したように、面積Ａ、輝度値Ｌ、位置Ｐ、画像情報Ｉは、０〜１００までの範囲の値となるように規格化されている。また、式（２）に示すように、面積Ａ、輝度値Ｌ、位置Ｐ、画像情報Ｉを、それぞれに定められた重みＷ_Ａ、Ｗ_Ｌ、Ｗ_Ｐ、Ｗ_Ｉの合計は１．０である。したがって、式（１）より、重み付き和Ｓ_Ｐの取り得る値の範囲は、０≦Ｓ_Ｐ≦１００となる。

図８は、実施の形態に係るマスク選択部５１２が、マスクパターンの選択の際に参照するマスクデータベース５２０のデータ構造を模式的に示す図である。この意味で、マスクデータベース５２０が上述したマスク条件である。図８に示すように、マスクデータベース５２０は、重み付き和Ｓ_Ｐの値に応じて４つのマスクパターンを対応づけている。具体的には、重み付き和Ｓ_Ｐの値が０≦Ｓ_Ｐ≦ａ_１のとき、マスク処理のパターンは「マスク処理しない」であり、マスク選択部５１２はマスク処理をしないことを選択する。同様に、重み付き和Ｓ_Ｐの値がａ_１＜Ｓ_Ｐ≦ａ_２のとき、マスク選択部５１２は第１パターンのマスクを選択する。重み付き和Ｓ_Ｐの値がａ_２＜Ｓ_Ｐ≦ａ_３のとき、マスク選択部５１２は第２パターンのマスクを選択し、重み付き和Ｓ_Ｐの値がａ_３＜Ｓ_Ｐ≦１００のとき、マスク選択部５１２は第３パターンのマスクを選択する。

図９（ａ）−（ｃ）は、実施の形態に係るマスクパターンの一例を模式的に示す図である。図９（ａ）−（ｃ）に示すマスクパターンは、黒色の矩形と白色の矩形とから構成されており、各矩形が画像の一画素に対応する。図９（ａ）−（ｃ）に示すマスクパターンにおいて、白い矩形はコンバイナ４００により反射される画素、すなわち入力された画像信号に係る画像を表示する画素である。黒い矩形は透過度合いを高める処理が施される画素を示している。透過度合いを高める処理は、対象となる画素の明るさを、入力されたときのものよりも下げることで行われる。また、対象となる画素には画像を表示しないようにしてもよい。以上のように、透過度合いを高める処理を施し、コンバイナ４００を透過させる画素を分散的に配置させることで、提示される画像（虚像）の透過度合いを高め、風景を透過させることができ、ユーザの風景の視認性を向上させることができる。したがって、マスクパターン中でコンバイナ４００を透過する画素（図９中の黒い矩形）の占める割合が大きいほど、観察者に提示される画像（虚像）の透過度合いは高くなる。反対に、図示はしないが、白い矩形のみで構成されるマスクパターンは、「マスク処理しない」マスクパターンに相当する。

図９（ａ）は、黒い矩形と白い矩形とで市松模様を構成している。したがって、図９（ａ）に示すマスクパターン中で黒い矩形の占める割合はおよそ１／２である。図９（ｂ）に示すマスクパターンは、図９（ａ）に示すマスクパターンから黒い矩形を間引いたマスクパターンである。図９（ｂ）に示すマスクパターンにおいて、黒い矩形の占める割合はおよそ１／４である。したがって、図９（ａ）に示すマスクパターンでマスク処理された画像と、図９（ｂ）に示すマスクパターンでマスク処理された画像とを比較すると、観察者に提示される虚像の透過度合いは、図９（ａ）で示されたものの方が高くなり、ユーザの風景の視認性は高くなる。

図９（ｃ）に示すマスクパターンは、図９（ｂ）に示すマスクパターンから黒い矩形をさらに間引いたマスクパターンである。図９（ｃ）に示すマスクパターンにおいて、黒い矩形の占める割合はおよそ１／８である。したがって、図９（ｃ）に示すマスクパターンでマスク処理された画像は、図９（ａ）および図９（ｂ）に示すマスクパターンでマスク処理された画像よりも、観察者に提示される虚像の透過度合いは高くなり、ユーザの風景の視認性が高くなる。

そこで、実施の形態に係るマスクデータベース５２０は、図９（ｃ）に示すマスクパターンを「第１パターン」、図９（ｂ）に示すマスクパターンを「第２パターン」、図９（ａ）に示すマスクパターンを「第３パターン」として格納する。これにより、マスク選択部５１２は、取得した重み付き和Ｓ_Ｐの値が大きい場合、小さい場合と比較して、マスク処理をしたときに投射部３００が投射する画像表示光に係る画像の透過度合いが高くなるようなマスクパターンを選択することができる。

［マスク処理のタイミング］
以上、実施の形態に係るマスク選択部５１２が実行するマスク選択処理を説明した。続いて、マスク選択部５１２が選択したマスクパターンを用いて、表示する画像をマスク処理するタイミングについて説明する。

図６の説明に戻り、マスク開始決定部５１４は、画像取得部５０２が取得した画像信号をもとに表示する画像の面積と輝度値とを特定し、特定した面積と輝度値とをもとにマスク処理部５１６がマスク処理を開始するタイミングを決定する。マスク処理部５１６は、マスク開始決定部５１４が決定したタイミングで、マスク選択部５１２が選択したマスクパターンでマスク処理を開始する。

より具体的には、マスク開始決定部５１４は、上述したマスク選択部５１２と同様の手法で、式（１）で定義される重み付き和Ｓ_Ｐと類似する重み付き和Ｓ_Ｔを、下記の式（４）を用いて算出する。
重み付き和Ｓ_Ｔ＝Ｗ_Ａ’Ａ＋Ｗ_Ｌ’Ｌ＋Ｗ_Ｐ’Ｐ＋Ｗ_Ｉ’Ｉ・・・（４）
ここで重みＷ_Ａ’、Ｗ_Ｌ’、Ｗ_Ｐ’、Ｗ_Ｉ’、重み付き和Ｓ_Ｔを算出する際の重要度を定めるパラメータであり、
０≦Ｗ_Ａ’，Ｗ_Ｌ’，Ｗ_Ｐ’，Ｗ_Ｉ’≦１かつＷ_Ａ’＋Ｗ_Ｌ’＋Ｗ_Ｐ’＋Ｗ_Ｉ’＝１．０・・・（５）
である。

式（４）において、Ｗ_Ａ’＝Ｗ_Ａ、Ｗ_Ｌ’＝Ｗ_Ｌ、Ｗ_Ｐ’＝Ｗ_Ｐ、Ｗ_Ｉ’＝Ｗ_Ｉの場合、すなわちＳ_Ｔ＝Ｓ_Ｐの場合、マスク開始決定部５１４は、マスク選択部５１２が算出した重み付き和Ｓ_ＰをＳ_Ｔとして取得してもよい。この場合、重み付き和Ｓ_Ｔの算出に要する時間を省略できる。

図１０は、実施の形態に係るマスク開始決定部５１４が、マスク処理を開始するタイミングを決定する際に参照するマスクタイミングデータベース５２２のデータ構造を模式的に示す図である。図８に示すマスクデータベース５２０と同様に、マスクタイミングデータベース５２２は、重み付き和Ｓ_Ｔの値に応じて４つの開始タイミングを対応づけている。具体的には、重み付き和Ｓ_Ｔの値が０≦Ｓ≦ｂ_１のとき、開始のタイミングは「マスク処理しない」であり、この場合マスク処理部５１６はマスク処理をしない。同様に、重み付き和Ｓ_Ｔの値がｂ_１＜Ｓ_Ｔ≦ｂ_２のとき、マスク開始決定部５１４は「５秒後」を選択する。この場合、マスク処理部５１６は、重み付き和Ｓ_Ｔの算出に用いた分割領域が５秒以上表示される場合、表示の開始から５秒経過後に、マスク選択部５１２が選択したマスクパターンで表示する画像をマスク処理する。

重み付き和Ｓ_Ｔの値がｂ_２＜Ｓ_Ｔ≦ｂ_３のとき、マスク開始決定部５１４は「３秒後」を選択し、重み付き和Ｓ_Ｔの値がｂ_３＜Ｓ_Ｔ≦１００のとき、マスク開始決定部５１４は「即時」を選択する。

図１１は、実施の形態に係る画像表示装置５００がコンバイナ４００に提示するマスク処理された虚像の一例を模式的に示す図である。図１１に示す例では、マスク処理部５１６が、警告表示を示す虚像４５０ａをマスク処理した場合の例を示している。上述したように、表示する画像をマスク処理することによってコンバイナ４００で反射されて観察者である運転者の目に到達する画像表示光に係る画像（虚像）の透過度合いは向上し、他方コンバイナ４００を通して運転者の目に到達する外界の光が増加する。図５においては虚像４５０ａの提示領域は外界に実在する道路４０２からの光は観察者に視認されにくい。一方で、図１１においては虚像４５０ａの提示領域と道路４０２からの光とが重なって観察される。これにより、表示する画像において輝度値が大きな領域が広く分布している場合であっても、観察者はコンバイナ４００が提示する虚像のみならず、外界に実在する映像（風景）も合わせて視認することができる。すなわち、観察者の外界の視認性を向上することができる。

図１２は、実施の形態に係るマスク選択部５１２が分割した領域を例示する模式図であり、マスク処理部５１６がマスク処理をするときに参照する領域を示す図である。図１２において、符号５２４で示す領域はマスク処理対象となる画像全体を表す。マスク処理対象となる画像の下部には、マスク処理部５１６が参照するタイミングチャート５２６を示す。タイミングチャート５２６はマスク選択部５１２が出力する信号の一部である。なお、符号５２４で示す処理対象領域では、輝度および面積の異なる複数の矩形領域Ｘ、Ｙ、Ｚが存在する場合の例を示している。

タイミングチャート５２６では符号５２４で示す処理対象領域の破線で示すラインＬにおける、水平同期信号ＨＳ、データイネーブル信号ＤＥ，輝度データＹ、色差データＰｂ／Ｐｒ、および輝度／面積の閾値を元に検出された連続領域を指し示す領域検出信号YMの動作を示している。図中において、矩形領域Ｘが、マスク選択部５１２がマスク処理の対象としていずれかのマスクパターンを選択し、かつマスク開始決定部５１４がいずれかのタイミングでマスク処理を開始することを決定した領域である。具体的には、矩形領域Ｘは、マスク選択部５１２が算出した重み付き和Ｓ_Ｐ＞ａ_１であり、かつマスク開始決定部５１４が算出した重み付き和Ｓ_Ｔ＞ｂ_１となる領域である。このため、矩形領域Ｘの範囲のみ検出結果を示す領域検出信号ＹＭが“Ｈｉｇｈ”となっている。

マスク処理部５１６は、マスク選択部５１２が出力する領域検出信号ＹＭが“Ｈｉｇｈ”の状態にある輝度信号Ｙに対し、マスク開始決定部５１４が決定したタイミングで、マスク選択部５１２が選択したマスクパターンに従ってマスク処理を実行する。

図１３は、実施の形態に係るマスク処理部５１６がマスク処理の際に参照するマスクタイミングチャート５２８を模式的に示す図である。図１３に示すマスクタイミングチャート５２８は、マスク選択部５１２から出力された輝度信号Ｙ、領域検出信号ＹＭ、マスク選択部５１２が選択したマスクパターンを実現するマスクパターン信号ＭＰ、およびマスク処理部５１６が出力する輝度信号ＹＯＵＴを示している。マスク処理部５１６は、領域検出信号ＹＭが“Ｈｉｇｈ”状態にある輝度信号Ｙｎ（図１３中でｎはゼロ以上の整数）に対し、マスクパターン信号ＭＰが“Ｈｉｇｈ”の場合、輝度信号Ｙｎをそのまま出力し、マスクパターン信号ＭＰが“Ｌｏｗ”の場合、輝度値をＹｎよりも小さいＹＤに変換して出力する。

なお、マスクパターン信号ＭＰは、記録部５１０に格納されている。また、マスク処理部５１６は、領域検出信号ＹＭおよびマスクパターン信号ＭＰの状態により変換される輝度値ＹＤは、０を含む任意の輝度値を設定可能としてもよい。提示される画像（虚像）の透過度合いを高めるため、マスクパターンにおいて透過度合いを高める処理の対象となる画素には画像を表示しない場合は、輝度値ＹＤは０となる。また、上述した重み付き和Ｓ_Ｐの値におうじて、輝度値ＹＤの大きさが段階的になるようにしてもよい。

図１４は、実施の形態に係る画像表示装置５００が実行する画像表示処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えば画像表示装置５００の電源が投入されたときに開始する。

画像取得部５０２は、画像表示装置５００の外部の装置から表示する画像の画像信号を取得する（Ｓ２）。色空間変換部５０４は、画像取得部５０２が取得した画像信号の色空間を変換する必要がある場合（Ｓ４のＹ）、輝度および色差信号を含む色空間に変換する（Ｓ４）。画像取得部５０２が取得した画像信号の色空間を変換する必要がない場合（Ｓ４のＮ）、色空間変換部５０４は、特段の処理をしない。

領域分割部５０６は、画像取得部５０２が取得し、必要に応じて色空間変換部５０４が色空間変換を施した変換した画像信号をもとに、表示する画像を分割する（Ｓ８）。マスク選択部５１２は、領域分割部５０６が分割した領域毎にマスクパターンを選択する（Ｓ１０）。マスク開始決定部５１４は、領域分割部５０６が分割した領域毎にマスク処理の開始のタイミングを決定して取得する（Ｓ１２）。

領域分割部５０６が分割したいずれかの領域について、マスク選択部５１２がマスク処理の対象としていずれかのマスクパターンを選択し、かつマスク開始決定部５１４がいずれかのタイミングでマスク処理を開始することを決定した場合、すなわちマスク処理の必要がある場合（Ｓ１４のＹ）、マスク処理部５１６は該当する領域をマスク処理する（Ｓ１６）。マスク処理の必要がない場合（Ｓ１４のＮ）、マスク処理部５１６はマスク処理をしない。

投射部３００は、マスク制御部５０８が出力した画像信号に基づく画像表示光をコンバイナ４００に投射する（Ｓ１８）。画像表示装置５００の電源がオフとなるなど、画像表示処理を終了する場合（Ｓ２０のＹ）、本フローチャートにおける処理は終了する。そうでない場合（Ｓ２０のＮ）、ステップＳ２に戻って上述の処理を継続する。

以上説明したように、実施の形態に係る画像表示装置５００によれば、外界の環境光によらず、表示する画像に由来する情報を用いて表示する画像の輝度値を制御する。これにより、コンバイナに提示させる虚像を容易かつ適切に制御する画像表示装置および画像表示方法を提供することができる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、本実施形態に係るヘッドアップディスプレイ１０では、上述した通り、光源２３１およびＬＣＯＳを用いた画像表示素子２４０を備えた投射部３００が画像表示光を投射する方式であるが、本発明は他の方式でも実現可能である。すなわち例えば、Ｒ、Ｇ、Ｂの３色のレーザダイオードと複数のミラーを有する光源と、ＭＥＭＳ（Micro Electro Mechanical Systems）からなる操作ミラーとを投射部が備え、光源から射出されたレーザ光が走査ミラー部で反射されて、画像表示光として射出されるようにしてもよい。すなわち、いわゆるレーザスキャン方式でも本発明は実現可能である。

上記の説明では、画像表示装置５００の例として、ルームミラーに取り付けられて使用されるヘッドアップディスプレイ１０について主に説明した。画像表示装置５００は、ルームミラーに取り付けられて使用されるヘッドアップディスプレイ１０に限られず、ダッシュボード上に据え置いて用いるヘッドアップディスプレイや、ダッシュボードに内蔵して用いるヘッドアップディスプレイとしても実現できる。また、ヘッドアップディスプレイに限らず、例えばヘッドマウントディスプレイなど、コンバイナを用いてユーザに虚像を提示する装置であれば、どのような装置であってもよい。

１０ヘッドアップディスプレイ、１００基板収納部、２００光学ユニット、２１０光学ユニット本体、３００投射部、４００コンバイナ、４５０虚像、５００画像表示装置、５０２画像取得部、５０４色空間変換部、５０６領域分割部、５０８マスク制御部、５１０記録部、５１２マスク選択部、５１４マスク開始決定部、５１６マスク処理部、５１８位置数値化マップ、５２０マスクデータベース、５２２マスクタイミングデータベース、６００ルームミラー。

Claims

画像表示光に基づく虚像を提示させるコンバイナを備えた画像表示装置であって、
画像信号を取得する画像取得部と、
前記画像取得部が取得した画像信号から、連続領域の画像信号ないし閉領域の画像信号毎に前記画像信号の領域を分割し、分割した前記画像信号の領域の面積と輝度値とを特定する領域分割部と、
特定した前記面積と前記輝度値とに基づいて重み付き和を算出し、前記重み付き和の値が大きいほど、前記画像取得部が取得した画像信号に対し、前記コンバイナに対する前記虚像の透過度合いが大きくなるマスク処理を行うマスク処理部と、
前記マスク処理部がマスク処理を行った画像信号に基づいて前記画像表示光を投射する投射部とを備えることを特徴とする画像表示装置。
前記領域分割部が分割した画像信号の領域毎に、特定した前記面積と前記輝度値とをもとにマスクパターンを選択するマスク選択部をさらに備え、
前記マスク処理部は、前記マスク選択部が選択したマスクパターンで表示する画像をマスク処理することを特徴とする請求項１に記載の画像表示装置。
画像表示光に基づく虚像を提示させるコンバイナに対し、前記画像表示光を投射する画像表示方法であって、
画像信号を取得する画像取得ステップと、
前記画像取得ステップで取得された画像信号から、連続領域の画像信号ないし閉領域の画像信号毎に前記画像信号の領域を分割し、分割した前記画像信号の領域の面積と輝度値とを特定する領域分割ステップと、
特定した前記面積と前記輝度値とに基づいて重み付き和を算出し、前記重み付き和の値が大きいほど、前記画像取得ステップで取得された画像信号に対し、前記コンバイナに対する前記虚像の透過度合いが大きくなるマスク処理を行うマスク処理ステップと、
前記マスク処理ステップでマスク処理が行われた画像信号に基づいて前記画像表示光を投射する投射ステップとを有することを特徴とする画像表示方法。