WO2020175228A1

WO2020175228A1 - ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム

Info

Publication number: WO2020175228A1
Application number: PCT/JP2020/006189
Authority: WO
Inventors: 勇希舛屋
Original assignee: Nippon Seiki Co Ltd
Current assignee: Nippon Seiki Co Ltd
Priority date: 2019-02-26
Filing date: 2020-02-18
Publication date: 2020-09-03
Anticipated expiration: 2021-08-26

Abstract

ＨＵＤ装置が意図する虚像表示距離での情報の知覚を実現して、違和感等を低減すること。オブジェクトについての虚像表示距離を制御することが可能なＨＵＤ装置は、オブジェクトの色情報を取得する色情報取得部９０２と、オブジェクトについての、遠近感に関係する色特性を抽出する色特性抽出部９０４と、オブジェクトについての代表的色特性に基づいて、又は、オブジェクトの画素、又は画素群についての色特性の平均化後の値あるいは平滑化後の値に基づいて補正係数を算出し、補正係数を用いて、オブジェクトについての虚像表示距離を、直接的制御、及び、疑似３Ｄ画像処理による遠近強調の少なくとも１つを用いて補正する遠近感補正部９００と、を有する。

Description

\¥02020/175228 1 ?＜：17 2020/006189

明細書

発明の名称：

ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム技術分野

[0001 ] 本発明は、例えば自動車等の車両に搭載されるヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム等に関する。

背景技術

[0002] 特許文献 1 には、ヘッドアップディスプレイ

装置において、焦点面の移動又は、焦点面と乗り物との間の距離の調整によって、グラフィック要素が立体的に見えるようにした 3 0ナビゲーシヨンシステムが示されている。

[0003] また、特許文献 2には、 1^~1 11 0装置において、表示対象の視認性を向上させるために、車両周辺の明るさに応じて表示対象の色を変更することが示されている。

先行技術文献

特許文献

[0004] 特許文献 1 :特開 2 0 1 5 - 6 9 6 5 6号公報

特許文献 2 :特開 2 0 1 5 _ 1 2 3 7 6 1号公報

発明の概要

発明が解決しようとする課題

[0005] オブジェクト（表示対象等）の色（色相、明度、彩度等）が、その表示を見る者（運転者等のユーザー）の奥行き感の知覚に影響を与えることがある。例えば、進出色、後退色と呼ばれるものがあり、色に応じて、表示対象が手前に見えたり、後方に見えたりすることがある。

[0006] 例えば、特許文献 1のように、虚像表示距離を制御して立体的な視覚を実現する場合に、色による遠近感の進出/後退が生じると、

装置側が所定距離でオブジェクト（オブジェクトによる情報）を提示したとしても、ユ〇 2020/175228 2 卩（：171? 2020 /006189

—ザーが、その所定距離を正確には感得できず、違和感等の原因となる場合もあり得る。特に、立体感のあるオブジェクトを表示する場合等に、その課題が顕著化する傾向がある。このような課題が、本発明者の検討によって明らかとされた。

[0007] 特許文献 2では、車両周辺の明るさと表示対象の色との関係については記載されているが、 3

（あるいは疑似 3 0 1^~1 II 0）と呼ばれる、奥行き方向の直感的な視認性を重視する装置における、表示距離と色との関係性については、何ら記載がなく、上記の課題の解決手段についても記載されていない。

[0008] 本発明の 1つの目的は、例えば、 1^~1 II 0装置が意図する虚像表示距離での情報の知覚を実現して、違和感等を低減することである。

[0009] 本発明の他の目的は、以下に例示する態様及び最良の実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。課題を解決するための手段

[0010] 以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。

[001 1 ] 第 1の態様において、ヘッドアップディスプレイ

装置は、車両に搭載され、オブジェクトの画像を、前記車両に備わる被投影部材に投影することで、ユーザーに前記画像の虚像を視認させ、かつ、前記ユーザ —上又は前記車両上に設定される基準点から前記虚像までの距離を虚像表示距離とする場合に、前記オブジヱクトについての虚像表示距離を制御することが可能なへッドアップディスプレイ（ 1^~1 II 0）装置であって、

オブジェクトの色情報を取得する色情報取得部と、

前記オブジェクトについての、遠近感に関係する色特性を抽出する色特性抽出部と、

前記オブジェクトについての代表的色特性に基づいて、又は、前記オブジェクトの画素、又は画素群についての色特性の平均化後の値あるいは平滑化後の値に基づいて補正係数を算出し、前記補正係数を用いて、前記オブジェ〇 2020/175228 3 卩（：171? 2020 /006189

クトについての虚像表示距離を、直接的制御、及び、疑似 3 0画像処理による遠近強調の少なくとも 1つを用いて補正する遠近感補正部と、

を有する。

[0012] 第 1の態様では、オブジェクトの「遠近感に関係する色特性」を抽出し、色特性に基づいて、提示されるオブジェクトの虚像表示距離を、直接的に、及び、遠近強調処理（疑似 3 0技術による）の何れか一方を用いて補正する

[0013] 補正が必要となる運転シーンとしては、例えば、虚像表示距離（単に距離と称する場合もある）を異ならせた複数のオブジェクトが同時に提示される場合や、例えば看板や制限速度の標識等を、自車両の動きに合わせて手前側に流れるように動かす場合等が想定され得る。これらの運転シーンでは、色によるオブジェクトの全体的又は部分的な進出/後退によって、視覚的違和感を生じさせる可能性がある。

[0014] オブジェクトの全体が進出/後退することが懸念される場合は、遠近感補正部は、オブジヱクトについての代表的色特性に基づいて、距離（遠近感）の補正を行う。例えば、制限速度が 8 0

であることを示す、円形の内部に 8 0と書かれた標識を考える。このとき、円の外周が赤（進出色）、円形の内部（数字の背景）も白（高輝度で進出色）、かつ、 8 0という数字が黄色や橙色（進出色）である場合、その標識自体（全体）が進出傾向をもつことから、例えば、最も注意を引きやすい（あるいは、最も表示面積が大きいことから、それを理由としてもよい）、例えば 8 0という数字についての色（黄色や橙色）を代表色と定める。そして、黄色や橙色についての補正係数を算出し（このとき、色相だけでなく、明度、彩度を加味することができる）、標識全体の虚像表示距離を補正する（この場合、正規の距離よりも小さくして、色による進出的知覚を緩和するのが好ましい）。

[0015] また、上記の例で、円形の外周に赤の太い縁取りがあり、この部分のみが、他の部分（数字やその背景の部分）よりも目立つ場合は、その縁取りの部分の赤を代表色と定め、その縁取りの部分（縁取りの領域）のみに、虚像表〇 2020/175228 4 卩（：171? 2020 /006189

示距離を限縮する補正を施すということも想定され得る。

[0016] また、遠近感補正部は、オブジェクトの画素（ピクセル、サブピクセル等）、又は画素群（ピクセルやサブピクセルの部分的な集合体）について色特性を求め、それらを平均化処理後の値、あるいは平滑化後の値（平滑化の例としては、例えばノイズ除去やスムージングのための口ーパスフィルタ処理があげられる）に基づいて補正係数を算出し、その補正係数で距離（遠近感）を補正してもよい。

[0017] 「虚像表示距離の補正」は、例えば、光学系の移動によって虚像表示距離を直接的にダイナミックに変更することであってもよく、また、物理的な距離自体は変更されないが、オブジェクトを立体化したり、サイズを変更したり、陰影をつけたり、遠近手法を取り入れた描画を行ったりする、いわゆる疑似 3 0画像処理による遠近強調の手法によるものでもよく、あるいは、両者を組み合わせたものであってもよい。

[0018] 本態様によれば、例えば、 1^~1 II 0装置が意図する虚像表示距離での情報の知覚を実現して、違和感等を低減することができ、高精度の距離知覚制御を実現することができる。

[0019] 第 1の態様に従属する第 2の態様において、前記遠近感補正部は、色による前記オブジェクトの進出/後退を補うように、虚像表示距離を補正してもよい。

[0020] 第 2の態様によれば、 1^~1 II 0装置が意図する虚像表示距離での情報の知覚を実現して、違和感等を低減することができる。

[0021 ] 第 2の態様に従属する第 3の態様において、前記遠近感補正部は、前記才ブジェクトについての虚像表示距離の補正に際し、

前記オブジェクトの色特性が、前記ユーザーから見て手前側に見える進出特性をもつ場合は、前記オブジヱクトについての虚像表示距離を、その進出特性の程度に応じて増大させ、

前記オブジェクトの色特性が、前記ユーザーから見て奥側に見える後退特性をもつ場合は、前記オブジヱクトについての虚像表示距離を、その後退特〇 2020/175228 5 卩（：171? 2020 /006189

性の程度に応じて減少させてもよい。

[0022] 第 3の態様によれば、色による進出/後退の知覚変動に合わせて、その知覚変動を抑制する方向に、オブジェクトの距離を可変に制御することから、違和感を効果的に低減することができる。

[0023] 第 2の態様に従属する第 4の態様において、前記遠近感補正部は、前記才ブジェクトについての虚像表示距離の補正に際し、

前記虚像表示距離が閾値を超えるときは、その虚像表示距離を、前記疑似 3 0画像処理による遠近強調のみによって制御してもよい。

[0024] 第 4の態様では、所定の閾値を超えて遠方に表示されるオブジェクトについては、直接的な距離制御を行わず、疑似 3 0画像処理による遠近強調のみによって、知覚を介した距離制御を実施することとする。

[0025] ある程度の遠方にある物体（オブジェクト）を人が見るときの輻輳角は十分に小さくなっており、距離制御では、輻輳角の変化を人に感じさせることは困難となる。よって、所望の遠近感制御の効果が期待できないときは、複雑な処理を伴いがちな直接的な距離制御をあきらめ、疑似 3 0画像処理のみによる遠近強調で対応する（例えば、オブジェクトのサイズを小さくする）こととしたものである。これによって、遠方のオブジェクトについても、遠近感補正が効果的に行えるようになる。

[0026] 第 1乃至第 4の何れか 1つに従属する第 5の態様において、前記ユーザーの、過去の運転情報から、遠近感を伴う視覚的特徴に関係する事項を抽出して蓄積する、学習/蓄積部を有し、

前記遠近感補正部は、前記オブジヱクトについての虚像表示距離の補正に際し、前記学習/蓄積部に蓄積された前記遠近感を伴う視覚的特徴に関係する事項に該当する運転環境、運転シーン、及び前記オブジヱクトの色と前記背景の色との関係、の少なくとも 1つに基づいて、前記オブジェクトについての虚像表示距離の補正の程度を微調整してもよい。

[0027] 第 5の態様では、距離（遠近感）補正に際し、ユーザーの過去の学習による経験則をフィードバックし、微調整を実施することで、ユーザーの知覚傾〇 2020/175228 6 卩（：171? 2020 /006189

向（個人差）に即した、より精度の高い補正を可能とする。

[0028] 例えば、ドライバモニタリングシステムと連動させて、提示色（オブジェクトの色）と反応時間との関係性を蓄積させ、そのデータに基づき、補正値（あるいは補正係数）を修正してもよい。例えば、青色のオブジェクトの認識が遅れる傾向があるときは、青色のオブジェクトは、前方への進出を強調して反応の改善を図ることができる。

[0029] また、例えば、オブジェクトが表示される背景（実景）の色と、オブジェクトの色との組み合わせによって、ユーザーの遠近感に関する知覚が顕著に変動することが学習によって明らかとなったときは、それらの色の組み合わせを変数として、補正値（あるいは補正係数）を算出し、補正の精度をより高めることも可能である。

[0030] 第 1乃至第 5の何れか 1つに従属する第 6の態様において、前記オブジェクトは、立体的オブジェクトであってもよい。

[0031 ] 第 6の態様では、距離制御の対象となるオブジェクトは、立体的オブジェクトである。立体的オブジェクトは、奥行き感を人に感得させる効果が高いため、特に、色による進出/後退の知覚ずれが問題となり易い。そこで、立体的オブジェクトについて、例えば優先的な距離補正対象とするものである。これによって、少ない労力で、違和感の低減効果を確実に得ることができる。

[0032] 第 7の態様において、表示制御装置は、第 1乃至第 6の何れか 1つの態様のへッドアップディスプレイ装置に搭載され、コンピュータを用いて実現される、前記遠近感補正部としての表示制御装置である。

[0033] 遠近感補正部としてのコンピュータを、例えば〇 11、

として実現することで、小型化が可能であり、車載用の、小型の 1^~1 II 0装置にも適用が可能となる。

[0034] 第 8の態様において、表示制御プログラムは、コンビュータを、第 7の態様の表示制御装置として動作させる表示制御プログラムである。

[0035] ソフトウェアによって構築可能であることから、実現が容易となる。〇 2020/175228 7 卩（：171? 2020 /006189

［0036］当業者は、例示した本発明に従う態様が、本発明の精神を逸脱することなく、さらに変更され得ることを容易に理解できるであろう。

図面の簡単な説明

［0037］［図 1］図 1は、車両が直線状の道路を走行している運転シーンにおける、表示コンテンツであるオブジェクト（ナビゲーシヨン画像）の虚像の表示の一例を示す図である。

［図 2］図 2は、車両が直線状の道路を走行している運転シーンにおける、表示コンテンツであるオブジェクト（ナビゲーシヨン画像）の虚像の表示の他の例を示す図である。

［図 3］図 3 （）は、オブジェクトの虚像表示距離を増大させる制御例を示す図、図 3 （巳）は、オブジェクトの虚像表示距離を減少させる制御例を示す図である。

［図 4］図 4は、オブジェクトの虚像表示距離が閾値を超えない範囲では、距離の直接制御及び遠近強調処理の少なくとも一方による制御を実行し、閾値を超える範囲では、遠近強調処理のみによる制御を実行する制御例を示す図である。

［図 5］図 5は、 1^~1 II口装置を用いた虚像表示距離の制御の一例について説明するための図である。

［図 6］図 6は、可視光の色彩と、各色彩に対応する波長範囲を示す図である。［図 7］図 7 （八）、図 7 （巳）は、遠近感補正部の構成例を示す図である。

［図 8］図 8は、遠近感補正部の構成の他の例を示す図である。

［図 9］図 9 （）は、虚像表示距離が異なる複数の虚像表示面を設定可能な多面1^~1 II 0装置における虚像表示面の設定例を示す図、図 9 （巳）は、多面 1^~1 II 0装置の要部の構成例を示す図、図 9 （〇は、位置制御信号について説明するための図である。

［図 10］図 1 0は、虚像表示距離の制御が可能な 1^~1 II 0装置の全体構成の一例を示す図である。

［図 1 1］図 1 1は、本発明の実施形態にかかる ! ! II口装置の主要な動作手順の〇 2020/175228 8 卩（：171? 2020 /006189

_例をすフローチヤートである。

発明を実施するための形態

[0038] 以下に説明する最良の実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。

[0039] 図 1は、車両が直線状の道路を走行している運転シーンにおける、表示コンテンツであるオブジェクト（ナビゲーション画像）の虚像の表示の一例を示す図である。

[0040] 図 1 において、車両（自車両） 1 0は、直線状の道路（路面） 2上を、速

で走行している。ここでは、ユーザー（図 1では不図示、図 2の符号 1）は、ステアリングホイール（ハンドル） 3を握る運転者である。フロントパネル 5には、車速表示用メーター（計器）

エンジンの回転数を示すメーター（計器） IV! 2が設けられている。但し、これは例示であり、限定されるものではない。これらの計器の情報は、

装置による虚像として表示されてもよい（併用の場合もあり得る。図 1では併用されている）

[0041 ] 図 1の運転シーンにおいて、同じ車線の前方車両としては、〇 1、〇

2の 2台が存在する。手前側の前方車両（3 1 については、車間距離はかなりあるものの、例えば急速に減速した等の理由で、注意喚起マーク（重畳マ —クの一種である）＜3 IIが重畳表示されている。なお、追い越し車線を走る前方車両丁〇 1が遠くに見えている。

[0042] 装置による車速表示（虚像 3 ）は、立体的な形状と共に表示されている（これは、立体的表示、 3 0オブジェクトによる表示、立体感処理才ブジェクトによる表示等と称することができる）。

[0043] また、前方車両 0 2のやや手前側において、背景の空に重ねるように、ナビゲーション表示としての、かなりの面積をもつ仮想標識 1\1 Vが提示されている。仮想標識 1\1 は、地名表示〇 1 0、〇2 0と、ガイドとしての矢印表示〇 3 0 , 0 4 0とを含む。〇 2020/175228 9 卩（：171? 2020 /006189

[0044] なお、 1^~1 II 0装置による虚像は、被投影部材 6としてのウインドシールド上における虚像表示可能領域（図 1では不図示、図 2の符号 7）において表される。

[0045] 図示されるとおり、ユーザー 1は、遠近感を伴う多様なオブジェクトを同時に知覚する必要がある運転シーンであり、遠近感が誤って把握されると、事故にもつながりかねず、従って、最適な距離感でのオブジェクト（表示対象の虚像）の表示が重要となる。

[0046] 図 2を参照する。図 2は、車両が直線状の道路を走行している運転シーンにおける、表示コンテンツであるオブジェクト（ナビゲーシヨン画像）の虚像の表示の他の例を示す図である。図 2において、図 1 と共通する部分には同じ符号を付している（なお、この点は、以下の図面においても共通である

[0047] 図 2の例では、 3つの仮想標識（3 1、 0 2 , 0 3が、異なる虚像表示距離に調整されて表示（投影表示）されている。特に、制限速度を表示するナビゲーシヨン像（3 1は、車両 1 0の前方への走行スピードに合致させて、ユーザー 1の視点から見て、奥側 1_ 1 0 0から手前側へと流れるように、虚像表示距離が多段階に制御される。このような制御は、多面（マルチレイヤー） ! ! II 0装置を用いて実現され得る（この点は後述する）。

[0048] 図 1、図 2のような運転シーンでは、色によるオブジェクトの全体的又は部分的な進出/後退によって、視覚的違和感を生じさせる可能性がある。

[0049] そこで、本発明の実施形態では、オブジェクトの全体が進出/後退することが懸念される場合は、例えば、オブジェクトについての代表的色特性に基づいて、距離（遠近感）の補正を行う（後述する図 7 （）の構成）。

[0050] 具体的に説明する。図 2の仮想標識〇 1 （制限速度が 8 0 であることを示す、円形の内部に 8 0と書かれた標識）を例にとると、円の外周が赤（進出色）、円形の内部（数字の背景）も白（高輝度で進出色）、かつ、 8 0 という数字が黄色や橙色（進出色）である場合、その標識自体（全体）が進出傾向をもつことから、例えば、最も注意を引きやすい（あるいは、最も表〇 2020/175228 10 卩（：171? 2020 /006189

示面積が大きいことから、それを理由としてもよい）、例えば 8 0という数字についての色（黄色や橙色）を代表色と定める。そして、黄色や橙色についての補正係数を算出し（このとき、色相だけでなく、明度、彩度を加味することができる）、標識全体の虚像表示距離を補正する（この場合、正規の距離よりも大きくして、色による進出的知覚を緩和するのが好ましい）。

[0051 ] また、上記の例で、円形の外周に赤の太い縁取りがあり、この部分のみが、他の部分（数字やその背景の部分）よりも目立つ場合は、その縁取りの部分の赤を代表色と定め、その縁取りの部分（縁取りの領域）のみに、虚像表示距離を限縮する補正を施すということも想定され得る。

[0052] また、オブジェクトの画素（ピクセル、サブピクセル等）、又は画素群（ピクセルやサブピクセルの部分的な集合体）について色特性を求め、それらを平均化処理後の値、あるいは平滑化後の値（平滑化の例としては、例えばノイズ除去やスムージングのための口ーパスフィルタ処理があげられる）に基づいて補正係数を算出し、その補正係数で距離（遠近感）を補正してもよい（後述する図 7 （巳）の構成）。

[0053] なお、ユーザー 1の過去の運転情報に基づく学習結果を、距離補正の際にフィードバックして、個人差や運転時の環境に即した微調整を行うことも可能である（後述する図 8の構成）。

[0054] 虚像表示距離の補正は、例えば、光学系の移動によって虚像表示距離を直接的にダイナミックに変更することであってもよく、また、物理的な距離自体は変更されないが、オブジェクトを立体化したり、サイズを変更したり、陰影をつけたり、遠近手法を取り入れた描画を行ったりする、いわゆる疑似 3 0画像処理による遠近強調の手法によるものでもよく、あるいは、両者を組み合わせたものであってもよい。

[0055] 次に、図 3を参照する。図 3 （）は、オブジェクトの虚像表示距離を増大させる制御例を示す図、図 3 （巳）は、オブジェクトの虚像表示距離を減少させる制御例を示す図である。

[0056] 図 3 （八）では、虚像表示距離を直接的に制御する（光学系の移動等によ〇 2020/175228 1 1 卩（：171? 2020 /006189

る）ことによって距離を増大させ、虚像表示面 3 1上に表示されていた才ブジェクト（虚像） 0 1が、より遠方の虚像表示面 3 2上に表示されるオブジェクト（虚像） 0 2となるように制御する。虚像表示面 3 1の距離は 1_ 1 （第 1の虚像表示距離）であり、 3 2の距離は!_ 2 （第 2の虚像表示距離）である。

[0057] 図 3 （巳）では、虚像表示距離を増大させ、虚像表示面 3 1上に表示されていたオブジェクト（虚像） 0 1が、より手前の虚像表示面 3 3上に表示されるオブジェクト（虚像） 0 3となるように制御する。虚像表示面 3 3の距離は!_ 3 （第 3の虚像表示距離）である。

[0058] 図 3 （八）、図 3 （巳）の何れの制御を行うかは、距離制御対象となる才ブジェクトの色特性によって判定される。例えば、代表的な色が、ユーザーから見て手前側に見える進出特性をもつ場合（進出色である場合）は、オブジェクトについての虚像表示距離を、その進出特性の程度に応じて増大させ、オブジェクトの色特性が、ユーザーから見て奥側に見える後退特性をもつ場合（後退色である場合）は、オブジヱクトについての虚像表示距離を、その後退特性の程度に応じて減少させてもよい。

[0059] なお、「進出色」とは、赤、橙、黄など、前方にとび出してみえるような色であり、言い換えれば、暖色系の色や明度の高い色で、その他の色と対比させると近くにあるように見える色等のことである。「白」は、視覚的効果が「緑」と同等に取り扱われることもあるが、一般には、「膨張色」であることから、進出色として扱われるものと想定される。

[0060] _方、「後退色」とは、寒色系の色や明度の低い色で、その他の色と対比させると遠くにあるように見える色のことである。例えば、濃い緑、濃い茶などがあげられる。黒は、一般には、後退色と見られることが多いと想定される。

[0061 ] 図 3 （八）、図 3 （巳）のような制御を行うことで、例えば、

装置が意図する虚像表示距離での情報の知覚を実現して、違和感等を低減することができ、高精度の距離知覚制御を実現することができる。〇 2020/175228 12 卩（：171? 2020 /006189

[0062] 次に、図 4を参照する。図 4は、オブジェクトの虚像表示距離が閾値を超えない範囲では、距離の直接制御及び遠近強調処理の少なくとも一方による制御を実行し、閾値を超える範囲では、遠近強調処理のみによる制御を実行する制御例を示す図である。

[0063] 図 4の例では、所定の閾値 1 を超えて遠方に表示されるオブジェクトについては、直接的な距離制御を行わず、疑似 3 0画像処理による遠近強調のみによって、知覚を介した距離制御を実施することとする。

[0064] ある程度の遠方にある物体（オブジェクト）を人が見るときの輻輳角は十分に小さくなっており、距離制御では、輻輳角の変化を人に感じさせることは困難となる。よって、所望の遠近感制御の効果が期待できないときは、複雑な処理を伴いがちな直接的な距離制御をあきらめ、疑似 3 0画像処理のみによる遠近強調で対応する（例えば、オブジェクトのサイズを小さくする）こととしたものである。これによって、遠方のオブジェクトについても、遠近感補正が効果的に行えるようになる。

[0065] 図 4では、 0 ~ 1が距離調整領域八であり、 1 ~ 2がサイズ調整領域巳である。八にて表示するときは、例えば、図 3 （八）の制御が実施される。巳にて表示されるときは、虚像表示面 3 4 （第 4の虚像表示距離 !_ 4の位置に設けられる面）上において、例えば、オブジェクト（虚像）〇 4のサイズを、縮小する（全体的な縮小、部分的な縮小のいずれであってもよいものとする）補正を実施し、遠近感を調整する。

[0066] 次に、図 5を参照する。図 5は、 1^~1 II 0装置を用いた虚像表示距離の制御の一例について説明するための図である。図 5は、先に示した図 2の運転シ —ンにおける仮想標識の表示例に相当する。

[0067] 図示されるように、 1^~1 II 0装置 1 0 0は、被投影部材 6であるウインドシ —ルドに、オブジェクト（表示対象物）の画像を投影（言い換えれば、画像を表示する表示光 <を照射）し、これによって、ユーザー 1は、前方に設定される虚像表示面 3 1 0、 3 1 1、 1 2上において、ナビゲーシヨン像（虚像） <3 1〜〇3が各々、表示される。〇 2020/175228 13 卩（：171? 2020 /006189

[0068] 各虚像表示面 31 0〜 31 2上では、虚像の表示位置にかかわらず、虚像表示距離は同じであり、図 5においては、虚像表示面

31 1、 93 ^ 2の各虚像表示距離は 1_ 201、！_ 202、！_ 203 （1_ 201 <!_ 202<!_ 203）に設定されている。

[0069] ここで、制限速度を表示するナビゲーシヨン像〇 1は、車両 1 0の前方への走行スピードに合致させて、ユーザー 1の視点から見て、奥側から手前側へと流れるように、虚像表示距離が多段階に制御される。このような制御は、多面（マルチレイヤー） 1^~1 II 0装置を用いて実現される（この点は後述する）。

[0070] 図 5の運転シーンでは、虚像表示距離を異ならせた複数のオブジェクト（

3種類のナビゲーシヨンコンテンツ〇 1 ~〇3）が同時に提示されており、また、制限速度の標識である〇 1が、車両（自車両） 1 0の動きに合わせて手前側に流れるように動かされており、ユーザー 1は、色によるオブジェク卜の全体的又は部分的な進出/後退の知覚が生じ易く、視覚的違和感が生じ易い運転シーンといえる。

[0071] この視覚的違和感を軽減すること等を目的として、

装置 1 00には、遠近感補正部 900が設けられている。以下、遠近感補正部 900について説明する。

[0072] ここで、図 6を参照する。図 6は、可視光の色彩と、各色彩に対応する波長範囲を示す図である。一般に「進出色」であるか「後退色」であるかを判断する基準は波長である。先に述べたとおり、赤などの波長が長い色は進出色であり、紫などの波長が短い色は後退色となる。

[0073] 遠近感補正部 900は、表示制御対象のオブジェクトに関して、例えば、各ピクセルの

巳データから合成色を判断（パターンをテーブル化する）し、極値である赤/紫（図 6の色配列の右端、左端に位置する）を、補正係数 + 1. 〇/- 1. 0とし、これらを基準として、補正係数を線形（但し、 —例であり条件を加重して非線形としてもよい）に形成する。なお、上記の表記において「十」は、ユーザー 1から見て奧側への補正であり、「一」は〇 2020/175228 14 卩（：171? 2020 /006189

手前側への補正を意味する。

[0074] 以下、補正係数の生成の具体例について説明する。図 7を参照する。図 7 （八）、図 7 （巳）は、遠近感補正部の構成例を示す図である。

[0075] 図 7 （）の構成では、遠近感補正部 9 0 0の前段に、色情報取得部 9 0

2と、色特性（既述）を抽出する色特性抽出部 9 0 4が設けられている。遠近感補正部 9 0 0は、オブジェクトの代表的色特性決定部 9 0 6と、補正係数《を生成するルックアップテーブル（1- 11丁） 9 0 7と、補正係数《を、正規の距離!- （又はオブジェクトの正規のサイズ巳）に乗算するなどの演算を実施する補正処理部 9 1 0と、を有する。この演算の結果として、補正後の距離 !_〇（又は補正後のサイズ巳〇）が出力される。

[0076] なお、ルックアップテーブル（1_ 11丁） 9 0 7は、色特性抽出部 9 0 4によって抽出された、オブジェクトの特徴量（色についての支配的因子等であり、色属性とも称する）に基づくパラメータをアドレス変数としてアクセスされる、メモリ（3 [¾八1\/1等）により構成することができる。

[0077] 図 7 （巳）の例では、ピクセル（サブピクセルを含んでもよい）毎の色情報取得部 9 0 1’ と、色特性抽出部 9 0 4と、遠近感補正部 9 0 0は、ルックアップテーブル（!_ II丁） 9 0 7’ と、補正係数平均化部（これは補正係数平滑化部に置換可能である） 9 0 9と、補正処理部 9 1 0と、を有する。ここで、「補正係数平均化部（平滑化部）」という名称は、「所定のパラメ —夕を平均化（平滑化）する機能ブロック」という意味で広く解釈可能とする。

[0078] ルックアップテーブル（1_ 11丁） 9 0 7’ は、ピクセル（サブピクセル）毎の色特性に従うパラメータとしての補正係数口を生成する。この補正係数（パラメータ）口を、補正係数平均化処理部 9 0 9で平均化（又は平滑化）することで、オブジェクトを代表する補正係数《が生成される。この補正係数《を用いて、正規の虚像表示距離!-や、オブジェクトの正規のサイズ巳が補正される。これによって、補正後の距離 !_〇（又は補正後のサイズ巳〇）が出力される。なお、「正規の」という表現は、当初（補正前）に、 1^~1 11 〇 2020/175228 15 卩（：171? 2020 /006189

口装置が提示を予定していた、という意味である。なお、補正がなされない場合は、その当初の値が、補正後の値とされる。

[0079] 次に図 8を参照する。図 8は、遠近感補正部の構成の他の例を示す図である。図 8では、図 7の構成に加えて、学習/蓄積部 9 1 1が付加されている。遠近感補正部 9 0 0は、オブジェクトについての虚像表示距離の補正に際し、学習/蓄積部 9 1 1 に蓄積された遠近感を伴う視覚的特徴に関係する事項に該当する運転環境、運転シーン、及びオブジヱクトの色と前記背景の色との関係、の少なくとも 1つに基づいて、オブジェクトについての虚像表示距離の補正の程度を微調整することができる。

[0080] 距離（遠近感）補正に際し、ユーザーの過去の学習による経験則をフィードバックし、微調整を実施することで、ユーザーの知覚傾向（個人差）に即した、より精度の高い補正が可能となる。

[0081 ] 例えば、ドライバモニタリングシステムと連動させて、提示色（オブジェクトの色）と反応時間との関係性を蓄積させ、そのデータに基づき、補正値（あるいは補正係数）を修正してもよい。例えば、青色のオブジェクトの認識が遅れる傾向があるときは、青色のオブジェクトは、前方への進出を強調して反応の改善を図ることができる。

[0082] また、例えば、オブジェクトが表示される背景（実景）の色と、オブジェクトの色との組み合わせによって、ユーザーの遠近感に関する知覚が顕著に変動することが学習によって明らかとなったときは、それらの色の組み合わせを変数として、補正値（あるいは補正係数）を算出し、補正の精度をより高めることも可能である。

[0083] なお、図 8において、学習/蓄積部 9 1 1から出力されるフィードバック情報として、個人差情報丁、環境、運転シーン、オブジェクトと背景との関係等を示す付帯情報 3が例示されている。

[0084] 次に、図 9を参照する。図 9 （）は、虚像表示距離が異なる複数の虚像表示面を設定可能な多面 1^~1 II口装置における虚像表示面の設定例を示す図、図 9 （巳）は、多面 1^~1 11 0装置の要部の構成例を示す図、図 9 （〇）は、位〇 2020/175228 16 卩（：171? 2020 /006189

置制御信号について説明するための図である。

[0085] 多面（マルチレイヤー） 1^~1 11 0装置は、多面（3以上の面）の虚像表示面を設定可能な 1^~1 II 0装置である。言い換えれば、虚像表示距離は、通り（は 3以上の自然数）に変更可能である。図 9 （八）では、 = 4 5であり、虚像表示距離が異なる虚像表示面 3 1〜 3 4 5を設定可能である。

[0086] 多面（マルチレイヤー） 1^~1 11 0装置では、虚像を表示可能な虚像表示面が多面化（マルチレイヤー化）されることから、虚像表示距離を、より自在に変更することができ、奥行き感のある立体的な表示が可能となる。また、さらに、表示対象の物体（オブジェクト）のサイズや高さを、適宜、変更して遠近感を持たせたり、物体の表示位置を調整したり、物体に奥行きを持たせて立体化したり、物体に影をつけたり、斜視表現を採用したり、物体の質感を緻密に表現したりする、といった、幾何学的な立体装飾処理（立体装飾と称する場合がある）を施すこと（言い換えれば、疑似 3 0画像処理を併用すること）で、よりリアルな 3 0表示が可能となる。

[0087] 図 9 （巳）を参照する。図 9 （巳）では、光走査型の 1^~1 II 0装置の要部の構成が示されている。図示されるように、位置制御信号生成部 9 1が設けられ、この位置制御信号生成部 9 1は、表示制御部 3 0 0から与えられる制御信号である走査駆動信号「 V 3を受けて、位置制御信号 V 3を生成、出力する。

[0088] また、虚像表示距離変更部 2 4は、レンズ駆動部 9 3及びスクリーン駆動部 9 5を含む。また、図 9 （巳）においては、画像処理部 5 1 と、光源部 5 3とが設けられる。

[0089] 画像処理部 5 1は、表示制御部 3 0 0から与えられる表示画像データ〇 V に基づいて表示画像を生成し、生成した表示画像を光源駆動部 5 5に供給する。

[0090] また、光源部 5 3は、光源駆動部 5 5及び光源（ここではレーザー光源!_ 〇） 5 7を含む。位置制御信号生成部 9 1が生成する位置制御信号？〇は、虚像表示距離変更部 2 4のレンズ駆動部 9 3及びスクリーン駆動部 9 5に〇 2020/175228 17 卩（：171? 2020 /006189

供給され、同時に、光源駆動部 5 5にも供給される。

[0091 ] 虚像表示距離変更部 2 4は、画像表示部（単に、表示部という場合もある）としてのスクリーン 4 6 （及びレンズ 4 4）を、画像表示部としてのスクリーン 4 6の光軸に沿う方向（言い換えれば、光路に沿う方向であり、図 9 （B）では、表示光＜が進行する矢印で示される方向）において、所定範囲（ここでは距離範囲 !_ ）で、振動させることによって、画像表示部としてのスクリーン 4 6 （より具体的には、画像 1\/1が表示される表示面 4 7）から、被投影部材 6までの光路長を周期的に変更する。また、光源部 5 3の光源駆動部 5 5によって、光源（レーザー光源 !_ 0） 5 7からの光の出射タイミングが制御されることによって、画像表示部としてのスクリーン 4 6の表示面 4 7上における画像 IV!の表示タイミング（表示時刻）が制御（調整）される。

[0092] ここで、通りに変更され得る虚像表示距離の各々に対応する虚像表示面を第 1〜第の虚像表示面とする場合に、画像表示部としてのスクリーン 4 6 （及びレンズ 4 4）を所定範囲（1_ ）で、所定周期で振動させる制御、画像表示部としてのスクリーン 4 6の表示面 4 7における画像の表示タイミングの制御、及び、表示タイミングの制御に同期した表示内容の変更制御（の組み合わせ）によって、第 1〜第の虚像表示面の内の少なくとも 2面の各々に、異なる非重畳コンテンツ（実景への重畳を前提としない表示対象）についての虚像の表示が可能である。

[0093] 位置制御信号生成部 9 1が生成する位置制御信号 V 9（3は、例えば、図 9 （〇）に記載されるような、鋸歯状（のこぎり状）の電圧信号（鋸歯状波の電圧信号）である。なお、図 9 （〇）では、横軸に時間 1:、縦軸に電圧 Vを設定している。

[0094] 位置制御信号 V （3の電圧が 0の場合は、画像表示部としてのスクリーン 4 6は、第 1の位置丁 0に位置し、位置制御信号 V 〇の電圧がピーク値の場合は、画像表示部としてのスクリーン 4 6は、第 2の位置丁 1 に位置する。〇 2020/175228 18 卩（：171? 2020 /006189

[0095] ここで、例えば、時刻 I 4の各々において、光源部 5 3から、異なる表示コンテンツ（表示対象）の画像を出力することによって、虚像表示距離が異なる 4つの表示対象（虚像）を表示することができる。この構成を用いることで、図 1、図 2、図 6で示したような、オブジェクトの表示（表示像による情報提示）を実現することができる。

[0096] なお、上記の構成は一例であり、これに限定されるものではない。例えば、表示面を有する表示部を複数、並列に設け、各表示部の位置を、ステップ的に移動させることで、虚像表示距離を多段階に変更可能としてもよい。

[0097] 次に、図 1 0を参照する。図 1 0は、虚像表示距離の制御が可能な 1^~1 II 0 装置の全体の構成例を示す図である。車両用表示装置は、車両 1 〇に搭載され、画像を、車両 1 0に備わる被投影部材 6としてのウインドシールドに投影することで、ユーザー（ここでは運転者） 1 に画像の虚像 V （虚像表示面上に表示される）を視認させるヘッドアップディスプレイ

装置 1 0 0を有する車両用表示装置であり、画像を生成する画像生成部 3 2と、画像（表示画像） IV!が形成される表示面 4 7を有し、画像 IV!の表示光を発する表示部（ここではスクリーン 4 6）と、表示光 <を反射して、被投影部材 6に投影する光学部材（ここでは凹面鏡 4 9）を含む光学系 5 2と、ユ —ザー 1上又は車両 1 0上に設定される基準点から虚像までの距離である虚像表示距離を変更する虚像表示距離変更部（図 9 （巳）の符号 2 4、図 1 0 では不図示）と、画像生成部 3 2及び虚像表示距離変更部（図 9 （巳）の符号 2 4）を制御して、複数の表示対象（例えば図 5の（3 1〜0 3）の各々を、異なる虚像表示距離（図 5では表示距離！- 2 0 1、！_ 2 0 2、！_ 2 0 3）に同時に表示させることが可能な表示制御部 3 0 0と、を有する。

[0098] 表示制御部 3 0 0は、画像生成部 3 2、走査駆動部 3 3、虚像表示距離制御部 3 4、遠近感補正部 9 0 0 （例えば、図 7、図 8の構成をもつ）を備える。

[0099] なお、

ダッシュボード 4内に配置されている。光学系（投射光学系） 5 2は、画像の表示光 <をウインドシールド（被投影部材〇 2020/175228 19 卩（：171? 2020 /006189

6）に照射することができる。

[0100] また、図 1 0では、環境光（外光）の強度を検出する外光強度センサー 1

6が車両（自車両） 1 0に備わっている。検出された外光強度は、昼夜の区別をするため、あるいは、日差しによる照り返しの強弱等といった周囲環境情報の一種であり、種々、役立てることができる。

[0101 ] また、図 1 0では、前方（車両周囲）撮像カメラ 1 7による撮像画像に基づいて画像処理を行う画像処理部 2 1 を有する運転シーン判定部 1 9と、仮想標識情報（広義のナビゲーシヨン情報）を出力する表示オブジェクト情報生成部 4 0 0と、が設けられている。

[0102] 表示オブジェクト情報生成部 4 0 0は、奥行きマッピング部 4 0 2と、表示オブジェクト（色、立体形状等の情報を含む）生成部 4 0 4と、運転経路情報取得部 4 0 6と、自車両位置情報取得部 4 0 8と、地図情報取得部 4 1 0と、記憶部（地図、道路案内情報、道路標識等のデータべースとして機能する） 4 1 2と、を有する。

[0103] 表示オブジェクト情報生成部 4 0 0には、車載巳〇11 7 0 0が収集した車両情報等が、バス（巳 II 3）を介して供給される。

[0104] また、通信部 5 0 0が、例えば、車両 1 0の外部に設置されている運転支援システム 6 0 0との無線通信によって取得した各種の情報を、適宜、ナビゲーシヨン部（ナビゲーシヨン巳（3 11） 4 0 0の自車両位置情報取得部 4 0 8及び地図情報取得部 4 1 0に供給するようにしてもよい。

[0105] また、

3受信部が

3衛星から受信した位置情報等を、適宜、表示オブジェクト情報生成部（具体的にはナビゲーシヨン用巳〇11） 4 0 0の自車両位置情報取得部 4 0 8及び地図情報取得部 4 1 0に供給するようにしてもよい。

[0106] 次に、図 1 1 を参照する。図 1 1は、本発明の実施形態にかかる 1^~1 II 0装置の主要な動作手順の一例を示すフローチヤートである。

[0107] ステップ 1 にて情報提示の必要性が判定され、 1\!のときは現状が維持され、丫のときは、ステップ 3 2に移行する。ステップ 2では、表示オブジェク〇 2020/175228 20 卩（：171? 2020 /006189

卜（立体オブジェクトを含む）を生成する。

[0108] 次に、ステップ 3 3にて、表示オブジェクトの色情報を取得する。ステップ 4にて、表示オブジェクトの色についての情報（色関係情報：必要に応じてフィードバック情報が含まれる）に基づいて、補正係数を求める（例えば、先に説明した !_ II丁を用いた算出手法を利用可能である）。

[0109] ステップ 3 5にて、求められた補正係数により、正規の虚像表示距離（才ブジェクトのサイズ）の補正処理が行われる。距離及びサイズの少なくとも —方の補正を行うことができる。

[01 10] ステップ 3 6にて、表示オブジェクトが描画される。これにより、虚像（図 1 0の符号 V）が、虚像表示可能領域 7 （図 2参照）内に表示される。

[01 1 1 ] 以上のように、本発明の実施形態によれば、 1^~1 II 0装置が意図する虚像表示距離での情報の知覚を実現して、違和感等を低減することができる。例えば、色による進出/後退の知覚変動に合わせて、その知覚変動を抑制する方向に、オブジェクトの距離を可変に制御することによって、ューザーの違和感を効果的に低減することができる。

[01 12] 以上、本発明を実施形態に基づいて説明したが、本発明は、これらの実施形態に限定されるものではなく、種々、変形、応用が可能である。例えば、虚像表示距離を直接的に制御する手法として、虚像表示面を路面に垂直な方向（例えば鉛直方向等）に対して傾けておき、その虚像表示面上での、オブジェクトの表示位置を変更することで、虚像表示距離を微調整する手法を採用してもよい。例えば、虚像表示面の上側（路面から離れる側）が虚像表示距離がより大きくなるのであれば、表示位置を上側に変更することで、距離を微増させることができる。このような例も、本発明の技術思想に含まれる。なお、虚像表示面を傾けることは、光学系（スクリーン等）を光軸に対して直交する方向から、所定角度をもって傾斜させるようにすることで実現され得る。

[01 13] また、本発明において実施される虚像位置の変更制御は、車両の運転のシミュレータ等にも応用することが可能である。なお、「車両」については、〇 2020/175228 21 卩（：171? 2020 /006189

例えば、「乗り物」、「移動体」というように広義に解釈することも可能である。 1^~1110装置についても、車載表示装置、乗り物（移動体）用表示装置、というように、広義に解釈することができるものとする。また、

装置は、プロジェクターを利用したものの他、ホログラフィーと称されるものであつてもよい。

[0114] 本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。

符号の説明

[0115] 1 ユーザー（運転者等）、 2 路面（道路）、 3 ステアリングホイール（ハンドル）、 5 フロントパネル、 6 被投影部材（ウインドシールド等）、 7 虚像表示可能領域、 1 0 · · 車両（自車両）、 1 9 · · ·運転シーン判定部、 2 1 · · ·画像処理部、 32 · ·

-画像生成部、 33 · · ·走査駆動部、 34 · · ·虚像表示距離制御部、 4 4 レンズ（光学系）、 46 · · スクリーン（表示部）、 47 画像表示面（表示面）、 49 凹面鏡（ミラー）、 52 投射光学系（光学系）、 300 表示制御部、 900 · · ·遠近感補正部、 90 2 色情報取得部、 904 · · ·色特性抽出部、 906 · · ·オブジェクトの代表的色特性決定部、 907 ルックアップテーブル（1_ 11丁）

、 909 · · ·補正係数平均化処理部、 9 1 0 · · ·補正処理部、 9 1 1 - -学習/蓄積部、 3 虚像表示面、＜表示光、 IV! 画像、 V 虚像

Claims

\¥02020/175228 22 卩（：17 2020/006189 請求の範囲

[請求項 1 ] 車両に搭載され、オブジェクトの画像を、前記車両に備わる被投影部材に投影することで、ユーザーに前記画像の虚像を視認させ、かつ、前記ユーザー上又は前記車両上に設定される基準点から前記虚像までの距離を虚像表示距離とする場合に、前記オブジヱクトについての虚像表示距離を制御することが可能なヘッドアップディスプレイ（ ! ! □ 0）装置であって、

オブジェクトの色情報を取得する色情報取得部と、前記オブジェクトについての、遠近感に関係する色特性を抽出する色特性抽出部と、

前記オブジェクトについての代表的色特性に基づいて、又は、前記オブジヱクトの画素、又は画素群についての色特性の平均化後の値あるいは平滑化後の値に基づいて補正係数を算出し、前記補正係数を用いて、前記オブジェクトについての虚像表示距離を、直接的制御、及び、疑似 3口画像処理による遠近強調の少なくとも 1つを用いて補正する遠近感補正部と、

を有することを特徴とするへッドアップディスプレイ装置。

[請求項 2] 前記遠近感補正部は、色による前記オブジェクトの進出/後退を補うように、虚像表示距離を補正することを特徴とする、請求項 1 に記載のヘッドアップディスプレイ装置。

[請求項 3] 前記遠近感補正部は、前記オブジェクトについての虚像表示距離の補正に際し、

前記オブジェクトの色特性が、前記ユーザーから見て手前側に見える進出特性をもつ場合は、前記オブジェクトについての虚像表示距離を、その進出特性の程度に応じて増大させ、

前記オブジェクトの色特性が、前記ユーザーから見て奥側に見える後退特性をもつ場合は、前記オブジェクトについての虚像表示距離を、その後退特性の程度に応じて減少させる、〇 2020/175228 23 卩（：171? 2020 /006189

ことを特徴とする、請求項 2に記載のへッドアップディスプレイ装置。

[請求項 4] 前記遠近感補正部は、前記オブジェクトについての虚像表示距離の補正に際し、

前記虚像表示距離が閾値を超えるときは、その虚像表示距離を、前記疑似 3口画像処理による遠近強調のみによって制御する、ことを特徴とする請求項 2に記載のへッドアップディスプレイ装置。

[請求項 5] 前記ユーザーの、過去の運転情報から、遠近感を伴う視覚的特徴に関係する事項を抽出して蓄積する、学習/蓄積部を有し、

前記遠近感補正部は、前記オブジェクトについての虚像表示距離の補正に際し、前記学習/蓄積部に蓄積された前記遠近感を伴う視覚的特徴に関係する事項に該当する運転環境、運転シーン、及び前記オブジェクトの色と前記背景の色との関係、の少なくとも 1つに基づいて、前記オブジェクトについての虚像表示距離の補正の程度を微調整する、ことを特徴とする請求項 1乃至 4の何れか 1項に記載のへッドアップディスプレイ装置。

[請求項 6] 前記オブジェクトは、立体的オブジェクトである、ことを特徴とする請求項 1乃至 5の何れか 1項に記載のへッドアップディスプレイ装置。

[請求項 7] 請求項 1乃至 6の何れか 1項に記載のへッドアップディスプレイ装置に搭載され、コンピュータを用いて実現される、前記遠近感補正部としての表示制御装置。

[請求項 8] コンピュータを、請求項 7に記載の表示制御装置として動作させる表示制御プログラム。