JP6607128B2 - Virtual image display device, virtual image display method, and control program - Google Patents
Virtual image display device, virtual image display method, and control program Download PDFInfo
- Publication number
- JP6607128B2 JP6607128B2 JP2016075538A JP2016075538A JP6607128B2 JP 6607128 B2 JP6607128 B2 JP 6607128B2 JP 2016075538 A JP2016075538 A JP 2016075538A JP 2016075538 A JP2016075538 A JP 2016075538A JP 6607128 B2 JP6607128 B2 JP 6607128B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- virtual image
- video
- color
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 17
- 239000003086 colorant Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000000295 complement effect Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000004040 coloring Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
Images
Description
本発明は、車両用の虚像表示装置、虚像表示方法および制御プログラムに関する。
に関する。
The present invention relates to a virtual image display device for vehicles, a virtual image display method, and a control program.
About.
近年では、ナビゲーション情報や走行速度など、車両の運行に関する情報を車両のウィンドシールドに表示させる車両用の虚像表示装置としてのヘッドアップデイスプレイ(以下、HUDと称す)が知られている。特許文献1には、自車の前方における景色(外景)の画像を撮影し、当該画像における虚像の表示部分の近傍に存在する前走車の色に基づいて当該虚像の表示色を設定するHUDが記載されている。また、特許文献2には、外景と表示させる虚像とのコントラスト比を考慮して当該虚像の表示色を決定するHUDが記載されている。
In recent years, a head-up display (hereinafter referred to as HUD) is known as a virtual image display device for a vehicle that displays information related to vehicle operation such as navigation information and traveling speed on a windshield of the vehicle.
HUDによる虚像は、車両の運転中に運転者の視野に入るものであるため、当該虚像は、運転者が適切に認識できるよう、明瞭に表示されるとともに簡素な表示であることが求められる。しかしながら、特許文献1および2に記載のHUDに関する技術のように、HUDによる虚像の表示色を外景の色調や外景と虚像とのコントラスト比に基づいて変化させると、外景が目まぐるしく変わるような状況では虚像の表示色が頻繁に変化することになり煩わしい。
Since the virtual image by the HUD enters the driver's field of view while driving the vehicle, the virtual image is required to be clearly displayed and simple so that the driver can appropriately recognize it. However, as in the technique related to HUD described in
本発明は、以上の問題点に鑑みなされたものであり、本発明は、外景の状況が変化しても、虚像の表示色を頻繁に変化させずかつ虚像の表示内容を複雑化させることなく、適切に虚像を認識させることができる虚像表示装置を提供することを目的とする。 The present invention has been made in view of the above problems, and the present invention does not frequently change the display color of the virtual image and complicate the display contents of the virtual image even when the situation of the outside scene changes. An object of the present invention is to provide a virtual image display device that can appropriately recognize a virtual image.
上述した課題を解決するために、本発明にかかる虚像表示装置は、虚像として表示する表示データを生成する表示データ生成部と、表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部と、車両の前方の景色を撮影した映像データを取得する映像データ取得部と、映像データにおいて虚像が重畳される範囲を特定する範囲特定部と、範囲特定部において特定された範囲の映像データに対して、映像の複雑さ度合いを判定する判定部と、判定部にて映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加する表示データ変更部と、を備えることを特徴とする。 In order to solve the above-described problems, a virtual image display device according to the present invention projects a display data generation unit that generates display data to be displayed as a virtual image, and image light based on the display data as a virtual image in front of the driver of the vehicle. Specified in the range specifying unit, the range specifying unit for specifying the range where the virtual image is superimposed on the video data, and the range specifying unit Display for the video data in the range when the determination unit determines the degree of complexity of the image and the determination unit determines that the degree of complexity of the image is relatively higher than the reference complexity level. A display data changing unit that maintains a display color of the display object included in the data and adds a line along the shape of the display object in a color different from the display color of the display object. And wherein the Rukoto.
上述した課題を解決するために、本発明にかかる虚像表示方法は、虚像として表示する表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部を備える虚像表示装置を用いた虚像表示方法であって、表示データを生成するステップと、車両の前方の景色を撮影した映像データを取得するステップと、映像データにおいて特定された虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定するステップと、映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加するステップと、を備えることを特徴とする。 In order to solve the above-described problems, a virtual image display method according to the present invention includes a virtual image display device including a video light projection unit that projects video light based on display data to be displayed as a virtual image as a virtual image in front of the driver of the vehicle. The virtual image display method used includes a step of generating display data, a step of acquiring video data obtained by photographing a scene in front of the vehicle, and a range of video data in which a virtual image specified in the video data is superimposed Determining the degree of complexity of the video, and maintaining the display color of the display object included in the display data when the degree of complexity of the video is determined to be relatively higher than the standard complexity level. And adding a line along the shape of the display object with a color different from the display color of the display object.
上述した課題を解決するために、本発明にかかる制御プログラムは、虚像として表示する表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部を備える虚像表示装置を制御する制御プログラムであって、コンピュータに、表示データを生成する処理手順と、車両の前方の景色を撮影した映像データを取得する処理手順と、映像データにおいて特定された虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定する処理手順と、映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加する処理手順と、を実行させるためのものである。 In order to solve the above-described problem, a control program according to the present invention controls a virtual image display device including a video light projection unit that projects video light based on display data to be displayed as a virtual image as a virtual image in front of the driver of the vehicle. A processing program for generating display data, a processing procedure for acquiring video data obtained by capturing a scene in front of the vehicle, and a video in a range in which a virtual image specified in the video data is superimposed The processing procedure for determining the degree of complexity of the image for the data and the display object included in the display data when the degree of complexity of the image is determined to be relatively higher than the reference complexity A processing procedure for maintaining the display color and adding a line along the shape of the display object in a color different from the display color of the display object. It is those of.
本発明は、 The present invention
本発明によれば、外景の状況が変化しても、虚像の表示色を頻繁に変化させずかつ虚像の表示内容を複雑化させることなく、適切に虚像を認識させることができる。 According to the present invention, it is possible to appropriately recognize a virtual image without changing the display color of the virtual image frequently and without complicating the display content of the virtual image even when the situation of the outside scene changes.
以下、図面を参照して本発明の実施の形態について説明する。
本発明の実施の形態にかかる、車両用の虚像表示装置はヘッドアップディスプレイ装置である。まず、虚像表示装置100の概略構成について説明する。
図1は、本実施の形態にかかる虚像表示装置100の構成を模式的に示す側面図である。図1に示すように、虚像表示装置100は、制御部110と、映像光投射部120と、反射部140と、コンバイナ160と、筐体170とを備えている。
Embodiments of the present invention will be described below with reference to the drawings.
A virtual image display device for a vehicle according to an embodiment of the present invention is a head-up display device. First, a schematic configuration of the virtual
FIG. 1 is a side view schematically showing a configuration of a virtual
映像光投射部120は、車両の運転者前方に映像光L1を投射するプロジェクタを有している。映像光投射部120は投射映像に応じた映像光L1を、反射部140に向けて出射する、図1の例においては、後方斜め上方向に出射する。映像光投射部120の後方斜め上方向には、反射部140が配置されている。したがって、映像光投射部120からの映像光L1は、反射部140に入射する。映像光投射部120は、表示信号に応じて、映像光L1を投射する。
The image
反射部140は、映像光投射部120からの映像光L1を反射する。反射部140は、凹面鏡などを有しており、映像光L1を拡大する。反射部140は、映像光L1をコンバイナ160などの虚像投影面方向に反射する。図1の例においては、前方斜め上方向に向けて反射する。反射部140の前方斜め上方向には、コンバイナ160が配置されている。したがって、反射部140で反射した映像光L1は、コンバイナ160に入射する。なお、反射部140には、反射部140を駆動することで映像光L1の反射光路を変更する、サーボモータやギヤ等などの光路変更部が取り付けられていてもよい。
The
コンバイナ160は、入射した映像光L1の一部を反射して、虚像を表示させる。したがって、コンバイナ160で反射した映像光L1は観察者の眼に入射する。図2に示すように、虚像表示装置100が自動車1のダッシュボード13上に設置された場合には、フロントガラス12を透過した外界からの外光L2と虚像表示装置100からの映像光L1とがオーバーレイ(重畳)し、運転者Pの視界には車両の前方の景色(外景)と虚像表示装置100によって生成等された虚像とが同時に見えることになる。
本発明を適用する虚像表示装置は、図1に示すようなコンバイナ160を用いた虚像表示装置100に加えて、コンバイナを用いずに車両のフロントガラスを虚像投影面とする虚像表示装置であってもよい。
The
The virtual image display device to which the present invention is applied is a virtual image display device that uses a windshield of a vehicle as a virtual image projection plane without using a combiner, in addition to the virtual
なお、以下の説明では、虚像表示装置100が自動車1のダッシュボード13上に置かれている状態での方向を基準に説明する。すなわち、自動車1の方向を基準の方向とする。例えば、フロントガラス12側を前方として、運転者P側を後方として説明する。同様に、自動車1のルーフ側を上方とし、地面側を下方とし、自動車1の横方向(左右方向)を側方として説明する。
In the following description, a description will be given based on a direction in a state where the virtual
次に、虚像表示装置100の制御構成について説明する。
図3は、虚像表示装置100の制御構成を示すブロック図である。図3に示すように、制御部110は、表示データ生成部4と、映像データ取得部5と、範囲特定部6と、判定部7と、表示データ変更部8と、投射制御部9と、を備えている。なお、制御部110は、CPU、ROM、RAM等を含むコンピュータなどである。
Next, the control configuration of the virtual
FIG. 3 is a block diagram showing a control configuration of the virtual
表示データ生成部4は、CAN(Controller Area Network)やナビゲーションシステムなどの表示情報供給手段10からの表示情報に基づいて虚像として表示する表示データを生成する。映像データ取得部5は、撮像手段としての前方カメラ11により車両前方の景色を撮影した映像データを取得する。前方カメラ11は、運転者から見える車両前方の景色を撮影することができる任意の位置に配置される。例えば、図2に示すように、前方カメラ11は、自車のフロントガラス12の上部付近のルームミラー14の裏側など、車両前方を撮影可能な位置に設置される。なお、前方カメラ11は、虚像表示装置100に一体的に配置されてもよい。
The display
範囲特定部6は、映像データ取得部5が取得した映像データにおいて虚像が重畳される範囲を特定する。判定部7は、範囲特定部6において特定された範囲の映像データに対して、映像の複雑さ度合いを判定する。具体的な判定方法は後述する。表示データ変更部8は、判定部7にて映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加する。
The
映像光投射部120は、光を発生する光源121と、表示データに応じて光源で発生した光を変調する光変調素子などの投射画像表示部122、光を投射する投射レンズなどの光学部123を有している。例えば、光変調素子である液晶パネルがバックライト光源からの光を変調する。あるいは、光変調素子として、MEMS(Micro Electronics Mechanical System)ミラー等の走査ミラーを用いることができる。この場合、レーザダイオードやLED(Light Emitting Diode)などの光源からの光を、表示信号に応じて走査ミラーが走査する。投射制御部9は、映像光投射部120の光源121および投射画像表示部122を制御する。
The image
制御部110における各処理は、コンピュータなどにプログラムを実行させることによって実現できる。より具体的には、制御部110において、プログラムメモリに格納されたプログラムを主記憶装置にロードし、CPUの制御によって当該プログラムを実行して実現する。また、制御部110は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。
Each process in the
また、制御部110において実現される各機能は、虚像表示装置100として単独の装置における制御部であってもよく、虚像表示装置100と連携した他の装置における制御部を用いてもよい。例えば、虚像表示装置100が単に受け取った映像データを表示するのみである構成の場合、制御部110における投射制御部9が虚像表示装置100の制御部によって実現され、他の各機能は、車両のカメラや表示画像を制御する他の装置で実現される。このような場合、虚像表示装置は虚像表示システムと言い換え可能である。
Each function realized in the
上述したように、運転者から見える車両前方の景色には、虚像表示装置100によって生成等された虚像が重畳される。図4は、映像データ取得部5(図3参照)が取得した車両前方の景色の映像データにおいて虚像が重畳される範囲の例を示す図である。図4に示すように、破線で囲んだ範囲(虚像重畳範囲A、B、C)が、映像データにおいて虚像が重畳される範囲である。
As described above, the virtual image generated by the virtual
運転者の目の位置は運転者の座高や運転姿勢等によって変わるので、虚像表示装置100では、運転者から見える車両前方の景色において虚像を重畳させる範囲を変更できるようにしてもよい。このようにした場合、運転者から見える車両前方の景色における虚像を重畳させる範囲の変更に伴って、映像データにおいて虚像が実際に重畳されている範囲も変更される。範囲特定部6では、範囲特定部6で特定する、映像データにおいて虚像が重畳される範囲を、運転者から見える車両前方の景色において虚像を重畳させる範囲の設定と整合させるようにしてもよい。つまり、範囲特定部6で特定する、映像データにおいて虚像が重畳される範囲を、映像データにおいて虚像が実際に重畳されている範囲と一致させる。図4に示される虚像重畳範囲A、Bは、運転者から見える車両前方の景色において虚像を重畳させる範囲の設定と整合させるようにしたときの、映像データにおける虚像が重畳される範囲の例である。このようにすると、表示データ変更部8(図3参照)にて表示オブジェクトの形状に沿った線を付加するタイミングをより適切に判断することができる。
Since the position of the driver's eyes changes depending on the driver's sitting height, driving posture, and the like, the virtual
これに対し、範囲特定部6(図3参照)において、虚像重畳範囲A、Bなど特定の運転者向けの設定範囲のいずれをもカバーできる、映像データにおける虚像が重畳される範囲が予め設定されていてもよい。図4に示される虚像重畳範囲Cは、特定の運転者向けの設定範囲のいずれをもカバーできる、映像データにおける虚像が重畳される範囲の例である。範囲特定部6で特定する、映像データにおいて虚像が重畳される範囲を、虚像重畳範囲Cに設定すると、運転者から見える車両前方の景色において虚像を重畳させる範囲がどのように設定されていても、虚像重畳範囲Cの範囲内に虚像を収めることができる。このようにすると、運転者から見える車両前方の景色における虚像を重畳させる範囲の変更に伴って、映像データにおいて虚像が実際に重畳されている範囲をいちいち変更する必要がない。
On the other hand, in the range specifying unit 6 (see FIG. 3), a range in which the virtual image in the video data is superimposed, which can cover any of the setting ranges for the specific driver such as the virtual image superimposing ranges A and B, is set in advance. It may be. A virtual image superimposing range C shown in FIG. 4 is an example of a range in which a virtual image in video data is superposed, which can cover any setting range for a specific driver. When the range in which the virtual image is superimposed in the video data specified by the
ここで、範囲特定部6(図3参照)において特定された範囲の映像データに対して、判定部7(図3参照)が映像の複雑さ度合いを判定する方法について説明する。
判定部7は、範囲特定部6において特定された範囲内の映像データに対し、構成する色調または輝度の統計分布(ヒストグラム)に基づいて当該特定された範囲内の映像データの複雑さ度合いを判定する。
Here, a description will be given of a method in which the determination unit 7 (see FIG. 3) determines the degree of complexity of the video with respect to the video data in the range specified by the range specifying unit 6 (see FIG. 3).
The
図5から図7は、映像データにおける色調分布の例を示すヒストグラムである。このヒストグラムは、横軸に光の波長(右へいくほど波長が高い)、縦軸に波長ごとの画素数を積み上げたグラフである。つまり、映像データにおいて、波長の低い色の成分が多いほどグラフの左寄りに積み上げられ、波長の高い色の成分が多いほどグラフの右寄りに積み上げられて表示される。 5 to 7 are histograms showing examples of the color tone distribution in the video data. This histogram is a graph in which the horizontal axis indicates the wavelength of light (the wavelength increases as it goes to the right), and the vertical axis indicates the number of pixels for each wavelength. In other words, in the video data, as the color component having a lower wavelength increases, it is stacked on the left side of the graph, and as the color component having a higher wavelength increases, it is displayed on the right side of the graph.
図5に示すヒストグラムでは、色の波長の大きなピークが1つである(ピークがある色の波長の近傍に集中している)。図5に示す例のように色の波長の大きなピークが1つである場合を、複雑さ度合いの基準とする。範囲特定部6(図3参照)において特定された範囲の映像データの色調分布のヒストグラムが図5に示すような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加しない。 In the histogram shown in FIG. 5, there is one large peak of the color wavelength (the peak is concentrated in the vicinity of the wavelength of the certain color). A case where there is one large wavelength wavelength peak as in the example shown in FIG. When the histogram of the color tone distribution of the video data in the range specified by the range specifying unit 6 (see FIG. 3) is as shown in FIG. 5, the display object in the display data displayed as a virtual image conforms to the shape of the display object. Do not add a line.
図5に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する色が単色または同系色の割合が多い状態を示している。このような映像データに対応する外景を背景とした場合は、虚像の認識に困難性は無い。図5に示すヒストグラムのピーク近傍の色と、虚像の表示オブジェクトの色とが近接する場合は、虚像の表示オブジェクトの色を変更することで、適切に虚像を認識させることができる。
The histogram shown in FIG. 5 shows a state in which the color constituting the video data within the range specified by the
具体例としては、範囲特定部6において特定された範囲内の映像データに、図5に示すような例として、波長600nm前後である橙色および橙色近傍の色で構成される背景、例えば大型車両の後面が撮影されている場合、虚像の表示オブジェクトの色が橙色または橙色の近傍の色以外であれば、虚像の認識に困難性は無い。
As a specific example, the image data within the range specified by the
図6に示すヒストグラムでは、色の波長の大きなピークが2つである。図6に示す例のように色の波長の大きなピークが2つ以上である場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。 In the histogram shown in FIG. 6, there are two large peaks of the color wavelength. When there are two or more peaks having a large color wavelength as in the example shown in FIG. 6, it is determined that the degree of complexity is relatively higher than the reference degree of complexity. In such a case, a line along the shape of the display object is added to the display object in the display data displayed as a virtual image.
図6に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する色が、複数色または複数の色の同系色の割合が多い状態を示している。このような映像データに対応する外景を背景とした場合は、虚像の表示オブジェクトの色が、図6に示すヒストグラムのピークの色またはピーク近傍の色と同一または近接した色となる可能性が高い。図6に示す例は、ピークが2つであるが、さらにピークの数が多い場合は特に顕著である。このような場合は、虚像の表示オブジェクトの一部分または全体の視認性が悪化する。
The histogram shown in FIG. 6 shows a state in which the color constituting the video data within the range specified by the
具体例としては、範囲特定部6において特定された範囲内の映像データに、図6に示すような例として、波長550nm前後である緑色および緑色近傍の色、および波長750nm前後の赤色および赤色近傍の色で構成される背景の場合である。このような場合、虚像の表示オブジェクト全体の色が背景色と異なる色である可能性は低くなる。例えば、範囲特定部6において特定された範囲に対応する外景に、緑色をおよび緑色近傍の色を中心とした森林等と赤色の車両が含まれている場合や、大型車両の後面に緑色と赤色によって構成された彩色が施されている場合などである。
As a specific example, the video data within the range specified by the
図7に示すヒストグラムでは、特定の色の波長において大きなピークは存在せず、色の波長が広範囲に分布している。図7に示す例のように色の波長が広範囲に分布している場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。 In the histogram shown in FIG. 7, there is no large peak at a specific color wavelength, and the color wavelength is distributed over a wide range. When the color wavelength is distributed over a wide range as in the example shown in FIG. 7, it is determined that the degree of complexity is relatively higher than the reference degree of complexity. In such a case, a line along the shape of the display object is added to the display object in the display data displayed as a virtual image.
図7に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する色が、多数の色で構成されている状態を示す。このような映像データに対応する外景を背景とした場合は、虚像の表示オブジェクトの色が単色または複数の色で構成されていても、高い確率で図7に示すヒストグラムの範囲の色と同一または近接した色となる。図7に示すヒストグラムは、図6に示すヒストグラムの複数のピークがさらに多数存在するものと同様でもある。
The histogram shown in FIG. 7 shows a state in which the colors constituting the video data within the range specified by the
具体例としては、範囲特定部6において特定された範囲内の映像データに、図7に示すような例として、波長480nm前後である青緑色から波長750nm前後の赤色まで、多くの色が存在している場合である。例えば、範囲特定部6において特定された範囲に対応する外景に、様々な色の物体や車両が含まれている場合や、大型車両の後面に多くの色によって構成された彩色が施されている場合などである。
As a specific example, there are many colors in video data within the range specified by the
図8から図10は、映像データにおける輝度分布の例を示すヒストグラムである。このヒストグラムは、横軸に輝度(右へいくほど輝度が高い)、縦軸に輝度ごとの画素数を積み上げたグラフである。つまり、映像データにおいて、暗い成分が多いほどグラフの左寄りに積み上げられ、明るい成分が多いほどグラフの右寄りに積み上げられて表示される。 8 to 10 are histograms showing examples of the luminance distribution in the video data. This histogram is a graph in which the horizontal axis represents luminance (the luminance increases toward the right) and the vertical axis represents the number of pixels for each luminance. In other words, in the video data, the darker component is stacked on the left side of the graph, and the brighter component is displayed on the right side of the graph.
図8に示すヒストグラムでは、輝度の大きなピークが1つである(ピークがある輝度の近傍に集中している)。図8に示す例のように輝度の大きなピークが1つである場合を、複雑さ度合いの基準とする。範囲特定部6(図3参照)において特定された範囲の映像データの輝度分布のヒストグラムが図8に示すような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加しない。 In the histogram shown in FIG. 8, there is one peak having a large luminance (the peak is concentrated in the vicinity of a certain luminance). A case where there is one peak having a large luminance as in the example shown in FIG. When the histogram of the luminance distribution of the video data in the range specified by the range specifying unit 6 (see FIG. 3) is as shown in FIG. 8, the display object in the display data displayed as a virtual image conforms to the shape of the display object. Do not add a line.
図8に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する画素の輝度が全体的に均一な輝度であることを示している。このような映像データに対応する外景を背景とした場合は、虚像の認識に困難性は無い。
The histogram shown in FIG. 8 indicates that the luminance of the pixels constituting the video data within the range specified by the
具体例としては、範囲特定部6において特定された範囲内の映像データを構成する1画素の輝度が8ビット(輝度値:0〜255)で表される場合、図8に示すような例として、構成色を問わず輝度値が100から150前後など、狭い範囲に集中している場合は、虚像の認識に困難性は無い。
As a specific example, when the luminance of one pixel constituting the video data within the range specified by the
図9に示すヒストグラムでは、輝度の大きなピークが2つである。図9に示す例のように輝度の大きなピークが2つ以上である場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。 In the histogram shown in FIG. 9, there are two peaks with large luminance. When there are two or more peaks with large luminance as in the example shown in FIG. 9, it is determined that the degree of complexity is relatively higher than the reference degree of complexity. In such a case, a line along the shape of the display object is added to the display object in the display data displayed as a virtual image.
図9に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する画素の輝度が複数の輝度値を中心とした分布となっていることを示す。このような映像データに対応する外景を背景とした場合、複数のピークに対する輝度値の差により、虚像の視認性が悪化する。
The histogram shown in FIG. 9 indicates that the luminance of the pixels constituting the video data within the range specified by the
具体例としては、範囲特定部6において特定された範囲内の映像データを構成する1画素の輝度が8ビット(輝度値:0〜255)で表される場合、図9に示すような例として、構成色を問わず輝度値が100前後のピークと輝度値が200前後のピークがある。例えば、範囲特定部6において特定された範囲に対応する外景に、陽光の当たった森林や、道路と自動車、コントラストの高い複数の配色を備えた大型車両の後面などである。
As a specific example, when the luminance of one pixel constituting the video data within the range specified by the
図10に示すヒストグラムでは、特定の輝度において大きなピークは存在せず、輝度が広範囲に分布している。図10に示す例のように輝度が広範囲に分布している場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。 In the histogram shown in FIG. 10, there is no large peak at a specific luminance, and the luminance is distributed over a wide range. When the luminance is distributed over a wide range as in the example illustrated in FIG. 10, it is determined that the degree of complexity is relatively higher than the reference degree of complexity. In such a case, a line along the shape of the display object is added to the display object in the display data displayed as a virtual image.
図10に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する画素に様々な輝度値が含まれた分布となっていることを示す。このような映像データに対応する外景を背景とした場合、様々な輝度差により、虚像の視認性が悪化する。
The histogram shown in FIG. 10 indicates that a distribution in which various luminance values are included in the pixels constituting the video data within the range specified by the
具体例としては、範囲特定部6において特定された範囲内の映像データを構成する1画素の輝度が8ビット(輝度値:0〜255)で表される場合、図10に示すような例として、構成色を問わず輝度値が80から220前後にほぼ均一に分布している場合である。例えば、範囲特定部6において特定された範囲に対応する外景が、様々な物体が範囲内に存在する遠景や、複雑な構成で描画された大型車両の後面などである。
As a specific example, when the luminance of one pixel constituting the video data within the range specified by the
判定部7(図3参照)における映像の複雑さ度合いの判定において、範囲特定部6(図3参照)において特定された範囲の映像データにおいて、図11に示す隣接した複数の画素からなるグループごとにするようにしてもよい。 In the determination of the degree of complexity of the video in the determination unit 7 (see FIG. 3), for each group of a plurality of adjacent pixels shown in FIG. 11 in the video data in the range specified by the range specifying unit 6 (see FIG. 3). You may make it.
次に、判定部7(図3参照)にて映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データ変更部8が、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加した表示オブジェクトの実施例について以下で説明する。なお、通常時における、表示させる虚像の表示データに含まれる表示オブジェクト(表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加しない表示オブジェクト)の例を図12に示す。
Next, when the determination unit 7 (see FIG. 3) determines that the complexity level of the video is relatively higher than the standard complexity level, the display
[実施例1]
図13は、実施例1の表示オブジェクトの表示例について示す図である。図13に示すように、実施例1では、図12に示す表示オブジェクトに対して、表示データに含まれる表示オブジェクトに表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った外郭線を付加する。表示オブジェクトの形状に沿った外郭線の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が150nm以上離れた色、輝度の異なる色などである。
[Example 1]
FIG. 13 is a diagram illustrating a display example of the display object according to the first embodiment. As illustrated in FIG. 13, in the first embodiment, the display object illustrated in FIG. 12 is provided with an outline line that is different from the display color of the display object in the display object and that is in the shape of the display object. Append. The color of the outline along the shape of the display object is a color different from the display color of the display object, for example, a complementary color, a color whose wavelength is 150 nm or more away, or a color with different luminance.
[実施例2]
図14は、実施例2の表示オブジェクトの表示例について示す図である。図14に示すように、実施例2では、図12に示す表示オブジェクトに対して、表示データに含まれる表示オブジェクトに表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った中心線を付加する。表示オブジェクトの形状に沿った中心線の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が150nm以上離れた色、輝度の異なる色などである。
[Example 2]
FIG. 14 is a diagram illustrating a display example of a display object according to the second embodiment. As shown in FIG. 14, in the second embodiment, the display object shown in FIG. 12 has a center line along the shape of the display object in a color different from the display color of the display object. Append. The color of the center line along the shape of the display object is a color different from the display color of the display object, for example, a complementary color, a color whose wavelength is 150 nm or more, or a color having a different luminance.
[実施例3]
図15は、実施例3の表示オブジェクトの表示例について示す図である。図15に示すように、実施例3では、図12に示す表示オブジェクトに対して、表示データに含まれる表示オブジェクトの表示サイズを大きくする。
[Example 3]
FIG. 15 is a diagram illustrating a display example of a display object according to the third embodiment. As shown in FIG. 15, in the third embodiment, the display size of the display object included in the display data is increased with respect to the display object shown in FIG.
[実施例4]
図16は、実施例4の表示オブジェクトの表示例について示す図である。図16に示すように、実施例4では、表示オブジェクトは実施例1と同様にし、さらに表示オブジェクトの背景(表示データにおける表示オブジェクト以外の部分)を透明から色つきにする。なお、表示オブジェクトを実施例2または実施例3と同様にし、さらに表示オブジェクトの背景を透明から色つきにしてもよい。表示オブジェクトの背景の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が150nm以上離れた色、輝度の異なる色などである。
[Example 4]
FIG. 16 is a diagram illustrating a display example of the display object according to the fourth embodiment. As shown in FIG. 16, in the fourth embodiment, the display object is the same as in the first embodiment, and the background of the display object (the portion other than the display object in the display data) is changed from transparent to colored. The display object may be the same as in the second or third embodiment, and the background of the display object may be changed from transparent to colored. The background color of the display object is a color different from the display color of the display object, such as a complementary color, a color having a wavelength of 150 nm or more, or a color having a different luminance.
[実施例5]
図17は、実施例5の表示オブジェクトの表示例について示す図である。図17に示すように、実施例5では、表示オブジェクトは実施例1と同様にし、さらに表示オブジェクトの周辺の背景を透明から色つきにする。なお、表示オブジェクトを実施例2または実施例3と同様にし、さらに表示オブジェクトの周辺の背景を透明から色つきにしてもよい。表示オブジェクトの周辺の背景の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が150nm以上離れた色、輝度の異なる色などである。
[Example 5]
FIG. 17 is a diagram illustrating a display example of a display object according to the fifth embodiment. As shown in FIG. 17, in the fifth embodiment, the display object is the same as in the first embodiment, and the background around the display object is changed from transparent to colored. The display object may be the same as that in the second or third embodiment, and the background around the display object may be changed from transparent to colored. The background color around the display object is a color different from the display color of the display object, for example, a complementary color, a color having a wavelength of 150 nm or more, a color having a different luminance, or the like.
以上より、本発明によれば、外景の状況が変化しても、虚像の表示色を頻繁に変化させずかつ虚像の表示内容を複雑化させることなく、適切に虚像を認識させることができる。 As described above, according to the present invention, it is possible to appropriately recognize a virtual image without frequently changing the display color of the virtual image and complicating the display content of the virtual image even when the situation of the outside scene changes.
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上記実施の形態においては、映像の複雑さ度合いを色または輝度を用いて定義したが、これらの組み合わせであっても、他のパラメータを用い、または組み合わせることも可能である。 Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. In the above-described embodiment, the degree of complexity of the video is defined using color or luminance. However, it is also possible to use or combine other parameters even with these combinations.
1 自動車
4 表示データ生成部
5 映像データ取得部
6 範囲特定部
7 判定部
8 表示データ変更部
9 投射制御部
10 表示情報供給手段
11 前方カメラ
12 フロントガラス
13 ダッシュボード
14 ルームミラー
100 虚像表示装置
110 制御部
120 映像光投射部
140 反射部
160 コンバイナ
170 筐体
P 運転者
DESCRIPTION OF
Claims (8)
前記表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部と、
前記車両の前方の景色を撮影した映像データを取得する映像データ取得部と、
前記映像データにおいて前記虚像が重畳される範囲を特定する範囲特定部と、
前記範囲特定部において特定された範囲の映像データに対して、映像の複雑さ度合いを判定する判定部と、
前記判定部にて前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示色を維持し、前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った線を付加する表示データ変更部と、
を備えることを特徴とする、虚像表示装置。 A display data generation unit that generates display data to be displayed as a virtual image;
Video light projection unit that projects video light based on the display data as a virtual image ahead of the driver of the vehicle;
A video data acquisition unit that acquires video data of a scene in front of the vehicle;
A range specifying unit for specifying a range in which the virtual image is superimposed in the video data;
A determination unit that determines a degree of complexity of the video for the video data in the range specified by the range specifying unit;
When the determination unit determines that the complexity level of the video is relatively high with respect to a reference complexity level, the display color of the display object included in the display data is maintained, and the display object A display data changing unit for adding a line along the shape of the display object in a color different from the display color;
A virtual image display device comprising:
請求項1に記載の虚像表示装置。 When the determination unit determines that the degree of complexity of the video is relatively higher than a reference degree of complexity, the display data changing unit adds the display object to the display object included in the display data. Adding an outline along the shape of the display object in a color different from the display color of
The virtual image display device according to claim 1.
請求項1に記載の虚像表示装置。 When the determination unit determines that the degree of complexity of the video is relatively higher than a reference degree of complexity, the display data changing unit adds the display object to the display object included in the display data. Adding a center line along the shape of the display object in a color different from the display color of
The virtual image display device according to claim 1.
請求項2または3に記載の虚像表示装置。 The display data changing unit determines a display size of a display object included in the display data when the determination unit determines that the complexity level of the video is relatively higher than a reference complexity level. Enlarge,
The virtual image display device according to claim 2.
請求項1〜4のいずれか1項に記載の虚像表示装置。 The determination unit determines a degree of complexity of a video for each group of a plurality of adjacent pixels in the specified range of video data;
The virtual image display apparatus of any one of Claims 1-4.
請求項1〜4のいずれか1項に記載の虚像表示装置。 The determination unit determines the degree of complexity of the video based on a statistical distribution of at least one of color and luminance constituting the specified range of video data;
The virtual image display apparatus of any one of Claims 1-4.
前記表示データを生成するステップと、
前記車両の前方の景色を撮影した映像データを取得するステップと、
前記映像データにおいて特定された前記虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定するステップと、
前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示色を維持し、前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った線を付加するステップと、
を備えることを特徴とする虚像表示方法。 A virtual image display method using a virtual image display device including a video light projection unit that projects video light based on display data to be displayed as a virtual image as a virtual image in front of the driver of the vehicle,
Generating the display data;
Obtaining video data of a scene in front of the vehicle;
Determining the degree of complexity of video for video data in a range where the virtual image specified in the video data is superimposed;
When it is determined that the degree of complexity of the video is relatively higher than a reference degree of complexity, the display color of the display object included in the display data is maintained and is different from the display color of the display object Adding a line along the shape of the display object in color;
A virtual image display method comprising:
コンピュータに、
前記表示データを生成する処理手順と、
前記車両の前方の景色を撮影した映像データを取得する処理手順と、
前記映像データにおいて特定された前記虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定する処理手順と、
前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示色を維持し、前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った線を付加する処理手順と、
を実行させるための制御プログラム。 A control program for controlling a virtual image display device including a video light projection unit that projects video light based on display data to be displayed as a virtual image as a virtual image in front of the driver of the vehicle,
On the computer,
A processing procedure for generating the display data;
A processing procedure for acquiring video data of a scene in front of the vehicle;
A processing procedure for determining a degree of complexity of video for video data in a range in which the virtual image specified in the video data is superimposed;
When it is determined that the degree of complexity of the video is relatively higher than a reference degree of complexity, the display color of the display object included in the display data is maintained and is different from the display color of the display object A processing procedure for adding a line along the shape of the display object in color;
A control program to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016075538A JP6607128B2 (en) | 2016-04-05 | 2016-04-05 | Virtual image display device, virtual image display method, and control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016075538A JP6607128B2 (en) | 2016-04-05 | 2016-04-05 | Virtual image display device, virtual image display method, and control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017185878A JP2017185878A (en) | 2017-10-12 |
JP6607128B2 true JP6607128B2 (en) | 2019-11-20 |
Family
ID=60044604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016075538A Active JP6607128B2 (en) | 2016-04-05 | 2016-04-05 | Virtual image display device, virtual image display method, and control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6607128B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108180921B (en) * | 2017-12-22 | 2021-06-08 | 联创汽车电子有限公司 | AR-HUD navigation system using GPS data and navigation method thereof |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005138801A (en) * | 2003-11-10 | 2005-06-02 | Calsonic Kansei Corp | Head up display device |
JP2008304580A (en) * | 2007-06-06 | 2008-12-18 | Sharp Corp | Image display device |
JP2009274542A (en) * | 2008-05-14 | 2009-11-26 | Honda Motor Co Ltd | Head up display device |
JP5732184B2 (en) * | 2012-02-14 | 2015-06-10 | 京セラドキュメントソリューションズ株式会社 | Color image forming apparatus and image forming program |
JP2013203374A (en) * | 2012-03-29 | 2013-10-07 | Denso It Laboratory Inc | Display device for vehicle, control method therefor, and program |
WO2017138292A1 (en) * | 2016-02-09 | 2017-08-17 | 株式会社リコー | Image display apparatus and image display method |
-
2016
- 2016-04-05 JP JP2016075538A patent/JP6607128B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017185878A (en) | 2017-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108020923B (en) | Display device for vehicle | |
JP6175589B2 (en) | Projection display apparatus and projection display method | |
JP6409337B2 (en) | Display device | |
JP6535759B2 (en) | Head-up display system for vehicles | |
US10948716B2 (en) | Image display device and image display method | |
CN110967834B (en) | Display device, display control method, and storage medium | |
JP2009150947A (en) | Head-up display device for vehicle | |
US11009781B2 (en) | Display system, control device, control method, non-transitory computer-readable medium, and movable object | |
WO2017094427A1 (en) | Head-up display | |
JP6669053B2 (en) | Head-up display system | |
JP6194432B2 (en) | Projection type display device and light source control method thereof | |
CN110325893B (en) | Display device for vehicle | |
US11312301B2 (en) | Display apparatus, display method, and program | |
US11320652B2 (en) | Display device, object apparatus and display method | |
JP2017081456A (en) | Display device and display method | |
US20210168339A1 (en) | Display apparatus, display method, and program | |
JP6607128B2 (en) | Virtual image display device, virtual image display method, and control program | |
JP2019159216A (en) | On-vehicle display device, method for controlling on-vehicle display device, and computer program | |
JP2019162932A (en) | Image display device, movable body, image display method and program | |
JP6131392B2 (en) | Projection type display device and light source control method thereof | |
JP6051859B2 (en) | Image display device and image display method | |
JP2017227719A (en) | Vehicle-purpose display control device, vehicle-purpose display system, vehicle-purpose display control method and program | |
JP2017202762A (en) | Display image projection device and display image projection method | |
JP7058912B2 (en) | Head-up display device | |
WO2018139433A1 (en) | Vehicle display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6607128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |