JP6607128B2 - Virtual image display device, virtual image display method, and control program - Google Patents

Virtual image display device, virtual image display method, and control program Download PDF

Info

Publication number
JP6607128B2
JP6607128B2 JP2016075538A JP2016075538A JP6607128B2 JP 6607128 B2 JP6607128 B2 JP 6607128B2 JP 2016075538 A JP2016075538 A JP 2016075538A JP 2016075538 A JP2016075538 A JP 2016075538A JP 6607128 B2 JP6607128 B2 JP 6607128B2
Authority
JP
Japan
Prior art keywords
display
virtual image
video
color
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016075538A
Other languages
Japanese (ja)
Other versions
JP2017185878A (en
Inventor
領平 須永
朋子 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2016075538A priority Critical patent/JP6607128B2/en
Publication of JP2017185878A publication Critical patent/JP2017185878A/en
Application granted granted Critical
Publication of JP6607128B2 publication Critical patent/JP6607128B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、車両用の虚像表示装置、虚像表示方法および制御プログラムに関する。
に関する。
The present invention relates to a virtual image display device for vehicles, a virtual image display method, and a control program.
About.

近年では、ナビゲーション情報や走行速度など、車両の運行に関する情報を車両のウィンドシールドに表示させる車両用の虚像表示装置としてのヘッドアップデイスプレイ(以下、HUDと称す)が知られている。特許文献1には、自車の前方における景色(外景)の画像を撮影し、当該画像における虚像の表示部分の近傍に存在する前走車の色に基づいて当該虚像の表示色を設定するHUDが記載されている。また、特許文献2には、外景と表示させる虚像とのコントラスト比を考慮して当該虚像の表示色を決定するHUDが記載されている。   In recent years, a head-up display (hereinafter referred to as HUD) is known as a virtual image display device for a vehicle that displays information related to vehicle operation such as navigation information and traveling speed on a windshield of the vehicle. Patent Document 1 discloses a HUD that captures an image of a scene (outside scene) in front of the vehicle and sets the display color of the virtual image based on the color of the preceding vehicle existing in the vicinity of the virtual image display portion in the image. Is described. Patent Document 2 describes a HUD that determines the display color of a virtual image in consideration of the contrast ratio between the outside scene and the virtual image to be displayed.

特開2009−274542号公報JP 2009-274542 A 特開2015−134521号公報JP2015-134521A

HUDによる虚像は、車両の運転中に運転者の視野に入るものであるため、当該虚像は、運転者が適切に認識できるよう、明瞭に表示されるとともに簡素な表示であることが求められる。しかしながら、特許文献1および2に記載のHUDに関する技術のように、HUDによる虚像の表示色を外景の色調や外景と虚像とのコントラスト比に基づいて変化させると、外景が目まぐるしく変わるような状況では虚像の表示色が頻繁に変化することになり煩わしい。   Since the virtual image by the HUD enters the driver's field of view while driving the vehicle, the virtual image is required to be clearly displayed and simple so that the driver can appropriately recognize it. However, as in the technique related to HUD described in Patent Documents 1 and 2, when the display color of the virtual image by HUD is changed based on the color tone of the outside scene and the contrast ratio between the outside scene and the virtual image, the situation where the outside scene changes rapidly. The display color of the virtual image changes frequently, which is troublesome.

本発明は、以上の問題点に鑑みなされたものであり、本発明は、外景の状況が変化しても、虚像の表示色を頻繁に変化させずかつ虚像の表示内容を複雑化させることなく、適切に虚像を認識させることができる虚像表示装置を提供することを目的とする。   The present invention has been made in view of the above problems, and the present invention does not frequently change the display color of the virtual image and complicate the display contents of the virtual image even when the situation of the outside scene changes. An object of the present invention is to provide a virtual image display device that can appropriately recognize a virtual image.

上述した課題を解決するために、本発明にかかる虚像表示装置は、虚像として表示する表示データを生成する表示データ生成部と、表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部と、車両の前方の景色を撮影した映像データを取得する映像データ取得部と、映像データにおいて虚像が重畳される範囲を特定する範囲特定部と、範囲特定部において特定された範囲の映像データに対して、映像の複雑さ度合いを判定する判定部と、判定部にて映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加する表示データ変更部と、を備えることを特徴とする。   In order to solve the above-described problems, a virtual image display device according to the present invention projects a display data generation unit that generates display data to be displayed as a virtual image, and image light based on the display data as a virtual image in front of the driver of the vehicle. Specified in the range specifying unit, the range specifying unit for specifying the range where the virtual image is superimposed on the video data, and the range specifying unit Display for the video data in the range when the determination unit determines the degree of complexity of the image and the determination unit determines that the degree of complexity of the image is relatively higher than the reference complexity level. A display data changing unit that maintains a display color of the display object included in the data and adds a line along the shape of the display object in a color different from the display color of the display object. And wherein the Rukoto.

上述した課題を解決するために、本発明にかかる虚像表示方法は、虚像として表示する表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部を備える虚像表示装置を用いた虚像表示方法であって、表示データを生成するステップと、車両の前方の景色を撮影した映像データを取得するステップと、映像データにおいて特定された虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定するステップと、映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加するステップと、を備えることを特徴とする。   In order to solve the above-described problems, a virtual image display method according to the present invention includes a virtual image display device including a video light projection unit that projects video light based on display data to be displayed as a virtual image as a virtual image in front of the driver of the vehicle. The virtual image display method used includes a step of generating display data, a step of acquiring video data obtained by photographing a scene in front of the vehicle, and a range of video data in which a virtual image specified in the video data is superimposed Determining the degree of complexity of the video, and maintaining the display color of the display object included in the display data when the degree of complexity of the video is determined to be relatively higher than the standard complexity level. And adding a line along the shape of the display object with a color different from the display color of the display object.

上述した課題を解決するために、本発明にかかる制御プログラムは、虚像として表示する表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部を備える虚像表示装置を制御する制御プログラムであって、コンピュータに、表示データを生成する処理手順と、車両の前方の景色を撮影した映像データを取得する処理手順と、映像データにおいて特定された虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定する処理手順と、映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加する処理手順と、を実行させるためのものである。   In order to solve the above-described problem, a control program according to the present invention controls a virtual image display device including a video light projection unit that projects video light based on display data to be displayed as a virtual image as a virtual image in front of the driver of the vehicle. A processing program for generating display data, a processing procedure for acquiring video data obtained by capturing a scene in front of the vehicle, and a video in a range in which a virtual image specified in the video data is superimposed The processing procedure for determining the degree of complexity of the image for the data and the display object included in the display data when the degree of complexity of the image is determined to be relatively higher than the reference complexity A processing procedure for maintaining the display color and adding a line along the shape of the display object in a color different from the display color of the display object. It is those of.

本発明は、   The present invention

本発明によれば、外景の状況が変化しても、虚像の表示色を頻繁に変化させずかつ虚像の表示内容を複雑化させることなく、適切に虚像を認識させることができる。   According to the present invention, it is possible to appropriately recognize a virtual image without changing the display color of the virtual image frequently and without complicating the display content of the virtual image even when the situation of the outside scene changes.

本実施の形態にかかる虚像表示装置の概略構成を模式的に示す図である。It is a figure which shows typically schematic structure of the virtual image display apparatus concerning this Embodiment. 本実施の形態にかかる虚像表示装置において、車両の運転者に視認される、ウィンドシールドに投影された映像光の一例を示す図である。It is a figure which shows an example of the image light projected on the windshield visually recognized by the driver | operator of a vehicle in the virtual image display apparatus concerning this Embodiment. 本実施の形態にかかる虚像表示装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the virtual image display apparatus concerning this Embodiment. 映像データ取得部が取得した車両前方の景色の映像データにおいて虚像が重畳される範囲の例を示す図である。It is a figure which shows the example of the range where a virtual image is superimposed in the video data of the scenery ahead of the vehicle which the video data acquisition part acquired. 映像データにおける色調分布の例を示すヒストグラムである。It is a histogram which shows the example of the color tone distribution in video data. 映像データにおける色調分布の他の例を示すヒストグラムである。It is a histogram which shows the other example of the color tone distribution in video data. 映像データにおける色調分布のさらに他の例を示すヒストグラムである。It is a histogram which shows the further another example of the color tone distribution in video data. 映像データにおける輝度分布の例を示すヒストグラムである。It is a histogram which shows the example of the luminance distribution in video data. 映像データにおける輝度分布の他の例を示すヒストグラムである。It is a histogram which shows the other example of the luminance distribution in video data. 映像データにおける輝度分布のさらに他の例を示すヒストグラムである。It is a histogram which shows the further another example of the luminance distribution in video data. 特定された範囲の映像データにおける隣接した複数の画素からなるグループを示す図である。It is a figure which shows the group which consists of a some adjacent pixel in the video data of the specified range. 通常時における、表示させる虚像の表示データに含まれる表示オブジェクト(表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加しない表示オブジェクト)の例を示す図である。It is a figure which shows the example of the display object (The display object which does not add the line along the shape of a display object with the color different from the display color of a display object) contained in the display data of the virtual image to display in normal time. 実施例1の表示オブジェクトの表示例について示す図である。6 is a diagram illustrating a display example of a display object according to the first embodiment. FIG. 実施例2の表示オブジェクトの表示例について示す図である。FIG. 10 is a diagram illustrating a display example of a display object according to the second embodiment. 実施例3の表示オブジェクトの表示例について示す図である。FIG. 10 is a diagram illustrating a display example of a display object according to the third embodiment. 実施例4の表示オブジェクトの表示例について示す図である。FIG. 10 is a diagram illustrating a display example of a display object according to a fourth embodiment. 実施例5の表示オブジェクトの表示例について示す図である。FIG. 10 is a diagram illustrating a display example of a display object according to a fifth embodiment.

以下、図面を参照して本発明の実施の形態について説明する。
本発明の実施の形態にかかる、車両用の虚像表示装置はヘッドアップディスプレイ装置である。まず、虚像表示装置100の概略構成について説明する。
図1は、本実施の形態にかかる虚像表示装置100の構成を模式的に示す側面図である。図1に示すように、虚像表示装置100は、制御部110と、映像光投射部120と、反射部140と、コンバイナ160と、筐体170とを備えている。
Embodiments of the present invention will be described below with reference to the drawings.
A virtual image display device for a vehicle according to an embodiment of the present invention is a head-up display device. First, a schematic configuration of the virtual image display device 100 will be described.
FIG. 1 is a side view schematically showing a configuration of a virtual image display device 100 according to the present embodiment. As shown in FIG. 1, the virtual image display device 100 includes a control unit 110, an image light projection unit 120, a reflection unit 140, a combiner 160, and a housing 170.

映像光投射部120は、車両の運転者前方に映像光L1を投射するプロジェクタを有している。映像光投射部120は投射映像に応じた映像光L1を、反射部140に向けて出射する、図1の例においては、後方斜め上方向に出射する。映像光投射部120の後方斜め上方向には、反射部140が配置されている。したがって、映像光投射部120からの映像光L1は、反射部140に入射する。映像光投射部120は、表示信号に応じて、映像光L1を投射する。   The image light projection unit 120 includes a projector that projects the image light L1 in front of the driver of the vehicle. The image light projection unit 120 emits image light L1 corresponding to the projection image toward the reflection unit 140, and in the example of FIG. A reflection unit 140 is disposed in the obliquely upward direction behind the image light projection unit 120. Therefore, the image light L1 from the image light projection unit 120 enters the reflection unit 140. The video light projection unit 120 projects the video light L1 according to the display signal.

反射部140は、映像光投射部120からの映像光L1を反射する。反射部140は、凹面鏡などを有しており、映像光L1を拡大する。反射部140は、映像光L1をコンバイナ160などの虚像投影面方向に反射する。図1の例においては、前方斜め上方向に向けて反射する。反射部140の前方斜め上方向には、コンバイナ160が配置されている。したがって、反射部140で反射した映像光L1は、コンバイナ160に入射する。なお、反射部140には、反射部140を駆動することで映像光L1の反射光路を変更する、サーボモータやギヤ等などの光路変更部が取り付けられていてもよい。   The reflection unit 140 reflects the image light L1 from the image light projection unit 120. The reflection unit 140 includes a concave mirror and the like, and expands the image light L1. The reflection unit 140 reflects the image light L1 in the direction of the virtual image projection plane such as the combiner 160. In the example of FIG. 1, it reflects toward the diagonally upward front direction. A combiner 160 is arranged in the diagonally upward direction of the reflection unit 140. Therefore, the image light L <b> 1 reflected by the reflecting unit 140 enters the combiner 160. The reflection unit 140 may be provided with an optical path changing unit such as a servo motor or a gear that changes the reflection optical path of the image light L1 by driving the reflection unit 140.

コンバイナ160は、入射した映像光L1の一部を反射して、虚像を表示させる。したがって、コンバイナ160で反射した映像光L1は観察者の眼に入射する。図2に示すように、虚像表示装置100が自動車1のダッシュボード13上に設置された場合には、フロントガラス12を透過した外界からの外光L2と虚像表示装置100からの映像光L1とがオーバーレイ(重畳)し、運転者Pの視界には車両の前方の景色(外景)と虚像表示装置100によって生成等された虚像とが同時に見えることになる。
本発明を適用する虚像表示装置は、図1に示すようなコンバイナ160を用いた虚像表示装置100に加えて、コンバイナを用いずに車両のフロントガラスを虚像投影面とする虚像表示装置であってもよい。
The combiner 160 reflects a part of the incident video light L1 to display a virtual image. Therefore, the image light L1 reflected by the combiner 160 enters the observer's eyes. As shown in FIG. 2, when the virtual image display device 100 is installed on the dashboard 13 of the automobile 1, the external light L <b> 2 from the outside that has passed through the windshield 12 and the video light L <b> 1 from the virtual image display device 100. Are superimposed (superimposed), and the scenery in front of the vehicle (outside scene) and the virtual image generated by the virtual image display device 100 can be simultaneously seen in the field of view of the driver P.
The virtual image display device to which the present invention is applied is a virtual image display device that uses a windshield of a vehicle as a virtual image projection plane without using a combiner, in addition to the virtual image display device 100 using a combiner 160 as shown in FIG. Also good.

なお、以下の説明では、虚像表示装置100が自動車1のダッシュボード13上に置かれている状態での方向を基準に説明する。すなわち、自動車1の方向を基準の方向とする。例えば、フロントガラス12側を前方として、運転者P側を後方として説明する。同様に、自動車1のルーフ側を上方とし、地面側を下方とし、自動車1の横方向(左右方向)を側方として説明する。   In the following description, a description will be given based on a direction in a state where the virtual image display device 100 is placed on the dashboard 13 of the automobile 1. That is, the direction of the automobile 1 is set as a reference direction. For example, the front glass 12 side will be described as the front, and the driver P side will be described as the rear. Similarly, the description will be made with the roof side of the automobile 1 as the upper side, the ground side as the lower side, and the lateral direction (left-right direction) of the automobile 1 as the side.

次に、虚像表示装置100の制御構成について説明する。
図3は、虚像表示装置100の制御構成を示すブロック図である。図3に示すように、制御部110は、表示データ生成部4と、映像データ取得部5と、範囲特定部6と、判定部7と、表示データ変更部8と、投射制御部9と、を備えている。なお、制御部110は、CPU、ROM、RAM等を含むコンピュータなどである。
Next, the control configuration of the virtual image display device 100 will be described.
FIG. 3 is a block diagram showing a control configuration of the virtual image display device 100. As shown in FIG. 3, the control unit 110 includes a display data generation unit 4, a video data acquisition unit 5, a range specification unit 6, a determination unit 7, a display data change unit 8, a projection control unit 9, It has. The control unit 110 is a computer including a CPU, a ROM, a RAM, and the like.

表示データ生成部4は、CAN(Controller Area Network)やナビゲーションシステムなどの表示情報供給手段10からの表示情報に基づいて虚像として表示する表示データを生成する。映像データ取得部5は、撮像手段としての前方カメラ11により車両前方の景色を撮影した映像データを取得する。前方カメラ11は、運転者から見える車両前方の景色を撮影することができる任意の位置に配置される。例えば、図2に示すように、前方カメラ11は、自車のフロントガラス12の上部付近のルームミラー14の裏側など、車両前方を撮影可能な位置に設置される。なお、前方カメラ11は、虚像表示装置100に一体的に配置されてもよい。   The display data generation unit 4 generates display data to be displayed as a virtual image based on display information from the display information supply means 10 such as a CAN (Controller Area Network) or a navigation system. The video data acquisition unit 5 acquires video data obtained by capturing a scene in front of the vehicle with the front camera 11 as an imaging unit. The front camera 11 is arranged at an arbitrary position where a scene in front of the vehicle seen from the driver can be taken. For example, as shown in FIG. 2, the front camera 11 is installed at a position where the front of the vehicle can be photographed, such as the back side of the rear mirror 14 near the top of the windshield 12 of the host vehicle. Note that the front camera 11 may be integrally disposed on the virtual image display device 100.

範囲特定部6は、映像データ取得部5が取得した映像データにおいて虚像が重畳される範囲を特定する。判定部7は、範囲特定部6において特定された範囲の映像データに対して、映像の複雑さ度合いを判定する。具体的な判定方法は後述する。表示データ変更部8は、判定部7にて映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データに含まれる表示オブジェクトの表示色を維持し、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加する。   The range specifying unit 6 specifies a range in which a virtual image is superimposed in the video data acquired by the video data acquiring unit 5. The determination unit 7 determines the degree of video complexity for the video data in the range specified by the range specifying unit 6. A specific determination method will be described later. The display data changing unit 8 maintains the display color of the display object included in the display data when the determining unit 7 determines that the degree of complexity of the video is relatively higher than the reference degree of complexity. A line along the shape of the display object is added in a color different from the display color of the display object.

映像光投射部120は、光を発生する光源121と、表示データに応じて光源で発生した光を変調する光変調素子などの投射画像表示部122、光を投射する投射レンズなどの光学部123を有している。例えば、光変調素子である液晶パネルがバックライト光源からの光を変調する。あるいは、光変調素子として、MEMS(Micro Electronics Mechanical System)ミラー等の走査ミラーを用いることができる。この場合、レーザダイオードやLED(Light Emitting Diode)などの光源からの光を、表示信号に応じて走査ミラーが走査する。投射制御部9は、映像光投射部120の光源121および投射画像表示部122を制御する。   The image light projection unit 120 includes a light source 121 that generates light, a projection image display unit 122 such as a light modulation element that modulates light generated by the light source according to display data, and an optical unit 123 such as a projection lens that projects light. have. For example, a liquid crystal panel that is a light modulation element modulates light from a backlight light source. Alternatively, a scanning mirror such as a MEMS (Micro Electronics Mechanical System) mirror can be used as the light modulation element. In this case, the scanning mirror scans light from a light source such as a laser diode or an LED (Light Emitting Diode) according to a display signal. The projection control unit 9 controls the light source 121 and the projection image display unit 122 of the video light projection unit 120.

制御部110における各処理は、コンピュータなどにプログラムを実行させることによって実現できる。より具体的には、制御部110において、プログラムメモリに格納されたプログラムを主記憶装置にロードし、CPUの制御によって当該プログラムを実行して実現する。また、制御部110は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。   Each process in the control unit 110 can be realized by causing a computer or the like to execute a program. More specifically, in the control unit 110, the program stored in the program memory is loaded into the main storage device, and the program is executed under the control of the CPU. The control unit 110 is not limited to being realized by software by a program, and may be realized by any combination of hardware, firmware, and software.

また、制御部110において実現される各機能は、虚像表示装置100として単独の装置における制御部であってもよく、虚像表示装置100と連携した他の装置における制御部を用いてもよい。例えば、虚像表示装置100が単に受け取った映像データを表示するのみである構成の場合、制御部110における投射制御部9が虚像表示装置100の制御部によって実現され、他の各機能は、車両のカメラや表示画像を制御する他の装置で実現される。このような場合、虚像表示装置は虚像表示システムと言い換え可能である。   Each function realized in the control unit 110 may be a control unit in a single device as the virtual image display device 100, or may use a control unit in another device linked to the virtual image display device 100. For example, when the virtual image display device 100 merely displays the received video data, the projection control unit 9 in the control unit 110 is realized by the control unit of the virtual image display device 100, and other functions are This is realized by a camera or another device that controls a display image. In such a case, the virtual image display device can be rephrased as a virtual image display system.

上述したように、運転者から見える車両前方の景色には、虚像表示装置100によって生成等された虚像が重畳される。図4は、映像データ取得部5(図3参照)が取得した車両前方の景色の映像データにおいて虚像が重畳される範囲の例を示す図である。図4に示すように、破線で囲んだ範囲(虚像重畳範囲A、B、C)が、映像データにおいて虚像が重畳される範囲である。   As described above, the virtual image generated by the virtual image display device 100 is superimposed on the scenery in front of the vehicle seen from the driver. FIG. 4 is a diagram illustrating an example of a range in which a virtual image is superimposed in the video data of the scenery in front of the vehicle acquired by the video data acquisition unit 5 (see FIG. 3). As shown in FIG. 4, ranges (virtual image superimposing ranges A, B, and C) surrounded by broken lines are ranges in which virtual images are superimposed on video data.

運転者の目の位置は運転者の座高や運転姿勢等によって変わるので、虚像表示装置100では、運転者から見える車両前方の景色において虚像を重畳させる範囲を変更できるようにしてもよい。このようにした場合、運転者から見える車両前方の景色における虚像を重畳させる範囲の変更に伴って、映像データにおいて虚像が実際に重畳されている範囲も変更される。範囲特定部6では、範囲特定部6で特定する、映像データにおいて虚像が重畳される範囲を、運転者から見える車両前方の景色において虚像を重畳させる範囲の設定と整合させるようにしてもよい。つまり、範囲特定部6で特定する、映像データにおいて虚像が重畳される範囲を、映像データにおいて虚像が実際に重畳されている範囲と一致させる。図4に示される虚像重畳範囲A、Bは、運転者から見える車両前方の景色において虚像を重畳させる範囲の設定と整合させるようにしたときの、映像データにおける虚像が重畳される範囲の例である。このようにすると、表示データ変更部8(図3参照)にて表示オブジェクトの形状に沿った線を付加するタイミングをより適切に判断することができる。   Since the position of the driver's eyes changes depending on the driver's sitting height, driving posture, and the like, the virtual image display device 100 may be configured to change the range in which the virtual image is superimposed in the scenery in front of the vehicle seen from the driver. In such a case, the range in which the virtual image is actually superimposed in the video data is also changed in accordance with the change in the range in which the virtual image in the scenery in front of the vehicle seen from the driver is superimposed. The range specifying unit 6 may match the range in which the virtual image is superimposed in the video data specified by the range specifying unit 6 with the setting of the range in which the virtual image is superimposed in the scenery in front of the vehicle seen from the driver. That is, the range in which the virtual image is superimposed on the video data specified by the range specifying unit 6 is matched with the range in which the virtual image is actually superimposed on the video data. The virtual image superimposing ranges A and B shown in FIG. 4 are examples of ranges in which virtual images in video data are superimposed when matching the setting of the range in which the virtual image is superimposed in the scenery in front of the vehicle seen from the driver. is there. In this way, the display data changing unit 8 (see FIG. 3) can more appropriately determine the timing for adding a line along the shape of the display object.

これに対し、範囲特定部6(図3参照)において、虚像重畳範囲A、Bなど特定の運転者向けの設定範囲のいずれをもカバーできる、映像データにおける虚像が重畳される範囲が予め設定されていてもよい。図4に示される虚像重畳範囲Cは、特定の運転者向けの設定範囲のいずれをもカバーできる、映像データにおける虚像が重畳される範囲の例である。範囲特定部6で特定する、映像データにおいて虚像が重畳される範囲を、虚像重畳範囲Cに設定すると、運転者から見える車両前方の景色において虚像を重畳させる範囲がどのように設定されていても、虚像重畳範囲Cの範囲内に虚像を収めることができる。このようにすると、運転者から見える車両前方の景色における虚像を重畳させる範囲の変更に伴って、映像データにおいて虚像が実際に重畳されている範囲をいちいち変更する必要がない。   On the other hand, in the range specifying unit 6 (see FIG. 3), a range in which the virtual image in the video data is superimposed, which can cover any of the setting ranges for the specific driver such as the virtual image superimposing ranges A and B, is set in advance. It may be. A virtual image superimposing range C shown in FIG. 4 is an example of a range in which a virtual image in video data is superposed, which can cover any setting range for a specific driver. When the range in which the virtual image is superimposed in the video data specified by the range specifying unit 6 is set as the virtual image superimposing range C, no matter how the range in which the virtual image is superimposed in the scenery in front of the vehicle seen from the driver is set. The virtual image can be contained within the range of the virtual image superimposing range C. In this way, it is not necessary to change the range in which the virtual image is actually superimposed in the video data in accordance with the change in the range in which the virtual image in the scenery in front of the vehicle seen from the driver is superimposed.

ここで、範囲特定部6(図3参照)において特定された範囲の映像データに対して、判定部7(図3参照)が映像の複雑さ度合いを判定する方法について説明する。
判定部7は、範囲特定部6において特定された範囲内の映像データに対し、構成する色調または輝度の統計分布(ヒストグラム)に基づいて当該特定された範囲内の映像データの複雑さ度合いを判定する。
Here, a description will be given of a method in which the determination unit 7 (see FIG. 3) determines the degree of complexity of the video with respect to the video data in the range specified by the range specifying unit 6 (see FIG. 3).
The determination unit 7 determines the degree of complexity of the video data within the specified range based on the statistical distribution (histogram) of the color tone or luminance of the video data within the range specified by the range specifying unit 6. To do.

図5から図7は、映像データにおける色調分布の例を示すヒストグラムである。このヒストグラムは、横軸に光の波長(右へいくほど波長が高い)、縦軸に波長ごとの画素数を積み上げたグラフである。つまり、映像データにおいて、波長の低い色の成分が多いほどグラフの左寄りに積み上げられ、波長の高い色の成分が多いほどグラフの右寄りに積み上げられて表示される。   5 to 7 are histograms showing examples of the color tone distribution in the video data. This histogram is a graph in which the horizontal axis indicates the wavelength of light (the wavelength increases as it goes to the right), and the vertical axis indicates the number of pixels for each wavelength. In other words, in the video data, as the color component having a lower wavelength increases, it is stacked on the left side of the graph, and as the color component having a higher wavelength increases, it is displayed on the right side of the graph.

図5に示すヒストグラムでは、色の波長の大きなピークが1つである(ピークがある色の波長の近傍に集中している)。図5に示す例のように色の波長の大きなピークが1つである場合を、複雑さ度合いの基準とする。範囲特定部6(図3参照)において特定された範囲の映像データの色調分布のヒストグラムが図5に示すような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加しない。   In the histogram shown in FIG. 5, there is one large peak of the color wavelength (the peak is concentrated in the vicinity of the wavelength of the certain color). A case where there is one large wavelength wavelength peak as in the example shown in FIG. When the histogram of the color tone distribution of the video data in the range specified by the range specifying unit 6 (see FIG. 3) is as shown in FIG. 5, the display object in the display data displayed as a virtual image conforms to the shape of the display object. Do not add a line.

図5に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する色が単色または同系色の割合が多い状態を示している。このような映像データに対応する外景を背景とした場合は、虚像の認識に困難性は無い。図5に示すヒストグラムのピーク近傍の色と、虚像の表示オブジェクトの色とが近接する場合は、虚像の表示オブジェクトの色を変更することで、適切に虚像を認識させることができる。   The histogram shown in FIG. 5 shows a state in which the color constituting the video data within the range specified by the range specifying unit 6 has a large proportion of single colors or similar colors. When the background corresponding to such video data is used as a background, there is no difficulty in recognizing a virtual image. If the color near the peak of the histogram shown in FIG. 5 and the color of the virtual image display object are close to each other, the virtual image can be appropriately recognized by changing the color of the virtual image display object.

具体例としては、範囲特定部6において特定された範囲内の映像データに、図5に示すような例として、波長600nm前後である橙色および橙色近傍の色で構成される背景、例えば大型車両の後面が撮影されている場合、虚像の表示オブジェクトの色が橙色または橙色の近傍の色以外であれば、虚像の認識に困難性は無い。   As a specific example, the image data within the range specified by the range specifying unit 6 is used as an example as shown in FIG. 5, for example, a background composed of orange and near-orange colors having a wavelength of around 600 nm, such as a large vehicle. When the rear surface is photographed, there is no difficulty in recognizing the virtual image if the color of the display object of the virtual image is other than orange or a color close to orange.

図6に示すヒストグラムでは、色の波長の大きなピークが2つである。図6に示す例のように色の波長の大きなピークが2つ以上である場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。   In the histogram shown in FIG. 6, there are two large peaks of the color wavelength. When there are two or more peaks having a large color wavelength as in the example shown in FIG. 6, it is determined that the degree of complexity is relatively higher than the reference degree of complexity. In such a case, a line along the shape of the display object is added to the display object in the display data displayed as a virtual image.

図6に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する色が、複数色または複数の色の同系色の割合が多い状態を示している。このような映像データに対応する外景を背景とした場合は、虚像の表示オブジェクトの色が、図6に示すヒストグラムのピークの色またはピーク近傍の色と同一または近接した色となる可能性が高い。図6に示す例は、ピークが2つであるが、さらにピークの数が多い場合は特に顕著である。このような場合は、虚像の表示オブジェクトの一部分または全体の視認性が悪化する。   The histogram shown in FIG. 6 shows a state in which the color constituting the video data within the range specified by the range specifying unit 6 has a high ratio of a plurality of colors or similar colors of a plurality of colors. When the background corresponding to such video data is used as the background, the color of the virtual image display object is likely to be the same as or close to the peak color of the histogram shown in FIG. . The example shown in FIG. 6 has two peaks, but this is particularly remarkable when the number of peaks is larger. In such a case, the visibility of a part or the whole of the virtual image display object deteriorates.

具体例としては、範囲特定部6において特定された範囲内の映像データに、図6に示すような例として、波長550nm前後である緑色および緑色近傍の色、および波長750nm前後の赤色および赤色近傍の色で構成される背景の場合である。このような場合、虚像の表示オブジェクト全体の色が背景色と異なる色である可能性は低くなる。例えば、範囲特定部6において特定された範囲に対応する外景に、緑色をおよび緑色近傍の色を中心とした森林等と赤色の車両が含まれている場合や、大型車両の後面に緑色と赤色によって構成された彩色が施されている場合などである。   As a specific example, the video data within the range specified by the range specifying unit 6 includes, as an example as shown in FIG. 6, green and a color in the vicinity of green having a wavelength of around 550 nm, and a red and red in the vicinity of wavelength of 750 nm. This is the case of a background composed of colors. In such a case, the possibility that the color of the entire virtual image display object is different from the background color is low. For example, when the outside scene corresponding to the range specified by the range specifying unit 6 includes a green or green forest and a red vehicle centered on a color near green and green, or the green and red on the rear surface of the large vehicle This is the case where the coloring constituted by is applied.

図7に示すヒストグラムでは、特定の色の波長において大きなピークは存在せず、色の波長が広範囲に分布している。図7に示す例のように色の波長が広範囲に分布している場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。   In the histogram shown in FIG. 7, there is no large peak at a specific color wavelength, and the color wavelength is distributed over a wide range. When the color wavelength is distributed over a wide range as in the example shown in FIG. 7, it is determined that the degree of complexity is relatively higher than the reference degree of complexity. In such a case, a line along the shape of the display object is added to the display object in the display data displayed as a virtual image.

図7に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する色が、多数の色で構成されている状態を示す。このような映像データに対応する外景を背景とした場合は、虚像の表示オブジェクトの色が単色または複数の色で構成されていても、高い確率で図7に示すヒストグラムの範囲の色と同一または近接した色となる。図7に示すヒストグラムは、図6に示すヒストグラムの複数のピークがさらに多数存在するものと同様でもある。   The histogram shown in FIG. 7 shows a state in which the colors constituting the video data within the range specified by the range specifying unit 6 are composed of many colors. When the background corresponding to such video data is used as the background, even if the color of the display object of the virtual image is composed of a single color or a plurality of colors, it is the same as the color in the histogram range shown in FIG. Close color. The histogram shown in FIG. 7 is similar to the histogram shown in FIG. 6 in which a plurality of peaks exist.

具体例としては、範囲特定部6において特定された範囲内の映像データに、図7に示すような例として、波長480nm前後である青緑色から波長750nm前後の赤色まで、多くの色が存在している場合である。例えば、範囲特定部6において特定された範囲に対応する外景に、様々な色の物体や車両が含まれている場合や、大型車両の後面に多くの色によって構成された彩色が施されている場合などである。   As a specific example, there are many colors in video data within the range specified by the range specifying unit 6 from blue-green having a wavelength of about 480 nm to red having a wavelength of about 750 nm as shown in FIG. It is a case. For example, when the outside scene corresponding to the range specified by the range specifying unit 6 includes objects or vehicles of various colors, the rear surface of the large vehicle is colored with many colors. Such as the case.

図8から図10は、映像データにおける輝度分布の例を示すヒストグラムである。このヒストグラムは、横軸に輝度(右へいくほど輝度が高い)、縦軸に輝度ごとの画素数を積み上げたグラフである。つまり、映像データにおいて、暗い成分が多いほどグラフの左寄りに積み上げられ、明るい成分が多いほどグラフの右寄りに積み上げられて表示される。   8 to 10 are histograms showing examples of the luminance distribution in the video data. This histogram is a graph in which the horizontal axis represents luminance (the luminance increases toward the right) and the vertical axis represents the number of pixels for each luminance. In other words, in the video data, the darker component is stacked on the left side of the graph, and the brighter component is displayed on the right side of the graph.

図8に示すヒストグラムでは、輝度の大きなピークが1つである(ピークがある輝度の近傍に集中している)。図8に示す例のように輝度の大きなピークが1つである場合を、複雑さ度合いの基準とする。範囲特定部6(図3参照)において特定された範囲の映像データの輝度分布のヒストグラムが図8に示すような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加しない。   In the histogram shown in FIG. 8, there is one peak having a large luminance (the peak is concentrated in the vicinity of a certain luminance). A case where there is one peak having a large luminance as in the example shown in FIG. When the histogram of the luminance distribution of the video data in the range specified by the range specifying unit 6 (see FIG. 3) is as shown in FIG. 8, the display object in the display data displayed as a virtual image conforms to the shape of the display object. Do not add a line.

図8に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する画素の輝度が全体的に均一な輝度であることを示している。このような映像データに対応する外景を背景とした場合は、虚像の認識に困難性は無い。   The histogram shown in FIG. 8 indicates that the luminance of the pixels constituting the video data within the range specified by the range specifying unit 6 is uniform throughout. When the background corresponding to such video data is used as a background, there is no difficulty in recognizing a virtual image.

具体例としては、範囲特定部6において特定された範囲内の映像データを構成する1画素の輝度が8ビット(輝度値:0〜255)で表される場合、図8に示すような例として、構成色を問わず輝度値が100から150前後など、狭い範囲に集中している場合は、虚像の認識に困難性は無い。   As a specific example, when the luminance of one pixel constituting the video data within the range specified by the range specifying unit 6 is represented by 8 bits (brightness value: 0 to 255), as shown in FIG. When the luminance values are concentrated in a narrow range such as around 100 to 150 regardless of the constituent colors, there is no difficulty in recognizing a virtual image.

図9に示すヒストグラムでは、輝度の大きなピークが2つである。図9に示す例のように輝度の大きなピークが2つ以上である場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。   In the histogram shown in FIG. 9, there are two peaks with large luminance. When there are two or more peaks with large luminance as in the example shown in FIG. 9, it is determined that the degree of complexity is relatively higher than the reference degree of complexity. In such a case, a line along the shape of the display object is added to the display object in the display data displayed as a virtual image.

図9に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する画素の輝度が複数の輝度値を中心とした分布となっていることを示す。このような映像データに対応する外景を背景とした場合、複数のピークに対する輝度値の差により、虚像の視認性が悪化する。   The histogram shown in FIG. 9 indicates that the luminance of the pixels constituting the video data within the range specified by the range specifying unit 6 has a distribution centered on a plurality of luminance values. When an outside scene corresponding to such video data is used as a background, the visibility of a virtual image is deteriorated due to a difference in luminance values with respect to a plurality of peaks.

具体例としては、範囲特定部6において特定された範囲内の映像データを構成する1画素の輝度が8ビット(輝度値:0〜255)で表される場合、図9に示すような例として、構成色を問わず輝度値が100前後のピークと輝度値が200前後のピークがある。例えば、範囲特定部6において特定された範囲に対応する外景に、陽光の当たった森林や、道路と自動車、コントラストの高い複数の配色を備えた大型車両の後面などである。   As a specific example, when the luminance of one pixel constituting the video data within the range specified by the range specifying unit 6 is represented by 8 bits (brightness value: 0 to 255), as shown in FIG. Regardless of the constituent color, there is a peak with a luminance value around 100 and a peak with a luminance value around 200. For example, the outside scene corresponding to the range specified by the range specifying unit 6 is a forest with sunlight, a road and a car, the rear surface of a large vehicle having a plurality of high-contrast color schemes, and the like.

図10に示すヒストグラムでは、特定の輝度において大きなピークは存在せず、輝度が広範囲に分布している。図10に示す例のように輝度が広範囲に分布している場合には、基準とする複雑さ度合いに対し複雑さ度合いが相対的に高いと判断する。このような場合、虚像として表示する表示データにおける表示オブジェクトに対して表示オブジェクトの形状に沿った線は付加する。   In the histogram shown in FIG. 10, there is no large peak at a specific luminance, and the luminance is distributed over a wide range. When the luminance is distributed over a wide range as in the example illustrated in FIG. 10, it is determined that the degree of complexity is relatively higher than the reference degree of complexity. In such a case, a line along the shape of the display object is added to the display object in the display data displayed as a virtual image.

図10に示すヒストグラムは、範囲特定部6において特定された範囲内の映像データを構成する画素に様々な輝度値が含まれた分布となっていることを示す。このような映像データに対応する外景を背景とした場合、様々な輝度差により、虚像の視認性が悪化する。   The histogram shown in FIG. 10 indicates that a distribution in which various luminance values are included in the pixels constituting the video data within the range specified by the range specifying unit 6 is shown. When the background corresponding to such video data is used as the background, the visibility of the virtual image deteriorates due to various luminance differences.

具体例としては、範囲特定部6において特定された範囲内の映像データを構成する1画素の輝度が8ビット(輝度値:0〜255)で表される場合、図10に示すような例として、構成色を問わず輝度値が80から220前後にほぼ均一に分布している場合である。例えば、範囲特定部6において特定された範囲に対応する外景が、様々な物体が範囲内に存在する遠景や、複雑な構成で描画された大型車両の後面などである。   As a specific example, when the luminance of one pixel constituting the video data within the range specified by the range specifying unit 6 is represented by 8 bits (brightness value: 0 to 255), as shown in FIG. This is a case where the luminance values are distributed almost uniformly from 80 to 220 regardless of the constituent colors. For example, the outside scene corresponding to the range specified by the range specifying unit 6 is a distant view where various objects exist in the range, the rear surface of a large vehicle drawn with a complicated configuration, and the like.

判定部7(図3参照)における映像の複雑さ度合いの判定において、範囲特定部6(図3参照)において特定された範囲の映像データにおいて、図11に示す隣接した複数の画素からなるグループごとにするようにしてもよい。   In the determination of the degree of complexity of the video in the determination unit 7 (see FIG. 3), for each group of a plurality of adjacent pixels shown in FIG. 11 in the video data in the range specified by the range specifying unit 6 (see FIG. 3). You may make it.

次に、判定部7(図3参照)にて映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、表示データ変更部8が、表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加した表示オブジェクトの実施例について以下で説明する。なお、通常時における、表示させる虚像の表示データに含まれる表示オブジェクト(表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った線を付加しない表示オブジェクト)の例を図12に示す。   Next, when the determination unit 7 (see FIG. 3) determines that the complexity level of the video is relatively higher than the standard complexity level, the display data changing unit 8 displays the display color of the display object. An example of a display object in which a line along the shape of the display object is added in a color different from the above will be described below. FIG. 12 shows an example of a display object (a display object that does not add a line along the shape of the display object in a color different from the display color of the display object) included in the virtual image display data to be displayed in a normal state.

[実施例1]
図13は、実施例1の表示オブジェクトの表示例について示す図である。図13に示すように、実施例1では、図12に示す表示オブジェクトに対して、表示データに含まれる表示オブジェクトに表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った外郭線を付加する。表示オブジェクトの形状に沿った外郭線の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が150nm以上離れた色、輝度の異なる色などである。
[Example 1]
FIG. 13 is a diagram illustrating a display example of the display object according to the first embodiment. As illustrated in FIG. 13, in the first embodiment, the display object illustrated in FIG. 12 is provided with an outline line that is different from the display color of the display object in the display object and that is in the shape of the display object. Append. The color of the outline along the shape of the display object is a color different from the display color of the display object, for example, a complementary color, a color whose wavelength is 150 nm or more away, or a color with different luminance.

[実施例2]
図14は、実施例2の表示オブジェクトの表示例について示す図である。図14に示すように、実施例2では、図12に示す表示オブジェクトに対して、表示データに含まれる表示オブジェクトに表示オブジェクトの表示色とは異なる色で表示オブジェクトの形状に沿った中心線を付加する。表示オブジェクトの形状に沿った中心線の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が150nm以上離れた色、輝度の異なる色などである。
[Example 2]
FIG. 14 is a diagram illustrating a display example of a display object according to the second embodiment. As shown in FIG. 14, in the second embodiment, the display object shown in FIG. 12 has a center line along the shape of the display object in a color different from the display color of the display object. Append. The color of the center line along the shape of the display object is a color different from the display color of the display object, for example, a complementary color, a color whose wavelength is 150 nm or more, or a color having a different luminance.

[実施例3]
図15は、実施例3の表示オブジェクトの表示例について示す図である。図15に示すように、実施例3では、図12に示す表示オブジェクトに対して、表示データに含まれる表示オブジェクトの表示サイズを大きくする。
[Example 3]
FIG. 15 is a diagram illustrating a display example of a display object according to the third embodiment. As shown in FIG. 15, in the third embodiment, the display size of the display object included in the display data is increased with respect to the display object shown in FIG.

[実施例4]
図16は、実施例4の表示オブジェクトの表示例について示す図である。図16に示すように、実施例4では、表示オブジェクトは実施例1と同様にし、さらに表示オブジェクトの背景(表示データにおける表示オブジェクト以外の部分)を透明から色つきにする。なお、表示オブジェクトを実施例2または実施例3と同様にし、さらに表示オブジェクトの背景を透明から色つきにしてもよい。表示オブジェクトの背景の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が150nm以上離れた色、輝度の異なる色などである。
[Example 4]
FIG. 16 is a diagram illustrating a display example of the display object according to the fourth embodiment. As shown in FIG. 16, in the fourth embodiment, the display object is the same as in the first embodiment, and the background of the display object (the portion other than the display object in the display data) is changed from transparent to colored. The display object may be the same as in the second or third embodiment, and the background of the display object may be changed from transparent to colored. The background color of the display object is a color different from the display color of the display object, such as a complementary color, a color having a wavelength of 150 nm or more, or a color having a different luminance.

[実施例5]
図17は、実施例5の表示オブジェクトの表示例について示す図である。図17に示すように、実施例5では、表示オブジェクトは実施例1と同様にし、さらに表示オブジェクトの周辺の背景を透明から色つきにする。なお、表示オブジェクトを実施例2または実施例3と同様にし、さらに表示オブジェクトの周辺の背景を透明から色つきにしてもよい。表示オブジェクトの周辺の背景の色は、表示オブジェクトの表示色と異なる色であり、例えば補色や波長が150nm以上離れた色、輝度の異なる色などである。
[Example 5]
FIG. 17 is a diagram illustrating a display example of a display object according to the fifth embodiment. As shown in FIG. 17, in the fifth embodiment, the display object is the same as in the first embodiment, and the background around the display object is changed from transparent to colored. The display object may be the same as that in the second or third embodiment, and the background around the display object may be changed from transparent to colored. The background color around the display object is a color different from the display color of the display object, for example, a complementary color, a color having a wavelength of 150 nm or more, a color having a different luminance, or the like.

以上より、本発明によれば、外景の状況が変化しても、虚像の表示色を頻繁に変化させずかつ虚像の表示内容を複雑化させることなく、適切に虚像を認識させることができる。   As described above, according to the present invention, it is possible to appropriately recognize a virtual image without frequently changing the display color of the virtual image and complicating the display content of the virtual image even when the situation of the outside scene changes.

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。上記実施の形態においては、映像の複雑さ度合いを色または輝度を用いて定義したが、これらの組み合わせであっても、他のパラメータを用い、または組み合わせることも可能である。   Note that the present invention is not limited to the above-described embodiment, and can be changed as appropriate without departing from the spirit of the present invention. In the above-described embodiment, the degree of complexity of the video is defined using color or luminance. However, it is also possible to use or combine other parameters even with these combinations.

1 自動車
4 表示データ生成部
5 映像データ取得部
6 範囲特定部
7 判定部
8 表示データ変更部
9 投射制御部
10 表示情報供給手段
11 前方カメラ
12 フロントガラス
13 ダッシュボード
14 ルームミラー
100 虚像表示装置
110 制御部
120 映像光投射部
140 反射部
160 コンバイナ
170 筐体
P 運転者
DESCRIPTION OF SYMBOLS 1 Car 4 Display data generation part 5 Image | video data acquisition part 6 Range specification part 7 Judgment part 8 Display data change part 9 Projection control part 10 Display information supply means 11 Front camera 12 Windshield 13 Dashboard 14 Room mirror 100 Virtual image display apparatus 110 Control unit 120 Image light projection unit 140 Reflection unit 160 Combiner 170 Case P Driver

Claims (8)

虚像として表示する表示データを生成する表示データ生成部と、
前記表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部と、
前記車両の前方の景色を撮影した映像データを取得する映像データ取得部と、
前記映像データにおいて前記虚像が重畳される範囲を特定する範囲特定部と、
前記範囲特定部において特定された範囲の映像データに対して、映像の複雑さ度合いを判定する判定部と、
前記判定部にて前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示色を維持し、前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った線を付加する表示データ変更部と、
を備えることを特徴とする、虚像表示装置。
A display data generation unit that generates display data to be displayed as a virtual image;
Video light projection unit that projects video light based on the display data as a virtual image ahead of the driver of the vehicle;
A video data acquisition unit that acquires video data of a scene in front of the vehicle;
A range specifying unit for specifying a range in which the virtual image is superimposed in the video data;
A determination unit that determines a degree of complexity of the video for the video data in the range specified by the range specifying unit;
When the determination unit determines that the complexity level of the video is relatively high with respect to a reference complexity level, the display color of the display object included in the display data is maintained, and the display object A display data changing unit for adding a line along the shape of the display object in a color different from the display color;
A virtual image display device comprising:
前記表示データ変更部は、前記判定部にて前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトに前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った外郭線を付加する、
請求項1に記載の虚像表示装置。
When the determination unit determines that the degree of complexity of the video is relatively higher than a reference degree of complexity, the display data changing unit adds the display object to the display object included in the display data. Adding an outline along the shape of the display object in a color different from the display color of
The virtual image display device according to claim 1.
前記表示データ変更部は、前記判定部にて前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトに前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った中心線を付加する、
請求項1に記載の虚像表示装置。
When the determination unit determines that the degree of complexity of the video is relatively higher than a reference degree of complexity, the display data changing unit adds the display object to the display object included in the display data. Adding a center line along the shape of the display object in a color different from the display color of
The virtual image display device according to claim 1.
前記表示データ変更部は、前記判定部にて前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示サイズを大きくする、
請求項2または3に記載の虚像表示装置。
The display data changing unit determines a display size of a display object included in the display data when the determination unit determines that the complexity level of the video is relatively higher than a reference complexity level. Enlarge,
The virtual image display device according to claim 2.
前記判定部は、前記特定された範囲の映像データにおいて、隣接した複数の画素からなるグループごとに映像の複雑さ度合いを判定する、
請求項1〜4のいずれか1項に記載の虚像表示装置。
The determination unit determines a degree of complexity of a video for each group of a plurality of adjacent pixels in the specified range of video data;
The virtual image display apparatus of any one of Claims 1-4.
前記判定部は、映像の複雑さ度合いを、前記特定された範囲の映像データを構成する色および輝度のうちの少なくとも一方の統計分布に基づいて判定する、
請求項1〜4のいずれか1項に記載の虚像表示装置。
The determination unit determines the degree of complexity of the video based on a statistical distribution of at least one of color and luminance constituting the specified range of video data;
The virtual image display apparatus of any one of Claims 1-4.
虚像として表示する表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部を備える虚像表示装置を用いた虚像表示方法であって、
前記表示データを生成するステップと、
前記車両の前方の景色を撮影した映像データを取得するステップと、
前記映像データにおいて特定された前記虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定するステップと、
前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示色を維持し、前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った線を付加するステップと、
を備えることを特徴とする虚像表示方法。
A virtual image display method using a virtual image display device including a video light projection unit that projects video light based on display data to be displayed as a virtual image as a virtual image in front of the driver of the vehicle,
Generating the display data;
Obtaining video data of a scene in front of the vehicle;
Determining the degree of complexity of video for video data in a range where the virtual image specified in the video data is superimposed;
When it is determined that the degree of complexity of the video is relatively higher than a reference degree of complexity, the display color of the display object included in the display data is maintained and is different from the display color of the display object Adding a line along the shape of the display object in color;
A virtual image display method comprising:
虚像として表示する表示データに基づく映像光を、車両の運転者前方に虚像として投射する映像光投射部を備える虚像表示装置を制御する制御プログラムであって、
コンピュータに、
前記表示データを生成する処理手順と、
前記車両の前方の景色を撮影した映像データを取得する処理手順と、
前記映像データにおいて特定された前記虚像が重畳される範囲の映像データに対して、映像の複雑さ度合いを判定する処理手順と、
前記映像の複雑さ度合いが基準とする複雑さ度合いに対し相対的に高いと判断された場合に、前記表示データに含まれる表示オブジェクトの表示色を維持し、前記表示オブジェクトの表示色とは異なる色で前記表示オブジェクトの形状に沿った線を付加する処理手順と、
を実行させるための制御プログラム。
A control program for controlling a virtual image display device including a video light projection unit that projects video light based on display data to be displayed as a virtual image as a virtual image in front of the driver of the vehicle,
On the computer,
A processing procedure for generating the display data;
A processing procedure for acquiring video data of a scene in front of the vehicle;
A processing procedure for determining a degree of complexity of video for video data in a range in which the virtual image specified in the video data is superimposed;
When it is determined that the degree of complexity of the video is relatively higher than a reference degree of complexity, the display color of the display object included in the display data is maintained and is different from the display color of the display object A processing procedure for adding a line along the shape of the display object in color;
A control program to execute.
JP2016075538A 2016-04-05 2016-04-05 Virtual image display device, virtual image display method, and control program Active JP6607128B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016075538A JP6607128B2 (en) 2016-04-05 2016-04-05 Virtual image display device, virtual image display method, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016075538A JP6607128B2 (en) 2016-04-05 2016-04-05 Virtual image display device, virtual image display method, and control program

Publications (2)

Publication Number Publication Date
JP2017185878A JP2017185878A (en) 2017-10-12
JP6607128B2 true JP6607128B2 (en) 2019-11-20

Family

ID=60044604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016075538A Active JP6607128B2 (en) 2016-04-05 2016-04-05 Virtual image display device, virtual image display method, and control program

Country Status (1)

Country Link
JP (1) JP6607128B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108180921B (en) * 2017-12-22 2021-06-08 联创汽车电子有限公司 AR-HUD navigation system using GPS data and navigation method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005138801A (en) * 2003-11-10 2005-06-02 Calsonic Kansei Corp Head up display device
JP2008304580A (en) * 2007-06-06 2008-12-18 Sharp Corp Image display device
JP2009274542A (en) * 2008-05-14 2009-11-26 Honda Motor Co Ltd Head up display device
JP5732184B2 (en) * 2012-02-14 2015-06-10 京セラドキュメントソリューションズ株式会社 Color image forming apparatus and image forming program
JP2013203374A (en) * 2012-03-29 2013-10-07 Denso It Laboratory Inc Display device for vehicle, control method therefor, and program
WO2017138292A1 (en) * 2016-02-09 2017-08-17 株式会社リコー Image display apparatus and image display method

Also Published As

Publication number Publication date
JP2017185878A (en) 2017-10-12

Similar Documents

Publication Publication Date Title
CN108020923B (en) Display device for vehicle
JP6175589B2 (en) Projection display apparatus and projection display method
JP6409337B2 (en) Display device
JP6535759B2 (en) Head-up display system for vehicles
US10948716B2 (en) Image display device and image display method
CN110967834B (en) Display device, display control method, and storage medium
JP2009150947A (en) Head-up display device for vehicle
US11009781B2 (en) Display system, control device, control method, non-transitory computer-readable medium, and movable object
WO2017094427A1 (en) Head-up display
JP6669053B2 (en) Head-up display system
JP6194432B2 (en) Projection type display device and light source control method thereof
CN110325893B (en) Display device for vehicle
US11312301B2 (en) Display apparatus, display method, and program
US11320652B2 (en) Display device, object apparatus and display method
JP2017081456A (en) Display device and display method
US20210168339A1 (en) Display apparatus, display method, and program
JP6607128B2 (en) Virtual image display device, virtual image display method, and control program
JP2019159216A (en) On-vehicle display device, method for controlling on-vehicle display device, and computer program
JP2019162932A (en) Image display device, movable body, image display method and program
JP6131392B2 (en) Projection type display device and light source control method thereof
JP6051859B2 (en) Image display device and image display method
JP2017227719A (en) Vehicle-purpose display control device, vehicle-purpose display system, vehicle-purpose display control method and program
JP2017202762A (en) Display image projection device and display image projection method
JP7058912B2 (en) Head-up display device
WO2018139433A1 (en) Vehicle display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191007

R150 Certificate of patent or registration of utility model

Ref document number: 6607128

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150