JPWO2017138321A1 - Image display device, in-vehicle system, and image display method - Google Patents

Image display device, in-vehicle system, and image display method Download PDF

Info

Publication number
JPWO2017138321A1
JPWO2017138321A1 JP2017566565A JP2017566565A JPWO2017138321A1 JP WO2017138321 A1 JPWO2017138321 A1 JP WO2017138321A1 JP 2017566565 A JP2017566565 A JP 2017566565A JP 2017566565 A JP2017566565 A JP 2017566565A JP WO2017138321 A1 JPWO2017138321 A1 JP WO2017138321A1
Authority
JP
Japan
Prior art keywords
light
image
light amount
light source
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017566565A
Other languages
Japanese (ja)
Other versions
JP6760311B2 (en
Inventor
美穂 樋口
美穂 樋口
拓郎 安田
拓郎 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPWO2017138321A1 publication Critical patent/JPWO2017138321A1/en
Application granted granted Critical
Publication of JP6760311B2 publication Critical patent/JP6760311B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3164Modulator illumination systems using multiple light sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • H04N9/3135Driving therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3152Modulator illumination systems for shaping the light beam
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3155Modulator illumination systems for controlling the light source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3158Modulator illumination systems for controlling the spectrum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3161Modulator illumination systems using laser light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Projection Apparatus (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

画像表示装置は、光を出射する光源と、前記光源からの光で所定の走査領域を走査して表示画像を描画する光走査部と、前記光源からの光の光量を検出する光量検出部と、前記光源に供給される制御電流と光量との関係を記憶する記憶部と、前記記憶部に記憶された前記制御電流と光量との関係に基づき、前記光源からの光によって前記表示画像を表示するように前記制御電流を制御する制御部と、を含む。前記制御部は、前記光走査部が前記表示画像の外部の領域を走査する際、当該走査する光の光量を前記光量検出部によって検出し、検出した光量に基づき前記記憶部に記憶された制御電流と光量との関係を更新する。  An image display device includes: a light source that emits light; a light scanning unit that draws a display image by scanning a predetermined scanning region with light from the light source; and a light amount detection unit that detects a light amount of light from the light source. A storage unit that stores a relationship between a control current and a light amount supplied to the light source; and a display unit that displays the display image by light from the light source based on the relationship between the control current and the light amount stored in the storage unit. And a control unit for controlling the control current. When the optical scanning unit scans an area outside the display image, the control unit detects the light amount of the scanned light by the light amount detection unit, and the control stored in the storage unit based on the detected light amount Update the relationship between current and light intensity.

Description

本発明は、画像表示装置、車載システム及び画像表示方法に関する。   The present invention relates to an image display device, an in-vehicle system, and an image display method.

レーザ走査式プロジェクタは明瞭なコントラストを実現できる視認性の良さから、車の運転者に対するナビゲーション機能を有する車載HUD装置等に採用されている。このようなHUD装置において運転者等の視認者による不快感を低減するため、外光に応じてHUD装置の表示画像の輝度を変化させる調光技術が知られている。   Laser scanning projectors are used in in-vehicle HUD devices and the like having a navigation function for car drivers because of their good visibility that can realize clear contrast. In order to reduce discomfort caused by a viewer such as a driver in such a HUD device, a dimming technique is known in which the luminance of a display image of the HUD device is changed according to external light.

特許文献1は、車載HUD装置において外光の強弱によらずに映像信号の再現性を確保するためのレーザビーム表示装置を開示している。特許文献1のレーザビーム表示装置は、複数の調光ステップのそれぞれについて階調レベルをインデックスとして調光量を記憶する複数の調光LUT(ルックアップテーブル)を有する。特許文献1の技術によると、予め記憶された調光LUTを参照し、入力された調光設定及び映像信号に応じてレーザ光の輝度を調光する。   Patent Document 1 discloses a laser beam display device for ensuring reproducibility of a video signal regardless of the intensity of external light in an in-vehicle HUD device. The laser beam display device of Patent Document 1 has a plurality of light control LUTs (look-up tables) that store the light control amount using the gradation level as an index for each of a plurality of light control steps. According to the technique of Patent Document 1, the brightness of laser light is dimmed according to a dimming setting and a video signal that are input with reference to a dimming LUT stored in advance.

本発明の目的は、種々の階調を有する表示画像を高精度に表示することができる画像表示装置を提供することである。   An object of the present invention is to provide an image display device capable of displaying a display image having various gradations with high accuracy.

本発明の一態様に係る画像表示装置は、光を出射する光源と、前記光源からの光で所定の走査領域を走査して表示画像を描画する光走査部と、前記光源からの光の光量を検出する光量検出部と、前記光源に供給される制御電流と光量との関係を記憶する記憶部と、前記記憶部に記憶された前記制御電流と光量との関係に基づき、前記光源からの光によって前記表示画像を表示するように前記制御電流を制御する制御部と、を含み、前記制御部は、前記光走査部が前記表示画像の外部の領域を走査する際、当該走査する光の光量を前記光量検出部によって検出し、検出した光量に基づき前記記憶部に記憶された制御電流と光量との関係を更新する。   An image display apparatus according to an aspect of the present invention includes a light source that emits light, a light scanning unit that draws a display image by scanning a predetermined scanning region with light from the light source, and a light amount of light from the light source. Based on the relationship between the control current and the light amount stored in the storage unit, the storage unit for storing the relationship between the control current and the light amount supplied to the light source, A control unit that controls the control current so as to display the display image with light, and the control unit scans an area outside the display image when the light scanning unit scans an area outside the display image. The light amount is detected by the light amount detection unit, and the relationship between the control current and the light amount stored in the storage unit is updated based on the detected light amount.

本発明によれば、種々の階調を有する表示画像を高精度に表示することが可能な画像表示装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the image display apparatus which can display the display image which has a various gradation with high precision can be provided.

本発明の実施形態に係る自動車用HUD装置200において、フロントガラス302越しに運転者300が見ることができる自車両301の前方風景に重ねて表示される虚像の一例を示す正面図である。FIG. 6 is a front view showing an example of a virtual image displayed in a superimposed manner on a front landscape of the host vehicle 301 that can be seen by the driver 300 through the windshield 302 in the automobile HUD device 200 according to the embodiment of the present invention. 実施形態に係る自動車用HUD装置200を搭載した自動車の内部構成例を模式的に示す一部破断の模式側面図である。It is a partially broken schematic side view schematically showing an example of the internal configuration of an automobile equipped with the automobile HUD device 200 according to the embodiment. 図2の自動車用HUD装置200の光学系230の内部構成例を模式的に示すブロック図である。FIG. 3 is a block diagram schematically showing an example of the internal configuration of an optical system 230 of the automobile HUD device 200 of FIG. 2. 図3の光学系230の光源ユニット220の内部構成例を示すブロック図である。FIG. 4 is a block diagram illustrating an internal configuration example of a light source unit 220 of the optical system 230 in FIG. 3. 図2の自動車用HUD装置200の制御系250の内部構成例を示すブロック図である。It is a block diagram which shows the example of an internal structure of the control system 250 of the HUD apparatus 200 for motor vehicles of FIG. 図2の自動車用HUD装置200及び周辺装置の概略構成例を示すブロック図である。It is a block diagram which shows the example of schematic structure of the HUD apparatus 200 for motor vehicles of FIG. 2, and a peripheral device. 実施形態1に係る制御系250によって実行される光量テーブル更新処理例を示すフローチャートである。5 is a flowchart illustrating an example of a light amount table update process executed by a control system 250 according to the first embodiment. 実施形態1に係る制御系250によって実行される光量テーブル切り替え処理例を示すフローチャートである。5 is a flowchart illustrating an example of a light amount table switching process executed by a control system 250 according to the first embodiment. 図3の光走査装置208による走査領域600の一例を示す図である。FIG. 4 is a diagram illustrating an example of a scanning region 600 by the optical scanning device 208 of FIG. 3. 図7Aの光量テーブル更新処理において取得される光量と制御電流との関係の一例を示す図である。It is a figure which shows an example of the relationship between the light quantity acquired in the light quantity table update process of FIG. 7A, and control current. 図7Aの光量テーブル更新処理における各信号のタイミングチャートの一例である。It is an example of the timing chart of each signal in the light quantity table update process of FIG. 7A. 図7Aの光量テーブル更新処理における表示画像の階調と光量との関係例を示す図である。It is a figure which shows the example of a relationship between the gradation of the display image and light quantity in the light quantity table update process of FIG. 7A. 図7Aの光量テーブル更新処理における表示画像の階調と制御電流との関係例を示す図である。It is a figure which shows the example of a relationship between the gradation of the display image in the light quantity table update process of FIG. 7A, and control current. 異なるパルス駆動条件における光量と制御電流との関係例を示す図である。It is a figure which shows the example of a relationship between the light quantity in different pulse drive conditions, and control current. 実施形態2に係る制御系250によって実行される光量テーブル更新処理例を示すフローチャートである。10 is a flowchart illustrating an example of a light amount table update process executed by a control system 250 according to the second embodiment. 実施形態2に係る制御系250によって実行される光量テーブル切り替え処理例を示すフローチャートである。10 is a flowchart illustrating an example of a light amount table switching process executed by a control system 250 according to the second embodiment.

以下に述べる実施形態によれば、温度変化及び経年劣化といったレーザ光源固有の特性から生じる色ずれ等による表示画像の画質の低下を回避し、種々の階調を有する表示画像を高精度に表示することができる。   According to the embodiment described below, a display image having various gradations is displayed with high accuracy by avoiding a deterioration in image quality of a display image due to a color shift or the like caused by characteristics inherent to a laser light source such as temperature change and aging deterioration. be able to.

以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態の説明において、同様の構成要素については同一の符号を付して適宜説明を省略する。   Hereinafter, embodiments according to the present invention will be described with reference to the drawings. In the following description of each embodiment, the same components are denoted by the same reference numerals, and description thereof will be omitted as appropriate.

以下、実施形態1及び実施形態2に共通する自動車用HUD装置200(以下単にHUD装置200という)のハードウェア構成例を中心に説明する。   Hereinafter, an exemplary hardware configuration of an automotive HUD device 200 (hereinafter simply referred to as a HUD device 200) common to the first and second embodiments will be described.

図1はHUD装置200において、フロントガラス302越しに運転者300から見える自車両301の前方風景に重ねて表示される虚像の一例を示す正面図である。図2は各実施形態に係るHUD装置200を搭載した自動車の内部構成例を模式的に示す一部破断の模式側面図である。図3は図2のHUD装置200の光学系の内部構成例を模式的に示すブロック図である。図4は図3の光学系230の光源ユニット220の内部構成例を示すブロック図である。   FIG. 1 is a front view showing an example of a virtual image displayed on the HUD device 200 so as to be superimposed on the front scenery of the host vehicle 301 seen from the driver 300 through the windshield 302. FIG. 2 is a partially broken schematic side view schematically showing an example of the internal configuration of an automobile equipped with the HUD device 200 according to each embodiment. FIG. 3 is a block diagram schematically showing an example of the internal configuration of the optical system of the HUD device 200 of FIG. FIG. 4 is a block diagram illustrating an internal configuration example of the light source unit 220 of the optical system 230 of FIG.

図2において、各実施形態に係るHUD装置200は、例えば、移動体としての走行体である自車両301のダッシュボード内に設置される。ダッシュボード内のHUD装置200から発せられる画像光である投射光Lが光透過部材としてのフロントガラス302で反射され、視認者である運転者300に向かう。これにより、運転者300は、後述するルートナビゲーション画像等のHUD表示画像を虚像Gとして視認することができる。なお、フロントガラス302の内壁面に光透過部材としてのコンバイナを設置し、コンバイナによって反射する投射光Lによって運転者に虚像を視認させるようにしてもよい。   In FIG. 2, the HUD device 200 according to each embodiment is installed, for example, in a dashboard of a host vehicle 301 that is a traveling body as a moving body. The projection light L, which is image light emitted from the HUD device 200 in the dashboard, is reflected by the windshield 302 as a light transmitting member and travels toward the driver 300 who is a viewer. Accordingly, the driver 300 can visually recognize a HUD display image such as a route navigation image described later as a virtual image G. A combiner as a light transmitting member may be installed on the inner wall surface of the windshield 302 so that the driver can visually recognize a virtual image by the projection light L reflected by the combiner.

フロントガラス302の上部に、フロントガラス302に映ったHUD装置200の表示情報及びフロントガラス302越しに見えるその背景を含む前方画像を撮影する前方撮影用カメラ110、並びに表示画像の周囲の環境光の明度(又は照度)及び色度を検出する環境光センサ150が設けられる。   A front photographing camera 110 that captures a front image including the display information of the HUD device 200 reflected on the front glass 302 and the background thereof that can be seen through the front glass 302, and ambient light around the display image are displayed on the top of the front glass 302. An ambient light sensor 150 that detects lightness (or illuminance) and chromaticity is provided.

各実施形態においては、運転者300から虚像Gまでの距離が5m以上となるように、HUD装置200の光学系等が設計されている。従来の一般的な自動車用HUD装置は、運転者300から虚像までの距離が2m程度であった。運転者は、通常、車両前方の無限遠点を注視しているか、数十m先の先行車両を注視している。このような遠方に焦点を合わせている運転者が2m先の虚像を視認しようとする場合、焦点距離が大きく異なるので、眼球の水晶体を大きく動かす必要がある。そのため、虚像に焦点を合わせるまでの焦点調整時間が長くなり、虚像の内容を認識するまでに時間がかかるうえ、運転者300の眼球が疲労しやすいという不具合が生じる場合が考えられる。また、虚像の内容に運転者が気付きにくく、虚像によって情報を運転者へ適切に提供することが困難な場合が考えられる。   In each embodiment, the optical system of the HUD device 200 is designed so that the distance from the driver 300 to the virtual image G is 5 m or more. In the conventional general automobile HUD device, the distance from the driver 300 to the virtual image is about 2 m. The driver is usually gazing at an infinite point in front of the vehicle or gazing at a preceding vehicle several tens of meters away. When a driver who focuses on such a distant place wants to visually recognize a virtual image 2 meters ahead, the focal length differs greatly, and thus the eye lens needs to be moved greatly. Therefore, the focus adjustment time until focusing on the virtual image becomes long, and it takes time to recognize the contents of the virtual image, and there may be a problem that the eyeball of the driver 300 is easily fatigued. In addition, it may be difficult for the driver to notice the contents of the virtual image and it is difficult to appropriately provide information to the driver by the virtual image.

各実施形態のように虚像Gまでの距離が5m以上であれば、従来よりも、眼球の水晶体を動かす量が減り、虚像Gへの焦点調整時間を短縮して虚像Gの内容を早期に認識できるようになり、また運転者300の眼球の疲労を軽減することができる。更には、虚像Gの内容に運転者が気付きやすくなり、虚像Gによって情報を運転者へ適切に提供することが容易になる。虚像Gまでの距離が5m以上であれば、眼球をほとんど輻輳運動させることなく虚像Gに焦点を合わせることができる。したがって、運動視差を利用して距離感(知覚距離の変化)や奥行き感(知覚距離の違い)を知覚させる効果が眼球の輻輳運動によって薄まってしまうことが抑制される。よって、画像の距離感や奥行き感を利用した運転者の情報知覚効果を有効に発揮させることができる。   If the distance to the virtual image G is 5 m or more as in each embodiment, the amount of movement of the lens of the eyeball is reduced compared to the prior art, and the focus adjustment time for the virtual image G is shortened to recognize the contents of the virtual image G early. It is possible to reduce the fatigue of the eyeball of the driver 300. Furthermore, it becomes easy for the driver to notice the contents of the virtual image G, and it becomes easy to appropriately provide information to the driver by the virtual image G. If the distance to the virtual image G is 5 m or more, it is possible to focus on the virtual image G with almost no converging movement of the eyeball. Therefore, the effect of using the motion parallax to perceive a sense of distance (change in perceived distance) or a sense of depth (difference in perceived distance) is suppressed from fading due to the eyeball's convergence motion. Therefore, the information perception effect of the driver using the sense of distance and the sense of depth of the image can be effectively exhibited.

図3のHUD装置200は、光学系230内に、光学ハウジングによって光源装置をユニット化した光源ユニット220を含む。HUD装置200はさらに、光量調整部207と、光走査部としての光走査装置208と、自由曲面ミラー209と、光発散部材としてのマイクロレンズアレイ210と、光反射部材としての投射ミラー211とを含む。   The HUD device 200 of FIG. 3 includes a light source unit 220 in which the light source device is unitized by an optical housing in the optical system 230. The HUD device 200 further includes a light amount adjusting unit 207, an optical scanning device 208 as an optical scanning unit, a free-form curved mirror 209, a microlens array 210 as a light diverging member, and a projection mirror 211 as a light reflecting member. Including.

図4の光源ユニット220は赤色、緑色、青色のレーザ光源201R,201G,201Bと、レーザ光源毎に設けられるカップリンレンズ202R,202G,202B及びアパーチャ203R,203G,203Bと、合成素子204とを含む。光源ユニット220はさらにメニスカスレンズ205と、パワーモニタ用PD(フォトダイオード)206とを含む。   The light source unit 220 in FIG. 4 includes red, green, and blue laser light sources 201R, 201G, and 201B, coupling lenses 202R, 202G, and 202B and apertures 203R, 203G, and 203B provided for each laser light source, and a combining element 204. Including. The light source unit 220 further includes a meniscus lens 205 and a power monitor PD (photodiode) 206.

図4のレーザ光源201B,201R,201Gは、LD(半導体レーザ素子)等の1つ又は複数の発光点を有する光源素子を含む。各レーザ光源201B,201R,201Gはそれぞれ波長λB=445nm,λR=640nm,λG=530nm等の互いに異なる波長λB,λR,λGを有する光束を放射する。各レーザ光源201B,201R,201Gからの光束はそれぞれカップリンレンズ202B,202R,202Gを介してアパーチャ203B,203R,203Gに入射し、各アパーチャの開口形状に応じて整形されて合成素子204に入射する。アパーチャ203B,203R,203Gの開口形状は光束の発散角等に応じて設定され、例えば円形、楕円形、長方形、正方形等、様々な形状に設定できる。   The laser light sources 201B, 201R, and 201G in FIG. 4 include light source elements having one or a plurality of light emission points such as LD (semiconductor laser element). The laser light sources 201B, 201R, and 201G emit light beams having different wavelengths λB, λR, and λG, such as wavelengths λB = 445 nm, λR = 640 nm, and λG = 530 nm, respectively. The light beams from the laser light sources 201B, 201R, and 201G are incident on the apertures 203B, 203R, and 203G through the coupling lenses 202B, 202R, and 202G, respectively, are shaped according to the aperture shape of each aperture, and are incident on the combining element 204. To do. The aperture shapes of the apertures 203B, 203R, and 203G are set according to the divergence angle of the light beam, and can be set to various shapes such as a circle, an ellipse, a rectangle, and a square.

合成素子204は、複数のダイクロイックミラー204B,204R,204Gを含む。各ダイクロイックミラー204B,204R,204Gはプレート形状又はプリズム形状を有し、それぞれアパーチャ203B,203R,203Gに対向して配置される。ダイクロイックミラー204Bは波長λB近傍の光を反射し、ダイクロイックミラー204Rは波長λB近傍の光を透過して波長λR近傍の光を反射し、ダイクロイックミラー204Gは波長λG近傍の光を透過して波長λB近傍及び波長λR近傍の光を反射する。このような光学特性により、合成素子204は各レーザ光源201B,201R,201Gからの光束を合成する。合成された光束は、光走査装置208の反射面に凹面を向けたメニスカスレンズ205を介して図3の光走査装置208に出射される。   The combining element 204 includes a plurality of dichroic mirrors 204B, 204R, and 204G. Each of the dichroic mirrors 204B, 204R, and 204G has a plate shape or a prism shape, and is disposed to face the apertures 203B, 203R, and 203G, respectively. The dichroic mirror 204B reflects light in the vicinity of the wavelength λB, the dichroic mirror 204R transmits light in the vicinity of the wavelength λB and reflects light in the vicinity of the wavelength λR, and the dichroic mirror 204G transmits the light in the vicinity of the wavelength λG and transmits the light in the wavelength λB Reflects light in the vicinity and in the vicinity of the wavelength λR. Due to such optical characteristics, the combining element 204 combines the light beams from the laser light sources 201B, 201R, and 201G. The combined light flux is emitted to the optical scanning device 208 in FIG. 3 through the meniscus lens 205 having a concave surface facing the reflection surface of the optical scanning device 208.

また、合成素子204のダイクロイックミラー204Gは、波長λG近傍の光の一部を反射して波長λB近傍及び波長λR近傍の光の一部を透過する光学特性を有する。この光学特性により、合成素子204は各レーザ光源201B,201R,201Gからの光の一部をパワーモニタ用PD206に出射する。パワーモニタ用PD206は、詳細は後述するように、レーザ光源201B,201R,201Gによるレーザ光の光量を検出するためのフォトダイオードであり、HUD装置200における光量検出部の一例である。   Further, the dichroic mirror 204G of the combining element 204 has an optical characteristic that reflects part of the light near the wavelength λG and transmits part of the light near the wavelength λB and the wavelength λR. Due to this optical characteristic, the combining element 204 emits a part of the light from each of the laser light sources 201B, 201R, and 201G to the power monitor PD 206. As will be described in detail later, the power monitor PD 206 is a photodiode for detecting the amount of laser light emitted from the laser light sources 201B, 201R, and 201G, and is an example of a light amount detector in the HUD device 200.

各実施形態に係るHUD装置200は、マイクロレンズアレイ210上に結像される中間像を自車両301のフロントガラス302に投射することで、その中間像の拡大画像を運転者300に虚像Gとして視認させる。レーザ光源201R,201G,201Bから発せられる各色レーザ光は光源ユニット220内で合成され、合成されたレーザ光は、光量調整部207で光量が調整された後、光走査装置208のミラーによる走査動作によって二次元的に偏向される。光走査装置208の走査動作によって二次元的に偏向された走査光L'は、自由曲面ミラー209で反射されて歪みを補正された後、マイクロレンズアレイ210に集光され、中間像を描画する。   The HUD device 200 according to each embodiment projects an intermediate image formed on the microlens array 210 onto the windshield 302 of the host vehicle 301, so that an enlarged image of the intermediate image is given to the driver 300 as a virtual image G. Make it visible. The respective color laser beams emitted from the laser light sources 201R, 201G, and 201B are combined in the light source unit 220, and the combined laser beams are adjusted in light amount by the light amount adjusting unit 207, and then scanned by the mirror of the optical scanning device 208. Is deflected two-dimensionally. The scanning light L ′ deflected two-dimensionally by the scanning operation of the optical scanning device 208 is reflected by the free-form surface mirror 209 and corrected for distortion, and then condensed on the microlens array 210 to draw an intermediate image. .

なお、各実施形態では、中間像の画素(中間像の一点)ごとの光束を個別に発散させて出射する光発散部材として、マイクロレンズアレイ210を用いているが、他の光発散部材を用いてもよい。また、中間像G'の形成方法としては、液晶ディスプレイ(LCD)や蛍光表示管(VFD)を利用した方式でもよい。ただし、大きな虚像Gを高い輝度で表示するにはレーザ走査方式が好ましい。   In each embodiment, the microlens array 210 is used as a light diffusing member that individually diverges and emits a light beam for each pixel of the intermediate image (one point of the intermediate image), but other light diffusing members are used. May be. Further, as a method of forming the intermediate image G ′, a method using a liquid crystal display (LCD) or a fluorescent display tube (VFD) may be used. However, the laser scanning method is preferable for displaying a large virtual image G with high luminance.

また、液晶ディスプレイ(LCD)や蛍光表示管(VFD)等を利用した方式では、虚像Gが表示される表示領域内の非画像部分にも僅かながら光が照射され、これを完全に遮断することが難しい。そのため、当該非画像部分を通じた自車両301の前方風景の視認性が悪い場合が考えられる。これに対し、レーザ走査方式によれば、虚像Gの表示領域内の非画像部分については、レーザ光源201R,201G,201Bを消灯させることにより当該非画像部分に光が照射されるのを完全に遮断することができる。よって、当該非画像部分を通じた自車両301の前方風景の視認性がHUD装置200から照射される光によって低下する事態を回避でき、前方風景の視認性が向上させることができる。   Further, in a method using a liquid crystal display (LCD), a fluorescent display tube (VFD) or the like, a slight amount of light is applied to the non-image portion in the display area where the virtual image G is displayed, and this is completely blocked. Is difficult. For this reason, it is conceivable that the visibility of the forward scenery of the host vehicle 301 through the non-image portion is poor. On the other hand, according to the laser scanning method, for the non-image portion in the display area of the virtual image G, the non-image portion is completely irradiated with light by turning off the laser light sources 201R, 201G, and 201B. Can be blocked. Therefore, it is possible to avoid a situation in which the visibility of the front landscape of the host vehicle 301 through the non-image portion is reduced by the light emitted from the HUD device 200, and the visibility of the front landscape can be improved.

更に、運転者に警告等を行うための警告画像の輝度を段階的に高めることで警告の度合いを強めるような場合、表示されている各種画像のうちの警告画像の輝度だけを段階的に高めるという表示制御が必要になる。このように一部画像について部分的に輝度を高めるような表示制御を行う場合も、レーザ走査方式が好適である。液晶ディスプレイ(LCD)や蛍光表示管(VFD)等を利用した方式では、表示されている警告画像以外の画像についても輝度が高まってしまう。そのため、警告画像とそれ以外の画像との間の輝度差を広げることができず、警告画像の輝度を段階的に高めることで警告の度合いを強めるという効果が十分に得られない場合が考えられるからである。   Furthermore, when the level of warning is increased by increasing the brightness of the warning image for warning the driver in stages, only the brightness of the warning image among the displayed images is increased in stages. Display control is required. As described above, the laser scanning method is also preferable when performing display control for partially increasing the luminance of a partial image. In a method using a liquid crystal display (LCD), a fluorescent display tube (VFD), etc., the brightness of images other than the displayed warning image is also increased. Therefore, there may be a case where the brightness difference between the warning image and the other images cannot be widened, and the effect of increasing the degree of warning by increasing the brightness of the warning image in stages cannot be obtained sufficiently. Because.

光走査装置208は、MEMS(Micro Electro Mechanical System)等の公知のアクチュエータ駆動システムでミラーを主走査方向及び副走査方向に傾斜させる走査動作を行い、ミラーに入射するレーザ光を二次元的に偏向(ラスタスキャン)する。ミラーの駆動制御は、レーザ光源201R,201G,201Bの発光タイミングに同期して行われる。光走査装置208は、上述した構成に限られず、例えば、互いに直交する2つの軸回りをそれぞれ揺動あるいは回動する2つのミラーからなるミラー系を用いてもよい。   The optical scanning device 208 performs a scanning operation for tilting the mirror in the main scanning direction and the sub-scanning direction by a known actuator driving system such as a MEMS (Micro Electro Mechanical System), and deflects the laser light incident on the mirror two-dimensionally. (Raster scan). The drive control of the mirror is performed in synchronization with the light emission timings of the laser light sources 201R, 201G, and 201B. The optical scanning device 208 is not limited to the configuration described above. For example, a mirror system including two mirrors that swing or rotate around two axes orthogonal to each other may be used.

図5は図2のHUD装置200の制御系250の内部構成例を示すブロック図である。図5において、HUD装置200の制御系250は、FPGA(Field Programmable Gate Array)251、CPU(Central Processing Unit)252、ROM(Read−Only Memory)253、RAM(Random Access Memory)254、インタフェース(以下、I/Fという)255、バスライン256、LDドライバ257、及びMEMSコントローラ258を含む。   FIG. 5 is a block diagram showing an example of the internal configuration of the control system 250 of the HUD device 200 of FIG. In FIG. 5, the control system 250 of the HUD device 200 includes an FPGA (Field Programmable Gate Array) 251, a CPU (Central Processing Unit) 252, a ROM (Read-Only Memory) 253, and a RAM (Random Access Memory 4). , I / F) 255, bus line 256, LD driver 257, and MEMS controller 258.

FPGA251は、LDドライバ257により、光源ユニット220のレーザ光源201R,201G,201Bの動作を制御し、MEMSコントローラ258により、光走査装置208のMEMS208aの走査動作を制御する。LDドライバ257はPWM(Pulse−Width Modulation)、PAM(Pulse−Amplitude Modulation)又はPFM(Pulse−Frequency Modulation)等のパルス変調を行い、表示画像の画素毎に時分割で各レーザ光源201R,201G,201Bを駆動する。   The FPGA 251 controls the operation of the laser light sources 201R, 201G, and 201B of the light source unit 220 by the LD driver 257, and controls the scanning operation of the MEMS 208a of the optical scanning device 208 by the MEMS controller 258. The LD driver 257 performs pulse modulation such as PWM (Pulse-Width Modulation), PAM (Pulse-Amplitude Modulation), or PFM (Pulse-Frequency Modulation), and each laser light source 201R, 201G, Drive 201B.

CPU252は、HUD装置200の各機能を制御する。ROM253は、CPU252がHUD装置200の各機能を制御するために実行する画像処理用プログラム等の各種プログラムを記憶している。RAM254はCPU252のワークエリアとして使用される。   The CPU 252 controls each function of the HUD device 200. The ROM 253 stores various programs such as an image processing program executed by the CPU 252 to control each function of the HUD device 200. The RAM 254 is used as a work area for the CPU 252.

I/F255は、外部コントローラ等と通信するためのインタフェースであり、例えば、自車両301のCAN(Controller Area Network)を介して、車両ナビゲーション装置400、各種センサ装置500等に接続される。また、I/F255には、フロントガラス302に映るHUD装置200の表示情報及びフロントガラス302越しに見えるその背景を含む前方画像を撮影する前方撮影用カメラ110が接続される。I/F255には、環境光の明度(又は照度)及び色度を検出する環境光センサ150も接続される。   The I / F 255 is an interface for communicating with an external controller or the like, and is connected to, for example, the vehicle navigation device 400, various sensor devices 500, and the like via a CAN (Controller Area Network) of the host vehicle 301. Further, the I / F 255 is connected to a front photographing camera 110 that photographs a front image including display information of the HUD device 200 reflected on the windshield 302 and the background seen through the windshield 302. An ambient light sensor 150 that detects the brightness (or illuminance) and chromaticity of ambient light is also connected to the I / F 255.

制御系250は、詳細は後述するように、実施形態1,2に係る光量テーブル更新処理(図7A及び図14A参照)を実行することで、HUD装置200により表示される表示画像の輝度を、ホワイトバランスを維持するように補正する。   As will be described in detail later, the control system 250 executes the light amount table update processing (see FIGS. 7A and 14A) according to the first and second embodiments, thereby reducing the luminance of the display image displayed by the HUD device 200. Correct to maintain white balance.

図6は図2のHUD装置200及び周辺装置の概略構成例を示すブロック図である。各実施形態においては、虚像Gによって運転者300へ提供する運転者提供情報を取得する情報取得部として、車両ナビゲーション装置400、センサ装置500等が設けられている。HUD装置200は、主に、画像表示部としての画像光投射部の一例である光学系230と、表示制御部としての制御系250とを有する。HUD装置200と、上記情報取得部を含む各種周辺装置とが、自車両301に搭載される車載システムに含まれる。   FIG. 6 is a block diagram showing a schematic configuration example of the HUD device 200 and peripheral devices of FIG. In each embodiment, the vehicle navigation apparatus 400, the sensor apparatus 500, etc. are provided as an information acquisition part which acquires the driver | operator provision information provided to the driver | operator 300 by the virtual image G. The HUD device 200 mainly includes an optical system 230 which is an example of an image light projection unit as an image display unit, and a control system 250 as a display control unit. The HUD device 200 and various peripheral devices including the information acquisition unit are included in an in-vehicle system mounted on the host vehicle 301.

各実施形態に係る車両ナビゲーション装置400としては、自動車等に搭載される公知の車両ナビゲーション装置を広く利用することができる。車両ナビゲーション装置400からは、虚像Gとして表示するルートナビゲーション画像を生成するための情報が出力され、この情報は制御系250に入力される。例えば、図1に示すように、自車両301が走行している道路の車線(走行レーン)の数、次に進路変更(右折、左折、分岐等)すべき地点までの距離、次に進路変更する方向等の情報を示す画像が含まれている。これらの情報が車両ナビゲーション装置400から制御系250に入力される。これにより、制御系250の制御の下、HUD装置200によって以下のように表示される。すなわち、走行レーン指示画像711、車間距離提示画像712、進路指定画像721、残り距離画像722、交差点等名称画像723等のルートナビゲーション画像が上段表示領域Aに表示される。   As the vehicle navigation device 400 according to each embodiment, a known vehicle navigation device mounted on an automobile or the like can be widely used. Information for generating a route navigation image to be displayed as a virtual image G is output from the vehicle navigation device 400, and this information is input to the control system 250. For example, as shown in FIG. 1, the number of lanes (travel lanes) on the road on which the host vehicle 301 is traveling, the distance to the point where the next route should be changed (right turn, left turn, branch, etc.), and the next route change An image indicating information such as a direction to perform is included. These pieces of information are input from the vehicle navigation device 400 to the control system 250. As a result, under the control of the control system 250, the display is performed as follows by the HUD device 200. That is, route navigation images such as a travel lane instruction image 711, an inter-vehicle distance presentation image 712, a route designation image 721, a remaining distance image 722, and an intersection name image 723 are displayed in the upper display area A.

また、図1に示した画像例では、下段表示領域Bに、道路の固有情報(道路名、制限速度等)を示す画像が表示される。この道路の固有情報も、車両ナビゲーション装置400から制御系250に入力される。制御系250は、当該道路固有情報に対応する道路名表示画像701、制限速度表示画像702、追い越し禁止表示画像703等を、HUD装置200によって下段表示領域Bに表示する。   In the image example shown in FIG. 1, an image indicating road specific information (road name, speed limit, etc.) is displayed in the lower display area B. This road specific information is also input from the vehicle navigation device 400 to the control system 250. The control system 250 displays the road name display image 701, the speed limit display image 702, the overtaking prohibition display image 703, and the like corresponding to the road specific information in the lower display area B by the HUD device 200.

図6のセンサ装置500は、自車両301の挙動、自車両301の状態、自車両301の周囲の状況等を示す各種情報を検出するための1又は2以上のセンサを含む。センサ装置500からは、虚像Gとして表示する画像を生成するためのセンシング情報が出力され、このセンシング情報は制御系250に入力される。例えば、図1に示した画像例には、自車両301の車速を示す車速表示画像704(図1では「83km/h」という文字画像)を、下段表示領域Bに表示する。そのため、自車両301のCAN情報に含まれる車速情報がセンサ装置500から制御系250に入力され、制御系250の制御の下、HUD装置200によって当該車速を示す文字画像が下段表示領域Bに表示される。   6 includes one or more sensors for detecting various types of information indicating the behavior of the host vehicle 301, the state of the host vehicle 301, the situation around the host vehicle 301, and the like. Sensing information for generating an image to be displayed as a virtual image G is output from the sensor device 500, and this sensing information is input to the control system 250. For example, in the image example shown in FIG. 1, a vehicle speed display image 704 (character image “83 km / h” in FIG. 1) indicating the vehicle speed of the host vehicle 301 is displayed in the lower display area B. Therefore, vehicle speed information included in the CAN information of the host vehicle 301 is input from the sensor device 500 to the control system 250, and a character image indicating the vehicle speed is displayed in the lower display area B by the HUD device 200 under the control of the control system 250. Is done.

センサ装置500に含まれるセンサとして、自車両301の車速を検出するセンサ以外には、例えば以下の(1)〜(4)に示すセンサが挙げられる。
(1)自車両301の周囲(前方、側方、後方)に存在する他車両、歩行者、建造物(ガードレールや電柱等)との距離を検出するレーザレーダ装置や撮像装置、自車両の外部環境情報(外気温、明るさ、天候等)を検出するためのセンサ
(2)運転者300の運転動作(ブレーキ走査、アクセル開閉度等)を検出するためのセンサ
(3)自車両301の燃料タンク内の燃料残量を検出するためのセンサ
(4)エンジンやバッテリー等の各種車載機器の状態を検出するセンサ
このようなセンサを含むセンサ装置500が情報を検出して制御系250へ送ることで、それらの情報を虚像GとしてHUD装置200により表示して運転者300へ提供することができる。
As sensors included in the sensor device 500, other than the sensors that detect the vehicle speed of the host vehicle 301, for example, the following sensors (1) to (4) may be mentioned.
(1) A laser radar device or an imaging device that detects the distance from other vehicles, pedestrians, and buildings (guardrails, utility poles, etc.) existing around the vehicle 301 (front, side, rear), outside the vehicle Sensor for detecting environmental information (outside temperature, brightness, weather, etc.) (2) Sensor for detecting driving operation (brake scanning, accelerator opening / closing degree, etc.) of driver 300 (3) Fuel of own vehicle 301 Sensor for detecting the remaining amount of fuel in the tank (4) Sensor for detecting the state of various in-vehicle devices such as the engine and battery The sensor device 500 including such a sensor detects information and sends it to the control system 250 Thus, the information can be displayed as a virtual image G by the HUD device 200 and provided to the driver 300.

次に、HUD装置200によって表示される虚像Gについて説明する。各実施形態におけるHUD装置200において、虚像Gによって運転者300へ提供する運転者提供情報は、運転者300にとって有用な情報であればどのような情報であってもよい。各実施形態では、運転者提供情報を受動情報と能動情報とに大別している。   Next, the virtual image G displayed by the HUD device 200 will be described. In the HUD device 200 in each embodiment, the driver providing information provided to the driver 300 by the virtual image G may be any information as long as the information is useful for the driver 300. In each embodiment, driver-provided information is roughly divided into passive information and active information.

受動情報とは、所定の情報提供条件が満たされたタイミングで運転者300によって受動的に認知される情報である。したがって、HUD装置200の設定タイミングで運転者300へ提供される情報は受動情報に含まれ、また、情報が提供されるタイミングと情報の内容との間に一定の関係性をもつ情報が受動情報に含まれる。   Passive information is information passively recognized by the driver 300 at a timing when a predetermined information provision condition is satisfied. Therefore, information provided to the driver 300 at the setting timing of the HUD device 200 is included in the passive information, and information having a certain relationship between the timing at which the information is provided and the content of the information is passive information. include.

受動情報としては、例えば、運転時の安全性に関わる情報、ルートナビゲーション情報等が挙げられる。運転時の安全性に関わる情報として、自車両301と先行車両350との車間距離情報(車間距離提示画像712)、運転に関わる緊急性のある情報(運転者に緊急操作を指示する緊急操作指示情報等の警告情報あるいは注意喚起情報等)等がある。また、ルートナビゲーション情報は、予め設定された目的地までの走行ルートを案内するための情報であり、公知の車両ナビゲーション装置によって運転者へ提供される情報であってよい。   Examples of the passive information include information related to safety during driving, route navigation information, and the like. As information related to safety during driving, information on the distance between the host vehicle 301 and the preceding vehicle 350 (vehicle distance presentation image 712), information on the urgency related to driving (emergency operation instruction for instructing the driver to perform an emergency operation) Warning information such as information or alert information). The route navigation information is information for guiding a travel route to a preset destination, and may be information provided to the driver by a known vehicle navigation device.

ルートナビゲーション情報としては、直近の交差点で走行すべき走行レーンを指示する走行レーン指示情報(走行レーン指示画像711)や、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報等が挙げられる。進路変更操作指示情報として、交差点等においていずれの進路をとるべきかの進路指定を行う進路指定情報(進路指定画像721)、進路変更操作を行う交差点等までの残り距離情報(残り距離画像722)、交差点等の名称情報(交差点等名称画像723)がある。   The route navigation information includes travel lane instruction information (travel lane instruction image 711) for instructing a travel lane to travel at the nearest intersection, and a route change operation at an intersection or branch point where the course should be changed from the next straight direction. For example, route change operation instruction information to be instructed. As route change operation instruction information, route designation information (route designation image 721) for designating which route should be taken at an intersection or the like, remaining distance information (remaining distance image 722) to an intersection or the like performing the route change operation There is name information such as an intersection (name image 723 such as an intersection).

能動情報とは、運転者自らが決めるタイミングで運転者300によって能動的に認知される情報である。能動情報は、運転者300の希望するタイミングで運転者へ提供されれば十分な情報であり、例えば、情報が提供されるタイミングと情報の内容との間の関係性が低い又は無いような情報は、能動情報に含まれる。   The active information is information that is actively recognized by the driver 300 at a timing determined by the driver himself. The active information is sufficient information if provided to the driver at a timing desired by the driver 300, for example, information that has low or no relationship between the timing at which the information is provided and the content of the information. Is included in the active information.

能動情報は、運転者300の希望するタイミングで運転者300が取得する情報であることから、ある程度の長い期間あるいは常時、表示され続けるような情報である。例えば、自車両301が走行している道路の固有情報、自車両301の車速情報(車速表示画像704)、現在時刻情報等が挙げられる。道路の固有情報としては、例えば、その道路名情報(道路名表示画像701)、その道路の制限速度等の規制内容情報(制限速度表示画像702、追い越し禁止表示画像703)、その他当該道路に関わる情報として運転者300にとって有用なものが挙げられる。   The active information is information that the driver 300 acquires at a timing desired by the driver 300, and is information that is continuously displayed for a long period of time or constantly. For example, specific information of the road on which the host vehicle 301 is traveling, vehicle speed information of the host vehicle 301 (vehicle speed display image 704), current time information, and the like can be given. As specific information of the road, for example, the road name information (road name display image 701), restriction content information such as the speed limit of the road (speed limit display image 702, overtaking prohibition display image 703), and other related to the road Information useful for the driver 300 is listed as information.

各実施形態では、このようにして大別される受動情報と能動情報を、虚像Gを表示可能なそれぞれ対応する表示領域に表示する。具体的には、各実施形態では、上下に並んだ2つの表示領域を設定し、そのうちの上段表示領域Aには主に受動情報に対応する受動情報画像を表示し、下段表示領域Bには主に能動情報に対応する能動情報画像を表示する。なお、能動情報画像の一部を上段表示領域Aに表示する場合には、上段表示領域Aに表示される受動情報画像の視認性を優先するような態様で能動情報画像を表示する。   In each embodiment, the passive information and the active information roughly classified in this way are displayed in the corresponding display areas where the virtual image G can be displayed. Specifically, in each embodiment, two display areas are set up and down, and a passive information image mainly corresponding to passive information is displayed in the upper display area A, and the lower display area B is displayed in the lower display area B. An active information image corresponding to active information is mainly displayed. When a part of the active information image is displayed in the upper display area A, the active information image is displayed in such a manner that priority is given to the visibility of the passive information image displayed in the upper display area A.

また、各実施形態においては、表示される虚像Gとして、立体視を用いて表現された立体視画像を用いている。具体的には、上段表示領域Aに表示される車間距離提示画像712及び走行レーン指示画像711として、遠近法により表現される遠近法画像を用いている。   In each embodiment, a stereoscopic image expressed using stereoscopic vision is used as the virtual image G to be displayed. Specifically, perspective images expressed by perspective are used as the inter-vehicle distance presentation image 712 and the travel lane instruction image 711 displayed in the upper display area A.

詳しくは、車間距離提示画像712に含まれる5本の横線の長さを上側に向かうほど短くなるようにして、車間距離提示画像712を1つの消失点に向かうように透視図法により作図された遠近法画像としている。特に、各実施形態では、その消失点が運転者300の注視点近傍に定まるように車間距離提示画像712が表示されることにより、運転中の運転者300に車間距離提示画像712の奥行き感を知覚させやすい。また、各実施形態では、更に、横線の太さを上側に向かうほど細くしたり、横線の輝度を上側に向かうほど低くしたりするようにした遠近法画像を用いている。これによって、運転中の運転者300は、車間距離提示画像712の奥行き感を更に知覚しやすくなる。   Specifically, the distance drawn by the perspective method so that the length of the five horizontal lines included in the inter-vehicle distance presentation image 712 is shortened toward the upper side and the inter-vehicle distance presentation image 712 is directed to one vanishing point. Legal images. In particular, in each embodiment, the inter-vehicle distance presentation image 712 is displayed so that the vanishing point is determined in the vicinity of the gazing point of the driver 300, so that the driver 300 during driving can feel the depth of the inter-vehicle distance presentation image 712. Easy to perceive. Further, in each embodiment, a perspective image is used in which the thickness of the horizontal line is made thinner toward the upper side and the luminance of the horizontal line is made lower toward the upper side. This makes it easier for the driver 300 during driving to perceive a sense of depth in the inter-vehicle distance presentation image 712.

以上、実施形態1,2で用いるHUD装置200のハードウェア構成例を中心に説明した。以下に説明する各実施形態では、以下のハードウェア素子を用いる。
(1)実施形態1において、ROM253内の光量テーブル253t及び環境光センサ150(ただし、照度のみを検出するセンサであってよい)を用いる。従って、前方撮影用カメラ110は備えなくてもよい。
(2)実施形態2において、ROM253内の光量テーブル253t及び前方撮影用カメラ110を用いる。従って、環境光センサ150は備えなくてもよい。
In the above, the hardware configuration example of the HUD device 200 used in the first and second embodiments has been mainly described. In each embodiment described below, the following hardware elements are used.
(1) In the first embodiment, the light amount table 253t in the ROM 253 and the ambient light sensor 150 (however, a sensor that detects only illuminance may be used). Therefore, the front photographing camera 110 may not be provided.
(2) In the second embodiment, the light amount table 253t and the front photographing camera 110 in the ROM 253 are used. Therefore, the ambient light sensor 150 may not be provided.

[実施形態1]
実施形態1の説明では、図2のHUD装置200において、急激な外光の変化及び温度変化があっても適切な輝度で色ずれなく表示画像を表示する方法について説明する。以下、図面を参照して本実施形態を説明する。図7Aは、実施形態1に係る制御系250により実行される光量テーブル更新処理例を示すフローチャートである。図8は、図3の光走査装置208による走査領域600の一例を示す図である。
[Embodiment 1]
In the description of the first embodiment, a method of displaying a display image with an appropriate luminance and without color misalignment in the HUD apparatus 200 of FIG. Hereinafter, the present embodiment will be described with reference to the drawings. FIG. 7A is a flowchart illustrating an example of a light amount table update process executed by the control system 250 according to the first embodiment. FIG. 8 is a diagram showing an example of a scanning region 600 by the optical scanning device 208 of FIG.

本実施形態では、日中と夜間との間で変化する外光の環境下で運転者300等の視認者にとって表示画像を見やすくするために、例えば図6の環境光センサ150を用いて表示画像の輝度を調整する。この場合、表示画像の輝度のダイナミックレンジを広げるため、レーザ光源201R,201G,201Bのパルス駆動によって低輝度の表示画像を実現する。以下、外光の照度又は明度に応じて適宜レーザ光源201R,201G,201Bのパルス幅又はパルス駆動周波数等を外光の照度又は明度に適した値に設定するための設定条件を「パルス駆動条件」という。制御系250は環境光センサ150により外光の照度又は明度を検知することにより、例えば外光の照度又は明度が低い夜間には、外光の照度又は明度が高い日中に比較して表示画像の輝度を低くするパルス駆動条件を選択する。その結果、運転者300等の視認者にとって表示画像が見やすくなる。パルス駆動条件毎の光量テーブル253tは、例えばROM253に予め格納されている。   In the present embodiment, in order to make a display image easier to see for a viewer such as the driver 300 under an environment of external light that changes between daytime and nighttime, the display image is displayed using, for example, the ambient light sensor 150 of FIG. Adjust the brightness. In this case, in order to widen the dynamic range of the luminance of the display image, a low-luminance display image is realized by pulse driving of the laser light sources 201R, 201G, and 201B. Hereinafter, according to the illuminance or brightness of the external light, the setting conditions for appropriately setting the pulse width or pulse drive frequency of the laser light sources 201R, 201G, 201B to values suitable for the illuminance or brightness of the external light are referred to as “pulse drive conditions”. " The control system 250 detects the illuminance or lightness of the external light by the ambient light sensor 150. For example, at night when the illuminance or lightness of the external light is low, the display image is compared with the daytime when the illuminance or lightness of the external light is high. The pulse driving conditions for lowering the brightness of the are selected. As a result, the display image is easy to see for a viewer such as the driver 300. The light quantity table 253t for each pulse driving condition is stored in advance in the ROM 253, for example.

レーザ光源201R,201G,201Bのパルス駆動時には、各レーザ光源の立ち上がり特性の違い等により、表示画像のホワイトバランスが崩れやすい。このため、本実施形態では、パルス駆動条件毎に各レーザ光源201R,201G,201Bに供給する制御電流と階調との関係を示す光量テーブル253tを用い、更に後述する図7Aの光量テーブル更新処理により光量テーブル253tを随時更新することにより、表示画像における光量を補正する。また、表示画像のホワイトバランスはレーザ光源201R,201G,201Bの温度特性の違いによっても崩れることがあるため、HUD装置200の使用中に表示画像において色ずれを生じる場合が想定される。そこで、本実施形態では図7Aの光量テーブル更新処理において、表示画像を表示中に、例えば周期的に光量テーブル253tを更新する。   At the time of pulse driving of the laser light sources 201R, 201G, and 201B, the white balance of the display image is likely to be lost due to differences in rising characteristics of the laser light sources. For this reason, in this embodiment, the light amount table 253t indicating the relationship between the control current supplied to the laser light sources 201R, 201G, and 201B and the gradation for each pulse driving condition is used, and the light amount table update process of FIG. Thus, the light quantity in the display image is corrected by updating the light quantity table 253t as needed. Further, since the white balance of the display image may be lost due to the difference in temperature characteristics of the laser light sources 201R, 201G, and 201B, a case where a color shift occurs in the display image during use of the HUD device 200 is assumed. Therefore, in the present embodiment, in the light amount table update process of FIG. 7A, the light amount table 253t is periodically updated, for example, while the display image is displayed.

図8は1フレームの表示画像を表示する際に図3の光走査装置208によって走査される走査領域600を示している。図8においてX方向は主走査方向であり、Y方向は副走査方向である。本実施形態では、表示画像を表示中に光量テーブル253tを更新することを可能にするために、走査領域600の中に、視認者に表示画像を視認させるための有効画像表示領域610の外に、各レーザ光源の光量を取得するための光量取得領域620を設けている。図7Aの光量テーブル更新処理において、光量取得領域620を用いて各レーザ光源のリアルタイムの光量を取得することで、光量テーブル253tを適切に更新し、表示画像を高精度に表示することができる。   FIG. 8 shows a scanning area 600 scanned by the optical scanning device 208 of FIG. 3 when displaying a display image of one frame. In FIG. 8, the X direction is the main scanning direction, and the Y direction is the sub scanning direction. In the present embodiment, in order to make it possible to update the light amount table 253t while displaying a display image, the scanning area 600 is outside the effective image display area 610 for allowing the viewer to visually recognize the display image. A light amount acquisition area 620 for acquiring the light amount of each laser light source is provided. In the light amount table update process of FIG. 7A, the light amount table 253t is appropriately updated by acquiring the real-time light amount of each laser light source using the light amount acquisition region 620, and the display image can be displayed with high accuracy.

なお、図8では、有効画像表示領域610のY方向、すなわち上方に光量取得領域620を図示しているが、この例に限られず、例えば光量取得領域620は有効画像表示領域610のY方向の逆方向、すなわち下方にあってもよいし、X方向にあってもよい。また、視認者には有効画像表示領域610における表示画像は見えるが光量取得領域620は見えないように、光量取得領域620を走査する投射光Lを遮光してもよい。光量取得領域620を走査する投射光Lの遮光は、図3の光路上で適宜、光学系を設定して行うことができる。例えば図3に示す如く、光学系230内の投射光Lの光路上に遮光部材212を設けてもよい。遮光部材212により、投射光Lが光量取得領域620を走査する際に投射光Lを遮光し、光量取得領域620がフロントガラス302上に映らないようにすることができる。   In FIG. 8, the light amount acquisition region 620 is illustrated in the Y direction of the effective image display region 610, that is, above the light amount acquisition region 620, but is not limited to this example. It may be in the reverse direction, that is, in the lower direction or in the X direction. Further, the projection light L that scans the light amount acquisition region 620 may be shielded so that the viewer can see the display image in the effective image display region 610 but not the light amount acquisition region 620. The projection light L that scans the light quantity acquisition region 620 can be blocked by appropriately setting an optical system on the optical path in FIG. For example, as shown in FIG. 3, a light blocking member 212 may be provided on the optical path of the projection light L in the optical system 230. The light blocking member 212 can block the projection light L when the projection light L scans the light amount acquisition region 620 so that the light amount acquisition region 620 is not reflected on the windshield 302.

以下、図7Aのフローチャートに示す光量テーブル更新処理について、図7A,図8及び図9を用いて説明する。図9は、図7Aの光量テーブル更新処理において取得される光量と制御電流との関係例を示す図である。図7Aの光量テーブル更新処理はHUD装置200の起動時、及び起動後において表示画像を表示中に、図5の制御系250によって実行される。なおHUD装置200の起動時は、例えば自車両301のイグニションオン時としてよい。   Hereinafter, the light amount table update process shown in the flowchart of FIG. 7A will be described with reference to FIGS. 7A, 8, and 9. FIG. 9 is a diagram illustrating a relationship example between the light amount acquired in the light amount table update process of FIG. 7A and the control current. 7A is executed by the control system 250 in FIG. 5 when the HUD device 200 is activated and during display of a display image. The HUD device 200 may be activated when, for example, the ignition of the host vehicle 301 is on.

図7AのステップS1において、制御系250は現時点が本処理の開始時、例えばHUD装置200の起動時か否かを判断する。制御系250は、現時点が本処理の開始時であるHUD装置200の起動時であると判断した場合(ステップS1のYES)、ROM253からパルス駆動条件毎の光量テーブル253tを読み出す(ステップS2)。ROM253はパルス駆動条件毎に、各レーザ光源の立ち上がり時の初期値のデータを含む光量テーブル253tを予め記憶している。ステップS2において読み出した各レーザ光源の立ち上がり時の初期値のデータを含む光量テーブル253tを用いることにより、起動時に輝度及び色ずれを補正する期間を短縮することができる。   In step S1 of FIG. 7A, the control system 250 determines whether or not the current time is the start of this process, for example, when the HUD device 200 is activated. When the control system 250 determines that the current time is the start time of the HUD device 200, which is the start time of this processing (YES in step S1), the control system 250 reads the light amount table 253t for each pulse driving condition from the ROM 253 (step S2). The ROM 253 previously stores a light amount table 253t including initial value data at the time of rising of each laser light source for each pulse driving condition. By using the light amount table 253t including the initial value data at the time of rising of each laser light source read out in step S2, it is possible to shorten the period for correcting the luminance and color shift at the time of activation.

次いで、制御系250はROM253から読み出したパルス駆動条件毎の光量テーブル253tに基づき、パルス駆動条件の総数Nを取得し(S3)、ステップS4に進む。また、制御系250はステップS1において、現時点が本処理の開始時であるHUD装置200の起動時でないと判断した場合(ステップS1でNO)、ステップS4に進む。   Next, the control system 250 acquires the total number N of pulse driving conditions based on the light amount table 253t for each pulse driving condition read from the ROM 253 (S3), and proceeds to step S4. If the control system 250 determines in step S1 that the current time is not the time of starting the HUD device 200, which is the start of this process (NO in step S1), the control system 250 proceeds to step S4.

ステップS4において、制御系250は総数Nのパルス駆動条件から1つのパルス駆動条件を選択する(ステップS4)。次いで、制御系250は選択したパルス駆動条件に基づき、目標光量を決定する(ステップS5)。目標光量は、選択したパルス駆動条件において、最大階調を実現する制御電流によって実現される光量である。例えば、制御系250は上記したPWMによるパルス駆動条件におけるデューティ比に応じて目標光量を決定する。   In step S4, the control system 250 selects one pulse driving condition from the total number N of pulse driving conditions (step S4). Next, the control system 250 determines a target light amount based on the selected pulse driving condition (step S5). The target light amount is a light amount realized by a control current that realizes the maximum gradation under the selected pulse driving condition. For example, the control system 250 determines the target light amount according to the duty ratio in the pulse driving condition by PWM described above.

次いで、制御系250は図8の光量取得領域620の走査中に各レーザ光源201R,201G,201Bの制御電流を徐々に変化させ、当該走査期間中にパワーモニタ用PD206によって検出された光量を取得する(ステップS6)。ステップS6において、図5の制御系250におけるCPU252は、光量取得領域620の走査期間中に、選択したパルス駆動条件に基づく動作を行うようにFPGA251及びLDドライバ257を設定する。FPGA251はLDドライバ257とMEMSコントローラ258とを同期する。LDドライバ257は図8の有効画像表示領域610の走査期間と光量取得領域620の走査期間とでパルス駆動条件を切り替えてレーザ光をパルス変調するように制御電流をレーザ光源201R,201G,201Bに供給する。   Next, the control system 250 gradually changes the control current of each of the laser light sources 201R, 201G, and 201B during scanning of the light quantity acquisition region 620 in FIG. 8, and acquires the light quantity detected by the power monitor PD 206 during the scanning period. (Step S6). In step S6, the CPU 252 in the control system 250 in FIG. 5 sets the FPGA 251 and the LD driver 257 so as to perform an operation based on the selected pulse driving condition during the scanning period of the light amount acquisition region 620. The FPGA 251 synchronizes the LD driver 257 and the MEMS controller 258. The LD driver 257 sends a control current to the laser light sources 201R, 201G, and 201B so as to pulse-modulate the laser light by switching the pulse driving conditions between the scanning period of the effective image display area 610 and the scanning period of the light amount acquisition area 620 in FIG. Supply.

図9において、目標光量P1はステップS5において、例えば目標光量P1=100mWに設定される。ステップS6において制御系250はレーザ発振しきい値100mA近傍から徐々に制御電流を増大させ、同時にパワーモニタ用PD206によって検出された光量を検出する。制御系250は検出中の光量が目標光量P1に到達するまで制御電流を増加させながら、図9に示される如くの、目標光量P1に達するまでの光量と制御電流の電流値との関係を示す特性曲線C1を取得する。図9の例では、制御電流I1=200mAにおいて目標光量P1に達する。   In FIG. 9, the target light amount P1 is set to, for example, target light amount P1 = 100 mW in step S5. In step S6, the control system 250 gradually increases the control current from the vicinity of the laser oscillation threshold of 100 mA, and simultaneously detects the amount of light detected by the power monitor PD 206. The control system 250 increases the control current until the detected light amount reaches the target light amount P1, and shows the relationship between the light amount until reaching the target light amount P1 and the current value of the control current as shown in FIG. A characteristic curve C1 is acquired. In the example of FIG. 9, the target light amount P1 is reached at the control current I1 = 200 mA.

以上のステップS6の処理は、詳細は後述するように、1又は複数のフレームにおける光量取得領域620の走査期間毎に行われる。また、本実施形態では、制御系250が、各レーザ光源201R,201G,201Bに対して順次、上記の図7AのステップS6の処理を行う。   The process of step S6 described above is performed for each scanning period of the light amount acquisition region 620 in one or a plurality of frames, as will be described in detail later. In the present embodiment, the control system 250 sequentially performs the process of step S6 in FIG. 7A described above for each of the laser light sources 201R, 201G, and 201B.

次いで、制御系250はステップS6にて得られた目標光量までの光量と制御電流との関係に基づき、対応する光量テーブル253tを更新する(ステップS7)。ステップS7において更新される光量テーブル253tは、ステップS4にて選択されたパルス駆動条件に対応する光量テーブル253tである。なお光量テーブル253tの更新は、詳細について図11〜図13を用いて後述するように、階調毎の光量と制御電流とを関連付けることによって行われる。更新結果の光量テーブル253tは例えばRAM254に保存される。   Next, the control system 250 updates the corresponding light quantity table 253t based on the relationship between the light quantity up to the target light quantity obtained in step S6 and the control current (step S7). The light quantity table 253t updated in step S7 is the light quantity table 253t corresponding to the pulse driving condition selected in step S4. The light amount table 253t is updated by associating the light amount for each gradation with the control current as will be described in detail later with reference to FIGS. The update result light quantity table 253t is stored in the RAM 254, for example.

次いで、制御系250は更新した光量テーブル数がパルス駆動条件の総数Nに達したか否かを判断する(ステップS8)。制御系250は更新した光量テーブル数がパルス駆動条件の総数Nに達していないと判断した場合(ステップS8でNO)、ステップS4に戻って未更新のパルス駆動条件を選択し、ステップS5以降の処理を繰り返す。一方、制御系250は更新した光量テーブル数がパルス駆動条件の総数Nに達したと判断した場合(ステップS8のYES)、本処理を終了する。本実施形態では、以上の処理は所定の周期で繰り返し実行される。   Next, the control system 250 determines whether or not the updated number of light quantity tables has reached the total number N of pulse driving conditions (step S8). If the control system 250 determines that the number of updated light quantity tables has not reached the total number N of pulse drive conditions (NO in step S8), the control system 250 returns to step S4 to select an unupdated pulse drive condition, and the steps after step S5 Repeat the process. On the other hand, if the control system 250 determines that the updated number of light quantity tables has reached the total number N of pulse drive conditions (YES in step S8), the process ends. In the present embodiment, the above processing is repeatedly executed at a predetermined cycle.

図7Bは、実施形態1に係る制御系250により実行される光量テーブル切り替え処理例を示すフローチャートである。図7Bの処理は、例えば表示画像のフレーム毎に制御系250により実行される。   FIG. 7B is a flowchart illustrating an example of a light amount table switching process executed by the control system 250 according to the first embodiment. The processing in FIG. 7B is executed by the control system 250 for each frame of the display image, for example.

ステップS101で制御系250は、環境光センサ150による表示画像の周囲の環境光(外光)の明度(又は照度)の検出結果に応じ、外光の明度(又は照度)が変化したか否かを判断する。ステップS101の判断は、例えば環境光センサ150の検出値が所定量以上変化したか否かの判断によって行うことができる。   In step S101, the control system 250 determines whether the lightness (or illuminance) of the external light has changed according to the detection result of the lightness (or illuminance) of the ambient light (external light) around the display image by the ambient light sensor 150. Judging. The determination in step S101 can be made, for example, by determining whether the detection value of the ambient light sensor 150 has changed by a predetermined amount or more.

ステップS101の判断結果がNOであれば制御系250は処理を終了し、YESであればステップS102に進む。   If the determination result in step S101 is NO, the control system 250 ends the process, and if YES, the process proceeds to step S102.

ステップS102で制御系250は、変化後の外光の明度(又は照度)に対応したパルス駆動条件を選択する。次にステップS103で制御系250は、表示画像を表示する際に用いる光量テーブル253tを、ステップS102で選択したパルス駆動条件に対応する光量テーブル253tに切り替える。   In step S102, the control system 250 selects a pulse driving condition corresponding to the brightness (or illuminance) of the external light after the change. Next, in step S103, the control system 250 switches the light amount table 253t used when displaying the display image to the light amount table 253t corresponding to the pulse driving condition selected in step S102.

以降制御系250は、このようにして切り替えられた光量テーブル253tを用いてレーザ光源201R,201G,201Bの制御電流を制御することによって当該フレームの表示画像を表示する。
このようにして、光量テーブル253tにより随時、温度変化によるレーザ光源201R,201G,201Bの応答特性の変動等を補正することによってホワイトバランスを維持し得る状態に更新される。その結果、外光の変化に応じてパルス駆動条件を切り替えた際にも即座に適切な輝度で色ずれなく表示画像を高精度に表示することができる。制御系250は、階調毎の光量と各レーザ光源201R,201G,201Bの制御電流とを関連付けた光量テーブル253tを用いて制御電流を制御することにより、ホワイトバランスを維持しながら所望の階調及び色を有する表示画像を表示することができる。
Thereafter, the control system 250 displays the display image of the frame by controlling the control currents of the laser light sources 201R, 201G, and 201B using the light amount table 253t thus switched.
In this way, the light quantity table 253t is updated as needed to correct white balance by correcting fluctuations in the response characteristics of the laser light sources 201R, 201G, and 201B due to temperature changes. As a result, even when the pulse driving conditions are switched in accordance with the change in the external light, it is possible to display the display image with high accuracy and at an appropriate brightness without any color shift. The control system 250 controls the control current using a light amount table 253t that associates the light amount for each gradation with the control current of each laser light source 201R, 201G, 201B, thereby maintaining a desired gradation while maintaining white balance. And a display image having a color can be displayed.

なお、図7Aの光量テーブル更新処理は、HUD装置200のユーザが所定の操作を行ったときに実行されてもよい。   7A may be executed when the user of the HUD device 200 performs a predetermined operation.

また、本実施形態では、図7AのステップS8で更新したテーブル数がパルス駆動条件の総数Nに達したと判断した場合に、以降、更新した光量テーブル253tを用いて表示画像を表示する。しかしながら、これに限らず、総数Nに達する前に随時、光量テーブル253tの更新された部分を用いて表示画像を表示してもよい。   In the present embodiment, when it is determined that the number of tables updated in step S8 in FIG. 7A has reached the total number N of pulse driving conditions, the display image is displayed using the updated light amount table 253t. However, the present invention is not limited to this, and the display image may be displayed using the updated portion of the light amount table 253t as needed before reaching the total number N.

以下、図7AのステップS6の動作タイミングについて、図10を用いて説明する。図10は図7Aの光量テーブル更新処理における各信号のタイミングチャートである。タイミングチャート(a)は、制御系250における同期信号の生成タイミングを示す。タイミングチャート(b)は、タイミング(a)の同期信号に基づく制御系250の各部の駆動信号SA,SBの生成タイミングを示す。タイミングチャート(c)は、タイミングチャート(b)の駆動信号SAに基づくMEMS208aの走査動作によるミラーの傾斜状態の変化を示す。タイミングチャート(d)は、タイミングチャート(c)の期間T1中のPD信号の生成タイミングを示す。タイミングチャート(e)は、タイミングチャート(d)のPD信号に基づくパワーモニタ用PD206の受光量の変化を示す。   Hereinafter, the operation timing of step S6 in FIG. 7A will be described with reference to FIG. FIG. 10 is a timing chart of each signal in the light amount table update processing of FIG. 7A. The timing chart (a) shows the generation timing of the synchronization signal in the control system 250. The timing chart (b) shows the generation timing of the drive signals SA and SB of each part of the control system 250 based on the synchronization signal of the timing (a). The timing chart (c) shows a change in the tilt state of the mirror due to the scanning operation of the MEMS 208a based on the drive signal SA of the timing chart (b). The timing chart (d) shows the generation timing of the PD signal during the period T1 of the timing chart (c). The timing chart (e) shows a change in the amount of light received by the power monitor PD 206 based on the PD signal of the timing chart (d).

タイミングチャート(a)の同期信号は表示画像のフレーム毎に図5の制御系250における各部を同期する信号であり、タイミングチャート(b)に示すように各部の駆動信号SA,SBの生成タイミングを設定している。タイミングチャート(b)の駆動信号SAは、MEMS208aに副走査方向の走査動作を行わせる駆動信号である。タイミングチャート(c)に示すように、MEMS208aによる走査位置はY方向にフレーム周期で変化し、投射光Lによる走査位置Y1が、図8の光量取得領域620の下端に対応する。   The synchronization signal in the timing chart (a) is a signal that synchronizes each section in the control system 250 of FIG. 5 for each frame of the display image. As shown in the timing chart (b), the generation timing of the drive signals SA and SB of each section is determined. It is set. The drive signal SA in the timing chart (b) is a drive signal that causes the MEMS 208a to perform a scanning operation in the sub-scanning direction. As shown in the timing chart (c), the scanning position by the MEMS 208a changes with the frame period in the Y direction, and the scanning position Y1 by the projection light L corresponds to the lower end of the light quantity acquisition region 620 in FIG.

タイミングチャート(d)のPD信号はパワーモニタ用PD206による受光を制御する信号である。制御系250はタイミングチャート(c)の期間T1に、タイミングチャート(d)のPD信号により受光回数621で繰り返し受光するようにパワーモニタ用PD206を制御しながら、タイミングチャート(e)に示すように取込み期間T2中のパワーモニタ用PD206の受光量を取り込む。これにより、制御系250は1フレーム中の期間T2に、例えば図9の特性曲線C1上の40点分の光量を取得する。   The PD signal in the timing chart (d) is a signal for controlling light reception by the power monitor PD 206. As shown in the timing chart (e), the control system 250 controls the power monitor PD 206 so as to repeatedly receive light with the number of times of light reception 621 by the PD signal in the timing chart (d) in the period T1 of the timing chart (c). The amount of light received by the power monitor PD 206 during the capture period T2 is captured. Thereby, the control system 250 acquires, for example, the amount of light for 40 points on the characteristic curve C1 in FIG. 9 during the period T2 in one frame.

図7AのステップS6において、制御系250は複数フレームにわたってレーザ光源201R,201G,201B毎、パルス駆動条件毎に光量を取得する。光量取得中に図8の有効画像表示領域610に対し、制御系250は、光量の取得対象のパルス駆動条件とは別に設定されたパルス駆動条件において各レーザ光源201R,201G,201Bを駆動して表示画像を表示する。これにより、表示画像の表示中に効率良く光量テーブル253tの更新を行える。   In step S6 of FIG. 7A, the control system 250 acquires the amount of light for each of the laser light sources 201R, 201G, and 201B and for each pulse driving condition over a plurality of frames. During the light quantity acquisition, the control system 250 drives the laser light sources 201R, 201G, and 201B with respect to the effective image display area 610 in FIG. 8 under pulse drive conditions set separately from the pulse drive conditions for which the light quantity is to be acquired. Display the display image. Thereby, the light quantity table 253t can be updated efficiently while the display image is displayed.

以下、図7AのステップS7の光量テーブル253tの更新方法について、図11,図12及び図13を用いて説明する。   Hereinafter, the update method of the light quantity table 253t in step S7 of FIG. 7A will be described with reference to FIGS.

図11は、図7Aの光量テーブル更新処理における表示画像の階調と光量との関係例を示す図である。表示画像を滑らかなグレースケールで表現するために、階調と光量との関係式は図11に示すように、直線的でなく所定のγ値(表示画像中の階調の変化と光量との比を示す指標)を有する曲線C2で表される。本実施形態において、曲線C2を示す情報は、例えばγ値の補正係数を有する演算式、又は階調毎の光量のデータテーブルとして予めROM253に格納されている。   FIG. 11 is a diagram illustrating a relationship example between the gradation of the display image and the light amount in the light amount table update processing of FIG. 7A. In order to express the display image in a smooth gray scale, the relational expression between the gradation and the light amount is not linear as shown in FIG. 11, but a predetermined γ value (a change in gradation and light amount in the display image) It is represented by a curve C2 having a ratio). In the present embodiment, information indicating the curve C2 is stored in advance in the ROM 253 as, for example, an arithmetic expression having a γ value correction coefficient or a data table of light amounts for each gradation.

図12は、図7Aの光量テーブル更新処理における表示画像の階調と制御電流との関係例を示す図である。制御系250は図7AのステップS7において、図9の光量と制御電流との特性曲線C1、及び図11の曲線C2を示す情報に基づき、図12に示すように新たに階調と制御電流との関係曲線C3を算出する。本実施形態では、関係曲線C3を示す情報が光量テーブル253tとして保存される。なお、関係曲線C3を示す情報は、階調又は階調毎の光量と制御電流との関係を示す演算式として保存されてもよい。   FIG. 12 is a diagram illustrating a relationship example between the gradation of the display image and the control current in the light amount table update process of FIG. 7A. In step S7 of FIG. 7A, the control system 250 newly adds gradation and control current as shown in FIG. 12 based on the information indicating the characteristic curve C1 between the light amount and control current in FIG. 9 and the curve C2 in FIG. The relationship curve C3 is calculated. In the present embodiment, information indicating the relationship curve C3 is stored as the light amount table 253t. Note that the information indicating the relationship curve C3 may be stored as an arithmetic expression indicating the relationship between the gradation or the light amount for each gradation and the control current.

図13は、異なるパルス駆動条件における光量と制御電流との関係を示す図である。また、本実施形態では、パルス駆動することによるレーザ光源201R,201G,201B毎の減光率の違いに関わらすホワイトバランスを維持するために、パルス駆動条件の総数Nに対応する個数の光量テーブル253tを作成し、更新する。   FIG. 13 is a diagram illustrating the relationship between the light amount and the control current under different pulse driving conditions. In the present embodiment, the number of light quantity tables corresponding to the total number N of pulse driving conditions is used to maintain the white balance related to the difference in the light reduction rate for each of the laser light sources 201R, 201G, and 201B by the pulse driving. 253t is created and updated.

図13において、特性曲線C11は連続発光、すなわちデューティ比1のパルス駆動条件における制御電流に対する光量の特性を示し、特性曲線C12はデューティ比0.5のパルス駆動条件における制御電流に対する光量の特性を示す。なお、パルス駆動時の光量は所定期間における積算光量で測定されるとする。また説明の便宜上、以下、図13はレーザ光源201Rの特性であるとする。   In FIG. 13, a characteristic curve C11 shows the characteristic of the light quantity with respect to the control current under continuous light emission, that is, a pulse driving condition with a duty ratio of 1, and a characteristic curve C12 shows the characteristic of the light quantity with respect to the control current under a pulse driving condition with a duty ratio of 0.5. Show. It is assumed that the light amount during pulse driving is measured by the integrated light amount in a predetermined period. Further, for convenience of explanation, hereinafter, it is assumed that FIG. 13 shows the characteristics of the laser light source 201R.

図13において、連続発光時に制御電流I11がレーザ光源201Rに供給されたとき、光量は特性曲線C11に基づき光量P11となる。このため、理想的にはデューティ比0.5の場合に制御電流I11をレーザ光源201Rに供給することで、連続発光時の光量P11の半分の光量P12を得られるはずである。しかし、レーザ光源201Rの応答性が悪い場合、発光期間において所望の光量に立ち上がるまでに時間を費やし、積算光量は低下する。このため、図13の特性曲線C12の例では、制御電流I11がレーザ光源201Rに供給された場合の光量は、光量P12よりも小さい光量P13となる。   In FIG. 13, when the control current I11 is supplied to the laser light source 201R during continuous light emission, the light amount becomes the light amount P11 based on the characteristic curve C11. Therefore, ideally, by supplying the control current I11 to the laser light source 201R when the duty ratio is 0.5, the light amount P12 that is half of the light amount P11 during continuous light emission should be obtained. However, when the responsiveness of the laser light source 201R is poor, it takes time to rise to a desired light amount during the light emission period, and the integrated light amount decreases. For this reason, in the example of the characteristic curve C12 in FIG. 13, the light amount when the control current I11 is supplied to the laser light source 201R is the light amount P13 smaller than the light amount P12.

各レーザ光源201R,201G,201Bの応答性はそれぞれレーザ固有の特性であり、温度及び電流値によっても変化する。このため、パルス駆動条件の切り替えの前後で同じ制御電流を各レーザ光源201R,201G,201Bに供給すると、表示画像におけるホワイトバランスが崩れる場合が考えられる。そこで、本実施形態では、各レーザ光源201R,201G,201Bのパルス駆動条件毎に光量テーブル253tを作成しておく。そして当該光量テーブル253tを用いて、各レーザ光源201R,201G,201Bについて個別に制御電流と積算光量との関係を管理する。例えば、図13の例では、レーザ光源201Rの特性曲線C12に基づき光量P12を得ることができる制御電流I12を対応する光量テーブル253tにおいて予め記録しておく。他のレーザ光源201G,201Bに対しても同様の管理をすることで、デューティ比0.5のパルス駆動条件において確実にホワイトバランスを維持することができる。   The responsiveness of each of the laser light sources 201R, 201G, and 201B is a characteristic unique to the laser, and varies depending on the temperature and current value. For this reason, if the same control current is supplied to the laser light sources 201R, 201G, and 201B before and after the switching of the pulse driving conditions, the white balance in the display image may be lost. Therefore, in the present embodiment, a light amount table 253t is created for each pulse driving condition of the laser light sources 201R, 201G, and 201B. Then, using the light amount table 253t, the relationship between the control current and the integrated light amount is individually managed for each of the laser light sources 201R, 201G, and 201B. For example, in the example of FIG. 13, the control current I12 that can obtain the light quantity P12 based on the characteristic curve C12 of the laser light source 201R is recorded in advance in the corresponding light quantity table 253t. By performing similar management for the other laser light sources 201G and 201B, it is possible to reliably maintain white balance under a pulse driving condition with a duty ratio of 0.5.

本実施形態において、以上のような各レーザ光源201R,201G,201Bについての各パルス駆動条件における制御電流と階調との関係を示す光量テーブル253tは、図7Aと共に上述した処理によって随時、更新される。これにより、急激な外光の変化及び温度変化があった場合にも、HUD装置200はホワイトバランスを維持しながら高精度に表示画像を表示することができる。   In the present embodiment, the light amount table 253t indicating the relationship between the control current and the gradation in each pulse driving condition for each of the laser light sources 201R, 201G, and 201B as described above is updated as needed by the process described above with reference to FIG. 7A. The Thereby, even when there is a sudden change in external light and temperature, the HUD device 200 can display a display image with high accuracy while maintaining white balance.

これまで述べたような構成を有するHUD装置200は表示画像を表示する画像表示装置の一例である。HUD装置200は、レーザ光源201R,201G,201Bと、光走査装置208と、パワーモニタ用PD206と、ROM253と、制御系250とを含む。レーザ光源201R,201G,201Bは、光を出射する。光走査装置208は、レーザ光源201R,201G,201Bからの光で所定の走査領域600を走査して表示画像を描画する。パワーモニタ用PD206は、レーザ光源201R,201G,201Bからの光の光量を検出する。ROM253は、レーザ光源201R,201G,201Bに供給される制御電流と光量との関係を示す光量テーブル253tを記憶する。制御系250は、光量テーブル253tに基づき、レーザ光源201R,201G,201Bからの光によって表示画像を表示するように制御電流を制御する。制御系250は、光走査装置208が表示画像の外部の光量取得領域620を走査しているときにパワーモニタ用PD206によって検出された光量を取得し、取得した光量に基づきROM253に記憶された光量テーブル253tを更新する。   The HUD device 200 having the above-described configuration is an example of an image display device that displays a display image. The HUD device 200 includes laser light sources 201R, 201G, and 201B, an optical scanning device 208, a power monitor PD 206, a ROM 253, and a control system 250. The laser light sources 201R, 201G, and 201B emit light. The optical scanning device 208 draws a display image by scanning a predetermined scanning region 600 with light from the laser light sources 201R, 201G, and 201B. The power monitor PD 206 detects the amount of light from the laser light sources 201R, 201G, and 201B. The ROM 253 stores a light amount table 253t indicating the relationship between the control current supplied to the laser light sources 201R, 201G, and 201B and the light amount. Based on the light quantity table 253t, the control system 250 controls the control current so that the display image is displayed by the light from the laser light sources 201R, 201G, and 201B. The control system 250 acquires the light amount detected by the power monitor PD 206 when the optical scanning device 208 is scanning the external light amount acquisition region 620 of the display image, and stores the light amount stored in the ROM 253 based on the acquired light amount. The table 253t is updated.

HUD装置200によると、光量取得領域620の走査中にパワーモニタ用PD206によって検出された光量に基づき、ROM253に記憶された光量テーブル253tが更新される。これにより、種々の階調を有する表示画像を高精度に表示することができる。   According to the HUD device 200, the light quantity table 253t stored in the ROM 253 is updated based on the light quantity detected by the power monitor PD 206 during the scanning of the light quantity acquisition region 620. Thereby, a display image having various gradations can be displayed with high accuracy.

[実施形態2]
実施形態1では、全てのパルス駆動条件の光量テーブル253tを例えば周期的に更新した。実施形態2では、道路等の周囲環境に基づきパルス駆動条件を切り替えることを予測する。そして予測された切り替えタイミング前に、予測された切り替えタイミングで選択される予定のパルス駆動条件に対応する光量テーブル253tを更新する。以下、図14A及び図14Bを参照して本実施形態を説明する。
[Embodiment 2]
In the first embodiment, the light amount table 253t for all pulse driving conditions is periodically updated, for example. In the second embodiment, it is predicted that the pulse driving condition is switched based on the surrounding environment such as a road. Then, before the predicted switching timing, the light amount table 253t corresponding to the pulse drive condition scheduled to be selected at the predicted switching timing is updated. Hereinafter, this embodiment will be described with reference to FIGS. 14A and 14B.

図14Aは、実施形態2に係る制御系250によって実行される光量テーブル更新処理例を示すフローチャートである。本実施形態に係るHUD装置200は、図7Aの光量テーブル更新処理及び図7Bの光量テーブル切り替え処理に代えて、図14Aの光量テーブル更新処理及び図14Bの光量テーブル切り替え処理を実行する。   FIG. 14A is a flowchart illustrating an example of a light amount table update process executed by the control system 250 according to the second embodiment. The HUD device 200 according to the present embodiment executes a light amount table update process in FIG. 14A and a light amount table change process in FIG. 14B instead of the light amount table update process in FIG. 7A and the light amount table change process in FIG. 7B.

図14AのステップS11において、制御系250はパルス駆動条件の切り替えが予測されるか否かを判断する。制御系250は、パルス駆動条件の切り替えが予測されないと判断した場合(ステップS11のNO)、所定の周期でステップS11の処理を繰り返す。   In step S11 of FIG. 14A, the control system 250 determines whether or not switching of the pulse driving condition is predicted. When the control system 250 determines that the switching of the pulse driving condition is not predicted (NO in step S11), the control system 250 repeats the process of step S11 at a predetermined cycle.

ステップS11の判断は、例えば図6のHUD装置200の各種周辺装置から取得される情報に基づいて行われる。例えば、図6の車両ナビゲーション装置400から道路状況を取得すること、或いは前方撮影用カメラ110で自車両301の前方を撮像することにより、例えば自車両301がトンネルに入ることを予測することができる。この場合、ステップS11において制御系250は表示画像の輝度を下げるためのパルス駆動条件の切り替えが予測されると判断し(ステップS11のYES)、ステップS12に進む。   The determination in step S11 is performed based on, for example, information acquired from various peripheral devices of the HUD device 200 in FIG. For example, it is possible to predict that the host vehicle 301 enters the tunnel, for example, by acquiring the road situation from the vehicle navigation device 400 of FIG. 6 or imaging the front of the host vehicle 301 with the front shooting camera 110. . In this case, in step S11, the control system 250 determines that switching of the pulse driving condition for reducing the luminance of the display image is predicted (YES in step S11), and proceeds to step S12.

ステップS12において、制御系250は、切り替え後に選択するパルス駆動条件を推定し、推定した選択予定のパルス駆動条件に対し、図14AのステップS13,S14,S15において、それぞれ図7AのステップS5,S6,S7と同様の処理を行った後、本処理を終了する。   In step S12, the control system 250 estimates the pulse drive condition to be selected after switching, and in steps S13, S14, and S15 in FIG. 14A, the steps S5 and S6 in FIG. , S7, the process is terminated.

図14Bは、実施形態2に係る制御系250により実行される光量テーブル切り替え処理例を示すフローチャートである。図14Bの処理は、例えば表示画像のフレーム毎に制御系250が実行する。   FIG. 14B is a flowchart illustrating an example of a light amount table switching process executed by the control system 250 according to the second embodiment. The processing in FIG. 14B is executed by the control system 250 for each frame of the display image, for example.

ステップS111で制御系250は、パルス駆動条件を切り替えるか否かを判断する。ステップS111の判断は、上記のステップS11同様、例えば図6のHUD装置200の各種周辺装置から取得される情報に基づいて行われる。例えば、図6の車両ナビゲーション装置400から道路状況を取得すること、或いは前方撮影用カメラ110で自車両301の前方を撮像することにより、例えば自車両301がトンネルに入ると判断することができる。この場合、ステップS111において制御系250は表示画像の輝度を下げるためのパルス駆動条件の切り替えを行うと判断し(ステップS111のYES)、ステップS112に進む。   In step S111, the control system 250 determines whether to switch the pulse driving condition. The determination in step S111 is made based on information acquired from various peripheral devices of the HUD device 200 in FIG. 6, for example, as in step S11. For example, it is possible to determine that the host vehicle 301 enters the tunnel, for example, by acquiring road conditions from the vehicle navigation device 400 of FIG. 6 or capturing an image of the front of the host vehicle 301 with the front shooting camera 110. In this case, in step S111, the control system 250 determines to switch the pulse driving condition for reducing the luminance of the display image (YES in step S111), and proceeds to step S112.

ステップS111の判断結果がNOであれば制御系250は処理を終了する。   If the determination result in step S111 is NO, the control system 250 ends the process.

ステップS112で制御系250は、表示画像を表示する際に用いる光量テーブル253tを、ステップS111で判断した切り替え後のパルス駆動条件の光量テーブル253tに切り替える。   In step S112, the control system 250 switches the light amount table 253t used when displaying the display image to the light amount table 253t of the pulse driving condition after switching determined in step S111.

以降、制御系250は、このようにして切り替えられた光量テーブル253tを用いてレーザ光源201R,201G,201Bの制御電流を制御することによって当該フレームの表示画像を表示する。   Thereafter, the control system 250 displays the display image of the frame by controlling the control currents of the laser light sources 201R, 201G, and 201B using the light amount table 253t thus switched.

なお、制御系250は、図14AのステップS11及び図14BのステップS111を実質的に同一の処理として実行し、その後、図14AのステップS12〜S15の更新処理を先に実行する。このようにし当該光量テーブル253tが更新された後、制御系250は図15BのステップS112にて、更新後の光量テーブル253tに、表示画像を表示する際に用いる光量テーブル253tを切り替える。その結果、制御系250は、例えば自車両301がトンネルに入る直前に、選択予定の光量テーブル253tを更新し、トンネル内では更新後の光量テーブル253tを用いて表示画像を表示する。
このようにして、選択予定の光量テーブル253tが選択直前に更新されるので、効率良くホワイトバランスを維持しながら高精度の表示画像を表示することができる。
Note that the control system 250 executes step S11 in FIG. 14A and step S111 in FIG. 14B as substantially the same processing, and then executes the update processing in steps S12 to S15 in FIG. 14A first. After the light quantity table 253t is updated in this way, the control system 250 switches the light quantity table 253t used when displaying the display image to the updated light quantity table 253t in step S112 of FIG. 15B. As a result, the control system 250 updates the light quantity table 253t to be selected immediately before the host vehicle 301 enters the tunnel, for example, and displays a display image using the updated light quantity table 253t in the tunnel.
Thus, since the light quantity table 253t to be selected is updated immediately before selection, a highly accurate display image can be displayed while maintaining white balance efficiently.

また、ステップS14において、制御系250は、光走査装置208が表示画像の外部の領域を走査しているときに、表示画像を表示するためのパルス駆動条件とは別の選択予定のパルス駆動条件を選択し、レーザ光源201R,201G,201Bからのレーザ光をパルス変調する。これと共に、制御系250は、パワーモニタ用PD206から光量を取得する。これにより、表示画像を表示中に、表示画像を表示するためのパルス駆動条件とは異なるパルス駆動条件の光量と制御電流との関係が取得され、光量テーブル253tの更新を効率良く行うことができる。   In step S <b> 14, the control system 250 determines a pulse drive condition to be selected that is different from the pulse drive condition for displaying the display image when the optical scanning device 208 is scanning an area outside the display image. Is selected, and the laser beams from the laser light sources 201R, 201G, and 201B are pulse-modulated. At the same time, the control system 250 acquires the amount of light from the power monitor PD 206. Thereby, during display of the display image, the relationship between the light amount and the control current of the pulse drive condition different from the pulse drive condition for displaying the display image is acquired, and the light amount table 253t can be updated efficiently. .

以上の処理において、制御系250はステップS11の予測時に、図14BのステップS112によってパルス駆動条件を切り替えるタイミングを推定してもよい。この場合、制御系250は推定したタイミングから光量テーブルの更新に必要な期間だけ前に、ステップS12以降の処理を開始してもよい。   In the above processing, the control system 250 may estimate the timing for switching the pulse driving condition in step S112 in FIG. 14B when predicting in step S11. In this case, the control system 250 may start the processes after step S12 only before the period necessary for updating the light amount table from the estimated timing.

以上のように、本実施形態にかかるHUD装置200は、表示画像によって車両の運転者に提供する情報を取得する車両ナビゲーション装置400と共に車載システムに含まれる。HUD装置200は、車両ナビゲーション装置400によって取得された情報に基づいて光量テーブル253tの更新を実行するか否かを判断することができる。その場合、車両ナビゲーション装置400からの情報を用いることで、効率良く光量テーブル253tの更新を行うことができる。   As described above, the HUD device 200 according to the present embodiment is included in the in-vehicle system together with the vehicle navigation device 400 that acquires information to be provided to the vehicle driver by the display image. The HUD device 200 can determine whether to update the light amount table 253t based on the information acquired by the vehicle navigation device 400. In that case, by using information from the vehicle navigation device 400, the light amount table 253t can be updated efficiently.

[変形例]
上記実施形態1と実施形態2とを組み合わせることが可能である。
[Modification]
The first embodiment and the second embodiment can be combined.

すなわち、制御系250は、例えば図14AのステップS11における判断結果がYESとなる状況が生じていない場合には図7A、図7Bの処理を実行し、図14AのステップS11における判断結果がYESとなる状況が生じた場合、図7A、図7Bの処理に対し、「割り込み」を入れる。その結果、制御系250は図14A、図14Bの処理を実行する。図14A,図14Bの処理の終了後、制御系250は図7A,図7Bの処理に戻る。   That is, the control system 250 executes the processing of FIGS. 7A and 7B when the situation in which the determination result in step S11 of FIG. 14A is YES does not occur, for example, and the determination result in step S11 of FIG. When such a situation occurs, an “interrupt” is inserted into the processing of FIGS. 7A and 7B. As a result, the control system 250 executes the processes of FIGS. 14A and 14B. After the processing in FIGS. 14A and 14B is completed, the control system 250 returns to the processing in FIGS. 7A and 7B.

また、上記各実施形態では、図4の光源ユニット220において1つのパワーモニタ用PD206を光量検出部として用いた。しかしながらこの例に限られず、パワーモニタ用PD206は光源ユニット220内に設置しなくてもよい。例えば、パワーモニタ用PD206を、光源ユニット220外で光走査装置208による走査後の光束を入射するように設置してもよい。   Further, in each of the above embodiments, one power monitor PD 206 is used as the light amount detection unit in the light source unit 220 of FIG. However, the present invention is not limited to this example, and the power monitor PD 206 may not be installed in the light source unit 220. For example, the power monitor PD 206 may be installed outside the light source unit 220 so that the light beam after scanning by the optical scanning device 208 enters.

また、1つのパワーモニタ用PD206に限らず、複数のパワーモニタ用PD206を用いてもよい。例えば合成素子204によって合成される前の各レーザ光源201B,201R,201Gからの光束を別々に検出するように、各パワーモニタ用PD206を設置する光路を決定してもよい。この場合、図7AのステップS6及び図14AのステップS14において、各色のレーザ光源201B,201R,201Gの光量の検出を同時に行うことができる。   Further, not only one power monitor PD 206 but also a plurality of power monitor PDs 206 may be used. For example, the optical path for installing each power monitor PD 206 may be determined so that the light beams from the laser light sources 201B, 201R, and 201G before being combined by the combining element 204 are detected separately. In this case, in step S6 of FIG. 7A and step S14 of FIG. 14A, the light amounts of the laser light sources 201B, 201R, and 201G of the respective colors can be detected simultaneously.

上記各実施形態では、本発明に係る画像表示装置の一例として自動車用HUD装置200を説明した。本発明に係る画像表示装置は自動車用HUD装置200に限らず、例えば航空機等の他の移動体に搭載されるHUD装置であってもよい。また、視認者が所定の窓越しに移動体(例えば回転寿司店における寿司)を見る場合に当該窓越しに表示画像を表示するHUD装置であってもよい。また、画像表示装置はHUD装置に限らず、例えば種々のHMD(ヘッドマウントディスプレイ)装置であってもよい。   In the above embodiments, the automotive HUD device 200 has been described as an example of the image display device according to the present invention. The image display device according to the present invention is not limited to the automotive HUD device 200 but may be a HUD device mounted on another moving body such as an aircraft. Moreover, when a viewer views a mobile body (for example, sushi in a sushi restaurant) through a predetermined window, the HUD device may display a display image through the window. Further, the image display device is not limited to the HUD device, and may be various HMD (head mounted display) devices, for example.

以上、画像表示装置、車載システム及び画像表示方法を実施形態により説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。   The image display device, the in-vehicle system, and the image display method have been described above by way of the embodiments. However, the present invention is not limited to the above embodiments, and various modifications and improvements can be made within the scope of the present invention.

本国際出願は2016年2月9日に出願した日本国特許出願第2016−023004号に基づく優先権を主張するものであり、日本国特許出願第2016−023004号の全内容を本国際出願に援用する。   This international application claims priority based on Japanese Patent Application No. 2006-023004 filed on February 9, 2016, and the entire contents of Japanese Patent Application No. 2006-023004 are incorporated herein by reference. Incorporate.

110…前方撮影用カメラ
150…環境光センサ
200…自動車用HUD装置
201R,201G,201B…レーザ光源
206…パワーモニタ用PD
208…光走査装置
212…遮光部材
250…制御系
251…FPGA
252…CPU
253…ROM
253t…光量テーブル
254…RAM
300…運転者
301…自車両
302…フロントガラス
400…車両ナビゲーション装置
110: Front photographing camera 150 ... Ambient light sensor 200 ... Automotive HUD device 201R, 201G, 201B ... Laser light source 206 ... PD for power monitor
208: Optical scanning device 212 ... Shading member 250 ... Control system 251 ... FPGA
252 ... CPU
253 ... ROM
253t ... Light quantity table 254 ... RAM
300 ... Driver 301 ... Own vehicle 302 ... Windshield 400 ... Vehicle navigation device

特開2014−132295号公報JP 2014-132295 A

Claims (13)

光を出射する光源と、
前記光源からの光で所定の走査領域を走査して表示画像を描画する光走査部と、
前記光源からの光の光量を検出する光量検出部と、
前記光源に供給される制御電流と光量との関係を記憶する記憶部と、
前記記憶部に記憶された前記制御電流と光量との関係に基づき、前記光源からの光によって前記表示画像を表示するように前記制御電流を制御する制御部と、を含み、
前記制御部は、前記光走査部が前記表示画像の外部の領域を走査する際、当該走査する光の光量を前記光量検出部によって検出し、検出した光量に基づき前記記憶部に記憶された制御電流と光量との関係を更新する、画像表示装置。
A light source that emits light;
An optical scanning unit that draws a display image by scanning a predetermined scanning region with light from the light source;
A light amount detector for detecting the amount of light from the light source;
A storage unit for storing a relationship between a control current supplied to the light source and a light amount;
A control unit that controls the control current so as to display the display image by light from the light source based on the relationship between the control current and the light amount stored in the storage unit,
When the optical scanning unit scans an area outside the display image, the control unit detects the light amount of the scanned light by the light amount detection unit, and the control stored in the storage unit based on the detected light amount An image display device that updates the relationship between current and light intensity.
前記制御部は、前記光源が出射する光をパルス変調して前記表示画像の輝度を制御し、
前記記憶部は、前記光源が出射する光をパルス変調するパルス駆動条件毎に、前記制御電流と光量との関係を記憶する、請求項1に記載の画像表示装置。
The control unit controls the luminance of the display image by pulse-modulating light emitted from the light source,
The image display device according to claim 1, wherein the storage unit stores a relationship between the control current and the light amount for each pulse driving condition for pulse-modulating light emitted from the light source.
前記制御電流と光量との関係は、前記パルス駆動条件毎に前記制御電流と光量とを関連付けたデータテーブルとして前記記憶部に記憶される、請求項2に記載の画像表示装置。   The image display device according to claim 2, wherein the relationship between the control current and the light amount is stored in the storage unit as a data table in which the control current and the light amount are associated with each pulse driving condition. 前記制御部は、前記光走査部が前記表示画像の外部の領域を走査する際、前記表示画像を表示するパルス駆動条件とは異なるパルス駆動条件で前記光源が出射する光をパルス変調し、当該出射された光の光量を前記光量検出部で検出する、請求項2又は3に記載の画像表示装置。   When the optical scanning unit scans an area outside the display image, the control unit performs pulse modulation on light emitted from the light source under a pulse driving condition different from a pulse driving condition for displaying the display image, and The image display device according to claim 2, wherein the light amount of the emitted light is detected by the light amount detection unit. 前記光源は、互いに異なる波長を有する複数色の光を出射する複数の光源素子を含み、
前記制御部は、前記各光源素子について前記制御電流と光量との関係を更新する、請求項1〜4のいずれか1項に記載の画像表示装置。
The light source includes a plurality of light source elements that emit light of a plurality of colors having different wavelengths.
The image display device according to claim 1, wherein the control unit updates a relationship between the control current and the light amount for each light source element.
前記走査領域における前記表示画像の外部の領域を走査する際の光を、前記表示画像を視認する視認者に対して遮光する、請求項1〜5のいずれか1項に記載の画像表示装置。   The image display device according to claim 1, wherein light for scanning an area outside the display image in the scanning area is shielded against a viewer who visually recognizes the display image. 前記制御部は、前記光走査部が前記表示画像の外部の領域を走査する際、前記光量検出部が検出する当該走査する光の光量が所定の光量に到達するように前記制御電流を徐々に変化させる、請求項1〜6のいずれか1項に記載の画像表示装置。   When the optical scanning unit scans an external area of the display image, the control unit gradually increases the control current so that the amount of light to be scanned detected by the light amount detection unit reaches a predetermined light amount. The image display device according to claim 1, wherein the image display device is changed. 前記光源は、前記制御電流に基づき、前記表示画像に含まれる画素毎に時分割で光を出射する、請求項1〜7のいずれか1項に記載の画像表示装置。   The image display device according to claim 1, wherein the light source emits light in a time-sharing manner for each pixel included in the display image based on the control current. 前記制御部は、前記表示画像を表示している期間中に前記記憶部に記憶された前記制御電流と光量との関係を更新し、更新した関係を用いて前記表示画像を表示する、請求項1〜8のいずれか1項に記載の画像表示装置。   The control unit updates a relationship between the control current and the light amount stored in the storage unit during a period during which the display image is displayed, and displays the display image using the updated relationship. The image display device according to any one of 1 to 8. 前記画像表示装置は、車両のフロントガラス又はコンバイナに前記表示画像を表示するヘッドアップディスプレイである、請求項1〜9のいずれか1項に記載の画像表示装置。   The image display device according to claim 1, wherein the image display device is a head-up display that displays the display image on a windshield or a combiner of a vehicle. 請求項1〜10のいずれか1項に記載の画像表示装置と、
前記表示画像によって車両の運転者に提供する情報を取得する情報取得部と、を含む車載システム。
The image display device according to any one of claims 1 to 10,
An in-vehicle system including an information acquisition unit that acquires information to be provided to a driver of the vehicle by the display image.
前記画像表示装置は、前記情報取得部によって取得された情報に基づいて前記記憶部に記憶された関係の更新を実行するか否かを判断する、請求項11に記載の車載システム。   The in-vehicle system according to claim 11, wherein the image display device determines whether or not to update the relationship stored in the storage unit based on the information acquired by the information acquisition unit. 画像表示装置が実行する画像表示方法であって、
光源から光を出射するステップと、
前記光源からの光で所定の走査領域を走査して表示画像を描画するステップと、
前記光源からの光の光量を検出するステップと、
前記光源に供給される制御電流と光量との関係を記憶部に記憶するステップと、
前記記憶された関係に基づき、前記光源からの光によって前記表示画像を表示するように前記制御電流を制御するステップと、を含み、
前記表示画像を描画するステップは、前記表示画像の外部の領域を走査する際、当該走査する光の光量を、前記光量を検出するステップで検出し、検出した光量に基づき前記記憶部に記憶された制御電流と光量との関係を更新するステップを含む、画像表示方法。
An image display method executed by an image display device,
Emitting light from a light source;
Scanning a predetermined scanning area with light from the light source to draw a display image;
Detecting the amount of light from the light source;
Storing the relationship between the control current supplied to the light source and the amount of light in a storage unit;
Controlling the control current to display the display image with light from the light source based on the stored relationship;
In the step of drawing the display image, when scanning an external area of the display image, the light amount of the light to be scanned is detected in the step of detecting the light amount, and is stored in the storage unit based on the detected light amount. An image display method including the step of updating the relationship between the control current and the light amount.
JP2017566565A 2016-02-09 2017-01-19 Image display device, in-vehicle system and image display method Active JP6760311B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016023004 2016-02-09
JP2016023004 2016-02-09
PCT/JP2017/001757 WO2017138321A1 (en) 2016-02-09 2017-01-19 Image display device, car onboard system, and image display method

Publications (2)

Publication Number Publication Date
JPWO2017138321A1 true JPWO2017138321A1 (en) 2019-02-14
JP6760311B2 JP6760311B2 (en) 2020-09-23

Family

ID=59563631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017566565A Active JP6760311B2 (en) 2016-02-09 2017-01-19 Image display device, in-vehicle system and image display method

Country Status (4)

Country Link
US (1) US10986275B2 (en)
EP (1) EP3416376B1 (en)
JP (1) JP6760311B2 (en)
WO (1) WO2017138321A1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017064797A1 (en) * 2015-10-15 2017-04-20 日立マクセル株式会社 Information display device
WO2019126951A1 (en) * 2017-12-25 2019-07-04 歌尔科技有限公司 Laser beam scanning display device, and augmented reality glasses
JP7027992B2 (en) * 2018-03-19 2022-03-02 株式会社リコー Image display device, moving object, image display method and program
JP7115046B2 (en) * 2018-06-05 2022-08-09 株式会社リコー Light source device, display device, display system, moving body, and light amount control method
JP7164405B2 (en) * 2018-11-07 2022-11-01 日立チャネルソリューションズ株式会社 Image reader and method
WO2020217980A1 (en) * 2019-04-25 2020-10-29 キヤノン株式会社 Display device, display device control method, and control program
JP2022184350A (en) * 2021-06-01 2022-12-13 マツダ株式会社 head-up display device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010054879A (en) * 2008-08-29 2010-03-11 Seiko Epson Corp Light source device, image display, and light quantity correcting method
JP2014132302A (en) * 2013-01-07 2014-07-17 Seiko Epson Corp Illumination device and projector
JP2015129783A (en) * 2014-01-06 2015-07-16 セイコーエプソン株式会社 Image display device, projector, and control method of the same
JP2015162526A (en) * 2014-02-26 2015-09-07 日本精機株式会社 Laser light source driving device and display device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4751715B2 (en) 2005-12-22 2011-08-17 株式会社リコー Imaging device
US8089549B2 (en) 2007-09-19 2012-01-03 Ricoh Company, Ltd. Imaging apparatus capable of detecting and displaying information with respect to an incline thereof
JP2009237530A (en) 2007-11-14 2009-10-15 Ricoh Co Ltd Lens drive device, image pickup device and lens drive method
JP2011019035A (en) 2009-07-08 2011-01-27 Ricoh Co Ltd Information device, imaging apparatus having the same, and method of angle correction
JP2011090076A (en) 2009-10-21 2011-05-06 Panasonic Corp Image display device
JP5648487B2 (en) 2011-01-11 2015-01-07 株式会社リコー Imaging device
JP5842419B2 (en) * 2011-07-06 2016-01-13 日本精機株式会社 Head-up display device
JP2013246236A (en) 2012-05-24 2013-12-09 Ricoh Co Ltd Projection type display device
JP5975285B2 (en) * 2012-10-05 2016-08-23 日本精機株式会社 Laser scanning display device
JP2014132295A (en) 2013-01-07 2014-07-17 Hitachi Media Electoronics Co Ltd Laser beam display unit
JP6151051B2 (en) 2013-03-08 2017-06-21 株式会社日立エルジーデータストレージ Laser projection display device and laser drive control method thereof
JP5956949B2 (en) 2013-03-22 2016-07-27 株式会社日立エルジーデータストレージ Image display device
JP6387589B2 (en) * 2013-08-30 2018-09-12 株式会社リコー Image forming apparatus, vehicle, and control method of image forming apparatus
JP6321953B2 (en) * 2013-12-05 2018-05-09 株式会社日立エルジーデータストレージ Laser projection display device
JP6623584B2 (en) * 2015-07-07 2019-12-25 日本精機株式会社 Image generation device, head-up display

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010054879A (en) * 2008-08-29 2010-03-11 Seiko Epson Corp Light source device, image display, and light quantity correcting method
JP2014132302A (en) * 2013-01-07 2014-07-17 Seiko Epson Corp Illumination device and projector
JP2015129783A (en) * 2014-01-06 2015-07-16 セイコーエプソン株式会社 Image display device, projector, and control method of the same
JP2015162526A (en) * 2014-02-26 2015-09-07 日本精機株式会社 Laser light source driving device and display device

Also Published As

Publication number Publication date
EP3416376A4 (en) 2019-03-06
WO2017138321A1 (en) 2017-08-17
EP3416376A1 (en) 2018-12-19
US20180352164A1 (en) 2018-12-06
US10986275B2 (en) 2021-04-20
EP3416376B1 (en) 2020-11-04
JP6760311B2 (en) 2020-09-23

Similar Documents

Publication Publication Date Title
JP6760311B2 (en) Image display device, in-vehicle system and image display method
JP6690657B2 (en) Image display device and image display method
US10551619B2 (en) Information processing system and information display apparatus
US10890762B2 (en) Image display apparatus and image display method
US11333521B2 (en) Head-up display, vehicle device, and information display method
EP3415373B1 (en) Information providing device
JP6969102B2 (en) Image display device and image display method
JP2018041849A (en) Light source device, image display unit and object device
EP3350646A1 (en) Information display apparatus, information provision system, moving object device, information display method, and recording medium
JP6512475B2 (en) INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD, AND INFORMATION PROVIDING CONTROL PROGRAM
EP3348433B1 (en) Information display device and vehicle apparatus
US20210131818A1 (en) Head-up display, vehicle device, and information display method
JPWO2017110942A1 (en) Vehicle head-up display system
JP7027992B2 (en) Image display device, moving object, image display method and program
JP6922217B2 (en) Display device, object device and display method
JP5976925B2 (en) Projection apparatus, head-up display, control method, program, and storage medium
JP2021135369A (en) Light source device, image display device, head-up display apparatus and movable body
WO2019163656A1 (en) Laser light output control device and laser scanning display device
EP3764150A1 (en) Display device, display method, head-up display, and vehicle
US11195439B2 (en) Head-up display apparatus
JP2021012350A (en) Display unit, display method, head-up display, and vehicle
JP2021117703A (en) In-vehicle display device and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180802

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20180802

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R151 Written notification of patent or utility model registration

Ref document number: 6760311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151