JP7065383B2 - 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 - Google Patents

表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 Download PDF

Info

Publication number
JP7065383B2
JP7065383B2 JP2017129897A JP2017129897A JP7065383B2 JP 7065383 B2 JP7065383 B2 JP 7065383B2 JP 2017129897 A JP2017129897 A JP 2017129897A JP 2017129897 A JP2017129897 A JP 2017129897A JP 7065383 B2 JP7065383 B2 JP 7065383B2
Authority
JP
Japan
Prior art keywords
virtual image
display system
control unit
display
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017129897A
Other languages
English (en)
Other versions
JP2019012237A5 (ja
JP2019012237A (ja
Inventor
彰 田中
忠司 芝田
信之 中野
勝長 辻
祥平 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017129897A priority Critical patent/JP7065383B2/ja
Priority to US16/016,695 priority patent/US10699486B2/en
Publication of JP2019012237A publication Critical patent/JP2019012237A/ja
Publication of JP2019012237A5 publication Critical patent/JP2019012237A5/ja
Priority to JP2022014812A priority patent/JP7266257B2/ja
Application granted granted Critical
Publication of JP7065383B2 publication Critical patent/JP7065383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Description

本開示は、一般に表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体に関し、より詳細には、対象空間に虚像を投影する表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体に関する。
従来、車両用の表示装置(表示システム)として、運転に必要な運転情報映像などを、ウインドシールドを介して虚像として遠方表示する車両用ヘッドアップディスプレイ装置が知られている(例えば、特許文献1参照)。
特許文献1に記載の表示装置は、画像が描画されるスクリーンを備えている。スクリーン上に形成される画像は、投影手段を介して車両のウインドシールドで反射され運転者の目に到達するので、運転者の目には、ウインドシールドの先の遠方に、虚像が視認される。
特開2009-150947号公報
ところで、虚像の投影方向(移動体の前方)には、人、自動車、右折箇所、左折箇所等の注意対象が存在する。特許文献1では、表示装置(表示システム)は、注意対象に応じた表示内容の虚像を投影する場合に虚像の距離感がつかめないと、虚像がどの注意対象に応じて表示されているかが認識しづらいという問題がある。
本開示は上記事由に鑑みてなされており、虚像がどの注意対象に応じて表示されているかを認識し易い表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体を提供することを目的とする。
本開示の一態様に係る表示システムは、制御部を備える。前記制御部は、対象空間に投影される虚像の表示を制御する。前記制御部は、注意対象に応じた前記虚像が投影される際に、前記注意対象の周辺に実在する複数の候補点から基準点を選択し、前記基準点に前記虚像を対応付ける。前記複数の候補点のそれぞれは、前記虚像の投影方向における距離が、前記注意対象の投影方向における距離と等しい。前記虚像は、前記基準点を始点として投影される。
本開示の一態様に係る情報提示システムは、前記注意対象を検知する検知システムと、前記表示システムとを備える。
本開示の一態様に係る表示システムの制御方法は、対象空間に投影される虚像の表示を制御する制御ステップを備える表示システムの制御方法である。前記制御ステップでは、注意対象に応じた前記虚像が投影される際に、前記注意対象の周辺に実在する複数の候補点から基準点を選択し、前記基準点に前記虚像を対応付ける。前記複数の候補点のそれぞれは、前記虚像の投影方向における距離が、前記注意対象の投影方向における距離と等しい。前記虚像は、前記基準点を始点として投影される。
本開示の一態様に係るプログラムは、コンピュータ、前記表示システムの制御方法を実行させるためのプログラムである。
本開示の一態様に係る移動体は、前記表示システムと、前記対象空間に前記虚像を投影する投影部と、光透過性を有し、前記投影部で出射された光を反射して、前記虚像を対象者に視認させる反射部材とを備える。
本開示によると、虚像がどの注意対象に応じて表示されているかを認識し易くなる。
図1は、一実施形態に係る表示システムを備える自動車の概念図である。 図2は、同上の表示システムを用いた場合のユーザの視野を示す概念図である。 図3は、同上の表示システムの構成を示す概念図である。 図4は、同上の表示システムの動作を説明するための流れ図である。 図5A、図5Bは、同上の表示システムの動作の具体例を説明する概念図である。 図6A、図6Bは、同上の表示システムの動作の具体例を説明する概念図である。 図7A,図7Bは、同上の表示システムが表示する虚像の表示態様の変形例を説明するための概念図である。 図8A、図8Bは、同上の表示システムが表示する虚像の表示態様の変形例を説明するための概念図である。 図9は、同上の表示システムが表示する虚像の表示態様の変形例を説明するための概念図である。 図10は、同上の表示システムが表示する虚像の表示態様の変形例を説明するための概念図である。 図11A、図11Bは、変形例1における表示システムが表示する虚像の表示態様を説明するための図である。 図12A、図12Bは、変形例2における表示システムが表示する虚像の表示態様を説明するための概念図である。 図13A、図13Bは、変形例2における表示システムが表示する虚像の別の表示態様を説明するための概念図である。 図14A、図14Bは、変形例3における表示システムが表示する虚像の表示態様を説明するための概念図である。 図15は、変形例4における表示システムが表示する虚像の表示態様を説明するための概念図である。 図16は、変形例5における表示システムが表示する虚像の表示態様を説明するための概念図である。
以下に説明する各実施形態及び変形例は、本発明の一例に過ぎず、本発明は、実施形態及び変形例に限定されない。この実施形態及び変形例以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。
(実施形態)
(1)概要
本実施形態の表示システム10は、図1に示すように、例えば、移動体としての自動車100に用いられるヘッドアップディスプレイ(HUD:Head-Up Display)である。
この表示システム10は、自動車100のウインドシールド101に下方から画像を投影するように、自動車100の車室内に設置されている。図1の例では、ウインドシールド101の下方のダッシュボード102内に、表示システム10が配置されている。表示システム10からウインドシールド101に画像が投影されると、反射部材としてのウインドシールド101で反射された画像がユーザ200(運転者)に視認される。
このような表示システム10によれば、ユーザ200は、自動車100の前方(車外)に設定された対象空間400に投影された虚像300を、ウインドシールド101越しに視認する。ここでいう「虚像」は、表示システム10から出射される光がウインドシールド101等の反射物にて発散するとき、その発散光線によって、実際に物体があるように結ばれる像を意味する。ウインドシールド101は光透過性を有しており、対象者であるユーザ200はウインドシールド101を通して自動車100の前方の対象空間400を見ることができる。そのため、ユーザ200は、自動車100の前方に広がる実空間に重ねて、表示システム10にて投影される虚像300を見ることができる。したがって、表示システム10によれば、例えば、車速情報、ナビゲーション情報、歩行者情報、前方車両情報、車線逸脱情報、及び車両コンディション情報等の、種々の運転支援情報を、虚像300として表示し、ユーザ200に視認させることができる。これにより、ユーザ200は、ウインドシールド101の前方に視線を向けた状態から僅かな視線移動だけで、運転支援情報を視覚的に取得することができる。
本実施形態の表示システム10では、対象空間400に形成される虚像300は、少なくとも第1虚像301と第2虚像302との2種類の虚像を含んでいる。ここでいう「第1虚像」は、第1仮想面501上に形成される虚像300(301)である。「第1仮想面」は、表示システム10の光軸500に対する傾斜角度αが所定値γよりも小さい(α<γ)仮想面である。また、ここでいう「第2虚像」は、第2仮想面502上に形成される虚像300(302)である。「第2仮想面」は、表示システム10の光軸500に対する傾斜角度βが所定値γよりも大きい(β>γ)仮想面である。ここでいう「光軸」は、後述する投影光学系4(図3参照)の光学系の光軸であって、対象空間400の中心を通り虚像300の光路に沿った軸を意味する。所定値γは一例として45度であって、傾斜角度βは一例として90度である。
また、本実施形態の表示システム10では、対象空間400に形成される虚像300は、第1虚像301及び第2虚像302に加えて、第3虚像303(図2参照)を含んでいる。「第3虚像」は、第2虚像302と同様に、光軸500に対する傾斜角度βが所定値γよりも大きい第2仮想面502上に形成される虚像300(303)である。詳しくは後述するが、第2仮想面502上に形成される虚像300のうち、可動スクリーン1aを透過する光によって形成される虚像が第2虚像302であって、固定スクリーン1bを透過する光によって形成される虚像が第3虚像303である。
本実施形態では、光軸500は、自動車100の前方の対象空間400において、自動車100の前方の路面600に沿っている。そして、第1虚像301は、路面600に略平行な第1仮想面501上に形成され、第2虚像302及び第3虚像303は、路面600に対して略垂直な第2仮想面502上に形成される。例えば、路面600が水平面である場合には、第1虚像301は水平面に沿って表示され、第2虚像302及び第3虚像303は鉛直面に沿って表示されることになる。
図2は、ユーザ200の視野を示す概念図である。すなわち、本実施形態の表示システム10によれば、図2に示すように、路面600に沿って奥行きをもって視認される第1虚像301と、ユーザ200から一定距離の路面600上に直立して視認される第2虚像302及び第3虚像303とを表示可能である。したがって、ユーザ200においては、第1虚像301については路面600に略平行な平面上にあるように見え、第2虚像302及び第3虚像303については路面600に対して略垂直な平面上にあるように見える。第1虚像301は、一例として、ナビゲーション情報として自動車100の進行方向を示す情報であり、路面600上に右折又は左折を示す矢印を提示すること等が可能である。第2虚像302は、一例として、前方車両又は歩行者までの距離を示す情報であり、前方車両上に前方車両までの距離(車間距離)を提示すること等が可能である。第3虚像303は、一例として、現在時刻、車速情報、及び車両コンディション情報であり、例えば文字、数字、及び記号、又は燃料計等のメータにてこれらの情報を提示すること等が可能である。
また、表示システム10は、検知システム7と組み合わせて、情報提示システム1000を構成している。例えば検知システム7は、図3に示すように、撮像装置71とレーザレーダ72とを備える。
撮像装置71は、カメラを有し、虚像300の投影方向を撮影するように設けられている。レーザレーダ72は、虚像300の投影方向に存在する物体を検知するように設けられている。ここで、投影方向とは、ユーザ200が、虚像300を見る方向である。
検知システム7は、撮像装置71で撮影された画像、及びレーザレーダ72による検知結果を基に、投影方向に自動車、人等の遮蔽物が存在するか否かを検出する。検知システム7は、遮蔽物が存在する場合には、レーザレーダ72による検知結果を基に自動車100から遮蔽物までの距離を求める。具体的には、レーザレーダ72は、対象空間400にパルス状のレーザ光を照射し、対象空間にある物体で反射された反射光を受光する。レーザレーダ72は、レーザ光を照射してから反射光を受光するまでの時間をもとに、物体までの距離を算出する。
また、検知システム7は、例えば、機械学習アルゴリズムによって生成された学習モデルを用いて、撮像装置71で撮影された画像から対象空間に存在する遮蔽物を認識する。
検知システム7は、物体の有無の検知結果と、物体が存在する場合にはその物体までの距離とを含む検知結果情報を、表示システム10に通知する。
また、検知システム7は、GPS(Global Positioning System)を用いて自動車100の現在位置を求めて、自動車100の現在位置をもとに、現在位置の周辺のマップ情報を取得する。なお、検知システム7、予めマップ情報が記憶されたメモリから自動車100の現在位置の周辺のマップ情報を取得してもよいし、外部のサーバと通信することで、自動車100の現在位置の周辺のマップ情報を取得してもよい。ここで、位置情報は、例えば、自動車100の現在位置における道路の情報であり、道路の車線数、車道幅、歩道の有無、勾配、カーブの曲率等の情報である。
また、検知システム7は、先進運転支援システム(ADAS:Advanced Driver Assistance System)等から自動車100の状態を表す車両情報を取得する。車両情報は、例えば、自動車100の走行速度(車速)、加速度、アクセル開度、ブレーキペダルの踏込度等を含んでいる。なお、撮像装置71、レーザレーダ72は、ADASと共用されてもよい。
(2)構成
本実施形態の表示システム10は、図3に示すように、複数のスクリーン1a,1bと、駆動部2と、照射部3と、投影光学系4と、制御部5と、取得部6とを備えている。本実施形態では、投影光学系4は、照射部3とともに、対象空間400(図1参照)に虚像300(図1参照)を投影する投影部40を構成する。
複数のスクリーン1a,1bは、固定スクリーン1b、及び可動スクリーン1aを含んでいる。固定スクリーン1bは、表示システム10の筐体等に対して定位置に固定されている。可動スクリーン1aは、基準面503に対して角度θだけ傾斜している。更に、可動スクリーン1aは、基準面503に直交する移動方向Xに、移動可能に構成されている。ここでいう「基準面」は、可動スクリーン1aの移動方向を規定する仮想平面であって、実在する面ではない。可動スクリーン1aは、基準面503に対して角度θだけ傾斜した姿勢を維持したまま、移動方向X(図3に矢印X1-X2で示す方向)に直進移動可能に構成されている。以下、可動スクリーン1aと固定スクリーン1bとを特に区別しない場合、複数のスクリーン1a,1bの各々を「スクリーン1」と呼ぶこともある。
スクリーン1(可動スクリーン1a及び固定スクリーン1bの各々)は、透光性を有しており、対象空間400(図1参照)に虚像300(図1参照)を形成するための画像を形成する。すなわち、スクリーン1には、照射部3からの光によって画像が描画され、スクリーン1を透過する光により、対象空間400に虚像300が形成される。スクリーン1は、例えば、光拡散性を有し、矩形に形成された板状の部材からなる。スクリーン1は、照射部3と投影光学系4との間に配置されている。
駆動部2は、可動スクリーン1aを移動方向Xに移動させる。ここで、駆動部2は、可動スクリーン1aを、移動方向Xに沿って、投影光学系4に近づく向きと、投影光学系4から離れる向きとの両方に移動させることができる。駆動部2は、例えば、ボイスコイルモータ等の電気駆動型のアクチュエータからなり、制御部5からの第1制御信号に従って動作する。
照射部3は、走査型の光照射部であって、可動スクリーン1a又は固定スクリーン1bに対して光を照射する。照射部3は、光源31及び走査部32を有している。この照射部3は、光源31及び走査部32の各々が制御部5からの第2制御信号を従って動作する。
光源31は、レーザ光を出力するレーザモジュールからなる。この光源31は、赤色(R)のレーザ光を出力する赤色レーザダイオードと、緑色(G)のレーザ光を出力する緑色レーザダイオードと、青色(B)のレーザ光を出力する青色レーザダイオードと、を含んでいる。これら3種類のレーザダイオードから出力される3色のレーザ光は、例えば、ダイクロイックミラーにより合成され、走査部32に入射する。
走査部32は、光源31からの光を走査することにより、可動スクリーン1a又は固定スクリーン1bの一面上を走査する光を可動スクリーン1a又は固定スクリーン1bに照射する。ここで、走査部32は、可動スクリーン1a又は固定スクリーン1bの一面に対し、二次元的に光を走査する、ラスタスキャン(Raster Scan)を行う。
投影光学系4は、照射部3から出力されスクリーン1を透過する光が入射光として入射し、入射光により、対象空間400(図1参照)に虚像300(図1参照)を投影する。ここで、投影光学系4は、スクリーン1に対して可動スクリーン1aの移動方向Xに並ぶように配置されている。投影光学系4は、図3に示すように、拡大レンズ41、第1ミラー42、及び第2ミラー43を有している。
拡大レンズ41、第1ミラー42、及び第2ミラー43は、スクリーン1を透過した光の経路上に、この順で配置されている。拡大レンズ41は、スクリーン1から移動方向Xに沿って出力される光が入射するように、スクリーン1から見て移動方向Xにおける照射部3とは反対側(第1の向きX1側)に配置されている。拡大レンズ41は、照射部3からの光によりスクリーン1に形成された画像を拡大し、第1ミラー42に出力する。第1ミラー42は、拡大レンズ41からの光を第2ミラー43に向けて反射する。第2ミラー43は、第1ミラー42からの光を、ウインドシールド101(図1参照)に向けて反射する。すなわち、投影光学系4は、照射部3からの光によってスクリーン1に形成される画像を、拡大レンズ41にて拡大し、ウインドシールド101に投影することで、対象空間400に虚像300を投影する。ここで、拡大レンズ41の光軸が、投影光学系4の光軸500となる。
制御部5は、例えば、CPU(Central Processing Unit)及びメモリを主構成とするマイクロコンピュータにて構成されている。言い換えれば、制御部5は、CPU及びメモリを有するコンピュータにて実現されており、CPUがメモリに格納されているプログラムを実行することにより、コンピュータが制御部5として機能する。プログラムは、ここでは制御部5のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
制御部5は、駆動部2、照射部3を制御することで、投影部40の投影(表示)を制御する。制御部5は、第1制御信号で駆動部2を制御し、第2制御信号で照射部3を制御する。また、制御部5は、駆動部2の動作と照射部3の動作とを同期させるように構成されている。更に、制御部5は、図3に示すように、駆動制御部51、表示制御部52としての機能を有している。
駆動制御部51は、駆動部2を制御することにより、可動スクリーン1aを基準位置に対して相対的に移動させる。ここでいう「基準位置」は、可動スクリーン1aの移動範囲における規定位置に設定された位置である。駆動制御部51は、可動スクリーン1aを透過する光により対象空間400に第2虚像302を投影するために可動スクリーン1aを移動させるのであり、照射部3による可動スクリーン1aへの描画と同期して駆動部2を制御する。
表示制御部52は、取得部6が取得した1以上の情報に基づいて、表示すべき虚像300の内容(コンテンツ)及び虚像300の表示位置を決定する。具体的には、表示制御部52は、取得部6が取得した1以上の情報に基づいて、ユーザ200が注意すべき注意対象が存在する場合に、ユーザ200に注意喚起を促す表示内容の虚像300及び虚像300の表示位置を決定する。例えば、表示制御部52は、検知システム7からの検出結果が虚像300の投影方向に注意対象が存在することを表す場合、注意対象の周辺に実在する1つ以上の候補点から基準点を選択し、基準点に虚像300を対応付ける。表示制御部52は、駆動制御部51に基準点を始点として虚像を表示(投影)させる。虚像300が注意対象の周辺に実在する1つ以上の候補点のうち基準点を始点として表示されるので、虚像300がどの注意対象に応じて表示されているかをユーザ200が認識し易くなる。ここで、注意対象とは、自動車100の前方に存在する物体(人、他の自動車等)、及び自動車100が左折又は右折すべき位置等である。
取得部6は、自動車100の周辺に存在する物体に関する情報を検知システム7から取得する。具体的には、取得部6は、検知システム7から、検知結果情報を取得する。また、取得部6は、上述したマップ情報、車両情報、位置情報、自動車100に対するナビゲーションに関する情報(ナビゲーション情報)等の情報を取得する。
(3)動作
(3.1)基本動作
以下、本実施形態の表示システム10の基本的な動作について説明する。制御部5は、照射部3を制御し、可動スクリーン1aに対して照射部3から光を照射する。このとき、可動スクリーン1aには、可動スクリーン1aの一面上を走査する光が照射部3から照射される。これにより、可動スクリーン1aには、画像が形成(投影)される。更に、照射部3からの光は可動スクリーン1aを透過し、投影光学系4からウインドシールド101に照射される。これにより、可動スクリーン1aに形成された画像は、自動車100の車室内であってウインドシールド101の下方から、ウインドシールド101に投影される。
投影光学系4からウインドシールド101に画像が投影されると、ウインドシールド101は、投影光学系4からの光を、車室内のユーザ200(運転者)に向けて反射する。これにより、ウインドシールド101で反射された画像が、ユーザ200に視認される。その結果、ユーザ200は、自動車100の前方(車外)に投影された虚像300(第1虚像301又は第2虚像302)を、ウインドシールド101越しに視認することができる。
具体的には、制御部5が移動方向Xにおいて可動スクリーン1aを固定した状態で可動スクリーン1aの一面上に光を走査させることで、路面600に沿って奥行きをもって視認される第1虚像301が形成される。また、制御部5が、可動スクリーン1aの一面における輝点から投影光学系4までのX方向の距離が一定となるように可動スクリーン1aを移動させながら、可動スクリーン1aの一面上に光を走査させる。この結果、ユーザ200から一定距離の路面600上に直立して視認される第2虚像302が形成される。
ここで、制御部5は、可動スクリーン1aに対して照射部3から光が照射されている期間において、駆動制御部51にて駆動部2を制御し、可動スクリーン1aを移動方向Xに移動させる。可動スクリーン1aの一面における照射部3からの光の照射位置、つまり輝点の位置が同じ場合、可動スクリーン1aが第1の向きX1に移動すると、ユーザ200の目(アイポイント)から虚像300までの距離(「視距離」ともいう)は、短くなる。反対に、可動スクリーン1aの一面における輝点の位置が同じ場合に、可動スクリーン1aが第2の向きX2に移動すると、虚像300までの視距離は、長く(遠く)なる。つまり、虚像300までの視距離は移動方向Xにおける可動スクリーン1aの位置によって変化する。
例えば、第1虚像301の視距離を変更する場合には、制御部5は、視距離に応じて可動スクリーン1aをX方向に移動させ、移動後の位置で可動スクリーン1aを固定した状態にして可動スクリーン1aの一面上に光を走査させる。第2虚像302の視距離を変更する場合には、制御部5は、視距離に応じて可動スクリーン1aをX方向に移動させる。制御部5は、移動後の位置を基準にして輝点から投影光学系4までのX方向の距離が一定となるように可動スクリーン1aを移動させながら、可動スクリーン1aの一面上に光を走査させる。
また、制御部5は、照射部3を制御し、固定スクリーン1bに対して照射部3から光を照射する。このとき、固定スクリーン1bには、固定スクリーン1bの一面上を走査する光が照射部3から照射される。これにより、可動スクリーン1aに光を照射する場合と同様に、固定スクリーン1bには画像が形成(投影)され、ウインドシールド101に画像が投影される。その結果、ユーザ200は、自動車100の前方(車外)に投影された虚像300(第3虚像303)を、ウインドシールド101越しに視認することができる。ここで、第3虚像303は、位置が固定された固定スクリーン1bに投影された光で形成されるので、第3虚像303は、ユーザ200から所定の距離(例えば2~3m)の路面600上に直立して視認される。
本実施形態の表示システム10では、走査部32が可動スクリーン1aの縦方向(可動スクリーン1aの基準面503に対して傾斜した方向)に1往復する1周期の間に、第1虚像301、第2虚像302、及び第3虚像303の全てを投影可能である。具体的には、投影部40は、可動スクリーン1a、固定スクリーン1bの順に光を走査する「往路」において、まずは可動スクリーン1aに光を照射して第1虚像301を投影し、その後、固定スクリーン1bに光を照射して第3虚像303を表示する。それから、投影部40は、固定スクリーン1b、可動スクリーン1aの順に光を走査する「復路」において、まずは固定スクリーン1bに光を照射して第3虚像303を表示し、その後、可動スクリーン1aに光を照射して第2虚像302を投影する。
したがって、走査部32が縦方向に走査する1周期の間に、対象空間400には、第1虚像301、第3虚像303、及び第2虚像302が投影される。照射部3における縦方向の走査が比較的高速で行われることにより、ユーザ200においては、第1虚像301、第3虚像303、及び第2虚像302が同時に表示されているように視認される。照射部3における縦方向の走査の周波数は、一例として、60Hz以上である。
(3.2)表示システムの動作
次に、本実施形態における表示システム10の動作について、図4の流れ図を用いて説明する。
表示制御部52は、検知システム7での検知結果に基づいて、虚像300の投影方向(ユーザ200の前方)に注意対象が存在するか否か判断する(ステップS1)。
注意対象が存在しないと判断する場合(ステップS1における「No」)、表示制御部52は、当該判断処理を繰り返す。
注意対象が存在すると判断する場合(ステップS1における「Yes」)、表示制御部52は、検知システム7で求められた注意対象までの距離を取得する(ステップS2)。具体的には、表示制御部52は、虚像300が投影される投影方向における自動車100から注意対象までの距離を取得する。
表示制御部52は、車両周辺(車両の前方)の情報を含む運転支援情報を取得する(ステップS3)。
表示制御部52は、撮像装置71で撮影された画像と運転支援情報とを基に、1つ以上の基準点を抽出する(ステップS4)。具体的には、表示制御部52は、取得した注意対象の周辺に実在する物体(例えば、標識、白線等)を画像と運転支援情報とから特定し、特定した物体又はその一部を候補点として1つ以上抽出する。
表示制御部52は、抽出した1つ以上の候補点から少なくとも1つの基準点を選択する(ステップS5)。例えば、表示制御部52は、1つ以上の候補点のうち、始点として虚像300が表示された際に注意対象と重ならず、かつ注意対象に最も近い候補点を、基準点として選択する。
表示制御部52は、基準点を始点として虚像300を駆動制御部51に表示(投影)させる。駆動制御部51は、基準点を始点として注意対象に応じた虚像300を表示する(ステップS6)。
(4)表示システムの動作の具体例及び表示態様の具体例
表示制御部52は、ステップS1で注意対象A1(ここでは、人)が存在すると判断すると、ステップS2で虚像300の投影方向における自動車100から注意対象A1までの距離dを取得する(図5A参照)。表示制御部52は、運転支援情報を基に、白線B1~B3を求める(図5B参照)。表示制御部52は、白線B1~B3において距離dと等しい位置である候補点C1~C3(仮想線である補助線A2と白線B1~B3とが交差する位置)を抽出する(図6A参照)。つまり、表示制御部52は、投影方向に沿った白線の一部を候補点として抽出する。
表示制御部52は、抽出した候補点C1~C3から1つの基準点(ここでは、候補点C2)を選択し、選択した基準点を始点として第2虚像302として虚像310を表示するように、駆動制御部51を制御する(図6B参照)。ここで、虚像310として表示される内容は、ユーザ200に注意を促す内容である。表示システム10の制御部5は、路面600上に存在する白線の一部を基準点として抽出し、注意対象A1と基準点とを結ぶ仮想線である補助線A2上に虚像310が表示されるように、基準点と虚像310とを対応付けて表示している。
また、上記具体例では、虚像310は補助線A2が表示されない表示態様であるとしたが、この表示態様に限定されない。虚像310は、図7Aに示すように、注意対象A1に応じた表示内容を表す虚像311と補助線A2としての虚像312とを含む表示態様であってもよい。補助線A2を第2虚像302として表示することにより、注意対象A1と虚像311とが対応していることを、ユーザ200がより把握しやすくなる。
または、図7Bに示すように、制御部5は、複数の候補点(候補点C1~C3)から2つの基準点を選択し、選択した2つの基準点(例えば候補点C1,C2)を両端として虚像300(例えば虚像310)を表示してもよい。この場合、補助線A2を虚像として表示してもよいし、表示しなくてもよい。
白線の他、例えば予め大きさが定まっている標識、横断歩道、電柱、街灯、看板等が候補点として抽出される。予め大きさが定まっている標識としては、信号機である。制御部5の表示制御部52は、自動車100に対するナビゲーションの情報(一例として“左折”を表す情報)を表示する際、注意対象A1である左折位置B5の周辺に存在する信号機B10の位置を候補点C10として少なくとも抽出する。表示制御部52は、信号機B10を少なくとも含む1つ以上の候補点から信号機B10を基準点(候補点C10)として選択する。駆動制御部51は、第2虚像302として左折を表す虚像315を基準点に対応付けて表示する(図8A参照)。
また、例えば、注意対象A1(ここでは、人)の周辺に横断歩道B11がある場合には、表示制御部52は、左右方向に並んだ複数の線B110を含む横断歩道B11と白線B12の路面600に沿った延長線とが交わる位置を候補点C11として少なくとも抽出する。表示制御部52は、横断歩道B11を少なくとも含む1つ以上の候補点から候補点C11を基準点として選択する。駆動制御部51は、第2虚像302として注意を促す虚像316を対応付けて表示する(図8B参照)。
また、虚像300の投影方向において所定間隔で並んだ標識B20~B22の対象物のうち注意対象A1の周辺に実在する対象物を候補点C20として少なくとも抽出する。ここで、標識B20~B22は、例えば注意対象A1(ここでは、前方の自動車150)と自動車100と間の距離を表す標識である。表示制御部52は、標識B21を少なくとも含む1つ以上の候補点から候補点C20(標識B21)を基準点として選択する。駆動制御部51は、第2虚像302として注意を促す虚像320を対応付けて表示する(図9参照)。
また、表示システム10は、注意対象A1に対して注意を促す表示内容の第2虚像302としての虚像に影を付加してもよい。例えば、前方の自動車150を注意対象A1とした場合、表示システム10は、自動車100と自動車150との車間について注意を促すために表示内容“減速”とする虚像325(第2虚像302)を、自動車150を基準点として表示する。このとき、表示システム10は、虚像325の影を表す虚像326(第1虚像301)を表示する(図10参照)。第2虚像302である虚像325は、路面600に沿って奥行きがない。そこで、表示システム10は、路面600に沿って奥行きがある影を表す虚像326を表示することで、ユーザ200は、基準点までの距離感を認識しやすくなる。
(5)表示態様の変形例1
上記表示態様の具体例では、第2虚像302は、基準点と注意対象A1とを結ぶ補助線上に表示されたが、表示態様はこれに限定されない。本変形例では、基準点上方に注意対象A1に応じた虚像300を表示する。
例えば、表示システム10は、虚像331と虚像332とを含む虚像330を第2虚像302として表示する(図11A参照)。虚像331は、白線B2の一部である基準点C30から奥に延びたポールを表す。虚像332は、注意対象A1に応じた表示内容を表し、虚像331の先端部に表示される。
また、表示システム10は、虚像332が基準点C30の先端部にあることを、ユーザ200に視認させるために、さらに虚像332の影を表す虚像335を第1虚像301として表示してもよい(図11B参照)。第2虚像302は、路面600に沿って奥行きがない。そこで、表示システム10は、路面600に沿って奥行きがある影を表す虚像335を表示することで、ユーザ200は、基準点C30までの距離感を認識しやすくなる。
(6)表示態様の変形例2
本変形例では、表示システム10は、注意対象A1までの距離に応じて虚像300の表示態様を変更する。
本変形例では、路面600上に注意対象A1として人が存在していると仮定する。図12Aで記載する注意対象A10と図12Bで記載する注意対象A11とでは、虚像300の投影方向における自動車100から注意対象A1までの距離が異なる。自動車100から注意対象A10の距離d1は、自動車100から注意対象A11の距離d2よりも長い。つまり、注意対象A10は遠方に存在し、注意対象A11は近くに存在する。
制御部5は、注意対象A10が遠くにある場合に注意を促す表示内容を表す第2虚像302としての虚像340を白線の一部である基準点C40を始点として表示する。このとき、制御部5は、虚像340の表示領域を小さくし、フィルタリング処理等により表示領域の色及び文字をぼかす(図12A参照)。制御部5は、注意対象A1(A11)が近くにある場合に注意を促す表示内容を表す第2虚像302としての虚像341を白線の一部である基準点C41を始点として表示する。このとき、制御部5は、虚像340と比べて虚像341の表示領域を大きくし、かつ文字をはっきりと表示する(図12B参照)。
なお、注意対象A1が近くにある場合と遠くにある場合とで、表示システム10は、表示領域の表示色を変更してもよい。例えば、表示システム10は、注意対象A1が近くにある場合は表示領域の表示色を赤色(危険を表す色)とし、注意対象A1が遠くにある場合は表示領域の表示色を黄色(注意を表す色)とする。
また、夜間において、自動車100はヘッドライトで光を照射する。そのため、ヘッドライトからの光が照射される範囲と、虚像300とが重なる可能性がある。
例えば、夜間において、表示システム10は注意対象A1(ここでは、人)に応じた表示内容を表す第2虚像302としての虚像350を白線の一部である基準点C50を始点として表示する。このとき、ヘッドライトからの光が照射される範囲D1と虚像350とが重なり、虚像350が見づらくなる(図13A参照)。そのため、ユーザ200が虚像350を視認できない可能性がある。
本変形例の表示システム10は、注意対象A1に応じた虚像351(第2虚像302)を白線の一部である基準点C51を始点として表示する際に、ヘッドライトからの光が照射される範囲D1と虚像351とが重なる場合、虚像351の明度を高くする(図13B参照)。これにより、範囲D1と虚像351とが重なる場合であっても虚像351が見易くなる。
(7)表示態様の変形例3
表示システム10は、ナビゲーション情報を基に、自動車100の走行方向(直進方向、右折方向、左折方向)を第1虚像301として表示することが可能である。そのため、注意対象に応じた表示内容を表す第2虚像302を表示する際に、ナビゲーション情報に基づいた第1虚像301と重なる場合がある。例えば、第1虚像301として直進矢印360を表示していると仮定する。この場合、注意対象A1としての自動車150との車間について注意を促す(車速の減速を促す)ための虚像365を自動車150の手前の一部を基準点として表示する際に、直進矢印360の先端部分362が虚像365と重なって表示される(図14A参照)。そのため、虚像365の表示内容が見づらい場合がある。
そこで、表示システム10は、第1虚像301のうち、第2虚像302と重なる部分(先端部分362)については表示せず、重なっていない部分361を表示する(図14B参照)。これにより、第2虚像302である虚像365は見易くなる。
(8)表示態様の変形例4
表示システム10は、上述したように、第1虚像301及び第2虚像302を表示することが可能である。雪道等のように路面600が明るく見える状態で、第1虚像301又は第2虚像302である虚像300を表示すると、表示された虚像300は見えづらい状態となる。
そこで、本変形例の表示システム10は、路面600の明るさに応じて、虚像300の表示態様を変更する。
表示システム10は、検知システム7から得た画像を基に、路面600の明るさを求める。
表示システム10は、路面600の明るさが所定値以下である場合には、虚像370を第1虚像301又は第2虚像302として白線の一部である基準点C60を始点として注意対象A1である自動車150の手前に表示する(図15A参照)。
表示システム10は、上述したように第1虚像301と第2虚像302とを同時に表示することが可能である。表示システム10は、路面600が明るく見える状態では、つまり路面600の明るさが所定値を超えている場合には、第1虚像301及び第2虚像302を同一の内容かつ同一位置で虚像371として基準点C60を始点として表示する(図15B参照)。第1虚像301及び第2虚像302を同一の内容かつ同一位置で虚像371として表示することで、表示部分の輝度が高くなるため、虚像371は見易く(視認し易く)なる。なお、図15A、図15Bでは、楕円形の虚像370、371を表示しているが、実際には、注意対象に応じた文字、形状等が表示される。
(9)表示態様の変形例5
制御部5は、可動スクリーン1aの移動を制御することで、第2虚像302の表示位置を変更(例えば路面600に沿って手前から奥へ移動)するように第2虚像302を表示することが可能である。つまり、制御部5は、第2虚像302をアニメーションのように表示することが可能である。
表示システム10が、注意対象A1である前方の自動車150の一部を基準点として、注意対象A1としての自動車150を囲む枠を表す第2虚像302を表示する場合を一例として説明する。なお、第2虚像302としての表示内容は文字、記号等を含んでいてもよい。
まず、表示システム10は、自動車150の手前に第2虚像302として枠を表す虚像380を表示する。このとき、表示システム10は、フィルタリング処理等により、虚像380をぼかして表示する(図16A参照)。
その後、表示システム10は、制御部5の制御により、虚像380が自動車150に近づくように、虚像380を路面600に沿って移動させながら表示する。このとき、表示システム10は、虚像380をぼかし度合を小さくしながら移動させる。
さらなる移動により、表示システム10は、虚像380で表される枠で自動車150を囲むように虚像380を表示する(図16B参照)。このとき、表示システム10は、虚像380で表される枠で自動車150を囲む際には、フィルタリング処理を行わない。
このような動作により、表示システム10は、カメラ等で被写体にピントを合わせるように、虚像380を自動車150にピントを合わせるように移動させることができる。これにより、ユーザ200は、虚像380の対象物(自動車150)までの距離を把握することができる。
(その他の変形例)
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、表示システム10と同様の機能は、識別方法、コンピュータプログラム、又はプログラムを記録した記録媒体等で具現化されてもよい。一態様に係る表示システム10の制御方法は、対象空間400に虚像300を投影し、対象者(例えば、ユーザ200)に視認させる投影部40と、虚像300の表示を制御する制御部5とを備える制御方法である。表示システム10の制御方法は、注意対象に応じた虚像300を投影部40が投影する際に、注意対象の周辺に実在する1つ以上の候補点から基準点を選択し、基準点に虚像300を対応付ける。一態様に係るプログラムは、コンピュータシステムを、表示システム10の制御方法を実行するためのプログラムである。
本開示における表示システム10又は表示システム10の制御方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるシステム又は方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよい。また、プログラムは、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1乃至複数の電子回路で構成される。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
また、表示システム10の制御部5の機能は、複数のシステム(装置)に分散して設けられてもよい。制御部5の少なくとも一部の機能は、例えば、クラウド(クラウドコンピューティング)によって実現されてもよい。
また、表示システム10は、車両と車両との間(車車間)、又は車両と信号機及び道路標識等のインフラ(infrastructure)との間(路車間)で、直接的に通信する、いわゆるV2X(Vehicle to Everything)の通信技術を利用してもよい。V2Xの通信技術によれば、例えば、移動体情報を、自動車100が、周辺の車両又はインフラから取得することが可能になる。また、インフラにて対象空間400に投影する虚像300の内容を決定してもよく、この場合、自動車100には、制御部5の少なくとも一部が搭載されなくてもよい。
また、表示システム10は、自動車100の進行方向の前方に設定された対象空間400に虚像300を投影する構成に限らず、例えば、自動車100の進行方向の側方、後方、又は上方等に虚像300を投影してもよい。
また、表示システム10は、自動車100に用いられるヘッドアップディスプレイに限らず、例えば、二輪車、電車、航空機、建設機械、及び船舶等、自動車100以外の移動体にも適用可能である。さらに、表示システム10は、移動体に限らず、例えば、アミューズメント施設で用いられてもよいし、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。
また、表示システム10は、レーザ光を用いて虚像を投影する構成に限らない。例えば、表示システム10は、拡散透過型のスクリーン1に対し、スクリーン1の背後からプロジェクタで画像(虚像300)を投影する構成であってもよい。または、液晶ディスプレイで表示された画像に応じた虚像300を投影部40を介して投影してもよい。
上記実施形態及び各変形例において、注意対象A1に応じた虚像300は、第2虚像302として説明したが、注意対象A1に応じた虚像300は、第1虚像301であってもよい。
上記実施形態及び各変形例では、検知システム7として撮像装置71及びレーザレーダ72を備える構成としたが、この構成に限定されない。検知システム7は、虚像300の投影方向での注意対象A1の有無を検出することができる機能を有していればよい。
上記実施形態及び各変形例では、検知システム7が注意対象A1との距離を求める構成としたが、この構成に限定されない。表示システム10の制御部5が注意対象A1との距離を求めてもよい。
(まとめ)
第1の態様の表示システム(10)は、投影部(40)と、制御部(5)とを備える。投影部(40)は、対象空間(400)に虚像(300)を投影する。制御部(5)は、虚像(300)の表示を制御する。制御部(5)は、注意対象(A1)に応じた虚像(300)を投影部(40)が投影する際に、注意対象(A1)の周辺に実在する1つ以上の候補点から基準点を選択し、基準点に虚像(300)を対応付ける。ここで、注意対象(A1)は、例えば、例えば、人、自動車150等である。
この構成によると、注意対象(A1)の周辺に存在する基準点に虚像(300)を対応付けて表示するので、ユーザ(200)は、虚像(300)がどの注意対象(A1)に応じて表示されているかを認識し易くなる。
第2の態様の表示システム(10)では、第1の態様において、制御部(5)は、撮像された画像を用いて候補点を抽出する。この構成によると、表示システム(10)は、画像から候補点を抽出することができる。
第3の態様の表示システム(10)では、第1又は第2の態様において、制御部(5)は、予め大きさが定まっている標識(例えば信号機B10)を少なくとも候補点として抽出し、標識を基準点として選択する。この構成によると、表示システム(10)は、予め大きさが定まっている標識を基準点とするので、ユーザ(200)は、標識までの距離を把握し易くなる。そのため、注意対象(A1)までの距離も把握し易くなる。
第4の態様の表示システム(10)では、第1又は第2の態様において、制御部(5)は、虚像(300)の投影方向において、所定間隔で並んだ複数の対象物(例えば、標識B20~B22)のうち注意対象(A1)の周辺に実在する対象物を少なくとも候補点として抽出し、注意対象(A1)の周辺に実在する対象物を基準点として選択する。この構成によると、所定間隔で並んだ複数の対象物のうち注意対象(A1)の周辺に実在する対象物を基準点とするので、ユーザ(200)は、標識までの距離を把握し易くなる。そのため、注意対象(A1)までの距離も把握し易くなる。
第5の態様の表示システム(10)では、第1又は第2の態様において、制御部(5)は、路面(600)上に存在する複数の白線(B1~B3)の一部を候補点としてそれぞれ抽出し、抽出した複数の候補点のうち1つの候補点を基準点として選択する。この構成によると、路面(600)上に基準点が設けられるので、ユーザ(200)は、標識までの距離を把握し易くなる。
第6の態様の表示システム(10)では、第1又は第2の態様において、制御部(5)は、路面(600)上に存在する複数の白線(B1~B3)の一部を候補点としてそれぞれ抽出し、抽出した複数の候補点のうち1つの候補点を基準点として選択する。制御部(5)は、注意対象(A1)と基準点とを結ぶ仮想線(例えば、補助線A2)上に虚像(300)が表示されるように、基準点と虚像(300)とを対応付ける。この構成によると、注意対象(A1)と基準点とを結ぶ仮想線上に虚像(300)が表示されるので、ユーザ(200)は、虚像(300)がどの注意対象(A1)に応じて表示されているかを認識し易くなる。
第7の態様の表示システム(10)では、第1又は第2の態様において、制御部(5)は、路面(600)上に存在する複数の白線(B1~B3)の一部を候補点としてそれぞれ抽出し、抽出した複数の候補点のうち2つの候補点を基準点として選択する。制御部(5)は、2つの基準点のうち一方の基準点を虚像(300)の両端のうち一端を、他方の基準点を虚像(300)の両端のうち他端を、それぞれ対応付ける。この構成によると、路面600上に基準点が設けられるので、ユーザ(200)は、標識までの距離を把握し易くなる。
第8の態様の表示システム(10)では、第1~第7のいずれかの態様において、制御部(5)は、注意対象(A1)との距離に応じて虚像(300)の表示態様を変更する。この構成によると、注意対象(A1)との距離に応じて虚像(300)の表示態様を変更するので、ユーザ(200)は、注意対象(A1)までの距離を把握し易くなる。
第9の態様の表示システム(10)では、第1~第8のいずれかの態様において、制御部(5)は、注意対象(A1)までの虚像(300)の投影方向における距離を求めて、距離において実在する1つ以上の候補点から基準点を選択する。この構成によると、注意対象(A1)までの虚像(300)の投影方向における距離に応じた基準点を選択するので、ユーザ(200)は、注意対象(A1)までの距離を把握し易くなる。
第10の態様の情報提示システム(1000)は、注意対象(A1)を検知する検知システム(7)と、第1~第9のいずれかの態様の表示システム(10)とを備える。この構成によると、注意対象(A1)の周辺に存在する基準点に虚像(300)を対応付けて表示するので、ユーザ(200)は、虚像(300)がどの注意対象(A1)に応じて表示されているかを認識し易くなる。
第11の態様の表示システム(10)の制御方法は、対象空間(400)に虚像(300)を投影し、対象者(例えば、ユーザ200)に視認させる投影部(40)と、虚像(300)の表示を制御する制御部(5)とを備える表示システム(10)の制御方法である。表示システム(10)の制御方法は、注意対象(A1)に応じた虚像(300)を投影部(40)が投影する際に、注意対象(A1)の周辺に実在する1つ以上の候補点から基準点を選択し、基準点に虚像(300)を対応付ける。この制御方法によると、注意対象(A1)の周辺に存在する基準点に虚像(300)を対応付けて表示するので、ユーザ(200)は、虚像(300)がどの注意対象(A1)に応じて表示されているかを認識し易くなる。
第12の態様のプログラムは、コンピュータを、第11の態様の表示システム(10)の制御方法を実行するためのプログラムである。このプログラムによると、注意対象(A1)の周辺に存在する基準点に虚像(300)を対応付けて表示するので、ユーザ(200)は、虚像(300)がどの注意対象(A1)に応じて表示されているかを認識し易くなる。
第13の態様の移動体(例えば、自動車100)は、第1~第9のいずれかの態様の表示システム(10)と、反射部材(例えば、ウインドシールド101)とを備える。反射部材は、光透過性を有し、投影部(40)で出光された光を反射して、虚像(300)を対象者(例えば、ユーザ200)に視認させる。この構成によると、注意対象(A1)の周辺に存在する基準点に虚像(300)を対応付けて表示するので、ユーザ(200)は、虚像(300)がどの注意対象(A1)に応じて表示されているかを認識し易くなる。
10 表示システム
40 投影部
5 制御部
51 駆動制御部
52 表示制御部
100 自動車(移動体)
150 自動車(注意対象)
101 ウインドシールド(反射部材)
200 ユーザ(対象者)
300 虚像
301 第1虚像
302 第2虚像
303 第3虚像
400 対象空間
7 検知システム
1000 情報提示システム
A1 注意対象
A2 補助線(仮想線)
B1~B3 白線

Claims (13)

  1. 対象空間に投影される虚像の表示を制御する制御部を備え、
    前記制御部は、
    注意対象に応じた前記虚像が投影される際に、前記注意対象の周辺に実在する複数の候補点から基準点を選択し、前記基準点に前記虚像を対応付け、
    前記複数の候補点のそれぞれは、前記虚像の投影方向における距離が、前記注意対象の投影方向における距離と等しく、
    前記虚像は、前記基準点を始点として投影される
    ことを特徴とする表示システム。
  2. 前記制御部は、撮像された画像を用いて前記複数の候補点を抽出する
    ことを特徴とする請求項1に記載の表示システム。
  3. 前記制御部は、予め大きさが定まっている標識を前記複数の候補点に含まれる1つの候補点として抽出し、前記標識を前記基準点として選択する
    ことを特徴とする請求項1又は2に記載の表示システム。
  4. 前記制御部は、前記虚像の投影方向において、所定間隔で並んだ複数の対象物のうち前記注意対象の周辺に実在する対象物を前記複数の候補点に含まれる1つの候補点として抽出し、前記注意対象の周辺に実在する対象物を前記基準点として選択する
    ことを特徴とする請求項1又は2に記載の表示システム。
  5. 前記制御部は、路面上に存在する複数の白線それぞれの一部を前記複数の候補点として抽出し、抽出した前記複数の候補点のうち1つの候補点を前記基準点として選択する
    ことを特徴とする請求項1又は2に記載の表示システム。
  6. 前記制御部は、路面上に存在する複数の白線それぞれの一部を前記複数の候補点として抽出し、抽出した前記複数の候補点のうち1つの候補点を前記基準点として選択し、前記注意対象と前記基準点とを結ぶ仮想線上に前記虚像が表示されるように、前記基準点と前記虚像
    とを対応付ける
    ことを特徴とする請求項1又は2に記載の表示システム。
  7. 前記制御部は、路面上に存在する複数の白線それぞれの一部を前記複数の候補点として抽出し、抽出した前記複数の候補点のうち2つの候補点を前記基準点として選択し、2つの前記基準点のうち一方の前記基準点を前記虚像の両端のうち一端を、他方の前記基準点を前記虚像の両端のうち他端を、それぞれ対応付ける
    ことを特徴とする請求項1又は2に記載の表示システム。
  8. 前記制御部は、前記注意対象との距離に応じて前記虚像の表示態様を変更する
    ことを特徴とする請求項1~7のいずれか一項に記載の表示システム。
  9. 前記制御部は、前記注意対象までの前記虚像の投影方向における距離を求めて、前記距離において実在する前記複数の候補点から基準点を選択する
    ことを特徴とする請求項1~8のいずれか一項に記載の表示システム。
  10. 前記注意対象を検知する検知システムと、
    請求項1~9のいずれか一項に記載の表示システムとを備える
    ことを特徴とする情報提示システム。
  11. 対象空間に投影される虚像の表示を制御する制御ステップを備える表示システムの制御方法であって、
    前記制御ステップでは、注意対象に応じた前記虚像が投影される際に、前記注意対象の周辺に実在する複数の候補点から基準点を選択し、前記基準点に前記虚像を対応付け、
    前記複数の候補点のそれぞれは、前記虚像の投影方向における距離が、前記注意対象の投影方向における距離と等しく、
    前記虚像は、前記基準点を始点として投影される
    ことを特徴とする表示システムの制御方法。
  12. コンピュータに、
    請求項11に記載の表示システムの制御方法を実行させるためのプログラム。
  13. 請求項1~9のいずれか一項に記載の表示システムと、
    前記対象空間に前記虚像を投影する投影部と、
    光透過性を有し、前記投影部で出射された光を反射して、前記虚像を対象者に視認させる反射部材とを備える
    ことを特徴とする移動体。
JP2017129897A 2017-06-30 2017-06-30 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 Active JP7065383B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017129897A JP7065383B2 (ja) 2017-06-30 2017-06-30 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US16/016,695 US10699486B2 (en) 2017-06-30 2018-06-25 Display system, information presentation system, control method of display system, storage medium, and mobile body
JP2022014812A JP7266257B2 (ja) 2017-06-30 2022-02-02 表示システム、及び表示システムの制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017129897A JP7065383B2 (ja) 2017-06-30 2017-06-30 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022014812A Division JP7266257B2 (ja) 2017-06-30 2022-02-02 表示システム、及び表示システムの制御方法

Publications (3)

Publication Number Publication Date
JP2019012237A JP2019012237A (ja) 2019-01-24
JP2019012237A5 JP2019012237A5 (ja) 2020-08-06
JP7065383B2 true JP7065383B2 (ja) 2022-05-12

Family

ID=64738128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017129897A Active JP7065383B2 (ja) 2017-06-30 2017-06-30 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体

Country Status (2)

Country Link
US (1) US10699486B2 (ja)
JP (1) JP7065383B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6834537B2 (ja) * 2017-01-30 2021-02-24 株式会社リコー 表示装置、移動体装置、表示装置の製造方法及び表示方法。
WO2018020661A1 (ja) * 2016-07-29 2018-02-01 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
JP6930120B2 (ja) * 2017-02-02 2021-09-01 株式会社リコー 表示装置、移動体装置及び表示方法。
JP7033029B2 (ja) * 2018-07-30 2022-03-09 本田技研工業株式会社 制御装置及びプログラム
JP7208356B2 (ja) * 2018-09-26 2023-01-18 コーヒレント・ロジックス・インコーポレーテッド 任意の世界ビューの生成
US11480854B2 (en) * 2018-12-26 2022-10-25 Lumileds Llc Vehicle side and rear exterior illumination and projection
JP7158279B2 (ja) * 2018-12-28 2022-10-21 株式会社小糸製作所 標識灯システム
GB2580401B (en) * 2019-01-10 2021-06-30 Jaguar Land Rover Ltd A control system, system and method for providing assistance to an occupant of a vehicle
WO2021006060A1 (ja) * 2019-07-08 2021-01-14 株式会社デンソー 表示制御装置および表示制御プログラム
JP7402083B2 (ja) * 2020-02-28 2023-12-20 本田技研工業株式会社 表示方法、表示装置及び表示システム
US11421400B2 (en) * 2020-04-23 2022-08-23 Deere & Company Multiple mode operational system and method with object detection
DE102020207314A1 (de) * 2020-06-11 2021-12-16 Volkswagen Aktiengesellschaft Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Fortbewegungsmittel
JP2022135253A (ja) * 2021-03-05 2022-09-15 マクセル株式会社 空間浮遊映像表示装置
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175535A (ja) 2000-09-29 2002-06-21 Nissan Motor Co Ltd 道路白線認識装置
JP2009150947A (ja) 2007-12-19 2009-07-09 Hitachi Ltd 車両用ヘッドアップディスプレイ装置
WO2010073616A1 (ja) 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法
US20110199198A1 (en) 2010-02-09 2011-08-18 Yiwen Yang Method for operating a heads-up display system, heads-up display system
US20130034261A1 (en) 2011-03-04 2013-02-07 Quantum Signal, Llc Road sign detection and tracking within field-of-view (FOV) video data
JP2015035165A (ja) 2013-08-09 2015-02-19 本田技研工業株式会社 標識情報出力装置
JP2015128956A (ja) 2014-01-08 2015-07-16 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
JP2016112984A (ja) 2014-12-12 2016-06-23 日本精機株式会社 車両用虚像表示システム、ヘッドアップディスプレイ
US9418479B1 (en) 2010-12-23 2016-08-16 Amazon Technologies, Inc. Quasi-virtual objects in an augmented reality environment
JP2016172469A (ja) 2015-03-16 2016-09-29 株式会社デンソー 画像生成装置
JP2017003946A (ja) 2015-06-16 2017-01-05 株式会社Jvcケンウッド 虚像提示システム、画像投射装置および虚像提示方法
JP2017081428A (ja) 2015-10-28 2017-05-18 日本精機株式会社 車両用表示装置
US20170221272A1 (en) 2016-01-29 2017-08-03 Jia Li Local augmented reality persistent sticker objects

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095797A (ja) * 2009-10-27 2011-05-12 Sony Corp 画像処理装置、画像処理方法及びプログラム
EP2833290B1 (en) * 2013-07-31 2017-09-27 Honda Motor Co., Ltd. Sign information output apparatus

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175535A (ja) 2000-09-29 2002-06-21 Nissan Motor Co Ltd 道路白線認識装置
JP2009150947A (ja) 2007-12-19 2009-07-09 Hitachi Ltd 車両用ヘッドアップディスプレイ装置
WO2010073616A1 (ja) 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法
US20110199198A1 (en) 2010-02-09 2011-08-18 Yiwen Yang Method for operating a heads-up display system, heads-up display system
US9418479B1 (en) 2010-12-23 2016-08-16 Amazon Technologies, Inc. Quasi-virtual objects in an augmented reality environment
US20130034261A1 (en) 2011-03-04 2013-02-07 Quantum Signal, Llc Road sign detection and tracking within field-of-view (FOV) video data
JP2015035165A (ja) 2013-08-09 2015-02-19 本田技研工業株式会社 標識情報出力装置
JP2015128956A (ja) 2014-01-08 2015-07-16 パイオニア株式会社 ヘッドアップディスプレイ、制御方法、プログラム、及び記憶媒体
JP2016112984A (ja) 2014-12-12 2016-06-23 日本精機株式会社 車両用虚像表示システム、ヘッドアップディスプレイ
JP2016172469A (ja) 2015-03-16 2016-09-29 株式会社デンソー 画像生成装置
JP2017003946A (ja) 2015-06-16 2017-01-05 株式会社Jvcケンウッド 虚像提示システム、画像投射装置および虚像提示方法
JP2017081428A (ja) 2015-10-28 2017-05-18 日本精機株式会社 車両用表示装置
US20170221272A1 (en) 2016-01-29 2017-08-03 Jia Li Local augmented reality persistent sticker objects

Also Published As

Publication number Publication date
US20190005727A1 (en) 2019-01-03
US10699486B2 (en) 2020-06-30
JP2019012237A (ja) 2019-01-24

Similar Documents

Publication Publication Date Title
JP7065383B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP6861375B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP6883759B2 (ja) 表示システム、表示システムの制御方法、プログラム、及び移動体
US8536995B2 (en) Information display apparatus and information display method
JP7113259B2 (ja) 表示システム、表示システムを備える情報提示システム、表示システムの制御方法、プログラム、及び表示システムを備える移動体
US9164281B2 (en) Volumetric heads-up display with dynamic focal plane
CN108700744B (zh) 信息显示装置
JP5173031B2 (ja) 表示装置及び表示方法
JP6512449B2 (ja) 表示装置
US10649207B1 (en) Display system, information presentation system, method for controlling display system, recording medium, and mobile body
US10663722B2 (en) Display device
WO2019097762A1 (ja) 重畳画像表示装置及びコンピュータプログラム
JP6443716B2 (ja) 画像表示装置、画像表示方法及び画像表示制御プログラム
JP6876277B2 (ja) 制御装置、表示装置、表示方法及びプログラム
US20210268961A1 (en) Display method, display device, and display system
JP7266257B2 (ja) 表示システム、及び表示システムの制御方法
US10983343B2 (en) Display system, moving vehicle, method for controlling the display system, and non-transitory storage medium
JP2018169169A (ja) ヘッドアップディスプレイ装置
WO2020040276A1 (ja) 表示装置
JP2021037916A (ja) 表示制御装置及び表示制御プログラム
JP7338632B2 (ja) 表示装置
JP2022024730A (ja) ヘッドアップディスプレイ装置、表示制御装置、及び表示制御プログラム
JP2021160409A (ja) 表示制御装置、画像表示装置、及び方法
JP2019202641A (ja) 表示装置
JP2019207672A (ja) 表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210524

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220202

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220202

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220214

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220331

R151 Written notification of patent or utility model registration

Ref document number: 7065383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03