JP7079747B2 - 表示装置、表示制御方法、およびプログラム - Google Patents

表示装置、表示制御方法、およびプログラム Download PDF

Info

Publication number
JP7079747B2
JP7079747B2 JP2019042786A JP2019042786A JP7079747B2 JP 7079747 B2 JP7079747 B2 JP 7079747B2 JP 2019042786 A JP2019042786 A JP 2019042786A JP 2019042786 A JP2019042786 A JP 2019042786A JP 7079747 B2 JP7079747 B2 JP 7079747B2
Authority
JP
Japan
Prior art keywords
vehicle
projected light
control
display device
outside
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019042786A
Other languages
English (en)
Other versions
JP2020142753A (ja
Inventor
順平 野口
八州志 照田
悠記 原
龍馬 田口
雄太 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019042786A priority Critical patent/JP7079747B2/ja
Priority to CN202010131283.9A priority patent/CN111667687B/zh
Priority to US16/807,206 priority patent/US20200285044A1/en
Publication of JP2020142753A publication Critical patent/JP2020142753A/ja
Application granted granted Critical
Publication of JP7079747B2 publication Critical patent/JP7079747B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/22
    • B60K35/23
    • B60K35/28
    • B60K35/53
    • B60K35/60
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B60K2360/167
    • B60K2360/175
    • B60K2360/349
    • B60K2360/66
    • B60K2360/797
    • B60K35/81
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Description

本発明は、表示装置、表示制御方法、およびプログラムに関する。
近年、車両を自動的に制御することについて研究が進められている。この技術に関連して、駐車中の車両の鍵が鍵置き場などの特定の場所から移動したことを契機として、車両の周辺を撮像し、撮像された画像と車両のユーザの画像とを照合して、ユーザの存在を認識した場合には、車両を所定の位置まで移動させる自動運転装置が知られている(例えば特許文献1参照)。
特開2017-126133号公報
上述のように車両を自動運転制御で移動させる場合、車外にいる人(例えば、交通参加者、車両のユーザなど)は、この車両の状況(出庫処理中、駐車処理中など)を把握することができない。
本発明は、このような事情を考慮してなされたものであり、車外にいる人が自動駐車中の車両の状況を容易に把握することを可能にする表示装置、表示制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る表示装置、表示制御方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る表示装置は、車両に搭載される表示装置であって、投影光を出射する投光装置と、前記投光装置により出射された前記投影光の向きを調整する調整部と、前記投光装置および前記調整部を制御する制御装置と、を備え、前記制御装置は、前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記投影光の向きが異なるように前記調整部を制御し、前記車両が自動駐車制御により走行している場合、前記車両の車外にいる人の位置情報に基づいて、前記投影光が前記車外から視認可能となるように前記調整部を制御するものである。
(2):上記(1)の態様において、前記調整部は、前記投影光を反射する反射板と、前記反射板の向きを変更するアクチュエータとを備え、前記制御装置は、前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記反射板により反射される前記投影光の反射方向が異なるように前記アクチュエータを制御するものである。
(3):上記(2)の態様において、前記制御装置は、前記車両が自動駐車制御により走行している場合、前記反射板により反射される前記投影光が前記車両の車外に出力されるように前記アクチュエータを制御するものである。
(4):上記(1)から(3)のいずれかの態様において、前記投影光は、前記車両の運転状態を示す画像を表示するための情報を含むものである。
(5):上記(2)または(3)の態様において、前記反射板は、ヘッドアップディスプレイ装置である。
(6):上記(1)から(5)のいずれかの態様において、前記制御装置は、前記車両の車外の明るさに基づいて、前記投影光の投影態様を変更するように前記投光装置を制御するものである。
(7):上記(6)の態様において、前記制御装置は、前記車両の車外が明るくなるにつれて、前記投影光の輝度を増大させるように前記投光装置を制御するものである。
(8):上記(1)から(7)のいずれかの態様において、前記制御装置は、前記車両の車外の天候に基づいて、前記投影光の投影態様を変更するように前記投光装置を制御するものである。
(9):上記(1)から(8)のいずれかの態様において、前記制御装置は、前記車両の速度に基づいて、前記投影光の投影態様を変更するように前記投光装置を制御するものである。
(10):上記(9)の態様において、前記制御装置は、前記車両の速度が遅くなるほど、前記投影光の点滅周期が長くなるように前記投光装置を制御するものである。
(11):上記(1)から(10)のいずれかの態様において、前記制御装置は、前記車両の車外の光量が所定の閾値以下の場合にのみ、前記投影光が出射されるように前記投光装置を制御するものである。
(12):上記(1)から(11)のいずれかの態様において、前記制御装置は、前記車両の車外に人がいない場合には、前記投影光が出射されないように前記投光装置を制御するものである。
(13):この発明の一態様に係る表示制御方法は、車両に搭載され、投影光を出射する投光装置と、前記投光装置により出射された前記投影光の向きを調整する調整部とを備える表示装置のコンピュータが、前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記投影光の向きが異なるように前記調整部を制御し、前記車両が自動駐車制御により走行している場合、前記車両の車外にいる人の位置情報に基づいて、前記投影光が前記車外から視認可能となるように前記調整部を制御するものである。
(14):この発明の一態様に係るプログラムは、車両に搭載され、投影光を出射する投光装置と、前記投光装置により出射された前記投影光の向きを調整する調整部とを備える表示装置のコンピュータに、前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記投影光の向きが異なるように前記調整部を制御させ、前記車両が自動駐車制御により走行している場合、前記車両の車外にいる人の位置情報に基づいて、前記投影光が前記車外から視認可能となるように前記調整部を制御させるものである。
(15):この発明の他の態様に係る表示装置は、車両に搭載される表示装置であって、投影光を出射する投光装置と、前記投光装置により出射された前記投影光の向きを調整する調整部と、前記投光装置および前記調整部を制御する制御装置と、を備え、前記制御装置は、前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記投影光の向きが異なるように前記調整部を制御し、前記車両が自動駐車制御により走行している場合、前記車両の車外にいる人の視線位置に基づいて、前記投影光が前記車外から視認可能となるように前記調整部を制御するものである。
(1)~(4)、(11)~(15)によれば、車外にいる人が自動駐車中の車両の状況を容易に把握することができる。
(5)によれば、別途の外部報知機能、専用通知手段を設けることなく、車外にいる人に自動駐車中の車両の状況を通知することができる。
(6)~(10)によれば、より効果的に車外にいる人に車両の状況を通知することができる。






第1実施形態に係る表示装置を利用した車両システム1の構成図である。 第1実施形態に係るHUD装置70が搭載された車両Mの車室内の構成を例示した図である。 第1実施形態に係るHUD装置70において運転者に虚像VIを視認させる構成を例示した概略図である。 第1実施形態に係る運転者からの虚像VIの見え方の一例を示す図である。 第1実施形態に係るHUD装置70において車外にいる人に虚像VIを視認させる構成を例示した概略図である。 第1実施形態に係る車外にいる人からの虚像VIの見え方の一例を示す図である。 第1実施形態に係る表示制御装置75の構成の一例を示すブロック図である。 第1実施形態に係る第1制御部120および第2制御部160の機能構成図である。 第1実施形態に係る自走駐車イベントが実行される場面を模式的に示す図である。 第1実施形態に係る駐車場管理装置400の構成の一例を示す図である。 第1実施形態に係るHUD装置70の動作フローの一例を示すフローチャートである。 第2実施形態に係るHUD装置70の動作フローの一例を示すフローチャートである。 実施形態の表示制御装置75のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の表示装置、表示制御方法、およびプログラムの実施形態について説明する。本発明の表示装置は、車両(以下、車両Mと称する)に搭載される。表示装置は、手動運転時には、運転者に対して、運転者の運転を支援するための情報に関する画像を車両Mの前方の風景と重ねて視認させる。一方、表示装置は、自走駐車時には、車外にいる人(例えば、交通参加者、車両のユーザなど)に対して、車両Mの状況を示す画像を視認させる。表示装置は、例えば、ヘッドアップディスプレイ装置(以下、HUD(Head Up Display)装置と称する)である。以下においては、表示装置がHUD装置であり、自動運転として車両Mが自動バレーパーキングを行う場合を例に挙げて説明する。
以下の説明において、適宜、XYZ座標系を用いて位置関係等を説明する。Z方向は、鉛直方向を表しており、X方向は、Z方向に直交する水平面の一方向を表しており、Y方向は、水平面の他方向を表している。Z方向は、車両Mの高さ方向を表し、X方向は、車両Mの奥行方向を表し、Y方向は、車両Mの幅方向を表している。
<第1実施形態>
[全体構成]
図1は、第1実施形態に係る表示装置を利用した車両システム1の構成図である。車両システム1が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム1は、例えば、カメラ10と、レーダ装置12と、ファインダ14と、物体認識装置16と、通信装置20と、HMI(Human Machine Interface)30と、車両センサ40と、ナビゲーション装置50と、MPU(Map Positioning Unit)60と、HUD装置70と、運転操作子90と、自動運転制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、車両システム1が搭載される車両Mの任意の箇所に取り付けられる。前方を撮像する場合、カメラ10は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ10は、例えば、周期的に繰り返し車両Mの周辺を撮像する。カメラ10は、ステレオカメラであってもよい。
レーダ装置12は、車両Mの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波(反射波)を検出して少なくとも物体の位置(距離および方位)を検出する。レーダ装置12は、車両Mの任意の箇所に取り付けられる。レーダ装置12は、FM-CW(Frequency Modulated Continuous Wave)方式によって物体の位置および速度を検出してもよい。
ファインダ14は、LIDAR(Light Detection and Ranging)である。ファインダ14は、車両Mの周辺に光を照射し、散乱光を測定する。ファインダ14は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ14は、車両Mの任意の箇所に取り付けられる。
物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置16は、認識結果を自動運転制御装置100に出力する。物体認識装置16は、カメラ10、レーダ装置12、およびファインダ14の検出結果をそのまま自動運転制御装置100に出力してよい。車両システム1から物体認識装置16が省略されてもよい。
通信装置20は、例えば、セルラー網やWi-Fi網、Bluetooth(登録商標)、DSRC(Dedicated Short Range Communication)などを利用して、車両Mの周辺に存在する他車両または駐車場管理装置、或いは各種サーバ装置と通信する。駐車場管理装置の機能の詳細については後述する。
HMI30は、車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。
車両センサ40は、車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Mの向きを検出する方位センサ等を含む。
ナビゲーション装置50は、例えば、GNSS(Global Navigation Satellite System)受信機51と、ナビHMI52と、経路決定部53とを備える。ナビゲーション装置50は、HDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に第1地図情報54を保持している。GNSS受信機51は、GNSS衛星から受信した信号に基づいて、車両Mの位置を特定する。車両Mの位置は、車両センサ40の出力を利用したINS(Inertial Navigation System)によって特定または補完されてもよい。ナビHMI52は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビHMI52は、前述したHMI30と一部または全部が共通化されてもよい。経路決定部53は、例えば、GNSS受信機51により特定された車両Mの位置(或いは入力された任意の位置)から、ナビHMI52を用いて乗員により入力された目的地までの経路(以下、地図上経路)を、第1地図情報54を参照して決定する。第1地図情報54は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第1地図情報54は、道路の曲率やPOI(Point Of Interest)情報などを含んでもよい。地図上経路は、MPU60に出力される。ナビゲーション装置50は、地図上経路に基づいて、ナビHMI52を用いた経路案内を行ってもよい。ナビゲーション装置50は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置50は、通信装置20を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。
MPU60は、例えば、推奨車線決定部61を含み、HDDやフラッシュメモリなどの記憶装置に第2地図情報62を保持している。推奨車線決定部61は、ナビゲーション装置50から提供された地図上経路を複数のブロックに分割し(例えば、車両進行方向に関して100[m]毎に分割し)、第2地図情報62を参照してブロックごとに推奨車線を決定する。推奨車線決定部61は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部61は、地図上経路に分岐箇所が存在する場合、車両Mが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。
第2地図情報62は、第1地図情報54よりも高精度な地図情報である。第2地図情報62は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第2地図情報62には、道路情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報などが含まれてよい。第2地図情報62は、通信装置20が他装置と通信することにより、随時、アップデートされてよい。
HUD装置70は、運転者から見てフロントウインドシールドの手前側に設けられたコンバイナに画像を含む光を投光することで、観者に虚像を視認させる。例えば、HUD装置70は、車両Mが手動運転により移動している場合や、車両Mに運転者が乗車している状態で自動運転を行う場合に、運転者に対して、運転者の運転を支援するための情報に関する画像を車両Mの前方の風景と重ねて視認させる。運転者の運転を支援するための情報には、例えば、車両Mの速度、駆動力配分比率、エンジン回転数、運転支援機能の動作状態シフト位置、標識認識結果、交差点位置等の情報が含まれる。運転支援機能とは、例えば、ACC(Adaptive Cruise Control)、LKAS(Lane Keep Assist System)、CMBS(Collision Mitigation Brake System)、トラフィックジャムアシスト機能等である。このHUD装置を用いることで、運転者は、運転時の視線の方向を前方に維持しながら、表示される各種情報を把握することができる。
一方、HUD装置70は、車両Mの自走駐車時には、車外にいる人に対して車両Mの状況を示す画像を視認させる。HUD装置70は、例えば、自動運転として車両Mが自動バレーパーキングを行う場合に、車外にいる人に対して車両Mの状況を示す画像を視認させる。車両Mの状況を示す画像とは、例えば、車両Mが自動運転中(例えば、自動駐車中、自動出庫中)であることを示す情報を含む画像(例えば、文字列)、所定のパターンで点滅する光などである。
図2は、第1実施形態に係るHUD装置70が搭載された車両Mの車室内の構成を例示した図である。車両Mには、例えば、車両Mの操舵を制御するステアリングホイール301と、車外と車室内とを区分するフロントウインドシールド303と、インストルメントパネル305とが設けられる。HUD装置70は、例えば、運転席307の前方のフロントウインドシールド303の手前側に設けられたコンバイナ73に画像を含む光を投光(投影)することで、運転席307に着座した運転者に運転を支援するための情報に関する虚像VIを視認させる。また、HUD装置70は、コンバイナ73に画像を含む光を投光することで、車外にいる人に車両Mの状況を示す虚像VIを視認させる。
図1に示すように、HUD装置70は、例えば、投光装置71と、光学機構72と、コンバイナ73(反射板の一例)(調整部)と、アクチュエータ74(調整部)と、表示制御装置75(制御装置)とを備える。図3は、第1実施形態に係るHUD装置70において運転者に虚像VIを視認させる構成を例示した概略図である。
投光装置71は、例えば、光源71Aと、表示素子71Bとを備える。光源71Aは、例えば、冷陰極管や発光ダイオードである。光源71Aは、運転者または車外にいる人に視認させる虚像VIに対応する可視光(投影光)を出力する。表示素子71Bは、光源71Aからの可視光の透過を制御する。表示素子71Bは、例えば、薄膜トランジスタ(TFT)型の液晶表示装置(LCD)である。また、表示素子71Bは、複数の画素のそれぞれを制御して、光源71Aからの可視光の色要素ごとの透過度合を制御することで、虚像IVに画像要素を含ませ、虚像IVの表示態様(見え方)を決定する。以下では、表示素子71Bを透過した画像が含まれた可視光を画像光ILという。なお、表示素子71Bは、有機EL(Electro Luminescence)ディスプレイであってもよく、この場合、光源71Aは省略されてよい。
光学機構72は、例えば、結像位置調節装置72Aと、平面鏡72Bと、凹面鏡72Cと、透光カバー72Dとを備える。結像位置調節装置72Aは、例えば、一以上のレンズを含む。各レンズの位置は、例えば、光軸方向に調節可能となっている。結像位置調節装置72Aは、例えば、投光装置71により出力された画像光ILの経路上に設けられる。結像位置調節装置72Aは、画像光ILを通過させて、コンバイナ73に向けて出射する。
結像位置調節装置72Aは、例えば、レンズの位置を変更することで、運転者の視線位置P1から、画像光ILが虚像VIとして形成される形成位置(画像光ILが虚像VIとして結像する結像位置)P2までの距離(以下、虚像視認距離D1と称する)を調節することができる。運転者の視線位置P1は、平面鏡72B、凹面鏡72Cおよびコンバイナ73によって反射された画像光ILが集光する位置であり、この位置に運転者の目が存在することが想定される位置である。
平面鏡72Bは、光源71Aから出射され、表示素子71Bを通過した可視光(すなわち、画像光IL)を凹面鏡72Cに向かって反射させる。
凹面鏡72Cは、平面鏡72Bにより反射された画像光ILをコンバイナ73に向かって反射させる。凹面鏡72Cは、車両Mの幅方向であるY軸回りに回転(回動)可能に支持される。
透光カバー72Dは、光透過性を有する部材である。透光カバー72Dは、例えば、プラスチックのような合成樹脂によって形成される。透光カバー72Dは、投光装置71の筐体76の上面に形成された開口部を覆うように設けられる。また、インストルメントパネル305にも開口部あるいは光透過性を有する部材が設けられる。これによって、凹面鏡72Cにより反射された画像光ILが、透光カバー72Dを透過し、コンバイナ73に入射することができると共に、埃や塵、水滴などの異物が筐体76内に入り込むことが抑制される。
コンバイナ73に入射した画像光ILは、コンバイナ73によって反射され、運転者の視線位置P1に集光する。このとき、運転者の視線位置P1に運転者の眼が位置していた場合、運転者は、画像光ILによって写し出される画像が車両Mの前方に表示されているように見える。コンバイナ73は、運転者から見てフロントウインドシールド303の手前側に設けられる。コンバイナ73は、光透過性を有する部材である。コンバイナ73は、例えば、透明なプラスチックディスクである。コンバイナ73は、アクチュエータ74によって、車両Mの幅方向であるY軸回りに回転(回動)可能に支持される。
アクチュエータ74は、コンバイナ73の車両Mの幅方向であるY軸回りの向きを調整する。なお、コンバイナ73およびアクチュエータ74は、筐体76に収容可能であってよい。例えば、コンバイナ73およびアクチュエータ74は、車両Mの電源(またはイグニッション)がオフ状態では筐体76に収容されており、車両Mの電源(またはイグニッション)がオン状態とされた場合に運転者から見てフロントウインドシールド303の手前側の所定の位置に移動されるように構成されてよい。
図4は、第1実施形態に係る運転者からの虚像VIの見え方の一例を示す図である。図示のように、運転者の運転を支援するための情報に関する画像(「80km/h」との速度を示す文字列)が、車両Mの前方の風景に重ねて運転者により視認される。
図5は、第1実施形態に係るHUD装置70において車外にいる人に虚像VIを視認させる構成を例示した概略図である。この場合、コンバイナ73は、アクチュエータ74によって、車外に画像光ILを反射させるようにY軸回りの向きが調整される。コンバイナ73に入射した画像光ILは、コンバイナ73によって車外に向かって反射され、車外にいる人の視線位置P3に集光する。このとき、車外にいる人は、画像光ILによって写し出される画像がコンバイナ73の位置である形成位置P4に表示されているように見える。
図6は、第1実施形態に係る車外にいる人からの虚像VIの見え方の一例を示す図である。図示のように、例えば、「自動出庫中」との車両Mの状態を示す文字などを含む画像が車外にいる人により視認される。これにより、車両Mの周辺に存在する車両Mのユーザでない人にも、車両Mの状態を通知することができる。したがって、車外にいる人は、この画像を視認することで、車両Mが自動制御による自動出庫中の状態であることを認識することができる。
表示制御装置75は、運転者または車外にいる人に視認させる虚像VIの表示を制御する。表示制御装置75は、車両Mが自動駐車制御により走行している場合と車両Mが自動駐車制御によらずに走行している場合とで、コンバイナ73により反射される投影光の反射方向(投影光の向き)が異なるようにアクチュエータ74を制御する。図7は、第1実施形態に係る表示制御装置75の構成の一例を示すブロック図である。表示制御装置75は、例えば、制御部80と、記憶部86とを備える。制御部80は、例えば、取得部81と、判定部82と、目標制御量決定部83と、駆動制御部84と、投影制御部85とを備える。制御部80の各構成要素は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの複数の構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プロセッサによって参照されるプログラムは、記憶部86に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、その記憶媒体が表示制御装置75のドライブ装置に装着されることで記憶部86にインストールされてもよい。
記憶部86は、例えば、HDD、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)などにより実現される。記憶部86に含まれるHDDやフラッシュメモリなどの非一過性の記憶媒体は、NAS(Network Attached Storage)や外部ストレージサーバ装置といったネットワーク(例えばWide Area Network)を介して接続される他の記憶装置によって実現されてもよい。記憶部86は、例えば、プロセッサによって読み出されて実行されるプログラムの他に、各種処理結果を格納する。
取得部81は、自動運転制御装置100により出力された車両Mの運転状態を示す情報(以下、運転状態情報と称する)を取得する。運転状態情報は、例えば、自走駐車制御中(自動駐車制御中)であるか否かを示す情報を含む。また、取得部81は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16および自動運転制御装置100を介して入力された車両Mの周辺情報を取得する。取得部81は、周辺情報として、例えば、車両Mの車外にいる人の位置(視線位置など)を示す情報(位置情報)を取得する。車外にいる人の視線位置は、例えば、カメラ10により撮像された撮像画像に対する解析処理を行い、テンプレートマッチング等の手法を用いて、撮像画像に含まれる車外にいる人の顔の位置や向き、目線等の情報を取得することで検出される。この検出処理は、例えば、物体認識装置16や、自動運転制御装置100の認識部130などで行われる。また、この検出処理は、HUD装置70において行われるようにしてもよい。
判定部82は、取得部81により取得された車両Mの運転状態情報に基づいて、車両Mが自走駐車制御状態であるか否かを判定する。判定部82により車両Mが自走駐車制御状態であると判定された場合、以下、運転者に対して画像表示を行う「車内向け表示モード」での表示制御が行われる。一方、判定部82により車両Mが自走駐車制御状態ではないと判定された場合、以下、車外の人に対して画像表示を行う「車外向け表示モード」での表示制御が行われる。
目標制御量決定部83は、判定部82による判定結果と、取得部81により取得された周辺情報とに基づいて、目標とする虚像視認距離(以下、目標虚像視認距離DTAと称する)と、目標とする仰俯角(以下、目標仰俯角θTAと称する)とを決定する。
虚像視認距離D1とは、図3に示すように、運転者の視線位置P1から、画像光ILが虚像VIとして形成される形成位置P2までの光学的な距離である。また、虚像視認距離D2とは、図5に示すように、車外にいる人の視線位置P3から、画像光ILが虚像VIとして形成される形成位置P4までの光学的な距離である。
仰俯角θ1とは、図3に示すように、運転者の視線位置P1を通る水平方向(X方向)と、運転者によって虚像VIが視認されるときの運転者の視線方向とのなす角である。言い換えれば、仰俯角θ1は、運転者の視線位置P1を通る水平面と、運転者の視線位置P1から虚像VIの形成位置P2までの線分とがなす角度と定義される。虚像VIが下方に形成されているほど、すなわち、運転者の視線方向が下向きであるほど、仰俯角θ1は大きくなる。仰俯角θ1は、コンバイナ73の反射角度φ1(操作量)を決定するための制御量である。反射角度φ1は、図3に示すように、凹面鏡72Cにより反射された画像光ILがコンバイナ73に入射する際の入射方向と、コンバイナ73が画像光ILを反射する際の反射方向とのなす角である。
仰俯角θ2とは、図5に示すように、車外にいる人の視線位置P3を通る水平方向(X方向)と、車外にいる人によって虚像VIが視認されるときの車外にいる人の視線方向とのなす角である。言い換えれば、仰俯角θ2は、車外にいる人の視線位置P3を通る水平面と、車外にいる人の視線位置P3から虚像VIの形成位置P4までの線分とがなす角度と定義される。虚像VIが下方に形成されているほど、すなわち、車外にいる人の視線方向が下向きであるほど、仰俯角θ2は大きくなる。仰俯角θ2は、コンバイナ73の反射角度φ2(操作量)を決定するための制御量である。反射角度φ2は、図5に示すように、凹面鏡72Cにより反射された画像光ILがコンバイナ73に入射する際の入射方向と、コンバイナ73が画像光ILを反射する際の反射方向とのなす角である。
例えば、目標制御量決定部83は、判定部82により車両Mが自走駐車制御状態ではないと判定された場合、運転者によって虚像VIが視認されるように目標虚像視認距離DTAおよび目標俯角θTAを決定する。また、例えば、目標制御量決定部83は、判定部82により車両Mが自走駐車制御状態であると判定された場合、車外にいる人によって虚像VIが視認されるように目標虚像視認距離DTAおよび目標俯角θTAを決定する。
駆動制御部84は、目標制御量決定部83により決定された目標虚像視認距離DTAに基づいて、結像位置調節装置72Aに制御指令値として指示する制御信号を決定して結像位置調節装置72Aに出力する。また、駆動制御部84は、目標制御量決定部83により決定された目標仰俯角θTAに基づいて、アクチュエータ74に制御指令値として指示する制御信号を決定してアクチュエータ74に出力する。
投影制御部85は、判定部82による判定結果、取得部81により取得された周辺情報などに基づいて、コンバイナ73に投影する画像光ILの投影内容を決定する。例えば、投影制御部85は、判定部82により車両Mが自走駐車制御状態(自動出庫中)であると判定された場合、車外にいる人に通知するための「自動出庫中」との文字を含む画像を投影内容として決定する。また、例えば、投影制御部85は、判定部82により車両Mが自動出庫中ではないと判定された場合、運転者に対して、運転を支援するための情報(例えば、車両Mの速度を示す文字を含む画像)を投影内容として決定する。投光装置71は、決定された投影内容に基づいて、投影処理を行う。
運転操作子90は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子90には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
自動運転制御装置100は、例えば、第1制御部120と、第2制御部160とを備える。第1制御部120、および第2制御部160は、それぞれ、例えば、CPUなどのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPUなどのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置100のHDDやフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることで自動運転制御装置100のHDDやフラッシュメモリにインストールされてもよい。
図8は、第1実施形態に係る第1制御部120および第2制御部160の機能構成図である。第1制御部120は、例えば、認識部130と、行動計画生成部140とを備える。第1制御部120は、例えば、AI(Artificial Intelligence;人工知能)による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件(パターンマッチング可能な信号、道路標示などがある)に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。
認識部130は、カメラ10、レーダ装置12、およびファインダ14から物体認識装置16を介して入力された情報に基づいて、車両Mの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、車両Mの代表点(重心や駆動軸中心など)を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。
また、認識部130は、例えば、車両Mが走行している車線(走行車線)を認識する。例えば、認識部130は、第2地図情報62から得られる道路区画線のパターン(例えば実線と破線の配列)と、カメラ10によって撮像された画像から認識される車両Mの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部130は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界(道路境界)を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置50から取得される車両Mの位置やINSによる処理結果が加味されてもよい。また、認識部130は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。
認識部130は、走行車線を認識する際に、走行車線に対する車両Mの位置や姿勢を認識する。認識部130は、例えば、車両Mの基準点の車線中央からの乖離、および車両Mの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する車両Mの相対位置および姿勢として認識してもよい。これに代えて、認識部130は、走行車線のいずれかの側端部(道路区画線または道路境界)に対する車両Mの基準点の位置などを、走行車線に対する車両Mの相対位置として認識してもよい。
認識部130は、後述する自走駐車イベントにおいて起動する駐車スペース認識部132を備える。駐車スペース認識部132の機能の詳細については後述する。
行動計画生成部140は、原則的には推奨車線決定部61により決定された推奨車線を走行し、更に、車両Mの周辺状況に対応できるように、車両Mが自動的に(運転者の操作に依らずに)将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、車両Mの到達すべき地点(軌道点)を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離(例えば数[m]程度)ごとの車両Mの到達すべき地点であり、それとは別に、所定のサンプリング時間(例えば0コンマ数[sec]程度)ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における車両Mの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。
行動計画生成部140は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベント、バレーパーキングなどにおいて自走して駐車する自走駐車イベントなどがある。行動計画生成部140は、起動させたイベントに応じた目標軌道を生成する。行動計画生成部140は、自走駐車イベントを実行する場合に起動する自走駐車制御部142を備える。自走駐車制御部142の機能の詳細については後述する。
第2制御部160は、行動計画生成部140によって生成された目標軌道を、予定の時刻通りに車両Mが通過するように、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220を制御する。
図8に戻り、第2制御部160は、例えば、取得部162と、速度制御部164と、操舵制御部166とを備える。取得部162は、行動計画生成部140により生成された目標軌道(軌道点)の情報を取得し、メモリ(不図示)に記憶させる。速度制御部164は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置200またはブレーキ装置210を制御する。操舵制御部166は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置220を制御する。速度制御部164および操舵制御部166の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部166は、車両Mの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、第2制御部160から入力される情報、或いは運転操作子90から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、第2制御部160から入力される情報、或いは運転操作子90から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子90に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、第2制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、第2制御部160から入力される情報、或いは運転操作子90から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[自走駐車イベント-入庫時]
自走駐車制御部142は、例えば、通信装置20によって駐車場管理装置400から取得された情報に基づいて、車両Mを駐車スペース内に駐車させる。図9は、第1実施形態に係る自走駐車イベントが実行される場面を模式的に示す図である。道路Rdから訪問先施設に至るまでの経路には、ゲート300-inおよび300-outが設けられている。車両Mは、手動運転または自動運転によって、ゲート300-inを通過して停止エリア310まで進行する。停止エリア310は、訪問先施設に接続されている乗降エリア320に面している。乗降エリア320には、雨や雪を避けるための庇が設けられている。
車両Mは、停止エリア310で乗員を降ろした後、自動運転を行い、駐車場PA内の駐車スペースPSまで移動する自走駐車イベントを開始する。自走駐車イベントの開始トリガは、例えば、乗員による何らかの操作であってもよいし、駐車場管理装置400から無線により所定の信号を受信したことであってもよい。自走駐車制御部142は、自走駐車イベントを開始する場合、通信装置20を制御して駐車リクエストを駐車場管理装置400に向けて発信する。そして、車両Mは、停止エリア310から駐車場PAまで、駐車場管理装置400の誘導に従って、或いは自力でセンシングしながら移動する。
図10は、第1実施形態に係る駐車場管理装置400の構成の一例を示す図である。駐車場管理装置400は、例えば、通信部410と、制御部420と、記憶部430とを備える。記憶部430には、駐車場地図情報432、駐車スペース状態テーブル434などの情報が格納されている。
通信部410は、車両Mやその他の車両(他車両)と無線により通信する。制御部420は、通信部410により取得された情報と、記憶部430に格納された情報とに基づいて、車両を駐車スペースPSに誘導する。駐車場地図情報432は、駐車場PAの構造を幾何的に表した情報である。また、駐車場地図情報432は、駐車スペースPSごとの座標を含む。駐車スペース状態テーブル434は、例えば、駐車スペースPSの識別情報である駐車スペースIDに対して、空き状態であるか、満(駐車中)状態であるかを示す状態と、満状態である場合の駐車中の車両の識別情報である車両IDとが対応付けられたものである。
制御部420は、通信部410が車両から駐車リクエストを受信すると、駐車スペース状態テーブル434を参照して状態が空き状態である駐車スペースPSを抽出し、抽出した駐車スペースPSの位置を駐車場地図情報432から取得し、取得した駐車スペースPSの位置までの好適な経路を通信部410を用いて車両に送信する。また、制御部420は、複数の車両の位置関係に基づいて、同時に同じ位置に車両が進行しないように、必要に応じて特定の車両に停止・徐行などを指示する。
経路を受信した車両(以下、車両Mであるものとする)では、自走駐車制御部142が、経路に基づく目標軌道を生成する。また、目標となる駐車スペースPSが近づくと、駐車スペース認識部132が、駐車スペースPSを区画する駐車枠線などを認識し、駐車スペースPSの詳細な位置を認識して自走駐車制御部142に提供する。自走駐車制御部142は、これを受けて目標軌道を補正し、車両Mを駐車スペースPSに駐車させる。
[自走駐車イベント-出庫時]
自走駐車制御部142および通信装置20は、車両Mが駐車中も動作状態を維持している。自走駐車制御部142は、例えば、通信装置20が乗員の端末装置から迎車リクエストを受信した場合、車両Mのシステムを起動させ、車両Mを停止エリア310まで移動させる。この際に、自走駐車制御部142は、通信装置20を制御して駐車場管理装置400に発進リクエストを送信する。駐車場管理装置400の制御部420は、入庫時と同様に、複数の車両の位置関係に基づいて、同時に同じ位置に車両が進行しないように、必要に応じて特定の車両に停止・徐行などを指示する。停止エリア310まで車両Mを移動させて乗員を乗せると自走駐車制御部142は動作を停止し、以降は手動運転、或いは別の機能部による自動運転が開始される。
なお、上記の説明に限らず、自走駐車制御部142は、通信に依らず、カメラ10、レーダ装置12、ファインダ14、または物体認識装置16による検出結果に基づいて空き状態の駐車スペースを自ら発見し、発見した駐車スペース内に車両Mを駐車させてもよい。
[表示装置の動作フロー]
次に、HUD装置70の動作フローについて説明する。図11は、第1実施形態に係るHUD装置70の動作フローの一例を示すフローチャートである。まず、取得部81は、自動運転制御装置100により出力された車両Mの運転状態を示す運転状態情報および車両Mの周辺情報を取得する(ステップS101)。取得部81は、周辺情報として、車両Mの車外にいる人の位置(視線位置)等を示す情報を取得する。
次に、判定部82は、取得部81により取得された運転状態情報に基づいて、車両Mが自走駐車制御状態であるか否かを判定する(ステップS103)。判定部82により車両Mが自走駐車制御状態であると判定された場合、目標制御量決定部83は、取得部81により取得された周辺情報に基づいて、車外向け表示モードでの、目標虚像視認距離DTAと目標仰俯角θTAとを含む目標制御量を決定する(ステップS105)。
一方、判定部82により車両Mが自走駐車制御状態ではないと判定された場合、目標制御量決定部83は、車内向け表示モードでの、目標虚像視認距離DTAと目標仰俯角θTAとを含む目標制御量を決定する(ステップS107)。
次に、駆動制御部84は、目標制御量決定部83により決定された目標虚像視認距離DTAに基づく制御信号を結像位置調節装置72Aに出力し、結像位置調節装置72Aは、駆動制御部84から入力された制御信号に基づいて、レンズの位置を調整する(ステップS109)。
次に、駆動制御部84は、目標制御量決定部83により決定された目標仰俯角θTAに基づく制御信号をアクチュエータ74に出力し、アクチュエータ74は、駆動制御部84から入力された制御信号に基づいて、コンバイナ73のY軸方向における向きを調整する(ステップS111)。これにより、車外向け表示モードでの制御下において、車外にいる人の視線位置P3から見た場合に、画像光ILによって写し出される画像が形成位置P4に表示されるように調整される。また、車内向け表示モードでの制御下において、運転者の視線位置P1から見た場合に、画像光ILによって写し出される画像が形成位置P2に表示されるように調整される。
次に、投影制御部85は、判定部82による判定結果などに基づいて、コンバイナ73に投影する投影内容を決定する(ステップS113)。例えば、投影制御部85は、判定部82により車両Mが自走駐車制御状態(自動出庫中)であると判定された場合、車外にいる人に通知するための「自動出庫中」との文字を含む画像を投影内容として決定する。また、例えば、投影制御部85は、判定部82により車両Mが自動出庫中ではないと判定された場合、運転者に対して、運転を支援するための情報(例えば、車両Mの速度を示す文字を含む画像)を投影内容として決定する。
次に、投影制御部85は、決定した投影内容に基づいて、投影処理を行う(ステップS115)。その後、再度、運転状態情報および周辺情報の取得を行い(ステップS101)、以降の処理を繰り返す。
以上説明した第1実施形態によれば、車外にいる人が自動駐車中の車両の状況を容易に把握することができる。例えば、HUD装置を用いて自動駐車中の車両の状況の通知を行うことで、別途の外部報知機能、専用通知手段を設けることなく、車外にいる人に自動駐車中の車両の状況を通知することができる。
<第2実施形態>
以下、第2実施形態について説明する。第2実施形態のHUD装置70は、虚像VIの表示態様を可変とする点が第1実施形態と異なる。このため、構成などについては第1実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。
[表示装置の動作フロー]
以下、HUD装置70の動作フローについて説明する。図12は、第2実施形態に係るHUD装置70の動作フローの一例を示すフローチャートである。まず、取得部81は、自動運転制御装置100により出力された車両Mの運転状態を示す運転状態情報および車両Mの周辺情報を取得する(ステップS201)。取得部81は、運転状態情報として、車両Mの速度、加速度などを示す情報を取得する。また、取得部81は、周辺情報として、車両Mの車外にいる人の位置(視線位置)等を示す情報に加えて、車外の明るさ(光量)を示す情報、天候を示す情報などを取得する。
次に、判定部82は、取得部81により取得された運転状態情報に基づいて、車両Mが自走駐車制御状態であるか否かを判定する(ステップS203)。判定部82により車両Mが自走駐車制御状態であると判定された場合、目標制御量決定部83は、取得部81により取得された周辺情報に基づいて、車外向け表示モードでの、目標虚像視認距離DTAと目標仰俯角θTAとを含む目標制御量を決定する(ステップS205)。
一方、判定部82により車両Mが自走駐車制御状態ではないと判定された場合、目標制御量決定部83は、車内向け表示モードでの、目標虚像視認距離DTAと目標仰俯角θTAとを含む目標制御量を決定する(ステップS207)。
次に、駆動制御部84は、目標制御量決定部83により決定された目標虚像視認距離DTAに基づく制御信号を結像位置調節装置72Aに出力し、結像位置調節装置72Aは、駆動制御部84から入力された制御信号に基づいて、レンズの位置を調整する(ステップS209)。
次に、駆動制御部84は、目標制御量決定部83により決定された目標仰俯角θTAに基づく制御信号をアクチュエータ74に出力し、アクチュエータ74は、駆動制御部84から入力された制御信号に基づいて、コンバイナ73のY軸方向における向きを調整する(ステップS211)。これにより、車外向け表示モードでの制御下において、車外にいる人の視線位置P3から見た場合に、画像光ILによって写し出される画像が形成位置P4に表示されるように調整される。また、車内向け表示モードでの制御下において、運転者の視線位置P1から見た場合に、画像光ILによって写し出される画像が形成位置P2に表示されるように調整される。
次に、投影制御部85は、判定部82による判定結果などに基づいて、コンバイナ73に投影する投影内容および投影態様を決定する(ステップS213)。
[周辺の光量と虚像VIの輝度との関係]
投影制御部85は、車外向け表示モードでの制御下において、車両Mの周辺が明るい場合(周辺の光量が所定の閾値以上である場合など)には、虚像VIの輝度が高くなるように投影態様を決定する。また、投影制御部85は、車両Mの周辺が暗い場合(周辺の光量が所定の閾値未満である場合など)には、虚像VIの輝度が低くなるように投影態様を決定する。これにより、車外にいる人による虚像VIの視認性を向上させることができる。
すなわち、投影制御部85は、車両Mの車外が明るくなるにつれて、投影光の輝度を増大させるように投光装置71を制御する。
また、投影制御部85は、車外向け表示モードでの制御下において、車両Mの周辺の天候に基づいて、投影態様を決定してもよい。例えば、投影制御部85は、車外向け表示モードでの制御下において、車両Mの周辺の天候が晴れである場合には、虚像VIの輝度が高くなるように投影態様を決定してもよい。また、投影制御部85は、車両Mの周辺の天候が雨や曇りなどの場合には、虚像VIの輝度が低くなるように投影態様を決定してもよい。
[車速と虚像VIの点滅パターンとの関係]
投影制御部85は、車外向け表示モードでの制御下において、車両Mの速度が遅い場合(速度が所定の閾値未満である場合など)には、虚像VIの点滅周期が長くなるように投影態様を決定する。また、投影制御部85は、車両Mの速度が速い場合(速度が所定の閾値以上である場合など)には、虚像VIの点滅周期が短くなるように投影態様を決定する。これにより、車外にいる人による虚像VIの視認性を向上させることができる。すなわち、投影制御部85は、車両Mの速度が遅くなるほど、投影光の点滅周期が長くなるように投光装置71を制御する。
次に、投影制御部85は、決定した投影内容および投影態様に基づいて、投影処理を行う(ステップS215)。その後、再度、運転状態情報および周辺情報の取得を行い(ステップS201)、以降の処理を繰り返す。
以上説明した第2実施形態によれば、車外にいる人が自動駐車中の車両の状況を容易に把握することができる。例えば、HUD装置を用いて自動駐車中の車両の状況の通知を行うことで、別途の外部報知機能、専用通知手段を設けることなく、車外にいる人に自動駐車中の車両の状況を通知することができる。また、虚像VIの表示態様を可変とすることで、より効果的に車外にいる人に車両の状況を通知することができる。
なお、投影制御部85は、車両Mの周辺が暗い場合(周辺の光量が所定の閾値以下である場合など)にのみ、投影処理を行うようにしてもよい。また、投影制御部85は、車両Mの車外に人がいるか否かを判定し、人がいる場合にのみ、投影処理を行うようにしてもよい。
なお、上記の実施形態においては、コンバイナ73に画像光ILを投影する例を説明したが、フロントウインドシールド303に画像光ILを投影するようにしてもよい。この場合、凹面鏡72Cを車両Mの幅方向であるY軸回りに回転させることで、投影方向を制御するようにしてもよい。
また、投影制御部85は、判定部82により車両Mが自走駐車制御状態(自動出庫中)であり、且つ、停止エリア310に接近していると判定された場合、停止エリア310で車両Mを待っている乗員に対し、その乗員の車両であることが特定できるような内容を含む画像(乗員が車両を特定できるような記号、色等を表示する画像)を投影内容として決定し、車外に向けて表示するようにしてもよい。
また、上記の実施形態においては、表示制御装置75が、コンバイナ73およびアクチュエータ74を制御して、投影光の向きを調整する例を説明したがこれに限られない。例えば、アクチュエータ74を使用せず、表示制御装置75が、向きが固定されたコンバイナ73における投影光の反射率(透過率)、屈折率などを電気的に制御することで、投影光の向きを調整するようにしてもよい。例えば、表示制御装置75は、乗員に投影光を視認させる場合には、コンバイナ73の車内側に向いた面で投影光を反射させ、車外の人に投影光を視認させる場合には、画像を反転させてコンバイナ73に投影し、コンバイナ73の車内側に向いた面は透過させ、コンバイナ73の車外側に向いた面で車外の人に向かって屈折しながら透過するように制御してよい。
[ハードウェア構成]
図13は、実施形態の表示制御装置75のハードウェア構成の一例を示す図である。図示するように、表示制御装置75(コンピュータ)は、通信コントローラ75-1、CPU75-2、ワーキングメモリとして使用されるRAM(Random Access Memory)75-3、ブートプログラムなどを格納するROM(Read Only Memory)75-4、フラッシュメモリやHDD(Hard Disk Drive)などの記憶装置75-5、ドライブ装置75-6などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ75-1は、表示制御装置75以外の構成要素との通信を行う。記憶装置75-5には、CPU75-2が実行するプログラム75-5aが格納されている。このプログラムは、DMA(Direct Memory Access)コントローラ(不図示)などによってRAM75-3に展開されて、CPU75-2によって実行される。これによって、制御部80の構成要素のうち一部または全部が実現される。
上記説明した実施形態は、以下のように表現することができる。
車両に搭載される表示装置であって、
投影光を出射する投光装置と、
前記投光装置により出射された前記投影光の向きを調整する調整部と、
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記投影光の向きが異なるように前記調整部を制御する、表示装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1‥車両システム、70‥HUD装置、71‥投光装置、72‥光学機構、73‥コンバイナ、74‥アクチュエータ、75‥表示制御装置、80‥制御部、81‥取得部、82‥判定部、83‥目標制御量決定部、84‥駆動制御部、85‥投影制御部

Claims (15)

  1. 車両に搭載される表示装置であって、
    投影光を出射する投光装置と、
    前記投光装置により出射された前記投影光の向きを調整する調整部と、
    前記投光装置および前記調整部を制御する制御装置と、
    を備え、
    前記制御装置は、
    前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記投影光の向きが異なるように前記調整部を制御し、
    前記車両が自動駐車制御により走行している場合、前記車両の車外にいる人の位置情報に基づいて、前記投影光が前記車外から視認可能となるように前記調整部を制御する、
    表示装置。
  2. 前記調整部は、前記投影光を反射する反射板と、前記反射板の向きを変更するアクチュエータとを備え、
    前記制御装置は、前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記反射板により反射される前記投影光の反射方向が異なるように前記アクチュエータを制御する、
    請求項1に記載の表示装置。
  3. 前記制御装置は、前記車両が自動駐車制御により走行している場合、前記反射板により反射される前記投影光が前記車両の車外に出力されるように前記アクチュエータを制御する、
    請求項2に記載の表示装置。
  4. 前記投影光は、前記車両の運転状態を示す画像を表示するための情報を含む、
    請求項1から3のいずれか一項に記載の表示装置。
  5. 前記反射板は、ヘッドアップディスプレイ装置である、
    請求項2または3に記載の表示装置。
  6. 前記制御装置は、前記車両の車外の明るさに基づいて、前記投影光の投影態様を変更するように前記投光装置を制御する、
    請求項1から5のいずれか一項に記載の表示装置。
  7. 前記制御装置は、前記車両の車外が明るくなるにつれて、前記投影光の輝度を増大させるように前記投光装置を制御する、
    請求項6に記載の表示装置。
  8. 前記制御装置は、前記車両の車外の天候に基づいて、前記投影光の投影態様を変更するように前記投光装置を制御する、
    請求項1から7のいずれか一項に記載の表示装置。
  9. 前記制御装置は、前記車両の速度に基づいて、前記投影光の投影態様を変更するように前記投光装置を制御する、
    請求項1から8のいずれか一項に記載の表示装置。
  10. 前記制御装置は、前記車両の速度が遅くなるほど、前記投影光の点滅周期が長くなるように前記投光装置を制御する、
    請求項9に記載の表示装置。
  11. 前記制御装置は、前記車両の車外の光量が所定の閾値以下の場合にのみ、前記投影光が出射されるように前記投光装置を制御する、
    請求項1から10のいずれか一項に記載の表示装置。
  12. 前記制御装置は、前記車両の車外に人がいない場合には、前記投影光が出射されないように前記投光装置を制御する、
    請求項1から11のいずれか一項に記載の表示装置。
  13. 車両に搭載され、投影光を出射する投光装置と、前記投光装置により出射された前記投影光の向きを調整する調整部とを備える表示装置のコンピュータが、
    前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記投影光の向きが異なるように前記調整部を制御し、
    前記車両が自動駐車制御により走行している場合、前記車両の車外にいる人の位置情報に基づいて、前記投影光が前記車外から視認可能となるように前記調整部を制御する、
    表示制御方法。
  14. 車両に搭載され、投影光を出射する投光装置と、前記投光装置により出射された前記投影光の向きを調整する調整部とを備える表示装置のコンピュータに、
    前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記投影光の向きが異なるように前記調整部を制御させ、
    前記車両が自動駐車制御により走行している場合、前記車両の車外にいる人の位置情報に基づいて、前記投影光が前記車外から視認可能となるように前記調整部を制御させる、
    プログラム。
  15. 車両に搭載される表示装置であって、
    投影光を出射する投光装置と、
    前記投光装置により出射された前記投影光の向きを調整する調整部と、
    前記投光装置および前記調整部を制御する制御装置と、
    を備え、
    前記制御装置は、
    前記車両が自動駐車制御により走行している場合と前記車両が自動駐車制御によらずに走行している場合とで、前記投影光の向きが異なるように前記調整部を制御し、
    前記車両が自動駐車制御により走行している場合、前記車両の車外にいる人の視線位置に基づいて、前記投影光が前記車外から視認可能となるように前記調整部を制御する、
    表示装置。
JP2019042786A 2019-03-08 2019-03-08 表示装置、表示制御方法、およびプログラム Active JP7079747B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019042786A JP7079747B2 (ja) 2019-03-08 2019-03-08 表示装置、表示制御方法、およびプログラム
CN202010131283.9A CN111667687B (zh) 2019-03-08 2020-02-28 显示装置、显示控制方法、及存储介质
US16/807,206 US20200285044A1 (en) 2019-03-08 2020-03-03 Display device, display control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019042786A JP7079747B2 (ja) 2019-03-08 2019-03-08 表示装置、表示制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020142753A JP2020142753A (ja) 2020-09-10
JP7079747B2 true JP7079747B2 (ja) 2022-06-02

Family

ID=72334601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019042786A Active JP7079747B2 (ja) 2019-03-08 2019-03-08 表示装置、表示制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20200285044A1 (ja)
JP (1) JP7079747B2 (ja)
CN (1) CN111667687B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11377033B2 (en) * 2020-02-21 2022-07-05 Panasonic Intellectual Property Management Co., Ltd. Display system
JP7308803B2 (ja) * 2020-10-12 2023-07-14 株式会社ポケモン プログラム、方法、情報処理装置、システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016136199A (ja) 2015-01-23 2016-07-28 三菱電機株式会社 表示装置
CN205632128U (zh) 2015-01-12 2016-10-12 福特环球技术公司 用于在自动驻车过程中为车辆的驾驶员提供信息的设备
JP2017126133A (ja) 2016-01-12 2017-07-20 トヨタ自動車株式会社 自動運転車両

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119147A (ja) * 1997-10-14 1999-04-30 Asahi Optical Co Ltd ヘッドアップディスプレイ
TWM268232U (en) * 2004-12-03 2005-06-21 Shiau-Shiou Lin On/off board parking sonar apparatus with indication of distance from obstacles
JP2013060122A (ja) * 2011-09-14 2013-04-04 Ricoh Co Ltd 駐車支援システム
CN104903946B (zh) * 2013-01-09 2016-09-28 三菱电机株式会社 车辆周边显示装置
JP2016101797A (ja) * 2014-11-27 2016-06-02 トヨタ車体株式会社 車両発進時の安全制御装置
EP3093194B1 (en) * 2015-04-24 2021-09-22 Ricoh Company, Ltd. Information provision device
CN108473054B (zh) * 2016-02-05 2021-05-28 麦克赛尔株式会社 平视显示器装置
CN106043150B (zh) * 2016-08-04 2018-02-09 歌尔科技有限公司 一种带语音识别功能的车载投影系统
JP6651062B2 (ja) * 2017-11-15 2020-02-19 三菱電機株式会社 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム
CN108791065A (zh) * 2018-04-12 2018-11-13 李良杰 随驾驶员视线改变视角的车辆盲区投影系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205632128U (zh) 2015-01-12 2016-10-12 福特环球技术公司 用于在自动驻车过程中为车辆的驾驶员提供信息的设备
JP2016136199A (ja) 2015-01-23 2016-07-28 三菱電機株式会社 表示装置
JP2017126133A (ja) 2016-01-12 2017-07-20 トヨタ自動車株式会社 自動運転車両

Also Published As

Publication number Publication date
CN111667687B (zh) 2022-07-22
JP2020142753A (ja) 2020-09-10
US20200285044A1 (en) 2020-09-10
CN111667687A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
US10479269B2 (en) Lighting apparatus for vehicle and vehicle having the same
US10328948B2 (en) Vehicle control system, vehicle control method and vehicle control program
CN109760676B (zh) 显示系统、显示方法及存储介质
KR101908308B1 (ko) 차량용 램프
EP3093193B1 (en) Lamp for vehicle
US20170334453A1 (en) Vehicle control system, vehicle control method, and vehicle control program product
KR102037324B1 (ko) 자율주행 차량 및 그 제어 방법
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
JP6827378B2 (ja) 車両制御システム、車両制御方法、およびプログラム
KR20190122606A (ko) 차량 내 객체 모니터링 장치 및 방법
KR102372566B1 (ko) 차량용 조명 장치 및 차량
CN113165513A (zh) 平视显示器、车辆用显示系统以及车辆用显示方法
EP3775780A1 (en) Control apparatus, display apparatus, movable body, and image display method
US20200082725A1 (en) Display device, display control method, and storage medium
JP7423837B2 (ja) 自動運転車用情報提示装置
JP6840035B2 (ja) 車両制御システム
US11485280B2 (en) Vehicle control device, vehicle control method, and storage medium
WO2020189238A1 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JP7079747B2 (ja) 表示装置、表示制御方法、およびプログラム
WO2019189515A1 (en) Control apparatus, display apparatus, movable body, and image display method
US20230398868A1 (en) Ar display device for vehicle and method for operating same
KR102043954B1 (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
JP2022152607A (ja) 運転支援装置、運転支援方法、及びプログラム
KR20200023671A (ko) 차량에 구비된 차량용 로봇 및 차량용 로봇의 제어방법
US20210171065A1 (en) Autonomous driving vehicle information presentation apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220523

R150 Certificate of patent or registration of utility model

Ref document number: 7079747

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150