JPWO2018051734A1 - 投写型表示装置及びその制御方法 - Google Patents

投写型表示装置及びその制御方法 Download PDF

Info

Publication number
JPWO2018051734A1
JPWO2018051734A1 JP2018539592A JP2018539592A JPWO2018051734A1 JP WO2018051734 A1 JPWO2018051734 A1 JP WO2018051734A1 JP 2018539592 A JP2018539592 A JP 2018539592A JP 2018539592 A JP2018539592 A JP 2018539592A JP WO2018051734 A1 JPWO2018051734 A1 JP WO2018051734A1
Authority
JP
Japan
Prior art keywords
image
image data
light
projection display
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018539592A
Other languages
English (en)
Other versions
JP6464326B2 (ja
Inventor
広大 藤田
広大 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6464326B2 publication Critical patent/JP6464326B2/ja
Publication of JPWO2018051734A1 publication Critical patent/JPWO2018051734A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/188Displaying information using colour changes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0114Head-up displays characterised by optical features comprising device for genereting colour display comprising dichroic elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/149Beam splitting or combining systems operating by reflection only using crossed beamsplitting surfaces, e.g. cross-dichroic cubes or X-cubes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)

Abstract

自動運転又はリモート運転中における必要な操作を乗員に直感的に知らせることのできる投写型表示装置及びその制御方法を提供する。
HUD100は、光変調部に入力する画像データを制御する画像データ制御部63と、自動運転モードが設定されている状態で、乗り物に搭載された運転に用いる操作装置の操作が必要な状況か否かを判定する状況判定部62とを備える。画像データ制御部63は、操作装置の操作が必要な状況であると判定された場合には、複数の操作装置の各々に対応する画像を複数の操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な操作装置に対応する画像を強調して表示するための第一の画像データを駆動部45に入力し、第一の画像データに基づく操作支援画像70を表示させる。

Description

本発明は、投写型表示装置及びその制御方法に関する。
自動車、電車、船舶、重機、航空機、又は、農作用機械等の乗り物のウインドシールド、又は、ウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のHUD(Head−up Display)が知られている。このHUDによれば、HUDから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。
このHUDを利用して運転支援を行うシステムが、特許文献1及び特許文献2に記載されている。特許文献1及び特許文献2に記載のHUDは、自動車のハンドルに設けられた操作パネルを模した画像を表示することで、自動車の運転者が操作パネルを見ることなく、HUDの画像によって操作パネルのボタン配置を把握することを可能にしている。
特許文献3には、エアコン、オーディオ、及び、カーナビ等を操作するための操作スイッチの形状とこの操作スイッチの機能をセンタコンソールに表示させる自動車が記載されている。
特許文献4には、オーディオ等の操作を行うためのマルチスイッチの配置をインストルメントパネルに表示させる自動車が記載されている。
特開2009−184406号公報 特開2006−315562号公報 特開平10−214543号公報 特開2000−006687号公報
近年、乗り物の自動運転又はリモート運転が実用化されようとしている。自動運転又はリモート運転といっても、運転者の意思で運転者がシステムに介入することが必要になる。例えば、緊急時等は、自動運転中又はリモート運転中であっても運転者を含む乗員に操作が委ねられる状況が考えられる。しかし、自動運転中又はリモート運転中は、基本的には自動で運転が行われているため、乗員はどういった操作が必要なのか瞬時には把握しにくい。
特許文献1−4は、運転とは直接関係のないオーディオ又はエアコンなどの機器の操作を支援するための画像を表示する技術であるため、自動運転又はリモート運転に危険な事象等が発生しそうな場合に、乗員が、どういった操作をすることで事象を回避できるのか分からず、運転に関する必要な操作を行うまでに遅延が発生してしまう可能性がある。
本発明は、上記事情に鑑みてなされたものであり、自動運転中又はリモート運転中における必要な操作を乗員に直感的に知らせることのできる投写型表示装置及びその制御方法を提供することを目的とする。
本発明の投写型表示装置は、乗り物に搭載される投写型表示装置であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を上記乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、上記光変調部に入力する画像データを制御する画像データ制御部と、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも1つの操作が必要な状況か否かを判定する状況判定部と、を備え、 上記画像データ制御部は、上記状況判定部によって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力するものである。
本発明の投写型表示装置の制御方法は、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、を有し、乗り物に搭載される投写型表示装置の制御方法であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、上記光変調部に入力する画像データを制御する画像データ制御ステップと、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも1つの操作が必要な状況か否かを判定する状況判定ステップと、を備え、上記画像データ制御ステップでは、上記状況判定ステップによって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力するものである。
本発明によれば、自動運転又はリモート運転中における必要な操作を乗員に直感的に知らせることのできる投写型表示装置及びその制御方法を提供することができる。
本発明の投写型表示装置の一実施形態であるHUD100が搭載される自動車10の室内構成を示す模式図である。 図1に示すHUD100の制御ユニット4の内部ハードウェア構成を示す模式図である。 図2に示すシステム制御部60の機能ブロック図である。 図1に示すHUD100の動作を説明するためのフローチャートである。 HUD100によって表示される画像の一例を示す図である。 HUD100によって表示される画像の別の例を示す図である。 HUD100によって表示される画像の更に別の例を示す図である。 図1に示すHUD100が搭載される自動車10の変形例を示す図である。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の投写型表示装置の一実施形態であるHUD100が搭載される自動車10の室内構成を示す模式図である。
自動車10のフロントウインドシールド1の一部は、後述する画像光を反射させる加工がなされた領域となっており、この領域が投写面2を構成している。
HUD100は、自動車10に搭載され、自動車10のフロントウインドシールド1の一部の領域である投写面2に投写される画像光により、自動車10の運転者によって虚像又は実像を視認可能にするものである。
HUD100は、自動車以外に、電車、重機、建機、航空機、船舶、又は、農作機械等の乗り物に搭載して用いることができる。
図1の例では、HUD100は、自動車10のダッシュボード3に内蔵されている。ダッシュボード3は、自動車10のスピードメータ、タコメータ、燃料計、水温計、又は、距離計等の走行に必要な情報を通知するための計器類等を含む内装部品を内蔵する部材である。
HUD100は、光源及びこの光源から出射される光を画像データに基づいて空間変調する光変調素子を含む制御ユニット4と、制御ユニット4の光変調素子により空間変調された画像光をフロントウインドシールド1の投写面2に投写する投写光学系を構成する拡散部材5、反射ミラー6、及び、凹面鏡7と、を備える。
拡散部材5は、制御ユニット4の光変調素子により空間変調された画像光を拡散させて面光源化する部材である。拡散部材5は、表面に微細構造を有するマイクロミラーアレイ、拡散ミラー、MLA(Microlens−Array)ディフューザー、又は、反射ホログラフィクディフューザー等が用いられる。
反射ミラー6は、拡散部材5で拡散された画像光を反射する。
凹面鏡7は、反射ミラー6で反射された画像光を拡大して反射し、投写面2に投写する。フロントウインドシールド1の投写面2は、凹面鏡7から投写された画像光が運転者の目の方向に反射するような加工がなされている。
なお、HUD100は、例えば自動車10の天井付近に配置され、自動車10の天井付近に設置されたサンバイザタイプのコンバイナに対して画像光を投写する構成であってもよい。この構成では、コンバイナが投写面を構成する。
自動車の運転者は、投写面2に投写され、投写面2で反射された画像光に基づく虚像により、運転を支援するためのアイコン又は文字等の情報を視認することができる。また、投写面2は、フロントウインドシールド1の外部(外界)からの光を透過する機能を持つ。このため、運転者は、凹面鏡7から投写された画像光に基づく虚像と外界の景色とが重畳された像を視認することができる。
自動車10は、全体を統括制御する図示省略の自動車制御部が内部で生成した指令又はこの自動車制御部が外部から無線で受信した指令に基づいて運転(方向指示器、ステアリング、アクセル、及び、ブレーキ等の操作)が行われる第一モード(自動運転モード又はリモート運転モードともいう)と、人が手動で運転を行う第二モード(手動運転モード)とを設定可能である。
自動車10は、加速を行うためのアクセルペダル11、減速を行うためのブレーキペダル12、シフトチェンジを行うためのシフトレバー14、パーキングブレーキをかけるためのパーキングブレーキレバー15、ワイパー操作レバー(図示省略)、ハザードランプを点灯させるためのハザードボタン13、及び、ハンドル8等の自動車に搭載される一般的な操作装置を有している。
また、自動車10のハンドル8には、クラクションを鳴らすためのクラクションボタン16と運転モード切替ボタン9が設けられている。運転モード切替ボタン9は、第一モードと第二モードのモード切り替えを自動車10に対して指示するためのモード切替指示装置である。
アクセルペダル11、ブレーキペダル12、シフトレバー14、パーキングブレーキレバー15、ワイパー操作レバー、クラクションボタン16、ハザードボタン13、ハンドル8、及び、運転モード切替ボタン9は、自動車10に搭載された運転に用いる操作装置を構成する。
図2は、図1に示すHUD100の制御ユニット4の内部ハードウェア構成を示す模式図である。
制御ユニット4は、光源ユニット40と、光変調素子44と、光変調素子44を駆動する駆動部45と、HUD100全体を統括制御するシステム制御部60と、を備える。
システム制御部60は、プロセッサと、このプロセッサの実行するプログラム等が記憶されるROM(Read Only Memory)と、このプロセッサのワークメモリとして機能するRAM(Random Access Memory)と、を含む。
光源ユニット40は、光源制御部40Aと、赤色光を出射する赤色光源であるR光源41rと、緑色光を出射する緑色光源であるG光源41gと、青色光を出射する青色光源であるB光源41bと、ダイクロイックプリズム43と、R光源41rとダイクロイックプリズム43の間に設けられたコリメータレンズ42rと、G光源41gとダイクロイックプリズム43の間に設けられたコリメータレンズ42gと、B光源41bとダイクロイックプリズム43の間に設けられたコリメータレンズ42bと、を備える。R光源41rとG光源41gとB光源41bはHUD100の光源を構成する。
ダイクロイックプリズム43は、R光源41r、G光源41g、及び、B光源41bの各々から出射される光を同一光路に導くための光学部材である。ダイクロイックプリズム43は、コリメータレンズ42rによって平行光化された赤色光を透過させて光変調素子44に出射する。また、ダイクロイックプリズム43は、コリメータレンズ42gによって平行光化された緑色光を反射させて光変調素子44に出射する。さらに、ダイクロイックプリズム43は、コリメータレンズ42bによって平行光化された青色光を反射させて光変調素子44に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
R光源41r、G光源41g、及び、B光源41bは、それぞれ、レーザ又はLED(Light Emitting Diode)等の発光素子が用いられる。HUD100の光源は、R光源41rとG光源41gとB光源41bの3つの例に限らず、1つの光源、2つの光源、又は、4つ以上の光源によって構成されていてもよい。
光源制御部40Aは、R光源41r、G光源41g、及び、B光源41bの各々を制御し、R光源41r、G光源41g、及び、B光源41bから光を出射させる制御を行う。
光変調素子44は、R光源41r、G光源41g、及び、B光源41bから出射され、ダイクロイックプリズム43から出射された光を、システム制御部60により入力される画像データに基づいて空間変調する。
光変調素子44としては、例えば、LCOS(Liquid crystal on silicon)、DMD(Digital Micromirror Device)、MEMS(Micro Electro Mechanical Systems)素子、又は、液晶表示素子等を用いることができる。
駆動部45は、システム制御部60から入力される画像データに基づいて光変調素子44を駆動し、画像データに基づいて空間変調された画像光(赤色画像光、青色画像光、及び、緑色画像光)を、光変調素子44から拡散部材5に出射させる。光変調素子44と駆動部45はHUD100の光変調部を構成する。
図1に示した拡散部材5、反射ミラー6、及び、凹面鏡7から構成される投写光学系は、投写面2に投写された画像光に基づく画像が、フロントウインドシールド1前方の位置において虚像として運転者に視認可能となるように光学設計がなされている。この画像光に基づく画像が、フロントウインドシールド1において実像として運転者に視認可能となるように投写光学系の光学設計がなされていてもよい。
システム制御部60は、光源制御部40A及び駆動部45を制御して、画像データに基づく画像光を制御ユニット4から拡散部材5に出射させる。
図3は、図2に示すシステム制御部60の機能ブロック図である。
システム制御部60は、状況情報取得部61と、状況判定部62と、画像データ制御部63と、を備える。状況情報取得部61、状況判定部62、及び、画像データ制御部63は、システム制御部60のプロセッサがROMに記憶されるプログラムを実行することによって構成される。このプログラムは制御プログラムを含む。
状況情報取得部61は、自動車10のシステム全体を統括制御する図示省略の自動車制御部から、上記の各操作装置の操作状態に関する情報、自動車10に搭載された図示省略のセンサ(超音波レーダ、ミリ波レーダ、レーザレーダ、又は、ステレオカメラ等)によって検出される情報、このセンサの故障の有無を示す情報、又は、自動車10の車体に搭載された図示省略の撮像部により撮像して得られた自動車10の前方又は後方の撮像画像データ等の状況情報を取得する。
状況判定部62は、自動車10が第一モードに設定されている状態で、状況情報取得部61で取得された状況情報に基づいて、自動車10に搭載された運転に用いる上記の操作装置のうちの少なくとも1つの操作が必要な状況か否かを判定する。以下に、状況判定部62による判定の例を列挙するがこれらに限定されるものではない。
(1)状況判定部62は、自動車10に搭載された上記センサによって測定される情報を解析し、この解析の結果、自動車10と障害物との距離が閾値以下の場合には、ブレーキペダル12及びハンドル8の操作が必要な状況と判定する。
(2)状況判定部62は、上記センサによって測定される情報を解析し、この解析の結果、自動車10の前方の遠方に人又は車両等の障害物が横切っている場合には、クラクションボタン16の操作が必要な状況であると判定する。
(3)状況判定部62は、パーキングブレーキがかかっている場合には、パーキングブレーキレバー15の操作(パーキングブレーキの解除)が必要な状況であると判定する。
(4)状況判定部62は、シフトレバー14がニュートラルポジションにある場合には、シフトレバー14の操作(ドライブポジションへの変更)が必要な状況であると判定する。
(5)状況判定部62は、自動車10の前部に搭載された撮像部から取得された撮像画像データを解析し、この解析の結果、自動車10が渋滞の最後尾にいると判断した場合には、ハザードボタン13の操作が必要な状況であると判定する。
(6)状況判定部62は、自動車10の前部に搭載された撮像部から取得された撮像画像データを解析し、この解析の結果、雪又は雨が降っていると判断した場合には、ワイパー操作レバーの操作が必要な状況であると判定する。
(7)状況判定部62は、第一モードでの運転に必要な上記センサの故障を検知し、第一モードから第二モードへの切り替えが必要と判断した場合には、運転モード切替ボタン9の操作が必要な状況であると判定する。
(8)状況判定部62は、上記のように、第一モードから第二モードへの切り替えが必要な場合には、第二モードでの運転に最低限必要なハンドル8、アクセルペダル11、ブレーキペダル12、及び、運転モード切替ボタン9の操作が必要な状況であると判定する。
なお、以上の例では、状況判定部62が、状況情報取得部61によって取得された情報を解析して特定の操作装置の操作の要否を判定している。しかし、自動車10を統括制御する自動車制御部がこの解析を行ってもよい。この場合は、自動車制御部が、この解析の結果、特定の操作装置の操作が必要と判断した場合に、その操作装置の情報をHUD100のシステム制御部60に入力する。そして、状況情報取得部61は、自動車制御部から入力される操作装置の情報を取得し、状況判定部62は、この情報に基づいて、特定の操作装置の操作が必要な状況であることを判定する。
画像データ制御部63は、駆動部45に入力する画像データを制御する。画像データ制御部63は、状況判定部62によって特定の操作装置の操作が必要な状況と判定された場合には、自動車10に搭載される複数の操作装置の各々に対応する画像をこの複数の操作装置の配置と対応した位置関係で表示し、かつ、これら画像のうちの上記の特定の操作装置に対応する画像を強調して表示するための第一の画像データを生成し、駆動部45に入力する。
第一の画像データは、具体的には、アクセルペダル11、ブレーキペダル12、シフトレバー14、パーキングブレーキレバー15、ワイパー操作レバー、クラクションボタン16、ハザードボタン13、ハンドル8、及び、運転モード切替ボタン9の各々に対応する画像を、各々の配置と対応した位置関係で表示し、かつ、これらの画像のうちの操作が必要な操作装置に対応する画像を、色を変える又は点滅させる等によって強調して表示するためのデータである。
画像データ制御部63は、状況判定部62によって特定の操作装置の操作が必要な状況と判定されていない場合には、自動車10の走行速度及び目的地までの経路案内情報等を表示するための第二の画像データを駆動部45に入力する。
図4は、図1に示すHUD100の動作を説明するためのフローチャートである。なお、図4に示す処理は、HUD100の電源がオンされ、自動車10が第一モードに設定されている間、繰り返し実行される。
まず、状況情報取得部61によって状況情報が取得される(ステップS1)。そして、状況情報取得部61で取得された状況情報に基づいて、自動車10に搭載された運転に用いる操作装置の操作が必要な状況か否かが判定される(ステップS2)。
操作装置の操作が必要な状況であると判定された場合(ステップS2:YES)には、画像データ制御部63は、第一の画像データを生成して駆動部45に入力する(ステップS3)。
駆動部45は、画像データ制御部63から入力された第一の画像データに基づいて光変調素子44を駆動することで、第一の画像データに基づく画像光を投写面2に投写させる(ステップS4)。これにより、図5に示すように、投写面2には操作支援画像70と運転支援画像79が投写され、これらが運転者から観察される。
図5に示すように、操作支援画像70には、ハンドル8に対応する画像71と、運転モード切替ボタン9に対応する画像72と、シフトレバー14に対応する画像73と、ハザードボタン13に対応する画像74と、パーキングブレーキレバー15に対応する画像75と、ブレーキペダル12に対応する画像76と、アクセルペダル11に対応する画像77と、クラクションボタン16に対応する画像78と、が含まれている。
画像71〜78の各々は、対応する操作装置を模した画像、対応する操作装置を輪郭のみを色付きで示した輪郭像、対応する操作装置の実写像、又は、対応する操作装置をCG(Computer Graphics)で表した画像等である。なお、操作支援画像70において、画像71〜78以外の背景部分は透明となっている。
操作支援画像70における画像71〜78の配置位置は、自動車10内の運転席から前方を見た状態での各操作装置の配置位置と対応している。つまり、操作支援画像70の外枠が運転席から前方を見たときの視界を表しており、この視界内における各操作装置の配置と同じ関係で、各操作装置に対応する画像71〜78が配置されている。これにより、運転者は、操作支援画像70を見ることで、操作が必要な操作装置を直感的に把握することが可能となる。
図5は、運転モード切替ボタン9の操作が必要な状況であると判定された場合の表示例を示しており、運転モード切替ボタン9に対応する画像72が点滅表示によって強調表示されている。
図5の例では、第一の画像データには、目的地への経路案内等を行うための運転支援画像79を表示するためのデータが含まれている。したがって、運転者は、操作支援画像70と併せて運転支援画像79を視認可能である。なお、第一の画像データには、運転支援画像79を表示するためのデータは含まれていなくてもよい。
図6は、運転モード切替ボタン9の操作が必要な状況であると判定された場合の操作支援画像70の別の表示例を示す図である。
図6の例では、操作支援画像70において、ハンドル8に対応する画像71と、ブレーキペダル12に対応する画像76と、アクセルペダル11に対応する画像77と、運転モード切替ボタン9に対応する画像72とが、他の画像と比べて輪郭が太線に変更されることで強調表示されている。
この例では、第一の画像データには、第一モードから第二モードへの切替の手順をテキストで示す画像80を表示するためのデータが更に含まれる。したがって、運転者には、第一モードから第二モードへの切替の手順をテキストで示す画像80が更に視認される。
操作装置の操作が必要な状況ではないと判定された場合(ステップS2:NO)には、画像データ制御部63は、第二の画像データを駆動部45に入力する。そして、駆動部45は、画像データ制御部63から入力された第二の画像データに基づいて光変調素子44を駆動することで、第二の画像データに基づく画像光を投写面2に投写させる(ステップS6)。これにより、投写面2には、図5及び図6に例示した、運転支援画像79のみが投写される。ステップS4及びステップS5の後はステップS1に処理が戻る。
なお、操作支援画像70において任意の画像を強調する方法としては、上述した方法には限定されない。例えば、任意の画像の表示色を他の画像とは変えることで強調を行う方法、又は、任意の画像の大きさを動的に変化(縮小拡大を繰り返す)させて強調を行う方法等を採用してもよい。表示色を変えることで強調を行う場合には、任意の画像の表示色を、赤色又は黄色等の警告を行う際に利用される色以外の色とすることが好ましい。
以上のようにHUD100によれば、自動車10が第一モードに設定されている状態で、操作装置の操作が必要な状況であると判定された場合には、図5又は図6に示すような操作支援画像70を運転者に提示することができる。このため、運転者は、この操作支援画像70における強調表示された画像を確認することで、現在の状況において必要な操作とその操作対象となる操作装置の位置を直感的に理解することができる。したがって、運転者は、自動運転中又はリモート運転中であっても、状況に応じた適切な行動を瞬時にとることが可能となる。特に危険が迫っているような状況では、必要な操作を瞬時に把握できることで、危険を早期に回避することが可能となり、安全性を高めることができる。
なお、第一モードで自動車10の運転が行われている場合には、運転席に座る人である運転者が前方を注視していない可能性がある。このため、HUD100のシステム制御部60は、第一の画像データに基づく画像光を投写面2に投写する場合(操作装置の操作が必要な状況と判定された場合)には、運転者の視線を投写面2に誘導する制御を行うことが好ましい。運転者の視線を誘導する方法としては例えば以下の2つがあるがこれに限定されるものではない。
(第一の視線誘導方法)
画像データ制御部63は、駆動部45に入力する第一の画像データを、操作装置に対応する画像を除いた背景部分を構成する各画素データに基づいて空間変調された光と、操作装置に対応する画像を構成する各画素データに基づいて空間変調された光とのうち、背景部分を構成する各画素データに基づいて空間変調された光が少なくとも投写面2に到達する画像データとする。
図7は、第一の画像データに基づく操作支援画像70の変形例を示す図である。
図7に示す操作支援画像70は、画像71〜77が第一の色又は透明となっており、画像71〜77以外の背景部分81が第一の色とは異なる第二の色となっている。このように、画像71〜77の背景部分81が色付きとなる第一の画像データを生成することで、操作支援画像70を目立たせることができ、運転者の視線をこの操作支援画像70に誘導することができる。
この方法によれば、特別なデバイスを用いることなく低コストで視線誘導の制御を実現することができる。
(第二の視線誘導方法)
システム制御部60が、自動車10の車内の天井面又は壁面等に設けられるアンビエント照明を点灯させて視線誘導を行う。
図8は、図1に示すHUD100が搭載される自動車10の変形例を示す図である。
図8に示すように、自動車10の車内の運転席付近のピラーには、LED等からなるアンビエント照明82が設置されている。このアンビエント照明82は、自動車10の自動車制御部によって点灯が制御される。アンビエント照明82以外の構成は図1と同様である。
HUD100のシステム制御部60は、状況判定部62によって操作装置の操作が必要な状況であると判定した場合に、このアンビエント照明82を点灯させることを指示する信号を自動車制御部に出力する。自動車制御部は、この信号を受けると、アンビエント照明82を点灯させる。
以上の構成によれば、自動運転中又はリモート運転中に操作装置の操作が必要な状況になるとアンビエント照明82が点灯する。このため、運転席にいる運転者の視線が前方にない場合でも、投写面2にその視線を誘導することができる。この構成によれば、操作支援画像70の背景色を色付きにする方法と比べて高い視線誘導効果を得ることができる。
図8の例では、アンビエント照明82が運転席付近のピラーに配置されるものとしたが、アンビエント照明82の配置は、運転者の視線を前方に誘導することができればよく、これに限定されない。例えば、自動車1のインストルメントパネル又はダッシュボード等に配置されていてもよい。
なお、第一の視線誘導方法と第二の視線誘導方法が組み合わせされて実施されてもよい。
また、操作支援画像70に含まれる各画像に対応する操作装置にLED等の発光素子が固定される構成とし、システム制御部60が、操作支援画像70を表示させる場合に、この操作支援画像70において強調表示される画像に対応する操作装置に固定された発光素子を発光させる制御を行ってもよい。
例えば、図5に示す操作支援画像70が表示される場合には、システム制御部60が、運転モード切替ボタン9に固定された発光素子を点灯させる。この構成によれば、操作が必要な操作装置の位置を、発光素子の点灯によっても運転者に知らせることができる。このため、操作が必要な操作装置の位置をより確実に運転者に伝えることができ、誤操作を防ぐことができる。
以上の実施形態では、アクセルペダル11、ブレーキペダル12、シフトレバー14、パーキングブレーキレバー15、ワイパー操作レバー、クラクションボタン16、ハザードボタン13、ハンドル8、及び、運転モード切替ボタン9が、運転に用いる操作装置として自動車10に搭載されるものとした。
状況判定部62が操作の要否を判定する対象となる操作装置は、これらの操作装置のうちの2つ以上であればよく、危険回避のために必要なアクセルペダル11、ブレーキペダル12、ハンドル8、及び、運転モード切替ボタン9が操作の要否を判定する対象となっていることが好ましい。
以上説明してきたように、本明細書には以下の事項が開示されている。
(1) 乗り物に搭載される投写型表示装置であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を上記乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、上記光変調部に入力する画像データを制御する画像データ制御部と、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも1つの操作が必要な状況か否かを判定する状況判定部と、を備え、 上記画像データ制御部は、上記状況判定部によって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力する投写型表示装置。
(2) (1)記載の投写型表示装置であって、上記状況判定部によって上記操作装置の操作が必要な状況であると判定された場合に、上記乗り物の運転席にいる人の視線を上記投写面に誘導する制御を行う投写型表示装置。
(3) (2)記載の投写型表示装置であって、上記画像データ制御部は、上記光変調部に入力する上記第一の画像データを、上記画像を除いた背景部分を構成する各画素データに基づいて空間変調された上記光と、上記画像を構成する各画素データに基づいて空間変調された上記光とのうち、上記背景部分を構成する各画素データに基づいて空間変調された上記光が少なくとも上記投写面に到達する画像データとすることで、上記人の視線を上記投写面に誘導する制御を行う投写型表示装置。
(4) (1)〜(3)のいずれか1つに記載の投写型表示装置であって、上記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、上記複数の上記操作装置は、上記第一モードと上記第二モードの切り替えを指示するためのモード切替指示装置を含み、上記画像データ制御部は、上記状況が上記モード切替指示装置の操作が必要な状況である場合に、上記モード切替指示装置に対応する上記画像を強調して表示するための上記第一の画像データを上記光変調部に入力する投写型表示装置。
(5) (1)〜(4)のいずれか1つに記載の投写型表示装置であって、上記複数の上記操作装置の各々には発光素子が固定されており、
上記第一モードが設定されている状態では、上記強調された画像に対応する上記操作装置に固定された上記発光素子が点灯される投写型表示装置。
(6) 光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、上記空間変調された上記光を乗り物の投写面に投写して上記画像データに基づく虚像又は実像を表示させる投写光学系と、を有し、乗り物に搭載される投写型表示装置の制御方法であって、上記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、上記光変調部に入力する画像データを制御する画像データ制御ステップと、上記第一モードが設定されている状態で、上記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも1つの操作が必要な状況か否かを判定する状況判定ステップと、を備え、上記画像データ制御ステップでは、上記状況判定ステップによって上記操作装置の操作が必要な状況であると判定された場合には、上記複数の上記操作装置の各々に対応する画像を上記複数の上記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な上記操作装置に対応する上記画像を強調して表示するための第一の画像データを上記光変調部に入力する投写型表示装置の制御方法。
(7) (6)記載の投写型表示装置の制御方法であって、上記状況判定ステップによって上記操作装置の操作が必要な状況であると判定された場合に、上記乗り物の運転席にいる人の視線を上記投写面に誘導する制御を行う投写型表示装置の制御方法。
(8) (7)記載の投写型表示装置の制御方法であって、上記画像データ制御ステップでは、上記光変調部に入力する上記第一の画像データを、上記画像を除いた背景部分を構成する各画素データに基づいて空間変調された上記光と、上記画像を構成する各画素データに基づいて空間変調された上記光とのうち、上記背景部分を構成する各画素データに基づいて空間変調された上記光が少なくとも上記投写面に到達する画像データとすることで、上記人の視線を上記投写面に誘導する投写型表示装置の制御方法。
(9) (6)〜(8)のいずれか1つに記載の投写型表示装置の制御方法であって、上記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、上記複数の上記操作装置は、上記第一モードと上記第二モードの切り替えを指示するためのモード切替指示装置を含み、上記画像データ制御ステップでは、上記状況が上記モード切替指示装置の操作が必要な状況である場合に、上記モード切替指示装置に対応する上記画像を強調して表示するための上記第一の画像データを上記光変調部に入力する投写型表示装置の制御方法。
本発明は、特に自動車に搭載して利便性が高く、有効である。
100 HUD
1 フロントウインドシールド
2 投写面
3 ダッシュボード
4 制御ユニット
5 拡散部材
6 反射ミラー
7 凹面鏡
8 ハンドル
9 運転モード切替ボタン
10 自動車
11 アクセルペダル
12 ブレーキペダル
13 ハザードボタン
14 シフトレバー
15 パーキングブレーキレバー
16 クラクションボタン
40 光源ユニット
40A 光源制御部
41r R光源
41g G光源
41b B光源
42r、42g、42b コリメータレンズ
43 ダイクロイックプリズム
44 光変調素子
45 駆動部
60 システム制御部
61 状況情報取得部
62 状況判定部
63 画像データ制御部
70 操作支援画像
71 ハンドルに対応する画像
72 運転モード切替ボタンに対応する画像
73 シフトレバーに対応する画像
74 ハザードボタンに対応する画像
75 パーキングブレーキレバーに対応する画像
76 ブレーキペダルに対応する画像
77 アクセルペダルに対応する画像
78 クラクションボタンに対応する画像
79 運転支援画像
80 運転モードの切替手順を示す画像
81 背景部分
82 アンビエント照明

Claims (9)

  1. 乗り物に搭載される投写型表示装置であって、
    前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、
    光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、
    前記空間変調された前記光を前記乗り物の投写面に投写して前記画像データに基づく虚像又は実像を表示させる投写光学系と、
    前記光変調部に入力する画像データを制御する画像データ制御部と、
    前記第一モードが設定されている状態で、前記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも1つの操作が必要な状況か否かを判定する状況判定部と、を備え、
    前記画像データ制御部は、前記状況判定部によって前記操作装置の操作が必要な状況であると判定された場合には、前記複数の前記操作装置の各々に対応する画像を前記複数の前記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な前記操作装置に対応する前記画像を強調して表示するための第一の画像データを前記光変調部に入力する投写型表示装置。
  2. 請求項1記載の投写型表示装置であって、
    前記状況判定部によって前記操作装置の操作が必要な状況であると判定された場合に、前記乗り物の運転席にいる人の視線を前記投写面に誘導する制御を行う投写型表示装置。
  3. 請求項2記載の投写型表示装置であって、
    前記画像データ制御部は、前記光変調部に入力する前記第一の画像データを、前記画像を除いた背景部分を構成する各画素データに基づいて空間変調された前記光と、前記画像を構成する各画素データに基づいて空間変調された前記光とのうち、前記背景部分を構成する各画素データに基づいて空間変調された前記光が少なくとも前記投写面に到達する画像データとすることで、前記人の視線を前記投写面に誘導する制御を行う投写型表示装置。
  4. 請求項1〜3のいずれか1項記載の投写型表示装置であって、
    前記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、
    前記複数の前記操作装置は、前記第一モードと前記第二モードの切り替えを指示するためのモード切替指示装置を含み、
    前記画像データ制御部は、前記状況が前記モード切替指示装置の操作が必要な状況である場合に、前記モード切替指示装置に対応する前記画像を強調して表示するための前記第一の画像データを前記光変調部に入力する投写型表示装置。
  5. 請求項1〜4のいずれか1項記載の投写型表示装置であって、
    前記複数の前記操作装置の各々には発光素子が固定されており、
    前記第一モードが設定されている状態では、前記強調された画像に対応する前記操作装置に固定された前記発光素子が点灯される投写型表示装置。
  6. 光源から出射される光を、入力された画像データに基づいて空間変調する光変調部と、前記空間変調された前記光を乗り物の投写面に投写して前記画像データに基づく虚像又は実像を表示させる投写光学系と、を有し、乗り物に搭載される投写型表示装置の制御方法であって、
    前記乗り物は、内部で生成した指令又は外部から無線で受信した指令に基づいて運転が行われる第一モードを設定可能であり、
    前記光変調部に入力する画像データを制御する画像データ制御ステップと、
    前記第一モードが設定されている状態で、前記乗り物に搭載された運転に用いる複数の操作装置のうちの少なくとも1つの操作が必要な状況か否かを判定する状況判定ステップと、を備え、
    前記画像データ制御ステップでは、前記状況判定ステップによって前記操作装置の操作が必要な状況であると判定された場合には、前記複数の前記操作装置の各々に対応する画像を前記複数の前記操作装置の配置と対応した位置関係で表示し、かつ、操作が必要な前記操作装置に対応する前記画像を強調して表示するための第一の画像データを前記光変調部に入力する投写型表示装置の制御方法。
  7. 請求項6記載の投写型表示装置の制御方法であって、
    前記状況判定ステップによって前記操作装置の操作が必要な状況であると判定された場合に、前記乗り物の運転席にいる人の視線を前記投写面に誘導する制御を行う投写型表示装置の制御方法。
  8. 請求項7記載の投写型表示装置の制御方法であって、
    前記画像データ制御ステップでは、前記光変調部に入力する前記第一の画像データを、前記画像を除いた背景部分を構成する各画素データに基づいて空間変調された前記光と、前記画像を構成する各画素データに基づいて空間変調された前記光とのうち、前記背景部分を構成する各画素データに基づいて空間変調された前記光が少なくとも前記投写面に到達する画像データとすることで、前記人の視線を前記投写面に誘導する投写型表示装置の制御方法。
  9. 請求項6〜8のいずれか1項記載の投写型表示装置の制御方法であって、
    前記乗り物は、更に、人が手動で運転を行う第二モードを設定可能であり、
    前記複数の前記操作装置は、前記第一モードと前記第二モードの切り替えを指示するためのモード切替指示装置を含み、
    前記画像データ制御ステップでは、前記状況が前記モード切替指示装置の操作が必要な状況である場合に、前記モード切替指示装置に対応する前記画像を強調して表示するための前記第一の画像データを前記光変調部に入力する投写型表示装置の制御方法。
JP2018539592A 2016-09-16 2017-08-21 投写型表示装置及びその制御方法 Active JP6464326B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016181515 2016-09-16
JP2016181515 2016-09-16
PCT/JP2017/029805 WO2018051734A1 (ja) 2016-09-16 2017-08-21 投写型表示装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP6464326B2 JP6464326B2 (ja) 2019-02-06
JPWO2018051734A1 true JPWO2018051734A1 (ja) 2019-04-04

Family

ID=61619090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018539592A Active JP6464326B2 (ja) 2016-09-16 2017-08-21 投写型表示装置及びその制御方法

Country Status (4)

Country Link
US (1) US10795155B2 (ja)
JP (1) JP6464326B2 (ja)
CN (1) CN109789779B (ja)
WO (1) WO2018051734A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752046B (zh) * 2015-10-15 2023-06-02 麦克赛尔株式会社 平视显示装置
CN112026496B (zh) * 2019-06-04 2022-02-22 上海擎感智能科技有限公司 车窗显示方法、前端、后端、介质及设备
JP7140078B2 (ja) * 2019-09-10 2022-09-21 株式会社デンソー 自動運転操作表示装置
JP2021075157A (ja) 2019-11-08 2021-05-20 トヨタ自動車株式会社 車両用入力装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001199295A (ja) * 2000-01-19 2001-07-24 Nissan Motor Co Ltd 走行状態提示装置
JP2015182624A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 情報表示装置
WO2016143412A1 (ja) * 2015-03-12 2016-09-15 富士フイルム株式会社 投写型表示装置及び運転支援方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596319A (en) * 1994-10-31 1997-01-21 Spry; Willie L. Vehicle remote control system
JP3638071B2 (ja) 1997-01-31 2005-04-13 矢崎総業株式会社 システムスイッチ
JP2000006687A (ja) 1998-06-25 2000-01-11 Yazaki Corp 車載機器スイッチ安全操作システム
JP2006315562A (ja) 2005-05-13 2006-11-24 Matsushita Electric Ind Co Ltd 車載用入力装置
GB2445507B (en) * 2005-10-21 2011-08-24 Deere & Co Versatile robotic control module
DE102006025386B4 (de) * 2006-05-31 2011-01-27 Continental Automotive Gmbh Fahrzeugcockpit mit Head-Up-Display
JP2009184406A (ja) 2008-02-04 2009-08-20 Toyota Motor Corp 車両用ヘッドアップディスプレイ装置
US20110187518A1 (en) * 2010-02-02 2011-08-04 Ford Global Technologies, Llc Steering wheel human/machine interface system and method
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
DE102011075884A1 (de) * 2011-05-16 2012-11-22 Robert Bosch Gmbh HUD mit holographischen optischen Elementen
US9349300B2 (en) * 2011-10-31 2016-05-24 Lifelong Driver Llc Senior driver training
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
CN102745084A (zh) * 2012-07-04 2012-10-24 浙江工业大学 多信息显示的车用抬头显示装置
WO2014016911A1 (ja) * 2012-07-24 2014-01-30 トヨタ自動車株式会社 運転支援装置
CN104995054B (zh) * 2013-01-11 2018-07-17 日产自动车株式会社 车辆用显示控制装置和车辆用显示控制方法
DE202013100347U1 (de) * 2013-01-24 2013-03-05 Ford Global Technologies, Llc Bedarfsweise aktivierbares Fernsteuerungssystem für Kraftfahrzeuge
CN105324267B (zh) * 2013-07-05 2018-08-07 歌乐株式会社 驾驶支援装置
US9244650B2 (en) * 2014-01-15 2016-01-26 Microsoft Technology Licensing, Llc Post-drive summary with tutorial
US9720418B2 (en) * 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
US20160084661A1 (en) * 2014-09-23 2016-03-24 GM Global Technology Operations LLC Performance driving system and method
CN107113410B (zh) * 2015-01-19 2019-01-18 三菱电机株式会社 视频显示装置和显示校正方法
US10269260B2 (en) * 2015-08-07 2019-04-23 Honda Motor Co., Ltd. System and method for coaching a driver

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001199295A (ja) * 2000-01-19 2001-07-24 Nissan Motor Co Ltd 走行状態提示装置
JP2015182624A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 情報表示装置
WO2016143412A1 (ja) * 2015-03-12 2016-09-15 富士フイルム株式会社 投写型表示装置及び運転支援方法

Also Published As

Publication number Publication date
WO2018051734A1 (ja) 2018-03-22
US20190187467A1 (en) 2019-06-20
JP6464326B2 (ja) 2019-02-06
CN109789779B (zh) 2022-03-04
US10795155B2 (en) 2020-10-06
CN109789779A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
US11492017B2 (en) Information presentation device and information presentation method
US10629106B2 (en) Projection display device, projection display method, and projection display program
US10795155B2 (en) Projection display device and control method for the same
JP6175588B2 (ja) 投写型表示装置及び運転支援方法
US10630946B2 (en) Projection type display device, display control method of projection type display device, and program
US10746988B2 (en) Projection display device, projection control method, and non-transitory computer readable medium storing projection control program
WO2016103937A1 (ja) 投写型表示装置、安全運転支援方法、及び安全運転支援プログラム
JP6446595B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
US20180172990A1 (en) Projection type display device and projection control method
US20200055397A1 (en) User interface and method for the input and output of information in a vehicle
US11769431B2 (en) Projection display device, display control method, and display control program
JP6867913B2 (ja) 車載システム及びヘッドアップディスプレイ装置
WO2017145565A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
WO2014013641A1 (ja) 車載ディスプレイ装置及び車載映像投影装置
JP2018034546A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181112

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181112

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190107

R150 Certificate of patent or registration of utility model

Ref document number: 6464326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250