JPWO2018131241A1 - 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム - Google Patents

投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム Download PDF

Info

Publication number
JPWO2018131241A1
JPWO2018131241A1 JP2018561813A JP2018561813A JPWO2018131241A1 JP WO2018131241 A1 JPWO2018131241 A1 JP WO2018131241A1 JP 2018561813 A JP2018561813 A JP 2018561813A JP 2018561813 A JP2018561813 A JP 2018561813A JP WO2018131241 A1 JPWO2018131241 A1 JP WO2018131241A1
Authority
JP
Japan
Prior art keywords
projection
display
range
dirt
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018561813A
Other languages
English (en)
Other versions
JP6630855B2 (ja
Inventor
一也 米山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018131241A1 publication Critical patent/JPWO2018131241A1/ja
Application granted granted Critical
Publication of JP6630855B2 publication Critical patent/JP6630855B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/23
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • E02F9/264Sensors and their calibration for indicating the position of the work tool
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • B60K2360/31
    • B60K2360/334
    • B60K35/81
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/40Special vehicles
    • B60Y2200/41Construction vehicles, e.g. graders, excavators
    • B60Y2200/412Excavators
    • EFIXED CONSTRUCTIONS
    • E02HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02FDREDGING; SOIL-SHIFTING
    • E02F9/00Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26Indicating devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Abstract

ワイパーを搭載する乗り物の運転者に対して十分な情報を提供することのできる投写型表示装置、投写型表示装置の制御方法、及び、投写型表示装置の制御プログラムを提供する。HUD(10)は、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、空間変調された画像光を建設機械(1)のフロントウインドシールド(11)の投写範囲(11A)に投写して画像光に基づく画像を表示する投写表示部(50)を備える。表示制御部(65)は、作業支援情報に基づく第一の表示コンテンツの表示位置を投写範囲(11A)のうちのワイパー(14)によって払拭される払拭範囲と重なる範囲(110A)に制限し、かつ、作業とは関連の低い関連情報に基づく第二の表示コンテンツの表示位置を投写範囲(11A)のうちのワイパー(14)が払拭することのできない拭き残し範囲と重なる範囲(111A)に制限する第一の表示制御を行う。

Description

本発明は、投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラムに関する。
自動車、電車、船舶、建設機械、航空機、又は、農作用機械等の乗り物のウインドシールド、又は、ウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のHUD(Head−up Display)が知られている。このHUDによれば、HUDから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。
ウインドシールドを搭載する乗り物では、ウインドシールドに降雨によって水が付着したり、汚れが付着したりするため、これらの水及び汚れを除去すべく、ワイパーが設けられているものがある。このワイパーは、作動した場合でもウインドシールドの一部の領域だけを清掃可能であり、ウインドシールドにはワイパーによる拭き取りがなされない拭き残し範囲が存在する。
特許文献1及び特許文献2には、車両のワイパーの作動時には、ウインドシールド前方の視界を確保すべく、ワイパーの拭き取り範囲内への画像の表示を禁止する又は拭き取り範囲内に表示する情報量を減らす制御を行うHUDが記載されている。
特許文献3には、車両のワイパー作動時には表示する情報を減らすことでウインドシールド前方の視界を確保するHUDが記載されている。
特開2005−207778号公報 特開平7−266925号公報 特開平10−281792号公報
重機、建機、又は、農作用機械等の乗り物では、自動車等の一般の車両とは異なり、決められた場所において作業が行われる。このため、作業中は、車体が公道上を広範囲にわたって移動することは少ない。つまり、重機、建機、又は、農作用機械では、作業中はウインドシールド前方の景色が大きく変わることはない。したがって、降雨又は降雪等によってワイパーが作動していてウインドシールドの前方視界が狭くなる状況であっても、作業を支援するための情報の情報量を落とすことなくこの情報の表示を継続することが、前方視界を確保することよりも重要となる。
特許文献1〜3に記載のHUDは、ワイパーが作動すると、表示する情報量を減らしたり、ワイパーの拭き取り範囲への情報の表示を禁止したりしている。このため、ワイパー作動時には、運転者に対して十分な情報を提供できない可能性がある。
本発明は、上記事情に鑑みてなされたものであり、ワイパーを搭載する乗り物の運転者に対して十分な情報を提供することのできる投写型表示装置、投写型表示装置の制御方法、及び、投写型表示装置の制御プログラムを提供することを目的とする。
本発明の投写型表示装置は、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面の予め決められた投写範囲に投写して上記画像光に基づく画像を表示する投写表示部と、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる画像を制御する表示制御部と、を備え、上記投写範囲は、上記乗り物の運転席から見た状態において、上記乗り物のウインドシールドを払拭するための上記乗り物に搭載されたワイパーによって払拭される払拭範囲及び上記ワイパーが払拭することのできない拭き残し範囲と重なり、上記投写表示部によって表示可能な複数の表示コンテンツの各々には優先度が設定されており、上記表示制御部は、上記優先度が閾値以上の第一の表示コンテンツの表示位置を上記投写範囲のうちの上記払拭範囲と重なる範囲に制限し、かつ、上記優先度が上記閾値未満の第二の表示コンテンツの表示位置を上記投写範囲のうちの上記拭き残し範囲と重なる範囲に制限する第一の表示制御を行うものである。
本発明の投写型表示装置の制御方法は、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面の予め決められた投写範囲に投写して上記画像光に基づく画像を表示する投写表示部を有する投写型表示装置の制御方法であって、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる画像を制御する表示制御ステップを備え、上記投写範囲は、上記乗り物の運転席から見た状態において、上記乗り物のウインドシールドを払拭するための上記乗り物に搭載されたワイパーによって払拭される払拭範囲及び上記ワイパーが払拭することのできない拭き残し範囲と重なり、上記投写表示部によって表示可能な複数の表示コンテンツの各々には優先度が設定されており、上記表示制御ステップでは、上記優先度が閾値以上の第一の表示コンテンツの表示位置を上記投写範囲のうちの上記払拭範囲と重なる範囲に制限し、かつ、上記優先度が上記閾値未満の第二の表示コンテンツの表示位置を上記投写範囲のうちの上記拭き残し範囲と重なる範囲に制限する第一の表示制御を行うものである。
本発明の投写型表示装置の制御プログラムは、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面の予め決められた投写範囲に投写して上記画像光に基づく画像を表示する投写表示部を有する投写型表示装置の制御プログラムであって、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる画像を制御する表示制御ステップをコンピュータに実行させるためのプログラムであり、上記投写範囲は、上記乗り物の運転席から見た状態において、上記乗り物のウインドシールドを払拭するための上記乗り物に搭載されたワイパーによって払拭される払拭範囲及び上記ワイパーが払拭することのできない拭き残し範囲と重なり、上記投写表示部によって表示可能な複数の表示コンテンツの各々には優先度が設定されており、上記表示制御ステップでは、上記優先度が閾値以上の第一の表示コンテンツの表示位置を上記投写範囲のうちの上記払拭範囲と重なる範囲に制限し、かつ、上記優先度が上記閾値未満の第二の表示コンテンツの表示位置を上記投写範囲のうちの上記拭き残し範囲と重なる範囲に制限する第一の表示制御を行うものである。
本発明によれば、ワイパーを搭載する乗り物の運転者に対して十分な情報を提供することのできる投写型表示装置、投写型表示装置の制御方法、及び、投写型表示装置の制御プログラムを提供することができる。
本発明の投写型表示装置の一実施形態であるHUD10を搭載する建設機械1の概略構成を示す模式図である。 図1に示す建設機械1における運転室5の内部構成例を示す模式図である。 図1に示す建設機械1における運転室5の運転席6からフロントウインドシールド11を見た状態を示す模式図である。 図1及び図2に示すHUD10の内部構成を示す模式図である。 図4に示すシステム制御部60の機能ブロック図である。 HUD10において第一の表示制御が行われた場合の表示例を示す図である。 図6に示す表示状態からバケット4Aが下方向に移動された場合の表示例を示す図である。 図6に示す表示状態からバケット4Aが上方向に移動された場合の表示例を示す図である。 図8に示す表示状態からバケット4Aが上方向に移動された場合の表示例を示す図である。 HUD10において第二の表示制御が行われた場合の表示例を示す図である。 図10に示す表示状態からバケット4Aが上方向に移動された場合の表示例を示す図である。 図5に示すシステム制御部60の動作を説明するためのフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の投写型表示装置の一実施形態であるHUD10を搭載する建設機械1の概略構成を示す模式図である。
建設機械1は、油圧ショベルであって、下部走行体2、下部走行体2に旋回可能に支持される上部旋回体3、及び、上部旋回体3によって支持されたフロント作業部4等の各部から構成されている。下部走行体2及び上部旋回体3は建設機械1の本体部を構成する。
下部走行体2は、公道及び作業現場を走行するための金属製又はゴム製のクローラを備える。
上部旋回体3は、フロント作業部4を操作するための操作装置及び作業者が着座するための運転席6が設置される運転室5を備える。
フロント作業部4は、上部旋回体3によって重力方向と重力方向に直交する方向(図中の上下方向及び紙面に垂直な方向)に移動可能に支持されたアーム4Cと、アーム4Cによってアーム4Cに対し回転可能に支持されたブーム4Bと、ブーム4Bによってブーム4Bに対して回転可能に支持されたバケット4Aと、を備える。バケット4Aは、地面又は搬出物等の作業対象物に対して直接接触可能な部分であり、作業機を構成する。
なお、バケット4Aに代えて、鉄骨切断機、コンクリート圧砕機、つかみ機、又は、打撃式破砕具等の他の作業機がブーム4Bに装着された構成であってもよい。
バケット4Aは、アーム4C及びブーム4Bを介して、運転室5に対して図中の上下方向に移動させることができる。また、バケット4Aは、運転席6に着座する作業者の視線方向及び重力方向と直交する方向を軸として回転可能となっている。また、ブーム4Bは、図中の紙面に垂直な方向を軸として回転可能となっている。
図示省略されているが、フロント作業部4には、バケット4Aの姿勢を検出するための角速度センサ及び3軸加速度センサ等のセンサ群(後述するセンサ群80)が設けられている。
運転室5には、運転席6の前方にフロントウインドシールド11が設けられており、このフロントウインドシールド11の一部は、後述する画像光を反射させる加工がなされた領域となっている。そして、この領域が、HUD10から出射された画像光が投写される投写範囲11Aを構成している。
HUD10は、運転室5内に設置されており、投写面を構成するフロントウインドシールド11において予め決められた一部の領域である投写範囲11Aに投写する画像光により、運転席6に着座する作業者によってフロントウインドシールド11前方において虚像を視認可能に表示する。
図2は、図1に示す建設機械1における運転室5の内部構成例を示す模式図である。
図2に示すように、HUD10は、作業者が運転席6に着座した状態で、作業者の上方かつ後方に設けられている。なお、HUD10の配置位置はこれに限定されるものではなく、運転席6上方の運転室5の天井又は運転席6前方の運転室5の床にHUD10が配置されていてもよい。
建設機械1の作業者は、フロントウインドシールド11の投写範囲11Aに投写され、ここで反射された画像光を見ることで、建設機械1による作業を支援するためのアイコン又は文字等の情報を虚像として視認することができる。また、投写範囲11Aは、HUD10から投写された画像光を反射すると同時に、外部(外界)からの光を透過する機能を持つ。このため、作業者は、HUD10から投写された画像光に基づく虚像を外界の景色に重ねて視認することができる。
作業者が運転席6に着座した状態で、作業者後方の運転室5内には、撮像素子とこの撮像素子から出力される撮像画像信号を処理して撮像画像データを生成する画像処理部とを有する撮像部15が設けられている。
撮像部15は、フロントウインドシールド11の投写範囲11Aを少なくとも撮像する。撮像部15は、HUD10と無線又は有線で接続されており、投写範囲11Aを撮像することで得られた撮像画像データをHUD10に転送する。
なお、撮像部15の設置場所は、投写範囲11Aを撮像することができる場所であればどこでもよい。
運転室5には、フロントウインドシールド11の外表面を払拭して、この外表面に付着した水滴又は汚れ等を除去するためのワイパー14が設けられている。
HUD10は、図1の例では油圧ショベルに搭載されて用いられるが、例えば、作業用機械(ホイールローダー、ブルドーザ、モーターグレーダー、又は、フォークリフト等)、自動車、電車、航空機、又は、船舶等、ワイパーを搭載する乗り物であれば同様に搭載可能である。
図3は、図1に示す建設機械1における運転室5の運転席6からフロントウインドシールド11を見た状態を示す模式図である。
運転室5は、フロントウインドシールド11、右サイドウインドシールド21、及び、左サイドウインドシールド22に取り囲まれている。運転室5は、フロント作業部4の曲げ伸ばしを操作するための左操作レバー23及びフロント作業部4のバケット4Aの掘削及び開放を操作するための右操作レバー24等を運転席6の周りに備える。
フロントウインドシールド11の前面にはフロントウインドシールド11に付着した降雨等による水又は汚れを払拭するための上記のワイパー14が設けられている。ワイパー14は、図中の実線の位置と破線の位置との間で移動可能に構成されており、フロントウインドシールド11の外表面の一部を払拭する。
フロントウインドシールド11には、HUD10から出射された画像光が投写される上述の投写範囲11Aがあり、この投写範囲11Aが画像光を反射すると同時に、外部(外界)からの光を透過する。ワイパー14によって払拭されるフロントウインドシールド11の払拭範囲の一部と、ワイパー14によって払拭することのできないフロントウインドシールド11の拭き残し範囲の一部は、運転席6(運転席6上方の空間に設定されるアイボックス)から見た状態において、投写範囲11Aに重なっている。
つまり、投写範囲11Aは、運転席6から見た状態において、ワイパー14によって払拭される払拭範囲に重なる範囲(以下、払拭重複範囲という)と、ワイパー14が払拭することのできない拭き残し範囲に重なる範囲(以下、拭き残し重複範囲という)とによって構成されている。
図4は、図1及び図2に示すHUD10の内部構成を示す模式図である。
HUD10は、光源ユニット40と、光変調素子44と、光変調素子44を駆動する駆動部45と、投写光学系46と、拡散板47と、反射ミラー48と、拡大鏡49と、光源ユニット40及び駆動部45を制御するシステム制御部60と、フラッシュメモリ等の記憶媒体により構成されうる記憶部70と、を備える。
光源ユニット40は、光源制御部40Aと、赤色光を出射する赤色光源であるR光源41rと、緑色光を出射する緑色光源であるG光源41gと、青色光を出射する青色光源であるB光源41bと、ダイクロイックプリズム43と、R光源41rとダイクロイックプリズム43の間に設けられたコリメータレンズ42rと、G光源41gとダイクロイックプリズム43の間に設けられたコリメータレンズ42gと、B光源41bとダイクロイックプリズム43の間に設けられたコリメータレンズ42bと、を備えている。
ダイクロイックプリズム43は、R光源41r、G光源41g、及びB光源41bの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム43は、コリメータレンズ42rによって平行光化された赤色光を透過させて光変調素子44に出射する。また、ダイクロイックプリズム43は、コリメータレンズ42gによって平行光化された緑色光を反射させて光変調素子44に出射する。さらに、ダイクロイックプリズム43は、コリメータレンズ42bによって平行光化された青色光を反射させて光変調素子44に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
R光源41r、G光源41g、及び、B光源41bは、それぞれ、レーザ又はLED(Light Emitting Diode)等の発光素子が用いられる。R光源41r、G光源41g、及び、B光源41bは、HUD10の光源を構成する。本実施形態では、HUD10の光源として、R光源41rとG光源41gとB光源41bの3つの光源を含むものとしているが、光源の数は1つ、2つ、又は、4つ以上であってもよい。
光源制御部40Aは、R光源41r、G光源41g、及び、B光源41bの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってR光源41r、G光源41g、及び、B光源41bから光を順次出射させる制御を行う。
光変調素子44は、ダイクロイックプリズム43から出射された光を画像情報に基づいて空間変調し、空間変調した光(赤色画像光、青色画像光、及び緑色画像光)を投写光学系46に出射する。
光変調素子44としては、例えば、LCOS(Liquid crystal on silicon)、DMD(Digital Micromirror Device)、MEMS(Micro Electro Mechanical Systems)素子、又は、液晶表示素子等を用いることができる。
駆動部45は、システム制御部60から入力される画像情報に基づいて光変調素子44を駆動し、画像情報に応じた光(赤色画像光、青色画像光、及び緑色画像光)を光変調素子44から投写光学系46に向けて出射させる。
光変調素子44と駆動部45とは、HUD10の光変調部を構成する。
投写光学系46は、光変調素子44から出射された光を、拡散板47に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。例えば、走査型スキャナから出射された光を拡散板47で拡散させて面光源化してもよい。
反射ミラー48は、拡散板47で拡散された光を拡大鏡49に向けて反射させる。
拡大鏡49は、反射ミラー48で反射されてきた光に基づく像を拡大させて投写範囲11Aに投写する。
光源ユニット40、光変調素子44、駆動部45、投写光学系46、拡散板47、反射ミラー48、及び、拡大鏡49は、R光源41r、G光源41g、及び、B光源41bから出射される光を、システム制御部60から入力された画像情報に基づいて空間変調し、空間変調して得られた画像光を投写範囲11Aに投写してこの画像光に基づく虚像を表示する投写表示部50を構成する。
システム制御部60は、光源制御部40A及び駆動部45を制御して、画像情報に基づく画像光を、投写光学系46を介して拡散板47に出射させる。
図4に示した拡散板47、反射ミラー48、及び、拡大鏡49は、投写範囲11Aに投写された画像光に基づく画像が、フロントウインドシールド11前方の位置において虚像として視認可能となるように光学設計がなされているが、投写範囲11Aに投写された画像光に基づく画像がフロントウインドシールド11において実像として視認可能となるように光学設計がなされていてもよい。
システム制御部60は、プロセッサを主体に構成されており、プロセッサの実行するプログラム等が記憶されるROM(Read Only Memory)及びワークメモリとしてのRAM(Random Access Memory)等を含む。
記憶部70は、投写表示部50によって表示される表示コンテンツの元データとなる複数の表示情報を記憶する。表示情報には、作業者が作業中に注視することの多いバケット4Aの近傍に表示させることで作業を効率的に進めることを支援する作業支援情報と、バケット4Aの操作とは直接関係のない関連情報とが含まれる。
作業支援情報は、例えば、バケット4Aによる掘削方向を示す情報、掘削量(○○m)を示す情報、又は、人物等の障害物に注意が必要なことを通知するための警告情報等である。
関連情報は、例えば、現在の日付を示す情報、現在時刻を示す情報、又は、建設機械1の燃料の量を示す情報等である。
HUD10では、記憶部70に記憶された複数の表示情報の各々に基づく画像である表示コンテンツに優先度が予め設定されている。表示コンテンツの優先度は、作業支援との関連性が高いものほど高い値が設定される。
具体的には、記憶部70に記憶される作業支援情報には閾値以上の優先度情報が対応付けて記憶され、関連情報にはこの閾値未満の優先度情報が対応付けて記憶されている。優先度が閾値以上となる作業支援情報に基づく表示コンテンツは第一の表示コンテンツを構成し、優先度が閾値未満となる関連情報に基づく表示コンテンツは第二の表示コンテンツを構成する。
図5は、図4に示すシステム制御部60の機能ブロック図である。
システム制御部60は、姿勢検出部61と、重複範囲検出部62と、ワイパー作動判定部63と、汚れ検出部64と、表示制御部65と、を備える。
姿勢検出部61、重複範囲検出部62、ワイパー作動判定部63、汚れ検出部64、及び、表示制御部65は、システム制御部60のプロセッサがROMに記憶されたHUD10の制御プログラムを含むプログラムを実行することで形成される機能ブロックである。
姿勢検出部61は、センサ群80から入力された加速度情報及び角速度情報に基づいて、バケット4Aの上下方向の位置及びバケット4Aの運転室5からの距離によって決まるバケット4Aの姿勢を検出する。
重複範囲検出部62は、運転席6から観察される投写範囲11Aとバケット4Aとの重複範囲(以下、バケット重複範囲という)を検出する。
HUD10においては、運転席6上方の空間上に上記のアイボックスが予め設定されており、このアイボックス内に作業者の眼が位置していれば、投写表示部50によって表示される虚像を作業者が視認可能となる。
このアイボックスから投写範囲11Aを観察した場合、投写範囲11Aの位置は固定であるため、バケット4Aの姿勢が分かればバケット重複範囲を検出することが可能である。
例えば、記憶部70には、バケット4Aの取り得る全ての姿勢の各々と、投写範囲11Aにおけるバケット重複範囲の情報を対応付けたテーブルが記憶される。そして、重複範囲検出部62は、姿勢検出部61によって検出されたバケット4Aの姿勢とこのテーブルとに基づいてバケット重複範囲を検出する。
なお、アイボックス近傍に設置される撮像装置(例えば、作業者のヘルメットに装着される撮像装置)によって投写範囲11Aを撮像して得た撮像画像を解析することでバケット重複範囲を検出してもよい。
ワイパー作動判定部63は、建設機械1を統括制御する制御部81から受信した情報に基づいて、ワイパー14が作動中か否かを判定する。
汚れ検出部64は、撮像部15から取得した撮像画像データと、予め記憶する基準画像データとを比較し、運転席6から見た状態において投写範囲11Aと重なるフロントウインドシールド11の拭き残し範囲の汚れの度合いを検出する。
例えば、物体が全く付着していない綺麗な状態のフロントウインドシールド11の表面を撮像部15により撮像して得られた基準撮像画像データをシステム制御部60のROMに記憶しておき、汚れ検出部64は、この基準撮像画像データと、撮像部15から入力される撮像画像データとの比較により、フロントウインドシールド11における投写範囲11Aと重なる拭き残し範囲の汚れの度合いを検出する。
具体的には、汚れ検出部64は、基準撮像画像データにおける拭き残し範囲に対応する第一の画像データと撮像部15から入力される撮像画像データにおける拭き残し範囲に対応する第二の画像データとを比較して、第一の画像データに対し第二の画像データの濃淡の変化が大きい変化領域を検出する。
汚れ検出部64は、この変化領域の総面積が面積閾値以上となる場合には、拭き残し範囲の汚れが汚れ閾値以上であることを検出し、この変化領域の総面積が面積閾値未満となる場合には、拭き残し範囲の汚れが汚れ閾値未満であることを検出する。
表示制御部65は、駆動部45に入力する画像情報を制御して投写表示部50により表示させる画像を制御する。表示制御部65は、この画像情報に記憶部70から読み出した表示情報を含めることで、この表示情報に基づく画像(表示コンテンツ)を投写表示部50によって表示させる。
表示制御部65は、ワイパー作動判定部63によって判定されたワイパー14の動作状態と、汚れ検出部64によって検出された拭き残し範囲の汚れの度合いとに基づいて、第一の表示制御と第二の表示制御のいずれかを選択的に実行する。
第一の表示制御とは、優先度が閾値以上の第一の表示コンテンツ(作業支援情報に基づく画像)の表示位置を投写範囲11Aのうちの払拭重複範囲に制限し、かつ、優先度が閾値未満の第二の表示コンテンツ(関連情報に基づく画像)の表示位置を投写範囲11Aのうちの拭き残し重複範囲に制限する制御である。
第二の表示制御とは、第一の表示コンテンツ(作業支援情報に基づく画像)と第二の表示コンテンツ(関連情報に基づく画像)を投写範囲11A内で制限なく任意の位置に表示させる制御である。
図6は、HUD10において第一の表示制御が行われた場合の表示例を示す図である。
図6に示すように、投写範囲11Aは、払拭重複範囲110Aと拭き残し重複範囲111Aとにより構成されている。図6には、運転席6から投写範囲11Aを通して観察されるバケット4Aが示されている。
払拭重複範囲110Aには、バケット4A(重複範囲検出部62により検出されたバケット重複範囲)の近傍において、掘削量を指示するための第一の表示コンテンツである目盛画像122と、掘削方向を指示するための第一の表示コンテンツである矢印画像121とが表示されている。
拭き残し重複範囲111Aには、日付を文字で表す第二の表示コンテンツである日付画像123と、時刻を文字で表す第二の表示コンテンツである時刻画像124と、建設機械1の燃料の量を表す第二の表示コンテンツである燃料画像125とが表示されている。
このように、表示制御部65は、第一の表示制御を行った場合には、作業支援情報に基づく第一の表示コンテンツについては、払拭重複範囲110Aに表示させ、拭き残し重複範囲111Aには表示させない。また、表示制御部65は、第一の表示制御を行った場合には、関連情報に基づく第二の表示コンテンツについては、拭き残し重複範囲111Aに表示させ、払拭重複範囲110Aには表示させない。
なお、払拭重複範囲110Aに任意の画像を表示させるとは、この任意の画像を表示するための表示情報に基づいて空間変調された光を払拭重複範囲110Aに投写させることを言う。また、拭き残し重複範囲111Aに任意の画像を表示させるとは、この任意の画像を表示するための表示情報に基づいて空間変調された光を拭き残し重複範囲111Aに投写させることを言う。
表示制御部65は、第一の表示制御と第二の表示制御のどちらを行う場合でも、作業支援情報に基づく第一の表示コンテンツについては、原則的には、重複範囲検出部62によって検出されたバケット重複範囲に対して予め決められた位置関係を維持しながら表示させる。ただし、表示制御部65は、第一の表示制御を実行している場合、重複範囲検出部62によって検出されたバケット重複範囲の位置によっては、上記の位置関係を解除する。
図7は、図6に示す表示状態から作業者が左操作レバー23を操作してバケット4Aを下方向に移動させた場合の表示例を示している。
図7に示すバケット4Aの位置では、目盛画像122と矢印画像121とのバケット4Aに対する位置を変更しなくても、目盛画像122と矢印画像121とを払拭重複範囲110Aに表示させることができる。したがって、表示制御部65は、バケット4Aに対する目盛画像122と矢印画像121との相対位置を図6の状態のまま維持している。
図8は、図6に示す表示状態から作業者が左操作レバー23を操作してバケット4Aを上方向に移動させた場合の表示例を示している。
図8に示すバケット4Aの位置では、バケット4Aの左に目盛画像122を図6のような位置関係で表示させると、目盛画像122が払拭重複範囲110Aと拭き残し重複範囲111Aに跨って表示されてしまう。このため、このような場合には、表示制御部65は、目盛画像122が払拭重複範囲110Aに収まるように、目盛画像122の表示位置をバケット4Aに対して予め決められた位置よりも下にずらす。一方、図8に示すバケット4Aの位置では、矢印画像121のバケット4Aに対する位置を変更しなくても、矢印画像121を払拭重複範囲110Aに表示させることができる。したがって、表示制御部65は、バケット4Aに対する矢印画像121の相対位置を図6の状態のまま維持している。
図9は、図8に示す表示状態から作業者が左操作レバー23を操作してバケット4Aを上方向に移動させた場合の表示例を示している。
図9に示すバケット4Aの位置では、目盛画像122と矢印画像121とをバケット4Aに対して図6のような位置関係で表示させると、目盛画像122が拭き残し重複範囲111Aに表示され、矢印画像121が払拭重複範囲110Aと拭き残し重複範囲111Aに跨って表示されてしまう。このため、このような場合には、表示制御部65は、目盛画像122と矢印画像121とが払拭重複範囲110Aに収まるように、目盛画像122と矢印画像121との表示位置をバケット4Aに対して予め決められた位置よりも下にずらす。
図10は、HUD10において第二の表示制御が行われた場合の表示例を示す図である。
図10において払拭重複範囲110Aには、バケット4Aに対して予め決められた位置に第一の表示コンテンツである目盛画像122、矢印画像121、及び、警告情報に基づく警告画像131が表示されている。また、払拭重複範囲110Aの下端には第二の表示コンテンツである時刻画像124及び燃料画像125が表示されている。
また、図10に示す日付画像123は、第二の表示コンテンツであり、払拭重複範囲110Aと拭き残し重複範囲111Aとに跨って表示されている。
図11は、図10に示す表示状態から作業者が左操作レバー23を操作してバケット4Aを上方向に移動させた場合の表示例を示している。
第二の表示制御が行われている場合には、目盛画像122、矢印画像121、及び、警告画像131の表示位置に制限はない。このため、表示制御部65は、目盛画像122、矢印画像121、及び、警告画像131のバケット4Aに対する位置を図10の状態のまま維持する。
このように、表示制御部65は、第二の表示制御を行う場合には、関連情報に基づく第二の表示コンテンツについては投写範囲11Aの任意の位置に表示させ、作業支援情報に基づく第一の表示コンテンツについてはバケット4Aに対して予め決められた位置に表示させる。なお、ここでは、第二の表示制御において、第一の表示コンテンツをバケット4Aに追従させて表示させるものとしているが、投写範囲11Aにおける予め決められた任意の位置に第一の表示コンテンツを表示させてもよい。
図12は、図5に示すシステム制御部60の動作を説明するためのフローチャートである。なお、図12に示す処理は、HUD10の電源がオンされている間、繰り返し実行される。
システム制御部60のワイパー作動判定部63は、制御部81からの情報に基づいて、ワイパー14が作動中であるか否かを判定する(ステップS1)。
ワイパー14が作動中であると判定された場合(ステップS1:YES)には、表示制御部65は、第一の表示制御を行う(ステップS2)。
一方、ワイパー14が停止している判定された場合(ステップS1:NO)には、汚れ検出部64は、撮像部15から取得した撮像画像データ及び予め記憶する基準画像データに基づいて、拭き残し範囲の汚れの度合いが汚れ閾値以上であるか否かを判定する(ステップS3)。
汚れ検出部64が拭き残し範囲の汚れの度合いが汚れ閾値以上であると判定した場合(ステップS3:YES)には、表示制御部65は、ステップS2において第一の表示制御を行う。
一方、汚れ検出部64が拭き残し範囲の汚れの度合いが汚れ閾値未満であると判定した場合(ステップS3:NO)には、表示制御部65は、第二の表示制御を行う(ステップS4)。ステップS2とステップS4の後はステップS1に処理が戻り、以上の動作が繰り返し行われる。
以上のように、HUD10によれば、ワイパー14が作動している状態では第一の表示制御が行われて、ワイパー14によって視界の確保された範囲である払拭重複範囲110Aに作業支援情報に基づく第一の表示コンテンツが表示される。払拭重複範囲110Aは、拭き残し重複範囲111Aよりも前方の視界が良好であるため、第一の表示コンテンツの視認性を向上させることができ、ワイパー14の作動時の作業効率の向上を図ることができる。
また、HUD10によれば、ワイパー14が作動している状態では第一の表示制御が行われて、拭き残し重複範囲111Aに作業支援情報以外の関連情報に基づく第二の表示コンテンツが表示される。このため、ワイパー14が作動中であってもHUD10によって表示される情報量が減ることはなく、必要十分な情報を作業者に提供することが可能となる。
また、HUD10によれば、ワイパー14が作動していないものの投写範囲11Aと重なるワイパー14の拭き残し範囲の汚れが酷い場合には第一の表示制御が行われる。例えば、ワイパー14を作動させていた状態から雨が止み、ワイパー14が停止された状態を考える。この状態では、拭き残し範囲は水滴又は汚れ等が付いたままとなっている。建設機械1はその場で移動しないことが多いため、この水滴又は汚れが無くなるまでには時間がかかる。そこで、このような状態では第一の表示制御が継続されることで、第一の表示コンテンツの視認性を確保することができる。
また、HUD10によれば、ワイパー14が停止しておりかつ拭き残し範囲の汚れが少ない場合には第二の表示制御が行われる。このため、投写範囲11A全体を利用して第一の表示コンテンツを表示させることができ、作業支援を効果的に行うことができる。
ここまでの説明では、表示コンテンツの優先度が予めシステム側で設定されるものとした。しかし、表示コンテンツの優先度を作業者が手動で設定できるようにしてもよい。これにより、ワイパー14の作動時に、作業者にとって必要な情報の視認性を確保することができる。
なお、表示コンテンツのうち優先度が最大に設定されているものについては、その優先度は変更禁止とするのが好ましい。例えば、警告情報については優先度を最大に固定しておくことで、ワイパー14作動時の警告画像131の視認性を確保することができ、作業の安全性を向上させることができる。
また、ここまでの説明では、表示制御部65が、ワイパー14の動作状態と拭き残し範囲の汚れの度合に基づいて第一の表示制御と第二の表示制御のいずれかを実行するものとしたが、これに限らない。
例えば、図12において、ステップS1の判定がNOとなる場合にステップS4の処理が行われる構成としてもよい。この構成によれば、拭き残し範囲の汚れ検出が不要となるため、HUD10の製造コストを低減することができる。
また、作業者が手動操作によって第一の表示制御と第二の表示制御のどちらを実行すべきかを表示制御部65に指示できる構成であってもよい。これにより、作業者の好み、又は、拭き残し範囲の汚れだけでは判断できない作業現場の状況に合わせた表示を行うことが可能となる。
また、以上の説明では、表示制御部65が、第一の表示制御と第二の表示制御とを選択的に行うものとしたが、表示制御部65が第一の表示制御のみを行う構成であってもよい。この構成によれば、ワイパー14の作動判定及び拭き残し範囲の汚れ検出が不要となるため、HUD10の製造コストを低減することができる。
また、以上の説明では、投写表示部50がフロントウインドシールド11の投写範囲11Aに画像光を投写する構成としたが、フロントウインドシールド11と運転席6との間に設置されたコンバイナを投写面として、このコンバイナの予め決められた投写範囲に投写表示部50が画像光を投写する構成としてもよい。
この構成において、コンバイナの投写範囲は、運転席6(アイボックス)から見た状態において、フロントウインドシールド11のワイパー14によって払拭される払拭範囲に重なる払拭重複範囲と、フロントウインドシールド11のワイパー14が払拭することのできない拭き残し範囲に重なる拭き残し重複範囲とによって構成される。
そして、表示制御部65は、第一の表示コンテンツの表示位置をコンバイナの投写範囲のうちの払拭重複範囲に制限しかつ第二の表示コンテンツの表示位置をコンバイナの投写範囲のうちの拭き残し重複範囲に制限する第一の表示制御と、第一の表示コンテンツと第二の表示コンテンツをコンバイナの投写範囲内で制限なく任意の位置に表示させる第二の表示制御とを、ワイパー作動判定部63によって判定されたワイパー14の動作状態と、汚れ検出部64によって検出されたコンバイナの投写範囲と重なるワイパー14の拭き残し範囲の汚れの度合いとに基づいて選択的に実行する。
以上説明してきたように、本明細書には以下の事項が開示されている。
(1) 入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面の予め決められた投写範囲に投写して上記画像光に基づく画像を表示する投写表示部と、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる画像を制御する表示制御部と、を備え、上記投写範囲は、上記乗り物の運転席から見た状態において、上記乗り物のウインドシールドを払拭するための上記乗り物に搭載されたワイパーによって払拭される払拭範囲及び上記ワイパーが払拭することのできない拭き残し範囲と重なり、上記投写表示部によって表示可能な複数の表示コンテンツの各々には優先度が設定されており、上記表示制御部は、上記優先度が閾値以上の第一の表示コンテンツの表示位置を上記投写範囲のうちの上記払拭範囲と重なる範囲に制限し、かつ、上記優先度が上記閾値未満の第二の表示コンテンツの表示位置を上記投写範囲のうちの上記拭き残し範囲と重なる範囲に制限する第一の表示制御を行う投写型表示装置。
(2) (1)記載の投写型表示装置であって、上記表示制御部は、上記第一の表示コンテンツと上記第二の表示コンテンツを上記投写範囲の任意の位置に表示させる第二の表示制御と、上記第一の表示制御とを選択的に実行する投写型表示装置。
(3) (2)記載の投写型表示装置であって、上記ワイパーが作動しているか否かを判定するワイパー作動判定部を更に備え、上記表示制御部は、上記ワイパーが作動している場合には上記第一の表示制御を行う投写型表示装置。
(4) (2)又は(3)記載の投写型表示装置であって、上記投写範囲と重なる上記拭き残し範囲の汚れを検出し、上記拭き残し範囲の汚れが汚れ閾値以上であるか否かを検出する汚れ検出部を更に備え、上記表示制御部は、上記汚れの度合いが汚れ閾値以上の場合には上記第一の表示制御を行う投写型表示装置。
(5) (3)記載の投写型表示装置であって、上記投写範囲と重なる上記拭き残し範囲の汚れを検出し、上記拭き残し範囲の汚れが汚れ閾値以上であるか否かを検出する汚れ検出部を更に備え、上記表示制御部は、上記ワイパーが停止しておりかつ上記汚れの度合いが上記汚れ閾値未満である場合には上記第二の表示制御を行う投写型表示装置。
(6) 入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面の予め決められた投写範囲に投写して上記画像光に基づく画像を表示する投写表示部を有する投写型表示装置の制御方法であって、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる画像を制御する表示制御ステップを備え、上記投写範囲は、上記乗り物の運転席から見た状態において、上記乗り物のウインドシールドを払拭するための上記乗り物に搭載されたワイパーによって払拭される払拭範囲及び上記ワイパーが払拭することのできない拭き残し範囲と重なり、上記投写表示部によって表示可能な複数の表示コンテンツの各々には優先度が設定されており、上記表示制御ステップでは、上記優先度が閾値以上の第一の表示コンテンツの表示位置を上記投写範囲のうちの上記払拭範囲と重なる範囲に制限し、かつ、上記優先度が上記閾値未満の第二の表示コンテンツの表示位置を上記投写範囲のうちの上記拭き残し範囲と重なる範囲に制限する第一の表示制御を行う投写型表示装置の制御方法。
(7) (6)記載の投写型表示装置の制御方法であって、上記表示制御ステップでは、上記第一の表示コンテンツと上記第二の表示コンテンツを上記投写範囲の任意の位置に表示させる第二の表示制御と、上記第一の表示制御とを選択的に実行する投写型表示装置の制御方法。
(8) (7)記載の投写型表示装置の制御方法であって、上記ワイパーが作動しているか否かを判定するワイパー作動判定ステップを更に備え、上記表示制御ステップでは、上記ワイパーが作動している場合には上記第一の表示制御を行う投写型表示装置の制御方法。
(9) (7)又は(8)記載の投写型表示装置の制御方法であって、上記投写範囲と重なる上記拭き残し範囲の汚れを検出し、上記拭き残し範囲の汚れが汚れ閾値以上であるか否かを検出する汚れ検出ステップを更に備え、上記表示制御ステップでは、上記汚れの度合いが汚れ閾値以上の場合には上記第一の表示制御を行う投写型表示装置の制御方法。
(10) (8)記載の投写型表示装置の制御方法であって、上記投写範囲と重なる上記拭き残し範囲の汚れを検出し、上記拭き残し範囲の汚れが汚れ閾値以上であるか否かを検出する汚れ検出ステップを更に備え、上記表示制御ステップでは、上記ワイパーが停止しておりかつ上記汚れの度合いが上記汚れ閾値未満である場合には上記第二の表示制御を行う投写型表示装置の制御方法。
(11) 入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、上記空間変調された画像光を乗り物の投写面の予め決められた投写範囲に投写して上記画像光に基づく画像を表示する投写表示部を有する投写型表示装置の制御プログラムであって、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる画像を制御する表示制御ステップをコンピュータに実行させるためのプログラムであり、上記投写範囲は、上記乗り物の運転席から見た状態において、上記乗り物のウインドシールドを払拭するための上記乗り物に搭載されたワイパーによって払拭される払拭範囲及び上記ワイパーが払拭することのできない拭き残し範囲と重なり、上記投写表示部によって表示可能な複数の表示コンテンツの各々には優先度が設定されており、上記表示制御ステップでは、上記優先度が閾値以上の第一の表示コンテンツの表示位置を上記投写範囲のうちの上記払拭範囲と重なる範囲に制限し、かつ、上記優先度が上記閾値未満の第二の表示コンテンツの表示位置を上記投写範囲のうちの上記拭き残し範囲と重なる範囲に制限する第一の表示制御を行う投写型表示装置の制御プログラム。
本発明によれば、ワイパーを搭載する乗り物の運転者に対して十分な情報を提供することができる。
1 建設機械
2 下部走行体
3 上部旋回体
4 フロント作業部
4A バケット
4B ブーム
4C アーム
5 運転室
6 運転席
10 HUD
11 フロントウインドシールド
11A 投写範囲
14 ワイパー
15 撮像部
21 右サイドウインドシールド
22 左サイドウインドシールド
23 左操作レバー
24 右操作レバー
40 光源ユニット
40A 光源制御部
41r R光源
41g G光源
41b B光源
42r、42g、42b コリメータレンズ
43 ダイクロイックプリズム
44 光変調素子
45 駆動部
46 投写光学系
47 拡散板
48 反射ミラー
49 拡大鏡
50 投写表示部
60 システム制御部
61 姿勢検出部
62 重複範囲検出部
63 ワイパー作動判定部
64 汚れ検出部
65 表示制御部
70 記憶部
80 センサ群
81 制御部
110A 払拭重複範囲
111A 拭き残し重複範囲
121 矢印画像
122 目盛画像
123 日付画像
124 時刻画像
125 燃料画像
131 警告画像

Claims (11)

  1. 入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、前記空間変調された画像光を乗り物の投写面の予め決められた投写範囲に投写して前記画像光に基づく画像を表示する投写表示部と、
    前記光変調部に入力する前記画像情報を制御して前記投写表示部により表示させる画像を制御する表示制御部と、を備え、
    前記投写範囲は、前記乗り物の運転席から見た状態において、前記乗り物のウインドシールドを払拭するための前記乗り物に搭載されたワイパーによって払拭される払拭範囲及び前記ワイパーが払拭することのできない拭き残し範囲と重なり、
    前記投写表示部によって表示可能な複数の表示コンテンツの各々には優先度が設定されており、
    前記表示制御部は、前記優先度が閾値以上の第一の表示コンテンツの表示位置を前記投写範囲のうちの前記払拭範囲と重なる範囲に制限し、かつ、前記優先度が前記閾値未満の第二の表示コンテンツの表示位置を前記投写範囲のうちの前記拭き残し範囲と重なる範囲に制限する第一の表示制御を行う投写型表示装置。
  2. 請求項1記載の投写型表示装置であって、
    前記表示制御部は、前記第一の表示コンテンツと前記第二の表示コンテンツを前記投写範囲の任意の位置に表示させる第二の表示制御と、前記第一の表示制御とを選択的に実行する投写型表示装置。
  3. 請求項2記載の投写型表示装置であって、
    前記ワイパーが作動しているか否かを判定するワイパー作動判定部を更に備え、
    前記表示制御部は、前記ワイパーが作動している場合には前記第一の表示制御を行う投写型表示装置。
  4. 請求項2又は3記載の投写型表示装置であって、
    前記投写範囲と重なる前記拭き残し範囲の汚れを検出し、前記拭き残し範囲の汚れが汚れ閾値以上であるか否かを検出する汚れ検出部を更に備え、
    前記表示制御部は、前記汚れの度合いが汚れ閾値以上の場合には前記第一の表示制御を行う投写型表示装置。
  5. 請求項3記載の投写型表示装置であって、
    前記投写範囲と重なる前記拭き残し範囲の汚れを検出し、前記拭き残し範囲の汚れが汚れ閾値以上であるか否かを検出する汚れ検出部を更に備え、
    前記表示制御部は、前記ワイパーが停止しておりかつ前記汚れの度合いが前記汚れ閾値未満である場合には前記第二の表示制御を行う投写型表示装置。
  6. 入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、前記空間変調された画像光を乗り物の投写面の予め決められた投写範囲に投写して前記画像光に基づく画像を表示する投写表示部を有する投写型表示装置の制御方法であって、
    前記光変調部に入力する前記画像情報を制御して前記投写表示部により表示させる画像を制御する表示制御ステップを備え、
    前記投写範囲は、前記乗り物の運転席から見た状態において、前記乗り物のウインドシールドを払拭するための前記乗り物に搭載されたワイパーによって払拭される払拭範囲及び前記ワイパーが払拭することのできない拭き残し範囲と重なり、
    前記投写表示部によって表示可能な複数の表示コンテンツの各々には優先度が設定されており、
    前記表示制御ステップでは、前記優先度が閾値以上の第一の表示コンテンツの表示位置を前記投写範囲のうちの前記払拭範囲と重なる範囲に制限し、かつ、前記優先度が前記閾値未満の第二の表示コンテンツの表示位置を前記投写範囲のうちの前記拭き残し範囲と重なる範囲に制限する第一の表示制御を行う投写型表示装置の制御方法。
  7. 請求項6記載の投写型表示装置の制御方法であって、
    前記表示制御ステップでは、前記第一の表示コンテンツと前記第二の表示コンテンツを前記投写範囲の任意の位置に表示させる第二の表示制御と、前記第一の表示制御とを選択的に実行する投写型表示装置の制御方法。
  8. 請求項7記載の投写型表示装置の制御方法であって、
    前記ワイパーが作動しているか否かを判定するワイパー作動判定ステップを更に備え、
    前記表示制御ステップでは、前記ワイパーが作動している場合には前記第一の表示制御を行う投写型表示装置の制御方法。
  9. 請求項7又は8記載の投写型表示装置の制御方法であって、
    前記投写範囲と重なる前記拭き残し範囲の汚れを検出し、前記拭き残し範囲の汚れが汚れ閾値以上であるか否かを検出する汚れ検出ステップを更に備え、
    前記表示制御ステップでは、前記汚れの度合いが汚れ閾値以上の場合には前記第一の表示制御を行う投写型表示装置の制御方法。
  10. 請求項8記載の投写型表示装置の制御方法であって、
    前記投写範囲と重なる前記拭き残し範囲の汚れを検出し、前記拭き残し範囲の汚れが汚れ閾値以上であるか否かを検出する汚れ検出ステップを更に備え、
    前記表示制御ステップでは、前記ワイパーが停止しておりかつ前記汚れの度合いが前記汚れ閾値未満である場合には前記第二の表示制御を行う投写型表示装置の制御方法。
  11. 入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、前記空間変調された画像光を乗り物の投写面の予め決められた投写範囲に投写して前記画像光に基づく画像を表示する投写表示部を有する投写型表示装置の制御プログラムであって、
    前記光変調部に入力する前記画像情報を制御して前記投写表示部により表示させる画像を制御する表示制御ステップをコンピュータに実行させるためのプログラムであり、
    前記投写範囲は、前記乗り物の運転席から見た状態において、前記乗り物のウインドシールドを払拭するための前記乗り物に搭載されたワイパーによって払拭される払拭範囲及び前記ワイパーが払拭することのできない拭き残し範囲と重なり、
    前記投写表示部によって表示可能な複数の表示コンテンツの各々には優先度が設定されており、
    前記表示制御ステップでは、前記優先度が閾値以上の第一の表示コンテンツの表示位置を前記投写範囲のうちの前記払拭範囲と重なる範囲に制限し、かつ、前記優先度が前記閾値未満の第二の表示コンテンツの表示位置を前記投写範囲のうちの前記拭き残し範囲と重なる範囲に制限する第一の表示制御を行う投写型表示装置の制御プログラム。
JP2018561813A 2017-01-10 2017-10-18 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム Active JP6630855B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017002137 2017-01-10
JP2017002137 2017-01-10
PCT/JP2017/037665 WO2018131241A1 (ja) 2017-01-10 2017-10-18 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2018131241A1 true JPWO2018131241A1 (ja) 2019-11-07
JP6630855B2 JP6630855B2 (ja) 2020-01-15

Family

ID=62839645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018561813A Active JP6630855B2 (ja) 2017-01-10 2017-10-18 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Country Status (4)

Country Link
US (1) US20190308502A1 (ja)
JP (1) JP6630855B2 (ja)
CN (1) CN110115029B (ja)
WO (1) WO2018131241A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139584B (zh) * 2015-10-15 2020-08-28 麦克赛尔株式会社 信息显示装置
JP7285051B2 (ja) * 2018-06-29 2023-06-01 株式会社小松製作所 表示制御装置、および表示制御方法
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
CN113491110A (zh) 2019-02-28 2021-10-08 住友重机械工业株式会社 显示装置、挖土机、信息处理装置
JP7012038B2 (ja) 2019-03-08 2022-01-27 日立建機株式会社 作業機械
JP7201486B2 (ja) * 2019-03-13 2023-01-10 日立建機株式会社 作業機械
JP7153594B2 (ja) * 2019-03-26 2022-10-14 日立建機株式会社 較正作業支援システム
WO2020250739A1 (ja) * 2019-06-14 2020-12-17 富士フイルム株式会社 投影制御装置、投影装置、投影制御方法、及び投影制御プログラム
KR20210136567A (ko) * 2020-05-08 2021-11-17 현대자동차주식회사 차량의 커뮤니케이션 조명 시스템
WO2021254737A1 (de) 2020-06-18 2021-12-23 Saint-Gobain Glass France Fahrzeug mit einem head-up-display
JP7354972B2 (ja) 2020-09-16 2023-10-03 コベルコ建機株式会社 操作室内のカメラ設置構造
CN113463720B (zh) * 2021-06-30 2023-02-17 广西柳工机械股份有限公司 装载机铲斗接触物料的辨识系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07266925A (ja) * 1994-03-31 1995-10-17 Mazda Motor Corp 車両の表示装置
JPH10100739A (ja) * 1996-09-27 1998-04-21 Fujitsu Ten Ltd ヘッドアップディスプレイ装置
JP2009107494A (ja) * 2007-10-30 2009-05-21 Honda Motor Co Ltd 車両用ヘッドアップディスプレイ装置
JP2011079345A (ja) * 2009-10-02 2011-04-21 Denso Corp 車両用ヘッドアップディスプレイ
JP2015163501A (ja) * 2014-01-30 2015-09-10 パナソニックIpマネジメント株式会社 表示制御プログラム、表示制御装置および表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP2009078719A (ja) * 2007-09-26 2009-04-16 Denso Corp 視認支援装置
DE102012001950A1 (de) * 2012-02-02 2013-08-08 Daimler Ag Verfahren zum Betreiben einer Kameraanordnung für ein Fahrzeug und Kameraanordnung
DE202013007159U1 (de) * 2013-08-12 2014-11-17 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Panoramaprojektionsvorrichtung für ein Kraftfahrzeug
CN104260669B (zh) * 2014-09-17 2016-08-31 北京理工大学 一种智能汽车抬头显示器
US9530065B2 (en) * 2014-10-15 2016-12-27 GM Global Technology Operations LLC Systems and methods for use at a vehicle including an eye tracking device
CN105208309A (zh) * 2015-10-23 2015-12-30 广景视睿科技(深圳)有限公司 一种汽车投影广告方法以及可投影广告的汽车
CN205365412U (zh) * 2016-02-04 2016-07-06 嘉兴雷洲复合材料有限公司 倒车用仿真投影系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07266925A (ja) * 1994-03-31 1995-10-17 Mazda Motor Corp 車両の表示装置
JPH10100739A (ja) * 1996-09-27 1998-04-21 Fujitsu Ten Ltd ヘッドアップディスプレイ装置
JP2009107494A (ja) * 2007-10-30 2009-05-21 Honda Motor Co Ltd 車両用ヘッドアップディスプレイ装置
JP2011079345A (ja) * 2009-10-02 2011-04-21 Denso Corp 車両用ヘッドアップディスプレイ
JP2015163501A (ja) * 2014-01-30 2015-09-10 パナソニックIpマネジメント株式会社 表示制御プログラム、表示制御装置および表示装置

Also Published As

Publication number Publication date
CN110115029B (zh) 2021-07-16
US20190308502A1 (en) 2019-10-10
CN110115029A (zh) 2019-08-09
WO2018131241A1 (ja) 2018-07-19
JP6630855B2 (ja) 2020-01-15

Similar Documents

Publication Publication Date Title
JP6630855B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP6271818B2 (ja) 投写型表示装置及び投写制御方法
JP6547076B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP6271819B2 (ja) 投写型表示装置及び投写制御方法
JP6236577B2 (ja) 投写型表示装置及び投写制御方法
JP6353989B2 (ja) 投写型表示装置及び投写制御方法
JP6446595B2 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
JP6582144B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
US20190291579A1 (en) Projection display device, method for controlling projection display device, and program for controlling projection display device
JP6547077B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
US20180363273A1 (en) Work vehicle
JP2020160094A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP6557427B2 (ja) 投写型表示装置、投写型表示装置の作動方法、投写型表示装置の作動プログラム
WO2019017040A1 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP2020160092A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190510

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190510

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R150 Certificate of patent or registration of utility model

Ref document number: 6630855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250