JPWO2018110045A1 - 投写型表示装置、投写型表示装置の制御方法及び制御プログラム - Google Patents

投写型表示装置、投写型表示装置の制御方法及び制御プログラム Download PDF

Info

Publication number
JPWO2018110045A1
JPWO2018110045A1 JP2018556206A JP2018556206A JPWO2018110045A1 JP WO2018110045 A1 JPWO2018110045 A1 JP WO2018110045A1 JP 2018556206 A JP2018556206 A JP 2018556206A JP 2018556206 A JP2018556206 A JP 2018556206A JP WO2018110045 A1 JPWO2018110045 A1 JP WO2018110045A1
Authority
JP
Japan
Prior art keywords
control
virtual image
support information
overlapping range
work support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018556206A
Other languages
English (en)
Other versions
JP6547075B2 (ja
Inventor
広大 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6547075B2 publication Critical patent/JP6547075B2/ja
Publication of JPWO2018110045A1 publication Critical patent/JPWO2018110045A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/349—Adjustment of brightness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F3/00—Dredgers; Soil-shifting machines
    • E02F3/04—Dredgers; Soil-shifting machines mechanically-driven
    • E02F3/28—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets
    • E02F3/30—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom
    • E02F3/32—Dredgers; Soil-shifting machines mechanically-driven with digging tools mounted on a dipper- or bucket-arm, i.e. there is either one arm or a pair of arms, e.g. dippers, buckets with a dipper-arm pivoted on a cantilever beam, i.e. boom working downwardly and towards the machine, e.g. with backhoes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Instrument Panels (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

作業機を有する乗り物による作業効率を向上させることのできる投写型表示装置と、その制御方法及び制御プログラムを提供する。建設機械（１）に搭載されるＨＵＤ（１０）は、運転席（６）から観察される投写範囲（１１Ａ）とバケット（４Ａ）との第一の重複範囲を検出する重複範囲検出部（６２）と、運転席（６）から観察される投写範囲（１１Ａ）と構造物（３１）との第二の重複範囲と第一の重複範囲との距離Ｌが閾値ｔｈを超える状態では、第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報に基づく虚像を投写表示部（５０）に表示させる追従制御を行い、距離Ｌが閾値ｔｈ以下の状態では、上記の位置関係の維持を解除して第二の重複範囲を避けた位置に虚像を表示させる第一の制御と上記の追従制御のいずれかを、作業支援情報の内容に基づいて選択して行う表示制御部（６３）と、を備える。

Description

本発明は、投写型表示装置、投写型表示装置の制御方法及び制御プログラムに関する。
自動車、電車、船舶、建設機械、航空機、又は、農作用機械等の乗り物のウインドシールド、又は、ウインドシールドの手前付近に配置されるコンバイナをスクリーンとして用い、これに光を投写して画像を表示させる乗り物用のＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）が知られている（特許文献１参照）。このＨＵＤによれば、ＨＵＤから投写された光に基づく画像を、スクリーン上で実像として、又は、スクリーン前方において虚像として、運転者に視認させることができる。
このＨＵＤを利用して、油圧ショベル、ホイールローダー、ブルドーザ、又は、モーターグレーダー等の作業者が作業機を視認できる各種の建設機械を用いて建設作業又は土木作業を行う際の作業効率を向上させる技術が特許文献２及び特許文献３に開示されている。
特開２００９−２２７２４５号公報 特開２０１４−１２９６７６号公報 特開２００９−１７３１９５号公報
作業機を有する建設機械又は農作用機械等には、運転席のフロントウインドシールドの前方に手すり又は柵等の取り除くことのできない構造物が設けられているものがある。このような乗り物において、ＨＵＤを用い、作業機の移動に合わせて情報の表示位置を変更する制御を行う場合には、フロントウインドシールド前方の構造物と、表示すべき情報とが重なり、作業者が情報を視認しにくくなる可能性がある。
特許文献１には、フロントウインドシールド前方にある運転者が視認したくない不要な物体と、表示すべき情報とが重なる場合には、情報の表示位置をずらすことで、情報の視認性を向上させる技術が記載されている。この技術を利用すれば、作業機を有する建設機械又は農作用機械においても、構造物と、表示すべき情報とが重ならないようにすることは可能である。
しかし、作業機の位置とは無関係に情報の表示位置が頻繁に変更されると、作業者の視線移動も多くなるため、作業者に負担がかかって作業効率が低下する可能性がある。作業機を有する建設機械又は農作用機械等の乗り物の場合は、作業機が広範囲に頻繁に動くことになるため、このような課題への対処が特に重要となる。
特許文献２及び特許文献３には、作業機の移動に追従して情報の表示位置を変えることが記載されているが、フロントウインドシールド前方の構造物と表示画像とが重なる場合のことは想定していない。
本発明は、上記事情に鑑みてなされたものであり、作業機を有する乗り物による作業効率を向上させることのできる投写型表示装置と、その制御方法及び制御プログラムを提供することを目的とする。
本発明の投写型表示装置は、可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部と、上記運転室の前方に固定された構造物とを有する乗り物に搭載される投写型表示装置であって、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、上記運転室の運転席から観察される上記投写面と上記作業機との第一の重複範囲を検出する重複範囲検出部と、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる虚像を制御する表示制御部と、を備え、上記表示制御部は、上記運転席から観察される上記投写面と上記構造物との第二の重複範囲と、上記第一の重複範囲との距離が閾値を超える状態では、上記第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報に基づく虚像を上記投写表示部に表示させる追従制御を行い、上記距離が上記閾値を超える状態から上記閾値以下となる状態に変化した場合には、第一の制御と上記追従制御のいずれかを上記作業支援情報の内容に基づいて選択して行い、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御、又は、上記位置関係の維持を継続しかつ上記作業支援情報に基づく虚像の表示サイズを上記距離が上記閾値を超える状態における上記作業支援情報に基づく虚像の表示サイズよりも大きくする制御である、ものである。
本発明の投写型表示装置の制御方法は、可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部と、上記運転室の前方に固定された構造物とを有する乗り物に搭載される投写型表示装置の制御方法であって、上記投写型表示装置は、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部と、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、を含み、上記運転室の運転席から観察される上記投写面と上記作業機との第一の重複範囲を検出する重複範囲検出ステップと、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる虚像を制御する表示制御ステップと、を備え、上記表示制御ステップでは、上記運転席から観察される上記投写面と上記構造物との第二の重複範囲と上記第一の重複範囲との距離が閾値を超える状態では、上記第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報に基づく虚像を上記投写表示部に表示させる追従制御を行い、上記距離が上記閾値を超える状態から上記閾値以下となる状態に変化した場合には、第一の制御と上記追従制御のいずれかを上記作業支援情報の内容に基づいて選択して行い、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御、又は、上記位置関係の維持を継続しかつ上記作業支援情報に基づく虚像の表示サイズを上記距離が上記閾値を超える状態における上記作業支援情報に基づく虚像の表示サイズよりも大きくする制御である、ものである。
本発明の投写型表示装置の制御プログラムは、可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部と、上記運転室の前方に固定された構造物とを有する乗り物に搭載される投写型表示装置の制御プログラムであって、上記投写型表示装置は、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部と、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、を含み、上記運転室の運転席から観察される上記投写面と上記作業機との第一の重複範囲を検出する重複範囲検出ステップと、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる虚像を制御する表示制御ステップと、をコンピュータに実行させるためのプログラムであり、上記表示制御ステップでは、上記運転席から観察される上記投写面と上記構造物との第二の重複範囲と上記第一の重複範囲との距離が閾値を超える状態では、上記第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報に基づく虚像を上記投写表示部に表示させる追従制御を行い、上記距離が上記閾値を超える状態から上記閾値以下となる状態に変化した場合には、第一の制御と上記追従制御のいずれかを上記作業支援情報の内容に基づいて選択して行い、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御、又は、上記位置関係を維持しかつ上記作業支援情報に基づく虚像の表示サイズを上記距離が上記閾値を超える状態における上記作業支援情報に基づく虚像の表示サイズよりも大きくする制御である、ものである。
本発明によれば、作業機を有する乗り物による作業効率を向上させることのできる投写型表示装置と、その制御方法及び制御プログラムを提供することができる。
本発明の投写型表示装置の一実施形態であるＨＵＤ１０を搭載する建設機械１の概略構成を示す模式図である。 図１に示す建設機械１における運転室５の内部構成例を示す模式図である。 図１に示す建設機械１における運転室５の運転席６からフロントウインドシールド１１を見た状態を示す模式図である。 図１及び図２に示すＨＵＤ１０の内部構成を示す模式図である。 図４に示すシステム制御部６０の機能ブロック図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 運転席６（アイボックス）から観察される投写範囲１１Ａを示す図である。 図５に示すシステム制御部６０の動作を説明するためのフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の投写型表示装置の一実施形態であるＨＵＤ１０を搭載する建設機械１の概略構成を示す模式図である。
建設機械１は、油圧ショベルであって、下部走行体２、下部走行体２に旋回可能に支持される上部旋回体３、及び、上部旋回体３によって支持されたフロント作業部４等の各部から構成されている。下部走行体２及び上部旋回体３は建設機械１の本体部を構成する。
下部走行体２は、公道及び作業現場を走行するための金属製又はゴム製のクローラを備える。
上部旋回体３は、フロント作業部４を操作するための操作装置及び作業者が着座するための運転席６が設置される運転室５と、運転室５に固定された構造物（例えば、手すり又は柵等）３１と、を備える。構造物３１は、運転室５のフロントウインドシールド１１の前方に配置されている。
フロント作業部４は、上部旋回体３によって重力方向と重力方向に直交する方向（図中の上下方向及び紙面に垂直な方向）に移動可能に支持されたアーム４Ｃと、アーム４Ｃによってアーム４Ｃに対し回転可能に支持されたブーム４Ｂと、ブーム４Ｂによってブーム４Ｂに対して回転可能に支持されたバケット４Ａと、を備える。バケット４Ａは、地面又は搬出物等の作業対象物に対して直接接触可能な部分であり、作業機を構成する。
なお、バケット４Ａに代えて、鉄骨切断機、コンクリート圧砕機、つかみ機、又は、打撃式破砕具等の他の作業機がブーム４Ｂに装着された構成であってもよい。
バケット４Ａは、アーム４Ｃ及びブーム４Ｂを介して、運転室５に対して図中の上下方向に移動させることができる。また、バケット４Ａは、運転席６に着座する作業者の視線方向及び重力方向と直交する方向を軸として回転可能となっている。また、ブーム４Ｂは、図中の紙面に垂直な方向を軸として回転可能となっている。
図示省略されているが、フロント作業部４には、フロント作業部４の姿勢を検出するための角速度センサ及び３軸加速度センサ等のセンサ群が設けられている。
運転室５には、運転席６の前方にフロントウインドシールド１１が設けられており、このフロントウインドシールド１１の一部は、後述する画像光を反射させる加工がなされた領域となっている。そして、この領域が、ＨＵＤ１０から出射された画像光が投写される投写面としての投写範囲１１Ａを構成している。
ＨＵＤ１０は、運転室５内に設置されており、フロントウインドシールド１１の一部の領域である投写範囲１１Ａに投写する画像光により、運転席６に着座する作業者によってフロントウインドシールド１１前方において虚像を視認可能に表示する。
図２は、図１に示す建設機械１における運転室５の内部構成例を示す模式図である。
図２に示すように、ＨＵＤ１０は、作業者が運転席６に着座した状態で、作業者の上方かつ後方に設けられている。
建設機械１の作業者は、フロントウインドシールド１１の投写範囲１１Ａに投写され、ここで反射された画像光を見ることで、建設機械１による作業を支援するためのアイコン又は文字等の情報を虚像として視認することができる。また、投写範囲１１Ａは、ＨＵＤ１０から投写された画像光を反射すると同時に、外部（外界）からの光を透過する機能を持つ。このため、作業者は、ＨＵＤ１０から投写された画像光に基づく虚像を外界の景色に重ねて視認することができる。
ＨＵＤ１０は、図１の例では油圧ショベルに搭載されて用いられるが、運転席６前方において作業者が操作可能な作業機を搭載する作業用機械（例えば、ホイールローダー、ブルドーザ、モーターグレーダー、又は、フォークリフト等）であれば同様に搭載可能である。
図３は、図１に示す建設機械１における運転室５の運転席６からフロントウインドシールド１１を見た状態を示す模式図である。
運転室５は、フロントウインドシールド１１、右サイドウインドシールド２１、及び、左サイドウインドシールド２２に取り囲まれている。運転室５は、フロント作業部４の曲げ伸ばし及び上部旋回体３の旋回を操作するための左操作レバー２３及びフロント作業部４のバケット４Ａの掘削及び開放を操作するための右操作レバー２４等を運転席６周りに備える。なお、左操作レバー２３と右操作レバー２４への操作機能の割り当ては一例であり、これに限定されるものではない。
フロントウインドシールド１１には、ＨＵＤ１０から出射された画像光が投写される投写範囲１１Ａがあり、この投写範囲１１Ａが画像光を反射すると同時に、外部（外界）からの光を透過する。フロントウインドシールド１１と左サイドウインドシールド２２の前方には、構造物３１が設けられており、この構造物３１は運転席６から見て投写範囲１１Ａと重なっている。
図４は、図１及び図２に示すＨＵＤ１０の内部構成を示す模式図である。
ＨＵＤ１０は、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、投写光学系４６と、拡散板４７と、反射ミラー４８と、拡大鏡４９と、光源ユニット４０及び駆動部４５を制御するシステム制御部６０と、フラッシュメモリ等の記憶媒体により構成されうる記憶部７０と、を備える。
光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備えている。
ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子が用いられる。Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂは、ＨＵＤ１０の光源を構成する。本実施形態では、ＨＵＤ１０の光源として、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの光源を含むものとしているが、光源の数は１つ、２つ、又は、４つ以上であってもよい。
光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってＲ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから光を順次出射させる制御を行う。
光変調素子４４は、ダイクロイックプリズム４３から出射された光を画像情報に基づいて空間変調し、空間変調した光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射する。
光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、又は、液晶表示素子等を用いることができる。
駆動部４５は、システム制御部６０から入力される画像情報に基づいて光変調素子４４を駆動し、画像情報に応じた光（赤色画像光、青色画像光、及び緑色画像光）を光変調素子４４から投写光学系４６に向けて出射させる。
光変調素子４４と駆動部４５とは、ＨＵＤ１０の光変調部を構成する。
投写光学系４６は、光変調素子４４から出射された光を、拡散板４７に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。例えば、走査型スキャナから出射された光を拡散板４７で拡散させて面光源化してもよい。
反射ミラー４８は、拡散板４７で拡散された光を拡大鏡４９に向けて反射させる。
拡大鏡４９は、反射ミラー４８で反射されてきた光に基づく像を拡大させて投写範囲１１Ａに投写する。
光源ユニット４０、光変調素子４４、駆動部４５、投写光学系４６、拡散板４７、反射ミラー４８、及び、拡大鏡４９は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから出射される光を、システム制御部６０から入力された画像情報に基づいて空間変調し、空間変調して得られた画像光を投写範囲１１Ａに投写してこの画像光に基づく虚像を表示する投写表示部５０を構成する。投写範囲１１Ａは、投写表示部５０によって虚像を表示可能な表示範囲を構成している。
システム制御部６０は、光源制御部４０Ａ及び駆動部４５を制御して、画像情報に基づく画像光を、投写光学系４６を介して拡散板４７に出射させる。
図４に示した拡散板４７、反射ミラー４８、及び、拡大鏡４９は、投写範囲１１Ａに投写された画像光に基づく画像が、フロントウインドシールド１１前方の位置において虚像として視認可能となるように光学設計がなされている。
システム制御部６０は、プロセッサを主体に構成されており、プロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。
記憶部７０は複数の作業支援情報を記憶している。作業支援情報とは、作業者が作業中に注視することの多いバケット４Ａの近傍に表示させることで作業を効率的に進めることを支援する情報である。
作業支援情報は、例えば、バケット４Ａによる掘削方向を示す文字又は矢印、掘削量（○○ｍ）を示す文字又は目盛、注意喚起を行うための警告情報、等である。
図４に示すセンサ群８０は、フロント作業部４に設けられた３軸加速度センサ及び角速度センサ等である。センサ群８０で検出された加速度情報及び角速度情報は、システム制御部６０に入力される。
図５は、図４に示すシステム制御部６０の機能ブロック図である。
システム制御部６０は、姿勢検出部６１と、重複範囲検出部６２と、表示制御部６３と、を備える。姿勢検出部６１、重複範囲検出部６２、及び、表示制御部６３は、システム制御部６０のプロセッサがＲＯＭに記憶された制御プログラムを含むプログラムを実行することで形成される機能ブロックである。
姿勢検出部６１は、センサ群８０から入力された加速度情報及び角速度情報に基づいて、バケット４Ａの上下方向の位置及びバケット４Ａの運転室５からの距離によって決まるバケット４Ａの姿勢を検出する。
重複範囲検出部６２は、運転席６から観察される投写範囲１１Ａとバケット４Ａとの第一の重複範囲を検出する。
ＨＵＤ１０においては、運転席６上方の空間上にアイボックスが予め設定されており、このアイボックス内に作業者の眼が位置していれば、投写表示部５０によって表示される虚像を作業者が視認可能となる。
このアイボックスから投写範囲１１Ａを観察した場合、投写範囲１１Ａの位置は固定であるため、バケット４Ａの姿勢が分かれば、運転席６から観察される投写範囲１１Ａとバケット４Ａとの第一の重複範囲を検出することが可能である。
例えば、記憶部７０には、バケット４Ａの取り得る全ての姿勢の各々と、投写範囲１１Ａにおける第一の重複範囲の情報を対応付けたテーブルが記憶される。そして、重複範囲検出部６２は、姿勢検出部６１によって検出されたバケット４Ａの姿勢とこのテーブルとに基づいて第一の重複範囲を検出する。
なお、アイボックス近傍に設置される撮像装置（例えば、作業者のヘルメットに装着される撮像装置）によって投写範囲１１Ａを撮像して得た撮像画像を解析することで第一の重複範囲を検出してもよい。
表示制御部６３は、駆動部４５に入力する画像情報を制御して投写表示部５０により表示させる虚像を制御する。表示制御部６３は、この画像情報に記憶部７０から読み出した作業支援情報を含めることで、作業支援情報に基づく虚像を投写表示部５０によって表示させる。
表示制御部６３は、運転席６から観察される投写範囲１１Ａと構造物３１との第二の重複範囲と、重複範囲検出部６２により検出された第一の重複範囲との距離Ｌが閾値ｔｈを超える状態では、第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報を投写表示部５０に表示させる追従制御を行い、この距離Ｌが閾値ｔｈ以下となる状態では、第一の制御と追従制御のいずれかを、表示中の作業支援情報の内容に基づいて選択して行う。
第一の重複範囲と第二の重複範囲との距離Ｌは、バケット４Ａの移動可能な方向（重力方向とその逆方向）におけるこれら２つの範囲の中心同士を結ぶ距離のことを言う。
第一の制御とは、上記の位置関係の維持を解除して第二の重複範囲を避けた位置に作業支援情報を表示させる制御、又は、上記の位置関係を維持しかつ作業支援情報の表示サイズを上記の距離Ｌが閾値ｔｈを超える状態における表示サイズよりも大きくする制御を言う。
構造物３１の位置は固定であり、投写範囲１１Ａの位置も固定であり、アイボックスの位置も決められていることから、第二の重複範囲の情報については予め記憶部７０に記憶しておくことができる。
次に、システム制御部６０が行う追従制御と第一の制御の具体例を説明する。図６〜図２０は、運転席６から観察される投写範囲１１Ａを示す図である。
図６には、投写範囲１１Ａに投写された画像光により、作業支援情報に基づく虚像１０１及び虚像１０２がアイボックスから観察される例が示されている。
図６の例では、アイボックスからは投写範囲１１Ａを通してバケット４Ａ及び構造物３１が併せて観察されている。図６〜図２０においては、バケット４Ａの輪郭が第一の重複範囲を示し、構造物３１の輪郭が第二の重複範囲を示している。
虚像１０１は、掘削開始を矢印で指示するためのものである。虚像１０２は、作業者に掘削開始を文字（図６の例では、「○○ｍ掘削してください」）で指示するためのものである。
図６の例の場合、第一の重複範囲と第二の重複範囲との距離Ｌは閾値ｔｈを超えている。このため、表示制御部６３は、第一の重複範囲に対して予め決められた位置関係で虚像１０１及び虚像１０２を表示させる追従制御を行う。
図６の例では、表示制御部６３は、バケット４Ａに対して左に位置する表示範囲１１１に虚像１０１及び虚像１０２を表示させている。追従制御が行われる場合には、表示範囲１１１の位置は、第一の重複範囲の位置に対して常に一定の位置に制御される。
建設機械１の作業者は、図６に示す状態から左操作レバー２３を操作してバケット４Ａを下降させる。この時の様子を図７に示す。
図７の状態では、第一の重複範囲と第二の重複範囲との距離Ｌは閾値ｔｈを超えたままである。このため、表示制御部６３は、図６のときと同じように、バケット４Ａに対して左に位置する表示範囲１１１に虚像１０１及び虚像１０２を表示させる追従制御を行う。
このように、表示制御部６３は、第一の重複範囲と第二の重複範囲との距離Ｌが閾値ｔｈを超えている状態では、第一の重複範囲（バケット４Ａ）の動きに追従させて虚像１０１及び虚像１０２の表示位置を変えて、第一の重複範囲と虚像１０１及び虚像１０２の表示位置との位置関係を一定に保つ。
建設機械１の作業者は、図７に示す状態から左操作レバー２３を操作してバケット４Ａを更に下降させる。この時の様子を図８に示す。
図８の状態では、第一の重複範囲と第二の重複範囲との距離Ｌが閾値ｔｈを超える状態から閾値ｔｈ以下となる状態に変化している。
図８では、表示制御部６３が第一の制御を行った場合を示している。表示制御部６３は、第一の制御を行って、第一の重複範囲の左に位置する表示範囲１１１には虚像１０１及び虚像１０２を表示させず、第一の重複範囲が移動している方向であって第二の重複範囲を避けた位置（図８の構造物３１よりも下側の位置）に虚像１０１及び虚像１０２を表示させる。
このように、追従制御から第一の制御に切り替わると、図６及び図７のようにバケット４Ａの近くに表示されていた虚像１０１及び１０２は、図８に示したように構造物３１を飛び越えて、バケット４Ａから遠い位置に移動する。
建設機械１の作業者は、図８に示す状態から左操作レバー２３を操作してバケット４Ａを更に下降させる。この時の様子を図９に示す。
図９の状態では、距離Ｌは閾値ｔｈ以下のままである。このため、表示制御部６３は、第一の制御を継続して実行し、虚像１０１及び虚像１０２の表示位置を図８の状態と同じ位置に維持する。
建設機械１の作業者は、図９に示す状態から左操作レバー２３を操作してバケット４Ａを更に下降させる。この時の様子を図１０に示す。
図１０の状態では、距離Ｌが閾値ｔｈを超えている。このため、表示制御部６３は、バケット４Ａに対して左に位置する表示範囲１１１に虚像１０１及び虚像１０２を表示させる追従制御を再開する。図１０に示す状態からバケット４Ａが更に下降された場合も追従制御が行われて、虚像１０１及び虚像１０２はバケット４Ａに合わせて移動する。
図６〜図１０の表示例によれば、運転席６から観察されるバケット４Ａと構造物３１との距離Ｌが閾値ｔｈを超える状態の場合には、バケット４Ａの動きに追従させて虚像１０１及び１０２を表示させる追従制御が行われる。そして、距離Ｌが閾値ｔｈを超える状態から閾値ｔｈ以下となる状態に変化した場合には、追従制御から第一の制御に切り替わり、バケット４Ａの位置に関係なく、構造物３１を避けた位置に虚像１０１及び１０２が表示される。
これによって、バケット４Ａが構造物３１を跨いで移動する場合でも、虚像１０１及び１０２が構造物３１によって遮られるのを防ぐことができ、虚像の視認性を向上させて、作業の効率化を図ることができる。
次に、表示制御部６３が行う第一の制御の変形例を説明する。
（第一の変形例）
図７に示す状態からバケット４Ａが下降されて第一の重複範囲と第二の重複範囲の距離Ｌが閾値ｔｈに達すると、表示制御部６３は、第一の制御を行って、図１１に示すように、第一の重複範囲の左に位置する表示範囲１１１には虚像１０１及び虚像１０２を表示させず、第一の重複範囲が移動している方向であって第二の重複範囲を避けた位置（構造物３１よりも下側の位置）に虚像１０１及び虚像１０２を表示させる。
更に、表示制御部６３は、図１１に示すように、直前の追従制御において設定していた表示範囲１１１に、虚像１０１のコピーである虚像１０１Ａと、虚像１０２のコピーである虚像１０２Ａとを表示させる。
建設機械１の作業者は、図１１に示す状態から左操作レバー２３を操作してバケット４Ａを更に下降させる。この時の様子を図１２に示す。
図１２の状態では、第一の重複範囲と第二の重複範囲との距離Ｌは閾値ｔｈ以下のままである。このため、表示制御部６３は、第一の制御を継続して実行し、虚像１０１及び虚像１０２と虚像１０１Ａ及び虚像１０２Ａの表示を図１１の状態のまま維持する。
建設機械１の作業者は、図１２に示す状態から左操作レバー２３を操作してバケット４Ａを更に下降させる。この時の様子を図１３に示す。
図１３の状態では、第一の重複範囲と第二の重複範囲との距離Ｌは閾値ｔｈ以下のままである。このため、表示制御部６３は、第一の制御を継続して実行し、虚像１０１及び虚像１０２と虚像１０１Ａ及び虚像１０２Ａの表示を図１１の状態のまま維持する。この後、バケット４Ａが更に下降されて、距離Ｌが閾値ｔｈを超えると、表示制御部６３は、表示範囲１１１に表示させている虚像１０１Ａ及び１０２Ａを消去して追従制御を再開する。
図１１〜図１３で説明した第一の制御によれば、距離Ｌが閾値ｔｈ以下の間は、虚像１０１及び１０２と虚像１０１及び１０２のコピーとが構造物３１と重ならない位置に表示されるため、作業支援情報の視認性を向上と、作業の効率化を図ることができる。
（第二の変形例）
図７に示す状態からバケット４Ａが下降されて第一の重複範囲と第二の重複範囲との距離Ｌが閾値ｔｈに達すると、表示制御部６３は、第一の制御を行って、虚像１０１及び虚像１０２の表示位置を、直前の追従制御において設定していた表示範囲１１１に固定する。表示制御部６３は、その後、バケット４Ａが更に下降されても、距離Ｌが閾値ｔｈ以下の状態では、虚像１０１及び虚像１０２の表示位置の変更を行わない。
図１４は、図７に示す状態からバケット４Ａを下降させて距離Ｌが閾値ｔｈ以下となった状態を示している。この状態では、距離Ｌが閾値ｔｈとなる直前に設定されていた表示範囲１１１に虚像１０１及び１０２が表示されたままとなっている。
建設機械１の作業者は、図１４に示す状態から左操作レバー２３を操作してバケット４Ａを更に下降させる。この時の様子を図１５に示す。
図１５の状態では、距離Ｌが閾値ｔｈを超えている。距離Ｌが閾値ｔｈを超えると、表示制御部６３は、第一の制御から追従制御に切り替える。これにより、図１５に示すように、バケット４Ａの左に設定される表示範囲１１１に虚像１０１及び１０２が移動される。
図１４〜図１５で説明した第一の制御によれば、距離Ｌが閾値ｔｈ以下の間は、距離Ｌが閾値ｔｈ以下となる直前の表示位置に虚像１０１及び１０２が固定されるため、バケット４Ａが構造物３１と重なる状態となっても、虚像１０１及び１０２が構造物３１によって隠れるのを防ぐことができる。したがって、作業支援情報の視認性を向上させて作業の効率化を図ることができる。
（第三の変形例）
図７に示す状態からバケット４Ａが下降されて第一の重複範囲と第二の重複範囲との距離Ｌが閾値ｔｈ以下になっている間は、表示制御部６３は、第一の制御を行って、虚像１０１及び虚像１０２の表示サイズを、直前の追従制御において設定していた表示サイズよりも大きくする。
図１６は、図７に示す状態からバケット４Ａを下降させて距離Ｌが閾値ｔｈ以下となった状態を示している。この状態では、表示制御部６３は、第一の重複範囲に対して予め決められた位置に設定された表示範囲１１１に、虚像１０１Ｂ及び１０２Ｂを表示させる。虚像１０１Ｂは、図７に示す虚像１０１を拡大させた虚像であり、虚像１０２Ｂは、図７に示す虚像１０２を拡大させた虚像である。
建設機械１の作業者は、図１６に示す状態から左操作レバー２３を操作してバケット４Ａを更に下降させる。この時の様子を図１７に示す。
図１７の状態では、第一の重複範囲と第二の重複範囲との距離Ｌは閾値ｔｈ以下であるが、表示制御部６３は、第一の重複範囲に対して予め決められた位置に設定される表示範囲１１１に虚像１０１Ｂ及び１０２Ｂを移動させる。図１７の例では、虚像１０１Ｂと虚像１０２Ｂの一部が構造物３１によって隠れているが、虚像１０１Ｂと虚像１０２Ｂは虚像１０１と虚像１０２よりはサイズが大きくなっているため、その内容については大まかに把握可能である。
図１８は、図１７に示す状態からバケット４Ａを更に下降させて距離Ｌが閾値ｔｈを超えた状態を示している。この状態では、表示制御部６３は、第一の重複範囲に対して予め決められた位置に設定された表示範囲１１１に、虚像１０１及び１０２を表示させる。つまり、作業支援情報に基づく虚像の表示サイズを元に戻して追従制御を再開する。
図１６〜図１８で説明した第一の制御によれば、距離Ｌが閾値ｔｈ以下となる場合には、作業支援情報に基づく虚像が、距離Ｌが閾値ｔｈを超えている場合よりも大きなサイズで表示される。このため、バケット４Ａが構造物３１と重なる状態となっても、作業支援情報に基づく虚像の大部分が構造物３１によって隠れるのを防ぐことができる。したがって、作業支援情報の視認性を向上させて作業の効率化を図ることができる。
距離Ｌが閾値ｔｈ以下となった場合に、表示制御部６３が追従制御と第一の制御のどちらを行うかは、距離Ｌが閾値ｔｈ以下となる直前に行われていた追従制御において表示させていた作業支援情報の内容によって決められる。ここで、作業支援情報の内容とは、例えば、作業支援情報に基づく虚像のバケット４Ａの移動方向における幅と、第二の重複範囲（構造物３１）のバケット４Ａの移動方向における幅との差である。もしくは、作業支援情報の内容とは、例えば、作業支援情報に基づく虚像が警告情報に基づく虚像であるか否かを示す情報である。
追従制御が行われる場合は、バケット４Ａが構造物３１を跨いで移動すると、作業支援情報に基づく虚像も構造物３１を跨いで移動することになる。しかし、作業支援情報に基づく虚像のバケット４Ａの移動方向における幅が、第二の重複範囲（構造物３１）のバケット４Ａの移動方向における幅よりも十分に大きい場合には、追従制御によって虚像が構造物３１により隠れたとしても、その虚像で示される作業支援情報の概要は確認可能である。例えば、作業支援情報に基づく虚像のバケット４Ａの移動方向における幅が、第二の重複範囲（構造物３１）のバケット４Ａの移動方向における幅の３倍である場合、その虚像で示される作業支援情報の概要は確認可能である。
一方、作業支援情報に基づく虚像のバケット４Ａの移動方向における幅と、第二の重複範囲（構造物３１）のバケット４Ａの移動方向における幅との差が小さい場合には、追従制御によって虚像が構造物３１によって完全に隠れる期間が生じ得る、又は、虚像の大部分が構造物３１によって完全に隠れる期間が生じ得る。このため、その虚像で示される作業支援情報を作業者に伝えにくくなってしまう。例えば、作業支援情報に基づく虚像のバケット４Ａの移動方向における幅が、第二の重複範囲（構造物３１）のバケット４Ａの移動方向における幅以下である場合、追従制御によって虚像が構造物３１によって完全に隠れる期間が生じる。
また、作業支援情報として警告情報に基づく虚像が表示されている場合は、追従制御によって警告情報に基づく虚像が構造物３１によって隠れる期間が生じ得るため、その虚像で示される警告情報を作業者に伝えにくくなってしまう。
したがって、表示制御部６３は、距離Ｌが閾値ｔｈ以下となった場合に、表示中の虚像のバケット４Ａの移動方向における幅が、第二の重複範囲（構造物３１）のバケット４Ａの移動方向における幅より幅閾値以上大きい場合には追従制御を継続する。一方、表示制御部６３は、表示中の虚像のバケット４Ａの移動方向における幅が、第二の重複範囲（構造物３１）のバケット４Ａの移動方向における幅より幅閾値以上大きくない場合には第一の制御を行う。
また、表示制御部６３は、距離Ｌが閾値ｔｈ以下となった場合に、警告情報に基づく虚像が表示されていなければ追従制御を継続し、警告情報に基づく虚像が表示されていれば第一の制御を行う。
図６等に示した虚像１０１と虚像１０２とは、いずれも、バケット４Ａの移動方向における幅が第二の重複範囲（構造物３１）のバケット４Ａの移動方向における幅より幅閾値以上大きくなっていない例を示している。
図１９は、バケット４Ａの移動方向における幅が第二の重複範囲（構造物３１）のバケット４Ａの移動方向における幅より幅閾値以上大きい虚像の表示例を示している。図１９の例では、「〇〇ｍ掘削してください」という文字の虚像１６１と、矢印の虚像１６２とが表示範囲１１２に表示されている。
図１９に示す虚像１６１及び１６２が表示されている場合には、距離Ｌの大きさに関わらずに、表示制御部６３は、追従制御を行う。図２０は、図１９に示す状態からバケット４Ａが下降されたときの状態を示す図である。
図１９に示した表示範囲１１２は、図２０においてバケット４Ａの位置に合わせて移動しており、表示範囲１１２に表示される虚像１６１と虚像１６２の一部は構造物３１によって隠れているものの、その内容は大まかに確認可能となっている。
表示制御部６３は、追従制御時に設定する表示範囲１１１及び１１２に表示すべき作業支援情報に基づく全ての虚像において、バケット４Ａの移動方向における幅と第二の重複範囲の幅との比較を行い、第二の重複範囲の幅よりも小さい虚像又は第二の重複範囲の幅よりも幅は大きいがその幅の差が小さい虚像が１つでも存在する場合には、距離Ｌが閾値ｔｈ以下となった場合に第一の制御を行うことが好ましい。
図２１は、図５に示すシステム制御部６０の動作を説明するためのフローチャートである。なお、図２１に示す処理は、ＨＵＤ１０の電源がオンされている間、繰り返し実行される。
まず、表示制御部６３は、記憶部７０から作業支援情報を読み出す（ステップＳ１）。
次に、重複範囲検出部６２は、姿勢検出部６１によって検出されたバケット４Ａの姿勢に基づいて、運転席６から観察される投写範囲１１Ａとバケット４Ａとの第一の重複範囲を検出する（ステップＳ２）。
表示制御部６３は、ステップＳ２で検出された第一の重複範囲と、運転席６から観察される投写範囲１１Ａと構造物３１との第二の重複範囲との距離Ｌが閾値ｔｈを超えるか否かを判定し（ステップＳ３）、距離Ｌが閾値ｔｈを超えると判定した場合（ステップＳ３：ＹＥＳ）には追従制御を行って（ステップＳ４）、作業支援情報に基づく虚像を表示させる。
表示制御部６３は、距離Ｌが閾値ｔｈ以下である場合（ステップＳ３：ＮＯ）には、ステップＳ１で記憶部７０から読み出した作業支援情報の内容に基づいて、作業支援情報の視認性を向上させる必要があるか否かを判定する（ステップＳ５）。
表示制御部６３は、作業支援情報の内容から、視認性の向上が必要と判定した場合（ステップＳ５：ＹＥＳ）には第一の制御を行う（ステップＳ６）。
表示制御部６３は、作業支援情報の内容から、視認性の向上が必要ないと判定した場合（ステップＳ５：ＮＯ）には追従制御を行う（ステップＳ７）。ステップＳ４、ステップＳ６及びステップＳ７の後はステップＳ２に処理が戻る。
以上のように、ＨＵＤ１０によれば、運転席６から見て、バケット４Ａが構造物３１に近づき、作業支援情報に基づく虚像が構造物３１によって隠れる可能性があると判断できる場合には、作業支援情報の内容に基づいて追従制御の継続か第一の制御への切り替えかが判断され、必要な制御が実行される。
このため、バケット４Ａが構造物３１に近づくたびに第一の制御が行われるのを防ぐことができる。第一の制御が行われる頻度が低くなることで作業者の視線を安定させることができ、作業効率を向上させることができる。
以上説明してきたように、本明細書には以下の事項が開示されている。
（１） 可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部と、上記運転室の前方に固定された構造物とを有する乗り物に搭載される投写型表示装置であって、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、上記運転室の運転席から観察される上記投写面と上記作業機との第一の重複範囲を検出する重複範囲検出部と、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる虚像を制御する表示制御部と、を備え、上記表示制御部は、上記運転席から観察される上記投写面と上記構造物との第二の重複範囲と、上記第一の重複範囲との距離が閾値を超える状態では、上記第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報に基づく虚像を上記投写表示部に表示させる追従制御を行い、上記距離が上記閾値を超える状態から上記閾値以下となる状態に変化した場合には、第一の制御と上記追従制御のいずれかを上記作業支援情報の内容に基づいて選択して行い、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御、又は、上記位置関係の維持を継続しかつ上記作業支援情報に基づく虚像の表示サイズを上記距離が上記閾値を超える状態における上記作業支援情報に基づく虚像の表示サイズよりも大きくする制御である投写型表示装置。
（２） （１）記載の投写型表示装置であって、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御であり、上記表示制御部は、上記追従制御から上記第一の制御に切り替わるときに、上記第一の重複範囲の移動している方向に上記作業支援情報に基づく虚像を移動させかつ上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる投写型表示装置。
（３） （１）記載の投写型表示装置であって、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御であり、上記表示制御部は、上記第一の制御では、上記作業支援情報に基づく虚像の表示位置を上記距離が上記閾値以下となる直前の上記作業支援情報に基づく虚像の位置に固定する投写型表示装置。
（４） （１）記載の投写型表示装置であって、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御であり、上記表示制御部は、上記追従制御から上記第一の制御に切り替わるときに、上記第一の重複範囲の移動している方向に上記作業支援情報に基づく虚像を移動させ、かつ、上記第一の制御では、上記作業支援情報に基づく虚像のコピーをその虚像が表示されていた位置に表示させる上記投写型表示装置。
（５） 可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部と、上記運転室の前方に固定された構造物とを有する乗り物に搭載される投写型表示装置の制御方法であって、上記投写型表示装置は、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部と、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、を含み、上記運転室の運転席から観察される上記投写面と上記作業機との第一の重複範囲を検出する重複範囲検出ステップと、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる虚像を制御する表示制御ステップと、を備え、上記表示制御ステップでは、上記運転席から観察される上記投写面と上記構造物との第二の重複範囲と上記第一の重複範囲との距離が閾値を超える状態では、上記第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報に基づく虚像を上記投写表示部に表示させる追従制御を行い、上記距離が上記閾値を超える状態から上記閾値以下となる状態に変化した場合には、第一の制御と上記追従制御のいずれかを上記作業支援情報の内容に基づいて選択して行い、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御、又は、上記位置関係の維持を継続しかつ上記作業支援情報に基づく虚像の表示サイズを上記距離が上記閾値を超える状態における上記作業支援情報に基づく虚像の表示サイズよりも大きくする制御である投写型表示装置の制御方法。
（６） （５）記載の投写型表示装置の制御方法であって、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御であり、上記表示制御ステップは、上記追従制御から上記第一の制御に切り替わるときに、上記第一の重複範囲の移動している方向に上記作業支援情報に基づく虚像を移動させかつ上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる投写型表示装置の制御方法。
（７） （５）記載の投写型表示装置の制御方法であって、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御であり、上記表示制御ステップは、上記第一の制御では、上記作業支援情報に基づく虚像の表示位置を上記距離が上記閾値以下となる直前の上記作業支援情報に基づく虚像の位置に固定する投写型表示装置の制御方法。
（８） （５）記載の投写型表示装置の制御方法であって、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御であり、上記表示制御ステップは、上記追従制御から上記第一の制御に切り替わるときに、上記第一の重複範囲の移動している方向に上記作業支援情報に基づく虚像を移動させ、かつ、上記第一の制御では、上記作業支援情報に基づく虚像のコピーをその虚像が表示されていた位置に表示させる上記投写型表示装置の制御方法。
（９） 可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部と、上記運転室の前方に固定された構造物とを有する乗り物に搭載される投写型表示装置の制御プログラムであって、上記投写型表示装置は、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部と、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、を含み、上記運転室の運転席から観察される上記投写面と上記作業機との第一の重複範囲を検出する重複範囲検出ステップと、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる虚像を制御する表示制御ステップと、をコンピュータに実行させるためのプログラムであり、上記表示制御ステップでは、上記運転席から観察される上記投写面と上記構造物との第二の重複範囲と上記第一の重複範囲との距離が閾値を超える状態では、上記第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報に基づく虚像を上記投写表示部に表示させる追従制御を行い、上記距離が上記閾値を超える状態から上記閾値以下となる状態に変化した場合には、第一の制御と上記追従制御のいずれかを上記作業支援情報の内容に基づいて選択して行い、上記第一の制御は、上記位置関係の維持を解除して上記第二の重複範囲を避けた位置に上記作業支援情報に基づく虚像を表示させる制御、又は、上記位置関係を維持しかつ上記作業支援情報に基づく虚像の表示サイズを上記距離が上記閾値を超える状態における上記作業支援情報に基づく虚像の表示サイズよりも大きくする制御である投写型表示装置の制御プログラム。
本発明によれば、作業機を有する乗り物による作業効率を向上させることができる。
１ 建設機械
２ 下部走行体
３ 上部旋回体
４ フロント作業部
４Ａ バケット
４Ｂ ブーム
４Ｃ アーム
５ 運転室
６ 運転席
１０ ＨＵＤ
１１ フロントウインドシールド
１１Ａ 投写範囲
２１ 右サイドウインドシールド
２２ 右サイドウインドシールド
２３ 左操作レバー
２４ 右操作レバー
３１ 構造物
４０ 光源ユニット
４０Ａ 光源制御部
４１ｒ Ｒ光源
４１ｇ Ｇ光源
４１ｂ Ｂ光源
４２ｒ、４２ｇ、４２ｂ コリメータレンズ
４３ ダイクロイックプリズム
４４ 光変調素子
４５ 駆動部
４６ 投写光学系
４７ 拡散板
４８ 反射ミラー
４９ 拡大鏡
５０ 投写表示部
６０ システム制御部
６１ 姿勢検出部
６２ 重複範囲検出部
６３ 表示制御部
７０ 記憶部
８０ センサ群
１１１，１１２ 追従制御時の虚像の表示範囲
１０１，１０２ 作業支援情報に基づく虚像
１０１Ａ，１０２Ａ 作業支援情報に基づく虚像
１０１Ｂ，１０２Ｂ 作業支援情報に基づく虚像
１６１，１６２ 作業支援情報に基づく虚像

Claims (9)

  1. 可動の作業機と、前記作業機が取り付けられかつ運転室を有する本体部と、前記運転室の前方に固定された構造物とを有する乗り物に搭載される投写型表示装置であって、
    入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部を含み、前記光変調部により空間変調して得られた画像光を前記運転室に搭載された投写面に投写して前記画像光に基づく虚像を表示する投写表示部と、
    前記運転室の運転席から観察される前記投写面と前記作業機との第一の重複範囲を検出する重複範囲検出部と、
    前記光変調部に入力する前記画像情報を制御して前記投写表示部により表示させる虚像を制御する表示制御部と、を備え、
    前記表示制御部は、前記運転席から観察される前記投写面と前記構造物との第二の重複範囲と、前記第一の重複範囲との距離が閾値を超える状態では、前記第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報に基づく虚像を前記投写表示部に表示させる追従制御を行い、前記距離が前記閾値を超える状態から前記閾値以下となる状態に変化した場合には、第一の制御と前記追従制御のいずれかを前記作業支援情報の内容に基づいて選択して行い、
    前記第一の制御は、前記位置関係の維持を解除して前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる制御、又は、前記位置関係の維持を継続しかつ前記作業支援情報に基づく虚像の表示サイズを前記距離が前記閾値を超える状態における前記作業支援情報に基づく虚像の表示サイズよりも大きくする制御である投写型表示装置。
  2. 請求項１記載の投写型表示装置であって、
    前記第一の制御は、前記位置関係の維持を解除して前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる制御であり、
    前記表示制御部は、前記追従制御から前記第一の制御に切り替わるときに、前記第一の重複範囲の移動している方向に前記作業支援情報に基づく虚像を移動させかつ前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる投写型表示装置。
  3. 請求項１記載の投写型表示装置であって、
    前記第一の制御は、前記位置関係の維持を解除して前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる制御であり、
    前記表示制御部は、前記第一の制御では、前記作業支援情報に基づく虚像の表示位置を前記距離が前記閾値以下となる直前の前記作業支援情報に基づく虚像の位置に固定する投写型表示装置。
  4. 請求項１記載の投写型表示装置であって、
    前記第一の制御は、前記位置関係の維持を解除して前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる制御であり、
    前記表示制御部は、前記追従制御から前記第一の制御に切り替わるときに、前記第一の重複範囲の移動している方向に前記作業支援情報に基づく虚像を移動させ、かつ、前記第一の制御では、前記作業支援情報に基づく虚像のコピーを当該虚像が表示されていた位置に表示させる前記投写型表示装置。
  5. 可動の作業機と、前記作業機が取り付けられかつ運転室を有する本体部と、前記運転室の前方に固定された構造物とを有する乗り物に搭載される投写型表示装置の制御方法であって、
    前記投写型表示装置は、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部と、前記光変調部により空間変調して得られた画像光を前記運転室に搭載された投写面に投写して前記画像光に基づく虚像を表示する投写表示部と、を含み、
    前記運転室の運転席から観察される前記投写面と前記作業機との第一の重複範囲を検出する重複範囲検出ステップと、
    前記光変調部に入力する前記画像情報を制御して前記投写表示部により表示させる虚像を制御する表示制御ステップと、を備え、
    前記表示制御ステップでは、前記運転席から観察される前記投写面と前記構造物との第二の重複範囲と前記第一の重複範囲との距離が閾値を超える状態では、前記第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報に基づく虚像を前記投写表示部に表示させる追従制御を行い、前記距離が前記閾値を超える状態から前記閾値以下となる状態に変化した場合には、第一の制御と前記追従制御のいずれかを前記作業支援情報の内容に基づいて選択して行い、
    前記第一の制御は、前記位置関係の維持を解除して前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる制御、又は、前記位置関係の維持を継続しかつ前記作業支援情報に基づく虚像の表示サイズを前記距離が前記閾値を超える状態における前記作業支援情報に基づく虚像の表示サイズよりも大きくする制御である投写型表示装置の制御方法。
  6. 請求項５記載の投写型表示装置の制御方法であって、
    前記第一の制御は、前記位置関係の維持を解除して前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる制御であり、
    前記表示制御ステップは、前記追従制御から前記第一の制御に切り替わるときに、前記第一の重複範囲の移動している方向に前記作業支援情報に基づく虚像を移動させかつ前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる投写型表示装置の制御方法。
  7. 請求項５記載の投写型表示装置の制御方法であって、
    前記第一の制御は、前記位置関係の維持を解除して前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる制御であり、
    前記表示制御ステップは、前記第一の制御では、前記作業支援情報に基づく虚像の表示位置を前記距離が前記閾値以下となる直前の前記作業支援情報に基づく虚像の位置に固定する投写型表示装置の制御方法。
  8. 請求項５記載の投写型表示装置の制御方法であって、
    前記第一の制御は、前記位置関係の維持を解除して前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる制御であり、
    前記表示制御ステップは、前記追従制御から前記第一の制御に切り替わるときに、前記第一の重複範囲の移動している方向に前記作業支援情報に基づく虚像を移動させ、かつ、前記第一の制御では、前記作業支援情報に基づく虚像のコピーを当該虚像が表示されていた位置に表示させる前記投写型表示装置の制御方法。
  9. 可動の作業機と、前記作業機が取り付けられかつ運転室を有する本体部と、前記運転室の前方に固定された構造物とを有する乗り物に搭載される投写型表示装置の制御プログラムであって、
    前記投写型表示装置は、入力される画像情報に基づいて、光源から出射される光を空間変調する光変調部と、前記光変調部により空間変調して得られた画像光を前記運転室に搭載された投写面に投写して前記画像光に基づく虚像を表示する投写表示部と、を含み、
    前記運転室の運転席から観察される前記投写面と前記作業機との第一の重複範囲を検出する重複範囲検出ステップと、
    前記光変調部に入力する前記画像情報を制御して前記投写表示部により表示させる虚像を制御する表示制御ステップと、をコンピュータに実行させるためのプログラムであり、
    前記表示制御ステップでは、前記運転席から観察される前記投写面と前記構造物との第二の重複範囲と前記第一の重複範囲との距離が閾値を超える状態では、前記第一の重複範囲に対して予め決められた位置関係を維持しながら作業支援情報に基づく虚像を前記投写表示部に表示させる追従制御を行い、前記距離が前記閾値を超える状態から前記閾値以下となる状態に変化した場合には、第一の制御と前記追従制御のいずれかを前記作業支援情報の内容に基づいて選択して行い、
    前記第一の制御は、前記位置関係の維持を解除して前記第二の重複範囲を避けた位置に前記作業支援情報に基づく虚像を表示させる制御、又は、前記位置関係を維持しかつ前記作業支援情報に基づく虚像の表示サイズを前記距離が前記閾値を超える状態における前記作業支援情報に基づく虚像の表示サイズよりも大きくする制御である投写型表示装置の制御プログラム。
JP2018556206A 2016-12-14 2017-10-05 投写型表示装置、投写型表示装置の制御方法及び制御プログラム Expired - Fee Related JP6547075B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016242628 2016-12-14
JP2016242628 2016-12-14
PCT/JP2017/036252 WO2018110045A1 (ja) 2016-12-14 2017-10-05 投写型表示装置、投写型表示装置の制御方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JP6547075B2 JP6547075B2 (ja) 2019-07-17
JPWO2018110045A1 true JPWO2018110045A1 (ja) 2019-10-24

Family

ID=62558443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018556206A Expired - Fee Related JP6547075B2 (ja) 2016-12-14 2017-10-05 投写型表示装置、投写型表示装置の制御方法及び制御プログラム

Country Status (4)

Country Link
US (1) US20190291579A1 (ja)
JP (1) JP6547075B2 (ja)
CN (1) CN110073061A (ja)
WO (1) WO2018110045A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11119315B2 (en) * 2015-10-15 2021-09-14 Maxell, Ltd. Information display apparatus
WO2021025786A1 (en) * 2019-08-06 2021-02-11 Clark Equipment Company Display integrated into door
JP7201486B2 (ja) * 2019-03-13 2023-01-10 日立建機株式会社 作業機械

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002194773A (ja) * 2000-12-26 2002-07-10 Hitachi Constr Mach Co Ltd 建設機械用キャブ
JP2009173195A (ja) * 2008-01-25 2009-08-06 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械用表示システム
JP2009227245A (ja) * 2008-03-25 2009-10-08 Denso Corp 車載機器の操作装置
WO2014103498A1 (ja) * 2012-12-28 2014-07-03 株式会社小松製作所 建設機械の表示システムおよびその制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5426743B1 (ja) * 2012-10-05 2014-02-26 株式会社小松製作所 掘削機械の表示システム及び掘削機械
US8918246B2 (en) * 2012-12-27 2014-12-23 Caterpillar Inc. Augmented reality implement control
US10094654B2 (en) * 2014-08-25 2018-10-09 Trimble Navigation Limited All-in-one integrated sensing device for machine control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002194773A (ja) * 2000-12-26 2002-07-10 Hitachi Constr Mach Co Ltd 建設機械用キャブ
JP2009173195A (ja) * 2008-01-25 2009-08-06 Sumitomo (Shi) Construction Machinery Manufacturing Co Ltd 建設機械用表示システム
JP2009227245A (ja) * 2008-03-25 2009-10-08 Denso Corp 車載機器の操作装置
WO2014103498A1 (ja) * 2012-12-28 2014-07-03 株式会社小松製作所 建設機械の表示システムおよびその制御方法
JP2014129676A (ja) * 2012-12-28 2014-07-10 Komatsu Ltd 建設機械の表示システムおよびその制御方法

Also Published As

Publication number Publication date
CN110073061A (zh) 2019-07-30
WO2018110045A1 (ja) 2018-06-21
JP6547075B2 (ja) 2019-07-17
US20190291579A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
JP6630855B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP6547076B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP6582144B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP6271818B2 (ja) 投写型表示装置及び投写制御方法
JP6271819B2 (ja) 投写型表示装置及び投写制御方法
US10412354B2 (en) Projection type display device and projection control method
JP6271820B2 (ja) 投写型表示装置及び投写制御方法
JP6236577B2 (ja) 投写型表示装置及び投写制御方法
WO2018110045A1 (ja) 投写型表示装置、投写型表示装置の制御方法及び制御プログラム
WO2018116601A1 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP2020157779A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP2020160094A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP2020160092A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190510

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190510

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190624

R150 Certificate of patent or registration of utility model

Ref document number: 6547075

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees