JP7168697B2

JP7168697B2 - DISPLAY SYSTEM FOR CONSTRUCTION MACHINE AND CONTROL METHOD THEREOF

Info

Publication number: JP7168697B2
Application number: JP2021001420A
Authority: JP
Inventors: 大坪根; 隆栗原; 亮深野
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2021-01-07
Filing date: 2021-01-07
Publication date: 2022-11-09
Anticipated expiration: 2032-12-28
Also published as: JP2021050602A

Description

本発明は、建設機械の表示システムおよびその制御方法に関する。 The present invention relates to a construction machine display system and a control method thereof.

油圧ショベル等の建設機械において、エンジンの冷却水の水温などの各種情報を運転室内のモニタ装置に表示する技術が知られている（例えば、特許文献１参照）。
さらに、運転室のモニタ装置に、作業対象の設計面やバケットの刃先の位置を示す画像を表示するものも知られている（例えば、特許文献２参照）。 2. Description of the Related Art In construction machines such as hydraulic excavators, there is known a technique for displaying various information such as the temperature of engine cooling water on a monitor device in the operator's cab (see, for example, Patent Document 1).
Furthermore, there is also known a device that displays an image showing the design surface of the work target and the position of the cutting edge of the bucket on a monitor device in the driver's cab (see, for example, Patent Document 2).

特開２０１２－１３６９８５号公報JP 2012-136985 A 特開２０１２－１７２４３１号公報JP 2012-172431 A

前記モニタ装置は、オペレータの前方視界を妨げないように、運転室の前方窓と側方窓とを仕切る縦枠の下部に設けられていた（特許文献１の図２参照）。オペレータは、作業機を見ながら操作するため、前記モニタ装置の情報を確認するためには、視点を大きくずらしてモニタ装置を確認する必要がある。
従って、操作作業中の視点の移動が大きくなり作業効率が向上しないという課題がある。 The monitor device is provided under a vertical frame that separates the front window and the side windows of the driver's cab so as not to obstruct the operator's forward field of view (see FIG. 2 of Patent Document 1). Since the operator operates the work machine while looking at the work machine, it is necessary to check the monitor device by greatly shifting the viewpoint in order to check the information on the monitor device.
Therefore, there is a problem that the movement of the viewpoint during the operation work is large, and the work efficiency is not improved.

本発明の目的は、操作作業中の視点の移動を少なくできて、作業効率を向上できる建設機械の表示システムおよびその制御方法を提供することにある。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a construction machine display system and a control method thereof that can reduce the movement of the viewpoint during operation and improve work efficiency.

第１態様に係る建設機械の表示システムは、作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する建設機械の表示システムであって、前記作業機の位置情報を検出する作業機位置検出部と、実像を表示する実像表示部と、前記実像を運転室内に反射することで前記運転室の外部に虚像を形成するとともに、前記運転室の外部からの光を透過するコンバイナと、前記作業機の位置情報に基づいて、前記虚像の表示位置を変更する制御を行う表示制御部とを備える。 A construction machine display system according to a first aspect is a construction machine display system that includes a work machine and a main body to which the work machine is attached and has a driver's cab, and detects position information of the work machine. A work machine position detector, a real image display that displays a real image, and a combiner that reflects the real image into the operator's cab to form a virtual image outside the operator's cab and transmits light from the outside of the operator's cab. and a display control unit that performs control to change the display position of the virtual image based on the position information of the working machine.

第１態様によれば、表示システムは、実像表示部およびコンバイナを備えるので、虚像を運転室の前方景色に重ねて表示できる。このため、オペレータは、作業機および虚像を視認する場合に、視点の移動を少なくできる。従って、操作作業中の視点の移動を少なくでき、作業効率を向上できる。
その上、表示制御部は、作業機の位置情報に基づいて、前記虚像の位置を制御する。このため、前記運転室のオペレータが知覚する前記虚像を、前記作業機の位置に基づいて表示することができ、オペレータの視線の動きと焦点調節とを最小限に抑えることができる。このため、オペレータが作業機および虚像を認識する場合の負荷も低減できる。 According to the first aspect, since the display system includes the real image display section and the combiner, the virtual image can be displayed superimposed on the front view of the driver's cab. Therefore, the operator can reduce the movement of the viewpoint when visually recognizing the working machine and the virtual image. Therefore, it is possible to reduce the movement of the viewpoint during the operation work and improve the work efficiency.
Moreover, the display control unit controls the position of the virtual image based on the position information of the working machine. Therefore, the virtual image perceived by the operator in the operator's cab can be displayed based on the position of the work machine, and the operator's line of sight movement and focus adjustment can be minimized. Therefore, it is possible to reduce the burden on the operator when recognizing the work machine and the virtual image.

他の態様において、前記作業支援情報として、前記作業機の位置情報と、前記本体部の三次元位置情報と、前記目標地形情報とに基づいて作業機の操作情報を作成してもよい。このため、操作情報として、作業機の移動方向や移動量を表示でき、オペレータは容易に作業機を操作することができる。 In another aspect, as the work support information, operation information of the work machine may be created based on the position information of the work machine, the three-dimensional position information of the main body, and the target topography information. Therefore, the movement direction and movement amount of the work machine can be displayed as operation information, and the operator can easily operate the work machine.

他の態様において、本体部の三次元位置情報と、目標地形情報とに基づいて作成される施工設計面情報を、作業対象の地形位置に合わせて表示してもよい。このため、オペレータは、表示された施工設計面情報に合わせて作業機を操作すればよく、容易に作業機を操作することができる。 In another aspect, the construction plan surface information created based on the three-dimensional position information of the main body and the target topography information may be displayed according to the topography position of the work target. Therefore, the operator only needs to operate the work machine according to the displayed construction design surface information, and can easily operate the work machine.

他の態様において、本体部の三次元位置情報と、目標地形情報と、作業機の軌跡情報に基づく作業進度情報とに基づいて作成される施工設計面情報を、作業対象の地形位置に合わせて表示してもよい。このため、オペレータは、表示された施工設計面情報に合わせて作業機を操作すればよく、容易に作業機を操作することができる。また、施工後の出来形を確認でき、目標地形情報通りに正しく施工されているかを容易に確認できる。 In another aspect, the construction design surface information created based on the three-dimensional position information of the main body, the target terrain information, and the work progress information based on the trajectory information of the working machine is matched to the terrain position of the work target. may be displayed. Therefore, the operator only needs to operate the work machine according to the displayed construction design surface information, and can easily operate the work machine. In addition, it is possible to check the completed shape after construction, and to easily check whether the construction has been performed correctly according to the target topography information.

他の態様において、前記実像表示部とコンバイナとの間に、複数のレンズを備え、かつ、少なくとも一部のレンズが光軸方向に移動可能なレンズ光学系を配置し、前記表示制御部は、前記レンズ光学系の少なくとも一部のレンズを光軸方向に移動してもよい。このため、作業支援情報の奥行き表示位置を容易にかつ迅速に制御できる。 In another aspect, a lens optical system including a plurality of lenses, at least some of which are movable in an optical axis direction, is arranged between the real image display unit and the combiner, and the display control unit includes: At least part of the lenses of the lens optical system may be moved in the optical axis direction. Therefore, the depth display position of the work support information can be easily and quickly controlled.

他の態様において、前記表示制御部は、前記実像表示部と前記コンバイナとの距離を変更して前記作業支援情報の奥行き表示位置を制御してもよい。このため、一部のレンズが移動可能なレンズ光学系を不要にできる。 In another aspect, the display control section may control the depth display position of the work support information by changing the distance between the real image display section and the combiner. Therefore, a lens optical system in which some lenses are movable can be eliminated.

本発明の一実施形態にかかる建設機械の斜視図。1 is a perspective view of a construction machine according to one embodiment of the present invention; FIG. 建設機械の構成を模式的に示す図。The figure which shows the structure of a construction machine typically. 建設機械が備える制御系の構成を示すブロック図。FIG. 2 is a block diagram showing the configuration of a control system included in the construction machine; 建設機械の運転室の斜視図。The perspective view of the cab of a construction machine. 建設機械の運転室の側面図。The side view of the cab of a construction machine. 建設機械の表示装置に表示された案内画面を示す図。The figure which shows the guidance screen displayed on the display apparatus of a construction machine. 建設機械の表示装置に表示された案内画面を示す図。The figure which shows the guidance screen displayed on the display apparatus of a construction machine. 建設機械のバケット位置を模式的に示す図。The figure which shows typically the bucket position of a construction machine. 案内画面の表示制御方法を示すフローチャート。4 is a flow chart showing a display control method for a guidance screen; 警告情報表示処理を示すフローチャート。4 is a flowchart showing warning information display processing; 施工設計面情報表示処理を示すフローチャート。4 is a flowchart showing construction design surface information display processing. バケットの軌跡情報の算出方法を説明する図。FIG. 4 is a diagram for explaining a method of calculating trajectory information of a bucket; 操作支援情報表示処理を示すフローチャート。4 is a flowchart showing operation support information display processing;

以下、本発明の実施形態を図面に基づいて説明する。
［１．油圧ショベルの全体構成］
以下、図面を参照して、本発明の建設機械の表示システムの一実施形態に係る油圧ショベルの表示システムについて説明する。
図１は、表示システムが搭載される油圧ショベル１００の斜視図である。油圧ショベル１００は、車体１と作業機２とを有する。車体１は、本発明の本体部に相当する。車体１は、旋回体３と運転室４と走行装置５とを有する。旋回体３は、走行装置５に旋回可能に取り付けられている。旋回体３は、図示しないエンジンや油圧ポンプなどの装置を収容している。運転室４は旋回体３の前部に載置されている。運転室４内には、後述する表示装置３８および操作装置２５が配置される（図３参照）。走行装置５は左右の履帯５ａ，５ｂを有しており、履帯５ａ，５ｂが回転することにより油圧ショベル１００が走行する。 BEST MODE FOR CARRYING OUT THE INVENTION An embodiment of the present invention will be described below with reference to the drawings.
[1. Overall Configuration of Hydraulic Excavator]
A display system for a hydraulic excavator according to an embodiment of the display system for a construction machine according to the present invention will be described below with reference to the drawings.
FIG. 1 is a perspective view of a hydraulic excavator 100 equipped with a display system. A hydraulic excavator 100 has a vehicle body 1 and a working machine 2 . The vehicle body 1 corresponds to the main body of the present invention. The vehicle body 1 has a revolving body 3 , an operator's cab 4 and a travel device 5 . The revolving body 3 is rotatably attached to the travel device 5 . The revolving body 3 accommodates devices such as an engine and a hydraulic pump (not shown). The operator's cab 4 is mounted on the front portion of the revolving body 3 . A display device 38 and an operating device 25, which will be described later, are arranged in the operator's cab 4 (see FIG. 3). The travel device 5 has left and right crawler belts 5a and 5b, and the hydraulic excavator 100 travels by rotating the crawler belts 5a and 5b.

作業機２は、車体１の前部に取り付けられており、ブーム６とアーム７とバケット８とブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とを有する。
ブーム６の基端部は、ブームピン１３を介して車体１の前部に揺動可能に取り付けられている。すなわち、ブームピン１３は、ブーム６の旋回体３に対する揺動中心に相当する。
アーム７の基端部は、アームピン１４を介してブーム６の先端部に揺動可能に取り付けられている。すなわち、アームピン１４は、アーム７のブーム６に対する揺動中心に相当する。
アーム７の先端部には、バケットピン１５を介してバケット８が揺動可能に取り付けられている。すなわち、バケットピン１５は、バケット８のアーム７に対する揺動中心に相当する。 The work machine 2 is attached to the front part of the vehicle body 1 and has a boom 6 , an arm 7 , a bucket 8 , a boom cylinder 10 , an arm cylinder 11 and a bucket cylinder 12 .
A base end portion of the boom 6 is attached to the front portion of the vehicle body 1 through a boom pin 13 so as to be able to swing. That is, the boom pin 13 corresponds to the swing center of the boom 6 with respect to the revolving body 3 .
A base end portion of the arm 7 is attached to a tip end portion of the boom 6 via an arm pin 14 so as to be able to swing. That is, the arm pin 14 corresponds to the swing center of the arm 7 with respect to the boom 6 .
A bucket 8 is swingably attached to the tip of the arm 7 via a bucket pin 15 . That is, the bucket pin 15 corresponds to the swing center of the bucket 8 with respect to the arm 7 .

図２は、油圧ショベル１００の構成を模式的に示す図である。図２（Ａ）は油圧ショベル１００の側面図であり、図２（Ｂ）は油圧ショベル１００の背面図である。図２（Ｃ）は油圧ショベル１００の上面図である。図２（Ａ）に示すように、ブーム６の長さ、すなわち、ブームピン１３からアームピン１４までの長さは、Ｌ１である。アーム７の長さ、すなわち、アームピン１４からバケットピン１５までの長さは、Ｌ２である。バケット８の長さ、すなわち、バケットピン１５からバケット８の刃先Ｐまでの長さは、Ｌ３である。 FIG. 2 is a diagram schematically showing the configuration of the hydraulic excavator 100. As shown in FIG. 2A is a side view of the hydraulic excavator 100, and FIG. 2B is a rear view of the hydraulic excavator 100. FIG. FIG. 2C is a top view of the excavator 100. FIG. As shown in FIG. 2A, the length of the boom 6, that is, the length from the boom pin 13 to the arm pin 14 is L1. The length of the arm 7, that is, the length from the arm pin 14 to the bucket pin 15 is L2. The length of the bucket 8, that is, the length from the bucket pin 15 to the cutting edge P of the bucket 8 is L3.

図１に示すブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とは、それぞれ油圧によって駆動される油圧シリンダである。ブームシリンダ１０の基端部は、ブームシリンダフートピン１０ａを介して旋回体３に揺動可能に取り付けられている。また、ブームシリンダ１０の先端部は、ブームシリンダトップピン１０ｂを介してブーム６に揺動可能に取り付けられている。ブームシリンダ１０は、油圧によって伸縮することによって、ブーム６を駆動する。
アームシリンダ１１の基端部は、アームシリンダフートピン１１ａを介してブーム６に揺動可能に取り付けられている。また、アームシリンダ１１の先端部は、アームシリンダトップピン１１ｂを介してアーム７に揺動可能に取り付けられている。アームシリンダ１１は、油圧によって伸縮することによって、アーム７を駆動する。
バケットシリンダ１２の基端部は、バケットシリンダフートピン１２ａを介してアーム７に揺動可能に取り付けられている。また、バケットシリンダ１２の先端部は、バケットシリンダトップピン１２ｂを介して第１リンク部材４７の一端および第２リンク部材４８の一端に揺動可能に取り付けられている。第１リンク部材４７の他端は、第１リンクピン４７ａを介してアーム７の先端部に揺動可能に取り付けられている。第２リンク部材４８の他端は、第２リンクピン４８ａを介してバケット８に揺動可能に取り付けられている。バケットシリンダ１２は、油圧によって伸縮することによって、バケット８を駆動する。 A boom cylinder 10, an arm cylinder 11, and a bucket cylinder 12 shown in FIG. 1 are hydraulic cylinders driven by hydraulic pressure. A base end portion of the boom cylinder 10 is swingably attached to the revolving body 3 via a boom cylinder foot pin 10a. Also, the tip of the boom cylinder 10 is attached to the boom 6 via a boom cylinder top pin 10b so as to be able to swing. The boom cylinder 10 drives the boom 6 by expanding and contracting with hydraulic pressure.
A base end of the arm cylinder 11 is swingably attached to the boom 6 via an arm cylinder foot pin 11a. Further, the tip of the arm cylinder 11 is pivotally attached to the arm 7 via an arm cylinder top pin 11b. The arm cylinder 11 drives the arm 7 by expanding and contracting with hydraulic pressure.
A base end of the bucket cylinder 12 is swingably attached to the arm 7 via a bucket cylinder foot pin 12a. Also, the tip of the bucket cylinder 12 is pivotably attached to one end of the first link member 47 and one end of the second link member 48 via the bucket cylinder top pin 12b. The other end of the first link member 47 is swingably attached to the tip of the arm 7 via a first link pin 47a. The other end of the second link member 48 is swingably attached to the bucket 8 via a second link pin 48a. The bucket cylinder 12 drives the bucket 8 by expanding and contracting with hydraulic pressure.

ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２などの油圧シリンダと図示しない油圧ポンプとの間には、比例制御弁３７が配置されている（図３参照）。比例制御弁３７が後述する作業機コントローラ２６によって制御されることにより、油圧シリンダ１０～１２に供給される作動油の流量が制御される。これにより、油圧シリンダ１０～１２の動作が制御される。 A proportional control valve 37 is arranged between the hydraulic cylinders such as the boom cylinder 10, the arm cylinder 11, the bucket cylinder 12, and a hydraulic pump (not shown) (see FIG. 3). The proportional control valve 37 is controlled by a work machine controller 26, which will be described later, to control the flow rate of hydraulic oil supplied to the hydraulic cylinders 10-12. The operations of the hydraulic cylinders 10 to 12 are thereby controlled.

図２（Ａ）に示すように、ブーム６とアーム７とバケット８には、それぞれ第１～第３ストロークセンサ１６～１８が設けられている。
第１ストロークセンサ１６は、ブームシリンダ１０のストローク長さを検出する。後述する表示コントローラ３９（図３参照）は、第１ストロークセンサ１６が検出したブームシリンダ１０のストローク長さから、後述する車体座標系のｚｍ軸に対するブーム６の揺動角αを算出する。
第２ストロークセンサ１７は、アームシリンダ１１のストローク長さを検出する。表示コントローラ３９は、第２ストロークセンサ１７が検出したアームシリンダ１１のストローク長さから、ブーム６に対するアーム７の揺動角βを算出する。
第３ストロークセンサ１８は、バケットシリンダ１２のストローク長さを検出する。表示コントローラ３９は、第３ストロークセンサ１８が検出したバケットシリンダ１２のストローク長さから、アーム７に対するバケット８の揺動角γを算出する。
後述するように、第１～第３ストロークセンサ１６～１８によって、車体１に対する作業機２のバケット８の刃先Ｐの位置情報を検出できる。従って、第１～第３ストロークセンサ１６～１８は、本発明の作業機位置検出部に相当する。 As shown in FIG. 2A, the boom 6, arm 7 and bucket 8 are provided with first to third stroke sensors 16 to 18, respectively.
A first stroke sensor 16 detects the stroke length of the boom cylinder 10 . A display controller 39 (see FIG. 3), which will be described later, calculates a swing angle α of the boom 6 with respect to the zm axis of the vehicle body coordinate system, which will be described later, from the stroke length of the boom cylinder 10 detected by the first stroke sensor 16 .
A second stroke sensor 17 detects the stroke length of the arm cylinder 11 . The display controller 39 calculates the swing angle β of the arm 7 with respect to the boom 6 from the stroke length of the arm cylinder 11 detected by the second stroke sensor 17 .
A third stroke sensor 18 detects the stroke length of the bucket cylinder 12 . The display controller 39 calculates the swing angle γ of the bucket 8 with respect to the arm 7 from the stroke length of the bucket cylinder 12 detected by the third stroke sensor 18 .
As will be described later, positional information of the cutting edge P of the bucket 8 of the working machine 2 with respect to the vehicle body 1 can be detected by the first to third stroke sensors 16 to 18 . Accordingly, the first through third stroke sensors 16 through 18 correspond to the working machine position detection section of the present invention.

図２（Ａ）に示すように、車体１には、位置検出部１９が備えられている。位置検出部１９は、油圧ショベル１００の現在位置を検出する。位置検出部１９は、ＲＴＫ－ＧＮＳＳ（Real Time Kinematic - Global Navigation Satellite Systems、ＧＮＳＳは全地球航法衛星システムをいう。）用の２つのアンテナ２１、２２と、３次元位置センサ２３と、傾斜角センサ２４とを有する。
アンテナ２１，２２は、後述する車体座標系ｘｍ－ｙｍ－ｚｍのｙｍ軸に沿って一定距離だけ離間して配置されている。アンテナ２１、２２で受信されたＧＮＳＳ電波に応じた信号は３次元位置センサ２３に入力される。３次元位置センサ２３は、アンテナ２１、２２のグローバル座標系における設置位置を検出する。
なお、グローバル座標系は、ＧＮＳＳによって計測される座標系であり、地球に固定された原点を基準とした座標系である。これに対して、後述する車体座標系は、車体１（具体的には旋回体３）に固定された原点を基準とする座標系である。２つのアンテナ２１、２２は、車体１の現在位置および車体１（具体的には旋回体３）の向きを検出するためのアンテナである。位置検出部１９は、２つのアンテナ２１、２２の位置によって、後述する車体座標系のｘｍ軸のグローバル座標系での方向角（方位角）を検出する。 As shown in FIG. 2(A), the vehicle body 1 is provided with a position detection section 19 . The position detector 19 detects the current position of the hydraulic excavator 100 . The position detection unit 19 includes two antennas 21 and 22 for RTK-GNSS (Real Time Kinematic-Global Navigation Satellite Systems, GNSS refers to global navigation satellite system), a three-dimensional position sensor 23, and an inclination sensor. 24.
The antennas 21 and 22 are spaced apart from each other by a constant distance along the ym axis of the vehicle body coordinate system xm-ym-zm, which will be described later. Signals corresponding to GNSS radio waves received by the antennas 21 and 22 are input to the three-dimensional position sensor 23 . A three-dimensional position sensor 23 detects the installation positions of the antennas 21 and 22 in the global coordinate system.
Note that the global coordinate system is a coordinate system measured by GNSS, and is a coordinate system based on an origin fixed to the earth. On the other hand, a vehicle body coordinate system, which will be described later, is a coordinate system based on an origin fixed to the vehicle body 1 (specifically, the revolving body 3). The two antennas 21 and 22 are antennas for detecting the current position of the vehicle body 1 and the orientation of the vehicle body 1 (specifically, the revolving body 3). The position detection unit 19 detects the direction angle (azimuth angle) in the global coordinate system of the xm axis of the vehicle body coordinate system, which will be described later, from the positions of the two antennas 21 and 22 .

図３に示すように、車体１には、傾斜角センサ２４が備えられている。傾斜角センサ２４は、図２（Ｂ）に示すように、重力方向（鉛直線）に対する車体１の幅方向（左右方向）の傾斜角θ１（以下、「ロール角θ１」と呼ぶ）を検出する。また、傾斜角センサ２４は、図２（Ａ）に示すように、重力方向に対する車体１の前後方向の傾斜角θ２（以下、「ピッチ角θ２」と呼ぶ）を検出する。さらに、傾斜角センサ２４は、旋回体３の旋回角度つまり車体座標系の鉛直軸（ｚｍ軸）回りの傾斜角（以下、「ヨー角θ３」と呼ぶ）を検出する。
なお、本実施形態において、車体１の幅方向とは、バケット８の幅方向を意味しており、車幅方向と一致している。ただし、作業機２がチルトバケットを備える場合には、バケット８の幅方向と車幅方向とが一致しないことがあり得る。
位置検出部１９は、アンテナ２１、２２、３次元位置センサ２３、傾斜角センサ２４を備えるため、車体１のグローバル座標上の現在位置、向き、傾斜角度を有する本体部の三次元位置情報を検出する。車体１のグローバル座標上の現在位置は、緯度、経度、標高のデータで表される。グローバル座標上の車体１の向きは、方位角で表される。傾斜角度は、前記ロール角θ１、ピッチ角θ２、ヨー角θ３で表される。 As shown in FIG. 3 , the vehicle body 1 is provided with an inclination sensor 24 . As shown in FIG. 2B, the tilt angle sensor 24 detects a tilt angle θ1 (hereinafter referred to as "roll angle θ1") in the width direction (horizontal direction) of the vehicle body 1 with respect to the direction of gravity (vertical line). . Further, the tilt angle sensor 24 detects a tilt angle θ2 (hereinafter referred to as a “pitch angle θ2”) in the longitudinal direction of the vehicle body 1 with respect to the direction of gravity, as shown in FIG. 2(A). Further, the tilt angle sensor 24 detects the turning angle of the revolving body 3, that is, the tilt angle about the vertical axis (zm axis) of the vehicle body coordinate system (hereinafter referred to as "yaw angle θ3").
In the present embodiment, the width direction of the vehicle body 1 means the width direction of the bucket 8 and coincides with the vehicle width direction. However, if work implement 2 includes a tilt bucket, the width direction of bucket 8 may not match the vehicle width direction.
Since the position detection unit 19 includes the antennas 21 and 22, the three-dimensional position sensor 23, and the tilt angle sensor 24, the three-dimensional position information of the main body including the current position, orientation, and tilt angle of the vehicle body 1 on the global coordinates is detected. do. The current position of the vehicle body 1 on global coordinates is represented by latitude, longitude, and altitude data. The orientation of the vehicle body 1 on global coordinates is represented by an azimuth angle. The tilt angle is represented by the roll angle θ1, pitch angle θ2, and yaw angle θ3.

図３は、油圧ショベル１００が備える制御系の構成を示すブロック図である。油圧ショベル１００は、操作装置２５と、作業機コントローラ２６と、作業機制御装置２７と、表示システム２８とを備える。
操作装置２５は、作業機２および旋回体３を操作する操作部材３１Ｌ、３１Ｒと、操作部材３１Ｌ、３１Ｒの操作を検出する操作検出部３２と、走行操作部材３３と、走行操作検出部３４とを有する。操作部材３１Ｌ、３１Ｒは、オペレータが作業機２および旋回体３を操作するための部材であり、例えば操作レバーである。
操作部材３１Ｒは作業機２におけるブーム６とバケット８の操作を行い、操作部材３１Ｒの前後方向の操作はブームの上げ下げの動作に対応し、左右方向の操作はバケットの掘削、開放の動作に対応する。
操作部材３１Ｌは旋回体３とアーム７の操作を行い、操作部材３１Ｌの前後方向の操作はアームの掘削、開放の動作に対応し、左右方向の操作は旋回体３の左右方向の旋回動作に対応する。
操作検出部３２は、操作部材３１Ｌの操作を検出する操作検出部３２Ｌと、操作部材３１Ｒの操作を検出する操作検出部３２Ｒとを備える。操作検出部３２Ｌ、３２Ｒは、例えば操作部材３１Ｌ、３１Ｒに設けられた図示しない検出角を検出するポテンショメータ等を用いる。操作部材３１Ｌ、３１Ｒの操作内容に対応し、操作検出部３２Ｌ、３２Ｒは傾倒角を電気信号として検出して、検出信号として作業機コントローラ２６へ送る。操作部材３１Ｌ、３１Ｒでは操作信号に応じパイロット流量を発生させ、操作検出部３２Ｌ、３２Ｒではパイロット圧を検出し、検出信号としてもよい。
走行操作部材３３は、オペレータが油圧ショベル１００の走行を操作するための部材であり、例えば操作レバーである。走行操作検出部３４は、走行操作部材３３の操作内容に応じパイロット流量を発生する。パイロット圧に応じて走行モータに供給する流量が決定し、走行装置５が駆動される。 FIG. 3 is a block diagram showing the configuration of a control system included in the hydraulic excavator 100. As shown in FIG. The hydraulic excavator 100 includes an operating device 25 , a work machine controller 26 , a work machine control device 27 and a display system 28 .
The operation device 25 includes operation members 31L and 31R for operating the work implement 2 and the revolving body 3, an operation detection section 32 for detecting operations of the operation members 31L and 31R, a travel operation member 33, and a travel operation detection section 34. have The operation members 31L and 31R are members for the operator to operate the work implement 2 and the revolving body 3, and are, for example, operation levers.
The operation member 31R operates the boom 6 and the bucket 8 of the working machine 2. Operation of the operation member 31R in the front-rear direction corresponds to the operation of raising and lowering the boom, and operation in the left-right direction corresponds to the operation of excavating and opening the bucket. do.
The operation member 31L operates the revolving body 3 and the arm 7, and the operation in the front-rear direction of the operation member 31L corresponds to the excavation and opening of the arm, and the operation in the left-right direction corresponds to the revolving movement of the revolving body 3 in the left-right direction. handle.
The operation detection section 32 includes an operation detection section 32L that detects an operation of the operation member 31L and an operation detection section 32R that detects an operation of the operation member 31R. The operation detection units 32L and 32R use, for example, potentiometers or the like for detecting detection angles (not shown) provided on the operation members 31L and 31R. Corresponding to the operation contents of the operation members 31L and 31R, the operation detection units 32L and 32R detect the tilt angle as an electric signal and send it to the work machine controller 26 as a detection signal. The operation members 31L and 31R may generate a pilot flow rate according to the operation signal, and the operation detection units 32L and 32R may detect the pilot pressure and use it as a detection signal.
The travel operation member 33 is a member for the operator to operate the travel of the hydraulic excavator 100, and is, for example, an operation lever. The travel operation detection unit 34 generates a pilot flow rate according to the operation content of the travel operation member 33 . The flow rate to be supplied to the travel motor is determined according to the pilot pressure, and the travel device 5 is driven.

作業機コントローラ２６は、ＲＡＭやＲＯＭなどの記憶部３５や、ＣＰＵなどの演算部３６を有している。作業機コントローラ２６は、主として作業機２の動作および旋回体３の旋回の制御を行う。作業機コントローラ２６は、操作部材３１Ｌ、３１Ｒの操作に応じて作業機２および旋回体３を動作させるための制御信号を生成して、作業機制御装置２７に出力する。
作業機制御装置２７は比例制御弁３７を有しており、作業機コントローラ２６からの制御信号に基づいて比例制御弁３７が制御される。作業機コントローラ２６からの制御信号に応じた流量の作動油が比例制御弁３７から流出され、油圧シリンダ１０～１２や図示しない旋回モータに供給される。油圧シリンダ１０～１２や旋回モータは、比例制御弁３７から供給された作動油に応じて駆動される。これにより、作業機２が動作し、旋回体３が旋回する。 The work machine controller 26 has a storage section 35 such as RAM and ROM, and a computing section 36 such as a CPU. The work machine controller 26 mainly controls the operation of the work machine 2 and the turning of the revolving superstructure 3 . Work implement controller 26 generates a control signal for operating work implement 2 and revolving body 3 according to the operation of operating members 31</b>L and 31</b>R, and outputs the control signal to work implement control device 27 .
The work implement control device 27 has a proportional control valve 37 , and the proportional control valve 37 is controlled based on a control signal from the work implement controller 26 . Hydraulic oil flows out from the proportional control valve 37 in accordance with the control signal from the work machine controller 26, and is supplied to the hydraulic cylinders 10 to 12 and a turning motor (not shown). The hydraulic cylinders 10 to 12 and swing motor are driven according to hydraulic oil supplied from the proportional control valve 37 . As a result, the working machine 2 operates and the revolving body 3 revolves.

［２．表示システムの構成］
表示システム２８は、警告情報、操作ガイダンス、施工設計面情報、車体情報などの各種情報をオペレータに提供するためのシステムである。表示システム２８は、表示装置３８と、表示コントローラ３９と、前記各種のセンサ１６、１７、１８、２３、２４と、後述する監視装置６０とを有している。 [2. Configuration of display system]
The display system 28 is a system for providing the operator with various types of information such as warning information, operation guidance, construction design surface information, and vehicle body information. The display system 28 has a display device 38, a display controller 39, the various sensors 16, 17, 18, 23 and 24, and a monitoring device 60 which will be described later.

表示装置３８は、図４、５に示すように、実像表示部４０と、レンズ光学系４１と、コンバイナ４２とを有する。実像表示部４０は、液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタおよびスクリーン等の実像を表示できる表示装置で構成される。なお、透過型スクリーンを用いてスクリーンの裏面側に配置したプロジェクタから映像を投射して表示してもよい。
レンズ光学系４１は、実像表示部４０とコンバイナ４２との間に配置され、複数枚のレンズを備える。そして、レンズ光学系４１のレンズの一部は光軸方向に移動可能に構成されている。レンズの駆動機構は、カメラのズームレンズなどで利用されている駆動機構が利用できる。 The display device 38 has a real image display section 40, a lens optical system 41, and a combiner 42, as shown in FIGS. The real image display unit 40 is composed of a display device capable of displaying a real image, such as a liquid crystal display, an organic EL display, a projector, and a screen. Note that an image may be projected and displayed from a projector arranged on the back side of the screen using a transmissive screen.
The lens optical system 41 is arranged between the real image display section 40 and the combiner 42 and has a plurality of lenses. Some of the lenses of the lens optical system 41 are configured to be movable in the optical axis direction. As for the driving mechanism of the lens, the driving mechanism used in the zoom lens of the camera can be used.

コンバイナ４２は、運転室４の前面のフレーム４AF内に上下2枚設置されたフロントグラス４Ａ部分に設けられた一部の光を反射し、残りの光を透過するハーフミラーで構成されている。このコンバイナ４２は、実像表示部４０に表示された映像を運転室４内のオペレータ側に反射するとともに、運転室４の外部からの光を運転室４内に透過する。
このため、オペレータの視点からは、前記実像表示部４０に表示された実像を、コンバイナ４２から透過して視認できる運転室４の前方景色に重ねて表示される虚像７０として捉えることができる。このため、表示装置３８は、オペレータの視野に直接映像を映し出すいわゆるヘッドアップディスプレイとして機能する。 The combiner 42 is composed of a half mirror that reflects part of the light and transmits the rest of the light provided in the upper and lower front glass 4A parts installed in the frame 4AF in front of the driver's cab 4. - 特許庁The combiner 42 reflects the image displayed on the real image display unit 40 toward the operator in the operator's cab 4 and transmits light from the outside of the operator's cab 4 into the operator's cab 4 .
Therefore, from the operator's viewpoint, the real image displayed on the real image display unit 40 can be perceived as a virtual image 70 superimposed on the front view of the driver's cab 4 visible through the combiner 42 . Therefore, the display device 38 functions as a so-called head-up display that projects an image directly into the field of view of the operator.

なお、コンバイナ４２にレンズ効果を持たせることで、オペレータが視認する虚像７０を拡大したり、虚像７０の表示位置を変更することができる。本実施形態では、コンバイナ４２にレンズ効果を持たせるために、コンバイナ４２として凹面ハーフミラーを用いている。 By giving the combiner 42 a lens effect, it is possible to enlarge the virtual image 70 visually recognized by the operator and change the display position of the virtual image 70 . In this embodiment, a concave half mirror is used as the combiner 42 in order to give the combiner 42 a lens effect.

さらに、本実施形態では、表示コントローラ３９の制御によって、レンズ光学系４１の少なくとも一部のレンズを光軸方向に移動することで、オペレータが視認する虚像７０の奥行き表示位置（オペレータの視点位置から運転室の前方に表示される虚像７０までの距離）を変更できる。すなわち、レンズ光学系４１を配置した場合、この光学系により、その奥にある実像表示部４０を拡大して覗き込むような形になる。そして、前記レンズ光学系４１内部の一部のレンズを光軸方向に移動することで、実像表示部４０の奥行き（コンバイナ４２から実像表示部４０までの距離）が変化した場合と同様の効果が得られ、結果的に虚像７０の奥行き表示位置も変更される。図５は、点線で示す虚像７０と、実線で示す虚像７０とで奥行き表示位置が変更されている。
さらに、虚像７０の大きさはレンズ光学系４１の射出窓の大きさに依存するため、虚像７０の奥行き表示位置が変わっても、オペレータの視野角上の虚像７０の大きさは一定に保つことができる。 Furthermore, in the present embodiment, the display controller 39 controls to move at least a part of the lenses of the lens optical system 41 in the optical axis direction, thereby adjusting the depth display position of the virtual image 70 visually recognized by the operator (from the operator's viewpoint position). distance to the virtual image 70 displayed in front of the driver's cab) can be changed. That is, when the lens optical system 41 is arranged, the real image display section 40 located behind it is magnified by this optical system and looks into it. By moving some lenses in the lens optical system 41 in the optical axis direction, the same effect as when the depth of the real image display section 40 (the distance from the combiner 42 to the real image display section 40) is changed can be obtained. As a result, the depth display position of the virtual image 70 is also changed. In FIG. 5, the depth display position is changed between the virtual image 70 indicated by the dotted line and the virtual image 70 indicated by the solid line.
Furthermore, since the size of the virtual image 70 depends on the size of the exit window of the lens optical system 41, even if the depth display position of the virtual image 70 changes, the size of the virtual image 70 in the viewing angle of the operator should be kept constant. can be done.

なお、前記虚像７０の奥行き表示位置を変更するには、レンズ光学系４１を配置せずに、リニアアクチュエータなどを用いて前記実像表示部４０をコンバイナ４２に対して近づく方向および遠ざかる方向に移動可能に構成し、実像表示部４０およびコンバイナ４２の距離を変更する構成を採用してもよい。 To change the depth display position of the virtual image 70, the real image display unit 40 can be moved toward and away from the combiner 42 using a linear actuator or the like without arranging the lens optical system 41. , and the distance between the real image display unit 40 and the combiner 42 may be changed.

表示コントローラ３９は、表示システム２８の各種の機能を実行する。表示コントローラ３９と作業機コントローラ２６とは、無線あるいは有線の通信手段で互いに通信可能となっている。
表示コントローラ３９は、ＲＡＭやＲＯＭなどの記憶部４３や、ＣＰＵなどの演算部４４を有している。
記憶部４３には、３次元の目標地形情報が記憶されている。目標地形情報は、作業対象となる地面の施工後の地形（設計地形）の形状および位置に関する情報であり、三角形や四角形などのポリゴンによって表現される。
演算部４４は、記憶部４３に記憶されている目標地形情報や、位置検出部１９で検出される車体１の三次元位置情報、作業機位置検出部である第１～第３ストロークセンサ１６～１８で検出されるバケット８の刃先の位置情報に基づいて、作業支援情報を作成するための各種の演算を実行する。表示コントローラ３９は、実像表示部４０にオペレータに対する作業支援情報を表示する。このため、表示コントローラ３９は、本発明の表示制御部に相当する。 Display controller 39 performs various functions of display system 28 . The display controller 39 and the work machine controller 26 can communicate with each other by wireless or wired communication means.
The display controller 39 has a storage unit 43 such as a RAM or ROM, and a computing unit 44 such as a CPU.
The storage unit 43 stores three-dimensional target landform information. The target landform information is information about the shape and position of the landform (design landform) of the work target ground after construction, and is represented by polygons such as triangles and quadrilaterals.
The calculation unit 44 receives the target terrain information stored in the storage unit 43, the three-dimensional position information of the vehicle body 1 detected by the position detection unit 19, and the first to third stroke sensors 16 to 16, which are work machine position detection units. Based on the positional information of the cutting edge of the bucket 8 detected at 18, various calculations are executed for creating work support information. The display controller 39 displays work support information for the operator on the real image display section 40 . Therefore, the display controller 39 corresponds to the display control section of the present invention.

［３．案内画面］
以下、表示装置３８に表示される案内画面について詳細に説明する。案内画面は、図６に示すように、操作支援情報８２を作業支援情報として表示し、さらに、車体情報８３や施工設計面情報８４を表示する。また、警告情報（コーション情報）８１を表示する場合は、図７に示すように、作業支援情報として警告情報８１も表示する。 [3. Guidance screen]
The guide screen displayed on the display device 38 will be described in detail below. As shown in FIG. 6, the guide screen displays operation support information 82 as work support information, and further displays vehicle body information 83 and construction design surface information 84 . When displaying warning information (caution information) 81, as shown in FIG. 7, warning information 81 is also displayed as work support information.

警告情報８１は、表示コントローラ３９に接続された監視装置６０から出力される。監視装置６０は、油圧ショベル１００における各種状態を検出するセンサ等を備え、検出データに異常があった場合に警告情報８１を表示コントローラ３９に出力する。例えば、監視装置６０は、油圧ポンプの吐出圧を検出するセンサや、エンジンの冷却水の水温を検出するセンサ、コンタミセンサなどを備える。また、監視装置６０は、油圧ショベル１００の周囲に人等の障害物が近接したことを検出する近接センサなども備える。
監視装置６０は、これらのセンサのデータに基づいて、オペレータに警告を伝えるための警告情報８１を作成し、表示コントローラ３９に出力する。表示コントローラ３９は、監視装置６０から警告情報８１を受信すると、直ちに実像表示部４０に表示する。すなわち、警告情報８１は最優先で表示する。
図７の警告情報８１は、油圧ショベル１００の左方向に人などの障害物を検出した場合の警告情報の例である。 Warning information 81 is output from the monitoring device 60 connected to the display controller 39 . The monitoring device 60 includes a sensor or the like for detecting various states of the hydraulic excavator 100, and outputs warning information 81 to the display controller 39 when there is an abnormality in the detected data. For example, the monitoring device 60 includes a sensor that detects the discharge pressure of the hydraulic pump, a sensor that detects the temperature of the cooling water of the engine, a contamination sensor, and the like. The monitoring device 60 also includes a proximity sensor that detects when an obstacle such as a person approaches the excavator 100 .
Based on the data of these sensors, the monitoring device 60 creates warning information 81 for warning the operator and outputs it to the display controller 39 . Upon receiving the warning information 81 from the monitoring device 60 , the display controller 39 immediately displays it on the real image display section 40 . That is, the warning information 81 is displayed with the highest priority.
Warning information 81 in FIG. 7 is an example of warning information when an obstacle such as a person is detected to the left of the hydraulic excavator 100 .

操作支援情報８２は、作業機２の操作をサポートするガイダンス情報である。例えば、表示コントローラ３９の演算部４４は、後述するように、位置検出部１９で検出された車体１の三次元位置情報と、第１～第３ストロークセンサ１６～１８で検出された作業機２におけるバケット８の刃先の位置情報と、記憶部４３に記憶された目標地形情報とを参照することで、作業機２の移動方向および移動量を算出する。そして、表示コントローラ３９は、作業機２の移動方向および移動量から操作支援情報８２を作成し、実像表示部４０に表示する。
例えば、図６の操作支援情報８２は、図８に示す油圧ショベル１００において、バケット８がバケット８Ａの位置にある場合に表示される情報である。図６の操作支援情報８２では、バケット８が目標地形から４ｍ上方に配置されているため、４ｍ下方に移動させる必要があることを示している。図７の操作支援情報８２は、バケット８がバケット８Ｂの位置にある場合に表示される情報である。図７の操作支援情報８２では、バケット８の残りの移動量を示している。
なお、操作支援情報８２は、バケット８の移動方向を示す矢印と、移動距離を示す数字とで表示するタイプでもよいし、移動目標位置（高さレベル）を示す三角マークと現在のバケット８の位置を示すバーとで表示するタイプでもよい。図６，７にはこれら２つの表示タイプを併記しているが、通常は、いずれか一方のみを表示すればよい。 The operation support information 82 is guidance information that supports the operation of the work machine 2 . For example, as will be described later, the calculation unit 44 of the display controller 39 can combine the three-dimensional position information of the vehicle body 1 detected by the position detection unit 19 with the work machine 2 detected by the first to third stroke sensors 16 to 18. , and the target terrain information stored in the storage unit 43, the movement direction and movement amount of the work implement 2 are calculated. Then, the display controller 39 creates operation support information 82 from the movement direction and movement amount of the working machine 2 and displays it on the real image display section 40 .
For example, the operation support information 82 in FIG. 6 is information displayed when the bucket 8 is at the position of the bucket 8A in the hydraulic excavator 100 shown in FIG. The operation support information 82 in FIG. 6 indicates that the bucket 8 is arranged 4 m above the target landform, so it needs to be moved 4 m below. The operation support information 82 in FIG. 7 is information displayed when the bucket 8 is at the position of the bucket 8B. The operation support information 82 in FIG. 7 indicates the remaining amount of movement of the bucket 8 .
The operation support information 82 may be of a type that displays an arrow indicating the moving direction of the bucket 8 and a number indicating the moving distance, or a triangular mark indicating the movement target position (height level) and the current position of the bucket 8. A type of display with a bar indicating the position may be used. Although these two display types are shown in FIGS. 6 and 7, it is usually sufficient to display only one of them.

車体情報８３は、燃料計のデータや、現在時刻、現在の燃費での残り稼動時間などの情報である。車体情報８３の表示の有無や、表示するデータの種類等は、オペレータが設定でき、この設定情報は記憶部４３に記憶される。表示コントローラ３９は、車体情報８３が表示有りに設定されている場合、指定されたデータを表示する。なお、車体情報８３の表示位置は、バケット８の刃先位置に連動せず、固定されている。 The vehicle body information 83 is information such as fuel gauge data, the current time, and the remaining operating time at the current fuel efficiency. The presence or absence of display of the vehicle body information 83 and the type of data to be displayed can be set by the operator, and this setting information is stored in the storage unit 43 . The display controller 39 displays the designated data when the vehicle body information 83 is set to display. The display position of the vehicle body information 83 is not linked to the position of the cutting edge of the bucket 8 and is fixed.

施工設計面情報８４は、前記目標地形情報と、バケット８の刃先の軌跡情報とを用いて作成される。すなわち、表示コントローラ３９は、施工前には、前記目標地形情報や、位置検出部１９で検出される三次元位置情報に基づいて、目標地形情報を施工設計面情報８４として実像表示部４０に表示する。このため、オペレータの視点からは、コンバイナ４２を通して視認できる作業対象の地面に、前記目標地形情報が重なって見える。
また、表示コントローラ３９は、施工途中や施工後には、前記目標地形情報に加えてバケット８の刃先の軌跡情報を重ねて施工設計面情報８４を作成し、出来形の情報も表示する。 The construction design surface information 84 is created using the target landform information and the trajectory information of the cutting edge of the bucket 8 . That is, before construction, the display controller 39 displays the target topography information as the construction design surface information 84 on the real image display unit 40 based on the target topography information and the three-dimensional position information detected by the position detection unit 19. do. Therefore, from the operator's viewpoint, the target landform information appears to be superimposed on the ground surface of the work target that can be visually recognized through the combiner 42 .
In addition, during or after construction, the display controller 39 creates construction design surface information 84 by superimposing locus information of the cutting edge of the bucket 8 on top of the target landform information, and also displays finished form information.

実像表示部４０に表示された案内画面は、レンズ光学系４１を介してコンバイナ４２で反射され、オペレータに視認される。このため、オペレータは、コンバイナ４２を透過して見ることができるフロントグラス４Ａの前方景色つまり作業現場の光景に、前記案内画面を重ねて見ることができる。
表示コントローラ３９は、警告情報８１、操作支援情報８２を、作業機２のバケット８の位置に合わせて表示する。このため、警告情報８１および操作支援情報８２は、バケット８の移動に伴い、コンバイナ４２の表面に沿った表示位置および奥行き表示位置が変化する。
表示コントローラ３９は、車体情報８３を、実像表示部４０の決められた位置に固定して表示する。ただし、警告情報８１、操作支援情報８２と同様に、車体情報８３をバケット８の位置に合わせて表示してもよい。
表示コントローラ３９は、施工設計面情報８４を、作業対象となる地面に合わせて表示する。 The guide screen displayed on the real image display unit 40 is reflected by the combiner 42 through the lens optical system 41 and is visually recognized by the operator. Therefore, the operator can see the guide screen superimposed on the front view of the windshield 4A, which can be seen through the combiner 42, that is, the view of the work site.
The display controller 39 displays the warning information 81 and the operation support information 82 according to the position of the bucket 8 of the working machine 2 . Therefore, the warning information 81 and the operation support information 82 change in display position and depth display position along the surface of the combiner 42 as the bucket 8 moves.
The display controller 39 fixes and displays the vehicle body information 83 at a predetermined position of the real image display section 40 . However, like the warning information 81 and the operation support information 82 , the vehicle body information 83 may be displayed according to the position of the bucket 8 .
The display controller 39 displays the construction design surface information 84 according to the ground surface to be worked.

［４．案内画面の表示制御方法］
次に、上述した案内画面の表示制御方法について図９のフローチャートに基づいて説明する。表示コントローラ３９は、油圧ショベル１００による施工作業中、図９に示す案内画面の表示制御を、一定時間間隔、例えば０．１秒間隔で繰り返し実行し、例えば１秒程度の間隔で表示を変更する。 [4. Guidance screen display control method]
Next, the display control method of the guide screen described above will be described based on the flowchart of FIG. During construction work by the excavator 100, the display controller 39 repeatedly executes display control of the guidance screen shown in FIG. .

（警告情報の表示）
案内画面の表示制御を開始すると、表示コントローラ３９の演算部４４は、監視装置６０から警告情報８１が出力されているか（警告情報８１が有るか）を判定する（ステップＳ１）。警告情報８１が有る場合、演算部４４は警告情報８１を表示する（ステップＳ２）。表示制御の最初に警告情報８１の表示処理を行うことで、警告情報８１を最優先で表示でき、オペレータに迅速に警告情報を伝えることができる。警告情報の表示処理の詳細は後述する。なお、他の情報の表示処理時に、監視装置６０から警告情報８１が出力された場合は、警告情報８１の表示処理（ステップＳ２）を割り込みで実行すればよい。 (Display of warning information)
When the display control of the guidance screen is started, the calculation unit 44 of the display controller 39 determines whether the warning information 81 is output from the monitoring device 60 (whether there is the warning information 81) (step S1). When the warning information 81 is present, the calculation section 44 displays the warning information 81 (step S2). By performing display processing for the warning information 81 at the beginning of display control, the warning information 81 can be displayed with the highest priority, and the warning information can be quickly conveyed to the operator. The details of the warning information display process will be described later. Note that if the warning information 81 is output from the monitoring device 60 during display processing of other information, the display processing of the warning information 81 (step S2) may be executed as an interrupt.

（施工設計面情報の表示）
演算部４４は、ステップＳ２の警告情報８１の表示処理後、または、警告情報８１が無いためにステップＳ１でＮｏと判定された場合、施工設計面情報８４が記憶部４３に記憶されているかを判定する（ステップＳ３）。施工現場によっては施工設計面情報８４が存在しない場合もあるため、その有無を判定している。
施工設計面情報８４が有る場合、演算部４４は、施工設計面情報８４の表示処理を行う（ステップＳ４）。 (Display of construction design surface information)
After the display processing of the warning information 81 in step S2, or when it is determined as No in step S1 because there is no warning information 81, the calculation unit 44 determines whether the construction design surface information 84 is stored in the storage unit 43. Determine (step S3). Since the construction design surface information 84 may not exist depending on the construction site, the presence or absence thereof is determined.
When the construction design surface information 84 is present, the calculation unit 44 performs display processing of the construction design surface information 84 (step S4).

（操作支援情報の表示）
演算部４４は、ステップＳ４の施工設計面情報８４の表示処理後、または、施工設計面情報８４が無いためにステップＳ３でＮｏと判定された場合、操作支援情報８２の表示設定の有無を判定する（ステップＳ５）。
操作支援情報８２の表示設定が有る場合、演算部４４は、操作支援情報８２の表示処理を行う（ステップＳ６）。
なお、ステップＳ２、Ｓ４、Ｓ６の各表示処理の詳細は後述する。 (Display of operation support information)
After the display processing of the construction design surface information 84 in step S4, or when it is determined as No in step S3 because there is no construction design surface information 84, the calculation unit 44 determines whether or not the operation support information 82 is set to be displayed. (step S5).
If there is a display setting for the operation support information 82, the calculation unit 44 performs display processing for the operation support information 82 (step S6).
The details of each display process in steps S2, S4, and S6 will be described later.

（車体情報の表示）
演算部４４は、ステップＳ５でＮｏと判定された場合、またはステップＳ６の表示処理の後、車体情報８３を表示する設定になっているかを判定する（ステップＳ７）。
そして、演算部４４は、車体情報８３の表示設定有りと判定された場合、車体情報８３の表示処理を行う（ステップＳ８）。この場合、演算部４４は実像表示部４０を制御し、図６、７に示すように、燃料計のデータや、現在時刻等の車体情報を、決められた表示位置に表示する。
そして、演算部４４は、前述のとおり、施工作業が継続している間は、前記ステップＳ１からステップＳ８までの処理を所定時間間隔で繰り返すため、ステップＳ１に戻り、表示処理を続行する。 (Display of vehicle information)
When it is determined No in step S5, or after the display processing in step S6, the calculation unit 44 determines whether the vehicle body information 83 is set to be displayed (step S7).
Then, when it is determined that the display setting of the vehicle body information 83 is present, the calculation section 44 performs display processing of the vehicle body information 83 (step S8). In this case, the calculation unit 44 controls the real image display unit 40 to display the fuel gauge data and vehicle information such as the current time at predetermined display positions, as shown in FIGS.
As described above, the calculation unit 44 repeats the processing from step S1 to step S8 at predetermined time intervals while the construction work is continuing, so returns to step S1 and continues the display processing.

［４－１．警告情報表示処理Ｓ２］
次に、ステップＳ２の警告情報８１の表示処理について、図１０のフローチャートに基づいて説明する。なお、警告情報表示処理Ｓ２では、油圧ショベル１００の車体座標系を利用して刃先位置を算出するため、まず、車体座標系に関して説明する。 [4-1. Warning information display processing S2]
Next, the display processing of the warning information 81 in step S2 will be described based on the flowchart of FIG. Note that in the warning information display process S2, since the cutting edge position is calculated using the vehicle body coordinate system of the excavator 100, the vehicle body coordinate system will be described first.

（車体座標系の説明）
油圧ショベル１００では、図２に示すように、前記傾斜角センサ２４の検出値を参照して、ブームピン１３の軸と作業機２の動作平面との交点を原点として車体座標系ｘｍ－ｙｍ－ｚｍを設定している。ここで作業機２の動作平面はｘｍ－ｚｍとなる。また、車体座標系は、各アンテナ２１、２２の位置データを用いても設定できる。なお、以下の説明においてブームピン１３の位置は、ブームピン１３の車幅方向における中点の位置を意味するものとする。
アンテナ２１，２２と車体座標系の原点との位置関係、すなわち、アンテナ２１，２２とブームピン１３の車幅方向における中点との位置関係は予め設定される。具体的には、図２（Ｂ）及び図２（Ｃ）に示すように、ブームピン１３とアンテナ２１との間の車体座標系のｘｍ軸方向の距離Lbbxと、ブームピン１３とアンテナ２１との間の車体座標系のｙｍ軸方向の距離Lbbyと、ブームピン１３とアンテナ２１との間の車体座標系のｚｍ軸方向の距離Lbbzとで、車体座標系の原点とアンテナ２１との位置関係が決まる。
また、ブームピン１３とアンテナ２２との間の車体座標系のｘｍ軸方向の距離Lbdxと、ブームピン１３とアンテナ２２との間の車体座標系のｙｍ軸方向の距離Lbdyと、ブームピン１３とアンテナ２２との間の車体座標系のｚｍ軸方向の距離Lbdzとで、車体座標系の原点とアンテナ２２との位置関係が決まる。 (Description of vehicle body coordinate system)
In the hydraulic excavator 100, as shown in FIG. 2, the detected value of the tilt angle sensor 24 is referred to, and the vehicle body coordinate system xm-ym-zm is set with the intersection of the axis of the boom pin 13 and the plane of operation of the working machine 2 as the origin. is set. Here, the operating plane of the working machine 2 is xm-zm. The vehicle body coordinate system can also be set using the position data of each antenna 21 and 22 . In the following description, the position of the boom pin 13 means the midpoint position of the boom pin 13 in the vehicle width direction.
The positional relationship between the antennas 21, 22 and the origin of the vehicle body coordinate system, that is, the positional relationship between the antennas 21, 22 and the midpoint of the boom pin 13 in the vehicle width direction is set in advance. Specifically, as shown in FIGS. 2B and 2C, the distance Lbbx in the xm-axis direction of the vehicle body coordinate system between the boom pin 13 and the antenna 21 and the distance between the boom pin 13 and the antenna 21 The positional relationship between the origin of the vehicle body coordinate system and the antenna 21 is determined by the distance Lbby in the ym-axis direction of the vehicle body coordinate system and the distance Lbbz in the zm-axis direction of the vehicle body coordinate system between the boom pin 13 and the antenna 21 .
Further, the distance Lbdx in the xm-axis direction of the vehicle body coordinate system between the boom pin 13 and the antenna 22, the distance Lbdy in the ym-axis direction of the vehicle body coordinate system between the boom pin 13 and the antenna 22, and the distance between the boom pin 13 and the antenna 22 The positional relationship between the origin of the vehicle body coordinate system and the antenna 22 is determined by the distance Lbdz in the zm-axis direction of the vehicle body coordinate system between .

（車体座標系上の刃先位置算出Ｓ１１）
演算部４４は、車体座標系上のバケット８の刃先位置を算出する（ステップＳ１１）。演算部４４は、第１～第３ストロークセンサ１６～１８の検出結果から、上述したブーム６、アーム７、バケット８の現在の揺動角α、β、γを算出する。
演算部４４は、ブーム６、アーム７、バケット８の揺動角α、β、γと、ブーム６、アーム７、バケット８の長さＬ１、Ｌ２、Ｌ３とを用いて、以下の数１の式により、車体座標系でのバケット８の刃先の座標（ｘ、ｙ、ｚ）を演算する。 (Cutting Edge Position Calculation S11 on Vehicle Body Coordinate System)
The calculation unit 44 calculates the cutting edge position of the bucket 8 on the vehicle body coordinate system (step S11). The calculation unit 44 calculates the current swing angles α, β, and γ of the boom 6, arm 7, and bucket 8 described above from the detection results of the first to third stroke sensors 16-18.
Using the swing angles α, β, and γ of the boom 6, the arm 7, and the bucket 8, and the lengths L1, L2, and L3 of the boom 6, the arm 7, and the bucket 8, the calculation unit 44 calculates the following Equation 1: The coordinates (x, y, z) of the cutting edge of the bucket 8 in the vehicle body coordinate system are calculated from the equation.

（警告情報の生成Ｓ１２）
次に、演算部４４は、監視装置６０から出力される警告情報８１の表示内容を生成する（Ｓ１２）。例えば、監視装置６０の近接センサが左方向に障害物があることを検出し、その検出情報を出力すると、演算部４４は、警告情報８１の表示内容（表示画像）として、左方向の矢印と、エクスクラメーションマークとを生成する。なお、警告情報８１の表示内容（表示画像）は、警告情報の種類に応じて設定される。すなわち、オペレータの注意喚起が必要な場合にエクスクラメーションマークを生成する。そして、前記障害物の検出のように注意すべき方向を指示する必要がある場合に、その方向の矢印を生成する。また、油圧ポンプの吐出圧や、エンジン冷却水の水温の異常を警告する場合には、それらの警告対象を示すアイコンや文字などの画像を生成する。 (Generation of warning information S12)
Next, the calculation unit 44 generates display contents of the warning information 81 output from the monitoring device 60 (S12). For example, when the proximity sensor of the monitoring device 60 detects that there is an obstacle in the left direction and outputs the detection information, the calculation unit 44 outputs a leftward arrow and , to generate exclamation marks and . Note that the display content (display image) of the warning information 81 is set according to the type of warning information. That is, an exclamation mark is generated when the operator's attention needs to be called. Then, when it is necessary to indicate a direction in which attention should be paid, such as when detecting an obstacle, an arrow in that direction is generated. Also, in the case of warning of an abnormality in the discharge pressure of the hydraulic pump or the water temperature of the engine cooling water, an image such as an icon or character indicating the warning target is generated.

（警告情報の表示位置算出Ｓ１３）
次に、演算部４４は、バケット８の刃先の現在位置に合わせて警告情報８１の表示位置を算出する（ステップＳ１３）。コンバイナ４２の表示面における警告情報８１の表示位置は、バケット８や操作支援情報８２に重ならない位置であり、かつ、バケット８に近接した位置に設定される。また、警告情報８１の内容に合わせて表示位置を調整する。このため、図７に示すように、左方向の障害物を警告する警告情報８１は、バケット８の斜め左上方位置などに表示される。右方向の障害物を警告する警告情報であれば、バケット８の斜め右上方位置などに表示される。
また、虚像として表示される警告情報８１のオペレータから見て奥行き方向になる座標（ｘ）に相当する奥行き表示位置は、バケット８の刃先のコンバイナ４２からの距離つまりオペレータの視点からの距離に合わせて設定される。 (Warning Information Display Position Calculation S13)
Next, the calculation unit 44 calculates the display position of the warning information 81 according to the current position of the cutting edge of the bucket 8 (step S13). The display position of the warning information 81 on the display surface of the combiner 42 is set to a position that does not overlap the bucket 8 or the operation support information 82 and that is close to the bucket 8 . Also, the display position is adjusted according to the content of the warning information 81 . Therefore, as shown in FIG. 7, warning information 81 for warning of an obstacle on the left side is displayed diagonally to the upper left of the bucket 8 or the like. If the warning information warns of an obstacle in the right direction, it is displayed diagonally to the upper right of the bucket 8 or the like.
Further, the depth display position corresponding to the coordinate (x) in the depth direction as seen from the operator of the warning information 81 displayed as a virtual image is adjusted to the distance of the cutting edge of the bucket 8 from the combiner 42, that is, the distance from the operator's viewpoint. is set.

（警告情報の表示Ｓ１４）
次に、演算部４４は、レンズ光学系４１および実像表示部４０を制御し、ステップＳ１３で算出した表示位置に、警告情報８１を表示する（ステップＳ１４）。以上のＳ１１～Ｓ１４の処理により、警告情報表示処理Ｓ２が終了する。 (Warning information display S14)
Next, the calculation unit 44 controls the lens optical system 41 and the real image display unit 40 to display the warning information 81 at the display position calculated in step S13 (step S14). The warning information display process S2 is completed by the above processes of S11 to S14.

［４－２．施工設計面情報表示処理Ｓ４］
次に、ステップＳ４の施工設計面情報８４の表示処理について、図１１のフローチャートに基づいて説明する。 [4-2. Construction design surface information display processing S4]
Next, display processing of the construction design surface information 84 in step S4 will be described based on the flowchart of FIG.

（グローバル座標系の車体の三次元位置情報算出Ｓ２１）
施工設計面情報８４を表示する場合、演算部４４は、グローバル座標系上の車体１の三次元位置情報を算出する（ステップＳ２１）。
具体的に、演算部４４は、３次元位置センサ２３および傾斜角センサ２４の検出値を用いて、グローバル座標系上の車体１の三次元位置情報（緯度、経度、高度、方位角、ロール角、ピッチ角、ヨー角）を算出する（ステップＳ２１）。
すなわち、３次元位置センサ２３は、アンテナ２１、２２のグローバル座標上の位置（緯度、経度、高度）を検出する。そして、演算部４４は、前述した車体座標系の原点と各アンテナ２１、２２との位置関係と、３次元位置センサ２３が検出したグローバル座標系におけるアンテナ２１，２２の座標から、車体座標系の原点位置のグローバル座標（Ａ，Ｂ，Ｃ）を演算する。
さらに、アンテナ２１，２２は、車体座標系のｙｍ軸に沿って配置されるため、演算部４４は、グローバル座標系におけるアンテナ２１，２２の座標から車体１（旋回体３）の向き（方位角）を演算する。 (3D Position Information Calculation S21 of Vehicle Body in Global Coordinate System)
When displaying the construction design surface information 84, the calculation unit 44 calculates the three-dimensional position information of the vehicle body 1 on the global coordinate system (step S21).
Specifically, the calculation unit 44 uses the detection values of the three-dimensional position sensor 23 and the tilt angle sensor 24 to obtain three-dimensional position information (latitude, longitude, altitude, azimuth angle, roll angle , pitch angle, yaw angle) are calculated (step S21).
That is, the three-dimensional position sensor 23 detects the global coordinate positions (latitude, longitude, altitude) of the antennas 21 and 22 . Then, the calculation unit 44 calculates the positional relationship between the origin of the vehicle body coordinate system and the respective antennas 21 and 22, and the coordinates of the antennas 21 and 22 in the global coordinate system detected by the three-dimensional position sensor 23. Compute the global coordinates (A, B, C) of the origin position.
Furthermore, since the antennas 21 and 22 are arranged along the ym axis of the vehicle body coordinate system, the calculation unit 44 calculates the orientation (azimuth angle ).

（車体座標系上の刃先位置算出Ｓ２２）
次に、演算部４４は、車体座標系上のバケット８の刃先の位置を算出する（ステップＳ２２）。この車体座標系上のバケット８の刃先位置の具体的な算出方法は、前記警告情報８１の表示処理におけるステップＳ１１と同じであるため、説明を省略する。 (Cutting Edge Position Calculation S22 on Vehicle Body Coordinate System)
Next, the calculation unit 44 calculates the position of the cutting edge of the bucket 8 on the vehicle body coordinate system (step S22). A specific method for calculating the position of the cutting edge of the bucket 8 on the vehicle body coordinate system is the same as that in step S11 in the processing for displaying the warning information 81, and thus the description thereof is omitted.

（グローバル座標系上の刃先位置算出Ｓ２３）
次に、演算部４４は、グローバル座標系上のバケット８の刃先位置を算出する（ステップＳ２３）。演算部４４は、数１から求められた車体座標系でのバケット８の刃先の座標（ｘ、ｙ、ｚ）を、以下の数２の式により、グローバル座標系での座標（X，Y，Z）に変換する。 (Cutting Edge Position Calculation S23 on Global Coordinate System)
Next, the calculation unit 44 calculates the cutting edge position of the bucket 8 on the global coordinate system (step S23). The calculation unit 44 converts the coordinates (x, y, z) of the cutting edge of the bucket 8 in the vehicle body coordinate system obtained from Equation 1 to the coordinates (X, Y, z) in the global coordinate system according to Equation 2 below. Z).

ただし、ω，φ，κは以下の数３で表される。 However, ω, φ, and κ are represented by Equation 3 below.

ここで、上述したとおり、θ１はロール角である。θ２はピッチ角である。θ３はヨー角である。 Here, as described above, θ1 is the roll angle. θ2 is the pitch angle. θ3 is the yaw angle.

（刃先の軌跡情報記憶Ｓ２４）
次に、演算部４４は、ステップＳ２３で算出された刃先位置を記憶部４３に記憶することで、刃先の軌跡情報を記憶する（ステップＳ２４）。
この際、施工後の出来形を計算・表示するためには、バケット８の刃先をバケット８の刃先の両端により形成する線として捉え、その軌跡を計算する必要がある。このため、図１２に示すように、車体１と施工面２００が並行でない時には、バケット８の刃先の中で地形に最も近い点と地形との距離ｄ１に加え、グローバル座標系における車体１の傾斜角度と施工面２００の傾斜角度の情報を用いてバケット８の刃先の線２０１が移動した時の軌跡情報を取得する。 (Cutting edge trajectory information storage S24)
Next, the calculation unit 44 stores the locus information of the cutting edge by storing the cutting edge position calculated in step S23 in the storage unit 43 (step S24).
At this time, in order to calculate and display the finished shape after construction, it is necessary to treat the cutting edge of the bucket 8 as a line formed by both ends of the cutting edge of the bucket 8 and calculate the trajectory. Therefore, as shown in FIG. 12, when the vehicle body 1 and the construction surface 200 are not parallel, in addition to the distance d1 between the point closest to the terrain on the cutting edge of the bucket 8 and the terrain, the inclination of the vehicle body 1 in the global coordinate system Information on the angle and the inclination angle of the working surface 200 is used to acquire locus information when the line 201 of the cutting edge of the bucket 8 moves.

（目標地形に対する作業進度情報算出Ｓ２５）
次に、演算部４４は、記憶部４３に記憶したバケット８の刃先の軌跡情報と、記憶部４３に記憶されている目標地形情報とに基づいて、目標地形に対する作業進度情報を算出する（ステップＳ２５）。 (Work progress information calculation for target terrain S25)
Next, the calculation unit 44 calculates work progress information for the target topography based on the locus information of the cutting edge of the bucket 8 stored in the storage unit 43 and the target topography information stored in the storage unit 43 (step S25).

（施工設計面情報生成＆表示位置算出Ｓ２６）
次に、演算部４４は、前記目標地形情報および作業進度情報に基づいて施工設計面情報８４の表示内容を生成する（ステップＳ２６）。また、車体１の三次元位置情報に基づいて、施工設計面情報８４を表示する位置を算出する（ステップＳ２６）。 (Construction design surface information generation & display position calculation S26)
Next, the calculation unit 44 generates the display contents of the construction design surface information 84 based on the target landform information and the work progress information (step S26). Also, the position for displaying the construction design surface information 84 is calculated based on the three-dimensional position information of the vehicle body 1 (step S26).

（施工設計面情報表示Ｓ２７）
そして、演算部４４は、レンズ光学系４１および実像表示部４０を制御し、ステップＳ２６で算出した表示位置に、施工設計面情報８４を表示する（ステップＳ２７）。 (Construction design surface information display S27)
Then, the calculation unit 44 controls the lens optical system 41 and the real image display unit 40 to display the construction design surface information 84 at the display position calculated in step S26 (step S27).

このため、オペレータは、作業対象の地面に、施工設計面情報８４を重ねて視認することができる。例えば、施工作業前であれば、施工設計面情報８４は、作業目標の地形が表示されるため、オペレータはこれからの作業すべき目標面を容易に把握できる。
また、作業中であれば、施工設計面情報８４は作業進度情報も含んでいるため、オペレータは、実際に視認できるバケット８の刃先位置と、掘削等の作業の目標面の位置関係を視点および焦点を変更することなく容易に把握でき、かつ、目標通りに施工できているかも容易に確認できる。 Therefore, the operator can visually recognize the construction design surface information 84 superimposed on the ground to be worked. For example, before construction work, the construction design surface information 84 displays the topography of the work target, so that the operator can easily grasp the target surface to be worked on in the future.
Further, during work, since the construction design surface information 84 also includes work progress information, the operator can see the positional relationship between the position of the cutting edge of the bucket 8 that can actually be seen and the target surface for work such as excavation. It can be easily grasped without changing the focus, and it is also possible to easily check whether the construction has been carried out according to the target.

なお、施工設計面情報８４と、警告情報８１や操作支援情報８２とを同時に表示する場合、表示コントローラ３９は、警告情報８１や操作支援情報８２の奥行き表示位置が、バケット８の位置となることを優先してレンズ光学系４１を制御する。すなわち、警告情報８１や操作支援情報８２の奥行き表示位置と、施工設計面情報８４の奥行き表示位置が異なる場合、レンズ光学系４１は、警告情報８１や操作支援情報８２の奥行き表示位置を設定するために制御される。
また、バケット８の刃先位置に合わせて表示位置を変更する作業支援情報である警告情報８１や操作支援情報８２を表示する実像表示部４０およびレンズ光学系４１と、バケット８の刃先位置に合わせて表示位置を変更しない情報である車体情報８３や施工設計面情報８４を表示する実像表示部４０およびレンズ光学系４１を別々に設けてもよい。 When the construction design surface information 84 and the warning information 81 and the operation support information 82 are displayed at the same time, the display controller 39 sets the depth display position of the warning information 81 and the operation support information 82 to the position of the bucket 8. is given priority to control the lens optical system 41 . That is, when the depth display position of the warning information 81 and the operation support information 82 is different from the depth display position of the construction design surface information 84, the lens optical system 41 sets the depth display position of the warning information 81 and the operation support information 82. controlled for
In addition, a real image display unit 40 and a lens optical system 41 for displaying warning information 81 and operation support information 82, which are work support information whose display positions are changed in accordance with the position of the blade edge of the bucket 8, and a The real image display unit 40 and the lens optical system 41 for displaying the vehicle body information 83 and the construction design surface information 84, which are information whose display positions are not changed, may be provided separately.

［４－３．操作支援情報表示処理Ｓ６］
次に、ステップＳ６の施工設計面情報８４を利用した操作支援情報８２の表示処理について図１３のフローチャートに基づいて説明する。
操作支援情報８２を表示する場合も、演算部４４は、グローバル座標系上の車体１の三次元位置情報を算出する（ステップＳ３１）。次に、演算部４４は、車体座標系上の刃先の位置を算出する（ステップＳ３２）。次に、演算部４４は、グローバル座標上の刃先位置を算出する（ステップＳ３３）。これらのステップＳ３１～Ｓ３３の具体的な算出方法は、前記施工設計面情報８４の表示処理におけるステップＳ２１～Ｓ２３と同じであるため、説明を省略する。なお、ステップＳ６の操作支援情報８２の表示処理が、ステップＳ４の施工設計面情報８４の表示処理に続いて行われた場合、ステップＳ３１～Ｓ３３を省略し、ステップＳ２１～Ｓ２３で算出したデータを利用してもよい。 [4-3. Operation support information display processing S6]
Next, display processing of the operation support information 82 using the construction design surface information 84 in step S6 will be described based on the flowchart of FIG.
Also when displaying the operation support information 82, the calculation unit 44 calculates the three-dimensional position information of the vehicle body 1 on the global coordinate system (step S31). Next, the calculation unit 44 calculates the position of the cutting edge on the vehicle body coordinate system (step S32). Next, the calculation unit 44 calculates the cutting edge position on the global coordinates (step S33). Since the specific calculation method of these steps S31 to S33 is the same as that of steps S21 to S23 in the display processing of the construction design surface information 84, description thereof will be omitted. In addition, when the display processing of the operation support information 82 in step S6 is performed following the display processing of the construction design surface information 84 in step S4, steps S31 to S33 are omitted, and the data calculated in steps S21 to S23 are may be used.

次に、演算部４４は、上記のように演算したバケット８の刃先のグローバル座標での現在位置と、記憶部４３に記憶されている目標地形情報とに基づいて、目標地点への到達に必要な刃先の移動量情報を算出する（ステップＳ３４）。
次に、演算部４４は、ステップＳ３４で算出した移動量情報に基づいて操作支援情報８２の表示内容を生成し、バケット８の刃先の現在位置に合わせて表示位置を算出する（ステップＳ３５）。コンバイナ４２の表示面における操作支援情報８２の表示位置は、バケット８や警告情報８１に重ならない位置であり、かつ、バケット８に近接した位置に設定される。このため、図６，７では、バケット８の側方位置に表示される。また、虚像として表示される操作支援情報８２のオペレータから見て奥行き方向となる座標（ｘ）に相当する奥行き表示位置は、バケット８の刃先の位置に合わせて設定される。 Next, based on the current position of the cutting edge of the bucket 8 in the global coordinates calculated as described above and the target terrain information stored in the storage unit 43, the calculation unit 44 calculates the distance necessary to reach the target point. The movement amount information of the cutting edge is calculated (step S34).
Next, the calculation unit 44 generates the display contents of the operation support information 82 based on the movement amount information calculated in step S34, and calculates the display position according to the current position of the cutting edge of the bucket 8 (step S35). The display position of the operation support information 82 on the display surface of the combiner 42 is set to a position that does not overlap the bucket 8 or the warning information 81 and that is close to the bucket 8 . Therefore, in FIGS. 6 and 7, it is displayed at the lateral position of the bucket 8. Further, the depth display position corresponding to the coordinate (x) in the depth direction viewed from the operator of the operation support information 82 displayed as a virtual image is set according to the position of the edge of the bucket 8 .

次に、演算部４４は、レンズ光学系４１および実像表示部４０を制御し、ステップＳ３５で算出した表示位置に、操作支援情報８２を表示する（ステップＳ３６）。 Next, the calculation unit 44 controls the lens optical system 41 and the real image display unit 40 to display the operation support information 82 at the display position calculated in step S35 (step S36).

このような本実施形態によれば、表示装置３８を、実像表示部４０、レンズ光学系４１、コンバイナ４２を備えて構成したので、作業支援情報を運転室４の前方景色に重ねて表示できる。このため、オペレータは、作業機２のバケット８および作業支援情報である警告情報８１や操作支援情報８２を視認する場合に、視点および焦点の移動を少なくでき、作業効率を向上できる。
表示コントローラ３９は、バケット８の位置情報に基づいて、警告情報８１、操作支援情報８２のコンバイナ４２の表面に沿った表示位置および奥行き表示位置を制御する。このため、オペレータが知覚する警告情報８１や操作支援情報８２の投影像を、バケット８の周囲に表示でき、オペレータの視線の動きと焦点調節とを最小限に抑えることができる。このため、オペレータがバケット８および作業支援情報を認識する場合の負荷を低減できる。
コンバイナ４２は、フロントグラス４Ａの大きさに合わせて設定できるため、従来のモニタ装置に比べて各種情報の表示領域を大きくできる。このため、従来は、モニタ装置の画面を切り替えなければ表示できない複数の情報を、コンバイナ４２の領域内に継ぎ目なく表示できる。さらに、情報化による様々な作業支援情報を提供する場合に、運転室４内のモニタ装置を増やす必要がなく、運転室４内のスペースを確保でき、オペレータの作業性や視界性を維持できる。 According to this embodiment, the display device 38 includes the real image display section 40 , the lens optical system 41 and the combiner 42 , so that the work support information can be displayed superimposed on the scenery in front of the driver's cab 4 . Therefore, when the operator visually recognizes the bucket 8 of the work machine 2 and the warning information 81 and the operation support information 82 which are the work support information, the operator can reduce the movement of the viewpoint and focus, and can improve the work efficiency.
The display controller 39 controls the display position along the surface of the combiner 42 and the depth display position of the warning information 81 and the operation support information 82 based on the position information of the bucket 8 . Therefore, a projected image of the warning information 81 and the operation support information 82 perceived by the operator can be displayed around the bucket 8, and the operator's line of sight movement and focus adjustment can be minimized. Therefore, it is possible to reduce the burden on the operator when recognizing the bucket 8 and the work support information.
Since the combiner 42 can be set according to the size of the windshield 4A, the display area of various information can be enlarged as compared with the conventional monitor device. Therefore, it is possible to seamlessly display a plurality of pieces of information in the area of the combiner 42, which conventionally cannot be displayed unless the screens of the monitor device are switched. Furthermore, when providing various work support information by informatization, there is no need to increase the number of monitor devices in the operator's cab 4, the space in the operator's cab 4 can be secured, and the workability and visibility of the operator can be maintained.

[実施形態の変形]
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記の実施形態では、第１～第３ストロークセンサ１６～１８によって、ブーム６、アーム７、バケット８の傾斜角を検出しているが、傾斜角の検出手段はこれらに限られない。例えば、ブーム６、アーム７、バケット８の傾斜角を検出する角度センサが備えられてもよい。 [Modification of embodiment]
It should be noted that the present invention is not limited to the above-described embodiments, and includes modifications, improvements, etc. within the scope of achieving the object of the present invention.
In the above embodiment, the tilt angles of the boom 6, arm 7, and bucket 8 are detected by the first to third stroke sensors 16-18, but tilt angle detection means is not limited to these. For example, angle sensors that detect the tilt angles of the boom 6, arm 7, and bucket 8 may be provided.

上記の実施形態では、バケット８を有しているが、バケット８はこれに限られず、チルトバケットであってもよい。チルトバケットとは、バケットチルトシリンダを備え、バケットが左右にチルト傾斜することで油圧ショベルが傾斜地にあっても、斜面、平地を自由な形に成形、整地をすることができ、低板プレートによる転圧作業もできるバケットである。
また、作業機２は、バケット８を有するものに限らない。例えば、作業機２としては、油圧ブレーカ等のバケット８以外のアタッチメントを装着したものでもよい。
さらに、建設機械としては、油圧ショベル１００に限らず、ブルドーザ、ホイールローダー、モーターグレーダー等の作業機を有する各種の建設機械でもよい。 Although the above embodiment has the bucket 8, the bucket 8 is not limited to this and may be a tilt bucket. A tilt bucket is equipped with a bucket tilt cylinder, and by tilting the bucket left and right, even if the hydraulic excavator is on a slope, slopes and flat ground can be shaped and leveled freely. It is a bucket that can also perform rolling compaction work.
Moreover, the work machine 2 is not limited to one having the bucket 8 . For example, the working machine 2 may be equipped with an attachment other than the bucket 8, such as a hydraulic breaker.
Furthermore, the construction machine is not limited to the hydraulic excavator 100, and may be various construction machines having working machines such as bulldozers, wheel loaders, and motor graders.

実像表示部４０に表示される案内画面の内容は、上記のものに限られず、アタッチメントの種類や建設機械の種類などに応じて設定すればよい。また、表示コントローラ３９の機能の一部、あるいは、全てが、建設機械の外部の基地局に配置されたコンピュータによって実行されて配信されてもよい。
操作支援情報８２としては、目標地点までの移動量情報に限らない。例えば、掘削後にバケット８を上方に移動する場合は、バケット８の上方への移動量を操作支援情報８２として表示してもよい。操作支援情報８２の内容は、作業機の種類や、オペレータの操作に応じて設定すればよい。 The contents of the guidance screen displayed on the real image display unit 40 are not limited to those described above, and may be set according to the type of attachment, the type of construction machine, and the like. Also, some or all of the functions of the display controller 39 may be executed and distributed by a computer located at a base station external to the construction machine.
The operation support information 82 is not limited to the movement amount information to the target point. For example, when the bucket 8 is moved upward after excavation, the upward movement amount of the bucket 8 may be displayed as the operation support information 82 . The contents of the operation support information 82 may be set according to the type of work machine and the operator's operation.

建設機械としては、アンテナ２１、２２等のグローバル座標系上の現在位置を検出する機構を備えないものでもよい。この場合は、車体座標系上での情報に基づいて警告情報８１などを作成して表示すればよい。
また、作業機２の位置に合わせて表示する作業支援情報の奥行き表示位置は、レンズ光学系４１のレンズを移動したり、実像表示部４０を移動するものに限定されない。例えば、作業支援情報の表示画像を処理して、オペレータが知覚する投影像の奥行き表示位置を調整してもよい。 The construction machine may not have a mechanism for detecting the current position on the global coordinate system, such as the antennas 21 and 22 . In this case, the warning information 81 or the like may be created and displayed based on the information on the vehicle body coordinate system.
Further, the depth display position of the work support information displayed according to the position of the work machine 2 is not limited to moving the lens of the lens optical system 41 or moving the real image display section 40 . For example, the display image of the work support information may be processed to adjust the depth display position of the projected image perceived by the operator.

本発明は、油圧ショベルに利用できる他、ホイールローダー、ブルドーザ、モーターグレーダーなど、オペレータが作業機を視認できる各種の建設機械にも利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used not only for hydraulic excavators, but also for various types of construction machines such as wheel loaders, bulldozers, and motor graders in which operators can visually recognize working machines.

１…車体、３…旋回体、４…運転室、４Ａ…フロントグラス、５…走行装置、６…ブーム、７…アーム、８…バケット、１６…第１ストロークセンサ、１７…第２ストロークセンサ、１８…第３ストロークセンサ、１９…位置検出部、２１、２２…アンテナ、２３…３次元位置センサ、２４…傾斜角センサ、２５…操作装置、２６…作業機コントローラ、２７…作業機制御装置、２８…表示システム、３８…表示装置、３９…表示コントローラ、４０…実像表示部、４１…レンズ光学系、４２…コンバイナ、４３…記憶部、４４…演算部、６０…監視装置、７０…虚像、８１…警告情報、８２…操作支援情報、８３…車体情報、８４…施工設計面情報、１００…油圧ショベル DESCRIPTION OF SYMBOLS 1... Vehicle body, 3... Revolving body, 4... Driver's cab, 4A... Windshield, 5... Travel device, 6... Boom, 7... Arm, 8... Bucket, 16... First stroke sensor, 17... Second stroke sensor, DESCRIPTION OF SYMBOLS 18... 3rd stroke sensor, 19... Position detection part, 21, 22... Antenna, 23... Three-dimensional position sensor, 24... Inclination sensor, 25... Operation device, 26... Work machine controller, 27... Work machine control device, 28... Display system, 38... Display device, 39... Display controller, 40... Real image display unit, 41... Lens optical system, 42... Combiner, 43... Storage unit, 44... Calculation unit, 60... Monitoring device, 70... Virtual image, 81 Warning information 82 Operation support information 83 Vehicle body information 84 Construction design surface information 100 Hydraulic excavator

Claims

A display system for a construction machine having a working machine,
a work machine position detection unit that detects position information of the work machine;
a real image display unit that displays a real image including warning information;
a single combiner that reflects the real image to form a virtual image containing the warning information superimposed on the front view of the cab and transmits light;
A display system for a construction machine, comprising: a display control unit that performs control to change the display position of the warning information in the virtual image in conjunction with the position information of the work machine.

The construction machine display system according to claim 1, wherein the warning information includes information indicating that an obstacle has been detected.

said obstacles include people;
The construction machine display system according to claim 2.

The construction machine display system according to claim 1, wherein the warning information includes information indicating that an abnormality of the construction machine has been detected.

The construction machine display system according to claim 4, wherein the construction machine abnormality includes an engine-related abnormality.

The construction machine display system according to any one of claims 1 to 5, wherein the display position of the warning information is in the vicinity of the work machine.

In a construction machine having a work machine, a display comprising a real image display unit for displaying a real image, and a single combiner for reflecting the real image to form a virtual image superimposed on the front view of the operator's cab and transmitting light. A method of controlling a system, comprising:
a step of detecting position information of the working machine;
displaying warning information on the real image display;
A control method for a construction machine display system, comprising: performing control to change the display position of the warning information in the virtual image in conjunction with the position information of the work machine.