KR20140084409A - Apparatus for displaying work prosedure guide of construction equipment using head up display and method thereof - Google Patents

Apparatus for displaying work prosedure guide of construction equipment using head up display and method thereof Download PDF

Info

Publication number
KR20140084409A
KR20140084409A KR1020120152920A KR20120152920A KR20140084409A KR 20140084409 A KR20140084409 A KR 20140084409A KR 1020120152920 A KR1020120152920 A KR 1020120152920A KR 20120152920 A KR20120152920 A KR 20120152920A KR 20140084409 A KR20140084409 A KR 20140084409A
Authority
KR
South Korea
Prior art keywords
hud
discharge pressure
information
display
vehicle
Prior art date
Application number
KR1020120152920A
Other languages
Korean (ko)
Other versions
KR102004000B1 (en
Inventor
김지훈
김동은
Original Assignee
두산인프라코어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 두산인프라코어 주식회사 filed Critical 두산인프라코어 주식회사
Priority to KR1020120152920A priority Critical patent/KR102004000B1/en
Publication of KR20140084409A publication Critical patent/KR20140084409A/en
Application granted granted Critical
Publication of KR102004000B1 publication Critical patent/KR102004000B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Instrument Panels (AREA)

Abstract

The present invention relates to display device and method for guiding the operation of a vehicle or construction machinery by using a head up display (HUD). According to the present invention, a camera, which chases an illumination sensor and the eyes of an operator (a user) is prepared; an HUD is installed on one or more windows inside a cabin of construction machinery; information on a working environment of an operator is displayed on the HUD in the gaze position of the operator based on the connection to an AVM system; mode RPM information and other information, which the operator is currently working on, are provided on the HUD; and a mode which is optimal for the current work is guided. Therefore, safety is secured and work efficiency and vehicle fuel efficiency are enhanced.

Description

헤드업 디스플레이를 이용한 건설기계의 작업 가이드 디스플레이 장치 및 방법{APPARATUS FOR DISPLAYING WORK PROSEDURE GUIDE OF CONSTRUCTION EQUIPMENT USING HEAD UP DISPLAY AND METHOD THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a display apparatus and a method for displaying a work guide of a construction machine using a head-up display,

본 발명은 헤드업 디스플레이(HUD: head up display)를 이용하여, 차량 또는 건설기계의 작업을 가이드하는 디스플레이 장치 및 방법에 관한 것이다.The present invention relates to a display device and a method for guiding the operation of a vehicle or a construction machine using a head up display (HUD).

건설기계는 토목공사 또는 건축공사에 사용되며, 그 종류는 굴착기, 그레이더, 크레인, 운반기계 등이 있다. 일반적으로 건설기계는 핸들, 페달, 스틱 또는 조이스틱 등을 조작하여 작동시킨다. 또한, 최근 생산되는 건설기계는 디스플레이 장치를 구비하고 있으며, 건설기계의 디스플레이 장치를 통해 장비의 상태 및 중요 데이터를 사용자(즉, 작업자)에게 표시하여 준다. 따라서, 건설기계의 사용자는 디스플레이에 표시된 장비의 상태 및 정보를 이용하여 효율적으로 건설기계를 작동시킬 수 있다. 특히, 차량 운전자의 운전 중 주행안전을 확보하고자 차량 주행정보와 주변상황 정보를 효과적으로 운전자에게 전달해주는 매체로서, 헤드업 디스플레이(HUD: head up display)가 각광받고 있다.Construction machines are used in civil engineering or construction work, and there are excavators, graders, cranes, and conveying machines. Generally, a construction machine operates by operating a handle, a pedal, a stick or a joystick. Recently, a construction machine equipped with a display device displays a state of the equipment and important data to a user (i.e., an operator) through a display device of the construction machine. Thus, the user of the construction machine can operate the construction machine efficiently using the state and information of the equipment displayed on the display. In particular, a head-up display (HUD) is a popular medium as a medium for effectively conveying vehicle driving information and surrounding information to a driver in order to secure driving safety during driving of a driver.

차량의 헤드업 디스플레이는 차량 주행 중 운전자 정면 즉, 운전자의 주 시야선을 벗어나지 않는 범위에서 차량주행정보나 기타 정보를 제공하는 표시장치로서, 초창기에는 항공기 특히 전투기에 부착되어 개발하게 된 것이 최근에는 차량에도 설치되기 시작한 것이다. The head-up display of a vehicle is a display device that provides vehicle driving information or other information in front of the driver during the driving of the vehicle, that is, within a range that does not deviate from the driver's main visual line. In the early days, It is also installed in vehicles.

차량의 헤드업 디스플레이는 차량의 전면유리에 운전자의 주시야 선에 계기판의 정보(작업모드, 속도, 주행거리, RPM, 네비정보, 경고 등)를 나타나게 하여 운전자가 운전 중에도 쉽게 작업 및 주행정보를 파악할 수 있도록 한다. 이로써 운전자는 전방 작업환경 및 도로에서 눈을 떼지 않고 중요한 주행정보를 인지함으로써 효율적이고 안전한 작업을 수행할 수 있다.The head-up display of the vehicle displays the information (operation mode, speed, mileage, RPM, navigation information, warning, etc.) of the instrument panel on the driver's main visual field on the windshield of the vehicle, So that they can understand it. This allows the driver to perform efficient and safe operations by recognizing important driving information without leaving the eyes on the front working environment and the road.

도 1은 종래의 건설기계의 캐빈 내부를 도시한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a view showing a cabin interior of a conventional construction machine.

건설기계의 캐빈은 작업자(또는 사용자)가 건설기계를 작동하기 위한 조작 장치가 구비된 공간이다. 도 1에 도시된 바와 같이, 건설기계의 캐빈은 조작장치로써, 핸들(11)과, 한 쌍의 조이스틱(12 및 13)과, 디스플레이(또는 계기판)(14)가 도시되어 있다.The cabin of the construction machine is a space in which a worker (or user) is provided with an operation device for operating the construction machine. As shown in Fig. 1, the cabin of the construction machine is a manipulating device, showing a handle 11, a pair of joysticks 12 and 13, and a display (or dashboard) 14.

도 2는 종래의 건설기계의 캐빈에서 건설기계를 조작하는 작업자의 시야의 동선을 표시한 도면이다.2 is a view showing a line of view of an operator operating a construction machine in a cabin of a conventional construction machine.

도 2에 도시된 바와 같이, 작업자(20)는 의자(21)에 착석한 상태에서 조이스틱(22)를 조작하여 건설기계를 작동시키며, 또한 디스플레이(23)에 표시된 장비의 상태 및 정보를 확인할 수 있다. 이때, 작업자(20)가 디스플레이(23)를 주시하는 시선 방향과 작업 목적물을 주시하는 방향이 서로 다르다. 따라서, 작업자가 디스플레이(23)를 확인하면서 작업하는 동안에, 작업자의 시선이 디스플레이와 작업 영역(또는 작업 목적물)으로 자주 이동하여야 한다. 이러한 작업자의 잦은 시선 이동은 작업자의 집중력을 떨어뜨리고, 나아가 안전 사고가 초래될 수 있으며, 또한 작업의 능률성이 떨어질 수 있다. 2, the operator 20 operates the joystick 22 in a state of being seated on the chair 21 to operate the construction machine and also to check the status and information of the equipment displayed on the display 23 have. At this time, the gaze direction of the operator 20 looking at the display 23 is different from the gaze direction of the operator. Therefore, while the worker is working while confirming the display 23, the operator's gaze must frequently move to the display and work area (or work object). Such frequent movement of the operator's eyes may reduce the concentration of the operator, furthermore, may cause safety accidents, and the efficiency of the operation may be lowered.

또한, 미숙련 작업자는 올바른 작업 방법을 습득하고 있지 못하기 때문에, 작업 능률이 현저히 떨어지는 경우가 많다. 예를 들어, 굴삭기의 미숙련 작업자는 작업별 최적의 작업 모드(파워 시프트 제어)로 설정하지 않고 작업하고, 휠로더 미숙련 작업자는 차량 slip 상태가 지속되는 작업을 수행할 경우, 건설기계 또는 차량의 연비 효율이 크게 떨어지게 된다. In addition, unskilled workers are not acquiring the right work methods, and work efficiency is often significantly lowered. For example, an unskilled worker of an excavator works without setting the work mode to the optimal work mode (power shift control), and an unskilled worker of a wheel loader performs a task in which the slip state of the vehicle is maintained, .

도 3은 건설기계의 조작 중에 발생할 수 있는 안전사고의 유형을 도시한 것이다.Figure 3 shows the types of safety accidents that may occur during operation of a construction machine.

도 3에 도시된 바와 같이, 작업자의 시인성이 좋지 않은 상태와 미숙련 작업자의 건설기계의 조작 미숙으로 인해, 안전 사고를 초래하고 연비 효율을 떨어트릴 수 있다. 즉, 작업자가 작업 중 계기판(14)을 확인하면서, 작업의 집중력이 떨어질 수 있다. 나아가, 작업자의 시야가 작업 영역을 벗어남으로써, 안전사고가 발생할 수 있고, 또한 작업자의 건설기계 조작 미숙으로 인해 잦은 과부하 작업으로 연료를 과다 낭비할 수 있다.As shown in FIG. 3, a state of poor visibility of the operator and an inoperability of the construction machine of the unskilled worker can cause safety accidents and reduce fuel efficiency. That is, while the worker is checking the dashboard 14 during the work, the concentration of the work may be deteriorated. Furthermore, the operator's vision may deviate from the working area, resulting in safety accidents, and excessive overloading of the operator due to insufficient operation of the construction machine can waste fuel excessively.

본 발명의 해결하고자 하는 기술적 과제는, 헤드업 디스플레이를 이용하여 작업자의 시야 동선 상에 있는 차량 창에 작업 가이드 정도 및 현재 작업 상태 정보(작업상태 정보는 AVM(Around View Monitoring) 시스템과 연계하여 충돌감지 및 경고 정보를 포함)를 제공(또는 피드백)함으로써, 작업자의 작업 능률을 향상시키고, 차량의 연비 효율을 높이며 안전사고를 방지하는 것이다. SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and it is an object of the present invention to provide a vehicle headlamp system for a vehicle, (Or feedback) information (including detection and warning information), thereby improving the work efficiency of the operator, increasing the fuel efficiency of the vehicle, and preventing safety accidents.

또한, 본 발명의 해결하고자 하는 기술적 과제는 조도 센서 및 사용자의 눈동자를 추적하여, 작업자의 작업 영역 내에 (즉, 건설기계 또는 차량 창의 일부 영역)에 작업 상태 정보 및 작업 가이드 정보를 디스플레이함으로써, 작업의 편의성 및 시인성을 향상시키는 것이다.It is another object of the present invention to provide an image processing apparatus and an image processing method capable of tracking an illuminance sensor and a pupil of a user to display work state information and operation guide information in a work area of an operator (i.e., Thereby improving the convenience and visibility of the user.

상기와 같은 발명의 기술적 과제를 해결하기 위하여, 본 발명에 따른 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법은, 작업 모드 정보, 작업 피드백 정보, 작업효율 정보 및 작업 가이드 정보 중에서 적어도 하나의 정보를 선택받는 단계; 및 상기 선택된 적어도 하나의 정보를 차량 HUD(Head up display)에 표시하는 단계를 포함한다. According to an aspect of the present invention, there is provided a display method for guiding work of a construction machine using a HUD according to the present invention includes at least one of information on operation mode, operation feedback information, operation efficiency information, ; And displaying the selected at least one information on a vehicle HUD (Head Up Display).

바람직하게는, 상기 방법은 차량 내부의 조도를 측정하여 측정한 조도에 따라 디스플레이 RGB 계산을 하여 HUD 화면에 표시하는 단계; 및 작업자의 눈동자를 포커싱하여 추적하여 작업자의 눈동자 포커싱에 따라, HUD 화면을 흐리게 또는 선명하게 표시하는 단계를 더 포함하는 것을 특징으로 한다.Preferably, the method further comprises the steps of measuring the illuminance inside the vehicle, calculating the display RGB according to the measured illuminance, and displaying it on the HUD screen; And tracking and tracking the pupil of the operator to display blurred or clear the HUD screen according to focusing of the pupil of the operator.

바람직하게는, 상기 HUD에 표시하는 단계는, 현재 작업 모드와 적합한 토출압력이 사용되는지를 확인하는 단계; 상기 확인 결과 현재 작업 모드와 토출압력이 적합하지 않는 경우, 작업 모드를 낮추거나 높이기 위해 토출압력을 계산하는 단계; 및 상기 계산된 토출압력에 따라 추천할 작업 모드 정보를 HUD에 표시하는 단계를 포함하는 것을 특징으로 한다.Advantageously, the step of displaying on the HUD comprises the steps of: confirming that the current operating mode and the appropriate dispensing pressure are used; Calculating a discharge pressure to lower or raise the operation mode when the current operation mode and the discharge pressure are not suitable; And displaying the recommended operation mode information on the HUD according to the calculated discharge pressure.

바람직하게는, 상기 HUD에 표시하는 단계는, 차량이 전진 주행 1 단으로 셋팅되어 있는지 탐색하는 단계; 상기 차량이 전진 주행 1 단으로 셋팅된 경우, 현재 작업이 최대 토출압력인지 확인하는 단계; 상기 확인 결과, 현재 작업이 전진 주행 1단 및 최대 토출압력인 경우, 전진 토출압력을 붐업(boom up) 토출압력으로 자동 전환시키는 단계; 및 상기 자동 전환을 HUD에 표시하여 사용자에게 작업 가이드하는 단계를 포함하는 것을 특징으로 한다.Preferably, the step of displaying on the HUD includes the steps of: searching for whether the vehicle is set to the forward driving first stage; Confirming that the current operation is the maximum discharge pressure when the vehicle is set to the forward drive first stage; Automatically switching the forward discharge pressure to a boom up discharge pressure when the present operation is the first forward travel and the maximum discharge pressure; And displaying the automatic switching on the HUD to guide the user through the operation.

바람직하게는, 상기 HUD에 표시하는 단계는, AVM(around view monitoring) 시스템을 통하여 작업 주변의 상황에 대한 정보를 수집하는 단계; 및 상기 수집한 정보를 상기 HUD에 표시하는 단계를 더 포함하는 것을 특징으로 한다.Preferably, the step of displaying in the HUD comprises the steps of: collecting information on a circumstance around the work through an AVM (around view monitoring) system; And displaying the collected information on the HUD.

상기와 같은 발명의 기술적 과제를 해결하기 위하여, 본 발명에 따른 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 장치는, 차량의 적어도 일면의 창에 장착된 HUD(head up display)와; 차량 창에 장착되어 작업자의 눈동자를 포커싱하며 추적하는 추적 카메라와; 상기 HUD의 밝기를 조정하기 위해 차량 내부의 밝기를 측정하는 조도 센서와; 작업 환경 주변의 상황 물체를 감지하고 경고하는 AVM(Around View Monitoring) 시스템과; 상기 조도 센서로부터 밝기 정보를 제공받아 오토 RGB 기능을 수행하고, 상기 추적 카메라로부터 작업자의 이미지를 받아 이미지 처리하여 작업자의 눈동자를 판별하고, 상기 판별한 사용자의 눈동자의 초점에 따라 알파블렌딩(alphablending)하여 상기 HUD에 화면을 표시하도록 제어하고, 작업 중인 토출량과 토출압력을 측정하여 적합한 작업 모드를 가이드하고 작업의 피드백 정보를 제공하는 제어부;를 포함한다.According to an aspect of the present invention, there is provided a display device for guiding the operation of a construction machine using a HUD, including: a head up display (HUD) mounted on a window of at least one side of a vehicle; A tracking camera mounted on the vehicle window for focusing and tracking the pupil of the operator; An illuminance sensor for measuring the brightness of the inside of the vehicle to adjust the brightness of the HUD; An AVM (Around View Monitoring) system for detecting and warning a situation object around the working environment; An auto-RGB function is performed by receiving the brightness information from the illuminance sensor, an image of an operator is received from the tracking camera, an image is processed to discriminate a pupil of an operator, and alphablending is performed according to the focus of the user's pupil. And a controller for controlling the display of the screen on the HUD, measuring a discharge amount and a discharge pressure during operation, guiding an appropriate operation mode, and providing feedback information on the operation.

바람직하게는, 상기 제어부는 차량의 최대 부하로 슬립 현상이 발생되기 직전, 최대 토출압력을 탐지하고, 전진 토출압력을 붐업(boom up) 토출압력으로 자동전환하고, 상기 자동전환을 HUD에 표시하는 것을 특징으로 한다.Preferably, the control unit detects the maximum discharge pressure immediately before the slip phenomenon occurs at the maximum load of the vehicle, automatically switches the forward discharge pressure to the boom up discharge pressure, and displays the automatic switch to the HUD .

바람직하게는, 상기 제어부는 차량의 현재 작업 모드에서 토출압력이 최대로 사용되는지를 확인하고, 차량의 현재 작업 모드에서 토출압력이 최대가 아닐 때, 작업 모드를 낮추기 위해 토출압력을 계산하고, 상기 계산한 토출압력에 따라 추천할 작업 모드를 상기 HUD에 표시하는 것을 특징으로 한다.
Preferably, the control unit determines whether the discharge pressure is maximally used in the current operation mode of the vehicle, calculates the discharge pressure to lower the operation mode when the discharge pressure is not the maximum in the current operation mode of the vehicle, And displays a recommended operation mode on the HUD according to the calculated discharge pressure.

본 발명은 차량 내부의 조도(밝기)를 측정하여 디스플레이 화면의 밝기를 조정하고, 또한 작업자의 눈동자 초점에 따라 화면을 알파블랜딩 처리함으로써, 작업자의 작업 시인성을 향상시킨다.The present invention improves the work visibility of an operator by measuring the brightness (brightness) of the interior of the vehicle to adjust the brightness of the display screen and alpha-blending the screen according to the focus of the eyes of the operator.

또한, 본 발명은 현재 작업 모드가 적합한지를 탐색 및 판단하여, 적합한 작업 모드를 추천하고, 작업 가이드 정보 및 피드백 정보를 제공함으로써, 작업 능률을 향상시키고, 불필요한 연비 소비를 방지할 수 있다.Further, the present invention can search for and determine whether the current operation mode is appropriate, recommend an appropriate operation mode, provide operation guide information and feedback information, and improve work efficiency and prevent unnecessary fuel consumption.

도 1은 종래의 건설기계의 캐빈 배부를 도시한 도면이다.
도 2는 종래의 건설기계의 캐빈에서 건설기계를 조작하는 작업자의 시야의 동선을 표시한 도면이다.
도 3은 건설기계의 조작 중에 발생할 수 있는 안전사고의 유형을 도시한 것이다.
도 4는 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 차량의 디스플레이 장치의 블록도이다.
도 5 본 발명의 일 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 작업 정보를 디스플레이하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 실시 예로서, 건설기계(예를 들어, 굴삭기)의 파워모드의 종류 및 해당 아이콘을 도시한 것이다.
도 7은 본 발명의 일 실시 예로서, 굴삭기의 파워 쉬프트 제어를 통해 파워 모드를 낮추는 그래프이다.
도 8은 본 발명의 일 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 캐빈의 창에 화면을 표시하는 방법을 도시한 것이다.
도 9는 본 발명의 또 다른 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 작업 가이드 정보를 디스플레이하는 방법을 도시한 흐름도이다.
도 10은 본 발명의 일 실시 예로서, 휠로더의 마력 제어를 도시한 그래프이다.
도 11은 본 발명의 일 실시 예로서, 건설기계의 캐빈 창에 작업 정보를 표시한 일 예이다.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a view showing a cabin portion of a conventional construction machine. FIG.
2 is a view showing a line of view of an operator operating a construction machine in a cabin of a conventional construction machine.
Figure 3 shows the types of safety accidents that may occur during operation of a construction machine.
4 is a block diagram of a vehicle display device using the HUD according to an embodiment of the present invention.
5 is a flowchart illustrating a method of displaying job information by a display device of a construction machine according to an embodiment of the present invention.
FIG. 6 shows the type of power mode and corresponding icons of a construction machine (for example, an excavator) as an embodiment of the present invention.
FIG. 7 is a graph illustrating a power mode lowering by power shift control of an excavator according to an embodiment of the present invention.
FIG. 8 illustrates a method of displaying a screen on a window of a cabin according to an embodiment of the present invention, in which a display device of a construction machine according to the present invention displays a screen.
9 is a flowchart illustrating a method of displaying a job guide information by a display device of a construction machine according to another embodiment of the present invention.
10 is a graph showing horsepower control of a wheel loader as an embodiment of the present invention.
11 is an example of displaying job information on a cabin window of a construction machine according to an embodiment of the present invention.

본 발명은 건설기계 및 차량의 디스플레이 장치에 적용된다. 그러나, 본 발명은 이에 한정하지 않고 본 발명의 기술적 사상이 적용될 수 있는 모든 기술 분야에 적용될 수도 있다.The present invention is applied to a construction machine and a display device of a vehicle. However, the present invention is not limited thereto and may be applied to all technical fields to which the technical idea of the present invention can be applied.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이하, 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. Hereinafter, substantially identical components in the description and the accompanying drawings are denoted by the same reference numerals, respectively, and redundant description will be omitted. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

한편, 본 발명에서 설명하는 용어, " 및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항복들 중의 어느 항목을 포함한다.In the meantime, the term "and / or" as used in the present invention includes any combination of a plurality of related listed items or any of a plurality of related listed yields.

본 발명에서 사용하는 기술용어, "디스플레이 장치"는 아날로그 또는 디지털 표시장치를 제공하는 장치를 통칭하는 포괄적인 의미이고, 약칭으로 "디스플레이" 또는, "모니터" 또는 "계기판"이라고 칭할 수 있다. 또한, 본 발명의 "디스플레이 장치"는 하나 이상의 모니터 또는 계기판으로 구성된 장치일 수 있다. 또한, 본 발명의 "디스플레이 장치"는 "디스플레이"를 동작시키는 제어부(또는 프로세서)와 통합 또는 독립 구성된 장치일 수 있다.The technical term "display device " used in the present invention is a generic term collectively referred to as an apparatus for providing an analog or digital display device, and may be abbreviated as" display "or" monitor "or" instrument panel ". Further, the "display device" of the present invention may be an apparatus composed of one or more monitors or a dash panel. Furthermore, the "display device" of the present invention may be an integrated or independently configured device with a control (or processor) that operates a "display ".

본 발명에서 사용하는 기술용어, "건설기계"는 문자 그대로 건설용도로 사용되는 기계만을 한정하는 것이 아니라, 본 발명에 따른 디스플레이 장치가 적용되는 모든 차량을 통칭하는 포괄적인 의미이다.The technical term "construction machine" used in the present invention is not limited to literally machines used for construction but is a generic meaning of all vehicles to which the display device according to the present invention is applied.

본 발명에서 사용하는 기술용어, "AVM(around view monitoring)"은 운전석에서 차량 밖의 사각지대(운전자의 시야각으로부터 사각지대)를 디스플레이 등을 통하여 볼 수 있는 시스템을 말한다. AVM은 차량에 적극적으로 적용되는 주지 기술인바, 그 상세한 설명은 생략한다.The technical term "AVM (around view monitoring)" used in the present invention refers to a system in which a blind spot outside a vehicle (a blind spot from a driver's viewing angle) can be viewed from a driver's seat through a display or the like. The AVM is a known technology that is actively applied to a vehicle, and a detailed description thereof will be omitted.

본 발명에서 사용하는 기술용어, "파워 쉬프트 제어"는 건설기계의 일종인 굴삭기에서 사용되는 용어이다. 건설기계의 펌프의 마력이 순간적인 과부하에 의하여 엔진의 마력보다 커지면, 엔진은 속도가 저하되면서 정지하게 된다. "파워 쉬프트 제어"란, 이러한 현상을 방지하기 위하여, 차량 엔진의 속도가 감소하면 펌프의 마력을 감소시켜 엔진이 정지하는 것을 방지하는 것을 말한다. 또한, 상기 기술은 적합하지 않은 작업 모드로 선택된 경우, 사용자에게 적합한 작업모드를 계산하여 선택하도록 디스플레이 해준다.The technical term "power shift control" used in the present invention is a term used in an excavator which is a type of construction machine. When the horsepower of the pump of the construction machine becomes larger than the horsepower of the engine due to the momentary overload, the engine stops at a lowered speed. The term "power shift control" refers to preventing the engine from stopping by reducing the horsepower of the pump when the speed of the vehicle engine decreases to prevent this phenomenon. In addition, when the above-described technique is selected as an operation mode that is not suitable, the user can display a selection of a suitable operation mode for the user.

본 발명에서 사용하는 기술용어, "마력제어"는 건설기계의 일종인 휠로더에서 사용되는 용어로서, 펌프 자신의 토출압력(P1)과 상태 펌프의 토출압력(P2)의 상승에 따라 펌프의 경전각(토출유량)을 감소시켜 토크(torque)를 일정 값 이하로 제어하는 것이다. 또한, 상기 기술은 휠로더 굴삭 작업 중 발생하는 바퀴 slip 시, Max 전진 토출압력을 판단하여 자동으로 토출압력을 붐업(Boom-up)으로 전환시키고, 사용자에게 붐업을 유도하는 기술이다.The term "horsepower control" used in the present invention is a term used in a wheel loader, which is a type of construction machine. It is a term used in the present invention to refer to, as the pump's own discharge pressure P1 and the discharge pressure P2 of the state pump rise, (Discharge flow rate) is reduced to control the torque to a predetermined value or less. In addition, the above-described technique is a technique for determining the Max forward discharge pressure at the wheel slip occurring during the wheel loader excavation operation, automatically switching the discharge pressure to a boom-up, and inducing the user to boom up.

본 발명에서 사용하는 기술용어, "CCO 기능"은 휠로더와 같은 건설기계에서, 차량 앞부분(front)에 파워를 집중시키기 위해, 작업자가 셋팅한 이상의 브레이크 압력 인가시, 트랜스미션 동력을 끊어 주행 동력을 차단하는 것을 말한다. 이와 "CCO 기능"은 본 발명의 기술 분야에서 당업자에게 주지 기술용어인 바, 그 상세한 설명을 생략한다.The technical term "CCO function" used in the present invention is a construction machine such as a wheel loader which cuts off the transmission power when the brake pressure is applied by the operator to concentrate power on the front of the vehicle, . The "CCO function" is a well-known technical term in the technical field of the present invention, and a detailed description thereof will be omitted.

본 발명에서 사용하는 기술용어, "VCU(vehicle control unit)"은 차량 제어기이고, "ECU(engine control unit)"는 엔진 제어기이고, "TCU(transmission control unit)"은 트랜스미션 제어기이다. 이러한 컨트롤러 유닛(제어기)은 본 발명의 기술분야의 주지 기술 및 용어인 바, 그 기능 및 동작에 대한 상세한 설명은 생략한다.The technical term "vehicle control unit (VCU)" used in the present invention is a vehicle controller, "engine control unit" is an engine controller, and "transmission control unit" (TCU) is a transmission controller. These controller units (controllers) are well known in the technical field of the present invention and will not be described in detail.

본 발명의 기본 개념은: 건설기계의 작업자(사용자)가 안전성 확보 및 작업의 능률을 향상시키기 위해, 작업자에게 작업 가이드(guide) 정보 및 피드백 정보를 제공하고, HUD(head up display)로 작업자의 시야를 작업영역 내에 유지하도록 하는 것이다. 이러한 본 발명의 기본 개념을 구현하기 위하여, 본 발명은: 1) 작업자가 현재 작업하고 있는 모드 RPM 정보 및 기타 정보를 HUD 상에 제공하고, 현재 적합한 동작을 사용자에게 가이드(guide); 2)조도센서 및 작업자(사용자)의 눈동자를 추적하는 카메라(일명, 추적 카메라)를 통해 최적의 HUD를 디스플레이; 3) 캐빈 내의 일면 이상의 창에 디스플레이(예를 들어, HUD를 이용한 투명 LCD)를 설치; 4) AVM 시스템과 연계하여, 작업 환경 주변에 대한 정보(예를 들어, 주변 물체와 충돌 감지 및 경고에 대한 통지)를 작업자의 시선 상의 HUD에 표시한다.The basic concept of the present invention is as follows: A worker (user) of a construction machine provides work guide information and feedback information to a worker in order to secure safety and improve work efficiency, So that the field of view is maintained within the work area. In order to implement this basic concept of the present invention, the present invention provides: 1) providing the mode RPM information and other information currently being worked on by the operator on the HUD; 2) display the optimal HUD through a light sensor and a camera (aka, tracking camera) that tracks the eyes of the operator (user); 3) installing a display (for example, a transparent LCD using a HUD) on one or more windows in the cabin; 4) In conjunction with the AVM system, information about the environment around the work environment (for example, notification of nearby objects and collision detection and warning) is displayed in the HUD on the operator's line of sight.

도 4는 본 발명의 일 실시 예로서, 본 발명에 따른 HUD를 이용한 차량의 디스플레이 장치의 블록도이다.4 is a block diagram of a vehicle display device using the HUD according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 본 발명에 따른 디스플레이 장치(400)는, 차량의 일면 이상의 창에 장착된 HUD(head up display) 디스플레이(410)과; 적어도 2 대 이상의 소형 카메라로 구성되고, 차량 창에 장착되어 작업자(사용자)의 눈동자를 추적하는 추적 카메라(420)와; HUD 디스플레이의 밝기를 조정하기 위해 차량 내부(또는 캐빈 내부)의 밝기를 측정하는 조도 센서(430)와; 작업 환경 주변의 상황 물체를 감지하고 경고하는 AVM 시스템(440)과; 상기 조도 센서로부터 밝기 정보를 제공받아 오토 RGB 기능을 수행하고, 추적 카메라로부터 작업자의 이미지를 받아 이미지 처리하여 작업자의 눈동자를 판별하고, 그 판별한 사용자의 눈동자의 초점에 따라 알파블랜딩하여 상기 HUD 디스플레이에 화면을 표시하도록 제어하고, 작업 중인 토출량과 토출압력을 측정하여 적합한 작업 모드를 가이드하고 작업의 피드백 정보를 제공하는 제어부(440)를 포함한다.4, a display device 400 according to the present invention includes: a head up display (HUD) display 410 mounted on a window over one side of a vehicle; A tracking camera 420 which is composed of at least two small cameras and is mounted on a vehicle window and tracks the eyes of the operator (user); An illuminance sensor 430 for measuring the brightness of the interior of the vehicle (or inside the cabin) to adjust the brightness of the HUD display; An AVM system 440 for detecting and alerting a circumstance object around the working environment; The brightness information is received from the illuminance sensor to perform the auto RGB function, the image of the operator is received from the tracking camera, the image is processed to determine the pupil of the operator, the alpha blend is performed according to the focus of the pupil of the user, And a control unit 440 for guiding an appropriate working mode by measuring the discharge amount and the discharge pressure during the work and providing feedback information of the work.

또한, 상기 제어부(440)는 콘트롤러 유닛(예를 들어, VCU, ECU,또는 TCU)등으로부터 차량 정보 및 제어정보를 통신하여 HUD 디스플레이에 표시한다. 한편, 상기 제어부(440)는 상기 콘트롤러 유닛과 통합하여 구현하거나, 또는 별개로 구성될 수도 있다.Also, the controller 440 communicates vehicle information and control information from a controller unit (e.g., a VCU, an ECU, or a TCU) and displays the information on the HUD display. Meanwhile, the controller 440 may be implemented integrally with the controller unit or separately.

또한, 상기 제어부(440)는, 건설기계의 캐빈 문(차량 문)이 오픈(open)되어 있는지를 탐색하고, 오픈되어 있는 경우는 건설기계의 계기판(도 1의 14)을 통하여 차량 정보 및 작업 정보를 표시한다. 반면, 상기 제어부(440)는 건설기계의 캐빈 문이 클로즈(close)되어 있는 경우에 HUD 디스플레이에 작업 가이드 정보 및 차량 상태 정보 등을 표시한다.The control unit 440 searches the cabin door (vehicle door) of the construction machine to see if it is open. If the cabin door is open, the control unit 440 displays the vehicle information and operation Display information. On the other hand, when the cabin door of the construction machine is closed, the control unit 440 displays the operation guide information and the vehicle status information on the HUD display.

도 5 본 발명의 일 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 작업 정보를 디스플레이하는 방법을 도시한 흐름도이다. 도 5의 실시 예는 건설기계가 굴삭기인 경우에 작업 가이드를 제공하는 디스플레이 방법이다.5 is a flowchart illustrating a method of displaying job information by a display device of a construction machine according to an embodiment of the present invention. The embodiment of Figure 5 is a display method that provides a work guide when the construction machine is an excavator.

도 6은 본 발명의 일 실시 예로서, 건설기계(예를 들어, 굴삭기)의 파워모드의 종류 및 해당 아이콘을 도시한 것이다. FIG. 6 shows the type of power mode and corresponding icons of a construction machine (for example, an excavator) as an embodiment of the present invention.

도 7은 본 발명의 일 실시 예로서, 굴삭기의 파워 쉬프트 제어를 통해 파워 모드를 낮추는 그래프이다. FIG. 7 is a graph illustrating a power mode lowering by power shift control of an excavator according to an embodiment of the present invention.

도 8은 본 발명의 일 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 캐빈의 창에 화면을 표시하는 방법을 도시한 것이다.FIG. 8 illustrates a method of displaying a screen on a window of a cabin according to an embodiment of the present invention, in which a display device of a construction machine according to the present invention displays a screen.

도 1 내지 8를 참조하면, 건설기계의 시동을 켜면, 기본적으로 계기판(14)이 표시된다(S510). 제어부(440)는 캐빈의 문이 오픈되어 있는지를 탐색한다(S520). 이때, 만일 차량 문이 열려 있는 경우 계기판(14)을 통하여 작업 정보 및 차량 상태 정보 등이 표시된다(S530).Referring to FIGS. 1 to 8, when the start-up of the construction machine is turned on, the instrument panel 14 is basically displayed (S510). The control unit 440 searches whether the door of the cabin is open (S520). At this time, if the vehicle door is open, operation information and vehicle status information are displayed through the dash panel 14 (S530).

상기 S520 단계에서, 캐빈 문이 클로즈되어 있는 경우, 제어부(440)는 콘트롤러 유닛(예를 들어, VCU)으로부터 차량 정보를 전송받아, HUD 디스플레이에 표시한다(S540). 또한, 제어부(440)는 조도 센서(430)으로부터 캐빈 내의 밝기 정보를 전송받아, 캐빈 내의 밝기에 따라 디스플레이 RGB 계산을 하고 최적 밝기로 HUD 디스플레이에 화면이 표시되도록 HUD 디스플레이를 제어한다(S550).If the cabin door is closed in step S520, the control unit 440 receives the vehicle information from the controller unit (for example, the VCU) and displays it on the HUD display (S540). In addition, the controller 440 receives the brightness information in the cabin from the illuminance sensor 430, calculates the display RGB according to the brightness in the cabin, and controls the HUD display so that the screen is displayed in the HUD display with optimal brightness in operation S550.

제어부(440)는 작업자에게 작업 가이드 정보 및/또는 피드백 정보를 제공한다(S560). 여기서, "작업 가이드 정보"란 현재 작업자가 진행하고 있는 작업에 대한 최적의 '작업 모드(예를 들어, 파워모드, 이코노미 모드 등등)', 또는 '작업 효율 평가(예를 들어, 도 8에서 "ECO 작업효율이 나쁩니다")', 최적의 작업모드를 위한 '추천 RPM'(도 8에서 HUD 디스플레이 표시 참조) 등이다. 또한, 여기서 "피드백 정보"란, 예를 들어 작업자가 현재 진행 중인 작업에 대한 평가일 수도 있고, 또는 변경한 작업 모드의 작업 평가일 수도 있다.The control unit 440 provides the worker with job guide information and / or feedback information (S560). Here, the "operation guide information" refers to an optimal 'operation mode (for example, power mode, economy mode, etc.)' or 'operation efficiency evaluation (for example, ECO working efficiency is poor "), and 'Recommended RPM' (see HUD display in FIG. 8) for the optimal working mode. Here, the "feedback information" may be, for example, an evaluation of the work currently being performed by an operator, or a work evaluation of the changed work mode.

이하, 상기 S560 단계를 더욱 상세히 설명한다. Hereinafter, step S560 will be described in more detail.

제어부(440)는 굴삭기의 현재 작업모드를 확인하여, 굴삭기의 현재 작업모드에서 최적 토출압력을 사용하고 있는지를 판단한다(S561). 만일, 굴삭기가 현재 작업모드의 최적 토출압력(즉, RPM으로 표시)을 사용하지 않은 경우, 토출량 및 토출압력과 같은 데이터를 근거로, 제어부(440)는 최적 토출압력을 계산한다(S562). 상기 S562 단계의 계산 결과, 제어부(440)는 계산한 토출압력에 따라 추천할 작업 가이드 정보(예를 들어, 도 8에 캐빈 창에 표시된 바와 같이, 추천 작업 모드, 굴삭기의 현재 RPM, 굴삭기의 추천 RPM, 또는 작업 효율 평가 등등)를 HUD 디스플레이(410)에 표시한다(S563). 예를 들면, 도 7에 도시된 결과와 같이, 상기 S560에서 특정 토출량에 대해 토출압력을 낮출 수 있기 때문에, 작업 부하를 설정된 작업 모드 보다 적은 작업 모드로 낮추도록 사용자에게 알려줌으로써, 동일 작업에 대해 굴삭기의 연비를 절감할 수 있다. 도 7과 같은 것을 파워 쉬프트 제어라고 한다.The control unit 440 confirms the current operation mode of the excavator and determines whether the optimum discharge pressure is being used in the current operation mode of the excavator (S561). If the excavator does not use the optimum discharge pressure (that is, RPM) in the current operation mode, the controller 440 calculates the optimum discharge pressure based on data such as the discharge amount and the discharge pressure (S562). As a result of the calculation of step S562, the control unit 440 determines whether or not the operation guide information to be recommended (for example, the recommendation operation mode, the current RPM of the excavator, the recommendation of the excavator, RPM, or work efficiency evaluation, etc.) on the HUD display 410 (S563). For example, as shown in Fig. 7, since the discharge pressure can be lowered for the specific discharge amount in S560, by informing the user to lower the work load to the work mode less than the set work mode, The fuel consumption of the excavator can be reduced. 7 is referred to as power shift control.

이하, 작업자의 시야에 따라 HUD 디스플레이의 화면을 표시하는 과정(S570)을 설명한다.Hereinafter, the process of displaying the screen of the HUD display according to the view of the operator (S570) will be described.

한편, 제어부(440)는 작업자의 눈동자에 포커싱하여 추적하는 추적 카메라(420)로부터 이미지를 받아, 작업자가 캐빈 내를 응시하고 있는지 또는 캐빈 창 넘어 작업영역을 응시하고 있는지 판단한다(S571). 상기 S571 단계에서 작업자가 캐빈 내를 응시하는 것으로 판단되면, 이는 HUD 디스플레이의 화면을 확인하는 것일 수 있으므로, 화면을 뚜렷하게 표시하도록 상기 제어부(440)가 HUD 디스플레이를 제어한다(S572). 반면, 상기 S571 단계에서 작업자가 캐빈 밖의 작업 영역을 응시하는 것으로 판단되면, 이는 HUD 디스플레이의 화면을 확인하는 것이 아니라 작업영역을 응시하는 것이므로, 화면을 흐리게 표시하도록 상기 제어부(440)가 HUD 디스플레이를 제어한다(S573). 상기 S572 및 S573 단계는 알파블랜딩(alphablending)기술을 이용하여, HUD 디스플레이에 표시될 화면의 투명도를 조절하여 흐리게 또는 뚜렷하게 표시하는 것이다.Meanwhile, the control unit 440 receives the image from the tracking camera 420 focusing on the pupil of the worker, and determines whether the worker is staring in the cabin or gazing at the work area beyond the cabin window (S571). If it is determined in step S571 that the operator is looking into the cabin, it may be checking the screen of the HUD display, so the controller 440 controls the HUD display to clearly display the screen (S572). On the other hand, if it is determined in step S571 that the operator is looking at a work area outside the cabin, the control unit 440 controls the HUD display to blur the screen, (S573). The steps S572 and S573 use an alpha blending technique to adjust the transparency of the screen to be displayed on the HUD display to display blurred or clear images.

한편, 제어부(440)는 AVM 시스템(430)가 감지한 작업 영역의 정보를 받아 HUD 디스플레이 화면에 표시한다(S580). 이때, 도 8과 같이, 캐빈의 측면 창의 HUD 디스플레이에 AVM 관련 정보를 표시함으로써, 작업자가 안전하게 굴삭기 작업을 할 수 있다. 상기 AVM 관련 정보 표시는, 예를 들어 캐빈 좌측 창은 "물체없음 스윙가능", 캐빈 우측 창은 "물체감지 스윙주의"라고 표시할 수 있으나 표시 정보 및 표시 위치는 이에 한정되지 않으며 자유롭게 구현할 수 있다.On the other hand, the control unit 440 receives the information of the work area detected by the AVM system 430 and displays it on the HUD display screen (S580). At this time, the AVM related information is displayed on the HUD display of the side window of the cabin, as shown in FIG. 8, so that the worker can safely work the excavator. In the AVM related information display, for example, the cabin left window can display "no object swing possible" and the cabin right window can display "object detection swing caution", but the display information and the display position are not limited thereto and can be freely implemented .

도 9는 본 발명의 또 다른 실시 예로서, 본 발명에 따른 건설기계의 디스플레이 장치가 작업 가이드 정보를 디스플레이하는 방법을 도시한 흐름도이다. 도 9의 실시 예는 건설기계가 휠로더인 경우에 작업 가이드를 제공하는 디스플레이 방법이다.9 is a flowchart illustrating a method of displaying a job guide information by a display device of a construction machine according to another embodiment of the present invention. The embodiment of Figure 9 is a display method that provides a work guide when the construction machine is a wheel loader.

도 10은 본 발명의 일 실시 예로서, 휠로더의 마력 제어를 도시한 그래프이다. 10 is a graph showing horsepower control of a wheel loader as an embodiment of the present invention.

도 11은 본 발명의 일 실시 예로서, 건설기계의 캐빈 창에 작업 정보를 표시한 일 예이다.11 is an example of displaying job information on a cabin window of a construction machine according to an embodiment of the present invention.

이하, 도 4와, 도 9 내지 도 11을 참조하여 본 발명의 일 실시예에 따른 건설기계의 디스플레이 장치가 작업 가이드 정보를 디스플레이하는 방법을 설명한다.Hereinafter, a method of displaying the operation guide information by the display device of the construction machine according to the embodiment of the present invention will be described with reference to FIG. 4 and FIG. 9 to FIG.

건설기계의 시동을 켜면, 기본적으로 계기판(14)이 표시된다(S910). When the start-up of the construction machine is turned on, the instrument panel 14 is basically displayed (S910).

제어부(440)는 콘트롤러 유닛(예를 들어, VCU)으로부터 차량 정보를 전송받아, HUD 디스플레이에 표시한다(S920). 또한, 제어부(440)는 조도 센서(430)으로부터 캐빈 내의 밝기 정보를 전송받아, 캐빈 내의 밝기에 따라 디스플레이 RGB 계산을 하고 최적 밝기로 HUD 디스플레이에 화면이 표시되도록 HUD 디스플레이를 제어한다(S930).The control unit 440 receives the vehicle information from the controller unit (for example, the VCU) and displays it on the HUD display (S920). In addition, the controller 440 receives the brightness information in the cabin from the illuminance sensor 430, performs display RGB calculation according to the brightness in the cabin, and controls the HUD display so that the screen is displayed in the HUD display in the optimal brightness (S930).

제어부(440)는 건설기계 차량의 슬립(slip) 현상이 발생(토출압력이 최대가 될 때 발생한다)되기 전에 작업자에게 작업 가이드 정보 및/또는 피드백 정보를 제공한다(S940). 여기서, "작업 가이드 정보"란 현재 작업자가 진행하고 있는 작업에 대한 최적의 '작업 모드(예를 들어, 파워모드, 이코노미 모드 등)', 또는 '작업 효율 평가(예를 들어, 도 11에서 "ECO 작업효율이 나쁩니다")', 최적의 작업모드를 위한 '추천 RPM'(도 11에서 HUD 디스플레이 표시 참조) 등이다. 또한, 여기서 "피드백 정보"란, 예를 들어 작업자가 현재 진행 중인 작업에 대한 평가일 수도 있고, 또는 변경한 작업 모드의 작업 평가일 수도 있다.The control unit 440 provides the operation guide information and / or the feedback information to the operator before the slip phenomenon of the construction machine vehicle occurs (when the discharge pressure becomes maximum) (S940). Here, the "job guide information" refers to an optimal 'work mode (for example, power mode, economy mode, etc.)' or 'work efficiency evaluation (for example, ECO working efficiency is poor "), and 'Recommended RPM' (see HUD display in FIG. 11) for optimum working mode. Here, the "feedback information" may be, for example, an evaluation of the work currently being performed by an operator, or a work evaluation of the changed work mode.

이하, 상기 S940 단계를 더욱 상세히 설명한다. Hereinafter, step S940 will be described in more detail.

휠로더는 디깅(digging) 작업 시, 주행 1단으로 트랜스 미션을 설정하고, 최대한 흙에 차량을 밀어붙인 후 리프트(lift) 작업을 실시한다. 그런데, 최대 부하를 넘어섰음에도 작업자가 페달을 밟게되는 경우, 차량 바퀴에 슬립(slip)이 생겨서 그 만큼의 연비손실을 초래한다. 상기 S940 단계는 차량의 최대 부하로 슬립 현상이 발생되기 직전(즉, 최대 토출압력이 발생되는 시점)에 작업자에게 작업 가이드 정보를 제공하는 과정이다. 즉, 상기 S940 단계는 휠로더의 토출압력이 최대가 도달했을 때 이를 탐지하여, "전진 토출압력"을 "붐업(boom up) 토출압력"으로 자동전환(일명, 'CCO 기능'이라 함)시켜서, 최대 토출압력을 다음 작업에 이용하고, 작업자에게 붐업을 유도하는 것이다.During digging, the wheel loader sets the transmission to the first stage, pushes the vehicle to the maximum extent, and lifts the vehicle. However, if the operator steps on the pedal even after exceeding the maximum load, a slip is generated in the wheel of the vehicle, resulting in a corresponding loss of fuel consumption. In operation S940, the operation guide information is provided to the operator immediately before the slip phenomenon occurs at the maximum load of the vehicle (i.e., when the maximum discharge pressure is generated). That is, the step S940 detects when the discharge pressure of the wheel loader reaches the maximum, automatically switches the "forward discharge pressure" to the "boom up discharge pressure" (aka "CCO function"), The maximum discharge pressure is used for the next operation, and the worker is induced to boom up.

즉, 제어부(440)는 휠로더가 주행 1단으로 셋팅되어 있는지 탐지(확인)한다(S941). That is, the control unit 440 detects (verifies) whether the wheel loader is set to the first-run mode (S941).

휠로더가 주행 1단으로 셋팅되어 있는 것을 제어부(440)가 탐지하면, 휠로더의 현재 토출압력이 최대인지를 확인하고(S942), 휠로더가 현재 토출압력이 최대가 아니면, "CCO 기능"를 작동한다(S943). 그리고, 제어부(440)는 "CCO 기능"이 작동되면, HUD 디스플레이(410)에 작업자에게 붐업 요청을 알리는 정보(또는 메시지)를 표시한다(S944).If the control unit 440 detects that the wheel loader is set to the first driving mode, it is checked whether the current discharge pressure of the wheel loader is the maximum (S942). If the wheel loader does not have the maximum discharge pressure, the "CCO function" (S943). When the "CCO function" is activated, the control unit 440 displays information (or message) informing the operator of the boomup request to the HUD display 410 (S944).

이하, 작업자의 시야에 따라 HUD 디스플레이의 화면을 표시하는 과정(S950)을 설명한다.Hereinafter, a process of displaying the screen of the HUD display (S950) according to the view of the operator will be described.

한편, 제어부(440)는 작업자의 눈동자에 포커싱하여 추적하는 추적 카메라(420)로부터 이미지를 받아, 작업자가 캐빈 내를 응시하고 있는지 또는 캐빈 창 넘어 작업영역을 응시하고 있는지 판단한다(S951). 상기 S951 단계에서 작업자가 캐빈 내를 응시하는 것으로 판단되면, 이는 HUD 디스플레이의 화면을 확인하는 것일 수 있으므로, 화면을 뚜렷하게 표시하도록 상기 제어부(440)가 HUD 디스플레이를 제어한다(S952). 반면, 상기 S951 단계에서 작업자가 캐빈 밖의 작업 영역을 응시하는 것으로 판단되면, 이는 HUD 디스플레이의 화면을 확인하는 것이 아니라 작업영역을 응시하는 것이므로, 화면을 흐리게 표시하도록 상기 제어부(440)가 HUD 디스플레이를 제어한다(S953). 상기 S952 및 S953 단계는 알파블랜딩(alphablending)기술을 이용하여, HUD 디스플레이에 표시될 화면의 투명도를 조절하여 흐리게 또는 뚜렷하게 표시하는 것이다.In operation S951, the control unit 440 receives an image from the tracking camera 420 focusing on the pupil of the worker, and determines whether the worker is looking into the cabin or gazing over the work area beyond the cabin window. If it is determined in step S951 that the operator is looking into the cabin, the control unit 440 controls the HUD display to clearly display the screen because it may be to check the screen of the HUD display (S952). On the other hand, if it is determined in step S951 that the worker is looking at a work area outside the cabin, the control unit 440 controls the HUD display to blur the screen, (S953). In steps S952 and S953, the alpha blending technique is used to adjust the transparency of the screen to be displayed on the HUD display to display blurred or clear images.

한편, 제어부(440)는 AVM 시스템(430)이 감지한 작업 영역의 정보를 받아 HUD 디스플레이 화면에 표시한다(S960). On the other hand, the control unit 440 receives the information of the work area detected by the AVM system 430 and displays it on the HUD display screen (S960).

한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM,

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라, 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

Claims (8)

작업 모드 정보, 작업 피드백 정보, 작업효율 정보 및 작업 가이드 정보 중에서 적어도 하나의 정보를 선택받는 단계; 및
상기 선택된 적어도 하나의 정보를 차량 HUD(Head up display)에 표시하는 단계
를 포함하는 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법.Receiving at least one piece of information from the operation mode information, the operation feedback information, the operation efficiency information, and the operation guide information; And
Displaying the selected at least one information on a vehicle HUD (Head Up Display)
Wherein the display device is a display device. 제1항에 있어서,
차량 내부의 조도를 측정하여 측정한 조도에 따라 디스플레이 RGB 계산을 하여 HUD 화면에 표시하는 단계; 및
작업자의 눈동자를 포커싱하여 추적하여 작업자의 눈동자 포커싱에 따라, HUD 화면을 흐리게 또는 선명하게 표시하는 단계를 더 포함하는 것을 특징으로 하는 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법.The method according to claim 1,
Measuring the illuminance inside the vehicle, calculating the display RGB according to the measured illuminance, and displaying it on the HUD screen; And
The method of claim 1, further comprising the step of focusing and tracking the pupil of the operator to display the HUD screen in a blurred or sharp manner according to focusing of the pupil of the operator. 제1항에 있어서, 상기 HUD에 표시하는 단계는,
현재 작업 모드와 적합한 토출압력이 사용되는지를 확인하는 단계;
상기 확인 결과 현재 작업 모드와 토출압력이 적합하지 않는 경우, 작업 모드를 낮추거나 높이기 위해 토출압력을 계산하는 단계; 및
상기 계산한 토출압력에 따라 추천할 작업 모드 정보를 HUD에 표시하는 단계를 포함하는 것을 특징으로 하는 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법.The method of claim 1, wherein the step of displaying on the HUD comprises:
Confirming whether the current working mode and a suitable discharge pressure are used;
Calculating a discharge pressure to lower or raise the operation mode when the current operation mode and the discharge pressure are not suitable; And
And displaying the recommended operation mode information on the HUD in accordance with the calculated discharge pressure. 제1항에 있어서, 상기 HUD에 표시하는 단계는,
차량이 전진 주행 1 단으로 셋팅되어 있는지 탐색하는 단계;
상기 차량이 전진 주행 1 단으로 셋팅된 경우, 현재 작업이 최대 토출압력인지 확인하는 단계;
상기 확인 결과, 현재 작업이 전진 주행 1단 및 최대 토출압력인 경우, 전진 토출압력을 붐업(boom up) 토출압력으로 자동 전환시키는 단계; 및
상기 자동 전환을 HUD에 표시하여 사용자에게 작업 가이드하는 단계를 포함하는 것을 특징으로 하는 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법.The method of claim 1, wherein the step of displaying on the HUD comprises:
Searching for whether the vehicle is set to the forward driving first stage;
Confirming that the current operation is the maximum discharge pressure when the vehicle is set to the forward drive first stage;
Automatically switching the forward discharge pressure to a boom up discharge pressure when the present operation is the first forward travel and the maximum discharge pressure; And
And displaying the automatic switching on the HUD to guide the user to the operation guidance. 제1항에 있어서, 상기 HUD에 표시하는 단계는,
AVM(around view monitoring) 시스템을 통하여 작업 주변의 상황에 대한 정보를 수집하는 단계; 및
상기 수집한 정보를 상기 HUD에 표시하는 단계를 더 포함하는 것을 특징으로 하는 HUD를 이용한 건설기계의 작업을 가이드하는 디스플레이 방법.The method of claim 1, wherein the step of displaying on the HUD comprises:
Collecting information about a situation around the work through an AVM (around view monitoring) system; And
And displaying the collected information on the HUD. A method of displaying a guide for a work of a construction machine using a HUD. 차량의 적어도 일면의 창에 장착된 HUD(head up display)와;
차량 창에 장착되어 작업자의 눈동자를 포커싱하며 추적하는 추적 카메라와;
상기 HUD의 밝기를 조정하기 위해 차량 내부의 밝기를 측정하는 조도 센서와;
작업 환경 주변의 상황 물체를 감지하고 경고하는 AVM(Around View Monitoring) 시스템과;
상기 조도 센서로부터 밝기 정보를 제공받아 오토 RGB 기능을 수행하고, 상기 추적 카메라로부터 작업자의 이미지를 받아 이미지 처리하여 작업자의 눈동자를 판별하고, 상기 판별한 사용자의 눈동자의 초점에 따라 알파블렌딩(alphablending)하여 상기 HUD에 화면을 표시하도록 제어하고, 작업 중인 토출량과 토출압력을 측정하여 적합한 작업 모드를 가이드하고 작업의 피드백 정보를 제공하는 제어부;를 포함하는 것을 특징으로 하는 HUD를 이용한 건설기계의 디스플레이 장치.A head up display (HUD) mounted on a window of at least one side of the vehicle;
A tracking camera mounted on the vehicle window for focusing and tracking the pupil of the operator;
An illuminance sensor for measuring the brightness of the inside of the vehicle to adjust the brightness of the HUD;
An AVM (Around View Monitoring) system for detecting and warning a situation object around the working environment;
An auto-RGB function is performed by receiving the brightness information from the illuminance sensor, an image of an operator is received from the tracking camera, an image is processed to discriminate a pupil of an operator, and alphablending is performed according to the focus of the user's pupil. And a control unit for controlling the display unit to display a screen on the HUD and measuring a discharge amount and a discharge pressure during operation to guide a suitable operation mode and provide feedback information on the operation. . 제6항에 있어서, 상기 제어부는
차량의 최대 부하로 슬립 현상이 발생되기 직전, 최대 토출압력을 탐지하고, 전진 토출압력을 붐업(boom up) 토출압력으로 자동전환하고,
상기 자동전환을 HUD에 표시하는 것을 특징으로 하는 HUD를 이용한 건설기계의 디스플레이 장치.7. The apparatus of claim 6, wherein the control unit
Immediately before the slip phenomenon occurs at the maximum load of the vehicle, the maximum discharge pressure is detected, the forward discharge pressure is automatically switched to the boom up discharge pressure,
And the automatic switching is displayed on the HUD. 제6항에 있어서, 상기 제어부는
차량의 현재 작업 모드에서 토출압력이 최대로 사용되는지를 확인하고,
차량의 현재 작업 모드에서 토출압력이 최대가 아닐 때, 작업 모드를 낮추기 위해 토출압력을 계산하고,
상기 계산한 토출압력에 따라 추천할 작업 모드를 상기 HUD에 표시하는 것을 특징으로 하는 HUD를 이용한 건설기계의 디스플레이 장치.7. The apparatus of claim 6, wherein the control unit
It is checked whether the discharge pressure is used at the maximum in the current operation mode of the vehicle,
Calculating the discharge pressure to lower the working mode when the discharge pressure is not at maximum in the current working mode of the vehicle,
And displays a recommended operation mode on the HUD according to the calculated discharge pressure.
KR1020120152920A 2012-12-26 2012-12-26 Apparatus for displaying work prosedure guide of construction equipment using head up display and method thereof KR102004000B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120152920A KR102004000B1 (en) 2012-12-26 2012-12-26 Apparatus for displaying work prosedure guide of construction equipment using head up display and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120152920A KR102004000B1 (en) 2012-12-26 2012-12-26 Apparatus for displaying work prosedure guide of construction equipment using head up display and method thereof

Publications (2)

Publication Number Publication Date
KR20140084409A true KR20140084409A (en) 2014-07-07
KR102004000B1 KR102004000B1 (en) 2019-07-25

Family

ID=51734287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120152920A KR102004000B1 (en) 2012-12-26 2012-12-26 Apparatus for displaying work prosedure guide of construction equipment using head up display and method thereof

Country Status (1)

Country Link
KR (1) KR102004000B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170004526A (en) * 2015-07-03 2017-01-11 두산인프라코어 주식회사 Wearable device for guidance of construction machinery and method of displaying work informations using the same
WO2018026187A1 (en) * 2016-08-02 2018-02-08 주식회사 두산 Industrial vehicle work guide system
WO2018224160A1 (en) * 2017-06-09 2018-12-13 Volvo Construction Equipment Ab An information system for a working machine
KR20180133864A (en) * 2016-04-04 2018-12-17 리미티드 라이어빌리티 컴퍼니 “탑콘 포지셔닝 시스템” Method and system for augmented reality display on a vehicle windscreen
WO2018228669A1 (en) * 2017-06-13 2018-12-20 Volvo Construction Equipment Ab A working machine provided with an image projection arrangement
EP3705334A1 (en) * 2019-03-07 2020-09-09 Deutsche Post AG Vehicle with display device
WO2023153722A1 (en) * 2022-02-08 2023-08-17 현대두산인프라코어(주) Transparent display-based work assistance method and device for construction machinery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06156119A (en) * 1992-11-18 1994-06-03 Kansei Corp Head-up display device for construction machine
KR100976357B1 (en) * 2001-12-12 2010-08-18 아이툴스 Techniques for facilitating use of eye tracking data
JP2011111123A (en) * 2009-11-30 2011-06-09 Honda Motor Co Ltd Display device for vehicle
US20110206239A1 (en) * 2008-03-12 2011-08-25 Denso Corporation Input apparatus, remote controller and operating device for vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06156119A (en) * 1992-11-18 1994-06-03 Kansei Corp Head-up display device for construction machine
KR100976357B1 (en) * 2001-12-12 2010-08-18 아이툴스 Techniques for facilitating use of eye tracking data
US20110206239A1 (en) * 2008-03-12 2011-08-25 Denso Corporation Input apparatus, remote controller and operating device for vehicle
JP2011111123A (en) * 2009-11-30 2011-06-09 Honda Motor Co Ltd Display device for vehicle

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170004526A (en) * 2015-07-03 2017-01-11 두산인프라코어 주식회사 Wearable device for guidance of construction machinery and method of displaying work informations using the same
KR20180133864A (en) * 2016-04-04 2018-12-17 리미티드 라이어빌리티 컴퍼니 “탑콘 포지셔닝 시스템” Method and system for augmented reality display on a vehicle windscreen
WO2018026187A1 (en) * 2016-08-02 2018-02-08 주식회사 두산 Industrial vehicle work guide system
KR20180014938A (en) * 2016-08-02 2018-02-12 주식회사 두산 Work guide system for a work vehicle
US11434845B2 (en) 2016-08-02 2022-09-06 Doosan Industrial Vehicle Co., Ltd. Industrial vehicle work guide system
CN109937294B (en) * 2016-08-02 2022-05-10 斗山产业车辆株式会社 Industrial vehicle operation guidance system
CN109937294A (en) * 2016-08-02 2019-06-25 株式会社斗山 Industrial vehicle task instruction system
EP3492727A4 (en) * 2016-08-02 2019-08-14 Doosan Corporation Industrial vehicle work guide system
CN110741124A (en) * 2017-06-09 2020-01-31 沃尔沃建筑设备公司 Information system for construction machine
CN110741124B (en) * 2017-06-09 2022-07-15 沃尔沃建筑设备公司 Information system for construction machine
WO2018224160A1 (en) * 2017-06-09 2018-12-13 Volvo Construction Equipment Ab An information system for a working machine
US11874659B2 (en) 2017-06-09 2024-01-16 Volvo Construction Equipment Ab Information system for a working machine
WO2018228669A1 (en) * 2017-06-13 2018-12-20 Volvo Construction Equipment Ab A working machine provided with an image projection arrangement
EP3705334A1 (en) * 2019-03-07 2020-09-09 Deutsche Post AG Vehicle with display device
CN111665628A (en) * 2019-03-07 2020-09-15 德国邮政股份公司 Carrier with display device
US11529872B2 (en) 2019-03-07 2022-12-20 Deutsche Post Ag Vehicle with display device
WO2023153722A1 (en) * 2022-02-08 2023-08-17 현대두산인프라코어(주) Transparent display-based work assistance method and device for construction machinery

Also Published As

Publication number Publication date
KR102004000B1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
KR102004000B1 (en) Apparatus for displaying work prosedure guide of construction equipment using head up display and method thereof
JP4480755B2 (en) Head-up display device for vehicle
KR102256384B1 (en) Peripheral monitoring system for working machines
JP6272375B2 (en) Display control device for vehicle
JP6241235B2 (en) Vehicle driving support device
JP6264037B2 (en) Vehicle information display device and vehicle information display method
JP2017170933A (en) Vehicle display control device
CN108368694B (en) Work vehicle and display control method
KR100682104B1 (en) A vision recognition support device
US10942351B2 (en) Work vehicle and display control method
CN108291390B (en) Work vehicle and work vehicle control method
EP3739131B1 (en) Construction machine
WO2018123001A1 (en) Work vehicle and work vehicle control system
JP6085275B2 (en) Head-up display device
JP2006336275A (en) Display device for construction machine
CN108291389B (en) Work vehicle and work vehicle control method
CN113631411B (en) Display control device, display control method, and recording medium
KR20140080789A (en) Method for display in vehicle using head up display and apparatus thereof
JP2018090223A (en) Display device for vehicle
EP3296166A1 (en) Vehicular visual recognition device
JP2013002101A (en) Visual field auxiliary device for work machine
JP2016022919A (en) Head-up display device and vehicle
KR101896778B1 (en) Apparatus for displaying lane using outside mirror and method thereof
JP2013244787A (en) Driving support display device to rear window
US20180363273A1 (en) Work vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right