KR101859229B1 - Apparatus and method for displaying operation guide information of construction equipment - Google Patents

Apparatus and method for displaying operation guide information of construction equipment Download PDF

Info

Publication number
KR101859229B1
KR101859229B1 KR1020110136962A KR20110136962A KR101859229B1 KR 101859229 B1 KR101859229 B1 KR 101859229B1 KR 1020110136962 A KR1020110136962 A KR 1020110136962A KR 20110136962 A KR20110136962 A KR 20110136962A KR 101859229 B1 KR101859229 B1 KR 101859229B1
Authority
KR
South Korea
Prior art keywords
image
construction machine
guide information
processing unit
operation guide
Prior art date
Application number
KR1020110136962A
Other languages
Korean (ko)
Other versions
KR20130069912A (en
Inventor
김지훈
Original Assignee
두산인프라코어 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 두산인프라코어 주식회사 filed Critical 두산인프라코어 주식회사
Priority to KR1020110136962A priority Critical patent/KR101859229B1/en
Publication of KR20130069912A publication Critical patent/KR20130069912A/en
Application granted granted Critical
Publication of KR101859229B1 publication Critical patent/KR101859229B1/en

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 건설기계의 주행이나 작업 중에 건설기계의 프론트 작업장치 또는 적재물을 포함한 프론트 작업장치에 의해 가려지는 전방의 시야를 실시간으로 영상 처리하여 표시하고 표시한 영상에 작업 가이드 정보를 함께 표시하여 건설기계의 작업 중 미연에 사고를 방지하고 작업 효율을 높일 수 있는 건설기계의 작업 가이드 정보 표시 장치 및 방법을 제공한다.
The present invention relates to a method and apparatus for displaying a front view of a front view, which is obscured by a front work device of a construction machine or a front work device including a load, during real operation or construction of a construction machine, Provided is an operation guide information display apparatus and method of a construction machine capable of preventing accidents during operation of a machine and improving work efficiency.

Description

건설기계의 작업 가이드 정보 표시 장치 및 방법{APPARATUS AND METHOD FOR DISPLAYING OPERATION GUIDE INFORMATION OF CONSTRUCTION EQUIPMENT}TECHNICAL FIELD [0001] The present invention relates to an information display apparatus,

본 발명은 건설기계에 관한 것으로, 건설기계의 주행이나 작업 중에 건설기계의 프론트 작업장치 또는 적재물을 포함한 프론트 작업장치에 의해 가려지는 전방 시야를 실시간으로 영상 처리하여 표시함과 동시에 작업 가이드 정보를 표시함으로써 작업자의 작업 중 사고를 방지하고 작업 효율을 증대시킬 수 있는 건설기계의 작업 가이드 정보 표시 장치 및 방법에 관한 것이다.[0001] The present invention relates to a construction machine, which displays a front view hidden by a front work device including a front work device of a construction machine or a load during operation or operation of the construction machine, And more particularly, to a device and method for displaying information on a work guide of a construction machine capable of preventing accidents during work of a worker and increasing work efficiency.

일반적으로, 굴삭기, 휠로더, 지게차 등 건설에 쓰이는 건설기계를 운전할 때, 전방의 상황은 물론, 후방, 측방 등에 대한 시야확보가 매우 중요한 요소로 작용하고 있다.Generally, when driving a construction machine used for construction such as an excavator, a wheel loader, and a forklift, it is very important to secure the view of the front, the rear, and the side.

따라서, 작업자는 주행 또는 작업 중 전방의 시야를 확인하고, 또는 건설기계의 차체에 구비된 사이드 미러를 통해 후방이나 양측방의 상황을 확실하게 인지한 다음에 원하는 방향으로 건설기계를 주행하거나 작업을 수행하였다. Accordingly, the operator confirms the front view of the running or the work, recognizes the situation of the rear or both sides with the side mirror provided on the body of the construction machine, and then runs the construction machine in the desired direction or performs the work Respectively.

그런데, 건설기계를 주행 또는 작업하는 도중 건설기계의 프론트 작업장치를 상하로 이동하게 되면 이 프론트 작업장치에 의해 작업자의 전방 시야가 가려지게 된다. 더욱이, 프론트 작업장치에 적재물을 적재하는 경우에는 적재물을 포함한 프론트 작업장치에 의해 전방 시야가 더 많이 가려지는 사각지대가 생길 수 있다. However, when the front working device of the construction machine is moved up and down during traveling or working of the construction machine, the front working area of the worker is obscured by the front working device. Moreover, in the case of loading a load on the front working device, there can be a blind spot where the front working device including the load more obstructs the front view.

이로 인해, 건설기계의 주행 또는 작업 시 방해가 되어 사고가 발생할 문제점이 있다.As a result, there is a problem that the construction machine is disturbed when traveling or working, causing an accident.

본 발명은 이러한 문제점을 해결하기 위해서 도출된 것으로서, 건설기계의 프론트 작업장치 또는 적재물에 의해 가려지는 전방의 시야를 실시간으로 영상 처리하여 표시함과 동시에 작업 가이드 정보를 표시함으로써 작업자의 작업 중 사고를 방지하고 작업 효율을 증대시킬 수 있는 건설기계의 작업 가이드 정보 표시 장치 및 방법을 제공한다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made keeping in mind the above problems occurring in the prior art, and an object of the present invention is to provide an image processing apparatus and method, The present invention also provides an apparatus and method for displaying information on a work guide of a construction machine,

상기 기술적 과제를 달성하기 위한 본 발명의 프론트 작업장치를 가지는 건설기계의 작업 가이드 정보 표시 장치는, 건설기계에 장착되어 운전자의 전방 시야를 촬상하는 다수의 카메라; 상기 다수의 카메라를 통해 촬상한 영상들을 하나의 영상으로 합성하고 합성한 영상에서 프론트 작업장치 또는 적재물을 포함하는 프론트 작업장치의 이미지를 투명화 처리하는 실시간 영상 처리부; 상기 실시간 영상 처리부에서 처리된 영상을 디스플레이하는 표시부를 포함할 수 있다..According to an aspect of the present invention, there is provided a work guide information display apparatus for a construction machine having a front work device, including: a plurality of cameras mounted on a construction machine to image a forward view of a driver; A real-time image processing unit for synthesizing images captured through the plurality of cameras into a single image and transparentizing the image of the front working unit or the front working unit including the load in the synthesized image; And a display unit for displaying an image processed by the real-time image processing unit.

본 발명의 일례에 따르면, 상기 건설기계의 작업 가이드 정보 표시 장치는, 상기 건설기계에 장착되어 주행 및 작업 시 전방물체 및 지표면을 감지하는 다수의 센서; 상기 다수의 센서를 통해 감지된 데이터를 근거로 작업 가이드 정보를 생성하는 데이터 처리부; 상기 실시간 영상 처리부에서 처리된 영상과 상기 작업 가이드 정보를 함께 표시하는 표시부를 포함할 수 있다. According to an embodiment of the present invention, the operation guide information display device of the construction machine includes: a plurality of sensors mounted on the construction machine and sensing a forward object and an earth surface during traveling and work; A data processing unit for generating work guide information based on data sensed through the plurality of sensors; And a display unit for displaying the image processed by the real-time image processing unit and the operation guide information together.

본 발명의 일례에 따르면, 상기 데이터 처리부는 상기 작업 가이드 정보를 생성할 때 건설기계에 대한 동작 제어정보를 포함시켜 생성할 수 있다.According to an embodiment of the present invention, the data processing unit may include operation control information for the construction machine when generating the operation guide information.

본 발명의 일례에 따르면, 상기 투명화 처리는 프론트 작업장치 또는 적재물을 상기 합성한 영상에서 제거하거나, 반투명하게 처리하여 배경영상과 중첩되도록 하거나, 또는 외관의 아웃라인을 선 또는 점선으로 2차원적으로 표시하여 형태만을 식별 가능하도록 하는 방법을 이용한 것을 특징으로 한다.According to an embodiment of the present invention, the transparency processing may be performed by removing the front work unit or the load from the synthesized image, or performing the translucent processing so as to overlap the background image, or two-dimensionally outline the outline So that only the form can be identified.

한편, 상기 기술적 과제를 달성하기 위한 본 발명은 건설기계의 작업 가이드 정보 표시 방법에 있어서, 건설기계에 장착된 다수의 센서를 통해 주행 및 작업 시 전방물체 및 지표면을 감지하는 단계, 상기 건설기계에 장착된 다수의 카메라를 통해 상기 건설기계가 주행 또는 작업하는 전방의 상부 및 하부를 촬상하는 단계, 상기 감지된 데이터를 근거로 상기 건설기계의 주행 및 작업에 필요한 작업 가이드 정보를 생성하는 단계, 상기 촬상된 각 영상을 하나의 영상으로 합성하고 합성된 영상에 상기 건설기계의 프론트 작업장치 또는 적재물을 포함한 프론트 작업장치에 대한 이미지가 존재하면 해당 이미지를 투명화 처리하는 단계, 상기 해당 이미지가 투명화 처리된 영상과 상기 생성된 작업 가이드 정보를 함께 표시하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for displaying a work guide information of a construction machine, the method comprising the steps of sensing a front object and a ground surface during traveling and work through a plurality of sensors mounted on the construction machine, Imaging a top and a bottom of a front of the construction machine through a plurality of mounted cameras, generating operation guide information necessary for running and operation of the construction machine based on the sensed data, Synthesizing each captured image into one image, and if there is an image for a front working device of the construction machine or a front working device including a load on the combined image, transparentizing the corresponding image, And displaying the generated job guide information together with the image.

본 발명의 일례에 따르면, 상기 작업 가이드 정보를 생성하는 단계는 상기 건설기계의 위치 정보, 기어 정보, 속도, 버켓 높이, 적재 무게, 주행 모드를 포함한 동작 제어 정보를 더 포함하여 생성할 수 있다.According to an embodiment of the present invention, the step of generating the operation guide information may further include operation control information including position information of the construction machine, gear information, speed, bucket height, loading weight, and traveling mode.

상기한 본 발명에 따르면, 건설기계의 프론트 작업장치 또는 적재물을 포함한 프론트 작업장치에 의해 가려지는 전방의 시야를 실시간으로 영상 처리하여 표시함과 동시에 작업 가이드 정보를 표시함으로써 작업자의 작업 중 사고를 방지하고 작업 효율을 증대시킬 수 있는 효과가 있다. According to the present invention, the front view of the front side, which is covered by the front work device of the construction machine or the front work device including the load, is processed in real time and displayed, and the operation guide information is displayed, And the working efficiency can be increased.

도 1은 본 발명의 실시 예에 따른 건설기계의 작업 가이드 표시 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 실시 예에 따른 카메라 및 센서가 건설기계에 장착된 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 건설기계의 작업 가이드 표시 과정을 나타낸 순서도이다.
도 4는 본 발명의 실시 예 따른 도 3의 동작 과정을 설명하기 위한 예시도이다.FIG. 1 is a block diagram illustrating an operation guide display apparatus for a construction machine according to an embodiment of the present invention. Referring to FIG.
2 is a view showing an example in which a camera and a sensor according to an embodiment of the present invention are mounted on a construction machine.
3 is a flowchart illustrating a process of displaying a work guide of a construction machine according to an embodiment of the present invention.
FIG. 4 is an exemplary diagram illustrating an operation process of FIG. 3 according to an embodiment of the present invention.

이하, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 건설기계의 작업 가이드 표시 장치 및 방법에 대하여 상세히 설명한다.Hereinafter, an operation guide display apparatus and method of a construction machine according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 건설기계의 작업 가이드 정보 표시 장치를 나타낸 블록 구성도이다.FIG. 1 is a block diagram illustrating an operation guide information display apparatus for a construction machine according to an embodiment of the present invention. Referring to FIG.

건설기계의 작업 가이드 정보 표시 장치는 다수의 카메라(110), 실시간 영상 처리부(120), 저장부(130), 영상 인코딩부(140), 다수 개의 센서(150), 데이터 처리부(160) 및 표시부(170) 등을 포함한다.The operation guide information display apparatus of the construction machine includes a plurality of cameras 110, a real time image processing unit 120, a storage unit 130, a video encoding unit 140, a plurality of sensors 150, a data processing unit 160, (170) and the like.

다수의 카메라(110)는 건설기계가 주행하거나 작업하는 전방을 감시하기 위한 것으로, 건설기계의 전방 상부를 촬상하는 상부 카메라(110a) 및 건설기계의 전방 하부를 촬상하는 하부 카메라(110b)를 포함할 수 있다. The plurality of cameras 110 are for monitoring the forward running or working of the construction machine and include an upper camera 110a for imaging the front upper portion of the construction machine and a lower camera 110b for imaging the lower front portion of the construction machine can do.

이러한 상부 카메라(110a) 및 하부 카메라(110b)는 도 2에 도시한 것처럼 건설기계의 몸체(102) 상부 및 하부에 각각 장착되어 건설기계의 전방을 향해 촬상하도록 구비할 수 있다. 이 경우, 상부 카메라(110a) 및 하부 카메라(110b)는 초소형으로 구비할 수 있다.The upper camera 110a and the lower camera 110b may be mounted on the upper and lower portions of the body 102 of the construction machine, respectively, as shown in FIG. In this case, the upper camera 110a and the lower camera 110b may be miniature.

또한, 다수의 카메라(110)는 도면에 도시하지 않았으나, 건설기계의 전방, 후방, 좌측, 우측을 각각 촬상하는 전방 카메라, 후방 카메라, 좌측 카메라, 우측 카메라를 포함하여 구성될 수 있다. 이 경우, 다수의 카메라(110)는 건설기계의 전후좌우 4방위를 모두 촬상하므로, 주행 또는 작업시 모든 방위의 사각지대를 용이하게 감시할 수 있다. The plurality of cameras 110 may be configured to include a front camera, a rear camera, a left camera, and a right camera that image the front, rear, left, and right sides of the construction machine, respectively, In this case, since the plurality of cameras 110 pick up all the four directions of the front, back, right, and left sides of the construction machine, it is possible to easily observe the blind spots of all directions during traveling or work.

실시간 영상 처리부(120)는 다수의 카메라(110)로부터 전송되는 영상 즉, 상부 카메라(110a) 및 하부 카메라(110b)로부터 전송되는 제1 영상과 제2 영상을 하나의 영상으로 합성한다. The real-time image processing unit 120 synthesizes the images transmitted from the plurality of cameras 110, that is, the first image and the second image transmitted from the upper camera 110a and the lower camera 110b, into one image.

여기서, 제1 영상은 상부 카메라(110a)를 통해 전방의 상부를 초점으로 촬상한 영상이고, 제2 영상은 하부 카메라(110b)를 통해 전방의 하부를 초점으로 촬상한 영상이다. 따라서, 제1 영상과 제2 영상을 합성한 하나의 영상은 전방 시야의 모든 각도를 촬상한 영상이 된다. Here, the first image is an image obtained by focusing the upper portion of the front side through the upper camera 110a, and the second image is an image obtained by focusing the lower portion of the front side through the lower camera 110b. Therefore, one image obtained by combining the first image and the second image is an image of all the angles of the forward view.

이때, 제1 영상과 제2 영상이 전방으로부터 보여지는 실사의 중간 지점을 기준으로 상부 또는 하부를 촬상한 영상이면, 실시간 영상 처리부(120)는 제1 영상과 제2 영상을 각각 상하부에 배치하여 상하부가 일치하도록 매칭하는 것으로 합성할 수 있다. In this case, if the first image and the second image are the images of the upper portion or the lower portion based on the middle point of the real image viewed from the front, the real-time image processing unit 120 arranges the first image and the second image on the upper and lower portions, So that the upper and lower parts match.

그러나, 실제 카메라를 통해 정밀하게 전방의 중간 지점을 기준으로 상부 및 하부만 촬상하는 것이 어렵다. However, it is difficult to accurately capture only the upper and lower portions with respect to the intermediate point in the forward direction through the actual camera.

따라서, 상부 카메라(110a)와 하부 카메라(110b)가 촬상하는 시야각을 일부 중첩시켜, 상부 카메라(110a)를 통해 촬상한 제1 영상의 하부와 하부 카메라(110b)를 통해 촬상한 제2 영상의 상부가 중복되게 할 수 있다. 즉, 실시간 영상 처리부(120)에서 상부 카메라(110a) 및 하부 카메라(110b)로부터 인가받은 제1 영상과 제2 영상에서 중복되는 영상을 맞추어 제1 영상과 제2 영상을 실제 화면처럼 합성할 수 있다. 한편, 본 발명의 실시 예에서는 실시간 영상 처리부(120)가 다수의 카메라(110)를 통해 촬상된 영상을 합성하는 것으로 설명하였으나, 별도의 영상 합성부(미도시)를 통해 각각의 영상을 합성하는 것도 가능하다.Therefore, the viewing angles of the images captured by the upper camera 110a and the lower camera 110b are partially overlapped with each other so that the lower portion of the first image captured through the upper camera 110a and the second image captured through the lower camera 110b The upper part can be made redundant. That is, in the real-time image processing unit 120, the first and second images received from the upper camera 110a and the lower camera 110b are combined with the overlapped images in the second image to synthesize the first image and the second image, have. Meanwhile, in the embodiment of the present invention, the real-time image processing unit 120 synthesizes the images captured through the plurality of cameras 110, but it is also possible to combine the images through a separate image synthesizing unit It is also possible.

실시간 영상 처리부(120)는 합성된 하나의 영상에서 작업자의 시야를 가리는 프론트 작업장치(예컨대, 건설기계의 버켓(도 2의 104), 링크구조물(도 2의 106) 또는 포크 등을 포함하는 각종 어태치먼트) 또는 적재물을 포함한 프론트 작업장치의 이미지를 투명화 처리한다. 이때, 프론트 작업장치 또는 적재물에 대한 이미지는 사용 용도나 형상에 따라 그 종류가 다양할 수 있으므로 가능한 모든 이미지에 대한 정보를 저장부(130)에 저장해 두는 것이 바람직하다. 또한, 투명화 처리는 프론트 작업장치 또는 적재물을 합성된 영상에서 제거하거나, 반투명하게 처리하여 배경영상과 중첩되도록 하거나, 외관의 아웃라인을 선 또는 점선으로 2차원적으로 표시하여 형태만을 식별 가능하도록 하는 방법을 모두 포함한다. 구체적인 실시 방법으로는 알파 블렌딩(Alpha Blending) 기법 등을 이용하여 프론트 작업장치를 합성된 영상에서 제거시킬 수 있다. The real-time image processing unit 120 may include a front work unit (for example, a bucket (104 in FIG. 2), a link structure (106 in FIG. 2) Attachment) or a front work device including a load. At this time, since the image of the front work device or the load may vary according to the use purpose or the shape, it is preferable to store information on all possible images in the storage unit 130. [ In addition, the transparency processing may be performed by removing the front work device or the load from the synthesized image, or performing the translucent processing so as to overlap the background image, or two-dimensionally display the outline of the appearance line or dotted line so that only the shape can be identified Method. As a concrete implementation method, the front working device can be removed from the synthesized image by using an alpha blending technique or the like.

이러한 실시간 영상 처리부(120)는 합성 영상을 3차원 이미지로 렌더링하고 필요에 따라 작업자의 시야각이 위에서 내려다보는 것과 같은 영상으로 처리할 수 있다.The real-time image processing unit 120 may render the composite image as a three-dimensional image and process the image as if the viewing angle of the operator is looking down from above as needed.

저장부(130)는 본 발명의 실시 예에 따른 건설기계의 동작 제어에 필요한 각종 정보를 저장할 수 있다.The storage unit 130 may store various kinds of information necessary for controlling the operation of the construction machine according to the embodiment of the present invention.

영상 인코딩부(140)는 실시간 영상 처리부(120)에서 처리된 영상과 데이터 처리부(160)에서 생성된 작업 가이드 정보를 하나의 영상으로 인코딩하여 표시부(170)로 전달한다.The image encoding unit 140 encodes the image processed by the real-time image processing unit 120 and the operation guide information generated by the data processing unit 160 into one image and transmits the same to the display unit 170. [

다수의 센서(150)은 적어도 N개(N>1)의 센서로 구성될 수 있으며, 건설기계에 장착되어 주행 및 작업 시 전방의 물체 및 지표면을 감지하고 그 결과를 데이터 처리부(160)로 전달한다.The plurality of sensors 150 may be constituted by at least N sensors (N > 1), and may be mounted on a construction machine to detect an object and an earth surface ahead of the user during traveling and work and transmit the result to a data processing unit 160 do.

본 발명의 실시 예에서 센서가 건설기계에 장착되는 위치는 다수의 카메라(110)와 동일한 위치라고 가정하므로 이에 대한 자세한 설명은 생략하나, 이에 한정되지 않고 필요한 위치에 적절히 장착될 수 있다.In the embodiment of the present invention, the position where the sensor is mounted on the construction machine is assumed to be the same as that of the plurality of cameras 110, so a detailed description thereof will be omitted, but the present invention is not limited thereto.

데이터 처리부(160)는 다수의 센서(150)로부터 감지된 데이터를 근거로 작업 가이드 정보를 생성하고 생성된 작업 가이드 정보를 영상 인코딩부(140)로 전달한다. 상기 작업 가이드 정보는 전방 물체의 거리, 충돌여부, 예상주행영역, 해당 지역 진입 시 전복여부 등이 될 수 있다.The data processing unit 160 generates job guide information based on the data sensed by the plurality of sensors 150 and transmits the generated job guide information to the image encoding unit 140. The operation guide information may be a distance of a forward object, a collision state, a predicted travel area, a rollover in entering the area, and the like.

한편, 데이터 처리부(160)는 도 1에 도시하지는 않았으나 동작 제어부(미도시)로부터 건설기계의 작업정보를 나타내는 동작 제어 정보를 수신하는 경우, 이를 작업 가이드 정보에 포함시킬 수 있다. 동작 제어 정보의 예로는 현재시간, 위치정보, 기어정보, 속도, 버켓높이, 적재무게 및 주행모드 등을 들 수 있다.1, the data processing unit 160 may include operation control information indicating operation information of the construction machine from an operation control unit (not shown) in the operation guide information. Examples of motion control information include current time, position information, gear information, speed, bucket height, loading weight, and driving mode.

표시부(170)는 영상 인코딩부(140)에서 전달된 하나의 영상 즉, 작업자의 전방 시야를 가리는 이미지가 투명화 처리된 영상과 작업 가이드 정보를 함께 한 화면에 표시한다.The display unit 170 displays a single image transferred from the image encoding unit 140, that is, an image obtained by transparentizing an image for obscuring an operator's front view, and operation guide information together on a screen.

이러한 동작을 실시간으로 수행하면, 작업자는 프론트 작업장치에 적재물을 실어 상하로 움직이면서 작업하는 도중에도 마치 프론트 작업장치 또는 적재물을 포함한 프론트 작업장치가 없는 것과 같은 화면을 보게 되며, 동시에 전방물체와의 거리, 충돌여부, 예상주행영역, 건설기계의 동작 제어정보도 함께 볼 수 있으므로 작업 효율을 높일 수 있다.When such an operation is performed in real time, the operator places the load on the front work device and moves up and down to see the screen as if there is no front work device including the front work device or the load during the work and at the same time, , The collision state, the expected travel area, and the operation control information of the construction machine can be seen together, thereby improving the work efficiency.

도 3은 본 발명의 실시 예에 따른 건설기계의 작업 가이드 정보 표시 과정을 나타낸 순서도이다. 참고로, 도 1의 장치 구성을 참조하여 설명한다.3 is a flowchart illustrating a process of displaying operation guide information of a construction machine according to an embodiment of the present invention. Reference will be made with reference to the apparatus configuration of Fig.

건설기계는 주행 및 작업 시 다수의 센서(150)를 통해 전방물체 및 지표면을 감지한다(S110).The construction machine senses the front object and the ground surface through the plurality of sensors 150 during traveling and work (S110).

또한, 건설기계는 다수의 카메라(110)를 통해 건설기계가 주행 또는 작업하는 전방의 상부 및 하부를 촬상한다(S120).In addition, the construction machine picks up the upper and lower portions of the front where the construction machine runs or works through the plurality of cameras 110 (S120).

이후, 건설기계가 데이터 처리부(160)를 통해 다수의 센서(150)에서 감지된 데이터를 근거로 작업 가이드 정보를 생성한다(S130). 본 발명의 실시 예에서 작업 가이드 정보는 전방 물체의 거리. 해당 물체와의 충돌여부, 예상주행영역, 해당 지역 진입 시 전복여부 등이 될 수 있으나, 상기 작업 가이드 정보가 건설기계의 동작 제어정보까지 포함할 경우 현재시간, 위치정보, 기어정보, 속도, 버켓높이, 적재무게 및 주행모드 등의 정보를 더 포함한다.Thereafter, the construction machine generates the operation guide information based on the data sensed by the plurality of sensors 150 through the data processing unit 160 (S130). In the embodiment of the present invention, the operation guide information is the distance of the front object. The current time, the position information, the gear information, the speed, the bucket, and the like, when the operation guide information includes the operation control information of the construction machine. Height, load weight, running mode, and the like.

건설기계는 실시간 영상 처리부(120)를 통해 다수의 카메라(110)에서 촬상된 영상을 하나의 영상으로 합성한다(S340).The construction machine combines the images captured by the plurality of cameras 110 into a single image through the real-time image processing unit 120 (S340).

한편, 도 3에서는 다수의 센서(150)를 통해 전방물체와 지표면을 먼저 감지하고 다수의 카메라(110)를 통해 전방의 상부 및 하부를 촬상하는 것으로 설명하고 있으나, 이에 한정되는 것은 아니며, 카메라를 통한 영상 촬상과 센서를 통한 감지가 동시에 이루어지는 것이 바람직하다.3, the forward object and the ground surface are detected first through the plurality of sensors 150, and the upper and lower front images are captured through the plurality of cameras 110. However, the present invention is not limited thereto, It is preferable that image sensing through the sensor and detection through the sensor are simultaneously performed.

이후, 건설기계는 실시간 영상 처리부(120)에서 하나의 영상으로 합성된 영상에 시야를 가리는 이미지가 존재하는지 확인한다(S350). 시야를 가리는 이미지는 건설기계의 프론트 작업장치 또는 적재물을 포함하는 프론트 작업장치 또는 적재물 그 자체의 이미지가 될 수 있다.Thereafter, the construction machine determines whether there is an image that obscures the field of view of the image synthesized from the single image in the real-time image processing unit 120 (S350). The image obscuring the view may be the image of the front working device of the construction machine or the front working device including the load or the load itself.

확인 결과, 건설기계는 합성된 영상에 시야를 가리는 이미지가 존재하면 해당 이미지를 투명화 처리한다(S360). 투명화 처리는 앞서 언급한 바와 같이 하나의 영상으로 합성된 영상에 시야를 가리는 이미지를 제거하거나, 반투명하게 처리하여 배경영상과 중첩시키는 방법을 이용할 수 있다. 또는, 외관의 아웃라인을 선 또는 점선으로 2차원적으로 표시하여 외곽 형태만을 식별 가능하도록 하는 방법을 이용할 수 있다.If it is determined that there is an image that covers the field of view on the synthesized image, the construction machine transparentizes the image (S360). In the transparency processing, as described above, a method of superimposing a background image on an image synthesized with one image by eliminating an image that obscures the field of view or translucently processing can be used. Alternatively, a method of two-dimensionally displaying the outline of the appearance line or dotted line so that only the outline form can be identified can be used.

이후, 건설기계가 투명화 처리된 영상과 작업 가이드 정보를 표시부(170)에 함께 표시한다(S370).Thereafter, the construction machine displays the transparentized image and the operation guide information together on the display unit 170 (S370).

일 예로, 도 4에 건설기계의 표시부에 합성 영상과 작업 가이드 정보를 표시한 화면의 예를 도시하였다.For example, FIG. 4 shows an example of a screen displaying a composite image and operation guide information on a display unit of a construction machine.

도면부호 440은 건설기계의 프론트 작업장치 즉, 버켓의 이미지가 투명화 처리된 모습을 나타내며, 410은 건설기계의 현재 동작 제어정보(일시, 주행모드, 속도, 적재무게 등)를 나타낸다. Reference numeral 440 denotes a front work device of the construction machine, that is, an image of the bucket is transparentized, and reference numeral 410 denotes current operation control information (date and time, running mode, speed, load weight, etc.) of the construction machine.

430a는 물체(430)와 버켓 끝단 사이의 거리를 나타내며, 450는 전복 위험지역 지역을 나타내고, 420은 예상 주행도로를 나타낸다. Reference numeral 430a denotes a distance between the object 430 and an end of the bucket, 450 denotes a danger zone for overturning, and 420 denotes an expected travel road.

이처럼, 상기의 도 3 과정들을 통해 작업자가 건설기계를 이용하여 작업할 때, 작업자의 시야를 가리는 이미지를 투명화 처리한 영상과 작업 가이드 정보를 한 화면에서 볼 수 있으므로 작업 중 사고를 방지하고 작업 효율을 증대시킬 수 있다. 3, when the worker uses the construction machine, it is possible to view the image and the operation guide information of the worker's visualized image in a single screen, thereby preventing an accident while working, Can be increased.

이상 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand.

따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Therefore, it should be understood that the above-described embodiments are provided so that those skilled in the art can fully understand the scope of the present invention. Therefore, it should be understood that the embodiments are to be considered in all respects as illustrative and not restrictive, The invention is only defined by the scope of the claims.

110: 다수의 카메라 110a: 상부 카메라
110b: 하부 카메라 120: 실시간 영상 처리부
130: 저장부 140: 영상 인코딩부
150: 다수의 센서 160: 데이터처리부
170: 표시부110: multiple cameras 110a: upper camera
110b: lower camera 120: real time image processing unit
130: storage unit 140: video encoding unit
150: multiple sensors 160: data processor
170:

Claims (6)

건설기계의 작업 가이드 정보 표시 장치에 있어서,
상기 건설기계에 설치되어 상기 건설기계의 전방에서 상하로 이동하며 작업을 수행하는 프론트 작업장치;
상기 건설기계에 장착되어 운전자의 전방의 상부 및 하부를 촬상하는 다수의 카메라;
상기 다수의 카메라를 통해 촬상한 영상들을 하나의 영상으로 합성하고 합성한 영상에서 프론트 작업장치 또는 적재물을 포함하는 프론트 작업장치의 이미지를 투명화 처리하는 실시간 영상 처리부;
상기 건설기계의 주행 및 작업에 필요한 작업 가이드 정보를 생성하는 데이터 처리부;
상기 실시간 영상 처리부에서 투명화 처리된 영상과 상기 데이터 처리부에서 생성된 작업 가이드 정보를 하나의 영상으로 인코딩하는 영상 인코딩부 ; 및
상기 영상 인코딩부에서 인코딩된 영상을 디스플레이하는 표시부
를 포함하고,
상기 작업 가이드 정보는 상기 프론트 작업장치와 전방물체와의 거리에 대한 정보를 포함하는 것을 특징으로 하는 건설기계의 작업 가이드 정보 표시 장치.1. A work guide information display device for a construction machine,
A front work device installed on the construction machine and moving up and down in front of the construction machine to perform work;
A plurality of cameras mounted on the construction machine for imaging an upper portion and a lower portion of the front of the driver;
A real-time image processing unit for synthesizing images captured through the plurality of cameras into a single image and transparentizing the image of the front working unit or the front working unit including the load in the synthesized image;
A data processing unit for generating operation guide information necessary for traveling and operation of the construction machine;
A video encoding unit encoding the invisible image in the real time image processing unit and the operation guide information generated in the data processing unit into one image; And
A display unit for displaying an image encoded by the image encoding unit,
Lt; / RTI >
Wherein the operation guide information includes information on a distance between the front work unit and a forward object. 제1항에 있어서,
상기 건설기계에 장착되어 주행 및 작업 시 전방물체 및 지표면을 감지하는 다수의 센서;
를 더 포함하고,
상기 데이터 처리부는 상기 다수의 센서를 통해 감지된 데이터를 근거로 상기 작업 가이드 정보를 생성하고,
상기 작업 가이드 정보는 충돌여부, 예상주행영역, 예상주행영역 진입시 전복여부 중 어느 하나 이상을 더 포함하는 건설기계의 작업 가이드 정보 표시 장치.The method according to claim 1,
A plurality of sensors mounted on the construction machine and sensing forward objects and ground surfaces during traveling and work;
Further comprising:
The data processing unit may include a plurality of sensors, Job guide information,
Wherein the operation guide information further includes at least one of a collision state, a predicted traveling area, and a rollover state upon entering a predicted traveling area. 제2항에 있어서, 상기 데이터 처리부는
상기 작업 가이드 정보를 생성할 때 건설기계에 대한 동작 제어 정보를 포함시켜 생성하고, 상기 동작 제어정보는 건설기계의 위치 정보, 기어 정보, 속도, 버켓 높이, 적재 무게, 주행 모드 중 어느 하나 이상을 더 포함하는 것을 특징으로 하는 건설기계의 작업 가이드 정보 표시 장치.3. The apparatus of claim 2, wherein the data processing unit
Wherein the operation control information includes at least one of position information of the construction machine, gear information, speed, bucket height, load weight, and traveling mode Wherein the operation guide information display apparatus further comprises: 제1항에 있어서,
상기 투명화 처리는 프론트 작업장치 또는 적재물을 상기 합성한 영상에서 제거하거나, 반투명하게 처리하여 배경영상과 중첩되도록 하거나, 또는 외관의 아웃라인을 선 또는 점선으로 2차원적으로 표시하여 형태만을 식별 가능하도록 하는 방법을 이용하는 것을 특징으로 하는 건설기계의 작업 가이드 정보 표시 장치.The method according to claim 1,
The transparency processing may be performed so that the front work device or the load is removed from the synthesized image or is semi-transparently superimposed on the background image, or the outline of the appearance is two-dimensionally displayed by a line or a dotted line Wherein the operation guidance information display device is configured to use a method for displaying the operation guide information of the construction machine. 삭제delete 삭제delete
KR1020110136962A 2011-12-19 2011-12-19 Apparatus and method for displaying operation guide information of construction equipment KR101859229B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110136962A KR101859229B1 (en) 2011-12-19 2011-12-19 Apparatus and method for displaying operation guide information of construction equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110136962A KR101859229B1 (en) 2011-12-19 2011-12-19 Apparatus and method for displaying operation guide information of construction equipment

Publications (2)

Publication Number Publication Date
KR20130069912A KR20130069912A (en) 2013-06-27
KR101859229B1 true KR101859229B1 (en) 2018-05-17

Family

ID=48864828

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110136962A KR101859229B1 (en) 2011-12-19 2011-12-19 Apparatus and method for displaying operation guide information of construction equipment

Country Status (1)

Country Link
KR (1) KR101859229B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210093503A (en) 2020-01-20 2021-07-28 두산인프라코어 주식회사 System and method of controlling wheel loader
WO2023282595A1 (en) * 2021-07-08 2023-01-12 현대두산인프라코어 주식회사 Construction equipment control system and method
KR102556422B1 (en) 2022-12-12 2023-07-17 주식회사 브릴스 Apparatus for multi-layer circulation parts supply
KR102576673B1 (en) 2022-12-12 2023-09-08 (주)투비시스템 Method for augmented reality based task guidance
KR102576677B1 (en) 2022-12-12 2023-09-08 (주)투비시스템 Method for augmented reality based task verification
US12030719B2 (en) 2022-12-12 2024-07-09 Brils Co., Ltd. Multi-layered circulation type part feeding apparatus

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102235123B1 (en) * 2019-09-20 2021-04-02 주식회사 와이즈오토모티브 Apparatus for generating front image for heavy equipment
WO2021054756A1 (en) * 2019-09-20 2021-03-25 주식회사 와이즈오토모티브 Front image generation device for heavy equipment
WO2021054758A1 (en) * 2019-09-20 2021-03-25 주식회사 와이즈오토모티브 Front image generation device for construction equipment
KR20220030098A (en) * 2020-09-02 2022-03-10 현대두산인프라코어(주) Autonomous working excavator and operation method thereof
KR20220107537A (en) * 2021-01-25 2022-08-02 주식회사 와이즈오토모티브 Apparatus for generating front image for heavy equipment
US20230237806A1 (en) * 2022-01-24 2023-07-27 Caterpillar Inc. Object detection vision system
KR102578690B1 (en) * 2022-07-05 2023-09-18 에이치디현대건설기계 주식회사 Blind Spot Display Device for Construction Equipment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4694032B2 (en) * 2001-05-02 2011-06-01 株式会社小松製作所 Work machine display
JP2011234095A (en) * 2010-04-27 2011-11-17 Mazda Motor Corp Visual recognition support device for vehicle
KR101209796B1 (en) 2010-12-01 2012-12-10 현대자동차일본기술연구소 Display device for vehicle with foreground penetration function and display method of the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4694032B2 (en) * 2001-05-02 2011-06-01 株式会社小松製作所 Work machine display
JP2011234095A (en) * 2010-04-27 2011-11-17 Mazda Motor Corp Visual recognition support device for vehicle
KR101209796B1 (en) 2010-12-01 2012-12-10 현대자동차일본기술연구소 Display device for vehicle with foreground penetration function and display method of the same

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210093503A (en) 2020-01-20 2021-07-28 두산인프라코어 주식회사 System and method of controlling wheel loader
WO2023282595A1 (en) * 2021-07-08 2023-01-12 현대두산인프라코어 주식회사 Construction equipment control system and method
KR102556422B1 (en) 2022-12-12 2023-07-17 주식회사 브릴스 Apparatus for multi-layer circulation parts supply
KR102576673B1 (en) 2022-12-12 2023-09-08 (주)투비시스템 Method for augmented reality based task guidance
KR102576677B1 (en) 2022-12-12 2023-09-08 (주)투비시스템 Method for augmented reality based task verification
US12030719B2 (en) 2022-12-12 2024-07-09 Brils Co., Ltd. Multi-layered circulation type part feeding apparatus

Also Published As

Publication number Publication date
KR20130069912A (en) 2013-06-27

Similar Documents

Publication Publication Date Title
KR101859229B1 (en) Apparatus and method for displaying operation guide information of construction equipment
JP5529943B2 (en) Work vehicle periphery monitoring system and work vehicle
CN104584540B (en) The surroundings monitoring apparatus of Work machine
JP4951639B2 (en) Work machine with ambient monitoring device
JP4760831B2 (en) Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method
JP5667638B2 (en) Work machine periphery monitoring device
CN109691088B (en) Image processing apparatus, image processing method, and program
JP5546427B2 (en) Work machine ambient monitoring device
AU2015293229B2 (en) Surroundings display device for turning operation machine
JP5227841B2 (en) Ambient monitoring device
KR20130138227A (en) Perimeter surveillance device for work machine
CN107097721B (en) Driving support device
WO2016158265A1 (en) Working machine
JP6014664B2 (en) Display device for self-propelled industrial machine
JP5629740B2 (en) Work vehicle periphery monitoring system and work vehicle
WO2013038874A1 (en) Surroundings monitoring device for work machine
CN111868335B (en) Remote operation system and main operation device
JP5926315B2 (en) Work vehicle periphery monitoring system and work vehicle
JP2010059653A (en) Visual field assisting device of working machine
JP2013253402A (en) Surrounding monitoring device for work machine
JP2008240362A (en) Construction machine and method of guiding backward movement of construction machine
KR102007535B1 (en) Monitor display apparatus in construction machinery
JP5143481B2 (en) Monitoring equipment for construction machinery
JP2022072598A (en) Work vehicle display system and work vehicle display method
JP5823553B2 (en) Work vehicle periphery monitoring system and work vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)