KR102235125B1 - Apparatus for generating front image for construction equipment - Google Patents

Apparatus for generating front image for construction equipment Download PDF

Info

Publication number
KR102235125B1
KR102235125B1 KR1020190158374A KR20190158374A KR102235125B1 KR 102235125 B1 KR102235125 B1 KR 102235125B1 KR 1020190158374 A KR1020190158374 A KR 1020190158374A KR 20190158374 A KR20190158374 A KR 20190158374A KR 102235125 B1 KR102235125 B1 KR 102235125B1
Authority
KR
South Korea
Prior art keywords
front image
camera
image
construction equipment
vehicle body
Prior art date
Application number
KR1020190158374A
Other languages
Korean (ko)
Other versions
KR20210034449A (en
Inventor
박재홍
이정표
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Priority to PCT/KR2020/012606 priority Critical patent/WO2021054757A1/en
Publication of KR20210034449A publication Critical patent/KR20210034449A/en
Application granted granted Critical
Publication of KR102235125B1 publication Critical patent/KR102235125B1/en

Links

Images

Classifications

    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

제2 카메라의 이동에 따라 제1 카메라를 회전시켜 제1 카메라 및 제2 카메라가 동일한 시점을 유지하도록 한 건설장비용 전방 영상 생성 장치를 제시한다. 제시된 건설장비용 전방 영상 생성 장치는 건설장비의 제1 차체에 배치되어 제1 전방 영상을 생성하는 제1 카메라, 건설장비의 제2 차체에 배치되어 제2 전방 영상을 생성하는 제2 카메라, 제2 카메라의 이동에 따라 제1 카메라를 회전시키는 제1 카메라의 수평 방향 시점을 제2 카메라의 시점과 일치시키는 시점 제어기 및 제1 전방 영상 및 제2 전방 영상을 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함한다.A front image generating apparatus for construction equipment is provided in which a first camera is rotated according to a movement of a second camera so that the first camera and the second camera maintain the same viewpoint. The proposed front image generating device for construction equipment includes a first camera disposed on a first body of construction equipment to generate a first front image, a second camera disposed on a second body of construction equipment to generate a second front image, and a second camera. 2 A viewpoint controller that matches the horizontal viewpoint of the first camera that rotates the first camera according to the movement of the camera with the viewpoint of the second camera, and an image that synthesizes the first front image and the second front image to generate a synthesized front image Includes a processor.

Description

건설장비용 전방 영상 생성 장치{APPARATUS FOR GENERATING FRONT IMAGE FOR CONSTRUCTION EQUIPMENT}Front image generation device for construction equipment {APPARATUS FOR GENERATING FRONT IMAGE FOR CONSTRUCTION EQUIPMENT}

본 발명은 건설장비용 전방 영상 생성 장치에 관한 것으로, 더욱 상세하게는 휠 로더 등과 같이 작업시 전방을 확인하기 어려운 건설장비에서 전방 시야를 확보하기 위한 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치에 관한 것이다.The present invention relates to a front image generating device for construction equipment, and more particularly, a front image generating device for construction equipment that generates a front image for securing a front view in construction equipment such as wheel loaders that is difficult to check the front during work. It is about.

건설장비는 건설 현장에서 다양한 작업에 사용되는 장비로, 휠 로더, 포크레인 등을 예로 들 수 있다. 이때, 건설장비는 운전자의 전방에 대형 부품이 배치되는 경우가 많기 때문에 작업 중에 대형 부품에 의해 운전자의 전방 시야가 가려진다. 일례로, 휠 로더는 작업시 전방에서 승하강하는 버켓(bucket)에 의해 운전자의 전방 시야가 가려진다.Construction equipment is equipment that is used for various works on a construction site, for example, a wheel loader and a forklift. At this time, in construction equipment, since large parts are often arranged in front of the driver, the driver's front view is obscured by the large parts during work. For example, in the wheel loader, the driver's front view is obscured by a bucket that moves up and down from the front during work.

이처럼, 건설장비는 운전자의 전방 시야에 방해가 발생하기 때문에 작업 효율이 떨어지고, 다양한 형태의 안전사고가 발생할 가능성이 높아진다.In this way, construction equipment is more likely to cause various types of safety accidents because of the obstruction of the driver's front view.

한국등록특허 제10-1998300호(명칭: 작업환경 모니터링 장치 및 작업환경 모니터링 장치에서 수행되는 작업환경 모니터링 방법)Korean Patent Registration No. 10-1998300 (Name: working environment monitoring device and working environment monitoring method performed by the work environment monitoring device)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 제2 카메라의 회전에 따라 제1 카메라를 회전시켜 제1 카메라 및 제2 카메라가 동일한 시점을 유지하도록 한 건설장비용 전방 영상 생성 장치를 제공하는 것을 목적으로 한다.The present invention has been proposed to solve the above-described conventional problem, and a front image generating apparatus for construction equipment in which the first camera and the second camera maintain the same viewpoint by rotating the first camera according to the rotation of the second camera. It aims to provide.

시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비의 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치로서 건설장비의 제1 차체에 배치되어 제1 전방 영상을 생성하는 제1 카메라, 건설장비의 제2 차체에 배치되어 제2 전방 영상을 생성하는 제2 카메라, 제2 카메라의 이동에 따라 제1 카메라를 회전시키는 시점 제어기 및 제1 전방 영상 및 제2 전방 영상을 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함한다. 시점 제어기는 제1 카메라를 회전시켜 제1 카메라의 수평 방향 시점을 제2 카메라의 수평 방향 시점과 일치시킨다.It is a front image generating device for construction equipment that generates a front image of construction equipment in which a blind spot occurs in the front by a part that obstructs the field of view. It is placed on the first vehicle body of the construction equipment to generate a first front image. A second camera disposed on the second vehicle body to generate a second front image, a viewpoint controller that rotates the first camera according to the movement of the second camera, and a synthesized front image by synthesizing the first and second front images It includes an image processor. The viewpoint controller rotates the first camera so that the horizontal viewpoint of the first camera coincides with the horizontal viewpoint of the second camera.

제2 차체는 조향 축을 통해 제1 차체와 연결되고, 시점 제어기는 조향 축에서 건설장비의 상부 방향으로 연장되어 조향 축과 동일한 각도로 회전하는 연장 축을 포함하는 것을 일례로 한다. 이때, 연장 축은 조향 축에서 연장되어 조향 축과 동일 선상에 배치된 제1 카메라와 연결될 수 있다.As an example, the second vehicle body is connected to the first vehicle body through a steering shaft, and the viewpoint controller includes an extension shaft extending from the steering shaft in the upper direction of the construction equipment to rotate at the same angle as the steering shaft. In this case, the extension axis may extend from the steering axis and be connected to the first camera disposed on the same line as the steering axis.

제2 차체는 조향 축을 통해 제1 차체와 연결되고, 시점 제어기는 조향 축에서 건설장비의 상부 방향으로 연장되어 조향 축과 동일한 각도로 회전하는 세로 연장 축 및 세로 연장 축에서 건설장비의 가로 방향으로 연장된 가로 연장 축을 포함하는 것을 다른 일례로 한다. 이때, 가로 연장 축은 세로 연장 축에서 연장되어 조향 축과 다른 선상에 배치된 제1 카메라와 연결될 수 있다.The second vehicle body is connected to the first vehicle body through the steering axis, and the viewpoint controller extends from the steering axis to the top of the construction equipment and rotates at the same angle as the steering axis. Another example is to include an extended transverse axis. In this case, the horizontal extension axis may extend from the vertical extension axis and be connected to the first camera disposed on a different line from the steering axis.

시점 제어기는 제1 전방 영상에 포함된 시야 방해 부품 위치를 근거로 제1 카메라를 회전시킬 수도 있다. The viewpoint controller may rotate the first camera based on the position of the visual field obstruction part included in the first front image.

시점 제어기는 제1 전방 영상으로부터 시야 방해 부품의 엣지 성분을 검출하고, 제1 전방 영상의 엣지 성분의 위치를 근거로 제1 카메라를 회전시키는 것을 일례로 한다.As an example, the viewpoint controller detects an edge component of a visual field obstruction component from the first front image, and rotates the first camera based on the position of the edge component of the first front image.

시야 방해 부품에는 마커가 장착되어 있고, 시점 제어기는 제1 전방 영상으로부터 시야 방해 부품의 마커 위치를 검출하고, 제1 전방 영상의 마커 위치를 근거로 제1 카메라를 회전시키는 것을 다른 일례로 한다.Another example is that a marker is mounted on the field-of-view component, and the viewpoint controller detects the position of the marker of the field-of-view component from the first front image, and rotates the first camera based on the position of the marker of the first front image.

한편, 시점 제어기는 제2 카메라 및 건설장비에 배치된 센서로부터 수신한 제2 차체의 회전을 근거로 제1 카메라를 회전시킬 수도 있다.Meanwhile, the viewpoint controller may rotate the first camera based on the rotation of the second vehicle body received from the second camera and a sensor disposed in the construction equipment.

본 발명에 의하면, 건설장비용 전방 영상 생성 장치는 건설장비의 상단 및 하단에서 촬영된 영상들을 합성하여 표시함으로써, 건설장비의 부품에 의한 사각 발생을 방지하여 운전자의 전방 시야가 가려지는 것을 방지할 수 있는 효과가 있다.According to the present invention, the front image generating apparatus for construction equipment combines and displays images taken from the top and bottom of the construction equipment, thereby preventing the occurrence of blind spots caused by parts of the construction equipment, thereby preventing the driver's front view from being obscured. There is an effect that can be.

또한, 건설장비용 전방 영상 생성 장치는 제2 카메라의 회전에 따라 제1 카메라를 회전시켜 제1 카메라의 시점을 제2 카메라의 시점과 동일하게 유지함으로써, 전방 영상들의 합성이 연산량 및 합성 시간을 최소할 수 있는 효과가 있다.In addition, the front image generating apparatus for construction equipment rotates the first camera according to the rotation of the second camera to keep the viewpoint of the first camera the same as the viewpoint of the second camera, so that the synthesis of the front images reduces the amount of computation and the synthesis time. There is an effect that can be minimized.

또한, 건설장비용 전방 영상 생성 장치는 제2 카메라의 회전에 따라 제1 카메라를 회전시켜 제1 카메라의 시점을 제2 카메라의 시점과 동일하게 유지함으로써, 짧은 시간내에 전방 영상들의 합성이 가능하여 실시간 정보와 같은 전방 영상을 운전자에게 제공할 수 있는 효과가 있다.In addition, the front image generating device for construction equipment rotates the first camera according to the rotation of the second camera to keep the viewpoint of the first camera the same as the viewpoint of the second camera, so that the front images can be synthesized within a short time. There is an effect of providing a front image such as real-time information to the driver.

도 1 내지 도 3은 본 발명의 실시 예에 따른 건설장비용 전방 영상 생성 장치를 설명하기 위한 도면.
도 4 내지 도 10은 도 3의 시점 제어기를 설명하기 위한 도면.
도 11 내지 도 18은 도 3의 영상 처리기를 설명하기 위한 도면.
도 19 내지 도 23은 도 3의 영상 처리기가 특징점을 이용해 합성 전방 영상을 생성하는 과정을 설명하기 위한 도면.1 to 3 are views for explaining an apparatus for generating a front image for construction equipment according to an embodiment of the present invention.
4 to 10 are views for explaining the viewpoint controller of FIG. 3.
11 to 18 are views for explaining the image processor of FIG. 3.
19 to 23 are diagrams for explaining a process in which the image processor of FIG. 3 generates a synthesized front image using feature points.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, in order to describe in detail enough that a person having ordinary knowledge in the technical field of the present invention can easily implement the technical idea of the present invention, a most preferred embodiment of the present invention will be described with reference to the accompanying drawings. . First of all, in adding reference numerals to elements of each drawing, it should be noted that the same elements are assigned the same numerals as possible even if they are indicated on different drawings. In addition, in describing the present invention, when it is determined that a detailed description of a related known configuration or function may obscure the subject matter of the present invention, a detailed description thereof will be omitted.

본 발명의 실시 예에 따른 건설장비용 전방 영상 생성 장치는 건설장비에 설치된 복수의 카메라에서 촬영한 영상을 합성하여 표시함으로써, 건설장비의 부품(즉, 시야 방해 부품)에 의해 전방에서 발생하는 사각 지대를 해소하는 것을 목적 및 효과로 한다.The front image generating apparatus for construction equipment according to an embodiment of the present invention synthesizes and displays images taken from a plurality of cameras installed in the construction equipment, thereby causing a blind spot caused by a component of the construction equipment (that is, a part that obstructs the view). The purpose and effect are to relieve the rent.

도 1 내지 도 3을 참조하면, 건설장비용 전방 영상 생성 장치(100)는 제1 카메라(110), 제2 카메라(130), 시점 제어기(150), 영상 처리기(170) 및 디스플레이(190)를 포함하여 구성된다.1 to 3, the front image generating apparatus 100 for construction equipment includes a first camera 110, a second camera 130, a viewpoint controller 150, an image processor 170, and a display 190. Consists of including.

휠 로더(10)는 제1 차체(12) 및 제2 차체(14)로 구성된다. 제1 차체(12)는 운전자가 위치하는 부분이며, 운전실, 엔진, 트랜스미션, 후차축, 연료탱크 등을 포함한다. 제2 차체(14)는 버켓(16)이 위치하는 부분이며, 버켓(16), 벨 크랭크, 버켓(16) 실린더, 전차축 등을 포함한다.The wheel loader 10 is composed of a first vehicle body 12 and a second vehicle body 14. The first vehicle body 12 is a part where the driver is located, and includes a cab, an engine, a transmission, a rear axle, a fuel tank, and the like. The second vehicle body 14 is a part where the bucket 16 is located, and includes a bucket 16, a bell crank, a bucket 16 cylinder, a front axle, and the like.

제2 차체(14)는 제1 차체(12)의 전방에 배치된다. 제1 차체(12) 및 제2 차체(14)는 조향 축을 통해 연결된다. 운전자가 운전석의 조향 휠을 조작하면, 제2 차체(14)가 조향 축을 중심으로 회전하여 휠 로더(10)의 회전 방향이 변경된다.The second vehicle body 14 is disposed in front of the first vehicle body 12. The first vehicle body 12 and the second vehicle body 14 are connected via a steering shaft. When the driver manipulates the steering wheel of the driver's seat, the second vehicle body 14 rotates about the steering axis, and the rotation direction of the wheel loader 10 is changed.

제1 카메라(110)는 휠 로더(10)의 제1 차체(12) 상단에 배치되고, 휠 로더(10)의 전방을 촬영하여 제1 전방 영상을 생성한다. 제1 카메라(110)는 휠 로더(10)의 제1 차체(12)의 운전실 상부에 배치되며, 휠 로더(10)의 전방(정면)을 촬영하여 제1 전방 이미지를 생성하는 것을 일례로 한다.The first camera 110 is disposed on the top of the first vehicle body 12 of the wheel loader 10 and photographs the front of the wheel loader 10 to generate a first front image. The first camera 110 is disposed above the cab of the first vehicle body 12 of the wheel loader 10, and takes an example of generating a first front image by photographing the front (front) of the wheel loader 10 .

제2 카메라(130)는 휠 로더(10)의 전면 하단에 배치되고, 휠 로더(10)의 전방을 촬영하여 제2 전방 영상을 생성한다. 제2 카메라(130)는 휠 로더(10)의 제2 차체(12)의 전면 하단에 배치되고, 휠 로더(10)의 제2 차체(12)의 하단에서 휠 로더(10)의 전방(정면)을 촬영하여 제2 전방 이미지를 생성하는 것을 일례로 한다.The second camera 130 is disposed at the lower front of the wheel loader 10 and photographs the front of the wheel loader 10 to generate a second front image. The second camera 130 is disposed at the lower front of the second vehicle body 12 of the wheel loader 10, and is in front of the wheel loader 10 at the lower end of the second vehicle body 12 of the wheel loader 10. ) Is taken as an example to generate a second front image.

여기서, 도 1에서는 본 발명의 실시 예를 용이하게 설명하기 위해서 제1 카메라(110) 및 제2 카메라(130)의 배치 위치를 휠 로더(10)의 상단 및 하단으로 한정하여 설명하였으나 이에 한정되지 않고 전방 영상을 촬영할 수 있는 위치라면 제1 카메라(110) 및 제2 카메라(130)가 배치될 수 있다.Here, in FIG. 1, in order to easily describe the embodiment of the present invention, the arrangement positions of the first camera 110 and the second camera 130 are limited to the upper and lower ends of the wheel loader 10, but are not limited thereto. The first camera 110 and the second camera 130 may be disposed in a position where a front image can be photographed.

또한, 도 1에서는 제1 카메라(110)와 제2 카메라(130)의 2대의 카메라를 중심으로 설명하지만 본 발명은 여기에 한정되지 않고 3대 이상의 카메라를 이용해서 영상을 생성하는 것도 포함되어 해석되어야 한다. 예를 들어, 운전석 전방에 장착된 카메라를 제1 카메라(110) 및 제2 카메라(130)와 둘 이상 조합하여 영상 합성하는 것도 가능하고, 암이나 버켓(16) 등에 장착된 카메라와 같이 전방 영상을 일부라도 촬영할 수 있는 것이라면 본 발명에 따른 영상의 합성에 활용될 수 있다.In addition, in FIG. 1, two cameras, the first camera 110 and the second camera 130, are mainly described, but the present invention is not limited to this, and the analysis includes generating an image using three or more cameras. It should be. For example, it is possible to combine two or more cameras mounted in front of the driver's seat with the first camera 110 and the second camera 130 to synthesize images, and a front image such as a camera mounted on an arm or bucket 16 If it is possible to photograph even a part of it, it can be used for the synthesis of the image according to the present invention.

시점 제어기(150)는 제2 카메라(130)의 시점(視點)을 근거로 제1 카메라(110)를 구동시킨다. 즉, 제1 카메라(110) 및 제2 카메라(130)는 제1 차체(12) 및 제2 차체(14)에 각각 이격 배치되기 때문에, 제2 차체(14)가 회전하는 경우 제1 카메라(110) 및 제2 카메라(130)의 수평 방향 시점이 달라진다. 이에, 시점 제어기(150)는 제1 카메라(110)의 수평 방향 시점이 제2 카메라(130)의 수평 방향 시점과 일치하도록 제1 카메라(110)를 회전 또는 이동시킨다. 이하에서 제1 카메라(110) 및 제2 카메라(130)의 시점에 관련된 설명에서 시점은 카메라의 수평 방향 시점을 의미하며, 수직 방향 시점을 다를 수 있다.The viewpoint controller 150 drives the first camera 110 based on the viewpoint of the second camera 130. That is, since the first camera 110 and the second camera 130 are disposed at a distance from the first vehicle body 12 and the second vehicle body 14, respectively, when the second vehicle body 14 rotates, the first camera ( 110) and the second camera 130 have different views in the horizontal direction. Accordingly, the viewpoint controller 150 rotates or moves the first camera 110 so that the horizontal viewpoint of the first camera 110 coincides with the horizontal viewpoint of the second camera 130. Hereinafter, in the description related to the viewpoints of the first camera 110 and the second camera 130, the viewpoint means a viewpoint in the horizontal direction of the camera, and the viewpoint in the vertical direction may be different.

일례로, 도 4를 참조하면, 휠 로더(10)가 좌회전을 위해 제1 차체(12)가 좌측으로 회전하는 경우, 제1 카메라(110)는 제1 차체(12)를 기준으로 전방을 촬영하여 제1 전방 영상을 생성하며, 제2 카메라(130)는 제1 차체(12)를 기준으로 전방을 촬영하여 제2 전방 영상을 생성한다.As an example, referring to FIG. 4, when the wheel loader 10 rotates the first vehicle body 12 to the left to make a left turn, the first camera 110 photographs the front side based on the first vehicle body 12. Thus, a first front image is generated, and the second camera 130 photographs the front side based on the first vehicle body 12 to generate a second front image.

그에 따라, 제1 전방 영상의 시점과 제2 전방 영상의 시점은 제2 차체(14)의 회전 정도에 따라 차이(θ)가 발생한다. 이 경우, 영상 처리기(170)에서 합성 전방 영상을 생성하는데 있어 연산량이 급격히 증가하여 고사양의 시스템을 구축해야 하거나, 영상 합성 시간이 증가하게 된다. 이에, 시점 제어기(150)는 제1 카메라(110)를 회전 또는 이동시켜 제2 카메라(130)의 시점과 일치시킨다.Accordingly, a difference θ occurs between the viewpoint of the first front image and the viewpoint of the second front image according to the degree of rotation of the second vehicle body 14. In this case, when the image processor 170 generates a synthesized front image, the amount of computation increases rapidly, so that a high-spec system must be constructed, or the image synthesis time increases. Accordingly, the viewpoint controller 150 rotates or moves the first camera 110 to match the viewpoint of the second camera 130.

시점 제어기(150)는 기구적 구조를 통해 제1 카메라(110)의 시점을 제어한다. 즉, 시점 제어기(150)는 휠 로더(10)의 조향 축과 기구적으로 연결되고, 조향 축이 회전함에 따라 제1 카메라(110)를 회전시켜 제2 카메라(130)와 동일한 시점을 유지하도록 한다.The viewpoint controller 150 controls the viewpoint of the first camera 110 through a mechanical structure. That is, the viewpoint controller 150 is mechanically connected to the steering shaft of the wheel loader 10 and rotates the first camera 110 as the steering shaft rotates to maintain the same viewpoint as the second camera 130. do.

일례로, 도 5 및 도 6을 참조하면, 제1 카메라(110)가 조향 축과 동일 선상에 배치된 경우, 시점 제어기(150)는 휠 로더(10)의 제1 차체(12)와 제2 차체(14)와 연결된 조향 축으로부터 휠 로더(10)의 상부 방향으로 연장된 연장 축(152)으로 구성될 수 있다. 연장 축(152)의 일단은 조향 축과 연결되고, 연장 축(152)의 타단은 조향 축에서 상부 방향으로 연장되어 조향 축과 동일 선상에 배치된 제1 카메라(110)와 연결된다.As an example, referring to FIGS. 5 and 6, when the first camera 110 is disposed on the same line as the steering axis, the viewpoint controller 150 is It may be configured as an extension shaft 152 extending in the upper direction of the wheel loader 10 from a steering shaft connected to the vehicle body 14. One end of the extension shaft 152 is connected to the steering shaft, and the other end of the extension shaft 152 extends upward from the steering shaft and is connected to the first camera 110 disposed on the same line as the steering shaft.

운전자가 조향 휠을 조작함에 따라 조향 축이 회전하여 제2 차체(14)가 회전하고, 제2 차체(14)에 배치된 제2 카메라(130)도 제2 차체(14)가 회전하는 만큼 시점이 회전(이동)된다. 연장 축(152)은 조향 축과 동일한 방향 및 각도로 회전한다. 그에 따라, 시점 제어기(150)는 제2 카메라(130)와 동일한 시점을 갖도록 제1 카메라(110)를 회전(이동)시킨다.As the driver manipulates the steering wheel, the steering shaft rotates to rotate the second vehicle body 14, and the second camera 130 disposed on the second vehicle body 14 also rotates as much as the second vehicle body 14 rotates. This is rotated (moved). The extension shaft 152 rotates in the same direction and angle as the steering shaft. Accordingly, the viewpoint controller 150 rotates (moves) the first camera 110 to have the same viewpoint as the second camera 130.

다른 일례로, 도 7 및 도 8을 참조하면, 제1 카메라(110)가 조향 축과 다른 선상에 배치된 경우, 시점 제어기(150)는 세로 연장 축(156) 및 가로 연장 축(154)을 포함하여 구성될 수 있다.As another example, referring to FIGS. 7 and 8, when the first camera 110 is disposed on a different line from the steering axis, the viewpoint controller 150 includes the vertical extension axis 156 and the horizontal extension axis 154. It can be configured to include.

세로 연장 축(156)은 휠 로더(10)의 제1 차체(12)와 제2 차체(14)와 연결된 조향 축으로부터 휠 로더(10)의 상부 방향으로 연장된다. 세로 연장 축(156)의 일단은 조향 축과 연결되고, 세로 연장 축(156)의 타단은 가로 연장 축(154)의 일단과 연결된다.The longitudinal extension shaft 156 extends in the upper direction of the wheel loader 10 from a steering shaft connected to the first vehicle body 12 and the second vehicle body 14 of the wheel loader 10. One end of the longitudinal extension shaft 156 is connected to the steering shaft, and the other end of the longitudinal extension shaft 156 is connected to one end of the transverse extension shaft 154.

가로 연장 축(154)은 세로 연장 축(156)과 제1 카메라(110)와 연결된다. 즉, 가로 연장 축(154)의 일단은 세로 연장 축(156)의 타단과 연결된다. 가로 연장 축(154)의 타단은 세로 연장 축(156)의 타단에서 휠 로더(10)의 전방 또는 후방으로 연장되어 제1 카메라(110)와 연결된다. 그에 따라, 가로 연장 축(154)의 일단은 조향 축과 동일 선상에 배치되고, 가로 연장 축(154)의 타단은 카메라와 동일 선상에 배치된다.The horizontal extension axis 154 is connected to the vertical extension axis 156 and the first camera 110. That is, one end of the horizontally extending shaft 154 is connected to the other end of the vertically extending shaft 156. The other end of the horizontal extension shaft 154 extends to the front or rear of the wheel loader 10 from the other end of the vertical extension shaft 156 and is connected to the first camera 110. Accordingly, one end of the horizontal extension shaft 154 is arranged on the same line as the steering axis, and the other end of the horizontal extension shaft 154 is arranged on the same line as the camera.

한편, 세로 연장 축(156)과 가로 연장 축(154) 사이의 각도가 예각인 경우 제1 카메라(110)의 특성에 따라 세로 연장 축(156) 및 가로 연장 축(152)이 제1 전방 영상에 포함될 수 있다. 이에 세로 연장 축(156)과 가로 연장 축(154) 사이의 각도는 둔각인 것이 바람직하다.On the other hand, when the angle between the vertical extension axis 156 and the horizontal extension axis 154 is an acute angle, the vertical extension axis 156 and the horizontal extension axis 152 are the first front image according to the characteristics of the first camera 110. Can be included in Accordingly, it is preferable that the angle between the longitudinal extension axis 156 and the transverse extension axis 154 is an obtuse angle.

물론, 가로 연장 축(154)의 타단에 제1 카메라(110)의 높이를 높여주는 구조물이 배치되는 경우 세로 연장 축(156)과 가로 연장 축(154) 사이의 각도는 직각 또는 예각으로 형성될 수도 있다.Of course, when a structure that increases the height of the first camera 110 is disposed at the other end of the horizontal extension axis 154, the angle between the vertical extension axis 156 and the horizontal extension axis 154 may be formed at a right angle or an acute angle. May be.

운전자가 조향 휠을 조작함에 따라 조향 축이 회전하여 제2 차체(14)가 회전하고, 제2 차체(14)에 배치된 제2 카메라(130)도 제2 차체(14)가 회전하는 각도만큼 시점이 회전(이동)된다. As the driver manipulates the steering wheel, the steering shaft rotates to rotate the second vehicle body 14, and the second camera 130 disposed on the second vehicle body 14 also rotates as much as the angle at which the second vehicle body 14 rotates. The viewpoint is rotated (moved).

세로 연장 축(156)은 조향 축과 동일한 방향으로 회전한다. 가로 연장 축(154)은 세로 연장 축(156)과 연결된 일측을 중심으로 조향 축과 동일한 방향 및 각도로 회전한다. 그에 따라, 시점 제어기(150)는 제2 카메라(130)와 동일한 시점을 갖도록 제1 카메라(110)를 회전(이동)시킨다.The longitudinal extension shaft 156 rotates in the same direction as the steering shaft. The horizontal extension shaft 154 rotates in the same direction and angle as the steering shaft around one side connected to the vertical extension shaft 156. Accordingly, the viewpoint controller 150 rotates (moves) the first camera 110 to have the same viewpoint as the second camera 130.

한편, 시점 제어기(150)는 기구적 연동 구조가 아닌 영상 분석 결과를 근거로 제1 카메라(110)의 시점을 제어할 수도 있다. 즉, 시점 제어기(150)는 제1 전방 영상으로부터 버켓(16)의 위치를 검출하고, 버켓(16)의 위치를 근거로 제1 카메라(110)를 회전시켜 제2 카메라(130)와 동일한 시점을 유지하도록 한다. 이때, 시점 제어기(150)는 모터 등의 동력 기계 제어를 통해 제1 카메라(110)를 회전시킨다.Meanwhile, the viewpoint controller 150 may control the viewpoint of the first camera 110 based on an image analysis result rather than a mechanical linkage structure. That is, the viewpoint controller 150 detects the position of the bucket 16 from the first front image, and rotates the first camera 110 based on the position of the bucket 16 to obtain the same viewpoint as the second camera 130. Keep it. At this time, the viewpoint controller 150 rotates the first camera 110 by controlling a power machine such as a motor.

일례로, 도 9를 참조하면, 시점 제어기(150)는 제1 전방 영상에서 버켓(16)의 엣지 성분(E)을 검출한다. 시점 제어기(150)는 제1 전방 영상의 엣지 성분(E)과 영상 중심 사이의 차이를 이용하여 제1 카메라(110)를 회전(이동)시켜 제2 카메라(130)와 동일한 시점을 유지하도록 한다.As an example, referring to FIG. 9, the viewpoint controller 150 detects the edge component E of the bucket 16 in the first front image. The viewpoint controller 150 rotates (moves) the first camera 110 using the difference between the edge component E of the first front image and the image center to maintain the same viewpoint as the second camera 130. .

다른 일례로, 도 10을 참조하면, 영상 처리기(170)는 제1 전방 영상에서 버켓(16)의 마커(M)를 검출한다. 시점 제어기(150)는 제1 전방 영상의 마커(M)와 영상 중심 사이의 차이를 이용하여 제1 카메라(110)를 회전(이동)시켜 제2 카메라(130)와 동일한 시점을 유지하도록 한다.As another example, referring to FIG. 10, the image processor 170 detects the marker M of the bucket 16 from the first front image. The viewpoint controller 150 rotates (moves) the first camera 110 using the difference between the marker M of the first front image and the image center to maintain the same viewpoint as the second camera 130.

한편, 도 9 및 도 10에 대한 설명에서는 시점 제어기(150)가 제1 전방 영상을 분석하는 것으로 설명하였으나, 이에 한정되지 않고 후술할 영상 처리기(170)에서 버켓(16)의 엣지 성분(E) 또는 마커(M)를 검출하고, 시점 제어기(150)가 영상 처리기(180)로부터 검출 결과를 수신하여 제1 카메라(110)의 시점을 제어할 수도 있다.Meanwhile, in the description of FIGS. 9 and 10, the viewpoint controller 150 has been described as analyzing the first front image, but the present invention is not limited thereto, and the edge component E of the bucket 16 in the image processor 170 to be described later. Alternatively, the marker M may be detected, and the viewpoint controller 150 may control the viewpoint of the first camera 110 by receiving the detection result from the image processor 180.

시점 제어기(150)는 센서를 이용하여 제2 차체(14)의 회전(이동)을 감지하고, 그 결과를 근거로 제1 카메라(110)의 시점을 제어할 수도 있다. 이를 위해, 건설장비용 전방 영상 생성 장치(100)는 제2 카메라(130), 조향 축, 조향 휠, 버켓(16), 버켓 암, 제2 차체(14) 등에 배치된 하나 이상의 센서를 더 포함한다. 시점 제어기(150)는 센서로부터 제2 차체(14)의 회전(이동)을 감지한 감지 결과를 수신하고, 수신한 감지 결과를 근거로 제1 카메라(110)를 회전시켜 제2 카메라(130)와 동일한 시점을 유지하도록 한다. 여기서, 센서는 자이로 센서, 회전 감지 센서 등으로 구성될 수 있다.The viewpoint controller 150 may sense the rotation (movement) of the second vehicle body 14 using a sensor, and control the viewpoint of the first camera 110 based on the result. To this end, the front image generating apparatus 100 for construction equipment further includes one or more sensors disposed on the second camera 130, the steering shaft, the steering wheel, the bucket 16, the bucket arm, and the second vehicle body 14. do. The viewpoint controller 150 receives a detection result of detecting the rotation (movement) of the second vehicle body 14 from a sensor, and rotates the first camera 110 based on the received detection result to provide the second camera 130. Keep the same point of view as. Here, the sensor may be composed of a gyro sensor, a rotation sensor, or the like.

영상 처리기(170)는 제1 카메라(110) 및 제2 카메라(130)에서 촬영된 영상을 합성하여 합성 전방 영상을 생성한다. 즉, 영상 처리기(170)는 제1 카메라(110)에서 촬영된 제1 전방 영상과 제2 카메라(130)에서 촬영된 제2 전방 영상을 합성하여 합성 전방 영상을 생성한다. 이때, 영상 처리기(170)는 영상에 포함된 버켓(16)을 반투명으로 표시하는 합성 영상을 생성한다. 이를 통해, 영상 처리기(170)는 버켓(16)에 의해 가려지지 않은 전방 영상과 함께 버켓(16)의 위치, 동작 상태 등을 확인할 수 있는 합성 전방 영상을 운전자에게 제공한다.The image processor 170 generates a synthesized front image by synthesizing the images captured by the first camera 110 and the second camera 130. That is, the image processor 170 generates a synthesized front image by synthesizing the first front image captured by the first camera 110 and the second front image captured by the second camera 130. In this case, the image processor 170 generates a composite image that displays the bucket 16 included in the image in a translucent manner. Through this, the image processor 170 provides the driver with a front image that is not covered by the bucket 16 and a composite front image capable of confirming the position and operation state of the bucket 16.

한편, 도 11을 참조하면, 버켓(16)이 하단에 배치되면, 운전석 시야 및 제1 전방 영상에서는 전방의 대상물이 버켓(16)에 의해 가려지지 않고, 제2 전방 영상에서는 전방의 대상물 전체가 버켓(16) 및 휠 로더(10)의 바퀴에 의해 가려진다.On the other hand, referring to FIG. 11, when the bucket 16 is disposed at the bottom, the object in front is not covered by the bucket 16 in the driver's view and in the first front image, and in the second front image, the entire object in front is It is covered by the bucket 16 and the wheel of the wheel loader 10.

버켓(16)이 중간에 배치되면, 운전석 시야 및 제1 전방 영상에서는 전방의 대상물의 하부 일부가 버켓(16)에 의해 가려지고, 제2 전방 영상에서는 전방의 대상물 중 상부 영역 일부가 버켓(16)에 의해 가려진다.When the bucket 16 is disposed in the middle, a part of the lower part of the object in front is covered by the bucket 16 in the driver's view and in the first front image, and in the second front image, a part of the upper area of the object in front is covered with the bucket 16 ).

버켓(16)이 상단에 배치되며, 운전석 시야 및 제1 전방 영상에서는 전*의 대상물의 대부분이 버켓(16)에 의해 가려지고, 제2 전방 영상에서는 전방의 대상물이 버켓(16)에 의해 가려지지 않는다.The bucket 16 is disposed at the top, and in the driver's view and the first front image, most of the objects in front* are covered by the bucket 16, and in the second front image, the object in front is covered by the bucket 16. I don't lose.

영상 처리기(170)는 버켓(16)에 의해 대상물이 가려지는 것을 방지하기 위해서 제1 전방 영상 및 제2 전방 영상을 합성하여 합성 전방 영상을 생성한다. 영상 처리기(170)는 제1 카메라(110) 및 제2 카메라(130)에서 동일 시점(時點)에 촬영된 제1 전방 영상 및 제2 전방 영상을 합성하여 전방 시야에 사각이 없는 합성 전방 영상을 생성한다. 이때, 영상 처리기(170)는 합성 전방 영상에 포함된 버켓(16), 암 등과 같은 휠 로더(10)의 구성물들을 반투명으로 표시한 합성 전방 영상을 생성한다.The image processor 170 generates a synthesized front image by synthesizing the first front image and the second front image in order to prevent the object from being covered by the bucket 16. The image processor 170 synthesizes the first front image and the second front image captured at the same point in time by the first camera 110 and the second camera 130 to obtain a synthesized front image without a blind spot in the front view. Generate. At this time, the image processor 170 generates a composite front image in which components of the wheel loader 10 such as buckets 16 and arms included in the composite front image are displayed in a translucent manner.

영상 처리기(170)는 제2 전방 영상에 제1 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 즉, 도 12에 도시된 바와 같이, 영상 처리기(170)는 제2 카메라(130)에서 촬영된 제2 전방 영상을 배경으로 하고, 제2 전방 영상과 동일한 시점(時點)에 제1 카메라(110)에서 촬영된 제1 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 이때, 합성 전방 영상은 휠 로더(10)의 전방 바퀴에 의해 전방 시야에 일부 제약이 발생하지만, 정면 사각 영역을 표시하는데 충분한 전방 시야를 확보할 수 있다. 여기서, 영상 처리기(170)는 제2 전방 영상의 경우 바퀴가 촬영될 수 있으므로, 바퀴가 촬영된 영역도 제1 전방 영상을 이용하여 투명하게 보이도록 합성할 수 있다.The image processor 170 generates a synthesized front image by synthesizing a part of the first front image with the second front image. That is, as shown in FIG. 12, the image processor 170 uses the second front image captured by the second camera 130 as a background, and the first camera 110 at the same time point as the second front image. ) To generate a synthesized front image by synthesizing a portion of the first front image captured in (). In this case, in the composite front image, some restrictions are generated in the front view due to the front wheels of the wheel loader 10, but a sufficient front view can be secured to display the front blind area. Here, in the case of the second front image, the image processor 170 may capture the wheel so that the area in which the wheel is photographed may also be synthesized to be transparent using the first front image.

영상 처리기(170)는 제1 전방 영상에 제2 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 즉, 도 13에 도시된 바와 같이, 영상 처리기(170)는 제1 카메라(110)에서 촬영된 제1 전방 영상을 배경으로 하고, 제1 전방 영상과 동일한 시점(時點)에 제2 카메라(130)에서 촬영된 제2 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 이때, 합성 전방 영상은 제1 전방 영상을 배경으로 하기 때문에 제2 전방 영상을 배경하는 하는 합성 전방 영상에 비해 상대적으로 넓은 화각을 갖는다. The image processor 170 generates a synthesized front image by synthesizing a part of the second front image with the first front image. That is, as shown in FIG. 13, the image processor 170 uses the first front image captured by the first camera 110 as a background, and the second camera 130 is at the same time point as the first front image. ) To generate a synthesized front image by synthesizing a part of the second front image captured in ). In this case, the composite front image has a relatively wide angle of view compared to the composite front image that uses the second front image because the first front image is used as the background.

영상 처리기(170)는 합성 전방 영상의 생성시 버켓(16)의 위치에 따라 제1 전방 영상 및 제2 전방 영상에 서로 다른 가중치를 부여하여 합성할 수 있다. 영상 처리기(170)는 버켓(16)이 하단에 위치한 경우 제1 전방 영상에 더 높은 가중치를 부여하고, 버켓(16)이 상단에 위치한 경우 제2 전방 영상에 더 높은 가중치를 부여한다.The image processor 170 may add different weights to the first front image and the second front image according to the position of the bucket 16 to synthesize the synthesized front image when generating the synthesized front image. The image processor 170 assigns a higher weight to the first front image when the bucket 16 is positioned at the bottom, and gives a higher weight to the second front image when the bucket 16 is positioned at the top.

영상 처리기(170)는 제1 전방 영상에 제2 전방 영상을 합성하는 경우 공통 영역을 다른 영역과 다른 색상, 밝기 등으로 표시할 수 있다. 일례로, 도 14를 참조하면, 영상 처리기(170)는 제1 전방 영상에 제2 전방 영상을 합성하는 경우 공통 영역을 차이나는 영역보다 상대적으로 밝게 표시할 수 있다. 즉, 영상 처리기(170)는 제1 전방 영상 중에서 제2 전방 영상이 합성되는 영역인 공통 영역을 다른 영역에 비해 상대적으로 밝게 표시되는 합성 전방 영상을 생성한다. 다시 말해, 영상 처리기(170)는 제1 전방 영상과 제2 전방 영상이 합성된 영역을 밝게 표시하고, 제1 전방 영상에서 제2 전방 영상이 합성되지 않는 영역을 어둡게 표시하는 합성 전방 영상을 생성한다.When synthesizing the second front image with the first front image, the image processor 170 may display the common region in a color, brightness, or the like different from other regions. As an example, referring to FIG. 14, when synthesizing the second front image with the first front image, the image processor 170 may display the common area relatively brighter than the difference area. That is, the image processor 170 generates a composite front image in which a common area, which is an area in which the second front image is synthesized, among the first front images is displayed relatively brightly compared to other areas. In other words, the image processor 170 brightly displays the area in which the first front image and the second front image are combined, and generates a synthesized front image that darkens the area in which the second front image is not synthesized from the first front image. do.

도 15를 참조하면, 영상 처리기(170)는 합성 전방 영상의 이질감을 최소화하기 위해서 색상 및 투명도를 조절하여 합성 영역이 다른 영역의 생상 및 투명도와 차이 나지 않도록 할 수도 있다.Referring to FIG. 15, the image processor 170 may adjust color and transparency in order to minimize the sense of heterogeneity of the synthesized front image so that the synthesized region does not differ from the image and transparency of other regions.

도 16을 참조하면, 영상 처리기(170)는 버켓(16)이 대상물을 가리기 전까지 버켓(16)을 불투명 상태로 표시하고, 버켓(16)이 대상물을 가리는 시점부터 버켓(16)을 반투명 또는 투명 상태로 표시할 수도 있다.Referring to FIG. 16, the image processor 170 displays the bucket 16 in an opaque state until the bucket 16 covers the object, and the bucket 16 is translucent or transparent from the point when the bucket 16 covers the object. You can also display it as a status.

영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상의 투명도를 0.5로 설정한 후 합성하여 합성 전방 영상을 생성한다. 영상 처리기(170)는 버켓(16) 또는 버켓(16)에 연결된 암의 위치에 따라 제1 전방 영상 및 제2 전방 영상의 투명도를 동적으로 조절한 후 합성하여 합성 전방 영상을 생성할 수도 있다.The image processor 170 generates a synthesized front image by setting the transparency of the first and second front images to 0.5 and then synthesizing them. The image processor 170 may generate a synthesized front image by dynamically adjusting the transparency of the first and second front images according to the position of the bucket 16 or the arm connected to the bucket 16 and then synthesizing them.

일례로, 영상 처리기(170)는 버켓(16)이 하단에 위치한 경우 제1 전방 영상의 가중치를 제2 전방 영상의 가중치보다 높게 설정한다. 즉, 버켓(16)이 하단에 위치한 경우 제2 전방 영상의 사각 영역이 많기 때문에 상대적으로 적은 사각 영역을 갖는 제1 전방 영상에 높은 가중치를 설정한다. 영상 처리기(170)는 제1 카메라(110)에서 촬영된 제1 전방 영상에 상대적으로 높은 가중치를 부여하여 제2 전방 영상보다 낮은 투명도를 설정하고, 제2 카메라(130)에서 촬영된 제2 전방 영상에 낮은 가중치를 부여하여 제1 전방 영상보다 높은 투명도를 설정한다.For example, when the bucket 16 is located at the bottom, the image processor 170 sets the weight of the first front image higher than the weight of the second front image. That is, when the bucket 16 is located at the bottom, since there are many blind spots of the second front image, a high weight is set for the first front image having a relatively small blind spot. The image processor 170 assigns a relatively high weight to the first front image captured by the first camera 110 to set a lower transparency than the second front image, and sets the second front image captured by the second camera 130. A lower weight is given to the image to set a higher transparency than the first front image.

다른 일례로, 영상 처리기(170)는 버켓(16)이 중간 또는 상단에 위치한 경우 제2 전방 영상의 가중치를 제1 전방 영상의 가중치보다 높게 설정한다. 즉, 버켓(16)이 상단에 위치한 경우 제1 전방 영상의 사각 영역이 많기 때문에 상대적으로 적은 사각 영역을 갖는 제2 전방 영상에 높은 가중치를 설정한다. 영상 처리기(170)는 제2 카메라(130)에서 촬영된 제2 전방 영상에 상대적으로 높은 가중치를 부여하여 제1 전방 영상보다 낮은 투명도를 설정하고, 제1 카메라(110)에서 촬영된 제1 전방 영상에 낮은 가중치를 부여하여 제2 전방 영상보다 높은 투명도를 설정한다.As another example, the image processor 170 sets the weight of the second front image to be higher than the weight of the first front image when the bucket 16 is located in the middle or top. That is, when the bucket 16 is located at the top, since there are many blind spots of the first front image, a high weight is set for the second front image having a relatively small blind spot. The image processor 170 assigns a relatively high weight to the second front image captured by the second camera 130 to set a lower transparency than the first front image, and sets the first front image captured by the first camera 110. A lower weight is given to the image to set a higher transparency than the second front image.

영상 처리기(170)는 제1 전방 영상과 제2 전방 영상을 일 대 일로 합성하여 합성 전방 영상을 생성할 수도 있다. 즉, 영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상을 일정거리의 스크린(즉, 투영면(Projection plane))의 평면 또는 곡면 영상으로 변환한 후 합성하여 합성 전방 영상을 생성한다.The image processor 170 may generate a synthesized front image by synthesizing the first front image and the second front image on a one-to-one basis. That is, the image processor 170 converts the first front image and the second front image into a flat or curved image of a screen (ie, a projection plane) of a predetermined distance, and synthesizes it to generate a synthesized front image.

영상 처리기(170)는 투영면을 사용하지 않고 제1 전방 영상과 제2 전방 영상을 각각 늘이거나 줄여서 두 영상을 일치시킨 후에 합성하여 합성 전방 영상을 생성할 수도 있다.The image processor 170 may generate a synthesized front image by synthesizing the two images after matching the two images by increasing or decreasing each of the first and second front images without using a projection surface.

영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상을 일 대 일로 합성하기 위해서는 거리 정보가 필요하다. 즉, 영상 처리기(170)는 촬영 위치에서 투영면까지의 거리를 이용하여 제1 전방 영상과 제2 전방 영상을 평면 이미지로 변환하고, 변환된 평면 이미지들을 합성하여 합성 전방 영상을 생성한다.The image processor 170 needs distance information in order to combine the first front image and the second front image in a one-to-one manner. That is, the image processor 170 converts the first front image and the second front image into a planar image using the distance from the photographing position to the projection surface, and synthesizes the converted planar images to generate a synthesized front image.

영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상으로부터 거리 정보를 획득할 수 있다. 즉, 영상 처리기(170)는 복수의 임의 거리(카메라에서 투영면 까지의 거리)를 설정한다. 영상 처리기(170)는 각 임의 거리를 기준으로 제1 전방 영상을 제1 투영 영상으로 변환한다. 영상 처리기(170)는 각 임의 거리를 기준으로 제2 전방 영상을 제2 투영 영상으로 변환한다. 영상 처리기(170)는 동일한 임의 거리를 기준으로 변환된 제1 투영 영상 및 제2 투영 영상을 비교하여 일치도(유사도)를 산출한다. 영상 처리기(170)는 복수의 임의 거리 각각의 일치도를 비교하여 가장 높은 일치도를 갖는 임의 거리를 합성을 위한 거리 정보로 설정한다.The image processor 170 may obtain distance information from the first front image and the second front image. That is, the image processor 170 sets a plurality of arbitrary distances (distances from the camera to the projection surface). The image processor 170 converts the first front image into a first projection image based on each arbitrary distance. The image processor 170 converts the second front image into a second projection image based on each arbitrary distance. The image processor 170 calculates a degree of match (similarity) by comparing the converted first and second projection images based on the same arbitrary distance. The image processor 170 compares the coincidence of each of the plurality of arbitrary distances and sets an arbitrary distance having the highest degree of coincidence as distance information for synthesis.

이를 위해, 영상 처리기(170)는 휠 로더(10)가 정차하면 거리 정보를 설정한다. 영상 처리기(170)는 각각의 임의 거리별로 제1 투영 영상 및 제2 투영 영상을 생성한다. 영상 처리기(170)는 제1 투영 영상 및 제2 투영 영상의 일치도가 가장 높은 임의 거리를 거리 정보로 설정한다. 여기서, 영상 처리기(170)는 휠 로더(10)가 정차하면 거리 정보를 설정한 것으로 설명하였으나, 이에 한정되지 않고 휠 로더(10)가 운행 중인 상태에서도 거리 정보를 설정할 수 있다.To this end, the image processor 170 sets distance information when the wheel loader 10 stops. The image processor 170 generates a first projection image and a second projection image for each arbitrary distance. The image processor 170 sets an arbitrary distance with the highest coincidence between the first and second projection images as distance information. Here, the image processor 170 has been described as setting distance information when the wheel loader 10 stops, but the present invention is not limited thereto, and the distance information may be set even when the wheel loader 10 is running.

일례로, 도 17을 참조하면, 영상 처리기(170)는 제1 임의 거리(d1) 내지 제5 임의 거리(d5)를 설정하고, 대상물은 제4 임의 거리(d4)에 위치한 것으로 가정한다.As an example, referring to FIG. 17, it is assumed that the image processor 170 sets a first arbitrary distance d1 to a fifth arbitrary distance d5 and the object is located at a fourth arbitrary distance d4.

영상 처리기(170)는 제1 임의 거리(d1)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-1 투영 영상(img1-1) 및 제2-1 투영 영상(img2-1)을 생성한다. 영상 처리기(170)는 제1-1 투영 영상(img1-1) 및 제2-1 투영 영상(img2-1)의 일치도(C1)를 산출한다.The image processor 170 converts the first front image img1 and the second front image img2 based on the first arbitrary distance d1 to convert the 1-1 projection images img1-1 and 2-1. Create a projection image (img2-1). The image processor 170 calculates a degree of coincidence C1 between the 1-1th projection image img1-1 and the 2-1th projection image img2-1.

영상 처리기(170)는 제2 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-2 투영 영상(img1-2) 및 제2-2 투영 영상(img2-2)을 생성한다. 영상 처리기(170)는 제1-2 투영 영상(img1-2) 및 제2-2 투영 영상(img2-2)의 일치도(C2)를 산출한다.The image processor 170 converts the first front image img1 and the second front image img2 based on the second arbitrary distance d2 to convert the 1-2 projected images img1-2 and 2-2. Create a projection image (img2-2). The image processor 170 calculates a degree of coincidence C2 between the 1-2 projected image img1-2 and the 2-2 projected image img2-2.

영상 처리기(170)는 제3 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-3 투영 영상(img1-3) 및 제2-3 투영 영상(img2-3)을 생성한다. 영상 처리기(170)는 제1-3 투영 영상(img1-3) 및 제2-3 투영 영상(img2-3)의 일치도(C3)를 산출한다.The image processor 170 converts the first front image img1 and the second front image img2 based on the third arbitrary distance d2 to convert the 1-3 projected images img1-3 and 2-3 Create a projection image (img2-3). The image processor 170 calculates a degree of correspondence C3 between the 1-3th projection image img1-3 and the 2-3rd projection image img2-3.

영상 처리기(170)는 제4 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-4 투영 영상(img1-4) 및 제2-4 투영 영상(img2-4)을 생성한다. 영상 처리기(170)는 제1-4 투영 영상(img1-4) 및 제2-4 투영 영상(img2-4)의 일치도(C4)를 산출한다.The image processor 170 converts the first front image img1 and the second front image img2 based on the fourth arbitrary distance d2 to convert the 1-4 projected images img1-4 and 2-4. Create a projection image (img2-4). The image processor 170 calculates a degree of coincidence C4 between the 1-4th projection image img1-4 and the 2-4th projection image img2-4.

영상 처리기(170)는 제5 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-5 투영 영상(img1-5) 및 제2-5 투영 영상(img2-5)을 생성한다. 영상 처리기(170)는 제1-5 투영 영상(img1-5) 및 제2-5 투영 영상(img2-5)의 일치도(C5)를 산출한다.The image processor 170 converts the first front image img1 and the second front image img2 based on the fifth arbitrary distance d2 to convert the 1-5 projection images img1-5 and 2-5. Create a projection image (img2-5). The image processor 170 calculates a degree of coincidence C5 between the 1-5th projection image img1-5 and the 2-5th projection image img2-5.

영상 처리기(170)는 제1 임의 거리(d1) 내지 제5 임의 거리(d5)의 일치도(C1~C5)를 비교하여 가장 높은 일치도를 갖는 임의 거리를 검출하여 거리 정보로 설정한다. 이때, 도 17에서는 대상물의 실제 위치인 제4 임의 거리(d4)에서 가장 높은 일치도(C4)가 산출되므로, 제4 임의 거리(d4)를 거리 정보로 설정한다.The image processor 170 compares the matching degrees C1 to C5 of the first random distance d1 to the fifth random distance d5, detects an arbitrary distance having the highest degree of matching, and sets the distance information. At this time, in FIG. 17, since the highest degree of match C4 is calculated from the fourth arbitrary distance d4 which is the actual position of the object, the fourth arbitrary distance d4 is set as distance information.

영상 처리기(170)는 휠 로더(10)의 위치가 변경되지 않으면, 기설정된 거리 정보를 이용하여 이후 시점(時點)의 제1 전방 영상 및 제2 전방 영상을 투영 영상으로 변환한다. 영상 처리기(170)는 휠 로더(10)의 위치가 변경되면 거리 정보를 재설정하며, 정확도를 높이기 위해서는 각 시점별로 거리정보를 설정할 수도 있다.If the position of the wheel loader 10 is not changed, the image processor 170 converts the first front image and the second front image of a later viewpoint into a projection image using preset distance information. The image processor 170 resets distance information when the position of the wheel loader 10 is changed, and may set distance information for each viewpoint in order to increase accuracy.

한편, 영상 처리기(170)는 사용자에 의해 수동으로 설정된 거리 정보를 이용하여 제1 전방 영상 및 제2 전방 영상을 변환한 후 이들을 합성하여 합성 전방 영상을 생성할 수도 있다.Meanwhile, the image processor 170 may generate a synthesized front image by converting the first front image and the second front image using distance information manually set by the user, and then synthesizing them.

영상 처리기(170)는 제1 카메라(110) 및 제2 카메라(130)의 얼라인(Align)을 통해 거리 정보를 취득할 수도 있다. 즉, 제1 카메라(110) 및 제2 카메라(130)의 위치 정보를 이용한 삼각 측량법을 통해 거리 정보를 취득할 수도 있다. 물론, 영상 처리기(170)는 라이다(Lidar), 3차원 레이저 스캐너, TOF(Time-Of-flight) 방식의 깊이 카메라, 초음파 카메라 등을 통해 거리 정보를 취득할 수도 있다.The image processor 170 may acquire distance information through alignment of the first camera 110 and the second camera 130. That is, distance information may be obtained through triangulation using the location information of the first camera 110 and the second camera 130. Of course, the image processor 170 may acquire distance information through a lidar, a 3D laser scanner, a time-of-flight (TOF) depth camera, an ultrasound camera, or the like.

영상 처리기(170)는 대상물이 복수이고, 서로 다른 임의 거리에 위치한 경우 복수의 임의 거리를 이용하여 영상의 영역별로 거리 정보를 설정할 수도 있다. 영상 처리기(170)는 영상 상단 영역과 영상 하단 영역을 서로 다른 거리 정보를 기준으로 제1 전방 영상 및 제2 전방 영상을 투영 영상으로 변환하고, 변환된 투영 영상들을 합성하여 합성 전방 영상을 생성한다.The image processor 170 may set distance information for each area of an image by using a plurality of random distances when there are a plurality of objects and are located at different random distances. The image processor 170 converts the first front image and the second front image into a projection image based on different distance information between the upper region of the image and the lower region of the image, and synthesizes the converted projection images to generate a synthesized front image. .

일례로, 도 18을 참조하면, 제1 대상물이 제4 임의 거리(d4)에 위치하고, 제2 대상물이 제3 임의 거리(d3)에 위치한 것으로 가정한다. 영상 처리기(170)는 각 임의 거리를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 투영 영상(img1-1~img1-5, img2-1~img2-5)으로 변환한다.For example, referring to FIG. 18, it is assumed that a first object is located at a fourth arbitrary distance d4 and a second object is located at a third arbitrary distance d3. The image processor 170 converts the first front image img1 and the second front image img2 into projection images img1-1 to img1-5 and img2-1 to img2-5 based on each arbitrary distance. .

제1 대상물에 대해서는 제4 임의 거리(d4)에서의 일치도가 가장 높고, 제2 대상물에 대해서는 제3 임의 거리(d3)에서의 일치도가 가장 높게 산출된다. 따라서, 영상 처리기(170)는 제2 대상물이 투영되는 영상 하단 영역의 경우 제3 임의 거리(d3)를 거리 정보로 설정하고, 영상 하단 영역을 제외한 나머지 영상 영역의 경우 제4 임의 거리(d4)를 거리 정보로 설정한다.For the first object, the degree of match at the fourth arbitrary distance d4 is highest, and for the second object, the degree of match at the third random distance d3 is highest. Accordingly, the image processor 170 sets the third arbitrary distance d3 as distance information in the case of the lower region of the image on which the second object is projected, and the fourth arbitrary distance d4 in the case of the remaining image region excluding the lower region of the image Is set as distance information.

영상 처리기(170)는 제3 임의 거리(d3)를 기준으로 제1 전방 영상의 영상 하단 영역을 변환하고, 제4 임의 거리(d4)를 기준으로 제1 전방 영상의 나머지 영상 영역을 변환하여 제1 투영 영상을 생성한다.The image processor 170 converts the lower image area of the first front image based on a third arbitrary distance d3, and converts the remaining image area of the first front image based on a fourth arbitrary distance d4 1 Create a projection image.

영상 처리기(170)는 제3 임의 거리(d3)를 기준으로 제2 전방 영상의 영상 하단 영역을 변환하고, 제4 임의 거리(d4)를 기준으로 제2 전방 영상의 나머지 영상 영역을 변환하여 제2 투영 영상을 생성한다.The image processor 170 converts the lower area of the image of the second front image based on a third arbitrary distance d3, and converts the remaining image area of the second front image based on the fourth arbitrary distance d4. 2 Create a projection image.

영상 처리기(170)는 두 개의 거리 정보를 이용하여 변환한 제1 투영 영상 및 제2 투영 영상을 합성하여 합성 전방 영상을 생성한다.The image processor 170 generates a synthesized front image by synthesizing the first projection image and the second projection image converted by using the two distance information.

도 19 내지 도 23을 참조하면, 영상 처리기(170)는 거리 정보를 이용하여 제1 전방 영상 및 제2 전방 영상을 각각 제1 투영 영상 및 제2 투영 영상으로 변환한다. 영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상에 특징점을 설정하고, 제1 전방 영상 및 제2 전방 영상에 모두 매칭되는 특징점들을 이용하여 거리 정보를 설정한다. 영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상에 설정된 특징점들을 이용하여 합성에 사용될 영역을 검출한다. 영상 처리기(170)는 거리 정보를 이용하여 제1 전방 영상에서 검출한 영역을 변환하여 제1 투영 영상을 생성하고, 거리 정보를 이용하여 제2 전방 영상에서 검출한 영역을 변환하여 제2 투영 영상을 생성한다. 영상 처리기(170)는 제1 투영 영상과 제2 투영 영상을 합성하여 합성 투영 영상을 생성한다. 이때, 영상 처리기(170)는 합성 투영 영상 생성시 제1 투영 영상과 제2 투영 영상의 중첩 영역에 대한 투명도를 각각 설정하여 버켓(16)을 반투명 상태로 표시하는 합성 전방 영상을 생성한다. 영상 처리기(170)는 제1 투영 영상과 제2 투영 영상의 중첩 영역을 비중첩 영역보다 밝게 처리된 합성 전방 영상을 생성할 수도 있다.19 to 23, the image processor 170 converts a first front image and a second front image into a first projection image and a second projection image, respectively, using distance information. The image processor 170 sets feature points on the first front image and the second front image, and sets distance information using feature points that match both the first and second front images. The image processor 170 detects a region to be used for synthesis by using feature points set in the first and second front images. The image processor 170 generates a first projection image by converting the region detected from the first front image using distance information, and converts the region detected from the second front image using the distance information to generate a second projection image. Is created. The image processor 170 generates a composite projection image by synthesizing the first projection image and the second projection image. At this time, the image processor 170 generates a composite front image that displays the bucket 16 in a semi-transparent state by setting transparency for an overlapping area of the first and second projection images, respectively, when generating the composite projection image. The image processor 170 may generate a composite front image in which the overlapped region of the first and second projection images is processed to be brighter than the non-overlapping region.

디스플레이(190)는 영상 처리기(170)에서 합성된 합성 전방 영상을 표시한다. 디스플레이(190)는 운전석 또는 리모트 조정 장치에 배치되고, 영상 처리기(170)로부터 합성 전방 영상을 수신하여 표시한다.The display 190 displays the synthesized front image synthesized by the image processor 170. The display 190 is disposed in a driver's seat or a remote control device, and receives and displays a synthesized front image from the image processor 170.

한편, 본 발명의 실시 예를 용이하게 설명하기 위해서 건설장비가 휠 로더인 것을 예로 들어 설명하지만, 이에 한정되지 않고 포크레인, 지게차 등과 같이 구동시 시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비를 포함한다.On the other hand, in order to easily describe the embodiment of the present invention, the construction equipment is described as an example of a wheel loader, but the present invention is not limited thereto. Includes.

또한, 휠 로더를 예로 들어 설명함에 따라 휠 로더의 버켓을 시야 방해 부품인 것으로 설명하였으나, 이에 한정되지 않고 시야 방해 부품은 포크레인의 버켓, 버켓 붐 및 버켓 실린더 등, 지게차의 마스트, 리프트 체인, 캐리지, 포크암 및 포크 등과 같이 전방 시야를 방해하는 부품일 수 있다.In addition, as the wheel loader is described as an example, the bucket of the wheel loader has been described as being a visual obstruction component, but the visual obstruction component is not limited thereto. , A fork arm, a fork, and the like may be a component that obstructs the front view.

이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.Although the preferred embodiments according to the present invention have been described above, various modifications are possible, and those of ordinary skill in the art will have various modifications and modifications without departing from the scope of the claims of the present invention. It is understood that it can be done.

100: 건설장비용 전방 영상 생성 장치
110: 제1 카메라 130: 제2 카메라
150: 시점 제어기 170: 영상 처리기
190: 디스플레이100: front image generating device for construction equipment
110: first camera 130: second camera
150: view controller 170: image processor
190: display

Claims (10)

삭제delete 삭제delete 삭제delete 시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비의 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치로서,
건설장비의 제1 차체에 배치되어 제1 전방 영상을 생성하는 제1 카메라;
상기 건설장비의 제2 차체에 배치되어 제2 전방 영상을 생성하는 제2 카메라;
상기 제2 카메라의 이동에 따라 상기 제1 카메라를 회전시키는 시점 제어기; 및
상기 제1 전방 영상 및 상기 제2 전방 영상을 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함하고,
상기 제2 차체는 조향 축을 통해 상기 제1 차체와 연결되고,
상기 시점 제어기는 상기 조향 축에서 상기 건설장비의 상부 방향으로 연장되어 상기 조향 축과 동일한 각도로 회전하는 연장 축을 포함하고,
상기 연장 축은 상기 조향 축에서 연장되어 상기 조향 축과 동일 선상에 배치된 상기 제1 카메라와 연결된 건설장비용 전방 영상 생성 장치.It is a front image generation device for construction equipment that generates a front image of construction equipment in which a blind spot occurs in the front by a part that obstructs the field of vision.
A first camera disposed on a first vehicle body of construction equipment to generate a first front image;
A second camera disposed on a second vehicle body of the construction equipment to generate a second front image;
A viewpoint controller rotating the first camera according to the movement of the second camera; And
An image processor for generating a synthesized front image by synthesizing the first front image and the second front image,
The second vehicle body is connected to the first vehicle body through a steering shaft,
The viewpoint controller includes an extension shaft extending from the steering shaft in an upper direction of the construction equipment to rotate at the same angle as the steering shaft,
The extension shaft extends from the steering shaft and is connected to the first camera disposed on the same line as the steering shaft. 삭제delete 시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비의 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치로서,
건설장비의 제1 차체에 배치되어 제1 전방 영상을 생성하는 제1 카메라;
상기 건설장비의 제2 차체에 배치되어 제2 전방 영상을 생성하는 제2 카메라;
상기 제2 카메라의 이동에 따라 상기 제1 카메라를 회전시키는 시점 제어기; 및
상기 제1 전방 영상 및 상기 제2 전방 영상을 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함하고,
상기 제2 차체는 조향 축을 통해 상기 제1 차체와 연결되고,
상기 시점 제어기는,
상기 조향 축에서 상기 건설장비의 상부 방향으로 연장되어 상기 조향 축과 동일한 각도로 회전하는 세로 연장 축; 및
상기 세로 연장 축에서 상기 건설장비의 가로 방향으로 연장된 가로 연장 축을 포함하고,
상기 가로 연장 축은 상기 세로 연장 축에서 연장되어 상기 조향 축과 다른 선상에 배치된 상기 제1 카메라와 연결된 건설장비용 전방 영상 생성 장치.It is a front image generation device for construction equipment that generates a front image of construction equipment in which a blind spot occurs in the front by a part that obstructs the field of vision.
A first camera disposed on a first vehicle body of construction equipment to generate a first front image;
A second camera disposed on a second vehicle body of the construction equipment to generate a second front image;
A viewpoint controller rotating the first camera according to the movement of the second camera; And
An image processor for generating a synthesized front image by synthesizing the first front image and the second front image,
The second vehicle body is connected to the first vehicle body through a steering shaft,
The viewpoint controller,
A vertical extension shaft extending from the steering shaft in an upper direction of the construction equipment to rotate at the same angle as the steering shaft; And
Including a horizontal extension axis extending in the horizontal direction of the construction equipment from the vertical extension axis,
The horizontal extension axis extends from the vertical extension axis and is connected to the first camera disposed on a different line from the steering axis. 삭제delete 삭제delete 시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비의 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치로서,
건설장비의 제1 차체에 배치되어 제1 전방 영상을 생성하는 제1 카메라;
상기 건설장비의 제2 차체에 배치되어 제2 전방 영상을 생성하는 제2 카메라;
상기 제2 카메라의 이동에 따라 상기 제1 카메라를 회전시키는 시점 제어기; 및
상기 제1 전방 영상 및 상기 제2 전방 영상을 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함하고,
상기 시야 방해 부품에는 마커가 장착되어 있고,
상기 시점 제어기는 상기 제1 전방 영상에 포함된 시야 방해 부품 위치를 근거로 상기 제1 카메라를 회전시키되, 상기 제1 전방 영상으로부터 시야 방해 부품의 마커 위치를 검출하고, 상기 제1 전방 영상의 마커 위치를 근거로 상기 제1 카메라를 회전시키는 건설장비용 전방 영상 생성 장치.It is a front image generation device for construction equipment that generates a front image of construction equipment in which a blind spot occurs in the front by a part that obstructs the field of vision.
A first camera disposed on a first vehicle body of construction equipment to generate a first front image;
A second camera disposed on a second vehicle body of the construction equipment to generate a second front image;
A viewpoint controller rotating the first camera according to the movement of the second camera; And
An image processor for generating a synthesized front image by synthesizing the first front image and the second front image,
A marker is mounted on the visual obstruction component,
The viewpoint controller rotates the first camera based on the position of the visual field obstruction component included in the first front image, detects the position of the marker of the field obstruction component from the first front image, and the marker of the first front image A front image generating device for construction equipment that rotates the first camera based on a position. 삭제delete
KR1020190158374A 2019-09-20 2019-12-02 Apparatus for generating front image for construction equipment KR102235125B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/012606 WO2021054757A1 (en) 2019-09-20 2020-09-18 Front image generation device for construction equipment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190116070 2019-09-20
KR1020190116070 2019-09-20

Publications (2)

Publication Number Publication Date
KR20210034449A KR20210034449A (en) 2021-03-30
KR102235125B1 true KR102235125B1 (en) 2021-04-02

Family

ID=75265258

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020190158373A KR102235123B1 (en) 2019-09-20 2019-12-02 Apparatus for generating front image for heavy equipment
KR1020190158375A KR20210034450A (en) 2019-09-20 2019-12-02 Apparatus for generating front image for construction equipment
KR1020190158374A KR102235125B1 (en) 2019-09-20 2019-12-02 Apparatus for generating front image for construction equipment

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020190158373A KR102235123B1 (en) 2019-09-20 2019-12-02 Apparatus for generating front image for heavy equipment
KR1020190158375A KR20210034450A (en) 2019-09-20 2019-12-02 Apparatus for generating front image for construction equipment

Country Status (1)

Country Link
KR (3) KR102235123B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115695717A (en) * 2021-07-28 2023-02-03 现代斗山英维高株式会社 Control system and method for construction machine
KR102485302B1 (en) * 2022-04-07 2023-01-06 한화시스템 주식회사 Portable image display apparatus and image display method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101640602B1 (en) * 2009-12-15 2016-07-18 두산인프라코어 주식회사 Apparatus and method for displaying dead zone of construction equipment
KR101859229B1 (en) * 2011-12-19 2018-05-17 두산인프라코어 주식회사 Apparatus and method for displaying operation guide information of construction equipment
KR101998300B1 (en) 2014-11-05 2019-07-10 현대건설기계 주식회사 Working environment monitoring apparatus and working environment monitoring method performed in the same
KR102328031B1 (en) * 2016-12-08 2021-11-17 현대모비스 주식회사 Apparatus for generating top-view image and method thereof
KR20180078970A (en) * 2016-12-30 2018-07-10 화남전자 주식회사 Camera Arranging Structure for Monitoring Surrounding Area of Construction Equipment

Also Published As

Publication number Publication date
KR102235123B1 (en) 2021-04-02
KR20210034449A (en) 2021-03-30
KR20210034450A (en) 2021-03-30
KR20210034448A (en) 2021-03-30

Similar Documents

Publication Publication Date Title
EP2833162B1 (en) Perimeter-monitoring device for operating machine
JP5888956B2 (en) Excavator and surrounding image display method of the excavator
JP6777375B2 (en) Work machine image display system, work machine remote control system and work machine
CN104584540B (en) The surroundings monitoring apparatus of Work machine
JP6832548B2 (en) Work machine image display system, work machine remote control system, work machine and work machine image display method
US20150009329A1 (en) Device for monitoring surroundings of machinery
US10527413B2 (en) Outside recognition device
JP4740890B2 (en) Construction machine and backward movement guidance method for construction machine
KR101752613B1 (en) Periphery monitoring device for work machine
JP6541734B2 (en) Shovel
JPH11222882A (en) Dangerous zone monitoring device
KR102235125B1 (en) Apparatus for generating front image for construction equipment
JP2010204821A (en) Working machine equipped with periphery monitoring device
KR20130069912A (en) Apparatus and method for displaying operation guide information of construction equipment
CN115362297A (en) Periphery detection device for construction machine
JP7560163B2 (en) Excavator
CN112218988B (en) Excavator
KR20230017724A (en) System and method of controlling construction machinery
WO2021054757A1 (en) Front image generation device for construction equipment
CN114375568B (en) Front image generating device for heavy machinery
KR20170099252A (en) Display system
JP2016065449A (en) Shovel
US12084840B2 (en) System and method for work machine
JP7346061B2 (en) excavator
US20220230391A1 (en) Display system and display method

Legal Events

Date Code Title Description
GRNT Written decision to grant