WO2021054757A1 - 건설장비용 전방 영상 생성 장치 - Google Patents

건설장비용 전방 영상 생성 장치 Download PDF

Info

Publication number
WO2021054757A1
WO2021054757A1 PCT/KR2020/012606 KR2020012606W WO2021054757A1 WO 2021054757 A1 WO2021054757 A1 WO 2021054757A1 KR 2020012606 W KR2020012606 W KR 2020012606W WO 2021054757 A1 WO2021054757 A1 WO 2021054757A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
front image
image
construction equipment
viewpoint
Prior art date
Application number
PCT/KR2020/012606
Other languages
English (en)
French (fr)
Inventor
박재홍
이정표
Original Assignee
주식회사 와이즈오토모티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190158374A external-priority patent/KR102235125B1/ko
Application filed by 주식회사 와이즈오토모티브 filed Critical 주식회사 와이즈오토모티브
Publication of WO2021054757A1 publication Critical patent/WO2021054757A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present invention relates to a front image generating device for construction equipment, and more particularly, a front image generating device for construction equipment that generates a front image for securing a front view in construction equipment such as wheel loaders that is difficult to check the front during work. It is about.
  • Construction equipment is equipment that is used for various works on a construction site, for example, a wheel loader and a forklift.
  • a wheel loader and a forklift.
  • the driver's front view is obscured by the large parts during work.
  • the driver's front view is obscured by a bucket that moves up and down from the front during work.
  • the present invention has been proposed to solve the above-described conventional problem, and a front image generating apparatus for construction equipment in which the first camera and the second camera maintain the same viewpoint by rotating the first camera according to the rotation of the second camera. It aims to provide.
  • the viewpoint controller rotates the first camera so that the horizontal viewpoint of the first camera coincides with the horizontal viewpoint of the second camera.
  • the second vehicle body is connected to the first vehicle body through a steering shaft
  • the viewpoint controller includes an extension shaft extending from the steering shaft in the upper direction of the construction equipment to rotate at the same angle as the steering shaft.
  • the extension axis may extend from the steering axis and be connected to the first camera disposed on the same line as the steering axis.
  • the second vehicle body is connected to the first vehicle body through the steering axis, and the viewpoint controller extends from the steering axis to the top of the construction equipment and rotates at the same angle as the steering axis.
  • the viewpoint controller extends from the steering axis to the top of the construction equipment and rotates at the same angle as the steering axis.
  • Another example is to include an extended transverse axis.
  • the horizontal extension axis may extend from the vertical extension axis and be connected to the first camera disposed on a different line from the steering axis.
  • the viewpoint controller may rotate the first camera based on the position of the visual field obstruction part included in the first front image.
  • the viewpoint controller detects an edge component of a visual field obstruction component from the first front image, and rotates the first camera based on the position of the edge component of the first front image.
  • Another example is that a marker is mounted on the field-of-view component, and the viewpoint controller detects the position of the marker of the field-of-view component from the first front image, and rotates the first camera based on the position of the marker of the first front image.
  • the viewpoint controller may rotate the first camera based on the rotation of the second vehicle body received from the second camera and a sensor disposed in the construction equipment.
  • the front image generating apparatus for construction equipment combines and displays images taken from the top and bottom of the construction equipment, thereby preventing the occurrence of blind spots caused by parts of the construction equipment, thereby preventing the driver's front view from being obscured. It can have an effect.
  • the front image generating apparatus for construction equipment rotates the first camera according to the rotation of the second camera to keep the viewpoint of the first camera the same as the viewpoint of the second camera, so that the synthesis of the front images reduces the amount of computation and the synthesis time. There is an effect that can be minimized.
  • the front image generating device for construction equipment rotates the first camera according to the rotation of the second camera to keep the viewpoint of the first camera the same as the viewpoint of the second camera, so that the front images can be synthesized within a short time. There is an effect of providing a front image such as real-time information to the driver.
  • 1 to 3 are views for explaining an apparatus for generating a front image for construction equipment according to an embodiment of the present invention.
  • 4 to 10 are views for explaining the viewpoint controller of FIG. 3.
  • 11 to 18 are views for explaining the image processor of FIG. 3.
  • 19 to 23 are diagrams for explaining a process in which the image processor of FIG. 3 generates a synthesized front image using feature points.
  • the front image generating apparatus for construction equipment synthesizes and displays images taken from a plurality of cameras installed in the construction equipment, thereby causing a blind spot caused by a component of the construction equipment (that is, a part that obstructs the view).
  • the purpose and effect are to relieve the rent.
  • the front image generating apparatus 100 for construction equipment includes a first camera 110, a second camera 130, a viewpoint controller 150, an image processor 170, and a display 190. Consists of including.
  • the wheel loader 10 is composed of a first vehicle body 12 and a second vehicle body 14.
  • the first vehicle body 12 is a part where the driver is located, and includes a cab, an engine, a transmission, a rear axle, a fuel tank, and the like.
  • the second vehicle body 14 is a part where the bucket 16 is located, and includes a bucket 16, a bell crank, a bucket 16 cylinder, a front axle, and the like.
  • the second vehicle body 14 is disposed in front of the first vehicle body 12.
  • the first vehicle body 12 and the second vehicle body 14 are connected via a steering shaft.
  • the second vehicle body 14 rotates about the steering axis, so that the rotation direction of the wheel loader 10 is changed.
  • the first camera 110 is disposed on the top of the first vehicle body 12 of the wheel loader 10 and photographs the front of the wheel loader 10 to generate a first front image.
  • the first camera 110 is disposed above the cab of the first vehicle body 12 of the wheel loader 10, and takes an example of generating a first front image by photographing the front (front) of the wheel loader 10 .
  • the second camera 130 is disposed at the lower front of the wheel loader 10 and photographs the front of the wheel loader 10 to generate a second front image.
  • the second camera 130 is disposed at the lower front of the second vehicle body 12 of the wheel loader 10, and is in front of the wheel loader 10 at the lower end of the second vehicle body 12 of the wheel loader 10. ) Is taken as an example to generate a second front image.
  • the arrangement positions of the first camera 110 and the second camera 130 are limited to the upper and lower ends of the wheel loader 10, but are not limited thereto.
  • the first camera 110 and the second camera 130 may be disposed in a position where a front image can be photographed.
  • the present invention is not limited to this, and the analysis includes generating an image using three or more cameras. It should be. For example, it is possible to combine two or more cameras mounted in front of the driver's seat with the first camera 110 and the second camera 130 to synthesize images, and a front image such as a camera mounted on an arm or bucket 16 If it is possible to photograph even a part of it, it can be used for the synthesis of the image according to the present invention.
  • the viewpoint controller 150 drives the first camera 110 based on the viewpoint of the second camera 130. That is, since the first camera 110 and the second camera 130 are disposed at a distance from the first vehicle body 12 and the second vehicle body 14, respectively, when the second vehicle body 14 rotates, the first camera ( 110) and the second camera 130 have different views in the horizontal direction. Accordingly, the viewpoint controller 150 rotates or moves the first camera 110 so that the horizontal viewpoint of the first camera 110 coincides with the horizontal viewpoint of the second camera 130.
  • the viewpoint means a viewpoint in the horizontal direction of the camera, and the viewpoint in the vertical direction may be different.
  • the first camera 110 photographs the front side based on the first vehicle body 12.
  • a first front image is generated
  • the second camera 130 photographs the front side based on the first vehicle body 12 to generate a second front image.
  • a difference ⁇ occurs between the viewpoint of the first front image and the viewpoint of the second front image according to the degree of rotation of the second vehicle body 14.
  • the image processor 170 when the image processor 170 generates a synthesized front image, the amount of computation increases rapidly, so that a high-spec system must be constructed, or the image synthesis time increases. Accordingly, the viewpoint controller 150 rotates or moves the first camera 110 to match the viewpoint of the second camera 130.
  • the viewpoint controller 150 controls the viewpoint of the first camera 110 through a mechanical structure. That is, the viewpoint controller 150 is mechanically connected to the steering shaft of the wheel loader 10 and rotates the first camera 110 as the steering shaft rotates to maintain the same viewpoint as the second camera 130. do.
  • the viewpoint controller 150 when the first camera 110 is disposed on the same line as the steering axis, the viewpoint controller 150 is It may be configured as an extension shaft 152 extending in the upper direction of the wheel loader 10 from a steering shaft connected to the vehicle body 14. One end of the extension shaft 152 is connected to the steering shaft, and the other end of the extension shaft 152 extends upward from the steering shaft and is connected to the first camera 110 disposed on the same line as the steering shaft.
  • the steering shaft rotates to rotate the second vehicle body 14, and the second camera 130 disposed on the second vehicle body 14 also rotates as much as the second vehicle body 14 rotates. This is rotated (moved).
  • the extension shaft 152 rotates in the same direction and angle as the steering shaft. Accordingly, the viewpoint controller 150 rotates (moves) the first camera 110 to have the same viewpoint as the second camera 130.
  • the viewpoint controller 150 when the first camera 110 is disposed on a different line from the steering axis, the viewpoint controller 150 includes the vertical extension axis 156 and the horizontal extension axis 154. It can be configured to include.
  • the longitudinal extension shaft 156 extends in the upper direction of the wheel loader 10 from a steering shaft connected to the first vehicle body 12 and the second vehicle body 14 of the wheel loader 10. One end of the longitudinal extension shaft 156 is connected to the steering shaft, and the other end of the longitudinal extension shaft 156 is connected to one end of the transverse extension shaft 154.
  • the horizontal extension axis 154 is connected to the vertical extension axis 156 and the first camera 110. That is, one end of the horizontally extending shaft 154 is connected to the other end of the vertically extending shaft 156. The other end of the horizontal extension shaft 154 extends to the front or rear of the wheel loader 10 from the other end of the vertical extension shaft 156 and is connected to the first camera 110. Accordingly, one end of the transverse extension shaft 154 is disposed on the same line as the steering axis, and the other end of the transverse extension shaft 154 is disposed on the same line as the camera.
  • the angle between the vertical extension axis 156 and the horizontal extension axis 154 is an acute angle
  • the vertical extension axis 156 and the horizontal extension axis 152 are the first front image according to the characteristics of the first camera 110.
  • the angle between the vertical extension axis 156 and the horizontal extension axis 154 may be formed at a right angle or an acute angle. May be.
  • the steering shaft rotates to rotate the second vehicle body 14, and the second camera 130 disposed on the second vehicle body 14 also rotates as much as the angle at which the second vehicle body 14 rotates.
  • the viewpoint is rotated (moved).
  • the longitudinal extension shaft 156 rotates in the same direction as the steering shaft.
  • the horizontal extension shaft 154 rotates in the same direction and angle as the steering shaft around one side connected to the vertical extension shaft 156. Accordingly, the viewpoint controller 150 rotates (moves) the first camera 110 to have the same viewpoint as the second camera 130.
  • the viewpoint controller 150 may control the viewpoint of the first camera 110 based on an image analysis result rather than a mechanical linkage structure. That is, the viewpoint controller 150 detects the position of the bucket 16 from the first front image, and rotates the first camera 110 based on the position of the bucket 16 to obtain the same viewpoint as the second camera 130. Keep it. At this time, the viewpoint controller 150 rotates the first camera 110 by controlling a power machine such as a motor.
  • the viewpoint controller 150 detects the edge component E of the bucket 16 in the first front image.
  • the viewpoint controller 150 rotates (moves) the first camera 110 using the difference between the edge component E of the first front image and the image center to maintain the same viewpoint as the second camera 130. .
  • the image processor 170 detects the marker M of the bucket 16 from the first front image.
  • the viewpoint controller 150 rotates (moves) the first camera 110 using the difference between the marker M of the first front image and the image center to maintain the same viewpoint as the second camera 130.
  • the viewpoint controller 150 has been described as analyzing the first front image, but the present invention is not limited thereto, and the edge component E of the bucket 16 in the image processor 170 to be described later.
  • the marker M may be detected, and the viewpoint controller 150 may control the viewpoint of the first camera 110 by receiving the detection result from the image processor 180.
  • the viewpoint controller 150 may sense the rotation (movement) of the second vehicle body 14 using a sensor, and control the viewpoint of the first camera 110 based on the result.
  • the front image generating apparatus 100 for construction equipment further includes one or more sensors disposed on the second camera 130, the steering shaft, the steering wheel, the bucket 16, the bucket arm, and the second vehicle body 14. do.
  • the viewpoint controller 150 receives a detection result of detecting the rotation (movement) of the second vehicle body 14 from a sensor, and rotates the first camera 110 based on the received detection result, so that the second camera 130 Keep the same point of view as.
  • the sensor may be composed of a gyro sensor, a rotation sensor, or the like.
  • the image processor 170 generates a synthesized front image by synthesizing the images captured by the first camera 110 and the second camera 130. That is, the image processor 170 generates a synthesized front image by synthesizing the first front image captured by the first camera 110 and the second front image captured by the second camera 130. In this case, the image processor 170 generates a composite image that displays the bucket 16 included in the image in a translucent manner. Through this, the image processor 170 provides the driver with a front image that is not covered by the bucket 16 and a composite front image capable of confirming the position and operation state of the bucket 16.
  • the bucket 16 is disposed at the top, and in the driver's view and the first front image, most of the objects in front* are covered by the bucket 16, and in the second front image, the object in front is covered by the bucket 16. I don't lose.
  • the image processor 170 generates a synthesized front image by synthesizing the first front image and the second front image in order to prevent the object from being covered by the bucket 16.
  • the image processor 170 synthesizes the first front image and the second front image captured at the same point in time by the first camera 110 and the second camera 130 to obtain a synthesized front image without a blind spot in the front view. Generate.
  • the image processor 170 generates a composite front image in which components of the wheel loader 10 such as buckets 16 and arms included in the composite front image are displayed in a translucent manner.
  • the image processor 170 generates a synthesized front image by synthesizing a part of the first front image with the second front image. That is, as shown in FIG. 12, the image processor 170 uses the second front image captured by the second camera 130 as a background, and the first camera 110 at the same time point as the second front image. ) To generate a synthesized front image by synthesizing a portion of the first front image captured in (). In this case, in the composite front image, some restrictions are generated in the front view due to the front wheels of the wheel loader 10, but a sufficient front view can be secured to display the front blind area.
  • the image processor 170 may capture the wheel so that the area in which the wheel is photographed may also be synthesized to be transparent using the first front image.
  • the image processor 170 generates a synthesized front image by synthesizing a part of the second front image with the first front image. That is, as shown in FIG. 13, the image processor 170 uses the first front image captured by the first camera 110 as a background, and the second camera 130 is at the same time point as the first front image. ) To generate a synthesized front image by synthesizing a part of the second front image captured in ). In this case, the composite front image has a relatively wide angle of view compared to the composite front image that uses the second front image because the first front image is used as the background.
  • the image processor 170 may add different weights to the first front image and the second front image according to the position of the bucket 16 to synthesize the synthesized front image when generating the synthesized front image.
  • the image processor 170 assigns a higher weight to the first front image when the bucket 16 is positioned at the bottom, and gives a higher weight to the second front image when the bucket 16 is positioned at the top.
  • the image processor 170 may display the common region in a color, brightness, or the like different from other regions.
  • the image processor 170 may display the common area relatively brighter than the difference area. That is, the image processor 170 generates a composite front image in which a common area, which is an area in which the second front image is synthesized, among the first front images is displayed relatively brightly compared to other areas. In other words, the image processor 170 brightly displays the area in which the first front image and the second front image are combined, and generates a synthesized front image that darkens the area in which the second front image is not synthesized from the first front image. do.
  • the image processor 170 may adjust color and transparency in order to minimize the sense of heterogeneity of the synthesized front image so that the synthesized region does not differ from the image and transparency of other regions.
  • the image processor 170 displays the bucket 16 in an opaque state until the bucket 16 covers the object, and the bucket 16 is translucent or transparent from the point when the bucket 16 covers the object. You can also display it as a status.
  • the image processor 170 generates a synthesized front image by setting the transparency of the first and second front images to 0.5 and then synthesizing them.
  • the image processor 170 may generate a synthesized front image by dynamically adjusting the transparency of the first and second front images according to the position of the bucket 16 or the arm connected to the bucket 16 and then synthesizing them.
  • the image processor 170 sets the weight of the first front image higher than the weight of the second front image. That is, when the bucket 16 is located at the bottom, since there are many blind spots of the second front image, a high weight is set for the first front image having a relatively small blind spot.
  • the image processor 170 assigns a relatively high weight to the first front image captured by the first camera 110 to set a lower transparency than the second front image, and sets the second front image captured by the second camera 130. A lower weight is given to the image to set a higher transparency than the first front image.
  • the image processor 170 sets the weight of the second front image to be higher than the weight of the first front image when the bucket 16 is located in the middle or top. That is, when the bucket 16 is located at the top, since there are many blind spots of the first front image, a high weight is set for the second front image having a relatively small blind spot.
  • the image processor 170 assigns a relatively high weight to the second front image captured by the second camera 130 to set a lower transparency than the first front image, and sets the first front image captured by the first camera 110. A lower weight is given to the image to set a higher transparency than the second front image.
  • the image processor 170 may generate a synthesized front image by synthesizing the first front image and the second front image on a one-to-one basis. That is, the image processor 170 converts the first front image and the second front image into a flat or curved image of a screen (ie, a projection plane) of a predetermined distance, and synthesizes it to generate a synthesized front image.
  • a synthesized front image by synthesizing the first front image and the second front image on a one-to-one basis. That is, the image processor 170 converts the first front image and the second front image into a flat or curved image of a screen (ie, a projection plane) of a predetermined distance, and synthesizes it to generate a synthesized front image.
  • the image processor 170 may generate a synthesized front image by synthesizing the two images after matching the two images by increasing or decreasing each of the first and second front images without using a projection plane.
  • the image processor 170 needs distance information in order to combine the first front image and the second front image in a one-to-one manner. That is, the image processor 170 converts the first front image and the second front image into a planar image using the distance from the photographing position to the projection surface, and synthesizes the converted planar images to generate a synthesized front image.
  • the image processor 170 may obtain distance information from the first front image and the second front image. That is, the image processor 170 sets a plurality of arbitrary distances (distances from the camera to the projection surface). The image processor 170 converts the first front image into a first projection image based on each arbitrary distance. The image processor 170 converts the second front image into a second projection image based on each arbitrary distance. The image processor 170 calculates a degree of match (similarity) by comparing the converted first and second projection images based on the same arbitrary distance. The image processor 170 compares the coincidence of each of the plurality of arbitrary distances and sets an arbitrary distance having the highest degree of coincidence as distance information for synthesis.
  • the image processor 170 sets distance information when the wheel loader 10 stops.
  • the image processor 170 generates a first projection image and a second projection image for each arbitrary distance.
  • the image processor 170 sets an arbitrary distance with the highest coincidence between the first and second projection images as distance information.
  • the image processor 170 has been described as setting distance information when the wheel loader 10 stops, but the present invention is not limited thereto, and the distance information may be set even when the wheel loader 10 is running.
  • the image processor 170 sets a first arbitrary distance d1 to a fifth arbitrary distance d5 and the object is located at a fourth arbitrary distance d4.
  • the image processor 170 converts the first front image img1 and the second front image img2 based on the first arbitrary distance d1 to convert the 1-1 projection images img1-1 and 2-1. Create a projection image (img2-1).
  • the image processor 170 calculates a degree of coincidence C1 between the 1-1th projection image img1-1 and the 2-1th projection image img2-1.
  • the image processor 170 converts the first front image img1 and the second front image img2 based on the second arbitrary distance d2 to convert the 1-2 projected images img1-2 and 2-2. Create a projection image (img2-2). The image processor 170 calculates a degree of coincidence C2 between the 1-2 projected image img1-2 and the 2-2 projected image img2-2.
  • the image processor 170 converts the first front image img1 and the second front image img2 based on the third arbitrary distance d2 to convert the 1-3 projected images img1-3 and 2-3 Create a projection image (img2-3).
  • the image processor 170 calculates a degree of correspondence C3 between the 1-3th projection image img1-3 and the 2-3rd projection image img2-3.
  • the image processor 170 converts the first front image img1 and the second front image img2 based on the fourth arbitrary distance d2 to convert the 1-4 projected images img1-4 and 2-4. Create a projection image (img2-4). The image processor 170 calculates a degree of coincidence C4 between the 1-4th projection image img1-4 and the 2-4th projection image img2-4.
  • the image processor 170 converts the first front image img1 and the second front image img2 based on the fifth arbitrary distance d2 to convert the 1-5 projection images img1-5 and 2-5. Create a projection image (img2-5).
  • the image processor 170 calculates a degree of match C5 between the 1-5th projection image img1-5 and the 2-5th projection image img2-5.
  • the image processor 170 compares the matching degrees C1 to C5 of the first random distance d1 to the fifth random distance d5, detects an arbitrary distance having the highest degree of matching, and sets the distance information. At this time, in FIG. 17, since the highest degree of match C4 is calculated from the fourth arbitrary distance d4 which is the actual position of the object, the fourth arbitrary distance d4 is set as distance information.
  • the image processor 170 converts the first front image and the second front image of a later viewpoint into a projection image using preset distance information.
  • the image processor 170 resets distance information when the position of the wheel loader 10 is changed, and may set distance information for each viewpoint in order to increase accuracy.
  • the image processor 170 may generate a synthesized front image by converting the first front image and the second front image using distance information manually set by the user, and then synthesizing them.
  • the image processor 170 may acquire distance information through alignment of the first camera 110 and the second camera 130. That is, distance information may be obtained through triangulation using the location information of the first camera 110 and the second camera 130. Of course, the image processor 170 may acquire distance information through a lidar, a 3D laser scanner, a time-of-flight (TOF) depth camera, an ultrasound camera, or the like.
  • TOF time-of-flight
  • the image processor 170 may set distance information for each area of an image by using a plurality of random distances when there are a plurality of objects and are located at different random distances.
  • the image processor 170 converts the first front image and the second front image into a projection image based on different distance information between the upper region of the image and the lower region of the image, and synthesizes the converted projection images to generate a synthesized front image. .
  • the image processor 170 converts the first front image img1 and the second front image img2 into projection images img1-1 to img1-5 and img2-1 to img2-5 based on each arbitrary distance. .
  • the image processor 170 sets the third arbitrary distance d3 as distance information in the case of the lower region of the image on which the second object is projected, and the fourth arbitrary distance d4 in the case of the remaining image regions excluding the lower image region Is set as distance information.
  • the image processor 170 converts the lower image area of the first front image based on a third arbitrary distance d3, and converts the remaining image area of the first front image based on a fourth arbitrary distance d4 1 Create a projection image.
  • the image processor 170 converts the lower area of the image of the second front image based on a third arbitrary distance d3, and converts the remaining image area of the second front image based on the fourth arbitrary distance d4. 2 Create a projection image.
  • the image processor 170 generates a synthesized front image by synthesizing the first projection image and the second projection image converted by using the two distance information.
  • the image processor 170 converts a first front image and a second front image into a first projection image and a second projection image, respectively, using distance information.
  • the image processor 170 sets feature points on the first front image and the second front image, and sets distance information using feature points that match both the first and second front images.
  • the image processor 170 detects a region to be used for synthesis by using feature points set in the first and second front images.
  • the image processor 170 generates a first projection image by converting the region detected from the first front image using distance information, and converts the region detected from the second front image using the distance information to generate a second projection image. Is created.
  • the image processor 170 generates a composite projection image by synthesizing the first projection image and the second projection image.
  • the image processor 170 generates a composite front image that displays the bucket 16 in a semi-transparent state by setting transparency for an overlapping area of the first and second projection images, respectively, when generating the composite projection image.
  • the image processor 170 may generate a composite front image in which the overlapped region of the first and second projection images is processed to be brighter than the non-overlapping region.
  • the display 190 displays the synthesized front image synthesized by the image processor 170.
  • the display 190 is disposed in a driver's seat or a remote control device, and receives and displays a synthesized front image from the image processor 170.
  • the construction equipment is described as an example of a wheel loader, but the present invention is not limited thereto. Includes.
  • the bucket of the wheel loader has been described as being a visual obstruction component, but the visual obstruction component is not limited thereto.
  • a fork arm, a fork, and the like may be a component that obstructs the front view.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

제2 카메라의 이동에 따라 제1 카메라를 회전시켜 제1 카메라 및 제2 카메라가 동일한 시점을 유지하도록 한 건설장비용 전방 영상 생성 장치를 제시한다. 제시된 건설장비용 전방 영상 생성 장치는 건설장비의 제1 차체에 배치되어 제1 전방 영상을 생성하는 제1 카메라, 건설장비의 제2 차체에 배치되어 제2 전방 영상을 생성하는 제2 카메라, 제2 카메라의 이동에 따라 제1 카메라를 회전시키는 제1 카메라의 수평 방향 시점을 제2 카메라의 시점과 일치시키는 시점 제어기 및 제1 전방 영상 및 제2 전방 영상을 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함한다.

Description

건설장비용 전방 영상 생성 장치
본 발명은 건설장비용 전방 영상 생성 장치에 관한 것으로, 더욱 상세하게는 휠 로더 등과 같이 작업시 전방을 확인하기 어려운 건설장비에서 전방 시야를 확보하기 위한 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치에 관한 것이다.
건설장비는 건설 현장에서 다양한 작업에 사용되는 장비로, 휠 로더, 포크레인 등을 예로 들 수 있다. 이때, 건설장비는 운전자의 전방에 대형 부품이 배치되는 경우가 많기 때문에 작업 중에 대형 부품에 의해 운전자의 전방 시야가 가려진다. 일례로, 휠 로더는 작업시 전방에서 승하강하는 버켓(bucket)에 의해 운전자의 전방 시야가 가려진다.
이처럼, 건설장비는 운전자의 전방 시야에 방해가 발생하기 때문에 작업 효율이 떨어지고, 다양한 형태의 안전사고가 발생할 가능성이 높아진다.
본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 제2 카메라의 회전에 따라 제1 카메라를 회전시켜 제1 카메라 및 제2 카메라가 동일한 시점을 유지하도록 한 건설장비용 전방 영상 생성 장치를 제공하는 것을 목적으로 한다.
시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비의 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치로서 건설장비의 제1 차체에 배치되어 제1 전방 영상을 생성하는 제1 카메라, 건설장비의 제2 차체에 배치되어 제2 전방 영상을 생성하는 제2 카메라, 제2 카메라의 이동에 따라 제1 카메라를 회전시키는 시점 제어기 및 제1 전방 영상 및 제2 전방 영상을 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함한다. 시점 제어기는 제1 카메라를 회전시켜 제1 카메라의 수평 방향 시점을 제2 카메라의 수평 방향 시점과 일치시킨다.
제2 차체는 조향 축을 통해 제1 차체와 연결되고, 시점 제어기는 조향 축에서 건설장비의 상부 방향으로 연장되어 조향 축과 동일한 각도로 회전하는 연장 축을 포함하는 것을 일례로 한다. 이때, 연장 축은 조향 축에서 연장되어 조향 축과 동일 선상에 배치된 제1 카메라와 연결될 수 있다.
제2 차체는 조향 축을 통해 제1 차체와 연결되고, 시점 제어기는 조향 축에서 건설장비의 상부 방향으로 연장되어 조향 축과 동일한 각도로 회전하는 세로 연장 축 및 세로 연장 축에서 건설장비의 가로 방향으로 연장된 가로 연장 축을 포함하는 것을 다른 일례로 한다. 이때, 가로 연장 축은 세로 연장 축에서 연장되어 조향 축과 다른 선상에 배치된 제1 카메라와 연결될 수 있다.
시점 제어기는 제1 전방 영상에 포함된 시야 방해 부품 위치를 근거로 제1 카메라를 회전시킬 수도 있다.
시점 제어기는 제1 전방 영상으로부터 시야 방해 부품의 엣지 성분을 검출하고, 제1 전방 영상의 엣지 성분의 위치를 근거로 제1 카메라를 회전시키는 것을 일례로 한다.
시야 방해 부품에는 마커가 장착되어 있고, 시점 제어기는 제1 전방 영상으로부터 시야 방해 부품의 마커 위치를 검출하고, 제1 전방 영상의 마커 위치를 근거로 제1 카메라를 회전시키는 것을 다른 일례로 한다.
한편, 시점 제어기는 제2 카메라 및 건설장비에 배치된 센서로부터 수신한 제2 차체의 회전을 근거로 제1 카메라를 회전시킬 수도 있다.
본 발명에 의하면, 건설장비용 전방 영상 생성 장치는 건설장비의 상단 및 하단에서 촬영된 영상들을 합성하여 표시함으로써, 건설장비의 부품에 의한 사각 발생을 방지하여 운전자의 전방 시야가 가려지는 것을 방지할 수 있는 효과가 있다.
또한, 건설장비용 전방 영상 생성 장치는 제2 카메라의 회전에 따라 제1 카메라를 회전시켜 제1 카메라의 시점을 제2 카메라의 시점과 동일하게 유지함으로써, 전방 영상들의 합성이 연산량 및 합성 시간을 최소할 수 있는 효과가 있다.
또한, 건설장비용 전방 영상 생성 장치는 제2 카메라의 회전에 따라 제1 카메라를 회전시켜 제1 카메라의 시점을 제2 카메라의 시점과 동일하게 유지함으로써, 짧은 시간내에 전방 영상들의 합성이 가능하여 실시간 정보와 같은 전방 영상을 운전자에게 제공할 수 있는 효과가 있다.
도 1 내지 도 3은 본 발명의 실시 예에 따른 건설장비용 전방 영상 생성 장치를 설명하기 위한 도면.
도 4 내지 도 10은 도 3의 시점 제어기를 설명하기 위한 도면.
도 11 내지 도 18은 도 3의 영상 처리기를 설명하기 위한 도면.
도 19 내지 도 23은 도 3의 영상 처리기가 특징점을 이용해 합성 전방 영상을 생성하는 과정을 설명하기 위한 도면.
이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시 예에 따른 건설장비용 전방 영상 생성 장치는 건설장비에 설치된 복수의 카메라에서 촬영한 영상을 합성하여 표시함으로써, 건설장비의 부품(즉, 시야 방해 부품)에 의해 전방에서 발생하는 사각 지대를 해소하는 것을 목적 및 효과로 한다.
도 1 내지 도 3을 참조하면, 건설장비용 전방 영상 생성 장치(100)는 제1 카메라(110), 제2 카메라(130), 시점 제어기(150), 영상 처리기(170) 및 디스플레이(190)를 포함하여 구성된다.
휠 로더(10)는 제1 차체(12) 및 제2 차체(14)로 구성된다. 제1 차체(12)는 운전자가 위치하는 부분이며, 운전실, 엔진, 트랜스미션, 후차축, 연료탱크 등을 포함한다. 제2 차체(14)는 버켓(16)이 위치하는 부분이며, 버켓(16), 벨 크랭크, 버켓(16) 실린더, 전차축 등을 포함한다.
제2 차체(14)는 제1 차체(12)의 전방에 배치된다. 제1 차체(12) 및 제2 차체(14)는 조향 축을 통해 연결된다. 운전자가 운전석의 조향 휠을 조작하면, 제2 차체(14)가 조향 축을 중심으로 회전하여 휠 로더(10)의 회전 방향이 변경된다.
제1 카메라(110)는 휠 로더(10)의 제1 차체(12) 상단에 배치되고, 휠 로더(10)의 전방을 촬영하여 제1 전방 영상을 생성한다. 제1 카메라(110)는 휠 로더(10)의 제1 차체(12)의 운전실 상부에 배치되며, 휠 로더(10)의 전방(정면)을 촬영하여 제1 전방 이미지를 생성하는 것을 일례로 한다.
제2 카메라(130)는 휠 로더(10)의 전면 하단에 배치되고, 휠 로더(10)의 전방을 촬영하여 제2 전방 영상을 생성한다. 제2 카메라(130)는 휠 로더(10)의 제2 차체(12)의 전면 하단에 배치되고, 휠 로더(10)의 제2 차체(12)의 하단에서 휠 로더(10)의 전방(정면)을 촬영하여 제2 전방 이미지를 생성하는 것을 일례로 한다.
여기서, 도 1에서는 본 발명의 실시 예를 용이하게 설명하기 위해서 제1 카메라(110) 및 제2 카메라(130)의 배치 위치를 휠 로더(10)의 상단 및 하단으로 한정하여 설명하였으나 이에 한정되지 않고 전방 영상을 촬영할 수 있는 위치라면 제1 카메라(110) 및 제2 카메라(130)가 배치될 수 있다.
또한, 도 1에서는 제1 카메라(110)와 제2 카메라(130)의 2대의 카메라를 중심으로 설명하지만 본 발명은 여기에 한정되지 않고 3대 이상의 카메라를 이용해서 영상을 생성하는 것도 포함되어 해석되어야 한다. 예를 들어, 운전석 전방에 장착된 카메라를 제1 카메라(110) 및 제2 카메라(130)와 둘 이상 조합하여 영상 합성하는 것도 가능하고, 암이나 버켓(16) 등에 장착된 카메라와 같이 전방 영상을 일부라도 촬영할 수 있는 것이라면 본 발명에 따른 영상의 합성에 활용될 수 있다.
시점 제어기(150)는 제2 카메라(130)의 시점(視點)을 근거로 제1 카메라(110)를 구동시킨다. 즉, 제1 카메라(110) 및 제2 카메라(130)는 제1 차체(12) 및 제2 차체(14)에 각각 이격 배치되기 때문에, 제2 차체(14)가 회전하는 경우 제1 카메라(110) 및 제2 카메라(130)의 수평 방향 시점이 달라진다. 이에, 시점 제어기(150)는 제1 카메라(110)의 수평 방향 시점이 제2 카메라(130)의 수평 방향 시점과 일치하도록 제1 카메라(110)를 회전 또는 이동시킨다. 이하에서 제1 카메라(110) 및 제2 카메라(130)의 시점에 관련된 설명에서 시점은 카메라의 수평 방향 시점을 의미하며, 수직 방향 시점을 다를 수 있다.
일례로, 도 4를 참조하면, 휠 로더(10)가 좌회전을 위해 제1 차체(12)가 좌측으로 회전하는 경우, 제1 카메라(110)는 제1 차체(12)를 기준으로 전방을 촬영하여 제1 전방 영상을 생성하며, 제2 카메라(130)는 제1 차체(12)를 기준으로 전방을 촬영하여 제2 전방 영상을 생성한다.
그에 따라, 제1 전방 영상의 시점과 제2 전방 영상의 시점은 제2 차체(14)의 회전 정도에 따라 차이(θ)가 발생한다. 이 경우, 영상 처리기(170)에서 합성 전방 영상을 생성하는데 있어 연산량이 급격히 증가하여 고사양의 시스템을 구축해야 하거나, 영상 합성 시간이 증가하게 된다. 이에, 시점 제어기(150)는 제1 카메라(110)를 회전 또는 이동시켜 제2 카메라(130)의 시점과 일치시킨다.
시점 제어기(150)는 기구적 구조를 통해 제1 카메라(110)의 시점을 제어한다. 즉, 시점 제어기(150)는 휠 로더(10)의 조향 축과 기구적으로 연결되고, 조향 축이 회전함에 따라 제1 카메라(110)를 회전시켜 제2 카메라(130)와 동일한 시점을 유지하도록 한다.
일례로, 도 5 및 도 6을 참조하면, 제1 카메라(110)가 조향 축과 동일 선상에 배치된 경우, 시점 제어기(150)는 휠 로더(10)의 제1 차체(12)와 제2 차체(14)와 연결된 조향 축으로부터 휠 로더(10)의 상부 방향으로 연장된 연장 축(152)으로 구성될 수 있다. 연장 축(152)의 일단은 조향 축과 연결되고, 연장 축(152)의 타단은 조향 축에서 상부 방향으로 연장되어 조향 축과 동일 선상에 배치된 제1 카메라(110)와 연결된다.
운전자가 조향 휠을 조작함에 따라 조향 축이 회전하여 제2 차체(14)가 회전하고, 제2 차체(14)에 배치된 제2 카메라(130)도 제2 차체(14)가 회전하는 만큼 시점이 회전(이동)된다. 연장 축(152)은 조향 축과 동일한 방향 및 각도로 회전한다. 그에 따라, 시점 제어기(150)는 제2 카메라(130)와 동일한 시점을 갖도록 제1 카메라(110)를 회전(이동)시킨다.
다른 일례로, 도 7 및 도 8을 참조하면, 제1 카메라(110)가 조향 축과 다른 선상에 배치된 경우, 시점 제어기(150)는 세로 연장 축(156) 및 가로 연장 축(154)을 포함하여 구성될 수 있다.
세로 연장 축(156)은 휠 로더(10)의 제1 차체(12)와 제2 차체(14)와 연결된 조향 축으로부터 휠 로더(10)의 상부 방향으로 연장된다. 세로 연장 축(156)의 일단은 조향 축과 연결되고, 세로 연장 축(156)의 타단은 가로 연장 축(154)의 일단과 연결된다.
가로 연장 축(154)은 세로 연장 축(156)과 제1 카메라(110)와 연결된다. 즉, 가로 연장 축(154)의 일단은 세로 연장 축(156)의 타단과 연결된다. 가로 연장 축(154)의 타단은 세로 연장 축(156)의 타단에서 휠 로더(10)의 전방 또는 후방으로 연장되어 제1 카메라(110)와 연결된다. 그에 따라, 가로 연장 축(154)의 일단은 조향 축과 동일 선상에 배치되고, 가로 연장 축(154)의 타단은 카메라와 동일 선상에 배치된다.
한편, 세로 연장 축(156)과 가로 연장 축(154) 사이의 각도가 예각인 경우 제1 카메라(110)의 특성에 따라 세로 연장 축(156) 및 가로 연장 축(152)이 제1 전방 영상에 포함될 수 있다. 이에 세로 연장 축(156)과 가로 연장 축(154) 사이의 각도는 둔각인 것이 바람직하다.
물론, 가로 연장 축(154)의 타단에 제1 카메라(110)의 높이를 높여주는 구조물이 배치되는 경우 세로 연장 축(156)과 가로 연장 축(154) 사이의 각도는 직각 또는 예각으로 형성될 수도 있다.
운전자가 조향 휠을 조작함에 따라 조향 축이 회전하여 제2 차체(14)가 회전하고, 제2 차체(14)에 배치된 제2 카메라(130)도 제2 차체(14)가 회전하는 각도만큼 시점이 회전(이동)된다.
세로 연장 축(156)은 조향 축과 동일한 방향으로 회전한다. 가로 연장 축(154)은 세로 연장 축(156)과 연결된 일측을 중심으로 조향 축과 동일한 방향 및 각도로 회전한다. 그에 따라, 시점 제어기(150)는 제2 카메라(130)와 동일한 시점을 갖도록 제1 카메라(110)를 회전(이동)시킨다.
한편, 시점 제어기(150)는 기구적 연동 구조가 아닌 영상 분석 결과를 근거로 제1 카메라(110)의 시점을 제어할 수도 있다. 즉, 시점 제어기(150)는 제1 전방 영상으로부터 버켓(16)의 위치를 검출하고, 버켓(16)의 위치를 근거로 제1 카메라(110)를 회전시켜 제2 카메라(130)와 동일한 시점을 유지하도록 한다. 이때, 시점 제어기(150)는 모터 등의 동력 기계 제어를 통해 제1 카메라(110)를 회전시킨다.
일례로, 도 9를 참조하면, 시점 제어기(150)는 제1 전방 영상에서 버켓(16)의 엣지 성분(E)을 검출한다. 시점 제어기(150)는 제1 전방 영상의 엣지 성분(E)과 영상 중심 사이의 차이를 이용하여 제1 카메라(110)를 회전(이동)시켜 제2 카메라(130)와 동일한 시점을 유지하도록 한다.
다른 일례로, 도 10을 참조하면, 영상 처리기(170)는 제1 전방 영상에서 버켓(16)의 마커(M)를 검출한다. 시점 제어기(150)는 제1 전방 영상의 마커(M)와 영상 중심 사이의 차이를 이용하여 제1 카메라(110)를 회전(이동)시켜 제2 카메라(130)와 동일한 시점을 유지하도록 한다.
한편, 도 9 및 도 10에 대한 설명에서는 시점 제어기(150)가 제1 전방 영상을 분석하는 것으로 설명하였으나, 이에 한정되지 않고 후술할 영상 처리기(170)에서 버켓(16)의 엣지 성분(E) 또는 마커(M)를 검출하고, 시점 제어기(150)가 영상 처리기(180)로부터 검출 결과를 수신하여 제1 카메라(110)의 시점을 제어할 수도 있다.
시점 제어기(150)는 센서를 이용하여 제2 차체(14)의 회전(이동)을 감지하고, 그 결과를 근거로 제1 카메라(110)의 시점을 제어할 수도 있다. 이를 위해, 건설장비용 전방 영상 생성 장치(100)는 제2 카메라(130), 조향 축, 조향 휠, 버켓(16), 버켓 암, 제2 차체(14) 등에 배치된 하나 이상의 센서를 더 포함한다. 시점 제어기(150)는 센서로부터 제2 차체(14)의 회전(이동)을 감지한 감지 결과를 수신하고, 수신한 감지 결과를 근거로 제1 카메라(110)를 회전시켜 제2 카메라(130)와 동일한 시점을 유지하도록 한다. 여기서, 센서는 자이로 센서, 회전 감지 센서 등으로 구성될 수 있다.
영상 처리기(170)는 제1 카메라(110) 및 제2 카메라(130)에서 촬영된 영상을 합성하여 합성 전방 영상을 생성한다. 즉, 영상 처리기(170)는 제1 카메라(110)에서 촬영된 제1 전방 영상과 제2 카메라(130)에서 촬영된 제2 전방 영상을 합성하여 합성 전방 영상을 생성한다. 이때, 영상 처리기(170)는 영상에 포함된 버켓(16)을 반투명으로 표시하는 합성 영상을 생성한다. 이를 통해, 영상 처리기(170)는 버켓(16)에 의해 가려지지 않은 전방 영상과 함께 버켓(16)의 위치, 동작 상태 등을 확인할 수 있는 합성 전방 영상을 운전자에게 제공한다.
한편, 도 11을 참조하면, 버켓(16)이 하단에 배치되면, 운전석 시야 및 제1 전방 영상에서는 전방의 대상물이 버켓(16)에 의해 가려지지 않고, 제2 전방 영상에서는 전방의 대상물 전체가 버켓(16) 및 휠 로더(10)의 바퀴에 의해 가려진다.
버켓(16)이 중간에 배치되면, 운전석 시야 및 제1 전방 영상에서는 전방의 대상물의 하부 일부가 버켓(16)에 의해 가려지고, 제2 전방 영상에서는 전방의 대상물 중 상부 영역 일부가 버켓(16)에 의해 가려진다.
버켓(16)이 상단에 배치되며, 운전석 시야 및 제1 전방 영상에서는 전*의 대상물의 대부분이 버켓(16)에 의해 가려지고, 제2 전방 영상에서는 전방의 대상물이 버켓(16)에 의해 가려지지 않는다.
영상 처리기(170)는 버켓(16)에 의해 대상물이 가려지는 것을 방지하기 위해서 제1 전방 영상 및 제2 전방 영상을 합성하여 합성 전방 영상을 생성한다. 영상 처리기(170)는 제1 카메라(110) 및 제2 카메라(130)에서 동일 시점(時點)에 촬영된 제1 전방 영상 및 제2 전방 영상을 합성하여 전방 시야에 사각이 없는 합성 전방 영상을 생성한다. 이때, 영상 처리기(170)는 합성 전방 영상에 포함된 버켓(16), 암 등과 같은 휠 로더(10)의 구성물들을 반투명으로 표시한 합성 전방 영상을 생성한다.
영상 처리기(170)는 제2 전방 영상에 제1 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 즉, 도 12에 도시된 바와 같이, 영상 처리기(170)는 제2 카메라(130)에서 촬영된 제2 전방 영상을 배경으로 하고, 제2 전방 영상과 동일한 시점(時點)에 제1 카메라(110)에서 촬영된 제1 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 이때, 합성 전방 영상은 휠 로더(10)의 전방 바퀴에 의해 전방 시야에 일부 제약이 발생하지만, 정면 사각 영역을 표시하는데 충분한 전방 시야를 확보할 수 있다. 여기서, 영상 처리기(170)는 제2 전방 영상의 경우 바퀴가 촬영될 수 있으므로, 바퀴가 촬영된 영역도 제1 전방 영상을 이용하여 투명하게 보이도록 합성할 수 있다.
영상 처리기(170)는 제1 전방 영상에 제2 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 즉, 도 13에 도시된 바와 같이, 영상 처리기(170)는 제1 카메라(110)에서 촬영된 제1 전방 영상을 배경으로 하고, 제1 전방 영상과 동일한 시점(時點)에 제2 카메라(130)에서 촬영된 제2 전방 영상의 일부를 합성하여 합성 전방 영상을 생성한다. 이때, 합성 전방 영상은 제1 전방 영상을 배경으로 하기 때문에 제2 전방 영상을 배경하는 하는 합성 전방 영상에 비해 상대적으로 넓은 화각을 갖는다.
영상 처리기(170)는 합성 전방 영상의 생성시 버켓(16)의 위치에 따라 제1 전방 영상 및 제2 전방 영상에 서로 다른 가중치를 부여하여 합성할 수 있다. 영상 처리기(170)는 버켓(16)이 하단에 위치한 경우 제1 전방 영상에 더 높은 가중치를 부여하고, 버켓(16)이 상단에 위치한 경우 제2 전방 영상에 더 높은 가중치를 부여한다.
영상 처리기(170)는 제1 전방 영상에 제2 전방 영상을 합성하는 경우 공통 영역을 다른 영역과 다른 색상, 밝기 등으로 표시할 수 있다. 일례로, 도 14를 참조하면, 영상 처리기(170)는 제1 전방 영상에 제2 전방 영상을 합성하는 경우 공통 영역을 차이나는 영역보다 상대적으로 밝게 표시할 수 있다. 즉, 영상 처리기(170)는 제1 전방 영상 중에서 제2 전방 영상이 합성되는 영역인 공통 영역을 다른 영역에 비해 상대적으로 밝게 표시되는 합성 전방 영상을 생성한다. 다시 말해, 영상 처리기(170)는 제1 전방 영상과 제2 전방 영상이 합성된 영역을 밝게 표시하고, 제1 전방 영상에서 제2 전방 영상이 합성되지 않는 영역을 어둡게 표시하는 합성 전방 영상을 생성한다.
도 15를 참조하면, 영상 처리기(170)는 합성 전방 영상의 이질감을 최소화하기 위해서 색상 및 투명도를 조절하여 합성 영역이 다른 영역의 생상 및 투명도와 차이 나지 않도록 할 수도 있다.
도 16을 참조하면, 영상 처리기(170)는 버켓(16)이 대상물을 가리기 전까지 버켓(16)을 불투명 상태로 표시하고, 버켓(16)이 대상물을 가리는 시점부터 버켓(16)을 반투명 또는 투명 상태로 표시할 수도 있다.
영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상의 투명도를 0.5로 설정한 후 합성하여 합성 전방 영상을 생성한다. 영상 처리기(170)는 버켓(16) 또는 버켓(16)에 연결된 암의 위치에 따라 제1 전방 영상 및 제2 전방 영상의 투명도를 동적으로 조절한 후 합성하여 합성 전방 영상을 생성할 수도 있다.
일례로, 영상 처리기(170)는 버켓(16)이 하단에 위치한 경우 제1 전방 영상의 가중치를 제2 전방 영상의 가중치보다 높게 설정한다. 즉, 버켓(16)이 하단에 위치한 경우 제2 전방 영상의 사각 영역이 많기 때문에 상대적으로 적은 사각 영역을 갖는 제1 전방 영상에 높은 가중치를 설정한다. 영상 처리기(170)는 제1 카메라(110)에서 촬영된 제1 전방 영상에 상대적으로 높은 가중치를 부여하여 제2 전방 영상보다 낮은 투명도를 설정하고, 제2 카메라(130)에서 촬영된 제2 전방 영상에 낮은 가중치를 부여하여 제1 전방 영상보다 높은 투명도를 설정한다.
다른 일례로, 영상 처리기(170)는 버켓(16)이 중간 또는 상단에 위치한 경우 제2 전방 영상의 가중치를 제1 전방 영상의 가중치보다 높게 설정한다. 즉, 버켓(16)이 상단에 위치한 경우 제1 전방 영상의 사각 영역이 많기 때문에 상대적으로 적은 사각 영역을 갖는 제2 전방 영상에 높은 가중치를 설정한다. 영상 처리기(170)는 제2 카메라(130)에서 촬영된 제2 전방 영상에 상대적으로 높은 가중치를 부여하여 제1 전방 영상보다 낮은 투명도를 설정하고, 제1 카메라(110)에서 촬영된 제1 전방 영상에 낮은 가중치를 부여하여 제2 전방 영상보다 높은 투명도를 설정한다.
영상 처리기(170)는 제1 전방 영상과 제2 전방 영상을 일 대 일로 합성하여 합성 전방 영상을 생성할 수도 있다. 즉, 영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상을 일정거리의 스크린(즉, 투영면(Projection plane))의 평면 또는 곡면 영상으로 변환한 후 합성하여 합성 전방 영상을 생성한다.
영상 처리기(170)는 투영면을 사용하지 않고 제1 전방 영상과 제2 전방 영상을 각각 늘이거나 줄여서 두 영상을 일치시킨 후에 합성하여 합성 전방 영상을 생성할 수도 있다.
영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상을 일 대 일로 합성하기 위해서는 거리 정보가 필요하다. 즉, 영상 처리기(170)는 촬영 위치에서 투영면까지의 거리를 이용하여 제1 전방 영상과 제2 전방 영상을 평면 이미지로 변환하고, 변환된 평면 이미지들을 합성하여 합성 전방 영상을 생성한다.
영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상으로부터 거리 정보를 획득할 수 있다. 즉, 영상 처리기(170)는 복수의 임의 거리(카메라에서 투영면 까지의 거리)를 설정한다. 영상 처리기(170)는 각 임의 거리를 기준으로 제1 전방 영상을 제1 투영 영상으로 변환한다. 영상 처리기(170)는 각 임의 거리를 기준으로 제2 전방 영상을 제2 투영 영상으로 변환한다. 영상 처리기(170)는 동일한 임의 거리를 기준으로 변환된 제1 투영 영상 및 제2 투영 영상을 비교하여 일치도(유사도)를 산출한다. 영상 처리기(170)는 복수의 임의 거리 각각의 일치도를 비교하여 가장 높은 일치도를 갖는 임의 거리를 합성을 위한 거리 정보로 설정한다.
이를 위해, 영상 처리기(170)는 휠 로더(10)가 정차하면 거리 정보를 설정한다. 영상 처리기(170)는 각각의 임의 거리별로 제1 투영 영상 및 제2 투영 영상을 생성한다. 영상 처리기(170)는 제1 투영 영상 및 제2 투영 영상의 일치도가 가장 높은 임의 거리를 거리 정보로 설정한다. 여기서, 영상 처리기(170)는 휠 로더(10)가 정차하면 거리 정보를 설정한 것으로 설명하였으나, 이에 한정되지 않고 휠 로더(10)가 운행 중인 상태에서도 거리 정보를 설정할 수 있다.
일례로, 도 17을 참조하면, 영상 처리기(170)는 제1 임의 거리(d1) 내지 제5 임의 거리(d5)를 설정하고, 대상물은 제4 임의 거리(d4)에 위치한 것으로 가정한다.
영상 처리기(170)는 제1 임의 거리(d1)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-1 투영 영상(img1-1) 및 제2-1 투영 영상(img2-1)을 생성한다. 영상 처리기(170)는 제1-1 투영 영상(img1-1) 및 제2-1 투영 영상(img2-1)의 일치도(C1)를 산출한다.
영상 처리기(170)는 제2 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-2 투영 영상(img1-2) 및 제2-2 투영 영상(img2-2)을 생성한다. 영상 처리기(170)는 제1-2 투영 영상(img1-2) 및 제2-2 투영 영상(img2-2)의 일치도(C2)를 산출한다.
영상 처리기(170)는 제3 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-3 투영 영상(img1-3) 및 제2-3 투영 영상(img2-3)을 생성한다. 영상 처리기(170)는 제1-3 투영 영상(img1-3) 및 제2-3 투영 영상(img2-3)의 일치도(C3)를 산출한다.
영상 처리기(170)는 제4 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-4 투영 영상(img1-4) 및 제2-4 투영 영상(img2-4)을 생성한다. 영상 처리기(170)는 제1-4 투영 영상(img1-4) 및 제2-4 투영 영상(img2-4)의 일치도(C4)를 산출한다.
영상 처리기(170)는 제5 임의 거리(d2)를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 변환하여 제1-5 투영 영상(img1-5) 및 제2-5 투영 영상(img2-5)을 생성한다. 영상 처리기(170)는 제1-5 투영 영상(img1-5) 및 제2-5 투영 영상(img2-5)의 일치도(C5)를 산출한다.
영상 처리기(170)는 제1 임의 거리(d1) 내지 제5 임의 거리(d5)의 일치도(C1~C5)를 비교하여 가장 높은 일치도를 갖는 임의 거리를 검출하여 거리 정보로 설정한다. 이때, 도 17에서는 대상물의 실제 위치인 제4 임의 거리(d4)에서 가장 높은 일치도(C4)가 산출되므로, 제4 임의 거리(d4)를 거리 정보로 설정한다.
영상 처리기(170)는 휠 로더(10)의 위치가 변경되지 않으면, 기설정된 거리 정보를 이용하여 이후 시점(時點)의 제1 전방 영상 및 제2 전방 영상을 투영 영상으로 변환한다. 영상 처리기(170)는 휠 로더(10)의 위치가 변경되면 거리 정보를 재설정하며, 정확도를 높이기 위해서는 각 시점별로 거리정보를 설정할 수도 있다.
한편, 영상 처리기(170)는 사용자에 의해 수동으로 설정된 거리 정보를 이용하여 제1 전방 영상 및 제2 전방 영상을 변환한 후 이들을 합성하여 합성 전방 영상을 생성할 수도 있다.
영상 처리기(170)는 제1 카메라(110) 및 제2 카메라(130)의 얼라인(Align)을 통해 거리 정보를 취득할 수도 있다. 즉, 제1 카메라(110) 및 제2 카메라(130)의 위치 정보를 이용한 삼각 측량법을 통해 거리 정보를 취득할 수도 있다. 물론, 영상 처리기(170)는 라이다(Lidar), 3차원 레이저 스캐너, TOF(Time-Of-flight) 방식의 깊이 카메라, 초음파 카메라 등을 통해 거리 정보를 취득할 수도 있다.
영상 처리기(170)는 대상물이 복수이고, 서로 다른 임의 거리에 위치한 경우 복수의 임의 거리를 이용하여 영상의 영역별로 거리 정보를 설정할 수도 있다. 영상 처리기(170)는 영상 상단 영역과 영상 하단 영역을 서로 다른 거리 정보를 기준으로 제1 전방 영상 및 제2 전방 영상을 투영 영상으로 변환하고, 변환된 투영 영상들을 합성하여 합성 전방 영상을 생성한다.
일례로, 도 18을 참조하면, 제1 대상물이 제4 임의 거리(d4)에 위치하고, 제2 대상물이 제3 임의 거리(d3)에 위치한 것으로 가정한다. 영상 처리기(170)는 각 임의 거리를 기준으로 제1 전방 영상(img1) 및 제2 전방 영상(img2)을 투영 영상(img1-1~img1-5, img2-1~img2-5)으로 변환한다.
제1 대상물에 대해서는 제4 임의 거리(d4)에서의 일치도가 가장 높고, 제2 대상물에 대해서는 제3 임의 거리(d3)에서의 일치도가 가장 높게 산출된다. 따라서, 영상 처리기(170)는 제2 대상물이 투영되는 영상 하단 영역의 경우 제3 임의 거리(d3)를 거리 정보로 설정하고, 영상 하단 영역을 제외한 나머지 영상 영역의 경우 제4 임의 거리(d4)를 거리 정보로 설정한다.
영상 처리기(170)는 제3 임의 거리(d3)를 기준으로 제1 전방 영상의 영상 하단 영역을 변환하고, 제4 임의 거리(d4)를 기준으로 제1 전방 영상의 나머지 영상 영역을 변환하여 제1 투영 영상을 생성한다.
영상 처리기(170)는 제3 임의 거리(d3)를 기준으로 제2 전방 영상의 영상 하단 영역을 변환하고, 제4 임의 거리(d4)를 기준으로 제2 전방 영상의 나머지 영상 영역을 변환하여 제2 투영 영상을 생성한다.
영상 처리기(170)는 두 개의 거리 정보를 이용하여 변환한 제1 투영 영상 및 제2 투영 영상을 합성하여 합성 전방 영상을 생성한다.
도 19 내지 도 23을 참조하면, 영상 처리기(170)는 거리 정보를 이용하여 제1 전방 영상 및 제2 전방 영상을 각각 제1 투영 영상 및 제2 투영 영상으로 변환한다. 영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상에 특징점을 설정하고, 제1 전방 영상 및 제2 전방 영상에 모두 매칭되는 특징점들을 이용하여 거리 정보를 설정한다. 영상 처리기(170)는 제1 전방 영상 및 제2 전방 영상에 설정된 특징점들을 이용하여 합성에 사용될 영역을 검출한다. 영상 처리기(170)는 거리 정보를 이용하여 제1 전방 영상에서 검출한 영역을 변환하여 제1 투영 영상을 생성하고, 거리 정보를 이용하여 제2 전방 영상에서 검출한 영역을 변환하여 제2 투영 영상을 생성한다. 영상 처리기(170)는 제1 투영 영상과 제2 투영 영상을 합성하여 합성 투영 영상을 생성한다. 이때, 영상 처리기(170)는 합성 투영 영상 생성시 제1 투영 영상과 제2 투영 영상의 중첩 영역에 대한 투명도를 각각 설정하여 버켓(16)을 반투명 상태로 표시하는 합성 전방 영상을 생성한다. 영상 처리기(170)는 제1 투영 영상과 제2 투영 영상의 중첩 영역을 비중첩 영역보다 밝게 처리된 합성 전방 영상을 생성할 수도 있다.
디스플레이(190)는 영상 처리기(170)에서 합성된 합성 전방 영상을 표시한다. 디스플레이(190)는 운전석 또는 리모트 조정 장치에 배치되고, 영상 처리기(170)로부터 합성 전방 영상을 수신하여 표시한다.
한편, 본 발명의 실시 예를 용이하게 설명하기 위해서 건설장비가 휠 로더인 것을 예로 들어 설명하지만, 이에 한정되지 않고 포크레인, 지게차 등과 같이 구동시 시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비를 포함한다.
또한, 휠 로더를 예로 들어 설명함에 따라 휠 로더의 버켓을 시야 방해 부품인 것으로 설명하였으나, 이에 한정되지 않고 시야 방해 부품은 포크레인의 버켓, 버켓 붐 및 버켓 실린더 등, 지게차의 마스트, 리프트 체인, 캐리지, 포크암 및 포크 등과 같이 전방 시야를 방해하는 부품일 수 있다.
이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형 예 및 수정 예를 실시할 수 있을 것으로 이해된다.

Claims (10)

  1. 시야 방해 부품에 의해 전방에 사각이 발생하는 건설장비의 전방 영상을 생성하는 건설장비용 전방 영상 생성 장치로서,
    건설장비의 제1 차체에 배치되어 제1 전방 영상을 생성하는 제1 카메라;
    상기 건설장비의 제2 차체에 배치되어 제2 전방 영상을 생성하는 제2 카메라;
    상기 제2 카메라의 이동에 따라 상기 제1 카메라를 회전시키는 시점 제어기; 및
    상기 제1 전방 영상 및 상기 제2 전방 영상을 합성하여 합성 전방 영상을 생성하는 영상 처리기를 포함하는 건설장비용 전방 영상 생성 장치.
  2. 제1항에 있어서,
    상기 시점 제어기는 상기 제1 카메라를 회전시켜 상기 제1 카메라의 수평 방향 시점을 상기 제2 카메라의 수평 방향 시점과 일치시키는 건설장비용 전방 영상 생성 장치.
  3. 제1항에 있어서,
    상기 제2 차체는 조향 축을 통해 상기 제1 차체와 연결되고,
    상기 시점 제어기는 상기 조향 축에서 상기 건설장비의 상부 방향으로 연장되어 상기 조향 축과 동일한 각도로 회전하는 연장 축을 포함하는 건설장비용 전방 영상 생성 장치.
  4. 제3항에 있어서,
    상기 연장 축은 상기 조향 축에서 연장되어 상기 조향 축과 동일 선상에 배치된 상기 제1 카메라와 연결된 건설장비용 전방 영상 생성 장치.
  5. 제1항에 있어서,
    상기 제2 차체는 조향 축을 통해 상기 제1 차체와 연결되고,
    상기 시점 제어기는,
    상기 조향 축에서 상기 건설장비의 상부 방향으로 연장되어 상기 조향 축과 동일한 각도로 회전하는 세로 연장 축; 및
    상기 세로 연장 축에서 상기 건설장비의 가로 방향으로 연장된 가로 연장 축을 포함하는 건설장비용 전방 영상 생성 장치.
  6. 제5항에 있어서,
    상기 가로 연장 축은 상기 세로 연장 축에서 연장되어 상기 조향 축과 다른 선상에 배치된 상기 제1 카메라와 연결된 건설장비용 전방 영상 생성 장치.
  7. 제1항에 있어서,
    상기 시점 제어기는 상기 제1 전방 영상에 포함된 시야 방해 부품 위치를 근거로 상기 제1 카메라를 회전시키는 건설장비용 전방 영상 생성 장치.
  8. 제7항에 있어서,
    상기 시점 제어기는 상기 제1 전방 영상으로부터 시야 방해 부품의 엣지 성분을 검출하고, 상기 제1 전방 영상의 엣지 성분의 위치를 근거로 상기 제1 카메라를 회전시키는 건설장비용 전방 영상 생성 장치.
  9. 제7항에 있어서,
    상기 시야 방해 부품에는 마커가 장착되어 있고,
    상기 시점 제어기는 상기 제1 전방 영상으로부터 시야 방해 부품의 마커 위치를 검출하고, 상기 제1 전방 영상의 마커 위치를 근거로 상기 제1 카메라를 회전시키는 건설장비용 전방 영상 생성 장치.
  10. 제1항에 있어서,
    상기 시점 제어기는 상기 제2 카메라 및 상기 건설장비에 배치된 센서로부터 수신한 상기 제2 차체의 회전을 근거로 상기 제1 카메라를 회전시키는 건설장비용 전방 영상 생성 장치.
PCT/KR2020/012606 2019-09-20 2020-09-18 건설장비용 전방 영상 생성 장치 WO2021054757A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190116070 2019-09-20
KR10-2019-0116070 2019-09-20
KR10-2019-0158374 2019-12-02
KR1020190158374A KR102235125B1 (ko) 2019-09-20 2019-12-02 건설장비용 전방 영상 생성 장치

Publications (1)

Publication Number Publication Date
WO2021054757A1 true WO2021054757A1 (ko) 2021-03-25

Family

ID=74882986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/012606 WO2021054757A1 (ko) 2019-09-20 2020-09-18 건설장비용 전방 영상 생성 장치

Country Status (1)

Country Link
WO (1) WO2021054757A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230035181A1 (en) * 2021-07-28 2023-02-02 Hyundai Doosan Infracore Co., Ltd. System and method of controlling construction machinery

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110067683A (ko) * 2009-12-15 2011-06-22 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
KR101611427B1 (ko) * 2014-12-26 2016-04-12 전자부품연구원 영상 처리 방법 및 이를 수행하는 영상 처리 장치
US20160273195A1 (en) * 2015-03-16 2016-09-22 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same
KR20180078970A (ko) * 2016-12-30 2018-07-10 화남전자 주식회사 건설장비의 주변부 모니터링을 위한 카메라 배치 구조
US20190042858A1 (en) * 2014-02-17 2019-02-07 Hitachi Construction Machinery Co., Ltd. Monitoring image display device of industrial machine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110067683A (ko) * 2009-12-15 2011-06-22 두산인프라코어 주식회사 건설기계의 사각지대 표시 장치 및 그 방법
US20190042858A1 (en) * 2014-02-17 2019-02-07 Hitachi Construction Machinery Co., Ltd. Monitoring image display device of industrial machine
KR101611427B1 (ko) * 2014-12-26 2016-04-12 전자부품연구원 영상 처리 방법 및 이를 수행하는 영상 처리 장치
US20160273195A1 (en) * 2015-03-16 2016-09-22 Doosan Infracore Co., Ltd. Method of displaying a dead zone of a construction machine and apparatus for performing the same
KR20180078970A (ko) * 2016-12-30 2018-07-10 화남전자 주식회사 건설장비의 주변부 모니터링을 위한 카메라 배치 구조

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230035181A1 (en) * 2021-07-28 2023-02-02 Hyundai Doosan Infracore Co., Ltd. System and method of controlling construction machinery

Similar Documents

Publication Publication Date Title
WO2013112016A1 (ko) 건설기계의 조작안정성 향상장치
JP5888956B2 (ja) ショベル及び該ショベルの周囲画像表示方法
WO2010134680A1 (ko) 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
WO2012050305A2 (en) Apparatus and method for providing obstacle information in autonomous mobile vehicle
WO2020122533A1 (ko) 카메라의 시야각 조절을 통한 차량용 어라운드 뷰 모니터링 시스템 및 그 방법
JPH11222882A (ja) 危険領域監視装置
WO2021054757A1 (ko) 건설장비용 전방 영상 생성 장치
CN201385620Y (zh) 驾驶室视觉障碍消除装置
WO2017183915A2 (ko) 영상취득 장치 및 그 방법
WO2017195965A1 (ko) 차량 속도에 따른 영상 처리 장치 및 방법
KR20160033144A (ko) 작업 기계의 주변 감시 장치
WO2016117806A1 (ko) 차량의 스티어링 핸들의 카메라 모듈 연동 킥백 저감 장치 및 그 제어 방법
JP2012105090A (ja) 駐車支援装置
KR102235125B1 (ko) 건설장비용 전방 영상 생성 장치
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2012148025A1 (ko) 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법
WO2021054756A1 (ko) 중장비용 전방 영상 생성 장치
WO2018079878A1 (ko) 굴삭기용 운전자 시야 보완장치
WO2017146403A1 (ko) 표시 시스템
CN112802109B (zh) 一种汽车鸟瞰全景图生成方法
WO2020218716A1 (ko) 자동 주차 장치 및 자동 주차 방법
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
WO2021054758A1 (ko) 건설장비용 전방 영상 생성 장치
WO2020159246A2 (ko) 증강 현실 방법을 이용하여 장비를 원격 제어하는 가상 현실 구현 장치 및 그 방법 및 이를 이용한 관리 시스템
WO2022158935A1 (ko) 중장비용 전방 영상 생성 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20865271

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20865271

Country of ref document: EP

Kind code of ref document: A1